專利名稱：變更臉圖像的規(guī)定的紋理特征量的圖像處理的制作方法
技術領域：
本發(fā)明涉及對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理。
背景技術：
作為視覺上的事物的模型化方法，已知有主動外觀模型(Act iveAppearance 10如1，也簡稱為“4411”)。在AAM中，例如通過多個采樣臉圖像中的規(guī)定的特征部位(例 如眼角、鼻尖或臉輪廓線)的位置(坐標)、像素值(例如亮度值)的統(tǒng)計學分析，可設定 對由上述特征部位的位置確定的臉形狀進行表示的形狀模型、或表示平均形狀中的“外觀 (Appearance) ”的紋理模型(texture model)，并利用這些模型將臉圖像模型化。根據(jù)AAM， 可以實現(xiàn)任意的臉圖像的模型化(合成)，能夠確定(檢測)圖像中的上述特征部位的位置 (例如參照專利文獻1)。專利文獻1 日本專利特開2007-141107號公報若利用AAM，則能夠執(zhí)行通過變更紋理模型的規(guī)定的紋理參數(shù)，來變更臉圖像中的 規(guī)定的紋理特征量的圖像處理(例如，降低影成分的圖像處理)。在以往變更臉圖像中的規(guī) 定的紋理特征量的圖像處理中，具有進一步提高質(zhì)量的余地。另外，這樣的問題不僅存在于利用AAM的場合，在進行對臉圖像中的規(guī)定的紋理 特征量實施變更的圖像處理時是共同的問題。

發(fā)明內(nèi)容
本發(fā)明為了解決上述課題而提出，其目的在于，實現(xiàn)進一步提高對臉圖像中的規(guī) 定的紋理特征量進行變更的圖像處理的質(zhì)量。為了解決上述課題的至少一部分，本發(fā)明能夠作為以下的方式或應用例而實現(xiàn)。[應用例1]一種圖像處理裝置，對對象圖像中的臉圖像的規(guī)定的紋理特征量進 行變更，具備存儲部，其存儲對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不 相同的臉圖像尺寸對應的多個紋理模型進行確定的信息，所述基準形狀是成為基準的臉形 狀，所述紋理模型通過基準紋理和至少一個所述紋理特征量來表示具有所述基準形狀的臉 圖像的像素值所規(guī)定的臉紋理；臉特征位置確定部，其確定所述對象圖像中的臉的規(guī)定的 特征部位的位置；模型選擇部，其取得所述對象圖像中的臉圖像尺寸，基于所述取得的臉圖 像尺寸選擇一個所述基準形狀和一個所述紋理模型；第一圖像變換部，其按照所述對象圖 像中的所述特征部位的位置所規(guī)定的臉形狀與選擇出的所述基準形狀相等的方式，對所述 對象圖像進行第一變換；特征量處理部，其利用選擇出的所述紋理模型，對所述第一變換后 的所述對象圖像中的所述規(guī)定的紋理特征量進行變更；和第二圖像變換部，其對所述規(guī)定 的紋理特征量變更后的所述對象圖像，進行所述第一變換的逆變換。在該圖像處理裝置中，基于對象圖像中的臉圖像尺寸選擇一個基準形狀和一個紋 理模型，并按照對象圖像中的臉形狀與選擇出的基準形狀相等的方式進行第一變換，利用 選擇出的紋理模型變更第一變換后的對象圖像中的規(guī)定的紋理特征量，通過對特征量變更后的對象圖像進行第一變換的逆變換，可實現(xiàn)對象圖像中的臉圖像的規(guī)定的紋理特征量的 變更。在該圖像處理裝置中，由于基于對象圖像中的臉圖像尺寸選擇基準形狀和紋理模型， 所以在進行第一變換及其逆變換、利用了紋理模型的紋理特征量的變更時，能夠抑制圖像 的信息量降低。因此，在該圖像處理裝置中，能夠實現(xiàn)對臉圖像中的規(guī)定的紋理特征量進行 變更的圖像處理的質(zhì)量進一步提高。[應用例2]在應用例1所述的圖像處理裝置中，所述模型選擇部選擇與所述取得 的臉圖像尺寸最接近的臉圖像尺寸所對應的所述基準形狀和所述紋理模型。在該圖像處理裝置中，由于選擇了與對象圖像中的臉圖像尺寸最接近的臉圖像尺寸所對應的基準形狀和紋理模型，所以在進行第一變換及其逆變換、利用了紋理模型的紋 理特征量的變更時，能夠抑制圖像的信息量降低，從而可實現(xiàn)對臉圖像中的規(guī)定的紋理特 征量進行變更的圖像處理的質(zhì)量進一步提高。[應用例3]在應用例1或2所述的圖像處理裝置中，所述特征量處理部利用選擇 出的所述紋理模型，對所述第一變換后的所述對象圖像確定臉紋理，對確定出的臉紋理變 更所述規(guī)定的紋理特征量。在該圖像處理裝置中，當進行利用了紋理模型的紋理特征量的變更時，能夠抑制 圖像的信息量降低，從而可實現(xiàn)對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理的質(zhì)
量進一步提高。[應用例4]在應用例1 3任意一項所述的圖像處理裝置中，所述特征量處理部 對實質(zhì)上與影成分對應的所述規(guī)定的紋理特征量進行變更。在該圖像處理裝置中，可實現(xiàn)對實質(zhì)上與臉圖像中的影成分對應的規(guī)定的紋理特 征量進行變更的圖像處理的質(zhì)量進一步提高。[應用例5]在應用例1 4任意一項所述的圖像處理裝置中，所述模型選擇部基 于在所述對象圖像中被確定的所述特征部位的位置，取得所述對象圖像中的臉圖像尺寸。在該圖像處理裝置中，由于基于在對象圖像中被確定的特征部位的位置來取得對 象圖像中的臉圖像尺寸，并基于對象圖像中的臉圖像尺寸選擇一個基準形狀和一個紋理模 型，所以在進行第一變換及其逆變換、利用了紋理模型的紋理特征量的變更時，能夠抑制圖 像的信息量降低，從而可實現(xiàn)對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理的質(zhì)量 進一步提高。[應用例6]在應用例1 5任意一項所述的圖像處理裝置中，所述存儲部存儲的 所述信息包含對與互不相同的臉圖像尺寸對應的多個形狀模型進行確定的信息，所述形狀 模型通過所述基準形狀和至少一個形狀特征量來表示臉形狀，所述臉特征位置確定部利用 所述形狀模型和所述紋理模型，對所述對象圖像中的所述特征部位的位置進行確定。在該圖像處理裝置中，利用形狀模型和紋理模型來確定對象圖像中的特征部位的 位置，可以實現(xiàn)利用確定結果對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理的質(zhì)量 進一步提高。[應用例7]在應用例6所述的圖像處理裝置中，所述形狀模型及所述紋理模型基 于以所述特征部位的位置為已知的多個采樣臉圖像為對象的統(tǒng)計分析而被設定。在該圖像處理裝置中，能夠利用形狀模型和紋理模型，高精度地確定對象圖像中 的特征部位的位置。
[應用例8]在應用例7所述的圖像處理裝置中，所述基準形狀是對所述多個采樣 臉圖像中的所述特征部位的平均位置進行表示的平均形狀，所述基準紋理是對被形狀變換 為所述平均形狀后的所述多個采樣臉圖像的所述特征部位的位置處的像素值的平均進行 表示的平均紋理。在該圖像處理裝置中，能夠實現(xiàn)以所有圖像為對象而執(zhí)行的對臉圖像中的規(guī)定的 紋理特征量進行變更的圖像處理的質(zhì)量進一步提高。[應用例9]一種圖像處理裝置，對對象圖像中的臉圖像的規(guī)定的紋理特征量進行變更，具備存儲部，其存儲對成為基準的臉形狀的基準形狀、通過基準紋理和至少一個所 述紋理特征量來表示具有所述基準形狀的臉圖像的像素值所規(guī)定的臉紋理的紋理模型進 行確定的信息；臉特征位置確定部，其確定所述對象圖像中的臉的規(guī)定的特征部位的位置； 第一圖像變換部，其按照所述對象圖像中的所述特征部位的位置所規(guī)定的臉形狀與所述基 準形狀相等的方式，對所述對象圖像進行第一變換；特征量處理部，其利用所述紋理模型， 生成與所述第一變換后的所述對象圖像中的所述規(guī)定的紋理特征量對應的紋理特征量圖 像；第二圖像變換部，其對所述紋理特征量圖像進行所述第一變換的逆變換；和修正處理 部，其從所述對象圖像中減去所述逆變換后的所述紋理特征量圖像。在該圖像處理裝置中，按照對象圖像中的臉形狀與基準形狀相等的方式進行第一 變換，利用紋理模型生成與第一變換后的對象圖像中的規(guī)定的紋理特征量對應的紋理特征 量圖像，對紋理特征量圖像進行第一變換的逆變換，并從對象圖像中減去逆變換后的紋理 特征量圖像，由此可實現(xiàn)對象圖像中的臉圖像的規(guī)定的紋理特征量的變更。在該圖像處理 裝置中，由于最終的減法運算中使用的對象圖像不是第一變換或逆變換的對象，所以能夠 抑制圖像的信息量降低，由此可實現(xiàn)對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理 的質(zhì)量進一步提高。另外，本發(fā)明能夠以各種方式實現(xiàn)，例如，能夠以圖像處理方法及裝置、圖像修正 方法及裝置、特征量變更方法及裝置、打印方法及裝置、用于實現(xiàn)這些方法或裝置的功能的 計算機程序、記錄了該計算機程序的記錄介質(zhì)、包含該計算機程序且具體化到載波內(nèi)的數(shù) 據(jù)信號等方式實現(xiàn)。


圖1是示意性表示作為本發(fā)明的第1實施例中的圖像處理裝置的打印機100的結 構的說明圖。圖2是表示第1實施例中的AAM設定處理的流程的流程圖。圖3是表示采樣臉圖像SI的一例的說明圖。圖4是表示采樣臉圖像SI中的特征點CP的設定方法的一例的說明圖。圖5是表示在采樣臉圖像SI中設定的特征點CP的坐標的一例的說明圖。圖6是表示平均形狀Stl的一例的說明圖。圖7是表示采樣臉圖像SI的扭曲(warp)W的方法的一例的說明圖。圖8是表示平均臉圖像Atl(X)的一例的說明圖。圖9是表示第1實施例中的臉特征位置確定處理的流程的流程圖。圖10是表示對象圖像OI中的臉區(qū)域FA的檢測結果的一例的說明圖。
圖11是表示第1實施例中的特征點CP的初始配置決定處理的流程的流程圖。圖12是表示對象圖像OI中的特征點CP的臨時配置的一例的說明圖。圖13是表示平均形狀圖像I (W(χ ；ρ))的一例的說明圖。圖14是表示對象圖像OI中的特征點CP的初始配置的一例的說明圖。圖15是表示第1實施例中的特征點CP配置更新處理的流程的流程圖。圖16是表示臉特征位置確定處理的結果的一例的說明圖。圖17是表示第1實施例中的圖像修正處理的流程的流程圖。圖18是表示第1實施例中的圖像修正處理的概要的說明圖。圖19是表示第2實施例中的圖像修正處理的流程的流程圖。圖中100-打印機；110-CPU ； 120-內(nèi)部存儲器；140-操作部；150-顯示部； 160-打印機機芯(printer engine) ；170-卡接口 ； 172-卡槽；200-圖像處理部；210-臉特 征位置確定部；211-初始配置部；212-圖像變換部；213-判定部；214-更新部；215-標準 化部；220-模型選擇部；230-臉區(qū)域檢測部；240-修正處理部；241-圖像變換部；242-特 征量處理部；310-顯示處理部；320-打印處理部。
具體實施例方式下面，基于實施例，按以下的順序對本發(fā)明的實施方式進行說明。A.第1實施例A-1.圖像處理裝置的結構A-2. AAM 設定處理A-3.臉特征位置確定處理A-4.圖像修正處理B.第2實施例C.變形例A.第1實施例A-1.圖像處理裝置的結構圖1是示意性表示作為本發(fā)明的第1實施例中的圖像處理裝置的打印機100的結 構的說明圖。本實施例的打印機100是與根據(jù)從存儲卡MC等取得的圖像數(shù)據(jù)來打印圖像 的所謂直熱式打印機對應的噴墨式彩色打印機。打印機100具備對打印機100的各部進 行控制的CPUl 10、由ROM、RAM構成的內(nèi)部存儲器120、由按鈕或觸摸面板構成的操作部140、 由液晶顯示器構成的顯示部150、打印機機芯160、卡接口(卡I/F)170。打印機100還可具 備用于與其他設備(例如數(shù)碼相機或個人計算機)進行數(shù)據(jù)通信的接口。打印機100的各 結構要素通過總線相互連接。打印機機芯160是基于打印數(shù)據(jù)進行打印的打印機構?？ń涌?170是用于與被插入到卡槽172的存儲卡MC之間進行數(shù)據(jù)交換的接口。其中，在本實施例中，存儲卡MC中保 存著包含圖像數(shù)據(jù)的圖像文件。內(nèi)部存儲器120中包括圖像處理部200、顯示處理部310和打印處理部320。圖像 處理部200是用于在規(guī)定的操作系統(tǒng)下執(zhí)行臉特征位置確定處理、圖像修正處理的計算機 程序。本實施例的臉特征位置確定處理是確定(檢測)臉圖像中的規(guī)定的特征部位(例如眼角、鼻尖或臉輪廓線)的位置的處理。本實施例的圖像修正處理是降低臉圖像中的影成分的處理。關于臉特征位置確定處理和圖像修正處理將在后面詳述。作為程序模塊，圖像處理部200包括臉特征位置確定部210、模型選擇部220、臉區(qū) 域檢測部230和修正處理部240。臉特征位置確定部210包括初始配置部211、圖像變換 部212、判定部213、更新部214和標準化部215。修正處理部240包括圖像變換部241和特 征量處理部242。其中，圖像變換部241相當于本發(fā)明中的第一圖像變換部及第二圖像變換 部。關于各部的功能將在后述的臉特征位置確定處理及圖像修正處理的說明中詳述。顯示處理部310是對顯示部150進行控制，使顯示部150上顯示處理菜單或消息、 圖像等的顯示器驅動器。打印處理部320是用于根據(jù)圖像數(shù)據(jù)生成打印數(shù)據(jù)，并控制打印 機機芯160來執(zhí)行基于打印數(shù)據(jù)的圖像打印的計算機程序。CPUllO通過從內(nèi)部存儲器120 讀出并執(zhí)行這些程序(圖像處理部200、顯示處理部310、打印處理部320)，來實現(xiàn)各部的功 能。內(nèi)部存儲器120中還保存有AAM信息AMI。AAM信息AMI是通過后述的AAM設定 處理預先設定的信息，在后述的臉特征位置確定處理及圖像修正處理中被參照。關于AAM 信息AMI的內(nèi)容，將在后述的AAM設定處理的說明中詳述。A-2. AAM 設定處理圖2是表示第1實施例中的AAM設定處理的流程的流程圖。AAM設定處理是對被 稱作AAM(主動外觀模型(Active Appearance Model))的圖像的模型化中所使用的形狀模 型及紋理模型進行設定的處理。在步驟SllO中，表示人物的臉的多個圖像被設定為采樣臉圖像Si。圖3是表示 采樣臉圖像SI的一例的說明圖。如圖3所示，采樣臉圖像SI被設定為包含個性、人種/性 另O、表情(怒、笑、愁、驚等)、朝向(朝正面、朝上、朝下、朝右、朝左等)各種屬性互不相同的 臉圖像。若如此設定采樣臉圖像Si，則能夠通過AAM高精度地將所有的臉圖像模型化，從而 可執(zhí)行以所有的臉圖像為對象的高精度的臉特征位置確定處理(后述)。其中，采樣臉圖像 SI也被稱作學習臉圖像。在步驟S120(圖2)中，對各個采樣臉圖像SI設定特征點CP。圖4是表示采樣臉 圖像SI中的特征點CP的設定方法的一例的說明圖。特征點CP是表示臉圖像中的規(guī)定的 特征部位的位置的點。在本實施例中，作為規(guī)定的特征部位，設定了人物的臉的眉毛上的規(guī) 定位置(例如端點、4分割點等，以下相同)、眼睛的輪廓上的規(guī)定位置、鼻梁及鼻翼的輪廓 上的規(guī)定位置、上下唇的輪廓上的規(guī)定位置、臉的輪廓(臉輪廓線)上的規(guī)定位置等68個 部位。即，在本實施例中，將人物的臉中公共包含的臉的器官(眉毛、眼睛、鼻子、嘴)及臉 的輪廓上的規(guī)定位置設定為特征部位。如圖4所示，特征點CP在各采樣臉圖像SI中被設 定(配置)在表示由操作者指定的68個特征部位的位置。由于這樣設定的各特征點CP與 各特征部位對應，所以臉圖像中的特征點CP的配置可表現(xiàn)為規(guī)定了臉的形狀。采樣臉圖像SI中的特征點CP的位置通過坐標來確定。圖5是表示在采樣臉圖像 SI中設定的特征點CP的坐標的一例的說明圖。在圖5中，SI (j) (j = 1，2，3…)表示各采 樣臉圖像SI，CP(k) (k = 0，1，…，67)表示各特征點CP。而CP(k)-X表示特征點CP(k)的 X坐標，CP (k)-Y表示特征點CP (k)的Y坐標。作為特征點CP的坐標，可采用以臉的大小、 臉的傾斜度(圖像面內(nèi)的傾斜度)、臉的X方向及Y方向的位置分別被標準化后的采樣臉圖像SI中的規(guī)定的基準點(例如圖像的左下方的點)為原點時的坐標。而且，在本實施例 中，允許一個采樣臉圖像SI中包含多個人物的臉的情況(例如采樣臉圖像SI (2)中包含兩 個人的臉)，一個采樣臉圖像SI中的各人物由人物ID確定。在步驟S130(圖2)中，設定AAM的形狀模型。具體而言，針對由各采樣臉圖像SI 中的68個特征點CP的坐標(X坐標及Y坐標)構成的坐標向量(參照圖5)進行主成分分 析，由特征點CP的位置確定的臉的形狀s可由下述的式(1)來模型化。其中，形狀模型也 被稱作特征點CP的配置模型。數(shù)學式1<formula>formula see original document page 10</formula>在上述式(1)中，Stl是平均形狀。圖6是表示平均形狀Stl的一例的說明圖。如圖 6(a)及(b)所示，平均形狀Stl是表示采樣臉圖像SI的各特征點CP的平均位置(平均坐 標)所確定的平均的臉形狀的模型。其中，本實施例中，將在平均形狀Stl中連結位于外周的 特征點CP(臉輪廓線及眉毛、眉間所對應的特征點CP，參照圖4)的直線所包圍的區(qū)域(在 圖6(b)中用影線表示)稱作“平均形狀區(qū)域BSA”。在平均形狀Stl中，如圖6(a)所示，以特 征點CP為頂點的多個三角形區(qū)域TA被設定成將平均形狀區(qū)域BSA分割為網(wǎng)目狀。在表示形狀模型的上述式(1)中，Si是形狀向量，Pi是表示形狀向量Si的權重的 形狀參數(shù)。形狀向量Si是表示臉形狀s的特性的向量，具體而言，是與通過主成分分析得 到的第i主成分對應的固有向量。即，從方差較大的主成分所對應的固有向量開始依次采 用基于累積貢獻率而設定的個數(shù)為η的固有向量，作為形狀向量Si。在本實施例中，方差最 大的第1主成分所對應的第1形狀向量S1成為與臉的左右姿態(tài)近似相關的向量，方差第二 大的第2主成分所對應的第2形狀向量S2成為與臉的上下姿態(tài)近似相關的向量。而方差 第三大的第3主成分所對應的第3形狀向量S3成為與臉形狀的縱橫比近似相關的向量，方 差第四大的第4主成分所對應的第4形狀向量S4成為與嘴的張開程度近似相關的向量。如上述式(1)所示，在本實施例的形狀模型中，表示特征點CP的配置的臉形狀s 被模型化為平均形狀Stl與η個形狀向量Si的線性組合之和。在形狀模型中，通過適當設 定形狀參數(shù)Pi,能夠再現(xiàn)所有圖像中的臉的形狀S。其中，形狀模型設定步驟(圖2的步驟 S130)中設定的平均形狀Stl及形狀向量Si，被作為AAM信息AMI (圖1)保存到內(nèi)部存儲器 120中。平均形狀Stl相當于本發(fā)明中的基準形狀，形狀向量Si與形狀參數(shù)Pi之積相當于本 發(fā)明中的形狀特征量。另外，在本實施例中，可設定與相互不同的臉圖像尺寸對應的多個形狀模型。艮口， 可設定與相互不同的臉圖像尺寸對應的多個平均形狀Stl及多組形狀向量Si。多個形狀模型 通過將多個等級的臉的尺寸作為目標值對采樣臉圖像SI進行標準化，并按臉的尺寸的每 個等級對采樣臉圖像SI中的特征點CP的坐標所構成的坐標向量進行主成分分析而設定。在步驟S140(圖2)中，設定AAM的紋理模型。具體而言，首先按照采樣臉圖像SI 中的特征點CP的配置與平均形狀Stl中的特征點CP的配置相等的方式，對各采樣臉圖像SI 進行圖像變換(以下也稱為“扭曲W”)。圖7是表示采樣臉圖像SI的扭曲W的方法的一例的說明圖。在各采樣臉圖像SI 中，與平均形狀Stl同樣地設定了將位于外周的特征點CP所包圍的區(qū)域分割為網(wǎng)目狀的多個三角形區(qū)域ΤΑ。扭曲W是針對多個三角形區(qū)域TA的每一個的仿射變換的集合。S卩，在扭 曲W中，采樣臉圖像SI中的某個三角形區(qū)域TA的圖像被仿射變換為平均形狀S。中的對應 的三角形區(qū)域TA的圖像。通過扭曲W，可生成特征點CP的配置與平均形狀Stl中的特征點 CP的配置相等的采樣臉圖像SI (以下表示為“采樣臉圖像SIw” )。
其中，各采樣臉圖像SIw被生成為以包含平均形狀區(qū)域BSA (圖7中用影線表示) 的矩形框為外周，且平均形狀區(qū)域BSA以外的區(qū)域(以下也稱為“屏蔽區(qū)域MA”)被屏蔽的 圖像。將平均形狀區(qū)域BSA與屏蔽區(qū)域MA合并后的圖像區(qū)域稱為基準區(qū)域BA。如上所述， 在本實施例中，由于可設定與相互不同的臉圖像尺寸對應的多個形狀模型(平均形狀S。及 多組形狀向量Si),所以按多個形狀模型(平均形狀Stl)的每一個生成采樣臉圖像SIw。例 如，各采樣臉圖像SIw被生成為56像素X 56像素、256像素X 256像素、500像素X 500像 素這三個等級的尺寸的圖像。接著，對各采樣臉圖像SIw的像素組χ各自的亮度值所構成的亮度值向量進行主 成分分析，臉的紋理(也稱為“外觀”)A(X)可根據(jù)下述的式(2)被模型化。其中，像素組χ 是位于平均形狀區(qū)域BSA的像素的集合。數(shù)學式2
mA(x) = A0 (χ)+ ^Aj A1-(χ) ■(2)
(=1在上述式(2)中，Atl(X)是平均臉圖像。圖8是表示平均臉圖像Atl(X)的一例的說 明圖。平均臉圖像Atl(X)是表現(xiàn)了扭曲W后的采樣臉圖像SIw(參照圖7)的平均的圖像。 艮口，平均臉圖像Atl(X)是通過對采樣臉圖像SIw的平均形狀區(qū)域BSA內(nèi)的每個像素組χ求 取像素值(亮度值)的平均而算出的圖像。因此，平均臉圖像Atl(X)是表示平均的臉形狀 中的平均的臉紋理(外觀)的模型。其中，平均臉圖像Atl(X)與采樣臉圖像SIw同樣，由平 均形狀區(qū)域BSA和屏蔽區(qū)域MA構成。而且，在平均臉圖像Atl(X)中，也將平均形狀區(qū)域BSA 與屏蔽區(qū)域MA合并后的圖像區(qū)域稱為基準區(qū)域BA在表示紋理模型的上述式(2)中，Ai(X)是紋理向量，λ i是表示紋理向量&00的 權重的紋理參數(shù)。紋理向量&00是表示臉的紋理A(X)的特性的向量，具體而言，是與通過 主成分分析獲得的第i主成分對應的固有向量。即，從方差較大的主成分所對應的固有向 量開始依次采用基于累積貢獻率而設定的個數(shù)為m的固有向量，作為紋理向量Ai(X)15在本 實施例中，方差最大的第1主成分所對應的第1紋理向量A1(X)成為與臉色的變化(還捕 捉性別差異)近似相關的向量，方差第二大的第2主成分所對應的第2紋理向量A2(X)成 為與影成分的變化(還捕捉光源位置的變化)近似相關的向量。如上述式⑵所示，在本實施例的紋理模型中，表示臉的外觀的臉紋理A(X)被模 型化為平均臉圖像Atl(X)與m個紋理向量Ai(X)的線性組合之和。在紋理模型中，通過適當 設定紋理參數(shù)Xi，能夠再現(xiàn)所有圖像中的臉的紋理A(X)。其中，紋理模型設定步驟(圖2 的步驟S140)中設定的平均臉圖像Atl(X)以及紋理向量Ai(X),被作為AAM信息AMI (圖1) 保存到內(nèi)部存儲器120中。平均臉圖像Atl(X)相當于本發(fā)明中的基準紋理，紋理向量Ai(X) 與紋理參數(shù)λ i之積相當于本發(fā)明中的規(guī)定的紋理特征量。另外，在本實施例中，由于可如上所述，設定與相互不同的臉圖像尺寸對應的多個 形狀模型，所以，針對紋理模型也設定與相互不同的臉圖像尺寸對應的多個紋理模型。艮口，設定與相互不同的臉圖像尺寸對應的多個平均臉圖像Atl(X)及多組紋理參數(shù)Xitj通過對 按多個形狀模型的每個生成的采樣臉圖像SIw的像素組χ各自的亮度值所構成的亮度值向 量進行主成分分析，來設定多個紋理模型。通過以上說明的AAM設定處理(圖2)，可設定將臉額形狀模型化的形狀模型和將 臉的紋理模型化的紋理模型。通過對所設定的形狀模型與紋理模型進行組合，即通過對合 成后的紋理A(X)進行從平均形狀Stl到形狀s的變換(圖7所示的扭曲W的逆變換)，能夠 再現(xiàn)所有臉圖像的形狀及紋理。Α-3.臉特征位置確定處理圖9是表示第1實施例中的臉特征位置確定處理的流程的流程圖。本實施例中的 臉特征位置確定處理是通過利用AAM來確定對象圖像中的特征點CP的配置，從而確定對象 圖像中的臉的特征部位的位置的處理。如上所述，本實施例在AAM設定處理(圖2)中，將 人物的臉的器官(眉毛、眼睛、鼻子、嘴)及臉的輪廓上的共計68個規(guī)定位置設定為特征部 位(參照圖4)。因此，在本實施例的臉特征位置確定處理中，可確定對人物的臉的器官及臉 的輪廓上的規(guī)定位置進行表示的68個特征點CP的配置。另外，若通過臉特征位置確定處理確定了對象圖像中的特征點CP的配置，則能夠 確定對象圖像中的人物的臉器官的形狀、位置和臉的輪廓形狀。因此，臉特征位置確定處理 的處理結果，能夠在用于對特定表情(例如笑臉或閉著眼睛的臉)的臉圖像進行檢測的表 情判定、用于對特定朝向(例如朝右或朝下)的臉圖像進行檢測的臉朝向判定、使臉形狀變 形的臉變形等中加以利用。在步驟S210 (圖9)中，圖像處理部200 (圖1)獲取對成為臉特征位置確定處理的 對象的對象圖像進行表示的圖像數(shù)據(jù)。在本實施例的打印機100中，當存儲卡MC被插入到 卡槽172中，存儲卡MC中保存的圖像文件的縮略圖像顯示到顯示部150上。用戶在參照所 顯示的縮略圖像的同時，通過操作部140來選擇成為處理對象的一個或多個圖像。圖像處 理部200從存儲卡MC取得包含與所選擇的一個或多個圖像對應的圖像數(shù)據(jù)的圖像文件，并 保存到內(nèi)部存儲器120的規(guī)定的區(qū)域。其中，將所取得的圖像數(shù)據(jù)稱為對象圖像數(shù)據(jù)，將對 象圖像數(shù)據(jù)所表示的圖像稱為對象圖像01。在步驟S220(圖9)中，臉區(qū)域檢測部230 (圖1)將包括對象圖像OI中的臉圖像 的至少一部分的圖像區(qū)域檢測為臉區(qū)域FA。臉區(qū)域FA的檢測可利用公知的臉檢測方法進 行。作為公知的臉檢測方法，例如有基于圖案匹配的方法、基于膚色區(qū)域提取的方法、采用 通過利用了采樣臉圖像的學習(例如，利用了神經(jīng)網(wǎng)絡的學習、利用了 Boosting的學習、利 用了支持向量機(support vector machine)的學習等)而設定的學習數(shù)據(jù)的方法等。圖10是表示對象圖像OI中的臉區(qū)域FA的檢測結果的一例的說明圖。圖10中表 示了在對象圖像OI中檢測到的臉區(qū)域FA。在本實施例中，采用了檢測大致包含臉的上下方 向上從額頭到下頌、左右方向上到兩耳外側的矩形區(qū)域作為臉區(qū)域FA的臉檢測方法。其中，圖10所示的設想基準區(qū)域ABA是被設想為與平均臉圖像Atl(X)的整體區(qū)域、 即基準區(qū)域BA(參照圖8)對應的區(qū)域。設想基準區(qū)域ABA基于檢測出的臉區(qū)域FA，被設定 為大小、傾斜度、上下及左右方向的位置分別與臉區(qū)域FA具有規(guī)定關系的區(qū)域。臉區(qū)域FA 與設想基準區(qū)域ABA之間的規(guī)定關系，通過考慮臉區(qū)域FA的檢測中所采用的臉檢測方法的 特性(將什么樣的臉的范圍檢測為臉區(qū)域FA)而預先設定，使得當臉區(qū)域FA中出現(xiàn)的臉為平均的臉時，設想基準區(qū)域ABA與基準區(qū)域BA對應。另外，在步驟S220(圖9)中從對象圖像OI沒有檢測到臉區(qū)域FA的情況下，判斷 為對象圖像OI中不包含臉的圖像而結束臉特征位置確定處理、或再次執(zhí)行臉區(qū)域FA的檢 測處理。 在步驟S222(圖9)中，模型選擇部220 (圖1)取得對象圖像OI中的臉圖像尺寸， 并基于所取得的臉圖像尺寸，從與相互不同的臉圖像尺寸對應而設定的多個形狀模型及紋 理模型中，選擇一個形狀模型及一個紋理模型。具體而言，模型選擇部220取得所設定的設 想基準區(qū)域ABA的尺寸作為臉圖像尺寸，并選擇與設想基準區(qū)域ABA的尺寸最接近的圖像 尺寸所對應的形狀模型及紋理模型。在臉特征位置確定處理(圖9)之后的處理中，所選擇 的形狀模型及紋理模型被使用。在步驟S230(圖9)中，臉特征位置確定部210 (圖1)決定對象圖像OI中的特征 點CP的初始配置。圖11是表示第1實施例中的特征點CP的初始配置決定處理的流程的 流程圖。在特征點CP初始配置決定處理的步驟S310中，初始配置部211 (圖1)對作為全 局參數(shù)的大小、傾斜度、位置(上下方向的位置及左右方向的位置)的值進行各種變更，將 特征點CP的臨時配置設定到對象圖像OI上。圖12是表示對象圖像OI中的特征點CP的臨時配置的一例的說明圖。圖12(a) 及圖12(b)中，通過網(wǎng)目表示了對象圖像OI中的特征點CP的臨時配置。即，網(wǎng)目的各交 點為特征點CP。初始配置部211如圖12(a)及圖12(b)的中央所示那樣，設定將平均臉圖 像Atl(X)(參照圖8)重疊到對象圖像OI的設想基準區(qū)域ABA(參照圖10)時的平均臉圖像 A0(x)的特征點CP所確定的臨時配置(以下也稱為“基準臨時配置”)。初始配置部211還相對于基準臨時配置設定對全局參數(shù)的值進行各種變更而得 到的臨時配置。對全局參數(shù)(大小、傾斜度、上下方向的位置及左右方向的位置)進行變更 相當于對確定特征點CP的臨時配置的網(wǎng)目進行放大/縮小、傾斜度的變更、并行移動。因 此，初始配置部211如圖12(a)所示設定以規(guī)定倍率對基準臨時配置的網(wǎng)目放大或縮小后 的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的下方及上方)、順時針或逆時針使傾斜 度改變規(guī)定角度后的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的右側及左側)。而且， 初始配置部211還設定對基準臨時配置的網(wǎng)目進行了將放大/縮小及傾斜度的變更組合 的變換后的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的左上、左下、右上、右下)。另外，如圖12(b)所示，初始配置部211設定將基準臨時配置的網(wǎng)目向上或向下 并行移動規(guī)定量后的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的上方及下方)、向左 或向右并行移動后的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的左側及右側)。而且， 初始配置部211還設定對基準臨時配置的網(wǎng)目進行了將上下及左右的并行移動組合的變 換后的網(wǎng)目所確定的臨時配置(表示在基準臨時配置的左上、左下、右上、右下)。并且，初始配置部211還設定對圖12(a)所示的基準臨時配置以外的8個臨時配 置各自的網(wǎng)目，執(zhí)行圖12(b)所示的上下左右的并行移動后的網(wǎng)目所確定的臨時配置。因 此，在本實施例中，可設定基準臨時配置、和通過對基準臨時配置中的網(wǎng)目進行將4個全局 參數(shù)(大小、傾斜度、上下方向的位置、左右方向的位置)各自的三個等級的值的組合所對 應的共計80種(=3X3X3X3-1)變換而設定的80種臨時配置，共計81種臨時配置。其中，在本實施例中，將基準臨時配置中的平均臉圖像Atl(X)與對象圖像OI的設想基準區(qū)域ABA的對應關系，稱為“基準對應關系”。臨時配置的設定可表現(xiàn)為通過以下方 式來實現(xiàn)，即，以基準對應關系為基準，設定針對平均臉圖像Atl(X)與對象圖像OI中的一方 進行了上述共計80種變換后的平均臉圖像Atl(X)與對象圖像OI的對應關系(以下也稱為 “變換對應關系”)，將基準對應關系及變換對應關系中的平均臉圖像Atl(X)的特征點CP的 配置，作為對象圖像OI中的特征點CP的臨時配置。在步驟S320(圖11)中，圖像變換部212(圖1)計算出與所設定的各臨時配置對應 的平均形狀圖像I (W(x;p))。圖13是表示平均形狀圖像I (W(x;p))的一例的說明圖。平 均形狀圖像I (W(χ ；ρ))是具有平均形狀Stl的臉圖像?？赏ㄟ^輸入圖像中的特征點CP的配 置與平均形狀Stl中的特征點CP的配置相等那樣的變換，來算出平均形狀圖像I (W(x ；ρ))。用于計算平均形狀圖像I (W(χ ；ρ))的變換與用于計算采樣臉圖像SIw的變換(參 照圖7)同樣，通過作為每個三角形區(qū)域TA的仿射變換的集合的扭曲W來進行。具體而言， 通過由對象圖像OI中配置的特征點CP(參照圖12)確定對象圖像OI中的平均形狀區(qū)域 BSA (位于外周的特征點CP所包圍的區(qū)域，參照圖6)，對平均形狀區(qū)域BSA進行每個三角形 區(qū)域TA的仿射變換，從而計算出平均形狀圖像I (W(X;p))。在本實施例中，平均形狀圖像 I(W(x ；P))與平均臉圖像Atl(X)同樣，由平均形狀區(qū)域BSA及屏蔽區(qū)域MA構成，作為與平均 臉圖像Atl(X)相同尺寸的圖像被計算。圖13中表示了與圖12(a)所示的9個臨時配置對 應的9個平均形狀圖像I (W(χ ；ρ))的例子。其中，如上所述，像素組χ是位于平均形狀Stl中的平均形狀區(qū)域BSA的像素的集 合。將執(zhí)行扭曲W后的圖像(具有平均形狀Stl的臉圖像)中的像素組χ所對應的執(zhí)行扭 曲W之前的圖像(對象圖像OI的平均形狀區(qū)域BSA)中的像素組表示為W(x;p)。由于平 均形狀圖像是由對象圖像OI的平均形狀區(qū)域BSA中的像素組W (χ ；ρ)各自的亮度值構成的 圖像，所以被表示為I (W (χ ；ρ))。在步驟S330 (圖11)中，初始配置部211 (圖1)計算出各平均形狀圖像I (W (χ ;p)) 與平均臉圖像Atl(X)的差分圖像Ie。由于設定了 81種特征點CP的臨時配置，且設定了 81 個平均形狀圖像I (W(χ ；P))，所以初始配置部211計算出81個差分圖像Ie。在步驟S340(圖11)中，初始配置部211 (圖1)計算出各差分圖像Ie的范數(shù)，將 范數(shù)值最小的差分圖像Ie所對應的臨時配置(以下也稱為“范數(shù)最小臨時配置”)，設定為 對象圖像OI中的特征點CP的初始配置。范數(shù)最小臨時配置是與平均臉圖像Atl(X)的差異 程度最小(最接近、最相似)的平均形狀圖像I(W(x ；ρ))所對應的臨時配置。其中，選擇范 數(shù)最小臨時配置等同于從上述的基準對應關系及80種變換對應關系中，選擇標準化處理 后的平均形狀圖像I(W(x ；ρ))與平均臉圖像Atl(X)的差異程度最小的對應關系，并選擇所 被選出的對應關系中的臨時配置。通過特征點CP的初始配置處理，在對象圖像OI中，設定 了對特征點CP的配置的整體大小、傾斜度、位置(上下方向的位置及左右方向的位置)進 行規(guī)定的全局參數(shù)的概略值。圖14是表示對象圖像OI中的特征點CP的初始配置的一例的說明圖。在圖14中，利用網(wǎng)目表示了在對象圖像OI中被確定的特征點CP的初始配置。即，網(wǎng)目的各交點為特 征點CP。當特征點CP初始配置決定處理(圖9的步驟S230)結束時，臉特征位置確定部 210 (圖1)進行對象圖像OI中的特征點CP的配置更新(步驟S240)。圖15是表示第1實施例中的特征點CP配置更新處理的流程的流程圖。在特征點CP配置更新處理(圖15)的步驟S410中，圖像變換部212(圖1)根據(jù) 對象圖像OI計算出平均形狀圖像I (W(x;p))。平均形狀圖像I(W(x;p))是具有平均形狀 S。的臉圖像。通過輸入圖像中的特征點CP的配置與平均形狀Stl中的特征點CP的配置(參 照圖6)相等那樣的變換，來算出平均形狀圖像I (W(x ；ρ))。計算平均形狀圖像I (W(x;p))用的變換與計算采樣臉圖像SIw用的變換(參照 圖7)同樣，通過作為每個三角形區(qū)域TA的仿射變換的集合的扭曲W來進行。具體而言，由 對象圖像OI中配置的特征點CP(參照圖14)確定對象圖像OI中的平均形狀區(qū)域BSA(位 于外周的特征點CP所包圍的區(qū)域，參照圖6)，并對平均形狀區(qū)域BSA進行每個三角形區(qū)域 TA的仿射變換，從而算出平均形狀圖像I (W(χ ；ρ))。在本實施例中，平均形狀圖像I (W(χ ； P))與平均臉圖像Ao(X)同樣，由平均形狀區(qū)域BSA及屏蔽區(qū)域MA構成，作為與平均臉圖像 Ao(x)相同尺寸的圖像被計算出。在步驟S412(圖15)中，標準化部215 (圖1)參照對平均臉圖像Atl (χ)的亮度值 分布進行表示的指標值，將平均形狀圖像I (W(X ；P))標準化。在本實施例中，對作為平均臉 圖像Atl(X)的平均形狀區(qū)域BSA (參照圖8)中的亮度值分布的指標值的平均值及方差值進 行表示的信息，包含在AAM信息AMI中。標準化部215計算出平均形狀圖像I (W(x;p))的 平均形狀區(qū)域BSA中的亮度值的平均值及方差值，并按照計算出的平均值及方差值與平均 臉圖像Atl(X)的亮度值的平均值及方差值相等的方式，對平均形狀圖像I (W(X;p))的平均 形狀區(qū)域BSA進行圖像變換(標準化處理)。在步驟S420 (圖15)中，臉特征位置確定部210 (圖1)計算出標準化處理后的平均 形狀圖像I(W(x;p))與平均臉圖像Atl(X)的差分圖像Ie。在步驟S430中，判定部213(圖 1)基于差分圖像Ie，判定特征點CP的配置更新處理是否已收斂。判定部213計算出差分 圖像Ie的范數(shù)，當范數(shù)值小于預先設定的閾值時判定為已收斂，當范數(shù)值為閾值以上時判 定為尚未收斂。差分圖像Ie的范數(shù)是表示平均形狀圖像I (W(χ ；ρ))與平均臉圖像Atl(X)的 差異程度的指標值。另外，在步驟S430的收斂判定中，判定部213也可以在計算出的差分圖像Ie的范 數(shù)值小于上一次的步驟S430中計算出的值時，判定為已收斂，在上一次的值以上時判定為 尚未收斂?；蛘撸卸ú?13還可以將基于閾值的判定、和基于與上一次值的比較的判定組 合來進行收斂判定。例如，判定部213僅在算出的范數(shù)值小于閾值、且小于上一次的值時判 定為已收斂，在此外的情況下判定為尚未收斂。在步驟S430的收斂判定中判定為尚未收斂時，更新部214(圖1)計算出參數(shù)更新 量ΔΡ(步驟S440)。參數(shù)更新量ΔΡ是指4個全局參數(shù)(作為整體的大小、傾斜度、X方向 位置、Y方向位置)及η個形狀參數(shù)Pi (參照式(1))的值的變更量。其中，在特征點CP的 初始配置剛剛結束時，全局參數(shù)被設定為在特征點CP初始配置決定處理(圖11)中確定的 值。而且，由于此時的特征點CP的初始配置與平均形狀Stl的特征點CP的配置的差異，僅 限于作為整體的大小、傾斜度、位置的差異，所以形狀模型中的形狀參數(shù)Pi的值均為零。參數(shù)更新量ΔΡ可通過下述的式(3)計算。即，參數(shù)更新量ΔΡ是更新矩陣R與 差分圖像Ie之積。數(shù)學式3
AP = RXIe... (3)式(3)中的更新矩陣R是為了根據(jù)差分圖像Ie計算出參數(shù)更新量ΔΡ而預先通過 學習設定的M行N列的矩陣，作為AAM信息AMI(圖1)被保存在內(nèi)部存儲器120中。在本實 施例中，更新矩陣R的行數(shù)M等于全局參數(shù)的數(shù)量(4個)與形狀參數(shù)Pi的數(shù)量(η個)之 和((4+η)個)，列數(shù)N等于平均臉圖像Atl(X)(圖8)的平均形狀區(qū)域BSA內(nèi)的像素數(shù)。更 新矩陣R可通過下述的式⑷及(5)計算。數(shù)學式4<formula>formula see original document page 16</formula> ...(4)數(shù)學式5<formula>formula see original document page 16</formula>
在步驟S450(圖15)中，更新部214 (圖1)基于算出的參數(shù)更新量Δ P，對參數(shù)(4 個全局參數(shù)及η個形狀參數(shù)Pi)進行更新。由此，對象圖像OI中的特征點CP的配置被更 新。在步驟S450的參數(shù)更新之后，再次進行根據(jù)特征點CP的配置被更新后的對象圖像OI 計算出平均形狀圖像I (W(χ ；ρ))(步驟S410)、計算出差分圖像Ie (步驟S420)、基于差分圖 像Ie的收斂判定(步驟S430)。當在再次的收斂判定中仍判定為尚未收斂時，進而進行基 于差分圖像Ie的參數(shù)更新量Δ P的計算(步驟S440)、基于參數(shù)更新的特征點CP的配置更 新(步驟S450)。當反復執(zhí)行了圖15的步驟S410 S450的處理時，對象圖像OI中的各特征部位 所對應的特征點CP的位置會整體逐漸接近實際的特征部位的位置(正確位置)，某一時刻 在收斂判定(步驟S430)中判定為已收斂。當在收斂判定中判定為已收斂時，臉特征位置 確定處理結束(步驟S460)。此時設定的全局參數(shù)及形狀參數(shù)Pi的值所確定的特征點CP 的配置，被確定為最終的對象圖像OI中的特征點CP的配置。圖16是表示臉特征位置確定處理的結果的一例的說明圖。圖16中表示了在對象 圖像OI中最終確定的特征點CP的配置。通過特征點CP的配置，可確定對象圖像OI中的 特征部位(人物的臉的器官(眉毛、眼睛、鼻子、嘴)及臉的輪廓中的規(guī)定位置)的位置，能 夠確定對象圖像OI中的人物的臉的器官的形狀、位置和臉的輪廓形狀。如以上說明那樣，在本實施例的臉特征位置確定處理(圖9)中，確定對象圖像OI 中的特征點CP的初始配置，然后，根據(jù)從對象圖像OI計算出的平均形狀圖像I (W(x ；ρ))與 平均臉圖像Atl(X)的比較結果，更新對象圖像OI中的特征點CP的配置。S卩，在特征點CP的 初始配置決定處理(圖11)中，確定對特征點CP的配置的整體大小、傾斜度、位置(上下方 向的位置及左右方向的位置)進行規(guī)定的全局參數(shù)的概略值，在之后的特征點CP配置更新 處理(圖15)中，伴隨著基于差分圖像Ie的參數(shù)更新，特征點CP的配置被更新，從而確定 對象圖像OI中的最終的特征點CP的配置。這樣，在本實施例中，通過首先在初始配置決定 處理中確定特征點CP的配置整體的變動大(方差大)的全局參數(shù)的概略值，能夠實現(xiàn)臉特 征位置確定處理的高效化、高速化及精度的提高(并非基于所謂的局部最佳解，而是基于 全局最佳解的特征點CP的配置的最終決定)。
另外，在本實施例的特征點CP配置更新處理(圖15)中，在計算根據(jù)對象圖像OI 算出的平均形狀圖像I (W(X ；P))與平均臉圖像Atl(X)的差分圖像Ie (圖15的步驟S420)之 前，按照在平均形狀圖像I (W(χ ；ρ))的平均形狀區(qū)域BSA與平均臉圖像Atl(X)的平均形狀 區(qū)域BSA之間亮度值的平均值及方差值相等的方式，對平均形狀圖像I(W(x ；ρ))進行圖像 變換(標準化處理)(步驟S412)。由此，可抑制各個對象圖像OI的亮度值分布的特征對差 分圖像Ie造成的影響，提高基于差分圖像Ie的收斂判定(步驟S430)的精度，進而提高臉 特征位置確定處理的精度。而且，在收斂判定中，如上所述，通過利用了絕對閾值的判定也 能夠進行高精度的判定。因此，與例如通過將差分圖像Ie的范數(shù)值和上一次的值比較來進 行收斂判定的情況相比，能夠實現(xiàn)處理的高速化。
Α-4.圖像修正處理圖17是表示第1實施例中的圖像修正處理的流程的流程圖。而圖18是表示第1 實施例中的圖像修正處理的概要的說明圖。第1實施例中的圖像修正處理是對通過上述的 臉特征位置確定處理(圖9)確定了特征點CP的配置后的對象圖像01，進行使臉圖像上的 影成分降低至所希望的程度的修正(影修正)的處理。通過圖像修正處理(影修正)，能夠 降低或者完全除去對象圖像OI的臉部分中的斜光和逆光、局部影的影響。在圖18的左側 上方，表示了包含臉的一部分帶有影子的臉圖像的對象圖像OI的例子、和在該對象圖像OI 中確定的特征點CP的配置的例子(網(wǎng)目的交點為特征點CP)。在步驟S610(圖17)中，模型選擇部220 (圖1)取得對象圖像OI中的臉圖像尺寸， 并基于所取得的臉圖像尺寸，從與相互不同的臉圖像尺寸對應而設定的多個形狀模型及紋 理模型中，選擇一個形狀模型及一個紋理模型。形狀模型及紋理模型的選擇與上述的臉特 征位置確定處理(圖9)的步驟S222中的處理同樣執(zhí)行。即，模型選擇部220基于特征點 CP的配置來確定對象圖像OI中的平均形狀區(qū)域BSA (位于外周的特征點CP所包圍的區(qū)域， 參照圖6)，取得平均形狀區(qū)域BSA的大小作為臉圖像尺寸。然后，模型選擇部220選擇與所 取得的臉圖像尺寸最接近的臉圖像尺寸所對應的形狀模型及紋理模型。圖18中表示了從 與相互不同的臉圖像尺寸對應的多個形狀模型及紋理模型中，基于臉圖像尺寸選擇一個形 狀模型(平均形狀sQ)及一個紋理模型(紋理A(X))的情況。在圖像修正處理(圖17)之 后的處理中，可使用所選擇的形狀模型及紋理模型。在步驟S620(圖17)中，圖像變換部241 (圖1)根據(jù)對象圖像OI計算出平均形狀 圖像I(W(x;p))。平均形狀圖像I(W(x;p))的計算與上述的特征點CP配置更新處理(圖 15)的步驟S410中的平均形狀圖像I(W(x;p))的計算同樣執(zhí)行。即，通過對上述的對象圖 像OI的平均形狀區(qū)域BSA，進行使對象圖像OI中的特征點CP的配置與平均形狀S。中的特 征點CP的配置(參照圖6)相等那樣的變換，來計算出平均形狀圖像I(W(x;p))。計算平 均形狀圖像I (W(χ ；ρ))用的變換，通過作為每個三角形區(qū)域TA的仿射變換的集合的扭曲W 來進行。在本實施例中，平均形狀圖像I (W (χ ；ρ))與平均臉圖像Ao(X)(參照圖8)同樣，由 平均形狀區(qū)域BSA及屏蔽區(qū)域MA構成。而且，平均形狀圖像I (W(χ ；ρ))作為與所選出的形 狀模型的平均形狀Stl的尺寸相同尺寸的圖像被計算出。根據(jù)對象圖像OI計算出平均形狀 圖像I(W(x ；ρ))用的變換相當于本發(fā)明中的第一變換。在步驟S630(圖17)中，特征量處理部242 (圖1)將平均形狀圖像I (W (χ ;p))投 影到紋理固有空間，計算出紋理A(x)(參照上述式(2))?；谙蚣y理固有空間投影的紋理A(χ)的計算，利用在步驟S610中選擇的紋理模型來執(zhí)行。在步驟S640(圖17)中，特征量處理部242 (圖1)降低紋理A(X)的影成分。如上 所述，在本實施例中，紋理A(X)的第2主成分所對應的第2紋理向量弋00成為與影成分的 變化(還捕捉光源位置的變化)近似相關的向量。即，第2紋理向量400與其紋理參數(shù) λ 2之積實質(zhì)上對應于紋理A(X)中的影成分。因此，特征量處理部242通過改變第2紋理 向量A2(X)的紋理參數(shù)λ2來降低紋理A(X)的影成分。例如，若將紋理參數(shù)入2的值變更 為零，則紋理A(X)的影成分被除去。其中，影成分的降低程度基于用戶的指定來設定?；?者，影成分的降低程度也可以被設定為預先規(guī)定的程度。
在步驟S650(圖17)中，特征量處理部242 (圖1)將影成分降低后的紋理A (χ)展 開為平均形狀s0，復原平均形狀圖像I (W(x ；ρ))。在步驟S660中，圖像變換部241將復原 后的平均形狀圖像I (W(x ；ρ))復原為對象圖像OI的形狀。步驟S660中的復原是步驟S620 中的平均形狀圖像I(W(x ；ρ))的計算中所使用的變換(第一變換)的逆變換。通過以上的 處理，對象圖像OI中的臉圖像上的影成分被降低至所希望的程度(參照圖18的左下方)。如以上說明那樣，在本實施例的圖像修正處理中，能夠將對象圖像OI中的臉圖像 上的影成分降低至所希望的程度。這里，在本實施例中，可取得對象圖像OI中的臉圖像尺 寸(平均形狀區(qū)域BSA的大小)，選擇與所取得的臉圖像尺寸最接近的圖像尺寸所對應的形 狀模型(平均形狀Stl)及紋理模型(紋理A(X))。然后，利用所選出的形狀模型及紋理模型， 執(zhí)行平均形狀圖像I(W(x ；ρ))的計算(圖17的步驟S620)、向紋理固有空間的投影(步驟 S630)、向平均形狀S。的展開(步驟S650)、向對象圖像OI的形狀的復原(步驟S660)等步 驟。因此，在本實施例的圖像修正處理中，能夠抑制處理負荷的增大，同時進一步提高對臉 圖像中的規(guī)定的紋理特征量(例如影成分的量)進行變更的處理的質(zhì)量。S卩，例如當在圖像修正處理中，使用與對象圖像OI中的臉圖像尺寸相比非常小的 臉圖像尺寸所對應的形狀模型及紋理模型時，導致在執(zhí)行平均形狀圖像I (W(X ；P))的計 算、向紋理固有空間的投影等步驟時，圖像的信息量降低，通過之后的向平均形狀Stl的展 開、向對象圖像OI的形狀的復原等步驟也不能復原降低的信息量。因此，處理后的圖像有 可能成為模糊的圖像。另外，相反，當在圖像修正處理中，使用與對象圖像OI的臉圖像尺寸 相比非常大的臉圖像尺寸所對應的形狀模型及紋理模型時，導致圖像修正處理的各步驟中 的處理負荷增大。在本實施例的圖像修正處理中，由于使用了與對象圖像OI中的臉圖像尺 寸最接近的臉圖像尺寸所對應的形狀模型及紋理模型，所以能夠抑制對象圖像OI的信息 量降低、提高處理的質(zhì)量，并且能夠抑制處理負荷的增大。B.第2實施例圖19是表示第2實施例中的圖像修正處理的流程的流程圖。第2實施例中的圖 像修正處理與第1實施例的圖像修正處理(圖17)同樣，是對通過上述的臉特征位置確定 處理(圖9)確定了特征點CP的配置后的對象圖像01，進行使臉圖像上的影成分降低至所 希望的程度的修正(影修正)的處理。其中，在第2實施例中，不需要如第1實施例那樣設 定與互不相同的臉圖像尺寸對應的多個形狀模型及紋理模型，只要設定與任意的臉圖像尺 寸對應的一個形狀模型及一個紋理模型即可。在步驟S710(圖19)中，圖像變換部241 (圖1)根據(jù)對象圖像OI計算出平均形狀 圖像I(W(x;p))。平均形狀圖像I(W(x;p))的計算與第1實施例的圖像修正處理(圖17)的步驟S620同樣地執(zhí)行。
在步驟S720(圖19)中，特征量處理部242 (圖1)將平均形狀圖像I (W (χ ;p))投 影到紋理固有空間，計算出紋理A(x)(參照上述式(2))。在步驟S730(圖19)中，特征量處理部242 (圖1)計算出紋理A (χ)的影成分。如 上述那樣，在本實施例中，紋理A(X)的第2主成分所對應的第2紋理向量弋00成為與影成 分的變化(還捕捉光源位置的變化)近似相關的向量。即，第2紋理向量A2(X)與其紋理 參數(shù)λ 2之積實質(zhì)上對應于紋理A(X)中的影成分。因此，紋理A(X)的影成分通過在紋理 A(X)中將第2紋理向量弋00的紋理參數(shù)λ 2以外的紋理參數(shù)的值全部變更為零來算出。在步驟S740(圖19)中，特征量處理部242 (圖1)將紋理A (χ)的影成分展開為 平均形狀Stl，生成具有平均形狀S0的影成分圖像。影成分圖像是與影成分這一規(guī)定的紋理 特征量對應的圖像。在步驟S750中，圖像變換部241將生成的具有平均形狀S。的影成分 圖像形狀變更為對象圖像OI的形狀。步驟S750中的形狀變更是步驟S710中的平均形狀 圖像I(W(x ；ρ))的計算中所使用的變換的逆變換。在步驟S760(圖19)中，特征量處理部 242 (圖1)從對象圖像OI中減去形狀被變更為對象圖像OI的形狀的影成分圖像。通過以 上的處理，對象圖像OI中的臉圖像上的影成分被除去。另外，在步驟S730(圖19)中的紋理A(X)的影成分的計算之后，通過對影成分乘 以小于1的系數(shù)，可計算出被降低后的影成分。通過以該被降低后的影成分為對象，執(zhí)行上 述的步驟S740 S760的處理，能夠除去對象圖像OI中的臉圖像上的影成分，將影成分降 低至所希望的程度。如以上說明那樣，在第2實施例的圖像修正處理中，能夠將對象圖像OI中的臉圖 像上的影成分降低至所希望的程度。這里，在第2實施例中，平均形狀圖像I (W(χ ；ρ))的計 算(圖19的步驟S710)、平均形狀圖像I (W(x ；ρ))向紋理固有空間的投影(步驟S720)，為 了計算紋理A(X)的影成分而執(zhí)行。在第2實施例的圖像修正處理中，通過從不成為任意處 理的對象的對象圖像OI中減去影成分圖像，來執(zhí)行將影成分降低至所希望程度的修正處 理。因此，在第2實施例的圖像修正處理中，對象圖像OI的信息量不會伴隨著處理而降低， 能夠實現(xiàn)對臉圖像中的規(guī)定的紋理特征量(例如影成分的量)進行變更的處理的質(zhì)量的進 一步提聞。C.變形例另外，本發(fā)明并不限于上述的實施例或實施方式，在不脫離其宗旨的范圍內(nèi)能夠 以各種方式實施，例如可進行如下的變形。Cl.變形例 1 上述各實施例中，在臉特征位置確定處理(圖9)中，進行了基于臉圖像尺寸的形 狀模型及紋理模型的選擇，但在臉特征位置確定處理中，并非必須基于臉圖像尺寸來進行 形狀模型及紋理模型的選擇，也可以選擇任意的形狀模型及紋理模型。而且，當在臉特征位置確定處理(圖9)中進行了基于臉圖像尺寸的形狀模型及紋 理模型的選擇時，在圖像修正處理(圖17)中可以原樣地選擇該被選出的形狀模型及紋理 模型。C2.變形例 2 上述各實施例的圖像修正處理是用于進行將對象圖像OI中的臉圖像上的影成分降低至所希望程度的修正(影修正)的處理，但本發(fā)明能夠應用在將對象圖像OI中的臉圖 像的任意紋理特征量變更的圖像修正處理中。即，通過在紋理A(X)中對想要變更的紋理特 征量所對應的紋理向量的紋理參數(shù)進行變更，能夠實現(xiàn)將臉圖像的任意紋理特征量變更的 圖像修正處理。C3.變形例 3:
在上述各實施例中，利用AAM執(zhí)行了臉特征位置確定處理(圖9)，但臉特征位置確 定處理并非必須利用AAM來執(zhí)行，也可以通過其他的方法執(zhí)行。另外，在特征點CP配置更新處理(圖15)中執(zhí)行了標準化處理(步驟S412)，但標 準化處理并非必須執(zhí)行。C4.變形例 4:上述各實施例中，在特征點CP初始配置決定處理(圖9的步驟S230)中，計算出 平均臉圖像組的每一個與對象圖像OI的差分圖像Ie、平均臉圖像Atl(X)與多個平均形狀圖 像I(W(x ；ρ))的每一個的差分圖像Ie，基于差分圖像Ie決定特征點CP的配置整體變動大 (方差大)的全局參數(shù)的概略值，但在決定對象圖像OI中的特征點CP的初始配置時，并非 必須進行差分圖像Ie的計算、全局參數(shù)的概略值的決定，也可以將預先確定的特征點CP的 配置(例如上述的基準對應關系中的配置)決定為初始配置。C5.變形例 5:在上述各實施例中，作為特征點CP配置更新處理(圖15)的收斂判定(步驟S430) 中的判定指標值，使用了平均形狀圖像I(W(X ；ρ))與平均臉圖像Atl(X)的差分圖像Ie的范 數(shù)，但作為判定指標值，也可以使用表示平均形狀圖像I(W(x ；ρ))與平均臉圖像Atl(X)的差 異程度的其他指標值。C6.變形例 6:在上述各實施例的特征點CP配置更新處理(圖15)中，通過基于對象圖像OI計 算出平均形狀圖像I (W(X ；P))，使對象圖像OI的特征點CP的配置與平均臉圖像Atl(X)的特 征點CP的配置匹配，但也可以通過對平均臉圖像Atl(X)進行圖像變換，來使兩者的特征點 CP的配置匹配。C7.變形例 7:在上述各實施例中，進行了臉區(qū)域FA的檢測，并根據(jù)臉區(qū)域FA設定了設想基準區(qū) 域ΑΒΑ，但臉區(qū)域FA的檢測并非必須執(zhí)行。例如，可按照用戶的指定直接設定設想基準區(qū)域 ΑΒΑ。C8.變形例 8:上述各實施例中的采樣臉圖像SI (圖3)只是一例，作為采樣臉圖像SI而采用的 圖像的數(shù)量、種類能夠任意設定。而且，在上述各實施例中，由特征點CP的位置表示的臉的 規(guī)定的特征部位(參照圖4)只是一例，可以省略實施例中設定的特征部位的一部分，或采 用其他部位作為特征部位。并且，在上述各實施例中，通過對采樣臉圖像SIw的像素組χ各自的亮度值所構成 的亮度值向量進行主成分分析，設定了紋理模型，但也可以通過對表示臉圖像的紋理(外 觀)的亮度值以外的指標值(例如RGB值)進行主成分分析，來設定紋理模型。另外，在上述各實施例中，平均臉圖像Atl(X)的尺寸可以是各種尺寸。而且，平均臉圖像Atl(X)無需包括屏蔽區(qū)域MA(圖8)，可以僅由平均形狀區(qū)域BSA構成。另外，也可以 取代平均臉圖像A。(x)，而使用基于采樣臉圖像SI的統(tǒng)計分析設定的其他基準臉圖像。
而且，在上述各實施例中，進行了利用AAM的形狀模型及紋理模型的設定，但也可 以利用其他的模型化方法(例如被稱為MorphableModel的方法、被稱為Active Blob的方 法)，進行形狀模型及紋理模型的設定。并且，在上述各實施例中，存儲卡MC中保存的圖像被設定為對象圖像01，但對象 圖像OI也可以是例如通過網(wǎng)絡而取得的圖像。另外，上述各實施例中的作為圖像處理裝置的打印機100的結構只是一例，打印 機100的結構可進行各種變更。例如，圖像變換部212和圖像變換部241可以不是相互獨 立的結構而是一個公共的結構。而且，在上述各實施例中，說明了由作為圖像處理裝置的打 印機100進行的圖像處理，但處理的一部分或全部也可以由個人計算機、數(shù)碼相機、數(shù)碼攝 像機等其他種類的圖像處理裝置執(zhí)行。另外，打印機100并不限于噴墨打印機，也可以是其 他方式打印機，例如激光打印機或升華型打印機。在上述各實施例中，由硬件實現(xiàn)的結構的一部分可以替換為軟件，反之，由軟件實 現(xiàn)的結構的一部分也可以替換為硬件。另外，在本發(fā)明的功能的一部分或全部由軟件實現(xiàn)時，該軟件(計算機程序)能夠 以保存在計算機可讀取的記錄介質(zhì)中的形式被提供。在本發(fā)明中，“計算機可讀取的記錄介 質(zhì)”并不限于軟盤或⑶-ROM等便攜式記錄介質(zhì)，還包括各種RAM、R0M等計算機內(nèi)的內(nèi)部存 儲裝置、硬盤等固定于計算機的外部存儲裝置。
權利要求
一種圖像處理裝置，其特征在于，對對象圖像中的臉圖像的規(guī)定的紋理特征量進行變更，具備存儲部，其存儲對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不相同的臉圖像尺寸對應的多個紋理模型進行確定的信息，所述基準形狀是成為基準的臉形狀，所述紋理模型通過基準紋理和至少一個所述紋理特征量來表示具有所述基準形狀的臉圖像的像素值所規(guī)定的臉紋理；臉特征位置確定部，其確定所述對象圖像中的臉的規(guī)定的特征部位的位置；模型選擇部，其取得所述對象圖像中的臉圖像尺寸，基于所述取得的臉圖像尺寸選擇一個所述基準形狀和一個所述紋理模型；第一圖像變換部，其按照所述對象圖像中的所述特征部位的位置所規(guī)定的臉形狀與選擇出的所述基準形狀相等的方式，對所述對象圖像進行第一變換；特征量處理部，其利用選擇出的所述紋理模型，對所述第一變換后的所述對象圖像中的所述規(guī)定的紋理特征量進行變更；和第二圖像變換部，其對所述規(guī)定的紋理特征量變更后的所述對象圖像進行所述第一變換的逆變換。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述模型選擇部選擇與所述取得的臉圖像尺寸最接近的臉圖像尺寸所對應的所述基 準形狀和所述紋理模型。
3.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于，所述特征量處理部利用選擇出的所述紋理模型，對所述第一變換后的所述對象圖像確 定臉紋理，對被確定的臉紋理變更所述規(guī)定的紋理特征量。
4.根據(jù)權利要求1 3中任意一項所述的圖像處理裝置，其特征在于，所述特征量處理部對實質(zhì)上與影成分對應的所述規(guī)定的紋理特征量進行變更。
5.根據(jù)權利要求1 4中任意一項所述的圖像處理裝置，其特征在于，所述模型選擇部基于在所述對象圖像中被確定的所述特征部位的位置，取得所述對象 圖像中的臉圖像尺寸。
6.根據(jù)權利要求1 5中任意一項所述的圖像處理裝置，其特征在于，所述存儲部存儲的所述信息包含對與互不相同的臉圖像尺寸對應的多個形狀模型進 行確定的信息，所述形狀模型通過所述基準形狀和至少一個形狀特征量來表示臉形狀，所述臉特征位置確定部利用所述形狀模型和所述紋理模型，對所述對象圖像中的所述 特征部位的位置進行確定。
7.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，所述形狀模型及所述紋理模型基于以所述特征部位的位置為已知的多個采樣臉圖像 為對象的統(tǒng)計分析而被設定。
8.根據(jù)權利要求7所述的圖像處理裝置，其特征在于，所述基準形狀是對所述多個采樣臉圖像中的所述特征部位的平均位置進行表示的平 均形狀，所述基準紋理是對被形狀變換為所述平均形狀后的所述多個采樣臉圖像的所述特征 部位的位置處的像素值的平均進行表示的平均紋理。
9.一種圖像處理方法，其特征在于，對對象圖像中的臉圖像的規(guī)定的紋理特征量進行 變更，包括(a)取得對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不相同的臉圖像尺 寸對應的多個紋理模型進行確定的信息的步驟，所述基準形狀是成為基準的臉形狀，所述 紋理模型通過基準紋理和至少一個所述紋理特征量來表示具有所述基準形狀的臉圖像的 像素值所規(guī)定的臉紋理；(b)確定所述對象圖像中的臉的規(guī)定的特征部位的位置的步驟；(c)取得所述對象圖像中的臉圖像尺寸，基于所述取得的臉圖像尺寸選擇一個所述基 準形狀和一個所述紋理模型的步驟；(d)按照所述對象圖像中的所述特征部位的位置所規(guī)定的臉形狀與選擇出的所述基準 形狀相等的方式，對所述對象圖像進行第一變換的步驟；(e)利用選擇出的所述紋理模型，對所述第一變換后的所述對象圖像中的所述規(guī)定的 紋理特征量進行變更的步驟；和(f)對所述規(guī)定的紋理特征量變更后的所述對象圖像，進行所述第一變換的逆變換的 步驟。
10.一種計算機程序，其特征在于，用于進行對對象圖像中的臉圖像的規(guī)定的紋理特征 量實施變更的圖像處理，該計算機程序使計算機實現(xiàn)下述功能取得對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不相同的臉圖像尺寸對 應的多個紋理模型進行確定的信息的功能，所述基準形狀是成為基準的臉形狀，所述紋理 模型通過基準紋理和至少一個所述紋理特征量來表示具有所述基準形狀的臉圖像的像素 值所規(guī)定的臉紋理；確定所述對象圖像中的臉的規(guī)定的特征部位的位置的臉特征位置確定功能； 取得所述對象圖像中的臉圖像尺寸，基于所述取得的臉圖像尺寸選擇一個所述基準形 狀和一個所述紋理模型的模型選擇功能；按照所述對象圖像中的所述特征部位的位置所規(guī)定的臉形狀與選擇出的所述基準形 狀相等的方式，對所述對象圖像進行第一變換的第一圖像變換功能；利用選擇出的所述紋理模型，對所述第一變換后的所述對象圖像中的所述規(guī)定的紋理 特征量進行變更的特征量變更功能；和對所述規(guī)定的紋理特征量變更后的所述對象圖像進行所述第一變換的逆變換的第二 圖像變換功能。
11.一種打印裝置，其特征在于，對對象圖像中的臉圖像的規(guī)定的紋理特征量進行變 更，具備存儲部，其存儲對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不相同的臉 圖像尺寸對應的多個紋理模型進行確定的信息，所述基準形狀是成為基準的臉形狀，所述 紋理模型通過基準紋理和至少一個所述紋理特征量來表示具有所述基準形狀的臉圖像的 像素值所規(guī)定的臉紋理；臉特征位置確定部，其確定所述對象圖像中的臉的規(guī)定的特征部位的位置； 模型選擇部，其取得所述對象圖像中的臉圖像尺寸，基于所述取得的臉圖像尺寸選擇一個所述基準形狀和一個所述紋理模型；第一圖像變換部，其按照所述對象圖像中的所述特征部位的位置所規(guī)定的臉形狀與選 擇出的所述基準形狀相等的方式，對所述對象圖像進行第一變換；特征量處理部，其利用選擇出的所述紋理模型，對所述第一變換后的所述對象圖像中 的所述規(guī)定的紋理特征量進行變更；第二圖像變換部， 其對所述規(guī)定的紋理特征量變更后的所述對象圖像進行所述第一變 換的逆變換；和打印部，其對所述對象臉圖像進行打印。
全文摘要
本發(fā)明涉及變更臉圖像的規(guī)定的紋理特征量的圖像處理，用于實現(xiàn)對臉圖像中的規(guī)定的紋理特征量進行變更的圖像處理的質(zhì)量進一步提高。圖像處理裝置包括存儲部，存儲對與互不相同的臉圖像尺寸對應的多個基準形狀、和與互不相同的臉圖像尺寸對應的多個紋理模型進行確定的信息；臉特征位置確定部，確定對象圖像中的臉的特征部位的位置；模型選擇部，基于對象圖像中的臉圖像尺寸選擇基準形狀和紋理模型；第一圖像變換部，按照對象圖像中的臉形狀與選擇基準形狀相等的方式進行第一變換；特征量處理部，利用選擇紋理模型，對第一變換后的對象圖像中的規(guī)定的紋理特征量進行變更；和第二圖像變換部，對特征量變更后的對象圖像進行第一變換的逆變換。
文檔編號G06T1/00GK101807299SQ20101011825
公開日2010年8月18日 申請日期2010年2月10日 優(yōu)先權日2009年2月12日
發(fā)明者松坂健治, 碓井雅也 申請人:精工愛普生株式會社