圖像處理裝置、圖像處理方法以及控制程序的制作方法
【專利摘要】實現(xiàn)一種圖像處理裝置以及圖像處理方法，能夠確定在各種條件下拍攝的人臉圖像中的唇色，并且利用已確定的唇色來確定唇的區(qū)域。本發(fā)明的圖像處理裝置（6）是從包含人物的口的人臉圖像中確定唇的特征的圖像處理裝置，包括：皮膚代表色確定部（17），確定人臉圖像的皮膚的代表色；候選顏色確定部（18），在人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及唇代表色確定部（19），根據(jù)皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從多個候選顏色確定唇的代表色。
【專利說明】圖像處理裝置、圖像處理方法以及控制程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置以及圖像處理方法，特別涉及進(jìn)行人臉圖像的校正的圖像處理裝置以及圖像處理方法。
【背景技術(shù)】
[0002]當(dāng)照片或者視頻等的圖像中包含有人物的人臉的情況下，該圖像中包含的人臉多為引起圖像的觀察者的注意的部分。從以往開始就有如用于使圖像中包含的人臉更美觀的、校正或者調(diào)整人臉圖像的技術(shù)。
[0003]例如，在專利文獻(xiàn)I中公開了如下的技術(shù)，即提取上下唇的輪廓，將檢測出的上下唇的內(nèi)側(cè)的輪廓所包圍的部分確定為與牙齒對應(yīng)的部分，并調(diào)整與牙齒對應(yīng)的部分的明度。例如調(diào)亮與牙齒對應(yīng)的部分的像素值，能夠讓人臉更美觀。在專利文獻(xiàn)I的技術(shù)中，為了確定與牙齒對應(yīng)的部分，根據(jù)圖像的各個像素的亮度值的變化來檢測唇的輪廓。具體地說，在口區(qū)域中定義多個縱方向(人臉的高度方向)的檢測線，沿著各檢測線檢查像素的亮度值的變化，并將亮度值的變化相對大的點(diǎn)確定為唇的輪廓點(diǎn)。然后，根據(jù)已確定的輪廓點(diǎn)的空間分布，確定與上下唇的外側(cè)的輪廓以及內(nèi)側(cè)的輪廓對應(yīng)的輪廓點(diǎn)，并將上下唇的內(nèi)側(cè)的輪廓所包圍的區(qū)域確定為口的內(nèi)部，視為在其中存在與牙齒對應(yīng)的區(qū)域。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本公開專利公報“特開2009-231879號公報(2009年10月8日公開)，，

【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的課題
[0008]但是，在上述以往的結(jié)構(gòu)中會產(chǎn)生以下的問題。
[0009]為了利用專利文獻(xiàn)I的技術(shù)來檢測唇的輪廓，需要準(zhǔn)備照明條件好的人臉圖像。圖像的亮度值依賴于照明等的拍攝環(huán)境而變化較大。例如在逆光的條件下所拍攝的人臉圖像中，光沒有照到人臉的部分，人臉整體變暗。因此，每個像素的亮度值的變化減小，唇的輪廓部分的亮度值的變化也減小，產(chǎn)生難以確定輪廓點(diǎn)(容易進(jìn)行錯誤檢測)的問題。此外在室內(nèi)等的低照度下拍攝時，噪聲相對變大，唇的輪廓點(diǎn)的確定變得更加困難。
[0010]另一方面，在有光照射到人臉的照明條件下拍攝時，唇的輪廓部分的亮度值的變化大，輪廓點(diǎn)的確定變得容易。但是，根據(jù)光照射方式可能會因人臉的凹凸而產(chǎn)生陰影，比唇的輪廓中的亮度值的變化更大的亮度變化在陰影的邊界部分產(chǎn)生。其結(jié)果，難以區(qū)分陰影的邊界和唇的輪廓。
[0011]此外，在光強(qiáng)烈照射到人臉的照明條件下拍攝時，面部整體會變得有些發(fā)白(亮度變大)。因此，唇的輪廓附近會變得有些發(fā)白，輪廓部分的亮度值的變化減小，難以確定輪廓點(diǎn)。此外，通過照在口紅或唇彩上的光的反射(光亮)，在光亮的區(qū)域的邊界上產(chǎn)生了大的亮度變化的情況下，難以區(qū)分輪廓與光亮的邊界，容易導(dǎo)致錯誤檢測。
[0012]受到個體差異、照明條件的變化、以及口紅或者唇彩的上色等的影響，通常拍攝的人臉圖像的唇色會大幅變化。因此，通常人臉圖像的唇色并非已知。由于各種條件(拍攝環(huán)境以及化妝等)，人臉圖像的唇色有時也會與膚色相類似，有時難以確定其周圍由皮膚所包圍的唇色。
[0013]本發(fā)明鑒于上述問題點(diǎn)而完成，其目的在于確定在各種條件下拍攝的人臉圖像中的唇色，并利用已確定的唇色來確定唇的區(qū)域。
[0014]用于解決課題的方案
[0015]本發(fā)明的圖像處理裝置是從包含人物的口的人臉圖像中確定唇的特征的圖像處理裝置，為了解決上述課題，其特征在于，包括:皮膚代表色確定部，確定上述人臉圖像的皮膚的代表色；候選顏色確定部，在上述人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及唇代表色確定部，根據(jù)上述皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從上述多個候選顏色確定唇的代表色。
[0016]本發(fā)明的圖像處理方法是從包含人物的口的人臉圖像中確定唇的特征的圖像處理方法，為了解決上述課題，其特征在于，包括:皮膚代表色確定步驟，確定上述人臉圖像的皮膚的代表色；候選顏色確定步驟，在上述人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及唇代表色確定步驟，根據(jù)上述皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從上述多個候選顏色確定唇的代表色。
[0017]根據(jù)上述結(jié)構(gòu)，基于包含唇和皮膚的人臉圖像在色調(diào)以及飽和度上的差異，從候選顏色中確定唇的代表色。因此，能夠?qū)⒖赡苁歉鞣N顏色的唇的代表色與膚色相區(qū)分而準(zhǔn)確地確定。這里，色調(diào)以及飽和度上的差異是指兩個顏色在色調(diào)飽和度平面中的不同，包括色調(diào)的不同、飽和度的不同、以及色調(diào)飽和度平面中的距離等。
[0018]發(fā)明效果
[0019]如上所述，根據(jù)本發(fā)明，基于包含唇和皮膚的人臉圖像的色調(diào)以及飽和度中的差異，從候選顏色中確定唇的代表色。
[0020]因此，將可能是各種顏色的唇的代表色與膚色相區(qū)分從而能夠準(zhǔn)確地進(jìn)行確定。
【專利附圖】

【附圖說明】
[0021]圖1是表示本發(fā)明的一實施方式的數(shù)字照相機(jī)的概略結(jié)構(gòu)的方框圖。
[0022]圖2的(a)是表示標(biāo)準(zhǔn)化后的口區(qū)域的圖像的圖像，(b)是表示平滑化后的口區(qū)域的圖像的圖像。
[0023]圖3是表示口圖像中的多個區(qū)域的圖。
[0024]圖4是在CbCr平面中將成為唇色的候選的顏色的范圍簡化示出的圖。
[0025]圖5是表示本實施方式的唇色確定處理以及唇區(qū)域確定處理的流程的流程圖。
[0026]圖6的(a)是表示候選顏色和皮膚的代表色在CbCr平面中的距離與權(quán)重Wa之間的關(guān)系的圖，(b)與圖2的(b)相對應(yīng)，是表示代替候選顏色而計算了 口圖像的各個像素的權(quán)重Wa的結(jié)果的圖像。[0027]圖7的(a)是表示候選顏色和皮膚的代表色在CbCr平面中的色調(diào)與權(quán)重Wb之間的關(guān)系的圖，(b)與圖2的(b)相對應(yīng)，是表示代替候選顏色而計算了 口圖像的各個像素的權(quán)重Wb的結(jié)果的圖像。
[0028]圖8與圖2的(b)相對應(yīng)，是表示代替候選顏色而計算了 口圖像的各個像素的權(quán)重Wc的結(jié)果的圖像。
[0029]圖9與圖2的(b)相對應(yīng)，是表示代替候選顏色而根據(jù)口圖像的各個像素的像素值計算了唇色程度Dl的結(jié)果的圖像。
[0030]圖10與圖2的(b)相對應(yīng)，是表示代替候選顏色而計算了口圖像的各個像素的權(quán)重Wd的結(jié)果的圖像。
[0031]圖11與圖2的(b)相對應(yīng)，是表示代替候選顏色而根據(jù)口圖像的各個像素的像素值計算了候選評價值D2的結(jié)果的圖像。
[0032]圖12的(a)是表示各個像素的顏色和唇的代表色在CbCr平面中的距離與第I唇色相似度We之間的關(guān)系的圖，(b)與圖2的(b)相對應(yīng)，是表示計算了 口圖像的各個像素的第I唇色相似度We的結(jié)果的圖像。
[0033]圖13的(a)是表示各個像素的顏色和唇的代表色在CbCr平面中的色調(diào)與第2唇色相似度Wf之間的關(guān)系的圖，(b)與圖2的(b)相對應(yīng)，是表示計算了 口圖像的各個像素的第2唇色相似度Wf的結(jié)果的圖像。
[0034]圖14與圖2的(b)相對應(yīng)，是表示被分類為唇候選區(qū)域的像素的圖像。
[0035]圖15的(a)以及(b)與圖14對應(yīng),是表不根據(jù)表不唇候選區(qū)域的圖像來確定模型化后的唇區(qū)域的步驟的圖像。
[0036]圖16與圖15的(a)對應(yīng)，是表示模型化后的唇區(qū)域的圖像。
[0037]圖17是表示本實施方式的校正處理的流程的流程圖。
[0038]圖18是表示在各水平位置下的校正權(quán)重Wg的圖。
[0039]圖19與圖16對應(yīng)，是表示校正權(quán)重Wg的圖像。
[0040]圖20與圖19對應(yīng)，是表示校正部分評價值D3的圖像。
[0041]圖21與圖2的(b)對應(yīng)，是表示提取出的像素的亮度的圖像。
[0042]圖22是對已提取的像素的亮度值乘以權(quán)重后的結(jié)果的、基于已提取的各個像素的亮度值的直方圖。
[0043]圖23與圖21對應(yīng)，是表示只具有亮度分量的光澤圖像的圖像。
[0044]圖24的(a)是表示對于已提取的各個像素的第I色調(diào)曲線的圖，(b)是表示對于已提取的各個像素的第2色調(diào)曲線的圖。
[0045]圖25是表示標(biāo)準(zhǔn)化后的口圖像、平滑化后的口圖像以及光澤圖像的合成處理的圖。
[0046]圖26的(a)是表示校正前的人臉圖像的一部分的圖像，(b)是表示校正后的人臉圖像的一部分的圖像。
[0047]圖27的(a)與圖2的(a)對應(yīng)，是表示標(biāo)準(zhǔn)化后的口圖像的Cb分量的值的圖像，(b)與圖2的(a)對應(yīng)，是表示標(biāo)準(zhǔn)化后的口圖像的Cr分量的值的圖像。
[0048]圖28是表示本發(fā)明的另一實施方式的數(shù)字照相機(jī)的概略結(jié)構(gòu)的方框圖。
[0049]圖29是表示口內(nèi)區(qū)域確定處理以及校正處理的流程的流程圖。[0050]圖30與圖16對應(yīng)，是表示口內(nèi)部區(qū)域以及口內(nèi)部區(qū)域的校正權(quán)重Wh的圖像。
[0051]圖31與圖2的(b)對應(yīng)，是表示計算了口圖像的各個像素的牙齒顏色相似度Wi的結(jié)果的圖像。
[0052]圖32與圖12的(b)對應(yīng)，是表示各個像素的(1-We)的值的圖像。
[0053]圖33與圖13的(b)對應(yīng)，是表示各個像素的(1-Wf)的值的圖像。
[0054]圖34與圖31對應(yīng)，是表示牙齒光澤圖像的圖像。
【具體實施方式】
[0055]以下，主要說明搭載于數(shù)字照相機(jī)中且對所拍攝的圖像中包含的人臉圖像進(jìn)行處理的圖像處理裝置，但本發(fā)明不限于此。例如，本發(fā)明的圖像處理裝置也可以搭載于數(shù)字?jǐn)z像機(jī)、個人計算機(jī)(PC)的Web照相機(jī)或者附帶照相機(jī)的便攜式電話等的拍攝裝置中，并對由拍攝裝置拍攝所獲得的圖像進(jìn)行處理。此外，本發(fā)明的圖像處理裝置也可以對從網(wǎng)絡(luò)等的通信路徑或者外部存儲裝置取得的圖像進(jìn)行處理。此外，不僅是所拍攝的靜態(tài)圖像，也可以對活動圖像等的人臉圖像進(jìn)行處理。此外，也可以對在用數(shù)字照相機(jī)進(jìn)行拍攝時顯示于數(shù)字照相機(jī)的顯示裝置中的預(yù)覽圖像實施處理。
[0056][實施方式I]
[0057]以下，參照附圖詳細(xì)說明本發(fā)明的實施方式。
[0058]<數(shù)字照相機(jī)的結(jié)構(gòu)>
[0059]圖1是表示本實施方式的數(shù)字照相機(jī)I的概略結(jié)構(gòu)的方框圖。數(shù)字照相機(jī)I包括指示輸入裝置2、拍攝裝置3、圖像存儲裝置4、顯示裝置5以及圖像處理裝置6。
[0060]指示輸入裝置2包括按鈕、按鍵或者觸摸面板等的輸入裝置，從用戶接受拍攝的指示，并對拍攝裝置3輸出拍攝的指示。此外，指示輸入裝置2從用戶接受人臉圖像的校正處理的指示，并對圖像處理裝置6輸出校正處理的指示。
[0061]拍攝裝置3例如包括CXD (電荷耦合裝置)或者CMOS (互補(bǔ)型金屬氧化物半導(dǎo)體)拍攝元件等的拍攝元件。拍攝裝置3根據(jù)拍攝的指示進(jìn)行拍攝，并將拍攝后的圖像(圖像數(shù)據(jù))輸出到圖像存儲裝置4。
[0062]圖像存儲裝置4是存儲各種信息的裝置，例如包括HDD (硬盤驅(qū)動器)或者閃速存儲器等的存儲設(shè)備。圖像存儲裝置4存儲并保存從拍攝裝置3獲取的圖像。
[0063]顯示裝置5包括顯示器，顯示所輸入的圖像而提示給用戶。此外，顯示裝置5從圖像處理裝置6獲取校正處理完的圖像，并顯示校正處理完的圖像。
[0064]<圖像處理裝置的結(jié)構(gòu)>
[0065]圖像處理裝置6包括圖像取得部(指示接受部)11、人臉檢測部12、特征檢測部13、適合與否判定部14、口圖像標(biāo)準(zhǔn)化部15、平滑化部16、皮膚代表色確定部17、候選顏色確定部18、唇代表色確定部19、唇區(qū)域確定部20、圖像校正部21、合成部22、以及顯示控制部23。
[0066]圖像取得部11從指示輸入裝置2獲取校正處理的指示。校正處理的指示包含表示成為處理對象的圖像的信息、以及表示要進(jìn)行怎樣的校正處理的信息。作為校正處理的種類，例如有如對唇部涂上了唇彩一般校正圖像的唇彩校正或者校正圖像以便讓牙齒變白的牙齒美白校正等。圖像取得部11基于所獲取的校正處理的指示，從圖像存儲裝置4取得處理對象的圖像。另外，圖像取得部11也可以直接從拍攝裝置3獲取已拍攝的圖像。圖像取得部11將取得的處理對象的圖像輸出到人臉檢測部12、特征檢測部13、適合與否判定部
14、口圖像標(biāo)準(zhǔn)化部15、皮膚代表色確定部17以及合成部22。此外，圖像取得部11將所獲取的校正處理的指示輸出到圖像校正部21。
[0067]人臉檢測部12檢測在從圖像取得部11獲取的圖像中所包含的人臉圖像。人臉檢測部12如果檢測出圖像中包含的人臉圖像，則確定人臉圖像的位置。人臉圖像的位置可以示出人臉圖像的規(guī)定點(diǎn)的坐標(biāo)，也可以示出人臉圖像的區(qū)域。人臉檢測部12將人臉圖像的位置輸出到特征檢測部13、適合與否判定部14、口圖像標(biāo)準(zhǔn)化部15以及皮膚代表色確定部
17。另外，人臉檢測部12也可以從處理對象的圖像中檢測出多個人臉圖像。在檢測出了多個人臉圖像的情況下，人臉檢測部12也可以確定各個人臉圖像的位置，并將多個人臉圖像的位置輸出到上述各部。
[0068]特征檢測部13根據(jù)從圖像取得部11獲取的處理對象的圖像以及從人臉檢測部12獲取的人臉圖像的位置，檢測該人臉圖像的人臉的各個特征的位置。具體地說，特征檢測部13例如檢測眼睛(內(nèi)眼角、外眼角等)、口(口端點(diǎn)、口的中心點(diǎn)等)、以及鼻子(鼻子的頂點(diǎn)等)等的人臉的器官的特征、以及人臉的輪廓等的特征(特征點(diǎn))，并確定它們的位置。特征的位置可以示出特征點(diǎn)的坐標(biāo)，也可以示出包含特征的區(qū)域。各個特征的檢測可利用公知的技術(shù)來進(jìn)行。特征檢測部13將檢測出的人臉的特征的位置輸出到適合與否判定部14、口圖像標(biāo)準(zhǔn)化部15、以及皮膚代表色確定部17。另外，特征檢測部13也可以確定多個人臉圖像的特征的位置，并將多個人臉圖像的特征的位置輸出到上述各部。
[0069]適合與否判定部14根據(jù)從圖像取得部11獲取的處理對象的圖像、從人臉檢測部12獲取的人臉圖像的位置、以及從特征檢測部13獲取的人臉的特征的位置，判定該人臉圖像是否適合進(jìn)行校正處理。例如，適合與否判定部14將橫向的人臉圖像以及人臉照得過小的人臉圖像等判定為不適合。具體的判定方法將在后面敘述。另外，當(dāng)處理對象的圖像中包含有多個人臉圖像的情況下，適合與否判定部14可以針對各個人臉圖像判定是否適合進(jìn)行校正處理，也可以確定更加適合進(jìn)行校正處理的規(guī)定數(shù)目(例如一個)的人臉圖像。適合與否判定部14將表示判定為適合作為處理對象的人臉圖像的信息輸出到口圖像標(biāo)準(zhǔn)化部15、皮膚代表色確定部17、以及候選顏色確定部18。
[0070]口圖像標(biāo)準(zhǔn)化部15從圖像取得部11、人臉檢測部12、以及特征檢測部13分別獲取處理對象的圖像、人臉圖像的位置、以及人臉的特征的位置?？趫D像標(biāo)準(zhǔn)化部15基于獲取到的信息，針對由適合與否判定部14判定為適合作為處理對象的人臉圖像，提取成為處理對象的人臉圖像的口區(qū)域的圖像。為了使后面的圖像處理中的計算變得容易，口圖像標(biāo)準(zhǔn)化部15對圖像尺寸進(jìn)行標(biāo)準(zhǔn)化使得處理對象的圖像的口區(qū)域成為規(guī)定的大小。具體地說，口圖像標(biāo)準(zhǔn)化部15為了使口的左右的端點(diǎn)位于規(guī)定的坐標(biāo)，根據(jù)需要對處理對象的人臉圖像進(jìn)行旋轉(zhuǎn)以及放大/縮小，并從處理對象的人臉圖像中裁出規(guī)定尺寸的口區(qū)域(包含口的區(qū)域)。圖2的(a)是表示標(biāo)準(zhǔn)化后的口區(qū)域的圖像的圖像。另外，在對處理對象的人臉圖像進(jìn)行放大/縮小時，也可以根據(jù)需要采用任意方法對原來的像素之間的點(diǎn)的像素值進(jìn)行插補(bǔ)?？趫D像標(biāo)準(zhǔn)化部15將標(biāo)準(zhǔn)化后的口區(qū)域的圖像(口圖像)輸出到平滑化部16以及圖像校正部21。
[0071]平滑化部16對從口圖像標(biāo)準(zhǔn)化部15獲取到的口圖像進(jìn)行平滑化。具體地說，平滑化部16對口圖像應(yīng)用高斯濾波器等，生成平滑化后的口圖像。圖2的(b)是表示平滑化后的口區(qū)域的圖像的圖像。通過利用平滑化后的口圖像，排除噪聲，從而能夠準(zhǔn)確地確定唇等的期望的區(qū)域。另外，標(biāo)準(zhǔn)化后的口圖像以及平滑化后的口圖像是彩色的圖像，但在圖2中示出了基于其亮度值(Y值)的明暗。平滑化部16將平滑化后的口圖像輸出到候選顏色確定部18、唇區(qū)域確定部20、以及圖像校正部21。
[0072]皮膚代表色確定部17從圖像取得部11、人臉檢測部12、以及特征檢測部13分別獲取處理對象的圖像、人臉圖像的位置、以及人臉的特征的位置。皮膚代表色確定部17基于獲取到的信息，針對由適合與否判定部14判定為適合作為處理對象的人臉圖像，確定成為處理對象的人臉圖像的皮膚的代表色。可以將人臉區(qū)域的一部分的顏色例如人臉區(qū)域的中心部分(鼻子附近)的平均色、中央值或者最頻值的顏色等作為皮膚的代表色。此外，也可以將人臉區(qū)域整體的平均色等作為皮膚的代表色。此外，也可以求人臉的某個區(qū)域的平均色，并在該區(qū)域中去除色調(diào)與該平均色不同的(CbCr平面中的與該平均色之間的角度大于閾值的)像素和/或在該區(qū)域中與該平均色之間的色差大的(YCbCr顏色空間中的與該平均色之間的距離大于閾值的)像素，從而將根據(jù)剩余的像素算出的平均色作為代表色。此外，皮膚代表色確定部17求膚色的離散程度。皮膚代表色確定部17將皮膚的代表色輸出到候選顏色確定部18以及唇代表色確定部19。皮膚代表色確定部17將膚色的離散程度輸出到唇代表色確定部19。
[0073]候選顏色確定部18確定成為唇色的候選的多個候選顏色。候選顏色確定部18在口圖像中設(shè)定多個區(qū)域，并確定各個區(qū)域的代表色而設(shè)為候選顏色。圖3是表示口圖像中的多個區(qū)域的圖。圖中的X標(biāo)記表示由特征檢測部13檢測出的口端點(diǎn)。具體地說，候選顏色確定部18進(jìn)行以下的處理。候選顏色確定部18將口圖像的水平方向的中央的規(guī)定的區(qū)域分割為沿縱(垂直)方向排列的多個區(qū)域。候選顏色確定部18將分割后的各個區(qū)域的代表色(平均色或者中央值或最頻值的顏色等)作為唇色的多個候選顏色來確定。認(rèn)為這樣分割后的區(qū)域的至少一個是包含主要為唇的部分的區(qū)域。從而，認(rèn)為多個候選顏色的至少一個適合作為唇色的代表色。但是，各個區(qū)域的設(shè)定(分割)方法不限于上述，只要在認(rèn)為存在唇的兩個口端點(diǎn)之間設(shè)定多個區(qū)域即可。此外，對于分割后的多個區(qū)域的大小沒有限制，也可以將各個像素作為多個區(qū)域。另外，為了在排除圖像的噪聲等之后確定候選顏色，候選顏色確定部18利用平滑化后的口圖像來確定候選顏色。但是，不限于此，候選顏色確定部18也可以利用沒有被平滑化的口圖像來確定候選顏色。此外，候選顏色確定部18將分割后的區(qū)域的顏色的離散程度作為對應(yīng)的候選顏色的離散程度來求。候選顏色確定部18將多個候選顏色輸出到唇代表色確定部19。候選顏色確定部18將候選顏色的離散程度輸出到唇代表色確定部19。
[0074]唇代表色確定部19基于皮膚的代表色，從多個候選顏色中確定唇的代表色。唇代表色確定部19根據(jù)皮膚的代表色與各個候選顏色之間的色調(diào)以及飽和度之差，將與皮膚的代表色之間的差異大的候選顏色確定為唇的代表色。唇代表色確定部19在如YCbCr顏色空間或者L*a*b*顏色空間那樣的通過亮度(或者明度)與色調(diào)以及飽和度來表現(xiàn)顏色的顏色空間中進(jìn)行處理。唇代表色確定部19不使用亮度(或者明度)的信息，基于顏色空間中的表示色調(diào)以及飽和度的CbCr平面(色調(diào)飽和度平面)的信息，針對各個候選顏色求作為唇色的程度，并確定CbCr平面中的唇的代表色。用于確定唇的代表色的詳細(xì)的處理在后面敘述。唇代表色確定部19將已確定的CbCr平面中的唇的代表色輸出到唇區(qū)域確定部20以及圖像校正部21。
[0075]圖4是在CbCr平面中將成為唇色的候選的顏色的范圍簡化示出的圖。認(rèn)為唇色是與皮膚的代表色有一定程度不同的顏色。因此，在CbCr平面中，與皮膚的代表色距離近的范圍A的顏色最好從唇色的候選中去除。此外，認(rèn)為唇色與皮膚的代表色在色調(diào)上不同。因此，在CbCr平面中，色調(diào)接近皮膚的代表色的范圍B的顏色最好從唇色的候選中去除。此夕卜，由于被攝體的嘴巴張開而在口圖像中包含有牙齒的情況下，在多個候選顏色中可能存在表示牙齒的顏色的發(fā)白的顏色。為了從唇的候選中去除牙齒的顏色，飽和度小的范圍C的顏色最好從唇色的候選中去除。認(rèn)為唇色的候選存在于范圍A、范圍B、范圍C的外側(cè)的范圍中。另外，在圖4中，將與皮膚的代表色距離近且色調(diào)接近皮膚的代表色的范圍設(shè)為膚色范圍，將飽和度小的范圍設(shè)為白范圍，將既不是膚色范圍也不是白范圍的范圍設(shè)為唇色候選范圍。
[0076]唇區(qū)域確定部20基于平滑化后的口圖像以及唇的代表色，確定口圖像中作為唇的區(qū)域。唇區(qū)域確定部20根據(jù)CbCr平面中與唇的代表色之間在色調(diào)以及飽和度上的差異，將與唇的代表色相似的顏色的區(qū)域確定為唇區(qū)域。用于確定唇區(qū)域的詳細(xì)的處理在后面敘述。另外，為了在排除圖像的噪聲等之后確定唇區(qū)域，唇區(qū)域確定部20利用平滑化后的口圖像來確定唇區(qū)域。但是，不限于此，唇區(qū)域確定部20也可以利用沒有被平滑化的口圖像。唇區(qū)域確定部20將表示已確定的唇區(qū)域的信息以及表示唇候選區(qū)域的信息等輸出到圖像校正部21。
[0077]圖像校正部21基于校正處理的指示、標(biāo)準(zhǔn)化后的口圖像、平滑化后的口圖像以及唇的代表色，進(jìn)行口圖像中的外觀的校正，生成校正后的口圖像?？趫D像的校正方法在后面敘述。圖像校正部21將校正后的口圖像輸出到合成部22。
[0078]合成部22將校正后的口圖像還原為進(jìn)行標(biāo)準(zhǔn)化之前的原來的尺寸(根據(jù)需要對校正后的口圖像進(jìn)行旋轉(zhuǎn)以及放大/縮小)，并合成到處理對象的圖像中，生成校正后的圖像。從而，得到在處理對象的圖像中唇等的外觀被校正了的圖像。合成部22將校正后的圖像輸出到顯示控制部23。另外，合成部22也可以將校正后的圖像輸出到圖像存儲裝置4而使其進(jìn)行存儲。
[0079]顯示控制部23將校正后的圖像輸出到顯示裝置5，并控制顯示裝置5以便顯示校正后的圖像。
[0080]<圖像處理流程>
[0081]以下，說明數(shù)字照相機(jī)I中的圖像校正處理的流程。
[0082]用戶經(jīng)由指示輸入裝置2從例如在拍攝后被存儲到圖像存儲裝置4的圖像中選擇處理對象的圖像。此外，用戶經(jīng)由指示輸入裝置2從多個候選中選擇要對處理對象的圖像實施的校正處理的種類(唇彩校正或者牙齒美白校正等)。指示輸入裝置2將包含所指定的校正處理的種類的信息的校正處理的指示輸出到圖像處理裝置6的圖像取得部11。
[0083]圖5是表示圖像處理裝置6中的唇色確定處理以及唇區(qū)域確定處理的流程的流程圖。
[0084]圖像取得部11如果收到來自指示輸入裝置2的校正處理的指示，則從圖像存儲裝置4取得成為處理對象的圖像(SI)。[0085]人臉檢測部12檢測在成為處理對象的圖像中包含的人臉圖像，并確定該人臉圖像的位置(S2)。人臉檢測部12也可以檢測處理對象的圖像中包含的多個人臉圖像。
[0086]特征檢測部13檢測在已檢測的人臉圖像中包含的人臉的特征的位置(S3)。特征檢測部13例如檢測眼睛(內(nèi)眼角、外眼角等)、口(口端點(diǎn)、口的中心點(diǎn)等)、以及鼻子(鼻子的頂點(diǎn)等)等的人臉的器官的特征(特征點(diǎn))，并確定它們的位置。另外，特征檢測部13也可以檢測人臉的輪廓等的特征。
[0087]適合與否判定部14基于這些檢測出的人臉的特征的位置，判定該人臉圖像是否適合進(jìn)行校正處理(S4)。例如，適合與否判定部14預(yù)先存儲預(yù)先根據(jù)多個人臉圖像樣本學(xué)習(xí)眼睛、鼻子、口等的人臉的器官的各個特征的周邊的亮度分布的特征而制作的人臉模型。適合與否判定部14通過比較人臉模型與檢測出的人臉圖像，從而確定人臉圖像中檢測出的特征的可靠度以及人臉的朝向。
[0088]例如，當(dāng)檢測出的特征的可靠度低于規(guī)定的閾值時，沒有準(zhǔn)確地檢測出人臉的特征的可能性高，因此存在無法適當(dāng)?shù)貙诨蛘叽降冗M(jìn)行校正處理的可能性。因此，當(dāng)檢測出的特征的可靠度低于規(guī)定的閾值時，適合與否判定部14判定為該人臉圖像不適合進(jìn)行校正處理。
[0089]此外，當(dāng)檢測出的人臉的朝向相對于正面大幅偏離的情況下(人臉的朝向不在規(guī)定的范圍內(nèi)的情況，例如人臉的朝向相對于正面大于規(guī)定的角度(例如30° )的情況)，存在無法適當(dāng)?shù)剡M(jìn)行校正處理的可能性。這時，適合與否判定部14判定為該人臉圖像不適合進(jìn)行校正處理。
[0090]此外，當(dāng)人臉圖像過于小的情況下(例如檢測出的口的雙方的端點(diǎn)之間的距離小于規(guī)定的閾值(例如100像素)的情況)，存在無法適當(dāng)?shù)剡M(jìn)行校正處理的可能性，因此適合與否判定部14判定為該人臉圖像不適合進(jìn)行校正處理。
[0091]在判定為不適合進(jìn)行校正處理時(步驟S4中為“否”)，則結(jié)束對于該人臉圖像的處理。
[0092]當(dāng)判定為適合進(jìn)行校正處理時(S4中為“是”)，接著皮膚代表色確定部17針對被判定為適合作為處理對象的人臉圖像，確定成為處理對象的人臉圖像的皮膚的代表色
(S5)。這里，將人臉區(qū)域的中心部分(鼻子附近)的平均色設(shè)為皮膚的代表色。此外，皮膚代表色確定部17求膚色的離散程度(標(biāo)準(zhǔn)偏差)。具體地說，對已求得平均色的區(qū)域(鼻子附近)的像素的像素值在顏色空間的Cb軸上的方差σ bs2、Cr軸上的方差σ rs2、以及色調(diào)的方差σ PS20
[0093]口圖像標(biāo)準(zhǔn)化部15提取成為處理對象的人臉圖像的口區(qū)域的圖像，并生成對圖像尺寸進(jìn)行了標(biāo)準(zhǔn)化以便讓處理對象的圖像的口區(qū)域成為規(guī)定的大小的口圖像(S6)。具體地說，口圖像標(biāo)準(zhǔn)化部15為了使口的左右的端點(diǎn)位于規(guī)定的坐標(biāo)，根據(jù)需要使處理對象的人臉圖像進(jìn)行旋轉(zhuǎn)以及放大/縮小，并從處理對象的人臉圖像中裁出規(guī)定尺寸的口區(qū)域。
[0094]平滑化部16對標(biāo)準(zhǔn)化后的口圖像進(jìn)行平滑化(S7)。
[0095]候選顏色確定部18將口圖像的水平方向的中央的規(guī)定的區(qū)域分割為沿縱方向排列的多個區(qū)域，并將分割后的各個區(qū)域的代表色確定為唇色的多個候選顏色(S8)。這里，針對各個區(qū)域，將該區(qū)域的平均色設(shè)為候選顏色。
[0096]另外，皮膚的代表色以及多個候選顏色也可以不包含亮度的信息。在以下的處理中，不使用亮度(Y)，在CbCr平面中使用皮膚的代表色以及多個候選顏色來進(jìn)行唇色的代表色以及唇區(qū)域的確定。
[0097]唇代表色確定部19針對各個候選顏色，求其是唇色的程度(唇色程度)(S9)。認(rèn)為口圖像的唇色是與膚色不同的顏色，并且是與膚色不同的色調(diào)。此外，認(rèn)為口圖像的唇色與通常會照得發(fā)白的牙齒也是不同的顏色。與皮膚的代表色在CbCr平面中的距離越大，與皮膚的代表色在色調(diào)上的差異越大，飽和度越大，設(shè)為唇色程度越大。
[0098]具體地說，唇代表色確定部19針對各個候選顏色，將根據(jù)候選顏色與皮膚的代表色在CbCr平面中的距離而變大的第I非膚色程度(不是膚色的程度)作為唇色程度的權(quán)重來求得。唇代表色確定部19針對各個候選顏色，將根據(jù)候選顏色與皮膚的代表色在色調(diào)上的差異而變大的第2非膚色程度作為唇色程度的權(quán)重來求得。唇代表色確定部19針對各個候選顏色，將根據(jù)候選顏色的飽和度而變大的非牙齒顏色程度(不是牙齒的顏色的程度)作為唇色程度的權(quán)重來求得。
[0099]與CbCr平面中的距離相應(yīng)的唇色程度的權(quán)重Wa (第I非膚色程度)可通過下式來求解。
[0100][數(shù)I]
【權(quán)利要求】
1.一種圖像處理裝置，從包含人物的口的人臉圖像中確定唇的特征，該圖像處理裝置的特征在于，包括: 皮膚代表色確定部，確定上述人臉圖像的皮膚的代表色； 候選顏色確定部，在上述人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及 唇代表色確定部，根據(jù)上述皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從上述多個候選顏色確定唇的代表色。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述唇代表色確定部根據(jù)上述皮膚的代表色與各個候選顏色在除亮度或明度以外的色調(diào)以及飽和度中的差異，確定上述唇的代表色。
3.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于， 上述唇代表色確定部根據(jù)顏色空間的色調(diào)飽和度平面中的各個候選顏色與上述皮膚的代表色之間的距離、各個候選顏色與上述皮膚的代表色在色調(diào)上的差異、各個候選顏色的飽和度的大小，確定上述唇的代表色。
4.如權(quán)利要求1至3的任一項所述的圖像處理裝置，其特征在于， 上述唇代表色確定部針對各個候選顏色求第I權(quán)重、第2權(quán)重和第3權(quán)重，并求基于上述第I權(quán)重、上述第2權(quán)重、以及上述第3權(quán)重的唇色程度，并且將上述唇色程度大的上述候選顏色確定為上述唇的代表色，其中，上述第I權(quán)重與顏色空間的色調(diào)飽和度平面中的該候選顏色和上述皮膚的代表色之間的距離相應(yīng)，上述第2權(quán)重與該候選顏色和上述皮膚的代表色在色調(diào)上的差異相應(yīng) ，上述第3權(quán)重與該候選顏色的飽和度的大小相應(yīng)， 上述第I權(quán)重在顏色空間的色調(diào)飽和度平面中的上述候選顏色和上述皮膚的代表色之間的距離越大時權(quán)重越大，上述第2權(quán)重在上述候選顏色和上述皮膚的代表色在色調(diào)上的差異越大時權(quán)重越大，上述第3權(quán)重在上述候選顏色的飽和度越大時權(quán)重越大，上述唇色程度根據(jù)上述第I權(quán)重、上述第2權(quán)重、以及上述第3權(quán)重而變大。
5.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于， 上述唇代表色確定部針對各個候選顏色求第I權(quán)重、第2權(quán)重和第3權(quán)重，并求基于上述第I權(quán)重、上述第2權(quán)重、以及上述第3權(quán)重的唇色程度，并且選擇上述唇色程度大的上述候選顏色作為第I選擇候選顏色，其中，上述第I權(quán)重與顏色空間的色調(diào)飽和度平面中的該候選顏色和上述皮膚的代表色之間的距離相應(yīng)，上述第2權(quán)重與該候選顏色和上述皮膚的代表色在色調(diào)上的差異相應(yīng)，上述第3權(quán)重與該候選顏色的飽和度的大小相應(yīng)， 上述第I權(quán)重在顏色空間的色調(diào)飽和度平面中的上述候選顏色和上述皮膚的代表色之間的距離越大時權(quán)重越大，上述第2權(quán)重在上述候選顏色和上述皮膚的代表色在色調(diào)上的差異越大時權(quán)重越大，上述第3權(quán)重在上述候選顏色的飽和度越大時權(quán)重越大，上述唇色程度根據(jù)上述第I權(quán)重、上述第2權(quán)重、以及上述第3權(quán)重而變大， 上述唇代表色確定部針對除上述第I選擇候選顏色以外的各個候選顏色，求與顏色空間的色調(diào)飽和度平面中的該候選顏色和上述第I選擇候選顏色之間的距離相應(yīng)的第4權(quán)重，并求基于上述唇色程度以及上述第4權(quán)重的候選評價值，并且從除上述第I選擇候選顏色以外的各個候選顏色中選擇上述候選評價值大的上述候選顏色作為至少一個第2選擇候選顏色，上述第4權(quán)重在顏色空間的色調(diào)飽和度平面中的上述候選顏色和上述第I選擇候選顏色之間的距離越大時權(quán)重越大，上述候選評價值根據(jù)上述唇色程度以及上述第4權(quán)重而變大， 上述唇代表色確定部在被選擇作為第I選擇候選顏色或者第2選擇候選顏色的上述候選顏色中，將飽和度最大的或者色調(diào)最接近規(guī)定的色調(diào)的上述候選顏色確定為上述唇的代表色。
6.如權(quán)利要求1至5的任一項所述的圖像處理裝置，其特征在于，包括: 唇區(qū)域確定部，根據(jù)與上述唇的代表色在色調(diào)以及飽和度上的差異，將具有與上述唇的代表色相似的顏色的區(qū)域確定為第I唇區(qū)域。
7.如權(quán)利要求6所述的圖像處理裝置，其特征在于， 上述唇區(qū)域確定部將具有在顏色空間的色調(diào)飽和度平面中離上述唇的代表色的距離為第I閾值以下和/或與上述唇的代表色在色調(diào)上的差異為第2閾值以下的顏色的區(qū)域確定為上述第I唇區(qū)域。
8.如權(quán)利要 求6或7所述的圖像處理裝置，其特征在于， 上述唇區(qū)域確定部使規(guī)定唇的形狀的規(guī)定的唇形狀模型與上述第I唇區(qū)域相合，并將相合后的上述唇形狀模型所示的區(qū)域確定為第2唇區(qū)域。
9.如權(quán)利要求6或7所述的圖像處理裝置，其特征在于， 上述唇區(qū)域確定部基于上述第I唇區(qū)域，針對多個水平位置確定上唇或者下唇在縱方向上的中心點(diǎn)，并將以各個中心點(diǎn)作為中心的縱方向的規(guī)定寬度的區(qū)域確定為第2唇區(qū)域。
10.一種圖像處理方法，從包含人物的口的人臉圖像中確定唇的特征，該圖像處理方法的特征在于，包括: 皮膚代表色確定步驟，確定上述人臉圖像的皮膚的代表色； 候選顏色確定步驟，在上述人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及 唇代表色確定步驟，根據(jù)上述皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從上述多個候選顏色確定唇的代表色。
11.一種圖像處理裝置的控制程序，用于從包含人物的口的人臉圖像中確定唇的特征，該控制程序使計算機(jī)執(zhí)行以下步驟: 皮膚代表色確定步驟，確定上述人臉圖像的皮膚的代表色； 候選顏色確定步驟，在上述人臉圖像中，設(shè)定多個區(qū)域使得至少其中一個區(qū)域包含唇的一部分，并將各個區(qū)域的代表色確定為候選顏色；以及 唇代表色確定步驟，根據(jù)上述皮膚的代表色與各個候選顏色在色調(diào)以及飽和度中的差異，從上述多個候選顏色確定唇的代表色。
【文檔編號】G06T7/00GK103430208SQ201180068788
【公開日】2013年12月4日 申請日期:2011年3月22日 優(yōu)先權(quán)日:2011年3月10日
【發(fā)明者】青木博松 申請人:歐姆龍株式會社