圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及對(duì)發(fā)生了亮度不良的圖像進(jìn)行校正的圖像處理技術(shù)。
【背景技術(shù)】
[0002] 在通過相機(jī)等的攝像裝置照射頻閃光而拍攝了人物的面部的情況下，發(fā)生因頻閃 的光而導(dǎo)致人物的瞳孔被照得發(fā)紅的色調(diào)不良現(xiàn)象（紅眼現(xiàn)象）。為了應(yīng)對(duì)運(yùn)個(gè)，提出了對(duì) 發(fā)生了紅眼現(xiàn)象的圖像進(jìn)行校正，修正為原來的色調(diào)的多種技術(shù)。例如，在專利文獻(xiàn)1中， 記載了一種數(shù)碼相機(jī)，其從拍攝到的圖像提取發(fā)生了紅眼的區(qū)域，對(duì)該區(qū)域進(jìn)行色調(diào)的校 正。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn) 陽0化]專利文獻(xiàn)1:(日本）特開2006-040230號(hào)公報(bào)
[0006] 在專利文獻(xiàn)1中記載的方法中，對(duì)發(fā)生色調(diào)不良的區(qū)域W外的、色調(diào)正常的區(qū)域 進(jìn)行分析，提取該區(qū)域中的色相或彩度、明度，從而生成用于對(duì)發(fā)生色調(diào)不良的區(qū)域進(jìn)行校 正的參數(shù)，進(jìn)行校正。
[0007] 另一方面，作為與紅眼現(xiàn)象不同的現(xiàn)象，有光暈。光暈是通過頻閃強(qiáng)烈地反射到瞳 孔，從而瞳孔發(fā)白的現(xiàn)象。
[0008] 關(guān)于光暈，也想到能夠通過前述的方法進(jìn)行校正。但是，若發(fā)生光暈，則會(huì)失去亮 度的灰度信息。在前述的方法中，即使能夠?qū)Πl(fā)生了色調(diào)不良的區(qū)域的色調(diào)進(jìn)行校正，也不 能復(fù)原失去了亮度的灰度信息的區(qū)域。
[0009] 為了將發(fā)生了光暈的區(qū)域復(fù)原為正常的狀態(tài)，必須補(bǔ)充亮度的灰度信息。例如，考 慮如下方法：預(yù)先保持正常的狀態(tài)的瞳孔的圖像，粘貼（Paste)到發(fā)生了亮度不良的區(qū)域。 但是，若粘貼完全不同的圖像，則發(fā)生明亮度或色調(diào)無法與原來的圖像融合、成為具有不協(xié) 調(diào)感的圖像的其他問題。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明是考慮上述的課題而完成的，其目的在于，提供一種對(duì)在眼睛的內(nèi)部發(fā)生 的光暈進(jìn)行校正的圖像處理裝置中，進(jìn)行更自然的校正的技術(shù)。
[0011] 為了解決前述的課題，本發(fā)明的圖像處理裝置是
[0012] 一種圖像處理裝置，對(duì)包括人物的面部的圖像即面部圖像的至少一部分進(jìn)行校 正，其特征在于，包括：
[0013] 圖像取得部件，取得面部圖像；
[0014] 區(qū)域提取部件，從所述面部圖像提取包括瞳孔的區(qū)域即瞳孔區(qū)域；
[0015] 判定部件，判定所述瞳孔區(qū)域內(nèi)有無發(fā)生光暈；
[0016] 第一模板取得部件，取得校正用的模板圖像即第一模板圖像；
[0017] 基準(zhǔn)色取得部件，從所述面部圖像取得與所述人物對(duì)應(yīng)的基準(zhǔn)色；
[0018] 第二模板取得部件，使用所述第一模板圖像和所述基準(zhǔn)色而生成第二模板圖像； W及
[0019] 校正部件，通過對(duì)所述瞳孔區(qū)域中至少發(fā)生光暈的區(qū)域合成所述第二模板圖像， 從而校正該光暈。
[0020] 本發(fā)明的圖像處理裝置是，在從所取得的圖像提取瞳孔區(qū)域，判定在該瞳孔區(qū)域 內(nèi)有無發(fā)生光暈之后，進(jìn)行該光暈的校正的裝置。瞳孔區(qū)域是包括瞳孔的區(qū)域，典型而言， 是W瞳孔的中屯、點(diǎn)為中屯、坐標(biāo)的圓形區(qū)域，但若包括可發(fā)生光暈的區(qū)域，則也可W是除此 之外的區(qū)域。
[0021] 光暈的校正使用第一模板圖像而進(jìn)行。第一模板圖像是，與沒有產(chǎn)生亮度不良的、 正常的狀態(tài)的瞳孔對(duì)應(yīng)的圖像。光暈的校正能夠通過在瞳孔區(qū)域的內(nèi)部合成（例如，粘貼） 第一模板圖像而進(jìn)行，但在本發(fā)明中，使用基準(zhǔn)色從第一模板圖像生成第二模板圖像之后， 合成該第二模板圖像。
[0022] 基準(zhǔn)色是與校正對(duì)象的人物對(duì)應(yīng)的顏色。基準(zhǔn)色優(yōu)選從位于合成第二模板圖像的 位置的附近的像素取得。例如，能夠適當(dāng)使用對(duì)象人物的虹膜的顏色。
[0023] 根據(jù)運(yùn)個(gè)結(jié)構(gòu)，由于利用與校正對(duì)象的人物對(duì)應(yīng)的基準(zhǔn)色而生成第二模板圖像， 所W與無加工地合成了第一模板圖像的情況相比，能夠獲得更自然的圖像處理結(jié)果。
[0024] 此外，其特征也可W在于，所述第一模板圖像是灰階圖像，所述第二模板取得部件 使用所述基準(zhǔn)色，將所述第一模板圖像變換為彩色圖像，并設(shè)為第二模板圖像。
[00巧]通過使用基準(zhǔn)色而將第一模板圖像進(jìn)行彩色化，能夠使第一模板圖像的色相適合 合成目標(biāo)的色相。
[0026] 從灰階圖像到彩色圖像的變換，例如基于基準(zhǔn)色的RGB值，求出R值和G值的關(guān)系 W及R值和B值的關(guān)系之后，能夠解出相對(duì)于將RGB值變換為亮度值的式的逆問題而獲得。 當(dāng)然，也可W使用其他方法而將亮度值變換為RGB值。
[0027] 此外，本發(fā)明的圖像處理裝置的特征也可W在于，還包括：校正值計(jì)算部件，基于 所述基準(zhǔn)色而計(jì)算校正值，該校正值用于使所述第一模板圖像的亮度適合所述面部圖像， 所述第二模板取得部件在使用所述校正值而調(diào)整了所述第一模板圖像的亮度之后，進(jìn)行向 彩色圖像的變換。
[002引由于第一模板圖像是不同于校正對(duì)象的圖像的圖像，所W在原樣進(jìn)行了合成的情 況下，存在亮度不適合、會(huì)產(chǎn)生不協(xié)調(diào)感的情況。例如，存在與周圍相比，僅進(jìn)行了合成的區(qū) 域發(fā)亮、發(fā)暗的情況。因此，在本發(fā)明中，求出用于使第一模板圖像的亮度適合所述面部圖 像的校正值之后，使用該校正值而調(diào)整第一模板圖像的亮度。另外，校正值能夠利用所取得 的基準(zhǔn)色而求出。
[0029] 根據(jù)運(yùn)個(gè)結(jié)構(gòu)，由于能夠W亮度適合的狀態(tài)進(jìn)行合成，所W能夠獲得不協(xié)調(diào)感少 的圖像處理結(jié)果。
[0030] 此外，其特征也可W在于，所述基準(zhǔn)色取得部件從所述瞳孔區(qū)域提取與虹膜對(duì)應(yīng) 且沒有發(fā)生光暈的區(qū)域，從在該區(qū)域中包含的像素取得基準(zhǔn)色。
[0031] 基準(zhǔn)色優(yōu)選從校正對(duì)象的人物的、與眼睛的虹膜對(duì)應(yīng)的區(qū)域取得。由于光暈主要 在虹膜的內(nèi)部發(fā)生，所W通過將虹膜的顏色設(shè)為基準(zhǔn)色，能夠使合成目標(biāo)的色相和第一模 板圖像的色相適合。
[0032] 此外，其特征也可W在于，所述基準(zhǔn)色取得部件在所述瞳孔區(qū)域中不包括與虹膜 對(duì)應(yīng)且沒有發(fā)生光暈的區(qū)域的情況下，從所述面部圖像提取與所述人物的皮膚對(duì)應(yīng)的區(qū) 域，基于在該區(qū)域中包含的像素的顏色而取得基準(zhǔn)色。
[0033] 另一方面，在虹膜整體中發(fā)生光暈的情況下，由于會(huì)失去虹膜的顏色信息，所W通 過前述的方法，不能取得基準(zhǔn)色。因此，也可W基于與人物的皮膚對(duì)應(yīng)的像素的顏色而取得 基準(zhǔn)色。此時(shí)，雖然不能再現(xiàn)虹膜的顏色，但由于基于在圖像中存在較多的顏色而設(shè)定基準(zhǔn) 色，所W能夠抑制因色相的不適合所引起的不協(xié)調(diào)感。
[0034] 此外，本發(fā)明的攝像裝置的特征在于，包括前述的圖像處理裝置和拍攝圖像的攝 像部件。本發(fā)明能夠適當(dāng)?shù)剡m用于具有對(duì)通過攝像部件而拍攝的圖像進(jìn)行校正的功能的攝 像裝置。
[0035] 另外，本發(fā)明能夠作為包括上述部件的至少一部分的圖像處理裝置而確定。此外， 本發(fā)明也能夠作為上述圖像處理裝置進(jìn)行的圖像處理方法而確定。此外，本發(fā)明也能夠作 為使計(jì)算機(jī)執(zhí)行上述圖像處理方法的程序而確定。上述處理或部件只要不產(chǎn)生技術(shù)性的矛 盾，則能夠自由地組合而實(shí)施。
[0036] 根據(jù)本發(fā)明，對(duì)在眼睛的內(nèi)部發(fā)生的光暈進(jìn)行校正的圖像處理裝置中，能夠進(jìn)行 更自然的校正。
【附圖說明】
[0037] 圖1是實(shí)施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)圖。
[0038] 圖2是實(shí)施方式中的模板圖像的例。
[0039] 圖3是表示了實(shí)施方式中的面部圖像的一部分的圖。
[0040] 圖4是實(shí)施方式中的亮度值直方圖的例。 陽041] 圖5是例示光暈區(qū)域的圖。 陽0創(chuàng)圖6是說明表示R值和G值、R值和B值的對(duì)應(yīng)關(guān)系的近似曲線的圖。
[0043] 圖7是說明二分探索的方法的圖。
[0044] 圖8是圖像處理裝置進(jìn)行的處理的流程圖。 W45] 圖9是詳細(xì)說明面部區(qū)域W及瞳孔區(qū)域的提取處理的流程圖。
[0046] 圖10是詳細(xì)說明進(jìn)行瞳孔的狀態(tài)判定的處理的流程圖。
[0047] 圖11是詳細(xì)說明圖像的校正處理的流程圖。 W48] 標(biāo)號(hào)說明 W例10圖像處理裝置
[0050] 11圖像取得部
[0051] 12瞳孔檢測部
[0052] 13瞳孔狀態(tài)判定部 陽05引14瞳孔校正部
[0054] 15模板圖像存儲(chǔ)部 陽05引16輸入輸出部
【具體實(shí)施方式】
[0056] W下，參照【附圖說明】本發(fā)明的優(yōu)選的實(shí)施方式。
[0057] 本實(shí)施方式的圖像處理裝置是，