專利名稱：眼睛顏色校正裝置以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及眼睛顏色校正裝置以及程序，涉及適用于拍攝圖像(特別是， 拍攝了人的面部的圖像)的攝像裝置、或處理圖像的信息處理裝置或輸出裝 置、軟件等的有效的技術(shù)。
背景技術(shù)：
不論數(shù)字照相機/銀鹽方式照相機，在使用閃光進行拍攝的情況下，存在 產(chǎn)生眼睛的瞳孔部分或者眼睛整體成為紅色的紅眼現(xiàn)象的問題。作為同樣的 問題，還存在人物的瞳孔乃至眼睛整體被拍攝為黃色的黃眼現(xiàn)象。這樣的紅 眼/黃眼現(xiàn)象(以下，以紅眼現(xiàn)象為例進行說明)是從眼睛的瞳孔部分入射到 眼球內(nèi)的閃光通過視網(wǎng)膜反射所引起的現(xiàn)象。由于照相機的小型化進步并且 照相機的光軸和閃光之間的距離接近，所以以往紅眼現(xiàn)象的產(chǎn)生率提高，再 次成為問題。
作為在拍攝時防止/減輕這樣的紅眼現(xiàn)象的技術(shù)，提出了紅眼防止閃光。 這是在拍攝之前使閃光的發(fā)光弱，之后，重新使閃光發(fā)光的技術(shù)。根據(jù)這個 技術(shù)，通過最初的發(fā)光，被拍攝者的瞳孔被收縮，防止/減輕之后的閃光造成 的紅眼現(xiàn)象的產(chǎn)生。
但是，在產(chǎn)生了紅眼現(xiàn)象的情況下，只要不能重新拍攝，就需要對紅眼 進行圖像校正。作為這樣的圖像校正的技術(shù)，提出了指定產(chǎn)生紅眼現(xiàn)象的像
素，通過改變該像素的顏色而進行校正的方法(參照特許第2634511號公報 (專利文獻l))。
但在產(chǎn)生了紅眼現(xiàn)象的眼睛的圖像中，喪失了原來的眼睛的顏色。因此， 難以從產(chǎn)生了紅眼現(xiàn)象的眼睛的圖像中估計原來的眼睛的顏色。若不能估計 原來的眼睛的顏色，則即使想要通過使用在專利文獻1中公開的技術(shù)來執(zhí)行 校正也難以生成自然的圖像是理所當(dāng)然的。
此外，在紅眼的判定/校正顏色的決定中，從通過色彩對比來判斷色感的 人體的視覺的特征來看，僅將眼睛顏色設(shè)為判定材料也存在無理之處。即，在特別接近茶色的眼睛顏色的情況下，即使是具有相同值的圖像數(shù)據(jù)也存在 因狀況而被看作紅眼或者不是紅眼的情況。此時，考慮到該人物的眼睛原來 是茶色，或者原來是比較黑的色調(diào)的眼睛但通過弱紅眼現(xiàn)象而被看作茶色的 兩種情況。這兩種情況不能根據(jù)眼睛顏色來判斷，要根據(jù)膚色、或者背景等 的照片整體的色調(diào)進行色彩對比來判斷。
此外，在特別紅的面部或者紅色的照明下的情況下等，存在在進行消除 紅色感的校正的情況下反而被看作不自然的情況。這是因為，在從膚色所預(yù) 計的照明之下(在紅的面部的情況下，疑似的照明之下)，成為不可能存在 的眼睛顏色。因此，在這樣的情況下，消除紅色感的校正嚴(yán)格來說是錯誤， 需要生成與膚色相匹配的眼睛顏色，并以此為基準(zhǔn)進行校正。
從這樣的方面出發(fā)，也能夠判斷不應(yīng)僅著眼于眼睛進行校正處理，還要 考慮其周圍的膚色或與背景的色彩對比而進行紅眼的判斷/校正顏色的決定。 因此，本發(fā)明人基于這樣的考慮，開發(fā)了一種校正方法，即不論是否產(chǎn)生紅 眼現(xiàn)象或黃眼現(xiàn)象等的異常，從輸入圖像確定被攝體人物的膚色，通過將該 膚色代入基于預(yù)先實施的統(tǒng)計結(jié)果的近似式，從而從被攝體人物的膚色估計
正常的眼睛的顏色分量(特開2005-148033號公報(專利文獻2))。 專利文獻l:特許第2634511號公報 專利文獻2:特開2005-148033號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題
在該專利文獻2中公開的發(fā)明中，雖然可實現(xiàn)符合膚色的自然且無不適 感的眼睛顏色，但由于像素的原來的亮度因紅眼現(xiàn)象等而已經(jīng)失去，所以若 維持紅眼的像素的亮度的同時對眼睛顏色進行校正，則存在校正后的眼睛的 亮度變得非常白的情況。此時，存在即使能夠無不適感地校正眼睛顏色，但 亮度產(chǎn)生不適感，作為結(jié)果校正質(zhì)量變差的課題。
本發(fā)明的目的在于，提供一種眼睛顏色校正裝置以及程序，其能夠在對 拍攝的人物圖像的眼睛部分進行校正處理時，不會使校正后的圖像產(chǎn)生不適 感。
用于解決課題的手段
為了達到上述的目的，本發(fā)明的眼睛顏色校正裝置，其特征在于，包括膚色確定部件，確定被輸入的圖像中的被攝體人物的膚色；皮膚校正顏
色計算部件，基于通過所述膚色確定部件所確定的膚色，求出應(yīng)在所述圖像
中表現(xiàn)的該人物的眼睛的顏色的皮膚校正顏色；亮度估計部件，根據(jù)所述被 攝體人物的眼睛部分的像素值，估計產(chǎn)生該像素的紅眼等的色調(diào)異常之前的 亮度；以及校正單元，根據(jù)基于所述皮膚校正顏色的校正基準(zhǔn)顏色和所述估 計的亮度，對所述被攝體人物的眼睛的顏色進行校正。
而且，包括原眼睛顏色計算部件，根據(jù)在所述被攝體人物的眼睛的外 周區(qū)域中包含的像素的顏色，求出作為該外周區(qū)域的代表顏色的原眼睛顏色； 以及校正基準(zhǔn)顏色決定部件，根據(jù)所述求出的皮膚校正顏色和原眼睛顏色的 任一個顏色，決定所述校正基準(zhǔn)顏色。此外，包括判斷部件，對通過所述 皮膚校正顏色計算部件所求出的皮膚校正顏色和通過所述眼睛檢測部件檢測 的眼睛區(qū)域中所確定的顏色進行比較，從而判定在所述圖像中的該人物的眼 睛的顏色是否產(chǎn)生異常，在判斷部件判定為異常的情況下，所述校正部件執(zhí) 行校正處理。此外，該判斷部件可以具有如下功能對通過所述眼睛顏色估 計部件所估計的眼睛的顏色中的紅色和通過所述眼睛檢測部件;險測的眼睛區(qū) 域所確定的顏色中的紅色進行比較，從而判斷在所述圖像中的該人物的眼睛 部分是否成為紅眼。
在本發(fā)明中，膚色確定部件可以構(gòu)成為通過用戶手動確定膚色，也可以 構(gòu)成為將通過用戶根據(jù)輸入圖像而指定的顏色、通過用戶指定的圖像中的像 素的顏色(即，根據(jù)用戶所指定的部位的實際測量值)等確定作為該人物的 膚色，也可以如實施方式中表示地那樣，自動地檢測面部區(qū)域的同時基于屬 于該區(qū)域的像素來求出。
同樣地，在原眼睛顏色計算部件中的求出原眼睛顏色的處理也可以是基 于用戶的手動而求出，也可以如實施方式中表示地那樣，自動地4企測眼睛區(qū) 域的同時檢測外部周圍區(qū)域，并基于屬于該外部周圍區(qū)域的像素來求出。
在圖像的眼睛部分中產(chǎn)生的異常是，例如紅眼現(xiàn)象或黃眼現(xiàn)象等，是對 眼睛部分的一部分或者全部的顏色所產(chǎn)生的異常。
在本發(fā)明中，從輸入的圖像中確定被攝體人物的膚色，基于該膚色而估 計該人物的眼睛的顏色。因此，可估計對在該圖像中的膚色考慮了色彩對比 的、自然且無不適感的眼睛的顏色。因此，可以從因產(chǎn)生紅眼現(xiàn)象或黃眼現(xiàn) 象等而喪失了原來的眼睛的顏色的圖像中，估計原來的眼睛的顏色(被認(rèn)為
6在沒有產(chǎn)生異常的情況下所表現(xiàn)(輸出)的眼睛的顏色)。
此外，由于設(shè)置了亮度估計部件，加入了所估計的亮度而進行校正處理， 所以防止了瞳孔被校正為白，能夠?qū)崿F(xiàn)盡可能再現(xiàn)產(chǎn)生眼睛顏色異常的現(xiàn)象 之前的亮度的高質(zhì)量的校正。
此外，在具有求出眼睛的外部周圍區(qū)域的原眼睛顏色，并基于該原眼睛 顏色而校正眼睛顏色的功能的情況下，基于什么顏色(皮膚校正顏色/原眼睛 顏色)進行校正是根據(jù)校正基準(zhǔn)顏色決定部件決定。因此，在眼睛的外部周 圍區(qū)域殘留了被攝體人物的眼睛的顏色的情況下，通過基于原眼睛顏色進行 校正，從而能夠基于該人所具有的原來的眼睛的顏色來進行眼睛顏色的校正， 因此可再現(xiàn)進一步無不適感的眼睛顏色。而且，,H殳即使在眼睛整體成為紅 眼等的異常，眼睛的外部周圍區(qū)域也沒有原來的眼睛顏色的情況下，也能夠 進行基于膚色的眼睛顏色的校正處理。
所述亮度估計部件也可以包括計算GB亮度的功能，該GB亮度是在構(gòu) 成像素的顏色的R、 G、 B中，基于G和B的值而決定的亮度。此時，所述 校正部件能夠在維持校正基準(zhǔn)顏色的R、 G、 B的值的比率的同時，變換為校 正基準(zhǔn)顏色的所述GB亮度的值與校正對象像素的GB亮度值相等。
在產(chǎn)生紅眼現(xiàn)象的情況下，考慮到相比原來的眼睛顏色的亮度值上升的 增加量，主要是由于紅色光。因此，可通過使用G和B的值來估計紅眼產(chǎn)生 之前的亮度值。
此外，可以包括面部檢測部件，檢測包含所輸入的圖像中的被攝體人 物的面部的一部分或者整體的面部區(qū)域；以及眼睛4全測部件，；險測包含通過 所述面部#:測部件所卩險測的該人物的眼睛的一部分或者整體的眼睛區(qū)域，所 述膚色確定部件可基于所述面部檢測部件所檢測的面部區(qū)域中包含的像素的 顏色來確定膚色，所述原眼睛顏色計算部件可基于所述眼睛檢測部件所檢測 的眼睛的外部周圍區(qū)域中包含的像素的顏色來求出原眼睛顏色。"眼睛區(qū)域" 是包含被攝體人物的眼睛的一部分或者全部的區(qū)域。
在本發(fā)明中，可以從用戶的輸入中獨立地(即，在膚色的確定處理時， 即使用戶沒有指定顏色或者用于確定顏色的圖像中的區(qū)域)，自動地進行眼 睛顏色的校正處理。因此，能夠給用戶省事。
此外，進一步具有對通過所述皮膚校正顏色計算部件所求出的皮膚校正 顏色和通過所述眼睛檢測部件檢測的眼睛區(qū)域中所確定的顏色進行比較的功能的情況下，可以包括用于判斷在所述圖像中的該人物的眼睛的顏色是否產(chǎn) 生異常的判斷部件，可以在判斷部件判定為異常的情況下，所述校正部件執(zhí) 行校正處理。此外，在判斷部件中的判斷處理算法可適用各種算法，但例如 通過對所述眼睛顏色估計部件所估計的眼睛的顏色中的紅色和所述眼睛4企測 部件檢測的眼睛區(qū)域中所確定的顏色中的紅色進行比較，從而能夠判斷在所 述圖像中的該人物的眼睛部分是否成為紅眼。
這樣，由于在需要校正的情況下進行校正處理，所以不需要的校正處理 的執(zhí)行被削減，裝置的負(fù)荷被減輕。當(dāng)然，在本發(fā)明中，也可以對全部的圖 像進行校正處理，而不進行對于是否需要有關(guān)校正的判斷。這樣的話，即使 產(chǎn)生了通過判斷部件不能檢測的異常的情況下，也能夠正確地校正眼睛顏色。
本發(fā)明的程序，使計算機作為如下部件起作用膚色確定部件，確定被 輸入的圖像中的被攝體人物的膚色；皮膚校正顏色計算部件，基于通過所述 膚色確定部件所確定的膚色，求出應(yīng)在所述圖像中表現(xiàn)的該人物的眼睛的顏 色的皮膚校正顏色；亮度估計部件，根據(jù)所述被攝體人物的眼睛部分的像素 值，估計產(chǎn)生該像素的紅眼等的色調(diào)異常之前的亮度；以及校正單元，根據(jù) 基于所述皮膚校正顏色的校正基準(zhǔn)顏色和所述估計的亮度，對所述被攝體人 物的眼睛的顏色進行校正。
發(fā)明效果
在本發(fā)明中，通過在眼睛顏色的校正中，對產(chǎn)生眼睛顏色的異常的現(xiàn)象 之前的亮度進行估計，并對眼睛顏色進行校正以再現(xiàn)其亮度，從而防止瞳孔 被校正為白，能夠?qū)崿F(xiàn)無不適感的高質(zhì)量的校正。


圖1是表示眼睛顏色校正裝置的第 一實施方式的功能方框的例子的圖。 圖2是表示面部矩形以及在取得膚色的代表值時確定的區(qū)域的例子的圖。
圖3是表示眼睛的外部周圍區(qū)域的例子的圖。
圖4是表示眼睛顏色校正裝置的動作例子的流程圖。
標(biāo)號i^明
10眼睛顏色校正裝置 11存儲單元12面部檢測單元
13膚色確定單元
14皮膚校正顏色計算單元
15眼睛4企測單元
16原眼睛顏色計算單元 17校正基準(zhǔn)顏色決定單元 18判斷單元 19校正單元
具體實施例方式
圖1表示眼睛顏色校正裝置的優(yōu)選的一實施方式。眼睛顏色校正裝置IO 在硬件方面，包括通過總線連接的CPU(中央運算處理裝置)、主存儲裝置 (RAM)、輔助存儲裝置等。輔助存儲裝置是使用非易失性存儲裝置而構(gòu)成。 這里所指的非易失性存儲裝置是指，所謂的ROM (EPROM、 EEPROM、掩 模ROM等)，F(xiàn)RAM、硬盤等。該眼睛顏色校正裝置IO可以在個人計算機中 安裝規(guī)定的應(yīng)用程序而構(gòu)成，也可以由專用的裝置而構(gòu)成。
如圖1所示，本實施方式的眼睛顏色校正裝置IO通過在輔助存儲裝置中 存儲的各種程序(OS、應(yīng)用等)被加載到主存儲裝置并通過CPU執(zhí)行，從 而作為包含存儲單元11、面部檢測單元12、膚色確定單元13、皮膚校正顏 色計算單元14、眼睛檢測單元15、原眼睛顏色^r測單元16、 4交正基準(zhǔn)顏色 決定單元17、判斷單元18以及校正單元19等的裝置起作用。
面部檢測單元12、膚色確定單元13、皮膚校正顏色計算單元14、眼睛 檢測單元15、原眼睛顏色檢測單元16、判斷單元18以及校正單元19是應(yīng)用 軟件的程序通過由CPU執(zhí)行而實現(xiàn)。此外，各個處理單元可以是各自作為專 用的芯片而構(gòu)成。此外，根據(jù)通過各個處理單元所實施的處理內(nèi)容，存在硬 件/軟件中的適合不適合。因此，這些可作為硬件/軟件的混合而安裝。以下， 說明眼睛顏色校正裝置IO所具有的各個功能單元。
存儲單元11存儲被輸入到眼睛顏色校正裝置10的圖像。存儲單元11可 使用所謂的RAM而構(gòu)成，也可以使用所謂的ROM而構(gòu)成。被輸入的圖像數(shù) 據(jù)有在數(shù)字照相機的內(nèi)置存儲器、外部存儲裝置、各種記錄媒體等中存儲的 已拍攝的圖像數(shù)據(jù)等。來自數(shù)字照相機的內(nèi)置存儲器的圖像數(shù)據(jù)的傳送是，
9利用通信電纜或紅外線通信等進行。還可以是外部存儲裝置或各種存儲媒體 本身構(gòu)成存儲單元11。此外，還有在存儲單元11中存儲的圖像數(shù)據(jù)是從信息 處理裝置通過接口而傳輸?shù)膱D像的情況。
面部檢測單元12在存儲單元11中存儲的圖像中對成為眼睛顏色校正裝
置10的處理對象的圖像實施面部檢測處理。在面部檢測處理中，面部檢測單 元12從存儲單元11中讀出成為處理的對象的圖像，并從所讀出的圖像中檢 測面部矩形20。圖2是表示面部矩形的例子(面部矩形20)的圖。面部矩形 20是包含被攝體人物的面部部分的矩形。
面部檢測單元12若檢測出面部矩形20，則輸出面部矩形信息。面部矩 形信息是指，表示面部矩形20的大小或位置的信息。例如，面部矩形信息表 示面部矩形20的寬度和左上角的坐標(biāo)。通過該面部矩形信息，其他的處理單 元確定在處理對象的圖像中的被攝體人物的面部的位置。在本實施方式中， 由于將面部矩形20的縱橫比設(shè)為預(yù)先設(shè)定的固定值，從而根據(jù)由面部矩形 20的寬度和左上角的坐標(biāo)所構(gòu)成的面部矩形信息，可確定由面部矩形20劃 分的區(qū)域。
面部一企測單元12的面部一企測處理也可以構(gòu)成為，例如通過^f吏用了與面部 整體的輪廓對應(yīng)的基準(zhǔn)模板的模板匹配而檢測面部。此外，面部檢測處理也 可以構(gòu)成為，通過基于面部的構(gòu)成要素(眼睛、鼻子、耳朵等)的模板匹配 而檢測面部。此外，面部檢測處理也可以構(gòu)成為，通過色度鍵而檢測頭發(fā)的 頂點，并基于該頂點而檢測面部。此外，面部檢測單元12也可以構(gòu)成為，檢 測接近膚色的區(qū)域，并將該區(qū)域作為面部而檢測。此外，面部檢測單元12也 可以構(gòu)成為，使用神經(jīng)元網(wǎng)絡(luò)進行通過老師信號的學(xué)習(xí)，并將像面部的區(qū)域 檢測作為面部。面部檢測單元12的面部檢測處理并不限定于在上述的例示中 舉例的處理，也可以通過其他的現(xiàn)有的任何方法實現(xiàn)。
膚色確定單元13從通過面部檢測單元12所檢測的面部矩形20的區(qū)域 中，取得被攝體人物的膚色的代表值。以后，將該處理稱為膚色確定處理。 膚色確定單元13在膚色確定處理中，例如取得在面部矩形20中包含的像素 的彩色值的統(tǒng)計值作為代表值。作為優(yōu)選的方式，膚色確定單元13構(gòu)成為， 在面部矩形20中包含的像素中，取得規(guī)定像素的彩色值的統(tǒng)計值。
"規(guī)定像素"是指，例如根據(jù)面部矩形20的面部矩形信息所確定的區(qū)域 中包含的像素。作為更具體的例子，例如可以是根據(jù)面部矩形20的面部矩形
10信息而幾何學(xué)地確定的區(qū)域內(nèi)的像素。圖2作為這樣的區(qū)域的例子，確定將
面部矩形20的寬度的3/4設(shè)為直徑，將面部矩形20的中心(在圖2中的"p") 設(shè)為中心的圓內(nèi)的區(qū)域。
此外，"規(guī)定像素，，例如可以是在面部矩形20中包含的像素中排除了成 為膚色測量的噪聲主要原因的像素的剩余的像素。作為這樣的成為噪聲主要 原因的像素的例子，有面部的像素(例如眉毛、眼球、嘴唇、鼻孔)或皮 膚的油光部分等的像素。此外，"規(guī)定像素"例如也可以是在面部矩形20中 包含的像素中、通過邊緣提取等的處理而確定的面部輪廓的內(nèi)側(cè)中包含的像 素。此外，上述的"規(guī)定像素"的確定方法可根據(jù)需要進行組合。
膚色確定單元13基于"規(guī)定像素"進行統(tǒng)計處理，并取得被攝體人物的 膚色的代表值。統(tǒng)計處理也可以是中間值、平均值、最頻值等的簡單的處理。 此外，在統(tǒng)計處理中，也可以進一步進行例如通過3cr等的方法而從直方圖劃 分范圍，從而排除噪聲主要原因的處理。
膚色確定單元13也可以構(gòu)成為，在進行膚色統(tǒng)計處理時，通過與上述的 方法不同的方法來取得被攝體人物的膚色的代表值。表示一個例子，則膚色 確定單元13也可以構(gòu)成為，取得在面部矩形20內(nèi)的特定的像素的彩色值作 為代表值。
皮膚校正顏色計算單元14基于通過膚色確定單元13所取得的膚色的代 表值，計算基于該被攝體人物的皮膚而估計的眼睛的顏色。以下，將通過皮 膚校正顏色計算單元14所估計的眼睛的顏色稱為"皮膚校正顏色"。皮膚校 正顏色計算單元14基于RGB的各個顏色的變換函數(shù)(近似式)而取得皮膚 校正顏色。該近似式表示在被攝體人物的圖像中的膚色和被認(rèn)為沒有產(chǎn)生紅 眼等的異常的圖像中的眼睛的顏色之間的相關(guān)。該近似式是作為前處理而預(yù) 先取得的式。該近似式可根據(jù)以下的步驟求出。
首先，收集多個對紅眼或黃眼等的眼睛的圖像認(rèn)為沒有產(chǎn)生異常的圖像 (換言之，"無不適感的圖像"、"被認(rèn)為被攝體人物的眼睛正常地拍攝的圖 像，，)作為樣本圖像。通過對這些樣本圖像進行統(tǒng)計處理，從而得到在被攝體 人物的圖像中的膚色和被認(rèn)為沒有產(chǎn)生異常的圖像中的眼睛的顏色之間的相 關(guān)。具體地說，首先，皮膚校正顏色計算單元取得在各個樣本圖像中的被攝 體人物的膚色的代表值Sn (Sm、 Sgn、 Sbn)和該人物的眼睛的正常顏色的 代表值En(Em、 Egn、 Ebn )。這些代表值，例如可通過與由膚色確定單元13所進行的統(tǒng)計處理相同的方法而取得。當(dāng)然，這些代表值也可以通過其他 任何方法而求出。
接著，假設(shè)例如各個顏色的變換函數(shù)可以以一次方程式近似。即，假設(shè) 通過以下的式(1 )表示各個顏色的變換函數(shù)。
Ec=Ac-Sc+Bc……(1 )
這里，"c，，表示rgb的任一個。此外，"A"、 "B"表示系數(shù)。在前處理 中，基于在各個樣本圖像中的膚色的代表值Sn和眼睛的正常的顏色的代表值 En,通過最小二乘法而決定系數(shù)"A，，以及"B"的值。這樣，在前處理中， 求出對于RGB的各個顏色的近似式，即用于從膚色估計眼睛的正常顏色的三 個近似式。
皮膚校正顏色計算單元14保有有關(guān)的三個近似式。因此，皮膚校正顏色 計算單元14對預(yù)先取得的近似式代入通過膚色確定單元13所取得的膚色的 代表值，計算基于對應(yīng)被攝體的膚色所估計的正常的顏色(即，皮膚校正顏 色)。
另外，在上述的說明中，說明了在前處理中取得一次方程式的近似式的
計算單元14的處理。
眼睛檢測單元15對在存儲單元11中存儲的圖像中成為眼睛顏色校正裝 置10的處理對象的圖像進行眼睛檢測處理。在眼睛檢測處理中，眼睛檢測單 元15從存儲單元2中讀出在成為處理對象的圖像中通過面部檢測單元12所 檢測的面部矩形20內(nèi)的圖像，并從讀出的圖像中檢測眼睛區(qū)域。眼睛區(qū)域是 包含通過面部檢測單元12而檢測出面部的被攝體人物的眼睛的圖像。
眼睛檢測單元15的眼睛檢測處理也可以構(gòu)成為，通過使用了與眼睛的形 狀對應(yīng)的基準(zhǔn)模板的模板匹配而檢測眼睛。此時，眼睛檢測單元15也可以構(gòu) 成為，選擇與根據(jù)面部檢測單元12檢測的面部矩形20的大小所估計的眼睛 直徑對應(yīng)的模板而進行眼睛4全測處理。此外，眼睛檢測單元15也可以構(gòu)成為， 通過根據(jù)檢測的面部矩形20的位置而估計大致的眼睛位置，從而限定進行模 板匹配的區(qū)域。此外，目艮睛檢測單元15的眼睛檢測處理也可以通過模板匹配 以外的任何方法來實現(xiàn)。例如，眼睛檢測單元15也可以構(gòu)成為，通過對輸入 圖像提取邊緣之后跟蹤眼睛的輪廓，從而檢測眼睛。眼睛檢測單元15若通過 眼睛檢測處理而檢測出眼睛，則輸出表示眼睛的區(qū)域的信息(以下，稱為"眼睛區(qū)域信息")。
原眼睛顏色檢測單元16求出通過眼睛檢測單元15所確定的被攝體的眼
睛的外部周圍區(qū)域的顏色。即，如圖3所示，在通過眼睛檢測單元15所求出 的眼睛區(qū)域R中，將與該眼睛區(qū)域同心并且將通過眼睛^^測單元15所求出的 眼睛直徑的3/4設(shè)為直徑的圓C的外側(cè)的區(qū)域R1設(shè)為被攝體的眼睛的外部周 圍區(qū)域，測量在其外部周圍區(qū)域中存在的各個像素的平均顏色，并將求出的 顏色設(shè)為原眼睛顏色。
校正基準(zhǔn)顏色決定單元17決定成為在進行紅眼校正時的基準(zhǔn)顏色的眼 睛校正基準(zhǔn)顏色。具體地說，校正基準(zhǔn)顏色決定單元17取得皮膚校正顏色計 算單元14對同一個被攝體求出的皮膚校正顏色、和通過原眼睛顏色4企測單元 16所求出的原眼睛顏色，并基于皮膚校正顏色而校正眼睛的外部周圍區(qū)域， 與該校正的眼睛顏色和原眼睛顏色進行比較。然后，校正基準(zhǔn)顏色決定單元 17判斷校正的眼睛顏色是否比原眼睛顏色增加了紅色感，在紅色感增加的情 況下，將原眼睛顏色決定為眼睛校正基準(zhǔn)顏色，在紅色感減少的情況下，將 皮膚校正顏色決定為眼睛校正基準(zhǔn)顏色。
即，在基于膚色所校正的眼睛的顏色比校正前的原眼睛顏色增加了紅色 感的情況下，可判斷為眼睛的外部周圍區(qū)域沒有產(chǎn)生紅眼現(xiàn)象。因此，由于 該外部周圍區(qū)域成為殘留被攝體本身的眼睛顏色，所以可通過將原眼睛顏色 設(shè)為眼睛校正基準(zhǔn)顏色，從而進行高質(zhì)量的校正。相反地，在紅色感減少的 情況下，可估計為眼睛的外部周圍區(qū)域也產(chǎn)生紅眼現(xiàn)象，在眼睛整體中失去
準(zhǔn)顏色，從而能夠進行符合膚色的校正，可得到與在專利文獻2中公開的發(fā) 明相等的效果。
在紅色感相等的情況下，將哪個設(shè)為眼晴校正基準(zhǔn)顏色都可以，但在本 實施方式中，將原眼睛顏色設(shè)為眼睛校正基準(zhǔn)顏色。這是因為，通過使用被 攝體本身具有的眼睛顏色的原眼睛顏色，能夠校正為更加符合該被攝體的自 然的眼睛顏色的可能性高。
紅色感的評價是根據(jù)在以下的式中表示的R分量比例(Rrate)而判斷。
Rrate=R/ (R+G+B )
其中(KR、 G、 BS255
另夕卜，可使用與在后述的校正單元19中的校正處理相同的步驟，執(zhí)行對
13基于皮膚校正顏色的眼睛的外部周圍區(qū)域的校正處理。
判斷單元18基于通過眼睛檢測單元15所輸出的眼睛區(qū)域信息，確定表 示在輸入圖像中的眼睛的各個像素的顏色，并判斷有無紅眼或黃眼等的異常 的產(chǎn)生，即是否需要校正。具體地說，比較眼睛區(qū)域的各個像素和眼睛校正
基準(zhǔn)顏色，求出紅色感(R分量比例)的大小。在相比眼睛校正基準(zhǔn)顏色的
紅色感，輸入圖像的紅色感高的像素的比例為一定以上的情況下，判斷為產(chǎn)
生紅眼等的異常，需要校正。當(dāng)然，這樣設(shè)置判斷單元18而每次判定是否需 要校正在本發(fā)明中并不是必需的，也可以無需判定是否需要有關(guān)校正而校正 全部的眼睛顏色。
校正單元19基于判斷單元18的判斷結(jié)果進行校正處理。即，校正單元 19在根據(jù)判斷單元18而判斷為在輸入圖像的眼睛的圖像中產(chǎn)生異常的情況 下，進行校正處理。校正單元19基于通過校正基準(zhǔn)顏色決定單元17所決定 的眼睛校正基準(zhǔn)顏色，對通過眼睛檢測單元15所檢測的眼睛區(qū)域內(nèi)的像素的 顏色進行校正。
具體的校正處理為如下所述。校正單元19對成為校正對象的像素的顏色 區(qū)分色感和亮度進行處理。首先，色感是根據(jù)眼睛校正基準(zhǔn)顏色而決定。即， 維持亮度同時置換為眼睛校正基準(zhǔn)顏色(皮膚校正顏色或者原眼睛顏色)。在 這里，校正單元19對成為校正對象的像素基于如下的式，取得其亮度Y。
Y=0.299R+0.587G+0.114B
另外，R、 G、 B的各個值設(shè)為0至255的整數(shù)值。而且，校正單元19 在維持眼睛校正基準(zhǔn)顏色的R、 G、 B的各個值的比率的同時取得可得到與成 為校正對象的像素的亮度Y相同的亮度的RGB值(以下，設(shè)為Nr、 Ng、 Nb )。 這是為了維持?jǐn)z影光線(catch light)效果。校正單元19通過將這樣得到的 Nr、 Ng、 Nb的值賦給成為校正對象的像素，從而進行對于色感的校正處理。
另外，在上述中，維持R、 G、 B的比率地決定校正顏色，但并不限定于 此，基于眼睛校正基準(zhǔn)顏色而決定R、 G、 B的比率(色感)的方法即可。
另一方面，對于亮度的校正是，基于像素的值而估計紅眼發(fā)生之前的亮 度值。有關(guān)亮度值的估計是基于G/B值而執(zhí)行。這是因為，考慮到通過紅眼 現(xiàn)象上升的亮度值的增加量主要是由于紅色光。因此，由于從眼睛校正基準(zhǔn) 顏色決定RGB的各個顏色的最佳的比率，所以若決定G和B的值，則可估 計紅眼發(fā)生之前的亮度值。另外，紅眼的反射光并不僅是單純的R分量，G和B值多少也上升，但與R的上升量相比可以忽略。
然后，采用眼睛校正基準(zhǔn)顏色的亮度與從像素的值所估計的亮度相匹配
的顏色置換像素。具體地說，維持眼睛校正基準(zhǔn)顏色的RGB值的比率的同時 變換為校正后的顏色的GB亮度值與校正對象像素的GB亮度值相等，從而 設(shè)為校正之后的像素的值。這里，通過以下的式子計算GB亮度Lgb。 Lgb-0.857G+0.114B
根據(jù)本實施方式，眼睛顏色校正裝置IO基于判斷單元18的判定處理的 判定結(jié)果而判斷是否需要對于輸入圖像的眼睛部分的校正處理。然后，根據(jù) 該判斷結(jié)果，進行使用了基于膚色所估計的皮膚校正顏色或者原眼睛顏色的 任一個所組成的眼睛校正基準(zhǔn)顏色的校正處理。因此，能夠?qū)Ξa(chǎn)生紅眼現(xiàn)象 等異常的圖像，將被攝體人物的眼睛的顏色校正為正常的顏色，而無需麻煩 用戶的手。
此外，在眼睛顏色校正裝置10中，在實施校正處理時，維持成為輸入圖 像的校正對象的像素的GB亮度的同時決定基于眼睛校正基準(zhǔn)顏色的顏色。 即，維持原來的每個像素的GB亮度的同時進行顏色的置換。因此，與單純 地被一色地置換為皮膚校正顏色或原眼睛顏色的情況(所謂的平底涂滿(《 夕塗^))的情況)不同，可進行更加自然的校正處理。具體地說，不會失去 所謂的攝影光線等的在眼睛表面產(chǎn)生的自然現(xiàn)象的效果，在校正后的眼睛的 圖像中自然地表現(xiàn)眼球的球型或眼球表面的濕潤感。這是因為，攝影光線等 的映入中GB亮度非常高，所以其顏色通過校正也不會被損失。因此，本實 施方式的眼睛顏色校正裝置可實現(xiàn)高質(zhì)量的圖像校正。
此外，在上述的實施方式中，設(shè)眼睛校正基準(zhǔn)顏色是基于皮膚校正顏色 和原眼睛顏色的任一個而決定，但本發(fā)明并不限定于此，也可以如專利文獻況。
圖4是表示眼睛顏色校正裝置10的動作例子的流程圖。使用圖4說明眼 睛顏色校正裝置10的動作例子。眼睛顏色校正裝置IO將得到的圖像數(shù)據(jù)存 儲在存儲單元11 (SIO)。接著，面部檢測單元12執(zhí)行從成為處理對象的圖 像中檢測被攝體人物的面部的面部檢測處理(S11 )。即，面部檢測單元12從 成為處理對象的圖像中檢測面部矩形20,并取得面部矩形信息。
接著，膚色確定單元13和皮膚校正顏色計算單元14執(zhí)行膚色統(tǒng)計處理，
15并基于膚色，計算所估計的眼睛的顏色的皮膚校正值(S12)。即，膚色確定
單元13基于通過面部檢測單元12所取得的面部矩形信息進行膚色統(tǒng)計處理， 并確定膚色的代表值。接著，皮膚校正顏色計算單元14使用通過膚色確定單 元13所求出的膚色的代表值和預(yù)先取得的近似式，估計通過面部檢測單元 12檢測出面部的人物的眼睛顏色并求出皮膚校正顏色。然后，皮膚校正顏色 計算單元14輸出估計的皮膚校正顏色。
眼睛檢測單元15檢測眼睛區(qū)域(S13)。接著，原眼睛顏色計算單元16 求出通過眼睛檢測單元15所檢測的眼睛區(qū)域的估計眼睛直徑，計算該眼睛的 外部周圍區(qū)域的代表顏色，求出原眼睛顏色(S14)。
校正基準(zhǔn)顏色決定單元17取得原眼睛顏色計算單元16求出的原眼睛顏 色(眼睛的外部周圍區(qū)域的代表顏色)、和基于皮膚校正顏色計算單元14求 出的皮膚校正顏色(基于膚色所估計的眼睛的顏色)對眼睛的外部周圍區(qū)域 進行校正的眼睛顏色，比較兩者，并決定紅色感少的顏色為眼睛校正基準(zhǔn)顏 色(S15)。
接著，判定單元18基于校正基準(zhǔn)顏色決定單元17所決定的眼睛校正基 準(zhǔn)顏色和眼睛檢測單元15所檢測的眼睛區(qū)域內(nèi)的各個像素的顏色，對輸入圖 像的眼睛判定是否產(chǎn)生了紅眼等的異常(S16)。
在判定結(jié)果不需要校正的情況下，直接結(jié)束處理。在判定結(jié)果需要校正 的情況下，校正單元19基于眼睛校正基準(zhǔn)顏色和眼睛區(qū)域的各個像素，實施 校正處理(S17)。即，校正單元19區(qū)分色感和亮度進行處理，對色感使用根 據(jù)膚色或者眼睛的顏色所決定的眼睛校正基準(zhǔn)顏色進行校正，對亮度使用GB 亮度而估計產(chǎn)生紅眼現(xiàn)象之前的亮度，并校正以使其相符合。
在眼睛顏色校正裝置中，基于預(yù)先取得的近似式，從輸入圖像的被攝體 人物的膚色估計該人物的眼睛的正常的顏色，即應(yīng)該在圖像中表現(xiàn)的眼睛的 顏色。因此，即使在輸入圖像中產(chǎn)生了紅眼或黃眼等的問題的情況下，也能 夠從這樣的紅眼或黃眼的眼睛的異常的顏色獨立地估計祐::懾體人物的眼睛的 正常的顏色。因此，用戶能夠基于這樣估計的皮膚校正顏色，判斷是否應(yīng)該 對輸入圖像的眼睛部分進行校正。即，用戶通過比較輸入圖像的眼睛的顏色 和皮膚校正顏色，從而能夠容易判斷是否應(yīng)該對該輸入圖像的眼睛部分進行 校正。此外，用戶可基于這樣估計的皮膚校正顏色對輸入圖像的眼睛部分進 行校正，可得到具有無不適感的正常顏色的眼睛的圖像。
16此外，由于求出眼睛外部周圍區(qū)域的原眼睛顏色，判斷原眼睛顏色和皮 膚校正顏色的哪個顏色適合眼睛校正基準(zhǔn)顏色，所以能夠進行更高精度的校 正。即，在眼睛的中央等的眼睛的一部分產(chǎn)生紅眼，在眼睛外部周圍區(qū)域殘 留了該被攝體本身具有的眼睛的顏色的情況下，基于該殘留的眼睛的顏色(原 眼睛顏色)進行紅眼校正能夠校正為更加自然的眼睛的顏色。
此外，用戶可基于這樣估計的眼睛校正基準(zhǔn)顏色，判斷是否應(yīng)該對輸入 圖像的眼睛部分進行校正。即，用戶通過比較輸入圖像的眼睛的顏色和皮膚 校正顏色眼睛校正基準(zhǔn)顏色，從而能夠容易判斷是否應(yīng)該對該輸入圖像的眼 睛部分進行校正。此外，用戶可基于這樣估計的皮膚校正顏色對輸入圖像的 眼睛部分進行校正，可得到具有無不適感的正常顏色的眼睛的圖像。
此外，在冬實施方式中，通過估計產(chǎn)生眼睛顏色異?，F(xiàn)象之前的亮度， 校正眼睛顏色以再現(xiàn)該亮度，從而防止瞳孔被校正為白，能夠?qū)崿F(xiàn)更加高質(zhì) 量的才交正。
這樣的眼睛顏色校正裝置10例如也可適用于數(shù)字靜態(tài)/視頻照相機等的
攝像裝置或包括這樣的攝像裝置的信息處理裝置等。通過適用眼睛顏色校正 裝置，攝像裝置等可基于輸出的眼睛校正基準(zhǔn)顏色，判斷在被拍攝的圖像中 是否產(chǎn)生紅眼或黃眼等的異常。同樣地，通過適用眼睛顏色校正裝置，可得 到應(yīng)該對眼睛的圖像校正的顏色(即，皮膚校正顏色/原眼睛顏色)。因此，
戶提示皮膚校正顏色等。
判斷單元18可以構(gòu)成為，對被#_體人物的左右各個眼睛獨立地實施判 斷，對各個眼睛輸出判定結(jié)果。當(dāng)然，由于被攝體人物的左右眼睛基本上是
在輸入圖像中檢測出多個被攝體人物的面部等的情況下，眼睛顏色校正裝置 可以對全部人員進行判定處理等，也可以只對滿足規(guī)定的條件的被攝體人物 (例如，面部矩形的大小為規(guī)定的大小以上的人物，位于畫面中央附近的人 物、面部認(rèn)證的結(jié)果判斷的規(guī)定的人物)進行判定處理等。此外，也可以不 進行是否需要校正的判斷，對所有的圖像進行眼睛顏色校正處理。
眼睛顏色校正裝置可以通過專用裝置或者在個人計算機中安裝應(yīng)用程序 而獨立地實現(xiàn)，也可以安裝在數(shù)字靜態(tài)照相機或數(shù)字?jǐn)z像機等的攝像裝置或 小型實驗機或其他的圖像處理裝置中。
權(quán)利要求
1.一種眼睛顏色校正裝置，其特征在于，包括膚色確定部件，確定被輸入的圖像中的被攝體人物的膚色；皮膚校正顏色計算部件，基于通過所述膚色確定部件所確定的膚色，求出應(yīng)在所述圖像中表現(xiàn)的該人物的眼睛的顏色的皮膚校正顏色；亮度估計部件，根據(jù)所述被攝體人物的眼睛部分的像素值，估計產(chǎn)生該像素的紅眼等的色調(diào)異常之前的亮度；以及校正單元，根據(jù)基于所述皮膚校正顏色的校正基準(zhǔn)顏色和所述估計的亮度，對所述被攝體人物的眼睛的顏色進行校正。
2. —種眼睛顏色校正裝置，其特征在于，包括膚色確定部件，確定被輸入的圖像中的被攝體人物的膚色；皮膚校正顏色計算部件，基于通過所述膚色確定部件所確定的膚色，求 出應(yīng)在所述圖像中表現(xiàn)的該人物的眼睛的顏色的皮膚校正顏色；原眼睛顏色計算部件，根據(jù)在所述被攝體人物的眼睛的外周區(qū)域中包含 的像素的顏色，求出作為該外周區(qū)域的代表顏色的原眼晴顏色；校正基準(zhǔn)顏色決定部件，根據(jù)所述求出的皮膚校正顏色和原眼睛顏色的 任一個顏色，決定校正基準(zhǔn)顏色；亮度估計部件，根據(jù)所述被攝體人物的眼睛部分的像素值，估計產(chǎn)生該 像素的紅眼等的色調(diào)異常之前的亮度；以及校正單元，根據(jù)所述校正基準(zhǔn)顏色和所述估計的亮度，對所述被攝體人 物的眼睛的顏色進行校正。
3. 如權(quán)利要求1或2所述的眼睛顏色校正裝置，其特征在于， 還包括面部檢測部件，檢測包含所輸入的圖像中的被攝體人物的面部的一部分 或者整體的面部區(qū)域；以及的 一部分或者整體的眼睛區(qū)域，所述膚色確定部件是，基于所述面部檢測部件所檢測的面部區(qū)域中包含 的像素的顏色來確定膚色的部件。
4. 如權(quán)利要求3所述的眼睛顏色校正裝置，其特征在于，還包括判斷部件，對通過所述皮膚校正顏色計算部件所求出的皮膚校正顏色和 通過所述眼睛檢測部件檢測的眼睛區(qū)域中所確定的顏色進行比較，從而判斷 在所述圖像中的該人物的眼睛的顏色是否產(chǎn)生異常，在判斷部件判定為異常的情況下，所述校正部件執(zhí)行校正處理。
5. 如權(quán)利要求4所述的眼睛顏色校正裝置，其特征在于，所述判斷部件對通過所述眼睛顏色估計部件所估計的眼睛的顏色中的紅 色和通過所述眼睛檢測部件檢測的眼睛區(qū)域所確定的顏色中的紅色進行比 較，從而判斷在所述圖像中的該人物的眼睛部分是否成為紅眼。
6. 如權(quán)利要求1至5的任一項所述的眼睛顏色校正裝置，其特征在于， 所述亮度估計部件包括計算GB亮度的功能，該GB亮度是在構(gòu)成像素的顏色的R、 G、 B中，基于G和B的值而決定的亮度。
7. 如權(quán)利要求6所述的眼睛顏色校正裝置，其特征在于， 所述校正部件是以校正基準(zhǔn)顏色的R、 G、 B的值為基準(zhǔn)，變換為校正基準(zhǔn)顏色的所述GB亮度的值與校正對象像素的GB亮度值相等。
8. —種程序，使計算機作為如下部件起作用膚色確定部件，確定被輸入的圖像中的被攝體人物的膚色； 皮膚校正顏色計算部件，基于通過所述膚色確定部件所確定的膚色，求 出應(yīng)在所述圖像中表現(xiàn)的該人物的眼睛的顏色的皮膚校正顏色；亮度估計部件，根據(jù)所述被攝體人物的眼睛部分的像素值，估計產(chǎn)生該像素的紅眼等的色調(diào)異常之前的亮度；以及校正單元，根據(jù)基于所述皮膚校正顏色的校正基準(zhǔn)顏色和所述估計的亮 度，對所述被攝體人物的眼睛的顏色進行校正。
全文摘要
提供一種眼睛顏色校正裝置，在眼睛顏色的校正中，估計在發(fā)生眼睛顏色異常的現(xiàn)象之前的亮度，校正眼睛顏色以再現(xiàn)該亮度，從而防止瞳孔被校正為白，能夠進行沒有不適感的高質(zhì)量的校正。其包括膚色確定單元(13)，確定被輸入的圖像中的被攝體人物的膚色；皮膚校正顏色計算單元(14)，求出作為基于通過膚色確定單元所確定的膚色而估計的人物的眼睛的顏色的皮膚校正顏色；以及校正單元(19)，基于通過皮膚校正顏色所決定的眼睛校正基準(zhǔn)顏色，對被攝體人物的眼睛的顏色進行校正。校正單元根據(jù)被攝體人物的眼睛部分的像素的G值和B值，估計產(chǎn)生該像素的紅眼等的色調(diào)異常之前的亮度，根據(jù)基于皮膚校正顏色的眼睛校正基準(zhǔn)顏色和估計的亮度，對被攝體人物的眼睛的顏色進行校正。
文檔編號G06T1/00GK101542521SQ20088000046
公開日2009年9月23日 申請日期2008年3月12日 優(yōu)先權(quán)日2007年3月15日
發(fā)明者垣內(nèi)崇 申請人:歐姆龍株式會社