專利名稱：白平衡控制裝置和白平衡控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一 種白平衡控制裝置和白平衡控制方法，尤其 涉及一種基于圖像的亮度和色差信號來控制圖像的白平衡的白 平衡控制裝置和白平衡控制方法。
背景技術(shù)：
數(shù)字照相機和數(shù)字攝像機等使用圖像傳感器的攝像設(shè)備具 有白平衡控制功能以調(diào)整所拍攝的圖像的色調(diào)。白平衡控制是 基于白平衡系數(shù)(校正值)來校正像素值以便將白色被攝體的圖 像拍攝為白色的處理。
白平衡控制包括手動白平衡控制和自動白平衡控制，在手 動白平衡控制中，拍攝希望被拍攝為白色的被攝體的圖像，然 后獲得白平衡系數(shù)，在自動白平衡控制中，自動檢測所拍攝的 圖像的被假定為白色的部分，然后獲得白平衡系數(shù)。
下面說明傳統(tǒng)的自動白平衡控制。
通過A/D轉(zhuǎn)換對從圖像傳感器輸出的信號進行數(shù)字化，并
如圖2所示，將其分割為多個塊。
各塊均由R、 G或B彩色像素構(gòu)成，并且例如通過下面的計
算公式(l)獲得各塊的顏色評價值(Cx[i]， Cy[i])。 Cx[i] = (R[i] - B[i])/ Y[i] x 1024 Cy[i] = (R[i] + B[i] - 2G[i])/ Y[i] x 1024 (1) (其中，"i"是塊的編號;R[i]、 G[i]和B[i]是塊"i"中所包含
的RGB像素的平均值；Y[i] = R[i] + 2G[i] + B[i])
當(dāng)預(yù)先設(shè)置的白色檢測區(qū)域包括顏色評價值(Cx[i]， Cy[i])
時，判斷為塊為白色。然后，計算該塊中所包含的彩色像素的
4積分值SumR、 SumG和SumB，并使用下面的公式(2)計算白平 衡系數(shù)(WBCo—R、WBCo—G和WBCo—B)。 WBCo—R = S體Y x 1024 / S腿R WBCo—G = S謹Y x 1024 / S腿G (2) WBCo—B = S讓Y x 1024 / S腿B 其中SumY = (SumR + 2 x SumG + SumB) /4 然而，在這種白平衡控制中，存在以下問題。 在陽光下，白色的顏色評價值分布在圖3中的區(qū)域A的附 近。在陽光下膚色的顏色評價值分布于區(qū)域B即基本上等同于 具有低色溫的光源下的白點的顏色評價值的區(qū)域內(nèi)。
因此，在包括較少白色和較多膚色的圖像的情況下，如在 特寫(up-close)肖像中，通過使用前述公式所獲得的顏色評價值 落入圖3中的區(qū)域B內(nèi)。結(jié)果，存在如下問題在具有低色溫的 光源下膚色被錯誤地判斷為白色，并計算用于將膚色校正為白 色的白平衡系數(shù)，從而導(dǎo)致將人膚色誤校正為白色。類似地， 在包括接近膚色的更多彩色顏色的圖像中，彩色顏色有時被錯 誤地判斷為白色，從而將膚色錯誤地校正為白色。
對于該問題，當(dāng)拍攝對象的亮度高時，判斷為該對象處于 日光(陽光)下，并且縮小被檢測為白色的區(qū)域(白色檢測區(qū)域) 以便不將膚色錯誤地判斷為具有低色溫的光源下的白色。然而， 當(dāng)使用作為室內(nèi)光源的具有高色溫的低照度熒光燈或具有中色 溫的焚光燈時，膚色分布于黑體輻射線下方(圖3的區(qū)域C)。因 此，為了對這樣的熒光燈執(zhí)行自動白平衡控制，需要擴大白色 檢測區(qū)域，且存在將膚色錯誤地判斷為白色的情況。
因此，日本特開第2003-189325號提出在執(zhí)行白平衡控制時 使用面部檢測技術(shù)以便從白像素的檢測目標中排除被檢測為面 部(面部區(qū)i或)的區(qū)i或。然而，在日本特開第2003-189325號的白平衡控制方法中， 不存在用于處理錯誤地檢測到面部區(qū)域的情況或不能檢測到面 部區(qū)域的情況的策略。因此，存在這樣一個問題在不是人臉 的區(qū)域^皮不正確地;險測為面部區(qū)域時，白色4企測的目標區(qū)域變 得小于所需區(qū)域，從而導(dǎo)致要獲得的色溫信息的精度降低并進 一步降低白平衡控制的精度。
并且，還存在如下問題當(dāng)拍攝人臉的特寫圖像時，或當(dāng) 如在合影中包括許多面部時，白色檢測目標區(qū)域變得極小，從 而使得白平衡控制的精度降低。

發(fā)明內(nèi)容
針對傳統(tǒng)技術(shù)的這些問題構(gòu)思了本發(fā)明，本發(fā)明提供一種 實現(xiàn)高精度的白平衡校正的白平衡控制裝置和控制方法。
根據(jù)本發(fā)明的一方面，提供一種白平衡控制裝置，用于對 通過攝像所獲得的圖像的白平衡進行控制，所述白平衡控制裝 置包括第一計算部件，用于通過從所述圖像檢測白像素來計 算第一白平衡校正值；面部檢測部件，用于從所述圖像檢測面 部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對 所述面部檢測部件所檢測出的面部區(qū)域中的圖像信號的白平衡 進行校正，則判斷所述面部區(qū)域中的校正后的圖像信號是否落 入表示膚色的第 一顏色信號區(qū)域周圍的第二顏色信號區(qū)域中； 第二計算部件，用于如果所述判斷部件判斷為所述校正后的圖
像信號落入了所述第二顏色信號區(qū)域中，則基于所述面部區(qū)域 的所述校正后的圖像信號與所述第 一 顏色信號區(qū)域之間的關(guān) 系，計算用于校正所述圖像的白平衡的第二白平衡校正值；以 及修正部件，用于根據(jù)攝像時獲得的信息來對所述第二計算部 件所計算出的所述第二白平衡校正值進行修正。
6根據(jù)本發(fā)明的另一方面，提供一種白平衡控制方法，用于 對通過攝像所獲得的圖像的白平衡進行控制，所述白平衡控制
方法包括第一計算步驟，用于通過從所述圖像檢測白像素來 計算第一白平衡校正值；面部檢測步驟，用于從所述圖像檢測 面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來
白平衡進行校正，則判斷所述面部區(qū)域中的校正后的圖像信號 是否落入表示膚色的第 一顏色信號區(qū)域周圍的第二顏色信號區(qū) 域中；第二計算步驟，用于如果在所述判斷步驟中判斷為所述
校正后的圖像信號落入了所述第二顏色信號區(qū)域中，則基于所 述面部區(qū)域中的所述校正后的圖像信號與所述第 一顏色信號區(qū) 域之間的關(guān)系，計算用于校正所述圖像的白平衡的第二白平衡
校正值；以及修正步驟，用于根據(jù)攝像時獲得的信息來對在所 述第二計算步驟中所計算出的所述第二白平衡校正值進行修正。
通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特 征將顯而易見。


圖1是示出能夠應(yīng)用根據(jù)本發(fā)明的第 一 實施例的白平衡控 制裝置的攝像設(shè)備的功能結(jié)構(gòu)的例子的框圖。
圖2是示出在本發(fā)明的實施例中計算白平衡校正值時所執(zhí)
行的圖片分割的例子的圖。
圖3是示出在本發(fā)明的實施例中的顏色評價值的白色檢測 區(qū)域的例子的圖。
圖4是示出由圖l中的面部檢測單元114所執(zhí)行的模式識別 處理的例子的流程圖。圖5是示出在圖4的S 5 0 3中能夠由面部檢測單元114執(zhí)行的 模板匹配的例子的圖。
圖6和圖7是示出由根據(jù)本發(fā)明的第 一 實施例的白平衡控制 單元103所執(zhí)行的用于計算白平衡校正值的操作的流程圖。
圖8是示出根據(jù)本發(fā)明的第 一 實施例的白平衡控制單元10 3
所參考的膚色區(qū)域的例子的圖。
圖9是示出基于由根據(jù)本發(fā)明的第 一 實施例的白平衡控制 單元103所計算出的第二白平衡校正值的校正量的圖。
圖10A 10E是示出基于本發(fā)明的第一實施例中的第二白平 衡校正值來限制校正量的校正增益的例子的圖。
圖ll是示出由根據(jù)本發(fā)明的第二實施例的白平衡控制單元 103所執(zhí)行的白平衡校正值的計算操作的流程圖。
圖12是示出當(dāng)根據(jù)本發(fā)明的第二實施例的白平衡控制單元 103確定第二白平衡校正值時的距離計算的圖。
圖13是示出在根據(jù)本發(fā)明的第二實施例的白平衡控制單元 103中所包括的距離校正值的對應(yīng)信息的例子的圖。
圖14是示出在根據(jù)本發(fā)明的第二實施例的白平衡控制單元 103中所包括的距離校正值的對應(yīng)信息的另 一例子的圖。
具體實施例方式
現(xiàn)在將根據(jù)附圖詳細說明本發(fā)明的優(yōu)選實施例。 第一實施例
圖l是示出能夠應(yīng)用根據(jù)本發(fā)明的第一實施例的白平衡控 制裝置的攝像設(shè)備的功能結(jié)構(gòu)的例子的框圖。
在圖l中，光學(xué)系統(tǒng)116包括光圏、機械快門、鏡頭等等， 并且根據(jù)控制電路所進行的控制在圖像傳感器101上形成拍攝 對象的光學(xué)圖像。圖像傳感器101是CCD圖像傳感器、CMOS圖像傳感器等固態(tài)圖像傳感器，其包括例如原色的拜耳彩色濾波
器陣列(Bayer color filter array),并且能夠拍攝彩色圖像。在該 實施例中，圖像傳感器101包括A/D轉(zhuǎn)換器等的預(yù)處理電路，并 且存儲器102存儲所拍攝的圖像的圖像數(shù)據(jù)。
面部檢測單元114對存儲在存儲器102中的圖像數(shù)據(jù)應(yīng)用已 知的面部檢測技術(shù)，并檢測圖像中所包含的人臉區(qū)域。已知的 面部檢測技術(shù)包括使用神經(jīng)網(wǎng)絡(luò)的基于學(xué)習(xí)(learning-based) 的方法；使用模板匹配以從圖像中搜索具有眼睛、鼻子和嘴等 特征形狀的部位并且當(dāng)相似度高時判斷為面部的方法。還4是出 了許多其它方法，包括檢測膚色和眼睛的形狀等圖像特征量并 使用統(tǒng)計分析的方法。通常，通過組合使用這些方法來提高面 部檢測精度。
具體的例子包括日本特開第2002-251380號中說明的使用 小波變換(wavelet transform)和圖像特征量的面部檢測方法。
以下簡要說明使用模板匹配的模式識別。模式識別是使所 觀測的模式與預(yù)先設(shè)置的概念(類)相匹配的處理。
圖4是示出由圖l中的面部檢測單元114所執(zhí)行的模式識別 處理的例子的流程圖。
首先，面部檢測單元114對從存儲器102獲得的圖像數(shù)據(jù)進 行預(yù)處理(S501)。例如，預(yù)處理包括生成提取圖像特征時所用 的亮度信息。
然后，面部檢測單元114從經(jīng)過預(yù)處理后的圖像數(shù)據(jù)中提取 具有預(yù)定圖像特征的區(qū)域(模式)(S502)。接著，面部檢測單元114 將所提取的模式與預(yù)先準備的模板(標準模式)601進行比較(模 板匹配)。然后，例如，當(dāng)發(fā)現(xiàn)與模板具有一定程度或更大程度 的相關(guān)性時，將所提取的模式識別為與模板相匹配的模式 (S503)。此外，面部片全測單元114輸出指定所識別出的才莫式的信息(S504),并終止模式識別處理。
現(xiàn)在，將參考圖5說明能夠在S503中由面部檢測單元114執(zhí)
行的模板匹配的例子。
在圖5中，假定面部檢測單元114已從存儲器102獲得了圖像 數(shù)據(jù)603。
首先，將預(yù)先存儲在面部檢測單元114中的模板601的中心 點602與從存儲器102所獲得的圖像數(shù)據(jù)603的坐標點(i, j)相匹 配。然后，計算模板601和圖像數(shù)據(jù)603中與模板601重疊的區(qū)域 之間的相似度。移動模板601的中心點602而對整個圖像數(shù)據(jù)603 執(zhí)行這種相似度計算操作，并搜索相似度最大的中心點602的位 置。當(dāng)檢測到相似度大于或等于預(yù)定閾值的中心點602的位置 時，可以將與模板601相對應(yīng)的部分區(qū)域識別為具有與模板601 相似的一莫式。
因此，例如，通過使用與眼睛和耳朵的形狀相對應(yīng)的模板 6 01能夠檢測圖像數(shù)據(jù)6 0 3中所包含的眼睛的位置和面部區(qū)域的 位置(面部坐標)。當(dāng)斗企測到面部區(qū)域時，面部4企測單元114輸出 關(guān)于面部區(qū)域的位置、大小等的信息作為面部信息。
當(dāng)由面部檢測單元114沖全測到面部區(qū)域時，CPU U5計算快 門速度和光圈值以便以恰當(dāng)?shù)钠毓鈦砼臄z面部區(qū)域的圖像。 CPU 115還控制聚焦，其中將面部區(qū)域設(shè)置為焦點檢測區(qū)域， 并計算要驅(qū)動調(diào)焦透鏡的量。
另一方面，當(dāng)面部;險測單元114未^r測到面部區(qū)i或時，CPU 115基于整個圖像的亮度計算快門速度和光圏值，并且通過使用 預(yù)設(shè)的聚焦區(qū)域來控制聚焦，然后計算要驅(qū)動調(diào)焦透鏡的量。
將CPU 115所計算出的曝光值(快門速度、光圈值)和要驅(qū)動 調(diào)焦透鏡的量發(fā)送至控制電路113。控制電路113基于這些值來 驅(qū)動光學(xué)系統(tǒng)116的光圏、快門以及調(diào)焦透鏡。白平衡(WB)控制單元103基于存儲在存儲器102中的圖像 數(shù)據(jù)和從面部檢測單元114所獲得的面部信息來計算白平衡 (WB)校正值。然后，WB控制單元103通過使用所計算出的WB 校正值對存儲在存儲器102中的圖像數(shù)據(jù)的白平衡進行校正。將 在后面說明W B控制單元10 3的詳細結(jié)構(gòu)和W B 4交正值的計算方 法。
在顏色矩陣(MTX)電路104中，為了以最佳顏色再現(xiàn)由WB 控制單元103進行WB校正后的圖像數(shù)據(jù)，使顏色增益倍增，并 轉(zhuǎn)換為兩個色差信號數(shù)據(jù)R-Y和B-Y。低通濾波器(LPF)電路105 限制色差信號數(shù)據(jù)R-Y和B-Y的頻帶。CSUP(Chroma Suppress, 色度抑制)電路106對LPF電路105中限制了頻帶的色差信號數(shù) 據(jù)的飽和部分的偽色信號進行抑制。
同時，還將WB控制單元103進行了白平衡校正的圖像數(shù)據(jù) 提供給亮度信號(Y)生成電路lll,亮度信號生成電路lll生成亮 度信號數(shù)據(jù)Y。邊緣增強電路112對所生成的亮度信號數(shù)據(jù)Y應(yīng) 用邊緣增強處理。
由RGB轉(zhuǎn)換電路107將從CSUP電路106輸出的色差信號數(shù) 據(jù)R - Y和B - Y以及從邊緣增強電路112輸出的亮度信號數(shù)據(jù)Y轉(zhuǎn) 換為RGB信號數(shù)據(jù)。伽瑪校正電路108基于預(yù)設(shè)y特性對RGB信 號數(shù)據(jù)應(yīng)用色調(diào)校正。在由RGB-YUV轉(zhuǎn)換電路109將伽瑪校正 后的RGB信號數(shù)據(jù)轉(zhuǎn)換為YUV信號數(shù)據(jù)后，JPEG壓縮電路110 對該數(shù)據(jù)進行壓縮和編碼，然后由記錄電路117將其作為圖像數(shù) 據(jù)文件存儲在記錄介質(zhì)中。記錄介質(zhì)可以是可移除類型或內(nèi)置 類型。
圖6和圖7是示出由WB控制單元103所執(zhí)行的WB校正值的
計算操作的流程圖。
圖6示出作為第 一 校正值計算部件的W B控制單元10 3的操作，圖7示出作為第二校正值計算部件的WB控制單元103的操作。
首先，WB控制單元103讀出存儲在存儲器102中的一個圖 片(幀或場)的圖像數(shù)據(jù)，并如圖2所示將其分割為任意數(shù)量的 "m，，(m是大于或等于l的整數(shù))個塊(S101)。
然后，WB控制單元103通過對塊中所包含的像素值進行平 均來對各顏色分量計算顏色平均值(R[i], G[i]， B[i]),并且進一 步通過使用公式(l)對各塊計算顏色評價值(Cx[i], Cy[i]) (S102)。
Cx[i] = (R[i] - B[i])/ Y[i] x 1024
Cy[i] = (R[i] + B[i] - 2G[i])/ Y[i] x 1024
其中Y[i] = R[i] + 2G[i] + B[i]， i = 1…m
然后，WB控制單元103判斷在S102中計算出的編號為"i" 的塊的顏色評價值(Cx[i]， Cy [i])是否包括在圖3所示的預(yù)設(shè)白 色才企測區(qū)域301中(S103)。
白色檢測區(qū)域301是繪制出的通過在具有不同特性(例如， 色溫)的光源下拍攝白色被攝體的圖像而計算出的顏色評價值。
關(guān)于圖3中的x軸(Cx)，當(dāng)在具有高色溫的光源下拍攝白色 被攝體的圖像時的顏色評價值分布于負區(qū)域中，而當(dāng)在具有低 色溫的光源下拍攝白色被攝體的圖像時的顏色評價值分布于正 區(qū)域中。Y軸(Cy)表示光源中的綠色(G)分量的程度，G分量在 其負向上增加。即，當(dāng)光源為熒光燈時，顏色評價值分布在y 軸的負區(qū)域。
當(dāng)所計算出的顏色評價值(Cx[i]， Cy[i])包括在白色檢測區(qū) 域301中時(在S103為"是")，WB控制單元103判斷為該塊為白 色。然后，WB控制單元103對被判斷為白色的塊的顏色平均值 (R[i]， G[i]， B[i])積分(S104)。另一方面，當(dāng)顏色評價值(Cx[i],
12Cy[i])不包括在白色#r測區(qū)域301中時，WB控制單元103^f吏處理 進入S105而不對該塊的顏色平均值積分。
可以通過下面的 ^式(3)來表示在S103和S104中的處理。
SumR = tsw[i]xR[i]
i=l m
SumG = g Sw[i] x G[i] ( 3 )
SumB = fsw[i]xB[i]
i=l
在公式(3)中，當(dāng)顏色評價值(Cx[i]， Cy[i])包括在白色檢測 區(qū)域(圖3中的301)中時，將Sw[i]設(shè)置為l,而當(dāng)不包括在白色檢 測區(qū)域中時，將Sw[i]設(shè)置為O。以這種方式，只對顏色評價值 (Cx[i]， Cy[i])包括在白色檢測區(qū)域(圖3中的301)中的塊的顏色 平均值(R[i]， G[i]， B[i])積分。
在S105 , WB控制單元103判斷是否對于所有塊執(zhí)行了 S102 S104的處理。當(dāng)存在未進行處理的塊時，處理返回至 S102,且當(dāng)對所有塊都進4亍了處理時，處理進入S106。
在S106， WB控制單元103使用下面的公式(4)從所獲得的顏 色平均值的積分值(SumR， SumG, SumB)來計算第一 WB校正值 (WBCol—R, WBCol—G, WBCol一B)。
WBCol—R = S薩Y x 1024 / S腿R
WBCol—G = S腿Y x 1024 / SumG (4) WBCol—B = S腿Y x 1024 / S畫B 其中SumY = (SumR + 2 x SumG + SumB)/ 4 現(xiàn)在，參考圖7，在S202中，WB控制單元103判斷面部檢 測單元114是否^r測到了面部(面部區(qū)域)。當(dāng)未檢測到面部時， 將已計算出的第一WB校正值確定為最終的WB校正值(S210), 并終止WB校正值計算處理。
13另一方面，當(dāng)才企測到面部時，在S203中，WB控制單元103 獲得與面部區(qū)域相對應(yīng)的全部塊的顏色平均值(FR， FG, FB)。當(dāng) 不是以塊為單位檢測面部區(qū)域時，除了完全包括在面部區(qū)域中 的塊以外，還可以包含以預(yù)定比例(例如，50%或更多)包括在面 部區(qū)域中的塊作為與面部區(qū)域相對應(yīng)的塊。
然后，在S204, WB控制單元103通過將在S203中所獲得的 顏色平均值(FR, FG, FB)分別與第一 WB校正值(WBCo1—R， WBCol—G, WBCo1—B)相乘來獲得膚色平均值。膚色平均值是由
像信號數(shù)據(jù)。
即，通過下式獲得膚色平均值(SR, SG, SB): SR = FR x WBCol R SG = FG x WBCol—G SB = FB x WBCol—B
然后，WB控制單元103判斷膚色平均值(SR, SG， SB)是否處 于要應(yīng)用膚色校正的區(qū)域(圖8中的區(qū)域(B))中。
在圖8中，膚色區(qū)域(A)對應(yīng)于第一顏色信號區(qū)域，膚色校 正目標區(qū)域(B)對應(yīng)于第二顏色信號區(qū)域，該第二顏色信號區(qū)域 在膚色區(qū)域(A)周圍并且是與第 一 顏色信號區(qū)域的差在預(yù)定范 圍內(nèi)的區(qū)域。由于將Cx、 Cy坐標系用作圖8中的預(yù)定顏色空間 坐標系，因而在將RGB數(shù)據(jù)轉(zhuǎn)換為色差信號之后進行判斷，即， Cx = SR-SB和Cy = SR + SB-2SG。不用說，可通過采用已知顏 色空間轉(zhuǎn)換方法，使用任意顏色空間來進行判斷。
例如，可以通過預(yù)先在陽光(日光)等白光下拍攝多個具有 膚色的圖像并使用統(tǒng)計方法來設(shè)置圖8所示的膚色區(qū)域(A)和膚 色校正目標區(qū)域(B)?？梢灶A(yù)先將指定膚色區(qū)域(A)和膚色校正 目標區(qū)域(B)的信息存儲在WB控制單元103中，或可存儲在不同
14的存儲裝置中供WB控制單元103在需要時參考。
當(dāng)膚色平均值處于圖8的膚色區(qū)域(A)內(nèi)時，可以判斷為膚 色的白平衡已由第一WB校正值適當(dāng)?shù)剡M行了校正，因此WB控 制單元103將第一 WB校正值確定為最終使用的WB校正值 (S210)。
當(dāng)膚色平均值處于非膚色校正目標區(qū)域(C)中時，WB控制 單元103判定膚色平均值并不表示人的皮膚，并將第一WB校正 值確定為最終-使用的WB4交正值(S210)。
另一方面，當(dāng)膚色平均值處于膚色校正目標區(qū)域(B)內(nèi)時， 能夠判定為膚色的白平衡未由第一 WB校正值進行適當(dāng)校正。 因此，WB控制單元103計算對膚色平均值與膚色區(qū)域(A)之間的 差進行校正的第二WB校正值(S205)。
如圖9所示，執(zhí)行計算以獲得能夠取得從膚色平均值到膚色 區(qū)域(A)的最小移位距離的校正量。即，當(dāng)將膚色平均值的坐標 設(shè)置為(Cxl， Cyl),并且將處于膚色區(qū)域中且最靠近膚色平均 值(目標點)的坐標設(shè)置為(Cx2, Cy2)時，校正量如下
△Cx = Cx2 - Cxl
ACy = Cy2 - Cyl
將這些校正量(ACx， ACy)設(shè)置為第二 WB校正值。 設(shè)置目標點的坐標使得從膚色平均值到膚色區(qū)域(A)的移 位距離最短，這是因為，例如，即使當(dāng)由第二WB校正值過度 執(zhí)行校正時，也執(zhí)行控制以達到正確膚色區(qū)域內(nèi)的位置。因此， 可以將目標點設(shè)置在膚色區(qū)域(A)內(nèi)。
此外，該實施例中的WB控制單元103優(yōu)選地作為才交正增益 計算部件來計算用于降低第二WB校正值的校正增益(S206)。使 用圖10A 10E來i^明4交正增益的例子。當(dāng)4企測面部區(qū)域時的精 度低時，即，當(dāng)從面部區(qū)域所獲得的信息的可靠性低時，為了減少由于應(yīng)用第二WB校正值所導(dǎo)致的過度校正和錯誤校正，
計算校正增益。在該實施例中，WB控制單元103考慮到面部區(qū) 域信息的可信度(accountability)(例如，可靠性和面部的大小)、 攝像時拍攝對象的亮度以及攝影感光度，來計算校正增益。在 該實施例中，將所有校正增益的上限值設(shè)置為1。
圖IOA示出基于所獲得的與面部區(qū)域?qū)?yīng)的塊的數(shù)量的增 益(塊數(shù)量增益)。當(dāng)與面部區(qū)域相對應(yīng)的塊的數(shù)量少(小面部區(qū) 域)時，由于作為膚色評價值的精度可能低，因此將增益設(shè)置為 低。另一方面，當(dāng)塊的數(shù)量多時，由于作為膚色評價值的精度 被認為高(高可靠性)，因而將增益設(shè)置為高。
圖IOB示出基于面部區(qū)域亮度值的增益(Y增益)，當(dāng)面部區(qū) 域的亮度值低(例如，面部區(qū)域曝光不足)或者高(例如，面部區(qū) 域過度曝光)時，由于作為膚色評價值可能是不準確的，因而減 小增益。圖中的正好曝光區(qū)域是從TH—Y 2到TH—Y 3。
圖IOC示出基于面部檢測可靠性的增益(面部可靠性增益)。 當(dāng)基于在面部檢測單元114中的面部檢測處理時所獲得的模式 匹配的相關(guān)度和面部區(qū)域的大小等的面部檢測可靠性信息判定 為面部可靠性低時，減小增益。
圖IOD示出基于拍攝對象亮度值(Bv值)的增益(BV增益)。 當(dāng)拍攝對象亮度即整個圖像的亮度高時，能夠容易地估計光源， 因此很可能基于第一WB校正值獲得適當(dāng)皮膚區(qū)域。因而可以 認為當(dāng)拍攝對象亮度高時通過面部檢測進行的白平衡校正可能 是不必要的。因此，減小增益，這是由于其在降低發(fā)生錯誤面 部檢測的情況下的不利影響方面更為有效。
圖1 OE示出基于攝影感光度(Sv值)的增益(Sv增益)。當(dāng)攝影 感光度高時，圖像中的噪聲增加，因此很可能發(fā)生錯誤的面部 檢測，并且膚色評價值的精度降低。因而，在高感光度區(qū)域內(nèi)減小增益。
WB控制單元103通過使用這些增益設(shè)置中的一或多個來
計算最終的校正增益(S206)。
然后，WB控制單元103使用第二WB校正值與校正增益的 乘積作為最后的月夫色目標點來計算WB才交正值(Gainx ACx， GainxACy)以獲得面部區(qū)域膚色平均值(Cx'，Cy')(S207)。
Cx' = Gain xACx + Cxl
Cy' = Gain xACy + Cyl
以此方式，將由校正增益校正后的第二WB校正值與第一 WB校正值的和確定為WB控制單元103中最終4吏用的WB校正 值(S208)。當(dāng)不計算校正增益時，可以將(未校正的)第二WB校 正值與第一WB校正值的和確定為WB控制單元103中最終使用 的WB才交正值。
然后，WB控制單元103通過使用這樣確定的WB校正值來 執(zhí)行白平衡控制。
如上所述，根據(jù)該實施例，首先，將使用關(guān)于整個圖像的 信息的第一WB校正值應(yīng)用于所檢測出的面部區(qū)域的顏色平均 值，當(dāng)校正結(jié)果正確時，使用第一WB校正值。即，通過使用 面部檢測的結(jié)果，來評價使用關(guān)于整個圖像的信息的第一WB 校正值的精度，當(dāng)判斷為精度足夠時，使用第一WB校正值。
因此，因為只要不排除面部區(qū)域所計算出的白平衡是適當(dāng) 的，則可以使用所計算出的白平衡，因而能夠?qū)崿F(xiàn)比排除面部 區(qū)域的情況下更準確的白平衡控制。此外，由于能夠使用面部 區(qū)域的檢測結(jié)果，因此，能夠更適當(dāng)?shù)卦u價第一WB校正值的 精度。
此外，根據(jù)該實施例，當(dāng)使用第一WB校正值不能執(zhí)行校 正時，計算用于減小差的第二WB校正值，并且只要與適當(dāng)?shù)男ＵY(jié)果的差在特定區(qū)域內(nèi)，就使用第一WB校正值和第二WB 校正值。
因此，能夠?qū)崿F(xiàn)比僅使用基于關(guān)于整個圖像的信息所計算 出的WB校正值的情況下更準確的白平衡控制。
此外，根據(jù)該實施例，由于基于從面部區(qū)域所獲得的信息 的可靠性來修正第二 WB校正值的大小，因而能夠減少由于面 部區(qū)域的錯誤檢領(lǐng)'J所導(dǎo)致的過度校正和錯誤校正。
此外，根據(jù)該實施例，當(dāng)由第一WB校正值進行校正后的 校正結(jié)果與適當(dāng)?shù)男ＵY(jié)果之間的差不在特定區(qū)域內(nèi)時，認為 面部區(qū)域的檢測精度(可靠性)低，并且使用第一WB校正值。因 此，在這種情況下也能夠減少由于面部區(qū)域的錯誤檢測所導(dǎo)致 的過度校正和錯誤校正。
另外，由于在未進行面部4企測時也4吏用第一WB才交正值， 因而可以沖丸行白平tf控制。
第二實施例
在第一實施例中，基于向面部區(qū)域應(yīng)用第一WB4交正值的 結(jié)果來獲得膚色評價值(膚色平均值)，并且在顏色評價值和膚 色區(qū)域之間的差在特定區(qū)域內(nèi)時計算第二WB校正值。
相反，在該實施例中，基于在特定顏色空間坐標系中的膚 色平均值的坐標與膚色區(qū)域內(nèi)的預(yù)定坐標之間的距離，即相對 于與作為膚色最好的顏色相對應(yīng)的中心坐標的距離，計算第二 WB校正值。
能夠應(yīng)用根據(jù)該實施例的白平衡控制裝置的攝像設(shè)備的功 能結(jié)構(gòu)可以與第一實施例的功能結(jié)構(gòu)相同，因而省略對各功能 塊的詳細i兌明。
圖ll是示出由根據(jù)該實施例的攝像設(shè)備的WB控制單元103 所執(zhí)行的WB校正值計算處理的流程圖。在圖11中，與圖7中的處理相同的處理具有相同的附圖標記。
在S301, WB控制單元103執(zhí)行與圖6的S101 S106中的處理 相同的處理，并計算第一WB校正值。
在S202, WB控制單元103判斷面部檢測單元114是否檢測 到了面部(面部區(qū)域)。當(dāng)未檢測到面部時，將已計算出的第一 WB校正值確定為最終的WB才交正值(S210),并且終止WB校正值 計算處理。
另一方面，當(dāng)4企測到面部時，WB控制單元103在S203獲得 與面部區(qū)域相對應(yīng)的全部塊的顏色平均^i(FR， FG, FB)。
然后，在S304， WB控制單元103通過將在S203中所獲得的 顏色平均值(FR, FG, FB)分別與第一 WB校正值(WBCol_R， WBCol—G, WBCol—B)相乘來獲得膚色平均值(Cxl, Cyl)。膚色 平均值是由第一 WB校正值校正后的面部區(qū)域的顏色平均值， 即，校正圖像信號數(shù)據(jù)。
然后，WB控制單元103計算預(yù)定膚色中心值的坐標與膚色 平均值的坐標(Cxl ， Cy 1 )之間的距離。
圖12是示出當(dāng)根據(jù)本發(fā)明的第二實施例的WB控制單元 103確定第二WB校正值時的距離計算的圖。在圖12中，膚色區(qū) 域的中心坐標(Cx2, Cy2)即校正目標點與膚色平均值(Cxl， Cyl) 之間的距離由Cx分量(DisCx)和Cy分量(DisCy)來表示。
在S305, WB控制單元103基于在S304中所獲得的距離 DisCx和DisCy以及預(yù)先準備的距離校正值的對應(yīng)信息來獲得 校正值。
圖13是示出WB控制單元103中所包括的距離校正值的對 應(yīng)信息的例子的圖。
這里，以二維曲線示出Cx分量的距離DisCx與Cx分量的校正值A(chǔ)Cx之間的對應(yīng)關(guān)系。實際上，可以存儲表示這些相關(guān)性 的函數(shù)式，或可以將距離與校正值之間的代表性對應(yīng)關(guān)系存儲 為圖14所示的查詢表，并且可以通過插值獲得其它值。
同樣，也可通過使用Cx分量的距離DisCx與Cx分量的校正 值A(chǔ)Cx之間的對應(yīng)信息來獲得Cy分量。
然后，在S306中，WB控制單元103將第一和第二WB校正 值的和確定為最終的W B 一交正值。
如同第 一 實施例 一樣，可以在S305與S306之間執(zhí)行校正增 益的計算以及由校正增益進行的第二 WB校正值的校正。
根據(jù)該實施例，通過比第 一 實施例的方法更簡單的方法能 夠?qū)崿F(xiàn)與第 一 實施例的效果類似的效果。
其它實施例
盡管在前述實施例中說明了應(yīng)用白平衡控制裝置的攝像設(shè) 備，但是不僅可以將根據(jù)本發(fā)明的白平衡控制裝置應(yīng)用于攝像 設(shè)備，而且也可以將其應(yīng)用于其它任何圖像處理設(shè)備，只要那 些設(shè)備能夠獲得面部檢測信息和圖像數(shù)據(jù)即可。
此外，前述實施例也能夠由系統(tǒng)或裝置的計算機(或CPU、 MPU等)利用軟件來實現(xiàn)。
因此，安裝在計算機中的用于實施前述實施例的計算機程 序本身實現(xiàn)了本發(fā)明。即，本發(fā)明的范圍包括用于實現(xiàn)前述實
施例的功能的計算機程序本身。
應(yīng)當(dāng)注意，用于實現(xiàn)前述實施例的計算才幾程序可以是任何 計算機能夠讀取的形式。例如，該程序可以被配置為使用目標 代碼、由解釋器執(zhí)行的程序，使用提供給OS的腳本數(shù)據(jù)等，然 而并不限于此。
通過存儲介質(zhì)或硬接線/無線通信向計算機提供用于實現(xiàn) 前述實施例的計算機程序。能夠用于提供該程序的存儲介質(zhì)的例子是軟盤、硬盤、磁帶等磁性存儲介質(zhì)、MO、 CD和DVD等 光學(xué)/磁光存儲介質(zhì)、非易失性半導(dǎo)體存儲器等。
可以將利用計算機網(wǎng)絡(luò)上的服務(wù)器的方法作為使用硬接線 /無線通信來提供計算機程序的方法的例子。在這種情況下，將 實施實現(xiàn)本發(fā)明的計算機程序的數(shù)據(jù)文件(程序文件)存儲在服 務(wù)器中。該程序文件可以是可執(zhí)行的文件，或者可以是源代碼。
能夠通過從服務(wù)器下載該程序文件來將該程序提供給訪問 服務(wù)器的客戶端計算機。在這種情況下，可將該程序文件分割 為多個分段文件，并可以將分段文件分布在不同的服務(wù)器中。
換言之，向客戶端計算機提供用于實現(xiàn)前述實施例的程序 文件的服務(wù)器裝置也落入本發(fā)明的范圍內(nèi)。
此外，可以對用于實現(xiàn)前述實施例的計算4幾程序加密并存 儲在存儲介質(zhì)中，然后分發(fā)該存儲介質(zhì)；可以向滿足預(yù)定條件 的用戶提供用于解密該文件的密鑰信息，從而允許這些用戶將 該程序安裝到他們的計算機中。例如，可以通過允許經(jīng)由互聯(lián) 網(wǎng)從主頁下載密鑰信息來提供密鑰信息。
此外，用于實現(xiàn)前述實施例的計算機程序可以使用已運行 在計算機上的OS的功能。
另外，用于實現(xiàn)前述實施例的計算^/L程序可部分地由安裝 到計算機上的擴展板等的固件來配置，或可以由設(shè)置在該擴展 板等中的CPU來執(zhí)行。
盡管參考典型實施例說明了本發(fā)明，但應(yīng)當(dāng)理解本發(fā)明并 不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬 的解釋以包含所有這類修正、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種白平衡控制裝置，用于對通過攝像所獲得的圖像的白平衡進行控制，所述白平衡控制裝置包括第一計算部件，用于通過從所述圖像檢測白像素來計算第一白平衡校正值；面部檢測部件，用于從所述圖像檢測面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對所述面部檢測部件所檢測出的面部區(qū)域中的圖像信號的白平衡進行校正，則判斷所述面部區(qū)域中的校正后的圖像信號是否落入表示膚色的第一顏色信號區(qū)域周圍的第二顏色信號區(qū)域中；第二計算部件，用于如果所述判斷部件判斷為所述校正后的圖像信號落入了所述第二顏色信號區(qū)域中，則基于所述面部區(qū)域的所述校正后的圖像信號與所述第一顏色信號區(qū)域之間的關(guān)系，計算用于校正所述圖像的白平衡的第二白平衡校正值；以及修正部件，用于根據(jù)攝像時獲得的信息來對所述第二計算部件所計算出的所述第二白平衡校正值進行修正。
2. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 還包括用于對所述圖像執(zhí)行白平衡校正的白平衡校正部件，其中，如果所述判斷部件判斷為所述校正后的圖像信號落 入了所述第二顏色信號區(qū)域中，則所述白平衡校正部件使用修 正后的第二白平衡校正值來對所述圖像執(zhí)行白平衡校正，如果 所述判斷部件判斷為所述校正后的圖像信號未落入所述第二顏 色信號區(qū)域中，則所述白平衡校正部件使用所述第一白平衡校 正值來對所述圖像執(zhí)行白平衡校正。
3. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述攝像時獲得的信息包括所述面部區(qū)域的大小、所述面部區(qū) 域的亮度值、所述面部區(qū)域的檢測精度、拍攝對象的亮度值以 及攝影感光度中的至少一個。
4. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述第二計算部件對所述面部區(qū)域中的所述圖像信號進行校 正，從而使得校正后的圖像信號落入所述第一顏色信號區(qū)域中。
5. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于， 所述第二計算部件基于所述面部區(qū)域中的校正后的圖像信號與所述第 一 顏色信號區(qū)域中的 一 個點之間的關(guān)系來計算用于校正 所述圖像的白平衡的所述第二白平衡校正值。
6. 根據(jù)權(quán)利要求1所述的白平衡控制裝置，其特征在于，所述第一計算部件以預(yù)定塊單位檢測所述圖像的白像素，并且 所述判斷部件對所述面部區(qū)域的所述圖像信號的所述預(yù)定塊單 位執(zhí)行所述判斷。
7. —種白平衡控制方法，用于對通過攝像所獲得的圖像的 白平衡進行控制，所述白平衡控制方法包括第一計算步驟，用于通過從所述圖像檢測白像素來計算第 一白平衡校正值；面部;險測步驟，用于從所述圖像;險測面部區(qū)域；判斷部件，用于如果基于所述第一白平衡校正值來對在所 述面部檢測步驟中所檢測出的面部區(qū)域中的圖像信號的白平衡 進行校正，則判斷所述面部區(qū)域中的校正后的圖像信號是否落 入表示膚色的第 一顏色信號區(qū)域周圍的第二顏色信號區(qū)域中；第二計算步驟，用于如果在所述判斷步驟中判斷為所述校正后的圖像信號落入了所述第二顏色信號區(qū)域中，則基于所述 面部區(qū)域中的所述校正后的圖像信號與所述第 一顏色信號區(qū)域 之間的關(guān)系，計算用于校正所述圖像的白平衡的第二白平衡校 正^i;以及修正步驟，用于根據(jù)攝像時獲得的信息來對在所述第二計 算步驟中所計算出的所述第二白平衡校正值進行修正。
全文摘要
本發(fā)明涉及一種白平衡控制裝置和白平衡控制方法。通過從圖像檢測白像素來計算第一白平衡校正值。如果基于第一白平衡校正值來對面部區(qū)域中的圖像信號的白平衡進行校正，則判斷面部區(qū)域中的校正后的圖像信號是否落入了表示膚色的第一顏色信號區(qū)域周圍的第二顏色信號區(qū)域中。當(dāng)判斷為面部區(qū)域的校正后的圖像信號落入了第二顏色信號區(qū)域中時，基于面部區(qū)域的校正后的圖像信號與第一顏色信號區(qū)域之間的關(guān)系來計算用于校正圖像信號的第二白平衡校正值?；跀z像時獲得的信息來修正所計算出的第二白平衡校正值。
文檔編號H04N9/73GK101472188SQ20081018947
公開日2009年7月1日 申請日期2008年12月29日 優(yōu)先權(quán)日2007年12月27日
發(fā)明者高山將浩 申請人:佳能株式會社