專(zhuān)利名稱(chēng)：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過(guò)攝像設(shè)備所拍攝的圖像的白平衡校正。
背景技術(shù)：
通常，諸如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)等的利用圖像傳感器的攝像設(shè)備設(shè)置有用于調(diào)整通過(guò)攝像操作所拍攝的圖像的色調(diào)的白平衡控制功能。該白平衡控制包括通過(guò)預(yù)先拍攝白色被攝體獲取白平衡系數(shù)并且將計(jì)算出的白平衡系數(shù)應(yīng)用至整個(gè)畫(huà)面的手動(dòng)白平衡控制。此外，白平衡控制包括從所拍攝圖像自動(dòng)檢測(cè)可能的白色部分、根據(jù)整個(gè)畫(huà)面中的各顏色成分的平均值計(jì)算白平衡系數(shù)、并且將計(jì)算出的白平衡系數(shù)應(yīng)用至整個(gè)畫(huà)面的自動(dòng)白平衡控制。現(xiàn)在將說(shuō)明自動(dòng)白平衡控制的傳統(tǒng)方法。通過(guò)模擬/數(shù)字(A/D)轉(zhuǎn)換將從圖像傳感器輸出的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，并且將數(shù)字信號(hào)分割為如圖3所示的多個(gè)塊。各個(gè)塊包括紅(R)、綠(G)和藍(lán)⑶的顏色像素，并且通過(guò)例如以下的公式⑴針對(duì)各個(gè)塊計(jì)算顏色評(píng)價(jià)值(Cx[i]，Cy[i])公式1Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024(在該公式中，i表示塊編號(hào)，R[i]、G[i]和B[i]各自表示包括在塊i中的RGB像素的平均值，并且 Y[i] = (R[i]+2G[i]+B[i])/4。)然后，如果計(jì)算出的顏色評(píng)價(jià)值(Cx[i]，Cy [i])落入預(yù)先設(shè)置的白色檢測(cè)范圍內(nèi)，則將這個(gè)塊判斷為白色塊。然后，計(jì)算在這些塊中包括的顏色像素的累加值(SumR，Sum G，SumB)，并且通過(guò)以下的公式(2)計(jì)算白平衡系數(shù)(WBCo_R，WBCo_G, WBCo_B)。公式2WBCo_R = SumYX 1024/sumR
WBCo_G = SumY X 1024/sumGWBCo_B = SumYX 1024/sumB(在該公式中，SumY= (sumR+2 X sumG+sumB) /40 )然而，這樣的自動(dòng)白平衡控制具有以下的問(wèn)題即使在圖像中存在多個(gè)不同光源的場(chǎng)景中，攝像設(shè)備也通過(guò)將如上所述計(jì)算出的白平衡系數(shù)應(yīng)用至整個(gè)畫(huà)面來(lái)進(jìn)行白平衡控制。因此，難以針對(duì)所有光源進(jìn)行實(shí)現(xiàn)適當(dāng)?shù)纳械陌灼胶饪刂?。例如，在攝像設(shè)備發(fā)出作為具有高色溫的光源的閃光燈光的場(chǎng)景中，如果環(huán)境光包含諸如燈泡顏色光源等的低色溫光源，則基于閃光燈光所控制的白平衡導(dǎo)致對(duì)環(huán)境光中的低色溫光源不適當(dāng)?shù)陌灼胶狻?另一方面，基于環(huán)境光的低色溫光源所控制的白平衡導(dǎo)致對(duì)閃光燈不適當(dāng)?shù)陌灼胶?。此外?即使攝像設(shè)備通過(guò)將白平衡調(diào)整至各個(gè)光源之間的中間來(lái)進(jìn)行白平衡控制，這也導(dǎo)致對(duì)各光源均不適當(dāng)?shù)陌灼胶?，結(jié)果生成用閃光燈光照射的區(qū)域帶有藍(lán)色感、而用低色溫光源照射的區(qū)域帶有紅色感的圖像。
因此，為解決這個(gè)問(wèn)題，例如日本專(zhuān)利3540485所說(shuō)明的技術(shù)通過(guò)針對(duì)各任意被攝體區(qū)域?qū)㈤W光燈打開(kāi)時(shí)所拍攝的圖像與閃光燈關(guān)閉時(shí)所拍攝的圖像進(jìn)行比較來(lái)計(jì)算數(shù)據(jù)比率，并且基于計(jì)算出的比率值來(lái)確定閃光燈光的貢獻(xiàn)度。然后，該技術(shù)通過(guò)根據(jù)貢獻(xiàn)度、針對(duì)在閃光燈打開(kāi)時(shí)執(zhí)行曝光所拍攝的視頻數(shù)據(jù)、針對(duì)各區(qū)域選擇白平衡控制值，來(lái)進(jìn)行白平衡控制。然而，日本專(zhuān)利3540485所說(shuō)明的傳統(tǒng)技術(shù)設(shè)計(jì)為應(yīng)用于發(fā)出閃光燈光時(shí)所拍攝的圖像的白平衡控制，而不能應(yīng)用于不發(fā)出閃光燈光時(shí)所拍攝的圖像。此外，該傳統(tǒng)技術(shù)在對(duì)各個(gè)區(qū)域改變白平衡控制值之后進(jìn)行顯像處理，使得諸如顏色再現(xiàn)等的其它控制相對(duì)于白平衡控制值可能變得不適當(dāng)。結(jié)果，傳統(tǒng)技術(shù)不能完全再現(xiàn)適當(dāng)?shù)纳小?br>
發(fā)明內(nèi)容
為解決上述問(wèn)題，本發(fā)明在一個(gè)方面涉及即使當(dāng)存在多個(gè)光源時(shí)也實(shí)現(xiàn)適當(dāng)色感的圖像的生成。根據(jù)本發(fā)明的方面，提供一種圖像處理設(shè)備，包括校正部件，用于根據(jù)場(chǎng)景圖像數(shù)據(jù)，通過(guò)利用與場(chǎng)景的第一光源相對(duì)應(yīng)的第一白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第一顯像圖像數(shù)據(jù)，并且通過(guò)利用與場(chǎng)景的第二光源相對(duì)應(yīng)的第二白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第二顯像圖像數(shù)據(jù)；分割部件，用于將所述場(chǎng)景圖像數(shù)據(jù)分割成多個(gè)塊；顏色評(píng)價(jià)值計(jì)算部件，用于通過(guò)針對(duì)由所述分割部件分割得到的所述多個(gè)塊中的各個(gè)塊、將所述場(chǎng)景圖像數(shù)據(jù)中的像素的值相加并平均化，來(lái)計(jì)算所述多個(gè)塊中的各個(gè)塊的顏色評(píng)價(jià)值；合成比率計(jì)算部件，用于基于由所述顏色評(píng)價(jià)值計(jì)算部件計(jì)算出的各個(gè)塊的顏色評(píng)價(jià)值與在所述第二光源下的白色的顏色評(píng)價(jià)值之間的差，來(lái)計(jì)算合成比率；以及合成部件，用于根據(jù)所述合成比率來(lái)合成由所述校正部件生成的所述第一顯像圖像數(shù)據(jù)和所述第二顯像圖像數(shù)據(jù)。根據(jù)本發(fā)明的方面，還提供一種圖像處理方法，包括以下步驟根據(jù)場(chǎng)景圖像數(shù)據(jù)，通過(guò)利用與場(chǎng)景的第一光源相對(duì)應(yīng)的第一白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第一顯像圖像數(shù)據(jù)，并且通過(guò)利用與場(chǎng)景的第二光源相對(duì)應(yīng)的第二白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第二顯像圖像數(shù)據(jù)；將所述場(chǎng)景圖像數(shù)據(jù)分割成多個(gè)塊；通過(guò)針對(duì)分割得到的所述多個(gè)塊中的各個(gè)塊、將所述場(chǎng)景圖像數(shù)據(jù)中的像素的值相加并平均化，來(lái)計(jì)算所述多個(gè)塊中的各個(gè)塊的顏色評(píng)價(jià)值；基于計(jì)算出的各個(gè)塊的顏色評(píng)價(jià)值與在所述第二光源下的白色的顏色評(píng)價(jià)值之間的差，來(lái)計(jì)算合成比率；以及根據(jù)計(jì)算出的所述合成比率來(lái)合成通過(guò)所述校正所生成的所述第一顯像圖像數(shù)據(jù)和所述第二顯像圖像數(shù)據(jù)。本發(fā)明的方面還可以提供用于執(zhí)行這里所述的任意方法和/或用于體現(xiàn)這里所述的任意設(shè)備特征的計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品，以及存儲(chǔ)有用于執(zhí)行這里所述的任意方法和/或用于實(shí)現(xiàn)這里所述的任意設(shè)備特征的程序的計(jì)算機(jī)可讀介質(zhì)。本發(fā)明的方面可以大致擴(kuò)展至如這里參考附圖所述的方法、設(shè)備和/或使用。在本發(fā)明的一個(gè)方面中的任意特征可以以任意適當(dāng)?shù)慕M合應(yīng)用至本發(fā)明的其它方面。特別地，方法方面的特征可以應(yīng)用至設(shè)備方面，反之亦然。此外，在硬件中實(shí)現(xiàn)的特征通?？梢栽谲浖袑?shí)現(xiàn)，反之亦然。這里提及的任何軟件和硬件特征應(yīng)當(dāng)進(jìn)行相應(yīng)地解釋?，F(xiàn)在將參考附圖通過(guò)示例說(shuō)明本發(fā)明的其它優(yōu)選特征和方面。


包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)一部分的附圖示出了本發(fā)明的典型實(shí)施例、特征和方面，并和說(shuō)明書(shū)一起用來(lái)解釋本發(fā)明的原理。圖1是示出根據(jù)本發(fā)明的典 型實(shí)施例的數(shù)字照相機(jī)的結(jié)構(gòu)的例子的框圖。圖2是示出用于合成圖像的處理過(guò)程的例子的流程圖。圖3示出各自由R、G和B顏色像素構(gòu)成的塊。圖4A和4B是各自示出用于白色檢測(cè)的顏色評(píng)價(jià)值的關(guān)系的例子的特性圖。圖5是示出用于確定第一 WB校正值的處理的例子的流程圖。圖6示出在計(jì)算合成比率時(shí)使用的顏色評(píng)價(jià)值的關(guān)系的例子。圖7示出在計(jì)算合成比率時(shí)使用的顏色評(píng)價(jià)值的關(guān)系的其它例子。圖8示出當(dāng)使用具有低色溫的光源拍攝圖像時(shí)顏色評(píng)價(jià)值的關(guān)系的例子。圖9是示出當(dāng)使用具有低色溫的光源拍攝圖像時(shí)輸入和輸出之間的關(guān)系的特性圖。
具體實(shí)施例方式以下將參考附圖詳細(xì)說(shuō)明本發(fā)明的各種典型實(shí)施例、特征和方面。以下將參考附圖詳細(xì)說(shuō)明本發(fā)明的有用的典型實(shí)施例。圖1是示出根據(jù)本典型實(shí)施例的數(shù)字照相機(jī)100的結(jié)構(gòu)的例子的框圖。參考圖1，固體圖像傳感器101是例如由電荷耦合裝置(CXD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)構(gòu)成的圖像傳感器。固體圖像傳感器101 的表面覆蓋有例如諸如拜耳陣列等的RGB顏色濾波器，以允許彩色拍攝。當(dāng)在固體圖像傳感器101上形成被攝體圖像時(shí)，固體圖像傳感器101生成隨后存儲(chǔ)在存儲(chǔ)器102中的圖像數(shù)據(jù)(圖像信號(hào))?？刂茊卧?14計(jì)算照亮整個(gè)圖像的快門(mén)速度和光圈值，并且計(jì)算聚焦于位于聚焦區(qū)域內(nèi)的被攝體的調(diào)焦透鏡的驅(qū)動(dòng)量。然后，將由控制單元114計(jì)算出的信息、即曝光值 (快門(mén)速度和光圈值)和調(diào)焦透鏡的驅(qū)動(dòng)量傳送至攝像控制電路113，并且根據(jù)各個(gè)值控制相應(yīng)的單元和部件。白平衡(WB)控制單元103基于存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)計(jì)算 WB校正值，并且利用計(jì)算出的WB校正值對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)應(yīng)用WB校正。 稍后將說(shuō)明WB控制單元103的結(jié)構(gòu)的細(xì)節(jié)和用于計(jì)算WB校正值的方法。顏色轉(zhuǎn)換矩陣電路104通過(guò)將WB控制單元103已應(yīng)用了 WB校正的圖像信號(hào)乘以顏色增益以使得能夠以最優(yōu)顏色再現(xiàn)圖像信號(hào)，來(lái)將圖像信號(hào)轉(zhuǎn)換為色差信號(hào)R-Y/B-Y。低通濾波器(LPF)電路105是用于限制色差信號(hào)R-Y/B-Y的頻帶的電路。彩度抑制(CSUP) 電路106是用于在通過(guò)LPF電路105限制了頻帶的圖像信號(hào)中去除飽和部分的偽色信號(hào)的電路。另一方面，還將WB控制單元103已應(yīng)用了 WB校正的圖像信號(hào)輸出至亮度信號(hào)生成電路111。亮度信號(hào)生成電路111從輸入圖像信號(hào)生成亮度信號(hào)Y。邊緣增強(qiáng)電路112 對(duì)所生成的亮度信號(hào)Y應(yīng)用邊緣增強(qiáng)處理。RGB轉(zhuǎn)換電路107將從CSUP電路106輸出的色差信號(hào)R-Y/B-Y和從邊緣增強(qiáng)電路 112輸出的亮度信號(hào)Y轉(zhuǎn)換為RGB信號(hào)。伽瑪校正電路108對(duì)轉(zhuǎn)換后的RGB信號(hào)應(yīng)用灰度校正。之后，顏色亮度轉(zhuǎn)換電路109將具有校正后的灰度的RGB信號(hào)轉(zhuǎn)換為YUV信號(hào)。此夕卜，聯(lián)合圖像專(zhuān)家組(JPEG)壓縮電路110通過(guò)例如JPEG方法壓縮轉(zhuǎn)換得到的YUV信號(hào)，并且將壓縮后的數(shù)據(jù)作為圖像信號(hào)存儲(chǔ)在外部或內(nèi)部記錄介質(zhì)115中。接著，將詳細(xì)說(shuō)明WB控制單元103計(jì)算WB校正值的方法。圖5是示出WB控制單元103進(jìn)行的用于確定第一白平衡校正值(第一 WB校正值)的處理過(guò)程的例子的流程圖。 如這里將要使用的那樣，第一 WB校正值指的是針對(duì)在第一光源下拍攝的圖像通過(guò)正常白平衡控制所計(jì)算出的校正值。

首先，在步驟S501中，WB控制單元103讀出存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)，并且將圖像空間分割成任意數(shù)量m的塊。然后，在步驟S502中，針對(duì)m個(gè)塊中的各個(gè)塊，WB控制單元103針對(duì)各個(gè)顏色將像素值相加并且平均化，以計(jì)算顏色平均值(R[i]，G[i]，B[i])。 然后，WB控制單元103進(jìn)一步利用以下的公式(3)計(jì)算顏色評(píng)價(jià)值(Cx[i]，Cy[i])。公式3Cx[i] = (R[i]-B[i])/Y[i] X1024Cy[i] = (R[i]+B[i]-2G[i])/Y[i] X1024(在該公式中，Y[i]= (R[i]+2G[i]+B[i])/4。)隨后，在步驟S503中，WB控制單元103進(jìn)行白色檢測(cè)以判斷顏色評(píng)價(jià)值是否在白色檢測(cè)范圍內(nèi)?，F(xiàn)在，將說(shuō)明白色檢測(cè)的方法。圖4A和4B是各自表示在白色檢測(cè)時(shí)使用的顏色評(píng)價(jià)值的關(guān)系的特性圖。在圖4A 中，1軸(Cx)的負(fù)方向表示當(dāng)拍攝高色溫被攝體的白色時(shí)的顏色評(píng)價(jià)值，而χ軸的正方向表示當(dāng)拍攝低色溫被攝體的白色時(shí)的顏色評(píng)價(jià)值。此外，y軸(Cy)表示光源的綠色成分的程度。隨著值在y軸的負(fù)方向上增大，綠色成分增大，這表示光源是熒光燈泡。在步驟S503 中，WB控制單元103判斷在步驟S502中計(jì)算出的第i個(gè)塊的顏色評(píng)價(jià)值(Cx [i]，Cy [i]) 是否位于如圖4A所示的預(yù)先設(shè)置的白色檢測(cè)范圍401內(nèi)。通過(guò)預(yù)先在不同光源下拍攝白色圖像并且沿黑體軌跡描繪計(jì)算出的顏色評(píng)價(jià)值， 來(lái)限定如圖4A所示的白色檢測(cè)范圍401?？梢栽O(shè)置該白色檢測(cè)范圍401以使其根據(jù)拍攝模式而具有不同的范圍。如果計(jì)算出的顏色評(píng)價(jià)值(Cx[i]，Cy[i])位于該白色檢測(cè)范圍401 內(nèi)(步驟S503中為“是”)，則WB控制單元103判斷為該塊是白色。然后，在步驟S504中， WB控制單元103對(duì)該塊的顏色平均值(R[i]，G[i], B[i])進(jìn)行相加計(jì)算。另一方面，如果計(jì)算出的顏色評(píng)價(jià)值不位于白色檢測(cè)范圍401內(nèi)(步驟S503中為“否”)，則處理在不對(duì)該塊的顏色平均值進(jìn)行相加的情況下進(jìn)入步驟S505。在步驟S504的該計(jì)算中，WB控制單元 103利用以下的公式(4)對(duì)顏色平均值(R[i]，G[i]，B[i])進(jìn)行相加。公式4
mSumRl = Σ Swf i] χ Rf i]
i=0 mSumGl = Σ Swf i] χ G[ i]
i=0 mSumBl = Σ Sw[i] χ B[i]
i=0在該公式(4)中，如果顏色評(píng)價(jià)值(Cx[i]，Cy[i])位于白色檢測(cè)范圍401內(nèi)，則將 Sw[i]設(shè)置為1，而如果顏色評(píng)價(jià)值(Cx[i],Cy[i])不位于白色檢測(cè)范圍401內(nèi)，則將Sw[i]設(shè)置為O。以此方式設(shè)置Sw[i]允許WB控制單元103進(jìn)行或者跳過(guò)對(duì)顏色平均值(R[i]， G[i]，B[i])的相加處理。隨后，在步驟S505中，WB控制單元103判斷WB控制單元103是否已針對(duì)所有塊確定了顏色評(píng)價(jià)值是否位于白色檢測(cè)范圍內(nèi)。作為在步驟S505中判斷的結(jié)果，如果存在任何剩余的要處理的塊(步驟S505中為“否”)，則處理返回步驟S502。如果已處理了所有塊 (步驟S505中為“是”)，則處理進(jìn)入下一步驟S506。以這種方式，當(dāng)WB控制單元103已結(jié)束針對(duì)所有塊的處理時(shí)，確定了公式(4)中的累加值(SumRl，SumGl，SumBl)。隨后，在步驟S506中，WB控制單元103利用以下的公式(5)根據(jù)確定出的顏色平均值的累加值(SumRl,SumGl,SumBl)計(jì)算第一WB校正值(WBCo 1_R1,WBCo 1_G 1,WBCo 1_B 1)。公式5WBCo 1_R1 = SumYl X 1024/SumRlWBCo 1_G1 = SumYl X 1024/SumGlWBCo 1_B1 = SumYl X 1024/SumBl(在該公式中，SumYl = (SumRl+2XSumGl+SumBl)/4。)此外，當(dāng)發(fā)出閃光燈光時(shí)，WB控制單元103利用與如圖4B所示的與閃光燈光相對(duì)應(yīng)的白色檢測(cè)范圍402、以與上述的WB校正值計(jì)算方法相同的方式計(jì)算第一 WB校正值。這是因?yàn)殚W光燈是已知光源，從而可以限制白色檢測(cè)范圍?？蛇x地，當(dāng)發(fā)出閃光燈光時(shí)，可以將作為第一 WB校正值的針對(duì)閃光燈光的WB校正值預(yù)先設(shè)置為已知值。接著，將說(shuō)明用于確定針對(duì)第二光源的第二白平衡校正值(第二 WB校正值)的方法。WB控制單元103利用針對(duì)各光源預(yù)先確定的值來(lái)確定第二 WB校正值。該值是通過(guò)預(yù)先在各光源下拍攝白色圖像并且計(jì)算校正值所準(zhǔn)備的值。首先，判斷場(chǎng)景以估計(jì)光源。例如，作為場(chǎng)景判斷的結(jié)果，如果將光源判斷為水銀燈，則WB控制單元103利用針對(duì)水銀燈預(yù)先確定的WB校正值作為第二 WB校正值。在存在多種類(lèi)型的光源的情況下，第二 WB校正值根據(jù)光源的類(lèi)型可以是可變的。例如，在存在兩種類(lèi)型的水銀燈的情況下，根據(jù)各水銀燈的類(lèi)型改變WB校正值。此外，如果在發(fā)出閃光燈光時(shí)利用諸如具有燈泡顏色的光源等的低色溫光源照射背景，則可以計(jì)算第二 WB校正值以維持色感來(lái)保留場(chǎng)景的氛圍。例如，設(shè)置色溫的關(guān)系以使得如圖9示出的關(guān)系所示，將輸入圖像作為具有不同色溫的圖像輸出。以此方式，如果當(dāng)?shù)诙?WB校正值的色溫低時(shí)控制白平衡以維持色感，則可以生成例如保持具有燈泡顏色的光源的紅色感的圖像。 然后，將參考圖2所示的流程圖說(shuō)明圖像合成處理。圖2是示出WB控制單元103 進(jìn)行的用于合成圖像的處理過(guò)程的例子的流程圖。首先，在步驟S201中，WB控制單元103 根據(jù)存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)分析場(chǎng)景，并且判斷是否能夠確定光源的類(lèi)型。作為該判斷的結(jié)果，如果不能確定光源的類(lèi)型(步驟S201中為“否”)，則處理進(jìn)入步驟S208，在步驟S208中，WB控制單元103在不進(jìn)行圖像合成處理的情況下利用通過(guò)圖5所示的過(guò)程計(jì)算出的第一 WB校正值來(lái)進(jìn)行正常白平衡控制。另一方面，作為步驟S201中的判斷結(jié)果， 如果能夠確定光源的類(lèi)型(步驟S201中為“是”)，則處理進(jìn)入步驟S202，其中，WB控制單元103進(jìn)行圖像合成處理。隨后，在步驟S202中，WB控制單元103對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)應(yīng)用利用上述第一 WB校正值的白平衡校正，并且生成顯像圖像信號(hào)Yuvl作為第一顯像圖像數(shù)據(jù)。 然后，在步驟S203中，類(lèi)似地，WB控制單元103對(duì)圖像數(shù)據(jù)應(yīng)用利用上述第二 WB校正值的白平衡校正，并且生成顯像圖像信號(hào)Yuv2作為第二顯像圖像數(shù)據(jù)。接著，在步驟S204中， WB控制單元103將存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)、顯像圖像信號(hào)Yuvl和顯像圖像信號(hào) Yuv2各自分割為η個(gè)塊。隨后，在步驟S205中，WB控制單元103針對(duì)存儲(chǔ)在存儲(chǔ)器102中的圖像信號(hào)中的各個(gè)塊，針對(duì)各顏色對(duì)像素值進(jìn)行相加并平均化，以計(jì)算顏色平均值(R2[i]，G2[i]， B2[i])。此外，WB控制單元103利用上述的公式(3)計(jì)算顏色評(píng)價(jià)值(Cx[i]，Cy[i])?？蛇x地，WB控制單元103可以在不進(jìn)行任何額外處理的情況下使用在步驟S502中計(jì)算出的顏色評(píng)價(jià)值(Cx[i]，Cy[i])。這時(shí)，如果存在任何飽和像素，則WB控制單元103可以從相加處理中排除該飽和像素的像素值以及與該飽和像素相對(duì)應(yīng)的其它顏色的像素的像素值。 例如，如果R像素是飽和像素，則WB控制單元103從相加處理中排除該R像素的像素值以及與該R像素相對(duì)應(yīng)的G像素和B像素的像素值。隨后，在步驟S206中，WB控制單元103根據(jù)各光源設(shè)置評(píng)價(jià)框，并且基于上述的第二 WB校正值和各塊的顏色評(píng)價(jià)值之間的差來(lái)計(jì)算各塊的合成比率。例如，在使用水銀燈作為光源的場(chǎng)景中，如圖6所示，WB控制單元103設(shè)置水銀燈用的評(píng)價(jià)框601，其中，將作為第二 WB校正值預(yù)先確定的、在水銀燈下所獲得的白色的顏色評(píng)價(jià)值配置在框的中心。然后，WB控制單元103基于在水銀燈下獲得的白色的預(yù)定顏色評(píng)價(jià)值與各塊的顏色評(píng)價(jià)值之間的距離，計(jì)算各塊的合成比率?；谕ㄟ^(guò)預(yù)先在水銀燈下拍攝白色被攝體并且計(jì)算其顏色評(píng)價(jià)值所準(zhǔn)備的顏色評(píng)價(jià)值，設(shè)置評(píng)價(jià)框601。首先，如果塊的顏色評(píng)價(jià)值與在水銀燈下所獲得的白色的顏色評(píng)價(jià)值的差異小并且位于如圖6所示的內(nèi)部框602內(nèi)，則WB控制單元103設(shè)置1作為該塊的合成比率α [i]。 另一方面，如果塊的顏色評(píng)價(jià)值位于在如圖6所示的內(nèi)部框602與評(píng)價(jià)框601之間的區(qū)域內(nèi)，則WB控制單元103如下計(jì)算該塊的合成比率α [i] :WB控制單元103從內(nèi)部框602朝向評(píng)價(jià)框601線性減小合成比率，以使得內(nèi)部框602示出合成比率α [i] = 1并且評(píng)價(jià)框 601示出合成比率α [i] =O0此外，如果塊的顏色評(píng)價(jià)值位于評(píng)價(jià)框601外，則WB控制單元103設(shè)置0作為該塊的合成比率α [i]。評(píng)價(jià)框601和內(nèi)部框602可以具有代替四邊形的任意形狀。例如，如圖7所示，可以將評(píng)價(jià)框601設(shè)置為具有橢圓(圓)形。此外，例如，對(duì)于使用諸如具有燈泡顏色的光源等的低色溫光源的場(chǎng)景，還可以通過(guò)設(shè)置如圖8所示的評(píng)價(jià)框601和內(nèi)部框602來(lái)應(yīng)用該方法。在此情況下，可以通過(guò)與針對(duì)使用水銀燈作為光源的場(chǎng)景的合成比率計(jì)算方法相同的處理，來(lái)計(jì)算合成比率。隨后，在步驟S207中，WB控制單元103利用各塊的合成比率α [i]合成顯像圖像信號(hào)Yuvl和顯像圖像信號(hào)Yuv2以生成合成圖像信號(hào)Yuv3。利用顯像圖像信號(hào)Yuvl的顏色評(píng)價(jià)值(Yl[i]，ul[i]，vl[i])和顯像圖像信號(hào)Yuv2的顏色評(píng)價(jià)值(Y2[i]，u2[i]，v2[i]) 來(lái)計(jì)算合成圖像信號(hào)Yuv3的顏色評(píng)價(jià)值(Y3[i]，u3[i]，v3[i])。更具體地，通過(guò)以下的公式(6)來(lái)計(jì)算合成圖像信號(hào)Yuv3的顏色評(píng)價(jià)值(Y3[i]，u3[i]，v3[i])。公式6Y3[i] = Yl [i] X (l-α [i])+Y2[i] X α [i]
u3[i] = ul [i] X (l-α [i])+u2[i] X α [i]v3[i] = vl [i] X (l-α [i])+v2[i] X a [i]這時(shí)，WB控制單元103可以在步驟S207中進(jìn)一步進(jìn)行像素插值處理以根據(jù)各塊的合成比率a [i]計(jì)算各像素的合成比率a ’[j]，以減小在塊之間的邊界處可能生成的色感變化。例如，WB控制單元103利用作為像素插值處理的雙線性插值根據(jù)各塊的合成比率 a [i]計(jì)算各像素的合成比率α，[j]。這時(shí)，在步驟S207中，通過(guò)利用各像素的合成比率 α，[j]合成顯像圖像信號(hào)Yuvl和顯像圖像信號(hào)Yuv2，來(lái)生成合成圖像信號(hào)Yuv3。利用顯像圖像信號(hào)Yuvl的顏色評(píng)價(jià)值(Yl [i],ul [i]，vl [i])和顯像圖像信號(hào)Yuv2的顏色評(píng)價(jià)值 (Y2 [i]，u2 [i]，v2 [i])計(jì)算合成圖像信號(hào)Yuv3的顏色評(píng)價(jià)值(Y3 [i]，u3 [i]，v3 [i])。更具體地，通過(guò)以下的公式(7)來(lái)計(jì)算合成圖像信號(hào)Yuv3的顏色評(píng)價(jià)值(Y3 [i]，u3 [i]，v3 [i])。公式7Y3[j] = Yl [j] X (l-α ‘ [j])+Y2[j]X α ‘ [j]u3[j] = ul [j] X(l-α ‘ [j])+u2[j]X α ‘ [j]v3[j] = vl [j] X(l-α ‘ [j])+v2[j]X α ‘ [j]此外，WB控制單元103可以?xún)H合成作為顏色成分的u成分和ν成分以減少電路的計(jì)算量。例如，在圖像合成處理中，通過(guò)以下的公式(8)來(lái)計(jì)算合成圖像信號(hào)Yuv3的顏色評(píng)價(jià)值(Y3[i],u3[i],v3[i])0公式8Y3[i]=Yl[i]u3[i] = ul [i] X (l-α [i])+u2[i] X a [i]v3[i] = vl[i] X (l-α [i])+v2[i] X a [i]此外，盡管上述圖像合成處理針對(duì)顯像圖像信號(hào)采用Yuv格式，但可以采用例如 RGB格式作為圖像格式。在此情況下，代替在步驟S207中使用的公式(6)，WB控制單元103 利用以下的公式(9)。更具體地，WB控制單元103首先計(jì)算利用第一 WB校正值顯像的顯像圖像信號(hào)RGBl的顏色評(píng)價(jià)值(Rl[i]，Gl[i]，Bl[i])和利用第二 WB校正值顯像的顯像圖像信號(hào)RGB2的顏色評(píng)價(jià)值(R2[i]，G2[i]，B2[i])。然后，WB控制單元103通過(guò)以下的公式 (9)計(jì)算合成圖像信號(hào)RGB3的顏色評(píng)價(jià)值(R3[i]，G3[i]，B3[i])。公式9R3 [i] = Rl [i] X (1_ a [i]) +R2 [i] X a [i]G3[i] = Gl [i] X (l-α [i])+G2[i] X a [i]B3[i] = Bl [i] X (l_a [i])+B2[i] X a [i]此外，在上述的圖像合成處理中，如果存在兩種以上類(lèi)型的光源，則WB控制單元 103可以生成兩個(gè)以上顯像圖像以合成這些圖像。例如，如果在使用水銀燈的場(chǎng)景中發(fā)出閃光燈光，則WB控制單元103除了確定上述的第一 WB校正值和第二 WB校正值以外，還以與上述用于確定第二 WB校正值的方法相同的方式確定與閃光燈光相對(duì)應(yīng)的第三WB校正值。 然后，WB控制單元103通過(guò)分別使用三個(gè)WB校正值對(duì)三個(gè)圖像進(jìn)行顯像，來(lái)進(jìn)行圖像合成處理。通過(guò)三個(gè)光源的光量之間的比率來(lái)確定針對(duì)三個(gè)WB校正值中的各WB校正值的合成比率。以此方式，根據(jù)本典型實(shí)施例的圖像處理，即使在存在多種不同類(lèi)型的光源的場(chǎng)景中，也可以生成主被攝體和背景均具有適當(dāng)色感的圖像，從而為用戶提供優(yōu)選的圖像。其它實(shí)施例還可以利用讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能的系統(tǒng)或設(shè)備的計(jì)算機(jī)(或者CPU或MPU等裝置)和通過(guò)下面的方法實(shí)現(xiàn)本發(fā)明的方面，其中，利用系統(tǒng)或設(shè)備的計(jì)算機(jī)通過(guò)例如讀出并執(zhí)行記錄在存儲(chǔ)器裝置上的程序以進(jìn)行上述實(shí)施例的功能來(lái)進(jìn)行上述方法的步驟。為此，例如，通過(guò)網(wǎng)絡(luò)或者通過(guò)用作存儲(chǔ)器裝置的各種類(lèi)型的記錄介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))將該程序提供給計(jì)算機(jī)。盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開(kāi)的典型實(shí)施例?？梢詥为?dú)地或以適當(dāng)?shù)慕M合來(lái)提供說(shuō)明書(shū)以及(在合適的情況下)權(quán)利要求書(shū)和附圖中所公開(kāi)的各特征。
權(quán)利要求
1.一種圖像處理設(shè)備，包括校正部件，用于根據(jù)場(chǎng)景圖像數(shù)據(jù)，通過(guò)利用與場(chǎng)景的第一光源相對(duì)應(yīng)的第一白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第一顯像圖像數(shù)據(jù)，并且通過(guò)利用與場(chǎng)景的第二光源相對(duì)應(yīng)的第二白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第二顯像圖像數(shù)據(jù)；分割部件，用于將所述場(chǎng)景圖像數(shù)據(jù)分割成多個(gè)塊；顏色評(píng)價(jià)值計(jì)算部件，用于通過(guò)針對(duì)由所述分割部件分割得到的所述多個(gè)塊中的各個(gè)塊、將所述場(chǎng)景圖像數(shù)據(jù)中的像素的值相加并平均化，來(lái)計(jì)算所述多個(gè)塊中的各個(gè)塊的顏色評(píng)價(jià)值；合成比率計(jì)算部件，用于基于由所述顏色評(píng)價(jià)值計(jì)算部件計(jì)算出的各個(gè)塊的顏色評(píng)價(jià)值與在所述第二光源下的白色的顏色評(píng)價(jià)值之間的差，來(lái)計(jì)算合成比率；以及合成部件，用于根據(jù)所述合成比率來(lái)合成由所述校正部件生成的所述第一顯像圖像數(shù)據(jù)和所述第二顯像圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括第一確定部件，用于根據(jù)所述場(chǎng)景圖像數(shù)據(jù)確定與所述第一光源相對(duì)應(yīng)的所述第一白平衡校正值；以及第二確定部件，用于根據(jù)所述場(chǎng)景圖像數(shù)據(jù)確定與所述第二光源相對(duì)應(yīng)的所述第二白平衡校正值。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，所述第一確定部件基于利用黑體軌跡的白平衡控制，來(lái)確定所述第一白平衡校正值。
4.根據(jù)權(quán)利要求2或3所述的圖像處理設(shè)備，其特征在于，所述第二確定部件利用針對(duì)各光源預(yù)先確定的值來(lái)確定所述第二白平衡校正值。
5.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的圖像處理設(shè)備，其特征在于，在不能判斷所述場(chǎng)景圖像數(shù)據(jù)的光源的情況下，所述合成部件不進(jìn)行所述合成。
6.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的圖像處理設(shè)備，其特征在于，所述合成比率計(jì)算部件通過(guò)插值處理計(jì)算各像素的合成比率。
7.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的圖像處理設(shè)備，其特征在于，在存在飽和像素的情況下，所述顏色評(píng)價(jià)值計(jì)算部件從相加并平均化中排除所述飽和像素的像素值以及與所述飽和像素相對(duì)應(yīng)的其它顏色的像素的像素值。
8.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，所述第二確定部件確定所述第二白平衡校正值以保持光源的色感。
9.根據(jù)權(quán)利要求1到3中任一項(xiàng)所述的圖像處理設(shè)備，其特征在于，所述合成部件僅合成所述第一顯像圖像數(shù)據(jù)和所述第二顯像圖像數(shù)據(jù)的顏色成分。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述校正部件還通過(guò)利用與場(chǎng)景的第三光源相對(duì)應(yīng)的第三白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)，來(lái)生成第三顯像圖像數(shù)據(jù)，以及所述合成部件合成所述第一顯像圖像數(shù)據(jù)、所述第二顯像圖像數(shù)據(jù)和所述第三顯像圖像數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其特征在于，還包括第二確定部件，所述第二確定部件用于根據(jù)所述場(chǎng)景圖像數(shù)據(jù)，利用針對(duì)各光源預(yù)先確定的值，來(lái)確定與所述第二光源相對(duì)應(yīng)的所述第二白平衡校正值和與所述第三光源相對(duì)應(yīng)的所述第三白平衡校正值。
12.—種圖像處理方法，包括以下步驟根據(jù)場(chǎng)景圖像數(shù)據(jù)，通過(guò)利用與場(chǎng)景的第一光源相對(duì)應(yīng)的第一白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第一顯像圖像數(shù)據(jù)，并且通過(guò)利用與場(chǎng)景的第二光源相對(duì)應(yīng)的第二白平衡校正值校正所述場(chǎng)景圖像數(shù)據(jù)來(lái)生成第二顯像圖像數(shù)據(jù)；將所述場(chǎng)景圖像數(shù)據(jù)分割成多個(gè)塊；通過(guò)針對(duì)分割得到的所述多個(gè)塊中的各個(gè)塊、將所述場(chǎng)景圖像數(shù)據(jù)中的像素的值相加并平均化，來(lái)計(jì)算所述多個(gè)塊中的各個(gè)塊的顏色評(píng)價(jià)值；基于計(jì)算出的各個(gè)塊的顏色評(píng)價(jià)值與在所述第二光源下的白色的顏色評(píng)價(jià)值之間的差，來(lái)計(jì)算合成比率；以及根據(jù)計(jì)算出的所述合成比率來(lái)合成通過(guò)所述校正所生成的所述第一顯像圖像數(shù)據(jù)和所述第二顯像圖像數(shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的圖像處理方法，其特征在于，還包括根據(jù)所述場(chǎng)景圖像數(shù)據(jù)確定與所述第一光源相對(duì)應(yīng)的所述第一白平衡校正值；以及根據(jù)所述場(chǎng)景圖像數(shù)據(jù)確定與所述第二光源相對(duì)應(yīng)的所述第二白平衡校正值。
全文摘要
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。本發(fā)明通過(guò)利用與第一光源相對(duì)應(yīng)的第一白平衡校正值校正圖像數(shù)據(jù)來(lái)生成第一顯像圖像數(shù)據(jù)；通過(guò)利用與第二光源相對(duì)應(yīng)的第二白平衡校正值校正圖像數(shù)據(jù)來(lái)生成第二顯像圖像數(shù)據(jù)；通過(guò)針對(duì)分割出的各個(gè)塊、將圖像數(shù)據(jù)中的像素的顏色評(píng)價(jià)值相加并平均化，來(lái)計(jì)算各個(gè)塊的顏色評(píng)價(jià)值；基于計(jì)算出的各個(gè)塊的顏色評(píng)價(jià)值與在第二光源下的白色的顏色評(píng)價(jià)值之間的差來(lái)計(jì)算合成比率；并且根據(jù)計(jì)算出的合成比率來(lái)合成第一顯像圖像數(shù)據(jù)和第二顯像圖像數(shù)據(jù)。
文檔編號(hào)H04N9/04GK102387373SQ20111026405
公開(kāi)日2012年3月21日 申請(qǐng)日期2011年9月1日 優(yōu)先權(quán)日2010年9月2日
發(fā)明者清水佑輔 申請(qǐng)人:佳能株式會(huì)社