專利名稱：攝像裝置及攝像單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像裝置及攝像單元。
背景技術(shù)：
近年來，圖像輸入裝置的攝像單元的像素?cái)?shù)量的增長令人注目，攝像單元的分辨率已經(jīng)達(dá)到用人眼無法判斷的光滑粒度的水平。在這種狀況下，對于圖像質(zhì)量的要求正從析像感向確保色彩再現(xiàn)性、噪聲降低性、以及更寬的動態(tài)范圍過渡。本發(fā)明就提供一種將圖像質(zhì)量、尤其是色彩再現(xiàn)性及噪聲特性保持在容許范圍內(nèi)、同時(shí)還實(shí)現(xiàn)了擴(kuò)大可掃描的亮度動態(tài)范圍的單元和裝置。
專利文獻(xiàn)1(日本特開2003-284084號公報(bào))已披露了一種既能更真實(shí)地再現(xiàn)色彩、又能降低噪聲的圖像處理裝置。
下面，對該專利文獻(xiàn)1中披露的裝置進(jìn)行描述。在攝像單元的前面設(shè)有如圖1所示的色彩排列的四色濾色器1。如虛線所示，四色濾色器1具有將共計(jì)四個(gè)濾色器作為最小單位的構(gòu)成，該四個(gè)濾色器包括只透過紅色(R)光的R濾色器、只透過藍(lán)色(B)光的B濾色器、只透過第一波長頻帶的綠色光的G1濾色器、以及只透過第二波長頻帶的綠色光的G2濾色器。
圖2A及圖2B中示出一個(gè)對通過攝像單元例如CCD(電荷耦合裝置)獲得的攝像信號實(shí)施信號處理的信號處理部的構(gòu)成例，其中該攝像單元包括這種濾色器1。受制圖空間的限制，分成圖2A及圖2B示出信號處理部的構(gòu)成。附圖標(biāo)記10表示被輸入來自圖像傳感器的四種色彩信號(R信號、G1信號、G2信號、B信號)的前端。前端10對來自圖像傳感器的色彩信號實(shí)施剔除噪聲成分的相關(guān)雙重采樣處理、增益控制處理、以及數(shù)字轉(zhuǎn)換處理等處理。來自前端10的圖像數(shù)據(jù)提供給由LSI(Large Scale Integrated Circuit，大規(guī)模集成電路)構(gòu)成的信號處理部11。
信號處理部11通過微型機(jī)算機(jī)接口12與未圖示的微型計(jì)算機(jī)相連。微型計(jì)算機(jī)按照規(guī)定的程序例如控制數(shù)碼相機(jī)的整體動作。再有，微型計(jì)算機(jī)通過微型機(jī)算機(jī)接口12控制構(gòu)成信號處理部11的各模塊。
信號處理部11對從前端10輸入的四種色彩信號執(zhí)行內(nèi)插處理、濾色處理、矩陣運(yùn)算處理、亮度信號生成處理、色差信號生成處理。通過信號處理部11生成的圖像信號被提供給未圖示的顯示器并顯示攝像圖像。并且，來自信號處理部11的圖像數(shù)據(jù)經(jīng)壓縮后存儲在內(nèi)部存儲介質(zhì)、外部存儲介質(zhì)等中。
下面，對信號處理部11的各模塊進(jìn)行描述。偏移校正處理部21剔除包含在由前端10提供的圖像信號中的噪聲成分(偏移成分)。偏移校正處理部21輸出的圖像信號輸出到白平衡校正處理部22，并進(jìn)行白平衡校正。即，校正由被拍攝對象的色溫環(huán)境的不同、以及傳感器上的濾色器(R、G1、G2、B)的靈敏度的不同所引起的各色彩間的不平衡。
將白平衡校正處理部22的輸出提供給垂直方向同步化處理部23。為進(jìn)行垂直方向的內(nèi)插處理和濾色處理，垂直方向同步化處理部23使用延遲單元，例如小規(guī)模存儲器，以使時(shí)間上不同的垂直方向的圖像數(shù)據(jù)同步化。
通過垂直方向同步化處理部23同步化的多個(gè)圖像信號被提供給進(jìn)行內(nèi)插處理、濾色處理、高頻補(bǔ)償處理及噪聲處理的處理部24，進(jìn)行在同一空間的相位中內(nèi)插濾色器(R、G1、G2、B)的最小單位2×2像素的色彩信號的內(nèi)插處理、適當(dāng)限制信號帶寬的濾色處理、校正信號帶寬的高頻成分的高頻補(bǔ)償處理、剔除信號的噪聲成分的噪聲處理等。
在處理部24中獲得的圖像信號、例如RG1G2B四色的信號被提供給線性矩陣處理部25。在線性矩陣處理部25中，進(jìn)行四輸入三輸出的矩陣運(yùn)算。通過提供3×4矩陣的矩陣系數(shù)，可從輸入的RG1G2B四色的圖像信息中求出RGB色彩輸出。
來自線性矩陣處理部25的RGB輸出分別提供給伽瑪校正處理部26R、26G、26B。通過伽瑪校正處理部26R、26G、26B預(yù)先進(jìn)行顯示裝置所具有的非線性特性的逆校正，最終實(shí)現(xiàn)線性特性。
伽瑪校正處理部26R、26G、26B的輸出信號分別提供給亮度(Y)信號生成處理部27和色差(C)信號生成處理部28。亮度信號生成處理部27通過以規(guī)定的合成比合成伽瑪校正后的RGB信號而生成亮度信號。色差信號生成處理部28通過以規(guī)定的合成比合成伽瑪校正后的RGB信號而生成色差信號。
由色差信號生成處理部28生成的色差信號被提供給進(jìn)行帶寬限制及間隔剔除的處理部29，形成將色差信號Cb及Cr進(jìn)行時(shí)分復(fù)用的色差信號。這樣，在色彩再現(xiàn)性方面，使用四色濾色器的圖像處理裝置優(yōu)于使用三原色濾色器的圖像處理裝置。
一般而言，作為攝像單元的光譜靈敏度，優(yōu)選的特性是色彩再現(xiàn)性好、且噪聲特性好?！吧试佻F(xiàn)性好”是指能夠感知與人眼相同的顏色、或者相對于人眼所見色差較小。人眼所見指的是用人眼能直接看到的顏色。“噪聲特性好”指的是某亮度電平中的噪聲量少。噪聲可大致分為亮度噪聲和色彩噪聲，亮度噪聲取決于絕對的靈敏度，色彩噪聲絕大部分取決于攝像單元的濾色器的光譜靈敏度之間的關(guān)系、即光譜靈敏度曲線的形狀。
將相對于亮度為線性的攝像單元的輸出信號進(jìn)行矩陣轉(zhuǎn)換、然后生成三原色RGB信號值的方法經(jīng)常在如圖2A及圖2B所示的一般的圖像輸入裝置的信號處理中使用。該處理稱為線性矩陣處理。一般情況下，圖像輸入裝置(掃描儀、數(shù)碼相機(jī)等)的輸入圖像多用個(gè)人計(jì)算機(jī)(以下略稱為“PC”)的監(jiān)視器進(jìn)行觀察及編輯，因而，矩陣運(yùn)算后的原色RGB信號值的目標(biāo)色彩空間設(shè)定為sRGB色彩空間，即一般的PC監(jiān)視器的空間。
sRGB色彩空間作為傳播的彩色圖像信號可遵循的多媒體用標(biāo)準(zhǔn)色彩空間，已由IEC(International Electrotechnical Commission國際電工委員會)規(guī)定。依據(jù)標(biāo)準(zhǔn)色彩空間，彩色圖像的發(fā)送方和接收方能夠共享相同的色彩再現(xiàn)。
因此，攝像單元的目標(biāo)光譜靈敏度(圖中標(biāo)示為相對靈敏度)是通過709型矩陣對作為人眼的光譜靈敏度的等色函數(shù)(參照圖3)進(jìn)行線性轉(zhuǎn)換后的sRGB等色函數(shù)。參考文獻(xiàn)1(“ITU-R BT.709-3，《Basic Parameter Values for the HDTV Standard for the Studio andfor International Programme Exchange》(1998)”)中對709型矩陣進(jìn)行了介紹。
圖3中，曲線31x表示函數(shù)x(λ)，曲線31y表示函數(shù)y(λ)，曲線31z表示函數(shù)z(λ)。作為CIE(Commission Internationale deI’Eclairage國際照明委員會)1931，規(guī)定了如圖3所示的等色函數(shù)的曲線圖。
圖4以曲線圖的形式示出了sRGB等色函數(shù)。在圖4中，曲線32r表示函數(shù)r(λ)，曲線32g表示函數(shù)g(λ)，曲線32b表示函數(shù)b(λ)。由于sRGB等色函數(shù)滿足路由(router)條件，所以能夠感知人眼直接看到的顏色。參考文獻(xiàn)2(大田登，《色彩工學(xué)》，ISBN4-501-61350-5，東京電機(jī)大學(xué)出版社(1993))中對路由條件進(jìn)行了介紹。
然而，如圖4所示的光譜靈敏度中存在負(fù)的光譜靈敏度，現(xiàn)實(shí)中無法制成具有這種光譜靈敏度的三色RGB濾色器。若欲制成具有正的光譜靈敏度、且滿足路由條件的三色RGB濾色器光譜靈敏度，則該光譜靈敏度如圖5所示。在圖5中，曲線33R表示函數(shù)sR(λ)，曲線33G表示函數(shù)sG(λ)，曲線33B表示函數(shù)sB(λ)。
由圖5可知，該攝像單元的紅色成分的濾色器的光譜靈敏度的曲線33R與綠色成分的濾色器的光譜靈敏度的曲線33G重疊的非常多。這意味著這兩種成分的信號非常相似。因此，欲使用具有如圖5所示的光譜靈敏度的濾色器的攝像單元、并計(jì)算作為目標(biāo)輸出信號的sRGB空間的三種顏色時(shí)，需要進(jìn)行下式(1)的矩陣運(yùn)算。
r‾(λ)g‾(λ)b‾(λ)=6.5614-5.54120.1845-2.00493.1163-0.16350.1182-0.27831.0688·sR(λ)sG(λ)sB(λ)---(1)]]>由式(1)的矩陣系數(shù)可知，為計(jì)算輸出信號的紅色成分，要對輸入信號的紅色成分和綠色成分乘以6.5614和-5.5412如此非常大的矩陣系數(shù)。這意味著會使攝像單元的紅色信號和綠色信號中的噪聲增大很多。
因此，實(shí)際上，即使沒有充分滿足路由條件、即某種程度上犧牲了色彩再現(xiàn)性、但具有良好的噪聲特性、且具有圖6所示的光譜靈敏度的三色RGB濾色器。在圖6中，曲線34R表示函數(shù)s1R(λ)，曲線34G表示函數(shù)s1G(λ)，曲線34B表示函數(shù)s1B(λ)。由于圖6的光譜沒有滿足路由條件，所以無法線性轉(zhuǎn)換為sRGB等色函數(shù)。因此，sRGB等色函數(shù)的近似轉(zhuǎn)換矩陣運(yùn)算如下式(2)所示。
r^(λ)g^(λ)b^(λ)=2.250-0.649-0.089-0.0571.574-0.384-0.009-0.4441.567·s1R(λ)s1G(λ)s1B(λ)---(2)]]>在式(2)的矩陣系數(shù)中，所有系數(shù)的絕對值均小于式(1)所示的矩陣系數(shù)，色彩分離的結(jié)果可知噪聲沒有增大很多。
從上述的理由可知，一般的原色系RGB攝像單元的光譜靈敏度具有如圖6所示的曲線，色彩再現(xiàn)性和噪聲特性俱佳。然而，因受攝像單元自身的靈敏度、鏡頭特性、紅外線濾鏡特性的影響，實(shí)際上，光譜靈敏度的曲線圖如圖7所示。在圖7中，曲線35R表示R濾色器的光譜靈敏度，曲線35G表示G濾色器的光譜靈敏度，曲線35B表示B濾色器的光譜靈敏度。
因受制造工藝的種種限制，很難提高各濾色器的光譜靈敏度。為維持靈敏度，可以采用某種程度上增加單元尺寸、或乘以電增益等方法。然而，增大單元尺寸往往伴隨著犧牲分辨率，而乘以增益則會犧牲噪聲降低性。
綜上所述，原色系RGB攝像單元在色彩再現(xiàn)性方面非常好，但多少還有改善的余地，而在噪聲特性方面，雖然色分離噪聲小，但存在因靈敏度低而作為噪聲支配成分的亮度噪聲增大的趨勢。即，具有色彩再現(xiàn)性好、但容易出現(xiàn)噪聲感的不同之處。
作為濾色器，互補(bǔ)色系的濾色器也是一種公知的濾色器。例如，如圖8所示，排列成Y(黃色)C(青色)M(品紅色)G(綠色)四色濾色器的互補(bǔ)色交錯行順序方式的濾色器已為大眾所熟知。在圖8中，用虛線圍住的2×4排列是排列的最小單位。
圖9中示出這種互補(bǔ)色系YCMG攝像單元的光譜靈敏度的曲線圖。在圖9中，曲線36Y表示Y濾色器的光譜靈敏度，曲線36C表示C濾色器的光譜靈敏度，曲線36M表示M濾色器的光譜靈敏度，曲線36G表示G濾色器的光譜靈敏度。如圖9所示，因各濾色器的靈敏度較高，所以，互補(bǔ)色系YCMG攝像單元尤其適于在暗處的拍攝，且亮度噪聲特性好。但是，由于光譜靈敏度的重疊非常大，所以若想改善色彩再現(xiàn)性，則存在需要非常大的色彩分離系數(shù)、增大色分離噪聲的問題。因此，在色彩再現(xiàn)性方面，存在無法與原色系RGB攝像單元媲美的問題。
這樣，互補(bǔ)色系YCMG攝像單元在色彩再現(xiàn)性方面，有非常大的改善余地。而在噪聲特性方面，雖然色彩分離噪聲大，但因靈敏度高，存在作為噪聲支配成分的亮度噪聲減少的趨勢。即，具有噪聲感好、而色彩再現(xiàn)性不夠好的特點(diǎn)。
綜上所述，在現(xiàn)有的攝像單元中，當(dāng)使用原色系RGB攝像單元時(shí)，存在由于靈敏度低而造成亮度噪聲大的問題，另一方面，當(dāng)使用互補(bǔ)色系YCMG攝像單元時(shí)，又存在色彩再現(xiàn)性及色分離噪聲特性不夠充分的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的就在于提供一種能夠解決這些攝像單元所存在的問題點(diǎn)的攝像裝置及攝像單元。
為解決上述問題，本發(fā)明涉及一種攝像裝置，其包括攝像部；具有前端的圖像輸入部；以及用于處理來自圖像輸入部的多個(gè)攝像信號、并生成三原色信號的信號處理部。在該攝像裝置中，攝像部包括三原色系分色濾色器及互補(bǔ)色系分色濾色器、及被輸入由上述分色濾色器分離的色光的攝像單元，信號處理部在輸入圖像數(shù)據(jù)為低/中亮度電平(level)的第一區(qū)域中通過對使用三原色系分色濾色器和互補(bǔ)色系分色濾色器獲得的多個(gè)信號進(jìn)行矩陣運(yùn)算處理，從而生成三原色信號；信號處理部在輸入圖像數(shù)據(jù)為高亮度電平的第二區(qū)域中通過對使用三原色系分色濾色器獲得的三原色信號進(jìn)行矩陣運(yùn)算處理，從而生成三原色信號。
而且，本發(fā)明涉及一種攝像單元，其包括共計(jì)五種顏色的濾色器，即R(紅色)、G(綠色)、B(藍(lán)色)的原色系三色濾色器和Y(黃色)、C(青色)的互補(bǔ)色系兩種顏色濾色器，通過將接近人眼的亮度特性的G濾色器配置成交錯狀，從而獲得其它色的四倍的空間信息。
根據(jù)本發(fā)明，通過將原色系RGB和互補(bǔ)色系YC五種顏色的濾色器組合成攝像單元，從而可改善色彩再現(xiàn)性和降低色分離噪聲。而且，因根據(jù)亮度電平分開使用RGBYC五色的濾色器的攝影單元的輸出信號，所以，與單獨(dú)使用原色系或互補(bǔ)色系攝像單元的情況相比，色彩再現(xiàn)性更好、靈敏度高，即能夠?qū)崿F(xiàn)低噪聲的攝像單元。因此，可獲取動態(tài)范圍寬的場景。


圖1是表示提及的攝像裝置的濾色器的色彩排列的簡略圖表；圖2A及圖2B是提及的攝像裝置的信號處理部的結(jié)構(gòu)框圖；圖3是一例等色函數(shù)的曲線圖；圖4是一例sRGB等色函數(shù)的曲線圖；
圖5是表示滿足路由條件的三色濾色器的光譜靈敏度的曲線圖；圖6是表示通常的三原色濾色器的光譜靈敏度的曲線圖；圖7是表示原色系RGB攝像單元的光譜靈敏度的曲線圖；圖8是互補(bǔ)色系YCMG攝像單元的濾色器的色彩排列的簡略圖表；圖9是表示互補(bǔ)色系YCMG攝像單元的光譜靈敏度的曲線圖；圖10A及圖10B是表示混合式RGBYC攝像單元的光譜靈敏度的曲線圖；圖11是表示混合式RGBYC攝像單元的色彩排列的簡略圖表；圖12是表示用于說明使用混合式RGBYC攝像單元的輸出信號的信號處理的簡略圖；圖13是表示可適用本發(fā)明的信號處理的步驟流程圖；圖14是表示本發(fā)明中的色彩轉(zhuǎn)換處理的步驟流程圖；圖15是表示本發(fā)明中的CN圖的曲線圖；圖16是用于比較并表示混合式RGBYC攝像單元、原色系攝像單元及補(bǔ)色系攝像單元的CN的曲線圖；圖17是本發(fā)明一實(shí)施例中的一例信號處理的框圖；以及圖18是表示信號處理過程中一例加權(quán)增益系數(shù)轉(zhuǎn)變的簡略圖。
具體實(shí)施例方式
在本發(fā)明中，使用原色系RGB濾色器和互補(bǔ)色系YC濾色器構(gòu)成具有混合式RGBYC濾色器的攝像單元。雖然作為色彩排列有多種可能，但在此，以圖10A及圖10B所示的濾色器為例。在圖10A及圖10B中，RGB表示分別透過紅色、綠色、藍(lán)色光的濾色器，YC表示分別透過黃色、青色光的濾色器。
圖10A及圖10B表示可在本發(fā)明中使用的濾色器的一例和其它例排列的各自的最小單位(4×4)。圖10A及圖10B中所示的這些濾色器的排列與眾不同之處在于首先，將接近與分辨率直接相關(guān)的人眼的亮度信號的G濾色器排列成交錯狀，并使G濾色器的數(shù)量為其它顏色濾色器的四倍。即，在最小單位的十六個(gè)濾色器當(dāng)中，G濾色器為八個(gè)，剩下的四種顏色的濾色器分別為兩個(gè)。在圖10A所示的排列中，以每行來看的話，都交替排列有靈敏度低的行(G、R、G、B)和靈敏度高的行(C、G、Y、G)。不過，若變化每行的曝光時(shí)間來進(jìn)行讀出信號，則寬動態(tài)范圍讀出更為容易。
在圖10B所示的排列中，在各列和行上包含兩個(gè)G，其余兩種色彩的濾色器是靈敏度高的濾色器和靈敏度低的濾色器組合的濾色器，所以在水平、垂直方向上，這種排列的亮度差少。因此，與圖10A所示的排列相比，雖然讀出方法更為復(fù)雜，但因空間的內(nèi)插特性有利，因而具有更容易實(shí)現(xiàn)平滑的灰度顯示的特點(diǎn)。
圖11中示出混合式RGBYC濾色器的光譜靈敏度的曲線。在圖11中，曲線37Y表示Y濾色器的光譜靈敏度，曲線37C示出C濾色器的光譜靈敏度，曲線37R示出R濾色器的光譜靈敏度，曲線37G示出G濾色器光譜靈敏度，曲線37B示出B濾色器的光譜靈敏度。如圖11所示，互補(bǔ)色系Y、C比原色系R、G、B的光譜靈敏度更高。
圖12中示出相對濾色器的每種色彩而存儲在攝像單元中的電荷量Q和光量P的關(guān)系。在圖12中，Qs表示飽和電荷量，38C表示關(guān)于C濾色器的〔P-Q〕特性，38Y表示關(guān)于Y濾色器的〔P-Q〕特性，38R表示關(guān)于R濾色器的〔P-Q〕特性，38G表示關(guān)于G濾色器的〔P-Q〕特性，38B表示關(guān)于B濾色器的〔P-Q〕特性。
如圖12所示，在配置靈敏度高的Y、C濾色器的單元中，即使是很少的光量也可以迅速存儲所需的電荷，相反，在配置靈敏度低的R、B濾色器的單元中，因電荷存儲的速度較慢，所以即使入射很多光量，電荷也不能迅速飽和。利用這種特性的不同，可以獲取動態(tài)范圍非常寬的圖像。
例如，在五種顏色的濾色器中，配有C濾色器的單元首先飽和，因而，以存儲在配有C濾色器的單元中的電荷飽和的光量Ph為界限，規(guī)定低/中亮度區(qū)和高亮度區(qū)。如果是包含在低/中亮度區(qū)的亮度的圖像時(shí)，使用R、G、B、Y、C五種色彩的信號值；如果是包含在高亮度區(qū)的亮度的圖像時(shí)，因配置有Y及C濾色器的單元的存儲電荷飽和，所以，使用R、G、B三種色彩的信號值。這樣，通過根據(jù)圖像的亮度切換所使用的濾色器，從而可生成動態(tài)范圍非常寬的圖像。
作為圖像亮度的判斷方法，例如可以采用根據(jù)G、Y等的信號值來加以判斷的方法，其中，G、Y等的信號值是包含人眼的亮度成分的攝像單元的信號值。
為了從攝像單元的信號值中計(jì)算圖像的RGB信號值，需要進(jìn)行某種矩陣運(yùn)算處理。例如，用于將五種顏色RGBYC信號值(Rin、Gin、Bin、Yin、Cin)轉(zhuǎn)換成生成的RGB圖像的信號值(Rout、Gout、Bout)的矩陣運(yùn)算處理使用3×5的矩陣系數(shù)，如下式(3)所示。
RoutGoutBout=m0m1m2m3m4m5m6m7m8m9m10m11m12m13m14·RinGinBinYinCin---(3)]]>由于式(3)的矩陣系數(shù)是針對線性信號的矩陣運(yùn)算系數(shù)，所以稱為線性矩陣。關(guān)于對線性矩陣的確定方法，參照參考文獻(xiàn)3(“水倉貴美、加藤直哉、西尾研一，《考慮了噪聲的CCD濾色器光譜靈敏度的評價(jià)方法》，色彩論壇JAPAN2003論文集，pp.29-32(2003)”)。
下面，詳細(xì)描述亮度不同的圖像數(shù)據(jù)。
低/中亮度圖像數(shù)據(jù)的情況當(dāng)靈敏度低的R、B的信號值在某種程度上增大，噪聲的影響減小，且Y、C的信號值未飽和時(shí)，可以使用混合式攝像單元的全部五種顏色的信號值。由于與原色系的三種顏色相比，色彩數(shù)量增多，且這五種顏色的色的分離性好，因而可以進(jìn)行色彩再現(xiàn)性、及噪聲降低性兩方面俱佳的圖像處理。
高亮度圖像數(shù)據(jù)的情況當(dāng)靈敏度高的Y、C的信號值已達(dá)到飽和時(shí)，剩下的R、G、B三色的信號值生成圖像。該狀態(tài)與使用原色系三色攝像單元的情況相同，因而在色彩再現(xiàn)性、噪聲降低性方面基本與原色系三色攝像單元程度相同。
下面描述采用上述的混合式RGBYC攝像單元的攝像裝置，例如數(shù)碼照相機(jī)。但是，本發(fā)明并不限于數(shù)碼照相機(jī)，其還可運(yùn)用于拍攝移動圖像的照相機(jī)中。
若采用上述的混合式RGBYC攝像單元，則由其構(gòu)成的照相機(jī)的色彩再現(xiàn)性及噪聲特性均可優(yōu)于原色系三色RGB攝像單元的照相機(jī)、或互補(bǔ)色系YCMG攝像單元的照相機(jī)。
使用上述參考文獻(xiàn)3中所記載的濾色器評價(jià)方法，試著畫出混合式RGBYC攝像單元、原色系三色RGB攝像單元、互補(bǔ)色系YCMG攝像單元這三種攝像單元的CN圖。以下，簡單介紹CN圖的繪制方法。
前提條件作為拍攝條件，作為光源，使用CIE規(guī)定的標(biāo)準(zhǔn)光源D55，并選用Macbeth Color Checker(校色板)作為目標(biāo)。假設(shè)圖13所示的處理為照相機(jī)信號處理。通過對攝像單元的濾色器的光譜靈敏度、Macbeth Color Checker的色塊的光譜反射率、和拍攝光源的光譜輻射亮度的積進(jìn)行積分，求得作為數(shù)碼照相機(jī)的綜合特性的Raw Data41，在白平衡校正處理42中，將Raw Data 41乘以增益，以使各顏色數(shù)據(jù)的電平等于無彩色。
接著，進(jìn)行色彩轉(zhuǎn)換處理43，在該處理中，通過矩陣處理，相對于亮度信號，使線性信號值接近目標(biāo)顏色。該處理43相當(dāng)于線性矩陣處理。以下將該矩陣處理適當(dāng)?shù)胤Q為MAT。通過色彩轉(zhuǎn)換處理43，信號值變?yōu)镽(紅色)、G(綠色)、B(藍(lán)色)三色。若用N表示濾色器的色彩數(shù)量，則白平衡校正處理42為N×N的對角矩陣運(yùn)算處理，色彩轉(zhuǎn)換處理43為3×N的矩陣運(yùn)算處理。
最后，通過伽瑪校正處理44，作為最終輸出，獲得照相機(jī)RGB45。但是，在此，將sRGB的逆伽瑪用作照相機(jī)伽瑪。在構(gòu)成數(shù)碼照相機(jī)的硬件時(shí)，采用與上述圖2A及圖2B中所示的信號處理構(gòu)成相同的構(gòu)成。
假設(shè)這樣獲得的照相機(jī)RGB由標(biāo)準(zhǔn)sRGB監(jiān)視器再生并觀察。即，假設(shè)照相機(jī)RGB是sRGB色彩空間的色彩。但是，由于計(jì)算時(shí)還保持sRGB范圍外的值，所以考慮縮短sRGB色域外的色彩。
色彩再現(xiàn)評價(jià)指數(shù)的定義計(jì)算拍攝到的照相機(jī)的輸出信號相對于人眼的色差Delta E(ΔE)值。由于假設(shè)照相機(jī)RGB是sRGB色彩空間的數(shù)據(jù)，所以，根據(jù)圖14所示的流程，使用709系列矩陣M709等計(jì)算相應(yīng)的L*a*b*值、照相機(jī)L*a*b*。
L*a*b*是由標(biāo)準(zhǔn)光中的三刺激值定義的色彩空間。CIE在1964年作為均勻色彩空間提出U*V*W*，1976年又提出對U*V*W*空間進(jìn)行了修改的L*u*v*空間。而且，在1976年，作為與無論哪個(gè)色彩區(qū)均能察覺的色差對應(yīng)的色彩空間，又提出了L*a*b*空間(CIELAB)。
圖14中，照相機(jī)RGB51經(jīng)過sRGB伽瑪處理52之后，在轉(zhuǎn)換處理53中，將RGB轉(zhuǎn)換為三刺激值XYZ。接著，在轉(zhuǎn)換處理54中，使用709系列矩陣M70955，將XYZ轉(zhuǎn)換為L*a*b*。然后獲得最終的照相機(jī)L*a*b*56。
參考文獻(xiàn)1中對709系列矩陣M709進(jìn)行了介紹。
作為目標(biāo)值的人眼可見的L*a*b*值可通過Macbeth ColorChecker的光譜反射率、標(biāo)準(zhǔn)光源D55的光譜輻射亮度進(jìn)行計(jì)算。
作為色彩再現(xiàn)性的評價(jià)指數(shù)，采用Macbeth Color Checker 24色的平均ΔE值(ΔEa)。如下式(4)所示，該值將成為照相機(jī)的信號處理過程中的MAT系數(shù)的函數(shù)ΔEa(MAT)。
ΔEa(MAT)=124∫k=124ΔEk(MAT)---(4)]]>其中，ΔEk第k個(gè)色塊的ΔEkMAT色彩轉(zhuǎn)換矩陣系數(shù)噪聲評價(jià)指數(shù)的定義作為包含在攝像單元的輸出信號中的噪聲模型，使用下式(5)所示的定義式。參考文獻(xiàn)4(“G.C.Holst，《CCD ARRAYS CAMERASand DISPLAYS 2nd Ed.，》JCD Publishing(1998)”)中對該定義式進(jìn)行了介紹。
Noise_raw=as·CV_CCD+bd]]>=ShotNoise2+DarakNoise2---(5)]]>在式(5)中，如參考文獻(xiàn)5(西尾研一，《CCD照相機(jī)的色彩》，色彩論壇JAPAN’99，pp.143-147(1999))所述，as與bd是由CCD的設(shè)備特性(飽和電子量等)決定的值。
as·CV_CCD表示光散粒噪聲，即依賴于信號值的噪聲成分，bd表示基底噪聲(floor noise)，即不依賴于信號值的噪聲成分(參照參考文獻(xiàn)4)。
該噪聲Noise_raw通過照相機(jī)的信號處理，并且通過L*a*b*轉(zhuǎn)換，被傳播給各種色彩空間。下面，略述噪聲的傳播模型(參照參考文獻(xiàn)6(ED.Burns and R.S.Berns，《(Error Propagation Analysis in ColorMeasurement and Imaging》，Col.Res.Appl，Vol.22，pp.280-289(1997)))的概要。
當(dāng)假設(shè)某輸入信號通過(m×n)矩陣A，線性變換為Y＝〔y1，y2，…，ym〕t時(shí)，該式可如下寫為Y＝A·X··現(xiàn)在，假設(shè)輸入信號X的方差-協(xié)方差矩陣如下式(6)所示。
該式(6)的對角成分正好是輸入信號的噪聲方差值。如果輸入信號值間彼此不相關(guān)，則矩陣成分中的協(xié)方差成分(即，非對角成分)為0。這時(shí)，輸出信號Y的方差-協(xié)方差矩陣可用下式(7)定義。
∑y＝A-∑x·At…(7)該式(7)是可通過線性轉(zhuǎn)換進(jìn)行轉(zhuǎn)換的色彩空間之間的噪聲方差值的傳播理論公式。
為將最終輸出信號照相機(jī)RGB值轉(zhuǎn)換成L*a*b*值，如色彩再現(xiàn)性的定義一節(jié)所描述的，從XYZ空間向L*a*b*空間轉(zhuǎn)換時(shí)，包括非線性的轉(zhuǎn)換。但因噪聲方差值通常都很小，所以可用上述參考文獻(xiàn)6中的Jacobian矩陣JL*a*b近似地以線性轉(zhuǎn)換表示XYZ→L*a*b*轉(zhuǎn)換。因此，用于將原信號線性轉(zhuǎn)換為L*a*b*值的近似矩陣Mtotal如下式(8)所示。
Mtotal=JL*a*b*·M709·MAT·WBM---(8)]]>其中，WBM白平衡矩陣
MAT色彩轉(zhuǎn)換矩陣使用式(8)的矩陣和噪聲傳播理論公式(7)，可按下式(9)計(jì)算最終輸出信號值中的噪聲方差值。
ΣL*a*b*=σ2L*σL*a*σa*b*σa*L*σ2a*σL*b*σa*b*σb*L*σ2b*---(9)]]>=Mtotal·ΣRGBraw·Mtotalt]]>用自式(9)獲得的噪聲量σL*、σa*、σb*計(jì)算由下式(10)定義的Total Noise值(TN值)。進(jìn)而，將Macbeth Color Checker 24色的各色塊的TN值的平均值TNa作為噪聲評價(jià)指數(shù)。
TNa(MAT)=124∫k=124TNk(MAT)---(10)]]>其中，TNk第k個(gè)色塊的TN值MAT色彩轉(zhuǎn)換矩陣系數(shù)考慮到噪聲的亮度成分和色彩成分這兩者，TN值是與用人眼能感覺到的噪聲高度相關(guān)的值。用L*a*b*噪聲量，以下式定義。
TN=(σL*WL*)2+(σa*Wa*)2+(σb*Wb*)2---(11)]]>在式(11)中，WL*、Wa*、Wb*是對噪聲量σL*、σa*、σb*的加權(quán)系數(shù)，其采用通過視覺實(shí)驗(yàn)獲得的實(shí)驗(yàn)/經(jīng)驗(yàn)值。
確定照相機(jī)信號處理中的參數(shù)的方法具體而言，是指確定信號處理中的MAT系數(shù)的方法。首先，使用色彩再現(xiàn)評價(jià)指數(shù)ΔEa和噪聲評價(jià)指數(shù)TNa，在下式(12)中定義CEM(Comprehensive Error Metric)值。
CEM(MAT)=(wc·ΔEa(MAT))2+(wn·TNa(MAT))2---(12)]]>其中，wc對于色彩再現(xiàn)性的加權(quán)系數(shù)wn對于噪聲量的加權(quán)系數(shù)通過確定針對各評價(jià)指數(shù)的加權(quán)系數(shù)wc、wn求出使CEM值最小的MAT系數(shù)，從而可以實(shí)現(xiàn)調(diào)節(jié)色彩再現(xiàn)性、噪聲量的濾色器評價(jià)。
CN圖的繪制方法改變上述CEM值的wc、wn后算出MAT系數(shù)，并算出當(dāng)時(shí)的色彩再現(xiàn)評價(jià)指數(shù)ΔEa和噪聲評價(jià)指數(shù)TNa。如圖15所示，將結(jié)果繪制成橫軸為ΔEa、縱軸為TNa的〔色彩再現(xiàn)對噪聲〕的曲線圖(以下，將該坐標(biāo)圖適當(dāng)?shù)胤Q為CN圖)。CN圖是用于表示被評價(jià)的濾光器組實(shí)力的圖。
圖15的左下區(qū)是色彩再現(xiàn)和噪聲均好的區(qū)域，而右上區(qū)是兩者均差的區(qū)域。因此，曲線越靠近左下方，濾色器組的性能越好。通過對每個(gè)要評價(jià)的濾色器組都繪制此曲線并加以比較，從而可直觀地判斷哪個(gè)濾色器組更好。一般而言，CN圖的軌跡在左下為凸曲線，色彩再現(xiàn)性和噪聲特性呈現(xiàn)出色彩再現(xiàn)性變好則噪聲特性變差、噪聲特性變好則色彩再現(xiàn)性變差這樣的折衷關(guān)系。
圖16中示出根據(jù)本發(fā)明的混合式攝像單元、原色系三色攝像單元、及互補(bǔ)色系四種顏色攝像單元的CN圖。附圖標(biāo)記61a是混合式攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線，附圖標(biāo)記61b是原色系三色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線，附圖標(biāo)記61c是互補(bǔ)色系四種顏色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線。
圖16所示的CN圖的左下方是色彩再現(xiàn)和噪聲特性均好的區(qū)域，所以軌跡最靠近左下方的攝像單元可以說特性最好。由圖16可知，混合式攝像單元的曲線61a最靠近左下方，所以色彩再現(xiàn)性及噪聲特性均優(yōu)于原色系、互補(bǔ)色系攝像單元。
實(shí)際上，以圖10A及圖10B所示的排列制成RGBYC攝像單元，并制成用于進(jìn)行圖13所示的信號處理的IC(Integrated Circuit)。伽瑪校正使用sRGB伽瑪算出RGB輸出信號。作為線性矩陣系數(shù)，使用例如CN圖(圖16)的☆62所示的wc∶wn＝1∶3的加權(quán)系數(shù)。☆的系數(shù)如式(13)所示。
RoutGoutBout=1.494-0.8360.2420.658-0.559-0.2550.688-0.3830.7060.2440.094-0.4031.254-0.3510.406·RinGinBinYinCin---(13)]]>由式(13)可知，系數(shù)值較小，且色分離噪聲未過度增大。由此，可構(gòu)成使用五種顏色的RGBYC攝像單元的照相機(jī)。
接著，對可以獲取使用了混合式攝像單元的寬動態(tài)范圍圖像的圖像輸入裝置進(jìn)行描述。
以根據(jù)像素值的亮度電平靈活使用五種顏色的信號值來掃描動態(tài)范圍寬的圖像為例進(jìn)行說明。
像素值的亮度電平的計(jì)算方法有多種，例如，將接近于人眼的亮度成分的G信號作為亮度值使用。作為信號處理，可考慮圖17所示的處理。LM(H)71、LM(M)72、LM(L)73分別表示高亮度、中亮度、低亮度用的線性矩陣處理，WB(H)74、WB(M)75、WB(L)76分別表示白平衡處理，77、78、及79分別表示將各輸出信號乘以增益值a、b、c的乘法器。
圖18中示出加權(quán)增益系數(shù)相對于亮度電平(橫軸)的變化的轉(zhuǎn)變。在高亮度區(qū)中，增益系數(shù)是(a＝1，b＝c＝0)，在中亮度區(qū)中，增益系數(shù)是(a＝0，b＝1，c＝0)，在低亮度區(qū)中，增益系數(shù)是(a＝b＝0，c＝1)。而且，在各區(qū)域的邊界附近，增益系數(shù)的上升和另一個(gè)增益系數(shù)的下降傾斜并交叉，且變化并不明顯。在圖17中，雖未進(jìn)行圖示，但還設(shè)置有增益系數(shù)控制部，其根據(jù)例如RGBYC信號的A/D(模擬-數(shù)字)轉(zhuǎn)換后的每一采樣的亮度電平(例如G信號)控制增益系數(shù)。
參照參考文獻(xiàn)3，如下所述確定各亮度電平的線性矩陣系數(shù)。
低亮度區(qū)就低亮度區(qū)而言，從圖像質(zhì)量這一點(diǎn)出發(fā)，噪聲少是比色彩再現(xiàn)性更重要的因素。因此，作為線性矩陣系數(shù)，使用RGBYC五種顏色的信號值，并使用重視噪聲特性的系數(shù)?？梢钥紤]wc∶wn＝1∶10這點(diǎn)(圖16中的Δ標(biāo)記63的位置)的系數(shù)等。系數(shù)值如下所示。
RoutGoutBout=1.147-0.5620.1040.731-0.419-0.1550.531-0.2100.5440.2890.082-0.3441.210-0.4050.457·RinGinBinYinCin---(14)]]>式(14)與式(13)相比，由于使相對于噪聲的加權(quán)增大，因而各系數(shù)的絕對值變小，由此可知未增大色分離噪聲。
中亮度區(qū)作為中亮度像素用的線性矩陣系數(shù)，通過使用RGBYC五種顏色的信號值，由色彩再現(xiàn)性和噪聲特性的平衡最好的點(diǎn)決定。即，在CN圖中，決定最左下方位置的軌跡上的系數(shù)。例如，可以考慮式(13)所示的wc∶wn＝1∶3附近的矩陣系數(shù)。
高亮度區(qū)作為高亮度像素用的線性矩陣系數(shù)，因Y信號及C信號已非常飽和，所以使用RGB三色的信號值，由色彩再現(xiàn)性和噪聲特性的平衡最好的點(diǎn)決定。即，在CN圖中，決定最左下方位置的軌跡上的系數(shù)。例如，可以考慮wc∶wn＝1∶3這點(diǎn)(圖16中的○標(biāo)記64的位置)的系數(shù)等。系數(shù)如下式(15)所示。
RoutGoutBout=1.659-0.654-0.005-0.0801.396-0.3160.008-0.4571.449·RinGinBin---(15)]]>處理流程如下所述。
當(dāng)輸入某像素信號時(shí)，經(jīng)三種線性矩陣處理(圖17中的LM(H)71、LM(M)72、LM(L)73)，根據(jù)其輸入信號值計(jì)算每亮度電平的信號值。
各信號值經(jīng)白平衡處理(圖17中的WB(H)74、WB(M)75、WB(L)76)之后，如圖18所示，與其像素的亮度電平對應(yīng)，在各信號值上乘以預(yù)先確定的增益系數(shù)(a、b、c)(圖17中的乘法器77、78、及79)。
然后，三種輸出信號通過圖17中的加法器80和81相加，并決定其像素的輸出信號值。
作為低亮度電平和中亮度電平的分界線，例如可考慮ISO400和ISO200的分界線等。而且，作為中亮度和高亮度電平的分界線，例如可列舉Y信號和C信號中任一個(gè)信號達(dá)到飽和的情況等。
以上，對本發(fā)明的實(shí)施例進(jìn)行了具體描述。然而，本發(fā)明并不限于上述實(shí)施例，基于本發(fā)明的技術(shù)思想，可作出各種變形。例如，在圖17所示的構(gòu)成中，針對三個(gè)等級的亮度電平進(jìn)行不同的矩陣運(yùn)算處理，但也可以針對兩個(gè)等級(低/中亮度電平和高亮度電平)的亮度電平進(jìn)行不同的矩陣運(yùn)算處理。而且，也可以在低亮度電平中使用YCG三種顏色，在中亮度電平中使用RGBYC五種顏色。甚至，本發(fā)明還可以運(yùn)用到層疊有三層CMOS結(jié)構(gòu)、且與彩色膠片同樣具有感藍(lán)層、感綠層、和感紅層的裝置中。
符號說明37C、37Y 青色、黃色濾色器的光譜靈敏度37R、37G、37B 紅色、綠色、藍(lán)色濾色器的光譜靈敏度42白平衡校正處理43色彩轉(zhuǎn)換處理44照相機(jī)伽瑪校正處理52sRGB伽瑪處理53將RGB轉(zhuǎn)換為XYZ的轉(zhuǎn)換處理54將XYZ轉(zhuǎn)換為L*a*b*的轉(zhuǎn)換處理61a 混合式攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線61b 原色系三色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線61c 補(bǔ)色系四色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線71 高亮度用的線性矩陣處理72 中亮度用的線性矩陣處理73 低亮度用的線性矩陣處理77、78、79 乘以增益系數(shù)a、b、c的乘法器
權(quán)利要求
1.一種攝像裝置，包括攝像部；具有前端的圖像輸入部；以及信號處理部，用于處理來自所述圖像輸入部的多個(gè)圖像信號，并生成三原色信號，其特征在于，在所述攝像裝置中，所述攝像部包括三原色系分色濾色器、互補(bǔ)色系分色濾色器、以及被輸入由所述分色濾色器分離的色光的攝像單元，所述信號處理部在輸入圖像數(shù)據(jù)為低/中亮度電平的第一區(qū)域中通過對使用所述三原色系分色濾色器和互補(bǔ)色系分色濾色器獲得的多個(gè)信號進(jìn)行矩陣運(yùn)算處理，從而生成三原色信號；以及所述信號處理部在輸入圖像數(shù)據(jù)為高亮度電平的第二區(qū)域中通過對使用所述三原色系分色濾色器獲得的三原色信號進(jìn)行矩陣運(yùn)算處理，從而生成三原色信號。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述三原色系分色濾色器是R(紅色)濾色器、G(綠色)濾色器、以及B(藍(lán)色)濾色器，所述互補(bǔ)色系分色濾色器是Y(黃色)濾色器和C(青色)濾色器。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述信號處理部包括第一矩陣運(yùn)算部，在所述第一區(qū)域中，使用強(qiáng)調(diào)噪聲特性的第一矩陣系數(shù)生成三原色信號；第二矩陣運(yùn)算部，在所述第二區(qū)域中，使用色彩再現(xiàn)性和噪聲特性的平衡好的第二矩陣系數(shù)生成三原色信號；以及混合部，用于將所述第一矩陣運(yùn)算部及第二矩陣運(yùn)算部的輸出信號乘以增益系數(shù)后相加。
4.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第一區(qū)域和第二區(qū)域的界限選定為通過所述互補(bǔ)色系分色濾色器的所述攝像單元飽和的亮度電平。
5.一種攝像單元，其特征在于，包括共計(jì)五種顏色的濾色器，即原色系的R(紅色)、G(綠色)、B(藍(lán)色)的三原色濾色器、以及互補(bǔ)色系的Y(黃色)、C(青色)的兩色濾色器，通過將接近人眼的亮度特性的G濾色器配置成交錯狀，以獲得其它顏色中的每種顏色的四倍的空間信息。
6.根據(jù)權(quán)利要求5所述的攝像單元，其特征在于，排列的最小單位的大小為4×4，各列及各行上分別包括兩個(gè)G濾色器，作為其余兩個(gè)濾色器，將靈敏度高的濾色器與靈敏度低的濾色器進(jìn)行組合，因此，在水平及垂直方向上亮度差小。
7.根據(jù)權(quán)利要求5所述的攝像單元，其特征在于，排列的最小單位的大小為4×4，各列及各行上分別包括兩個(gè)G濾色器，作為其余兩個(gè)濾色器，交替配置使用靈敏度高的濾色器的列與行、以及使用靈敏度低的濾色器的列與行。
全文摘要
一種提高色彩再現(xiàn)性和噪聲特性的攝像裝置。以原色系RGB濾色器和互補(bǔ)色系YC濾色器構(gòu)成具有混合式RGBYC濾色器的攝像單元。將接近于與分辨率直接相關(guān)的人眼的亮度信號的G濾色器排列成交錯狀，并使G濾色器的數(shù)量為其它色濾色器的四倍。在圖10A所示的排列中，從每行看，是交替排列有靈敏度低的行(G、R、G、B)和靈敏度高的行(C、G、Y、G)的排列。若通過改變每行的曝光時(shí)間進(jìn)行讀出時(shí)，則容易進(jìn)行寬動態(tài)范圍的讀出。圖10B所示的排列中，在各列和各行中包含兩個(gè)G濾色器，其余兩種濾色器是靈敏度高的濾色器和靈敏度低的濾色器，因而是一種在水平、垂直方向上亮度差小的排列。因此，與圖10A所示的排列相比，雖然讀出方法復(fù)雜，但因空間的內(nèi)插特性好，從而容易實(shí)現(xiàn)平滑的灰度顯示。
文檔編號G02B5/20GK1943248SQ20068000007
公開日2007年4月4日 申請日期2006年1月12日 優(yōu)先權(quán)日2005年1月31日
發(fā)明者水倉貴美, 加藤直哉, 田中健二, 木下雅也, 米田豐, 松井啟 申請人:索尼株式會社