專利名稱：圖像輸入裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)由攝像元件攝像了的圖像數(shù)據(jù)進(jìn)行圖像處理的圖像輸入裝置。
背景技術(shù)：
近年來(lái)，已知對(duì)夜間的場(chǎng)景進(jìn)行彩色攝像的攝像裝置。例如，在專利文獻(xiàn)1中，公開(kāi)了下述那樣的彩色圖像再生裝置。首先，從通過(guò)具備R、G、B的濾波器的像素?cái)z像了的圖像中抽出由R、G、B的顏色分量構(gòu)成的可見(jiàn)圖像數(shù)據(jù)。接下來(lái)，從通過(guò)具備Ir的濾波器的像素?cái)z像了的圖像中抽出紅外圖像數(shù)據(jù)。接下來(lái)，對(duì)可見(jiàn)圖像數(shù)據(jù)進(jìn)行HSV變換而抽出第 1亮度信息，并且從紅外圖像數(shù)據(jù)中抽出第2亮度信息。接下來(lái)，針對(duì)第1亮度信息用權(quán)重系數(shù)wl進(jìn)行加權(quán)，針對(duì)第2亮度信息用權(quán)重系數(shù)w2(wl+w2 = 1)進(jìn)行加權(quán)，生成偽彩色圖像。專利文獻(xiàn)1 日本特開(kāi)2007-184805號(hào)公報(bào)

發(fā)明內(nèi)容
但是，在夜間，光子的量少，所以存在攝影圖像的S/N比變小這樣的問(wèn)題，但在專利文獻(xiàn)1的手法中，沒(méi)有考慮這樣的問(wèn)題。本發(fā)明的目的在于提供一種即使在光子的量少的夜間也可以生成圖像的S/N比高的亮度信號(hào)的圖像輸入裝置。(1)本發(fā)明的一個(gè)方面的圖像輸入裝置，其特征在于，具備攝像元件，排列有光譜靈敏度不同的至少3種像素，對(duì)包含至少3種原圖像分量的原圖像數(shù)據(jù)進(jìn)行攝像；以及顏色空間變換部，將所述原圖像數(shù)據(jù)變換到包含亮度信號(hào)和色度信號(hào)的顏色空間，所述顏色空間變換部計(jì)算出通過(guò)對(duì)所述原圖像分量進(jìn)行加法處理而得到的第1強(qiáng)度信號(hào)作為所述顏色空間的亮度信號(hào)。根據(jù)該結(jié)構(gòu)，通過(guò)攝像元件對(duì)包括至少3種原圖像分量的原圖像數(shù)據(jù)進(jìn)行攝像。 然后，顏色空間變換部通過(guò)對(duì)構(gòu)成原圖像數(shù)據(jù)的原圖像分量進(jìn)行加法處理來(lái)生成第1強(qiáng)度信號(hào)，計(jì)算出該第1強(qiáng)度圖像信號(hào)作為顏色空間的亮度信號(hào)。因此，即使在光子的量少的夜間，也可以生成S/N比高的亮度信號(hào)。(2)優(yōu)選的是，所述顏色空間變換部對(duì)所述原圖像分量或者基于所述原圖像分量的色度信號(hào)進(jìn)行平滑處理。根據(jù)該結(jié)構(gòu)，針對(duì)所述原圖像分量或者基于所述原圖像分量的色度信號(hào)實(shí)施平滑處理。因此，得到S/N比高的色度信號(hào)。(3)優(yōu)選的是，還具備顏色信號(hào)生成部，該顏色信號(hào)生成部根據(jù)所述原圖像分量生成RGB顏色信號(hào)，所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于所述第2強(qiáng)度信號(hào)的所述第1強(qiáng)度信號(hào)的比例即第1比例進(jìn)行運(yùn)算來(lái)計(jì)算出所述顏色空間的色度信號(hào)。根據(jù)該結(jié)構(gòu)，通過(guò)對(duì)RGB顏色信號(hào)進(jìn)行顏色空間變換而生成第2強(qiáng)度信號(hào)。計(jì)算出相對(duì)于該第2強(qiáng)度信號(hào)的第1強(qiáng)度信號(hào)的比例作為第1比例。而且，通過(guò)使用該第1比例進(jìn)行運(yùn)算，而計(jì)算出顏色空間的色度信號(hào)。因此，顏色空間變換部可以生成在成為變換對(duì)象的顏色空間中取得了平衡的色度信號(hào)和亮度信號(hào)。(4)優(yōu)選的是，還具備顏色信號(hào)生成部，該顏色信號(hào)生成部根據(jù)所述原圖像分量生成RGB顏色信號(hào)，所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成所述第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于實(shí)施了平滑處理的所述第1強(qiáng)度信號(hào)的實(shí)施了平滑處理的所述第2強(qiáng)度信號(hào)的比例即第2比例進(jìn)行運(yùn)算來(lái)對(duì)所述第1強(qiáng)度信號(hào)進(jìn)行修正，計(jì)算出修正后的第1強(qiáng)度信號(hào)作為所述顏色空間的亮度信號(hào)。根據(jù)該結(jié)構(gòu)，通過(guò)使用相對(duì)于實(shí)施了平滑處理的第1強(qiáng)度信號(hào)的實(shí)施了平滑處理的第2強(qiáng)度信號(hào)的比例即第2比例來(lái)運(yùn)算，對(duì)第1強(qiáng)度信號(hào)進(jìn)行修正。因此，可以生成高精度地再現(xiàn)了人類視覺(jué)辨認(rèn)的圖像的強(qiáng)度的亮度信號(hào)。(5)優(yōu)選的是，所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成所述第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于所述第2強(qiáng)度信號(hào)的所述第1強(qiáng)度信號(hào)的比例即第1比例進(jìn)行運(yùn)算來(lái)計(jì)算出所述顏色空間的色度信號(hào)。根據(jù)該結(jié)構(gòu)，通過(guò)使用第1比例來(lái)運(yùn)算，對(duì)顏色空間的色度信號(hào)進(jìn)行修正。因此， 可以保持在成為變換對(duì)象的顏色空間中的強(qiáng)度信號(hào)和色度信號(hào)的平衡。(6)優(yōu)選的是，所述原圖像數(shù)據(jù)包含紅外圖像分量，所述顏色空間變換部根據(jù)所述紅外圖像分量，對(duì)紅外光的強(qiáng)度和可見(jiàn)光的強(qiáng)度進(jìn)行比較，以隨著紅外光的強(qiáng)度變強(qiáng)、使所述第1強(qiáng)度信號(hào)的加權(quán)變小的方式，對(duì)所述第1強(qiáng)度信號(hào)和按原樣使用了所述原圖像分量的信號(hào)進(jìn)行加權(quán)相加而計(jì)算出所述顏色空間的亮度信號(hào)。根據(jù)該結(jié)構(gòu)，以隨著紅外光的強(qiáng)度與可見(jiàn)光的強(qiáng)度相比變強(qiáng)，使第1強(qiáng)度信號(hào)的加權(quán)變小的方式，對(duì)第1強(qiáng)度信號(hào)和按原樣使用了原圖像分量的信號(hào)進(jìn)行加權(quán)相加，計(jì)算出成為變換對(duì)象的顏色空間的亮度信號(hào)。因此，可以生成高精度地表示了人類目視的圖像的強(qiáng)度的亮度信號(hào)。(7)優(yōu)選的是，所述顏色空間變換部是以紅外光的強(qiáng)度越強(qiáng)于可見(jiàn)光的強(qiáng)度、使所述顏色空間的色度信號(hào)越低的方式進(jìn)行計(jì)算。根據(jù)該結(jié)構(gòu)，紅外光的強(qiáng)度越強(qiáng)于可見(jiàn)光的強(qiáng)度，在夜間進(jìn)行攝影的可能性越高， 而有可能無(wú)法高精度地計(jì)算色度信號(hào)。因此，通過(guò)采用本結(jié)構(gòu)，可以以使色度信號(hào)變低、計(jì)算精度低的色度信號(hào)的影響變低的方式，計(jì)算出R、G、B的顏色信號(hào)。(8)優(yōu)選的是，還具備平滑處理部，對(duì)所述原圖像分量進(jìn)行平滑處理；顏色插補(bǔ)部，對(duì)由所述平滑處理部進(jìn)行了平滑處理的原圖像分量的欠缺像素?cái)?shù)據(jù)進(jìn)行插補(bǔ)；以及顏色信號(hào)生成部，根據(jù)所述原圖像分量生成RGB顏色信號(hào)，所述顏色信號(hào)生成部根據(jù)由所述顏色插補(bǔ)部對(duì)欠缺像素?cái)?shù)據(jù)進(jìn)行了插補(bǔ)的原圖像分量生成所述RGB顏色信號(hào)。根據(jù)該結(jié)構(gòu)，由于在進(jìn)行插補(bǔ)處理之前進(jìn)行平滑處理，所以可以減小平滑處理部的電路規(guī)模。(9)優(yōu)選的是，所述攝像元件是以矩陣狀排列了包括光譜靈敏度分別不同的第1 像素、第2像素、第3像素、以及第4像素的單位像素部，在將可見(jiàn)波長(zhǎng)區(qū)域和紅外波長(zhǎng)區(qū)域設(shè)為有靈敏度波長(zhǎng)波段時(shí)，所述第1像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的第1濾色器，所述第2像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域以及綠色區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的第2濾色器，所述第 3像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的紅外濾波器，所述第4像素不具備濾波器。根據(jù)該結(jié)構(gòu)，由于全部像素在紅外波長(zhǎng)區(qū)域中具有靈敏度，所以可以得到S/N比高的紅外圖像分量。另外，可以低成本地生產(chǎn)光譜透射特性高的攝像元件。(10)優(yōu)選的是，所述攝像元件的光譜靈敏度不同的至少3種像素中的至少一種在紅外波長(zhǎng)區(qū)域中具有靈敏度。(11)優(yōu)選的是，所述攝像元件的光譜靈敏度不同的至少3種像素中的至少一種僅在紅外波長(zhǎng)區(qū)域中具有靈敏度，所述第1強(qiáng)度信號(hào)是僅通過(guò)對(duì)包含紅外圖像分量的原圖像分量進(jìn)行加法處理來(lái)計(jì)算出的。根據(jù)該結(jié)構(gòu)，至少一個(gè)在紅外波長(zhǎng)區(qū)域中具有靈敏度，無(wú)需進(jìn)行減法處理而僅通過(guò)加法處理計(jì)算出包括紅外圖像分量的原圖像分量，所以可以得到S/N比高的紅外圖像分量。因此，即使在光子的量少的夜間，也可以生成S/N比高的亮度信號(hào)。根據(jù)本發(fā)明，通過(guò)對(duì)構(gòu)成原圖像數(shù)據(jù)的原圖像分量進(jìn)行加法處理，來(lái)生成第1強(qiáng)度信號(hào)，計(jì)算出該第1強(qiáng)度信號(hào)作為成為變換對(duì)象的顏色空間的亮度信號(hào)。因此，即使在光子的量少的夜間，也可以生成S/N比高的亮度信號(hào)。另外，在對(duì)RGB顏色信號(hào)進(jìn)行了顏色空間變換之后，通過(guò)進(jìn)行平滑處理來(lái)計(jì)算顏色空間的色度信號(hào)的情況下，進(jìn)而，即使在光子的量少的夜間，也可以生成S/N比高的色度信號(hào)。


圖1示出實(shí)施方式1的圖像輸入裝置1的框圖。圖2是示出攝像元件的像素的排列的圖。圖3是示出Ye、R、IR濾波器的光譜透射特性的圖。圖4是示出圖像處理部的詳細(xì)結(jié)構(gòu)的框圖。圖5是示出噪聲分量的分布的曲線圖。圖6(a)是示出進(jìn)行了減法處理的噪聲分量的表，(b)是示出進(jìn)行了加法處理的噪聲分量的表。圖7是示出實(shí)施方式1的圖像輸入裝置1的動(dòng)作的流程圖。圖8是示出實(shí)施方式2的圖像輸入裝置1的動(dòng)作的流程圖。圖9是將平滑處理部設(shè)置到顏色插補(bǔ)部的前級(jí)時(shí)的圖像處理部4的框圖。圖10是示出青綠色和品紅色的光譜靈敏度特性的圖。(附圖標(biāo)記說(shuō)明)1 圖像輸入裝置；2 鏡頭；3 攝像元件；4 圖像處理部；5 控制部；41 顏色插補(bǔ)部；42 顏色信號(hào)生成部；43 顏色空間變換部；44 =RGB顏色信號(hào)生成部；45 平滑處理部。
具體實(shí)施例方式(實(shí)施方式1)以下，說(shuō)明本發(fā)明的實(shí)施方式1的圖像輸入裝置1。圖1示出圖像輸入裝置1的框圖。如圖1所示，圖像輸入裝置1具備鏡頭2、攝像元件3、圖像處理部4、以及控制部5。此處，圖像輸入裝置1搭載于例如汽車，對(duì)汽車的周圍的被攝體進(jìn)行攝像。鏡頭2由取入被攝體的光像并引導(dǎo)到攝像元件3的光學(xué)鏡頭系統(tǒng)構(gòu)成。作為光學(xué)鏡頭系統(tǒng)，可以采用沿著被攝體的光像的光軸L串聯(lián)地配置的例如可變焦距鏡頭、單焦點(diǎn)鏡頭、其他鏡頭模塊等。另外，鏡頭2也可以具備用于調(diào)節(jié)透射光量的光圈(圖略)、快門 (圖略)等，在該情況下，在控制部5的控制之下，控制光圈以及快門的驅(qū)動(dòng)。攝像元件3包括受光部，由PD(光電二極管)構(gòu)成；輸出電路，輸出由受光部進(jìn)行了光電變換的信號(hào)；以及驅(qū)動(dòng)電路，對(duì)攝像元件3進(jìn)行驅(qū)動(dòng)，生成具有與光量對(duì)應(yīng)的水平的原圖像數(shù)據(jù)。此處，作為攝像元件3，可以采用CMOS圖像傳感器、VMIS圖像傳感器、以及 CCD圖像傳感器等各種攝像傳感器。另外，在本實(shí)施方式中，攝像元件3通過(guò)具備濾色器的像素，對(duì)至少可見(jiàn)彩色圖像分量進(jìn)行攝像，通過(guò)具備紅外濾波器的像素對(duì)紅外圖像分量進(jìn)行攝像，通過(guò)不具備濾波器的像素對(duì)包括可見(jiàn)圖像分量和紅外圖像分量的圖像分量進(jìn)行攝像。圖像處理部4包括運(yùn)算電路以及用作運(yùn)算電路的工作區(qū)域的存儲(chǔ)器等，對(duì)從攝像元件3輸出的原圖像數(shù)據(jù)進(jìn)行A/D變換而變換為數(shù)字信號(hào)，并執(zhí)行了后述圖像處理之后，輸出到例如圖略的存儲(chǔ)器、顯示裝置?？刂撇?包括CPU以及保存CPU執(zhí)行的程序的存儲(chǔ)器等，響應(yīng)于來(lái)自外部的控制信號(hào)，管理圖像輸入裝置1的整體控制。圖2是示出攝像元件3的像素的排列的圖。如圖2所示，攝像元件3是以矩陣狀排列有包括如像素(第1像素)、R像素(第2像素)、頂像素(第3像素)、以及W像素 (第4像素)的單位像素部31。在圖2的情況下，在單位像素部31中，在第1行第1列中排列R像素，在第2行第 1列中排列頂像素，在第1行第2列中排列W像素，在第2行第2列中排列知像素。但是， 這是一個(gè)例子，也可以按照其他模式排列R像素、IR像素、W像素、以及知像素。如像素具備如濾波器(第1濾色器)，所以對(duì)作為如的可見(jiàn)彩色圖像分量的圖像分量如(原圖像分量)以及紅外圖像分量進(jìn)行攝像。R像素具備R濾波器(第2濾色器)， 所以對(duì)作為R的可見(jiàn)彩色圖像分量的圖像分量R(原圖像分量)以及紅外圖像分量進(jìn)行攝像。頂像素具備頂濾波器(紅外濾波器)，所以對(duì)作為紅外圖像分量的圖像分量頂(原圖像分量)進(jìn)行攝像。W像素不具備濾波器，所以對(duì)作為包括可見(jiàn)圖像分量和圖像分量頂?shù)膱D像分量的圖像分量W(原圖像分量)進(jìn)行攝像。圖3是示出Ye、RJR濾波器的光譜透射特性的圖，縱軸表示透射率(靈敏度)，橫軸表示波長(zhǎng)(nm)。另外，用虛線表示的曲線圖示出卸下了濾波器的狀態(tài)下的像素的光譜靈敏度特性?？芍摴庾V靈敏度特性在紅外波長(zhǎng)區(qū)域中具有峰值，呈現(xiàn)上凸的曲線而變化。另外，在圖3中，400nm 700nm被設(shè)成可見(jiàn)波長(zhǎng)區(qū)域，700nm IlOOnm被設(shè)成紅外波長(zhǎng)區(qū)域， 400nm IlOOnm被設(shè)成有靈敏度波長(zhǎng)波段。另外，不具有濾波器的情況的像素的光譜靈敏度特性是直至紫外區(qū)域具有靈敏度，但通過(guò)鏡頭2切斷了紫外區(qū)域，所以400nm IlOOnm 成為有靈敏度波長(zhǎng)波段。另外，光譜靈敏度特性不限于圖3所示，只要從可見(jiàn)光區(qū)域起一直到紅外光區(qū)域具有靈敏度即可。如圖3所示，如濾波器具有使除了可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域的所述有靈敏度波長(zhǎng)
7波段的光透射的特性。因此，Ye濾波器主要使黃色的光和紅外光透射。R濾波器具有使除了可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域以及綠色區(qū)域的有靈敏度波長(zhǎng)波段的光透射的特性。因此，R濾波器主要使紅的光和紅外光透射。頂濾波器具有使除了可見(jiàn)波長(zhǎng)區(qū)域的有靈敏度波長(zhǎng)波段、即紅外波長(zhǎng)波段的光透射的特性。W表示不具備濾波器的情況，使像素的有靈敏度波長(zhǎng)波段的光全部透射。除此之外，為了實(shí)現(xiàn)近似的特性，代替h、R、IR而使用h、M (品紅色)+IR、C (青綠色)+頂(其中，M+頂僅遮蔽綠色，C+頂僅遮蔽紅色)也可以實(shí)現(xiàn)。其中，R像素、頂像素、 Ye像素可以使光譜透射特性變得陡峭，例如，與M+頂濾波器、C+IR濾波器相比，光譜透射特性更良好。即，M+頂濾波器以及C+頂濾波器分別具有僅遮蔽有靈敏度波長(zhǎng)波段中的、作為中央的一部分區(qū)域的綠色區(qū)域以及紅色區(qū)域的特性，在該遮蔽的波長(zhǎng)區(qū)域的前后具有透射波長(zhǎng)區(qū)域，相對(duì)于此，R濾波器、IR濾波器、Ye濾波器具有成為遮蔽波長(zhǎng)區(qū)域和透射波長(zhǎng)區(qū)域這2個(gè)鄰接的波長(zhǎng)區(qū)域的特性即可，所以可以容易地具有陡峭的光譜透射特性。因此，R 濾波器、IR濾波器、Ye濾波器與M+頂濾波器以及C+頂濾波器相比，即使進(jìn)行運(yùn)算，也可以分別以更高精度抽出RGB圖像分量。因此，通過(guò)由R像素、頂像素、如像素、W像素構(gòu)成攝像元件3，可以實(shí)現(xiàn)攝像元件3的高性能化。圖4是示出圖像處理部4的詳細(xì)結(jié)構(gòu)的框圖。圖像處理部4具備顏色插補(bǔ)部41、 顏色信號(hào)生成部42、顏色空間變換部43、以及RGB顏色信號(hào)生成部44。顏色插補(bǔ)部41對(duì)通過(guò)如像素得到的圖像分量如、通過(guò)R像素得到的圖像分量R、 通過(guò)頂像素得到的圖像分量頂、以及通過(guò)W像素得到的圖像分量W分別實(shí)施用于對(duì)欠缺像素?cái)?shù)據(jù)進(jìn)行插補(bǔ)的插補(bǔ)處理，使圖像分量R、圖像分量IR、圖像分量W、以及圖像分量如分別成為由與攝像元件3的像素?cái)?shù)相同的像素?cái)?shù)構(gòu)成的圖像數(shù)據(jù)。另外，在圖像分量k、R、IR、 W中產(chǎn)生欠缺像素?cái)?shù)據(jù)的原因在于，R像素JR像素、W像素、以及如像素具有上述排列。另外，作為插補(bǔ)處理，采用例如線性插補(bǔ)處理即可。顏色信號(hào)生成部42通過(guò)式(1)對(duì)由顏色插補(bǔ)部41實(shí)施了插補(bǔ)處理的圖像分量 Ye、圖像分量R、圖像分量IR、以及圖像分量W進(jìn)行合成，而生成顏色信號(hào)dR、dG、dB (RGB顏色信號(hào))。dR = R-IRdG = Ye-R (1)dB = W-Ye顏色空間變換部43如式( 所示將顏色信號(hào)dR、dG、dB變換為包含亮度信號(hào)Y(第 2強(qiáng)度信號(hào)的一個(gè)例子)和色差信號(hào)Cb、Cr(色度信號(hào)的一個(gè)例子)的顏色空間。此處，色差信號(hào)Cb表示藍(lán)色的色差信號(hào)，色差信號(hào)Cr表示紅色的色差信號(hào)。Y = O. 3dR+0. 59dG+0. IldBCb = dB-Y (2)Cr = dR-Y另外，顏色空間變換部43如式(3)所示計(jì)算出通過(guò)將圖像分量Ye、R、IR、W相加而得到的亮度信號(hào)Yadd(第1強(qiáng)度信號(hào)的一個(gè)例子)作為成為變換對(duì)象的顏色空間的亮度信號(hào)。Yadd = (1/4) X (R+IR+ff+Ye) (3)
此處，亮度信號(hào)^dd由于通過(guò)加法處理來(lái)計(jì)算，所以與通過(guò)減法處理計(jì)算了亮度信號(hào)Y的情況相比，可以降低噪聲分量。圖5是示出包含噪聲分量的圖像分量的分布的曲線圖。圖6(a)是示出包含被減法處理的噪聲分量的輸出圖像分量的表，圖6(b)是示出包含被加法處理的噪聲分量的輸出圖像分量的表。在圖5中，縱軸表示包含噪聲分量的圖像分量的頻度，橫軸表示包含噪聲分量的輸出圖像分量的強(qiáng)度。a示出例如包含某圖像分量A的噪聲分量的輸出分布，b示出包含某圖像分量B的噪聲分量的輸出分布。此處，包含噪聲分量的輸出分布a、b是例如將10、9作為平均值而標(biāo)準(zhǔn)偏差具有同一正態(tài)分布。在圖5所示的例子中，如果簡(jiǎn)化運(yùn)算a-b，則得到圖6(a)的結(jié)果。另外，如果簡(jiǎn)化運(yùn)算(1/2) X (a+b)，則得到圖6(b)的結(jié)果。在進(jìn)行了減法處理的情況下，如圖6(a)所示，a-b的最大值是3，最小值是-1。 因此，噪聲分量的范圍成為4。另一方面，在進(jìn)行了加法處理的情況下，如圖6(b)所示， (a+b)/2的最大值是10. 5，最小值是8. 5，噪聲分量的范圍成為2。根據(jù)該結(jié)果可知，在進(jìn)行了加法處理時(shí)，與進(jìn)行了減法處理的情況相比，噪聲分量的范圍變小，S/N比大幅提高。另外，圖5以及圖6只不過(guò)是一個(gè)例子，并不是示出實(shí)際的噪聲分量的值?；氐綀D4，顏色空間變換部43對(duì)通過(guò)式( 求出的色差信號(hào)Cb、Cr進(jìn)行平滑處理， 計(jì)算出色差信號(hào)Cbs、Crs。此處，作為平滑處理，例如，也可以采用級(jí)聯(lián)濾波處理，該級(jí)聯(lián)濾波處理是使用5X5等比較小的尺寸的低通濾波器進(jìn)行反復(fù)處理，對(duì)色差信號(hào)Cb、Cr進(jìn)行多重析像度化的濾波處理。另外，也可以采用使用了比較大的尺寸的規(guī)定尺寸的低通濾波器的濾波處理。另外，也可以采用針對(duì)發(fā)光的被攝體不產(chǎn)生模糊，而對(duì)邊緣以外的區(qū)域進(jìn)行平滑化的邊緣保存濾波(在像素間的信號(hào)水平差小于某基準(zhǔn)值的情況下進(jìn)行平滑化，而大于基準(zhǔn)值的部分不進(jìn)行平滑化的濾波)處理。另外，對(duì)發(fā)光的檢測(cè)是可以通過(guò)對(duì)紅外分量和可見(jiàn)光分量進(jìn)行比較來(lái)推測(cè)。通過(guò)這樣對(duì)色差信號(hào)Cb、Cr進(jìn)行平滑處理，色差信號(hào)Cb、Cr中包含的噪聲分量變淡，可以使色差信號(hào)Cb、Cr的S/N比提高。另外，顏色空間變換部43如式(4)所示，根據(jù)相對(duì)于通過(guò)式(2)求出的亮度信號(hào) Y的通過(guò)式(3)求出的亮度信號(hào)^dd的比例RTl (第1比例RT1 = Yadd/Y)對(duì)色差信號(hào) Crs、Cbs進(jìn)行修正，求出色差信號(hào)Crm、Cbm0Crm = Crs X Yadd/YCbm = Cbs X Yadd/Y (4)通過(guò)這樣使用比例RTl進(jìn)行運(yùn)算來(lái)計(jì)算顏色信號(hào)、具體而言使用比例RTl對(duì)色差信號(hào)Crs、Cbs進(jìn)行修正，可以平衡良好地計(jì)算出成為變換對(duì)象的顏色空間中的色差信號(hào)和亮度信號(hào)。通過(guò)進(jìn)行該處理，在計(jì)算出了顏色信號(hào)dR'、dG'、dB'時(shí)，即使在亮度信號(hào) Yadd大于亮度信號(hào)Y的情況下也不會(huì)喪失鮮明度，即使在亮度信號(hào)^dd小于亮度信號(hào)Y的情況下也可以防止引起鮮明度變得過(guò)于過(guò)剩的問(wèn)題。RGB顏色信號(hào)生成部44通過(guò)對(duì)式( 進(jìn)行逆變換，根據(jù)亮度信號(hào)^dcU和色差信號(hào)Crm、Cbm計(jì)算顏色信號(hào)dR'、dG'、dB'。具體而言，將式(2)的Y作為^dd,將Cb作為Cbm，將Cr作為Crm，將dR、dG、dB作為dR'、dG'、dB'，而對(duì)式(2)進(jìn)行逆變換即可。另外，顏色信號(hào)dR'、dG'、dB'由于經(jīng)過(guò)上述處理來(lái)計(jì)算，所以與通過(guò)對(duì)圖像分量如、1 、11 、1進(jìn)行減法處理來(lái)計(jì)算的顏色信號(hào)dR、dG、dB相比，是精度非常高的顏色信號(hào)。接下來(lái)，說(shuō)明圖像輸入裝置1的動(dòng)作。圖7是示出實(shí)施方式1的圖像輸入裝置1 的動(dòng)作的流程圖。首先，控制部5使攝像元件3對(duì)1幀的原圖像數(shù)據(jù)進(jìn)行攝像。由此，得到圖像分量Ye、R、IR>ff(步驟Si)。此處，攝像元件3通過(guò)知像素對(duì)圖像分量知進(jìn)行攝像，通過(guò)R像素對(duì)圖像分量R 進(jìn)行攝像，通過(guò)頂像素對(duì)圖像分量頂進(jìn)行攝像，通過(guò)W像素對(duì)圖像分量W進(jìn)行攝像。另外，在圖像輸入裝置ι對(duì)運(yùn)動(dòng)圖像進(jìn)行攝像的情況下，控制部5按照30fps、60fps等幀率 (framerate)使攝像元件3對(duì)原圖像數(shù)據(jù)進(jìn)行攝像即可。另外，在圖像輸入裝置1對(duì)靜止圖像進(jìn)行攝像的情況下，控制部5在由用戶按下了釋放按鈕時(shí)，使攝像元件3對(duì)原圖像數(shù)據(jù)進(jìn)行攝像即可。接下來(lái)，通過(guò)顏色插補(bǔ)部41，對(duì)圖像分量h、R、IR、W實(shí)施顏色插補(bǔ)處理。接下來(lái)， 顏色信號(hào)生成部42進(jìn)行式(1)所示的dR = R-IR, dG = Ye-R, dB = W-Ye的運(yùn)算而計(jì)算顏色信號(hào)(11 、(16、(^(步驟52)。接下來(lái)，顏色信號(hào)生成部42進(jìn)行式( 所示的Y = O. 3dR+0. 59dG+0. lldB、Cb = dB-Y、Cr = dR-Y的運(yùn)算，計(jì)算亮度信號(hào)Y、色差信號(hào)Cr、Cb (步驟S3)。接下來(lái)，顏色空間變換部43對(duì)色差信號(hào)Cr、Cb進(jìn)行平滑處理，計(jì)算色差信號(hào)Crs、 Cbs (步驟 S4)。接下來(lái)，顏色空間變換部43進(jìn)行式(1)所示的^dd = (1/4) X (R+IR+ff+Ye)的運(yùn)算，計(jì)算亮度信號(hào)Yadd (步驟S5)。另外，在本實(shí)施方式中，如式(1)所示，通過(guò)將R、IR、WJe相加而計(jì)算了亮度信號(hào) ^dd,但不限于此，例如也可以如式(I)'所示，通過(guò)進(jìn)行加權(quán)相加來(lái)計(jì)算亮度信號(hào)^dd。Yadd= α · R+β · IR+γ · W+σ · Ye (1)'其中，α、β、γ、ο是加權(quán)系數(shù)，α+β + γ + σ = 1。另外，作為α、β、γ、ο，例如采用預(yù)定的值即可。接下來(lái)，顏色空間變換部43進(jìn)行式(4)所示的運(yùn)算來(lái)計(jì)算色差信號(hào)Crm、Cbm(步驟S6)。另外，在圖7中，將色差信號(hào)Crm、Cbm匯總而表示為Cm，將色差信號(hào)Crs、Cbs匯總而表示為Cs。接下來(lái)，RGB顏色信號(hào)生成部44通過(guò)對(duì)式( 進(jìn)行逆變換，根據(jù)亮度信號(hào)^dcU色差信號(hào)Crm、Cbm計(jì)算顏色信號(hào)dR'、dG'、dB'(步驟S7)。這樣，根據(jù)圖像輸入裝置1，使用式⑴來(lái)計(jì)算亮度信號(hào)^dd,所以即使在夜間也可以計(jì)算出S/N比高的亮度信號(hào)^dd。另外，由于對(duì)色差信號(hào)Cr、Cb進(jìn)行平滑處理，所以即使在夜間也可以計(jì)算出S/N比高的色差信號(hào)Crs、Cbs。(實(shí)施方式2)實(shí)施方式2的圖像輸入裝置1的特征點(diǎn)在于，色差信號(hào)Crm、Cbm的計(jì)算手法與實(shí)施方式1不同。另外，在本實(shí)施方式中，對(duì)與實(shí)施方式1相同的部分省略說(shuō)明。另外，圖像處理部4的詳細(xì)結(jié)構(gòu)與實(shí)施方式1相同，所以使用圖4。在本實(shí)施方式中，圖4所示的顏色空間變換部43對(duì)通過(guò)式( 求出的亮度信號(hào)Y
10實(shí)施平滑處理，求出亮度信號(hào)^。另外，對(duì)通過(guò)式C3)求出的亮度信號(hào)^dd實(shí)施平滑處理， 計(jì)算亮度信號(hào)^dds。此處，作為平滑處理，采用級(jí)聯(lián)濾波處理、通常的濾波處理即可。并且，顏色空間變換部43如式(5)所示，根據(jù)相對(duì)于實(shí)施了平滑處理的亮度信號(hào) Yadds的實(shí)施了平滑處理的亮度信號(hào)Xs的比例RT2(第2比例RT2 = k/Yadds)，對(duì)亮度信號(hào)^dd進(jìn)行修正，計(jì)算出修正后的亮度信號(hào)^dd'作為成為變換對(duì)象的顏色空間的亮度信號(hào)。Yadd' = YaddX Ys/Yadds (5)亮度信號(hào)Y通過(guò)式( 所示的顏色空間變換處理來(lái)求出，所以成為高精度地再現(xiàn)了人類視覺(jué)辨認(rèn)的圖像的亮度的信號(hào)。另一方面，亮度信號(hào)^dd通過(guò)式C3)所示的加法處理來(lái)計(jì)算，所以與式( 相比，難以高精度地再現(xiàn)人類視覺(jué)辨認(rèn)的圖像的亮度。因此，隨著與亮度信號(hào)k相比亮度信號(hào)Yadds變得更大，即隨著比例RT2從1變小，亮度信號(hào)^dd有可能無(wú)法高精度地再現(xiàn)人類視覺(jué)辨認(rèn)的圖像的亮度。因此，通過(guò)使用式( 來(lái)求出亮度信號(hào)私(1(1'，可以使亮度信號(hào)^dd成為高精度地再現(xiàn)了人類視覺(jué)辨認(rèn)的圖像的亮度的信號(hào)。 另外，此處，對(duì)于k使用被平滑的值，所以噪聲分量被降低。但是，根據(jù)圖案，有時(shí)在邊緣部中產(chǎn)生不自然的人為因素。另外，顏色空間變換部43如式(6)所示根據(jù)上述比例RTl對(duì)色差信號(hào)Crs、Cbs進(jìn)行修正，計(jì)算出色差信號(hào)CiV ,Cbm'。另外，此處，優(yōu)選的是代替^dd而使用^dd'。Crm' = CrsXYadd' /YCbm' = CbsXYadd' /Y (6)由此，保持成為變換對(duì)象的顏色空間中的亮度信號(hào)和色差信號(hào)的平衡，可以提高由后級(jí)的RGB顏色信號(hào)生成部44生成的顏色信號(hào)dR'、dG'、dB'的計(jì)算精度。另外，顏色空間變換部43也可以對(duì)紅外光的強(qiáng)度和可見(jiàn)光的強(qiáng)度進(jìn)行比較，在紅外光的強(qiáng)度強(qiáng)的情況下，以使亮度信號(hào)^dd的加權(quán)變小的方式，對(duì)亮度信號(hào)^dd和按原樣使用了圖像分量Ye、R、IR、W的信號(hào)竹進(jìn)行加權(quán)相加而計(jì)算出顏色空間的亮度信號(hào)。在該情況下，顏色空間變換部43在上述比例RT2小于表示亮度信號(hào)Yadds占統(tǒng)治地位的閾值Thl的情況下，判定為紅外光的強(qiáng)度比可見(jiàn)光的強(qiáng)度強(qiáng)即可。并且，通過(guò)如式 (7)所示以使亮度信號(hào)^dd的加權(quán)變小的方式，對(duì)亮度信號(hào)^dd和信號(hào)Yt進(jìn)行加權(quán)相加， 而計(jì)算亮度信號(hào)^dd'即可。Yadd ‘ = YtX (1-Ys/Yadds)+YaddX (Ys/Yadds) (7)其中，竹表示按原樣使用了圖像分量k、R、IR、W中的某一個(gè)的信號(hào)。具體而言， 在計(jì)算某像素的亮度信號(hào)^dd'的情況下，在該像素對(duì)應(yīng)于W濾波器的情況下設(shè)成竹= W，在對(duì)應(yīng)于如濾波器的情況下設(shè)成竹=Ye，在對(duì)應(yīng)于R濾波器的情況下設(shè)成竹=R，在對(duì)應(yīng)于頂濾波器的情況下設(shè)成竹=頂。在比例RT2中，在亮度信號(hào)^dds占統(tǒng)治地位的情況下，亮度信號(hào)^dd'有可能與人類目視的圖像的亮度有很大不同。因此，在亮度信號(hào)^dd'大的情況下，通過(guò)以使相對(duì)于亮度信號(hào)^dd的信號(hào)Yt的比例變大的方式，計(jì)算亮度信號(hào)^dd'，可以使亮度信號(hào) Yadd'成為更接近人類目視的圖像的亮度的信號(hào)。另外，在比例RT2中，在亮度信號(hào)Yadds占統(tǒng)治地位的情況下，表示紅外光占統(tǒng)治地位，所以可以忽略Ye、R、IR、W的像素間的由于被攝體的顏色引起的信號(hào)的水平差。艮口，可以視為與單色傳感器的情況等同。因此，通過(guò)不將Ye、R、IR、W的像素相加，而作為分別獨(dú)立的信號(hào)進(jìn)行處理，可以使析像度(分辨率)成為最大。進(jìn)而，顏色空間變換部43也可以使用圖像分量W與圖像分量頂?shù)牟罨蛘弑?，?duì)紅外光的強(qiáng)度和可見(jiàn)光的強(qiáng)度進(jìn)行比較。在該情況下，在IR/W大于接近1的規(guī)定的值時(shí)，判定為紅外光的強(qiáng)度比可見(jiàn)光的強(qiáng)度強(qiáng)，在小于接近0的規(guī)定的值時(shí)，判定為可見(jiàn)光的強(qiáng)度比紅外光的強(qiáng)度強(qiáng)即可。另外，在WHR小于接近0的規(guī)定的值時(shí)，判定為紅外光的強(qiáng)度比可見(jiàn)光的強(qiáng)度強(qiáng)， 在頂小于接近0的規(guī)定的值時(shí)，判定為可見(jiàn)光的強(qiáng)度比紅外光的強(qiáng)度強(qiáng)即可。進(jìn)而，IR/W或者IR-W的值越大，紅外光的強(qiáng)度越強(qiáng)于可見(jiàn)光的強(qiáng)度，所以也可以根據(jù)IR/W或者IR-W的值來(lái)確定信號(hào)竹的加權(quán)系數(shù)，進(jìn)行式(7)‘的運(yùn)算來(lái)計(jì)算亮度信號(hào) Yadd'。Yadd' = k · Yt+Yadd · (l_k) (7)'其中，k彡l，k表示隨著IR/W或者IR-W變大而值變大的預(yù)定的信號(hào)Yt的權(quán)重系數(shù)。接下來(lái)，RGB顏色信號(hào)生成部44通過(guò)對(duì)式(2)進(jìn)行逆變換，根據(jù)亮度信號(hào)^dd' 和色差信號(hào)Crm' ,Cbm'，計(jì)算顏色信號(hào)dR'、dG'、dB'。接下來(lái)，說(shuō)明圖像輸入裝置1的動(dòng)作。圖8是示出實(shí)施方式2的圖像輸入裝置1 的動(dòng)作的流程圖。步驟Sll S15與圖7所示的步驟Sl S5相同，所以省略說(shuō)明。在步驟S16中， 顏色空間變換部43對(duì)亮度信號(hào)^dd實(shí)施平滑處理，計(jì)算亮度信號(hào)^dds，并且對(duì)亮度信號(hào) Y實(shí)施平滑處理，計(jì)算亮度信號(hào)k。接下來(lái)，顏色空間變換部43在比例RT2是閾值Thl以上的情況下，通過(guò)式(5)的運(yùn)算而計(jì)算出亮度信號(hào)^dd'，在比例RT2小于閾值Thl的情況下，通過(guò)式(7)的運(yùn)算而計(jì)算出亮度信號(hào)^dd'(步驟S17)。接下來(lái)，顏色空間變換部43通過(guò)式(6)的運(yùn)算，求出色差信號(hào)Crm'、Cbm'(步驟S18)。接下來(lái)，RGB顏色信號(hào)生成部44對(duì)式( 進(jìn)行逆變換，求出顏色信號(hào)dR'、dG'、 dB'(步驟 S19)。這樣，根據(jù)實(shí)施方式2的圖像輸入裝置1，除了實(shí)施方式1的效果以外，由于在比例RT2是閾值Thl以上的情況下，使用式(5)來(lái)計(jì)算亮度信號(hào)^dd'，在比例RT2小于閾值 Thl的情況下，使用式(7)來(lái)計(jì)算亮度信號(hào)^dd'，所以可以生成高精度地再現(xiàn)了人類視覺(jué)辨認(rèn)的圖像的亮度的亮度信號(hào)。另外，使用式(6)對(duì)色差信號(hào)Crs、Cbs進(jìn)行修正，而計(jì)算色差信號(hào)Crm'、Cbm'， 所以在成為變換對(duì)象的顏色空間中，可以平衡良好地求出亮度信號(hào)和色差信號(hào)。另外，顏色空間變換部43也可以是以隨著紅外光的強(qiáng)度接近可見(jiàn)光的強(qiáng)度，使色差信號(hào)Crm' ,Cbm'變低的方式，對(duì)色差信號(hào)Crm' ,Cbm'進(jìn)行修正。在該情況下，顏色空間變換部43例如代替式(6)，通過(guò)式⑶計(jì)算色差信號(hào) Crm' ,Cbm'即可。Crm' = CrsXYaddXRT2/YCbm' = CbsXYaddXRT2/Y (8)
S卩，在比例RT2小于閾值Thl的情況下，相對(duì)于亮度信號(hào)Y，亮度信號(hào)^dd'占統(tǒng)治地位，在夜間進(jìn)行攝影的可能性高，顏色信息不足，所以有可能無(wú)法高精度地計(jì)算色差信號(hào)。因此，可以通過(guò)采用式(8)，以使色差信號(hào)變低，使計(jì)算精度低的色差信號(hào)的影響變低的方式，計(jì)算顏色信號(hào)dR'、dG'、dB'，可以在視覺(jué)上無(wú)不適感地計(jì)算顏色信號(hào)dR'、dG'、 dB'。進(jìn)而，也可以是以適合于標(biāo)準(zhǔn)顯示器(例如，IEC 61966-2-1 sRGB規(guī)格)的方式，對(duì)顏色信號(hào)dR'、dG'、dB'進(jìn)一步進(jìn)行顏色變換。另外，不限于將通過(guò)比較比例RT2與閾值而使用的數(shù)學(xué)式改換為(6)或者(8)，而也可以存儲(chǔ)隨著比例RT2變小，使色差信號(hào)Crs、Cbs變小那樣的預(yù)定的修正值，使用該修正值來(lái)計(jì)算色差信號(hào)Crm' ,Cbm'。在該情況下，在式(8)中，代替RT2，采用該修正值即可。另外，在上述實(shí)施方式1、2中，作為第2 第3像素，使用了 R像素、頂像素，但不限于此，也可以如上所述采用青綠色(C)像素、以及品紅色(M)像素。S卩，也可以將第1 第4像素設(shè)成如』、(、1像素。在該情況下，散粒噪聲變低，而可以使原圖像數(shù)據(jù)中包含的噪聲分量更低。另外，在該情況下，如果將通過(guò)Ye、C、Μ、W像素得到的圖像分量設(shè)為圖像分量Xe、 C、M、W，則RGB顏色信號(hào)生成部42代替式(1)而通過(guò)式(9)求出顏色信號(hào)dR、dG、dB即可。dR = W-CdG = W-M (9)dB = W-Ye另外，顏色空間變換部43代替式(3)而通過(guò)式(10)求出亮度信號(hào)^dd即可。Yadd = (1/4) X (Ye+C+M+ff) (10)另外，青綠色(C)、品紅色(M)的光譜靈敏度特性如圖10所示。此處，也可以不是如式(10)那樣進(jìn)行單純加法平均，而是與式(1)‘同樣地采用加權(quán)相加。另外，在上述實(shí)施方式1、2中，顏色空間變換部43對(duì)色差信號(hào)Cb、Cr進(jìn)行了平滑處理，但不限于此。即，也可以如圖9所示，在顏色插補(bǔ)部41的前級(jí)設(shè)置平滑處理部45， 并使平滑處理部45對(duì)圖像分量Ye、R、IR、W進(jìn)行平滑處理，從而省略利用顏色空間變換部 43的平滑處理。進(jìn)而，平滑處理只要是在計(jì)算出顏色信號(hào)dR、dG、dB為止，則在哪里實(shí)施都沒(méi)有關(guān)系。另外，在上述實(shí)施方式1、2中，攝像元件3具備第1 第4像素這4種像素，但不限于此，只要具備至少3種像素即可。在該情況下，作為構(gòu)成攝像元件3的像素的種類，根據(jù)各像素的光譜透射特性采用可以生成R、G、B的顏色信號(hào)的種類即可。(效果的總結(jié))通過(guò)以上的處理，得到以下的效果。(1)由于是盡可能接受光子的光譜靈敏度的濾波器，所以散粒噪聲減少。(2)在顏色信號(hào)處理中，僅通過(guò)加法來(lái)計(jì)算在視覺(jué)上醒目的亮度分量，所以噪聲不會(huì)被強(qiáng)調(diào)。(3)在色度信號(hào)的計(jì)算中使用減法，雖然噪聲增加，但由于進(jìn)行平滑的噪聲減少， 并且由于人類的眼睛的視覺(jué)特性，不會(huì)看起來(lái)模糊。
(4)由于可以匹配到由人類的眼睛觀察到的明亮度，所以可以實(shí)現(xiàn)通過(guò)可見(jiàn)光觀察到那樣的顏色再現(xiàn)。(5)在僅有紅外光的情況下，可以提高析像度。
權(quán)利要求
1.一種圖像輸入裝置，其特征在于，具備攝像元件，排列有光譜靈敏度不同的至少3種像素，對(duì)包含至少3種原圖像分量的原圖像數(shù)據(jù)進(jìn)行攝像；以及顏色空間變換部，將所述原圖像數(shù)據(jù)變換到包含亮度信號(hào)和色度信號(hào)的顏色空間， 所述顏色空間變換部計(jì)算出通過(guò)對(duì)所述原圖像分量進(jìn)行加法處理而得到的第1強(qiáng)度信號(hào)作為所述顏色空間的亮度信號(hào)。
2.根據(jù)權(quán)利要求1所述的圖像輸入裝置，其特征在于，所述顏色空間變換部對(duì)所述原圖像分量或者基于所述原圖像分量的色度信號(hào)進(jìn)行平滑處理。
3.根據(jù)權(quán)利要求1或者2所述的圖像輸入裝置，其特征在于，還具備顏色信號(hào)生成部，該顏色信號(hào)生成部根據(jù)所述原圖像分量生成RGB顏色信號(hào)， 所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于所述第2強(qiáng)度信號(hào)的所述第1強(qiáng)度信號(hào)的比例即第1比例進(jìn)行運(yùn)算來(lái)計(jì)算出所述顏色空間的色度信號(hào)。
4.根據(jù)權(quán)利要求1或者2所述的圖像輸入裝置，其特征在于，還具備顏色信號(hào)生成部，該顏色信號(hào)生成部根據(jù)所述原圖像分量生成RGB顏色信號(hào)， 所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成所述第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于實(shí)施了平滑處理的所述第1強(qiáng)度信號(hào)的實(shí)施了平滑處理的所述第 2強(qiáng)度信號(hào)的比例即第2比例進(jìn)行運(yùn)算來(lái)對(duì)所述第1強(qiáng)度信號(hào)進(jìn)行修正，計(jì)算出修正后的第 1強(qiáng)度信號(hào)作為所述顏色空間的亮度信號(hào)。
5.根據(jù)權(quán)利要求4所述的圖像輸入裝置，其特征在于，所述顏色空間變換部通過(guò)將所述RGB顏色信號(hào)變換到所述顏色空間而生成所述第2強(qiáng)度信號(hào)，通過(guò)使用相對(duì)于所述第2強(qiáng)度信號(hào)的所述第1強(qiáng)度信號(hào)的比例即第1比例進(jìn)行運(yùn)算來(lái)計(jì)算出所述顏色空間的色度信號(hào)。
6.根據(jù)權(quán)利要求1 5中的任一項(xiàng)所述的圖像輸入裝置，其特征在于， 所述原圖像數(shù)據(jù)包含紅外圖像分量，所述顏色空間變換部根據(jù)所述紅外圖像分量，對(duì)紅外光的強(qiáng)度和可見(jiàn)光的強(qiáng)度進(jìn)行比較，以隨著紅外光的強(qiáng)度變強(qiáng)、使所述第1強(qiáng)度信號(hào)的加權(quán)變小的方式，對(duì)所述第1強(qiáng)度信號(hào)和按原樣使用了所述原圖像分量的信號(hào)進(jìn)行加權(quán)相加而計(jì)算出所述顏色空間的亮度信號(hào)。
7.根據(jù)權(quán)利要求1 6中的任一項(xiàng)所述的圖像輸入裝置，其特征在于，所述顏色空間變換部是以紅外光的強(qiáng)度越強(qiáng)于可見(jiàn)光的強(qiáng)度、使所述顏色空間的色度信號(hào)越低的方式進(jìn)行計(jì)算。
8.根據(jù)權(quán)利要求1所述的圖像輸入裝置，其特征在于，還具備 平滑處理部，對(duì)所述原圖像分量進(jìn)行平滑處理；顏色插補(bǔ)部，對(duì)由所述平滑處理部進(jìn)行了平滑處理的原圖像分量的欠缺像素?cái)?shù)據(jù)進(jìn)行插補(bǔ)；以及顏色信號(hào)生成部，根據(jù)所述原圖像分量生成RGB顏色信號(hào)，所述顏色信號(hào)生成部根據(jù)由所述顏色插補(bǔ)部對(duì)欠缺像素?cái)?shù)據(jù)進(jìn)行了插補(bǔ)的原圖像分量生成所述RGB顏色信號(hào)。
9.根據(jù)權(quán)利要求1 8中的任一項(xiàng)所述的圖像輸入裝置，其特征在于，所述攝像元件是以矩陣狀排列了包括光譜靈敏度分別不同的第1像素、第2像素、第3 像素、以及第4像素的單位像素部，在將可見(jiàn)波長(zhǎng)區(qū)域和紅外波長(zhǎng)區(qū)域設(shè)為有靈敏度波長(zhǎng)波段時(shí)，所述第1像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的第1濾色器，所述第2像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域的藍(lán)色區(qū)域以及綠色區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的第2濾色器，所述第3像素具備使除了所述可見(jiàn)波長(zhǎng)區(qū)域以外的所述有靈敏度波長(zhǎng)波段的光透射的紅外濾波器，所述第4像素不具備濾波器。
10.根據(jù)權(quán)利要求1 8中的任一項(xiàng)所述的圖像輸入裝置，其特征在于，所述攝像元件的光譜靈敏度不同的至少3種像素中的至少一種在紅外波長(zhǎng)區(qū)域中具有靈敏度。
11.根據(jù)權(quán)利要求1 10中的任一項(xiàng)所述的圖像輸入裝置，其特征在于，所述攝像元件的光譜靈敏度不同的至少3種像素中的至少一種僅在紅外波長(zhǎng)區(qū)域中具有靈敏度，所述第1強(qiáng)度信號(hào)是僅通過(guò)對(duì)包含紅外圖像分量的原圖像分量進(jìn)行加法處理來(lái)計(jì)算出的。
全文摘要
為了提供即使在光子的量少的夜間，也可以生成S/N比高的亮度信號(hào)的圖像輸入裝置，攝像元件(3)對(duì)圖像分量Ye、R、IR、W進(jìn)行攝像。顏色信號(hào)生成部(42)根據(jù)圖像分量Ye、R、IR、W生成顏色信號(hào)dR、dG、dB。顏色空間變換部(43)將顏色信號(hào)dR、dG、dB變換到包含亮度信號(hào)和色差信號(hào)的顏色空間。此處，顏色空間變換部(43)計(jì)算出通過(guò)對(duì)圖像分量Ye、R、IR、W進(jìn)行加法處理而得到的亮度信號(hào)Yadd作為成為變換對(duì)象的顏色空間的亮度信號(hào)。
文檔編號(hào)H04N9/07GK102204258SQ20098014292
公開(kāi)日2011年9月28日 申請(qǐng)日期2009年10月28日 優(yōu)先權(quán)日2008年11月4日
發(fā)明者掃部幸一, 洪博哲, 高山淳, 高清 申請(qǐng)人:柯尼卡美能達(dá)精密光學(xué)株式會(huì)社