攝像裝置制造方法
【專利摘要】提供一種在低照度環(huán)境下也能再現(xiàn)更自然的被攝體顏色的攝像裝置。攝像部(11)對被攝體進(jìn)行攝影并得到可視光信號和非可視光信號?？梢暪廨x度提取部(14)提取可視光輝度信號(Y1)，非可視光輝度提取部(15)提取非可視光輝度信號(Y2)。顏色信號提取部(13)從可視光信號提取顏色信號并校正顏色信號。圖像合成部(16)合成可視光輝度信號(Y1)和非可視光輝度信號(Y2)，采用所合成的輝度信號(Y3)和校正后的顏色信號來生成彩色圖像?？刂撇?17)按照可視光輝度信號(Y1)的值控制由圖像合成部(16)進(jìn)行合成的可視光輝度信號(Y1)和非可視光輝度信號(Y2)的合成比率以及由顏色信號提取部(13)進(jìn)行校正的顏色信號的放大度和顏色噪聲去除。
【專利說明】攝像裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及使用可視光和非可視光(近紅外光等)并生成彩色圖像的攝像裝置?！颈尘凹夹g(shù)】
[0002]為了進(jìn)行低照度環(huán)境下的彩色圖像攝影，提出采用了紅外光的圖像生成技術(shù)。例如專利文獻(xiàn)I中所記載的紅外線彩色圖像形成裝置具備:“接收從對象物放射或者反射的紅外線，并得到紅外光譜圖像的紅外線照相機(jī)；針對該對象物，預(yù)先存儲顏色與紅外光譜放射強(qiáng)度或者紅外光譜反射率的對應(yīng)數(shù)據(jù)的存儲裝置；基于該對應(yīng)數(shù)據(jù)，根據(jù)上述紅外光譜圖像的各位置的紅外光譜的放射強(qiáng)度或者紅外光譜反射率的值決定上述紅外光譜圖像的各位置的顏色的第I處理單元；和以由上述第I處理單元所得到的顏色信號作為基礎(chǔ)，對上述對象物的圖像的各位置人工地實(shí)施著色的第2處理單元”。
[0003]專利文獻(xiàn)I JP特開2002-171519號公報
[0004]作為攝像裝置的基本性能，要求能夠忠實(shí)地再現(xiàn)攝影對象的被攝體的顏色。但是，例如在使用為監(jiān)視照相機(jī)的情況下，存在在亮度不足的低照度環(huán)境下使用的情況，難以正確地識別所攝影的被攝體的顏色。即使在這種低照度環(huán)境下，也期望能正確地再現(xiàn)被攝體的顏色。
[0005]在上述專利文獻(xiàn)I中，采用紅外光譜放射強(qiáng)度或者紅外光譜反射率的對應(yīng)數(shù)據(jù)來決定被攝體的顏色。但是在該方法中，為了決定被攝體的顏色，需要預(yù)先測定紅外光譜的對應(yīng)數(shù)據(jù)并存儲。此外為了決定顏色而只使用紅外線的受光信號，因此與采用由可視光信號得到的顏色信號的情況相比，未必能夠再現(xiàn)自然的顏色，存在改善的余地。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于，鑒于上述課題，提供一種在低照度環(huán)境下也能再現(xiàn)更自然的被攝體的顏色的攝像裝置。
[0007]本發(fā)明的攝像裝置具備:攝像部，其對被攝體進(jìn)行攝影并通過攝像像素變換為可視光信號和非可視光信號；可視光輝度提取部，其從上述可視光信號提取可視光輝度信號Yl ;非可視光輝度提取部，其從上述非可視光信號提取非可視光輝度信號Y2 ;顏色信號提取部，其從上述可視光信號提取顏色信號并對該顏色信號進(jìn)行校正；圖像合成部，其對上述可視光輝度信號Yl和上述非可視光輝度信號Y2進(jìn)行合成并作為合成輝度信號Y3，采用該合成輝度信號Y3和上述校正后的顏色信號來生成彩色圖像；和控制部，其控制上述攝像部、上述顏色信號提取部、和上述圖像合成部。
[0008]在此，上述控制部按照由上述可視光輝度提取部所提取的可視光輝度信號Yl的值，控制由上述圖像合成部進(jìn)行合成的上述可視光輝度信號Yi和上述非可視光輝度信號Y2的合成比率、以及由上述顏色信號提取部進(jìn)行校正的上述顏色信號的放大度和顏色噪聲去除。
[0009]此外，上述控制部按照上述攝像部的曝光條件控制由上述圖像合成部進(jìn)行合成的上述可視光輝度信號Yl和上述非可視光輝度信號Y2的合成比率、以及由上述顏色信號提取部進(jìn)行校正的上述顏色信號的放大度和顏色噪聲去除。
[0010]根據(jù)本發(fā)明，能夠提供一種在低照度環(huán)境下也能再現(xiàn)更自然的被攝體的顏色的攝
像裝置。
【專利附圖】

【附圖說明】
[0011]圖1為表示實(shí)施例1的攝像裝置的功能結(jié)構(gòu)的模塊圖。
[0012]圖2為表示攝像部11的內(nèi)部結(jié)構(gòu)的圖。
[0013]圖3為表示攝像部11的攝像像素24的結(jié)構(gòu)例的圖。
[0014]圖4為表示針對攝像像素的光的波長的靈敏度特性的圖。
[0015]圖5為表示圖像合成部16的內(nèi)部結(jié)構(gòu)的圖。
[0016]圖6為表示彩色圖像生成的流程的流程圖。
[0017]圖7為具體地說明攝像部11的曝光控制(S106)的圖。
[0018]圖8為具體地說明圖像合成部16的輝度信號合成(SllO)的圖。
[0019]圖9為具體地說 顏色信號提取部13的顏色信號校正(Slll)的圖。
[0020]圖10為表示實(shí)施例2的彩色圖像生成的流程的流程圖。
[0021]圖11為具體地說明曝光設(shè)定值的判定(S205)和與此對應(yīng)的輝度信號的合成(S207)以及顏色信號的校正(S208)的圖。
[0022]圖12為表示實(shí)施例3的攝像部的內(nèi)部結(jié)構(gòu)的圖。
【具體實(shí)施方式】
[0023]以下，采用附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。
[0024]【實(shí)施例1】
[0025]圖1為表示實(shí)施例1的攝像裝置的功能結(jié)構(gòu)的模塊圖。攝像裝置I具備攝像部11和圖像處理部12。
[0026]攝像部11具有接收來自被攝體的可視光和非可視光的攝像像素，并變換為可視光信號和非可視光信號向圖像處理部12發(fā)送。這里所述的可視光指紅色(R)、綠色(G)、藍(lán)色(B)的波段，非可視光是指紅外或者近紅外(IR)的波段。
[0027]圖像處理部12具備顏色信號提取部13、可視光輝度提取部14、非可視光輝度提取部15、圖像合成部16、和控制部17。
[0028]顏色信號提取部13從攝像部11所輸入的可視光信號中提取顏色信號R、G、B。此時，按照來自控制部17的指示，使所輸入的顏色信號R、G、B放大規(guī)定的量，進(jìn)行去除由于顏色信號的放大而產(chǎn)生的顏色噪聲的校正。
[0029]可視光輝度提取部14從攝像部11所輸入的可視光信號中提取輝度信號。將在此所提取的可視光輝度信號設(shè)為Yi。
[0030]非可視光輝度提取部15從攝像部11所輸入的非可視光信號IR中捕捉各像素的值作為單色圖像的輝度，并提取非可視光輝度信號Y2。
[0031 ] 這些提取(校正)的顏色信號R、G、B和兩個輝度信號Yl、Y2被發(fā)送到圖像合成部16以及控制部17。[0032]圖像合成部16按照來自控制部17的指示以規(guī)定的比率合成所輸入的可視光輝度信號Yl和非可視光輝度信號Y2，采用所合成的輝度信號Y3和進(jìn)行了校正的顏色信號RGB生成彩色圖像并輸出。
[0033]控制部17按照所輸入的可視光輝度信號Yl的值來控制顏色信號提取部13、圖像合成部16、以及攝像部11的動作。對于顏色信號提取部13，按照可視光輝度信號Yl的值來校正顏色信號(具體地來說，校正使用于顏色信號提取中的從攝像部11輸入的可視光信號)。對于圖像合成部16，按照可視光輝度信號Yl的值來決定輝度信號Yl與輝度信號Y2的合成比率并使輝度信號Yl與輝度信號Y2合成。對于攝像部11，按照可視光輝度信號Yl的值使曝光設(shè)定值(光圈(iris)開口度、快門速度、信號放大度)變更。或者反過來，參照曝光設(shè)定值來推定當(dāng)前的照度環(huán)境(相當(dāng)于輝度信號Yl)，并控制顏色信號提取部13以及圖像合成部16 (實(shí)施例2)。
[0034]根據(jù)這種結(jié)構(gòu)，按照攝影時的照度環(huán)境，能夠?qū)目梢暪庑盘栔刑崛〉妮x度信號Yl和從非可視光信號中提取的輝度信號Y2以適當(dāng)?shù)谋嚷蔬M(jìn)行合成，并得到視覺辨認(rèn)性良好的輝度信號。此外，在照度不充足的情況下生成彩色圖像所需的顏色信號少的環(huán)境中，適當(dāng)?shù)胤糯髲目梢暪庑盘柼崛〉念伾盘枴６?，通過組合所合成的輝度信號Y3和進(jìn)行了校正的顏色信號，能夠生成更自然的被攝體的顏色的彩色圖像。
[0035]以下，詳細(xì)地說明各部分的結(jié)構(gòu)和動作。
[0036]圖2為表示攝像部11的內(nèi)部結(jié)構(gòu)的圖。
[0037]攝像部11具備:對來自被攝體的光進(jìn)行聚焦的透鏡21 ;對光的輸入量進(jìn)行調(diào)整的光圈22 ;調(diào)整光圈開口度的光圈驅(qū)動部23 ;接收可視光以及非可視光并變換為電氣信號的攝像像素24 ;控制攝像像素的快門速度(曝光時間)的快門控制部25 ;和放大由攝像像素得到的信號的增益控制部26。攝像像素24具有可視光用像素和非可視光用像素，從增益控制部26輸出可視光信號和非可視光信號。
[0038]設(shè)定攝影時的曝光條件的光圈驅(qū)動部23、快門控制部25、增益控制部26由控制部17控制，此外在設(shè)定值發(fā)生了變化的情況下將該設(shè)定值發(fā)送到控制部17。照度低時(即可視光輝度信號Yl少時)、控制部17變更攝像部11的光圈驅(qū)動部23、快門控制部25、增益控制部26的曝光設(shè)定值，并進(jìn)行控制以增大可視光信號并確保必要的顏色信號。
[0039]圖3為表示攝像部11的攝像像素24的結(jié)構(gòu)例的圖。攝像像素24在公共的元件面上配置有可視光用和非可視光用的像素。作為可視光用，具有主要對R光具有靈敏度的像素31、主要對G光具有靈敏度的像素32、主要對B光具有靈敏度的像素33，作為非可視光用具有主要對近紅外光IR具有靈敏度的像素34。將上述的各像素在元件面上反復(fù)配置。
[0040]圖4為表示針對圖3中的各像素31?像素34的光的波長的靈敏度特性、即分光特性的圖。像素R、G、B的靈敏度特性除了分別在R、G、B可視光的波段具有靈敏度之外，在近紅外光IR的波段也具有靈敏度。該特性為用于一般的可視光照相機(jī)的攝像像素的性質(zhì)，為了去除IR成分，將未圖示的光學(xué)濾波器插入到像素R、G、B之前。像素IR只對近紅外光IR具有靈敏度。其結(jié)果，從像素R、G、B得到可視光區(qū)域的顏色信號和輝度信號，從像素IR得到非可視光區(qū)域的輝度信號。
[0041]圖5為表示圖像合成部16的內(nèi)部結(jié)構(gòu)的圖。在此，將來自可視光輝度提取部14的可視光輝度信號Yl和來自非可視光輝度提取部15的非可視光輝度信號Y2進(jìn)行合成。該合成比率(kl:k2)按照來自控制部17的指示，分別設(shè)定為乘法運(yùn)算器51、52的系數(shù)kl、k2并與輝度信號Yl、Y2相乘。通過加法運(yùn)算器53將上述相乘結(jié)果相加來生成合成輝度信號Y3。由(I)式表示上述情況。合成輝度信號Y3與上述顏色信號R、G、B—起作為彩色圖像信號被輸出。
[0042]Y3 = kl.Yl+k2.Y2 (I)
[0043]另外，在圖5中，表示通過色差生成部54將來自顏色信號提取部13的顏色信號R、G、B變換為色差信號Cb、Cr的情況。因此進(jìn)行⑵~⑷式的變換。由此，也能作為采用了輝度信號和色差信號的YCbCr形式的彩色圖像信號輸出。
[0044]Y=0.257R+0.504G+0.098B+16 (2)
[0045]Cb=-0.148R-0.291G+0.439B+128 (3)
[0046]Cr=0.439R-0.368G-0.071B+128 (4)[0047]圖6為表示本實(shí)施例的彩色圖像生成的流程的流程圖。以下的各處理步驟根據(jù)控制部17的指示來執(zhí)行。
[0048]SlOl中，可視光輝度提取部14從可視光信號提取輝度信號Yl。
[0049]S102中，顏色信號提取部13從可視光信號提取顏色信號RGB。
[0050]S103中，非可視光輝度提取部15從非可視光信號提取輝度信號Y2。
[0051]另外，SlOl~S103的處理不僅按照來自控制部17的要求來執(zhí)行，而且顏色信號提取部13、可視光輝度提取部14、非可視光輝度提取部15以規(guī)定的時間間隔進(jìn)行顏色信號和輝度信號的提取，并將所提取的信號暫時保存于未圖示的存儲器中，控制部17也可從存儲器中讀出所保存的顏色信號和輝度信號。
[0052]S104中，控制部17判定從可視光輝度提取部14所取得的可視光輝度信號Yl的值是否為規(guī)定的閾值Th以上。在此閾值Th基于僅根據(jù)可視光信號生成彩色圖像時所需的照度環(huán)境(輝度等級)來決定。在判定為“是”(Yl ^ Th)的情況下判斷為得到足夠的照度，并進(jìn)入到S105。在判定為“否”(Yl〈Th)的情況下判斷為照度不足，并進(jìn)入到S106。
[0053]S105中，顏色信號提取部13不執(zhí)行對顏色信號RGB進(jìn)行校正的處理，圖像合成部16使用顏色信號RGB和可視光輝度信號Yl來生成彩色圖像。
[0054]S106中，為了補(bǔ)償照度的不足(顏色信號RGB的不足)，控制部17對攝像部11進(jìn)行控制以使按照可視光輝度信號Yi的值增大曝光并增大可視光信號。攝像部11的曝光控制的詳細(xì)情況在圖7中后述。
[0055]S107中，分別由可視光輝度提取部14、非可視光輝度提取部15、顏色信號提取部13提取根據(jù)S106的曝光控制而發(fā)生變化的可視光輝度信號Y1、非可視光輝度信號Y2、顏色信號RGB。
[0056]S108中，判定S107中所取得的可視光輝度信號Yl的值是否為規(guī)定的閾值Th以上。該判定與S104同樣地進(jìn)行。在判定為“是”(Yl≥Th)的情況下判斷為得到充足的照度，進(jìn)入至Ij S105。在判定為“否” (YKTh)的情況下進(jìn)入到S109。
[0057]S109中，判定攝像部11是否能進(jìn)行進(jìn)一步的曝光增大。在判定為“是”(能增大)的情況下返回到S106，對攝像部11進(jìn)行進(jìn)一步的曝光增大。在判定為“否”(不能增大)的情況下進(jìn)入到S110。另外，從S106到S109的過程也可按照需要來執(zhí)行。
[0058]SllO中，控制部17對圖像合成部16按照可視光輝度信號Yl的值指示可視光輝度信號Yl和非可視光輝度信號Y2的合成比率(kl:k2)。圖像合成部16按照所指示的合成比率合成輝度信號Y3。關(guān)于合成比率的決定在圖8中后述。
[0059]Slll中，控制部17對顏色信號提取部13按照可視光輝度信號Yl的值指示顏色信號的校正(振幅放大、顏色噪聲去除)。顏色信號提取部13按照指示將顏色信號RGB校正為顏色信號R’ G’ B’并發(fā)送到圖像合成部16。關(guān)于顏色信號的校正處理在圖9中后述。
[0060]SI 12中，圖像合成部16采用輝度信號Y3和校正后顏色信號R’ G’ B’生成彩色圖像。
[0061]上述流程圖中，按照可視光輝度信號Yl的值改變可視光輝度信號Yl和非可視光輝度信號Y2的合成比率并合成輝度信號(SllO)，對顏色信號RGB進(jìn)行校正(放大、去除噪聲)(Slll)。由此，在低照度環(huán)境下也生成更自然的被攝體的顏色信號，能夠生成視覺辨認(rèn)性好的彩色圖像。此外，在可視光輝度信號Yl低于規(guī)定的閾值Th的情況下，通過增大攝像部11的曝光(S106)，能夠使從攝像部11發(fā)送到圖像處理部12的可視光信號增大。另外，步驟S106的工序(攝像部11的曝光增大處理)也可在用戶所選擇的情況下進(jìn)行實(shí)施。
[0062]以下，對步驟S106、S110、Slll的各處理具體地進(jìn)行說明。
[0063]圖7為具體地說明攝像部11的曝光控制(步驟S106)的圖。橫軸按照可視光輝度信號Yl的強(qiáng)度采用兩個閾值Thl、Th2(Thl〈Th2)來區(qū)分范圍。閾值Th2與步驟S104中的閾值Th相等。這些閾值也可預(yù)先作為固定值由控制部17存儲，也可從攝像裝置的外部輸入并設(shè)定。縱軸為由攝像部11所設(shè)定的曝光設(shè)定值(光圈開口度1、快門速度S、信號放大度G) ο
[0064]控制部17在輝度信號Yl為Th2以上的情況下，判定為從攝像部11輸入的可視光信號為對于生成彩色圖像而言是足夠的信號，從而不變更攝像部11的曝光設(shè)定值(設(shè)為基準(zhǔn)值)。
[0065]在輝度信號Yl小于Th2的情況下，控制部17判定為可視光信號對于生成彩色圖像而言是不充足的信號，對攝像部11的光圈驅(qū)動部23、快門控制部25、增益控制部26進(jìn)行曝光增大的控制并增大可視光信號。即，變更光圈開口度1、快門速度S、信號放大度G的曝光設(shè)定值。在此舉出3個參數(shù)1、S、G，也可從其中適當(dāng)選擇來進(jìn)行控制。本例中以閾值Thl為界限對曝光設(shè)定給予兩個等級，在輝度信號Yl小于Thl的情況下，與輝度信號Yl為Thl以上的情況相比也較大地給出曝光量。進(jìn)而通過設(shè)置兩個以上的閾值，能進(jìn)行更細(xì)致的控制。由此，能夠抑制由于過剩的曝光(過剩的可視光信號的放大)而失去圖像的細(xì)微部分信息的情況，并將用于合成彩色圖像的適當(dāng)?shù)目梢暪庑盘柊l(fā)送到圖像處理部12。
[0066]如上所述通過曝光處理(S106)，改善在攝像部11的階段的照度不足(可視光信號不足)，能夠得到用于生成彩色圖像所需的可視光信號(或者與該情況接近)。
[0067]圖8為具體地說明圖像合成部16的輝度信號合成(步驟S110)的圖。橫軸按照可視光輝度信號Yl的強(qiáng)度并采用兩個閾值Thl、Th2(Thl〈Th2)來區(qū)分范圍。閾值Th2與步驟S104、S108中的閾值Th相等?？v軸以縱方向的寬度來表示可視光輝度信號Yl與非可視光輝度信號Y2的合成比率(kl:k2)。
[0068]控制部17按照輝度信號Yl的值決定圖像合成部16中所使用的輝度信號Yl、Y2的合成比率kl、k2。在輝度信號Yl為Th2以上的情況下，判定為從攝像部11輸入的可視光信號對于生成彩色圖像而言是充足的信號，設(shè)kl=l、k2 = 0，圖像合成部16中直接將可視光輝度信號Yl設(shè)為合成輝度信號Y3。
[0069]在輝度信號Yl小于Th2的情況下，控制部17判定為可視光信號對于生成彩色圖像而言是不充足的信號，在圖像合成部16中將非可視光輝度信號Y2與可視光輝度信號Yl相加而成為合成輝度信號Y3。本例中由閾值Thl區(qū)分該區(qū)域，在輝度信號Yl為Thl以上的情況下，設(shè)kl=k2=0.5，將可視光輝度信號Yl與非可視光輝度信號Y2的平均值設(shè)為合成輝度信號Y3。此外在輝度信號Yl小于Thl的情況下，設(shè)kl=0、k2=l，只將非可視光輝度信號Y2設(shè)為合成輝度信號Y3。
[0070]在該例中，為了簡化將可視光輝度信號Yl區(qū)分為3個區(qū)域，但也可設(shè)置2個以上的閾值并如虛線所示那樣進(jìn)行細(xì)分來決定合成比率。由此，能夠抑制由于過剩地使用非可視光信號而失去圖像的一部分輝度信息的情況，并在圖像合成部16中采用適當(dāng)?shù)妮x度信號來生成彩色圖像。
[0071]如上所述通過輝度合成處理(SllO)，即使在攝像部11中不能消除照度不足(可視光信號不足)的情況下，也能得到用于生成彩色圖像所需的輝度信號。
[0072]圖9為具體地說明顏色信號提取部13中的顏色信號校正(步驟S111)的圖。橫軸按照可視光輝度信號Yl的強(qiáng)度并采用兩個閾值Thl、Th2(Thl〈Th2)來區(qū)分范圍。閾值Th2與步驟S104中的閾值Th相等?？v軸表示顏色信號RGB的校正量、即顏色信號的放大量P和顏色噪聲的去除量NR。
[0073]控制部17按照可視光輝度信號Yl的值對顏色信號提取部13指示顏色信號的校正。在輝度信號Yl為Th2以上的情況下，判定為從攝像部11輸入的可視光信號對于生成彩色圖像而言是不充足的信號，不進(jìn)行顏色信號RGB的校正。
[0074]在輝度信號Yl小于Th2的情況下，控制部17判定為可視光信號對于生成彩色圖像而言是不充足的，對顏色信號提取部13指示顏色信號的放大量P和顏色噪聲的去除量NR。該顏色信號的校正對上述圖8中的可視光輝度信號Yl的減少部分進(jìn)行補(bǔ)充，因此優(yōu)選該校正量按照圖8中的非可視光輝度信號Y2的合成比率k2的大小而增加。顏色信號的放大中，使顏色信號R、G、B增加指定的放大量P，并設(shè)為顏色信號R’、G’、B’。或者在采用色差信號Cb、Cr的情況下，也可配合所指定的放大量P來變更上述(3)⑷式的R、G、B的系數(shù)。此外，顏色噪聲去除中，抑制顏色噪聲伴隨著顏色信號的放大而增加，配合顏色信號的放大而使顏色噪聲去除量NR增加濾波處理的強(qiáng)度。
[0075]本例中以閾值Thl為界限來對顏色信號校正量給予兩個等級，在輝度信號Yl小于Thl的情況下，與輝度信號Yl為Thl以上的情況相比較大地給出校正量(P，NR)。進(jìn)而設(shè)閾值為兩個以上并能如虛線所示那樣進(jìn)行細(xì)分并設(shè)定校正量。由此，能夠避免由于過剩地放大顏色信號而產(chǎn)生不需要的顏色噪聲的情況，并將用于合成彩色圖像的適當(dāng)?shù)念伾盘柊l(fā)送到圖像處理部12。另外，將針對于顏色信號的放大量P的閾值和針對于顏色噪聲去除量NR的閾值設(shè)為公共的值，但也可分別設(shè)定為不同的值。
[0076]如上那樣通過顏色信號校正(Slll)，即使在攝像部11中沒有消除照度不足(可視光信號不足)的情況下，也能得到用于生成彩色圖像所需的顏色信號。
[0077]根據(jù)實(shí)施例1，按照從可視光信號提取的輝度信號Yl的值，改變從可視光信號提取的輝度信號Yl和從非可視光信號提取的輝度信號Y2的比率并合成，并設(shè)為輝度信號Y3。此外，按照從可視光信號提取的輝度信號Yl的值，進(jìn)行從可視光信號提取的顏色信號RGB的放大和顏色噪聲去除并設(shè)為顏色信號R’ G’ B’。通過使用這些輝度信號Y3和顏色信號R’ G’ B’，在低照度環(huán)境下也能再現(xiàn)更自然的被攝體的顏色，并能生成視覺辨認(rèn)性良好的彩色圖像。
[0078]【實(shí)施例2】
[0079]在上述實(shí)施例1中，按照從可視光信號提取的輝度信號Yl的值合成可視光輝度信號Yl和非可視光輝度信號Y2，進(jìn)行顏色信號RGB的校正。相對于此，在實(shí)施例2中，按照攝像部11的曝光設(shè)定條件進(jìn)行輝度信號的合成與顏色信號的校正。這是由于為了在低照度(低輝度)環(huán)境下進(jìn)行曝光大的照相機(jī)設(shè)定，所提取的輝度信號Yl的值與攝像部11的曝光設(shè)定條件存在相關(guān)性的緣故。
[0080]圖10為表示實(shí)施例2的彩色圖像生成的流程的流程圖。以下的各處理步驟通過控制部17的指示來執(zhí)行。
[0081]S201中，可視光輝度提取部14從可視光信號提取輝度信號Y1。
[0082]S202中，顏色信號提取部13從可視光信號提取顏色信號RGB。
[0083]S203中，非可視光輝度提取部15從非可視光信號提取輝度信號Y2。
[0084]另外，S201~S203的處理不僅按照來自控制部17的要求來執(zhí)行，而且顏色信號提取部13、可視光輝度提取部14、非可視光輝度提取部15以規(guī)定的時間間隔進(jìn)行顏色信號和輝度信號的提取，并將所提取的顏色信號和輝度信號暫時保存于未圖示的存儲器中，控制部17也可從存儲器中讀出所保存的顏色信號和輝度信號。
[0085]S204中，控制部17從攝像部11所具備的光圈驅(qū)動部23、快門控制部25、增益控制部26中取得曝光設(shè)定值。這些設(shè)定值中包括光圈開口度、快門速度、信號放大度。
[0086]S205中,判定攝像部11的曝光設(shè)定值是否適合低照度環(huán)境下的攝影。該判定基于是否能僅根據(jù)可視光信號生成良好的彩色圖像來進(jìn)行。在判定為“是”(面向低照度的設(shè)定)的情況下判斷為照度不足，并進(jìn)入到S207。在判定為“否”(面向高照度的設(shè)定)的情況下判斷為得到充足的照度，并進(jìn)入到S206。另外，在面向通常的照度的設(shè)定的情況下判斷為得到充足的照度，判定包括在“否”(面向高照度)中。判定處理的具體例子如采用圖11進(jìn)行后述那樣，根據(jù)各曝光設(shè)定值算出合計曝光判定值E并進(jìn)行判斷。
[0087]S206中，顏色信號提取部13不進(jìn)行對顏色信號RGB進(jìn)行校正的處理，圖像合成部16使用顏色信號RGB和可視光輝度信號Yl來生成彩色圖像。
[0088]S207中，控制部17對圖像合成部16按照合計曝光判定值E指示可視光輝度信號Yl和非可視光輝度信號Y2的合成比率(kl:k2)。圖像合成部16以所指示的合成比率來合成輝度信號Y3。
[0089]S208中，控制部17對顏色信號提取部13按照合計曝光判定值E指示顏色信號的校正(振幅放大、顏色噪聲去除)。顏色信號提取部13按照指示將顏色信號RGB校正為顏色信號R’ G’ B’并發(fā)送到圖像合成部16。關(guān)于合成比率的決定和顏色信號的校正處理在圖11中后述。
[0090]S209中，圖像合成部16采用輝度信號Y3和校正后的顏色信號R’ G’ B’來生成彩色圖像。
[0091]在上述流程圖中，取得攝像部11的光圈驅(qū)動部23、快門控制部25、增益控制部26的曝光設(shè)定值，并在低照度環(huán)境的設(shè)定的情況下，改變可視光輝度信號Yi和非可視光輝度信號Y2的合成比率并合成輝度信號(S207)，對可視光顏色信號RGB進(jìn)行校正(放大、噪聲去除)(S208)。由此，在低照度環(huán)境下也能生成更自然的被攝體的顏色信號，能夠生成視覺辨認(rèn)性好的彩色圖像。
[0092]圖11為具體地說明曝光設(shè)定值的判定(S205)和與其相對應(yīng)的輝度信號的合成(S207)及顏色信號的校正(S208)的圖?？刂撇?7從攝像部11所具備的光圈驅(qū)動部23、快門控制部25、增益控制部26中取得各個曝光設(shè)定值即光圈開口度1、快門速度S、信號放大度G。
[0093]圖11(a)表示根據(jù)上述曝光設(shè)定值1、S、G算出各個曝光判定值的方法。曝光判定值算出中分別采用函數(shù)f (I)、g(S)、h (G)，但曝光設(shè)定值越面向低照度各函數(shù)送回越大的值。即光圈開口度I越大，快門速度S越慢，并且信號放大度G越大，則函數(shù)值越大。在此為了簡便，在曝光設(shè)定值1、S、G的值分別為閾值以上的情況下設(shè)為曝光判定值=1的函數(shù)，在小于閾值的情況下設(shè)為曝光判定值=0的函數(shù)。
[0094]接下來，根據(jù)(5)式合計所算出的各曝光判定值f (I)、g (S)、h (G)，并求得合計曝光判定值E。本例的情況下,合計曝光判定值E取0、1、2、3中的任一個值。合計曝光判定值E成為攝像部11全體的曝光的大小的指標(biāo)，因此按照該指標(biāo)來決定輝度信號的合成與顏色信號的校正。
[0095]合計曝光判定值E=f(I)+g(S)+h(G) (5)
[0096]圖11(b)表示合計曝光判定值E與輝度信號的合成比率及顏色信號校正處理的對應(yīng)關(guān)系的一例。合計曝 光判定值E=O的情況下為面向高照度的設(shè)定，判斷為所輸入的可視光信號是充足的。這種情況下，設(shè)圖像合成部16中的輝度信號合成比率為kl=l、k2=0，直接將可視光輝度信號Yl設(shè)為合成輝度信號Y3。此外不進(jìn)行顏色信號提取部13中的顏色信號校正。
[0097]在合計曝光判定值E為I以上的情況下，判斷為所輸入的可視光信號對于生成彩色圖像而言是不充足的。E=I的情況下，設(shè)輝度信號合成比率為kl=0.7、k2 = 0.3，將非可視光輝度信號Y2與可視光輝度信號Yl相加而設(shè)為合成輝度信號Y3。另外，設(shè)不進(jìn)行顏色信號校正。E=2的情況下，設(shè)輝度信號合成比率為kl=0.3、k2 = 0.7，增加非可視光輝度信號Y2的比例。存在顏色信號校正(振幅放大、顏色噪聲去除)，并校正為顏色信號R’G’B’。E=3的情況下，設(shè)輝度信號合成比率為kl=0、k2=l，只將非可視光輝度信號Y2設(shè)為合成輝度信號Y3。存在顏色信號校正。
[0098]在上述例中，將合計曝光判定值E區(qū)分為O~3這四種并進(jìn)行輝度信號的合成和顏色信號的校正，但通過對合計曝光判定值E進(jìn)一步進(jìn)行細(xì)分并進(jìn)行更細(xì)致的控制，能夠進(jìn)行更適于攝影環(huán)境的視覺辨認(rèn)性好的圖像生成。
[0099]根據(jù)實(shí)施例2，根據(jù)攝像部11的曝光設(shè)定值判定當(dāng)前的攝影環(huán)境下的照度是否充足，因此不需要如實(shí)施例1那樣使用從可視光信號提取的輝度信號Yi來進(jìn)行判定。因此，與實(shí)施例1相比較能更簡便地判定照度不足，并進(jìn)行輝度信號的合成和顏色信號的校正。
[0100]【實(shí)施例3】
[0101]在上述實(shí)施例1、2中，由一個光學(xué)系統(tǒng)構(gòu)成攝像部11，從公共的攝像像素輸出可視光信號和非可視光信號。與此相對在實(shí)施例3中，由兩個光學(xué)系統(tǒng)構(gòu)成攝像部，從不同的攝像像素輸出可視光信號和非可視光信號。[0102]圖12為表示實(shí)施例3中的攝像部的內(nèi)部結(jié)構(gòu)的圖。本實(shí)施例中具備兩個攝像部I la、I lb,分開使用攝像部I Ia為可視光用，攝像部I Ib為非可視光用?？梢暪庥玫臄z像部Ila中具有透鏡21a、光圈22a、光圈驅(qū)動部23a、可視光攝像像素24a、快門控制部25a、增益控制部26a。非可視光用的攝像部Ilb中具有透鏡21b、光圈22b、光圈驅(qū)動部23b、非可視光攝像像素24b、快門控制部25b、增益控制部26b?？梢暪鈹z像像素24a為R、G、B像素，非可視光攝像像素24b為IR像素。而且，從攝像部Ila的增益控制部26a輸出可視光信號，從攝像部Ilb的增益控制部26b輸出非可視光信號。
[0103]光圈驅(qū)動部23a、23b、快門控制部25a、25b、增益控制部26a、26b由控制部17控制。此外，在用于動作的設(shè)定值發(fā)生了變化的情況下，光圈驅(qū)動部23a、23b、快門控制部25a、25b、增益控制部26a、26b將設(shè)定值發(fā)送到控制部17。
[0104]根據(jù)實(shí)施例3的結(jié)構(gòu)，能夠分別獨(dú)立且最佳地控制可視光以及非可視光的曝光設(shè)定(光圈開口度、快門速度、信號放大度)。因此，在低照度環(huán)境下使用可視光信號和非可視光信號這兩者時，能夠生成視覺辨認(rèn)性更好的彩色圖像。
[0105]本發(fā)明并不限于上述的實(shí)施例，包括各種變形例。例如上述的實(shí)施例以容易理解本發(fā)明的方式進(jìn)行說明，因此進(jìn)行了詳細(xì)的說明，但未必限定于具備所說明的全部的結(jié)構(gòu)的例子。此外，可將某實(shí)施例的一部分結(jié)構(gòu)置換為其他實(shí)施例的結(jié)構(gòu)，此外也可將其他實(shí)施例的結(jié)構(gòu)加入到某實(shí)施例的結(jié)構(gòu)中。此外，關(guān)于各實(shí)施例的一部分結(jié)構(gòu)，可進(jìn)行其他結(jié)構(gòu)的追加.削除.置換。
[0106]此外，上述的各結(jié)構(gòu)的一部分或者全部由硬件構(gòu)成，但也可構(gòu)成為通過采用處理器執(zhí)行程序來實(shí)現(xiàn)。此外，考慮到說明時的需要而表示控制線或信號線，未必限于制品上表示所有的控制線和信號線。實(shí)際上也可認(rèn)為幾乎所有的結(jié)構(gòu)互相連接。
[0107]符號說明:
[0108]I…攝像裝置
[0109]11…攝像部
[0110]I Ia…可視光用攝像部
[0111]I Ib…非可視光用攝像部
[0112]12…圖像處理部
[0113]13…顏色信號提取部
[0114]14…可視光輝度提取部
[0115]15…非可視光輝度提取部
[0116]16...圖像合成部
[0117]17…控制部
[0118]21、21a、21b …透鏡
[0119]22、22a、22b …光圈
[0120]23、23a、23b…光圈驅(qū)動部
[0121]24…攝像像素(可視光+非可視光)
[0122]24a…可視光攝像像素
[0123]24b…非可視光攝像像素
[0124]25、25a、25b…快門控制部[0125]26、26a、26b…增益控制部
[0126]kl、k2…輝度信號合成比率
[0127]Yl…可視光輝度信號
[0128]Y2…非可視光輝度信號
[0129]Y3…合成輝度信號
[0130]RGB…顏色信號
[0131] R’G’B’…校正后的顏色信號
【權(quán)利要求】
1.一種攝像裝置，對被攝體進(jìn)行攝影并生成彩色圖像，該攝像裝置的特征在于，具備: 攝像部，其對被攝體進(jìn)行攝影并通過攝像像素變換為可視光信號和非可視光信號； 可視光輝度提取部，其從上述可視光信號提取可視光輝度信號(Yi)； 非可視光輝度提取部，其從上述非可視光信號提取非可視光輝度信號(Y2)； 顏色信號提取部，其從上述可視光信號提取顏色信號并對該顏色信號進(jìn)行校正； 圖像合成部，其對上述可視光輝度信號(Yl)和上述非可視光輝度信號(Y2)進(jìn)行合成并作為合成輝度信號(Y3)，采用該合成輝度信號(Y3)和上述校正后的顏色信號來生成彩色圖像；和 控制部，其控制上述攝像部、上述顏色信號提取部、和上述圖像合成部， 該控制部按照由上述可視光輝度提取部所提取的可視光輝度信號(Yi)的值，控制由上述圖像合成部進(jìn)行合成的上述可視光輝度信號(Yl)和上述非可視光輝度信號(Y2)的合成比率、以及由上述顏色信號提取部進(jìn)行校正的上述顏色信號的放大度和顏色噪聲去除。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 上述控制部對上述圖像合成部進(jìn)行控制，以使在上述可視光輝度信號(Yl)的值處于第二閾值(Th2)以上的情況下將上述可視光輝度信號(Yl)使用為上述合成輝度信號(Y3)，在上述可視光輝度信號(Yl)的值小于第一閾值(Thl)的情況下將上述非可視光輝度信號(Y2)使用為上述合成輝度信號(Y3)，其中，第一閾值(Thl)〈第二閾值(Th2)。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 上述控制部對上述顏色信號提取部進(jìn)行控制，以使在上述可視光輝度信號(Yi)的值處于第二閾值(Th2)以上的情況下不進(jìn)行上述顏色信號的校正，在上述可視光輝度信號(Yl)的值小于第二閾值(Th2)的情況下，按照上述非可視光輝度信號(Y2)的合成比率進(jìn)行上述顏色信號的放大和顏色噪聲去除。
4.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 上述攝像部為了設(shè)定曝光條件而具有:調(diào)整光圈開口度的光圈驅(qū)動部；控制上述攝像像素的快門速度的快門控制部；和放大由上述攝像像素所得到的信號的增益控制部， 上述控制部在上述可視光輝度信號(Yl)的值小于第二閾值(Th2)的情況下，對上述攝像部進(jìn)行控制，以便變更上述光圈開口度、上述快門速度、上述信號放大度的各設(shè)定值來增大曝光。
5.一種攝像裝置，對被攝體進(jìn)行攝影并生成彩色圖像，該攝像裝置的特征在于，具備: 攝像部，其對被攝體進(jìn)行攝影并通過攝像像素變換為可視光信號和非可視光信號； 可視光輝度提取部，其從上述可視光信號提取可視光輝度信號(Yl)； 非可視光輝度提取部，其從上述非可視光信號提取非可視光輝度信號(Y2)； 顏色信號提取部，其從上述可視光信號提取顏色信號并對該顏色信號進(jìn)行校正； 圖像合成部，其對上述可視光輝度信號(Yl)和上述非可視光輝度信號(Y2)進(jìn)行合成并作為合成輝度信號(Y3)，采用該合成輝度信號(Y3)和上述校正后的顏色信號來生成彩色圖像；和 控制部，其控制上述攝像部、上述顏色信號提取部、和上述圖像合成部， 該控制部按照上述攝像部的曝光條件控制由上述圖像合成部進(jìn)行合成的上述可視光輝度信號(Yl)和上述 非可視光輝度信號(Y2)的合成比率、以及由上述顏色信號提取部進(jìn)行校正的上述顏色信號的放大度和顏色噪聲去除。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于， 上述攝像部為了設(shè)定曝光條件而具有:調(diào)整光圈開口度的光圈驅(qū)動部；控制上述攝像像素的快門速度的快門控制部；和放大由上述攝像像素所得到的信號的增益控制部， 上述控制部根據(jù)上述攝像部中的上述光圈開口度、上述快門速度、上述信號放大度的各設(shè)定值來算出曝光判定值，按照該曝光判定值來控制上述輝度信號的合成比率和上述顏色信號的校正。
7.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 上述攝像部具備: 可視光用攝像部，其具有輸出上述可視光信號的攝像像素；和 非可視光用攝像部，其具有輸出上述非可視光信號的攝像像素。
8.根據(jù)權(quán)利要求1或2所述的攝像裝置，其特征在于， 上述攝像部的上述攝像像素輸出近紅外區(qū)域的信號作為上述非可視光信號。
【文檔編號】H04N5/232GK103929628SQ201310684621
【公開日】2014年7月16日 申請日期:2013年12月13日 優(yōu)先權(quán)日:2013年1月10日
【發(fā)明者】佐野諭, 西澤明仁, 鹽川淳司 申請人:株式會社日立制作所