專利名稱：視頻輸入處理器、成像信號(hào)處理電路和降低噪聲的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于成像景物并抑制通過信號(hào)處理所產(chǎn)生的成像信號(hào)的噪聲 分量的視頻輸入處理器。本發(fā)明還涉及成像信號(hào)處理電路和降低成像信號(hào)中 噪聲的方法。
背景技術(shù)：
當(dāng)通過被設(shè)計(jì)為例如以提高的ISO敏感度成像運(yùn)動(dòng)圖片序列或靜止圖像 的照相機(jī)裝置來成像景物時(shí)，激活自動(dòng)曝光功能。這縮短了傳感器(成像裝 置)的曝光時(shí)間并增大了來自傳感器的輸出信號(hào)的增益。因此，由傳感器本 身和位于其周圍的IC所產(chǎn)生的噪聲的影響變得更加明顯。結(jié)果，最終圖像成 為具有很差信噪比的帶噪圖像。
由與傳感器本身相關(guān)的因素以及各種其他周圍因素(如位于傳感器周圍 的IC的操作頻率)產(chǎn)生噪聲。此外，圖像受由于信號(hào)源(傳感器)本身特性 的變化和信號(hào)源本身的時(shí)間方面的(timewise)變化而引起的從低頻到高頻的
各種噪聲模式影響。
用于在照相機(jī)裝置內(nèi)部執(zhí)行信號(hào)處理以降低或抑制噪聲的公知技術(shù)采用 具有大量降噪抽頭(tap)的濾波器的電路進(jìn)行降噪。通過由該電路執(zhí)行的處 理改進(jìn)了所顯示圖像的信噪比。
然而，如果由具有大量抽頭的任意普通低通濾波器(如高斯濾波器)執(zhí) 行所述處理，則附隨地?cái)U(kuò)散邊緣信息。在輸出圖像中，每一個(gè)邊緣的陡度下 降，并且可見分辨率(apparentresolution)劣化。為了解決該問題，在照相機(jī) 信號(hào)的處理期間，通過在保持分辨率的同時(shí)執(zhí)行濾波處理以改進(jìn)輸入圖像的 S/N的降噪技術(shù)是必要的。方法使用配備有給定濾色鏡(如紅(R)、綠(G)
和藍(lán)(B)濾光片)的成像裝置。來自景物的光經(jīng)過用于截除不可見輻射分量 的IR (紅外輻射)截除濾波器，尤其在近紅外區(qū)域中。由具有濾色鏡的成像 裝置接收通過IR截除濾波器的輻射。從成像裝置輸出具有高彩色再現(xiàn)性的圖 像。另外，成像相同的景物，并且產(chǎn)生的圖像不通過IR截除濾光片透射，以 獲得具有更大量信息的圖像。從其信息量通過不允許圖像經(jīng)過IR截除濾光片 來保持的圖像中檢測邊緣信息(例如，見^-八-2006-180269 (專利對(duì)比文件 l))。
在以上所引用的專利對(duì)比文件1中，將用于獲得邊緣信息的圖像稱為不 可見光圖像(在實(shí)施例中，稱為紅外光圖像)。該圖像保存(hold)包含從低 頻到高頻的寬范圍的頻率分量的圖像信息，在圖像通過IR截除濾光片之前獲 得所述圖像信息。
在以上所引用的專利對(duì)比文件1中，不可見光圖像(紅外光圖像)通過 高通濾波器，以提取高頻分量。同時(shí)，在增益方面調(diào)整可見光圖像，即具有 高彩色再現(xiàn)性并且在被通過IR截除濾光片之后捕獲的圖像。然后，將圖像通 過低通濾波器，以去除噪聲。然而，當(dāng)圖像通過低通濾波器時(shí)，擴(kuò)散了分辨 率信息，劣化了每一個(gè)邊緣的陡度。因此，在以上所引用的專利對(duì)比文件1 中，組合通過低通濾波器的可見光圖像和通過高通濾波器的紅外光圖像，所 述紅外光圖像保存邊緣信息。因此，可以同時(shí)實(shí)現(xiàn)降噪和防止邊緣信息擴(kuò)散 (每一個(gè)邊緣的卩走度劣化)。
關(guān)于IR截除濾光片，可以將選擇性地透射或阻塞紅外光分量的功能給予 成像裝置的單個(gè)濾色鏡層。
例如，JP-A-2005-006066 (專利對(duì)比文件2 )公開了其每一個(gè)像素單元均 由紅(R)、緣(G)和藍(lán)(B)三原色透射濾光片以及具有對(duì)紅外區(qū)域敏感度 并透射紅外光的紅外通過濾光片(infrared pass filter)組成。專利對(duì)比文件2 聲明紅外濾光片可以是白色(W)濾光片。
另一方面，關(guān)于在白平衡調(diào)整期間執(zhí)行的增益調(diào)整、彩色校正以及降噪， 具有紅外光分量的成像信號(hào)的處理是公知的(見JP-A-2001-078204和 JP-A-2005-303704 (專利對(duì)比文件3和4 ))
發(fā)明內(nèi)容
例如，類似于專利對(duì)比文件2所示的成像裝置，每一個(gè)均具有紅(R)、
綠(G)、藍(lán)(B)和白(W)濾色鏡的像素可以以2x2排列放置。以二維重 復(fù)地排列像素單元。用于透射紅外(IR)光的紅外通過濾光片可以僅在白(W) 像素上形成。因此，R、 G和B的可見光圖像以及紅外光圖像(W+IR)(在 下文中可以稱為A ("ALL"的縮寫)圖像)可以從一個(gè)成像裝置中輸出。
專利對(duì)比文件1中描述的技術(shù)可以通過使用如上所述作為可見光圖像獲 得的R、 G和B圖像并使用作為紅外光圖像的A圖像，執(zhí)行用于關(guān)于可見光 圖像降噪的處理。
專利對(duì)比文件1中描述的圖像處理部分的配置在圖13中示出。所示圖像 處理部分(由100指示)具有增益調(diào)整部分101、作為降噪部分的低通濾波 器(LPF) 102、高通濾波器(HPF) 103以及圖像合成器部分104。
增益調(diào)整部分101調(diào)整對(duì)于輸入可見光圖像的增益。這增大了對(duì)于作為 由于曝光不足而引起的暗圖像捕獲的可見光圖像在每一個(gè)像素的灰度電平 (像素值)，以便最終像素值接近在合適的曝光捕獲的圖像的值。調(diào)整增益的 一種方法是將可見光圖像的像素值乘以常數(shù)因子。另一種方法是基于指數(shù)函 數(shù)的伽瑪校正。再一種方法是基于多項(xiàng)式函數(shù)調(diào)整增益的任意方法。
低通濾波器102包含邊緣檢測部分。通過邊緣檢測部分，從具有更大量 信息的紅外光圖像中檢測邊緣。作為降噪部分的低通濾波器102執(zhí)行低通濾 波，同時(shí)保留所檢測到邊緣的信息。由此，從可見光圖像中去除噪聲。低通 濾波器將基礎(chǔ)圖像(base image)輸出到圖像合成器部分104。
同時(shí)，高通濾波器103從輸入紅外光圖像中提取接近于邊緣的詳細(xì)部分， 并將所獲得的細(xì)節(jié)圖像(邊緣紋理信息)輸出到圖像合成器部分104。
圖像合成器部分104將得自低通濾波器102的基礎(chǔ)圖像與來自高通濾波 器103的細(xì)節(jié)圖像(邊緣紋理信息)，產(chǎn)生輸出圖像。
在景物4艮暗的情況下，可見光圖像中包含的信息量很少。如果這被完整 地通過低通濾波器102并執(zhí)行降噪，則輸出圖像仍然很暗。因此，由增益調(diào) 整部分101放大信號(hào)電平，然后執(zhí)行使用低通濾波器102的降噪。此時(shí)，也 由信號(hào)放大來放大噪聲電平。然而，隨后執(zhí)行降噪，并且因此將輸出圖像的 信噪比提高了與顏色信號(hào)電平的放大對(duì)應(yīng)的量。
同時(shí)，通過從具有大量信息的紅外光圖像中檢測邊緣并微弱且局部地對(duì) 邊緣應(yīng)用降噪處理，可以保留輸出圖像中的邊緣灰度電平差。然而，在每一個(gè)邊緣處的信噪比沒有提高。相反，信噪比可能劣化。因此，由高通濾波器
103提取的邊緣部分細(xì)節(jié)圖像，并由圖像合成器部分104將其與基礎(chǔ)圖像組 合。因此，可以提高整個(gè)圖像的信噪比。
由于上述特征，如果使用專利對(duì)比文件1中描述的圖像處理部分100, 則通過接受到達(dá)紅外波長區(qū)域的光，可以實(shí)現(xiàn)能夠產(chǎn)生保留邊緣信息并且即 使景物很暗也在整個(gè)圖像幀上具有高信噪比的明亮的輸出圖像的照相機(jī)裝 置。
在如之前所述的那樣，由圖13中所示的圖像處理部分IO(H吏用R、 G和 B的可見光圖像和組成A圖像的紅外光圖像來執(zhí)行處理的情況下，除了可見 光之外的分量(特別地，大比例的近紅外光)被包含在A圖像(紅外光圖像) 中，但近紅外光分量與A圖像的比率根據(jù)不同的光源而大大地變化。例如， 即使在相同的日光條件之下，所包含的近紅外光的比率在黎明、日間和晚間 之中特別地變化。此外，即使在室內(nèi)照明下，如果光源的色溫變化，則所包 含的近紅外光的部分也變化。例如，電燈泡比焚光燈包含更大部分的近紅外 光。
圖14是在光譜特性方面將具有3000K色溫的電燈泡或一光源與熒光燈 或另 一不同光源進(jìn)行比較的圖。
在電燈泡是光源的情況下，如圖所示，其包含很大部分的紅外光分量。 因此即使在圖像幀很暗并且R、 G和B可見光圖像的信息量很小的情況下， A圖像的信息量相對(duì)大。另外，A圖像的S/N相對(duì)高。因此，在圖像幀很暗 或圖像幀很亮的情況下，如果將A圖像用作用于邊緣檢測的參考圖像，則對(duì) 于R、 G和B可見光圖像可以有效地完成降噪，同時(shí)保留邊緣信息。
另一方面，在使用焚光燈作為光源的情況下，如圖所示，來自焚光燈的 光幾乎不具有紅外光分量。即使在這種情況下，如果顯示屏幕上的圖4象^f艮亮， 則作為用于邊緣檢測的參考圖像的A圖像一般也具有所要求的信息量。
然而，如果顯示屏幕上的圖像變得更暗，則A圖像不提供邊緣檢測所必 需的信息量。因此，不能執(zhí)行對(duì)R、 G和B圖像的降噪，而同時(shí)保留邊緣信 息。此外，如果圖像很暗，則對(duì)于R、 G和B圖像可以保證大增益，因此R、 G和B圖像中的噪聲電平在已經(jīng)增大了增益之后非常大。在降噪部分(在圖 13中，低通濾波器102)中將噪聲的這些大電平削減到一定程度，但沒有完 全去除。降噪之后所獲得的S/N相對(duì)低。結(jié)果，即使在執(zhí)行降噪之后，也輸出帶噪圖像。
為了避開這些缺點(diǎn)，期望增大增益以便使降噪之后的顯示屏幕上的圖像 更亮而不強(qiáng)制地增大降噪部分之前的增益。
在期望以這種方式執(zhí)行降噪之前不強(qiáng)制地增大增益的情況下，存在根據(jù) 室內(nèi)光源是熒光燈還是電燈泡而使得圖像帶噪的可能性。此外，也可能根據(jù) 不同的室外照射條件(如不同的時(shí)間和不同的天氣條件)而使得圖像帶噪。 另外，也可能根據(jù)光源的不同的光譜特性(如，根據(jù)在室外或室內(nèi)完成拍攝) 而使得圖像帶噪。此外，可能由除了光源之外的因素(如景物的紅外吸收特 性的不同)使得圖像帶噪。
以這種方式，如以上引用的專利對(duì)比文件1所示的用于降噪的圖像處理 部分和使用圖像處理部分的照相機(jī)裝置根據(jù)紅外光比率在降噪能力方面產(chǎn)生 了不同。結(jié)果，有時(shí)輸出帶噪圖像。在這方面仍然存在改進(jìn)的空間。
根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻輸入處理器具有成像信號(hào)產(chǎn)生部分、增 益調(diào)整部分和降噪部分。
成像信號(hào)產(chǎn)生部分成像景物，并產(chǎn)生包含可見光分量的第一成像信號(hào)以 及包含近紅外光分量的第二成像信號(hào)。在一些情況下，成像信號(hào)產(chǎn)生部分是 成像裝置。在其它情況下，成像信號(hào)產(chǎn)生部分包括成像裝置和信號(hào)處理部分。 將第一和第二成像信號(hào)從成像信號(hào)產(chǎn)生部分發(fā)送到增益調(diào)整部分。
增益調(diào)整部分接收第一和第二成像信號(hào)。增益調(diào)整部分根據(jù)該可見光分 量與該近紅外光分量之間的相對(duì)量值來可調(diào)整地設(shè)置最大增益值。增益調(diào)整 部分將用于該第一成像信號(hào)的增益調(diào)整在所設(shè)置的最大增益值。在增益調(diào)整 之后，將第一成像信號(hào)從增益調(diào)整部分發(fā)送到降噪部分。
降噪部分接收第 一成像信號(hào)，并對(duì)每一種顏色降低第 一成像信號(hào)中的噪 聲，同時(shí)保留基于邊緣信息識(shí)別的圖像位置處的邊緣信息。
根據(jù)本發(fā)明的一個(gè)實(shí)施例的成像信號(hào)處理電路是接收包含可見光分量的 第一成像信號(hào)以及包含近紅外光分量的第二成像信號(hào)并降低該第一成像信號(hào) 中的噪聲的成像信號(hào)處理電路。成像信號(hào)處理電路降低第 一成像信號(hào)中的噪 聲。成像信號(hào)處理電路具有增益調(diào)整部分和降噪部分。增益調(diào)整部分在功能 上類似于前述視頻輸入處理器。
根據(jù)本發(fā)明的一個(gè)實(shí)施例的降低成像信號(hào)中的噪聲的方法以獲取包含寸 見光分量的第一成像信號(hào)以及包含近紅外光分量的第二成像信號(hào)開始。根據(jù)該可見光分量與該近紅外光分量之間的相對(duì)量值可調(diào)整地設(shè)置最大增益值。 在所設(shè)置的最大增益值對(duì)于第一成像信號(hào)進(jìn)行增益調(diào)整。在增益調(diào)整之后， 降低該第一成像信號(hào)中的噪聲。
在本發(fā)明的實(shí)施例中，第二成像信號(hào)最好包含等效于第一成像信號(hào)的可 見光分量的可見光分量以及與來自景物的近紅外光的量對(duì)應(yīng)的近紅外光分 量?；趤碜猿上裥盘?hào)產(chǎn)生部分的第一和第二成像信號(hào)，增益調(diào)整部分計(jì)算 關(guān)于從第 一成像信號(hào)的可見光分量獲得的第 一比較值與第二比較值之間的相 對(duì)量值的參數(shù)。通過將與第二成像信號(hào)的可見光分量對(duì)應(yīng)的近紅外光分量加 到等效于第一比較值的第二成像信號(hào)的可見光分量來獲得第二比較值。增益 調(diào)整部分基于該參量的量值可調(diào)整地設(shè)置最大增益值。
此外，在本發(fā)明的實(shí)施例中，成像信號(hào)處理電路最好進(jìn)一步包括邊緣信 息獲取部分，所述邊緣信息獲取部分被配置為從該第二成像信號(hào)獲取邊緣信 息。降噪部分對(duì)于每一種顏色降低該第一成像信號(hào)中的噪聲，同時(shí)保留在基 于該邊緣信息識(shí)別的圖像位置處的邊緣信息。
在如上所述的本發(fā)明的實(shí)施例的配置中，當(dāng)對(duì)第 一成像信號(hào)調(diào)整增益時(shí)， 基于第一和第二成像信號(hào)設(shè)置最大增益值。更具體地，計(jì)算關(guān)于第一和第二
比較值之間的相對(duì)量值的參數(shù)。第一比較值從第一成像信號(hào)的可見光分量獲 得并且與可見光分量的量值相關(guān)。第二比較值與通過將與第二成像信號(hào)的可 見光分量對(duì)應(yīng)的近紅外光分量加到等效于該第一比較值的第二成像信號(hào)的可 見光分量而獲得的值相關(guān)。
增大該參數(shù)K的值意味著將第一和第二比較值之一設(shè)置為大于另一個(gè)。 相反，減小參數(shù)的值意味著將第一和第二比較值之一設(shè)置為小于另一個(gè)。
在本發(fā)明的實(shí)施例中，在降噪之前進(jìn)行增益調(diào)整期間，例如根據(jù)參數(shù)的 量值確定在第二成像信號(hào)中包含的近紅外光分量是大還是小。根據(jù)參數(shù)的量 值，在增益調(diào)整期間設(shè)置或限制最大增益值。在本發(fā)明的實(shí)施例中，根據(jù)參 數(shù)最大增益值可以變化到不同的值。
通常地，根據(jù)輸入動(dòng)態(tài)范圍存在降噪中的限制。如果超過了限制，則輸 出圖像中的噪聲迅速增大。由噪聲電平的量值以及輸入信號(hào)電平變化所述限 制。當(dāng)在從成像到降噪的信號(hào)處理路徑中信號(hào)的增益增大時(shí)，信號(hào)中包含的 噪聲電平也增大。然而，通常由在裝置內(nèi)部執(zhí)行的信號(hào)處理將在成像裝置中 產(chǎn)生的噪聲抑制到一定程度。因此，在成像裝置與降噪級(jí)之間出現(xiàn)的放大器中產(chǎn)生的噪聲主要支配確定前述降噪中的限制的噪聲電平。
也就是說，降低噪聲電平中的限制(超過該限制則噪聲電平迅速增大) 與實(shí)際執(zhí)行降噪之前所產(chǎn)生的信號(hào)電平相關(guān)，并且還與當(dāng)對(duì)信號(hào)電平進(jìn)行調(diào) 整時(shí)使用的增益有關(guān)。
在根據(jù)本發(fā)明的一個(gè)實(shí)施例的上述視頻輸入處理器中，將成像信號(hào)產(chǎn)生 部分設(shè)計(jì)為能夠產(chǎn)生包含可見光分量的第一成像信號(hào)以及包含近紅外光分量 的第二成像信號(hào)。如果第二成像信號(hào)的近紅外光分量與第 一成像信號(hào)的可見 光分量之間的相對(duì)量值已知，則可以預(yù)測降噪中限制(超過該限制則噪聲電 平將迅速增大)的相對(duì)量值。增益調(diào)整部分可以計(jì)算各光分量之間的相對(duì)量 值，例如作為參數(shù)。因此，可以可調(diào)整地設(shè)置最大增益值，以便不超過降噪 能力的限制。
由于到目前為止描述的配置，如果發(fā)生環(huán)境變化(如當(dāng)使用不同的光源 以成像景物或光源的色溫變化時(shí))，防止了降噪能力在用于降低增益的處理期 間-波削弱。
本發(fā)明的實(shí)施例可以有效地消除以下缺點(diǎn)降噪能力根據(jù)所包含的紅外 光分量而變化并且有時(shí)超過降噪能力；否則將輸出帶噪圖像。
圖1是并入根據(jù)本發(fā)明的實(shí)施例的成像信號(hào)處理電路的照相機(jī)裝置的框
圖2是示出圖1中所示的成像裝置的輸出光譜特性的圖，用以圖解該實(shí)
施例；
圖3A是在圖1中所示的成像信號(hào)處理電路中所包括的降噪部分的框圖； 圖3B是示出最大增益值與參數(shù)的關(guān)系的圖4A和4B是其每一個(gè)均示出多層濾光片中顏色陣列的一個(gè)像素單元的
圖5是信號(hào)處理部分的框圖； 圖6是示出降噪塊的細(xì)節(jié)的框圖； 圖7是累加塊的圖8是特別地圖解拍攝圖像之后所執(zhí)行的邊緣判決和降噪的流程圖; 圖9是概念性地圖解邊緣判決和濾光之間的關(guān)系的圖；圖10是概念性地圖解濾波器系數(shù)的設(shè)置和濾波之間的關(guān)系的圖11是特別地圖解增益調(diào)整的流程圖12是與本發(fā)明的修改相關(guān)的照相機(jī)配置的部分的示意圖13是示出專利對(duì)比文件1中所描述的成像處理部分的配置的框圖；以
及
圖14是示出電燈泡和熒光燈之間光譜特性的不同的圖，所述電燈泡和熒 光燈均作為光源。
具體實(shí)施例方式
在下文中，將參照附圖描述本發(fā)明的實(shí)施例。 第一實(shí)施例
圖1是并入了與本發(fā)明的實(shí)施例相關(guān)的成像信號(hào)處理電路的照相機(jī)裝置 的框圖。照相機(jī)裝置與本發(fā)明的"視頻輸入處理器"的一種形式對(duì)應(yīng)。照相機(jī) 裝置可以是主要設(shè)計(jì)為拍攝運(yùn)動(dòng)圖片序列的攝像機(jī)，也可以是主要設(shè)計(jì)為拍 攝靜止圖像的數(shù)字照相機(jī)。
所示的照相機(jī)裝置具有光學(xué)元件1，包括鏡頭和光學(xué)濾光片；成像裝置2; 模擬前端(AFE)電路3,用于處理模擬成像信號(hào)；模數(shù)轉(zhuǎn)換器(ADC) 5,
用于將模擬成像信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并將數(shù)字信號(hào)作為數(shù)字視頻信號(hào)輸出到 各種數(shù)字處理部分；以及數(shù)模轉(zhuǎn)換器(DAC) 12,用于將經(jīng)過各種處理的視 頻信號(hào)轉(zhuǎn)換為模擬信號(hào)，并將模擬信號(hào)作為視頻信號(hào)14輸出。
光學(xué)元件1中所包括的光學(xué)濾光片阻塞高于奈奎斯特頻率的高頻分量， 例如以防止混淆失真(aliasing distortion )。光學(xué)濾光片可以或可以不并入紅外 截除濾光片的功能。在光學(xué)濾光片不具有紅外截除濾光片的功能的情況下， 由成像裝置2的單片多層濾光片擁有紅外截除濾光片的功能。
圖2示出在本實(shí)施例中使用的成像裝置的輸出光譜特性，所述成像裝置 具有單片多層濾光片。在圖2的圖中，在橫軸上繪出入射光的波長，而在縱 軸上繪出每一種顏色的成像信號(hào)的輸出電平的灰度電平。例如，由8位表示 輸出電平。也就是說，灰度電平可以假定從0到1,024的值。
從圖2中可以看出，該成像裝置在高于近紅外區(qū)域下限(700到800nm; 在所示的示例中為750nm)的頻率處具有對(duì)紅(R)、綠(G)、藍(lán)(B)以及 白(W)輻射的敏感度。所示的照相機(jī)裝置具有信號(hào)處理部分4，用于處理來自模數(shù)轉(zhuǎn)換器
(ADC) 5的數(shù)字信號(hào)。信號(hào)處理部分4是本發(fā)明的"成像信號(hào)處理電路"的 一種形式并且包括增益調(diào)整部分4A和降噪部分4B。
將信號(hào)處理部分4作為以IC形式、其中安裝多個(gè)部分的模塊形式或其上 安裝多個(gè)部分的襯底形式的半導(dǎo)體芯片提供。信號(hào)處理部分4可以被并入到 照相機(jī)裝置中。信號(hào)處理部分4連接在模數(shù)轉(zhuǎn)換器5和數(shù)模轉(zhuǎn)換器12之間， 并執(zhí)行包括信號(hào)放大(即預(yù)處理)、降噪(NR)、分離為亮度和顏色信號(hào)、亮 度信號(hào)處理以及顏色信號(hào)處理的各種處理。
用于將通過前述分離而獲得的亮度和顏色信號(hào)進(jìn)行組合的混合器電路 (YC一MIX) 9連接在信號(hào)處理部分4和數(shù)模轉(zhuǎn)換器12之間。信號(hào)處理部分 4也可以包括混合器電路9。信號(hào)處理部分4可以由IC或模塊組成。
圖3A示出圖1中所示的包括增益調(diào)整部分4A和降噪部分4B的信號(hào)處 理部分4的一部分(降噪部分)的配置的示例。增益調(diào)整部分4A和降噪部 分4B是本實(shí)施例的特性部分。所示的降噪處理部分54A分別接收第一成像 信號(hào)和第二成像信號(hào)。第一成像信號(hào)包含可見光分量。第二成像信號(hào)包含近
紅外光分量。
在此采用原色的成像信號(hào)作為示例。第一成像信號(hào)分別是紅(R )、綠(G ) 和藍(lán)(B)色(在下文中簡稱為R信號(hào)、G信號(hào)和B信號(hào))像素的成像信號(hào)。 第二成像信號(hào)包含白成像信號(hào)(在下文中可以簡稱為W信號(hào))以及近紅外光 (在下文中簡稱為IR信號(hào))分量的成像信號(hào)，所述白成像信號(hào)是等效于第一 成像信號(hào)的可見光分量(R信號(hào)+G信號(hào)+B信號(hào))的可見光分量。在此將第 二成像信號(hào)(A信號(hào)或A像素信號(hào))示出為W信號(hào)和R信號(hào)之和。
IR信號(hào)包含幾乎所有從景物發(fā)出的光的近紅外光分量。也就是說，圖l 中所示的光學(xué)元件1和成4象裝置2至少在用于接收IR信號(hào)的路線中均不具有 任何IR截除濾光片。因此，除了微小損失之外，IR信號(hào)包含幾乎所有來自 景物的近紅外光分量。
如圖3A所示，降噪處理部分54A具有增益調(diào)整部分4A、降噪部分4B 和邊緣信息獲取部分4C。增益調(diào)整部分4A至少包括可變?cè)鲆娣糯笃鱃A, 其根據(jù)給定增益值放大或削減R、 G、 B信號(hào)。在此這被稱為增益調(diào)整。增益 調(diào)整部分4A具有可調(diào)整地設(shè)置增益放大器GA的最大增益值Gmax的辨能。 將在后面詳細(xì)描述該功能。邊緣信息獲取部分4C獲得自A像素信號(hào)的邊緣信息ED(如相鄰像素之 間的差分像素值)并將邊緣信息輸出到降噪部分4B。
降噪部分4B執(zhí)行用于對(duì)增益調(diào)整之后的R、 G、 B信號(hào)降噪的處理。此 時(shí)，降噪部分4B在保存基于所獲得的邊緣信息ED而識(shí)別的圖像位置(邊緣 部分)處的邊緣灰度電平差的同時(shí)，執(zhí)行用于在除了邊緣之外的情況下的降 噪的處理。為了保存邊緣灰度電平差，降噪部分4B在邊緣處幾乎不執(zhí)行用于 降噪的處理或更弱地應(yīng)用降噪處理。
更好地，邊緣信息獲取部分4C具有從A像素信號(hào)提取有關(guān)邊緣部分的 局部詳細(xì)信息(邊緣紋理信息ET)的功能。為了在R、 G、 B信號(hào)中反映所 提取的邊緣紋理信息ET,降噪(NR)部分54A并入組合部分4D,所述組合 部分4D用于將邊緣紋理信息ET與經(jīng)歷了降噪處理的R、 G、 B信號(hào)進(jìn)行組 合。
因此，由來自組合部分4D的輸出信號(hào)指示的圖像是其中保留了邊緣灰 度電平并降低了噪聲的高質(zhì)量圖像。此外，在高質(zhì)量圖像中，防止了邊緣處 圖像質(zhì)量的劣化。
在本實(shí)施例中，在緊接圖3A所示的降噪處理部分54A之前(位于處理 信號(hào)的方向的上流)的級(jí)中的所有配置與本發(fā)明的"成像信號(hào)產(chǎn)生部分"的 一種形式對(duì)應(yīng)。也就是說，在圖l中，信號(hào)處理部分4內(nèi)部在增益調(diào)整部分 4A之前的級(jí)中的配置，即模數(shù)轉(zhuǎn)換器5、模擬前端(AFE)電路3、成像裝 置2和光學(xué)元件1，與本發(fā)明的"成像信號(hào)產(chǎn)生部分"對(duì)應(yīng)。
光學(xué)元件1具有鏡頭和在鏡頭外殼中接受的光圈。光學(xué)元件1可以提供 用于控制曝光量的調(diào)焦控制和光圈控制。光學(xué)元件1包括用于曝光控制的光 圈驅(qū)動(dòng)部分、用于自動(dòng)調(diào)焦的驅(qū)動(dòng)部分和用于所述驅(qū)動(dòng)部分的控制電^^。
成像裝置2是CCD傳感器或CMOS圖像傳感器。將成像裝置2保存在 照相機(jī)裝置的機(jī)身內(nèi)部，以便經(jīng)由光學(xué)元件1將從景物產(chǎn)生并沖擊(impinge) 成像裝置的光學(xué)圖像聚焦在成像裝置的成像表面上。成像裝置2具有由大量 光學(xué)傳感器組成的像素陣列以及位于像素陣列的入射側(cè)的多層濾光片。多層 濾光片是形成給定陣列的幾個(gè)相鄰光學(xué)傳感器(像素單元)的組合體 (assemblage )。
在成像裝置2是CCD傳感器的情況下，定時(shí)發(fā)生器(TM) 13,與成像裝 置2連接。成像裝置2可以從定時(shí)發(fā)生器13接收時(shí)鐘信號(hào)、垂直SYNC信號(hào)和水平SYNC信號(hào)。在成像裝置2是CCD的情況下，與垂直SYNC信號(hào)和 水平SYNC信號(hào)同步的傳送脈沖也從定時(shí)發(fā)生器13提供。
定時(shí)發(fā)生器13是用于在微型計(jì)算機(jī)10的控制下，產(chǎn)生用于從系統(tǒng)時(shí)鐘 信號(hào)(未示出)控制這些定時(shí)的信號(hào)。關(guān)于成像裝置2，由用于控制定時(shí)的 信號(hào)來控制各種操作，如傳送操作以及快門速度的變更。在成像裝置2是 CMOS傳感器的情況下，可以將定時(shí)發(fā)生器13的功能給予成像裝置2。
成像裝置2包括在本發(fā)明的"成像信號(hào)產(chǎn)生部分"。由于"圖像信號(hào)產(chǎn)生 部分，，包括圖3A所示的配置之前的級(jí)中的所有配置，因此成像裝置或裝置2 可以是一個(gè)或兩個(gè)。
在成像裝置2在數(shù)量上是單個(gè)的情況下，用于輸出第一成像信號(hào)的顏色 信號(hào)(如R、 G、 B信號(hào))的像素和用于輸出第二成像信號(hào)(如A像素信號(hào)) 的像素包含在組成重復(fù)單元的一個(gè)像素單元內(nèi)的給定陣列中。由多層濾光片 的結(jié)構(gòu)確定陣列，在該多層濾光片中，顏色選擇和IR截除的功能全部被并入。
在存在兩個(gè)分離的成像裝置2的情況下，其中之一輸出第 一成像信號(hào)。 另一成像裝置輸出第二成像信號(hào)。在這種情況下，通過光學(xué)元件(如二向棱 鏡)將來自相同景物的光學(xué)圖像分成沿著兩個(gè)方向的兩個(gè)部分。由沿著兩個(gè) 方向放置的兩個(gè)成像裝置接收光學(xué)圖像的兩個(gè)部分。
將顏色選擇濾光片放置在用于產(chǎn)生第一成像信號(hào)的成像裝置上。將IR截 除濾光片安裝在成像表面和光學(xué)元件之間的光程中?？商娲兀瑢⒕哂蠭R截 除濾光片和顏色選擇濾光片的全部功能的多層濾光片放置在成像裝置上。
同時(shí)，在用于產(chǎn)生第二成像信號(hào)的成像裝置上，均不安裝顏色選擇濾光 片和IR截除濾光片。由此，成像裝置可以產(chǎn)生A ( = W + IR)信號(hào)。
圖4A和4B示出具有成像裝置2的多層濾光片的顏色陣列的像素單元的 兩個(gè)示例。顏色陣列適于存在單個(gè)成像裝置的情況。在存在兩個(gè)成像裝置的 情況下，具有公知的"原色Bayer濾光片"或Knight顏色陣列的濾光片可以 用作成像裝置之一。
顏色陣列的類型不限于這兩個(gè)示例?，F(xiàn)在描述原色濾光片的一種典型的 示例。在濾色鏡是原色濾光片的情況下，可以采用除了所示陣列之外的陣列。 可替代地，如已經(jīng)各種各樣地提出的那樣，濾色鏡可以是補(bǔ)色濾光片，其中, 規(guī)則地排列任意選擇的多個(gè)補(bǔ)色。
多層濾光片的每一個(gè)顏色選擇層均具有顏色陣列，例如，如圖4A或4B所示。
圖4A所示的顏色陣列祐:公知為"W格(checker)"。圖4B所示的顏色 陣列被公知為"WZ字型格"。"W格"和"WZ字型格"均包含具有對(duì)覆蓋 所有G、 R和B像素的所檢測到的波長區(qū)域的波長區(qū)域的敏感度的白(W) 像素。W像素以格的模式排列。
同時(shí)，多層濾光片的IR截除層被設(shè)計(jì)為截除G、 R和B像素處的紅外輻 射并在W像素處透射紅外輻射。
一般來說，近紅外輻射具有從0.7到0.8jam(可見紅光的更長波長上限) 至2.5jum(或1.5到3ym)的波長。由于近紅外光分量具有使顏色發(fā)白的問 題，所以必須從第一成像信號(hào)(R、 G、 B信號(hào))中移除近紅外光分量。然而， 難以通過IR截除濾光片完全阻塞近紅外光分量。通常地，即使在如圖2所示 的近紅外光區(qū)域中，成像裝置的輸出光譜特性也具有對(duì)紅(R)、綠(G)、藍(lán) (B)和白(W)的#文感度。人的纟見覺感覺對(duì)長于略短于700nm的波長幾乎 沒有敏感度。因此，這樣設(shè)計(jì)具有所示輸出光譜特性的成像裝置2，使得IR 截除層(或IR截除濾光片)抑制例如長于大約650nm的波長，由黑體點(diǎn)劃 線所示。
重新參照?qǐng)D1，從成像裝置2向其輸入模擬成像信號(hào)的AFE電路3對(duì)模 擬信號(hào)執(zhí)行各種處理，如例如由于相關(guān)雙采樣(在CCD的情況下)而引起 的復(fù)位噪聲的去除、其他噪聲去除以及放大。
模數(shù)轉(zhuǎn)換器(ADC) 5將經(jīng)處理的模擬信號(hào)轉(zhuǎn)換為給定位(如8位或10 位)的數(shù)字信號(hào)。數(shù)字信號(hào)包含像素信號(hào)序列，其具有對(duì)于每個(gè)像素的給定 位的灰度電平值。也就是說，從模數(shù)轉(zhuǎn)換器5輸出的數(shù)字信號(hào)包含像素信號(hào) 序列，其中A像素與其它顏色的像素交替。
已經(jīng)連同圖3A描述的所述配置的降噪處理部分54A^L包括在信號(hào)處理 部分4中。在單板型(single plate type)的情況下，當(dāng)顯示圖像時(shí)，成像裝置 2以掃描順序?qū)⒓t(R)、綠(G)、藍(lán)(B)和All (A = W + IR)作為時(shí)間順 序串行信號(hào)傳遞。需要在信號(hào)處理部分4的內(nèi)部，將用于從串行信號(hào)中分離 第一成像信號(hào)(例如，R、 G和B信號(hào))和第二成像信號(hào)(例如，A像素信 號(hào))的配置放置在降噪處理部分54A之前。 -
降噪部分4B接收所分離的第一成像信號(hào)(R、 G、 B信號(hào))的每一種顏 色并對(duì)于每一種顏色和每一個(gè)像素降噪。如后面詳細(xì)描述的那樣，當(dāng)處理包含R、 G和B信號(hào)的像素信號(hào)時(shí)，在順序修改要被處理的目標(biāo)像素時(shí)重復(fù)所
述處理。如果基于由邊緣信息獲取部分4C獲得的邊緣信息確定在每一個(gè)目標(biāo) 像素或其周圍不存在邊緣，則降噪部分4B執(zhí)行降噪。如果確定在每一個(gè)目標(biāo) 像素及其周圍存在邊緣，則不有效地執(zhí)行降噪。
該處理由低通濾波器執(zhí)行。在應(yīng)該特別保持邊緣灰度電平差的情況下， 使用邊緣保持濾波器，如交叉雙向?yàn)V波器(cross bilateral filter )。在下面的第 二實(shí)施例中詳細(xì)地描述交叉雙向?yàn)V波器。
將每一個(gè)在降噪之后獲得的R、G和B信號(hào)分離成亮度信號(hào)和顏色信號(hào)。 在以給定方式處理每一個(gè)隔離的信號(hào)之后，從信號(hào)處理部分4輸出所述信號(hào)。
混合器電路9將由信號(hào)處理部分4處理的亮度和顏色信號(hào)進(jìn)行組合，并 產(chǎn)生視頻信號(hào)。
數(shù)模轉(zhuǎn)換器(ADC) 12是用于將視頻信號(hào)轉(zhuǎn)換為模擬視頻信號(hào)14并將 其輸出的電路。
微型計(jì)算機(jī)10是用于控制成像裝置2、 AFE電路3、信號(hào)處理部分4、 定時(shí)發(fā)生器(TG) 13和所有其他元件的電路。用于保存控制參數(shù)的可再寫存 儲(chǔ)器(如非易失存儲(chǔ)器(NVM) 11)與微型計(jì)算機(jī)10連接。在圖1中沒有 示出監(jiān)視器顯示部分、用于編碼視頻信號(hào)14并將經(jīng)編碼的信號(hào)輸出到監(jiān)視器 顯示部分的電路以及用于處理并輸出音頻信號(hào)的電路。
第二實(shí)施例
在以下描述作為本實(shí)施例的一個(gè)特點(diǎn)的、包括降噪處理部分54A的更詳 細(xì)的實(shí)施例。這里假定照相機(jī)裝置具有單板型的成像裝置2。 [信號(hào)處理部分的配置]
圖5是示出信號(hào)部分4的配置的一個(gè)示例的框圖。所示信號(hào)處理部分4 由一些主要的塊，即用于執(zhí)行預(yù)處理的PRE塊41、用于提取并處理亮度信號(hào) (Y )的Y塊42、用于提取并處理顏色信號(hào)(C )的C塊43以及用于檢測顯 示屏幕上的圖像的亮度的OPD (光學(xué)檢測器)塊44組成。每一個(gè)塊均經(jīng)由 并行接口 (PIO) 45與微型計(jì)算機(jī)10 (圖5中的CPU塊)連接。所述塊處于 微型計(jì)算機(jī)10的控制之下。由此，執(zhí)行PRE塊中的處理、自動(dòng)曝光(AE)、 自動(dòng)白平衡調(diào)整(AWB )和其他處理。
PRE塊41具有數(shù)字自動(dòng)增益控制(AGC)電路51、陰影缺陷校正電路 (shading-defect correcting circuit) 52、延遲線部分(D) 53、降噪(NR)塊54、模式產(chǎn)生電路56和黑累計(jì)電路57。
AGC電路51對(duì)于輸入數(shù)字成像信號(hào)調(diào)整增益。通常地，安裝AGC電路 51以獲得適于在后級(jí)中執(zhí)行的處理的信號(hào)幅度。統(tǒng)一地放大單個(gè)成像信號(hào)的 全部。也就是說，統(tǒng)一地放大可見光分量和近紅外光分量。
在本實(shí)施例中，降噪塊54包括增益調(diào)整部分，并且因此獲得了Y塊42 和C塊43所需的信號(hào)幅度。因此，除非到降噪塊54之前的級(jí)(即陰影缺陷 校正電路52)的輸入幅度太小以致于不能獲得必需的處理精度或者除非發(fā)生 其他特殊情況，否則可以省略AGC電路51。
陰影缺陷校正電路52執(zhí)行陰影校正，用于校正由在傳感器(成像裝置2 ) 的光接收面(light-receiving face )中的中心和邊緣部分之間的光接收位置的 差異引起的亮度差異。此外，校正電路52補(bǔ)償來自成像裝置2的成像信號(hào)中 的凄t據(jù)丟失(data dropout )。
延遲線部分53是用于將信號(hào)延遲與水平方向和垂直方向上具有給定數(shù) 目的像素的幾條線的視頻數(shù)據(jù)標(biāo)準(zhǔn)(水平像素信號(hào)序列)對(duì)應(yīng)的量的電路以 便于在降噪塊54中處理。例如，在與5條線對(duì)應(yīng)的延遲對(duì)于在降噪塊54中 的處理是必需的情況下，可以串聯(lián)四個(gè)1線延遲部分?？梢詫⑴c5條線對(duì)應(yīng) 的像素信號(hào)序列應(yīng)用于與來自1線延遲部分的輸出和非延遲線(照原樣輸出 輸入的線)的輸出并行的降噪塊54。
代替延遲線部分53,可以安裝圖像存儲(chǔ)器?？梢宰x出一般地與所要求數(shù) 目的線對(duì)應(yīng)的數(shù)據(jù)。將在后面詳細(xì)描述降噪塊54的配置和操作。
圖1所示的成像裝置2是單板型的，并且采用圖4A或圖4B所示的顏色 陣列。因此，關(guān)于由從成像裝置2輸出的成像信號(hào)所表示的各個(gè)顏色，具有 關(guān)于紅(R)、綠(G)和藍(lán)(B)中任意一種信息的像素信號(hào)與白(W)像素 信號(hào)在時(shí)間軸上交替地混合。因此，由成像信號(hào)表示的圖像對(duì)于每一種顏色 處于馬賽克模式(mosaic pattern )。將具有這樣的馬賽克顏色陣列的圖像稱為 "馬賽克圖像"。
如果將這樣的馬賽克圖像完好地用在降噪處理中，則由于存在信息丟失， 所以可能不能精確地執(zhí)行所述處理。因此，降噪塊54具有將馬賽克圖像去馬 賽克(demosaic)的功能。處理確定顏色的馬賽克圖像的"去馬賽克"，通過 從具有關(guān)于特定顏色的信息的相鄰像素內(nèi)插，用于在不存在關(guān)于特定顏色的 信息的部分產(chǎn)生顏色信息，并且由此將馬賽克圖像轉(zhuǎn)換為在所有對(duì)應(yīng)像素部分中具有顏色信息的"經(jīng)去馬賽克的圖像"。沒有示出用于去馬賽克的詳細(xì)配 置。 一般來說，采用用于簡單線性內(nèi)插或使用顏色估計(jì)的重復(fù)和組合的高精 度內(nèi)插的電路配置。
模式產(chǎn)生電路56在沒有連接成像裝置2的情況下產(chǎn)生測試模式。黑累計(jì) 電路57檢測數(shù)字成像信號(hào)的黑電平。
y塊42接收并處理在從pre塊41輸出的經(jīng)去馬賽克的成像信號(hào)之中具 有最大信息量的A像素的經(jīng)去馬賽克的成像信號(hào)。Y塊42具有Y產(chǎn)生部分 61,用于從來自A像素的經(jīng)去馬賽克的成像信號(hào)產(chǎn)生亮度信號(hào)(Y);光圈控 制信號(hào)產(chǎn)生部分62,用于從亮度信號(hào)(y)產(chǎn)生光圈控制信號(hào)；以及伽瑪(y ) 校正部分63,用于伽瑪校正光圈控制信號(hào)。
將由Y產(chǎn)生部分61產(chǎn)生的亮度信號(hào)(Y)饋入OPD塊44。光圈控制信 號(hào)產(chǎn)生部分62修改從Y產(chǎn)生部分61產(chǎn)生的亮度信號(hào)(Y),以便僅加重圖像 輪廓。將經(jīng)修改的亮度信號(hào)(Y)提供到伽瑪校正部分63。伽瑪校正部分63 將經(jīng)伽瑪校正的亮度信號(hào)(Y)輸出到圖1的混合器電路9。
c塊43接收并處理r、 g和b信號(hào)的經(jīng)去馬賽克的成像信號(hào)。c塊43 具有rgb矩陣電路71、白平衡調(diào)整(wb )和伽瑪(y )校正電路72、用于 轉(zhuǎn)換色差信號(hào)(r-g)和(b-g)的色差轉(zhuǎn)換電路73以及用于產(chǎn)生色度信號(hào) Cr和Cb的色度產(chǎn)生電路74。
rgb矩陣電路71接收并去馬賽克r、 g和b像素的成像信號(hào)并輸出對(duì) 于每一個(gè)像素單元同步的顏色信號(hào)(r、 g和b信號(hào))。將r、 g和b信號(hào)輸 出到opd塊44以及wb和y校正電路72。
wb和y校正電路72從輸入r、 g和b信號(hào)對(duì)于每一種顏色實(shí)現(xiàn)增益平 衡，并進(jìn)行白平衡調(diào)整(wb)。此時(shí)，參照來自opd塊44的亮度信息。將 經(jīng)白平衡的r、 g和b信號(hào)的像素強(qiáng)度經(jīng)歷顏色伽瑪(y )校正。為了表示 圖像中的灰度電平的響應(yīng)特性，此時(shí)使用公知為伽瑪(y )的數(shù)值。例如， 將該數(shù)值保存在圖1所示的非易失性存儲(chǔ)器11中或微型計(jì)算機(jī)10的存儲(chǔ)區(qū) 域中。將該值經(jīng)由圖5的pio 45提供到wb和y校正電路72。處理伽瑪校 正用于正確地顯示被顯示圖像的亮度和色飽和度。
色差轉(zhuǎn)換電路73經(jīng)伽瑪校正的r、 g和b信號(hào)轉(zhuǎn)換為色差信號(hào)(r-g) 和(b-g)。色度產(chǎn)生電路74從來自色差轉(zhuǎn)換電路73的輸出信號(hào)產(chǎn)生色度信 號(hào)Cr和Cb。將所產(chǎn)生的色度信號(hào)Cr和Cb發(fā)送到圖1所示的混合器電路9。OPD塊44包括用于產(chǎn)生用于例如自動(dòng)曝光控制(AE )的累計(jì)亮度值的 亮度累計(jì)電路44A,和用于產(chǎn)生關(guān)于用于例如白平衡調(diào)整的各種顏色的累計(jì) R、 G和B值的RGB累計(jì)電路44B。
例如，亮度累計(jì)電路44A在圖像的一幀上，通過累計(jì)亮度信號(hào)(Y)來 產(chǎn)生經(jīng)累計(jì)的亮度值。將經(jīng)累計(jì)的亮度值提供到安裝在圖1的光學(xué)元件1中 的光圈控制電路以及經(jīng)由微型計(jì)算機(jī)10并入到成像裝置2的模擬增益電路。
例如，對(duì)于每一種顏色，RGB累計(jì)電路44B在一幀圖像上，通過對(duì)于各 種顏色累計(jì)來自RGB矩陣電路71的R、 G、 B信號(hào)來產(chǎn)生經(jīng)累計(jì)的R、 G和 B值。將經(jīng)累計(jì)的R、 G和B值經(jīng)由PI0 45提供到微型計(jì)算機(jī)10，其中計(jì)算 了 WB增益。將結(jié)果提供到WB和Y校正電路72。
這些累計(jì)電路可以由安裝在降噪塊54中的各種累加部分(在后面描述) 代替。在這種情況下，可以省略O(shè)PD塊44。
圖6是降噪塊54的更詳細(xì)的框圖。所示降噪塊54包括分離部分541、 同步部分542、 A去馬賽克部分543、 RGB去馬賽克部分545、增益調(diào)整部分 4A、降噪部分4B、邊緣信息獲取部分4C以及組合部分4D。在這些部分中， A去馬賽克部分543、 RGB去馬賽克部分545、增益調(diào)整部分4A、降噪部分 4B、邊緣信息獲取部分4C以及組合部分4D被包括在圖3A所示的降噪處理 部分54A中。
分離部分541從其它顏色的R、 G和B像素信號(hào)中分離構(gòu)成A ( W+IR) 像素的馬賽克圖像的A像素信號(hào)。同步電路542接收所分離的A像素信號(hào)、 R、 G和B像素信號(hào)，對(duì)它們進(jìn)行同步并將其輸出。將A像素信號(hào)施加到A 去馬賽克部分543。將R、 G和B信號(hào)施加到增益調(diào)整部分4A。
A去馬賽克部分543將輸入A像素信號(hào)去馬賽克，并產(chǎn)生經(jīng)去馬賽克的 A圖像。類似地，RGB去馬賽克部分545將輸入R、 G和B像素信號(hào)去馬賽 克，并產(chǎn)生經(jīng)去馬賽克的R、 G和B圖像。
這些去馬賽克步驟可以是諸如線性內(nèi)插的簡單去馬賽克。更期望，例如， 可以由能夠重復(fù)顏色估計(jì)和組合的電路執(zhí)行去馬賽克，所述電路用于高精度 內(nèi)插。更具體地說，可以通過專用于內(nèi)插的電路、諸如DSP(數(shù)字信號(hào)處理 器)之類的基于計(jì)算機(jī)的控制器以及用于操作該控制器的程序的函數(shù)來實(shí)現(xiàn) 去馬賽克。 '邊緣信息獲取部分4C通過給定技術(shù)從經(jīng)去馬賽克的A圖像中獲取邊緣
信息ED。此時(shí)，邊緣信息獲取部分4C從以目標(biāo)像素為中心的相鄰像素的范 圍中獲取邊緣信息。例如，由水平和垂直方向中的任意數(shù)目的像素來定義相 鄰像素的范圍，如3x3或5x5像素。通常來說，范圍的水平和垂直方向由相 同的奇數(shù)數(shù)目的像素組成。將目標(biāo)像素經(jīng)歷降噪，所述降噪使用由降噪部分 4B執(zhí)行的濾光。目標(biāo)像素順序地以輸入順序而變化，如以視頻信號(hào)的水平方 向的一個(gè)指向(sense )。邊緣信息獲取部分4C再次識(shí)別相鄰像素的范圍，以 便只要將目標(biāo)像素移動(dòng)到相鄰像素位置，則經(jīng)修改的目標(biāo)像素就變?yōu)橹行摹?由此，邊緣信息獲取部分4C重復(fù)邊緣信息的獲取。將所獲取的邊緣信息ED 從邊緣信息獲取部分4C提供到降噪部分4B。
獲取邊緣信息的特定技術(shù)是在以目標(biāo)像素為中心的相鄰像素的范圍之 內(nèi)，得出目標(biāo)像素和其他像素之間的差別。
在本實(shí)施例中，降噪部分4B由交叉雙向?yàn)V波器組成。濾波器配置基本 上是公知的二維低通濾波器(LPF)。例如，可以采用專利對(duì)比文件1中所示 的LPF配置。
此時(shí)，從所獲取的邊緣信息EB判斷邊緣。修改濾波器系數(shù)，以便基于 關(guān)于邊緣的判斷結(jié)果，保留更多的邊緣灰度電平差。此時(shí)，還可以加重初始 邊緣灰度電平差。將所修改的濾波器系數(shù)應(yīng)用于R、 G和B圖像的二維濾波 中。
以這種方式，從關(guān)于由A像素組成的經(jīng)去馬賽克的圖像的邊緣信息ED 中判斷邊緣。使用關(guān)于邊緣的判斷結(jié)果，由二維濾波器處理R、 G和B圖像。 因此，可以與更多所期望的結(jié)果一起，保留與像素值差對(duì)應(yīng)的邊緣灰度電平 差。將參照與所濾光的景物不同的圖像信息的二維濾波器特別地稱為交叉雙
向?yàn)V波器。將在后面簡明地描述由交叉雙向?yàn)V波器執(zhí)行的處理。由于使用經(jīng) 去馬賽克的A圖像來執(zhí)行邊緣檢測(即邊緣信息的獲取和邊緣的判斷)，所 以可以精確地檢測邊緣。結(jié)果，在來自交叉雙向?yàn)V波器的輸出處，可以有效 地保留邊緣信息。將經(jīng)處理的R、 G和B信號(hào)輸出到組合部分4D。
邊緣信息獲取部分4C具有從A像素信號(hào)(嚴(yán)格地講，經(jīng)去馬賽克的A 像素信號(hào))提取邊緣紋理信息ET的功能。例如，可以通過AND將所有一皮判 斷為邊緣并且包含像素值差的相鄰像素區(qū)域合并為 一個(gè)來獲得提取的范圍。 將邊緣紋理信息ET從邊緣信息獲取部分4C輸出到合并部分4D。合并部分4D將從降噪部分4B送入的R、 G和B像素信號(hào)中所包含的邊 緣部分替換為從邊緣信息獲取部分4C送入的邊緣紋理信息ET,由此組合圖 像(即信號(hào)的混合)。
將來自組合部分4D的R、 G和B圖像發(fā)送到用于處理顏色信號(hào)的C塊 43。將來自A去馬賽克部分543的經(jīng)去馬賽克的A圖像AD發(fā)送到用于處理 亮度信號(hào)的Y塊42。
作為本實(shí)施例的特性部分的增益調(diào)整部分4A包括增益放大器GA和累 加塊58。增益放大器GA從RGB去馬賽克部分545接收經(jīng)去馬賽克的R、 G 和B圖像，并將形成經(jīng)去馬賽克的R、 G和B圖像的顏色的R、 G和B像素 信號(hào)乘以增益值G，由此統(tǒng)一地改變信號(hào)幅度。增益值可以在不同的顏色之 中變化。在本實(shí)施例中，使用相同的增益值G,這是因?yàn)樵谳^后級(jí)出現(xiàn)用于 彩色平衡校正的電路。
累加塊57從A去馬賽克部分543接收經(jīng)去馬賽克的A圖像AD并從RGB 去馬賽克部分545接收經(jīng)去馬賽克的R、 G和B圖像RD、 GD和BD,并在 給定時(shí)間段中對(duì)于每一種顏色得出像素?cái)?shù)據(jù)的累計(jì)值。也就是說，發(fā)現(xiàn)累加 的A、 R、 G和B^f直。
累加塊58可以從來自同步部分542的輸出中計(jì)算上述四個(gè)累加值，這是 因?yàn)樵谌ヱR賽克之前和之后累加值的比率幾乎不變。而且，期望從來自同步 部分542的輸出中計(jì)算累加值，以便在早先的級(jí)中計(jì)算累加值。
圖7示出累加塊58的配置。圖7示出從來自同步部分542的輸出計(jì)算累 加值的情況。
在將來自成像裝置2的模擬成像信號(hào)轉(zhuǎn)換為數(shù)字形式之后，通過一些處 理步驟將信號(hào)送入圖5的PRE塊41,然后將其送入降噪(NR)塊54。在NR 塊54中，首先將成像信號(hào)送入圖7所示的分離部分541。分離部分541與高 速時(shí)鐘信號(hào)同步地操作以順序地將輸入數(shù)字成像信號(hào)的像素值指定到4通道 輸出。將A、 R、 G和B像素值經(jīng)由同步部分542從四通道輸出送入累加塊 58。
如圖7所示，累加塊58配備有分別與四個(gè)通道對(duì)應(yīng)的四個(gè)分離的累加部 分58A、 58R、 58G和58B。每一個(gè)累加部分具有加法器581和延遲裝置(如 閂鎖電路582 )?？梢詫碜酝讲糠?42的像素值送入加法器582的一個(gè)輸入端。加法器581的輸出與閂鎖電路582的輸入連接。閂鎖電路582的輸出 與加法器581的另一輸入端連接。
累加部分的加法器581由高速時(shí)鐘信號(hào)同步。在與分別施加像素值和下 一像素值的時(shí)間瞬間之間的間隔對(duì)應(yīng)的時(shí)間段期間，閂鎖電路582保存相同 的數(shù)據(jù)。因此，在每一個(gè)加法器581中累加像素值。在下一輸入瞬間，加上 下一像素值用于累加。在給定時(shí)間段(如一幀時(shí)間段)期間執(zhí)行該操作。結(jié) 果，接收A像素值的累加部分58A產(chǎn)生"A(W+IR)累加值ZA"。類似地， 接收R像素值的累加部分58R產(chǎn)生"R累加值I1R"。接收G像素值的累加部 分58G產(chǎn)生"G累加值i:G"。接收B像素值的累加部分58B產(chǎn)生"B累加值 ZB"。
圖6所示的增益調(diào)整部分4A包括微型計(jì)算機(jī)10的一些功能，并基于四 個(gè)累加值(在下文中稱為累加值i:)計(jì)算參數(shù)K。參數(shù)K是根據(jù)可見光分量 與近紅外光分量之間的相對(duì)量值而變化的系數(shù)。微型計(jì)算機(jī)IO根據(jù)以下等式 (1-1)或(1-2)計(jì)算參數(shù)K。微型計(jì)算機(jī)10與本發(fā)明的"控制器"的一種 形式對(duì)應(yīng)。注意，等式(1-1 )和(1-2)僅僅示出示例。可以將任何變量用作 參數(shù)K,只要所述變量根據(jù)所捕獲圖像的可見光分量與近紅外光分量之間的 相對(duì)量值而變化即可。<formula>formula see original document page 23</formula>
其中符號(hào)",/ 和,指示分別對(duì)于各個(gè)顏色的校正系數(shù)。符號(hào)假定為小于1的任 意值。
這些等式的意義如下
通過累加在一幀圖像中從A像素(見圖4A和4B)輸出的A像素?cái)?shù)據(jù)來 獲得A(W+IR)累力口值ZA。該累加值將以對(duì)應(yīng)于包含可見光分量和近紅外 光分量兩者的成像信號(hào)的方式指示在成像屏幕上顯示的整個(gè)圖像的亮度。同 時(shí)，通過累加在一幀圖像中從R像素輸出的R像素?cái)?shù)據(jù)來獲得R累加值￡ R, 并指示R可見光分量的量值。類似地，G累加值ZG指示G可見光分量的量 值。B累加值EB指示B可見光分量的量值。因此，(ZA+ILG+ZB)指示 可見光分量的量值。假定白(W)電平，即W可見光分量的量值是EW，則一般存在以下關(guān)系
<formula>formula see original document page 24</formula>
如果在一幀圖像中取得的近紅外光分量之和是i: r,并且如果校正系數(shù)滿
足關(guān)系a,"和y〈1,則以上等式(1-1 )可以修改為
<formula>formula see original document page 24</formula>
此外，上述等式(1-2)可以修改為
<formula>formula see original document page 24</formula>
也就是說，兩個(gè)等式指示根據(jù)可見光分量Z W和近紅外光分量EIR的量
值而變化的參數(shù)K。兩個(gè)等式均意味著當(dāng)可見光分量i:iR的量值的比率增大
時(shí)，參數(shù)K增大。
"￡ A + Z G + ￡ B，，與本發(fā)明的"從第 一成像信號(hào)(R、 G和B像素信號(hào)) 的可見光分量獲得的第一比較值"對(duì)應(yīng)。"ZA"是"通過將與可見光分量(￡ W)對(duì)應(yīng)的近紅外光分量(￡IR)加到等效于第一比較值"EA + SG + EB" 的第二成像信號(hào)(A像素信號(hào))的可見光分量H W而獲得的第二比較值"。從 以上等式(l-l)和(l-2)中很明顯，參數(shù)K與第一比較值(ZA + ZG + ZB) 和第二比較值(ZA)的量值相關(guān)。
如目前所述的那樣，參數(shù)K的值的增大使第一和第二比較值之一與另一 個(gè)的比率增大，反之亦然。
作為控制器的微型計(jì)算機(jī)IO基于所計(jì)算的參數(shù)K,可調(diào)整地設(shè)置圖3A 或圖6所示的增益放大器GA的最大增益值Gmax。
在圖3B的圖中示出用于該操作的一個(gè)示例。如之前所述的那樣，意味著 當(dāng)參數(shù)K增大時(shí)，近紅外光分量i:iR的比率增大。因此，微型計(jì)算機(jī)10將 增益放大器設(shè)置在第一最大增益值Gmaxl。相反，意味著當(dāng)參數(shù)K減小時(shí)， 近紅外光分量ZIR的比率減小。微型計(jì)算機(jī)10將增益放大器GA設(shè)置在小于 第一最大增益值Gmaxl的第二最大增益值Gmax2。
優(yōu)選地，將其中設(shè)置第一最大增益值Gmaxl的區(qū)域Rl設(shè)置得大于參數(shù) K的第一參考值Pl。將其中設(shè)置第二最大增益值Gmax2的區(qū)域R2設(shè)置得小 于參數(shù)K的第二參考值P2 (P2〈P1)。
更優(yōu)選地，要設(shè)置的最大增益值Gmax在參數(shù)K的第一參考值Pl和第二 參考值P2之間的中間區(qū)域Rm從第 一最大增益值Gmaxl到第二最大考益值 Gmax2線性變化或以階梯方式變化。如果沒有形成中間區(qū)域Rm,則增益值可以在第一最大增益值Gmaxl和 第二最大增益值Gmax2之間晃動(dòng)(flip )。通過線性或以階梯方式變化最大增 益值Gmax (如前所述)，防止了最大增益值大大地變化或頻繁地切換。因此， 可以防止顯示屏幕上的圖像所感覺到的噪聲迅速變化。
在僅需要防止最大增益值頻繁切換的情況下，可以將滯后特性給予最大 增益值Gmax。
另 一方面，從作為圖6所示的控制器的微型計(jì)算機(jī)10提供增益值G本身 并且增益值G本身可以變化。
例如，將增益值G用于顯示屏幕上圖像的亮度的調(diào)整。例如，并非基于 來自圖6的OPD塊44的亮度信息，而是基于來自累加塊58的亮度信息(累 加值Z )來提供自動(dòng)曝光控制(AE)。此時(shí)，微型計(jì)算機(jī)IO對(duì)于變亮的暗景 物進(jìn)行逆光補(bǔ)償。微型計(jì)算機(jī)還進(jìn)行與色溫對(duì)應(yīng)的亮度補(bǔ)償，以便當(dāng)由于光 源的色溫引起可見光分量的量很小時(shí)增亮顯示屏幕上的整個(gè)圖像。
用于如上所述的操作的一個(gè)示例如下。在顯示屏幕上的整個(gè)圖像的亮度 充足但圖像內(nèi)的局部點(diǎn)亮度不足的情況下，微型計(jì)算機(jī)IO參照在例如非易失 性存儲(chǔ)器11中保存的逆光校正表，并讀出合適的增益值G。此外，微型計(jì)算 機(jī)10根據(jù)指示近紅外光分量i:iR的相對(duì)量值的參數(shù)K的值，通過參照在例 如非易失性存儲(chǔ)器11中保存的色溫亮度校正表來讀出合適的亮度校正表。
將增益放大器GA設(shè)置為在微型計(jì)算機(jī)10的控制之下讀出的增益值G。 例如，只要關(guān)于顯示屏幕上圖像的亮度信息變化，則重復(fù)包括讀取合適的增 益值G和重置(更新)增益放大器GA的增益值G的操作序列。
在以這種方式動(dòng)態(tài)地控制增益的情況下，例如，使用作為最小單元的一 幀圖像動(dòng)態(tài)地重復(fù)例如如圖3B所示的最大增益值Gmax的重置控制。
在本實(shí)施例中，動(dòng)態(tài)地控制最大增益值Gmax,這是因?yàn)樵撝蹬c降噪密切 相關(guān)。
首先簡要描述使用交叉雙向?yàn)V波器的降噪。所述降噪包括根據(jù)本發(fā)明的 一個(gè)實(shí)施例的降噪方法的一個(gè)示例。然后，將描述降噪和最大增益值控制之 間的關(guān)系。
圖8是圖解在捕獲圖像的步驟之后執(zhí)行的處理的流程圖。所述處理示意 性地圖解邊緣判決和降噪。在圖8的步驟STO，由在相同的像素單元中包括A、 R、 G和B的顏色 像素的成像裝置2成像景物。
然后，由圖1所示的模數(shù)轉(zhuǎn)換器(ADC) 5將所獲得的模擬成像信號(hào)轉(zhuǎn) 換為數(shù)字形式(步驟ST1 )。接著，由圖6所示的A去馬賽克部分543和RGB 去馬賽克部分545執(zhí)行去馬賽克(步驟ST2)。為了畫圖的方便起見，在圖中 省略了由AFE電路3執(zhí)行模擬前端(AFE)處理、由分離部分541的分離、 由同步部分542執(zhí)行的同步以及其他處理。
在步驟ST3，由圖6所示的邊緣信息獲取部分4C獲取邊緣信息。然后， 在步驟ST4，執(zhí)行濾波。步驟ST4的濾波包括邊緣判決(步驟ST41)、 LPF 系數(shù)的設(shè)置(步驟ST42 )以及濾波(步驟ST43 )。
與步驟ST3的開始同時(shí)，開始步驟ST5的增益調(diào)整。首先，描述步驟ST3 和ST4。
例如在邊緣信息獲取部分4C中包括的差分計(jì)算器(未示出)(如減法器) 在微型計(jì)算機(jī)10的控制之下執(zhí)行邊緣信息的獲取(步驟ST3 )。
可以由微型計(jì)算機(jī)IO本身來執(zhí)行差值的計(jì)算。在計(jì)算依賴于硬件的情況 下，可以要求差分值計(jì)算電路。差分值計(jì)算電路計(jì)算目標(biāo)A像素At的像素 值與相鄰A像素Ap的像素值之間的差值D,所述相鄰A像素Ap在例如包 括目標(biāo)A像素At的3x3像素的相鄰像素的范圍內(nèi)位于目標(biāo)A像素At周圍， 如圖8的經(jīng)去馬賽克的A圖像AD所示。
除了與經(jīng)去馬賽克的3x3范圍的相鄰像素對(duì)應(yīng)的經(jīng)去馬賽克A圖像AD 之外，在圖8中示出了與3x3經(jīng)去馬賽克的A圖像AD對(duì)應(yīng)的經(jīng)去馬賽克的 R、 G和B圖像RD、 GD和BD。
3x3經(jīng)去馬賽克的R圖像RD的中心像素是目標(biāo)R像素Rt。類似地，3x3 經(jīng)去馬賽克的G圖像GD的中心像素是目標(biāo)G像素Gt。 3x3經(jīng)去馬賽克的B 圖像BD的中心像素是目標(biāo)B像素Bt。
這四個(gè)目標(biāo)像素一般通常在時(shí)鐘信號(hào)規(guī)定的同一時(shí)間瞬間、在成像裝置
2的像素陣列中的圖4A或4B所示的相同像素單元內(nèi)獲得。當(dāng)所處理的對(duì)象 順序地變化時(shí)，例如，在水平方向上將四個(gè)目標(biāo)像素順序地移動(dòng)一個(gè)像素間 隔。相應(yīng)地，對(duì)于每一種顏色在相同的方向中將3x3相鄰像素的范圍移動(dòng)一 個(gè)像素間隔。 、
差分值計(jì)算電路以所示的8種方向計(jì)算經(jīng)去馬賽克的A圖像AD中的差值diff (px, py)。坐標(biāo)(px, py)表示所示采用的(x， y)絕對(duì)位置坐標(biāo)系 內(nèi)的局部相對(duì)坐標(biāo)，所述坐標(biāo)系與顯示屏幕上圖像中的像素地址對(duì)應(yīng)。坐標(biāo) (px， py)指示經(jīng)去馬賽克的A圖像AD內(nèi)相對(duì)于目標(biāo)A像素At的每一個(gè) 位置。 一個(gè)像素間隔的距離由1指示。
當(dāng)經(jīng)去馬賽克的A圖像AD的中心像素(目標(biāo)A像素At)根據(jù)絕對(duì)位置 坐標(biāo)由AO (x, y)指示時(shí)，相鄰像素可以由Ap (x-xp, y-yp)指示。它們的 差值的計(jì)算導(dǎo)致diff (px， py)。
8種差值的計(jì)算導(dǎo)致所示的差值陣列(數(shù)值矩陣)。將所獲得的邊緣信息 ED (差值陣列)從邊緣信息獲取部分4C發(fā)送到降噪部分4B,其中將所述信 息經(jīng)歷濾波操作。
圖9是概念性地圖解在上述濾光操作中所包括的邊緣判決(步驟ST41 ) 和濾波(ST43)的圖。圖IO是概念性地圖解在濾波操作(ST42)中濾波和 LPF系數(shù)的設(shè)置的圖。
如圖9和IO所示，降噪部分4B并入用于交叉雙向?yàn)V波器的邊緣判決部 分544、濾波器部分546以及濾波器系數(shù)設(shè)置部分547。
邊緣判決部分544可以由專用硬件組成?？商娲?，處理順序可以由撰t 型計(jì)算機(jī)10載入的軟件實(shí)現(xiàn)。濾波器部分546由包括X方向?yàn)V波部分和Y 方向?yàn)V波部分的硬件單元組成。這些X方向?yàn)V波器和Y方向?yàn)V波器中的每一 個(gè)均包括移位寄存器、加法器和乘法器。濾波器設(shè)置部分547操作以便從例 如非易失性存儲(chǔ)器11中讀取基本濾波器系數(shù)組并修改該組。該處理序列由微 型計(jì)算機(jī)10載入的軟件實(shí)現(xiàn)。
在濾波器系數(shù)設(shè)置時(shí)(步驟ST42)，作為由微型計(jì)算機(jī)IO組成的濾波器 設(shè)置部分547從例如非易失性存儲(chǔ)器11中讀取基本LPF系數(shù)WO。如果邊緣 判決部分544確定存在邊緣，則濾波器設(shè)置部分547在對(duì)應(yīng)的位置修改所讀 取的基本LPF系數(shù)WO。
具體地，如圖10所示，在做出"存在邊緣"的決定的位置，降低基本 LPF系數(shù)WO,并計(jì)算X方向中所修改的LPF系數(shù)W (x, px)。由所計(jì)算出 的LPF系數(shù)W (x, px)代替基本LPF系數(shù)W0的對(duì)應(yīng)部分。類似地，計(jì)算 Y方向中LPF系數(shù)W (y, py)。由所計(jì)算出的LPF系數(shù)W ( y, py)代替基 本LPF系數(shù)W0的對(duì)應(yīng)部分。 '
LPF系數(shù)降低的比率可以由濾波器設(shè)置部分547在之前確定。根據(jù)差分值的量值可以動(dòng)態(tài)地控制所述系數(shù)。
例如在X方向中得出LPF系數(shù)的方法的一個(gè)示例由以下公式(2)表示。 通過將等式(2)的"x"代替為"y"來獲得Y方向中的計(jì)算公式。在所述 等式中，根據(jù)離差(dispersion) (a2)來統(tǒng)一地確定降低系數(shù)的方式。
戸
exp [ { (j: - / 力2 / 2cr/} +
____ ____ 乂
其中edge(x)指示A像素?cái)?shù)據(jù)中X方向中每一個(gè)灰度電平值(見圖9和10)。 濾波器部分546執(zhí)行圖8的濾波操作(步驟ST43)。例如，在X方向?yàn)V 波操作中，接收R、 G和B像素?cái)?shù)據(jù)(輸入in (x)),并如圖9所示產(chǎn)生輸出 out (x)。由于到濾波器部分546的輸入in (x)是在由圖6所示的增益放大 器GA進(jìn)行的增益調(diào)整之后獲得的R像素?cái)?shù)據(jù)、G像素?cái)?shù)據(jù)和B像素?cái)?shù)據(jù)中 的任意一個(gè)，所以噪聲電平是高。邊緣灰度電平差值被噪聲混淆。
另一方面，A像素?cái)?shù)據(jù)包含W像素?cái)?shù)據(jù)(等效于R、 G和B像素?cái)?shù)據(jù)之 和)和近紅外光分量IR。因此，A像素?cái)?shù)據(jù)最初是大量數(shù)據(jù)。不需要調(diào)整增 益。因此，如圖9所示，S/N高，且邊緣灰度電平差值清楚。以與到Y(jié)方向 濾波器的輸入in ( y)和A像素?cái)?shù)據(jù)中的Y方向灰度電平值edge ( y)相同的 方式，邊緣通過輸入到濾波器而混淆但在A圖像中清楚。這是為什么在設(shè)置 LPF系數(shù)時(shí)使用A像素信號(hào)數(shù)據(jù)的原因?？梢詮牡仁?2)中看出，關(guān)于A 像素信號(hào)數(shù)據(jù)的差分值信息反映在LPF系數(shù)W中由虛線指示的部分中。
濾波器部分546是用于通過使用濾波器設(shè)置部分547設(shè)置的濾波器系數(shù) (權(quán)重系數(shù))將權(quán)重附到輸入in (x)或in (y)的目標(biāo)像素值以及雙向(即 X和Y方向)中每一種顏色的相鄰8個(gè)像素值，來變化并輸出目標(biāo)像素值的 灰度電平值的電路。例如在X方向，由濾波器部分546執(zhí)行的處理數(shù)學(xué)地由 等式(3)給出。Y方向中的公式通過將等式(3)的"x，，替換為"y"而獲 得。
ow《x) =--Z '"W 『(x，戸)... (3 )
此時(shí)，濾波部分546將目標(biāo)像素移動(dòng)到下一相鄰像素位置。只要修改目 標(biāo)像素，則濾波部分重新計(jì)算LPF系數(shù)，執(zhí)行移位，并影響進(jìn)行濾波。目標(biāo) 像素的變化完全與邊緣信息獲取部分4C的操作同步。在以目標(biāo)像素為中心的 相鄰像素范圍內(nèi)執(zhí)行由以上等式(3)表示的濾波。當(dāng)完成濾波時(shí)，將目標(biāo)像素移動(dòng)到下一像素位置。對(duì)于經(jīng)修改的目標(biāo)像素和相鄰8個(gè)像素執(zhí)行類似的 處理。
圖8概念性地圖解基本LPF系數(shù)W0的數(shù)值。在圖8中，為了系數(shù)的描 繪方便起見，由不同于實(shí)際系數(shù)電平的相對(duì)大的整數(shù)值指示數(shù)值。
在系數(shù)"1"、 "3"和"1"以一列的方向(以所顯示像素的垂直方向)排 列的情況下，如果將該列以相鄰列之間的幾乎中間的位置判斷為邊緣的中心， 則降低系數(shù)l、 3和1。為了說明方《更起見，例如，將系數(shù)乘以因數(shù)0.2。由 此，修改系數(shù)以便使邊緣更加清楚。以這種方式使用經(jīng)修改的LPF系數(shù)組 執(zhí)行濾波操作。
使用普通二維濾波器(雙向?yàn)V波器)，如果執(zhí)行濾波，則邊緣信息擴(kuò)散到 相鄰像素。
另一方面，在根據(jù)本實(shí)施例的交叉雙向?yàn)V波器中，使用A像素信號(hào)數(shù)據(jù) 以保留每一個(gè)邊緣的陡度。部分地修改用于去噪的基本LPF系數(shù)。如果修改 經(jīng)優(yōu)化的LPF系數(shù)用于去噪，則去噪的能力劣化。僅在顯示屏幕上的整個(gè)圖 像中局部地檢測邊緣。因此，除非以這種方式在判斷邊緣出現(xiàn)的位置應(yīng)用強(qiáng) 降噪，否則可以充分地實(shí)現(xiàn)全面降噪。
在以像素信號(hào)進(jìn)入的順序(即掃描順序)變化目標(biāo)像素的同時(shí)，對(duì)于一 種顏色重復(fù)迄今描述的所執(zhí)行的處理。在顏色圖像中，保留顏色信息。圖像 4妻近如圖9和10中X方向中輸出out (x)所示的A像素分布。也就是說， 將輕度變化(mild variation)作為顏色信息保留。然而，平滑掉了 ( smooth out) 突然或隨機(jī)變化。結(jié)果，降低了噪聲分量(即去除或抑制)。
將相同的原則應(yīng)用于Y方向和其他剩余的兩種顏色。
將經(jīng)歷降噪的R、 G和B信號(hào)(即經(jīng)去馬賽克的R、 G和B圖像RD、 GD和BD的信號(hào))從降噪部分4B發(fā)送組合部分4D。
另 一方面，將邊緣紋理信息ET從邊緣信息獲取部分4C輸出到組合部分 4D。與邊緣紋理信息ET對(duì)應(yīng)的一些經(jīng)去馬賽克的R、 G和B圖像RD、 GD 和BD由邊緣紋理信息ET代替，由此執(zhí)行圖像組合。
將在圖像組合之后獲得的R、 G和B圖像輸出到C塊43。將經(jīng)去馬賽克 的A圖像AD輸出到Y(jié)塊42。
圖8圖解在圖像組合之后執(zhí)行的處理。如圖所示，可以首先將iC過圖像 組合獲得的圖像進(jìn)行白平衡和伽瑪(Y )校正?？梢詫⒔?jīng)伽瑪校正的R、 G和B圖像輸出到如圖5所示用于Y處理的Y塊42以及用于C處理的C塊43。
圖ll是特別地圖解增益調(diào)整(步驟ST5)的流程圖。在由成像裝置捕獲 圖像之后執(zhí)行給定處理(步驟ST0)。首先執(zhí)行包括分離、同步和RGB去馬 賽克的步驟ST3的給定處理子步驟。將處理子步驟共同地由圖11的ST30指 示。然后，開始步驟ST5。
在步驟ST51,在所分離的成像信號(hào)之外，將通過從要對(duì)其調(diào)整增益的R、 G和B信號(hào)去馬賽克而獲得的經(jīng)去馬賽克的R、 G和B圖像RD、 GD和BD 的信號(hào)施加到增益調(diào)整部分4A。
在以下步驟ST52中，設(shè)置最大增益值Gmax。特別地，圖6的累加塊58 通過由圖7所示的電路配置、例如在對(duì)于每一種顏色A、 R、 G和B的一幀 圖像中累積地求和像素值來得出(find) A(W+IR)累加值i:A、 R累加值E R、 G累加值i:G和B累加值ZB。
作為控制器的微型計(jì)算機(jī)IO例如使用諸如上述等式(1-1)或(1-2)之 類的給定公式從這些累加值中計(jì)算參數(shù)K。通過參照例如如圖3B所示的給定 關(guān)系來得出合適的最大增益值Gmax。將圖3B的關(guān)系作為表存儲(chǔ)在例如非易 失性存儲(chǔ)器11中。微型計(jì)算機(jī)IO通過參照所述表來確定與所發(fā)現(xiàn)的參數(shù)K 對(duì)應(yīng)的最大增益值Gmax。微型計(jì)算機(jī)10將所獲得的最大增益值Gmax作為 圖6的增益放大器GA的增益的上限給出。
在圖11所示的步驟ST53的增益調(diào)整中，執(zhí)行前述自動(dòng)曝光控制(AE)。 將與顯示屏幕上圖像的亮度對(duì)應(yīng)的增益值G從微型計(jì)算機(jī)10給到增益放大 器GA。對(duì)由增益放大器GA的輸入信號(hào)以給定最大增益值Gmax進(jìn)行包括正 常放大和削減的增益調(diào)整。在增益調(diào)整之后，將R、 G和B信號(hào)從增益放大 器GA輸出到用于在步驟ST43濾波的降噪部分4B。
如目前所述的那樣，在本實(shí)施例中，例如，在降噪濾波之前進(jìn)行的增益 調(diào)整(ST5)期間，參數(shù)K的量值確定R、 G和B信號(hào)(第二成像信號(hào))中 所包含的近紅外光分量的量是大或小(步驟ST43)。在增益調(diào)整期間，根據(jù) 參數(shù)K的量值來設(shè)置或限制最大增益值Gmax。在本實(shí)施例中，根據(jù)參數(shù)K (圖3B),可以將最大增益值Gmax變化到不同的值。
在降噪濾波期間(步驟ST43),存在由于輸入動(dòng)態(tài)范圍而引起的降噪的 限制。如果超過了限制，則輸出圖像(來自圖9和10的濾波器部分546的輸 出out)中的噪聲顯著增大。限制根據(jù)噪聲電平以及到濾波器部分546的輸入in的信號(hào)電平而變化。當(dāng)從成像裝置到降噪級(jí)的信號(hào)處理的增益增大時(shí)，信 號(hào)中所包含的噪聲電平增大。然而， 一般來說，通過在裝置內(nèi)部執(zhí)行的信號(hào) 處理將由成像裝置產(chǎn)生的噪聲抑制到一定程度。因此，在由存在于從成像裝
置到降噪級(jí)的路徑中的放大器(如增益放大器GA )產(chǎn)生的噪聲主要支配確定 在降噪中的限制的噪聲電平。
也就是說，降噪中的限制(超過所述限制則噪聲電平顯著增大)與實(shí)際 上經(jīng)歷降噪的信號(hào)電平以及當(dāng)將信號(hào)調(diào)整到那個(gè)信號(hào)電平時(shí)的增益相關(guān)。
在本實(shí)施例的照相機(jī)裝置(視頻輸入處理器)中，將成像信號(hào)產(chǎn)生部分 (以信號(hào)輸入的順序在增益調(diào)整部分4A之前的配置)設(shè)計(jì)為能夠產(chǎn)生包含 可見光分量的R、 G和B圖像(第一成像信號(hào))以及包括近紅外光分量的A 圖像(第二成像信號(hào))。如果在第一成像信號(hào)(R、 G和B信號(hào))的可見光分 量(￡ (R+G+B) ^ZW)與第二成^f象信號(hào)(A信號(hào))的近紅外光分量(ZIR) 之間的相對(duì)量值是已知的，則可以預(yù)測降噪中的限制(超過所述限制則噪聲 顯著增大)的相對(duì)量值。增益調(diào)整部分4A可以計(jì)算光分量的相對(duì)量值，例 如作為參數(shù)K。結(jié)果，可以可調(diào)整地設(shè)置最大增益值Gmax,以便不超過降噪 能力中的限制。
由于目前所述的配置，如果發(fā)生環(huán)境變化，如當(dāng)成像景物時(shí)所使用的光 源變?yōu)椴煌蛘吖庠吹纳珳刈兓瘯r(shí)，則在降噪期間不損害降噪能力。因此， 降噪保證總是輸出高質(zhì)量圖像。
提取邊緣部分的細(xì)節(jié)圖像作為邊緣紋理信息ET并同步。因此，在降噪在 邊緣部分不產(chǎn)生有益效果(fruitfiil effect)的情況下或由于濾波使得顏色不同 的情況下，可以保留初始噪聲電平和顏色信息。
作為本發(fā)明的修改，在照相機(jī)裝置的前表面上安裝作為近紅外光發(fā)射部 分的紅外線燈15，其中如圖12所示也安裝光學(xué)元件1,所述前表面朝向景物。
當(dāng)增益調(diào)整部分4A已經(jīng)確定近紅外光分量(EIR)的電平低于給定參考 電平時(shí)，例如，在微型計(jì)算機(jī)10的控制下，點(diǎn)亮紅外線燈15。
因此，在不提供充分量的近紅外光的光源之下，可以增大從景物入射到 成像裝置2的光量本身。結(jié)果，可以獲得穩(wěn)定圖像質(zhì)量的高敏感度圖像，這 是因?yàn)闆]有執(zhí)行依賴于具有低S/N比的圖像的不合理處理。
根據(jù)目前所述的本實(shí)施例，可以有效地防止前述問題(即，根猛所包含 的紅外光分量的比例降噪能力變得不同，而且有時(shí)超過了降噪的限制，產(chǎn)生帶噪輸出圖像)。此外，通過利用所做出的關(guān)于近紅外光分量的電平是否充足 決定的結(jié)果，增大了近紅外光的量。因此，獲得了高敏感度圖像。因此，可 以合理地執(zhí)行降噪。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其他因素，可以出現(xiàn)各種 修改、組合、子組合以及變更，只要它們?cè)谒綑?quán)利要求或其等價(jià)物的范圍 內(nèi)即可。
權(quán)利要求
1.一種視頻輸入處理器，包括成像信號(hào)產(chǎn)生部分，被配置為成像景物，并產(chǎn)生包含可見光分量的第一成像信號(hào)以及包含近紅外光分量的第二成像信號(hào)；增益調(diào)整部分，被配置為根據(jù)該可見光分量與該近紅外光分量之間的相對(duì)量值來可調(diào)整地設(shè)置最大增益值，并將用于該第一成像信號(hào)的增益調(diào)整在所設(shè)置的最大增益值；以及降噪部分，被配置為在已經(jīng)調(diào)整該增益之后降低該第一成像信號(hào)中的噪聲。
2. 根據(jù)權(quán)利要求1所述的視頻輸入處理器，其中該第二成像信號(hào)包括等 效于該第一成像信號(hào)的可見光分量的可見光分量以及與從景物發(fā)出的近紅外 光的量對(duì)應(yīng)的近紅外光分量，并且其中該增益調(diào)整部分計(jì)算與第一比較值和 第二比較值之間的相對(duì)量值相關(guān)的參數(shù)，其中，基于來自成像信號(hào)產(chǎn)生部分 的第 一和第二成像信號(hào)從第一成像信號(hào)的可見光分量獲得該第 一比較值，并 通過將與第二成像信號(hào)的可見光分量對(duì)應(yīng)的近紅外光分量加到等效于該第一 比較值的第二成像信號(hào)的可見光分量來獲得該第二比較值，并基于該參數(shù)的 量值可調(diào)整地設(shè)置最大增益值。
3. 根據(jù)權(quán)利要求1所述的視頻輸入處理器，其中該增益調(diào)整部分計(jì)算指 示相對(duì)量值的參數(shù)，在該參數(shù)超過第一參考值并且包含相對(duì)大量的近紅外光 分量的區(qū)域中設(shè)置第一最大增益值，在該參數(shù)小于第二參考值并且包含相對(duì) 少量的近紅外光分量的區(qū)域中設(shè)置小于該第一最大增益值的第二最大增益 值，并且在該參數(shù)小于該第一參考值但大于該第二參考值的區(qū)域中從該第一 最大增益值到該第二最大增益值線性地或以階梯方式變化要設(shè)置的最大增益 值。
4. 根據(jù)權(quán)利要求2和3中任意一項(xiàng)所述的視頻輸入處理器，其中該增益 調(diào)整部分具有多個(gè)累加部分，被配置為在給定時(shí)間段中，計(jì)算該第一成像信號(hào)的可見 光分量與該第二成像信號(hào)的近紅外光分量的累加值；可變?cè)鲆娣糯笃?，被配置為接收該第一成像信?hào)，并對(duì)于所接收到的第 一成像信號(hào)調(diào)整增益；以及控制器，被配置為從由該累加部分獲得的多個(gè)累加值計(jì)算參數(shù)，并基于 該參數(shù)的量值，可調(diào)整地設(shè)置該可變?cè)鲆娣糯笃鞯淖畲笤鲆嬷怠?br>
5. 根據(jù)權(quán)利要求4所述的視頻輸入處理器，其中該多個(gè)累加部分包括曝光累加部分，所述曝光累加部分能夠在給定數(shù)目的圖像幀中累加可見光分量 的量值和近紅外光分量的量值之和，并檢測成像裝置的顯示屏幕上圖像的亮 度，所述和與從景物發(fā)出的光對(duì)應(yīng)，并且其中該控制器根據(jù)來自該曝光累加 部分的累加值控制該可變?cè)鲆娣糯笃鞯脑鲆嬷怠?br>
6. 根據(jù)權(quán)利要求1所述的視頻輸入處理器，進(jìn)一步包括邊緣信息獲取部 分，所述邊緣信息獲取部分被配置為從該第二成像信號(hào)獲取邊緣信息，并且 其中該降噪部分對(duì)于每一種顏色降低該第一成像信號(hào)中的噪聲，同時(shí)保留在 基于該邊緣信息識(shí)別的圖像位置處的邊緣信息。
7. 根據(jù)權(quán)利要求1所述的視頻輸入處理器，進(jìn)一步包括近紅外光發(fā)射部 分，所述近紅外光發(fā)射部分被配置為當(dāng)該增益調(diào)整部分已經(jīng)確定該近紅外光 分量的量小于給定參考電平時(shí)，使用給定量的近紅外光照射景物。
8. —種用于接收包含可見光分量的第一成像信號(hào)以及包含近紅外光分量 的第二成像信號(hào)并降低該第一成像信號(hào)中的噪聲的成像信號(hào)處理電路，該成 像信號(hào)處理電路包括增益調(diào)整部分，被配置為根據(jù)該可見光分量與該近紅外光分量之間的相 對(duì)量值來可調(diào)整地設(shè)置最大增益值，并將用于該第一成像信號(hào)的增益調(diào)整在 該所設(shè)置的最大增益值；以及降噪部分，被配置為在對(duì)于每一種顏色增益調(diào)整之后，降低該第一成像 信號(hào)中的噪聲。
9. 一種降低成像信號(hào)中的噪聲的方法，包括步驟獲取包含可見光分量的第 一成像信號(hào)以及包含近紅外光分量的第二成像 信號(hào)；才艮據(jù)該可見光分量與該近紅外光分量之間的相對(duì)量值可調(diào)整地設(shè)置最大 增益值；將用于該第一成像信號(hào)的增益調(diào)整在該所設(shè)置的最大增益值；以及 在該增益調(diào)整之后，降低該第一成像信號(hào)中的噪聲。
10. 根據(jù)權(quán)利要求9所述的降低成像信號(hào)中的噪聲的方法，進(jìn)一步包括步 驟當(dāng)確定該近紅外光分量的電平小于給定參考電平時(shí)，使用給定量的近紅外光照射景物。
11.一種電子裝置，包括成像信號(hào)產(chǎn)生部分，被配置為成像景物，并產(chǎn)生包含可見光分量的第一成像信號(hào)和包含近紅外光分量的第二成像信號(hào)；增益調(diào)整部分，被配置為根據(jù)該可見光分量與該近紅外光分量之間的相 對(duì)量值可調(diào)整地設(shè)置最大增益值，并將用于該第一成像信號(hào)的增益調(diào)整在該 所設(shè)置的最大增益值；降噪部分，被配置為在該增益調(diào)整之后，降低該第一成像信號(hào)中的噪聲；以及控制器，被配置為產(chǎn)生用于控制該增益調(diào)整部分的控制信號(hào)。
全文摘要
公開了一種視頻輸入處理器。該處理器包括成像信號(hào)產(chǎn)生部分，被配置為成像景物，并產(chǎn)生包含可見光分量的第一成像信號(hào)以及包含近紅外光分量的第二成像信號(hào)；增益調(diào)整部分，被配置為根據(jù)該可見光分量與該近紅外光分量之間的相對(duì)量值來可調(diào)整地設(shè)置最大增益值，并將用于該第一成像信號(hào)的增益調(diào)整在所設(shè)置的最大增益值；以及降噪部分，被配置為在已經(jīng)調(diào)整該增益之后降低該第一成像信號(hào)中的噪聲。
文檔編號(hào)H04N9/07GK101309360SQ20081009715
公開日2008年11月19日 申請(qǐng)日期2008年5月19日 優(yōu)先權(quán)日2007年5月17日
發(fā)明者沼田肇 申請(qǐng)人:索尼株式會(huì)社