專利名稱：在變化照明條件下捕獲圖像的制作方法
技術領域：
本發(fā)明涉及一種圖像捕獲設備，其包括具有提高的光敏度的二維圖 像傳感器，本發(fā)明還涉及對于來自該設備的圖像數(shù)據(jù)的處理。
背景技術：
圖像捕獲設備依賴于電子圖像傳感器來產生視覺圖像的電子表示。這種電子圖像傳感器的例子包括電荷耦合器件(CCD)圖像傳感器以及 有源像素傳感器(APS)設備(APS設備常常被稱作CMOS傳感器，這 是因為能夠用互補金屬氧化物半導體工藝來制造所述APS設備)。 一般 來說，這些圖像傳感器包括多個光敏像素，所述光敏像素常常被布置在 行和列的規(guī)則圖案中。為了捕荻彩色圖像，通常在所述像素圖案上制造 濾光器圖案，其中使用不同的濾光器材料以使得各單獨像素只對可見光 譜的一部分敏感。所述彩色濾光器必然會減少到達每個像素的光量，從而會降低每個像素的光敏度。 一直需要提高電子彩色圖像傳感器的光敏 度或攝影速度，以便允許在較低的光級下捕獲圖像，或者允許以較短的 啄光時間捕獲較高光級下的圖像。圖像傳感器是線性的或二維的。 一般來說，這些傳感器具有兩種不 同類型的應用。二維傳感器通常適用于諸如數(shù)字照相機、蜂窩電話以及 其他應用之類的圖像捕獲設備。線性傳感器常常被用來掃描文獻。在任 一情況下，當采用彩色濾光器時，所述圖像傳感器的靈敏度都被降低。因此，對于采用具有二維像素陣列的單個傳感器的電子捕獲設備， 需要提高光敏度。此外，還需要提高光敏度以有益于捕獲場景細節(jié)以及 捕獲場景色彩。發(fā)明內容簡而言之，根據(jù)本發(fā)明的一方面，本發(fā)明提供一種用于在變化照明 條件下捕獲場景圖像的方法，該方法包括a) 提供具有全色和彩色像素的圖像傳感器；b) 用戶選擇場景模式，并且根據(jù)照明條件和所選場景模式來調節(jié)圖像捕獲曝光；以及c)利用調節(jié)后的膝光，通過該圖像傳感器來捕獲場景。根據(jù)本發(fā)明的用于捕獲場景圖像的方法特別適用于低水平照明條 件，其中這種低水平照明條件是低場景照明、短曝光時間、小光圖或者對于到達傳感器的光的其他限制的結果。這種方法可以被有效地用在多 種應用中。通過查看下面對優(yōu)選實施例的詳細描述以及所附權利要求書并且 通過參考附圖，本發(fā)明的這些和其他的方面、目的、特征和優(yōu)點將得到 更清楚的理解和認識。


圖1是根據(jù)本發(fā)明的數(shù)字捕獲設備的方框圖；圖2(現(xiàn)有技術)是示出最小重復單位和非最小重復單位的常規(guī)的 Bayer彩色濾光器陣列圖案；圖3提供紅色、綠色和藍色像素的代表性光語量子效率曲線以及更 寬光語全色量子效率，它們全都與紅外截止濾光器的透射特性相乘；圖4A-D提供本發(fā)明的彩色濾光器陣列圖案的幾種變型的最小重復 單位，所述陣列圖案具有布置成行或列的彩色光響應相同的彩色像素；圖5示出來自圖4A的最小重復單位的單元結構；圖6A是圖4A的插值全色圖像；圖6B是對應于圖4A和圖5中的單元的低分辨率彩色圖像； 圖7A-C示出組合圖4A的像素的幾種方式；圖8A-D示出圖4A的彩色濾光器陣列圖案，其彩色像素具有替換 的彩色光響應特性，其中包括四色替換方案以及青色、品紅色和黃色替 換方案；圖9提供本發(fā)明的替換彩色濾光器陣列的最小重復單位，其中全色 像素被布置在對角線中；圖10A-B提供本發(fā)明的替換彩色濾光器陣列的兩種變型的最小重 復單位，其中全色像素形成一個柵格，彩色像素被嵌入到所述柵格中；圖11A-D提供本發(fā)明的替換彩色濾光器陣列的兩種變型的最小重 復單位和拼接布置，其中每個單元有兩種顏色；圖12A-B提供本發(fā)明的替換彩色濾光器陣列的兩種變型的最小重復單位，其中每個單元有兩種顏色，并且全色像素被布置在對角線中；圖13A-C提供圖4A的變型，其中最小重復單位小于8x8像素；圖14A-B提供本發(fā)明的替換彩色濾光器陣列的兩種變型的最小重 復單位，其中所述最小重復單位是6x6像素；圖15A-B提供本發(fā)明的替換彩色濾光器陣列的兩種變型的最小重 復單位，其中所述最小重復單位是4x4像素；圖16是圖4A的最小重復單位，其中具有對應于該最小重復單位內 的各單獨像素的下標；圖17A-E示出圖16的一個單元的全色像素和彩色像素以及組合所 述彩色像素的各種方式；圖18是本發(fā)明的過程圖，其示出本發(fā)明的對來自傳感器的彩色和 全色像素數(shù)據(jù)進行處理的方法；以及圖19A-D說明本發(fā)明用于對圖18的低分辨率部分色圖像中的缺失 顏色進行插值的方法。
具體實施方式
由于采用成像設備和用于信號捕獲及校正以及用于曝光控制的相 關電路的數(shù)字照相機是公知的，因此這里的描述將特別針對形成根椐本 發(fā)明的方法和設備的 一部分或者與其直接協(xié)作的元件。沒有在這里專門 示出或描述的元件是從本領域中已知的元件中選擇的。將要描述的實施 例的某些方面是用軟件提供的。在下面的材料中給出根據(jù)本發(fā)明示出及 描述的系統(tǒng)的情況下，沒有在這里專門示出、描述或提出的可用于實施 本發(fā)明的軟件是常規(guī)的，并且是本領域技術人員所能想到的?，F(xiàn)在轉到圖1,其中示出圖像捕獲設備的方框圖，其被顯示為具體 實現(xiàn)本發(fā)明的數(shù)字照相機。雖然現(xiàn)在將解釋數(shù)字照相機，但是本發(fā)明顯 然適用于其他類型的圖像捕獲設備。在所公開的照相機中，來自對象場景的光IO被輸入到成像級11,所述光在該成像級處被透鏡12聚焦，從 而在固態(tài)圖像傳感器20上形成圖像。圖像傳感器20把入射光轉換成用 于每個圖像元素(像素)的電信號。該優(yōu)選實施例的圖像傳感器20是 電荷耦合器件(CCD)類型或有源像素傳感器(APS)類型(APS設備 常常被稱作CMOS傳感器，這是因為能夠用互補金屬氧化物半導體工藝 來制造所述APS設備)。還使用具有二維像素陣列的其他類型的圖像傳感器，只要它們采用本發(fā)明的圖案。本發(fā)明還利用了具有彩色和全色像素的二維陣列的圖像傳感器20,在描述了圖l之后，這一點在本說明書 的后面的部分中將變得顯而易見。用于所述圖像傳感器20的本發(fā)明的 彩色和全色像素的圖案實例可以在圖4A-D、圖8A-D、圖9、圖IOA-B、 圖UA、圖IIC、圖13A-C、圖14A-B以及圖15A-B中看到，盡管在本 發(fā)明的精神內也可以使用其他圖案。圖像傳感器20從對象場景接收光。從圖像傳感器20的每個像素所 得到的電信號通常與到達該像素的光的強度以及允許該像素累積或積 分來自輸入光的信號的時間長度相關。這一時間被稱作積分時間或曝光 時間。在本上下文中，所述積分時間是在其間快門18允許光到達圖像 傳感器20并且該圖像傳感器同時操作來記錄所述光的時間?？傮w光強 度與積分時間的組合被稱作曝光。應當理解，可以通過光強度和積分時 間的各種組合來實現(xiàn)等效的曝光。例如，可以把長積分時間用于具有非 常低光強度的場景，以便實現(xiàn)與把短積分時間用于具有高光強度的場景 的情況相同的曝光。圖1包括幾個用來調整詠光的元件。濾光器組件13和虹膜14在所 迷傳感器處修改光強度。快門18提供一種用于允許或防止光到達所述 圖像傳感器的機制，而定時發(fā)生器26提供一種控制該圖像傳感器何時 主動記錄圖像的方式。這樣，快門18和定時發(fā)生器26聯(lián)合決定所述積 分時間。虹膜塊14通過使用機械光圏來阻擋光路中的光，從而控制到 達圖像傳感器20的光的強度。虹膜14可以包括一個具有可變尺寸的機 械光圏，或者它可以包括幾個不同尺寸的固定光圏，所述不同尺寸的固 定光圏可以被選擇性地插入到光路中。濾光器組件塊13提供通過選擇 性地把光吸收或光反射濾光器放置在光路中來提供另一種控制到達圖 像傳感器20的光的強度的方式。該濾光器可以是均等地減少所有顏色 的光的中性濾光器，或者它可以是比起其他顏色來更優(yōu)先地減少某些顏 色的色平衡濾光器。例如當用白熾燈照明所述場景時可以使用色平衡濾 光器，所述白熾燈提供比藍光相對更多的紅光。濾光器組件塊13可以 包括幾個濾光器，可以選擇性地把所述濾光器單獨地或組合地插入到光 '路中?？扉T18也被稱作機械快門，其通常包括連接到致動器的簾幕或 可移動葉片，該致動器在積分時間開始時把所述簾幕或葉片從光路中移 除，并且在積分時間結束時把所述簾幕或葉片插入到光路中。 一些類型的圖像傳感器允許通過重置所述圖像傳感器并且隨后在后來的某一時 間讀出該圖像傳感器來電子地控制積分時間。所述重置與讀出之間的時間間隔限定所述積分時間的邊界，并且該時間間隔由定時發(fā)生器塊26控制。雖然圖l示出幾個曝光控制元件，但是一些實施例可能沒有包括這 些元件當中的一個或多個，或者可以有替換的控制曝光機制。在本發(fā)明 所能適用的多種圖像捕獲設備中將會預期到這些變型。如前所述，可以通過光強度與積分時間的各種組合來實現(xiàn)等效的啄 光。雖然所述曝光是等效的，但是對于捕獲給定的場景圖像來說，比起 其他等效曝光而言可能更加優(yōu)選光強度與積分時間的特定曝光組合。例 如，在捕獲體育事件時，短積分時間通常是優(yōu)選的，以便避免由于在積 分時間期間跑或跳的運動員的運動而導致的模糊圖像，在這種情況下， 所述虹膜塊可以提供用于高光強度的大光圏，并且所述快門可以提供短 積分時間。這種情況用作場景模式的一個例子，具體來說就是比起小光 圈更偏向短積分時間的體育場景模式。 一般來說，場景模式是用于選擇 及控制組合來實施曝光的各元件的優(yōu)選項，以便最優(yōu)地捕獲特定場景類 型。場景模式的另一個例子是風景場景模式。在這種場景模式中，優(yōu)選 小光圈以提供良好的景深，其中調節(jié)積分時間以提供最優(yōu)曝光。場景模 式的又一個例子是一般場景模式，其優(yōu)選小光圏以獲得良好景深，其中 積分時間隨著場景光級降低而增大，直到積分時間對于特定光級變得足 夠長從而手持式照相機抖動成了問題，此時積分時間保持固定，并且所 述虹膜提供大光圏以提高在所述傳感器處的光強度。圖1中的曝光控制器塊40對上面概述的各曝光調整元件進行控制 或調節(jié)。亮度傳感器塊16包含至少一個對可見光譜中的光做出響應的 傳感器。例如，亮度傳感器塊16可以具有單個寬光響應傳感器，或者 它可以具有多個傳感器，所述多個傳感器具有不同的窄光響應，比如紅 色、綠色和藍色。亮度傳感器塊16向曝光控制器塊40提供至少一個表 示場景光強度的信號。例如，如果由膝光控制器40接收到的(多個) 亮度信號表明總體場景亮度級對于傳感器20過高，則曝光控制器40可 以指示濾光器組件塊13把特定ND濾光器插入到光路中?；蛘撸绻?紅色亮度信號比藍色亮度信號電平超出了指定量，則曝光控制器塊40 可以指示濾光器組件塊13把特定色平衡濾光器插入到光路中，以補償所述更大量的可用紅光。除了使用來自濾光器組件13的濾光器之外， 曝光控制器40還可以指示虹膜14打開或關閉各種指定量，其可以打開 或關閉機械快門18，并且它還可以通過系統(tǒng)控制器50間接地控制定時 發(fā)生器26。曝光控制器40可以單獨地或者以任何組合使用任何上述曝 光控制動作。曝光控制器塊40還從用戶輸入端塊74以及從系統(tǒng)控制器塊50接 收輸入。上面描述的場景模式通常由用戶作為用戶輸入提供。當快速連 續(xù)進行多次圖像捕獲時，還可以從在前一次捕獲時所獲得的數(shù)字化圖像 數(shù)據(jù)估計對應于下一次捕獲的照明強度?？梢杂善毓饪刂破?0使用經 過數(shù)字信號處理器36和系統(tǒng)控制器50的所述圖像數(shù)據(jù)，以便增強或覆 蓋來自亮度傳感器16的數(shù)字信號。膝光控制器塊40使用來自亮度傳感器16、用戶輸入端74 (包括場 景模式)以及系統(tǒng)控制器50輸入端的(多個)光強度信號來確定如何 控制所述各詠光調整元件以提供適當?shù)钠毓?。膝光控制?0可以自動 確定如何控制或調節(jié)所有所述曝光調整元件以產生正確的曝光?？蛇x擇 地，通過用戶輸入端塊74，用戶可以人工控制或調節(jié)所述曝光調整元件 以產生用戶選擇的曝光。此外，用戶可以人工地控制或調節(jié)僅僅一些曝 光調整元件，同時允許膝光控制器40自動控制剩余的元件。所述曝光 控制器還通過取景器顯示器70和曝光顯示器72向用戶提供關于詠光的 信息。用于用戶的所述信息包括所述自動或人工確定的積分時間、光圈 以及其他曝光調整元件。在基于各曝光調整元件的操作極限而無法實現(xiàn) 正確曝光的情況下，所述信息還可以包括圖像捕獲將被欠曝光或過曝光 的程度。在圖1中被顯示為數(shù)字照相機的圖像捕獲設備還可以包括其他特 征，比如自動聚焦系統(tǒng)或者可拆卸并且可互換的透鏡。將會理解，本發(fā) 明適用于任何類型的數(shù)字照相機或其他圖像捕獲設備，其中通過替換的 部件來提供類似的功能。例如，所述數(shù)字照相機是相對簡單的"對準即 拍"數(shù)字照相機，其中快門18是相對簡單的可移動葉片快門或類似裝 置，而不是更加復雜的焦平面布置。還可以在被包括在非照相機設備(比 如移動電話和機動車輛)中的成像部件上實踐本發(fā)明。來自圖像傳感器20的模擬信號被模擬信號處理器22處理，并且被 施加到模數(shù)(A/D)轉挺器24。定時發(fā)生器26產生各個時鐘信號，以便選擇行和像素并且同步模擬信號處理器22與A/D轉換器24的操作。 圖像傳感器級28包括圖像傳感器20、模擬信號處理器22、 A/D轉換器 24以及定時發(fā)生器26。圖像傳感器級28的各部件是單獨制造的集成電 路，或者它們被制造成單個集成電路，對于CMOS圖像傳感器通常就是 這樣做的。來自A/D轉換器24的所得到的數(shù)字像素值流被存儲在與數(shù) 字信號處理器(DSP) 36相關聯(lián)的存儲器32中。數(shù)字信號處理器36是該實施例中的三個處理器或控制器的其中之 一，另外兩個是系統(tǒng)控制器50和曝光控制器40。雖然在多個控制器和 處理器之間劃分照相機功能控制是典型的，但是在不影響照相機的功能 操作以及本發(fā)明的應用的情況下，可以以各種方式組合這些控制器或處 理器。這些控制器或處理器可以包括一個或多個數(shù)字信號處理器設備、 微控制器、可編程邏輯設備或者其他數(shù)字邏輯電路。雖然已經描述了這 種控制器或處理器的組合，但是下述應當是明顯的，即可以指定一個控 制器或處理器來執(zhí)行全部所需功能。所有這些變型都可以執(zhí)行相同的功 能并且都落在本發(fā)明的范圍內，以及將按照需要使用術語"處理級"來 把所有上述功能都包含在一個短語內，比如圖1中的處理級38。在所示出的實施例中，DSP36根據(jù)軟件程序在其存儲器32中操縱 所述數(shù)字圖像數(shù)據(jù)，所述軟件程序被永久性地存儲在程序存儲器54中， 并且被拷貝到存儲器32以便在圖像捕獲期間執(zhí)行。DSP 36執(zhí)行對于實 踐圖18中所示出的圖像處理所必須的軟件。存儲器32包括任何類型的 隨機存取存儲器，比如SDRAM。包括用于地址和數(shù)據(jù)信號的路徑的總 線30把DSP 36連接到其相關存儲器32、 A/D變換器24以及其他相關 設備。系統(tǒng)控制器50基于存儲在程序存儲器54中的軟件程序來控制所述 照相機的總體操作，該程序存儲器可以包括閃速EEPROM或者其他非 易失性存儲器。該存儲器還可以被用來存儲圖像傳感器校準數(shù)據(jù)、用戶 設置選擇以及在關閉照相機時所必須保留的其他數(shù)椐。系統(tǒng)控制器50 通過以下方式來控制圖像捕獲序列指導曝光控制器40如前所述地操 作透鏡12、濾光器組件13、虹膜14和快門18，指導定時發(fā)生器26操 作圖像傳感器20和相關聯(lián)的元件，以及指導DSP 36處理所捕獲的圖像 數(shù)據(jù)。在捕獲并處理了圖像之后，通過接口 57把存儲在存儲器32中的 最終圖像文件傳送到主計算機，將其存儲在可移動存儲卡64或其他存儲設備上，并且在圖像顯示器88上為用戶進行顯示?？偩€52包括用于地址、數(shù)據(jù)和控制信號的路徑，并且把系統(tǒng)控制 器50連接到DSP 36、程序存儲器54、系統(tǒng)存儲器56、主機接口 57、 存儲卡接口 60以及其他相關設備。主機接口 57提供到個人計算機(PC) 或其他主計算機的高速連接以便傳送圖像數(shù)據(jù)，從而進行顯示、存儲、 操縱或打印。該接口是IEEE 1394或USB 2.0串行接口或者任何其他合 適的數(shù)字接口。存儲卡64通常是壓縮閃存(CF)卡，其被插入到插槽 62中，并且通過存儲卡接口 60被連接到系統(tǒng)控制器50。還可以利用其 他類型的存儲裝置，其中包括但不限于PC卡、多媒體卡(MMC)或者 安全數(shù)字(SD)卡。經過處理的圖像被拷貝到系統(tǒng)存儲器56中的顯示緩沖器，并且通 過視頻編碼器80被連續(xù)讀出，以便產生視頻信號。該信號被直接從照 相機輸出以便顯示在外部監(jiān)視器上，或者其被顯示控制器82處理并且 被呈現(xiàn)在圖像顯示器88上。該顯示器通常是有源矩陣彩色液晶顯示器 (LCD)，盡管也可以使用其他類型的顯示器。所述用戶接口包括取景器顯示器70、曝光顯示器72、狀態(tài)顯示器 76和圖像顯示器88以及用戶輸入端74的全部或任何組合，其由在曝光 控制器40和系統(tǒng)控制器50上執(zhí)行的軟件程序的組合來控制。所迷取景 器顯示器、曝光顯示器和用戶輸入顯示器是用戶控制和狀態(tài)接口 68。用 戶輸入端74通常包括按鈕、搖臂開關、操縱桿、旋轉撥號盤或觸摸屏 的某種組合。曝光控制器40操作光計量、場景模式、自動聚焦和其他 曝光功能。系統(tǒng)控制器50管理被呈現(xiàn)在一個或多個所述顯示器上(例 如圖像顯示器88上)的圖形用戶接口 (GUI)。所述GUI通常包括用 于做出各種選項選擇的菜單以及用于檢查所捕獲的圖像的檢查模式。ISO速度評定是數(shù)字靜物照相機的一個重要屬性。所述曝光時間、 透鏡光圏、透鏡透射率、場景照明的水平和光鐠分布、以及場景反射率 決定數(shù)字靜物照相機的曝光水平。當利用不足曝光獲得來自數(shù)字靜物照 相機的圖像時，通常可以通過增大電子或數(shù)字增益來保持適當?shù)纳{再 現(xiàn)，但是該圖像將包含的噪聲量是不可接受的。隨著曝光增加，所述增 益被減小，因此通?？梢园褕D像噪聲減小到可接受的水平。如果曝光被 過度增加，則在所述圖像的明亮區(qū)域內所得到的信號可能會超出所述圖 像傳感器或照相機信號處理的最大信號電平容量。這可能導致對圖像高亮部分進行限幅以形成均勻的明亮區(qū)域，或者將其暈化(bloom)到該 圖像的周圍區(qū)域中。重要的是在設置適當曝光時對用戶進行引導。ISO 速度評定就打算充當這種引導。為了易于攝影者理解，數(shù)字靜物照相機 的ISO速度評定應當與攝影膠片照相機的ISO速度評定直接相關。例如， 如果數(shù)字靜物照相機具有ISO 200的ISO速度評定，則相同的曝光時間 和光圏對于ISO 200評定的膠片/工藝系統(tǒng)應當是適當?shù)?。所述ISO速度評定打算與膠片ISO速度評定相協(xié)調。然而，除了完 全等效性之外，在電子成像系統(tǒng)與基于膠片的成像系統(tǒng)之間存在差異。 數(shù)字靜物照相機可以包括可變增益，并且可以在捕獲了圖像數(shù)椐之后提 供數(shù)字處理，從而能夠在一定范圍的照相機曝光內實現(xiàn)色調再現(xiàn)。因此， 有可能使得數(shù)字靜物照相機具有 一定范圍的速度評定。該范圍被定義為 ISO速度寬度(latitude)。為了防止混淆，單個值被指定為固有ISO速 度評定，而所述ISO速度寬度的上限和下限表明所述速度范圍，也就是 包括不同于該固有ISO速度評定的各有效速度評定的范圍?？紤]到這一 點，所述固有ISO速度是一個從在數(shù)字靜物照相機的焦平面處提供的曝 光計算的數(shù)值，以便產生指定的照相機輸出信號特性。所述固有速度通 常是對于普通場景為給定照相機系統(tǒng)產生峰值圖像質量的曝光指數(shù)值， 其中所述曝光指數(shù)是與被提供給圖像傳感器的曝光成反比的數(shù)值。所述數(shù)字照相機可以被配置并且操作來捕獲單個圖像或者捕獲圖 像流。例如，圖像傳感器級28可以被配置成捕獲單個全分辨率圖像， 并且機械快門18可以被用來控制所述積分時間。這種情況非常適用于 靜物攝影的單個圖像捕獲。可選擇地，所述圖像傳感器級可以被配置成 捕獲有限分辨率圖像流，并且所述圖像傳感器可以被配置成電子地控制 所述積分時間。在本例中，可以在不受所述傳感器的讀出速度或者所述 機械快門的致動速度的情況下捕獲連續(xù)圖像流。本例例如可用于捕獲將 被用來提供視頻信號的圖像流，正如視頻照相機的情況。在這些示例中 概述的配置是被采用來進行單個捕獲以及捕獲圖像流的配置的例子，但 是還可以使用替換的配置來進行單個圖像捕獲以及捕獲圖像流。可以在 提供單個圖像捕獲或者用于捕獲圖像流的圖像捕獲設備中實踐本發(fā)明。 此外，結合了本發(fā)明的圖像捕獲設備可以允許用戶在單個圖像捕獲與捕 獲圖像流之間進行選擇。在圖1中示出的圖像傳感器20通常包括制造在硅基板上的二維光敏像素陣列，其提供一種把在每個像素處的輸入光轉換成所測量的電信 號的方式。隨著所述傳感器被曝光，在每個像素處的電子結構內生成并 捕獲自由電子。通過在某一時間段內捕獲這些自由電子并且隨后測量所 捕獲的電子數(shù)目或者通過測量生成自由電子的速率，可以測量在每個像 素處的光級。在前一個示例中，所累積的電荷被轉移出所述像素陣列而到電荷-電壓測量電路(如在電荷耦合器件(CCD)中)，或者靠近每個 像素的區(qū)域可以包含電荷-電壓測量電路的元件(如在有源像素傳感器 (APS或CMOS傳感器)中)。每當在下面的描述中一般性地提到圖像傳感器時，應當理解其代表 來自圖1的圖像傳感器20。還應當理解，在本說明書中公開的本發(fā)明的 圖像傳感器體系結構和像素圖案的所有實例及其等效方案都可以被用 于圖像傳感器20。在圖像傳感器的情境中，像素("圖像元素"的縮寫)指代離散的 感光區(qū)域以及與該感光區(qū)域相關聯(lián)的電荷轉移或電荷測量電路。在數(shù)字 彩色圖像的情境中，術語"像素"通常指代具有相關聯(lián)的顏色值的圖像 中的特定位置。為了產生彩色圖像，圖像傳感器中的像素陣列通常具有放置在所述 像素上的彩色濾光器圖案。圖2示出通常使用的紅色、綠色和藍色濾光 器的圖案。該特定圖案通常被稱作Bayer彩色濾光器陣列(CFA)，這 是按照其發(fā)明人Bryce Bayer命名的，正如US 3,971,065中所公開的那 樣。該圖案被有效地用在具有二維彩色像素陣列的圖像傳感器中。結果， 每個像素具有特定的彩色光響應，所述彩色光響應在本例中是對于紅 色、綠色或藍色光的主導靈敏度。另外幾種有用的彩色光響應是對于品 紅色、黃色或青色光的主導靈敏度。在每種情況下，特定彩色光響應對 于可見光譜的某些部分具有高靈敏度，同時對可見光譜的其他部分具有 低靈敏度。術語"彩色像素"將指代具有彩色光響應的像素。被選擇用于傳感器中的所述一組彩色光響應通常具有三種顏色(如 在Bayer CFA中所示出的那樣)，但是它也可以包括四種或更多顏色。 在這里使用的全色光響應指的是比起在所選該組彩色光響應中表示的 光譜靈敏度具有更寬光譜靈敏度的光響應。全色光敏度可以在整個可見 光譜上具有高靈敏度。術語"全色像素"將指代具有全色光響應的像素。度，但是每個全色像素也可以具有相關聯(lián)的濾光器。這種濾光器是中性 密度濾光器或彩色濾光器。當彩色和全色像素的圖案處在圖像傳感器的表面上時，每一個這種 圖案具有一個重復單位，所述重復單位是充當基本構建塊的鄰接像素子 陣列。通過并置所述重復單位的多個拷貝而產生整個傳感器圖案。所迷 重復單位的多個拷貝的并置是在對角線方向上以及在水平和垂直方向 上進行的。最小重復單位是使得沒有其他重復單位具有更少像素的重復單位。例如，圖2中的CFA包括作為2x2像素的最小重復單位，如圖2中的 像素塊100所示。對該最小重復單位的多個拷貝進行拼接，以便覆蓋圖 像傳感器中的整個像素陣列。所述最小重復單位被顯示為在右上角處具 有綠象素，但是通過把用粗輪廓線標出的區(qū)域向右、向下或者在對角線 方向上向右下移動一個像素，可以容易地辨識出三種替換的最小重復單 位。雖然像素塊102是一個重復單位，但是它不是最小重復單位，這是 因為像素塊100也是重復單位，并且像素塊100比塊102的像素更少。利用包括具有圖2的CFA的二維陣列的圖像傳感器所捕獲的圖像 在每個像素處僅具有一個顏色值。為了產生全彩色圖像，存在多種用于 推斷或者插值在每個像素處的缺失顏色的技術。這些CFA插值技術是本 領域內所公知的，并且參考以下專利US5506619、 US5629734以及 US5652621。圖3示出在典型的照相機應用中具有紅色、綠色和藍色濾光器的像 素的相對光譜靈敏度。圖3中的X軸表示以納米計的光波長，Y軸表示 效率。在圖3中，曲線IIO表示被用來阻擋紅外和紫外光到達所述圖像 傳感器的典型濾光器的光譜透射特性。需要這種濾光器是因為用于圖像 傳感器的彩色濾光器通常不阻擋紅外光，因此像素無法區(qū)分紅外光與處 在其相關聯(lián)的彩色濾光器的通帶內的光。曲線IIO所示的紅外阻擋特性 防止紅外光破壞可見光信號。把對應于應用了紅色、綠色和藍色濾光器 的典型硅傳感器的光鐠量子效率(即被捕獲并且被轉換成可測量的電信 號的入射光子的比例)乘以由曲線110所表示的紅外阻擋濾光器的光諳 傳輸特性，以便產生組合的系統(tǒng)量子效率，其由對應于紅色的曲線114、 對應于綠色的曲線U6和對應于藍色的曲線118表示。從這些曲線可以 理解，每種彩色光響應僅僅對可見光譜的一部分是靈敏的。相反，曲線112示出了沒有應用彩色濾光器(但是包括所述紅外阻擋濾光器特性)的相同硅傳感器的光響應；這是全色光響應的一個例子。通過把所述彩 色光響應曲線U4、 116和118與全色光響應曲線112進行比較，很明 顯所述全色光響應對于寬謙光的靈敏度是任何所述彩色光響應的三到四倍。圖3中示出的更高全色靈敏度允許通過混合包括彩色濾光器的像素 與不包括彩色濾光器的像素來提高圖像傳感器的總體靈敏度。然而，所 述彩色濾光器像素將遠不如所迷全色像素那么靈敏。在這種情況下，如 果對所迷全色像素進行適當曝光從而使得來自場景的光強度范圍覆蓋 所述全色像素的完全測量范圍，則所述彩色像素將會明顯欠曝光。因此， 有利的是調節(jié)所述彩色濾光器像素的靈敏度，從而使得它們具有與所述 全色像素大致相同的靈敏度。例如通過相對于所述全色像素增大所述彩 色像素的尺寸來提高彩色像素的靈敏度，其中空間像素有相關聯(lián)的減 少。圖4A表示具有兩個組的二維像素陣列。第一組像素當中的像素的 光語光響應窄于第二組像素當中的像素。第一組像素包括與至少兩種不 同的光譜光響應相關的各單獨像素，所述至少兩種不同的光譜光響應對 應于至少兩種彩色濾光器。所述兩組像素被混合，以便提高所述傳感器 的總體靈敏度。在本說明書中變得更明顯的將是，第一組像素和第二組 像素的放置定義了具有最小重復單位的圖案，所述最小重復單位包括至 少12個像素。所述最小重復單位包括被布置成允許再現(xiàn)在不同照明條 件下所捕獲的彩色圖像的第 一和第二組像素。在圖4A中示出的完整圖案表示被拼接成覆蓋整個像素陣列的最小 重復單位。與圖2—樣，存在幾種被用來描述彩色像素和全色像素的這 一總體布置的其他最小重復單位，但是它們在其特性方面是基本上等效 的，并且其中的每一種都是一個像素子陣列，所述子陣列具有8x8像 素的范圍。這種圖案的一個重要特征是交替的全色像素行和彩色像素 行，其中所述各彩色行包括分組在一起的具有相同彩色光響應的像素。 具有相同光響應的各組像素連同其一些相鄰全色像素被視為形成4個單 元，所迷4個單元構成所述最小重復單位，其中的一個單元是比最小重 復單位具有更少像素的鄰接像素子陣列。這4個單元在圖4A中用粗線描繪并且在圖5中被顯示為單元120、122、 124和126，其分別圍住了 4組4x4像素，其中120表示左上單 元、122表示右上單元、124表示左下單元并且126表示右下單元。所 述4個單元當中的每一個包括8個全色像素和8個具有相同彩色光響應 的彩色像素。 一個單元內的各彩色像素被組合來表示對應于該整個單元 的顏色。因此，圖5中的單元120被視為綠色單元，單元122被視為紅 色單元，依此類推。每個單元包括至少兩個相同顏色的像素，從而允許 組合相同顏色的像素以便克服所述彩色像素與全色像素之間的光敏度 差異。在具有4個不重疊單元的最小重復單位的情況下(其中每個單元具 有兩個相同顏色的像素和兩個全色像素)，很明顯該最小重復單位包括 16個像素。在具有3個不重疊單元的最小重復單位的情況下(其中每個 單元具有兩個相同顏色的像素和兩個全色像素)，4艮明顯該最小重復單 位包括12個像素。根據(jù)本發(fā)明，當按照圖5中標識出的單元結構來考慮時，圖4A的 最小重復單位可以表示高分辨率全色圖像與低分辨率Bayer圖案彩色圖 像的組合，其被布置成允許再現(xiàn)在不同照明條件下所捕獲的彩色圖像。 所述Bayer圖案圖像的各單獨元素表示相應單元中的彩色像素的組合。 第 一組像素定義了低分辨率彩色濾光器陣列圖像，第二組像素定義了高 分辨率全色圖像。參見圖6A和圖6B。圖6A表示對應于圖4A的高分 辨率全色圖像，其包括來自圖4A的全色像素P以及插值的全色像素P，； 圖6B表示所述低分辨率Bayer圖案彩色圖像，其中R，、 G，和B，對于在的單元顏色。在下面的討論中，圖4B-D、 8A-D、 9、 IOA-B、 11A、 IIC、 12A-B、 13A-C、 14A-B和15A-B中的所有單元都用粗線描繪，正如在圖4A中那樣。除了圖4A的替換最小重復單位之外，所迷圖案中的每個單元被旋 轉90度，以便產生圖4B中所示的圖案。這是基本上相同的圖案，但是 它把最高全色采樣頻率放置在垂直方向上而不是水平方向上。關于使用 圖4A還是圖4B的選擇分別取決于是期望在水平方向還是垂直方向上具 有更高的全色空間采樣。然而，很明顯，構成全部兩個圖案中的最小重 復單位的所得到的單元對于這兩個圖案都產生相同的低分辨率彩色圖像。因此，圖4A和圖4B從彩色的觀點來看是等效的。 一般來說，圖 4A和圖4B是利用線性地布置在行或列中的全色像素來實踐本發(fā)明的例 子。此外，圖4A具有單行全色像素，其中的每一行全色像素通過一行 彩色像素與相鄰的一行全色像素分隔開；圖4B在列方向上具有相同的特性。圖4C表示圖4A的又一種替換最小重復單位，其具有基本上相同的 單元顏色特性。然而，圖4C示出在逐單元的基礎上交錯的全色和彩色 行。這可以提高垂直全色分辨率。在圖4D中表示圖4A的又一種替換最 小重復單位，其中全色和彩色行以列對交錯。這也具有提高垂直全色分 辨率的可能。圖4A-D的所有最小重復單位的一個特性在于，具有兩個 或更多同色像素的各組被并排布置在行或列中。圖4A-D全都具有與構成表示低分辨率Bayer圖案的最小重復單位 的各單元相同的顏色結構。因此可以看出，在本發(fā)明的精神內可以構造 全色像素和分組彩色像素的多種布置。為了提高彩色光敏度以便克服全色光敏度與彩色光敏度之間的差 別，按照各種方式組合每個單元內的彩色像素。例如，在CCD圖像傳 感器中或者在允許結合(binning)的各種類型的有源像素傳感器中對來 自相同顏色的像素的電荷進行組合或結合?？蛇x擇地，對與相同顏色像 素中的所測量的電荷量相對應的電壓求平均，這例如是通過并聯(lián)連接被 充電到這些電壓的電容器而實現(xiàn)的。在又一種方法中，在相同顏色像素 處的光級的數(shù)字表示被相加或求平均。組合或結合來自兩個像素的電荷 會使信號電平加倍，而與對該組合信號的采樣和讀出相關聯(lián)的噪聲則保 持相同，從而使得信噪比增大一倍，這表示所迷組合像素的光敏度也相 應地增大一倍。在對來自兩個像素的光級的數(shù)字表示進行相加的情況 下，所得到的信號增大一倍，但是來自讀取所述兩個像素的相應噪聲電 平正交組合，從而噪聲是原來的W倍；因此所得到的所述組合像素的信 噪比是未組合信號的W倍。類似的分析也適用于電壓或數(shù)字求平均。前面描述的用于組合來自單元內的相同顏色像素的信號的各種方 法被單獨使用或組合使用。例如，通過兩個一組地垂直組合來自圖4A 中的相同顏色像素的電荷，可以產生具有圖7A中示出的組合信號R，、 G，和B，的組合像素。在該例中，每個R，、 G，和B，的靈敏度是所述未組 合像素的兩倍?？蛇x擇地，通過4個一組地水平組合來自圖4A中的相同顏色像素的所測量的值(電壓或數(shù)字的)，可以產生具有圖7B中示 出的組合信號R，、 G，和B，的組合像素。在該例中，由于信號是原來的4 倍而噪聲是原來的2倍，因此每個R，、 G，和B，的靈敏度是所述未組合 像素的兩倍。在另一種替換組合方案中，如圖7A中那樣兩個一組地垂 直組合來自相同顏色像素的電荷并且4個一組地對圖7A的組合像素的 所測量的值進行水平相加或求平均，從而產生圖7C的最終組合彩色像 素，其中R"、 G，，和B，，表示相同顏色像素的最終組合。在該組合布置 中，圖7C的最終組合彩色像素的靈敏度分別是所迷未組合像素的4倍。 一些傳感器體系結構(值得注意的是某些CCD布置)可以允許按照圖 7C的方式組合來自每個單元內的所有8個相同顏色像素的電荷，從而 導致組合彩色像素的靈敏度增大到原來的8倍。通過前述內容現(xiàn)在將會理解，在出于調節(jié)彩色像素的靈敏度的目的 組合所述彩色像素方面存在幾個自由度。本領域技術人員可以想到公知 的組合方案，所述組合方案是基于場景內容、場景光源、總體光級或者 其他標準。此外，所述組合方案被選擇成有意地允許所述組合像素具有 高于或低于所迷全色像素的靈敏度。到目前為止描述了采用紅色、綠色和藍色濾光器的圖像傳感器?？?以利用替換的濾光器選擇來實踐本發(fā)明。采用青色、品紅色和黃色傳感 器的圖像傳感器是本領域中所公知的，并且可以利用青色、品紅色和黃 色濾光器來實踐本發(fā)明。圖8A示出圖4A的青色、品紅色和黃色等效方 案，其中C表示青色像素，M表示品紅色像素，Y表示黃色像素。本發(fā) 明還可用于具有多于三種彩色光響應的像素。圖8B示出本發(fā)明的最小重復單位，其包括青色像素(用C表示)、 品紅色像素(用M表示)、黃色像素(用Y表示)和綠色像素(用G 表示)。這保留了圖5中示出的最小重復單位的總體單元布置，但是包 括四種不同顏色的像素，從而包括四種不同顏色的相應單元。圖8C示 出又一種替換的四色布置，其包括紅色像素(用R表示)、藍色像素(用 B表示)、具有一種彩色光響應的綠色像素(用G表示)以及具有不同 彩色光響應的替換綠色像素(用E表示)。圖8D示出又一種替換的四 色布置，其中用黃色單元取代圖4A的其中一個綠色單元，黃色像素用 Y表示?？梢杂贸巳袼刂獾纳儆谌N顏色來實踐本發(fā)明。例如，適合使用具有對應于紅色和藍色的單元的最小重復單位。在本發(fā)明的精神內可以實踐圖4A的許多替換方案。例如，圖9表 示本發(fā)明的替換最小重復單位，其具有與圖4A相同的單元結構，但是 具有全色像素的棋盤圖案。這種圖案提供對所述圖像的均勻全色采樣， 從而克服了圖4A、 4C和4D的垂直全色采樣缺陷。圖9被表征為通過 把全色像素布置在對角線中來實踐本發(fā)明的一個例子。圖9還被表征為 具有各單獨的全色像素對角線，其中每一條全色像素對角線通過一條彩色像素對角線與相鄰的一條全色像素對角線分隔開。圖9的又一個特性 在于，各組兩個或更多同色像素被并排地布置在對角線中。到目前為止所給出的圖案都具有相等數(shù)目的全色和彩色像素。本發(fā) 明不限于這種布置，因為全色像素可以多于彩色像素。圖10A示出本發(fā) 明的又一個實施例，其中彩色像素被嵌入在全色像素的柵格圖案內。這 種圖案提供非常好的全色空間采樣，同時表示出與圖4A和9相同的彩 色單元布置。圖IOB提供所述全色柵格圖案的4色實施例的一個例子。 一般來說，圖10的最小重復單位被表征為通過一個或多個全色像素把 每個彩色像素與相鄰彩色像素分隔開。對于給定的像素圖案，最小重復單位先前已被定義為使得沒有其他 重復單位具有更少像素的重復單位。按照相同的意義，根椐所述重復單 位中的像素總數(shù)對來自不同像素圖案的重復單位的尺寸進行比較。作為 一個例子，來自一種像素圖案的4x8像素的重復單位小于來自另一種 像素圖案的6x6像素的重復單位，這是因為第一重復單位中的像素總 數(shù)(4x8=32)小于第二重復單位中的像素總數(shù)(6x6=36)。作為另一個 例子，如果一個重復單位小于具有8x8像素的重復單位，則其包含少 于64個總像素。到目前為止所給出的所有圖案都展現(xiàn)出這樣的單元結構其中每個 單元包含除了全色像素之外的單個顏色。此外，目前所給出的所有圖案 都展現(xiàn)出具有8x8像素范圍的最小重復單位。還可以使用在每個單元 內具有多于一種顏色的單元的最小重復單位；此外，還可以定義小于8 x8像素范圍的最小重復單位。例如，圖IIA的最小重復單位具有兩個 單元，其中每個單元包括兩種顏色左單元中的藍色和綠色(分別用B 和G表示)，以及右單元中的紅色和綠色(分別用R和G表示)。在 圖11A中的各單元包含兩種顏色，并且這些顏色被布置成便于組合相同顏色以用于提高顏色靈敏度的目的。圖UB示出如何拼接圖IIA的最小 重復單位，以便交錯紅色和藍色。圖IIC提供采用4種顏色并且每單元 兩種顏色的最小重復單位。圖IID示出如何拼接'圖IIC的最小重復單 位，以便交錯紅色和藍色。在圖IID中，粗略的彩色圖案被表征為綠色 范圍內的兩種不同彩色光響應(用G和E表示)的棋盤與紅色和藍色(分 別用R和B表示)的棋盤交織。圖12A提供圖IIA的全色棋盤形式， 圖12B提供圖11C的全色棋盤形式。 一般來說，圖11A和11C的最小像;)把每個彩色像素與相鄰彩色像i分隔開。、5: 5到目前為止描述的最小重復單位具有8 x 8或4 x 8像素范圍。然而， 所述最小重復單位可以更小。例如，圖13A類似于圖4A，但是其中每 一個彩色單元是3像素寬x 4像素高，并且總體最小重復單位是6像素 寬x8像素高。圖13B從圖13A中去除了兩個彩色像素行，從而產生3 x 3像素的單元以及6 x 6像素的最小重復單位。圖13C進一步去除了兩 個全色行，從而產生3像素寬x2像素高的單元(其中每個單元包含3 個全色像素和3個彩色像素)以及6像素寬x 4像素高的最小重復單位。 如果用于組合每個單元內的顏色的方案所需要的像素數(shù)少于在圖4A和 其他圖案中示出的像素數(shù)，則圖13A到13C中示出的圖案是特別有用的。圖MA示出又一種最小重復單位。圖14A中的最小重復單位是6x 6像素，其中每個單元包括單個顏色的4像素菱形圖案，剩余的5個像 素是全色像素。圖14A中示出的全色空間采樣圖案是略微不規(guī)則的，從 而建議圖14B的圖案，其具有全色棋盤，并且每個3x3像素單元內的 剩余像素被單個顏色占據(jù)。圖15A示出一種最小重復單位，其是4x4像素并且包括4個2x2 像素單元。注意，每個單元包括兩個全色像素和兩個同色像素。本發(fā)明 要求在每一個所述2x2單元內放置兩個同色像素，以便于組合每個單 元內的彩色像素。圖15B類似于圖15A,但是采用全色棋盤圖案。早先描述了控制曝光的方法，其中包括在所述圖像傳感器處電子地 控制積分時間。在本發(fā)明的上下文中，這種控制曝光的方法提供了一種 克服全色像素的光敏度與彩色像素的光敏度之間的差異的附加方式。通 過為全色像素提供一個積分時間并且為彩色像素提供不同的積分時間， 可以優(yōu)化每一組像素的總體詠光。 一般來說，彩色像素將比全色像素更慢，因此與全色像素相比可以對彩色像素應用更長的積分時間。此外， 對于所述彩色像素的每種顏色可以應用不同的積分時間，從而允許針對 當前場景捕獲條件優(yōu)化每一種顏色的曝光。例如，來自由白熾燈光源照明的場景的光包含比綠色和藍色光相對更多的紅色光；在這種情況下， 可以使得對應于綠色和藍色像素的積分時間較長，并且使得對應于紅色 像素的積分時間較短，以便補償紅色光的相對充足?，F(xiàn)在轉到圖16,圖5的最小重復單位被顯示為細分成4個單元，一 個單元是比最小重復單位具有更少像素的鄰接像素子陣列。提供下面的 處理所需要的軟件被包括在圖1的DSP 36中。單元220、 224、 226和 228是單元的例子，其中這些單元分別包含具有綠色、紅色、藍色和綠 色光響應的像素。在該例中，單元220包含全色像素和綠色像素，所述 綠色像素被標識為像素組222。最終目標是通過組合來自像素組222中 的各綠色像素的8個綠色信號來為單元220產生單個綠色信號。取決于 所述圖像傳感器的操作模式，通過在模擬域中組合全部8個綠色信號(例 如通過電荷結合)來產生單個綠色信號，或者通過組合取自像素組222 的更小像素組來產生多個綠色信號。在圖17A中示出單元220的全色像 素。在下面的例子中，來自這些全色像素的全部8個信號被單獨數(shù)字化。 在圖17B-17E中示出單元220的綠色像素，其中根椐如何在模擬域中組 合其信號來把所述綠色像素分組在一起。圖17B描繪這樣的情況其中 全部8個綠色信號被組合來產生對應于單元220 (圖16)的單個綠色信 號。如圖17C所示，所述傳感器可以產生兩個綠色信號，這例如是通過 首先組合來自像素G21、 G22、 G23和G24的信號以及隨后組合來自像 素G41、 G42、 G43和G44的信號而實現(xiàn)的。也可以按照其他方式產生 兩個信號。如圖17D所示，該傳感器可以首先組合來自像素G21、 G22、 G41和G42的信號，并且隨后組合來自像素G23、 G24、 G43和G44的 信號。如圖17E所示，該傳感器還可以產生對應于單元220的4個綠色 信號，這是通過組合4對信號實現(xiàn)的，例如組合像素G21與G22、隨后 組合G23與G24、隨后組合G41與G42以及最終組合G43與G44。很 明顯，存在用以組合單元220 (圖16)內的各對綠色信號的許多附加方 式。如果所述傳感器根本不組合，則對于單元220單獨地報告全部8個 綠色信號。因此，在單元220的情況下，該傳感器可以對于單元220產 生1個、2個、4個或8個綠色值并且按照不同方式產生所述值，這取決于其操作模式。對于單元224、 226和228 (圖16),取決于所述傳感器的操作模 式，由該傳感器產生類似的彩色信號。對應于單元224、 226和228的 彩色信號分別是紅色、藍色和綠色。返回單元220的情況，不管對于該單元數(shù)字化多少信號，本發(fā)明的 圖像處理算法進一步組合數(shù)字化的綠色值，以便對于該單元產生單個綠 色值。獲得單個綠色值的一種方式是對于為單元220產生的所有數(shù)字化 的綠色值求平均。如杲一個單元包含具有不同光響應的彩色像素，則該 單元內的所有彩色數(shù)據(jù)都被類似地組合，從而使得對于該單元內所表示 的每種彩色光響應存在單個值。重要的是在關于捕獲未經處理的圖像數(shù)據(jù)的原始傳感器中的各像兩種k型的i色值都^用來^:彩色圖像，但是所得到:彩色圖像具有 不同分辨率。具有與原始傳感器中的各像素相關聯(lián)的像素值的圖像被稱 作高分辨率圖像，而具有與原始傳感器中的各單元相關聯(lián)的像素值的圖像被稱作低分辨率圖像?，F(xiàn)在轉到圖18，其中示出數(shù)字信號處理器塊36 (圖l)從數(shù)據(jù)總線 30 (圖1 )接收所捕獲的未經處理的圖像數(shù)椐。所述未經處理的圖像數(shù) 據(jù)被傳遞到低分辨率部分色塊202和高分辨率全色塊204。在圖5和圖 16中已經示出對應于圖像傳感器的最小重復單位的一個例子。在單元 220 (圖16)的情況下，所捕獲的未經處理的圖像數(shù)據(jù)包括由圖17A所 示的各單獨全色像素產生的全色數(shù)據(jù)。此外，對于單元220 (圖16)還 包括一個或多個綠色(顏色)值，例如來自圖17B-E中示出的組合。在低分辨率部分色塊202 (圖18)中，從所捕獲的未經處理的圖像 數(shù)據(jù)產生部分色圖像，所述部分色圖像是其中每個像素具有至少 一種顏 色值并且每個像素也缺失至少一種顏色值的彩色圖像。取決于所述傳感 器的操作模式，所捕獲的未經處理的圖像數(shù)椐包含由每個單元內的各彩 色像素產生的一定數(shù)目的顏色值。在低分辨率部分色塊202內，對于在 所述單元內所表示的每一種顏色把這些顏色值減少到單個值。作為一個 例子，對于單元220(圖16)產生單個綠色顏色值。同樣，對于單元224、 226和228分別產生單個紅色、藍色和綠色顏色值。低分辨率部分色塊202按照類似的方式處理每個單元，從而得到一個顏色值陣列，其中的每個顏色值對應于一個單元。由于所得到的圖像 陣列是基于原始傳感器中的各單元而不是各像素，因此它在每個維度上 都是原始捕獲的未經處理的圖像數(shù)據(jù)陣列的四分之一 。由于所得到的陣列是基于各單元并且由于每個像素具有一些而不是全部顏色值，因此所 得到的圖像是低分辨率部分色圖像。此時，所述低分辨率部分色圖像是色平衡的。現(xiàn)在看高分辨率全色塊204,如圖16中所示使用相同的未經處理的 圖像數(shù)據(jù)，不過將僅僅使用全色值(圖17A)。這次的任務是通過估計 在尚不具有全色值的像素處的全色值來插值完整的高分辨率全色圖像。 在單元220 (圖16)的情況下，必須對于像素組222 (圖16)中的綠色 像素估計全色值。用以估計缺失的全色值的一種簡單方式是進行垂直求 平均。因此，例如可以如下估計在像素22處的全色值P22 = (P12 + P32)/2 還可以使用自適應方法。例如， 一種自適應方法是利用圖17A中示出的 全色值來計算三個梯度值并且取其絕對值SCLAS = ABS(P31 -P13) VCLAS = ABS(P32-P12) BCLAS = ABS(P33-P11 ) 同樣，計算三個預測器值SPRED = (P31 +P13)/2 VPRED = (P32 + P12)/2 BPRED = (P33 + P11 )/2 隨后，把P22設置成等于與最小分類器值相對應的預測器。在相等 的情況下，把P22設置成等于所指示的預測器的平均值。在整個圖像上 繼續(xù)所述全色插值，而不管單元邊界。當高分辨率全色塊204的處理完 成時，所得到的數(shù)字全色圖像的尺寸與原始捕獲的未經處理的圖像相 同，這使其是高分辨率全色圖像。低分辨率全色塊206接收由塊204產生的高分辨率全色圖像陣列， 并且生成具有與由塊202產生的低分辨率部分色圖像相同的尺寸的低分 辨率全色圖像陣列。通過在給定單元內對于為具有彩色濾光器的那些像 素所估計的全色值求平均來獲得每一個低分辨率全色值。在單元220(圖 16)的情況下，先前對于像素組222 (圖16)中的各綠色像素所估計的高分辨率全色值現(xiàn)在被平均在一起，以便產生對應于該單元的單個低分 辨率全色值。同樣，利用在具有紅色濾光器的像素處估計的高分辨率全色值來為單元224計算單個低分辨率全色值。按照這種方式，每個單元 最后都具有單個低分辨率全色值。低分辨率色差塊208接收來自塊202的低分辨率部分色圖像和來自 塊206的低分辨率全色陣列。隨后通過在所述低分辨率全色圖像的指導 下對所述低分辨率部分色圖像進行彩色插值而形成低分辨率中間色圖 像。下面將詳細討論的彩色插值算法的確切性質取決于使用哪一種像素 光響應圖案來捕獲所述原始未經處理的圖像數(shù)據(jù)。在形成所述低分辨率中間色圖像之后對其進行顏色校正。 一旦對所 述低分辨率中間色圖像進行了顏色校正，就通過從每一個低分辨率色平 面中單獨減去所述低分辨率全色圖像來計算低分辨率色差圖像。高分辨 率色差塊210接收來自塊208的低分辨率色差圖像，并且利用雙線性插 值對該低分辨率色差圖像進行上采樣，以便匹配原始未經處理的圖像數(shù) 據(jù)的尺寸。其結果是高分辨率色差圖像，其具有與由塊204產生的高分 辨率全色圖像相同的尺寸。高分辨率最終圖像塊212接收來自塊210的高分辨率色差圖像和來 自塊204的高分辨率全色圖像。隨后通過把該高分辨率全色圖像加到每 個高分辨率色差平面上而形成高分辨率最終彩色圖像。隨后可以對所得 到的該高分辨率最終彩色圖像進行進一步處理。例如，它被存儲在DSP 存儲器塊32 (圖1)中，并且隨后被銳化及壓縮，以便存儲在存儲卡塊 64 (圖1 )上。圖4A-D、 8A、 9、 IOA、 13A-C、 14A-B和15A-B中示出的傳感器 濾光器圖案具有最小重復單位，從而使得在塊202中產生的所得到的低 分辨率部分色圖像對于彩色濾光器展現(xiàn)出重復Bayer圖案G RB G除了由所迷低分辨率部分色圖像給出的單個顏色值之外，每個單元還具 有由所述低分辨率全色圖像給出的全色值。考慮到Bayer圖案存在于所述低分辨率部分色圖像中的情況，現(xiàn)在 可以更詳細地描述低分辨率色差塊208 (圖18)內的顏色插值任務。顏 色插值開始于在尚不具有綠色值的像素處插值綠色值，其在圖19A中被顯示為像素234。被顯示為像素230、 232、 236和238的4個相鄰像素 都具有綠色值，并且它們還都具有全色值。中心像素234具有全色值， 但是不具有綠色值(如問號所示)。第一步是計算兩個分類器值，第一個是關于水平方向，第二個是關 于垂直方向HCLAS = ABS ( P4 - P2 ) + ABS ( 2 * P3 - P2 - P4 ) VCLAS = ABS ( P5 - Pl ) + ABS ( 2 * P3 - Pl - P5 )隨后，計算兩個預測器值，第一個是關于水平方向，第二個是關于垂直 方向HPRED = ( G4 + G2 ) / 2 + ( 2 * P3 - P2 - P4 ) / 2 VPRED = ( G5 + Gl ) / 2 + ( 2 * P3 - Pl - P5 ) / 2最后，令THRESH是經驗地確定的閾值，則可以如下自適應地計算缺失值G3:IF MAX ( HCLAS, VCLAS ) < THRESHG3 = ( HPRED + VPRED ) / 2 ELSEIF VCLAS < HCLAS G3 = VPREDELSEG3 = HPREDEND因此，如果全部兩個分類器都小于所述閾值，則對于G3計算兩個預測 器值的平均值。如果不是，則根據(jù)哪個分類器HCLAS或VCLAS更小來 使用HPRED或VPRED。一旦估計出所有缺失的綠色值，就對缺失的紅色和藍色值進行插 值。如圖19B中所示，像素242缺失紅色值，但是其兩個水平相鄰像素 240和244分別具有紅色值R2和R4。所有這三個像素都具有綠色值。 在這些條件下，如下計算對于像素242的紅色值(R3)的估計R3 - ( R4 + R2 ) / 2 + ( 2 * G3 - G2 - G4 ) / 2 在類似的條件下按照類似的方式計算缺失的藍色值。此時，仍然缺失紅 色和藍色值的僅有像素是那些需要垂直插值的像素。如圖19C中所示， 像素252缺失紅色值，并且其兩個垂直相鄰像素250和254分別具有紅 色值R1和R5。在這些條件下，如下計算對于像素252的紅色值(R3)的估計R3 = ( R5 + Rl ) / 2 + ( 2 * G3 - Gl - G5 ) / 2 在類似的條件下按照類似的方式計算缺失的藍色值。這就完成了對所述 低分辨率部分色圖像的插值，并且其結果是低分辨率中間色圖像。如前 所述，現(xiàn)在可以通過從每一個色平面(在剛剛討論的例子中是紅色、綠 色和藍色)中減去所述低分辨率全色值來計算低分辨率色差。并不是所有傳感器都產生展現(xiàn)出顏色值的重復Bayer圖案的低分辨 率部分色圖像。例如，圖11A中示出的傳感器圖案決定每個單元接收兩 種顏色值綠色和紅色，或者綠色和藍色。因此，在本例中，低分辨率 色差塊208 (圖18)內的顏色插值任務將是對于每個像素估計紅色缺失 值或藍色缺失值。參考圖19D,其中示出的像素264具有綠色值(G3) 但是不具有紅色值(R3) 。 4個相鄰像素260、 262、 266和268具有綠 色值和紅色值。對于像素264 (圖19D)插值紅色值的方法類似于用來 對于像素234 (圖19A)插值綠色值的方法。第一步是計算兩個分類器值，第一個是關于水平方向，第二個是關 于垂直方向HCLAS = ABS ( G4 - G2 ) + ABS ( 2 * G3陽G2 - G4 ) VCLAS = ABS ( G5 - Gl ) + ABS ( 2 * G3 - Gl - G5 )隨后，計算兩個預測器值，笫一個是關于水平方向，笫二個是關于垂直 方向HPRED = ( R4 + R2 ) / 2 + ( 2 * G3 - G2 - G4 ) / 2 WRED = ( R5 + Rl ) / 2 + ( 2 * G3 - Gl - G5 ) / 2最后，令THRESH是經驗地確定的閾值，則可以如下自適應地計算缺失值G3:IF MAX ( HCLAS, VCLAS) < THRESHR3 = ( HPRED + VPRED ) / 2 ELSEIF VCLAS < HCLAS R3 = VPREDELSER3 = HPREDEND因此，如果全部兩個分類器都小于所述閾值，則對于R3計算兩個預測器值的平均值。如果不是，則根據(jù)哪個分類器HCLAS或VCLAS更小來 使用HPRED或VPRED。使用藍色值替換紅色值以完全相同的方式插值缺失的藍色值。 一旦 完成，就產生了低分辨率中間色圖像。從這以后就如前所述地計算所 述低分辨率色差。部件列表10來自對象場景的光11成像級12透鏡13濾光器組件14虹膜16亮度傳感器18快門20圖像傳感器22模擬信號處理器24模數(shù)(A/D)轉換器26定時發(fā)生器28圖像傳感器級30數(shù)字信號處理器(DSP)總線32數(shù)字信號處理器(DSP)存儲器36數(shù)字信號處理器(DSP)38處理級40曝光控制器50系統(tǒng)控制器52系統(tǒng)控制器總線54程序存儲器56系統(tǒng)存儲器57主機接口60存儲卡接口62存儲卡插槽64存儲卡68用戶控制和狀態(tài)接口70取景器顯示器72爆光顯示器74用戶輸入端76狀態(tài)顯示器80 一見頻編碼器82顯示控制器 88圖像顯示器100 Bayer圖案的最小重復單位102 Bayer圖案的非最小的重復單位112傳感器的未濾光光語光響應曲線114傳感器的紅色光響應曲線116傳感器的綠色光響應曲線118傳感器的藍色光響應曲線120第一綠色單元122紅色單元124藍色單元126第二綠色單元202低分辨率部分色塊204高分辨率全色塊206低分辨率全色塊208〗氐分辨率色差塊210高分辨率色差塊212高分辨率最終圖像塊220第一綠色單元222第一綠色單元中的綠色像素224紅色單元226藍色單元228第二綠色單元230用于插值缺失的綠色值的上像素值232用于插值缺失的綠色值的左像素值234缺失綠色值的像素236用于插值缺失的綠色值的右像素值238用于插值缺失的綠色值的下像素值240用于插值缺失的紅色值的左像素值242缺失紅色值的像素244用于插值缺失的紅色值的右像素值250用于插值缺失的紅色值的上像素值252缺失紅色值的像素254用于插值缺失的紅色值的下像素值260用于插值缺失的紅色值的上像素值262用于插值缺失的紅色值的左像素值264缺失紅色值的像素266用于插值缺失的紅色值的右像素值268用于插值缺失的紅色值的下像素值
權利要求
1、一種用于在變化照明條件下捕獲場景圖像的方法，包括a)提供具有全色和彩色像素的圖像傳感器；b)用戶選擇場景模式，并且根據(jù)照明條件和所選場景模式來調節(jié)圖像捕獲曝光；以及c)利用調節(jié)后的曝光，通過該圖像傳感器來捕獲場景。
2、 權利要求1所述的方法，還包括d) 從所述捕獲的圖像提供數(shù)字全色圖像和中間數(shù)字彩色圖像；以及e) 使用所述數(shù)字全色圖像和所述中間數(shù)字彩色圖像來提供最終數(shù) 字彩色圖像。
3、 權利要求l所迷的方法，其中，所述圖像捕獲曝光被自動控制。
4、 權利要求l所述的方法，其中，所述圖像捕獲曝光被人工控制。
5、 一種用于在變化照明條件下捕獲場景圖像的方法，包括a) 提供具有二維像素陣列的圖像傳感器，所述二維像素陣列包括 第 一和第二組像素，第 一組像素當中的像素的光諳光響應窄于第二組像 素當中的像素，第一組像素具有其光語光響應對應于一組至少兩種顏色 的各單獨像素，其中第 一和第二組像素的放置定義了具有最小重復單位 的圖案，該最小重復單位包括至少12個像素，該最小重復單位具有多 個單元，其中每個單元具有從第 一組像素中選擇的表示特定顏色的至少 兩個像素以及從第二組像素中選擇的多個像素，其被布置成允許再現(xiàn)在 不同照明條件下所捕獲的彩色圖像；b) 用戶選擇優(yōu)選的場景模式，并且根據(jù)照明條件和所選場景模式 來調節(jié)圖像捕獲曝光；以及c) 利用調節(jié)后的曝光，通過該圖像傳感器來捕獲場景。
6、 權利要求5所迷的方法，還包括d) 從所述捕獲的圖像提供數(shù)字全色圖像和中間數(shù)字彩色圖像；以及e) 使用所述數(shù)字全色圖像和所述中間數(shù)字彩色圖像來提供最終數(shù) 字彩色圖像。
7、 權利要求5所迷的方法，其中，所述圖像捕獲曝光被自動控制。
8、 權利要求5所迷的方法，其中，所述圖像捕獲曝光被人工控制。
9、權利要求5所述的方法，其中，所述圖像傳感器是電荷耦合器 件或有源像素傳感器。
10、 一種用于在變化照明條件下捕獲場景圖像的方法，包括a) 提供具有二維像素陣列的圖像傳感器，所述二維像素陣列包括 第 一和第二組像素，第 一組像素當中的像素的光傳光響應窄于第二組像 素當中的像素，第一組像素具有其光鐠光響應對應于一組至少兩種顏色 的各單獨像素，其中第一和第二組像素的放置定義了具有最小重復單位 的圖案，該最小重復單位包括至少12個像素，該最小重復單位具有多 個單元，其中每個單元具有從第一組像素中選擇的表示特定顏色的至少兩個像素以及從第二組像素中選擇的多個像素，其被布置成允許再現(xiàn)在 不同照明條件下所捕獲的彩色圖像；b) 從所述場景接收光，并且沿著光路把這種接收的光聚焦到該圖 像傳感器上；c) 產生表示場景光強度的信號；以及d) 響應于所述信號來調節(jié)該圖像傳感器的曝光。
11、 權利要求10所述的方法，其中，所迷圖像傳感器是電荷耦合 器件或有源像素傳感器。
12、 權利要求10所述的方法，其中，步驟d)包括當所述場景光 強度高于用于限制被聚焦到所述傳感器上的光量的預定水平時，把至少 一個中性密度濾光器定位在所述光路中。
13、 權利要求10所述的方法，其中，步驟d)包括把至少一個色 平衡濾光器定位在所述光路中。
14、 權利要求10所述的方法，其中，步驟d)包括改變所述圖像 捕荻設備的光圈，以便改變所述圖像傳感器上的曝光。
15、 權利要求10所述的方法，其中，步驟d)包括改變圖像傳感 器像素的積分時間，以便改變所迷圖像傳感器上的曝光。
16、 權利要求15所述的方法，還包括機械快門，用于控制所述圖 像傳感器中的像素的積分時間。
17、 權利要求15所述的方法，還包括定時發(fā)生器，用于電子地控 制所述圖像傳感器中的像素的積分時間。
18、 權利要求10所述的方法，其中，步驟d)包括改變圖像傳感 器像素的積分時間，以便為不同像素提供至少兩個單獨的積分時間。
19、 權利要求18所述的方法，其中，相對于另一組來改變所述第 一組或第二組像素的積分時間。
20、 權利要求18所述的方法，其中，相對于(多種)其他顏色的 像素的積分時間來改變所述第 一 組像素內的每種顏色的像素的積分時間。
21、 一種用于以單個圖像捕獲或圖像流捕獲來在場景的變化照明條 件下捕獲場景的方法，包括a) 提供在第一條件下有效地捕獲場景的單個圖像并且在第二條件 下有效地從該場景捕獲圖像流的圖像傳感器，該圖像傳感器具有二維像 素陣列，所述二維像素陣列包括第一和第二組像素，第一組像素當中的 像素的光譜光響應窄于第二組像素當中的像素，第 一組像素具有其光譜 光響應對應于一組至少兩種顏色的各單獨像素，其中第 一和第二組像素 的放置定義了具有最小重復單位的圖案，該最小重復單位包括至少12 個像素，該最小重復單位具有多個單元，其中每個單元具有從第一組像 素中選擇的表示特定顏色的至少兩個像素以及從第二組像素中選擇的 多個像素，其被布置成允許再現(xiàn)在不同照明條件下所捕獲的彩色圖像；b) 沿著路徑從該場景接收光，并且把來自該場景的光聚焦到所述 圖像傳感器上；以及c) 用戶選擇該圖像傳感器來捕獲單個圖像或捕獲圖像流。
全文摘要
一種使用圖像傳感器的圖像捕獲設備，其具有彩色和全色像素并且被構造成允許在不同照明條件下捕獲彩色場景圖像。
文檔編號H04N3/15GK101248659SQ200680030613
公開日2008年8月20日 申請日期2006年8月22日 優(yōu)先權日2005年8月23日
發(fā)明者J·F·小哈米爾頓, J·T·坎普頓 申請人:伊斯曼柯達公司