專利名稱：照相機(jī)傳感器校正的制作方法
照相機(jī)傳感器校正背景技術(shù)
數(shù)字照相機(jī)包括至少一個(gè)照相機(jī)傳感器，諸如電荷耦合器件或“CCD”或互補(bǔ)金屬 氧化物半導(dǎo)體(CM0Q傳感器。數(shù)字照相機(jī)包括多個(gè)光敏電池，每個(gè)光敏電池響應(yīng)于曝光而 積累或積聚電荷。針對(duì)任何給定像素的積聚電荷與曝光的強(qiáng)度和持續(xù)時(shí)間成比例，并用來(lái) 生成數(shù)字照片。
設(shè)計(jì)緊湊的高分辨率照相機(jī)的最有挑戰(zhàn)性的方面之一是照相機(jī)的總體積的限制。 在典型的目標(biāo)高度小于6mm的情況下，必須使用非常緊湊的傳感器。這些傳感器要求表現(xiàn) 出降低的靈敏度、增大的噪聲、增大的色彩串?dāng)_以及增大的色彩不均衡性的小型像素設(shè)計(jì)。 這些緊湊設(shè)計(jì)常常由于撞擊照相機(jī)傳感器的中心(可能直接位于照相機(jī)透鏡的后面)的光 線對(duì)比撞擊照相機(jī)傳感器邊緣的光線(其以高度傾斜的角度撞擊)的入射角變化而表現(xiàn)出 過(guò)度漸暈。
除了非色彩相關(guān)漸暈之外，數(shù)字照相機(jī)還可能表現(xiàn)出色彩相關(guān)漸暈。例如，當(dāng)捕捉 到被均勻照亮的中性表面(例如，白墻)的圖像時(shí)，結(jié)果得到的數(shù)字圖像可能不期望地被粉 紅色、綠色、或藍(lán)色色調(diào)著色。這些區(qū)域的準(zhǔn)確顏色和形狀隨照明器類型和被拍照的場(chǎng)景而 變化。取決于光學(xué)系統(tǒng)、傳感器、電子裝置及其相互作用，這些觀察到的色調(diào)偏移存在許多 原因。


圖Ia是示出在沿著成像傳感器的不同位置處色差的位置相關(guān)性的圖示。
圖Ib是示例性照相機(jī)系統(tǒng)的部件圖。
圖2是示例性照相機(jī)傳感器的高級(jí)圖示。
圖3示出在示例性傳感器上的不同空間位置處傳感器和透鏡光譜響應(yīng)的示例性 圖表。
圖4示出在歸一化并繪制在一起之后的圖3的針對(duì)示例性傳感器的傳感器和透鏡 光譜響應(yīng)的示例性圖表。
圖5示出關(guān)于另一示例性傳感器的在傳感器上的不同空間位置處傳感器和透鏡 光譜響應(yīng)的圖表。
圖6示出在歸一化并繪制在一起之后的圖5的針對(duì)示例性傳感器的傳感器和透鏡 光譜響應(yīng)的示例性圖表。
圖7是示出可以實(shí)現(xiàn)以進(jìn)行照相機(jī)傳感器校正的示例性操作的流程圖。
具體實(shí)施方式
本文公開(kāi)了用于數(shù)字照相機(jī)傳感器的色彩相關(guān)和非色彩相關(guān)漸暈的校正的系統(tǒng) 和方法。由于這些效應(yīng)跨越傳感器的區(qū)域在空間上變化，可以使用圖像處理算法來(lái)校正這 些不期望的效應(yīng)。這些算法可以利用數(shù)學(xué)模型來(lái)擬合校正掩模(多邊形、橢圓形、圓形等 等)或者可能由于存儲(chǔ)器約束而以較小的分辨率存儲(chǔ)實(shí)際校正掩模。
照相機(jī)傳感器校正的某些方法可以假設(shè)可以從已知參考色溫下的平場(chǎng)圖像獲取 單個(gè)校正因數(shù)。雖然這種方法可以為未展示出色彩串?dāng)_的傳感器和透鏡組合及為光學(xué)串?dāng)_ 不隨著來(lái)自不同類型的表面的反射光的波長(zhǎng)而變化的傳感器提供充分的校正，但這些假設(shè) 可能不適用于超緊湊的設(shè)備(例如，在移動(dòng)成像設(shè)備中所使用的)。也就是說(shuō)，如本文將描 述的，單個(gè)線性乘法常數(shù)可能不產(chǎn)生重疊的光譜效應(yīng)。
用于數(shù)字成像設(shè)備的緊湊透鏡系統(tǒng)通常由三個(gè)至四個(gè)透鏡元件和用來(lái)限制透射 過(guò)透鏡的光的光學(xué)通帶的紅外截止濾光器構(gòu)成。此類透鏡具有非常陡的射線角，其在圖像 上引起兩種不期望的效應(yīng)光學(xué)串?dāng)_和光譜串?dāng)_。
用于許多成像設(shè)備中的區(qū)域傳感器通常包括布置成Bayer模式的彩色濾光器的 馬賽克。Bayer模式被構(gòu)造為具有包含交替的紅色和綠色像素(R和Gr)的一排傳感器，第 二排傳感器包含交替的藍(lán)色和綠色像素(B和( )。因此，當(dāng)目的地是紅色、綠色或藍(lán)色像素 的光被不同顏色的相鄰像素收集時(shí)，發(fā)生光學(xué)串?dāng)_。由光學(xué)串?dāng)_引起的色調(diào)偏移的量沿成 像傳感器的水平和垂直軸變化。光學(xué)串?dāng)_具有降低被每個(gè)像素收集的光的量以及使得用于 處理圖像中的色彩信息產(chǎn)生像差的效應(yīng)。因此，在本發(fā)明的示例性實(shí)施例中，如下文更詳細(xì) 地解釋的，當(dāng)紅色排的綠色通道和藍(lán)色排的綠色通道的光譜響應(yīng)存在差異時(shí)，實(shí)施四色彩 空間變化校正方案。
光學(xué)串?dāng)_還可能受到IR(紅外)截止濾光器的影響，所述頂截止濾光器限制圖像 傳感器所捕捉的光的波長(zhǎng)。當(dāng)入射在濾光器上的光不垂直于傳感器的涂層表面時(shí)，存在截 止波長(zhǎng)朝向較短波長(zhǎng)的空間變化的光譜透射偏移。此空間變化的光譜透射引起跨越傳感器 的空間變化的色調(diào)偏移。有時(shí)將彩色濾光器的不均衡色彩分離稱為光譜串?dāng)_。
圖Ia是示出在沿著成像傳感器的不同位置處色差的位置相關(guān)性的圖示10。圖Ia 包括成像透鏡12、包括離軸微型透鏡14和16的傳感器陣列、同軸像素18、同軸微型透鏡 20、入射光線角22。當(dāng)光針對(duì)角22的小值(Θ 0)在同軸微型透鏡20處入射時(shí)，來(lái)自成 像透鏡12的基本上所有的光被同軸像素18收集。相反，當(dāng)光例如在離軸微型透鏡14處以 傾斜的角度22(θ 0)入射時(shí)，入射光的相當(dāng)一部分未被下面的像素捕捉而被損失。因此， 隨著光的角度22 ( θ )的增大，從而光向同軸微型透鏡20的右側(cè)或左側(cè)移動(dòng)，更多的入射光 被損失。因此，像素所捕捉的光量取決于其相對(duì)于成像陣列的中心的位置，并且發(fā)生位置相 關(guān)的色差。
圖Ib是示例性照相機(jī)系統(tǒng)100的部件圖。雖然對(duì)特定的數(shù)字靜止照片照相機(jī)系統(tǒng) 100進(jìn)行了參考，但應(yīng)注意的是可以用現(xiàn)在已知或稍后可能開(kāi)發(fā)的、用于多種應(yīng)用中的任何 一種(例如照相機(jī)電話、數(shù)字照相機(jī)、視頻攝像機(jī)、掃描儀、醫(yī)學(xué)成像及其它電子成像設(shè)備) 的各類傳感器中的任何一種來(lái)實(shí)現(xiàn)本文所述的系統(tǒng)和方法。
存在可以在示例性照相機(jī)系統(tǒng)100中使用的許多不同類型的圖像傳感器。將圖像 傳感器分類的一種方式是按照其色彩分離機(jī)制。數(shù)字成像系統(tǒng)中的典型圖像傳感器由馬賽 克型傳感器組成，在該傳感器上形成有包括加成的色彩紅色、綠色、和藍(lán)色的濾光器陣列。 傳感器的每個(gè)像素包括以重復(fù)兩行的模式布置的相應(yīng)紅色、綠色或藍(lán)色濾光器區(qū)域。第一 行包括交替的紅色和綠色像素，第二行包含交替的藍(lán)色和綠色像素。然后，將由每個(gè)像素形 成的圖像的單獨(dú)色彩陣列組合以在適當(dāng)?shù)奶幚碇螽a(chǎn)生全色圖像。
還可以有其它馬賽克彩色濾光器模式。本發(fā)明的實(shí)施例可以包括具有青色、品紅色、黃色和關(guān)鍵色(CMYK)；或紅色、綠色、藍(lán)色、鳧藍(lán)色(RGBT)；紅色、白色、藍(lán)色、綠色 (RWBG)等等的彩色濾光器。在馬賽克傳感器的一個(gè)變體中，可以使用包含被布置成跨越陣 列的條帶的彩色濾光器的傳感器。另一類型的傳感器依賴于光的不同波長(zhǎng)穿透到硅的不同 深度的現(xiàn)象。此類傳感器可以使用照片站點(diǎn)(site)陣列，每個(gè)照片站點(diǎn)由被組織成二維網(wǎng) 格的三個(gè)垂直堆疊的光電二極管組成。在此類實(shí)施例中，三個(gè)堆疊光電二極管中的每一個(gè) 對(duì)光的不同顏色進(jìn)行響應(yīng)。處理來(lái)自這三個(gè)光電二極管的信號(hào)以形成圖像。然而，本文所 述的所有實(shí)施例將適用于任何上述傳感器。
現(xiàn)在返回圖Ib，示例性照相機(jī)系統(tǒng)100可以包括位于照相機(jī)系統(tǒng)100中以將從場(chǎng) 景145中的一個(gè)或多個(gè)對(duì)象140反射的光130聚焦到照相機(jī)傳感器150上的透鏡12。示例 性透鏡12可以是將從場(chǎng)景145反射的光130聚焦到照相機(jī)傳感器150上的任何適當(dāng)?shù)耐竈Ml O
照相機(jī)系統(tǒng)100還可以包括模數(shù)轉(zhuǎn)換器(“A/D”)160。在數(shù)字照相機(jī)中，模數(shù)轉(zhuǎn) 換器160將來(lái)自照相機(jī)傳感器150的模擬信號(hào)數(shù)字化并將其輸出到被連接到圖像處理管線 170和曝光/聚焦/WB分析模塊164的空間變化色彩校正模塊162。A/D 160生成表示在暴 露于場(chǎng)景145期間捕捉的光130的圖像數(shù)據(jù)信號(hào)。傳感器控制器155向圖像傳感器提供信 號(hào)，其可以通過(guò)照相機(jī)來(lái)實(shí)現(xiàn)，用于進(jìn)行自動(dòng)聚焦、自動(dòng)曝光、預(yù)閃計(jì)算、圖像穩(wěn)定和/或檢 測(cè)白平衡，這僅是幾個(gè)示例。
可以為照相機(jī)系統(tǒng)100提供與傳感器控制器155可操作地相關(guān)聯(lián)的圖像處理管線 或模塊170并可選地提供照相機(jī)設(shè)置180。圖像處理模塊170可以從空間變化色彩校正模 塊162接收?qǐng)D像數(shù)據(jù)信號(hào)作為輸入?？梢詫D像處理模塊170實(shí)現(xiàn)為對(duì)所述圖像數(shù)據(jù)信號(hào) 執(zhí)行各種計(jì)算或處理，例如以便在顯示器190上輸出。
在示例性實(shí)施例中，可以將空間變化色彩校正模塊162實(shí)現(xiàn)為校正由光學(xué)串?dāng)_、 光譜串?dāng)_或傳感器光譜靈敏度的變化引起的數(shù)字圖像中的缺陷。空間變化色彩校正模塊 162可以基于照相機(jī)傳感器150上的像素或像素組的位置對(duì)每個(gè)像素(或像素組)應(yīng)用校 正因數(shù)。
應(yīng)注意的是由于多種因素中的任何一種(例如，測(cè)試條件、光波長(zhǎng)、海拔、溫度、背 景噪聲、傳感器損壞、變焦、聚焦、光圈等)，照相機(jī)傳感器150的輸出在各種條件下可以是 不同的。改變成像系統(tǒng)的光學(xué)特性的任何事物都可能影響色差。因此，在示例性實(shí)施例中， 可以針對(duì)每個(gè)數(shù)字圖像或在各種時(shí)間(例如各種季節(jié)、地理位置，或基于照相機(jī)設(shè)置或用 戶選擇)“即時(shí)”校正傳感器，而不是使校正基于由研究和開(kāi)發(fā)團(tuán)隊(duì)或制造商進(jìn)行的照相機(jī) 傳感器150的初始校準(zhǔn)。參照?qǐng)D2所示的示例性照相機(jī)傳感器和圖3 6所示的圖示，可 以更好地理解照相機(jī)傳感器校正的示例性實(shí)施例。
圖2是示例性照相機(jī)傳感器150的高級(jí)圖，諸如用于圖Ib所示的照相機(jī)系統(tǒng)100 的上文所述的照相機(jī)傳感器。出于此圖示的目的，照相機(jī)傳感器150被實(shí)現(xiàn)為隔行CCD。然 而，照相機(jī)傳感器150不限于行間CCD。例如，照相機(jī)傳感器150可以被實(shí)現(xiàn)為幀傳輸CCD、 交織CCD、CMOS傳感器或現(xiàn)在已知或稍后開(kāi)發(fā)的各類其它照相機(jī)傳感器中的任何一種。例 如，雖然本文的討論意在校正照相機(jī)中的色彩相關(guān)的色差，但是還可以在計(jì)算機(jī)上對(duì)未處 理的(“原始的”)圖像執(zhí)行這些操作。
在行間CXD中，每隔一列的硅傳感器基板被掩蔽以形成有源光電池(或像素)200和與每個(gè)有源光電池200相鄰的用作移位寄存器(未示出)的非活性區(qū)域。雖然示出了 η 列和i行的光電池，但應(yīng)注意的是照相機(jī)傳感器150可以包括任何數(shù)目的光電池200 (和相 應(yīng)的移位寄存器)。光電池200(和移位寄存器)的數(shù)目可以取決于許多考慮因素，諸如，例 如圖像大小、圖像質(zhì)量、工作速度、成本等。
在操作期間，有源光電池200在暴露于從場(chǎng)景反射的光期間變得帶電。然后，此電 荷積聚(“像素?cái)?shù)據(jù)”)在期望的曝光時(shí)間之后被傳輸?shù)揭莆患拇嫫?，并且可以被從移位?存器讀出。
在示例性實(shí)施例中，可以如光電池窗口 210a i所示的那樣對(duì)照相機(jī)傳感器進(jìn)行 采樣。出于圖示的目的，示出了九個(gè)窗口 210a i，它們基本上對(duì)應(yīng)于照相機(jī)傳感器的拐 角、邊緣和中間部分。
可以將圖像描述為具有寬度DimX和圖像高度DimY。然后，使用以下坐標(biāo)來(lái)描述每 個(gè)窗口的中心的空間位置(從左到右且從上到下)
權(quán)利要求
1.一種用于校正傳感器的光學(xué)串?dāng)_和光譜串?dāng)_的方法，包括在傳感器上的不同空間位置處針對(duì)多個(gè)色彩通道對(duì)光譜響應(yīng)進(jìn)行采樣； 在由所述傳感器捕捉的圖像中的不同空間位置處應(yīng)用4X4色彩校正矩陣；以及 轉(zhuǎn)換每個(gè)空間位置處的光譜響應(yīng)以匹配圖像上的任何一個(gè)位置處的光譜響應(yīng)。
2.權(quán)利要求1的方法，其中，針對(duì)圖像上的多個(gè)窗口來(lái)確定光譜響應(yīng)。
3.權(quán)利要求1的方法，其中，針對(duì)圖像上的每個(gè)像素來(lái)確定光譜響應(yīng)。
4.權(quán)利要求1的方法，還包括首先確定光譜響應(yīng)是否根據(jù)空間位置而變。
5.權(quán)利要求1的方法，還包括首先確定給定空間位置處的色彩通道的光譜響應(yīng)是否不 是線性可縮放的。
6.權(quán)利要求1的方法，還包括確定色彩通道的光譜響應(yīng)是否根據(jù)空間位置而重疊。
7.權(quán)利要求1的方法，還包括對(duì)色彩通道的光譜響應(yīng)進(jìn)行歸一化。
8.權(quán)利要求1的方法，還包括對(duì)未被采樣的其它空間位置進(jìn)行內(nèi)插。
9.權(quán)利要求1的方法，還包括在不需要附加校準(zhǔn)圖像的情況下找到傳感器的光譜響應(yīng)。
10.一種用于校正傳感器的光學(xué)串?dāng)_和光譜串?dāng)_的系統(tǒng)，包括 傳感器，其被配置為輸出與被拍照的場(chǎng)景相對(duì)應(yīng)的像素值；以及信號(hào)處理邏輯，其執(zhí)行以確定在所述傳感器上的不同空間位置處多個(gè)色彩通道的光譜 響應(yīng)，在由所述傳感器捕捉的圖像中的不同空間位置處應(yīng)用色彩校正矩陣，并轉(zhuǎn)換每個(gè)空 間位置處的光譜響應(yīng)以匹配圖像上任何一個(gè)位置處的光譜響應(yīng)。
11.權(quán)利要求10的系統(tǒng)，其中，所述色彩校正矩陣是4X4矩陣。
12.權(quán)利要求10的系統(tǒng)，其中，所述色彩校正矩陣被定義為RKOOKOlK02K03R
13.權(quán)利要求10的系統(tǒng)，其中，所述信號(hào)處理邏輯還確定針對(duì)圖像上的多個(gè)窗口的光 譜響應(yīng)。
14.權(quán)利要求10的系統(tǒng)，其中，所述信號(hào)處理邏輯還確定針對(duì)圖像上的每個(gè)像素的光 譜響應(yīng)。
15.權(quán)利要求10的系統(tǒng)，其中，所述信號(hào)處理邏輯還確定光譜響應(yīng)是否根據(jù)空間位置 而變化。
16.權(quán)利要求10的系統(tǒng)，其中，所述信號(hào)處理邏輯還歸一化色彩通道的光譜響應(yīng)。
17.權(quán)利要求16的系統(tǒng)，其中，所述信號(hào)處理邏輯還確定給定空間位置處色彩通道的 光譜響應(yīng)是否不是線性可縮放的。
18.權(quán)利要求16的系統(tǒng)，其中，所述信號(hào)處理邏輯還確定色彩通道的光譜響應(yīng)是否根據(jù)空間位置而重疊。
19.一種用于照相機(jī)傳感器校正的系統(tǒng)，包括用于在傳感器上的不同空間位置處針對(duì)多個(gè)色彩通道對(duì)光譜響應(yīng)進(jìn)行采樣的裝置，以及用于轉(zhuǎn)換每個(gè)空間位置處的光譜響應(yīng)以匹配圖像上的中心處傳感器的光譜響應(yīng)以便 校正照相機(jī)傳感器的光學(xué)串?dāng)_和光譜串?dāng)_的裝置。
20.權(quán)利要求19的系統(tǒng)，還包括用于在由所述傳感器捕捉的圖像中的不同空間位置處 應(yīng)用4X4色彩校正矩陣的裝置。
21.一種用于校正色彩相關(guān)漸暈的方法，包括 將未校正的色彩通道數(shù)據(jù)輸入到矩陣；通過(guò)所述矩陣對(duì)所述未校正的色彩通道數(shù)據(jù)進(jìn)行操作；以及 輸出色差校正后的數(shù)據(jù)集。
22.權(quán)利要求21的方法，其中，在去馬賽克過(guò)程之前通過(guò)mXη校正矩陣對(duì)未校正的色 彩通道數(shù)據(jù)進(jìn)行操作，所述mXn校正矩陣返回色彩通道的校正后的矢量。
23.權(quán)利要求21的方法，其中，在通過(guò)校正矩陣對(duì)所述未校正的色彩通道數(shù)據(jù)進(jìn)行操 作之前對(duì)所述未校正的色彩通道數(shù)據(jù)進(jìn)行去馬賽克，所述校正矩陣返回去馬賽克后的傳感 器值的色差校正后的矢量。
24.權(quán)利要求21的方法，其中，對(duì)未校正的色彩通道值進(jìn)行去馬賽克并校正空間變化 色彩相關(guān)漸暈作為去馬賽克過(guò)程的一部分。
25.權(quán)利要求對(duì)的方法，還包括從一個(gè)色彩空間到另一個(gè)色彩空間的變換。
全文摘要
本發(fā)明公開(kāi)了用于照相機(jī)傳感器校正的系統(tǒng)和方法。在示例性實(shí)施例中，一種方法可以包括在傳感器上的不同空間位置處針對(duì)多個(gè)色彩通道對(duì)光譜響應(yīng)進(jìn)行采樣。該方法還可以包括在由傳感器捕捉的圖像中的不同空間位置處應(yīng)用4×4色彩校正矩陣。該方法還可以包括轉(zhuǎn)換每個(gè)空間位置處的光譜響應(yīng)以匹配圖像上的任何一個(gè)位置處傳感器的光譜響應(yīng)。
文檔編號(hào)H04N9/67GK102037734SQ200880129381
公開(kāi)日2011年4月27日 申請(qǐng)日期2008年5月22日 優(yōu)先權(quán)日2008年5月22日
發(fā)明者K·馬瑟森, R·索波爾, Y·王 申請(qǐng)人:惠普開(kāi)發(fā)有限公司