專利名稱：用于圖象傳感器的綠色重建的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在一個象素陣列中內(nèi)插一個象素的丟失彩色值。
在數(shù)字相機中透鏡被用來從景物獲取光信息。這些可見光子被由眾多光敏元件組成的圖象傳感器轉(zhuǎn)換成電子。當(dāng)使用數(shù)字RGB(三原色)靜物相機時，三個圖象傳感器被用來獲取對每個彩色紅色、綠色和藍色的彩色檢測。為了降低相機的成本、重量以及尺寸，有可能使用一個具有RGB Bayer濾波器陣列的圖象傳感器，其中在所述傳感器陣列中的每個象素檢測出在預(yù)先限定圖案中的紅色、綠色和藍色。這個圖案由交替的綠色、紅色列及綠色、藍色列構(gòu)造成。當(dāng)使用一個圖象傳感器來檢測所有的三個彩色時，有必要在總圖象被表示之前對丟失的象素進行重建。
在WO 99/04555中RGB Bayer圖象傳感器的綠色重建方法已經(jīng)加以說明。所述的重建僅涉及綠色的重建，紅及藍彩色按照傳統(tǒng)方法保持重建。丟失的綠色象素的重建是借助于中值濾波器來完成，所述的中值濾波器揀選出三個具體變量它們中的兩個源自綠色，第三個源自紅或藍色。這個方法的缺點是對于高飽和的有色的邊緣，看似郵票邊沿的假象被引入。
首先，將對WO 99/04555的綠色重建方法進行簡短說明。這個方法將被稱為靈巧綠色1(smartgreen 1)重建。用于靈巧綠色1的算法基于這樣的事實，即分辨率損失在接近白色景物部分的高頻率處得到最佳的觀察，且在接近有色的部分得到較少的觀察。
基于這種觀點，紅色和藍色象素的作用是其被用來幫助確定所丟失綠象素的重建值。靈巧綠色1重建的目的是將綠彩色的分辨率最大化。為此目的，應(yīng)用中值濾波器算法。在

圖1中，示出圍繞丟失的綠色象素的所選定綠色象素的界定，即由紅色或藍色(R/B)象素所占據(jù)的位置。這被用來說明下述變量G12＝(G1+G2)/2G34＝(G3+G4)/2所述變量RBc進一步被定義為中心象素的適配的接近白色的紅或藍彩色值(隨后被定義)，并且SmartGcntrlR和SmartgcntrlB是接近白色矩陣和白色平衡校正參數(shù)。這些參數(shù)的計算被說明如下。
在尤其是數(shù)字信號的靈巧綠色1重建中，通過按照大小的次序揀選G12、G34和RBc的數(shù)據(jù)，處理被執(zhí)行。所揀選順序的中心值，也被稱為中值將被應(yīng)用于所丟失綠色象素的重建。
smartG＝median(G12，G34，RBc)對于紅色和藍色中心象素，RBc值分別變成RBc＝SmartGcntrlR*RRBc＝SmartGcntrlB*B用于綠色的中值濾波器取代了傳統(tǒng)的綠色重建。然而，傳統(tǒng)的紅色和藍色重建依然保留。
在圖2中示出垂直的綠-洋紅景物彩色瞬態(tài)(color transient)?？傆嬍纠怂姆N不同的模式結(jié)尾綠色邊緣及前導(dǎo)綠色邊緣以及與在中心的丟失的綠色象素的相位關(guān)系。
在所述圖頂端示例出綠色，在象素界定上部及界定下部示出洋紅瞬態(tài)。最終，當(dāng)利用靈巧綠色1方法進行內(nèi)插時，在假想的傳感器象素上綠色的相應(yīng)投射被示出。
根據(jù)靈巧綠色1中值算法，即smartG＝median(G12，G34，RBc)，對于所有的四種模式重建的中心綠色的結(jié)果變成0.5。
對于所示的垂直有色邊緣，靈巧綠色1引起在垂直方向上類似于郵票邊沿的綠色強度調(diào)制。應(yīng)該注意到這同樣適用于在水平方向上的有色的邊緣。圖3示出具有綠-洋紅景物彩色瞬態(tài)的靈巧綠色1的RGB重建結(jié)果。綠色在左，洋紅在右。
本發(fā)明的一個目的是提供一種用于綠色重建以防止上述假象的方法。為此，本發(fā)明提供一種在獨立權(quán)利要求中所限定的用于圖象傳感器的綠色重建。有利的實施例在相關(guān)的權(quán)利要求被加以限定。
根據(jù)本發(fā)明的優(yōu)選實施例，通過采用中值濾波器可以防止綠色調(diào)制的問題，所述中值濾波器揀選出四個單獨的相鄰綠色象素及中心RBc值。下述適用于這個5-象素中值濾波器smatyG＝median(G1，G2，G3，G4，RBc)在本發(fā)明的優(yōu)選實施例中，確定是否所選擇的象素構(gòu)成圖象中邊緣的一部分以及是否所述邊緣與垂直線具有基本上不同于90°的角。如若這樣，則采用現(xiàn)有技術(shù)的靈巧綠色1算法，而所發(fā)明的5-輸入中值用于基本上垂直的邊緣。優(yōu)選地，邊緣探測包含如下步驟a)通過選擇垂直和水平相鄰象素來構(gòu)成第一對角線象素對，并且確定這些象素彩色值之間的差；b)通過選擇垂直和水平相鄰象素來構(gòu)成第二對角線象素對，并且確定這些象素彩色值之間的差，以及c)確定所述第一和第二象素對的象素彩色值之間的差。
步驟c)還可以包括確定是否所確定的差低于預(yù)定水平這樣一個步驟。這個預(yù)定水平可能在最大彩色值的百分之3和10之間，如在最大彩色的百分之4和8之間，如在最大彩色值的百分之5和7之間。
參考此后所說明的實施例，本發(fā)明的這些及其它方面將顯而易見且被加以闡述。
在附圖中，圖1示出圍繞丟失綠色象素的綠色象素的定義；圖2示出垂直的綠-洋紅景物彩色瞬態(tài)；圖3示出利用綠-洋紅景物瞬態(tài)的RGB重建結(jié)果；圖4示出由5-象素中值濾波器進行的有色的邊緣再現(xiàn)；圖5示出利用5-象素中值濾波器所有重建的RGB瞬態(tài)；圖6示出對角線方向的探測；圖7示出RGB Bayer亮度象素；圖8示出RGB以及RGB Bayer彩色相機的輪廓重建、矩陣及白色平衡；以及圖9示出用于并行RGB重建及輪廓濾波的方框圖。
利用綠色-洋紅著色的景物瞬態(tài)，這個濾波器的綠色重建結(jié)果變成如圖4所示。所述綠彩色被示例在圖的頂部，并且在假想的象素示例之間洋紅色瞬態(tài)被示出在假想的傳感器象素上相應(yīng)綠色投影之上。在有色的邊緣所不希望的調(diào)制已經(jīng)消失。在圖5中示出5-象素中值濾波器的RGB重建結(jié)果。綠色被示于圖的左側(cè)且洋紅色被示于右側(cè)。
令人遺憾地，所述5-象素中值濾波器在波帶片景物內(nèi)，尤其就在綠色Nyquist(尼奎斯特)域外部的對角線方向上引起一些額外的畸變。如果有色的邊緣被旋轉(zhuǎn)45度，則它還要遭受畸變的邊界假象。一個依賴于方向的條件可以有助于降低或消除所述的對角線畸變量。
通過利用下述算法可以執(zhí)行對角線方向的探測
如果第一兩對角線象素組近似地具有相同的第一綠色值且第二對角線象素組近似地具有與所述第一綠色值不同的相同的第二綠色值，則存在很大的可能是它是一個對角線邊緣，見圖6。寫成軟件形式，這變成if((abs(G1-G3)＜SG1level)and(abs(G4-G2)＜SG1level))xor((abs(G3-G2)＜SG1level)and(abs(G1-G4)＜SG1level))then select smartgreen1else select 5-pixel median filter.
最大定標(biāo)振幅的某一百分比(5-7％)適用于SGlevel。實際上，它約為6.25％(在256最大定標(biāo)范圍上為值16)。
參考前述的適用于靈巧綠色1的變量，下述適用于根據(jù)本發(fā)明的綠色重建新方法if((abs(G1-G3)＜SG1level)and(abs(G4-G2)＜SG1level))or((abs(G3-G2)＜SG1level)and(abs(G1-G4)＜SG1level))thensmartG＝median(G12，G34，RBc)else smartG＝median(G1，G2，G3，G4，RBc)對于RBc值，適用RBc＝SmartGcntrlR*RRBc＝SmartGcntrlB*B這個新方法已經(jīng)在有色的邊緣進行了測試并且已經(jīng)同傳統(tǒng)重建進行了比較。清楚地是，本發(fā)明的所述方法提供最佳結(jié)果。
隨后將對上述提到的參數(shù)SmartGcntrlB和SmartGcntrlB加以解釋。
對于在重建塊中源自圖象傳感器的RGB象素的一個接近白色亮度的信號，矩陣和白色平衡參數(shù)必須被加以考慮。因為矩陣和白色平衡被定位在重建之后，所以輸入的紅色和藍色有必要加以適配。為此目的，參數(shù)SmartGcntrlR和SmartGcntrlB被用于控制紅色和藍色振幅，以便于它們與綠色相匹配且導(dǎo)致一個接近白色亮度的信號Yn。參考圖7，在紅色和藍色象素情況下，下述適用于這個Yn信號Yn[i，j]＝SmartGcntrlR*紅色Yn[i+1，j+1]＝SmartGcntrlR*藍色在綠色象素情況下，Yn等于綠色。
Yn[i，j] ＝綠色Yn[i，j+1]＝綠色在圖8中一個簡化的方框圖示出有RGB和無圖形失真輪廓重建，其后接著是矩陣和白色平衡。這個方框圖被用來限定在下一個用于SmartGcntrlr/B計算的公式中的參數(shù)。來自景物的光LS通過透鏡L被傳遞到RGB Bayer傳感器S上。來自傳感器S的輸出信號被施加到CDS(關(guān)聯(lián)的雙取樣，agc(自動增益控制)和ADC(模擬到數(shù)字轉(zhuǎn)換)處理塊1上。處理塊1的輸出被施加到RGB重建和并行輪廓處理塊3上。處理塊3輸出所重建的RGB信號Ri、Gi和Bi以及無圖形失真輪廓信號AFC。所述重建RGB信號Ri、Gi和Bi被施加到產(chǎn)生信號Ro、Go和Bo的矩陣電路MX上，上述信號被施加到白色平衡電路WB上以提供輸出信號Ro′、Go′和Bo′。
將每個RGB Bayer彩色傳感器的原色修正成EBU原色是有必要的，所述EBU原色被適用于全球的電視機和PC監(jiān)視器。所述修正利用一個要求九個乘法器的矩陣來實現(xiàn)。RoGoBo=a11a12a13a21a22a23a31a32a33×RiGiBi]]>Ro、Go、Bo是矩陣的輸出RGB信號，且Ri、Gi、Bi是輸入信號。
利用矩陣后面的白色平衡，RGB信號變成Ro′＝awbR·RoGo′＝GoBo′＝awbB·Bo其中awbR和awbB是白色平衡參數(shù)。(根據(jù)世界灰度假定方法(WGA)，awbR＝總綠色/總紅色且awbB＝總綠色/總藍色，其中總紅色、總綠色和總藍色代表在整個景物上所測量出的全部RGB彩色振幅。)二者的作用，即矩陣與白色平衡，提供所要求的白色再現(xiàn)。所述Ro′、Go′和Bo′信號現(xiàn)在保證EBU彩色的再現(xiàn)。
對于適當(dāng)接近白色的亮度信號Yn，必須進行相反的操作。因此，設(shè)想一個具有根據(jù)EBU色空間和等于D65白的色溫的彩色的景物。利用下面所示矩陣的逆矩陣，獲得傳感器的色空間RiiGiiBii=b11b12b13b21b22b23b31b32b33×RiGiBi]]>其中Rii、Gii、Bii表示EBU景物的色彩且Ri、Gi、Bi表示傳感器的色彩。
對于亮度信號Yn僅是逆矩陣的白色再現(xiàn)令人感興趣，其由每個彩色的矩陣系數(shù)之和來表示。
∑Rii＝b11+b12+b13∑Gii＝b21+b22+b23∑Bii＝b31+b32+b33此外，景物的色溫不需要為D65白。包括一個任意色溫在內(nèi)，矩陣系數(shù)之和變成∑Riwb＝Rpresetgain·b11+Gpresetgain·b12+Bpresetgain·b13∑Giwb＝Rpresetgain·b21+Gpresetgain·b22+Bpresetgain·b23∑Biwb＝Rpresetgain·b31+Gpresetgain·b32+Bpresetgain·b33其中Xpresetgain(X＝R，G或B)表示用于將D65白傳遞到任意色溫的增益因子。(對于D65白，所有的Xpresetgain參數(shù)為1。)對于用在Yn[i，j]和Yn[i+1，j+1]中的SmartGcntrlR/B參數(shù)(見下面的公式)適用SmartGcntrlR=ΣGiwbΣRiwb]]>SmartGcntrlB=ΣGiwbΣBiwb]]>參數(shù)∑Giwb被用作分母(nominator)，因為綠色振幅被認(rèn)作基準(zhǔn)。這也適用于白色平衡。
現(xiàn)在上述公式可以被這樣書寫，以便于所測量的白色平衡參數(shù)awbR/B可以被應(yīng)用。已知GpresetgainRpresetgain=awbR=GtotalRtotal]]>GpresetgainBpresetgain=awbB=GtotalBtotal]]>因此ΣRiwb=Gpresetgain·(b11awbR+b21+b13awbB)]]>ΣGiwb=Gpresetgain·(b21awbR+b22+b23awbB)]]>ΣBiwb=Gpresetgain·(b31awbR+b23+b33awbB)]]>因為∑Xiwb值在上面被除，所以參數(shù)Gpresetgain并不重要，因為Gpresetgain/Gpresetgain＝1。因此，下一個公式足夠用來計算所要求的∑Xiwb值ΣRiwb=(b11awbR+b21+b13awbB)]]>ΣGiwb=(b21awbR+b22+b23awbB)]]>ΣBiwb=(b31awbR+b23+b33awbB)]]>利用白色景物色彩的相同RGB信號振幅，現(xiàn)在已經(jīng)得到振幅亮度信號Yn，這是由于這樣的事實，即傳感器矩陣和景物的色溫已經(jīng)加以考慮。
圖9示出RGB重建的方框圖。Yn是傳感器的多路復(fù)用RGB信號，其中在預(yù)處理塊5中R已經(jīng)被乘以SmartcntrlR，且B已經(jīng)被乘以SmartcntrlB。這個Yn信號被用于具體化的靈巧綠色重建。經(jīng)由零轉(zhuǎn)換盒ZSB，Yn被分裂成三個色，紅色＝R*SmartcntrlR、綠色＝G及藍色＝B*SmartcntrlB，使利用在一個具有/不具有靈巧綠色處理塊7的3×3 RGB重建中的靈巧綠色的傳統(tǒng)拉普拉斯算子RGB重建成為可能。在中值濾波器中所謂的RBc信號已經(jīng)適合R*SmartGcntrlR和B*SmartGcntrlB。
通過在除法器Dr和Db中將所重建的紅色和藍色信號分別除以SmartGcntrlR和SmartGcntrlB，則原始的紅色(Ro)和藍色(Bo)傳感器振幅被存儲。這意味著可以維持通常應(yīng)用的矩陣、白色平衡和gamma函數(shù)。在數(shù)字電路設(shè)計中乘法器更優(yōu)于除法器。因此，為了避免除法器電路，最佳的方法是讓相機的計算機計算出1/SmartGcntrlR和1/SmartGcntrlB。然后，那些值可以經(jīng)由兩個單獨電線提供給乘法器。現(xiàn)在Ro振幅變成等于輸入信號的R-振幅(SmartcntrlR*R*(1/SmartcntrlR＝R)。非常相同的適用于Bo振幅。
應(yīng)該注意到在照片拍攝之前或在視頻模式情況中的連續(xù)方式下，在測量周期中參數(shù)SmartcntrlR/B已經(jīng)被確定。
用于產(chǎn)生象素陣列的圖象傳感器可以構(gòu)成數(shù)字相機的一部分。陣列的象素可以被設(shè)置在正交的排和列中；然而，其它另選的設(shè)置也是可能的。
為了獲得具有高色彩分辨率的全色圖象，所述傳感器可能被覆蓋一個類似鑲嵌的彩色圖案，在所述圖案中傳感器的每個象素被放置在已知的濾色器例如綠色濾色器后面。RGB Bayer鑲嵌濾色器在本發(fā)明中將是優(yōu)選的選擇。然而所述方法也可能與YeGCy Bayer傳感器一同使用。然后，依據(jù)Ye-G＝紅色和Cy-G＝藍色計算出SmartGcntrlR/B參數(shù)SmartGcntrlR=ΣGiwbΣRiwb+ΣGiwb]]>SmartGcntrlB=ΣGiwbΣBiwb+ΣGiwb]]>雖然本發(fā)明已經(jīng)就所優(yōu)選的實施例進行了說明，但是它并不旨在被局限于此處所提出的具體形式。相反，它旨在涵蓋如所附權(quán)利要求所定義的可以被合理地包括在發(fā)明范圍內(nèi)的這種另外選擇、修改及等同物。在所述權(quán)利要求中，放置在圓括號之間的任何參考符號不應(yīng)該被解釋成對權(quán)利要求的限制。詞語“comprising(包括)”并不排除除了在權(quán)利要求中所列出的那些以外的元件或步驟的存在。在一個元件之前的詞語“a(一個)”和“an(一個)”并不排除多個這樣元件的存在。本發(fā)明可以通過包括多個截然不同元件的硬件方法，以及通過適當(dāng)編程的計算機方法來實施。在所述設(shè)備中權(quán)利要求列舉了幾個方法，這些方法中的幾個可以由同一個硬件項目來體現(xiàn)。某些措施在相互不同的獨立權(quán)利要求中被講述這樣的純粹事實并不表示這些措施的組合不能被使用來產(chǎn)生良好的效果。
權(quán)利要求
1.一種內(nèi)插象素的丟失彩色值的方法，所述象素構(gòu)成了由具有濾色器陣列的圖象傳感器所產(chǎn)生的象素陣列的一部分，所述象素陣列包括第一及第二象素組，其中所述第一象素組表示利用具有第一色彩(G)的濾波器經(jīng)濾光的圖象的部分，以及其中第二象素組表示利用具有一個或多個第二色彩(R，B)的一個或多個濾波器經(jīng)濾光的圖象的部分，所述第二組的每個象素具有所述第一組的一個垂直和水平相鄰象素，所述方法包括提供所有相鄰垂直和水平象素的單獨的第一色彩信息；選擇第二組中的一個象素，并且在所選擇象素的位置處提供有關(guān)一個或多個第二色彩的第二色彩信息，以及利用單獨的第一色彩信息及第二色彩信息將丟失的色彩信息內(nèi)插到所選擇象素的位置，所述內(nèi)插步驟包括計算所述單獨第一色彩信息及第二色彩信息的中值這樣的步驟。
2.根據(jù)權(quán)利要求1的方法，其中所述內(nèi)插步驟包括確定是否所選擇的象素構(gòu)成圖象中邊緣的部分以及是否所述邊緣與垂直線具有基本上不同于90°的角，所述垂直線由到所選擇象素的相鄰垂直象素來限定，以及當(dāng)邊緣與垂直線具有不同于90°角的情況下確定水平相鄰象素的水平平均值；確定垂直相鄰象素的垂直平均值；利用所確定的水平平均值、所確定的垂直平均值及在所選擇象素位置處的所述第二色彩信息計算出一個中值，以及當(dāng)邊緣與垂直線具有基本上等于90°角的情況下計算出單獨的第一色彩信息和笫二色彩信息的中值。
3.根據(jù)權(quán)利要求2的方法，其中確定是否所選擇的象素構(gòu)成圖象中邊緣的部分以及是否所述邊緣與垂直線具有基本上不同于90°的角這個步驟包括a)通過選擇垂直和水平相鄰象素來構(gòu)成第一對角線象素對，并且確定這些象素彩色值之間的差；b)通過選擇垂直和水平相鄰象素來構(gòu)成第二對角線象素對，并且確定這些象素彩色值之間的差，以及c)確定所述第一和第二象素對的象素彩色值之間的差。
4.根據(jù)權(quán)利要求3的方法，其中步驟a)和步驟b)每個還包括確定是否所確定的差低于預(yù)定水平這一步驟。
5.根據(jù)權(quán)利要求4的方法，其中步驟c)還包括確定是否所確定的差低于預(yù)定水平這一步驟。
6.根據(jù)權(quán)利要求4或5的方法，其中所預(yù)定的水平在最大彩色值的百分之5和7之間。
7.一個計算機程序，其包括當(dāng)所述計算機程序在計算機上運行時適合于執(zhí)行根據(jù)權(quán)利要求1所述方法的計算機程序代碼裝置。
8.一個載有根據(jù)權(quán)利要求7所述的計算機程序的計算機可讀介質(zhì)。
9.一種用于內(nèi)插象素的丟失彩色值的設(shè)備，所述象素構(gòu)成了由具有濾色器陣列的圖象傳感器所產(chǎn)生的象素陣列的部分，所述象素陣列包括第一及第二象素組，其中所述第一象素組表示利用具有第一色彩(G)的濾波器濾光的圖象的部分，以及其中第二象素組表示利用具有一個或多個第二色彩(R，B)的一個或多個濾波器濾光的圖象的部分，所述第二組的每個象素具有一個所述第一組的垂直和水平相鄰象素，所述方法包括用于提供所有相鄰垂直和水平象素的單獨第一色彩信息的裝置；用于選擇第二組中的一個象素、并且在所選擇象素的位置處提供有關(guān)一個或多個第二色彩的信息的裝置，以及利用單獨的第一色彩信息及第二色彩信息用于將丟失的色彩信息內(nèi)插到所選擇象素位置的裝置，所述內(nèi)插裝置包括用于計算單獨的第一色彩信息及第二色彩信息中值的裝置。
10.一種彩色相機，包括具有濾波器陣列的傳感器(S)；以及一種如權(quán)利要求9所述的設(shè)備(3，7)。
全文摘要
本發(fā)明涉及在一個象素陣列中內(nèi)插一個已知象素的丟失色彩值。從利用基于中值技術(shù)的相鄰象素的色彩值中以及從來自已知象素的至少一個其它色彩(R/B)的色彩信息中，可確定所述的丟失色彩值，在所述的中值技術(shù)中，中值將取自水平與垂直相鄰象素(G1－G4)的四個象素值作為丟失的色彩值。
文檔編號G06T5/20GK1457608SQ02800241
公開日2003年11月19日 申請日期2002年1月14日 優(yōu)先權(quán)日2001年2月6日
發(fā)明者C·A·M·亞斯佩斯 申請人:皇家菲利浦電子有限公司