專利名稱：在cmos傳感器中對(duì)cfa進(jìn)行插值的方法及電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器領(lǐng)域，特別涉及一 種在CMOS傳感器中對(duì)顏色濾波陣列(CFA, Color Filter Array )進(jìn)行插值 的方法及電路。
背景技術(shù)：
在基于CMOS傳感器的成像系統(tǒng)中，為了得到較為逼真的彩色圖像， 最好使用三塊傳感器分別接收紅色、綠色和藍(lán)色值，然后再合成彩色圖像。 但是，采用這種方法的成像系統(tǒng)的成本和體積都很大，所以一個(gè)替代方法就 是在CMOS傳感器表面覆蓋一個(gè)CFA,常用的CFA有條紋型、馬賽克型和 Bayer型，由于Bayer型的CFA有4交好的顏色值敏感性和顏色值恢復(fù)性而得 到廣泛應(yīng)用。Bayer型CFA上的每個(gè)感光點(diǎn)只允許一種顏色分量通過，最終 釆集得到的圖像中的每個(gè)像素點(diǎn)只有 一種灰度值，因此需要采用插值的方法 得到每個(gè)像素點(diǎn)缺失的其他兩種灰度值，這樣經(jīng)過插值后的像素點(diǎn)就變?yōu)楹?有紅色值、綠色值以及藍(lán)色值的彩色像素點(diǎn)，將這些彩色像素點(diǎn)合成后就得 到了彩色圖像。圖1為現(xiàn)有技術(shù)經(jīng)過Bayer型CFA濾波后得到的圖像示意圖，可以看 出，該圖像包括包含藍(lán)色值的像素點(diǎn)，即用B標(biāo)識(shí)的像素點(diǎn)；包含綠色值的 像素點(diǎn)，即用G標(biāo)識(shí)的像素點(diǎn)；以及包含紅色值的像素點(diǎn)，即用R標(biāo)識(shí)的 像素點(diǎn)。采用Bayer型CFA濾波后得到的圖像中的包含綠色值的像素點(diǎn)的 數(shù)量分別是包含紅色值的像素點(diǎn)數(shù)量以及包含藍(lán)色值的像素點(diǎn)數(shù)量的兩倍。選擇好的插值方法是將經(jīng)過Bayer型CFA濾波后得到的圖像轉(zhuǎn)換為高 質(zhì)量彩色圖像的關(guān)鍵，對(duì)經(jīng)過Bayer型CFA濾波后得到的圖像進(jìn)行插值的方法有很多，常見的有鄰域插值法、線性插值法、立方巻積插值法以及基于 色差域的插值法。其中，領(lǐng)域插值法和線性插值法生成的彩色圖像比較模糊，但實(shí)現(xiàn)該插值方法的電路比較簡(jiǎn)單，適用于分辨率比較低的CMOS傳感器； 立方巻積插值法雖然得到的彩色圖像質(zhì)量較好，但電路實(shí)現(xiàn)復(fù)雜，很少采用； 基于色差域的插值法是線性插值法的演化，其考慮到了色差分量，所以得到 彩色圖像的效果比線性插值法要好，但得到彩色圖像的邊緣仍然不清晰，且 實(shí)現(xiàn)該插值方法的電路所耗資源較多。為了便于插值方法的敘述，將經(jīng)過Bayer.型CFA濾波后得到的圖像中 各像素點(diǎn)加標(biāo)號(hào)進(jìn)行區(qū)別，其中，Gb標(biāo)識(shí)包含一種綠色值的像素點(diǎn)，該種 像素點(diǎn)和用B標(biāo)識(shí)的包含藍(lán)色值的像素點(diǎn)在同一行中；Gr標(biāo)識(shí)包含另一種 綠色值的像素點(diǎn)，該種像素點(diǎn)和用R標(biāo)識(shí)的包含紅色值的像素點(diǎn)在同一行 中，如圖2所示。可以看出，每個(gè)需要插值的像素點(diǎn)周圍都有四個(gè)其缺失的 灰度值，以用Rll標(biāo)識(shí)的包含紅色值的像素點(diǎn)為例，其周圍有四個(gè)分別用 B00、 B02、 B20和B22標(biāo)識(shí)的包含藍(lán)色值的像素點(diǎn)，以及四個(gè)分別用GbOl、 Gb21、 GrlO和Grl2標(biāo)識(shí)的包含綠色值的像素點(diǎn)。以下以圖2為例分別介紹 這幾種插卩直方法。鄰域插值法采用圖2所示的圖像為例說明，任意分別取標(biāo)識(shí)為BOO的包含藍(lán)色值 的像素點(diǎn)以及標(biāo)識(shí)為GbOl的包含綠色值的像素點(diǎn)作為當(dāng)前標(biāo)識(shí)為Rll的包 含紅色值的像素點(diǎn)的藍(lán)色插值和綠色插值，得到一個(gè)含有包含紅色、綠色以 及藍(lán)色值的像素點(diǎn)。這就是領(lǐng)域插值法，該方法只是簡(jiǎn)單的采用兩個(gè)不同顏 色值的鄰域像素點(diǎn)進(jìn)行插值，所以實(shí)現(xiàn)簡(jiǎn)單，但丟失了處于進(jìn)行插值像素點(diǎn) 的邊緣位置的其他像素點(diǎn)的顏色值。線性插值法線性插值法是采用像素點(diǎn)的領(lǐng)域中同色分量的平均值作為該像素點(diǎn)的 顏色值分量插值，仍然采用圖2所示的圖像為例說明，以標(biāo)識(shí)為R11的包含 紅色值的像素點(diǎn)為例，所需插值的藍(lán)色值和綠色值設(shè)置為Bll和Gll,其中，Bll= (B00 + B02 + B20 + B22)/4， Gll= ( GbOl + Gb21 + GrlO + Grl2 )/4，將得到的Bll和Gil作為標(biāo)識(shí)為Rll的包含紅色值的像素點(diǎn)插值。經(jīng)過該 線性插值法進(jìn)行插值后，將圖2所示的圖像轉(zhuǎn)換為彩色圖像有很好的平滑作 用，但是，這種方法也會(huì)淡化處于進(jìn)行插值像素點(diǎn)的邊緣位置的像素點(diǎn)的顏 色值。立方巻積4#<直法立方巻積插值法是臨近像素點(diǎn)對(duì)要進(jìn)行插值的像素點(diǎn)進(jìn)行三次插值，不 將進(jìn)行插值的像素點(diǎn)的領(lǐng)域中同色分量的平均值作為該像素點(diǎn)的顏色值分 量插值，而是根據(jù)距離進(jìn)行插值的像素點(diǎn)遠(yuǎn)近乘上相應(yīng)的比例系數(shù)進(jìn)行三次 插值，這樣將圖2所示的圖形轉(zhuǎn)換為彩色圖像質(zhì)量較好，但是該插值算法相 對(duì)于鄰域插值法和線性插值法，計(jì)算量比較大，不適合實(shí)時(shí)傳輸?shù)膱D形處理 系統(tǒng)。另外，由于計(jì)算復(fù)雜，所以實(shí)現(xiàn)該插值方法的電路比較復(fù)雜且耗費(fèi)資 源比較多?；谏钣虻牟逯捣ㄔ摲椒ㄊ蔷€性插值法的演化，其仍然保留線性插值得到的平均值，但又 在平均值的基礎(chǔ)上增加了色差分量后再對(duì)像素點(diǎn)進(jìn)行插值，所以得到的彩色 圖像的效果要好，但是，這種方法仍然會(huì)淡化處于進(jìn)行插值像素點(diǎn)的邊緣位 置的像素點(diǎn)的顏色值，使得得到的彩色圖像的邊緣仍然不清晰，且由于在插 值前進(jìn)行了計(jì)算像素點(diǎn)的領(lǐng)域中同色分量的平均值以及增加色差分量的兩 個(gè)步驟，所以實(shí)現(xiàn)該插值方法的電路比較復(fù)雜且耗費(fèi)資源比較多。綜上，現(xiàn)有的對(duì)經(jīng)過Bayer型CFA濾波后得到的圖像進(jìn)行插值的方法 不是得到的彩色圖像邊緣不清晰，就是插值方法比較復(fù)雜，不易實(shí)現(xiàn)。發(fā)明內(nèi)容本發(fā)明提供一種在CMOS傳感器中對(duì)CFA進(jìn)行插值的方法，采用該方 法對(duì)經(jīng)過Bayer型CFA濾波后得到的圖像進(jìn)行插值，不僅得到的彩色圖像 邊緣清晰，而且比較簡(jiǎn)單，易于實(shí)現(xiàn)。本發(fā)明還提供一種在CMOS傳感器中對(duì)CFA進(jìn)行插值的電路，該電路 對(duì)經(jīng)過Bayer型CFA濾波后得到的圖像進(jìn)行插值，不僅得到的彩色圖像邊 緣清晰，而且比較簡(jiǎn)單，易于實(shí)現(xiàn)。根據(jù)上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的一種在互補(bǔ)金屬氧化物半導(dǎo)體CMOS傳感器中對(duì)顏色濾波陣列CFA進(jìn) 4亍插卩直的方法，該方法包括對(duì)在Bayer型CFA濾波后得到圖像中的像素點(diǎn)進(jìn)行綠色預(yù)插值，得到 像素點(diǎn)的綠色值； .對(duì)當(dāng)前進(jìn)行插值的像素點(diǎn)，在鄰域內(nèi)根據(jù)該像素點(diǎn)的綠色值和所需插值 顏色的像素點(diǎn)的綠色值的相關(guān)性，將確定最相關(guān)的所需插值顏色的像素點(diǎn)的 顏色值作為該像素點(diǎn)的插值顏色，進(jìn)行插值得到彩色像素點(diǎn)。所述對(duì)像素點(diǎn)進(jìn)行綠色預(yù)插值，得到像素點(diǎn)的綠色值為對(duì)包含藍(lán)色值或紅色值的像素點(diǎn)的鄰域內(nèi)的包含綠色值的像素點(diǎn)的綠 色值進(jìn)行平均，將平均值作為包含藍(lán)色值或紅色值的像素點(diǎn)的綠色值；將包含綠色值的像素點(diǎn)的綠色值作為該包含綠色值的像素點(diǎn)的插值。所述確定最相關(guān)的所需插值顏色的像素點(diǎn)的過程為將領(lǐng)域內(nèi)的各個(gè)所需插值顏色的像素點(diǎn)的綠色值分另']和該像素點(diǎn)的綠 色值進(jìn)行差值計(jì)算，將鄰域內(nèi)與該像素點(diǎn)差值最小的所需插值顏色的像素點(diǎn) 確定為最相關(guān)的所需插值顏色的像素點(diǎn)。所述將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的 插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包含藍(lán)色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含紅色值的像素點(diǎn)的綠色值進(jìn)行相關(guān)性判斷，得到與該像素點(diǎn) 的綠色值最接近的包含紅色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素將得到與該像素點(diǎn)的綠色值最接近的包含紅色值的像素點(diǎn)包含的紅色 值以及當(dāng)前進(jìn)行插值的像素點(diǎn)進(jìn)行綠色預(yù)插值計(jì)算得到的綠色值作為當(dāng)前進(jìn)行插值的像素點(diǎn)的插值顏色。所述將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包舍紅色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含藍(lán)色值的像素點(diǎn)的綠色值進(jìn)行相關(guān)性判斷，得到與該像素點(diǎn) 的綠色值最接近的包含藍(lán)色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素點(diǎn)；將得到與該像素點(diǎn)的綠色值最接近的包含藍(lán)色值的像素點(diǎn)包含的藍(lán)色 值以及當(dāng)前進(jìn)行插值的像素點(diǎn)進(jìn)行綠色預(yù)插值計(jì)算得到的綠色值作為當(dāng)前 進(jìn)行插值的像素點(diǎn)的插值顏色。所述將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包含綠色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含藍(lán)色值的像素點(diǎn)的綠色值以及包含紅色值的像素點(diǎn)的綠色 值分別進(jìn)行相關(guān)性判斷，分別得到與該像素點(diǎn)的綠色值最接近的包含紅色值的像素點(diǎn)以及包含藍(lán)色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素點(diǎn)；將得到與該像素點(diǎn)的綠色值最接近的包含紅色值的像素點(diǎn)和包含藍(lán)色 值的像素點(diǎn)分別包含的紅色值以及藍(lán)色值作為當(dāng)前進(jìn)行插值的像素點(diǎn)的插 值顏色。所述進(jìn)行綠色預(yù)插值的圖像為5像素點(diǎn)x 5像素點(diǎn)的圖像。 一種在CMOS傳感器中對(duì)CFA進(jìn)行插值的電路，該電路包括 緩沖器，用于暫存進(jìn)行插值的圖像；顏色判別模塊，用于提取緩沖器暫存圖像中的當(dāng)前進(jìn)行插值的像素點(diǎn)以 及鄰域的像素點(diǎn)，發(fā)送給綠色預(yù)插值模塊，將當(dāng)前進(jìn)行插值的像素點(diǎn)的顏色 值以及鄰域的像素點(diǎn)的顏色值發(fā)送給紅藍(lán)分量模塊；綠色預(yù)插值模塊，用于對(duì)當(dāng)前進(jìn)行插值的像素點(diǎn)以及鄰域像素點(diǎn)進(jìn)行綠 色預(yù)插值后，發(fā)送給相關(guān)性判別模塊；相關(guān)性判別模塊，用于根據(jù)進(jìn)行綠色預(yù)插值后的當(dāng)前進(jìn)行插值的像素點(diǎn) 以及鄰域像素點(diǎn)進(jìn)行相關(guān)性判別，得到當(dāng)前進(jìn)行插值的像素點(diǎn)最相關(guān)的所需插值顏色的像素點(diǎn)，將最相關(guān)的所需插值顏色的像素點(diǎn)發(fā)送給插值模塊；紅藍(lán)分量模塊，用于保存從顏色判別模塊得到的當(dāng)前進(jìn)行插值的像素點(diǎn) 的顏色值以及鄰域的像素點(diǎn)的顏色值，發(fā)送給插值沖莫塊；插值模塊，用于接收紅藍(lán)分量模塊發(fā)送的當(dāng)前進(jìn)行插值的像素點(diǎn)的顏色 值以及鄰域的像素點(diǎn)的顏色值，確定從相關(guān)性判別模塊得到的最相關(guān)的所需 插值顏色的像素點(diǎn)的顏色值，將確定的顏色值作為當(dāng)前像素點(diǎn)的顏色插值， 得到彩色的當(dāng)前像素點(diǎn)，輸出。所述電路還包括時(shí)間同步模塊，用于提取緩沖器暫存圖像中的場(chǎng)同步輸 入信號(hào)和行同步輸入信號(hào)，控制后，與插值模塊輸出經(jīng)過插值后的像素點(diǎn)同 時(shí)輸出場(chǎng)同步輸出信號(hào)和行同步輸出值，控制進(jìn)行插值的圖像的同步。所述進(jìn)行插值的圖像為5像素點(diǎn)x5像素點(diǎn)的圖像時(shí)，所述緩沖器包含 4個(gè)行緩沖模塊以及一個(gè)存儲(chǔ)當(dāng)前進(jìn)行插值的像素點(diǎn)的當(dāng)前像素點(diǎn)緩沖模 塊。從上述方案可以看出，本發(fā)明提供的方法及電路是采用相關(guān)性插值方 法，考慮到經(jīng)過Bayer型CFA濾波后得到的圖像中包含綠色值的像素點(diǎn)分 別是包含紅色值的像素點(diǎn)和包含藍(lán)色值的像素點(diǎn)的兩倍的事實(shí)，利用包含紅 色值的或包含藍(lán)色值的像素點(diǎn)的綠色域插值，以及所需插值顏色在領(lǐng)域內(nèi)的 綠色相關(guān)性確定當(dāng)前包含紅色值的或包含藍(lán)色值的像素點(diǎn)的顏色。由于本發(fā) 明提供的方法及電路不采用線性插值法計(jì)算平均值，只是將與進(jìn)行插值的像 素點(diǎn)最相關(guān)像素點(diǎn)的顏色值作為插值，相關(guān)性體現(xiàn)了進(jìn)行插值的像素點(diǎn)的邊 緣值，所以本發(fā)明提供的插值方法及電路較好的保留了進(jìn)行插值的像素點(diǎn)的 邊緣值，有很好的邊緣增強(qiáng)作用。另外，本發(fā)明提供的插值方法及電路實(shí)現(xiàn) 只進(jìn)行簡(jiǎn)單的相關(guān)性計(jì)算，所以計(jì)算簡(jiǎn)單，易于實(shí)現(xiàn)。


圖1為現(xiàn)有技術(shù)經(jīng)過Bayer型CFA濾波后得到的圖像示意圖；圖2為現(xiàn)有技術(shù)將經(jīng)過Bayer型CFA濾波后得到的圖像中各像素點(diǎn)加標(biāo)號(hào)進(jìn)行區(qū)別的示意圖；圖3為本發(fā)明提供的在CMOS傳感器中對(duì)CFA進(jìn)行插值的方法流程圖； 圖4為本發(fā)明提供的經(jīng)過Bayer型CFA濾波后得到的5像素點(diǎn)x 5像素點(diǎn)的圖像進(jìn)行插值的過程示意圖；圖5為實(shí)現(xiàn)本發(fā)明所提供插值方法的電路結(jié)構(gòu)圖。具體秀施方式為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下舉具體實(shí)施 例并參照附圖，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)的說明。本發(fā)明提供的方法在Bayer型CFA濾波后得到的圖像中，將包含綠色 值的像素點(diǎn)的顏色值作為參考值，根據(jù)參考值分別對(duì)包含紅色值的像素點(diǎn)或 包含藍(lán)色值的像素點(diǎn)進(jìn)行綠色預(yù)插值，得到所有像素點(diǎn)的綠色值，然后根據(jù) 當(dāng)前像素點(diǎn)在其領(lǐng)域內(nèi)的綠色相關(guān)性確定該像素點(diǎn)的顏色插值，即將其領(lǐng)域 內(nèi)最相關(guān)的像素點(diǎn)作為該像素點(diǎn)的缺失灰度的顏色插值。圖3為本發(fā)明提供的在CMOS傳感器中對(duì)CFA進(jìn)行插值的方法流程圖， 其具體步驟為步驟301、在Bayer型CFA濾波后得到的圖像中，將包含綠色值的像素 點(diǎn)的顏色值作為參考值。步驟302、在Bayer型CFA濾波后得到的圖像中，根據(jù)參考值分別對(duì)包 含紅色值的像素點(diǎn)或藍(lán)色值的像素點(diǎn)進(jìn)行綠色預(yù)插值，得到所有像素點(diǎn)的綠 色值。步驟303、對(duì)于當(dāng)前要進(jìn)行插值的像素點(diǎn)，在其鄰域內(nèi)根據(jù)其綠色值和 所需插值顏色值的像素點(diǎn)的綠色值的相關(guān)性，確定當(dāng)前要進(jìn)行插值的像素點(diǎn) 的顏色插值，采用該顏色插值對(duì)當(dāng)前要進(jìn)行插值的像素點(diǎn)進(jìn)行插值。在該步驟中，每個(gè)像素點(diǎn)根據(jù)其綠色預(yù)插值和其領(lǐng)域內(nèi)的所需插值顏色 值的像素點(diǎn)的綠色值的相關(guān)性，確定所需插值顏色的最相關(guān)的像素點(diǎn)，將最 相關(guān)像素點(diǎn)的顏色值作為該像素點(diǎn)的顏色插值。以下具體說明本發(fā)明提供的方法，圖4為本發(fā)明才是供的經(jīng)過Bayer型 CFA濾波后得到的5像素點(diǎn)x5像素點(diǎn)的圖像進(jìn)行插值的過程示意圖，在該 實(shí)施例中，假設(shè)每次只能對(duì)5像素點(diǎn)x 5像素點(diǎn)的圖像進(jìn)行插值。在圖4中， R用于標(biāo)識(shí)包含紅色值的像素點(diǎn)，Gr用于標(biāo)識(shí)與包含紅色值的像素點(diǎn)在同 一行的包含綠色值的像素點(diǎn)，Gb用于標(biāo)識(shí)與包含藍(lán)色值的像素點(diǎn)在同一行 的包含藍(lán)色值的像素點(diǎn)，各個(gè)像素點(diǎn)后緊跟著的數(shù)字代表該像素點(diǎn)在5像素 點(diǎn)x 5像素點(diǎn)的圖像中所處的位置。在該5像素點(diǎn)x 5像素點(diǎn)的圖像中，采用插值方法得到原包含藍(lán)色值的 像素點(diǎn)B22所缺少的紅色值和綠色值，分兩步進(jìn)行插值第一步驟，對(duì)^象素點(diǎn)B22以及其領(lǐng)域內(nèi)的像素點(diǎn)進(jìn)行綠色預(yù)插值，即 對(duì)像素點(diǎn)B22、像素點(diǎn)Rll、像素點(diǎn)Grl2、像素點(diǎn)R13、像素點(diǎn)Gb21、像 素點(diǎn)Gb23、像素點(diǎn)R31、像素點(diǎn)Gr32以及^象素點(diǎn)R33進(jìn)行綠色預(yù)插值。進(jìn) 行綠色預(yù)插值的方法為包含綠色值的像素點(diǎn)的綠色值值保留，包含紅色值 的像素點(diǎn)的綠色值為根據(jù)線性插值法對(duì)其上、下、左、右的包含綠色值的像 素點(diǎn)的綠色值求平均所得到的值。對(duì)像素點(diǎn)B22以及其領(lǐng)域內(nèi)的像素點(diǎn)進(jìn)行綠色預(yù)插值得到的綠色值分 別為Gll = ( Gb01 + GrlO + Gb21 + Grl2 ) /4 公式(1 )G12 = Grl2 公式(2)G13= ( Gb03 + Gb23 + Grl2 + Grl4 ) /4 公式(3 )G21 = Gb21 公式(4)G22= (Grl2 + Gr32 + Gb21 + Gb23) /4 公式(5 )G23 = Gb23 公式(6 )G31 = ( Gb21 + Gb41 + Gr30 + Gr32 ) /4 公式(7 )G31 = Gr32 公式(8)G33 = ( Gb23 + Gb43 + Gr32 + Gr34 ) /4 公式(9 )對(duì)像素點(diǎn)B22以及其領(lǐng)域內(nèi)的像素點(diǎn)進(jìn)行綠色預(yù)插值后原來的5 x 5的 圖像就變成了 3像素點(diǎn)x 3像素點(diǎn)的綠色預(yù)插值圖像，且保留像素點(diǎn)B22的 藍(lán)色值以及其鄰域內(nèi)的^象素點(diǎn)的紅色值。第二步驟，包含藍(lán)色值的像素點(diǎn)B22根據(jù)綠色預(yù)插值得到的G22，與其 鄰域內(nèi)的包含紅色值的像素點(diǎn)Rll、像素點(diǎn)R13、像素點(diǎn)R31以及像素點(diǎn) R33經(jīng).過綠色預(yù)插值得到的Gll、 G13、 G31以及G33的相關(guān)性找到最接近 的紅色值R22，將該值拷貝作為包含藍(lán)色值的像素點(diǎn)B22的紅色插值。 采用相關(guān)性找到最接近的紅色值R的公式為i 22 =臘，當(dāng)I G22 - Gl 11= min(| G22- Gl 11,| G22 -G13 |,| G22 -G311,| G22 - G33 |) 肌當(dāng)I G22 - G13 |= min(| G22 - Gl 11, | G22 - G13 |, | G22 - G311, | G22 - G33 |) 屈'當(dāng)I G22 _ G311= min(| G22 _ G111, | G22 - Gl3 |,| G22 - G311, | G22 - G33 |) i 33，當(dāng)I G22 — G33卜min(| G22 - Gl 1!, | G22 — G13 |, | G22 — G311， | G22 - G33 |)公式(10)從公式(10)可以看出，R22就是在鄰域內(nèi)分別計(jì)算包含紅色值的像素 點(diǎn)Rll、像素點(diǎn)R13、像素點(diǎn)R31以及像素點(diǎn)R33經(jīng)過綠色預(yù)插值得到的 Gll、 G13、 G31以及G33和像素點(diǎn)B22的綠色值G22的顏色差值，將可以 得到最小的顏色差值的鄰域內(nèi)的像素點(diǎn)的紅色值作為像素點(diǎn)B22的紅色插值。這樣，在3像素點(diǎn)x3像素點(diǎn)的圖像中，第二行第二列的單色灰度的像 素點(diǎn)B22就通過其保留的藍(lán)色值B22,計(jì)算得到的G22以及R22得到彩色 的像素點(diǎn)。以上實(shí)施例是采用對(duì)包含藍(lán)色值的像素點(diǎn)進(jìn)行插值的處理過程，采用相 應(yīng)的方法，也可以對(duì)包含紅色值的^象素點(diǎn)進(jìn)行插值。當(dāng)對(duì)包含綠色值的像素點(diǎn)進(jìn)行插值時(shí)，則需要計(jì)算其領(lǐng)域內(nèi)綠色值最相 關(guān)的包含紅色值的像素點(diǎn)以及綠色值最相關(guān)的包含藍(lán)色值的像素點(diǎn)，將該最 相關(guān)的包含紅色值的像素點(diǎn)的紅色值以及最相關(guān)點(diǎn)包含藍(lán)色值的像素點(diǎn)的藍(lán)色值分別作為該包含綠色值的像素點(diǎn)的紅色插值和藍(lán)色插值，然后對(duì)該像 素點(diǎn)進(jìn)行插值。按照這種方法，其他單色灰度的像素點(diǎn)也可以進(jìn)行相應(yīng)處理，得到缺失 的其他兩種灰度值，根據(jù)獲取的三種灰度值就可以按照現(xiàn)有技術(shù)將其他單色灰度的像素點(diǎn)恢復(fù)成彩色的像素點(diǎn)。這樣，整個(gè)5像素點(diǎn)x5像素點(diǎn)的圖像 就可以恢復(fù)成1像素點(diǎn)x 1像素點(diǎn)的彩色圖像，插值后的彩色圖像比原輸入 圖像減少了 4像素點(diǎn)x 4像素點(diǎn)的圖像。本發(fā)明的插值方也采用電路實(shí)現(xiàn)，在CMOS.傳感器中包括插值模塊，' 該插值模塊是CMOS傳感器的圖像信號(hào)處理器(ISP)的一部分，CMOS傳 感器采集到的圖像數(shù)據(jù)經(jīng)過ISP中的各個(gè)現(xiàn)有功能模塊進(jìn)行矯正、增益補(bǔ)償 以及去噪處理后，進(jìn)入插值模塊進(jìn)行插值，插值后的圖像就可以直接以RGB 形式顯示和存儲(chǔ)、或以YUV (YCbCr)顯示和存儲(chǔ)。在經(jīng)過ISP中的么斧正、 增益補(bǔ)償、去噪以及插值處理的過程中，圖像的輸入格式都包括場(chǎng)同步輸入 信號(hào)(vsync—in ),行同步輸入信號(hào)(hsync—in )以及輸入圖像數(shù)據(jù)(input_data )， 圖像數(shù)據(jù)的輸出格式包括場(chǎng)同步輸出信號(hào)(vsync—out)、行同步輸出信號(hào) (hsync—out)以及輸出圖像數(shù)據(jù)(out_data)。其中在輸出的場(chǎng)同步信號(hào)以 及行同步信號(hào)有效期內(nèi)的圖像是插值后的同步圖像。圖5為實(shí)現(xiàn)本發(fā)明插值方法的電路結(jié)構(gòu)圖，包括緩沖器、顏色判別模塊、 綠色預(yù)插值模塊、相關(guān)性判別模塊、紅藍(lán)分量模塊、以及插值模塊。其中，緩沖器，用于暫存需要進(jìn)行插值處理的圖像；顏色判別模塊，用于提取緩沖器暫存圖像中的當(dāng)前像素點(diǎn)以及其鄰域的 像素點(diǎn)，發(fā)送給綠色預(yù)插值模塊，將當(dāng)前像素點(diǎn)的顏色值以及其鄰域內(nèi)的像 素點(diǎn)的顏色值發(fā)送給紅藍(lán)分量模塊；綠色預(yù)插值模塊，用于對(duì)當(dāng)前像素點(diǎn)以及其鄰域像素點(diǎn)進(jìn)行綠色預(yù)插值 后，發(fā)送給相關(guān)性判別模塊；相關(guān)性判別模塊，用于根據(jù)進(jìn)行綠色預(yù)插值后的當(dāng)前像素點(diǎn)以及其鄰域 像素點(diǎn)進(jìn)行相關(guān)性判別，得到當(dāng)前像素點(diǎn)最相關(guān)的所需插值顏色的像素點(diǎn)，將最相關(guān)的所需插值顏色的像素點(diǎn)發(fā)送給插值模塊；紅藍(lán)分量模塊，用于保存從顏色判別模塊得到的當(dāng)前像素點(diǎn)的顏色值以 及其鄰域內(nèi)的像素點(diǎn)的顏色值，發(fā)送給插值模塊；插值模塊，用于接收紅藍(lán)分量模塊發(fā)送的當(dāng)前像素點(diǎn)的顏色值以及其鄰 域內(nèi)的像素點(diǎn)的顏色值，確定從相關(guān)性判別模塊得到的最相關(guān)的所需插值顏 色的像素點(diǎn)的顏色值，將確定的顏色值作為當(dāng)前像素點(diǎn)的顏色插值，得到彩 色的當(dāng)前像素點(diǎn)。在具體實(shí)現(xiàn)上，從緩沖器提取的圖像首先要通過顏色判別模塊做顏色判 別，確定當(dāng)前要插值的像素點(diǎn)為哪種顏色， 一旦當(dāng)前插值的像素點(diǎn)的顏色確 定，采用的公式就可以確定，這樣帶著顏色值的像素點(diǎn)在經(jīng)過綠色預(yù)插值模 塊插值出綠色，再經(jīng)過相關(guān)性比較確定最終要插值的像素點(diǎn)位置后，由插值 模塊進(jìn)行組合，得到最終的彩色像素點(diǎn)，并在相應(yīng)時(shí)刻送出行同步和場(chǎng)同步 信號(hào)。根據(jù)本發(fā)明提供的方法可以得知，3行輸入的像素點(diǎn)可以插值出l行具 有綠色值的像素點(diǎn)，三行綠色預(yù)插值后的像素點(diǎn)才可以得到l行含有紅色、 綠色和藍(lán)色值的像素點(diǎn)。因此，為了節(jié)省資源，本發(fā)明提供的電路并不保留 對(duì)像素點(diǎn)的預(yù)插值得到的綠色值，而是多保存2行像素點(diǎn)，這樣在緩沖器中 共需要4個(gè)行緩沖模塊(圖中表示為緩沖模塊0、緩沖模塊1、緩沖模塊2 和緩沖模塊3)來存儲(chǔ)像素點(diǎn)，再加上當(dāng)前像素點(diǎn)緩沖模塊存儲(chǔ)的當(dāng)前輸入 的像素點(diǎn)，構(gòu)成了一個(gè)5像素點(diǎn)x5像素點(diǎn)的圖像。將該圖像按照本發(fā)明提 供的方法進(jìn)行綠色預(yù)插值，可以同時(shí)插值出3像素點(diǎn)x3像素點(diǎn)的圖像，同 時(shí)保留3像素點(diǎn)x3像素點(diǎn)中的紅色值和藍(lán)色值，據(jù)此在進(jìn)行相關(guān)性判斷后 就可以得到最終的插值后插值出一個(gè)彩色像素點(diǎn)了 。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本 發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本 發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種在互補(bǔ)金屬氧化物半導(dǎo)體CMOS傳感器中對(duì)顏色濾波陣列CFA進(jìn)行插值的方法，其特征在于，該方法包括對(duì)在Bayer型CFA濾波后得到圖像中的像素點(diǎn)進(jìn)行綠色預(yù)插值，得到像素點(diǎn)的綠色值；對(duì)當(dāng)前進(jìn)行插值的像素點(diǎn)，在鄰域內(nèi)根據(jù)該像素點(diǎn)的綠色值和所需插值顏色的像素點(diǎn)的綠色值的相關(guān)性，將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色，進(jìn)行插值得到彩色像素點(diǎn)。
2、 如權(quán)利要求l所述的方法，其特征在于，所述對(duì)像素點(diǎn)進(jìn)行綠色預(yù) 插值，得到像素點(diǎn)的綠色值為對(duì)包含藍(lán)色值或紅色值的像素點(diǎn)的鄰域內(nèi)的包含綠色值的像素點(diǎn)的綠 色值進(jìn)行平均，將平均值作為包含藍(lán)色值或紅色值的像素點(diǎn)的綠色值； 將包含綠色值的像素點(diǎn)的綠色值作為該包含綠色值的像素點(diǎn)的插值。
3、 如權(quán)利要求1所述的方法，其特征在于，所述確定最相關(guān)的所需插 值顏色的像素點(diǎn)的過程為將領(lǐng)域內(nèi)的各個(gè)所需插值顏色的像素點(diǎn)的綠色值分別和該像素點(diǎn)的綠 色值進(jìn)行差值計(jì)算，將鄰域內(nèi)與該像素點(diǎn)差值最小的所需插值顏色的像素點(diǎn) 確定為最相關(guān)的所需插值顏色的像素點(diǎn)。
4、 如權(quán)利要求1所述的方法，其特征在于，所述將確定最相關(guān)的所需 插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包含藍(lán)色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含紅色值的像素點(diǎn)的綠色值進(jìn)行相關(guān)性判斷，得到與該像素點(diǎn) 的綠色值最接近的包含紅色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素 點(diǎn)；將得到與該像素點(diǎn)的綠色值最接近的包含紅色值的像素點(diǎn)包含的紅色 值以及當(dāng)前進(jìn)行插值的像素點(diǎn)進(jìn)行綠色預(yù)插值計(jì)算得到的綠色值作為當(dāng)前進(jìn)行插值的像素點(diǎn)的插值顏色。
5、 如權(quán)利要求1所述的方法，其特征在于，所述將確定最相關(guān)的所需 插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包含紅色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含藍(lán)色值的像素點(diǎn)的綠色值進(jìn)行相關(guān)性判斷，得到與該像素點(diǎn) 的綠色值最接近的包含藍(lán)色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素點(diǎn)；.將得到與該像素點(diǎn)的綠色值最接近的包含藍(lán)色值的像素點(diǎn)包含的藍(lán)色 值以及當(dāng)前進(jìn)行插值的像素點(diǎn)進(jìn)行綠色預(yù)插值計(jì)算得到的綠色值作為當(dāng)前 進(jìn)行插值的像素點(diǎn)的插值顏色。
6、 如權(quán)利要求1所述的方法，其特征在于，所述將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色的過程為當(dāng)前進(jìn)行插值的像素點(diǎn)為包含綠色值的像素點(diǎn)時(shí)，將該像素點(diǎn)的綠色值 和鄰域內(nèi)的包含藍(lán)色值的像素點(diǎn)的綠色值以及包含紅色值的像素點(diǎn)的綠色 值分別進(jìn)行相關(guān)性判斷，分別得到與該像素點(diǎn)的綠色值最接近的包含紅色值 的像素點(diǎn)以及包含藍(lán)色值的像素點(diǎn)作為最相關(guān)的所需插值顏色的像素點(diǎn)；將得到與該像素點(diǎn)的綠色值最接近的包含紅色值的像素點(diǎn)和包含藍(lán)色 值的像素點(diǎn)分別包含的紅色值以及藍(lán)色值作為當(dāng)前進(jìn)行插值的像素點(diǎn)的插 值顏色。
7、 如權(quán)利要求1~6中任意一項(xiàng)所述的權(quán)利要求，其特征在于，所述進(jìn) 行綠色預(yù)插值的圖像為5像素點(diǎn)x5像素點(diǎn)的圖像。
8、 一種在CMOS傳感器中對(duì)CFA進(jìn)行插值的電路，其特征在于，該 電路包括緩沖器，用于暫存進(jìn)行插值的圖像；顏色判別模塊，用于提取緩沖器暫存圖像中的當(dāng)前進(jìn)行插值的像素點(diǎn)以 及鄰域的像素點(diǎn)，發(fā)送給綠色預(yù)插值模塊，將當(dāng)前進(jìn)行插值的像素點(diǎn)的顏色 值以及鄰域的像素點(diǎn)的顏色值發(fā)送給紅藍(lán)分量模塊；綠色預(yù)插值模塊，用于對(duì)當(dāng)前進(jìn)行插值的像素點(diǎn)以及鄰域像素點(diǎn)進(jìn)行綠色預(yù)插值后，發(fā)送給相關(guān)性判別模塊；相關(guān)性判別模塊，用于根據(jù)進(jìn)行綠色預(yù)插值后的當(dāng)前進(jìn)行插值的像素點(diǎn) 以及鄰域像素點(diǎn)進(jìn)行相關(guān)性判別，得到當(dāng)前進(jìn)行插值的像素點(diǎn)最相關(guān)的所需 插值顏色的像素點(diǎn)，將最相關(guān)的所需插值顏色的像素點(diǎn)發(fā)送給插值模塊；紅藍(lán)分量模塊，用于保存從顏色判別模塊得到的當(dāng)前進(jìn)行插值的像素點(diǎn) 的顏色值以及鄰域的像素點(diǎn)的顏色值，發(fā)送給插值模塊；插值模塊，用于接收紅藍(lán)分量模塊發(fā)送的當(dāng)前進(jìn)行插值的像素點(diǎn)的顏色 值以及鄰域的像素點(diǎn)的顏色值，確定從相關(guān)性判別模塊得到的最相關(guān)的所需 插值顏色的像素點(diǎn)的顏色值，將確定的顏色值作為當(dāng)前像素點(diǎn)的顏色插值， 得到彩色的當(dāng)前像素點(diǎn)，輸出。
9、 如權(quán)利要求8所述的電路，其特征在于，所述電路還包括時(shí)間同步 模塊，用于提取緩沖器暫存圖像中的場(chǎng)同步輸入信號(hào)和行同步輸入信號(hào)，控 制后，與插值模塊輸出經(jīng)過插值后的像素點(diǎn)同時(shí)輸出場(chǎng)同步輸出信號(hào)和行同 步輸出值，控制進(jìn)行插值的圖像的同步。
10、 如權(quán)利要求8所述的電路，其特征在于，所迷進(jìn)行插值的圖像為5 像素點(diǎn)x5像素點(diǎn)的圖像時(shí)，所述緩沖器包含4個(gè)行緩沖模塊以及一個(gè)存儲(chǔ) 當(dāng)前進(jìn)行插值的像素點(diǎn)的當(dāng)前像素點(diǎn)緩沖模塊。
全文摘要
本發(fā)明公開了一種在CMOS傳感器中對(duì)CFA進(jìn)行插值的方法及電路，其中該方法包括對(duì)在Bayer型CFA濾波后得到圖像中的像素點(diǎn)進(jìn)行綠色預(yù)插值，得到像素點(diǎn)的綠色值；對(duì)當(dāng)前進(jìn)行插值的像素點(diǎn)，在鄰域內(nèi)根據(jù)該像素點(diǎn)的綠色值和所需插值顏色的像素點(diǎn)的綠色值的相關(guān)性，將確定最相關(guān)的所需插值顏色的像素點(diǎn)的顏色值作為該像素點(diǎn)的插值顏色，進(jìn)行插值得到彩色像素點(diǎn)。本發(fā)明提供的方法及電路不僅得到的彩色圖像邊緣清晰，而且比較簡(jiǎn)單，易于實(shí)現(xiàn)。
文檔編號(hào)H04N9/04GK101227621SQ20081006521
公開日2008年7月23日 申請(qǐng)日期2008年1月25日 優(yōu)先權(quán)日2008年1月25日
發(fā)明者王宏斌 申請(qǐng)人:炬力集成電路設(shè)計(jì)有限公司