超分辨率智能圖像傳感器芯片的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是基于超分辨率智能算法的圖像傳感器芯片，主要適用于監(jiān)控，醫(yī)療等智能硬件應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002]圖像傳感器是將一種新型的將光學(xué)圖像轉(zhuǎn)換成電信號的電子成像器件，主要應(yīng)用包括手機，照相機，攝像機，監(jiān)控和生物醫(yī)學(xué)等各個領(lǐng)域。目前，市場上主要有兩種類型的傳感器，電荷耦合器件(CXD)和互補金屬氧化物半導(dǎo)體的(CMOS)有源像素傳感器。由于CMOS圖像傳感器是可以通過生產(chǎn)電腦和計算機的大規(guī)模集成電路CMOS工藝來制造，具有成本低，體積小，高速，低功耗和易于集成的優(yōu)點，因此迅速占領(lǐng)了電子成像器件的市場并得到了突飛猛進的發(fā)展。
[0003]目前圖像傳感器產(chǎn)品的主要發(fā)展方向是通過增加圖像分辨率以提高圖像的質(zhì)量，通常工業(yè)界的解決方案是通過減少像素尺寸(I微米)不斷增加傳感器的像素數(shù)目(1500萬)，但減少像素尺寸(即感光面積)就會影響到圖像的質(zhì)量。對于任何一種特定的生產(chǎn)工藝和像素結(jié)構(gòu)，縮小像素尺寸將影響像素性能，包括限制感光動態(tài)范圍，降低填充因子，減弱光敏感性，增大暗電流噪聲，以及影響成像非均勻性等。為了克服由于減少圖像傳感器尺寸對成像性能的影響，工業(yè)界通過生產(chǎn)工藝的創(chuàng)新與改進，包括背部照明技術(shù)，微透鏡集成，Pin光電二極管，雙柵極氧化物，圖像讀取電路設(shè)計優(yōu)化等方法不斷提高圖像傳感器性能，然而這些技術(shù)革新通常需要巨額(高達數(shù)十億美元)研發(fā)投入，而且由于物理極限約束，像素工藝改良并不能無限制提高像素的性能。有些還可以通過控制圖像傳感器的運行(如延長像素曝光時間)來補償感光性能的降低，但長曝光時間積累的暗電流會嚴重影響圖像質(zhì)量，而且成像的速度也將受影響。
[0004]另外一種成本低廉的可行性解決方案是通過圖像處理軟件優(yōu)化圖像質(zhì)量，即維持像素的現(xiàn)有尺寸以保證良好的感光性能，同時通過多幀的超分辨率算法可以從系統(tǒng)的角度提高圖像的分辨率。該算法的基本原理是利用疊加幾幀圖像的時間信息，克服空間像素大小限制，從而改善圖像的空間信息(即增大分辨率)。但是目前常用的方式是在芯片外部用FPGA進行超分辨率算法的運算，由于受到芯片之間數(shù)據(jù)傳輸速度和數(shù)據(jù)量的限制，因此在智能高速圖像傳感器應(yīng)用中受到極大的限制。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的一個目的是解決至少上述問題和/或缺陷，并提供至少后面將說明的優(yōu)點。
[0006]本發(fā)明還有一個目的是提供一種超分辨率智能圖像傳感器芯片，其傳感器具有較大的像素尺寸，而且通過硬件實現(xiàn)雙線性插值算法，因而具有高速和高靈敏度，也具有超分辨率。
[0007]為了實現(xiàn)根據(jù)本發(fā)明的這些目的和其它優(yōu)點，提供了一種超分辨率智能圖像傳感器芯片，其包括一個單幀超分辨率數(shù)字圖像處理模塊，所述單幀超分辨率數(shù)字圖像處理模塊通過雙線性插值法將緩存在其中的低分辨率圖像的圖像數(shù)據(jù)小陣列Na,b擴展為圖像數(shù)據(jù)大陣列Npa,pb，以獲得超分辨率圖像，擴展的具體方法為:
[0008]對所述低分辨率圖像的圖像數(shù)據(jù)小陣列中的任一個數(shù)據(jù)Ni, P根據(jù)其緊鄰數(shù)據(jù)Ni,J+1、Ni+1, N i+1, w，多次使用雙線性插值法均勻插入另外pp-1個數(shù)據(jù)，將Ni, 展成一個pXp陣列，并輸出，依次擴展所述低分辨率圖像的圖像數(shù)據(jù)小陣列中的所有數(shù)據(jù)，并輸出，得到所述圖像數(shù)據(jù)大陣列Npa,pb;
[0009]其中，a、b、i和j均為正整數(shù)，P為大于I的正整數(shù)。
[0010]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，對于Na,b中只有一個緊鄰數(shù)據(jù)的數(shù)據(jù)，擴展的具體方法為:首先，在該緊鄰數(shù)據(jù)所在的方向進行插值，其次，其余的插入數(shù)據(jù)均重復(fù)該方向的數(shù)據(jù)，以擴展成一個PXp陣列，并輸出。
[0011]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，對于Na, b中沒有緊鄰數(shù)據(jù)的數(shù)據(jù)，擴展的具體方法為:所有的插入數(shù)據(jù)均重復(fù)該數(shù)據(jù)，以擴展成一個pXp陣列，并輸出。
[0012]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，還包括:
[0013]傳感器陣列，其感光后將光信號轉(zhuǎn)換為電信號，獲得低分辨率圖像的電信號；
[0014]多個列讀出電路，其分別與所述傳感器陣列的一列對應(yīng)，每個列讀出電路分別用于讀取每列傳感器產(chǎn)生的電信號；
[0015]多個放大器，其分別與所述多個列讀出電路的一個對應(yīng)，用于將相應(yīng)列的讀出電路讀取的電信號進行放大處理；
[0016]多個模數(shù)轉(zhuǎn)換模塊，其分別與所述多個放大器的一個對應(yīng)，用于將經(jīng)相應(yīng)放大器放大的電信號轉(zhuǎn)換為數(shù)字信號，獲得低分辨率圖像的圖像數(shù)據(jù)小陣列。
[0017]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，還包括:
[0018]多個列存儲器，其分別與所述多個模數(shù)轉(zhuǎn)換模塊的一個對應(yīng)，用于存儲經(jīng)模數(shù)轉(zhuǎn)換模塊轉(zhuǎn)換得到的相應(yīng)列的數(shù)字信號；
[0019]多個列譯碼器，其分別與所述多個列存儲器的一個對應(yīng)，用于讀出所述列存儲器存儲的相應(yīng)列的數(shù)字信號，并輸出至所述單幀超分辨率數(shù)字圖像處理模塊。
[0020]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，所述傳感器為CMOS圖像傳感器。
[0021]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，放大器的增益可以在一倍、二倍和四倍間調(diào)整。
[0022]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，所述模數(shù)轉(zhuǎn)換模塊包括:
[0023]10位單斜模數(shù)轉(zhuǎn)換器，其進行模數(shù)轉(zhuǎn)換；
[0024]雙向計數(shù)器，其與所述10位單斜模數(shù)轉(zhuǎn)換器相連，所述雙向計數(shù)器在數(shù)字域進行了相關(guān)雙采樣。
[0025]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，所述傳感器陣列中，每個傳感器的像素尺寸均為10 μ m，所述傳感器陣列為128X128陣列。
[0026]優(yōu)選的是，所述的超分辨率智能圖像傳感器芯片，P的值為4。
[0027]本發(fā)明至少包括以下有益效果:
[0028]本發(fā)明新穎的列并行單幀超分辨率CMOS圖像傳感器的設(shè)計，在芯片內(nèi)部實現(xiàn)了快速超分辨率的算法，優(yōu)勢是既實現(xiàn)高速，高靈敏度的圖像傳感器設(shè)計，同時又保證較好的空間分辨率。一方面?zhèn)鞲衅鞯南袼匚锢沓叽绫容^大，可以達到高靈敏度感光性能和高速讀取，而芯片內(nèi)部用硬件實現(xiàn)的單幀超分辨率算法可以進一步改善圖像的空間分辨率，而且只需要較小的存儲器和很少的計算資源，因而本發(fā)明兼具高速和超分辨率兩大優(yōu)點，完全滿足監(jiān)控、醫(yī)療等領(lǐng)域的應(yīng)用。
[0029]本發(fā)明的其它優(yōu)點、目標和特征將部分通過下面的說明體現(xiàn)，部分還將通過對本發(fā)明的研宄和實踐而為本領(lǐng)域的技術(shù)人員所理解。
【附圖說明】
[0030]圖1為本發(fā)明的一個實施例中對低分辨率圖像的圖像數(shù)據(jù)小陣列Na,b進行雙線性插值的示意圖。
【具體實施方式】
[0031]下面結(jié)合附圖對本發(fā)明做進一步的詳細說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實施。
[0032]一種超分辨率智能圖像傳感器芯片，其包括一個單幀超分辨率數(shù)字圖像處理模塊，所述單幀超分辨率數(shù)字圖像處理模塊通過雙線性插值法將緩存在其中的低分辨率圖像的圖像數(shù)據(jù)小陣列Na,b擴展為圖像數(shù)據(jù)大陣列Npa,pb，以獲得超分辨率圖像，擴展的具體方法為:
[0033]對所述低分辨率圖像的圖像數(shù)據(jù)小陣列中的任一個數(shù)據(jù)Ni,」，根據(jù)其緊鄰數(shù)據(jù)Ni,J+1、Ni+1, N i+1, w，多次使用雙線性插值法均勻插入另外pp-1個數(shù)據(jù)，將Ni, 展成一個pXp陣列，并輸出，依次擴展所述低分辨率圖像的圖像數(shù)據(jù)小陣列中的所有數(shù)據(jù)，并輸出，得到所述圖像數(shù)據(jù)大陣列Npa,pb;
[0034]其中，a、b、i和j均為正整數(shù)，P為大于I的正整數(shù)。
[0035]在上述技術(shù)方案中，用單幀超分辨率數(shù)字圖像處理模塊通過硬件實現(xiàn)的方法將低分辨率圖像的圖像數(shù)據(jù)小陣列Na,b進行雙線性插值，獲得圖像數(shù)據(jù)大陣列Npa,pb，即將小陣列擴大P倍，從而得到超分辨率圖像。在這里，本領(lǐng)域技術(shù)人員很容易獲得低分辨率圖像的圖像數(shù)據(jù)，小陣列即低分辨率圖像上所有的像素點處的數(shù)據(jù)組成的一個小陣列。對于小陣列中的任意一個點Ni,」，其緊鄰數(shù)據(jù)為Ni, j+1、Ni+1,」和N i+1, j+1，即Ni,」所在行的下一列數(shù)據(jù)、N i,」所在列的下一行數(shù)據(jù)和Ni, ^下一行的下一列數(shù)據(jù)。由于pp-1個數(shù)據(jù)是均勻插入N i, ^周圍的，因而在大陣列中所有相鄰數(shù)據(jù)的間距是相等的，在這里以行所在的方向為X方向，列所在的方向為y方向，然后設(shè)定一個原點的話，就很容易知道PP-1個數(shù)據(jù)的坐標，然后根據(jù)公式:
[0036]f (X，y) = Nijj+ (Ni+1, J-Nijj.) x+ (Nijjtl-Nijj) y+ (Ni+1,」+1+隊,廠Ni+1,廠Ni, J+1) xy
[0037]獲得所有pp-1個數(shù)據(jù)的值f (x，y)。這pp-1個數(shù)據(jù)與Ni,」一起組成一個pXp陣列，并輸出，用這種方法將小陣列上的所有數(shù)據(jù)均擴展成一個pXp陣列，所有的pXp陣列即組成大陣列Npa,pb。由于Npa,_單位面積的數(shù)據(jù)點更多，這就提高了圖像的分辨率，獲得了超分辨率圖像。整個處理模塊僅僅需要一個處理核心和兩個數(shù)據(jù)緩存來存儲處理前后的像素數(shù)據(jù)，因此它可以很方便的在ASIC芯片上實現(xiàn)。很容易理解的是，可以根據(jù)實際需要來選定a、b和p的值。比較常見的應(yīng)用是適當減小a和b的值，而增大P的值，這就使單位面積上的傳感器較少，傳感器的像素尺寸大，可以達到高靈敏度感光性能和高速讀取，然后通過雙線性插值法來實現(xiàn)圖像的超分辨率，從而達到高速和超分辨率兼得的效