專利名稱：實(shí)現(xiàn)二維離散余弦變換的cmos圖像傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及微電子學(xué)的集成電路設(shè)計領(lǐng)域和數(shù)字圖像編碼壓縮領(lǐng)域，尤其是開關(guān)電容放大電路、模擬累加器及二維離散余弦變換(Two-Dimensional Discrete Cosine Transform, 2D-DCT)，具體講，涉及實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器。
背景技術(shù)：
基于標(biāo)準(zhǔn)CMOS工藝的CMOS圖像傳感器(CMOS Image Sensor, CIS)以其可單片集成、低功耗、低成本、體積小、圖像信息可隨機(jī)讀取等特點(diǎn)，逐漸成為圖像和視頻采集的主流器件。傳統(tǒng)的基于CIS的視頻信號采集處理過程主要包括圖像采集、數(shù)據(jù)壓縮、數(shù)據(jù)傳輸和解壓縮四個部分，如圖I所示。但是，該過程自身存在著采集處理效率較低的問題前端CIS采集和處理了完整的圖像信息而消耗了大量的功耗和處理能力，其輸出數(shù)據(jù)包含的大量冗余信息又在數(shù)據(jù)壓縮過程中被舍棄，最終只有部分信息進(jìn)行存儲和傳輸，圖像采集和數(shù)據(jù)壓縮對冗余信息的操作實(shí)際上都在做無用功。
因此，由于圖像信號本身是可以壓縮的，CIS可以直接獲取其壓縮表示(即壓縮數(shù)據(jù))，如圖2所示。將圖像數(shù)據(jù)壓縮過程集成到CIS中，使圖像壓縮和傳感過程在保持低功耗設(shè)計的前提下互相融合，在圖像傳感器像素陣列及其處理電路中實(shí)現(xiàn)頻域冗余圖像數(shù)據(jù)的消除，通過直接輸出壓縮后的信號從源頭上降低冗余信息處理帶來的低效率。在圖像數(shù)據(jù)壓縮技術(shù)中，正交變換編碼(簡稱變換編碼)是最基本的編碼方式。變換編碼的基本思想是將在空間域描述的圖像信號，變換到另外的正交向量空間進(jìn)行描述， 如果所選的正交向量空間的基向量與圖像本身的特征向量很接近，那么同一信號在變換空間中的描述就會簡單很多。空間域內(nèi)的一個nXn個像素組成的像塊經(jīng)過正交變換后，在變換域變成了同樣大小的變換系數(shù)塊。變換前后的明顯差別是，空間域像塊中像素之間存在很強(qiáng)的相關(guān)性，能量分布比較均勻；經(jīng)過正交變換后，變換系數(shù)間相關(guān)性基本解除，近似是統(tǒng)計獨(dú)立的，并且能量主要集中在直流和少數(shù)低空間頻率的變換系數(shù)上。這樣一個解除相關(guān)的過程也就是冗余壓縮的過程。在多種正交變換方式中，K-L變換采用圖像本身的特征向量作為變換的基向量，因此與圖像的統(tǒng)計特性完全匹配，但K-L變換沒有快速算法，因此不宜用來進(jìn)行實(shí)時編碼。在其他正交變換方式中，當(dāng)以自然圖像位編碼對象時，與K-L變換性能最接近的是離散余弦變換(Discrete Cosine Transform,DCT)。DCT作為一種正交變換方式，由于具有很強(qiáng)的能量集中特性以及去相關(guān)性，廣泛地應(yīng)用到變換編碼壓縮中，已被目前的多種靜態(tài)和活動圖像編碼的國際標(biāo)準(zhǔn)所采用。2D-DCT能夠?qū)ΧS圖像信號進(jìn)行無損數(shù)據(jù)壓縮，去除圖像中的冗余數(shù)據(jù)，2D-DCT 實(shí)例如圖3所示。因此，實(shí)現(xiàn)2D-DCT的CMOS圖像傳感器研究為基于壓縮感知的高效CMOS 圖像傳感器奠定了基礎(chǔ)?，F(xiàn)如今，越來越多的圖像傳感器選擇以2D-DCT為基礎(chǔ)的變換編碼壓縮方式對圖像進(jìn)行壓縮處理，這就需要增加單獨(dú)的數(shù)字信號處理器(Digital Signal Processor, DSP)。DSP能夠增加信號處理的速度和精度，但是卻增加了圖像傳感器的功耗和芯片面積，嚴(yán)重制約了圖像傳感器在無線傳感、生物醫(yī)療等領(lǐng)域的應(yīng)用，這些領(lǐng)域需要獲取大量的圖像信息并及時對其進(jìn)行壓縮等處理，且不增加功耗和面積。因此，研究新型的可實(shí)現(xiàn)2D-DCT的CMOS圖像傳感器，使其做到不增加額外的功耗和面積，成為未來的研究熱點(diǎn)
發(fā)明內(nèi)容

本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，提供一種新型的可實(shí)現(xiàn)2D-DCT的CMOS圖像傳感器結(jié)構(gòu)，使2D-DCT在獲取圖像的同時完成，與傳統(tǒng)處理流程相比，在不降低圖像傳感質(zhì)量的基礎(chǔ)上，減少由于額外使用的2D-DCT模塊(如DSP或用于DCT變換的ASIC電路)引入的面積和功耗。為達(dá)到上述目的，本發(fā)明采取的技術(shù)方案是，一種實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、多路選擇器MUX、可編程增益放大器DPGA、模數(shù)轉(zhuǎn)換器ADC以及控制時序電路組成，還包括在讀出電路后增加與像素陣列同尺寸的開關(guān)電容陣列，用來存放經(jīng)過讀出電路相關(guān)雙采樣消除固定模式噪聲、復(fù)位噪聲后的圖像數(shù)據(jù)，供后續(xù)電路多次采樣使用；還設(shè)置有開關(guān)控制模塊3、寄存器I、開關(guān)控制模塊I、電容陣列，開關(guān)控制模塊I通過積分器輸出到開關(guān)控制模塊3，開關(guān)控制模塊3、寄存器I、開關(guān)控制模塊I、電容陣列與可編程增益放大器DPGA構(gòu)成模擬累加器；模數(shù)轉(zhuǎn)換器ADC內(nèi)增設(shè)有開關(guān)控制模塊2、寄存器2、電容通路、數(shù)字加法器；像素陣列第I行即m = O行像素通過讀出電路存放在開關(guān)電容陣列中，在控制時序電路的elk的控制下，通過多路選擇器MUX把存放在開關(guān)電容陣列中的圖像數(shù)據(jù)傳給模擬累加器，此時開關(guān)控制模塊3打開來自多路選擇器MUX輸入信號與電容陣列的通路，關(guān)斷積分器與電容陣列的通路，同時，通過寄存器I控制開關(guān)控制模塊I中的開關(guān)選擇對應(yīng)的電
容陣列中電容值，通過積分器完成m = O行的N個像素與V = 0，η = 0，1，2，......，N-I的
對應(yīng)列系數(shù)的相乘并累加，得出的行累加結(jié)果同時傳遞給M個模數(shù)轉(zhuǎn)換器ADC ；在每一個模數(shù)轉(zhuǎn)換器ADC進(jìn)行模數(shù)轉(zhuǎn)換之前完成行累加結(jié)果與各自行系數(shù)u = 0， I, 2-,M-l,m = O的相乘，具體是在控制時序電路的clkplus高電平的時候把m = O行的行累加結(jié)果通過開關(guān)控制模塊3再次傳遞給電容陣列，進(jìn)行電容復(fù)用，此時，開關(guān)控制模塊 3打開行累加結(jié)果與電容陣列的通路，關(guān)閉來自多路選擇器MUX輸入信號與電容陣列的通路，通過寄存器2控制開關(guān)控制模塊2，使得信號在進(jìn)入每一個模數(shù)轉(zhuǎn)換器ADC之前選擇各自行系數(shù)，u = 0，1，2···，Μ-1，πι = O對應(yīng)的電容通路，同時完成m = O行累加結(jié)果與M個行系數(shù)的乘法，得到m = O的M個行系數(shù)分量，這M個行系數(shù)分量同時進(jìn)行9bit模數(shù)轉(zhuǎn)換，第一位是符號位，把轉(zhuǎn)換完的M個行系數(shù)分量的數(shù)字碼在控制時序電路clkreg高電平時存入模數(shù)轉(zhuǎn)換器的ADC寄存器中，在控制時序電路clkadd高電平時傳遞給數(shù)字加法器，等待與后續(xù)結(jié)果相加；當(dāng)m = O的行累加結(jié)果傳遞給電容陣列進(jìn)行復(fù)用后，多路選擇器MUX繼續(xù)從讀出電路的開關(guān)電容陣列逐個采樣m= I行的各個像素并傳遞給模擬累加器進(jìn)行像素與列系數(shù)的相乘與累加，當(dāng)控制時序電路clkplus高電平的時候得到m = I的行累加結(jié)果，重復(fù)m=O行系數(shù)分量的求得過程求得m = I的行系數(shù)分量,當(dāng)clkadd為高電平時與m = O的行系數(shù)分量相加，重復(fù)上述過程，依次在控制時序電路clkadd為高電平時，在數(shù)字加法器中累加m= 2，3，…，M-I的行系數(shù)分量，當(dāng)累加完M個行系數(shù)分量時，列級ADC進(jìn)行數(shù)字輸出，同時得到u = 0,1,…，M-I, V = O的2D-DCT系數(shù)；當(dāng)多路選擇器MUX遍歷一次MXN的像素陣列后,得到u = 0,1, *··,Μ-1, V = O的 2D-DCT系數(shù)，MUX再次依次遍歷N-I次MXN的像素陣列，得出全部2D-DCT系數(shù)。像素陣列采用4Τ-ΡΗ)像素結(jié)構(gòu)，以及滾筒曝光方式；讀出電路采用開關(guān)電容放大電路，并且采用單端的結(jié)構(gòu)，進(jìn)行相關(guān)雙采樣。像素陣列分成8X8的矩陣塊，即M = N = 8。本發(fā)明的技術(shù)特點(diǎn)及效果本次發(fā)明通過增添開關(guān)電容陣列存儲經(jīng)過相關(guān)雙采樣的信號，有效的提高了信噪 t匕，并且像素陣列中取消存儲單元，減少了噪聲對其的干擾，利用了 2D-DCT可分離的原理， 應(yīng)用混合信號處理模式在模擬域用累加器完成列變換，再通過電容復(fù)用、列級單斜ADC完成行變換，通過電容復(fù)用減少了芯片面積，提高了信噪比，利用行并行方式同時得到8個 DCT系數(shù)，縮短了計算時間，減少了數(shù)字電路部分，降低了功耗。輸出數(shù)據(jù)可以滿足任何量化編碼需要，提高了圖像傳感器效率，適用于無線傳感、視頻監(jiān)控、生物醫(yī)療等領(lǐng)域。


圖I圖像信號采集處理流程圖。圖2基于壓縮感知的圖像信號采集處理流程圖。(a)空間域8X8像塊，(b)經(jīng)過 2D-DCT變換后的8X8矩陣。
圖3 2D-DCT 舉例。圖4傳統(tǒng)CIS架構(gòu)。圖5 4T-PH)像素結(jié)構(gòu)示意6新型結(jié)構(gòu)框圖。圖具體實(shí)施方式
示意圖。圖中C8與C4為等值電容。圖8列級單斜ADC結(jié)構(gòu)框圖。圖9結(jié)構(gòu)時序分析圖。
具體實(shí)施例方式傳統(tǒng)的CMOS圖像傳感器陣列架構(gòu)包括用于接受光信號并使之轉(zhuǎn)化成電壓信號的像素陣列、用于放大電壓信號并且進(jìn)行相關(guān)雙采樣(CDS)消除固定模式噪聲(FPN)以及復(fù)位噪聲的讀出電路、用于選擇具體像素值進(jìn)行后續(xù)放大的多路選擇器(MUX)、用于放大像素值對應(yīng)的電壓信號進(jìn)行模數(shù)轉(zhuǎn)換的可編程增益放大器(DPGA)、用于將電壓值轉(zhuǎn)成數(shù)字信號進(jìn)行后續(xù)數(shù)字圖像處理的模數(shù)轉(zhuǎn)換器(ADC)以及外圍的控制時序電路。本次發(fā)明將在傳統(tǒng)CMOS圖像傳感器架構(gòu)中進(jìn)行改進(jìn)用混合信號處理的方法實(shí)現(xiàn)2D-DCT。設(shè){X(m，n)|m = 0,1, ... ,M-I ；n = 0,1, , N_l}為二維圖像信號數(shù)據(jù)矩陣，其
二維離散余弦變換正變換定義為
權(quán)利要求
1.一種實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、多路選擇器MUX、可編程增益放大器DPGA、模數(shù)轉(zhuǎn)換器ADC以及控制時序電路組成，其特征是 在讀出電路后增加與像素陣列同尺寸的開關(guān)電容陣列，用來存放經(jīng)過讀出電路相關(guān)雙采樣消除固定模式噪聲、復(fù)位噪聲后的圖像數(shù)據(jù)，供后續(xù)電路多次采樣使用； 還設(shè)置有開關(guān)控制模塊3、寄存器I、開關(guān)控制模塊I、電容陣列，開關(guān)控制模塊I通過積分器輸出到開關(guān)控制模塊3，開關(guān)控制模塊3、寄存器I、開關(guān)控制模塊I、電容陣列與可編程增益放大器DPGA構(gòu)成模擬累加器； 模數(shù)轉(zhuǎn)換器ADC內(nèi)增設(shè)有開關(guān)控制模塊2、寄存器2、電容通路、數(shù)字加法器； 像素陣列第I行即m = 0行像素通過讀出電路存放在開關(guān)電容陣列中，在控制時序電路的elk的控制下，通過多路選擇器MUX把存放在開關(guān)電容陣列中的圖像數(shù)據(jù)傳給模擬累加器，此時開關(guān)控制模塊3打開來自多路選擇器MUX輸入信號與電容陣列的通路，關(guān)斷積分器與電容陣列的通路，同時，通過寄存器I控制開關(guān)控制模塊I中的開關(guān)選擇對應(yīng)的電容陣列中電容值，通過積分器完成m = 0行的N個像素與V = 0，n = 0，1，2，……，N-I的對應(yīng)列系數(shù)的相乘并累加，得出的行累加結(jié)果同時傳遞給M個模數(shù)轉(zhuǎn)換器ADC ; 在每一個模數(shù)轉(zhuǎn)換器ADC進(jìn)行模數(shù)轉(zhuǎn)換之前完成行累加結(jié)果與各自行系數(shù)u = 0,1,2…，M-I, m = 0的相乘，具體是在控制時序電路的clkplus高電平的時候把m = 0行的行累加結(jié)果通過開關(guān)控制模塊3再次傳遞給電容陣列，進(jìn)行電容復(fù)用，此時，開關(guān)控制模塊3打開行累加結(jié)果與電容陣列的通路，關(guān)閉來自多路選擇器MUX輸入信號與電容陣列的通路，通過寄存器2控制開關(guān)控制模塊2，使得信號在進(jìn)入每一個模數(shù)轉(zhuǎn)換器ADC之前選擇各自行系數(shù)，u = 0，1，2-^_1，111 = 0對應(yīng)的電容通路，同時完成111 = 0行累加結(jié)果與1個行系數(shù)的乘法，得到m = 0的M個行系數(shù)分量，這M個行系數(shù)分量同時進(jìn)行9bit模數(shù)轉(zhuǎn)換，第一位是符號位，把轉(zhuǎn)換完的M個行系數(shù)分量的數(shù)字碼在控制時序電路clkreg高電平時存入模數(shù)轉(zhuǎn)換器的ADC寄存器中，在控制時序電路clkadd高電平時傳遞給數(shù)字加法器，等待與后續(xù)結(jié)果相加； 當(dāng)m = 0的行累加結(jié)果傳遞給電容陣列進(jìn)行復(fù)用后，多路選擇器MUX繼續(xù)從讀出電路的開關(guān)電容陣列逐個采樣m = I行的各個像素并傳遞給模擬累加器進(jìn)行像素與列系數(shù)的相乘與累加，當(dāng)控制時序電路clkplus高電平的時候得到m = I的行累加結(jié)果，重復(fù)m = 0行系數(shù)分量的求得過程求得m = I的行系數(shù)分量，當(dāng)clkadd為高電平時與m = 0的行系數(shù)分量相加，重復(fù)上述過程，依次在控制時序電路clkadd為高電平時，在數(shù)字加法器中累加m =2,3,…，M-I的行系數(shù)分量，當(dāng)累加完M個行系數(shù)分量時，列級ADC進(jìn)行數(shù)字輸出，同時得到 u = 0,1,…，M-I, V = 0 的 2D-DCT 系數(shù)； 當(dāng)多路選擇器MUX遍歷一次MXN的像素陣列后，得到u = 0，1，…，M-l，V = 0的2D-DCT系數(shù)，MUX再次依次遍歷N-I次MXN的像素陣列，得出全部2D-DCT系數(shù)。
2.如權(quán)利要求I所述的實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器，其特征是，像素陣列采用4T-PH)像素結(jié)構(gòu)，以及滾筒曝光方式；讀出電路采用開關(guān)電容放大電路，并且采用單端的結(jié)構(gòu)，進(jìn)行相關(guān)雙采樣。
3.如權(quán)利要求I所述的實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器，其特征是，像素陣列分成8X8的矩陣塊，即M = N = 8。
全文摘要
本發(fā)明涉及微電子學(xué)的集成電路設(shè)計領(lǐng)域和數(shù)字圖像編碼壓縮領(lǐng)域。為提供一種新型的可實(shí)現(xiàn)2D-DCT的CMOS圖像傳感器結(jié)構(gòu)，使2D-DCT在獲取圖像的同時完成，與傳統(tǒng)處理流程相比，在不降低圖像傳感質(zhì)量的基礎(chǔ)上，減少由于額外使用的2D-DCT模塊引入的面積和功耗，本發(fā)明采取的技術(shù)方案是，一種實(shí)現(xiàn)二維離散余弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、開關(guān)電容陣列、多路選擇器MUX、可編程增益放大器DPGA、模數(shù)轉(zhuǎn)換器ADC以及控制時序電路組成，還包括開關(guān)電容陣列，模擬累加器；模數(shù)轉(zhuǎn)換器ADC內(nèi)增設(shè)有開關(guān)控制模塊2、寄存器2、電容通路、數(shù)字加法器。本發(fā)明主要應(yīng)用于圖像傳感器編碼壓縮。
文檔編號H04N5/341GK102710906SQ20121010988
公開日2012年10月3日 申請日期2012年4月16日 優(yōu)先權(quán)日2012年4月16日
發(fā)明者史再峰, 姚素英, 徐江濤, 李毅強(qiáng), 李淵清, 王龍菲, 高靜 申請人:天津大學(xué)