亞像素級圖像偏移定位及疊加方法和裝置以及視頻設(shè)備的制作方法
【專利摘要】本發(fā)明公開了亞像素級圖像偏移定位及疊加方法，包括：步驟1，獲得一組視頻圖像Ik，k＝1，2，...，K，K是大于等于1的整數(shù)；步驟2，將第1幅圖像I1(m，n)作為參考圖像；步驟3，對于第2至第K幅圖像中的每一幅圖像Ik(1＜k≤K)，求出該幅圖像與第1幅圖像的形心偏移量，其中對于第k(2≤k≤K)幅圖像，與第1幅圖像的形心偏移量表示為步驟4，對第k(2≤k≤K)幅圖像Ik進(jìn)行亞像素級精度的反偏移操作，偏移量為得到偏移后的圖像步驟5，對所有反偏移后的圖像進(jìn)行求和取平均，獲得增強(qiáng)圖像IE，其中第1幅圖像的偏移量為0。利用本發(fā)明的方法，能夠得到高質(zhì)量的視頻圖像。
【專利說明】亞像素級圖像偏移定位及疊加方法和裝置以及視頻設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像及視頻數(shù)據(jù)處理領(lǐng)域，特別涉及一種亞像素級圖像偏移定位及疊加方法和裝置以及視頻設(shè)備。
【背景技術(shù)】
[0002]對于視頻數(shù)據(jù)來說，由于要求高速連續(xù)拍攝，因此每幀圖像的積分時(shí)間很短，大約在10~100毫秒之間。由此引起的一個(gè)后果是每幀圖像的噪聲比較大，信噪比比較低。另外，視頻攝像頭的圖像采集器件CCD(或CMOS)的讀出帶寬有限，為了保證足夠的幀頻率，每幀圖像的像素?cái)?shù)相對比較少，通常只有640x480像素，或者更少的320x200像素，圖像分辨率比較差，畫質(zhì)粗糙。
[0003]基于視頻數(shù)據(jù)的圖像增強(qiáng)技術(shù)的目標(biāo)在于從一段視頻中提取一幅噪聲低、分辨率好的清晰圖像。要實(shí)現(xiàn)這個(gè)目標(biāo)，精確計(jì)算兩幀圖像中目標(biāo)場景的位置差是一項(xiàng)關(guān)鍵技術(shù)。一旦位置差確定，就可以固定某一幀圖像，移動(dòng)其它幀圖像，使得所有幀中的目標(biāo)場景完全對齊，然后把對齊后的幀圖像疊加平均。因場景目標(biāo)的強(qiáng)度是相干的，而每幀圖像的背景噪聲是隨機(jī)不相干的，故疊加平均之后，場景強(qiáng)度不變，而背景噪聲降低了.Ζ?咅，其中N為幀數(shù)。也就是說，對準(zhǔn)、疊加平均之后的圖像的質(zhì)量得到顯著改善，即噪聲降低、對比度增強(qiáng)、清晰度提高。
[0004]在實(shí)際的攝像，尤其是手持式攝像過程中，攝像機(jī)的位置、指向是不斷變化著的。對于監(jiān)控?cái)z像頭來說，鏡頭位置、指向可能是固定不變的，但場景目標(biāo)往往是運(yùn)動(dòng)的。如果我們把每幀圖像直接疊加平均，得到的結(jié)果是模糊的，原因是場景目標(biāo)并沒有對齊。
[0005]如何精確對齊場景目標(biāo)？ 一種直接的方法是計(jì)算場景目標(biāo)的形心位置，稱為重心法。具體公式如下(細(xì)節(jié)可以參考論文“Zhai, C.et al.,2011, Micro-pixel accuracycentroid displacement estimation and detector calibration，Proc.R.Soc.A,467,3550-3569”):
【權(quán)利要求】
1.一種亞像素級圖像偏移定位及疊加方法，包括步驟: 步驟I，獲得一組視頻圖像Ik，k = 1,2,..., K, K是大于等于I的整數(shù)； 步驟2，將第I幅圖像I1On, η)作為參考圖像，其中m= 1，2，…，N和η = 1，2，…，N為圖像在X和Y方向的像素排列的序號(hào)； 步驟3，對于第2至第K幅圖像中的每一幅圖像Ik(l < k < K)，求出該幅圖像與第I幅圖像的形心偏移量，其中對于第k (2 ^k^K)幅圖像，其與第I幅圖像的形心偏移量表示為(<，Z); 步驟4，對第k(2 < k < K)幅圖像Ik進(jìn)行亞像素級精度的反偏移操作，偏移量為(-Xkc-ykc)，得到偏移后的圖像 k; 步驟5，對所有反偏移后的圖像I' k(l <k^K)進(jìn)行求和取平均，獲得增強(qiáng)圖像I1，其中第I幅圖像的偏移量為O。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟2之后進(jìn)一步包括: 步驟2’，對第I幅圖像I1On, η)進(jìn)行亞像素級精度的偏移，得到偏移后的參考圖像為/,'s'(/77,//,.v.j',)，偏移量為(Xc，yc)，其中 m = 1，2，...，N和 n = 1，2，...，Ν 為圖像在X和 Y方向的像素排列的序號(hào)，N為X或Y方向的像素?cái)?shù)目。
3.根據(jù)權(quán)利要 求2所述的方法，其特征在于，所述步驟2’進(jìn)一步包括步驟: 步驟21’，對I1 (m，η)進(jìn)行傅里葉變換，獲得其頻譜F1 (Kx, Ky)； 步驟22’，對頻譜F1 (Kx, Ky)乘以相移因子，獲得新的頻譜Fj (Kx, Ky, xc,yc)； 步驟23’，對頻譜F1sO^ Ky, xc, yc)作傅里葉反變換，得到偏移后的參考圖像If(HhfKXc^yc)，偏移量為(xc, yc), 其中kx = O，1，...，N-1和ky = O，1，...，N-1為頻譜在X和Y方向的波數(shù)，N為大于等于I的整數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟3中確定第I幅圖像I1與第k幅圖像Ik之間的形心偏移量進(jìn)一步包括: 步驟301，確定兩幅圖像I1On, η)和Ik(m，η)在X和Y方向偏移量的搜索范圍[xb，xe]和[yb，yJ，Xb為X方向的搜索起點(diǎn)，Xe為X方向的搜索終點(diǎn)，yb為Y方向的搜索起點(diǎn)，ye為Y方向的搜索終點(diǎn)； 步驟302，計(jì)算在X和Y方向要搜索的次數(shù)分別是Nx和Ny ；
步驟 303,計(jì)算 X 方向第 ii 步(ii = O, I,..., Nx), Y 方向第 jj 步(jj = O, I,...,Ny)搜索對應(yīng)的在X和Y方向的偏移量(xn，Yjj)； 步驟304，對于每次搜索，按照步驟2’獲取參考圖像I1On, η)偏移后的圖像I；"(IVJl^X11^X.): 步驟305,計(jì)算圖像和Ik (m, η)之間差的絕對值的總和SijUii, y」」): 步驟306，在所有的Su(Xii，yjj)中，找到數(shù)值最小的一個(gè)，該數(shù)對應(yīng)的偏移量, 就是兩幅圖像I1On, η)和Ik(m，η)之間的形心位置偏移量。
5.一種亞像素級圖像偏移定位及疊加裝置，該裝置包括: 視頻圖像獲取單元，用于獲得一組視頻圖像Ik，k = 1，2，...，K，K是大于等于I的整數(shù)； 偏移量確定單元，用于將第I幅圖像I1Oiun)作為參考圖像，對于第2至第K幅圖像中的每一幅圖像，求出該幅圖像與第I幅圖像的形心偏移量，其中對于第k (2 ^ K)幅圖像，與第I幅圖像的形心偏移量表示為(<，Y)，其中m= 1，2，...，N和η = 1，2，...，N為圖像在X和Y方向的像素排列的序號(hào)； 偏移單元，對第k(2 < k < K)幅圖像Ik進(jìn)行亞像素級精度的反偏移操作，偏移量為(-4，-ykc)，得到偏移后的圖像I k ; 增強(qiáng)圖像獲取單元，對所有反偏移后的圖像I k(l<k^ K)進(jìn)行求和取平均，獲得增強(qiáng)圖像I1，其中第I幅圖像的偏移量為O。
6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，偏移量確定單元進(jìn)一步用于:對第I幅圖像I1Oii, η)進(jìn)行亞像素級精度的偏移,得到偏移后的參考圖像為V1.,J,.)，偏移量為(Xc，y。)，其中m = 1，2，...，N和η = 1，2，...，N為圖像在X和Y方向的像素排列的序號(hào)，N為X或Y方向的像素?cái)?shù)目。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，偏移量確定單元進(jìn)一步用于:對I1On,η)進(jìn)行傅里葉變換，獲得其頻譜F1O^ Ky);對頻譜F1O^ Ky)乘以相移因子，獲得新的頻譜Fj (Kx, Ky, xc, yc);對頻譜F/ (Kx, Ky, xc, yc)作傅里葉反變換，得到偏移后的參考圖像/f (w,w,xc,_yc)，偏移量為(xc, yc)，其中 kx = O, I,..., N-1 和 ky = O, I,..., N-1 為頻譜在X和Y方向的波數(shù)，N為大于等于I的整數(shù)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，偏移量確定單元進(jìn)一步用于:確定兩幅圖像I1 (m, η)和Ik(m，η)在X和Y方向偏移量的搜索范圍[xb，xe]和[yb，y山xb為X方向的搜索起點(diǎn)，Xe為X方向的搜索終點(diǎn)，yb為Y方向的搜索起點(diǎn)，為Y方向的搜索終點(diǎn)；計(jì)算在X和Y方向要搜索的次數(shù)分別是隊(duì)和乂；計(jì)算X方向第ii步(ii = 0，1，...，NX)，Y方向第j j步(j j = O，1，...，Ny)搜索對應(yīng)的在X和Y方向的偏移量(xn，Yjj);對于每次搜索，按照步驟2，獲取參考圖像I1 (m，n)偏移后的圖像/f);計(jì)算圖像和Ik(m, η)之間差的絕對值的總和SijUii, Yjj);在所有的Sij(Xii，Yjj)中，找到數(shù)值最小的一AginO^in, 該數(shù)對應(yīng)的偏移量，/:n)就是兩幅圖像I1 (m，η)和Ik(m，η)之間的形心位置偏移量(xf，ykc)
9.一種視頻設(shè)備，其包括如權(quán)利要求5-8任一項(xiàng)所述的亞像素級圖像偏移定位及疊加裝置，該射頻設(shè)備還進(jìn)一步包括:(XD/CMOS攝像裝置，用于感知目標(biāo)圖像；視頻數(shù)據(jù)讀取裝置，用于讀取攝像裝置的圖像數(shù)據(jù)，并將讀取的圖像數(shù)據(jù)傳送到亞像素級圖像偏移定位及疊加裝置進(jìn)行處理；圖像在線顯示裝置，用于顯示亞像素級圖像偏移定位及疊加裝置在線生成的圖像結(jié)果；圖像離線顯示裝置，用于顯示亞像素級圖像偏移定位及疊加裝置離線生成的圖像結(jié)果。
【文檔編號(hào)】G06T5/50GK103905746SQ201210586651
【公開日】2014年7月2日 申請日期:2012年12月28日 優(yōu)先權(quán)日:2012年12月28日
【發(fā)明者】周建鋒, 蘇彥, 霍卓璽, 高揚(yáng), 馮真真, 張茂林 申請人:清華大學(xué)