專利名稱：一種3d數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻圖像處理領(lǐng)域，具體來(lái)說(shuō)，涉及一種3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案，主要應(yīng)用于3D數(shù)字視頻圖像處理、傳輸、顯示中需要降噪的場(chǎng)合，特別是需要實(shí)時(shí)降噪的場(chǎng)合。
背景技術(shù)：
近年來(lái)，3D數(shù)字視頻圖像在越來(lái)越多的領(lǐng)域中得到了廣泛的應(yīng)用，例如多媒體服務(wù)、視頻電話、視頻廣播、視頻跟蹤等。在3D數(shù)字視頻圖像的獲取、壓縮、傳遞、接收等環(huán)節(jié)中，都不可避免地引入噪聲。如果這些噪聲不加以有效地濾除，不但會(huì)影響到視頻圖像的視覺效果，而且會(huì)給后續(xù)處理環(huán)節(jié)(例如壓縮編碼等)帶來(lái)不利的影響。因此，研究有效的降低3D數(shù)字視頻圖像中的噪聲方案是十分必要的。通常情況下，3D數(shù)字視頻圖像中的噪聲被認(rèn)為是與圖像獨(dú)立的高斯白噪聲，其特點(diǎn)是各幀圖像的噪聲是相互獨(dú)立的，而每一幀圖像的噪聲是隨機(jī)出現(xiàn)的，且服從均值為零的高斯分布。相反地，3D視頻圖像中每一幀的內(nèi)容是高度相關(guān)的，在時(shí)域中沿著物體運(yùn)動(dòng)軌跡方向是一致的，每幀之間沒有變化。因此，可以利用圖像內(nèi)容的相關(guān)性和噪聲的不相關(guān)性設(shè)計(jì)降噪方案，從含有噪聲的圖像中盡可能恢復(fù)得到原始圖像。目前，3D數(shù)字視頻圖像的降噪方案可以分為下面幾類第一類是空域降噪，其僅利用每一幀圖像對(duì)視頻圖像做降噪處理；第二類是時(shí)域降噪，其僅利用圖像的運(yùn)動(dòng)補(bǔ)償對(duì)視頻圖像做降噪處理；第三類是時(shí)-空域降噪，即通常所說(shuō)的3D降噪，同時(shí)在空域和時(shí)域?qū)σ曨l圖像做降噪處理?？沼蚪翟牒蜁r(shí)域降噪操作相對(duì)簡(jiǎn)單，但是容易出現(xiàn)邊緣質(zhì)量差、塊效應(yīng)等問(wèn)題。3D降噪結(jié)合了二者的優(yōu)勢(shì)，充分利用了 3D數(shù)字視頻圖像的信息，因而得到了越來(lái)越多的關(guān)注?，F(xiàn)行的專利提出了一些3D降噪方案，如HR濾波形式的補(bǔ)償濾波方案、線性卡爾曼濾波(或者擴(kuò)展卡爾曼濾波)形式的遞歸濾波方案。這些方案主要存在計(jì)算量和存儲(chǔ)量過(guò)大的問(wèn)題。為了得到較好的濾波參數(shù)，往往需要很多的參考幀(需要當(dāng)前幀的前P幀和后P幀)。這一方面需要較大的存儲(chǔ)資源開銷，另一方面使得降噪運(yùn)算過(guò)慢，從而不適合實(shí)時(shí)視頻圖像降噪。此外，這些濾波算法會(huì)造成濾波中的誤差積累和放大，從而最終影響濾波算法的性能。根據(jù)以上分析可以看出，如何利用3D數(shù)字視頻圖像在時(shí)域上和空域上的信息，巧妙地將時(shí)域降噪和空域降噪結(jié)合起來(lái)，避免單一降噪方式產(chǎn)生的問(wèn)題，同時(shí)改善現(xiàn)有3D降噪的計(jì)算量和存儲(chǔ)量過(guò)大和誤差積累問(wèn)題是設(shè)計(jì)3D數(shù)字視頻圖像降噪方案的關(guān)鍵。

發(fā)明內(nèi)容
本發(fā)明提供一種3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案，主要應(yīng)用于3D數(shù)字視頻圖像處理、傳輸、顯示中需要實(shí)時(shí)降噪的場(chǎng)合，包括以下步驟步驟1 將當(dāng)前幀移入上一幀，并從視頻圖像輸入中重新讀取待降噪的當(dāng)前幀圖像；步驟2 將當(dāng)前幀圖像劃分成若干子塊，利用這些子塊對(duì)當(dāng)前幀的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)；步驟3 利用步驟2得到的子塊與上一幀中的子塊進(jìn)行匹配搜索，得到匹配塊；步驟4 根據(jù)步驟2中得到的噪聲標(biāo)準(zhǔn)差設(shè)置兩個(gè)不同的閾值；步驟5 根據(jù)步驟3中得到的匹配塊對(duì)圖像運(yùn)動(dòng)強(qiáng)度進(jìn)行估計(jì)；步驟6 對(duì)步驟5中得到的圖像運(yùn)動(dòng)強(qiáng)度和步驟4中得到的兩個(gè)閾值進(jìn)行比較，按二者大小關(guān)系選擇時(shí)域?yàn)V波的系數(shù)；步驟7 對(duì)步驟5中得到的圖像運(yùn)動(dòng)強(qiáng)度和步驟4中得到的兩個(gè)閾值進(jìn)行比較，按二者大小關(guān)系選擇一組加權(quán)系數(shù)；步驟8 利用步驟6中選擇的時(shí)域?yàn)V波系數(shù)對(duì)當(dāng)前幀圖像進(jìn)行時(shí)域?yàn)V波；步驟9 利用步驟2中得到的噪聲標(biāo)準(zhǔn)差，對(duì)當(dāng)前幀圖像進(jìn)行空域?yàn)V波；步驟10 按步驟7中選擇的加權(quán)系數(shù)對(duì)步驟8和步驟9中得到的結(jié)果進(jìn)行加權(quán)；步驟11 輸出當(dāng)前幀圖像的降噪結(jié)果。效果說(shuō)明本發(fā)明提出了一種3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案，其在空域二維和時(shí)域一維上對(duì)圖像進(jìn)行濾波降噪處理。該方法對(duì)圖像進(jìn)行運(yùn)動(dòng)強(qiáng)度檢測(cè)，并對(duì)圖像的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)，提供了一種根據(jù)噪聲標(biāo)準(zhǔn)差的估計(jì)結(jié)果和圖像運(yùn)動(dòng)強(qiáng)度檢測(cè)設(shè)定閾值門限的方法。本發(fā)明提供了一種通過(guò)與運(yùn)動(dòng)強(qiáng)度與門限的關(guān)系自適應(yīng)調(diào)整時(shí)域?yàn)V波中的參數(shù)的方法，同時(shí)提供了一種通過(guò)與運(yùn)動(dòng)強(qiáng)度與門限的關(guān)系自適應(yīng)將時(shí)域?yàn)V波和空域?yàn)V波的結(jié)果進(jìn)行自適應(yīng)加權(quán)作為降噪后的輸出結(jié)果的方法，使得圖像的邊緣和細(xì)節(jié)得到了保護(hù)。本發(fā)明可有效地對(duì)3D數(shù)字視頻圖像進(jìn)行降噪，極大地增加了 3D數(shù)字視頻圖像觀看的舒適性。同時(shí)，本發(fā)明在時(shí)域降噪中只需要當(dāng)前幀和上一幀的圖像，大大降低了計(jì)算量和存儲(chǔ)量，從而特別適合需要對(duì)3D數(shù)字視頻圖像進(jìn)行實(shí)時(shí)降噪的場(chǎng)合。附圖和附表說(shuō)明


圖1本發(fā)明提供的3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案流程圖
圖2本發(fā)明中的時(shí)域?yàn)V波示意圖3本發(fā)明中的空域?yàn)V波示意圖4本發(fā)明中的時(shí)域?yàn)V波和空域?yàn)V波加權(quán)示意表1本發(fā)明中的時(shí)域?yàn)V波系數(shù)與圖像運(yùn)動(dòng)強(qiáng)度及閾值的關(guān)系；
表2本發(fā)明中的加權(quán)系數(shù)與圖像運(yùn)動(dòng)強(qiáng)度及閾值的關(guān)系。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。圖1是本發(fā)明提供的3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案流程圖。從該圖清楚地可以看出，本發(fā)明提供的降噪方案包括下面11個(gè)步驟，依次為步驟1-步驟11。下面按各步驟對(duì)本實(shí)施例作進(jìn)一步說(shuō)明。
步驟1 將當(dāng)前幀移入上一幀，并從視頻圖像輸入中重新讀取待降噪的當(dāng)前幀圖像步驟2 將當(dāng)前幀圖像劃分成若干子塊，利用這些子塊對(duì)當(dāng)前幀的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)假定待處理的圖像大小為MXN，將其分成若干大小為L(zhǎng)XL的子塊，其中L是M和N的公因數(shù)。每一個(gè)LXL的子塊為一個(gè)基本處理單位。例如，待處理的圖像大小為10MX768， 可以取L = 32。然后，分別計(jì)算每個(gè)子塊的噪聲標(biāo)準(zhǔn)差，計(jì)算公式為
權(quán)利要求
1.一種3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案，其特征在于，包括以下步驟 步驟1 將當(dāng)前幀移入上一幀，并從視頻圖像輸入中重新讀取待降噪的當(dāng)前幀圖像； 步驟2 將當(dāng)前幀圖像劃分成若干子塊，利用這些子塊對(duì)當(dāng)前幀的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)；步驟3 利用步驟2得到的子塊與上一幀中的子塊進(jìn)行匹配搜索，得到匹配塊； 步驟4 根據(jù)步驟2中得到的噪聲標(biāo)準(zhǔn)差設(shè)置兩個(gè)不同的閾值； 步驟5 根據(jù)步驟3中得到的匹配塊對(duì)圖像運(yùn)動(dòng)強(qiáng)度進(jìn)行估計(jì)； 步驟6 對(duì)步驟5中得到的圖像運(yùn)動(dòng)強(qiáng)度和步驟4中得到的兩個(gè)閾值進(jìn)行比較，按二者大小關(guān)系選擇時(shí)域?yàn)V波的系數(shù)；步驟7 對(duì)步驟5中得到的圖像運(yùn)動(dòng)強(qiáng)度和步驟4中得到的兩個(gè)閾值進(jìn)行比較，按二者大小關(guān)系選擇一組加權(quán)系數(shù)；步驟8 利用步驟6中選擇的時(shí)域?yàn)V波系數(shù)對(duì)當(dāng)前幀圖像進(jìn)行時(shí)域?yàn)V波； 步驟9 利用步驟2中得到的噪聲標(biāo)準(zhǔn)差，對(duì)當(dāng)前幀圖像進(jìn)行空域?yàn)V波； 步驟10 按步驟7中選擇的加權(quán)系數(shù)對(duì)步驟8和步驟9中得到的結(jié)果進(jìn)行加權(quán)； 步驟11 輸出當(dāng)前幀圖像的降噪結(jié)果。
2.如權(quán)利1所述的方法，其特征在于，假定步驟2中待處理的圖像大小為MXN，將其分成若干個(gè)大小為L(zhǎng)XL的子塊，其中L是M和N的公因數(shù)。每一個(gè)LXL的子塊為一個(gè)基本處理單位。然后，分別計(jì)算每個(gè)子塊的噪聲標(biāo)準(zhǔn)差，并選擇各子塊噪聲標(biāo)準(zhǔn)差的最小值作為當(dāng)前幀圖像的噪聲標(biāo)準(zhǔn)差的估計(jì)σ。
3.如權(quán)利1所述的方法，其特征在于，步驟3中，對(duì)當(dāng)前幀的每一個(gè)LXL的子塊，在上一幀中采用最小絕對(duì)差和(Sum of Absolute Differences, SAD)準(zhǔn)則，找到與此LX L的子塊的SAD值最小的塊，稱為匹配塊，SAD值的計(jì)算方法為SAD=XXlfijTljIi=0 j=0其中，為當(dāng)前子塊相應(yīng)位置的像素值，r.j為上一子塊相應(yīng)位置的像素值。
4.如權(quán)利1所述的方法，其特征在于，步驟4中根據(jù)噪聲標(biāo)準(zhǔn)差S的估計(jì)值設(shè)定兩個(gè)閾值TH1和TH2,這兩個(gè)閾值均與估計(jì)的噪聲標(biāo)準(zhǔn)差S成正比例關(guān)系，即TH1 =A1OjTH2 =Α2σ A1和A2是兩個(gè)正數(shù)(假定A1 > A2,因此TH1 > TH2)。
5.如權(quán)利1所述的方法，其特征在于，步驟5中每一個(gè)LXL的的子塊運(yùn)動(dòng)強(qiáng)度的估計(jì)值Kp根據(jù)該子塊和匹配塊之間的SAD值求得K -SAD
6.如權(quán)利1所述的方法，其特征在于，步驟6中的時(shí)域?yàn)V波系數(shù)w依據(jù)Kp及TH1和TH2 的關(guān)系確定·0.4 K <ΤΗ,w =0.65 ΤΗ2<Κρ<ΤΗ, 0.9 Kp > TH1
7.如權(quán)利1所述的方法，其特征在于，步驟7中選取的一組加權(quán)系數(shù)(ββ2)，其中 β ！為時(shí)域?yàn)V波加權(quán)因子，β 2為空域?yàn)V波加權(quán)因子。β i和β 2滿足β i+β 2 = 1，具體數(shù)值依據(jù)Kp及TH1和TH2的關(guān)系確定(0.8,0.2) KpCTH2 (β β2)= (0.5,0.5) TH2 < K^TH1 (0.2,0.8) K >ΤΗ,
8.如權(quán)利1所述的方法，其特征在于，步驟8中的時(shí)域?yàn)V波強(qiáng)度依據(jù)系數(shù)w來(lái)調(diào)整控制 =wfU "K1-wH其中， 為時(shí)域?yàn)V波的輸出結(jié)果，為當(dāng)前幀各子塊中各點(diǎn)的像素值，為上一幀各子塊中各點(diǎn)的像素值。
9.如權(quán)利1所述的方法，其特征在于，步驟9中的空域?yàn)V波綜合考慮了像素值和距離的影響。假定空域?yàn)V波的窗長(zhǎng)為W，則濾波器權(quán)系數(shù)為r (i-k)2+0-1)2 r (Vfkl)2 w^expt]·6χρ[·^Γ]Wu由兩項(xiàng)相乘得到。第一項(xiàng)計(jì)算的是當(dāng)前像素和其WXW窗內(nèi)某像素的距離差，0(1為距離方向的標(biāo)準(zhǔn)差，選取Od =1.26 ；第二項(xiàng)計(jì)算的是當(dāng)前像素值和其WXW窗內(nèi)某像素值的差，ο ^為像素值的標(biāo)準(zhǔn)差，選取ι =e?？沼?yàn)V波的估計(jì)結(jié)果按下式得到其中，符號(hào) 表示卷積運(yùn)算。
10.如權(quán)利1所述的方法，其特征在于，步驟10中分別將時(shí)域和空域?yàn)V波結(jié)果加權(quán)β！ 和β2其中，f為濾波最后輸出結(jié)果4和: 2分別為時(shí)域和空域?yàn)V波結(jié)果。
全文摘要
提出了一種3D數(shù)字視頻圖像的自適應(yīng)實(shí)時(shí)降噪方案，其在空域二維和時(shí)域一維上對(duì)視頻圖像進(jìn)行濾波降噪處理。該方法對(duì)視頻圖像進(jìn)行運(yùn)動(dòng)強(qiáng)度檢測(cè)，并對(duì)圖像的噪聲標(biāo)準(zhǔn)差進(jìn)行估計(jì)，根據(jù)噪聲標(biāo)準(zhǔn)差的估計(jì)結(jié)果設(shè)定兩個(gè)不同的閾值門限。通過(guò)運(yùn)動(dòng)強(qiáng)度與門限的關(guān)系自適應(yīng)調(diào)整時(shí)域?yàn)V波中的參數(shù)，并依據(jù)此關(guān)系將時(shí)域?yàn)V波和空域?yàn)V波的結(jié)果進(jìn)行自適應(yīng)加權(quán)作為降噪后的輸出結(jié)果。本發(fā)明運(yùn)算和存儲(chǔ)量小，可以對(duì)3D數(shù)字視頻圖像進(jìn)行有效地實(shí)時(shí)降噪，同時(shí)圖像的邊緣和細(xì)節(jié)得到了保護(hù)，從而極大地增加了3D數(shù)字視頻圖像觀看的舒適性。
文檔編號(hào)H04N5/213GK102238316SQ20101015966
公開日2011年11月9日 申請(qǐng)日期2010年4月29日 優(yōu)先權(quán)日2010年4月29日
發(fā)明者陳利明 申請(qǐng)人:北京科迪訊通科技有限公司