本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，尤其涉及一種利用紋理測度和結(jié)構(gòu)方差進行視頻去噪的強魯棒性方法。

背景技術(shù)：

去噪技術(shù)是圖像和視頻預處理領(lǐng)域被廣泛研究的主題，噪聲視頻可視性差，嚴重影響人們的觀感、編碼效率以及其他計算機視覺算法的性能。因此，對視頻進行去噪方面的預處理是必不可少的過程。

現(xiàn)有的去噪技術(shù)主要包括空域濾波、頻域濾波、字典學習、深度學習等?？沼驗V波是在原始圖像和視頻的基礎(chǔ)上對像素點直接進行處理；頻域濾波是指將圖像和視頻的像素點作用到變換域進行處理；字典學習的方法是對圖像和視頻提取主要成分，用稀疏表示去除相應(yīng)的噪聲；深度學習是以網(wǎng)絡(luò)層為基礎(chǔ)，訓練一系列參數(shù)來重新表示圖像和視頻?；谝陨纤枷胩岢龅母鞣N算法在性能方面都取得了一定的提升，但也存在以下缺點：

(一)由于計算機視覺與人類視覺之間的差異，觀測者對嚴重影響視頻客觀評估分數(shù)的區(qū)域(如比較小的紋理)并不敏感，反而對輕微影響的區(qū)域(如平滑部分)比較關(guān)注；這就造成許多算法具有較高的客觀評估分數(shù)，但可視性效果一般；

(二)許多算法進行去噪之后，會引入新的塊效應(yīng)，觀感一般；

(三)紋理區(qū)域過度平滑，視頻細節(jié)丟失，這在視覺上造成一定的模糊效應(yīng)。

當前，計算機視覺技術(shù)廣泛應(yīng)用在多個領(lǐng)域，視頻去噪技術(shù)直接影響視頻質(zhì)量，開發(fā)具有強魯棒性的視頻去噪技術(shù)具有重要意義。

技術(shù)實現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種具有強魯棒性的視頻去噪方法，利用紋理測度和結(jié)構(gòu)方差進行視頻去噪，在保證視頻質(zhì)量的同時，也保證了較好的視覺觀感；能夠較大程度上避免塊效應(yīng)，又可以保留較好的紋理信息，能夠解決現(xiàn)有的視頻去噪技術(shù)中的人工痕跡問題。

本發(fā)明的原理是：利用紋理測度和結(jié)構(gòu)方差進行視頻去噪，首先，利用超像素快分割技術(shù)和svd(singularvaluedecomposition)來獲取視頻幀的紋理測度；其次，利用紋理測度對超像素快的平滑區(qū)域和紋理區(qū)域進行標定，并獲取相應(yīng)的結(jié)構(gòu)方差；最后，利用評估的結(jié)構(gòu)方差進行濾波融合；由此得到一個視頻質(zhì)量高、視覺效果更好的去噪結(jié)果。

本發(fā)明提供的技術(shù)方案是：

一種視頻去噪方法，采用紋理測度和結(jié)構(gòu)方差融合的方法進行噪聲濾波，得到去噪后高質(zhì)量的視頻；包括如下步驟：

1)輸入一個噪聲視頻流

2)利用超像素快分割方法和svd方法，獲取基于超像素塊的自適應(yīng)視頻紋理測度，具體如下：

21)計算每一幀水平方向和垂直方向的梯度，分別記為

22)對每一幀進行超像素分割，獲得相應(yīng)的超像素塊并對其做標定，如第i幀第k個超像素塊的標定信息表示為fi,k；

23)結(jié)合fi,k、獲得每一幀超像素塊的梯度信息，如第i幀第k個超像素塊的梯度用[gikh,gikv]表示；

24)對超像素塊的梯度[gikh,gikv]進行svd，得到兩個奇異值，用s1ik和s2ik表示；

25)獲得第i幀第k個超像素塊的紋理測度ρik，公式如下：

26)將每一幀每一個超像素塊的紋理測度信息聚集在一起，用p表示；

3)利用紋理測度對超像素塊的平滑區(qū)域和紋理區(qū)域進行標定，并獲取具有自適應(yīng)度的結(jié)構(gòu)方差，具體如下：

31)設(shè)定閾值τ來區(qū)分紋理區(qū)域和平滑區(qū)域；

對于第i幀第k個超像素塊，其尺寸用ωik表示，則其紋理測度的概率密度可以表示為式2；

根據(jù)式2可以求得紋理測度的置信水平δ如式3；為獲取更好的效果，本發(fā)明通過設(shè)定置信水平δ＝0.0001來反求得閾值τ；當紋理測度ρik≥τ時，將對應(yīng)的超像素塊標定為紋理區(qū)域；當紋理測度ρik<τ時，將對應(yīng)的超像素塊標定為平滑區(qū)域；

式中，p是紋理測度大于閾值的概率；

32)分別計算平滑區(qū)域和紋理區(qū)域的結(jié)構(gòu)方差；如果第i幀第k個超像素塊為平滑區(qū)域，其結(jié)構(gòu)方差用表示；如果第i幀第k個超像素塊為紋理區(qū)域，其結(jié)構(gòu)方差用表示；

33)計算視頻流的平滑方差(式4)和紋理方差(式5)

其中，ws和wt分別表示對視頻流平滑區(qū)域和紋理區(qū)域的權(quán)重；權(quán)重的通用公式可以表示為式6：

其中，

本發(fā)明利用式7中兩種結(jié)構(gòu)方差的差異來自適應(yīng)控制權(quán)重，能夠在整體上評估視頻流的紋理信息。

4)視頻流濾波，利用評估的結(jié)構(gòu)方差進行濾波融合；具體如下：

41)基于兩種結(jié)構(gòu)方差和濾波，分別得到帶有較多紋理信息的視頻流以及較少紋理信息的視頻流

42)對以上兩種視頻流進行加權(quán)融合，得到去噪視頻流如式8

其中，“p”是視頻流的紋理測度(每個超像素塊紋理測度的集合，用矩陣形式表示)；“.·”表示點乘法運算；指示第t幀位置處的像素點。

步驟41)可以采用現(xiàn)有方法中基于方差的濾波器。在本發(fā)明實施例中，具體采用文獻(maggionim,boracchig,foia,etal.videodenoising,deblocking,andenhancementthroughseparable4-dnonlocalspatiotemporaltransforms[j].ieeetransactionsonimageprocessing,2012,21(9):3952-3966.)所記載的濾波方法。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明提供了一種強魯棒性的視頻去噪方法，該方法采用紋理測度和結(jié)構(gòu)方差融合的技術(shù)，在降低噪聲的同時，能夠減少塊效應(yīng)、保留紋理細節(jié)，在很大程度上保證了較好的視覺觀感。首先，本發(fā)明引入了一種基于超像素塊的紋理測度，這種測度能夠準確的記錄每一幀超像素塊的紋理信息；其次，在此基礎(chǔ)上，本發(fā)明又引入了基于紋理信息的自適應(yīng)結(jié)構(gòu)方差；最后，本發(fā)明采用兩種方差進行濾波融合，最終獲得去噪后的視頻流。本發(fā)明能夠降低現(xiàn)有視頻中的噪聲，能夠同時保證視頻質(zhì)量和視頻觀感，能夠解決現(xiàn)有的去噪技術(shù)帶來的塊效應(yīng)和紋理模糊等人工痕跡問題，得到的視覺效果良好，人工痕跡少，且具有強魯棒性。本方法可作為視頻預處理方法，可以應(yīng)用到多種計算機視覺領(lǐng)域。

附圖說明

圖1是本發(fā)明方法的流程框圖。

圖2是本發(fā)明實施例中平滑區(qū)域和紋理區(qū)域的奇異值分析結(jié)果；

其中,左上方小塊表示平滑區(qū)域，左下方為其奇異值分析圖；右上方小塊表示紋理區(qū)域，右下方為其奇異值分析圖。

圖3是本發(fā)明實施例中采用平滑方差和紋理方差進行濾波后的效果圖及融合示意圖；

其中，第一排的圖表示幀的整體信息，第二排的圖表示相應(yīng)的第一排圖中方塊區(qū)域放大后的對比圖；第一排和第二排圖中：(a)表示噪聲視頻流中的一幀；(b)用紋理方差濾波后的效果示意圖；(c)用平滑方差濾波后的效果示意圖；(d)用視頻流紋理測度作為權(quán)重將(b)和(c)融合后的效果示意圖。

圖4是本發(fā)明實施例中去噪效果的放大圖；

其中，(a)表示噪聲視頻流中的一幀；(b)紅色區(qū)域用平滑方差濾波后的效果示意圖；(c)紅色區(qū)域融合后的效果示意圖。

具體實施方式

下面結(jié)合附圖，通過實施例進一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范圍。

本發(fā)明提供一種具有強魯棒性的視頻去噪方法，利用紋理測度和結(jié)構(gòu)方差進行視頻去噪，在保證視頻質(zhì)量的同時，也保證了較好的視覺觀感；能夠較大程度上避免塊效應(yīng)，又可以保留較好的紋理信息。

以下是本發(fā)明提供的強魯棒性視頻去噪算法的算法流程。

上述強魯棒性的視頻去噪算法中，為輸入的噪聲視頻流,為降噪后視頻流，其中表示t時刻視頻流中像素的位置信息。本發(fā)明算法大致分為3個流程。首先，獲取視頻自適應(yīng)紋理測度；其次，獲取視頻自適應(yīng)結(jié)構(gòu)方差；最后，視頻流濾波融合。

具體步驟如下：

步驟1.噪聲模型選擇：通常意義上，視頻噪聲模型可以表示為式9：

其中，表示t時刻位置處大的噪聲信息，本發(fā)明采用頻域濾波的形式，在頻域?qū)⒃肼曅畔⒁种?，最后將其轉(zhuǎn)換到空域從而達到去噪的目的。

步驟2.獲取基于超像素塊的自適應(yīng)視頻紋理測度:

1)我們采用sober算子獲取視頻流每一幀的水平梯度和垂直梯度，

2)我們對每一幀進行超像素分割，得到每一幀超像素塊的分割信息，并將第i幀第k個超像素塊表定為fi,k；

3)結(jié)合fi,k，就可以獲得每一幀超像素塊的梯度信息，我們將第i幀第k個超像素塊的梯度用[gikh,gikv]表示；

4)對每一幀每個超像素塊的梯度[gikh,gikv]做svd，得到兩個奇異值,用s1ik和s2ik表示，這兩個奇異值就表示超像素塊的紋理信息；以圖2為例，用黑絲方塊選中的兩個區(qū)域，左邊為平滑區(qū)域，右邊為紋理區(qū)域；x軸表示每一幀水平方向的梯度值，y軸表示垂直方向的梯度值。通過觀察可以看出，平滑區(qū)域(左圖)的梯度分布比較均勻，得到的兩個奇異值比較接近；而紋理區(qū)域(右圖)的梯度則有較強的方向性，得到的兩個奇異值區(qū)別很大。

5)獲得第i幀第k個超像素塊的紋理測度ρik，如式1；結(jié)合式1和圖2分析，平滑區(qū)域的紋理測度小，而紋理區(qū)域的紋理測度大，利用這一特點我們可以有針對性的對視頻進行去噪。

6)將所有的超像素塊紋理測度聚集在一起，我們就得到視頻流的紋理測度信息，用p表示；

步驟3.獲取視頻流自適應(yīng)的結(jié)構(gòu)方差：

1)根據(jù)超像素快紋理測度的概率密度(式2)和置信水平的定義(式3),我們可以得到區(qū)分平滑區(qū)域和紋理區(qū)域的測度閾值τ；當紋理測度大于閾值，則將對應(yīng)的超像素塊標定為紋理區(qū)域；反之，標定位平滑區(qū)域；

2)分別計算平滑區(qū)域和紋理區(qū)域的結(jié)構(gòu)方差，如果第i幀第k個超像素塊為平滑區(qū)域，其結(jié)構(gòu)方差用表示；如果第i幀第k個超像素塊為紋理區(qū)域，其結(jié)構(gòu)方差用表示；

3)計算視頻流的平滑方差(式4)和紋理方差(式5)，此處我們采用對每一幀求方差期望值，并取得期望值中的最小值作為對應(yīng)的方差；對于其中的權(quán)重ws和wt(其通用公式如式6)，對于決定權(quán)重大小的每一個參數(shù)說明如表1所示。

表1參數(shù)列表

步驟4.視頻流濾波融合：

1)基于兩種結(jié)構(gòu)方差和濾波，分別得到帶有較多紋理信息的視頻流以及較少紋理信息的視頻流以圖3為例，(a)為噪聲視頻流中的一幀，(b)為利用紋理方差濾波后的效果示意圖，(c)為利用平滑方差濾波后的效果示意圖；由于紋理方差要大于平滑方差，基于這一特點，分別用濾波器進行濾波的得到的效果圖中，(b)中的紋理明顯少于圖(c)，但圖(c)中仍存在明顯的噪聲和塊效應(yīng)；

2)對以上兩種視頻流進行加權(quán)融合，如式8，得到去噪視頻流用紋理測度作為加權(quán)權(quán)重，這很大程度上既保留了視頻幀的紋理細節(jié)，同時又進一步抑制了噪聲；以圖3為例，(d)為視頻流融合圖，通過比較(b)和(c)本發(fā)明去噪效果明顯，同時又保留了較多了紋理；為了進一步說明，以圖4為例，(c)為紅色區(qū)域放大后的效果示意圖。

需要注意的是，公布實施例的目的在于幫助進一步理解本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本發(fā)明不應(yīng)局限于實施例所公開的內(nèi)容，本發(fā)明要求保護的范圍以權(quán)利要求書界定的范圍為準。