專利名稱：對視頻編碼進(jìn)行空間自適應(yīng)濾波的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼，具體涉及使用空間自適應(yīng)預(yù)處理濾波器，用于視頻編碼。
諸如H.261、MPEG1和MPEG2之類的現(xiàn)行標(biāo)準(zhǔn)，采用塊移動補(bǔ)償?shù)碾x散余弦變換(DCT)方法，提供數(shù)字視頻序列的壓縮。這種視頻編碼技術(shù)采用二步的處理來消除視頻序列中存在的冗余度。第一步，首先，采用塊匹配(BM)運(yùn)動估值和補(bǔ)償算法來估算出發(fā)生在兩個時間上相鄰幀之間的運(yùn)動。而后，對所估算的運(yùn)動進(jìn)行補(bǔ)償和比較，以形成差值圖像。通過提取兩個時間上相鄰幀之間的差值，消除所有存在的時間冗余度。余下來的信息是未曾在運(yùn)動估值和補(bǔ)償算法中補(bǔ)償?shù)男滦畔?。這種差值圖像稱作“位移幀差值”(DFD)。
第二步，采用DCT將DFD圖像變換到頻率域。DCT具有將DFD圖像的能量壓縮到幾個低頻分量上的特性。通過限制編碼的高頻信息的數(shù)量可得到視頻序列的進(jìn)一步壓縮。
如果在視頻序列中出現(xiàn)噪聲，則DFD圖像也含有這種噪聲的差值。由于噪聲在時間方向上是不相關(guān)的，故出現(xiàn)在DFD圖像中的噪聲能量實際上是出現(xiàn)在任一單幀圖像上噪聲能量的二倍。在應(yīng)用DCT之后，出現(xiàn)在DFD中的噪聲導(dǎo)致出現(xiàn)在高頻分量中的能量增加。與噪聲不存在的情況相比較，上述結(jié)果的凈效應(yīng)是迫使壓縮技術(shù)使用大量比特，以在譯碼的視頻信號中保持有限的特定失真。換句話說，編碼之前出現(xiàn)在視頻序列中的噪聲會導(dǎo)致極大降低任何壓縮技術(shù)的壓縮效率。
從視頻序列中消除噪聲的現(xiàn)行方法是不夠完備的，原因有兩個。第一個原因是，這些方法力圖從視頻序列的亮度幀中消除噪聲。一般說來，這類方法將在視頻序列中引入偽痕，而后轉(zhuǎn)移給DFD信號，并由視頻編碼器解釋為必須編碼的新信息。換句話說，這些方法也會降低視頻編碼器的壓縮效率。現(xiàn)行方法不完備的第二個原因在于，它們趨向于僅工作在時間方向上。也就是說，它們沿各幀間的單一時間方向進(jìn)行濾波。如果采用平均，則會使視頻序列中運(yùn)動的各部分模糊。使運(yùn)動物體模糊后，視頻序列一般地更容易編碼。然而，對觀看者而言，它看起來會顯著降級。為此，現(xiàn)行的消除噪聲的方法不能夠在不顯著地降級譯碼視頻序列的條件下減少必須由視頻編碼器編碼的信息數(shù)量。


圖1示出按照本發(fā)明的一種用以對視頻編碼進(jìn)行空間自適應(yīng)濾波的裝置的優(yōu)選實施例的方框圖。
圖2示出按照本發(fā)明的一種用以對視頻編碼進(jìn)行空間自適應(yīng)濾波方法的優(yōu)選實施例步驟的流程圖。
下文所述的方法和裝置在視頻序列編碼過程之前先對視頻序列濾波。具體地講，所述的方法和裝置應(yīng)用空間為適應(yīng)濾波器從位移幀差值(DFD)信號中直接消除噪聲。這種新穎方法從DFD信號中消除噪聲和各種高頻分量時不引入現(xiàn)行技術(shù)的濾波偽痕特性。通過減少各種高頻分量，本發(fā)明在不明顯降級譯碼視頻序列的條件下，能夠減少須由視頻編碼器編碼的信息數(shù)量。
為了描述本發(fā)明的方法和裝置，作出一些有關(guān)輸入視頻序列的假定。具體地講，假定視頻源是一種數(shù)字格式，在處理之前已知每行的像素數(shù)、每幀的行數(shù)和每秒的幀數(shù)。每個像素既有亮度分量又有色度分量，各應(yīng)用8比特整數(shù)編碼，范圍從0至255。如上所述地作出這些假定僅是為了有助于本方法和裝置的描述，不應(yīng)視為在這些假定不成立時是對應(yīng)用的限制。
圖1以標(biāo)號100示出按照本發(fā)明的一種用以對視頻編碼進(jìn)行空間自適應(yīng)濾波的裝置的優(yōu)選實施例的方框圖。該裝置包括一個噪聲方差確定102、一個局部方差確定器104、一個噪聲清晰度(noise visibility)函數(shù)確定器106、一個高斯核確定器108和一個卷積器110。利用DFD120信號由噪聲方差確定器102計算噪聲方差估值σ2n(γ)126。還利用DFD(120)信號由局部方差確定器104確定局部信號方差估值σ2f(γ)128。根據(jù)局部信號方差σ2f(γ)128和噪聲方差σ2n(γ)126的估值及預(yù)定圖像類型參數(shù)Θ130，由噪聲清晰度(noise visibility)函數(shù)確定器確定噪聲清晰度(noisevisibility)參數(shù)υ(Θ)132，它控制在像素位置(γ)≡(i，j)處由空間自適應(yīng)處理濾波器提供的濾波數(shù)量。具體地講，噪聲可見度參數(shù)υ(Θ)132由高斯核確定器110確定高斯濾波核，它將根據(jù)局部SNR提供適當(dāng)數(shù)量的局部濾波。
該裝置可以由計算機(jī)軟件、數(shù)字信號處理器、門陣列或?qū)Ｓ眉呻娐穪砭唧w實現(xiàn)。
由噪聲方差確定器102利用DFD信號確定噪聲方差估值σ2n126。這是通過先將DFD信號分為16×16的塊，而后計算這些塊中所含的能量來完成的。請注意，如果將塊匹配(BM)用于產(chǎn)生DFD信號，則這些能量計算業(yè)已存在。應(yīng)用下式計算能量σB2(Bm)=1MNΣ{i,j∈Bm}(DFD(i,j))2,----(1)]]>式中，像素位置i，j為塊Bm中的個數(shù)，M和N為塊Bm的行和列中所含像素的數(shù)目，σ2B(Bm)為塊Bm中所含的能量。在計算出每個塊的能量σ2B(Bm)之后，將它們從最高至最低能量排序。這個排序的底部25％值的平均值用以作為噪聲方差的估值σ2n126。
局部信號方差是利用噪聲方差估值σ2n126和局部方差σ2l(γ)計算的。業(yè)已知道，局部DFD方差σ2l(γ)是局部信號方差σ2f(γ)128加噪聲方差σ2n126的總和。為此，通過從局部DFD信號方差中減去噪聲方差的估值，可以得到局部信號方差的估值，如下式所示σ2f(γ)＝σ2d(γ)-σ2n(γ)(2)式中，σd2(r)=1MNΣ-K≤k≤KL≤l≤L(DFD(i+k,j+l))2,----(3)]]>K和L規(guī)定為計算出局部信號方差的局部鄰域。具體地講，局部信號方差σ2f(γ)在一塊內(nèi)進(jìn)行計算，該塊擴(kuò)展到像素(γ)≡(i，j)之上和之下的K行，以及其左和其右的L列。
清晰度(visibility)參數(shù)υ(Θ)132，是用以控制空間自適應(yīng)預(yù)處理濾波器在像素位置(γ)＝(i，j)所提供的濾波數(shù)量，是由噪聲清晰度(noise visibility)函數(shù)確定器計算出的。噪聲可見度函數(shù)確定器根據(jù)局部信號方差σ2f(γ)128和噪聲方差σ2n(γ)126的估值及預(yù)定圖像類型參數(shù)Θ130，用下式可確定出噪聲清晰度(noise visibility)參數(shù)υ(Θ)=11+σf2σn2Θ.----(4)]]>為減少DFD信號中出現(xiàn)的噪聲，通常將預(yù)定圖像類型參數(shù)Θ130的值設(shè)置為0.01。對于不同類型的圖像數(shù)據(jù)，將圖像類型參數(shù)Θ被調(diào)整，以便提供出具有不同響應(yīng)的清晰度(visibility)。例如，由于它們的靈敏度的過平滑與出現(xiàn)的噪聲相對立，當(dāng)與DFD信號所用的值相比較時，各亮度圖像需要增大圖像類型參數(shù)Θ。
由高斯核確定器110根據(jù)噪聲清晰度參數(shù)υ(Θ)132確定出高斯濾波器的核，根據(jù)局部SNR可提供合適的局部濾波數(shù)量。高斯核確定器110對噪聲清晰度參數(shù)υ(Θ)132的響應(yīng)表示如下g(m,n)=1Ze[-m2+n2υ(Θ)σg2]----(5)]]>式中，g(m，n)為高斯濾波，(m，n)為濾波器支持的一個位置，σ2g為濾波器的方差。濾波器的支持在實施之前確定。通常，為減少卷積器110中所需的運(yùn)算數(shù)目，濾波器的支持為5像素的行×5像素的列。濾波器的方差也是預(yù)先確定的，并與噪聲清晰度參數(shù)υ(Θ)132一起用于控制由濾波器施加到DFD上的平滑量。
噪聲可見度參數(shù)υ(Θ)132按照下述的方式控制由濾波器施加到DFD的平滑量。與局部信號方差σ2f(γ)128相比較，噪聲方差σ2n(γ)126小，則使噪聲清晰度參數(shù)υ(Θ)(132)也小。這導(dǎo)致高斯濾波器g(m，n)具有窄的空間響應(yīng)，或者在頻率域中具有寬的通帶。換句話說，濾波器g(m，n)提供很小的平滑。由于噪聲方差比信號方差小，所以這正是所希望的響應(yīng)。對于局部信號方差比噪聲方差小得多的情況，使g(m，n)會具有寬的空間響應(yīng)，這可形成頻域中窄的通帶。同樣，這是所希望的響應(yīng)，因為g(m，n)會給大噪聲的DFD提供平滑。
卷積器110實際上執(zhí)行對DFD信號的濾波操作。也就是，卷積器110通過卷積運(yùn)算使高斯濾波器g(m，n)138作用于DFD信號120。卷積運(yùn)算由下式表示DF^D(i,j)=Σm=0n=5n=0m=5g(m,n)DFD(i-m,j-n),----(6)]]>式中，DFD為預(yù)處理的DFD信號。
圖2以標(biāo)號200示出一種用以對視頻編碼進(jìn)行空間自適應(yīng)濾波的方法的優(yōu)選實施例的流程圖。第一步202是根據(jù)DFD信號計算噪聲方差。接著，在步驟204，根據(jù)計算出的噪聲方差和DFD信號確定局部信號方差。然后，在步驟206，利用局部信號主差、噪聲方差和預(yù)定的圖像類型參數(shù)，計算噪聲清晰度參數(shù)。在步驟208，根據(jù)噪聲可見度參數(shù)和預(yù)定的高斯濾波器方差參數(shù)，確定局部高斯濾波器。再后，在步驟210，將局部高斯濾波器與DFD信號卷積，以產(chǎn)生濾波的DFD信號。
權(quán)利要求
1.一種用以對位移幀差值(DFD)進(jìn)行空間自適應(yīng)濾波的方法，DFD是在一個視頻幀與一個估值的視頻幀之間的差值，其特征在于，該方法包括利用噪聲方差預(yù)定器，根據(jù)預(yù)定的信噪比，確定DFD的噪聲方差；利用局部方差確定器，根據(jù)噪聲方差和預(yù)定的信噪比，確定DFD的局部方差；利用噪聲清晰度確定器，根據(jù)噪聲方差、局部方差和預(yù)定圖像類型，確定噪聲清晰度函數(shù)；利用高斯核確定器，根據(jù)噪聲清晰度函數(shù)、預(yù)定規(guī)一化系數(shù)和預(yù)定基本方差，確定DFD中每個像素的高斯核；利用卷積器，卷積具有高斯核的DFD，以提供自適應(yīng)濾波的DFD。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，至少2A、2B之一(2A)使用下式，通過計算每個預(yù)定塊中所含的能量，確定噪聲方差σB2(Bm)=1MNΣ{i,j∈Bm}(DFD(i,j))2,]]>式中，M和N為預(yù)定塊的維數(shù)，I，j表示預(yù)定塊中一個像素的行和列；(2B)利用下式確定DFD的局部方差σd2(r)=1MNΣ-K≤k≤KL≤l≤L(DFD(i+k,j+l))2]]>式中，M和N為預(yù)定塊的維數(shù)，i，j表示預(yù)定塊中一個像素的行和列。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，至少3A～3C之一(3A)利用下式確定噪聲清晰度函數(shù)υ(Θ)=11+σf2σn2Θ]]>式中，σ2f為局部方差*，σ2n為噪聲方差，Θ為預(yù)定圖像類型；(3B)利用下式確定高斯核g(m,n)=1Ze[-m2+n2υ(Θ)σg2]]]>式中，σ2g為預(yù)定基本方差，Z為預(yù)定規(guī)一化系數(shù)，υ(Θ)為噪聲清晰度函數(shù)，m、n表示DFD中一個像素的行和列；(3C)利用下式卷積具有高斯核的DFDDF^D(i,j)=Σm=0n=5n=0m=5g(m,n)DFD(i-m,j-n),]]>式中，g(m，n)為高斯核，m，n表示DFD中一個像素的行和列。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，至少4A～4C之一(4A)本方法的步驟具體實現(xiàn)在數(shù)字信號處理器(DSP)的實質(zhì)媒體中；(4B)本方法的步驟具體實現(xiàn)在專用集成電路(ASIC)中；(4C)本方法的步驟具體實現(xiàn)可在門陣列的實質(zhì)媒體中。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，可以將本方法的步驟具體實現(xiàn)在計算機(jī)的實質(zhì)媒體中，并在可選取時，有5A～5B其中之一(5A)實質(zhì)媒體為計算機(jī)軟盤；(5B)實質(zhì)媒體為計算機(jī)的存儲器單元。
6.一種用以對位移幀差值(DFD)進(jìn)行空間自適應(yīng)濾波的裝置，DFD為視頻幀與估值視頻幀之間的差值，其特征在于，該裝置包括噪聲方差確定器，可操作地被耦連來接收DFD和預(yù)定信噪比，用以根據(jù)預(yù)定信噪比確定DFD的噪聲方差；局部方差確定器，可操作地耦連到噪聲方差確定器，并在工作中連接來接收DFD，用以根據(jù)噪聲方差和預(yù)定信噪比確定DFD的局部方差；噪聲清晰度確定器，可操作地耦連到噪聲方差確定器和局部方差確定器，并可操作地被耦合來接收預(yù)定圖像類型，用以根據(jù)噪聲方差、局部方差和預(yù)定圖像類型來確定噪聲清晰度函數(shù)。高斯核確定器，可操作地耦合到噪聲清晰度確定器，并可操作地被耦合來接收預(yù)定基本方差用以根據(jù)噪聲清晰度函數(shù)、預(yù)定規(guī)一化系數(shù)和預(yù)定基本方差，來確定DFD中每個像素的高斯核；卷積器，可操作地耦合到高斯核確定器并可操作地被耦合來接收DFD，用以使DFD與高斯核卷積，以提供自適應(yīng)濾波的DFD。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，至少7A～7B之一(7A)利用下式，通過計算每個預(yù)定塊中所含的能量來確定噪聲方差σB2(Bm)=1MNΣ{i,j∈Bm}(DFD(i,j))2,]]>式中，M和N為預(yù)定塊的維數(shù)，i，j表示預(yù)定塊中一個像素的行和列；(7B)利用下式，確定DFD的局部方差σd2(r)=1MNΣ-K≤k≤KL≤l≤L(DFD(i+k,j+l))2]]>式中，M和N為預(yù)定塊的維數(shù)，i，j表示預(yù)定塊中一個像素的行和列。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，至少8A～8C之一(8A)利用下式，確定噪聲清晰度函數(shù)υ(Θ)=11+σf2σn2Θ]]>式中，σ2f為局部方差，σ2n為噪聲方差，Θ為預(yù)定圖像類型；(8B)利用下式，確定高斯核g(m,n)=1Ze[-m2+n2υ(Θ)σg2]]]>式中，σ2g為預(yù)定基本方差，Z為預(yù)定規(guī)一化系數(shù)，υ(Θ)為噪聲清晰度函數(shù)，m、n表示DFD中一個像素的行和列；(8C)利用下式，確定與高斯核卷積的DFD信號DF^D(i,j)=Σm=0n=5n=0m=5g(m,n)DFD(i-m,j-n),]]>式中，g(m，n)為高斯核，m、n表示DFD中一個像素的行和列。
9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，至少9A～9C之一(9A)該裝置處于數(shù)字信號處理器(DSP)中；(9B)該裝置處于專用集成電路(ASIC)中；(9C)該裝置處于門陣列中。
10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，該裝置具體實現(xiàn)在計算機(jī)的實質(zhì)媒體中，并在選擇時，有10A～10B之一(10A)其中，實質(zhì)媒體為計算機(jī)軟盤；(10B)其中，實質(zhì)媒體為計算機(jī)的存儲器單元。
全文摘要
本發(fā)明提供一種用以在視頻編碼進(jìn)行空間自適應(yīng)濾波的方法(200)和裝置(100)。該裝置在編碼過程之前濾波視頻序列。它包括噪聲方差確定器(102)、局部方差確定器(104)、噪聲清晰度函數(shù)確定器(106)、高斯核確定器(108)及卷積器(110)。該裝置從位移幀差值DFD信號中直接消除噪聲。這種新穎方法消除DFD信號中的噪聲和各種高頻分量時不引入現(xiàn)行技術(shù)中的濾波偽痕特性。通過減少各種高頻分量，本發(fā)明在不使譯碼視頻序列顯著降級下能減少須由編碼器編碼的信息數(shù)量。
文檔編號H04N7/26GK1159270SQ96190797
公開日1997年9月10日 申請日期1996年6月12日 優(yōu)先權(quán)日1995年7月24日
發(fā)明者塔納爾·奧茲塞里克, 詹姆斯·C·布萊林, 阿格羅斯·K·卡特薩格羅斯, 奧澤·耳道甘, 程·奧永 申請人:摩托羅拉公司