專利名稱：改善視頻質(zhì)量的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及數(shù)字視頻處理，特別涉及包括進(jìn)行編碼和解碼的數(shù)字視頻編碼。
背景技術(shù)：
數(shù)字視頻編碼包括各種步驟，諸如但不限于在運(yùn)動(dòng)補(bǔ)償殘余或幀內(nèi)內(nèi)插塊上的變 換、量化、運(yùn)動(dòng)估計(jì)、環(huán)內(nèi)去塊濾波和熵編碼。這些步驟是分別由各個(gè)裝置進(jìn)行實(shí)施的。為 了獲得更好的編碼效率，在諸如H. 264/AVC的視頻標(biāo)準(zhǔn)內(nèi)，基于塊的DPCM(差分脈沖編碼調(diào) 制)技術(shù)適用于這些步驟。數(shù)字視頻內(nèi)的圖像質(zhì)量是通過(guò)主觀質(zhì)量和客觀質(zhì)量進(jìn)行測(cè)量的。主觀質(zhì)量是由觀 察者如何感覺(jué)圖像以及觀察者如何通過(guò)比較視頻里發(fā)現(xiàn)的失真說(shuō)出哪個(gè)視頻有較好的圖 像質(zhì)量來(lái)進(jìn)行測(cè)量。使用基于塊的DPCM技術(shù)，塊效應(yīng)被引入到視頻圖像內(nèi)，因而需要進(jìn)行 消除。消除塊效應(yīng)的步驟通常被稱為去塊效應(yīng)。在基于塊的技術(shù)里，視頻像素通過(guò)視頻壓 縮逐個(gè)塊地進(jìn)行編碼。這些塊被逆變換并被解碼以重建圖像?？陀^質(zhì)量是通過(guò)諸如峰值信噪比(PSNR)的參數(shù)進(jìn)行測(cè)量。視頻圖像里存在的噪 聲越多，PSNR越低，將越不能令人滿意。有各種類型的噪聲，如高斯噪聲、量化噪聲，通常期 望能夠抑制這些噪聲。為了提高主觀質(zhì)量，設(shè)計(jì)一個(gè)環(huán)內(nèi)去塊濾波來(lái)消除視頻編碼標(biāo)準(zhǔn)H. 264/AVC里的 塊效應(yīng)。設(shè)計(jì)這種環(huán)內(nèi)去塊濾波的一種方法是使用一組預(yù)設(shè)的低通濾波器。低通濾波器在 List, P. ；Joch, A. ；Lainema, J. ；Bjontegaard, G. ；Karczewicz, M. , Adaptive Deblocking Filter, IEEE Trans. CSVT，Vol. 13，No. 7，2003里有描述。低通濾波器假設(shè)平滑圖像模型， 并能夠去除塊效應(yīng)。但是，平滑圖像模型不會(huì)總是適用的。視頻圖像可能包含許多奇異點(diǎn)， 如邊緣、紋理等，并且低通濾波器不能適當(dāng)處理這些奇異點(diǎn)，因?yàn)榈屯V波器可能會(huì)平滑這 些奇異點(diǎn)。設(shè)計(jì)環(huán)內(nèi)去塊濾波的另一種方法是使用一個(gè)非線性雙邊濾波器。非線性雙邊 ist ^ ^ ^ C. Tomasi. R. Manduchi, Bilateral filtering for gray and color images, Proceedings of IEEE Int. Conf. Computer Vision，1998 里有描述，其用來(lái)解決低通濾波 器在處理奇異值時(shí)的缺點(diǎn)，因?yàn)榉蔷€性雙邊濾波器在去除塊效應(yīng)和振鈴效應(yīng)時(shí)非常有效， 同時(shí)保持奇異點(diǎn)的銳度，如邊緣。但是，低通濾波器和非線性雙邊濾波器都不具有頻率選擇 性，從而不能最優(yōu)地抑制高斯噪聲。為了提高客觀質(zhì)量，維納濾波器可以用來(lái)抑制視頻里的高斯噪聲、模糊和失真。維 納濾波器也提供進(jìn)一步的應(yīng)用，如通過(guò)確定運(yùn)動(dòng)估計(jì)或運(yùn)動(dòng)補(bǔ)償模塊里半像素層或四分之 一像素層上的內(nèi)插濾波器系數(shù)，從而改善視頻編碼標(biāo)準(zhǔn)H. 264/AVC的編碼效率，以獲得更 好的圖像預(yù)測(cè)。但是，維納濾波器不能消除塊效應(yīng)，從而無(wú)法改善主觀圖像質(zhì)量。因此需要一種環(huán)內(nèi)濾波，其能夠優(yōu)化主觀質(zhì)量和客觀質(zhì)量。發(fā)明概述本發(fā)明不僅在去除塊效應(yīng)和振鈴效應(yīng)以改善主觀質(zhì)量方面有效，而且能夠?qū)崿F(xiàn)峰 值信噪比(PSNR)增益以改善客觀質(zhì)量，同時(shí)能夠降低比特率以保持編碼效率。本發(fā)明適用 于各種編碼方法和編碼結(jié)構(gòu)，如IPPP、IBBP和分層B。本發(fā)明能夠考慮在每個(gè)視頻幀內(nèi)不同區(qū)域上的不同特性以進(jìn)一步改善圖像質(zhì)量。 為了實(shí)現(xiàn)這種改善，本發(fā)明將每個(gè)幀里的像素分類成增強(qiáng)像素或恢復(fù)像素以確定其類型。 像素是增強(qiáng)像素還是恢復(fù)像素是依照上下文特征如邊界強(qiáng)度來(lái)確定的。為了增強(qiáng)這種分類 的效率，本發(fā)明的一個(gè)實(shí)施例使用基于塊的像素分類而不是樣本層的像素分類以降低計(jì)算 復(fù)雜性。使用基于塊的像素分類同樣能夠增強(qiáng)編碼性能，從而需要較低的比特率。本發(fā)明結(jié)合線性圖像濾波和非線性圖像濾波以改善客觀和主觀方面的圖像質(zhì)量。 通過(guò)結(jié)合線性圖像濾波和非線性圖像濾波，本發(fā)明不僅考慮了像素樣本的光度相似度，而 且考慮了幾何貼近度或空間排序統(tǒng)計(jì)。本發(fā)明使用一個(gè)相似度函數(shù)以將一個(gè)非線性濾波變換成一個(gè)非線性相似度排序 統(tǒng)計(jì)濾波來(lái)考慮光度相似度。此外，本發(fā)明結(jié)合一個(gè)線性濾波如自適應(yīng)維納濾波和非線性 相似度排序統(tǒng)計(jì)濾波，其通過(guò)連接線性濾波和非線性相似度排序統(tǒng)計(jì)濾波來(lái)處理幾何貼近 性或空間排序統(tǒng)計(jì)。通過(guò)確定最優(yōu)權(quán)重向量以最小化一個(gè)代價(jià)函數(shù)，本發(fā)明適合奇異點(diǎn)以更好地保持 邊緣。通過(guò)在重建幀和原始幀之間使用一個(gè)最小均方差(LMSE)準(zhǔn)則，來(lái)優(yōu)化統(tǒng)一環(huán)路濾波 器，并適用于每個(gè)幀。通過(guò)依照像素分類結(jié)果選擇不同特性的濾波器，使得統(tǒng)一環(huán)路濾波器 適用于不同類型的像素。濾波器屬性如濾波器抽頭類型和濾波器抽頭長(zhǎng)度，是基于率失真 優(yōu)化進(jìn)行選擇以最小化濾波后的圖像和原始圖像之間的失真。為了進(jìn)一步增強(qiáng)編碼效率， 可以采用濾波器的對(duì)稱性。濾波器屬性如濾波器抽頭類型和濾波器系數(shù)量化比特被編碼， 然后傳輸?shù)浇獯a端。統(tǒng)一環(huán)路濾波器適用于任何混合視頻編碼系統(tǒng)，如H. 264/AVC，KTA或AVS，并且統(tǒng) 一環(huán)路濾波器能夠代替?zhèn)鹘y(tǒng)視頻編解碼器內(nèi)的去塊環(huán)路濾波器。如以下實(shí)施例所述，本發(fā)明的其它方面也將進(jìn)行披露。


參照以下附圖，其后將詳細(xì)描述本發(fā)明的目的、方面和實(shí)施例，其中圖1顯示一個(gè)統(tǒng)一環(huán)路濾波器的典型實(shí)施例；圖2顯示如何確定像素是增強(qiáng)像素或是恢復(fù)像素的一個(gè)典型實(shí)施例的流程圖；圖3A顯示為一個(gè)圖像亮度(Y)分量的增強(qiáng)像素配置的濾波器抽頭的一個(gè)實(shí)施 例；圖3B顯示為一個(gè)圖像色度(Cr或Cb)分量的增強(qiáng)像素配置的濾波器抽頭的一個(gè) 實(shí)施例；圖4A顯示為一個(gè)圖像亮度(Y)分量的恢復(fù)像素配置的濾波器抽頭的一個(gè)實(shí)施 例；圖4B顯示為圖像色度(Cr或Cb)分量的恢復(fù)像素配置的濾波器抽頭的一個(gè)實(shí)施 例；
圖5顯示編碼器上一個(gè)統(tǒng)一環(huán)路濾波過(guò)程的流程圖；圖6顯示解碼器上一個(gè)統(tǒng)一環(huán)路濾波過(guò)程的流程圖；圖7顯示一個(gè)具有統(tǒng)一環(huán)路濾波的視頻編碼系統(tǒng)的實(shí)施例的模塊示意圖。
發(fā)明詳述圖1顯示本發(fā)明一個(gè)統(tǒng)一環(huán)路濾波的典型實(shí)施例。統(tǒng)一環(huán)路濾波處理一個(gè)進(jìn)行高 性能視頻編碼后的輸入信號(hào)。統(tǒng)一環(huán)路濾波包括一個(gè)像素類型確定單元110、一個(gè)相似度變 換單元120、和一個(gè)集成單元130。像素類型確定單元110根據(jù)將被濾波的像素的上下文特征來(lái)確定像素類型。確定 像素類型，使得具有較高量化誤差的像素能夠被識(shí)別，并分別進(jìn)行處理。具有高量化誤差的 像素有可能是那些靠近區(qū)塊邊界或區(qū)塊轉(zhuǎn)角的像素。例如，像素可以被分成兩種類型增強(qiáng) 像素和恢復(fù)像素。增強(qiáng)像素是具有塊效應(yīng)的邊界像素?；謴?fù)像素是那些不是增強(qiáng)像素的像 素。像素類型的確定是基于像素的上下文特征進(jìn)行的，如邊界強(qiáng)度(BS)。換言之，具有塊效 應(yīng)的區(qū)塊邊界周圍的像素被分類成增強(qiáng)像素。圖2顯示一個(gè)為根據(jù)H. 264/AVC編碼標(biāo)準(zhǔn)確定一個(gè)像素是增強(qiáng)像素或是恢復(fù)像素 的典型實(shí)施例的流程圖。為了確定像素是增強(qiáng)像素還是恢復(fù)像素，有許多分類方法，如塊級(jí) 像素分類和樣本級(jí)像素分類。在一個(gè)實(shí)施例里，塊級(jí)像素分類被用來(lái)降低計(jì)算復(fù)雜性。為 了便于描述，以一個(gè)圖像內(nèi)的兩個(gè)相鄰塊作為例子。這兩個(gè)塊是塊P201和塊Q202。由于 增強(qiáng)像素被定義為邊界像素，因此對(duì)整個(gè)確定過(guò)程選擇步驟211僅考慮塊P201和塊Q202 之間的邊界像素。塊P201和塊Q202之間的邊界強(qiáng)度(BS)是通過(guò)使用圖2內(nèi)的流程進(jìn)行 確定。確定邊界強(qiáng)度(BS)的詳情在 Lou，J. Jagmohan, A. ；He, D ；Lu, L. ；Sun, M. T, H. 264 Deblocking Speedup, IEEETrans. CSVT，Vol. 19，No. 8,2009 里有描述，在此其披露通過(guò)引用 被結(jié)合到本發(fā)明。如果塊P201和塊Q202之間的邊界強(qiáng)度(BS)大于0，那么在塊邊界周圍 的像素則被分類成增強(qiáng)像素，否則，那些塊邊界像素和內(nèi)部塊像素被分類成恢復(fù)像素。盡管 該技術(shù)是示范性的，但應(yīng)該理解，在本發(fā)明里可以使用任何能夠準(zhǔn)確確定邊界強(qiáng)度的技術(shù)。在確定像素是增強(qiáng)像素或是恢復(fù)像素之后，就可以獲得一張像素分類圖，并被提 供到統(tǒng)一環(huán)路濾波100以通過(guò)像素確定單元110進(jìn)行進(jìn)一步的處理。相似度變換單元是將一個(gè)非線性圖像濾波器部分(圖中未顯示)變換成一個(gè)非線 性相似度排序統(tǒng)計(jì)型圖像濾波器部分131，以對(duì)一個(gè)來(lái)自編碼器或解碼器輸出的重建信號(hào) 進(jìn)行濾波。非線性圖像濾波器部分是這樣一個(gè)濾波器，其能夠有效地去除圖像噪聲，如高斯 噪聲、塊效應(yīng)和振鈴效應(yīng)，并保持邊緣銳度。非線性圖像濾波器部分的一個(gè)典型實(shí)施例是一 個(gè)排序統(tǒng)計(jì)型濾波器，但本發(fā)明并不僅限于此。非線性圖像濾波器部分的變換是由相似度變換單元120執(zhí)行的，通過(guò)將非線性圖 像濾波器部分轉(zhuǎn)換成一個(gè)濾波器，其使一個(gè)非線性濾波器能夠與一個(gè)線性濾波器結(jié)合。形 成的濾波器是一個(gè)非線性濾波器，其能夠以最小化均方差被優(yōu)化。該濾波器的一個(gè)實(shí)施例 是但不限于是一個(gè)非線性相似度排序統(tǒng)計(jì)型圖像濾波器部分131。一個(gè)線性濾波器的常用函數(shù)是y = WX。y是線性濾波器的輸出，W是線性濾波器系 數(shù)向量，而X是觀察向量。而不是直接使用觀察向量X= (X1,X2,…，xM)T，我們使用排序統(tǒng) 計(jì)向量I。排序統(tǒng)計(jì)向量被定義為\ = (x⑴，x(3),…，X(m))t，其中\(zhòng)的元素是升序排列x⑴(x⑵ x(M)。因此，排序統(tǒng)計(jì)濾波的輸出是 其中是M個(gè)被優(yōu)化的濾波器系數(shù)的向量。在一個(gè)實(shí)施例里，僅有一個(gè)小權(quán)重被 賦予排序統(tǒng)計(jì)的極限階，以增強(qiáng)出現(xiàn)奇異點(diǎn)時(shí)濾波的強(qiáng)健性。這是因?yàn)槠娈慄c(diǎn)傾向位于排 序統(tǒng)計(jì)的極限階。但是，排序統(tǒng)計(jì)信息僅提供像素奇異點(diǎn)的有限指示。在另一個(gè)實(shí)施例里，為了引入 如雙邊濾波器中的光度相似度信息，需要將觀察向量X變換成相似度統(tǒng)計(jì)向量X’ = (X’ ” X’ 2，…，x’ m)T。相似度變換被定義為 其中f (X。，Xi)是相似度函數(shù)，其將比較兩個(gè)樣本，當(dāng)兩者之間的強(qiáng)度差值降低時(shí)， 兩個(gè)樣本之間的相似度增加。實(shí)數(shù)相似度函數(shù)必須滿足以下約束d.limkbn f(a,b) = 1， 相似度函數(shù)的例子包括均勻函數(shù)、高斯函數(shù)和三角函數(shù)。以下相似度函數(shù)被用來(lái) 合并雙邊濾波 其中5是控制相似度變換強(qiáng)度的擴(kuò)散參數(shù)，而Clip (x，y，z)是一個(gè)夾在x和y之 間的z值的函數(shù)。在相似度變換之后，通過(guò)使用以下規(guī)則，相似度統(tǒng)計(jì)向量X’還被排序以形成相似 度排序統(tǒng)計(jì)向量Xs= (x’⑴，x’⑵，…，x’ (m))t 接著，相似度排序統(tǒng)計(jì)濾波的輸出變成 集成單元130將合并非線性相似度排序統(tǒng)計(jì)型圖像濾波部分131和一個(gè)線性圖像 濾波部分132。線性圖像濾波部分132是一個(gè)線性濾波器，其能夠處理因壓縮引起的高斯噪 聲、模糊和失真導(dǎo)致退化的圖像。在一個(gè)實(shí)施例里，線性圖像濾波132是一個(gè)維納濾波器， 維納濾波器的輸出由以下等式提供 其中Wi是N個(gè)被優(yōu)化的濾波器系數(shù)的向量，其通過(guò)使用最小均方差(LMSE)算法獲得。非線性相似度排序統(tǒng)計(jì)型圖像濾波部分131與一個(gè)線性圖像濾波部分132合并， 除光度相似度之外，其允許非線性相似度排序統(tǒng)計(jì)型圖像濾波部分131考慮像素樣本的幾 何貼近度或空間排序統(tǒng)計(jì)。在一個(gè)實(shí)施例里，等式8的線性維納濾波器與等式7的非線性 相似度排序統(tǒng)計(jì)濾波器連接，反之亦然。統(tǒng)一環(huán)路濾波變成 其中Xu = (x，⑴，x，⑵，…，x，(M), Xl，x2,…，xn)t, Wu是一個(gè)M+N個(gè)被優(yōu)化的濾 波器系數(shù)的向量。通過(guò)使用一個(gè)信號(hào)質(zhì)量?jī)?yōu)化單元140以優(yōu)化濾波性能，統(tǒng)一環(huán)路濾波101被進(jìn)一 步優(yōu)化。優(yōu)化涉及確定最優(yōu)的權(quán)重向量W以最小化一個(gè)具體代價(jià)函數(shù)。在一個(gè)實(shí)施例里，均方差被用作代價(jià)函數(shù)，以至代價(jià)函數(shù)可被微分，從而改善客觀和主觀質(zhì)量。對(duì)統(tǒng)一環(huán)路濾波 器里的空間排序和相似度排序統(tǒng)計(jì)的線性合并，以下通過(guò)最小化均方差，可以實(shí)現(xiàn)優(yōu)化 其中X。是原始視頻幀。統(tǒng)一環(huán)路濾波器101還包括一個(gè)濾波器抽頭選擇單元150?；谟上袼胤诸惔_定 單元110獲得的像素分類圖，通過(guò)使用濾波器抽頭選擇單元150，對(duì)各種類型的像素，統(tǒng)一 環(huán)路濾波器101被優(yōu)化。(1)增強(qiáng)像素圖3(A)顯示為圖像量度(Y)分量的增強(qiáng)像素配置的濾波器抽頭的一個(gè)實(shí)施例。濾 波器抽頭以這樣的方式設(shè)置，使得著重去塊增強(qiáng)，同時(shí)考慮恢復(fù)。在一個(gè)實(shí)施例里，非線性 相似度排序統(tǒng)計(jì)型圖像濾波部分131以諸如鉆石型濾波器的形式被選擇，其有一個(gè)抽頭尺 寸，如5抽頭315，并且線性圖像濾波部分132以諸如象限對(duì)稱的鉆石型濾波器的形式被選 擇，其有一個(gè)濾波器抽頭長(zhǎng)度，如一抽頭321、5抽頭325、7抽頭327和9抽頭329。圖3B顯示為圖像色度(Cr或Cb)分量的增強(qiáng)像素配置的濾波器抽頭的一個(gè)實(shí)施 例。在一個(gè)實(shí)施例里，非線性相似度排序統(tǒng)計(jì)型圖像濾波部分131以鉆石型濾波器的形式 被選擇，其有一個(gè)濾波器抽頭長(zhǎng)度，如3抽頭333，并且線性圖像濾波部分132以象限對(duì)稱的 鉆石型濾波器的形式被選擇，其有一個(gè)濾波器抽頭長(zhǎng)度，如一抽頭341和5抽頭345。(2)恢復(fù)像素圖4A顯示為圖像亮度(Y)分量的恢復(fù)像素配置的濾波器抽頭的一個(gè)實(shí)施例。濾 波器抽頭以這樣的方式設(shè)置，使得恢復(fù)得到加強(qiáng)，同時(shí)考慮去振鈴效應(yīng)。在一個(gè)實(shí)施例里， 非線性相似度排序統(tǒng)計(jì)的圖像濾波部分131以十字型濾波器的形式被選擇，其濾波器抽頭 長(zhǎng)度如5抽頭415，而線性圖像濾波分132以中心點(diǎn)對(duì)稱的鉆石型濾波器的形式被選擇，其 濾波器抽頭長(zhǎng)度如5抽頭425、7抽頭427和9抽頭429。圖4B顯示為圖像色度(Cr或Cb)分量的恢復(fù)像素配置的濾波器抽頭的一個(gè)實(shí)施 例。在一個(gè)實(shí)施例里，非線性相似度排序統(tǒng)計(jì)的圖像濾波部分131以十字型濾波器的形式 被選擇，其有一個(gè)濾波器抽頭長(zhǎng)度，如3抽頭433，而線性圖像濾波部分132以中心點(diǎn)對(duì)稱的 鉆石型濾波器的形式被選擇，其有一個(gè)濾波器抽頭長(zhǎng)度，如5抽頭445。圖5顯示在編碼器上一個(gè)統(tǒng)一環(huán)路濾波過(guò)程的流程圖。執(zhí)行像素分類步驟510，基 于將被濾波的像素的上下文特征來(lái)確定像素是增強(qiáng)像素或是恢復(fù)像素。在一個(gè)實(shí)施例里， 邊界強(qiáng)度值(BS值)被用作上下文特征。像素分類步驟510是由像素確定單元110執(zhí)行以 確定一個(gè)像素是增強(qiáng)像素或是恢復(fù)像素。執(zhí)行統(tǒng)一環(huán)路濾波器形成步驟520以將一個(gè)非線 性圖像濾波部分轉(zhuǎn)換成一個(gè)非線性相似度排序統(tǒng)計(jì)型圖像濾波部分，以便通過(guò)相似度變換 單元120對(duì)重建信號(hào)進(jìn)行濾波，并通過(guò)集成單元130連接非線性相似度排序統(tǒng)計(jì)型圖像濾 波部分和一個(gè)線性圖像濾波部分，使得由線性圖像濾波部分濾波的重建信號(hào)也由非線性相 似度排序統(tǒng)計(jì)型圖像濾波部分濾波。執(zhí)行濾波器系數(shù)估計(jì)步驟530以基于最小均方差算法 來(lái)優(yōu)化非線性相似度排序統(tǒng)計(jì)型圖像濾波部分和線性圖像濾波部分，以通過(guò)信號(hào)質(zhì)量?jī)?yōu)化 單元140找出最優(yōu)的統(tǒng)一環(huán)路濾波器系數(shù)。濾波器抽頭選擇步驟540是由濾波器抽頭選擇 單元150執(zhí)行。增強(qiáng)像素和恢復(fù)像素的每個(gè)統(tǒng)一環(huán)路濾波的濾波器抽頭長(zhǎng)度是通過(guò)但不限于整個(gè)幀內(nèi)的率失真優(yōu)化選擇進(jìn)行確定的。Jfilter = D+AR(9)其中D是濾波幀和最優(yōu)幀之間的失真，而R表示濾波器編碼開(kāi)銷比特。濾波器編 碼開(kāi)銷比特包括濾波器抽頭類型和濾波器系數(shù)量化比特。濾波器抽頭選擇步驟540將同時(shí) 挑選一組濾波器抽頭類型和濾波器抽頭長(zhǎng)度用于非線性相似度排序統(tǒng)計(jì)圖像濾波部分131 和線性圖像濾波部分132。測(cè)量濾波后的幀和原始幀之間的失真。不同組的濾波器抽頭類 型和濾波器抽頭長(zhǎng)度被用來(lái)重復(fù)統(tǒng)一環(huán)路濾波步驟520和濾波器系數(shù)估計(jì)步驟530以獲得 不同的失真結(jié)果。所有失真結(jié)果相互進(jìn)行比較以確定哪一組濾波器抽頭類型和濾波器抽頭 長(zhǎng)度提供最小失真，然后其將被用來(lái)對(duì)幀進(jìn)行濾波。濾波器抽頭和系數(shù)編碼步驟550是由濾波器信息編碼單元160執(zhí)行以編碼濾波器 信息，如濾波器抽頭類型和濾波器系數(shù)量化比特，并傳送同一信息到解碼器端。濾波器系數(shù) 以兩種方式進(jìn)行編碼采用指數(shù)-哥倫布碼的時(shí)域預(yù)測(cè)編碼和10比特的固定長(zhǎng)度編碼(一 個(gè)比特用于符號(hào)，9個(gè)比特用于幅值)。圖6顯示在解碼器上一個(gè)統(tǒng)一環(huán)路濾波過(guò)程的流程圖。執(zhí)行像素分類步驟610以 基于將被濾波的像素的上下文特征來(lái)確定像素類型。在一個(gè)實(shí)施例里，邊界強(qiáng)度值(BS值) 被用作上下文特征。像素分類步驟510是由像素確定單元110執(zhí)行，以確定像素是增強(qiáng)像 素或是恢復(fù)像素。濾波器抽頭和系數(shù)步驟620是由濾波器信息解碼單元(圖中未顯示)執(zhí) 行，以提供濾波器信息，如濾波器抽頭類型、濾波器抽頭長(zhǎng)度和濾波器系數(shù)量化比特，給統(tǒng) 一環(huán)路濾波器形成步驟630。統(tǒng)一環(huán)路濾波器形成步驟630將一個(gè)非線性圖像濾波部分變換成一個(gè)非線性相 似度排序統(tǒng)計(jì)圖像濾波部分，以便通過(guò)相似度變換單元120對(duì)重建信號(hào)進(jìn)行濾波，并使用 集成單元130連接非線性相似度排序統(tǒng)計(jì)圖像濾波部分和一個(gè)線性圖像濾波部分，使得由 線性圖像濾波部分濾波的重建信號(hào)也由非線性相似度排序統(tǒng)計(jì)圖像濾波部分進(jìn)行濾波。圖像幀是由統(tǒng)一環(huán)路濾波器形成步驟630上形成的統(tǒng)一環(huán)路濾波器在圖像濾波 步驟640里進(jìn)行濾波。圖7顯示一個(gè)具有統(tǒng)一環(huán)路濾波的視頻編碼系統(tǒng)的一個(gè)實(shí)施例的模塊示意圖。視 頻編碼系統(tǒng)的輸入是一個(gè)視頻701，并且通過(guò)從當(dāng)前幀減去一個(gè)參考幀而獲得一個(gè)殘余圖 象。殘余圖像通過(guò)變換710和量化720。在變換和量化之后，殘余圖像通過(guò)逆變換和去量 化730重新獲取。殘余圖像與參考幀合并以獲得一個(gè)重建圖像。重建圖像由統(tǒng)一環(huán)路濾波 750進(jìn)行濾波以提供一個(gè)被濾波的圖像用于顯示或存儲(chǔ)在一個(gè)參考緩沖器760上作為幀內(nèi) 預(yù)測(cè)771或幀間預(yù)測(cè)772的一個(gè)參考圖像。參考圖像與來(lái)自視頻701的當(dāng)前幀一起也被用 來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)780。通常，統(tǒng)一環(huán)路濾波的各種實(shí)施例可以實(shí)施在各種終端設(shè)備或用戶設(shè)備內(nèi)，包括 但不限于移動(dòng)電話和其它無(wú)線通信設(shè)備、個(gè)人數(shù)字助理(PDA)、便攜式和臺(tái)式計(jì)算機(jī)、圖像 /視頻設(shè)備如數(shù)碼相機(jī)、音頻-視頻(AV)裝置如視頻播放器、游戲機(jī)設(shè)備、允許訪問(wèn)和瀏覽 的互聯(lián)網(wǎng)或局域網(wǎng)(LAN)設(shè)備，以及集合上述這些功能的便攜式單元或設(shè)備。本發(fā)明實(shí)施例可以以軟件、硬件、應(yīng)用程序邏輯或一個(gè)組合的軟件、硬件和應(yīng)用程 序邏輯的方式實(shí)施。軟件、應(yīng)用程序邏輯和/或硬件可以安置在集成電路芯片、模組或存儲(chǔ) 器上。如果期望的話，部分軟件、硬件和/或應(yīng)用程序邏輯可以安置在集成電路芯片上，部分軟件、硬件和/或應(yīng)用程序邏輯可以安置在模組上，并且部分軟件、硬件和/或應(yīng)用程序 邏輯可以安置在存儲(chǔ)器上。在一個(gè)典型實(shí)施例里，應(yīng)用程序邏輯、軟件或指令集合保留在任 何一個(gè)各種傳統(tǒng)計(jì)算機(jī)可讀媒介上。在本應(yīng)用的上下文里，“計(jì)算機(jī)可讀媒介”可以是任何 媒介或裝置，其能夠保留、存儲(chǔ)、傳送、傳播和發(fā)送指令由指令可執(zhí)行系統(tǒng)、裝置或設(shè)備如計(jì) 算機(jī)使用或與之相連系。計(jì)算機(jī)可讀媒介可以包括一個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒介，其可以是任 何媒介或裝置，其能夠保留或存儲(chǔ)指令由指令執(zhí)行系統(tǒng)、裝置或設(shè)備如計(jì)算機(jī)使用或與之 相連系?？蛇x地，在此所述的不同函數(shù)可以以不同次序和/或互相并行地執(zhí)行。此外，如果 期望的話，一個(gè)或多個(gè)上述函數(shù)可以是選擇性的或可以被合并。盡管在所附權(quán)利要求里闡述了本發(fā)明的各個(gè)方面，但本發(fā)明的其它方面包括所述 實(shí)施例的特征和/或具有獨(dú)立權(quán)利要求特征的附屬權(quán)利要求的特征的組合，而不僅僅是在 權(quán)利要求里闡述的特征組合。在此也會(huì)注意到，雖然以上描述了本發(fā)明的典型實(shí)施例，但這些描述不應(yīng)該被看 作是限制性的含義，相反，對(duì)其可以作出一些變化和修改，而不會(huì)脫離如所附權(quán)利要求所定 義的本發(fā)明的范圍。
權(quán)利要求
一個(gè)用于對(duì)輸入信號(hào)進(jìn)行視頻編碼后的重建信號(hào)的統(tǒng)一環(huán)路濾波器，包括一個(gè)像素分類確定單元，其根據(jù)將被濾波的像素的上下文特征來(lái)確定像素分類的類型；一個(gè)相似度變換單元，其將一個(gè)非線性圖像濾波部分變換成一個(gè)非線性相似度排序統(tǒng)計(jì)圖像濾波部分，以便對(duì)一個(gè)來(lái)自編碼器或解碼器輸出的重建信號(hào)進(jìn)行濾波；和一個(gè)集成單元，其集成由相似度變換單元產(chǎn)生的非線性相似度排序統(tǒng)計(jì)圖像濾波器部分和一個(gè)線性圖像恢復(fù)濾波器部分構(gòu)成，使得重建信號(hào)能被非線性濾波器和線性濾波器統(tǒng)一濾波；其中線性圖像濾波部分能夠改善重建信號(hào)的客觀質(zhì)量，并且非線性圖像濾波部分能夠改善重建信號(hào)的主觀質(zhì)量。
2.根據(jù)權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器，還包括一個(gè)信號(hào)質(zhì)量?jī)?yōu)化單元，其基于最小均方差算法來(lái)優(yōu)化非線性相似度排序統(tǒng)計(jì)圖像濾 波器部分和線性圖像恢復(fù)濾波器部分以找出最佳的統(tǒng)一環(huán)路濾波器系數(shù)。
3.根據(jù)權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器，還包括一個(gè)濾波器抽頭選擇單元，其基于率失真優(yōu)化，為每個(gè)非線性圖像濾波器部分和非線 性圖像濾波器部分選擇一個(gè)濾波器抽頭。
4.根據(jù)權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器，還包括一個(gè)濾波器系數(shù)編碼器，其通過(guò)采用指數(shù)_哥倫布碼的時(shí)域預(yù)測(cè)編碼對(duì)統(tǒng)一環(huán)路濾波 器的濾波器系數(shù)進(jìn)行編碼。
5.根據(jù)權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器，還包括一個(gè)濾波器系數(shù)編碼器，其通過(guò)一個(gè)固定長(zhǎng)度編碼對(duì)統(tǒng)一環(huán)路濾波器的濾波器系數(shù)進(jìn) 行編碼。
6.根據(jù)權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器，其中 相似度變換單元還對(duì)相似度統(tǒng)計(jì)向量的分量進(jìn)行排序；其中一個(gè)相似度函數(shù)，是從均勻函數(shù)、高斯函數(shù)或三角函數(shù)里挑選出來(lái)的，被用來(lái)將排 序統(tǒng)計(jì)向量變換成相似度統(tǒng)計(jì)向量。
7.一種統(tǒng)一環(huán)路濾波方法，用于對(duì)來(lái)自編碼器和解碼器輸出的重建信號(hào)進(jìn)行濾波，包括使用權(quán)利要求1所述的統(tǒng)一環(huán)路濾波，對(duì)將被濾波的重建信號(hào)進(jìn)行濾波。
8.—種對(duì)重建信號(hào)進(jìn)行濾波的統(tǒng)一環(huán)路濾波方法，包括基于像素的上下文特征，確定一個(gè)將被濾波的像素的分類類型； 將一個(gè)非線性圖像濾波器部分變換成一個(gè)非線性相似度排序統(tǒng)計(jì)圖像濾波器部分，以 便對(duì)重建信號(hào)進(jìn)行濾波；和連接非線性相似度排序統(tǒng)計(jì)圖像濾波器部分和一個(gè)線性圖像恢復(fù)濾波器部分，使得重 建信號(hào)能被非線性濾波器和線性濾波器統(tǒng)一濾波；其中線性圖像濾波器部分能夠改善重建信號(hào)的客觀質(zhì)量，而非線性相似度排序統(tǒng)計(jì)的 圖像濾波器部分能夠改善重建信號(hào)的主觀質(zhì)量。
9.根據(jù)權(quán)利要求8所述的統(tǒng)一環(huán)路濾波方法，還包括基于最小均方差算法，優(yōu)化非線性圖像濾波器部分和線性圖像濾波器部分以找出最優(yōu)的統(tǒng)一環(huán)路濾波器系數(shù)。
10.根據(jù)權(quán)利要求9所述的統(tǒng)一環(huán)路濾波方法，還包括基于率失真優(yōu)化，為每個(gè)線性圖像濾波器部分和非線性圖像濾波器部分，選擇一個(gè)濾 波器抽頭。
11.根據(jù)權(quán)利要求9所述的統(tǒng)一環(huán)路濾波方法，還包括通過(guò)一個(gè)采用指數(shù)_哥倫布碼的時(shí)域預(yù)測(cè)編碼，對(duì)統(tǒng)一環(huán)路濾波器的濾波器系數(shù)進(jìn)行編碼。
12.根據(jù)權(quán)利要求9所述的統(tǒng)一環(huán)路濾波方法，還包括通過(guò)一個(gè)固定長(zhǎng)度編碼對(duì)統(tǒng)一環(huán)路濾波器的濾波器系數(shù)進(jìn)行編碼。
13.根據(jù)權(quán)利要求8所述的統(tǒng)一環(huán)路濾波方法，還包括 對(duì)相似度統(tǒng)計(jì)向量的分量進(jìn)行排序；其中一個(gè)相似度函數(shù)，是從均勻函數(shù)、高斯函數(shù)或三角函數(shù)里挑選出來(lái)的，被用來(lái)將排 序統(tǒng)計(jì)向量變換成相似度統(tǒng)計(jì)向量。
14.一個(gè)對(duì)數(shù)字視頻信號(hào)進(jìn)行編碼的編碼器，包括 如權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器；和一個(gè)環(huán)路單元，其使用多個(gè)濾波器抽頭類型和濾波器長(zhǎng)度迭代形成統(tǒng)一環(huán)路濾波器以 執(zhí)行率失真優(yōu)化選擇。
15.一個(gè)對(duì)數(shù)字視頻信號(hào)進(jìn)行解碼的解碼器，包括 如權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器；和一個(gè)解碼單元，用于解碼濾波器信息以獲取參數(shù)用來(lái)形成統(tǒng)一環(huán)路濾波器。
16.一個(gè)用于進(jìn)行視頻壓縮的系統(tǒng)，包括第一單元，其在從當(dāng)前視頻信號(hào)減去參考視頻信號(hào)而獲得的一個(gè)殘余視頻信號(hào)上執(zhí)行 變換和量化；第二單元，其用于執(zhí)行逆變換和去量化以獲得殘余視頻信號(hào)，使得一個(gè)重建的當(dāng)前視 頻信號(hào)是通過(guò)添加殘余視頻信號(hào)和參考視頻信號(hào)而形成；和 如權(quán)利要求1所述的統(tǒng)一環(huán)路濾波器。
全文摘要
本發(fā)明涉及用于改善編碼視頻質(zhì)量的方法和裝置。本發(fā)明提供一個(gè)統(tǒng)一環(huán)路濾波器，其包括一個(gè)像素分類確定單元，其根據(jù)上下文信息來(lái)確定像素分類類型；一個(gè)相似度變換單元，其將一個(gè)非線性濾波器變換成一個(gè)非線性相似度排序統(tǒng)計(jì)濾波器；以及一個(gè)集成單元，其將非線性相似度排序統(tǒng)計(jì)濾波器與一個(gè)線性圖像恢復(fù)濾波器集成在一起。當(dāng)編碼器或解碼器正在處理一個(gè)視頻信號(hào)時(shí)，統(tǒng)一環(huán)路濾波器適用于對(duì)重建幀進(jìn)行濾波。
文檔編號(hào)H04N7/26GK101841706SQ20101012655
公開(kāi)日2010年9月22日 申請(qǐng)日期2010年2月12日 優(yōu)先權(quán)日2009年12月10日
發(fā)明者劉雨, 火焰, 鄭嘉雯 申請(qǐng)人:香港應(yīng)用科技研究院有限公司