專利名稱：數(shù)字圖像的過濾方法和過濾設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及減弱以塊編碼并解碼的數(shù)字圖像中可見贗像的一種方法。本方法中實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像。本發(fā)明還涉及減弱以塊編碼并解碼的數(shù)字圖像中可見贗像的一種設(shè)備，該設(shè)備包括為實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像的設(shè)備。本發(fā)明還涉及一種編碼器，包括有編碼設(shè)備以及按塊對數(shù)字圖像就地解碼的設(shè)備。該編碼器包括有實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像的設(shè)備。本發(fā)明還涉及一種解碼器，包括按塊對數(shù)字圖像解碼的設(shè)備。該解碼器包括有實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像的設(shè)備。本發(fā)明還涉及一種含有編碼器的終端，它包括有編碼設(shè)備以及按塊對數(shù)字圖像就地解碼的設(shè)備，還有實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像的設(shè)備。本發(fā)明進一步還涉及一種終端，包括有以塊解碼數(shù)字圖像的設(shè)備，和實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像的設(shè)備。本發(fā)明進而涉及一種存儲介質(zhì)，用于存儲包含機器可執(zhí)行步驟的軟件程序，這些程序用于以塊對數(shù)字視頻訊號編碼和就地解碼，同時用于實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像。本發(fā)明進一步還涉及一種存儲介質(zhì)，用于存儲包含機器可執(zhí)行步驟的軟件程序，這些程序用于以塊對數(shù)字視頻訊號解碼，同時用于實施過濾以減弱源于當前塊與相鄰塊之間邊界的可見贗像。


圖1中的安排通常用于傳輸壓縮形式的數(shù)字視頻序列。數(shù)字視頻序列由一般稱為幀的序列圖像構(gòu)成。在某些現(xiàn)有技術(shù)的數(shù)字視頻傳輸系統(tǒng)中，例如ITU-T H.261/H.263推薦標準，至少定義了3種幀類型I幀(內(nèi)部)，P幀(預測或交互)以及B幀(雙向)。I幀的生成僅僅以接收端圖像本身所含信息為基礎(chǔ)，此I幀可以用于形成整個圖像。P幀以早先的I幀或P幀為基礎(chǔ)形成。這時在接收級，早先的I幀或P幀與接收的P幀一起相應地應用于重建圖像。在P幀的組成中，例如運動補償用于信息量的壓縮。B幀以一個或多個早前P幀，或者I幀和/或一個或多個后續(xù)的P幀或I幀為基礎(chǔ)形成。
幀進一步劃分為塊。一幀可以包括不同類型的塊。一個預測幀(例如交互幀)也可以包含非預測型。換句話說，某些P幀的塊可以實際是內(nèi)編碼的。而且，某些視頻編碼器可以運用獨立段編碼的概念。這時幾個塊組合在一起形成段，然后對它們彼此獨立地進行編碼。在特定段內(nèi)，所有的塊都是同一類型。例如，如果P幀主要由預測塊和某些內(nèi)部編碼塊組成，該幀就被認為由內(nèi)部塊的至少一個段和預測塊的至少一個段組成。
正如人們熟知的，數(shù)字圖像包含圖像像素陣列。對于單色圖像的情況，每個像素的像素值在某一定范圍之內(nèi)(例如0-255)，它表示了像素的亮度。對于彩色圖像，像素值可以用許多不同的方式表示。一個常用的表示法稱為RGB彩色模型。每個像素用3個值描述。其一相應于紅色成分的值，另一相應于綠色成分的值，第三個相應于藍色成分的值。還有許多其他的彩色模型，它們應用不同的表示方法，其中之一是熟知的YUV彩色模型。圖像像素以一個亮度成分(Y)和兩個色度或色差成分(U，V)表示，每一個都被賦予一個像素值。
通常采用亮度和色度成分的彩色模型對彩色圖像的表示比RGB模型更有效率。人們還知道這種彩色模型的亮度成分通常對圖像的感知結(jié)構(gòu)提供了最多信息。尤其是它容許圖像的色度成分被空間子取樣而對感知圖像質(zhì)量沒有嚴重損失。由于這些原因，應用亮度/色度表示的彩色模型被許多應用采納，特別是對于數(shù)據(jù)存貯空間、處理能力或傳輸帶寬有限的情況。
上面提到，在YUV彩色模型中，圖像以一個亮度成分和兩個色度成分表示。典型情況是，圖像中的亮度信息以全空間分辨轉(zhuǎn)送，兩個色度信號被空間子取樣，例如一個16×16像素的場被子取樣成8×8像素的場。塊大小的差別主要是由于這一事實人眼對色度變化的感知不像對亮度的變化那樣好，其中2×2像素的場以相同的色度值編碼。
通常圖像塊組合成宏塊。宏塊一般含有16像素×16行亮度樣品，模式信息以及可能的運動矢量。宏塊分成4個8×8亮度塊和2個8×8色度塊。掃描(以及編碼/解碼)逐個宏塊地進行，通常從幀的左上角至右下角，在某個宏塊之內(nèi)，掃描(以及編碼/解碼)的次序是從宏塊的左上角至右下角。
參見圖1，它表示了一個典型的編碼和解碼系統(tǒng)(codec)，例如應用于數(shù)字視頻傳輸中，一個待編碼的當前幀作為輸入數(shù)據(jù)In(x，y)來到傳輸系統(tǒng)1O。輸入數(shù)據(jù)In(x，y)一般取像素值信息形式。在差分相加器11中，通過將它減去早先圖像的基礎(chǔ)上形成的預測幀Pn(x，y)轉(zhuǎn)化戍預測誤差幀En(x，y)。預測誤差幀在單元12中以下面將要說明的方式進行編碼，并且將編碼的預測誤差幀送到多路復用器13。為形成新的重建幀，編碼的預測誤差幀也送到解碼器14，產(chǎn)生出解碼的預測誤差幀 在相加器15中與預測幀Pn(x，y)相疊加，得到重建幀n(x，y)，將重建幀保存在幀存儲器16。為了下一幀編碼，保存在幀存儲器中的重建幀作為參考幀Rn(x，y)被讀出并按公式(1)在運動補償和預測單元17中轉(zhuǎn)換成新的預測幀Pn(x，y)Pn(x，y)＝Rn[x+Dx(x，y)，y+Dy(x，y)] (1)這對數(shù)[Dx(x，y)，Dy(x，y)]稱為位置(x，y)處像素的運動矢量，數(shù)Dx(x，y)和Dy(x，y)是像素的水平和垂直偏移，它們在運動估計單元18中進行計算。運動矢量組[Dx(.)，Dy(.)]包括與待壓縮幀的像素相關(guān)的全部運動矢量，并且以含有基本函數(shù)和系數(shù)的運動模型進行編碼。基本運動函數(shù)對于編碼器和解碼器都是已知的。系數(shù)值被解碼并送往多路復用器13，與編碼的預測的誤差幀一起混合進同一數(shù)據(jù)流，送往接收機。通過這種方式，待傳輸?shù)男畔⒘看蟠鬁p少了。
有些幀是部分，有些幀是全體。因此僅用參考幀Rn(x，y)就難于預測，即編碼時運用補償預測是不實際的。這些幀或幀的部分以內(nèi)部編碼編碼，而無需來自參照幀Rn(x，y)的任何預測，從而有關(guān)它們的運動矢量信息就不送到接收機。現(xiàn)有技術(shù)中，對于I幀或P幀的內(nèi)編碼部分有另一種預測可以利用，即內(nèi)預測。在這種情況里，參照由早前的解碼形成，而重建塊是同一幀(如果采用獨立段解碼就是片)的一部分。
在接收機2O中，多路分離器21分離編碼的預測誤差幀和由運動矢量傳送的運動信息，并且將編碼的預測誤差幀送到解碼器22，由它生成解碼的預測誤差幀 并在相加器23中與基于早前幀形成的預測幀Pn(x，y)相加，得到解碼和重建的幀n(x，y)。解碼幀送到解碼器的輸出24，同時保存在幀存儲器25。當對下一幀解碼時，保存在幀存儲器中的幀被作為參照幀Rn(x，y)讀出，而且按照上述公式(1)在運動補償和預測單元26中轉(zhuǎn)換成新的預測幀。
用于預測誤差幀編碼的編碼方法，以及未采用運動預測的待發(fā)送幀或部分P幀的內(nèi)編碼方法通常都以變換法為基礎(chǔ)，最普通的是離散余弦變換DCT。幀被劃分成相鄰的塊，其大小例如是8×8像素，對待編碼塊的變換進行計算，得到一系列的項，這些項的系數(shù)在離散尺度上進行量化，以便可以對它們進行數(shù)字化處理。量化將引起舍入誤差，它們在以塊重建的圖像中成為可見的，即在相鄰塊之間的邊界上像素的值是不連續(xù)的。由于有些解碼幀被用于對后續(xù)預測幀(P)計算預測幀，這些誤差將在后續(xù)幀中傳播，因此通過接收機在重現(xiàn)的圖像中形成可見的邊界。這類圖像誤差稱為塊贗像。其次，如果采用了內(nèi)預測，塊贗像還可以在給定的幀中從一個塊傳播到另一塊。對于這種情況，塊贗像通常引起視覺效應，這是由所采用的內(nèi)預測的類型決定的。因此人們應該認識到，數(shù)字圖像為傳輸而編碼及隨后的解碼中，存在著與塊贗像在空間和時間里傳播有關(guān)的嚴重技術(shù)問題。
上面提到的原則也可以應用于段幀的情況。這時根據(jù)各段中塊的類型，編碼和解碼是在幀的段中進行。
還應注意，雖然前面的討論及后續(xù)的許多說明都集中在本發(fā)明對圖像序列的應用，如數(shù)字影像，基于本發(fā)明的方法也可以應用于單獨的數(shù)字圖像(例如靜止圖像)?；旧匣诒景l(fā)明的方法可以應用于任何數(shù)字圖像，它們以塊-塊為基礎(chǔ)采用任何編碼/解碼方法進行編碼/解碼。
另外，基于本發(fā)明的方法可以應用于數(shù)字圖像的任何亮度和彩色成分。以YUV彩色模型表示的圖像為例，正如上面介紹的，基于本發(fā)明的方法可以應用于亮度(Y)成分，兩色度成分(U和V)的一個成分(U或V)，或者3個成分(Y，U，V)。在這種情況下，人們熟知的是，亮度成分提供有關(guān)圖像結(jié)構(gòu)和內(nèi)容的更豐富的重要感知信息，所以將基于本發(fā)明的方法僅僅應用于亮度成分也就足夠了。但是基于本發(fā)明的方法的應用對于亮度/彩色/彩色差成分的組合或數(shù)目并沒有限制。
已知有些現(xiàn)有技術(shù)可用于消除塊贗像，這種方法有下述特征-為了消除塊贗像，要確定那些像素需要值校正，-以像素周圍配置的過濾窗所包括的其他像素的值為基礎(chǔ)，對每個待校正的像素確定恰當?shù)牡屯ㄟ^濾，-對待校正像素計算新值，以及
-對新值舍入到最接近的數(shù)字化像素值。
影響過濾器的選擇以及決定是否采用過濾的因素可以是，例如，跨越塊邊界像素值之間的差；接收到的變換結(jié)果里系數(shù)的量化步的大小；以及正處理中像素不同邊上像素值之間的差。
現(xiàn)有技術(shù)的方法中，塊及其他類型可見贗像的過濾是逐幀進行的，即先對整個幀解碼再過濾，其結(jié)果是塊贗像的效應很容易地在幀內(nèi)傳播著，或者從一個幀傳到下一個幀。此現(xiàn)象對于采用預測內(nèi)編碼的情況特別明顯。
已經(jīng)發(fā)現(xiàn)現(xiàn)有技術(shù)的方法還有將屬于像的實際內(nèi)容的線刪除的傾向。另一方面，現(xiàn)有技術(shù)方法不是總能消除所有的塊贗像或與塊相關(guān)的贗像。
基于本發(fā)明的方法的首要目的是限制塊贗像在幀內(nèi)傳播，以及從一幀傳向另一幀。本發(fā)明的另一目的是提供一種新型過濾安排，用于消除塊贗像及其他與塊相關(guān)贗像，它們在采用預測內(nèi)編碼的時候特別明顯可見。本發(fā)明還有一個目的是，該方法及相應的設(shè)備，比現(xiàn)有技術(shù)的方法運行得更可靠、更有效。
本發(fā)明的這些目的是這樣實現(xiàn)的塊邊界過濾基本上是緊接在圖像塊解碼后立即進行，并且至少有一個塊邊界可供過濾。除了其他特色，本方法尤其表現(xiàn)出一種優(yōu)勢，即塊贗像和其他贗像的空間和時間傳播與現(xiàn)有技術(shù)相比受到很大程度的抑制。再者，早前塊邊界過濾運行的結(jié)果可以利用到后續(xù)塊的編碼、解碼和過濾中。換句話說，與某邊界過濾相聯(lián)系的改動/校正像素值，可以應用于其他塊編碼和解碼的時候，以及其他塊/塊邊界過濾的時候。
根據(jù)本發(fā)明的第一方面，提供了一種減弱由于對塊編碼而從幀發(fā)生的塊贗像和其他贗像(主要由塊贗像引起)的方法，其特征在于過濾在當前塊解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第二方面，提供了一臺設(shè)備用于實施基于本發(fā)明的方法?；诒景l(fā)明的裝置的特征在于過濾被安排在當前塊解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第三方面，提供了為實施本發(fā)明方法的編碼器(包括解碼器)用于編碼數(shù)字圖像。基于本發(fā)明的編碼器的特征在于，過濾被安排在當前塊就地解碼之后并且在當前塊與早前就地解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第四方面，提供了為實施基于本發(fā)明的方法的解碼器，用于解碼數(shù)字圖像。基于本發(fā)明的解碼器的特征在于，過濾被安排在當前塊解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第五方面，它提供具有數(shù)字圖像傳輸能力的終端和實施基于本發(fā)明的方法?；诒景l(fā)明的終端的特征在于，過濾被安排在當前塊就地解碼之后并且在當前塊與早前就地解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第六方面，提供了具有數(shù)字圖像解碼能力的終端和實施基于本發(fā)明的方法?；诒景l(fā)明的終端的特征在于，過濾被安排在當前塊解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時實施。
根據(jù)本發(fā)明的第七方面，提供一種存儲介質(zhì)，存儲含有實施基于本發(fā)明的指令的軟件程序?；诒景l(fā)明的存儲介質(zhì)的特征在于，軟件程序還包括有機器可執(zhí)行步驟，用于實施當前塊就地解碼之后并且當前塊與早前就地解碼塊之間有可供過濾的邊界時的過濾。
根據(jù)本發(fā)明的第八方面，提供了一種存儲介質(zhì)，存儲含有用于塊解碼數(shù)字視頻信號的機器可執(zhí)行步驟的軟件程序，以及實現(xiàn)基于本發(fā)明的方法的指令。基于本發(fā)明的存儲介質(zhì)特征在于，軟件程序還包括機器可執(zhí)行步驟，用于實施當前塊解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時的過濾。
由于塊贗像發(fā)生在塊邊界處，只過濾塊邊界處及其附近的像素是有益的。邊緣是圖像本身一部分，可以駐留在圖像區(qū)的任何部位。為了僅僅將含有塊贗像的像素選出進行校正過濾，而且作為圖像的一部分的邊緣的質(zhì)量在過濾中不受影響，作如下假定邊緣是圖像的一部分，與它相聯(lián)系的像素值的變化通常比塊贗像相聯(lián)系的大，而且圖像里的這些邊緣，它們像素值變化小，沒有嚴重受到由過濾產(chǎn)生的像素值差的舍入影響。
應該注意到基于本發(fā)明的方法的應用無需考慮實際過濾操作方式的選擇，以及過濾中邊緣附近像素數(shù)的選擇。除了其他特色外，本發(fā)明尤其與編碼/解碼過程中過濾實施的部分有關(guān)，也與應用過濾的方式有關(guān)，而與可能采用的任何特定實施過濾的精確細節(jié)無關(guān)。
由于待編碼圖像一般劃分為垂直、水平兩種塊，圖像將含有垂直和水平兩種塊邊界?？紤]到垂直塊邊界，存在著邊界左、右的像素，考慮到水平塊邊界，存在著邊界上、下的像素。通常像素的位置可以用它位于邊界的第一邊或第二邊來描述。
基于本發(fā)明的方法和相聯(lián)系的裝置，顯著地抑制了同一幀里由于塊贗像現(xiàn)象引起的視覺反常從早前重建塊向后續(xù)重建塊的傳播，或者—如果采用獨立段解碼器的話—在同一段中的傳播也減弱了。塊贗像從一個幀向下一幀的傳播也被減弱。通過使用基于本發(fā)明的方法和裝置，大量的塊贗像或與塊相關(guān)的贗像被消除了，同時沒有過份地淡化圖像中的實邊緣。
以下參照優(yōu)選實施方案和附圖，對本發(fā)明進行詳細說明。其中圖1顯示基于現(xiàn)有技術(shù)的數(shù)字視頻編碼器和解碼器，圖2顯示基于本發(fā)明優(yōu)選實施方案的方法中有利塊掃描順序，圖3顯示基于本發(fā)明優(yōu)選實施方案的有利塊邊界過濾順序，圖4顯示基于本發(fā)明優(yōu)選實施方案中有利過濾順序，圖5顯示用于實施基于本發(fā)明的方法的數(shù)字圖像塊傳輸系統(tǒng)，圖6表示基于本發(fā)明的方法的流程圖，以及圖7是實現(xiàn)基于本發(fā)明的便攜式視頻通信裝置的示意圖。
以下主要參照圖2至6對本發(fā)明及其優(yōu)選實施方案進行說明。
下面對數(shù)字圖像解碼器的運行進行說明?；诒景l(fā)明的數(shù)字圖像傳輸系統(tǒng)中，例如圖5中顯示的，在編碼器和解碼器中使用的塊和塊邊界掃描的順序是相同的，即對編碼器和解碼器兩者都是已知的。然而，對于實施基于本發(fā)明的方法，特定掃描順序選擇并不是必要的。圖2顯示的是包含有塊組(例如宏塊)的某個幀的有利掃描順序。首先，解碼左上塊B1，即代表(例如)塊的亮度信息的像素值被重建并存入幀緩沖器。然后解碼右上塊B2，并存入幀緩沖器?，F(xiàn)在，左上塊B1與右上塊B2之間的第一個垂直邊界R12的兩側(cè)各有一解碼塊，所以邊界R12可以被過濾。有利的是，只有那些被過濾改變了的像素值才在幀緩沖器中被更新。人們知道多種在塊邊界上進行過濾的方法，現(xiàn)有技術(shù)中有一種可以實施于本發(fā)明的過濾方法在國際專利出版物WO/98/41024上公開了。這里引用為參考資料。
下一步對正在討論的塊組中的左下塊B3進行解碼，并存入幀緩沖器?，F(xiàn)在左上塊B1與左下塊B3之間的第一水平邊界R13的兩側(cè)都有解碼塊，其中此第一水平邊界R13也可以被過濾。在第一垂直邊界R12的過濾中，第一水平邊界R13附近的某些像素值可能已經(jīng)被改變了。有利的是這些改動過的值被用在第一水平邊界R13的過濾中。這有助于進一步抑制可視贗像在同一幀中從早前重建塊向后續(xù)重建塊傳播，或者，如果采用的是獨立段編碼/解碼，就是抑制贗像在同一段中的傳播。
現(xiàn)在宏塊里的第四塊B4被解碼并存入幀緩沖器。當?shù)谒膲KB4解碼完成時，存在著兩個另外的邊界，它們的兩側(cè)都有解碼塊，即第二垂直邊界R34和第二水平邊界R24。因此，現(xiàn)在此兩邊界R34，R24就可以過濾了。在基于本發(fā)明的方法的這種有利實施方案中，過濾的實施是第二垂直邊界R34先過濾，過濾結(jié)果保存在幀緩沖器里，然后才是第二水平邊界R24的過濾。一般情況下，如果當前塊兩個邊界(例如左側(cè)和上側(cè))被過濾，那么從第一過濾邊界得到的改變的像素值將被用于其他邊界過濾的時候。
在本發(fā)明的有利實施方案中，對于某種塊，過濾可以跨過一、二、三、四個或零個塊邊界進行，這取決于選取那一種掃描順序?qū)瑑?nèi)或段內(nèi)的塊進行編碼。在優(yōu)選的實施模式中，塊的重建順序見圖2。像圖中表明的，四個塊組合成2×2塊的宏塊。對它們的掃描是以宏塊為單位，逐個地從幀的左上角到右下角進行。在一個宏塊的內(nèi)部，掃描的順序是從宏塊的左上角到右下角。由于這種特定的掃描順序，在優(yōu)化的實施模式中，當塊重建時，一個塊最多有兩個邊界(左側(cè)及上側(cè))可供過濾。用于過濾的塊邊界被方便地檢驗順序見圖3(先是左邊界，再是上邊界)。余下的邊界，即右和下，只有當右相鄰塊及下相鄰塊的重建分別完成時才被過濾。對于塊位于幀邊緣或段邊緣的情況，相應的塊邊界就不過濾，這是因為不存在相鄰塊提供共同邊界進行過濾。圖4是對于優(yōu)選實施模式中，一個大小為6×4塊的小型幀里塊邊界過濾的順序。邊界上的數(shù)字表示按本發(fā)明的有利實施方案的過濾順序。在實際應用中，各幀通常包含比6×4更多的塊，但是從以上的說明可以清楚地看出如何將優(yōu)選的過濾順序擴展到包含多于(或少于)6×4塊的幀或段。
一般說來，本發(fā)明中描述的系統(tǒng)可以應用到以塊為基礎(chǔ)的靜止圖像的編碼，以及以塊為基礎(chǔ)的視頻編碼器的一切編碼I、P、B、編碼和無編碼。本發(fā)明描述的過濾過程對于為了編碼劃分為N×M塊的任何幀都能工作。
基于本發(fā)明的方法的有利實施方案中，過濾僅僅應用在跨越那些相鄰于其他早前重建塊的塊邊界，基本上是當該塊一旦重建(解碼)就進行。然而在塊的重建與塊邊界的過濾之間顯然可以實施其他的步驟。
在基于本發(fā)明的方法中，過濾只應用在跨越相鄰于早前重建(解碼)塊的塊邊界上。在本發(fā)明的有利實施方案中，過濾基本上緊接著塊重建以及與早前解碼塊的邊界形成時進行。然而在塊的重建與塊邊界的過濾之間顯然可以實施其他的步驟。而且，一旦有了邊界，優(yōu)選地該邊界在其他塊解碼之前被過濾。
也有這種可能過濾基本上不是緊接著塊重建之后和將被過濾的邊界存在時進行。例如在本發(fā)明的另一種實施方案中，過濾在大多數(shù)圖像塊被重建時進行。還有這種可能過濾與重建依次地進行。例如一定數(shù)量的塊先被重建，然后再在那些過濾的邊界出現(xiàn)時進行過濾。
如果采用獨立段編碼，過濾只在跨越這類塊邊界上實施，即相鄰于與當前塊屬于同一段的早前重建塊。
基于本發(fā)明的方法的一項突出優(yōu)越性是這一事實，即在某幀里后續(xù)塊重建之前，過濾的結(jié)果就提供給了數(shù)字圖像編碼系統(tǒng)。這對預測內(nèi)編碼尤其有利，在那里，塊的預測是參照同一幀(如果采用獨立段編碼，就是同一段)里早前重建塊進行的。因此，當應用于與任何塊編碼相關(guān)的方案里，其中塊由同一幀內(nèi)或同一段內(nèi)早前重建塊來預測，本發(fā)明就很有利。它顯著地減弱或阻止可見贗像在同一幀(如果采用獨立段編碼/解碼，就是同一段)從早前重建塊向后續(xù)重建塊傳播。因而特定塊的重建依賴于由早前重建塊推演出的過濾數(shù)據(jù)。所以為了避免編碼器-解碼器的不當搭配，解碼器不僅僅應該執(zhí)行相同的過濾方案，而且還應該進行與編碼器相同順序的過濾操作。本方法還能減弱或阻止塊贗像從某一幀向下一幀傳播，這是因為(例如內(nèi)幀預測里使用的)幀中的塊贗像被基于本發(fā)明的方法減弱了。
以下參照圖5中的數(shù)字圖像傳輸系統(tǒng)和圖6中的流程圖，對視頻傳輸系統(tǒng)中視頻幀的傳送和接收進行說明。首先，結(jié)合傳輸系統(tǒng)的編碼器對基于本發(fā)明的塊邊界過濾方法的運行進行說明。具體情況是數(shù)字圖像序列的某個幀以內(nèi)幀(I幀)的格式編碼，并且使用內(nèi)塊預測的某種形式，其中內(nèi)幀的塊可以參照同一幀內(nèi)其他早前編碼內(nèi)塊進行編碼。隨后，相應于為解碼而從接收器接收的內(nèi)編碼幀，對傳輸系統(tǒng)的解碼器中塊邊界的過濾進行說明，最后解釋基于本發(fā)明的塊邊界過濾方法對交互編碼幀(P-幀)的應用。
假定某幀以內(nèi)預測的某種形式編碼成內(nèi)部格式，該幀的編碼過程如下。待編碼的該幀的塊逐個地被送到圖5中視頻傳輸系統(tǒng)的編碼器50。幀的這些塊是在圖像傳輸系統(tǒng)的輸入端27處從數(shù)字圖像源，如攝象機或錄象機(圖中未標出)接收到的。常見的情況是，從數(shù)字圖像源接收到的塊包含圖像像素值。幀可以臨時地存儲在幀存儲器里(圖中未標出)，或者是另外的方式，編碼器直接逐塊地接收輸入數(shù)據(jù)。
這些塊被逐一引向預測方法選擇單元35，判定待編碼的當前塊的像素值是否能在同一幀或同一段內(nèi)早前內(nèi)編碼塊的基礎(chǔ)上進行預測。為此目的，預測方法選擇單元35從編碼器的幀緩沖器33接收輸入，幀緩沖器里包含有早前編碼、后續(xù)解碼及重建內(nèi)塊的記錄。以這種方式，預測方法選擇單元就能確定當前塊的預測是否能在早前解碼及重建塊的基礎(chǔ)上進行。而且，如果有恰當?shù)慕獯a塊，預測方法選擇單元35還能夠選出對當前塊的像素值進行預測的最合適方法—如果有若干個這種方法可供挑選的話。應該留意到，對于某些情況，當前塊的預測是不可能，這是因為幀緩沖器33里不存在適于預測的塊。對于存在若干個預測方法的情況，有關(guān)選取預測方法的信息被提交到多路復用器13，以便進一步傳送到解碼器。還應注意到，在某些預測方法里，進行預測所需的特定參數(shù)被送到了解碼器。當然這取決于具體的安排情況，并不限制基于本發(fā)明的塊邊界過濾器的應用。
當前塊的像素值在內(nèi)預測單元34里預測。內(nèi)預測單元34從預測方法選擇單元35接收有關(guān)選定的預測方法的輸入，以及從幀緩沖器33接收有關(guān)可用于預測的塊的信息。根據(jù)這些信息，內(nèi)預測單元34構(gòu)建當前塊的預測。當前塊的預測像素值被送往差分相加器28，通過它截取來自輸入端27的當前塊實際像素值與預測當前塊像素值之差，得到預測誤差塊。隨后，預測塊的誤差信息在預測誤差編碼單元里以高效傳輸?shù)男问竭M行編碼，例如采用離散余弦變換(DCT)。編碼的預測誤差塊送到多路復用器13以便進一步輸往解碼器。
數(shù)字圖像傳輸系統(tǒng)的編碼器也包含解碼功能。當前塊的編碼預測誤差在預測誤差解碼單元30里進行解碼，并且隨后與當前塊預測像素值在相加器31中進行疊加。這樣得到了當前塊的解碼版本。然后將解碼的當前塊送往基于本發(fā)明的方法所布置的塊邊界過濾器32。參照圖6的流程圖，塊邊界過濾器32實施檢驗602、604，如果當前(剛解碼的)塊含有邊界，則可以被過濾。為了確定是否有這種邊界存在，塊邊界過濾器檢驗幀緩沖器33的內(nèi)容。如果有多于一個這種邊界存在，塊邊界過濾器確定603邊界過濾中使用的過濾順序。如果發(fā)現(xiàn)了至少一個邊界，塊邊界過濾器恢復605過濾過程中將用到的那些屬于現(xiàn)邊界相鄰塊的像素值。塊邊界過濾器根據(jù)優(yōu)選的過濾方法實施過濾606，并且更新至少當前塊中改動過的像素值以及存儲在幀緩沖器33中早前解碼塊里過濾的像素值。然后塊邊界過濾器再檢驗608是否還有邊界需要過濾。如果存在另外的待過濾邊界，過程返回到步驟605。塊過濾器對編碼幀的每個塊實施類似的操作，直至全部塊都進行了編碼和就地解碼。由于每個塊都被過濾，將它存儲在幀緩沖器33里就可供用于，例如，后續(xù)塊的預測和/或過濾。
現(xiàn)在結(jié)合數(shù)字圖像傳輸系統(tǒng)的接收器，對基于本發(fā)明的塊邊界過濾方法的運行進行說明。這里過濾器的使用聯(lián)系幀的解碼進行說明，假定該幀采用內(nèi)預測方法的某種形式以內(nèi)格式進行了編碼，其中當前塊的像素值以同一幀內(nèi)早前編碼圖像塊為基礎(chǔ)進行預測。
這里還假定接收器從傳輸通道接收到一些塊，由它們逐一構(gòu)成數(shù)字圖像幀。應該注意到，在另外的實施方案里，接收器接收到的可以是待解碼的完整幀，也可以是從某種形式的存儲介質(zhì)或設(shè)備上存在的文件里提取的待解碼數(shù)字圖像。無論是哪種情況，基于本發(fā)明的塊邊界過濾方法都是以逐塊為基礎(chǔ)運行的，見下面的說明。
在接收器60里，多路分離器接收并多路分離從編碼器50傳輸來的編碼預測誤差塊及預測信息。根據(jù)實際的預測方法，預測信息可能包括預測過程中使用的參數(shù)。應該注意的是，對于只采用一種內(nèi)預測方法的情況，有關(guān)用于編碼塊的預測方法的信息不是必須的，雖然它對傳輸用于預測過程中參數(shù)仍然可能是必需的。圖5中虛線用來表示待選定預測方法信息和/或預測參數(shù)的傳輸和接收。假定有多于一個內(nèi)預測方法可以使用，有關(guān)解碼中當前塊預測方法選擇的信息被提交給內(nèi)預測單元41。內(nèi)預測單元41檢驗幀緩沖器39的內(nèi)容以便判定是否存在將用于當前塊像素值預測的早前解碼塊。如果這種圖像塊存在，利用從編碼器收到的預測方法信息所指明的預測方法，以及與預測相關(guān)的可能參數(shù)，內(nèi)預測單元41預測當前塊的內(nèi)容。與當前塊相關(guān)的預測誤差信息被預測誤差解碼單元36接收，并以合適的方法解碼預測誤差塊。例如，如果預測誤差信息是以離散余弦變換編碼，預測誤差解碼單元進行逆DCT以恢復誤差信息。然后預測誤差信息與當前圖像塊的預測在相加器37中相加，并且將相加器的輸出送往塊邊界過濾器38。塊邊界過濾器38以類似于編碼器中(單元32)塊邊界過濾器的方式對新近解碼的圖像塊進行邊界過濾。于是塊邊界過濾器38實施檢驗602、603，如果當前(新近解碼的)塊具有邊界即可進行過濾。為了判斷這種邊界是否存在，塊邊界過濾器38檢驗含有早前解碼與重建圖像塊的幀緩沖器39的內(nèi)容。如果有多于一個這種邊界存在，塊邊界過濾器決定603過濾邊界時采用的過濾順序。有利的是，這種順序與編碼器中邊界過濾器32所采的順序相同。如果發(fā)現(xiàn)了至少一個邊界，塊邊界過濾器恢復605過濾過程中將用到的那些屬于現(xiàn)邊界相鄰塊的像素值。塊邊界過濾器根據(jù)優(yōu)選的過濾方法實施過濾606，并且更新至少當前塊中改動過的像素值以及存儲在幀緩沖器33中早前解碼塊里過濾的像素值。然后塊邊界過濾器再檢驗608是否還有邊界需要過濾。如果存在另外的待過濾邊界，過程返回到步驟605。
塊過濾器對幀的每個塊執(zhí)行相似的操作，基本上是緊接著每個塊被解碼之后，一直到全部塊被解碼并且它們的邊界被恰當?shù)剡^濾。由于每個塊都被過濾，將它存儲在幀緩沖器39里就可供用于，例如，后續(xù)塊的預測和/或過濾。再者，由于每個塊被解碼，而且應用基于本發(fā)明的方法對其邊界進行了過濾，被送往解碼器40的輸出端，例如被某種形式的顯示設(shè)備顯示出來。另一種方法是，只有當整個幀已經(jīng)解碼并存積在幀緩沖器39以后，圖像幀才被顯示。
在以上的段落里，基于本發(fā)明的方法是結(jié)合這些內(nèi)容敘述的以內(nèi)格式編碼的幀里塊邊界過濾，而且還采用內(nèi)預測方法。應該注意的是，基于本發(fā)明的方法可以以嚴格類似的形式應用于內(nèi)編碼塊—它們構(gòu)成另類交互編碼幀的一部分—之間過濾塊邊界。另外，本方法也可以應用在交互編碼圖像塊，還可以應用于不同類型編碼塊之間過濾塊邊界，而無需考慮問題中塊的具體類型。
對于交互編碼圖像塊的情況，每個交互編碼塊是以有關(guān)它在當前幀與參照幀之間的運動信息為基礎(chǔ)進行預測的，而且編碼器的操作是這樣的以對塊的預測與塊的實際內(nèi)容之間的差為基礎(chǔ)構(gòu)成預測誤差塊，預測誤差塊以這種熟知的方式編碼，例如DCT，并且與(例如)表示塊運動的運動系數(shù)一起傳輸?shù)浇獯a器。在編碼器里，編碼的預測誤差再被解碼，并與當前塊的預測相加，產(chǎn)生解碼和重建塊，構(gòu)成將被用于與序列中下一幀運動補償預測編碼相聯(lián)系的預測參照幀的一部分。像上面涉及內(nèi)編碼的例子中的情況，塊邊界過濾器可以與交互編碼塊相配合，安排成這種方式使用即接收并過濾當前幀的交互編碼塊—基本上緊接在它們被解碼之后。同等的安排可以用于數(shù)字圖像傳輸系統(tǒng)中接收器接收到的交互編碼塊的解碼。
實現(xiàn)基于本發(fā)明的過濾方法的塊特別有利于安置在數(shù)字信號處理器里，或者安置在相應的適宜處理數(shù)字信號的通用設(shè)備里，可以對它設(shè)置好程序，對接收到的輸入訊號實施預先定下的處理功能。圖6中的那些方法可以在單獨的信號處理器中實施，也可以是含有其他信號處理能力的某種信號處理器中功能的一部分。
用于實施基于本發(fā)明的方法，含有機器可執(zhí)行步驟的軟件程序可以存儲在存儲介質(zhì)中。于是在本發(fā)明的一種有利實施方案中，為實施本發(fā)明的方法，可以將軟件程序從存儲介質(zhì)讀到含有可編程序裝置的裝置，例如處理器里。
基于本發(fā)明的方法和裝置里，為過濾選擇的像素數(shù)是可變的，并且在塊邊界的不同邊不必相同。像素數(shù)可以根據(jù)某幀包含的圖像信息的一般特性進行調(diào)整。而且許多過濾方法可以應用于本發(fā)明。在某些內(nèi)預測方法里，除了編碼差分塊，無需將內(nèi)預測信息送往接收器60。前面只是作為例子，還指明了過濾順序的含義。
本發(fā)明特別有利的應用是在移動遠程會議方面，還有數(shù)字電視接收器以及其他至少接收和解碼數(shù)字視頻圖像的設(shè)備。
圖7是可移動終端41的簡化示意圖，目的是用作便攜式視頻遠程終端通訊設(shè)備和應用基于本發(fā)明的分塊過濾器方法?？梢苿咏K端方便地包括至少有為顯示圖像的顯示器42，拾取和重放音響信息的音頻設(shè)備43，用于輸入(例如)用戶指令的鍵盤44，與可移動遠程通訊網(wǎng)絡通訊的無線電單元45，控制設(shè)備運行的處理單元46，存儲信息的記憶單元47，以及最好有臺獲取圖像的攝影機48。
本發(fā)明并不僅僅限于以上敘述的實施方案，而且可以在附屬的權(quán)利要求的領(lǐng)域內(nèi)予以變動。
權(quán)利要求
1.一種減弱數(shù)字圖像中可見贗像的方法，它以塊(B1，B2，B3，B4)編碼及解碼，其中實施過濾以減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像，其特征在于在當前塊(B1，B2，B3，B4)解碼之后并且當前塊與早前解碼塊之間有可供過濾的邊界時實施過濾。
2.根據(jù)權(quán)利要求1的方法，其特征在于基本緊接在當前塊解碼之后并且有可供過濾的邊界時實施過濾。
3.根據(jù)權(quán)利要求1的方法，其特征在于過濾的實施在數(shù)字圖像的全部塊解碼之前。
4.根據(jù)權(quán)利要求1的方法，其中這些塊以特定的解碼順序解碼，其特征在于過濾在解碼某塊之前進行，而在解碼順序里，該塊在當前塊及相鄰當前塊之后。
5.根據(jù)權(quán)利要求1的方法，其特征在于塊的解碼和過濾是相繼進行的。
6.根據(jù)權(quán)利要求1的方法，其特征在于過濾被安排使得當前塊中像素值的第一個數(shù)和早前解碼塊中像素值的第二個數(shù)發(fā)生變動。
7.根據(jù)權(quán)利要求1至6中任何一項要求的方法，其特征在于判定(603，604)是否有可供過濾的多于一的邊界存在，這時過濾在那些可供過濾的多于一的邊界(R12，R13，R24，R34)上實施。
8.根據(jù)權(quán)利要求7的方法，其特征在于過濾以特定順序在所說的多于一的邊界(R12，R13，R24，R34)上實施。
9.根據(jù)權(quán)利要求1至8中任何一項要求的方法，其特征在于實施過濾以減弱數(shù)字圖像編碼和解碼過程中，源于數(shù)字圖像各塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像，而且解碼中過濾邊界的順序與編碼時的順序相同。
10.根據(jù)權(quán)利要求1至9中任何一項要求的方法，其特征在于像素值被過濾校正，并且該校正的像素值在至少一個其他邊界(R12，R13，R24，R34)的過濾中被利用。
11.根據(jù)權(quán)利要求1至10中任何一項要求的方法，其特征在于當前塊(B1，B2，B3，B4)解碼后再實施后續(xù)塊的內(nèi)預測，像素值被過濾校正，而且該校正的像素值在至少一個后續(xù)塊的內(nèi)預測中被利用。
12.根據(jù)權(quán)利要求1至11中任何一項要求的方法，其特征在于圖像的塊被組合成宏塊，其中圖像的掃描以逐個宏塊的方式進行。
13.根據(jù)權(quán)利要求1至12中任何一項要求的方法，其特征在于圖像的掃描是水平地由左上至右下。
14.根據(jù)權(quán)利要求8的方法，其特征在于選擇過濾的順序，使得所說的當前塊左方的邊界(R34)先于該當前塊上方的邊界(R24)過濾。
15.根據(jù)權(quán)利要求1至14中任何一項要求的方法，其特征在于圖像至少包含塊(B1，B2，B3，B4)的一個段，而且只有那些屬于同一段的相鄰塊之間的邊界被過濾。
16.根據(jù)權(quán)利要求15的方法，其特征在于一個段中的所有塊(B1，B2，B3，B4)都是同一類型的。
17.根據(jù)權(quán)利要求1至16中任何一項要求的方法，其特征在于圖像含有亮度和色度成分，并且進行過濾以減弱下列之一邊界引發(fā)的可見贗像-亮度成分中當前塊與相鄰塊之間，-色度成分中當前塊與相鄰塊之間。
18.根據(jù)權(quán)利要求1至16中任何一項要求的方法，其特征在于圖像含有至少一個第一彩色成分及一個第二彩色成分，而且進行過濾以減弱下列之一邊界間引發(fā)的可見贗像-第一彩色成分里當前塊與相鄰塊之間，-第二彩色成分里當前塊與相鄰塊之間。
19.用來減弱以塊(B1，B2，B3，B4)編碼并解碼的數(shù)字圖像中可見贗像的一種設(shè)備，該設(shè)備含有為減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像而實施過濾的裝置，其特征在于過濾實施被安排在當前塊(B1，B2，B3，B4)解碼之后，而且在當前塊與早前解碼塊之間有可供過濾的邊界。
20.根據(jù)權(quán)利要求19的一種設(shè)備，其特征在于過濾實施被安排為基本緊接在當前塊解碼之后，而且有可供過濾的邊界。
21.根據(jù)權(quán)利要求19的一種設(shè)備，其特征在于過濾的實施被安排在數(shù)字圖像的全部塊解碼之前。
22.根據(jù)權(quán)利要求19的一種設(shè)備，其特征在于過濾被安排在解碼某塊之前進行，而在解碼順序里，該塊在當前塊及相鄰當前塊之后。
23.根據(jù)權(quán)利要求19的一種設(shè)備，其特征在于塊的過濾和解碼被安排為相繼實施。
24.根據(jù)權(quán)利要求19至23之中任何一項要求的設(shè)備，其特征在于它包含判定是否有多于一個可供過濾的邊界存在的裝置。
25.根據(jù)權(quán)利要求19至24之中任何一項要求的設(shè)備，其特征在于它包含以一定順序在多于一個的邊界(R12，R13，R24，R34)上實施過濾的裝置。
26.根據(jù)權(quán)利要求19至25之中任何一項要求的設(shè)備，其特征在于安排實施過濾以減弱數(shù)字圖像編碼和解碼過程中，源于數(shù)字圖像各塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像，并且解碼中過濾邊界的順序與編碼時的順序相同。
27.根據(jù)權(quán)利要求19至26之中任何一項要求的設(shè)備，其特征在于它含有校正像素值的過濾器，保存被過濾修正的像素值的裝置，以及至少一個在其他邊界(R12，R13，R24，R34)的過濾中利用校正像素值的裝置。
28.根據(jù)權(quán)利要求25、26或27的一種設(shè)備，其特征在于它含有為后續(xù)塊實施內(nèi)預測的裝置，校正像素值的過濾器，保存被過濾校正的像素值的裝置，以及在至少一個后續(xù)塊的內(nèi)預測中利用校正像素值的裝置。
29.根據(jù)權(quán)利要求25至28之中任何一項要求的設(shè)備，其特征在于圖像的塊被組合成宏塊，并且該裝置包含有以逐個宏塊地掃描圖像的裝置。
30.根據(jù)權(quán)利要求29的一種設(shè)備，其特征在于圖像掃描的裝置被安排為水平地從左上至右下掃描圖像。
31.根據(jù)權(quán)利要求25的一種設(shè)備，其特征在于過濾的順序被安排為讓所說的當前塊左側(cè)的邊界(R34)先于該當前塊上方的邊界(R24)過濾。
32.根據(jù)權(quán)利要求19至31中任何一項要求的裝置，其特征在于圖像包含至少塊(B1，B2，B3，B4)的一個段，并且該裝置含有判定哪個段歸于哪個塊的裝置，這里只對屬于同一段的相鄰塊之間的邊界進行過濾。
33.一種含有編碼設(shè)備而且含有以塊(B1，B2，B3，B4)就地解碼數(shù)字圖像裝置的編碼器(50)，該編碼器包含有為減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像而實施過濾的裝置，其特征在于過濾的實施被安排在當前塊(B1，B2，B3，B4)就地解碼之后，而且在當前塊與早前就地解碼塊之間有可供過濾的邊界。
34.一種含有以塊(B1，B2，B3，B4)解碼數(shù)字圖像的設(shè)備的解碼器(60)。該解碼器包含有為減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像而實施過濾的裝置，其特征在于過濾的實施被安排在當前塊(B1，B2，B3，B4)解碼之后，而且在當前塊與早前解碼塊之間有可供過濾的邊界。
35.一種含有編碼器的終端，它含有編碼的裝置以及以塊(B1，B2，B3，B4)就地解碼數(shù)字圖像的裝置，還有為減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像而實施過濾的裝置，其特征在于過濾的實施被安排在當前塊(B1，B2，B3，B4)就地解碼之后，而且在當前塊與早前就地解碼塊之間有可供過濾的邊界。
36.一種含有以塊(B1，B2，B3，B4)解碼數(shù)字圖像的裝置的終端，它包含有為減弱源于當前塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像而實施過濾的裝置，其特征在于過濾的實施被安排在當前塊(B1，B2，B3，B4)解碼之后，而且在當前塊與早前解碼塊之間有可供過濾的邊界。
37.根據(jù)權(quán)利要求35或36的終端，其特征在于它是一個移動終端。
38.一種為存儲軟件程序的存儲介質(zhì)，該軟件程序含有機器可執(zhí)行步驟，用于以塊編碼和就地解碼數(shù)字視頻信號，以及用于實施過濾以減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像，其特征在于該軟件程序還包含有機器可執(zhí)行步驟，用于當前塊(B1，B2，B3，B4)就地解碼之后，并且在當前塊與早前就地解碼塊之間有可供過濾的邊界時實施過濾。
39.一種為存儲軟件程序的存儲介質(zhì)，該軟件程序含有機器可執(zhí)行步驟，用于以塊解碼數(shù)字視頻信號，也用于實施過濾以減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界(R12，R13，R24，R34)的可見贗像，其特征在于該軟件程序還包含有機器可執(zhí)行步驟，用于當前塊(B1，B2，B3，B4)解碼之后并且在當前塊與早前解碼塊之間有可供過濾的邊界時實施過濾。
全文摘要
本發(fā)明涉及減弱以塊(B1，B2，B3，B4)編碼再解碼的數(shù)字圖像中可見贗像的一種方法。本方法中通過實施過濾以減弱源于當前塊與相鄰塊(B1，B2，B3，B4)之間邊界的可見贗像。在當前塊(B1，B2，B3，B4)解碼之后進行，并且當前塊與早前解碼塊之間有界邊時實施過濾。
文檔編號H04J3/00GK1416650SQ01806450
公開日2003年5月7日 申請日期2001年1月22日 優(yōu)先權(quán)日2000年1月21日
發(fā)明者J·萊尼馬, B·-P·多布林, M·卡策維茨 申請人:諾基亞有限公司