專利名稱：采用對過完全小波展開進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波的三維小波視頻編碼的制作方法
技術(shù)領(lǐng)域：
本申請涉及視頻編碼系統(tǒng)，更加具體地講，涉及利用三維提升(lifting)技術(shù)的視頻編碼。
背景技術(shù)：
近年來，通過數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行的多媒體內(nèi)容實(shí)時(shí)流送(streaming)變成了越來越普及的應(yīng)用。例如，多媒體應(yīng)用(如點(diǎn)播新聞、直播網(wǎng)絡(luò)電視收看、以及視頻會議)通常依賴于端對端視頻信息流送。流送視頻應(yīng)用典型地包括視頻發(fā)送器，用于對視頻信號進(jìn)行編碼并將視頻信號通過網(wǎng)絡(luò)發(fā)送給視頻接收器，視頻接收器實(shí)時(shí)地對視頻信號進(jìn)行解碼并顯示視頻信號。
對于許多多媒體應(yīng)用和服務(wù)來說，可調(diào)整(scalable)視頻編碼是主要的要求指標(biāo)?？烧{(diào)整性使處理器能夠以較低的運(yùn)算能力來僅對視頻流的子組進(jìn)行解碼，而具有較高運(yùn)算能力的處理器能夠?qū)φ麄€(gè)視頻流進(jìn)行解碼。可調(diào)整性的另一用途是在可變的發(fā)送帶寬的環(huán)境中。在這些環(huán)境中，具有較低接入帶寬的接收器只接收和解碼視頻流的子組，而具有較高接入帶寬的接收器能夠接收和解碼整個(gè)視頻流。
幾種視頻可調(diào)整性方案已為領(lǐng)先的視頻壓縮標(biāo)準(zhǔn)如MPEG-2及MPEG-4所采用。在這些標(biāo)準(zhǔn)當(dāng)中已定義了時(shí)間、空間以及質(zhì)量(例如信噪比或“SNR”)的可調(diào)整性類型。這些方案主要包括基本層(BL)和增強(qiáng)層(EL)。視頻流的基本層通常代表對流進(jìn)行解碼所需的最小數(shù)據(jù)量。流的增強(qiáng)層代表附加信息，用于當(dāng)接收器進(jìn)行解碼時(shí)增強(qiáng)視頻信號表達(dá)。
當(dāng)前許多視頻編碼系統(tǒng)對基本層使用運(yùn)動補(bǔ)償預(yù)測編碼，對增強(qiáng)層則使用離散余弦變換(DCT)余留編碼。在這些系統(tǒng)當(dāng)中，利用運(yùn)動補(bǔ)償可以降低時(shí)間冗余，而對于運(yùn)動補(bǔ)償?shù)臍堄噙M(jìn)行變換編碼會使空間分辨率降低。不過，這些系統(tǒng)一般來說易于出現(xiàn)一些問題，如錯(cuò)誤傳播(或漂移)和真實(shí)可調(diào)整性不足。

發(fā)明內(nèi)容
本發(fā)明提供改進(jìn)的編碼系統(tǒng)，它利用三維(3D)提升技術(shù)。一方面，在過完全(overcomplete)小波域內(nèi)將3D提升結(jié)構(gòu)用于部分精確(fractional-accuracy)運(yùn)動補(bǔ)償時(shí)域?yàn)V波。3D提升結(jié)構(gòu)對于運(yùn)動估計(jì)允許有不同的精度從而在彈性和效率之間提供了一種平衡，這是在不同的通道條件下的數(shù)據(jù)流的優(yōu)點(diǎn)。


為了更全面地理解本發(fā)明，可以結(jié)合相關(guān)附圖，參考以下說明。
圖1所示的是根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)例視頻發(fā)送系統(tǒng)；圖2所示的是根據(jù)本發(fā)明一個(gè)實(shí)施例的實(shí)例視頻編碼器；圖3A-3C所示的是根據(jù)本發(fā)明一個(gè)實(shí)施例的通過過完全小波展開生成實(shí)例參考幀的過程；圖4所示的是根據(jù)本發(fā)明一實(shí)施例的實(shí)例視頻解碼器；圖5所示的是根據(jù)本發(fā)明一實(shí)施例的實(shí)例運(yùn)動補(bǔ)償時(shí)域?yàn)V波；圖6A和6B所示的是根據(jù)本發(fā)明一實(shí)施例的實(shí)例小波分解；圖7所示的是根據(jù)本發(fā)明一實(shí)施例在過完全小波域內(nèi)利用3D提升技術(shù)對視頻信息進(jìn)行編碼的實(shí)例方法；圖8所示的是根據(jù)本發(fā)明一實(shí)施例在過完全小波域內(nèi)利用3D提升技術(shù)對視頻信息進(jìn)行解碼的實(shí)例方法。
具體實(shí)施例方式
以下討論的圖1-8以及在此專利文件中描述的各個(gè)實(shí)施例都只是用來對本發(fā)明進(jìn)行說明，而不應(yīng)當(dāng)被解釋成以任何方式構(gòu)成對本發(fā)明范圍的限制。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解本發(fā)明的原理可以由任何適當(dāng)設(shè)置的視頻編碼器、視頻解碼器或其它設(shè)備、器件或結(jié)構(gòu)來實(shí)現(xiàn)。
圖1表示依據(jù)本發(fā)明一實(shí)施例的實(shí)例視頻發(fā)送系統(tǒng)100。在所示實(shí)施例中，系統(tǒng)100包括流送視頻發(fā)送器102，流送視頻接收器104，以及數(shù)據(jù)網(wǎng)106。在不背離本發(fā)明范圍的情況下，也可以采用視頻發(fā)送系統(tǒng)的其它實(shí)施方式。
流送視頻發(fā)送器102將視頻信息通過數(shù)據(jù)網(wǎng)106流送到流送視頻接收器104中。流送視頻發(fā)送器102也可以將音頻或其它信息流送到流送視頻接收器104。流送視頻發(fā)送器102可以包括多種多樣的視頻幀源中的任何一種，包括數(shù)據(jù)網(wǎng)服務(wù)器，電視臺發(fā)送器，有線網(wǎng)或臺式個(gè)人計(jì)算機(jī)。
在所示實(shí)例中，流送視頻發(fā)送器102包括視頻幀源108，視頻編碼器110，編碼緩沖器112，和存儲器114。視頻幀源108代表任何一種能夠產(chǎn)生或提供一系列未壓縮的視頻幀的裝置或結(jié)構(gòu)，如電視天線和接收器單元，視頻盒式磁帶播放器，攝像機(jī)，或能夠保存“素材”視頻剪輯的盤存儲裝置。
未壓縮的視頻幀以給定的畫面速率(或流送速率)進(jìn)入到視頻編碼器110并由視頻編碼器110進(jìn)行壓縮。然后視頻編碼器110將壓縮的視頻幀發(fā)送給編碼緩沖器112。視頻編碼器110代表任何一種適于對視頻幀進(jìn)行編碼的編碼器。按照某些實(shí)施方式，視頻編碼器110使用針對過完全小波域中的部分精確MCTF的3D提升技術(shù)。在附圖2中給出了視頻編碼器110的一個(gè)例子，下面將對其進(jìn)行介紹。
編碼緩沖器112接收來自視頻編碼器110的壓縮視頻幀并緩存這些視頻幀，以備通過數(shù)據(jù)網(wǎng)106進(jìn)行發(fā)送。編碼緩沖器112代表任何一種適于存儲壓縮視頻幀的緩沖器。
流送視頻接收器104接收由流送視頻發(fā)送器102通過數(shù)據(jù)網(wǎng)106所流入的壓縮視頻幀。在所示實(shí)例中，流送視頻接收器104包括解碼緩沖器116，視頻解碼器118，視頻顯示器120，及存儲器122。根據(jù)應(yīng)用的要求，流送視頻接收器104代表多種多樣的視頻幀接收器中的任何一種，包括電視接收器，臺式個(gè)人計(jì)算機(jī)，或視頻磁帶錄音機(jī)。解碼緩沖器116存儲通過數(shù)據(jù)網(wǎng)106接收到的壓縮視頻幀。然后，解碼緩沖器116將壓縮視頻幀按要求發(fā)送給視頻解碼器118。解碼緩沖器116可以是任何一種適于存儲壓縮視頻幀的緩沖器。
視頻解碼器118對由視頻編碼器110壓縮的視頻幀進(jìn)行解壓縮。壓縮的視頻幀是可調(diào)整的，使得視頻解碼器118能夠?qū)Σ糠只蛉繅嚎s視頻幀進(jìn)行解碼。視頻解碼器118再將解壓縮的幀傳送給視頻顯示器120進(jìn)行顯示。視頻解碼器118代表任何一種適于對視頻幀進(jìn)行解碼的解碼器。按照某些實(shí)施方式，視頻解碼器118使用針對過完全小波域中的部分精度反向MCTF進(jìn)行3D提升。視頻解碼器118的一個(gè)實(shí)例在圖4中給出，下面將對其進(jìn)行介紹。視頻顯示器120代表任何一種適于將視頻幀顯示給用戶的裝置或結(jié)構(gòu)，如電視，PC顯示屏，或投影儀。
按照某些實(shí)施方式，視頻編碼器110實(shí)現(xiàn)為由傳統(tǒng)的數(shù)據(jù)處理器執(zhí)行的軟件程序，如標(biāo)準(zhǔn)的MPEG編碼器。按照這些實(shí)施方式，視頻編碼器110包括多個(gè)計(jì)算機(jī)可執(zhí)行的指令，如存儲在存儲器114中的指令。同樣地，按照某些實(shí)施方式，將視頻解碼器118實(shí)現(xiàn)為由傳統(tǒng)的數(shù)據(jù)處理器執(zhí)行的軟件程序，如標(biāo)準(zhǔn)的MPEG解碼器。按照這些實(shí)施方式，視頻解碼器118包括多個(gè)計(jì)算機(jī)可執(zhí)行的指令，如存儲在存儲器122中的指令。存儲器114，122各自代表任何易失性或非易失性存儲器以及一個(gè)檢索裝置或多個(gè)檢索裝置，如固定磁盤，可移動磁盤，CD，DVD，磁帶，或視頻盤。按照其它一些實(shí)施方式，視頻編碼器110和視頻解碼器118各自是以硬件、軟件、固件或它們的任意組合的方式實(shí)現(xiàn)的。
數(shù)據(jù)網(wǎng)106使系統(tǒng)100的各個(gè)部分之間能夠進(jìn)行通信。例如，數(shù)據(jù)網(wǎng)106可以在網(wǎng)絡(luò)地址或各部分之間傳送網(wǎng)際協(xié)議(IP)信息包，幀中繼幀，異步傳輸模式(ATM)單元或其它合適的信息。數(shù)據(jù)網(wǎng)106可包括一個(gè)或多個(gè)局域網(wǎng)(LAN)，城際網(wǎng)(MAN)，廣域網(wǎng)(WAN)，全部或部分全球網(wǎng)(如因特網(wǎng))，或任何其它位于一個(gè)或多個(gè)位置的通信系統(tǒng)。數(shù)據(jù)網(wǎng)106可以依據(jù)任何適當(dāng)類型的協(xié)議或多個(gè)協(xié)議來運(yùn)行，如以太網(wǎng)、IP、X.25、幀中繼、或其它任何分組數(shù)據(jù)協(xié)議。
盡管圖1所示的是視頻發(fā)送系統(tǒng)100的一個(gè)實(shí)例，但是可以對圖1的系統(tǒng)進(jìn)行各種改變。例如，系統(tǒng)100可以包括任何數(shù)目的流送視頻發(fā)送器102，流送視頻接收器104以及網(wǎng)絡(luò)106。
圖2表示根據(jù)本發(fā)明一實(shí)施例的示例視頻編碼器110，圖2所示的視頻編碼器110可以用于圖1所示的視頻發(fā)送系統(tǒng)100中。視頻編碼器110的其它實(shí)施例也可以用于視頻發(fā)送系統(tǒng)100中。并且圖2中所示的視頻編碼器110可以用在任何其它的適當(dāng)?shù)难b置、結(jié)構(gòu)或系統(tǒng)中，而不會超出本發(fā)明的范圍。
在所示實(shí)例中，視頻編碼器110包括小波變換器202。小波變換器202接收未壓縮的視頻幀并將視頻幀214從空間域變換到小波域。這種變換利用小波濾波從空間上將視頻幀214分解成多個(gè)頻段216a-216n，對應(yīng)于該視頻幀214的每個(gè)頻段216都由一組小波系數(shù)來表示。小波變換器202利用任何合適的變換方式來將視頻幀214分解成多個(gè)視頻或小波頻段216。按照某些實(shí)施方式，視頻幀214被分解成第一分解級，包括低-低(LL)頻段、低-高(LH)頻段、高-低(HL)頻段、高-高(HH)頻段，這些頻段中的一個(gè)或多個(gè)可以進(jìn)一步地被分解為附加的分解級，如當(dāng)將LL頻段可進(jìn)一步被分解成LLLL、LLLH、LLHL、LLHH子頻段時(shí)。
小波頻段216被提供給多個(gè)運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(MCTF)204a-204n。MCTF 204對視頻頻段216進(jìn)行時(shí)域?yàn)V波并去除幀214之間的時(shí)域相關(guān)性。例如，MCTF 204可以對視頻頻段216進(jìn)行濾波并針對每個(gè)視頻頻段216生成高通幀和低通幀。
按照某些實(shí)施方式，幀組由MCTF 204進(jìn)行處理。在特定實(shí)施例中，每個(gè)MCTF 204包括運(yùn)動估計(jì)器和時(shí)域?yàn)V波器。MCTF 204中的運(yùn)動估計(jì)器生成一個(gè)或多個(gè)運(yùn)動向量，用于估計(jì)出當(dāng)前視頻幀和參考幀之間的運(yùn)動量并產(chǎn)生一個(gè)或多個(gè)運(yùn)動向量。MCTF 204中的時(shí)域?yàn)V波器利用該信息沿著運(yùn)動方向?qū)σ曨l幀組進(jìn)行時(shí)域?yàn)V波。按照其它的實(shí)施方式，MCTF 204可以由不受約束的運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(UMCTF)所取代。
按照某些實(shí)施方式，運(yùn)動估計(jì)器中的內(nèi)插濾波器可以有不同的系數(shù)值。因?yàn)椴煌念l段216可以具有不同的時(shí)域相關(guān)性，這有助于提高M(jìn)CTF 204的編碼性能。此外，MCTF 204中可以使用不同的時(shí)域?yàn)V波器。按照某些實(shí)施方式，對較低頻段216使用雙向時(shí)域?yàn)V波器，對較高頻段216僅使用前向時(shí)域?yàn)V波器。時(shí)域?yàn)V波器的選擇可以基于使失真測量或復(fù)雜性測量最小的要求。時(shí)域?yàn)V波器可以代表任何合適的濾波器，如提升濾波器，它利用為每一頻段216不同設(shè)計(jì)的預(yù)測和更新步驟來提高或最優(yōu)化效率/復(fù)雜性局限。
此外，可以為每一頻段216適應(yīng)性地確定出組合在一起并由MCTF204所處理的幀數(shù)。按照某些實(shí)施方式，較低頻段216具有較大的組合在一起的幀數(shù)，而較高頻段具有較小的組合在一起的幀數(shù)。這使得，例如，每波段216組合在一起的幀的數(shù)量能夠依據(jù)幀214序列的特性或復(fù)雜性或彈性的要求得到改變。而且，較高的空間頻率頻段216在長期的時(shí)域?yàn)V波過程中可以忽略不計(jì)。作為特殊的實(shí)例，LL，LH，HL和HH頻段216中的幀可以分別放置在8，4和2幀的組中。這能夠分別實(shí)現(xiàn)最大的分解級3，2和1。對每一頻段216，時(shí)域分解級數(shù)可以利用任何適當(dāng)?shù)臉?biāo)準(zhǔn)來確定，如幀內(nèi)容，目標(biāo)失真標(biāo)準(zhǔn)或針對每一頻段216的期望時(shí)域可調(diào)整性的級別。另一特殊實(shí)例，LL，LH，HL，HH頻段216中的每一個(gè)中的幀可以放置在8幀的組中。
如圖2所示，MCTF 204在小波域中運(yùn)算。在傳統(tǒng)的編碼器中，小波域中的運(yùn)動估計(jì)和補(bǔ)償一般來說效率很差。這是因?yàn)樾〔ㄏ禂?shù)并非平移不變的(shift-invariant)。這種低效可以通過利用低頻段平移(shifting)技術(shù)來克服。在所示實(shí)施例中，低頻段平移器(shifter)206處理輸入視頻幀214，并生成一個(gè)或多個(gè)過完全小波展開(waveletexpansion)218。MCTF 204利用過完全小波展開218作為運(yùn)動估計(jì)期間的參考幀。將過完全小波展開218作為參考幀使MCTF 204估計(jì)運(yùn)動為變化的精確度。作為一個(gè)具體實(shí)例，MCTF 204可以對LL頻段216采用1/16pel的精度來進(jìn)行運(yùn)動估計(jì)，對其它頻段216采用1/8pel精度來進(jìn)行運(yùn)動估計(jì)。
按照某些實(shí)施方式，低頻段平移器206通過對輸入視頻幀214的較低頻段進(jìn)行平移來生成過完全小波展開218。由低頻段平移器206生成的過完全小波展開218如圖3A-3C所示。在此例中，在特定空間位置上對應(yīng)于同一分解級的各不相同的平移小波系數(shù)被稱作“錯(cuò)相(cross phase)小波系數(shù)”。如圖3A中所示，過完全小波展開218的每一相位都是通過對下一更小級LL頻段的小波系數(shù)進(jìn)行平移并進(jìn)行一級小波分解來生成的。例如，小波系數(shù)302表示未進(jìn)行平移時(shí)LL頻段的系數(shù)。小波系數(shù)304表示LL頻段進(jìn)行(1，0)平移之后或右移一個(gè)位置之后的系數(shù)。小波系數(shù)306表示LL頻段進(jìn)行(0，1)平移或下移一個(gè)位置之后的系數(shù)。小波系數(shù)308表示LL頻段進(jìn)行(1，1)平移或右移一個(gè)位置并下移一個(gè)位置之后的系數(shù)。
圖3A中的四組小波系數(shù)302-308經(jīng)放大或組合后生成過完全小波展開218。圖3B表示如何放大或組合小波系數(shù)302-308從而生成過完全小波展開218的一個(gè)例子。如圖3B所示，對兩組小波系數(shù)330，332進(jìn)行交織從而產(chǎn)生一組過完全小波系數(shù)334。過完全小波系數(shù)334表示圖3A中所示的過完全小波展開218。交織是這樣進(jìn)行的過完全小波展開218中的新座標(biāo)對應(yīng)于原空間域中的相關(guān)的平移。此交織技術(shù)可以遞歸地用于每一分解級并能夠?qū)?D信號直接進(jìn)行擴(kuò)展。使用交織技術(shù)來生成過完全小波系數(shù)334能夠?qū)崿F(xiàn)視頻編碼器110和視頻解碼器118中的更佳或最佳子像素精度運(yùn)動估計(jì)和補(bǔ)償，這是因?yàn)樗軌蚩紤]相鄰小波系數(shù)之間的錯(cuò)相從屬關(guān)系。盡管圖3B所示的是正在進(jìn)行交織的兩組系數(shù)330，332，但是任何數(shù)目的系數(shù)組都可以交織在一起從而形成過完全小波系數(shù)334，如四組小波系數(shù)。
低頻段平移技術(shù)部分涉及生成如圖3C所示的小波塊。按照某些實(shí)施方式，在小波分解期間，給定劃分比例下的系數(shù)(最高頻帶系數(shù)除外)可以與一組更細(xì)劃分比例下的同樣方位的系數(shù)相關(guān)聯(lián)。在常規(guī)編碼器中，通過將系數(shù)表示成稱作小波樹的數(shù)據(jù)結(jié)構(gòu)來利用這種關(guān)系。在低頻段平移技術(shù)中，對根部在最低頻段中的每一小波樹的系數(shù)進(jìn)行重新排列，以形成如圖3C所示的小波塊350。其它系數(shù)同樣地組合，以形成另外的小波塊352，354。圖3C中所示的小波塊給出了該小波塊中的小波系數(shù)之間的直接聯(lián)系和這些系數(shù)在圖象中在空間上代表什么。按照具體的實(shí)施方式，所有劃分比例和方位下的相關(guān)系數(shù)都包括在每一小波塊中。
按照某些實(shí)施方式，圖3C所示的小波塊在運(yùn)動估計(jì)期間被MCTF204所使用。例如在運(yùn)動估計(jì)期間。每個(gè)MCTF 204找出運(yùn)動向量(dx，dy)，產(chǎn)生當(dāng)前小波塊和參考幀中的參考小波塊之間的最小平均絕對差(MAD)。例如，如圖3C中的第k個(gè)小波塊的平均絕對差可以如下計(jì)算得出
MADk(dx,dy)=Σi=13Σxi=xi,kxi,k+M/2iΣyi=yi,kyi,k+N/2i{---(1)]]>|HLcur(i)(xi,yi)-LBS_HLref(i)(2ixi+dx,2iyi+dy)|]]>+|LHcur(i)(xi,yi)-LBS_LHref(i)(2ixi+dx,2iyi+dy)|]]>+|HHcur(i)(xi,yi)-LBS_HHref(i)(2ixi+dx,2iyi+dy)|}]]>+Σxi=x3,kx3,k+M/2iΣyi=y3,ky3,k+N/2i|LLcur(i)(xi,yi)-LBS_LLref(i)(2ixi+dx,2iyi+dy)|]]>其中，例如，LBS_HLref(1)(x，y)表示使用如上所述的交織技術(shù)展開的參考幀的HL頻段。即使當(dāng)(dx，dy)是非整數(shù)值時(shí)，公式(1)也有效，而以前的低頻段平移技術(shù)則不能。而且，按照具體的實(shí)施方式，利用這種采用小波塊的編碼方案不會導(dǎo)致任何運(yùn)動向量溢出。
再回到圖2，MCTF 204將已濾波的視頻頻段提供給嵌入式零填充編碼(Bmbedded Zero Block Coding)(EZBC)編碼器208中。EZBC編碼器208對已濾波的視頻頻段進(jìn)行分析，并識別出已濾波頻段216內(nèi)以及已濾波頻段216之間的系數(shù)的相關(guān)性。EZBC編碼器208利用此信息對已濾波頻段216進(jìn)行編碼和壓縮。作為一個(gè)具體實(shí)例，EZBC編碼器208能夠壓縮由MCTF 204生成的高通幀和低通幀。
MCTF 204還將運(yùn)動向量提供給運(yùn)動向量編碼器210。運(yùn)動向量表示在提供給視頻編碼器110的視頻幀214序列中檢測出的運(yùn)動。運(yùn)動向量編碼器210對MCTF 204所生成的運(yùn)動向量進(jìn)行編碼。運(yùn)動向量編碼器210利用任何合適的編碼技術(shù)，比如基于紋理的編碼技術(shù)，象DCT編碼。
總之，EZBC編碼器208所產(chǎn)生的經(jīng)過壓縮并經(jīng)過濾波的頻段216以及運(yùn)動向量編碼器210所產(chǎn)生的壓縮的運(yùn)動向量代表輸入視頻幀214。多路復(fù)用器212接收壓縮和濾波過的頻段216以及壓縮的運(yùn)動向量并將其多路復(fù)用到單獨(dú)一個(gè)輸出位流220上。然后，位流220由流送視頻發(fā)送器通過數(shù)據(jù)網(wǎng)106發(fā)送到流送視頻接收器104上。
圖4表示根據(jù)本發(fā)明一實(shí)施例的視頻解碼器118的一個(gè)實(shí)例。圖4中所示的視頻解碼器118可以用在圖1所示的視頻發(fā)送系統(tǒng)100中。視頻解碼器118的其它實(shí)施例也可以用在視頻發(fā)送系統(tǒng)100中，并且圖4中所示的視頻解碼器118可以用在任何其它合適的裝置、結(jié)構(gòu)或系統(tǒng)上，而不會超出本發(fā)明的范圍。
總地來說，視頻解碼器118進(jìn)行由圖2中視頻編碼器110所完成功能的反向功能，對由編碼器110進(jìn)行編碼的視頻幀214進(jìn)行解碼。在所示實(shí)例中，視頻解碼器118包括多路分用器402。多路分用器402接收視頻編碼器110產(chǎn)生的位流220。多路分用器402對位流220進(jìn)行多路分用，并分離出編碼視頻頻段和編碼運(yùn)動向量。
編碼視頻頻段提供給EZBC解碼器404。EZBC解碼器404對由EZBC編碼器208進(jìn)行編碼的視頻頻段進(jìn)行解碼。例如，EZBC解碼器404執(zhí)行EZBC編碼器208所用的編碼技術(shù)的反向的技術(shù)從而還原視頻頻段。作為一個(gè)具體實(shí)例，編碼的視頻頻段代表經(jīng)過壓縮的高通幀和低通幀，EZBC解碼器404可對高通和低通幀進(jìn)行解壓縮。同樣地，運(yùn)動向量提供給了運(yùn)動向量解碼器406。運(yùn)動向量解碼器406通過執(zhí)行運(yùn)動向量編碼器210所用的編碼技術(shù)的反向技術(shù)來解碼和還原運(yùn)動向量。
還原的視頻頻段416a-416n以及運(yùn)動向量提供給多個(gè)反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(反向MCTF)408a-408n。該反向MCTF408處理并還原視頻頻段416a-416n。例如，反向MCTF 408可以進(jìn)行時(shí)域合成，與由MCTF 204所完成的時(shí)域?yàn)V波的效果相反。反向MCTF 408還能夠進(jìn)行運(yùn)動補(bǔ)償以便將運(yùn)動再次引入到視頻頻段416中。特別地，反向MCTF 408還可以處理由MCTF204所生成的高通和低通幀從而還原視頻頻段416。在其它實(shí)施例中，反向MCTF 408可由反向UMCTF所代替。
還原的視頻頻段416再提供給反向小波變換器410。反向小波變換器410實(shí)現(xiàn)變換功能，從而將視頻頻段416從小波域變換回到空間域。取決于，例如，在位流220中接收到的信息量以及視頻解碼器118的處理能力，反向小波變換器410可以產(chǎn)生一個(gè)或多個(gè)不同的還原視頻信號組414a-414c。按照某些實(shí)施方式，還原的視頻信號414a-414c有不同的分辨率。例如第一還原視頻信號414a具有一低分辨率，第二還原視頻信號414b有中分辨率，第三還原視頻信號414c具有高分辨率。這樣，在系統(tǒng)100中，可以使用具有不同的處理能力或不同的帶寬接入的不同類型的流送視頻接收器104。
還原的視頻信號414提供給低頻段平移器412。如上所述，視頻編碼器110利用一個(gè)或多個(gè)過完全小波展開218來處理輸入視頻幀214。視頻解碼器118利用在還原的視頻信號414中的以前還原的視頻幀生成同樣的或基本同樣的過完全小波展開418。然后將過完全小波展開418提供給反向MCTF408用于對視頻頻段416進(jìn)行解碼。
盡管圖2-4所示出的是視頻編碼器、過完全小波展開、及視頻解碼器的實(shí)例，但也可以對圖2-4作各種改變。例如，視頻編碼器110可以包括任何數(shù)目的MCTF 204，視頻解碼器118可以包括任何數(shù)目的反向MCTF 408。而且，視頻編碼器110和視頻解碼器118可以使用任何其它的過完全小波展開。此外，視頻解碼器118中的反向小波變換器410能夠產(chǎn)生具有任何數(shù)目分辨率的還原視頻信號414。作為具體實(shí)例，視頻解碼器118能夠產(chǎn)生n組還原視頻信號414，其中n表示視頻頻段416的數(shù)目。
圖5表示根據(jù)本發(fā)明一實(shí)施例的示例運(yùn)動補(bǔ)償時(shí)域?yàn)V波。此運(yùn)動補(bǔ)償時(shí)域?yàn)V波可以，例如，由圖2的視頻編碼器110中的MCTF 204或由其它任何合適的視頻編碼器來完成。
如圖5中所示，運(yùn)動補(bǔ)償時(shí)域?yàn)V波包括從前一視頻幀A到當(dāng)前視頻幀B的運(yùn)動估計(jì)。在時(shí)域?yàn)V波期間，視頻幀中的某些象素502可以被參考多次或者從未被參考。這歸因于，例如，視頻幀中包含的運(yùn)動以及圖象中對象的覆蓋或未覆蓋。這些象素502一般被稱作“未連接象素”；而被參考過一次的象素504一般被稱作“連接象素”。在典型的編碼系統(tǒng)中，視頻幀中存在未連接象素需要特殊的處理，這降低了編碼效率。
為了提高運(yùn)動估計(jì)的質(zhì)量，利用3D提升方案采用子-象素精確運(yùn)動估計(jì)，該方案能夠?qū)崿F(xiàn)更為精確或甚至完美的壓縮視頻幀重建。當(dāng)在視頻編碼器110中使用空間域MCTF時(shí)，如果運(yùn)動向量具有子象素精度，則提升方案利用以下公式(2)和(3)為視頻幀生成高通幀(H)和低通幀(L)
H[m,n]=(B[m,m]-A~[m-dm,n-dn])/2---(2)]]>L[m-d‾m,n-d‾n]=H~[m-d‾m+dm,n-d‾n+dn]+2A[m-d‾m,n-d‾n]---(3)]]>其中A代表前一視頻幀，B代表當(dāng)前視頻幀。 代表在A視頻幀中位置(x，y)處的內(nèi)插象素值；B(m，n)代表在B視頻幀中位置(m，n)處的象素值。(dm，dn)代表子象素精度運(yùn)動向量，(dm，dn)代表最接近整數(shù)值格構(gòu)(lattice)的近似值。
在視頻解碼器118中，利用以下公式從L和H重建前一視頻幀AA[m-d‾m,n-d‾n]=(L[m-d‾m,n-d‾n]-H~[m-d‾m+dm,n-d‾n+dn])/2.---(4)]]>在已重建前一視頻幀A之后，利用以下公式重建當(dāng)前視頻幀BB[m,n]=2H[m,n]+A~[m-dm,n-dn]---(5)]]>在此例中，對當(dāng)前幀B中的未連接象素如公式(2)所示的那樣進(jìn)行處理，而前一幀A中的未連接象素進(jìn)行如下處理L[m,n]=2A[m,n].---(6)]]>在視頻編碼器110的小波域中使用過完全小波展開218要求在MCTF 204的運(yùn)動估計(jì)器中有內(nèi)插濾波器，這樣就能夠在小波域中對每一視頻頻段216進(jìn)行子象素運(yùn)動估計(jì)。按照某些實(shí)施方式，這些內(nèi)插濾波器從視頻頻段216內(nèi)的相鄰點(diǎn)以及從其它頻段216的相鄰點(diǎn)對象素進(jìn)行卷積(convolute)。
例如，圖6A表示小波分解的實(shí)例，其中在單獨(dú)一個(gè)分解級內(nèi)，將視頻幀600分解成四個(gè)小波頻段216。由修正公式(2)-(6)能夠生成過完全小波域的提升結(jié)構(gòu)。例如，通過簡單地?cái)U(kuò)展公式(2)，第j分解級的高通幀可以表示如下Hji[m,n]=(Bji[m,n]-Aji~[m-dji(m),n-dji(n)])/2,i=0,…,3---(7)]]>
其中dij(m)＝dm/2i，dij(n)＝dn/2j，并且(dm，dn)代表空間域中的運(yùn)動向量。不過，公式(7)中Aij幀的內(nèi)插可能不是最優(yōu)的，因?yàn)樗话ㄥe(cuò)相小波系數(shù)的相關(guān)性。利用上述的交織技術(shù)，第j分解級更為優(yōu)化的高通幀可以表示如下Hji[m,n]=(Bji[m,n]-LBS_Aji~[2jm-dm,2jn-dn])/2,i=0,…,3---(8)]]>其中LBS_Aij代表交織的過完全小波系數(shù)，且LBS_Aji~[2jm-dm,2jn-dn]]]>代表其在位置[2jm-dm，2jn-dn]處的內(nèi)插象素值。交織完成之后，內(nèi)插操作代表相鄰小波系數(shù)的簡單的空間域內(nèi)插。
類似地，低通濾波幀可表示如下Lji[m-d‾ji(m),n-d‾ji(n)]=LBS_H~ji[2jm-d‾m+dm,n-d‾n+dn]---(9)]]>+2Aji[m-d‾ji(m),n-d‾ji(n)],i=0,..,3]]>其中dij(m)＝dm/2j，dij(n)＝dn/2j，并且LBS_Hij代表Hij幀交織的過完全小波系數(shù)。
在解碼器端，可以利用以下公式進(jìn)行重建Aji[m-d‾ji(m),n-d‾ji(n)]=Lji[m-d‾ji(m),n-d‾ji(n)]/2----(10)]]>LBS_H~ji[2jm-d‾m+dm,n-d‾n+dn]/2]]>Bji[m,n]=2Hji[m,n]+LBS_Aji~[2jm-dm,2jn-dn].---(11)]]>按照某些實(shí)施方式，當(dāng)視頻編碼器110和視頻解碼器118使用同樣的子象素內(nèi)插技術(shù)時(shí)，不管編碼器110用的是何種內(nèi)插技術(shù)，在視頻解碼器118上都能夠得到完美的重建。在此例中，當(dāng)前幀B中未連接象素按照公式(9)所示那樣進(jìn)行處理，而前一幀A中的未連接象素由下述公式進(jìn)行處理
Lji[m,n]=2Aji[m,n].]]>公式(9)使用內(nèi)插的高通幀來獲得低通幀。結(jié)果，按照某些實(shí)施方式，在同一分解級上的四個(gè)時(shí)域高通幀Hij，i＝0，..，3利用公式(8)來生成。此后，利用根據(jù)公式(9)的時(shí)域高通幀生成四個(gè)低通幀Lij，i＝0，..，3。
由視頻編碼器110和視頻解碼器118處理的視頻幀可以具有一個(gè)以上分解級。例如，圖6B表示了示例小波分解，其中視頻幀650被分解成兩個(gè)分解級。在此例中，A10頻段被分解成多個(gè)子頻段A2j，j＝0，..，3。對于該或其它具有多個(gè)分解級的視頻幀，從最低分辨率的圖象開始，遞歸地執(zhí)行實(shí)現(xiàn)提升結(jié)構(gòu)的公式(8)-(11)。換句話說，對頻段A10中的子頻段A2j，j＝0，..，3執(zhí)行一次公式(8)-(11)。一旦完成，對于頻段A1j，j＝0，..，3再次執(zhí)行公式(8)-(11)。
總而言之，在視頻編碼器110中，用于具有L個(gè)分解級的視頻幀的3D提升算法表示如下HL0[m,n]=(BL0[m,n]-LBS_A~L0[2Lm-dm,2Ln-dn])/2]]>LL0[m-d‾L0(m),n-d‾L0(n)]=LBS_H~L0[2Lm-d‾m+dm,n-d‾n+dn]+]]>2AL0[m-d‾L0(m),n-d‾L0(n)]]]>對于j＝L:1對于i＝1:3Hji[m,n]=(Bji[m,n]-LBS_A~ji[2jm-dm,2jn-dn])/2]]>結(jié)束對于i＝1:3Lji[m-d‾ji(m),n-d‾ji(n)]=LBS_Hji~[2jm-d‾m+dm,n-d‾n+dn]+]]>2Aji[m-d‾ji(m),n-d‾ji(n)]]]>結(jié)束由Aji，i＝0，...，3重構(gòu)Aj-10由Hji，i＝0，...，3重構(gòu)Hj-10結(jié)束類似地，在視頻解碼器118上，對于具有L個(gè)分解級的視頻幀，
其3D提升算法表示如下AL0[m-d‾L0(m),n-d‾L0(n)]=LL0[m-d‾L0(m),n-d‾L0(n)]/2]]>-LBS_H~L0[2Lm-d‾m+dm,n-d‾n+dn]/2]]>BL0[m,n]=2HL0[m,n]+LBS_AL0~[2Lm-dm,2Ln-dn]]]>對于j＝L:1對于i＝1:3Aji[m-d‾ji(m),n-d‾ji(n)]=Lji[m-d‾ji(m),n-d‾ji(n)]/2]]>-LBS_Hji~[2jm-d‾m+dm,n-d‾n+dn]/2]]>結(jié)束對于i＝1:3Bji[m,n]=2Hji[m,n]+LBS_A~ji[2jm-dm,2jn-dn].]]>結(jié)束由Aji，i＝0，...，3重構(gòu)Aj-10由Hji，i＝0，...，3重構(gòu)Hj-10結(jié)束正如在此概括和在上述公式(8)-(11)中的所示出的，如果在從視頻編碼器110到視頻解碼器118的傳輸期間，某一分解級的一個(gè)頻段遭到破壞或丟失，那么在解碼器118上重建的視頻幀會帶來錯(cuò)誤。這是因?yàn)楣?8)-(11)在視頻解碼器118上不會產(chǎn)生如其在視頻幀編碼器110上產(chǎn)生的參考值相同的參考值。為了提供錯(cuò)誤彈性，在未平移下一更細(xì)等級的子頻段時(shí)，便從相應(yīng)的子頻段(如Aji)生成擴(kuò)展的參考(如LBS_Aji)。如此可以提高系統(tǒng)100的健壯性(robustness)并使視頻編碼器110和解碼器118的復(fù)雜程度更低。
圖7表示根據(jù)本發(fā)明一實(shí)施例在過完全小波域中利用3D提升技術(shù)對視頻信息進(jìn)行編碼的示例方法700。下面針對在圖1的系統(tǒng)100中操作的圖2的視頻編碼器110來描述方法700。該方法700可以由任何其它合適的編碼器使用并且可以用在任何其它合適的系統(tǒng)當(dāng)中。
在步驟702，視頻編碼器110接收視頻輸入信號。這可以包括，例如，視頻編碼器110從視頻幀源108接收多個(gè)視頻數(shù)據(jù)幀。
在步驟704中，視頻編碼器110將每一視頻幀分為頻段，這可以包括，例如，小波變換器202對視頻幀進(jìn)行處理并將其分為n個(gè)不同的頻段216。小波變換器202能夠?qū)纸鉃橐粋€(gè)或多個(gè)分解級。
在步驟706，視頻編碼器110生成視頻幀的一個(gè)或多個(gè)過完全小波展開。這可以包括，例如，低頻段平移器206接收視頻幀，識別出視頻幀的較低頻段，對較低頻段進(jìn)行不同量的平移，并一起擴(kuò)充較低頻段以生成過完全小波展開。
在步驟708中，視頻編碼器110壓縮視頻幀的基本層。這可以包括，例如，MCTF 204a處理最低分辨率的小波頻段216a并生成高通幀HL0和低通幀LL0。
在步驟710中，視頻編碼器110壓縮視頻幀的增強(qiáng)層。這可以包括，例如，余下的MCTF 204b-204n接收余下的視頻頻段216b-216n。這還可以包括余下的MCTF 204利用公式(8)在最低分解級生成余下的時(shí)域高通幀，之后利用公式(9)在此分解級生成余下的時(shí)域低通幀。這還可以包括MCTF 204為任何其它分解級生成另外的高通幀和低通幀。此外，這可以包括MCTF 204生成識別視頻幀中的運(yùn)動的運(yùn)動向量。
在步驟712中，視頻編碼器110對經(jīng)濾波的視頻頻段進(jìn)行編碼。這可以包括EZBC編碼器208從MCTF 204接收經(jīng)濾波的視頻頻段216，如高通幀和低通幀，并壓縮經(jīng)濾波的頻段216。在步驟714中，視頻編碼器110對運(yùn)動向量進(jìn)行編碼。這可以包括，例如，運(yùn)動向量編碼器210接收由MCTF 204生成的運(yùn)動向量，并壓縮運(yùn)動向量。在步驟716中，視頻編碼器110生成輸出位流。這可以包括，例如，多路復(fù)用器212接收壓縮的視頻頻段216和壓縮的運(yùn)動向量，并將它們多路復(fù)用到位流220上。在此處視頻編碼器110可采用任何適當(dāng)?shù)男袨?，如將位流傳送給緩沖器，以通過數(shù)據(jù)網(wǎng)106進(jìn)行傳輸。
盡管圖7給出了在過完全小波域中利用3D提升技術(shù)對視頻信息進(jìn)行編碼的方法700的一個(gè)例子，但還可以對圖7作出各種改變。例如，圖7中所示的各個(gè)步驟都可以在視頻編碼器110中并行執(zhí)行，如步驟704和步驟706。而且，視頻編碼器110在編碼過程中能夠多次生成過完全小波展開，如對由編碼器110處理的每組視頻幀生成一次。
圖8表示根據(jù)本發(fā)明一實(shí)施例在過完全小波域中利用3D提升對視頻信息進(jìn)行解碼的示例方法800。下面針對在圖1的系統(tǒng)100中操作的圖4的視頻解碼器118來介紹方法800。該方法800可以由任何其它合適的編碼器使用并且可以用在任何其它合適的系統(tǒng)當(dāng)中。
在步驟802，視頻解碼器118接收視頻位流。這可以包括，例如，視頻解碼器118通過數(shù)據(jù)網(wǎng)106接收位流。
在步驟804中，視頻解碼器118分離出位流中的編碼視頻頻段和編碼運(yùn)動向量。這可以包括，例如，多路復(fù)用器402分離出視頻頻段和運(yùn)動向量并將它們發(fā)送到視頻解碼器118中的不同部分。
在步驟806，視頻解碼器118對視頻頻段進(jìn)行解碼。這可以包括，例如，EZBC解碼器404對視頻頻段進(jìn)行反向操作從而對由EZBC編碼器208完成的編碼進(jìn)行反向操作。在步驟808中，視頻解碼器118對運(yùn)動向量進(jìn)行解碼。這可以包括，例如，運(yùn)動向量解碼器406對運(yùn)動向量進(jìn)行反向操作，從而對運(yùn)動向量編碼器210完成的編碼操作進(jìn)行反向操作。
在步驟810中，視頻解碼器118解壓縮視頻幀的基本層。這可以包括，例如，反向MCTF 408a利用高通幀HL0和低通幀LL0對前面和當(dāng)前視頻幀的最低分辨率頻段416進(jìn)行處理。
在步驟812中，視頻解碼器118對視頻幀的增強(qiáng)層(如果可能)進(jìn)行解壓縮。這可以包括，例如，反向MCTF 408接收余下的視頻頻段416b-416n。這還可以包括反向MCTF 408還原一個(gè)分解級上的前一幀的剩余頻段，之后再還原此分解級上的當(dāng)前幀的剩余頻段。這可以進(jìn)一步包括反向MCTF 408對任何其它分解級還原視頻幀。
在步驟814中，視頻解碼器118對還原的視頻頻段416進(jìn)行變換。這可以包括，例如，反向小波變換器410將視頻頻段416從小波域變換到空間域。這還可以包括反向小波變換器410生成一組或多組還原信號414，其中不同的還原信號組414有不同的分辨率。
在步驟816中，視頻解碼器118產(chǎn)生還原信號414中的還原視頻幀的一個(gè)或多個(gè)過完全小波展開。這可以包括，例如，低頻段平移器412接收視頻幀，識別出視頻幀的較低頻段，將較低頻段平移不同的量，并擴(kuò)充較低的頻段。該過完全小波展開再提供給反向MCTF 408用于對其它的視頻信息進(jìn)行解碼。
盡管圖8給出了在過完全小波域中利用3D提升技術(shù)對視頻信息進(jìn)行解碼的方法800，但還可以對圖8作出各種改變。例如，圖8中所示的各個(gè)步驟都可以在視頻解碼器118中并行執(zhí)行，如步驟806和步驟808。此外，視頻解碼器118在解碼過程中能夠多次生成過完全小波展開，如對由解碼器118解碼的每組視頻幀生成一次。
對于本專利文獻(xiàn)中所使用的特定詞和短語給出定義是比較有利的。術(shù)語“包括”、“包含”以及由其派生的相關(guān)詞語意味著包含而不是限制。術(shù)語“或”是包含的，意味著和/或；短語“相關(guān)”以及“與其相關(guān)”以及由其派生的詞語也意味著包括、被包括在其中、與其相連接、包含、被包含在其中、連接到或連接在一起、耦合到或耦合在一起、相通、相配合、交織、并列、靠近、連接到或連接在一起、具有、具有..性能、等等；在此專利文獻(xiàn)中給出了某些詞和短語的定義。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，在許多但也許不是大多數(shù)情況下，這種定義都適用于現(xiàn)在以及將來使用這些被定義的詞和短語。
本發(fā)明已描述了一些實(shí)施例和通常的相關(guān)方法，這些實(shí)施例及方法的變換及改變對于本領(lǐng)域的普通技術(shù)人員來說是顯而易見的。因此，上述實(shí)施例的描述并不限定或限制本發(fā)明。在不背離如在后權(quán)利要求所限定的本發(fā)明實(shí)質(zhì)和范圍的情況下，其它的改變、替代以及變換也是可能的。
權(quán)利要求
1.一種用于壓縮視頻幀的輸入流(214)的方法(700)，包括將多個(gè)視頻幀中的每一視頻幀變換成一個(gè)或多個(gè)分解級中的多個(gè)小波頻段；對至少一部分小波頻段進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波，生成多個(gè)高通幀和多個(gè)低通幀，每一分解級上的低通幀是使用該分解級上的高通幀生成的；且壓縮高通幀和低通幀，以通過網(wǎng)絡(luò)(106)進(jìn)行傳輸。
2.權(quán)利要求1的方法(700)，進(jìn)一步包括生成一個(gè)或多個(gè)在運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間所用的過完全小波展開；在運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間生成一個(gè)或多個(gè)運(yùn)動向量；對所述一個(gè)或多個(gè)運(yùn)動向量進(jìn)行壓縮；且將壓縮的高通幀、低通幀以及一個(gè)或多個(gè)運(yùn)動向量多路復(fù)用到輸出位流(220)上。
3.權(quán)利要求1的方法(700)，進(jìn)一步包括通過下述步驟生成過完全小波展開平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
4.一種用于解壓縮視頻位流(220)的方法(800)，包括接收包括多個(gè)壓縮高通幀和低通幀的視頻位流(220)；對壓縮高通幀和低通幀進(jìn)行解壓縮；對至少一部分解壓縮的高通幀和低通幀進(jìn)行反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)與視頻幀相關(guān)的小波頻段，這些小波頻段與一個(gè)或多個(gè)分解級相關(guān)，這些小波頻段是從最低分解級開始產(chǎn)生的，并且將小波頻段變換成一個(gè)或多個(gè)還原的視頻幀。
5.權(quán)利要求4的方法(800)，進(jìn)一步包括從位流(220)多路分用出一個(gè)或多個(gè)壓縮運(yùn)動向量以及壓縮高通幀和低通幀；對一個(gè)或多個(gè)壓縮運(yùn)動向量進(jìn)行解壓縮，所述一個(gè)或多個(gè)運(yùn)動向量在反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間使用；生成一個(gè)或多個(gè)過完全小波展開，所述一個(gè)或多個(gè)過完全小波展開在反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間使用。
6.權(quán)利要求4的方法(800)，進(jìn)一步包括通過下述步驟生成過完全小波展開平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
7.一種用于壓縮視頻幀輸入流(214)的視頻編碼器(110)，包括小波變換器(202)，能夠進(jìn)行這樣的操作在一個(gè)或多個(gè)分解級上將多個(gè)視頻幀的每個(gè)視頻幀變換成多個(gè)小波頻段；多個(gè)運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(204)，能夠進(jìn)行這樣的操作處理至少一部分小波頻段并生成多個(gè)高通幀和多個(gè)低通幀，每個(gè)分解級上的低通幀是利用該分解級上的高通幀生成的；并且編碼器(208)，能夠進(jìn)行這樣的操作壓縮高通幀和低通幀以通過網(wǎng)絡(luò)(106)進(jìn)行傳輸。
8.權(quán)利要求7所述的視頻編碼器(110)，進(jìn)一步包括低頻段平移器(206)，能夠進(jìn)行這樣的操作生成一個(gè)或多個(gè)由運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(204)使用的過完全小波展開，運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(204)進(jìn)一步能夠進(jìn)行生成一個(gè)或多個(gè)運(yùn)動向量的操作；第二編碼器(210)，能夠進(jìn)行壓縮一個(gè)或多個(gè)運(yùn)動向量的操作；以及多路復(fù)用器(212)，能夠進(jìn)行這樣的操作將壓縮高通幀、低通幀和一個(gè)或多個(gè)運(yùn)動向量多路復(fù)用到輸出位流(220)上。
9.權(quán)利要求8所述的視頻編碼器(110)，其中低頻段平移器(206)通過如下所述生成過完全小波展開平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
10.一種用于解壓縮視頻位流(220)的視頻解碼器(118)，包括解碼器(404)，能夠進(jìn)行這樣的操作對包含在位流(220)中多個(gè)壓縮高通幀和低通幀進(jìn)行解壓縮；多個(gè)反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(408)，能夠進(jìn)行這樣的操作處理至少一部分解壓縮高通幀和低通幀以生成多個(gè)與視頻幀相關(guān)的小波頻段，這些小波頻段與一個(gè)或多個(gè)分解級相關(guān)，這些小波頻段是在最低分解級開始產(chǎn)生的，和小波變換器(410)，能夠進(jìn)行將小波頻段變換成一個(gè)或多個(gè)還原視頻幀的操作。
11.權(quán)利要求10所述的視頻解碼器(118)，進(jìn)一步包括多路分用器(402)，能夠進(jìn)行這樣的操作從位流中多路分用出一個(gè)或多個(gè)壓縮運(yùn)動向量和壓縮高通幀以及低通幀；第二解碼器(406)，能夠進(jìn)行對一個(gè)或多個(gè)壓縮運(yùn)動向量進(jìn)行解壓縮的操作，反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(408)能夠進(jìn)行利用一個(gè)或多個(gè)運(yùn)動向量生成小波頻段的操作；和低頻段平移器(412)，能夠進(jìn)行生成一個(gè)或多個(gè)過完全小波展開的操作，所述一個(gè)或多個(gè)過完全小波展開由反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(408)使用。
12.權(quán)利要求11所述的視頻解碼器(118)，其中低頻段平移器(412)通過如下所述生成過完全小波展開平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
13.視頻發(fā)送器(102)，包括視頻幀源(108)，能夠進(jìn)行提供視頻幀流的操作；視頻編碼器(110)，能夠進(jìn)行壓縮視頻幀的操作，視頻發(fā)送器(102)包括小波變換器(202)，能夠進(jìn)行在一個(gè)或多個(gè)分解級上將每個(gè)視頻幀變換成多個(gè)小波頻段的操作；多個(gè)運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(204)，能夠進(jìn)行處理至少一部分小波頻段并生成多個(gè)高通幀和多個(gè)低通幀的操作，每個(gè)分解級上的低通幀是利用該分解級上的高通幀生成的；和編碼器(208)，能夠進(jìn)行壓縮高通幀和低通幀的操作；和緩沖器(112)，能夠進(jìn)行接收和存儲壓縮視頻幀以通過網(wǎng)絡(luò)(106)進(jìn)行傳輸?shù)牟僮鳌?br> 14.權(quán)利要求13的視頻發(fā)送器(102)，其中視頻編碼器(110)進(jìn)一步包括能夠進(jìn)行生成由運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(204)使用的一個(gè)或多個(gè)過完全小波展開的操作的低頻段平移器(206)，其中低頻段平移器(206)能夠通過如下所述進(jìn)行生成過完全小波展開的操作平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
15.視頻接收器(104)，包括緩沖器(116)，能夠進(jìn)行接收并存儲視頻位流的操作；視頻解碼器(118)，能夠進(jìn)行解壓縮視頻位流并生成還原視頻幀的操作，視頻解碼器(118)包括解碼器(404)，能夠進(jìn)行對包含在位流(220)中多個(gè)壓縮高通幀和低通幀進(jìn)行解壓縮的操作；多個(gè)反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(408)，能夠進(jìn)行處理至少一部分解壓縮高通幀和低通幀以生成多個(gè)與視頻幀相關(guān)的小波頻段的操作，所述小波頻段與一個(gè)或多個(gè)分解級相關(guān)，所述小波頻段是自最低分解級開始產(chǎn)生的，和小波變換器(410)，能夠進(jìn)行將小波頻段變換成一個(gè)或多個(gè)還原視頻幀的操作；視頻顯示器(120)，能夠進(jìn)行顯示還原視頻幀的操作。
16.權(quán)利要求15的視頻接收器(118)，其中視頻解碼器(118)進(jìn)一步包括能夠進(jìn)行生成由反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波器(408)使用的一個(gè)或多個(gè)過完全小波展開的操作的低頻段平移器(412)，其中低頻段平移器(412)能夠通過如下所述進(jìn)行生成過完全小波展開的操作平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都發(fā)生不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
17.一種具體實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上并能夠進(jìn)行由處理器執(zhí)行的操作的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括用于下述用途的計(jì)算機(jī)可讀程序代碼將多個(gè)視頻幀的每一視頻幀變換成一個(gè)或多個(gè)分解級中的多個(gè)小波頻段；對至少一部分小波頻段進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)高通幀和多個(gè)低通幀，每一分解級上的低通幀是使用該分解級上的高通幀生成的；且壓縮高通幀和低通幀，以通過數(shù)據(jù)網(wǎng)(106)進(jìn)行發(fā)送。
18.一種具體實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上并能夠進(jìn)行由處理器執(zhí)行的操作的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括實(shí)現(xiàn)下述功能的計(jì)算機(jī)可讀程序代碼對包含在視頻位流(220)中的多個(gè)壓縮高通幀和低通幀進(jìn)行解壓縮；對至少一部分解壓縮高通幀和低通幀進(jìn)行反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)與視頻幀相關(guān)的小波頻段，所述小波頻段與一個(gè)或多個(gè)分解級相關(guān)，所述小波頻段是自最低分解級開始產(chǎn)生的，并且將小波頻段變換成一個(gè)或多個(gè)還原視頻幀。
19.一種由以下步驟產(chǎn)生的可傳輸視頻信號，將多個(gè)視頻幀的每一視頻幀變換成一個(gè)或多個(gè)分解級中的多個(gè)小波頻段；對至少一部分小波頻段進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)高通幀和多個(gè)低通幀，每一分解級上的低通幀是使用該分解級上的高通幀生成的；且壓縮高通幀和低通幀，以通過數(shù)據(jù)網(wǎng)(106)進(jìn)行發(fā)送。
20.權(quán)利要求19的視頻接收器，其中低頻段平移器通過如下所述生成過完全小波展開平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
21.一種具體實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上并能夠進(jìn)行由處理器執(zhí)行的操作的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括實(shí)現(xiàn)如下功能的計(jì)算機(jī)可讀程序代碼將多個(gè)視頻幀的每一視頻幀變換成一個(gè)或多個(gè)分解級中的多個(gè)小波頻段；對至少一部分小波頻段上進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)高通幀和多個(gè)低通幀，每一分解級上的低通幀是使用該分解級上的高通幀生成的；且壓縮高通幀和低通幀，以通過數(shù)據(jù)網(wǎng)進(jìn)行傳輸。
22.權(quán)利要求21的計(jì)算機(jī)程序，進(jìn)一步包括計(jì)算機(jī)可讀程序代碼，用于生成一個(gè)或多個(gè)在運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間所用的過完全小波展開；在運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間生成一個(gè)或多個(gè)運(yùn)動向量；對所述一個(gè)或多個(gè)運(yùn)動向量進(jìn)行壓縮；且將壓縮高通幀、低通幀以及一個(gè)或多個(gè)運(yùn)動向量多路復(fù)用到輸出位流上。
23.權(quán)利要求22的計(jì)算機(jī)程序，其中用于生成一個(gè)或多個(gè)過完全小波展開的計(jì)算機(jī)可讀程序代碼包括實(shí)現(xiàn)如下功能的計(jì)算機(jī)可讀程序代碼平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
24.一種具體實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上并能夠進(jìn)行由處理器執(zhí)行的操作的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括實(shí)現(xiàn)下述功能的計(jì)算機(jī)可讀程序代碼對與多個(gè)視頻幀相關(guān)的多個(gè)壓縮高通幀和低通幀進(jìn)行解壓縮；對至少一部分解壓縮高通幀和低通幀上進(jìn)行反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)與視頻幀相關(guān)的小波頻段，所述小波頻段與一個(gè)或多個(gè)分解級相關(guān)，所述小波頻段是自最低分解級開始產(chǎn)生的，并且將小波頻段變換成一個(gè)或多個(gè)還原視頻幀。
25.權(quán)利要求24所述的計(jì)算機(jī)程序，進(jìn)一步包括計(jì)算機(jī)可讀程序代碼，用于從位流上多路分用出一個(gè)或多個(gè)壓縮運(yùn)動向量以及壓縮高通幀和低通幀；對一個(gè)或多個(gè)壓縮的運(yùn)動向量進(jìn)行解壓縮，所述一個(gè)或多個(gè)運(yùn)動向量是在反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間使用的；生成一個(gè)或多個(gè)過完全小波展開，所述一個(gè)或多個(gè)過完全小波展開在反向運(yùn)動補(bǔ)償時(shí)域?yàn)V波期間使用。
26.權(quán)利要求25所述的計(jì)算機(jī)程序，其中用于生成一個(gè)或多個(gè)過完全小波展開的計(jì)算機(jī)可讀程序代碼包括實(shí)現(xiàn)如下功能的計(jì)算機(jī)可讀程序代碼平移特定一個(gè)小波頻段多次，以產(chǎn)生多個(gè)平移的小波頻段，平移的小波頻段每一個(gè)都進(jìn)行不同的平移；且對特定小波頻段中的小波系數(shù)和每一個(gè)平移的小波頻段中的小波系數(shù)進(jìn)行交織，以產(chǎn)生一組過完全小波系數(shù)來表示過完全小波展開。
27.一種通過下述步驟產(chǎn)生的可傳輸視頻信號，將多個(gè)視頻幀的每一視頻幀變換成一個(gè)或多個(gè)分解級中的多個(gè)小波頻段；對至少一部分小波頻段進(jìn)行運(yùn)動補(bǔ)償時(shí)域?yàn)V波，以生成多個(gè)高通幀和多個(gè)低通幀，每一分解級上的低通幀是使用該分解級上的高通幀生成的；且壓縮高通幀和低通幀，以通過數(shù)據(jù)網(wǎng)進(jìn)行傳輸。
全文摘要
提供了用于對視頻幀進(jìn)行編碼和解碼的編碼解碼方法和裝置。編碼方法(700)和裝置(110)使用過完全小波域中的三維提升技術(shù)來壓縮視頻幀。解碼方法(800)和裝置(118)也使用過完全小波域中的三維提升技術(shù)來對視頻幀進(jìn)行解壓縮。
文檔編號H04N7/26GK1754390SQ200480005074
公開日2006年3月29日 申請日期2004年2月23日 優(yōu)先權(quán)日2003年2月25日
發(fā)明者J·C·葉, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司