專利名稱：具有精細(xì)粒度空間可縮放性的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻，且更具體來說，涉及數(shù)字視頻的編碼。
背景技術(shù)：
數(shù)字視頻能力可包含于各種各樣的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線 通信裝置、個人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、臺式計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記 錄裝置、蜂窩式或衛(wèi)星無線電電話、及類似裝置。在有效創(chuàng)建、修改、傳輸、存儲、 記錄及播放運(yùn)動視頻序列方面，數(shù)字視頻裝置可提供勝過模擬視頻系統(tǒng)的顯著改善。
精細(xì)粒度可縮放性(FGS)通常是指可任意截?cái)嘁曨l位流而在既定位速率范圍內(nèi) 實(shí)現(xiàn)合理視頻質(zhì)量降級的能力。經(jīng)FGS編碼的視頻位流包括具有指定質(zhì)量的基礎(chǔ)層及 一個或多個鏈接到所述基礎(chǔ)層的增強(qiáng)層。所述增強(qiáng)層包括用以細(xì)化所述基礎(chǔ)層質(zhì)量的 額外數(shù)據(jù)。隨著經(jīng)由一個或多個增強(qiáng)層接收及解碼FGS位流越多，所述經(jīng)解碼視頻的 質(zhì)量會改善。

發(fā)明內(nèi)容
一般來說，本發(fā)明是關(guān)于使用通用精細(xì)粒度可縮放性(FGS)途徑而支持空間可 縮放性的視頻編碼技術(shù)。根據(jù)本發(fā)明，可通過以通用FGS格式發(fā)送空間可縮放增強(qiáng)層 實(shí)現(xiàn)各種程度的空間可縮放性?？蓪⑺隹臻g可縮放性層編碼為FGS增強(qiáng)層而非離散 增強(qiáng)層，從而允許具有連續(xù)增強(qiáng)的視頻質(zhì)量的空間可縮放性。
可通過一個或多個特征補(bǔ)充所述視頻編碼技術(shù)以降低否則由于部分解碼所致而 出現(xiàn)的誤差傳播。舉例來說，所述視頻編碼技術(shù)可應(yīng)用用于幀內(nèi)預(yù)測的漏預(yù)測方案以 降低漂移誤差，用于塊內(nèi)的特殊DC模式以降低空間誤差傳播，及應(yīng)用針對幀內(nèi)預(yù)測 僅使用基礎(chǔ)層內(nèi)的像素的約束條件。
重構(gòu)所述空間可縮放性增強(qiáng)層所需的系數(shù)及語法要素可嵌入通用FGS格式中。經(jīng)
由增強(qiáng)層所接收的額外位允許以提高的空間分辨率及跨不同空間分辨率的連續(xù)改善的 視頻質(zhì)量重構(gòu)經(jīng)解碼視頻。可在任一點(diǎn)任意地截?cái)嗫臻g可縮放增強(qiáng)位流以符合網(wǎng)絡(luò)或 信道條件，或符合解碼器能力。
在一個實(shí)施例中，本發(fā)明提供一種視頻編碼方法，其包含解碼精細(xì)粒度可縮放 性(FGS)基礎(chǔ)層以重構(gòu)定義處于第一空間分辨率的視頻的基礎(chǔ)層視頻塊；至少部分 地解碼一個或多個FGS增強(qiáng)層以重構(gòu)定義處于大于或等于所述第一空間分辨率的第 二空間分辨率的視頻的基礎(chǔ)層視頻塊；及基于由所述基礎(chǔ)層視頻塊形成的第一預(yù)測塊 與由所述增強(qiáng)層視頻塊中的相鄰像素形成的第二預(yù)測塊的經(jīng)加權(quán)和預(yù)測幀內(nèi)編碼視頻
塊(intra-coded video block)。在某些實(shí)施例中，所述第二空間分辨率大于所述第一空 間分辨率，且所述方法進(jìn)一步包含對所述基礎(chǔ)層視頻塊進(jìn)行上采樣(upsampling)， 在這種情況下所述第一預(yù)測塊是由經(jīng)上采樣的基礎(chǔ)層視頻塊形成。
在另一個實(shí)施例中，本發(fā)明提供一種視頻編碼裝置，其包括解碼器，所述解碼器 解碼精細(xì)粒度可縮放性(FGS)基礎(chǔ)層以重構(gòu)定義處于第一空間分辨率的視頻的基礎(chǔ) 層視頻塊，至少部分地解碼一個或多個FGS增強(qiáng)層以重構(gòu)定義處于大于或等于所述第 一空間分辨率的第二空間分辨率的視頻的增強(qiáng)層視頻塊，并基于由所述基礎(chǔ)層視頻塊 形成的第一預(yù)測塊與由所述增強(qiáng)層視頻塊中的相鄰像素形成的第二預(yù)測塊來預(yù)測幀內(nèi) 編碼的視頻塊。在某些實(shí)施例中，所述第二空間分辨率大于所述第一空間分辨率，且 所述解碼器對所述基礎(chǔ)層視頻塊進(jìn)行上采樣，在這種情況下所述第一預(yù)測塊是由經(jīng)上 采樣的基礎(chǔ)層視頻塊形成。
在再一個實(shí)施例中，本發(fā)明提供一種方法，其包含解碼精細(xì)粒度可縮放性(FGS)
基礎(chǔ)層，其包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層視頻塊；至少部分地解 碼一個或多個FGS增強(qiáng)層，其包括定義處于大于所述第一空間分辨率的第二空間分辨 率的視頻信息的增強(qiáng)層視頻塊；及在不使用從相同層中的相同幀推導(dǎo)出的視頻信息的 情況下預(yù)測幀內(nèi)編碼的視頻塊。
在另一個實(shí)施例中，本發(fā)明提供一種裝置，其包含解碼器，所述解碼器解碼精細(xì)
粒度可縮放性(FGS)基礎(chǔ)層，其包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層 視頻塊；至少部分地解碼一個或多個FGS增強(qiáng)層，其包括定義處于大于所述第一空間 分辨率的第二空間分辨率的視頻信息的增強(qiáng)層視頻塊；及在不使用從相同層中的相同
幀推導(dǎo)出的視頻信息的情況下預(yù)測幀內(nèi)編碼的視頻塊。
在另一個實(shí)施例中，本發(fā)明提供一種方法，其包含解碼精細(xì)粒度可縮放性(FGS) 基礎(chǔ)層，其包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層視頻塊；解碼一個或多 個FGS增強(qiáng)層，其包括定義處于大于所述第一空間分辨率的第二空間分辨率的視頻信 息的增強(qiáng)層視頻塊；及使用特殊DC模式解碼所述FGS增強(qiáng)層中的某些塊，在所述特 殊DC模式中從編碼器及解碼器兩者已知的默認(rèn)值中預(yù)測DC系數(shù)且在沒有從相鄰塊 計(jì)算出的預(yù)測的情況下解碼AC系數(shù)。
在另一個實(shí)施例中，本發(fā)明提供一種裝置，其包含解碼器，所述解碼器解碼精細(xì)
粒度可縮放性(FGS)基礎(chǔ)層，其包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層 視頻塊；解碼一個或多個FGS增強(qiáng)層，其包括定義處于大于所述第一空間分辨率的第 二空間分辨率的視頻信息的增強(qiáng)層視頻塊；及使用特殊DC模式解碼所述FGS增強(qiáng)層 中的某些塊，在所述特殊DC模式中從編碼器及解碼器兩者己知的默認(rèn)值中預(yù)測DC 系數(shù)且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下解碼AC系數(shù)。
可以硬件、軟件、固件或其任一組合實(shí)施本發(fā)明中所闡述的技術(shù)。如果以軟件實(shí) 施，則所述軟件可在例如數(shù)字信號處理器(DSP)等處理器中執(zhí)行。最初可將執(zhí)行所 述技術(shù)的軟件存儲在計(jì)算機(jī)可讀媒體中并將其載入處理器并執(zhí)行。因此，本發(fā)明還預(yù) 期一種計(jì)算機(jī)可讀媒體，其包含指令以實(shí)施用于使用通用FGS途徑實(shí)現(xiàn)空間可縮放性
的技術(shù)。
本發(fā)明的一個或多個實(shí)施例的細(xì)節(jié)陳述于隨附圖式及下文說明中。根據(jù)本說明、 附圖且根據(jù)權(quán)利要求書，將明了本發(fā)明的其他特點(diǎn)、目的及優(yōu)點(diǎn)。


圖1是圖解說明視頻編碼及解碼系統(tǒng)的框圖。
圖2是圖解說明視頻位流的多層FGS編碼的圖式。
圖3是進(jìn)一步詳細(xì)圖解說明圖1的系統(tǒng)的框圖，其包括基礎(chǔ)層及增強(qiáng)層編碼器及 解碼器。
圖4是圖解說明視頻幀的FGS編碼中所使用的經(jīng)z字形塊的圖式。
圖5是圖解說明以z字形順序所布置的不同視頻塊的FGS層中的語法要素及系數(shù)
的實(shí)例性編碼順序的圖式。
圖6是圖解說明以傳輸順序針對不同視頻塊所布置的FGS層中的語法要素及系數(shù)
的實(shí)例性編碼順序的圖式。
圖7A是圖解說明實(shí)例性多層空間可縮放性位流的圖式。 圖7B是圖解說明圖7A的空間可縮放性位流的速率-失真性能的圖式。 圖8A是圖解說明因編碼器及解碼器中使用不同參考信號所致的漂移誤差問題
的圖式。
圖8B是圖解說明用以削弱圖8A中所示的漂移誤差問題的根據(jù)基礎(chǔ)層的部分預(yù) 測的圖式。
圖9是圖解說明由相鄰塊的部分解碼所致的漂移誤差的圖式。
圖IO是圖解說明用以削弱幀內(nèi)編碼塊中的漂移誤差的漏預(yù)測技術(shù)的圖式。
圖11是圖解說明如圖10中所示的漏預(yù)測技術(shù)的操作的流程圖。
圖12是圖解說明將特殊DC模式應(yīng)用于視頻塊的圖式。
圖13是圖解說明針對不同幀內(nèi)預(yù)測模式使用圖12的特殊DC模式的圖式。
圖14是圖解說明根據(jù)基礎(chǔ)層中的幀的幀內(nèi)預(yù)測的圖式。
圖15是圖解說明在16乘16幀內(nèi)預(yù)測模式下宏塊中的盧馬(luma)DC塊的圖式。
具體實(shí)施例方式
圖1是圖解說明視頻編碼及解碼系統(tǒng)10的框圖。系統(tǒng)IO經(jīng)配置以應(yīng)用通過使用 通過精細(xì)粒度可縮放性(FGS)途徑而支持空間可縮放性的視頻編碼技術(shù)。如圖1中 所示，系統(tǒng)10包括源裝置12，其經(jīng)由信道16將經(jīng)編碼視頻傳輸?shù)浇邮昭b置14。源裝 置12可包括視頻捕獲裝置18、視頻編碼器20及傳輸器22。接收裝置14可包括接收 器24、視頻解碼器26及視頻顯示裝置28。
在系統(tǒng)10中，可通過以通用FGS格式發(fā)送空間可縮放增強(qiáng)層(而非依賴于解碼 離散增強(qiáng)層)來實(shí)現(xiàn)各種程度的空間可縮放性?；A(chǔ)層載送具有最低質(zhì)量等級的視頻 序列。增強(qiáng)層載送額外位流以支持更高的質(zhì)量等級。此外，根據(jù)本發(fā)明，由一個或多 個增強(qiáng)層所載送的所述額外位流支持提高的空間可縮放性。
視頻編碼器20及視頻解碼器26經(jīng)配置以提供可任意被截?cái)嗟目臻g可縮放增強(qiáng)位 流。經(jīng)由一個或多個增強(qiáng)層所接收的額外位允許以提高的空間分辨率及跨不同空間分 辨率的連續(xù)改善的視頻質(zhì)量重構(gòu)經(jīng)解碼視頻。
如將闡述，系統(tǒng)10可應(yīng)用各種方案以降低可由增強(qiáng)層的部分解碼所致的漂移誤 差。重構(gòu)所述空間可縮放性增強(qiáng)層所需的系數(shù)及語法要素可嵌入通用FGS格式中。通 過通用FGS格式及合適的漂移誤差控制方案，可依據(jù)系統(tǒng)條件在連續(xù)質(zhì)量改善或逐漸 質(zhì)量降級的情況下提高或降低空間分辨率。
系統(tǒng)10可避免使用離散增強(qiáng)層，所述離散增強(qiáng)層必須被整體編碼以實(shí)現(xiàn)空間可 縮放性。然而，在某些實(shí)施例中，系統(tǒng)10可經(jīng)配置以支持在選擇的基礎(chǔ)上使用通用 FGS途徑或離散增強(qiáng)層來支持空間可縮放性。
在圖1的實(shí)例中，通信信道16可包含任一無線或有線通信媒體，例如射頻(RF) 頻譜或一個或多個物理傳輸線路，或無線及有線媒體的任一組合。信道16可形成基于 包的網(wǎng)絡(luò)的一部分，例如局域網(wǎng)絡(luò)、廣域網(wǎng)絡(luò)或全球網(wǎng)絡(luò)(例如，因特網(wǎng))。 一般來 說，通信信道16表示任一合適的通信媒體或不同通信媒體的集合以從源裝置12到接 收裝置14傳輸視頻數(shù)據(jù)。
源裝置12可以是能夠編碼并傳輸視頻數(shù)據(jù)的任一數(shù)字視頻裝置。視頻捕獲裝置 18捕獲視頻序列并將所捕獲的序列存儲于存儲器(未顯示)中以供視頻編碼器20存 取。視頻捕獲裝置18可以是攝像機(jī)、視頻檔案或視頻轉(zhuǎn)換器，所述視頻轉(zhuǎn)換器將模擬 視頻數(shù)據(jù)轉(zhuǎn)換為數(shù)字視頻數(shù)據(jù)，例如從電視、光盤錄像機(jī)(video disc-recorder)、卡 帶式錄像機(jī)(video cassette recorder)、便攜式攝像機(jī)或其他視頻裝置，在所有情況下 視頻編碼器20均編碼所捕獲的視頻以有效地傳輸?shù)浇邮昭b置14。
源裝置12可經(jīng)配置以經(jīng)由通信信道16傳輸存檔或?qū)崟r視頻序列。對于實(shí)時視頻 序列來說，源裝置12及接收裝置14可經(jīng)配置以支持實(shí)時雙向視頻電話(VT)及/或
實(shí)時單向視頻流。對于非實(shí)時視頻流，源裝置12及接收裝置14可支持諸如視頻片段 重放或視頻郵件等應(yīng)用且包括適當(dāng)?shù)目刂泼襟w，例如播放、暫停、前進(jìn)及后退按鈕。
視頻編碼器20及解碼器26可包括適合于編碼由視頻捕獲裝置18所獲得的視頻 的各種硬件、軟件及/或固件。視頻編碼器18可包括一個或多個數(shù)字信號處理器(DSP)， 其執(zhí)行用于視頻編碼的可編程軟件模塊?？商峁┫嚓P(guān)聯(lián)的存儲器及邏輯電路以支持 DSP控制所述視頻編碼過程。在某些實(shí)施例中，視頻編碼器18可形成組合視頻編碼 器-解碼器(CODEC)的一部分。
視頻編碼器20及視頻解碼器26可經(jīng)配置以應(yīng)用一種或多種編碼技術(shù)，例如一般 來說符合MPEG-1、 MPEG-2、 MPEG-4、 ITU-T H.263或ITU-T H.264標(biāo)準(zhǔn)或其他標(biāo)準(zhǔn) 的技術(shù)。作為特定實(shí)施例，視頻編碼器20及解碼器26可符合ITU-T H，264/MPEG-4 部分IO，也就是高級視頻編碼(AVC)，數(shù)字視頻編碼標(biāo)準(zhǔn)，其是由ITU-T視頻編 碼專家組(VCEG)同ISO/IEC運(yùn)動圖像專家組(MPEG)作為稱為聯(lián)合視頻組(JVT)的集 體合作成果的產(chǎn)品所制定。在技術(shù)上講ITU-T H.264標(biāo)準(zhǔn)及ISO/TEC MPEG-4部分10 標(biāo)準(zhǔn)是相同的。
當(dāng)前，聯(lián)合視頻組(JVT)正從事于H.264/AVC的可縮放視頻編碼(SVC)擴(kuò)展 部分，H.264/AVC及正展開的SVC擴(kuò)展部分兩者的標(biāo)準(zhǔn)規(guī)范均是呈聯(lián)合草案(JD) 的形式。由JVT所創(chuàng)建的聯(lián)合可縮放視頻模型(JSVM)可構(gòu)建供可縮放視頻中使用 的工具，且可同系統(tǒng)IO—起用于本發(fā)明中所述的各種編碼任務(wù)。JSVM支持各種可縮 放特征?？稍谒雎?lián)合草案中找到關(guān)于精細(xì)粒度SNR可縮放性(FGS)編碼的詳細(xì)信 息。然而，出于說明的目的，本文將闡述FGS的某些基本概念及獨(dú)特特性。
視頻序列包括一系列視頻幀。視頻編碼器20操作單個視頻幀內(nèi)的像素塊以編碼 所述視頻數(shù)據(jù)。所述視頻塊可具有固定或變化的大小，且可根據(jù)特定編碼標(biāo)準(zhǔn)在大小 上不同。作為實(shí)例，ITU-T H.264標(biāo)準(zhǔn)支持各種塊大小的幀內(nèi)預(yù)測(例如16乘16、 8 乘8、 4乘4的盧馬分量及8x8色度分量)以及各種塊大小的幀間預(yù)測(例如16乘 16、 16乘8、 8乘16、 8乘8、 8乘4及4乘4的盧馬分量及相應(yīng)縮放大小的色度分量)。
較小的視頻塊可提供更佳的分辨率，且可用于定位包括較高細(xì)節(jié)等級的視頻幀的位置。 在所述預(yù)測之后，可對所述8x8剩余塊或4x4剩余塊實(shí)施變換，且如果使用16x16幀 內(nèi)預(yù)測模式則可針對色度分量或盧馬分量將額外變換應(yīng)用于所述4x4塊的DC系數(shù)。
進(jìn)一步參考圖1，傳輸器22可包括適當(dāng)?shù)恼{(diào)制解調(diào)器及驅(qū)動器電路以經(jīng)由信道 16傳輸經(jīng)編碼視頻，信道16可以是有線或無線，或包括有線及無線媒體的組合。對 于無線應(yīng)用來說，傳輸器22包括RF電路以傳輸載送所述經(jīng)編碼視頻數(shù)據(jù)的無線數(shù)據(jù)。 在某些實(shí)施例中，源裝置12可采用以下形式 一個或多個服務(wù)器、工作站、臺式計(jì)算 機(jī)、移動計(jì)算機(jī)、個人數(shù)字助理(PDA)、無線電話、衛(wèi)星電話或其他有線或無線通 信裝置。
在接收裝置14中，視頻解碼器26可同源裝置12的視頻編碼器20 —樣形成 CODEC的一部分。接收裝置14可采用任一數(shù)字視頻裝置或能夠接收并解碼視頻數(shù)據(jù)
的裝置的組合的形式，例如一個或多個工作站、臺式計(jì)算機(jī)、移動計(jì)算機(jī)、個人數(shù)字 助理(PDA)、無線電話、衛(wèi)星電話或其他有線或無線通信裝置。
同傳輸器22 —樣，接收器24可包括適當(dāng)?shù)恼{(diào)制解調(diào)器及驅(qū)動器電路以經(jīng)由信道 16接收經(jīng)編碼視頻，且在無線應(yīng)用中可包括RF電路以接收載送所述經(jīng)編碼視頻數(shù)據(jù) 的無線數(shù)據(jù)。在某些實(shí)施例中，源裝置12及接收裝置14各自可包括互逆?zhèn)鬏敿敖邮?電路以便各自可用作經(jīng)由信道16所傳輸?shù)慕?jīng)編碼視頻或其他信息的源裝置及接收裝 置兩者。在這種情況中，源裝置12及接收裝置14兩者均可編碼、傳輸、接收并解碼 視頻序列。
顯示裝置28可以是用于將視頻呈現(xiàn)給用戶的任一合適的裝置，例如LCD或等離 子平板顯示器、陰極射線管顯示器或任一其他顯示器。此外，可將顯示裝置28與接收 裝置14集成或?qū)⑵涮峁榻?jīng)由有線或無線連接耦合到接收裝置14的分立裝置。顯示 裝置28還可用作接收裝置14的用戶接口的一部分。源裝置12也可包括顯示裝置以允 許査看所接收視頻及與源裝置12的用戶交互作用。
編碼器20及解碼器26經(jīng)配置以支持精細(xì)粒度可縮放性(FGS) 。 FGS允許在某 一位速率范圍內(nèi)幾乎任意地截?cái)辔涣?。將一種形式的FGS應(yīng)用于信號噪聲比(SNR) 可縮放性。常見情況包括用具有某一質(zhì)量等級的基礎(chǔ)層及以相同分辨率向所述基礎(chǔ)層 提供細(xì)化的一個或多個FGS增強(qiáng)層來編碼視頻位流。例如，在以公用中間格式 (common intermediate format) (CIF)分辨率編碼基礎(chǔ)層的情況下，通過FGS增強(qiáng)層 傳輸額外位流改善所述GIF分辨率視頻的質(zhì)量(例如，SNR)。
根據(jù)本發(fā)明，開發(fā)FGS以經(jīng)由根據(jù)通用FGS途徑所傳輸?shù)囊粋€或多個增強(qiáng)層來 支持空間可縮放性。舉例來說，可通過一個或多個FGS增強(qiáng)層增大以四分之一公用中 間格式(quarter common intermediate format) (QCIF)分辨率所編碼的基礎(chǔ)層來提高 所述視頻的空間分辨率，例如從QCIF分辨率到CIF分辨率。所述空間可縮放性FGS 增強(qiáng)層還可包括足以提高QCIF及/或CIF分辨率的視頻的質(zhì)量的額外位流。因此，本 發(fā)明所述的通用FGS途徑支持空間可縮放性，但還可支持SNR可縮放性。特別的， 編碼器20及解碼器26經(jīng)配置以減輕可因一個或多個增強(qiáng)層的部分解碼所致的漂移誤 差。
圖2是圖解說明視頻位流的多層式FGS編碼的圖式。如圖2中所示，對視頻位流 的FGS編碼產(chǎn)生基礎(chǔ)層30及一個或多個增強(qiáng)層32A-32N (統(tǒng)稱為層32)?；A(chǔ)層30 包括一系列幀36A-36N，所述幀在既定位速率下以最小質(zhì)量等級來編碼所述視頻位流。 每一增強(qiáng)層32提供額外的視頻位流信息，解碼器26可使用所述額外的視頻位流信息 逐漸地提高基礎(chǔ)層30所提供的初始質(zhì)量。由解碼器26處理的增強(qiáng)層32的數(shù)量取決于 (例如)在既定信道條件或其他限制下由源裝置14傳輸?shù)脑鰪?qiáng)層的數(shù)量，及由解碼器 26處理的所接收的增強(qiáng)層的數(shù)量。
一般來說，根據(jù)本發(fā)明，每一由解碼器22所處理的各自增強(qiáng)層32A-32N或其部 分可在SNR及/或空間分辨率方面使自基礎(chǔ)層30獲得的視頻的質(zhì)量遞增地提高。并非
同離散增強(qiáng)層一樣整體處理每一增強(qiáng)層32A-32N，本發(fā)明希望系統(tǒng)10允許使用通用 FGS途徑來編碼、傳輸及處理空間可縮放性增強(qiáng)層。以此方式，可以以精細(xì)粒度來縮 放空間分辨率，從而在部分解碼空間增強(qiáng)層時提供連續(xù)之質(zhì)量改善。如將闡述，部分 解碼可造成誤差傳播問題，所述問題可通過使用本發(fā)明中還提供的一個或多個方案來 解決。
圖3是進(jìn)一步詳細(xì)圖解說明圖1的系統(tǒng)10的框圖，其包括基礎(chǔ)層及增強(qiáng)層編碼 器及解碼器。特定來說，在圖3的實(shí)例中，視頻編碼器20包括基礎(chǔ)層編碼器38及增 強(qiáng)層編碼器40。視頻解碼器26包括基礎(chǔ)層解碼器42及增強(qiáng)層解碼器44。裝置12及 14在其他方面通常與圖1 一致。此外，源裝置12及接收裝置14可各自包括互逆?zhèn)鬏?/接收及編碼/解碼組件。然而，同圖1一樣，位易于圖解說明起見，圖3呈現(xiàn)一個裝置 12作為源/編碼裝置及另一個裝置14作為接收/解碼裝置。
基礎(chǔ)層編碼器38編碼至少一部分的從攝像機(jī)18所獲得的視頻位流以提供在既定 位速率下提供最小質(zhì)量等級及/或最小空間大小。增強(qiáng)層編碼器40編碼所述視頻位流 的額外部分以產(chǎn)生增強(qiáng)層，如果被解碼則所述增強(qiáng)層提供額外質(zhì)量及/或允許一個或多 個更大空間格式。在隨著其被解碼而可提供逐漸提高的質(zhì)量的意義上，所述增強(qiáng)層可 分等級。舉例來說，解碼所有的增強(qiáng)層將產(chǎn)生最高質(zhì)量及最大空間大小，而僅解碼第
一增強(qiáng)層將相對于僅解碼基礎(chǔ)層產(chǎn)生逐漸提高的質(zhì)量。
所述增強(qiáng)層可允許在增加的圖像幀質(zhì)量的情況從第一大小到第二大小的空間可 縮放性?；蛘?，在某些實(shí)施例中，所述增強(qiáng)層可允許從第一大小到第二大小、從所述 第二大小到第三大小及(可能)從所述第三大小到一個或多個更大大小的空間可縮放 性。舉例來說，所述增強(qiáng)層可允許僅從QCIF到CIF，或僅從CIF到VGS (視頻圖形 陣列)或僅從VGA到SVGA (超級VGS)縮放視頻幀或序列?；蛘?，所述增強(qiáng)層可 允許從QCIF到CIF，從CIF到VGA及從VGA到SVGA縮放視頻。盡管為圖解說明 的目的而提及QCIF、 CIF、 VGA及SVGA,但其他空間大小及格式也可能作為替代或 附加。
在操作中，基礎(chǔ)層解碼器42解碼經(jīng)由信道16所接收的基礎(chǔ)層以產(chǎn)生由攝像機(jī)18 所獲得視頻位流的一部分來呈現(xiàn)于顯示裝置28上。增強(qiáng)層解碼器44通過解碼一個或 多個增強(qiáng)層(如果可用)來提高經(jīng)解碼視頻的質(zhì)量。此外，由接收裝置14所接收的增 強(qiáng)層的數(shù)量可取決于信道條件或其他限制。另外，由增強(qiáng)層解碼器44所處理的接收的 增強(qiáng)層數(shù)量可取決于解碼器限制。 一般來說，所述基礎(chǔ)層結(jié)合所選擇數(shù)量的增強(qiáng)層的 編碼及解碼允許所解碼視頻的SNR質(zhì)量的遞增改善。
除SNR可縮放性外，還希望提供空間可縮放性。根據(jù)本發(fā)明，系統(tǒng)10經(jīng)配置以 經(jīng)由通用FGS編碼途徑支持空間可縮放性。如將闡述，系統(tǒng)10可部分通過循環(huán)交錯 不同視頻塊的經(jīng)編碼系數(shù)及語法要素以保證多層FGS編碼視頻中每一增強(qiáng)層均勻地 提高基礎(chǔ)層的視頻質(zhì)量。
部分解碼以經(jīng)由FGS實(shí)現(xiàn)空間可縮放性可產(chǎn)生誤差。出于這一原因，系統(tǒng)10可
應(yīng)用一種或多種方法以抑制誤差傳播，包括幀內(nèi)預(yù)測中的漏預(yù)測以減少漂移，用于塊 內(nèi)的特殊DC模式以減少誤差傳播及針對幀間預(yù)測僅使用基礎(chǔ)層內(nèi)的像素的約束條 件。系統(tǒng)IO可發(fā)送闡述應(yīng)如何預(yù)測增強(qiáng)層的語法要素，例如其是幀間預(yù)測還是幀內(nèi)預(yù)
測及如何分割所述塊。系統(tǒng)10還可在選擇的基礎(chǔ)上支持FGS空間可縮放性或離散空 間可縮放性。換句話說，系統(tǒng)10可支持FGS空間可縮放性及經(jīng)由離散增強(qiáng)層的可縮 放性并基于網(wǎng)絡(luò)條件、信道條件、解碼器能力或其他考慮在其間轉(zhuǎn)換。
圖4是圖解說明視頻幀的FGS編碼中所使用的z字形掃描塊的圖式。在圖4的實(shí) 例中，假設(shè)塊46A、 46B及46C是視頻幀的增強(qiáng)層中的前三個塊。在此實(shí)例中，每一 塊46A、 46B、 46C均是4乘4系數(shù)塊。以變換域繪示塊46A、 46B及46C。因此，塊 46A、 46B、 46C中的每一數(shù)或變量均是要通過無損耗熵編碼過程編碼的量化系數(shù)。例 如，如塊46A中的參考編號41所指示，具有以字母"S"開始的標(biāo)號的系數(shù)均是非零 有效系數(shù)。因塊46A在FGS SNR可縮放性增強(qiáng)層中，針對塊中每一系數(shù)，在所述基
礎(chǔ)層中均存在對應(yīng)系數(shù)。
對于非零有效系數(shù)，其值為非零且其對應(yīng)基礎(chǔ)層系數(shù)為零。舉例來說，系數(shù)"S0，1" 對應(yīng)于塊"0"中z字形掃描索引為"1"的非零有效系數(shù)。標(biāo)為"0"的系數(shù)位零系數(shù) 且其對應(yīng)基礎(chǔ)層系數(shù)同樣為零。例如，如塊46A中的參考編號43所指示，具有以字 母"R"開始的標(biāo)號的系數(shù)是具有非零(也就是，有效)對應(yīng)基礎(chǔ)層系數(shù)的細(xì)化系數(shù)。 舉例來說，系數(shù)"R2，2"是塊"2"中z字形掃描索引位"2"的細(xì)化系數(shù)。在分類增 強(qiáng)層系數(shù)時，通常會使用有效性映射。所述映射會指示在基礎(chǔ)層中已變?yōu)橛行У南禂?shù) 的位置。在增強(qiáng)層中，所述位置處的系數(shù)是改善系數(shù)。
如本文所述，可將增強(qiáng)層編碼器40看作編碼所述基礎(chǔ)層中所使用的熵編碼器(例 如諸如ITU-T H.264標(biāo)準(zhǔn)所預(yù)期的熵編碼器)的擴(kuò)展。特定來說，增強(qiáng)層中所使用的 塊分割、變換及量化類似于所述基礎(chǔ)層中所使用的塊分割、變換及量化。為更加有效 地編碼所述零，可使用諸如編碼塊旗標(biāo)(CBF)及塊結(jié)束(EOB)的語法要素。在所 述基礎(chǔ)層編碼中也可使用類似的語法要素。對于每一塊均發(fā)送一次CBF，且所述CBF 指示所述塊中存在非零有效系數(shù)。如果所述CBF為O，則不存在非零有效系數(shù)，否則 存在至少一個有效系數(shù)。所述EOB旗標(biāo)用于指示剛剛所編碼的非零系數(shù)是否是所述掃
描順序中的最后一個非零有效系數(shù)。
基礎(chǔ)層編碼器38與增強(qiáng)層編碼器40之間的一個區(qū)別是在所述FGS層及編碼順序
中細(xì)化系數(shù)與其他系數(shù)的分離。在所述基礎(chǔ)層中，在編碼下一塊之間完全地編碼一塊。 然而，根據(jù)本發(fā)明的實(shí)施例，增強(qiáng)層編碼器40的一個特征是將來自不同塊的系數(shù)彼此 交錯。將所述塊的系數(shù)循環(huán)編碼。在每一循環(huán)中，僅編碼來自既定塊的某些系數(shù)。以 此方式，增強(qiáng)層編碼器40保證每當(dāng)截?cái)嗨鑫涣鲿r對視頻質(zhì)量的改善更均勻。
圖5是圖解說明以z字形順序所布置的不同視頻塊46A、 46B、 46C的語法要素 及系數(shù)的實(shí)例性編碼順序的圖式。圖6圖解說明用于傳輸語法要素的實(shí)例性編碼順序， 其中以z字形順序水平地布置來自每一塊的系數(shù)。在圖5及6中，每一系數(shù)由一個塊
來代表。在圖5及6的實(shí)例中，在單個循環(huán)中，對于指定塊，至多編碼一個非零系數(shù)， 且所述循環(huán)索引正好與z字形掃描索引相同。然而，依據(jù)設(shè)計(jì)考慮，也可不同地定義 所述循環(huán)索引且可編碼多于一個的非零系數(shù)。圖5中的每一循環(huán)對應(yīng)于以圖4的z字 形順序從一個系數(shù)轉(zhuǎn)換到另一個系數(shù)的既定箭頭。
如圖4中所示，對于循環(huán)0，針對每一塊46A、 46B、 46B均發(fā)送一次CBF，且 所述CBF指示所述塊中存在非零有效系數(shù)。舉例來說，CBF0/1對應(yīng)于第一塊0，且其 指示所述塊中存在非零有效系數(shù)。另外，在循環(huán)O中發(fā)送零系數(shù)"O"及來自塊O的非 零系數(shù)"S0,1"(其對應(yīng)于塊"0"中Z字形掃描索引為"1"的非零有效系數(shù))。然 而，CBF1/0對應(yīng)于第二塊1且指示所述塊中不存在任何非零有效系數(shù)。因此，在隨后 循環(huán)不針對塊1發(fā)送任何系數(shù)。循環(huán)0進(jìn)一步包括CBF2/1 (其指示塊2包括非零有效 系數(shù)(S2，0))及所述系數(shù)S2，0自身。
循環(huán)1包括用于塊2的E0B旗標(biāo)(EOB2/0)，其指示循環(huán)0中剛剛所編碼的非 零有效系數(shù)(其是S2，0)并非所述掃描順序中的最后非零有效系數(shù)，在剩余循環(huán)中， 塊的編碼繼續(xù)跟隨所述掃描z字形順序，且適當(dāng)?shù)匕ㄖT如CBF及EOB等語法要素。 圖4、 5及6的實(shí)例是關(guān)于視頻幀的增強(qiáng)層中的前三個4x4塊。然而，圖4-6中所圖解 說明的通用方案可應(yīng)用于具有更大大小以及更大塊數(shù)量的塊。
圖6是圖解說明以傳輸順序針對不同視頻塊所布置的語法要素及系數(shù)的編碼順序 的圖式。圖6中的編碼順序等同于圖5中的編碼順序，只是語法要素及系數(shù)經(jīng)布置以 便水平地列出既定循環(huán)中所發(fā)送的語法要素及系數(shù)。在圖6的圖式中，以遞增循環(huán)索 引順序從上到下發(fā)送所述語法要素及系數(shù)，且通過每一循環(huán)將其從左到右發(fā)送。
舉例來說，循環(huán)0針對第一塊顯示CBF0/1,后面是零系數(shù)，后面是SO,l， SO，l 對應(yīng)于塊"0"中z字形掃描索引位"1"的非零有效系數(shù)。循環(huán)0進(jìn)一步包括CBF1/0 (其指示塊1中的非零有效系數(shù))及CBF2/1及S2，0，所述CBF2/1及S2,0指示并提 供塊2的非零有效系數(shù)。所述過程以所述Z字形掃描次序繼續(xù)進(jìn)行循環(huán)1-15，其中每 一循環(huán)均對應(yīng)于圖4中的一個箭頭轉(zhuǎn)換。
空間可縮放性允許視頻解碼器26通過解碼來自可縮放視頻位流的增強(qiáng)層位流而 重構(gòu)并顯示具有更高空間分辨率(例如，GIF而非四分之一公用中間格式(QCIF)) 的視頻信號。圖4-6中的語法要素及系數(shù)的實(shí)例性順序支持使用用于空間可縮放性及 FGS SNR可縮放性兩者的通用FGS格式。解碼所述基礎(chǔ)層位流允許解碼器26獲得較 低空間分辨率視頻，而解碼一個或多個增強(qiáng)層允許改善所述基礎(chǔ)層空間分辨率的SNR 及/或?qū)⒖臻g分辨率提高到更大格式。
圖7A是圖解說明包括空間可縮放性增強(qiáng)層位流的多層位流的圖式。圖7B是圖 解說明圖7A的空間可縮放性位流的速率-失真(R-D)性能的圖式。圖7A及7B提供 空間可縮放性及FGS SNR可縮放性兩者的實(shí)例。解碼基礎(chǔ)層45產(chǎn)生圖7A的位流1 ， 其允許解碼器26獲得處于最小質(zhì)量(SNR)水平的相對低的空間分辨率視頻(例如， 30幀每秒(fps)的QCIF空間分辨率)。將圖7A中的位流2提供于第一FGS增強(qiáng)層
位流47中，其將所述QCIF視頻質(zhì)量(SNR)改善達(dá)某一量(例如，3dB)。
增強(qiáng)層49的解碼提供支持空間可縮放性的額外位流3。解碼圖7A的增強(qiáng)層49 中的位流3允許解碼器26獲得更高空間分辨率視頻(例如，以30 fps的CIF空間分辨 率)。增強(qiáng)層51提供也具有FGSSNR可縮放性的額外位流4。增強(qiáng)層51的解碼進(jìn)一 步改善CIF視頻質(zhì)量但不影響所得視頻的空間分辨率。如圖7A中所示，基礎(chǔ)層45、 增強(qiáng)層47、增強(qiáng)層49及增強(qiáng)層51分別需要96千位每秒(kbps) 、 192 kbps、 384 kbps 及512kbps的信道帶寬以進(jìn)行完全傳輸。在所述實(shí)例中，增強(qiáng)層的位速率包括所有較 低層的位速率。舉例來說，層47的192 kbps的位速率包括層45的96 kbps。同樣地， 層49的384位速率包括層47的192 kbps位速率及層45的96 kbps位速率。
根據(jù)本發(fā)明，系統(tǒng)IO經(jīng)配置以支持通用精細(xì)粒度可縮放性(FGS)。在此意義上， 系統(tǒng)10提供優(yōu)于其中僅通過發(fā)送離散增強(qiáng)層實(shí)現(xiàn)空間可縮放性的其他系統(tǒng)的改善。通 過FGS而非整體處理離散增強(qiáng)層，可能在幾乎任一點(diǎn)截?cái)嗫臻g可縮放增強(qiáng)層。因此， 通過FGS，解碼器26可提高視頻幀的空間分辨率而無需語法分析和解碼整個增強(qiáng)層 位流。然而,系統(tǒng)10進(jìn)一步實(shí)施一個或多個方案以降低由于部分解碼所致的誤差傳播。
圖7B顯示不同位速率及空間分辨率的以分貝(dB)為單位的峰值信號噪聲比 (PSNR)。特定來說，圖7B顯示CIF及QCIF速率-失真(RD)曲線。在圖7B的實(shí) 例中，在位速率轉(zhuǎn)變方面所述CIF及QCIF速率-失真曲線是不連貫的。圖7B中的參 考編號53識別QCIF SNR可縮放性路徑，而參考編號55識別CIF SNR可縮放性路徑。 參考編號57顯示QCIF與CIF之間的漸進(jìn)且大致連續(xù)的FGS空間可縮放性路徑，而 參考編號59顯示不連貫離散增強(qiáng)層空間可縮放性路徑。
在參考圖7A中所示的層的情況下，圖7B中的符號指示用于將SNR及/或空間可 縮放性從一點(diǎn)增加到另一點(diǎn)的基礎(chǔ)層及增強(qiáng)層的組合。舉例來說，"僅1"指示僅解 碼圖7A的基礎(chǔ)層位流以產(chǎn)生具有最小SNR質(zhì)量的QCIF視頻幀。符號"l+部分2" 指示解碼所述基礎(chǔ)層位流及所述第一增強(qiáng)層位流的一部分兩者來產(chǎn)生具有提高的 SNR質(zhì)量的QCIF視頻幀，其中"1+2"指示完全解碼所述基礎(chǔ)層位流及所述第一增 強(qiáng)層位流兩者以實(shí)現(xiàn)提高的SNR質(zhì)量。符號"l+2+部分3"識別根據(jù)本發(fā)明通過使用 通用FGS途徑解碼增強(qiáng)層3允許從QCIF到CIF的空間可縮放性路徑。
如本發(fā)明中所述，系統(tǒng)10通過以FGS格式發(fā)送空間可縮放增強(qiáng)層為空間分辨率 提高提供通用FGS。這一途徑允許在任一點(diǎn)截?cái)嗫臻g可縮放性增強(qiáng)位流一適合某一網(wǎng) 絡(luò)/信道條件及/或解碼器能力。以此方式，更好的網(wǎng)絡(luò)/信道條件及/或具有更高能力的 解碼器將能夠重構(gòu)具有更高空間分辨率及連續(xù)改善的視頻質(zhì)量的視頻，同事接受并解 碼更多位。使用用于空間可縮放性的通用FGS途徑提供超過完全解碼離散增強(qiáng)層的顯 著改善。
通過用于空間分辨率提高的通用FGS，在位速率轉(zhuǎn)變方面具有不同空間分辨率的 視頻的RD曲線將連接在一起。以此方式，用于空間分辨率提高的通用FGS在不同空 間分辨率視頻(例如QCIF53及CIF55)之間提供具有大致連續(xù)RD曲線57 (而非不
連貫RD曲線，例如曲線59)的連續(xù)改善的視頻質(zhì)量。特定來說，請注意，QCIFSNR 曲線53上的點(diǎn)1+2 (其指示完全解碼圖7A的所述基礎(chǔ)層及第一增強(qiáng)層)與離散空間 增強(qiáng)層曲線59上的點(diǎn)l+3 (其指示完全解碼圖7A的基礎(chǔ)層及第二增強(qiáng)層)之間的間 隙。
作為實(shí)例，參考圖7A的圖式及圖7B的相關(guān)聯(lián)曲線圖，假設(shè)希望產(chǎn)生CIF視頻 而非有基礎(chǔ)層1提供的QCIF視頻。然而，進(jìn)一步假設(shè)信道條件將不支持完全傳輸并 解碼離散增強(qiáng)層49所需的384千位每秒(kbps)速率。在此情況中，可將FGS增強(qiáng) 層47截?cái)酁榭山邮芩揭垣@得具有小于384kbps的位速率的CIF視頻。雖然這允許 288kbps (其中發(fā)送0%的位流2)與384kbps (其中發(fā)送100%的位流2)之間的連續(xù) 質(zhì)量改善，但如圖7B中的曲線59所指示(l+部分2+3)所指示，所述位流截?cái)嗟腞D 性能可能是次優(yōu)。在這種情況中，l+部分2+3表示完全解碼基礎(chǔ)層l，部分解碼FGS 增強(qiáng)層2及完全解碼離散增強(qiáng)層3。這種RD性能并不合乎需要。允許通用FGS，而 非完全地解碼離散增強(qiáng)層3，連接兩個空間分辨率的RD性能曲線將從曲線59 (l+部 分2+3)改善為曲線57 (l+2+部分3，"新截?cái)嗦窂?)，其大致跨QCIF曲線53與 CIF曲線55之間的整個空間尺度。
因此，為避免不同空間分辨率視頻之間的不連貫RD曲線及/或避免較不合乎需要 的編碼性能，系統(tǒng)10經(jīng)配置以提供用于空間分辨率提高的通用FGS。為使用具有良 好編碼性能的通用FGS實(shí)現(xiàn)空間可縮放性，單獨(dú)或組合地應(yīng)用一個或多個唯一編碼方 案以抑制誤差傳播，部分解碼增強(qiáng)層以支持FGS空間可縮放性可產(chǎn)生顯著誤差傳播。 本發(fā)明中所述的額外方案可有效抑制否則將由于使用通用FGS所導(dǎo)致的誤差傳播以 實(shí)現(xiàn)具有連續(xù)提高的視頻質(zhì)量的空間可縮放性。
舉例來說，在一個實(shí)施例中，系統(tǒng)10在幀內(nèi)預(yù)測中應(yīng)用漏預(yù)測方案以減少漂移， 用于塊內(nèi)的特殊DC模式以減少空間誤差傳播，及/或針對幀內(nèi)預(yù)測僅使用所述基礎(chǔ)層 內(nèi)的像素的約束條件。此外，系統(tǒng)IO可發(fā)送闡述應(yīng)如何預(yù)測增強(qiáng)層的語法要素，例如 其是幀間預(yù)測還是幀內(nèi)預(yù)測及如何分割所述塊。在某些實(shí)施例中，系統(tǒng)io還在選擇基 礎(chǔ)上支持FGS空間可縮放性或離散空間可縮放性。下文將進(jìn)一步詳細(xì)闡述所述額外誤 差消除方案中的每一者。
FGS層位流可僅含有量化剩余變換系數(shù)而無模式及運(yùn)動信息。為使用FGS實(shí)現(xiàn) 空間可縮放性，還應(yīng)發(fā)送模式及運(yùn)動信息。這可通過使用類似于針對離散增強(qiáng)層所定 義語法的語法來實(shí)現(xiàn)。針對宏塊模式，可支持內(nèi)部(I)模式(I—NxN、 1—16x16)、 BL (基礎(chǔ)層)內(nèi)部模式及(P或B)間模式。所述LBL模式是層間紋理預(yù)測模式。 在此模式中，從基礎(chǔ)層中重構(gòu)的像素預(yù)測增強(qiáng)層中的像素塊。如果所述增強(qiáng)層的分辨 率不同于所述基礎(chǔ)層的分辨率，則應(yīng)正確地將所述基礎(chǔ)層重構(gòu)像素上采樣為所述增強(qiáng) 層分辨率。如果所述增強(qiáng)層的分辨率與所述基礎(chǔ)層一樣，則不需要上采樣所述基礎(chǔ)層
重構(gòu)像素以實(shí)現(xiàn)所述漏預(yù)測技術(shù)。而是，可在不上采樣的情況下完成所述漏預(yù)測。在 需要上采樣的情況中，可將各種插值技術(shù)中的任一者用于上采樣。對于運(yùn)動向量及參
考圖像索引來說，可將其從所述基礎(chǔ)層位流推導(dǎo)出或細(xì)化或直接地在增強(qiáng)層位流進(jìn)行 發(fā)送。
圖8A是圖解說明由于部分解碼FGS增強(qiáng)層而在編碼器及解碼器中使用不同參考 幀所致的漂移問題的圖式。圖8B是圖解說明從基礎(chǔ)層部分預(yù)測(也就是漏預(yù)測)以 削弱圖8A中所示的漂移問題的圖式。部分解碼所述FGS位流(也就是位流截?cái)?可 導(dǎo)致漂移問題。特定來說，當(dāng)解碼器26使用部分接收的增強(qiáng)層位流來重構(gòu)宏塊且稍后 在幀間預(yù)測中使用相同宏塊時，在所述編碼器與解碼器之間存在失配，如圖8A中所 示。根據(jù)本發(fā)明，漏預(yù)測可至少部分減輕所述漂移問題。如圖8B中所示，在漏預(yù)測 中，部分有所述FGS增強(qiáng)層(例如，按因數(shù)a，其中0<="<7)及部分由所述基礎(chǔ) 層(例如，按因數(shù)l-a)形成所述預(yù)測信號。因?yàn)槭冀K完全接收所述基礎(chǔ)層信號，由于 部分解碼所述增強(qiáng)層所致的任何誤差E將被消弱因數(shù)V切變成c^E、 a2*￡、 a3*￡, 且在后續(xù)幀中闡述。
圖9是圖解說明由部分解碼相鄰像素所致的漂移誤差的圖式。圖10是圖解說明 通過使用所述漏預(yù)測方案來削弱漂移誤差的相鄰像素的形成的圖式。系統(tǒng)10可經(jīng)配置 以將漏預(yù)測擴(kuò)展到宏塊內(nèi)以及宏塊間。在圖9的實(shí)例中，參考編號50指示當(dāng)前L4x4 塊，參考編號52指示編碼器側(cè)的預(yù)測中所使用的相鄰像素，且參考編號54指示使用 部分解碼的解碼器側(cè)的預(yù)測中所使用的相鄰像素。對于幀內(nèi)預(yù)測，從相鄰先前所解碼
塊的邊緣像素預(yù)測塊像素。部分解碼增強(qiáng)層塊導(dǎo)致解碼器針對視頻塊的幀內(nèi)預(yù)測所使 用的相鄰像素將不同于由所述解碼器所使用的相鄰像素，從而導(dǎo)致漂移誤差。
圖9顯示漏預(yù)測方案的(I) —4x4內(nèi)部對角模式的實(shí)例。在圖9的實(shí)例中，針對 當(dāng)前塊50，部分解碼表示相鄰塊的增強(qiáng)層位導(dǎo)致解碼器側(cè)的1—4x4對角模式中所使用 的相鄰像素54將不同于編碼器側(cè)所使用的相鄰像素52。換句話說，當(dāng)解碼器僅部分 解碼所述增強(qiáng)層位時在解碼器及編碼器處預(yù)測既定塊50所使用的相鄰像素可以是不 同于的。因此，改變了所預(yù)測的4x4塊，從而導(dǎo)致重構(gòu)塊的漂移誤差。當(dāng)在所述解碼 器側(cè)將當(dāng)前塊50中的像素用于預(yù)測下一塊時所述漂移誤差將再次傳播到相鄰4x4塊， 從而導(dǎo)致潛在嚴(yán)重誤差傳播。
為削弱漏問題，圖IO圖解說明漏預(yù)測技術(shù)的應(yīng)用，其中4x4預(yù)測塊58是由增強(qiáng) 層相鄰像素54所構(gòu)造的預(yù)測塊及上采樣基礎(chǔ)層預(yù)測塊56的經(jīng)加權(quán)平均值(其中加權(quán) 因數(shù)為a)。用于形成所述預(yù)測塊的上采樣基礎(chǔ)層像素是對應(yīng)于待預(yù)測實(shí)際塊的像素。 用于形成由所述增強(qiáng)層所構(gòu)造的預(yù)測塊的像素是來自先前所解碼塊沿待預(yù)測實(shí)際塊的 邊緣的相鄰像素。在解碼器側(cè)，所得預(yù)測塊58中的像素值是由所述增強(qiáng)層視頻塊的相 鄰像素值所構(gòu)造的預(yù)測塊乘以因數(shù)a與由上采樣基礎(chǔ)層預(yù)測塊56所構(gòu)造的預(yù)測塊乘以 因數(shù)l-a的和。
在每一情況中，將來自增強(qiáng)層預(yù)測塊的相鄰像素結(jié)合上采樣基礎(chǔ)層預(yù)測塊用于預(yù) 測幀內(nèi)塊。對于增強(qiáng)層來說，不接收所有塊，從而導(dǎo)致僅部分解碼。對于所述基礎(chǔ)層， 接收所有塊，但其分辨率低于所述增強(qiáng)層。增強(qiáng)層預(yù)測塊的相鄰像素與上采樣基礎(chǔ)層
預(yù)測塊的經(jīng)加權(quán)平均值用于減少重構(gòu)塊中的漂移誤差58，并減輕在空間FGS編碼中 因部分解碼增強(qiáng)層所呈現(xiàn)的潛在問題。
因此，在所述漏預(yù)測方案中，將由增強(qiáng)層相鄰像素形成的預(yù)測塊及由上采樣基礎(chǔ) 層像素形成的預(yù)測塊加權(quán)以產(chǎn)生供編碼中使用的實(shí)際預(yù)測塊。所述基礎(chǔ)層像素的上采 樣以與增強(qiáng)層預(yù)測塊相同的分辨率提供基礎(chǔ)層預(yù)測塊。然而，在某些實(shí)施例中，如果 所述基礎(chǔ)層及增強(qiáng)層具有相同分辨率，則不需要上采樣所述基礎(chǔ)層，而是可在無上采 樣的情況下實(shí)施漏預(yù)測。如果由增強(qiáng)層所定義視頻的分辨率大于由基礎(chǔ)層所定義視頻 的分辨率，則實(shí)施基礎(chǔ)層像素的上采樣。盡管將4x4內(nèi)預(yù)測用作圖9及10中的實(shí)例， 但可將所述漏預(yù)測方案應(yīng)用于其他幀內(nèi)預(yù)測類型，例如8x8內(nèi)或16x16內(nèi)盧馬樣本的 預(yù)測或色度幀內(nèi)預(yù)測。在圖10的實(shí)例中，解碼器26應(yīng)用漏預(yù)測以用權(quán)重a來加權(quán)由 增強(qiáng)層相鄰像素構(gòu)造的預(yù)測塊并用權(quán)重l-a加權(quán)上采樣基礎(chǔ)層預(yù)測塊來產(chǎn)生削弱漂移 誤差的預(yù)測塊。然而，可使用其他因數(shù)或加權(quán)(包括更復(fù)雜的加權(quán)函數(shù))以減少漂移 誤差，例如如下文所述。
如圖9及10中所示，對幀內(nèi)編碼塊的漏預(yù)測會抑制誤差傳播并促進(jìn)通用FGS技 術(shù)中的質(zhì)量改善。當(dāng)部分解碼所述位流時，可使用其他技術(shù)。如果對于某些塊來說， 在某一點(diǎn)未接收有效量的增強(qiáng)層，則相鄰預(yù)測將比所述基礎(chǔ)層預(yù)測差?？墒褂?jì)算所述 預(yù)測值中所使用的加權(quán)因子(其是由相鄰像素所構(gòu)造的預(yù)測值與基礎(chǔ)層預(yù)測值之間的 經(jīng)加權(quán)平均值)變?yōu)閯討B(tài)可調(diào)。所述加權(quán)因子的值可取決于所解碼位流的量。如果所 解碼位流越多，則由相鄰像素所構(gòu)造的預(yù)測值的加權(quán)因子可越大。當(dāng)解碼整個增強(qiáng)層 時所使用的加權(quán)因子也可以是內(nèi)容相依。舉例來說，應(yīng)用于幀內(nèi)預(yù)測的加權(quán)因子值可 取決于如何預(yù)測所述基礎(chǔ)層。
圖11是圖解說明如圖10中所示的漏預(yù)測技術(shù)的操作的圖式。如圖11中所示， 解碼器26解碼所述FGS基礎(chǔ)層以重構(gòu)基礎(chǔ)層視頻塊(57)，且至少部分解碼一個或 多個FGS增強(qiáng)層以重構(gòu)增強(qiáng)層視頻塊(59)。因可以僅部分解碼所述FGS增強(qiáng)層， 解碼器26針對幀內(nèi)編碼塊的解碼應(yīng)用漏預(yù)測技術(shù)。出于此原因，依靠來自部分解碼增 強(qiáng)層的相鄰像素重構(gòu)幀內(nèi)編碼預(yù)測塊將產(chǎn)生由于使用編碼器及解碼器側(cè)上的不同像素 的可能性所致的顯著漂移誤差。
為實(shí)施所述漏預(yù)測技術(shù)，在一個實(shí)例性實(shí)施例中，解碼器26對所述基礎(chǔ)層像素 (61)進(jìn)行上采樣并由經(jīng)上采樣的基礎(chǔ)層像素(63)形成第一預(yù)測塊。如果所述增強(qiáng) 層分辨率大于所述基礎(chǔ)層分辨率，則可將所述基礎(chǔ)層像素上采樣到所述增強(qiáng)層的分辨 率，從而產(chǎn)生對應(yīng)于要預(yù)測的幀內(nèi)編碼塊的分辨率的預(yù)測塊。如果所述增強(qiáng)層及所述 基礎(chǔ)層的分辨率相等，則不需要對所述基礎(chǔ)層像素進(jìn)行上采樣。而是，可在由未經(jīng)上 采樣的基礎(chǔ)層像素形成的預(yù)測塊的基礎(chǔ)上進(jìn)行所述漏預(yù)測技術(shù)。相應(yīng)地，對所述基礎(chǔ) 層像素的上釆樣是可選的且在所述增強(qiáng)層分辨率大于所述基礎(chǔ)層分辨率時應(yīng)用。通過 進(jìn)一步參考圖1，解碼器26還從對應(yīng)增強(qiáng)層視頻塊(65)的相鄰像素形成第二預(yù)測塊。 特定來說，解碼器26選擇鄰近待預(yù)測幀內(nèi)編碼塊的所解碼增強(qiáng)層中的像素。使用所述
第一及第二預(yù)測塊，解碼器26預(yù)測幀內(nèi)編碼塊(67)。
具體來說，如圖ll的實(shí)例中所示，解碼器26基于由上采樣基礎(chǔ)層像素產(chǎn)生的第 一預(yù)測塊及由增強(qiáng)層塊(67)中的相鄰像素產(chǎn)生的第二預(yù)測塊的經(jīng)加權(quán)和預(yù)測所述幀 內(nèi)塊。以此方式，通過組合基礎(chǔ)層及增強(qiáng)層像素，解碼器26減少否則可由于所述增強(qiáng) 層的部分解碼所致的漂移誤差的量。所述漏預(yù)測技術(shù)可應(yīng)用于視頻片段中的某些或所 有幀內(nèi)編碼塊。在每一情況中，選擇增強(qiáng)層相鄰像素及基礎(chǔ)層像素的不同組合以對應(yīng) 于待預(yù)測的幀內(nèi)編碼塊。
除漏預(yù)測外，用于空間可縮放性的通用FGS途徑可提供用于幀內(nèi)宏塊的特殊DC 模式以防止空間誤差傳播。甚至在使用基礎(chǔ)層信息的漏預(yù)測的情況下，所述漂移誤差 仍可隨著距誤差源點(diǎn)的距離增加而累積。DC系數(shù)通常是指塊的左上角中的系數(shù)，且 其被以從相鄰塊所推導(dǎo)出的預(yù)測而編碼。
為減輕空間誤差傳播，系統(tǒng)10可經(jīng)配置以提供用于通用FGS的特殊DC模式。 所有幀內(nèi)宏塊類型(包括L4x4、 I—8x8及I—16x16)可使用這一特殊DC模式。當(dāng)使用 所述特殊DC模式時，從編碼器及解碼器兩者已知的默認(rèn)值而非從相鄰塊中的信息推 導(dǎo)出的任一值中預(yù)測所述NxN塊(N=4、 8或16)的DC系數(shù)，且在無任何預(yù)測的情 況下編碼所述AC系數(shù)。因此，所述特殊DC模式避免從相鄰塊推導(dǎo)值而是依靠預(yù)定 默認(rèn)值。在本發(fā)明中，所述特殊DC模式用于控制誤差傳播，且甚至在所有所需相鄰 塊均可用于幀內(nèi)預(yù)測的情況下仍可使用所述特殊DC模式。編碼所述DC值所需的位 數(shù)量取決于量化參數(shù)。 一旦確定所述位數(shù)量，則可使用固定長度編碼來編碼所述DC 值。也可使用其他可變長度的代碼來編碼所述DC值。
圖12是圖解說明視頻塊的特殊DC模式的應(yīng)用的圖式。特定來說，作為實(shí)例圖 12顯示使用4x4塊的1—4x4特殊DC模式的編碼。對于圖12的實(shí)例來說，I_8x8特殊 DC模式類似于1—4x4特殊DC模式，只是使用8x8塊變換且從8x8塊計(jì)算所述DC系 數(shù)。對于I」6xl6特殊DC模式，可使用ITU-T H.264中所定義的變換策略且所述DC 系數(shù)是在應(yīng)用哈達(dá)馬變換之后的塊94中的DC系數(shù)，例如如圖15中所示。
可通過所編碼位流將所述特殊DC模式作為額外模式(也就是除其他已建立幀內(nèi) 預(yù)測模式之外)發(fā)送。舉例來說，在ITU-T R264標(biāo)準(zhǔn)中，已存在9個所屬技術(shù)領(lǐng)域 的技術(shù)人員已知的1—4x4預(yù)測模式。如果所述特殊DC模式是額外模式，則其可以是 第十個模式。對于I—16x16宏塊來說，所述特殊DC模式可以是第五模式。根據(jù)替代 實(shí)施方案，所述特殊DC模式可代替已建立的模式。作為另一替代，在可由所述位流 推導(dǎo)出的特定條件下所述特殊DC模式可代替原始DC模式。
如圖12中所示，編碼器20應(yīng)用特殊DC模式以編碼1—4x4塊60。編碼器20對 塊60應(yīng)用4x4塊轉(zhuǎn)換61，且通過預(yù)測器70應(yīng)用DC系數(shù)預(yù)測62，預(yù)測器70產(chǎn)生編 碼器及解碼器兩者均已知的默認(rèn)DC系數(shù)值。編碼器20在DC預(yù)測后對所轉(zhuǎn)換塊應(yīng)用 量化63，且然后應(yīng)用熵編碼器61以產(chǎn)生將要傳輸?shù)慕?jīng)編碼塊。 一逆過程用于重構(gòu)所 述塊。舉例來說，解碼器26應(yīng)用熵解碼器65及去量化66,隨后是使用由默認(rèn)DC系
數(shù)預(yù)測器70產(chǎn)生的值的逆DC系數(shù)值預(yù)測67。因此，編碼器20及解碼器26各自可 包括用作默認(rèn)DC系數(shù)預(yù)測器70的功能單元以產(chǎn)生編碼器及解碼器兩者均已知的默認(rèn) DC系數(shù)值。在逆DC預(yù)測67之后，解碼器26實(shí)施4x4塊逆轉(zhuǎn)換以產(chǎn)生所預(yù)測塊69。 也可通過從所述塊中的所有像素減去預(yù)測值而在像素域中等效地實(shí)施DC系數(shù)預(yù)測。
圖13是圖解說明針對不同幀內(nèi)預(yù)測模式使用所述特殊DC模式的圖式。某些系 統(tǒng)具有單環(huán)路解碼選項(xiàng)。舉例來說，位流可具有兩個具有不同分辨率的層。如果用戶 僅關(guān)注高分辨率視頻，且所述位流支持單回路解碼，則僅需要于高分辨率層處實(shí)施運(yùn) 動補(bǔ)償。這通過強(qiáng)制實(shí)施某些預(yù)測約束條件來實(shí)現(xiàn)。舉例來說， 一個約束條件可要求 不能從相鄰幀間宏塊預(yù)測幀內(nèi)宏塊，且僅在以正常幀內(nèi)模式或BL內(nèi)模式編碼所述基 礎(chǔ)層時可將所述BL(基礎(chǔ)層)內(nèi)模式用于增強(qiáng)層中，以便可重構(gòu)所述基礎(chǔ)層中的宏塊 并用于預(yù)測，而無需實(shí)施任一運(yùn)動補(bǔ)償。
當(dāng)使用單回路解碼且不幀內(nèi)編碼相應(yīng)基礎(chǔ)層宏塊時，不能使用漏預(yù)測，這是因?yàn)?不存在可用的基礎(chǔ)層像素。在這種情況下，為限制來自空間相鄰的誤差傳播，當(dāng)將所 述增強(qiáng)層宏塊信令位I_4x4時，在一個實(shí)施例中，可推斷七個邊界4x4塊呈特殊DC 模式。在單回路解碼中，當(dāng)增強(qiáng)層宏塊在幀內(nèi)時，推斷邊界塊(圖13中的暗塊72) 呈特殊DC模式。非邊界塊74仍可在上文所呈現(xiàn)正確誤差控制方案下使用任一幀內(nèi)預(yù) 測模式。
類似地，當(dāng)將增強(qiáng)層宏塊信令為I一8x8時，則推斷三個邊界8x8塊76呈特殊DC 模式，同時塊78可在上文所呈現(xiàn)的正確誤差控制方案下使用任一幀內(nèi)預(yù)測模式。如由 參考編號80所指示，當(dāng)增強(qiáng)層宏塊是IJ6xl6時，可推斷使用特殊DC模式。請注意， 在圖13中各個宏塊中的其他非邊界4x4或8x8塊74、78仍可使用其他幀內(nèi)預(yù)測模式。 在另一個實(shí)施例中，任一位置處的塊可以是DC模式且可明確地信令所述模式。
圖14是圖解說明來自基礎(chǔ)層中的幀82的幀內(nèi)預(yù)測的圖式。圖14顯示上采樣基 礎(chǔ)層的幀82中的塊84以產(chǎn)生上采樣塊86。上采樣塊86用于預(yù)測增強(qiáng)層的幀90中的 待編碼塊88。如圖14中所示，也可將約束條件應(yīng)用于所述增強(qiáng)層中以不使用層內(nèi)幀 內(nèi)預(yù)測。在一個實(shí)施例中，舉例來說，可強(qiáng)制實(shí)施一個約束條件以便不由來自與待預(yù) 測塊相同層內(nèi)的相同幀的像素(或從所述像素推導(dǎo)出的其他信息)形成所述預(yù)測。換 句話說，不使用從與所述待預(yù)測塊相同層及相同幀所獲得的像素或其他信息來預(yù)測增 強(qiáng)層中的塊。在這種情況下，通過來自基礎(chǔ)層中的幀或其他已編碼幀或兩者的組合的 像素(或從所述像素推導(dǎo)出的其他信息)形成所述預(yù)測。以此方式，解碼器26可應(yīng)用 針對幀內(nèi)預(yù)測僅使用所述基礎(chǔ)層中的像素的約束條件?；A(chǔ)層中的幀82可具有相同分
辨率或不同分辨率。
為支持使用通用FGS的空間可縮放性，可在經(jīng)編碼位流中傳輸各種宏塊語法要素 以信令解碼器應(yīng)如何預(yù)測增強(qiáng)層中的每一宏塊。所述語法要素可包括諸如將要幀間或
幀內(nèi)預(yù)測宏塊的信息。如果幀間預(yù)測所述宏塊，則還應(yīng)傳輸諸如如何分割宏塊及每一 分區(qū)的運(yùn)動向量及參考幀索引的信息。如果幀內(nèi)預(yù)測宏塊，則可從基礎(chǔ)層中的相同時
間位置處的幀或相同層中的相同幀發(fā)送諸如幀內(nèi)預(yù)測模式的額外信息。
可以以不同方式實(shí)現(xiàn)語法要素的傳輸。在一個實(shí)施例中，在傳輸任一紋理信息之 前傳輸幀或片段的所有語法要素，所述紋理信息是與轉(zhuǎn)換系數(shù)有關(guān)的信息。在另一個 實(shí)施例中，可將所述語法要素與所述紋理信息交錯。然而，所編碼位流仍可通常符合 所述FGS格式，從而避免完全地重設(shè)計(jì)所述編碼技術(shù)的結(jié)構(gòu)及格式。
在H.264實(shí)施方案中，宏塊可以呈B片段(也就是，使用過去片段、未來片段或 兩者的雙向或雙預(yù)測編碼片段)中的直接模式。B片段可形成視頻幀的一部分或覆蓋 整個視頻幀。當(dāng)宏塊呈B片段中的直接模式時，從已編碼的信息推導(dǎo)出這一宏塊的運(yùn) 動向量及參考幀索引。所述用于推導(dǎo)出所述運(yùn)動向量及參考幀索引的信息是來自相同 幀且有時可來自所述參考幀。如果宏塊(MB)呈空間直接模式，可從相鄰MB的運(yùn) 動向量推導(dǎo)出每一分區(qū)的運(yùn)動向量。然而，也可通過參考幀中的共定位塊的運(yùn)動向量 限制每一所推導(dǎo)出的運(yùn)動向量。在所述時間直接模式中，可基于當(dāng)前幀與其參考幀之 間的時間關(guān)系從參考幀中的共定位塊的運(yùn)動向量推導(dǎo)出運(yùn)動向量。
與依賴參考幀的信息推導(dǎo)出運(yùn)動向量有關(guān)的一個問題是在解碼器26中可截?cái)嗨?述參考幀。因此，可用于解碼器20的信息不可用于解碼器26。運(yùn)動向量的不正確重 構(gòu)通常導(dǎo)致大的誤差。在一個實(shí)施例中，在將增強(qiáng)層編碼于B片段中且不通過來自參 考幀的任一信息限制所推導(dǎo)出的運(yùn)動向量時將僅使用空間直接模式。換句話說，如果 將增強(qiáng)層編碼于雙預(yù)測(B)片段中，則解碼器26僅應(yīng)用修改的空間直接模式，其不 使用來自所述參考幀的任一信息。
在一個實(shí)施例中，因此增強(qiáng)層呈現(xiàn)更高空間分辨率，在用于FGS系數(shù)編碼過程中 之前可上采樣來自所述基礎(chǔ)層的有效性映射。在另一個實(shí)施例中，可在編碼所述空間 增強(qiáng)層處的FGS位流之前清除所述有效性映射。在這種情況下，沒有系數(shù)被編碼為具 有提高的空間分辨率的FGS增強(qiáng)層中的細(xì)化系數(shù)。因此，重置來自所述基礎(chǔ)層的有效 性映射，且僅將系數(shù)解碼為所述增強(qiáng)層中的一者或多者中的零系數(shù)或不具有細(xì)化系數(shù) 的非零有效系數(shù)。
在某些系統(tǒng)中，可需要在選擇基礎(chǔ)上除FGS空間增強(qiáng)層外保留編碼離散空間增強(qiáng) 層的能力。舉例來說，復(fù)雜性考慮可保證相同系統(tǒng)中離散空間增強(qiáng)層的選擇。在這種 情況下，系統(tǒng)10可經(jīng)配置以支持與離散空間增強(qiáng)層的相容性。如果可以可靠地遞送所 述增強(qiáng)層，則使用離散空間增強(qiáng)層編碼可提供更高編碼性能?？稍谒鶄鬏斘涣髦行帕?離散空間增強(qiáng)層編碼的選擇。舉例來說，所述位流可包括指示針對所述位流支持離散 空間增強(qiáng)層編碼還是FGS空間增強(qiáng)層編碼的信息，如本文所述。 一個實(shí)例是將新旗標(biāo) 引入可縮放片段標(biāo)頭中以指示是否在所述片段中使用FGS編碼。
圖15是圖解說明，具有16乘16幀內(nèi)預(yù)測模式的宏塊中盧馬DC塊的圖式。對 16x16內(nèi)部宏塊92，可對盧馬DC系數(shù)進(jìn)行哈達(dá)馬(Hadamard)變換。如圖15中所示， 如果使用16x16幀內(nèi)模式預(yù)測宏塊，則將盧馬預(yù)測剩余首先轉(zhuǎn)換為16個4x4塊，且 16個塊的DC系數(shù)形成另一個4x4塊94。在本發(fā)明中將這一額外4x4塊稱作16x16內(nèi)
部DC塊。根據(jù)ITU-T H.264獨(dú)立于所述AC塊編碼所述DC塊。對于ITU-T H.264來
說，所述這一分立的額外實(shí)施復(fù)雜性最小。然而，因其特定設(shè)計(jì)如果在FGS編碼器中 獨(dú)立地編碼則實(shí)施復(fù)雜性的影響將更大。
因此，在FGS編碼中，盡管對DC系數(shù)實(shí)施額外轉(zhuǎn)換，但仍不獨(dú)立地編碼所述 DC系數(shù)。對于常規(guī)FGS來說這可能不成問題，其僅支持對相同分辨率的視頻的細(xì)化。 然而，針對偏好16x16幀內(nèi)預(yù)測的某些視頻內(nèi)容來說其可顯著地影響經(jīng)由通用FGS的 空間可縮放性的性能。 一種在不引入過多復(fù)雜性的情況下提供FGS空間可縮放性的途 徑是以在ITU-T H.26基礎(chǔ)層中編碼的方式編碼16x16內(nèi)部DC塊。舉例來說， 一旦遇 到所述16x16內(nèi)部DC塊的第一系數(shù)，則在編碼任一其他系數(shù)之前編碼整個塊。
本發(fā)明闡述用于使用通用FGS編碼的空間可縮放性的技術(shù)。使用通用FGS格式 允許視頻編碼器實(shí)現(xiàn)跨不同空間分辨率的連續(xù)質(zhì)量改善。如本發(fā)明中所述，用于使用 通用FGS的空間可縮放性的技術(shù)可利用數(shù)種不同方案來支持具有可接受的性能及復(fù) 雜性的空間可縮放性。舉例來說，所述技術(shù)可并入用以抑制由于部分解碼所致的誤差 傳播的方案，其包括使用由增強(qiáng)層相鄰像素形成的預(yù)測值及上采樣基礎(chǔ)層預(yù)測值的經(jīng) 加權(quán)平均值的幀內(nèi)編碼宏塊的漏預(yù)測，在部分解碼中預(yù)測源的自適應(yīng)性切換，及停止 由于剩余漂移誤差所致的空間誤差傳播的特殊DC模式。
在某些實(shí)施例中，可強(qiáng)制實(shí)施約束條件以便不通過來自相同層中的相同幀的像素 或從所述像素推導(dǎo)出的其他信息形成預(yù)測來簡化所述設(shè)計(jì)。此外，如果將增強(qiáng)層編碼 于B片段中則可僅使用空間直接模式，且不通過來自所述參考幀的任一信息限制所推 導(dǎo)出的運(yùn)動向量。作為另一特征，可將來自基礎(chǔ)層圖像的有效性映射上采樣并用于增 強(qiáng)層剩余的FGS編碼中以改善編碼性能。另外，所述空間增強(qiáng)層中的系數(shù)可未編碼任 何細(xì)化系數(shù)。同樣，可將特殊1位語法添加于所述可縮放片段標(biāo)頭以信令所述解碼器 所述空間可縮放性層是使用FGS編碼還是用作離散空間增強(qiáng)層。
本發(fā)明中所述的技術(shù)可實(shí)施于硬件、軟件、固件或其任一組合中。特定來說，如 本文所述，可通過各種硬件、軟件及固件組件中的任一者來實(shí)現(xiàn)編碼或解碼器。舉例 來說，所述技術(shù)的各個方面可實(shí)施于一個或多個微處理器、數(shù)字信號處理器(DSP)、 專用集成電路(ASIC)、現(xiàn)場可編程門陣列(PPGA)或其他等效集成或離散邏輯電 路以及所述組件的任一組合中。術(shù)語"處理器"或"處理電路"通常是指單獨(dú)或與其 他邏輯電路組合的前述邏輯電路中的任一者或任一其他等效電路。在某些實(shí)施例中， 可將本文所述的功能性提供于專用軟件模塊中或經(jīng)配置以進(jìn)行編碼及解碼的硬件單元 中，或并入組合視頻編碼器-解碼器(CODEC)中。
如果實(shí)施于軟件中，則所述技術(shù)可部分地通過一種計(jì)算機(jī)可讀媒體來實(shí)現(xiàn)，所述 計(jì)算機(jī)可讀媒體包含在由處理器執(zhí)行時可實(shí)施上文所述的功能中的一者或多者的程序 代碼或指令。存儲所述程序代碼或指令的計(jì)算機(jī)可讀媒體可包含隨機(jī)存取存儲器，例 如同步動態(tài)隨機(jī)存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取 存儲器(NVRAM)、電可擦可編程只讀存儲器(EEPRQM)、快閃存儲器、磁性或
光學(xué)數(shù)據(jù)存儲媒體或所述存儲器或存儲媒體的任一組合。
本文已闡述本發(fā)明的各種實(shí)施例。所述及其它實(shí)施例均在隨附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1、一種視頻編碼方法，其包含對精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼以重構(gòu)定義處于第一空間分辨率的視頻的基礎(chǔ)層視頻塊；至少部分地對一個或多個FGS增強(qiáng)層進(jìn)行解碼以重構(gòu)定義處于大于或等于所述第一空間分辨率的第二空間分辨率的視頻的增強(qiáng)層視頻塊；及基于由所述基礎(chǔ)層視頻塊形成的第一預(yù)測塊及由所述增強(qiáng)層視頻塊中的相鄰像素形成的第二預(yù)測塊的經(jīng)加權(quán)和來預(yù)測幀內(nèi)編碼視頻塊。
2、 如權(quán)利要求1所述的方法，其中所述第二空間分辨率大于所述第一空間分辨率，所述方法進(jìn)一步包含對所述基礎(chǔ)層視頻塊進(jìn)行上采樣，且其中所述第一預(yù)測塊由 所述經(jīng)上采樣的基礎(chǔ)層視頻塊形成。
3、 如權(quán)利要求2所述的方法，其進(jìn)一步包含基于所述經(jīng)解碼的FGS基礎(chǔ)層及所 述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空間分辨率的視頻。
4、 如權(quán)利要求2所述的方法，其中所述FGS基礎(chǔ)層以第一質(zhì)量等級定義所述視 頻，且所述FGS增強(qiáng)層中的至少一者以大于所述第一質(zhì)量等級的第二質(zhì)量等級定義所 述視頻。
5、 如權(quán)利要求4所述的方法，其進(jìn)一步包含基于所述經(jīng)解碼的FGS基礎(chǔ)層及所 述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二質(zhì)量等級的視頻。
6、 如權(quán)利要求4所述的方法，其進(jìn)一步包含基于所述經(jīng)解碼的FGS基礎(chǔ)層及所 述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空間分辨率的視頻，且基于所述經(jīng) 解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二質(zhì)量等級 的視頻。
7、 如權(quán)利要求2所述的方法，其進(jìn)一步包含在不使用從與所述各個幀內(nèi)編碼視 頻塊相同層內(nèi)的相同幀推導(dǎo)出的視頻信息的情況下預(yù)測所述幀內(nèi)編碼視頻塊。
8、 如權(quán)利要求2所述的方法，其進(jìn)一步包含僅使用來自所述基礎(chǔ)層的像素預(yù)測 所述幀內(nèi)編碼視頻塊。
9、 如權(quán)利要求2所述的方法，其進(jìn)一步包含使用特殊DC模式對所述FGS增強(qiáng) 層中的塊進(jìn)行解碼，在所述特殊DC模式中從編碼器及解碼器兩者已知的默認(rèn)值中預(yù) 測DC系數(shù)且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
10、 如權(quán)利要求2所述的方法，其進(jìn)一步包含如果將增強(qiáng)層編碼在雙預(yù)測(B) 片段中，則僅將經(jīng)修改的空間直接模式應(yīng)用于所述增強(qiáng)層，所述經(jīng)修改的空間直接模 式不使用來自參考幀的信息。
11、 如權(quán)利要求2所述的方法，其進(jìn)一步包含對來自所述基礎(chǔ)層的有效性映射進(jìn) 行上釆樣，并使用所述經(jīng)上采樣的有效性映射來對所述增強(qiáng)層中的一者或多者進(jìn)行解 碼。
12、 如權(quán)利要求1所述的方法，其進(jìn)一步包含重置來自所述基礎(chǔ)層的有效性映射， 并將系數(shù)僅解碼為所述增強(qiáng)層中的一者或多者內(nèi)的零系數(shù)或不具有細(xì)化系數(shù)的非零有 效系數(shù)。
13、 如權(quán)利要求2所述的方法，其進(jìn)一步包含借助所述增強(qiáng)層中的至少一者接收 1位語法要素以發(fā)信號通知針對空間可縮放性使用FGS編碼。
14、 一種視頻編碼裝置，其包括解碼器，所述解碼器對精細(xì)粒度可縮放性(FGS) 基礎(chǔ)層進(jìn)行解碼以重構(gòu)定義處于第一空間分辨率的視頻的基礎(chǔ)層視頻塊，至少部分地 對一個或多個FGS增強(qiáng)層進(jìn)行解碼以重構(gòu)定義處于大于或等于所述第一空間分辨率 的第二空間分辨率的視頻的增強(qiáng)層視頻塊，并基于由所述基礎(chǔ)層視頻塊形成的第一預(yù) 測塊及由所述增強(qiáng)層視頻塊中的相鄰像素形成的第二預(yù)測塊的經(jīng)加權(quán)和來預(yù)測幀內(nèi)編 碼視頻塊。
15、 如權(quán)利要求14所述的裝置，其中所述第二空間分辨率大于所述第一空間分 辨率，所述解碼器對所述基礎(chǔ)層視頻塊進(jìn)行上采樣，且其中所述第一預(yù)測塊是由所述 經(jīng)上采樣的基礎(chǔ)層視頻塊形成。
16、 如權(quán)利要求15所述的裝置，其中所述解碼器基于所述經(jīng)解碼的FGS基礎(chǔ)層 及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空間分辨率的視頻。
17、 如權(quán)利要求15所述的裝置，其中所述FGS基礎(chǔ)層以第一質(zhì)量等級定義所述 視頻，且所述FGS增強(qiáng)層中的至少一者以大于所述第一質(zhì)量等級的第二質(zhì)量等級定義 所述視頻。
18、 如權(quán)利要求17所述的裝置，其中所述解碼器基于所述經(jīng)解碼的FGS基礎(chǔ)層 及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二質(zhì)量等級的視頻。
19、 如權(quán)利要求17所述的裝置，其中所述解碼器基于所述經(jīng)解碼的FGS基礎(chǔ)層 及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空間分辨率的視頻，且基于所 述經(jīng)解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二質(zhì)量 等級的視頻。
20、 如權(quán)利要求17所述的裝置，其中所述解碼器在不使用從與所述各個幀內(nèi)編 碼視頻塊相同層中的相同幀推導(dǎo)出的視頻信息的情況下預(yù)測所述幀內(nèi)編碼視頻塊。
21、 如權(quán)利要求15所述的裝置，其中所述解碼器僅使用來自所述基礎(chǔ)層的像素 預(yù)測所述幀內(nèi)編碼視頻塊。
22、 如權(quán)利要求15所述的裝置，其中所述解碼器使用特殊DC模式對所述FGS 增強(qiáng)層中的塊進(jìn)行解碼，在所述特殊DC模式中從編碼器及解碼器兩者均已知的默認(rèn) 值中預(yù)測DC系數(shù)，且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
23、 如權(quán)利要求15所述的裝置，其中如果將增強(qiáng)層編碼在雙預(yù)測(B)片段中， 則所述解碼器僅將空間直接模式應(yīng)用于所述增強(qiáng)層，而不使用來自參考幀的信息。
24、 如權(quán)利要求15所述的裝置，其中所述解碼器對來自所述基礎(chǔ)層的有效性映 射進(jìn)行上采樣，并使用所述經(jīng)上采樣的有效性映射來對所述增強(qiáng)層中的一者或多者進(jìn) 行解碼。
25、 如權(quán)利要求14所述的裝置，其中所述解碼器重置來自所述基礎(chǔ)層的有效性 映射，并將系數(shù)僅解碼為所述增強(qiáng)層中的一者或多者內(nèi)的零系數(shù)或不具有細(xì)化系數(shù)的 非零有效系數(shù)。
26、 如權(quán)利要求15所述的裝置，其中所述解碼器借助所述增強(qiáng)層中的至少一者 接收1位語法要素以發(fā)信號通知針對空間可縮放性使用FGS編碼。
27、 一種計(jì)算機(jī)可讀媒體，其包含致使處理器執(zhí)行如下操作的指令 對精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼以重構(gòu)定義處于第一空間分辨率的視頻的基礎(chǔ)層視頻塊；至少部分地對一個或多個FGS增強(qiáng)層進(jìn)行解碼以重構(gòu)定義處于大于或等于所述 第一空間分辨率的第二空間分辨率的視頻的增強(qiáng)層視頻塊；及基于由所述基礎(chǔ)層視頻塊形成的第一預(yù)測塊及由所述增強(qiáng)層視頻塊中的相鄰像 素形成的第二預(yù)測塊的經(jīng)加權(quán)和來預(yù)測幀內(nèi)編碼視頻塊。
28、 如權(quán)利要求27所述的計(jì)算機(jī)可讀媒體，其中所述第二空間分辨率大于所述 第一空間分辨率，所述指令進(jìn)一步致使所述處理器對所述基礎(chǔ)層視頻塊進(jìn)行上采樣， 且其中所述第一預(yù)測塊是由所述經(jīng)上采樣的基礎(chǔ)層視頻塊形成。
29、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器基于 所述經(jīng)解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空 間分辨率的視頻。
30、 如權(quán)利要求29所述的計(jì)算機(jī)可讀媒體，其中所述FGS基礎(chǔ)層以第一質(zhì)量等 級定義所述視頻，且所述FGS增強(qiáng)層中的至少一者以大于所述第一質(zhì)量等級的第二質(zhì) 量等級定義所述視頻。
31、 如權(quán)利要求30所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器基于 所述經(jīng)解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二質(zhì) 量等級的視頻。
32、 如權(quán)利要求30所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器基于 所述經(jīng)解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增強(qiáng)層產(chǎn)生處于所述第二空 間分辨率的視頻，且基于所述經(jīng)解碼的FGS基礎(chǔ)層及所述至少部分經(jīng)解碼的FGS增 強(qiáng)層產(chǎn)生處于所述第二質(zhì)量等級的視頻。
33、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器在不 使用從與所述各個幀內(nèi)編碼塊相同層內(nèi)的相同幀推導(dǎo)出的視頻信息的情況下預(yù)測所述 幀內(nèi)編碼視頻塊。
34、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器僅使 用來自所述基礎(chǔ)層的像素預(yù)測所述幀內(nèi)編碼視頻塊。
35、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器使用特殊DC模式對所述FGS增強(qiáng)層中的塊進(jìn)行解碼，在所述特殊DC模式中從編碼器及 解碼器兩者均已知的默認(rèn)值中預(yù)測DC系數(shù)，且在沒有從相鄰塊計(jì)算出的預(yù)測的情況 下對AC系數(shù)進(jìn)行解碼。
36、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器在將 增強(qiáng)層編碼在雙預(yù)測(B)片段中的情況下僅將空間直接模式應(yīng)用于所述增強(qiáng)層，而 不使用來自參考幀的信息。
37、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器對來 自所述基礎(chǔ)層的有效性映射進(jìn)行上采樣，并使用所述經(jīng)上采樣的有效性映射來對所述 增強(qiáng)層中的一者或多者進(jìn)行解碼。
38、 如權(quán)利要求27所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器重置 來自所述基礎(chǔ)層的有效性映射，并將系數(shù)僅解碼為所述增強(qiáng)層中的一者或多者內(nèi)的零 系數(shù)或不具有細(xì)化系數(shù)的非零有效系數(shù)。
39、 如權(quán)利要求28所述的計(jì)算機(jī)可讀媒體，其中所述指令致使所述處理器借助 所述增強(qiáng)層中的至少一者接收1位語法要素以發(fā)信號通知針對空間可縮放性使用FGS 編碼。
40、 一種方法，其包含對精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼，所述精細(xì)粒度可縮放性(FGS) 基礎(chǔ)層包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層視頻塊；至少部分地對一個或多個FGS增強(qiáng)層進(jìn)行解碼，所述一個或多個FGS增強(qiáng)層包 括定義處于大于所述第一空間分辨率的第二空間分辨率的視頻信息的增強(qiáng)層視頻塊； 及在不使用從與所述各個幀內(nèi)編碼視頻塊相同層內(nèi)的相同幀所推導(dǎo)出的視頻信息 的情況下預(yù)測幀內(nèi)編碼視頻塊。
41、 如權(quán)利要求40所述的計(jì)算機(jī)可讀媒體，其進(jìn)一步包含僅使用來自所述基礎(chǔ)層的像素預(yù)測所述幀內(nèi)編碼視頻塊。
42、 如權(quán)利要求40所述的方法，其進(jìn)一步包含使用特殊DC模式對所述FGS增 強(qiáng)層中的塊進(jìn)行解碼，在所述特殊DC模式中從編碼器及解碼器兩者均己知的默認(rèn)值 中預(yù)測DC系數(shù)，且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
43、 如權(quán)利要求40所述的方法，其進(jìn)一步包含如果將增強(qiáng)層編碼在雙預(yù)測(B) 片段中，則僅將空間直接模式應(yīng)用于所述增強(qiáng)層，而不使用來自參考幀的信息。
44、 如權(quán)利要求40所述的方法，其進(jìn)一步包含對來自所述基礎(chǔ)層的有效性映射 進(jìn)行上采樣，并使用所述經(jīng)上采樣的有效性映射來對所述增強(qiáng)層中的一者或多者進(jìn)行 解碼。
45、 如權(quán)利要求40所述的方法，其進(jìn)一步包含重置來自所述基礎(chǔ)層的有效性映 射，并將系數(shù)僅解碼為所述增強(qiáng)層中的一者或多者內(nèi)的零系數(shù)或不具有細(xì)化系數(shù)的非 零有效系數(shù)。
46、 一種裝置，其包含解碼器，所述解碼器對包括定義處于第一空間分辨率的視 頻信息的基礎(chǔ)層視頻塊的精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼，至少部分地對 包括定義處于大于所述第一空間分辨率的第二空間分辨率的視頻信息的增強(qiáng)層視頻塊 的一個或多個FGS增強(qiáng)層進(jìn)行解碼，并在不使用從與所述各個幀內(nèi)編碼視頻塊相同層 內(nèi)的相同幀所推導(dǎo)出的視頻信息的情況下預(yù)測幀內(nèi)編碼視頻塊。
47、 如權(quán)利要求46所述的裝置，其中所述解碼器僅使用來自所述基礎(chǔ)層的像素 預(yù)測所述幀內(nèi)編碼視頻塊。
48、 如權(quán)利要求46所述的裝置，其中所述解碼器使用特殊DC模式對所述FGS 增強(qiáng)層中的塊進(jìn)行解碼，在所述特殊DC模式中從編碼器及解碼器兩者均已知的默認(rèn) 值中預(yù)測DC系數(shù)，且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
49、 如權(quán)利要求46所述的裝置，其中如果將增強(qiáng)層編碼在雙預(yù)測(B)片段中， 則所述解碼器僅將空間直接模式應(yīng)用于所述增強(qiáng)層，而不使用來自參考幀的信息。
50、 如權(quán)利要求46所述的裝置，其中所述解碼器對來自所述基礎(chǔ)層的有效性映 射進(jìn)行上采樣，并使用所述經(jīng)上采樣的有效性映射來對所述增強(qiáng)層中的一者或多者進(jìn) 行解碼。
51、 如權(quán)利要求46所述的裝置，其中所述解碼器重置來自所述基礎(chǔ)層的有效性 映射，并將系數(shù)僅解碼為所述增強(qiáng)層中的一者或多者內(nèi)的零系數(shù)或不具有細(xì)化系數(shù)的 非零有效系數(shù)。
52、 一種方法，其包含對精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼，所述精細(xì)粒度可縮放性(FGS) 基礎(chǔ)層包括定義處于第一空間分辨率的視頻信息的基礎(chǔ)層視頻塊；對一個或多個FGS增強(qiáng)層進(jìn)行解碼，所述一個或多個FGS增強(qiáng)層包括定義處于 大于所述第一空間分辨率的第二空間分辨率的視頻信息的增強(qiáng)層視頻塊；及使用特殊DC模式對所述FGS增強(qiáng)層中的所述塊中的每一者進(jìn)行解碼，在所述特 殊DC模式中從編碼器及解碼器兩者均已知的默認(rèn)值中預(yù)測DC系數(shù)，且在沒有從相 鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
53、 如權(quán)利要求52所述的方法，其中所述FGS基礎(chǔ)層以第一質(zhì)量等級定義所述 視頻信息，且所述FGS增強(qiáng)層中的至少一者以大于所述第一質(zhì)量等級的第二質(zhì)量等級 定義所述視頻信息。
54、 如權(quán)利要求52所述的方法，其進(jìn)一步包含借助所述增強(qiáng)層中的至少一者接 收1位語法要素以發(fā)信號通知針對空間可縮放性使用FGS編碼。
55、 一種裝置，其包含解碼器，所述解碼器對包括定義處于第一空間分辨率的視 頻信息的基礎(chǔ)層視頻塊的精細(xì)粒度可縮放性(FGS)基礎(chǔ)層進(jìn)行解碼，對包括定義處 于大于所述第一空間分辨率的第二空間分辨率的視頻信息的增強(qiáng)層視頻塊的一個或多 個FGS增強(qiáng)層進(jìn)行解碼，并使用特殊DC模式對所述FGS增強(qiáng)層中的所述塊中的每一 者進(jìn)行解碼，在所述特殊DC模式中從編碼器及解碼器兩者均已知的默認(rèn)值中預(yù)測DC 系數(shù)，且在沒有從相鄰塊計(jì)算出的預(yù)測的情況下對AC系數(shù)進(jìn)行解碼。
56、 如權(quán)利要求55所述的裝置，其中所述FGS基礎(chǔ)層以第一質(zhì)量等級定義所述 視頻信息，且所述FGS增強(qiáng)層中的至少一者以大于所述第一質(zhì)量等級的第二質(zhì)量等級 定義所述視頻信息。
57、 如權(quán)利要求55所述的裝置，其進(jìn)一步包含借助所述增強(qiáng)層中的至少一者接 收1位語法要素以發(fā)信號通知針對空間可縮放性使用FGS編碼。
全文摘要
本發(fā)明針對使用通用精細(xì)粒度可縮放性(FGS)途徑支持空間可縮放性的視頻編碼技術(shù)。通過以通用FGS格式發(fā)送空間可縮放增強(qiáng)層，可實(shí)現(xiàn)各種程度的空間可縮放性?？扇我獾亟?cái)嗫臻g可縮放性增強(qiáng)位流以符合網(wǎng)絡(luò)條件、信道條件及/或解碼器能力。可將用于空間可縮放性的編碼系數(shù)及語法要素嵌入通用FGS格式中。對于良好網(wǎng)絡(luò)或信道條件及/或增強(qiáng)的解碼器能力來說，經(jīng)由一個或多個增強(qiáng)層所接收的額外位允許以提高的空間分辨率及跨不同空間分辨率的連續(xù)改善的視頻質(zhì)量重構(gòu)經(jīng)編碼視頻。所述技術(shù)允許將空間可縮放性層編碼為FGS層，而非離散層，從而允許任意可縮放性。所述技術(shù)可包括用以抑制原本由于部分解碼可能會出現(xiàn)的誤差傳播的特征。
文檔編號H04N7/68GK101366283SQ200780002001
公開日2009年2月11日 申請日期2007年1月11日 優(yōu)先權(quán)日2006年1月11日
發(fā)明者琰 葉, 鮑易亮 申請人:高通股份有限公司