專利名稱：使用套疊式模式標(biāo)記的用于可分級(jí)視頻編碼的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻通信系統(tǒng)。具體而言，本發(fā)明涉及使用可分級(jí)視頻編 碼技術(shù)的通信系統(tǒng)，在可分級(jí)視頻編碼技術(shù)中使用兩層或更多層來(lái)表示按 照信號(hào)的時(shí)域、質(zhì)量或空域分辨率處于相應(yīng)的保真水平的給定視頻信號(hào)。
背景技術(shù)：
針對(duì)編碼效率的一般改進(jìn)的新數(shù)字視頻編碼技術(shù)具有多種新結(jié)構(gòu)特 性。具體而言， 一個(gè)重要的新特性是可分級(jí)性(scalability)。在可分級(jí)編 碼中， 一個(gè)特別而重要的新特性是可分級(jí)性。在可分級(jí)編碼中，原始或源 信號(hào)使用兩個(gè)或更多分層地結(jié)構(gòu)化的比特流來(lái)表示。分層結(jié)構(gòu)意味著給定 比特流的解碼取決于在該分層結(jié)構(gòu)中更低的某些或所有其它比特流的可用 性。每一比特流及其所依賴的比特流提供了對(duì)原始信號(hào)的在特定時(shí)域、質(zhì) 量(即，在信噪比即SNR方面)、或空域分辨率下的表示。
應(yīng)當(dāng)理解的是，術(shù)語(yǔ)"可分級(jí)"不是指在數(shù)量方面的量值或數(shù)值范圍， 而是指編碼技術(shù)提供一組不同的比特流的能力，這些不同的比特流一般對(duì) 應(yīng)于原始或源信號(hào)的在不同"等級(jí)"的分辨率或其它質(zhì)量下的表示。被稱為可分級(jí)視頻編碼(SVC)的ITU-T H.264附錄G規(guī)范是提供時(shí)間、質(zhì)量、 或空間維度三者中的視頻編碼可分級(jí)性的視頻編碼標(biāo)準(zhǔn)的示例。SVC是 H.264標(biāo)準(zhǔn)(也稱為高級(jí)視頻編碼即AVC)的擴(kuò)展。也提供所有這三種類 型的可分級(jí)性的較早標(biāo)準(zhǔn)的示例是ISOMPEG-2(還公布為ITU-T H.262)。 ITUG.729.1 (也稱為G.729EV)是提供可分級(jí)音頻編碼的標(biāo)準(zhǔn)的示例。在 共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365中描述了專門為諸如視頻會(huì)議 之類的交互式視頻通信應(yīng)用設(shè)計(jì)的可分級(jí)視頻編碼技術(shù)。
將可分級(jí)性的概念引入視頻和音頻編碼中作為對(duì)流傳送和廣播中的分 發(fā)問(wèn)題的解決方案，且為了使給定的通信系統(tǒng)與不同的接入網(wǎng)絡(luò)(例如以 不同的帶寬連接的客戶機(jī))、網(wǎng)絡(luò)狀況(例如帶寬波動(dòng))、以及客戶機(jī)設(shè) 備(例如使用大監(jiān)視器的個(gè)人計(jì)算機(jī)相對(duì)于具有小得多的屏幕的手持設(shè)備) 一起工作。
共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365描述了被稱為可分級(jí)視頻 通信服務(wù)器(SVCS)的新型服務(wù)器的設(shè)計(jì)。SVCS能有利地將可分級(jí)編碼 的視頻用于高質(zhì)量和低延遲的視頻通信，且相比于傳統(tǒng)切換或轉(zhuǎn)碼多點(diǎn)控 制單元(MCU)具有顯著降低的復(fù)雜程度。同樣，共同轉(zhuǎn)讓的國(guó)際專利申 請(qǐng)PCT/US06/62569描述了一種復(fù)合可分級(jí)視頻編碼服務(wù)器(CSVCS)，其 具有與SVCS相同的優(yōu)點(diǎn)但產(chǎn)生單個(gè)已編碼輸出比特流。國(guó)際專利申請(qǐng) PCT/US07/80089描述了一種多播可分級(jí)視頻編碼服務(wù)器(MSVCS)，其具 有與SVCS相同的優(yōu)點(diǎn)但利用可用的多播通信信道。在以下說(shuō)明中為方便 起見，這三種不同類型的服務(wù)器(SVCS、 CSVCS、以及MSVCS)將共同 被稱為SVCS，除非另外說(shuō)明。
可分級(jí)視頻編碼設(shè)計(jì)和svcs架構(gòu)可按照更有利的方法來(lái)使用，在共 同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028367 、 PCT/US06/027368 、 PCT/US06/061815、 PCT/US07/062357、以及PCTUS07/063335中描述了這
些方法。這些申請(qǐng)分別描述了可分級(jí)編碼技術(shù)和svcs架構(gòu)用于服務(wù)器之
間的有效中繼、減少抖動(dòng)緩沖延遲、誤差復(fù)原和隨機(jī)訪問(wèn)、用來(lái)提高編碼
效率且減小分組丟失的可分級(jí)視頻比特流的"細(xì)化(thi皿ing)"、以及碼率控 制的使用。另外，共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US07/65554描述了用于在可分級(jí)視頻編碼格式和其它格式之間轉(zhuǎn)碼的技術(shù)。
典型的可分級(jí)視頻編碼系統(tǒng)中的分層編碼過(guò)程遵循金字塔設(shè)計(jì)。第一 基本層利用適合于單層編碼的基線編碼技術(shù)來(lái)構(gòu)造。在SVC的情況下，該
基本層利用H.264AVC來(lái)編碼。按此方法編碼基本層具有的好處是，最低 可分級(jí)層與僅能處理不可分級(jí)視頻的系統(tǒng)后向兼容。附加層(稱為增強(qiáng)層) 通過(guò)對(duì)原始信號(hào)與較低層的已解碼輸出之間的差異的進(jìn)一步編碼來(lái)構(gòu)造。 該過(guò)程類似于對(duì)原始信號(hào)的連續(xù)逼近。
各個(gè)附加增強(qiáng)層提高了已編碼信號(hào)在三個(gè)可能的保真維度之一中的保 真度時(shí)間、質(zhì)量(或SNR)、或空間。時(shí)間增強(qiáng)在被添加到基本層時(shí)提 供具有更高的每秒圖像或幀數(shù)(fps)的信號(hào)表示。在質(zhì)量可分級(jí)性中空間 或時(shí)間分辨率都不會(huì)被改變；相反，殘差編碼誤差以更精細(xì)的量化來(lái)進(jìn)一 步編碼。因?yàn)楦?xì)的量化將導(dǎo)致更高的SNR，所以這種形式的可分級(jí)性 通常被稱為SNR可分級(jí)性。SNR可分級(jí)性進(jìn)一步被劃分成粗粒度和細(xì)粒度 可分級(jí)性(分別是CGS和FGS)。它們的差別在于，在后一種情況下使用 嵌入的編碼方案對(duì)殘差編碼誤差編碼，從而即使在解碼過(guò)程中僅使用增強(qiáng) 層的一小部分，也能允許較低層SNR的改善。來(lái)自FGS層的可用比特越多， 對(duì)較低層的SNR的改善越好。為此，該技術(shù)也被稱為"漸進(jìn)式精細(xì)化 (progressive refinement)"。在CGS中，整個(gè)增強(qiáng)層在解碼期間一般都必 須可用。最后，空間增強(qiáng)提供較高空間分辨率下的信號(hào)表示(例如CIF相 對(duì)于QCIF)。應(yīng)當(dāng)注意的是，為了構(gòu)造殘差編碼誤差，即原始信號(hào)與較低 層的已解碼輸出之間的差異，較低層的輸出必須被升采樣至原始信號(hào)的分 辨率。
視頻編碼中的高編碼效率通過(guò)利用用于預(yù)測(cè)圖像內(nèi)容的有效模型，加 上所得預(yù)測(cè)誤差的適當(dāng)變形(例如利用離散余弦變換或整數(shù)逼近)、量化、 以及對(duì)所得量化水平和由預(yù)測(cè)和編碼過(guò)程產(chǎn)生的副信息的熵編碼來(lái)實(shí)現(xiàn)。 一種用于產(chǎn)生給定視頻信號(hào)的多個(gè)表示的簡(jiǎn)單機(jī)制可以是創(chuàng)建原始信號(hào)的 相應(yīng)子集的兩個(gè)或更多個(gè)單獨(dú)的編碼。此技術(shù)通常被稱為同播 (simulcasting)?？煞旨?jí)視頻編碼通過(guò)將較低層用作較高層的編碼的預(yù)測(cè) 參考可達(dá)到相比于同播更高的編碼增益。該層間預(yù)測(cè)利用了在視頻信號(hào)的三個(gè)維度上存在的固有冗余。因此在可分級(jí)視頻編碼器中，通過(guò)附加的預(yù) 測(cè)模式選項(xiàng)使較低層數(shù)據(jù)可用。這些附加選項(xiàng)在編碼器最小化已編碼視頻 信號(hào)的失真同時(shí)保持給定的比特預(yù)算的任務(wù)中給予編碼器更多的靈活性。 同時(shí)應(yīng)當(dāng)注意的是，因?yàn)橐獧z查更多的可能性，所以附加選項(xiàng)會(huì)使編碼任 務(wù)更加復(fù)雜。
SVC的一個(gè)重要特征是使用了單循環(huán)解碼。這通過(guò)將編碼器限制為僅
將可通過(guò)解析比特流直接或的較低層數(shù)據(jù)用于層間預(yù)測(cè)來(lái)實(shí)現(xiàn)。換言之， 解碼較高層的解碼器不需要完全解碼較低層(即重構(gòu)實(shí)際像素)，而僅需 要解析較低層的比特流數(shù)據(jù)。這顯著地降低了解碼器的計(jì)算要求，而且是
相對(duì)于諸如MPEG-2中使用的編碼設(shè)計(jì)之類的較早的可分級(jí)編碼設(shè)計(jì)的重 大改進(jìn)。
不過(guò)即使在單循環(huán)解碼的情況下，可分級(jí)編碼中的解碼器的任務(wù)在計(jì) 算上要求仍很高，因?yàn)閷?duì)于每一層的每一個(gè)宏塊(MB)或宏塊分區(qū)，編碼 器都必須根據(jù)預(yù)測(cè)模式、運(yùn)動(dòng)向量、以及量化器設(shè)置作出決策。計(jì)算需求 在諸如視頻會(huì)議之類的實(shí)時(shí)應(yīng)用中甚至?xí)用黠@，因?yàn)閳D像在視頻會(huì)議 中必須在給定的時(shí)間量?jī)?nèi)以極小延遲來(lái)處理。
當(dāng)前考慮的事項(xiàng)是要改進(jìn)可分級(jí)視頻編碼系統(tǒng)以便可執(zhí)行計(jì)算上高效 的編碼。具體而言，所關(guān)注的涉及通過(guò)在已編碼視頻信號(hào)中對(duì)預(yù)測(cè)模式的 適當(dāng)信令來(lái)改進(jìn)編碼效率。
發(fā)明概述
提供了利用特別的層間預(yù)測(cè)模式(稱為套疊式模式(telescopicmode)) 的用于可分級(jí)視頻編碼的系統(tǒng)和方法。這些模式促進(jìn)了編碼器的具有改善 的編碼效率的加速操作。
一種可分級(jí)視頻通信系包括適用于或被配置成用于套疊式模式操作的 解碼器和編碼器。解碼器接收具有增強(qiáng)目標(biāo)層和其它層的已編碼單元組的 可分級(jí)數(shù)字視頻比特流。該數(shù)字視頻比特流包括與已編碼單元組關(guān)聯(lián)的控 制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，以及與各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制 (包括預(yù)測(cè))、紋理、或運(yùn)動(dòng)數(shù)據(jù)。解碼器解碼與目標(biāo)層和至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)，以及與目標(biāo)層和至少一個(gè)附加層的 各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)。耦合到解碼器的 預(yù)測(cè)器如與目標(biāo)層或至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù) 據(jù)用信號(hào)通知地、或根據(jù)與目標(biāo)層或至少一個(gè)附加層的各單獨(dú)的已編碼單 元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)，來(lái)生成對(duì)目標(biāo)層的多個(gè)已編碼單元的控制、紋 理、或運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)參考。組合器將所生成的預(yù)測(cè)參考與相應(yīng)的與目標(biāo) 層的多個(gè)已編碼單元相關(guān)聯(lián)的已解碼的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)相組合以 產(chǎn)生對(duì)應(yīng)于目標(biāo)層的多個(gè)已編碼單元的已解碼圖像。
與目標(biāo)層或至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)以 及與目標(biāo)層或至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù) 據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)。預(yù)測(cè)器被配置成當(dāng)數(shù)字視頻比特流中不存在與 目標(biāo)層的已編碼單元組的各單獨(dú)的已編碼單元相關(guān)聯(lián)的相應(yīng)層間預(yù)測(cè)控制 數(shù)據(jù)時(shí)使用由與目標(biāo)層的已編碼單元組相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)所指示 的值。
編碼器接收要發(fā)送的數(shù)字視頻輸入圖像?？扇芜x的降采樣器可生成輸 入圖像的在較低分辨率下的經(jīng)將采樣的圖像。耦合至可任選工作的降采樣 器或輸入的第一預(yù)測(cè)估計(jì)器和提供要用作參考圖像的多個(gè)先前解碼的基本 層圖像的第一組合器生成與該(可任選地經(jīng)降采樣的)圖像的多個(gè)已編碼 單元相關(guān)聯(lián)的第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)參考、或與該(可 任選地經(jīng)將采樣的)圖像的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控 制數(shù)據(jù))，并生成對(duì)應(yīng)于已編碼單元的第一預(yù)測(cè)參考圖像的各部分。
耦合至第一預(yù)測(cè)估計(jì)器和可任選將采樣器或輸入的第一比較器計(jì)算 (任選地經(jīng)將采樣的)輸入圖像與第一預(yù)測(cè)參考圖像的各部分之間的差異， 并生成與(可任選地經(jīng)將釆樣的)輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第 二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)、以及與(任選地經(jīng)將采樣的)輸入圖 像的己編碼單元組相關(guān)聯(lián)的控制(包括預(yù)測(cè))數(shù)據(jù)。耦合至第一比較器和
第一預(yù)測(cè)估計(jì)器的第一組合器將所生成的第二組控制(包括預(yù)測(cè))和紋理 數(shù)據(jù)與其在第一預(yù)測(cè)參考圖像中的相應(yīng)部分相組合以生成新的基本層已解
碼圖像的相應(yīng)部分。耦合至輸入的第二預(yù)測(cè)估計(jì)器和提供要用作參考圖像的多個(gè)先前已解 碼的增強(qiáng)層圖像的第二組合器生成與該輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián) 的第三組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)參考、或與該輸入圖像的已編 碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，并生成對(duì)應(yīng)于已編碼 單元的第二預(yù)測(cè)參考圖像的各部分。
耦合至第二預(yù)測(cè)估計(jì)器和輸入的第二比較器計(jì)算輸入圖像與第二預(yù)測(cè) 參考圖像的各部分之間的差異，并生成與輸入圖像的多個(gè)已編碼單元相關(guān) 聯(lián)的第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)、以及與輸入圖像的已編碼單元 組相關(guān)聯(lián)的控制(包括預(yù)測(cè))數(shù)據(jù)。
耦合至第二比較器和第二預(yù)測(cè)估計(jì)器的第二組合器將所生成的第四組 控制(包括預(yù)測(cè))和紋理數(shù)據(jù)與其在第二預(yù)測(cè)參考圖像中的相應(yīng)部分相組 合以生成新的增強(qiáng)層己解碼圖像的相應(yīng)部分。
編碼器對(duì)第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)以及第二組控制(包括 預(yù)測(cè))和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生基本層比特流，對(duì)第三組控制(包括預(yù) 測(cè))和運(yùn)動(dòng)數(shù)據(jù)和第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生增 強(qiáng)層比特流，并將這些數(shù)據(jù)多路復(fù)用成單個(gè)輸出比特流。
第三和第四組控制數(shù)據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)。第二預(yù)測(cè)估計(jì)器和第 二比較器對(duì)輸入圖像的一個(gè)或多個(gè)己編碼單元組中的層間預(yù)測(cè)控制數(shù)據(jù)值 進(jìn)行設(shè)置，以使輸入圖像的已編碼單元中與輸入圖像的一個(gè)或多個(gè)已編碼 單元組相關(guān)聯(lián)的相應(yīng)層間預(yù)測(cè)控制數(shù)據(jù)值不被發(fā)送。
附圖簡(jiǎn)述


圖1是可分級(jí)視頻通信系統(tǒng)的示例性架構(gòu)的示意性圖解。根據(jù)本發(fā)明 的原理，該系統(tǒng)可具有類似于常規(guī)系統(tǒng)的設(shè)計(jì)，但其組件還被配置成提供 套疊式模式操作。
圖2是AVC單層視頻編碼器的常規(guī)結(jié)構(gòu)的示意性圖解。根據(jù)本發(fā)明的
原理，該系統(tǒng)可具有類似于常規(guī)系統(tǒng)的塊設(shè)計(jì)，但它還被配置成提供套疊 式模式操作。
圖3是AVC單層視頻解碼器的結(jié)構(gòu)的示意性圖解。根據(jù)本發(fā)明的原理，該系統(tǒng)可具有類似于常規(guī)系統(tǒng)的塊設(shè)計(jì)，但它還被配置成提供套疊式模式 操作。
圖4是具有三個(gè)質(zhì)量可分級(jí)性層的常規(guī)SVC可分級(jí)視頻編碼器的結(jié)構(gòu) 的示意性圖解。根據(jù)本發(fā)明的原理，該系統(tǒng)可具有類似于常規(guī)系統(tǒng)的塊設(shè) 計(jì)，但它還被配置成提供套疊式模式操作。
圖5是具有三個(gè)空間可分級(jí)性層的常規(guī)SVC可分級(jí)視頻編碼器的結(jié)構(gòu) 的示意性圖解；
圖6是根據(jù)本發(fā)明的原理的用于在SVC JD7編解碼器中使用自適應(yīng)預(yù) 測(cè)標(biāo)記的示例性語(yǔ)法和語(yǔ)義修改的圖解；以及
圖7是根據(jù)本發(fā)明的原理的用于在SVC JD8編解碼器中提供完整的套 疊式模式標(biāo)記的示例性語(yǔ)法和語(yǔ)義修改的圖解。
除非另外指明，否則全部附圖中的相同附圖標(biāo)記和符號(hào)用來(lái)表示所示 實(shí)施例的相同特征、元素、組件、或部分。而且，當(dāng)現(xiàn)在將參考附圖來(lái)具 體描述本發(fā)明時(shí)，這一描述是結(jié)合說(shuō)明性實(shí)施例來(lái)完成的。
本發(fā)明的詳細(xì)描述
提供了利用特殊的層間預(yù)測(cè)模式(稱為套疊式模式)的用于可分級(jí)視 頻編碼的系統(tǒng)和方法。
圖1示出使用可分級(jí)編碼的視頻通信系統(tǒng)100的示例性架構(gòu)。通信系 統(tǒng)100包括可分級(jí)視頻編碼器110，其在通信網(wǎng)絡(luò)120上與可分級(jí)視頻解碼 器130通信。在通信系統(tǒng)100的優(yōu)選實(shí)施例中，使用H.264 SVC編碼格式 ('SVC，)來(lái)進(jìn)行視頻通信。(參見例如SVC JD7規(guī)范，T. Wiegand、 G. Sullivan、 J. Reichel、 H. Schwarz、 M. Wien編輯的"聯(lián)合草案7:可分級(jí)視 頻編碼(Joint Draft 7:Scalable Video Coding)",聯(lián)合視頻小組，案巻JVT-T201，克拉根福，2006年7月，其全部?jī)?nèi)容通過(guò)引用結(jié)合于本文中)。SVC 是H.264視頻編碼標(biāo)準(zhǔn)("AVC")的可分級(jí)視頻編碼擴(kuò)展(附錄G)。
經(jīng)SVC編碼的比特流可被結(jié)構(gòu)化成數(shù)個(gè)分量或?qū)?。基本層提供在某?基本保真度下的源信號(hào)表示。附加層(增強(qiáng)層)提供在另外的可分級(jí)維度 (例如時(shí)間、質(zhì)量、或空間)下的改善的信號(hào)表示的信息。已編碼比特流的層通常以金字塔結(jié)構(gòu)來(lái)形成，在該結(jié)構(gòu)中層的解碼需要一個(gè)或更多個(gè)較 低層的存在。
應(yīng)當(dāng)注意的是，AVC標(biāo)準(zhǔn)通過(guò)使用參考圖像列表和相關(guān)聯(lián)的參考圖像 列表重排序(或MMCO)命令已經(jīng)支持時(shí)間可分級(jí)性。SVC流的最底層通 過(guò)設(shè)計(jì)與AVC規(guī)范兼容。
繼續(xù)參考圖l，可分級(jí)視頻編碼器的輸出包括兩層，層0和層1，其中 層0是基本層而層1是增強(qiáng)層。雖然圖1為簡(jiǎn)單起見僅示出兩個(gè)示例性層， 但應(yīng)能理解本發(fā)明可無(wú)限制地適用于具有任意數(shù)量的空間或質(zhì)量增強(qiáng)層的 情況。同樣，雖然圖1將兩層示為作為單獨(dú)的流在單個(gè)通信網(wǎng)絡(luò)120上傳 送，但應(yīng)能理解對(duì)應(yīng)于這兩層的流可按照多種可能的配置在任意數(shù)量的實(shí) 際網(wǎng)絡(luò)連接上傳送。這些可能的配置例如可包括其中所有流都被多路復(fù)用 到一起以便傳送的配置、和其中多于實(shí)際數(shù)量的空間或質(zhì)量層在進(jìn)行數(shù)據(jù) 的進(jìn)一步多路分解時(shí)(例如當(dāng)使用數(shù)據(jù)劃分時(shí)、或當(dāng)數(shù)據(jù)基于其低層時(shí)間 分層被多路分解時(shí))被傳送的配置。
圖2示出包括塊202-218的AVC單層視頻編碼器200的設(shè)計(jì)或架構(gòu)。
所示設(shè)計(jì)是具有運(yùn)動(dòng)補(bǔ)償?shù)幕趬K的混合編碼的典型代表，其基本包括所 有的標(biāo)準(zhǔn)視頻編解碼器，不過(guò)在AVC編碼器中每一塊具有明顯更多的操作 選項(xiàng)。已編碼比特流包括經(jīng)多路復(fù)用的紋理數(shù)據(jù)(經(jīng)量化的變換系數(shù))、 運(yùn)動(dòng)數(shù)據(jù)、以及針對(duì)高編碼效率來(lái)熵編碼的控制數(shù)據(jù)。紋理數(shù)據(jù)是在使用 運(yùn)動(dòng)補(bǔ)償?shù)幕驇瑑?nèi)預(yù)測(cè)之后得到的經(jīng)量化的殘差預(yù)測(cè)誤差，而運(yùn)動(dòng)數(shù)據(jù)是 執(zhí)行經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)所必需的數(shù)據(jù)(運(yùn)動(dòng)向量差值等)。如同任意預(yù)測(cè) 編碼方案一樣，編碼器在其預(yù)測(cè)循環(huán)中包含解碼器。在圖2中，編碼器200 的解碼器組件(即塊206-214)被放置于解碼器子單元200A中。
圖3示出獨(dú)立AVC解碼器300的設(shè)計(jì)或架構(gòu)。AVC解碼器300的設(shè) 計(jì)與圖2中所示的解碼器子單元200A相同，其中僅有的區(qū)別是還包括熵解 碼器/多路分解器310 (它在編碼器中不是必需的)。應(yīng)當(dāng)注意的是，圖3 中所示的解碼器子單元200A的塊206-214的位置已被重新安排以便改善可 讀性。
確定編碼器的效率和復(fù)雜程度的關(guān)鍵操作單元是它的編碼控制和運(yùn)動(dòng)估計(jì)單元(例如編碼器控制單元202和運(yùn)動(dòng)估計(jì)單元216，圖2)。編碼器 控制單元負(fù)責(zé)決定合適的操作模式以針對(duì)給定比特率最大化質(zhì)量(或等效 地最小化編碼失真)。運(yùn)動(dòng)估計(jì)單元協(xié)同編碼器控制單元一起工作，這表 現(xiàn)在后者影響前者的估計(jì)過(guò)程。運(yùn)動(dòng)估計(jì)是視頻編碼中計(jì)算強(qiáng)度最大的運(yùn) 算，尤其是在具有四分之一像素支持的現(xiàn)代編解碼器中。
可分級(jí)視頻編解碼器可通過(guò)將單層編解碼器用作基礎(chǔ)利用金字塔結(jié)構(gòu) 來(lái)構(gòu)造。在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365中描述了專門為諸 如視頻會(huì)議之類的交互式視頻通信應(yīng)用設(shè)計(jì)的可分級(jí)視頻編碼技術(shù)。在其 中SVC被用作可分級(jí)視頻編解碼器的本發(fā)明的優(yōu)選實(shí)施例中，增強(qiáng)層同樣 建立在AVC基本層之上。
圖4示意性地示出具有三個(gè)質(zhì)量層的針對(duì)質(zhì)量可分級(jí)性的常規(guī)SVC編 碼器400的示例性結(jié)構(gòu)。在SVC編碼器400中，最低層與AVC兼容(通 過(guò)設(shè)計(jì))。對(duì)于增強(qiáng)層的編碼過(guò)程可將較低層數(shù)據(jù)用于層間預(yù)測(cè)，這在該 圖中通過(guò)標(biāo)記為"層間預(yù)測(cè)"的垂直箭頭來(lái)表示。根據(jù)SVC的單循環(huán)設(shè)計(jì)原 理，可用于層間預(yù)測(cè)的數(shù)據(jù)類型是幀內(nèi)、運(yùn)動(dòng)、和殘差數(shù)據(jù)。所得的增強(qiáng) 層紋理和運(yùn)動(dòng)數(shù)據(jù)被類似地編碼到基本(AVC)層。雖然圖4將不同層數(shù) 據(jù)示為在單個(gè)輸出比特流中一起多路復(fù)用，但不同層比特流可在任意數(shù)量 (例如，如果使用了數(shù)據(jù)劃分或者如果層還包括時(shí)間可分級(jí)性分量，則包 括大于層數(shù)量的數(shù)量)的信道上發(fā)送。
圖5示意性地示出具有三個(gè)空間層的針對(duì)空間可分級(jí)性的SVC編碼器 500的示例性結(jié)構(gòu)。針對(duì)空間可分級(jí)性的SVC編碼器500不同于針對(duì)質(zhì)量 可分級(jí)性的SVC編碼器400，它與圖4僅有的差別是前者的輸入被降采樣 以便構(gòu)造兩個(gè)較低的空間層。同樣，最低層與AVC兼容，且層間預(yù)測(cè)過(guò)程 可使用來(lái)自較低層的幀內(nèi)、運(yùn)動(dòng)、和殘差數(shù)據(jù)，這些數(shù)據(jù)都針對(duì)參考層的 目標(biāo)分辨率進(jìn)行了適當(dāng)縮放或升采樣。對(duì)應(yīng)于圖4和圖5中所示的編碼器 400和500的針對(duì)質(zhì)量和空間可分級(jí)性的解碼器分別與圖3中所示的解碼器 300基本相同，除添加的層間預(yù)測(cè)模式可用和將升采樣/縮放用于空間可分 級(jí)性中的紋理/運(yùn)動(dòng)數(shù)據(jù)之外。
諸如編碼器400和500之類的單層和可分級(jí)的視頻編碼器中的關(guān)鍵工程設(shè)計(jì)問(wèn)題是計(jì)算復(fù)雜程度相對(duì)于壓縮效率的折衷。在所有視頻編碼標(biāo)準(zhǔn) 中，標(biāo)準(zhǔn)規(guī)范僅指定比特流的結(jié)構(gòu)和解碼過(guò)程；編碼過(guò)程保留未指定。此 外，視頻編碼標(biāo)準(zhǔn)不提供針對(duì)編碼器設(shè)計(jì)中的高效編碼策略的任意指導(dǎo)。
本文中所描述的本發(fā)明的系統(tǒng)和方法涉及促進(jìn)可分級(jí)的視頻編碼器的 加速操作以及對(duì)解碼器的適當(dāng)信令和改善的編碼效率。
視頻編碼器(單層或可分級(jí))在編碼圖像數(shù)據(jù)時(shí)必須作出數(shù)個(gè)決策。 對(duì)于每個(gè)宏塊(MB)，編碼器必須作出有關(guān)幀內(nèi)/幀間編碼、預(yù)測(cè)模式選 擇、運(yùn)動(dòng)模式和向量選擇、量化器選擇等等的決策。在缺少其它制約因素 的情況下，編碼器的目標(biāo)是作出這些決策以最小化已編碼信號(hào)的失真同時(shí) 將輸出比特率保持在給定的約束條件內(nèi)。此過(guò)程被稱為認(rèn)識(shí)到編碼器尋求 對(duì)給定碼率最小化失真時(shí)的碼率-失真優(yōu)化(RDO)。不過(guò)，優(yōu)化問(wèn)題的維 度非常大。通常在有效編碼器的設(shè)計(jì)中使用快速的、次優(yōu)的算法和試探。 應(yīng)當(dāng)注意的是，在真實(shí)的視頻編碼系統(tǒng)中，感知因素會(huì)規(guī)定編碼器中的決 策以獲得對(duì)于人類觀察者而言更愉悅的結(jié)果，但這些決策實(shí)際上增加了如 按照峰值信噪比(PSNR)來(lái)表述的量化失真。這些決策通常是應(yīng)用專用的。 例如，對(duì)于針對(duì)廣播和視頻會(huì)議應(yīng)用而調(diào)諧的兩個(gè)編碼器可使用不同的配 置，因?yàn)檫@兩個(gè)編碼器的主題和工作比特率是極其不同的。
編碼過(guò)程可由決策樹來(lái)表示，編碼器必須遍歷該決策樹以針對(duì)特定的 MB、圖像、或圖像組作出最終編碼決策。具體而言，對(duì)于可分級(jí)視頻編碼， 該樹的大小要顯著大于用于單層編碼器的決策樹的大小，因?yàn)椴粌H必須針 對(duì)基本層(等效于單層編碼器)，還須針對(duì)存在的每個(gè)增強(qiáng)層來(lái)作出決策。 因此計(jì)算需求相當(dāng)高，而且重要的是提供不具有用于完全考慮所有編碼選
擇的足夠計(jì)算資源的編碼器能夠得到合適的簡(jiǎn)化編碼策略的方法。合適的 編碼策略的實(shí)現(xiàn)對(duì)于需要實(shí)時(shí)和低延遲操作的實(shí)時(shí)、對(duì)話服務(wù)尤其重要。 例如在實(shí)況廣播編碼器的情況下，合適的簡(jiǎn)化編碼策略可認(rèn)識(shí)到編碼器必 須實(shí)時(shí)工作，但它的延遲要求要松得多。對(duì)于實(shí)現(xiàn)同樣重要的是編碼器必 須能夠向解碼器發(fā)信號(hào)通知這一簡(jiǎn)化編碼策略的結(jié)果而不會(huì)不利地影響編 碼性能。
計(jì)算需求通常在編碼標(biāo)準(zhǔn)開發(fā)中未作為關(guān)鍵設(shè)計(jì)因素來(lái)考慮，且這樣的編解碼器的開發(fā)是利用模擬軟件來(lái)執(zhí)行，該模擬軟件允許運(yùn)行所需長(zhǎng)的 時(shí)間以獲得優(yōu)化的編碼效率結(jié)果(例如每張圖像一個(gè)小時(shí)或更長(zhǎng))。因此， 根據(jù)這些標(biāo)準(zhǔn)的比特流的常規(guī)設(shè)計(jì)不滿足加速編碼器決策制定的需要，這 表現(xiàn)在簡(jiǎn)化編碼策略中的信令會(huì)招致顯著的比特率開銷。
根據(jù)本發(fā)明，針對(duì)可分級(jí)視頻編碼的特定類型的加速?zèng)Q策制定是在本
文中被稱為"套疊式(telescopic)"操作的技術(shù)。利用此技術(shù)，通過(guò)摒除對(duì) 增強(qiáng)層的編碼決策的完全優(yōu)化、并取而代之利用在基本層中作出的決策， 實(shí)現(xiàn)了加速的編碼器操作。雖然對(duì)此類決策的進(jìn)一步精細(xì)化可能會(huì)實(shí)現(xiàn)改 善的編碼效率，但它們已經(jīng)表現(xiàn)出非常好的計(jì)算復(fù)雜度相對(duì)于編碼效率的 折衷。此技術(shù)對(duì)于場(chǎng)景活動(dòng)一般較低的視頻會(huì)議素材尤其有效。
SVC JD7中的編解碼器是AVC設(shè)計(jì)(ITU-T Rec. H.264 | ISO/IEC 14496-10版本4，"針對(duì)一般視聽服務(wù)的高級(jí)視頻編碼(Advanced video coding for generic audiovisual services)", 2005，其全部?jī)?nèi)容通過(guò)弓l用結(jié)合在 本文中且被稱為"AVC規(guī)范")的擴(kuò)展。AVC規(guī)范的文本實(shí)際上是SVC JD7 的文本的組成部分，而SVC擴(kuò)展構(gòu)成AVC規(guī)范的新附錄G。如較早所述， SVC比特流中的基本層通過(guò)設(shè)計(jì)是與AVC兼容的比特流。AVC規(guī)范的章 節(jié)7.3.3 (片首部句法)、7.3.4 (片數(shù)據(jù)句法)、以及7.3.5 (宏塊層句法)， 包括其各子部分，定義了已編碼圖像數(shù)據(jù)的詳細(xì)句法。片首部(章節(jié)7.3.3) 包括影響整個(gè)片的參數(shù)，諸如片中的第 一 宏塊的地址的指示符 (first—mb—in_slice)、片類型(1、 P、 B、 S、或SP)、影響片中的所有宏 塊的量化器設(shè)置(slice一qp一delta)、以及解塊濾波器設(shè)置、加權(quán)表、和參 考圖像列表重排序命令。片數(shù)據(jù)(章節(jié)7.3.4)句法特別地允許從當(dāng)前片中 跳過(guò)多個(gè)初始宏塊。實(shí)際宏塊數(shù)據(jù)在章節(jié)7.3.5中描述。該數(shù)據(jù)包括定義對(duì) 當(dāng)前宏塊所使用的預(yù)測(cè)模式的宏塊類型(mb—type)、發(fā)信號(hào)通知對(duì)應(yīng)于當(dāng) 前宏塊的多個(gè)色度和亮度塊的哪一個(gè)具有非零變換系數(shù)的已編碼塊模式、 以及在當(dāng)前宏塊處開始的有效量化器設(shè)置(mb_qp_delta)。
宏塊類型是關(guān)鍵的參數(shù)，因?yàn)樗l(fā)信號(hào)通知編碼器已選擇多個(gè)預(yù)測(cè)模 式的哪一個(gè)來(lái)對(duì)當(dāng)前宏塊編碼。SVC JD7表7.11至7.14總結(jié)了 AVC中可 用的宏塊類型。例如，對(duì)于P片(表7.13)，模式1對(duì)應(yīng)于預(yù)測(cè)模式'P—L0—L016x8'，其中16x16宏塊被拆分成兩個(gè)16x8區(qū)，且使用兩個(gè)運(yùn)動(dòng) 向量來(lái)根據(jù)第一參考圖像列表(LO)中包含的參考圖像預(yù)測(cè)每一部分。實(shí) 際運(yùn)動(dòng)向量數(shù)據(jù)(mvd—10，編碼為差異)在章節(jié)7.3.5.1中示出，且如果所 使用的參考圖像不是缺省時(shí)包括其可任選索引(ref一idx一10)。預(yù)測(cè)過(guò)程的 結(jié)果是由章節(jié)7.3.5.3和相關(guān)聯(lián)的子章節(jié)中描述的句法表示的殘差數(shù)據(jù)。
SVC JD7規(guī)范中的增強(qiáng)層的相應(yīng)結(jié)構(gòu)在章節(jié)G.7.3.3至G.7.3.7中定義。 這些結(jié)構(gòu)類似于AVC中使用的那些結(jié)構(gòu)，但具有針對(duì)SVC中存在的增加 的選項(xiàng)的附加數(shù)據(jù)。 一般而言，它們的設(shè)計(jì)使較低層中存在的數(shù)據(jù)可用于 當(dāng)前層的編碼。換言之，已編碼比特流參數(shù)可通過(guò)直接引用它們而不是對(duì) 其重新編碼(層間預(yù)測(cè))以在較高層中重復(fù)使用。對(duì)于單循環(huán)解碼，這排 除了僅能通過(guò)完全解碼而獲得的數(shù)據(jù)，因?yàn)樗鼈儠?huì)使低于當(dāng)前層的層的完 整解碼循環(huán)的可用性成為必需從而導(dǎo)致多循環(huán)設(shè)計(jì)。
尤其重要的是片首部參數(shù)base一id』lusl (章節(jié)G.7.3.4)，其標(biāo)識(shí)了在 使用層間預(yù)測(cè)時(shí)用于當(dāng)前層的參考層。應(yīng)當(dāng)注意的是，參數(shù)base—id_plusl 不是指整個(gè)比特流的基本層，而僅指用作用于預(yù)測(cè)當(dāng)前層的基礎(chǔ)或參考的 特定層。這些參數(shù)按照空間可分級(jí)性層、質(zhì)量可分級(jí)性層、以及片段順序 (當(dāng)使用FGS或漸進(jìn)細(xì)化片時(shí))對(duì)參考層的坐標(biāo)進(jìn)行聯(lián)合編碼。如果 base_id_plusl的值為零時(shí)，則不使用層間預(yù)測(cè)(例如在最低層中)。
當(dāng)使用層間預(yù)測(cè)時(shí)(即當(dāng)base一icLplusl不為零時(shí))，在比特流中存在 參數(shù)自適應(yīng)預(yù)測(cè)標(biāo)記(adaptivejrediction—flag)(章節(jié)G.7.3.4)。該自適應(yīng) 預(yù)測(cè)標(biāo)記通過(guò)控制參數(shù)基本模式標(biāo)記(base—mode一flag)的存在和值來(lái)影響如 何在宏塊層中使用層間預(yù)測(cè)(章節(jié)G.7.3.6)。當(dāng)設(shè)置了基本模式標(biāo)記時(shí)， 則宏塊類型、參考索引、以及運(yùn)動(dòng)向量在適用時(shí)從相應(yīng)的參考(基本)層 宏塊中推斷。
片的每一宏塊的基本模式標(biāo)記的存在通過(guò)自適應(yīng)預(yù)測(cè)標(biāo)記在片級(jí)控 制。當(dāng)未設(shè)置自適應(yīng)預(yù)測(cè)標(biāo)記時(shí)，則不需要發(fā)送基本模式標(biāo)記。對(duì)于基本 模式標(biāo)記推斷值l (置位)，從而強(qiáng)制所有宏塊(在裁剪窗口內(nèi)，S卩，當(dāng)相 應(yīng)的較低層數(shù)據(jù)在基本層中存在時(shí))使用基本層模式和運(yùn)動(dòng)信息。因此通 過(guò)將自適應(yīng)預(yù)測(cè)標(biāo)記置為零，可實(shí)現(xiàn)片寬(slice-wide)套疊式模式預(yù)測(cè)，其中基本層決策和數(shù)據(jù)在增強(qiáng)層中被重復(fù)使用?；灸Ｊ綐?biāo)記的消除還導(dǎo)
致對(duì)于利用CAVLC熵編碼的30 fps的CIF序列能節(jié)省約12 Kbps。
不過(guò)，如章節(jié)G.7.3.6.3所見，SVC JD7設(shè)計(jì)的顯著缺點(diǎn)是當(dāng)未設(shè)置自 適應(yīng)預(yù)測(cè)標(biāo)記時(shí)，則殘差預(yù)測(cè)標(biāo)記(residuaLprediction—flag)被推斷為對(duì)每一
宏塊都是設(shè)置的片寬。與非幀內(nèi)宏塊相關(guān)的殘差預(yù)測(cè)標(biāo)記表示增強(qiáng)殘差信 號(hào)是從基本宏塊(或子宏塊)的(可能經(jīng)升采樣的)重構(gòu)的殘差信號(hào)來(lái)預(yù) 測(cè)的。然而，不論是否使用自適應(yīng)預(yù)測(cè)都始終強(qiáng)制使用殘差預(yù)測(cè)會(huì)降低編 碼效率。同樣，無(wú)論是否使用自適應(yīng)預(yù)測(cè)都強(qiáng)制殘差預(yù)測(cè)始終關(guān)閉的替代
方案又會(huì)降低給定比特率的質(zhì)量。
利用標(biāo)準(zhǔn)測(cè)試序列的擴(kuò)展性實(shí)驗(yàn)結(jié)果指出，對(duì)一切情況而言，當(dāng)在宏 塊的基礎(chǔ)上設(shè)置殘差預(yù)測(cè)時(shí)的碼率-失真曲線始終高于將殘差預(yù)測(cè)設(shè)置為 始終開或始終關(guān)時(shí)的相應(yīng)曲線。等效地，對(duì)于給定的比特率且在不使用自 適應(yīng)預(yù)測(cè)時(shí)(自適應(yīng)預(yù)測(cè)標(biāo)記被設(shè)置為零)，能夠自適應(yīng)地使用殘差預(yù)測(cè) 相比于殘差預(yù)測(cè)始終開或始終關(guān)的情況能導(dǎo)致更高的PSNR。
實(shí)驗(yàn)結(jié)果示出要使編碼器能使用套疊式模式?jīng)Q策并高效地將其發(fā)信號(hào) 通知給解碼器，各種預(yù)測(cè)模態(tài)必須是a)在片首部發(fā)信號(hào)通知以便片寬的使 用，以及b)通過(guò)獨(dú)立的標(biāo)記發(fā)信號(hào)通知以消除不同模態(tài)的耦合。片級(jí)的信 令模式?jīng)Q策允許消除宏塊或宏塊分區(qū)級(jí)的相應(yīng)信令，這將導(dǎo)致壓縮效率提 高。
在其中使用了 SVCJD7的本發(fā)明的示例性實(shí)施例中，片首部可用新的 標(biāo)記自適應(yīng)殘差預(yù)測(cè)標(biāo)記(adaptivej"esidualjrediction—flag)來(lái)擴(kuò)充。當(dāng)此標(biāo) 記未被設(shè)置時(shí)(即設(shè)置為零)，則對(duì)片的每一個(gè)宏塊采用殘差預(yù)測(cè)標(biāo)記的 默認(rèn)值。在本發(fā)明的示例性實(shí)現(xiàn)中的殘差預(yù)測(cè)標(biāo)記的默認(rèn)值被設(shè)置為1。
圖6示出本發(fā)明的優(yōu)選實(shí)施例中的應(yīng)用于SVC JD7編解碼器的示例性 句法和語(yǔ)義600。對(duì)SVC JD7規(guī)范的審視同樣揭示出運(yùn)動(dòng)相關(guān)層間預(yù)測(cè)標(biāo) 記，即運(yùn)動(dòng)預(yù)測(cè)標(biāo)記 10(motion_prediction—flag—10)和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記 ll(motion_prediction—flagjl)(章節(jié)G.7.3.6.1和G.7.3.6.2)也是加速的編 碼器操作的可能目標(biāo)。這些標(biāo)記(當(dāng)被設(shè)置為1時(shí))表示(可能經(jīng)縮放的) 基本運(yùn)動(dòng)向量被用作它(們)所屬的宏塊(或宏塊分區(qū))的(多個(gè))運(yùn)動(dòng)向量的列表0 (或相應(yīng)地，列表l)的(多個(gè))運(yùn)動(dòng)向量預(yù)測(cè)器。同樣，對(duì) 于涉及紋理預(yù)測(cè)的殘差預(yù)測(cè)標(biāo)記，對(duì)于片的所有宏塊或宏塊分區(qū)允許層間 運(yùn)動(dòng)預(yù)測(cè)在片級(jí)設(shè)置是有利的。
為提供編碼器針對(duì)片中的所有宏塊或宏塊分區(qū)打開或關(guān)閉層間預(yù)測(cè)標(biāo) 記的更多靈活性，在片級(jí)對(duì)應(yīng)在相應(yīng)的標(biāo)記未在每一宏塊或宏塊分區(qū)中自 適應(yīng)地設(shè)置時(shí)使用的默認(rèn)值進(jìn)行編碼是有利的。這樣的在片級(jí)編碼既可應(yīng) 用于基本模式標(biāo)記又可應(yīng)用于運(yùn)動(dòng)預(yù)測(cè)標(biāo)記。不過(guò)，當(dāng)默認(rèn)基本模式標(biāo)記 被設(shè)置為1時(shí)，運(yùn)動(dòng)預(yù)測(cè)標(biāo)記是無(wú)用的且不需要被發(fā)送。這些標(biāo)記的組合 對(duì)編碼器和解碼器提供完全的套疊式模式支持。
圖7示出應(yīng)用于其中對(duì)SVC JD8編解碼器(參見T. Wiegand、 G. Sullivan、 J. Reichel、 H. Schwarz、 M. Wien編輯的"聯(lián)合草案8:可分級(jí)視 頻編碼(Joint Draft 8:Scalable Video Coding)",聯(lián)合視頻小組，案巻JVT-U201，杭州，2006年10月，其全部?jī)?nèi)容通過(guò)引用結(jié)合于本文中)添加完 整的套疊式模式支持的情況的本發(fā)明的優(yōu)選實(shí)施例的示例性句法和語(yǔ)義 700。為本發(fā)明的目的，SVC JD8和JD7之間的主要差別是，在JD8中NAL 單元首部標(biāo)記，即基本層標(biāo)記(layer—base—flag)指定(當(dāng)被設(shè)置為1時(shí))對(duì) 當(dāng)前片段沒(méi)有使用(編碼模式、運(yùn)動(dòng)、采樣值、和/或殘差預(yù)測(cè)的)層間預(yù) 測(cè)，而且參數(shù)base_id_plus 1被重新命名為basejd 。
作為示例，為了發(fā)信號(hào)通知解碼器增強(qiáng)層是利用基本層信息編碼的， 自適應(yīng)預(yù)測(cè)標(biāo)記應(yīng)被設(shè)置為0，默認(rèn)基本模式標(biāo)記(default一base一mode一flag) 應(yīng)被設(shè)置為1，而自適應(yīng)殘差預(yù)測(cè)標(biāo)記應(yīng)被設(shè)置為0。標(biāo)記自適應(yīng)運(yùn)動(dòng)預(yù)測(cè) 標(biāo)記 (adaptive—motion_prediction_flag ) 禾Q默認(rèn)運(yùn)動(dòng)預(yù)觀!j標(biāo)記 (default—motionjrediction—flag)未被使用，且未被編碼。增強(qiáng)層片的宏塊(使 用SVCJD8規(guī)范)將僅包含已編碼塊模式(coded—blockjattern)數(shù)據(jù)，該數(shù) 據(jù)指示在其相應(yīng)的亮度或色度塊的任一個(gè)中不存在非零系數(shù)。通過(guò)將一附 加標(biāo)記引入片首部可免去發(fā)送已編碼塊模式數(shù)據(jù)的需要，該附加標(biāo)記指示 對(duì)當(dāng)前片將不發(fā)送任何宏塊數(shù)據(jù)，且將使用上述套疊式模式標(biāo)記配置。
雖然在本文中在SVC視頻編碼標(biāo)準(zhǔn)的上下文中描述了本發(fā)明的技術(shù)， 但本發(fā)明的原理可應(yīng)用于使用層間預(yù)測(cè)的任意可分級(jí)視頻編碼方案。另外，本發(fā)明的技術(shù)可應(yīng)用于視頻比特流的任意已編碼單元，諸如圖像或圖像組， 且不僅限于片級(jí)。同樣，該技術(shù)可應(yīng)用于當(dāng)對(duì)其發(fā)信號(hào)通知了預(yù)測(cè)模式的 最小已編碼單元不同于宏塊時(shí)的情況(例如包括已編碼單元的甚至是任意 形狀的塊或任何其它結(jié)構(gòu))。
雖然相信已經(jīng)描述的內(nèi)容是本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域普通技術(shù) 人員將認(rèn)識(shí)到可作出其它和進(jìn)一步的改變和修改而不背離本發(fā)明的精神， 而且目的是要求保護(hù)如落入本發(fā)明真實(shí)范圍內(nèi)的所有這些變化和修改。
應(yīng)當(dāng)理解的是，根據(jù)本發(fā)明，本文中所描述的技術(shù)可利用硬件和軟件 的任意合適的組合來(lái)實(shí)現(xiàn)。用于實(shí)現(xiàn)和操作上述碼率估計(jì)和控制技術(shù)的軟 件(即指令)可在計(jì)算機(jī)可讀介質(zhì)上提供，這些計(jì)算機(jī)可讀介質(zhì)可包括但
不限于，固件、存儲(chǔ)器、存儲(chǔ)設(shè)備、微控制器、微處理器、集成電路、ASIC、
可在線下載的介質(zhì)、以及其它可用介質(zhì)。
權(quán)利要求
1.一種用于可分級(jí)數(shù)字視頻的解碼的系統(tǒng)，所述系統(tǒng)包括被配置成接收可分級(jí)數(shù)字視頻比特流的輸入，所述可分級(jí)數(shù)字視頻比特流包括質(zhì)量或空間增強(qiáng)目標(biāo)層和至少一個(gè)附加層的已編碼單元組，所述數(shù)字視頻比特流包括與已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，以及與各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制(包括預(yù)測(cè))、紋理、或運(yùn)動(dòng)數(shù)據(jù)；耦合至所述輸入的解碼器，其中所述解碼器被配置成解碼與所述目標(biāo)層和所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)，以及與所述目標(biāo)層和所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)；耦合至所述解碼器的預(yù)測(cè)器，其中所述解碼器被配置成根據(jù)用信號(hào)通知的與所述目標(biāo)層或所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)、或根據(jù)與所述目標(biāo)層或所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)，來(lái)生成對(duì)所述目標(biāo)層的多個(gè)已編碼單元的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)參考；以及耦合至所述預(yù)測(cè)器的組合器，其中所述組合器被配置成將所生成的預(yù)測(cè)參考與相應(yīng)的已解碼的與所述目標(biāo)層的多個(gè)已編碼單元相關(guān)聯(lián)的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)相組合，以產(chǎn)生對(duì)應(yīng)于所述目標(biāo)層的多個(gè)已編碼單元的已解碼圖像的各部分，其中與所述目標(biāo)層或所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)，以及與所述目標(biāo)層或所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)，且其中所述預(yù)測(cè)器被配置成當(dāng)在所述數(shù)字視頻比特流中不存在與所述目標(biāo)層的已編碼單元組的各單獨(dú)的已編碼單元相關(guān)聯(lián)的相應(yīng)的層間預(yù)測(cè)控制數(shù)據(jù)時(shí)，使用由與所述目標(biāo)層的已編碼單元組相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)所指示的值。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVD JD8規(guī)范中， 已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8 規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括殘差預(yù)測(cè)標(biāo)記參數(shù)；以及與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)， 其中所述解碼器還被配置成不對(duì)未設(shè)置所述自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)的 片的宏塊或宏塊分區(qū)中的殘差預(yù)測(cè)標(biāo)記參數(shù)解碼，且其中所述預(yù)測(cè)器還被配置 成對(duì)所述片的所有宏塊或宏塊分區(qū)的殘差預(yù)測(cè)標(biāo)記參數(shù)采取默認(rèn)值。
3. 如權(quán)利要求1所述的系統(tǒng)，其特征在于-接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVD JD8規(guī)范中， 己編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVD JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括基本模式標(biāo)記參數(shù)； 與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)基本模 式標(biāo)記參數(shù)，其中所述解碼器還被配置成不對(duì)未設(shè)置自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)的片 的宏塊或宏塊分區(qū)中的基本模式標(biāo)記參數(shù)解碼，并且其中所述預(yù)測(cè)器還被配置 成對(duì)該片的所有宏塊或宏塊分區(qū)的基本模式標(biāo)記參數(shù)采取由所述默認(rèn)基本模 式標(biāo)記參數(shù)所指示的值。
4. 如權(quán)利要求l所述的系統(tǒng)，其特征在于接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVD HD8規(guī)范中， 已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVD JD8 規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10參數(shù) 和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記ll參數(shù)；以及與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)運(yùn) 動(dòng)預(yù)測(cè)標(biāo)記參數(shù)，其中所述解碼裝置還被配置成不對(duì)未設(shè)置自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)的片 的宏塊或宏塊分區(qū)中的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記IO或運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)解碼，并且其 中，所述預(yù)測(cè)器還被配置成對(duì)該片的所有宏塊或宏塊分區(qū)的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10 和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)采取由所述默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)所指示的值。
5. —種用于數(shù)字視頻的可分級(jí)編碼的系統(tǒng)，所述系統(tǒng)包括被配置成接收數(shù)字視頻輸入圖像的輸入；耦合至所述輸入的可任選地工作的降采樣器，其中所述降采樣器被配置成生成輸入圖像的較低分辨率下的經(jīng)降采樣的圖像；耦合至所述可任選降釆樣器或所述輸入和提供要用作參考圖像的多個(gè)先 前解碼的基本層圖像的第一組合器的第一預(yù)測(cè)估計(jì)器，其中所述第一預(yù)測(cè)估計(jì) 器被配置成生成與所述(任選地經(jīng)降采樣的)圖像的多個(gè)已編碼單元相關(guān)聯(lián)的 第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)參考、或與所述(任選地經(jīng)降采樣的) 圖像的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，并生成對(duì)應(yīng)于 所述已編碼單元的第一預(yù)測(cè)參考圖像的各部分；耦合至所述第一預(yù)測(cè)估計(jì)器和所述可任選降采樣器或所述輸入的第一比 較器，其中所述第一比較器被配置成計(jì)算所述(可任選地經(jīng)降采樣的)輸入圖像與第一預(yù)測(cè)參考圖像的各部分之間的差異，并生成與所述(可任選地經(jīng)降采 樣的)輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第二組控制(包括預(yù)測(cè))和紋理數(shù) 據(jù)、以及與所述(可任選地經(jīng)降采樣的)輸入圖像的已編碼單元組相關(guān)聯(lián)的控 制(包括預(yù)測(cè))數(shù)據(jù)，耦合至所述第一比較器和所述第一預(yù)測(cè)估計(jì)器的第一組合器，其中所述第 一組合器被配置成將所生成的第二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)與其在所述 第一預(yù)測(cè)參考圖像中的相應(yīng)部分相組合以生成新的基本層已解碼圖像的相應(yīng) 部分；耦合至所述輸入和提供要用作參考圖像的多個(gè)先前解碼的增強(qiáng)層圖像的 第二組合器的第二預(yù)測(cè)估計(jì)器，其中所述第二預(yù)測(cè)估計(jì)器被配置成生成與所述 輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第三組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè) 參考、或與所述輸入圖像的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，并且還生成對(duì)應(yīng)于所述已編碼單元的第二預(yù)測(cè)參考圖像的各部分；耦合至所述第二預(yù)測(cè)估計(jì)器和所述輸入的第二比較器，其中所述第二比較 器被配置成計(jì)算所述輸入圖像與所述第二預(yù)測(cè)參考圖像之間的差異，并生成與 所述輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)、 以及與所述輸入圖像的已編碼單元組相關(guān)聯(lián)的控制(包括預(yù)測(cè))數(shù)據(jù)，耦合至所述第二比較器和所述第二預(yù)測(cè)估計(jì)器的第二組合器，其中所述第二組合器被配置成將所生成的第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)與其在所述 第二預(yù)測(cè)參考圖像中的相應(yīng)部分相組合以生成新的增強(qiáng)層已解碼圖像的相應(yīng) 部分；以及編碼器，所述編碼器被配置成對(duì)所述第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù) 以及所述第二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生基本層比特流， 對(duì)所述第三組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)以及所述第四組控制(包括預(yù)測(cè)) 和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生增強(qiáng)層比特流，并將所述數(shù)據(jù)多路復(fù)用成單個(gè)輸出 比特流，其中所述第三和第四組控制數(shù)據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)，并且其中所述第 二預(yù)測(cè)估計(jì)器和所述第二比較器還被配置成對(duì)所述輸入圖像的一個(gè)或多個(gè)已 編碼單元組中的層間預(yù)測(cè)控制數(shù)據(jù)值進(jìn)行設(shè)置，以使所述輸入圖像的已編碼單 元中與所述輸入圖像的一個(gè)或多個(gè)已編碼單元組相關(guān)聯(lián)的相應(yīng)的層間預(yù)測(cè)控 制數(shù)據(jù)值不被發(fā)送。
6. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、 所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD 8 規(guī)范的比特流，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū) 且己編碼單元組對(duì)應(yīng)于片，所述SVDJD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括殘差預(yù)測(cè)標(biāo)記參數(shù)； 與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)， 其中所述第二預(yù)測(cè)估計(jì)器和所述第二比較器被配置成在一個(gè)或多個(gè)片中將所述自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假，所述編碼器還被配置成不在其對(duì)與所述 一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中包括所述殘差預(yù)測(cè)標(biāo)記，并且 所述第二預(yù)測(cè)器和第二比較器還被配置成對(duì)所述一個(gè)或多個(gè)片的所有宏塊或 宏塊分區(qū)的殘差預(yù)測(cè)標(biāo)記參數(shù)采取默認(rèn)值。
7. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、 所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD 8 規(guī)范的比特流，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū) 而已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得-與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括基本模式標(biāo)記參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)基本模 式標(biāo)記參數(shù)，其中所述第二預(yù)測(cè)估計(jì)器和所述第二比較器被配置成在一個(gè)或多個(gè)片中 將所述自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假，所述編碼器還被配置成不在其對(duì)與所述 一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中包括所述基本模式標(biāo)記，并且 其中，所述第二預(yù)測(cè)器和第二比較器還被配置成對(duì)所述一個(gè)或多個(gè)片的所有宏 塊或宏塊分區(qū)的基本模式標(biāo)記參數(shù)采取由所述默認(rèn)基本模式標(biāo)記指示的值。
8. 如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、 所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD 8 規(guī)范的比特流，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū) 且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10參數(shù) 和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)運(yùn) 動(dòng)預(yù)測(cè)標(biāo)記參數(shù)，其中所述第二預(yù)測(cè)器和所述第二比較器被配置成在一個(gè)或多個(gè)片中將所 述自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假，所述編碼器還被配置成不在其對(duì)與所述 一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中包括所述運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10或 運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)，并且其中，所述第二預(yù)測(cè)器和所述第二比較器還被配 置成對(duì)所述一個(gè)或多個(gè)片的所有宏塊或宏塊分區(qū)的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10和運(yùn)動(dòng)預(yù) 測(cè)標(biāo)記11參數(shù)采取由所述默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記指示的值。
9. 一種可分級(jí)視頻通信系統(tǒng)，包括如權(quán)利要求1所述的系統(tǒng)，其被配置成將可分級(jí)數(shù)字視頻比特流解碼成數(shù) 字視頻圖像；如權(quán)利要求5所述的系統(tǒng)，其被配置成將數(shù)字視頻圖像編碼成數(shù)字視頻比 特流；以及將所述編碼系統(tǒng)的輸出連接至所述解碼系統(tǒng)的輸入的通信網(wǎng)絡(luò)， 其中所述編碼系統(tǒng)的第二預(yù)測(cè)估計(jì)器和第二比較器還被配置成取決于所 述通信網(wǎng)絡(luò)中可用的比特率在所述輸入圖像的或多或少的已編碼單元組中使用套疊式層間預(yù)測(cè)控制數(shù)據(jù)值。
10. —種可分級(jí)視頻通信系統(tǒng)，包括通信網(wǎng)絡(luò)；如權(quán)利要求1所述的系統(tǒng)，其被配置成將可分級(jí)數(shù)字視頻比特流解碼成數(shù)字視頻圖像；如權(quán)利要求5所述的系統(tǒng)，其被配置成將數(shù)字視頻圖像編碼成數(shù)字視頻比特流；以及通過(guò)所述通信網(wǎng)絡(luò)連接至所述編碼系統(tǒng)和所述解碼系統(tǒng)的SVCS，其中所述SVCS被配置成在將所述編碼系統(tǒng)所接收的一個(gè)或多個(gè)增強(qiáng)層片轉(zhuǎn)發(fā)至所述解碼系統(tǒng)之前以僅用信號(hào)通知套疊式層間預(yù)測(cè)且不包含宏塊紋理或運(yùn)動(dòng)數(shù)據(jù)的片代替所述編碼系統(tǒng)所接收的一個(gè)或多個(gè)增強(qiáng)層片。
11. 一種用于可分級(jí)數(shù)字視頻的解碼的方法，所述方法包括在輸入處接收可分級(jí)數(shù)字視頻比特流，所述可分級(jí)數(shù)字視頻比特流包括質(zhì)量或空間增強(qiáng)目標(biāo)層和至少一個(gè)附加層的已編碼單元組，所述數(shù)字視頻比特流包括與已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，以及與各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制(包括預(yù)測(cè))、紋理、或運(yùn)動(dòng)數(shù)據(jù)；在解碼器處通過(guò)對(duì)與所述目標(biāo)層和所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)以及與所述目標(biāo)層和所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)進(jìn)行解碼來(lái)對(duì)所接收的輸入進(jìn)行解碼；利用耦合至所述解碼器的預(yù)測(cè)器，根據(jù)用信號(hào)通知的與所述目標(biāo)層或所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)、或根據(jù)與所述目標(biāo)層或所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)，生成對(duì)所述目標(biāo)層的多個(gè)已編碼單元的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)的預(yù)測(cè)參考；以及在耦合至所述預(yù)測(cè)器的組合器處將所生成的預(yù)測(cè)參考與相應(yīng)的已解碼的與所述目標(biāo)層的多個(gè)已編碼單元相關(guān)聯(lián)的控制、紋理、或運(yùn)動(dòng)數(shù)據(jù)相組合以產(chǎn)生對(duì)應(yīng)于所述目標(biāo)層的多個(gè)己編碼單元的已解碼圖像的各部分，其中與所述目標(biāo)層或所述至少一個(gè)附加層的已編碼單元組相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)，以及與所述目標(biāo)層或所述至少一個(gè)附加層的各單獨(dú)的已編碼單元相關(guān)聯(lián)的預(yù)測(cè)控制數(shù)據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)，并且其中，所述預(yù)測(cè)器被配置成當(dāng)在所述數(shù)字視頻比特流中不存在與所述目標(biāo)層的己編碼單元組的各單獨(dú)的已編碼單元相關(guān)聯(lián)的相應(yīng)的層間預(yù)測(cè)控制數(shù)據(jù)時(shí)使用由與所述目標(biāo)層的已編碼單元組相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)所指示的值。
12. 如權(quán)利要求ll所述的方法，其特征在于接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括殘差預(yù)測(cè)標(biāo)記參數(shù)；以及與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)，所述方法還包括在所述解碼器處省略對(duì)未設(shè)置所述自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)的片的宏塊或宏塊分區(qū)中的殘差預(yù)測(cè)標(biāo)記參數(shù)的解碼，并在所述預(yù)測(cè)器處為該片的所有宏塊或宏塊分區(qū)的殘差預(yù)測(cè)標(biāo)記參數(shù)采取默認(rèn)值。
13. 如權(quán)利要求ll所述的方法，其特征在于接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括基本模式標(biāo)記參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)基本模式標(biāo)記參數(shù)，所述方法還包括在所述解碼器處省略對(duì)未設(shè)置自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)的片的宏塊或宏塊分區(qū)中的基本模式標(biāo)記參數(shù)的解碼，并在所述預(yù)測(cè)器處對(duì)該片的所有宏塊或宏塊分區(qū)的基本模式標(biāo)記參數(shù)采取由所述默認(rèn)基本模式標(biāo)記參數(shù)所指示的值。
14. 如權(quán)利要求ll所述的方法，其特征在于接收到的數(shù)字視頻比特流符合SVC JD8規(guī)范，在所述SVC JD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10參數(shù)和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記ll參數(shù)；以及與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)，所述方法還包括在所述解碼器處省略對(duì)未設(shè)置所述自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)的片的宏塊或宏塊分區(qū)中的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記IO或運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)的解碼，并在所述預(yù)測(cè)器處對(duì)該片的所有宏塊或宏塊分區(qū)的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)采取由所述默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)指示的值。
15. —種用于數(shù)字視頻的可分級(jí)編碼的方法，所述方法包括在輸入處接收數(shù)字視頻輸入圖像；可任選地操作耦合至所述輸入的降采樣器以生成輸入圖像的較低分辨率下的經(jīng)降采樣的圖像；在耦合至所述可任選地工作的降采樣器或所述輸入和提供要用作參考圖像的多個(gè)先前解碼的基本層圖像的第一組合器的第一預(yù)測(cè)估計(jì)器處生成與所述(可任選地經(jīng)降采樣的)圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)參考、或與所述(可任選地經(jīng)降采樣的)圖像的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，并生成對(duì)應(yīng)于所述已編碼單元的第一預(yù)測(cè)參考圖像的各部分；在耦合至所述第一預(yù)測(cè)估計(jì)器和所述可任選降采樣器或輸入的第一比較器處計(jì)算所述(可任選地經(jīng)降采樣的)輸入圖像與第一預(yù)測(cè)參考圖像之間的差異，并生成與所述(可任選地經(jīng)降采樣的)輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)、以及與所述(可任選地經(jīng)降采樣的)輸入圖像的已編碼單元組相關(guān)聯(lián)的控制(包括預(yù)測(cè))數(shù)據(jù)，在耦合至所述第一比較器和所述第一預(yù)測(cè)估計(jì)器的第一組合器處將所生成的第二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)與其在所述第一預(yù)測(cè)參考圖像中的相應(yīng)部分相組合以生成新的基本層已解碼圖像的相應(yīng)部分；在耦合至所述輸入和提供要用作參考圖像的多個(gè)先前解碼的增強(qiáng)層圖像的第二組合器的第二預(yù)測(cè)估計(jì)器處生成與所述輸入圖像的多個(gè)已編碼單元相關(guān)聯(lián)的第三組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)預(yù)測(cè)參考、或與所述輸入圖像的已編碼單元組相關(guān)聯(lián)的控制數(shù)據(jù)(包括預(yù)測(cè)控制數(shù)據(jù))，并生成對(duì)應(yīng)于所述已編碼單元的第二預(yù)測(cè)參考圖像的各部分；所述第二預(yù)測(cè)估計(jì)器和所述輸入的第二比較器處計(jì)算所述輸入圖像與所述第二預(yù)測(cè)參考圖像之間的差異，并生成與所述輸入圖像的多已個(gè)編碼單元相關(guān)聯(lián)的第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)、以及與所述輸入圖像的己編碼單元組相關(guān)聯(lián)的控制(包括預(yù)測(cè))數(shù)據(jù)，在耦合至所述第二比較器和所述第二預(yù)測(cè)估計(jì)器的第二組合器處將所生成的第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)與其在所述第二預(yù)測(cè)參考圖像中的相應(yīng)部分相組合以生成新的增強(qiáng)層已解碼圖像的相應(yīng)部分；以及在編碼器處對(duì)所述第一組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)以及所述第二組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生基本層比特流，對(duì)所述第三組控制(包括預(yù)測(cè))和運(yùn)動(dòng)數(shù)據(jù)以及所述第四組控制(包括預(yù)測(cè))和紋理數(shù)據(jù)進(jìn)行編碼以產(chǎn)生增強(qiáng)層比特流，并將所述數(shù)據(jù)多路復(fù)用成單個(gè)輸出比特流，其中所述第三和第四組控制數(shù)據(jù)包括層間預(yù)測(cè)控制數(shù)據(jù)，并且在所述第二預(yù)測(cè)估計(jì)器和所述第二比較器處對(duì)所述輸入圖像的一個(gè)或多個(gè)已編碼單元組中的層間預(yù)測(cè)控制數(shù)據(jù)值進(jìn)行設(shè)置，以使所述輸入圖像的已編碼單元中與所述輸入圖像的一個(gè)或多個(gè)已編碼單元組相關(guān)聯(lián)的相應(yīng)的層間預(yù)測(cè)控制數(shù)據(jù)值不被發(fā)送。
16. 如權(quán)利要求15所述的方法，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD8規(guī)范的比特流，在所述SVCJD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括殘差預(yù)測(cè)標(biāo)記參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)殘差預(yù)測(cè)標(biāo)記參數(shù)，所述方法還包括在所述第二預(yù)測(cè)估計(jì)器和所述第二比較器處在一個(gè)或多個(gè)片中將所述自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假；在所述編碼器處在其對(duì)與所述一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中省略所述殘差預(yù)測(cè)標(biāo)記，并在所述第二預(yù)測(cè)器和第二比較器處對(duì)所述一個(gè)或多個(gè)片的所有宏塊或宏塊分區(qū)的殘差預(yù)測(cè)標(biāo)記參數(shù)采取默認(rèn)值。
17. 如權(quán)利要求15所述的方法，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD8規(guī)范的比特流，在所述SVCJD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括基本模式標(biāo)記參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)和缺省基本模式標(biāo)記參數(shù)，所述方法還包括在所述第二預(yù)測(cè)估計(jì)器和所述第二比較器處在一個(gè)或多個(gè)片中將所述自適應(yīng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假；在所述編碼器處在其對(duì)與所述一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中省略所述基本模式標(biāo)記；以及在所述第二預(yù)測(cè)器和第二比較器處對(duì)所述一個(gè)或多個(gè)片的所有宏塊或宏塊分區(qū)的基本模式標(biāo)記參數(shù)采取由所述默認(rèn)基本模式標(biāo)記指示的值。
18. 如權(quán)利要求15所述的方法，其特征在于，所述第一和第二預(yù)測(cè)估計(jì)器、所述第一和第二比較器、以及所述編碼器被配置成產(chǎn)生和輸出符合SVC JD8規(guī)范的比特流，在所述SVCJD8規(guī)范中，已編碼單元對(duì)應(yīng)于宏塊或宏塊分區(qū)且已編碼單元組對(duì)應(yīng)于片，所述SVC JD8規(guī)范被擴(kuò)展以使得與宏塊或宏塊分區(qū)相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10參數(shù)和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)；與片相關(guān)聯(lián)的層間預(yù)測(cè)控制數(shù)據(jù)包括自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)和默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)，所述方法還包括在所述第二預(yù)測(cè)器和所述第二比較器處在一個(gè)或多個(gè)片中將所述自適應(yīng)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記參數(shù)設(shè)置為假；在所述編碼器處在其對(duì)與所述一個(gè)或多個(gè)片相關(guān)聯(lián)的宏塊或宏塊分區(qū)的編碼中省略所述運(yùn)動(dòng)預(yù)測(cè)標(biāo)記10或運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)；以及在所述第二預(yù)測(cè)器和所述第二比較器處對(duì)所述一個(gè)或多個(gè)片的所有宏塊或宏塊分區(qū)的運(yùn)動(dòng)預(yù)測(cè)標(biāo)記IO和運(yùn)動(dòng)預(yù)測(cè)標(biāo)記11參數(shù)采取由所述默認(rèn)運(yùn)動(dòng)預(yù)測(cè)標(biāo)記指示的值。
19. 一種可分級(jí)視頻通信方法，包括執(zhí)行如權(quán)利要求11所述的方法以將可分級(jí)數(shù)字視頻比特流解碼成數(shù)字視頻圖像；執(zhí)行如權(quán)利要求15所述的方法以將數(shù)字視頻圖像編碼成數(shù)字視頻比特流；將所述編碼系統(tǒng)的輸出連接至所述解碼系統(tǒng)的輸入；以及在所述編碼系統(tǒng)的第二預(yù)測(cè)估計(jì)器和第二比較器處取決于所述通信網(wǎng)絡(luò)中可用的比特率在所述輸入圖像的或多或少的已編碼單元組中使用套疊式層間預(yù)測(cè)控制數(shù)據(jù)值。
20. —種用于在一系統(tǒng)上的可分級(jí)視頻通信的方法，所述系統(tǒng)包括通信網(wǎng)絡(luò)；如權(quán)利要求1所述的系統(tǒng)，其被配置成將可分級(jí)數(shù)字視頻比特流解碼成數(shù)字視頻圖像；如權(quán)利要求5所述的系統(tǒng)，其被配置成將數(shù)字視頻圖像編碼成數(shù)字視頻比特流；以及通過(guò)所述通信網(wǎng)絡(luò)連接至所述編碼系統(tǒng)和所述解碼系統(tǒng)的SVCS，所述方法包括在所述SVCS處在將所述編碼系統(tǒng)所接收的一個(gè)或多個(gè)增強(qiáng)層片轉(zhuǎn)發(fā)至所述解碼系統(tǒng)之前以僅用信號(hào)通知套疊式層間預(yù)測(cè)且不包含宏塊紋理或運(yùn)動(dòng)數(shù)據(jù)的片代替所述編碼系統(tǒng)所接收的一個(gè)或多個(gè)增強(qiáng)層片。
21. —種包括用來(lái)執(zhí)行方法權(quán)利要求11-20中的至少一項(xiàng)所述的步驟的一組指令的計(jì)算機(jī)可讀介質(zhì)。
全文摘要
提供了利用特殊的層間預(yù)測(cè)模式(稱為套疊式模式)的用于可分級(jí)視頻編碼的系統(tǒng)和方法。這些模式促進(jìn)了編碼器的具有改善的編碼效率的加速操作。
文檔編號(hào)H04N7/18GK101601296SQ200780039365
公開日2009年12月9日 申請(qǐng)日期2007年10月23日 優(yōu)先權(quán)日2006年10月23日
發(fā)明者A·埃爾夫瑟里阿迪斯, D·洪, O·夏皮羅 申請(qǐng)人:維德約股份有限公司