專(zhuān)利名稱：對(duì)圖像數(shù)據(jù)流執(zhí)行可擴(kuò)展編碼和解碼的設(shè)備和方法、信號(hào)、計(jì)算機(jī)程序以及用于相應(yīng)圖像 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域是圖像或圖像視頻序列的編碼和解碼。更具體而言，本發(fā)明涉及一種用于對(duì)圖像執(zhí)行可擴(kuò)展(scalable)編碼和解碼、 也就是以可適應(yīng)的質(zhì)量以及可變的空間/時(shí)間分辨率來(lái)編碼和解碼圖 像的技術(shù)。2.現(xiàn)有技術(shù)當(dāng)前，對(duì)很多數(shù)據(jù)傳輸系統(tǒng)來(lái)說(shuō)，從為具有多種不同類(lèi)型的數(shù)據(jù) 訪問(wèn)的眾多客戶提供服務(wù)的意義上講，這些系統(tǒng)是異構(gòu)的。由此，舉 例來(lái)說(shuō)，全球性的因特網(wǎng)是可以從PC類(lèi)型的終端以及無(wú)線電電話訪 問(wèn)的。更為普遍的是，接入網(wǎng)絡(luò)的帶寬、客戶終端的處理能力及其屏 幕的大小因用戶的不同而存在很大區(qū)別。因此，舉例來(lái)說(shuō)，第一客戶 可以使用隨其自由支配的1024kbit/s的ADSL比特率從強(qiáng)大的PC訪 問(wèn)因特網(wǎng)，而第二客戶則試圖以低的比特率使用與調(diào)制解調(diào)器相連的 PDA (個(gè)人數(shù)字助理)類(lèi)型的終端來(lái)同時(shí)訪問(wèn)相同數(shù)據(jù)。由此，有必要為這些不同的用戶提供與其需求相適應(yīng)的數(shù)據(jù)流， 而這些需求在比特率和圖像分辨率方面是有很大差別的。這種必要性應(yīng)用，尤其是以下應(yīng)用-VOD ("視頻點(diǎn)播，，)，它可以由UMTS ("通用移動(dòng)電信服 務(wù)")類(lèi)型的無(wú)線電通信終端、具有ADSL接入的PC或電視終端所 訪問(wèn)；- 會(huì)話移動(dòng)性(例如，在PDA上繼續(xù)在電視機(jī)上開(kāi)始的視頻 會(huì)話，或者在UMTS類(lèi)型的終端上繼續(xù)在GPRS ("通用分組無(wú)線電
服務(wù)，，)上開(kāi)始的會(huì)話)；- 會(huì)話連續(xù)性(在與新應(yīng)用共享帶寬的情況下)；- 高清晰電視，其中單個(gè)視頻編碼必須顧及為具有標(biāo)準(zhǔn)清晰度 (SD)的客戶以及具有高清晰度(HD)的客戶提供服務(wù)；- 視頻會(huì)議，其中單個(gè)編碼必須滿足具有UMTS接入以及因特 網(wǎng)接入的客戶的需要；-等等。為了滿足這些不同的需求，已經(jīng)開(kāi)發(fā)了可擴(kuò)展圖像編碼算法，以 便能夠?qū)崿F(xiàn)可適應(yīng)的質(zhì)量以及可變的空間-時(shí)間分辨率。編碼器產(chǎn)生一 個(gè)具有多層的分層結(jié)構(gòu)的壓縮流，其中每一層都內(nèi)嵌在一個(gè)更高級(jí)別 的層中。舉例來(lái)說(shuō)，第一數(shù)據(jù)層傳送的是可以被PDA類(lèi)型的終端解 碼的256kbit/s的流，而第二補(bǔ)充層傳送的是分辨率大于256kbit/s的 流，作為對(duì)第一個(gè)流的補(bǔ)充，該流可以被更強(qiáng)大的PC類(lèi)型的終端解 碼。在本實(shí)例中，傳送這兩個(gè)內(nèi)嵌層所需要的比特率是512kbit/s?，F(xiàn)在，在MPEG21工作組的環(huán)境中，其中的某些可擴(kuò)展視頻編 碼算法正在被MPEG ("運(yùn)動(dòng)圖像專(zhuān)家組，，)標(biāo)準(zhǔn)所采納。特別地，MPEG-21工作組最近選擇的才莫型、即SVC ("可擴(kuò)展 視頻編碼")模型被稱為SVM ("可擴(kuò)展視頻模型")，它是以基于 AVC ("高級(jí)視頻編碼，，)類(lèi)型的解決方案的可擴(kuò)展編碼器為基礎(chǔ)的。 在2004年10月發(fā)表于西班牙Palma de Majorca的名為"Scalable Video Model 3.0，，的文獻(xiàn)N6716 ISO/IEC JTC 1/SC 29/WG 11中詳細(xì) 描述了這種模型。MPEG-21工作組的目標(biāo)是提出一種用于提供可擴(kuò) 展流的標(biāo)準(zhǔn)，其中所述可擴(kuò)展流在空間-時(shí)間維度以及質(zhì)量方面是粒度 平均的。2.1 MPEG-21 SVM編碼器2.1.1編碼器的主要特性圖l描述的是這種具有金字塔結(jié)構(gòu)的編碼器的結(jié)構(gòu)。視頻輸入組 件10經(jīng)歷二元子采樣操作(用11標(biāo)記的二中取一 2D抽選，用12標(biāo) 記的四中取一2D抽選)。然后，每一個(gè)子采樣的流都會(huì)經(jīng)歷MCTF(運(yùn)動(dòng)補(bǔ)償時(shí)域?yàn)V波)類(lèi)型的時(shí)域分解處理13。低分辨率版本的視頻 序列被編碼(14)到給定比特率R_r0_max，其中該比特率與用于低 空間分辨率r0 (這個(gè)基本等級(jí)是兼容AVC的)的最大可解碼比特率 相對(duì)應(yīng)。然后，通過(guò)減去先前重新構(gòu)建的并且過(guò)釆樣的等級(jí)，并且通過(guò)以 如下形式編碼殘差(residue)，對(duì)更高的等級(jí)進(jìn)行編碼15、 16: -基本等級(jí)；-可能通過(guò)比特平面的多行程(multi-run)編碼獲取的一個(gè)或 多個(gè)增強(qiáng)等級(jí)(在下文中將"細(xì)化粒度可擴(kuò)展性，，稱為FGS)。預(yù)測(cè)殘 差被編碼到比特率R_ri_max,其中該比特率與對(duì)于分辨率ri而言可 以解碼的最大比特率相對(duì)應(yīng)。更具體地說(shuō)，MCTF濾波塊13執(zhí)行時(shí)域小波濾波，也就是iJL， 它們會(huì)在小波濾波之前在運(yùn)動(dòng)方面重新校準(zhǔn)信號(hào)它們傳遞被饋送到 運(yùn)動(dòng)編碼塊14~16的運(yùn)動(dòng)信息17以及被饋送到預(yù)測(cè)模塊19的紋理 信息19。從預(yù)測(cè)模塊19輸出的預(yù)測(cè)數(shù)據(jù)用于從較低的等級(jí)開(kāi)始執(zhí)行 插值20。此外，這些數(shù)據(jù)還被饋送到空間變換和熵編碼塊21，所述 塊21是工作在信號(hào)的細(xì)化等級(jí)上的。復(fù)用模塊21對(duì)在總壓縮數(shù)據(jù)流 中產(chǎn)生的不同子流進(jìn)行排序。圖2描述的是借助于圖1的可擴(kuò)展編碼器獲取的結(jié)果，其中該結(jié) 果具有針對(duì)不同的可擴(kuò)展分辨率("公用接口格式/四分之一公用接口 格式，，CIF/QCIF，其中CIF對(duì)應(yīng)于半TV格式，而QCIF對(duì)應(yīng)于四分 之一 TV格式)或不同的時(shí)間分辨率(7.5~30hz，每秒的圖像數(shù)量) 所描繪的比特率/失真曲線的形式。y軸顯示了 PSNR(峰值信噪比)， 并且x軸顯示了用kbit/s表示的比特率。由此，用23標(biāo)引的曲線與 具有7.5Hz時(shí)間分辨率的QCIF空間分辨率是對(duì)應(yīng)的，用24標(biāo)引的 曲線與15Hz的QCIF分辨率是對(duì)應(yīng)的，用25標(biāo)引的曲線與15Hz的 CIF分辨率是對(duì)應(yīng)的，而用26標(biāo)引的曲線與30Hz的CIF分辨率是對(duì) 應(yīng)的。2.1.2在編碼器上產(chǎn)生信息層 圖3描述的是由SVM編碼器實(shí)現(xiàn)的信息預(yù)測(cè)/提取機(jī)制。在下文 中將會(huì)更詳細(xì)地描述編碼時(shí)實(shí)施的預(yù)測(cè)處理。這個(gè)預(yù)測(cè)處理包括通過(guò) 從來(lái)自具有低等級(jí)空間分辨率的層的數(shù)據(jù)進(jìn)行預(yù)測(cè)，編碼具有給定等 級(jí)n的空間分辨率的層。更具體來(lái)說(shuō)，圖3給出的是分別與由30和31所標(biāo)引的比特率/ 失真曲線相關(guān)聯(lián)的QCIF和CIF格式空間分辨率層這兩個(gè)連續(xù)層的生 成實(shí)例。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，將這個(gè)實(shí)例擴(kuò)展到具有11>2個(gè)空間 層的更普遍情況是沒(méi)有難度的。如上所述，x軸代表用kbit/s表示的 比特率，而y軸表示以dB為單位的PSNR。對(duì)每一個(gè)空間分辨率層來(lái)說(shuō)，編碼器以兩個(gè)子流的形式來(lái)編碼信 息，這兩個(gè)子流是被稱為BL ("基本層")的基本子流(子層)和被 稱為EL ("增強(qiáng)層")的逐步增強(qiáng)子流或子層。首先，QCIF格式是在時(shí)間頻率和比特率的所有值范圍上編碼 的。在這里具有基本層(BL) 301,以及兩個(gè)可能的增強(qiáng)等級(jí)(EL) (由302標(biāo)記的FGS1以及由303標(biāo)記的FGS2 ) ( FGS -"細(xì)化粒度 可擴(kuò)展")。由此，增強(qiáng)層EL具有兩個(gè)行程FGS1 302以及FGS2 303 。 當(dāng)通過(guò)在FGS1與FGS2之間切割數(shù)據(jù)分組來(lái)執(zhí)行解碼時(shí)，這時(shí)可以 獲得中間細(xì)化點(diǎn)。QCIF格式被編碼到最大比特率點(diǎn)304,然后，這個(gè)點(diǎn)在CIF格 式的編碼期間被用作預(yù)測(cè)基準(zhǔn)。此外，這個(gè)點(diǎn)必須是為系統(tǒng)的通常優(yōu) 化性能所定義的最好的點(diǎn)。然后，CIF格式通過(guò)使用QCIF曲線304中的最高的點(diǎn)(也就是 該曲線的最大比特率點(diǎn))作為預(yù)測(cè)器而被編碼。此外，CIF信息還會(huì) 被編碼在兩個(gè)子流中，即，基本子流(BL)和由兩個(gè)行程(FGS1和 FGS2)構(gòu)成的增強(qiáng)子流(EL)。如圖3所示，CIF基準(zhǔn)點(diǎn)是從最大QCIF比特率點(diǎn)304開(kāi)始，并 且通過(guò)添加CIF空間分辨率等級(jí)的基本層(BL) 311而到達(dá)的。這個(gè) 點(diǎn)并不是在解碼過(guò)程中可以達(dá)到的最小比特率點(diǎn)313。從這個(gè)基準(zhǔn)點(diǎn) 312開(kāi)始，增強(qiáng)層EL 314 (FGS1)以及315 ( FGS2 ) 4吏得能訪問(wèn)其
他的更高CIF比特率點(diǎn)，直至最大CIF比特率316。圖4概述的是在編碼器上為任何未規(guī)定等級(jí)n-l以及n的空間層 執(zhí)行的信息處理的順序，其中n是一個(gè)整數(shù)。BL代表基本質(zhì)量子層， EL代表空間分辨率等級(jí)的增強(qiáng)質(zhì)量子層。由此，首先編碼41的是等 級(jí)n-l的基本子層BL，之后是n-l等級(jí)的增強(qiáng)子層EL，再然后編碼 43的是具有n等級(jí)空間分辨率的基本子流BL，之后編碼44的是這個(gè) n等級(jí)的增強(qiáng)子流EL。2.2 MPEG-21 SVM提取器在下文中，提取器也被稱為質(zhì)量自適應(yīng)模塊，它是為解碼器執(zhí)行 由編碼器所產(chǎn)生的總數(shù)據(jù)流中的部分?jǐn)?shù)據(jù)流的提取處理的工具，其中該部分?jǐn)?shù)據(jù)流與給定的空間-時(shí)間分辨率等級(jí)以及給定的比特率相對(duì) 應(yīng)。2.2.1可擴(kuò)展流提取器的一般工作方式 具有兩種類(lèi)型的可擴(kuò)展編碼器>非預(yù)測(cè)性的"本質(zhì)上可擴(kuò)展的，，編碼器(舉例來(lái)說(shuō)，該編碼器 是以小波變換為基礎(chǔ)的)，該編碼器并未規(guī)定彼此相互內(nèi)嵌的解碼點(diǎn) 之間的特定關(guān)系(舉例來(lái)說(shuō)，這是具有由JPEG2000標(biāo)準(zhǔn)提出的視頻 編碼器的情況)；>需要構(gòu)建內(nèi)嵌路徑的預(yù)測(cè)性SVM類(lèi)型編碼器。更具體而言， 為了執(zhí)行壓縮流提取處理，如圖5所示，SVM的提取器將會(huì)遵循彼 此相互內(nèi)嵌的預(yù)定路徑。在圖5中，x軸顯示的是用Hz表示的時(shí)間分辨率，y軸顯示的 是比特率(高H，低L) , z軸顯示的是空間分辨率(QCIF或CIF)。 編碼器產(chǎn)生的總數(shù)據(jù)流50包括用立方體形式表示的一組子流，其中 每一個(gè)子流都與給定的空間-時(shí)間分辨率以及給定的比特率相對(duì)應(yīng)。由 此，為了從7.5Hz的QCIF空間分辨率等級(jí)中提取最高比特率，提取 器必須遵循下列提取路徑CIF 30 H口CIF 15 H口 QCIF 15 H口QCIF 7.5 H (應(yīng)當(dāng)注意到，CIF 30 H例如指定了用于30Hz時(shí)間頻率的CIF 空間分辨率格式的流，其具有高比特率等級(jí)H)。
類(lèi)似地，為了提取7.5Hz的QCIF的最低比特率，提取器必須遵 循路徑CIF 30 H口CIF 15 H口CIF 15 L口QCIF 15 L口 QCIF 7.5 L。 2.2.2 MPEG-21 SVM提取器的操作MPEG-21 SVM提取器工作如下。為了以給定的比特率Rt以及 以空間-時(shí)間分辨率St-Tt來(lái)解碼視頻流，從總的流中以如下方式提取 一個(gè)子流以Rmin為代價(jià)提取所有空間分辨率等級(jí)(從基本等級(jí)到 目標(biāo)空間分辨率等級(jí)St)的基本質(zhì)量層(BLn-1, BLn，…)，其中所 述Rmin與用于空間分辨率St的最小可解碼比特率相對(duì)應(yīng)。在提取了 基本質(zhì)量子流之后，許可的比特率將會(huì)變成Rt = Rt-Rmin。然后，提取器經(jīng)歷較低空間分辨率的時(shí)間子段，并且提取每一個(gè) 子段的不同增強(qiáng)層EL。它在較低空間分辨率的時(shí)間子段上進(jìn)行一個(gè) 循環(huán)，然后在每一個(gè)時(shí)間字段的增強(qiáng)層上進(jìn)行一個(gè)循環(huán)。假設(shè)Rf是從時(shí)間子段中提取質(zhì)量層所需要的比特率。如果許可 的比特率R^Rf，那么所考慮的子段的層將被提取，并且比特率將會(huì) 變成Rt-Rt-Rf。如果不是的話，則所考慮的子段的層將^L截?cái)?，并?提取處理將會(huì)終止。如果已經(jīng)提取了較低空間分辨率的時(shí)間子段的所有層，那么提取 器將會(huì)檢查空間分辨率等級(jí)St的子段。提取器在FGS質(zhì)量層上進(jìn)行 一個(gè)循環(huán)，然后在時(shí)間子段上進(jìn)行一個(gè)循環(huán)。Rfs表示為所有時(shí)間子 段提取質(zhì)量q層所需要的比特率。如果許可的比特率Rt>Rfs,則提取 所有子段的質(zhì)量q層，并且比特率將會(huì)變成Rt=Rt-Rfs。如果不是的 話，則所有子層的質(zhì)量q層將被截?cái)?，并且提取處理將?huì)結(jié)束。圖6顯示了提取器或質(zhì)量自適應(yīng)模塊處理信息的順序。對(duì)在等級(jí) n的空間分辨率n上的提取處理來(lái)說(shuō)，提取器首先從等級(jí)0到等級(jí)n 經(jīng)歷所有空間等級(jí)(QCIF、 CIF等)的所有基本質(zhì)量BL等級(jí)，然后 按照從較低空間等級(jí)(EL 0)到n (EL n)的順序經(jīng)歷增強(qiáng)質(zhì)量層 EL。在這里，該提取機(jī)制還可以用上文中參考預(yù)測(cè)機(jī)制描述的圖3 并且通過(guò)使用比特率/失真曲線30和31來(lái)加以說(shuō)明。在下文中，我們
設(shè)想SVMMEPG-21的提取器所遵循的路徑沿著這些曲線，由此在解 碼時(shí)產(chǎn)生不同的比特率點(diǎn)。由此，為了產(chǎn)生QCIF格式的比特率點(diǎn)，提取器首先檢索來(lái)自 QCIF等級(jí)的基本層301。然后，從QCIF最小點(diǎn)305開(kāi)始，可以提 取任何一個(gè)高于QCIF最小點(diǎn)305并且低于最大比特率點(diǎn)304 (該點(diǎn) 是用于預(yù)測(cè)高于CIF格式的空間分辨率層的點(diǎn))的比特率點(diǎn)。為此目 的，由行程FGS1 302和FGS2 303構(gòu)成的增強(qiáng)層或子流(EL )將會(huì) 依照所分配的比特率而被切割。為了產(chǎn)生CIF格式的比特率點(diǎn)，取決于所需要的比特率是大于 基準(zhǔn)點(diǎn)312的比特率還是低于該基準(zhǔn)點(diǎn)的比特率，可以采用兩種方法。如果目標(biāo)比特率低于CIF基準(zhǔn)點(diǎn)312的比特率，那么提取器將 會(huì)檢索兩個(gè)QCIF和CIF空間等級(jí)的基本層BL 301和311，由此將 會(huì)導(dǎo)致產(chǎn)生最小CIF比特率點(diǎn)313。根據(jù)剩余的比特率，提取器將會(huì) 截?cái)郠CIF空間分辨率等級(jí)的增強(qiáng)層EL 302和303。如果所請(qǐng)求的比特率高于CIF基準(zhǔn)點(diǎn)312的比特率，那么提取 器將會(huì)檢索CIF和QCIF等級(jí)的基本層BL 301和311、 QCIF等級(jí)的 增強(qiáng)層EL302、 303，并且根據(jù)剩余的比特率來(lái)切割CIF增強(qiáng)層314、 315。3.現(xiàn)有技術(shù)的缺陷MPEG-21工作組的SVM模型的編碼/解碼技術(shù)存在很多缺陷。 與這種技術(shù)相關(guān)聯(lián)的提取機(jī)制具有很多缺點(diǎn)。首先，可以看出的是，依照提取器中的信息處理順序(也就是， 空間等級(jí)的所有基本層BL,然后是從空間基本等級(jí)到所請(qǐng)求的空間 等級(jí)的增強(qiáng)層EL)，無(wú)論解碼時(shí)請(qǐng)求的比特率點(diǎn)如何，提取處理始 終遵循的都是相同的路徑。現(xiàn)在，在解碼時(shí)，對(duì)每個(gè)目標(biāo)比特率點(diǎn)來(lái) 說(shuō)，這條路徑未必總是最優(yōu)路徑。此外，對(duì)從中為具有更高等級(jí)的空間分辨率的編碼執(zhí)行預(yù)測(cè)的每一個(gè)給定等級(jí)的空間分辨率來(lái)說(shuō)，其中存在一個(gè)與用于預(yù)測(cè)的比特率
點(diǎn)相對(duì)應(yīng)的最大比特率點(diǎn)?，F(xiàn)在，這個(gè)最大比特率點(diǎn)并非總是為了獲 取這個(gè)等級(jí)的空間分辨率而尋找的最高的點(diǎn)。實(shí)際上，該預(yù)測(cè)點(diǎn)凈皮選 擇來(lái)在更高空間等級(jí)的編碼過(guò)程中使預(yù)測(cè)殘差最小化，而不是與具有 用于當(dāng)前空間等級(jí)的很高質(zhì)量的點(diǎn)相對(duì)應(yīng)。通常，理想或必要的是具 有可用于提供圖像重建質(zhì)量高于預(yù)測(cè)點(diǎn)所給出的圖像重建質(zhì)量的點(diǎn)， 對(duì)低空間分辨率來(lái)說(shuō)則更是如此。
最后，MPEG-21 SVM編碼技術(shù)的最后一個(gè)缺陷是在等級(jí)n 的空間分辨率上(例如在CIF格式中)，對(duì)比特率低于該等級(jí)的基準(zhǔn) 點(diǎn)的比特率的點(diǎn)(例如，圖3中用312標(biāo)引的點(diǎn)，也就是通過(guò)解碼空 間等級(jí)0 n的基本層BL以及等級(jí)0 n-l的所有細(xì)化層EL而獲取 的點(diǎn))的提取處理來(lái)說(shuō)，并未使用等級(jí)n的細(xì)化信息(也就是說(shuō)，沒(méi) 有使用來(lái)自例示的CIF等級(jí)中的增強(qiáng)等級(jí)EL 314和315的信息)。
4.發(fā)明目的
特別地，本發(fā)明旨在克服現(xiàn)有技術(shù)中的這些缺陷。
更為具體地說(shuō)，本發(fā)明的一個(gè)目的是提供一種根據(jù)多層中的數(shù)據(jù) 流的組織結(jié)構(gòu)并且借助層間預(yù)測(cè)來(lái)對(duì)視頻圖像和/或序列執(zhí)行可擴(kuò)展 編碼和解碼的技術(shù)，它是對(duì)SVM模型技術(shù)的改進(jìn)，該SVM模型技術(shù) 是MEPG-21工作組在2004年10月于西班牙Palma de Majorca發(fā)表 的名為"Scalable Video Model 3.0"的文獻(xiàn)N6716 ISO/IEC JTC 1/SC 29WG/11中提出的。
特別地，本發(fā)明的一個(gè)目的是提供一種可以在解碼時(shí)被用于在給 定的分辨率等級(jí)上重建質(zhì)量高于現(xiàn)有技術(shù)的圖像的技術(shù)。更為特別的 是，本發(fā)明的一個(gè)目的是提供這樣一種技術(shù)，其可以為給定的分辨率 等級(jí)n-l獲取一個(gè)比用于通過(guò)分辨率等級(jí)n的預(yù)測(cè)處理進(jìn)行編碼處理 的比特率更高的比特率。
本發(fā)明的另一個(gè)目的是提供一種可以用于為每個(gè)比特率點(diǎn)定義 一條最優(yōu)提取路徑的技術(shù)，其中該路徑即為在比特率/失真方面提供該 點(diǎn)的最佳重建處理的路徑。
本發(fā)明的另一個(gè)目的是提供一種易于實(shí)施且在資源(帶寬、處理 能力等)方面成本很低的技術(shù)。本發(fā)明的另一個(gè)目的是提供一種在允許高質(zhì)量的圖像重建處理 的同時(shí)允許有效的數(shù)據(jù)壓縮的技術(shù)。本發(fā)明還有的另一個(gè)目的是提供一種可以用于為具有不同數(shù)據(jù) 流訪問(wèn)形式的多個(gè)用戶以及具有不同處理能力的顯示終端提供令人 滿意的服務(wù)的技術(shù)。5.本發(fā)明的主要特征這些目的以及下文中出現(xiàn)的其他目的是借助于一種用于編碼圖 像或圖像序列的方法來(lái)實(shí)現(xiàn)的，其中所述圖像或圖像序列產(chǎn)生了 一個(gè) 具有連續(xù)等級(jí)n的嵌入式數(shù)據(jù)層的分層結(jié)構(gòu)的數(shù)據(jù)流，并且其中n是 一個(gè)整數(shù)，每一個(gè)所述等級(jí)n都與所述圖像的一個(gè)預(yù)定分辨率相對(duì)應(yīng)。 該方法包括步驟通過(guò)至少?gòu)乃龅燃?jí)n的層中進(jìn)行預(yù)測(cè)來(lái)編碼等級(jí) n+l的所述層中的至少一個(gè)。所述等級(jí)n的數(shù)據(jù)層中的每一個(gè)都能夠 在所述分辨率等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本。根據(jù)本發(fā)明，該種方法還為所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)編 碼至少一個(gè)附加子流，這個(gè)附加子流被稱為奇異子流(singular sub-stream)或"死子流(dead sub-stream )，，，這個(gè)子流使得能夠在 所述分辨率等級(jí)n上重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版 本，并且所述等級(jí)n的層的死子流在通過(guò)不同于n的等級(jí)的所述層的 預(yù)測(cè)來(lái)進(jìn)行編碼的所述步驟中不被使用。由此，本發(fā)明依靠的是一種用于對(duì)可擴(kuò)展的圖像流或視頻流執(zhí)行 編碼的全新的創(chuàng)造性方法。實(shí)際上，雖然在現(xiàn)有技術(shù)(尤其是如 MPEG-21工作組的SVM模型所述的技術(shù))中，具有分辨率n-1的等 級(jí)的層的全部數(shù)據(jù)被用于通過(guò)更高等級(jí)n的層的預(yù)測(cè)進(jìn)行編碼，但是 本發(fā)明自此提出了對(duì)關(guān)聯(lián)于分辨率等級(jí)n-l的附加信息進(jìn)行編碼，該 信息既沒(méi)有被用于通過(guò)等級(jí)n的預(yù)測(cè)進(jìn)行編碼，也沒(méi)有被用于在分辨 率等級(jí)n上重建圖像。編碼在死子流中的這個(gè)附加信息在解碼時(shí)僅僅
被用于在分辨率等級(jí)n-l重建圖像。換句話說(shuō)，通過(guò)根據(jù)與編碼流的每個(gè)內(nèi)嵌數(shù)據(jù)層相關(guān)聯(lián)的比特率 -失真曲線來(lái)進(jìn)行推理，本發(fā)明提出了將給定分辨率等級(jí)n-l的層的比 特率-失真曲線的最大比特率點(diǎn)P_max與該曲線中用于預(yù)測(cè)分辨率等 級(jí)n的數(shù)據(jù)層的點(diǎn)(被稱為預(yù)測(cè)點(diǎn)P_pred)解除關(guān)聯(lián)(dissociate)。 由此，等級(jí)n的層的死子流使得可以覆蓋處于預(yù)測(cè)點(diǎn)P—pred的比特 率與最大點(diǎn)P—max的比特率之間的所有比特率。通過(guò)這個(gè)死子流，在解碼時(shí)可以在分辨率等級(jí)n上實(shí)現(xiàn)質(zhì)量高于 現(xiàn)有技術(shù)的圖像或視頻序列的重建，這對(duì)于某些在等級(jí)n上通過(guò)從點(diǎn) P_pred進(jìn)行重建而實(shí)現(xiàn)的質(zhì)量未能滿足需要的顯示終端來(lái)說(shuō)是4艮有 價(jià)值的。非常有利的是，每個(gè)等級(jí)n的數(shù)據(jù)層都是以至少一個(gè)基本子流 BL的形式編碼的，由此能夠以等級(jí)n的分辨率來(lái)重建圖像的基本質(zhì) 量版本，并且根據(jù)具體情況，所述每個(gè)等級(jí)n的數(shù)據(jù)層還會(huì)以至少一 個(gè)增強(qiáng)子流EL的形式編碼，以便能夠細(xì)化基本質(zhì)量版本，從而獲取 圖像的至少一個(gè)增強(qiáng)質(zhì)量版本。所述預(yù)定最高質(zhì)量是- 如果沒(méi)有編碼所述增強(qiáng)子流，則是基本質(zhì)量；- 如果編碼了至少一個(gè)增強(qiáng)子流，則是所述至少一個(gè)增強(qiáng)質(zhì)量。實(shí)際上，某些數(shù)據(jù)層可能只能以基本子流的形式編碼，而其他數(shù) 據(jù)層則可以包括一個(gè)或多個(gè)增強(qiáng)子流。根據(jù)本發(fā)明編碼的死子流能夠 重建質(zhì)量高于單獨(dú)從基本子流獲取的或者從基本子流以及一個(gè)或多 個(gè)增強(qiáng)子流(在它們存在的情況下)中獲取的最高質(zhì)量的圖像。根據(jù)本發(fā)明的一個(gè)有利的特征，這種方法還包括第一步驟，在 所述數(shù)據(jù)流中插入至少一個(gè)用于在所述數(shù)據(jù)流內(nèi)部識(shí)別所述至少一 個(gè)死子流的信息。實(shí)際上，在解碼時(shí)必須能夠?qū)㈥P(guān)聯(lián)于空間分辨率等 級(jí)n的最大比特率點(diǎn)與用于編碼更高空間分辨率等級(jí)n+l的預(yù)測(cè)點(diǎn)區(qū) 分開(kāi)來(lái)。根據(jù)本發(fā)明的一個(gè)優(yōu)選特性，這種編碼方法還為至少某些所述圖
像執(zhí)行一個(gè)第二步驟，那就是在所述數(shù)據(jù)流中插入至少一個(gè)下述信 息，該信息涉及與所述層中的至少某些層的至少某些數(shù)據(jù)相關(guān)聯(lián)的重 建質(zhì)量，所述重建質(zhì)量是至少一個(gè)比特率/失真參數(shù)的函數(shù)。通過(guò)在流中插入這個(gè)關(guān)于質(zhì)量的信息，可以在具有等級(jí)n的分辨 率的不同層中啟用選擇性的質(zhì)量自適應(yīng)。由此，對(duì)于在解碼時(shí)目標(biāo)比 特率的每個(gè)點(diǎn)來(lái)說(shuō)，最優(yōu)提取路徑將被定義，這條路徑是在比特率-失真方面使得能夠在該比特率上以最佳方式重建該圖像的路徑。本發(fā)明還涉及 一 種用于編碼圖像或圖像序列的設(shè)備，其中該設(shè)備 包括用于產(chǎn)生數(shù)據(jù)流的裝置，其中該數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌 數(shù)據(jù)層的分層結(jié)構(gòu)，每一個(gè)所述等級(jí)n都對(duì)應(yīng)于所述圖像的一個(gè)預(yù)定 分辨率。這種設(shè)備包括用于通過(guò)至少?gòu)乃龅燃?jí)n的層開(kāi)始執(zhí)行預(yù) 測(cè)來(lái)編碼等級(jí)n+l的所述層中的至少一個(gè)層的裝置，所述等級(jí)n的數(shù) 據(jù)層中的每一個(gè)都能夠在所述分辨率等級(jí)n上重建具有預(yù)定最高質(zhì)量 的所述圖像的版本。根據(jù)本發(fā)明，該種設(shè)備還包括為所述等級(jí)n的數(shù)據(jù)層中的至少一 個(gè)編碼至少一個(gè)子流的裝置，這個(gè)子流被稱為死子流，它使得能夠在 所述分辨率等級(jí)n上重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版 本，并且，所述等級(jí)n的所述層的所述死子流不被預(yù)測(cè)不同于n的等 級(jí)的所述層的所述編碼裝置所使用。由此，對(duì)等級(jí)n的層來(lái)說(shuō)，這個(gè) 死子流將被添加到基本子流BL上，此外，這個(gè)死子流還會(huì)根據(jù)具體 情況而被添加到它所包含的增強(qiáng)子流EL上。非常有利的是，這種編碼設(shè)備包括一個(gè)預(yù)測(cè)點(diǎn)提取模塊，它被用 于從所述等級(jí)n的層的內(nèi)部提取在通過(guò)所述等級(jí)n+l的預(yù)測(cè)進(jìn)行的編 碼過(guò)程中將要考慮的數(shù)據(jù)。這個(gè)預(yù)測(cè)點(diǎn)提取模塊被用于確定不同于最 大比特率點(diǎn)的要被使用以便執(zhí)行更高等級(jí)的層的編碼處理的點(diǎn)。本發(fā)明還涉及一種用于對(duì)根據(jù)上述編碼技術(shù)編碼的數(shù)據(jù)流進(jìn)行 解碼的方法以及相關(guān)設(shè)備，其中所述方法實(shí)現(xiàn)了用于以所述等級(jí)n的 分辨率重建所述圖像之一的下列步驟>對(duì)等級(jí)低于n的所述數(shù)據(jù)層進(jìn)行解碼；根據(jù)經(jīng)許可的解碼比特率，至少對(duì)所述等級(jí)n的層執(zhí)行部分 解碼，并且根據(jù)具體情況對(duì)所述等級(jí)n的層的所述死子流進(jìn)行部分解 碼，等級(jí)低于n的所述層的死子流在所述重建過(guò)程中不被解碼。
更具體而言，首先解碼的是低于或等于n的等級(jí)的基本子流，然 后，如果存在低于n的等級(jí)的層的增強(qiáng)子流，則對(duì)這些增強(qiáng)子流進(jìn)行 解碼。最后，根據(jù)許可的解碼比特率，解碼處理至少部分地在等級(jí)n 的層的一個(gè)或多個(gè)增強(qiáng)子流上執(zhí)行，此外，根據(jù)具體情況，解碼處理 還會(huì)在這個(gè)層的死子流上執(zhí)行。
本發(fā)明還涉及一種用于傳輸依照上述技術(shù)編碼的數(shù)據(jù)流的信號(hào)。 該信號(hào)是以在其內(nèi)部傳送所述數(shù)據(jù)流的信息實(shí)體的形式構(gòu)造的，每一 個(gè)所述信息實(shí)體都包括一個(gè)用于提供有關(guān)所述信息實(shí)體類(lèi)型的信息 的報(bào)頭，以及一個(gè)凈荷數(shù)據(jù)字段。
根據(jù)本發(fā)明，對(duì)至少一個(gè)所述等級(jí)n的數(shù)據(jù)層來(lái)說(shuō)，該種信號(hào)還 會(huì)傳送被稱為死子流的至少一個(gè)子流，該子流使得能夠以所述等級(jí)n 的分辨率重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，并且所 述等級(jí)n的死子流不被用于以等級(jí)不同于n的分辨率重建所述圖像。
在第一替換實(shí)施例中，該種信號(hào)在至少一個(gè)第一特定類(lèi)型(例如， 由SVM模型的語(yǔ)法所規(guī)定的NAL的類(lèi)型22或23)的信息實(shí)體內(nèi)部 傳送所述死子流，其中所述第一特定類(lèi)型與傳送所述基本子流以及所 述增強(qiáng)子流的所述信息實(shí)體的類(lèi)型是不同的。
在第二替換實(shí)施例中，至少一個(gè)所述死子流以及至少一個(gè)所述增 強(qiáng)子流是在相同類(lèi)型的信息實(shí)體(NAL)內(nèi)部傳送的，并且所述信號(hào) 在所述NAL內(nèi)部傳送運(yùn)行識(shí)別所述奇異子流和所述增強(qiáng)子流的至少 一個(gè)切割信息。
當(dāng)在編碼過(guò)程中實(shí)現(xiàn)能夠定義最優(yōu)提取路徑并與自適應(yīng)質(zhì)量選 擇相關(guān)聯(lián)的上述變體時(shí)，在這個(gè)變體中，本發(fā)明的信號(hào)還必須傳送有 關(guān)與某些數(shù)據(jù)相關(guān)聯(lián)的質(zhì)量重建的信息。為此目的，在這里設(shè)想了兩 種方法。
第一替換實(shí)施例包括修改已有信息實(shí)體、即NAL的結(jié)構(gòu)，使得
其中某些實(shí)體還包括偽報(bào)頭，其中所述偽報(bào)頭包含指向所述凈荷數(shù)據(jù) 字段中的至少某些數(shù)據(jù)的至少一個(gè)指針，并且所述指針提供有關(guān)與所 述數(shù)據(jù)相關(guān)聯(lián)并取決于至少一個(gè)比特率/失真參數(shù)的重建質(zhì)量等級(jí)的 信息。較為優(yōu)選的是第二變體，這是因?yàn)樵撟凅w規(guī)定不對(duì)已有信息實(shí)體 的結(jié)構(gòu)進(jìn)行修改，該變體包括在信號(hào)中引入至少一個(gè)特定類(lèi)型的信息 實(shí)體，其中該信息實(shí)體包括至少一個(gè)關(guān)于與所述流中的至少某些數(shù)據(jù)相關(guān)聯(lián)的重建質(zhì)量的信息，并且所述重建質(zhì)量取決于至少一個(gè)比特率 /失真參數(shù)。由此，引入了被稱為信息NAL的特定NAL，并且這些信息NAL 在其凈荷數(shù)據(jù)字段中包含了能夠在數(shù)據(jù)傳送NAL (即，例如傳送增強(qiáng) 子流的NAL)中識(shí)別質(zhì)量等級(jí)的偏移。對(duì)這些信息NAL來(lái)說(shuō)，當(dāng)其包含了用以指示與死子流開(kāi)端相對(duì) 應(yīng)的質(zhì)量等級(jí)的附加信息時(shí)，它們還可以傳送用于識(shí)別死子流的信 息。本發(fā)明還涉及計(jì)算機(jī)程序，其中該計(jì)算機(jī)程序包含了程序代碼指 令，當(dāng)在微處理器中或者由微處理器執(zhí)行所述程序時(shí)，該程序代碼指 令執(zhí)行用于對(duì)圖像或圖像序列進(jìn)行編碼的方法步驟，以及執(zhí)行用于對(duì) 表示上述圖像或圖像序列的數(shù)據(jù)流進(jìn)行解碼的方法。本發(fā)明還涉及一種用于自適應(yīng)圖像或圖像序列的質(zhì)量的模塊，其 中所述圖像或圖像序列是使用表示上述圖像或圖像序列的源數(shù)據(jù)流 饋送的。這種自適應(yīng)模塊實(shí)現(xiàn)用于產(chǎn)生指定給至少一個(gè)顯示終端的修改 后的數(shù)據(jù)流以便觀看所述圖像的裝置，如果所述至少一個(gè)顯示終端不 以所述等級(jí)n的分辨率來(lái)重建所述圖像，那么所述修改后的數(shù)據(jù)流是 通過(guò)提取處理依照所述等級(jí)n的死子流從所述源數(shù)據(jù)流獲取的。這種自適應(yīng)模塊也被稱為提取器，它被用于從流中提取那些因?yàn)?例如所服務(wù)的終端的特性而不會(huì)在重建過(guò)程中被使用的子流。該模塊 可以直接位于編碼器的輸出端以及解碼器之前(甚至可以被集成在解碼器中)，也可以位于供客戶終端訪問(wèn)流的傳輸網(wǎng)絡(luò)中的任何點(diǎn)上。最后，本發(fā)明涉及一種被設(shè)計(jì)成存儲(chǔ)上述數(shù)據(jù)流的數(shù)據(jù)載體，該 數(shù)據(jù)載體具有用于分層存儲(chǔ)這個(gè)子流中的內(nèi)嵌數(shù)據(jù)層的結(jié)構(gòu)。對(duì)所述層n等級(jí)數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，該種數(shù)據(jù)載體還包括至少一個(gè)用 于存儲(chǔ)至少一個(gè)死子流的區(qū)域，其中在以不同于n的分辨率等級(jí)重建 所述圖像時(shí)，所述死子流是不被讀取的。6.


從下列借助于簡(jiǎn)單的說(shuō)明性實(shí)例給出的優(yōu)選實(shí)施例的描述以及 附圖中可以更清楚地了解本發(fā)明的其他方面和優(yōu)點(diǎn)，其中>已經(jīng)參考現(xiàn)有技術(shù)描述的圖1~6涉及MPEG-21工作組的 SVM模型。更具體而言■圖1是在上述文獻(xiàn)N6716中描述的MPEG-21 SVC的框圖；■圖2描述了從圖1的編碼器中獲取的不同的比特率-失真曲線；■圖3描述的是根據(jù)與圖2中的曲線具有相同類(lèi)型的比特率 /失真曲線由MPEG-21的SVM模型提出的預(yù)測(cè)/提取機(jī)制； ■圖4描述的是圖1的編碼器處理數(shù)據(jù)層的順序； ■圖5是顯示了 MPEG標(biāo)準(zhǔn)所規(guī)定的內(nèi)嵌式提取路徑原理 的圖示；■圖6描述的是在解碼之前的提取處理中處理數(shù)據(jù)層的順序；>圖7以比特率-失真曲線的形式顯示了在分辨率等級(jí)n上插 入死子流的原理；>圖8是本發(fā)明的編碼器的框圖；>圖9描述的是在插入了死子流的情況下由圖8的編碼器執(zhí)行 的數(shù)據(jù)組織；>圖10和11描述的是從CIF和QCIF格式中進(jìn)行提取的兩個(gè)
實(shí)例；>圖12~16描述的是本發(fā)明的一個(gè)特定實(shí)施例，其中除了死 子流之外，圖像還被細(xì)分為在重建過(guò)程中使用的連續(xù)質(zhì)量等級(jí)；■圖12描述的是在該變體中對(duì)圖3的預(yù)測(cè)/提取機(jī)制所進(jìn)行 的修改；■圖13給出的是在與圖像相關(guān)聯(lián)的子流中建立截?cái)帱c(diǎn)的原理；■圖14和15描述的是根據(jù)該變體傳送插入到流中的質(zhì)量信 息的信息實(shí)體或NAL的結(jié)構(gòu)的兩個(gè)實(shí)例；■圖16顯示的是連續(xù)質(zhì)量等級(jí)的圖像結(jié)構(gòu)的實(shí)例； >圖17~19分別給出的是根據(jù)本發(fā)明的編碼設(shè)備、圖像質(zhì)量 自適應(yīng)模塊以及解碼設(shè)備的簡(jiǎn)化圖示。7.關(guān)于本發(fā)明實(shí)施例的描述本發(fā)明的一般原理依賴于在流的某些或所有分辨率等級(jí)上編碼 附加的子流，其中該子流被設(shè)計(jì)成能在這個(gè)分辨率等級(jí)上重建質(zhì)量更 好的圖像。這個(gè)附加子流被稱為死子流，它只在為之編碼的分辨率等 級(jí)上使用。換句話說(shuō)，在編碼時(shí)，它不會(huì)被用于其他分辨率等級(jí)的層 的預(yù)測(cè)處理，而在解碼時(shí)，它不會(huì)被用于在其他分辨率等級(jí)上重建圖 像。在考慮與流中編碼的每個(gè)分辨率等級(jí)相關(guān)聯(lián)的比特率-失真曲線 的情況下，插入諸如這個(gè)數(shù)量的死子流，使得某個(gè)分辨率等級(jí)的最大 比特率點(diǎn)與這個(gè)等級(jí)中的用于預(yù)測(cè)更高分辨率等級(jí)的點(diǎn)解除關(guān)聯(lián)。參考圖7，其中給出了本發(fā)明的編碼技術(shù)的一個(gè)實(shí)施例，其中該 實(shí)施例是以向給定等級(jí)n的空間和/或時(shí)間分辨率數(shù)據(jù)的層中添加死 子5充為基礎(chǔ)的。如上所述(參見(jiàn)圖3)，該描述涉及的是使用兩個(gè)內(nèi)嵌的分辨率 格式來(lái)編碼圖像的特定情況，這兩個(gè)分辨率格式是QCIF和CIF格式。 對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，將本教導(dǎo)擴(kuò)展到更為普遍的n個(gè)連續(xù)分辨率
等級(jí)(例如QCIF、 CIF、 SD、 HD等)的情況是沒(méi)有難度的。圖7 顯示了用于這兩種格式的比特率-失真曲線(用于QCIF的曲線30和 用于CIF的曲線31)，其中x軸顯示的是用kbit/s表示的比特率，y 軸顯示的是以采用dB為單位的PSNR形式表示的失真。應(yīng)該指出的 是，在圖3和7中，相同的部件用相同的數(shù)字標(biāo)引來(lái)表示。由此，本發(fā)明的原理包括在編碼時(shí)為空間等級(jí)n-l定義一個(gè)最大 比特率點(diǎn)(在本范例中是用于QCIF格式的比特率/失真曲線的點(diǎn) P_max 704)，并且這個(gè)點(diǎn)與用于空間等級(jí)n的預(yù)測(cè)處理的點(diǎn)(也就 是用于CIF格式的預(yù)測(cè)處理的點(diǎn)P_pred706)是不同的。為此目的，以下編碼步驟將被執(zhí)行>將空間等級(jí)n-l (QCIF)的數(shù)據(jù)層編碼到最大比特率點(diǎn) P max 704;> 提取等級(jí)n-l ( QCIF )的比特率點(diǎn)P—pred 706;>在總的編碼流中引入被稱為死子流707的用于空間等級(jí)n-l (QCIF )的附加子流，以便覆蓋從P_pred 706到P_max 704的比特 率。這個(gè)流僅僅用于在分辨率等級(jí)n-l (QCIF)的某些比特率點(diǎn)上重 建視頻序列，并且不被用于重建更高或更低空間等級(jí)的點(diǎn)；> 在總流中引入死子流的標(biāo)識(shí)信息，由此，在解碼或者從流中 提取數(shù)據(jù)的過(guò)程中可以識(shí)別處于QCIF比特率/失真曲線上的預(yù)測(cè)點(diǎn) P_pred 706相對(duì)于最大比特率點(diǎn)P—max 704的位置；> 在比特率點(diǎn)P_pred 706上使用空間等級(jí)n-l ( QCIF )的預(yù) 測(cè)的過(guò)程中編碼空間等級(jí)n (CIF)的數(shù)據(jù)層。由此，這種編碼技術(shù)將會(huì)導(dǎo)致在比特率/失真曲線30上出現(xiàn)與空 間分辨率QCIF相關(guān)聯(lián)的新點(diǎn)，其中所述空間分辨率QCIF屬于死子 流707，該死子流707則僅僅用于以QCIF格式來(lái)重建圖寸象。當(dāng)終端希望對(duì)以這種方式編碼的總數(shù)據(jù)流進(jìn)行解碼時(shí)，根據(jù)終端 所預(yù)期的空間-時(shí)間分辨率以及比特率，從該流中提取重建視頻序列所 需要的數(shù)據(jù)。對(duì)于在分辨率等級(jí)n上進(jìn)行的重建來(lái)說(shuō)，這個(gè)空間等級(jí) n的比特率點(diǎn)是在考慮不使用與n不同的空間等級(jí)(特別是較低的空
間等級(jí))的任何死子流的情況下提取的，但是如有必要，并且如果預(yù)期比特率使得這種使用變得可行，那么這個(gè)空間等級(jí)n的比特率點(diǎn)可 以在使用空間等級(jí)n的死子流的過(guò)程中提取。圖17顯示的是本發(fā)明的編碼設(shè)備的簡(jiǎn)化結(jié)構(gòu)，其包括存儲(chǔ)器M 178、配備了例如微處理器并由計(jì)算機(jī)程序Pg 177驅(qū)動(dòng)的處理單元 176。在初始化過(guò)程中，舉例來(lái)說(shuō)，在處理單元的處理器執(zhí)行計(jì)算機(jī) 程序177的代碼指令之前，該代碼指令會(huì)被加載到一個(gè)RAM中。處 理單元176在輸入端接收要編碼的視頻內(nèi)容10。處理單元176的微處 理器HP將視頻序列10編碼成壓縮流83形式，其中該壓縮流83包含 n個(gè)連續(xù)空間分辨率等級(jí)Pgl77的多個(gè)內(nèi)嵌層。處理單元176輸出壓 縮數(shù)據(jù)流83。圖8更具體地描述了能夠在某些或所有空間分辨率等級(jí)上引入 死子流的編碼器的結(jié)構(gòu)。應(yīng)該指出的是，這種編碼器的結(jié)構(gòu)與上文中 參考圖1給出的MPEG-21 SVC編碼器的結(jié)構(gòu)的不同之處在于給出了 預(yù)測(cè)點(diǎn)提取模塊81和82。由此，在圖1和8中，相同的部件用相同 的數(shù)字標(biāo)引來(lái)表示。圖8的實(shí)例處于可擴(kuò)展視頻編碼處理的上下文中， 其中該編碼是以具有運(yùn)動(dòng)補(bǔ)償和表示的時(shí)域小波變換為基礎(chǔ)的，所述 運(yùn)動(dòng)補(bǔ)償和表示則是借助具有層間表示的層來(lái)進(jìn)行的。圖8的編碼器是如下工作的(i) 在編碼器的輸入端接收的視頻數(shù)據(jù)10被饋送到并行工作的 編碼器的三個(gè)分支，在其中一個(gè)分支中數(shù)據(jù)經(jīng)歷用12標(biāo)引的四中取 一的抽選處理，在一個(gè)分支中數(shù)據(jù)經(jīng)歷用11標(biāo)引的二中取一的抽選 處理，而在最后一個(gè)分支中數(shù)據(jù)不被子采樣并且不會(huì)經(jīng)歷任何抽選處 理。(ii) 視頻序列首先借助用于產(chǎn)生小波系數(shù)形式的紋理信息的運(yùn) 動(dòng)補(bǔ)償時(shí)域變換(MCTF ) 13i而被編碼成基本空間格式(QCIF )(應(yīng) 該指出的是，為了簡(jiǎn)單起見(jiàn)，在這里并未顯示用于處理視頻序列的運(yùn) 動(dòng)信息的模塊)。變換后的系數(shù)通過(guò)預(yù)測(cè)處理1^相對(duì)于相同空間等 級(jí)的其他系數(shù)以及可擴(kuò)展熵編碼處理2h而被編碼?？蓴U(kuò)展子流被獲 取，由此使用總比特率R_r0_max來(lái)表示基本空間分辨率等級(jí)(用84 標(biāo)引的子比特流0)，其中r0表示空間等級(jí)，max表示相關(guān)聯(lián)的比特 率-失真曲線的最高比特率點(diǎn)。用于為更高空間編碼等級(jí)執(zhí)行預(yù)測(cè)的比特率點(diǎn)P_pred是由預(yù)測(cè) 點(diǎn)提取模塊82從編碼后的可擴(kuò)展子流中提取的。與比特率R_r0_max 相比，點(diǎn)P_pred的比特率較低。所提取的子流被解碼和插值2(h ，以便用于為更高的空間分辨率 等級(jí)執(zhí)行預(yù)測(cè)192。可擴(kuò)展子流84被發(fā)送到復(fù)用器22，該復(fù)用器22 負(fù)責(zé)組織所有空間分辨率等級(jí)的所有子流，以便形成最終的流83 。(iii)然后，視頻借助于運(yùn)動(dòng)補(bǔ)償時(shí)域變換(MCTF) 132而在 更高的空間分辨率(CIF)上被編碼；變換后的系數(shù)借助于相同空間 等級(jí)(CIF)的小波系數(shù)或是來(lái)自較低空間等級(jí)的插值信號(hào)2(h的系 數(shù)而被預(yù)測(cè)192。在所述預(yù)測(cè)192之后執(zhí)行可擴(kuò)展熵編碼212，并且使 用最大比特率R—rl_max來(lái)獲取表示空間分辨率等級(jí)rl的可擴(kuò)展子 流85。這個(gè)子流85被發(fā)送到復(fù)用器22。然后，用于更高空間等級(jí)的 預(yù)測(cè)的比特率點(diǎn)由預(yù)測(cè)點(diǎn)提取模塊81從編碼后的子流85中提取，并 且被插值202。對(duì)于更高的空間等級(jí)來(lái)說(shuō)，執(zhí)行相同的過(guò)程，但是對(duì)于最后一個(gè) 空間等級(jí)不提取預(yù)測(cè)點(diǎn)。圖9描述的是在只考慮QCIF和CIG這兩個(gè)不同的空間分辨率 等級(jí)(換句話說(shuō)，所考慮的唯一元素是來(lái)自圖8的編碼器的兩個(gè)較低 分支的子流，它們分別來(lái)自輸入視頻數(shù)據(jù)10的二中取一抽選和四中 取一抽選)的特定實(shí)例中由圖8的編碼器產(chǎn)生的數(shù)據(jù)。在空間分辨率等級(jí)(QCIF和CIF)的每個(gè)數(shù)據(jù)層中，數(shù)據(jù)都是 以幾個(gè)子層來(lái)組織的 一個(gè)基本層BL，其后跟隨的是第一增強(qiáng)層(增 強(qiáng)層1或EL1 )和第二增強(qiáng)子層(增強(qiáng)層2或EL2 )。前兩個(gè)子層(BL 和EL1)在編碼階段被用于更高空間等級(jí)的預(yù)測(cè)，并且在解碼階段被 用于重建當(dāng)前空間等級(jí)以及更高空間等級(jí)的點(diǎn)。第二增強(qiáng)子層(EL2)僅僅用于重建當(dāng)前空間等級(jí)的點(diǎn)。這個(gè)第 二增強(qiáng)子層代表的是死子流。應(yīng)該指出的是，圖9描述的是其中每個(gè)數(shù)據(jù)層除了包括本發(fā)明提 出的附加子流EL2之外還包括至少一個(gè)增強(qiáng)子層EL1的特定實(shí)施例 例示。毫無(wú)疑問(wèn)的是，某些空間等級(jí)的某些數(shù)據(jù)層僅僅以基本子流 BL的形式編碼，對(duì)這些數(shù)據(jù)層來(lái)說(shuō)，本發(fā)明在單個(gè)增強(qiáng)子層EL中添 加了死子流。當(dāng)編碼器在給定空間分辨率等級(jí)n的數(shù)據(jù)層中添加了死子流時(shí)， 這時(shí)有必要通過(guò)在總的數(shù)據(jù)流中插入特定信息來(lái)報(bào)告這種情況，由此在解碼時(shí)可以使用這個(gè)死子流。在下文中，給出了一個(gè)在總的數(shù)據(jù)流中插入與死子流的存在相關(guān) 的特定信息的實(shí)例。首先，可以回憶一下在MPEG-21的SVM框架 中提出的數(shù)據(jù)流結(jié)構(gòu)。在SVM的實(shí)施方式中，流是作為被稱為NAL (網(wǎng)絡(luò)適配層)的 信息實(shí)體構(gòu)造的。NAL是一個(gè)符合H264標(biāo)準(zhǔn)(ITU-T和ISO/IEC JTC1， "Advanced Video Coding for Generic Audiovisual Service", ITU-T Recommendation H.264-ISO/IEC 14496-10 AVC， 2003 )的傳輸 單元。這是一個(gè)包含報(bào)頭和整數(shù)個(gè)數(shù)據(jù)字節(jié)(也被稱為"凈荷，，)的分 組。NAL的報(bào)頭包括可以用于限定NAL類(lèi)型的類(lèi)型字節(jié)。凈荷數(shù)據(jù) 字段用于為子段圖像或圖像的一部分傳送與空間等級(jí)、時(shí)間等級(jí)和質(zhì) 量等級(jí)(基本等級(jí)或FGS等級(jí))的編碼相對(duì)應(yīng)的流。在SVM語(yǔ)法中， NAL可以具有若干種類(lèi)型特別地，類(lèi)型20和21被用于描述子流是 圖像(內(nèi)部或非內(nèi)部的)的增強(qiáng)子流的NAL。如上文中參考圖9 (子層EL2)所述的，在流中引入死子流與附 加增強(qiáng)子流的引入是對(duì)應(yīng)的，由此，這個(gè)死子流是在NAL中傳送的。 對(duì)于其用途未被SVM語(yǔ)法指定的各種類(lèi)型的NAL來(lái)說(shuō)，這些NAL 可以用于指定一個(gè)傳送死子流的NAL，例如類(lèi)型22或23。在本發(fā)明的另一個(gè)替換實(shí)施例中，可以設(shè)想在同一個(gè)NAL中對(duì) 等級(jí)n的層的死子流以及增強(qiáng)子流(如果其存在的話)進(jìn)行傳送。換 句話說(shuō)，子層EL1和EL2然后被分組在相同的NAL中，并且附加信 息表明斷點(diǎn)處于子流EL1與EL2之間的NAL中的什么位置。下文中參考圖10和11的描述集中在了圖像質(zhì)量自適應(yīng)模塊的操 作原理之上，其中該模塊也被稱為提取器。可以回憶起來(lái)的是，此種 提取器可以直接位于編碼器的輸出端上以及解碼器之前，或者也可以 處于供客戶訪問(wèn)編碼數(shù)據(jù)流的傳輸網(wǎng)絡(luò)中的任意一點(diǎn)上。它使得能夠 從總的數(shù)據(jù)流中提取某些數(shù)據(jù)，這些數(shù)據(jù)不是為它們所服務(wù)的最終客 戶所需要的。更特別地，SVM的提取器研究每個(gè)NAL的特性(空間 和時(shí)間等級(jí)，F(xiàn)GS)，并且保持或截?cái)嘤糜谠诮o定比特率以及以給定 格式(或空間-時(shí)間分辨率等級(jí))執(zhí)行解碼的NAL。根據(jù)本發(fā)明，死子流的引入如下所述修改提取器讀取NAL報(bào)頭 的處理假設(shè)nivSpatialDec是在解碼時(shí)請(qǐng)求的空間分辨率等級(jí)， NivSpatialNAL是當(dāng)前NAL的空間分辨率等級(jí)， typeNAL是當(dāng)前NAL的類(lèi)型，如果((typeNAL==22||typeNAL==23 )并且nivSpatialDec== nivSpatialNAL )， 貝'U提取NAL}。換句話說(shuō)，提取器的工作方式被修改，由此使得它還從總的數(shù)據(jù) 流中提取NAL，其中所述NAL傳送在解碼時(shí)要獲取的空間分辨率等 級(jí)的死子流。圖10和11分別給出了在只考慮空間分辨率的這兩個(gè)連 續(xù)等級(jí)的時(shí)候用于提取CIF和QCIF格式的視頻序列的兩個(gè)提取實(shí) 例。對(duì)于CIF格式的圖像的重建處理來(lái)說(shuō)，解碼器使用了兩個(gè)空間 等級(jí)(BL QCIF和BL CIF )的基本子流、這兩個(gè)空間等級(jí)的第一增 強(qiáng)層(增強(qiáng)層ELI QCIF和增強(qiáng)層ELI CIF )以及CIF等級(jí)的第二增 強(qiáng)等級(jí)(增強(qiáng)層EL2CIF)。由此，提取器必須按照這個(gè)順序從總的 流中提取在圖10中表示的子層集合，以便將其插入修改后的流中。 根據(jù)用于該點(diǎn)重建的比特率，不同的子層可被解碼，也就是說(shuō)，相應(yīng)
的子流只可以被部分截?cái)?例如，對(duì)增強(qiáng)子流EL CIF執(zhí)行部分解碼， 并且在這種情況下不使用死子流EL2 CIF，這是因?yàn)楸忍芈适遣辉?許)。對(duì)于QCIF格式的重建來(lái)說(shuō)，解碼器使用了圖11所示的QCIF強(qiáng)層EL1QCIF和增強(qiáng)層EL2QCIF)。同樣地，不同的層BLQCIF、 EL1 QCIF和EL2 QCIF可以根據(jù)為QCIF格式的圖像重建所分配的 比特率而,皮截?cái)?。圖18給出的是這種提取器或圖像質(zhì)量提取模塊的簡(jiǎn)化結(jié)構(gòu)，其 包括存儲(chǔ)器M 180、配備了例如微處理器并由計(jì)算機(jī)程序Pg 182驅(qū)動(dòng) 的處理單元181。在初始化時(shí)，舉例來(lái)說(shuō)，計(jì)算機(jī)程序182的代碼指 令在由處理單元181的處理器執(zhí)行之前^皮加載到RAM中。處理單元 181在輸入端接收依照連續(xù)分辨率等級(jí)n的分層結(jié)構(gòu)組織的壓縮數(shù)據(jù) 流83。微處理器nP根據(jù)程序Pgl82的指令從數(shù)據(jù)流83中提取所有 那些在解碼時(shí)不被使用的子流(例如，根據(jù)目標(biāo)終端的或是重建處理 中的預(yù)期質(zhì)量的特性)。處理單元181輸出修改后的數(shù)據(jù)流183，該 數(shù)據(jù)流與客戶終端的處理能力或是傳輸網(wǎng)絡(luò)的約束條件是適配的。在本發(fā)明的替換實(shí)施例中，死子流是由類(lèi)型22或23的NAL傳 送的，在MPEG-21 SVM模型的上下文中提出的解碼器必須被修改， 以便解碼類(lèi)型23和23的模塊如果(TypeNAL==20||typeNAL==21||typeNAL==22||typeNAL ==23)，貝'U解碼NAL〉。在下文中將參考圖12~16來(lái)對(duì)本發(fā)明的實(shí)施例進(jìn)行描述，其中 除了插入死子流之外，該實(shí)施例還執(zhí)行空間層中的自適應(yīng)質(zhì)量選擇處 理。在連續(xù)等級(jí)n的數(shù)據(jù)層中的自適應(yīng)質(zhì)量選擇允許為在解碼時(shí)要獲 取的每個(gè)比特率點(diǎn)定義一條最優(yōu)提取路徑，也就是在比特率/失真方面 提供最佳的該點(diǎn)重建的路徑。本發(fā)明的這個(gè)變體依賴于在總的流中定 義和插入信息單元。 使用自適應(yīng)的提取路徑將會(huì)進(jìn)一步改進(jìn)本發(fā)明的提取技術(shù)，如下所述>為每個(gè)空間-時(shí)間分辨率等級(jí)N (也就是每個(gè)比特率/失真曲線)的若干個(gè)比特率點(diǎn)計(jì)算一個(gè)表示其質(zhì)量的、包含在最小值QNmin與最大值QNmax之間的值。該計(jì)算可以如下進(jìn)行 要么在每個(gè)空間分辨率層的編碼時(shí)間進(jìn)行； 要么在編碼了不同空間等級(jí)的所有層之后進(jìn)行； > 在總的流中，插入信息，以便能在解碼操作之前的提取處理中檢索這個(gè)質(zhì)量測(cè)量結(jié)果；要么通過(guò)將這個(gè)信息插入編碼流的數(shù)據(jù)實(shí)體自身中，即，插入傳送基本子流或增強(qiáng)子流的NAL中；要么通過(guò)將這個(gè)信息插入與編碼流的數(shù)據(jù)實(shí)體相分離的實(shí)體中；>在提取與空間等級(jí)n的質(zhì)量Q相對(duì)應(yīng)的比特率點(diǎn)R的時(shí)候， 然后為低于n或等于n的所有空間等級(jí)提取與這個(gè)質(zhì)量相對(duì)應(yīng)的數(shù)據(jù) 實(shí)體，以便不使用比n更低的等級(jí)的數(shù)據(jù)子流。由此，根據(jù)該變體，為每個(gè)圖像創(chuàng)建一個(gè)獨(dú)立的子流。這些子流 中的每個(gè)子流都被掃描，以便為每個(gè)圖像確定能夠獲取給定質(zhì)量和/ 或比特率的截?cái)帱c(diǎn)。由此，最終的流包括一定數(shù)量的質(zhì)量"等級(jí)"。圖12更具體地給出了基于最優(yōu)提取路徑的實(shí)施方式而對(duì)本發(fā)明 的這個(gè)變體所引入的預(yù)測(cè)/提取機(jī)制進(jìn)行的修改。同樣地，該描述是在 具有兩個(gè)連續(xù)等級(jí)的空間-時(shí)間分辨率QCIF和CIF的特定上下文中 進(jìn)行的。該描述考慮了與這兩個(gè)等級(jí)相關(guān)聯(lián)的比特率/失真曲線，其中 x軸代表的是用kbit/s表示的比特率，y軸代表的是用dB表示的 PSNR。考慮等級(jí)N-1 (QCIF)的曲線30上可使用的四個(gè)點(diǎn)Pl、 P2、 P3和P4。這四個(gè)點(diǎn)Pl P4被視為是可用于等級(jí)N的曲線(CIF)的 可能預(yù)測(cè)器。由此，通過(guò)預(yù)測(cè)處理，點(diǎn)Pl可以用于獲取曲線Cl，而曲線C2
和C3分別是從借助點(diǎn)P2和P3的預(yù)測(cè)處理中導(dǎo)出的。曲線31對(duì)應(yīng) 的是通過(guò)預(yù)測(cè)處理從QCIF等級(jí)的最大比特率點(diǎn)P4中獲取的曲線， 由此它代表的是從現(xiàn)有技術(shù)的MPEG-21 SVC編碼器中獲取的CIF等 級(jí)曲線?？梢詮牟煌那€C1~C3中選擇與每個(gè)目標(biāo)比特率相對(duì)應(yīng)的 QCIF曲線30的最佳預(yù)測(cè)點(diǎn)(在比特率/失真方面)由此，在比特 率128kbit/s的最小失真是在曲線Cl上獲取的，這樣一來(lái)，從預(yù)測(cè)點(diǎn) Pl可以最佳地預(yù)測(cè)到128kbit/s的比特率點(diǎn)；同樣地，用于192kbit/s 的比特率點(diǎn)的最小失真是在曲線C3上獲取的，由此從預(yù)測(cè)點(diǎn)P3可以 最佳地預(yù)測(cè)到這個(gè)比特率點(diǎn)。這樣一來(lái)，可得到由等級(jí)N的(CIF)曲線的點(diǎn)及其在(QCIF) 等級(jí)N-1曲線上的最優(yōu)預(yù)測(cè)器所形成的"質(zhì)量，，曲線，如根據(jù)該算法(該 算法與編碼器上使用的算法可以是不同的)理解的那樣。最優(yōu)處理路徑是通過(guò)編碼器等級(jí)上的附加處理步驟來(lái)確定的。如 上所述，這個(gè)步驟可以在編碼過(guò)程中實(shí)施，或者也可以獨(dú)立于所述編 碼器，這是因?yàn)樗窃跀?shù)據(jù)編碼/壓縮操作之后執(zhí)行的。在下文中將參考圖13對(duì)在編碼器或后置處理器中實(shí)施并與比特 率點(diǎn)相關(guān)聯(lián)的質(zhì)量計(jì)算的實(shí)例進(jìn)行更詳細(xì)的描述。已經(jīng)可以獲取一組"圖像"(無(wú)論是否為殘差)，并且這些圖像被 細(xì)分成分布在NAL中的若干個(gè)質(zhì)量等級(jí)(即，基本等級(jí)以及一個(gè)或 多個(gè)增強(qiáng)或改進(jìn)等級(jí))。假設(shè)NAL Ni可以在子點(diǎn)ni (它主要適用于 增強(qiáng)子流)上被截?cái)?，由此為失真D'"產(chǎn)生比特率^。為了筒單起見(jiàn)， 假設(shè)失真測(cè)量結(jié)果是加性的。搜索最優(yōu)途徑，以便將圖像的NAL細(xì)分成i個(gè)點(diǎn)""由此在可 以為所設(shè)想的空間-時(shí)間分辨率等級(jí)所獲取的最大比特率的約束之下將失真減至最小。由此，嘗試將圖像中的下列參量減至最小<formula>formula see original document page 29</formula>
在實(shí)踐中，在每個(gè)NAL中都會(huì)定義一定數(shù)量的可能截?cái)帱c(diǎn)(例 如k個(gè)點(diǎn)，但是在熵編碼器的每個(gè)行程的末端以非窮舉方式定義)。
如圖13所示，x軸給出的是比特率，而y軸代表失真，在這里 考慮從一組信息實(shí)體NAL中為整個(gè)圖像獲取的點(diǎn)群130。在一開(kāi)始， 屬于所考慮的空間-時(shí)間分辨率等級(jí)的比特率-失真曲線的這個(gè)點(diǎn)群 130 ，特別地，是根據(jù)在David Taubman發(fā)表的名為"High Performance Scalable Image Compression with EBCOT，，的文獻(xiàn)中描 述的技術(shù)來(lái)確定的，通過(guò)參考該文獻(xiàn)可以獲得更多細(xì)節(jié)。由此，在這 里對(duì)包含了給定空間-時(shí)間分辨率的這些點(diǎn)的凸面包絡(luò)131執(zhí)行搜索。對(duì)給定的A值、也就是對(duì)給定質(zhì)量來(lái)說(shuō)，該算法如下所示初始化<=()，對(duì)j-乂，7'2,…厶而言，<formula>formula see original document page 30</formula>如果A^/AD/〉A(chǔ)，那么"f"。對(duì)曲線的每個(gè)被識(shí)別點(diǎn)來(lái)說(shuō)，比特率值和這個(gè)點(diǎn)的斜率值S^A^/A^都會(huì)被保存。為了能在解碼過(guò)程中使用這些不同的質(zhì)量等級(jí)，也就是說(shuō)，為了 能夠在與所要獲取的質(zhì)量等級(jí)相關(guān)聯(lián)的特定點(diǎn)執(zhí)行NAL的截?cái)?，?了用于識(shí)別死子流的信息之外，在這里還有必要記錄總數(shù)據(jù)流中的使 得能夠識(shí)別質(zhì)量等級(jí)的第二個(gè)特定信息。為此目的，本發(fā)明提出了兩個(gè)實(shí)施例，在其中一個(gè)實(shí)施例中，與 設(shè)置截?cái)帱c(diǎn)時(shí)選擇的點(diǎn)相關(guān)聯(lián)的多對(duì)(比特率，質(zhì)量)被直接保存在數(shù)據(jù)NAL中(也就是傳送基本子流和增強(qiáng)子流的NAL)，而在另一 個(gè)實(shí)施例中，該多對(duì)^^記錄在被稱為信息NAL的特定NAL中。與某 個(gè)點(diǎn)相關(guān)聯(lián)的質(zhì)量Qi則是作為如上定義的斜率^的函數(shù)而被計(jì)算的<formula>formula see original document page 30</formula>在圖14所示的第一實(shí)施例中，在數(shù)據(jù)NAL 140的凈艮頭141與凈 荷數(shù)據(jù)字段142之間插入了一個(gè)偽報(bào)頭143，這個(gè)偽報(bào)頭143包含在 搜索圖13的截?cái)帱c(diǎn)的過(guò)程中識(shí)別的不同質(zhì)量等級(jí)上的指針(例如， 以偏移值的形式)。指針(偏移)與比特率值是等效的，并且與質(zhì)量 Qi、 Q2 Q4的值是對(duì)應(yīng)的，而且是通過(guò)指向圖14中的凈荷數(shù)據(jù)字段的箭頭來(lái)表示的。圖15描述的第二實(shí)施例使用了被稱為信息NAL150的新類(lèi)型的 NAL,它使得能夠在總流的數(shù)據(jù)NAL 151內(nèi)部識(shí)別質(zhì)量等級(jí)。與數(shù) 據(jù)NAL 151相似，這種信息NAL 150包含報(bào)頭152和凈荷數(shù)據(jù)字段 153。例如，在希望提出10個(gè)不同的質(zhì)量等級(jí)(^ Qn)時(shí)，信息NAL 被構(gòu)建為在其凈荷153中包含10個(gè)整數(shù)，每一個(gè)整數(shù)都指示了數(shù)據(jù) NAL 151的凈荷數(shù)據(jù)字段154中的一個(gè)偏移。在希望以質(zhì)量等級(jí)Qext來(lái)重建視頻序列時(shí)，從總的壓縮流中提取必要的數(shù)據(jù)。為此目的，提取器(或圖像質(zhì)量自適應(yīng)模塊)在每個(gè) NAL中搜索最接近于等級(jí)Qext的質(zhì)量等級(jí)(也就是，低于或等于Qext 的質(zhì)量等級(jí))。圖16描述了以連續(xù)質(zhì)量等級(jí)的圖像結(jié)構(gòu)的實(shí)例。在這里考慮了 七個(gè)圖像161 ~ 167。前三個(gè)圖像161 ~ 163釆用的是QCIF分辨率格 式，而后四個(gè)圖像164 147采用的是CIF格式。這其中的每個(gè)圖像 都是采用基本子流BL 168、第一增強(qiáng)子流EL1 169以及與死子流相對(duì) 應(yīng)的第二增強(qiáng)子流EL2 170的形式編碼的。在其中的每個(gè)圖像內(nèi)部可 以區(qū)分五個(gè)連續(xù)質(zhì)量等級(jí)171 ~ 175。這些質(zhì)量等級(jí)與傳送圖像重建數(shù) 據(jù)的信息實(shí)體或NAL的截?cái)帱c(diǎn)是對(duì)應(yīng)的。在圖16中可以看出，最低質(zhì)量等級(jí)171對(duì)應(yīng)的是基本子流BL 168。通過(guò)解碼第一增強(qiáng)子流EL1，可以獲取中間質(zhì)量等級(jí)173，并且 通過(guò)解碼死子流EL2 170，可以獲取最高質(zhì)量等級(jí)175。由此，對(duì)于CIF解碼來(lái)說(shuō)，如果提取器要求的質(zhì)量是Qex廣3， 那么這三個(gè)較低的質(zhì)量等級(jí)171、 172和173將會(huì)完全用于每個(gè)圖像。 相反，如果提取器請(qǐng)求的質(zhì)量是Qext = 4,那么總共為每一個(gè)CIF和 QCIF子段解碼三個(gè)較低質(zhì)量等級(jí)171、 172、 173，此外還會(huì)為CIF 解碼質(zhì)量等級(jí)174。在這個(gè)基于質(zhì)量等級(jí)的替換實(shí)施例中，提取器或圖像質(zhì)量自適應(yīng) 模塊在相對(duì)于重建處理中預(yù)期的質(zhì)量等級(jí)而言最佳的點(diǎn)上實(shí)現(xiàn)信息 實(shí)體的截?cái)?應(yīng)該指出的是，這種截?cái)嗍强赏ㄟ^(guò)圖像或子段來(lái)自適應(yīng) 的)。由此，解碼器接收在"最佳，，點(diǎn)上被初步截?cái)嗟腘AL以及所有 為其解碼所保留的點(diǎn)，以便重建視頻序列。圖19顯示的是這種解碼器的簡(jiǎn)化結(jié)構(gòu)，其包括存儲(chǔ)器M 190、 配備了例如微處理器并由計(jì)算機(jī)程序Pg 192驅(qū)動(dòng)的處理單元191。在 初始化時(shí)，舉例來(lái)說(shuō)，計(jì)算機(jī)程序192的代碼指令在由處理單元191 的處理器執(zhí)行之前被加載到RAM中。在輸入端，處理單元191接收 要解碼的一組數(shù)據(jù)分組183或信息實(shí)體，例如，在作為要獲取的重建 質(zhì)量的函數(shù)的最優(yōu)比特率點(diǎn)上截?cái)嗟囊唤MNAL。處理單元191的微處 理器jiP根據(jù)程序Pg 192的指令對(duì)所接收的信息實(shí)體183進(jìn)行解碼。 處理單元191輸出與客戶顯示終端的處理能力相適配的重建視頻序列 193。
權(quán)利要求
1.一種用于對(duì)圖像或圖像序列進(jìn)行編碼的方法，產(chǎn)生數(shù)據(jù)流，該數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n都對(duì)應(yīng)于所述圖像的一個(gè)預(yù)定分辨率，所述方法包括步驟通過(guò)至少?gòu)乃龅燃?jí)n的層中進(jìn)行預(yù)測(cè)而編碼至少一個(gè)等級(jí)n+1的所述層，等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，其特征在于，該方法還為至少一個(gè)所述等級(jí)n的數(shù)據(jù)層編碼至少一個(gè)子流，該子流被稱為死子流，它能夠在所述分辨率等級(jí)n上重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，并且其特征還在于，所述等級(jí)n的層的所述死子流在通過(guò)不同于n的等級(jí)的所述層的預(yù)測(cè)而進(jìn)行的所述編碼步驟中不被使用。
2. 根據(jù)權(quán)利要求1的編碼方法，其特征在于所述等級(jí)n的數(shù) 據(jù)層是以至少一個(gè)基本子流的形式編碼的，該基本子流能夠以所述分 辨率等級(jí)n來(lái)重建圖像的基本質(zhì)量版本，并且對(duì)于所述等級(jí)n的數(shù)據(jù) 層中的至少一個(gè)來(lái)說(shuō)，所述等級(jí)n的數(shù)據(jù)層還以能夠細(xì)化所述基本質(zhì) 量版本的至少一個(gè)增強(qiáng)子流的形式編碼，以便獲取所述圖像的至少一 個(gè)增強(qiáng)質(zhì)量版本，并且其特征還在于，所述預(yù)定最高質(zhì)量是- 如果沒(méi)有編碼所述增強(qiáng)子流，則是基本質(zhì)量；- 如果編碼了至少一個(gè)增強(qiáng)子流，則是所述至少一個(gè)增強(qiáng)質(zhì)量。
3. 根據(jù)權(quán)利要求1和2之一的編碼方法，其特征在于它還包括 第一步驟，在所述數(shù)據(jù)流中插入至少一個(gè)用于在所述數(shù)據(jù)流內(nèi)部識(shí)別 所述至少一個(gè)死子流的信息。
4. 根據(jù)權(quán)利要求1~3中任一權(quán)利要求的方法，其特征在于它 還為至少某些所述圖像執(zhí)行一個(gè)第二步驟，即，在所述流中插入至少一個(gè)信息，該信息涉及與所述層中的至少某些層的至少某些數(shù)據(jù)相關(guān) 聯(lián)的重建質(zhì)量，所述重建質(zhì)量是至少一個(gè)比特率/失真參數(shù)的函數(shù)。
5. —種用于對(duì)圖像或圖像序列進(jìn)行編碼的設(shè)備，包括用于產(chǎn) 生數(shù)據(jù)流的裝置，其中該數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層 結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n都對(duì)應(yīng)于所述圖像的一個(gè)預(yù) 定分辨率，所述設(shè)備包括用于通過(guò)至少?gòu)乃龅燃?jí)n的層中執(zhí)行預(yù)測(cè)來(lái)編 碼等級(jí)n+l的所述層中的至少一個(gè)層的裝置，等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率等級(jí)n上 重建具有預(yù)定最高質(zhì)量的所述圖像的版本，其特征在于，所述設(shè)備還包括用于為所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)編碼至少一個(gè)子流的裝置，該子流被稱為死子流，它能夠在所 述分辨率等級(jí)n上重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版 本，并且其特征還在于，所述等級(jí)n的層的所述死子流不被預(yù)測(cè)不同 于n的等級(jí)的所述層的所述編碼裝置所使用。
6. 根據(jù)權(quán)利要求5的編碼設(shè)備，其特征在于，它包括預(yù)測(cè)點(diǎn)提 取模塊，用于使得能夠從所述等級(jí)n的層的內(nèi)部提取在通過(guò)所述等級(jí) n+l的層的預(yù)測(cè)而進(jìn)行的編碼過(guò)程中要考慮的數(shù)據(jù)。
7. —種用于對(duì)表示圖像或圖像序列的數(shù)據(jù)流進(jìn)行解碼的方法， 所述數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n的層都與所述圖像的一個(gè)預(yù)定分辨率相對(duì) 應(yīng)，所述流中的等級(jí)ii的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨 率等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，等級(jí)n+l的所述層中的至少一個(gè)通過(guò)至少?gòu)乃龅燃?jí)n的層中 進(jìn)4亍預(yù)測(cè)而編碼，其特征在于對(duì)所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，所述數(shù)據(jù)流包括至少 一個(gè)子流，它被稱為死子流，并且能夠在所述分辨率等級(jí)n上重建質(zhì) 量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，為了以所述分辨率等級(jí)n重建所述圖像，所述方法執(zhí)行以下步驟- 對(duì)等級(jí)低于n的所述數(shù)據(jù)層進(jìn)行解碼；- 根據(jù)許可的解碼比特率，至少對(duì)所述等級(jí)n的層執(zhí)行部分解 碼，并且根據(jù)具體情況對(duì)所述等級(jí)n的層的所述死子流進(jìn)行部分解碼，等級(jí)低于n的所述層的所述死子流在所述重建過(guò)程中不被解碼。
8. —種用于對(duì)表示圖像或圖像序列的數(shù)據(jù)流進(jìn)行解碼的設(shè)備， 所述數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n都與所述圖像的一個(gè)預(yù)定分辨率相對(duì)應(yīng)， 所述流的等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，等級(jí)n+l的所述層中的至少一個(gè)通過(guò)至少?gòu)乃龅燃?jí)n的層中進(jìn)4亍預(yù)測(cè)而編碼， 其特征在于對(duì)所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，所述數(shù)據(jù)流包括至少 一個(gè)子流，該子流被稱為死子流，并且能夠在所述分辨率等級(jí)n上重 建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，為了以所述分辨率等級(jí)n重建所述圖像，所述解碼設(shè)備包括- 用于對(duì)等級(jí)低于n的所述數(shù)據(jù)層進(jìn)行解碼的裝置；- 用于根據(jù)許可的解碼比特率，至少對(duì)所述等級(jí)n的層執(zhí)行部 分解碼，并且根據(jù)具體情況來(lái)對(duì)所述等級(jí)n的層的所述死子流進(jìn)行部 分解碼的裝置，等級(jí)低于n的所述層的所述死子流在所述重建過(guò)程中不被解碼。
9. 一種用于傳輸代表圖像或圖像序列的數(shù)據(jù)流的信號(hào)， 所述數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n都與所述圖像的一個(gè)預(yù)定分辨率相對(duì)應(yīng)， 等級(jí)n+l的所述層中的至少一個(gè)通過(guò)至少?gòu)乃龅燃?jí)n的層中進(jìn)行預(yù)測(cè)而編碼，所述流的等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率 等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，所述信號(hào)以在其內(nèi)傳送所述數(shù)據(jù)流的信息實(shí)體的形式構(gòu)造，每一個(gè)所述信息實(shí)體都包括一個(gè)用于提供有關(guān)所述信息實(shí)體類(lèi) 型的信息的報(bào)頭，以及一個(gè)凈荷數(shù)據(jù)字段，其特征在于對(duì)所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，該信號(hào) 還傳送被稱為死子流的至少一個(gè)子流，該子流能夠在所述分辨率等級(jí) n上重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，等級(jí)n的所述死子流不被用于以等級(jí)不同于n的分辨率重建所 述圖像。
10. 根據(jù)權(quán)利要求9的信號(hào)，其特征在于，它還包括至少一個(gè)特 定類(lèi)型的信息實(shí)體，該信息實(shí)體包括至少一個(gè)關(guān)于重建質(zhì)量的信息， 所述重建質(zhì)量與所述流中的至少某些數(shù)據(jù)相關(guān)聯(lián)，并且所述重建質(zhì)量 取決于至少一個(gè)比特率/失真參數(shù)。
11. 一種計(jì)算機(jī)程序，包含程序代碼指令，當(dāng)微處理器執(zhí)行所述 程序時(shí)，該程序代碼指令用于執(zhí)行根據(jù)權(quán)利要求1~4中任一權(quán)利要 求所述的用于對(duì)圖像或圖像序列進(jìn)行編碼的方法的步驟。
12. —種計(jì)算機(jī)程序，包含程序代碼指令，當(dāng)微處理器執(zhí)行所述 程序時(shí)，該程序代碼指令用于執(zhí)行根據(jù)權(quán)利要求7所述的用于對(duì)表示 圖像或圖像序列的數(shù)據(jù)流進(jìn)行解碼的方法的步驟。
13. —種用于自適應(yīng)圖像或圖像序列的質(zhì)量的模塊，所述自適應(yīng) 模塊被饋送有表示圖像或圖像序列的源數(shù)據(jù)流，所述數(shù)據(jù)流具有連續(xù)等級(jí)n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構(gòu)，其中n 是整數(shù)，每一個(gè)所述等級(jí)n都與所述圖像的一個(gè)預(yù)定分辨率相對(duì)應(yīng)，所述流的等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率 等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，等級(jí)n+l的所述層中的至少一個(gè)通過(guò)至少?gòu)乃龅燃?jí)n的層中 進(jìn)4亍預(yù)測(cè)而編碼，其特征在于對(duì)所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，所述源數(shù)據(jù)流包括至 少一個(gè)子流，該子流被稱為死子流，并且能夠在所述分辨率等級(jí)n上 重建質(zhì)量高于所述預(yù)定最高質(zhì)量的所述圖像的版本，所述自適應(yīng)模塊實(shí)現(xiàn)用于產(chǎn)生發(fā)往至少一個(gè)用于顯示所述圖像 的終端的修改數(shù)據(jù)流的裝置，如果所述至少一個(gè)顯示終端并未以所述分辨率等級(jí)n重建所述 圖像，那么所述修改數(shù)據(jù)流是通過(guò)提取處理依照所述等級(jí)n的死子流 從所述源數(shù)據(jù)流獲取的。
14. 一種數(shù)據(jù)載體，包括至少一個(gè)表示圖像或圖像序列的數(shù)據(jù)流，所述載體具有用于分層存儲(chǔ)所述數(shù)據(jù)流的連續(xù)等級(jí)n的內(nèi)嵌數(shù) 據(jù)層的結(jié)構(gòu)，其中n是整數(shù)，每一個(gè)所述等級(jí)n都對(duì)應(yīng)于所述圖像的 一個(gè)預(yù)定分辨率，等級(jí)n+l的所述層中的至少一個(gè)通過(guò)至少?gòu)乃龅燃?jí)n的層中 進(jìn)4亍預(yù)測(cè)而編碼，所述流的等級(jí)n的所述數(shù)據(jù)層中的每一個(gè)都能夠在所述分辨率 等級(jí)n上重建具有預(yù)定最高質(zhì)量的所述圖像的版本，其特征在于對(duì)所述等級(jí)n的數(shù)據(jù)層中的至少一個(gè)來(lái)說(shuō)，所述數(shù) 據(jù)載體還包括至少一個(gè)用于存儲(chǔ)至少一個(gè)子流的區(qū)域，該子流被稱為 死子流，并且能夠在所述分辨率等級(jí)n上重建質(zhì)量高于所述預(yù)定最高 質(zhì)量的所述圖像的版本，在以等級(jí)不同于n的分辨率重建所述圖像時(shí)，等級(jí)n的所述死 子流的所述存儲(chǔ)區(qū)域不被讀取。
全文摘要
本發(fā)明涉及一種用于對(duì)圖像序列進(jìn)行編碼的方法，其產(chǎn)生以n個(gè)連續(xù)等級(jí)的內(nèi)嵌數(shù)據(jù)層結(jié)構(gòu)形式的數(shù)據(jù)流，其中每一個(gè)連續(xù)等級(jí)都與所述圖像的一個(gè)預(yù)定分辨率相對(duì)應(yīng)。所述方法包括一個(gè)編碼階段，其包括通過(guò)根據(jù)在所述等級(jí)n的層上執(zhí)行預(yù)測(cè)來(lái)編碼n+1等級(jí)的所述層中的至少一個(gè)，以及以基本子流的形式編碼等級(jí)n的每個(gè)數(shù)據(jù)層，并且可選地，以至少一個(gè)增強(qiáng)子流的形式編碼等級(jí)n的每個(gè)數(shù)據(jù)層，以便能夠獲取所述圖像的增強(qiáng)質(zhì)量的至少一個(gè)版本。本發(fā)明的方法還包括為n等級(jí)的至少一個(gè)數(shù)據(jù)層編碼至少一個(gè)單獨(dú)的子層，以便能夠在所述等級(jí)n的分辨率上重建質(zhì)量高于所述增強(qiáng)質(zhì)量的所述圖像的版本，其中在對(duì)等級(jí)不同于等級(jí)n的層的預(yù)測(cè)編碼時(shí)，等級(jí)n的層的所述單個(gè)子流不被使用。
文檔編號(hào)H04N7/26GK101120591SQ200580048217
公開(kāi)日2008年2月6日 申請(qǐng)日期2005年12月20日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者伊莎貝爾·阿莫諾, 娜塔莉·卡瑪斯, 斯特凡娜·帕泰尤克斯 申請(qǐng)人:法國(guó)電信公司