專利名稱：可伸縮視頻編碼中的圖片的后向兼容聚合的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及視頻編碼。更特別地，本發(fā)明涉及可伸縮視 頻的編碼、存儲(chǔ)和傳送。
背景技術(shù)：
本章節(jié)旨在提供權(quán)利要求中記載的發(fā)明的背景或上下文。此處 的說明包括可以探索但是不一定是已經(jīng)想到或探索出的概念。由此， 除非本文中另有說明，本章節(jié)中描述的內(nèi)容不是本申請的說明書和 權(quán)利要求書的現(xiàn)有技術(shù)，并且不因?yàn)榘ㄔ诒菊鹿?jié)中而認(rèn)為是現(xiàn)有 技術(shù)。
可伸縮視頻編碼(svc)纟是供可伸縮纟見頻比特流?？缮炜s一見頻比
特流包含不可伸縮的基層和一個(gè)或多個(gè)增強(qiáng)層。增強(qiáng)層可以增強(qiáng)時(shí) 間分辨率(即幀速率)、空間分辨率或者通過下層或其一部分所表
示的視頻內(nèi)容的質(zhì)量?？缮炜s層可以聚合到單個(gè)實(shí)時(shí)傳送協(xié)議(RTP ) 流或者獨(dú)立地傳送。
視頻編碼層(VCL)和網(wǎng)絡(luò)抽象層(NAL)的概念繼承自高級(jí) 視頻編碼(AVC) 。 VLC包含編解碼器的信號(hào)處理功能；諸如傳送、 量化、運(yùn)動(dòng)補(bǔ)償預(yù)測、環(huán)路濾波、層間預(yù)測的機(jī)制?；鶎踊蛟鰪?qiáng)層 的編碼圖片包括一個(gè)或多個(gè)片段。NAL將VLC生成的每個(gè)片段封裝 進(jìn)一個(gè)或多個(gè)NAL單元。
每個(gè)SVC層由NAL單元形成，NAL單元表示層的編碼的視頻 比特。僅攜帶一個(gè)層的RTP流將攜帶僅屬于該層的NAL單元。攜帶 完整的可伸縮視頻比特流的RTP流將攜帶基層和一個(gè)或多個(gè)增強(qiáng)層 的NAL單元。SVC規(guī)定了這些NAL單元的解碼順序。
通過省略傳送和解碼全部增強(qiáng)層來縮放視覺內(nèi)容質(zhì)量的概念被
表示為粗粒度可伸縮性(CGS)。
在某些情況中，可以通過截?cái)鄟碜愿鱾€(gè)NAL單元的比特來降低 給定增強(qiáng)層的比特率。截?cái)鄬?dǎo)致再生的增強(qiáng)層的視頻質(zhì)量的故障弱 化。該概念稱為細(xì)粒度(顆粒度)可伸縮性(FGS)。
根據(jù)H.264/AVC視頻編碼標(biāo)準(zhǔn)，存取單元包括一個(gè)基本編碼圖 片。在某些系統(tǒng)中，對存取單元邊界的檢測可以通過在比特流中插 入存取單元分隔符NAL單元來簡化。在SVC中，存取單元可以包 括多個(gè)基本編碼圖片，但是至多每一個(gè)圖片有"依賴性標(biāo)識(shí)符 (dependency—id )，，、"時(shí)間級(jí)別(temporal—level)，，和"質(zhì)量級(jí) 另'J ( quality—level)"的口舉一纟且合。
可伸縮視頻編碼包括編碼具有某個(gè)最小質(zhì)量的"基層"，以及 編碼提高質(zhì)量到最大級(jí)別的增強(qiáng)信息。SVC流的基層通常是與高級(jí) 視頻編碼(AVC) —致的。換言之，AVC解碼器能夠解碼SVC流的 基層并且忽略SVC專用的數(shù)據(jù)。已經(jīng)通過規(guī)定編碼片段NAL單元 類型實(shí)現(xiàn)了這個(gè)特征，該類型是SVC專用的，被保留用于在AVC 中將來使用，并且根據(jù)AVC規(guī)范必須被跳過。
至少因?yàn)閮蓚€(gè)目的，識(shí)別SVC存取單元內(nèi)的圖片和它們的可伸 縮性特性很重要。第一，對于服務(wù)器中或者網(wǎng)關(guān)中的壓縮域流變細(xì)， 該識(shí)別是重要的。由于需要處理大量的數(shù)據(jù)，這些元件必須盡可能 快地識(shí)別可移除的圖片。第二，對于以期望的質(zhì)量和復(fù)雜度進(jìn)行流 回放，該識(shí)別很重要。接收器和播放器應(yīng)該能夠識(shí)別可伸縮流中它 們不能識(shí)別或者不愿解碼的那些圖片。
能識(shí)別介質(zhì)的網(wǎng)關(guān)或者RTP混頻器(例如，其可能是多點(diǎn)會(huì)議 控制單元、電路交換和分組交換視頻電話之間的網(wǎng)關(guān)、基于蜂窩的 一鍵通(PoC)服務(wù)器、數(shù)字視頻廣播-手持(DVB-H)系統(tǒng)中的 IP封裝器、或者將廣播傳輸本地轉(zhuǎn)發(fā)給歸屬地?zé)o線網(wǎng)絡(luò)的機(jī)頂盒) 的 一 個(gè)功能是根據(jù)主要的下行鏈路網(wǎng)絡(luò)條件來控制轉(zhuǎn)發(fā)流的比特 率。期望能夠控制轉(zhuǎn)發(fā)數(shù)據(jù)速率而不需要廣泛地處理輸入數(shù)據(jù)，例 如，通過簡單地丟棄分組或者容易識(shí)別的分組部分。對于分層編碼，
網(wǎng)關(guān)應(yīng)該丟棄不影響解碼轉(zhuǎn)發(fā)流的全部圖片或者圖片序列。
H.264/AVC RTP凈荷規(guī)范的交織分組模式允許實(shí)際地將任何存取單 元的任何NAL單元封裝進(jìn)同一 RTP凈荷(稱為聚合分組)。具體地， 不需要將全部編碼圖片封裝進(jìn)一個(gè)RTP凈荷，相反，編碼圖片的NAL 單元可以分成多個(gè)RTP分組。
盡管這種分組聚合的自由性對于許多應(yīng)用是受歡迎的，但是它 也使得網(wǎng)關(guān)操作具有許多復(fù)雜性。首先，給定聚合分組，在解析該 聚合分組中包含的每個(gè)NAL單元的報(bào)頭之前不知道它的NAL單元 屬于哪些圖片。由此，當(dāng)對SVC應(yīng)用了交織分組模式時(shí)，在解析分 組中的每個(gè)NAL單元的報(bào)頭之前，不知道包含的NAL單元屬于哪 些層。因此，在決定是否轉(zhuǎn)發(fā)分組的任何、所有或某些NAL單元之 前，網(wǎng)關(guān)必須解析每個(gè)NAL單元報(bào)頭。第二，對于某些NAL單元， 例如補(bǔ)充增強(qiáng)信息(SEI)和參數(shù)集NAL單元，在接收到同一存取 單元的視頻編碼層(VCL) NAL單元之前，不可能識(shí)別它們屬于哪 個(gè)存取單元。由此，網(wǎng)關(guān)可能需要維護(hù)緩沖器和一些狀態(tài)信息以解 決非-VCL NAL單元到它們的關(guān)聯(lián)圖片的映射。
在常規(guī)視頻編碼標(biāo)準(zhǔn)中，圖片報(bào)頭用于分開編碼圖片。然而， 在H.264/AVC標(biāo)準(zhǔn)中和在SVC中，在語法中不包括任何圖片報(bào)頭。 另外，盡管解析器可能具有能力以解析流中的每個(gè)NAL單元的可伸 縮性信息，但是這需要大一些的處理功率量，并且某些解析器可能 不具有這種能力。
此外，先前在SVC文件格式驗(yàn)證沖莫型2 ( MPEG文獻(xiàn)M7586 ) 中已經(jīng)提議了聚合器NAL單元。在該系統(tǒng)中，聚合器NAL單元是 一種容器，其凈荷中包括關(guān)聯(lián)的NAL單元。聚合器NAL單元具有 在H.264/AVC和SVC規(guī)范中沒有規(guī)定的類型，并且在H.264/AVC 和SVC解碼器中必須被忽略。然而，當(dāng)根據(jù)H.264/AVC標(biāo)準(zhǔn)的基層 圖片被包括在聚合器NAL單元內(nèi)時(shí)，其不再能利用H.264/AVC解碼 器進(jìn)行解碼，也不能利用H.264/AVC RTP解凈荷器或者AVC文件 格式解析器進(jìn)行解析。

發(fā)明內(nèi)容
本發(fā)明提供了 一種針對SVC文件格式和RTP凈荷格式的間接聚 合器NAL單元。本發(fā)明的間接聚合器NAL單元使得能夠容易地識(shí) 別比特流內(nèi)的可伸縮性依賴關(guān)系，由此實(shí)現(xiàn)了快速和有效的流操作。 此外，本發(fā)明的間接聚合器NAL單元確保了流的基層仍然能夠利用 H.264/AVC解碼器、AVC文件格式解析器以及H.264/AVC RTP凈荷 解析器進(jìn)行處理。
當(dāng)結(jié)合附圖閱讀下面的詳細(xì)描述時(shí)，本發(fā)明的這些和其他優(yōu)點(diǎn) 和特征以及本發(fā)明的操作組織和方式將變得明顯，在下面的幾個(gè)附 圖中類似的參考標(biāo)號(hào)表示類似的元件。


圖1是能夠用作實(shí)現(xiàn)本發(fā)明的功能性的編碼器或解碼器的電子
設(shè)備中包括的電路的示意表示；
圖2示出了與本發(fā)明一起使用的一般多媒體通信系統(tǒng)；以及 圖3示出了 IP多播布置，其中每個(gè)路由器能夠根據(jù)其能力剝離
比特流。
具體實(shí)施例方式
本發(fā)明提供了 一種在可伸縮視頻編碼中使用的間接聚合器NAL 單元，更一般地提供了一種可伸縮性信息基本數(shù)據(jù)單元。間接聚合 器NAL單元不包含任何其他NAL單元。相反，本發(fā)明的間接聚合 器NAL單元包含將其自身與其他NAL單元關(guān)聯(lián)在一起的機(jī)制。這 些機(jī)制包括但不限于后續(xù)字節(jié)的數(shù)目、后續(xù)NAL單元的數(shù)目以及 高層幀內(nèi)的剩余NAL單元的數(shù)目。例如，高層幀內(nèi)的剩余NAL單
本發(fā)明的間接NAL單元的結(jié)構(gòu)還包括所有關(guān)聯(lián)NAL單元共有 的屬性或者特性信息。該公共屬性或者特性信息包括但不限于可
伸縮性信息以及關(guān)聯(lián)NAL單元是否形成可伸縮層切換點(diǎn)，在該點(diǎn)不 同的可伸縮層可以切換到當(dāng)前層?？缮炜s性信息可以至少包括在 SVC規(guī)范中規(guī)定的"擴(kuò)展的"NAL單元報(bào)頭，其包括simple_priority—id (簡單優(yōu)先級(jí)標(biāo)識(shí)符)、discardable—flag (可丟棄標(biāo)記)、 dependency_id、 temporal—level以及quality level語法元素。
本發(fā)明的間接聚合器NAL單元是從這樣的NAL單元類型中選 擇的，這些類型規(guī)定為被僅針對H.264/AVC基層的處理單元忽略的 類型。換言之，H.264/AVC解碼器、AVC文件格式解析器以及 H.264/AVC RTP解凈荷器應(yīng)該忽略本發(fā)明的間接聚合器NAL單元。 此外，間接聚合器NAL單元可以被SVC解碼器忽略，因?yàn)樗诮?碼過程中不引起任何標(biāo)準(zhǔn)影響。下面提供針對SVC文件格式的間接 聚合器NAL單元的示例語法和語義以及針對SVC RTP凈荷格式的 另一示例。應(yīng)該注意，本發(fā)明不限于這些特定的封裝和編碼格式的 示例。
根據(jù)SVC文件格式，聚合器NAL單元使得NALU映射組 (NALU-map-group )條目具有一致性和可重復(fù)性。聚合器NAL單 元用于將屬于同一采樣并具有相同可伸縮性信息的SVC NAL單元 歸為一組。聚合器NAL單元使用與可伸縮的擴(kuò)展NAL單元(SVC NAL單元)相同的報(bào)頭，但是是一種新的NAL單元類型。聚合器 NAL單元可以包含提取器NAL單元。提取器NAL單元可以參考聚 合器NAL單元。
當(dāng)掃描流時(shí)，如果聚合器NALU不被需要(即，它屬于不期望 的層)，可以容易地丟棄該聚合器NALU及其內(nèi)容(使用其長度字 段)。如果聚合器NALU被需要，則可以容易地丟棄它的報(bào)頭而保 留其內(nèi)容。
聚合器NAL單元將兩個(gè)或者更多SVC NAL單元封裝進(jìn)一個(gè)新 的NAL單元。聚合器NAL單元使用具有與SVCNAL單元相同的語 法(如SVC規(guī)范中規(guī)定的)的NAL單元報(bào)頭。與任何其他NAL單 元類似，聚合器NAL單元存儲(chǔ)在采樣中。
所有NAL單元以解碼順序保留在聚合器NAL單元內(nèi)。如果屬 于相同quality—level的NAL單元被歸為一組，貝'J quality_level>0的 NAL單元的順序可以改變。用于聚合器NAL單元的語法如下
class aligned(8) AggregatorNALUnit(AggregatorNALUnitSize) { unsigned int i = 2;
/* NALUnitHeader as specified in the SVC spec ( SVC規(guī)范中^見定 的NALUnitHeader ) */
bit(l) forbidden—zero一bit;
bit(2)NAL—ref—idc;
bit(5) NAL—unit—type = AggregatorNALUnitType = const(30); bit(6) simple—dependency—ID; bit(l) discardable—flag; bit(l) extension—flag; if (extension—flag) {
quality—level = simple—dependency—ID;
bit (3) temporal—level;
bit (3) dependency—ID;
bit (2) quality—ID;
i化
/* end of NAL unit header (NAL單元報(bào)頭的結(jié)束)*/ do {
unsigned int((lengthSizeMinusOne+1 )* 8)
NALUnitLength; bit(NALUnit乙ength * 8) SVCNAUJnit; i += (lengthSizeMinusOne+l)+NALUnitLength; } while (KAggregatorNALUnitSize);
用于聚合器NAL單元的語義如下
NALUnitHeader:( 8或16位)在SVC規(guī)范中規(guī)定
NALjnitJype被設(shè)為聚合器NAL單元類型(type 30 )。 Scalability information (NAL_ref_idc, simple_dependency_ID，
discardable—flag, extended scalability information)應(yīng)^亥具有嗦口每個(gè)3皮
聚合的NAL單元的報(bào)頭內(nèi)的相同的值。
NALUnitLength:規(guī)定跟隨的NAL單元的大小。該字段的大小用 lengthSizeMinusOne (長度大小減一)條目來規(guī)定。
SVCNALUnit: SVC NAL unit如SVC規(guī)范中所規(guī)定的那樣，包括 SVC NAL單元報(bào)頭。SVC NAL單元的大小通過NALUnitLength來規(guī)定。
假設(shè)聚合器NAL單元收集相同可伸縮性層的SVC NAL單元。 其還可以將不同層的SVCNAL單元?dú)w為一組(例如，將所有質(zhì)量級(jí) 別(FGS分段)歸為一組，將具有相同dependency—ID的所有NAL 單元?dú)w為一組)。在該情況下，聚合器NAL單元報(bào)頭將信號(hào)傳遞SVC NAL單元的可伸縮性信息以及最低dependency—ID和/或 temporal_level 、 quality—ID。
聚合器NAL單元可以用于將屬于一個(gè)可伸縮性級(jí)別(其可能不 通過NAL單元才艮頭信號(hào)傳遞)的SVC NAL單元(例如，屬于目標(biāo) 區(qū)域的SVCNAL單元)歸為一組。對這樣的聚合器NAL單元的描 述可能結(jié)合層描述和NAL單元映射組進(jìn)行。在這樣的情況下，不止 一個(gè)具有相同可伸縮性信息的聚合器NAL單元可以出現(xiàn)在一個(gè)采樣中。
聚合器NAL單元可以導(dǎo)致每個(gè)AU中的每個(gè)層具有恒定數(shù)目的 NAL單元。為了確保恒定的圖案，可能出現(xiàn)下面的情況。AVC基層 NALU可以歸組在一個(gè)聚合器NAL單元中(如果用在一個(gè)SVC流 中)。在該情況下,temporal—level 、 dependency—ID和quality—ID都 被設(shè)為0。 AVC基層NALU可以通過提取器NAL來參考。出于某些 原因，如果在該AU中不存在某個(gè)層的NALU，則在該位置可以存 在空的聚合器NAL單元。
根據(jù)針對SVC視頻的RTP凈荷格式，凈荷內(nèi)容可伸縮性信息 NAL單元通常如下。SVCNAL單元包括一個(gè)、兩個(gè)或三個(gè)字節(jié)的報(bào) 頭和凈荷字節(jié)字符串。報(bào)頭指示NAL單元的類型、NAL單元凈荷中 是否(潛在)存在比特錯(cuò)誤或者語法違犯、關(guān)于NAL單元對于解碼 過程的相關(guān)重要性的信息、以及(可選的，在報(bào)頭是三個(gè)字節(jié)時(shí))
可伸縮層解碼依賴性信息。
NAL單元報(bào)頭共同作為該RTP凈荷格式的凈荷報(bào)頭。后面緊跟 著NAL單元的凈荷。NAL單元報(bào)頭的語法和語義規(guī)定在〔SVC〕中， 但是NAL單元報(bào)頭的基本屬性歸納在下面。
NAL單元報(bào)頭的第一字節(jié)具有下述格式
<formula>formula see original document page 13</formula>
forbidden—zero—bit (F) : 1比特。H.264規(guī)范宣布值1表示語法違犯。
nal_ref—idc ( NRI) : 2比特。值00指明該NAL單元的內(nèi)容不 用于重建用于圖片間預(yù)測的參考圖片。這樣的NAL單元可以被丟棄 而不會(huì)引起影響同層中的參考圖片的完整性的風(fēng)險(xiǎn)。大于OO的值指 明需要解碼該NAL單元以維護(hù)參考圖片的完整性。對于劃分NAL 單元的片段或者片段數(shù)據(jù)，NRI值11指明該NAL單元包含關(guān)鍵圖 片的數(shù)據(jù)，如〔SVC〕中規(guī)定的一樣。
信息注釋關(guān)鍵圖片的概念已經(jīng)引進(jìn)SVC,并且不應(yīng)該假設(shè)比 特流中的任何圖片遵從符合該規(guī)則的2003和2005版的H.264。
nal_unit—type ( Type ) : 5比特。該部分規(guī)定NAL單元凈荷類型。 先前，NAL單元類型20和21 (以及其他)被保留用于將來的擴(kuò)展。 SVC使用這兩個(gè)NAL單元類型。它們指示多于一個(gè)字節(jié)的存在，從 傳送觀點(diǎn)看該字節(jié)是有幫助的。
<formula>formula see original document page 13</formula>simply_priority—id ( PRID ) : 6比特。該部分規(guī)定用于NAL單 元的^f尤先纟及標(biāo)識(shí)才尋。當(dāng)extension_flag等于0時(shí)，simple_priority—id 用于4,斷dependency—id 、 temporal_level和quality—level的4直。當(dāng)
Simply_priority_id不存在時(shí)，它被推斷為等于0。
discardable—flag ( D ) : 1比特。值1指明該NAL單元 (dependency—id=currDependencyId (當(dāng)前依賴性Id))的內(nèi)容不用 于只于dependency—id〉currDependencyld的NAL單元的解石馬過考呈。這 樣的NAL單元可以被丟棄而不會(huì)引起影響具有更大的 dependencyjd值的更高可伸縮層的完整性的風(fēng)險(xiǎn)。discardable—flag 等于0指明必須解碼該NAL單元以維護(hù)具有更大的dependency—id 值的更高可伸縮層的完整性。
extension_flag ( E) : 1比特。值1指明該NAL單元報(bào)頭中存在 第三字節(jié)。當(dāng)?shù)诙止?jié)的E-比特為1時(shí)，該NAL單元報(bào)頭擴(kuò)展到第
三字節(jié)
+...............+
J0lll2)3l4l5l6l"71 +-+-+-+_+_+-+-+-+ i Tli1 DID 1 QIj|
temporal—level ( TL ) : 3比特。該部分用于指明時(shí)間可伸縮性或 幀速率。由較小的temporal—level值的圖片構(gòu)成的層具有較小的幀速率。
dependencyjd ( DID ) : 3比特。該部分用于指明層間編碼依賴 性等級(jí)。在任何時(shí)間位置，具有較小dependency—id值的圖片可以用 于針對具有較大dependency—id值的圖片的編碼的層間預(yù)測。
Qualityjevel ( QL ) : 2比特。該部分用于指明FGS層等級(jí)。在 任何時(shí)間位置并且具有相同的dependencyjd值，對于層間預(yù)測， quality—level值等于QL的FGS圖片使用quality—level值等于QL-1 的FGS圖片或者基本質(zhì)量圖片(當(dāng)QL-1=0時(shí)非FGS圖片)。當(dāng)QL 大于0時(shí)，NAL單元包含F(xiàn)GS片段或者其一部分。
在該實(shí)施例中，規(guī)定了一種新的NAL單元類型，稱為凈荷內(nèi)容 可伸縮性信息(PACSI) NAL單元。如果存在PACSINAL單元，則 其必須是聚合分組中的第一 NAL單元，并且其一定不在其他類型的 分組中存在。PACSI NAL單元指明凈荷中的所有剩余NAL單元共有的可伸縮性特性，因此使得MANE能夠更容易地決定是轉(zhuǎn)發(fā)還是丟 棄分組。發(fā)送器可以創(chuàng)建PACSI NAL單元，并且接收器能夠忽略它 們。
針對PACSI NAL單元的NAL單元類型是從H.264/AVC規(guī)范和 RFC 3984中沒有規(guī)定的那些值中選擇的。因此，具有H.264/AVC基 層并且包括PACSI NAL單元的SVC流可以利用RFC 3984接收器和 H.264/AVC解碼器來處理。
當(dāng)聚合分組的第 一聚合單元包含PACSI NAL單元時(shí)，在相同的 分組中必須存在至少一個(gè)另外的聚合單元。RTP報(bào)頭字段根據(jù)聚合 分組中的剩余NAL單元來設(shè)置。
當(dāng)PACSINAL單元被包括在一個(gè)多時(shí)間聚合分組中時(shí)，必須設(shè) 置用于PACSI NAL單元的解碼順序號(hào)，以指明PACSI NAL單元是 在聚合分組中的NAL單元之中的解碼順序中的第一 NAL單元，或 者PACSI NAL單元具有與在聚合分組中的剩余NAL單元之中的解 碼順序中的第一 NAL單元相同的解碼順序號(hào)。
PAC SI NAL單元的結(jié)構(gòu)規(guī)定如下
0 12
012345678901234567890123 +-+-+-+-+—+-+—+-+—+-+-+—+—+一+—+一+—+—+—+-+一+一+一+一+ |F|NRI|Type | PRID| D | E | T3L| DID | Q!L | +—+—+-+—+-+—+—+-+—+—+-+-+-+—+—+—+-+_+-+—+—+—+-+一+
PACSI NAL單元中的字段的值必須如下設(shè)置。 —如果凈荷中的任何剩余NAL單元的F比特等于1,則F比特必須 設(shè)置為1。否則，F(xiàn)比特必須被設(shè)置為O。
-NRI字段必須被設(shè)置為凈荷中的剩余NAL單元之中的NRI字段的
最高值。
-Type字段必須被設(shè)置為30。
-PRID字段必須被設(shè)置為凈荷中的剩余NAL單元之中的PRID字段 的最小值。如果PRID字段在凈荷中的剩余NAL單元之一中不存在， 則PACSI NAL單元中的PRID字段必須被設(shè)置為0。
-如果凈荷中的任何剩余NAL單元中的D比特等于0，則D比特必 須被設(shè)置為0。否則，D比特必須被設(shè)置為l。 -E比特必須被設(shè)置為1。
-TL字段必須被設(shè)置為凈荷中的剩余NAL單元之中的TL字段的最小值。
-DID字段必須被設(shè)置為凈荷中的剩余NAL單元之中的DID字段的
最小值。
-QL字段必須被設(shè)置為凈荷中的剩余NAL單元之中的QL字段的 最小值。
本發(fā)明的間接聚合器NAL單元使得能夠容易地識(shí)別比特流內(nèi)的 可伸縮性依賴性，由此實(shí)現(xiàn)了快速和有效的流操作。間接聚合器NAL 單元確保了流的基層仍然能夠利用H.264/AVC解碼器、AVC文件格 式解析器以及H.264/AVC RTP凈荷解析器進(jìn)行處理。
在解碼的情況下，應(yīng)該注意待解碼的比特流可能接收自位于實(shí) 際上任何類型的網(wǎng)絡(luò)內(nèi)的遠(yuǎn)程設(shè)備。另外，比特流可以是接收自本 地硬件或軟件。還應(yīng)該理解，盡管此處包含的文本和例子具體描述 了編碼過程，^f旦是本領(lǐng)域4支術(shù)人員容易理解相同的概念和原理也適 用于對應(yīng)的解碼過程，反之亦然。
圖1示出了一個(gè)可以實(shí)現(xiàn)本發(fā)明的代表性電子設(shè)備12，其既可 以在編碼側(cè)也可以在解碼側(cè)。然而，應(yīng)該理解，本發(fā)明并不旨在限 于一種特定類型的電子設(shè)備12。圖1的電子設(shè)備12包括顯示器32、 小鍵盤34、麥克風(fēng)36、耳機(jī)38、紅外端口42、天線44、根據(jù)本發(fā) 明一個(gè)實(shí)施例的UICC形式的智能卡46、讀卡器48、無線電接口電 路52、編解碼器電路54、控制器56和存儲(chǔ)器58。各個(gè)電路和元件 都是現(xiàn)有技術(shù)中例如諾基亞的移動(dòng)電話范圍內(nèi)的公知類型。
圖2示出了與本發(fā)明一起使用的一般性多媒體通信系統(tǒng)。數(shù)據(jù) 源100提供源信號(hào)，該源信號(hào)是模擬的未壓縮的數(shù)字格式、或者壓 縮的數(shù)字格式、或者這些格式的任意組合。編碼器110將源信號(hào)編 碼到編碼的媒體比特流。編碼器110可能能夠編碼不止一種媒體類
型，諸如音頻和視頻，或者可能需要不止一個(gè)編碼器110來編碼不 同媒體類型的源信號(hào)。編碼器110可能還得到綜合生成的輸入，諸 如圖片和文本，或者它可能能夠生成綜合媒體的編碼比特流。在下 文中，為了簡化描述，僅考慮對一種媒體類型的一個(gè)編碼比特流的 處理。然而，應(yīng)該注意，通常實(shí)時(shí)廣播服務(wù)包括若干流(通常至少 一個(gè)音頻、-觀頻和文本字幕流)。還應(yīng)該注意，系統(tǒng)可以包括多個(gè) 編碼器，但是為了簡化描述而不失一般性，在下文中僅描述一個(gè)編
碼器110。
編碼的媒體比特流被傳送到存儲(chǔ)裝置120。存儲(chǔ)裝置120可以包 括任何類型的大容量存儲(chǔ)器以存儲(chǔ)編碼的媒體比特流。存儲(chǔ)裝置120 中的編碼媒體比特流的格式可以是基本的自包含的比特流格式，或 者 一 個(gè)或多個(gè)編碼的媒體比特流可以被封裝到容器文件中。某些系 統(tǒng)操作"實(shí)況"，即省略存儲(chǔ)裝置并且將編碼的媒體比特流從編碼 器110直接傳送到發(fā)送器130。于是，根據(jù)需要，編碼的媒體比特流 被傳送到發(fā)送器130,也稱為服務(wù)器。傳輸中使用的格式可以是基本 的自包含的比特流格式、分組流格式，或者一個(gè)或多個(gè)編碼的媒體 比特流可以被封裝到容器文件中。編碼器110、存儲(chǔ)裝置120和服務(wù) 器130可以駐留在同一物理設(shè)備中或者它們可以被包括在不同的設(shè) 備中。編碼器110和服務(wù)器130可以操作"實(shí)況，，實(shí)時(shí)內(nèi)容，在該 情況中，編碼的媒體比特流通常不會(huì)永久存儲(chǔ)，而是在內(nèi)容編碼器 110和/或服務(wù)器130中緩存一小段時(shí)間，以平滑處理延遲、傳送延 遲和編碼的々某體比特率方面的變化。
服務(wù)器130使用通信協(xié)議棧來發(fā)送編碼的媒體比特流。該棧可 以包括但不限于實(shí)時(shí)傳送協(xié)議(RTP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)、 以及網(wǎng)際協(xié)議(IP)。當(dāng)通信協(xié)議棧是面向分組時(shí)，服務(wù)器130將 編碼的媒體比特流封裝進(jìn)分組。例如，當(dāng)使用RTP時(shí)，服務(wù)器130 將編碼的媒體比特流根據(jù)RTP凈荷格式封裝進(jìn)RTP分組。通常，每 個(gè)媒體類型具有專用的RTP凈荷格式。同樣應(yīng)該注意，系統(tǒng)可以包 含多于一個(gè)服務(wù)器130,但是為了簡化起見，下面的描述僅考慮一個(gè)
服務(wù)器130。
服務(wù)器130可以通過通信網(wǎng)絡(luò)連接到網(wǎng)關(guān)140或者不連接到網(wǎng) 關(guān)140。網(wǎng)關(guān)140可以執(zhí)行不同類型的功能，諸如將根據(jù)一個(gè)通信協(xié) 議棧的分組流翻譯到另一通信協(xié)議棧，合并和分離數(shù)據(jù)流，以及沖艮 據(jù)下行鏈路和/或接收器能力來操作數(shù)據(jù)流，諸如根據(jù)主要的下行鏈 路網(wǎng)絡(luò)條件來控制轉(zhuǎn)發(fā)流的比特率。網(wǎng)關(guān)140的例子包括多點(diǎn)會(huì)議 控制單元(MCU)、電路交換和分組交換視頻電話之間的網(wǎng)關(guān)、基 于蜂窩的一鍵通(PoC)服務(wù)器、數(shù)字視頻廣播-手持(DVB-H)系 統(tǒng)中的IP封裝器、或者將廣播傳輸本地轉(zhuǎn)發(fā)給歸屬地?zé)o線網(wǎng)絡(luò)的機(jī) 頂盒。當(dāng)使用RTP時(shí)，網(wǎng)關(guān)140被稱為RTP混頻器，并且充當(dāng)RTP 連才妄的端點(diǎn)。
該系統(tǒng)包括一個(gè)或多個(gè)接收器150，通常能夠接收、解調(diào)以及解 封裝傳輸?shù)男盘?hào)到編碼的媒體比特流。編碼的媒體比特流通常被解 碼器160進(jìn)一步處理，解碼器160的輸出是一個(gè)或多個(gè)未壓縮的媒 體流。最后，呈現(xiàn)器170可以利用例如揚(yáng)聲器或者顯示器來再生未 壓縮的媒體流。接收器150、解碼器160和呈現(xiàn)器170可以駐留在同 一物理設(shè)備中，或者它們可以被包括在不同的設(shè)備中。
對于異類和易出錯(cuò)的環(huán)境而言，在比特率、解碼復(fù)雜度和圖片 大小方面的可伸縮性是期望的屬性。為了抵消諸如比特率、顯示器 分辨率、網(wǎng)絡(luò)吞吐量以及接收設(shè)備中的計(jì)算功率方面的限制，所述 屬性是合意的。
可伸縮性可以用于改善傳輸系統(tǒng)中的錯(cuò)誤回彈，在所述傳輸系 統(tǒng)中分層編碼與傳送優(yōu)先級(jí)化相組合。術(shù)語"傳送優(yōu)先級(jí)化"指用 于在傳送中提供不同服務(wù)質(zhì)量的各種機(jī)制(包括不同的錯(cuò)誤保護(hù))， 用于提供具有不同錯(cuò)誤/丟失率的不同信道的各種機(jī)制。取決于它們 的特性，數(shù)據(jù)被不同地分配。例如，基層可以通過具有高的錯(cuò)誤保 護(hù)度的信道來遞送，而增強(qiáng)層可以通過較易出錯(cuò)的信道來傳輸。
在多點(diǎn)和廣播多J 某體應(yīng)用中，在編碼時(shí)，網(wǎng)絡(luò)吞吐量方面的約
束可能是不能預(yù)見的。因此，應(yīng)該使用可伸縮比特流。圖3示出了
IP多播布置，其中每個(gè)路由器可以根據(jù)其能力剝離比特流。圖3示
出了服務(wù)器S,其提供比特流給多個(gè)客戶端Cl - C3。比特流通過^各 由器Rl-R3路由到客戶端。在該例子中，服務(wù)器提供一個(gè)片段，其 可以伸縮到至少三個(gè)比特率，120kbit/s、 60kbit/s和28kbit/s。
如果客戶端和服務(wù)器經(jīng)由常規(guī)單播連接而連接在一起，則服務(wù)
器可以嘗試根據(jù)臨時(shí)的信道吞吐量來調(diào)節(jié)被傳輸多媒體片段的比特 率。 一種解決方案是通過變化傳輸?shù)脑鰪?qiáng)層的數(shù)目來使用分層比特 流和適應(yīng)帶寬改變。
在方法步驟的一般上下文中描述了本發(fā)明，在一個(gè)實(shí)施例中本 發(fā)明可以通過包括可由聯(lián)網(wǎng)環(huán)境中的計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指 令(諸如程序代碼)的程序產(chǎn)品來實(shí)現(xiàn)。通常，程序模塊包括例程、 程序、對象、元件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定任務(wù)或者實(shí)現(xiàn)特定的 抽象數(shù)據(jù)類型。計(jì)算機(jī)可執(zhí)行指令、關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)和程序模塊代
指令或關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)的特定序列代表用于實(shí)現(xiàn)在這些步驟中描述的 功能的對應(yīng)動(dòng)作的例子。
本發(fā)明的軟件和網(wǎng)絡(luò)實(shí)現(xiàn)可以通過標(biāo)準(zhǔn)編程技術(shù)利用基于失見則 的邏輯和其他邏輯來實(shí)現(xiàn)，所述邏輯實(shí)現(xiàn)各種數(shù)據(jù)庫搜索步驟、關(guān)
聯(lián)步驟、比較步驟和判決步驟。還應(yīng)該注意，此處和權(quán)利要求書中 的用詞"部件"和"模塊"旨在包括使用一行或多行軟件代碼和/或 硬件實(shí)現(xiàn)和/或用于接收手工輸入的設(shè)備的各種實(shí)現(xiàn)。
已經(jīng)出于解釋和說明的目的陳述了前面的對本發(fā)明的實(shí)施例的 描述。其并不旨在窮舉或者將本發(fā)明限于公開的精確形式，并且根 據(jù)上述技術(shù)各種修改和變形是可能的，或者根據(jù)本發(fā)明的實(shí)踐可以 獲得各種修改和變形。各實(shí)施例是為了解釋本發(fā)明的原理及其實(shí)踐
應(yīng)用而選擇和描述的，以便使得本領(lǐng)域普通技術(shù)人員能夠以各種實(shí)
權(quán)利要求
1. 一種用于封裝可伸縮編碼視頻信號(hào)的方法，所述信號(hào)包括可根據(jù)第一算法解碼的圖片的基層和至少一個(gè)可根據(jù)第二算法解碼的圖片的增強(qiáng)層，所述方法包括將所述基層和所述至少一個(gè)增強(qiáng)層編碼進(jìn)存取單元，所述存取單元包括用于解碼的至少一個(gè)基本數(shù)據(jù)單元，以及與所述存取單元的至少一部分關(guān)聯(lián)的可伸縮性信息基本數(shù)據(jù)單元，其中所述可伸縮性信息基本數(shù)據(jù)單元被配置為在根據(jù)所述第一算法解碼期間被忽略。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述可伸縮性信息基本數(shù) 據(jù)單元與所述存取單元中的圖片相關(guān)聯(lián)。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述可伸縮性信息基本數(shù) 據(jù)單元包括與所述存取單元的至少 一部分有關(guān)的信息。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述信息選自包括以下內(nèi) 容的組優(yōu)先級(jí)、時(shí)間級(jí)別、依賴性順序指示符、對與較高的依賴 性順序指示符相關(guān)聯(lián)的基本數(shù)據(jù)單元是否需要所述存取單元的至少 一部分以便解碼的指示符、對所述存取單元的至少 一部分是否是不 同層可以切換到當(dāng)前層的層切換點(diǎn)的指示符、以及它們的組合。
5. 根據(jù)權(quán)利要求1所述的方法，還包括將所述可伸縮編碼視頻 信號(hào)封裝進(jìn)文件。
6. 根據(jù)權(quán)利要求5所述的方法，其中根據(jù)ISO基本媒體文件格 式、AVC文件格式、SVC文件格式、3GP文件格式以及3G2文件格 式中的至少一種文件格式將所述可伸縮編碼視頻信號(hào)封裝進(jìn)所述文 件。
7. 根據(jù)權(quán)利要求1所述的方法，還包括將所述可伸縮編碼視頻 信號(hào)封裝進(jìn)分組流。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述分組流包括RTP流。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述可伸縮性信息基本數(shù) 據(jù)單元被配置為被H.264/AVC解碼器、AVC文件解析器、H.264/AVC RTP解凈荷器以及SVC解碼器中的至少 一個(gè)所忽略。
10. 根據(jù)權(quán)利要求1所述的方法，還包括基于所述可伸縮性信息 基本數(shù)據(jù)單元來從所述編碼視頻信號(hào)中移除所述存取單元的相關(guān)聯(lián) 部分。
11. 根據(jù)權(quán)利要求1所述的方法，還包括基于所述可伸縮性信息 基本數(shù)據(jù)單元停止對所述編碼視頻信號(hào)中的所述存取單元的相關(guān)聯(lián) 部分的處理。
12. —種編碼在計(jì)算機(jī)可讀介質(zhì)上的用于封裝可伸縮編碼^L頻信 號(hào)的計(jì)算機(jī)程序產(chǎn)品，所述信號(hào)包括可根據(jù)第 一算法解碼的圖片的 基層和至少一個(gè)可根據(jù)第二算法解碼的圖片的增強(qiáng)層，所述計(jì)算機(jī) 程序產(chǎn)品包括用于將所述基層和所述至少一個(gè)增強(qiáng)層編碼進(jìn)存取單元的計(jì)算 機(jī)代碼，所述存取單元包括用于解碼的至少一個(gè)基本數(shù)據(jù)單元，以及與所述存取單元的至少 一部分關(guān)聯(lián)的可伸縮性信息基本數(shù)據(jù)單元，其中所述可伸縮性信息基本數(shù)據(jù)單元被配置為在根據(jù)所述第一 算法解碼期間被忽略。
13. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述可伸縮 性信息基本數(shù)據(jù)單元與所述存取單元中的圖片相關(guān)聯(lián)。
14. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述可伸縮性信息基本數(shù)據(jù)單元包括與所述存取單元的至少 一 部分有關(guān)的信 自、
15. 根據(jù)權(quán)利要求14所述的計(jì)算機(jī)程序產(chǎn)品，其中所述信息選 自包括以下內(nèi)容的組優(yōu)先級(jí)、時(shí)間級(jí)別、依賴性順序指示符、對 與較高的依賴性順序指示符相關(guān)聯(lián)的基本數(shù)據(jù)單元是否需要所述存取單元的至少 一部分以便解碼的指示符、對所述存取單元的至少一 部分是否是不同層可以切換到當(dāng)前層的層切換點(diǎn)的指示符、以及它 們的組合。
16. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，還包括將所述可 伸縮編碼視頻信號(hào)封裝進(jìn)文件。
17. 根據(jù)權(quán)利要求16所述的計(jì)算機(jī)程序產(chǎn)品，其中根據(jù)ISO基 本媒體文件格式、AVC文件格式、SVC文件格式、3GP文件格式以 及3G2文件格式中的至少一種文件格式將所述可伸縮編碼視頻信號(hào) 封裝進(jìn)所述文件。
18. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，還包括將所述可 伸縮編碼視頻信號(hào)封裝進(jìn)分組流。
19. 根據(jù)權(quán)利要求18所述的計(jì)算機(jī)程序產(chǎn)品，其中所述分組流 包括RTP流。
20. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其中所述可伸縮 性信息基本數(shù)據(jù)單元被配置為被H.264/AVC解碼器、AVC文件解析 器、H.264/AVC RTP解凈荷器以及SVC解碼器中的至少 一個(gè)所忽略。
21. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，還包括基于所述 可伸縮性信息基本數(shù)據(jù)單元來從所述編碼視頻信號(hào)中移除所述存取 單元的相關(guān)聯(lián)部分。
22. 根據(jù)權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，還包括基于所述單元的相關(guān)聯(lián)部分的處理。
23. —種電子設(shè)備，包括 處理器；以及存儲(chǔ)器單元，其通信地連接到所述處理器，并且包括用于封裝可 伸縮編碼視頻信號(hào)的計(jì)算機(jī)程序產(chǎn)品，所述信號(hào)包括可根據(jù)第 一 算 法解碼的圖片的基層和至少 一 個(gè)可根據(jù)第二算法解碼的圖片的增強(qiáng) 層，所述計(jì)算機(jī)程序產(chǎn)品包括用于將所述基層和所述至少一個(gè)增強(qiáng)層編碼進(jìn)存取單元的計(jì)算機(jī)代碼，所述存取單元包括用于解碼的至少一個(gè)基本數(shù)據(jù)單元，以及與所述存取單元的至少 一 部分關(guān)聯(lián)的可伸縮性信息基本數(shù)據(jù)單元，其中所述可伸縮性信息基本數(shù)據(jù)單元被配置為在根據(jù)所述第一 算法解碼期間被忽略。
24. —種封裝的可伸縮編碼視頻信號(hào)，包括存取單元，其包括可根據(jù)第 一算法解碼的圖片的基層和至少 一個(gè) 可根據(jù)第二算法解碼的圖片的增強(qiáng)層，所述存取單元包括用于解碼的至少一個(gè)基本數(shù)據(jù)單元，以及與所述存取單元的至少 一 部分關(guān)聯(lián)的可伸縮性信息基本數(shù)據(jù)單元，其中所述可伸縮性信息基本數(shù)據(jù)單元被配置為在根據(jù)所述第一 算法解碼期間被忽略。
25. —種用于解碼封裝的可伸縮編碼視頻信號(hào)的方法，所述信號(hào) 包括可根據(jù)第一算法解碼的圖片的基層和至少一個(gè)可根據(jù)第二算法 解碼的圖片的增強(qiáng)層，所述方法包括從存取單元中解碼所述基層和所述至少 一個(gè)增強(qiáng)層，所述存取單元包括用于解碼的至少一個(gè)基本數(shù)據(jù)單元，以及與所述存取單元的至少 一 部分關(guān)聯(lián)的可伸縮性信息基本數(shù)據(jù)單元，其中所述可伸縮性信息基本數(shù)據(jù)單元被配置為在根據(jù)所述第一 算法解碼期間被忽略。
全文摘要
一種針對SVC文件格式和RTP凈荷格式的用于視頻編碼的間接聚合器NAL單元。本發(fā)明的間接聚合器NAL單元使得能夠容易地識(shí)別比特流內(nèi)的可伸縮性依賴關(guān)系，由此實(shí)現(xiàn)了快速和有效的流操作。此外，本發(fā)明的間接聚合器NAL單元確保了流的基層仍然能夠利用H.264/AVC解碼器、AVC文件格式解析器以及H.264/AVC RTP凈荷解析器進(jìn)行處理。
文檔編號(hào)H04N7/24GK101390399SQ200780006736
公開日2009年3月18日 申請日期2007年1月11日 優(yōu)先權(quán)日2006年1月11日
發(fā)明者M·安尼克塞拉, Y-K·王 申請人:諾基亞公司