專利名稱：：用于使用控制消息管理可縮放視頻和音頻編碼系統(tǒng)中的可縮放性信息的系統(tǒng)和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻通信系統(tǒng)，尤其涉及用于在視頻通信系統(tǒng)中以縮減比特率和計(jì)算復(fù)雜度兩者的方式傳達(dá)經(jīng)可縮放視頻編碼的比特流的結(jié)構(gòu)及對(duì)其的改變的技術(shù)。
背景技術(shù)：
：針對(duì)編碼效率中的一般改進(jìn)的新型數(shù)字視頻和音頻"可縮放"編碼技術(shù)具有多個(gè)新結(jié)構(gòu)特性。具體地，重要的新特性是可縮放性。在可縮放編碼中，原始或源信號(hào)是使用兩個(gè)或多個(gè)分層結(jié)構(gòu)化比特流來(lái)表示的。分層結(jié)構(gòu)意味著給定比特流的解碼依賴于分層結(jié)構(gòu)中較低的部分或全部其它比特流的可用性。每個(gè)比特流連同其所依賴的比特流提供原始信號(hào)在特定時(shí)間、保真度(例如，在信噪比(SNR)方面)、或空間分辨率(對(duì)于視頻)上的表示。應(yīng)當(dāng)理解，術(shù)語(yǔ)'可縮放'并非指數(shù)目方面的量級(jí)或等級(jí)，而是一般指編碼技術(shù)提供與原始或源信號(hào)在分辨率或其它質(zhì)量的不同'等級(jí)'上的有效表示相對(duì)應(yīng)的一組不同比特流的能力。稱為可縮放視頻編碼(SVC)的即將出現(xiàn)的ITU-TH.264附錄F規(guī)范是提供了時(shí)間、空間和保真度所有維度中的視頻編碼可縮放性的視頻編碼標(biāo)準(zhǔn)的示例。SVC是H.264標(biāo)準(zhǔn)(也稱為高級(jí)視頻編碼(AVC))的擴(kuò)展。也提供所有三種類型可縮放性的較早標(biāo)準(zhǔn)的示例是ISOMPEG-2(也作為ITU-TH.262公布)。ITUG.729.1(也稱為G.729EV)是提供可縮放音頻編碼的標(biāo)準(zhǔn)的示例?？煽s放性被引入視頻和音頻編碼中作為對(duì)流送和廣播中分發(fā)問(wèn)題的解決方案，以便允許給定通信系統(tǒng)與不同的接入網(wǎng)(例如，與不同帶寬連接的客戶端)、網(wǎng)絡(luò)狀況(例如，帶寬波動(dòng))、以及客戶端設(shè)備(例如，使用較大監(jiān)視器的個(gè)人計(jì)算機(jī)對(duì)具有小得多的屏幕的手持式設(shè)備)一起操作。在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365中描述了專門(mén)為諸如視頻會(huì)議等交互式視頻通信設(shè)計(jì)的可縮放視頻編碼技術(shù)。此外，共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365描述了稱為可縮放視頻通信服務(wù)器(SVCS)的新型服務(wù)器的設(shè)計(jì)。SVCS可有益地使用經(jīng)可縮放編碼的視頻進(jìn)行高質(zhì)量和低延遲視頻通信，并且與傳統(tǒng)交換或譯碼多點(diǎn)控制單元(MCU)相比具有顯著降低的復(fù)雜度。類似地，共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/62569描述了合成可縮放視頻編碼服務(wù)器(CSVCS)，該合成可縮放視頻編碼服務(wù)器具有與SVCS相同的益處，但是產(chǎn)生單個(gè)經(jīng)編碼的輸出比特流。可縮放視頻編碼設(shè)計(jì)和SVCS/CSVCS架構(gòu)可以其它有益方式來(lái)使用，例如在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028367、PCT/US06/027368、PCT/US06/061815、PCT/US07/62357、和PCT/US07/63335中所述的這些其它有益方式。這些申請(qǐng)描述了可縮放編碼技術(shù)的使用和用于服務(wù)器之間有效干線鋪設(shè)(trunking)的SVCS/CVCS架構(gòu)、減小的抖動(dòng)緩沖器延遲、差錯(cuò)彈性和隨機(jī)接入、可縮放視頻比特流的"減薄"以便分別在減小的分組丟失和率控制的情況下提高編碼效率。此外，共同轉(zhuǎn)讓的美國(guó)臨時(shí)專利申請(qǐng)S/N.60/786,997描述了用于可縮放視頻編碼格式與其它格式之間的譯碼的技術(shù)，而共同轉(zhuǎn)讓的美國(guó)臨時(shí)專利申請(qǐng)S/N.60/884,148描述了使用可縮放視頻編碼的視頻通信系統(tǒng)中差錯(cuò)彈性的進(jìn)一步改進(jìn)?，F(xiàn)在考慮使用可縮放視頻或音頻編碼的改進(jìn)視頻和音頻通信系統(tǒng)。具體地，為了改進(jìn)此類系統(tǒng)，將注意力集中于管理或者直接或者通過(guò)一個(gè)或多個(gè)服務(wù)器從視頻或音頻比特流的源傳達(dá)給接收者的可縮放性信息。源可以是編碼現(xiàn)場(chǎng)視頻并將其通過(guò)通信網(wǎng)絡(luò)傳送的傳送端點(diǎn)、傳送預(yù)編碼視頻的流送服務(wù)器、或者提供對(duì)存儲(chǔ)在大容量存儲(chǔ)或其它接入設(shè)備上中的文件的訪問(wèn)的軟件模塊。類似地，接收者可以是通過(guò)通信網(wǎng)絡(luò)或者直接從大容量存儲(chǔ)器或其它接入設(shè)備獲得經(jīng)編碼的視頻或音頻比特流的接收端點(diǎn)。發(fā)明概要提供了用于使用可縮放編碼的視頻和音頻通信系統(tǒng)中可縮放性信息的改進(jìn)管理的系統(tǒng)和方法。系統(tǒng)和方法向系統(tǒng)組件傳達(dá)經(jīng)可縮放編碼的比特流的結(jié)構(gòu)以及可能隨時(shí)間發(fā)生的改變。通信技術(shù)利用相關(guān)信息的差分編碼并有益地實(shí)現(xiàn)縮減的比特率開(kāi)銷和縮減的計(jì)算復(fù)雜度。在優(yōu)選實(shí)施例中，對(duì)于使用標(biāo)準(zhǔn)H.264SVC編碼格式的視頻通信系統(tǒng)，標(biāo)準(zhǔn)可縮放性信息SEI消息被更改并且還被補(bǔ)充成包括信令可縮放性信息改變的能力?？煽s放性信息SEI消息的擴(kuò)展集可通知接收者(例如，服務(wù)器、解碼器/端點(diǎn))所傳送信號(hào)的可縮放性層結(jié)構(gòu)及其改變。接收者可使用可縮放性層信息來(lái)適當(dāng)?shù)靥幚砘蚪獯a接收到的信號(hào)。根據(jù)以下優(yōu)選實(shí)施例的詳細(xì)描述以及附圖，本發(fā)明的其它特征、特性和各個(gè)優(yōu)點(diǎn)將變得更顯而易見(jiàn)，在附圖中-圖1是示出根據(jù)本發(fā)明的原理的SVC傳輸系統(tǒng)的示例性架構(gòu)的框圖；圖2是根據(jù)本發(fā)明的原理的可縮放性信息狀態(tài)管理過(guò)程的流程圖3是根據(jù)本發(fā)明的原理的替換性實(shí)施例的可縮放性信息狀態(tài)管理過(guò)程的流程貫穿附圖中相同附圖標(biāo)記用于指代所例示的實(shí)施例的類似特征、元件、組件或部分，除非另外聲明。此外，現(xiàn)在將參照附圖對(duì)本發(fā)明的詳細(xì)描述是結(jié)合示例性實(shí)施例進(jìn)行的。發(fā)明詳細(xì)描述提供了用于使用可縮放編碼的視頻和音頻通信系統(tǒng)中可縮放性信息的改進(jìn)管理的系統(tǒng)和方法。圖1示出了使用可縮放編碼的通信系統(tǒng)100的示例性架構(gòu)。通信系統(tǒng)100包括在網(wǎng)絡(luò)130上通過(guò)媒體網(wǎng)關(guān)140與客戶端/接收器120傳達(dá)視頻和/或音頻信號(hào)的媒體服務(wù)器或編碼器110(例如，流送服務(wù)器或傳送端點(diǎn))。出于簡(jiǎn)便起見(jiàn)，本文的描述限于此類通信系統(tǒng)的視頻部分。然而，應(yīng)當(dāng)理解，在此描述的用于視頻部分的系統(tǒng)和方法可用于可縮放音頻部分，并且應(yīng)當(dāng)理解，不能向音頻信號(hào)提供空間可縮放性維度，但是多信道編碼另外可被用于音頻信號(hào)編碼。此外，在此描述的系統(tǒng)和方法還可用于以可縮放方式編碼的其它多媒體數(shù)據(jù)(例如，圖形)。在通信系統(tǒng)100的優(yōu)選實(shí)施例中，H.264SVC編碼格式('SVC')被用于視頻通信。(參見(jiàn)例如通過(guò)引用全部結(jié)合于此的SVCJD5規(guī)范中的2005年1月T.Wiegand、G.Sullivan、J.Reichel、H.Schwarz、M.Wien等人在泰國(guó)曼谷的聯(lián)合視頻組的Doc.JVT-R201的"JointDraft5:ScalableVideoCoding(聯(lián)合草案5:可縮放視頻編碼)")。SVC是H.264AVC視頻編碼標(biāo)準(zhǔn)的可縮放視頻編碼擴(kuò)展(附錄F)。SVC在創(chuàng)建具有若干維度(例如，空間、時(shí)間、保真度或質(zhì)量維度)中的可縮放性時(shí)提供了相當(dāng)大的靈活性。SVC編碼比特流可被結(jié)構(gòu)化成若干分量或?qū)??；鶎犹峁┝嗽葱盘?hào)在某種基本保真度下的表示。附加層(增強(qiáng)層)提供了信號(hào)在高于基本保真度維度的附加可縮放性維度中的改進(jìn)表示的信息。注意編碼比特流上的層通常形成錐形結(jié)構(gòu)，其中對(duì)層的解碼要求存在一個(gè)或多個(gè)較低層。通常，對(duì)任何增強(qiáng)層進(jìn)行解碼要求基層的可用性。層的錐形結(jié)構(gòu)無(wú)需總是這樣的。例如，當(dāng)通過(guò)多個(gè)描述編碼或聯(lián)播提供可縮放性時(shí)，對(duì)部分或全部層的獨(dú)立解碼會(huì)是可能的。本文所描述的系統(tǒng)和方法可應(yīng)用于所有這些可縮放性格式?？煽s放性可解決若干系統(tǒng)層難題，諸如異種網(wǎng)絡(luò)和/或客戶端、時(shí)變網(wǎng)絡(luò)性能、盡力型網(wǎng)絡(luò)遞送等。然而，為了能夠有效地使用這些這些特征，使它們可為視頻編碼器和解碼器除外的系統(tǒng)組件所用是必不可少的。參照?qǐng)D1來(lái)理解有效地使用所有可縮放性特征的本發(fā)明的系統(tǒng)和方法。首先，注意在系統(tǒng)100中使用媒體網(wǎng)關(guān)140是任選的。當(dāng)使用到客戶端連接的直接媒體服務(wù)器時(shí)，或者當(dāng)由大容量存儲(chǔ)上的客戶端可直接訪問(wèn)或者其它接入設(shè)備可直接或間接地(例如，通過(guò)通信網(wǎng)絡(luò)的文件訪問(wèn))地訪問(wèn)的文件來(lái)替代媒體服務(wù)器時(shí)，本發(fā)明的系統(tǒng)和方法是相同或類似的?？紤]其中媒體服務(wù)器/編碼器110(例如，流送服務(wù)器或者即為傳送端點(diǎn)編碼器的編碼器)通過(guò)媒體網(wǎng)關(guān)140與客戶端/接收器120傳達(dá)可縮放媒體的簡(jiǎn)單計(jì)算環(huán)境。這種簡(jiǎn)單場(chǎng)景要求在媒體服務(wù)器與客戶端之間建立用于傳送所商定的一組層——這可能是例如RTP封裝的SVCNAL單元——的連接。此外，媒體網(wǎng)關(guān)140必須獲得指令(或基于其自身來(lái)推斷)如何在操作上最好地利用傳入分組(例如，所傳送的RTP封裝的SVCNAL單元)。在其中媒體網(wǎng)關(guān)MO具有SVCS/CSVCS架構(gòu)的情形中，這種操作決定相當(dāng)于決定哪些分組要丟棄以及哪些要轉(zhuǎn)發(fā)。此外，對(duì)于適當(dāng)?shù)慕獯a器操作，客戶端/接收器120必須知曉或能夠推導(dǎo)出哪些層集合被認(rèn)為要被接收。為了實(shí)現(xiàn)這些功能，系統(tǒng)100必須向各個(gè)系統(tǒng)組件表示和傳達(dá)所傳送的比特流的可縮放性結(jié)構(gòu)。作為示例性示例，考慮具有兩個(gè)時(shí)間分辨率15和30fps以及兩個(gè)空間分辨率QCIF和CIF的視頻信號(hào)。這對(duì)應(yīng)于四層可縮放性結(jié)構(gòu)包含15fps的QCIF信號(hào)的層LO;包含30fps的QCIF信號(hào)增強(qiáng)的層L1;包含15fps的CIF信號(hào)增強(qiáng)的層S0;以及包含30fps的CIF信號(hào)增強(qiáng)的層的層S1。四層可縮放性結(jié)構(gòu)中的編碼依存關(guān)系可能是這樣的LO是基層，L1依賴于L0，SO依賴于LO，而Sl依賴于L1和SO兩者。系統(tǒng)100必須向系統(tǒng)組件描述這種四層結(jié)構(gòu)以使得它們可適當(dāng)?shù)靥幚硪曨l信號(hào)SVC提供了用于通過(guò)其可縮放性信息SEI消息(SSEI)描述經(jīng)SVC編碼的視頻比特流的可縮放性結(jié)構(gòu)的機(jī)制。補(bǔ)充增強(qiáng)信息(SEI)消息是包含在SVC比特流中的數(shù)據(jù)結(jié)構(gòu)，這些消息提供了關(guān)于經(jīng)編碼的視頻信號(hào)的、但并非解碼過(guò)程的操作所必需的輔助性信息。在SVCJD5規(guī)范的章節(jié)F.10丄l中定義的SSEI包括關(guān)于每個(gè)層的描述性信息(例如，幀速率、概況信息)，以及重要的編碼依存性信息，即給定層依賴于哪些其它層來(lái)進(jìn)行適當(dāng)解碼。在比特流的范圍內(nèi)，每個(gè)層由唯一"層id"來(lái)標(biāo)識(shí)。特定層的編碼依存性信息是通過(guò)編碼直接依賴層的數(shù)目(num—directly—dependent—layers(數(shù)目—直接—依賴—層))以及一系歹U不同的值(directly—dependent—layer—id—delta(直接—依賴—層—id—△))來(lái)傳達(dá)的，在它們被添加到特定層的層id時(shí)就標(biāo)識(shí)該特定層進(jìn)行解碼所依賴的層的層id。設(shè)計(jì)如在SVCJD5規(guī)范的章節(jié)F.10丄l中定義的SSEI以實(shí)現(xiàn)能力協(xié)商(例如，在連接建立期間)、流適應(yīng)(通過(guò)視頻服務(wù)器或中間媒體網(wǎng)關(guān))、以及低復(fù)雜度處理(例如，沒(méi)有基于詳細(xì)比特流解析的推斷)。然而，SSEIJD5設(shè)計(jì)具有若干限制，這在近距離檢查必用在通信系統(tǒng)中使用SSEI消息信息的方法時(shí)變得很明顯。在通信系統(tǒng)(例如，系統(tǒng)100)的操作中，可以有其中所傳送的流的結(jié)構(gòu)被構(gòu)建或更改(或者在服務(wù)器/源或者在媒體網(wǎng)關(guān)處)的若干實(shí)例。一在能力協(xié)商期間的初始定義。媒體服務(wù)器提供一組可縮放性層，而客戶端或者直接或者經(jīng)由協(xié)商過(guò)程(例如，使用會(huì)話描述協(xié)議(SDP))接受其全部或子集?！擅襟w服務(wù)器或媒體網(wǎng)關(guān)對(duì)分層結(jié)構(gòu)進(jìn)行更改以適應(yīng)改變的系統(tǒng)狀況(例如，媒體網(wǎng)關(guān)與客戶端之間增加的分組丟失或客戶端處期望顯示分辨率的改變)。一歸因于編碼器決定而對(duì)分層結(jié)構(gòu)進(jìn)行的更改。此類編碼器決定的示例涉及細(xì)粒度可縮放性(FGS)、用于提供保真度可縮放性"~~其中FGS層比特流的一部分可用于產(chǎn)生縮減的質(zhì)量下的信號(hào)的——的機(jī)制。作為在SVCJD5中設(shè)計(jì)FGS的方式的結(jié)果，使層依存性在從一個(gè)畫(huà)面到下一個(gè)(或者實(shí)際上，從一個(gè)切片變成下一個(gè))時(shí)改變是可能的。具體地，考慮在給定層處采用使用FGS的較低層作為參考來(lái)執(zhí)行預(yù)測(cè)以及預(yù)測(cè)僅基于該較低層的一部分的情形。在此情形中，相同層的不同畫(huà)面可依賴于不同較低層是可能的，因?yàn)槟承佑捎诼士刂贫鴷?huì)被完全消去。一種不會(huì)改變層依存性結(jié)構(gòu)的可能的解決方案是使用空NAL單元。然而，這在SVCJD5中是不允許的。這種情形被視為類似于緊鄰的前一個(gè)層，而不同之處在于層依存性在時(shí)標(biāo)上發(fā)生的改變是極大的(每個(gè)切片)。能力協(xié)商是SVC規(guī)范的范圍之外的通信系統(tǒng)特征，而可縮放編碼是通用的。諸如IP電話等相關(guān)通信應(yīng)用領(lǐng)域已開(kāi)發(fā)了用于能力協(xié)商的大量程序。例如，基于會(huì)話發(fā)起協(xié)議(SIP)的通信系統(tǒng)使用基于SDP的要約/回應(yīng)。注意對(duì)這種能力協(xié)商功能單獨(dú)使用SSEI是不必要的。根據(jù)本發(fā)明，SSEI不僅應(yīng)當(dāng)指示編碼器能夠產(chǎn)生什么，還應(yīng)當(dāng)較佳地指示在所傳送的比特流中實(shí)際(或?qū)?包含什么。根據(jù)本發(fā)明，在此方面，SSEI被更改成定義比特流的整體可縮放性信息結(jié)構(gòu)，該結(jié)構(gòu)被認(rèn)為是有效的，除非另外通知。對(duì)分層結(jié)構(gòu)的更改(即，流適應(yīng)性調(diào)整)可在媒體服務(wù)器/編碼器或者中間媒體網(wǎng)關(guān)(可能存在一個(gè)以上的此類媒體網(wǎng)關(guān))處的通信系統(tǒng)的操作中發(fā)生。流適應(yīng)性調(diào)整的示例是其中客戶端/接收器120決定切換或改變分辨率(例如，從CIF到QCIF)的情形。分辨率的切換或改變是通過(guò)在媒體網(wǎng)關(guān)140或傳送服務(wù)器110處丟棄相應(yīng)分組來(lái)實(shí)現(xiàn)的。對(duì)分辨率的改變的觸發(fā)是使用傳統(tǒng)信令(如在圖1中示為信令路徑150)來(lái)完成的。對(duì)于適當(dāng)?shù)那袚Q操作的一個(gè)重要考慮是何時(shí)可信令通知客戶端/服務(wù)器120所請(qǐng)求的改變已發(fā)生。在缺乏任何此類信令通知的信息時(shí)，客戶端/接收機(jī)120將在某個(gè)時(shí)間僅接收總分組或比特(對(duì)應(yīng)于QCIF分辨率的)的子集。然而，無(wú)法得知高分辨率分組或比特的丟失是有意的(其請(qǐng)求的結(jié)果)還是歸因于分組或比特丟失。與單環(huán)路解碼有關(guān)的考慮會(huì)惡化這個(gè)問(wèn)題，因?yàn)樵诓淮嬖谀繕?biāo)層數(shù)據(jù)的情況下，較低層畫(huà)面可能在客戶端/接收器120處不能被顯示。如前所述的此類切換信息可通過(guò)以傳統(tǒng)方式(例如，經(jīng)由信令路徑150)從媒體服務(wù)器或媒體網(wǎng)關(guān)到客戶端/接收器120信令信息來(lái)提供。然而，本發(fā)明認(rèn)識(shí)到，如果分層結(jié)構(gòu)信息與編碼數(shù)據(jù)一起在帶內(nèi)被運(yùn)送，則有相當(dāng)多的益處(例如，在同步或?qū)Σ铄e(cuò)狀況的響應(yīng)時(shí)間的方面)。分層結(jié)構(gòu)信息(對(duì)消息的改變)可在經(jīng)更改的SSEI消息中被帶內(nèi)攜帶。另一個(gè)歸因于改變的系統(tǒng)狀況的流適應(yīng)性調(diào)整的示例涉及對(duì)網(wǎng)絡(luò)引起的分組丟失的適應(yīng)性調(diào)整。在此情形中，媒體網(wǎng)關(guān)可決定使用質(zhì)量可縮放性特征改變或縮減例如所傳送的流的帶寬。再次為了適當(dāng)操作，必須及時(shí)地通知或指令客戶端/接收器120關(guān)于要接收的流中的改變。改變的分層結(jié)構(gòu)信息可與編碼信息一起及時(shí)地在經(jīng)更改的SSEI消息中帶內(nèi)攜帶。類似于流適應(yīng)性調(diào)整的情形是編碼器驅(qū)動(dòng)的層結(jié)構(gòu)改變的情形。與以上討論的流適應(yīng)性調(diào)整的情形相比，編碼器驅(qū)動(dòng)的層結(jié)構(gòu)改變并非響應(yīng)于系統(tǒng)參數(shù)改變而由客戶端或媒體服務(wù)器發(fā)起，而是代之以由視頻編碼器所用的編碼過(guò)程的"偽像"引起。類似于信號(hào)適應(yīng)性調(diào)整情形，關(guān)于分層結(jié)構(gòu)的改變的信息可與編碼數(shù)據(jù)一起經(jīng)由經(jīng)更改的SSEI消息在帶內(nèi)及時(shí)信令通知以便與媒體網(wǎng)關(guān)和解碼器進(jìn)行適當(dāng)?shù)耐健Ｇ笆銮樾沃邢到y(tǒng)100的操作的考慮表明在通信會(huì)話期間需要在不同時(shí)間以及在可能與切片級(jí)一樣高的時(shí)標(biāo)(或頻率)上提供可縮放信息消息。注意僅當(dāng)使使用可縮放性信息消息(例如經(jīng)由經(jīng)更改的SSEI消息)時(shí)的開(kāi)銷十分小時(shí)，提供該消息才是實(shí)用的。此外，由于由給定服務(wù)器或網(wǎng)關(guān)支持的客戶端的數(shù)目在通信系統(tǒng)中出于經(jīng)濟(jì)目的常常被最大化，因此在解析以及生成有關(guān)消息時(shí)使通信系統(tǒng)中的計(jì)算負(fù)擔(dān)最小化顯然是可取的。注意SVCJD5規(guī)范規(guī)定僅在即時(shí)解碼刷新(IDR)接入單元(章節(jié)F.10.2.1)處使用SSEI。IDR接入單元與幀內(nèi)畫(huà)面等效，它具有相當(dāng)大的比特率開(kāi)銷，并且通常在交互式視頻通信系統(tǒng)中僅被使用一次(僅用于第一畫(huà)面的解碼)。這種限制進(jìn)一步阻止了對(duì)信號(hào)可縮放性信息改變使用標(biāo)準(zhǔn)SSEI。由于SSEI的主要用途之一是幫助服務(wù)器和媒體網(wǎng)關(guān)適當(dāng)處理SVC流，因此如果此類消息的處理復(fù)雜度被最小化則是有益的。這通常使用固定長(zhǎng)度字段以及盡可能少的選項(xiàng)來(lái)實(shí)現(xiàn)。為了最小化與SSEI消息相關(guān)聯(lián)的比特率開(kāi)銷，這種簡(jiǎn)化與有效壓縮的需要相抵觸。如果SSEI消息傳輸?shù)牧６仁指?如以上所述的，可能在切片級(jí))，則編碼效率特別重要。鑒于壓縮的觀點(diǎn)，已對(duì)SSEI信息的更有效表示給出提議。(參見(jiàn)例如通過(guò)引用全部結(jié)合于此的2006年1月I.Amonou、N.Cammas、S.Kervadec和S.Pateux在尼斯(Nice)、曼谷的聯(lián)合視頻小組的Doc.JVT-R068的"ImprovedSignalingofScalabilityInformation(改進(jìn)的可縮放性信息的信令)")。然而，所提議的表示基于相當(dāng)可觀的計(jì)算復(fù)雜度。例如，前述Doc.JVT-R068提出了在使用大量可縮放層時(shí)顯示縮減約50%開(kāi)銷的表示。所提議的表示基于在編碼不同層時(shí)的樹(shù)結(jié)構(gòu)方法，其中每個(gè)節(jié)點(diǎn)級(jí)對(duì)應(yīng)于三個(gè)可縮放性維度(依次為空間、時(shí)間和質(zhì)量)中的一個(gè)。呈現(xiàn)點(diǎn)對(duì)應(yīng)于樹(shù)的葉子。相反，SVCJD5語(yǔ)法基于對(duì)以任意次序編碼的呈現(xiàn)點(diǎn)的連續(xù)解析。這類似于僅對(duì)Doc.JVT-R068中所提到的樹(shù)結(jié)構(gòu)的葉子進(jìn)行解析，并注意其缺陷在于，某些信息被非必要地從一個(gè)層復(fù)制到下一層。在基于樹(shù)的方法中，具有共同祖先的葉子無(wú)需復(fù)制由其共同父親表示的信息。然而，這種不必要的復(fù)制可通過(guò)在創(chuàng)建SSEI時(shí)對(duì)選項(xiàng)標(biāo)記采取明智使用的替換性編碼方法來(lái)避免。例如，當(dāng)僅temporalJevel(時(shí)間—級(jí))從一個(gè)層到下一層改變時(shí)，實(shí)際上直接推斷兩個(gè)層中的幀大小是相同的并由此幀大小僅需被提供一次(例如，在最低層)。在使用前述兩種方法(即，Doc.JVT-R068和具有任選標(biāo)記的編碼的替換解釋SVCJD5語(yǔ)法)的情況下，注意"計(jì)算-壓縮"權(quán)衡并非是理想的。與這些方法相比，本發(fā)明采用基于層依存性信息的差分編碼的技術(shù)，以使得層可隨意添加、替換或移除。與前述方法相比，本發(fā)明技術(shù)同時(shí)將比特率開(kāi)銷和計(jì)算復(fù)雜度縮減至最低水平。可參照將用于輸送必要SSEI信息的本發(fā)明技術(shù)應(yīng)用于其中假定在通信系統(tǒng)中的服務(wù)器、網(wǎng)關(guān)或客戶端處獲得初始SSEI并將其作為狀態(tài)信息來(lái)維護(hù)的示例來(lái)理解本發(fā)明技術(shù)。從SSEI狀態(tài)移除一個(gè)層或?qū)拥淖蛹璧谋忍厥鞘稚俚?，因?yàn)閮H需傳送足夠的"差分"信息來(lái)標(biāo)識(shí)將截短SSEI信息結(jié)構(gòu)的層。換言之，可基于對(duì)所指示的層的標(biāo)識(shí)來(lái)從狀態(tài)信息消去該層以及依賴于其的所有層。類似地，為了將新的層或新的層集添加到SSEI狀態(tài)，僅傳送與要添加的層有關(guān)的差分信息就足夠了。通過(guò)設(shè)計(jì)，此方法消除了與將分層結(jié)構(gòu)信息的編碼從一個(gè)SSEI實(shí)例復(fù)制到下一實(shí)例有關(guān)的所有開(kāi)銷。與SSEI信息的編碼相關(guān)聯(lián)的總比特率中歸因于這種差分編碼的縮減允許對(duì)所需的消息使用簡(jiǎn)單的編碼結(jié)構(gòu)，以使得由媒體無(wú)意識(shí)(至少在視頻編碼級(jí)或H.264術(shù)語(yǔ)中的VLC)網(wǎng)關(guān)對(duì)它們進(jìn)行的解析可被簡(jiǎn)化。注意本技術(shù)的確作出關(guān)于這些SSEI消息將如何被輸送或——更重要的——它們是否以及如何被可靠輸送的任何假設(shè)。如果相同消息被接收到一次以上，則僅確保狀態(tài)一致性是足夠的。SSEI消息可以任何合適的方式用層結(jié)構(gòu)信息來(lái)補(bǔ)充。在此描述了兩個(gè)實(shí)施例(實(shí)施例A和B)。在實(shí)施例A中，SSEI通過(guò)三個(gè)附加可縮放性信息控制SEI消息——對(duì)應(yīng)于添加、替換或移除一個(gè)或多個(gè)層的操作——來(lái)補(bǔ)充。這些操作被累積地應(yīng)用；換言之，基于應(yīng)用所指示的操作假定的輸入狀態(tài)是就在該操作之前有效的狀態(tài)。在替換實(shí)施例(實(shí)施例B)中，SSEI信息通過(guò)分別指示哪些層不存在以及哪些層已改變了解碼依存性信息的兩個(gè)附加可縮放性信息控制SEI消息來(lái)補(bǔ)充。與實(shí)施例A的累積操作相比，實(shí)施例B中的操作不以累積方式來(lái)應(yīng)用，而是代之以假定應(yīng)用所指示的操作的輸入狀態(tài)是由最近SSEI消息所構(gòu)建的狀態(tài)。在SEI消息可能經(jīng)歷丟失的環(huán)境中，實(shí)施例B可能是較佳的。在此情形中，在會(huì)話建立期間，初始SSEI可使用可靠輸送機(jī)制來(lái)傳達(dá)給接收器或媒體網(wǎng)關(guān)。如同在實(shí)施例A中那樣，在實(shí)施例B中，任何介入可縮放性信息控制消息的丟失將不影響接收器或媒體網(wǎng)關(guān)的狀態(tài)信息實(shí)施例B。本發(fā)明的實(shí)施例A引入SVCJD5的附錄D(章節(jié)D.l)中的三個(gè)新的SEI有效載荷類型。scalability—info—add(可縮放性—信息—添加)(有效載荷類型26)，它將一個(gè)或多個(gè)層添加到現(xiàn)有SSEI信息結(jié)構(gòu)中；scalability—info—replace(可縮放性—信息—替代)(有效載荷類型27)，它替代現(xiàn)有SSEI信息結(jié)構(gòu)的一個(gè)或多個(gè)層；以及scalability—info—delete(可縮放性—信息—?jiǎng)h除)(有效載荷類型28)，它從現(xiàn)有SSEI信息結(jié)構(gòu)中刪除一個(gè)或多個(gè)層。用于'添加，和'替代'版本的語(yǔ)法與基本scalability—info(可縮放性—信息)結(jié)構(gòu)的相同。僅所包含數(shù)據(jù)的語(yǔ)義被改變，且僅根據(jù)SSEI狀態(tài)管理如何被執(zhí)行來(lái)改變(換言之，各個(gè)字段解釋保留相同)。'刪除'版本的語(yǔ)法可以是簡(jiǎn)單的，因?yàn)樗鼉H需要標(biāo)識(shí)要移除層的層id。注意'替代'版本主要對(duì)處理層依存性信息中的改變有用。由于沒(méi)有其它信息需要被編碼，因此可使此類消息的大小十分小(例如，取決于層的數(shù)目，約為30-40比特的數(shù)量級(jí))。在以下，使用術(shù)語(yǔ)"SSEI信息"指這四種可縮放性信息中的任一種，除非另外指出。由于當(dāng)前SVCJD5規(guī)范規(guī)定僅在IDR接入單元處使用SSEI(章節(jié)F.10.2.1)，因此在本發(fā)明中，允許SSEI信息在任何接入單元的起始處出現(xiàn)。當(dāng)SPS(SVC中的序列參數(shù)集)參數(shù)nal_extension—flag(nal—擴(kuò)展—標(biāo)記)被設(shè)為0時(shí)，在該SPS中定義所有層的dependencyjd(依存性—id)、temporal—level(時(shí)間—級(jí))、以及qualityjevel(質(zhì)量_級(jí))值(在此稱為DTQ值)(章節(jié)F.7.3.2)。如果NAL語(yǔ)法元素extension—flag(擴(kuò)展—標(biāo)記)為0，則給定NAL單元與這些值的關(guān)聯(lián)是使用simple_priority_id(簡(jiǎn)單—優(yōu)先級(jí)一id)來(lái)執(zhí)行的。如果extension—flag為1，則根據(jù)當(dāng)前規(guī)范，simple_priority—id被忽略，并且DTQ參數(shù)的NAL報(bào)頭值被使用。注意當(dāng)profile—idc(概況—idc)不等于83時(shí)，則類型20和21的所有NAL單元必須置位其extension_flag(章節(jié)F.7.4.2)。如果假定在SPS級(jí)，nal—extension—flag被設(shè)為0，則所有SVCNAL報(bào)頭將僅采用simple_priority—id而非整個(gè)DTQ集。為了允許服務(wù)器或網(wǎng)關(guān)處理NAL流，必須解析兩個(gè)消息。SSEI提供了詳細(xì)的分層信息，而SPS將特定層映射到優(yōu)先級(jí)id值?？雌饋?lái)沒(méi)有要在SPS包括此信息的強(qiáng)制性理由，并且實(shí)際上存在不如此進(jìn)行的若干個(gè)理由。一旦檢査到包含在SPS中的其余信息，就會(huì)注意到它們都不涉及輸送問(wèn)題。相應(yīng)地，在本發(fā)明下，SPS的相關(guān)部分可被移除，并且代之以將其編碼移到SSEI。naLextension一flag的使用較佳地應(yīng)當(dāng)是流范圍的，換言之，不應(yīng)當(dāng)允許具有擴(kuò)展NAL報(bào)頭和不具有擴(kuò)展NAL報(bào)頭的NAL共存。盡管理論上，實(shí)現(xiàn)這種能力可能看起來(lái)會(huì)提供更大的靈活性，但是實(shí)際上這種能力使得服務(wù)器和網(wǎng)關(guān)的操作變得復(fù)雜且沒(méi)有真正實(shí)質(zhì)的益處。結(jié)果，在本發(fā)明下，對(duì)nal—extension_flag的編碼并非是每個(gè)層地進(jìn)行的，而是每個(gè)SSEI進(jìn)行的。這與其中以每個(gè)SPS為基礎(chǔ)進(jìn)行編碼的SVCJD5相一致。通過(guò)在SSEI級(jí)進(jìn)行simple_priority_id編碼，不再需要令DTQ值的編碼為任選的，并且結(jié)果SSEI的相應(yīng)標(biāo)記(decoding—dependency—info_present—flag(解碼—依存性j言息—存在—標(biāo)記))可被移除。先前己注意到SVC是H.264AVC視頻編碼標(biāo)準(zhǔn)的可縮放視頻編碼擴(kuò)展(附錄F)。AVC兼容層意味著在沒(méi)有simple_priority—id或DTQ字段擴(kuò)展的情況下使用NAL單元報(bào)頭。根據(jù)SVCJD5規(guī)范，值被假定為0。在本發(fā)明中，在SSEI級(jí)信令simple_priority—id或DTQ字段擴(kuò)展的值。表1示出了根據(jù)本發(fā)明的原理對(duì)SVCJD5規(guī)范的章節(jié)F.7.3.2——序列參數(shù)集SVC擴(kuò)展語(yǔ)法——作出的示例性語(yǔ)法改變。這些改變包括與優(yōu)先級(jí)id和DTQ有關(guān)的語(yǔ)法元素的移除。表I<table>tableseeoriginaldocumentpage19</column></row><table>表II示出了根據(jù)本發(fā)明的原理在附錄D，D.l，SEI有效載荷類型語(yǔ)法中作出的示例性語(yǔ)法改變(添加)。對(duì)應(yīng)于添加、替代和刪除操作添加了三個(gè)新的有效<table>tableseeoriginaldocumentpage20</column></row><table>表III示出了根據(jù)本發(fā)明的原理在章節(jié)F.10丄l——可縮放性信息SEI消息語(yǔ)法——中作出的示例性語(yǔ)法改變。注意到了nal—unit_extension_flag(nal—單元j廣展—標(biāo)記)的引入(從SPS移入)，以及avc_compatible—flag(avc—兼容—標(biāo)記)的引入。此外，注意到對(duì)于非AVC層，總是存在DTQ編碼，并且如果nal—unit—extension—flag未被設(shè)置(即，當(dāng)NAL單元不攜帶顯式DTQ信息時(shí))，構(gòu)建DTQ關(guān)聯(lián)的priority—id。表III<table>tableseeoriginaldocumentpage21</column></row><table><table>tableseeoriginaldocumentpage22</column></row><table>也可對(duì)SSEI消息語(yǔ)法元素的語(yǔ)義解釋作出相應(yīng)改變(SVCJD5規(guī)范的章節(jié)F.10.2.1——可縮放性信息SEI消息語(yǔ)義)。具體地，IDR接入單元放置約束被移除。此外，當(dāng)存在時(shí)，SSEI消息將對(duì)其之后的所有NAL單元起作用，并且替代對(duì)于當(dāng)前流有效的任何以及所有先前的可縮放性信息。消息的語(yǔ)義是有效的，直至類型為scalabilityjnfo(可縮放性_信息)、scalability—info_add(可縮放性—信息_添力[])、scalability—info—replace(可縮放性—信息—替代)或scalabilityjnfo—del(可縮放性—信息—?jiǎng)h除)的下一SEi消息。值為0的nal一unit一extension—flag[i]的語(yǔ)義指定dependency—id[i]、temporal—level[i]、禾口quality—id[i]至U層layer一id[i]的simple_priority_id[i]的映射被包括在此可縮放性信息SEI消息中。等于1的nal一unit—extension—flag指定simple_priority—id[i]參數(shù)不存在。當(dāng)nal—unit—extension—flag不存在日寸，推斷出其等于1。在此可縮放性信息SEI消息之后的具有等于20和21的nal—unit—type(nal—單元一類型)的所有NAL單元的NAL單元語(yǔ)法元素extension—flag應(yīng)當(dāng)?shù)扔趎al—unit—extension—flag。當(dāng)profile_idc不等于83(標(biāo)識(shí)SVC)時(shí)，引用當(dāng)前序列參數(shù)集的具有等于20和21的nal_unit—type的所有NAL單元的語(yǔ)法元素extension—flag應(yīng)當(dāng)?shù)扔?。此外，不允許在任何后續(xù)scalability_info_add或scalability—info_replace消息中的nal—unit—extension—flag的值不同，除非首先通過(guò)scalability—info消息進(jìn)行更改。avc_compatible—flag[i]的語(yǔ)義是等于1的值指定層layerjd[i]遵從AVC規(guī)范。當(dāng)avc—compatible一flag[i]等于0時(shí)，當(dāng)前層遵從SVC規(guī)范。當(dāng)avc—compatible—flag[i]等于1時(shí)，NAL單元報(bào)頭不攜帶擴(kuò)展報(bào)頭信息。當(dāng)avc—compatible—flag等于1日寸，貝U當(dāng)前層i的dependency—id[i]、temporal—level[i]和quality—level[i]的值全部被假定為0。priority—id[i]的語(yǔ)義是它指定在語(yǔ)法元素dependency—id、temporal—level禾O(píng)quality—level(如在SVCJD5規(guī)范的章節(jié)F.7.4.1中指定的)的推斷過(guò)程中要使用的simple_priority—id值。對(duì)于priority—id[i]的所有值，其dependency—id[i]、temporal—level[i]禾卩quality—level[i]不存在，貝ij應(yīng)當(dāng)推斷dependency—id[i]、temporal—level[i]禾口quality—level[i]等于0。最后，temporal—level[i]、dependency—id[i]和qualityJevd[i]分別等于具有等于i的層標(biāo)識(shí)符的可縮放層中NAL單元白勺temporal—level、dependency—id禾卩quality—level。女口果temporal—level[i]、dependency—id[i]禾口quality—level[i]不存在，貝寸它們被假定為0。新的SEI'scalabilityjnfo—add'消息的語(yǔ)法與'scalability—info，SEI消息的相同。根據(jù)其語(yǔ)義，在存在時(shí)，此SEI消息將對(duì)之后的所有NAL單元起作用。它將多個(gè)層添加到當(dāng)前有效的可縮放性信息。如果接收機(jī)處維護(hù)的可縮放性信息中已存在此消息中描述的層的layer—id,則該層的整體信息被刪除，且在其位置使用此消息中包含的信息。在應(yīng)用了此消息之后有效的可縮放性信息狀態(tài)保持有效，直至類型為scalability—info、scalability—info_add、scalabilityjnfo—replace或scalability—info—del的下一SEI消息。所有字段的語(yǔ)義與scalabilityjnfo的相同。新的SEI'scalability—infojeplace，消息的語(yǔ)法與'scalability_info，SEI消息的相同。根據(jù)其語(yǔ)義，在存在時(shí)，此SEI消息將對(duì)其之后的所有NAL單元起作用。它替代了當(dāng)前有效的可縮放信息中多個(gè)層——如其layerjd所指定的——的信息。僅包含在消息中的信息被替代；未被給定消息更改的任何先前設(shè)置實(shí)際上保持未更改。在應(yīng)用了此消息之后有效的可縮放性信息狀態(tài)保持有效，直至類型為scalability_info、scalability—info—add、scalability—info—replace或scalability—info_del的下一SEI消息。所有字段的語(yǔ)義與scalability_info的相同。表IV示出了根據(jù)本發(fā)明的原理的新的'scalability—info—del，SEI消息的示例性語(yǔ)法。如表中所示，消息包括要考慮從比特流中移除的層的層id的列表。在存在時(shí)，此SEI消息將對(duì)在其之后的所有NAL單元起作用。它刪除了當(dāng)前有效的可縮放信息中多個(gè)層——如其layer—id所指定的——的信息。在應(yīng)用了此消息之后有效的可縮放性信息狀態(tài)保持有效，直至類型為scalability—info、scalability—info—add、scalability—info_replace或scalability—info一del的下一SEI消息。所有字段的語(yǔ)義與scalability—info的相應(yīng)語(yǔ)義相同。表IV<table>tableseeoriginaldocumentpage24</column></row><table>圖2示出了實(shí)施例A中的示例性狀態(tài)處理算法200的流程圖。接收器的初始層結(jié)構(gòu)狀態(tài)(State(狀態(tài)))為空。在步驟22，接收器從比特流或者通過(guò)諸如信令的替換手段獲得可縮放信息SEI消息。所獲得的scalability—infoSEI消息可充當(dāng)初始化SSEI消息并用于初始化State。類似獲得的'添加'、'刪除'和'替代'可縮放性信息SEI消息可分別對(duì)當(dāng)前狀態(tài)添加、移除或更改一個(gè)或多個(gè)層。注意多個(gè)層可能受到這些消息的每一個(gè)的影響。然而，為了清晰起見(jiàn)，圖2中的示圖示出了對(duì)單個(gè)層(層(i))的影響。在某些通信或通信環(huán)境中，SSEI信息消息的傳達(dá)可能從不與視頻數(shù)據(jù)一起處于帶內(nèi)，但是總是在會(huì)話建立期間或通過(guò)其它可靠通信手段被傳達(dá)。由于視頻數(shù)據(jù)可能通過(guò)具有非零分組丟失率的信道輸送，因此期望確保這種關(guān)鍵信息不會(huì)經(jīng)歷可能的丟失。對(duì)于這種通信系統(tǒng)或通信環(huán)境，在本發(fā)明的替換性實(shí)施例B中，可縮放性信息可由在SDP協(xié)商期間提供或者在IDR接入單元中存在(例如，以文件格式)的scalability_infoSEI消息來(lái)構(gòu)建。在此類scalabilityjnfoSEI消息中的信息構(gòu)建可縮放信息直至序列的末端、或者直至接收到另一scalabilityjnfoSEI消息、或在SDP的情形中重新協(xié)商。除層間的內(nèi)部依存性之外，可縮放性信息不允許在那段時(shí)間內(nèi)改變。實(shí)施例B相對(duì)于實(shí)施例A的另一不同之處是關(guān)于處理狀態(tài)管理的方法。在實(shí)施例A中，以累積方式應(yīng)用狀態(tài)改變，這具有單個(gè)消息的丟失可能破壞狀態(tài)信息的缺點(diǎn)。在替換性實(shí)施例B中，狀態(tài)改變總是參照最近scalability—infoSEI消息來(lái)應(yīng)用，并且丟失影響不會(huì)被混合。在實(shí)施例B中，'添加'SSEI消息未被使用，而'刪除'SSEI消息被重新命名為'layers—notpresent(層_不存在)，。'layers_notpresent，SSEI消息指示在始于包含SEI消息的接入單元的比特流中將不存在特定層以及所有依賴層。哪些層不存在的指示總是相關(guān)于當(dāng)前活躍的scalability—infoSEI消息來(lái)執(zhí)行。注意用于在特定層已被移除之后指示該特定層已被添加的方便機(jī)制是傳送移除除被添加的特定層之外的所有當(dāng)前不存在的層的'layers_notpresent'消息。作為示例性示例，假定具有3個(gè)層——編號(hào)為0、1、2——的比特流。進(jìn)一步假定在初始傳送所有3個(gè)層之后，媒體服務(wù)器傳送指示層1和層2不存在的'layers—notpresent'消息。在此情形中，層1可在稍后時(shí)間通過(guò)傳送指示僅層2不存在的'layers—notpresent'消息來(lái)添加。實(shí)際上，這指示層1已被添加。媒體服務(wù)器(或媒體網(wǎng)關(guān))可在傳送此'layers—notpresent，SEI消息之后立即開(kāi)始傳送層1信息。在實(shí)施例B中，第一實(shí)施例的'替代'SSEI消息被改成'dependency—change(依存性—改變)'消息?？煽s放性信息依存性改變SEI消息指示特定layerjd的層依存性已被改變，并提供新的層依存性信息。依存性改變SSEI消息的語(yǔ)法不允許在與可縮放性信息相關(guān)聯(lián)的信息中有其它改變。表V示出了取代SVCJD5規(guī)范的章節(jié)D.l中的語(yǔ)法的備選的新SEI有效載荷類型scalability—infoJayers—notpresent(可縮放性_信息—層—不存在)(編號(hào)26)禾口scalability—info—dependency—change(可縮放性_信息_依存性—改變)(編號(hào)27)的示例性語(yǔ)法。與實(shí)施例A相比，在實(shí)施例B中，允許僅在IDR畫(huà)面存在可縮放性信息SEI消息。除層依存性信息之外，消息的語(yǔ)義是有效的直至下一相同類型的SEI消息。表V替換性SEI有效載荷類型seipayload(payloadType，payloadSize){C描述符if(payloadType==0)Bufferingperiod(payloadSize)5elseif(payloadType==l)5elseif(payloadType==22)scalability—info(payloadSize)/承在附錄F中規(guī)定*/5elseif(payloadType==26)scalabiIity_info—layers—notpresent(payloadSize)/*在附錄F中規(guī)定承/5elseif(payloadType==27)scalability—info—dependency—change(payloadSize)/*在附錄F中規(guī)5elsereserved—sei—message(payloadSize)5if(!byte—aligned(》{bit—equal—to—one/*等于1*/5f(l)while(!byte—aligned(》bit—equal—to—zero/*等于0*/5f(l)特定層可用scalability_info—layers—notpresentSEI消息指示為非活躍(不再存在于比特流中)。在表VI中示出了此消息的示例性語(yǔ)法。表VI可縮放性信息層不存在SEI消息scalabilityinfolayersnotpresent(payloadSize){c描述符numlayers5ue(v)for(I==0;i<numlayers;i++){layer—id[i]5u(8)在存在時(shí)，此SEI消息將對(duì)在其之后的所有NAL單元起作用。該消息指示由其layerjd標(biāo)識(shí)的指定層將不存在于比特流中。在應(yīng)用了此消息之后有效的可縮放性信息狀態(tài)保持有效，直至類型為scalability—info或scalability—info_layers_notpresent的下一SEI消息。num—layers(數(shù)目—層)指示在解碼此SEI消息之后比特流中將不存在的可縮放層或呈現(xiàn)點(diǎn)的數(shù)目。num—layers的值在0到255(包括0和225)的范圍內(nèi)。當(dāng)num—layers具有值0時(shí)，其指示所有層都存在。layer—id[i]指示被標(biāo)識(shí)為比特流中不存在的可縮放層的標(biāo)識(shí)符。該消息簡(jiǎn)單地包括被標(biāo)識(shí)為不存在的層的列表。表VII示出了scalability—info—dependency—changeSEI消息的示例性語(yǔ)法。在存在時(shí)，此SEI消息將對(duì)在其之后的所有NAL單元起作用。特定層的層依存性信息包括由解碼語(yǔ)法元素num—directly_dependent_layer(數(shù)目—直接—依賴_層)、directly—dependent—layer—id—delta—minul(直接—依賴—層—id—△—減1)、或替換性新語(yǔ)法元素layer—dependency—info—src_layer—id_delta_minul(直接—依存性_信息—源—層jd—A—減1)產(chǎn)生的信息。此新的元素允許系統(tǒng)標(biāo)識(shí)具有與目前層相同的層依存性信息的另一層的層id(通過(guò)編碼層id差分減1)。表VII<table>tableseeoriginaldocumentpage28</column></row><table>scalability—info—dependency—changeSEI消息指示由其layer—id標(biāo)識(shí)的指定層的層依存性信息將按此消息的內(nèi)容所指定地改變。在應(yīng)用了此消息之后有效的可縮放性信息狀態(tài)保持有效，直至類型為scalability—info或scalability—info—dependency—change的下一SEI消息。num—layers—minus1加1指示其層依存性信息在解碼了此SEI消息之后將改變的可縮放層或呈現(xiàn)點(diǎn)的數(shù)目。num—layers一minusl的值在0到255(包括0和255)的范圍內(nèi)。layer—id[i]指示其層依存性信息將改變的可縮放層的標(biāo)識(shí)符。等于1的layer—dependency—infojresent—flag[i](層—依存性—信息—存在—標(biāo)記)指示在SEI消息中存在具有等于layer—id[i]的層標(biāo)識(shí)符的可縮放層的層依存性信息。值0指示具有等于i的層標(biāo)識(shí)符的可縮放層的層依存性信息在SEI消息中不存在，且與由layer—dependency—info—src—layer—id—delta—minus1[i]指示的另一層的一樣。num—directly—dependent—layers[i]指示具有等于layer—id[i]的層標(biāo)識(shí)符的可縮放層直接依賴的可縮放層的數(shù)目。例如，如果層M中有使用來(lái)自層Q的層間預(yù)測(cè)的至少一個(gè)經(jīng)編碼的畫(huà)面，則層M直接依賴于層Q。num—directly—dependent—layers的值在0到255(包括0和255)的范圍內(nèi)。directly—dependent—layer—id_delta—minusl[i][j]指示layer一id[i]與具有等于layer—id[i]的層標(biāo)識(shí)符的可縮放層直接依賴的第j個(gè)可縮放層的層標(biāo)識(shí)符和i之間的差。直接依賴可縮放層的層標(biāo)識(shí)符等于(layer—id[i]-directly—dependent」ayer_id—delta_minus1[i]-1)。layer—dependency—info—src—layer—id_delta—minus1[i]指定層標(biāo)識(shí)符等于layer—id[i]的層具有與層標(biāo)識(shí)符等于(layer—id[i]-layer—dependency—info—src—layer—id—delta—minus1[i]-1)的層相同的層依存性信息。圖3示出了實(shí)施例B中的示例性狀態(tài)處理算法300的流程圖。接收器的初始層結(jié)構(gòu)狀態(tài)(State)為空。在步驟33，接收器從比特流或者通過(guò)諸如信令的替換手段獲得可縮放性信息.SEI消息。scalabilityjnfoSEI消息充當(dāng)初始化SSEI消息并用于初始化該狀態(tài)。'layers—notpresent'和'dependency一change'消息分別將一個(gè)或多個(gè)層標(biāo)記為不存在或更改其解碼依存性信息。注意在此替換性實(shí)施例B中，通過(guò)非初始化消息既未添加也未移除層。這確保狀態(tài)一致性(解碼依存性可能例外)，只要初始化消息被可靠地接收到即可。注意多個(gè)層受到這些消息的每一個(gè)的影響。然而，出于清晰起見(jiàn)，類似圖2中示圖的圖3中的示圖示出了對(duì)單個(gè)層(層(i))的影響。盡管本文所描述的優(yōu)選實(shí)施例使用H.264SVC標(biāo)準(zhǔn)，但是對(duì)于本領(lǐng)域技術(shù)人員而言，在此描述的技術(shù)可直接應(yīng)用或擴(kuò)展到用于視頻或者用于音頻或任何其它多媒體數(shù)據(jù)的、允許多個(gè)空間/質(zhì)量和時(shí)間級(jí)的任何編碼結(jié)構(gòu)是顯而易見(jiàn)的。雖然已描述了被認(rèn)為是本發(fā)明的優(yōu)選實(shí)施例的那些實(shí)施例，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，可作出其它或進(jìn)一步的改變和更改而不背離本發(fā)明的精神，并且其旨在要求保護(hù)落在本發(fā)明的真實(shí)范圍內(nèi)的所有這些改變和更改。應(yīng)當(dāng)理解，本發(fā)明的系統(tǒng)和方法可用任何硬件和軟件的組合來(lái)實(shí)現(xiàn)。用于實(shí)現(xiàn)和操作前述系統(tǒng)和方法的軟件(即，指令)可被設(shè)置在計(jì)算機(jī)可讀介質(zhì)上，這些計(jì)算機(jī)可讀介質(zhì)可包括但不限于固件、存儲(chǔ)器、存儲(chǔ)設(shè)備、微控制器、微處理器、集成電路、ASIC、可在線下載的媒體以及其它可用的介質(zhì)。權(quán)利要求1.一種數(shù)字媒體通信系統(tǒng)，包括媒體服務(wù)器，它傳送以可縮放媒體編碼格式編碼的媒體；至少一個(gè)接收器；以及電子通信網(wǎng)絡(luò)，它鏈接所述傳送媒體服務(wù)器和所述至少一個(gè)接收器，其中所述媒體服務(wù)器被配置成向所述至少一個(gè)接收器傳送與所傳送的媒體有關(guān)的可縮放性信息，所述可縮放性信息包括初始化可縮放性信息和隨著時(shí)間對(duì)所述縮放性信息的改變，并且其中所傳送的對(duì)所述可縮放性信息的改變是以差分形式來(lái)編碼的。2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述可縮放媒體編碼格式是H.264SVC，所述初始化可縮放性信息是所述SVCscalabilityjnfo(可縮放性_信息)SEI消息，并且其中所傳送的對(duì)所述可縮放性信息的改變?cè)谒鼋邮掌魈幈焕鄯e地應(yīng)用。3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變還包括指示至少一個(gè)可縮放性層從此刻起被添加到所述比特流的scalab他y—info_add(可縮放性—信息—添加)SEI消息。4.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變還包括scalabilityjnfo—replace(可縮放性—信息—替代)SEI消息，所述消息指示從此刻起用所述scalabilityjnfo一replaceSEI消息中包含的所述可縮放性信息來(lái)替代所述比特流中存在的至少一個(gè)層的所述可縮放性信息，以及其中未被顯式編碼在所述scalabilityjnfo—replaceSEI消息中的層的任何可縮放性信息被假定為保留其先前值。5.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變還包括指示從此刻起從所述比特流移除至少一個(gè)層的scalability—info一del(可縮放性一信息_刪除)SEI消息。6.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。7.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述接收器是媒體網(wǎng)關(guān)。8.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述可縮放媒體編碼格式是H.264SVC，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，并且其中在所述接收器處使用最近scalabilityjnfoSEI消息作為參考來(lái)單獨(dú)地應(yīng)用所述對(duì)可縮放性信息的改變。9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變還包括指示在所述初始化可縮放性信息中所指示的至少一個(gè)可縮放性層從此刻起在所述比特流中不存在的scalabilityjnfo—layers一notpresent(可縮放性一信息—層_不存在)SEI消息。10.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變還包括scalability—info—dependency—change(可縮放性—信息—依存性—改變)SEI消息，所述消息指示從此刻起用所述scalability—info—dependency—changeSEI消息中所包含的所述層依存性信息來(lái)替代最近初始化可縮放性信息中指示的至少一個(gè)層的所述層依存性信息。11.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述對(duì)可縮放性信息的改變出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。12.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述接收器是媒體網(wǎng)關(guān)。13.—種配置成處理經(jīng)編碼的媒體數(shù)據(jù)的數(shù)字媒體解碼器，所述經(jīng)編碼的媒體數(shù)據(jù)包括經(jīng)可縮放編碼的媒體數(shù)據(jù)；初始化可縮放性信息數(shù)據(jù)；以及隨著時(shí)間對(duì)初始化可縮放性信息數(shù)據(jù)的改變；其中所述可縮放性信息數(shù)據(jù)用于通知所述解碼器關(guān)于在所述經(jīng)編碼媒體數(shù)據(jù)中包含的所述層的存在性和依存性結(jié)構(gòu)，并且其中所述對(duì)初始化可縮放性數(shù)據(jù)的改變是以差分形式編碼的。14.如權(quán)利要求13所述的解碼器，其特征在于，所述可縮放媒體數(shù)據(jù)是根據(jù)H.264SVC來(lái)編碼的，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，并且其中所述對(duì)可縮放性信息的改變?cè)谒鼋獯a器處被累積地應(yīng)用。15.如權(quán)利要求14所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變還包括指示至少一個(gè)可縮放性層從此刻起被添加到所述比特流的scalability—info—addSEI消息。16.如權(quán)利要求14所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變還包括scalabilityjnfo—replaceSEI消息，所述消息指示從此刻起用所述scalability—info—replaceSEI中包含的所述可縮放性信息來(lái)替代所述比特流中存在的至少一個(gè)層的所述可縮放性信息，以及其中未被顯式編碼在所述scalability—info—replaceSEI消息中的層的任何可縮放性信息被假定為保留其先前值。17.如權(quán)利要求14所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變還包括指示從此刻起從所述比特流移除至少一個(gè)層的scalability—info—delSEI消息。18.如權(quán)利要求14所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變可出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。19.如權(quán)利要求13所述的解碼器，其特征在于，所述可縮放媒體數(shù)據(jù)是根據(jù)H.264SVC來(lái)編碼的，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，并且其中在所述解碼器處使用最近scalability—infoSEI消息作為參考來(lái)單獨(dú)地應(yīng)用所述對(duì)可縮放性信息的改變。20.如權(quán)利要求19所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變還包括指示在所述初始化可縮放性信息中所指示的所述可縮放性層的一個(gè)或多個(gè)從此刻起在所述比特流中不存在的scalabilityjnfojayers—notpresentSEI消息。21.如權(quán)利要求19所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變還包括scalability—info—dependency—changeSEI消息，所述消息指示從此刻起用所述scalabilityjnfo—dependency—changeSEI消息中包含的所述層依存性信息來(lái)替代最近初始化可縮放性信息中指示的至少一個(gè)層的所述層依存性信息。22.如權(quán)利要求19所述的解碼器，其特征在于，所述對(duì)可縮放性信息的改變可出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。23.—種用于將至少一個(gè)接收器鏈接到傳送以可縮放媒體編碼格式編碼的媒體的傳送媒體服務(wù)器的電子通信網(wǎng)絡(luò)上的數(shù)字媒體通信的方法，所述方法包括從所述媒體服務(wù)器向所述至少一個(gè)接收器傳送與所傳送媒體有關(guān)的可縮放性信息，所述可縮放性信息包括初始化可縮放性信息和隨著時(shí)間對(duì)所述縮放性信息的改變，其中所傳送的對(duì)所述可縮放性信息的改變是以差分編碼形式來(lái)編碼的。24.如權(quán)利要求23所述的方法，其特征在于，所述可縮放媒體編碼格式是H.264SVC，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，所述方法還包括在所述接收器處累積地應(yīng)用所傳送的對(duì)所述可縮放性信息的改變。25.如權(quán)利要求24所述的方法，其特征在于，還包括在所述對(duì)可縮放性信息的改變中包括指示至少一個(gè)可縮放性層從此刻起被添加到所述比特流的scalability—info—addSEI消息。26.如權(quán)利要求24所述的方法，其特征在于，還包括在所述對(duì)可縮放性信息的改變中包括scalability_info_replaceSEI消息，所述消息指示從此刻起用所述scalability—info—replaceSEI消息中包含的所述可縮放性信息來(lái)替代所述比特流中存在的至少一個(gè)層的所述可縮放性信息，其中未被顯式編碼在所述scalabilityjnfo—replaceSEI消息中的層的任何可縮放性信息被假定為保留其先前值。27.如權(quán)利要求24所述的方法，其特征在于，還包括在所述對(duì)可縮放性信息的改變中包括指示從此刻起從所述比特流移除至少一個(gè)層的scalability—info—delSEI消息。28.如權(quán)利要求24所述的方法，其特征在于，所述對(duì)可縮放性信息的改變出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。29.如權(quán)利要求24所述的方法，其特征在于，所述接收器是媒體網(wǎng)關(guān)。30.如權(quán)利要求23所述的方法，其特征在于，所述可縮放媒體編碼格式是H.264SVC，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，所述方法還包括在所述接收器處使用最近scalability—infoSEI消息作為參考來(lái)單獨(dú)地應(yīng)用所述對(duì)可縮放性信息的改變。31.如權(quán)利要求30所述的方法，其特征在于，還包括在所述對(duì)可縮放性信息的改變中包括指示在所述初始化可縮放性信息中所指示的至少一個(gè)可縮放性層從此刻起在所述比特流中不存在的scalability_info_layers_notpresentSEI消息。.32.如權(quán)利要求30所述的方法，其特征在于，還包括在所述對(duì)可縮放性信息的改變中包括scalability—info—dependency—changeSEI消息，所述消息指示從此刻起用所述scalability—info—dependency—changeSEI消息中包含的所述層依存性信息來(lái)替代最近初始化可縮放性信息中指示的至少一個(gè)層的所述層依存性信息。33.如權(quán)利要求30所述的方法，其特征在于，所述對(duì)可縮放性信息的改變出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。34.如權(quán)利要求30所述的方法，其特征在于，所述接收器是媒體網(wǎng)關(guān)。35.—種用于在解碼器處解碼數(shù)字媒體的方法，其中所述數(shù)字媒體包括經(jīng)可縮放編碼的媒體數(shù)據(jù)、初始化可縮放性信息數(shù)據(jù)、以及以差分形式編碼的隨著時(shí)間對(duì)初始化可縮放性信息數(shù)據(jù)的改變，所述方法包括使用可縮放性信息數(shù)據(jù)來(lái)通知所述解碼器關(guān)于在所述經(jīng)編碼媒體數(shù)據(jù)中包含的所述層的存在性和依存性結(jié)構(gòu)。36.如權(quán)利要求35所述的方法，其特征在于，所述可縮放媒體數(shù)據(jù)是根據(jù)H.264SVC來(lái)編碼的，所述初始化可縮放性信息是所述SVCscalability—infoSEI消息，所述方法還包括在所述解碼器處累積地應(yīng)用所述對(duì)可縮放性信息的改變。37.如權(quán)利要求36所述的方法，其特征在于，所述對(duì)可縮放性信息的改變還包括指示至少一個(gè)可縮放性層從此刻起被添加到所述比特流的scalability—info—addSEI消息。38.如權(quán)利要求36所述的方法，其特征在于，所述對(duì)可縮放性信息的改變還包括scalability—info—replaceSEI消息，所述消息指示從此刻起用所述scalability_info_replaceSEI中包含的所述可縮放性信息來(lái)替代所述比特流中存在的至少一個(gè)層的所述可縮放性信息，所述方法還包括假定未被顯式編碼在所述scalability—info—replaceSEI消息中的層的任何可縮放性信息保留其先前值。39.如權(quán)利要求36所述的方法，其特征在于，所述對(duì)可縮放性信息的改變還包括scalability—info—delSEI消息指示從此刻起從所述比特流移除至少一個(gè)層。40.如權(quán)利要求36所述的方法，其特征在于，所述對(duì)可縮放性信息的改變可出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。41.如權(quán)利要求35所述的方法，其特征在于，所述可縮放媒體數(shù)據(jù)是根據(jù)H.264SVC來(lái)編碼的，并且所述初始化可縮放性信息是所述SVCscalabilityjnfoSEI消息，所述方法還包括在所述解碼器處單獨(dú)地應(yīng)用所述對(duì)可縮放性信息的改變，并使用最近scalabilityjnfoSEI消息作為參考。42.如權(quán)利要求41所述的方法，其特征在于，所述對(duì)可縮放性信息的改變還包括指示在所述初始化可縮放性信息中所指示的所述可縮放性層的一個(gè)或多個(gè)從此刻起在所述比特流中不存在的scalability_info_layers—notpresentSEI消息。43.如權(quán)利要求41所述的方法，其特征在于，所述對(duì)可縮放性信息的改變還包括scalability—info—dependency—changeSEI消息，所述消息指示從此刻起用所述scalability—info—dependency—changeSEI消息中包含的所述層依存性信息來(lái)替代最近初始化可縮放性信息中指示的至少一個(gè)層的所述層依存性信息。44.如權(quán)利要求41所述的方法，其特征在于，所述對(duì)可縮放性信息的變化可出現(xiàn)在所述經(jīng)編碼的視頻信號(hào)的任何接入單元中。45.—種包括用于執(zhí)行權(quán)利要求23-44的至少一項(xiàng)中所述的步驟的指令集的計(jì)算機(jī)可讀介質(zhì)。全文摘要提供了用于及時(shí)地傳達(dá)與由視頻和/或音頻通信系統(tǒng)中的解碼器(圖1的120)和其它組件接收到的信號(hào)的可縮放性層結(jié)構(gòu)有關(guān)的信息的系統(tǒng)和方法(圖1)。對(duì)于使用標(biāo)準(zhǔn)H.264SVC編碼格式的通信系統(tǒng)(圖1的140)，標(biāo)準(zhǔn)SSEI消息被更改或補(bǔ)充成包括信令可縮放性層結(jié)構(gòu)信息及其變化的能力。接收者可使用信號(hào)可縮放性層信息來(lái)適當(dāng)?shù)靥幚砘蚪獯a接收到的信號(hào)。文檔編號(hào)H04B1/66GK101411080SQ200780011497公開(kāi)日2009年4月15日申請(qǐng)日期2007年3月27日優(yōu)先權(quán)日2006年3月27日發(fā)明者A·埃爾夫瑟里阿迪斯申請(qǐng)人:維德約股份有限公司