專利名稱：用信號(hào)傳遞多視角視頻譯碼操作點(diǎn)的特性的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及經(jīng)編碼的視頻數(shù)據(jù)的傳送。
背景技術(shù)：
數(shù)字視頻能力可并入到廣泛裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無(wú)線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或臺(tái)式計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、 視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無(wú)線電電話、視頻電傳會(huì)議裝置等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H. 263或ITU-TH. 264/MPEG-4第 10部分先進(jìn)視頻譯碼(AVC)所定義的標(biāo)準(zhǔn)和此類標(biāo)準(zhǔn)的擴(kuò)展版中描述的技術(shù)，以更有效地發(fā)射和接收數(shù)字視頻信息。視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和/或時(shí)間預(yù)測(cè)以減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將視頻幀或片段分割成宏塊。每一宏塊可經(jīng)進(jìn)一步分割。 幀內(nèi)譯碼(I)幀或片段中的宏塊使用相對(duì)于相鄰宏塊的空間預(yù)測(cè)來編碼。幀間譯碼(P或 B)幀或片段中的宏塊可使用相對(duì)于同一幀或片段中的相鄰宏塊的空間預(yù)測(cè)或相對(duì)于其它參考幀的時(shí)間預(yù)測(cè)。在已編碼視頻數(shù)據(jù)后，視頻數(shù)據(jù)可由多路復(fù)用器來包化以供發(fā)射或存儲(chǔ)。MPEG-2 包括“系統(tǒng)”部分，其定義用于許多視頻編碼標(biāo)準(zhǔn)的傳送層。MPEG-2傳送層系統(tǒng)可由MPEG-2 視頻編碼器或其它符合不同視頻編碼標(biāo)準(zhǔn)的視頻編碼器使用。舉例來說，MPEG-4指定不同于MPEG-2的編碼和解碼方法的編碼和解碼方法，但實(shí)施MPEG-4標(biāo)準(zhǔn)的技術(shù)的視頻編碼器仍可利用MPEG-2傳送層方法。一般來說，本發(fā)明中對(duì)“MPEG-2系統(tǒng)”的提及指代由MPEG-2所指定的視頻數(shù)據(jù)的傳送層。由MPEG-2所指定的傳送層在本發(fā)明中也稱為“MPEG-2傳送流”或簡(jiǎn)稱為“傳送流”。 同樣，MPEG-2系統(tǒng)的傳送層還包括節(jié)目流。傳送流和節(jié)目流通常包括用于傳遞類似數(shù)據(jù)的不同格式，其中傳送流包含包括音頻數(shù)據(jù)與視頻數(shù)據(jù)兩者的一個(gè)或一個(gè)以上“節(jié)目”，而節(jié)目流包括包含音頻數(shù)據(jù)與視頻數(shù)據(jù)兩者的一個(gè)節(jié)目。已努力基于H. 264/AVC開發(fā)新的視頻譯碼標(biāo)準(zhǔn)。一個(gè)此類標(biāo)準(zhǔn)為可調(diào)視頻譯碼(SVC)標(biāo)準(zhǔn)，其為H.264/AVC的可調(diào)擴(kuò)展。另一標(biāo)準(zhǔn)為多視角視頻譯碼(MVC)，其成為 H. 264/AVC的多視角擴(kuò)展。MPEG-2系統(tǒng)規(guī)范描述可如何將經(jīng)壓縮的多媒體(視頻和音頻) 數(shù)據(jù)流與其它數(shù)據(jù)一起多路復(fù)用以形成適合于數(shù)字發(fā)射或存儲(chǔ)的單一數(shù)據(jù)流。在2006年 5月的“信息技術(shù)-動(dòng)畫和相關(guān)聯(lián)音頻的一般譯碼系統(tǒng)，推薦H. 222.0 ；國(guó)際標(biāo)準(zhǔn)化組織， IS0/IEC JTC1/SC29/WG11 ；動(dòng)畫和相關(guān)聯(lián)音頻的譯碼 information Technology-GenericCoding of Moving Pictures and Associated Audio :Systems,Recommendation H. 222. 0 ； International Organisation for Standardisation, IS0/IEC JTC1/SC29/WG11 ；Coding of Moving Pictures and Associated Audio) ” 中指定 MPEG-2 系統(tǒng)的最新規(guī)范。MPEG 最近針對(duì)MPEG-2系統(tǒng)設(shè)計(jì)了 MVC的傳送標(biāo)準(zhǔn)，且此規(guī)范的最新版本為“IS0/IEC 13818-1的研究MVC 的 2007/FPDAM4 傳送(Study of IS0/IEC 13818-1 :2007/FPDAM4 Transport of MVC)”，MPEG doc. N10572, MPEG of IS0/IEC JTC1/SC29/WG11，美國(guó)夏威夷毛伊島(Maui, Hawaii，USA)，2009 年 4 月。

發(fā)明內(nèi)容
大體來說，本發(fā)明描述用于改進(jìn)MPEG-2 (動(dòng)畫專家組)系統(tǒng)中的多視角視頻譯碼的技術(shù)。特定來說，本發(fā)明的技術(shù)針對(duì)用于MPEG-2系統(tǒng)位流的操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞接收裝置的呈現(xiàn)能力、接收裝置的解碼能力和(在一些實(shí)例中)操作點(diǎn)的位速率。所述數(shù)據(jù)結(jié)構(gòu)可對(duì)應(yīng)于包括于所述MPEG-2系統(tǒng)位流中的操作點(diǎn)描述符。為了適當(dāng)解碼并顯示操作點(diǎn)的視頻數(shù)據(jù)，接收裝置應(yīng)滿足由在數(shù)據(jù)結(jié)構(gòu)中用信號(hào)傳遞的呈現(xiàn)能力和解碼能力所描述的性質(zhì)。MPEG-2系統(tǒng)位流可包括對(duì)應(yīng)于節(jié)目的各個(gè)視角的多個(gè)操作點(diǎn)。使用節(jié)目的不同操作點(diǎn)允許各種客戶端裝置執(zhí)行調(diào)適。即，具有不同呈現(xiàn)和解碼能力的客戶端裝置可從同一節(jié)目提取視角以顯示二維或三維視頻數(shù)據(jù)?？蛻舳搜b置還可與服務(wù)器裝置協(xié)商以檢索具有變化的位速率的數(shù)據(jù)，以適合于具有各種帶寬能力的傳送媒體。在一個(gè)實(shí)例中，一種方法包括通過源裝置構(gòu)造對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼(MVC)操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)經(jīng)包括作為所述位流的一部分；以及輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。在另一實(shí)例中，一種設(shè)備包括多路復(fù)用器，其構(gòu)造對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且將所述數(shù)據(jù)結(jié)構(gòu)包括作為所述位流的一部分；以及輸出接口，其輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。在另一實(shí)例中，一種設(shè)備包括用于構(gòu)造對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)經(jīng)包括作為所述位流的一部分；以及用于輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流的裝置。在另一實(shí)例中，一種計(jì)算機(jī)可讀存儲(chǔ)媒體包含指令，所述指令使源裝置的處理器構(gòu)造對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)經(jīng)包括作為所述位流的一部分；且使輸出接口輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。在另一實(shí)例中，一種方法包括通過目的地裝置接收對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組) 系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；確定所述目的地裝置的視頻解碼器是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角；確定所述目的地裝置是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角；以及在所述目的地裝置的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述目的地裝置的所述視頻解碼器。在另一實(shí)例中，一種設(shè)備包括輸入接口，其經(jīng)配置以接收對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述 MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；視頻解碼器， 其經(jīng)配置以解碼視頻數(shù)據(jù)；以及多路分用器，其經(jīng)配置以確定所述視頻解碼器是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角，確定所述設(shè)備是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角，且在所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。在另一實(shí)例中，一種設(shè)備包括用于接收對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；用于確定所述設(shè)備的視頻解碼器是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC 操作點(diǎn)的視角的裝置；用于確定所述設(shè)備是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的裝置；以及用于在所述設(shè)備的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)將對(duì)應(yīng)于所述MVC 操作點(diǎn)的所述視角發(fā)送到所述設(shè)備的所述視頻解碼器的裝置。在另一實(shí)例中，一種計(jì)算機(jī)可讀存儲(chǔ)媒體包含指令，所述指令使目的地裝置的處理器進(jìn)行以下操作接收對(duì)應(yīng)于MPEG-2系統(tǒng)標(biāo)準(zhǔn)位流的MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、 描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述 MVC操作點(diǎn)的位速率的位速率值；確定所述目的地裝置的視頻解碼器是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角；確定所述目的地裝置是否能夠基于通過所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述 MVC操作點(diǎn)的所述視角；以及在所述目的地裝置的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述目的地裝置的所述視頻解碼器。附圖和下文描述中闡述一個(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)和優(yōu)點(diǎn)將從描述內(nèi)容和圖式以及從權(quán)利要求書而顯而易見。


圖1為說明其中音頻/視頻(A/V)源裝置將音頻和視頻數(shù)據(jù)傳送到A/V目的地裝置的實(shí)例系統(tǒng)的框圖。圖2為說明符合本發(fā)明的多路復(fù)用器的組件的實(shí)例布置的框圖。圖3為說明符合本發(fā)明的節(jié)目特定信息表的實(shí)例集合的框圖。圖4-6為說明可包括于操作點(diǎn)描述符中的數(shù)據(jù)的集合的各種實(shí)例的概念圖。圖7為說明實(shí)例MVC預(yù)測(cè)圖案的概念圖。圖8為說明用于使用用信號(hào)傳遞操作點(diǎn)的特性的數(shù)據(jù)結(jié)構(gòu)的實(shí)例方法的流程圖。
具體實(shí)施例方式本發(fā)明的技術(shù)大體來說針對(duì)增強(qiáng)MPEG_2(動(dòng)畫專家組)系統(tǒng)(即，就傳送層細(xì)節(jié)來說符合MPEG-2的系統(tǒng))中的多視角視頻譯碼(MVC)。舉例來說，MPEG-4提供用于視頻編碼的標(biāo)準(zhǔn)，但通常假定遵從MPEG-4標(biāo)準(zhǔn)的視頻編碼器將利用MPEG-2傳送層系統(tǒng)。因此，本發(fā)明的技術(shù)適用于符合 MPEG-2、MPEG-4、ITU-T H. 263,ITU-T H. 264/MPEG-4 或利用 MPEG-2 傳送流和/或節(jié)目流(program stream)(也拼寫為“節(jié)目流(programme stream)，，)的任何其它視頻編碼標(biāo)準(zhǔn)的視頻編碼器。特定來說，本發(fā)明的技術(shù)可修改用于MPEG-2傳送流和節(jié)目流的傳送層處的語(yǔ)法元素。舉例來說，本發(fā)明的技術(shù)包括描述符，其在傳送流中發(fā)射以描述操作點(diǎn)的特征。舉例來說，服務(wù)器裝置可在MPEG-2傳送層位流中提供各種操作點(diǎn)，所述操作點(diǎn)中的每一者對(duì)應(yīng)于多視角視頻譯碼視頻數(shù)據(jù)的特定視角的相應(yīng)子集。即，操作點(diǎn)大體上對(duì)應(yīng)于位流的視角的子集。在一些實(shí)例中，操作點(diǎn)的每一視角包括在相同幀速率下的視頻數(shù)據(jù)。目的地裝置可使用包括于位流中的操作點(diǎn)描述符來選擇待解碼的操作點(diǎn)中的一者并最終向用戶呈現(xiàn)(例如，顯示)。目的地裝置可僅將選定操作點(diǎn)的視角發(fā)送到視頻解碼器，而非在接收后將關(guān)于所有視角的數(shù)據(jù)傳遞到視頻解碼器。以此方式，目的地裝置可丟棄將不被解碼的視角的數(shù)據(jù)。目的地裝置可基于位流的操作點(diǎn)中具有所支持的最高質(zhì)量的一者來選擇操作點(diǎn)。服務(wù)器裝置可在單一傳送流或節(jié)目流中發(fā)送多個(gè)子位流(所述子位流中的每一者可對(duì)應(yīng)于一操作點(diǎn))。雖然在各個(gè)部分中本發(fā)明可個(gè)別地提及“傳送流”或“節(jié)目流”，但應(yīng)理解，本發(fā)明的技術(shù)大體來說適用于MPEG-2傳送流和節(jié)目流中的任一者或兩者。大體上，本發(fā)明描述使用描述符作為實(shí)例數(shù)據(jù)結(jié)構(gòu)來執(zhí)行本發(fā)明的技術(shù)。描述符用以擴(kuò)展流的功能性。本發(fā)明的描述符可由傳送流與節(jié)目流兩者使用以實(shí)施本發(fā)明的技術(shù)。雖然本發(fā)明主要聚焦于可用以用信號(hào)傳遞操作點(diǎn)的呈現(xiàn)能力值、操作點(diǎn)的解碼能力值和操作點(diǎn)的位速率值的作為實(shí)例數(shù)據(jù)結(jié)構(gòu)的描述符，但應(yīng)理解，還可使用其它數(shù)據(jù)結(jié)構(gòu)來執(zhí)行這些技術(shù)。根據(jù)本發(fā)明的技術(shù)，源裝置20可構(gòu)造描述操作點(diǎn)的特性的操作點(diǎn)描述符。所述特性可包括(例如)哪些視角包括于操作點(diǎn)中以及所述操作點(diǎn)的所述視角的幀速率。操作點(diǎn)描述符可指定應(yīng)由視頻解碼器支持以便接收并解碼操作點(diǎn)的呈現(xiàn)能力、應(yīng)由視頻解碼器支持以便接收并解碼操作點(diǎn)的解碼能力，以及操作點(diǎn)的位速率。
本發(fā)明的技術(shù)可大體上將每一操作點(diǎn)表示為似乎所述操作點(diǎn)為通過傳送流中的節(jié)目映射表或節(jié)目流中的節(jié)目流映射來用信號(hào)傳遞的其自身的節(jié)目?；蛘撸?dāng)節(jié)目含有多個(gè)操作點(diǎn)時(shí)，本發(fā)明的技術(shù)提供關(guān)于所述操作點(diǎn)應(yīng)如何在操作點(diǎn)描述符中重新匯編的信息。操作點(diǎn)描述符可進(jìn)一步用信號(hào)傳遞操作點(diǎn)的相依性，這可節(jié)省位。圖1為說明其中音頻/視頻(A/V)源裝置20將音頻和視頻數(shù)據(jù)傳送到A/V目的地裝置40的實(shí)例系統(tǒng)10的框圖。圖1的系統(tǒng)10可對(duì)應(yīng)于視頻電傳會(huì)議系統(tǒng)、服務(wù)器/客戶端系統(tǒng)、廣播裝置/接收器系統(tǒng)，或?qū)⒁曨l數(shù)據(jù)從源裝置(例如，A/V源裝置20)發(fā)送到目的地裝置(例如，A/V目的地裝置40)的任何其它系統(tǒng)。在一些實(shí)例中，A/V源裝置20和 A/V目的地裝置40可執(zhí)行雙向信息交換。即，A/V源裝置20和A/V目的地裝置40可能能夠編碼與解碼(以及發(fā)射和接收)音頻和視頻數(shù)據(jù)。在一些實(shí)例中，音頻編碼器沈可包含語(yǔ)音編碼器，也稱為聲碼器。在圖1的實(shí)例中，A/V源裝置20包含音頻源22和視頻源對(duì)。音頻源22可包含 (例如)麥克風(fēng)，其產(chǎn)生表示待由音頻編碼器26編碼的所俘獲音頻數(shù)據(jù)的電信號(hào)?；蛘撸纛l源22可包含存儲(chǔ)先前記錄的音頻數(shù)據(jù)的存儲(chǔ)媒體、例如計(jì)算機(jī)化合成器等音頻數(shù)據(jù)產(chǎn)生器，或任何其它音頻數(shù)據(jù)源。視頻源M可包含產(chǎn)生待由視頻編碼器觀編碼的視頻數(shù)據(jù)的視頻相機(jī)、編碼有先前記錄的視頻數(shù)據(jù)的存儲(chǔ)媒體、視頻數(shù)據(jù)產(chǎn)生單元或任何其它視頻數(shù)據(jù)源。原始音頻和視頻數(shù)據(jù)可包含模擬或數(shù)字?jǐn)?shù)據(jù)。模擬數(shù)據(jù)可在由音頻編碼器沈和 /或視頻編碼器觀編碼之前經(jīng)數(shù)字化。音頻源22可在發(fā)言參與者發(fā)言的同時(shí)從所述發(fā)言參與者獲得音頻數(shù)據(jù)，且視頻源M可同時(shí)獲得發(fā)言參與者的視頻數(shù)據(jù)。在其它實(shí)例中，音頻源22可包含包括所存儲(chǔ)的音頻數(shù)據(jù)的計(jì)算機(jī)可讀存儲(chǔ)媒體，且視頻源M可包含包括所存儲(chǔ)的視頻數(shù)據(jù)的計(jì)算機(jī)可讀存儲(chǔ)媒體。以此方式，本發(fā)明中所描述的技術(shù)可應(yīng)用于直播串流實(shí)時(shí)音頻和視頻數(shù)據(jù)或應(yīng)用于歸檔的預(yù)先記錄的音頻和視頻數(shù)據(jù)。對(duì)應(yīng)于視頻幀的音頻幀通常為含有與由視頻源M俘獲的含于視頻幀中的視頻數(shù)據(jù)同時(shí)由音頻源22俘獲的音頻數(shù)據(jù)的音頻幀。舉例來說，在發(fā)言參與者通常通過發(fā)言而產(chǎn)生音頻數(shù)據(jù)的同時(shí)，音頻源22俘獲音頻數(shù)據(jù)，且視頻源M同時(shí)(即，在音頻源22正俘獲音頻數(shù)據(jù)的同時(shí))俘獲發(fā)言參與者的視頻數(shù)據(jù)。因此，音頻幀可在時(shí)間上對(duì)應(yīng)于一個(gè)或一個(gè)以上特定視頻幀。因此，對(duì)應(yīng)于視頻幀的音頻幀通常對(duì)應(yīng)于其中音頻數(shù)據(jù)和視頻數(shù)據(jù)被同時(shí)俘獲且音頻幀和視頻幀分別包含同時(shí)被俘獲的音頻數(shù)據(jù)和視頻數(shù)據(jù)的情境。在一些實(shí)例中，音頻編碼器沈可在每一經(jīng)編碼音頻幀中編碼時(shí)間戳，所述時(shí)間戳表示記錄經(jīng)編碼音頻幀的音頻數(shù)據(jù)的時(shí)間，且類似地，視頻編碼器觀可在每一經(jīng)編碼視頻幀中編碼時(shí)間戳，所述時(shí)間戳表示記錄經(jīng)編碼視頻幀的視頻數(shù)據(jù)的時(shí)間。在此類實(shí)例中，對(duì)應(yīng)于視頻幀的音頻幀可包含包括時(shí)間戳的音頻幀和包含相同時(shí)間戳的視頻幀。A/V源裝置 20可包括內(nèi)部時(shí)鐘，音頻編碼器沈和/或視頻編碼器觀可從所述內(nèi)部時(shí)鐘產(chǎn)生時(shí)間戳， 或音頻源22和視頻源M可使用所述內(nèi)部時(shí)鐘來分別使音頻數(shù)據(jù)和視頻數(shù)據(jù)與時(shí)間戳相關(guān)聯(lián)。在一些實(shí)例中，音頻源22可對(duì)應(yīng)于記錄音頻數(shù)據(jù)的時(shí)間而將數(shù)據(jù)發(fā)送到音頻編碼器沈，且視頻源M可對(duì)應(yīng)于記錄視頻數(shù)據(jù)的時(shí)間而將數(shù)據(jù)發(fā)送到視頻編碼器觀。在一些實(shí)例中，音頻編碼器26可在經(jīng)編碼音頻數(shù)據(jù)中編碼序列識(shí)別符以指示經(jīng)編碼音頻數(shù)據(jù)的相對(duì)時(shí)間定序，而無(wú)需指示記錄音頻數(shù)據(jù)的絕對(duì)時(shí)間，且類似地，視頻編碼器28也可使用序列識(shí)別符來指示經(jīng)編碼視頻數(shù)據(jù)的相對(duì)時(shí)間定序。類似地，在一些實(shí)例中，序列識(shí)別符可與時(shí)間戳映射或以其它方式與所述時(shí)間戳相關(guān)。本發(fā)明的技術(shù)大體來說針對(duì)經(jīng)編碼多媒體(例如，音頻和視頻)數(shù)據(jù)的傳送，以及所傳送多媒體數(shù)據(jù)的接收和隨后解譯以及解碼。本發(fā)明的技術(shù)尤其適用于多視角視頻譯碼 (MVC)數(shù)據(jù)(即，包含多個(gè)視角的視頻數(shù)據(jù))的傳送。如圖1的實(shí)例中所示，視頻源對(duì)可將場(chǎng)景的多個(gè)視角提供到視頻編碼器觀。MVC對(duì)于產(chǎn)生將由三維顯示器(例如，立體或自動(dòng)立體三維顯示器)使用的三維視頻數(shù)據(jù)可為有用的。A/V源裝置20可將“服務(wù)”提供到A/V目的地裝置40。服務(wù)通常對(duì)應(yīng)于MVC數(shù)據(jù)的可用視角的子集。舉例來說，MVC數(shù)據(jù)可用于定序?yàn)榱愕狡叩陌藗€(gè)視角。一個(gè)服務(wù)可對(duì)應(yīng)于具有兩個(gè)視角的立體視頻，而另一服務(wù)可對(duì)應(yīng)于四個(gè)視角，且又一服務(wù)可對(duì)應(yīng)于全部八個(gè)視角。大體上，一服務(wù)對(duì)應(yīng)于可用視角的任何組合(即，任何子集)。一服務(wù)還可對(duì)應(yīng)于可用視角以及音頻數(shù)據(jù)的組合。操作點(diǎn)可對(duì)應(yīng)于服務(wù)，以使得A/V源裝置20可向由A/V 源裝置20提供的每一服務(wù)進(jìn)一步提供操作點(diǎn)描述符。根據(jù)本發(fā)明的技術(shù)，A/V源裝置20能夠提供對(duì)應(yīng)于視角的子集的服務(wù)。通常，視角由視角識(shí)別符(也稱為“View_id”)表示。視角識(shí)別符通常包含可用以識(shí)別視角的語(yǔ)法元素。當(dāng)編碼視角時(shí)，MVC編碼器提供所述視角的View_id。View_id可由MVC解碼器使用以用于視角間預(yù)測(cè)或由其它單元使用以用于其它用途(例如，用于呈現(xiàn))。視角間預(yù)測(cè)是一種用于參考在共同時(shí)間位置處的一個(gè)或一個(gè)以上幀將幀的MVC 視頻數(shù)據(jù)譯碼為不同視角的經(jīng)編碼幀的技術(shù)。圖7(下文較詳細(xì)論述)提供用于視角間預(yù)測(cè)的實(shí)例譯碼方案。通常，在空間上、在時(shí)間上和/或參考在共同時(shí)間位置處的其它視角的幀來預(yù)測(cè)性地編碼MVC視頻數(shù)據(jù)的經(jīng)編碼幀。因此，參考視角(從其預(yù)測(cè)其它視角)通常在參考視角充當(dāng)其參考的視角之前被解碼，以使得這些經(jīng)解碼的視角可在解碼參考視角時(shí)用于參考。解碼次序無(wú)需對(duì)應(yīng)于view_id的次序。因此，使用視角次序索引描述視角的解碼次序。視角次序索引為指示接入單元中的相應(yīng)視角分量的解碼次序的索引。每一個(gè)別數(shù)據(jù)流(無(wú)論是音頻還是視頻)被稱為基本流?；玖鳛楣?jié)目的單一經(jīng)數(shù)字譯碼(可能經(jīng)壓縮)的分量。舉例來說，節(jié)目的經(jīng)譯碼視頻或音頻部分可為基本流。 基本流可在經(jīng)多路復(fù)用成節(jié)目流或傳送流之前轉(zhuǎn)換成包化基本流(PES)。在同一節(jié)目?jī)?nèi)， 流ID用以區(qū)分屬于一個(gè)基本流的PES包與其它包?；玖鞯臄?shù)據(jù)的基本單位為包化基本流(PEQ&。因而，MVC視頻數(shù)據(jù)的每一視角對(duì)應(yīng)于相應(yīng)基本流。類似地，音頻數(shù)據(jù)對(duì)應(yīng)于一個(gè)或一個(gè)以上相應(yīng)基本流?？蒑VC譯碼的視頻序列分離成若干子位流，所述子位流中的每一者為基本流?？墒褂肕VC view_id子集來識(shí)別每一子位流?；诿恳?MVC view_id子集的概念，定義MVC 視頻子位流。MVC視頻子位流含有在MVC View_id子集中所列出的視角的NAL單元。節(jié)目流大體上僅含有來自基本流的NAL單元的NAL單元。還設(shè)計(jì)使得任何兩個(gè)基本流不能含有相同視角。在圖1的實(shí)例中，多路復(fù)用器30接收包含來自視頻編碼器觀的視頻數(shù)據(jù)的基本流和包含來自音頻編碼器沈的音頻數(shù)據(jù)的基本流。在一些實(shí)例中，視頻編碼器觀和音頻編碼器沈可各自包括用于由經(jīng)編碼數(shù)據(jù)形成PES包的包化器。在其它實(shí)例中，視頻編碼器28和音頻編碼器沈可各自與用于由經(jīng)編碼數(shù)據(jù)形成PES包的相應(yīng)包化器介接。在另外其它實(shí)例中，多路復(fù)用器30可包括用于由經(jīng)編碼音頻和視頻數(shù)據(jù)形成PES包的包化器。如本發(fā)明中所使用，“節(jié)目，，可包含音頻數(shù)據(jù)與視頻數(shù)據(jù)(例如，由A/V源裝置20 的服務(wù)傳遞的音頻基本流與可用視角的子集)的組合。每一 PES包包括識(shí)別PES包所屬的基本流的streamed。多路復(fù)用器30負(fù)責(zé)將基本流匯編成構(gòu)成性節(jié)目流或傳送流。節(jié)目流和傳送流為以不同應(yīng)用程序?yàn)槟繕?biāo)的兩個(gè)交替多路復(fù)用流。通常，節(jié)目流包括一個(gè)節(jié)目的數(shù)據(jù)，而傳送流可包括一個(gè)或一個(gè)以上節(jié)目的數(shù)據(jù)。 多路復(fù)用器30可基于所提供的服務(wù)、流將傳遞到的媒體、待發(fā)送的節(jié)目的數(shù)目或其它考慮因素來編碼節(jié)目流或傳送流中的一者或兩者。舉例來說，當(dāng)待于存儲(chǔ)媒體中編碼視頻數(shù)據(jù)時(shí)，多路復(fù)用器30可能更可能形成節(jié)目流，而當(dāng)待經(jīng)由網(wǎng)絡(luò)、廣播來串流或作為視頻電話的一部分而發(fā)送視頻數(shù)據(jù)時(shí)，多路復(fù)用器30可能更可能使用傳送流。多路復(fù)用器30可傾向于使用節(jié)目流來存儲(chǔ)和顯示來自數(shù)字存儲(chǔ)服務(wù)的單一節(jié)目。節(jié)目流希望用于無(wú)錯(cuò)誤環(huán)境或?qū)υ庥鲥e(cuò)誤較不敏感的環(huán)境，因?yàn)楣?jié)目流對(duì)錯(cuò)誤相當(dāng)敏感。節(jié)目流僅包含屬于其的基本流，且通常含有具有可變長(zhǎng)度的包。在節(jié)目流中，從組成性基本流導(dǎo)出的PES包經(jīng)組織成“封裝(pack)”。封裝包含封裝標(biāo)頭、可選系統(tǒng)標(biāo)頭和以任何次序從組成性基本流中的任一者取得的任何數(shù)目的PES包。系統(tǒng)標(biāo)頭含有節(jié)目流的特性的概述，例如節(jié)目流的最大數(shù)據(jù)速率、組成性視頻和音頻基本流的數(shù)目、進(jìn)一步的定時(shí)信息， 或其它信息。解碼器可使用系統(tǒng)標(biāo)頭中含有的信息來確定解碼器是否能夠解碼節(jié)目流。多路復(fù)用器30可使用傳送流來用于在可能易出錯(cuò)的信道上同時(shí)傳遞多個(gè)節(jié)目。 傳送流為針對(duì)多節(jié)目應(yīng)用(例如，廣播)而設(shè)計(jì)的多路復(fù)用流，使得單一傳送流可容納許多獨(dú)立節(jié)目。傳送流可包含一連串傳送包，其中所述傳送包中的每一者為188字節(jié)長(zhǎng)。短的固定長(zhǎng)度包的使用致使傳送流與節(jié)目流相比較不容易出錯(cuò)。此外，可通過經(jīng)由標(biāo)準(zhǔn)錯(cuò)誤保護(hù)過程(例如，里德-所羅門(Reed-Solomon)編碼)來處理包而向每一 188字節(jié)長(zhǎng)的傳送包給出額外錯(cuò)誤保護(hù)。舉例來說，傳送流的改進(jìn)的錯(cuò)誤恢復(fù)意味著其具有較好機(jī)會(huì)存活于廣播環(huán)境中發(fā)現(xiàn)的易出錯(cuò)信道中?？赡芸雌饋韨魉土饔捎谄湓黾拥腻e(cuò)誤恢復(fù)和同時(shí)載運(yùn)許多節(jié)目的能力而比節(jié)目流好。然而，傳送流為比節(jié)目流更復(fù)雜的多路復(fù)用流，且因此與節(jié)目流相比更難以建立且多路分用時(shí)更復(fù)雜。傳送包的第一字節(jié)可為具有值0x47 (十六進(jìn)制47，二進(jìn)制“01000111”、 十進(jìn)制71)的同步字節(jié)。單一傳送流可載運(yùn)許多不同節(jié)目，每一節(jié)目包含許多包化基本流。 多路復(fù)用器30可使用13位包識(shí)別符(PID)字段來區(qū)分含有一個(gè)基本流的數(shù)據(jù)的傳送包與載運(yùn)其它基本流的數(shù)據(jù)的傳送包。多路復(fù)用器負(fù)責(zé)確保每一基本流被授予唯一 PID值。傳送包的最末字節(jié)可為連續(xù)性計(jì)數(shù)字段。多路復(fù)用器30使屬于同一基本流的連續(xù)傳送包之間的連續(xù)性計(jì)數(shù)字段的值遞增。此使得解碼器或目的地裝置(例如，A/V目的地裝置40)的其它單元能夠檢測(cè)傳送包的損失或增益且有希望消除原本可能從此事件產(chǎn)生的錯(cuò)誤。多路復(fù)用器30從音頻編碼器沈和視頻編碼器觀接收節(jié)目的基本流的PES包，且由PES包形成相應(yīng)網(wǎng)絡(luò)抽象層(NAL)單元。在HJ64/AVC(高級(jí)視頻譯碼)的實(shí)例中，經(jīng)譯碼的視頻區(qū)段被組織成NAL單元，其提供“網(wǎng)絡(luò)友好”視頻表示尋址應(yīng)用，例如視頻電話、存儲(chǔ)、廣播或串流。NAL單元可經(jīng)分類成視頻譯碼層(VCL)NAL單元和非VCL NAL單元。VCL 單元含有核心壓縮引擎且可包含塊、宏塊和/或片段級(jí)。其它NAL單元為非VCLNAL單元。
多路復(fù)用器30可形成包含識(shí)別NAL所屬的節(jié)目的標(biāo)頭以及有效負(fù)載(例如，音頻數(shù)據(jù)、視頻數(shù)據(jù)或描述NAL單元所對(duì)應(yīng)的傳送流或節(jié)目流的數(shù)據(jù))的NAL單元。舉例來說， 在H. 264/AVC中，NAL單元包括1字節(jié)標(biāo)頭和具有變化的大小的有效負(fù)載。在一個(gè)實(shí)例中， NAL 單7Π標(biāo)頭包含 priority—id 711素、temporal—id 711素、anchor_pic_flag 711素、view—id 元素、non_idr_flag元素，和inter_view_flag元素。在常規(guī)MVC中，保留由H. 264定義的 NAL單元，前置NAL單元和MVC譯碼的片段NAL單元(其包括4字節(jié)MVC NAL單元標(biāo)頭和 NAL單元有效負(fù)載)除外。NAL標(biāo)頭的priority_id元素可用于簡(jiǎn)單單程位流調(diào)適過程。temporaljd元素可用于指定相應(yīng)NAL單元的時(shí)間層，其中不同時(shí)間層對(duì)應(yīng)于不同幀速率。anCh0r_piC_flag元素可指示圖片為錨定圖片還是非錨定圖片。錨定圖片和以輸出次序(即，顯示次序)繼其之后的所有圖片可在不以解碼次序(即，位流次序)解碼先前圖片的情況下被正確地解碼，且因而可用作隨機(jī)接入點(diǎn)。錨定圖片與非錨定圖片可具有不同的相依性，兩者均在序列參數(shù)集合中以信號(hào)通知。將在本章的以下部分中論述并使用其它旗標(biāo)。此錨定圖片也可稱為開放GOP (圖片群組)接入點(diǎn)，而在n0n_idr_flag元素等于零時(shí)也支持封閉GOP接入點(diǎn)。n0n_idr_flag元素指示圖片為瞬時(shí)解碼器再新(IDR)圖片還是視角IDR(V-IDR)圖片。通常，IDR圖片和以輸出次序或位流次序繼其之后的所有圖片可在不以解碼次序或顯示次序解碼先前圖片的情況下被正確地解碼。View_id元素可包含可用以識(shí)別視角的語(yǔ)法信息，其可用于MVC解碼器內(nèi)部的數(shù)據(jù)交互(例如，用于視角間預(yù)測(cè))和解碼器外部的數(shù)據(jù)交互(例如，用于呈現(xiàn))。inter, view_flag元素可指定相應(yīng)NAL單元是否被其它視角用于視角間預(yù)測(cè)。為傳達(dá)基本視角的 4字節(jié)NAL單元標(biāo)頭信息(其可符合AVC)，在MVC中定義前置NAL單元。在MVC的情形下， 基本視角接入單元包括視角的當(dāng)前時(shí)間例項(xiàng)的VCL NAL單元以及其前置NAL單元，所述前置NAL單元僅含有NAL單元標(biāo)頭。H. 264/AVC解碼器可忽略前置NAL單元。有效負(fù)載中包括視頻數(shù)據(jù)的NAL單元可包含各種粒度級(jí)的視頻數(shù)據(jù)。舉例來說， NAL單元可包含視頻數(shù)據(jù)的塊、宏塊、多個(gè)宏塊、視頻數(shù)據(jù)的片段，或視頻數(shù)據(jù)的整個(gè)幀。多路復(fù)用器30可從視頻編碼器觀接收呈基本流的PES包的形式的經(jīng)譯碼的視頻數(shù)據(jù)。多路復(fù)用器30可通過將streamed映射到相應(yīng)節(jié)目(例如，在數(shù)據(jù)庫(kù)或其它數(shù)據(jù)結(jié)構(gòu)(例如節(jié)目映射表(PMT)或節(jié)目流映射(PSM))中)而使每一基本流與相應(yīng)節(jié)目相關(guān)聯(lián)。多路復(fù)用器30還可由多個(gè)NAL單元匯編接入單元。通常，接入單元可包含一個(gè)或一個(gè)以上NAL單元，其用于表示視頻數(shù)據(jù)的幀以及音頻數(shù)據(jù)可用時(shí)對(duì)應(yīng)于所述幀的此音頻數(shù)據(jù)。接入單元大體上包括針對(duì)一個(gè)輸出時(shí)間例項(xiàng)的所有NAL單元，例如，針對(duì)一個(gè)時(shí)間例項(xiàng)的所有音頻和視頻數(shù)據(jù)。舉例來說，如果每一視角具有20個(gè)幀/秒(fps)的幀速率，那么每一時(shí)間例項(xiàng)可對(duì)應(yīng)于0. 05秒的時(shí)間間隔。在此時(shí)間間隔期間，可同時(shí)呈現(xiàn)同一接入單元(同一時(shí)間例項(xiàng))的所有視角的特定幀。在對(duì)應(yīng)于H. ^4/AVC的實(shí)例中，接入單元可包含在一個(gè)時(shí)間例項(xiàng)中的經(jīng)譯碼的圖片，其可作為主譯碼圖片呈現(xiàn)。因此，接入單元可包含共同時(shí)間例項(xiàng)中的所有音頻和視頻幀，例如，對(duì)應(yīng)于時(shí)間X的所有視角。本發(fā)明還將特定視角的經(jīng)編碼圖片稱為“視角分量”。即，視角分量可包含特定視角在特定時(shí)間的經(jīng)編碼圖片(或幀)。因此，接入單元可定義為包含共同時(shí)間例項(xiàng)的所有視角分量。接入單元的解碼次序未必需要與輸出或顯示次序相同。
多路復(fù)用器30還可將關(guān)于節(jié)目的數(shù)據(jù)嵌入在NAL單元中。舉例來說，多路復(fù)用器 30可建立包含節(jié)目映射表(PMT)或節(jié)目流映射(PSM)的NAL單元。通常，PMT用以描述傳送流，而PSM用以描述節(jié)目流。如下文關(guān)于圖2的實(shí)例較詳細(xì)地描述，多路復(fù)用器30可包含使從音頻編碼器26和視頻編碼器W接收的基本流與節(jié)目且因此與相應(yīng)傳送流和/或節(jié)目流相關(guān)聯(lián)的數(shù)據(jù)存儲(chǔ)單元或與所述數(shù)據(jù)存儲(chǔ)單元交互。與大多數(shù)視頻譯碼標(biāo)準(zhǔn)一樣，H. 264/AVC定義無(wú)錯(cuò)誤位流的語(yǔ)法、語(yǔ)義和解碼過程，其中的每一者符合特定簡(jiǎn)檔或?qū)?。H. 264/AVC不指定編碼器，但編碼器的任務(wù)為保證對(duì)于解碼器來說所產(chǎn)生的位流為符合標(biāo)準(zhǔn)的。在視頻譯碼標(biāo)準(zhǔn)的情形下，“簡(jiǎn)檔”對(duì)應(yīng)于算法、特征或工具和施加到其的約束的子集。舉例來說，如由H. 264標(biāo)準(zhǔn)所定義，“簡(jiǎn)檔”為由 H. 264標(biāo)準(zhǔn)指定的整個(gè)位流語(yǔ)法的子集?！皩印睂?duì)應(yīng)于解碼器資源消耗的限制，例如，與圖片的分辨率、位速率和宏塊(MB)處理速率有關(guān)的解碼器存儲(chǔ)器和計(jì)算。舉例來說，H. 264標(biāo)準(zhǔn)認(rèn)識(shí)到，在由給定簡(jiǎn)檔的語(yǔ)法強(qiáng)加的界限內(nèi)，依據(jù)由位流中的語(yǔ)法元素所采用的值(例如，經(jīng)解碼的圖片的指定大小)，仍有可能需要編碼器和解碼器的性能的大變化。H. 264標(biāo)準(zhǔn)進(jìn)一步認(rèn)識(shí)到，在許多應(yīng)用中，實(shí)施能夠處理特定簡(jiǎn)檔內(nèi)的語(yǔ)法的所有假定用途的解碼器既不實(shí)用也不經(jīng)濟(jì)。因此，H. 264標(biāo)準(zhǔn)將“層”定義為對(duì)位流中的語(yǔ)法元素的值所強(qiáng)加的約束的指定集合。這些約束可為對(duì)值的簡(jiǎn)單限制?；蛘?，這些約束可采用對(duì)值的算術(shù)組合(例如，圖片寬度乘以圖片高度乘以每秒所解碼的圖片的數(shù)目) 的約束的形式。H. 264標(biāo)準(zhǔn)進(jìn)一步規(guī)定，個(gè)別實(shí)施方案可支持每一所支持的簡(jiǎn)檔的不同層。符合簡(jiǎn)檔的解碼器通常支持所述簡(jiǎn)檔中所定義的所有特征。舉例來說，作為譯碼特征，B圖片譯碼在H. 264/AVC的基線簡(jiǎn)檔中未被支持，但在H. 264/AVC的其它簡(jiǎn)檔中得以支持。符合層的解碼器應(yīng)能夠解碼不需要超出所述層中所定義的限制的資源的任何位流。 簡(jiǎn)檔和層的定義可幫助實(shí)現(xiàn)可解譯性。舉例來說，在視頻發(fā)射期間，針對(duì)整個(gè)發(fā)射會(huì)話的一對(duì)簡(jiǎn)檔和層定義可經(jīng)協(xié)商并實(shí)現(xiàn)一致。更具體來說，在HJ64/AVC中，層可定義(例如)對(duì)以下各項(xiàng)的限制需要經(jīng)處理的宏塊的數(shù)目、經(jīng)解碼的圖片緩沖器(DPB)大小、經(jīng)譯碼的圖片緩沖器(CPB)大小、垂直運(yùn)動(dòng)向量范圍、每?jī)蓚€(gè)連續(xù)MB的運(yùn)動(dòng)向量的最大數(shù)目，以及B塊是否可具有小于8X8像素的子宏塊分割區(qū)。以此方式，解碼器可確定所述解碼器是否能夠適當(dāng)?shù)亟獯a位流。參數(shù)集合大體上含有序列參數(shù)集合(SPS)中的序列層標(biāo)頭信息和圖片參數(shù)集合 (PPS)中的偶爾改變的圖片層標(biāo)頭信息。就參數(shù)集合來說，每一序列或圖片的此偶爾改變的信息無(wú)需重復(fù)；因此，譯碼效率可改進(jìn)。此外，參數(shù)集合的使用可致使能夠帶外發(fā)射標(biāo)頭信息，從而避免需要冗余發(fā)射來實(shí)現(xiàn)錯(cuò)誤復(fù)原。在帶外發(fā)射中，將參數(shù)集合NAL單元在與其它 NAL單元不同的信道上發(fā)射。MPEG-2系統(tǒng)標(biāo)準(zhǔn)借助“描述符”允許系統(tǒng)的擴(kuò)展。PMT與PSM兩者均包括描述符循環(huán)，一個(gè)或一個(gè)以上描述符可插入于描述符循環(huán)中。大體來說，描述符可包含可用以擴(kuò)展節(jié)目和/或節(jié)目元素的定義的數(shù)據(jù)結(jié)構(gòu)。本發(fā)明描述用于執(zhí)行本發(fā)明的技術(shù)的操作點(diǎn)描述符。大體來說，本發(fā)明的操作點(diǎn)描述符通過描述操作點(diǎn)的呈現(xiàn)能力、解碼能力和位速率來增強(qiáng)常規(guī)MVC擴(kuò)展描述符。目的地裝置(例如，A/V目的地裝置40)可使用每一操作點(diǎn)的操作點(diǎn)描述符來選擇待解碼的位流的操作點(diǎn)中的一者。每一 PMT或PSM可包括描述操作點(diǎn)的特性的操作點(diǎn)描述符。舉例來說，源裝置20可提供操作點(diǎn)描述符以提供描述客戶端裝置40的呈現(xiàn)能力的呈現(xiàn)能力值。為了使客戶端裝置40適當(dāng)呈現(xiàn)(例如，顯示)操作點(diǎn)的視頻數(shù)據(jù)，客戶端裝置40應(yīng)滿足呈現(xiàn)能力值用信號(hào)傳遞的呈現(xiàn)能力。呈現(xiàn)能力值可描述(例如)待顯示的視角的數(shù)目(例如，以呈現(xiàn)為目標(biāo)的視角的數(shù)目)和/或視角的視頻數(shù)據(jù)的幀速率。因此，客戶端裝置40可確定，當(dāng)客戶端裝置40的視頻輸出44能夠在操作點(diǎn)描述符所指定的幀速率下顯示操作點(diǎn)的視角的數(shù)目時(shí)，呈現(xiàn)能力得以滿足。在其中源裝置20使用多播或廣播協(xié)議發(fā)射MVC位流的實(shí)例中，源裝置20可將整個(gè)MVC位流包化成若干傳送流，其可由具有各種呈現(xiàn)能力的客戶端裝置接收。舉例來說，一些三維節(jié)目可具有不同數(shù)目個(gè)視角(例如，兩個(gè)視角、四個(gè)視角、六個(gè)視角或八個(gè)視角)，且各種裝置可能能夠使用一對(duì)視角與四對(duì)視角之間的任何地方。因此，每一客戶端裝置可基于可由客戶端裝置顯示的視角的所支持?jǐn)?shù)目而確定將使用哪一操作點(diǎn)。舉例來說，客戶端裝置40可通過確定可由視頻輸出44顯示的視角的數(shù)目和視頻輸出44能夠顯示視頻數(shù)據(jù)的幀速率且確定基于視頻輸出44的呈現(xiàn)能力應(yīng)使用操作點(diǎn)中的哪一者來確定將使用所述操作點(diǎn)中的哪一者。在源裝置使用單播協(xié)議發(fā)射MVC位流的實(shí)例中，客戶端裝置40可通過檢查在對(duì)應(yīng)操作點(diǎn)描述符中所指定的呈現(xiàn)能力而建立對(duì)應(yīng)于具有可接受數(shù)目個(gè)視角的節(jié)目的會(huì)話。類似地，在MVC位流經(jīng)編碼于計(jì)算機(jī)可讀存儲(chǔ)媒體中以供本地重放的實(shí)例中，客戶端裝置40 可通過檢查PMT或PSM的操作點(diǎn)描述符中所指定的呈現(xiàn)能力而選擇合適的節(jié)目。源裝置20還可在操作點(diǎn)描述符中提供解碼能力值。待解碼的視角的數(shù)目可能未必與待顯示的視角的數(shù)目相同。因此，操作點(diǎn)描述符可分別用信號(hào)傳遞操作點(diǎn)的待顯示的視角的數(shù)目和操作點(diǎn)的待解碼的視角的數(shù)目。此外，操作點(diǎn)描述符可特定識(shí)別對(duì)應(yīng)于操作點(diǎn)的視角。特定客戶端裝置可(例如)基于檢視角度而(針對(duì)各種目的)偏好于特定視角。 因此，客戶端裝置40可經(jīng)配置以基于哪些視角可用于操作點(diǎn)中而選擇操作點(diǎn)。在一些實(shí)例中，在操作點(diǎn)中用信號(hào)傳遞的解碼能力可另外或替代地指定所述操作點(diǎn)所對(duì)應(yīng)的簡(jiǎn)檔和層。在源裝置20使用多播或廣播協(xié)議發(fā)射位流的實(shí)例中，具有不同解碼能力的各種客戶端裝置可接收所述位流。舉例來說，一些解碼器可能僅能夠在30fps下解碼兩個(gè)視角，而一些解碼器可能夠在60fps下解碼四個(gè)視角。在源裝置20使用單播協(xié)議發(fā)射位流的實(shí)例中，客戶端裝置40可在檢查PMT中的描述符中所指定的解碼能力之后建立合適的會(huì)話(針對(duì)特定三維節(jié)目)。類似地，針對(duì)本地重放，客戶端裝置40可通過檢查PMT或 PSM的操作點(diǎn)描述符中所指定的解碼能力而選擇合適的節(jié)目。源裝置20可另外在操作點(diǎn)描述符中用信號(hào)傳遞位速率信息。位速率信息可描述操作點(diǎn)的平均位速率和/或最大位速率中的任一者或兩者。舉例來說，當(dāng)源裝置20使用單播協(xié)議發(fā)射位流時(shí)，可在帶寬方面限制用以發(fā)射所述位流的信道。因此，客戶端裝置40可選擇具有通信信道的可容許最大或平均位速率的操作點(diǎn)。在一些實(shí)例中，源裝置20可進(jìn)一步在操作點(diǎn)描述符中指定操作點(diǎn)的幀速率。操作點(diǎn)的特定視角可具有與操作點(diǎn)的幀速率不匹配的幀速率。因此，客戶端裝置40可確定操作點(diǎn)的幀速率和此視角的幀速率以簡(jiǎn)化為實(shí)現(xiàn)顯示視頻數(shù)據(jù)的目的而重新匯編經(jīng)解碼的視頻數(shù)據(jù)的過程。在各種實(shí)例中，當(dāng)兩個(gè)操作點(diǎn)的幀速率不匹配時(shí)，客戶端裝置40可丟棄來自具有較高幀速率的操作點(diǎn)的視角的幀或內(nèi)插來自具有較低幀速率的操作點(diǎn)的視角的幀。
通常，基本、流包括旗標(biāo)"no_sei_nal_unit_present，，禾口 "no_prefix_nal_unit_ present”，其分別描述所述基本流是否包括SEI消息和前置NAL單元。本發(fā)明提議客戶端裝置(例如，客戶端裝置40)推斷SEI消息和/或前置NAL單元是否存在于操作點(diǎn)內(nèi)，而非明確地用信號(hào)傳遞操作點(diǎn)的這些值。為了確定SEI消息是否存在于操作點(diǎn)中，客戶端裝置 40可確定所述操作點(diǎn)的基本流的n0_sei_nal_unit_present值的最大值是否等于一。類似地，為了確定前置NAL單元是否存在于操作點(diǎn)中，客戶端裝置40可確定所述操作點(diǎn)的基本流的no_prefix_nal_unit_present值的最大值是否等于一。上文所論述的實(shí)例已聚焦于針對(duì)MVC位流的每一操作點(diǎn)所包括的操作點(diǎn)描述符。 作為一替代方案，源裝置20可提供用信號(hào)傳遞類似數(shù)據(jù)的MVC擴(kuò)展描述符。舉例來說，源裝置20可使一個(gè)以上MVC擴(kuò)展描述符與對(duì)應(yīng)于基本流的MVC視頻子位流相關(guān)聯(lián)。源裝置 20可在子位流的MVC擴(kuò)展描述符中指定待顯示的視角的幀速率、view_id子集以及待解碼的視角的數(shù)目。源裝置20可進(jìn)一步用信號(hào)傳遞MVC擴(kuò)展描述符與對(duì)應(yīng)操作點(diǎn)之間的映射。例如ITU-T H. 26UH. 262,H. 263.MPEG-UMPEG-2 和 H. 264/MPEG-4 第 10 部分等視頻壓縮標(biāo)準(zhǔn)利用運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)測(cè)來減少時(shí)間冗余。編碼器使用根據(jù)一些先前編碼的圖片 (本文中也稱為幀)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來根據(jù)運(yùn)動(dòng)向量預(yù)測(cè)當(dāng)前譯碼的圖片。典型的視頻譯碼中存在三種主要圖片類型。其為幀內(nèi)譯碼圖片(“I圖片”或“I幀”)、預(yù)測(cè)的圖片(“P 圖片”或“P幀”)和雙向預(yù)測(cè)圖片(“B圖片”或“B幀”)。P圖片按時(shí)間次序僅使用在當(dāng)前圖片之前的參考圖片。在B圖片中，B圖片的每一塊可從一個(gè)或兩個(gè)參考圖片而加以預(yù)測(cè)。 這些參考圖片可按時(shí)間次序位于當(dāng)前圖片之前或之后。根據(jù)H. 264譯碼標(biāo)準(zhǔn)，作為一實(shí)例，B圖片使用先前譯碼的參考圖片的兩個(gè)列表 (列表0和列表1)。這兩個(gè)列表可各自含有按時(shí)間次序的過去和/或未來的譯碼圖片。B 圖片中的塊可以以下若干方式中的一者來預(yù)測(cè)根據(jù)列表0參考圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、根據(jù)列表1參考圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)或根據(jù)列表0與列表1參考圖片兩者的組合的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。為得到列表0與列表1參考圖片兩者的組合，分別從列表0和列表1參考圖片獲得兩個(gè)運(yùn)動(dòng)補(bǔ)償參考區(qū)域。其組合將用以預(yù)測(cè)當(dāng)前塊。ITU-T H. 264標(biāo)準(zhǔn)支持各種塊大小(例如用于明度分量的16乘16、8乘8或4乘 4和用于色度分量的8X8)的幀內(nèi)預(yù)測(cè)，以及各種塊大小(例如用于明度分量的16X16、 16X8、8X16、8X8、8X4、4X8和4X4以及用于色度分量的相應(yīng)按比例調(diào)整的大小)的幀間預(yù)測(cè)。在本發(fā)明中，“ X ”與“乘”可互換地使用以指代根據(jù)垂直尺寸和水平尺寸的塊的像素尺寸，例如16 X 16像素或16乘16像素。通常，16 X 16塊將具有垂直方向上的16個(gè)像素 (y = 16)和水平方向上的16個(gè)像素(χ = 16)。同樣，NXN塊通常具有垂直方向中的N個(gè)像素和水平方向中的N個(gè)像素，其中N表示非負(fù)整數(shù)值。塊中的像素可布置成行和列。小于16乘16的塊大小可稱為16乘16宏塊的分割。視頻塊可包含在像素域中的像素?cái)?shù)據(jù)的塊，或在變換域中的變換系數(shù)的塊(例如，在將例如離散余弦變換(DCT)、整數(shù)變換、小波變換或概念上類似的變換等變換應(yīng)用于表示經(jīng)譯碼視頻塊與預(yù)測(cè)性視頻塊之間的像素差的殘余視頻塊數(shù)據(jù)之后)。在一些狀況下，視頻塊可包含變換域中的量化變換系數(shù)的塊。較小視頻塊可提供較好分辨率，且可用于定位包括高階細(xì)節(jié)的視頻幀。通常，可將宏塊和各種分割(有時(shí)稱為子塊)認(rèn)為是視頻塊。另外，片段可被認(rèn)為是多個(gè)視頻塊，例如宏塊和/或子塊。每一片段可為視頻幀的可獨(dú)立解碼單元?；蛘?，幀自身可為可解碼單元， 或幀的其它部分可經(jīng)定義為可解碼單元。術(shù)語(yǔ)“經(jīng)譯碼單元”或“譯碼單元”可指代視頻幀的任何可獨(dú)立解碼單元，例如整個(gè)幀、幀的片段、也稱為序列的圖片群組(GOP)或根據(jù)可適用譯碼技術(shù)定義的另一可獨(dú)立解碼單元。術(shù)語(yǔ)宏塊指代用于根據(jù)包含16X 16像素的二維像素陣列編碼圖片和/或視頻數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。每一像素包含色度分量和照度分量。因此，宏塊可界定四個(gè)照度塊(每一照度塊包含8X8像素的二維陣列)、兩個(gè)色度塊(每一色度塊包含16X 16像素的二維陣列) 和包含語(yǔ)法信息(例如經(jīng)譯碼塊型樣(CBP)、編碼模式(例如，幀內(nèi)(I)或幀間(P或B)編碼模式)、幀內(nèi)編碼塊的分割的分割大小(例如，16X16、16X8、8X16、8X8、8X4、4X8或 4X4)，或幀間編碼的宏塊的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量)的標(biāo)頭。視頻編碼器觀、視頻解碼器48、音頻編碼器沈、音頻解碼器46、多路復(fù)用器30和多路分用器38各自可實(shí)施為多種合適的編碼器或解碼器電路中的任一者(如果適用)，例如，一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、離散邏輯電路、軟件、硬件、固件，或其任何組合。視頻編碼器觀和視頻解碼器48中的每一者可包括于一個(gè)或一個(gè)以上編碼器或解碼器中，所述一個(gè)或一個(gè)以上編碼器或解碼器中的任一者可集成為組合的視頻編碼器/解碼器(CODEC)的一部分。同樣，音頻編碼器26和音頻解碼器46中的每一者可包括于一個(gè)或一個(gè)以上編碼器或解碼器中，所述一個(gè)或一個(gè)以上編碼器或解碼器中的任一者可集成為組合的CODEC的一部分。包括視頻編碼器觀、視頻解碼器48、音頻編碼器沈、音頻解碼器46、多路復(fù)用器30和/或多路分用器38的設(shè)備可包含集成電路、微處理器和/或無(wú)線通信裝置(例如蜂窩式電話)。本發(fā)明的技術(shù)可提供某些優(yōu)于用于MVC子位流的常規(guī)技術(shù)的優(yōu)點(diǎn)，常規(guī)技術(shù)不能實(shí)現(xiàn)用信號(hào)傳遞操作點(diǎn)的特性。每一子位流可包括對(duì)應(yīng)位流的一個(gè)或一個(gè)以上視角。在一些狀況下，操作點(diǎn)可對(duì)應(yīng)于不同位流的視角。本發(fā)明的技術(shù)提供識(shí)別對(duì)應(yīng)操作點(diǎn)的視角的操作點(diǎn)描述符。在多路復(fù)用器30已從所接收的數(shù)據(jù)組合NAL單元和/或接入單元后，多路復(fù)用器 30將所述單元傳遞到輸出接口 32以用于輸出。輸出接口 32可包含(例如)發(fā)射器、收發(fā)器、用于將數(shù)據(jù)寫入到計(jì)算機(jī)可讀媒體的裝置，例如，光學(xué)驅(qū)動(dòng)器、磁性媒體驅(qū)動(dòng)器(例如， 軟盤驅(qū)動(dòng)器)、通用串行總線(USB)端口、網(wǎng)絡(luò)接口或其它輸出接口。輸出接口 32將NAL單元或接入單元輸出到計(jì)算機(jī)可讀媒體；34，例如，發(fā)射信號(hào)、磁性媒體、光學(xué)媒體、存儲(chǔ)器、快閃驅(qū)動(dòng)器或其它計(jì)算機(jī)可讀媒體。最后，輸入接口 36從計(jì)算機(jī)可讀媒體34檢索數(shù)據(jù)。輸入接口 36可包含(例如) 光學(xué)驅(qū)動(dòng)器、磁性媒體驅(qū)動(dòng)器、USB端口、接收器、收發(fā)器或其它計(jì)算機(jī)可讀媒體接口。輸入接口 36可將NAL單元或接入單元提供到多路分用器38。多路分用器38可將傳送流或節(jié)目流多路分用成構(gòu)成性PES流，將PES流解包化以檢索經(jīng)編碼的數(shù)據(jù)，并視經(jīng)編碼的數(shù)據(jù)為音頻流的一部分還是視頻流的一部分(例如，如流的PES包標(biāo)頭所指示)而將經(jīng)編碼數(shù)據(jù)發(fā)送到音頻解碼器46或視頻解碼器48。音頻解碼器46解碼經(jīng)編碼的音頻數(shù)據(jù)且將經(jīng)解碼的音頻數(shù)據(jù)發(fā)送到音頻輸出42，而視頻解碼器48解碼經(jīng)編碼的視頻數(shù)據(jù)且將經(jīng)解碼的視頻數(shù)據(jù)(其可包括流的多個(gè)視角)發(fā)送到視頻輸出44。視頻輸出44可包含使用場(chǎng)景的多個(gè)視角的顯示器，例如，同時(shí)呈現(xiàn)場(chǎng)景的每一視角的立體或自動(dòng)立體顯示器。
特定來說，多路分用器38可選擇所接收的位流的操作點(diǎn)。舉例來說，多路分用器 38可比較所述位流的操作點(diǎn)的特性以選擇待由A/V目的地裝置40使用的適當(dāng)操作點(diǎn)。大體來說，多路分用器38可試圖選擇所述操作點(diǎn)中的將向用戶提供最高質(zhì)量檢視體驗(yàn)的可由視頻解碼器48解碼的操作點(diǎn)。舉例來說，多路分用器38可將視頻解碼器48的呈現(xiàn)能力和解碼能力與位流的操作點(diǎn)描述符用信號(hào)傳遞的所建議呈現(xiàn)能力和解碼能力進(jìn)行比較。在多路分用器38確定可由視頻解碼器48適當(dāng)解碼的操作點(diǎn)中，多路分用器38可選擇將提供最高質(zhì)量視頻數(shù)據(jù)(例如，最高幀速率和/或位速率)的操作點(diǎn)。在其它實(shí)例中，多路分用器38可基于其它考慮(例如，電力消耗)來選擇所支持的操作點(diǎn)中的一者。圖2為說明多路復(fù)用器30 (圖1)的組件的實(shí)例布置的框圖。在圖2的實(shí)例中，多路復(fù)用器30包括流管理單元60、視頻輸入接口 80、音頻輸入接口 82、多路復(fù)用流輸出接口 84和節(jié)目特定信息表88。流管理單元60包括NAL單元構(gòu)造器62、PMT構(gòu)造器64、流識(shí)別符(流ID)查找單元66和節(jié)目識(shí)別符(PID)指派單元68。在圖2的實(shí)例中，視頻輸入接口 80和音頻輸入接口 82包括用于用經(jīng)編碼的視頻數(shù)據(jù)和經(jīng)編碼的音頻數(shù)據(jù)形成PES單元的相應(yīng)包化器。在其它實(shí)例中，視頻包化器和/或音頻包化器可包括于多路復(fù)用器30外部的單元或模塊中。關(guān)于圖2的實(shí)例，視頻輸入接口 80可用從視頻編碼器觀所接收的經(jīng)編碼的視頻數(shù)據(jù)形成PES包，且音頻輸入接口 82可用從音頻編碼器26所接收的經(jīng)編碼的音頻數(shù)據(jù)形成PES包。流管理單元60從視頻輸入接口 80和音頻輸入接口 82接收PES包。每一 PES包包括識(shí)別PES包所屬的基本流的流ID。流ID查找單元66可通過查詢節(jié)目特定信息表88而確定PES包所對(duì)應(yīng)的節(jié)目。S卩，流ID查找單元66可確定所接收的PES包對(duì)應(yīng)于哪一節(jié)目。 每一節(jié)目可包含多個(gè)基本流，而通常，一個(gè)基本流對(duì)應(yīng)于僅一個(gè)節(jié)目。然而，在一些實(shí)例中， 基本流可包括于多個(gè)節(jié)目中。每一 PES包可包括于從多路復(fù)用器30輸出的多個(gè)流中，因?yàn)楦鞣N服務(wù)可能各自包括可用音頻和視頻流的各種子集。因此，流ID查找單元66可確定PES 包是否應(yīng)包括于一個(gè)或一個(gè)以上輸出流(例如，一個(gè)或一個(gè)以上傳送流或節(jié)目流)中，且特定來說確定在哪一輸出流中包括所述PES包。在一個(gè)實(shí)例中，每一基本流對(duì)應(yīng)于一節(jié)目。多路復(fù)用器30可負(fù)責(zé)確保每一基本流與特定節(jié)目(且因此，與節(jié)目ID(PID))相關(guān)聯(lián)。當(dāng)接收到包括多路復(fù)用器30不可辨識(shí)的流ID (例如，未存儲(chǔ)于節(jié)目特定信息表88中的流ID)的PES包時(shí)，PID指派單元68在節(jié)目特定信息表88中建立一個(gè)或一個(gè)以上新條目以使新流ID與未使用的PID相關(guān)聯(lián)。在確定PES包對(duì)應(yīng)的節(jié)目后，NAL單元構(gòu)造器62 (例如)通過封裝具有NAL單元標(biāo)頭(包括PES包的流ID對(duì)應(yīng)的節(jié)目的PID)的PES包而形成包含PES包的NAL單元。在一些實(shí)例中，NAL單元構(gòu)造器62或流管理單元60的另一子單元可形成包含多個(gè)NAL單元的接入單元。PMT構(gòu)造器64使用來自節(jié)目特定信息表88的信息而針對(duì)多路復(fù)用器30的相應(yīng)輸出流建立節(jié)目映射表(PMT)。在另一實(shí)例中，流管理單元60可包含用于針對(duì)由多路復(fù)用器30輸出的節(jié)目流建立節(jié)目流映射的PSM構(gòu)造器。在一些實(shí)例中，多路復(fù)用器30可包含 PMT構(gòu)造器64與PSM構(gòu)造器兩者，且輸出傳送流和節(jié)目流中的任一者或兩者。在圖2的實(shí)例中，PMT構(gòu)造器64可構(gòu)造包括由本發(fā)明描述的新描述符(例如，操作點(diǎn)描述符)以及任何其它必要描述符的PMT和所述PMT的PMT數(shù)據(jù)。PMT構(gòu)造器64可周期性地(例如，在某一時(shí)間周期后或在已發(fā)射某一數(shù)據(jù)量后)發(fā)送用于傳送流的隨后PMT。PMT構(gòu)造器64可將所建立的PMT傳遞到NAL單元構(gòu)造器62以用于(例如)通過封裝具有相應(yīng)NAL單元標(biāo)頭 (包括相應(yīng)PID)的PMT而形成包含PMT的NAL單元。PMT構(gòu)造器64可建立節(jié)目的每一操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)(例如，操作點(diǎn)描述符)。由 PMT構(gòu)造器64建立的數(shù)據(jù)結(jié)構(gòu)可用信號(hào)傳遞以下各者描述接收裝置使用所述操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述接收裝置使用所述操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述操作點(diǎn)的位速率的位速率值。舉例來說，PMT構(gòu)造器64可基于由節(jié)目特定信息表88存儲(chǔ)的信息或經(jīng)由視頻輸入接口 80從視頻編碼器觀接收的信息來確定操作點(diǎn)的待顯示的視角的數(shù)目和操作點(diǎn)的視角的幀速率。PMT構(gòu)造器64可使用數(shù)據(jù)結(jié)構(gòu)的呈現(xiàn)能力值用信號(hào)傳遞操作點(diǎn)的視角的數(shù)目和操作點(diǎn)的視角的幀速率中的任一者或兩者。PMT構(gòu)造器64還可確定操作點(diǎn)的待解碼的視角的數(shù)目和操作點(diǎn)的視角所對(duì)應(yīng)的簡(jiǎn)檔的層級(jí)值。舉例來說，PMT構(gòu)造器64可確定需要經(jīng)處理的宏塊的數(shù)目、經(jīng)解碼的圖片緩沖器大小、經(jīng)譯碼的圖片緩沖器大小、垂直運(yùn)動(dòng)向量范圍、每?jī)蓚€(gè)連續(xù)宏塊的運(yùn)動(dòng)向量的最大數(shù)目，和/或B塊是否可具有小于8 X 8像素的子宏塊分割區(qū)，且使用這些確定來確定操作點(diǎn)的層。PMT構(gòu)造器64可經(jīng)由視頻輸入接口 80從視頻編碼器觀接收此信息。PMT構(gòu)造器64可接著使用操作點(diǎn)的解碼能力值表示待解碼的視角的數(shù)目和/或簡(jiǎn)檔的層級(jí)值。PMT構(gòu)造器64可進(jìn)一步確定操作點(diǎn)的位速率值且將所述位速率值編碼于數(shù)據(jù)結(jié)構(gòu)中。位速率值可對(duì)應(yīng)于操作點(diǎn)的平均位速率或最大位速率。PMT構(gòu)造器64可計(jì)算操作點(diǎn)的位速率或從視頻編碼器觀接收位速率的指示。多路復(fù)用流輸出接口 84可從流管理單元60接收一個(gè)或一個(gè)以上NAL單元和/或接入單元，例如，包含PES包(例如，音頻或視頻數(shù)據(jù))的NAL單元和/或包含PMT的NAL單元。在一些實(shí)例中，多路復(fù)用流輸出接口 84可在從流管理單元60接收到NAL單元后由對(duì)應(yīng)于共同時(shí)間位置的一個(gè)或一個(gè)以上NAL單元形成接入單元。多路復(fù)用流輸出接口 84將 NAL單元或接入單元作為相應(yīng)傳送流或節(jié)目流中的輸出而發(fā)射。多路復(fù)用流輸出接口 84還可從PMT構(gòu)造器64接收數(shù)據(jù)結(jié)構(gòu)且包括所述數(shù)據(jù)結(jié)構(gòu)作為位流的一部分。圖3為說明節(jié)目特定信息表88的實(shí)例集合的框圖?？苫趥魉桶腜ID值來確定所述傳送包所屬的基本流。為了使解碼器正確地解碼所接收數(shù)據(jù)，解碼器需要能夠確定哪些基本流屬于每一節(jié)目。如包括于節(jié)目特定信息表88中的節(jié)目特定信息可明確地指定節(jié)目與組成性基本流(component elementary stream)之間的關(guān)系。在圖3的實(shí)例中，節(jié)目特定信息表88包括網(wǎng)絡(luò)信息表100、條件接入表102、節(jié)目接入表104和節(jié)目映射表106。 對(duì)于圖3的實(shí)例，假定輸出流包含MPEG-2傳送流。在替代實(shí)例中，輸出流可包含節(jié)目流，在所述狀況下，節(jié)目映射表106可以節(jié)目流映射來替代。MPEG-2系統(tǒng)規(guī)范指定傳送流中所載運(yùn)的每一節(jié)目具有與其相關(guān)聯(lián)的節(jié)目映射表 (例如，節(jié)目映射表106)。節(jié)目映射表106可包括關(guān)于節(jié)目和節(jié)目包括的基本流的細(xì)節(jié)。作為一個(gè)實(shí)例，節(jié)目(識(shí)別為節(jié)目編號(hào)幻可含有具有PID 33的視頻基本流、具有PID57的英語(yǔ)音頻流和具有PID 60的中文音頻流。準(zhǔn)許PMT包括一個(gè)以上節(jié)目。由MPEG-2系統(tǒng)規(guī)范所指定的基本節(jié)目映射表可以MPEG-2系統(tǒng)規(guī)范中所指定的許多描述符中的一些(例如，描述符108)來修飾。描述符108可包括MPEG-2系統(tǒng)規(guī)范所指定的描述符中的任一者或全部。通常，描述符(例如，描述符108)傳達(dá)關(guān)于節(jié)目或其組成性基本流或子位流的更多信息。描述符可包括視頻編碼參數(shù)、音頻編碼參數(shù)、語(yǔ)言識(shí)別、搖攝和掃描信息、條件接入細(xì)節(jié)、版權(quán)信息或其它此類信息。廣播員或其它用戶可定義額外私用描述符。本發(fā)明提供一種用以描述符合MPEG-2系統(tǒng)的位流中的操作點(diǎn)的特性的操作點(diǎn)描述符。描述符108可包括對(duì)應(yīng)位流的每一操作點(diǎn)的操作點(diǎn)描述符。如圖3中所展示，描述符 108包括MVC擴(kuò)展描述符110、分級(jí)結(jié)構(gòu)描述符112和操作點(diǎn)描述符114。操作點(diǎn)描述符114 中的每一者可對(duì)應(yīng)于位流的特定操作點(diǎn)，且用信號(hào)傳遞關(guān)于所述操作點(diǎn)的以下各者描述接收裝置使用所述操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述接收裝置使用所述操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述操作點(diǎn)的位速率的位速率值。在視頻相關(guān)的組成性基本流中，也存在分級(jí)結(jié)構(gòu)描述符，其提供信息以識(shí)別含有經(jīng)分級(jí)結(jié)構(gòu)式譯碼的視頻、 音頻和私用流的分量的節(jié)目元素。下表1提供包括于MVC擴(kuò)展描述符110中的數(shù)據(jù)的一個(gè)實(shí)例。表1中所展示的各種字段和所述字段的位深度僅為一個(gè)實(shí)例。在一個(gè)實(shí)例中，每一 MVC視頻子位流與MVC擴(kuò)展描述符110中的一對(duì)應(yīng)者相關(guān)聯(lián)，所述相應(yīng)MVC擴(kuò)展描述符指定對(duì)應(yīng)MVC視頻子位流的特性。MVC視頻子位流可需要匯編其它MVC視頻子位流。即，為了解碼并呈現(xiàn)特定子位流， 客戶端裝置可需要從包括兩個(gè)子位流的共同位流的其它子位流提取并解碼視頻數(shù)據(jù)。表I-MVC擴(kuò)展描述符
權(quán)利要求
1.一種方法，其包含通過源裝置構(gòu)造對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)被作為所述位流的一部分而包括在內(nèi)；以及輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。
2.根據(jù)權(quán)利要求1所述的方法，其中構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)包含構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)以使得一個(gè)或一個(gè)以上二維顯示裝置和三維顯示裝置使所述位流適合于所述一個(gè)或一個(gè)以上二維顯示裝置和三維顯示裝置且使各種帶寬的傳送媒體適應(yīng)所述一個(gè)或一個(gè)以上二維顯示裝置和三維顯示裝置。
3.根據(jù)權(quán)利要求1所述的方法，其中所述呈現(xiàn)能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的數(shù)目、所述對(duì)應(yīng)MVC操作點(diǎn)的視頻數(shù)據(jù)的幀速率和所述對(duì)應(yīng)MVC操作點(diǎn)的時(shí)間識(shí)別符值。
4.根據(jù)權(quán)利要求1所述的方法，其中所述解碼能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的待解碼的視角的數(shù)目、對(duì)應(yīng)于所述MVC操作點(diǎn)的層級(jí)值和對(duì)應(yīng)于所述MVC操作點(diǎn)的簡(jiǎn)檔值。
5.根據(jù)權(quán)利要求1所述的方法，其中所述位速率值描述所述對(duì)應(yīng)MVC操作點(diǎn)的平均位速率和所述對(duì)應(yīng)MVC操作點(diǎn)的最大位速率中的一者。
6.根據(jù)權(quán)利要求1所述的方法，其中構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)包含節(jié)目映射表數(shù)據(jù)結(jié)構(gòu)中的操作點(diǎn)描述符，且其中所述位流包含MPEG-2傳送流。
7.根據(jù)權(quán)利要求1所述的方法，其中構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)包含節(jié)目流映射數(shù)據(jù)結(jié)構(gòu)中的操作點(diǎn)描述符，且其中所述位流包含MPEG-2節(jié)目流。
8.根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)包含將幀速率值包括于所述操作點(diǎn)描述符中，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；將所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；將所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及將時(shí)間識(shí)別符值包括于所述操作點(diǎn)描述符中，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
9.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含構(gòu)造包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符，其中輸出所述數(shù)據(jù)結(jié)構(gòu)包含輸出所述經(jīng)構(gòu)造的操作點(diǎn)描述符中的每一者。
10.一種設(shè)備，其包含多路復(fù)用器，其構(gòu)造對(duì)應(yīng)于MPEG-2(動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼 MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值、以及描述所述MVC操作點(diǎn)的位速率的位速率值；且將所述數(shù)據(jù)結(jié)構(gòu)作為所述位流的一部分而包括在內(nèi)；以及輸出接口，其輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。
11.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述呈現(xiàn)能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的數(shù)目、所述對(duì)應(yīng)MVC操作點(diǎn)的視頻數(shù)據(jù)的幀速率和所述對(duì)應(yīng)MVC 操作點(diǎn)的時(shí)間識(shí)別符值。
12.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述解碼能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的待解碼的視角的數(shù)目、對(duì)應(yīng)于所述MVC操作點(diǎn)的層級(jí)值和對(duì)應(yīng)于所述MVC操作點(diǎn)的簡(jiǎn)檔值。
13.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述位速率值描述所述對(duì)應(yīng)MVC操作點(diǎn)的平均位速率和所述對(duì)應(yīng)MVC操作點(diǎn)的最大位速率中的一者。
14.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述多路復(fù)用器將所述數(shù)據(jù)結(jié)構(gòu)構(gòu)造為節(jié)目映射表數(shù)據(jù)結(jié)構(gòu)中的操作點(diǎn)描述符，且其中所述位流包含MPEG-2傳送流。
15.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述多路復(fù)用器將所述數(shù)據(jù)結(jié)構(gòu)構(gòu)造為節(jié)目流映射數(shù)據(jù)結(jié)構(gòu)中的操作點(diǎn)描述符，且其中所述位流包含MPEG-2節(jié)目流。
16.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述多路復(fù)用器將所述數(shù)據(jù)結(jié)構(gòu)構(gòu)造為操作點(diǎn)描述符，其中所述MVC操作點(diǎn)對(duì)應(yīng)于所述位流的視角的子集，且其中為了構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)，所述多路復(fù)用器進(jìn)行以下操作將幀速率值包括于所述操作點(diǎn)描述符中，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；將所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；將所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及將時(shí)間識(shí)別符值包括于所述操作點(diǎn)描述符中，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
17.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述多路復(fù)用器進(jìn)一步經(jīng)配置以構(gòu)造包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符，其中輸出所述數(shù)據(jù)結(jié)構(gòu)包含輸出所述經(jīng)構(gòu)造的操作點(diǎn)描述符中的每一者。
18.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述設(shè)備包含以下各項(xiàng)中的至少一者集成電路；微處理器，以及包括所述多路復(fù)用器的無(wú)線通信裝置。
19.一種設(shè)備，其包含用于構(gòu)造對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)被作為所述位流的一部分而包括在內(nèi)；以及用于輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流的裝置。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述呈現(xiàn)能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的數(shù)目、所述對(duì)應(yīng)MVC操作點(diǎn)的視頻數(shù)據(jù)的幀速率和所述對(duì)應(yīng)MVC操作點(diǎn)的時(shí)間識(shí)別符值。
21.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述解碼能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的待解碼的視角的數(shù)目、對(duì)應(yīng)于所述MVC操作點(diǎn)的層級(jí)值和對(duì)應(yīng)于所述MVC操作點(diǎn)的簡(jiǎn)檔值。
22.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述位速率值描述所述對(duì)應(yīng)MVC操作點(diǎn)的平均位速率和所述對(duì)應(yīng)MVC操作點(diǎn)的最大位速率中的一者。
23.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中所述用于構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)的裝置包含用于將幀速率值包括于所述操作點(diǎn)描述符中的裝置，所述幀速率值描述包括于所述 MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；用于將所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中的裝置，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；用于將所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中的裝置，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及用于將時(shí)間識(shí)別符值包括于所述操作點(diǎn)描述符中的裝置，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
24.一種包含指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在執(zhí)行時(shí)使源裝置的處理器進(jìn)行以下操作構(gòu)造對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的一解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值，且其中所述數(shù)據(jù)結(jié)構(gòu)經(jīng)包括作為所述位流的一部分；以及使輸出接口輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。
25.根據(jù)權(quán)利要求M所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述呈現(xiàn)能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的數(shù)目、所述對(duì)應(yīng)MVC操作點(diǎn)的視頻數(shù)據(jù)的幀速率和所述對(duì)應(yīng)MVC操作點(diǎn)的時(shí)間識(shí)別符值。
26.根據(jù)權(quán)利要求M所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述解碼能力值至少描述所述對(duì)應(yīng)MVC操作點(diǎn)的待解碼的視角的數(shù)目、對(duì)應(yīng)于所述MVC操作點(diǎn)的層級(jí)值和對(duì)應(yīng)于所述MVC 操作點(diǎn)的簡(jiǎn)檔值。
27.根據(jù)權(quán)利要求M所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述位速率值描述所述對(duì)應(yīng) MVC操作點(diǎn)的平均位速率和所述對(duì)應(yīng)MVC操作點(diǎn)的最大位速率中的一者。
28.根據(jù)權(quán)利要求M所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中使所述處理器構(gòu)造所述數(shù)據(jù)結(jié)構(gòu)的所述指令包含使所述處理器進(jìn)行以下操作的指令將幀速率值包括于所述操作點(diǎn)描述符中，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；將所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；將所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值包括于所述操作點(diǎn)描述符中，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及將時(shí)間識(shí)別符值包括于所述操作點(diǎn)描述符中，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
29.一種方法，其包含通過目的地裝置接收對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼 MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；確定所述目的地裝置的視頻解碼器是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角；確定所述目的地裝置是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角；以及在所述目的地裝置的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述目的地裝置的所述視頻解碼器。
30.根據(jù)權(quán)利要求四所述的方法，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中所述操作點(diǎn)描述符包含幀速率值，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及時(shí)間識(shí)別符值，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
31.根據(jù)權(quán)利要求30所述的方法，其中確定所述視頻解碼器是否能夠解碼所述視角包含確定所述視頻解碼器是否能夠在所述幀速率值所指示的所述幀速率下解碼等效于視角解碼數(shù)目值的數(shù)目的視角。
32.根據(jù)權(quán)利要求30所述的方法，其進(jìn)一步包含 接收包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符；基于所述對(duì)應(yīng)操作點(diǎn)描述符選擇操作點(diǎn)，其中選擇包含確定所述視頻解碼器能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述選定操作點(diǎn)的視角；以及將對(duì)應(yīng)于所述選定操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
33.根據(jù)權(quán)利要求四所述的方法，其中通過描述可由所述目的地裝置呈現(xiàn)的視角的最大數(shù)目的最大視角呈現(xiàn)值和描述可由所述目的地裝置顯示的視頻數(shù)據(jù)的最大幀速率的最大幀速率值來配置所述目的地裝置，其中確定所述目的地裝置是否能夠呈現(xiàn)對(duì)應(yīng)于所述 MVC操作點(diǎn)的所述視角包含將對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的數(shù)目與所述最大視角呈現(xiàn)值進(jìn)行比較；以及將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的幀速率與所述最大幀速率值進(jìn)行比較， 其中將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器包含在對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的所述數(shù)目小于或等于所述最大視角呈現(xiàn)值時(shí)且在對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的所述幀速率小于或等于所述最大幀速率值時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
34.根據(jù)權(quán)利要求33所述的方法，其中所述最大視角呈現(xiàn)值與所述最大幀速率值成反比。
35.一種設(shè)備，其包含輸入接口，其經(jīng)配置以接收對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；視頻解碼器，其經(jīng)配置以解碼視頻數(shù)據(jù)；以及多路分用器，其經(jīng)配置以確定所述視頻解碼器是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角，確定所述設(shè)備是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角，且在所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
36.根據(jù)權(quán)利要求35所述的設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中所述操作點(diǎn)描述符包含幀速率值，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及時(shí)間識(shí)別符值，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
37.根據(jù)權(quán)利要求36所述的設(shè)備，其中為了確定所述視頻解碼器是否能夠解碼所述視角，所述多路分用器經(jīng)配置以確定所述視頻解碼器是否能夠在所述幀速率值所指示的所述幀速率下解碼等效于視角解碼數(shù)目值的數(shù)目的視角。
38.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述多路分用器經(jīng)配置以接收包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符；基于所述對(duì)應(yīng)操作點(diǎn)描述符選擇操作點(diǎn)，其中為了選擇所述MVC操作點(diǎn)，所述多路分用器經(jīng)配置以確定所述視頻解碼器能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述選定操作點(diǎn)的視角；且將對(duì)應(yīng)于所述選定操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
39.根據(jù)權(quán)利要求35所述的設(shè)備，其進(jìn)一步包含計(jì)算機(jī)可讀存儲(chǔ)媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體經(jīng)配置以存儲(chǔ)描述可由目的地裝置呈現(xiàn)的視角的最大數(shù)目的最大視角呈現(xiàn)值和描述可由所述目的地裝置顯示的視頻數(shù)據(jù)的最大幀速率的最大幀速率值，其中為了確定所述設(shè)備是否能夠呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角，所述多路分用器經(jīng)配置以將對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的數(shù)目與所述最大視角呈現(xiàn)值進(jìn)行比較，且將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的幀速率與所述最大幀速率值進(jìn)行比較，且其中所述多路分用器經(jīng)配置以在對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的所述數(shù)目小于或等于所述最大視角呈現(xiàn)值時(shí)且在對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的所述幀速率小于或等于所述最大幀速率值時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
40.根據(jù)權(quán)利要求39所述的設(shè)備，其中所述最大視角呈現(xiàn)值與所述最大幀速率值成反比。
41.根據(jù)權(quán)利要求35所述的設(shè)備，其中所述設(shè)備包含以下各項(xiàng)中的至少一者 集成電路；微處理器，以及包括所述多路分用器的無(wú)線通信裝置。
42.一種設(shè)備，其包含用于接收對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值，以及描述所述MVC操作點(diǎn)的位速率的位速率值；用于確定所述設(shè)備的視頻解碼器是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的裝置；用于確定所述設(shè)備是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的裝置；以及用于在所述設(shè)備的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述設(shè)備的所述視頻解碼器的裝置。
43.根據(jù)權(quán)利要求42所述的設(shè)備，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中所述操作點(diǎn)描述符包含幀速率值，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；所述MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及時(shí)間識(shí)別符值，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
44.根據(jù)權(quán)利要求43所述的設(shè)備，其中所述用于確定所述視頻解碼器是否能夠解碼所述視角的裝置包含用于確定所述視頻解碼器是否能夠在所述幀速率值所指示的所述幀速率下解碼等效于視角的解碼數(shù)目值的數(shù)目的視角的裝置。
45.根據(jù)權(quán)利要求43所述的設(shè)備，其進(jìn)一步包含用于接收包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符的裝置； 用于基于所述對(duì)應(yīng)操作點(diǎn)描述符選擇操作點(diǎn)的裝置，其中選擇包含確定所述視頻解碼器能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述選定操作點(diǎn)的視角；以及用于將對(duì)應(yīng)于所述選定操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器的裝置。
46.根據(jù)權(quán)利要求42所述的設(shè)備，其進(jìn)一步包含用于存儲(chǔ)描述可由目的地裝置呈現(xiàn)的視角的最大數(shù)目的最大視角呈現(xiàn)值和描述可由所述目的地裝置顯示的視頻數(shù)據(jù)的最大幀速率的最大幀速率值的裝置，其中所述用于確定所述目的地裝置是否能夠呈現(xiàn)對(duì)應(yīng)于所述 MVC操作點(diǎn)的所述視角的裝置包含用于將對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的數(shù)目與所述最大視角呈現(xiàn)值進(jìn)行比較的裝置；以及用于將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的幀速率與所述最大幀速率值進(jìn)行比較的裝置，其中所述用于將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器的裝置包含用于在對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的所述數(shù)目小于或等于所述最大視角呈現(xiàn)值時(shí)且在對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的所述幀速率小于或等于所述最大幀速率值時(shí)將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器的裝置。
47.一種包含指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在執(zhí)行時(shí)使目的地裝置的處理器進(jìn)行以下操作接收對(duì)應(yīng)于MPEG-2 (動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值， 以及描述所述MVC操作點(diǎn)的位速率的位速率值；確定所述目的地裝置的視頻解碼器是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述解碼能力而解碼對(duì)應(yīng)于所述MVC操作點(diǎn)的視角；確定所述目的地裝置是否能夠基于所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞的所述呈現(xiàn)能力而呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角；以及在所述目的地裝置的所述視頻解碼器經(jīng)確定能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角時(shí)，將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述目的地裝置的所述視頻解碼器。
48.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述數(shù)據(jù)結(jié)構(gòu)包含操作點(diǎn)描述符，且其中所述操作點(diǎn)描述符包含幀速率值，所述幀速率值描述包括于所述MVC操作點(diǎn)的所述視角中的視頻數(shù)據(jù)的最大幀速率；所述MVC操作點(diǎn)的以呈現(xiàn)為目標(biāo)的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于以呈現(xiàn)為目標(biāo)的所述視角中的一者；所述 MVC操作點(diǎn)的待解碼的視角的視角識(shí)別符值，其中所述視角識(shí)別符值中的每一者對(duì)應(yīng)于待解碼的所述視角中的一者；以及時(shí)間識(shí)別符值，所述時(shí)間識(shí)別符值對(duì)應(yīng)于由所述MVC操作點(diǎn)的所述視角的所述視頻數(shù)據(jù)匯編的視頻流的幀速率。
49.根據(jù)權(quán)利要求48所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中使所述處理器確定所述視頻解碼器是否能夠解碼所述視角的所述指令包含使所述處理器確定所述視頻解碼器是否能夠在所述幀速率值所指示的所述幀速率下解碼等效于視角的解碼數(shù)目值的數(shù)目的視角的指令。
50.根據(jù)權(quán)利要求48所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包含使所述處理器進(jìn)行以下操作的指令接收包括于所述位流中的每一操作點(diǎn)的操作點(diǎn)描述符；基于所述對(duì)應(yīng)操作點(diǎn)描述符選擇操作點(diǎn)，其中選擇包含確定所述視頻解碼器能夠解碼并呈現(xiàn)對(duì)應(yīng)于所述選定操作點(diǎn)的視角；以及將對(duì)應(yīng)于所述選定操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器。
51.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述目的地裝置通過描述可由所述目的地裝置呈現(xiàn)的視角的最大數(shù)目的最大視角呈現(xiàn)值和描述可由所述目的地裝置顯示的視頻數(shù)據(jù)的最大幀速率的最大幀速率值來配置，其中使所述處理器確定所述目的地裝置是否能夠呈現(xiàn)對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的所述指令包含使所述處理器進(jìn)行以下操作的指令將對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的數(shù)目與所述最大視角呈現(xiàn)值進(jìn)行比較；以及將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的幀速率與所述最大幀速率值進(jìn)行比較， 其中使所述處理器將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器的所述指令包含使所述處理器在對(duì)應(yīng)于所述MVC操作點(diǎn)的視角的所述數(shù)目小于或等于所述最大視角呈現(xiàn)值時(shí)且在對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角的所述幀速率小于或等于所述最大幀速率值時(shí)將對(duì)應(yīng)于所述MVC操作點(diǎn)的所述視角發(fā)送到所述視頻解碼器的指令。
全文摘要
源視頻裝置和目的地視頻裝置可使用用信號(hào)傳遞MPEG-2(動(dòng)畫專家組)系統(tǒng)位流的操作點(diǎn)的細(xì)節(jié)的數(shù)據(jù)結(jié)構(gòu)。在一個(gè)實(shí)例中，一種設(shè)備包括多路復(fù)用器，其構(gòu)造對(duì)應(yīng)于MPEG-2(動(dòng)畫專家組)系統(tǒng)標(biāo)準(zhǔn)位流的多視角視頻譯碼MVC操作點(diǎn)的數(shù)據(jù)結(jié)構(gòu)，其中所述數(shù)據(jù)結(jié)構(gòu)用信號(hào)傳遞描述接收裝置使用所述MVC操作點(diǎn)待滿足的呈現(xiàn)能力的呈現(xiàn)能力值、描述所述接收裝置使用所述MVC操作點(diǎn)待滿足的解碼能力的解碼能力值、以及描述所述MVC操作點(diǎn)的位速率的位速率值；且將所述數(shù)據(jù)結(jié)構(gòu)作為所述位流的一部分而包括在內(nèi)；以及輸出接口，其輸出包含所述數(shù)據(jù)結(jié)構(gòu)的所述位流。
文檔編號(hào)H04N21/2362GK102474655SQ201080034959
公開日2012年5月23日 申請(qǐng)日期2010年8月6日 優(yōu)先權(quán)日2009年8月7日
發(fā)明者陳培松, 陳英, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司