Mmt打包svc視頻內(nèi)容的混合傳送方法及接收方法
【專利摘要】本發(fā)明公開(kāi)了用于根據(jù)傳送網(wǎng)絡(luò)的數(shù)量對(duì)內(nèi)容進(jìn)行分割并且傳輸分割內(nèi)容的內(nèi)容混合傳送方法。該內(nèi)容混合傳送方法包括以下步驟：使得服務(wù)器能夠通過(guò)對(duì)要從服務(wù)器傳送至客戶端的SVC視頻內(nèi)容進(jìn)行分割來(lái)生成分割SVC視頻內(nèi)容的組成信息；以及使用多個(gè)傳送網(wǎng)絡(luò)將分割SVC視頻內(nèi)容傳輸至客戶端。因此，該內(nèi)容混合傳送方法能夠有效地使用各種傳送網(wǎng)絡(luò)。
【專利說(shuō)明】MMT打包SVC視頻內(nèi)容的混合傳送方法及接收方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及傳輸和接收視頻內(nèi)容的方法，并且更具體地，涉及通過(guò)多個(gè)傳輸網(wǎng)絡(luò)傳輸MMT打包視頻內(nèi)容的方法。

【背景技術(shù)】
[0002]在MPEG-2的標(biāo)準(zhǔn)化之后，相繼開(kāi)發(fā)了如MPEG-4、H.264/AVC和可縮放視頻編碼(SVC)的新的視頻壓縮標(biāo)準(zhǔn)(或音頻壓縮標(biāo)準(zhǔn))，并且每個(gè)新的標(biāo)準(zhǔn)形成了新的市場(chǎng)，由此拓寬了 MPEG標(biāo)準(zhǔn)的應(yīng)用領(lǐng)域。然而，如MPEG-2傳輸系統(tǒng)(TS)的傳輸技術(shù)廣泛地被用在數(shù)字廣播、移動(dòng)廣播(T-DMB、DVB-H等)等中大約20年而無(wú)顯著變化，并且甚至這些技術(shù)通過(guò)因特網(wǎng)即IPTV服務(wù)廣泛地被用于多媒體傳輸。
[0003]然而，在開(kāi)發(fā)MPEG-2TS時(shí)的多媒體傳輸環(huán)境和當(dāng)今的多媒體傳輸環(huán)境正經(jīng)歷著顯著變化。例如，在考慮通過(guò)ATM網(wǎng)絡(luò)來(lái)傳輸多媒體數(shù)據(jù)時(shí)開(kāi)發(fā)了 MPEG-2TS標(biāo)準(zhǔn)，但如今，很難找到為此而使用的實(shí)例。此外，在制定MPEG-2TS標(biāo)準(zhǔn)時(shí)并未考慮通過(guò)使用因特網(wǎng)等進(jìn)行多媒體傳輸?shù)男枨?，并且因此存在?duì)通過(guò)因特網(wǎng)進(jìn)行多媒體傳輸而言非有效的因素。因此，正認(rèn)為以下是非常重要的主題:建立考慮因特網(wǎng)中適合變化的多媒體環(huán)境的多媒體服務(wù)的MPEG媒體傳輸層(MMT)。
[0004]同樣地，進(jìn)行MMT標(biāo)準(zhǔn)化的重要原因在于:20年前所制定的MPEG-2TS標(biāo)準(zhǔn)未針對(duì)最近的IPTV廣播服務(wù)、因特網(wǎng)、環(huán)境等進(jìn)行優(yōu)化，并且因此鑒于對(duì)最近各種異構(gòu)網(wǎng)絡(luò)中的多媒體傳輸環(huán)境的經(jīng)優(yōu)化的多媒體傳輸國(guó)際標(biāo)準(zhǔn)的迫切需要而將MMT標(biāo)準(zhǔn)化為MPEG中的新的傳輸技術(shù)標(biāo)準(zhǔn)。
[0005]此外，多媒體內(nèi)容服務(wù)正基于通信與廣播的融合環(huán)境中的視頻連同高速無(wú)線網(wǎng)絡(luò)和因特網(wǎng)而被推廣。在用于內(nèi)容消費(fèi)的將各種性能的終端如智能電話和平板PC以及現(xiàn)有的TV或PC進(jìn)行混合的融合環(huán)境中，將使得能夠無(wú)縫地使用視頻、音樂(lè)、游戲和數(shù)據(jù)的服務(wù)稱為N屏幕服務(wù)。
[0006]在這樣的各種終端中，適合每個(gè)終端的各種分辨率的內(nèi)容被消費(fèi)；并且由于移動(dòng)服務(wù)變得可用，所以實(shí)時(shí)地改變網(wǎng)絡(luò)環(huán)境的內(nèi)容消費(fèi)環(huán)境正在被形成。為了提供適合實(shí)時(shí)變化的消費(fèi)環(huán)境的高品質(zhì)內(nèi)容，支持單一格式的現(xiàn)有視頻編碼方案則不能滿足要求。
[0007]在這方面，對(duì)可縮放視頻編碼(SVC)的研究在積極進(jìn)步中。對(duì)SVC進(jìn)行了設(shè)計(jì)以使得SVC能夠?qū)崟r(shí)地適應(yīng)各種傳輸環(huán)境和終端性能。即，這是能夠?qū)崿F(xiàn)實(shí)時(shí)適應(yīng)的以下視頻編碼方案:該視頻編碼方案支持適合可變異構(gòu)消費(fèi)環(huán)境如因終端需求而異的分辨率和網(wǎng)絡(luò)狀態(tài)的格式。
[0008]如上所述，當(dāng)通過(guò)MMT方案中的各種異構(gòu)網(wǎng)絡(luò)傳輸以下SVC視頻內(nèi)容時(shí)可以利用多個(gè)傳輸網(wǎng)絡(luò):這樣的SVC視頻內(nèi)容可以根據(jù)各種終端性能及變化的網(wǎng)絡(luò)環(huán)境自適應(yīng)地提供適當(dāng)?shù)囊曨l內(nèi)容。


【發(fā)明內(nèi)容】

[0009]本發(fā)明的一個(gè)目的在于提供一種MMT包裹SVC視頻內(nèi)容的混合傳輸方法，所述混合傳輸方法通過(guò)對(duì)應(yīng)于傳輸網(wǎng)絡(luò)的數(shù)量來(lái)分別地傳輸SVC視頻內(nèi)容的層而在各種環(huán)境下具有最佳的傳輸效率。
[0010]此外，本發(fā)明的另一個(gè)目的在于提供一種用于接收SVC視頻內(nèi)容的方法，所述方法通過(guò)接收并且聚集對(duì)應(yīng)于傳輸網(wǎng)絡(luò)的數(shù)量分別地被傳輸了的SVC視頻內(nèi)容的層而在各種環(huán)境下具有最佳的傳輸效率。
[0011]根據(jù)本發(fā)明的一個(gè)方面，一種可縮放視頻編碼(SVC)視頻內(nèi)容的混合傳送方法包括:對(duì)要由服務(wù)器傳輸至客戶端的SVC視頻內(nèi)容進(jìn)行分段；以及通過(guò)使用多個(gè)傳輸網(wǎng)絡(luò)將分段SVC視頻內(nèi)容傳輸至客戶端。
[0012]分段SVC視頻內(nèi)容可以包括基礎(chǔ)層的MPEG媒體傳輸(MMT)資產(chǎn)和增強(qiáng)層的MMT資產(chǎn)中的至少之一。
[0013]MMT資產(chǎn)可以包括媒體處理單元(MPU)，并且MPU包括SVC視頻內(nèi)容的分段信息。
[0014]MPU可以包括含有MPU的分段信息的MMT線索軌跡。
[0015]MMT線索軌跡可以包括SVC視頻內(nèi)容的分段信息。
[0016]對(duì)要由服務(wù)器傳輸至客戶端的SVC視頻內(nèi)容的分段可以包括:對(duì)要由服務(wù)器傳輸至客戶端的SVC視頻內(nèi)容進(jìn)行分段并且生成分段SVC視頻內(nèi)容的組成信息。
[0017]組成信息可以包括:包括在分段SVC內(nèi)容中的MMT資產(chǎn)的由組成信息引用的媒體類型信息、媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息中的至少之一，其中媒體類型是視頻、音頻和字幕中之一。
[0018]組成信息可以被包括在MMT包裹的包裹信息、MMT包的報(bào)頭和有效載荷中的至少之一中。
[0019]分段SVC視頻內(nèi)容的傳輸可以包括:當(dāng)組成信息存在于分段SVC視頻內(nèi)容的外部時(shí)，將分段SVC視頻內(nèi)容和組成信息傳輸至客戶端。
[0020]通過(guò)對(duì)SVC視頻內(nèi)容進(jìn)行分段來(lái)生成組成信息可以包括:檢測(cè)要由服務(wù)器傳輸至客戶端的SVC視頻內(nèi)容可以通過(guò)其傳輸?shù)膫鬏斁W(wǎng)絡(luò)的數(shù)量；對(duì)應(yīng)于所檢測(cè)的傳輸網(wǎng)絡(luò)的數(shù)量來(lái)對(duì)SVC視頻內(nèi)容進(jìn)行分段；以及生成分段SVC視頻內(nèi)容的組成信息。
[0021]分段SVC視頻內(nèi)容可以各自形成一個(gè)MMT包裹。
[0022]用于通過(guò)多個(gè)傳輸網(wǎng)絡(luò)傳輸?shù)姆侄蜸VC視頻內(nèi)容之間的同步的信令消息可以連同SVC視頻內(nèi)容一起被傳輸。
[0023]信令消息可以包括用于同步不同類型的時(shí)間戳的時(shí)鐘關(guān)系信息。
[0024]根據(jù)本發(fā)明的另一個(gè)方面，一種接收內(nèi)容的方法包括:通過(guò)多個(gè)傳輸網(wǎng)絡(luò)接收來(lái)自服務(wù)器的被分段的SVC視頻內(nèi)容，以及聚集分段SVC視頻內(nèi)容。
[0025]對(duì)分段SVC視頻內(nèi)容的接收可以包括:當(dāng)組成信息存在于分段SVC視頻內(nèi)容的外部時(shí)，接收來(lái)自服務(wù)器的分段SVC視頻內(nèi)容和組成信息。
[0026]對(duì)分段SVC視頻內(nèi)容的接收可以包括:生成表示所接收的分段內(nèi)容與基于組成信息被接收的分段內(nèi)容的一部分之間的關(guān)系的第二組成信息。
[0027]對(duì)分段SVC視頻內(nèi)容的聚集可以包括:基于包括在分段SVC視頻內(nèi)容中的組成信息來(lái)聚集分段SVC視頻內(nèi)容。
[0028]該方法還可以包括:糾正所接收的SVC視頻內(nèi)容的錯(cuò)誤。
[0029]糾正SVC視頻內(nèi)容的錯(cuò)誤還可以包括:通過(guò)使用所接收的另外層的數(shù)據(jù)來(lái)糾正錯(cuò)誤。
[0030]該方法還可以包括:接收用于分段SVC視頻內(nèi)容之間的同步的信令消息。
[0031]信令消息可以包括用于同步不同類型的時(shí)間戳的時(shí)鐘關(guān)系信息(CRI)。
[0032]該方法還可以包括:通過(guò)使用信令消息的時(shí)鐘關(guān)系信息來(lái)生成系統(tǒng)時(shí)鐘。

【專利附圖】

【附圖說(shuō)明】
[0033]圖1是示出了根據(jù)本發(fā)明的實(shí)施方式的MMT層結(jié)構(gòu)的概念圖；
[0034]圖2示出了用于MMT層結(jié)構(gòu)的每個(gè)層的單元信息的格式(或數(shù)據(jù)或包)；
[0035]圖3示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第一示例；
[0036]圖4示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第二示例；
[0037]圖5示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第三示例；
[0038]圖6示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第四示例；
[0039]圖7示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第五示例；
[0040]圖8示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第六示例；
[0041]圖9是示出了根據(jù)本發(fā)明的實(shí)施方式的SVC視頻內(nèi)容的混合傳送方法的流程圖；以及
[0042]圖10是示出了根據(jù)本發(fā)明的實(shí)施方式的接收SVC視頻內(nèi)容的方法的流程圖。

【具體實(shí)施方式】
[0043]可以對(duì)本發(fā)明做出各種改變并且本發(fā)明可以具有各種實(shí)施方式，并且因此這里將詳細(xì)說(shuō)明和解釋一些實(shí)施方式。
[0044]然而，這不會(huì)將本發(fā)明限定于特定實(shí)施方式，但應(yīng)當(dāng)理解，本發(fā)明包括本發(fā)明的概念和技術(shù)內(nèi)的所有改變、等同和替換。
[0045]如“第一”和“第二”的術(shù)語(yǔ)可以用于說(shuō)明各種要素，但是這些要素不應(yīng)當(dāng)受術(shù)語(yǔ)限制。術(shù)語(yǔ)僅用于區(qū)分一個(gè)要素與另外的要素。例如，第一要素可以被稱為第二要素而不會(huì)超出本發(fā)明的權(quán)利的范圍，并且以類似的方式，第二要素可以被稱為第一要素。表達(dá)“和/或”包括多個(gè)相關(guān)項(xiàng)的組合或這些項(xiàng)之一。
[0046]當(dāng)提到要素被“連接”到另外的要素時(shí)，它可以表示:將該要素直接連接到另外的要素，但是要素之間可以存在另外的要素。相比之下，當(dāng)提到要素被“直接連接”到另外的要素，應(yīng)當(dāng)理解，要素之間沒(méi)有其他的要素。
[0047]本發(fā)明中使用的術(shù)語(yǔ)僅用于說(shuō)明一些要素并且不用于對(duì)本發(fā)明進(jìn)行限制。除非明確規(guī)定，否則單數(shù)表達(dá)包括復(fù)數(shù)表達(dá)。在本說(shuō)明書(shū)中，應(yīng)當(dāng)理解，如“包括”和“具有”的術(shù)語(yǔ)用于說(shuō)明特征、數(shù)量、步驟、操作、要素、部分及其組合的存在，但是這些術(shù)語(yǔ)不排除添加一個(gè)或更多個(gè)特征、數(shù)量、步驟、操作、要素、部分及其組合的可能性。
[0048]除非另外定義，否則本文中使用的包括技術(shù)或科學(xué)術(shù)語(yǔ)的所有術(shù)語(yǔ)具有與由本領(lǐng)域普通技術(shù)人員通常所理解的相同的意義。通常被使用的預(yù)先定義的術(shù)語(yǔ)應(yīng)當(dāng)被理解為具有與在相關(guān)領(lǐng)域的背景中的意義一致的意義，并且除非明確定義，不應(yīng)當(dāng)以過(guò)分形式主義的方式來(lái)理解術(shù)語(yǔ)。
[0049]在下文中，將詳細(xì)描述本發(fā)明的實(shí)施方式。在附圖中，將相同的附圖標(biāo)記用于相同的要素，并且省略對(duì)相同要素的冗余描述。
[0050]在下文中，將在本說(shuō)明書(shū)中使用的一些術(shù)語(yǔ)定義如下。
[0051]非定時(shí)數(shù)據(jù)定義了未指定時(shí)間而被消費(fèi)的所有數(shù)據(jù)元素。非定時(shí)數(shù)據(jù)可以具有可以執(zhí)行或開(kāi)始數(shù)據(jù)的時(shí)間范圍。
[0052]定時(shí)數(shù)據(jù)定義了與特定時(shí)間相關(guān)聯(lián)的被解碼和呈現(xiàn)的數(shù)據(jù)元素。
[0053]將呈現(xiàn)定義為:由一個(gè)或更多個(gè)設(shè)備執(zhí)行的使得用戶可以體驗(yàn)一個(gè)內(nèi)容組件或一個(gè)服務(wù)的操作(例如，看電影)。
[0054]將服務(wù)定義為:被傳輸以便呈現(xiàn)或存儲(chǔ)的一個(gè)或更多個(gè)內(nèi)容組件。
[0055]將服務(wù)信息定義為:描述一個(gè)服務(wù)以及該服務(wù)的特征和組件的元數(shù)據(jù)。
[0056]存取單元(AU)是最小數(shù)據(jù)對(duì)象并且可以具有作為屬性的時(shí)間信息。如果用于解碼和呈現(xiàn)的時(shí)間信息變得與未指定的編碼媒體數(shù)據(jù)相關(guān)，則不限定AU。
[0057]媒體片段單元(MFU)是以下通用容器:該容器獨(dú)立于任何特定的編解碼器，并且容納可以被媒體解碼器獨(dú)立地消費(fèi)的編碼媒體數(shù)據(jù)。MFU容納可以被用在傳輸層中的具有小的和相同大小的信息。
[0058]媒體處理單元(MPU)是以下通用容器:該容器獨(dú)立于任何特定的媒體編解碼器，并且容納至少一個(gè)AU和與另外的傳輸和消費(fèi)相關(guān)的信息。MPU容納不屬于關(guān)于非定時(shí)數(shù)據(jù)的AU范圍的部分?jǐn)?shù)據(jù)。MPU是可以完全地并且獨(dú)立地被處理的編碼媒體數(shù)據(jù)。在這方面，處理將封裝指代為用于傳輸或形成包的MMT打包。然而，在一些情況下，可能不會(huì)將MPU獨(dú)立地并且完全地消費(fèi)于用于可縮放視頻編碼(SVC)和多視點(diǎn)視頻編碼(MVC)的媒體編解碼器服務(wù)器中。
[0059]MMT資產(chǎn)是以下邏輯數(shù)據(jù)對(duì)象:該邏輯數(shù)據(jù)對(duì)象被配置為具有相同的MMT資產(chǎn)ID的至少一個(gè)MPU，或者被配置為具有限定在另外的標(biāo)準(zhǔn)中的格式的特定數(shù)據(jù)塊。MMT資產(chǎn)是應(yīng)用相同組成信息和傳輸特征的最大數(shù)據(jù)單元。
[0060]MMT資產(chǎn)傳送特征(MMT-ADC)是關(guān)于傳輸MMT資產(chǎn)的QoS需求的描述。以不揭示特定傳輸環(huán)境的方式來(lái)表達(dá)MMT-ADC。
[0061]MMT組成信息(MMT Cl)說(shuō)明了 MMT資產(chǎn)之間的空間關(guān)系和時(shí)間關(guān)系。
[0062]MMT包裹(package)是邏輯結(jié)構(gòu)數(shù)據(jù)的集合，并且包括MMT資產(chǎn)、MMT組成信息、MMT資產(chǎn)傳輸特征和描述性信息中的至少之一。
[0063]MMT包(packet)是由MMT協(xié)議生成或消費(fèi)的數(shù)據(jù)格式。
[0064]MMT有效載荷格式是用于MMT信令消息或要通過(guò)因特網(wǎng)應(yīng)用層協(xié)議(例如，RTP)或者M(jìn)MT協(xié)議傳輸?shù)腗MT包裹的有效載荷的格式。
[0065]將內(nèi)容組件或媒體組件定義為:單一類型的媒體或單一類型的媒體的子集。內(nèi)容組件或媒體組件的一些示例是:視頻軌道、電影字幕和視頻的增強(qiáng)層。
[0066]將內(nèi)容定義為:如電影和歌曲的內(nèi)容組件的集合。
[0067]將混合傳送定義為:通過(guò)一個(gè)或更多個(gè)物理上不同類型的網(wǎng)絡(luò)同時(shí)傳輸一個(gè)或更多個(gè)內(nèi)容組件，或者通過(guò)物理上相同類型的網(wǎng)絡(luò)或不同的網(wǎng)絡(luò)同時(shí)進(jìn)行傳輸。
[0068]在下文中，第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)包括各種網(wǎng)絡(luò)如廣播網(wǎng)絡(luò)、寬帶網(wǎng)絡(luò)、電纜網(wǎng)絡(luò)和衛(wèi)星通信網(wǎng)絡(luò)。
[0069]在下文中，在混合傳輸中，可以以MMT資產(chǎn)、子流、MFU、MPU、MMT包裹或MMT包為單位來(lái)進(jìn)行傳輸，并且當(dāng)視頻內(nèi)容包括多個(gè)層如第一層和第二層時(shí)，可以以層為單位進(jìn)行混合傳輸。
[0070]在下文中，將參照附圖詳細(xì)描述本發(fā)明的實(shí)施方式。在本說(shuō)明書(shū)中，為了更好的進(jìn)行理解，在附圖中將相同的附圖標(biāo)記用于相同的要素，并且省略了對(duì)相同要素的重復(fù)說(shuō)明。
[0071]圖1是示出了根據(jù)本發(fā)明的實(shí)施方式的MMT層結(jié)構(gòu)的概念圖。
[0072]參照?qǐng)Dl，mpeg媒體傳輸(MMT)層結(jié)構(gòu)包括封裝層的功能區(qū)、傳送層和信令層。MMT層在傳輸層上進(jìn)行操作。
[0073]封裝層(E-層)定義了要由觀測(cè)MMT、MMT包裹和媒體內(nèi)容的對(duì)象處理的數(shù)據(jù)單元的邏輯結(jié)構(gòu)。為了提供用于自適應(yīng)傳輸?shù)幕拘畔?，MMT包裹指定了包括媒體內(nèi)容的組件以及這些組件之間的關(guān)系。定義數(shù)據(jù)單元的格式以對(duì)編碼媒體進(jìn)行封裝，以便被存儲(chǔ)或通過(guò)傳輸協(xié)議的有效載荷被傳輸并且容易地在它們之間被轉(zhuǎn)換。
[0074]封裝層可以執(zhí)行對(duì)所傳輸媒體的如分包、分段、同步以及復(fù)用的功能。
[0075]可以對(duì)各種多媒體組件進(jìn)行封裝和組合，以便由在封裝層中提供的功能進(jìn)行傳輸和消費(fèi)。在封裝層的功能區(qū)中提供有所封裝的媒體組件和媒體組件的配置信息。
[0076]用于所封裝的媒體組件的主要信息可以包括聚集、優(yōu)先化、媒體片段的依賴性、MPU的定時(shí)信息和結(jié)構(gòu)信息、MMT資產(chǎn)150的標(biāo)識(shí)信息、初始化信息和編解碼器信息。媒體組件的配置信息可以包括MMT包裹160和MMT資產(chǎn)150的標(biāo)識(shí)信息、具有MMT資產(chǎn)150的列表的配置信息、MMT包裹160內(nèi)MMT資產(chǎn)150的組成信息162以及傳送特征信息164。
[0077]封裝層可以包括MMT E.1層、MMT E.2層和MMT E.3層。
[0078]E.3層通過(guò)對(duì)從媒體編解碼器(A)層提供的媒體片段單元(MFU)進(jìn)行封裝來(lái)生成媒體處理單元(MPU)。
[0079]將從上層編碼的媒體數(shù)據(jù)封裝為MFU。對(duì)編碼媒體的類型和值進(jìn)行抽象以使得MFU可以廣泛地用于具體的編解碼技術(shù)。這使得下層能夠在不接近編碼媒體的情況下處理MFU,并且下層可以調(diào)用來(lái)自網(wǎng)絡(luò)或存儲(chǔ)單元的緩沖器的編碼媒體數(shù)據(jù)并且將媒體數(shù)據(jù)傳輸至媒體解碼器。MFU具有用于執(zhí)行操作的足夠的信息媒體部分單元。
[0080]MFU可以具有以下格式:該格式可以獨(dú)立于任意的特定的編解碼器并且可以加載可以在媒體解碼器中獨(dú)立地被消費(fèi)的數(shù)據(jù)單元。例如，MFU可以變成圖片或視頻片段。
[0081 ] 可以獨(dú)立地被傳輸和解碼的一個(gè)或一組多個(gè)MFU生成MPU?？梢元?dú)立地被傳輸和執(zhí)行的非定時(shí)媒體也生成MPU。通過(guò)描述內(nèi)部結(jié)構(gòu)如MFU陣列和圖案，MPU使得能夠?qū)FU進(jìn)行快速接近以及部分消費(fèi)。
[0082]E.2層通過(guò)對(duì)在E.3層中生成的MPU進(jìn)行封裝來(lái)生成MMT資產(chǎn)。
[0083]來(lái)自相同的源組件的MPU序列生成MMT資產(chǎn)。通過(guò)MMT包裹對(duì)MMT資產(chǎn)進(jìn)行打包，并且通過(guò)組成信息(Cl)和傳輸特征(TC)用其他東西對(duì)其進(jìn)行配置，通過(guò)MMT有效載荷格式與其他東西復(fù)用，并且通過(guò)MMT協(xié)議進(jìn)行傳輸。
[0084]MMT資產(chǎn)是包括來(lái)自單個(gè)數(shù)據(jù)源的一個(gè)或更多個(gè)MPU的數(shù)據(jù)實(shí)體，并且是在其中定義組成信息(Cl)和傳輸特征(TC)的數(shù)據(jù)單元。MMT資產(chǎn)可以對(duì)應(yīng)于分包基本流例如視頻、音頻、程序信息、MPEG-U微件(widget)、JPEG圖像、MPEG 4文件格式和M2TS(MPEG傳輸流)。
[0085]E.1層通過(guò)對(duì)在E.2層中生成的MMT資產(chǎn)進(jìn)行封裝來(lái)生成MMT包裹。
[0086]利用用于隨后的相同用戶體驗(yàn)的響應(yīng)的MMT組成信息(MMT-CI)連同其他功能性區(qū)域傳輸區(qū)和信號(hào)區(qū)一起或者與其他功能性區(qū)域傳輸區(qū)和信號(hào)區(qū)分開(kāi)來(lái)對(duì)MMT資產(chǎn)進(jìn)行打包。也利用為每個(gè)MMT資產(chǎn)選擇適當(dāng)?shù)膫鬏敺椒ㄒ詽M足MMT資產(chǎn)的可感知品質(zhì)的傳輸特征來(lái)對(duì)MMT包裹進(jìn)行打包。
[0087]MMT包裹可以包括一個(gè)或更多個(gè)MMT資產(chǎn)連同另外的信息如組成信息(Cl)和傳輸特征(TC)。MMT包裹可以與MPEG-2TS的程序?qū)?yīng)。
[0088]組成信息包括關(guān)于MMT資產(chǎn)之間關(guān)系的信息，并且當(dāng)一個(gè)內(nèi)容包括多個(gè)MMT包裹時(shí)，組成信息可以包括用于表示多個(gè)MMT包裹之間的關(guān)系的信息。
[0089]傳輸特征可以包括確定MMT資產(chǎn)或MMT包的傳送條件例如通信量描述參數(shù)和QoS描述符所需的傳輸特征信息。
[0090]傳送層(D-層)定義了應(yīng)用層協(xié)議和有效載荷的格式，定義有效載荷格式以便:無(wú)論媒體類型或編碼方法如何都可以對(duì)編碼媒體數(shù)據(jù)進(jìn)行傳輸。
[0091]傳送層(D-層)可以執(zhí)行通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸?shù)木W(wǎng)絡(luò)流復(fù)用、網(wǎng)絡(luò)分包、QoS控制等。
[0092]傳送層負(fù)責(zé):對(duì)通過(guò)網(wǎng)絡(luò)傳輸?shù)拿襟w如視頻和音頻進(jìn)行復(fù)用；包級(jí)的聚集和/或分段；網(wǎng)絡(luò)分包；QoS控制；同步功能；以及與如現(xiàn)有RTP的傳輸層、如現(xiàn)有UDP和TCP的傳輸層、封裝層以及傳輸層與封裝層之間的信令層進(jìn)行交互。
[0093]傳送層識(shí)別已經(jīng)從封裝層移交的不同類型的有效載荷以處理來(lái)自封裝層的有效載荷。
[0094]傳送層可以處理通過(guò)不同網(wǎng)絡(luò)和不同信道傳輸?shù)陌g的時(shí)間關(guān)系。同步功能可以包括:通過(guò)使用時(shí)間戳等的混合網(wǎng)絡(luò)同步。
[0095]傳送層可以處理用于實(shí)時(shí)媒體傳輸?shù)腗MT傳送包的定時(shí)約束。
[0096]傳送層可以執(zhí)行MMT媒體包的錯(cuò)誤控制如前向糾錯(cuò)和重新傳輸。
[0097]傳送層可以執(zhí)行MMT媒體包的流控制。
[0098]傳送層可以通過(guò)用于對(duì)MMT媒體包的傳輸?shù)念A(yù)定水平的QoS的跨層設(shè)計(jì)來(lái)執(zhí)行與不同的MMT層以及下層(MAC、PHY)的交互。
[0099]此外，傳送層可以提供用于提供組通信的功能。
[0100]傳送層可以包括如圖1所示的MMT D.1層、MMT D.2層和MMT D.3層。
[0101]D.1層接收在E.1層中生成的MMT包裹，并且生成MMT有效載荷格式。MMT有效載荷格式是以下有效載荷格式:該有效載荷格式用于傳輸MMT資產(chǎn)并且對(duì)用于其他現(xiàn)有應(yīng)用傳輸協(xié)議如MMT應(yīng)用協(xié)議或RTP的消費(fèi)的信息進(jìn)行傳輸。MMT有效載荷可以包括MFU的片段連同如AL-FEC的信息。
[0102]D.2層接收在D.1層中生成的MMT有效載荷格式。并且生成MMT傳輸包或MMT包。MMT傳輸包或MMT包是用在關(guān)于MMT的應(yīng)用傳輸協(xié)議中的數(shù)據(jù)格式。
[0103]D.3層通過(guò)跨層設(shè)計(jì)提供在層之間交換信息的功能來(lái)支持QoS。例如，D.3層可以通過(guò)使用MAC/PHY層的QoS參數(shù)來(lái)執(zhí)行QoS控制。MAC/PHY的QoS參數(shù)可以變成例如比特率、丟包率、預(yù)期延遲或可用緩沖區(qū)大小。
[0104]信令層(S層)執(zhí)行信令功能。例如，所傳輸?shù)拿襟w的會(huì)話初始化/控制/管理、基于服務(wù)器和/或基于客戶端的特技(trick)模式、服務(wù)發(fā)現(xiàn)、同步、用于與其他層即傳送層和封裝層的交互功能的信令功能。同步功能可以包括混合網(wǎng)絡(luò)中的同步控制。
[0105]信令層定義對(duì)MMT包裹的傳送和消費(fèi)進(jìn)行管理的消息的格式。將用于消費(fèi)管理的消息用來(lái)傳輸MMT包裹的結(jié)構(gòu)，并且將用于傳送管理的消息用來(lái)對(duì)有效載荷格式的結(jié)構(gòu)和協(xié)議的配置進(jìn)行傳輸。
[0106]信令層可以包括如圖1所示的MMT S.1層和MMT S.2層。
[0107]S.1層可以執(zhí)行服務(wù)發(fā)現(xiàn)、媒體會(huì)話初始化/終止、媒體會(huì)話呈現(xiàn)/控制以及與傳送層和封裝層的交互功能。S.1層可以定義用于媒體呈現(xiàn)會(huì)話管理的應(yīng)用之間的控制消息的格式。表達(dá)會(huì)話管理可以定義以下控制消息的格式:該控制消息在用于提供媒體表達(dá)、會(huì)話管理和媒體消費(fèi)中所需的信息的應(yīng)用之間被交換。
[0108]S.2層可以執(zhí)行傳送會(huì)話管理。傳送會(huì)話管理可以定義以下控制消息的格式:該控制消息在傳送層的關(guān)于流控制的傳送終點(diǎn)、傳送會(huì)話管理、傳送會(huì)話監(jiān)視、錯(cuò)誤控制以及混合網(wǎng)絡(luò)同步控制之間被交換。
[0109]S.2層可以包括:傳送會(huì)話的建立與釋放；傳送會(huì)話管理(傳送會(huì)話監(jiān)控、流控制、錯(cuò)誤控制等)；用于所設(shè)置的傳送會(huì)話的資源預(yù)留；在復(fù)雜傳送環(huán)境下用于同步的信令；以及用于自適應(yīng)傳送以支持傳送層的操作的信令?？梢蕴峁┰诎l(fā)送者與接收者之間所需的信令。即，S.2層可以提供發(fā)送者與接收者之間所需的信令以支持如上所述的傳送層的操作。此外，S.2層可以負(fù)責(zé)傳送層與封裝層之間的交互功能。
[0110]控制消息或控制信息可以在信令層中被生成，并且通過(guò)廣播網(wǎng)絡(luò)和/或?qū)拵ЬW(wǎng)絡(luò)被傳輸。
[0111]當(dāng)通過(guò)廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)兩者被傳輸時(shí)，通過(guò)廣播網(wǎng)絡(luò)被傳輸?shù)目刂葡⒌墓δ芸梢耘c通過(guò)寬帶網(wǎng)絡(luò)被傳輸?shù)目刂葡⒌墓δ芟嗤??？刂葡⒌恼Z(yǔ)法和格式可以取決于應(yīng)用和傳送的類型而變得不同。例如，在混合傳輸?shù)那闆r下，可以將相同的共用控制信息和相同的共用控制格式用于分別通過(guò)廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)被傳輸?shù)目刂葡ⅰ４送?，在混合傳輸?shù)那闆r下，廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)可以以不同的格式來(lái)傳輸相同的共用控制信息。此外，在混合傳輸?shù)那闆r下，廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)可以傳輸不同的控制信息和不同的格式。
[0112]圖2示出了用于MMT層結(jié)構(gòu)的每一層的單元信息的格式(或數(shù)據(jù)或包)。
[0113]媒體片段單元(MFU)定義了以下格式:該格式對(duì)傳輸層中的AU部分進(jìn)行封裝以在MFU的范圍內(nèi)執(zhí)行自適應(yīng)傳輸?？梢詫FU用于傳輸特定格式的編碼媒體，以使得可以獨(dú)立地對(duì)AU部分進(jìn)行解碼或?qū)⑵鋪G棄。
[0114]媒體片段單元(MFU) 130包括編碼媒體片段數(shù)據(jù)132和媒體片段單元報(bào)頭(MFUH) 134。媒體片段單元130具有以下通用容器格式:該通用容器格式獨(dú)立于特定的編解碼器，并且對(duì)可以在媒體解碼器中獨(dú)立地被消費(fèi)的最小數(shù)據(jù)單元進(jìn)行裝載。MFUH 134可以包括媒體特征，例如，如損失容許度這樣的另外信息。MFU 130可以變成例如圖片或視頻片段。
[0115]MFU包括用于區(qū)分一個(gè)MFU與其他MFU的標(biāo)識(shí)符并且具有單個(gè)AU內(nèi)MFU之間的一般關(guān)系信息。說(shuō)明了單個(gè)AU內(nèi)MFU之間的依賴關(guān)系，MFU的相關(guān)優(yōu)先級(jí)被說(shuō)明為這樣的信息的一部分?？梢詫⒃撔畔⒂糜趯?duì)下傳輸層中的處理傳輸。例如，傳輸層可以忽略可以被丟棄的MFU的傳輸以支持寬帶不足的QoS傳輸。
[0116]MPU是包括多個(gè)媒體片段單元130的媒體片段單元的集合。MPU包括以下通用容器格式:該通用容器格式獨(dú)立于特定的編解碼器并且包括相當(dāng)于存取單元的媒體數(shù)據(jù)。MPU可以包括定時(shí)數(shù)據(jù)單元或非定時(shí)數(shù)據(jù)單元。MPU可以包括媒體片段單元數(shù)據(jù)和包括如用于同步的時(shí)間戳的附加信息的媒體處理單元報(bào)頭(MPUH)。
[0117]MPU是由遵循MMT的對(duì)象獨(dú)立地并且完全地處理的數(shù)據(jù)，并且該處理包括封裝和分包。MPU可以包括具有以下格式的部分?jǐn)?shù)據(jù):該格式由至少一個(gè)MFU或由另外的標(biāo)準(zhǔn)來(lái)定義。
[0118]單個(gè)MPU可以容納整數(shù)或至少一個(gè)AU的非定時(shí)數(shù)據(jù)。對(duì)于定時(shí)數(shù)據(jù)，可以從至少一個(gè)MFU來(lái)對(duì)AU進(jìn)行傳輸，但可能不能將一個(gè)AU分段為多個(gè)MPU。在非定時(shí)數(shù)據(jù)中，一個(gè)MPU容納由遵守MMT的對(duì)象獨(dú)立地并完全地處理的非定時(shí)數(shù)據(jù)的一部分。
[0119]在MMT包裹中可以用序列號(hào)以及區(qū)分該序列號(hào)與其他MPU的相關(guān)聯(lián)的資產(chǎn)ID來(lái)唯一標(biāo)識(shí)MPU。
[0120]MPU具有至少一個(gè)隨機(jī)訪問(wèn)點(diǎn)。MPU有效載荷的第一字節(jié)可以總是以任意訪問(wèn)點(diǎn)來(lái)開(kāi)始。在定時(shí)數(shù)據(jù)中，該事實(shí)意味著:第一 MFU的解碼次序在MPU有效載荷中總是O。在定時(shí)數(shù)據(jù)中，可以發(fā)送每個(gè)AU的呈現(xiàn)周期和解碼次序以通知呈現(xiàn)時(shí)間。MPU不具有它自己的初始呈現(xiàn)時(shí)間，并且在組成信息中可以描述一個(gè)MPU的第一 AU的呈現(xiàn)時(shí)間。組成信息可以指定MPU的第一呈現(xiàn)時(shí)間。
[0121]MPU可以包括MMT線索軌跡。對(duì)于MPU的分包傳輸，MMT線索軌跡可以提供用于將所封裝的MPU轉(zhuǎn)變?yōu)镸MT有效載荷和MMT包的信息。
[0122]MMT線索軌跡暗示MPU至傳輸單元的分段。同樣地，可以使用至少一個(gè)MFU來(lái)生成MMT有效載荷。生成媒體數(shù)據(jù)并且在傳輸單元的傳輸?shù)臅r(shí)間點(diǎn)將媒體數(shù)據(jù)傳輸至MMT有效載荷。因此，所存儲(chǔ)的格式可能不同于傳輸時(shí)的格式。在這樣的情況下，在傳輸時(shí)可能需要用于提取媒體數(shù)據(jù)和MMT有效載荷的動(dòng)態(tài)傳輸單元。
[0123]MMT線索軌跡暗示:用于使用MMT有效載荷格式的封裝的MFU的提取和生成。MMT有效載荷可以包括MPU元數(shù)據(jù)或至少一個(gè)MFU。MMT線索軌跡暗示:將MFU數(shù)據(jù)提取至傳輸單元的方法。如果未使用分段，則可以忽略線索軌跡。
[0124]MMT線索軌跡可以表示采樣的輸入格式。在至少一個(gè)MFU中指定每個(gè)媒體采樣,并且MMT線索軌跡的采樣生成至少一個(gè)MFU。
[0125]MMT線索軌跡包括多個(gè)參數(shù)。例如，如果MMT線索軌跡包括值1，則它可以包括表示提供多層信息的“多層_標(biāo)記”?！耙蕾囆浴筪”是表示MFU的依賴性的ID。如果該值不為0，則從時(shí)間、品質(zhì)和空間分辨率中至少一個(gè)方面來(lái)講可以將視頻提高至少一個(gè)縮放等級(jí)?！吧疃萠id”表示MFU是否傳輸視頻的深度數(shù)據(jù)?！捌焚|(zhì)_id”是MFU的品質(zhì)ID。如果該值不為0，則從時(shí)間、品質(zhì)和空間分辨率中的至少一個(gè)方面來(lái)講可以將視頻提高至少一個(gè)縮放等級(jí)?！皶r(shí)間_id”是MFU的時(shí)間ID。如果該值不為0，則從時(shí)間、品質(zhì)和空間分辨率中的至少一個(gè)方面可以將視頻提高至少一個(gè)縮放等級(jí)?！耙晥D_id”是MFU的視圖1D。如果該值不為O，則從時(shí)間、品質(zhì)和空間分辨率中的至少一個(gè)方面將視頻提高至少一個(gè)縮放等級(jí)。此外，線索軌跡可以具有“層_id”參數(shù)，“層_id”參數(shù)表示:在初始化信息中提供可縮放性維度信息的可縮放層的ID。
[0126]MMT資產(chǎn)150是包括多個(gè)MPU的MPU集合。麗T資產(chǎn)150是包括來(lái)自單個(gè)數(shù)據(jù)源的多個(gè)MPU (定時(shí)或非定時(shí)數(shù)據(jù))的數(shù)據(jù)實(shí)體，并且MMT資產(chǎn)信息152可以包括另外的信息如資產(chǎn)打包元數(shù)據(jù)和數(shù)據(jù)類型。MMT資產(chǎn)150可以包括視頻、音頻、程序信息、MPEG-U微件、JPEG圖像、MPEG 4文件格式(FF)、分包基本流(PES)和MPEG傳輸流(M2TS)。
[0127]此外，MMT資產(chǎn)可以是具有編碼媒體數(shù)據(jù)的邏輯數(shù)據(jù)對(duì)象。MMT資產(chǎn)包括MMT資產(chǎn)報(bào)頭和編碼媒體數(shù)據(jù)。編碼媒體數(shù)據(jù)可以是由用相同的MMT資產(chǎn)ID指代的一組MPU。作為與MMT客戶端直接相關(guān)聯(lián)的相應(yīng)消費(fèi)類型的數(shù)據(jù)可以是分離開(kāi)的MMT資產(chǎn)。這樣的數(shù)據(jù)類型的一些示例是:MPEG-2TS、PES、MP4文件、MPEG-U微件包裹和JPEG文件。
[0128]MMT資產(chǎn)的編碼媒體可以是定時(shí)數(shù)據(jù)或非定時(shí)數(shù)據(jù)。定時(shí)數(shù)據(jù)是要求在指定的時(shí)間點(diǎn)對(duì)特定數(shù)據(jù)同步地進(jìn)行解碼和呈現(xiàn)的音頻視覺(jué)媒體數(shù)據(jù)。非定時(shí)數(shù)據(jù)是以下數(shù)據(jù)類型的數(shù)據(jù):可以根據(jù)服務(wù)提供或用戶交互在任意時(shí)間點(diǎn)被解碼并且被提供。
[0129]服務(wù)提供者可以合并MMT資產(chǎn)并且生成多媒體服務(wù)，同時(shí)沿空間時(shí)間軸放置MMT資產(chǎn)。
[0130]MMT包裹160是包括一個(gè)或更多個(gè)MMT資產(chǎn)150的MMT資產(chǎn)集合。MMT包裹內(nèi)的MMT資產(chǎn)可以被復(fù)用或像鏈條一樣被連接。
[0131]MMT包裹是用于MMT資產(chǎn)和配置信息的容器格式。MMT包裹提供用于MMT資產(chǎn)的存儲(chǔ)空間以及用于MMT程序的配置信息。
[0132]MMT程序提供者將編碼數(shù)據(jù)封裝為MMT資產(chǎn)并且生成作為說(shuō)明MMT資產(chǎn)的傳輸特征的時(shí)間和空間布局的配置信息?？梢砸訢.1有效載荷格式來(lái)對(duì)MU和MMT資產(chǎn)直接進(jìn)行傳輸?？梢酝ㄟ^(guò)S.1呈現(xiàn)會(huì)話管理消息來(lái)傳輸配置信息。然而，使得MMT程序能夠延遲或以后重用的MMT提供者和客戶端以MMT包裹格式來(lái)存儲(chǔ)MMT程序。
[0133]當(dāng)解析MMT包裹時(shí)，MMT程序提供者確定將MMT資產(chǎn)傳輸至客戶端的傳輸路徑(例如，廣播或?qū)拵?。通過(guò)S.1呈現(xiàn)會(huì)話管理消息連同傳輸相關(guān)信息一起來(lái)傳輸MMT包裹中的配置信息。
[0134]客戶端接收S.1呈現(xiàn)會(huì)話管理消息，使得客戶端了解哪個(gè)MMT程序是可能的并且如何接收關(guān)于該MMT程序的MMT資產(chǎn)。
[0135]也可以以D.1有效載荷格式來(lái)傳輸MMT包裹。MMT包裹被分包并且按照D.1有效載荷格式被傳輸?？蛻舳私邮战?jīng)分包的MMT包裹，形成MMT包裹的整體或一部分，并且消費(fèi)MMT程序。
[0136]MMT包裹160的包裹信息165可以包括配置信息。該配置信息可以包括另外的信息如MMT資產(chǎn)列表、包裹標(biāo)識(shí)信息、組成信息162和傳輸特征164。組成信息162包括關(guān)于MMT資產(chǎn)150之間的關(guān)系的信息。
[0137]此外，組成信息162還可以包括用于表示當(dāng)一個(gè)內(nèi)容集合包括多個(gè)MMT包裹時(shí)多個(gè)MMT包裹之間的關(guān)系的信息。組成信息162可以包括MMT包裹中的時(shí)間、空間和自適應(yīng)關(guān)系的信息。組成信息提供用于包裹傳輸優(yōu)化和多屏幕環(huán)境中的表達(dá)的信息。在多屏幕環(huán)境中，可以表示用于在特定屏幕中映射資產(chǎn)的信息，將在后面對(duì)其進(jìn)行詳細(xì)描述。
[0138]如在有助于MMT包裹的傳輸和呈現(xiàn)的信息中，MMT中的組成信息提供關(guān)于MMT包裹內(nèi)的MMT資產(chǎn)之間的空間和時(shí)間關(guān)系的信息。
[0139]MMT-CI是通過(guò)擴(kuò)展HTML5來(lái)提供這樣的信息的描述性語(yǔ)言。如果對(duì)HTML5進(jìn)行設(shè)計(jì)來(lái)說(shuō)明對(duì)基于文本的內(nèi)容的基于頁(yè)的呈現(xiàn)，則MMT-CI主要表達(dá)源之間的空間關(guān)系。為了支持揭示MMT資產(chǎn)之間的時(shí)間關(guān)系的表達(dá)，可以對(duì)HTML5進(jìn)行擴(kuò)展以包括:HTML5中消費(fèi)各種MMT資產(chǎn)的媒體元素的附加屬性以及確定MMT資產(chǎn)的傳輸和消費(fèi)次序的時(shí)間信息；以及與如在呈現(xiàn)資源中MMT包裹中的MMT資產(chǎn)相關(guān)的信息。
[0140]傳輸特征信息164包括關(guān)于傳輸特征的信息，并且可以提供確定每個(gè)MMT資產(chǎn)(或MMT包)的傳送條件所需的信息。傳輸特征信息可以包括通信量描述參數(shù)和QoS描述符。
[0141]通信量描述參數(shù)可以包括關(guān)于媒體片段單元(MFU) 130或MPU的比特率信息、優(yōu)先信息等。比特率信息可以包括:關(guān)于MMT資產(chǎn)是可變比特率(VBR)還是恒定比特率(CBR)的信息；用于媒體片段單元(MFU)(或MPU)的所保證的比特率；以及用于媒體片段單元(MFU)或(MPU)的最大比特率?？梢詫⑼ㄐ帕棵枋鰠?shù)用于服務(wù)器、客戶端和傳送路徑上的其他組件之間的資源預(yù)留，并且例如，可以包括MMT資產(chǎn)內(nèi)的媒體片段單元(MFU)或(MPU)的最大大小信息。可以定期或不定期地更新通信量描述參數(shù)。
[0142]QoS描述符包括用于QoS控制的信息例如延遲信息和損失信息。損失信息例如可以包括關(guān)于是否允許MMT資廣的傳送損失的損失指標(biāo)。例如，當(dāng)損失指標(biāo)為I時(shí)，它表不“無(wú)損失”，并且當(dāng)損失指標(biāo)為O時(shí)，它表示“有損失”。延遲信息可以包括如下延遲指標(biāo):該延遲指標(biāo)用于區(qū)分MMT資產(chǎn)的傳輸延遲的靈敏度。延遲指標(biāo)可以表示:MMT資產(chǎn)的類型是否是會(huì)話、交互性、實(shí)時(shí)和非實(shí)時(shí)。
[0143]一個(gè)內(nèi)容集合可以包括一個(gè)MMT包裹。此外，一個(gè)內(nèi)容集合可以包括多個(gè)MMT包裹。
[0144]當(dāng)一個(gè)內(nèi)容集合包括多個(gè)MMT包裹時(shí)，表示多個(gè)MMT包裹之間的時(shí)間、空間以及自適應(yīng)關(guān)系的組成信息或配置信息可以存在于這些MMT包裹當(dāng)中一個(gè)MMT包裹的內(nèi)部或該MMT包裹的外部。
[0145]例如，在混合傳送的情況下，通過(guò)廣播網(wǎng)絡(luò)對(duì)一些內(nèi)容組件進(jìn)行傳輸并且可以通過(guò)寬帶網(wǎng)絡(luò)對(duì)其他的內(nèi)容組件進(jìn)行傳輸。例如，在形成一個(gè)多視圖服務(wù)的多個(gè)視聽(tīng)(AV)流的情況下，可以通過(guò)廣播網(wǎng)絡(luò)傳輸一個(gè)流并且可以通過(guò)寬帶網(wǎng)絡(luò)傳輸另外的流；并且可以對(duì)每個(gè)AV流進(jìn)行復(fù)用并且在客戶端終端單獨(dú)對(duì)其進(jìn)行接收以便存儲(chǔ)。此外，例如，可以通過(guò)寬帶網(wǎng)絡(luò)傳輸應(yīng)用軟件如微件，并且可以通過(guò)現(xiàn)有的廣播網(wǎng)絡(luò)傳輸AV流(AV程序)。
[0146]在多視圖服務(wù)情形和/或微件情形的情況下，多個(gè)AV流可以變成一個(gè)MMT包裹。在這種情況下，可以僅將多個(gè)流中的一個(gè)流存儲(chǔ)在一個(gè)客戶端終端中，所存儲(chǔ)的內(nèi)容變成MMT包裹的一部分，并且客戶端終端需要重新記錄組成信息和配置信息，并且重新記錄的內(nèi)容變成與服務(wù)器無(wú)關(guān)的新的MMT包裹。
[0147]在多視圖服務(wù)方案和/或微件方案的情況下，每個(gè)AV流可以變成一個(gè)MMT包裹。在這種情況下，多個(gè)MMT包裹形成一個(gè)內(nèi)容集合，以MMT包裹為單位在存儲(chǔ)器中進(jìn)行記錄，并且需要表示MMT包裹之間的關(guān)系的組成信息或配置信息。
[0148]包括在一個(gè)MMT包裹中的組成信息或配置信息可以指代另外的MMT包裹中的MMT資產(chǎn)并且可以表達(dá)在帶外的情況下指代MMT包裹的MMT包裹的外側(cè)。
[0149]對(duì)SVC視頻內(nèi)容進(jìn)行混合傳送的方法
[0150]如上所述，成為通過(guò)MMT方案進(jìn)行傳輸?shù)膶?duì)象的內(nèi)容可以是包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層的SVC視頻內(nèi)容。一個(gè)SVC視頻內(nèi)容可以包括一個(gè)MMT包裹或多個(gè)MMT包裹。SP，包括在SVC視頻內(nèi)容中的多個(gè)層可以被包括在一個(gè)MMT包裹中或可以在被分離之后包括至多個(gè)MMT包裹中。
[0151]當(dāng)一個(gè)SVC視頻內(nèi)容集合包括多個(gè)MMT包裹時(shí)，表示多個(gè)MMT包裹之間的關(guān)系的組成信息或配置信息可以存在于這些MMT包裹當(dāng)中的一個(gè)MMT包裹的內(nèi)部或在該MMT包裹的外部。
[0152]在混合傳送的情況下，可以通過(guò)廣播網(wǎng)絡(luò)傳輸一些內(nèi)容組件并且可以通過(guò)寬帶網(wǎng)絡(luò)傳輸其他內(nèi)容組件。例如，可以通過(guò)廣播網(wǎng)絡(luò)對(duì)形成一個(gè)SVC視頻內(nèi)容的基礎(chǔ)層和在一個(gè)或更多個(gè)增強(qiáng)層當(dāng)中的基礎(chǔ)層進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)傳輸增強(qiáng)層。此外，可以通過(guò)廣播網(wǎng)絡(luò)對(duì)基礎(chǔ)層和至少一個(gè)增強(qiáng)層進(jìn)行傳輸并且可以通過(guò)寬帶網(wǎng)絡(luò)對(duì)一個(gè)或更多個(gè)增強(qiáng)層進(jìn)行傳輸。此處，可以對(duì)每個(gè)層進(jìn)行復(fù)用并且對(duì)其單獨(dú)地進(jìn)行接收以便存儲(chǔ)。
[0153]在SVC視頻內(nèi)容的情況下，多個(gè)層作為一個(gè)整體可以變成一個(gè)MMT包裹，并且在這種情況下，可以僅將多個(gè)層中的一個(gè)層存儲(chǔ)在一個(gè)客戶端終端中。此外，存儲(chǔ)內(nèi)容可以變成MMT包裹的一部分，客戶端終端需要重新記錄組成信息或配置信息，并且重新記錄的內(nèi)容變成了與服務(wù)器無(wú)關(guān)的新的MMT包裹。
[0154]此處，需要將基礎(chǔ)層傳輸至客戶端終端，并且可以基于客戶端終端的能力和傳輸環(huán)境(例如，網(wǎng)絡(luò)帶寬)中的至少之一來(lái)選擇增強(qiáng)層，并且可以僅將一些增強(qiáng)層存儲(chǔ)在客戶端終端中。因此，它們可以變成新的SVC視頻內(nèi)容的適合終端性能和傳輸環(huán)境的MMT包裹。
[0155]在以上SVC視頻內(nèi)容的情況下，每個(gè)層可以包括一個(gè)MMT包裹，并且在這種情況下，多個(gè)MMT包裹形成一個(gè)內(nèi)容，以MMT包裹為單位將該內(nèi)容記錄在存儲(chǔ)器中，并且需要表示MMT包裹之間關(guān)系的組成信息或配置信息。
[0156]包括在一個(gè)MMT包裹中的組成信息或配置信息可以指代另外的MMT包裹中的MMT資產(chǎn)，并且可以表達(dá)指代在帶外的情況下的MMT包裹的MMT包裹的外側(cè)。例如，在一個(gè)MMT包裹中包括基礎(chǔ)層、一個(gè)或更多個(gè)增強(qiáng)層和組成信息，并且當(dāng)在另外的MMT包裹中包括一個(gè)或更多個(gè)增強(qiáng)層時(shí)，組成信息可以指代相同的MMT包裹中的基礎(chǔ)層和增強(qiáng)層以及另外的MMT包裹中的增強(qiáng)層。
[0157]當(dāng)存在多個(gè)MMT包裹時(shí)，組成信息可以被包括在僅一個(gè)MMT包裹中并且可以被包括在每個(gè)MMT包裹中。在下文中，參照?qǐng)D3至圖10說(shuō)明了根據(jù)本發(fā)明的各種實(shí)施方式的基于SVC視頻內(nèi)容的MMT包裹配置的示例。
[0158]已經(jīng)描述了通過(guò)廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)的混合傳輸，但是本發(fā)明的范圍不限于通過(guò)廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)的混合傳輸；并且作為根據(jù)本發(fā)明的實(shí)施方式的混合傳輸方案，可以從各種網(wǎng)絡(luò)如廣播網(wǎng)絡(luò)、寬帶網(wǎng)絡(luò)、電纜網(wǎng)絡(luò)和衛(wèi)星通信網(wǎng)絡(luò)中選擇一個(gè)或更多個(gè)網(wǎng)絡(luò)。
[0159]此外，包括在SVC視頻內(nèi)容中的每個(gè)層可以分別形成一個(gè)MMT資產(chǎn)。因此，MMT包裹和MMT資產(chǎn)之間的關(guān)系可以表示MMT包裹和各個(gè)層之間的關(guān)系。下面關(guān)于MMT包裹的配置的說(shuō)明基于以下事實(shí):基礎(chǔ)層或增強(qiáng)層是MMT資產(chǎn)單元，但是根據(jù)本發(fā)明的實(shí)施方式的SVC視頻內(nèi)容的混合傳輸方法不限于MMT資產(chǎn)單元的傳輸，并且可以以子流、MMT包裹或MMT包為單位進(jìn)行傳輸。在這種情況下，為了形成每個(gè)傳輸單元，可以以子流、MMT包裹或MMT包來(lái)進(jìn)行分離和耦合。
[0160]圖3示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第一示例。
[0161]第一示例示出了一個(gè)SVC視頻內(nèi)容被形成為一個(gè)MMT包裹的情況。如圖3所示，通過(guò)廣播網(wǎng)絡(luò)301對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)311和增強(qiáng)層的MMT資產(chǎn)312和313進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)302對(duì)增強(qiáng)層的MMT資產(chǎn)314,315和316進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)311、312和313進(jìn)行復(fù)用(MUX)，并且也可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)314、315和316進(jìn)行復(fù)用(MUX)。
[0162]此處，可以將作為形成一個(gè)內(nèi)容的所有內(nèi)容組件的MMT資產(chǎn)311、312、313、314、315和316作為一個(gè)整體包括在一個(gè)MMT包裹331中。此外，還可以將MMT資產(chǎn)311、312、313、314、315和316之間的組成信息包括在MMT包裹331中。
[0163]此處，組成信息可以包括MMT資產(chǎn)的被組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0164]圖4示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第二示例。
[0165]第二示例示出了一個(gè)內(nèi)容由一個(gè)MMT包裹形成并且包括局部組成信息的情況。如圖4所示，可以通過(guò)廣播網(wǎng)絡(luò)401對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)411和增強(qiáng)層的MMT資產(chǎn)412和413進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)402對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的剩余部分的增強(qiáng)層的MMT資產(chǎn)414、415和416進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)411、412和413進(jìn)行復(fù)用，并且還可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)414、415和416進(jìn)行復(fù)用(MUX)。
[0166]此處，可以將作為形成一個(gè)內(nèi)容的所有組件的MMT資產(chǎn)411、412、413、414、415和416作為一個(gè)整體包括在一個(gè)MMT包裹431中。此處，MMT包裹431可以包括:表示通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)411、412和413之間的關(guān)系的局部組成信息441，表示通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)414、415和416之間的關(guān)系的局部組成信息442,以及表不局部組成信息441與局部組成信息442之間的關(guān)系組成信息。
[0167]此處，局部組成信息可以包括MMT資產(chǎn)的被組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0168]圖5示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第三示例。
[0169]圖5示出了一個(gè)內(nèi)容包括多個(gè)MMT包裹的情況。如圖5所示，通過(guò)廣播網(wǎng)絡(luò)501對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)511和增強(qiáng)層的MMT資產(chǎn)512和513進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)502對(duì)作為內(nèi)容組件的剩余部分的增強(qiáng)層的MMT資產(chǎn)514、515和516進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)511、512和513進(jìn)行復(fù)用(MUX)，并且還可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)514、515和516進(jìn)行復(fù)用(MUX)。
[0170]此處，可以將作為內(nèi)容組件的一部分的MMT資產(chǎn)511、512和513包括在一個(gè)MMT包裹531中，并且可以將作為內(nèi)容組件的剩余部分的MMT資產(chǎn)514、515和516包括在另外的MMT包裹532中。S卩，一個(gè)SVC視頻內(nèi)容可以包括多個(gè)MMT包裹531和532。此外，可以將表示MMT包裹之間的關(guān)系的組成信息521包括在MMT包裹531和MMT包裹532中的之一中。
[0171]此處，組成信息可以包括MMT資產(chǎn)的被組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0172]圖6示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第四示例。
[0173]第四示例示出了一個(gè)SVC視頻內(nèi)容包括多個(gè)MMT包裹并且包括局部組成信息的情況。如圖6所示，可以通過(guò)廣播網(wǎng)絡(luò)601對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)611和增強(qiáng)層的MMT資產(chǎn)612和613進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)602對(duì)作為內(nèi)容組件的剩余部分的增強(qiáng)層的MMT資產(chǎn)614、615和616進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)611、612和613進(jìn)行復(fù)用，并且還可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)614、615和616進(jìn)行復(fù)用。
[0174]此處，可以將作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的MMT資產(chǎn)611、612和613包括在一個(gè)MMT包裹631中，并且可以將作為內(nèi)容組件的剩余部分的MMT資產(chǎn)614、615和616包括在另外的MMT包裹632中。S卩，一個(gè)內(nèi)容可以包括多個(gè)MMT包裹631和632。
[0175]此外，MMT包裹631可以包括表示通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)611、612和613之間的關(guān)系的局部組成信息641，并且MMT包裹632可以包括表示通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)614、615和616之間的關(guān)系的局部組成信息642。此外,可以將表不局部組成信息集合641與642之間的關(guān)系的組成信息621包括在MMT包裹631和MMT包裹632中的之一中。
[0176]此處，局部組成信息可以包括MMT資產(chǎn)的被局部組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0177]圖7示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第五示例。
[0178]第五示例示出了一個(gè)SVC視頻內(nèi)容包括多個(gè)MMT包裹的情況。如圖7所示，可以通過(guò)廣播網(wǎng)絡(luò)701對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)711以及MMT資產(chǎn)712和713進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)702對(duì)作為內(nèi)容組件的剩余部分的增強(qiáng)層的MMT資產(chǎn)714、715和716進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)711、712和713進(jìn)行復(fù)用，并且還可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)714、715和716進(jìn)行復(fù)用。
[0179]此處，可以將作為內(nèi)容組件的一部分的MMT資產(chǎn)711、712和713包括在一個(gè)MMT包裹731中，并且可以將作為內(nèi)容組件的剩余部分的MMT資產(chǎn)714、715和716包括在另外的MMT包裹732中。S卩，一個(gè)SVC視頻內(nèi)容可以包括多個(gè)MMT包裹731和732。此外，表示MMT包裹731與MMT包裹732之間的關(guān)系的組成信息721可以存在于MMT包裹731和732的外部。
[0180]此處，組成信息可以包括MMT包裹的被組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0181]圖8示出了根據(jù)本發(fā)明的實(shí)施方式的MMT包裹配置的第六示例。
[0182]第六示例示出了一個(gè)SVC視頻內(nèi)容包括多個(gè)MMT包裹并且包括局部組成信息的情況。如圖8所示，可以通過(guò)廣播網(wǎng)絡(luò)801對(duì)作為SVC視頻內(nèi)容的內(nèi)容組件的一部分的基礎(chǔ)層的MMT資產(chǎn)811和增強(qiáng)層的MMT資產(chǎn)812和813進(jìn)行傳輸，并且可以通過(guò)寬帶網(wǎng)絡(luò)802對(duì)作為內(nèi)容組件的剩余部分的增強(qiáng)層的MMT資產(chǎn)814、815和816進(jìn)行傳輸。此處，可以對(duì)通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)811、812和813進(jìn)行復(fù)用(MUX)，并且還可以對(duì)通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)814、815和816進(jìn)行復(fù)用(MUX)。
[0183]此外，可以將作為內(nèi)容組件的一部分的MMT資產(chǎn)811、812和813包括在一個(gè)MMT包裹831中，并且可以將作為內(nèi)容組件的剩余部分的MMT資產(chǎn)814、815和816包括在另外的MMT包裹832中。S卩，一個(gè)內(nèi)容可以包括多個(gè)MMT包裹831和832。
[0184]此處，MMT包裹831可以包括表示通過(guò)廣播網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)811、812和813之間的關(guān)系的局部組成信息841，并且MMT包裹832可以包括表示通過(guò)寬帶網(wǎng)絡(luò)進(jìn)行傳輸?shù)腗MT資產(chǎn)814、815和816之間的關(guān)系的局部組成信息842。此外,表不局部組成信息集合841與局部組成信息集合842之間的關(guān)系的組成信息821可以存在于MMT包裹831和832的外部。
[0185]此處，局部組成信息可以包括MMT資產(chǎn)的被局部組成信息引用的媒體類型信息(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0186]雖然描述了通過(guò)廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)混合傳送的情況，但是可以從廣播網(wǎng)絡(luò)、寬帶網(wǎng)絡(luò)、電纜網(wǎng)絡(luò)和衛(wèi)星通信網(wǎng)絡(luò)中選擇兩個(gè)或更多個(gè)作為混合傳送方案。此外，對(duì)于三個(gè)或更多個(gè)不同傳輸網(wǎng)絡(luò)，一個(gè)MMT包裹可以形成一個(gè)SVC視頻內(nèi)容，或者多個(gè)MMT包裹可以形成一個(gè)SVC視頻內(nèi)容。
[0187]圖9是示出了根據(jù)本發(fā)明的實(shí)施方式的SVC視頻內(nèi)容的混合傳送方法的流程圖。
[0188]如上所述，通過(guò)各種異構(gòu)傳輸網(wǎng)絡(luò)的混合傳送已經(jīng)成為可能，并且已經(jīng)開(kāi)發(fā)了包括電纜網(wǎng)絡(luò)和衛(wèi)星通信網(wǎng)絡(luò)以及廣播網(wǎng)絡(luò)和寬帶網(wǎng)絡(luò)的各種傳輸網(wǎng)絡(luò)。因此，SVC視頻內(nèi)容的混合傳送方法通過(guò)以下而具有最佳傳輸效率:通過(guò)基于當(dāng)前通信狀況檢測(cè)各種傳輸網(wǎng)絡(luò)當(dāng)中用于將SVC視頻內(nèi)容從服務(wù)器傳輸至客戶端的傳輸網(wǎng)絡(luò)的數(shù)量來(lái)充分利用傳輸網(wǎng)絡(luò)；將SVC視頻內(nèi)容分段成與所檢測(cè)的傳輸網(wǎng)絡(luò)的數(shù)量對(duì)應(yīng)的數(shù)量；以及通過(guò)各種方法生成并且傳輸分段內(nèi)容之間的關(guān)系的信息。此處，SVC視頻內(nèi)容包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層，并且因此分段內(nèi)容可以包括每個(gè)基礎(chǔ)層或至少一個(gè)增強(qiáng)層。即，可以將多個(gè)層對(duì)應(yīng)于傳輸網(wǎng)絡(luò)的數(shù)量進(jìn)行分離以便傳輸。
[0189]如圖9所示，根據(jù)本發(fā)明的實(shí)施方式的SVC視頻內(nèi)容的混合傳送方法可以包括以下操作:對(duì)要從服務(wù)器傳輸至客戶端的SVC視頻內(nèi)容進(jìn)行分段，并且生成分段SVC視頻內(nèi)容的組成信息；以及通過(guò)使用傳輸網(wǎng)絡(luò)將分段SVC視頻內(nèi)容傳輸至客戶端(S940)。此處，對(duì)SVC視頻內(nèi)容進(jìn)行分段并且生成組成信息的操作可以包括以下操作:檢測(cè)用于傳輸要通過(guò)服務(wù)器被傳輸至客戶端的SVC視頻內(nèi)容的傳輸網(wǎng)絡(luò)的數(shù)量(S910) JfSVC視頻內(nèi)容分段成與所檢測(cè)的傳輸網(wǎng)絡(luò)的數(shù)量對(duì)應(yīng)的數(shù)量(S920);以及生成分段SVC視頻內(nèi)容的組成信息(S930)。
[0190]在檢測(cè)用于傳輸要通過(guò)服務(wù)器被傳輸至客戶端的SVC視頻內(nèi)容的傳輸網(wǎng)絡(luò)的數(shù)量的操作中(S910)，通過(guò)檢測(cè)可用于傳輸內(nèi)容的所有傳輸網(wǎng)絡(luò)來(lái)檢測(cè)傳輸網(wǎng)絡(luò)的數(shù)量。可以從廣播網(wǎng)絡(luò)、寬帶網(wǎng)絡(luò)、電纜網(wǎng)絡(luò)和衛(wèi)星通信網(wǎng)絡(luò)中選擇兩個(gè)或更多個(gè)網(wǎng)絡(luò)作為傳輸網(wǎng)絡(luò)。此外，可以檢測(cè)每個(gè)傳輸網(wǎng)絡(luò)的特征如傳輸速度以及傳輸網(wǎng)絡(luò)的數(shù)量。
[0191]在將SVC視頻內(nèi)容分段以對(duì)應(yīng)于所檢測(cè)的傳輸網(wǎng)絡(luò)的數(shù)量的操作中(S920)，可以將SVC視頻內(nèi)容分段成與所檢測(cè)的傳輸網(wǎng)絡(luò)對(duì)應(yīng)的數(shù)量。當(dāng)將SVC視頻內(nèi)容分段成與傳輸網(wǎng)絡(luò)的數(shù)量對(duì)應(yīng)的數(shù)量時(shí)，如果在檢測(cè)操作(S910)中檢測(cè)每個(gè)傳輸網(wǎng)絡(luò)的特征，則可以基于傳輸網(wǎng)絡(luò)的特征和傳輸網(wǎng)絡(luò)的數(shù)量對(duì)內(nèi)容進(jìn)行分段。分段內(nèi)容可以是:音頻信息、視頻信息、附加數(shù)據(jù)信息或微件信息。音頻信息、視頻信息、附加數(shù)據(jù)信息或微件信息可以分別被包括在一個(gè)分段內(nèi)容中或包括在多個(gè)分段內(nèi)容中。
[0192]此處，內(nèi)容可以包括至少一個(gè)MMT資產(chǎn)?；趥鬏斁W(wǎng)絡(luò)的特征，分段內(nèi)容可以包括相同數(shù)量的MMT資產(chǎn)和不同數(shù)量的MMT資產(chǎn)。此外，分段內(nèi)容可以形成一個(gè)MMT包裹，或者分段內(nèi)容可以各自形成一個(gè)MMT包裹。
[0193]具體地，分段SVC視頻內(nèi)容可以包括基礎(chǔ)層的MMT資產(chǎn)和增強(qiáng)層的MMT資產(chǎn)中的至少之一。如上所述，SVC視頻內(nèi)容可以包括一個(gè)基礎(chǔ)層和至少一個(gè)增強(qiáng)層，并且基礎(chǔ)層或增強(qiáng)層可以包括MMT資產(chǎn)。因此，當(dāng)SVC視頻內(nèi)容被分段時(shí)，分段SVC視頻內(nèi)容可以包括基礎(chǔ)層的MMT資產(chǎn)并且包括一個(gè)或更多個(gè)增強(qiáng)層的MMT資產(chǎn)。此外，分段SVC視頻內(nèi)容可以包括基礎(chǔ)層的MMT資產(chǎn)和一個(gè)或更多個(gè)增強(qiáng)層的MMT資產(chǎn)兩者。
[0194]可以以子流、MMT包裹或MMT包以及MMT資產(chǎn)為單位對(duì)內(nèi)容進(jìn)行分段。如上所述，當(dāng)視頻內(nèi)容是包括多個(gè)層如第一層和第二層的SVC視頻內(nèi)容時(shí)，可以以層為單位對(duì)視頻內(nèi)容進(jìn)行分段?；趥鬏斁W(wǎng)絡(luò)的特征，可以將相同數(shù)量的MMT資產(chǎn)、子碼流、MMT包裹或MMT包包括在每個(gè)分段內(nèi)容中，或者可以將不同數(shù)量的MMT資產(chǎn)、子碼流、MMT包裹或MMT包包括在每個(gè)分段內(nèi)容中。
[0195]在生成分段SVC視頻內(nèi)容的組成信息的操作中(S930)，可以生成表示分段內(nèi)容之間的關(guān)系的組成信息。在對(duì)內(nèi)容進(jìn)行分段的操作中(S920)，當(dāng)分段內(nèi)容各自形成一個(gè)MMT包裹時(shí)，組成信息可以表示各自形成的MMT包裹之間的關(guān)系。此外，所生成的組成信息可以被包括在各自形成的MMT包裹之一中或可以單獨(dú)存在。參照?qǐng)D2，可以將組成信息162包括在MMT包裹的包裹信息165中。
[0196]具體地，SVC視頻內(nèi)容的組成信息可以包括MMT資產(chǎn)的被組成信息引用的媒體類型數(shù)據(jù)(此處，媒體類型可以是視頻、音頻和字幕中之一)以及媒體大小、層的數(shù)量和關(guān)于MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息。
[0197]基于媒體類型信息，可以從視頻數(shù)據(jù)、音頻數(shù)據(jù)和字幕中確定相應(yīng)的MMT資產(chǎn)的數(shù)據(jù)類型。此外，當(dāng)MMT資產(chǎn)是視頻數(shù)據(jù)時(shí)，組成信息可以包括視頻數(shù)據(jù)(媒體)的大小信息。此外,組成信息可以包括包含在SVC視頻內(nèi)容中的層的數(shù)量以及表示MMT資產(chǎn)是基礎(chǔ)層的MMT資產(chǎn)還是增強(qiáng)層的MMT資產(chǎn)的信息。
[0198]此外，在對(duì)內(nèi)容進(jìn)行分段的操作中(S920)，如果以子流、MMT包裹、MMT包或?qū)訛閱挝粊?lái)對(duì)內(nèi)容進(jìn)行分段，則組成信息可以表示各個(gè)分段內(nèi)容之間的關(guān)系。此外，組成信息可以包括在MMT包的報(bào)頭182或有效載荷中以及包裹信息165中，可以包括在另外的MMT層結(jié)構(gòu)的單元信息中，或者可以通過(guò)單獨(dú)配置而存在。
[0199]具體地，參照?qǐng)D3至圖8，如圖3所示，分段內(nèi)容可以形成一個(gè)MMT包裹331，并且可以將表示分段內(nèi)容之間的關(guān)系的組成信息321包括在MMT包裹331中。
[0200]此外，如圖4所示，分段內(nèi)容作為整體可以形成一個(gè)MMT包裹431，并且可以將表示包括在各個(gè)分段內(nèi)容中的MMT資產(chǎn)之間的關(guān)系的組成信息集合441和442和表示局部組成信息集合441與局部組成信息集合442之間的關(guān)系的組成信息421包括在MMT包裹431中。[0201 ] 此外，如圖5所示，分段內(nèi)容可以形成相應(yīng)的MMT包裹531和532，并且表示MMT包裹531與MMT包裹532之間的關(guān)系的組成信息521可以包括在作為MMT包裹531和MMT包裹532之一的MMT包裹531中。
[0202]此外，如圖6所示，分段內(nèi)容可以形成相應(yīng)的MMT包裹631和632，并且相應(yīng)的MMT包裹631和632可以包括表示包括在相應(yīng)的MMT包裹631和632中的MMT資產(chǎn)之間的關(guān)系的局部組成信息集合641和642。此外,表不局部組成信息集合641與局部組成信息集合642之間的關(guān)系的組成信息可以包括在作為MMT包裹631和MMT包裹632之一的MMT包裹631 中。
[0203]此外，如圖7所示，分段內(nèi)容可以形成相應(yīng)的MMT包裹731和732，并且表示MMT包裹731與MMT包裹732之間的關(guān)系的組成信息可以存在于MMT包裹731和MMT包裹732的外部。
[0204]此外，如圖8所示，分段內(nèi)容可以形成相應(yīng)的MMT包裹831和832，并且MMT包裹831和832可以包括表示包括在相應(yīng)的MMT包裹831和832中的MMT資產(chǎn)之間的關(guān)系的局部組成信息集合841和842。此外，表示局部組成信息集合841與局部組成信息集合842之間的關(guān)系的組成信息821可以存在于MMT包裹831和832的外部。
[0205]上面描述了基于MMT資產(chǎn)對(duì)內(nèi)容進(jìn)行分段的情況，但是可以以子流、MMT包裹或MMT包以及MMT資產(chǎn)為單位對(duì)內(nèi)容進(jìn)行分段。
[0206]在內(nèi)容的傳輸操作中(S940)，通過(guò)使用傳輸網(wǎng)絡(luò)可以將分段SVC視頻內(nèi)容傳輸至客戶端。當(dāng)組成信息存在于MMT包裹的外部時(shí)，可以通過(guò)使用傳輸網(wǎng)絡(luò)將分段SVC視頻內(nèi)容和組成信息傳輸至客戶端。當(dāng)考慮傳輸網(wǎng)絡(luò)的特征來(lái)對(duì)SVC視頻內(nèi)容進(jìn)行分段時(shí)，各個(gè)傳輸網(wǎng)絡(luò)可以傳輸與各個(gè)傳輸網(wǎng)絡(luò)的特征對(duì)應(yīng)的分段內(nèi)容。
[0207]接收SVC視頻內(nèi)容的方法
[0208]圖10是示出了根據(jù)本發(fā)明的實(shí)施方式的接收SVC視頻內(nèi)容的方法的流程圖。
[0209]如圖10所示，根據(jù)本發(fā)明的實(shí)施方式的接收內(nèi)容的方法可以包括以下操作:接收來(lái)自服務(wù)器的分段SVC視頻內(nèi)容(S1010);以及基于包括在分段SVC視頻內(nèi)容中的組成信息對(duì)分段SVC視頻內(nèi)容進(jìn)行聚集(S1020)。
[0210]在接收內(nèi)容的操作中，客戶端接收來(lái)自服務(wù)器的分段SVC視頻內(nèi)容(S1010)。此處，當(dāng)考慮到傳輸網(wǎng)絡(luò)的特征對(duì)內(nèi)容進(jìn)行分段時(shí)，可以通過(guò)使用與每個(gè)傳輸網(wǎng)絡(luò)的特征對(duì)應(yīng)的每個(gè)傳輸網(wǎng)絡(luò)來(lái)接收分段內(nèi)容。如果組成信息存在于MMT包裹的外部，則接收內(nèi)容的操作(S1010)可以接收分段內(nèi)容和組成信息。
[0211]當(dāng)客戶端僅接收分段內(nèi)容的一部分時(shí)，客戶端可以基于內(nèi)容和組成信息生成表示一些所接收的分段內(nèi)容之間的關(guān)系的第二組成信息。此處，分段內(nèi)容可以是:子流、MMT資產(chǎn)、MMT包裹或MMT包。
[0212]在聚集內(nèi)容的操作中(S1020)，基于組成信息或第二組成信息來(lái)聚集分段內(nèi)容。
[0213]混合傳送中的同步方法
[0214]可以通過(guò)廣播網(wǎng)絡(luò)傳輸一個(gè)內(nèi)容組件并且可以通過(guò)寬帶網(wǎng)絡(luò)傳輸另外的內(nèi)容組件。此外，可以通過(guò)廣播網(wǎng)絡(luò)傳輸一個(gè)內(nèi)容并且可以通過(guò)另外的廣播網(wǎng)絡(luò)傳輸另外的內(nèi)容。
[0215]在混合傳輸中，可以使用用于檢查媒體組件的類型和位置以同步不同類型的MMT和MPEG-2 TS的信令消息。信令消息清楚地表明了媒體組件的地址。在它連同MPEG-2 TS一起在廣播信道中被使用的情況下，使用了 MPEG-2 TS的位置。
[0216]MPEG-2 TS組件包括基于STC的時(shí)間戳。MMT組件包括基于UTS的時(shí)間戳。為了對(duì)不同類型的MMT和MPEG-2 TS的時(shí)間戳進(jìn)行同步，需要時(shí)鐘關(guān)系信息消息。
[0217]在與MMT對(duì)應(yīng)的接收器中，由于使用了時(shí)鐘關(guān)系信息，可以將MPEG-2 TS的基于STC的時(shí)鐘轉(zhuǎn)變?yōu)榛赨TC的系統(tǒng)時(shí)鐘(掛鐘)。可以通過(guò)共享相同時(shí)域如系統(tǒng)時(shí)鐘來(lái)對(duì)MMT組件和MPEG-2 TS組件進(jìn)行同步并且提供MMT組件和MPEG-2 TS組件。
[0218]糾|H混合傳送的錯(cuò)誤的方法
[0219]當(dāng)通過(guò)混合傳送對(duì)可縮放視頻編碼(SVC)視頻數(shù)據(jù)進(jìn)行傳輸時(shí)，如果在一些層的所接收的數(shù)據(jù)中出現(xiàn)了錯(cuò)誤，則要對(duì)錯(cuò)誤糾正進(jìn)行說(shuō)明。
[0220]假定存在傳輸單元和接收單元，則傳輸單元將包括基礎(chǔ)層和第一增強(qiáng)層的SVC視頻數(shù)據(jù)混合發(fā)送至接收單元。傳輸單元通過(guò)第一網(wǎng)絡(luò)傳輸基礎(chǔ)層數(shù)據(jù)，并且通過(guò)第二網(wǎng)絡(luò)將第一增強(qiáng)層的數(shù)據(jù)傳輸至接收器。接收單元通過(guò)第一網(wǎng)絡(luò)接收第一層的數(shù)據(jù)并且通過(guò)第二網(wǎng)絡(luò)接收第一增強(qiáng)層的數(shù)據(jù)。當(dāng)在由接收單元接收的基礎(chǔ)層數(shù)據(jù)中存在錯(cuò)誤時(shí)，可以通過(guò)使用所接收的基礎(chǔ)層數(shù)據(jù)的另外的部分來(lái)糾正錯(cuò)誤。然而，如果出現(xiàn)了通過(guò)僅使用基礎(chǔ)層數(shù)據(jù)不能被糾正的錯(cuò)誤，則接收單元通過(guò)另外使用通過(guò)第二網(wǎng)絡(luò)接收的第一增強(qiáng)層的數(shù)據(jù)對(duì)基礎(chǔ)層數(shù)據(jù)執(zhí)行錯(cuò)誤糾正。同樣地，甚至當(dāng)在通過(guò)第一網(wǎng)絡(luò)接收的基礎(chǔ)層數(shù)據(jù)中出現(xiàn)了不能被糾正的錯(cuò)誤時(shí)，如果通過(guò)第二網(wǎng)絡(luò)接收的第一增強(qiáng)層的數(shù)據(jù)已經(jīng)無(wú)錯(cuò)地被接收，則可以對(duì)所接收的基礎(chǔ)層數(shù)據(jù)的錯(cuò)誤進(jìn)行糾正。以相反的方式，當(dāng)在增強(qiáng)層的數(shù)據(jù)中存在錯(cuò)誤并且在基礎(chǔ)層的數(shù)據(jù)中沒(méi)有錯(cuò)誤時(shí)，可以對(duì)錯(cuò)誤進(jìn)行糾正。
[0221]按照根據(jù)本發(fā)明的實(shí)施方式的MMT打包SVC視頻內(nèi)容的混合傳輸方法和接收方法，可以通過(guò)檢測(cè)可能的傳輸網(wǎng)絡(luò)的數(shù)量將SVC視頻內(nèi)容的層對(duì)應(yīng)于傳輸網(wǎng)絡(luò)的數(shù)量進(jìn)行恰當(dāng)?shù)姆峙湟员銓?duì)其進(jìn)行傳輸和接收。因此，在各種環(huán)境中具有最佳傳輸效率的混合傳輸是可能的。
【權(quán)利要求】
1.一種可縮放視頻編碼(SVC)視頻內(nèi)容的混合傳送方法，所述混合傳送方法包括: 對(duì)要由服務(wù)器傳輸至客戶端的所述SVC視頻內(nèi)容進(jìn)行分段；以及 通過(guò)使用多個(gè)傳輸網(wǎng)絡(luò)將分段SVC視頻內(nèi)容傳輸至所述客戶端。
2.根據(jù)權(quán)利要求1所述的混合傳送方法，其中，所述分段SVC視頻內(nèi)容包括基礎(chǔ)層的MPEG媒體傳輸(MMT)資產(chǎn)和增強(qiáng)層的MMT資產(chǎn)中的至少之一。
3.根據(jù)權(quán)利要求2所述的混合傳送方法，其中，所述MMT資產(chǎn)包括媒體處理單元(MPU)，并且所述MPU包括所述SVC視頻內(nèi)容的分段信息。
4.根據(jù)權(quán)利要求3所述的混合傳送方法，其中，所述MPU包括含有所述MPU的分段信息的麗T線索軌跡。
5.根據(jù)權(quán)利要求4所述的混合傳送方法，其中，所述MMT線索軌跡包括所述SVC視頻內(nèi)容的所述分段信息。
6.根據(jù)權(quán)利要求1所述的混合傳送方法，其中，所述對(duì)要由所述服務(wù)器傳輸至所述客戶端的所述SVC視頻內(nèi)容的分段包括:對(duì)要由所述服務(wù)器傳輸至所述客戶端的所述SVC視頻內(nèi)容進(jìn)行分段，并且生成所述分段SVC視頻內(nèi)容的組成信息。
7.根據(jù)權(quán)利要求6所述的混合傳送方法，其中，所述組成信息包括以下中至少之一:包括在所述分段SVC視頻內(nèi)容中的MMT資產(chǎn)的被所述組成信息引用的媒體類型信息、媒體大小、層的數(shù)量以及關(guān)于所述MMT資產(chǎn)是基礎(chǔ)層還是增強(qiáng)層的信息， 其中所述媒體類型是視頻、音頻和字幕中之一。
8.根據(jù)權(quán)利要求6所述的混合傳送方法，其中，所述組成信息被包括在MMT包裹的包裹信息、MMT包的報(bào)頭和有效載荷中的至少之一中。
9.根據(jù)權(quán)利要求6所述的混合傳送方法，其中，所述對(duì)所述分段SVC視頻內(nèi)容的傳輸包括:當(dāng)所述組成信息存在于所述分段SVC視頻內(nèi)容的外部時(shí)，將所述分段SVC視頻內(nèi)容和所述組成信息傳輸至所述客戶端。
10.根據(jù)權(quán)利要求6所述的混合傳送方法，其中，所述通過(guò)對(duì)所述SVC視頻內(nèi)容進(jìn)行分段生成所述組成信息包括: 檢測(cè)要由所述服務(wù)器傳輸至所述客戶端的所述SVC視頻內(nèi)容能夠通過(guò)其傳輸?shù)膫鬏斁W(wǎng)絡(luò)的數(shù)量； 對(duì)應(yīng)于所檢測(cè)的傳輸網(wǎng)絡(luò)的數(shù)量對(duì)所述SVC視頻內(nèi)容進(jìn)行分段；以及 生成所述分段SVC視頻內(nèi)容的組成信息。
11.根據(jù)權(quán)利要求1所述的混合傳送方法，其中，所述分段SVC視頻內(nèi)容各自形成一個(gè)MMT包裹。
12.根據(jù)權(quán)利要求1所述的混合傳送方法，其中，連同所述SVC視頻內(nèi)容一起傳輸用于通過(guò)所述多個(gè)傳輸網(wǎng)絡(luò)被傳輸?shù)乃龇侄蜸VC視頻內(nèi)容之間的同步的信令消息。
13.根據(jù)權(quán)利要求12所述的混合傳送方法，其中，所述信令消息包括用于同步不同類型的時(shí)間戳的時(shí)鐘關(guān)系信息(CRI)。
14.一種接收內(nèi)容的方法，所述方法包括: 通過(guò)多個(gè)傳輸網(wǎng)絡(luò)接收來(lái)自服務(wù)器的被分段的SVC視頻內(nèi)容；以及 聚集分段SVC視頻內(nèi)容。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述接收所述分段SVC視頻內(nèi)容包括:當(dāng)組成信息存在于所述分段SVC視頻內(nèi)容的外部時(shí)，接收來(lái)自所述服務(wù)器的所述分段SVC視頻內(nèi)容和所述組成信息。
16.根據(jù)權(quán)利要求14所述的方法，其中，所述接收所述分段SVC視頻內(nèi)容包括:生成表示所接收的分段內(nèi)容與基于組成信息被接收的分段內(nèi)容的一部分之間的關(guān)系的第二組成信息。
17.根據(jù)權(quán)利要求14所述的方法，其中，所述對(duì)所述分段SVC視頻內(nèi)容的聚集包括:基于包括在所述分段SVC視頻內(nèi)容中的組成信息來(lái)聚集所述分段SVC視頻內(nèi)容。
18.根據(jù)權(quán)利要求14所述的方法，還包括: 糾正所接收的SVC視頻內(nèi)容的錯(cuò)誤。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述糾正所述SVC視頻內(nèi)容的錯(cuò)誤包括:通過(guò)使用所接收的另外層的數(shù)據(jù)來(lái)糾正所述錯(cuò)誤。
20.根據(jù)權(quán)利要求14所述的方法，還包括: 接收用于所述分段SVC視頻內(nèi)容之間的同步的信令消息。
21.根據(jù)權(quán)利要求20所述的方法，其中，所述信令信息包括用于同步不同類型的時(shí)間戳的時(shí)鐘關(guān)系信息(CRI)。
22.根據(jù)權(quán)利要求21所述的方法，還包括: 通過(guò)使用所述信令消息的所述時(shí)鐘關(guān)系信息來(lái)生成系統(tǒng)時(shí)鐘。
【文檔編號(hào)】H04N21/43GK104255036SQ201380021547
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2013年3月22日 優(yōu)先權(quán)日:2012年3月23日
【發(fā)明者】李忠九, 李溶宰, 金輝 申請(qǐng)人:數(shù)碼士控股有限公司