專利名稱：輔助視頻補(bǔ)充信息承載方法、處理方法、裝置與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻技術(shù)領(lǐng)域，特別涉及一種輔助視頻補(bǔ)充信息承載方法、處理方法、 裝置與系統(tǒng)。
背景技術(shù)：
二維視頻僅能傳送物體的平面信息，用戶只能感知物體的高度、寬度、顏色、紋理等；而三維視頻還可表達(dá)物體的深度信息等信息，用戶可感知物體的凹凸、遠(yuǎn)近距離等。3D 視頻可以采用不同的數(shù)據(jù)格式。二維加輔助視頻Odplus auxiliaryvideo)是一種常見(jiàn)的 3D格式。二維加輔助視頻格式具有節(jié)省帶寬，向后兼容，景深調(diào)節(jié)等優(yōu)點(diǎn)，特別是傳輸時(shí)相對(duì)于一路視頻，帶寬只增加10-20% ；可廣泛適用于多種帶寬受限的環(huán)境。其數(shù)據(jù)表示包含二維視頻、其輔助視頻和輔助視頻補(bǔ)充信息(Auxiliary video supplemental information,AVSI)。三維顯示終端在獲取到基于二維加輔助視頻格式表示的三維內(nèi)容時(shí)， 需要獲得二維視頻、輔助視頻以及輔助視頻補(bǔ)充信息?，F(xiàn)有技術(shù)實(shí)現(xiàn)了將二維視頻和輔助視頻編碼生成視頻比特流，根據(jù)視頻比特流的分發(fā)接口分發(fā)到不同傳輸系統(tǒng)和媒體介質(zhì)， 并且在TS傳輸層通過(guò)新增描述符承載輔助視頻補(bǔ)充信息。由于輔助視頻補(bǔ)充信息的承載需要在傳輸層或者媒體介質(zhì)中增加新的承載結(jié)構(gòu)，不同傳輸系統(tǒng)和媒體介質(zhì)對(duì)應(yīng)的具體實(shí)現(xiàn)方案不同，造成配置成本和適配難度的增加。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供一種輔助視頻補(bǔ)充信息承載方法、處理方法、裝置與系統(tǒng)，為包含了輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息的媒體內(nèi)容提供了內(nèi)容分發(fā)的通用接口。一方面，本發(fā)明實(shí)施例提供一種輔助視頻補(bǔ)充信息承載方法，所述方法包括在視頻比特流中承載輔助視頻補(bǔ)充信息；將所述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。另一方面，本發(fā)明實(shí)施例還提供一種輔助視頻補(bǔ)充信息處理方法，所述方法包括: 獲取視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息；解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；根據(jù)所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯
7J\ ο又一方面，本發(fā)明實(shí)施例還提供一種媒體內(nèi)容服務(wù)器，所述服務(wù)器包括視頻比特流生成單元，用于生成媒體內(nèi)容的視頻比特流，所述媒體內(nèi)容的視頻比特流中承載了所述輔助視頻補(bǔ)充信息；視頻比特流分發(fā)單元，用于將所述視頻比特流生成單元生成的述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。再一方面，本發(fā)明實(shí)施例還提供一種媒體內(nèi)容顯示終端，所述終端包括獲取單元，用于獲取視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、 以及輔助視頻補(bǔ)充信息；解碼單元，用于解碼所述獲取單元獲取的視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；處理單元，用于根據(jù)所述解碼單元解碼獲得的所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯示。還有一方面，本發(fā)明實(shí)施例還提供一種視頻播放系統(tǒng)，所述系統(tǒng)包括服務(wù)器，用于生成媒體內(nèi)容的視頻比特流，在所述視頻比特流中承載輔助視頻補(bǔ)充信息，將所述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中；終端，用于獲取所述服務(wù)器生成的所述視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息；解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；根據(jù)所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯不。本實(shí)施例的方案在對(duì)包含了輔助視頻，及該輔助視頻對(duì)應(yīng)的主視頻以及輔助視頻補(bǔ)充信息的媒體內(nèi)容進(jìn)行編碼時(shí)，可以將主視頻，輔助視頻，輔助視頻補(bǔ)充信息編碼生成視頻比特流，再利用視頻比特流與傳輸物理的接口將媒體內(nèi)容分發(fā)到不同的多媒體系統(tǒng)上， 從而可以將輔助視頻補(bǔ)充信息直接攜帶于視頻比特流進(jìn)行傳輸，而不需要針對(duì)輔助視頻補(bǔ)充信息在運(yùn)營(yíng)網(wǎng)絡(luò)或者媒體介質(zhì)上增加新的承載結(jié)構(gòu)，降低了內(nèi)容分發(fā)的成本和適配的難度。該方案具有良好的網(wǎng)絡(luò)親和性，可適應(yīng)于各種傳輸網(wǎng)絡(luò)上的傳輸和媒體介質(zhì)的存儲(chǔ)。


圖1為本發(fā)明實(shí)施例輔助視頻補(bǔ)充信息承載方法流程圖；圖2為本發(fā)明實(shí)施例輔助視頻補(bǔ)充信息處理方法流程圖；圖加為本發(fā)明實(shí)施例系統(tǒng)的連接關(guān)系示意圖；圖3為本發(fā)明實(shí)施例服務(wù)器10的功能框圖；圖4為本發(fā)明實(shí)施例服務(wù)器10的視頻比特流生成單元301的細(xì)化功能框圖之一；圖5為本發(fā)明實(shí)施例服務(wù)器10的視頻比特流生成單元301的細(xì)化功能框圖之二 ；圖6為本發(fā)明實(shí)施例終端20的功能框圖；圖7為本發(fā)明實(shí)施例終端20的解碼單元602的細(xì)化功能框圖之一；圖8為本發(fā)明實(shí)施例終端20的解碼單元602的細(xì)化功能框圖之二。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。實(shí)施例1 本實(shí)施例提供了一種輔助視頻補(bǔ)充信息承載方法。圖1為該方法的流程圖，如圖 1所示，該方法包括S101、在視頻比特流中承載輔助視頻補(bǔ)充信息；S102、將該視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。
可選地，本實(shí)施例的輔助視頻補(bǔ)充信息是用于和輔助視頻進(jìn)行合成計(jì)算的信息， 包括但不限于下述信息中的一種或多種組合1、輔助視頻類型，不同輔助視頻的類型對(duì)應(yīng)各自的補(bǔ)充信息類型，如輔助視頻是深度圖時(shí)，對(duì)應(yīng)補(bǔ)充信息類型為1 ；2、輔助視頻和與所述輔助視頻對(duì)應(yīng)的主視頻的空間對(duì)應(yīng)關(guān)系，主視頻和輔助視頻在采樣頻率不同時(shí)，描述兩個(gè)視頻采樣點(diǎn)的空間對(duì)應(yīng)關(guān)系，通常情況下，主視頻中一個(gè)像素對(duì)應(yīng)輔助視頻的一個(gè)像素，為了適當(dāng)壓縮輔助視頻，滿足低碼率傳輸，可對(duì)輔助視頻使用子采樣；3、不同類型的輔助視頻對(duì)應(yīng)的計(jì)算參數(shù)。輔助視頻類型眾多，種類不同作用也不同。當(dāng)輔助視頻類型是深度圖、視差圖時(shí)， 可以應(yīng)用于三維內(nèi)容顯示；輔助視頻類型還可以是描述主視頻的透明度信息等等。輔助視頻補(bǔ)充信息的定義也隨著輔助視頻類型的不同而不同。可選地，SlOl可以包括對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼，生成輔助視頻比特流；對(duì)與所述輔助視頻對(duì)應(yīng)的主視頻進(jìn)行視頻編碼，生成主視頻比特流。具體地，當(dāng)采用h. 264對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，可以使用所述輔助視頻比特流中的Nal (Network Abstraction Layer，網(wǎng)絡(luò)提取層)單元承載所述輔助視頻補(bǔ)充信息。具體地，當(dāng)采用h. 264對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，也可以使用所述輔助視頻比特流的SEI (Supplemental EnhancementInformation,輔助增強(qiáng)信息)Nal單元中的SEI消息承載所述輔助視頻補(bǔ)充信息。具體地，當(dāng)采用mpeg2 (Motion Picture Expert Group,活動(dòng)圖像專家組)標(biāo)準(zhǔn)對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，可以在所述輔助視頻比特流中通過(guò)用戶數(shù)據(jù)結(jié)構(gòu)承載所述輔助視頻補(bǔ)充信息。上述三種具體的實(shí)現(xiàn)方式將在后續(xù)實(shí)施例中展開(kāi)詳細(xì)的描述?？蛇x地，SlOl還可以包括將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼，生成一路視頻比特流。具體地，當(dāng)采用h. 264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，可以使用Nal單元承載所述輔助視頻補(bǔ)充信息。具體地，當(dāng)采用h. 264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，也可以使用SEI Nal單元中的SEI消息承載所述輔助視頻補(bǔ)充信息。這種具體的實(shí)現(xiàn)方式也將在后續(xù)實(shí)施例中展開(kāi)詳細(xì)的描述。本實(shí)施例的方法將輔助視頻補(bǔ)充信息直接攜帶于視頻比特流進(jìn)行傳輸，將包含了輔助視頻，所述輔助視頻對(duì)應(yīng)的主視頻以及輔助視頻補(bǔ)充信息的媒體內(nèi)容編碼生成視頻比特流，利用視頻比特流與傳輸物理的接口可將媒體內(nèi)容直接分發(fā)到不同的多媒體系統(tǒng)上， 從而為所述媒體內(nèi)容提供了內(nèi)容分發(fā)的通用接口 ；對(duì)于同一媒體內(nèi)容，可通過(guò)通用接口直接分發(fā)到不同的多媒體系統(tǒng)上，而不需要針對(duì)輔助視頻補(bǔ)充信息在運(yùn)營(yíng)網(wǎng)絡(luò)或媒體介質(zhì)上增加新的承載結(jié)構(gòu)，降低了內(nèi)容分發(fā)的成本和難度。該方案具有良好的網(wǎng)絡(luò)親和性，可適應(yīng)于各種傳輸網(wǎng)絡(luò)上的傳輸和媒體介質(zhì)的存儲(chǔ)。實(shí)施例2

本實(shí)施例提供了一種具體的輔助視頻補(bǔ)充信息承載方法。本實(shí)施例使用h. 264 承載包含了輔助視頻，所述輔助視頻對(duì)應(yīng)的主視頻，以及輔助視頻補(bǔ)充信息的媒體內(nèi)容。 h. 264的Nal單元規(guī)范了視頻數(shù)據(jù)的格式，是視頻比特流到傳輸網(wǎng)絡(luò)或者媒體介質(zhì)的通用接口，本實(shí)施例通過(guò)新增一種類型的Nal單元，該Nal單元用于在視頻比特流中承載輔助視頻補(bǔ)充信息。具體地，本實(shí)施例的方法包括對(duì)媒體內(nèi)容所包含的輔助視頻、所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息進(jìn)行視頻編碼，生成視頻比特流，該視頻比特流中包含了新增的Nal單元，用于承載輔助視頻補(bǔ)充信息；將視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)上或者媒體介質(zhì)上。這樣，終端通過(guò)傳輸網(wǎng)絡(luò)或者媒體介質(zhì)獲取到該視頻比特流時(shí)，就可以從視頻比特流中獲得輔助視頻、所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息，并進(jìn)行合成計(jì)算再顯示。根據(jù)對(duì)主視頻和輔助視頻所采用的不同編碼方式，本實(shí)施例又可以細(xì)分為以下兩種情況。(1)第一種情況將輔助視頻和所述輔助視頻對(duì)應(yīng)的主視頻獨(dú)立地進(jìn)行視頻編碼，得到兩路h. 264視頻比特流，即主視頻比特流和輔助視頻比特流，在輔助視頻比特流中攜帶輔助視頻補(bǔ)充信息。h. 264編碼器輸出的視頻比特流包括一系列的Nal單元，提供了編解碼器與傳輸網(wǎng)絡(luò)或者媒體介質(zhì)的通用接口。h. 264中定義了多種類型的Nal單元，可用于承載視頻幀， 也可承載與視頻幀編解碼/顯示有關(guān)的信息。表1顯示了一個(gè)h. 264視頻比特流包含的一些Nal單元及其排列順序。表1
AccessUnit SPSΓ^Ε pPSSlice Nal Unit~ Slice Nal Unit
delimiter Nal Unit Nal Unit Nal Unit Nal Unit /r. ■, , x
(訪問(wèn)單元分隔(序列參(輔助增(圖像參(Pnmaiy(RedUnd3nt
符Nal單元)數(shù)集Nal單強(qiáng)信息Nal 數(shù)集Nal coded picture，基 coded picture，冗余
元)單元)單元) 本編碼圖像) 編碼圖像)本實(shí)施例新增的Nal單元的內(nèi)容如表2所示?！癕PEG C Part_3”標(biāo)準(zhǔn)對(duì)輔助視頻補(bǔ)充信息進(jìn)行了定義，定義的結(jié)構(gòu)為“SI_rbsp”，本實(shí)施例以“MPEG C Part 3”定義的補(bǔ)充信息結(jié)構(gòu)“Si_rbsp”作為本實(shí)施例補(bǔ)充信息的一個(gè)示例。在輔助視頻比特流中，視頻幀作為基本編碼圖像由Nal單元承載。輔助視頻補(bǔ)充信息至少隨每個(gè)IDR(Instantaneous DecodingRefresh解碼即時(shí)刷新)圖像或RAP (隨機(jī)接入點(diǎn)Random access point)傳輸。 具體的“nal_imit_type”可根據(jù)h. 264規(guī)范的定義使用預(yù)留值。表 2
_ nal_unit_typeNal單元和RBSP語(yǔ)法結(jié)構(gòu)的內(nèi)容 6輔助視頻補(bǔ)充信息
si_rbsp()
本實(shí)施例新增一種Nal單元，用于在輔助視頻比特流中承載輔助視頻補(bǔ)充信息。 終端在接收到包含了輔助視頻和輔助視頻補(bǔ)充信息的輔助視頻比特流后，需要將輔助視頻補(bǔ)充信息和輔助視頻比特流中的基本編碼圖像(primary coded picture)進(jìn)行合成計(jì)算。(2)第二種情況使用h. 264 "Auxiliary Picture"語(yǔ)法，將輔助視頻和所述輔助視頻對(duì)應(yīng)的主視頻進(jìn)行視頻編碼生成一路h. 264視頻比特流。表3顯示了一個(gè)攜帶 AuxiliaryPi cture的h. 264視頻比特流包含的一些Nal單元及其排列順序。如表3所示， 主視頻幀作為基本編碼圖像由Nal單元承載，輔助視頻幀作為輔助編碼圖像(auxiliary coded picture)由“nal_unit_type”為19的Nal單元承載，根據(jù)h. 264的定義，輔助視頻和主視頻具有相同的大小。表3
權(quán)利要求
1.一種輔助視頻補(bǔ)充信息承載方法，其特征在于，所述方法包括在視頻比特流中承載輔助視頻補(bǔ)充信息；將所述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在視頻比特流中承載輔助視頻補(bǔ)充信息包括對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼，生成輔助視頻比特流；對(duì)與所述輔助視頻對(duì)應(yīng)的主視頻進(jìn)行視頻編碼，生成主視頻比特流。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在視頻比特流中承載輔助視頻補(bǔ)充信息包括將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼，生成一路視頻比特流。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用h.264進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用網(wǎng)絡(luò)提取層Nal單元承載所述輔助視頻補(bǔ)充信息。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，采用h.264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，使用Nal單元承載所述輔助視頻補(bǔ)充信息。
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用h.264進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用輔助增強(qiáng)信息SEINal單元中的 SEI消息承載所述輔助視頻補(bǔ)充信息。
7.根據(jù)權(quán)利要求3所述的方法，其特征在于，采用h.264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，使用SEINal單元中的SEI消息承載所述輔助視頻補(bǔ)充信息。
8.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用mpeg2標(biāo)準(zhǔn)進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用用戶數(shù)據(jù)結(jié)構(gòu)承載所述輔助視頻補(bǔ)充信息。
9.根據(jù)權(quán)利要求1-8中任意一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述輔助視頻補(bǔ)充信息包括下述信息中的一種或多種組合輔助視頻類型；輔助視頻和與所述輔助視頻對(duì)應(yīng)的主視頻的空間對(duì)應(yīng)關(guān)系；不同類型的輔助視頻對(duì)應(yīng)的計(jì)算參數(shù)。
10.一種輔助視頻補(bǔ)充信息處理方法，其特征在于，所述方法包括獲取視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息；解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；根據(jù)所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯示。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，獲取的視頻比特流包括主視頻比特流和輔助視頻比特流；解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息包括解碼所述輔助視頻比特流，獲得輔助視頻和輔助視頻補(bǔ)充信息； 解碼所述主視頻比特流，獲得主視頻。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，獲取的視頻比特流為一路視頻比特流； 解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息包括解碼所述一路視頻比特流，獲得所述主視頻、輔助視頻和輔助視頻補(bǔ)充信息。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，采用h.264進(jìn)行所述視頻解碼； 解碼所述輔助視頻比特流，獲得輔助視頻和輔助視頻補(bǔ)充信息包括從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的網(wǎng)絡(luò)提取層Nal單元中解析獲得輔助視頻補(bǔ)充信息。
14.根據(jù)權(quán)利要求12所述的方法，其特征在于，采用h.264進(jìn)行所述視頻解碼； 解碼所述一路視頻比特流，獲得所述主視頻、輔助視頻和輔助視頻補(bǔ)充信息包括 從所述一路視頻比特流中承載了輔助視頻補(bǔ)充信息的Nal單元中解析獲得輔助視頻補(bǔ)充信息。
15.根據(jù)權(quán)利要求11所述的方法，其特征在于，采用h.264進(jìn)行所述視頻解碼； 解碼所述輔助視頻比特流，獲得輔助視頻和輔助視頻補(bǔ)充信息包括從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的輔助增強(qiáng)信息SEI Nal單元的 SEI消息中解析獲得輔助視頻補(bǔ)充信息。
16.根據(jù)權(quán)利要求12所述的方法，其特征在于，采用h.264進(jìn)行所述視頻編碼； 解碼所述一路視頻比特流，獲得所述主視頻、輔助視頻和輔助視頻補(bǔ)充信息包括 從所述一路視頻比特流中承載了輔助視頻補(bǔ)充信息的SEINal單元的SEI消息中解析獲得輔助視頻補(bǔ)充信息。
17.根據(jù)權(quán)利要求11所述的方法，其特征在于，采用mpeg2標(biāo)準(zhǔn)進(jìn)行所述視頻解碼； 解碼所述輔助視頻比特流，獲得輔助視頻和輔助視頻補(bǔ)充信息包括從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的用戶數(shù)據(jù)結(jié)構(gòu)中解析獲得輔助視頻補(bǔ)充信息。
18.一種媒體內(nèi)容服務(wù)器，其特征在于，所述服務(wù)器包括視頻比特流生成單元，用于生成媒體內(nèi)容的視頻比特流，所述媒體內(nèi)容的視頻比特流中承載了輔助視頻補(bǔ)充信息；視頻比特流分發(fā)單元，用于將所述視頻比特流生成單元生成的視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。
19.根據(jù)權(quán)利要求18所述的服務(wù)器，其特征在于，所述視頻比特流生成單元包括第一編碼單元，用于對(duì)輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼，生成輔助視頻比特流；第二編碼單元，用于對(duì)與所述輔助視頻對(duì)應(yīng)的主視頻進(jìn)行視頻編碼，生成主視頻比特流。
20.根據(jù)權(quán)利要求18所述的服務(wù)器，其特征在于，所述視頻比特流生成單元包括 第三編碼單元，用于將輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼，生成一路視頻比特流。
21.根據(jù)權(quán)利要求19所述的服務(wù)器，其特征在于，所述第一編碼單元，具體用于采用h. 264進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用網(wǎng)絡(luò)提取層Nal單元承載所述輔助視頻補(bǔ)充信息。
22.根據(jù)權(quán)利要求20所述的服務(wù)器，其特征在于，所述第三編碼單元，具體用于采用h. 264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，使用Nal單元承載所述輔助視頻補(bǔ)充信息。
23.根據(jù)權(quán)利要求19所述的服務(wù)器，其特征在于，所述第一編碼單元，具體用于采用h. 264進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用輔助增強(qiáng)信息SEI Nal單元中的SEI消息承載所述輔助視頻補(bǔ)充信息。
24.根據(jù)權(quán)利要求20所述的服務(wù)器，其特征在于，所述第三編碼單元，具體用于采用h. 264進(jìn)行所述視頻編碼，在將所述輔助視頻、和所述輔助視頻補(bǔ)充信息、和與所述輔助視頻對(duì)應(yīng)的主視頻聯(lián)合進(jìn)行視頻編碼時(shí)，使用SEI Nal 單元中的SEI消息承載所述輔助視頻補(bǔ)充信息。
25.根據(jù)權(quán)利要求19所述的服務(wù)器，其特征在于，所述第一編碼單元，具體用于采用mpeg2標(biāo)準(zhǔn)進(jìn)行所述視頻編碼，在對(duì)所述輔助視頻和所述輔助視頻補(bǔ)充信息進(jìn)行視頻編碼時(shí)，使用用戶數(shù)據(jù)結(jié)構(gòu)承載所述輔助視頻補(bǔ)充信息。
26.一種媒體內(nèi)容顯示終端，其特征在于，所述終端包括獲取單元，用于獲取視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息；解碼單元，用于解碼所述獲取單元獲取的視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；處理單元，用于根據(jù)所述解碼單元解碼獲得的所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯示。
27.根據(jù)權(quán)利要求沈所述的終端，其特征在于，當(dāng)獲取的視頻比特流包括主視頻比特流和輔助視頻比特流時(shí)，所述解碼單元包括第一解碼單元，用于解碼所述輔助視頻比特流，獲得輔助視頻和輔助視頻補(bǔ)充信息；第二解碼單元，用于解碼所述主視頻比特流，獲得主視頻。
28.根據(jù)權(quán)利要求沈所述的終端，其特征在于，當(dāng)所獲取的視頻比特流為一路視頻比特流時(shí)，所述解碼單元包括第三解碼單元，用于解碼所述一路視頻比特流，獲得所述主視頻、輔助視頻和輔助視頻補(bǔ)充信息。
29.根據(jù)權(quán)利要求27所述的終端，其特征在于，當(dāng)采用h.264進(jìn)行視頻解碼時(shí)所述第一解碼單元，具體用于從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的網(wǎng)絡(luò)提取層Nal單元中解析獲得輔助視頻補(bǔ)充信息。
30.根據(jù)權(quán)利要求觀所述的終端，其特征在于，當(dāng)采用h.264進(jìn)行視頻解碼時(shí) 所述第三解碼單元，具體用于從所述一路視頻比特流中承載了輔助視頻補(bǔ)充信息的Nal單元中解析獲得輔助視頻補(bǔ)充信息。
31.根據(jù)權(quán)利要求27所述的終端，其特征在于，當(dāng)采用h.264進(jìn)行視頻解碼時(shí)所述第一解碼單元，具體用于從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的輔助增強(qiáng)信息SEINal單元的SEI消息中解析獲得輔助視頻補(bǔ)充信息。
32.根據(jù)權(quán)利要求觀所述的終端，其特征在于，當(dāng)采用h.264進(jìn)行視頻解碼時(shí)；所述第三解碼單元，具體用于從所述一路視頻比特流中承載了輔助視頻補(bǔ)充信息的輔助增強(qiáng)信息SEINal單元的SEI消息中解析獲得輔助視頻補(bǔ)充信息。
33.根據(jù)權(quán)利要求27所述的終端，其特征在于，當(dāng)采用mpeg2標(biāo)準(zhǔn)進(jìn)行視頻解碼時(shí)， 所述第一解碼單元，具體用于從所述輔助視頻比特流中承載了輔助視頻補(bǔ)充信息的用戶數(shù)據(jù)結(jié)構(gòu)中解析獲得輔助視頻補(bǔ)充信息。
34.一種視頻播放系統(tǒng)，其特征在于，所述系統(tǒng)包括服務(wù)器，用于生成媒體內(nèi)容的視頻比特流，在所述視頻比特流中承載輔助視頻補(bǔ)充信息，將所述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中；終端，用于獲取所述服務(wù)器生成的所述視頻比特流，所述視頻比特流包括輔助視頻、與所述輔助視頻對(duì)應(yīng)的主視頻、以及輔助視頻補(bǔ)充信息；解碼所述視頻比特流，獲得所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息；根據(jù)所述輔助視頻、所述主視頻、以及所述輔助視頻補(bǔ)充信息進(jìn)行合成計(jì)算并顯示。
全文摘要
一種輔助視頻補(bǔ)充信息承載方法、處理方法、裝置與系統(tǒng)，所述輔助視頻補(bǔ)充信息承載方法包括在視頻比特流中承載輔助視頻補(bǔ)充信息；將所述視頻比特流分發(fā)到傳輸網(wǎng)絡(luò)生成媒體流或者分發(fā)到媒體介質(zhì)中。本實(shí)施例的方案將包含了輔助視頻，所述輔助視頻對(duì)應(yīng)的主視頻以及輔助視頻補(bǔ)充信息的媒體內(nèi)容編碼生成視頻比特流，利用視頻比特流與傳輸物理的接口可將媒體內(nèi)容直接分發(fā)到不同的多媒體系統(tǒng)上，而不需要針對(duì)輔助視頻補(bǔ)充信息在運(yùn)營(yíng)網(wǎng)絡(luò)或者媒體介質(zhì)上增加新的承載結(jié)構(gòu)，降低了內(nèi)容分發(fā)的成本和適配的難度。該方案具有良好的網(wǎng)絡(luò)親和性，可適應(yīng)于各種傳輸網(wǎng)絡(luò)上的傳輸和媒體介質(zhì)的存儲(chǔ)。
文檔編號(hào)H04N21/238GK102158733SQ20111003170
公開(kāi)日2011年8月17日 申請(qǐng)日期2011年1月28日 優(yōu)先權(quán)日2011年1月28日
發(fā)明者張園園, 張楚雄, 惠宇, 石騰 申請(qǐng)人:華為技術(shù)有限公司