專利名稱：重排、抽取分片中媒體數(shù)據(jù)的方法、設備及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及媒體數(shù)據(jù)處理領域，具體涉及一種重排、抽取分片中媒體數(shù)據(jù)的方法、 設備及系統(tǒng)。
背景技術：
隨著因特網(wǎng)的快速發(fā)展，多媒體信息(如動畫、影音等)在網(wǎng)絡上的傳輸越來越頻繁和重要。通常，服務器將多媒體信息經(jīng)MVC(MultivieW Video Coding，多視角視頻編碼)、 SVC (Scalable Video Coding，可擴展視頻編碼)或者 AVC (Advanced Video Coding，高級視頻編碼)等編碼技術壓縮編碼形成一路或多路視頻流后存儲在多媒體文件中，并可將多媒體文件生成不同的kgment (分片)，使客戶端根據(jù)實際情況選擇下載相應的kgment，以提高多媒體文件在網(wǎng)絡中的傳輸效率。參見圖1，為Segment的結構示意圖，Segment包括若干個Movie Fragment (片段)。其中，Movie Fragment則由Moof (Movie Fragment box，這里統(tǒng)稱為描述結構)和 Media Data(媒體數(shù)據(jù))構成，Moof用于描述Media Data的時間信息和存儲字節(jié)大小， Media Data的存儲單元是一個個Sample (樣本)，并按解碼時間存儲。Sample由視頻流中表示一個單獨視頻幀或者一系列視頻幀的NAL (Network Abstraction Layer，網(wǎng)絡提取層)構成。在一個Sample中，若干個連續(xù)的指定屬性相同的NAL單元可構成一個Sub-sample (子樣本)。當客戶端執(zhí)行某些操作時，只需要請求分片中部分離散存儲的媒體數(shù)據(jù)，例如，進行快進操作時，客戶端只需要展現(xiàn)某個速率(例如4倍)的媒體數(shù)據(jù)。但由于在分片中這些媒體數(shù)據(jù)按照解碼時間被離散存儲。一種處理方式是客戶端向服務器請求整個分片，再從中提出自己所需的媒體數(shù)據(jù)；該方法會請求得到除客戶端所需媒體數(shù)據(jù)以外的大量冗余媒體數(shù)據(jù)，造成帶寬和時間的浪費；另一種是客戶端首先計算出各離散媒體數(shù)據(jù)的字節(jié)范圍后，再根據(jù)計算得到的字節(jié)范圍向服務器分別請求所需的媒體數(shù)據(jù)。該方法將要分多次請求才能得到自己所需的媒體數(shù)據(jù)，速度及效率較低。

發(fā)明內容
為了解決在請求分片中部分離散存儲的媒體數(shù)據(jù)時出現(xiàn)大量冗余數(shù)據(jù)或者需多次請求等問題，本發(fā)明實施例提供了一種重排、抽取分片中媒體數(shù)據(jù)的方法、設備及系統(tǒng)， 所述技術方案如下一種重排分片中媒體數(shù)據(jù)的方法，所述方法包括獲取分片內的片段中滿足重排屬性的媒體數(shù)據(jù)，所述媒體數(shù)據(jù)由樣本或子樣本構成；將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段；添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位
6值信息。一種重排分片中媒體數(shù)據(jù)的服務端，所述服務端包括切片模塊、重排模塊和添加模塊；所述切片模塊，用于對媒體內容進行切片；所述重排模塊，用于在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由樣本或子樣本構成；所述添加模塊，用于添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位置信息。一種抽取分片中媒體數(shù)據(jù)的方法，所述方法包括獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息；根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；根據(jù)所述字節(jié)范圍請求所述與預定重排屬性對應的子片段；獲取所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。一種客戶端，所述客戶端包括獲取模塊、計算模塊、請求模塊和接收模塊所述獲取模塊，用于獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息；所述計算模塊，用于根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；所述請求模塊，用于根據(jù)所述字節(jié)范圍請求得到所述與預定重排屬性對應的子片段；所述接收模塊，用于接收所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。一種在重排并抽取分片中媒體數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括服務端和客戶端；所述服務端包括切片模塊，用于對媒體內容進行切片；重排模塊，用于在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由樣本或子樣本構成；添加模塊，用于添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位置信息；發(fā)送模塊，用于向所述客戶端發(fā)送所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)；所述客戶端包括獲取模塊，用于向所述服務端獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息；計算模塊，用于根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；請求模塊，用于根據(jù)所述字節(jié)范圍向所述服務端請求得到所述與預定重排屬性對應的子片段；
接收模塊，用于接收所述服務端發(fā)送的所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。本發(fā)明實施例提供的技術方案帶來的有益效果是通過將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段；添加所述子片段的索引信息的技術方案的實現(xiàn)，將分片內的片段中的媒體數(shù)據(jù)按照不同重排屬性進行排列構成與不同重排屬性相對應的子片段；獲取子片段的索引信息；根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；根據(jù)所述字節(jié)范圍請求得到所述與預定重排屬性對應的子片段；獲取所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)的技術方案的實現(xiàn)，可以快速而準確地在分片中抽取與預定重排屬性對應的媒體數(shù)據(jù)。


圖1是本發(fā)明背景技術中提供的分片的結構示意圖；圖2是本發(fā)明實施例1提供的一種重排分片中媒體數(shù)據(jù)的方法流程圖；圖3是本發(fā)明實施例2提供的一種服務端的裝置框圖；圖4是本發(fā)明實施例3提供的一種抽取分片中媒體數(shù)據(jù)的方法流程圖；圖5是本發(fā)明實施例4提供的一種抽取分片中媒體數(shù)據(jù)的方法流程圖；圖6是本發(fā)明實施例5提供的一種客戶端的裝置框圖；圖7是本發(fā)明實施例6提供的一種重排并抽取分片中媒體數(shù)據(jù)的系統(tǒng)示意圖。
具體實施例方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明實施方式作進一步地詳細描述。實施例1參見圖2，一種在重排分片中媒體數(shù)據(jù)的方法，該方法的執(zhí)行主體包括內容準備模塊、HTTP流媒體服務器或分發(fā)服務器等，本發(fā)明對此不做具體的限制，參見圖2，具體步驟如下步驟101 將媒體內容進行切片，并將切片內容封裝成符合要求的格式(如3GP格式)，形成分片；具體地，按照預定數(shù)據(jù)塊大小將媒體內容進行切片；參見圖1，Segment (分片)中每個Movie Fragment (片段)由媒體數(shù)據(jù)的 Moof (Movie Fragment Box,描述結構)和Media Data (媒體數(shù)據(jù))構成，媒體數(shù)據(jù)由Sample (樣本)或Sub-sample (子樣本)構成，在具體實現(xiàn)時，Sample (樣本)或 Sub-sample (子樣本)存儲在"Track (存儲單元)中。其中，Moof中軌道片段的描述項Traf (Track Fragment Box)用于描述相應Track Fragment (軌道片段)中的媒體數(shù)據(jù)，具體地，Traf中的軌道片段運作描述項Trim (Track Fragment Run Box)用于描述iTrack Fragment中Sample的時間信息，如解碼時間、合成時間，子樣本信息描述項 Subs (Sub-sample Information Box)用于描述 Track Fragment 中組成一個Sample的所有Sub-sample的存儲字節(jié)大小。下面,本實施例就以在Movie Fragment中的一個Track Fragment中重排媒體數(shù)
8據(jù)為例來進行相關說明，在Movie Fragment中其他Track Fragment中重排媒體數(shù)據(jù)的方法與此相同；步驟102 =Segment (分片)的Movie Fragment (片段)中滿足重排屬性的媒體數(shù)據(jù)進行物理重排序，使?jié)M足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與重排屬性對應的level (子片段)，其中，媒體數(shù)據(jù)由Sample或Sub-sample構成；其中，重排屬性為單一屬性或任意屬性的組合，具體地，屬性包括視頻視角、視頻質量和幀率。現(xiàn)舉例說明如何將Track Fragment中滿足重排屬性的Sample進行物理重排序， 如下所述原有 Movie Fragment 結構包括 moof 禾口 Track Fragment，該 Track Fragment 存儲了一路2D視頻的樣本；那么，按照單一屬性，如按照2倍、4倍和8倍幀率，將該Track Fragment中存儲的樣本進行重排，具體地，將Track Fragment中存儲的2倍幀率的I幀樣本物理上連續(xù)存儲，構成與2倍幀率對應的子片段，將Track Fragment中存儲的4倍幀率I 幀樣本物理上連續(xù)存儲，構成與4倍幀率對應的子片段，將Track Fragment中存儲的8倍幀率的I幀樣本在物理上連續(xù)存儲，構成與8倍幀率對應的子片段，Track Fragment中存儲的剩余的樣本作為一個子片段?，F(xiàn)舉例說明如何將Track Fragment中滿足重排屬性的Sub-sample進行物理重排序，使?jié)M足重排屬性的Sub-sample在物理上連續(xù)存儲，構成與重排屬性對應的子片段，如下所述Segment中將多個視角的媒體數(shù)據(jù)存儲為一個!"rack Fragment中，每個Sample包含了同一時刻多個視角視頻幀，每個視角視頻幀可構成一個Sub-sample ；該Track Fragment中的Sample按照解碼順序進行存儲，其中，Sample由多個 Sub-sample構成，則該Track Fragment中的Sample的存儲結構如下
權利要求
1.一種重排分片中媒體數(shù)據(jù)的方法，其特征在于，所述方法包括 對媒體內容進行切片；在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由樣本或子樣本構成；添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位置信息。
2.根據(jù)權利要求1所述的方法，其特征在于，當所述媒體數(shù)據(jù)由子樣本構成時，所述將所述滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲構成與所述重排屬性對應的子片段之后， 所述方法還包括通過片段內的描述結構Moof中的第一描述項按照子樣本所屬樣本的解碼順序描述子樣本的解碼順序；通過片段內的描述結構Moof中的第二描述項按照子樣本所屬樣本的解碼順序描述子樣本的存儲字節(jié)大??；通過片段內的描述結構Moof中新增的第三描述項標識子樣本的物理存儲結構。
3.根據(jù)權利要求2所述的方法，其特征在于，所述方法還包括通過片段內的描述結構Moof中新增的第四描述項按照子樣本所屬樣本的解碼順序描述子樣本與自身所屬子片段的對應關系。
4.根據(jù)權利要求1所述的方法，其特征在于，所述添加所述子片段的索引信息，包括 在分片內的索引項中添加所述子片段的索引信息；或在媒體展現(xiàn)描述MPD中添加所述子片段的重排屬性信息，在索引文件中添加所述子片段的位置信息；或在媒體展現(xiàn)描述MPD中添加所述子片段的重排屬性信息，在分片內的索引項中添加所述子片段的位置信息；或在索引文件中添加所述子片段的索引信息。
5.根據(jù)權利要求1-5中任意一項權利要求所述的方法，其特征在于，所述重排屬性為單一屬性或任意屬性的組合；其中，屬性包括視頻視角、視頻質量和幀率。
6.一種服務端，其特征在于，所述服務端包括切片模塊、重排模塊和添加模塊； 所述切片模塊，用于對媒體內容進行切片；所述重排模塊，用于在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由樣本或子樣本構成；所述添加模塊，用于添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位置信息。
7.根據(jù)權利要求6所述的服務端，其特征在于，當所述重排模塊，用于將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由子樣本構成時，所述服務端還包括第一描述模塊，用于通過片段內的描述結構Moof中的第一描述項按照子樣本所屬樣本的解碼順序描述子樣本的解碼順序；第二描述模塊，用于通過片段內的描述結構Moof中的第二描述項按照子樣本所屬樣本的解碼順序描述子樣本的存儲字節(jié)大?。坏谌枋瞿K，用于通過片段內的描述結構Moof中新增的第三描述項標識子樣本的物理存儲結構。
8.根據(jù)權利要求7所述的服務端，其特征在于，所述服務端還包括第四描述單元，用于通過片段內的描述結構Moof中新增的第四描述項按照子樣本所屬樣本的解碼順序描述子樣本與自身所屬子片段的對應關系。
9.根據(jù)權利要求6所述的服務端，其特征在于，所述添加模塊包括 第一添加單元，用于在分片內的索引項中添加所述子片段的索引信息；或第二添加單元，用于在媒體展現(xiàn)描述MPD中添加所述子片段的重排屬性信息，在索引文件中添加所述子片段的位置信息；或第三添加單元，用于在媒體展現(xiàn)描述MPD中添加所述子片段的重排屬性信息，在分片內的索引項中添加所述子片段的位置信息；或第四添加單元，用于在索引文件中添加所述子片段的索引信息。
10.根據(jù)權利要求6-9中任意一項權利要求所述的服務端，其特征在于，所述重排屬性為單一屬性或任意屬性的組合；其中，屬性包括視頻視角、視頻質量和幀率。
11.一種抽取分片中媒體數(shù)據(jù)的方法，其特征在于，所述方法包括獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息； 根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍； 根據(jù)所述字節(jié)范圍請求所述與預定重排屬性對應的子片段； 接收所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。
12.根據(jù)權利要求11所述的方法，其特征在于，所述獲取子片段的索引信息包括 獲取分片內的索引項中存儲的子片段的索引信息；或獲取媒體展現(xiàn)描述MPD中存儲的子片段的重排屬性信息，并獲取分片內索引項中存儲的子片段的位置信息，從而得到子片段的索引信息；或獲取媒體展現(xiàn)描述MPD中存儲的子片段的重排屬性信息，并獲取索引文件中存儲的子片段的位置信息，從而得到子片段的索引信息；或獲取索引文件中存儲的子片段的索引信息。
13.根據(jù)權利要求11所述的方法，其特征在于，所述根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍包括在子片段的重排屬性信息中，查找與預定重排屬性相匹配的子片段的重排屬性信息； 在子片段的位置信息中，根據(jù)所述與預定重排屬性相匹配的子片段的重排屬性信息查找所述與預定重排屬性相匹配的子片段的位置信息；根據(jù)所述與預定重排屬性相匹配的子片段的位置信息計算得到所述與預定重排屬性相匹配的子片段的字節(jié)范圍。
14.根據(jù)權利要求12-13中任意一項權利要求所述的方法，其特征在于，所述重排屬性為單一屬性或任意屬性的組合；其中，屬性包括視頻視角、視頻質量和幀率。
15.一種客戶端，其特征在于，所述客戶端包括獲取模塊、計算模塊、請求模塊和接收模塊所述獲取模塊，用于獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息；所述計算模塊，用于根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；所述請求模塊，用于根據(jù)所述字節(jié)范圍請求所述與預定重排屬性對應的子片段； 所述接收模塊，用于接收所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。
16.根據(jù)權利要求15所述的客戶端，其特征在于，所述獲取模塊包括 第一獲取單元，用于獲取分片內的索引項中存儲的子片段的索引信息；或第二獲取單元，用于獲取媒體展現(xiàn)描述MPD中存儲的子片段的重排屬性信息，并獲取分片內索引項中存儲的子片段的位置信息，從而得到子片段的索引信息；或第三獲取單元，用于獲取媒體展現(xiàn)描述MPD中存儲的子片段的重排屬性信息，并獲取索引文件中存儲的子片段的位置信息，從而得到子片段的索引信息；或第四獲取單元，用于獲取索引文件中存儲的子片段的索引信息。
17.根據(jù)權利要求15所述的客戶端，其特征在于，所述計算模塊包括第一查找單元，用于在子片段的重排屬性信息中，查找與預定重排屬性相匹配的子片段的重排屬性信息；第二查找單元，用于在子片段的位置信息中，根據(jù)所述與預定重排屬性相匹配的子片段的重排屬性信息查找所述與預定重排屬性相匹配的子片段的位置信息；計算單元，用于根據(jù)所述與預定重排屬性相匹配的子片段的位置信息計算得到所述與預定重排屬性相匹配的子片段的字節(jié)范圍。
18.根據(jù)權利要求16-17中任意一項權利要求所述的客戶端，其特征在于，所述重排屬性為單一屬性或任意屬性的組合；其中，屬性包括視頻視角、視頻質量和幀率。
19.一種在重排并抽取分片中媒體數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)包括服務端和客戶端；所述服務端包括切片模塊，用于對媒體內容進行切片重排模塊，用于在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與所述重排屬性對應的子片段，所述媒體數(shù)據(jù)由樣本或子樣本構成；添加模塊，用于添加所述子片段的索引信息，所述索引信息包括所述子片段的重排屬性信息和位置信息；發(fā)送模塊，用于向所述客戶端發(fā)送所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)； 所述客戶端包括獲取模塊，用于向所述服務端獲取子片段的索引信息，所述索引信息包括子片段的重排屬性信息和位置信息；計算模塊，用于根據(jù)所述索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍； 請求模塊，用于根據(jù)所述字節(jié)范圍向所述服務端請求得到所述與預定重排屬性對應的子片段；接收模塊，用于接收所述服務端發(fā)送的所述與預定重排屬性對應的子片段中的媒體數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種在重排、抽取分片中媒體數(shù)據(jù)的方法、設備及系統(tǒng)，屬于媒體數(shù)據(jù)處理領域。重排方法包括對媒體內容進行切片；在切片的過程中，將分片內的片段中滿足重排屬性的媒體數(shù)據(jù)在物理上連續(xù)存儲，構成與重排屬性對應的子片段，媒體數(shù)據(jù)由樣本或子樣本構成；添加子片段的索引信息，索引信息包括所述子片段的重排屬性信息和位置信息；獲取子片段的索引信息，索引信息包括子片段的重排屬性信息和位置信息；根據(jù)索引信息計算與預定重排屬性對應的子片段的字節(jié)范圍；根據(jù)所述字節(jié)范圍請求并接收與預定重排屬性對應的子片段。使客戶端能夠快速而準確地在分片中獲取與重排屬性對應的媒體數(shù)據(jù)。
文檔編號H04N7/26GK102217313SQ201180000721
公開日2011年10月12日 申請日期2011年5月26日 優(yōu)先權日2011年5月26日
發(fā)明者樂培玉, 張園園, 惠宇, 石騰 申請人:華為技術有限公司