專利名稱：生成數(shù)字?jǐn)?shù)據(jù)流的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成數(shù)字?jǐn)?shù)據(jù)流的方法，以及一種對如此生成的數(shù)據(jù)流進(jìn) 行處理的方法。此外，本發(fā)明還涉及一種用來發(fā)送或接收數(shù)字?jǐn)?shù)據(jù)流的發(fā)送器 或接收器，以及一種相應(yīng)的數(shù)字信息載體。
背景技術(shù)：
在從多媒體數(shù)據(jù)生成數(shù)據(jù)流時，通常與真正的多媒體數(shù)據(jù)流同步地傳輸元 數(shù)據(jù)流，該元數(shù)據(jù)流提供對媒體數(shù)據(jù)流的相應(yīng)數(shù)據(jù)包的內(nèi)容描述。例如在視頻 編碼領(lǐng)域，公知可針對代表視頻圖像(稱^"視頻樣本")的每一個視頻數(shù)據(jù)流 段，以相應(yīng)的文件格式保存與該視頻圖像同步的相應(yīng)元M流段(也稱作'元數(shù) 據(jù)樣本")。
已知的視頻編碼有MPEG4-SVC (MPEG=動態(tài)圖像專家組；SVC=可伸 縮視頻編碼)，其中構(gòu)成所生成的視頻流，使得可以提取不同分辨率的視頻圖 像。這時通常希望視頻翻流的質(zhì)量與預(yù)定的數(shù)據(jù)傳輸速率匹配。尤其應(yīng)實現(xiàn) 視頻數(shù)據(jù)的R/D優(yōu)化提取，這里R/D表示'率失真"(Rate Distortion)，利用 R/D優(yōu)化提取(專業(yè)人士十分熟悉的方法，以下將對其進(jìn)《亍詳細(xì)解釋)應(yīng)可保 證在預(yù)定的數(shù)據(jù)傳輸速率下實現(xiàn)盡可能最佳的視頻數(shù)據(jù)流質(zhì)量。這種優(yōu)化提取 方法非常復(fù)雜，而且要求提供特定的信息。不僅要提供每一個視頻樣本的元數(shù) 據(jù)，而且需要針對該視頻樣本內(nèi)的各個視頻翻包提供視頻圖像的R/D優(yōu)化提 取參數(shù)。
按照現(xiàn)有技術(shù)，公知在各個視頻數(shù)據(jù)包的層面上提供元數(shù)據(jù)。例如在各個 視頻數(shù)據(jù)包的包頭之中保存這些元數(shù)據(jù)。這種在包頭中進(jìn)行保存的缺點在于 無法實現(xiàn)簡單和標(biāo)準(zhǔn)化的方法來存取每一個媒體 包的參數(shù)。
文獻(xiàn)WO 03/091905 A2公布了一種對f^^S行分類的方法，該方法將數(shù) 據(jù)流劃分成多個個數(shù)據(jù)流子域，每一個 流子鄉(xiāng)應(yīng)于一個類?？梢赃m當(dāng)選 擇這些類，使其與待描述數(shù)據(jù)流的結(jié)構(gòu)和句法無關(guān)，尤其與該數(shù)據(jù)流的編碼格 式無關(guān)。該文獻(xiàn)并未涉及時間同步地生成々某體數(shù)據(jù)流的元數(shù)據(jù)。

發(fā)明內(nèi)容
本發(fā)明的任務(wù)在于，實現(xiàn)一種生成數(shù)字?jǐn)?shù)據(jù)流的方法，以及一種對此類數(shù) 據(jù)流進(jìn)行管理的方法，可用來簡單地存取媒體數(shù)據(jù)流的元數(shù)據(jù)。此外，本發(fā)明 的任務(wù)還在于實現(xiàn)一種相應(yīng)的發(fā)送器或接收器以及一種相應(yīng)的數(shù)字信息載體。
該任務(wù)可fflil相關(guān)獨立權(quán)利要求加以解決。本發(fā)明的改進(jìn)實施型式均在相 關(guān)從屬權(quán)利要求中進(jìn)行定義。
通過本發(fā)明所述的方法可生成一種媒體數(shù)據(jù)流，該媒體數(shù)據(jù)流含有多個以 特定方式按照時間排序的媒體數(shù)據(jù)流段，每一個媒體數(shù)據(jù)流段均包含一個或多 個媒體數(shù)據(jù)包。例如，媒體數(shù)據(jù)流段可以按照時間先后順序排序。但也可以按 照解碼順序?qū)γ襟w數(shù)據(jù)流段進(jìn)行排序。例如，媒體數(shù)據(jù)流段是視頻數(shù)據(jù)流中的 預(yù)定視頻圖像。給生成的媒體數(shù)據(jù)流分配一個與其時間同步的媒體數(shù)據(jù)流，該 媒體 流包括元數(shù)據(jù)流段，并且給一個或多個媒體數(shù)據(jù)流段，尤其給每一個 媒體數(shù)據(jù)流段各分配一個元數(shù)據(jù)流段。這樣就可為一個或多個媒體數(shù)據(jù)流段生 成一個元數(shù)據(jù)流段，其中涉及相應(yīng)媒體數(shù)據(jù)流段的元數(shù)據(jù)均保存在該元數(shù)據(jù)流 段之中。
本發(fā)明的特征在于，將一個或多個第一元數(shù)據(jù)元素設(shè)置在相應(yīng)的元數(shù)據(jù)流 段之中，使得將相應(yīng)的元數(shù)據(jù)流段的第一元數(shù)據(jù)元素分配給媒體數(shù)據(jù)流段的每 一個媒體數(shù)據(jù)包，該相應(yīng)的元數(shù)據(jù)流段被分配給該媒體數(shù)據(jù)流段。ffl^種分 配方式將相應(yīng)媒體數(shù)據(jù)流段的結(jié)構(gòu)映射于元數(shù)據(jù)流段之中。以這種方式實現(xiàn)一 種標(biāo)準(zhǔn)化方法來保存每一個媒體數(shù)據(jù)包的元數(shù)據(jù)。按照本發(fā)明所述將元數(shù)據(jù)元 素分配給媒體數(shù)據(jù)包的方法，尤其對每一個媒體數(shù)據(jù)包都存在分配給該媒體數(shù) 據(jù)包的唯一的第一元數(shù)據(jù)元素。
在一種實施型式中，當(dāng)一個或多個媒體數(shù)據(jù)流段之中分別有多個媒體數(shù)據(jù) 包被合并成一個或多個集合體時，也可以使用本發(fā)明所述的方法。所謂集合體 是指將多個媒體數(shù)據(jù)包合并成一組媒體數(shù)據(jù)包的任何方式。盡管如此，集合體
這一術(shù)語也理解為由MPEG4數(shù)據(jù)格式公開的特殊含義。這里^ffl集合體來合并 具有相同質(zhì)量等級的媒體數(shù)據(jù)包，該質(zhì)量等級例如以DTQ值表示。為了將包 括集合體的々某體數(shù)據(jù)流段的結(jié)構(gòu)也映射于相應(yīng)的元數(shù)據(jù)流之中，分配給相應(yīng)媒 體數(shù)據(jù)流段的元數(shù)據(jù)流段包含第二元數(shù)據(jù)元素，該第二元數(shù)據(jù)元素被設(shè)置為使 得向每一個集合體分配一個第二元數(shù)據(jù)元素。這樣尤其可將元數(shù)據(jù)元素唯一地分配給一個聚合體，使得也可以將媒體數(shù)據(jù)流中的一個聚合體預(yù)定義地映射于 相應(yīng)的元數(shù)據(jù)流之中。究竟應(yīng)根據(jù)哪些標(biāo)準(zhǔn)將媒體數(shù)據(jù)包合并成集合體，這是
任意的而且對于本發(fā)明而言無關(guān)緊要。但im適當(dāng)使用聚合體來合并那些基本
上具有相同 質(zhì)量的媒體數(shù)據(jù)包。
按照另一種優(yōu)選實施型式，第二元數(shù)據(jù)元素包含用來描述相應(yīng)集合體的元 數(shù)據(jù)元素，并且包含第一元數(shù)據(jù)元素中所包含的那些元數(shù)據(jù)，所述第一元數(shù)據(jù) 元素已經(jīng)分配給合并在相應(yīng)聚合體之內(nèi)的媒體數(shù)據(jù)包。
按照本發(fā)明所述方法的另一種實施型式，數(shù)據(jù)流包含多個媒體數(shù)據(jù)流以及 所分配的元數(shù)據(jù)流。其中至少一個媒體數(shù)據(jù)流可以包含一個或多個所謂的提取 器，該提取器分別引用另一個媒體數(shù)據(jù)流的一個或多個媒體數(shù)據(jù)包，按照本發(fā) 明，向每一個提取器分配在已分配給至少一個媒體數(shù)據(jù)流的元數(shù)據(jù)流之內(nèi)的第 三元數(shù)據(jù)元素。按照本發(fā)明所述的方法，用這種方式也可以將媒體數(shù)據(jù)流映射 在含有提取器形式的參考點的元數(shù)據(jù)之中。這時分配給提取器的第三元數(shù)據(jù)元 素，具有適當(dāng)?shù)慕Y(jié)構(gòu)，使其包含用來描述提取器自身以及元數(shù)據(jù)的元數(shù)據(jù)元 素，所述元數(shù)據(jù)包含在第一和/或第二元 元素之中，且這些第一和/或第二元 元素已分配纟^I31提取器弓l用的媒體數(shù)據(jù)包。
按照本發(fā)明的另一種優(yōu)選實施型式，在一個或多個第一元數(shù)據(jù)元素之中指 定是否以^/或者多少個后續(xù)的第一和/或第二和/或第三元數(shù)據(jù)元素具有相同的 內(nèi)容。以這種方式可以很方便地從數(shù)據(jù)流中讀取元數(shù)據(jù)，因為并非每一次都要 針對多個第一和/或第二和/鄉(xiāng)三元 元素來存取各個元 元素的內(nèi)容，而 是4OT連續(xù)元數(shù)據(jù)元素的第一元數(shù)據(jù)元素的內(nèi)容即可。
按照本發(fā)明所述方法的一種優(yōu)選實施型式，在數(shù)據(jù)流中引用媒體數(shù)據(jù)流段 和/転 流段。此外，在數(shù)據(jù)流中還可以包含對一個或多個質(zhì)量等級的描述， 以及對具有相應(yīng)質(zhì)量等級的媒體數(shù)據(jù)包直接進(jìn)行存取的指令。按照本發(fā)明所述 方法的另一種實施型式，可以在數(shù)據(jù)流中對包含在元數(shù)據(jù)流段內(nèi)的第一和/^^
二和/麟三元M元素進(jìn)行存取。
本發(fā)明所述的方法尤其用于視頻數(shù)據(jù)流，其中每一個媒體數(shù)據(jù)流段均表示 一預(yù)定時刻的視頻圖像，且媒體數(shù)據(jù)包就是視頻數(shù)據(jù)包。視頻數(shù)據(jù)流尤其可以
是現(xiàn)有技術(shù)^[牛下已知的MPEG4-SVC視頻數(shù)據(jù)流，這種視頻數(shù)據(jù)流可用5W 視頻 進(jìn)行可伸縮的編碼和解碼。本發(fā)明的一個主要方面在于利用元數(shù)據(jù)元素將媒體數(shù)據(jù)的結(jié)構(gòu)映射在元 數(shù)據(jù)之中，其中元數(shù)據(jù)元素內(nèi)究竟保存了哪些信息無關(guān)緊要。按照本發(fā)明的一 種實施型式，元數(shù)據(jù)元素例如包含能夠以預(yù)定的M速率實現(xiàn)數(shù)據(jù)流的優(yōu)化傳
輸?shù)膬?nèi)容。尤其是第一和/，二和/或第三媒體M元素包含涉及M流速率控
制的參數(shù)， 包含媒體數(shù)據(jù)的R/D優(yōu)化提取參數(shù)，和/或用來匹配數(shù)據(jù)流質(zhì) 量的參數(shù)。
按照本發(fā)明所述方法的另一種實施型式，在至少一部分元數(shù)據(jù)流段之中存 在第四元娜元素，用艦已分配有相應(yīng)元繊流段的媒體娜流段進(jìn)行描述。
除了上述用來產(chǎn)生數(shù)字?jǐn)?shù)據(jù)流的方法之外，本發(fā)明還涉及對如此生成的數(shù) 字?jǐn)?shù)據(jù)流進(jìn)行處理的一種方法。按照該方法所述，以適當(dāng)方式讀取數(shù)據(jù)流，對 讀出的媒體 包和/或集合體和/或提取器進(jìn)行編號，同時對讀出的第一和/， 二和/或第三元數(shù)據(jù)元素進(jìn)4f編號，從而確定$某體 包與第一元數(shù)據(jù)元素之間 的對應(yīng)關(guān)系，禾卩/或集合體與第二元 元素之間的對應(yīng)關(guān)系，和/或提取器與第 三元數(shù)據(jù)元素之間的對應(yīng)關(guān)系。因此不必針對元數(shù)據(jù)元素和媒體數(shù)據(jù)包之間的 對應(yīng)關(guān)系來保存單獨的索弓I ，將媒體數(shù)據(jù)的結(jié)構(gòu)鵬寸在元數(shù)據(jù)之中即可得到該 對應(yīng)關(guān)系。
本發(fā)明還涉及一種發(fā)送器，用來發(fā)送本發(fā)明所述的數(shù)據(jù)流，包括用來生成 媒體娜流的第一裝置，該媒體娜流包含多個按照時間排序的媒體娜流段，
每一個媒體數(shù)據(jù)流段均包含一個或多個媒體數(shù)據(jù)包；包括用來將與媒體數(shù)據(jù)流 同步的元 流分配給々某體數(shù)據(jù)流的第二，，其中元數(shù)據(jù)流包含元 流段， 且分別向一個或多個媒體數(shù)據(jù)流段分配一個元數(shù)據(jù)流段；包括用來將一個或多 個第一元數(shù)據(jù)元素適當(dāng)設(shè)置于相應(yīng)元數(shù)據(jù)流段之中的第三裝置，使得將相應(yīng)的 元數(shù)據(jù)流段的第一元數(shù)據(jù)元素分配給被分配了相應(yīng)的元數(shù)據(jù)流段的媒體數(shù)據(jù)流 段的每一個媒體數(shù)據(jù)包。此外，發(fā)送器 還包括一個用來按照上述處理方法 對數(shù)據(jù)流進(jìn)行處理的，。發(fā)送tl優(yōu)選可以按照預(yù)定的標(biāo)準(zhǔn)，尤其是按照涉及 率和/或 質(zhì)量的標(biāo)準(zhǔn)，禾,這種處理 流的裝置從 流中提取部分 ，然后發(fā)送器可以發(fā)送所提取的部分 。
本發(fā)明還涉及一種接收器，用來接收按照本發(fā)明所述生成的數(shù)據(jù)流，包括 讀取裝置，用來適當(dāng)讀取數(shù)據(jù)流，f吏得通^所讀出的媒體數(shù)據(jù)包和/或集合體 和/或提取器進(jìn)t彌號，同時對所讀出的第一和/麟二和/麟三元 元素進(jìn)行
9編號，確定媒體數(shù)據(jù)包與第一元 元素之間的對應(yīng)關(guān)系，禾n/或集合體與第二
元數(shù)據(jù)元素之間的對應(yīng)關(guān)系，禾B/或提取器與第三元數(shù)據(jù)元素之間的對應(yīng)關(guān)系。
接收器lm構(gòu)造為使其獸,按照預(yù)定的標(biāo)準(zhǔn)，尤其是按照涉及 率和/^ 質(zhì)量的標(biāo)準(zhǔn)從數(shù)據(jù)流中讀取部分?jǐn)?shù)據(jù)。
與Jl^生成數(shù)據(jù)流的方法相類似，本發(fā)明還包括一種相應(yīng)的數(shù)字信息載體， 其含有數(shù)字信息，可按照本發(fā)明所述的數(shù)據(jù)流生成方法利用這些數(shù)字信息來生 成數(shù)據(jù)流。數(shù)字信息載體,包含用來生成媒體數(shù)據(jù)流的第一數(shù)據(jù)存儲區(qū)，該 媒體數(shù)據(jù)流含有多個按照時間排序的媒體數(shù)據(jù)流段，每一個媒體數(shù)據(jù)流段均含 有一個或多個媒體數(shù)據(jù)包。此外還有第二數(shù)據(jù)存儲區(qū)，用來生成與媒體數(shù)據(jù)流 同步的元數(shù)據(jù)流，其中元數(shù)據(jù)流包括元數(shù)據(jù)流段，并且分別將一個元數(shù)據(jù)流段 分配給一個或多個媒體數(shù)據(jù)流段，尤其是分配給每一個媒體數(shù)據(jù)流段。該信息 載體的特征在于，將一個或多個第一元數(shù)據(jù)元素適當(dāng)設(shè)置于相應(yīng)的元數(shù)據(jù)流段 之中，使得可將相應(yīng)的元數(shù)據(jù)流段的第一元數(shù)據(jù)元素分配給被分配了相應(yīng)元數(shù) 據(jù)流段的媒體數(shù)據(jù)流段的每一個媒體數(shù)據(jù)包。
按照一種優(yōu)選實施型式所述，數(shù)字信息載體包括用來弓l用媒體數(shù)據(jù)流段的
軌道(Track)，禾口/或包括一個或多個用來引用元數(shù)據(jù)流段的軌道。用來引用元 數(shù)據(jù)流段的軌道可以包括對第一和/或第二和/或第三元數(shù)據(jù)元素的分組情況的 描述，例如可利用這些描艦設(shè)定預(yù)定的數(shù)據(jù)流傳輸質(zhì)量等級。 圖說明
以下將根據(jù)圖對本發(fā)明的實施例進(jìn)行詳細(xì)說明。 相關(guān)圖如下


圖1現(xiàn)有技術(shù)斜牛下已知的一種文件格式的示意圖，在其中艦 視頻軌道來弓閱所保存的視頻M;
圖2現(xiàn)有技術(shù)^f牛下已知的一種文件格式的示意圖，在其中ffiil 視頻軌道來弓l用視頻數(shù)據(jù)，此外元數(shù)據(jù)與視頻 通過元數(shù)據(jù)軌道進(jìn)行 時間同步；
圖3按照本發(fā)明所述將元數(shù)據(jù)元素分配給媒體數(shù)據(jù)包的示意圖； 圖4 一種本發(fā)明所述文件格式的示意圖，在其中主要i頓包含提 取器的媒體 流；
圖5 —種本發(fā)明所述文件格式的示意圖，在其中ffl31相應(yīng)的軌道
10來弓l用媒體數(shù)據(jù)流以及與其同步的元數(shù)據(jù)流；
圖6 —種本發(fā)明所述文件格式的示意圖，在媒體 流的多個分 層的平面中均有元數(shù)據(jù)；
圖7 —種本發(fā)明所述文件格式的示意圖，可以利用附加信息在元 數(shù)據(jù)軌道中直接存取元數(shù)據(jù)元素組；以及
圖8本發(fā)明所述實施型式的一種發(fā)送器、接收器以及數(shù)字信息載 體的示意圖。
具體實施例方式
以下將以按照MPEG4-SVC標(biāo)準(zhǔn)編碼的視頻 為例，對本發(fā)明所述的方 法進(jìn)fri兌明。SVC表示'可伸縮視頻編碼"(Scalable Video Coding)，可用艦 不同質(zhì)量等級的視頻數(shù)據(jù)進(jìn)行編碼和解碼。涉及位置分辨率的可伸縮性、涉及 時間分辨率的可伸縮性以及SNR可伸縮性(SNR = Signal to Noise Ratio信噪 比)是不同的。SNR可伸縮性涉及到像素精度，精度越高，貝i個像中出現(xiàn)的偽 影越少。在視頻數(shù)據(jù)流中設(shè)置不同的質(zhì)量層，即一個基本層和位于其上的增強 層，就可在SVC標(biāo)準(zhǔn)中實現(xiàn)視頻數(shù)據(jù)流的可伸縮性。在MPEG4-SVC標(biāo)準(zhǔn)中 通過DTQ值來規(guī)定各個視頻數(shù)據(jù)包的質(zhì)量(DTQ = dependency—id, temporal—level, quality—level) 。 D值表示位置分辨率，T值表示時間分辨率，Q 值表示每一個視頻數(shù)據(jù)包的SNR伸縮方向。這些t!M大，則相應(yīng)分辨率的質(zhì) 魏好。
圖1所示是一種在涉M MPEG4-SVC 存放格式的標(biāo)準(zhǔn)文檔[1]中 描述的文件格式。該格式包含一個媒體娜容器MD，該容器包含"mdat"區(qū)域， 其中保存有一個或多個媒體數(shù)據(jù)流MDS;該格式還包含描述容器MT，該容器 包括"moov"區(qū)域，其中含有一個或多個視頻軌道VT。視頻軌道用來存儲那些 使得可以存取媒體娜(或者其中部分?jǐn)?shù)據(jù))的信息。媒體數(shù)據(jù)流MDS例如 可包含按照時間組織存放的各個視頻數(shù)據(jù)包，這些視頻數(shù)據(jù)包被稱作NALu (NALu = Network Abstraction Layer unit網(wǎng)絡(luò)抽象層單元)。視頻軌道VT中的 數(shù)據(jù)用來描述媒體數(shù)據(jù)流MDS中的相關(guān)媒體數(shù)據(jù)，并且提供用于存取媒體數(shù) 據(jù)的引用。在圖1中用兩個粗箭頭表示這些引用，且這些箭頭的起源點均在視 頻軌道VT之中。此外視頻軌道VT中包含可用來存取具有所定義的分辨率和 圖4魏噺率的預(yù)識作點的數(shù)據(jù)，其中在定義的"層(Tier)"中將該操作點構(gòu)成操作點具有定義的分辨率和圖像刷新率。對這些數(shù)據(jù)進(jìn) 行分析，形成圖1中ffl31其余(非粗體)箭頭表示的提取指令。根據(jù)不同的應(yīng) 用，某一層的質(zhì)量就像視頻數(shù)據(jù)流的最 據(jù)傳輸速率那樣可能會在特定范圍 內(nèi)變化。
由此，視頻軌道VT對#^層包含描述最終質(zhì)量的元 。這種靜態(tài)描述
涉及對數(shù)據(jù)流的總的表示方法。例如，文件閱讀器或者流客戶端可以使用這些
元數(shù)據(jù)，以便從所提供的操作點中選擇所需的操作點。在利用層(Tier)對數(shù)據(jù) 流進(jìn)行的描述中還含有一些附加數(shù)據(jù)，該附加數(shù)據(jù)可用來從全部媒體數(shù)據(jù)中提 取皿視頻圖像所需的媒體數(shù)據(jù)。此外，視頻軌道VT還包含允許高效存取所 需媒體數(shù)據(jù)的一系列數(shù)據(jù)結(jié)構(gòu)。
在圖1中，從媒體數(shù)據(jù)流MDS再現(xiàn)出兩個媒體 流段S0和Sl。其中 的每一個數(shù)據(jù)流段均表示一預(yù)定時刻的視頻圖像，并且在多個視頻數(shù)據(jù)包內(nèi)包 含有關(guān)該視頻圖像的相應(yīng)信息。在媒體數(shù)據(jù)流段SO中含有六個視頻數(shù)據(jù)包 NALu，而 流段Sl則包括五個NALu。針對每一個視頻l^包NALu保 存一個相應(yīng)的DTQ值。例如，媒體 流段S0中的/ASi開始的第一個視 頻數(shù)據(jù)包具有一個三元組(O，O,O)形式的DTQ值。M示位置分辨率的值^ 引為0，時間^f辛率的索引為0且SNR可伸縮性的索引同樣也為0。在圖1 所示的文件格式中，只要相鄰的數(shù)據(jù)包具有相同的DTQ值，則將這些視頻數(shù) 據(jù)包合并成一，合體。如圖1所示，第一媒體數(shù)據(jù)流段S0中的從左側(cè)開始 的第二個和第三個視頻數(shù)據(jù)包被合并成一個集合體A，因為這兩個視頻數(shù)據(jù)包 具有相同的DTQ值(1,0,0)。
在圖1所示文件格式的一種變體中，還可以將隨時間變化的元數(shù)據(jù)以該文 件格式保存。圖2所示就是這種情況。與圖1類似，文件格式包含一個描述容 器MT和一個媒體數(shù)據(jù)容器MD。但在描述容器MT中除了有視頻軌道VT 之外，還有另一個軌道TMT (TMT = timed metadata track同步元數(shù)據(jù)軌道)。 該軌道也具有一些以箭頭形式指向媒體數(shù)據(jù)容器MD內(nèi)的元數(shù)據(jù)流MTS的 弓間。元數(shù)據(jù)流MTS包含'元 樣本"(meta data samples)形式的多個元數(shù) 據(jù)流段MO, Ml, M7，這些元數(shù)據(jù)流段與各個媒體娜流段SO, Sl, S7同 步。例如，在標(biāo)準(zhǔn)[4]中就有對圖2所示文件格式的描述。4OT該格式可以利 用例如二進(jìn)制XML (BiM)對元 進(jìn)行編碼。
12按照現(xiàn)有技術(shù)，參照MPEG4-SVC編碼可知以"完全可伸縮"格式保存數(shù)
據(jù)。"完全可伸縮'表示可以在伸縮方向上提取每一個允許的質(zhì)量等級組合(即
健^ff率，時間分辨率和SNR可伸縮性)。當(dāng)傳輸此類'完全可伸縮'比特流 時，尤其希望比特流的質(zhì)量與預(yù)定的比特率匹配。在MPEG4-SVC標(biāo)準(zhǔn)中提供 了能夠?qū)?shù)據(jù)流進(jìn)行細(xì)微伸縮的機制。尤其在該標(biāo)準(zhǔn)中針對每一個位置分辨率 等級或CGS分辨率等級(CGS = Coarse Grain Scalability粗粒度可伸縮性)并 且針對在某一位置分辨率等級的時間分析過程中的每一個圖像，定義了最多四 個質(zhì)量等級。如MPEG4-AVC標(biāo)準(zhǔn)(AVC =高級視頻編碼)所 最低的質(zhì) 量等級進(jìn)行編碼，其中量化參數(shù)QP可影響原始圖像和解碼圖像之間的差別。 其它質(zhì)量等級("Fine Grain Scalability (FGS) Refinements"細(xì)粒度可伸縮性 (FGS)精化)的編碼方法為例如將量化參數(shù)減小六。分兩個等級對各個FGS 精ifcii行編碼，這兩個等級被稱作"significant pass"禾n "refinement pass",并且 保存在FGS陽NALu之中。
在MPEG4-SVC標(biāo)準(zhǔn)中可以在使用FGS-NALu時，通過對各個 FGS-NALu進(jìn)行剪切的方式將視頻數(shù)據(jù)流與預(yù)定的比特傳輸速率匹配?？梢允?終在相同的比特位置上剪切NALu，但是這會導(dǎo)致非最佳的解碼。與標(biāo)準(zhǔn)化文 獻(xiàn)[3]所描述的一樣，還可以在定義的位置上"預(yù)先剪切"FGS-NALu，其中將 這些預(yù)先剪切的片段(稱作質(zhì)觀"qualitylayers")保存在自身的NALu之中。 這樣就可將具有位置可伸縮性、時間可伸縮性以及SNR可伸縮性(分別考慮 預(yù)先剪切的片段)并且具有特定傳輸速率和特定質(zhì)量的所有圖像組合起來，產(chǎn) 生這些組合的集合。
利用預(yù)先剪切的NALu可以使ffl見頻數(shù)據(jù)流的質(zhì)量與比特率最佳匹配。這 就是已知的FGS-NALu的R/D優(yōu)化提取。如前所述，RD表示率失真(依據(jù) 繊率變化的圖像失真)。采用R/D優(yōu)化提取時，在RD曲線圖中繪制具有 特定位置分辨率等級的視頻圖像的RD值與比特率之間的關(guān)系。這樣就可得到 一個凸起的包絡(luò)，可以針對該凸起包絡(luò)上的每一個點來確定角 ，該角度表示 隨數(shù)據(jù)率變化引起的失真變化程度有多大。可以根據(jù)相應(yīng)的伸縮率，為每一個 NALu生成并且適當(dāng)保存X值。然后頓用R/D優(yōu)化提取時，會詢多通3im值進(jìn) 行分析針對給定的位置^fjf率和預(yù)定的數(shù)據(jù)率最佳地選擇待保存的NALu。關(guān) 于視頻數(shù)據(jù)包的R/D優(yōu)化提取的詳細(xì)情況可查閱文獻(xiàn)[3]。
13在根據(jù)R/D優(yōu)化提取，擇NALu時采用的參數(shù)在JM文獻(xiàn)[3]中被稱 作"quality—id"。與前述DTQ值的不同之處在于，在MPEG4-AVC編碼標(biāo)準(zhǔn) (參見文獻(xiàn)[2])中沒有在哪一個位置上指定quality—id值的規(guī)定。因此只能在 NALu的頭部內(nèi)任意可用的字段中非規(guī)范地給出該值。
按照本發(fā)明的下述實施型式，在時間同步的元數(shù)據(jù)流MTS中保存元 元素的各個字段，其中向一個元數(shù)據(jù)元素洽好分配來自媒體數(shù)據(jù)流的一個視頻 數(shù)據(jù)包NALu。在這些元數(shù)據(jù)元素中可以保，及各個視頻數(shù)據(jù)包的任意信息， 尤其可以針對每一個視頻 包保存視頻數(shù)據(jù)的R/D優(yōu)化提取的相應(yīng)參數(shù)(例 如前面提及的quality—id)。在圖3中針對圖2所示的媒體數(shù)據(jù)流段或者元數(shù) 據(jù)流段SO和M0對本發(fā)明進(jìn)行了描述。媒體數(shù)據(jù)流段SO具有與圖1所示媒 體數(shù)據(jù)流段SO —樣的結(jié)構(gòu)。從圖3可以看出，根據(jù)本發(fā)明元 流段MO具 有與媒體數(shù)據(jù)流段SO —樣的結(jié)構(gòu)。尤其是為SO中的每一個NALu均在MO 中設(shè)置一個元數(shù)據(jù)元素ME，在圖3中使用箭頭P表示各個元數(shù)據(jù)元素ME 與NALu之間的對應(yīng)關(guān)系。SO中的集合體A將具有相同DTQ值的第二和第 三NALu合并在一起，為了使用本發(fā)明所述的方法對SO中的集合體AiS行處 理，也給該集合體分配了相應(yīng)的元數(shù)據(jù)元素，在圖3中將該元數(shù)據(jù)元素表示為 MA'，使用箭頭P'表示該元 元素與集合體A之間的對應(yīng)關(guān)系。元數(shù)據(jù)元 素MA'包含一個用來描述集合體特性的元娜元素MEA，該集合體特性例如 是集合體中包含的所有NALu都具有的特性。在圖3所示的選項中，元 元素MA'在元數(shù)據(jù)元素MEA之后包括可用于集合體內(nèi)所含的每一個NALu 的第一元數(shù)據(jù)元素ME。替換的，MA'不是對集合體內(nèi)所含的每一個NALu都 包含元數(shù)據(jù)元素ME。在這種情況下，MEA描述集合體以及其中所含的每一個 NALu。
從圖3可明顯看出，本發(fā)明的主要方面在于將媒體數(shù)據(jù)流段的結(jié)構(gòu)映射 在相應(yīng)的元數(shù)據(jù)流段之中?？梢詅fi^t元數(shù)據(jù)流中的元數(shù)據(jù)元素以及媒體數(shù)據(jù) 流中的視頻數(shù)據(jù)包同時進(jìn)行計數(shù)的方式，實現(xiàn)元數(shù)據(jù)元素和視頻數(shù)據(jù)包之間的
對應(yīng)關(guān)系。這種計數(shù)如圖3所示，即對視頻數(shù)據(jù)包NALu和元數(shù)據(jù)元素ME 以及元數(shù)據(jù)元素MEA進(jìn)行相應(yīng)地編號。編號方式如下
左側(cè)第一個NALu獲得計數(shù)索引1，后續(xù)的集合體A獲得計數(shù)索引2， 緊隨集合體之后的NALu獲得計數(shù)索引3、 4和5。在元數(shù)據(jù)流中以類似方式
14進(jìn)行計數(shù)。即對應(yīng)于具有計數(shù)索引1的NALu的第一元數(shù)據(jù)元素同樣也獲得 計數(shù)索引1，鄉(xiāng)嫌合體A的元 元素MA'分配計數(shù)索引2，該計數(shù)索引也 被分配纟^合體A，集合體A后面的元數(shù)據(jù)元素與相應(yīng)的NALus —樣獲得計 數(shù)索引3、 4和5。當(dāng)存取一集合體中的NALu時，就在該集合體之內(nèi)重新進(jìn) 行編號，使得集合體A中的NALu以及相應(yīng)的元數(shù)據(jù)元素ME具有索引1 和2。這里可看出，圖3中所示的編號并未以該數(shù)據(jù)格式保存，而是在存取數(shù) 據(jù)時〗OT計數(shù)索引自動產(chǎn)生該編號。
圖4所示為本發(fā)明所述文件格式的另一種實施型式，其中不僅有一個單獨 的媒體數(shù)據(jù)流MDS和一個單獨的同步元數(shù)據(jù)流MTS，而且有另一個媒體數(shù)據(jù) 流MDS'，且給該另一個媒體數(shù)據(jù)流分配相應(yīng)的元數(shù)據(jù)流MTS'。媒體數(shù)據(jù)流 MDS中所示的媒體數(shù)據(jù)流段SO在這里相當(dāng)于圖3中的媒體數(shù)據(jù)流段S0。元 數(shù)據(jù)流MTS中的元 流段MO同樣也相當(dāng)于圖3中的元數(shù)據(jù)流段M0。附 加設(shè)置的媒體數(shù)據(jù)流段MDS'含有提取器。關(guān)于這，取器的使用說明可查閱 標(biāo)準(zhǔn)化文獻(xiàn)[1]的第7.6節(jié)。這些提取器表示可用來引用其它，體繊流中的 媒體娜的包。在圖4所示的實施例中，媒體 流MDS'中的提取器E引 用媒體數(shù)據(jù)流MDS中的第一 NALu、隨后的集合體A以及包含在該集合體 內(nèi)的兩個NALu。而媒體數(shù)據(jù)流MDS'中的第二提取器E則引用媒體數(shù)據(jù)流 MDS中的后三個NALuo
為了也能使用本發(fā)明所述的方法對包含提取器的媒體數(shù)據(jù)流MDS'進(jìn)行處 理，設(shè)置另一種鄉(xiāng)的元數(shù)據(jù)元素用于元數(shù)據(jù)流MTS'中的提取器。這些元數(shù) 據(jù)元素在圖4的數(shù)據(jù)流MTS'中被，成用于MDS'的左側(cè)提取器的MEl'， 以及用于MDS'的右側(cè)^^器的ME2'。 一般也將這些元數(shù)據(jù)元素表示為ME'。 ffi^t具有計數(shù)索引1和2的提取器E以及具有相同索引1和2的相應(yīng)元 數(shù)據(jù)元素ME1'、ME2,進(jìn)行編號，在這，取器以及元 元素ME1'和ME2' 之間形成對應(yīng)關(guān)系。元數(shù)據(jù)元素ME1'或ME2'在開始時包含一個用來描述整 個提取器的元數(shù)據(jù)元素MEE。緊隨該元數(shù)據(jù)元素MEE之后的可以是被提取器 弓間的那些媒體數(shù)據(jù)包(NALu)的元 元素廳。
圖5所示是按照本發(fā)明所述生成的文件格式的全貌示意圖。圖5所示的結(jié) 構(gòu)相當(dāng)于圖2所示的結(jié)構(gòu)，但其中詳細(xì)示出視頻軌道VT、元數(shù)據(jù)軌道TMT以 及媒體數(shù)據(jù)流MDS和元 流MTS的內(nèi)容。視頻軌道VT包含全局描述視
15頻軌道的一系列元數(shù)據(jù)結(jié)構(gòu)。例如，這些元數(shù)據(jù)結(jié)構(gòu)涉及下列描述
- 視頻流的描述，包括編碼方法、位置分辨率、初始化參數(shù)等等(稱作
"visual sample entry"視覺樣本記錄)；
國操作點的描述(稱作"scalable tier entry"可伸縮層記錄)，其中旨操 作點均有一個記錄；
- 結(jié)構(gòu)模式的描述，以及將組標(biāo)識分配給數(shù)據(jù)元素的分配(稱作"NALu map entry" NALu,記錄)；
- 結(jié)構(gòu)模式與"樣本(Samples)"的對應(yīng)，也就是視頻圖像與預(yù)定時刻 的對應(yīng)(稱作"sample to group box"樣本到組盒)，
- 其它必要的結(jié)構(gòu)，例如"sample size box"(樣本大小盒)。 元 軌道TMT中含有用來全局描述元數(shù)據(jù)流MTS中的同步元數(shù)據(jù)的
數(shù)據(jù)結(jié)構(gòu)。元數(shù)據(jù)軌道尤其含有元數(shù)據(jù)流的描述(稱^"meta data sample entiy" 元 樣本記錄)以及其它必要的結(jié)構(gòu)(例如"sample size box")。
在MPEG4文件格式和SVC文件格式描述中已對，數(shù)據(jù)結(jié)構(gòu)進(jìn)行了充 分說明，因此不再予以魏。
在圖5中使用箭頭Z0或Zl表示通過元數(shù)據(jù)軌道TMT引用元數(shù)據(jù)流 段M0或Ml。除了圖3中所示的數(shù)據(jù)流段SO和M0之外，在圖5中還有 數(shù)據(jù)流段SI和Ml。數(shù)據(jù)流段SI表示某一時刻的視頻圖像，且該數(shù)據(jù)流段 SI包含5個NALu。與數(shù)據(jù)流段SO的不同之處在于，在SI中沒有集合體。 因此按照本發(fā)明所述，向S1中的每一個NALu+合好分配元數(shù)據(jù)流段Ml中的 一個元數(shù)據(jù)元素ME。
圖6所述的 格式類似于圖5，但還有元數(shù)據(jù)保存在媒體數(shù)據(jù)流的多個 分層的平面之中。在圖6中將涉 ^元 軌道TMT的元數(shù)據(jù)保存為"軌 道元數(shù)據(jù)"("track meta data") TMD。針對不同的質(zhì)量等級形成不同的層，在 元M軌道TMT中將這些層保存為"分層元翻"("tier meta data") TI，且 針對不同的質(zhì)量等級設(shè)置不同的層。圖6所示為Til和TI2層的示例。在樣 本層上，也就是參照一個單獨的視頻圖像，在元數(shù)據(jù)流MTS中有相應(yīng)的元數(shù) 據(jù)元素MS，該元數(shù)據(jù)元素MS用來描述某一時刻的相應(yīng)的樣本或者視頻圖像。 因此如圖6所示，可針對視頻圖像在元數(shù)據(jù)流MTS中形成元數(shù)據(jù)流段M0' 或Ml'，且這些元數(shù)據(jù)流段分別含有一個元數(shù)據(jù)元素MS和元 流段M0或
16Ml 。在位于其下面的視頻數(shù)據(jù)平面上設(shè)置有前面所述的元數(shù)據(jù)元素ME或 MA'或ME'。這樣就將樣本平面和數(shù)據(jù)包平面上的元數(shù)據(jù)與媒體數(shù)據(jù)具有時間 上和結(jié)構(gòu)上的同步地保存在元數(shù)據(jù)流MTS之中。
圖7所示的文件格式類似于圖6，可以將元數(shù)據(jù)軌道TMT中的元 進(jìn) 行適當(dāng)分組，使得可以 元 軌道TMT存取元數(shù)據(jù)流MTS中的各個元 數(shù)據(jù)元素ME或MA'。元數(shù)據(jù)軌道TMT中的存取機制相當(dāng)于視頻軌道VT 中的存取機制。這樣就可在提取媒體數(shù)據(jù)流的片段時，從元數(shù)據(jù)流中取得那些 描述相關(guān)媒體數(shù)據(jù)的片段。例如可以通過網(wǎng)絡(luò)(例如以卞TP負(fù)載格式"或者以 專用的SEI消息)將這些元 與媒體數(shù)據(jù)一起發(fā)送，同時可以在該網(wǎng)絡(luò)中或 者在相應(yīng)的終端設(shè)備中繼續(xù)進(jìn)行匹配。
例如可以使用文獻(xiàn)[3]中所描述的提取方法從數(shù)據(jù)流中提取元數(shù)據(jù)。這時 可適當(dāng)使用該方法，使得數(shù)據(jù)讀取裝置除了媒體 之外還可存取相應(yīng)的元數(shù) 據(jù)，以便在提取比特流的片段時提高質(zhì)量。某些情況下并不需要存取所有元數(shù) 據(jù)，因為例如已通過軌道中的描述指定了哪些媒體數(shù)據(jù)屬于特定的位置伸縮等 級，就當(dāng)前所選的質(zhì)量而言不需要附加的元 來用于對該媒體數(shù)據(jù)進(jìn)行處理。
由于按照本發(fā)明所述的方法元數(shù)據(jù)具有和視頻數(shù)據(jù)一樣的結(jié)構(gòu)，因此無論 是元數(shù)據(jù)還是媒體數(shù)據(jù)，均可使用同樣的方法來稀疏數(shù)據(jù)流(稱作stream thinning,流細(xì)化)或者提取數(shù)據(jù)。如果在元數(shù)據(jù)軌道TMT以及視頻軌道VT中 使用相同的分組方法，如圖7所示，則尤其如此。如圖7所示的分組主要用來 生成可伸縮的元數(shù)據(jù)流，即可以將元數(shù)據(jù)適當(dāng)分組，使得可以例如根據(jù)相關(guān)性 對其進(jìn)行伸縮。還可以實現(xiàn)元數(shù)據(jù)的時間上的伸縮。如果象媒體數(shù)據(jù)一樣對元 數(shù)據(jù)進(jìn)行分組，貝i擋匹配數(shù)據(jù)流時很容易提取剩余的相關(guān)元數(shù)據(jù)。尤其可以針 對某一個元數(shù)據(jù)流(同樣也可針對媒體數(shù)據(jù))將多個分組保存在不同的軌道之 中。這些分組方法可用來例如將媒體數(shù)據(jù)的片段合并成前面所述的層。可以在 SVC文件格式中摘要性描述并選擇這些層。如標(biāo)準(zhǔn)化文獻(xiàn)[1]所述，可以將數(shù) 據(jù)元素分配給具有"Sample to Groupbox"和"Scalable NALu Nap Entiy"的分 組，同時會^一^^ 元素分配一個分組標(biāo)識。
如圖8所示，其中有按照本發(fā)明的一種實施方式實現(xiàn)的發(fā)送器1、接收器 2以及數(shù)字信息載體3。使用發(fā)送器1可以生成本發(fā)明所述的數(shù)字?jǐn)?shù)據(jù)流。為 此發(fā)送器1包括用來生成媒體數(shù)據(jù)流的第1置4，該媒體數(shù)據(jù)流含有多個按照時間排序的媒體數(shù)據(jù)流段，每一個媒體數(shù)據(jù)流段均含有一個或多個媒體數(shù)據(jù) 包。發(fā)送器還包括將與媒體數(shù)據(jù)流時間同步的元數(shù)據(jù)流分配給該媒體數(shù)據(jù)流的 第二裝置，其中該元數(shù)據(jù)流含有元數(shù)據(jù)流段，并且給該媒體數(shù)據(jù)流段中的一個 或多個分別分配一個元數(shù)據(jù)流段。除此之外，在發(fā)送器中設(shè)置第三裝置6，可 用來將一個或多個第一元數(shù)據(jù)元素適當(dāng)設(shè)置于相應(yīng)的元數(shù)據(jù)流段之中，使得可 將相應(yīng)的元數(shù)據(jù)流段的第一元數(shù)據(jù)元素分配給被分配了相應(yīng)元數(shù)據(jù)流段的媒體 |^§流段的每一個媒體 包。
可以Mil任意一種無線或有線的通信路徑，將發(fā)送器1中生成的 流發(fā)
送給接收器2，如箭頭10所示。接收器2然后就可以對本發(fā)明所述的數(shù)字?jǐn)?shù) 據(jù)流進(jìn)行適當(dāng)處理。接收器2具有以適當(dāng)方式讀取該數(shù)據(jù)流的讀取裝置7，從 而可M31對讀出的媒體數(shù)據(jù)包和/或集合體和/或提取器進(jìn)行編號，同時對讀出的 第一和/鄉(xiāng)二和/麟三元數(shù)據(jù)元素進(jìn)行編號，確定媒體 包與第一元數(shù)據(jù)元 素之間的對應(yīng)關(guān)系，禾口/或集合體與第二元數(shù)據(jù)元素之間的對應(yīng)關(guān)系，禾口/或提取 器與第三元 元素之間的對應(yīng)關(guān)系。
為了生成本發(fā)明所述的數(shù)據(jù)流，發(fā)送器1優(yōu)選與一種數(shù)字信息載體3相互 作用，如圖8中的雙箭頭11所示。在數(shù)字信息載體3上有第一麵存儲區(qū)8 和第二數(shù)據(jù)存儲區(qū)9。使用第一數(shù)據(jù)存儲區(qū)8中的信息可以生成媒體數(shù)據(jù)流， 該媒體數(shù)據(jù)流中含有多個按照時間排序的媒體數(shù)據(jù)流段，且每一個媒體數(shù)據(jù)流 段均含有一個或多個媒體數(shù)據(jù)包。使用第二 存儲區(qū)9中的信息可以生成與 々某體數(shù)據(jù)流時間同步的元數(shù)據(jù)流，該元 流含有元數(shù)據(jù)流段，并且給該媒體 數(shù)據(jù)流段中的一個或多個各分配一個元數(shù)據(jù)流段。在數(shù)字信息載體內(nèi)將一個或 多個第一元數(shù)據(jù)元素適當(dāng)布置于相應(yīng)的元數(shù)據(jù)流段之中，使得可將相應(yīng)元數(shù)據(jù) 流段的第一元數(shù)據(jù)元素分配給被分配了相應(yīng)元數(shù)據(jù)流段的媒體數(shù)據(jù)流段的每一 個媒體數(shù)據(jù)包。
18文獻(xiàn)參考 ISO/IEC JTC1/SC29/WG11 N7906 - WD 3.0 of ISO/EEC 14496-15/PDAM2 (SVC File Format), Bangkok^ Thailand, Januar 2006 ISO/EC JTC1/SC29/WG11 N7555 Working Draft 4 of ISO/IEC 14496-10:2005/AMD3 Scalable Video Coding, Nice, France, October 2005 I. Amonou, N. Cammas, S. Kervadec, S. Pateux, 'On the high level syntax for SVC, ISO/EC JTC 1/SC 29/WG 11 and ITU-T Q6/SG16, Document JVT-P032, Poznan, Poland^ My 2005 ISO/EC JTC1/SC29/WG11 N7475 - ISO/EC 14496-12 - ISO base media file format Amd2， Pozn叫Poland^ My 2005
19附圖標(biāo)記清單 VT視頻軌道
MT元娜容器 MD媒體娜容器 MDS 媒體娜流 S0,…,S7媒體繊繊 A集合體
M0,…,M7 元 流段
MTS 元娜流
TMT 隨時間變化的元數(shù)據(jù)軌道
ME第一元數(shù)據(jù)元素
MA'第二元數(shù)據(jù)元素
MEA集合體的元娜元素
P,P'分配
NALu視頻娜包
E 提取器
MDS'媒體娜流
MTS' 元翻流
ME1',ME2, 第三元數(shù)據(jù)元素
MS元 段的元數(shù)據(jù)元素
TMD 軌道元數(shù)據(jù)
TI層元M
TI1,TI2層
1 發(fā)送器
2接收器
3數(shù)字信息載體
4 發(fā)送器的第^a
5 發(fā)送器的第二^g
6 發(fā)送器的第三體
7 接收器的讀取，
208數(shù)^t息載體的第一存儲區(qū) 9數(shù)，息載體的第二存儲區(qū)
10箭頭
11雙箭頭
權(quán)利要求
1. 一種用于生成數(shù)字?jǐn)?shù)據(jù)流的方法，其中-生成媒體數(shù)據(jù)流(MDS)，該媒體數(shù)據(jù)流(MDS)含有多個按照時間排序的媒體數(shù)據(jù)流段(S0，...，S7)，每一個媒體數(shù)據(jù)流段均含有一個或多個媒體數(shù)據(jù)包(NALu)；-給該媒體數(shù)據(jù)流(MDS)分配與該媒體數(shù)據(jù)流(MDS)時間同步的元數(shù)據(jù)流(MTS)，該元數(shù)據(jù)流(MTS)含有元數(shù)據(jù)流段(M0，...，M7)，并且給一個或多個媒體數(shù)據(jù)流段(S0，...，S7)各分配一個元數(shù)據(jù)流段(M0，...，M7)；其特征在于，在一個相應(yīng)的元數(shù)據(jù)流段(M0，...，M7)中設(shè)置一個或多個第一元數(shù)據(jù)元素(ME)，使得給被分配了相應(yīng)元數(shù)據(jù)流段(M0，...，M7)的媒體數(shù)據(jù)流段(S0，...，S7)的每一個媒體數(shù)據(jù)包(NALu)分配相應(yīng)元數(shù)據(jù)流段(M0，...，M7)的第一元數(shù)據(jù)元素(ME)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，在一個或多個媒體數(shù)據(jù)流 段(SO,S7)中分另鵬多個媒體翻包(NALu)合并成一個或多賴合體(A)， 在分配給相應(yīng)媒體 流段(S0,…,S7)的元數(shù)據(jù)流段(M0,…,M7)中設(shè)置一 個或多個第二元數(shù)據(jù)元素(MA')，使得給每一，合體(A)分配一個第二元 數(shù)據(jù)元素(MA')。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，第二元數(shù)據(jù)元素(MA') 含有用來描述相應(yīng)集合體(A)的元數(shù)據(jù)元素(MEA)，并且含有在第一元數(shù) 據(jù)元素(ME)中包含的那些元數(shù)據(jù)，所述第一元數(shù)據(jù)元素已經(jīng)分配給合并在相 應(yīng)集合體內(nèi)的媒體M包(NALu)。
4. 根據(jù)權(quán)利要求2或3所述的方法，其特征在于，M集合體(A)合 并基本上具有相同數(shù)據(jù)質(zhì)量的媒體數(shù)據(jù)包(NALu)。
5. 根據(jù)上述豐又利要求中任一項所述的方法，其特征在于，所述數(shù)據(jù)流包 括多個媒體數(shù)據(jù)流(MDS)以及相應(yīng)分配的元數(shù)據(jù)流(MTS)。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，至少一個媒體數(shù)據(jù)流 (MDS)含有一個或多個提取器(E)，所述提取器分別引用另一個媒體數(shù)據(jù)流 (MDS)的一個或多個媒體數(shù)據(jù)包(NALu)，其中將分配給至少一個$某體 流(MDS)的元數(shù)據(jù)流(MTS)中的第三元數(shù)據(jù)元素(ME)分配給每一個提 取器(E)。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，第三元數(shù)據(jù)元素(ME') 含有用來描述提取器(E)的元數(shù)據(jù)元素(MEE)，并且含有在第一和/或第二 元數(shù)據(jù)元素(ME,MA')中所含的那些元數(shù)據(jù)，所述第一或第二數(shù)據(jù)元素已分配 ^ffiil提取器(E)弓間的媒體 包(NALu)。
8. 根據(jù)上述禾又利要求中任一項所述的方法，其特征在于，在一個或多個 第一元數(shù)據(jù)元素(ME)中分別指定是否以^/或者多少個后續(xù)的第一和/麟二 和/或第三元數(shù)據(jù)元素(ME,MA',ME')具有相同的內(nèi)容。
9. 根據(jù)上述權(quán)利要求中任一項所述的方法，其特征在于，在所述數(shù)據(jù)流 中弓間媒體M流段(SO, ...,37)禾口/或者元繊流段(M0,…,M7)。
10. 根據(jù)上述權(quán)利要求中任一項所述的方法，其特征在于，在所述數(shù)據(jù)流 中含有對一個或多個質(zhì)量等級的描述，以及存取具有相應(yīng)質(zhì)量等級的媒體數(shù)據(jù) 包(NALu)的指令。
11. 根據(jù)上述權(quán)利要求中任一項所述的方法，其特征在于，在所述數(shù)據(jù)流 中存取包含在元數(shù)據(jù)流段(M0, M7)中的第一和/或第二和/或第三元數(shù)據(jù)元 素(ME,MA',認(rèn))。
12. 根據(jù)上述權(quán)利要求中任一項所述的方法，其特征在于，所述媒體數(shù)據(jù) 流(MDS)是一種視頻M流，每一個媒體 流段(SO,…，S7)均^^預(yù)定 時亥啲視頻圖像，而媒體翻包(NALu)是視頻數(shù)據(jù)包。
13. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述視頻數(shù)據(jù)流是一種 MPEG4隱SVC ,鵬流。
14. 根據(jù)上述權(quán)利要求中任一項所述的方法，其特征在于，至少一部分第 一和/麟二禾口/麟三元繊元素(ME,MA',ME')含有涉及麵^il率控制的 參數(shù)，尤其是媒體數(shù)據(jù)的R/D優(yōu)化提取的參數(shù)，并J7或者含有用于匹配數(shù)據(jù) 流質(zhì)量的參數(shù)。
15. 根據(jù)上述木又利要求中任一項所述的方法，其特征在于，在至少一部分 元 流段(M0,…，M7)中分別存在一個第四元數(shù)據(jù)元素(MS)，用來對被 分配了相應(yīng)元數(shù)據(jù)流段(M0,…,M7)的媒體 流段(S0,…,S7)進(jìn)行描述。
16. —種對使用上述權(quán)利要求中任一項所述方法生成的數(shù)字?jǐn)?shù)據(jù)流進(jìn)行處理的方法，其特征在于，讀取娜流，使得M31^讀出的媒體娜包(NALu) 和/或集合體(A)禾口/或提取器(E)謝彌號，同時對讀出的第一和/麟二和/ ，三元 元素(MA',ME')進(jìn)行編號，確定媒體數(shù)據(jù)包(NALu)與第一元 M元素(ME)之間的對應(yīng)關(guān)系，禾B/或集合體(A)與第二元 元素(MA') 之間的對應(yīng)關(guān)系，和/或提取器(E)與第三元數(shù)據(jù)元素(ME')之間的對應(yīng)關(guān)系。
17. 用于發(fā)送權(quán)利要求1至15中任一項所述數(shù)據(jù)流的發(fā)送器，其特征在 于，該發(fā)送器包含-第一裝置(4)，用來生成媒體數(shù)據(jù)流(MDS)，所述媒體數(shù)據(jù)流含有多 個按照時間排序的媒體翻流段(S0,…,S7)，每一個媒體數(shù)據(jù)流段均含有一個 或多個媒體 包(NALu);-第二裝置(5)，用來將與媒體數(shù)據(jù)流(MDS)時間同步的元數(shù)據(jù)流(MTS) 分配給媒體數(shù)據(jù)流(MDS)，該元數(shù)據(jù)流(MTS)含有元 流段(M0,M7)， 并且給一個或多個媒體 流段(SO, S7)各分配一個元數(shù)據(jù)流段(M0, M7);隱第三裝置(6)，用來將一個或多個第一元 元素(ME)設(shè)置在相應(yīng)的 元數(shù)據(jù)流段(M0,…,M7)之中，使得給被分配了相應(yīng)元數(shù)據(jù)流段(M0,…，M7) 的媒體數(shù)據(jù)流段(S0,…，S7)的每一個媒體數(shù)據(jù)包(NALu)分配相應(yīng)元 流 段(M0,…,M7)的第一元數(shù)據(jù)元素(ME)。
18. 根據(jù)權(quán)利要求17所述的發(fā)送器，其特征在于，發(fā)送器(1)具有對權(quán) 利要求16所述的l^涼Lit行處理的裝置，并且發(fā)送經(jīng)過處理的數(shù)據(jù)流。
19. 根據(jù)權(quán)利要求18所述的發(fā)送器，其特征在于，發(fā)送器(1)利用所述 對數(shù)據(jù)流進(jìn)行處理的裝置，根據(jù)預(yù)定的標(biāo)準(zhǔn)，尤其是根據(jù)涉及數(shù)據(jù)率或者數(shù)據(jù) 質(zhì)量的標(biāo)準(zhǔn)，從數(shù)據(jù)流中讀取數(shù)據(jù)片段，并且發(fā)送讀出的數(shù)據(jù)片段。
20. —種用于接收權(quán)利要求1至15中任一項所述數(shù)據(jù)流的接收器，特征在 于該接收器具有讀取裝置(7)，用于讀取數(shù)據(jù)流，4吏得ffl31對讀出的^t體M 包(NALu)禾口/或集合體(A)禾口/或提取器(E)進(jìn)斗彌號，同時對讀出的第一 禾口/，1口/，三元|^元素(MA',ME')進(jìn)fili號，確定媒體 包(NALu) 與第一元 元素(ME)之間的對應(yīng)關(guān)系，禾口/或集合體(A)與第二元 元 素(MA')之間的對應(yīng)關(guān)系，禾tV或提取器(E)與第三元 元素(ME')之間 的對應(yīng)關(guān)系。
21. 根據(jù)豐又利要求20所述的接收器，其特征在于，接收器(2)構(gòu)成為根 據(jù)預(yù)定的標(biāo)準(zhǔn)，尤其是根據(jù)涉及 率和/，據(jù)質(zhì)量的標(biāo)準(zhǔn)，從 流中讀取 M片段。
22. —種數(shù)字信息載體，其特征在于，該信息載體(3)包括數(shù)字信息，根 據(jù)權(quán)利要求1至13中任一項所述的方法利用這些數(shù)字信息生成數(shù)據(jù)流。
23. 根據(jù)權(quán)利要求22所述的數(shù)字信息載體，其特征在于，該信息載體(3) 包括-第一 存儲區(qū)(8)，用來生成媒體數(shù)據(jù)流(MDS)，所述媒體數(shù)據(jù)流 含有多個按照時間排序的媒體數(shù)據(jù)流段(SO,S7)，每一個媒體數(shù)據(jù)流段(SO, S7)含有一個或多個媒體數(shù)據(jù)包(NALu);-第二 存儲區(qū)(9)，用來生成與媒體數(shù)據(jù)流(MDS)時間同步的元數(shù) 據(jù)流(MTS)，該元數(shù)據(jù)流(MTS)含有元數(shù)據(jù)流段(M0,…,M7)，并且給一 個或多個夂某體數(shù)據(jù)流段(S0，.,.,S7)各分配一個元數(shù)據(jù)流段(M0,.,.，M7);其中在一個相應(yīng)的元數(shù)據(jù)流段(M0,…,M7)中設(shè)置一個或多個第一元 元素(ME)，使得給被分配了相應(yīng)元 流段(MO,…，M7)的媒體 流段 (S0，…,S7)的每一個媒體數(shù)據(jù)包(NALu)分配相應(yīng)元 流段(M0,…，M7) 的第一元數(shù)據(jù)元素(ME)。
24. 根據(jù)權(quán)利要求22或23所述的數(shù)字信息載體，其特征在于，該信息載 體(3)包括用來引用媒體數(shù)據(jù)流段(S0,.,.,S7)的軌道，并，或者包括用來引 用元數(shù)據(jù)流段(M0,…,M7)的軌道。
25. 根據(jù)權(quán)利要求24所述的數(shù)字信息載體，其特征在于，用來引用元翻 流段(MO,…,M7)的軌道包括對第一和/，二禾口/，三元數(shù)據(jù)元素(ME,MA', ME')的分組的描述。
全文摘要
本發(fā)明涉及一種生成數(shù)字?jǐn)?shù)據(jù)流的方法，所述方法可生成媒體數(shù)據(jù)流(MDS)，其中包含多個按照時間排序的媒體數(shù)據(jù)流段(S0，…，S7)，每一個媒體數(shù)據(jù)流段均包含用來生成數(shù)字?jǐn)?shù)據(jù)流(NALu)的一個或多個媒體數(shù)據(jù)包；給媒體數(shù)據(jù)流(MDS)分配一個與媒體數(shù)據(jù)流(MDS)時間同步的元數(shù)據(jù)流(MTS)，所述元數(shù)據(jù)流(MTS)包含元數(shù)據(jù)流段(M0，…，M7)，且給一個或多個媒體數(shù)據(jù)流段(S0，…，S7)各分配一個元數(shù)據(jù)流段(M0，…，M7)。所述方法的特征在于，在一個相應(yīng)的元數(shù)據(jù)流段(M0，…，M7)中適當(dāng)布置一個或多個第一元數(shù)據(jù)元素(ME)，使得給被分配了相應(yīng)元數(shù)據(jù)流段(M0，…，M7)的媒體數(shù)據(jù)流段(S0，…，S7)的每一個媒體數(shù)據(jù)包(NALu)分配相應(yīng)元數(shù)據(jù)流段(M0，…，M7)的第一元數(shù)據(jù)元素(ME)。
文檔編號H04N7/24GK101455081SQ200780010925
公開日2009年6月10日 申請日期2007年2月19日 優(yōu)先權(quán)日2006年3月27日
發(fā)明者A·赫特, P·阿蒙, T·拉思根 申請人:諾基亞西門子通信有限責(zé)任兩合公司