專利名稱：用于編碼視頻數(shù)據(jù)信號的方法與系統(tǒng)、編碼的視頻數(shù)據(jù)信號、用于解碼視頻數(shù)據(jù)信號的方 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼和解碼的領(lǐng)域。本發(fā)明提出了用于編碼視頻數(shù)據(jù)信號的方法 和系統(tǒng)。本發(fā)明還涉及編碼的視頻數(shù)據(jù)信號。此外，本發(fā)明還涉及用于解碼視頻數(shù)據(jù)信號 的方法和系統(tǒng)。
背景技術(shù)：
近來，人們對提供增加的視頻可能性、例如在3D圖像顯示器上提供3D圖像產(chǎn)生了 很大興趣。相信3D成像將是成像領(lǐng)域中繼彩色成像之后的下一次重大革新。我們現(xiàn)在正 處于將自動立體顯示器引入消費(fèi)者市場的時候。從根本上講，三維印象可以使用立體象對(stereo pair)、即對準(zhǔn)于觀看者雙眼的 兩個略微不同的圖像來創(chuàng)建。無論使用何種類型的顯示器，都必須將3D圖像信息提供給顯示設(shè)備。這通常以視 頻數(shù)據(jù)信號的形式進(jìn)行，該視頻數(shù)據(jù)信號包含數(shù)字?jǐn)?shù)據(jù)，其時常包含用于左視圖和右視圖 的數(shù)據(jù)或者在生成多個視圖時包含用于多個視圖的數(shù)據(jù)。增加視頻可能性的另一個示例是提供能夠提供高頻率視頻，例如具有的頻率是標(biāo) 準(zhǔn)幀顯示頻率兩倍的視頻的視頻數(shù)據(jù)信號。再一個示例是提供具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號。由于數(shù)字成像固有的龐大數(shù)據(jù)量，數(shù)字圖像信號的處理和/或傳輸產(chǎn)生了巨大的 問題。在很多環(huán)境中，可用的處理能力和/或傳輸容量不足以處理和/或傳輸高質(zhì)量視頻 數(shù)據(jù)信號。更特別地，每一個數(shù)字圖像幀是由像素陣列形成的靜止圖像。這個問題對于所 有的視頻而言都存在，但是對于3D視頻成像，這個問題增大，并且在將產(chǎn)生雙倍頻率的視 頻數(shù)據(jù)信號或在將產(chǎn)生具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號時，同樣的問題增大出現(xiàn)。原始數(shù)字信息量通常很大，需要強(qiáng)大的處理能力和/或高的傳輸速率，而這種強(qiáng) 大的處理能力和/或高的傳輸速率并不是始終可以得到的。已建議了各種壓縮方法來減少 待傳輸?shù)臄?shù)據(jù)量，這樣的方法包括例如MPEG-2、MPEG-4以及H. 263。已知的壓縮方法在一開始是為標(biāo)準(zhǔn)的2D圖像而設(shè)立的。舉個例子，如果在采集端產(chǎn)生3D信息，則必須發(fā)送該信息，且為了在比特率方面 具有低的額外開銷，需要對3D信息進(jìn)行壓縮。優(yōu)選地，3D信息的壓縮(或編碼)是以這樣 一種方式來執(zhí)行的，其中能夠僅以相對小的調(diào)整、使用現(xiàn)有的壓縮標(biāo)準(zhǔn)來實(shí)施3D信息的壓 縮。當(dāng)從視頻數(shù)據(jù)信號包含關(guān)于雙倍頻率信號或增強(qiáng)分辨率的信息的意義上講增強(qiáng)視頻數(shù) 據(jù)信號時，上述情況也適用。此外，改進(jìn)的視頻信號優(yōu)選是向后兼容的，也就是說，常規(guī)的標(biāo)準(zhǔn)視頻設(shè)備應(yīng)該優(yōu) 選地能夠顯示來自改進(jìn)視頻信號的“好的”視頻圖像。例如，3D立體信號優(yōu)選是向后兼容2D 的，也就是說，傳統(tǒng)的2D設(shè)備應(yīng)該優(yōu)選能夠顯示來自3D信號的“好的” 2D圖像。即使標(biāo)準(zhǔn) 的50Hz視頻設(shè)備自身無法顯示IOOHz信號，高頻IOOHz視頻數(shù)據(jù)信號也應(yīng)該能在該標(biāo)準(zhǔn)的50Hz視頻設(shè)備上進(jìn)行顯示。同樣，具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號(HDTV，高清TV)應(yīng)該能 在標(biāo)準(zhǔn)TV設(shè)備上進(jìn)行顯示。簡單地將立體圖像壓縮成兩個獨(dú)立圖像將導(dǎo)致比特率大幅增長。與單(視圖)系 統(tǒng)(一個單一視圖)相比，如果想要保證相同質(zhì)量，那么單獨(dú)編碼立體象對中的左(L)、右 (R)視圖實(shí)際上將導(dǎo)致比特率加倍。因此，雖然這樣的方法確保了 2D設(shè)備可以顯示圖像，但 其需要將比特率加倍。在使用其中產(chǎn)生兩個以上視圖的多視圖系統(tǒng)時，數(shù)據(jù)量增加得甚至更多。在通過包含關(guān)于更高頻率視頻數(shù)據(jù)信號的信息來增強(qiáng)視頻數(shù)據(jù)信號時，上述情況適用。將頻率加倍將使數(shù)據(jù)加倍。增加分辨率將產(chǎn)生相同的問題。就編碼效率而言，一種更好的方法是聯(lián)合壓縮兩個立體(左和右)或更多視圖，或 聯(lián)合壓縮高頻和低頻視頻數(shù)據(jù)信號，或者聯(lián)合壓縮低分辨率和高分辨率視頻數(shù)據(jù)信號。對 于左、右?guī)裕c單視圖情形相比，在聯(lián)合壓縮兩個視圖時，這種解決方案通常導(dǎo)致使用 多出50%的帶寬(相比之下，在單獨(dú)視圖編碼的情況下，使用多出約100%的帶寬)。這可 以使用常規(guī)的2D視頻壓縮編碼器、通過交錯(interleave)來自每個立體視圖的左、右?guī)?形成“偽(fake)” 2D序列來實(shí)現(xiàn)。在回收器(retriever)端，去交錯2D幀，并且恢復(fù)和顯 示每一個視圖。例如，在進(jìn)入視頻編碼器之前，兩個視圖(L和R)可以被交錯成幀畫面。但是，雖然與壓縮單獨(dú)視圖相比將標(biāo)準(zhǔn)技術(shù)運(yùn)用于立體視頻可以被更高效(1. 5X 增益)地進(jìn)行聯(lián)合壓縮并且所得到的比特流可以在合適的3D設(shè)備上進(jìn)行顯示，但是發(fā)明人 意識到，結(jié)果是一個單個比特流，該一個單個比特流在普通2D系統(tǒng)上無法以好的效果來顯 示。當(dāng)單個交錯比特流到達(dá)常規(guī)2D接收機(jī)(具有2D解碼器和2D屏幕)時，所顯示的視頻 序列將看起來很難看，這顯示出看得見的缺陷，因?yàn)樵撘曨l序列是通過立體視圖交錯而得 到的。因此，這種方法并不是向后兼容的。相同的情況對于多視圖信號或聯(lián)合壓縮的其它 改進(jìn)的視頻數(shù)據(jù)信號也是成立的。因而，本發(fā)明的目的是提供一種用于在傳輸端對增強(qiáng)的圖像數(shù)據(jù)進(jìn)行編碼的方 法，該方法在將編碼數(shù)據(jù)內(nèi)的數(shù)據(jù)量保持在限度以內(nèi)的同時確實(shí)提供了后向兼容性。優(yōu)選 地，編碼效率是高的。此外，該方法優(yōu)選地與現(xiàn)有編碼標(biāo)準(zhǔn)相兼容的。本發(fā)明的另一個目的是提供用于編碼視頻數(shù)據(jù)信號的改進(jìn)編碼器以及視頻數(shù)據(jù)信號。

發(fā)明內(nèi)容
為此，根據(jù)本發(fā)明的用于編碼視頻數(shù)據(jù)信號的方法是這樣一種方法，其中視頻數(shù) 據(jù)信號被編碼，經(jīng)編碼的視頻數(shù)據(jù)信號包括至少基本視頻數(shù)據(jù)信號和至少輔助視頻數(shù)據(jù)信 號，其中基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號被聯(lián)合壓縮，基本視頻數(shù)據(jù)信號以自包含 (self-contained)方式被壓縮，且輔助視頻數(shù)據(jù)信號使用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)進(jìn) 行壓縮，經(jīng)聯(lián)合壓縮的視頻數(shù)據(jù)信號被拆分成單獨(dú)比特流，這些比特流包括至少包含用于 基本視頻數(shù)據(jù)信號的數(shù)據(jù)的基本比特流和至少包含用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的輔助 比特流，此后基本比特流和輔助比特流被復(fù)用成復(fù)用信號(multiplexedsignal)，并且基本 信號和輔助信號被提供有單獨(dú)代碼。本發(fā)明的方法結(jié)合了現(xiàn)有方法的優(yōu)點(diǎn)，同時避免了其各自的缺點(diǎn)。本發(fā)明的方法包括聯(lián)合壓縮兩個或更多個視頻數(shù)據(jù)信號，然后將單個壓縮的比特流拆分成兩個或更多個 (基本和輔助)單獨(dú)比特流可以由常規(guī)的視頻解碼器確定的且是自包含的“基本”比特流； 以及依賴于基本比特流的一個或多個“輔助”集合幀(所謂的輔助視頻表示流)。單獨(dú)比特 流被復(fù)用，其中基本比特流和輔助比特流是被提供有單獨(dú)代碼并被傳輸?shù)膯为?dú)比特流。初 看時，僅僅為了在壓縮之后再次拆分信號并為信號提供單獨(dú)代碼而首先聯(lián)合壓縮信號，這 可能似乎是多余的和白費(fèi)力氣的。在所有的已知技術(shù)中，在復(fù)用器中將單個代碼給予經(jīng)過 壓縮的視頻數(shù)據(jù)信號。初看時，本發(fā)明似乎在視頻數(shù)據(jù)信號的編碼中增添了不必要的復(fù)雜 度。然而，發(fā)明人認(rèn)識到，拆分且單獨(dú)封裝復(fù)用信號中的基本和輔助 比特流(即，在復(fù) 用器中給予基本和輔助比特流以單獨(dú)代碼)的結(jié)果為一方面，常規(guī)視頻系統(tǒng)中的標(biāo)準(zhǔn)解 復(fù)用器將通過基本比特流的代碼來識別基本比特流并且將其發(fā)送至解碼器，以使得標(biāo)準(zhǔn)視 頻解碼器只接收基本流，而輔助流則不經(jīng)過解復(fù)用器，且標(biāo)準(zhǔn)視頻解碼器因此能夠?qū)⑵錅?zhǔn) 確處理為例如標(biāo)準(zhǔn)2D視頻數(shù)據(jù)信號和/或標(biāo)準(zhǔn)50Hz視頻數(shù)據(jù)信號的標(biāo)準(zhǔn)視頻數(shù)據(jù)信號或 者具有基本分辨率的信號；而另一方面，諸如3D系統(tǒng)或IOOHz顯示系統(tǒng)的專用系統(tǒng)或者高 分辨率視頻解碼器可以在將原始的增強(qiáng)比特流發(fā)送到例如立體解碼器或IOOHz解碼器或 HTV解碼器之前徹底地反轉(zhuǎn)編碼處理并且重新創(chuàng)建原始的增強(qiáng)比特流。很多聲稱向后兼容的系統(tǒng)和方法本身需要針對常規(guī)視頻系統(tǒng)進(jìn)行某種類型的適 配，以便正確地分析輸入比特流，而如果沒有這種適配，那么將難以或者無法正確解碼。發(fā) 明人認(rèn)識到，問題的根源在于常規(guī)解碼器接收了并非為其配備的增強(qiáng)視頻數(shù)據(jù)信號。即使 針對解碼器進(jìn)行適配，但由于解碼器接收增強(qiáng)信號(并由此接收到比平常更多的比特)，并 且有可能因?yàn)闊o法處理增加的比特率而無法應(yīng)對增強(qiáng)的信號，因此問題還是會出現(xiàn)。針對 標(biāo)準(zhǔn)解碼器的任何適配還必須是專門用于針對視頻數(shù)據(jù)信號的特定增強(qiáng)(3D，100Hz，高分 辨率)，這種適配對其它增強(qiáng)來說未必發(fā)揮作用，或者當(dāng)接收到非增強(qiáng)視頻數(shù)據(jù)信號時甚至 會使操作劣化。在本發(fā)明中，基本和輔助比特流是單獨(dú)比特流，其中基本比特流是自包含比特流。 這允許為基本比特流提供與標(biāo)準(zhǔn)視頻數(shù)據(jù)信號相對應(yīng)的代碼，而為一個或多個輔助比特流 提供不被標(biāo)準(zhǔn)解復(fù)用器識別為標(biāo)準(zhǔn)視頻數(shù)據(jù)信號的代碼。在接收端，標(biāo)準(zhǔn)的解復(fù)用器將基 本比特流識別成標(biāo)準(zhǔn)視頻數(shù)據(jù)信號，并且將其傳遞到視頻解碼器。標(biāo)準(zhǔn)解復(fù)用設(shè)備將拒絕 輔助比特流，不將其識別成標(biāo)準(zhǔn)視頻數(shù)據(jù)信號。視頻解碼器自身將只接收“標(biāo)準(zhǔn)視頻數(shù)據(jù)信 號”。由此，由視頻解碼器自身接收的比特量限于基本比特流，所述基本比特流是自包含的 并且是標(biāo)準(zhǔn)視頻數(shù)據(jù)信號的形式，且它可以被標(biāo)準(zhǔn)視頻設(shè)備識別并具有標(biāo)準(zhǔn)視頻設(shè)備可以 應(yīng)對的比特率。視頻解碼器不會由于它能夠處理的比特而過載。由于基本比特流是自包含的，標(biāo)準(zhǔn)視頻解碼器可以將其解碼成標(biāo)準(zhǔn)解碼視頻數(shù)據(jù)信號。本發(fā)明可以采用各種方式來實(shí)施。在對于2D-3D或?qū)τ谡ｎl率-高頻運(yùn)用是特 別有用的實(shí)施例中，在編碼器中將交錯視頻幀或者為編碼器提供經(jīng)交錯的信號。在這樣的實(shí)施例中，用于編碼的方法的特征在于視頻數(shù)據(jù)信號被編碼，經(jīng)過編碼 的增強(qiáng)信號包括第一以及至少第二集合的幀，其中第一和第二集合的幀被交錯以形成交錯 視頻序列，或者其特征在于包含第一和第二集合的幀的交錯視頻數(shù)據(jù)信號被接收，其中交錯視頻序列被壓縮成經(jīng)過壓縮的視頻數(shù)據(jù)信號，其中第一集合的幀不使用第二集合的幀進(jìn) 行編碼和壓縮，并且第二集合的幀使用第一集合的幀進(jìn)行編碼和壓縮，并且此后經(jīng)過壓縮 的視頻數(shù)據(jù)信號被拆分成基本比特流以及至少輔助比特流，每一個比特流都包含幀，其中 基本比特流包括用于第一集合的經(jīng)過壓縮的幀，且輔助比特流包含用于第二集合的經(jīng)過壓 縮的巾貞，基本比特流和輔助比特流形成單獨(dú)比特流，此后基本比特流和輔助比特流被復(fù)用 成復(fù)用信號，基本比特流和輔助比特流被提供有單獨(dú)代碼。在這個實(shí)施例中，如本發(fā)明中從最寬廣意義上說，單個經(jīng)過壓縮的比特流被拆分 成2個或更多個(基本和輔助)單獨(dú)比特流“基本”比特流，其完全僅包含這些幀集合之一 (且因而是自包含的)，并且可以由常規(guī)視頻解碼器決定；以及一個或多個“輔助”集合的幀 (所謂的輔助視頻表示流)，其依賴于基本集合幀。這些幀在系統(tǒng)級被交錯或以交錯的格式 被提供到系統(tǒng)并且被復(fù)用，其中基本和輔助比特流是被提供有單獨(dú)代碼并被傳輸?shù)膯为?dú)比 特流。重要的要求是在交錯之后，至少一個集合、即基本比特流的幀集合被壓縮為“自 包含”信號。這意味著屬于這個自包含集合幀的幀不需要來自其它輔助比特流的任何信 息(例如，借助運(yùn)動補(bǔ)償，或任何其它的預(yù)測方案)。重要的方面還在于基本比特流和輔助比特流形成單獨(dú)比特流，并且出于上述原 因而與單獨(dú)代碼進(jìn)行復(fù)用。在實(shí)施例中，基本比特流包含用于3D視頻數(shù)據(jù)信號的視圖其中之一的幀的數(shù)據(jù)， 輔助比特流包含用于3D視頻數(shù)據(jù)信號的另一個視圖的幀的數(shù)據(jù)。在實(shí)施例中，基本比特流包含用于三個或更多個視圖其中之一的幀的數(shù)據(jù)，并多 于一個輔助比特流被產(chǎn)生，所述輔助比特流包含用于其它視圖其中之一的幀的數(shù)據(jù)。在實(shí)施例中，基本比特流包含用于低頻集合的幀的數(shù)據(jù)，而輔助比特流包含用于 更高頻率幀的數(shù)據(jù)。在實(shí)施例中，基本比特流利用比輔助比特流低的量化因數(shù)來壓縮。當(dāng)基本和輔助比特流呈現(xiàn)兩個立體視圖時，基本比特流可以代表這兩個視圖中的 任一視圖，左視圖或右視圖。在實(shí)施例中，將哪一個視圖指定成與基本比特流相對應(yīng)的視圖可以改變。例如，在 場景變化時，基本視圖可以從左變到右，或者反之亦然。特別地，如果基本視圖是用與輔助 視圖不同的量化因數(shù)來壓縮，那么這種處理是非常有利的。本發(fā)明還可以在用于編碼視頻數(shù)據(jù)信號的編碼系統(tǒng)中實(shí)現(xiàn)，其中該系統(tǒng)包括用 于生成至少基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號的生成器或者用于接收至少基本視頻 數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號的接收機(jī)；用于聯(lián)合壓縮基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù) 信號的壓縮器，該壓縮器被安排用于以自包含方式壓縮基本視頻數(shù)據(jù)信號并且用于使用來 自基本視頻數(shù)據(jù)信號的數(shù)據(jù)來壓縮輔助視頻數(shù)據(jù)信號；用于將經(jīng)過聯(lián)合壓縮的視頻數(shù)據(jù)信 號拆分成單獨(dú)比特流的拆分器(splitter)，包含用于基本視頻數(shù)據(jù)信號的數(shù)據(jù)的基本比特 流和包含用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的輔助比特流；以及用于將基本和輔助比特流復(fù)用 成復(fù)用信號并且用于為基本信號和輔助信號提供單獨(dú)代碼的復(fù)用器。根據(jù)本發(fā)明實(shí)施例的編碼系統(tǒng)包括用于交錯來自第一和第二視圖的幀以形成交 錯視頻序列的交錯器(VI)，或者該編碼系統(tǒng)包括用于接收包含第一和第二集合的幀的交錯 視頻序列的接收機(jī)，該編碼系統(tǒng)包括用于對交錯視頻序列進(jìn)行編碼的編碼器，其中該編碼器包括用于不使用第二視圖的幀來壓縮第一視圖的幀以及用于使用第一視圖的幀來壓縮 第二視圖的幀的壓縮器，并且該系統(tǒng)包括用于將經(jīng)過壓縮的視頻數(shù)據(jù)信號拆分成基本比特 流和輔助比特流的拆分器，每一個比特流都包含幀，其中基本比特流包含用于第一集合的 經(jīng)過壓縮的幀，且輔助比特流包含用于第二集合的經(jīng)過壓縮的幀，基本比特流和輔助比特 流形成單獨(dú)比特流，該編碼系統(tǒng)進(jìn)一步包括用于復(fù)用基本比特流和輔助比特流以及用于為 基本比特流和輔助比特流提供單獨(dú)代碼的復(fù)用器。優(yōu)選地，該壓縮器被安排用于基于分層方案(hierarchical scheme)來壓縮幀，其中較高水平對應(yīng)于視圖中的第一個視圖的幀，且較低或最低水平對應(yīng)于第二視圖的幀。在實(shí)施例中，該編碼系統(tǒng)被安排用于提供包含用于3D視頻數(shù)據(jù)信號的視圖其中 之一的幀的數(shù)據(jù)的基本比特流和包含用于3D視頻數(shù)據(jù)信號的其它視圖的幀的數(shù)據(jù)的輔助 比特流。將通過示例的方式并參考附圖來更詳細(xì)地解釋本發(fā)明的這些和其它方面，其中


圖1示出現(xiàn)有技術(shù)的用于3D視頻的編碼方法的示例。圖2示出根據(jù)編碼效率而言的改進(jìn)的方法。圖3A和3B示出本發(fā)明的編碼方法、解碼方法、編碼器以及解碼器。圖4示出左(L)、右(R)兩個視圖的交錯。圖5示出使用分層B幀的所謂的二階時間結(jié)構(gòu)(dyadic temporal structure)。圖6示出用于比特流拆分器的圖表。圖7示出單個編碼比特流及其拆分版本的示例。圖8、9和10示出現(xiàn)有技術(shù)以及本發(fā)明。圖11示出其中具有三個交錯視圖信號的情形。圖12、13、14A和14B示出用于高頻視頻的本發(fā)明的實(shí)施例。圖15、16A和16B示出用于高分辨率視頻的本發(fā)明的實(shí)施例。這些附圖并非按比例繪制。一般來說，相同的組件在這些附圖中是用相同的標(biāo)號 表示的。
具體實(shí)施例方式圖1示出視頻信息的壓縮，其中兩個視圖均被單獨(dú)處理和壓縮。左(L)和右(R) 視圖視頻數(shù)據(jù)信號1和2中的每一個提供兩個基本上二維圖像2D(L)和2D(R)。這兩個信 號均在標(biāo)準(zhǔn)2D視頻編碼器3和4中進(jìn)行編碼與壓縮。如在圖1中利用T示意性指示的，這 兩個信號被傳輸并在接收機(jī)端被接收。接收機(jī)使用2D視頻解碼器3’和4’來解碼這兩個 信號，并且提供兩個2D信號1’和2’。這兩個信號然后準(zhǔn)備好在3D視頻顯示器中進(jìn)行組合 以提供3D圖像。任何2D視頻顯示設(shè)備可以簡單地使用左或右視圖來操作。雖然該方案起 作用，但如果希望保證相同的質(zhì)量，那么與單(視圖)系統(tǒng)(一個單個視圖)相比，單獨(dú)編 碼立體象對中的左(L)和右(R)視圖在實(shí)踐中導(dǎo)致比特率翻倍。由此，雖然這種標(biāo)準(zhǔn)方法 確保了 2D設(shè)備可以顯示圖像，但是這種標(biāo)準(zhǔn)方法需要比特率加倍。圖2示出根據(jù)編碼效率改進(jìn)的方法。在編碼之前，在視圖交錯器VI中交錯兩個視圖的幀，以提供組合的L+R視頻數(shù)據(jù)信號。交錯提供類似于2標(biāo)準(zhǔn)2D信號的組合信號。所 述信號可以在2S視頻編碼器5中使用常規(guī)2D視頻壓縮來壓縮。然后可以傳輸這個經(jīng)過壓 縮的信號。在接收機(jī)端，這個經(jīng)過壓縮的信號在2D視頻解碼器6中被壓縮，并使用去交錯 器DVI來去交錯。例如，在進(jìn)入視頻編碼器5之前，2個視圖(L和R)可以被交錯為幀畫面。 因此，根據(jù)用于預(yù)測指定宏塊(MB)的時間參考畫面，該預(yù)測可以是“真實(shí)”時間的(在不同 時間來自同一視圖)或是來自其它視圖的。這種機(jī)制可以通過所謂的“立體視頻信息”SEI 消息來通告(signal)，以包含關(guān)于所執(zhí)行的交錯的信息，使得在接收端上的立體解碼器能 夠?qū)⒁粋€視圖與另一個視圖區(qū)分開來并執(zhí)行去交錯。雖然這種方法確實(shí)降低了比特率(與圖1的方法相比，降低了大約25% )，但是如 果單個編碼流到達(dá)常規(guī)2D接收機(jī)(具有2D解碼器和2D屏幕)，那么所顯示的視頻序列將 看起來很難看，因?yàn)樵撘曨l序列是通過立體視圖交錯而得到的。即便在具有“立體視頻信 息” SEI消息的AVC (高級立體解碼)的情形中，該問題也存在。實(shí)際上，SEI消息的使用不 是強(qiáng)制的，并且順從(compliant)解碼器可以完全將其忽略。來自圖2方法的單個比特流 不能在普通2D顯示系統(tǒng)上正確地播放，這是一個大的缺點(diǎn)。因此，圖2的方法不是2D向后 兼容的。由于至少在3D視頻引入期間仍舊有壓倒性多數(shù)的顯示器將是且仍是標(biāo)準(zhǔn)2D視頻 設(shè)備，所以無法2D向后兼容將會極大阻礙人們使用3D視頻數(shù)據(jù)信號和系統(tǒng)。 新的方法優(yōu) 選是向后兼容的，也就是說，標(biāo)準(zhǔn)視頻設(shè)備應(yīng)該能夠處理由新方法產(chǎn)生的信號。由此，本發(fā)明的目的是提供一種方法，該方法一方面與完全地以及單獨(dú)編碼兩個 視圖相比降低了比特率，而另一方面仍具有標(biāo)準(zhǔn)視頻向后兼容性。為此，根據(jù)本發(fā)明的用于編碼視頻數(shù)據(jù)信號的方法是這樣一種方法，其中視頻數(shù) 據(jù)信號被編碼，經(jīng)過編碼的視頻數(shù)據(jù)信號至少包括基本視頻數(shù)據(jù)信號以及至少包括輔助視 頻數(shù)據(jù)信號，其中基本和輔助視頻數(shù)據(jù)信號被聯(lián)合壓縮，基本視頻數(shù)據(jù)信號是以自包含形 式進(jìn)行壓縮的，且輔助視頻數(shù)據(jù)信號是用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)進(jìn)行壓縮的，經(jīng)過 聯(lián)合壓縮的視頻數(shù)據(jù)信號被拆分成單獨(dú)比特流，這些比特流至少包括包含用于基本視頻數(shù) 據(jù)信號的數(shù)據(jù)的基本比特流和至少包括包含用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的輔助比特流， 此后基本和輔助比特流被復(fù)用成復(fù)用信號，并且基本和輔助信號被提供有單獨(dú)代碼。本發(fā)明的方法結(jié)合了現(xiàn)有方法的優(yōu)點(diǎn)，同時避免了其各自的缺點(diǎn)。它包括聯(lián)合壓 縮兩個或更多視頻數(shù)據(jù)信號，然后將單個壓縮比特流拆分成兩個或更多個(基本和輔助) 單獨(dú)比特流可以由常規(guī)視頻解碼器確定的、并且是自包含的“基本”比特流，以及取決于基 本比特流的一個或多個“輔助”集合的幀(所謂的輔助視頻表示流)。單獨(dú)比特流將被復(fù)用， 其中基本和輔助比特流是提供有單獨(dú)代碼的單獨(dú)比特流。初看時，僅僅為了在壓縮之后再 次拆分信號并為信號提供單獨(dú)代碼而首先聯(lián)合壓縮信號，這似乎是多余和白費(fèi)力氣的。在 所有已知技術(shù)中，在復(fù)用器中都會將單個代碼提供給經(jīng)過壓縮的視頻數(shù)據(jù)信號。初看時，本 發(fā)明似乎在視頻數(shù)據(jù)信號的編碼中增添了不必要的復(fù)雜度。然而，發(fā)明人認(rèn)識到，拆分并且單獨(dú)封裝復(fù)用信號中的基本和輔助比特流(也就 是，在復(fù)用器中為基本和輔助比特流給出單獨(dú)代碼)具有的結(jié)果為一方面，常規(guī)視頻系統(tǒng) 中的標(biāo)準(zhǔn)解復(fù)用器將通過基本比特流的代碼來辨認(rèn)基本比特流并且將其發(fā)送至解碼器，使 得標(biāo)準(zhǔn)視頻解碼器只接收基本流，而輔助流則沒有經(jīng)過解復(fù)用器，且標(biāo)準(zhǔn)視頻解碼器因此 能夠?qū)⑵渥鳛槔鐦?biāo)準(zhǔn)2D視頻數(shù)據(jù)信號和/或標(biāo)準(zhǔn)50Hz視頻數(shù)據(jù)信號的標(biāo)準(zhǔn)視頻數(shù)據(jù)信號或者具有基本分辨率的信號來正確處理，而另一方面，諸如3D系統(tǒng)或IOOHz顯示系統(tǒng)的專用系統(tǒng)或者高分辨率視頻解碼器可以在將比特流發(fā)送到例如立體解碼器、IOOHz解碼器 或HTV解碼器之前徹底反轉(zhuǎn)編碼處理，并且重新創(chuàng)建原始的增強(qiáng)比特流。在本發(fā)明的方法的實(shí)施例中，視頻數(shù)據(jù)信號被編碼，經(jīng)過編碼的視頻數(shù)據(jù)信號包 括具有幀的第一視圖和至少第二視圖，其中第一和第二視圖的幀被交錯以形成交錯視頻序 列，此后該交錯視頻序列被壓縮，其中第一視圖的幀不使用第二視圖的幀被編碼和壓縮，且 第二視圖的幀使用第一視圖的幀來編碼和壓縮，并且其中經(jīng)過壓縮的增強(qiáng)視頻數(shù)據(jù)信號被 拆分成基本比特流和輔助比特流，每一個比特流都包括幀，其中基本比特流包括視圖中的 第一個視圖的經(jīng)過壓縮的幀，而輔助比特流包括視圖中的第二個視圖的幀，基本比特流和 輔助比特流形成了單獨(dú)比特流，此后基本比特流和輔助比特流被復(fù)用成復(fù)用信號，基本比 特流和輔助比特流被提供有單獨(dú)代碼。圖3A和3B示出本發(fā)明上述實(shí)施例的方法以及編碼系統(tǒng)和解碼系統(tǒng)。圖3A示出 其中使用了本發(fā)明的編碼系統(tǒng)7和本發(fā)明的解碼系統(tǒng)8的情形，編碼和解碼系統(tǒng)的特征用 虛線矩形中的元件示意性顯示出。圖3B示出其中使用了標(biāo)準(zhǔn)解碼器的情形。左視圖和右視圖的幀在VI中進(jìn)行交錯以提供組合信號。該組合信號與2D信號相 似。2D視頻編碼器5編碼并壓縮該組合交錯信號。該壓縮的特殊特征在于這些視圖的一 個視圖的幀形成自包含系統(tǒng)，也就是說，在壓縮中沒有來自其它視圖的信息用于該壓縮。其 它視圖的幀是使用來自第一視圖的幀的信息來壓縮的。本發(fā)明與平等對待兩個視圖的自然 趨勢相背離。實(shí)際上，在壓縮期間，這兩個視圖不是被平等地對待。這些視圖中的一個變?yōu)?基本視圖，對其而言在壓縮期間不使用來自其它視圖的信息，另一個視圖是輔助視圖?；?視圖的幀和輔助視圖的幀由比特流拆分器BSS拆分成基本比特流和輔助比特流。編碼系統(tǒng) 包括復(fù)用器MUX，該復(fù)用器為基本比特流指定一個對于標(biāo)準(zhǔn)視頻可識別為視頻比特流的代 碼，例如用于MPEG的0x01或用于H. 264的OxlB，以及為輔助流指定不同代碼，例如0x20。 經(jīng)過復(fù)用的信號被傳輸(T)。在圖3A中，該信號由根據(jù)本發(fā)明的解碼系統(tǒng)接收。該解復(fù)用 器識別這兩個比特流0x01或OxlB (對于基本比特流)以及0x20 (對于輔助比特流)，并且 將其二者發(fā)送到比特流合并器(Bit Stream Merger) (BSM)，該比特流合并器將再次合并基 本和輔助比特流，并且在解碼器中通過反轉(zhuǎn)編碼方法來解碼這個組合視頻序列。與3D顯示 設(shè)備相結(jié)合的解碼系統(tǒng)8形成了根據(jù)本發(fā)明的顯示設(shè)備的示例。圖3B示出由標(biāo)準(zhǔn)視頻系統(tǒng)9接收復(fù)用信號時的情形。該標(biāo)準(zhǔn)解復(fù)用器將比特流 0x01或OxlB識別為視頻數(shù)據(jù)信號，并且將其傳輸?shù)綐?biāo)準(zhǔn)解碼器。比特流0x20未被識別并 被拒絕，在圖3B中這是通過將比特流發(fā)送到垃圾桶WB來示意性指示的。解碼器接收的信 號具有標(biāo)準(zhǔn)解碼器可以處理的比特率，并且采用標(biāo)準(zhǔn)解碼器可以管理的形式。由于基本比特流OxlB是完全自包含的信號，所以當(dāng)標(biāo)準(zhǔn)2D視頻系統(tǒng)顯示基本信 號的視圖時，與圖2的方法相關(guān)聯(lián)的問題并未出現(xiàn)。因此，圖3的方法是2D向后兼容的。與單獨(dú)壓縮兩個視圖相比，本發(fā)明的編碼方法允許降低比特率。因此，實(shí)現(xiàn)了比特 流的降低以及2D后向兼容性。圖4示出了均由幀0 7組成的左(L)和右(R)兩個視圖交錯成具有幀0 15 的交錯組合信號。在圖像處理中，信號交錯是眾所周知的處理。圖5示出了使用分層次B幀的所謂的二階時間結(jié)構(gòu)。在正常的視頻處理中，通常會利用不同類型的幀I幀、B幀和P幀。一些幀需要其它幀來進(jìn)行編碼。在圖5所描述的方案中，用箭頭指示了在其它幀的編碼和壓縮中使用了哪些幀。在這些方案中，在編碼/壓 縮B1幀中使用了 IcZPtl幀，在編碼/壓縮B2幀中使用了 B1幀，以及在編碼/壓縮B3幀中使 用了 B2幀。因此，存在分層結(jié)構(gòu)，其中最低水平的分層是B3幀。B3幀需要待編碼(或者在 接收機(jī)端上被解碼)的更高水平分層幀(IclAVBpB2),但這些B3幀自身并不是編碼或解碼 更高水平分層幀所需要的。當(dāng)圖4的交錯方案與圖5的相關(guān)方案(cbpendency scheme)相結(jié)合時，變得明顯 的是其中一個視圖(左視圖或右視圖)的幀對應(yīng)于B3水平分層上的幀，且其他視圖的幀 對應(yīng)于更高水平的分層。該視圖不需要其它視圖的幀被解碼，且由此是自包含信號。在圖 5中，這與沒有從B3幀到任何化工工或、/^幀的箭頭的事實(shí)是對應(yīng)的。其它視圖的幀(B3) 不形成自包含信號，所述視圖需要自包含視圖的信息進(jìn)行解碼。這些B3幀可以是相互依賴 的。通過交錯左視圖和右視圖的幀且隨后使用為其中一個視圖提供一個自包含信號 的壓縮方案來壓縮這些幀，并且隨后將該信號再次拆分為基本比特流(包含自包含信號) 和輔助比特流(包含非自包含信號)，在提供完全可操作的2D后向可兼容信號的同時實(shí)現(xiàn) 比特率降低。比特流拆分器通過將第一視圖的所有訪問單元(訪問單元包含用于至少幀的 數(shù)據(jù))級聯(lián)(concatenate)在基本流中來創(chuàng)建基本流(OxlB)，并且通過將第二視圖的所有 訪問單元(AU)級聯(lián)在輔助比特流中來創(chuàng)建輔助流。然后，該復(fù)用器為基本和輔助流指定 (分配)不同代碼。圖6示出用于比特流拆分器的示例性圖表。這提供了可與AVC(高級視頻編碼) 編碼方案相兼容的比特流拆分機(jī)制。在AVC編碼方案中可以給出SEI消息?！傲Ⅲw視頻信 息”SEI消息包含關(guān)于所執(zhí)行的交錯的信息，使得在接收端上的立體解碼器能夠?qū)⒁粋€視圖 與另一個視圖區(qū)分開來并執(zhí)行解交錯。在本發(fā)明的這個實(shí)施例中，SEI消息是在編碼系統(tǒng)內(nèi)被使用的。在步驟60，獲取訪問單元。在第一步驟61，檢查當(dāng)前訪問單元是否包含SEI消息。如果訪問單元不包含SEI消息，那么在這個特定示例中將從先前接收的信息中推 斷出該訪問單元所屬于的集合的幀的信息。舉個例子，如果先前接收的信息是“如果一個訪 問單元屬于集合A，則下一個訪問單元屬于集合B”，則不需要為每一個訪問單元提供SEI信 肩、ο如果訪問單元確實(shí)包含SEI消息，則在步驟62中對照先前的SEI消息來檢查該 SEI消息的有效性。該SEI消息給出關(guān)于交錯的信息，該信息通常是已知序列。如果SEI消息無效，則 存在錯誤63。如果SEI消息是有效的，則執(zhí)行下一個步驟64。對每一個訪問單元來說，現(xiàn)在借助于沒有SEI消息或者訪問單元具有有效的SEI 消息的事實(shí)來得到相關(guān)的交錯信息，其中在沒有SEI消息的情況下，SEI消息相對于先前的 訪問單元而言沒有改變。在接下來的步驟64，檢查該訪問單元是否形成基本視圖的一部分，如果是這樣的話，則在步驟65中將其附加到基本視圖比特流，否則在步驟66中將其附加到輔助視圖視頻 比特流。很明顯，該順序(序列)可以被反轉(zhuǎn)。一旦處理了訪問單元并且將其附加到基本 或輔助比特流，則在步驟67中獲取下一個訪問單元并重復(fù)該處理。應(yīng)該注意，圖6是拆分 器的示例性實(shí)施例。編碼信號可以采用多種方式來拆分。例如，如果使用固定序列來編碼， 那么有關(guān)拆分的信息可以是隱性的，或者比如，如果使用了 NAL代碼或其組合的SEI消息， 那么該信息可以是顯性的。雖然與本發(fā)明不相關(guān)，但除了 SEI縮寫之外，訪問單元O和8中 的各種縮寫代表-SPS 序列參數(shù)集合-PPS 畫面參數(shù)集合
-IDR 即時解碼器刷新-Slice :MB (宏塊 I6X I6 個像素)群組-SEI 補(bǔ)充增強(qiáng)信息圖7示出單個編碼比特流及其拆分版本的示例。應(yīng)該指出，包含視頻信息的訪問 單元0和8是基本比特流的組成部分。用于該基本比特流的所有訪問單元(AU8、AU0、AU4、 AU2、AU6)具有與其中一個流、自包含信號相對應(yīng)的SEI消息，其它訪問單元具有與輔助比 特流有關(guān)的SEI消息。舉例來說，由于MPEG-2傳輸流(廣播應(yīng)用)中或MPEG-4文件格式(文件存儲應(yīng) 用)中的DTS(解碼時間戳)標(biāo)記，這兩個比特流在系統(tǒng)級上保持同步。系統(tǒng)級上的語法元 素可以用于表明輔助比特流依賴于基本比特流。需要注意，輔助流本身不再是有效的流。這一般不會是問題。萬一出現(xiàn)問題，則可 以將空幀插入輔助流，這幾乎不會增大比特率。在合并處理之前，這些空幀將必須首先被移 除。在實(shí)施例中，可以進(jìn)行基本和輔助信號的規(guī)則改變。在該方法中，兩個視圖不被同 等地對待；第一視圖是自包含視圖，而第二視圖是從第一視圖導(dǎo)出。這會導(dǎo)致左視圖和右 視圖之間存在小的質(zhì)量差別，這可能在時間上導(dǎo)致接收圖像的左眼和右眼的略微不同的行 為。例如，在場景變換時，通過有規(guī)律地將基本視圖從左改變到右，可以避免出現(xiàn)這種情況。在實(shí)施例中，對于基本和輔助比特流、在3D示例中的基本和輔助視圖來說，壓縮 的量化因數(shù)可以不同。特別地，當(dāng)存在更多的輔助視圖時，如下文所解釋的，與輔助視圖相 比，為基本視圖指定(分配)更多的帶寬可能是有用的。圖8 10示意性示出現(xiàn)有技術(shù)和本發(fā)明。參見圖8，在現(xiàn)有技術(shù)中，視頻編碼器對 視頻數(shù)據(jù)信號進(jìn)行編碼，音頻編碼器對音頻信號進(jìn)行編碼，其中本示例中的視頻編碼器是 AVC(高級視頻編碼)視頻編碼器Venc。復(fù)用器MUX產(chǎn)生復(fù)用信號，其中該視頻比特流獲取 一個代碼，例如OxlB，且音頻比特流獲取代碼0x03。2D解復(fù)用器2D demux從復(fù)用信號中提 取兩個組成比特流，并且將視頻比特流發(fā)送到視頻解碼器，以及將音頻比特流發(fā)送到音頻 解碼器。由此，視頻解碼器得到了整個視頻比特流，無論它能否處理。圖9示出了在編碼端使用本發(fā)明的編碼方法和編碼系統(tǒng)以及在解碼端使用標(biāo)準(zhǔn) 視頻設(shè)備的情形。在編碼之后，拆分器將經(jīng)過編碼的流拆分成基本流prim和輔助流sec。復(fù)用器mux 產(chǎn)生復(fù)用信號，該復(fù)用信號包含用于基本視圖的比特流OxlB和用于輔助視圖的單獨(dú)比特流0x20以及與圖8情形一樣的音頻比特流0x03。標(biāo)準(zhǔn)設(shè)備包括解復(fù)用器，該解復(fù)用器從復(fù)用信號中提取基本比特流OxlB，這是因 為它通過比特流的代碼來識別該比特流；該解復(fù)用器拒絕比特流0x20。視頻解碼器接收基 本比特流OxlB。由于這是具有“正?！北忍芈实淖园忍亓?，該視頻解碼器能夠解碼該比 特流而沒有大的困難。由此，該編碼方法和系統(tǒng)是向后可兼容的。圖10示出其中使用根據(jù)本發(fā)明的解碼系統(tǒng)的情形。在解碼器端，解碼器包括3D解復(fù)用器3D demux。該解復(fù)用器將音頻比 特流0x03 發(fā)送到音頻解碼器，從復(fù)用信號中提取兩個視頻比特流OxlB (基本比特流)和0x02 (輔助 比特流)，以及將這兩個視頻比特流發(fā)送到其在比特流合并器(BSM)上的相應(yīng)輸入，其中該 比特流合并器再次合并基本流和輔助流。經(jīng)過合并的視頻流被發(fā)送到解碼器，該解碼器使 用提供3D視頻數(shù)據(jù)信號的反向編碼方法來解碼該合并的比特流。由此，專用的3D視頻解碼系統(tǒng)能夠解碼3D視頻數(shù)據(jù)信號，而標(biāo)準(zhǔn)2D視頻解碼系 統(tǒng)也能夠提供高質(zhì)量圖像。在上文給出的示例中，增強(qiáng)的視頻數(shù)據(jù)信號是包含左視圖和右視圖這兩個視圖的 3D信號。本發(fā)明并不局限于這種情形，盡管本發(fā)明特別適合于這種情形。在生成多視圖信號而不是兩個視圖時，本發(fā)明同樣是有用的。圖11示出其中存在三個交錯視圖信號的情形，三個交錯視圖信號是第一中心視 圖信號，與圖5中的自包含L視圖比特流相當(dāng)，用于第一中心視圖的比特流是自包含的；以 及兩個輔助視圖比特流B3和B3’，其中每一個比特流都根據(jù)中心視圖數(shù)據(jù)而被編碼和壓 縮。在這個示例中，存在三種視圖基本視圖，例如，中心視圖；以及例如左視圖和右 視圖的多個輔助視圖。對中心視圖來說，產(chǎn)生自包含比特流。對例如左視圖和右視圖的兩 個輔助視圖來說，產(chǎn)生輔助的非自包含比特流。在這個實(shí)施例中，特別是當(dāng)存在許多輔助視圖時，與輔助視圖幀相比，在壓縮中對 于中心視圖幀使用不同的量化因數(shù)可能是有用的。對于使用MVC(多視圖編碼)編碼器產(chǎn)生多視圖信號而言，這個實(shí)施例是有用的。 在圖11的示例中，產(chǎn)生三個視圖單個基本視圖和兩個輔助視圖。根據(jù)所產(chǎn)生的多個視圖， 可以產(chǎn)生多于兩個的輔助視圖。在復(fù)雜的實(shí)施例中，可產(chǎn)生多于一個的基本視圖和更多個 輔助視圖。在圖12中例示了本發(fā)明的另一個實(shí)施例。另一類的增強(qiáng)視頻數(shù)據(jù)信號是這樣的一種信號，其中將產(chǎn)生更高頻率(例如 100Hz)信號。上文中針對立體信號描述的問題對于這種視頻數(shù)據(jù)信號也是存在的。大多數(shù) 視頻顯示設(shè)備在標(biāo)準(zhǔn)頻率上工作，并且解碼器是針對這些頻率而設(shè)計(jì)的。圖12示出由高速相機(jī)CAM IOOHz產(chǎn)生的信號，該信號包含大量的幀速率為IOOHz 的幀。這樣的信號并不適合在標(biāo)準(zhǔn)的50HzTV系統(tǒng)中顯示。它可以被認(rèn)為是包含正常幀分 布以及高速幀分布。在專門的視頻解碼器中，這些幀可以采用與圖5所示方案非常相同的方案來壓 縮。這表示在圖13中。源自高速相機(jī)的信號可以被視為提供兩個交錯集合的幀(也就是奇數(shù)編號和偶數(shù)編號)的信號，并且這兩個集合的幀被壓縮，其中偶數(shù)編號的幀被壓縮以 形成頻率為50Hz的自包含集合的幀，奇數(shù)編號的幀依賴于偶數(shù)編號的幀集合而被壓縮。迄 今為止，該示例與先前示例的不同之處在于集合幀的交錯在提供給編碼器的信號方面是 固有的。但是，同樣的原理是適用的。偶數(shù)幀將形成基本比特流，奇數(shù)幀形成輔助比特流， 或者反之亦然。當(dāng)然，在例如因?yàn)槭褂?00Hz相機(jī)而提供甚至更高頻率的信號時，集合的數(shù) 量可以是四，其中產(chǎn)生單個基本50Hz比特流以及三個輔助比特流。圖14A和14B顯示用于圖12和13中示意性顯示的實(shí)施例的編碼和解碼方案。這 些方案在很大程度上類似于圖3A和3B的方案。在圖14A中，示意性指示了其中使用專用 解碼器的情形。IOOHz相機(jī)CAMlOOHz如圖12示意性所示地提供信號，在SVC(可縮放視頻 編碼)編碼器中執(zhí)行如圖13示意性所示的編碼方案。由此，該相機(jī)提供了交錯(也就是 IOOHz的偶數(shù)和奇數(shù)幀)信號，由編碼系統(tǒng)7接收該信號，該編碼系統(tǒng)7包括編碼器，其用于 將包含在由IOOHz相機(jī)提供的交錯信號中的集合之一壓縮為自包含的集合的壓縮幀。在拆 分器BSS中，這些幀被附加到基本比特流OxlB或者輔助比特流0x20，并且在復(fù)用器中這兩 個比特流被給予不同代碼。在解碼器8端進(jìn)行倒轉(zhuǎn)。STB代表機(jī)頂盒。最終解碼的信號被 饋送到100Hz TV。根據(jù)本發(fā)明的這個實(shí)施例的顯示設(shè)備包括解碼系統(tǒng)8和100Hz TV。根 據(jù)本發(fā)明的這個實(shí)施例的記錄設(shè)備包括編碼器7和相機(jī)。圖14B示出當(dāng)使用具有相應(yīng)的常規(guī)解碼系統(tǒng)的50Hz TV時的情形。標(biāo)準(zhǔn)解復(fù)用器 將識別和接受基本比特流，并且將其向前朝向50HzTV發(fā)送。這個比特流是自包含的并具有恰當(dāng)?shù)母袷胶皖l率，且將在50Hz TV上提 供足夠的圖像質(zhì)量。輔助比特流被拒絕，并且不干擾50Hz TV系統(tǒng)的正常操作。在上述實(shí)施例中，SVC流沿著頻率(時間軸)被拆分。此外，SVC也允許沿著分辨 率和/或量化軸(SNR，CGS (粗粒度可縮放性))、res (細(xì)粒度可縮放性))和/或顏色采樣 軸(4:4:4、4:2:0、4:2:2)來拆分幀。在這樣的實(shí)施例中出現(xiàn)上述問題，即標(biāo)準(zhǔn)視頻解碼器 在處理輸入比特流方面存在問題的事實(shí)也出現(xiàn)，換句話說，出現(xiàn)兼容性問題。在本發(fā)明的框架內(nèi)，從本發(fā)明的最寬廣意義上講，視頻流被拆分成至少兩個比特 流，即基本和輔助視頻流(參見圖15)，其中基本視頻流式是自包含的，且輔助視頻流需要 基本視頻流用于解碼，并且在復(fù)用器中為基本視頻流提供標(biāo)準(zhǔn)代碼(OxlB)且為輔助視頻 流提供不同代碼(0x20)。視頻數(shù)據(jù)信號可以沿著分辨率軸進(jìn)行拆分，其中復(fù)用信號中的基 本比特流包含用于基本層的數(shù)據(jù)，且復(fù)用信號中被提供有不同代碼的輔助比特流包含用于 一個或多個增強(qiáng)層的視頻數(shù)據(jù)。提供給基本流的代碼是標(biāo)準(zhǔn)代碼(例如OxlB或0x01)，并且由此可以由任何正常 的標(biāo)準(zhǔn)不可縮放MPEG (對于0x01)或H. 264視頻解碼器(對于OxlB) 9來決定，而根據(jù)本發(fā) 明的專用解碼器8則可以充分利用可縮放編碼。圖16A和16B提供了本發(fā)明的一個實(shí)施例， 該實(shí)施例如圖16B所示可應(yīng)用于向SDTV (標(biāo)準(zhǔn)清晰度TV)提供SDTV視頻數(shù)據(jù)信號，并且如 圖16A所示向HDTV (高清晰度TV)提供HDTV視頻數(shù)據(jù)信號。本發(fā)明還可以在用于根據(jù)本發(fā)明的方法或設(shè)備的任何計(jì)算機(jī)程序產(chǎn)品中實(shí)現(xiàn)。就計(jì)算機(jī)程序產(chǎn)品而言，計(jì)算機(jī)程序產(chǎn)品應(yīng)該被理解成在一系列促使命令進(jìn)入處理器中的加 載步驟(這些步驟可包括中間轉(zhuǎn)換步驟，例如變換到中間語言，以及最終的處理器語言)之 后使得通用或者專用處理器能夠執(zhí)行本發(fā)明的任何特征功能的命令集合的任何物理實(shí)現(xiàn)。特別地，計(jì)算機(jī)程序產(chǎn)品可以被實(shí)現(xiàn)為諸如磁盤或磁帶之類的載體上的數(shù)據(jù)、存在于存儲 器中的數(shù)據(jù)、經(jīng)由有線或無線的網(wǎng)絡(luò)連接傳播的數(shù)據(jù)、或紙件上的程序代碼。除了程序代碼 之外，程序所需要的特征數(shù)據(jù)也可以作為計(jì)算機(jī)程序產(chǎn)品來實(shí)現(xiàn)。本發(fā)明還涉及包含根據(jù)本發(fā)明的編碼系統(tǒng)的設(shè)備，例如3D視頻記錄設(shè)備或高分 辨率視頻記錄設(shè)備。本發(fā)明還涉及包含根據(jù)本發(fā)明的解碼系統(tǒng)的顯示設(shè)備。舉例來說，這樣的設(shè)備可 以是3D視頻顯示設(shè)備、HDTV顯示設(shè)備或者具有增加分辨率的顯示設(shè)備。本發(fā)明進(jìn)一步涉及復(fù)用視頻數(shù)據(jù)信號，該復(fù)用視頻數(shù)據(jù)信號包括至少兩個具有單 獨(dú)代碼(0X01、0X1B、0X20)的相關(guān)視頻數(shù)據(jù)信號，其中第一視頻數(shù)據(jù)信號(0x01、0xlB)是自 包含的視頻數(shù)據(jù)信號，且至少第二視頻數(shù)據(jù)信號(0x20)不是自包含的。通過使用解復(fù)用 器，易于不同地處理這兩個相關(guān)的但不同的視頻數(shù)據(jù)信號而不必使用解碼器來進(jìn)行區(qū)分。 對于例如標(biāo)準(zhǔn)2D視頻顯示設(shè)備或SDTV設(shè)備的標(biāo)準(zhǔn)設(shè)備來說，第一自包含信號可以被轉(zhuǎn)發(fā) 到解碼器，而不會因?yàn)榈诙盘柖鴮?dǎo)致解碼器過載。專用的視頻系統(tǒng)可以充分利用這兩個 視頻數(shù)據(jù)信號中的數(shù)據(jù)。簡言之，本發(fā)明可以描述如下視頻數(shù)據(jù)信號被編碼，使得編碼的視頻數(shù)據(jù)信號至少包括基本視頻數(shù)據(jù)信號以及 至少包括輔助視頻數(shù)據(jù)信號?；竞洼o助視頻數(shù)據(jù)信號被聯(lián)合壓縮。基本視頻數(shù)據(jù)信號 以自包含方式被壓縮，并且輔助視頻數(shù)據(jù)信號是使用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)來壓縮 的。經(jīng)聯(lián)合壓縮的視頻數(shù)據(jù)信號被拆分成單獨(dú)的比特流，至少基本比特流包括用于基本視 頻數(shù)據(jù)信號的數(shù)據(jù)，并且至少輔助比特流包括用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)，此后，基本和 輔助比特流被復(fù)用成復(fù)用信號，并且基本和輔助信號被提供有單獨(dú)代碼。應(yīng)該指出，上述實(shí)施例是說明性的而不是限制本發(fā)明，并且本領(lǐng)域技術(shù)人員能夠 在不脫離附加權(quán)利要求書的范圍的情況下設(shè)計(jì)出很多替換實(shí)施例。在權(quán)利要求書中，放置在括號之間的任何參考符號不應(yīng)該被解釋成是限制該權(quán)利 要求。詞“包括”并不排除除了權(quán)利要求中所列舉的部件或步驟之外的其它部件或步驟 的存在。本發(fā)明可以通過如上所述的各種不同優(yōu)選實(shí)施例的特征的任何組合來實(shí)現(xiàn)。
權(quán)利要求
一種用于編碼視頻數(shù)據(jù)信號的方法，其中視頻數(shù)據(jù)信號被編碼，經(jīng)過編碼的視頻數(shù)據(jù)信號至少包括基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號，其中基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號被聯(lián)合壓縮，基本視頻數(shù)據(jù)信號以自包含的方式被壓縮，且輔助視頻數(shù)據(jù)信號使用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)進(jìn)行壓縮，經(jīng)過聯(lián)合壓縮的視頻數(shù)據(jù)信號被拆分成單獨(dú)比特流，所述比特流包括包含用于基本視頻數(shù)據(jù)信號的數(shù)據(jù)的基本比特流和用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的輔助比特流，此后基本比特流和輔助比特流被復(fù)用(MUX)成復(fù)用信號，基本信號和輔助信號被提供有單獨(dú)代碼(0x1B，0x20)。
2.如權(quán)利要求1所述的用于編碼視頻數(shù)據(jù)信號的方法，其中視頻數(shù)據(jù)信號被編碼，經(jīng) 過編碼的視頻數(shù)據(jù)信號包括第一集合的幀(L，R)以及至少第二集合的幀(R，L)，其中第一 和第二集合的幀被交錯(VI)以形成交錯視頻序列(comb L+R)，或者其中包含第一和第二 集合的幀的交錯視頻數(shù)據(jù)信號(IOOHz)被接收，其中交錯視頻序列被壓縮成經(jīng)過壓縮的視 頻數(shù)據(jù)信號，其中第一集合的幀不使用第二集合的幀進(jìn)行編碼和壓縮，且第二集合的幀使 用第一集合的幀進(jìn)行編碼和壓縮，以及其中經(jīng)過壓縮的視頻數(shù)據(jù)信號隨后被拆分(BSS)成 基本比特流以及至少輔助比特流，每一個比特流都包含幀，其中基本比特流包括用于第一 集合的經(jīng)過壓縮的幀，且輔助比特流包含用于第二集合的經(jīng)過壓縮的幀，基本比特流和輔 助比特流形成單獨(dú)比特流，此后基本比特流和輔助比特流被復(fù)用(MUX)成復(fù)用信號，基本 信號和輔助信號被提供有單獨(dú)代碼(0χ1Β，0χ20)。
3.如權(quán)利要求2所述的方法，其中視頻數(shù)據(jù)信號被編碼，使得基本比特流包含用于3D 視頻數(shù)據(jù)信號的視圖(L，R)其中之一的幀的數(shù)據(jù)，輔助比特流包含用于3D視頻數(shù)據(jù)信號的 其它視圖(R，L)的幀的數(shù)據(jù)。
4.如權(quán)利要求2所述的方法，其中視頻數(shù)據(jù)信號被編碼，使得基本比特流包括用于來 自不同視角的三個或更多個視圖其中之一的幀的數(shù)據(jù)，且多于一個的輔助比特流被產(chǎn)生， 所述輔助比特流包括用于其它視圖其中之一的幀的數(shù)據(jù)。
5.如權(quán)利要求2所述的方法，其中視頻數(shù)據(jù)信號被編碼，使得基本比特流包括用于低 頻集合的幀的數(shù)據(jù)，而輔助比特流包含用于更高頻率集合的幀的數(shù)據(jù)。
6.如權(quán)利要求1所述的方法，其中復(fù)用信號中的基本比特流包括用于基本層的數(shù)據(jù)， 并且復(fù)用信號中被提供有不同代碼的輔助比特流包含用于一個或多個增強(qiáng)層的視頻數(shù)據(jù)。
7.如任意一項(xiàng)前述權(quán)利要求所述的方法，其中基本比特流利用比輔助比特流低的量化 因數(shù)來壓縮。
8.如權(quán)利要求2所述的方法，其中第一和第二集合的幀被有規(guī)律地互換。
9.一種用于編碼視頻數(shù)據(jù)信號的編碼系統(tǒng)，包括用于生成至少基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號的生成器或者用于接收至少基 本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號的接收機(jī)，壓縮器，用于聯(lián)合壓縮基本視頻數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號，該壓縮器被安排用于 以自包含方式來壓縮基本視頻數(shù)據(jù)信號，并且用于使用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)來壓 縮輔助視頻數(shù)據(jù)信號，拆分器(BSS)，用于將經(jīng)過聯(lián)合壓縮的視頻數(shù)據(jù)信號拆分成單獨(dú)比特流包含用于基 本視頻數(shù)據(jù)信號的數(shù)據(jù)的基本比特流和包含用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的輔助比特流， 以及復(fù)用器(MUX)，用于將基本比特流和輔助比特流復(fù)用到復(fù)用信號中，并且用于為基本信 號和輔助信號提供單獨(dú)代碼(0χ1Β，0χ20)。
10.如權(quán)利要求8所述的用于編碼增強(qiáng)視頻數(shù)據(jù)信號的編碼系統(tǒng)，包括用于交錯來自 第一和第二視圖的幀以形成交錯視頻序列的交錯器(VI)，或者包括用于接收包含第一和 第二集合的幀的交錯視頻序列的接收機(jī)，該系統(tǒng)包括用于對交錯視頻序列進(jìn)行編碼的編碼 器，其中該編碼器包括用于不使用第二視圖的幀來壓縮第一視圖的幀以及用于使用第一視 圖的幀來壓縮第二視圖的幀的壓縮器，并且該系統(tǒng)包括用于將經(jīng)過壓縮的視頻數(shù)據(jù)信號拆 分成基本比特流和輔助比特流的拆分器(BSS)，每一個比特流包含幀，其中基本比特流包含 用于第一集合的經(jīng)過壓縮的幀，且輔助比特流包含用于第二集合的經(jīng)過壓縮的幀，基本比 特流和輔助比特流形成單獨(dú)比特流，所述編碼系統(tǒng)還包括用于復(fù)用基本比特流和輔助比特 流以及用于為基本比特流和輔助比特流提供單獨(dú)代碼(0xlB，0x20)的復(fù)用器(MUX)。
11.如權(quán)利要求10所述的編碼系統(tǒng)，其中交錯器被安排用于交錯一對立體視圖的左右 視圖。
12.如權(quán)利要求11所述的編碼系統(tǒng)，其中交錯器被安排用于交錯多于兩個視圖的幀。
13.如權(quán)利要求9所述的編碼系統(tǒng)，其中該系統(tǒng)被安排用于接收來自高頻相機(jī)的幀。
14.一種記錄設(shè)備，包含如前述權(quán)利要求9 13中任意一項(xiàng)所述的編碼系統(tǒng)。
15.一種計(jì)算機(jī)程序，其包含程序代碼裝置，用于當(dāng)所述程序在計(jì)算機(jī)上運(yùn)行時執(zhí)行如 權(quán)利要求1 8中任意一項(xiàng)所述的用于編碼的方法。
16.一種計(jì)算機(jī)程序產(chǎn)品，其包括存儲在計(jì)算機(jī)可讀介質(zhì)上的程序代碼裝置，用于執(zhí)行 如權(quán)利要求1 8中任意一項(xiàng)所述的編碼方法。
17.一種用于解碼視頻數(shù)據(jù)信號的方法，其中復(fù)用信號被接收，該復(fù)用信號包括至少兩 個具有單獨(dú)代碼(0X01，0X1B，0X20)的視頻數(shù)據(jù)信號，其中第一視頻數(shù)據(jù)信號(0x01，0xlB) 是自包含視頻數(shù)據(jù)信號，且至少第二視頻數(shù)據(jù)信號(0x20)不是自包含視頻數(shù)據(jù)信號，此后 這兩個信號被解復(fù)用和被合并(BSM)，并且經(jīng)過合并的信號被解碼和被解壓縮，其中在自包 含視頻數(shù)據(jù)信號的解壓縮中僅僅使用來自自包含視頻數(shù)據(jù)信號的數(shù)據(jù)，且在第二視頻數(shù)據(jù) 信號的解壓縮中使用第一視頻數(shù)據(jù)信號的數(shù)據(jù)。
18.如權(quán)利要求17所述的用于解碼的方法，其中經(jīng)過合并的信號形成交錯集合的幀， 并且在解壓縮之后，這些幀被去交錯(VDI)以提供兩個或更多個視圖。
19.如權(quán)利要求18所述的用于解碼的方法，其中形成左和右視圖。
20.如權(quán)利要求18所述的用于解碼的方法，其中形成多視圖中的多于一個視圖。
21.如權(quán)利要求17所述的用于解碼的方法，其中第一視頻數(shù)據(jù)信號(0x01，0xlB)包括 基本層上的數(shù)據(jù)，且第二視頻數(shù)據(jù)信號(0x20)包含一個或多個增強(qiáng)層上的數(shù)據(jù)。
22.一種用于解碼視頻數(shù)據(jù)信號的解碼系統(tǒng)，包括用于接收復(fù)用信號的接收機(jī)，該復(fù)用信號包括至少兩個具有單獨(dú)代碼(0χ01，0χ1Β， 0x20)的視頻數(shù)據(jù)信號，其中第一視頻數(shù)據(jù)信號(0x01，0xlB)是自包含視頻數(shù)據(jù)信號，且至 少第二視頻數(shù)據(jù)信號(0x20)不是自包含視頻數(shù)據(jù)信號，解復(fù)用器，用于對復(fù)用信號進(jìn)行解復(fù)用，和合并器(BSM)，用于將至少兩個解復(fù)用信號合并成組合信號，解碼器，用于解碼和解壓縮該組合信號，其中該解碼器被安排，以便在自包含視頻數(shù)據(jù)信號的解壓縮中僅使用來自自包含視頻數(shù)據(jù)信號的數(shù)據(jù)，且在第二視頻數(shù)據(jù)信號的解壓縮 中使用第一視頻數(shù)據(jù)信號的數(shù)據(jù)。
23.如權(quán)利要求22所述的解碼系統(tǒng)，其中經(jīng)過合并的信號形成交錯的集合的幀，并 且該系統(tǒng)包括用于在解壓縮之后對幀執(zhí)行去交錯以提供兩個或更多個視圖的去交錯器 (VDI)。
24.一種顯示設(shè)備，包含如權(quán)利要求22或23所述的解碼系統(tǒng)。
25.一種計(jì)算機(jī)程序，包含程序代碼裝置，用于當(dāng)所述程序在計(jì)算機(jī)上運(yùn)行時執(zhí)行如權(quán) 利要求17 21中任意一項(xiàng)所述的用于編碼的方法。
26.一種計(jì)算機(jī)程序產(chǎn)品，其包括存儲在計(jì)算機(jī)可讀介質(zhì)上的程序代碼裝置，用于執(zhí)行 如權(quán)利要求17 21中任意一項(xiàng)所述的編碼方法。
27.一種復(fù)用視頻數(shù)據(jù)信號，包含至少兩個具有單獨(dú)代碼(0X01，0X1B，0X20)的相關(guān)的 視頻數(shù)據(jù)信號，其中第一視頻數(shù)據(jù)信號(0x01，0xlB)是自包含視頻數(shù)據(jù)信號，并且至少第 二視頻數(shù)據(jù)信號(0x20)不是自包含視頻數(shù)據(jù)信號。
全文摘要
視頻數(shù)據(jù)信號被編碼，使得經(jīng)過編碼的視頻數(shù)據(jù)信號至少包括基本視頻數(shù)據(jù)信號以及至少包括輔助視頻數(shù)據(jù)信號?；疽曨l數(shù)據(jù)信號和輔助視頻數(shù)據(jù)信號被聯(lián)合壓縮?；疽曨l數(shù)據(jù)信號以自包含方式進(jìn)行壓縮，且輔助視頻數(shù)據(jù)信號使用來自基本視頻數(shù)據(jù)信號的數(shù)據(jù)進(jìn)行壓縮。經(jīng)過聯(lián)合壓縮的視頻數(shù)據(jù)信號被拆分(BSS)成單獨(dú)比特流包含用于基本視頻數(shù)據(jù)信號的數(shù)據(jù)的至少基本比特流，和包含用于輔助視頻數(shù)據(jù)信號的數(shù)據(jù)的至少輔助比特流，此后基本比特流和輔助比特流被復(fù)用成復(fù)用信號，并且基本信號和輔助信號被提供有單獨(dú)代碼(0x1B，0x20)。
文檔編號H04N7/26GK101816179SQ200880108524
公開日2010年8月25日 申請日期2008年9月16日 優(yōu)先權(quán)日2007年9月24日
發(fā)明者A·P·H·鮑格, W·H·A·布魯爾斯 申請人:皇家飛利浦電子股份有限公司