用于編碼和解碼3d視頻信號(hào)的方法與系統(tǒng)的制作方法
【專利說明】用于編碼和解碼3D視頻信號(hào)的方法與系統(tǒng)
[0001]本發(fā)明申請(qǐng)是一個(gè)分案申請(qǐng)，其原申請(qǐng)的國(guó)際申請(qǐng)日為2008年9月16日、申請(qǐng)?zhí)枮?00880108524.5，并且原申請(qǐng)的發(fā)明創(chuàng)造名稱為“用于編碼視頻數(shù)據(jù)信號(hào)的方法與系統(tǒng)、編碼的視頻數(shù)據(jù)信號(hào)、用于解碼視頻數(shù)據(jù)信號(hào)的方法與系統(tǒng)”。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及視頻編碼和解碼的領(lǐng)域。本發(fā)明提出用于編碼視頻數(shù)據(jù)信號(hào)的方法和系統(tǒng)。本發(fā)明還涉及編碼的視頻數(shù)據(jù)信號(hào)。此外，本發(fā)明還涉及用于解碼視頻數(shù)據(jù)信號(hào)的方法和系統(tǒng)。
【背景技術(shù)】
[0003]近來，人們對(duì)提供增加的視頻可能性、例如在3D圖像顯示器上提供3D圖像產(chǎn)生很大的興趣。相信3D成像將是成像領(lǐng)域中繼彩色成像之后的下一次重大革新。我們現(xiàn)在正處于將自動(dòng)立體顯示器引入消費(fèi)者市場(chǎng)的時(shí)候。
[0004]從根本上講，三維印象可以使用立體像對(duì)(stereo pair)、即對(duì)準(zhǔn)于觀看者雙眼的兩個(gè)略微不同的圖像來創(chuàng)建。
[0005]無論使用何種類型的顯示器，都必須將3D圖像信息提供給顯示設(shè)備。這通常以視頻數(shù)據(jù)信號(hào)的形式來進(jìn)行，而視頻數(shù)據(jù)信號(hào)包含數(shù)字?jǐn)?shù)據(jù)，其時(shí)常包含用于左視圖和右視圖的數(shù)據(jù)或者在生成多個(gè)視圖時(shí)包含用于多個(gè)視圖的數(shù)據(jù)。
[0006]增加視頻可能性的另一個(gè)示例是提供能夠提供高頻率視頻例如具有的頻率是標(biāo)準(zhǔn)幀顯示頻率兩倍的視頻的視頻數(shù)據(jù)信號(hào)。
[0007]再一個(gè)示例是提供具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號(hào)。
[0008]由于數(shù)字成像固有的龐大數(shù)據(jù)量，數(shù)字圖像信號(hào)的處理和/或傳輸形成重大問題。在很多環(huán)境中，可用的處理能力和/或傳輸容量不足以處理和/或傳輸高質(zhì)量視頻數(shù)據(jù)信號(hào)。更特別地，每一個(gè)數(shù)字圖像幀是由像素陣列形成的靜止圖像。這個(gè)問題對(duì)于所有的視頻而言都存在，但是對(duì)于3D視頻成像，這個(gè)問題增大，并且在將產(chǎn)生雙倍頻率的視頻數(shù)據(jù)信號(hào)或在將產(chǎn)生具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號(hào)時(shí)，同樣的問題增大出現(xiàn)。
[0009]原始數(shù)字信息量通常很大，這需要強(qiáng)大的處理能力和/或高的傳輸速率，而這種強(qiáng)大的處理能力和/或高的傳輸速率并不是始終可以得到的。已建議了各種壓縮方法來減少待傳輸?shù)臄?shù)據(jù)量，這樣的方法包括例如MPEG-2、MPEG-4以及H.263。
[0010]已知的壓縮方法在一開始是為標(biāo)準(zhǔn)的2D圖像而設(shè)立的。
[0011]EP1524859披露一種比特流，其具有采用MPEG_2、MPEG_4或H.264標(biāo)準(zhǔn)、利用兩個(gè)隔行掃描場(chǎng)來編碼的當(dāng)前視頻幀，解碼當(dāng)前幀頂部場(chǎng)與底部場(chǎng)；以及呈現(xiàn)解碼的頂部場(chǎng)與底部場(chǎng)作為3D幀圖像。該方法呈現(xiàn)所解碼的頂部場(chǎng)與底部場(chǎng)作為立體顯示圖像，并接受2D選擇命令以響應(yīng)觸發(fā)器，諸如接收到補(bǔ)充增強(qiáng)信息(SEI)消息。隨后，僅解碼當(dāng)前幀隔行掃描場(chǎng)之中的一個(gè)，并呈現(xiàn)2D幀圖像。
[0012]US2002/0009137描述一種用于編碼3D圖像的方法。一個(gè)視圖能夠被編碼成基本層比特流，而另一視圖被編碼成增強(qiáng)層。編碼器的輸出由兩個(gè)單獨(dú)的比特流來形成。
[0013]舉個(gè)例子，如果在采集端生成3D信息，則必須發(fā)送這個(gè)信息，并且為了在比特率方面具有低的額外開銷，需要對(duì)3D信息進(jìn)行壓縮。優(yōu)選地，3D信息的壓縮(或編碼)是以這樣一種方式來執(zhí)行的，其中能夠僅以相對(duì)小的調(diào)整、使用現(xiàn)有的壓縮標(biāo)準(zhǔn)來實(shí)施3D信息的壓縮。當(dāng)就視頻數(shù)據(jù)信號(hào)包含關(guān)于雙倍頻率信號(hào)或增強(qiáng)分辨率的信息的意義而言增強(qiáng)視頻數(shù)據(jù)信號(hào)時(shí)，上述情況也適用。
[0014]此外，改進(jìn)的視頻信號(hào)優(yōu)選地是向后兼容的，即，常規(guī)的標(biāo)準(zhǔn)視頻設(shè)備應(yīng)該優(yōu)選地能夠顯示改進(jìn)視頻信號(hào)中的“好的”視頻圖像。例如，3D立體信號(hào)優(yōu)選地是向后兼容2D的，也就是說，傳統(tǒng)的2D設(shè)備應(yīng)該優(yōu)選地能夠顯示來自3D信號(hào)的“好的”2D圖像。即使標(biāo)準(zhǔn)的50Hz視頻設(shè)備自身無法顯示10Hz信號(hào)，高頻10Hz視頻數(shù)據(jù)信號(hào)也應(yīng)該能夠顯示在標(biāo)準(zhǔn)50Hz視頻設(shè)備上。同樣，具有增強(qiáng)分辨率的視頻數(shù)據(jù)信號(hào)(HDTV，高清TV)應(yīng)該能夠顯示在標(biāo)準(zhǔn)TV設(shè)備上。
[0015]簡(jiǎn)單地將立體圖像壓縮成兩個(gè)獨(dú)立圖像將導(dǎo)致比特率大幅增長(zhǎng)。與單(視圖)系統(tǒng)(一個(gè)單一視圖)相比，如果想要保證相同的質(zhì)量，那么單獨(dú)地編碼立體像對(duì)中的左(L)與右(R)視圖實(shí)際上將導(dǎo)致比特率加倍。因而，雖然這樣的方法確保2D設(shè)備能夠顯示圖像，但其需要將比特率加倍。
[0016]在使用其中產(chǎn)生兩個(gè)以上視圖的多視圖系統(tǒng)時(shí)，數(shù)據(jù)量增加得甚至更多。
[0017]在通過包含關(guān)于更高頻率視頻數(shù)據(jù)信號(hào)的信息來增強(qiáng)視頻數(shù)據(jù)信號(hào)時(shí)，上述情況適用。將頻率加倍將使數(shù)據(jù)加倍。增加分辨率將產(chǎn)生相同的問題。
[0018]就編碼效率而言，一種更好的方法是聯(lián)合壓縮兩個(gè)立體(左和右)或更多視圖、或聯(lián)合壓縮高頻和低頻視頻數(shù)據(jù)信號(hào)、或聯(lián)合壓縮低分辨率和高分辨率視頻數(shù)據(jù)信號(hào)。對(duì)于左與右?guī)?，與單視圖情形相比，在聯(lián)合壓縮兩個(gè)視圖時(shí)，這種解決方案通常導(dǎo)致使用多出50%的帶寬(相比之下，在單獨(dú)視圖編碼的情況下，使用多出約100%的帶寬)。這可以使用常規(guī)的2D視頻壓縮編碼器、通過交錯(cuò)(interleave)來自每個(gè)立體視圖的左與右?guī)孕纬伞皞?fake)” 2D序列來實(shí)現(xiàn)。在回收器(retriever)(接收機(jī))端，去交錯(cuò)2D幀，并且恢復(fù)和顯示每一個(gè)視圖。例如，在進(jìn)入視頻編碼器之前，兩個(gè)視圖(L和R)能夠被交錯(cuò)成幀畫面。
[0019]但是，雖然與壓縮單獨(dú)視圖相比將標(biāo)準(zhǔn)技術(shù)用于立體視頻可以被更高效(1.5*增益)地進(jìn)行聯(lián)合壓縮并且所得到的比特流能夠顯示在合適的3D設(shè)備上，但是發(fā)明人意識(shí)到:結(jié)果是無法以好的效果顯示在普通2D系統(tǒng)上的一個(gè)單個(gè)比特流。當(dāng)單個(gè)交錯(cuò)比特流到達(dá)常規(guī)2D接收機(jī)(具有2D解碼器和2D屏幕)時(shí)，所顯示的視頻序列將看起來很難看，這顯示出看得見的缺陷，因?yàn)樵撘曨l序列是通過立體視圖的交錯(cuò)而得到的。因而，這種方法并不是向后兼容的。相同的情況對(duì)于多視圖信號(hào)或聯(lián)合壓縮的其它改進(jìn)的視頻數(shù)據(jù)信號(hào)也是成立的。
[0020]因而，本發(fā)明的目的是提供一種用于在傳輸端上對(duì)增強(qiáng)的圖像數(shù)據(jù)進(jìn)行編碼的方法，該方法在將編碼數(shù)據(jù)內(nèi)的數(shù)據(jù)量保持在限度以內(nèi)的同時(shí)確實(shí)提供了后向兼容性。優(yōu)選地，編碼效率是高的。此外，優(yōu)選地，該方法與現(xiàn)有編碼標(biāo)準(zhǔn)是相兼容的。
[0021]本發(fā)明的另一個(gè)目的是提供用于編碼視頻數(shù)據(jù)信號(hào)的改進(jìn)編碼器和視頻數(shù)據(jù)信號(hào)。

【發(fā)明內(nèi)容】

[0022]上面的目的利用獨(dú)立權(quán)利要求的特征的組合來解決。在從屬權(quán)利要求中定義優(yōu)選的實(shí)施例。
[0023]提供如在權(quán)利要求1中所請(qǐng)求保護(hù)的用于編碼3D視頻數(shù)據(jù)信號(hào)的方法。
[0024]本發(fā)明的方法結(jié)合了現(xiàn)有方法的優(yōu)點(diǎn)，同時(shí)避免了其各自的缺點(diǎn)。本發(fā)明的方法包括聯(lián)合壓縮兩個(gè)或更多的視頻數(shù)據(jù)信號(hào)，然后將單個(gè)壓縮的比特流拆分成兩個(gè)或更多的(基本和輔助)單獨(dú)比特流:是自包含(self contained)的并且是利用常規(guī)的視頻解碼器可決定的(decidable) “基本(primary)”比特流；以及依賴于基本比特流的一個(gè)或多個(gè)“輔助(secondary ) ”集合的幀(所謂的輔助視頻表示流)。這些單獨(dú)比特流被復(fù)用，其中基本比特流和輔助比特流是被提供有單獨(dú)代碼并被傳輸?shù)膯为?dú)比特流。初看時(shí)，僅僅為了在壓縮之后再次拆分信號(hào)并為這些信號(hào)提供單獨(dú)代碼而首先聯(lián)合壓縮這些信號(hào)，這可能似乎是多余的和白費(fèi)力氣的。在所有的已知技術(shù)中，在復(fù)用器中將單個(gè)代碼給予經(jīng)過壓縮的視頻數(shù)據(jù)信號(hào)。初看時(shí)，本發(fā)明似乎在視頻數(shù)據(jù)信號(hào)的編碼中增添了不必要的復(fù)雜度。
[0025]然而，發(fā)明人已認(rèn)識(shí)到:復(fù)用信號(hào)中的基本和輔助比特流的拆分和單獨(dú)封裝(即，在復(fù)用器中給予基本比特流和輔助比特流以單獨(dú)代碼)具有的結(jié)果是:一方面，常規(guī)視頻系統(tǒng)中的標(biāo)準(zhǔn)解復(fù)用器將通過基本比特流的代碼來識(shí)別基本比特流并將其發(fā)送至解碼器，以致標(biāo)準(zhǔn)視頻解碼器只接收基本流，而輔助流則不經(jīng)過解復(fù)用器，并且標(biāo)準(zhǔn)視頻解碼器因而能夠?qū)⑵湔_地處理為標(biāo)準(zhǔn)2D視頻數(shù)據(jù)信號(hào)；而另一方面，諸如3D系統(tǒng)之類的專用系統(tǒng)能夠在將原始的增強(qiáng)比特流發(fā)送到立體解碼器之前徹底地反轉(zhuǎn)編碼處理并且重新創(chuàng)建原始的增強(qiáng)比特流。
[0026]很多聲稱向后兼容的系統(tǒng)和方法固有地需要針對(duì)常規(guī)視頻系統(tǒng)進(jìn)行某種類型的適配，以便正確地分析輸入比特流，而如果沒有這樣的適配，那么正確的解碼是困難的或不可能的。發(fā)明人已認(rèn)識(shí)到，問題的根源在于:常規(guī)解碼器接收并非為其配備的增強(qiáng)視頻數(shù)據(jù)信號(hào)。即使針對(duì)解碼器進(jìn)行適配，但由于解碼器接收增強(qiáng)信號(hào)(并因而接收到比平常更多的比特)并且有可能因?yàn)闊o法處理增加的比特率而無法應(yīng)對(duì)增強(qiáng)的信號(hào)，因此問題還是會(huì)出現(xiàn)。針對(duì)標(biāo)準(zhǔn)解碼器的任何適配還必須是專門用于針對(duì)視頻數(shù)據(jù)信號(hào)的特定增強(qiáng)(3D，100Hz，高分辨率)，這種適配對(duì)其它增強(qiáng)來說未必發(fā)揮作用或者當(dāng)接收到非增強(qiáng)視頻數(shù)據(jù)信號(hào)時(shí)甚至?xí)共僮髁踊?br>[0027]在本發(fā)明中，基本和輔助比特流是單獨(dú)比特流，其中基本比特流是自包含比特流。這允許為基本比特流提供與標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)相對(duì)應(yīng)的代碼，而為一個(gè)或多個(gè)輔助比特流提供不被標(biāo)準(zhǔn)解復(fù)用器識(shí)別為標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)的代碼。在接收端上，標(biāo)準(zhǔn)的解復(fù)用器將基本比特流識(shí)別成標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)，并且將其傳遞到視頻解碼器。標(biāo)準(zhǔn)解復(fù)用設(shè)備將拒絕輔助比特流而不將其識(shí)別成標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)。視頻解碼器自身將只接收“標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)”。由視頻解碼器自身接收的比特量因而限于基本比特流，其中基本比特流是自包含的并采用標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)的形式，且它可以被標(biāo)準(zhǔn)視頻設(shè)備識(shí)別并具有標(biāo)準(zhǔn)視頻設(shè)備可以應(yīng)對(duì)的比特率。視頻解碼器不會(huì)由于它能夠處理的比特而過載。
[0028]由于基本比特流是自包含的，所以標(biāo)準(zhǔn)視頻解碼器能夠?qū)⑵浣獯a成標(biāo)準(zhǔn)解碼的視頻數(shù)據(jù)信號(hào)。