碼器只接收基本流，而輔助流則沒有經(jīng)過(guò)解復(fù)用器，且標(biāo)準(zhǔn)視頻解碼器因此能夠?qū)⑵渥鳛槔鐦?biāo)準(zhǔn)2D視頻數(shù)據(jù)信號(hào)和/或標(biāo)準(zhǔn)50Hz視頻數(shù)據(jù)信號(hào)之類的標(biāo)準(zhǔn)視頻數(shù)據(jù)信號(hào)或者具有基本分辨率的信號(hào)來(lái)正確處理，而另一方面，諸如3D系統(tǒng)或10Hz顯示系統(tǒng)之類的專用系統(tǒng)或者高分辨率視頻解碼器可以在將比特流發(fā)送到例如立體解碼器、10Hz解碼器或HTV解碼器之前徹底反轉(zhuǎn)編碼處理并且重新創(chuàng)建原始的增強(qiáng)比特流。
[0051]在本發(fā)明的方法的實(shí)施例中，視頻數(shù)據(jù)信號(hào)被編碼，經(jīng)過(guò)編碼的視頻數(shù)據(jù)信號(hào)包括具有幀的第一視圖和至少第二視圖，其中第一和第二視圖的幀被交錯(cuò)以形成交錯(cuò)視頻序列，此后該交錯(cuò)視頻序列被壓縮，其中第一視圖的幀不使用第二視圖的幀被編碼和壓縮，且第二視圖的幀使用第一視圖的幀來(lái)編碼和壓縮，并且其中經(jīng)過(guò)壓縮的增強(qiáng)視頻數(shù)據(jù)信號(hào)被拆分成基本比特流和輔助比特流，每一個(gè)比特流都包括幀，其中基本比特流包括視圖中的第一個(gè)視圖的經(jīng)過(guò)壓縮的幀，而輔助比特流包括視圖中的第二個(gè)視圖的幀，基本比特流和輔助比特流形成單獨(dú)的比特流，此后基本比特流和輔助比特流被復(fù)用成復(fù)用信號(hào)，基本比特流和輔助比特流被提供有單獨(dú)的代碼。
[0052]圖3A和3B示出本發(fā)明上述實(shí)施例的方法以及編碼系統(tǒng)和解碼系統(tǒng)。圖3A示出其中使用了本發(fā)明的編碼系統(tǒng)7和本發(fā)明的解碼系統(tǒng)8的情形，編碼和解碼系統(tǒng)的特征用虛線矩形中的元件示意性顯示出。圖3B示出其中使用了標(biāo)準(zhǔn)解碼器的情形。
[0053]左視圖和右視圖的幀在VI中進(jìn)行交錯(cuò)以提供組合的信號(hào)。組合的信號(hào)與2D信號(hào)相似。2D視頻編碼器5編碼并壓縮所組合的交錯(cuò)信號(hào)。該壓縮的特殊特征在于:這些視圖的一個(gè)視圖的幀形成自包含系統(tǒng)，也就是說(shuō)，在壓縮中沒有來(lái)自其它視圖的信息用于該壓縮。其它視圖的幀是使用來(lái)自第一視圖的幀的信息來(lái)壓縮的。本發(fā)明與平等對(duì)待兩個(gè)視圖的自然趨勢(shì)相背離。實(shí)際上，在壓縮期間，這兩個(gè)視圖不是被平等地對(duì)待。這些視圖中的一個(gè)變?yōu)榛疽晥D，對(duì)其而言在壓縮期間不使用來(lái)自其它視圖的信息，另一個(gè)視圖是輔助視圖?；疽晥D的幀和輔助視圖的幀由比特流拆分器BSS拆分成基本比特流和輔助比特流。編碼系統(tǒng)包括復(fù)用器MUX,該復(fù)用器為基本比特流分配對(duì)于標(biāo)準(zhǔn)視頻可識(shí)別為視頻比特流的代碼，例如用于MPEG的0x01或用于H.264的OxlB，以及為輔助流分配不同的代碼，例如0x20。經(jīng)過(guò)復(fù)用的信號(hào)被傳輸(T)。在圖3A中，該信號(hào)由根據(jù)本發(fā)明的解碼系統(tǒng)接收。該解復(fù)用器識(shí)別這兩個(gè)比特流0x01或OxlB (對(duì)于基本比特流)以及0x20 (對(duì)于輔助比特流)，并且將其二者發(fā)送到比特流合并器(Bit Stream Merger) (BSM)，該比特流合并器將再次合并基本和輔助比特流，并且在解碼器中通過(guò)反轉(zhuǎn)編碼方法來(lái)解碼這個(gè)組合視頻序列。與3D顯示設(shè)備相結(jié)合的解碼系統(tǒng)8形成了根據(jù)本發(fā)明的顯示設(shè)備的示例。
[0054]圖3B示出由標(biāo)準(zhǔn)視頻系統(tǒng)9接收復(fù)用信號(hào)時(shí)的情形。該標(biāo)準(zhǔn)解復(fù)用器將比特流0x01或OxlB識(shí)別為視頻數(shù)據(jù)信號(hào)，并且將其傳輸?shù)綐?biāo)準(zhǔn)解碼器。比特流0x20未被識(shí)別并被拒絕，在圖3B中這是通過(guò)將比特流發(fā)送到垃圾桶WB來(lái)示意性指示的。解碼器接收的信號(hào)具有標(biāo)準(zhǔn)解碼器可以處理的比特率，并且采用標(biāo)準(zhǔn)解碼器可以管理的形式。
[0055]由于基本比特流OxlB是完全自包含的信號(hào)，所以當(dāng)標(biāo)準(zhǔn)2D視頻系統(tǒng)顯示基本信號(hào)的視圖時(shí)，與圖2的方法相關(guān)聯(lián)的問題并未出現(xiàn)。因此，圖3的方法是2D向后兼容的。
[0056]與單獨(dú)壓縮兩個(gè)視圖相比，本發(fā)明的編碼方法允許降低比特率。因此，實(shí)現(xiàn)了比特流的降低以及2D后向兼容性。
[0057]圖4示出了均由幀O?7組成的左(L)和右(R)兩個(gè)視圖交錯(cuò)成具有幀O?15的交錯(cuò)組合信號(hào)。在圖像處理中，信號(hào)交錯(cuò)是眾所周知的處理。
[0058]圖5示出了使用分層次B幀的所謂的二階時(shí)間結(jié)構(gòu)。在正常的視頻處理中，通常會(huì)利用不同類型的幀I幀、B幀和P幀。一些幀需要其它幀來(lái)進(jìn)行編碼。在圖5所描述的方案中，用箭頭指示了在其它幀的編碼和壓縮中使用了哪些幀。在這些方案中，在編碼/壓縮B1幀中使用了 I /匕幀，在編碼/壓縮B 2幀中使用了 B i幀，以及在編碼/壓縮B 3幀中使用了 B2幀。因此，存在分層結(jié)構(gòu)，其中最低水平的分層是B3幀。B3幀需要待編碼(或者在接收機(jī)端上被解碼)的更高水平分層幀(ItlAV B1, B2),但這些B3幀自身并不是編碼或解碼更高水平分層幀所需要的。
[0059]當(dāng)圖4的交錯(cuò)方案與圖5的相關(guān)方案(dependency scheme)相結(jié)合時(shí)，變得明顯的是:其中一個(gè)視圖(左視圖或右視圖)的幀對(duì)應(yīng)于BjK平分層上的幀，且其他視圖的幀對(duì)應(yīng)于更高水平的分層。該視圖不需要其它視圖的幀被解碼，且由此是自包含信號(hào)。在圖5中，這與沒有從^幀到任何82』1或I c/匕幀的箭頭的事實(shí)是對(duì)應(yīng)的。其它視圖的幀(B3)不形成自包含信號(hào)，所述視圖需要自包含視圖的信息進(jìn)行解碼。這些^幀可以是相互依賴的。
[0060]通過(guò)交錯(cuò)左視圖和右視圖的幀且隨后使用為其中一個(gè)視圖提供一個(gè)自包含信號(hào)的壓縮方案來(lái)壓縮這些幀，并且隨后將該信號(hào)再次拆分為基本比特流(包含自包含信號(hào))和輔助比特流(包含非自包含信號(hào))，在提供完全可操作的2D后向可兼容信號(hào)的同時(shí)實(shí)現(xiàn)比特率降低。比特流拆分器通過(guò)將第一視圖的所有訪問單元(訪問單元包含用于至少幀的數(shù)據(jù))級(jí)聯(lián)(concatenate)在基本流中來(lái)創(chuàng)建基本流(OxlB)，并且通過(guò)將第二視圖的所有訪問單元(AU)級(jí)聯(lián)在輔助比特流中來(lái)創(chuàng)建輔助流。然后，該復(fù)用器為基本和輔助流指定(分配)不同的代碼。
[0061]圖6示出用于比特流拆分器的示例性圖表。這提供了可與AVC (高級(jí)視頻編碼)編碼方案相兼容的比特流拆分機(jī)制。在AVC編碼方案中可以給出SEI消息。“立體視頻信息”SEI消息包含關(guān)于所執(zhí)行的交錯(cuò)的信息，使得在接收端上的立體解碼器能夠?qū)⒁粋€(gè)視圖與另一個(gè)視圖區(qū)分開來(lái)并執(zhí)行解交錯(cuò)。
[0062]在本發(fā)明的這個(gè)實(shí)施例中，SEI消息是在編碼系統(tǒng)內(nèi)被使用的。
[0063]在步驟60，獲取訪問單元。
[0064]在第一步驟61，檢查當(dāng)前訪問單元是否包含SEI消息。
[0065]如果訪問單元不包含SEI消息，那么在這個(gè)特定示例中將從先前接收的信息中推斷出該訪問單元所屬于的集合的幀的信息。舉個(gè)例子，如果先前接收的信息是“如果一個(gè)訪問單元屬于集合A，則下一個(gè)訪問單元屬于集合B”，則不需要為每一個(gè)訪問單元提供SEI信息。
[0066]如果訪問單元確實(shí)包含SEI消息，則在步驟62中對(duì)照先前的SEI消息來(lái)檢查該SEI消息的有效性。
[0067]SEI消息給出關(guān)于交錯(cuò)的信息，其通常是已知序列。如果SEI消息是無(wú)效的，則存在錯(cuò)誤63。
[0068]如果SEI消息是有效的，則執(zhí)行下一個(gè)步驟64。
[0069]對(duì)每一個(gè)訪問單元來(lái)說(shuō)，或借助于沒有SEI消息或者訪問單元具有有效的SEI消息的事實(shí)，相關(guān)的交錯(cuò)信息現(xiàn)在是可得到的，其中在沒有SEI消息的情況下，SEI消息相對(duì)于先前的訪問單元而言沒有改變。
[0070]在接下來(lái)的步驟64，檢查該訪問單元是否形成基本視圖的一部分，如果是這樣的話，則在步驟65中將其附加到基本視圖比特流，否則在步驟66中將其附加到輔助視圖視頻比特流。很明顯，該順序(序列)可以被反轉(zhuǎn)。一旦處理了訪問單元并且將其附加到基本或輔助比特流，則在步驟67中獲取下一個(gè)訪問單元并重復(fù)該處理。應(yīng)該注意，圖6是拆分器的示例性實(shí)施例。編碼信號(hào)可以采用多種方式來(lái)拆分。例如，如果使用固定序列來(lái)編碼，那么有關(guān)拆分的信息可以是隱性的，或者比如，如果使用了 NAL代碼或其組合的SEI消息，那么該信息可以是顯性的。雖然與本發(fā)明不相關(guān)，但除了 SEI縮寫之外，訪問單元O和8中的各種縮寫代表:
-SPS:序列參數(shù)集合 -PPS:畫面參數(shù)集合 -1DR:即時(shí)解碼器刷新 -Slice:MB (宏塊16X16個(gè)像素)群組 -SE1:補(bǔ)充增強(qiáng)信息。
[0071]圖7示出單個(gè)編碼比特流及其拆分版本的示例。應(yīng)該指出，包含視頻信息的訪問單元O和8是基本比特流的組成部分。用于該基本比特流的所有訪問單元(AU8、AU0、AU4、AU2、AU6)具有與其中一個(gè)流、自包含信號(hào)相對(duì)應(yīng)的SEI消息，其它訪問單元具有與輔助比特流有關(guān)的SEI消息。
[0072]舉例來(lái)說(shuō)，由于MPEG-2傳輸流(廣播應(yīng)用)中或MPEG-4文件格式(文件存儲(chǔ)應(yīng)用)中的DTS (解碼時(shí)間戳)標(biāo)記，這兩個(gè)比特流在系統(tǒng)級(jí)上保持同步。系統(tǒng)級(jí)上的語(yǔ)法元素可以用于表明:輔助比特流依賴于基本比特流。
[0073]需要注意，輔助流本身不再是有效的流。這一般不會(huì)是問題。萬(wàn)一出現(xiàn)問題，則可以將空幀插入輔助流，這幾乎不會(huì)增大比特率。在合并處理之前，這些空幀將必須首先被移除。
[0074]在實(shí)施例中，可以進(jìn)行基本和輔助信號(hào)的規(guī)則改變。在該方法中，兩個(gè)視圖不被同等地對(duì)待；第一視圖是自包含視圖，而第二視圖是從第一視圖導(dǎo)出。這會(huì)導(dǎo)致左視圖和右視圖之間存在小的質(zhì)量差別，這可能在時(shí)間上導(dǎo)致接收?qǐng)D像的左眼和右眼的略微不同的行為。例如，在場(chǎng)景變換時(shí)，通過(guò)有規(guī)律地將基本視圖從左改變到右，可以避免出現(xiàn)這種情況。
[0075]在實(shí)施例中，對(duì)于基本和輔助比特流、在3D示例中的基本和輔助視圖來(lái)說(shuō)，壓縮的量化因數(shù)可以不同。特別地，當(dāng)存在更多的輔助視圖時(shí)，如下文所解釋的，與輔助視圖相比，為基本視圖指定(分配)更多的帶寬可能是有用的。
[0076]圖8?10示意性示出現(xiàn)有技術(shù)和本發(fā)明。參見圖8，在現(xiàn)有技術(shù)中，視頻編碼器對(duì)視頻數(shù)據(jù)信號(hào)進(jìn)行編碼，音頻編碼器對(duì)音頻信號(hào)進(jìn)行編碼，其中本示例中的視頻編碼器是AVC (高級(jí)視頻編碼)視頻編碼器Venc。復(fù)用器MUX產(chǎn)生復(fù)用信號(hào)，其中該視頻比特