專利名稱：立體視頻序列編碼系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及一種用于編碼和解碼對偶節(jié)目(dual program)圖像序列的過程和系統(tǒng)，更具體地說，本發(fā)明涉及一種用于對一個視頻信號上的圖像序列信號進行壓縮并解碼所述一個視頻信號，以便以多種取景格式(viewing format)，再現(xiàn)兩個圖像序列節(jié)目或三維立體節(jié)目的過程和系統(tǒng)。盡管將參考諸如電影的三維立體節(jié)目的處理過程對本發(fā)明進行說明，但是應(yīng)該認為在本發(fā)明的范圍內(nèi)，可以應(yīng)用于對任何視頻序列對進行處理，而不考慮每個序列的相應(yīng)視頻內(nèi)容的任何差別。應(yīng)該明白，在本說明中，正如可互換使用術(shù)語“編碼”和“壓縮” 一樣，可互換使用術(shù)語“解碼”和“解壓縮”。
背景技術(shù)：
自從1947年發(fā)明了立體照相機，已經(jīng)開發(fā)了幾種系統(tǒng)，以通過再現(xiàn)觀眾的左眼要觀看的第一節(jié)目序列并再現(xiàn)僅由觀眾的右眼觀看的、同時相對于第一圖像序列存在視差的、同一個場景圖像的第二序列，從而復(fù)制自然三維視覺的原理，使觀眾觀看三維(3D)節(jié)目。從1950年開始，制作了許多電影，通過利用對偶攝像頭系統(tǒng)攝取時間同步而具有視差的立體像，以在再現(xiàn)時使觀眾感覺到深度效果，從而提供更完整、刺激的視覺體驗。當(dāng)前，家庭影院系統(tǒng)迅速滲透到家用市場，而且非常復(fù)雜，根據(jù)家庭對高質(zhì)量電影體驗的需求，普遍使用高質(zhì)量系統(tǒng)。然而，現(xiàn)有的立體再現(xiàn)系統(tǒng)仍不如觀眾所望，而且仍不能集成到市售的最高級家庭影院系統(tǒng)中。原因主要在于，圖像質(zhì)量較差(衰落顏色和/或階梯對角)以及因為通常閃爍和缺少空間真實感產(chǎn)生的疲勞和不舒服。的確，由于利用用于一個視頻節(jié)目放映的設(shè)備，例如電視機，放映兩個不同節(jié)目，所以兩個視頻信號之間共享技術(shù)資源導(dǎo)致喪失圖像空間分辨率和閃爍，因為對于每個眼睛的幀顯示速率以及像域與黑色背景之間的對比度降低了一半?，F(xiàn)有的典型立體再現(xiàn)技術(shù)包括對交錯視頻信號的偶數(shù)行掃描場上的第一圖像序列信息以及該信號的奇數(shù)行掃描場上的第二圖像序列信息進行編碼。在回放時，在顯示偶數(shù)行期間，利用遮光眼鏡(shutterspectacle)遮擋觀眾的眼睛之一，而在顯示奇數(shù)行期間，遮擋觀眾的另一只眼睛。由于通常在兩個連續(xù)的l/60s的掃描周期內(nèi)，顯示包括偶數(shù)行和奇數(shù)行的正常圖像，所以每只眼睛分別觀看立體節(jié)目，因為l/60s圖像序列之后是l/60s的截止周期，以使每只眼睛每秒觀看30幀(fps)。此外，通過使圖像行與黑色行(black line)交替，形成每個再現(xiàn)圖像。顯然，這樣再現(xiàn)的、喪失了其一半拓撲信息而且占空因數(shù)為50%(在空間和時間方面)的立體圖像導(dǎo)致亮度降低而且閃爍，正如經(jīng)驗已經(jīng)確定的那樣。這些局限性、缺陷以及缺點的解決方案是以至少60fps (每只眼睛每秒觀看30全幀)的速率顯示整個立體圖像，這樣所需的帶寬通常至少是非立體(平面)節(jié)目所需信號帶寬的兩倍。在在顯示的圖像與環(huán)境照明之間顯示較高對比度的室內(nèi)，消除閃爍進一步要求最高120Hz的垂直掃描(以及遮光眼鏡)頻率，以便對每只眼睛每秒顯示至多60全清晰度圖像。在不廣泛使用這種頻率時，利用當(dāng)前制造的、每個分別以30fps的連續(xù)速率接收立體節(jié)目的第一圖像序列和第二圖像序列的兩個數(shù)字視頻投影儀，可以無閃爍顯示立體節(jié)目。利用光學(xué)方法，對每個投影儀的輸出進行濾光，以在噴涂銀的特殊屏幕上，以良好時間同步，配準產(chǎn)生垂直和水平偏光輸出投影圖像。觀眾可以佩戴包括不同偏光玻璃的護目鏡，以表現(xiàn)三維效果。顯然，該解決方案非常昂貴，而且不能滿足家庭影院系統(tǒng)的市場預(yù)期。然而，現(xiàn)在在市售采用DLP (數(shù)字光處理)技術(shù)的非?？焖俣逸^有力投影儀，該投影儀可以提供至多120fps的顯示速率，因此一個投影儀可以以足夠高的速率交替顯示立體序列，從而即使在高對比度環(huán)境下，仍可以基本消除閃爍。此外，高端CRT投影儀和計算機監(jiān)視器可以提供這種兼容清晰度和更新率。
然而，這種系統(tǒng)的主要局限性在于，用于存儲和廣播視頻節(jié)目信息的大多數(shù)當(dāng)前標準將全幀圖像的流速限制為30fps，30bps約是存儲和顯示初始包括兩個24(美洲運動圖像)、25 (PAL或SECAM)或30fps (NTSC視頻)節(jié)目的高質(zhì)量立體節(jié)目所要求能力的一半。此外，由于始終以每秒24幀的速率捕獲和記錄運動圖像電影，所以必須解決使兩個24fpb節(jié)目包括在一個30fps信號中，然后為了分別以30至60fps的速率顯示兩個節(jié)目而擴展該信號，產(chǎn)生的問題。因此，3D家庭影院的未來取決于根據(jù)當(dāng)前制造的、用于處理利用諸如MAIN提問文件(profile)(與MVP相比)的MPEG — I或MPEG — 2 (運動圖像專家組)壓縮/解壓縮協(xié)議的協(xié)議壓縮和解壓縮的30fps信號的標準編碼器、播放器以及廣播設(shè)備，編碼和解碼立體視頻信號的能力，因此在整個過程中產(chǎn)生可忽略不計的信息丟失或失真。現(xiàn)有技術(shù)中有幾種技術(shù)描述了可以克服上述一個或者多個缺陷和局限性的解決方案。首先，根據(jù)24fbs交錯圖像序列，3:2下拉壓縮方法可以用于產(chǎn)生30fbs立體交錯信號。利用該方法，通過建立一個新圖像并在每4個原始序列圖像之后插入一個該新圖像，對原始圖像序列進行時間擴展。新圖像在一個域內(nèi)包括偶數(shù)行先前圖像，而在其另一個域內(nèi)包括奇數(shù)行的下一個圖像。顯然，原始節(jié)目的每個圖像分別包括第一域，包括部分左視圖像；以及第二域，包括立體節(jié)目的部分右視圖像。因此，根據(jù)24fps左眼序列和24fps的右眼序列，可以獲得30fps立體節(jié)目。然而，利用這種技術(shù)，所獲得的30fps節(jié)目過時了，而且顯示拓撲失真，因為屬于在不同時間捕獲的圖像的各行的特定圖像的組合。這樣產(chǎn)生糟糕的結(jié)果，缺少真實感，而且使觀眾的眼睛疲勞、不舒服。在用于顯示立體節(jié)目時，這種技術(shù)也存在與上面對交錯信號壓縮技術(shù)描述的相同的局限性和缺陷。此外，已經(jīng)開發(fā)了許多使用互相不兼容并要求不同傳輸(存儲或分配)格式(交錯的列、交錯的行、同時對偶顯示、頁閃爍、立體影片等)的不同輸入信號的立體顯示裝置。在允許進行2D觀看的同時，使立體視頻節(jié)目進入不同系統(tǒng)的解決方案將全部以現(xiàn)有格式同時廣播或者存儲在幾個物理介質(zhì)上。顯然，既不實際，又不經(jīng)濟。因此，未來的家用立體視頻需要能夠產(chǎn)生與當(dāng)前和未來立體顯示裝置兼容，并允許正常2D觀看的多種/通用立體輸出格式的立體視頻信號和視頻處理設(shè)備。許多專利還描述了減小通過具有30fps能力的一個頻道承載的2個30fps信號的壓縮技術(shù)，某些這種技術(shù)對于MPEG壓縮/解壓縮過程是顯而易見的。然而，這些技術(shù)不能在保持圖像質(zhì)量并提供舒服觀看感受的同時，為了產(chǎn)生丟失的幀，將例如24fps序列變換為30fps，或者將30fps序列變換為48、60、72、96或120fps序列，而根據(jù)需要特征化時間內(nèi)插。此外，它們不能由同樣的視頻信號和視頻處理設(shè)備，產(chǎn)生多種立體輸出格式。例如1997年5月6日授予Muramoto等人的第5，626，582號美國專利描述了一種基于時間的壓縮方法，在該方法中，以給定的時鐘頻率數(shù)字化兩個30fps視頻信號并將它存儲到DRAM存儲器中。然后，以兩倍的寫頻率讀該存儲器，可以以1/30的間隔，并置1/30時間周期的兩個采樣。然而，根據(jù)選擇的采樣頻率，最終信號或者丟失清晰度，因為在一個數(shù)字數(shù)據(jù)上排列兩個相鄰像素的信息，或者超過諸 如DVD或廣播頻道的數(shù)據(jù)存儲介質(zhì)的容量。該發(fā)明還不能根據(jù)給定的原始格式，產(chǎn)生多個輸出格式，而且為了重構(gòu)原始序列需要2個并聯(lián)電路。此外，在Briede提交的、于1997年11月20日公開的第W097/43863號國際申請中，對根據(jù)圖像的第一序列和第二序列的圖像進行十取一處理，并利用2個連續(xù)原始行的互補像素，重定向各像素，以形成一行，然后，從左眼和右眼交錯新產(chǎn)生的行以形成要通過頻道發(fā)送的組合立體圖像序列。在接收端，從立體圖像序列多路分解并列域(juxtaposedfield)，然后，將并列域發(fā)送到用于同時復(fù)原像素并重新產(chǎn)生其相應(yīng)立體視頻序列(右和左)的丟失圖像單元的并聯(lián)擴展電路。然后，將這樣重構(gòu)的第一和第二圖像序列輸出到兩個用肉眼觀看的顯示器。盡管這種技術(shù)提供了一種用于空間壓縮/解壓縮全幀的感興趣方法，但是為了利用有限容量頻道(傳送介質(zhì))進行存儲或分布，它未解決將兩個24或25fps圖像序列變換為30fps立體序列或者升高回放速率以防止閃爍的問題。此外，該方法不允許利用一個顯示監(jiān)視器或投影儀，通過時間排序重新建立的第一和第二圖像序列，以包括頁面交換(pageflipping)模式的其它立體格式進行回放。此外，關(guān)于上面的例子，再要求兩個并聯(lián)電路對兩個圖像序列進行重構(gòu)處理，因為在重構(gòu)圖像之前，首先必須對該信號進行第一多路分解。盡管上面的例子說明已知用于將兩個視頻信號或圖像序列編碼為一個信號并用于解碼這種合成信號，以順序檢索原始信號或序列的不同方法和系統(tǒng)，然而，現(xiàn)有技術(shù)的這些方法和系統(tǒng)沒有提供，例如根據(jù)滿足3D電影再現(xiàn)的家庭影院市場的需要，利用一個頻道和當(dāng)前制造的傳統(tǒng)記錄、回放以及顯示設(shè)備，可以進行高保真記錄、廣播和回放兩個24fps運動圖像電影以及25或30fps立體視頻節(jié)目的功能系統(tǒng)的重要特征。因此，需要一種可以容易地仍以可承受成本利用現(xiàn)有家庭影院裝置提供高質(zhì)量立體再現(xiàn)，同時允許以多種輸出格式回放特定立體視頻傳送信號的新穎立體節(jié)目編碼和回放方法和系統(tǒng)。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種用于解碼編碼圖像流的方法，所述圖像流包括多個幀，每個幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包括步驟(a)接收每個合并圖像；(b)將原始輸入信號中的時鐘域變更為內(nèi)部域；(C)對于每個合并圖像，將至少兩個相鄰像素裝入輸入緩沖器，并內(nèi)插中間像素，以根據(jù)所述相鄰像素的出處，形成重構(gòu)左幀和重構(gòu)右?guī)?；以?d)根據(jù)所述左圖像幀和右圖像幀，重構(gòu)立體圖像流。
本發(fā)明還提供了一種用于解碼編碼圖像流的系統(tǒng)，該系統(tǒng)包括(a)輸入端，用于接收壓縮圖像流；(b)空間內(nèi)插模塊，可操作地連接到所述輸入端，用于將每個合并圖像空間內(nèi)插到重構(gòu)右?guī)椭貥?gòu)左幀內(nèi)；(C)輸入存儲控制器；(d)右與左存儲器緩沖區(qū)，用于存儲所述重構(gòu)右?guī)椭貥?gòu)左幀；(e)輸出存儲控制器；·
(f)速率控制器；(g)同步模塊，用于使立體顯示裝置同步；以及(h)輸出端，用于輸出重構(gòu)右圖像和重構(gòu)左圖像流。更具體地說，本發(fā)明的系統(tǒng)和方法包括步驟I 一利用拓撲方法，將具有第一顯示速率的第一和第二運動圖像序列十取一為減少的鑲嵌(mosaics)，以形成具有第二顯示速率的第三圖像序列的相鄰域，該第二顯示速率比所述第一顯示速率小兩倍。2 一通過數(shù)據(jù)傳送介質(zhì)，編碼并傳送所述第三圖像序列；3 一從所述數(shù)據(jù)傳送介質(zhì)上檢索所述第三圖像序列；以及4 —利用拓撲方法，內(nèi)插所述第三圖像序列的各域中的減少的圖像，以從本質(zhì)上重新建立所述第一和第二圖像序列的圖像。該過程優(yōu)選地包括附加步驟5，其中按時間排序所述第一和第二重新建立圖像序列，以形成輸出圖像序列，該輸出圖像序列分別由所述第一和第二重新建立圖像序列(頁面交換模式)中的連續(xù)交替圖像構(gòu)成。根據(jù)第一和第二重新建立圖像序列的實時交替讀取模式，可以設(shè)置輸出序列格式，以便與頁面交換、行交叉、列交叉、立體影片或二維顯示模式一致。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中步驟4進一步包括通過時間內(nèi)插重新建立的第一和第二圖像序列的連續(xù)圖像，建立新圖像對，并將每個所述時間內(nèi)插圖像對中的一個圖像內(nèi)插到每個所述第一和第二重新建立圖像序列中，從而提高其顯示速率。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中步驟4進一步包括重復(fù)圖像對，以形成所述第一和第二重新建立圖像序列，從而提高其顯示速率。還公開了根據(jù)本發(fā)明的處理過程的另一個實施例，其中在執(zhí)行上述處理過程的步驟I之前，通過插入新時間內(nèi)插(建立的)的或重復(fù)(讀取兩次)的圖像對，第一和第二運動圖像序列具有升高的顯示速率。根據(jù)本發(fā)明的另一個實施例，所述輸出圖像序列具有每秒R個圖像的常規(guī)顯示速率，而且所述輸出圖像序列包括從第一和第二圖像序列開始的每秒12個圖像、從第一和第二圖像序列的減小鑲嵌開始空間內(nèi)插的每秒36個圖像以及R — 48個插入圖像。插入圖像可以是重復(fù)圖像或時間內(nèi)插圖像。如果R等于每秒96個圖像，則所述輸出圖像序列包括第一和第二圖像序列中的每秒12個圖像、從第一和第二圖像序列的減小鑲嵌開始空間內(nèi)插的每秒36個圖像，每個圖像被重復(fù)兩次。根據(jù)本發(fā)明的又一個實施例，所述輸出圖像序列具有每秒R個圖像的常規(guī)顯示速率，而且所述輸出圖像序列包括從第一和第二圖像序列的減小的鑲嵌開始空間內(nèi)插的每秒60個圖像以及R — 60個插入圖像。插入圖像可以是重復(fù)圖像或時間內(nèi)插圖像。如果R等于每秒120個圖像，作為所述輸出圖像序列包括重復(fù)兩次的60個空間內(nèi)插圖像。還公開了一種根據(jù)本發(fā)明的系統(tǒng)，該系統(tǒng)包括數(shù)字視盤播放器、解碼器以及視頻顯示裝置，其中所述解碼器從視盤播放器接收表示具有左域和右域的圖像序列的信號，左域和右域分別表示減小的圖像鑲嵌；利用拓撲方法，從所述圖像序列的各域開始內(nèi)插減小的圖像鑲嵌，以形成第一序列和第二序列的重新建立圖像；通過時間內(nèi)插重新建立的第一和第二圖像序列的連續(xù)圖像，建立新圖像；按時間排序重新建立的圖像和建立的圖像，以形成輸出圖像序列，該輸出圖像序列包括從每個所述第一和第二重新建立圖像序列開始的連續(xù)交替圖像；以及將表示所述輸出圖像序列的信號輸出到所述視頻顯示裝置。通過閱讀下面的詳細說明，更加容易明白，本發(fā)明克服了上述現(xiàn)有技術(shù)解決方案的局限性和缺陷，著重指出下面的內(nèi)容以及其它優(yōu)點特征 一本發(fā)明提供了一種編碼方法和實現(xiàn)這種方法的系統(tǒng)，該方法和系統(tǒng)可以以適于存儲到傳統(tǒng)數(shù)字視盤(DVD)上的格式，壓縮兩個24或30fps圖像序列或者利用傳統(tǒng)設(shè)備進行廣播，而不顯著感覺到丟失了空間信息和時間信息。一本發(fā)明提供了一種回放方法和系統(tǒng)，通過以漸進模式或交錯模式，重構(gòu)原始序列并使顯示速率從24到60提高每只眼睛每秒的全分辨率圖像，該回放方法和系統(tǒng)以高視覺質(zhì)量再現(xiàn)立體節(jié)目。一本發(fā)明提供了一種編碼和回放方法以及系統(tǒng)，該方法和系統(tǒng)的特征在于，與市售的數(shù)據(jù)存儲介質(zhì)回放設(shè)備以及顯示設(shè)備完全兼容，更具體地說，與MPEG主視圖提問文件壓縮/解壓縮協(xié)議以及商業(yè)電路兼容。一本發(fā)明提供了一種立體節(jié)目回放方法和系統(tǒng)，該方法和系統(tǒng)提供通用輸出信號，可以直接使用該通用輸出信號，或者對該通用輸出信號進行變換，以利用諸如頭戴顯示器(HMD)、IXD、DLP以及CRT背投或正投TV的現(xiàn)有技術(shù)進行再現(xiàn)，利用遮光眼鏡、偏振護目鏡或立體影片眼睛，直接觀看在任何通用標準(NTSC、PAL、SECAM、SDTV, HDTV等)下工作的TV和計算機監(jiān)視器。一本發(fā)明提供了一種編碼和回放方法和系統(tǒng)，該方法和系統(tǒng)可以消除或者顯著減少利用現(xiàn)有技術(shù)方法和設(shè)備觀看立體電影時遇到的閃爍(flicking)和疲勞。一本發(fā)明還提供了一種可以編碼和解碼可能表示不同的無關(guān)場景的兩個獨立圖像序列的方法和系統(tǒng)。


圖Ia是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體圖像序列的原理圖，將該立體圖像序列存儲到數(shù)據(jù)存儲介質(zhì)或通過一個頻道廣播該立體圖像序列。圖Ib是用于說明解碼并回放先前利用諸如圖Ia所示系統(tǒng)編碼的立體圖像序列的過程的根據(jù)本發(fā)明系統(tǒng)的原理圖。圖2a是利用拓撲方法分離為兩個互補鑲嵌圖像單元以形成合并圖像60的域A和域B的部分數(shù)字化圖像60的原理圖。
圖2b是利用拓撲方法十取一(decimate)為減少鑲嵌以分別形成合并圖像60的域A和域B的兩個數(shù)字化圖像50和50’的一部分的原理圖。圖2c是空間內(nèi)插一對包括在合并圖像60上的十取一圖像以重新建立兩個清晰度圖像72和72的過程的原理圖。圖2d是在具有時間延遲的情況下，根據(jù)兩個圖像50. 4和50. 5建立新圖像52的時間內(nèi)插過程的原理圖。圖3a是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體組合圖像序列的壓縮過程的第一實施例的原理圖。圖3b是根據(jù)本發(fā)明用于重構(gòu)并時間擴展先前根據(jù)圖3a所示過程編碼的立體圖像序列的解壓縮過程的第一實施例的原理圖。圖4a是根據(jù)本發(fā)明用于將兩個平面圖像序列壓縮編碼為立體圖像序列的壓縮過程的第二實施例的原理圖。圖4b是根據(jù)本發(fā)明用于重構(gòu)并時間擴展先前根據(jù)圖4a所示過程編碼的立體圖像序列的解壓縮過程的第二實施例的原理圖。
圖5是根據(jù)本發(fā)明優(yōu)選實施例的解碼器的原理圖。在各附圖中，同樣的參考編號表不同樣的部件。
具體實施例方式現(xiàn)在，將參考附圖詳細說明根據(jù)本發(fā)明用于編碼并回放立體視頻序列的方法及其相關(guān)系統(tǒng)的優(yōu)選實施例。參考圖1，圖I示出根據(jù)本發(fā)明建立的用于將兩個平面圖像序列壓縮編碼為立體圖像序列的典型系統(tǒng)。將攝像機3和6表示的第一和第二圖像序列源存儲到公用或各自的數(shù)字數(shù)據(jù)存儲介質(zhì)4和7內(nèi)。作為一種選擇，根據(jù)數(shù)字化電影片或者存儲在數(shù)字數(shù)據(jù)存儲介質(zhì)上的或者基于微處理器的系統(tǒng)作為適于讀取的數(shù)字視頻信號實時輸入的任何其它數(shù)字圖像文件源，可以提供圖像序列。在其中其相應(yīng)捕獲圖像序列對并列場景100顯示不同視圖的位置示出攝像機3和6，根據(jù)立體原理，刺激觀眾的左眼和右眼的感覺。因此，正確再現(xiàn)第一和第二捕獲圖像序列可以使觀眾感覺到場景100的三維視圖。然后，利用諸如5和8的處理器，將通常在諸如Betacam 4:2:2(運動圖像)的24fps數(shù)字Y U V格式下可用的存儲的數(shù)字圖像序列變換為RGB格式，并將它們送到運動圖像混合單元I的輸入端29和30，運動圖像混合單元I是本發(fā)明的編碼系統(tǒng)的主要部件。然而，應(yīng)該注意，為了降低成本，根據(jù)時間共享原則，公用處理器可以交替變換兩個圖像序列?；旌掀鱅將這兩個平面RGB輸入信號壓縮為30fbs立體RGB信號，在輸出端31發(fā)送該立體RGB信號，然后，在輸出端32，處理器9將該立體RGB信號變換為betacam 4:2:2格式，接著，典型電路10將它壓縮為標準MPEG2位流格式。然后，可以將獲得的MPEG2編碼立體節(jié)目記錄到諸如數(shù)字視盤(DVD) 11上，或者利用例如發(fā)射機13和天線14，通過一個標準頻道廣播它。例如，替換節(jié)目傳送介質(zhì)可以是電纜分布網(wǎng)絡(luò)或互聯(lián)網(wǎng)?，F(xiàn)在參考圖lb，圖Ib示出根據(jù)本發(fā)明利用圖I所示系統(tǒng)解碼并回放被編碼或被廣播的立體節(jié)目的典型系統(tǒng)。立體DVD 11 (3DVD)包括由第一和第二圖像序列獲得的壓縮信息，利用當(dāng)前制造的傳統(tǒng)播放器15播放該立體DVD 11，將NTSC串行模擬信號送到立體圖像解碼器2的輸入端28，該立體圖像解碼器2是本發(fā)明的解碼/回放系統(tǒng)的主要部件。作為一種選擇，可以接收其模擬格式和數(shù)字格式的任何ATSC DTV信號。在輸出端23和24，解碼器2產(chǎn)生同步的RGB信號對，即第一和第二圖像序列，以驅(qū)動諸如頭戴顯示器(HMD) 16的對偶輸入立體順序顯示裝置。此外，解碼器2還在輸出端25產(chǎn)生時序立體RGB信號，以將它送到諸如投影儀17、IXD顯示器22、CRT監(jiān)視器或SDTV或HDTV 21的單輸入順序顯示裝置，從而以交替頁面交換模式，顯示由第一圖像序列和第二圖像序列獲得的圖像。作為一種選擇，可以將輸出端25輸出的立體RGB信號變換為待被模擬CRT電視機再現(xiàn)的或者處于其它立體格式的交錯NTSC信號(送到(ex):用于自動立體透鏡式顯示器的列交錯)。此外，·還在內(nèi)部這樣配置解碼器2，以在RGB輸出端23或24之一輸出立體RGB信號，因此可以刪除輸出端25。解碼器2還在輸出端26產(chǎn)生同步定時信號，以驅(qū)動紅外遮光眼鏡驅(qū)動器20，從而驅(qū)動眼鏡19。通過使觀眾利用一只眼睛看第一圖像序列的圖像，而利用其另一只眼睛看第二圖像序列的圖像進行交替觀看，觀眾可以佩戴遮光眼鏡19觀看例如立體輸出端25提供的、由投影儀17投影到屏幕18上的三維節(jié)目。如上所述，兩個原始圖像序列含有的信息太多，以致不能直接存儲到傳統(tǒng)DVD上，或者不能利用以30fps的速率處理信息的MPEG2或等效復(fù)用協(xié)議，通過傳統(tǒng)頻道進行廣播。因此，混合器I進行十取一處理，以將每個圖像的信息減半。現(xiàn)在，將參考圖2a和2b說明混合器I執(zhí)行的空間十取一處理過程。圖2a示出混合器I和解碼器2處理的RGB視頻信號確定的一部分圖像50?？梢钥闯?，圖像50包括多個像素(交替的實心點和空心點)。在RGB格式中，分別表示紅、綠和藍光強的3個數(shù)字數(shù)的矢量確定每個像素。本發(fā)明以3個相鄰像素在水平方向，或者在垂直方向具有不顯著不同的光強為根據(jù)。因此，有利的是，本發(fā)明便于進行可以將圖像的大小減小50 %而不顯著破壞圖像的壓縮，或者十取一，或者分離的處理過程。在原理圖中，圖2a示出這是如何實現(xiàn)的。如上所述，圖像50包括多個像素。將整個圖像上，在每行上從左到右，從上面的行到下面的行，以圖像的第一像素(行I的像素I)開始的、后面是第三像素等等的序列像素(利用黑點表示)設(shè)置到幀緩沖器的一半上，以形成鑲嵌A。將剩余的像素，即，偶數(shù)編號像素(利用實心點表示)設(shè)置在鑲嵌B上。在圖2a所示的例子中，所示的圖像50的兩個互補鑲嵌被分別存儲到公用合并圖像60的鑲嵌A和鑲嵌B上。然而，實際上，優(yōu)選地利用可以例如僅讀取奇數(shù)編號像素或偶數(shù)編號像素并將它們直接存儲到幀緩沖器內(nèi)的適當(dāng)硬件和軟件自動進行這種“分離”。正如圖2b更清楚地示出的那樣，通過僅保持諸如圖像50的第一序列(擴展的左眼序列)圖像的鑲嵌A以及諸如50’的第二序列(擴展右眼序列)圖像，基本上可以在空間上將圖像壓縮50%。當(dāng)?shù)谝缓偷诙蛄斜硎就粋€場景的不同視圖時，對每個序列保持不同類型的鑲嵌有助于在回放時具有更高保真度。作為一種選擇，對于兩個輸入序列，通過保存偶數(shù)編號圖像的鑲嵌A和奇數(shù)編號圖像的鑲嵌B，進行空間壓縮，因此可以根據(jù)可能以同一種壓縮格式存儲的不同類型的鑲嵌，重新建立同一只眼睛的兩個連續(xù)圖像。通過在某個時間將一個像素的數(shù)據(jù)輸入到三像素輸入緩沖器55中，可以完成上面的操作，如圖2b所示。然后，將像素信息傳送到一個或者多個(各)幀緩沖器的正確存儲位置，分別存儲它們以記錄不同合并圖像。使不同輸入圖像的鑲嵌成對并排連接在一起以形成諸如60的原始尺寸的新系列合并幀的兩個相鄰域(左域和右域)。在圖2b所示的例子中，當(dāng)前處理圖像50’，而在完成處理圖像50時，產(chǎn)生完成類型A鑲嵌，將該A鑲嵌存儲到合并圖像60的左域(A)中。然而，應(yīng)該指出，合并幀不必包括第一序列的圖像和第二序列的圖像，或者同時捕獲的圖像，根據(jù)對壓縮/編碼(混合)方法的優(yōu)選實施例進行詳細說明可以明白。事實上，在圖2a所示的例子中，合并圖像60的域A和域B分別填充同一個圖像50的鑲嵌A和鑲嵌B。盡管為了簡化說明而選擇這種情況，而且這種情況對應(yīng)于根據(jù)在此設(shè)想的本發(fā)明實施例之一的實際情況，應(yīng)該相信，諸如60的合并圖像可以包括由輸入圖像之任一產(chǎn)生的鑲嵌。并排壓縮傳送格式最明顯，而且在該處理過程中，不受用于特征化MPEG2主視圖下游協(xié)議的壓縮/解壓縮處理過程的影響。解碼合并圖像后，通過空間內(nèi)插由位于諸如60的合并圖像的域上的被壓縮的一半大小的圖像(鑲嵌)產(chǎn)生的丟失像素，可以重構(gòu)完整圖像。如圖2c所示，在將解碼器2解碼的輸入合并幀60的每個像素傳送到存儲器，或者從存儲器傳送出來時，優(yōu)選地實時完成該過程。如上所述，本發(fā)明系統(tǒng)的優(yōu)選地前提是相鄰像素的值不這樣不相同。因此，為了根據(jù)鑲嵌重構(gòu)圖像，對相鄰像素進行加權(quán)，以內(nèi)插丟失的像素。·
在本發(fā)明的優(yōu)選實施例中，將某個時間的一個像素的數(shù)據(jù)存儲到三像素輸入緩沖器65中。如圖所示，將輸入圖像60的陰影部分存儲到輸入緩沖器65中，將由同一個鑲嵌獲得的兩個相鄰像素識別為Pi和Pi+1。然后，作為相鄰像素(Pi和Pi+1)的RGB矢量的3個分量中每個分量的算術(shù)平均值，計算第三像素的數(shù)據(jù)P」。例如，如果像素Pi具有(10，O, 30)的光強矢量，而像素Pj具有(20，O, 60)的光強矢量，則作為(15，O, 45)計算像素P」。因此，兩個相同像素的平均值是另一個相同像素。根據(jù)諸如50的以使圖像序列產(chǎn)生鑲嵌后，該計算(拓撲內(nèi)插的)的像素代替在被十取一的丟失像素。然后，將原始像素和內(nèi)插像素存儲到幀緩沖器內(nèi)要重構(gòu)相應(yīng)圖像的正確存儲位置(本例中的圖像72)。通過合并圖像60的每行的中心(進入右域)，將數(shù)據(jù)存儲在第二幀緩沖器72’上，以根據(jù)存儲在立體圖像的右域上的鑲嵌重新建立圖像。從左到右，逐行進行該處理，直到在其相應(yīng)緩沖區(qū)中，在空間上重構(gòu)這兩個圖像。盡管上面的實施例內(nèi)插像素，作為鑲嵌的兩個相鄰像素的平均值，但是本發(fā)明不止對兩個像素進行加權(quán)。例如，如果要內(nèi)插像素P」，則可以對從鑲嵌開始的兩個或者3個前面的像素和后面的像素應(yīng)用不同系數(shù)。更具體地說，參考圖2c，可以利用
O.6Pi+1+0. 6Ρη-0. lPi+2-0. IP"，內(nèi)插P」。當(dāng)然，根據(jù)優(yōu)選結(jié)果，可以使用各種不同的系數(shù)和公式。此外，在同樣的處理過程之后，不進行水平內(nèi)插，而進行垂直內(nèi)插，或者組合進行水平內(nèi)插與垂直內(nèi)插。為了確保不閃爍觀看，該解碼方法進一步包括圖像序列的時域擴展(temporalexpansion)，正如下面所詳細說明的那樣。當(dāng)完全填充幀緩沖器，以便重新建立或者暫時內(nèi)插圖像(在重構(gòu)過程和重構(gòu)系統(tǒng)的任何實施例中均所需的幀緩沖器不超過4個。)時，根據(jù)不同模式讀取它們，以提供不同類型的要求輸出信號。附圖中的圖3a示出根據(jù)本發(fā)明的混合器I執(zhí)行的混合方法的第一實施例的原理圖，現(xiàn)在，將詳細說明該第一實施例。通過每隔原始序列50的四個圖像產(chǎn)生并插入新圖像52，第一次使被識別為LI至L4的RGB 24fps格式50的圖像的第一序列擴展25%，以形成諸如51的30fps的圖像序列。根據(jù)緊接在前圖像和在后圖像的拓撲信息，時間內(nèi)插(time-interpolated)新圖像52(右視圖像50的# 4和# 5)。以與上面說明的空間內(nèi)插技術(shù)相同的方式，利用在前圖像和狀態(tài)下中的相應(yīng)像素的算術(shù)平均值，計算新圖像52的每個像素。圖2d具體說明時間內(nèi)插過程，其中根據(jù)輸入圖像系列50的兩個時間連續(xù)圖像50. 4和50. 5，產(chǎn)生新圖像52。通常，根據(jù)該技術(shù)，完成產(chǎn)生本發(fā)明的新圖像的過程，從而與簡單重復(fù)各幀的例子相比，在回放時實現(xiàn)改進的保真度，這樣幾乎不需要處理功率。作為一種選擇，可以利用諸如基于運動預(yù)測方法的任何已知方法時間內(nèi)插圖像。然后，根據(jù)圖2b所示的技術(shù)，空間壓縮時間擴展序列51的圖像，并在下面的說明中詳細描述時間擴展序列51的圖像，以形成新序列53表示的鑲嵌。同樣，將第二輸入圖像系列50’時間內(nèi)插為30fps的序列51’，然后，將它空間壓縮為利用序列53’表示的鑲嵌。在該特定實施例中，分別使第一序列53和第二序列53’的壓縮圖像(鑲嵌)對連續(xù)，以形成30fps RGB序列60的合并圖像的左域和右域。將序列60編碼為流62，以傳送到遠程位置。值得注意的是，盡管圖3a示出原理圖，但是優(yōu)選地不并行而且不與長序列圖像一 起對圖像序列進行處理。實際上，在給定時間，僅緩存少量圖像，以便臨時內(nèi)插，根據(jù)第一和第二 (左和右)序列交替弓丨入圖像，而且與圖2b和2d所示處理步驟非常類似，逐個像素地對該圖像進行處理?，F(xiàn)在，將參考圖3b、2c和2d說明根據(jù)本發(fā)明第一實施例的解碼器2執(zhí)行的解碼過程和重構(gòu)過程。在圖3b所示的例子中，從DVD中讀取立體MPEG信號62，然后，DVD播放器15 (圖Ib)將它變換為模擬NTSC信號70，解碼器2輸入該模擬NTSC信號70。首先，將NTSC信號70變換為RGB格式，以再生諸如序列60的合并圖像。然后，通過空間內(nèi)插鑲嵌并逐個像素地使鑲嵌與序列60中的合并圖像的左域和右域分離，開始重構(gòu)第一和第二原始序列50、50’，正如上面參考圖2c所述，以諸如72和72’的30fps解壓縮緩沖圖像。因此，實際上，同時進行空間內(nèi)插和分離?？梢灾苯虞敵鯮GB圖像72和72’的序列，并將它顯示在對偶輸入裝置上，從而以60fps (每個眼睛30)的顯示速率，產(chǎn)生原始節(jié)目或立體節(jié)目信號。還可以進一步進行處理，從而以交錯方式或以序列(頁面交換模式)、立體影片、交叉的列、傳統(tǒng)2D模式等，使圖像序列顯示在多個現(xiàn)有單輸入顯示裝置上。然而，為了在觀看時舒服而且不疲勞，通過以每秒每只眼睛36全清晰度幀的典型速率提供輸出信號，解碼器2顯著減小閃爍，而利用高清晰度幀以每只眼睛30fps獲得滿意的結(jié)果，從而與例如SDTV或HDTV的更新速率匹配。相反，對于非常高保真度再現(xiàn)過程，解碼器2可以提供最高120fps (每只眼睛每秒60幅圖像)的輸出信號，然而，這種輸出與諸如DLP投影儀以及有限數(shù)量的高端裝置的顯示裝置兼容。根據(jù)經(jīng)驗，正如在此設(shè)想的那樣，如果在編碼/解碼過程中保持圖像質(zhì)量，則72fps的回放速率的效果非常好，該頻率是家庭影院系統(tǒng)當(dāng)前使用的大多數(shù)顯示裝置的標準頻率。因此，解碼器2執(zhí)行的回放處理優(yōu)選地包括用于提高序列72和72’的顯示速率的附加步驟。采用參考圖3a和2c對混合處理過程所做的描述中已經(jīng)說明的時間內(nèi)插技術(shù)，以規(guī)則間隔在圖像序列中插入附加圖像。利用混合時存儲到輸入序列60的空白行上的幀數(shù)信息，仔細控制插入位置。作為一種選擇，可以重復(fù)(讀兩次)序列72和72’中的圖像，以提高顯示速率。例如，可以讀取兩次該序列上的各圖像，以使顯示速率加倍。在圖3b所示的例子中，分別利用序列72和72’的圖像# 2和# 3中的信息時間內(nèi)插一個新中間圖像對73、73’，并將它插在圖像# 2與# 3之間，從而將獲得的序列74和74’的速率提高到36fps(對于立體節(jié)目總共72fps)。圖2c示出該過程的一部分，其中利用72. 2和72. 3識別序列72的圖像# 2和# 3。作為一種選擇，可以時間內(nèi)插并插入其它圖像，以便對于總共96fps的速率，提供比方說每個序列每秒48幀的速率。每個序列(眼睛)60fps的速率(對于立體節(jié)目總共120fps)也是一種令人感興趣的情況，在這種情況下，不需要進行內(nèi)插。僅復(fù)制序列72和72’的所有圖像，以使圖像數(shù)量加倍。在回放時，以120Hz的速率驅(qū)動遮光眼鏡，而且以l/30s的速率，對相應(yīng)眼睛，使給定序列的所有圖像顯示兩次。因此，可以提供最高清晰度，但是，當(dāng)前，只有非常有限的顯示裝置可以處理這種高更新速率。應(yīng)該注意，上面的說明基于以提供輸入序列的事實，24fps的速率是運動圖像電影的常見速率。然而，人們?nèi)菀酌靼祝梢匀菀椎貙@種情況采用混合過程，從而通過跳躍圖 3a所示的時間擴展序列51和51’表示的時間內(nèi)插的初始步驟，可以提供兩個30fps序列(擴展的TV節(jié)目)。顯然，由于解碼過程始終對30fps輸入序列進行處理，所以不要求對該處理部分進行實質(zhì)修改。作為一種選擇，如圖4a所示，本發(fā)明的編碼過程不需要在產(chǎn)生鑲嵌之前進行時間內(nèi)插。在圖4a所示的例子中，通過正確分離各幀，使兩個24fps序列混合，以提供30fps序列。由于可以將時間內(nèi)插的圖像插入該序列中(當(dāng)輸入序列包括24fps時)，壓縮序列80變得沒有規(guī)律。因此，根據(jù)本發(fā)明的當(dāng)前實施例的編碼(混合)過程進一步包括在壓縮序列60內(nèi)插入信息，以識別重構(gòu)過程所需的幀數(shù)，從而識別圖像內(nèi)容，并以該序列的適當(dāng)位置的正確序貫順序(時序)重新建立序列?？梢詫⑦@種信息存儲到例如合并圖像的空白行上。在閱讀了下面對解碼過程所做的說明后，該過程的好處更加明顯。這樣本身可以完成混合器I執(zhí)行的混合過程。此外，在該過程中，正如參考圖Ia所述，在被多路分解為MPEG2位流，或者被直接變換為圖3a中的編號62標記的MPEG2格式之前，可以將RGB合并圖像序列60(擴展AVI文件)變換為數(shù)字Y U V格式。圖4b示出為了提供2個36fps流，如何利用空間內(nèi)插和時間內(nèi)插，解碼壓縮的立體序列80。圖5更具體示出本發(fā)明的解碼器2。然而，應(yīng)該明白，例如，根據(jù)是選擇全部軟件、全部硬件還是它們二者的組合解決方案，可以有各種變型?？梢钥闯觯摻獯a器具有兩個輸入端模擬輸入端和數(shù)字輸入端。如果信號是模擬信號，則利用ADC 101，將它變換為數(shù)字信號。FIFO緩沖器103將輸入信號的時鐘域(clockdomain)變更為該解碼器使用的時鐘域。實際上，以不同于RGB信號使用的頻率的頻率，確定廣播信號或DVD信號的時鐘，因此，需要FIFO緩沖器103。然后，使該信號通過變換器105，變換器105將該信號從Y Cb Cb信號變換為1X720X480 (像素)的RGB信號。然后，利用空間內(nèi)插器107，根據(jù)本發(fā)明內(nèi)容空間內(nèi)插該信號，結(jié)果是對偶流的720X480像素。然后，換算器對該對偶流進行換算，以提供兩個640X480圖像流(始終為RGB格式)。作為一種選擇，本發(fā)明的系統(tǒng)可以支持其它解決方案。然后，將各幀裝入幀緩沖器113，一個幀緩沖器113用于右巾貞,另一個巾貞緩沖器113用于左巾貞,輸入存儲控制器111控制其內(nèi)容。輸出存儲控制器115控制幀緩沖器的輸出，而且如果需要，利用時間內(nèi)插器控制幀緩沖器的輸出，以提高幀速率。優(yōu)選地設(shè)置速率控制器119。速率控制器的用途是適應(yīng)時鐘信號的變化，該變化盡管微小，但是仍使系統(tǒng)不同步。速率控制器監(jiān)測速率的差別，并通過在該幀的無效行上增加或者刪除某個數(shù)量的像素，校正輸出頻率。例如，對于某個幀，需要增加少量像素，以便人為降低內(nèi)部時鐘，并使時鐘正確同步。解碼器2的另一個有利部件是防閃爍濾波器(anti-flicker filter) 121。當(dāng)在圖像與頭部顯示器的光閘附近存在對比度時，在佩戴遮光眼鏡時，產(chǎn)生閃爍。我們驚奇地發(fā)現(xiàn)，通過評估每個RGB像素中的綠電平的值，并且在綠電平高于某個值時，通過成比例降低相應(yīng)像素的顏色，可以顯著進行閃爍。因此，該輸出直接是數(shù)字的，或者利用DAC 123將它變換為模擬信號。為了在正確時間打開或者關(guān)閉光閘，同步模塊125使頭部顯示器與輸出信號同步。
此外，優(yōu)選地進一步設(shè)置調(diào)節(jié)器127。在顯示裝置包括其自己的幀緩沖器時，使用該調(diào)節(jié)器，否則，這樣將導(dǎo)致光閘與實際顯示器的同步信號之間不同步。為了減小圖像的串音/重影，用戶可以進行手工調(diào)節(jié)。現(xiàn)在，將參考附圖中的圖4a，詳細說明根據(jù)本發(fā)明的混合器I執(zhí)行的混合方法的第二實施例。該第二實施例對于解決對24fps格式下可用的兩個圖像序列進行變換，以產(chǎn)生完全兼容序列的30fps MPEG2 (主視圖提問文件)的問題特別有利。分別利用LiAB和RiAB識別包括定義的鑲嵌A和B的兩個24fps序列50和50’中的全清晰度圖像，索引“i”表示時間t時給定圖像的順序號。圖4a和4b中的虛線表示幀序列。以與上面描述的第一實施例類似的方式，對8個輸入圖像進行空間壓縮和時間擴展，以在新30fps序列80上形成5個新合并圖像。應(yīng)該注意，在本發(fā)明的實施例中，保留要記錄或廣播的25%以上的原始圖像信息。的確，8個原始圖像中的兩個(所示例子中的圖像LI和L2)均具有其鑲嵌A和B，該鑲嵌A和B保存在壓縮序列80的域上，而非根據(jù)第一實施例的域上。然而，通過在連續(xù)圖像之間提供某種暫時冗余度，以存儲在并排合并圖像域內(nèi)的互補鑲嵌的形式，編碼這些全部保存的圖像，以確定編碼序列的均勻性(homogeneity)和與MPEG2壓縮/解壓縮協(xié)議的兼容性。因此，對于先前說明的實施例，在回放時，通?？梢垣@得良好的清晰度和保真度，但是其代價是提高了處理功率的要求和系統(tǒng)硬件成本。對于上述第一實施例，根據(jù)本發(fā)明當(dāng)前實施例的編碼(混合)處理過程還進一步包括在壓縮序列80內(nèi)插入信息，以根據(jù)重構(gòu)過程的需要，識別幀數(shù)，從而識別圖像內(nèi)容，并以正確序貫順序，重新建立序列，然后，在該序列上的適當(dāng)位置插入內(nèi)插圖像。此外，還可以將這種信息存儲到例如合并圖像的空白行上。圖4b示出根據(jù)本發(fā)明的解碼器2執(zhí)行的相應(yīng)解碼過程的原理圖，該解碼過程的操作過程如下。將表示30fps RGB輸入序列80的5個合并圖像81至85擴展為12個圖像(每個頻道6個)，該12個圖像提供總共36fbs的回放序列90和100 (對于三維立體節(jié)目，每只眼睛36，總共72)。總之，根據(jù)虛線110表示的幀序列，以頁面交換模式顯示的回放序列90和100的12個連續(xù)圖像的每個組包括兩個完整原始圖像、6個空間內(nèi)插圖像以及4個時間內(nèi)插圖像。作為一種選擇，根據(jù)諸如頭戴裝置或自動立體裝置的一些顯示裝置的要求，可以通過兩個單獨頻道，分別并行輸出序列90和100。在所示的例子中I.根據(jù)存儲在序列80的幀81的左域上的鑲嵌L1A和存儲在其右域上的鑲嵌L1B,全部重新建立圖像91 (L1AB)；2.從在序列80的幀82的左域獲取的鑲嵌R1A開始，空間內(nèi)插圖像101 (R1AX)；3.從在序列80的幀82的右域獲取的鑲嵌R2B開始，空間內(nèi)插圖像103 (R2BX)；4.從圖像101和圖像103開始，時間內(nèi)插圖像102 ;5.根據(jù)存儲在序列80的幀83的左域上的鑲嵌圖像L2A和存儲在其右域上的鑲嵌L2B,全部重新建立圖像93 (L2AB)；6.從圖像91 (L1AB)和圖像93 (L2AB)開始，時間內(nèi)插圖像92 ;7.從存儲在序列80的幀84的左域上的鑲嵌L3A開始，空間內(nèi)插圖像94 (L3AX)；8.從存儲在序列80的幀84的右域上的鑲嵌L4B開始，空間內(nèi)插圖像96 (L4BX)；9.從圖像94和圖像96開始，時間內(nèi)插圖像95 ;10.從存儲在序列80的幀85的左域上的鑲嵌R3A開始，空間內(nèi)插圖像104(R3AX);11.從存儲在序列80的幀85的右域上的鑲嵌R4B開始，空間內(nèi)插圖像106(R4BX);以及12.從圖像 104和圖像 106 開始，時間內(nèi)插(temporally interpolated)圖像 105。顯然，我們?nèi)菀桌斫?，這種重構(gòu)過程要求正確識別構(gòu)成輸入序列80的5幀序列中的幀順序。因此，在解碼器2中設(shè)置幀識別電路，以解釋混合器I存儲到合并圖像序列80內(nèi)的幀數(shù)信息。從該后者實施例以及上面的描述中公開的第一實施例中可以看出，全部獨立編碼和解碼第一圖像序列和第二圖像序列，而互相不產(chǎn)生任何干擾，從而對涉及獨立場景的原始視頻序列進行處理。上面描述的第二實施例的例子以24fps的速率處理信源，以產(chǎn)生72fps的顯示速率，該例子僅示出可以應(yīng)用于24至30fps信源以諸如60、72、96或120fps的顯示速率產(chǎn)生立體輸出的更一般處理過程。下面的表格列出24或30fps信源以及60、72、96或120fps顯示速率的附加典型排列
權(quán)利要求
1.一種用于處理具有第一格式的立體圖像流的壓縮圖像流的方法，所述壓縮圖像流包括多個幀，每個幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包括步驟 (a)解壓縮所述的壓縮圖像流； (b)接收每個合并圖像； (C)對于每個合并圖像，將至少兩個相鄰像素裝入輸入緩沖器，并內(nèi)插中間像素，以形成重構(gòu)的左幀和重構(gòu)的右?guī)?；以? (d)從所述的左和右圖像幀重構(gòu)所述的立體圖像流并且將其存儲在輸出幀緩沖器中； 其特征在于，該方法還包括 (e)輸出所述幀以顯示在顯示裝置上，所述輸出包括 從能夠在所述顯示裝置上顯示的多個可選擇的輸出格式中選擇輸出格式，所述多個可選擇的輸出格式包括一種或多種立體 3D輸出格式和傳統(tǒng)的2D輸出格式；以及 以所選擇的輸出格式輸出輸出信號以顯示在所述顯示裝置上。
2.根據(jù)權(quán)利要求I所述的方法，其中，以所選擇的輸出格式輸出輸出信號以顯示在所述顯示裝置上是根據(jù)所述輸出幀緩沖器的實時交替讀取模式來完成的。
3.根據(jù)權(quán)利要求I所述的方法，其中所述內(nèi)插中間像素包括均化所述兩個相鄰像素。
4.根據(jù)權(quán)利要求I所述的方法，其中所述內(nèi)插中間像素是通過對相鄰像素根據(jù)它們到所述中間像素的距離進行水平加權(quán)來獲得的。
5.根據(jù)權(quán)利要求I所述的方法，其中所述內(nèi)插中間像素包括垂直加權(quán)相鄰像素以內(nèi)插所述中間像素。
6.根據(jù)權(quán)利要求I所述的方法，其中所述一種或多種立體3D輸出格式包括頁面閃爍、線隔行掃描、列隔行掃描和浮雕中的至少兩種。
7.根據(jù)權(quán)利要求I所述的方法，其中所述合并圖像包括第一區(qū)，該區(qū)中包括來自左圖像的所述像素，以及第二區(qū)，該區(qū)中包括來自右圖像的所述像素。
8.根據(jù)權(quán)利要求I所述的方法，其中所述輸出包括增加所述圖像流的顯示速率。
9.根據(jù)權(quán)利要求8所述的方法，其中所述增加所述圖像流的顯示速率包括時間內(nèi)插所述重構(gòu)的立體圖像流。
10.一種用于處理具有第一格式的立體圖像流的壓縮圖像流的系統(tǒng)，該系統(tǒng)包括 (a)輸入端，用于接收壓縮圖像流； (b)解壓縮模塊，用來解壓縮所接收的圖像流以再生合并的圖像； (C)空間內(nèi)插模塊(107)，可操作地連接到所述解壓縮模塊，用于接收每個合并的圖像并將每個合并圖像巾貞空間內(nèi)插為重構(gòu)的左和右巾貞; (d)輸出幀緩沖器，用于存儲所述重構(gòu)的右和左幀； 其特征在于，所述的系統(tǒng)還包括 (e)輸出存儲器控制器，以不同于所述第一格式的輸出格式輸出所述巾貞作為輸出信號以顯示在顯示裝置上，所述輸出格式從多個可選擇的輸出格式中選擇得出，所述多個可選擇的輸出格式包括一種或多種立體3D輸出格式和傳統(tǒng)的2D輸出格式。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述輸出存儲器控制器適于根據(jù)所述輸出幀緩沖器的實時交替讀取模式來輸出所述幀。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述系統(tǒng)還包括速率控制器，用來校正所輸出的立體圖像流的頻率。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述系統(tǒng)還包括緊接位于所述速率控制器的下游的防閃爍濾波器。
14.根據(jù)權(quán)利要求10到13任一個所述的系統(tǒng)，其中所述系統(tǒng)還包括緊接位于所述輸入端的下游的模數(shù)變換器。
15.根據(jù)權(quán)利要求10到13任一個所述的系統(tǒng)，其中所述系統(tǒng)還包括用于將其輸出轉(zhuǎn)換為模擬信號的數(shù)模變換器。
16.根據(jù)權(quán)利要求10到13任一個所述的系統(tǒng)，其中所述同步模塊用來同步遮光眼鏡。
17.根據(jù)權(quán)利要求10到13任一個所述的系統(tǒng),其中所述一種或多種立體3D輸出格式包括頁面閃爍、線隔行掃描、列隔行掃描和浮雕中的至少兩種。
18.根據(jù)權(quán)利要求10到13任一個所述的系統(tǒng)，其中，所述輸出存儲器控制器還適于增加圖像流的顯示速率。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述輸出存儲器控制器還包括時間內(nèi)插器，并且所述增加圖像流的顯示速率包括時間內(nèi)插所重構(gòu)的立體圖像流。
全文摘要
一種用于解碼壓縮圖像流的方法，該圖像流具有多個幀，每個幀包括合并圖像，該合并圖像包括左圖像中的像素和右圖像中的像素，該方法包括步驟接收每個合并圖像；將原始輸入信號中的時鐘域變更為內(nèi)部域；對于每個合并圖像，將至少兩個相鄰像素裝入輸入緩沖器，并內(nèi)插中間像素，以根據(jù)相鄰像素的出處，形成重構(gòu)左幀和重構(gòu)右?guī)?；以及根?jù)左圖像幀和右圖像幀，重構(gòu)立體圖像流。本發(fā)明還公開了一種用于解碼壓縮圖像流的系統(tǒng)。
文檔編號H04N13/04GK102905149SQ20121036127
公開日2013年1月30日 申請日期2003年4月9日 優(yōu)先權(quán)日2002年4月9日
發(fā)明者尼古拉斯·魯?shù)侔? 克勞德·蒂博, 吉恩·貝爾齊勒, 丹尼爾·馬盧安, 皮埃爾-保羅·卡彭蒂耶, 馬丁·達萊爾 申請人:森西歐技術(shù)公司