專利名稱：產(chǎn)生基于塊的立體圖像格式的方法和設備以及從基于塊的立體圖像格式重構(gòu)立體圖像的 ...的制作方法
技術(shù)領域：
與本發(fā)明一致的方法和設備涉及產(chǎn)生立體圖像格式和重構(gòu)立體圖像，更具體地， 涉及產(chǎn)生基于塊的立體圖像格式以便有效率地壓縮或發(fā)送包括基本視點(base view)圖像 和附加視點圖像的立體圖像，以及從基于塊的立體圖像格式重構(gòu)立體圖像。
背景技術(shù)：
提出了用于發(fā)送立體圖像的多種方法。例如，為了立體圖像的有效率發(fā)送，已經(jīng)建 立了各種標準，例如，運動圖像專家組(MPEG) -2多視點視頻類(MVP)，使用MPEG-4多輔助部 件(MAC)的深度圖發(fā)送、MPEG-4先進視頻編碼(AVC)/H. 264的多視點視頻編碼(MVC)等。
然而，這些標準格式與現(xiàn)有的二維(2D)編解碼器不兼容。其結(jié)果是，當使用標準 格式發(fā)送立體圖像時，現(xiàn)有技術(shù)2D再現(xiàn)裝置的用戶不能通過對接收的數(shù)據(jù)解碼而重構(gòu)立 體圖像。另外，可以預料到，在現(xiàn)有信道容量條件下使用標準格式發(fā)送三維(3D)圖像會有 很多問題。 因此，已經(jīng)開發(fā)了在將立體圖像組合為一片組合圖像格式之后發(fā)送立體圖像的技 術(shù)。并排(side-by-side)方案和上_下(top-bottom)方案是這些技術(shù)中的代表性示例。 前者將左視點圖像和右視點圖像的每一個的水平像素的數(shù)量減少了 1/2，并將縮減的左視 點圖像和縮減的右視點圖像分別放置在一片組合圖像的左部和右部。后者將左視點圖像和 右視點圖像的每一個的垂直像素的數(shù)量減少1/2，并將縮減的左視點圖像和右視點圖像分 別放置在一片組合圖像的上部和下部。 然而，使用這些方案發(fā)送的組合圖像的分辨率為縮減處理期間的原始左視點圖像
和右視點圖像的分辨率的1/2。因此，現(xiàn)有技術(shù)2D再現(xiàn)裝置僅顯示左圖和右圖的每一個的
一半，這可能使觀看者感到不快。另外，立體圖像的左視點圖像和右視點圖像之間的相關(guān)性
在組合圖像的壓縮或發(fā)送期間沒有被考慮，造成壓縮效率的降低。 還可通過基于像素組合左視點圖像和右視點圖像來產(chǎn)生一片圖像格式。 圖1A示出現(xiàn)有技術(shù)的基于像素的用于立體圖像的發(fā)送的立體圖像格式。 在圖1A中，立體圖像的左視點圖像和右視點圖像的像素被基于諱線采樣，左視點
圖像以這樣的方式被移動一個像素左視點圖像和右視點圖像之間的重疊被避免，從而產(chǎn)
生了用于立體圖像的一片圖像格式。使用現(xiàn)有技術(shù)的2D編碼器和解碼器發(fā)送和接收立體
圖像。由于兩片左視點圖像和右視點圖像被生成為相同分辨率的一片立體圖像，因此一些
像素可能丟失。 圖1B是用于恢復基于像素的立體圖像格式的丟失像素的設備的框圖。 為了使顯示裝置再現(xiàn)具有原始分辨率的圖像，必須恢復在圖1A中示出的立體圖
像格式的產(chǎn)生期間丟失的像素。為此，從基于像素采樣的圖像提取每個方向的像素值，將預
定權(quán)重值應用于每個像素值，將加權(quán)的像素值求和，從而重構(gòu)原始的左視點圖像和右視點圖像。
對于立體圖像的發(fā)送，可基于場產(chǎn)生圖像格式。 圖2A示出現(xiàn)有技術(shù)的基于場的立體圖像格式。在圖2A中，輸入的左視點圖像和 右視點圖像被按直線以垂直方向布置，并隨后被轉(zhuǎn)換為基于場的格式(包括上部場和下部 場)進行發(fā)送和接收。 圖2B是用于基于場的立體圖像格式的現(xiàn)有技術(shù)的發(fā)送端和接收端。 參照圖2B，示出了用于產(chǎn)生立體圖像格式并對立體圖像格式編碼的立體圖像預處
理器以及用于對接收的立體圖像格式解碼以重構(gòu)立體圖像的立體圖像后置處理器。由MPEG
編碼器壓縮被轉(zhuǎn)換為基于場格式的左視點圖像和右視點圖像。由于除了MPEG-1的MPEG標
準都支持基于場的壓縮，因此MPEG標準在基于塊的離散余弦變換(DCT)、運動估計和視差
估計期間保持了壓縮效率。 在圖1A示出的基于像素的立體圖像格式中，基于像素組合左視點圖像和右視點 圖像以便產(chǎn)生一片圖像格式。其結(jié)果是，由于像素之間的低相關(guān)性，根據(jù)視頻標準(例如， 聯(lián)合圖像專家組(JPEG)、MPEG、H.26X等)的DCT編碼器的性能和壓縮效率降低。另外，沒 有為立體圖像預處理器或立體圖像后置處理器定義包括圖1A和圖2A中示出的格式的現(xiàn)有 技術(shù)圖像格式。其結(jié)果是，當對立體圖像格式解碼時，一個接一個地顯示左視點圖像和右視 點圖像，這造成觀看者經(jīng)歷嚴重的閃爍效果。

發(fā)明內(nèi)容
技術(shù)方案 本發(fā)明提供了一種產(chǎn)生立體圖像格式的方法和設備，其中，為了執(zhí)行包括基本視 點圖像和附加視點圖像的立體圖像的有效壓縮或發(fā)送，通過基于塊對基本視點圖像的信息 和附加視點圖像的信息進行組合來產(chǎn)生立體圖像格式，考慮基本視點圖像和附加視點圖像 之間的相關(guān)性來估計基本視點圖像和附加視點圖像之間的視差，并與立體圖像格式一起壓 縮和發(fā)送視差向量信息。 本發(fā)明還提供一種從立體圖像格式重構(gòu)立體圖像的方法和設備，其中，通過使用 接收的基于塊的立體圖像格式和提取的視差向量信息來重構(gòu)參考視點圖像和附加視點圖 像以具有它們的原始分辨率。
有益效果 根據(jù)本發(fā)明的產(chǎn)生立體圖像格式的方法和設備包括通過交替地組合基本視點圖 像和附加視點圖像而獲得的組合圖像中的立體圖像中的基本視點圖像的和附加視點圖像 兩者的信息。由于基于塊將基本視點圖像的信息與附加視點圖像的信息進行組合，因此基 于塊的壓縮/通信標準可應用于信息，從而允許有效的圖像壓縮。 另外，根據(jù)本發(fā)明的產(chǎn)生立體圖像格式的方法和設備可通過執(zhí)行視差估計改善在 立體圖像格式的產(chǎn)生期間的壓縮效率，并在接收端處理之后執(zhí)行后置處理過程中準確地重 構(gòu)立體圖像。此外，視差向量信息被插入圖像信息而不需要另外的信道，從而使得現(xiàn)有技術(shù) 的2D圖像裝置的解碼器能夠讀取根據(jù)本發(fā)明的立體圖像格式。 根據(jù)本發(fā)明的重構(gòu)立體圖像的方法和設備從組合的圖像提取基本視點圖像和附 加視點圖像的某些塊，并使用運動補償和視差補償重構(gòu)其余的塊。如此，由于重構(gòu)了立體圖 像的所有塊，因此保持了立體圖像的原始分辨率，并通過視差補償和運動補償更準確地重構(gòu)了立體圖像。 另外，可通過將根據(jù)本發(fā)明的立體圖像格式重構(gòu)為包括不同視點圖像的塊的獨立 的片來實現(xiàn)更有效的編碼以及對立體圖像格式的解碼。 產(chǎn)生立體圖像格式的方法和對立體圖像格式解碼的方法可應用于立體數(shù)字電視 (TV)、立體個人計算機(PC)監(jiān)視器、立體攝像機和立體數(shù)字廣播(DB)播放器。


通過下面結(jié)合附圖對示例性實施例的詳細描述，本發(fā)明的上述和其他方面將會變 得清楚，其中 圖1A示出現(xiàn)有技術(shù)的用于立體圖像的發(fā)送的基于像素的立體圖像格式； 圖1B是現(xiàn)有技術(shù)的用于恢復基于像素的立體圖像格式的丟失像素的設備的框
圖； 圖2A示出現(xiàn)有技術(shù)的基于場的立體圖像格式； 圖2B是現(xiàn)有技術(shù)的基于場的立體圖像格式的發(fā)送端和接收端的框圖； 圖3A是根據(jù)本發(fā)明示例性實施例的用于產(chǎn)生立體圖像格式的設備的框圖； 圖3B是根據(jù)本發(fā)明示例性實施例的用于重構(gòu)立體圖像的設備的框圖； 圖4示出根據(jù)本發(fā)明示例性實施例的包括用于產(chǎn)生立體圖像格式的設備和用于
重構(gòu)立體圖像的設備的立體圖像系統(tǒng)； 圖5A是用于解釋根據(jù)本發(fā)明示例性實施例的產(chǎn)生基于塊的立體圖像格式的方法 的示圖； 圖5B是用于解釋根據(jù)本發(fā)明示例性實施例的從基于塊的立體圖像格式重構(gòu)立體 圖像的方法； 圖6是用于解釋根據(jù)本發(fā)明示例性實施例的使用基本視點圖像和附加視點圖像 之間的視差向量產(chǎn)生基于塊的立體圖像格式的方法的示圖； 圖7A是根據(jù)本發(fā)明另一示例性實施例的用于產(chǎn)生基于塊的立體圖像格式的設備 的框圖； 圖7B是用于解釋根據(jù)本發(fā)明示例性實施例的根據(jù)圖7A中的示例性實施例產(chǎn)生基 于塊的立體圖像格式的方法的示圖，所述基于塊的立體圖像格式將基本視點圖像的信息和 附加視點圖像的信息兩者包括在單個塊中； 圖7C是根據(jù)本發(fā)明另一示例性實施例的用于重構(gòu)立體圖像的設備的框圖；
圖8是用于解釋對根據(jù)本發(fā)明示例性實施例產(chǎn)生的立體圖像格式編碼的方法的 示圖； 圖9A是示出根據(jù)本發(fā)明示例性實施例的產(chǎn)生立體圖像格式的方法的流程圖；
圖9B是示出根據(jù)本發(fā)明示例性實施例的重構(gòu)立體圖像的方法的流程圖。
具體實施方式

最佳模式 根據(jù)本發(fā)明的一方面，提供了一種產(chǎn)生立體圖像格式的方法。該方法包括從通過 分割基本視點圖像獲得的預定大小的塊中確定第一位置的塊，確定與第二位置的基本視點圖像的塊相應的附加視點圖像的塊，第二位置的塊與第一位置的塊不同，并通過將基本視
點圖像的確定的塊與附加視點的確定的塊進行組合來產(chǎn)生組合的圖像。 當組合的圖像包括N行和M歹l」，x是大于0小于N/2的整數(shù)，y是大于0小于M/2
的整數(shù)，第(x， y， t)塊表示位于第t幀中左起第x列上起第y行的塊時，第一位置可以是
第(2x，2y，2t)塊、第(2x+l，2y+l，2t+l)塊、第(2x，2y+l，2t)塊和第(2x+l， 2y， 2t+l)塊的
位置，第二位置可以是第(2x，2y+l，2t)塊、第(2x+l，2y，2t)塊、第(2x，2y，2t+l)塊和第
(2x+l，2y+l，2t+l)塊的位置。 附加視點圖像的塊的確定步驟可包括確定附加視點圖像中的第二位置的塊。
附加視點圖像的塊的確定步驟可包括估計位于第二位置的基本視點圖像的塊和 附加視點圖像的塊之間的視差以及確定與附加視點圖像中的第二位置偏離的距離相應于 估計的視差向量的塊。 所述方法還可包括將視差向量插入組合圖像。 所述方法還可包括產(chǎn)生其中記錄有視差向量的視差圖。 組合圖像的產(chǎn)生步驟可包括將基本視點圖像的確定的塊布置在組合圖像的第一 位置，并將附加視點圖像的確定的塊布置在組合圖像的第二位置。 附加視點圖像的確定步驟可包括估計位于第二位置的基本視點圖像的塊和附加 視點圖像的塊之間的視差向量，確定與附加視點圖像中的第二位置偏離的距離相應于估計 的視差向量的塊，以預定的比率縮小附加視點圖像的確定的i央，組合圖像的產(chǎn)生步驟包括 通過將基本視點圖像的確定的塊的像素線與附加視點圖像的縮小的塊的像素線進行組合 來產(chǎn)生組合圖像，以便重構(gòu)組合圖像的塊。 當n是大于O的整數(shù)時，組合圖像的產(chǎn)生步驟可包括將基本視點圖像的確定的塊 的第2n線布置在組合圖像的塊的第2n線，并將基本視點圖像的確定的塊的第2n線和附加 視點圖像的縮減的塊的第n線的平均值布置在組合圖像的塊的第(2n+l)線。
根據(jù)本發(fā)明的另一方面，提供了一種重構(gòu)立體圖像的方法。所述方法包括從通過 分割組合圖像獲得的預定大小的塊中確定第一位置的第一塊和第二位置的第二塊，第二位 置的第二塊與第一位置的第一塊不同；產(chǎn)生包括第一位置的確定的第一初級圖像和包括第 二位置的確定的第二初級圖像；通過使用第一初級圖像和第二初級圖像分別重構(gòu)基本視點 圖像和附加視點圖像。 當組合的圖像包括N行和M歹lj， x是大于0小于N/2的整數(shù)，y是大于0小于M/2 的整數(shù)，第(x， y， t)塊表示位于第t幀中左起第x列上起第y行的塊時，第一位置可以是 第(2x，2y，2t)塊、第(2x+l，2y+l，2t+l)塊、第(2x，2y+l，2t)塊和第(2x+l， 2y， 2t+l)塊的 位置，第二位置可以是第(2x，2y+l，2t)塊、第(2x+l，2y，2t)塊、第(2x，2y，2t+l)塊和第 (2x+l，2y+l，2t+l)塊的位置。 第一初級圖像和第二初級圖像的產(chǎn)生步驟可包括將第一位置的確定的塊布置在 第一初級圖像的第一位置；將第二位置的確定的布置在第二初級圖像的第二位置。
第一初級圖像和第二初級圖像的產(chǎn)生步驟可包括從基本視點圖像的塊和附加視 點圖像的塊之間提取視差向量；布置第一初級圖像的第一位置的確定的塊；將第二位置的 確定的塊布置在這樣的位置所述位置偏離第二位置的距離與估計的視差向量相應。
基本視點圖像和附加視點圖像的重構(gòu)步驟可包括為第一初級圖像中第二位置的
8塊估計第一初級圖像的不同時間的幀之間的運動向量；將不同時間的幀的塊布置在基本視
點圖像的第二位置，所述不同時間的幀偏離第二位置的距離與估計的運動向量相應。 基本視點圖像和附加視點圖像的重構(gòu)步驟可包括為第二初級圖像中的第一位置
的塊估計第二初級圖像的不同時間的幀之間的運動向量；將不同時間的幀的塊布置在附加
視點圖像的第一位置，所述不同時間的幀偏離第一位置的距離與估計的運動向量相應。 基本視點圖像和附加視點圖像的重構(gòu)步驟可包括為第一初級圖像的第二位置的
塊估計第一初級圖像和第二初級圖像之間的視差向量；將第二初級圖像的塊布置在基本視
點圖像的第二位置，所述第二初級圖像的塊偏離第二位置的距離與估計的視差向量相應。 基本視點圖像和附加視點圖像的重構(gòu)步驟可包括為第二初級圖像的第一位置的
塊估計第一初級圖像和第二初級圖像之間的視差向量；將第一初級圖像的塊布置在附加視
點圖像的第一位置，所述第一初級圖像的塊偏離第一位置的距離與估計的視差向量相應。 視差向量的提取步驟可包括提取通過使用水印插入到組合圖像的視差向量。
視差向量的步驟可提取包括提取插入到組合圖像的預定區(qū)的視差向量。 視差向量的提取步驟可包括從比特流提取視差向量，在所述比特流中組合圖像
被壓縮和記錄。
視差向量的提取步驟可包括從視差圖提取視差向量。 根據(jù)本發(fā)明的另一方面，提供了一種重構(gòu)立體圖像的方法。所述方法包括從通過 分割組合圖像獲得的預定大小的塊中確定第一位置的像素線和第二位置的像素線，第二位 置的像素線與第一位置的第一像素線不同；通過使用第一位置的像素線構(gòu)造塊來重構(gòu)基本 視點圖像；通過使用第一位置的像素線和第二位置的像素線構(gòu)造塊來重構(gòu)附加視點圖像。
當n是大于0的整數(shù)，第一位置是第2n線的位置和第(2n+l)線的位置時，重構(gòu)基 本視點圖像的步驟可包括將組合圖像的塊的第2n像素線布置在基本視點圖像的塊的第 2n像素線中；通過使用基本視點圖像的塊的第2n像素線或第(2n+2)像素線執(zhí)行插值來重 構(gòu)基本視點圖像的塊的第(2n+l)像素線。 當n是大于0的整數(shù)，第一位置是第2n線的位置和第(2n+l)線的位置時，重構(gòu)附 加視點圖像的步驟可包括將通過從組合圖像的第(2n+l)像素線的兩倍像素值減去基本 視點圖像的塊的第2n像素線的像素值而獲得的值布置在附加視點圖像的塊的第(2n+l)像 素線；通過使用附加視點圖像的第(2n-l)像素線或第(2n+l)像素線執(zhí)行插值來重構(gòu)附加 視點圖像的塊的第2n像素線。 根據(jù)本發(fā)明的另一方面，提供了一種對包括N行和M列的塊的立體圖像格式進行 編碼的方法。當x是大于0小于N/2的整數(shù)，y是大于0小于M/2的整數(shù)時，所述方法包括 通過布置第(2x，2y)塊和第(2x+l，2y+l)塊來構(gòu)造第一分片；通過布置第(2x，2y+l)塊和 第(2x+l，2y)塊來構(gòu)造第二分片；使用基于塊的編碼對第一分片和第二分片編碼。
根據(jù)本發(fā)明的另一方面，提供了一種用于產(chǎn)生立體圖像格式的設備。所述設備包 括基本視點圖像塊確定單元，從通過分割基本視點圖像獲得的預定大小的塊中確定第一 位置的塊；附加視點圖像塊確定單元，確定與第二位置的基本視點圖像的塊相應的附加視 點圖像的塊，所述附加視點圖像的塊與第一位置的塊不同；組合圖像產(chǎn)生單元，通過將基本 視點圖像的確定的塊與附加視點圖像的確定的塊組合來產(chǎn)生組合圖像。
根據(jù)本發(fā)明的另一方面，提供了一種用于重構(gòu)立體圖像的設備。所述設備包括
9塊確定單元，從通過分割組合圖像獲得的預定大小的塊中確定第一位置的塊和第二位置的 塊，第二位置的塊與第一位置的塊不同；初級圖像產(chǎn)生單元，產(chǎn)生包括第一位置的確定的塊 的第一初級圖像和包括第二位置的確定的塊的第二初級圖像；圖像重構(gòu)單元，使用第一初 級圖像和第二初級圖像分別重構(gòu)基本視點圖像和附加視點圖像。 根據(jù)本發(fā)明的另一方面，提供了一種記錄有用于執(zhí)行產(chǎn)生立體圖像格式的方法的 程序的計算機可讀記錄介質(zhì)。 根據(jù)本發(fā)明的另一方面，提供了一種記錄有用于執(zhí)行重構(gòu)立體圖像的方法的程序 的計算機可讀記錄介質(zhì)。 根據(jù)本發(fā)明的另一方面，提供了一種記錄有用于執(zhí)行對立體圖像格式編碼的方法
的程序的計算機可讀記錄介質(zhì)。 發(fā)明模式 以下，將參照附圖詳細描述本發(fā)明的示例性實施例。應注意，在一個或多個附圖 中，相同的標號表示相同的部件。在本發(fā)明的以下描述中，為了簡明和清楚，省略在此合并 的已知功能和配置的詳細描述。 圖3A是根據(jù)本發(fā)明示例性實施例的用于產(chǎn)生立體圖像格式的設備300的框圖。
參照圖3A，設備300包括基本視點圖像塊確定單元310、附加視點圖像塊確定單元 320和組合圖像產(chǎn)生單元330。 基本視點圖像確定單元310接收基本視點圖像，從通過分割基本視點圖像獲得的 預定大小的塊中確定第一位置的塊，并將確定的第一位置的塊輸出到組合圖像產(chǎn)生單元 330。 附加視點圖像塊確定單元320接收附加視點圖像，從通過分割附加視點圖像獲得 的預定大小的塊中確定第二位置的塊，并將確定的第二位置的塊輸出到組合圖像產(chǎn)生單元 330，所述第二位置的塊與第一位置的塊不同。 組合圖像產(chǎn)生單元330從基本視點圖像塊確定單元310接收基本視點圖像的確定 的塊，從附加視點圖像塊確定單元320接收附加視點圖像的確定的塊，并組合接收的塊，從 而產(chǎn)生組合圖像。 在本發(fā)明的示例性實施例中，組合圖像的分辨率與基本視點圖像和附加視點圖像 的分辨率相同。 塊位置的意思是當前幀中的當前塊的空間位置和當前塊相對于當前幀之前和之
后的幀的時間位置。在本發(fā)明的示例性實施例中，位于與組合圖像的當前塊的位置相同位
置的基本視點圖像塊和附加視點圖像塊的像素信息在組合圖像的當前塊中反映。 以下將參照圖5A詳細描述基本視點圖像塊確定單元310和附加視點圖像塊確定
單元320所執(zhí)行的塊確定步驟，以及以立體圖像格式產(chǎn)生組合圖像的組合圖像產(chǎn)生單元
330的功能。 圖3B是根據(jù)本發(fā)明示例性實施例的重構(gòu)立體圖像的設備350的框圖。 參照圖3B，設備350包括塊確定單元360、初級圖像產(chǎn)生單元370和圖像重構(gòu)單元
380。 塊確定單元360接收組合圖像，從通過分割組合圖像獲得的預定大小的塊中確定 第一位置的塊和與第一位置的塊不同的第二位置的塊，并將確定的塊輸出到初級圖像產(chǎn)生
10單元370。 初級圖像產(chǎn)生單元370從塊確定單元360接收組合圖像的確定的塊以便產(chǎn)生包括 第一位置的塊的第一初級圖像和包括第二位置的塊的第二初級圖像，并將第一初級圖像和 第二初級圖像輸出到圖像重構(gòu)單元380。 圖像重構(gòu)單元380從初級圖像產(chǎn)生單元370接收第一初級圖像和第二初級圖像，
并使用第一初級圖像和第二初級圖像分別重構(gòu)基本視點圖像和附加視點圖像。 在本發(fā)明的示例性實施例中，在接收端，從組合圖像重構(gòu)的基本視點圖像和附加
視點圖像的分辨率與原始的基本視點圖像和原始的附加視點圖像的分辨率相同。 稍后將參照圖5B詳細描述用于立體圖像的重構(gòu)的塊確定單元360、初級圖像產(chǎn)生
單元370和圖像重構(gòu)單元380。 圖4示出根據(jù)本發(fā)明示例性實施例的立體圖像系統(tǒng)400，包括用于產(chǎn)生立體圖像 格式的設備300和用于重構(gòu)立體圖像的設備350。立體圖像系統(tǒng)400包括設備300、編碼器410、解碼器420和設備350。 用于產(chǎn)生立體圖像格式的設備300接收立體圖像的基本視點圖像和附加視點圖
像，產(chǎn)生通過根據(jù)本發(fā)明示例性實施例基于塊組合基本視點圖像和附加視點圖像而獲得的
組合圖像，并將產(chǎn)生的組合圖像輸出到編碼器410。 編碼器410使用基于塊的圖像壓縮和發(fā)送對從設備300輸入的組合圖像編碼，從 而輸出比特流。基于塊的圖像壓縮和發(fā)送可以是例如MPEG-4。 解碼器420使用基于塊的圖像壓縮和發(fā)送對輸入比特流解碼以便產(chǎn)生組合圖像， 并將產(chǎn)生的組合圖像輸出到設備350以重構(gòu)立體圖像。 設備350通過使用從解碼器420輸入的組合圖像根據(jù)本發(fā)明示例性實施例基于塊 重構(gòu)基本視點圖像和附加視點圖像。 圖5A是用于解釋根據(jù)本發(fā)明示例性實施例的產(chǎn)生基于塊的立體圖像格式的方法 的示圖。 以下，將參照圖5A詳細描述用于產(chǎn)生立體圖像格式的設備300的基本視點圖像塊
確定單元310、附加視點圖像塊確定單元320和組合圖像產(chǎn)生單元330的操作。 圖像510是包括第(t-2)、第(t-l)和第t幀的基本視點圖像。 圖像520是包括第(t-2)、第(t-l)和第t幀的附加視點圖像。 圖像530是通過基于塊組合基本視點圖像510和附加視點圖像520而獲得的組合圖像。 在本發(fā)明的示例性實施例中，選擇左視點圖像作為基本視點圖像510，選擇右視點 圖像作為附加視點圖像520。 在本發(fā)明中，圖像被分割成預定大小的塊以進行基于塊的圖像處理。換句話說，用 于產(chǎn)生立體圖像格式的設備300基于塊組合基本視點圖像510的信息和附加視點圖像520 的信息，從而產(chǎn)生組合圖像530。 為了便于解釋，假設基本視點圖像510、附加視點圖像520和組合圖像530中的每 一個都被分割成N行和M列，x是大于0小于N/2的整數(shù)，y是大于0小于M/2的整數(shù)，t是 大于0的整數(shù)，第(x， y， t)塊表示第t幀中位于左起第x列和從上起第y行的塊。
在本發(fā)明的示例性實施例中，基本視點圖像510或附加視點圖像520的預定位置
11的塊被確定并排列在組合圖像530中，從而產(chǎn)生組合圖像530。 例如，基本視點圖像塊確定單元310確定用于組合圖像530的基本視點圖像510 的第(2x，2y，2t)塊、第(2x+l，2y+l，2t+l)塊、第(2x，2y+l，2t)塊和第(2x+l， 2y， 2t+l)塊。
附加視點圖像塊確定單元320確定用于組合圖像530的附加視點圖像的第(2x， 2y+l，2t) ±央、第(2x+l，2y，2t) ±央、第(2x，2y，2t+l)塊和第(2x+l， 2y+l， 2t+l)塊。
在本發(fā)明的示例性實施例中，組合圖像產(chǎn)生單元330將基本視點圖像塊確定單元 310和附加視點圖像塊確定單元320確定的塊布置在組合圖像530中與它們的原始位置相 同的位置。換句話說，基本視點圖像510的確定的塊被布置在組合圖像530的第(2x，2y， 2t)塊、第(2x+l，2y+l，2t)塊、第(2x， 2y+l， 2t+l)塊和第(2x+l， 2y， 2t+l)塊，附加視點圖 像520的確定的塊被布置在組合圖像530中的第(2x，2y+l，2t)塊、第(2x+l，2y，2t)塊、第 (2x，2y，2t+l)塊和第(2x+l，2y+l，2t+l)塊。 附加視點圖像520的確定的塊在當前幀中被布置在基本視點圖像510的確定的塊 的上、下、左、右的位置，在當前幀之前和之后的幀中被布置在與基本視點圖510的確定的 塊的位置相同的位置。因此，相同視點圖像的塊沒有被連續(xù)布置在組合圖像530中。
這樣的不連續(xù)塊的布置的意圖是通過將不同視點圖像的塊布置為相鄰塊從而可 以在立體圖像重構(gòu)處理期間使用相鄰塊的信息?；疽朁c圖像510和附加視點圖像520的 確定的塊的位置可根據(jù)各種實施例變化，只要相同視點圖像的塊被不連續(xù)地布置。
圖5B是用于解釋根據(jù)本發(fā)明示例性實施例的從基于塊的立體圖像格式重構(gòu)立體 圖像的方法的示圖。 將參照圖5B詳細描述用于重構(gòu)立體圖像的設備350的初級圖像產(chǎn)生單元370和 圖像重構(gòu)單元380。 圖像560是解碼的組合圖像。 圖像570是從組合圖像560重構(gòu)的第一初級圖像。
圖像575是從組合圖像560重構(gòu)的第二初級圖像。
圖像580是從第一初級圖像570提取的基本視點圖像。
圖像590是從第二初級圖像575提取的附加視點圖像。 塊確定單元360確定第一初級圖像570的塊和第二初級圖像575的塊。該確定處 理與立體圖像格式產(chǎn)生處理相似。 例如，對于第一初級圖像570，確定組合圖像560的第(2x，2y，2t)塊、第(2x+l， 2y+l，2t) ±央、第(2x，2y+l，2t+l)塊和第(2x+l， 2y， 2t+l)塊。 對于第二初級圖像575，確定組合圖像560的第(2x，2y+l，2t)塊、第(2x+l，2y， 2t) ±央、第(2x，2y，2t+l)塊和第(2x+l， 2y+l， 2t+l)塊。 初級圖像產(chǎn)生單元370通過布置由塊確定單元360確定的組合圖像560的塊來產(chǎn) 生第一初級圖像570和第二初級圖像575。在本發(fā)明的示例性實施例中，組合圖像560的確 定的塊被布置在第一初級圖像570中與確定的塊的原始位置相同的位置。
換句話說，用于第一初級圖像570的組合圖像560的確定的塊被布置在第一初級 圖像570中的第(2x，2y，2t)塊、第(2x+l， 2y+l， 2t)塊、第(2x， 2y+l， 2t+l)塊和第(2x+l， 2y，2t+l)塊，組合圖像560的其余的塊(用于第二初級圖像575的組合圖像560的確定的 塊)被布置在第二初級圖像575中與它們的原始位置相同的位置。因此，即使組合圖像560的確定的塊被布置在第一初級圖像570和第二初級圖像575的塊位置中，第一初級圖像570 和第二初級圖像575中的每一個的所有塊中的一半被占用。 在本發(fā)明的示例性實施例中，圖像重構(gòu)單元380將初級圖像產(chǎn)生單元370產(chǎn)生的 第一初級圖像570和第二初級圖像575的塊布置在基本視點圖像580和附加視點圖像585 中相應的塊位置。 除了被組合圖像560的塊占用的第一初級圖像570或第二初級圖像575的塊之
外，對于其余的塊，圖像重構(gòu)單元380使用運動估計/補償和視差估計/補償。 由于根據(jù)本發(fā)明示例性實施例的用于產(chǎn)生立體圖像格式的設備300或用于重構(gòu)
立體圖像的設備350逐個布置不同視點圖像的塊，因此運動估計/補償和視差估計/補償
可與當前塊的相鄰塊一起使用。 在根據(jù)本發(fā)明示例性實施例的運動估計中，從第一初級圖像570的先前幀或后續(xù) 幀的塊中檢測與第一初級圖像570中的當前幀中占用的當前塊相比具有最小差的塊，檢測 的塊與當前塊之間的距離被確定為運動向量。通過運動估計確定的運動向量，使用第一初 級圖像570的先前幀或后續(xù)幀的占用塊來確定第一初級圖像570的空塊的像素值。
在根據(jù)本發(fā)明示例性實施例的視差估計中，從第二初級圖像575的當前幀、先前 幀或后續(xù)幀的塊中檢測與第一初級圖像570的當前塊具有最小差的塊，并將檢測的塊與當 前塊之間的距離確定為視差向量。通過由視差估計確定的視差向量，使用當前幀、先前幀或 后續(xù)幀的占用塊確定第二初級圖像575的空塊的像素值。 圖6是用于解釋根據(jù)本發(fā)明示例性實施例的使用基本視點圖像和附加視點圖像 的視差向量產(chǎn)生基于塊的立體圖像的方法的示圖。 現(xiàn)在將參照圖6描述根據(jù)本發(fā)明示例性實施例的用于產(chǎn)生立體圖像格式的設備 300的的附加視點圖像塊確定單元320和組合圖像產(chǎn)生單元330。
圖像510和圖像520分別是基本視點圖像和附加視點圖像。 圖像630是根據(jù)本發(fā)明示例性實施例的通過使用視差向量信息組合基本視點圖 像510和附加視點圖像520獲得的組合圖像。 根據(jù)本發(fā)明的示例性實施例，附加視點圖像塊確定單元320使用基本視點圖像 510和附加視點圖像520的塊之間的視差估計，能夠進行自然3D圖像再現(xiàn)的立體圖像的重 構(gòu)。換句話說，附加視點圖像塊確定單元320估計基本視點圖像510中的第二位置的塊與 附加視點圖像520中的第二位置的塊之間的視差向量，并確定與附加視點圖像中的第二位 置偏離的距離相應于估計的視差向量的塊。 通過視差估計，由于與相應位置的基本視點圖像510的塊相比具有最小差的附加 視點圖像520的塊被確定為將被布置在組合圖像630中的塊，因此組合圖像630具有與基 本視點圖像510最相似的塊信息。 基本視點圖像塊確定單元310和組合圖像產(chǎn)生單元330的操作處理與圖5A中的 操作處理相同。 在通過使用基本視點圖像510和附加視點圖像520之間的視差向量信息產(chǎn)生組合 圖像630的示例性實施例中，為了在接收端準確重構(gòu)，視差向量信息必須與圖像信息一起 被發(fā)送。 在本發(fā)明的示例性實施例中，使用水印將視差向量信息插入組合圖像630。在本發(fā)明的另一示例性實施例中，將視差向量信息插入組合圖像630的預定區(qū)。在本發(fā)明的另一 示例性實施例中，將視差向量信息插入組合圖像被壓縮并隨后被記錄的比特流中。在本發(fā) 明的另一示例性實施例中，產(chǎn)生記錄有視差向量信息的視差圖并將視差圖與圖像信息一起 發(fā)送。 根據(jù)圖6示出的示例性實施例的重構(gòu)圖像格式的方法與圖5B中示出的方法相同。 換句話說，從解碼的組合圖像560提取第一初級圖像570和第二初級圖像575，通過使用第 一初級圖像570和第二初級圖像575進行運動估計/補償和視差估計/補償來重構(gòu)基本視 點圖像580和附加視點圖像585。 然而，根據(jù)本發(fā)明當前示例性實施例的用于重構(gòu)立體圖像的設備350接收視差向 量信息以及圖像信息。 在本發(fā)明的示例性實施例中，提取插入到使用了水印的組合圖像的視差向量信 息。在本發(fā)明的另一示例性實施例中，提取插入到組合圖像的預定區(qū)的視差向量信息。在 本發(fā)明的另一示例性實施例中，從比特流提取視差向量信息，在所述比特流中組合圖像被 壓縮并隨后被記錄。在本發(fā)明的另一示例性實施例中，從與圖像信息一起發(fā)送的視差圖提 取視差向量信息。 使用根據(jù)本發(fā)明各種示例性實施例的提取的視差向量，當圖像重構(gòu)單元380重構(gòu) 附加視點圖像585時，將第二初級圖像575的塊布置在與相應的塊的第二位置偏離的距離 相應于估計的視差向量的塊位置。與圖5B相同，除了布置了第二初級圖像575的塊之外， 使用運動估計/補償和視差估計/補償占用重構(gòu)的附加視點圖像585的其余的塊。
以下，將參照圖7A到圖7C描述根據(jù)本發(fā)明另一示例性實施例的產(chǎn)生立體圖像格 式的方法和重構(gòu)立體圖像的方法。 圖7A是根據(jù)本發(fā)明另一示例性實施例的用于產(chǎn)生基于塊的立體圖像格式的設備 700的框圖。 參照圖7A，設備700包括基本視點圖像塊確定單元310、附加視點圖像塊確定單元 320、圖像縮減單元710和組合圖像產(chǎn)生單元720。 以與圖3中示出的用于產(chǎn)生立體圖像格式的設備300的基本視點圖像塊確定單元 310和附加視點圖像塊確定單元320相同的方式實施設備700的基本視點圖像塊確定單元 310和附加視點圖像塊確定單元320。 圖像縮減單元710以預定的比率縮減由附加視點圖像塊確定單元320確定的附加 視點圖像的塊，并輸出縮減的確定的塊。 組合圖像產(chǎn)生單元720接收由基本視點圖像塊確定單元310確定的基本視點圖像 的塊，接收由附加視點圖像塊確定單元320確定并隨后由圖像縮減單元710縮減的附加視 點圖像的i央，并將基本視點圖像的確定的塊的像素線與附加視點圖像塊的縮減的塊的像素 線組合以重構(gòu)組合圖像的塊，從而產(chǎn)生組合圖像。 稍后將參照圖7B描述由組合圖像產(chǎn)生單元720通過將基本視點圖像的塊的像素 線與附加視點圖像的塊的像素線組合來產(chǎn)生組合圖像的方法。 圖7B是用于解釋產(chǎn)生立體圖像格式的方法的示圖，所述立體圖像格式將基本視 點圖像信息和附加視點圖像信息包括在單個塊中。 現(xiàn)在將參照圖7B詳細描述根據(jù)本發(fā)明示例性實施例的設備700的圖像縮減單元710和組合圖像產(chǎn)生單元330。 圖像510是基本視點圖像，圖像520是附加視點圖像。
圖像730是附加視點圖像520的縮減圖像。 圖像740是根據(jù)本發(fā)明示例性實施例通過將附加視點圖像520的塊信息添加到基 本視點圖像510的塊信息獲得的組合圖像。 在根據(jù)本發(fā)明示例性實施例的用于產(chǎn)生立體圖像格式的設備700中，組合圖像產(chǎn) 生單元720對基本視點圖像510的每條像素線和通過將基本視點圖像510的信息與附加視 點圖像520的信息組合而得到的每條像素線與每個塊的組合圖像740的相應像素線進行交 替地組合。 附加視點圖像520使用在水平或垂直方向以預定比率縮減的圖像730。用于縮減 的方向與用于組合圖像740的基本視點圖像510和附加視點圖像520的線的方向垂直。在 本發(fā)明的示例性實施例中，使用通過在水平方向以1 : 2的比率縮減附加視點圖像520獲 得的縮減圖像730。 根據(jù)本發(fā)明的示例性實施例，對于組合圖像740的塊的偶數(shù)垂直線，組合圖像產(chǎn) 生單元720從基本視點圖像510選擇與組合圖像740的塊位置和線位置相同的像素線。
對于組合圖像730的塊的奇數(shù)垂直線，組合圖像產(chǎn)生單元720選擇通過將基本視 點圖像510的塊的線的像素值與附加視點圖像520的塊的線的像素值線性組合而獲得的像 素值，所述基本視點圖像510的塊的線的塊位置和線位置與組合圖像730的塊位置和線位 置相同，所述附加視點圖像520的塊的線與基本視點圖像510的線相應。組合圖像產(chǎn)生單 元720選擇基本視點圖像510的像素值和附加視點圖像520的像素線的平均值，作為如下 組合圖像730的像素值 Imix(i， j) = (L(i， j-l)+Rd。wn(i， j/2)+l)/2.....................(1)， 其中，1^表示組合圖像730， L表示作為基本視點圖像510的左視點圖像，R表示 作為附加視點圖像520的右視點圖像，R^表示R的縮減圖像，i是從0到N-l的整數(shù)，j是 從0到N-2的整數(shù)，N是正整數(shù)。 根據(jù)本發(fā)明的示例性實施例，為了確定將用于產(chǎn)生組合圖像730的附加視點圖像 520的塊，附加視點圖像塊確定單元320通過執(zhí)行基本視點圖像510的塊和附加視點圖像 520的塊之間的視差估計來獲得視差向量信息?；谝暡钕蛄啃畔?，選擇與當前塊位置的基 本視點圖像510最相似的附加視點圖像520的塊。 如果在按行組合的不同視點圖像的立體圖像格式中出現(xiàn)不同視點圖像之間的失 配(例如，不準確的視差估計)，則逐行或按像素一個接一個顯示不同視點的圖像，這導致 主觀顯示質(zhì)量的降低。 另一方面，在如圖7的根據(jù)本發(fā)明示例性實施例的產(chǎn)生立體圖像格式的方法中， 通過將組合基本視點圖像510和附加視點圖像520而獲得的像素線布置在組合圖像730中 (而不是直接布置附加視點圖像520的像素線)來提高基本視點圖像510和組合圖像730 之間的相關(guān)性。另外，還使用視差估計來減少基本視點圖像510和組合圖像730之間的差。
圖7C是根據(jù)本發(fā)明另一示例性實施例的用于重構(gòu)立體圖像的設備750的框圖。
設備750包括像素線確定單元760、基本視點圖像重構(gòu)單元770和附加視點圖像重 構(gòu)單元780。
15
像素線確定單元760接收組合圖像，從通過分割組合圖像獲得的預定大小的塊中 確定第一位置的像素線和第二位置的像素線，所述第二位置的像素線與第一位置的像素線 不同，并將確定的像素線輸出到基本視點圖像重構(gòu)單元770和附加視點圖像重構(gòu)單元780。
基本視點圖像重構(gòu)單元770使用由像素線確定單元760確定的第一位置的像素線 重構(gòu)塊，從而重構(gòu)基本視點圖像。 附加視點圖像重構(gòu)單元780使用由像素線確定單元760確定的第二位置的像素線 重構(gòu)塊，從而重構(gòu)附加視點圖像。 設備750使用插值以便重構(gòu)由用于產(chǎn)生立體圖像格式的設備700產(chǎn)生的立體圖像 格式。 附加視點圖像重構(gòu)單元780使用組合圖像的像素線，重構(gòu)縮減的附加視點圖像如 下 R' d。TO(i，j/2) =2X1' mix(i，j+l)-L' (i，j)-l.............................(2)， 其中，R' d。^表示具有縮減的分辨率的第二重構(gòu)圖像，L'表示第一重構(gòu)圖像， I' mix表示解碼的組合圖像，i是從0到N-l的整數(shù)，j是從0到N-2的整數(shù)，N是正整數(shù)。
根據(jù)本發(fā)明的另一示例性實施例，第二初級圖像和縮減分辨率的第二重構(gòu)圖像的 分辨率是原始附加視點圖像的分辨率的一半，因而它們的分辨率必須在水平或垂直方向上 加倍。根據(jù)本發(fā)明的示例性實施例，分辨率恢復的方向與在立體圖像格式的產(chǎn)生中使用的 縮減的方向相同。圖像重構(gòu)單元380使用插值進行分辨率恢復。 例如，根據(jù)本發(fā)明的示例性實施例，圖像重構(gòu)單元380將縮減的附加視點圖像的 塊的像素線布置在附加視點圖像的每個塊的偶數(shù)線中，將與附加視點圖像的奇數(shù)線的相鄰 的偶數(shù)線的像素值的線性平均值布置在附加視點圖像的奇數(shù)線中。 當用于產(chǎn)生立體圖像格式的設備300通過視差估計使用附加視點圖像時，用于重 構(gòu)立體圖像的設備750的圖像重構(gòu)單元780必須考慮在附加視點圖像的產(chǎn)生期間估計的視 差向量信息。因此，圖像重構(gòu)單元780從組合圖像提取視差向量信息并基于運動向量信息 移動附加視點圖像的塊。 圖8是用于解釋根據(jù)本發(fā)明示例性實施例的對產(chǎn)生的立體圖像格式編碼的方法 的示圖。 圖像810是使用分散映射方案排列的基本視點圖像的塊和附加視點圖像的塊的 組合圖像。標記了 "0"的塊包括基本視點圖像的塊信息，標記了 "1"的塊包括附加視點圖 像的信息。 圖像820是組合圖像810的全部塊中的僅包括基本視點圖像塊"O"的分片。
圖像830是組合圖像810的全部塊中的僅包括附加視點圖像塊"l"的分片。
在H. 264基線類中實施的任意分片排序(Arbitrary Slice Ordering, ASO)所支 持的可變宏塊排序(Flexible Macroblock Ordering,FMO)支持分散映射方案。因此，根據(jù) 本發(fā)明示例性實施例的基于基本視點圖像和附加視點圖像的每個塊產(chǎn)生的立體圖像格式 可根據(jù)H. 264被壓縮和發(fā)送。換句話說，構(gòu)造僅包括塊"0"的分片820和僅包括塊"1"的 分片830，并基于分片執(zhí)行編碼，從而對基本視點圖像和附加視點圖像進行有效編碼。
圖9A是示出根據(jù)本發(fā)明示例性實施例的產(chǎn)生立體圖像格式的方法流程圖。
在操作910，從通過分割基本視點圖像獲得的預定大小的塊中確定第一位置的基
16本視點圖像的塊。 在操作920，確定與第二位置的基本視點圖像的塊相應的附加視點圖像的塊，第二位置的基本視點圖像的塊與第一位置的塊不同。 在操作930，組合在操作910確定的基本視點圖像的塊和在操作920確定的附加視點圖像的塊，從而產(chǎn)生組合圖像。 圖9B是示出根據(jù)本發(fā)明示例性實施例的重構(gòu)立體圖像的方法的流程圖。 在操作960，從通過分割組合圖像獲得的預定大小的塊中確定第一位置的塊和第
二位置的塊，所述第二位置的塊與第一位置的塊不同。 在操作970，產(chǎn)生包括確定的第一位置的塊的第一初始圖像和包括確定的第二位置的塊的第二初始圖像。 在操作980，分別使用第一初始圖像和第二初始圖像重構(gòu)基本視點圖像和附加視點圖像。 本發(fā)明的實施例還可編寫為計算機程序，并且可以在使用計算機可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計算機上實施。計算機可讀記錄介質(zhì)的示例包括磁性存儲介質(zhì)(例如，ROM、軟盤、硬盤等)和光學記錄介質(zhì)(例如，CD-ROM或DVD)。本發(fā)明還可以應用于廣播系統(tǒng)。 根據(jù)本發(fā)明的用于產(chǎn)生立體圖像格式的方法和設備將立體圖像的基本視點圖像和附加視點圖像兩者的信息包括在通過交替組合基本視點圖像和附加視點圖像獲得的組合圖像中。由于基于塊將基本視點圖像的信息與附加視點圖像的信息進行組合，因此基于塊的壓縮/通信標準可應用于信息，從而允許有效的圖像壓縮。 此外，根據(jù)本發(fā)明的用于產(chǎn)生立體圖像格式的方法和設備通過執(zhí)行視差估計提高了在立體圖像格式的產(chǎn)生期間的壓縮效率，并且在接收端處理之后執(zhí)行的后置處理過程期
間準確地重構(gòu)立體圖像。此外，視差向量信息被插入圖像信息而不需要另外的信道，從而使
得現(xiàn)有技術(shù)2D圖像裝置的解碼器能夠讀取根據(jù)本發(fā)明的立體圖像格式。 根據(jù)本發(fā)明的用于重構(gòu)立體圖像的方法和設備從組合圖像提取基本視點圖像和
附加視點圖像的某些塊，并使用運動補償和視差補償重構(gòu)其余的塊。這樣，由于重構(gòu)了立體
圖像的所有的塊，因此可保持立體圖像的原始分辨率，并通過視差補償和運動補償更準確
地重構(gòu)了立體圖像。 另外，可通過將根據(jù)本發(fā)明的立體圖像格式構(gòu)造為包括不同視點圖像的塊的獨立分片實現(xiàn)更有效的編碼，解碼也是同樣。 產(chǎn)生立體圖像格式的方法和對立體圖像格式解碼的方法可應用于立體數(shù)字電視
(TV)、立體個人計算機(PC)監(jiān)視器、立體攝像機和立體數(shù)字廣播(DB)播放器。 雖然已經(jīng)參照本發(fā)明的示例性實施例具體示出和描述了本發(fā)明，但是本領域的普
通技術(shù)人員將理解，在不脫離權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可以在形式
和細節(jié)上做出各種改變。
1權(quán)利要求
一種重構(gòu)立體圖像的方法，所述方法包括從通過分割組合圖像獲得的塊中確定第一位置的第一塊和第二位置的第二塊，第二位置的第二塊與第一位置的第一塊不同；產(chǎn)生包括第一位置的第一塊的第一初級圖像和包括第二位置的第二塊的第二初級圖像；基于第一初級圖像和第二初級圖像分別重構(gòu)基本視點圖像和附加視點圖像。
2. 如權(quán)利要求1所述的方法，其中，組合圖像包括N行和M列，x是大于0小于N/2的整數(shù)，y是大于0小于M/2的整數(shù)，t是大于0的整數(shù)，第(x， y， t)塊表示位于第t幀中左起第x列上起第y行的塊，第一位置是第(2x，2y，2t)塊、第(2x+l，2y+l，2t+l)塊、第(2x，2y+l，2t)塊和第(2x+l，2y，2t+l)塊的位置，第二位置是第(2x，2y+l，2t)塊、第(2x+l，2y，2t)塊、第(2x，2y，2t+l)塊和第(2x+l，2y+l，2t+l)塊的位置。
3. 如權(quán)利要求1所述的方法，其中，產(chǎn)生第一初級圖像和第二初級圖像的步驟包括將第一位置的第一塊布置在第一初級圖像的第一位置；將第二位置的第二塊布置在第二初級圖像的第二位置。
4. 如權(quán)利要求1所述的方法，其中，產(chǎn)生第一初級圖像和第二初級圖像的步驟包括從基本視點圖像的塊和附加視點圖像的塊之間提取視差向量；布置第一初級圖像的第一位置的第一塊；將第二位置的第二塊布置在這樣的位置所述位置偏離第二位置的距離與估計的視差向量相應。
5. 如權(quán)利要求1所述的方法，其中，重構(gòu)基本視點圖像和附加視點圖像的步驟包括為第一初級圖像中第二位置的第二塊估計第一初級圖像的不同時間的幀之間的運動向量；將不同時間的幀的塊布置在基本視點圖像的第二位置，所述不同時間的幀偏離第二位置的距離與估計的運動向量相應。
6. 如權(quán)利要求1所述的方法，其中，重構(gòu)基本視點圖像和附加視點圖像的步驟包括為第二初級圖像中的第一位置的第一塊估計第二初級圖像的不同時間的幀之間的運動向量；將不同時間的幀的塊布置在附加視點圖像的第一位置，所述不同時間的幀偏離第一位置的距離與估計的運動向量相應。
7. 如權(quán)利要求1所述的方法，其中，重構(gòu)基本視點圖像和附加視點圖像的步驟包括為第一初級圖像的第二位置的第二塊估計第一初級圖像和第二初級圖像之間的視差向量；將第二初級圖像的塊布置在基本視點圖像的第二位置，所述第二初級圖像的塊偏離第二位置的距離與估計的視差向量相應。
8. 如權(quán)利要求1所述的方法，其中，重構(gòu)基本視點圖像和附加視點圖像的步驟包括為第二初級圖像的第一位置的第一塊估計第一初級圖像和第二初級圖像之間的視差向量；將第一初級圖像的塊布置在附加視點圖像的第一位置，所述第一初級圖像的塊偏離第一位置的距離與估計的視差向量相應。
9. 如權(quán)利要求4所述的方法，其中，提取視差向量的步驟包括提取通過使用水印插入到組合圖像的視差向量。
10. 如權(quán)利要求4所述的方法，其中，提取視差向量的步驟包括提取插入到組合圖像的預定區(qū)的視差向量。
11. 如權(quán)利要求4所述的方法，其中，提取視差向量的步驟包括從比特流提取視差向量，在所述比特流中組合圖像被壓縮和記錄。
12. 如權(quán)利要求4所述的方法，其中，提取視差向量的步驟包括從視差圖提取視差向
13. —種重構(gòu)立體圖像的方法，所述方法包括從通過分割組合圖像獲得的塊中確定第一位置的第一像素線和第二位置的第二像素線，第二位置的像素線與第一位置的第一像素線不同；通過基于第一位置的第一像素線構(gòu)造塊來重構(gòu)基本視點圖像；通過基于第一位置的第一像素線和第二位置的第二像素線構(gòu)造塊來重構(gòu)附加視點圖像。
14. 如權(quán)利要求13所述的方法，其中，重構(gòu)基本視點圖像的步驟包括將組合圖像的塊的第2n像素線布置在基本視點圖像的塊的第2n像素線中，其中，n是大于0的整數(shù)，第一位置是第2n線的位置和第(2n+l)線的位置；通過使用基本視點圖像的塊的第2n像素線或第(2n+2)像素線執(zhí)行插值來重構(gòu)基本視點圖像的塊的第(2n+l)像素線。
15. 如權(quán)利要求13所述的方法，其中，重構(gòu)附加視點圖像的步驟包括將通過從組合圖像的第(2n+l)像素線的兩倍像素值減去基本視點圖像的塊的第2n像素線的像素值而獲得的值布置在附加視點圖像的塊的第(2n+l)像素線，其中，n是大于0的整數(shù)，第一位置是第2n線的位置和第(2n+l)線的位置；通過使用附加視點圖像的塊的第(2n-l)像素線或第(2n+l)像素線執(zhí)行插值來重構(gòu)附加視點圖像的塊的第2n像素線。
16. —種對包括N行和M列的塊的立體圖像格式進行編碼的方法，所述方法包括通過布置第(2x，2y)塊和第(2x+l，2y+l)塊來構(gòu)造第一分片，其中，x是大于O小于N/2的整數(shù)，y是大于0小于M/2的整數(shù)；通過布置第(2x，2y+l)塊和第(2x+l，2y)塊來構(gòu)造第二分片；使用基于塊的編碼對第一分片和第二分片編碼。
17. —種用于重構(gòu)立體圖像的設備，所述設備包括塊確定單元，從通過分割組合圖像獲得的塊中確定第一位置的第一塊和第二位置的確定的第二塊，第二位置的第二塊與第一位置的第一塊不同；初級圖像產(chǎn)生單元，產(chǎn)生包括第一位置的確定的第一塊的第一初級圖像和包括第二位置的第二塊的第二初級圖像；圖像重構(gòu)單元，使用第一初級圖像和第二初級圖像分別重構(gòu)基本視點圖像和附加視點圖像。
18. —種記錄有用于執(zhí)行重構(gòu)立體圖像的方法的程序的計算機可讀記錄介質(zhì)，所述方法包括從通過分割組合圖像獲得的塊中確定第一位置的第一塊和第二位置的第二塊，第二位置的第二塊與第一位置的第一塊不同；產(chǎn)生包括第一位置的第一塊的第一初級圖像和包括第二位置的第二塊的第二初級圖像；通過使用第一初級圖像和第二初級圖像分別重構(gòu)基本視點圖像和附加視點圖像。
全文摘要
提供了一種用于產(chǎn)生立體圖像格式和從立體圖像格式重構(gòu)立體圖像的方法和設備。產(chǎn)生用于立體圖像的壓縮或發(fā)送的立體圖像格式的方法包括接收基本視點圖像和附加視點圖像，基于通過分割基本視點圖像和附加視點圖像獲得的塊，使用基本視點圖像的第一塊像素信息和附加視點圖像的第二塊像素信息確定用于每個塊位置的立體圖像格式的塊像素信息并將確定的塊像素信息布置在每個塊位置，從而產(chǎn)生包括基本視點圖像的像素信息和附加視點圖像的像素信息的組合圖像。
文檔編號H04N7/24GK101715651SQ200880019594
公開日2010年5月26日 申請日期2008年1月28日 優(yōu)先權(quán)日2007年6月11日
發(fā)明者張紋碩, 金容臺, 金載承 申請人:三星電子株式會社