專利名稱：圖像處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理圖像的方法和設(shè)備，更具體地說，涉及一種使用三維 (3D)視頻圖像的深度值來調(diào)整將與3D圖像一起再現(xiàn)的圖形屏幕的深度值的用于處理圖像的方法和設(shè)備。
背景技術(shù)：
隨著數(shù)字技術(shù)的發(fā)展，在三維(3D)圖像中再現(xiàn)視頻圖像的技術(shù)的使用變得越來越廣泛。3D視頻圖像可與附加地與視頻圖像一起提供的圖形元素(諸如菜單或字幕)一起顯示。與3D視頻圖像一起再現(xiàn)的圖形元素可以以二維(2D)或3D再現(xiàn)。圖IA和圖IB是用于說明當(dāng)視頻圖像和圖形元素以3D再現(xiàn)時(shí)視頻圖像和圖形元素的深度值的示圖。視頻圖像可包括一個(gè)或多個(gè)對(duì)象。在圖IA和圖IB中，對(duì)象包括在視頻圖像中。當(dāng)從屏幕100的突出(protrusion)被稱為深度值時(shí)，參照?qǐng)D1A，包括在視頻圖像中的對(duì)象的深度值110大于圖形元素的深度值120，從而所述對(duì)象看上去比圖形元素從屏幕100更加突出。在這種情況下，觀看屏幕100的觀看者識(shí)別出菜單(即，圖形元素)布置地比包括在視頻圖像中的對(duì)象更向內(nèi)。圖形元素布置地比包括在視頻圖像中的對(duì)象更向內(nèi)，從而對(duì)象被圖形元素部分地隱藏。在這種情況下，觀看者識(shí)別出對(duì)象和圖形元素不自然地被再現(xiàn)。參照?qǐng)D1B，圖形元素的深度值120保持不變，與圖形元素一起再現(xiàn)的包括在視頻圖像中的對(duì)象的深度值Iio變化。一般來說，圖形元素的深度值120具有固定值或關(guān)于特定時(shí)間而變化。同時(shí)，與具有固定深度值的圖形元素一起再現(xiàn)的包括在視頻圖像中的對(duì)象的深度值110變化。假設(shè)左幀和右?guī)陌ㄔ谝曨l圖像中的對(duì)象的深度值110不同，而左幀和右?guī)膱D形元素的深度值120相同。左幀的包括在視頻圖像中的對(duì)象的深度值110與左幀的圖形元素的深度值120的差大于右?guī)膶?duì)象的深度值110與右?guī)膱D形元素的深度值120的差。當(dāng)左幀和右?guī)豁樞虻卦佻F(xiàn)時(shí)，左幀和右?guī)陌ㄔ谝曨l圖像中的對(duì)象的深度值110 與圖形元素的深度值120的差也變化。由于包括在視頻圖像中的對(duì)象的深度值110與圖形元素的深度值120的差，觀看者會(huì)感覺失去方向感。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明提供一種用于處理圖像的方法和設(shè)備，所述方法和設(shè)備使用視頻圖像的深度值來調(diào)整圖形屏幕的深度值以允許觀看者識(shí)別出視頻圖像和圖形屏幕的自然再現(xiàn)。本發(fā)明還提供一種由于處理圖像的方法和設(shè)備，所述方法和設(shè)備通過提供視頻圖像被布置得比圖形屏幕更向內(nèi)的三維(3D)效果來一起再現(xiàn)視頻圖像和圖形屏幕。
技術(shù)方案根據(jù)本發(fā)明的一方面，提供了一種圖像處理方法，包括從視頻流提取指示3D視頻圖像的深度的視頻深度信息；通過使用視頻深度信息，調(diào)整與3D視頻圖像同步的圖形屏幕的深度值視頻深度信息可包括3D視頻圖像的深度值或與3D視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值，其中，深度值從輸出視頻圖像的屏幕的內(nèi)部到屏幕的外部而增加，其中，調(diào)整圖形屏幕的深度值的步驟包括將圖形屏幕的深度值調(diào)整為等于或大于3D視頻圖像的深度值。如果3D視頻圖像包括多個(gè)對(duì)象，并且視頻深度信息包括關(guān)于所述多個(gè)對(duì)象中的兩個(gè)或更多個(gè)對(duì)象的深度信息，則調(diào)整圖形屏幕的深度值的步驟包括將圖形屏幕的深度值調(diào)整為等于或大于所述兩個(gè)或更多個(gè)對(duì)象中的具有最大深度值的對(duì)象的深度值。視頻流可包括多個(gè)作為解碼單元的訪問單元，其中，提取視頻深度信息的步驟包括從多個(gè)訪問單元中的每個(gè)提取視頻深度信息。調(diào)整圖形屏幕的深度值的步驟可包括使用提取的視頻深度信息調(diào)整與提取了視頻深度信息的多個(gè)訪問單元同步的圖形屏幕的深度值。提取視頻深度信息的步驟可包括從包括在多個(gè)訪問單元的補(bǔ)充增強(qiáng)信息(SEI) 中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。視頻流可包括一個(gè)或多個(gè)圖片組(GOP)，GOP包括多個(gè)作為解碼單元的訪問單元， 其中，提取視頻深度信息的步驟包括從包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元之一提取視頻深度信息。提取視頻深度信息的步驟可包括從包括在多個(gè)訪問單元之一的SEI中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。視頻深度信息可包括3D視頻圖像的深度值的數(shù)量或?qū)?yīng)的像素移動(dòng)距離值的數(shù)量，其中，調(diào)整圖形屏幕的深度值的步驟包括當(dāng)包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元根據(jù)包括在視頻深度信息中的數(shù)量被劃分成組時(shí)，通過使用包括在視頻深度信息中的3D 視頻圖像的多個(gè)深度值之一或?qū)?yīng)的多個(gè)像素移動(dòng)距離值之一，來調(diào)整與包括在每個(gè)組中的多個(gè)訪問單元同步的圖形屏幕的深度值。根據(jù)本發(fā)明的另一方面，提供了一種圖像處理設(shè)備，包括視頻解碼器，用于解碼視頻流和生成左眼圖像和右眼圖像；圖形解碼器，用于解碼圖形流和生成圖形屏幕；視頻深度信息提取單元，用于從視頻流提取指示3D視頻圖像的深度的視頻深度信息；圖形屏幕深度值調(diào)整單元，用于通過使用視頻深度信息，來調(diào)整在與3D視頻圖像同步之后被再現(xiàn)的圖形屏幕的深度值。根據(jù)本發(fā)明的另一方面，提供了一種記錄有用于執(zhí)行圖像處理方法的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，所述圖像處理方法包括從視頻流提取指示3D視頻圖像的深度的視頻深度信息；通過使用視頻深度信息，調(diào)整與3D視頻圖像同步的圖形屏幕的深度值。有益效果根據(jù)本發(fā)明，視頻圖像的深度值用于調(diào)整圖形屏幕的深度值，并同時(shí)再現(xiàn)具有調(diào)整的深度值的圖形屏幕和視頻圖像。根據(jù)本發(fā)明，通過提供視頻圖像被布置得比圖形屏幕更向內(nèi)的3D效果，來同時(shí)再現(xiàn)視頻圖像和圖形屏幕。


通過參照附圖詳細(xì)地描述本發(fā)明的示例性實(shí)施例，本發(fā)明的上述和其它特點(diǎn)和優(yōu)點(diǎn)將變得更加清楚，其中圖IA和圖IB是用于說明當(dāng)視頻圖像和圖形元素被三維(3D)地再現(xiàn)時(shí)視頻圖像和圖形元素的深度值的示圖；圖2是根據(jù)本發(fā)明實(shí)施例的視頻流的框圖；圖3是根據(jù)本發(fā)明另一實(shí)施例的視頻流的 框圖；圖4是根據(jù)本發(fā)明另一實(shí)施例的視頻流的框圖；圖5A和圖5B是根據(jù)本發(fā)明實(shí)施例的呈現(xiàn)包括在補(bǔ)充增強(qiáng)信息(SEI)消息中的視頻深度信息的語法的表格；圖6是根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的框圖；圖7是示出根據(jù)本發(fā)明實(shí)施例的圖像處理方法的流程圖。最佳實(shí)施方式在下文，將參照示出本發(fā)明示例性實(shí)施例的附圖更充分地描述本發(fā)明。諸如“中的至少一個(gè)”的表述當(dāng)在一列元素之前時(shí)修飾整列元素，而非修飾列中的
單個(gè)元素。圖2是示出視頻流200的示例的框圖。參照?qǐng)D2，視頻流200包括一個(gè)或多個(gè)訪問單元(AU) 210。AU 210是用于訪問圖片單元中的比特序列內(nèi)的信息的網(wǎng)絡(luò)抽象層(NAL)單元的集合。也就是說，AU與編碼/解碼單元中的編碼圖片(即，幀的圖片)對(duì)應(yīng)。視頻流200包括用于每個(gè)AU 210視頻深度信息220。視頻深度信息220是指示從視頻流200生成的三維(3D)視頻圖像的深度的信息。因?yàn)槿说碾p眼在水平方向上相互之間隔開預(yù)定距離，由左眼和右眼觀看到的二維 (2D)圖像不同。大腦結(jié)合不同的2D圖像以生成具有透視性和明顯性的顯示的3D圖像。因此，為了將2D視頻圖像再現(xiàn)為3D圖像，從2D圖像生成關(guān)于2D圖像的兩個(gè)不同圖像，一個(gè)被左眼觀看(左眼圖像)，另一個(gè)被右眼觀看(左眼圖像)，左眼圖像和右眼圖像被交替地再現(xiàn)。通過以預(yù)定的距離向左或向右移動(dòng)包括在2D圖像中的像素來生成左眼圖像和右眼圖像。為了從2D圖像再現(xiàn)左眼圖像和右眼圖像而將像素移動(dòng)的距離根據(jù)將從2D圖像生成的3D圖像的深度而變化。這樣的距離可以在2D圖像中的預(yù)定像素的位置與左眼圖像和右眼圖像的點(diǎn)之間，其中，所述預(yù)定像素在移動(dòng)預(yù)定距離之后被映射到所述點(diǎn)。術(shù)語“深度信息”可被用于指示圖像的深度。視頻深度信息可包括深度值或與深度值對(duì)應(yīng)的像素的移動(dòng)距離值。在一個(gè)總體方面，圖像被布置地離觀看者越近，圖像的深度值變得越大。根據(jù)說明性示例，深度值可具有從0到255的256個(gè)值中的一個(gè)。圖像在屏幕內(nèi)部形成得離觀看屏幕的觀看者越遠(yuǎn)，深度值變得越小，并因此深度值接近0。圖像從屏幕突出得離觀看者越近， 深度值變得越大，并因此深度值接近255。
說明性示例可包括視頻深度信息220，視頻深度信息220指示將從包括在視頻流 200中的每個(gè)AU 210再現(xiàn)3D視頻圖像的深度。 雖然未在圖2中示出，但是每個(gè)AU 210可包括補(bǔ)充增強(qiáng)信息(SEI)，所述補(bǔ)充增強(qiáng)信息(SEI)可包括用戶數(shù)據(jù)SEI消息。視頻深度信息220可包括在SEI消息中，所述SEI 消息包括在AU 210中。這將參照?qǐng)D4更加詳細(xì)地描述。圖像處理設(shè)備(未示出)可從視頻流200的每個(gè)AU 210提取視頻深度信息220， 并可使用提取的視頻深度信息220來調(diào)整圖形屏幕的深度值。通過對(duì)圖形流進(jìn)行解碼來生成圖形屏幕。圖形流可包括呈現(xiàn)圖形流或提供字幕的文本字幕流、提供由按鈕等形成的菜單以與用戶交互的交互圖形流或通過諸如Java的程序元素顯示的圖形重疊中的一個(gè)或組合。圖像處理設(shè)備可使用提取的視頻深度信息220，來調(diào)整將與提取了視頻深度信息 220的AU 210同步的圖形屏幕的深度值。例如，圖形屏幕可和與AU 210對(duì)應(yīng)的3D圖像一起被再現(xiàn)，且圖像處理設(shè)備可使用提取的視頻深度信息220，來調(diào)整與提取了視頻深度信息 220的AU 210同步之后再現(xiàn)的圖形屏幕的深度值。圖像處理設(shè)備可使用包括在視頻深度信息220中的深度值或與深度值對(duì)應(yīng)的像素的移動(dòng)距離值，來將圖形屏幕的深度值調(diào)整為等于或大于3D視頻圖像的深度值。在此情況下，圖形屏幕比3D視頻圖形更突出，因此圖形屏幕在更靠近觀看者的位置被輸出。一幀或圖片可包括一個(gè)對(duì)象或多個(gè)對(duì)象。在這種情況下，視頻深度信息220可包括關(guān)于多個(gè)對(duì)象中的一個(gè)或全部或多個(gè)對(duì)象的兩個(gè)或更多個(gè)的深度信息。圖像處理設(shè)備可使用包括在視頻深度信息220中的對(duì)象的深度信息中的關(guān)于一個(gè)對(duì)象的深度信息來調(diào)整圖形屏幕的深度值。如果包括在視頻深度信息220中的對(duì)象的深度信息包括對(duì)象的深度值，則圖像處理設(shè)備可將圖形屏幕的深度值調(diào)整為大于所述多個(gè)對(duì)象之一的最大深度值。如果視頻深度信息220包括每個(gè)對(duì)象的像素的移動(dòng)距離值，而不是對(duì)象的深度值，則圖像處理設(shè)備可獲得與像素的移動(dòng)距離值對(duì)應(yīng)的深度值。圖像處理設(shè)備還可識(shí)別所述多個(gè)對(duì)象中的具有最大深度值的一個(gè)對(duì)象，并將圖形屏幕的深度值調(diào)整為大于識(shí)別的對(duì)象的最大深度值。如上面的描述，根據(jù)說明性示例，用于調(diào)整與視頻圖像一起再現(xiàn)的圖形屏幕的深度值的視頻深度信息220可包括在每個(gè)AU 210中。圖3是示出視頻流300的示例的框圖。參照?qǐng)D3，視頻流300可包括一個(gè)或多個(gè)圖片組(GOP)，圖片組包括一系列圖片的集合。視頻流300還可包括用于每個(gè)GOP的GOP頭 310。GOP是從I圖片到下一 I圖片的一系列圖片的集束，并還可包括P圖片和B圖片(未示出)。如上面的描述，一張圖片與一個(gè)AU對(duì)應(yīng)。在一個(gè)說明性方面，GOP頭310可包括包括在GOP (如視頻流300)中的多個(gè)AU的視頻深度信息330。如上面的描述，視頻深度信息330包括3D視頻圖像的深度值或與3D視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值。多個(gè)AU的視頻深度信息330包括在GOP頭310中，其中，多個(gè)深度值的列表或多個(gè)像素移動(dòng)距離值的列表可包括在視頻深度信息330中。視頻深度信息330還可包括關(guān)于深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量的計(jì)數(shù)值信息。頁圖像處理設(shè)備(未示出)可從GOP頭310提取視頻深度信息330，并使用包括在視頻深度信息330中的計(jì)數(shù)值來識(shí)別深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量。圖像處理設(shè)備可將包括在GOP中的多個(gè)AU分組為包括在視頻深度信息330中的數(shù)量，并使用深度值或像素移動(dòng)距離值來調(diào)整在與包括在每個(gè)組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。作為示例，假設(shè)GOP包括十個(gè)AU，且視頻 深度信息330包括五個(gè)深度值。圖像處理設(shè)備可將所述十個(gè)AU分組給所述五個(gè)深度值，并通過順序地使用所述五個(gè)深度值來調(diào)整在與包括在每個(gè)組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。也就是說，圖像處理設(shè)備可使用所述五個(gè)深度值中的第一深度值來調(diào)整在與包括在第一組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。圖像處理設(shè)備還可使用所述五個(gè)深度值中的第二深度值來調(diào)整在與包括在第二組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。如果視頻深度信息330包括移動(dòng)距離值的列表，而不是深度值的列表，則圖像處理設(shè)備可將像素移動(dòng)距離值轉(zhuǎn)換為對(duì)應(yīng)的深度值，并使用轉(zhuǎn)換的深度值來調(diào)整圖形屏幕的深度值。如上面的描述，根據(jù)說明性示例，配置為調(diào)整與包括在GOP中的AU —起再現(xiàn)的圖形屏幕的深度值的視頻深度信息330可包括在GOP頭310中。圖4是示出視頻流400的示例的框圖。參照?qǐng)D4，視頻流400包括一個(gè)或多個(gè)G0P， 每個(gè)GOP包括多個(gè)AU 410。視頻深度信息440可包括在包含在GOP中的所述多個(gè)AU 410 之一中。AU 410可包括片段，片段是宏塊的集合，在所述片段中每個(gè)宏塊可被獨(dú)立解碼。AU 410還可包括片段所需的參數(shù)集(即，關(guān)于解碼器的設(shè)置和控制的信息)、包括與解碼的數(shù)據(jù)的屏幕呈現(xiàn)相關(guān)的附加信息和時(shí)間信息的SEI 420。SEI 420用于利用一般解碼圖像的應(yīng)用層，并且不包括在所有的AU 410中。SEI 420可包括與關(guān)于字幕或菜單的附加信息相關(guān)的用戶數(shù)據(jù)SEI消息430。根據(jù)說明性示例，SEI消息430可包括視頻深度信息440。視頻深度信息440可包括3D視頻圖像的深度值或與3D視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值。多個(gè)AU的視頻深度信息440可包括在所述多個(gè)AU 410之一中，從而多個(gè)深度值的列表或多個(gè)像素移動(dòng)距離值的列表可包括在視頻深度信息440中。關(guān)于深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量的信息也可作為計(jì)數(shù)值包括在視頻深度信息440中。圖像處理設(shè)備(未示出)可從所述多個(gè)AU 410之一的SEI 420提取視頻深度信息440，并使用視頻深度信息440中的計(jì)數(shù)值來識(shí)別深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量。圖像處理設(shè)備可將一個(gè)GOP中的多個(gè)AU分組為視頻深度信息440中的深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量，并通過順序地使用深度值來調(diào)整在與每個(gè)組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。如果視頻深度信息440包括移動(dòng)距離值的列表，而不是深度值的列表，則圖像處理設(shè)備可將像素移動(dòng)距離值轉(zhuǎn)換為對(duì)應(yīng)的深度值，并使用轉(zhuǎn)換的深度值來調(diào)整圖形屏幕的深度值。如上面的描述，根據(jù)說明性示例，配置為調(diào)整與視頻圖像一起再現(xiàn)的圖形屏幕的深度值的視頻深度信息440可包括在所述多個(gè)AU 410之一中。圖5A和圖5B是示出呈現(xiàn)包括在SEI消息中的視頻深度信息的語法的示例的表格。參照?qǐng)D5A，包括在語法中的類型標(biāo)識(shí)符typejndicator指示在類型標(biāo)識(shí)符之后被包括的信息。根據(jù)說明性示例，如果類型標(biāo)識(shí)符typejndicator在第三if從句中具有預(yù)定值， 則視頻深度信息cbpth DataO跟隨著類型標(biāo)識(shí)符。參照?qǐng)D5B，語法呈現(xiàn)視頻深度信息cbpth DataO0視頻深度信息cbpth DataO 包括深度值或像素移動(dòng)距離值。語法呈現(xiàn)指示深度值的數(shù)量或像素移動(dòng)距離值的數(shù)量的計(jì)數(shù)值d印th_Coimt，并呈現(xiàn)作為與計(jì)數(shù)值d印th_Coimt那么多的視頻深度值或像素移動(dòng)距離值的d印th。在計(jì)數(shù)值d印th_Coimt每次增加1的情況下，也就是說，在多個(gè)AU被分組為計(jì)數(shù)值d印th_Coimt的情況下，語法呈現(xiàn)一次一個(gè)(例如從第一組開始)順序使用視頻深度值或像素移動(dòng)距離值，以調(diào)整在與包括在每個(gè)組中的AU同步之后被再現(xiàn)的圖形屏幕的深度值。圖6是示出圖像處理設(shè)備600的示例的框圖。參照?qǐng)D6，圖像處理設(shè)備600包括左眼視頻解碼器611、右眼視頻解碼器612、左眼視頻平面(plane)613、右眼視頻平面614、圖形解碼器615、圖形平面616、視頻深度信息提取單元617、圖形屏幕深度值調(diào)整單元618以及輸出單元619。左眼視頻解碼器611可對(duì)左眼視頻流進(jìn)行解碼，并可將解碼后的右眼視頻流發(fā)送到左眼視頻平面613。左眼視頻平面613可使用解碼后的左眼視頻流生成左眼圖像。右眼視頻解碼器612可對(duì)右眼視頻流進(jìn)行解碼，并可將解碼后的右眼視頻流發(fā)送到右眼視頻平面614。右眼視頻平面614可使用解碼后的右眼視頻流生成右眼圖像。左眼視頻平面613和右眼視頻平面614可分別臨時(shí)存儲(chǔ)由左眼視頻解碼器611和右眼視頻解碼器612生成的左眼圖像和右眼圖像。視頻深度信息提取單元617從視頻流(即，包括視頻深度信息的解碼后的左眼視頻流和解碼后的右眼視頻流)提取視頻深度信息。視頻深度信息可以以各種形式包括在視頻流中。例如，視頻深度信息可包括在多個(gè)AU中的每個(gè)中，所述多個(gè)AU包括在視頻流中，或者關(guān)于包括在視頻流的GOP中的全部AU 的視頻深度信息可包括在所述多個(gè)AU之一中?？蛇x擇地，關(guān)于包括在視頻流的GOP中的AU 的視頻深度信息可包括在GOP的頭中。視頻深度信息可包括在SEI的用戶數(shù)據(jù)SEI消息中， 其中，所述SEI包括在AU中。視頻深度信息提取單元617將從視頻流提取的視頻深度信息發(fā)送給圖形屏幕深度值調(diào)整單元618。圖形解碼器615對(duì)圖形流進(jìn)行解碼并將所述解碼后的圖形流發(fā)送到圖形平面 616。圖形平面616生成圖形屏幕。圖形平面616臨時(shí)存儲(chǔ)生成的圖形屏幕。圖形屏幕深度值調(diào)整單元618可使用從視頻深度信息提取單元617接收的視頻深度信息將圖形屏幕的深度值調(diào)整為等于3D視頻圖像的深度值，所述3D視頻圖像在與圖形屏幕同步之后被再現(xiàn)?？蛇x擇地，圖形屏幕深度值調(diào)整單元618可使用從視頻深度信息提取單元617接收的視頻深度信息將圖形屏幕的深度值調(diào)整為比3D視頻圖像的深度值大預(yù)定深度值。如果視頻深度信息包括關(guān)于包括在視頻圖像(所述視頻圖像在與圖形屏幕同步之后被再現(xiàn))中的多個(gè)對(duì)象中的兩個(gè)或更多個(gè)對(duì)象的深度信息，則圖形屏幕深度值調(diào)整單元618可使用包括在視頻深度信息中的兩個(gè)或更多個(gè)對(duì)象中的具有最大深度值或具有最大像素移動(dòng)距離值的對(duì)象的深度值或像素移動(dòng)距離值來調(diào)整圖形屏幕的深度值。在一個(gè)示例中，AU可根據(jù)包括在視頻深度信息中的計(jì)數(shù)值被劃分為組。在該示例中，視頻深度信息包括關(guān)于多個(gè)幀而不是一幀的深度信息(即，多個(gè)AU)，圖形屏幕深度值調(diào)整單元618可將在與每個(gè)組的AU同步之后被再現(xiàn)的圖形屏幕的深度值調(diào)整為包括在視頻深度信息中的多個(gè)深度值之一或與多個(gè)深度值對(duì)應(yīng)的多個(gè)像素移動(dòng)距離值之一。圖形屏幕深度值調(diào)整單元618可使用視頻深度信息中的深度值或像素移動(dòng)距離值，從生成在圖形平面616中的圖形屏幕生成將與左眼圖像一起輸出的左眼圖形屏幕和將與右眼圖像一起輸出的右眼圖形屏幕。圖形屏幕深度值調(diào)整單元618可通過將在圖形平面 616上繪出的整個(gè)圖形屏幕向左或向右移動(dòng)像素移動(dòng)距離值，或移動(dòng)比像素移動(dòng)距離值更大的值，來生成左眼圖形屏幕和右眼圖形屏幕，其中，所述像素移動(dòng)距離值包括在視頻深度信息中。如果視頻深度信息包括深度值，則圖形屏幕深度值調(diào)整單元618可通過將平面所述整個(gè)圖形屏幕以所述圖形屏幕具有等于或大于包括在視頻深度信息中的深度值的深度值的方式向左或向右移動(dòng)預(yù)定距離，來生成左眼圖形屏幕和右眼圖形屏幕。在一個(gè)示例中，輸出單元619可同時(shí)再現(xiàn)左眼圖形屏幕和生成在左眼視頻平面 613中的左眼視頻圖像，并可同時(shí)再現(xiàn)右眼圖形屏幕和生成在左眼視頻平面614中的左眼視頻圖像。輸出單元619會(huì)交替地輸出包括圖形屏幕的左眼圖像和右眼圖像并再現(xiàn)3D視頻圖像。關(guān)于此，圖形屏幕會(huì)具有大于視頻圖像的深度值的深度值，從而自然地再現(xiàn)視頻圖像和圖形屏幕。圖6中描述的左眼視頻解碼器611，右眼視頻解碼器612、左眼視頻平面613、右眼視頻平面614、圖形解碼器615、圖形平面616、視頻深度信息提取單元617、圖形屏幕深度值調(diào)整單元618以及輸出單元619可使用硬件和軟件組件(例如，處理裝置)來實(shí)現(xiàn)。處理裝置可使用一個(gè)或多個(gè)通用或?qū)Ｓ糜?jì)算機(jī)(諸如，例如，處理器、控制器、算術(shù)邏輯單元、數(shù)字信號(hào)處理器、微型計(jì)算機(jī)、現(xiàn)場(chǎng)可編程陣列、可編程邏輯單元、微處理器或能夠以預(yù)定義的方式響應(yīng)指令并執(zhí)行指令的任何其它裝置)來實(shí)現(xiàn)。處理裝置可運(yùn)行操作系統(tǒng)(OS)以及在OS上運(yùn)行的一個(gè)或多個(gè)軟件應(yīng)用。處理裝置還可響應(yīng)于軟件的執(zhí)行而訪問、存儲(chǔ)、操縱、處理并創(chuàng)建數(shù)據(jù)。為了簡(jiǎn)明的目的，以單數(shù)形式描述處理裝置，然而，本領(lǐng)域技術(shù)人員將理解處理裝置可包括多個(gè)處理元件和多種類型的處理元件。例如，處理裝置可包括多個(gè)處理器或單個(gè)處理器和控制器。此外，不同的處理配置是可能的，諸如并行處理器。此外，圖6中描述的左眼視頻解碼器611，右眼視頻解碼器612、左眼視頻平面613、 右眼視頻平面614、圖形解碼器615、圖形平面616、視頻深度信息提取單元617、圖形屏幕深度值調(diào)整單元618以及輸出單元619可被實(shí)現(xiàn)為單結(jié)構(gòu)組件或一個(gè)或多個(gè)集成結(jié)構(gòu)組件。圖7是示出圖像處理方法的示例的流程圖。參照?qǐng)D7，圖6的圖像處理設(shè)備600從視頻流提取指示3D視頻圖像的深度的視頻深度信息(操作710)。圖像處理設(shè)備600可從包括在視頻流中的多個(gè)AU中的每個(gè)AU提取視頻深度信息或從所述多個(gè)AU之一提取所述多個(gè)AU的視頻深度信息。可選擇地，圖像處理設(shè)備600可從GOP的頭提取包括在GOP中的 AU的視頻深度信息。在一方面，圖像處理設(shè)備包括視頻解碼器，被配置為對(duì)視頻流進(jìn)行解碼并生成左眼圖像和右眼圖像。圖像處理設(shè)備還包括圖形解碼器，被配置為對(duì)圖形流進(jìn)行解碼并生成圖形屏幕。所述設(shè)備還包括視頻深度信息提取單元，被配置為從視頻流提取視頻深度信息。所述設(shè)備還包括圖形屏幕深度值調(diào)整單元，被配置為使用視頻深度信息調(diào)整在與3D視頻圖像同步之后被再現(xiàn)的圖形屏幕的深度值，并被配置為從圖形屏幕生成左眼圖形屏幕和右眼圖形屏幕。圖像處理設(shè)備還包括輸出單元，被配置為同時(shí)再現(xiàn)左眼圖像和左眼圖形屏幕， 并被配置為同時(shí)再現(xiàn)右眼圖像和右眼圖形屏幕，并被配置為交替地輸出包括圖形屏幕的左眼圖像和右眼圖像并再現(xiàn)3D視頻圖像。視頻深度信息可包括3D視頻圖像的深度值或與3D 視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值。圖像處理設(shè)備600使用視頻深度信息調(diào)整與3D視頻圖像同步的圖形屏幕的深度值(操作720)。圖像處理設(shè)備600可將圖形屏幕的深度值調(diào)整為等于或大于3D視頻圖像的深度值。在一個(gè)示例中，如果視頻深度信息包括關(guān)于包括在視頻圖像中的多個(gè)對(duì)象中的兩個(gè)或更多個(gè)對(duì)象的深度信息，則圖像處理設(shè)備600可調(diào)整圖形屏幕的深度值，其中，所述視頻圖像在與所述圖形屏幕同步之后被再現(xiàn)。圖像處理設(shè)備600可使用包括在視頻深度信息中的兩個(gè)或更多個(gè)對(duì)象中的具有最大深度值或具有最大像素移動(dòng)距離值的對(duì)象的深度值或像素移動(dòng)距離值，來調(diào)整圖形屏幕的深度值。在另一示例中，使用包括在視頻深度信息中的計(jì)數(shù)值來將AU劃分為組。在該示例中，如果視頻深度信息包括多個(gè)AU的深度信息，則圖像處理設(shè)備600可將在與每個(gè)組的AU 同步之后被再現(xiàn)的圖形屏幕的深度值調(diào)整為包括在視頻深度信息中的多個(gè)深度值之一或與多個(gè)深度值對(duì)應(yīng)的多個(gè)像素移動(dòng)距離值之一。圖像處理設(shè)備600可再現(xiàn)具有調(diào)整的深度值的圖形屏幕和3D視頻圖像(操作 730)。應(yīng)理解，在本發(fā)明的實(shí)施例中，可以按所示出的順序和方式來執(zhí)行圖7中的操作， 然而一些步驟的順序可在不脫離本發(fā)明的精神和范圍的情況下被改變。根據(jù)說明性示例， 還可提供實(shí)施在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，編碼指令以執(zhí)行至少圖7中描述的方法。執(zhí)行圖7中描述的方法或其操作中的一個(gè)或多個(gè)操作的程序指令可被記錄、存儲(chǔ)或固定在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中。程序指令可被計(jì)算機(jī)實(shí)現(xiàn)。例如，計(jì)算機(jī)可使處理器執(zhí)行程序指令。介質(zhì)可包括單獨(dú)的程序指令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等或它們的組合。計(jì)算機(jī)可讀介質(zhì)的示例包括磁介質(zhì)，諸如硬盤、軟盤和磁帶；光介質(zhì)，諸如CD ROM盤和DVD ；磁光介質(zhì)，諸如光盤；專門配置為存儲(chǔ)和執(zhí)行程序指令的硬件裝置，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、閃存等。程序指令的示例包括諸如由編譯器產(chǎn)生的機(jī)器代碼以及包含可由計(jì)算機(jī)使用解釋器執(zhí)行的更高級(jí)代碼的文件。程序指令(即，軟件)可被分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，從而軟件可以以分布方式被存儲(chǔ)和執(zhí)行。例如，軟件和數(shù)據(jù)可被一個(gè)或多個(gè)計(jì)算機(jī)可讀記錄介質(zhì)存儲(chǔ)。此外，這里公開的用于實(shí)現(xiàn)示例性實(shí)施例的功能性程序、代碼和代碼段可被本實(shí)施例所屬領(lǐng)域的程序員基于并使用這里提供的附圖的流程圖和框圖以及它們的對(duì)應(yīng)描述容易地解釋。雖然參照本發(fā)明的優(yōu)選實(shí)施例特別顯示和描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員應(yīng)理解，在不脫離權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可以對(duì)其做出形式和細(xì)節(jié)上的各種改變。優(yōu)選實(shí)施例應(yīng)被認(rèn)為僅僅是描述性意義而不是為了限制的目的。因此，本發(fā)明的范圍不是由本發(fā)明的詳細(xì)描述限定的，而是由權(quán)利要求限定的，并且在范圍內(nèi)的所有不同將被解釋為包括在本發(fā)明中。
權(quán)利要求
1.一種圖像處理方法，包括從視頻流提取指示3D視頻圖像的深度的視頻深度信息；使用視頻深度信息，調(diào)整將將與3D視頻圖像同步的圖形屏幕的深度值。
2.如權(quán)利要求1所述的圖像處理方法，其中，視頻深度信息包括3D視頻圖像的深度值或與3D視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值，其中，深度值從輸出視頻圖像的屏幕的內(nèi)部到屏幕的外部而增加， 其中，調(diào)整圖形屏幕的深度值的步驟包括將圖形屏幕的深度值調(diào)整為等于或大于3D 視頻圖像的深度值。
3.如權(quán)利要求2所述的圖像處理方法，其中，在3D視頻圖像包括多個(gè)對(duì)象，并且視頻深度信息包括關(guān)于所述多個(gè)對(duì)象中的兩個(gè)或更多個(gè)對(duì)象的深度信息的情況下，調(diào)整圖形屏幕的深度值的步驟包括將圖形屏幕的深度值調(diào)整為等于或大于所述兩個(gè)或更多個(gè)對(duì)象中的具有最大深度值的對(duì)象的深度值。
4.如權(quán)利要求2所述的圖像處理方法，其中，視頻流包括多個(gè)作為解碼單元的訪問單元，其中，提取視頻深度信息的步驟包括從多個(gè)訪問單元中的每個(gè)提取視頻深度信息。
5.如權(quán)利要求4所述的圖像處理方法，其中，調(diào)整圖形屏幕的深度值的步驟包括使用提取的視頻深度信息調(diào)整將與提取了視頻深度信息的多個(gè)訪問單元同步的圖形屏幕的深度值。
6.如權(quán)利要求4所述的圖像處理方法，其中，提取視頻深度信息的步驟包括從包括在多個(gè)訪問單元的補(bǔ)充增強(qiáng)信息(SEI)中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。
7.如權(quán)利要求2所述的圖像處理方法，其中，視頻流包括一個(gè)或多個(gè)圖片組(GOP)，GOP 包括多個(gè)作為解碼單元的訪問單元，其中，提取視頻深度信息的步驟包括從包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元之一提取視頻深度信息。
8.如權(quán)利要求7所述的圖像處理方法，其中，提取視頻深度信息的步驟包括從包括在多個(gè)訪問單元之一的補(bǔ)充增強(qiáng)信息(SEI)中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。
9.如權(quán)利要求8所述的圖像處理方法，其中，視頻深度信息包括3D視頻圖像的深度值的數(shù)量或?qū)?yīng)的像素移動(dòng)距離值的數(shù)量，其中，調(diào)整圖形屏幕的深度值的步驟包括在包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元根據(jù)包括在視頻深度信息中的所述數(shù)量被劃分成組的情況下，通過使用包括在視頻深度信息中的3D視頻圖像的多個(gè)深度值之一或?qū)?yīng)的多個(gè)像素移動(dòng)距離值之一，來調(diào)整將與包括在每個(gè)組中的多個(gè)訪問單元同步的圖形屏幕的深度值。
10.如權(quán)利要求2所述的圖像處理方法，其中，視頻流包括一個(gè)或多個(gè)圖片組(G0P)， GOP包括多個(gè)作為解碼單元的訪問單元，其中，提取視頻深度信息的步驟包括從一個(gè)或多個(gè)GOP中的頭提取視頻深度信息。
11.如權(quán)利要求10所述的圖像處理方法，其中，視頻深度信息包括3D視頻圖像的深度值的數(shù)量或?qū)?yīng)的像素移動(dòng)距離值的數(shù)量，其中，調(diào)整圖形屏幕的深度值的步驟包括在包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元根據(jù)包括在視頻深度信息中的所述數(shù)量被劃分成組的情況下，通過使用包括在視頻深度信息中的3D視頻圖像的多個(gè)深度值之一或?qū)?yīng)的多個(gè)像素移動(dòng)距離值之一，來調(diào)整將與包括在每個(gè)組中的多個(gè)訪問單元同步的圖形屏幕的深度值。
12.—種圖像處理設(shè)備，包括視頻解碼器，配置為解碼視頻流和生成左眼圖像和右眼圖像；圖形解碼器，配置為解碼圖形流和生成圖形屏幕；視頻深度信息提取單元，配置為從視頻流提取指示3D視頻圖像的深度的視頻深度信息；圖形屏幕深度值調(diào)整單元，配置為使用視頻深度信息，來調(diào)整將與3D視頻圖像同步的圖形屏幕的深度值。
13.如權(quán)利要求12所述的圖像處理設(shè)備，其中，視頻深度信息包括3D視頻圖像的深度值或與3D視頻圖像的深度值對(duì)應(yīng)的像素移動(dòng)距離值，其中，深度值從輸出視頻圖像的屏幕的內(nèi)部到屏幕的外部而增加，其中，圖形屏幕深度值調(diào)整單元將圖形屏幕的深度值調(diào)整為等于或大于3D視頻圖像的深度值。
14.如權(quán)利要求13所述的圖像處理設(shè)備，其中，在3D視頻圖像包括多個(gè)對(duì)象，并且視頻深度信息包括關(guān)于所述多個(gè)對(duì)象中的兩個(gè)或更多個(gè)對(duì)象的深度信息的情況下，圖形屏幕深度值調(diào)整單元將圖形屏幕的深度值調(diào)整為等于或大于所述兩個(gè)或更多個(gè)對(duì)象中的具有最大深度值的對(duì)象的深度值。
15.如權(quán)利要求13所述的圖像處理設(shè)備，其中，視頻流包括多個(gè)作為解碼單元的訪問單元，其中，視頻深度信息提取單元從多個(gè)訪問單元中的每個(gè)提取視頻深度信息。
16.如權(quán)利要求15所述的圖像處理設(shè)備，其中，視頻深度信息提取單元使用提取的視頻深度信息調(diào)整將與提取了視頻深度信息的多個(gè)訪問單元同步的圖形屏幕的深度值。
17.如權(quán)利要求15所述的圖像處理設(shè)備，其中，視頻深度信息提取單元從包括在多個(gè)訪問單元的補(bǔ)充增強(qiáng)信息(SEI)中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。
18.如權(quán)利要求13所述的圖像處理設(shè)備，其中，視頻流包括一個(gè)或多個(gè)圖片組(GOP)， GOP包括多個(gè)作為解碼單元的訪問單元，其中，視頻深度信息提取單元從包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元之一提取視頻深度信息。
19.如權(quán)利要求18所述的圖像處理設(shè)備，其中，視頻深度信息提取單元從包括在多個(gè)訪問單元之一的補(bǔ)充增強(qiáng)信息(SEI)中的用戶數(shù)據(jù)SEI消息提取視頻深度信息。
20.如權(quán)利要求19所述的圖像處理設(shè)備，其中，視頻深度信息包括3D視頻圖像的深度值的數(shù)量或?qū)?yīng)的像素移動(dòng)距離值的數(shù)量，其中，在包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元根據(jù)包括在視頻深度信息中的所述數(shù)量被劃分成組的情況下，圖形屏幕深度值調(diào)整單元通過使用包括在視頻深度信息中的3D 視頻圖像的多個(gè)深度值之一或?qū)?yīng)的多個(gè)像素移動(dòng)距離值之一，來調(diào)整將與包括在每個(gè)組中的多個(gè)訪問單元同步的圖形屏幕的深度值。
21.如權(quán)利要求13所述圖像處理設(shè)備，其中，視頻流包括一個(gè)或多個(gè)圖片組(GOP)，GOP 包括多個(gè)作為解碼單元的訪問單元，其中，視頻深度信息提取單元從一個(gè)或多個(gè)GOP的頭提取視頻深度信息。
22.如權(quán)利要求21所述圖像處理設(shè)備，其中，視頻深度信息包括3D視頻圖像的深度值的數(shù)量或?qū)?yīng)的像素移動(dòng)距離值的數(shù)量，其中，在包括在一個(gè)或多個(gè)GOP中的多個(gè)訪問單元根據(jù)包括在視頻深度信息中的數(shù)量被劃分成組的情況下，圖形屏幕深度值調(diào)整單元通過使用包括在視頻深度信息中的3D視頻圖像的多個(gè)深度值之一或?qū)?yīng)的多個(gè)像素移動(dòng)距離值之一，來調(diào)整將與包括在每個(gè)組中的多個(gè)訪問單元同步的圖形屏幕的深度值。
23.—種記錄有用于執(zhí)行圖像處理方法的程序非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，所述圖像處理方法包括從視頻流提取指示3D視頻圖像的深度的視頻深度信息； 使用視頻深度信息，調(diào)整將與3D視頻圖像同步的圖形屏幕的深度值。
全文摘要
公開一種圖像處理方法，包括從視頻流提取指示三維視頻圖像的視頻深度信息；通過使用視頻深度信息，調(diào)整與三維視頻圖像同步的將被再現(xiàn)的圖形圖像的深度值。
文檔編號(hào)H04N13/00GK102450025SQ201080023559
公開日2012年5月9日 申請(qǐng)日期2010年5月25日 優(yōu)先權(quán)日2009年5月27日
發(fā)明者全惠暎, 李大鐘, 鄭鉉權(quán) 申請(qǐng)人:三星電子株式會(huì)社