專利名稱：數據結構、圖像處理裝置和方法以及程序的制作方法
技術領域：
本發(fā)明涉及數據結構、圖像處理裝置和方法以及程序。具體地，本發(fā)明涉及允許提高對具有重疊信息的3D (3維)圖像的視差檢測和視差控制的精度的數據結構、圖像處理裝置和方法以及程序。
背景技術：
盡管2W2維)圖像在諸如電影等視頻內容中是主流的，但是3維圖像近來引起人們的注意。已提出了關于3維圖像顯示裝置的各種技術以及對3維圖像編碼和解碼的方法 (例如，參照日本未審專利申請公開第10-327430號和第2008-182669號)。3維圖像包括由左眼觀看的左眼圖像和由右眼觀看的右眼圖像。通過設定左眼圖像和右眼圖像之間的預定視差，允許觀看者將3維圖像感知為立體圖像。

發(fā)明內容
順便提及，3維圖像有時按與2D圖像相同的方式包括諸如字幕等重疊信息。當對包括這種重疊信息的3維圖像執(zhí)行諸如視差檢測等處理時，有時因為重疊信息而難于執(zhí)行正確的視差檢測?？紤]到這些情形做出了本發(fā)明。所期望的是，允許提高對具有重疊信息的3維圖像的視差檢測和視差控制的精度。根據本發(fā)明的實施例，提供了一種圖像處理裝置，包括獲取部件，用于獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及視差檢測部件，用于檢測除了由左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域中的視差量。根據本發(fā)明的另一實施例，提供了一種由執(zhí)行包括左眼圖像和右眼圖像的3維圖像的圖像處理的圖像處理裝置來處理圖像的方法，該方法包括步驟獲取3維圖像的圖像數據和作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及檢測除了由左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域中的視差量。根據本發(fā)明的另一實施例，提供了一種用于使計算機執(zhí)行處理的程序，包括步驟 獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及檢測除了由左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域中的視差量。通過本發(fā)明的實施例，獲得了包括左眼圖像和右眼圖像的3維圖像以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息。并且對除了由左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域中的視差量執(zhí)行檢測。根據本發(fā)明的另一實施例，提供了一種用于3維內容的內容數據的數據結構，包括包括左眼圖像和右眼圖像的3維圖像的圖像數據；以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息。
在本發(fā)明的另一實施例中，作為3維內容的內容數據，包括包括左眼圖像和右眼圖像的3維圖像的圖像數據以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息。在這一點上，有可能經由傳送介質傳送程序，或者通過將程序記錄在記錄介質上來提供程序。圖像處理裝置可以是獨立的裝置，或者可以是一個裝置中包括的內部模塊。通過本發(fā)明的上述實施例，有可能提高對具有重疊信息的3維圖像的視差檢測和視差控制的精度。


圖1是圖示將具有根據本發(fā)明的實施例的數據結構的3維內容的數據記錄在記錄介質上的記錄裝置的配置的示例的框圖；圖2是圖示圖1中的記錄裝置的記錄處理的流程圖；圖3是圖示記錄在記錄介質上的分級數據結構的示圖；圖4是圖示MPEG4盒的擴展區(qū)域的示例的示圖；圖5是圖示MPEG4盒的擴展區(qū)域的另一示例的示圖；圖6是圖示MPEG4盒的擴展區(qū)域的又一示例的示圖；圖7是圖示被應用本發(fā)明的實施例的重放裝置的配置的示例的框圖；圖8是圖示3維圖像處理部分的詳細配置的示例的框圖；圖9是圖示3維圖像處理部分的效果的示圖；圖10是圖示3維圖像處理部分的效果的示圖；圖11是圖示圖7中的重放裝置的重放處理的流程圖；圖12是圖示3維圖像處理部分的詳細配置的另一示例的框圖；圖13是圖示圖12中的3維圖像處理部分的視差控制處理的流程圖；以及圖14是圖示被應用本發(fā)明的實施例的計算機的配置的示例的框圖。
具體實施例方式記錄裝置的配置示例記錄裝置的配置框1是圖示將具有根據本發(fā)明的數據結構的3維內容數據記錄在記錄介質上的記錄裝置的配置的示例的框圖。圖1中的記錄裝置10包括視頻編碼器11、音頻編碼器12、復用部分13和記錄控制部分14。記錄裝置10對3維內容的內容數據執(zhí)行編碼，并且將數據記錄在諸如 BDROM(Blu-Ray (注冊商標)光盤只讀存儲器)等記錄介質20上。內容數據包括3維圖像的圖像數據(在下文中還被稱為3維視頻數據)、對應于圖像數據的音頻數據，并且3維視頻數據包括圖像數據的左眼圖像和圖像數據的右眼圖像。再者，內容數據包括元數據。記錄裝置10將關于3維圖像的指示重疊區(qū)域的重疊區(qū)域信息作為元數據(附加信息)記錄在記錄介質20上，該重疊區(qū)域是其上附有重疊信息的區(qū)域。這里，重疊信息是諸如字幕、OSD(屏上顯示)、菜單屏幕(菜單圖像)、信箱的黑帶圖像等的信息。再者，重疊區(qū)域信息以例如，矩形重疊區(qū)域的左上角坐標(像素位置)、豎直方向長度和水平方向長度等形式來表述。在這一點上，確認重疊區(qū)域不限于此?？梢允褂萌魏纹渌椒?。記錄裝置10的視頻編碼器11通過諸如MPEG2 (移動圖片專家組階段2)、MPEG4、 AVC(高級視頻編碼)等編碼方法對已從外部輸入的3維視頻數據編碼。視頻編碼器11向復用部分13提供視頻流，該視頻流是作為編碼結果而獲得的ES (基本流)。音頻編碼器12使用諸如MPEG等編碼方法對對應于從外部輸入的3維視頻數據的音頻數據編碼，并且向復用部分13提供音頻流，該音頻流是作為結果而獲得的ES。復用部分13復用從視頻編碼器11提供的視頻流和從音頻編碼器12提供的音頻流，并且將作為結果而獲得的復用流提供給記錄控制部分14。記錄控制部分14將從復用部分13提供的復用流記錄在記錄介質20上。再者，記錄控制部分14將從圖中未示出的操作輸入部分等輸入的重疊區(qū)域信息作為定義文件記錄在記錄介質20上。在如上文所述配置的記錄裝置10中，指示其上附有重疊信息的重疊區(qū)域的重疊區(qū)域信息作為3維內容的元數據被記錄在記錄介質20上。由此，有可能在重放時基于重疊區(qū)域信息執(zhí)行適當的3維圖像處理。關于記錄裝置的記錄處理的描述圖2是圖示圖1中的記錄裝置10的記錄處理的流程圖。例如，當輸入附加信息、3 維視頻數據和音頻數據時，記錄處理開始。首先，在步驟SlO中，記錄控制部分14將操作輸入部分等輸入的重疊區(qū)域信息作為定義文件記錄在記錄介質20上。在步驟Sll中，視頻編碼器11使用諸如MPEG2、MPEG4、AVC等編碼方法對從外部輸入的3維視頻數據編碼。并且視頻編碼器11將作為編碼結果而獲得的視頻流提供給復用部分13。在步驟S12中，音頻編碼器12使用諸如MPEG等編碼方法對對應于從外部輸入的 3維視頻數據的音頻數據編碼，并且將作為結果而獲得的音頻流提供給復用部分13。在步驟S13中，復用部分13復用來自視頻編碼器11的視頻流和來自音頻編碼器 12的音頻流，并且將作為結果而獲得的復用流提供給記錄控制部分14。在步驟S14中，記錄控制部分14將從復用部分13提供的復用流記錄在記錄介質 20上，并且處理終止。附加信息的數據結構圖3是圖示記錄在記錄介質20上的分級數據結構的示圖。如圖3中所示，記錄在記錄介質20上的數據分級包括諸如音頻流、視頻流等的ES 層C，作為復用流的系統(tǒng)層的層B和作為關于記錄介質20的唯一信息的層A等。在上述示例中，給出了如下描述將作為附加信息的重疊區(qū)域信息作為唯一定義文件記錄在記錄介質20上，就是說，記錄在層A中。然而，也可能將作為附加信息的重疊區(qū)域信息記錄在層B和層C中。例如，當附加信息被記錄在層C中時，如果編碼方法是AVC，則附加信息被記錄為SEI (補充增強信息)或者SPS (序列參數集合)或PPS(圖片參數集合)的一部分。再者， 如果編碼方法是MPEG2，則附加信息被記錄為視頻序列或者擴展和用戶數據(extension and_user_data) 0在該情況中，有可能改變一個視頻流中的重疊區(qū)域信息。再者，如果具有不同的重疊區(qū)域信息設定的多個3維圖像視頻流被記錄在一個記錄介質20上，則可能向重放裝置提供每個重疊區(qū)域信息。另一方面，當附加信息被記錄在層B中時，附加信息被記錄在TS (傳送流)的專用分組、PS(節(jié)目流)的專用分組、MPEG4配置(Config)信息中包括的盒(box)的擴展區(qū)域等中。例如，如圖4中所示，其中記錄附加信息的MPEG4盒的擴展區(qū)域被安置在緊隨位于文件頂部的ftyp盒之后的專用擴展盒(圖4中的uuid)中。在該情況中，重放記錄介質20 上記錄的3維視頻數據的重放裝置可以在解碼處理之前獲得重疊區(qū)域信息。然而，重疊區(qū)域信息在文件中保持不變。在這一點上，除了重疊區(qū)域信息以外，在專用擴展盒中還描述了編解碼器的類型、 位速率、幀尺寸、高寬比、指示圖像是2D圖像還是3維圖像的信息等。再者，如圖5中所示，其中記錄附加信息的MPEG4盒的擴展區(qū)域可以被安置在moov 盒中的跟蹤信息(trak)的區(qū)域中(圖5中的stsd)。在該情況中，視頻流包括指示參考目的地的附加信息區(qū)域的信息。重放裝置基于該信息獲得重疊區(qū)域信息。因此，在該情況中， 在視頻流中重疊區(qū)域信息是可變的。然而，較之圖4的情況，接入性是較差的。此外，如圖6中所示，其中記錄附加信息的MPEG4盒的擴展區(qū)域可以被安置在mdat 盒中。就是說，附加信息可以被記錄為媒體流(side info, stream)。在該情況中，視頻流和附加信息通過時間信息進行同步，并且因此重疊區(qū)域信息可以隨時刻變化。在這一點上，在從圖4到圖6的示例中，moov盒和mdat盒被依次安置在ftyp盒之后。然而，moov盒和mdat盒的安置不限于此。被應用本發(fā)明的實施例的重放裝置重放裝置的配置框7是圖示被應用本發(fā)明的實施例的重放裝置的配置的示例的框圖。圖7中的重放裝置50包括讀取部分51、分離部分52、視頻解碼器53、3維圖像處理部分M和音頻解碼器55。重放裝置50重放記錄介質20上記錄的3維視頻數據和相應的音頻數據。在重放時，重放裝置50基于重疊區(qū)域信息對3維圖像適當地執(zhí)行圖像處理， 并且在處理之后輸出圖像數據，該重疊區(qū)域信息是從記錄介質20讀取的附加信息。具體地，重放裝置50的讀取部分51讀取記錄介質20上記錄的重疊區(qū)域信息，并且將該信息提供給3維圖像處理部分M。再者，讀取部分51讀取記錄介質20上記錄的復用流，并且將該流提供給分離部分52。分離部分52將從讀取部分51提供的復用流分離為視頻流和音頻流。并且分離部分52將視頻流提供給視頻解碼器53，并且將音頻流提供給音頻解碼器55。視頻解碼器53使用對應于圖1中的視頻編碼器11的編碼方法的方法來對從分離部分52提供的視頻流解碼，并且將作為結果獲得的3維視頻數據提供給3維圖像處理部分 54。
3維圖像處理部分M使用重疊區(qū)域信息對從視頻解碼器53提供的3維視頻數據執(zhí)行預定的圖像處理(后處理)。在本實施例中，3維圖像處理部分M執(zhí)行包括左眼圖像和右眼圖像的3維圖像的生成處理，左眼圖像和右眼圖像在3維圖像的重疊區(qū)域信息確認的區(qū)域以外的區(qū)域上具有不同的視差。并且3維圖像處理部分M將處理之后的3維視頻數據輸出到顯示部分61。音頻解碼器55使用對應于圖1中的音頻編碼器12的編碼方法的方法來對從分離部分52提供的音頻流解碼，并且將作為結果獲得的音頻數據提供給揚聲器62。顯示部分61例如通過分時顯示對應于來自3維圖像處理部分M的3維視頻數據的左眼圖像和右眼圖像。此時，觀看者佩戴例如具有與左眼圖像和右眼圖像的切換同步的快門的眼鏡，并且因此僅通過左眼看到左眼圖像，并且僅通過右眼看到右眼圖像。由此，觀看者有可能將3維圖像感知為立體圖像。揚聲器62輸出對應于從音頻解碼器55提供的音頻數據的聲音。3維圖像處理部分M的詳細配置的示例圖8是圖示圖7中的3維圖像處理部分M的詳細配置的示例的框圖。3維圖像處理部分M包括視差檢測部分71、控制參數計算部分72和視差控制部分73。由視差檢測部分71和視差控制部分73獲得從讀取部分51提供的重疊區(qū)域信息。 再者，由視差檢測部分71獲得從視頻解碼器53提供的3維視頻數據。視差檢測部分71將從視頻解碼器53提供的3維視頻數據直接提供給視差控制部分73。再者，視差檢測部分71在除了 3維視頻數據的左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域上，使用例如塊匹配方法等，檢測左眼圖像和右眼圖像的每個像素的視差量。視差檢測部分71將檢測到的左眼圖像和右眼圖像的每個像素的視差量例如作為視差圖(其中視差量的大小由亮度值表述)提供給控制參數計算部分72。在這一點上，控制參數計算部分72應掌握檢測到的每個像素的視差量，并且因此可以以除了視差圖以外的任何格式提供這種量?？刂茀涤嬎悴糠?2基于從視差檢測部分71提供的左眼圖像和右眼圖像的每個像素的視差量計算供視差控制部分73執(zhí)行控制的控制參數。具體地，視差控制部分73執(zhí)行用于使左眼圖像和右眼圖像在具有視差的方向(橫向方向)上移位的圖像移位處理?？刂茀涤嬎悴糠?2計算圖像移位處理中的圖像移位量作為控制參數。例如，控制參數計算部分72根據從視差檢測部分71提供的視差圖計算每個像素的視差量的平均值，并且計算產生0的平均值的圖像移位量。當每個像素的視差量的平均值是50個像素時，控制參數計算部分72向視差控制部分73提供25個像素的值作為圖像移位量。此時，視差控制部分73基于25個像素的圖像移位量，使右眼圖像向左移位25個像素，并且使左眼圖像向左移位25個像素，從而視差量的平均值可以是0。再者，例如，控制參數計算部分72根據從視差檢測部分71提供的視差圖計算每個像素的視差量的最小值，計算為了使該最小值不超過雙眼距離的所需圖像移位量，并且將該值提供給視差控制部分73。例如，假設雙眼距離是65mm，并且顯示大小是42英寸，則控制參數計算部分72計算圖像移位量，使得視差量的最小值不大于122個像素。在這一點上，在本實施例中，正的視差量表示彈出方向(在接近的方向上)，并且負的量表示縮進的方向。視差控制部分73基于從控制參數計算部分72提供的控制參數控制左眼圖像和右眼圖像之間的視差。就是說，視差控制部分73基于從控制參數計算部分72提供的圖像移位量，對除了左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域執(zhí)行圖像移位處理。視差控制部分73將圖像移位處理之后的左眼圖像和右眼圖像的圖像數據作為視差控制之后的3維視頻數據提供給顯示部分61 (圖7)。3維圖像處理部分M的處理的示例圖9圖示了 3維圖像處理部分M的處理的示例。如圖9左側所示，菜單屏幕附著于從視頻解碼器53提供的3維視頻數據的左眼圖像和右眼圖像上。就是說，該情況中的重疊信息是菜單屏幕，并且從記錄介質20獲得的重疊區(qū)域信息是確認菜單屏幕的區(qū)域(在下文中被稱為菜單區(qū)域)的信息。視差檢測部分71檢測除了作為重疊區(qū)域的菜單區(qū)域以外的區(qū)域的圖像的左眼圖像和右眼圖像之間的視差量，并且將作為檢測結果的視差圖提供給控制參數計算部分72?？刂茀涤嬎悴糠?2根據從視差檢測部分71提供的視差圖計算每個像素的視差量的平均值，并且基于從視差檢測部分71提供的視差圖計算產生0的平均值的圖像移位量。在圖9中的示例中，計算圖像移位量，使得蘋果的視差量變?yōu)?。如圖9右側所示，視差控制部分73使除了作為左眼圖像和右眼圖像的重疊區(qū)域的菜單區(qū)域以外的區(qū)域的圖像按從控制參數計算部分72提供的圖像移位量來移位。這樣，確定左眼圖像和右眼圖像，使得每個像素的視差量的平均值變?yōu)?，并且由此有可能產生易于看到的并且向觀看用戶提供極小的疲勞感受的圖像。另一方面，圖10示出了如下情況中的結果在該情況中，未提供重疊區(qū)域信息，并且視差控制部分73已使左眼圖像和右眼圖像按從控制參數計算部分72提供的圖像移位量全部移位。如圖10中所示，當未考慮重疊區(qū)域時，部分菜單屏幕變得不可見，或者在菜單屏幕上出現視差，并且因此菜單屏幕的深度被轉換。因此，變得難于看到。如上文所述，使用重疊區(qū)域信息檢測視差，從而有可能提高視差檢測的精度，并且實現適用于用戶觀看的視差控制。結果，有可能向用戶提供用戶易于看到的3維圖像。重放裝置的重放處理的描述圖11是圖示重放裝置50的重放處理的流程圖。例如，當用戶指示重放記錄介質 20上記錄的3維內容時，重放處理開始。首先，在步驟S31中，讀取部分51讀取作為附加信息的記錄介質20上記錄的重疊區(qū)域信息，并且將該信息提供給3維圖像處理部分M的視差檢測部分71和視差控制部分 73。在步驟S32中，重放裝置50讀取記錄介質20上記錄的3維內容的復用流，并且對該流解碼。就是說，讀取部分51從記錄介質20讀取3維內容的復用流，并且將該流提供給分離部分52。分離部分52將該復用流分離為視頻流和音頻流。視頻解碼器53使用對應于記錄裝置10的編碼方法的方法對視頻流解碼，并且將作為結果而獲得的3維視頻數據提供給3維圖像處理部分M。音頻解碼器55使用對應于記錄裝置10的編碼方法的方法對音頻流解碼，并且將作為結果而獲得的音頻數據提供給揚聲器62。
在步驟S33中，3維圖像處理部分M的視差檢測部分71檢測除了 3維視頻數據的左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域上的左眼圖像和右眼圖像的每個像素的視差量。將檢測到的每個像素的視差量例如作為視差圖(其中視差量的大小由亮度值表述)提供給控制參數計算部分72。在步驟S34中，控制參數計算部分72基于已經由視差檢測部分71檢測到的每個像素的視差量計算供視差控制部分73執(zhí)行控制的控制參數。例如，控制參數計算部分72 根據從視差檢測部分71提供的視差圖計算每個像素的視差量的平均值，并且計算產生0的平均值的圖像移位量。得到的圖像移位量被提供給視差控制部分73。在步驟S35中，視差控制部分73基于由控制參數計算部分72計算的控制參數控制3維視頻數據的左眼圖像和右眼圖像的視差。具體地，視差控制部分73基于從控制參數計算部分72提供的圖像移位量，對除了 3維視頻數據的左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域執(zhí)行圖像移位處理。再者，在步驟S35中，音頻解碼器55輸出對應于3維視頻數據的音頻數據，并且處理終止。如上文所述，除了 3維內容復用流以外，將3維圖像的重疊區(qū)域信息作為附加信息記錄在介質20上。重放裝置50讀取重疊區(qū)域信息，并且執(zhí)行除了通過解碼獲得的3維視頻數據的左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域上的左眼圖像和右眼圖像之間的視差檢測處理和視差控制處理。使用作為附加信息提供的重疊區(qū)域信息， 有可能提高對具有重疊區(qū)域的3維圖像的視差檢測和視差控制的精度。3維圖像處理部分M的另一配置的示例圖12是圖示3維圖像處理部分M的詳細配置的另一示例的框圖。除了以與圖8中的3維圖像處理部分M相同的方式包括視差檢測部分71、控制參數計算部分72和視差控制部分73以外，圖12中的3維圖像處理部分M包括重疊區(qū)域信息檢測部分81和重疊區(qū)域檢測部分82。圖12中的3維圖像處理部分M具有能夠在其中重疊區(qū)域信息未作為附加信息記錄在記錄介質20上的情況中進行處理的配置。就是說，圖12中的3維圖像處理部分M確定重疊區(qū)域信息是否被記錄在記錄介質20上。如果重疊區(qū)域信息未被記錄在記錄介質20 上，則圖12中的3維圖像處理部分M自身根據3維視頻數據的左眼圖像和右眼圖像檢測重疊區(qū)域，并且將重疊區(qū)域信息提供給視差檢測部分71和視差控制部分73。如果重疊區(qū)域信息被記錄在記錄介質20上，則重疊區(qū)域信息由讀取部分51讀取， 并且被提供給重疊區(qū)域信息檢測部分81。因此，重疊區(qū)域信息檢測部分81根據是否從讀取部分51提供重疊區(qū)域信息來確定重疊區(qū)域信息是否作為附加信息記錄在記錄介質20上。如果從讀取部分51提供了重疊區(qū)域信息，則重疊區(qū)域信息檢測部分81將所獲得的重疊區(qū)域信息直接提供給視差檢測部分71和視差控制部分73。另一方面，如果未從讀取部分51提供重疊區(qū)域信息，則重疊區(qū)域信息檢測部分81向重疊區(qū)域檢測部分82給出用于檢測重疊區(qū)域的檢測指令。視頻解碼器53將3維視頻數據提供給重疊區(qū)域檢測部分82。如果重疊區(qū)域信息檢測部分81提供了檢測指令，則重疊區(qū)域檢測部分82檢測3維視頻數據的左眼圖像和右眼圖像的各個重疊區(qū)域。重疊區(qū)域檢測部分82將作為檢測結果而獲得的重疊區(qū)域改為格式與重疊區(qū)域信息檢測部分81輸出的重疊區(qū)域信息相同的重疊區(qū)域信息，并且將該信息提供給視差檢測部分71和視差控制部分73。在這一點上，由重疊區(qū)域檢測部分82執(zhí)行的檢測重疊區(qū)域的方法沒有特別限制， 并且可以使用任何檢測方法。例如，有可能使用如本申請人在日本未審專利申請公布第 2008-166988號中公開的作為反射式字幕(telop)區(qū)域檢測在預定時間段中沒有變化的區(qū)域的處理。在具有上述配置的3維圖像處理部分M中，如果重疊區(qū)域信息包括在內容數據中，則使用該重疊區(qū)域信息執(zhí)行視差檢測和視差控制。另一方面，如果重疊區(qū)域信息未包括在內容數據中，則從3維視頻數據的左眼圖像和右眼圖像檢測重疊區(qū)域，并且使用檢測到的重疊區(qū)域的重疊區(qū)域信息來執(zhí)行視差檢測和視差控制。3維圖像處理部分M中的視差控制處理圖13是圖示圖12中的3維圖像處理部分M的視差控制處理的流程圖。在視差控制處理中，首先，在步驟S51中，重疊區(qū)域信息檢測部分81確定是否已從讀取部分51提供了重疊區(qū)域信息。在步驟S51中，如果確定已提供重疊區(qū)域信息，則處理前往步驟S52，并且重疊區(qū)域信息檢測部分81將從讀取部分51提供的重疊區(qū)域信息提供給視差檢測部分71和視差控制部分73。另一方面，在步驟S51中，如果確定未提供重疊區(qū)域信息，則處理前往步驟S53，重疊區(qū)域信息檢測部分81向重疊區(qū)域檢測部分82給出用于檢測重疊區(qū)域的檢測指令。并且在步驟S54中，已被提供檢測指令的重疊區(qū)域檢測部分82檢測3維視頻數據的左眼圖像和右眼圖像的各個重疊區(qū)域，并且將重疊區(qū)域信息提供給3維視頻數據視差檢測部分71和視差控制部分73。在步驟S52或S54中的處理之后執(zhí)行的步驟S55至S57中的處理與圖11中的步驟S33至S35中的處理相同，并且因此省略了其描述。通過上文描述的視差控制處理，如果重疊區(qū)域信息未包括在內容數據中，則圖12 中的3維圖像處理部分M自身檢測3維視頻數據的左眼圖像和右眼圖像的重疊區(qū)域。并且圖12中的3維圖像處理部分M對3維視頻數據的左眼圖像和右眼圖像的除了檢測到的重疊區(qū)域以外的區(qū)域執(zhí)行視差檢測處理和視差控制處理。由此，有可能提高對具有重疊區(qū)域的3維圖像的視差檢測和視差控制的精度。在這一點上，在上述示例中，給出了其中將本發(fā)明應用于重放裝置的示例的描述。 然而，本發(fā)明可以應用于重放裝置以外的裝置。例如，可以由諸如衛(wèi)星廣播、有線電視(TV)、 互聯網等的通過網絡的傳送提供3維內容的內容數據。因此，本發(fā)明可以應用于如下顯示裝置和記錄/重放裝置其接收包括在通過網絡傳送的3維內容的內容數據中的重疊區(qū)域信息，并且對重疊區(qū)域信息確認的區(qū)域以外的區(qū)域執(zhí)行預定的視差檢測和視差控制處理。 再者，本發(fā)明可以被配置為獨立的圖像處理裝置，其獲得作為3維內容的元數據的重疊區(qū)域信息，對左眼圖像和右眼圖像的重疊區(qū)域信息確認的區(qū)域以外的區(qū)域執(zhí)行處理，并且輸出結果ο被應用本發(fā)明的計算機的描述上述系列處理可以由硬件或軟件執(zhí)行。當該系列處理由軟件執(zhí)行時，構成軟件的程序可以被安裝在通用計算機等中。
因此，圖14圖示了其中安裝了執(zhí)行上述系列處理的程序的計算機的配置的示例。程序可以預先記錄在作為計算機內建記錄介質的存儲部分108或R0M(只讀存儲器)102中。可替選地，程序可以存儲(記錄)在可拆卸介質111上。該可拆卸介質111可以被提供為所謂的套裝軟件。這里，對于可拆卸介質111，例如，存在⑶-ROM(緊湊盤只讀存儲器)、MO (磁光)盤、DVD (數字多用途光盤)、磁盤、半導體存儲器等。在這一點上，程序可以從上述可拆卸介質111通過驅動器110安裝在計算機中。此外，程序可以通過通信網絡或者廣播網絡下載到計算機，并且可以安裝在內部存儲部分108 中。就是說，程序可以通過有線或無線傳送介質由通信部分109接收并且可以安裝在存儲部分108中。計算機包括CPU (中央處理單元)101，并且輸入/輸出接口 105通過總線104連接到 CPU 101。當用戶通過操作輸入部分106等借助于輸入/輸出接口 105輸入指令時，CPU 101 根據指令執(zhí)行ROM 102中存儲的程序?？商孢x地，CPU 101將存儲部分108中存儲的程序加載到RAM(隨機存取存儲器)103以執(zhí)行這些程序。由此，CPU 101根據上述流程圖執(zhí)行處理?？商孢x地，CPU 101通過具有上述框圖的配置執(zhí)行處理。并且CPU 101按照需要例如，通過輸入/輸出接口 105從輸出部分107 輸出處理結果?？商孢x地，CPU 101從通信部分109傳送處理結果，并且此外將結果記錄在存儲部分108等中。在這一點上，輸入部分106包括鍵盤、鼠標、麥克風等。再者，輸出部分107包括 IXD (液晶顯示器)、揚聲器等。在本說明書中，計算機根據程序執(zhí)行的處理不必然根據如流程圖的所描述的順序按時間序列進行處理。就是說，計算機根據程序執(zhí)行的處理包括將并行地或者單獨地執(zhí)行的處理(例如，并行處理或對象處理)。再者，程序可以由一個計算機(處理器)處理，并且可以由多個計算機分布式地執(zhí)行。此外，程序可以被傳輸到遠程計算機，并且可以在該處執(zhí)行。在上述實施例中，給出了其中從兩個視點觀看3維圖像的情況的描述。然而，有可能相似地將本發(fā)明應用于其中從多個視點觀看3維圖像，就是說，當視點數目是三個或更多時的情況。本申請包含與在2010年4月20日提交日本專利局的日本在先專利申請第JP 2010-097213中公開的主題內容相關的主題內容，該在先申請的整體內容通過引用合并于此。本領域的技術人員應當理解，在所附權利要求及其等同物的范圍內，可以根據設計需要和其他因素進行各種修改、組合、子組合和變更。
權利要求
1.一種圖像處理裝置，包括獲取部件，用于獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于所述左眼圖像和所述右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及視差檢測部件，用于檢測除了由所述左眼圖像和所述右眼圖像的所述重疊區(qū)域信息確認的所述重疊區(qū)域以外的區(qū)域中的視差量。
2.根據權利要求1所述的圖像處理裝置，進一步包括視差控制部件，用于控制所述左眼圖像和所述右眼圖像之間的視差；以及控制參數計算部件，用于基于所述視差檢測部件檢測到的所述視差量計算用于控制所述視差控制部件的視差的控制參數。
3.根據權利要求2所述的圖像處理裝置，其中所述視差控制部件執(zhí)行所述左眼圖像和所述右眼圖像的圖像移位處理，以及所述控制參數計算部件基于所述視差檢測部件檢測到的所述視差量計算所述圖像移位處理中的圖像移位量。
4.根據權利要求1所述的圖像處理裝置，進一步包括重疊區(qū)域信息檢測部件，用于確定是否包括所述重疊區(qū)域信息作為所述3維圖像的圖像數據的附加信息；以及重疊區(qū)域檢測部件，當未包括所述重疊區(qū)域信息作為所述附加信息時，用于個別地檢測所述左眼圖像和所述右眼圖像的所述重疊區(qū)域，其中當未包括所述重疊區(qū)域信息作為所述附加信息時，所述獲取部件獲取作為所述重疊區(qū)域信息檢測部件檢測到的所述重疊區(qū)域的信息的重疊區(qū)域信息。
5.一種由執(zhí)行包括左眼圖像和右眼圖像的3維圖像的圖像處理的圖像處理裝置來處理圖像的方法，所述方法包括步驟獲取所述3維圖像的圖像數據和作為關于所述左眼圖像和所述右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及檢測除了由所述左眼圖像和所述右眼圖像的所述重疊區(qū)域信息確認的所述重疊區(qū)域以外的區(qū)域中的視差量。
6.一種用于使計算機執(zhí)行處理的程序，包括步驟獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于所述左眼圖像和所述右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及檢測除了由所述左眼圖像和所述右眼圖像的所述重疊區(qū)域信息確認的所述重疊區(qū)域以外的區(qū)域中的視差量。
7.一種用于3維內容的內容數據的數據結構，包括 包括左眼圖像和右眼圖像的3維圖像的圖像數據；以及作為關于所述左眼圖像和所述右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息。
8.一種圖像處理裝置，包括獲取構件，其獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于所述左眼圖像和所述右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及視差檢測構件，其檢測除了由所述左眼圖像和所述右眼圖像的所述重疊區(qū)域信息確認的所述重疊區(qū)域以外的區(qū)域中的視差量。
全文摘要
本發(fā)明公開了數據結構、圖像處理裝置和方法以及程序。該圖像處理裝置包括獲取構件，其獲取包括左眼圖像和右眼圖像的3維圖像的圖像數據，以及作為關于左眼圖像和右眼圖像中包括的重疊區(qū)域的信息的重疊區(qū)域信息；以及視差檢測構件，其檢測除了由左眼圖像和右眼圖像的重疊區(qū)域信息確認的重疊區(qū)域以外的區(qū)域中的視差量。
文檔編號H04N7/26GK102238404SQ20111009760
公開日2011年11月9日 申請日期2011年4月13日 優(yōu)先權日2010年4月20日
發(fā)明者森藤孝文, 牛木卓 申請人:索尼公司