專利名稱：計算機圖形影像合成裝置和方法、以及顯示裝置的制作方法
技術領域：
本發(fā)明涉及一種在計算機圖形(CG)影像上合成立體觀看影像并顯示的技術。
背景技術：
在近年的視頻游戲機和數(shù)字電視中，有的搭載了查看器(viewer)功能和幻燈片放映功能。利用這些功能，用戶能夠將用數(shù)字攝像機拍攝到的照片/動態(tài)圖像顯示到顯示器的畫面上。特別是，通過與CG影像的合成，能給照片/動態(tài)圖像增添各種各樣的視覺效果。例如，將多個照片、多個動態(tài)圖像的縮略影像在畫面上進行一覽顯示，使用戶利用圖形用戶界面(GUI)，來選擇某一個照片/動態(tài)圖像。進而，用基于CG影像的動畫(animation) 來表現(xiàn)伴隨該選擇操作的、從一覽顯示的畫面向特定的照片/動態(tài)圖像的顯示畫面的切換。這樣，通過將照片/動態(tài)圖像與CG影像進行合成，能夠給用戶的操作賦予娛樂性，而且提高⑶I的操作性。照片/動態(tài)圖像和CG影像之間的合成如下進行。首先，用點、線、多邊形等圖形的集合體來表現(xiàn)被稱為“對象(object)”的CG影像。這些圖形可以被表現(xiàn)為描繪在2維(2D) 畫面上的圖形，也可以被表現(xiàn)為配置在3維(3D)虛擬空間中的圖形。接著，將表示照片/ 動態(tài)圖像的1幀的2維影像(紋理)投影到對象的表面上。將該操作稱為“映射”。在對象被配置在3D虛擬空間中的情況下，進而計算從特定的視點觀看該對象時的“平面觀看影像”、即投影到放置在該對象和該視點之間的一個平面上的該對象的影像。這樣將照片/動態(tài)圖像的1幀合成到對象上所得的平面觀看影像被顯示到顯示器的畫面上。如果使對象在 2D畫面上、或3D虛擬空間內變形或位移，則與之相應，在該對象的表面上映出的照片/動態(tài)圖像也同樣變形或位移。另一方面，近年來，搭載了立體觀看影像顯示功能的數(shù)字攝像機和數(shù)字電視開始普及到一般家庭。所謂“立體觀看影像”，是指表示一個場景的左眼用的影像和右眼用的影像的組合，它被視聽者一體地看作該場景的立體的影像。所謂“左眼用的影像(left-view)”，是指映入視聽者左眼的平面觀看影像；所謂“右眼用的影像 (right-view) ”，是指映入視聽者右眼的平面觀看影像。在左眼用的影像和右眼用的影像之間，存在由該視聽者的兩眼視差引起的差異。作為立體觀看影像的顯示方式，一般采用“幀連續(xù)(frame sequential)方式”。在該方式中，在顯示器的畫面上交替顯示左眼用的影像和右眼用的影像。視聽者通過閘門眼鏡(shutter glasses)來觀看該畫面。在畫面上顯示左眼用的影像的期間，閘門眼鏡只使左透鏡透明，而在顯示右眼用的影像期間，閘門眼鏡只使右透鏡透明。其結果是，在該視聽者的左眼只映入左眼用的影像，在右眼只映入右眼用的影像。在此情況下，該視聽者將左眼用的影像和右眼用的影像之間的差異錯覺為一個場景的兩眼視差，所以將這兩個平面觀看影像看成一個立體觀看影像。為了拍攝現(xiàn)實物體的立體觀看影像，將2臺數(shù)字攝像機當作視聽者的兩眼而并置，用這些攝像機同時進行拍攝即可。此外，將CG影像變換為立體觀看影像的技術也是已知的。例如在專利文獻1公開的技術中，通過使對象在2D畫面上的顯示位置左右偏移，來制作該對象的左眼用的影像和右眼用的影像。人們希望把這種將照片/動態(tài)圖像及CG影像表現(xiàn)為立體觀看影像的技術應用于上述查看器功能和幻燈片放映功能。期待利用立體觀看影像，能得到用平面觀看影像不能表現(xiàn)的臨場感，而且期待開辟新的視覺效果的可能性?，F(xiàn)有技術文獻專利文獻專利文獻1 日本特開2005-267655號公報發(fā)明要解決的技術問題作為對配置在3D虛擬空間中的對象的立體觀看影像進行制作的技術，開發(fā)了下述技術。首先，制作從與視聽者的左眼相當?shù)囊朁c來觀看該對象時的平面觀看影像、即左眼用的CG影像，制作從與右眼相當?shù)钠渌朁c來觀看時的平面觀看影像、即右眼用的CG影像。接著，向左眼用的CG影像上映射左眼用的照片/動態(tài)圖像，向右眼用的CG影像上映射右眼用的照片/動態(tài)圖像。對左眼用和右眼用的各照片/動態(tài)圖像進行拍攝，以使得從攝像機的方向觀看時被攝體看起來最立體。因此，如果對象的表面是板那樣的平面狀、而且是與視線方向近乎垂直的傾斜度，則映射到該表面上的立體觀看影像看起來從該表面凸起或凹陷。但是，對象的表面富于起伏、或是曲率比較高的曲面狀的情況下，或者該表面相對于視線方向傾斜很大的情況下，映射到該表面上的立體觀看影像會歪曲，所以難以看起來是立體的。此外，即使在對象不是用3D虛擬空間內的立體形狀、而是用投影到2D畫面上的平面形狀來表現(xiàn)的情況下，如果比較高速地運動，則映射到該表面上的立體觀看影像也難以看起來是立體的。另一方面，映射處理要求的計算量一般很大。因此，為了進一步提高在照片/動態(tài)圖像上合成CG影像所得的影像的畫質，希望在照片/動態(tài)圖像難以看起來是立體的的條件下盡可能減輕映射處理所需的負擔，從而更加流暢地進行合成處理。

發(fā)明內容
本發(fā)明的目的在于消除上述問題點，特別在于提供一種CG影像合成裝置，通過按照對象的形狀及運動來調整映射處理，能夠進一步提高合成影像的畫質。解決技術問題所采用的手段本發(fā)明的CG影像合成裝置向對象上映射影像并合成為一個CG影像，具備存儲部、 判斷部、及映射部。存儲部存儲著影像數(shù)據(jù)的對和形狀數(shù)據(jù)。形狀數(shù)據(jù)表示對象的形狀。影像數(shù)據(jù)的對由表示一個立體觀看影像的左眼用和右眼用的影像數(shù)據(jù)組成。判斷部根據(jù)形狀數(shù)據(jù)來判斷對象是否適合于立體觀看影像的映射。在判斷部判斷為對象適合于立體觀看影像的映射的情況下，映射部將左眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)，并且，將右眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作右眼用的CG數(shù)據(jù)。進而，在判斷部判斷為對象不適合于立體觀看影像的映射的情況下，映射部只將左眼用的影像數(shù)據(jù)和右眼用的影像數(shù)據(jù)中的某一個合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。在形狀數(shù)據(jù)是表示對象在2D畫面上的形狀的2D數(shù)據(jù)的情況下，判斷部也可以如下那樣地判斷對象是否適合于立體觀看影像的映射。判斷部按CG影像的每幀，根據(jù)2D數(shù)據(jù)來求取對象的代表點，在連續(xù)兩幀間對象的代表點的位移的大小未達到規(guī)定的閾值的情況下，判斷為對象適合于立體觀看影像的映射；在位移的大小超過閾值的情況下，判斷為對象不適合于立體觀看影像的映射。在形狀數(shù)據(jù)是表示對象在3D虛擬空間內的形狀的3D數(shù)據(jù)的情況下，判斷部也可以用以下三種方法中的某一種來判斷對象是否適合于立體觀看影像的映射。在第一方法中，判斷部首先根據(jù)3D數(shù)據(jù)來計算構成對象的各多邊形的法線矢量， 根據(jù)計算出的法線矢量的集合來評價對象的表面的曲率。接著，在曲率未達到規(guī)定的閾值的情況下，判斷部判斷為對象適合于立體觀看影像的映射；在曲率超過閾值的情況下，判斷部判斷為對象不適合于立體觀看影像的映射。在第二方法中，判斷部首先根據(jù)3D數(shù)據(jù)來計算構成對象的各多邊形的頂點上的照度。接著，在計算出的全部照度中的最大值和最小值之間的差未達到規(guī)定的閾值的情況下，判斷部判斷為對象適合于立體觀看影像的映射；在差超過閾值的情況下，判斷部判斷為對象不適合于立體觀看影像的映射。在第三方法中，判斷部首先按CG影像的每幀，根據(jù)構成對象的各多邊形的頂點來求取對象的代表點。接著，在連續(xù)兩幀間對象的代表點的位移的大小未達到規(guī)定的閾值的情況下，判斷部判斷為對象適合于立體觀看影像的映射；在位移的大小超過閾值的情況下， 判斷部判斷為對象不適合于立體觀看影像的映射。發(fā)明效果本發(fā)明的上述CG影像合成裝置，根據(jù)對象的形狀數(shù)據(jù)，來判斷該對象是否適合立體觀看影像的映射。由此，該CG影像合成裝置能夠按照對象的形狀及運動來調整映射處理，所以能夠進一步提高合成影像的畫質。


圖1是本發(fā)明實施方式1的顯示裝置的功能框圖。圖2是圖1所示的CG影像合成部160的硬件結構的框圖。圖3是本發(fā)明實施方式1的顯示裝置將立體觀看影像的照片/動態(tài)圖像映射到對象的CG影像上來制作右眼用和左眼用的各幀的處理的流程圖。圖4(a) 圖4(c)分別是構成對象的形狀的多邊形的集合體的不同表現(xiàn)形式的示意圖。圖5是圖1所示的步驟S11、即本發(fā)明實施方式1的顯示裝置10制作右眼用的幀的處理的流程圖。圖6是視場坐標變換的示意圖。圖7是圖5所示的步驟S25的流程圖。圖8(a)是用圖4(a)所示的三角形帶(triangular strip)來表現(xiàn)多邊形的集合體的情況下的法線矢量的示意圖。圖8(b)是用圖4(b)所示的三角形扇(triangular fan) 來表現(xiàn)多邊形的集合體的情況下的法線矢量的示意圖。圖8(c)是用圖4(c)所示的三角形網(wǎng)格(triangular mesh)來表現(xiàn)多邊形的集合體的情況下的法線矢量的示意圖。圖9是多邊形緩沖器的一例的表。圖10是圖3所示的步驟S12的流程圖。圖11是圖5所示的步驟S27、及圖10所示的步驟S45的流程圖。圖12 (a)是表面為平面的對象POB的CG影像的示意圖。圖12 (b)表示該對象POB的左眼用的平面CG影像P0L，圖12(c)表示右眼用的平面CG影像P0R。圖12(d)表示左眼用的平面觀看影像，其構成應映射到該對象POB的表面上的立體觀看影像的照片/動態(tài)圖像的1幀，圖12 (e)表示同一幀的右眼用的平面觀看影像。圖12 (f)表示該對象的左眼用CG 影像POL和“樹”的左眼用影像LV的合成影像，圖12 (g)表示該對象的右眼用CG影像POR 和“樹”的右眼用影像RV的合成影像。圖12 (h)是使視聽者的各眼觀看圖12 (f)、圖12 (g) 所示的各合成影像時、該視聽者看到的立體觀看影像的示意圖。圖13 (a)是表面為曲面的對象COB的CG影像的示意圖。圖13 (b)表示該對象COB 的左眼用的平面CG影像C0L，圖13(c)表示右眼用的平面CG影像C0R。圖13(d)表示左眼用的平面觀看影像，其構成應映射到該對象COB的表面上的立體觀看影像的照片/動態(tài)圖像的1幀，圖13 (e)表示同一幀的右眼用的平面觀看影像。圖13 (f)表示該對象的左眼用CG 影像COL和“樹”的右眼用影像RV的合成影像，圖13 (g)表示該對象的右眼用CG影像COR 和“樹”的右眼用影像RV的合成影像。圖13 (h)是使視聽者的各眼觀看圖13 (f)、圖13 (g) 所示的各合成影像時、該視聽者看到的立體觀看影像的示意圖。圖14是本發(fā)明實施方式2的顯示裝置進行圖5所示的步驟S25時的流程圖。圖15(a)是屬于構成對象的表面一部分的三角形網(wǎng)格的、多邊形的法線矢量和頂點的法線矢量的示意圖。圖15(b)是平板狀的對象的CG影像的示意圖。圖15(c)是3枚平板狀的對象的立體CG影像B01、B02、B03、和分別映射到其上的“星”、“樹”、“圓”的立體觀看影像VST、VTR、VCR的示意圖。圖16是本發(fā)明實施方式3的顯示裝置進行圖5所示的步驟S25時的流程圖。圖17 (a)是平板狀的對象的立體CG影像PL1、及映射到其上的“樹”的立體觀看影像TRl的示意圖。圖17(b)是圖17(a)所示的幀的下一幀中的對象的立體CG影像PL2和 “樹”的立體觀看影像TR2的示意圖。圖17(c)是從圖17(b)所示的幀起幾幀后的對象的立體CG影像PL3和“樹”的立體觀看影像TR3的示意圖。圖18是本發(fā)明實施方式4的顯示裝置進行圖3所示的步驟Sll時的流程圖。圖19是圖18所示的步驟S84的流程圖。圖20(a)是矩形的對象的平面CG影像MV1、及映射到其上的“樹”的立體觀看影像STl的示意圖。圖20(b)是圖20(a)所示的幀的下一幀中的對象的平面CG影像MV2和 “樹”的立體觀看影像ST2的示意圖。圖20(c)是從圖20(b)所示的幀起幾幀后的對象的平面CG影像MV3和“樹”的立體觀看影像ST3的示意圖。圖21是顯示裝置在一個幀上顯示多個對象的情況下、將立體觀看影像的照片/動態(tài)圖像映射到對象的CG影像上來制作右眼用和左眼用的各幀的處理的流程圖。圖22是在對象的形狀數(shù)據(jù)為2D數(shù)據(jù)的情況下、顯示裝置將照片/動態(tài)圖像也作為平面觀看影像而映射到該對象的平面CG影像上的處理的流程圖。
具體實施例方式以下，參照附圖來說明本發(fā)明的優(yōu)選實施方式?！秾嵤┓绞?》[顯示裝置的結構]圖1是本發(fā)明實施方式1的顯示裝置的功能框圖。該顯示裝置是數(shù)字電視接收機。顯示裝置10除此之外還可以被組裝到手機、便攜信息終端、個人計算機、數(shù)字照相機 (still camera)、數(shù)字攝像機、汽車導航系統(tǒng)等多樣的電子設備中。參照圖1，顯示裝置10 具備影像數(shù)據(jù)的輸入部、操作部140、系統(tǒng)總線150、CG影像合成部160、顯示部170、及左右信號發(fā)送部180。影像數(shù)據(jù)的輸入部包含接收部100、光盤驅動器110、讀卡器120、及硬盤驅動器(HDD) 130。接收部100通過天線190或有線電視等外部網(wǎng)絡191來接收地面數(shù)字電視廣播波。接收部100還從該廣播波中提取期望的頻道的影像數(shù)據(jù)并送出到CG影像合成部160。 光盤驅動器110內置在顯示裝置10中，從DVD或BD (Blu-ray Disc、藍光光盤(注冊商標)) 等光盤192上讀出影像數(shù)據(jù)并送出到CG影像合成部160。除此之外，光盤驅動器110也可以是外置在顯示裝置10上的單體，或內置在光盤再現(xiàn)裝置中。讀卡器120從SD卡等半導體存儲卡193上讀出影像數(shù)據(jù)并送出到CG影像合成部160。HDD130內置在顯示裝置10中， 保存從接收部100、光盤驅動器110、或讀卡器120送出的影像數(shù)據(jù)。此外，HDD130將保存的影像數(shù)據(jù)送出到CG影像合成部160。操作部140通過遙控器194或顯示裝置10的前面板來檢測用戶的操作，請求CG影像合成部160進行與該操作的種類對應的處理。這里，遙控器105包含多個按鈕。各按鈕與顯示裝置10的電源的開關、選臺、或音量的調節(jié)等、顯示裝置10的各功能相對應。遙控器194檢測用戶進行的各按鈕的按下，將該按鈕的識別信息用基于紅外線或無線的信號頂傳給顯示裝置10。操作部140根據(jù)該信號IR，來確定與識別信息所示的按鈕相對應的功能并通知給CG影像合成部160。系統(tǒng)總線150將影像數(shù)據(jù)的輸入部100 130和操作部140連接到CG影像合成部160，以便能夠進行數(shù)據(jù)交換。系統(tǒng)總線150符合PCI-Express規(guī)格。除此以外，系統(tǒng)總線150也可以符合PCI規(guī)格或AGP規(guī)格。圖1中雖未示出，系統(tǒng)總線150包含芯片組。該芯片組特別將從輸入部100 130送出的影像數(shù)據(jù)變換為CG影像合成部160可處理的形式。CG影像合成部160包含控制部161和繪制部162?？刂撇?61和繪制部162分別安裝在一個集成電路中。各集成電路可以作為專用電路來構成，也可以利用通用的處理器來構成。除此之外，也可以將控制部161和繪制部162集中到一個LSI中?？刂撇?61根據(jù)固件(firmware)等程序，來控制顯示裝置10的各功能部?？刂撇?61特別控制繪制部162，使得從輸入部100 130接收的影像數(shù)據(jù)所表示的影像被映射到對象的CG影像上。參照圖1，控制部161包含判斷部161A和存儲部161B。判斷部161A在影像數(shù)據(jù)表示立體觀看影像的情況下，根據(jù)對象的形狀數(shù)據(jù)來判斷該對象是否適合于立體觀看影像的映射。所謂“形狀數(shù)據(jù)”，是指表示對象的形狀的數(shù)據(jù)。存儲部161B是內置在控制部161 中的存儲裝置，保存固件等程序，而且被用作工作存儲區(qū)。存儲部161B除此之外還保存對象的形狀數(shù)據(jù)，此外，從輸入部100 130取得映射對象的影像數(shù)據(jù)并暫時保持。在影像數(shù)據(jù)表示立體觀看影像的情況下，表示該立體觀看影像的左眼用和右眼用的影像數(shù)據(jù)的對由存儲部16IB保持。繪制部162根據(jù)控制部161的控制，進行將影像數(shù)據(jù)從存儲部162A傳送到幀緩沖器162B的處理(bitBLT)，而且，對影像數(shù)據(jù)實施縮放(scaling)、基于CG的視覺效果等各種各樣的處理。繪制部162特別將該影像數(shù)據(jù)所表示的影像映射到對象的CG影像上。進一步參照圖1，繪制部162包含映射部162A、幀緩沖器162B、及輸出部162C。映射部162A按照判斷部161A的判斷結果，將存儲部161B中保持的左眼用或右眼用的影像數(shù)據(jù)合成到對象的形狀數(shù)據(jù)上。具體地說，在判斷部161A判斷為對象適合于立體觀看影像的映射的情況下，映射部162A將左眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)，并且將右眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作右眼用的CG數(shù)據(jù)。另一方面，在判斷部161A判斷為對象不適合于立體觀看影像的映射的情況下，只將右眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。它們的細節(jié)在下文中描述。幀緩沖器162B 是內置在繪制部162中的存儲元件的一個區(qū)域，按每個幀來保持由映射部162A合成的CG 數(shù)據(jù)。輸出部162C從幀緩沖器162B中讀出幀，變換為NTSC、PAL、或SECAM的輸出形式并送出到顯示部170。輸出部162C還對影像數(shù)據(jù)實施各種各樣的處理。在該處理的種類中， 包含縮放、IP變換、降噪、及幀率變換。縮放是放大/縮小影像的尺寸的處理。IP變換是在逐行(progressive)方式和隔行(interlace)方式之間變換掃描方式的處理。降噪是從影像中除去噪聲的處理。幀率變換是變換幀率的處理。顯示部170將由CG影像合成部160制作的幀顯示到顯示面板172上。特別是在影像數(shù)據(jù)表示立體觀看影像的情況下，顯示部170將左眼用的CG數(shù)據(jù)所表示的左眼用的CG 影像、和上述右眼用的CG數(shù)據(jù)所表示的右眼用的CG影像交替地顯示到顯示面板172上。參照圖1，顯示部170包含顯示驅動部171和顯示面板172。顯示驅動部171根據(jù)來自輸出部 162C的信號來控制顯示面板172。顯示面板172是液晶顯示面板(IXD)。顯示面板172除此之外也可以是等離子顯示面板、有機EL顯示面板等其他方式的顯示面板。左右信號發(fā)送部180將左右信號LR用紅外線或無線送出到閘門眼鏡195。左右信號LR表示當前在顯示面板172的畫面上顯示的影像是左眼用和右眼用中的哪一個的幀。 再現(xiàn)立體觀看影像時，控制部161根據(jù)影像數(shù)據(jù)上附帶的同步信號等控制信號、輔助數(shù)據(jù)， 識別左眼用的幀和右眼用的幀，從而檢測幀的切換?？刂撇?61還使左右信號發(fā)送部180 與檢測出的幀的切換同步來變化左右信號LR。閘門眼鏡195包含兩枚液晶顯示面板195L、 195R和左右信號接收部。各液晶顯示面板195L、195R構成左右的各透鏡部分。左右信號接收部接收左右信號LR，按照其變化使左右的液晶顯示面板195L、195R在其整體上均勻地透過光或遮斷光。特別是當左右信號LR表示左眼用幀的顯示時，左眼側的液晶顯示面板195L 透過光，右眼側的液晶顯示面板195R遮斷光。當左右信號LR表示右眼用幀的顯示時反之。 這樣，兩枚液晶顯示面板195L、195R與幀的切換同步來交替透過光。其結果是，當視聽者戴上閘門眼鏡195來觀看顯示面板172的畫面時，左眼用幀只映入該視聽者的左眼，右眼用幀只映入其右眼。此時，該視聽者將映入各眼的影像間的差異感知為對同一立體物體的兩眼視差，所以該影像看起來是立體的。[CG影像合成部的結構]圖2是CG影像合成部160的硬件結構的框圖。參照圖2，控制部161包含第1內部總線210、第1輸入輸出接口(I/0)211、CPU 212、及主存儲器213。繪制部162除了輸出部162C之外，還包含第2內部總線220、第21/0 221、圖形處理專用處理器(GPU =Graphic Processor Unit) 222、及視頻存儲器(VRAM) 223。第1內部總線210進行連接以便在控制部161的功能部211、212、213之間能夠進行數(shù)據(jù)交換。第ι I/O 211是將第1內部總線210連接到系統(tǒng)總線150上的總線橋(bus bridge) ο I/O 211符合PCI-Express規(guī)格。第1 I/O 211除此之外也可以符合PCI規(guī)格或 AGP規(guī)格。CPU 212執(zhí)行主存儲器213中存儲著的程序，根據(jù)該程序而向繪制部162提供處理對象的影像數(shù)據(jù)，而且，控制繪制部162的各功能部的工作。CPU 212特別使繪制部162從主存儲器21 3向VRAM 223傳送影像數(shù)據(jù)。CPU 212還有圖1所示的判斷部161A的功能。主存儲器213 是同步 DRAM (SDRAM)，優(yōu)選是 DDR (Doub le-Data-Rate，雙倍速率)-SDRAM。主存儲器213被用作圖1所示的存儲部161B。第2內部總線220進行連接以便在繪制部162的功能部221、222、162C、223之間能夠進行數(shù)據(jù)交換。第2 I/O 221是將第2內部總線220連接到系統(tǒng)總線150上的總線橋。 第2 I/O 221符合PCI-Express規(guī)格。第2 I/O 221除此之外也可以符合PCI規(guī)格或AGP規(guī)格。GPU 222是為了圖形顯示所需的運算處理而特制的芯片等邏輯電路。在GPU 222 進行的CG處理中，有幾何處理和繪制處理。在幾何處理中，通過幾何學運算、特別是坐標變換，來決定將3D虛擬空間中配置的各對象投影到2D畫面上時的配置。在繪制處理中，根據(jù)用幾何處理決定了的各對象在2D畫面上的配置，來制作影像數(shù)據(jù)，該影像數(shù)據(jù)表示應在顯示面板172的畫面上實際顯示的影像。在繪制處理中，包含隱面消除、陰影處理(shading)、 遮蔽(shadowing)、紋理映射等。GPU 222特別作為圖1所示的映射部162A而發(fā)揮功能。參照圖2，GPU 222包含頂點陰影處理器(vertex shader) 222A和像素陰影處理器222B。頂點陰影處理器222A是幾何處理專用的運算器，被用于幾何處理所需的幾何學運算、特別是與坐標變換有關的運算。頂點陰影處理器222A可以是按幾何學運算的類別而準備的運算器，也可以是能夠通過程序來處理各種幾何學運算的運算器。像素陰影處理器 222B是繪制處理專用的運算器，被用于與繪制處理所需的各像素的顏色信息、即像素數(shù)據(jù)的處理有關的運算。像素陰影處理器222B從VRAM 223中以像素為單位讀出影像數(shù)據(jù)，以像素為單位計算其成分間的和及積。像素陰影處理器222B可以是按與像素數(shù)據(jù)的處理有關的運算的類別而準備的運算器，也可以是能夠通過程序來以像素為單位處理各種運算的運算器。再者，也可以按照程序來將一個可編程的運算器分別用作頂點陰影處理器222A和像素陰影處理器222B這兩者。VRAM 223是內置在繪制部162中的SDRAM，優(yōu)選是DDR-SDRAM或 GDDR(Graphic-DDR，圖形DDR)-SDRAM。VRAM 223特別包含圖1所示的幀緩沖器162B。幀緩沖器162B中包含的VRAM 223的存儲單元分別與顯示面板172的一個像素相對應，存儲與該像素有關的像素數(shù)據(jù)。[CG影像合成部的工作]顯示裝置10利用圖1、圖2所示的部件，給查看器功能或幻燈片放映功能賦予立體效果。具體地說，顯示裝置10通過輸入部100 130來取得立體觀看影像的照片/動態(tài)圖像，利用CG影像合成部160將該照片/動態(tài)圖像映射到對象的CG影像上并顯示到顯示面板172的畫面上。此時，實施方式1的顯示裝置10如下所述，按照映射目的地的對象的形狀，在立體觀看影像和平面觀看影像之間切換映射對象的照片/動態(tài)圖像所表示的影像。圖3是顯示裝置10將立體觀看影像的照片/動態(tài)圖像映射到對象的CG影像上來制作右眼用和左眼用的各幀的處理的流程圖。當用戶通過操作部140指示了執(zhí)行查看器功能或幻燈片放映功能時，顯示裝置10開始該處理。在步驟Sll中，顯示裝置10根據(jù)通過輸入部100 130取得的立體觀看影像的照片/動態(tài)圖像來制作右眼用的幀。在接著的步驟 S12中，顯示裝置10根據(jù)這些照片/動態(tài)圖像來制作左眼用的幀。將步驟S11、S12中制作的幀的數(shù)據(jù)送出到顯示部170。顯示部170將這些幀交替地顯示到顯示面板172的畫面上。 與這些幀的切換同步，控制部161使左右信號發(fā)送部180切換左右信號LR的狀態(tài)。在接著的步驟S13中，顯示裝置10調查在這些照片/動態(tài)圖像中是否存在下一幀。在存在下一幀的情況下，處理從步驟Sll起循環(huán)。在不存在下一幀的情況下，處理結束。[對象的形狀數(shù)據(jù)]在形狀數(shù)據(jù)的種類中有2D數(shù)據(jù)和3D數(shù)據(jù)。2D數(shù)據(jù)表示對象在2D畫面上的形狀。 3D數(shù)據(jù)表示對象在3D虛擬空間內的形狀。形狀數(shù)據(jù)用被稱為“多邊形”的三角形的集合體來表示對象的形狀。該集合體的表現(xiàn)形式被分為三類。圖4(a) 圖4(c)是這三類表現(xiàn)形式的示意圖。參照圖4(a) 圖 4 (c)，不管在哪一類表現(xiàn)形式中，多邊形P0、Pl、P2、…都分別包含三個頂點Ve [m] (m = 0、 1、2、…)。對各頂點Ve [m]，從0起依次各分配一個被稱為“索引(index) ”的序列號m。形狀數(shù)據(jù)用各頂點Ve[m]的坐標、和各多邊形所包含的頂點的索引來規(guī)定在各幀上顯示的多邊形的集合。各頂點Ve [m]的坐標在2D數(shù)據(jù)時用2D矢量(x，y)來表示，在3D數(shù)據(jù)時用3D 矢量(X，1，ζ)來表示。除此之外，各頂點Ve[m]的坐標也可以用4維齊次坐標(x，y, ζ,Ι) 來表不。圖4(a)所示的七個多邊形Ρ0、Ρ1、Ρ2、…、Ρ6用被稱為“三角形帶”的第1表現(xiàn)形式來表示。三角形帶PO Ρ7是使得鄰接的兩個多邊形共有一邊而連結成的。例如，第 1多邊形PO和第2多邊形Pl共有連結第2個頂點Ve [1]和第3個頂點Ve [2]的邊L0，第 2多邊形Pl和第3多邊形Ρ2共有連結第3個頂點Ve[2]和第4個頂點Ve[3]的邊Li。圖 4(b)所示的四個多邊形Ρ0、Ρ1、Ρ2、Ρ3用被稱為“三角形扇”的第2表現(xiàn)形式來表示。三角形扇PO Ρ3是使得多個多邊形共有一個頂點Ve
而連結成的。形狀數(shù)據(jù)如下規(guī)定三角形帶和三角形扇。首先，第1多邊形PO用三個頂點Ve
、Ve [1]、Ve [2]來定義。接著，其他多邊形Ρ1、Ρ2、…用與已有頂點不同的一個頂點來定義。例如，第2多邊形Pl用第4個頂點Ve[3]來定義，第3多邊形Ρ2用第5個頂點Ve[4]來定義。圖4(c)所示的七個多邊形Ρ0、Ρ1、Ρ2、…、Ρ6用被稱為“三角形網(wǎng)格”的第3表現(xiàn)形式來表示。三角形網(wǎng)格將任一個多邊形都用三個頂點Ve[p]、Ve[q]、Ve[r]的索引的組(P、q、r)來定義。例如，第1多邊形PO用第1個頂點VeW]、第2個頂點Ve [1]、第3個頂點Ve[2]的索引的組(0、1、2)來定義，第2多邊形Pl用第1個頂點VeW]、第3個頂點 Ve[2]、第4個頂點Ve[3]的索引的組(0、2、3)來定義。形狀數(shù)據(jù)還包含向各頂點賦予的屬性值。在該屬性值中包含法線矢量和紋理坐標。法線矢量是共有該頂點的多邊形的法線矢量的平均。該法線矢量被用于計算多邊形的照度。紋理坐標表示被映射到多邊形上的平面觀看影像、即紋理中、被映射到該頂點上的部分的2D坐標。另外，在形狀數(shù)據(jù)中，也可以取代法線矢量而包含頂點顏色值。頂點顏色值表示各頂點的顏色坐標值。在形狀數(shù)據(jù)中也可以還包含用頂點陰影處理器222k處理的任意的屬性。
[右眼用幀的制作]圖5是圖1所示的步驟S11、即顯示裝置10制作右眼用的幀的處理的流程圖。在步驟S21中，控制部161在存儲部161B中準備各對象的形狀數(shù)據(jù)。之后，處理前進至步驟S22。
在步驟S22中，控制部161從通過輸入部100 130接收的影像數(shù)據(jù)中取得右眼用的影像數(shù)據(jù)和右眼用的攝像機參數(shù)。攝像機參數(shù)是向影像數(shù)據(jù)賦予的輔助數(shù)據(jù)中包含的參數(shù)，表示拍攝該影像數(shù)據(jù)時的攝像機的位置、方向、視角(angle of view)。攝像機參數(shù)特別包含坐標變換矩陣。該坐標變換矩陣規(guī)定視聽者的視點和視線方向，被用于視場坐標變換。所謂“視場坐標變換”，是指從全局(global)坐標系向視場坐標系的變換。所謂“全局坐標系”，是指在3D虛擬空間內定義的正交坐標系。所謂“視場坐標系”，是指對3D虛擬空間內的對象進行投影的2D畫面上正交的兩個軸、和與該畫面垂直的軸構成的正交坐標系。 在多邊形的頂點的坐標用4維齊次坐標來表示的情況下，攝像機參數(shù)所表示的坐標變換矩陣用4X4的矩陣來表現(xiàn)。向立體觀看影像的數(shù)據(jù)賦予了規(guī)定視聽者的左眼的視點的左眼用攝像機參數(shù)、和規(guī)定右眼的視點的右眼用攝像機參數(shù)。控制部161從影像數(shù)據(jù)中提取右眼用的攝像機參數(shù)并保存到存儲部161B中。另一方面，控制部161從影像數(shù)據(jù)中提取右眼用的影像數(shù)據(jù)并送出到映射部162A。之后，處理前進至步驟S23。圖6是視場坐標變換的示意圖。參照圖6，在配置對象OBJ的3D虛擬空間中定義全局坐標系(X，y，ζ)，在左眼用2D畫面SCL和右眼用2D畫面SCR上分別定義視場坐標系 (u，ν, η)。各畫面SCL、SCR表示從視聽者的各眼的視點VPL、VPR看到的畫面。與各畫面 SCL、SCR垂直的η軸從各畫面SCL、SCR朝向各視點VPL、VPR0利用左眼用攝像機參數(shù)，將對象OBJ的各頂點的全局坐標(X，y，ζ)變換為投影到左眼用2D畫面SCL上的該對象OBL 的頂點的視場坐標(u，v，n)；利用右眼用攝像機參數(shù)，將對象OBJ的各頂點的全局坐標(X， y, ζ)變換為投影到右眼用2D畫面SCL上的該對象OBR的頂點的視場坐標(u，ν, η)。再次參照圖5，在步驟S23中，判斷部161Α參照存儲部161Β中準備的對象的形狀數(shù)據(jù)，判別該形狀數(shù)據(jù)是否是2D數(shù)據(jù)。在形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，處理前進至步驟 S24 ；在形狀數(shù)據(jù)不是2D數(shù)據(jù)的情況下，處理前進至步驟S25。在步驟S24中，判斷部161Α將紋理模式設定為“左眼用”。紋理模式是當在步驟 S12中制作左眼用的幀時參照的環(huán)境變量，規(guī)定應映射到對象的左眼用的CG影像上的影像是左眼用和右眼用中的哪一個的照片/動態(tài)圖像。在對象是2D形狀的情況下，映射到其上的立體觀看影像正確地看起來是立體的。在步驟S24中對象的形狀數(shù)據(jù)是2D數(shù)據(jù)，所以設定紋理模式，使得向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161Β中。之后，處理前進至步驟S26。在步驟S25中，形狀數(shù)據(jù)是3D數(shù)據(jù)，所以判斷部161Α根據(jù)對象的形狀數(shù)據(jù)，來進一步判斷該對象的形狀是否適合于立體觀看影像的映射。判斷部161Α按照該判斷結果來設定紋理模式。該判斷的細節(jié)在之后描述。在步驟S25之后，處理前進至步驟S26。在步驟S26中，控制部161使繪制部162利用右眼用攝像機參數(shù)，對對象的形狀數(shù)據(jù)實施視場坐標變換。具體地說，控制部161使繪制部162首先將形狀數(shù)據(jù)所表示的頂點的坐標值變換為4維齊次坐標值。在形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，第(i+Ι)個頂點Ve[i](i =0、1、2、…)的2D坐標值(x[i]，y[i])T(字符“T”表示轉置。)被變換為4維齊次坐標值Vh[i] = (x[i]，y[i]，0，l)T。在形狀數(shù)據(jù)是3D數(shù)據(jù)的情況下，第(i+1)個頂點Ve[i](i =0、1、2、…)的3D坐標值(X[i]，y[i]，z[i])1iJ變換為4維齊次坐標值Vh[i] = (x[i], y[i]，z[i]，l)T。接著，控制部161使繪制部162計算右眼用攝像機參數(shù)所表示的坐標變換矩陣Mv和各頂點的4維齊次坐標值Vh [i] = (x[i]，y[i]，z[i]，l)T之積Mv*Vh[i](運算符“*”表示矩陣和列矢量之積)。這些運算利用頂點陰影處理器222A。之后，處理前進至步驟S27。在步驟S26中，將2D數(shù)據(jù)也變換為4維齊次坐標，但是不限于此。在預先清楚對 2D數(shù)據(jù)只進行2維坐標變換的情況下，也可以保持用2維坐標表示2D數(shù)據(jù)的狀態(tài)來進行處理。在步驟S27中，控制部161使映射部162A利用以視場坐標值表示的形狀數(shù)據(jù)，將右眼用的照片/動態(tài)圖像映射到對象的CG影像上。該映射處理的細節(jié)待后述。這樣，右眼用的照片/動態(tài)圖像被合成到對象的CG影像上，制作了右眼用的幀。[立體觀看影像的映射的適合判斷]圖7是圖5所示的步驟S25的流程圖。在步驟S25中，判斷部161A判斷對象的形狀是否適合于立體觀看影像的映射。在本發(fā)明的實施方式1中，判斷部161A在進行該適合判斷時，如下利用對象的表面的曲率。在步驟S31中，判斷部161A使繪制部162參照對象的3D數(shù)據(jù)，來算定各多邊形沖的法線矢量町《& = 0、1、2、3、…)。具體的算定方法待后述。之后，處理前進至步驟 S32。在步驟S32中，判斷部161A使繪制部162根據(jù)各多邊形1 的法線矢量N[k]來評價對象的表面的曲率。具體的評價方法待后述。之后，處理前進至步驟S33。在步驟S33中，判斷部161A將步驟S32中評價出的曲率值與規(guī)定的閾值進行比較，判別是否在該閾值以上。這里，該閾值表示在從0起緩緩增大對象的表面的曲率的情況下、映射到該表面上的立體觀看影像變得看起來不立體時的曲率值。該閾值由控制部161 預先保存在存儲部161B中。曲率在該閾值以上的情況下，處理前進至步驟S34 ；在未到達該閾值的情況下，處理前進至步驟S35。在步驟S34中，判斷部161A將紋理模式設定為“右眼用”。由于對象的表面的曲率在閾值以上，所以映射到該表面上的立體觀看影像看起來不立體。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射與右眼用的CG影像相同的右眼用的照片/動態(tài)圖像。 該紋理模式被保存到存儲部161B中。之后，處理前進至圖5所示的步驟S26。在步驟S35中，判斷部161A將紋理模式設定為“左眼用”。由于對象的表面的曲率未達到閾值，所以映射到該表面上的立體觀看影像正確地看起來是立體的。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖5所示的步驟S26。[多邊形的法線矢量的算定]在圖7所示的步驟S31中，用下述兩個方法中的某一個來算定各多邊形的法線矢量。第1方法根據(jù)各頂點的坐標值來計算各多邊形的法線矢量。具體地說，設想構成一個多邊形PO的3個頂點Ve
、Ve [1]、Ve [2]的4維齊次坐標值為如下所述的情況Vh
= (x
, y
, z
,l)T> Vh[l] = (x[l], y[l]，ζ [1]，1)T、Vh [2] = (x[2], y[2]， z[2]，1)T。在此情況下，首先，將從第1個頂點Ve
指向第2個頂點Ve[l]的第1矢量vO、和從第1個頂點Ve
指向第3個頂點Ve[2]的第2矢量vl分別用下述3維矢量值來表示:v0 = (x[l]-x
, y[l]-y
, ζ [1]-ζ
)、vl = (χ[2]-χ
, y[2]-y
, z[2]_zW])。接著，根據(jù)這些矢量值vO、vl，用下式來求取多邊形PO的法線矢量Ν
:Ν
=Normalized Xvl) ο這里，運算符“ X ”表示矢量積。函數(shù)“Normal ize (V) ”表示矢量V 的歸一化(normalization)，用下式來定義=Normalize(V) = V/|V| (運算符“ | · | ”表示矢量的長度)。因此，法線矢量N
的長度等于1。關于第2方法，在3D數(shù)據(jù)規(guī)定了法 線矢量作為各頂點的屬性的情況下，根據(jù)該法線矢量來算定各多邊形的法線矢量。具體地說，設想對構成一個多邊形PO的3個頂點 Ve
、Ve[l]、Ve[2]分別規(guī)定了法線矢量Ne W]、Ne [1]、Ne [2]的情況。在此情況下，首先， 將各法線矢量Ne[i] (1 = 0、1、2、3)變換為視場坐標系中的表現(xiàn)他[1]。即，求取右眼用攝像機參數(shù)所表示的坐標變換矩陣Mv的逆矩陣的轉置和各法線矢量Ne[i]之積Nh[i] :Nh[i] =Mv^Ne [i]0接著，用下式來求取這些法線矢量Nh[i]的平均值N
:N
= Normaliz e{(Nh
+Nh[l]+Nh[2])/3}o這里，運算符“ + ”表示矢量和，運算符“/”表示矢量的每個成分的商。法線矢量N
的長度等于1。另外，各多邊形的法線矢量的算定也可以利用上述兩個方法以外的方法。例如，
也可以將與第2方法同樣求出的法線矢量Nh [i]中的某一個選擇為多邊形PO的法線矢量 _。[對象的表面的曲率的評價]在圖7所示的步驟S32中，對象的表面的曲率利用(1)鄰接的兩個多邊形的法線矢量所成的角度、或(2)多邊形的法線矢量的各成分的最大值中的某一個來評價。(1)在根據(jù)鄰接的兩個多邊形的法線矢量所成的角度來評價對象的表面的曲率的情況下，各角度的算定順序如下所示，按照多邊形的集合體的表現(xiàn)形式來決定，該多邊形構成對象的表面。圖8(a)是用圖4(a)所示的三角形帶來表現(xiàn)多邊形的集合體的情況的示意圖。在此情況下，首先，第1個多邊形的法線矢量N
和第2個多邊形的法線矢量N[l]所成的角度 θ
用下式來計算θ
=arccos(N
· N[l] / | N
| | N[l] |) 0 這里，運算符 “·” 表示矢量的內積。接著，第2個多邊形的法線矢量N[l]和第3個多邊形的法線矢量N[2]所成的角度θ [1]用下式來計算θ [1] =arccos(N[l] ·Ν[2]/|Ν[1] | |Ν[2])。以下，同樣計算鄰接的兩個多邊形的法線矢量N[i]、N[i+l]所成的角度θ [i](i = 0、l、2、…、P-2)。 這里，字符P表示構成三角形帶的多邊形的總數(shù)。接著，將法線矢量所成的角度θ [i]的平均值看作用該三角形帶構成的對象的表面部分的曲率C :C= (θ
+θ [1]+...+ θ [P-2])/ (P-2)。除此之外，也可以將角度θ [i]的最大值看作該表面部分的曲率C :C = max (θ
、 θ [1]、…、θ [P-2])。圖8(b)是用圖4(b)所示的三角形扇來表現(xiàn)多邊形的集合體的情況的示意圖。在此情況下，首先，第1個多邊形的法線矢量N
和第2個多邊形的法線矢量N[l]所成的角度θ
用下式來計算θ
= arccos(N
·Ν[1]/_] | |Ν[1])。以下，同樣計算鄰接的兩個多邊形的法線矢量N[i]、N[i+l]所成的角度i](i=0、l、2、…、P-2、或P-1)。這里，字符P表示構成三角形扇的多邊形的總數(shù)。在三角形扇打開(open)的情況下，角度 θ [i]是(P-I)種；在三角形扇閉合(close)的情況下，角度θ [i]是P種。接著，將法線矢量所成的角度θ [i]的平均值看作用該三角形扇構成的對象的表面部分的曲率C :C = (θ
+θ [1]+···+θ W])/(KQ = p-2、或P-1)。除此之外，也可以將角度θ [i]的最大值看作對象的表面的曲率C :C = max( θ
、θ [1]、…、θ [Q])0圖8(c)是用圖4(c)所示的三角形網(wǎng)格來表現(xiàn)多邊形的集合體的情況的示意圖。 在此情況下，判斷部161A首先參照對象的3D數(shù)據(jù)來在存儲部161B中構成多邊形緩沖器?！岸噙呅尉彌_器”是定義各多邊形的索引的組和該多邊形的法線矢量之間的對應表。圖9是多邊形緩沖器的一例的表。參照圖9，向各多邊形各分配1個序列號0、1、2、···、 P-I作為特有的ID。這里，字符P表示構成對象的一個表面的多邊形的總數(shù)。構成對應的多邊形的頂點的索引的組、和該多邊形的法線矢量逐一與各多邊形ID相對應。例如，與多邊形ID = O相對應的是索引的組(0，1，2)和法線矢量N
= (N
x，N
y，Ν
ζ)，與多邊形ID = 1相對應的是索引的組(0，3，6)和法線矢量N[l] = (N[l]x，N[l]y，N[l]z)。判斷部161A接著從多邊形緩沖器中選擇一個索引的組，從多邊形緩沖器中檢索包含構成該組的3個索引中的某2個的其他組。例如，在選擇了圖9所示的多邊形ID = 0 的索引的組(0，1，2)的情況下，檢索多邊形ID = 2的索引的組(0，2，3)。在這2組中，索引 “0”、“2”重復。參照圖8(c)，這些索引的重復表示下述情況多邊形ID = 0的多邊形PO和多邊形ID = 1的多邊形Pl共有連結第1個頂點Ve
和第3個頂點Ve [2]的邊L0。判斷部161A接著從多邊形緩沖器中檢索與索引的各組相對應的法線矢量，算定這些法線矢量所成的角。在圖8(c)、圖9的例中，求取與多邊形ID = 0、2分別相對應的法線矢量 N
= (N
X，N
y，N
z)、N[2] = (N[2]χ, N[2]y, Ν[2]ζ)所成的角度 θ θ
= arccos(N
· N[2]/|N
| N[2] |)。以下、同樣，每當從多邊形緩沖器中選擇一個索引的組時，就檢索與用該組的頂點構成的多邊形共有一邊的多邊形，算定這些多邊形的法線矢量所成的角度θ [k] (k = 0U, 2、…、M-1)(字符M表示角度θ [k]的總數(shù))。之后，判斷部161A將這些角度θ [k]的平均值或最大值看作對象的表面的曲率C。(2)在利用多邊形的法線矢量的各成分的最大值來評價對象的表面的曲率的情況下，判斷部161A首先選擇步驟S31中算定的法線矢量中的某一個，將其χ軸成分設想為最大值maxNx。判斷部161A接著選擇其他法線矢量，將其χ軸成分Nx與最大值maxNx進行比較。其χ軸成分Nx大于最大值maxNx的情況下，判斷部161A用其χ軸成分Nx來置換最大值maxNx。通過對構成對象的一個表面的全部多邊形的法線矢量重復該處理，來求取χ軸成分的真實的最大值。同樣，求取法線矢量的y軸成分的最大值maxNy和ζ軸成分的最大值maxNz。判斷部161A接著將以各軸成分的最大值為成分的矢量Nmax = (maxNx, maxNy, maxNz)的長度 |Nmax| = sqrt (maxNx2+maxNy2+maxNz2)看作對象的表面的曲率 C。[左眼用幀的制作]圖10是圖3所示的步驟S12的流程圖。在步驟S12中，顯示裝置10如下制作左眼用的幀。在步驟S41中，控制部161從存儲部161B中讀出紋理模式，判別其是否被設定為 “左眼用”。在該紋理模式被設定為“左眼用”的情況下，處理前進至步驟S42 ；在未被設定為“左眼用”的情況下，前進至步驟S43。在步驟S42中，由于紋理模式被設定為“左眼用”，所以應向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。因此，控制部161從通過輸入部100 130接收的影像數(shù)據(jù)中提取左眼用的影像數(shù)據(jù)并送出到映射部162A。之后，處理前進至步驟S43。在步驟S43中，控制部161從影像數(shù)據(jù)中提取左眼用的攝像機參數(shù)并保存到存儲部16IB中。之后，處理前進至步驟S44。在步驟S44中 ，控制部161使繪制部162利用左眼用攝像機參數(shù)，對對象的形狀數(shù)據(jù)實施視場坐標變換。之后，處理前進至步驟S45。在步驟S45中，控制部161使映射部162A利用以視場坐標值表示的形狀數(shù)據(jù)，將照片/動態(tài)圖像映射到對象的CG影像上。在紋理模式被設定為“左眼用”的情況下，根據(jù)步驟S42，在映射處理中利用左眼用的影像數(shù)據(jù)。另一方面，在紋理模式被設定為“右眼用” 的情況下，由于未向映射部162A送出左眼用的影像數(shù)據(jù)，所以在映射處理中利用現(xiàn)有的右眼用的影像數(shù)據(jù)。映射處理的細節(jié)待后述。這樣，在紋理模式被設定為“左眼用”的情況下將左眼用的照片/動態(tài)圖像合成到對象的CG影像上，在紋理模式被設定為“右眼用”的情況下將右眼用的照片/動態(tài)圖像合成到對象的CG影像上。將該合成影像作為左眼用的幀而送出。[映射處理的細節(jié)]圖11是圖5所示的步驟S27、及圖10所示的步驟S45的流程圖。在步驟S27和步驟S45中處理對象的數(shù)據(jù)不同。但是，兩個步驟的具體處理都是共通的。在步驟S51中，繪制部162利用頂點陰影處理器222A，對構成對象的各多邊形的頂點進行處理，算定各頂點的屬性值。在該屬性值中，包含例如照度及顏色坐標值。特別是在照度的算定中，利用Lambert模型、Phong模型、或頂點陰影處理器222k中描述的獨特的陰影處理模型。之后，處理前進至步驟S52。在步驟S52中，繪制部162利用頂點陰影處理器222A，對對象的形狀數(shù)據(jù)實施視口 (viewport)變換。所謂“視口”，是指在顯示面板172的畫面上顯示的窗口內實際顯示影像的區(qū)域。所謂“視口變換”，是指求取被投影到2D畫面上的對象的CG影像、進而將該CG影像變換為用于顯示到視口上的影像的處理。視口變換可以利用3DCG的技術領域中周知的方法中的任一種，例如利用OpenGL中規(guī)定的方法。繪制部162還對實施了視口變換的形狀數(shù)據(jù)算定傾斜度參數(shù)?！皟A斜度參數(shù)”是表示應顯示到視口上的對象的CG影像中、與多邊形的各邊相當?shù)闹本€的傾斜度的參數(shù)。之后，處理前進至步驟S53。在步驟S53中，繪制部162使像素陰影處理器222B利用步驟S51中算定的各頂點的屬性值、及步驟S52中計算出的形狀數(shù)據(jù)和傾斜度參數(shù)，對該形狀數(shù)據(jù)執(zhí)行光柵化 (rasterize)處理。即，繪制部162計算視口內的各像素的顏色信息(像素數(shù)據(jù))，將應顯示到視口上的對象的CG影像表現(xiàn)為光柵數(shù)據(jù)。該光柵化可以利用3DCG的技術領域中周知的方法中的任一種，例如利用DDA(Digital Differential Analyzer，數(shù)字微分分析器)。將得到的光柵數(shù)據(jù)寫入到幀緩沖器162B中。之后，處理前進至步驟S54。在步驟S54中，繪制部162使像素陰影處理器222B將從存儲部161B傳送的影像數(shù)據(jù)所表示的影像作為紋理，映射到對象的CG影像上。該紋理映射可以利用3DCG的技術領域中周知的方法中的任一種。例如，繪制部162首先對在步驟S53中被寫入了像素數(shù)據(jù)的各像素求取紋理坐標。繪制部162接著將各像素數(shù)據(jù)的紋理坐標所示的影像數(shù)據(jù)的一部分合成到該像素數(shù)據(jù)上。該合成處理可以利用3DCG的技術領域中周知的方法中的任一種， 例如利用OpenGL中規(guī)定的方法。將合成出的像素數(shù)據(jù)寫入到幀緩沖器162B中。對在步驟 S53中被寫入到幀緩沖器162B中的全部像素數(shù)據(jù)，重復上述合成處理。這樣，在幀緩沖器 162B中構成了表示合成影像的光柵數(shù)據(jù)，作為右眼用或左眼用的幀，該合成影像通過將影像數(shù)據(jù)所表示的影像映射到對象的CG影像上而得到。[實施方式1的效果]圖12(a)是表面為平面的對象的CG影像的示意圖。參照圖12(a)，該對象POB是放置在3D虛擬空間內的三棱錐，表面都是平坦的三角形。如上所述，根據(jù)與視聽者的右眼的視點VPR對應的右眼用攝像機參數(shù)來計算將該三棱錐POB投影到右眼用2D畫面SCR上所得的平面CG影像P0R。另一方面，根據(jù)與視聽者的左眼的視點VPL對應的左眼用攝像機參數(shù)來計算將該三棱錐POB投影到左眼用2D畫面SCL上所得的平面CG影像POL。圖12 (b)表示上述三棱錐POB的左眼用的平面CG影像P0L，圖12 (c)表示右眼用的平面CG影像P0R。這里，設想該三棱錐POB的進深(cbpth ；日文奧行t )比畫面更深的情況。在此情況下，如圖12(b)、圖12(c)所示，左眼用的CG影像POL和畫面SCR的左端之間的距離DLl小于右眼用的CG影像POR和畫面SCR的左端之間的距離DRl。圖12(d)表示構成應映射到上述三棱錐POB的表面上的立體觀看影像的照片/動態(tài)圖像的1幀的左眼用的平面觀看影像，圖12(e)表示同一幀的右眼用的平面觀看影像。這里，設想該1幀上映出的“樹”的立體觀看影像的進深比畫面更靠近視聽者的情況。在此情況下，如圖12(d)、圖12(e)所示，“樹”的左眼用影像LV和畫面SCR的左端之間的距離DL2 大于該“樹”的右眼用影像RV和畫面SCR的左端之間的距離DR2。由于上述三棱錐POB的表面是平面的，所以圖8所示的、鄰接的兩個多邊形間的法線矢量所成的角度θ [k]都足夠小(k = 0、l、2^··)。因此，該三棱錐POB的表面的曲率小于閾值，所以在圖5所示的步驟S25中紋理模式被設定為“左眼用”。其結果是，向圖12(b) 所示的三棱錐的左眼用CG影像POL上，映射了圖12(d)所示的“樹”的左眼用影像LV ；而向圖12(c)所示的三棱錐的右眼用CG影像POR上，映射了圖12(e)所示的“樹”的右眼用影像RV。圖12 (f)表示三棱錐的左眼用CG影像POL和“樹”的左眼用影像LV的合成影像， 圖12(g)表示三棱錐的右眼用CG影像POR和“樹”的右眼用影像RV的合成影像。如圖 12(f)、圖12(g)所示，左眼用CG影像POR的左端和左眼用影像LV之間的距離DL3大于右眼用CG影像POR的左端和右眼用影像RV之間的距離DR3。圖12 (h)是使視聽者的各眼觀看圖12(f)、圖12(g)所示的各合成影像時、該視聽者看到的立體觀看影像的示意圖。如圖 12(h)所示，“樹”的立體觀看影像SVl看起來比三棱錐的立體觀看影像SV2更向視聽者凸出ο圖13(a)是表面為曲面的對象的CG影像的示意圖。參照圖13(a)，該對象COB是放置在3D虛擬空間內的橢圓柱，表面都彎曲很大。如上所述，根據(jù)與視聽者的右眼的視點 VI3R對應的右眼用攝像機參數(shù)來計算將該橢圓柱COB投影到右眼用2D畫面SCR上所得的平面CG影像C0R。另一方面，根據(jù)與視聽者的左眼的視點VPL對應的左眼用攝像機參數(shù)來計算將該橢圓柱COB投影到左眼用2D畫面SCL上所得的平面CG影像POL。
圖13(b)表示上述橢圓柱COB的左眼用的平面CG影像C0L，圖13(c)表示右眼用的平面CG影像C0R。這里，設想該橢圓柱COB的進深比畫面更深的情況。在此情況下，如圖 13(b)、圖13(c)所示，左眼用的CG影像COL和畫面SCR的左端之間的距離DL4小于右眼用的CG影像POR和畫面SCR的左端之間的距離DR4。圖13 (d)表示構成應映射到上述橢圓柱COB的表面上的立體觀看影像的照片/動態(tài)圖像的1幀的左眼用的平面觀看影像，圖13(e)表示同一幀的右眼用的平面觀看影像。這里，設想該1幀上映出的“樹”的立體觀看影像的進深比畫面更靠近視聽者的情況。在此情況下，如圖13(d)、圖13(e)所示，“樹”的左眼用影像LV和畫面SCR的左端之間的距離DL2 大于該“樹”的右眼用影像RV和畫面SCR的左端之間的距離DR2。由于上述橢圓柱COB的表面是曲面的，所以圖8所示的、鄰接的兩個多邊形間的法線矢量所成的角度θ [k]中的某個足夠大(k = 0、l、2、…)。因此，該橢圓柱COB的表面的曲率大于 閾值，所以在圖5所示的步驟S25中紋理模式被設定為“右眼用”。其結果是，向圖13(b)所示的橢圓柱的左眼用CG影像C0L、和圖13(c)所示的右眼用CG影像COR中的任一個上，都映射了圖13(e)所示的“樹”的右眼用影像RV。圖13(f)表示橢圓柱的左眼用CG影像COL和“樹”的右眼用影像RV的合成影像，圖 13 (g)表示橢圓柱的右眼用CG影像COR和“樹”的右眼用影像RV的合成影像。如圖13 (f)、 圖13 (g)所示，左眼用CG影像COR的左端和右眼用影像RV之間的距離DL5與右眼用CG影像COR的左端和右眼用影像RV之間的距離DR5大致相等。圖13(h)是使視聽者的各眼觀看圖13(f)、圖13(g)所示的各合成影像時、該視聽者看到的立體觀看影像的示意圖。如圖 13(h)所示，“樹”的立體觀看影像SV3位于與橢圓柱的立體觀看影像SV4相同的進深，看起來特別像是粘貼在該表面上。如圖12(h)、圖13(h)所示，本發(fā)明實施方式1的顯示裝置10，在將照片/動態(tài)圖像的影像映射到對象的表面上的情況下，當該表面的曲率比較低時，向該表面上映射照片/ 動態(tài)圖像的立體觀看影像，而當比較高時，映射(右眼用的)平面觀看影像。由此，如果對象的表面是平面的，則該顯示裝置10能夠使得照片/動態(tài)圖像看起來從該表面凸出或凹陷。 另一方面，如果該對象的表面富于起伏或是曲面的、從而即使將立體觀看影像映射到該表面上看起來也不立體，則顯示裝置10使繪制部162只處理右眼用的照片/動態(tài)圖像即可。 由此，減輕了映射處理所需的負擔、特別是從存儲部161B向繪制部162的bitBLT所需的負擔，所以將照片/動態(tài)圖像合成到對象的CG影像上的處理更加流暢。其結果是，顯示裝置 10能夠進一步提高這些合成影像的畫質。《實施方式2》本發(fā)明實施方式2的顯示裝置與實施方式1的不同，在圖5所示的步驟S25的立體觀看影像的映射的適合判斷中，不是評價對象的表面的曲率，而是評價構成該表面的各多邊形的頂點的照度。除了該點，實施方式2的顯示裝置與實施方式1的結構及功能相同。 因此，以下，說明實施方式2的顯示裝置中、從實施方式1變更的部分及擴展的部分。對與實施方式1的顯示裝置同樣的部分，援用上述對實施方式1的說明。圖14是圖5所示的步驟S25的流程圖。在本發(fā)明的實施方式2中，與實施方式1 不同，判斷部161A如以下那樣地按照構成對象的表面的多邊形的頂點的照度，來判斷照片 /動態(tài)圖像是否適合映射到該表面上。在以下的說明中，設想用上述第1方法來算定各頂點的法線矢量的情況。對象的3D數(shù)據(jù)規(guī)定了各頂點的法線矢量的情況下，跳過步驟S61及 S62。在步驟S61中，判斷部161A使繪制部162參照對象的3D數(shù)據(jù)來算定各多邊形的法線矢量。之后，處理前進至步驟S62。在步驟S62中，判斷部161A通過使繪制部162對各多邊形的法線矢量進行平均來算定各頂點的法線矢量。其具體的評價方法待后述。之后，處理前進至步驟S63。在步驟S63中，判斷部161A使繪制部162利用規(guī)定的反射光模型，根據(jù)各頂點的法線矢量來算定該頂點的照度。作為該反射光模型，利用Lambert模型或Wrong模型。其后，處理前進至步驟S64。在步驟S64中，判斷部161A從各頂點的照度中決定最大值和最小值，并計算它們之間的差。之后，處理前進至步驟S65。在步驟S65中，判斷部161A將步驟S64中計算出的差與規(guī)定的閾值進行比較，判別是否在該閾值以上。這里，該閾值由控制部161預先保存到存儲部161B中，表示當對象的表面為下述某一種狀態(tài)時、各頂點的照度中的最大值和最小值之間的差。第1狀態(tài)表示在從0起緩緩增大對象的表面的曲率的情況下、映射到該表面上的立體觀看影像變得看起來不立體時的狀態(tài)。在表面的曲率足夠大的情況下，構成該表面的多邊形的某一個頂點隱藏在該表面自身的陰影中。頂點的照度的最大值和最小值之間的差可看作被用來用該陰影的濃度對表面的曲率的評價。第2狀態(tài)表示在將對象的表面從與視線方向垂直的狀態(tài)起緩緩傾斜的情況下、映射到該表面上的立體觀看影像變得看起來不立體時的傾斜狀態(tài)。在表面的傾斜度足夠大的情況下，該表面中，在位于靠近視點的部分的頂點、和位于遠離視點的部分的頂點處的照度差異很大。頂點的照度的最大值和最小值之間的差可看作被用來用各頂點和視點之間的距離的差對表面的傾斜度的評價。頂點的照度的最大值和最小值之間的差在上述閾值以上的情況下，處理前進至步驟S66 ；在為達到該閾值的情況下，處理前進至步驟S67。在步驟S66中，判斷部161A將紋理模式設定為“右眼用”。由于頂點的照度的最大值和最小值之間的差在閾值以上，所以對象的表面彎曲很大，或相對于視線方向傾斜很大。 因此，映射到該表面上的立體觀看影像看起來不立體。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射與右眼用的CG影像相同的右眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖5所示的步驟S26。在步驟S67中，判斷部161A將紋理模式設定為“左眼用”。由于頂點的照度的最大值和最小值之間的差未達到閾值，所以映射到該表面上的立體觀看影像正確地看起來是立體的。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖5所示的步驟S26。[頂點的法線矢量的算定]在圖14所示的步驟S61中，如下算定頂點的法線矢量。圖15(a)是屬于構成對象的表面一部分的三角形網(wǎng)格的、多邊形的法線矢量和頂點的法線矢量的示意圖。繪制部162首先利用頂點陰影處理器222A，從對象的3D數(shù)據(jù)中讀取各頂點的坐標值，再根據(jù)這些坐標值來求取各多邊形的法線矢量町《& = 0、1、2、…)。繪制部162接著在共有一個頂點的多邊形之間對法線矢量進行平均，決定為該頂點的法線矢量。在圖15(a)所示的例子中，第1個頂點Ve
被6個多邊形共有。因此，首先，將這些多邊形的法線矢量 N[k] (k = 0、1、2、…、5)的平均值決定為第1個頂點Ve
的法線矢量NvW] =Nv
= Normalize {(N
+N[1]+…+N[5])/6}。同樣，將分別共有第2個頂點Ve [1]和第3個頂點 Ve [2]的多邊形的法線矢量的平均值決定為各頂點Ve [l]、Ve [2]的法線矢量Nv [1]、Nv [2]。[實施方式2 的效果]圖15 (b)是平板狀的對象的CG影像的示意圖。參照圖15 (b)，該對象BOB在3D虛擬空間內，相對于來自視點VP的視線方向傾斜很大。即，面向視點VP的對象BOB的表面相對于該視點VP的投影面SCR傾斜很大。其結果是，在該表面中，例如，最靠近視點VP的角 CRl的照度最大，最遠離視點VP的角CR2的照度最小。這樣，即使對象的表面的形狀是平面的，如果相對于視線方向的傾斜度足夠大，則該表面的各部的照度就會產(chǎn)生差。再者，一般來說，該傾斜度越大，則該差越大。因此，能夠根據(jù)照度的最大值和最小值之間的差來評價對象的表面的傾斜度。圖15 (c)是3枚平板狀的對象的立體CG影像B01、B02、B03、和分別映射到其上的 “星”、“樹”、“圓”的立體觀看影像VST、VTR、VCR的示意圖。如圖15(c)所示，第1對象的立體CG影像BOl和第3對象的立體CG影像B03相對于畫面SCR傾斜很大。在此情況下，由于向這些CG影像B01、B03上只映射“星”、“圓”的各右眼用的影像，所以“星”、“圓”的各立體觀看影像VST、VCR位于與各對象的立體觀看影像B01、B03相同的進深，看起來特別像是粘貼在各表面上。另一方面，第2對象的立體CG影像B02與畫面SCR大致平行。在此情況下，向第2對象的右眼用CG影像上映射“樹”的右眼用影像，向第2對象的左眼用CG影像上映射“樹”的左眼用影像。其結果是，“樹”的立體觀看影像VTR如圖15(c)所示，看起來比第2對象的立體觀看影像B02更向視聽者凸出。如圖15(c)所示，本發(fā)明實施方式2的顯示裝置，在將照片/動態(tài)圖像的影像映射到對象的表面上的情況下，當構成該表面的多邊形的頂點間的照度之差比較小時，向該表面上映射照片/動態(tài)圖像的立體觀看影像，而在比較大時，映射(右眼用的)平面觀看影像。由此，如果對象的表面相對于畫面比較平行，則該顯示裝置能夠使得照片/動態(tài)圖像看起來從該表面凸出或凹陷。另一方面，如果是該對象的表面雖是平面的卻相對于畫面傾斜、 即使將立體觀看影像映射到該表面上也看起來不立體的狀態(tài)，則該顯示裝置使繪制部162 只處理右眼用的照片/動態(tài)圖像即可。由此，減輕了映射處理所需的負擔、特別是從存儲部 161B向繪制部162的bitBLT所需的負擔，所以，將照片/動態(tài)圖像合成到對象的CG影像上的處理更加流暢。其結果是，該顯示裝置能夠進一步提高這些合成影像的畫質?！秾嵤┓绞?》本發(fā)明實施方式3的顯示裝置與實施方式1的不同，在圖5所示的步驟S25的是否適合映射立體觀看影像的判斷中，不是評價對象的表面的曲率，而且評價其重心的運動。 除了該點，實施方式3的顯示裝置與實施方式1的結構及功能相同。因此，以下，說明實施方式3的顯示裝置中、從實施方式1變更的部分及擴展的部分。對與實施方式1的顯示裝置同樣的部分，援用上述對實施方式1的說明。圖16是圖5所示的步驟S25的流程圖。在本發(fā)明的實施方式3中，與實施方式1 不同，判斷部161A如下那樣地按照連續(xù)兩幀間的對象的重心的位移量，來判斷是否適合將照片/動態(tài)圖像映射到該對象的表面上。
在步驟S71中，判斷部161A使繪制部162參照對象的3D數(shù)據(jù)，根據(jù)當前幀中的各頂點Ve[i](i = 0、l、2、…、NV-1。字符NV表示頂點的總數(shù)。)的坐標值(x[i], y[i], ζ [i])T，來算定該幀中的對象的重心的坐標值VGl =VGl = (x
+x[l]+x[2]+-+x[NV-l], y
+y[l]+y [2] +…+y [NV-1]，ζ
+ζ [1]+ζ [2] +-+ζ [NV-1])T/NV。得到的重心的坐標值被保存到存儲部161B中。之后，處理前進至步驟S72。在步驟 S72中，判斷部161A首先從存儲部161B中讀出當前幀的前一幀中的對象的重心的坐標值VG0。判斷部161A接著求取該讀出的坐標值VG0、和步驟S71中算定的坐標值VGl之間的差的大小|VG1-VG0|。該差表示先前幀和當前幀之間的對象的重心的位移量。之后，處理前進至步驟S73。在步驟S73中，判斷部161A將步驟S72中計算出的位移量|VG1_VG0|與規(guī)定的閾值進行比較，判別是否在該閾值以上。這里，該閾值由控制部161預先保存到存儲部161B 中，表示當映射到對象的表面上的立體觀看影像變得看起來不立體時的、1幀期間的該對象的重心的位移量、即對象的重心速度。在步驟S72中計算出的位移量|VG1-VG0|在上述閾值以上的情況下，處理前進至步驟S74 ；在未達到該閾值的情況下，處理前進至步驟S75。在步驟S74中，判斷部161A將紋理模式設定為“右眼用”。由于對象的重心速度在閾值以上，所以該對象的表面的運動相對于立體觀看映射到該表面上的立體觀看影像來說過快。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射與右眼用的CG影像相同的右眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖5 所示的步驟S26。在步驟S75中，判斷部161A將紋理模式設定為“左眼用”。由于對象的重心速度未達到閾值，所以映射到該表面上的立體觀看影像正確地看起來是立體的。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖5所示的步驟S26。[實施方式3的效果]圖17 (a)是平板狀的對象的立體CG影像PL1、和映射到其上的“樹”的立體觀看影像TRl的示意圖。對象的立體CG影像PLl相對于畫面SCR是靜止的。在此情況下，在連續(xù)的幀間，該對象的立體CG影像PLl的重心未發(fā)生位移。因此，向該對象的右眼用CG影像上映射“樹”的右眼用影像，向該對象的左眼用CG影像上映射“樹”的左眼用影像。其結果是， “樹”的立體觀看影像TRl如圖17(a)所示，看起來比該對象的立體觀看影像PLl更向視聽者凸出。圖17(b)是圖17(a)所示的幀的下一幀中的對象的立體CG影像PL2和“樹”的立體觀看影像TR2的示意圖。如圖17(b)中箭頭ARl所示，對象的立體CG影像PL2的重心相對于先前幀中的立體CG影像PLl的重心而位移很大。在此情況下，向該對象的左眼用CG 影像和右眼用CG影像中的任一個上，都只映射“樹”的右眼用影像。因此，“樹”的立體觀看影像TR2位于與對象的立體CG影像PL2相同的進深，看起來特別像是粘貼在該表面上。同樣，每當切換幀時，在對象的立體CG影像的重心位移很大的期間，向該立體CG影像上只映射“樹”的右眼用影像。因此，在此期間，“樹”的立體觀看影像是粘貼在對象的立體CG影像上的狀態(tài)，看起來與該立體CG影像一起移動。圖17(c)是從圖17(b)所示的幀起、幾幀后的對象的立體CG影像PL3和“樹”的立體觀看影像TR3的示意圖。對象的立體CG影像PL3再次相對于畫面SCR是靜止的。在此情況下，在連續(xù)的幀間，該對象的立體CG影像PL3的重心未發(fā)生位移。因此，向該對象的右眼用CG影像上映射“樹”的右眼用影像，向該對象的左眼用CG影像上映射“樹”的左眼用影像。其結果是，“樹”的立體觀看影像TR3如圖17(c)所示，看起來比該對象的立體觀看影像PL3更向視聽者凸出。如圖17(a) 圖17(c)所示，本發(fā)明實施方式3的顯示裝置，在將照片/動態(tài)圖像的影像映射到對象的表面上的情況下，當在連續(xù)兩幀間該對象的重心的位移比較小時，向該對象的表面上映射照片/動態(tài)圖像的立體觀看影像，而在比較大時，映射(右眼用的)平面觀看影像。由此，如果對象的運動比較緩慢，則該顯示裝置能夠使得照片/動態(tài)圖像看起來從該表面凸出或凹陷。另一方面，如果是該對象的運動快、即使將立體觀看影像映射到該表面上也看起來不立體的狀態(tài)，則該顯示裝置使繪制部162只處理右眼用的照片/動態(tài)圖像即可。由此，減輕了映射處理所需的負擔、特別是從存儲部161B向繪制部162的bitBLT 所需的負擔，所以，將照片/動態(tài)圖像合成到對象的CG影像上的處理更加流暢。其結果是， 該顯示裝置能夠進一步提高這些合成影像的畫質?！秾嵤┓绞?》本發(fā)明實施方式4的顯示裝置與實施方式1的不同，在圖3所示的制作右眼用的幀的步驟Sll中，取代圖5所示的步驟S24，而進行對對象的平面觀看影像的運動進行判定的步驟。除了該點，實施方式4的顯示裝置與實施方式1的結構及功能相同。因此，以下， 說明實施方式4的顯示裝置中、從實施方式1變更的部分及擴展的部分。對與實施方式1 的顯示裝置同樣的部分，援用上述對實施方式1的說明。圖18是本發(fā)明實施方式4的顯示裝置進行圖3所示的步驟Sll時的流程圖。參照圖18，在步驟S23中，判斷部161A參照對象的形狀數(shù)據(jù)，來判別該形狀數(shù)據(jù)是否是2D數(shù)據(jù)。在形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，處理前進至步驟S84 ；在形狀數(shù)據(jù)不是2D數(shù)據(jù)的情況下，處理前進至步驟S25。在步驟S84中，對象是平面CG影像，整體是看起來與畫面相同進深的平面。判斷部161A如下所示地根據(jù)連續(xù)兩幀間的對象的代表點的位移量來決定紋理模式。該紋理模式被保存到存儲部161B中。之后，處理前進至步驟S26。圖19是圖18所示的步驟S84的流程圖。在本發(fā)明的實施方式4中，與實施方式 1不同，即使形狀數(shù)據(jù)是2D數(shù)據(jù)，判斷部161A也如下那樣地按照連續(xù)兩幀間的對象的代表點、例如重心的位移量，來判斷照片/動態(tài)圖像是否適合映射到該對象的表面上。這里，代表點除了重心以外，也可以是對象的邊界等固定在某一個部分上的點。在步驟S91中，判斷部161A使繪制部162參照對象的2D數(shù)據(jù)，根據(jù)當前幀中的各頂點Ve[i](i = 0、1、2、…、NV-1。字符NV表示頂點的總數(shù)。)的坐標值(x[i]， y[i])T，來算定該幀中的對象的重心的坐標值VGl =VGl = (x
+x[l]+x[2]+-+x[NV-l], y
+y[l]+y[2]+-+y[NV-l])T/NVo得到的重心的坐標值被保存到存儲部161B中。之后， 處理前進至步驟S92。在步驟S92中，判斷部161A首先從存儲部161B中讀出當前幀的前一幀中的對象的重心的坐標值VG0。判斷部161A接著求取該讀出的坐標值VG0、和步驟S91中算定的坐標值VGl之間的差的大小|VG1-VG0|。該差表示先前幀和當前幀之間的對象的重心的位移量。之后，處理前進至步驟S93。在步驟S93中，判斷部161A將步驟S92中計算出的位移量|VG1_VG0|與規(guī)定的閾值進行比較，判別是否在該閾值以上。這里，該閾值由控制部161預先保存到存儲部161B 中，表示當映射到對象的表面上的立體觀看影像變得看起來不立體時的對象的重心速度。 在步驟S92中計算出的位移量I VGl-VGO I在上述閾值以上的情況下，處理前進至步驟S94 ； 在未達到該閾值的情況下，處理前進至步驟S95。在步驟S94中，判斷部16 1A將紋理模式設定為“右眼用”。由于對象的重心速度在閾值以上，所以該對象的表面的運動相對于立體觀看映射到該表面上的立體觀看影像來說過快。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射與右眼用的CG影像相同的右眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部161B中。之后，處理前進至圖18 所示的步驟S26。在步驟S95中，判斷部161A將紋理模式設定為“左眼用”。由于對象的重心速度未達到閾值，所以映射到該表面上的立體觀看影像正確地看起來是立體的。因此，設定紋理模式，使得向對象的左眼用的CG影像上映射左眼用的照片/動態(tài)圖像。該紋理模式被保存到存儲部16IB中。之后，處理前進至圖18所示的步驟S26。[實施方式4的效果]圖20(a)是矩形的對象的平面CG影像MV1、和映射到其上的“樹”的立體觀看影像 STl的示意圖。對象的平面CG影像MVl在畫面SCR上是靜止的。在此情況下，在連續(xù)的幀間，該對象的平面CG影像MVl的重心未發(fā)生位移。因此，向該對象的CG影像上映射“樹”的右眼用影像而合成出右眼用的平面觀看影像。另一方面，向同一對象的CG影像上映射“樹” 的左眼用影像而合成出左眼用的平面觀看影像。其結果是，“樹”的立體觀看影像STl如圖 20(a)所示，看起來比該對象的平面CG影像MVl更向視聽者凸出。圖20 (b)是圖20 (a)所示的幀的下一幀中的對象的平面CG影像MV2和“樹”的立體觀看影像ST2的示意圖。如圖20(b)中箭頭AR2所示，對象的平面CG影像MV2的重心相對于先前幀中的平面CG影像MVl的重心而位移很大。在此情況下，向該對象的CG影像上只映射“樹”的右眼用影像，而合成出左眼用和右眼用的各平面觀看影像。因此，“樹”的立體觀看影像ST2與對象的平面CG影像MV2同樣，看起來像是粘貼在畫面上。同樣，每當切換幀時，在對象的平面CG影像的重心位移很大的期間，向該平面CG影像上只映射“樹”的右眼用影像。因此，在此期間，“樹”的立體觀看影像看起來與對象的平面CG影像一起在畫面上移動。圖20 (c)是從圖20 (b)所示的幀起、幾幀后的對象的平面CG影像MV3和“樹”的立體觀看影像ST3的示意圖。對象的立體CG影像MV3再次在畫面SCR上是靜止的。在此情況下，在連續(xù)的幀間，該對象的平面CG影像MV3的重心未發(fā)生位移。因此，向該對象的CG 影像上映射“樹”的右眼用影像而合成出右眼用的平面觀看影像，向該對象的CG影像上映射“樹”的左眼用影像而合成出左眼用的平面觀看影像。其結果是，“樹”的立體觀看影像 ST3如圖20(c)所示，看起來比該對象的平面CG影像MV3更向視聽者凸出。如圖20(a) 圖20(c)所示，本發(fā)明實施方式4的顯示裝置，在將照片/動態(tài)圖像的影像映射到對象的表面上的情況下，當在連續(xù)的幀間該對象的重心的位移比較小時，向該對象的表面上映射照片/動態(tài)圖像的立體觀看影像，而在比較大時，映射(右眼用的)平面觀看影像。由此，如果對象的運動比較緩慢，則該顯示裝置能夠使得照片/動態(tài)圖像看起來從該表面凸出或凹陷。另一方面，如果是該對象的表面雖是平面的、但該對象的運動快、 即使將立體觀看影像映射到該表面上也看起來不立體的狀態(tài)，則該顯示裝置使繪制部162 只處理右眼用的照片/動態(tài)圖像即可。由此，減輕了映射處理所需的負擔、特別是從存儲部 161B向繪制部162的bitBLT所需的負擔，所以，將照片/動態(tài)圖像合成到對象的CG影像上的處理更加流暢。其結果是，該顯示裝置能夠進一步提高這些合成影像的畫質?！蹲冃卫?A)在本發(fā)明的上述實施方式中，如圖3所示，當顯示1幀的立體觀看影像時，先于左眼用的幀來生成右眼用的幀。除此之外，也可以先于右眼用的幀來生成左眼用的幀。在此情況下，紋理模式的設定與上述例子相反。例如，在圖5所示的步驟S24中，由于應向對象的右眼用的CG影像上映射右眼用的照片/動態(tài)圖像，所以紋理模式被設定為“右眼用”。 此外，在圖7中，在對象的表面的曲率在閾值以上的情況下，處理前進至步驟S35 ；在未達到該閾值的情況下，處理前進至步驟S34。在步驟S35中，由于對象的表面的曲率在閾值以上， 所以判斷部161A將紋理模式設定為“左眼用”，并向該對象的右眼用CG影像上，映射與左眼用CG影像相同的左眼用的照片/動態(tài)圖像。另一方面，在步驟S34中，由于對象的表面的曲率未達到閾值，所以判斷部161A將紋理模式設定為“右眼用”，并向該對象的右眼用CG影像上映射右眼用的照片/動態(tài)圖像。 (B)本發(fā)明的上述實施方式以幀連續(xù)方式為前提。除此之外，也可以利用偏光顯示方式、或雙凸透鏡方式?！捌怙@示方式”在左眼用的幀的顯示區(qū)域(例如奇數(shù)行)和右眼用的幀的顯示區(qū)域(例如偶數(shù)行)上分別設置不同偏光方向的濾光器(filter)。此時，視聽者通過偏光眼鏡來觀看畫面。這里，在該偏光眼鏡中，在各透鏡上設置了不同偏光方向的濾光器。因此，左眼用和右眼用的幀只能分別被視聽者的各個眼睛看見，所以能夠使視聽者觀看3D影像?！半p凸透鏡方式”將左眼用和右眼用的各幀分割為縱向細長的長方形的小區(qū)域，在一個畫面中將這些幀的各小區(qū)域沿橫向交替排列并同時顯示。這里，畫面的表面由雙凸透鏡(lenticular lens)覆蓋。雙凸透鏡是將多個細長的半圓柱(日文蒲鋅)透鏡平行地排列為一枚片狀而成。各半圓柱透鏡在畫面的表面上沿縱向延伸。在視聽者通過雙凸透鏡來觀看上述幀時，來自左眼用幀的顯示區(qū)域的光只成像到視聽者的左眼，來自右眼用幀的顯示區(qū)域的光只成像到右眼。這樣，通過映入左右眼的影像間的兩眼視差，視聽者看到 3D影像。其中，在該方式中，也可以取代雙凸透鏡，利用具有同樣功能的液晶元件等其他光學部件。 圖1所示的輸出部162C按照顯示部170顯示3D影像的方式來變換幀的輸出形式。 當顯示部170利用偏光顯示方式時，輸出部162C利用內置的緩沖存儲器，將左眼用的幀和右眼用的幀的對合成為一個幀。具體地說，輸出部162C將先合成的右眼用的幀暫時保存到該緩沖存儲器中并保持。輸出部162C接著合成左眼用的幀，并與緩沖存儲器中保持的右眼用的幀進一步合成。在該合成中，將左眼用的幀和右眼用的幀以行為單位交替排列而重構為一個幀。當顯示部170利用雙凸透鏡方式時也同樣，輸出部162C利用內置的緩沖存儲器， 將左眼用的幀和右眼用的幀的對合成為一個幀。具體地說，輸出部162C將先合成的右眼用的幀暫時保存到該緩沖存儲器中并保持。輸出部162C接著合成左眼用的幀，并與緩沖存儲器中保持的右眼用的幀進一步合成。在該合成中，將左眼用的幀和右眼用的幀分別分割為縱向細長的長方形的小區(qū)域，將各小區(qū)域在一個幀中橫向交替排列而重構為一個幀。將這樣合成出的一個幀送出到顯示部170。(C)在一個幀中顯示多個對象的情況下，顯示裝置也可以如下那樣地對各對象分別決定紋理模式。圖21是該顯示裝置將立體觀看影像的照片/動態(tài)圖像映射到對象的CG 影像上來制作右眼用和左眼用的各幀的處理的流程圖。當用戶通過圖1所示的操作部140 指示了執(zhí)行查看器功能或幻燈片放映功能時，顯示裝置開始該處理。在步驟SlOl中，顯示裝置將整數(shù)值變量N初始化為“1”。在下一步驟Sll中，顯示裝置向第N個對象的右眼用CG影像上映射右眼用的照片/動態(tài)圖像來制作影像，合成到右眼用的幀上。在接著的步驟S102中，顯示裝置判別變量N是否達到了對象的總數(shù)。在變量 N小于對象的總數(shù)的情況下，處理前進至步驟S103。在變量N等于對象的總數(shù)的情況下，處理前進至步驟S104。在步驟S103中，將對變量N加1所得的值作為新的變量N。之后，處理從步驟Sll起循環(huán)。這樣，通過反復步驟Sll S103，向全部對象的右眼用CG影像上映射右眼用的照片/動態(tài)圖像，將它們合成到一個右眼用的幀上。將該幀的數(shù)據(jù)送出到顯示部170。進而，將全部對象的紋理模式的一覽保存到存儲部161B中。在步驟S104中，顯示裝置將整數(shù)值變量N再次初始化為“1”。在下一步驟S12中， 顯示裝置首先參照紋理模式的一覽，判斷應向第N個對象的左眼用CG影像上映射左眼用和右眼用中的哪一個的照片/動態(tài)圖像。顯示裝置接著將該判斷的結果所示的照片/動態(tài)圖像映射到第N個對象的左眼用CG影像上，將得到的影像合成到左眼用的幀上。在接著的步驟S105中，顯示裝置判別變量N是否達到了對象的總數(shù)。在變量N小于對象的總數(shù)的情況下，處理前進至步驟S106。在變量N等于對象的總數(shù)的情況下，處理前進至步驟S13。在步驟S106中，將對變量N加1所得的值作為新的變量N。之后，處理從步驟S12起循環(huán)。這樣，通過反復步驟S12 S106，向全部對象的左眼用CG影像上映射照片/動態(tài)圖像，將它們合成到一個左眼用的幀上。將該幀的數(shù)據(jù)送出到顯示部170。在步驟S13中，顯示裝置調查在照片/動態(tài)圖像中是否存在下一幀。在存在下一幀情況下，處理從步驟SlOl起循環(huán)。在不存在下一幀情況下，處理結束。(D)在本發(fā)明的上述實施方式中，如圖5所示，在對象的形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，將照片/動態(tài)圖像作為立體觀看影像，映射到該對象的平面CG影像上。除此之外，在對象的形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，也可以將照片/動態(tài)圖像也作為平面觀看影像，映射到該對象的平面CG影像上。在此情況下，對象的CG影像和照片/動態(tài)圖像以同一進深來顯
7J\ ο圖22是在上述情況下、顯示裝置將照片/動態(tài)圖像映射到對象的CG影像上的處理的流程圖。當用戶通過圖1所示的操作部140指示了執(zhí)行查看器功能或幻燈片放映功能時，顯示裝置開始該處理。圖22所示的流程圖與圖3、圖5所示的不同，取代步驟S24，而包含制作平面觀看影像的幀、即制作2D幀的步驟S111、S112。除了該點，圖22所示的流程圖與圖3、圖5所示的是共通的。因此，以下，說明圖22所示的步驟中、從圖3、圖5所示而變更的部分及擴展的部分。對與圖3、圖5所示的步驟同樣的步驟，援用對圖3、圖5的說明。參照圖22，在步驟S23中，判斷部161A參照對象的形狀數(shù)據(jù)，來判別該形狀數(shù)據(jù)是否是2D數(shù)據(jù)。在形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，處理前進至步驟Slll ；在形狀數(shù)據(jù)不是2D 數(shù)據(jù)的情況下，處理前進至步驟S25。
在步驟Slll中，控制部161使繪制部162利用右眼用攝像機參數(shù)，對對象的2D數(shù)據(jù)實施視場坐標變換。具體地說，控制部161使繪制部162首先將2D數(shù)據(jù)所表示的頂點的坐標值變換為4維齊次坐標值。S卩，將第(i+Ι)個頂點Ve[i](i = 0、l、2、…)的2D坐標值0^]，7[幻)〃變換為4維齊次坐標值￥1![士] = (x[i]，y[i]，0，l)T。接著，控制部161使繪制部162計算右眼用攝像機參數(shù)所表示的坐標變換矩陣Mv和各頂點的4維齊次坐標值 Vh [i] = (x[i]，y[i]，0，l)T之積Mv*Vh[i]。這些運算利用頂點陰影處理器222A。之后，處理前進至步驟Sl 12。在步驟S112中，控制部161使映射部162A利用以視場坐標值表示的形狀數(shù)據(jù)，將右眼用的照片/動態(tài)圖像映射到對象的CG影像上。該映射處理的細節(jié)與上述同樣。這樣， 將右眼用的照片/動態(tài)圖像合成到對象的CG影像上而制作2D幀。之后，處理跳過用于制作左眼用的幀的步驟S12，前進至圖3所示的步驟S13。在圖22所示的例子中，在對象的形狀數(shù)據(jù)是2D數(shù)據(jù)的情況下，將照片/動態(tài)圖像和對象的合成影像自動顯示為平面觀看影像。除此之外，顯示裝置也可以使用戶利用操作部140，來選擇是否應將照片/動態(tài)圖像和對象的合成影像顯示為立體觀看影像。工業(yè)實用性本發(fā)明涉及立體觀看影像的顯示技術，如上所述，向對象的CG影像上映射其他影像并合成。這樣，本發(fā)明顯然能夠在工業(yè)上實用。標號說明
POB對象
POL對象POB的左眼用的平面CG
POR對象POB的右眼用的平面CG
SCL左眼用2D畫面
SCR右眼用2D畫面
VPL視聽者的左眼的視點
VPR視聽者的右眼的視點
LV“樹”的左眼用影像
RV“樹”的右眼用影像
SVl“樹”的立體觀看影像
SV2對象的立體CG影像
權利要求
1.一種CG影像合成裝置，將影像映射至對象而合成為一個計算機圖形CG影像，具備 存儲部，存儲有表示上述對象的形狀的形狀數(shù)據(jù)，以及左眼用和右眼用的影像數(shù)據(jù)的對，該左眼用和右眼用的影像數(shù)據(jù)的對表示一個立體觀看影像；判斷部，根據(jù)上述形狀數(shù)據(jù)，來判斷上述對象是否適合于上述立體觀看影像的映射；以及映射部，在上述判斷部判斷為上述對象適合于上述立體觀看影像的映射的情況下，該映射部將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；在上述判斷部判斷為上述對象不適合于上述立體觀看影像的映射的情況下，該映射部只將上述左眼用的影像數(shù)據(jù)和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成，來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
2.如權利要求1所述的CG影像合成裝置，其中，上述形狀數(shù)據(jù)是3D數(shù)據(jù)，該3D數(shù)據(jù)表示上述對象在3維虛擬空間內的形狀； 上述判斷部根據(jù)上述3D數(shù)據(jù)，來計算構成上述對象的各多邊形的法線矢量，根據(jù)計算出的法線矢量的集合來評價上述對象的表面的曲率，在上述曲率未達到規(guī)定的閾值的情況下，判斷為上述對象適合于上述立體觀看影像的映射，在上述曲率超過上述閾值的情況下， 判斷為上述對象不適合于上述立體觀看影像的映射。
3.如權利要求1所述的CG影像合成裝置，其中，上述形狀數(shù)據(jù)是3D數(shù)據(jù)，該3D數(shù)據(jù)表示上述對象在3D虛擬空間內的形狀； 上述判斷部根據(jù)上述3D數(shù)據(jù)，來計算構成上述對象的各多邊形的頂點上的照度，在計算出的全部照度中的最大值和最小值之間的差未達到規(guī)定的閾值的情況下，判斷為上述對象適合于上述立體觀看影像的映射，在上述差超過上述閾值的情況下，判斷為上述對象不適合于上述立體觀看影像的映射。
4.如權利要求1所述的CG影像合成裝置，其中，上述形狀數(shù)據(jù)是3D數(shù)據(jù)，該3D數(shù)據(jù)表示上述對象在3D虛擬空間內的形狀； 上述判斷部按上述CG影像的每幀，根據(jù)構成上述對象的各多邊形的頂點來求取上述對象的代表點，在連續(xù)兩幀之間上述對象的代表點的位移的大小未達到規(guī)定的閾值的情況下，判斷為上述對象適合于上述立體觀看影像的映射，在上述位移的大小超過上述閾值的情況下，判斷為上述對象不適合于上述立體觀看影像的映射。
5.如權利要求1所述的CG影像合成裝置，其中，上述形狀數(shù)據(jù)是2D數(shù)據(jù)，該2D數(shù)據(jù)表示上述對象在2維畫面上的形狀； 上述判斷部按上述CG影像的每幀，根據(jù)上述2D數(shù)據(jù)來求取上述對象的代表點，在連續(xù)兩幀之間上述對象的代表點的位移的大小未達到規(guī)定的閾值的情況下，判斷為上述對象適合于上述立體觀看影像的映射，在上述位移的大小超過上述閾值的情況下，判斷為上述對象不適合于上述立體觀看影像的映射。
6.如權利要求1所述的CG影像合成裝置，其中，上述形狀數(shù)據(jù)是2D數(shù)據(jù)和3D數(shù)據(jù)中的某一個，上述2D數(shù)據(jù)表示上述對象在2D畫面上的形狀，上述3D數(shù)據(jù)表示上述對象在3D虛擬空間內的形狀；上述判斷部識別上述形狀數(shù)據(jù)是上述2D數(shù)據(jù)和上述3D數(shù)據(jù)中的哪一個，在上述形狀數(shù)據(jù)是上述2D數(shù)據(jù)的情況下，判斷為上述對象適合于上述立體觀看影像的映射，在上述形狀數(shù)據(jù)是上述3D數(shù)據(jù)的情況下，根據(jù)上述3D數(shù)據(jù)，來進一步判斷上述對象是否適合于上述立體觀看影像的映射。
7.如權利要求1所述的CG影像合成裝置，其中，該CG影像合成裝置還包括操作部，接受用戶操作，該用戶操作表示應將平面觀看影像和立體觀看影像中的哪一個映射至上述對象；在上述用戶操作表示應將上述平面觀看影像映射至上述對象的情況下，上述判斷部判斷為上述對象不適合于上述立體觀看影像的映射。
8.—種CG影像合成方法，將影像映射至對象而合成為一個CG影像，具有下述步驟 根據(jù)表示上述對象的形狀的形狀數(shù)據(jù)，來判斷上述對象是否適合于立體觀看影像的映射，該立體觀看影像用左眼用和右眼用的影像數(shù)據(jù)的對來表示；在判斷為上述對象適合于上述立體觀看影像的映射的情況下，將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；以及在判斷為上述對象不適合于上述立體觀看影像的映射的情況下，只將上述左眼用的影像和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
9.一種程序，用于使計算機執(zhí)行將影像映射至對象而合成為一個CG影像的處理，上述處理具有下述步驟根據(jù)表示上述對象的形狀的形狀數(shù)據(jù)，來判斷上述對象是否適合于立體觀看影像的映射，該立體觀看影像用左眼用和右眼用的影像數(shù)據(jù)的對來表示；在判斷為上述對象適合于上述立體觀看影像的映射的情況下，將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；以及在判斷為上述對象不適合于上述立體觀看影像的映射的情況下，只將上述左眼用的影像和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
10.一種記錄媒體，記錄著程序，該程序用于使計算機執(zhí)行將影像映射至對象而合成為一個CG影像的處理，上述處理具有下述步驟根據(jù)表示上述對象的形狀的形狀數(shù)據(jù)，來判斷上述對象是否適合于立體觀看影像的映射，該立體觀看影像用左眼用和右眼用的影像數(shù)據(jù)的對來表示；在判斷為上述對象適合于上述立體觀看影像的映射的情況下，將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；以及在判斷為上述對象不適合于上述立體觀看影像的映射的情況下，只將上述左眼用的影像和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
11.一種搭載在裝置中的集成電路，該裝置將影像映射至對象而合成為一個CG影像， 該集成電路包括存儲部，存儲有表示上述對象的形狀的形狀數(shù)據(jù)，以及左眼用和右眼用的影像數(shù)據(jù)的對，該左眼用和右眼用的影像數(shù)據(jù)的對表示一個立體觀看影像；判斷部，根據(jù)上述形狀數(shù)據(jù)，來判斷上述對象是否適合于上述立體觀看影像的映射；以及映射部，在上述判斷部判斷為上述對象適合于上述立體觀看影像的映射的情況下，該映射部將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；在上述判斷部判斷為上述對象不適合于上述立體觀看影像的映射的情況下，該映射部只將上述左眼用的影像和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
12. —種顯示裝置，將影像映射至對象而作為一個CG影像來顯示，包括 存儲部，存儲有表示上述對象的形狀的形狀數(shù)據(jù)，以及左眼用和右眼用的影像數(shù)據(jù)的對，該左眼用和右眼用的影像數(shù)據(jù)的對表示一個立體觀看影像；判斷部，根據(jù)上述形狀數(shù)據(jù)，來判斷上述對象是否適合于上述立體觀看影像的映射； 映射部，在上述判斷部判斷為上述對象適合于上述立體觀看影像的映射的情況下，該映射部將上述左眼用的影像數(shù)據(jù)與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)，并且，將上述右眼用的影像數(shù)據(jù)與上述3D數(shù)據(jù)合成來制作右眼用的CG數(shù)據(jù)；在上述判斷部判斷為上述對象不適合于上述立體觀看影像的映射的情況下，該映射部只將上述左眼用的影像和上述右眼用的影像數(shù)據(jù)中的某一個與上述形狀數(shù)據(jù)合成來制作左眼用的CG數(shù)據(jù)和右眼用的 CG數(shù)據(jù)；以及顯示部，包含顯示面板，將上述左眼用的CG數(shù)據(jù)所表示的左眼用的CG影像、和上述右眼用的CG數(shù)據(jù)所表示的右眼用的CG影像交替地顯示到上述顯示面板上。
全文摘要
一種CG影像合成裝置，向對象上映射影像而合成為一個CG影像。存儲部存儲著對象的形狀數(shù)據(jù)、及左眼用和右眼用的影像數(shù)據(jù)。判斷部參照該形狀數(shù)據(jù)，根據(jù)各多邊形的法線矢量來評價對象的表面的曲率。判斷部進一步將曲率與規(guī)定的閾值進行比較，來判斷對象是否適合于立體觀看影像的映射。在對象適合于立體觀看影像的映射的情況下，映射部將左眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)，將右眼用的影像數(shù)據(jù)合成到形狀數(shù)據(jù)上來制作右眼用的CG數(shù)據(jù)。在對象不適合于立體觀看影像的映射的情況下，映射部只將左眼用的影像數(shù)據(jù)和右眼用的影像數(shù)據(jù)中的某一個合成到形狀數(shù)據(jù)上來制作左眼用的CG數(shù)據(jù)和右眼用的CG數(shù)據(jù)。
文檔編號G06T15/04GK102362294SQ20118000153
公開日2012年2月22日 申請日期2011年2月22日 優(yōu)先權日2010年2月23日
發(fā)明者上崎亮 申請人:松下電器產(chǎn)業(yè)株式會社