專(zhuān)利名稱(chēng)：影像再現(xiàn)裝置的制作方法
技術(shù)領(lǐng)域：
本技術(shù)領(lǐng)域涉及影像再現(xiàn)技術(shù)，特別涉及輸出能夠立體觀看的影像信號(hào)的影像再現(xiàn)裝置。
背景技術(shù)：
近年來(lái)，能夠顯示可立體觀看的影像(立體影像)的影像再現(xiàn)裝置的技術(shù)的開(kāi)發(fā)得到了發(fā)展。在顯示立體影像時(shí)，影像再現(xiàn)裝置根據(jù)記錄在光盤(pán)等影像源中的內(nèi)容數(shù)據(jù)來(lái)生成左眼用的影像以及右眼用的影像，并送出到影像顯示裝置。影像顯示裝置交替地呈現(xiàn)左眼用的影像以及右眼用的影像。在專(zhuān)利文獻(xiàn)1中，公開(kāi)了一種通過(guò)將具有視差的右眼影像以及左眼影像呈現(xiàn)給用戶(hù)從而能夠進(jìn)行立體影像顯示的影像再現(xiàn)裝置。用戶(hù)將通過(guò)右眼看見(jiàn)的影像(右眼影像) 和通過(guò)左眼看見(jiàn)的影像(左眼影像)在腦內(nèi)進(jìn)行合成，識(shí)別為立體影像。此外，近年來(lái)，在保存在BD-ROM(Blu-Ray Disc ROM，藍(lán)光光盤(pán)只讀存儲(chǔ)器)等光盤(pán) (影像源)中的內(nèi)容中，通過(guò)將字幕和具有動(dòng)作的圖形合成于正編影像來(lái)進(jìn)行顯示，從而實(shí)現(xiàn)了多彩的影像表現(xiàn)。特別是，通過(guò)圖形處理技術(shù)的提高，能夠使用運(yùn)用了動(dòng)畫(huà)制作法的、 接近動(dòng)態(tài)圖像的圖形。被合成于正編影像的字幕和圖形的影像，基于包含在影像源中的字幕和圖形的數(shù)據(jù)，在影像再現(xiàn)裝置內(nèi)被生成。在此情況下，影像再現(xiàn)裝置有效利用存儲(chǔ)器和處理器，按照能夠趕得上與正編影像之間的合成的定時(shí)的方式，根據(jù)影像源的數(shù)據(jù)來(lái)生成字幕和圖形的影像，并將生成的影像與正編影像的各幀的影像進(jìn)行合成，由此生成合成影像的影像信號(hào)， 并在合成影像的再現(xiàn)定時(shí)將合成影像信號(hào)輸出。由于對(duì)影像再現(xiàn)裝置的處理器施加預(yù)料外的負(fù)載，從而該處理器所進(jìn)行的字幕影像和圖形影像的生成趕不上與正編影像之間的合成的定時(shí)的情況也有可能發(fā)生。若陷入這種情況，則應(yīng)合成于正編影像的字幕影像和圖形影像的右眼影像以及左眼影像的至少任意一方將會(huì)暫時(shí)缺失。例如，若右眼用的圖形影像(右眼圖形影像)暫時(shí)從合成影像中缺失，則用戶(hù)對(duì)于圖形影像將會(huì)只看到左眼用的圖形影像，不僅無(wú)法將圖形影像識(shí)別為立體影像，而且圖形影像的深度方向(進(jìn)深方向)上的定位也無(wú)法正確地確定，將會(huì)被用戶(hù)識(shí)別為異常的(不自然的)影像。在先技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)1 JP特開(kāi)2006-084964號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的課題像這樣，應(yīng)合成于正編影像的立體影像的左眼影像以及右眼影像的至少任意一方
4缺失，即使是暫時(shí)性的，也不能說(shuō)是理想的情況。本實(shí)施方式為了解決上述問(wèn)題點(diǎn)而作，是一種即使在被合成于第1影像(例如，正編影像)的第2影像(例如，圖形和字幕)缺失等而無(wú)法使用于合成的情況下，也能夠輸出使用戶(hù)不感到不協(xié)調(diào)的自然的立體影像的影像再現(xiàn)裝置。解決課題的手段其一個(gè)形態(tài)為對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出的影像再現(xiàn)裝置，該影像再現(xiàn)裝置具備取得單元，其取得應(yīng)合成于一個(gè)幀的第1影像和第2影像；和合成單元，其通過(guò)將取得單元所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出合成影像，合成單元，在合成影像的生成時(shí)，在取得單元沒(méi)能取得應(yīng)合成于一個(gè)幀的第2影像時(shí)，將在與一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于一個(gè)幀的第1影像進(jìn)行合成。其另一個(gè)形態(tài)為對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出的半導(dǎo)體裝置，該半導(dǎo)體裝置具備取得單元，其取得應(yīng)合成于一個(gè)幀的第1影像和第2影像；合成單元，其通過(guò)將取得單元所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像；和信號(hào)輸出單元，其輸出合成影像，合成單元，在合成影像的生成時(shí)，在取得單元沒(méi)能取得應(yīng)合成于一個(gè)幀的第2影像時(shí)，將在與一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第 2影像與應(yīng)合成于一個(gè)幀的第1影像進(jìn)行合成。其又一個(gè)形態(tài)為在影像再現(xiàn)裝置中對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出的影像再現(xiàn)方法，該影像再現(xiàn)方法具備如下步驟取得單元取得應(yīng)合成于一個(gè)幀的第1影像和第2影像的步驟；和合成單元通過(guò)將通過(guò)進(jìn)行取得的步驟而取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出合成影像的步驟，合成單元，在合成影像的生成時(shí)，在取得單元沒(méi)能取得應(yīng)合成于一個(gè)幀的第2影像時(shí)，將在與一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像，與應(yīng)合成于一個(gè)幀的第1影像進(jìn)行合成。發(fā)明的效果本實(shí)施方式所涉及的影像再現(xiàn)裝置，即使在被合成于第1影像(正編影像等)的立體影像的第2影像(字幕影像、圖形影像等)由于缺失等而無(wú)法利用于合成的情況下，也能夠輸出使用戶(hù)不感到不協(xié)調(diào)感的自然的立體影像。


圖1是實(shí)施方式的具備影像再現(xiàn)裝置的3D影像再現(xiàn)顯示系統(tǒng)的構(gòu)成圖。圖2是3D影像再現(xiàn)顯示系統(tǒng)的影像顯示裝置的構(gòu)成圖。圖3是實(shí)施方式的影像再現(xiàn)裝置的構(gòu)成圖。圖4是實(shí)施方式1的影像再現(xiàn)裝置的第2AV處理部的詳細(xì)框圖。圖5是對(duì)平面合成模型進(jìn)行說(shuō)明的圖。圖6是實(shí)施方式的影像再現(xiàn)裝置所送出的立體影像信號(hào)的示意圖。圖7是對(duì)立體影像中的深度(cbpth)的概念進(jìn)行說(shuō)明的圖。圖8是對(duì)賦予給影像的偏移進(jìn)行說(shuō)明的圖。圖9是影像再現(xiàn)裝置的第2AV處理部的合成部的詳細(xì)框圖。圖10是用于輸出圖形影像的處理的流程圖。
圖IlA是對(duì)圖形影像缺失的情況下的代替影像輸出進(jìn)行說(shuō)明的圖。圖IlB是對(duì)圖形影像缺失的情況下的代替影像輸出進(jìn)行說(shuō)明的圖。圖12是沿著時(shí)間來(lái)說(shuō)明圖形解碼器以及同步部所進(jìn)行的處理的圖。圖13是沿著時(shí)間來(lái)說(shuō)明圖形解碼器以及同步部所進(jìn)行的處理的圖。圖14是沿著時(shí)間來(lái)說(shuō)明圖形解碼器以及同步部所進(jìn)行的處理的圖。圖15是實(shí)施方式2的影像再現(xiàn)裝置的第2AV處理部的詳細(xì)框圖。圖16是實(shí)施方式1、2的AV處理部的詳細(xì)框圖。圖17是實(shí)施方式3的影像再現(xiàn)裝置的第2AV處理部的詳細(xì)框圖。圖18是用于對(duì)深度的推定進(jìn)行說(shuō)明的圖。圖19是實(shí)施方式3的AV處理部的詳細(xì)框圖。
具體實(shí)施例方式以下，對(duì)實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。在實(shí)施方式中，“立體影像”(“3D影像”)是指用戶(hù)(鑒賞者)能夠進(jìn)行立體觀看的影像。此外，將包含這種立體影像的影像信號(hào)稱(chēng)作立體影像信號(hào)。以下說(shuō)明的實(shí)施方式的影像再現(xiàn)裝置是能夠輸出立體影像信號(hào)的影像再現(xiàn)裝置。 該立體影像信號(hào)由影像再現(xiàn)裝置基于記錄在BD-ROM這種光盤(pán)(影像源)中的內(nèi)容數(shù)據(jù)(例如，影像流信號(hào))而生成。此外，本影像再現(xiàn)裝置基于從影像源取得的內(nèi)容數(shù)據(jù)，生成正編影像(第1影像) 以及圖形影像或字幕影像(第2影像)的影像，并使第2影像與第1影像同步來(lái)對(duì)兩影像進(jìn)行合成，由此能夠生成合成影像，并將合成影像的影像信號(hào)(合成影像信號(hào))作為立體影像信號(hào)而輸出。本影像再現(xiàn)裝置，當(dāng)在某合成定時(shí)應(yīng)與第1影像進(jìn)行合成的第2影像(字幕影像、 圖形影像等)的生成趕不上該合成的定時(shí)的情況下，將在另一合成定時(shí)使用于合成的第2 影像作為該合成定時(shí)的第2影像來(lái)輸出。這樣一來(lái)，本影像再現(xiàn)裝置防止了合成影像中的第2影像的暫時(shí)的缺失。此時(shí)，影像再現(xiàn)裝置適當(dāng)對(duì)第2影像的深度(cbpth)進(jìn)行調(diào)節(jié)(深度校正)。這樣一來(lái)，由于第2影像的暫時(shí)缺失而導(dǎo)致的用戶(hù)對(duì)立體影像所感到的不協(xié)調(diào)感被減輕。(實(shí)施方式1)1.立體影像再現(xiàn)顯示系統(tǒng)的構(gòu)成對(duì)實(shí)施方式1的立體影像再現(xiàn)顯示系統(tǒng)進(jìn)行說(shuō)明。圖1是實(shí)施方式1的具備影像再現(xiàn)裝置12的立體影像再現(xiàn)顯示系統(tǒng)的整體構(gòu)成圖。在圖1中，影像顯示裝置11是顯示立體影像的顯示器等顯示裝置。影像再現(xiàn)裝置12是從BD-ROM這種光盤(pán)等存儲(chǔ)介質(zhì)、因特網(wǎng)等網(wǎng)絡(luò)、以及廣播波等(影像源)接受影像等的數(shù)據(jù)信號(hào)，對(duì)立體影像信號(hào)進(jìn)行再現(xiàn)并輸出的裝置。立體眼鏡13是具備適當(dāng)遮斷影像顯示裝置11所顯示的立體影像的液晶開(kāi)關(guān)的偏光眼鏡。參照?qǐng)D2，對(duì)影像顯示裝置11的詳細(xì)構(gòu)成進(jìn)行說(shuō)明。圖2是表示本說(shuō)明書(shū)中記載的各實(shí)施方式中的影像顯示裝置11的詳細(xì)構(gòu)成的圖。影像顯示裝置11由第1輸入輸出部101、第IAV處理部102、顯示部103、第1遙控器信號(hào)接收部104、發(fā)送部105等構(gòu)成，通過(guò)第1遙控器信號(hào)接收部104來(lái)接受來(lái)自用戶(hù)的操作從而開(kāi)始動(dòng)作。從影像再現(xiàn)裝置12輸出的立體影像信號(hào)被輸入到第1輸入輸出部101。第1輸入輸出部 101 由對(duì)應(yīng) HDMI (High Definition Multimedia hterface，高清晰度多媒體接口) Verl. 4的信號(hào)輸入部等構(gòu)成即可。然后，立體影像信號(hào)在第IAV處理部102中被進(jìn)行了影像的分辨率的調(diào)整、與聲音之間的定時(shí)調(diào)整之后，被顯示于顯示部103。根據(jù)顯示于顯示部103的影像，從發(fā)送部105對(duì)用戶(hù)所佩戴的立體眼鏡13送出對(duì)左右鏡片的開(kāi)關(guān)的開(kāi)閉進(jìn)行控制的切換信號(hào)。圖3是表示本實(shí)施方式的影像再現(xiàn)裝置12的構(gòu)成的圖。盤(pán)驅(qū)動(dòng)部201是能夠插入BD-ROM等盤(pán)200的盤(pán)驅(qū)動(dòng)裝置，根據(jù)來(lái)自CPU205的指示，將記錄在盤(pán)200中的數(shù)據(jù)輸出到第2AV處理部202。第2AV處理部202通過(guò)第2遙控器信號(hào)接收部204來(lái)接受來(lái)自用戶(hù)的再現(xiàn)指示，從盤(pán)驅(qū)動(dòng)部201取得記錄在盤(pán)200中的內(nèi)容數(shù)據(jù)，生成立體影像信號(hào)，并輸出到第2輸入輸出部203。CPU205通過(guò)第2遙控器信號(hào)接收部204來(lái)接受用戶(hù)指示，并基于該指示，來(lái)向第 2AV處理部202輸出指示。此外，CPU205根據(jù)需要對(duì)第2AV處理部202與閃存206之間、第 2AV處理部202與存儲(chǔ)器207之間的數(shù)據(jù)的交換進(jìn)行控制。第2遙控器信號(hào)接收部204接收從遙控器(未圖示)輸出的用戶(hù)指示。閃存206保存用于進(jìn)行CPU205或第2AV處理部 202的動(dòng)作的軟件，并且，存儲(chǔ)后述的深度信息(cbpth information)等將圖形影像與正編影像進(jìn)行合成時(shí)所需的數(shù)據(jù)。存儲(chǔ)器207是在對(duì)內(nèi)容數(shù)據(jù)進(jìn)行解碼來(lái)生成立體影像信號(hào)時(shí)暫時(shí)存儲(chǔ)影像等的數(shù)據(jù)的存儲(chǔ)器。在盤(pán)2OO中保存有正編影像(第1影像)的數(shù)據(jù)(“視頻數(shù)據(jù)”)；重疊(合成) 于正編影像(第1影像)的圖形影像(第2影像)的數(shù)據(jù)(“圖形數(shù)據(jù)”)、字幕的數(shù)據(jù)(“字幕數(shù)據(jù)”)；在用戶(hù)進(jìn)行設(shè)備操作時(shí)呈現(xiàn)給用戶(hù)的菜單等的數(shù)據(jù)。第2AV處理部202對(duì)這些數(shù)據(jù)進(jìn)行解碼從而展開(kāi)為多個(gè)影像(平面plane)，根據(jù)這些影像來(lái)生成合成影像，并通過(guò)第2輸入輸出部203將影像信號(hào)(“合成影像信號(hào)”)輸出。另外，影像再現(xiàn)裝置12除了具備盤(pán)驅(qū)動(dòng)部201之外，也可以具備硬盤(pán)驅(qū)動(dòng)器(HDD) 等記錄介質(zhì)。此外，影像再現(xiàn)裝置12還可以具備用于接收廣播電波的天線(xiàn)、以及將接收到的廣播電波變換為數(shù)字的流信號(hào)(視頻、聲音、圖形、字幕等)的調(diào)諧器等。2.立體影像再現(xiàn)顯示系統(tǒng)的動(dòng)作2. 1.整體動(dòng)作在像以上那樣構(gòu)成的立體影像再現(xiàn)顯示系統(tǒng)中，影像再現(xiàn)裝置12讀出記錄在盤(pán) 200中的內(nèi)容數(shù)據(jù)來(lái)生成正編影像以及圖形影像，并對(duì)兩影像進(jìn)行合成來(lái)輸出表示立體影像的合成影像信號(hào)。合成影像信號(hào)是包含左眼影像以及右眼影像而成的影像信號(hào)。影像顯示裝置11在顯示器上對(duì)輸入的合成影像信號(hào)中包含的左眼影像和右眼影像進(jìn)行分時(shí)顯示，此時(shí)，將分時(shí)的切換定時(shí)以紅外線(xiàn)同步信號(hào)(切換信號(hào))的形式傳遞給圖 1的立體眼鏡13。立體眼鏡13根據(jù)從影像顯示裝置11接受的同步信號(hào)來(lái)切換液晶開(kāi)關(guān)的透過(guò)率， 并交替地遮斷立體眼鏡13的左眼側(cè)或右眼側(cè)的任意一個(gè)視野，由此將左眼影像僅呈現(xiàn)給左眼，而且將右眼影像僅呈現(xiàn)給右眼。像這樣來(lái)實(shí)現(xiàn)立體影像顯示。
2.2.圖形影像合成處理接下來(lái)，對(duì)第2AV處理部202的詳細(xì)構(gòu)成以及第2AV處理部202中的正編影像與圖形影像的合成處理進(jìn)行說(shuō)明。圖4是表示實(shí)施方式1中的第2AV處理部202的詳細(xì)構(gòu)成的框圖。第2AV處理部202由流控制部501、深度決定部502、視頻解碼器503、圖形解碼器 504、合成部505等構(gòu)成。第2遙控器信號(hào)接收部204經(jīng)由遙控器(未圖示)來(lái)接受來(lái)自用戶(hù)的指示。CPU205按照該指示來(lái)對(duì)第2AV處理部202、閃存206、存儲(chǔ)器207等進(jìn)行控制。流控制部501從盤(pán)驅(qū)動(dòng)部201取得收錄在盤(pán)200中的視頻數(shù)據(jù)(正編影像的數(shù)據(jù))、圖形數(shù)據(jù)(圖形影像的數(shù)據(jù))、深度信息。然后，流控制部501將視頻數(shù)據(jù)輸出到視頻解碼器503，將圖形數(shù)據(jù)輸出到圖形解碼器504，將深度信息輸出到深度決定部502。視頻解碼器503從流控制部501接受視頻數(shù)據(jù)。該視頻數(shù)據(jù)被壓縮，對(duì)該壓縮后的視頻數(shù)據(jù)進(jìn)行解壓來(lái)生成視頻影像(僅有正編影像的影像)。圖形解碼器504從流控制部501接受記錄在盤(pán)200中的圖形數(shù)據(jù)，對(duì)該圖形數(shù)據(jù)進(jìn)行解壓來(lái)生成圖形影像(僅有圖形影像的影像)。圖形數(shù)據(jù)大多由促使用戶(hù)操作的按鈕的圖像等幾個(gè)部件構(gòu)成。圖形解碼器504對(duì)這些進(jìn)行解碼，并描繪(寫(xiě)入)在存儲(chǔ)器207上，由此來(lái)生成圖形影像。此外，也存在圖形解碼器504利用記錄在閃存206中的設(shè)備特有的圖形數(shù)據(jù)來(lái)作成圖形影像的情況。盤(pán)200保存視頻數(shù)據(jù)(正編影像的數(shù)據(jù))以及圖形數(shù)據(jù)(圖形影像的數(shù)據(jù))各自的左眼影像以及右眼影像。以下，假設(shè)正編影像也為立體影像來(lái)進(jìn)行說(shuō)明，但正編影像也可以為非立體影像。即使在正編影像為非立體影像的情況下，也能夠?qū)⒑铣捎跋裥盘?hào)構(gòu)成為立體影像信號(hào)。此外，與視頻數(shù)據(jù)和圖形數(shù)據(jù)相關(guān)的深度位置(depth)的信息作為深度信息也被記錄在盤(pán)200中。該深度位置的信息(深度信息)可以作為視頻數(shù)據(jù)和圖形數(shù)據(jù)的影像中的物體的平均深度的信息而被記錄，深度信息與視頻數(shù)據(jù)、圖形數(shù)據(jù)分別地被記錄在盤(pán)200 中。深度決定部502根據(jù)記錄在盤(pán)200中的深度信息來(lái)計(jì)算圖形數(shù)據(jù)的深度并作為深度數(shù)據(jù)而輸出到合成部505。在立體影像中，通過(guò)將左眼影像以及右眼影像在顯示畫(huà)面上的左右方向上錯(cuò)開(kāi)(進(jìn)行偏移調(diào)整)，來(lái)使影像的進(jìn)深方向的視覺(jué)上的距離看起來(lái)比顯示位置(顯示畫(huà)的位置)更遠(yuǎn)，或者看起來(lái)比顯示位置更近。將表示深度決定部502所決定的該視覺(jué)的深度位置(depth)的數(shù)據(jù)稱(chēng)作深度數(shù)據(jù)。合成部505對(duì)正編影像、圖形影像等多個(gè)平面(plane)進(jìn)行合成，生成合成影像信號(hào)。即、合成部505基于從深度決定部502發(fā)送來(lái)的深度數(shù)據(jù)對(duì)來(lái)自視頻解碼器503的視頻影像(正編影像)、和來(lái)自圖形解碼器504的圖形影像進(jìn)行合成。2. 2. 1.平面合成模型參照?qǐng)D5，對(duì)將圖形影像重疊(合成)于正編影像，從而輸出合成影像為止的工序進(jìn)行說(shuō)明。圖5所示的模型一般被稱(chēng)作平面合成模型。在視頻解碼器503中，根據(jù)從盤(pán)200等中讀出的視頻數(shù)據(jù)305S(#1視頻流)來(lái)生成左眼用視頻影像(L視頻影像)305L、以及右眼用視頻影像(R視頻影像)305R (正編影像的左眼影像以及右眼影像)并輸出到合成部505。同時(shí)，在圖形解碼器504中，根據(jù)從盤(pán)200等中讀出的圖形數(shù)據(jù)307S(#2視頻流)來(lái)生成左眼用圖形影像(L圖形影像)307L、以及右眼用圖形影像(R圖形影像)307R(圖形影像的左眼影像以及右眼影像)并輸出到合成部 505。合成部505對(duì)正編影像305L和R、以及圖形影像307L和R進(jìn)行重疊(合成)，并作為合成影像313而輸出。另外，合成部505也可以在合成影像上進(jìn)一步重疊菜單圖形301或字幕數(shù)據(jù)303寸。2. 2. 2.立體影像信號(hào)圖6是在影像再現(xiàn)裝置12將合成影像313的影像信號(hào)(合成影像信號(hào))作為立體影像信號(hào)而輸出的情況下使用的信號(hào)格式的例圖。在合成影像信號(hào)313SGL中，例如，交替地包含左眼影像的影像信號(hào)(L)和右眼影像的影像信號(hào)(R)，構(gòu)成合成影像1幀的影像信號(hào)。影像再現(xiàn)裝置12在以60幀/秒來(lái)輸出合成影像的情況下，用1/120秒來(lái)傳輸左眼影像的影像信號(hào)(L)，用下一個(gè)1/120秒來(lái)傳輸右眼影像的影像信號(hào)。2. 2. 3.關(guān)于深度以及偏移處理參照?qǐng)D7，對(duì)作為立體影像的合成影像313中的深度進(jìn)行說(shuō)明。在圖7中，用附圖左右方向(深度方向)來(lái)表現(xiàn)用戶(hù)鑒賞立體影像時(shí)所識(shí)別的立體感(進(jìn)深方向的寬度)。 在本圖所例示的立體影像(合成影像31 中，作為正編影像305包含背景和站在背景前面 (用戶(hù)側(cè))的人。在合成影像313中，在正編影像305的前面(用戶(hù)側(cè))重疊有圖形影像 307。在該圖中，使用戶(hù)所感到的圖形影像307的進(jìn)深方向(附圖左右方向)視覺(jué)上的距離在箭頭315的方向上變化，與對(duì)圖形影像307的深度進(jìn)行調(diào)整相對(duì)應(yīng)。圖8是說(shuō)明對(duì)影像進(jìn)行的偏移處理的圖。通過(guò)對(duì)影像實(shí)施偏移處理，能夠?qū)υ撚跋竦纳疃?cbpth)進(jìn)行調(diào)整。在立體地表現(xiàn)影像的情況下，一般使用具有視差的右眼影像以及左眼影像，并且將兩影像在畫(huà)面左右方向上向相反方向錯(cuò)開(kāi)規(guī)定的距離(進(jìn)行偏移處理)來(lái)表現(xiàn)影像的進(jìn)深感(進(jìn)深方向的距離)。第2AV處理部202基于上述的深度數(shù)據(jù)來(lái)變更偏移的程度(錯(cuò)開(kāi)的距離)，由此來(lái)調(diào)節(jié)影像的深度。例如，圖8(a)是表示偏移的程度(偏移量)為零的情況下的左眼影像401L以及右眼影像401R的圖。此時(shí)，用戶(hù)對(duì)影像中的物體(例如，公共汽車(chē))所感到的視覺(jué)上的距
離與影像顯示面一致。圖8(b)是表示按照左眼影像以及右眼影像401L以及R向附圖的中央方向集中的方式，來(lái)對(duì)基準(zhǔn)幀403(偏移量為零的情況下的影像的位置)賦予了偏移405的情況的圖。 此時(shí)，用戶(hù)感到影像中的物體的視覺(jué)上的距離比影像顯示面近。圖8 (c)是表示按照左眼影像以及右眼影像401L以及R相互遠(yuǎn)離的方式，來(lái)對(duì)基準(zhǔn)幀403賦予了偏移407的情況的圖。此時(shí)，用戶(hù)感到影像中的物體的視覺(jué)上的距離比影像顯示面遠(yuǎn)。像這樣，在立體影像中，通過(guò)對(duì)左眼影像以及右眼影像提供規(guī)定的偏移，能夠調(diào)節(jié)用戶(hù)對(duì)該影像所識(shí)別的距離感(進(jìn)深感)。即、通過(guò)對(duì)賦予給影像的偏移的大小以及偏移的方向進(jìn)行調(diào)節(jié)，能夠調(diào)節(jié)立體影像中的該影像的深度。另外，左眼影像401L和右眼影像 401R既可以為考慮了視差的不同的影像，也可以為相同的影像。2.2.4.合成部中的深度調(diào)整處理下面，對(duì)合成部505中的、針對(duì)圖形影像的深度調(diào)整處理進(jìn)行說(shuō)明。
圖9是表示合成部505的詳細(xì)構(gòu)成的框圖。合成部505具有從圖形解碼器504 直接或經(jīng)由存儲(chǔ)器207而間接地取得圖形影像的圖形影像取得部700 ；和對(duì)正編影像和圖形影像進(jìn)行合成的圖形合成部703。圖形影像取得部700具備與正編影像同步地輸出圖形影像的同步部701 ；和對(duì)圖形影像的深度(cbpth)進(jìn)行調(diào)整的深度賦予部702。同步部 701 一邊取得兩影像的同步一邊按照趕得上在圖形合成部703中進(jìn)行的合成處理的定時(shí)的方式來(lái)在規(guī)定的輸出定時(shí)輸出圖形影像，深度賦予部702針對(duì)輸入的圖形影像，基于上述的深度決定部502所輸出的深度數(shù)據(jù)來(lái)適當(dāng)調(diào)整圖形影像的深度(cbpth)，并將深度校正完畢的圖形影像輸出到圖形合成部703。由圖形解碼器504進(jìn)行了解碼的圖形影像被暫時(shí)寫(xiě)入(描繪)到存儲(chǔ)器207中， 同步部701在確認(rèn)了圖形影像的左眼影像以及右眼影像已被寫(xiě)入到存儲(chǔ)器207中之后，按照趕得上合成定時(shí)(按照在合成影像從圖形合成部703被輸出的定時(shí)之前來(lái)得及生成合成影像方式而設(shè)定的進(jìn)行合成處理的定時(shí))的方式，讀出被寫(xiě)入到存儲(chǔ)器207中的該圖形影像，并將該圖形影像輸出到深度賦予部702。2. 2. 4. 1.通常時(shí)的圖形影像深度調(diào)整處理以及輸出處理圖形影像取得部700的同步部701按照能夠趕得上圖形合成部703中的正編影像與圖形影像的合成的定時(shí)的方式來(lái)輸出圖形影像。例如，通常，在60HzNTSC下，圖形影像的左眼影像以及右眼影像每隔1/120秒、即約每隔Smkc，被輸出到深度賦予部702。深度賦予部702基于從深度決定部502輸出的深度數(shù)據(jù)，對(duì)圖形影像進(jìn)行偏移處理，對(duì)圖形影像的深度進(jìn)行調(diào)整，并將深度校正完畢的圖形影像輸出到圖形合成部703。圖形合成部703對(duì)正編影像、和與正編影像同步地經(jīng)由深度賦予部702而被輸入的圖形影像進(jìn)行合成來(lái)生成 (立體)合成影像，并將(立體)合成影像信號(hào)輸出到第2輸入輸出部203。不過(guò)，在圖形解碼器504所輸出的圖形影像已經(jīng)被賦予了偏移的情況下，S卩、在圖形影像基于以2平面方式等被記錄在盤(pán)200中的圖形數(shù)據(jù)而生成的情況下，通常，深度賦予部702不需要對(duì)該圖形影像進(jìn)一步賦予偏移。在沒(méi)有預(yù)先對(duì)圖形影像賦予偏移的情況下， 艮口、在圖形影像基于以2平面加1偏移方式或者1平面加1偏移方式等被記錄在盤(pán)200中的圖形數(shù)據(jù)，由圖形解碼器504生成并輸出的情況下，深度賦予部702始終基于深度數(shù)據(jù)來(lái)對(duì)該圖形影像進(jìn)行偏移處理。從深度賦予部702按照趕得上圖形合成部703中的合成處理的定時(shí)(合成定時(shí)) 的方式而輸出的深度校正完畢的圖形影像，在圖形合成部703中，與正編影像進(jìn)行合成，在該合成影像的再現(xiàn)定時(shí)作為合成影像信號(hào)而被輸出。2.2.4.2.圖形影像缺失時(shí)的圖形影像深度調(diào)整處理以及輸出處理在將圖形影像生成為立體影像的情況下，圖形解碼器504需要在有限的時(shí)間內(nèi)， 對(duì)圖形數(shù)據(jù)進(jìn)行解碼來(lái)輸出左眼用的圖形影像，并且對(duì)圖形數(shù)據(jù)進(jìn)行解碼來(lái)輸出右眼用的圖形影像。此外，還需要用于對(duì)正編影像和圖形影像的同步進(jìn)行確認(rèn)的時(shí)間。因此，起因于圖形解碼器504的解碼性能、描繪性能，有可能發(fā)生如下情況應(yīng)與正編影像同步地合成的圖形影像的左眼影像以及右眼影像，沒(méi)有在規(guī)定的定時(shí)(例如，來(lái)自同步部701的圖形影像輸出定時(shí))之前被輸入到同步部701或存儲(chǔ)器207。此外，還有可能發(fā)生如下情況只有圖形影像的左眼影像以及右眼影像的一方，沒(méi)有在規(guī)定的定時(shí)之前被輸入到同步部701或存儲(chǔ)器207。即使在后者的情況下，也無(wú)法使用該輸入了的單眼的圖形影像。原因在于，例如，在以2平面方式被記錄在內(nèi)容內(nèi)并由圖形解碼器504生成的圖形影像中，使左眼影像和右眼影像具有視差，實(shí)現(xiàn)了立體觀看。因此，若左眼用的圖形影像、和右眼用的圖形影像這兩者沒(méi)有齊備，則對(duì)于圖形影像，視差以外的信息差將被提供給用戶(hù)，用戶(hù)不僅無(wú)法將圖形識(shí)別為充分的立體像，而且突然產(chǎn)生深度方向的位置的誤識(shí)別，識(shí)別為異常的影像。若產(chǎn)生了以上這種情況，則同步部701在正編影像的再現(xiàn)定時(shí)，無(wú)法輸出應(yīng)合成于正編影像的圖形影像。為了解決此問(wèn)題，本實(shí)施方式的影像再現(xiàn)裝置12，在圖形影像的左眼影像以及右眼影像的至少任意一方在該圖形影像應(yīng)從同步部701被輸出的輸出定時(shí)無(wú)法使用的情況下，作為在該輸出定時(shí)輸出的圖形影像，輸出用于另一個(gè)輸出定時(shí)的圖形影像(例如，以前輸出過(guò)的圖形影像)的左眼影像以及右眼影像。這樣一來(lái)，影像再現(xiàn)裝置12即使在原本的圖形影像缺失的情況下也能夠避免使用戶(hù)感到不協(xié)調(diào)感的影像的輸出。2. 2. 4. 2a.針對(duì)根據(jù)以2平面加1偏移方式被記錄的圖形數(shù)據(jù)而生成的圖形影像的深度調(diào)整處理以下，對(duì)圖形數(shù)據(jù)以2平面加1偏移方式被記錄在內(nèi)容數(shù)據(jù)內(nèi)的情況的處理進(jìn)行說(shuō)明。在圖形影像的數(shù)據(jù)以2平面加1偏移方式被記錄在影像源中的情況下，圖形解碼器504所輸出的圖形影像，是具有視差且不具有偏移的左眼圖形影像以及右眼圖形影像。 因此，即使在通常時(shí)(在正常地從圖形解碼器504發(fā)送了圖形影像的情況下)，深度賦予部 702也基于各幀的圖形影像的深度數(shù)據(jù)，對(duì)圖形影像進(jìn)行偏移處理(進(jìn)行深度校正)，并將深度校正完畢的圖形影像輸出到圖形合成部703。此外，在非通常時(shí)(在某輸出定時(shí)，原本的圖形影像無(wú)法使用，而使用另一輸出定時(shí)的(用于另一幀的)圖形影像的情況下)，深度賦予部702按照以下方式，使用在當(dāng)前的輸出定時(shí)應(yīng)被輸出的原本的圖形影像的深度數(shù)據(jù)來(lái)對(duì)該另一輸出定時(shí)的圖形影像(另一幀的圖形影像)進(jìn)行偏移處理(進(jìn)行深度校正)并輸出。圖10是在時(shí)間區(qū)域t (時(shí)間區(qū)域分別對(duì)應(yīng)于合成影像信號(hào)的1幀。)的輸出定時(shí)附近，圖形影像取得部700所進(jìn)行的圖形影像輸出處理的流程圖。同步部701判斷在時(shí)間區(qū)域t的圖形影像輸出定時(shí)應(yīng)輸出的圖形影像的左眼影像 (Lt)以及右眼影像(Rt)這兩個(gè)影像是否已經(jīng)被輸入(是否能夠使用)(SlOl)。在左眼影像Lt以及右眼影像Rt都已被輸入的情況下(S101中的“是”)，同步部 701在適當(dāng)?shù)亩〞r(shí)將左眼影像Lt以及右眼影像Rt輸出到深度賦予部702 (S102)。深度賦予部702使用時(shí)間區(qū)域t的圖形影像用的深度數(shù)據(jù)Dt來(lái)對(duì)左眼影像Lt以及右眼影像Rt 的深度進(jìn)行校正(進(jìn)行偏移處理)，并將深度校正完畢的左眼影像Lt’、以及深度校正完畢的右眼影像Rt’輸出到圖形合成部703(S10;3)。圖形合成部703對(duì)圖形影像和正編影像進(jìn)行合成并作為合成影像信號(hào)而輸出。與此相對(duì)，在左眼影像Lt以及右眼影像Rt的至少任意一方?jīng)]有被輸入到同步部 701的情況下(S101中的“否”)，同步部701對(duì)是否輸入了前一個(gè)時(shí)間區(qū)域t-Ι的圖形影像的左眼影像Lt-I以及右眼影像Rt-I這兩個(gè)影像(是否能夠使用)進(jìn)行判斷(S104)。在左眼影像Lt-I以及右眼影像Rt-I這兩個(gè)影像已經(jīng)被輸入到同步部701的情況下(能夠使用的情況下)(S104中的“是”)，同步部701在適當(dāng)?shù)亩〞r(shí)將左眼影像Lt-I以
11及右眼影像Rt-I輸出到深度賦予部702(S105)。深度賦予部702針對(duì)輸入的左眼影像Lt-I以及右眼影像Rt-I，利用時(shí)間區(qū)域t上的原本的圖形影像的深度數(shù)據(jù)Dt來(lái)對(duì)左眼影像Lt-I以及右眼影像Rt-I的深度進(jìn)行校正 (進(jìn)行偏移處理)，將深度賦予完畢的左眼影像Lt-I ”、以及深度賦予完畢的右眼影像Rt-I，， 輸出到圖形合成部703(S106)。圖形合成部703對(duì)圖形影像和正編影像進(jìn)行合成并作為合成影像信號(hào)而輸出。在左眼影像Lt-I以及右眼影像Rt-I的至少任意一方?jīng)]有被輸入到同步部701的情況下(無(wú)法使用的情況下)(S104中的“否”)，進(jìn)行錯(cuò)誤處理(S107)。另外，作為錯(cuò)誤處理，也可以不停止顯示，而是再次顯示在更前面被顯示的圖形影像。像這樣，本實(shí)施方式的影像再現(xiàn)裝置12，在各時(shí)間區(qū)域中該時(shí)間區(qū)域的圖形影像的左眼影像以及右眼影像的至少任意一方無(wú)法使用于與正編影像的合成處理的情況下，對(duì)另一時(shí)間區(qū)域(另一幀)的圖形影像，按照賦予原本在該時(shí)間區(qū)域上應(yīng)合成于正編影像的圖形影像的深度的方式來(lái)進(jìn)行深度校正，從而生成深度校正完畢的圖形影像，對(duì)該深度校正完畢的圖形影像和正編影像進(jìn)行合成來(lái)輸出合成影像。這樣一來(lái)，防止了圖形影像的缺失，因而，提供使用戶(hù)感覺(jué)不到不協(xié)調(diào)感，并且深度流暢地變化的立體影像。圖IlA是總結(jié)了在影像源(盤(pán)200的內(nèi)容數(shù)據(jù))中以2平面加1偏移方式記錄了圖形數(shù)據(jù)的情況下的、各時(shí)間區(qū)域(幀)上的來(lái)自圖形解碼器504、同步部701、深度賦予部 702的輸出、以及深度數(shù)據(jù)D (來(lái)自深度決定部502的輸出)的圖。在此，深度數(shù)據(jù)按照每1 幀(1個(gè)時(shí)間區(qū)域)圖形影像(或者正編影像)被記錄在盤(pán)200中。此外，在該圖中，作為來(lái)自圖形解碼器的輸出，實(shí)線(xiàn)矩形所示的圖形影像表示在各時(shí)間區(qū)域上的同步部701的圖形影像輸出定時(shí)，同步部701能夠使用的圖形影像，虛線(xiàn)矩形所示的圖形影像表示在各時(shí)間區(qū)域上的該輸出定時(shí)，同步部701不能使用的圖形影像。圖形解碼器504在各時(shí)間區(qū)域(TDl TD5)上按照趕得上同步部701輸出圖形影像的定時(shí)的方式，輸出圖形影像的左眼影像(L1、L2、...)以及右眼影像(R1、R2、...)。在圖IlA的例子中，假設(shè)圖形解碼器504對(duì)于時(shí)間區(qū)域TD4無(wú)法在規(guī)定的定時(shí)之前輸出圖形影像的右眼影像R4 (701)。在此情況下，同步部701判斷不存在右眼影像R4(701)的輸入，在時(shí)間區(qū)域TD4 中，輸出前面的時(shí)間區(qū)域TD3的(前一個(gè)幀的)圖形影像的左眼影像L3 (703)以及右眼影像 R3 (705)。若用Dl D5來(lái)表示從深度決定部502輸出的各時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)，則深度賦予部702在時(shí)間區(qū)域TDl TD3中，對(duì)各時(shí)間區(qū)域的圖形影像的左眼影像Ll L3以及右眼影像Rl R3，利用相對(duì)應(yīng)的深度數(shù)據(jù)Dl D3來(lái)校正深度(進(jìn)行偏移處理)， 并輸出深度賦予完畢的圖形影像的左眼以及右眼影像(Li’ L3，以及R1’ R3’)。然后，在時(shí)間區(qū)域TD4中，對(duì)圖形影像L3以及R3，利用時(shí)間區(qū)域TD4的深度數(shù)據(jù)D4來(lái)校正深度(進(jìn)行偏移處理)，并輸出深度賦予后的圖形影像的左眼以及右眼影像L3”以及R3”。如上所述，本實(shí)施方式的影像再現(xiàn)裝置12，在某時(shí)間區(qū)域(幀)上圖形影像缺失的情況下(無(wú)法使用的情況下)，用在當(dāng)前的時(shí)間區(qū)域中原本被輸出的圖形影像的深度數(shù)據(jù)來(lái)對(duì)另一時(shí)間區(qū)域(幀)的圖形影像的左眼影像以及右眼影像進(jìn)行深度校正，并輸出深度校正完畢的圖形影像，由此來(lái)防止在影像顯示裝置11中顯示異常的圖形影像。這樣一來(lái)，在本影像再現(xiàn)裝置12中，即使在產(chǎn)生了應(yīng)與和正編影像進(jìn)行的合成的定時(shí)同步地從同步部701輸出的原本的圖形影像無(wú)法使用的情況時(shí)，也能夠防止輸出使用戶(hù)感到不協(xié)調(diào)感的異常的圖形影像。并且，由于圖形影像的深度隨著時(shí)間經(jīng)過(guò)而流暢地推移，因此能夠輸出流暢地變化的立體影像。另外，由于深度數(shù)據(jù)與圖形數(shù)據(jù)和視頻數(shù)據(jù)不同，不需要解碼等，因此在各時(shí)間區(qū)域的規(guī)定的定時(shí)，深度數(shù)據(jù)缺失的可能性非常低。假設(shè)在深度數(shù)據(jù)無(wú)法利用的情況下，也可以利用以前的時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)來(lái)推定當(dāng)前的時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)。此外，在圖形影像的深度信息沒(méi)有作為每幀(每個(gè)時(shí)間區(qū)域)的數(shù)據(jù)而被記錄在盤(pán)200中的情況下，也可以使用其他信息(例如，正編影像的深度數(shù)據(jù))。此外，也可以基于來(lái)自用戶(hù)的輸入來(lái)決定深度數(shù)據(jù)。例如，在用戶(hù)想要對(duì)圖像影像添加展現(xiàn)出將顯示中的影像推向遠(yuǎn)處從而消失的淡出效果等的情況下，也可以從用戶(hù)接受該指示，根據(jù)記錄在閃存206等中的淡出序列來(lái)得到深度數(shù)據(jù)并進(jìn)行利用。此外，深度信息也可以不按照每幀(每個(gè)時(shí)間區(qū)域)來(lái)記錄，而是作為序列來(lái)記錄。例如，深度信息也可以是每秒遠(yuǎn)離1米這樣的序列信息。即使在這種情況下，由于各時(shí)間區(qū)域(幀)的圖形影像的深度數(shù)據(jù)能夠通過(guò)簡(jiǎn)單的運(yùn)算來(lái)求出，因此只要通過(guò)運(yùn)算來(lái)計(jì)算出各幀的圖形影像的深度數(shù)據(jù)即可。另外，在本例中，在某時(shí)間區(qū)域中檢測(cè)出了圖形影像的缺失的情況下，將前一個(gè)時(shí)間區(qū)域的(前一個(gè)幀的)圖形影像再次輸出，但被再次輸出的圖形影像也可以不是前一個(gè)時(shí)間區(qū)域的圖形影像。也可以將前2個(gè)以上的時(shí)間區(qū)域的圖形影像再次輸出。此外，若能夠利用，則也可以利用后面的時(shí)間區(qū)域的圖形影像。2. 2. 4. 2b.針對(duì)根據(jù)以1平面加1偏移方式被記錄的圖形數(shù)據(jù)而生成的圖形影像的深度調(diào)整處理接下來(lái)，對(duì)圖形數(shù)據(jù)在內(nèi)容數(shù)據(jù)內(nèi)以1平面加1偏移方式被記錄的情況下的處理進(jìn)行說(shuō)明。在圖形影像的數(shù)據(jù)以1平面1偏移方式被記錄的情況下，圖形解碼器504所輸出的圖形影像是不具有視差且不具有偏移的左眼圖形影像以及右眼圖形影像(即、是一個(gè)圖形影像。)。即、在圖IlA中，相當(dāng)于Lt = Rt(t :1 5)的情況。即使在這種情況下，也能夠與圖形數(shù)據(jù)以2平面加1偏移方式被記錄在影像源中的情況同樣地，防止異常的圖形影像的輸出。同步部701，在規(guī)定的輸出定時(shí)之前圖形影像沒(méi)有從圖形解碼器504被輸入的情況下(無(wú)法使用的情況下)，利用前面的時(shí)間區(qū)域的圖形影像，并對(duì)該圖形影像利用當(dāng)前的時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)來(lái)進(jìn)行深度校正(進(jìn)行偏移處理)，輸出深度校正后的左眼影像以及右眼影像。這樣一來(lái)，防止了異常的圖形影像的輸出，并且，由于圖形影像的深度隨著時(shí)間經(jīng)過(guò)而流暢地推移，因此能夠輸出流暢地變化的立體影像。2. 2. 4. 2c.針對(duì)根據(jù)以2平面方式被記錄的圖形數(shù)據(jù)而生成的圖形影像的深度調(diào)整處理最后，對(duì)圖形數(shù)據(jù)在內(nèi)容數(shù)據(jù)內(nèi)以2平面方式被記錄的情況的處理進(jìn)行說(shuō)明。在圖形影像的數(shù)據(jù)以2平面方式被記錄的情況下，圖形解碼器504所輸出的圖形影像是具有視差且具有偏移的左眼圖形影像以及右眼圖形影像。因此，在通常時(shí)(正常地
13從圖形解碼器504發(fā)送了圖形影像的情況下)，深度賦予部702 —般不對(duì)圖形影像進(jìn)行偏移處理而將輸入的圖形影像直接輸出。并且，在非通常時(shí)(在同步部701的圖形影像輸出定時(shí)，該輸出定時(shí)的圖形影像無(wú)法使用，另一時(shí)間區(qū)域的圖形影像從同步部701被輸出的情況下)，深度賦予部702按照以下方式，利用在當(dāng)前的時(shí)間區(qū)域應(yīng)被合成于正編影像的原本的圖形影像的深度數(shù)據(jù)以及另一時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)來(lái)對(duì)該另一時(shí)間區(qū)域的圖形影像進(jìn)行偏移處理(進(jìn)行深度校正)，并作為深度校正完畢的圖形影像而輸出。圖IlB是總結(jié)了圖形數(shù)據(jù)在影像源(盤(pán)200的內(nèi)容的數(shù)據(jù))中以2平面方式被記錄的情況下的、各時(shí)間區(qū)域(幀)上的來(lái)自圖形解碼器504、同步部701、深度賦予部702的輸出、以及深度數(shù)據(jù)D(來(lái)自深度決定部502的輸出)的圖。在該圖中，作為來(lái)自圖形解碼器的輸出，實(shí)線(xiàn)矩形所示的圖形影像表示在各時(shí)間區(qū)域中的同步部701的圖形影像輸出定時(shí)，同步部701能夠使用的圖形影像，虛線(xiàn)矩形所示的圖形影像表示在各時(shí)間區(qū)域中的該輸出定時(shí)，同步部701不能使用的圖形影像。在此情況下，在從圖形解碼器504輸出的圖形影像的左眼影像以及右眼影像中， 已經(jīng)被賦予了偏移。因此，深度賦予部702，只要在各時(shí)間區(qū)域中從同步部701輸入該時(shí)間區(qū)域的原本的圖形影像，則也可以不進(jìn)行進(jìn)一步的深度校正。在圖IlB的例子中，假設(shè)圖形解碼器504在時(shí)間區(qū)域TD4中沒(méi)能在規(guī)定的定時(shí)之前輸出圖形影像的右眼影像R4(701)。在此情況下，同步部701判斷不存在右眼影像R4(701)的輸入，在時(shí)間區(qū)域TD4 中，在規(guī)定的輸出定時(shí)輸出前面的時(shí)間區(qū)域TD3的圖形影像的左眼影像L3 (703)以及右眼影像 R3 (705)。深度賦予部702，在時(shí)間區(qū)域TD4中，針對(duì)圖形影像L3以及R3，利用時(shí)間區(qū)域TD3 的圖形影像的深度數(shù)據(jù)D3以及時(shí)間區(qū)域TD4的原本的圖形影像的深度數(shù)據(jù)D4來(lái)對(duì)深度進(jìn)行(D4-D!3)的量的校正(進(jìn)行偏移處理)，并輸出深度賦予后的圖形影像的左眼影像L3’以及右眼影像R3’。在此，只進(jìn)行深度的差(D4-D3)的量的深度校正是由于以下的理由。在時(shí)間區(qū)域TD3的圖形影像L3以及R3中，已經(jīng)被進(jìn)行了深度D3的量的深度校正(偏移的賦予)。因此，深度賦予部702為了將圖形影像L3以及R3的深度校正為時(shí)間區(qū)域TD4的原本的圖形影像的深度D4，而對(duì)圖形影像L3以及R3的深度進(jìn)一步校正深度(D4-D!3)的量并輸出ο2. 2. 5a.存儲(chǔ)器以及同步部中的處理例1圖12是沿著時(shí)間軸來(lái)表示存儲(chǔ)器207針對(duì)圖形影像的左眼影像以及右眼影像分別具備3張影像的存儲(chǔ)器區(qū)域的情況下的圖形影像的寫(xiě)入以及讀出處理的例子的圖。存儲(chǔ)器207的圖形L存儲(chǔ)器(R存儲(chǔ)器)的區(qū)域1 3(區(qū)域4 6)分別是用于暫時(shí)存儲(chǔ)圖形影像的左眼影像(右眼影像)的存儲(chǔ)區(qū)域。例如，在時(shí)間區(qū)域TDl中，在圖形區(qū)域1和圖形區(qū)域3中描繪(寫(xiě)入)圖形影像的左眼以及右眼影像L2以及R2，在此期間，圖形影像Ll以及Rl從圖形區(qū)域2和圖形區(qū)域4 中被讀出后輸入到同步部701，并從同步部701被輸出。在時(shí)間區(qū)域TD2中，與合成影像的再現(xiàn)定時(shí)同步，每當(dāng)時(shí)間區(qū)域前進(jìn)時(shí)，通過(guò)切換圖形區(qū)域，來(lái)在圖形區(qū)域2和圖形區(qū)域4中描繪(寫(xiě)入)圖形影像的左眼以及右眼影像L3 以及R3，在此期間，圖形影像的左眼以及右眼影像L2以及R2從圖形區(qū)域1和圖形區(qū)域3中。通過(guò)像這樣交替地切換描繪(寫(xiě)入) 和輸出的存儲(chǔ)器區(qū)域，將不會(huì)在描繪中的狀態(tài)下輸出圖形影像，能夠與正編影像的定時(shí)一致地對(duì)圖形影像進(jìn)行合成，并輸出合成影像。在此，若關(guān)注時(shí)間區(qū)域TD3上的圖形影像向存儲(chǔ)器207的寫(xiě)入，則雖然左眼影像L4 向存儲(chǔ)器207的寫(xiě)入(來(lái)自圖形解碼器504的輸入)在時(shí)間區(qū)域TD3內(nèi)完成，但右眼影像 R4向存儲(chǔ)器207的寫(xiě)入在時(shí)間區(qū)域TD4的開(kāi)始點(diǎn)沒(méi)有完成。在這種情況下，同步部701判斷不存在圖形影像的左眼以及右眼這兩個(gè)影像的輸入(圖10的步驟SlOl的“否”)，將前面的時(shí)間區(qū)域TD3的圖形影像L3以及R3再次輸出 (圖10的步驟S105)。然后，在時(shí)間區(qū)域TD4中，分別對(duì)圖形區(qū)域3以及6，進(jìn)行時(shí)間區(qū)域TD5的圖形影像的左眼以及右眼影像L5以及R5的寫(xiě)入。2.2.5b.存儲(chǔ)器以及同步部中的處理例2圖13是沿著時(shí)間軸來(lái)表示存儲(chǔ)器207針對(duì)圖形影像的左眼影像以及右眼影像分別具備2張影像的存儲(chǔ)器區(qū)域的情況下的圖形影像的寫(xiě)入以及讀出處理的例子的圖。在此，也與前例同樣地，假設(shè)時(shí)間區(qū)域TD3上的圖形影像的右眼影像R4向存儲(chǔ)器 207的寫(xiě)入在時(shí)間區(qū)域TD4的開(kāi)始點(diǎn)沒(méi)有完成。在這種情況下，與前例同樣地，同步部701判斷不存在圖形影像的左眼以及右眼這兩個(gè)影像的輸入(圖10的步驟SlOl的“否”)，將前面的時(shí)間區(qū)域TD3的圖形影像L3以及R3再次輸出(圖10的步驟S105)。然后，在時(shí)間區(qū)域TD4中，分別對(duì)圖形區(qū)域1以及3，進(jìn)行時(shí)間區(qū)域TD5的圖形影像的左眼以及右眼影像L5以及R5的寫(xiě)入。2.2.5c.存儲(chǔ)器以及同步部中的處理例3圖14是沿著時(shí)間軸來(lái)表示存儲(chǔ)器207針對(duì)圖形影像的左眼影像以及右眼影像分別具備2張影像的存儲(chǔ)器區(qū)域的情況下的圖形影像的寫(xiě)入以及讀出處理的另一例的圖。在此，也與前例同樣地，假設(shè)時(shí)間區(qū)域TD3中的圖形影像的右眼影像R4向存儲(chǔ)器 207的寫(xiě)入在時(shí)間區(qū)域TD4的開(kāi)始點(diǎn)沒(méi)有完成。在這種情況下，與前例同樣地，同步部701判斷不存在圖形影像的左眼以及右眼這兩個(gè)影像的輸入(圖10的步驟SlOl的“否”)，將前面的時(shí)間區(qū)域TD3的圖形影像L3以及R3再次輸出(圖10的步驟S105)。不過(guò)，在本例中，在時(shí)間區(qū)域TD4中，不像前一個(gè)例子那樣分別對(duì)圖形區(qū)域1以及 3進(jìn)行時(shí)間區(qū)域TD5的圖形影像的左眼以及右眼影像L5以及R5的寫(xiě)入。在時(shí)間區(qū)域TD4 中，只進(jìn)行時(shí)間區(qū)域TD3的圖形影像的左眼以及右眼影像L3以及R3的再輸出。然后，在時(shí)間區(qū)域TD5中，輸出時(shí)間區(qū)域TD4的圖形影像的左眼以及右眼影像L4 以及R4，并且進(jìn)行用于時(shí)間區(qū)域TD6的圖形影像的左眼以及右眼影像L6以及R6的寫(xiě)入，在時(shí)間區(qū)域TD6中，進(jìn)行該影像L6以及R6的輸出。像這樣，也可以按照如下方式來(lái)構(gòu)成同步部701 在某時(shí)間區(qū)域TDx中產(chǎn)生了圖形影像的缺失的情況下，在時(shí)間區(qū)域TDx中，進(jìn)行前面的時(shí)間區(qū)域TDx-I的圖形影像的再輸出，在時(shí)間區(qū)域TDx+Ι中，進(jìn)行TDx的圖形影像的輸出。顯然，在本例這種情況下，深度賦予部702也利用當(dāng)前的時(shí)間區(qū)域用的深度數(shù)據(jù)來(lái)進(jìn)行同步部701所輸出的圖形影像的深度校
15正即可。實(shí)施方式1的影像再現(xiàn)裝置12，是對(duì)作為立體影像的第1影像(正編影像)和第 2影像(圖形影像)進(jìn)行合成并輸出的影像再現(xiàn)裝置，具備取得應(yīng)合成于一幀的第1影像 (正編影像)和第2影像(圖形影像)的視頻以及圖形解碼器503以及504 ；和通過(guò)將視頻以及圖形解碼器503以及504所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出合成影像的合成部505。合成部505，在合成影像生成時(shí)視頻以及圖形解碼器503 以及504沒(méi)能取得應(yīng)合成于一幀的第2影像時(shí)，將在與一幀不同的另一幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于一幀的第1影像進(jìn)行合成。本實(shí)施方式的影像再現(xiàn)裝置能夠根據(jù)收錄在BD-ROM等光盤(pán)(影像源)中的內(nèi)容數(shù)據(jù)，來(lái)生成正編影像(第1影像)、和合成于正編影像的圖形影像(第2影像(立體影像))，對(duì)兩影像進(jìn)行合成，并將合成影像作為立體影像而輸出。本影像再現(xiàn)裝置，在正編影像和圖形影像的合成定時(shí)，使用于該合成的圖形影像的左眼影像以及右眼影像的至少任意一方無(wú)法使用的情況下，將在另一時(shí)間區(qū)域(另一合成影像幀)中使用于合成的圖形影像的左眼影像以及右眼影像使用于合成。在此情況下，影像再現(xiàn)裝置按照使圖形影像的深度與在該合成中原本應(yīng)被使用的圖形影像的深度一致的方式來(lái)對(duì)圖形影像的深度進(jìn)行校正后，與正編影像進(jìn)行合成并輸出合成影像。這樣一來(lái)，本影像再現(xiàn)裝置防止了圖形影像的缺失，并且使得在圖形影像的深度中不產(chǎn)生不自然的變動(dòng)。像這樣，在本實(shí)施方式的影像再現(xiàn)裝置12中，即使在應(yīng)同步的正編影像的再現(xiàn)定時(shí)沒(méi)能準(zhǔn)備好圖形影像的情況下，通過(guò)使用以前輸出過(guò)的圖形影像，也能防止異常的圖形影像的輸出。此外，在左眼用的圖形影像和右眼用的圖形影像的任意一方缺失(無(wú)法使用)的情況下，在以前的時(shí)間區(qū)域(合成影像幀)的圖形影像中，使用具備左眼用的圖形影像和右眼用的圖形影像這兩者(能夠使用)的圖形影像。由此，通過(guò)在左眼用的圖形影像和右眼用的圖形影像之間產(chǎn)生視差以及偏移以外的差異，從而防止用戶(hù)對(duì)影像感覺(jué)到不協(xié)調(diào)感。并且，通過(guò)第2AV處理部202，利用基于記錄在盤(pán)200中的深度信息、或記錄在閃存 206中的深度信息的深度數(shù)據(jù)來(lái)對(duì)圖形影像的深度進(jìn)行適當(dāng)校正并輸出。由此，即使在利用以前的再現(xiàn)定時(shí)的左眼用的圖形影像和右眼用的圖形影像來(lái)對(duì)缺失的(無(wú)法使用的)圖形影像進(jìn)行了插補(bǔ)的情況下，例如，即使在對(duì)深度連續(xù)地變化的圖形影像進(jìn)行再現(xiàn)的情況下， 也能夠作為立體影像不顯示感到不協(xié)調(diào)感的影像，來(lái)進(jìn)行深度流暢地變化的立體影像的輸出ο(實(shí)施方式2)對(duì)影像再現(xiàn)裝置的另一實(shí)施方式進(jìn)行說(shuō)明。在本實(shí)施方式中，在字幕數(shù)據(jù)的解碼在與應(yīng)同步的正編影像進(jìn)行合成處理的定時(shí)之前沒(méi)有準(zhǔn)備好的情況下，進(jìn)行與實(shí)施方式1 中的對(duì)圖形影像的處理同樣的處理，將以前顯示過(guò)的字幕影像再次顯示。對(duì)字幕影像的深度校正，是按照記錄在盤(pán)200中的深度信息、或用戶(hù)所輸入的指示來(lái)進(jìn)行的。另外，在實(shí)施方式2的說(shuō)明中，對(duì)于與實(shí)施方式1同樣的構(gòu)成賦予相同的符號(hào)并適當(dāng)省略說(shuō)明。圖15是實(shí)施方式2的影像再現(xiàn)裝置12的第2AV處理部202的框圖。在圖15中， 字幕解碼器506是對(duì)從盤(pán)200輸入的字幕數(shù)據(jù)進(jìn)行解碼，并生成重疊于正編影像(視頻影像)的字幕影像的解碼器。由字幕解碼器506進(jìn)行解碼而得到的字幕影像，通過(guò)由CPU205 基于接受到的用戶(hù)操作而向合成部505發(fā)送指示，能夠切換對(duì)正編影像的重疊的開(kāi)/關(guān)。
像這樣，在實(shí)施方式2的影像再現(xiàn)裝置12中，對(duì)于字幕，也在作為立體影像的字幕影像的左眼以及右眼影像這兩個(gè)影像的生成趕不上與正編影像的合成定時(shí)時(shí)，使用以前輸出過(guò)的字幕影像。并且，通過(guò)第2AV處理部202，利用基于記錄在盤(pán)200中的深度信息、或記錄在閃存206中的深度信息的深度數(shù)據(jù)來(lái)對(duì)字幕影像的深度進(jìn)行適當(dāng)校正并輸出。這樣一來(lái)，能夠使字幕影像的深度隨著時(shí)間而適當(dāng)?shù)刈兓＠?，即使在字幕影像的深度隨著時(shí)間而變化的情況下，也能夠不使用戶(hù)看到感覺(jué)到不協(xié)調(diào)感的立體影像，來(lái)進(jìn)行流暢的影像再現(xiàn)。此外，例如，即使在字幕展現(xiàn)出一邊旋轉(zhuǎn)一邊遠(yuǎn)離的效果的情況下，也能夠?qū)崿F(xiàn)流暢的深度變化。(關(guān)于實(shí)施方式1以及2的第2AV處理部)圖16是表示實(shí)施方式1以及2的影像再現(xiàn)裝置12的第2AV處理部202的詳細(xì)構(gòu)成的圖。第2AV處理部202，例如，也可以構(gòu)成為1個(gè)或2個(gè)以上的半導(dǎo)體裝置。第2AV處理部202具備從盤(pán)200等影像源輸入包含3D內(nèi)容的流數(shù)據(jù)，并將第1影像的影像流輸出到第1解碼器553，將第2影像的影像流輸出到第2解碼器554，將流數(shù)據(jù)所包含的深度信息輸出到深度決定部502的流控制部501 ；基于深度信息來(lái)決定3D內(nèi)容的影像的深度并作為深度數(shù)據(jù)而輸出的深度決定部502 ；對(duì)第1影像的影像流進(jìn)行解碼來(lái)輸出第1影像(正編影像)的第1解碼器陽(yáng)3 ；對(duì)第2影像的影像流進(jìn)行解碼來(lái)輸出第2影像(圖形影像或字幕影像)的第2解碼器554 ；使第2影像與第1影像同步地合成并輸出合成影像信號(hào)的合成部505 ；和輸出合成影像信號(hào)的信號(hào)輸出部555。在此，合成部505具有與實(shí)施方式1 3的合成部505同等的功能。另外，信號(hào)輸出部555也可以為輸出端子。像這樣，實(shí)施方式1以及2的第2AV處理部202能夠構(gòu)成為半導(dǎo)體裝置。(實(shí)施方式3)對(duì)影像再現(xiàn)裝置的又一實(shí)施方式進(jìn)行說(shuō)明。在本實(shí)施方式中，對(duì)即使在盤(pán)200等影像源中，深度信息沒(méi)有作為與影像不同的數(shù)據(jù)而被記錄，也能夠取得圖形影像的深度數(shù)據(jù)的影像再現(xiàn)裝置的構(gòu)成進(jìn)行說(shuō)明。另外，在實(shí)施方式3的說(shuō)明中，對(duì)于與實(shí)施方式1以及 2同樣的構(gòu)成賦予相同的符號(hào)并適當(dāng)省略說(shuō)明。圖17是實(shí)施方式3的影像再現(xiàn)裝置12的第2AV處理部202的框圖。在圖17中， 深度決定用解碼器507是用于決定由圖形解碼器504進(jìn)行解碼后的影像的深度的解碼器。 深度決定用解碼器507根據(jù)從圖形解碼器504輸出的圖形影像的內(nèi)容，來(lái)求出其平均深度， 并作為深度數(shù)據(jù)而輸出。在此，圖形解碼器504所輸出的圖形影像是立體影像，該立體影像的進(jìn)深方向的距離(cbpth)與圖形影像的左眼以及右眼影像的左右方向的偏離量(偏移量)成比例。因此，深度決定用解碼器507通過(guò)對(duì)這種圖形影像的左眼以及右眼影像進(jìn)行比較，來(lái)檢測(cè)兩影像彼此之間的偏離量，并取得平均偏離量作為深度數(shù)據(jù)。此外，深度決定用解碼器507也可以對(duì)深度數(shù)據(jù)進(jìn)行推定(外推)來(lái)求出。例如， 如圖18所示，在對(duì)于時(shí)間區(qū)域TDl 時(shí)間區(qū)域TD3計(jì)算出了深度數(shù)據(jù)Dl D3的情況下， 深度決定用解碼器507根據(jù)時(shí)間區(qū)域TDl 時(shí)間區(qū)域TD3的深度數(shù)據(jù)Dl d3遞歸地算出時(shí)間區(qū)域TD4的深度值，由此能夠取得外推深度數(shù)據(jù)ExD4。實(shí)施方式3的影像再現(xiàn)裝置12是對(duì)作為立體影像的第1影像(正編影像)和第 2影像(圖形影像)進(jìn)行合成并輸出的影像再現(xiàn)裝置，具備取得應(yīng)合成于一幀的第1影像(正編影像)和第2影像(圖形影像)的視頻以及圖形解碼器503以及504 ；和通過(guò)將視頻以及圖形解碼器503以及504所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出合成影像的合成部505。合成部505，在合成影像生成時(shí)，在視頻以及圖形解碼器 503以及504沒(méi)能取得應(yīng)合成于一幀的第2影像時(shí)，將在與一幀不同的另一幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于一幀的第1影像進(jìn)行合成。此外，立體影像顯示第2影像時(shí)的進(jìn)深由深度信息來(lái)決定，合成部505在應(yīng)合成于一幀的第1影像和第2影像的合成時(shí)，在視頻以及圖形解碼器503以及504沒(méi)能取得應(yīng)合成于一幀的第2影像時(shí)，基于在另一幀應(yīng)與第1影像進(jìn)行合成的第2影像的內(nèi)容來(lái)求取針對(duì)應(yīng)合成于一幀的第2影像的深度信息，并利用該求出的深度信息，將在另一幀中應(yīng)與第1影像進(jìn)行合成的第2影像與第1影像進(jìn)行合成。像這樣，在實(shí)施方式3的影像再現(xiàn)裝置12中，深度決定用解碼器507根據(jù)圖形影像來(lái)檢測(cè)出其深度并作為深度數(shù)據(jù)而輸出。因此，在某時(shí)間區(qū)域上的來(lái)自同步部701的圖形影像的輸出定時(shí)之前，來(lái)不及生成圖形影像的情況下，利用根據(jù)以前的時(shí)間區(qū)域的圖形影像的深度數(shù)據(jù)進(jìn)行推定(外推)而取得的深度數(shù)據(jù)，對(duì)另一時(shí)間區(qū)域(幀)的圖形影像的深度進(jìn)行校正，并作為在該時(shí)間區(qū)域的合成定時(shí)與正編影像進(jìn)行合成的圖形影像。因此， 即使在圖形影像的生成沒(méi)有趕上來(lái)自同步部701的輸出定時(shí)的情況下，與原本應(yīng)從同步部 701輸出的圖形影像類(lèi)似的圖形影像被實(shí)施適當(dāng)?shù)纳疃刃Ｕ蟊惠敵觯⑴c正編影像進(jìn)行合成，作為合成影像信號(hào)而被輸出到影像顯示裝置11。因此，用戶(hù)在顯示的影像中感覺(jué)不到不協(xié)調(diào)感。本實(shí)施方式的影像再現(xiàn)裝置12，即使在盤(pán)200等影像源中深度信息沒(méi)有與影像分別被記錄，也能夠不輸出異常的影像，來(lái)實(shí)現(xiàn)流暢地隨時(shí)間變化的立體影像的再現(xiàn)。圖19是表示實(shí)施方式3的影像再現(xiàn)裝置12的第2AV處理部202的詳細(xì)構(gòu)成的圖。 第2AV處理部202，例如，可以構(gòu)成為1個(gè)或2個(gè)以上的半導(dǎo)體裝置。第2AV處理部202具備從盤(pán)200等影像源中輸入包含3D內(nèi)容的流數(shù)據(jù)，并將第1影像的影像流輸出到第1解碼器553，將第2影像的影像流輸出到第2解碼器554的流控制部501 ；對(duì)第1影像的影像流進(jìn)行解碼來(lái)輸出第1影像(正編影像)的第1解碼器陽(yáng)3 ；對(duì)第2影像的影像流進(jìn)行解碼來(lái)輸出第2影像(圖形影像或字幕影像)的第2解碼器554 ；基于第2解碼器5M所輸出的第2影像的內(nèi)容來(lái)取得該第2影像的深度數(shù)據(jù)的深度決定用解碼器507 ；將第2影像同步地合成于第1影像并輸出合成影像信號(hào)的合成部505 ；和輸出合成影像信號(hào)的信號(hào)輸出部555。在此，合成部505具有與實(shí)施方式1 3的合成部505同等的功能。另外，信號(hào)輸出部555可以為輸出端子。像這樣，實(shí)施方式3的第2AV處理部202也能夠構(gòu)成為半導(dǎo)體裝置。(變形例)本實(shí)施方式1 3的影像再現(xiàn)裝置12能夠進(jìn)行各種各樣的變形。以下，對(duì)影像再現(xiàn)裝置12的變形的一例進(jìn)行說(shuō)明。在上述實(shí)施方式1 3的影像再現(xiàn)裝置12中，示出了將圖形影像以及字幕影像合成于視頻影像(正編影像)的例子，但被合成的影像不限定于此。也可以采用與視頻影像 (正編影像)同步地輸出另一視頻影像(副影像)并對(duì)兩影像進(jìn)行合成的構(gòu)成。即使在這種情況下，若正編影像以及副影像沒(méi)有分別對(duì)應(yīng)左眼以及右眼影像，則也會(huì)被用戶(hù)識(shí)別為異常的影像。根據(jù)本實(shí)施方式的影像再現(xiàn)裝置12，通過(guò)一邊保持左眼以及右眼影像的對(duì)應(yīng)一邊對(duì)該影像的深度進(jìn)行校正并輸出，能夠?qū)崿F(xiàn)流暢的立體影像表現(xiàn)。此外，圖形影像(第2影像)也可以是左眼以及右眼影像相同的影像。在此情況下，只要不對(duì)深度進(jìn)行調(diào)整則圖形影像看起來(lái)是平面，但通過(guò)對(duì)深度進(jìn)行調(diào)整，能夠?qū)D形影像賦予深度方向的定位。此外，作為用戶(hù)能夠指定的深度的例子，示出了記錄在閃存206中的序列 (sequence)，但只要為存儲(chǔ)器即可，不限定于閃存，既可以為存儲(chǔ)器卡那樣的存儲(chǔ)器，也可以為與存儲(chǔ)器207相同的存儲(chǔ)器。此外，在圖形影像的深度校正中使用的深度數(shù)據(jù)也可以使用圖形影像的深度信息以外的信息，例如正編影像的深度信息。在此情況下，也能夠起到同等的效果。此外，即使在某時(shí)間區(qū)域中原本被輸出的圖形影像的左眼以及右眼影像這兩者能夠使用的情況下，也可以始終進(jìn)行偏移處理來(lái)進(jìn)行深度校正。此外，在來(lái)不及時(shí)準(zhǔn)備圖形影像時(shí)使用的另一時(shí)間區(qū)域的圖形影像，也可以不是前一個(gè)時(shí)間區(qū)域的圖形影像。在上述實(shí)施方式中，作為影像源舉出了記錄在BD-ROM中的內(nèi)容，但影像源不限定于BD-R0M，包括廣播波、其他光盤(pán)、硬盤(pán)等影像源介質(zhì)的全部。在上述實(shí)施方式中，正編影像(第1影像)和圖形影像或字幕影像(第2影像) 是根據(jù)包含在同一影像源(內(nèi)容)中的影像數(shù)據(jù)而生成的，但第1影像的影像源和第2影像的影像源(內(nèi)容)也可以相互不同。在上述實(shí)施方式中，第1影像為某內(nèi)容的正編影像，但第1影像不限定于此，可以是任意的影像。此外，作為立體影像的第2影像也不限定于字幕影像或圖形影像，可以是任意的影像。在上述實(shí)施方式中，第1影像既可以為立體影像，也可以為非立體影像。實(shí)施方式的影像再現(xiàn)裝置能夠?qū)⒆鳛榱Ⅲw影像的第2影像合成于第1影像，并將合成影像作為立體影像而輸出。作為立體影像的第2影像，在影像源中，可以以2平面方式、2平面加1偏移方式、 1平面加1偏移方式等任意的方式被記錄。本實(shí)施方式的影像再現(xiàn)裝置12不限定于BD-ROM等光盤(pán)，可以應(yīng)用于電視機(jī)、游戲機(jī)等、重疊影像或圖形來(lái)顯示立體影像的用途下的立體影像再現(xiàn)裝置中。此外，實(shí)施方式的影像再現(xiàn)裝置，以幀連續(xù)方式來(lái)送出立體影像信號(hào)，但立體影像信號(hào)的方式不限定于此，可以是任意的方式。另外，立體影像信號(hào)作為1幀的影像信號(hào)也可以是包含左眼影像(左眼用的影像) 和右眼影像(右眼用的影像)而成的影像信號(hào)。但是，在本實(shí)施方式的影像再現(xiàn)裝置中，立體影像信號(hào)的格式等沒(méi)有特別限制。(總結(jié))以上，各實(shí)施方式的影像再現(xiàn)裝置12能夠?qū)⒌?影像((立體)圖形影像)合成 (重疊)于第1影像。在進(jìn)行該合成時(shí)，影像再現(xiàn)裝置12取得第1影像和第2影像之間的同步來(lái)進(jìn)行合成。在第2影像((立體)圖形影像)存在缺失的情況下，影像再現(xiàn)裝置12 用當(dāng)前的時(shí)間區(qū)域(幀)的第2影像的深度數(shù)據(jù)對(duì)另一時(shí)間區(qū)域(幀)的第2影像進(jìn)行深度校正后輸出。
19
另外，實(shí)施方式1以及3的圖形影像、實(shí)施方式2的字幕影像是立體圖形影像的一例。由此，即使在圖形影像存在缺失的情況下，也能夠?qū)⒉恢袛嗟亓鲿车刈兓膱D形影像呈現(xiàn)給用戶(hù)。此外，影像再現(xiàn)裝置12在立體圖形影像的左眼圖形影像和右眼圖形影像的至少任意一方無(wú)法使用的情況下，利用其時(shí)間區(qū)域(幀)的前面的時(shí)間區(qū)域(幀)的立體圖形影像的左眼圖形影像以及右眼圖形影像來(lái)對(duì)該缺失期間進(jìn)行插補(bǔ)并輸出。由此，即使在左眼圖形影像和右眼圖形影像的任意一方無(wú)法使用的情況下，也能防止在左眼圖形影像和右眼圖形影像產(chǎn)生視差、偏移以外的偏離從而使用戶(hù)對(duì)影像感到不協(xié)調(diào)感。工業(yè)實(shí)用性本實(shí)施方式的影像再現(xiàn)裝置作為對(duì)合成多個(gè)影像而成的立體影像進(jìn)行再現(xiàn)的影像再現(xiàn)裝置很有用。符號(hào)說(shuō)明11 影像顯示裝置12 影像再現(xiàn)裝置13 立體眼鏡101 第1輸入輸出部102 第IAV處理部103 顯示部104第1遙控器信號(hào)接收部105發(fā)送部200 盤(pán)201 盤(pán)驅(qū)動(dòng)部202 第2AV處理部203 第2輸入輸出部204第2遙控器信號(hào)接收部205 CPU206 閃存207存儲(chǔ)器501流控制部502深度決定部503視頻解碼器504 圖形解碼器505 合成部506字幕解碼器507深度決定用解碼器700圖形信號(hào)取得部701 同步部
702深度附加部703圖形合成部
權(quán)利要求
1.一種影像再現(xiàn)裝置，其對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出， 所述影像再現(xiàn)裝置具備取得單元，其取得應(yīng)合成于一個(gè)幀的第1影像和第2影像；和合成單元，其通過(guò)將所述取得單元所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出所述合成影像，所述合成單元，在所述合成影像的生成時(shí)，在所述取得單元沒(méi)能取得應(yīng)合成于所述一個(gè)幀的第2影像時(shí)，將在與所述一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于所述一個(gè)幀的第1影像進(jìn)行合成。
2.根據(jù)權(quán)利要求1所述的影像再現(xiàn)裝置，其中，所述第2影像被進(jìn)行立體影像顯示時(shí)的進(jìn)深由深度信息來(lái)決定， 所述合成單元，在應(yīng)合成于所述一個(gè)幀的第1影像和第2影像的合成時(shí)，在所述取得單元沒(méi)能取得應(yīng)合成于所述一個(gè)幀的第2影像時(shí)，利用針對(duì)應(yīng)合成于所述一個(gè)幀的第2影像的深度信息，將在所述另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與第1影像進(jìn)行合成。
3.根據(jù)權(quán)利要求1所述的影像再現(xiàn)裝置，其中，所述第2影像被進(jìn)行立體影像顯示時(shí)的進(jìn)深由深度信息來(lái)決定， 所述合成單元，在應(yīng)合成于所述一個(gè)幀的第1影像和第2影像的合成時(shí)，在所述取得單元沒(méi)能取得應(yīng)合成于所述一個(gè)幀的第2影像時(shí)，基于在所述另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像的內(nèi)容來(lái)求出針對(duì)應(yīng)合成于所述一個(gè)幀的第2影像的深度信息，并利用該求出的深度信息，將在所述另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與第1影像進(jìn)行合成。
4.根據(jù)權(quán)利要求1所述的影像再現(xiàn)裝置，其中， 所述第2影像是圖形影像或字幕影像。
5.一種半導(dǎo)體裝置，其對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出， 所述半導(dǎo)體裝置具備取得單元，其取得應(yīng)合成于一個(gè)幀的第1影像和第2影像；合成單元，其通過(guò)將所述取得單元所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像；和信號(hào)輸出單元，其輸出所述合成影像，所述合成單元，在所述合成影像的生成時(shí)，在所述取得單元沒(méi)能取得應(yīng)合成于所述一個(gè)幀的第2影像時(shí)，將在與所述一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于所述一個(gè)幀的第1影像進(jìn)行合成。
6.一種影像再現(xiàn)方法，是在影像再現(xiàn)裝置中對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出的影像再現(xiàn)方法，所述影像再現(xiàn)方法具備如下步驟取得單元取得應(yīng)合成于一個(gè)幀的第1影像和第2影像的步驟；和合成單元通過(guò)將通過(guò)所述取得的步驟而取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出所述合成影像的步驟，所述合成單元，在所述合成影像的生成時(shí)，在所述取得單元沒(méi)能取得應(yīng)合成于所述一個(gè)幀的第2影像時(shí)，將在與所述一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于所述一個(gè)幀的第1影像進(jìn)行合成。
全文摘要
一種對(duì)作為立體影像的第1影像和第2影像進(jìn)行合成并輸出的影像再現(xiàn)裝置，具備取得單元，其取得應(yīng)合成于一個(gè)幀的第1影像和第2影像；和合成單元，其通過(guò)將取得單元所取得的第1影像和第2影像同步地進(jìn)行合成來(lái)生成合成影像，并輸出合成影像，合成單元，在合成影像的生成時(shí)，在取得單元沒(méi)能取得應(yīng)合成于一個(gè)幀的第2影像時(shí)，將在與一個(gè)幀不同的另一個(gè)幀中應(yīng)與第1影像進(jìn)行合成的第2影像與應(yīng)合成于一個(gè)幀的第1影像進(jìn)行合成。
文檔編號(hào)H04N9/82GK102474663SQ20108003390
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年8月5日 優(yōu)先權(quán)日2009年8月5日
發(fā)明者松原彰 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社