專(zhuān)利名稱(chēng)：重放裝置、復(fù)眼攝像裝置、重放方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及重放裝置、復(fù)眼攝像裝置、重放方法及程序。
背景技術(shù)：
以往，提案有具備多個(gè)攝像部而生成體視圖像的復(fù)眼攝像裝置。復(fù)眼攝像裝置基于由多個(gè)攝像部分別生成的多個(gè)視點(diǎn)圖像生成體視圖像，將該體視圖像顯示于體視顯示用監(jiān)視器。 由復(fù)眼攝像裝置拍攝到的體視圖像的立體感受用戶(hù)兩眼的距離及體視顯示用監(jiān)視器到用戶(hù)的距離所左右，因此，對(duì)于復(fù)眼攝像裝置的體視功能存在個(gè)人差異大的問(wèn)題。因此，在復(fù)眼攝像裝置中，根據(jù)用戶(hù)的操作可調(diào)整多個(gè)視點(diǎn)圖像的視差，由此，調(diào)整體視圖像的立體感。因此，特開(kāi)2005 - 73012號(hào)公報(bào)(以下稱(chēng)作專(zhuān)利文獻(xiàn)I)中，公開(kāi)有與顯示體視圖像的顯示器的種類(lèi)無(wú)關(guān)地進(jìn)行與最先進(jìn)行了視差量調(diào)整的用戶(hù)的意圖相吻合的視差量調(diào)整的技術(shù)。專(zhuān)利文獻(xiàn)I的技術(shù)中，基于視差量的變更請(qǐng)求制作與視差量的調(diào)整相關(guān)的信息，將其變換為不依賴(lài)于顯示器的種類(lèi)的單位信息進(jìn)行記錄。而且，當(dāng)讀出所記錄的信息時(shí)，基于該信息制作與視差量的調(diào)整有關(guān)的信息，基于該信息生成立體顯示用的圖像。另外，特開(kāi)2004 - 221700號(hào)公報(bào)(以下稱(chēng)作專(zhuān)利文獻(xiàn)2)中公開(kāi)有在顯示體視圖像的期間特定與用戶(hù)的意圖相吻合的視差的技術(shù)。專(zhuān)利文獻(xiàn)2的技術(shù)中，根據(jù)用戶(hù)的指示特定顯示于顯示裝置的體視圖像的界限視差，以在顯示體視圖像之前實(shí)現(xiàn)適當(dāng)?shù)囊暡畹姆绞竭M(jìn)行圖像處理。

發(fā)明內(nèi)容
但是，在最初的階段存在問(wèn)題的情況下，例如根據(jù)由攝像部得到的多個(gè)視點(diǎn)圖像求出的視差量自體存在問(wèn)題的情況下、不能檢測(cè)視差調(diào)整對(duì)象的情況下，存在即使使用專(zhuān)利文獻(xiàn)I及2的技術(shù)也不能適宜地進(jìn)行視差調(diào)整的問(wèn)題。本發(fā)明是鑒于這種情況而創(chuàng)立的，其目的在于，提供一種即使在根據(jù)多個(gè)視點(diǎn)圖像求出的視差量自身存在問(wèn)題的情況下或不能檢測(cè)視差調(diào)整對(duì)象的情況下也能夠適宜進(jìn)行視差調(diào)整的重放裝置、復(fù)眼攝像裝置、重放方法及程序。本發(fā)明第一方面的重放裝置，包括輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得視差量；異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；以及輸出部，輸出由所述視差調(diào)整部進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。本發(fā)明的第二方面在第一方面的基礎(chǔ)上，在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部在預(yù)先決定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)本發(fā)明的第三方面在第一方面或第二方面的基礎(chǔ)上，在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部使用前幀的視差量進(jìn)行視差調(diào)整。本發(fā)明的第四方面在第一方面至第三方面的任一項(xiàng)的基礎(chǔ)上，在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部降低視差調(diào)整頻度。本發(fā)明第五方面在第一方面至第四方面的任一項(xiàng)的基礎(chǔ)上，所述視差量取得部基于在所述幀圖像內(nèi)作為視差量的取得對(duì)象的被攝體像而被預(yù)先決定的被攝體像取得視差量。本發(fā)明第六方面在第五方面的基礎(chǔ)上，將所述被預(yù)先決定的被攝體像設(shè)為基于所述幀圖像內(nèi)的以規(guī)定值的空間頻率所規(guī)定的閉曲線(xiàn)區(qū)域的被攝體像。本發(fā)明第七方面的重放裝置，包括輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量；異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整；以及輸出部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在由所述異常判定部判定為所述視差量有異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。本發(fā)明第八方面在第七方面的基礎(chǔ)上，所述視差調(diào)整部將在與所述幀圖像的圖像面垂直的方向上與所述規(guī)定物體距離最近的物體設(shè)為所述其它物體。本發(fā)明第九方面在第七方面的基礎(chǔ)上，所述視差調(diào)整部將在所述幀圖像的圖像面上與所述規(guī)定物體距離最近的物體設(shè)為所述其它物體。本發(fā)明第十方面在第七方面至第九方面的任一項(xiàng)的基礎(chǔ)上，將所述規(guī)定物體及所述其它物體的至少一方設(shè)為基于所述幀圖像內(nèi)的以規(guī)定值的空間頻率所規(guī)定的閉曲線(xiàn)區(qū)域的被攝體像。本發(fā)明第十一方面在第一方面至第十方面的任一項(xiàng)的基礎(chǔ)上，還包括顯示部，將由所述輸出部輸出的所述幀圖像以作為體視圖像而被視覺(jué)確認(rèn)的方式進(jìn)行顯示。本發(fā)明第十二方面提供一種復(fù)眼攝像裝置，包括第一方面至第十一方面的任一項(xiàng)的重放裝置；以及攝像部，通過(guò)從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成所述連續(xù)幀圖像。本發(fā)明第十三方面提供一種重放方法，其中，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；基于構(gòu)成所輸入的連續(xù)幀圖像的幀圖像取得視差量；在所述取得的所述視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；在判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；輸出進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。
本發(fā)明第十四方面提供一種重放方法，其中，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；基于構(gòu)成所輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量；在所述取得的所述視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；在判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的第一視差調(diào)整，在判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整；在判定為所述視差量無(wú)異常的情況下，輸出包含進(jìn)行了所述視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在判定為所述視差量有異常的情況下，輸出包含進(jìn)行了所述視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。本發(fā)明第十五方面提供一種程序，用于使計(jì)算機(jī)作為以下部分而起作用輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得視差量；異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；以及輸出部，輸出由所述視差調(diào)整部進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。本發(fā)明第十六方面提供一種程序，用于使計(jì)算機(jī)作為以下部分而起作用輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像；視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量；異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常；視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整；輸出部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在由所述異常判定部判定為所述視差量有異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。根據(jù)本發(fā)明，即使在根據(jù)多個(gè)視點(diǎn)圖像求出的視差量自身存在問(wèn)題的情況下或不能檢測(cè)到視差調(diào)整對(duì)象的情況下，也能夠適宜地進(jìn)行視差調(diào)整。


圖I是表示體視圖像重放裝置的概略立體圖；圖2是表示體視圖像重放裝置的顯示裝置側(cè)的概略構(gòu)成的框圖；圖3是表示體視用的圖像文件的文件格式的圖；圖4是表示體視圖像重放裝置的液晶快門(mén)眼鏡側(cè)的概略構(gòu)成的框圖；圖5是表示第一視差調(diào)整例程的流程圖；圖6是表示第一視差量取得例程的流程圖；圖7是表示第二視差量取得例程的流程圖；圖8是表示第一波動(dòng)有無(wú)判定例程的流程圖；圖9是表示第二波動(dòng)有無(wú)判定例程的流程圖；圖10是表示第二視差調(diào)整例程的流程圖；
圖11是表不第二視差調(diào)整例程的流程圖；圖12A是表示以⑶I標(biāo)記了視差調(diào)整對(duì)象的狀態(tài)的圖；圖12B是表示以⑶I標(biāo)記了視差調(diào)整對(duì)象的狀態(tài)的圖；圖12C是表示以⑶I標(biāo)記了視差調(diào)整對(duì)象的狀態(tài)的圖；圖13是復(fù)眼照相機(jī)的正面?zhèn)攘Ⅲw圖；圖14是復(fù)眼照相機(jī)的背面?zhèn)攘Ⅲw圖；圖15是表示復(fù)眼照相機(jī)的內(nèi)部構(gòu)成的概略框圖；圖16是表示拍攝部的構(gòu)成的圖；圖17是表示監(jiān)視器的構(gòu)成的圖；圖18是表示雙凸透鏡片的構(gòu)成的圖；圖19是用于說(shuō)明對(duì)左眼用及右眼用圖像的三維處理的圖；圖20是表不視差關(guān)聯(lián)彳目息的一例的圖；圖21A是用于說(shuō)明視差關(guān)聯(lián)信息的圖；圖21B是用于說(shuō)明視差關(guān)聯(lián)信息的圖。符號(hào)說(shuō)明12A、307 監(jiān)視器321A、321B 拍攝部322拍攝控制部330三維處理部32、335 CPU34、329記錄媒體
具體實(shí)施例方式[第一實(shí)施方式]圖I是表示本發(fā)明第一實(shí)施方式的體視圖像重放裝置10的概略的圖。如同圖所示，本第一實(shí)施方式的體視圖像重放裝置10具備顯示體視圖像的顯示裝置12及液晶快門(mén)眼鏡14。另外，顯示裝置12具備進(jìn)行各種顯示的監(jiān)視器12A、電源按鈕12B、重放開(kāi)始按鈕12C、及重放停止按鈕12D。此外，在本第一實(shí)施方式中以如下方式為例進(jìn)行說(shuō)明，S卩，將左眼用圖像Gl和右眼用圖像G2交替地顯示于顯示裝置12，并且以交替驅(qū)動(dòng)液晶快門(mén)以使得顯示了左眼用圖像Gl時(shí)液晶快門(mén)眼鏡14的右眼的液晶快門(mén)為透射狀態(tài)、顯示了右眼用圖像G2時(shí)液晶快門(mén)眼鏡14的左眼的液晶快門(mén)為透射狀態(tài)的方式作為體視圖像進(jìn)行視覺(jué)確認(rèn)，由此重放三維立體影像。此外，在本第一實(shí)施方式中，以使用液晶快門(mén)眼鏡14重放三維立體影像的體視圖像重放裝置為一例進(jìn)行說(shuō)明，但不限于此，例如也可以應(yīng)用使用偏振濾光鏡眼鏡來(lái)重放三維立體影像的裝置，也可以是應(yīng)用以不使用眼鏡的方式重放三維立體影像的方式的體視圖像重放裝置。圖2是表示本第一實(shí)施方式的體視圖像重放裝置10的顯示裝置12側(cè)的概略構(gòu)成的框圖。顯示裝置12具備同步通信部16、圖像處理部18、壓縮/解壓縮處理部20、幀存儲(chǔ)器22、媒體控制部24、內(nèi)部存儲(chǔ)器26、三維處理部28、顯示控制部30、及CPU32，它們經(jīng)由總線(xiàn)BUS相互連接。另外，在媒體控制部24連接有記錄媒體34，在顯示控制部30連接有監(jiān)視器12A。而且，在CPU32連接有包含電源按鈕12B、重放開(kāi)始按鈕12C、及重放停止按鈕12D 而構(gòu)成的輸入部35。同步通信部16進(jìn)行信號(hào)的發(fā)送及接收，該信號(hào)用于使液晶快門(mén)眼鏡14的左右的液晶快門(mén)的驅(qū)動(dòng)與顯示于顯示裝置12的左眼用及右眼用的各自的圖像同步。圖像處理部18對(duì)表示應(yīng)顯示的圖像的圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度補(bǔ)正、清晰度補(bǔ)正、色補(bǔ)正等各種圖像處理。壓縮/解壓縮處理部20對(duì)由圖像處理部18實(shí)施了處理的圖像數(shù)據(jù)例如以JPEG或MPEG等壓縮形式進(jìn)行壓縮處理，生成體視用的圖像文件H)、或在重放時(shí)進(jìn)行解壓縮被壓縮的圖像數(shù)據(jù)的處理。圖像文件具有左眼用圖像Gl及右眼用圖像G2的圖像數(shù)據(jù)，而且，包含基于例如Exif格式的基線(xiàn)長(zhǎng)、會(huì)聚角及拍攝日期等附帶信息、及表示視點(diǎn)位置的視點(diǎn)信息。圖3是表示體視用的圖像文件的文件格式的圖。體視用的圖像文件存儲(chǔ)有左眼用圖像Gl的附帶信息H1、左眼用圖像Gl的視點(diǎn)信息SI、左眼用圖像Gl的圖像數(shù)據(jù)、右眼用圖像G2的附帶信息H2、右眼用圖像G2的視點(diǎn)信息S2、及右眼用圖像G2的圖像數(shù)據(jù)而構(gòu)成。另外，圖中未圖示，在有關(guān)左眼用及右眼用圖像G1、G2的附帶信息、視點(diǎn)信息及圖像數(shù)據(jù)的前后還包含表示數(shù)據(jù)的開(kāi)始位置及結(jié)束位置的信息。附帶信息Hl、H2中包含左眼用及右眼用圖像Gl、G2的拍攝日、基線(xiàn)長(zhǎng)、及會(huì)聚角的信息。附帶信息H1、H2中還包含左眼用及右眼用圖像G1、G2的略縮圖像。此外，作為視點(diǎn)信息，例如可以使用從左側(cè)的拍攝部依次賦予的視點(diǎn)位置的序號(hào)。幀存儲(chǔ)器22是對(duì)圖像數(shù)據(jù)進(jìn)行圖像處理部18進(jìn)行的處理的各種處理時(shí)使用的作業(yè)用存儲(chǔ)器。媒體控制部24對(duì)記錄媒體34進(jìn)行訪(fǎng)問(wèn)，例如進(jìn)行圖像文件的寫(xiě)入和讀入的控制。內(nèi)部存儲(chǔ)器26例如存儲(chǔ)表示顯示裝置12的各種設(shè)定的信息、及CPU32執(zhí)行的程序。三維處理部28讀出存儲(chǔ)于記錄媒體34的圖像數(shù)據(jù)，控制顯示控制部30，使得與通過(guò)同步通信部16進(jìn)行的與液晶快門(mén)眼鏡14的通信而得到的同步信號(hào)同步地交替顯示用于顯示體視圖像的左眼用圖像Gl和右眼用圖像G2，由此顯示體視圖像GR。另外，三維處理部28在圖像數(shù)據(jù)中未存儲(chǔ)每幀的視差信息的情況下，檢測(cè)主要被攝體，進(jìn)行計(jì)算出每幀的視差的處理。另外，三維處理部28也可以調(diào)整左眼用圖像Gl及右眼用圖像G2的視差。在此，視差是指包含于左眼用圖像Gl及右眼用圖像G2雙方的被攝體的、左眼用圖像Gl及右眼用圖像G2的橫向、即沿著基線(xiàn)的方向上的像素位置的錯(cuò)位量。通過(guò)調(diào)整視差，能夠使包含于體視圖像GR中的被攝體的立體感適當(dāng)。在立體視的情況下，顯示控制部30通過(guò)三維處理部28的控制，使左眼用圖像Gl和、右眼用圖像G2交替顯示于監(jiān)視器12A。圖4是表示第一實(shí)施方式的體 視圖像重放裝置10的液晶快門(mén)眼鏡14側(cè)的概略構(gòu)成的框圖。液晶快門(mén)眼鏡14具備同步通信部36、液晶快門(mén)驅(qū)動(dòng)部38、右眼用液晶快門(mén)40、及左眼用液晶快門(mén)42。同步通信部36進(jìn)行信號(hào)通信，該信號(hào)用于使左右的液晶快門(mén)的驅(qū)動(dòng)與顯示于顯示裝置12的左右各自的圖像同步。液晶快門(mén)驅(qū)動(dòng)部38與通過(guò)同步通信部36與顯示裝置12進(jìn)行的通信而得到的同步信號(hào)同步地控制右眼用液晶快門(mén)40及左眼用液晶快門(mén)42的驅(qū)動(dòng)。由此，在顯示裝置12的監(jiān)視器12A顯示左眼用圖像Gl時(shí)，右眼用液晶快門(mén)40成為透射狀態(tài)，左眼用液晶快門(mén)42成為遮蔽狀態(tài)，在顯示裝置12的監(jiān)視器12A顯示右眼用圖像G2時(shí)，左眼用液晶快門(mén)42成為透射狀態(tài)，右眼用液晶快門(mén)40成為遮蔽狀態(tài)，重放體視圖像。在如上構(gòu)成的顯示裝置12中，執(zhí)行以下的第一或第二視差調(diào)整例程。此外，第一及第二視差調(diào)整例程的程序被預(yù)先存儲(chǔ)于內(nèi)部存儲(chǔ)器26。(第一視差調(diào)整例程)圖5是表示第一視差調(diào)整例程的流程圖。在步驟100中，CPU32在經(jīng)由重放開(kāi)始按鈕12C輸入了動(dòng)畫(huà)重放開(kāi)始的指示時(shí)，開(kāi)始三維動(dòng)畫(huà)重放，而移向步驟102。在步驟102中，CPU32使三維處理部28取得基于存儲(chǔ)于記錄媒體34的圖像文件FO的左眼用及右眼用圖像Gl、G2的視差量。在此，第一或第二視差量取得例程被執(zhí)行，三維處理部30進(jìn)行下一處理。(視差量的取得)圖6是表示第一視差量取得例程的流程圖。三維處理部28首先分別檢測(cè)多個(gè)圖像、即存儲(chǔ)于記錄媒體34的圖像文件的左眼用及右眼用圖像Gl、G2中的同一人物的臉區(qū)域，取得表示這些臉區(qū)域的坐標(biāo)的臉檢測(cè)坐標(biāo)(步驟200)，算出取得的臉檢測(cè)坐標(biāo)的坐標(biāo)差值(步驟202)，根據(jù)坐標(biāo)差值算出視差量(步驟204)。圖7是表示第二視差量取得例程的流程圖。三維處理部30首先分別檢測(cè)多個(gè)圖像、即存儲(chǔ)于記錄媒體34的圖像文件R)的左眼用及右眼用圖像G1、G2中的同一物體，取得特定這些物體的特征點(diǎn)的坐標(biāo)即特征點(diǎn)坐標(biāo)(步驟210 ),算出取得的特征點(diǎn)坐標(biāo)的坐標(biāo)差值(步驟212)，根據(jù)坐標(biāo)差值算出視差量(步驟214)。而且，當(dāng)?shù)谝换虻诙暡盍咳〉美探Y(jié)束時(shí)，移向圖5所示的步驟104。(視差量的異常判定)在步驟104中，CPU32判定在三維處理部28取得的視差量是否存在異常，在判定為存在異常的情況下，移向步驟106，在判定為無(wú)異常的情況下，移向步驟108。在此，基于
(I)視差量存在波動(dòng)嗎、(2)視差量有容許界限嗎、(3)看丟視差調(diào)整對(duì)象而不能檢測(cè)到了嗎的任一個(gè)來(lái)判定視差量的異常。(I)波動(dòng)有無(wú)的判定CPU32在步驟104中執(zhí)行如下所示的第一或第二波動(dòng)有無(wú)判定例程。此外，左眼用及第二波動(dòng)有無(wú)判定例程的程序被預(yù)先存儲(chǔ)于內(nèi)部存儲(chǔ)器26。
圖8是表示第一波動(dòng)有無(wú)判定例程的流程圖。CPU32取得在三維處理部28得到的一定期間的視差量(步驟220)，算出取得的視差量的偏差S (步驟222)。而且，CPU35判定偏差S是否比波動(dòng)閾值T小(S < T)(步驟224)。在S < T的情況下，判定為無(wú)波動(dòng)(視差量無(wú)異常)，移向圖5的步驟108，在不是S < T的情況下，判定為有波動(dòng)(視差量存在異常)，移向圖5的步驟106。圖9是表示第二波動(dòng)有無(wú)判定例程的流程圖。CPU32取得在三維處理部28得到的現(xiàn)幀和前幀的視差量的變化量D (步驟230)。而且，CPU32判定變化量D是否比波動(dòng)閾值T小(S < T)(步驟232)。在D < T的情況下判定為無(wú)波動(dòng)(視差量無(wú)異常)，移向圖5的步驟108，在不是D < T的情況下判定為有波動(dòng)(視差量存在異常)，移向圖5的步驟106。(2)視差量的容許界限判定CPU32在步驟104中也可以判定視差量是否達(dá)到了預(yù)先決定的容許界限值。在此，容許界限是指表示體視圖像所表現(xiàn)的物體的過(guò)凸或過(guò)凹的視差量的閾值。在視差量達(dá)到容許界限值的情況下，移向步驟106，在視差量未達(dá)到容許界限的情況下，移向步驟108。(3)視差調(diào)整對(duì)象的判定CPU32在步驟104中也可以判定是否看丟視差調(diào)整對(duì)象而不能檢測(cè)到。視差調(diào)整對(duì)象是指例如處于人物的臉等的畫(huà)面的中心位置附近的物體、多個(gè)特征點(diǎn)等。在此，CPU32在視差調(diào)整對(duì)象未被檢測(cè)到例如10幀的情況下，判定為看丟了視差調(diào)整對(duì)象，移向步驟106，在視差調(diào)整對(duì)象未被檢測(cè)10幀的情況下，移向步驟108。此外，“10幀”只不過(guò)是一例，也可以是其它幀數(shù)。由此，在看丟了視差調(diào)整對(duì)象的情況下，切換視差調(diào)整控制，因此，能夠使三維動(dòng)畫(huà)重放的視差調(diào)整穩(wěn)定化。(視差調(diào)整控制的切換)在步驟106中，CPU32將視差調(diào)整控制切換為其它控制。在此，執(zhí)行第一 第三切換處理中的任一處理。作為第一切換處理，CPU32定義每幀的視差量最大變化量并設(shè)定于三維處理部28，由此對(duì)每幀的視差量的變化量進(jìn)行限制。由此，可以在視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整，可以抑制視差量的急激的變化，因此，能夠使三維動(dòng)畫(huà)重放的視差調(diào)整穩(wěn)定化。另外，作為第二切換處理，CPU32跳過(guò)該幀的視差調(diào)整(禁止該幀的視差調(diào)整)，而使前幀的視差調(diào)整原封不動(dòng)地繼續(xù)。即，使用前幀的視差量。由此，即使在視差量存在異常的情況下，也能夠跳過(guò)視差調(diào)整，因此，能夠使三維動(dòng)畫(huà)重放的視差調(diào)整穩(wěn)定化。另外，作為第三切換處理，CPU32減少實(shí)施視差調(diào)整的頻度。在此，代替圖5所示的視差調(diào)整例程，執(zhí)行以下圖10所示的第二視差調(diào)整例程。此外，在對(duì)與圖5的步驟相同的步驟標(biāo)注同一符號(hào)，省略重復(fù)的說(shuō)明。圖10的視差調(diào)整例程中，接著步驟100設(shè)定索引編號(hào)i = 0 (步驟101)，接著步驟102使i增加I (i + + )(步驟103)，這一點(diǎn)上與圖5不同。另外，在進(jìn)行第三切換處理的步驟106中，進(jìn)行以下處理。CPU32首先判定索引編號(hào)i是否為視差調(diào)整頻度N以上(i ^ N)(步驟240)。而且，在i蘭N的情況下，設(shè)定為i = 0(步驟242)，移向步驟108，在不是i蘭N的情況下，跳過(guò)步驟108而移向步驟110。因此，在索引編號(hào)i不足N的情況下，重復(fù)執(zhí)行步驟102、103、104、106(步驟240)、110，不進(jìn)行視差調(diào)整(步驟108)。另外，當(dāng)索引編號(hào)i達(dá)到N時(shí)，經(jīng)過(guò)步驟104、106 (步驟240、242)移向步驟108，實(shí)施視差調(diào)整。因此，在視差存在異常的情況下，不每幀調(diào)整視差，而對(duì)N幀 僅進(jìn)行I次視差調(diào)整，因此，可以減少視差調(diào)整的頻度，可以減緩視差調(diào)整的變化。在步驟108中，CPU32使三維處理部28實(shí)施視差調(diào)整，將進(jìn)行了視差調(diào)整的左眼用及右眼用圖像G1、G2向顯示控制部30輸出，移向步驟110。在步驟110中，CPU32判定通過(guò)重放停止按鈕12D是否輸入了動(dòng)畫(huà)重放停止的指示，在為肯定判定的情況下，結(jié)束本例程，在為否定判定的情況下移至下一幀的處理，再次返回步驟102。如上，本第一實(shí)施方式的體視圖像重放裝置10即使在視差量存在異常的情況下或看丟了視差對(duì)象的情況下，也能夠在切換了視差調(diào)整控制后進(jìn)行視差調(diào)整，因此，能夠使三維動(dòng)畫(huà)重放的視差調(diào)整穩(wěn)定化。此外，CPU32也可以在檢測(cè)到波動(dòng)的情況下，在實(shí)施了視差調(diào)整后(步驟108結(jié)束后)將表示波動(dòng)有無(wú)的波動(dòng)信息記錄于記錄媒體34。由此，由于對(duì)動(dòng)畫(huà)信息附加波動(dòng)的有無(wú)，所以在再次的動(dòng)畫(huà)重放時(shí)可以利用波動(dòng)信息，可以使再次的三維動(dòng)畫(huà)重放時(shí)的視差調(diào)整穩(wěn)定化。另外，在步驟104中，對(duì)執(zhí)行(I)波動(dòng)有無(wú)的判定、(2)視差量的容許界限判定、(3 )視差調(diào)整對(duì)象的判定的任一種的情況進(jìn)行了說(shuō)明，但只要是執(zhí)行(I) (3 )的至少之一即可。另外，在步驟106中，對(duì)執(zhí)行第一 第三切換處理中的任一處理的情況進(jìn)行了說(shuō)明，但只要執(zhí)行第一 第三切換處理中的至少一種處理即可。[第二實(shí)施方式]接著，說(shuō)明本發(fā)明的第二實(shí)施方式。此外，對(duì)與第一實(shí)施方式相同的部位標(biāo)注同一符號(hào)，省略其詳細(xì)的說(shuō)明。在第一實(shí)施方式中，執(zhí)行了第一或第二視差調(diào)整例程，但在第二實(shí)施方式中代替第一或第二視差調(diào)整例程而執(zhí)行以下第三視差調(diào)整例程。(第三視差調(diào)整例程)圖11是表不第二視差調(diào)整例程的流程圖。在步驟130中，CPU32在經(jīng)由重放開(kāi)始按鈕12C輸入了動(dòng)畫(huà)重放開(kāi)始的指示時(shí)，開(kāi)始三維動(dòng)畫(huà)重放，移向步驟132。在步驟132中，CPU32使三維處理部28取得基于存儲(chǔ)于記錄媒體34的圖像文件FO的左眼用及右眼用圖像G1、G2的基本視差量，移向步驟134。在此，基本視差量是指默認(rèn)物體的視差量，例如是指最接近畫(huà)面中心的物體的視差量。在步驟134中，CPU32判定在三維處理部28取得的基本視差量是否存在異常。在此，執(zhí)行與圖5所示的步驟104相同的處理。而且，在基本視差量存在異常的情況下，移向步驟138，在無(wú)異常的情況下移向步驟136。
在步驟136中，CPU32以使用基本視差量實(shí)施視差調(diào)整的方式控制三維處理部28，移向步驟142。根據(jù)本步驟136的處理，三維處理部28使用左眼用及右眼用圖像G1、G2的基本視差量進(jìn)行視差調(diào)整，將進(jìn)行了視差調(diào)整的左眼用及右眼用圖像Gl、G2向顯示控制部30輸出。另一方面，在步驟138中，CPU32使三維處理部28取得其它物體的視差量，移向步驟138。作為其它物體，例如相應(yīng)有默認(rèn)物體以外的人物的臉等。在步驟140中，以使用其它物體的視差量實(shí)施視差調(diào)整的方式控制三維處理部28。此時(shí)，三維處理部28作為“其它物體”選擇“在Z方向最接近默認(rèn)物體的物體”或“在二維坐標(biāo)中接近默認(rèn)物體的物體”，使用所選擇的物體的視差量進(jìn)行視差調(diào)整，將進(jìn)行了視差調(diào)整的物體向顯示控制部30輸出。在此，用二維坐標(biāo)(X、Y)表示與存儲(chǔ)于記錄媒體34的圖像文件的左眼用及右眼用圖像G1、G2相同的平面，將與該面(基線(xiàn))垂直的方向設(shè)為Z方向。 因此，“在Z方向接近默認(rèn)物體的物體”不管在二維坐標(biāo)中是否接近，都是和默認(rèn)物體立體感最接近的物體。因此，三維處理部28通過(guò)使用該物體的視差量進(jìn)行視差調(diào)整，能夠抑制視差量的急劇的變化，其結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。另外，“在二維坐標(biāo)中接近默認(rèn)物體的物體”是指不管是否接近默認(rèn)物體的立體感，都是在二維坐標(biāo)上最接近默認(rèn)物體的物體。因此，三維處理部28通過(guò)使用該物體的視差量進(jìn)行視差調(diào)整，可以用到目前為止的接近視差調(diào)整對(duì)象的物體進(jìn)行視差調(diào)整，其結(jié)果能夠穩(wěn)定地進(jìn)行視差調(diào)整。而且，經(jīng)以上的處理而移向步驟142。在步驟142 中，CPU32 用 GUI (Graphical User Interface)標(biāo)記視差調(diào)整對(duì)象，使其顯示于監(jiān)視器7，移向步驟144。在此，對(duì)于作為視差調(diào)整對(duì)象的人物的臉，例如圖12A所示可以由四角包圍，如圖12B所示也可以由圓包圍，如圖12C所示也可以標(biāo)注星號(hào)。在步驟144中，CPU32判定通過(guò)重放停止按鈕12D是否輸入了動(dòng)畫(huà)重放停止的指示，在為肯定判定的情況下，結(jié)束本例程，在為否定判定的情況下，移至下一幀的處理，再次返回步驟132。如上，第二實(shí)施方式的重放裝置中，即使在默認(rèn)物體的基本視差量存在異常的情況或看丟了默認(rèn)物體的情況下，也能夠在將視差調(diào)整對(duì)象切換為其它物體后進(jìn)行視差調(diào)整，因此，能夠使三維動(dòng)畫(huà)重放的視差調(diào)整穩(wěn)定化。[第三實(shí)施方式]接著，參照

本發(fā)明的第三實(shí)施方式。圖13是本發(fā)明實(shí)施方式的復(fù)眼照相機(jī)301的正面?zhèn)攘Ⅲw圖，圖14是背面?zhèn)攘Ⅲw圖。在復(fù)眼照相機(jī)301的上部具備釋放按鈕302、電源按鈕303及變焦距桿304。在復(fù)眼照相機(jī)301的正面配置有閃光燈305及兩個(gè)拍攝部321A、321B的透鏡。另外，在復(fù)眼照相機(jī)301的背面配置有進(jìn)行各種顯示的液晶監(jiān)視器(以下簡(jiǎn)稱(chēng)為“監(jiān)視器”。)307及包含作為第一及第二實(shí)施方式中說(shuō)明的重放開(kāi)始按鈕12C及重放停止按鈕12D而起作用的按鈕在內(nèi)的各種操作按鈕308。圖15是表示復(fù)眼照相機(jī)301的內(nèi)部構(gòu)成的概略框圖。復(fù)眼照相機(jī)301具備兩個(gè)拍攝部321A、321B、拍攝控制部322、圖像處理部323、壓縮/解壓縮處理部324、幀存儲(chǔ)器325、媒體控制部326、內(nèi)部存儲(chǔ)器327、顯示控制部328、及CPU335，它們經(jīng)由總線(xiàn)BUS相互連接。另外，在媒體控制部326連接有記錄媒體329，在顯示控制部328連接有監(jiān)視器307。而且，在CPU32連接有包含釋放按鈕302、電源按鈕303、變焦距桿304及操作按鈕308而構(gòu)成的輸入部334。此外，拍攝部321A、321B具有將被攝體視入的會(huì)聚角，以成為預(yù)先決定的基線(xiàn)長(zhǎng)的方式進(jìn)行配置。另外，會(huì)聚角及基線(xiàn)長(zhǎng)的信息被存儲(chǔ)于內(nèi)部存儲(chǔ)器327。圖16是表示拍攝部321A、321B的構(gòu)成的圖。如圖16所示，拍攝部321A、321B分別具備透鏡310A、310B、光圈311A、311B、快門(mén)312A、312B、拍攝元件313A、313B、模擬前端(AFE) 314A、314B 及 A/D 變換部 315A、315B。透鏡310A、310B具有用于使焦點(diǎn)與被攝體一致的聚焦透鏡、用于實(shí)現(xiàn)變焦功能的變焦透鏡等多個(gè)功能類(lèi)別透鏡。透鏡310A、310B的位置基于由拍攝控制部322的AF處理部322a得到的合焦數(shù)據(jù)及操作了圖13及圖14所示的變焦距桿304的情況下得到的變焦數(shù)據(jù)，通過(guò)未圖示的透鏡驅(qū)動(dòng)部進(jìn)行調(diào)整。光圈311A、311B基于由拍攝控制部322的AE處理部322b得到的光圈值數(shù)據(jù)，利 用未圖示的光圈驅(qū)動(dòng)部進(jìn)行光圈徑的調(diào)整?？扉T(mén)312A、312B為機(jī)械快門(mén)，通過(guò)未圖示的快門(mén)驅(qū)動(dòng)部，根據(jù)由AE處理部322b得到的快門(mén)速度進(jìn)行驅(qū)動(dòng)。拍攝元件313A、313B具有二維狀排列眾多的受光元件而成的光電面，將被攝體光在該光電面成像并進(jìn)行光電變換，取得模擬拍攝信號(hào)。另外，在拍攝元件313A、313B的前面配置有R、G、B各色過(guò)濾器規(guī)則性排列而成的濾色片。AFE314A、314B對(duì)從拍攝元件313A、313B輸出的模擬拍攝信號(hào)實(shí)施除去模擬拍攝信號(hào)的噪聲的處理、及調(diào)節(jié)模擬拍攝信號(hào)的增益的處理(以下稱(chēng)作“模擬處理”。)。A/D變換部315A、315B將由AFE314A、314B實(shí)施了模擬處理的模擬拍攝信號(hào)變換成數(shù)字信號(hào)。此外，將利用由拍攝部321A取得的數(shù)字的圖像數(shù)據(jù)表示的圖像設(shè)為左眼用圖像G1，將利用由拍攝部321B取得的圖像數(shù)據(jù)表示的圖像設(shè)為右眼用圖像G2。拍攝控制部322如上述具有AF處理部322a及AE處理部322b。AF處理部322a在釋放按鈕302被半按操作時(shí)，從測(cè)距傳感器取得測(cè)距信息，決定透鏡10AU0B的焦點(diǎn)位置，且將其向拍攝部321A、321B輸出。AE處理部322b基于預(yù)圖像決定光圈值和快門(mén)速度，將其向拍攝部321A、321B輸出。此外，作為AF處理部322a進(jìn)行的焦點(diǎn)位置的檢測(cè)方式，不限于使用了測(cè)距信息的主動(dòng)方式，也可以使用利用圖像的對(duì)比度檢測(cè)合焦位置的被動(dòng)方式。拍攝控制部322以在釋放按鈕302未被操作的狀態(tài)下，以規(guī)定時(shí)間間隔(例如1/30秒間隔)依次生成用于確認(rèn)拍攝范圍的、比左眼用及右眼用圖像Gl、G2的本圖像的像素?cái)?shù)少的全圖像的方式控制拍攝部321A、321B。而且，拍攝控制部322在釋放按鈕302被全按操作時(shí)，以為了開(kāi)始本拍攝而生成左眼用及右眼用圖像Gl、G2的本圖像的方式控制拍攝部321A、321B。以上的說(shuō)明為靜止畫(huà)面模式的情況，但在本第三實(shí)施方式中，也可以設(shè)定為動(dòng)畫(huà)拍攝模式，在動(dòng)畫(huà)拍攝模式的情況下，當(dāng)按壓釋放按鈕302時(shí)，開(kāi)始動(dòng)畫(huà)拍攝，按每幀生成左眼用及右眼用圖像Gl、G2，當(dāng)再次按壓釋放按鈕302時(shí)，動(dòng)畫(huà)拍攝停止。圖像處理部323對(duì)拍攝部321A、321B取得的左眼用及右眼用圖像G1、G2的數(shù)字的圖像數(shù)據(jù)實(shí)施白平衡調(diào)整、灰度補(bǔ)正、清晰度補(bǔ)正、及色補(bǔ)正等圖像處理。
壓縮/解壓縮處理部324對(duì)表示由圖像處理部323實(shí)施了處理的左眼用及右眼用圖像Gl、G2的本圖像的圖像數(shù)據(jù)以例如JPEG等壓縮形式進(jìn)行壓縮處理，生成體視用的圖像文件H)。該體視用的圖像文件具有左眼用及右眼用圖像G1、G2的圖像數(shù)據(jù)，而且還包含基于Exif 格式等的基線(xiàn)長(zhǎng)、會(huì)聚角及拍攝日期等的附帶信息、及表示視點(diǎn)位置的視點(diǎn)信
肩、O幀存儲(chǔ)器325是對(duì)表示拍攝部321A、321B取得的左眼用及右眼用圖像G1、G2的圖像數(shù)據(jù)進(jìn)行包含上述圖像處理部323進(jìn)行的處理在內(nèi)的各種處理時(shí)使用的作業(yè)用存儲(chǔ)器。媒體控制部326對(duì)記錄媒體329進(jìn)行訪(fǎng)問(wèn)，進(jìn)行圖像文件等的寫(xiě)入和讀入的控制。內(nèi)部存儲(chǔ)器327存儲(chǔ)在復(fù)眼照相機(jī)301設(shè)定的各種常數(shù)、及CPU335執(zhí)行的程序
坐寸。
·
在立體視的情況下，顯示控制部328使存儲(chǔ)于幀存儲(chǔ)器325或記錄媒體329的體視圖像GR顯示于監(jiān)視器307。圖17是表示監(jiān)視器307的構(gòu)成的分解立體圖。如圖17所示，監(jiān)視器307如下構(gòu)成，即，將由LED發(fā)光的背光單元340及用于進(jìn)行各種顯示的液晶面板341層疊，在液晶面板341的表面安裝雙凸透鏡片342。圖18是表示雙凸透鏡片的構(gòu)成的圖。如圖18所示，雙凸透鏡片342通過(guò)將多個(gè)圓柱體透鏡343在沿著基線(xiàn)的方向使并排排列而構(gòu)成。另外，復(fù)眼照相機(jī)301具備三維處理部330。三維處理部330為了使左眼用及右眼用圖像G1、G2體視顯示于監(jiān)視器307，而對(duì)左眼用及右眼用圖像G1、G2進(jìn)行三維處理，生成體視圖像GR。圖19是用于說(shuō)明對(duì)左眼用及右眼用圖像Gl、G2的三維處理的圖。如圖19所示，三維處理部330以如下方式進(jìn)行三維處理而生成體視圖像GR，即，將左眼用及右眼用圖像GU G2分別在相對(duì)于基線(xiàn)垂直方向上切成短片狀，在雙凸透鏡片342的圓柱體透鏡343分別交替配置位置對(duì)應(yīng)的切成短片狀的左眼用及右眼用圖像Gl、G2。構(gòu)成體視圖像GR的左眼用及右眼用圖像G1、G2的圖像對(duì)分別與一個(gè)圓柱體透鏡對(duì)應(yīng)配置。另外，三維處理部330也可以調(diào)整左眼用及右眼用圖像G1、G2的視差。在此，視差是指左眼用及右眼用圖像G1、G2雙方包含的被攝體的、左眼用及右眼用圖像G1、G2的橫向、即沿著基線(xiàn)的方向的像素位置的偏差量。通過(guò)調(diào)整視差，能夠使體視圖像GR中包含的被攝體的立體感適宜。另外，三維處理部330也可以實(shí)時(shí)調(diào)整由拍攝部321A、321B得到的左眼用及右眼用圖像Gl、G2的視差，也可以調(diào)整預(yù)先存儲(chǔ)于記錄媒體329的左眼用及右眼用圖像Gl、G2的視差。在如上構(gòu)成的復(fù)眼照相機(jī)301中，執(zhí)行第一實(shí)施方式中說(shuō)明的第一或第二視差調(diào)整例程或第二實(shí)施方式中說(shuō)明的第三視差調(diào)整例程。此外，左眼用及第二視差調(diào)整例程的程序被預(yù)先存儲(chǔ)于內(nèi)部存儲(chǔ)器327。此外，本發(fā)明不限于上述的實(shí)施方式，在權(quán)利要求范圍所記載的事項(xiàng)的范圍內(nèi)可以進(jìn)行設(shè)計(jì)變更。例如，在上述的第一及第二實(shí)施方式中，代替直接取得視差量，作為一例也可以取得圖20所示那樣的視差關(guān)聯(lián)信息。
圖21A及圖21B是用于說(shuō)明視差關(guān)聯(lián)信息的圖。視差關(guān)聯(lián)信息對(duì)于每幀的左眼圖像(左眼用圖像Gl)及右眼圖像(右眼用圖像G2)，相應(yīng)的是特征點(diǎn)A的坐標(biāo)群、特征臉A的坐標(biāo)群、特征臉B的坐標(biāo)群、波動(dòng)有無(wú)等信息。而且，也可以使用這些視差關(guān)聯(lián)信息進(jìn)行視
差調(diào)整。另外，在上述第一及第二實(shí)施方式中，使用液晶快門(mén)眼鏡14使用戶(hù)視覺(jué)確認(rèn)體視圖像，在上述第三實(shí)施方式中，例舉通過(guò)使用雙凸透鏡片42使用戶(hù)視覺(jué)確認(rèn)體視圖像的情況的方式例作了說(shuō)明，但不限于此，例如，也可以對(duì)上述第一及第二實(shí)施方式中說(shuō)明的顯示裝置12的監(jiān)視器12A應(yīng)用雙凸透鏡片42，并且如上述第三實(shí)施方式中所說(shuō)明那樣通過(guò)生成體視圖像GR并顯示于監(jiān)視器12A，使用戶(hù)不使用液晶快門(mén)眼鏡14而視覺(jué)確認(rèn)體視圖像。另外，代替在上述第三實(shí)施方式中說(shuō)明的在復(fù)眼照相機(jī)301的監(jiān)視器307設(shè)置雙凸透鏡片42，也可以將左眼用圖像Gl和右眼用圖像G2交替顯示于監(jiān)視器307，并且如上述第一及第二實(shí)施方式中所說(shuō)明那樣通過(guò)使用液晶快門(mén)眼鏡14使用戶(hù)視覺(jué)確認(rèn)體視圖像。
另外，在上述各實(shí)施方式中，例舉基于同一人物的臉區(qū)域取得視差量的方式例進(jìn)行了說(shuō)明，但不限于此，例如也可以將狗或貓等頭的臉區(qū)域、或特定的動(dòng)物或植物的特征部分的輪廓、或生物以外的物(例如汽車(chē)、電車(chē)、及建筑物等)的特征部分的輪廓作為視差量的取得對(duì)象而應(yīng)用。該情況下，例舉以下方式例預(yù)先準(zhǔn)備存儲(chǔ)有表示取得對(duì)象的圖像的特征的特征量數(shù)據(jù)的模式匹配用的圖像詞典，使用該圖像詞典特定取得對(duì)象，算出該特定了的取得對(duì)象的視差量。此外，圖像詞典優(yōu)選由用戶(hù)自定義的方式。該情況下，可以示例以下的圖像詞典用戶(hù)能夠進(jìn)行特征量數(shù)據(jù)向圖像詞典的追加注冊(cè)及從圖像詞典的刪除，其中該特征量數(shù)據(jù)表示作為視差量的取得對(duì)象而指定了的事物的圖像的特征。另外，也可以將視差量的取得對(duì)象設(shè)為基于在每幀以規(guī)定值的空間頻率(邊緣成分)規(guī)定的閉曲線(xiàn)包圍的區(qū)域(閉曲線(xiàn)區(qū)域)的被攝體像，也可以將視差量的取得對(duì)象設(shè)為基于在每幀以超過(guò)規(guī)定空間頻率的空間頻率(規(guī)定值)的空間頻率規(guī)定的閉曲線(xiàn)區(qū)域的被攝體像。此外,該被攝體像也可以是以幀內(nèi)的規(guī)定空間頻率以上的空間頻率規(guī)定的閉曲線(xiàn)區(qū)域本身，也可以是將以規(guī)定值的空間頻率規(guī)定的閉曲線(xiàn)區(qū)域包圍的最小矩形或最小圓形等幾何學(xué)形狀內(nèi)的區(qū)域，也可以是使閉曲線(xiàn)區(qū)域根據(jù)規(guī)定的算法變形而得到的區(qū)域。這樣，視差量的取得對(duì)象只要是每幀被預(yù)先決定了的被攝體像，則可以是任意的。此外，日本專(zhuān)利申請(qǐng)第2010 — 149859號(hào)的公開(kāi)其整體通過(guò)參照被并入本說(shuō)明書(shū)。另外，就本說(shuō)明書(shū)中記載的所有的文獻(xiàn)、專(zhuān)利申請(qǐng)及技術(shù)規(guī)格而言，與各文獻(xiàn)、專(zhuān)利申請(qǐng)及技術(shù)規(guī)格通過(guò)參照而并入的部分被具體且各自記載情況下相同程度地通過(guò)參照被并入本說(shuō)明書(shū)中。
權(quán)利要求
1.一種重放裝置，包括 輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像； 視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得視差量； 異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常； 視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；以及 輸出部，輸出由所述視差調(diào)整部進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。
2.如權(quán)利要求I所述的重放裝置，其中， 在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部在預(yù)先決定的視差量最大變化量的范圍內(nèi)進(jìn)行視差調(diào)整。
3.如權(quán)利要求I或2所述的重放裝置，其中， 在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部使用前幀的視差量進(jìn)行視差調(diào)整。
4.如權(quán)利要求I 3中任一項(xiàng)所述的重放裝置，其中， 在由所述異常判定部判定為所述視差量有異常的情況下，所述視差調(diào)整部降低視差調(diào)整頻度。
5.如權(quán)利要求I 4中任一項(xiàng)所述的重放裝置，其中， 所述視差量取得部基于在所述幀圖像內(nèi)作為視差量的取得對(duì)象的被攝體像而被預(yù)先決定的被攝體像取得視差量。
6.如權(quán)利要求5所述的重放裝置，其中， 將所述被預(yù)先決定的被攝體像設(shè)為基于所述幀圖像內(nèi)的以規(guī)定值的空間頻率所規(guī)定的閉曲線(xiàn)區(qū)域的被攝體像。
7.一種重放裝置，包括 輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像； 視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量; 異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常； 視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整；以及 輸出部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在由所述異常判定部判定為所述視差量有異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。
8.如權(quán)利要求7所述的重放裝置，其中， 所述視差調(diào)整部將在與所述幀圖像的圖像面垂直的方向上與所述規(guī)定物體距離最近的物體設(shè)為所述其它物體。
9.如權(quán)利要求7所述的重放裝置，其中， 所述視差調(diào)整部將在所述幀圖像的圖像面上與所述規(guī)定物體距離最近的物體設(shè)為所述其它物體。
10.如權(quán)利要求7 9中任一項(xiàng)所述的重放裝置，其中， 將所述規(guī)定物體及所述其它物體的至少一方設(shè)為基于所述幀圖像內(nèi)的以規(guī)定值的空間頻率所規(guī)定的閉曲線(xiàn)區(qū)域的被攝體像。
11.如權(quán)利要求I 10中任一項(xiàng)所述的重放裝置，其中， 還包括顯示部，將由所述輸出部輸出的所述幀圖像以作為體視圖像而被視覺(jué)確認(rèn)的方式進(jìn)行顯示。
12.—種復(fù)眼攝像裝置，包括 權(quán)利要求I 11中任一項(xiàng)所述的重放裝置；以及 攝像部，通過(guò)從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而生成所述連續(xù)幀圖像。
13.—種重放方法，其中， 輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像， 基于構(gòu)成所輸入的連續(xù)幀圖像的幀圖像取得視差量， 在所述取得的所述視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常， 在判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整， 輸出進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。
14.一種重放方法，其中， 輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像， 基于構(gòu)成所輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量， 在所述取得的所述視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常， 在判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的第一視差調(diào)整，在判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整， 在判定為所述視差量無(wú)異常的情況下，輸出包含進(jìn)行了所述視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在判定為所述視差量有異常的情況下，輸出包含進(jìn)行了所述視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。
15.一種程序，用于使計(jì)算機(jī)作為以下部分而起作用 輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像； 視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得視差量；異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常； 視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；以及 輸出部，輸出由所述視差調(diào)整部進(jìn)行了所述視差調(diào)整的所述連續(xù)幀圖像。
16.一種程序，用于使計(jì)算機(jī)作為以下部分而起作用 輸入部，輸入從多個(gè)視點(diǎn)以連續(xù)幀拍攝同一被攝體而得到的多個(gè)視點(diǎn)的連續(xù)幀圖像； 視差量取得部，基于構(gòu)成由所述輸入部輸入的連續(xù)幀圖像的幀圖像取得規(guī)定物體的視差量; 異常判定部，在由所述視差量取得部取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、所述視差量達(dá)到預(yù)先決定的容許界限值的情況、及未能檢測(cè)到所述視差量的取得對(duì)象的情況中的至少一種情況下，判定為所述視差量有異常； 視差調(diào)整部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，進(jìn)行所述規(guī)定物體的視差調(diào)整，在由所述異常判定部判定為所述視差量有異常的情況下，以與所述規(guī)定物體不同的其它物體為對(duì)象，進(jìn)行視差調(diào)整； 輸出部，在由所述異常判定部判定為所述視差量無(wú)異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述規(guī)定物體在內(nèi)的所述幀圖像，在由所述異常判定部判定為所述視差量有異常的情況下，輸出包含由所述視差調(diào)整部進(jìn)行了視差調(diào)整的所述其它物體在內(nèi)的所述幀圖像。
全文摘要
即使在根據(jù)多個(gè)視點(diǎn)圖像求出的視差量自身存在問(wèn)題的情況下或不能檢測(cè)到視差調(diào)整對(duì)象的情況下也能夠適宜地進(jìn)行視差調(diào)整。具備三維處理部(28)，基于多個(gè)視點(diǎn)圖像取得視差量；CPU(32)，在取得的視差量的一定期間的變動(dòng)大于規(guī)定值的情況、視差量到達(dá)規(guī)定容許界限值的情況、及不能檢測(cè)視差量的取得對(duì)象的情況中的至少一種情況下，判定為視差量有異常，在這些情況的任一種均不存在的情況下，判定為視差量無(wú)異常，在判定為視差量無(wú)異常的情況下，進(jìn)行第一視差調(diào)整，在判定為視差量有異常的情況下，切換為與所述第一視差調(diào)整的控制不同的第二視差調(diào)整的控制而進(jìn)行視差調(diào)整；監(jiān)視器(12A)，顯示基于進(jìn)行了視差調(diào)整的多個(gè)視點(diǎn)圖像的體視圖像。
文檔編號(hào)G03B35/24GK102972036SQ20118003176
公開(kāi)日2013年3月13日 申請(qǐng)日期2011年4月12日 優(yōu)先權(quán)日2010年6月30日
發(fā)明者森光司 申請(qǐng)人:富士膠片株式會(huì)社