專(zhuān)利名稱(chēng)：多眼攝像裝置及多眼攝像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多眼攝像裝置及多眼攝像方法。本申請(qǐng)基于2009年12月24日在日本申請(qǐng)的特愿2009-291624號(hào)主張優(yōu)先權(quán)，并在此援引其內(nèi)容。
背景技術(shù)：
近年，高畫(huà)質(zhì)的數(shù)字靜止照相機(jī)或數(shù)碼攝像機(jī)(以下稱(chēng)作數(shù)碼相機(jī))得到快速普及。此外，同時(shí)也正在推進(jìn)數(shù)碼相機(jī)的小型化、薄型化的開(kāi)發(fā)，開(kāi)始在移動(dòng)電話機(jī)等中搭載小型且高畫(huà)質(zhì)的數(shù)碼相機(jī)。以數(shù)碼相機(jī)為代表的攝像裝置由使像成像的透鏡光學(xué)系統(tǒng)、對(duì)成像后的光進(jìn)行光電變換來(lái)輸出電信號(hào)的攝像元件構(gòu)成。作為攝像元件，使用CMOS (Complementary Metal Oxide Semiconductor :互補(bǔ)金屬氧化物半導(dǎo)體)傳感器或CCD(Charge Coupled Device :電荷稱(chēng)合元件)傳感器等電子設(shè)備。這些攝像元件對(duì)在攝像面上成像的光量分布進(jìn)行光電變換并記錄為攝影圖像。為了除去象差，透鏡光學(xué)系統(tǒng)大多由多片非球面透鏡構(gòu)成。并且，在具有變焦功能的情況下，需要改變多個(gè)透鏡與攝像元件的間_的驅(qū)動(dòng)機(jī)構(gòu)(actuator)。另ー方面，根據(jù)攝像裝置的高畫(huà)質(zhì)化、高性能化的要求，正在推進(jìn)攝像元件的多像素化、高精細(xì)化，且正在推進(jìn)成像光學(xué)系統(tǒng)的低象差、高精度化。伴隨于此，攝像裝置變大，表現(xiàn)出難以實(shí)現(xiàn)小型化、薄型化的課題。面對(duì)這種課題，提出了在透鏡光學(xué)系統(tǒng)中采用復(fù)眼結(jié)構(gòu)的技術(shù)、或由多個(gè)攝像元件和透鏡光學(xué)系統(tǒng)構(gòu)成的攝像裝置。例如，提出了由平面狀配置的固體透鏡陣列、液晶透鏡陣列、攝像元件構(gòu)成的攝像透鏡裝置(例如參照專(zhuān)利文獻(xiàn)I)。該攝像透鏡裝置如圖19所示，由具有透鏡陣列2001及相同數(shù)量的可變焦點(diǎn)型液晶透鏡陣列2002的透鏡系統(tǒng)、攝像元件2003、運(yùn)算裝置2004、液晶驅(qū)動(dòng)裝置2005構(gòu)成。攝像元件2003對(duì)通過(guò)該透鏡系統(tǒng)成像的光學(xué)像進(jìn)行攝像。運(yùn)算裝置2004對(duì)由攝像元件2003獲得的多個(gè)圖像進(jìn)行圖像處理來(lái)重構(gòu)整體圖像。液晶驅(qū)動(dòng)裝置2005從運(yùn)算裝置2004中檢測(cè)焦點(diǎn)信息來(lái)驅(qū)動(dòng)液晶透鏡陣列2002。通過(guò)該結(jié)構(gòu)，能夠?qū)崿F(xiàn)焦距變短的小型且薄型的攝像透鏡裝置。此外，還提出了通過(guò)組合由攝像透鏡、濾色器、檢測(cè)器陣列構(gòu)成的4個(gè)子相機(jī)而具有子像素分辨率的薄型彩色照相機(jī)(例如參照專(zhuān)利文獻(xiàn)2)。該薄型彩色照相機(jī)200如圖20A及圖20B所示，由透鏡220、濾色器250、檢測(cè)器陣列240構(gòu)成。透鏡220具備4個(gè)透鏡220a 220d。濾色器250具備4個(gè)濾色器250a 250d。濾色器250如圖20B所示，由透過(guò)紅色光(R)的濾色器250a、透過(guò)綠色光(G)的濾色器250b和250c、透過(guò)藍(lán)色光(B)的濾色器250d構(gòu)成。檢測(cè)器陣列240拍攝紅色、緑色、藍(lán)色的圖像。該結(jié)構(gòu)中，能夠由在人的視覺(jué)系統(tǒng)中具有高的靈敏度的緑色的2個(gè)圖像形成高分辨率的合成圖像，并組合紅色和藍(lán)色來(lái)獲得全彩色圖像。在根據(jù)由這些照相機(jī)拍攝的多個(gè)圖像合成高分辨率圖像的情況下，需要在各圖像中搜索對(duì)相同區(qū)域進(jìn)行了攝像的對(duì)應(yīng)點(diǎn)來(lái)進(jìn)行合成。然而，由于會(huì)產(chǎn)生一個(gè)照相機(jī)能夠進(jìn)行拍攝但另ー個(gè)照相機(jī)隱藏于物體的背陰處而無(wú)法進(jìn)行拍攝的被稱(chēng)作閉塞(occlusion)的區(qū)域，因此有時(shí)無(wú)法求出對(duì)應(yīng)點(diǎn)。該閉塞區(qū)域會(huì)導(dǎo)致出現(xiàn)因?qū)?yīng)點(diǎn)的誤搜索而高精細(xì)合成圖像的品質(zhì)劣化的問(wèn)題。為了解決這種問(wèn)題，公知有如下的復(fù)眼攝像裝置在根據(jù)基準(zhǔn)圖像和參照?qǐng)D像合成高精細(xì)圖像的處理中，對(duì)無(wú)法求出成對(duì)的對(duì)應(yīng)點(diǎn)的區(qū)域，將基準(zhǔn)圖像的對(duì)應(yīng)點(diǎn)用作合成圖像生成數(shù)據(jù)，而不會(huì)將參照?qǐng)D像的對(duì)應(yīng)點(diǎn)用作合成圖像生成數(shù)據(jù)(例如參照專(zhuān)利文獻(xiàn)3)。該復(fù)眼攝像裝置具備閉塞區(qū)域判斷部，其在根據(jù)左攝像系統(tǒng)和右攝像系統(tǒng)的2個(gè)圖像來(lái)合成高精細(xì)圖像的處理中，判定是否存在無(wú)法求出對(duì)應(yīng)點(diǎn)的閉塞區(qū)域。專(zhuān)利文獻(xiàn)3公開(kāi)了在該閉塞區(qū)域中不將一方的圖像用作合成圖像數(shù)據(jù)的處理。通過(guò)該結(jié)構(gòu)，能夠省略產(chǎn)生閉塞的區(qū)域的處理順序，并且能夠抑制因誤對(duì)應(yīng)引起的畫(huà)質(zhì)劣化。(在先技術(shù)文獻(xiàn))專(zhuān)利文獻(xiàn)I :日本特開(kāi)2006-251613號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 :日本特表2007-520166號(hào)公報(bào) 專(zhuān)利文獻(xiàn)3 :日本特開(kāi)平6-141237號(hào)公報(bào)

發(fā)明內(nèi)容
(發(fā)明所要解決的課題)專(zhuān)利文獻(xiàn)3的復(fù)眼攝像裝置利用了由左右2個(gè)照相機(jī)構(gòu)成的復(fù)眼攝像裝置，但是照相機(jī)的數(shù)量并不限于2個(gè)，可以是3個(gè)以上。但是，在具備了 3個(gè)以上照相機(jī)的情況下，由于要在所有的照相機(jī)對(duì)中進(jìn)行對(duì)應(yīng)點(diǎn)捜索，因此會(huì)產(chǎn)生増大與照相機(jī)對(duì)的數(shù)量的倍數(shù)相對(duì)應(yīng)的處理量的問(wèn)題。在專(zhuān)利文獻(xiàn)3中，作為公知的對(duì)應(yīng)點(diǎn)的捜索方法，說(shuō)明了模板匹配，SP，比較以基準(zhǔn)圖像的某一點(diǎn)為中心包圍的塊與參照?qǐng)D像中的塊的類(lèi)似度，將類(lèi)似度最高的塊的中心像素檢測(cè)為對(duì)應(yīng)點(diǎn)。但是，該檢測(cè)方法不僅隨著照相機(jī)的分辨率的提高而處理量變大，而且為了合成高精細(xì)圖像需要以超過(guò)照相機(jī)分辨率的精度、即所謂的子像素精度來(lái)檢測(cè)對(duì)應(yīng)點(diǎn)。因此，與高精細(xì)合成處理相比，該對(duì)應(yīng)點(diǎn)檢測(cè)處理的處理量格外大。在專(zhuān)利文獻(xiàn)3的結(jié)構(gòu)中，若為了高精細(xì)化而増加照相機(jī)數(shù)量，則會(huì)相應(yīng)地增加對(duì)應(yīng)點(diǎn)檢測(cè)處理量。例如，在拍攝運(yùn)動(dòng)圖像時(shí)，需要在I像素時(shí)鐘的時(shí)間內(nèi)檢測(cè)對(duì)應(yīng)點(diǎn)，存在很難在該時(shí)間內(nèi)在所有照相機(jī)之間進(jìn)行高精度的對(duì)應(yīng)點(diǎn)檢測(cè)的問(wèn)題。I像素時(shí)鐘具體而言在1080/60P的高清電視運(yùn)動(dòng)圖像拍攝中是 O. 007 Us0本發(fā)明鑒于這種情況而完成，其目的在于提供ー種多眼攝像裝置及多眼攝像方法，在利用了 3個(gè)以上的照相機(jī)的高精細(xì)合成處理中，能夠?qū)崿F(xiàn)在未大幅増加處理量的情況下抑制未能進(jìn)行對(duì)應(yīng)點(diǎn)搜索的閉塞區(qū)域或?qū)?yīng)點(diǎn)檢測(cè)錯(cuò)誤區(qū)域的畫(huà)質(zhì)劣化。此外，目的在于提供ー種多眼攝像裝置及多眼攝像方法，將因未能進(jìn)行對(duì)應(yīng)點(diǎn)搜索而無(wú)法實(shí)現(xiàn)高精細(xì)化的區(qū)域表現(xiàn)成接近由人的左右兩眼看到的視覺(jué)心理景象，從而能夠?qū)崿F(xiàn)整個(gè)高精細(xì)合成圖像的美觀。(用于解決課題的手段)(I)本發(fā)明的ー個(gè)方式的多眼攝像裝置具備對(duì)圖像進(jìn)行攝像的多個(gè)系統(tǒng)的攝像部；距離計(jì)算部，其基于所述攝像部之中作為基準(zhǔn)的第I攝像部的輸出影像、和不同于所述第I攝像部的所述多個(gè)系統(tǒng)的攝像部中的至少I(mǎi)個(gè)攝像部的輸出影像，計(jì)算到被攝體的距離信息；多眼影像合成處理部，針對(duì)在所述距離計(jì)算部中計(jì)算出了距離信息的區(qū)域，基于該距離信息，根據(jù)所述多個(gè)系統(tǒng)的攝像部的輸出影像來(lái)生成合成影像；和単眼影像合成處理部，其針對(duì)在所述距離計(jì)算部中未能計(jì)算出距離信息的區(qū)域，根據(jù)所述第I攝像部的輸出影像來(lái)生成合成影像，所述距離計(jì)算部根據(jù)所述第I攝像部的輸出影像、和不同于所述第I攝像部的第2攝像部的輸出影像來(lái)計(jì)算到被攝體的第I距離信息，在存在未能計(jì)算出所述第I距離信息的區(qū)域的情況下，針對(duì)未能計(jì)算出該第I距離信息的區(qū)域，至少進(jìn)行I次根據(jù)所述多個(gè)系統(tǒng)的攝像部中未用于距離計(jì)算的攝像部的輸出影像和所述第I攝像部的輸出影像來(lái)計(jì)算到被攝體的距離信息的再次計(jì)算。

(2)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以以規(guī)定比例降低未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度來(lái)生成所述合成圖像。(3)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度比與該區(qū)域相鄰且位于前方的區(qū)域的亮度值低，來(lái)生成所述合成圖像。(4)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度和與該區(qū)域相鄰且位于后方側(cè)的區(qū)域的亮度值一致，來(lái)生成所述合成圖像。(5)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以以規(guī)定比例降低未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度，來(lái)生成所述合成圖像(6)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度比與該區(qū)域相鄰且位于前方的區(qū)域的彩度低，來(lái)生成所述合成圖像。(7)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度和與該區(qū)域相鄰且位于后方側(cè)的區(qū)域的彩度一致，來(lái)生成所述合成圖像。(8)本發(fā)明的ー個(gè)方式的多眼攝像裝置的所述單眼影像合成處理部，可以抑制未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度變化來(lái)生成所述合成圖像。(9)本發(fā)明的另一方式的多眼攝像方法，基于對(duì)圖像進(jìn)行攝像的多個(gè)系統(tǒng)的攝像部之中作為基準(zhǔn)的第I攝像部的輸出影像、和不同于所述第I攝像部的所述多個(gè)系統(tǒng)的攝像部中的至少I(mǎi)個(gè)攝像部的輸出影像，計(jì)算到被攝體的距離信息，針對(duì)計(jì)算出了距離信息的區(qū)域，基于該距離信息，根據(jù)所述多個(gè)系統(tǒng)的攝像部的輸出影像來(lái)生成合成影像，針對(duì)未能計(jì)算出距離信息的區(qū)域，根據(jù)所述第I攝像部的輸出影像來(lái)生成合成影像，在計(jì)算所述距離信息時(shí)，根據(jù)所述第I攝像部的輸出影像、和不同于所述第I攝像部的第2攝像部的輸出影像來(lái)計(jì)算到被攝體的第I距離信息，在存在未能計(jì)算出所述第I距離信息的區(qū)域的情況下，針對(duì)未能計(jì)算出該第I距離信息的區(qū)域，至少進(jìn)行I次根據(jù)所述多個(gè)系統(tǒng)的攝像部中未用于距離計(jì)算的攝像部的輸出影像和所述第I攝像部的輸出影像來(lái)計(jì)算到被攝體的距離信息的再次計(jì)算。(發(fā)明效果)根據(jù)本發(fā)明，在使用了 2個(gè)或更多的照相機(jī)的高精細(xì)合成處理中，能夠?qū)崿F(xiàn)在未大幅増加處理量的情況下抑制未能進(jìn)行對(duì)應(yīng)點(diǎn)搜索的閉塞區(qū)域或?qū)?yīng)點(diǎn)檢測(cè)錯(cuò)誤區(qū)域的畫(huà)質(zhì)劣化。此外，能夠?qū)⒁蛭茨苓M(jìn)行對(duì)應(yīng)點(diǎn)搜索而無(wú)法實(shí)現(xiàn)高精細(xì)化的區(qū)域表現(xiàn)成接近由人的左右兩眼看到的視覺(jué)心理景象，從而能夠?qū)崿F(xiàn)整個(gè)高精細(xì)合成圖像整體的美觀。


圖I是本發(fā)明的第I實(shí)施方式中的多眼攝像裝置的示意圖。圖2是第I實(shí)施方式中的多眼攝像裝置的整體框圖。圖3是第I實(shí)施方式中的多眼攝像裝置的距離計(jì)算部的框圖。圖4是表示第I實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索處理的示意圖。圖5是表示第I實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索處理的示意圖。圖6是表示第I實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索處理的示意圖。圖7是表示第I實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索處理的示意圖。圖8是第I實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索處理的流程圖。圖9是第I實(shí)施方式的多眼攝像裝置的影像處理部的框圖。圖10是說(shuō)明第I實(shí)施方式的多眼攝像裝置的多眼影像合成處理部的動(dòng)作的示意圖。圖11是說(shuō)明第I實(shí)施方式的多眼攝像裝置的4眼合成處理部的動(dòng)作的示意圖。圖12是第I實(shí)施方式的多眼攝像裝置的閉塞區(qū)域的說(shuō)明、以及說(shuō)明単眼影像合成處理部的動(dòng)作的示意圖。圖13是第I實(shí)施方式的多眼攝像裝置的閉塞區(qū)域的說(shuō)明、以及說(shuō)明単眼影像合成處理部的動(dòng)作的示意圖。圖14是說(shuō)明第I實(shí)施方式的多眼攝像裝置的影像處理部的動(dòng)作的流程圖。圖15是第2實(shí)施方式中的多眼攝像裝置的整體框圖。圖16是第2實(shí)施方式中的多眼攝像裝置的距離計(jì)算部的框圖。圖17是表示第2實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索方法的示意圖。圖18是表示第2實(shí)施方式中的多眼攝像裝置的對(duì)應(yīng)點(diǎn)捜索方法的示意圖。圖19是表示現(xiàn)有的多眼攝像裝置的結(jié)構(gòu)的框圖。圖20A是表示另ー現(xiàn)有的多眼攝像裝置的結(jié)構(gòu)的框圖。圖20B是表示圖20A的多眼攝像裝置的濾色器的結(jié)構(gòu)的示意圖。
具體實(shí)施例方式<第I實(shí)施方式>以下，參照

本發(fā)明的第I實(shí)施方式的多眼攝像裝置。圖I是表示本發(fā)明的第I實(shí)施方式的多眼攝像裝置的概況的圖。圖2是表示該實(shí)施方式的多眼攝像裝置的結(jié)構(gòu)的框圖。如圖I所示，本實(shí)施方式的多眼攝像裝置10具備4系統(tǒng)的攝像部101、102、103、104。各攝像部101、102、103、104具備攝像透鏡11和攝像元件12。攝像透鏡11將來(lái)自被攝體的光成像在攝像元件12上，并將成像后的圖像例如在CMOS攝像元件等攝像元件12中進(jìn)行光電變換之后作為影像信號(hào)V1、V2、V3、V4來(lái)輸出。通過(guò)由4個(gè)攝像部101、102、103、 104的每ー個(gè)進(jìn)行拍攝，從而向影像處理部20輸入分別從4系統(tǒng)的攝像部101、102、103、104輸出的影像信號(hào)VI、V2、V3、V4。此外，還將4系統(tǒng)的影像信號(hào)VI、V2、V3、V4中的從2個(gè)攝像部101、102輸出的影像信號(hào)V1、V2同時(shí)向距離計(jì)算部21輸入。距離計(jì)算部21根據(jù)輸入的2個(gè)影像信號(hào)VI、V2進(jìn)行對(duì)應(yīng)點(diǎn)搜索，井根據(jù)該搜索結(jié)果計(jì)算出2個(gè)攝像部間的視差數(shù)據(jù)Dl之后輸出到影像處理部20。影像處理部20基于從距離計(jì)算部21輸出的視差數(shù)據(jù)Dl，對(duì)輸入的影像信號(hào)VI、V2、V3、V4進(jìn)行合成處理來(lái)輸出高精細(xì)影像V5。接著，參照?qǐng)D3，說(shuō)明圖2所示的距離計(jì)算部21的結(jié)構(gòu)。圖3是表示根據(jù)圖2所 示的攝像部101中拍攝到的圖像Vl (以下稱(chēng)作基準(zhǔn)圖像)、和攝像部102中拍攝到的圖像V2(以下稱(chēng)作參照?qǐng)D像)計(jì)算出視差數(shù)據(jù)Dl的距離計(jì)算部21的結(jié)構(gòu)的框圖。2個(gè)坐標(biāo)變換部31、32以使基準(zhǔn)圖像和參照?qǐng)D像的圖像平面處于同一平面上為目的，對(duì)兩圖像進(jìn)行幾何學(xué)變換(坐標(biāo)變換)而使核線(bipolar lines)平行化。照相機(jī)參數(shù)30中預(yù)先保持了攝像部101固有的焦距、透鏡形變參數(shù)等內(nèi)部參數(shù)及表示4個(gè)攝像部101、102、103、104間的位置關(guān)系的外部參數(shù)。將在后面詳細(xì)敘述照相機(jī)參數(shù)。同樣，坐標(biāo)變換部32保持了攝像部102固有的照相機(jī)參數(shù)(省略圖示)。對(duì)應(yīng)點(diǎn)捜索部33捜索核線平行后的基準(zhǔn)圖像與參照?qǐng)D像的對(duì)應(yīng)像素，求出參照?qǐng)D像相對(duì)于基準(zhǔn)圖像的視差數(shù)據(jù)Dl并輸出。接著，參照?qǐng)D4 圖7，說(shuō)明搜索對(duì)應(yīng)像素的處理動(dòng)作。圖4及圖5分別表示參照?qǐng)D像Pl及基準(zhǔn)圖像P2的核線平行化后的圖像平面。說(shuō)明為了求出與基準(zhǔn)圖像P2上的像素對(duì)應(yīng)的參照?qǐng)D像Pl上的像素(對(duì)應(yīng)像素)，利用圖5所示的基準(zhǔn)圖像P2的圖來(lái)說(shuō)明基準(zhǔn)圖像P2上的關(guān)注像素的移動(dòng)方法。使以基準(zhǔn)圖像P2上的關(guān)注像素為中心的塊(以下稱(chēng)作關(guān)注塊)從圖像左上角(搜索開(kāi)始?jí)KBI)依次向右側(cè)的行方向按每I像素移動(dòng)，在移動(dòng)的關(guān)注塊到達(dá)了行的右端的情況下，使關(guān)注塊從下I行的左側(cè)依次向右側(cè)的行方向移動(dòng)。反復(fù)執(zhí)行該動(dòng)作直至基準(zhǔn)圖像右下角的塊(捜索結(jié)束塊B2)為止。接著，利用圖4所示的參照?qǐng)D像Pl的圖，說(shuō)明捜索與圖5所示的基準(zhǔn)圖像P2上的某I個(gè)關(guān)注塊(基準(zhǔn)關(guān)注塊B3)類(lèi)似的參照?qǐng)D像Pl上的塊的處理動(dòng)作。從與圖5所示的基準(zhǔn)圖像P2上的基準(zhǔn)關(guān)注塊B3的坐標(biāo)(X、y)相同坐標(biāo)的參照?qǐng)D像Pl上的塊(參照關(guān)注塊B4)依次向右側(cè)的行方向使參照關(guān)注塊按每I像素移動(dòng)，并反復(fù)執(zhí)行該動(dòng)作直至圖4所示的參照?qǐng)D像上的搜索結(jié)束塊B5為止。在此搜索的范圍(搜索范圍Rl)是由拍攝到的被攝體的最大視差決定的值，根據(jù)設(shè)定的捜索范圍，決定到可計(jì)算出視差數(shù)據(jù)Dl的被攝體為止的最短的距離。對(duì)圖5所示的基準(zhǔn)圖像P2上的各基準(zhǔn)關(guān)注塊B3進(jìn)行以上的參照關(guān)注塊B4的搜索。接著，參照?qǐng)D6及圖7，說(shuō)明與基準(zhǔn)關(guān)注塊B3類(lèi)似的參照關(guān)注塊B4的決定方法。圖7表不基準(zhǔn)關(guān)注塊B3,表不以基準(zhǔn)圖像P2上的關(guān)注像素為中心的橫M像素X縱N像素(M、N是規(guī)定的自然數(shù))尺寸的塊。圖6表示參照關(guān)注塊B4，表示以參照?qǐng)D像Pl上的關(guān)注像素為中心的橫MX縱N尺寸的塊。為了表示圖6所示的參照關(guān)注塊B4及圖7所示的基準(zhǔn)關(guān)注塊B3上的任意的像素，將橫方向設(shè)為i、縱方向設(shè)為j時(shí)的坐標(biāo)(i、j)的像素值分別設(shè)為R(i、j)、T(i、j)。求出類(lèi)似度的方法使用一般使用較多的SAD (Sum of AbsoluteDifference:差分絕對(duì)和)。如(I)式所示的類(lèi)似度判定式，SAD是針對(duì)塊的全部像素求出R(i、j)與T(i、j)的差分的絕對(duì)值并將它們合計(jì)之后的值(SSAD)。與基準(zhǔn)關(guān)注塊B3類(lèi)似的參照關(guān)注塊B4的決定，是將在前述的圖4所示的參照?qǐng)D像Pl上的搜索范圍Rl內(nèi)的各參照關(guān)注塊B4之中SSAD的值最小的參照關(guān)注塊B4決定為與基準(zhǔn)關(guān)注塊B3類(lèi)似。
(數(shù)學(xué)式I)
權(quán)利要求
1.ー種多眼攝像裝置，具備 對(duì)圖像進(jìn)行攝像的多個(gè)系統(tǒng)的攝像部； 距離計(jì)算部，其基于所述攝像部之中作為基準(zhǔn)的第I攝像部的輸出影像、和不同于所述第I攝像部的所述多個(gè)系統(tǒng)的攝像部中的至少I(mǎi)個(gè)攝像部的輸出影像，計(jì)算到被攝體的距離信息； 多眼影像合成處理部，其針對(duì)在所述距離計(jì)算部中計(jì)算出了距離信息的區(qū)域，基于該距離信息，根據(jù)所述多個(gè)系統(tǒng)的攝像部的輸出影像來(lái)生成合成影像；和 単眼影像合成處理部，其針對(duì)在所述距離計(jì)算部中未能計(jì)算出距離信息的區(qū)域，根據(jù)所述第I攝像部的輸出影像來(lái)生成合成影像， 所述距離計(jì)算部根據(jù)所述第I攝像部的輸出影像、和不同于所述第I攝像部的第2攝像部的輸出影像來(lái)計(jì)算到被攝體的第I距離信息，在存在未能計(jì)算出所述第I距離信息的區(qū)域的情況下，針對(duì)未能計(jì)算出該第I距離信息的區(qū)域，至少進(jìn)行I次根據(jù)所述多個(gè)系統(tǒng)的攝像部中未用于距離計(jì)算的攝像部的輸出影像和所述第I攝像部的輸出影像來(lái)計(jì)算到被攝體的距離信息的再次計(jì)算。
2.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部以規(guī)定比例降低未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度，來(lái)生成所述合成圖像。
3.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度比與該區(qū)域相鄰且位于前方的區(qū)域的亮度值低，來(lái)生成所述合成圖像。
4.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度和與該區(qū)域相鄰且位于后方側(cè)的區(qū)域的亮度值一致，來(lái)生成所述合成圖像。
5.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部以規(guī)定比例降低未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度，來(lái)生成所述合成圖像。
6.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度比與該區(qū)域相鄰且位于前方的區(qū)域的彩度低，來(lái)生成所述合成圖像。
7.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部使未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的彩度和與該區(qū)域相鄰且位于后方側(cè)的區(qū)域的彩度一致，來(lái)生成所述合成圖像。
8.根據(jù)權(quán)利要求I所述的多眼攝像裝置，其中， 所述單眼影像合成處理部抑制未能由所述距離計(jì)算部計(jì)算出距離信息的區(qū)域的亮度變化，來(lái)生成所述合成圖像。
9.ー種多眼攝像方法，其中， 基于對(duì)圖像進(jìn)行攝像的多個(gè)系統(tǒng)的攝像部之中作為基準(zhǔn)的第I攝像部的輸出影像、和不同于所述第I攝像部的所述多個(gè)系統(tǒng)的攝像部中的至少I(mǎi)個(gè)攝像部的輸出影像，計(jì)算到被攝體的距離信息，針對(duì)計(jì)算出了距離信息的區(qū)域，基于該距離信息，根據(jù)所述多個(gè)系統(tǒng)的攝像部的輸出影像來(lái)生成合成影像， 針對(duì)未能計(jì)算出距離信息的區(qū)域，根據(jù)所述第I攝像部的輸出影像來(lái)生成合成影像，在計(jì)算所述距離信息時(shí)，根據(jù)所述第I 攝像部的輸出影像、和不同于所述第I攝像部的第2攝像部的輸出影像來(lái)計(jì)算到被攝體的第I距離信息，在存在未能計(jì)算出所述第I距離信息的區(qū)域的情況下，針對(duì)未能計(jì)算出該第I距離信息的區(qū)域，至少進(jìn)行I次根據(jù)所述多個(gè)系統(tǒng)的攝像部中未用于距離計(jì)算的攝像部的輸出影像和所述第I攝像部的輸出影像來(lái)計(jì)算到被攝體的距離信息的再次計(jì)算。
全文摘要
本發(fā)明提供一種多眼攝像裝置及多眼攝像方法。多眼攝像裝置具備距離計(jì)算部，基于拍攝圖像的多個(gè)系統(tǒng)的攝像部中作為基準(zhǔn)的第1攝像部的輸出影像和不同于第1攝像部的攝像部的輸出影像，計(jì)算到被攝體的距離信息；多眼影像合成處理部，針對(duì)算出了距離信息的區(qū)域，基于該距離信息根據(jù)多個(gè)系統(tǒng)的攝像部的輸出影像生成合成影像；單眼影像合成處理部，針對(duì)未能算出距離信息的區(qū)域，根據(jù)第1攝像部的輸出影像生成合成影像。距離計(jì)算部根據(jù)第1攝像部的輸出影像和不同于第1攝像部的第2攝像部的輸出影像計(jì)算到被攝體的第1距離信息，存在未能計(jì)算出第1距離信息的區(qū)域時(shí)，針對(duì)未能計(jì)算出該第1距離信息的區(qū)域，至少進(jìn)行1次根據(jù)多個(gè)系統(tǒng)的攝像部中未用于距離計(jì)算的攝像部的輸出影像和第1攝像部的輸出影像來(lái)計(jì)算到被攝體的距離信息的再次計(jì)算。
文檔編號(hào)H04N5/225GK102668537SQ201080057930
公開(kāi)日2012年9月12日 申請(qǐng)日期2010年12月22日 優(yōu)先權(quán)日2009年12月24日
發(fā)明者田中誠(chéng)一, 紫村智哉 申請(qǐng)人:夏普株式會(huì)社