專利名稱：成像裝置、圖像校正方法和計(jì)算機(jī)可讀記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本公開的主題涉及能夠從多個(gè)視點(diǎn)(多視點(diǎn))獲取圖像的成像裝置。
背景技術(shù)：
PTL 1公開了一種立體成像裝置，該立體成像裝置包括第一透鏡鏡筒1R，該第一透鏡鏡筒IR具有用于獲得用于右眼的成像信息的CXD 16R ；第二透鏡鏡筒1L，該第二透鏡鏡筒IL具有用于獲得用于左眼的成像信息的CCD 16L ；相機(jī)檢測電路43，該相機(jī)檢測電路 43用于檢測第一透鏡鏡筒IR的焦距和第二透鏡鏡筒IL的焦距；ROM 47，該ROM 47包括 EEPROM，EEPROM用于預(yù)先存儲(chǔ)第一透鏡鏡筒IR和第二透鏡鏡筒IL在各自的焦距上相對(duì)于各自的光軸中心的移位量；以及CPU 46，該CPU 46用于基于ROM 47的輸出來控制CXD 16R 和CXD 16L中的至少一個(gè)中在各自的焦距處的圖像提取區(qū)域。PTL 2公開了一種立體相機(jī)2，該立體相機(jī)2包括第一電位計(jì)25和第二電位計(jì) 35，該第一電位計(jì)25和第二電位計(jì)35分別用于檢測第一可變倍數(shù)透鏡21和第二可變倍數(shù)透鏡31的位置；校正數(shù)據(jù)存儲(chǔ)單元52，校正數(shù)據(jù)存儲(chǔ)單元52用于針對(duì)每個(gè)預(yù)定位置存儲(chǔ)在第一可變倍數(shù)透鏡21和第二可變倍數(shù)透鏡31之間的倍數(shù)差Dl ；電子可變倍數(shù)電路53， 該電子可變倍數(shù)電路53用于基于倍數(shù)差Dl來電子地改變第二圖像數(shù)據(jù)的倍率(對(duì)第二圖像數(shù)據(jù)執(zhí)行數(shù)字變焦(電子變焦))；以及CPU 40，該CPU 40用于從校正數(shù)據(jù)存儲(chǔ)單元52 讀取與檢測到的電位計(jì)25和35的位置相對(duì)應(yīng)的倍數(shù)差D1，并且在電子可變倍數(shù)電路53中設(shè)定所讀取的倍數(shù)差D1，以便于使第一圖像數(shù)據(jù)的成像范圍與第二圖像數(shù)據(jù)的成像范圍匹配。立體相機(jī)2進(jìn)一步包括坐標(biāo)轉(zhuǎn)換電路，該坐標(biāo)轉(zhuǎn)換電路用于將在第一可變倍數(shù)透鏡21 和第二可變倍數(shù)透鏡31之間的光軸坐標(biāo)差存儲(chǔ)在校正數(shù)據(jù)存儲(chǔ)單元52中，并且基于該光軸坐標(biāo)差來轉(zhuǎn)換第二圖像數(shù)據(jù)的坐標(biāo)。在PTL 3中，AF驅(qū)動(dòng)電路2和13分別控制左右成像透鏡1和12的聚焦；CXD 3和 CCD 14的輸出被寫入到電子變焦存儲(chǔ)器6和17 ；微計(jì)算機(jī)23基于與被攝物距離成比例的 AF數(shù)據(jù)來控制電子變焦提取框的提取位置；并且由此，電子地控制輻輳角。另外，在下面的PTL 4至PTL 8中包括了與本公開的主題相關(guān)的其他現(xiàn)有技術(shù)。引用列表專利文獻(xiàn)PTLl 日本公開專利申請(qǐng)公開No. H08-317424PTL2 日本公開專利申請(qǐng)公開No. 2006-162991PTL3 日本公開專利申請(qǐng)公開No. H07-95623PTL4 日本公開專利申請(qǐng)公開No. H06-296252PTL5 日本公開專利申請(qǐng)公開No. 2006-251683PTL6 日本公開專利申請(qǐng)公開No. 2005-20606PTL7 日本公開專利申請(qǐng)公開No. H09-037302PTL8 日本公開專利申請(qǐng)公開No. H08-317429

發(fā)明內(nèi)容
技術(shù)問題PTL 1和PTL 2中的每一個(gè)公開了一種立體成像裝置，該立體成像裝置可以電子地校正由于在兩個(gè)可變倍數(shù)成像透鏡之間的個(gè)體差異而導(dǎo)致的光軸的移位，以提供物體的適當(dāng)?shù)娜S觀看。然而，PTL 1具有下述問題因?yàn)楦鶕?jù)關(guān)于每個(gè)聚焦位置在兩個(gè)透鏡之間的光軸移位量來計(jì)算圖像提取位置和面積改變量，并且因此，即使在獨(dú)立裝置的相同變焦位置處，也根據(jù)在誤差量上的差異(變化)來設(shè)定不同的視角。在PTL 2中，廣角透鏡被用作包括在其中執(zhí)行電子變焦的第二成像單元中的透鏡，并且視角通過包括在其中不執(zhí)行電子變焦的第一成像單元中的透鏡(即，光學(xué)變焦)來設(shè)定。因此，針對(duì)第一成像單元和第二成像單元設(shè)定的視角被設(shè)定為彼此相同。然而，PTL 2具有下述問題因?yàn)閮蓚€(gè)透鏡的結(jié)構(gòu)彼此不同，并且因此難以匹配諸如失真和色像差的透鏡的特性，并且由此不可以提供適當(dāng)?shù)娜S觀看。PTL 3公開了一種用于根據(jù)被攝物距離來電子地校正輻輳角的裝置。然而，PTL 3 沒有公開用于當(dāng)在PTL 3中公開的主題應(yīng)用于包括可變倍數(shù)透鏡的成像裝置時(shí)校正視差移位的部件。另外。PTL 3沒有公開用于校正在兩個(gè)透鏡之間的光軸移位的部件。在PTL 4中，當(dāng)執(zhí)行數(shù)字變焦(電子變焦)時(shí)，與通過電子變焦進(jìn)行放大的倍率成比例地出現(xiàn)實(shí)際上沒有從其讀出圖像信號(hào)的像素的區(qū)域。而且，當(dāng)變焦透鏡位于廣角端時(shí)， 沒有出現(xiàn)實(shí)際上沒有從其讀出圖像信號(hào)的像素的區(qū)域。因此，在現(xiàn)有技術(shù)中，當(dāng)兩個(gè)可變倍數(shù)成像透鏡位于廣角端時(shí)，不能電子地校正由于在兩個(gè)透鏡之間的個(gè)體差異而導(dǎo)致的光軸移位。為了校正具有相同特性的多個(gè)可變倍數(shù)透鏡的制造誤差和視差，本公開的主題根據(jù)光學(xué)變焦位置(可變倍數(shù)透鏡的位置)以統(tǒng)一的方式來設(shè)定電子變焦的倍率，以便于獲得適當(dāng)?shù)娜S圖像并且最大化廣角側(cè)的視角。對(duì)于問題的解決方案根據(jù)本公開的主題的一種成像裝置可以包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每一個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；存儲(chǔ)單元，該存儲(chǔ)單元用于存儲(chǔ)所述成像光學(xué)系統(tǒng)的誤差；光學(xué)變焦倍率指定單元， 所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置；以及校正單元，所述校正單元用于設(shè)定與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的視點(diǎn)圖像中提取所述放大的視點(diǎn)圖像的一部分，以消除與存儲(chǔ)在所述存儲(chǔ)單元中的誤差相對(duì)應(yīng)的物點(diǎn)移位量。根據(jù)本公開的主題的一種成像裝置可以包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；存儲(chǔ)單元，所述存儲(chǔ)單元用于存儲(chǔ)與距由每個(gè)成像光學(xué)系統(tǒng)獲取的每個(gè)視點(diǎn)圖像的被攝物的距離相對(duì)應(yīng)的視差；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍數(shù)的指令相對(duì)應(yīng)的位置；距離測量單元，所述距離測量單元用于測量距被攝物的距離；以及校正單元，所述校正單元用于設(shè)定與由所述距離測量單元測量的距所述被攝物的所述距離和由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的所述位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的視點(diǎn)圖像中提取所述放大的視點(diǎn)圖像的一部分，以確保存儲(chǔ)在所述存儲(chǔ)單元中的視差。根據(jù)本公開的主題的一種成像裝置可以包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；視差測量單元，所述視差測量單元用于通過從由每一個(gè)成像光學(xué)系統(tǒng)獲取的視點(diǎn)圖像檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元所接收的光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置；以及校正單元，所述校正單元用于設(shè)定與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。由所述校正單元設(shè)定的所述電子變焦倍率可以隨著所述變焦透鏡的位置從廣角側(cè)向遠(yuǎn)景側(cè)移動(dòng)而增大。所述成像裝置可以進(jìn)一步包括三維圖像處理單元，所述三維圖像處理單元用于基于由所述校正單元提取的圖像和除了要所述要校正的視點(diǎn)圖像之外的視點(diǎn)圖像來生成三維圖像，并且將所述三維圖像輸出到預(yù)定顯示器設(shè)備上。根據(jù)本公開的主題的一種圖像校正方法可以使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍數(shù)的指令相對(duì)應(yīng)的位置，所述步驟是存儲(chǔ)成像光學(xué)系統(tǒng)的誤差；以及設(shè)定與由變焦透鏡驅(qū)動(dòng)單元移動(dòng)的變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在多個(gè)視點(diǎn)圖像內(nèi)的要校正的期望視點(diǎn)圖像，并且從所放大的視點(diǎn)圖像中提取所述放大的視點(diǎn)圖像的一部分，以消除與誤差相對(duì)應(yīng)的物點(diǎn)移位量。根據(jù)本公開的主題的一種圖像校正方法可以使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置，所述步驟是測量距被攝物的距離；以及設(shè)定與所測量的距所述被攝物的距離和由變焦透鏡驅(qū)動(dòng)單元移動(dòng)的變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率， 基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保所存儲(chǔ)的視差。根據(jù)本公開的主題的一種圖像校正方法可以使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍數(shù)指定單元，所述光學(xué)變焦倍數(shù)指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收的所述光學(xué)變焦倍數(shù)的所述指令相對(duì)應(yīng)的位置，所述步驟是通過從由每一個(gè)成像光學(xué)系統(tǒng)獲取的視點(diǎn)圖像檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；以及設(shè)定與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的圖像提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；以及設(shè)定與所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在通過使用所述成像光學(xué)系統(tǒng)成像的所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的視點(diǎn)圖像中提取所述放大的視點(diǎn)圖像的一部分，以消除與存儲(chǔ)在存儲(chǔ)單元中的所述成像光學(xué)系統(tǒng)的誤差相對(duì)應(yīng)的物點(diǎn)移位量。一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；測量距被攝物的距離；以及設(shè)定與所測量的距所述被攝物的距離和所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率來放大在通過使用所述成像光學(xué)系統(tǒng)成像的所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保存儲(chǔ)在所述存儲(chǔ)單元中的與距所述視點(diǎn)圖像的所述被攝物的距離相對(duì)應(yīng)的視差。一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；通過從由所述成像光學(xué)系統(tǒng)獲取的多個(gè)視點(diǎn)圖像檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；以及設(shè)定與所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于所述電子變焦倍率通過使用所述成像光學(xué)系統(tǒng)來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的期望視點(diǎn)圖像，并且從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。本發(fā)明的有利效果根據(jù)本公開的主題，對(duì)在單獨(dú)成像裝置的制造處理中的光軸移位和視差移位的最大值進(jìn)行估計(jì)，并且針對(duì)包括在成像裝置中的成像元件統(tǒng)一地設(shè)定圖像移位校正區(qū)域，該圖像移位校正區(qū)域用于通過控制與光學(xué)變焦透鏡的位置(光學(xué)變焦位置)相對(duì)應(yīng)的(成比例的)電子變焦倍率來校正圖像移位。由此，可以根據(jù)每個(gè)光學(xué)變焦位置來在成像器件上設(shè)定校正區(qū)域(部分)。因?yàn)殡娮幼兘贡堵孰S著變焦透鏡的位置從廣角側(cè)(廣角端側(cè))向遠(yuǎn)景側(cè)(遠(yuǎn)景端側(cè))移動(dòng)而增大，所以可以最大化廣角側(cè)的視角。


圖1是根據(jù)第一實(shí)施例的相機(jī)的框圖2是根據(jù)第一實(shí)施例的校正處理的流程圖3圖示了光軸移位的容許極限值θ max的示例；
圖4A至圖4H圖示了電子變焦提取范圍的示例；
圖5圖示了在電子變焦倍率數(shù)據(jù)y和當(dāng)前變焦位置χ之間的關(guān)系
圖6是根據(jù)第二實(shí)施例的相機(jī)的框圖7圖示了最短拍攝距離α和輻輳角設(shè)定距離β的示例；
圖8是根據(jù)第二實(shí)施例的校正處理的流程圖9Α至圖9Η圖示了電子變焦提取范圍的示例；
圖10是根據(jù)第三實(shí)施例的相機(jī)的框圖IlA和圖IlB圖示了對(duì)應(yīng)點(diǎn)的示例；以及
圖12是根據(jù)第三實(shí)施例的校正處理的流程圖。
具體實(shí)施例方式(第一實(shí)施例)圖1圖示了根據(jù)第一實(shí)施例的相機(jī)10的電氣配置。成像光學(xué)系統(tǒng)14A和14B中的每一個(gè)包括變焦透鏡和聚焦透鏡。假定在成像光學(xué)系統(tǒng)14A和14B的光軸之間形成的輻輳角被機(jī)械地固定。雖然在成像光學(xué)系統(tǒng)14A和14B 之間形成的雙眼視差根據(jù)從相機(jī)10至被聚焦的被攝物的距離而改變，但是在第一實(shí)施例中，假定被聚焦的被攝物位于預(yù)定位置，并且聚焦透鏡不移動(dòng)。響應(yīng)于從操作單元74的變焦按鈕輸入的操作，透鏡電機(jī)24A沿著成像光學(xué)系統(tǒng) 14A的透鏡光軸來向遠(yuǎn)景側(cè)(放大側(cè))或廣角側(cè)(縮小側(cè))移動(dòng)成像光學(xué)系統(tǒng)14A的變焦透鏡，以改變成像光學(xué)系統(tǒng)14A的焦距(成像倍率)，并且透鏡電機(jī)24B沿著成像光學(xué)系統(tǒng) 14B的透鏡光軸來向遠(yuǎn)景側(cè)(放大側(cè))或廣角側(cè)(縮小側(cè))移動(dòng)成像光學(xué)系統(tǒng)14B的變焦透鏡，以改變成像光學(xué)系統(tǒng)14B的焦距(成像倍率)。兩個(gè)成像元件50A和50B中的每一個(gè)由例如區(qū)域(XD(電荷耦合器件)傳感器構(gòu)成。成像元件50A和50B被布置在與在相機(jī)10的主體12(未示出)內(nèi)的成像光學(xué)系統(tǒng)14A 和14B的各自的聚焦位置相對(duì)應(yīng)的位置中。由被攝物反射的光進(jìn)入成像光學(xué)系統(tǒng)14A和 14B，并且該光被分別聚焦在成像元件50A和50B的光接收表面上。成像元件50A和50B中的每一個(gè)包括在其各自的光接收表面上以矩陣布置的多個(gè)光電轉(zhuǎn)換元件。成像元件50A和50B中的每一個(gè)輸出模擬信號(hào)作為圖像信號(hào)，該模擬信號(hào)指示由光電轉(zhuǎn)換元件中的每一個(gè)接收到的光量。成像元件50A和50B中的每一個(gè)分別以與由定時(shí)信號(hào)生成單元生成的定時(shí)信號(hào)同步的定時(shí)輸出該圖像信號(hào)，該定時(shí)信號(hào)生成單元被連接到驅(qū)動(dòng)電路(未示出)。在成像光學(xué)系統(tǒng)14A和14B與成像元件50A和50B之間分別布置光圈孔徑(未示出)。該光圈孔徑可以由可以連續(xù)改變的單個(gè)光圈構(gòu)成，或者可以被配置使得切換具有不同的光圈量的多個(gè)光圈。
定時(shí)信號(hào)生成單元也被連接到用于控制閃光燈的發(fā)光的閃光燈控制電路(未示出)。當(dāng)檢測到低光強(qiáng)度時(shí)或當(dāng)用戶指令閃光燈發(fā)光時(shí)，以與由定時(shí)信號(hào)生成單元生成的定時(shí)信號(hào)同步的定時(shí)控制閃光燈的發(fā)光。成像元件50A和50B的信號(hào)輸出端中的每一個(gè)以下述順序被連接到模擬信號(hào)處理電路56A和56B、A/D轉(zhuǎn)換器(模擬至數(shù)字轉(zhuǎn)換器)58A和58B、圖像信號(hào)處理電路60A和 60B、存儲(chǔ)器62A和62B和壓縮/擴(kuò)展處理電路64，其每一個(gè)都被連接到系統(tǒng)總線68，并且有連接到系統(tǒng)總線68的CPU(中央控制單元)70整體地進(jìn)行控制。模擬信號(hào)處理電路56A和56B以與由定時(shí)信號(hào)生成單元生成的定時(shí)信號(hào)同步的定時(shí)得到分別從成像元件50A和50B輸出的圖像信號(hào)的采樣。模擬信號(hào)處理電路56A和56B 對(duì)分別從成像元件50A和50B輸出的圖像信號(hào)進(jìn)行放大，并且分別向各個(gè)A/D轉(zhuǎn)換器58A 和58B輸出所放大的圖像信號(hào)。模擬信號(hào)處理電路56A和56B中的每一個(gè)包括相關(guān)雙采樣 (CDS)單元(未示出)。該CDS單元包括箝位電路，該箝位電路響應(yīng)于來自定時(shí)信號(hào)生成單元的定時(shí)信號(hào)來使用例如CCD類型的成像元件箝位(clamp)基本上由成像元件生成的各種噪聲；以及采樣保持電路，該采樣保持電路相應(yīng)于定時(shí)信號(hào)來保持模擬電壓信號(hào)。模擬信號(hào)處理電路56A和56B的⑶S單元中的每一個(gè)去除包括在圖像信號(hào)中的噪聲分量，并且分別向A/D轉(zhuǎn)換器58A和58B輸出作為模擬輸出信號(hào)的圖像信號(hào)。從模擬信號(hào)處理電路56A和 56B輸出的圖像信號(hào)由A/D轉(zhuǎn)換器58A和58B轉(zhuǎn)換為要分別輸入到圖像信號(hào)處理電路60A 和60B的數(shù)字圖像數(shù)據(jù)。圖像信號(hào)處理電路60A和60B對(duì)輸入的圖像數(shù)據(jù)執(zhí)行各種圖像處理，諸如顏色校正、伽馬校正和Y/C轉(zhuǎn)換。從圖像信號(hào)處理電路60A和60B輸出的圖像數(shù)據(jù)分別被臨時(shí)存儲(chǔ)在存儲(chǔ)器62A和62B中，存儲(chǔ)器62A和62B中的每一個(gè)由RAM(隨機(jī)存取存儲(chǔ)器)等構(gòu)成。然后，該圖像數(shù)據(jù)由壓縮/擴(kuò)展處理電路64進(jìn)行壓縮，并且被存儲(chǔ)在插入相機(jī)10的存儲(chǔ)卡插槽(未示出)中的存儲(chǔ)器卡80中。顯示器驅(qū)動(dòng)器27也被連接到系統(tǒng)總線68。顯示器驅(qū)動(dòng)器27驅(qū)動(dòng)顯示器沈，使得可以在顯示器沈上顯示基于通過拍攝獲得的圖像數(shù)據(jù)的圖像。顯示器驅(qū)動(dòng)器27執(zhí)行顯示控制，以便于顯示各種顯示模式。存儲(chǔ)器62A和62B中的圖像數(shù)據(jù)由三維圖像處理電路34轉(zhuǎn)換為三維圖像數(shù)據(jù)，并且然后在由顯示器驅(qū)動(dòng)器27驅(qū)動(dòng)的顯示器沈上被顯示為再現(xiàn)圖像。沒有圖示顯示器沈的詳細(xì)結(jié)構(gòu)。顯示器沈包括在其表面上的視差屏障顯示層。 對(duì)于三維顯示器(3D顯示器)，顯示器沈生成由各圖案構(gòu)成的視差屏障，每個(gè)圖案具有光透射部分和光屏蔽部分，這兩個(gè)部分以預(yù)定的間距交替地被布置在視差屏障顯示層上，顯示器沈還顯示帶狀圖像塊，該帶狀圖像塊指示在其下層上的圖像顯示表面上交替布置的用于左眼和右眼的圖像，由此支持偽3D觀看。注意，觀眾的右眼和左眼并不是通過將從成像元件50A和50B獲得的平面圖像重建為要交替布置的帶狀圖像塊，而是通過僅將從成像元件50A和50B中的一個(gè)獲得的右或左圖像重建為要交替布置的帶狀圖像塊來觀看同一平面圖像。在本公開的主題中的用于3D顯示的設(shè)備可以不限于使用視差屏障的上述實(shí)施例。操作單元74被連接到系統(tǒng)總線68。操作單元74包括釋放開關(guān)、變焦按鈕、菜單開關(guān)、執(zhí)行/畫面切換開關(guān)、選擇開關(guān)、取消開關(guān)和成像模式切換開關(guān)。CPU根據(jù)操作單元74 的操作來執(zhí)行控制。更具體地，當(dāng)操作釋放開關(guān)來指令要在存儲(chǔ)器卡80中存儲(chǔ)圖像數(shù)據(jù)時(shí)，CPU 70讀
10取臨時(shí)存儲(chǔ)在存儲(chǔ)器62A和62B中的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)傳送到壓縮/擴(kuò)展處理電路64。然后，該圖像數(shù)據(jù)由壓縮/擴(kuò)展處理電路64進(jìn)行壓縮，并且然后被存儲(chǔ)在存儲(chǔ)器卡80中。注意，圖像數(shù)據(jù)可以在不根據(jù)成像模式進(jìn)行壓縮的情況下被存儲(chǔ)在存儲(chǔ)器卡80 中。當(dāng)做出指令以再現(xiàn)(顯示)由存儲(chǔ)在存儲(chǔ)器卡80中的圖像數(shù)據(jù)表示的圖像時(shí)，從存儲(chǔ)器卡80讀取圖像數(shù)據(jù)，并且由壓縮/擴(kuò)展處理電路64解壓縮(擴(kuò)展)所讀取的圖像數(shù)據(jù)，并且臨時(shí)被存儲(chǔ)在存儲(chǔ)器62A和62B中。然后，使用臨時(shí)存儲(chǔ)在存儲(chǔ)器62A和62B中的圖像數(shù)據(jù)來在顯示器26上顯示(再現(xiàn))圖像。變焦位置檢測單元76A和76B分別檢測成像光學(xué)系統(tǒng)14A和14B的變焦透鏡位置 (變焦位置、光學(xué)變焦位置)。將由變焦位置檢測單元76A和76B檢測到的檢測信號(hào)輸入到 CPU 70作為各個(gè)變焦透鏡的可變倍數(shù)信息。將電子變焦倍率數(shù)據(jù)存儲(chǔ)在R0M(只讀存儲(chǔ)器)71中，并且將光軸差數(shù)據(jù)存儲(chǔ)在 ROM 72 中。提取位置設(shè)定單元73基于從CPU 70接收到的變焦位置、電子變焦倍率數(shù)據(jù)和光軸差數(shù)據(jù)來確定提取位置，并且向圖像信號(hào)處理電路60A和60B輸出指令。圖像信號(hào)處理電路60A和60B中的每一個(gè)從經(jīng)歷了各種圖像處理以被輸出到存儲(chǔ)器62A和62B的圖像中提取基于該指令的范圍。圖2是其執(zhí)行由CPU 70控制的校正處理的流程圖。在步驟Sl中，進(jìn)行關(guān)于是否操作變焦按鈕來改變變焦位置的確定。在是的情況下，該處理移動(dòng)到步驟S2。在步驟S2中，根據(jù)變焦按鈕的操作，控制電機(jī)24A和24B來分別向遠(yuǎn)景(T)端側(cè)或廣角(W)端側(cè)移動(dòng)成像光學(xué)系統(tǒng)14A和14B的變焦透鏡。在步驟S3中，分別由變焦位置檢測單元76A和76B獲取成像光學(xué)系統(tǒng)14A和14B 的變焦透鏡的當(dāng)前位置。在步驟S4中，進(jìn)行關(guān)于成像光學(xué)系統(tǒng)14A和14B的變焦透鏡的當(dāng)前位置是否位于由變焦按鈕的操作指令的相應(yīng)位置的確定。在是的情況下，該處理移動(dòng)到步驟S5。在否的情況下，該處理返回到步驟S2。在步驟S5中，從ROM 71中讀取與成像光學(xué)系統(tǒng)14A和14B的變焦透鏡的各個(gè)當(dāng)前位置相對(duì)應(yīng)的電子變焦倍率數(shù)據(jù)。電子變焦倍率數(shù)據(jù)指示每個(gè)變焦透鏡位置的電子變焦提取范圍的裕度，該裕度足以被用于校正由各個(gè)成像光學(xué)系統(tǒng)14A和14B的光軸移位的預(yù)定容許極限值(最大光軸移位角)emax(參見圖3)生成的左右視點(diǎn)圖像的移位量d。假定即使當(dāng)變焦透鏡從W端移動(dòng)到T端時(shí)光軸移位的容許極限值θ max不變，物點(diǎn)移位量d隨著變焦透鏡從W端向T端移動(dòng)而逐漸增大，該物點(diǎn)移位量d指示在兩個(gè)視點(diǎn)圖像中的同一物體的移位量(物體的位置的增量)。圖4A至圖4H是圖示被攝物SUB的移位量的示圖。圖4A和圖4B的附圖標(biāo)記SLw 和是在變焦透鏡位于廣角端(W端)時(shí)分別從與左眼和右眼相對(duì)應(yīng)的視點(diǎn)成像的圖像。 在圖4C中的附圖標(biāo)記、是通過合成圖像SL1^P 所生成的合成圖像。在圖4A至圖4C 中，附圖標(biāo)記SUB^和SUBk分別表示在圖像SLw和中的被攝物SUB的位置。在圖4D中的附圖標(biāo)記Aw指示用于減輕水平物點(diǎn)移位量(被攝物SUB的水平移位量或位置SUB^和SUBk的增量dw)的電子變焦提取范圍。圖4E和圖4F的附圖標(biāo)記SLt和SRt是當(dāng)變焦透鏡位于遠(yuǎn)景端(T端)時(shí)從分別與左眼和右眼相對(duì)應(yīng)的視點(diǎn)成像的圖像。在圖4G中的附圖標(biāo)記&是通過合成圖像SLt和SRt 所生成的合成圖像。在圖4E至圖4G中，附圖標(biāo)記SUBl和SUBk分別表示在圖像SLt和中的被攝物SUB的位置。在圖4H中的附圖標(biāo)記At指示用于減輕水平物點(diǎn)移位量(被攝物 SUB的水平移位量或位置SUB^和SUBk的增量dt)的電子變焦提取范圍。更具體地，做出假定使得成像光學(xué)系統(tǒng)14A和14B沿著水平方向并排排列，成像光學(xué)系統(tǒng)14A和14B的光軸移位等于容許極限值θ max,并且此時(shí)，由成像光學(xué)系統(tǒng)14A和14B 成像的左右視點(diǎn)的被攝物SUB的移位量(位置SUB^和SUBk的增量)分別在W端是“dw”而在T端是“dt”，如圖4E和圖4F中所示。在該情況下，假定當(dāng)前的變焦位置是X，在W端的位置是W，并且在T端的位置是T，并且原始視點(diǎn)圖像的水平長度是L，則用于減輕水平物點(diǎn)移位量d的電子變焦提取范圍的水平長度V被表達(dá)為V = L-dw-(dt-dw)/(T-W) X (x-W)。 注意，如果χ = W，則V = L-dw,并且如果χ = T，則V = L-dt (參見圖4D和圖4H)。因?yàn)殡娮幼兘固崛》秶目v橫比(在圖4D和4H中分別由附圖標(biāo)記指示)符合原始視點(diǎn)圖像的縱橫比，所以電子變焦倍率y被表達(dá)為y = L/V。即使沿著垂直方向并排布置成像光學(xué)系統(tǒng)14A和14B，也可以以相同的方式基于被攝物SUB的垂直移位量來獲得電子變焦倍率在此，給出特定的數(shù)值示例。如果在T端的最大光學(xué)變焦倍率是5倍，并且在W端的移位量dw是在其水平方向上的圖像長度L的2%，則在T端的最大移位量dt是在其水平方向上的圖像長度L的2X5= 10%。因此，在W端的電子變焦倍率是1.02倍，并且在T 端的電子變焦倍率是1. 1倍。因?yàn)橛糜谛Ｕ碾娮幼兘贡堵孰S著在光學(xué)變焦倍率上的增大而增大，所以圖像的倍率在理論上超過用戶指定的光學(xué)變焦倍率，但是調(diào)整呈現(xiàn)的圖像倍率以便于匹配由用戶指定的光學(xué)變焦倍率。如圖5中所示，電子變焦倍率數(shù)據(jù)y隨著當(dāng)前變焦位置χ增大而成比例地增大。如圖5中所示，如果χ = W(= )，則y = yi = L/(L-dw)，并且如果χ = T( = X1)，則y = y2 =L/(L-dt)。換言之，V隨著在y的增大而變小。即使變焦位置在W端，V也小于L，并且電子變焦倍率超過“1”。注意，W端的位置可以被設(shè)定為當(dāng)W = O時(shí)的基準(zhǔn)位置。上面的等式被存儲(chǔ)在ROM 71中，并且可以由CPU 70來執(zhí)行電子變焦倍率數(shù)據(jù)y的實(shí)際計(jì)算。如果假定相機(jī)10的單個(gè)產(chǎn)品的光軸移位沒有超過在質(zhì)量控制中的容許極限值 θ amx，則可以確定相機(jī)10的單個(gè)產(chǎn)品的物點(diǎn)移位量沒有超過d。因此，在下面的描述中， 確定使用統(tǒng)一電子變焦倍率數(shù)據(jù)y執(zhí)行電子變焦的范圍，以便于減輕任何產(chǎn)品的物點(diǎn)移位量。如果成像光學(xué)系統(tǒng)14A和14B沿著水平方向并排排列，則在水平方向上形成視差。因此，對(duì)提取范圍執(zhí)行水平移位控制以便于不破壞視差，來確定提取范圍。注意，以與在PTL 6 和PTL 7中公開的相同方式，可以確定圖像提取范圍，使得所顯示的3D圖像落在觀眾的雙眼視像融合范圍內(nèi)。在步驟S6中，從ROM 72讀取光軸差數(shù)據(jù)。光軸差數(shù)據(jù)指成像光學(xué)系統(tǒng)14A和14B 中的每一個(gè)的實(shí)際光軸移位角。該數(shù)據(jù)是特定于相機(jī)10的每個(gè)產(chǎn)品的值，并且在制造或運(yùn)輸時(shí)被存儲(chǔ)在ROM 72中。 在步驟S7中，基于由提取位置設(shè)定單元73讀取的光軸差數(shù)據(jù)和電子變焦倍率數(shù)據(jù)y，確定由于光軸移位而導(dǎo)致的消除物點(diǎn)移位的提取范圍(執(zhí)行電子變焦的范圍)。提取范圍的大小符合統(tǒng)一電子變焦倍率數(shù)據(jù)y，但是提取的位置根據(jù)物點(diǎn)移位的位置關(guān)系而改變。假定提取范圍的縱橫比與原始視點(diǎn)圖像相同。然后，從存儲(chǔ)在存儲(chǔ)器62A和62B的初始指定的一個(gè)中的圖像中提取包含在所確定的提取范圍中的圖像，并且以倍率y(電子變焦)來電子地放大所提取的圖像。然后，在存儲(chǔ)器62A和62B的一個(gè)中存儲(chǔ)所放大的圖像作為新的視點(diǎn)圖像。如果可以去除物點(diǎn)移位， 則可以對(duì)兩個(gè)視點(diǎn)圖像執(zhí)行提取和電子放大。三維圖像處理電路34從新的視點(diǎn)圖像和沒有經(jīng)歷電子變焦的另一視點(diǎn)圖像生成三維圖像(3D圖像)S。注意，經(jīng)歷該電子變焦的視點(diǎn)圖像和沒有經(jīng)歷電子變焦的視點(diǎn)圖像可以彼此相關(guān)聯(lián)，并且被存儲(chǔ)在存儲(chǔ)器卡80中。如上所述，對(duì)在單個(gè)相機(jī)10的制造過程中的光軸移位的最大值進(jìn)行估計(jì)，并且使用與光學(xué)變焦透鏡位置成比例的電子變焦倍率來將圖像移位校正區(qū)域統(tǒng)一地設(shè)定到每個(gè)相機(jī)10。因此，可以根據(jù)每個(gè)光學(xué)變焦位置來設(shè)定單個(gè)產(chǎn)品的統(tǒng)一的校正區(qū)域，并且可以最大化在廣角側(cè)的視角。(第二實(shí)施例)圖6圖示了根據(jù)第二實(shí)施例的相機(jī)10的電子配置。相機(jī)10包括與第一實(shí)施例類似的配置，并且類似的附圖標(biāo)記或標(biāo)號(hào)指示類似的元件。第二實(shí)施例假定聚焦的被攝物位于距相機(jī)10的任何距離處，并且可以移動(dòng)聚焦透鏡以聚焦被攝物。CPU 70使用三角測量來執(zhí)行公知的自動(dòng)聚焦技術(shù)，諸如對(duì)比度AF(自動(dòng)聚焦)和被動(dòng)AF，以確定移動(dòng)量，并且利用聚焦透鏡的聚焦透鏡位置來指令電機(jī)24A和MB。聚焦測量單元77基于聚焦透鏡的透鏡位置或者使用諸如三角測量的公知距離測量技術(shù)來測量從相機(jī)10到聚焦的被攝物的距離。ROM 72存儲(chǔ)最短成像距離α，該最短成像距離α是從相機(jī)10到被攝物SUB的最短距離，以該距離，相機(jī)10可以對(duì)可以被視作三維圖像的被攝物SUB的圖像進(jìn)行成像； 以及輻輳角設(shè)定距離β，該輻輳角設(shè)定距離β是從相機(jī)10至成像光學(xué)系統(tǒng)50Α和50Β的光軸Ll和L2的交叉點(diǎn)Pl的距離，成像光學(xué)系統(tǒng)50Α和50Β中的每一個(gè)具有預(yù)定的輻輳角 (參見圖7)。相對(duì)于在最短成像距離α處的物體的視差被稱為邊緣視差。位于比最短成像距離α更接近的距離處的物體模糊并且不能進(jìn)行三維觀看。相對(duì)于位于最短成像距離 α或更遠(yuǎn)(從α至無限遠(yuǎn))的物體的視差被稱為適當(dāng)?shù)囊暡睢Ｈ绻删劢箿y量單元77測量的到聚焦的被攝物的距離是α或更大，則CPU 70確定相機(jī)10可以成像3D圖像。然后， CPU 70對(duì)于提取范圍的水平位置執(zhí)行移位控制，以通過改變光學(xué)變焦倍率來補(bǔ)償視差的擴(kuò)展。提取范圍的確定類似于PTL 8，PTL 8用于通過改變電子變焦倍率來補(bǔ)償視差的擴(kuò)展。圖8是由CPU 70執(zhí)行的校正處理的流程圖。步驟Sll至S14分別與在圖2中的步驟Sl至S4相同。在步驟S14中，經(jīng)由聚焦測量單元77來獲取從相機(jī)10至聚焦的被攝物的聚焦被攝物距離。在步驟S16中，進(jìn)行關(guān)于所獲取的聚焦被攝物距離是否是ROM 72的最短成像距離 α或更遠(yuǎn)的確定。在是的情況下，該處理移動(dòng)到步驟S17。在否的情況下，該處理移動(dòng)到步驟 S20。步驟S17至S18分別與在圖2中的步驟S5至S6相同。
在步驟S19中，提取位置設(shè)定單元73對(duì)具有由電子變焦倍率數(shù)據(jù)y確定的大小的提取范圍的水平位置執(zhí)行移位控制，以便于通過改變光學(xué)變焦倍率(參見圖9A至圖9H)來補(bǔ)償視差的擴(kuò)展。在步驟S20中，在顯示器沈上顯示警告消息，用于指示被攝物太近難以生成3D圖像。注意，可以在包括在相機(jī)10中的揚(yáng)聲器(未示出)上以語音再現(xiàn)該警告消息。上面的處理保證了由于其中相機(jī)10可以成像和生成位于任何位置的被攝物的三維圖像的范圍內(nèi)的光學(xué)變焦倍率上的改變而導(dǎo)致的視點(diǎn)圖像移位的統(tǒng)一校正。(第三實(shí)施例)圖10圖示了根據(jù)第三實(shí)施例的相機(jī)10的電子配置。相機(jī)10包括與第一和第二實(shí)施例類似的配置，并且類似的附圖標(biāo)記或標(biāo)號(hào)指示類似的元件。對(duì)應(yīng)點(diǎn)檢測單元7使用立體聲匹配技術(shù)來獲得在由成像元件50A和50B分別獲取的圖像SR和SL上的相互對(duì)應(yīng)的點(diǎn)?？梢詰?yīng)用公知的技術(shù)來獲得該對(duì)應(yīng)點(diǎn)。例如，對(duì)應(yīng)點(diǎn)檢測單元7分別從圖像SR和SL中將各部分提取為矩陣(例如，3X 3像素)，計(jì)算其相關(guān)值，并且基于該相關(guān)值來獲得在圖像SR和SL上的對(duì)應(yīng)點(diǎn)對(duì)。更具體地，對(duì)應(yīng)點(diǎn)檢測單元7 從圖像SR和SL中的一個(gè)檢測其中亮度和色差被改變的邊界部分(邊緣分量)以獲得特征點(diǎn)，并且在另一個(gè)圖像中檢測具有與在該特征點(diǎn)處的邊緣分量相同或類似的邊緣分量的部分來作為與該特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。替代地，對(duì)圖像SR和SL執(zhí)行面部檢測，并且可以將所檢測的面部區(qū)域的頭頂部和下顎端的每一個(gè)檢測為相應(yīng)圖像的特征點(diǎn)或?qū)?yīng)點(diǎn)。提取特征點(diǎn)和對(duì)應(yīng)點(diǎn)的方法不必相互相關(guān)。視差測量電路8基于在圖像SR和SL中的特征點(diǎn)和對(duì)應(yīng)點(diǎn)之間在位置坐標(biāo)上的差來計(jì)算視差。圖IlA和圖IlB圖示了對(duì)應(yīng)點(diǎn)的示例。附圖標(biāo)記SL和SR是從分別與左眼和右眼對(duì)應(yīng)的視點(diǎn)成像的圖像。在圖IlA和圖IlB中，圖像SL的特征點(diǎn)PL的坐標(biāo)(沿著水平方向(χ方向)的坐標(biāo))是XI，并且與特征點(diǎn)PL相對(duì)應(yīng)的圖像SR的對(duì)應(yīng)點(diǎn)I3R的坐標(biāo)是X2。 然后，視差測量電路8將視差計(jì)算為d = X1-X2。圖12是由CPU 70執(zhí)行的校正處理的流程圖。步驟S21至SM分別與在圖2中的步驟Sl至S4相同。在步驟S25中，對(duì)應(yīng)點(diǎn)檢測單元7獲得圖像SR和SL的特征點(diǎn)和對(duì)應(yīng)點(diǎn)。在步驟S26中，視差測量電路8計(jì)算視差d。步驟S27至S30分別與在圖8中的步驟S16、S19和S20類似。注意，在步驟S27 中，進(jìn)行關(guān)于由視差測量電路8計(jì)算的視差d是否是ROM 72的最短成像距離α或更遠(yuǎn)的確定。在是的情況下，該處理移動(dòng)到步驟S28。在否的情況下，該處理移動(dòng)到步驟S30。在步驟S29中，設(shè)定提取范圍，使得從校正的視點(diǎn)圖像生成的合成圖像對(duì)觀眾給出的視差在適當(dāng)?shù)囊暡罘秶鷥?nèi)。因此，不必初始地在ROM 72中存儲(chǔ)視差數(shù)據(jù)。應(yīng)當(dāng)注意，在本說明書中描述的校正處理不僅可以適用于光軸移位，而且可以適
用于倍率誤差和旋轉(zhuǎn)誤差。在上面的實(shí)施例中，相機(jī)10包括用于對(duì)兩個(gè)視點(diǎn)圖像進(jìn)行成像的兩個(gè)成像光學(xué)系統(tǒng)。然而，視點(diǎn)圖像的數(shù)目不限于2。例如，通過選擇多個(gè)視點(diǎn)圖像中的一個(gè)作為標(biāo)準(zhǔn)，并且對(duì)于除了標(biāo)準(zhǔn)圖像之外的視點(diǎn)圖像執(zhí)行電子變焦，上述的處理可以適用于其中視點(diǎn)圖像的數(shù)目大于2的情況。本公開的主題可以被提供為計(jì)算機(jī)可讀程序代碼，用于使得設(shè)備(諸如，可以獲得從多個(gè)視點(diǎn)成像(拍攝)的圖像的電子相機(jī)、立體相機(jī)或計(jì)算機(jī))執(zhí)行上述的處理；計(jì)算機(jī)可讀記錄介質(zhì)，其上存儲(chǔ)了計(jì)算機(jī)可讀程序代碼；或者計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀程序代碼。附圖標(biāo)記列表7…對(duì)應(yīng)點(diǎn)檢測單元、14A和14B…成像光學(xué)系統(tǒng)、24A和24B…變焦電機(jī)、34···三維圖像處理電路、50···成像元件、70···0Ρυ、71···Κ0Μ、72···Κ0Μ、73···提取位置設(shè)定單元。
權(quán)利要求
1.一種成像裝置，包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；存儲(chǔ)單元，所述存儲(chǔ)單元用于存儲(chǔ)所述成像光學(xué)系統(tǒng)的誤差； 光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置；以及校正單元，所述校正單元用于設(shè)定電子變焦倍率，所述電子變焦倍率與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及，從所放大的視點(diǎn)圖像中提取所放大的視點(diǎn)圖像的一部分，以消除與存儲(chǔ)在所述存儲(chǔ)單元中的所述誤差相對(duì)應(yīng)的物點(diǎn)移位量。
2.一種成像裝置，包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；存儲(chǔ)單元，所述存儲(chǔ)單元用于存儲(chǔ)視差，所述視差與距由每一個(gè)成像光學(xué)系統(tǒng)獲取的每一個(gè)視點(diǎn)圖像的被攝物的距離相對(duì)應(yīng)；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置； 距離測量單元，所述距離測量單元用于測量距被攝物的距離；以及校正單元，所述校正單元用于設(shè)定電子變焦倍率，所述電子變焦倍率與由所述距離測量單元測量的距所述被攝物的距離和由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的所述位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保存儲(chǔ)在所述存儲(chǔ)單元中的視差。
3.一種成像裝置，包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；視差測量單元，所述視差測量單元用于通過從由每一個(gè)成像光學(xué)系統(tǒng)獲取的所述視點(diǎn)圖像中檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置；以及校正單元，所述校正單元用于設(shè)定電子變焦倍率，所述電子變焦倍率與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及，從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。
4.根據(jù)權(quán)利要求1至3中的任何一項(xiàng)所述的成像裝置，其中，由所述校正單元設(shè)定的所述電子變焦倍率隨著所述變焦透鏡的位置從廣角側(cè)向遠(yuǎn)景側(cè)移動(dòng)而增大。
5.根據(jù)權(quán)利要求1至4中的任何一項(xiàng)所述的成像裝置，進(jìn)一步包括三維圖像處理單元，所述三維圖像處理單元用于基于由所述校正單元提取的圖像和除了要校正的視點(diǎn)圖像之外的視點(diǎn)圖像來生成三維圖像，并且將所述三維圖像輸出到預(yù)定顯示器設(shè)備上。
6.一種圖像校正方法，使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置，所述步驟包括存儲(chǔ)所述成像光學(xué)系統(tǒng)的誤差；以及設(shè)定電子變焦倍率，所述電子變焦倍率與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的期望視點(diǎn)圖像；以及，從所放大的視點(diǎn)圖像中提取所述放大的視點(diǎn)圖像的一部分，以消除與所述誤差相對(duì)應(yīng)的物點(diǎn)移位量。
7.一種圖像校正方法，使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的指令相對(duì)應(yīng)的位置，所述步驟包括測量距被攝物的距離；以及設(shè)定電子變焦倍率，所述電子變焦倍率與所測量的距所述被攝物的距離和由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及，從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保所存儲(chǔ)的視差。
8.一種圖像校正方法，使得成像裝置執(zhí)行下述步驟，所述成像裝置包括成像單元，所述成像單元用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；光學(xué)變焦倍率指定單元，所述光學(xué)變焦倍率指定單元用于接收光學(xué)變焦倍率的指定指令；以及變焦透鏡驅(qū)動(dòng)單元，所述變焦透鏡驅(qū)動(dòng)單元用于將所述變焦透鏡移動(dòng)到與由所述光學(xué)變焦倍率指定單元接收到的所述光學(xué)變焦倍率的所述指令相對(duì)應(yīng)的位置，所述步驟包括通過從由每個(gè)成像光學(xué)系統(tǒng)獲取的所述視點(diǎn)圖像中檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；以及設(shè)定電子變焦倍率，所述電子變焦倍率與由所述變焦透鏡驅(qū)動(dòng)單元移動(dòng)的所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的期望視點(diǎn)圖像；以及，從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。
9.一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；以及設(shè)定與所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率；基于所述電子變焦倍率來放大在通過使用所述成像光學(xué)系統(tǒng)成像的所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及，從所放大的視點(diǎn)圖像中提取所放大的視點(diǎn)圖像的一部分，以消除與存儲(chǔ)在存儲(chǔ)單元中的所述成像光學(xué)系統(tǒng)的誤差相對(duì)應(yīng)的物點(diǎn)移位量。
10.一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；測量距被攝物的距離；以及設(shè)定電子變焦倍率，所述電子變焦倍率與所測量的距所述被攝物的距離和所述變焦透鏡的位置相對(duì)應(yīng)；基于所述電子變焦倍率來放大在通過使用所述成像光學(xué)系統(tǒng)成像的所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像；以及，從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保存儲(chǔ)在存儲(chǔ)單元中的與距所述視點(diǎn)圖像的所述被攝物的距離相對(duì)應(yīng)的視差。
11.一種計(jì)算機(jī)可讀記錄介質(zhì)，包括在其上存儲(chǔ)的指令，使得當(dāng)處理器讀取和執(zhí)行所述指令時(shí)，所述處理器被配置為執(zhí)行下述步驟接收用于指定光學(xué)變焦倍率的指令；將包括在多個(gè)成像光學(xué)系統(tǒng)中的變焦透鏡移動(dòng)到與所述指令相對(duì)應(yīng)的位置；通過從由所述成像光學(xué)系統(tǒng)獲取的多個(gè)視點(diǎn)圖像中檢測對(duì)應(yīng)點(diǎn)對(duì)來測量視差；以及設(shè)定與所述變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率；基于所述電子變焦倍率通過使用所述成像光學(xué)系統(tǒng)來放大在所述多個(gè)視點(diǎn)圖像內(nèi)的要校正的期望視點(diǎn)圖像；以及，從所放大的圖像中提取所放大的視點(diǎn)圖像的一部分，以確保預(yù)定應(yīng)用的視差范圍。
全文摘要
一種成像裝置包括成像單元，用于通過多個(gè)成像光學(xué)系統(tǒng)來獲取從多個(gè)視點(diǎn)成像的多個(gè)視點(diǎn)圖像，每個(gè)成像光學(xué)系統(tǒng)包括變焦透鏡；存儲(chǔ)單元，用于存儲(chǔ)該成像光學(xué)系統(tǒng)的誤差；光學(xué)變焦倍率指定單元，用于接收光學(xué)變焦方率的指定指令；變焦透鏡驅(qū)動(dòng)單元，用于將該變焦透鏡移動(dòng)到與該光學(xué)變焦方率的指令相對(duì)應(yīng)的位置；以及校正單元，用于設(shè)定與該變焦透鏡的位置相對(duì)應(yīng)的電子變焦倍率，基于該電子變焦倍率來放大在該多個(gè)視點(diǎn)圖像內(nèi)的要校正的視點(diǎn)圖像，并且從該放大的視點(diǎn)圖像中提取該放大的視點(diǎn)圖像的一部分，以消除與該誤差相對(duì)應(yīng)的物點(diǎn)移位量。
文檔編號(hào)H04N5/232GK102318354SQ201080007700
公開日2012年1月11日 申請(qǐng)日期2010年3月3日 優(yōu)先權(quán)日2009年3月11日
發(fā)明者中澤通隆 申請(qǐng)人:富士膠片株式會(huì)社