專利名稱：攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像設(shè)備，并且尤其涉及生成多通道(multi-channel)圖像的圖像數(shù)據(jù)的攝像設(shè)備。
背景技術(shù)：
彩色攝像設(shè)備，如數(shù)字照相機(jī)，經(jīng)由具有周期性布置的顏色濾波器的拍攝裝置上的成像光學(xué)系統(tǒng)形成對象圖像，并且通過光電轉(zhuǎn)換和模擬-數(shù)字(AD)轉(zhuǎn)換生成數(shù)字圖像數(shù)據(jù)。一般來說，使用紅(R)、綠(G)、藍(lán)(B)三個顏色的顏色濾波器。拍攝裝置的靈敏度特性對于所有像素是一致的。所獲得的圖像的顔色信息局限于這三種顏色，并且甚至色調(diào)信息也局限于拍攝裝置的靈敏度特性規(guī)定的范圍。
當(dāng)獲得顏色信息和色調(diào)信息受限的圖像時，用戶可能想要更精確地獲取對象信息或者在圖像編輯中增加調(diào)節(jié)的自由度。因?yàn)檫@些原因，用于獲取具有大量顔色信息和色調(diào)信息的圖像的需求增加。為了滿足該需求，有如下一種技術(shù)在切換具有不同光譜透射特性的多個顏色濾波器的同時，通過使用単色照相機(jī)進(jìn)行多次拍攝來獲取更大量的顔色信息(例如，b. Tominaga, ' Spectral imaging by a multi-channel camera " , Journal oiElectronic Imaging, Vol. 8, No. 4, pp. 332-341, October, 1999)。注意,由此獲得的具有大量顔色信息的圖像將被稱為多帶(multi-band)圖像。還有如下一種技術(shù)在改變曝光的同時通過進(jìn)行多次拍攝來獲取比拍攝裝置的限度寬的動態(tài)范圍的信息(例如，文獻(xiàn)I :Paul E. Debevec et al. , " Recovering highdynamic range radiance maps from photograpns " , ACM SIGGRAPH 2008 classes,August 11-15,2008)。將所獲得的多個圖像合成為具有寬動態(tài)范圍的一個圖像的技術(shù)將被稱為高動態(tài)范圍合成。然而，上述技術(shù)需要麻煩的多次拍攝操作，并且不能處理運(yùn)動對象。相反地，日本專利特開2009-278577號公報(bào)(文獻(xiàn)2)公開了如下一種技術(shù)針對要獲取的各個顏色準(zhǔn)備照相機(jī)并且在拍攝之后合并由這些照相機(jī)拍攝的圖像以獲得彩色圖像。該技術(shù)需要用于獲取顔色信息的多個照相機(jī)，但是能夠獲取多帶圖像。日本專利特開2002-171430號公報(bào)(文獻(xiàn)3)公開了如下ー種方法準(zhǔn)備靈敏度特性不同的多個照相機(jī)并且在拍攝之后對這些照相機(jī)拍攝的圖像進(jìn)行高動態(tài)范圍合成。文獻(xiàn)2和3中公開的技術(shù)需要在合并由多個照相機(jī)拍攝的圖像時進(jìn)行圖像之間的對準(zhǔn)。然而，由于要對準(zhǔn)的多個圖像由顔色或靈敏度特性不同的多個照相機(jī)拍攝，因此無法獲得高的對準(zhǔn)精度。

發(fā)明內(nèi)容
一方面，提供ー種攝像設(shè)備，所述圖像設(shè)備包括多個拍攝単元，用于從對象獲取具有彼此不同的特性的圖像數(shù)據(jù)；計(jì)算器，其被配置為計(jì)算指示由所述多個拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移的偏移量；以及生成器，其被配置為生成多通道圖像的圖像數(shù)據(jù)，在所述多通道圖像中，使用所述偏移量校正了由所述多個拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移，其中，所述多個拍攝單元中的各個拍攝単元包括具有所述拍攝單元專有的拍攝特性的拍攝元件、和具有所述多個拍攝單元共同的拍攝特性的拍攝元件，并且其中，所述計(jì)算器由具有所述共同拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)計(jì)算所述偏移量。另ー方面，提供ー種攝像設(shè)備，所述攝像設(shè)備包括多個拍攝部，用于從對象獲取具有彼此不同的特性的圖像數(shù)據(jù)；計(jì)算器，其被配置為計(jì)算指示由所述多個拍攝部獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移的偏移量；以及生成器，其被配置為生成多通道圖像的圖像數(shù)據(jù)，在所述多通道圖像中，使用所述偏移量校正了由所述多個拍攝部獲取的圖像
數(shù)據(jù)表示的圖像之間的位置偏移，其中，所述多個拍攝部中的各個拍攝部包括具有該拍攝部和另ー個拍攝部共同的拍攝特性的拍攝元件，并且包括具有該拍攝部和再另ー個拍攝部共同的拍攝特性的拍攝元件，并且其中，所述計(jì)算器重復(fù)從具有所述共同拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)計(jì)算由包括具有所述共同拍攝特性的拍攝元件的兩個拍攝部獲取的圖像數(shù)據(jù)表示的圖像之間的偏移量的處理，并且累積所述偏移量，從而計(jì)算ー個拍攝部獲取的圖像數(shù)據(jù)的圖像相對于另一個拍攝部獲取的圖像數(shù)據(jù)的基準(zhǔn)圖像的偏移量。根據(jù)這些方面，當(dāng)生成多通道圖像的圖像數(shù)據(jù)時能夠提高圖像之間的對準(zhǔn)精度。通過以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的其它特征將變得明顯。


圖I是用于說明合成由不同照相機(jī)拍攝的圖像的方法的視圖。圖2是用于說明合成由不同照相機(jī)拍攝的圖像的另一方法的視圖。圖3A和圖3B是用于說明根據(jù)實(shí)施例的攝像設(shè)備的外觀的示意圖。圖4是用于說明根據(jù)實(shí)施例的攝像設(shè)備的配置的框圖。圖5是用于說明根據(jù)實(shí)施例的攝像設(shè)備的攝像處理的流程圖。圖6是用于說明拍攝單元的配置的框圖。圖7是用于說明濾波器的配置的視圖。圖8是用于說明圖像生成器的配置的框圖。圖9是用于說明圖像生成器的處理的流程圖。圖10是用于說明顏色像素的布置的視圖。圖11是用于說明圖像之間的位置偏移量的計(jì)算方法的流程圖。圖12是用于說明根據(jù)第二實(shí)施例的濾波器的配置的視圖。圖13是示出根據(jù)第二實(shí)施例的對準(zhǔn)像素的排列的視圖。圖14是用于說明根據(jù)第三實(shí)施例的濾波器的配置的視圖。圖15是用于說明根據(jù)第三實(shí)施例的圖像生成器的配置的框圖。圖16是用于說明圖像生成器的處理的流程圖。
具體實(shí)施例方式現(xiàn)在，參照附圖詳細(xì)說明根據(jù)本發(fā)明的攝像設(shè)備的優(yōu)選實(shí)施例。
[概述]將參照圖I說明合成由不同照相機(jī)拍攝的圖像的方法。圖I示出準(zhǔn)備兩個照相機(jī)101和102拍攝對象107的例子。照相機(jī)101包括成像光學(xué)系統(tǒng)103和拍攝裝置105，照相機(jī)102包括成像光學(xué)系統(tǒng)104和拍攝裝置106。拍攝裝置105和106對入射光的拍攝特性(顔色特性或靈敏度特性)不同。由拍攝裝置105和106拍攝的圖像(被稱為通道圖像)被疊加以生成圖像。照相機(jī)101拍攝通道圖像108，照相機(jī)102拍攝通道圖像109。這兩個通道圖像被對準(zhǔn)?；谠摻Y(jié)果，通道圖像108和109被疊加以生成圖像110。一般的對準(zhǔn)假定與對象的同一點(diǎn)相對應(yīng)的圖像上的點(diǎn)在對準(zhǔn)的圖像之間具有相同的像素值。然而，對于通道圖像108和109來說，該假定不成立，因?yàn)樗鼈冇删哂胁煌?攝特性的拍攝裝置獲取。結(jié)果，對準(zhǔn)精度下降。將參照圖2說明合成由不同照相機(jī)拍攝的圖像的另一方法。與圖I類似，圖2示出準(zhǔn)備兩個照相機(jī)201和202拍攝對象207的例子。照相機(jī)201包括成像光學(xué)系統(tǒng)203和拍攝裝置205，照相機(jī)202包括成像光學(xué)系統(tǒng)204和拍攝裝置206。與圖I的配置不同，拍攝裝置205和206中的各個包括兩種類型的拍攝元件。一種拍攝元件(被稱為共同元件)具有拍攝裝置205和206共同的拍攝特性。另一種拍攝元件(被稱為專有元件)具有拍攝裝置205或206專有的拍攝特性，即，對入射光的顔色特性或靈敏度特性不同的拍攝特性。注意，成像光學(xué)系統(tǒng)203和204具有相同或幾乎相同的光學(xué)特性。照相機(jī)201和202使用共同元件拍攝圖像209和210 (被稱為共同圖像)，并且使用專有元件拍攝通道圖像208和211。使用共同圖像209和210進(jìn)行對準(zhǔn)，并且基于該結(jié)果疊加通道圖像208和211以生成圖像212?；诠餐瑘D像的對準(zhǔn)能夠防止對準(zhǔn)精度下降，并且能夠通過高精度的對準(zhǔn)生成圖像212。盡管為了簡便起見，在圖I和圖2中說明了使用兩個照相機(jī)的例子，但是可以使用更多數(shù)量的照相機(jī)拍攝多通道圖像。第一實(shí)施例將說明拍攝多通道圖像的例子。[攝像設(shè)備的配置]將參照圖3A和圖3B的示意圖描述根據(jù)實(shí)施例的攝像設(shè)備的外觀。圖3A示出了照相機(jī)主體301的正面(對象側(cè))，圖3B示出了照相機(jī)主體301的背面。照相機(jī)主體301的正面包括按矩陣方式布置并且對應(yīng)于各通道的多個照相機(jī)305至313(被稱為通道照相機(jī))。照相機(jī)301的上面和背面包括快門按鈕302、監(jiān)視器303和操作単元304，操作単元304包括用于進(jìn)行各種操作的按鈕和轉(zhuǎn)盤。用戶根據(jù)顯示在監(jiān)視器303上的用戶界面(UI)操作操作単元304以設(shè)置拍攝條件等，并且按下快門按鈕302以拍攝圖像。用戶可以將拍攝裝置拍攝的圖像、各通道照相機(jī)拍攝的圖像、通過合成通道圖像獲得的圖像等顯示在監(jiān)視器303上。具有多個通道照相機(jī)的攝像設(shè)備有時被稱為“多眼照相機(jī)，，。圖3A和圖3B示出在攝像設(shè)備的正面上布置多個通道照相機(jī)(拍攝單元)的例子。然而，可以通過布置獨(dú)立于攝像設(shè)備的多個拍攝単元以拍攝同一對象、并且將這些拍攝單元連接到攝像設(shè)備，來配置多個通道照相機(jī)。將參照圖4的框圖說明根據(jù)實(shí)施例的攝像設(shè)備的配置。微處理器(CPU)412使用隨機(jī)存取存儲器(RAM) 411作為工作存儲器，執(zhí)行存儲在只讀存儲器(ROM) 410中的操作系統(tǒng)(OS)和各種程序，并且經(jīng)由系統(tǒng)總線422控制各構(gòu)成部件(稍后描述)。CPU 412控制計(jì)算機(jī)圖形(CG)生成器418和顯示控制器413以將UI顯示在監(jiān)視器303上，并且經(jīng)由操作單元304和快門按鈕302接收用戶指令。根據(jù)用戶指令，CPU 412進(jìn)行拍攝參數(shù)(例如攝像時的焦距、f值和曝光時間)的設(shè)置，攝像以及所拍攝的圖像的顯示設(shè)置。注意，CG生成器418生成用于實(shí)現(xiàn)Π的數(shù)據(jù)，如文本和圖形。接ロ(I/F)416具有用于對介質(zhì)417(例如存儲卡或USB(通用串行總 線)存儲器)讀/寫的功能和連接到有線或無線計(jì)算機(jī)網(wǎng)絡(luò)的功能。根據(jù)來自CPU 412的指令，I/F 416將存儲在例如RAM 411中的各種數(shù)據(jù)輸出到外部介質(zhì)或服務(wù)器設(shè)備，并且從外部介質(zhì)或服務(wù)器設(shè)備接收各種數(shù)據(jù)。拍攝單元401至409對應(yīng)于通道照相機(jī)305至313的各拍攝單元，稍后描述其細(xì)節(jié)。各拍攝單元包括具有共同元件和專有元件的拍攝裝置。拍攝單元401至409根據(jù)由CPU 412設(shè)置的拍攝參數(shù)和來自CPU 412的拍攝指令拍攝通道圖像。通過拍攝獲取的各通道的圖像數(shù)據(jù)被臨時保持在拍攝單元401至409的內(nèi)部緩沖器(未示出)中，并且在CPU412的控制下順次存儲在RAM 411的預(yù)定區(qū)域中。代替RAM 411，可以利用連接到I/F 416的介質(zhì)417作為各通道的圖像數(shù)據(jù)的存儲區(qū)域。數(shù)字信號處理器419對拍攝単元401至409拍攝的通道圖像的圖像數(shù)據(jù)進(jìn)行各種信號處理，如降噪處理和伽馬處理。圖像生成器420通過進(jìn)行將由數(shù)字信號處理器419進(jìn)行了信號處理的各通道圖像對準(zhǔn)的處理(被稱為對準(zhǔn)處理)，來生成多通道圖像，稍后描述其細(xì)節(jié)。顯示圖像生成器421執(zhí)行將多通道圖像轉(zhuǎn)換為監(jiān)視器303上可顯示的顯示圖像的處理(被稱為顯示圖像生成處理)。更具體來說，顯示圖像生成器421進(jìn)行處理，如對各通道的伽馬處理以及從多通道圖像到R、G、B圖像的轉(zhuǎn)換，從而生成監(jiān)視器303上可顯示的(用戶可觀察的)圖像。CPU 412將顯示圖像生成器421生成的顯示圖像顯示在監(jiān)視器303上。用戶觀察顯示在監(jiān)視器303上的圖像，并且可以判斷是否已經(jīng)正確拍攝多通道圖像以及轉(zhuǎn)換參數(shù)是否適當(dāng)?；诟魍ǖ赖馁ゑR值和諸如變換矩陣的轉(zhuǎn)換參數(shù)執(zhí)行處理如對各通道的伽馬處理以及從多通道圖像到R、G、B圖像的轉(zhuǎn)換。轉(zhuǎn)換參數(shù)預(yù)先存儲在ROM 410中，從外部介質(zhì)或服務(wù)器設(shè)備輸入，或者由用戶通過Π設(shè)置。用戶可以通過參照顯示在監(jiān)視器303上的圖像，來設(shè)置或調(diào)整(改變)轉(zhuǎn)換參數(shù)，并且將從多通道圖像生成的圖像的色調(diào)設(shè)置或調(diào)整為期望的色調(diào)。[攝像處理]將參照圖5的流程圖描述根據(jù)本實(shí)施例的攝像設(shè)備的攝像處理。CPU 412根據(jù)用戶指令控制拍攝單元401至409，并且設(shè)置拍攝參數(shù)，如焦距、f值和曝光時間(步驟S501)。然后，CPU 412確定用戶操作(步驟S502)。如果用戶已經(jīng)操作操作單元304，則CPU 412將處理返回到步驟S501。如果用戶已經(jīng)按下快門按鈕302，則CPU412指示拍攝單元401至409拍攝圖像(步驟S503)。在拍攝結(jié)束之后，CPU 412從拍攝單元401至409的緩沖存儲器順次讀出圖像數(shù)據(jù)。CPU 412控制數(shù)字信號處理器419對讀出的圖像數(shù)據(jù)進(jìn)行信號處理，并且將進(jìn)行了信號處理的圖像數(shù)據(jù)存儲在RAM 411中(步驟S504)。CPU 412讀出存儲在RAM 411中的各通道圖像的圖像數(shù)據(jù)。CPU 412控制圖像生成器420通過將所讀出的各通道圖像的圖像數(shù)據(jù)對準(zhǔn)，來生成多通道圖像。CPU 412將所生成的多通道圖像的圖像數(shù)據(jù)存儲在RAM 411中(步驟S505)。在存儲多通道圖像的圖像數(shù)據(jù)之后，CPU 412從RAM 411刪除各通道的圖像數(shù)據(jù)。CPU 412讀出存儲在RAM 411中的多通道圖像的圖像數(shù)據(jù)。CPU 412控制顯示圖像生成器421通過對所讀出的多通道圖像的圖像數(shù)據(jù)進(jìn)行顯示圖像生成處理，來生成顯示圖像(步驟S506)。CPU 412將所生成的顯示圖像的圖像數(shù)據(jù)提供給顯示控制器413，以將該圖像顯示在監(jiān)視器303上(步驟S507)。 CPU 412確定用戶指令。用戶觀察顯示在監(jiān)視器303上的圖像，并且操作操作単元304以指定轉(zhuǎn)換參數(shù)的改變，多通道圖像的輸出或擦除等。如果用戶指定轉(zhuǎn)換參數(shù)的改變(步驟S508中的“是”)，則CPU 412將轉(zhuǎn)換參數(shù)改變UI顯示在監(jiān)視器303上，并且接受轉(zhuǎn)換參數(shù)的改變(步驟S509)。在改變結(jié)束之后，CPU412將處理返回到步驟S506。注意，監(jiān)視器303可以同時顯示圖像和轉(zhuǎn)換參數(shù)改變Π，并且顯示根據(jù)改變后的轉(zhuǎn)換參數(shù)轉(zhuǎn)換的圖像。如果用戶指定多通道圖像的輸出(步驟S510中的“是”)，則CPU 412將存儲在RAM411中的多通道圖像的圖像數(shù)據(jù)經(jīng)由I/F 416輸出到介質(zhì)417等(步驟S511)。之后，CPU412從RAM 411擦除多通道圖像的圖像數(shù)據(jù)(步驟S513)。如果顯示在監(jiān)視器303上的圖像不是期望的圖像，例如，對象不完整，圖像散焦，出現(xiàn)過度曝光或曝光不足，或者即使調(diào)節(jié)轉(zhuǎn)換參數(shù)也不能獲得想要的色調(diào)，則用戶指定擦除多通道圖像(步驟S512)。在此情況下，CPU 412從RAM 411擦除多通道圖像的圖像數(shù)據(jù)(步驟 S513)。在擦除多通道圖像的圖像數(shù)據(jù)之后，CPU 412將處理返回到步驟S501。當(dāng)輸出多通道圖像的圖像數(shù)據(jù)時，在預(yù)設(shè)的輸出條件下，除了多通道圖像的圖像數(shù)據(jù)以外，還能夠輸出顯示圖像的圖像數(shù)據(jù)以及轉(zhuǎn)換參數(shù)。[拍攝單元]將參照圖6的框圖說明拍攝單元401至409的配置。圖6示出拍攝單元401的配置，其余的拍攝單元402至409也具有相同的配置。從對象傳來的光通過變焦鏡頭601、聚焦鏡頭602、光圈603、快門604、光學(xué)低通濾波器605、紅外截止(infrared cut)濾波器606以及濾波器607,并且在拍攝裝置608 (例如CMOS傳感器或電荷耦合器件(CCD))上形成圖像。模擬-數(shù)字轉(zhuǎn)換器(A/D轉(zhuǎn)換器)609對從拍攝裝置608輸出的信號進(jìn)行A/D轉(zhuǎn)換。緩沖器610臨時存儲從A/D轉(zhuǎn)換器609輸出的數(shù)字?jǐn)?shù)據(jù)?？刂破?11根據(jù)從CPU 412提供的拍攝參數(shù)，控制變焦鏡頭601、聚焦鏡頭602和光圈603以設(shè)置變焦、焦距和f值。此外，控制器611根據(jù)來自CPU 412的指令，控制快門604和拍攝裝置608以拍攝圖像。響應(yīng)于來自CPU 412的請求，控制器611將存儲在緩沖存儲器中的數(shù)字?jǐn)?shù)據(jù)經(jīng)由系統(tǒng)總線422傳送到RAM 411。將參照圖7說明濾波器607的配置。圖7示出與拍攝裝置608的各拍攝元件相對應(yīng)的濾波器607的各單元(cell)。Y單元是亮度拍攝濾波器，并且通過布置透明濾波器或不布置濾波器來實(shí)現(xiàn)。在拍攝單元401至409中，Y単元具有共同的特性。Y単元和拍攝元件的組合對應(yīng)于“共同元件”。Cn単元是顏色信息拍攝濾波器，并且具有受控的波長透射特性。也就是說，Cn單元是用于特定波長的拍攝濾波器。各拍攝單元包括例如在可見范圍內(nèi)透射波長特性不同的Cn単元。Cn単元和拍攝元件的組合對應(yīng)于“專有元件”。代替在各拍攝單元中使用透射波長特性不同的濾波器，可以使用能夠動態(tài)控制各拍攝元件的光譜靈敏度特性的拍攝裝置在拍攝單元401至409中獲取不同波長的光信息。拍攝單元401至409在像素?cái)?shù)量上相等。圖像上與共同元件相對應(yīng)的像素將被稱為“對準(zhǔn)像素”，與專有元件相對應(yīng)的像素將被稱為“顏色像素”。[圖像生成器]將參照圖8的框圖說明圖像生成器420的配置?；鶞?zhǔn)圖像存儲單元801經(jīng)由系統(tǒng)總線422接收基準(zhǔn)圖像的圖像數(shù)據(jù)，并且保持該圖像數(shù)據(jù)。盡管基準(zhǔn)圖像是由任意拍攝單元獲取的圖像，但是將由拍攝單元401獲取的圖像描述作為基準(zhǔn)圖像。緩沖器802經(jīng)由系統(tǒng)總線422接收除了基準(zhǔn)圖像以外的圖像(被稱為對準(zhǔn)圖像)的圖像數(shù)據(jù)，并保持該圖像數(shù)據(jù)。保持在基準(zhǔn)圖像存儲單元801和緩沖器802中的圖像數(shù)據(jù)可以被劃分成對準(zhǔn)像素和顔色像素。偏移計(jì)算器803比較由基準(zhǔn)圖像的對準(zhǔn)像素表示的圖像與由對準(zhǔn)圖像的對準(zhǔn)像素表示的圖像，并且計(jì)算表示從基準(zhǔn)圖像到對準(zhǔn)圖像的位置偏移的偏移量。重新采樣單元804基于偏移量重新采樣對準(zhǔn)圖像的顔色像素，使得對準(zhǔn)圖像的顏色像素與基準(zhǔn)圖像的顔色像素交疊。然后重新采樣單元804將通過插值對準(zhǔn)圖像的顔色像素獲得的一個通道的圖像數(shù)據(jù)輸出到多通道圖像生成器805。對于基準(zhǔn)圖像，重新采樣單元804輸出通過簡單插值顏色像素獲得的一個通道的圖像數(shù)據(jù)。多通道圖像生成器805接收從重新采樣單元804輸出的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)保持作為ー個通道的圖像數(shù)據(jù)而不進(jìn)行任何處理。在重新采樣各通道的顔色像素結(jié)束之后，多通道圖像生成器805將所保持的各通道的圖像合并為ー個數(shù)據(jù)，并且將該數(shù)據(jù)作為已經(jīng)校正了各通道的圖像之間的位置偏移的多通道圖像輸出到系統(tǒng)總線422。在本實(shí)施例中，由于拍攝単元401至409的Cn単元的透射波長特性不同，因此多通道圖像是九個帶的多帶圖像。將參照圖9的流程圖描述圖像生成器420的處理。圖9中所示的處理對應(yīng)于根據(jù)來自CPU 412的指令執(zhí)行的處理(步驟S505)。圖像生成器420接收基準(zhǔn)圖像的圖像數(shù)據(jù)(步驟S901)。由于將對準(zhǔn)圖像變形以與基準(zhǔn)圖像交疊，因此拍攝基準(zhǔn)圖像的拍攝單元的視點(diǎn)作為多通道圖像的視點(diǎn)。然后，圖像生成器420插值基準(zhǔn)圖像的顔色像素，并且緩存得到的圖像數(shù)據(jù)作為ー個通道的圖像數(shù)據(jù) (步驟 S902)。將參照圖10說明顏色像素的布置。提取與Cn単元相對應(yīng)的顔色像素，獲得如圖10中所示的拍攝裝置608的像素I(m，η)在X方向和Y方向上交替存在和不存在的圖像。像素存在的位置由m+n = 2 λ，λ e N給出。通過插值處理計(jì)算位置m+nデ2 λ，λ e N處的像素值。位置m+n = 2 λ，λ e N位于旋轉(zhuǎn)45°的正方格子上,并且位置m+n關(guān)2 λ ,λ e N位于該格子的中央。因此，能夠通過條件表達(dá)式(I)給出的線性插值來插值像素if (m+n = 2 λ , λ e N)I' (m, η) = I (m, η)；if (m+n デ 2 λ , λ e N)I' (m, η) = {I (m_l, η)+I (m+1, η)+I (m, η_1)+I (m, η+1)}/4 ;…(I)盡管條件表達(dá)式(I)表示雙線性插值處理，但是也可以通過諸如雙三次方法的其 它方法來進(jìn)行插值處理。之后，圖像生成器420接收未對準(zhǔn)的通道的圖像數(shù)據(jù)作為對準(zhǔn)圖像(步驟S903)，并且計(jì)算對準(zhǔn)圖像和基準(zhǔn)圖像之間的偏移量(步驟S904)，稍后描述其細(xì)節(jié)。圖像生成器420基于計(jì)算出的偏移量，重新采樣對準(zhǔn)圖像的顔色像素，使得對準(zhǔn)圖像與基準(zhǔn)圖像交疊(步驟S905)，并且緩存通過重新采樣生成的圖像數(shù)據(jù)作為ー個通道的圖像數(shù)據(jù)(步驟S906)，稍后描述其細(xì)節(jié)。圖像生成器420判斷是否所有通道的圖像數(shù)據(jù)都已經(jīng)被對準(zhǔn)(步驟S907)。如果還有未對準(zhǔn)的通道的圖像數(shù)據(jù)，則圖像生成器420將處理返回到步驟S903。如果已經(jīng)對準(zhǔn)所有通道的圖像數(shù)據(jù)，則圖像生成器420將緩存的圖像數(shù)據(jù)合并為ー個文件，并且輸出該文件作為多通道圖像的圖像數(shù)據(jù)(步驟S908)。[偏移量的計(jì)算]如圖10中的空單元所表示的那樣，與顏色像素類似，對準(zhǔn)像素在X方向和Y方向上交替存在和不存在。為了對準(zhǔn)，對準(zhǔn)像素的排列旋轉(zhuǎn)45°，并且被看作是通常的正方格子排列。等式(2)是用于進(jìn)行坐標(biāo)變換的矩陣
' 1/2 1/21 ,。、M =...(2)
-1/2 1/2 ν ,假定(m，η)是原坐標(biāo)，并且(h，k)是變換后的坐標(biāo)，該坐標(biāo)變換由等式(3)給出
hn「ml/つ、=M…(3) k」 |_n通過坐標(biāo)變換，可以將對準(zhǔn)像素轉(zhuǎn)換為排列在通常的正方格子上的像素。因此能夠使用現(xiàn)有的對準(zhǔn)方法計(jì)算偏移量。將參照圖11的流程圖說明圖像之間的偏移量的計(jì)算方法。將描述如下方法提取基準(zhǔn)圖像的特征點(diǎn)、獲得與特征點(diǎn)相對應(yīng)的對準(zhǔn)圖像上的點(diǎn)(被稱為對應(yīng)點(diǎn))并且獲得整個圖像的偏移量作為變形參數(shù)。偏移計(jì)算器803提取基準(zhǔn)圖像的特征點(diǎn)(步驟S1101)，并且檢測對準(zhǔn)圖像上與該特征點(diǎn)相對應(yīng)的對應(yīng)點(diǎn)(步驟S1102)。特征點(diǎn)的提取例如使用在C.Harris and M. Stephens, " A combined corner andedge detector" ,Proceedings of the 4th Alvey Vision Conference,pp. 147-151,1988中記載的Harris角點(diǎn)檢測。對應(yīng)點(diǎn)的檢測例如使用塊匹配方法。更具體來說，將以特征點(diǎn)為中心的塊設(shè)置在基準(zhǔn)圖像上，并且在逐漸移動基準(zhǔn)圖像和對準(zhǔn)圖像的相對位置的同時計(jì)算評價(jià)值。該評價(jià)值采用該塊內(nèi)基準(zhǔn)圖像的像素值和對準(zhǔn)圖像的像素值之間的差分絕對值之和或者差分的平方和。在獲得最小評價(jià)值時對準(zhǔn)圖像中該塊的中心被檢測為對應(yīng)點(diǎn)。通過基于線性函數(shù)的絕對值或二次函數(shù)擬合相對位置和評價(jià)值之間的關(guān)系并且從該函數(shù)上評價(jià)值變?yōu)樽钚≈档南鄬ξ恢毛@得對應(yīng)點(diǎn)，能夠以高精度檢測出對應(yīng)點(diǎn)?；谙袼刂档钠屏坑?jì)算方法的前提是圖像內(nèi)對象上的同一點(diǎn)處的像素值在圖像之間幾乎相等。因此，當(dāng)在具有不同特性的照相機(jī)之間計(jì)算偏移量時，不能獲得高精度。然而，根據(jù)本實(shí)施例，從具有相同特性的對準(zhǔn)像素的圖像計(jì)算偏移量，所以上述前提成立，能夠保持高精度。之后，偏移計(jì)算器803判斷檢測到的對應(yīng)點(diǎn)是否正確(步驟S1103)。此時，例如判斷在步驟S1102中計(jì)算出的最小評價(jià)值是否等于或小于預(yù)定閾值就足夠了。如果最小評價(jià)值等于或小于閾值，則判斷為檢測到正確的對應(yīng)點(diǎn)；如果最小評價(jià)值超過閾值，則判斷為檢測到錯誤的對應(yīng)點(diǎn)。在接下來的處理中不使用檢測到錯誤對應(yīng)點(diǎn)的特征點(diǎn)。
偏移計(jì)算器803判斷是否已經(jīng)檢測到與所有特征點(diǎn)相對應(yīng)的點(diǎn)(步驟S1104)。如果步驟S1104中是“否”，則偏移計(jì)算器803將處理返回到步驟S1102。如果已經(jīng)檢測到與所有特征點(diǎn)相對應(yīng)的點(diǎn)，則偏移計(jì)算器803基于特征點(diǎn)和對應(yīng)點(diǎn)之間的關(guān)系計(jì)算變形參數(shù)(步驟 SI 105)。在以下例子中，由仿射參數(shù)描述位置偏移量。特征點(diǎn)和對應(yīng)點(diǎn)之間的關(guān)系可以由等式⑷給出
h' a b c hk' = d e f k...(4)
I 丨 IO O IJLI其中(h，k):特征點(diǎn)的位置(h’，k’)對應(yīng)點(diǎn)的位置在等式(4)中，3X3矩陣是仿射變換矩陣。該矩陣的各個元素是仿射參數(shù)。對于a = l,b = 0,d = 0,e = I,變換是c表示水平移動量并且f表示垂直移動量的平移。以旋轉(zhuǎn)角度9的旋轉(zhuǎn)移動可以由a = cos Θ , b = -sin θ , d = sin θ ,和e = cos θ給出。通過使用廣義矩陣形式，能夠?qū)⒌仁?4)重寫為等式(5)X, =Ax…(5)其中χ，χ' :1Χ3 矩陣Α:3Χ3 矩陣當(dāng)已經(jīng)獲得正確對應(yīng)點(diǎn)的特征點(diǎn)的數(shù)量是η時,能夠由如等式(6)所表示的3Χη矩陣表現(xiàn)特征點(diǎn)的坐標(biāo)值X = (χ χ2· . . xn)... (6)類似地，甚至可以由如等式(7)所表示的nX 3矩陣表現(xiàn)對應(yīng)點(diǎn)V = (xl' x2' ...xn' ). . . (7)從而由等式⑶給出η個運(yùn)動矢量X' = AX…(8)換句話說，作為整個對準(zhǔn)圖像的位置偏移量獲得等式(8)中的仿射矩陣Α。變形等式⑶得到表示仿射矩陣A的等式(9)
A = X' Xt(XXt)…(9)其中T :轉(zhuǎn)置矩陣根據(jù)該方法，將運(yùn)動量表現(xiàn)為仿射變換參數(shù)。對準(zhǔn)圖像的坐標(biāo)變換和仿射變換可以由等式(10)來概括
權(quán)利要求
1.ー種攝像設(shè)備，包括 多個拍攝単元，用于從對象獲取具有彼此不同的特性的圖像數(shù)據(jù)； 計(jì)算器，其被配置為計(jì)算指示由所述多個拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移的偏移量；以及 生成器，其被配置為生成多通道圖像的圖像數(shù)據(jù)，在所述多通道圖像中，使用所述偏移量校正了由所述多個拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移， 其中，所述多個拍攝單元中的各個拍攝単元包括具有所述拍攝單元專有的拍攝特性的拍攝元件、和具有所述多個拍攝單元共同的拍攝特性的拍攝元件，并且 其中，所述計(jì)算器由具有所述共同拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)計(jì)算所述偏移量。
2.根據(jù)權(quán)利要求I所述的攝像設(shè)備，其中，所述共同拍攝特性對全部所述多個拍攝單元來說是共同的。
3.根據(jù)權(quán)利要求I所述的攝像設(shè)備，其中，所述多個拍攝單元包括具有相同的專有拍攝特性的拍攝元件的多個拍攝単元。
4.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述生成器由具有所述專有拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)生成所述多通道圖像的圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求I所述的攝像設(shè)備，其中，具有所述專有拍攝特性的拍攝元件包括在所述多個拍攝單元之間具有彼此不同的波長透射特性的濾波器。
6.根據(jù)權(quán)利要求I所述的攝像設(shè)備，其中，具有所述專有拍攝特性的拍攝元件在所述多個拍攝単元之間對光的靈敏度特性是不同的。
7.ー種攝像設(shè)備，包括 多個拍攝部，用于從對象獲取具有彼此不同的特性的圖像數(shù)據(jù)； 計(jì)算器，其被配置為計(jì)算指示由所述多個拍攝部獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移的偏移量；以及 生成器，其被配置為生成多通道圖像的圖像數(shù)據(jù)，在所述多通道圖像中，使用所述偏移量校正了由所述多個拍攝部獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移， 其中，所述多個拍攝部中的各個拍攝部包括具有該拍攝部和另ー個拍攝部共同的拍攝特性的拍攝元件，并且包括具有該拍攝部和再另ー個拍攝部共同的拍攝特性的拍攝元件，并且 其中，所述計(jì)算器重復(fù)從具有所述共同拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)計(jì)算由包括具有所述共同拍攝特性的拍攝元件的兩個拍攝部獲取的圖像數(shù)據(jù)表示的圖像之間的偏移量的處理，并且累積所述偏移量，從而計(jì)算ー個拍攝部獲取的圖像數(shù)據(jù)的圖像相對于另一個拍攝部獲取的圖像數(shù)據(jù)的基準(zhǔn)圖像的偏移量。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述生成器將由具有所述共同拍攝特性的拍攝元件獲取的兩個圖像數(shù)據(jù)取平均，并且生成平均的圖像數(shù)據(jù)作為所述多通道圖像的圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述多個拍攝部針對波長彼此不同的光分量獲取圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求7所述的設(shè)備，其中，所述多個拍攝部獲取具有彼此不同的光靈敏度特性 的圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種攝像設(shè)備。拍攝單元從對象獲取具有彼此不同的特性的圖像數(shù)據(jù)。圖像生成器計(jì)算表示由所述拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移的偏移量，并且生成多通道圖像的圖像數(shù)據(jù)，在所述多通道圖像中，已經(jīng)使用所述偏移量校正由所述拍攝單元獲取的圖像數(shù)據(jù)表示的圖像之間的位置偏移。所述拍攝單元中的各個拍攝單元包括具有所述拍攝單元專有的拍攝特性的拍攝元件和具有多個拍攝單元共同的拍攝特性的拍攝元件。所述圖像生成器從具有共同拍攝特性的拍攝元件獲取的圖像數(shù)據(jù)計(jì)算所述偏移量。
文檔編號H04N5/225GK102694973SQ20121007822
公開日2012年9月26日 申請日期2012年3月19日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者小泉達(dá)朗 申請人:佳能株式會社