專(zhuān)利名稱(chēng)：攝像裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如數(shù)碼相機(jī)等攝像裝置，特別涉及具備用于補(bǔ)正攝影時(shí)的手抖動(dòng)的手抖動(dòng)補(bǔ)正功能的攝像裝置、和該攝像裝置中使用的圖像處理方法及程序。
背景技術(shù)：
近年，提出了一種在數(shù)碼相機(jī)中，代替一次的長(zhǎng)時(shí)間曝光而進(jìn)行短曝光時(shí)間下的連續(xù)攝影，通過(guò)重疊由該連續(xù)攝影獲得的多張圖像，而獲得無(wú)模糊的、抑制了噪聲的鮮明的圖像的方法。
此處，即使連續(xù)攝影中的各幀的間隔為短時(shí)間，其間相機(jī)與被攝體之間也可能產(chǎn)生位置偏移。因此，在重疊由連續(xù)攝影獲得的各圖像進(jìn)行合成時(shí)，需要補(bǔ)正這種位置偏移而進(jìn)行重疊。
以往，作為檢測(cè)由手抖動(dòng)引起的圖像間的位置偏移的方法，在特開(kāi)平10-173992號(hào)公報(bào)中公開(kāi)有通過(guò)獲得預(yù)先設(shè)置時(shí)差而攝影的兩個(gè)圖像的互相關(guān)，檢測(cè)圖像間的位置偏差的方法。
例如，在不能使用閃光燈時(shí)，或被攝體離相機(jī)遠(yuǎn)而即便使用閃光燈，閃光燈光也不能充分到達(dá)的情況等，以低照度攝影的圖像的SN比非常低，難以提取被攝體的特征點(diǎn)。因此，存在不能正確地檢測(cè)由手抖動(dòng)引起的圖像間的位置偏移，即使圖像合成也不能獲得良好的圖像的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明鑒于如所述的點(diǎn)而實(shí)現(xiàn)，目的在于提供一種即使是在低照度下的攝影，也能正確地檢測(cè)由手抖動(dòng)引起的圖像間的位置偏移，獲得無(wú)手抖動(dòng)的良好的圖像的攝像裝置、圖像處理方法及程序。
本發(fā)明的攝像裝置構(gòu)成為，包括第一攝像元件，用于實(shí)際圖像攝影，攝影被攝體；第二攝像元件，用于位置偏移檢測(cè)，具有比該第一攝像元件更高的靈敏度的特性；攝影機(jī)構(gòu)，同時(shí)驅(qū)動(dòng)所述第一及第二攝像元件，進(jìn)行被攝體的攝影；位置偏移檢測(cè)機(jī)構(gòu)，使用在基于該攝影機(jī)構(gòu)的攝影時(shí)由所述第二攝像元件獲得的圖像數(shù)據(jù)，算出由攝影時(shí)的手抖動(dòng)引起的圖像間的位置偏移量；和位置補(bǔ)正機(jī)構(gòu)，基于由該位置偏移檢測(cè)機(jī)構(gòu)獲得的位置偏移量，補(bǔ)正由所述第一攝像元件獲得的圖像數(shù)據(jù)的位置。


圖1是表示作為本發(fā)明的第一實(shí)施方式的攝像裝置以數(shù)碼相機(jī)為例的情況下的外觀構(gòu)成的圖；圖2是表示第一實(shí)施方式的數(shù)碼相機(jī)的攝影鏡頭與被攝體的關(guān)系的圖；圖3是表示第一實(shí)施方式的數(shù)碼相機(jī)的攝影鏡頭與攝像元件的關(guān)系的圖；圖4是表示第一實(shí)施方式的數(shù)碼相機(jī)的電路構(gòu)成的框圖；圖5是表示第一實(shí)施方式的數(shù)碼相機(jī)的圖像處理的動(dòng)作的流程圖；圖6是表示本發(fā)明的第二實(shí)施方式的數(shù)碼相機(jī)中，在實(shí)際圖像攝影用與位置偏移檢測(cè)用中使用不同的攝影鏡頭與攝像元件的情況下的一個(gè)例子的圖；圖7是表示本發(fā)明的第二實(shí)施方式的數(shù)碼相機(jī)中，在實(shí)際圖像攝影用與位置偏移檢測(cè)用中使用不同的攝影鏡頭與攝像元件的情況下的其它例子的圖；圖8是表示第二實(shí)施方式的數(shù)碼相機(jī)的電路構(gòu)成的框圖；圖9是表示第二實(shí)施方式的數(shù)碼相機(jī)的圖像處理的動(dòng)作的流程圖；圖10是表示使用了本發(fā)明的第三實(shí)施方式的數(shù)碼相機(jī)的冷光鏡的攝像系統(tǒng)的構(gòu)成的圖；圖11是表示第三實(shí)施方式的數(shù)碼相機(jī)的冷光鏡的反射特性的圖；圖12是表示將本發(fā)明適用于動(dòng)畫(huà)攝影時(shí)的圖像處理的動(dòng)作的流程圖。
具體實(shí)施例方式
以下，參照

本發(fā)明的實(shí)施方式。
(第一實(shí)施方式)圖1是表示作為本發(fā)明的第一實(shí)施方式的攝像裝置以數(shù)碼相機(jī)為例的情況下的外觀構(gòu)成的圖。
在該數(shù)碼相機(jī)10的裝置主體11的上表面設(shè)置有快門(mén)鍵12。該快門(mén)鍵12指示攝影時(shí)刻。
另外，其它雖未特別圖示，但在裝置主體上設(shè)置有電源鍵、或用于切換攝影模式與再生模式的模式鍵、用于表示有關(guān)攝影動(dòng)作的各種菜單的菜單鍵等。而且，在裝置主體的背面設(shè)置有未圖示的液晶畫(huà)面，攝影時(shí)將現(xiàn)在的攝影對(duì)象作為監(jiān)視器圖像而顯示，再生時(shí)，記錄于存儲(chǔ)器中的圖像被再生顯示。
此處，在裝置主體11的正面(與被攝體對(duì)置的面)并列設(shè)置有兩個(gè)攝影鏡頭13a、13b。一方的攝影鏡頭13a是實(shí)際圖像攝影用鏡頭，另一方攝影鏡頭13b是位置偏移檢測(cè)用鏡頭，并相互靠近設(shè)置。
圖2是表示第一實(shí)施方式的數(shù)碼相機(jī)的攝影鏡頭與被攝體的關(guān)系的圖。圖中的Ka、Kb表示攝影鏡頭13a、13b的光軸，θa、θb表示攝影鏡頭13a、13b的視場(chǎng)角。而且，15是被攝體。實(shí)際圖像攝影用的攝影鏡頭13a與位置偏移檢測(cè)用的攝影鏡頭13b分別具有相同視場(chǎng)角、相同倍率。
圖3是表示第一實(shí)施方式的數(shù)碼相機(jī)的攝影鏡頭與攝像元件的關(guān)系的圖。圖中的14a、14b是攝像元件。
在該數(shù)碼相機(jī)10的裝置主體11內(nèi)，與攝影鏡頭13a、13b對(duì)應(yīng)而內(nèi)置有兩個(gè)攝像元件14a、14b。攝像元件14a、14b例如由CCD(charge coupleddevice)構(gòu)成，分別接受通過(guò)攝影鏡頭13a、13b而輸入的來(lái)自被攝體的各部位的光，并輸出與該光的強(qiáng)度相對(duì)應(yīng)的電信號(hào)。
攝像元件14a為實(shí)際圖像攝影用元件，設(shè)置在攝影鏡頭13a的光軸Ka上。該攝像元件14a為了獲得實(shí)際圖像而在可見(jiàn)光區(qū)域具有靈敏度，在其前面呈拜爾(Bayer)排列狀配置有彩色濾光片。另外，還存在配置用于截止IR(紅外線)區(qū)域的光的濾光片的情況。
攝像元件14b為位置偏移檢測(cè)用元件，設(shè)置在攝影鏡頭13b的光軸Kb上。該攝像元件14b是單色(monochrome)攝像元件，未配置彩色濾光片、IR截止濾光片、UV(紫外線)截止濾光片等濾光片類(lèi)。而且，該攝像元件14b具有連微小的光都可檢測(cè)的高靈敏度的特性，即使在低照度的攝影時(shí)也能夠鮮明地?cái)z影被攝體的外形的特征等。這兩個(gè)攝像元件14a、14b具有相同像素大小、相同像素?cái)?shù)，在攝影時(shí)被同時(shí)驅(qū)動(dòng)。
圖4是表示第一實(shí)施方式的數(shù)碼相機(jī)的電路構(gòu)成的框圖。
數(shù)碼相機(jī)10具備實(shí)際圖像攝影用的攝像元件14a和位置偏移檢測(cè)用的攝像元件14b。如上所述，攝像元件14a是在可見(jiàn)光區(qū)域具有靈敏度、具備彩色濾光片的光電轉(zhuǎn)換元件。攝像元件14b是在可見(jiàn)光區(qū)域以外的IR區(qū)域也具有靈敏度、不具備彩色濾光片等而即使在低照度時(shí)也可高靈敏度攝影的單色的光電轉(zhuǎn)換元件。
定時(shí)發(fā)生器(TG)21控制這兩個(gè)攝像元件14a、14b的攝影時(shí)刻。AD轉(zhuǎn)換器(ADC)22將從攝像元件14a輸出的電信號(hào)轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)。存儲(chǔ)器23是實(shí)際圖像用的存儲(chǔ)器，將從攝像元件14a經(jīng)由AD轉(zhuǎn)換器22獲得的圖像數(shù)據(jù)作為實(shí)際圖像存儲(chǔ)一張份。AD轉(zhuǎn)換器(ADC)24將從攝像元件14b輸出的電信號(hào)轉(zhuǎn)換為數(shù)字的圖像數(shù)據(jù)。存儲(chǔ)器25是位置偏移檢測(cè)用的存儲(chǔ)器，將從攝像元件14b經(jīng)由AD轉(zhuǎn)換器24獲得的圖像數(shù)據(jù)存儲(chǔ)一張份。
CPU26是用于進(jìn)行數(shù)碼相機(jī)10的動(dòng)作控制的計(jì)算機(jī)，通過(guò)讀入在未圖示的ROM等中存儲(chǔ)的程序，按照該程序中記述的順序執(zhí)行各種處理。
該CPU26中設(shè)置有圖像生成部27、位置偏移檢測(cè)部28、位置補(bǔ)正部29。另外，它們功能性地表示由CPU26執(zhí)行的處理。
圖像生成部27根據(jù)在存儲(chǔ)器25中存儲(chǔ)的圖像數(shù)據(jù)生成容易算出位置偏移的圖像，并存儲(chǔ)到存儲(chǔ)器31或存儲(chǔ)器32中。該存儲(chǔ)器31、32都是為檢測(cè)位置偏移而準(zhǔn)備的存儲(chǔ)器，此處，將由連續(xù)攝影而依次獲得的多張圖像數(shù)據(jù)中的第一張圖像數(shù)據(jù)作為參照?qǐng)D像存儲(chǔ)到存儲(chǔ)器31中，第二張以后的圖像數(shù)據(jù)依次逐個(gè)作為測(cè)量圖像，存儲(chǔ)到存儲(chǔ)器32中。
位置偏移檢測(cè)部28比較存儲(chǔ)器31中存儲(chǔ)的參照?qǐng)D像與存儲(chǔ)器32中存儲(chǔ)的測(cè)量圖像，算出由手抖動(dòng)引起的圖像間的位置偏移。位置補(bǔ)正部29基于由該位置偏移檢測(cè)部28算出的位置偏移量，補(bǔ)正存儲(chǔ)器23中存儲(chǔ)的圖像數(shù)據(jù)也就是實(shí)際圖像，并供給到加法平均部33。
加法平均部33是加法平均由連續(xù)攝影依次獲得的圖像數(shù)據(jù)的各像素的亮度值而生成一張合成圖像的部分，此處，將由位置補(bǔ)正部29位置補(bǔ)正后的實(shí)際圖像作為合成對(duì)象進(jìn)行加法平均，將該結(jié)果存儲(chǔ)到后段的存儲(chǔ)器34中。另外，對(duì)相當(dāng)于參照?qǐng)D像的第一張實(shí)際圖像，直接存儲(chǔ)到存儲(chǔ)器34中，第二張以后的實(shí)際圖像依次重疊到該第一張實(shí)際圖像(最初的圖像)上。
外部存儲(chǔ)器35是將由加法平均部33在存儲(chǔ)器34內(nèi)作成的合成圖像作為手抖動(dòng)補(bǔ)正后的攝影圖像而存儲(chǔ)、保存的存儲(chǔ)器。另外，實(shí)際上，例如根據(jù)JPEG(Joint Photograph coding Experts Group)等而壓縮處理后保存到外部存儲(chǔ)器35中。作為該外部存儲(chǔ)器35，例如可使用閃存器(flashmemory)等。
下面，說(shuō)明第一實(shí)施方式的動(dòng)作。
另外，以下的流程圖中所示的處理，通過(guò)作為微型計(jì)算機(jī)的CPU26讀入規(guī)定的程序而執(zhí)行。
圖5是表示第一實(shí)施方式的數(shù)碼相機(jī)的圖像處理的動(dòng)作的流程圖，表示了通過(guò)將由連續(xù)攝影獲得的多張圖像數(shù)據(jù)(靜止圖像)對(duì)位合成，從而作成補(bǔ)正手抖動(dòng)后的圖像時(shí)的處理的流程。
首先，根據(jù)實(shí)際圖像攝影用的攝像元件14a的輸出狀況設(shè)定對(duì)攝像元件14a的增益及曝光時(shí)間。另外，曝光時(shí)間被設(shè)定為即使攝影時(shí)發(fā)生手抖動(dòng)，攝影后的圖像也沒(méi)有較大地模糊的程度的值。例如，希望在125msec以下。對(duì)位置偏移檢測(cè)用的攝像元件14b也設(shè)定相同的曝光時(shí)間，并且設(shè)定與ADC輸出范圍一致的增益(步驟A11)。
若按下快門(mén)鍵12而指示攝影，則按照所述步驟A11中設(shè)定的增益及曝光時(shí)間在相同的時(shí)刻驅(qū)動(dòng)攝像元件14a與攝像元件14b，并經(jīng)由各自對(duì)應(yīng)的AD轉(zhuǎn)換器22、23而將一張份的圖像數(shù)據(jù)分別存儲(chǔ)到存儲(chǔ)器23、25中(步驟A12)。
存儲(chǔ)器25中存儲(chǔ)的第一張圖像數(shù)據(jù)通過(guò)圖像生成部27以容易算出位置偏移的方式被圖像處理之后，作為參照?qǐng)D像存儲(chǔ)到存儲(chǔ)器31中(步驟A13)。另一方面，存儲(chǔ)器23中存儲(chǔ)的第一張圖像數(shù)據(jù)不經(jīng)過(guò)位置補(bǔ)正處理及加法平均處理而直接作為最初的圖像存儲(chǔ)到存儲(chǔ)器34中(步驟A14)。
接著，判斷需要合成的既定張數(shù)份的圖像的處理是否已經(jīng)結(jié)束(步驟A18)。若未達(dá)到既定張數(shù)(步驟A18的“否”)，則返回步驟A12，以規(guī)定的時(shí)間間隔連續(xù)執(zhí)行第二張以后的攝影。該情況下，在第二張的攝影中由攝像元件14a獲得的實(shí)際圖像數(shù)據(jù)被保持在存儲(chǔ)器23中，由攝像元件14b獲得的位置偏移檢測(cè)用的圖像數(shù)據(jù)被存儲(chǔ)到存儲(chǔ)器25中之后，由圖像生成部27進(jìn)行圖像處理并作為測(cè)量圖像存儲(chǔ)到存儲(chǔ)器32中。此時(shí)，在存儲(chǔ)器31中將第一張圖像數(shù)據(jù)作為參照?qǐng)D像而保持。
存儲(chǔ)器31中存儲(chǔ)的參照?qǐng)D像與存儲(chǔ)器32中存儲(chǔ)的測(cè)量圖像被供給到位置偏移檢測(cè)部28，利用這兩個(gè)圖像數(shù)據(jù)算出由手抖動(dòng)引起的圖像間的位置偏移量(步驟A15)。
另外，作為位置偏移量的算出方法，除例如特開(kāi)平10-173992號(hào)中公開(kāi)的方法以外還有各種方法。在本發(fā)明中，并非特別限定于這些方法，也可以由公知的方法進(jìn)行位置偏移量的算出。
由該位置偏移檢測(cè)部28獲得的位置偏移量被供給到位置補(bǔ)正部29。在位置補(bǔ)正部29中，基于所述位置偏移量將所述存儲(chǔ)器23中保持的第二張實(shí)際圖像的位置補(bǔ)正為與最初的圖像一致(步驟A16)。
該位置偏移補(bǔ)正后的第二張實(shí)際圖像被供給到加法平均部33，并對(duì)構(gòu)成該實(shí)際圖像的各像素的亮度值、與存儲(chǔ)器34中已經(jīng)存儲(chǔ)的最初的圖像的各像素的亮度值進(jìn)行加法平均(步驟A17)。
然后，同樣連續(xù)地進(jìn)行既定張數(shù)份的攝影，在第二張以后獲得的實(shí)際圖像相對(duì)于最初的圖像被位置偏移補(bǔ)正并依次被加法平均處理，其合成圖像在存儲(chǔ)器34中生成。
對(duì)該加法平均處理進(jìn)行說(shuō)明，一般同一點(diǎn)的信號(hào)的相關(guān)高，若進(jìn)行n次加法則可獲得n倍的值。另一方面，由于若設(shè)想雜音為不規(guī)則雜音，則通過(guò)多次平均(時(shí)間平均)成為0，因此SN比通過(guò)N次的累積平均提高n倍。因此，通過(guò)合成多次的攝像結(jié)果，有效的曝光時(shí)間變長(zhǎng)，輸出成為合成圖像的n倍，靈敏度增加n倍，并且圖像的SN比提高n倍。
若既定張數(shù)份的圖像的處理結(jié)束(步驟A18的“是”)，則存儲(chǔ)器34中生成的合成圖像作為補(bǔ)正了手抖動(dòng)后的圖像被輸出到外部存儲(chǔ)器35，并以規(guī)定的方式被壓縮保存(步驟A19)。
于是，通過(guò)除實(shí)際圖像攝影用的攝像元件14a以外還使用具有高靈敏度特性的攝像元件14b同時(shí)進(jìn)行攝影，因此即使在低照度下的攝影，也能夠從由攝像元件14b依次獲得的圖像數(shù)據(jù)提取被攝體的特征點(diǎn)，并正確地算出位置偏移量。因此，基于該位置偏移量，對(duì)由攝像元件14a依次獲得的實(shí)際圖像進(jìn)行對(duì)位并重疊，從而能夠獲得補(bǔ)正了手抖動(dòng)成分后的鮮明的圖像。
(第二實(shí)施方式)下面，對(duì)本發(fā)明的第二實(shí)施方式進(jìn)行說(shuō)明。
在所述第一實(shí)施方式中，2組光學(xué)系統(tǒng)的視場(chǎng)角及倍率相同，而且，對(duì)應(yīng)于這些光學(xué)系統(tǒng)而設(shè)置的2組攝像元件的大小及像素?cái)?shù)也相同。但是，如圖6及圖7所示，即使不一定使用相同特點(diǎn)的元件也能實(shí)現(xiàn)。圖6的例子表示攝影鏡頭13a、13b的倍率不同、攝像元件14a、14b的大小及像素?cái)?shù)不同的情況。圖7的例子進(jìn)而表示攝影鏡頭13a、13b的視場(chǎng)角不同的情況。
圖8是表示第二實(shí)施方式的數(shù)碼相機(jī)的電路構(gòu)成的框圖。另外，對(duì)與圖4(第一實(shí)施方式)的構(gòu)成相同的部分標(biāo)注相同符號(hào)，并省略以下的說(shuō)明。
在圖8中，與圖4的不同之處在于，在CPU26中具備光學(xué)元件補(bǔ)正部30。該光學(xué)元件補(bǔ)正部30考慮分別從實(shí)際圖像攝影用的攝像元件14a與位置偏移檢測(cè)用的攝像元件14b獲得的圖像數(shù)據(jù)的不同之處，使由位置偏移檢測(cè)部28算出的位置偏移量對(duì)應(yīng)于由攝像元件14a獲得的圖像數(shù)據(jù)的坐標(biāo)系。
在位置補(bǔ)正部29中，利用基于該光學(xué)元件補(bǔ)正部30的補(bǔ)正后的位置偏移量，補(bǔ)正存儲(chǔ)器23中存儲(chǔ)的圖像數(shù)據(jù)也就是實(shí)際圖像的位置。
下面，對(duì)作為第二實(shí)施方式的動(dòng)作進(jìn)行說(shuō)明。
另外，以下的流程圖中所示的處理，通過(guò)作為微型計(jì)算機(jī)的CPU26讀入規(guī)定的程序而執(zhí)行。
圖9是表示第二實(shí)施方式的數(shù)碼相機(jī)的圖像處理的動(dòng)作的流程圖，表示了通過(guò)將由連續(xù)攝影獲得的多張圖像數(shù)據(jù)(靜止圖像)對(duì)位合成，從而作成補(bǔ)正手抖動(dòng)后的圖像時(shí)的處理的流程。
基本的處理的流程與所述第一實(shí)施方式中的圖5的流程圖相同，不同之處在于步驟B16中添加有光學(xué)元件補(bǔ)正。
首先，根據(jù)實(shí)際圖像攝影用的攝像元件14a的輸出狀況設(shè)定對(duì)攝像元件14a的增益及曝光時(shí)間。并且，對(duì)位置偏移檢測(cè)用的攝像元件14b也設(shè)定相同的曝光時(shí)間，且設(shè)定與ADC輸出范圍一致的增益(步驟B11)。
若通過(guò)快門(mén)鍵12的按下操作而指示攝影，則按照所述步驟B11中設(shè)定的增益及曝光時(shí)間在相同的時(shí)刻驅(qū)動(dòng)攝像元件14a與攝像元件14b，并經(jīng)由各自對(duì)應(yīng)的AD轉(zhuǎn)換器22、23而一張份的圖像數(shù)據(jù)被分別存儲(chǔ)到存儲(chǔ)器23、25中(步驟B12)。
存儲(chǔ)器25中存儲(chǔ)的第一張圖像數(shù)據(jù)通過(guò)圖像生成部27以容易算出位置偏移的方式被圖像處理之后，作為參照?qǐng)D像存儲(chǔ)到存儲(chǔ)器31中(步驟B13)。另一方面，存儲(chǔ)器23中存儲(chǔ)的第一張圖像數(shù)據(jù)不經(jīng)過(guò)位置補(bǔ)正處理及加法平均處理而直接作為最初的圖像存儲(chǔ)到存儲(chǔ)器34中(步驟B14)。
接著，判斷需要合成的既定張數(shù)份的圖像的處理是否已經(jīng)結(jié)束(步驟B19)。若未達(dá)到既定張數(shù)(步驟B19的“否”)，則返回步驟B12，并以規(guī)定的時(shí)間間隔連續(xù)執(zhí)行第二張以后的攝影。該情況下，在第二張的攝影中由攝像元件14a獲得的實(shí)際圖像數(shù)據(jù)保持在存儲(chǔ)器23中，由攝像元件14b獲得的位置偏移檢測(cè)用的圖像數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器25中之后，通過(guò)圖像生成部27而被圖像處理之后作為測(cè)量圖像存儲(chǔ)到存儲(chǔ)器32中。此時(shí)，在存儲(chǔ)器31中將第一張圖像數(shù)據(jù)作為參照?qǐng)D像而保持。
存儲(chǔ)器31中存儲(chǔ)的參照?qǐng)D像與存儲(chǔ)器32中存儲(chǔ)的測(cè)量圖像被供給到位置偏移檢測(cè)部28，利用這兩個(gè)圖像數(shù)據(jù)算出由手抖動(dòng)引起的圖像間的位置偏移量(步驟B15)。
此處，在第二實(shí)施方式中，由位置偏移檢測(cè)部28算出的位置偏移量被供給到光學(xué)元件補(bǔ)正部30。在攝像元件14a、14b的大小及像素?cái)?shù)不同的情況下，即使為相同的移動(dòng)量，以各自的像素單位數(shù)出的大小也不同。在位置偏移檢測(cè)部28中，基于攝像元件14a、14b的大小及像素?cái)?shù)的不同，使由圖像B算出的位置偏移量對(duì)應(yīng)于圖像A的坐標(biāo)系而進(jìn)行補(bǔ)正。即使在攝影鏡頭13a、13b的倍率或視場(chǎng)角不同的情況下也相同，基于該光學(xué)系統(tǒng)的倍率或視場(chǎng)角的不同，使所述位置偏移量對(duì)應(yīng)于圖像A的坐標(biāo)系而進(jìn)行補(bǔ)正(步驟B16)。
這樣補(bǔ)正后的位置偏移量被供給到位置補(bǔ)正部29。在位置補(bǔ)正部29中，基于該補(bǔ)正后的位置偏移量，將所述存儲(chǔ)器23中保持的第二張實(shí)際圖像的位置補(bǔ)正為與最初的圖像一致(步驟B17)。
該位置偏移補(bǔ)正后的第二張實(shí)際圖像被供給到加法平均部33，對(duì)構(gòu)成該實(shí)際圖像的各像素的亮度值、與存儲(chǔ)器34中已經(jīng)存儲(chǔ)的最初的圖像的各像素的亮度值進(jìn)行加法平均(步驟B18)。
然后，同樣連續(xù)地進(jìn)行既定張數(shù)份的攝影，在第二張以后獲得的實(shí)際圖像相對(duì)于最初的圖像被位置偏移補(bǔ)正并依次被加法平均處理，其合成圖像在存儲(chǔ)器34中生成。
若既定張數(shù)份的圖像的處理結(jié)束(步驟B19的是)，則存儲(chǔ)器34中生成的合成圖像作為補(bǔ)正了手抖動(dòng)后的圖像被輸出到外部存儲(chǔ)器35中，并以規(guī)定的方式被壓縮、保存(步驟B20)。
于是，即使在實(shí)際圖像攝影用與位置偏移檢測(cè)用的光學(xué)系統(tǒng)及攝像元件不同的情況下，通過(guò)使由位置偏移檢測(cè)用的攝像元件獲得的圖像間的位置偏移量對(duì)應(yīng)于由實(shí)際圖像攝影用的攝像元件獲得的圖像的坐標(biāo)系而進(jìn)行補(bǔ)正，從而能夠獲得與所述第一實(shí)施方式同樣的效果。
(第三實(shí)施方式)下面，對(duì)本發(fā)明的第三實(shí)施方式進(jìn)行說(shuō)明。
在所述第一實(shí)施方式及第二實(shí)施方式中，在實(shí)際圖像攝影用與位置偏移檢測(cè)用中分別設(shè)定有攝影鏡頭13a、13b。對(duì)此，在第三實(shí)施方式中，如圖10所示，采用如下構(gòu)成光學(xué)系統(tǒng)是一個(gè)攝影鏡頭13a，將通過(guò)該攝影鏡頭13a而入射的光由冷光鏡(cold mirror)16分離成可見(jiàn)光和紅外光。
冷光鏡16以?xún)A斜成規(guī)定的角度的狀態(tài)設(shè)置在攝影鏡頭13a的光軸上，在該光軸上的后段配置有位置偏移檢測(cè)用的攝像元件14b。而且，在冷光鏡16的反射側(cè)配置有實(shí)際圖像攝影用的攝像元件14a。
圖11是表示冷光鏡16的反射特性的圖，具有反射波長(zhǎng)為400～700nm的可見(jiàn)光，透過(guò)700nm以上的紅外光的特性。
在這種構(gòu)成中，攝影時(shí)通過(guò)攝影鏡頭13a而入射的光的可見(jiàn)光成分由冷光鏡16反射并被供給到攝像元件14a。另一方面，紅外光成分通過(guò)冷光鏡16被供給到攝像元件14b。因此，作為攝像元件14b，若使用在紅外光區(qū)域具有高靈敏度特性的攝像元件，則即使在低照度下的攝影，也能高精度地檢測(cè)圖像間的位置偏移量，并通過(guò)圖像合成能夠得到手抖動(dòng)補(bǔ)正后的圖像。
(應(yīng)用例)另外，在所述第一及第二實(shí)施方式中，以靜止圖像為攝影的例子進(jìn)行說(shuō)明，但本發(fā)明的方法還可適用于動(dòng)態(tài)圖像的攝影中。
即，在靜止圖像中，通過(guò)對(duì)由連續(xù)攝影獲得的多張圖像進(jìn)行對(duì)位并重疊，從而提高低照度下的SN比，獲得無(wú)手抖動(dòng)的圖像。但是，即使不進(jìn)行圖像合成，若采用將由位置偏移檢測(cè)用的攝像元件獲得的圖像間的位置偏移量適用于實(shí)際圖像并實(shí)時(shí)地輸出的構(gòu)成，則對(duì)動(dòng)態(tài)圖像的手抖動(dòng)也能同樣地補(bǔ)正。
該情況下的圖像處理在圖12中表示。對(duì)于該圖12的流程圖中所示的處理，也通過(guò)作為微型計(jì)算機(jī)的CPU26讀入規(guī)定的程序而執(zhí)行。另外，在電路構(gòu)成中未特別圖示，但若以所述第一實(shí)施方式中的圖4的構(gòu)成為例，則能夠通過(guò)去除作為圖像合成的要素的加法平均部33與存儲(chǔ)器34而實(shí)現(xiàn)。
以圖4的構(gòu)成為例，若簡(jiǎn)單地說(shuō)明動(dòng)畫(huà)攝影時(shí)的處理，則在設(shè)定兩個(gè)攝像元件14a、14b的增益及曝光時(shí)間之后(步驟C11)，伴隨快門(mén)鍵12的按下操作，開(kāi)始攝影(步驟C12)。
與靜止圖像攝影時(shí)同樣，攝像元件14a作為實(shí)際圖像攝影用而使用，由該攝像元件14a以幀單位依次獲得的各圖像數(shù)據(jù)經(jīng)由AD轉(zhuǎn)換器22被存儲(chǔ)到存儲(chǔ)器23中。另一方面，攝像元件14b作為位置偏移檢測(cè)用而使用，由該攝像元件14b以幀單位依次獲得的各圖像數(shù)據(jù)經(jīng)由AD轉(zhuǎn)換器24被存儲(chǔ)到存儲(chǔ)器25中。
此處，存儲(chǔ)器25中存儲(chǔ)的各圖像數(shù)據(jù)，通過(guò)圖像生成部27被圖像處理之后，交替地存儲(chǔ)到存儲(chǔ)器31、32中(步驟C13)。該存儲(chǔ)器31、32中存儲(chǔ)的兩個(gè)圖像數(shù)據(jù)被供給到位置偏移檢測(cè)部28，利用這兩個(gè)圖像數(shù)據(jù)算出由手抖動(dòng)引起的圖像間的位置偏移量(步驟C14)。并且，基于該位置偏移量，存儲(chǔ)器23中存儲(chǔ)的實(shí)際圖像的位置由位置補(bǔ)正部29進(jìn)行補(bǔ)正(步驟C15)。
于是，利用由攝像元件14b依次獲得的位置偏移檢測(cè)用的各圖像數(shù)據(jù)，算出位置偏移量，并實(shí)時(shí)適用于由攝像元件14a依次獲得的實(shí)際圖像用的各圖像數(shù)據(jù)，補(bǔ)正由手抖動(dòng)引起的位置偏移。這種處理例如直到存在基于再次按下快門(mén)鍵12的動(dòng)態(tài)圖像攝影的結(jié)束指示的期間反復(fù)進(jìn)行。若存在動(dòng)態(tài)圖像攝影的結(jié)束指示(步驟C16的“是”)，則由位置補(bǔ)正后的各圖像構(gòu)成的動(dòng)態(tài)圖像數(shù)據(jù)以規(guī)定的方式被壓縮處理并保存到外部存儲(chǔ)器35中(步驟C17)。
另外，即使對(duì)這種動(dòng)態(tài)圖像攝影，也可適用所述第二實(shí)施方式。即，即使攝影鏡頭13a、13b或攝像元件14a、14b并不完全相同，也可通過(guò)具備圖8所示的光學(xué)元件補(bǔ)正部30而應(yīng)對(duì)。
進(jìn)而，本發(fā)明除數(shù)碼相機(jī)之外，例如帶相機(jī)的移動(dòng)電話機(jī)等，只要是具備攝影功能的電子設(shè)備，則所有這些均可適用，并能夠獲得同樣的效果。
總之，本發(fā)明并非那樣限定于所述各實(shí)施方式，在實(shí)施階段中，在不脫離其宗旨的范圍內(nèi)可變形構(gòu)成要素并使其具體化。而且，可通過(guò)所述各實(shí)施方式中公開(kāi)的多個(gè)構(gòu)成要素的適當(dāng)?shù)慕M合，形成各種發(fā)明。例如，可從實(shí)施方式所示的全部構(gòu)成要素中刪除幾個(gè)構(gòu)成要素，進(jìn)一步，還可在不同的實(shí)施方式內(nèi)適當(dāng)組合構(gòu)成要素。
進(jìn)一步，在上述的實(shí)施方式中記載的方法作為可由計(jì)算機(jī)執(zhí)行的程序，可寫(xiě)入例如磁盤(pán)(軟盤(pán)、硬盤(pán)等)、光盤(pán)(CD-ROM、DVD-ROM等)、半導(dǎo)體存儲(chǔ)器等記錄介質(zhì)中而適用于各種裝置，或還可通過(guò)網(wǎng)絡(luò)等傳輸介質(zhì)傳輸該程序本身而使用于各種裝置。實(shí)現(xiàn)本裝置的計(jì)算機(jī)讀入記錄介質(zhì)中記錄的程序或經(jīng)由傳輸介質(zhì)提供的程序，通過(guò)由該程序控制動(dòng)作，從而執(zhí)行上述的處理。
權(quán)利要求
1.一種攝像裝置，具備第一攝像元件，用于實(shí)際圖像攝影，攝影被攝體；第二攝像元件，用于位置偏移檢測(cè)，具有比該第一攝像元件更高的靈敏度的特性；攝影機(jī)構(gòu)，同時(shí)驅(qū)動(dòng)所述第一及第二攝像元件，進(jìn)行被攝體的攝影；位置偏移檢測(cè)機(jī)構(gòu)，利用在基于該攝影機(jī)構(gòu)的攝影時(shí)由所述第二攝像元件獲得的圖像數(shù)據(jù)，算出由攝影時(shí)的手抖動(dòng)引起的圖像間的位置偏移量；和位置補(bǔ)正機(jī)構(gòu)，基于由該位置偏移檢測(cè)機(jī)構(gòu)獲得的位置偏移量，補(bǔ)正由所述第一攝像元件獲得的圖像數(shù)據(jù)的位置。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述位置偏移檢測(cè)機(jī)構(gòu)，對(duì)由所述第二攝像元件連續(xù)地獲得的至少2張圖像數(shù)據(jù)進(jìn)行比較，算出位置偏移量。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，包括光學(xué)元件補(bǔ)正機(jī)構(gòu)，其考慮分別由所述第一及第二攝像元件獲得的圖像數(shù)據(jù)的不同，使由所述位置偏移檢測(cè)機(jī)構(gòu)獲得的位置偏移量對(duì)應(yīng)于由所述第一攝像元件獲得的圖像數(shù)據(jù)的坐標(biāo)系，所述位置補(bǔ)正機(jī)構(gòu)，基于根據(jù)該光學(xué)元件補(bǔ)正機(jī)構(gòu)的補(bǔ)正后的位置偏移量，補(bǔ)正由所述第一攝像元件獲得的圖像數(shù)據(jù)的位置。
4.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第一攝像元件是具備彩色濾光片的攝像元件，所述第二攝像元件是不具備彩色濾光片的單色攝影用的攝像元件。
5.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第一攝像元件在可見(jiàn)光區(qū)域具有靈敏度，所述第二攝像元件在可見(jiàn)光區(qū)域以外具有靈敏度。
6.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，包括第一攝影鏡頭，設(shè)置在裝置主體上；和第二攝影鏡頭，與該第一攝影鏡頭并列設(shè)置，所述第一攝像元件接受經(jīng)由所述第一攝影鏡頭而入射的光，所述第二攝像元件接受經(jīng)由所述第二攝影鏡頭而入射的光。
7.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，包括一個(gè)攝影鏡頭，設(shè)置在裝置主體上；和分離機(jī)構(gòu)，將經(jīng)由該攝影鏡頭而入射的光分離成第一波長(zhǎng)成分與第二波長(zhǎng)成分，所述第一攝像元件接受由所述分離機(jī)構(gòu)分離的第一波長(zhǎng)成分的光，所述第二攝像元件接受由所述分離機(jī)構(gòu)分離的第二波長(zhǎng)成分的光。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其特征在于，所述分離機(jī)構(gòu)將經(jīng)由所述攝影鏡頭而入射的光分離成可見(jiàn)光區(qū)域的波長(zhǎng)成分和紅外光區(qū)域的波長(zhǎng)成分，所述第一攝像元件在可見(jiàn)光區(qū)域具有靈敏度，所述第二攝像元件在紅外光區(qū)域具有靈敏度。
9.一種圖像處理方法，在攝像裝置中使用，所述攝像裝置具備第一攝像元件，用于實(shí)際圖像攝影，攝影被攝體；和第二攝像元件，用于位置偏移檢測(cè)，具有比該第一攝像元件更高的靈敏度的特性，所述圖像處理方法包括第一步驟，同時(shí)驅(qū)動(dòng)所述第一及第二攝像元件，進(jìn)行被攝體的攝影；第二步驟，利用在基于該第一步驟的攝影時(shí)由所述第二攝像元件獲得的圖像數(shù)據(jù)，算出由攝影時(shí)的手抖動(dòng)引起的圖像間的位置偏移量；和第三步驟，基于由該第二步驟獲得的位置偏移量，補(bǔ)正由所述第一攝像元件獲得的圖像數(shù)據(jù)的位置。
全文摘要
一種攝像裝置，其中除攝影被攝體的實(shí)際圖像攝影用的攝像元件(14a)以外，還包括具有高靈敏度的特性的位置偏移檢測(cè)用的攝像元件(14b)，同時(shí)驅(qū)動(dòng)該攝像元件(14a、14b)，進(jìn)行被攝體的攝影。此時(shí)，利用由攝像元件(14b)獲得的圖像數(shù)據(jù)，由位置偏移檢測(cè)部(28)算出由攝影時(shí)的手抖動(dòng)引起的圖像間的位置偏移量，基于該位置偏移量，由位置補(bǔ)正部(29)補(bǔ)正由攝像元件(14a)獲得的圖像數(shù)據(jù)的位置。由此，即使在低照度下的攝影，也能正確地檢測(cè)由手抖動(dòng)引起的圖像間的位置偏移，從而能夠獲得無(wú)手抖動(dòng)的良好的圖像。
文檔編號(hào)H04N5/243GK1917587SQ20061011084
公開(kāi)日2007年2月21日 申請(qǐng)日期2006年8月15日 優(yōu)先權(quán)日2005年8月15日
發(fā)明者中込浩一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社