專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如在使用固體攝像元件對被攝體進(jìn)行攝像時(shí)校正因抖動(dòng)而產(chǎn)生的被攝體圖像的模糊的攝像裝置。

背景技術(shù)：
以往，作為這種攝像裝置，已知例如專利文獻(xiàn)1中所公開的裝置。專利文獻(xiàn)1中所公開的裝置包括對被攝體進(jìn)行攝像的攝像元件；裝載攝像元件的工作臺(tái)(stage)；驅(qū)動(dòng)工作臺(tái)的音圈(voice coil)電機(jī)；用于檢測被攝體圖像中產(chǎn)生的抖動(dòng)量的角速度傳感器，根據(jù)角速度傳感器檢測出的抖動(dòng)量，由音圈電機(jī)驅(qū)動(dòng)裝載了攝像元件的工作臺(tái)，從而能夠抑制因抖動(dòng)而產(chǎn)生的被攝體圖像的模糊。
專利文獻(xiàn)1特開2005-184122號公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的課題 但是，專利文獻(xiàn)1中所公開的裝置是，為了檢測抖動(dòng)量而使包含角速度傳感器、工作臺(tái)及音圈電機(jī)等的專用裝置內(nèi)置于主體中的結(jié)構(gòu)，因此存在難以實(shí)現(xiàn)小型化以及低成本的課題。因此，專利文獻(xiàn)1中所公開的裝置無法裝載在期望更加廉價(jià)且小型輕量化的數(shù)字照相機(jī)或便攜式電話用照相機(jī)中。
本發(fā)明為了解決以往的課題而完成，其目的在于提供能夠?qū)崿F(xiàn)比以往的裝置更加小型化且低成本的攝像裝置。
解決課題的方案 本發(fā)明的攝像裝置包括攝像元件，對成像于光接收面上的圖像進(jìn)行攝像；抖動(dòng)校正單元，基于由所述攝像元件以不同的曝光時(shí)間進(jìn)行了攝像的至少兩張圖像而校正圖像的抖動(dòng)；以及輸出單元，輸出抖動(dòng)校正后的圖像、即抖動(dòng)校正圖像。
發(fā)明效果 本發(fā)明能夠提供具有可實(shí)現(xiàn)比以往的裝置更加小型化且低成本的效果的攝像裝置。



圖1是本發(fā)明的第1實(shí)施方式的攝像裝置的方框圖。
圖2是表示本發(fā)明的攝像裝置的硬件結(jié)構(gòu)的方框圖。
圖3是本發(fā)明的攝像裝置的CPU所執(zhí)行的抖動(dòng)校正程序的流程圖。
圖4是本發(fā)明的攝像裝置的CPU所執(zhí)行的第1抖動(dòng)校正程序的流程圖。
圖5是本發(fā)明的攝像裝置的CPU所執(zhí)行的抖動(dòng)校正軌跡計(jì)算程序的流程圖。
圖6是本發(fā)明的攝像裝置的CPU所執(zhí)行的抖動(dòng)校正圖像生成程序的流程圖。
圖7是本發(fā)明的第2實(shí)施方式的攝像裝置的方框圖。
圖8是本發(fā)明的攝像裝置的CPU所執(zhí)行的第2抖動(dòng)校正程序的流程圖。
圖9是本發(fā)明的第3實(shí)施方式的攝像裝置的方框圖。
圖10是表示本發(fā)明的第3實(shí)施方式的攝像裝置的動(dòng)作的流程圖。
圖11是表示在本發(fā)明的第3實(shí)施方式的攝像裝置中，讀出高頻區(qū)域及全像素區(qū)域的攝像數(shù)據(jù)的例子的圖，圖11的(a)是表示讀出高頻區(qū)域的攝像數(shù)據(jù)的例子的圖，圖11的(b)是表示讀出全像素區(qū)域的攝像數(shù)據(jù)的例子的圖。
圖12是本發(fā)明的第4實(shí)施方式的攝像裝置的方框圖。
圖13是表示本發(fā)明的第4實(shí)施方式的攝像裝置的動(dòng)作的流程圖。
圖14是本發(fā)明的第5實(shí)施方式的攝像裝置的方框圖。
圖15是用于說明構(gòu)成本發(fā)明的第5實(shí)施方式的攝像裝置的抖動(dòng)軌跡線徑化單元的概念圖。
圖16是表示本發(fā)明的第5實(shí)施方式的攝像裝置的動(dòng)作的流程圖。
圖17是表示本發(fā)明的第5實(shí)施方式的攝像裝置的線徑化動(dòng)作的流程圖。
圖18是本發(fā)明的第6實(shí)施方式的攝像裝置的方框圖。
圖19是表示本發(fā)明的第6實(shí)施方式的攝像裝置的動(dòng)作的流程圖。
圖20是表示本發(fā)明的第6實(shí)施方式的攝像裝置的抖動(dòng)量計(jì)算動(dòng)作的流程圖。
標(biāo)號說明 1、2、3、4、5、6攝像裝置 11、61透鏡 12攝像元件 13抖動(dòng)校正單元 14輸出單元 21正常曝光圖像取得單元 22短時(shí)間曝光圖像取得單元 23抖動(dòng)校正軌跡計(jì)算單元 24抖動(dòng)校正圖像生成單元 31驅(qū)動(dòng)單元 32記錄單元 33顯示單元 34指針單元 35微處理器單元 41圖像信號讀I/F 42控制指令輸出I/F 43CPU 44圖像信號輸出I/F 45存儲(chǔ)器 46操作指令讀入I/F 51噪音消除單元 62攝像單元(短時(shí)間曝光圖像取得單元，正常曝光圖像取得單元) 62a圖像傳感器(攝像元件) 62b電子快門 63快門按鈕 64記錄裝置(輸出單元) 65顯示裝置(輸出單元) 70、90、110、130圖像處理裝置 71、131 ADC 72模式設(shè)定單元(短時(shí)間曝光圖像取得單元，正常曝光圖像取得單元，像素重置單元) 73、133高頻區(qū)域檢測單元 74、134存儲(chǔ)器單元 74a短曝光用存儲(chǔ)器 74b正常曝光用存儲(chǔ)器 75、136抖動(dòng)軌跡計(jì)算單元 76、137抖動(dòng)校正單元 77、138信號處理單元 80全像素區(qū)域 81高頻區(qū)域 82、83低頻區(qū)域 95圖像縮小單元 96縮小圖像校正單元 97差分圖像計(jì)算單元 98差分圖像放大加法單元 115抖動(dòng)軌跡線徑化單元 132模式設(shè)定單元(短時(shí)間曝光圖像取得單元) 134a第1存儲(chǔ)器 134b第2存儲(chǔ)器 134c累積用存儲(chǔ)器 135向量檢測單元 138信號處理單元
具體實(shí)施例方式 以下，使用

本發(fā)明的實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置。
另外，在本說明書中，“抖動(dòng)校正軌跡”是“頻域抖動(dòng)校正軌跡”和“時(shí)域抖動(dòng)校正軌跡”的總稱。
(第1實(shí)施方式) 如圖1的方框圖所示，本發(fā)明的第1實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置1包括攝像元件12，通過透鏡11對成像在光接收面上的圖像進(jìn)行攝像；抖動(dòng)校正單元13，基于由攝像元件12以不同的曝光時(shí)間進(jìn)行了攝像的至少兩張圖像而校正圖像的抖動(dòng)；以及輸出單元14，輸出抖動(dòng)校正后的圖像——抖動(dòng)校正圖像。
并且，抖動(dòng)校正單元13包括正常曝光圖像取得單元21，使攝像元件12曝光由正常的攝像條件所決定的正常曝光時(shí)間，從而取得正常曝光圖像ia；短時(shí)間曝光圖像取得單元22，使攝像元件12曝光比正常曝光時(shí)間短的時(shí)間，從而得到短時(shí)間曝光圖像is；抖動(dòng)校正軌跡計(jì)算單元23，基于正常曝光圖像ia和短時(shí)間曝光圖像is，計(jì)算對于正常曝光圖像ia的抖動(dòng)校正軌跡；以及抖動(dòng)校正圖像生成單元24，基于正常曝光圖像ia和抖動(dòng)校正軌跡，生成抖動(dòng)校正圖像ic。
圖2是表示本發(fā)明的帶有抖動(dòng)校正功能的攝像裝置1的硬件結(jié)構(gòu)的方框圖，由形成被攝體OJ的光學(xué)圖像的透鏡11、光學(xué)圖像成像的攝像元件12、控制攝像元件12的驅(qū)動(dòng)單元31、記錄所攝像的圖像的記錄單元32、顯示所攝像的圖像的顯示單元33、輸入操作指令的指針(pointing)單元34、控制攝像裝置1的微處理器單元35構(gòu)成。另外，記錄單元32或顯示單元33構(gòu)成本發(fā)明的輸出單元。
并且，微處理器單元35包括圖像信號讀入接口(I/F)41，讀入從攝像元件12輸出的圖像信號；控制指令輸出I/F42，將控制指令輸出到驅(qū)動(dòng)單元31；執(zhí)行處理的CPU43；圖像信號輸出I/F44，將圖像信號輸出到記錄單元32及顯示單元33；存儲(chǔ)器45，記錄處理程序；操作指令讀入I/F46，從指針單元34讀入操作指令。
即，通過將抖動(dòng)校正程序加載到微處理單元35的存儲(chǔ)器45中，從而可以將抖動(dòng)校正功能裝入攝像裝置1中。
圖3是抖動(dòng)校正程序的流程圖，首先，CPU43執(zhí)行抖動(dòng)校正程序(步驟S11)，然后將抖動(dòng)校正圖像ic輸出到記錄單元32及顯示單元33(步驟S12)，從而結(jié)束該程序。
圖4是在步驟S11中所執(zhí)行的第1抖動(dòng)校正程序的流程圖，首先，CPU43取得以比正常曝光時(shí)間短的曝光時(shí)間進(jìn)行了攝像的短時(shí)間曝光圖像is(步驟S21)，然后CPU43取得以正常曝光時(shí)間進(jìn)行了攝像的正常曝光圖像ia(步驟S22)。取得順序也可以是ia、is的順序。
另外，短時(shí)間曝光圖像is及正常曝光圖像ia是，使用機(jī)械快門或電子快門進(jìn)行了攝像的短時(shí)間曝光圖像及正常曝光圖像由攝像元件12變換為圖像信號后，經(jīng)由圖像信號讀入I/F41作為數(shù)字?jǐn)?shù)據(jù)讀入的圖像。
然后，CPU43計(jì)算抖動(dòng)校正軌跡(步驟S23)，生成抖動(dòng)校正圖像ic(步驟S24)，詳細(xì)內(nèi)容將在后面敘述。
圖5是CPU43在步驟S23中執(zhí)行的抖動(dòng)校正軌跡計(jì)算程序的流程圖，首先CPU43對短時(shí)間曝光圖像is進(jìn)行傅立葉變換，從而生成頻域短時(shí)間曝光圖像Is(步驟S31)。即，在短時(shí)間曝光圖像is和頻域短時(shí)間曝光圖像Is之間，[算式1]成立。
[算式1] Is＝F(is) 其中，F(xiàn)(x)是x的傅立葉變換。
接著，CPU43對正常曝光圖像ia進(jìn)行傅立葉變換，從而生成頻域正常曝光圖像Ia(步驟S32)。
即，在正常曝光圖像ia和頻域正常曝光圖像Ia之間，[算式2]成立。[算式2] Ia＝F(ia) 然后，CPU43將頻域短時(shí)間曝光圖像Is除以頻域正常曝光圖像Ia，從而計(jì)算頻域抖動(dòng)校正軌跡G(步驟S33)。即，步驟S33的處理可以由[算式3]來表示。
[算式3] 這里，若設(shè)正常曝光圖像ia中所包含的抖動(dòng)軌跡為h，則[算式4]成立。
[算式4] ia＝i*h Ia＝F(i*h)＝I×H H＝F(h) 其中，i＝無抖動(dòng)圖像，I＝無頻域抖動(dòng)圖像 H＝頻域抖動(dòng)軌跡 *為卷積運(yùn)算符 此外，若將以比正常曝光時(shí)間短的曝光時(shí)間進(jìn)行了攝像的短時(shí)間曝光圖像is視為其中不包含抖動(dòng)的圖像，則[算式5]成立。
[算式5] is＝i Is＝F(is)＝F(i)＝I 將[算式4]及[算式5]代入到[算式3]，則[算式6]成立。
[算式6] 即，在步驟S33計(jì)算出的頻域抖動(dòng)校正軌跡G成為頻域抖動(dòng)軌跡H的倒數(shù)。
圖6是CPU43在步驟S24中執(zhí)行的抖動(dòng)校正圖像生成程序的流程圖，首先，CPU43對頻域抖動(dòng)校正軌跡G進(jìn)行傅立葉逆變換，計(jì)算時(shí)域抖動(dòng)校正軌跡g(步驟S41)。
即，在頻域抖動(dòng)校正軌跡G和時(shí)域抖動(dòng)校正軌跡g之間，[算式7]成立。
[算式7] g＝F-1(G)＝F-1(H-1)＝h-1 其中，F(xiàn)-1(X)為X的傅立葉逆變換。
接著，CPU43將時(shí)域抖動(dòng)校正軌跡g對正常曝光圖像ia進(jìn)行卷積，從而生成抖動(dòng)校正圖像ic(步驟S42)。
這里，步驟S42的處理可以由[算式8]表示。
[算式8] ic＝ia*g＝i*h*h-1＝i 因此，抖動(dòng)校正圖像ic成為無抖動(dòng)圖像i，能夠從正常曝光圖像ia中消除抖動(dòng)。
再有，從[算式9]可知，通過對頻域正常曝光圖像Ia和頻域抖動(dòng)校正軌跡G的乘法運(yùn)算結(jié)果進(jìn)行傅立葉逆變換，也能夠生成抖動(dòng)校正圖像ic。
[算式9] ic＝F-1(Ia×G)＝F-1(Ia)*F-1(G)＝ia*g 如以上說明所示，根據(jù)第1實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置1，可以基于正常曝光圖像和短時(shí)間曝光圖像而計(jì)算抖動(dòng)校正軌跡，并且基于正常曝光圖像和抖動(dòng)校正軌跡而消除正常曝光圖像的抖動(dòng)。
(第2實(shí)施方式) 在上述的第1實(shí)施方式中，假定短時(shí)間曝光圖像中不包含抖動(dòng)，但疊加了噪音。進(jìn)而，正常曝光圖像中也疊加了噪音。
短時(shí)間曝光圖像的攝像時(shí)，為彌補(bǔ)曝光不足而將電子電路的靈敏度提高，因此噪音的強(qiáng)度變大，短時(shí)間曝光圖像的圖像質(zhì)量大幅下降。
此外，正常曝光圖像的攝像時(shí)，雖然噪音的強(qiáng)度較小，但無法避免正常曝光圖像中疊加噪音。
第2實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置，為了解決該課題而還具有從圖像中消除噪音的功能。
圖7是本發(fā)明的第2實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置2的方框圖。另外，本實(shí)施方式與上述的第1實(shí)施方式大致相同地構(gòu)成，因此對同一結(jié)構(gòu)元件附加相同的標(biāo)號并省略說明。
在圖7中，帶有抖動(dòng)校正功能的攝像裝置2除了第1實(shí)施方式所示的結(jié)構(gòu)之外，還包括用于消除正常曝光圖像及短時(shí)間曝光圖像中所包含的噪音的噪音消除單元51。
另外，第2實(shí)施方式的帶有抖動(dòng)校正功能的攝像裝置2的硬件結(jié)構(gòu)與第1實(shí)施方式相同，只有加載到微處理器單元35中的一部分程序不同。
圖8是代替圖4的第1抖動(dòng)校正程序而加載到微處理器單元35中的第2抖動(dòng)校正程序的流程圖，在第1抖動(dòng)校正程序的步驟S22和步驟S23之間插入了步驟S51及步驟S52。
CPU43首先取得短時(shí)間曝光圖像is(步驟S51)，接著取得正常曝光圖像ia(步驟S52)。
這里，若設(shè)短時(shí)間曝光圖像is中所包含的噪音為ns，正常曝光圖像ia中所包含的噪音為na，則[算式10]成立。
[算式10] is＝i+ns ia＝i*h+na CPU43對短時(shí)間曝光圖像is及正常曝光圖像ia施加噪音消除單元51即高頻截止濾波器，從而消除噪音(步驟S53及步驟S54)。
若設(shè)高頻截止濾波器的特性為r，則消除噪音后的短時(shí)間曝光圖像(以下稱為噪音消除后短時(shí)間曝光圖像)isr及消除噪音后的正常曝光圖像(以下稱為噪音消除后正常曝光圖像)iar由[算式11]表示。
[算式11] isr＝is*r＝i*r+ns*r iar＝ia*r＝i*h*r+na*r 接著，CPU43計(jì)算抖動(dòng)校正軌跡(步驟S55)，抖動(dòng)校正軌跡計(jì)算程序與第1實(shí)施方式相同，其流程圖與圖5相同。
CPU43首先對噪音消除后短時(shí)間曝光圖像isr進(jìn)行傅立葉變換，從而生成頻域噪音消除后短時(shí)間曝光圖像Isr(步驟S31)，然后對噪音消除后正常曝光圖像iar進(jìn)行傅立葉變換，從而生成頻域噪音消除后正常曝光圖像Iar(步驟S32)。
即，步驟S31及步驟S32的處理由[算式12]表示。
[算式12] Isr＝F(isr)＝I×R+Ns×R Iar＝F(iar)＝I×H×R+Na×R 其中，R＝F(r) Ns＝F(ns) Na＝F(na) 噪音隨機(jī)地產(chǎn)生且大部分存在于高頻，通過高頻截止濾波器被消除，因此，[算式12]可以近似為[算式13]。
[算式13] Isr≈I×R Iar≈I×H×R 另外，優(yōu)選是將高頻截止濾波器的截止頻率設(shè)為5～20赫茲，則能夠消除噪音而不必消除頻域抖動(dòng)軌跡H。
CPU43將頻域噪音消除后短時(shí)間曝光圖像Isr除以頻域噪音消除后正常曝光圖像Iar，從而計(jì)算頻域抖動(dòng)校正軌跡G(步驟S33)。即，步驟S31及步驟S32的處理由[算式14]表示。
[算式14] 最后，CPU43生成抖動(dòng)校正圖像ic(步驟S56)，抖動(dòng)校正圖像生成程序與第1實(shí)施方式相同，其流程圖與圖6相同。
即，CPU43對頻域抖動(dòng)校正軌跡G進(jìn)行傅立葉逆變換，從而計(jì)算時(shí)域抖動(dòng)校正軌跡g(步驟S41)，并將時(shí)域抖動(dòng)校正軌跡g對正常曝光圖像ia進(jìn)行卷積，從而生成抖動(dòng)校正圖像ic(步驟S42)。另外，步驟S42的處理由[算式15]表示。
[算式15] ic＝ia*g＝(i*h+na)*g＝i*h*h-1+na*h-1＝i+na*h-1＝i+na*g 其中，na*g成為將抖動(dòng)校正軌跡對噪音na進(jìn)行了卷積的噪音，其大小也可以視為[算式16]所示。
[算式16] na≈na*g 因此，抖動(dòng)校正圖像ic成為對無抖動(dòng)圖像i疊加了噪音na*g的圖像，但如前所述，由于噪音na的強(qiáng)度較弱，所以噪音na*g的強(qiáng)度也較弱，從而不會(huì)使圖像質(zhì)量大幅下降。
另外，從[算式17]可知，與第1實(shí)施方式同樣地，通過對頻域正常曝光圖像Ia和頻域抖動(dòng)校正軌跡G的乘法運(yùn)算結(jié)果進(jìn)行傅立葉逆變換，也能夠生成抖動(dòng)校正圖像ic。
[算式17] ic＝F-1(Ia×G)＝F-1(I×H+Na)*F-1(G)＝i*h*h-1+na*h-1＝i+na*h-1 如以上說明所示，根據(jù)第2實(shí)施方式，能夠排除短時(shí)間曝光圖像中所包含的噪音的影響而校正抖動(dòng)。
(第3實(shí)施方式) 首先，說明本發(fā)明的第3實(shí)施方式的攝像裝置的結(jié)構(gòu)。
如圖9所示，本實(shí)施方式的攝像裝置3包括聚集來自被攝體的光的透鏡61；對被攝體進(jìn)行攝像的攝像單元62；用戶在攝像時(shí)操作的快門按鈕63；對攝像后的被攝體圖像進(jìn)行圖像處理的圖像處理裝置70；記錄被攝體圖像的數(shù)據(jù)的記錄裝置64；以及用于顯示被攝體圖像的顯示裝置65。另外，在以下記載中，以下將攝像后的被攝體圖像的數(shù)據(jù)簡稱為“攝像數(shù)據(jù)”。
透鏡61聚集來自被攝體的光，并發(fā)射到攝像單元62。快門按鈕63在用戶攝像時(shí)按下了該按鈕時(shí)，將表示其意旨的信號輸出到模式設(shè)定單元72(后述)。
記錄裝置64例如包括半導(dǎo)體存儲(chǔ)器，用于記錄攝像數(shù)據(jù)。顯示裝置65例如包括液晶面板，用于顯示攝像后的被攝體圖像。另外，記錄裝置64或顯示裝置65構(gòu)成本發(fā)明的輸出單元。
攝像單元62包括圖像傳感器62a，將透鏡61聚集的被攝體光光電變換為電信號；電子快門62b，設(shè)定圖像傳感器62a的曝光時(shí)間。另外，攝像單元62構(gòu)成本發(fā)明的短時(shí)間曝光圖像取得單元及正常曝光圖像取得單元。
圖像傳感器62a例如由CCD(Charge Coupled Device電荷耦合元件)或CMOS(Complementary Metal-Oxide Semiconductor互補(bǔ)型金屬氧化物半導(dǎo)體)傳感器等的固體攝像元件構(gòu)成，具有規(guī)定數(shù)量的像素。電子快門62b基于來自模式設(shè)定單元72的控制信號，設(shè)定圖像傳感器62a的曝光時(shí)間。另外，圖像傳感器62a構(gòu)成本發(fā)明的攝像元件。
圖像處理裝置70包括模數(shù)變換器(以下稱為‘ADC’)71，將圖像傳感器62a輸出的模擬信號變換為數(shù)字信號；模式設(shè)定單元72，基于快門按鈕63的狀態(tài)設(shè)定模式；檢測高頻區(qū)域的高頻區(qū)域檢測單元73；保存攝像數(shù)據(jù)的存儲(chǔ)器單元74；計(jì)算抖動(dòng)軌跡的抖動(dòng)軌跡計(jì)算單元75；進(jìn)行抖動(dòng)的校正處理的抖動(dòng)校正單元76；以及進(jìn)行規(guī)定的信號處理的信號處理單元77。另外，圖像處理裝置70例如由數(shù)字信號處理器構(gòu)成。
ADC71將圖像傳感器62a進(jìn)行了攝像的攝像數(shù)據(jù)進(jìn)行AD變換，并輸出到模式設(shè)定單元72。
當(dāng)用戶按下快門按鈕63時(shí)，模式設(shè)定單元72接收從快門按鈕63輸出的信號，并設(shè)定為監(jiān)控(monitor)模式及攝像模式的任意一種模式。這里，監(jiān)控模式是指，在用戶沒有按下快門按鈕63的狀態(tài)下，將攝像單元62進(jìn)行了攝像的被攝體圖像作為活動(dòng)圖像顯示在顯示裝置65的模式。此外，攝像模式是指，在用戶按下了快門按鈕63時(shí)對被攝體進(jìn)行攝像，并取得被攝體的靜態(tài)圖像的模式。
此外，模式設(shè)定單元72可以控制電子快門62b，以在攝像模式中，圖像傳感器62a能夠以規(guī)定的短曝光時(shí)間或規(guī)定的正常曝光時(shí)間進(jìn)行攝像。這里，短曝光時(shí)間是指，比通過正常曝光的通常的攝像時(shí)間設(shè)定得短，使得不產(chǎn)生抖動(dòng)且能夠使攝像信號不被噪音埋沒地取得。此外，正常曝光時(shí)間是指，為了對圖像傳感器62a提供與被攝體光相對應(yīng)的正常曝光而決定的時(shí)間。
另一方面，模式設(shè)定單元72控制電子快門62b，以在監(jiān)控模式中圖像傳感器62a以正常曝光時(shí)間對被攝體進(jìn)行攝像，并使活動(dòng)圖像顯示在顯示裝置65中。另外，在顯示裝置65由液晶面板構(gòu)成時(shí)，一般使用的液晶面板的分辨率比圖像傳感器62a的分辨率低，所以優(yōu)選是模式設(shè)定單元72通過稀疏讀出圖像傳感器62a的像素?cái)?shù)據(jù)，或者將像素?cái)?shù)據(jù)每多個(gè)像素進(jìn)行混合，從而實(shí)現(xiàn)幀頻(frame rate)的提高，使活動(dòng)圖像顯示在液晶面板上。
此外，模式設(shè)定單元72能夠?qū)⒂糜谥刂脠D像傳感器62a的各個(gè)像素中累積的信號的控制信號輸出到攝像單元62。此外，模式設(shè)定單元72能夠?qū)⒂糜趶膱D像傳感器62a讀出圖像傳感器62a的全像素區(qū)域的規(guī)定像素區(qū)域中的攝像數(shù)據(jù)并輸出到ADC71的控制信號輸出到攝像單元62。另外，模式設(shè)定單元72構(gòu)成本發(fā)明的短時(shí)間曝光圖像取得單元、正常曝光圖像取得單元以及像素重置單元。
高頻區(qū)域檢測單元73例如由使規(guī)定的空間頻率以上的信號分量通過的高通濾波器構(gòu)成，在監(jiān)控模式下，檢測對被攝體進(jìn)行了攝像的全像素區(qū)域的規(guī)定的空間頻率以上的像素區(qū)域(以下稱為‘高頻區(qū)域’)。即，高頻區(qū)域檢測單元73在監(jiān)控模式下，能夠檢測圖像傳感器62a具有的像素區(qū)域中被攝體圖像的移動(dòng)比較大地顯現(xiàn)的區(qū)域。此外，高頻區(qū)域檢測單元73包括用于存儲(chǔ)表示檢測出的高頻區(qū)域的高頻區(qū)域信息的存儲(chǔ)器(省略圖示)。
存儲(chǔ)器74包括短曝光用存儲(chǔ)器74a，保存以短曝光時(shí)間攝像的被攝體圖像(以下稱為‘短時(shí)間曝光圖像’)的數(shù)據(jù)；正常曝光用存儲(chǔ)器74b，保存以正常曝光時(shí)間攝像的被攝體圖像(以下稱為‘正常曝光圖像’)的數(shù)據(jù)。
抖動(dòng)軌跡計(jì)算單元75在攝像模式下，將短時(shí)間曝光圖像及正常曝光圖像的高頻區(qū)域中的攝像數(shù)據(jù)分別保存在短曝光用存儲(chǔ)器74a及正常曝光用存儲(chǔ)器74b中，并對兩者的攝像數(shù)據(jù)進(jìn)行比較，從而計(jì)算抖動(dòng)軌跡。例如，抖動(dòng)軌跡計(jì)算單元75將對正常曝光圖像的數(shù)據(jù)進(jìn)行了傅立葉變換后的數(shù)據(jù)，除以對短時(shí)間曝光圖像的數(shù)據(jù)進(jìn)行了傅立葉變換后的數(shù)據(jù)，對由除法運(yùn)算所得到的數(shù)據(jù)進(jìn)行傅立葉逆變換，從而計(jì)算抖動(dòng)軌跡。另外，抖動(dòng)軌跡計(jì)算單元75構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元。
抖動(dòng)校正單元76基于由抖動(dòng)軌跡計(jì)算單元75計(jì)算出的抖動(dòng)軌跡，對以正常曝光時(shí)間進(jìn)行了攝像的被攝體圖像進(jìn)行抖動(dòng)校正。例如，抖動(dòng)校正單元76通過對從由抖動(dòng)軌跡計(jì)算單元75計(jì)算出的抖動(dòng)軌跡的逆矩陣所得到的抖動(dòng)校正軌跡和正常曝光圖像的數(shù)據(jù)進(jìn)行卷積的運(yùn)算處理，對被攝體圖像進(jìn)行抖動(dòng)校正。另外，抖動(dòng)校正單元76構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元及抖動(dòng)校正圖像生成單元。
在監(jiān)控模式中，信號處理單元77進(jìn)行用于將所攝像的被攝體圖像顯示在顯示裝置65上的信號處理。此外，信號處理單元77在攝像模式下，進(jìn)行用于將抖動(dòng)校正后的攝像數(shù)據(jù)記錄在記錄裝置64的信號處理和用于將抖動(dòng)校正后的被攝體的圖像顯示在顯示裝置65的信號處理。
下面，使用算式具體說明通過抖動(dòng)軌跡計(jì)算單元75及抖動(dòng)校正單元76的抖動(dòng)校正的一個(gè)例子。
設(shè)短時(shí)間曝光圖像的數(shù)據(jù)為is，正常曝光圖像的數(shù)據(jù)為il，正常曝光圖像的抖動(dòng)軌跡為h。若設(shè)沒有抖動(dòng)的理想的被攝體圖像的數(shù)據(jù)為i，則il是i進(jìn)行具有叫做h 的PSF(Point Spread Function點(diǎn)像分布函數(shù))的抖動(dòng)的圖像數(shù)據(jù)，所以能夠由下式表示。另外，記號‘*’表示卷積運(yùn)算符。
il＝i*h(1) 接著，將i、is、il、h的傅立葉變換分別表示為I、IS、IL、H時(shí)，下式的關(guān)系成立。這里，F(xiàn)表示傅立葉變換，F(xiàn)-1表示傅立葉逆變換。
F(i)＝I(2) F(is)＝IS(3) F(il)＝IL(4) F(h)＝H(5) F-1(I)＝i(6) F-1(IS)＝is(7) F-1(IL)＝il(8) F-1(H)＝h(9) 若將對于短時(shí)間曝光圖像的數(shù)據(jù)is的傅立葉變換后的數(shù)據(jù)F(is)除以對于正常曝光圖像的數(shù)據(jù)il的傅立葉變換后的數(shù)據(jù)F(il)，則得到下式。
F(is)/F(il)＝F(is)/F(i*h)＝IS/(I×H)(10) 假設(shè)短時(shí)間曝光圖像成為了與沒有抖動(dòng)的理想的被攝體圖像相同的圖像，則由于is＝i，所以IS＝I，代入式(10)，則得到下式。
F(is)/F(il)＝F(i)/F(i*h)＝I/(I×H)＝1/H＝H-1(11) 這里，H-1表示H 的逆矩陣，h的逆矩陣表示為h-1，則下式成立。
F(1/h)＝F(h-1)＝1/H＝H-1(12) F-1(1/H)＝F-1(H-1)＝1/h＝h-1(13) 接著，若將對于短時(shí)間曝光圖像的數(shù)據(jù)is的傅立葉變換后的數(shù)據(jù)F(is)除以對于正常曝光圖像的數(shù)據(jù)il的傅立葉變換后的數(shù)據(jù)F(il)，并將除法運(yùn)算所得到的數(shù)據(jù)進(jìn)行傅立葉逆變換后的數(shù)據(jù)設(shè)為校正軌跡g，則校正軌跡g為式(11)的傅立葉逆變換，所以得到下式。
g＝F-1(H-1)＝h-1(14) 因此，由下式表示校正軌跡g和短時(shí)間曝光圖像的數(shù)據(jù)il的卷積，可以計(jì)算出沒有抖動(dòng)的理想的被攝體圖像的數(shù)據(jù)i。
g*il＝h-1*i*h＝i*(h-1*h)＝i(15) 如此，本實(shí)施方式的攝像裝置3可以取得校正了抖動(dòng)的被攝體圖像。另外，也可以在用前述的方法求出了PSF之后，例如由抖動(dòng)軌跡數(shù)據(jù)生成抖動(dòng)校正矩陣，并由所生成的抖動(dòng)校正矩陣和抖動(dòng)圖像生成用于進(jìn)行抖動(dòng)校正的信號，從而進(jìn)行抖動(dòng)校正。
下面，使用圖9～圖11說明本實(shí)施方式的攝像裝置3的動(dòng)作。
首先，模式設(shè)定單元72被設(shè)定為監(jiān)控模式(步驟S61)。通過模式設(shè)定單元72被設(shè)定為監(jiān)控模式，來自攝像單元62的攝像數(shù)據(jù)由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸入到高頻區(qū)域檢測單元73及信號處理單元77。
對于輸入到高頻區(qū)域檢測單元73的攝像數(shù)據(jù)，執(zhí)行用于檢測高頻區(qū)域的處理(步驟S62)。具體來說，例如圖11的(a)所示，高頻區(qū)域檢測單元73從被攝體被攝像的區(qū)域即全像素區(qū)域80中檢測高頻區(qū)域81和比高頻區(qū)域81的空間頻率低的低頻區(qū)域82及83，并將表示高頻區(qū)域81的范圍的高頻區(qū)域信息保存在存儲(chǔ)器中。
另一方面，對于輸入到信號處理單元77的攝像數(shù)據(jù)，例如執(zhí)行將其變換為規(guī)定格式的圖像數(shù)據(jù)的圖像處理，并作為活動(dòng)圖像顯示在顯示裝置65中。
接著，通過模式設(shè)定單元72，判斷快門按鈕63是否被按下(步驟S63)。這里，在判斷為沒有按下快門按鈕63的情況下，攝像裝置3的動(dòng)作返回到步驟S62。
在步驟S63中，判斷為按下了快門按鈕63的情況下，模式設(shè)定單元72被設(shè)定為攝像模式(步驟S64)。
并且，通過模式設(shè)定單元72控制電子快門62b，使得圖像傳感器62a以短曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以短曝光時(shí)間被攝像(步驟S65)。
這里，模式設(shè)定單元72控制攝像單元62，使得讀出高頻區(qū)域檢測單元73的存儲(chǔ)器中所保存的高頻區(qū)域信息，并輸出以短曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)。其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到抖動(dòng)軌跡計(jì)算單元75，由抖動(dòng)軌跡計(jì)算單元75將其保存在短曝光用存儲(chǔ)器74a中(步驟S66)。
接著，通過模式設(shè)定單元72，累積在圖像傳感器62a中的所有像素信號被重置(步驟S67)。
并且，通過模式設(shè)定單元72，電子快門62b受到控制，使得圖像傳感器62a以正常曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以正常曝光時(shí)間被攝像(步驟S68)。
這里，模式設(shè)定單元72控制攝像單元62，以基于已經(jīng)取得的高頻區(qū)域信息，從以正常曝光時(shí)間攝像的攝像數(shù)據(jù)中輸出相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)。其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到抖動(dòng)軌跡計(jì)算單元75，由抖動(dòng)軌跡計(jì)算單元75將其保存在正常曝光用存儲(chǔ)器74b中(步驟S69)。
并且，通過抖動(dòng)軌跡計(jì)算單元75，基于保存在短曝光用存儲(chǔ)器74a中的短曝光時(shí)間下的攝像數(shù)據(jù)和保存在正常曝光用存儲(chǔ)器74b中的正常曝光時(shí)間下的攝像數(shù)據(jù)，計(jì)算抖動(dòng)軌跡(步驟S70)。
另外，從通過圖像傳感器62a讀出相當(dāng)于短曝光時(shí)間的高頻區(qū)域的攝像數(shù)據(jù)開始，到經(jīng)過所有像素信號的重置處理后以正常曝光時(shí)間開始攝像為止的時(shí)間，優(yōu)選設(shè)定為盡量短的時(shí)間(例如10～20毫秒左右)。根據(jù)該結(jié)構(gòu)，短時(shí)間曝光圖像和正常曝光圖像之間沒有攝像時(shí)間差，所以由抖動(dòng)軌跡計(jì)算單元75的圖像比較變得容易，并且能夠縮短靜態(tài)圖像的攝像時(shí)間。
接著，通過模式設(shè)定單元72控制攝像單元62，使得輸出以正常曝光時(shí)間進(jìn)行了攝像的全像素的數(shù)據(jù)，經(jīng)由ADC71及模式設(shè)定單元72，全像素的數(shù)據(jù)被輸出到抖動(dòng)校正單元76。在抖動(dòng)校正單元76中，如圖11(b)所示，一邊讀出全像素的數(shù)據(jù)，一邊基于抖動(dòng)軌跡計(jì)算單元75計(jì)算出的抖動(dòng)軌跡，例如通過將像素?cái)?shù)據(jù)移動(dòng)相當(dāng)于抖動(dòng)軌跡的像素量的處理來進(jìn)行抖動(dòng)校正處理(步驟S71)，因抖動(dòng)產(chǎn)生的被攝體圖像的模糊被校正。這里，對保存在正常曝光用存儲(chǔ)器74b中的攝像數(shù)據(jù)執(zhí)行高頻區(qū)域中的圖像的抖動(dòng)校正處理。
另外，在抖動(dòng)校正處理中，例如因圖像傳感器62a內(nèi)產(chǎn)生的暗電流的影響，在高頻區(qū)域的圖像和其他區(qū)域的圖像之間產(chǎn)生電平差的情況下，可以通過將兩者的攝像數(shù)據(jù)相加或者乘以對應(yīng)于電平差的校正值來降低兩者的電平差。
接著，進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)被輸出到信號處理單元77，通過信號處理單元77變換為規(guī)定格式的圖像數(shù)據(jù)，從而被輸出到記錄裝置64及顯示裝置65。
然后，通過記錄裝置64保存進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)，通過顯示裝置65顯示進(jìn)行了抖動(dòng)校正處理的被攝體圖像(步驟S72)。另外，在繼續(xù)進(jìn)行攝像時(shí)，攝像裝置3的動(dòng)作返回到步驟S61。
如此，根據(jù)本實(shí)施方式的攝像裝置3，抖動(dòng)軌跡計(jì)算單元75為基于短時(shí)間曝光圖像和正常曝光圖像的比較結(jié)果，對被攝體圖像的抖動(dòng)進(jìn)行校正的結(jié)構(gòu)，所以不需要像以往的裝置那樣具備用于檢測抖動(dòng)軌跡的專用裝置，能夠?qū)崿F(xiàn)比以往的裝置更加小型化及低成本。
此外，根據(jù)本實(shí)施方式的攝像裝置3，是將高頻區(qū)域檢測單元73檢測的高頻區(qū)域中的短時(shí)間曝光圖像及正常曝光圖像的數(shù)據(jù)保存在存儲(chǔ)器單元74中的結(jié)構(gòu)，所以例如與保存1幀的攝像數(shù)據(jù)的裝置相比，能夠大幅減少存儲(chǔ)器容量，使存儲(chǔ)器小型化。其結(jié)果，攝像裝置3能夠?qū)崿F(xiàn)比以往的裝置更加小型化、輕量化及低成本。
另外，在前述的實(shí)施方式中，將電子快門62b控制圖像傳感器62a的曝光時(shí)間的結(jié)構(gòu)作為例子進(jìn)行了說明，但本發(fā)明并不限定于此，由機(jī)械快門代替電子快門62b來控制曝光時(shí)間的結(jié)構(gòu)也可以得到同樣的效果。
(第4實(shí)施方式) 首先，說明本發(fā)明的第4實(shí)施方式的攝像裝置的結(jié)構(gòu)。另外，在本實(shí)施方式中，對于與本發(fā)明的第3實(shí)施方式的攝像裝置3的各個(gè)結(jié)構(gòu)元件相同的結(jié)構(gòu)元件附加同一標(biāo)號并省略說明。
如圖12所示，本實(shí)施方式的攝像裝置4相對于本發(fā)明的第3實(shí)施方式的攝像裝置3，具有圖像處理裝置90而取代圖像處理裝置70。
圖像處理裝置90包括ADC71，將圖像傳感器62a輸出的模擬信號變換為數(shù)字信號；模式設(shè)定單元72，基于快門按鈕63的狀態(tài)設(shè)定模式；檢測高頻區(qū)域的高頻區(qū)域檢測單元73；保存攝像數(shù)據(jù)的存儲(chǔ)器單元74；將表示攝像數(shù)據(jù)的圖像縮小的圖像縮小單元95；計(jì)算抖動(dòng)軌跡的抖動(dòng)軌跡計(jì)算單元75；校正由圖像縮小單元95縮小的圖像的抖動(dòng)的縮小圖像校正單元96；差分圖像計(jì)算單元97，計(jì)算由圖像縮小單元95縮小的圖像和由縮小圖像校正單元96校正后的圖像的差分圖像；差分圖像放大加法單元98，放大差分圖像后將其相加到包含攝像數(shù)據(jù)表示的抖動(dòng)的圖像中；以及進(jìn)行規(guī)定的信號處理的信號處理單元77。
圖像縮小單元95在攝像模式下，對短時(shí)間曝光圖像及正常曝光圖像的對應(yīng)于高頻區(qū)域的攝像數(shù)據(jù)施加空間分辨率變換，從而將攝像數(shù)據(jù)表示的各個(gè)圖像以規(guī)定的縮小率縮小。
另外，在本實(shí)施方式中，抖動(dòng)軌跡計(jì)算單元75將由圖像縮小單元95進(jìn)行了空間分辨率變換的攝像數(shù)據(jù)分別保存在短曝光用存儲(chǔ)器74a及正常曝光用存儲(chǔ)器74b中，并通過比較兩者的攝像數(shù)據(jù)來計(jì)算抖動(dòng)軌跡。此外，在以下的說明中，將保存在正常曝光用存儲(chǔ)器74b的攝像數(shù)據(jù)表示的圖像稱為‘縮小正常曝光圖像’。
縮小圖像校正單元96基于由抖動(dòng)軌跡計(jì)算單元75計(jì)算的抖動(dòng)軌跡，對縮小正常曝光圖像進(jìn)行抖動(dòng)校正。
例如，縮小圖像校正單元96通過將從由抖動(dòng)軌跡計(jì)算單元75計(jì)算出的抖動(dòng)軌跡的逆矩陣得到的抖動(dòng)校正軌跡、和縮小正常曝光圖像的數(shù)據(jù)卷積的運(yùn)算處理，進(jìn)行縮小正常曝光圖像的抖動(dòng)校正。
差分圖像計(jì)算單元97計(jì)算從由縮小圖像校正單元96進(jìn)行了抖動(dòng)校正后的縮小正常曝光圖像、和保存在正常曝光用存儲(chǔ)器74b的攝像數(shù)據(jù)表示的縮小正常曝光圖像的差分所得到的差分圖像。
另外，圖像縮小單元95、縮小圖像校正單元96及差分圖像計(jì)算單元97構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元。
差分圖像放大加法單元98放大由差分圖像計(jì)算單元97計(jì)算的差分圖像，并將其相加到以正常曝光時(shí)間攝像的攝像數(shù)據(jù)中，從而進(jìn)行被攝體圖像的抖動(dòng)校正。這里，差分圖像放大加法單元98放大差分圖像時(shí)的放大率為圖像縮小單元95縮小圖像時(shí)的縮小率的倒數(shù)。
另外，差分圖像放大加法單元98構(gòu)成本發(fā)明的抖動(dòng)校正圖像生成單元。
下面，使用圖13說明本實(shí)施方式的攝像裝置4的動(dòng)作。
首先，模式設(shè)定單元72被設(shè)定為監(jiān)控模式(步驟S81)。通過模式設(shè)定單元72被設(shè)定為監(jiān)控模式，來自攝像單元62的攝像數(shù)據(jù)由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸入到高頻區(qū)域檢測單元73及信號處理單元77。
對于輸入到高頻區(qū)域檢測單元73的攝像數(shù)據(jù)執(zhí)行用于檢測高頻區(qū)域的處理(步驟S82)，并將表示檢測出的高頻區(qū)域的范圍的高頻區(qū)域信息通過高頻區(qū)域檢測單元73而保存在存儲(chǔ)器中。
另一方面，對于輸入到信號處理單元77的攝像數(shù)據(jù)，例如執(zhí)行變換為規(guī)定格式的圖像數(shù)據(jù)的圖像處理，并作為活動(dòng)圖像顯示在顯示裝置65中。
接著，通過模式設(shè)定單元72，判斷快門按鈕63是否被按下(步驟S83)。這里，在沒有被判斷為按下快門按鈕63的情況下，攝像裝置4的動(dòng)作返回到步驟S82。
在步驟S83中，判斷為按下了快門按鈕63的情況下，模式設(shè)定單元72被設(shè)定為攝像模式(步驟S84)。
并且，通過模式設(shè)定單元72控制電子快門62b，使得圖像傳感器62a以短曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以短曝光時(shí)間被攝像(步驟S85)。
這里，模式設(shè)定單元72控制攝像單元62，以讀出高頻區(qū)域檢測單元73的存儲(chǔ)器中所保存的高頻區(qū)域信息，并輸出以短曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)(步驟S86)。
其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到圖像縮小單元95，由圖像縮小單元95施加空間分辨率變換，以表示用規(guī)定的縮小率縮小后的短時(shí)間曝光圖像的高頻區(qū)域(步驟S87)，施加了空間分辨率變換后的攝像數(shù)據(jù)通過抖動(dòng)軌跡計(jì)算單元75被保存在短曝光用存儲(chǔ)器74a中(步驟S88)。
接著，通過模式設(shè)定單元72，累積在圖像傳感器62a中的所有像素信號被重置(步驟S89)。
并且，通過模式設(shè)定單元72，電子快門62b受到控制，使得圖像傳感器62a以正常曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以正常曝光時(shí)間被攝像(步驟S90)。
這里，模式設(shè)定單元72控制攝像單元62，以基于已經(jīng)取得的高頻區(qū)域信息，輸出以正常曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)(步驟S91)。
其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到圖像縮小單元95，由圖像縮小單元95進(jìn)行空間分辨率變換，以表示用規(guī)定的縮小率縮小后的正常時(shí)間曝光圖像的高頻區(qū)域(步驟S92)，進(jìn)行了空間分辨率變換后的攝像數(shù)據(jù)，通過抖動(dòng)軌跡計(jì)算單元75被保存在正常曝光用存儲(chǔ)器74b中(步驟S93)。
并且，通過抖動(dòng)軌跡計(jì)算單元75，基于保存在短曝光用存儲(chǔ)器74a的短曝光時(shí)間下的攝像數(shù)據(jù)和保存在正常曝光用存儲(chǔ)器74b的正常曝光時(shí)間下的攝像數(shù)據(jù)來計(jì)算抖動(dòng)軌跡(步驟S94)。
這里，由縮小圖像校正單元96根據(jù)抖動(dòng)軌跡的逆矩陣計(jì)算抖動(dòng)校正軌跡(步驟S95)，由縮小圖像校正單元96通過所計(jì)算的抖動(dòng)校正軌跡和保存在正常曝光用存儲(chǔ)器74b的縮小正常曝光圖像的數(shù)據(jù)的卷積運(yùn)算處理，校正縮小正常曝光圖像的抖動(dòng)(步驟S96)。
然后，差分圖像計(jì)算單元97計(jì)算從由縮小圖像校正單元96進(jìn)行了抖動(dòng)校正后的縮小正常曝光圖像、和保存在正常曝光用存儲(chǔ)器74b的攝像數(shù)據(jù)表示的縮小正常曝光圖像的差分所得到的差分圖像(步驟S97)。
接著，通過模式設(shè)定單元72控制攝像單元62，使得輸出以正常曝光時(shí)間進(jìn)行了攝像的全像素的數(shù)據(jù)，并經(jīng)由ADC71及模式設(shè)定單元72，全像素的數(shù)據(jù)被輸出到差分圖像放大加法單元98。
接著，差分圖像放大加法單元98放大由差分圖像計(jì)算單元97計(jì)算的差分圖像，并將其相加到被輸入到差分圖像放大加法單元98的數(shù)據(jù)表示的全像素中，從而對被攝體圖像的攝像數(shù)據(jù)進(jìn)行抖動(dòng)校正處理(步驟S98)。
接著，進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)被輸出到信號處理單元77，通過信號處理單元77變換為規(guī)定格式的圖像數(shù)據(jù)，并被輸出到記錄裝置64及顯示裝置65。
然后，通過記錄裝置64保存進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)，通過顯示裝置65顯示進(jìn)行了抖動(dòng)校正處理的被攝體圖像(步驟S99)。另外，在繼續(xù)進(jìn)行攝像時(shí)，攝像裝置4的動(dòng)作返回到步驟S81。
如此，本實(shí)施方式的攝像裝置4基于分別表示被縮小的短時(shí)間曝光圖像和正常曝光圖像的攝像數(shù)據(jù)來計(jì)算抖動(dòng)校正軌跡，所以能夠削減計(jì)算抖動(dòng)校正軌跡所需的計(jì)算量，運(yùn)算電路的規(guī)模變小，從而能夠?qū)崿F(xiàn)低功耗、小型化及低成本。
(第5實(shí)施方式) 首先，說明本發(fā)明的第5實(shí)施方式的攝像裝置的結(jié)構(gòu)。另外，在本實(shí)施方式中，對于與本發(fā)明的第3實(shí)施方式的攝像裝置3的各個(gè)結(jié)構(gòu)元件相同的結(jié)構(gòu)元件附加同一標(biāo)號并省略說明。
如圖14所示，本實(shí)施方式的攝像裝置5相對于本發(fā)明的第3實(shí)施方式的攝像裝置3，代替圖像處理裝置70而具有圖像處理裝置110。
圖像處理裝置110包括ADC71，將圖像傳感器62a輸出的模擬信號變換為數(shù)字信號；模式設(shè)定單元72，基于快門按鈕63的狀態(tài)，設(shè)定模式；檢測高頻區(qū)域的高頻區(qū)域檢測單元73；保存攝像數(shù)據(jù)的存儲(chǔ)器單元74；計(jì)算抖動(dòng)軌跡的抖動(dòng)軌跡計(jì)算單元75；對抖動(dòng)軌跡進(jìn)行線徑化的抖動(dòng)軌跡線徑化單元115；進(jìn)行抖動(dòng)的校正處理的抖動(dòng)校正單元76；進(jìn)行規(guī)定的信號處理的信號處理單元77。
抖動(dòng)軌跡線徑化單元115在相對于計(jì)算的抖動(dòng)軌跡的各個(gè)像素(以下稱為‘關(guān)注像素’)，其右、左、上及下(以下稱為‘相鄰像素’)的任一個(gè)像素不在抖動(dòng)軌跡上時(shí)，例如在相鄰像素的像素值為0時(shí)，對計(jì)算出的抖動(dòng)軌跡進(jìn)行線徑化。
這里，抖動(dòng)軌跡線徑化單元115分別計(jì)算相對于各個(gè)相鄰像素在關(guān)注像素的對稱側(cè)(以下稱為‘相鄰對稱側(cè)’)的像素的像素值的加權(quán)平均值，在計(jì)算出的任一個(gè)加權(quán)平均值對于關(guān)注像素的像素值的比率為規(guī)定的閾值以上時(shí)，將該關(guān)注像素從抖動(dòng)軌跡中排除，例如使其像素值為0。
例如，如圖15的(a)所示，抖動(dòng)軌跡線徑化單元115對于包含計(jì)算的抖動(dòng)軌跡的區(qū)域120的圖像121，將圖像121的各個(gè)像素作為關(guān)注像素122，如圖15的(b)所示，在關(guān)注像素的右側(cè)相鄰的相鄰像素的像素值c不是0時(shí)，計(jì)算在相鄰對稱側(cè)即左方的像素值分別為a1、a2、a3的三個(gè)像素的加權(quán)平均值a＝(a1+2×a2+a3)/4。
這里，抖動(dòng)軌跡線徑化單元115計(jì)算加權(quán)平均值a對于關(guān)注像素的像素值b的比率R＝a/b，當(dāng)計(jì)算出的比率R在規(guī)定的閾值以上時(shí)，將該關(guān)注像素從抖動(dòng)軌跡中排除。
同樣地，如圖15的(b)至圖15的(d)所示，抖動(dòng)軌跡線徑化單元115在相鄰像素的像素值c不是0時(shí)，計(jì)算相鄰對稱側(cè)即右方、下方、上方的各個(gè)加權(quán)平均值a對于關(guān)注像素的像素值b的比率R，當(dāng)計(jì)算出的比率R在規(guī)定的閾值以上時(shí)，將該關(guān)注像素從抖動(dòng)軌跡中排除。因此，如圖15的(a)所示，抖動(dòng)軌跡的區(qū)域120被線徑化為抖動(dòng)軌跡的區(qū)域123。
此外，在圖14中，抖動(dòng)軌跡線徑化單元115將變換的攝像數(shù)據(jù)分別保存在短曝光用存儲(chǔ)器74a及正常曝光用存儲(chǔ)器74b，通過比較兩者的攝像數(shù)據(jù)來計(jì)算抖動(dòng)軌跡。另外，抖動(dòng)軌跡線徑化單元115構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元。
下面，使用圖16及圖17說明本實(shí)施方式的攝像裝置5的動(dòng)作。
首先，模式設(shè)定單元72被設(shè)定為監(jiān)控模式(步驟S101)。通過模式設(shè)定單元72被設(shè)定為監(jiān)控模式，來自攝像單元62的攝像數(shù)據(jù)由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸入到高頻區(qū)域檢測單元73及信號處理單元77。
對于輸入到高頻區(qū)域檢測單元73的攝像數(shù)據(jù)，執(zhí)行用于檢測高頻區(qū)域的處理(步驟S102)，并將表示所檢測出的高頻區(qū)域的范圍的高頻區(qū)域信息由高頻區(qū)域檢測單元73保存在存儲(chǔ)器中。
另一方面，對于輸入到信號處理單元77的攝像數(shù)據(jù)，例如執(zhí)行將其變換為規(guī)定格式的圖像數(shù)據(jù)的圖像處理，并作為活動(dòng)圖像顯示在顯示裝置65上。
接著，通過模式設(shè)定單元72，判斷快門按鈕63是否被按下(步驟S103)。這里，在沒有被判斷為按下快門按鈕63的情況下，攝像裝置5的動(dòng)作返回到步驟S102。
在步驟S103中，判斷為按下了快門按鈕63的情況下，模式設(shè)定單元72被設(shè)定為攝像模式(步驟S104)。
并且，通過模式設(shè)定單元72控制電子快門62b，使得圖像傳感器62a以短曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以短曝光時(shí)間被攝像(步驟S105)。
這里，模式設(shè)定單元72控制攝像單元62，以讀出高頻區(qū)域檢測單元73的存儲(chǔ)器中所保存的高頻區(qū)域信息，并輸出以短曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)。其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到抖動(dòng)軌跡計(jì)算單元75，并通過抖動(dòng)軌跡計(jì)算單元75被保存在短曝光用存儲(chǔ)器74a中(步驟S106)。
接著，通過模式設(shè)定單元72，累積在圖像傳感器62a的所有像素信號被重置(步驟S107)。
并且，通過模式設(shè)定單元72，電子快門62b受到控制，使得圖像傳感器62a以正常曝光時(shí)間進(jìn)行曝光，通過圖像傳感器62a，被攝體以正常曝光時(shí)間被攝像(步驟S108)。
這里，模式設(shè)定單元72控制攝像單元62，以基于已經(jīng)取得的高頻區(qū)域信息，輸出以正常曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)。其結(jié)果，相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC71，由ADC71進(jìn)行AD變換，經(jīng)由模式設(shè)定單元72，被輸出到抖動(dòng)軌跡計(jì)算單元75，并通過抖動(dòng)軌跡計(jì)算單元75被保存在正常曝光用存儲(chǔ)器74b中(步驟S109)。
進(jìn)而，通過抖動(dòng)軌跡計(jì)算單元75，基于保存在短曝光用存儲(chǔ)器74a中的短曝光時(shí)間下的攝像數(shù)據(jù)和保存在正常曝光用存儲(chǔ)器74b中的正常曝光時(shí)間下的攝像數(shù)據(jù)而計(jì)算抖動(dòng)軌跡(步驟S110)，通過抖動(dòng)軌跡線徑化單元115，計(jì)算出的抖動(dòng)軌跡如后述那樣被線徑化(步驟S111)。
接著，通過模式設(shè)定單元72控制攝像單元62，使得輸出以正常曝光時(shí)間進(jìn)行了攝像的全像素的數(shù)據(jù)，經(jīng)由ADC71及模式設(shè)定單元72，全像素的數(shù)據(jù)被輸出到抖動(dòng)校正單元76。在抖動(dòng)校正單元76中，一邊讀出全像素的數(shù)據(jù)，一邊基于由抖動(dòng)軌跡線徑化單元115線徑化后的抖動(dòng)軌跡，例如通過將像素?cái)?shù)據(jù)移動(dòng)相當(dāng)于抖動(dòng)軌跡的像素量的處理進(jìn)行抖動(dòng)校正處理(步驟S112)，因抖動(dòng)產(chǎn)生的被攝體圖像的模糊被校正。這里，對保存在正常曝光用存儲(chǔ)器74b中的攝像數(shù)據(jù)執(zhí)行高頻區(qū)域中的圖像的抖動(dòng)校正處理。
另外，在抖動(dòng)校正處理中，例如因圖像傳感器62a內(nèi)產(chǎn)生的暗電流的影響而在高頻區(qū)域的圖像和其他區(qū)域的圖像之間產(chǎn)生電平差的情況下，可以通過將兩者的攝像數(shù)據(jù)相加或者乘以對應(yīng)于電平差的校正值來降低兩者的電平差。
接著，進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)被輸出到信號處理單元77，通過信號處理單元77變換為規(guī)定格式的圖像數(shù)據(jù)，從而被輸出到記錄裝置64及顯示裝置65。
然后，通過記錄裝置64保存進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)，通過顯示裝置65顯示進(jìn)行了抖動(dòng)校正處理的被攝體圖像(步驟S113)。另外，在繼續(xù)進(jìn)行攝像時(shí)，攝像裝置5的動(dòng)作返回到步驟S101。
這里，使用圖17詳細(xì)說明攝像裝置5的動(dòng)作步驟S111。在步驟S111中，將包含由抖動(dòng)軌跡線徑化單元115計(jì)算的抖動(dòng)軌跡的區(qū)域的圖像的各個(gè)像素設(shè)為關(guān)注像素，對各個(gè)關(guān)注像素(步驟S120～S129)的各個(gè)相鄰像素(步驟S121～S128)執(zhí)行以下處理。
首先，由抖動(dòng)軌跡線徑化單元115判斷關(guān)注像素是否在抖動(dòng)軌跡上，例如關(guān)注像素的像素值b是否為0(步驟S122)。這里，在判斷為關(guān)注像素的像素值b為0時(shí)，執(zhí)行對下一個(gè)相鄰像素的處理。另外，在該情況下，步驟S122中的判斷結(jié)果對于其他相鄰像素也相同，所以執(zhí)行對下一個(gè)關(guān)注像素的處理。
另一方面，在判斷為關(guān)注像素的像素值b不為0時(shí)，由抖動(dòng)軌跡線徑化單元115判斷相鄰像素是否在抖動(dòng)軌跡上，例如相鄰像素的像素值c是否為0(步驟S123)。這里，在判斷為相鄰像素的像素值c不為0時(shí)，執(zhí)行對下一個(gè)相鄰像素的處理。
另一方面，在判斷為相鄰像素的像素值c為0時(shí)，由抖動(dòng)軌跡線徑化單元115計(jì)算在相鄰對稱側(cè)的像素的像素值的加權(quán)平均值a(步驟S124)，并由抖動(dòng)軌跡線徑化單元115計(jì)算所計(jì)算出的加權(quán)平均值a對于關(guān)注像素的像素值b的比率R(步驟S125)。
這里，由抖動(dòng)軌跡線徑化單元115判斷所計(jì)算出的比率R是否是規(guī)定的閾值TH以上(步驟S126)，當(dāng)判斷為比率R不在閾值TH以上時(shí)，執(zhí)行對下一個(gè)相鄰像素的處理。
另一方面，當(dāng)判斷為比率R在閾值TH以上時(shí)，關(guān)注像素從抖動(dòng)軌跡中被排除，即關(guān)注像素的像素值b通過抖動(dòng)軌跡線徑化單元115而被設(shè)定為0(步驟S127)。
另外，接著，執(zhí)行對下一個(gè)相鄰像素的處理，但在步驟S127中關(guān)注像素的像素值b被設(shè)定為0時(shí)，根據(jù)步驟S122中對于其他相鄰像素的判斷，執(zhí)行對下一個(gè)關(guān)注像素的處理。
如此，本實(shí)施方式的攝像裝置5基于線徑化后的抖動(dòng)軌跡生成進(jìn)行了正常曝光圖像校正的校正圖像，所以能夠抑制因短時(shí)間曝光圖像及正常曝光圖像中所包含的噪音的影響及傅立葉變換時(shí)的誤差的影響而在校正圖像中產(chǎn)生的虛擬輪廓或模糊。
(第6實(shí)施方式) 首先，說明本發(fā)明的第6實(shí)施方式的攝像裝置的結(jié)構(gòu)。
如圖18所示，本實(shí)施方式的攝像裝置6取代本發(fā)明的第3實(shí)施方式的攝像裝置3的圖像處理裝置70而具有圖像處理裝置130。因此，對于圖像處理裝置130以外的結(jié)構(gòu)元件，附加與本發(fā)明的第3實(shí)施方式的攝像裝置3相同的標(biāo)號并省略詳細(xì)的說明。
在圖18中，本實(shí)施方式的圖像處理裝置130包括ADC131，將圖像傳感器62a輸出的模擬信號變換為數(shù)字信號；模式設(shè)定單元132，基于快門按鈕63的狀態(tài)設(shè)定模式；檢測高頻區(qū)域的高頻區(qū)域檢測單元133；保存攝像數(shù)據(jù)的存儲(chǔ)器單元134；檢測動(dòng)態(tài)向量的動(dòng)態(tài)向量檢測單元135；計(jì)算抖動(dòng)軌跡的抖動(dòng)軌跡計(jì)算單元136；進(jìn)行抖動(dòng)的校正處理的抖動(dòng)校正單元137；以及進(jìn)行規(guī)定的信號處理的信號處理單元138。另外，圖像處理裝置130例如由數(shù)字信號處理器構(gòu)成。
這里，ADC131、高頻區(qū)域檢測單元133及信號處理單元138分別與第3實(shí)施方式的ADC71、高頻區(qū)域檢測單元73及信號處理單元77為相同的結(jié)構(gòu)，所以省略詳細(xì)的說明。
當(dāng)用戶按下快門按鈕63時(shí)，模式設(shè)定單元132接收從快門按鈕63輸出的信號，并設(shè)定為監(jiān)控模式及攝像模式的任意一種模式。這里，監(jiān)控模式是，在用戶沒有按下快門按鈕63的狀態(tài)下，將攝像單元62進(jìn)行了攝像的被攝體圖像作為活動(dòng)圖像顯示在顯示裝置65的處理。另一方面，攝像模式是，在用戶按下了快門按鈕63時(shí)對被攝體進(jìn)行攝像，并取得被攝體的靜態(tài)圖像的處理。
此外，模式設(shè)定單元132控制電子快門62b，以在攝像模式中，使圖像傳感器62a以短曝光時(shí)間多次曝光。另一方面，模式設(shè)定單元132控制電子快門62b，以在監(jiān)控模式下使圖像傳感器62a以正常曝光時(shí)間進(jìn)行攝像，并使活動(dòng)圖像顯示在顯示裝置65中。
此外，模式設(shè)定單元132控制攝像單元62，以從圖像傳感器62a讀出基于高頻區(qū)域檢測單元133輸出的高頻區(qū)域信息的區(qū)域的像素信號，并將其輸出到ADC131。另外，模式設(shè)定單元132構(gòu)成本發(fā)明的短時(shí)間曝光圖像取得單元。
存儲(chǔ)器單元134包括依次保存以短曝光時(shí)間多次曝光而攝像的圖像中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)的第1存儲(chǔ)器134a和第2存儲(chǔ)器134b，以及用于將第1存儲(chǔ)器134a中所保存的攝像數(shù)據(jù)和第2存儲(chǔ)器134b中所保存的攝像數(shù)據(jù)相加后進(jìn)行累積的累積用存儲(chǔ)器134c。
具體來說，在通過圖像傳感器62a，例如進(jìn)行了3次以短曝光時(shí)間的攝像時(shí)，第1存儲(chǔ)器134a及第2存儲(chǔ)器134b分別保存第1次及第2次的攝像數(shù)據(jù)，累積用存儲(chǔ)器134c對第1次的攝像數(shù)據(jù)和第2次的攝像數(shù)據(jù)進(jìn)行相加后累積。接著，第1存儲(chǔ)器134a保存第3次的攝像數(shù)據(jù)，累積用存儲(chǔ)器134c對第2次的攝像數(shù)據(jù)和第3次的攝像數(shù)據(jù)進(jìn)行相加后進(jìn)行累積。
動(dòng)態(tài)向量檢測單元135比較第1存儲(chǔ)器134a中所保存的攝像數(shù)據(jù)和第2存儲(chǔ)器134b中所保存的攝像數(shù)據(jù)，從而檢測動(dòng)態(tài)向量，并根據(jù)檢測出的動(dòng)態(tài)向量，取得包含了動(dòng)態(tài)向量的方向和大小的動(dòng)態(tài)向量值。動(dòng)態(tài)向量值在每次第1存儲(chǔ)器134a或者第2存儲(chǔ)器134b中所保存的攝像數(shù)據(jù)被更新時(shí)取得，并依次被相加而保存在動(dòng)態(tài)向量檢測單元135的存儲(chǔ)器(省略圖示)中。
抖動(dòng)軌跡計(jì)算單元136基于動(dòng)態(tài)向量檢測單元135取得的動(dòng)態(tài)向量值來計(jì)算抖動(dòng)軌跡。另外，抖動(dòng)軌跡計(jì)算單元136構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元。
抖動(dòng)校正單元137基于由抖動(dòng)軌跡計(jì)算單元136計(jì)算的抖動(dòng)軌跡，對攝像單元62攝像的被攝體圖像進(jìn)行抖動(dòng)校正。另外，抖動(dòng)校正單元137構(gòu)成本發(fā)明的抖動(dòng)校正軌跡計(jì)算單元及抖動(dòng)校正圖像生成單元。
下面，使用圖19說明本實(shí)施方式的攝像裝置6的動(dòng)作。另外，如圖19所示，本實(shí)施方式的攝像裝置6的步驟中，步驟S131～S134與第3實(shí)施方式的攝像裝置3的動(dòng)作中的步驟S61～S64(參照圖10)相同，所以省略說明。
在步驟S134，模式設(shè)定單元132被設(shè)定為攝像模式后，執(zhí)行抖動(dòng)軌跡計(jì)算處理(步驟S135)。使用圖20說明該抖動(dòng)軌跡計(jì)算處理。為了清楚容易地說明動(dòng)作，在這里列舉以短曝光時(shí)間進(jìn)行3次攝像的情況為例來說明，但本發(fā)明并不限定于此，只要是以短曝光時(shí)間進(jìn)行多次攝像即可。
首先，通過模式設(shè)定單元132，電子快門62b受到控制，以使圖像傳感器62a以短曝光時(shí)間曝光，執(zhí)行短曝光時(shí)間的第1次攝像(步驟S141)。
然后，通過模式設(shè)定單元132，攝像單元62受到控制，以讀出高頻區(qū)域檢測單元133的存儲(chǔ)器中所保存的高頻區(qū)域信息，并輸出以短曝光時(shí)間攝像的第1次的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)。其結(jié)果，所攝像的第1次攝像數(shù)據(jù)從圖像傳感器62a被輸出到ADC131，由ADC131進(jìn)行AD變換，經(jīng)由模式設(shè)定單元132，被輸出到抖動(dòng)軌跡計(jì)算單元136，并通過抖動(dòng)軌跡計(jì)算單元136被保存在第1存儲(chǔ)器134a中(步驟S142)。
接著，與步驟S141同樣地，執(zhí)行短曝光時(shí)間的第2次攝像(步驟S143)。
進(jìn)而，與步驟S142同樣地，以短曝光時(shí)間攝像的第2次的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)，通過抖動(dòng)軌跡計(jì)算單元136被保存在第2存儲(chǔ)器134b中(步驟S144)。
接著，通過動(dòng)態(tài)向量檢測單元135比較第1存儲(chǔ)器134a中所保存的第1次的攝像數(shù)據(jù)和第2存儲(chǔ)器134b中所保存的第2次的攝像數(shù)據(jù)，檢測動(dòng)態(tài)向量，并取得動(dòng)態(tài)向量值(步驟S145)。該動(dòng)態(tài)向量值的數(shù)據(jù)被保存在動(dòng)態(tài)向量檢測單元135的存儲(chǔ)器中。
然后，通過抖動(dòng)軌跡計(jì)算單元136，將第1存儲(chǔ)器134a中所保存的第1次的攝像數(shù)據(jù)和第2存儲(chǔ)器134b中所保存的第2次的攝像數(shù)據(jù)相加，相加后的攝像數(shù)據(jù)被保存在累積用存儲(chǔ)器134c中(步驟S146)。
接著，與步驟S141同樣地，執(zhí)行短曝光時(shí)間的第3次攝像(步驟S147)。
進(jìn)而，與步驟S142同樣地，以短曝光時(shí)間攝像的第3次的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)，通過抖動(dòng)軌跡計(jì)算單元136被保存在第1存儲(chǔ)器134a中(步驟S148)。
接著，與步驟S145同樣地，通過動(dòng)態(tài)向量檢測單元135比較第1存儲(chǔ)器134a中所保存的第3次的攝像數(shù)據(jù)和第2存儲(chǔ)器134b中所保存的第2次的攝像數(shù)據(jù)，檢測動(dòng)態(tài)向量，并取得動(dòng)態(tài)向量值(步驟S149)。
接著，通過動(dòng)態(tài)向量檢測單元135，在步驟S145所取得的動(dòng)態(tài)向量值的數(shù)據(jù)和在步驟S149所取得的動(dòng)態(tài)向量值的數(shù)據(jù)被相加(步驟S150)，并被保存在動(dòng)態(tài)向量檢測單元135的存儲(chǔ)器中。加法運(yùn)算后的動(dòng)態(tài)向量值的數(shù)據(jù)通過動(dòng)態(tài)向量檢測單元135，輸出到抖動(dòng)軌跡計(jì)算單元136作為抖動(dòng)軌跡的數(shù)據(jù)。
然后，與步驟S146同樣地，通過抖動(dòng)軌跡計(jì)算單元136，第1存儲(chǔ)器134a所保存的第3次的攝像數(shù)據(jù)和第2存儲(chǔ)器134b所保存的第2次的攝像數(shù)據(jù)被相加，相加后的攝像數(shù)據(jù)被保存在累積用存儲(chǔ)器134c中(步驟S151)。其結(jié)果，累積用存儲(chǔ)器134c中累積有以短曝光時(shí)間攝像的相當(dāng)于高頻區(qū)域的3次的攝像數(shù)據(jù)。由此，抖動(dòng)軌跡計(jì)算處理結(jié)束，攝像裝置6的動(dòng)作進(jìn)至圖19的步驟S136。
接著，通過模式設(shè)定單元132控制攝像單元62，以輸出攝像的全像素的數(shù)據(jù)，經(jīng)由ADC131及模式設(shè)定單元132，全像素的數(shù)據(jù)被輸出到抖動(dòng)軌跡計(jì)算單元136。在抖動(dòng)校正單元137中，如圖11的(b)所示，一邊讀出全像素的數(shù)據(jù)，一邊基于由抖動(dòng)軌跡計(jì)算單元136取得的抖動(dòng)軌跡，例如通過將像素?cái)?shù)據(jù)移動(dòng)相當(dāng)于抖動(dòng)軌跡的像素量的處理來進(jìn)行抖動(dòng)校正處理(步驟S136)，因抖動(dòng)產(chǎn)生的被攝體圖像的模糊被校正。這里，對保存在累積用存儲(chǔ)器134c中的攝像數(shù)據(jù)執(zhí)行高頻區(qū)域中的圖像的抖動(dòng)校正處理。
另外，在從圖像傳感器62a讀出以短曝光時(shí)間攝像的攝像數(shù)據(jù)中相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)時(shí)，由于在相當(dāng)于高頻區(qū)域的像素區(qū)域中不會(huì)累積被攝體的光信號，所以有時(shí)在高頻區(qū)域的圖像和其他區(qū)域的圖像之間產(chǎn)生電平差。這種情況下，例如通過對相當(dāng)于高頻區(qū)域的攝像數(shù)據(jù)乘以對應(yīng)于電平差的校正值，從而可以降低兩者的電平差。
接著，進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)被輸出到信號處理單元138，通過信號處理單元138變換為規(guī)定格式的圖像數(shù)據(jù)，從而被輸出到記錄裝置64及顯示裝置65。
然后，通過記錄裝置64保存進(jìn)行了抖動(dòng)校正處理的攝像數(shù)據(jù)，通過顯示裝置65顯示進(jìn)行了抖動(dòng)校正處理的被攝體圖像(步驟S137)。另外，在繼續(xù)進(jìn)行攝像時(shí)，攝像裝置6的動(dòng)作返回到步驟S131。
如此，根據(jù)本實(shí)施方式的攝像裝置6，抖動(dòng)校正單元137為基于多個(gè)短時(shí)間曝光圖像之間的抖動(dòng)軌跡對被攝體圖像的抖動(dòng)進(jìn)行校正的結(jié)構(gòu)，所以不需要像以往的裝置那樣具備用于檢測抖動(dòng)軌跡的專用裝置，能夠?qū)崿F(xiàn)比以往的裝置更加小型化及低成本。
此外，根據(jù)本實(shí)施方式的攝像裝置6，是將高頻區(qū)域檢測單元133檢測的高頻區(qū)域中的短時(shí)間曝光圖像的數(shù)據(jù)保存在存儲(chǔ)器單元134的結(jié)構(gòu)，所以例如與保存1幀的攝像數(shù)據(jù)的裝置相比，能夠大幅減少存儲(chǔ)器容量，使存儲(chǔ)器小型化。其結(jié)果，攝像裝置6能夠?qū)崿F(xiàn)比以往的裝置更加小型化、輕量化及低成本。
在以上說明的本發(fā)明的第1至第6實(shí)施方式中，也可以組合各個(gè)實(shí)施方式的功能來構(gòu)成本發(fā)明的攝像裝置。另外，對于組合了各個(gè)實(shí)施方式的功能的方式，能夠基于本發(fā)明的第1至第6實(shí)施方式而容易想到，因此省略說明。
工業(yè)上的可利用性 如此，本發(fā)明的攝像裝置具有能夠?qū)崿F(xiàn)比以往的裝置更加小型化及低成本的效果，作為校正在使用固體攝像元件對被攝體進(jìn)行攝像時(shí)因抖動(dòng)產(chǎn)生的被攝體圖像的模糊的攝像裝置等是有用的。
權(quán)利要求
1、一種攝像裝置，包括
攝像元件，對成像在光接收面上的圖像進(jìn)行攝像；
抖動(dòng)校正單元，基于由所述攝像元件以不同的曝光時(shí)間攝像的至少兩張圖像而校正圖像的抖動(dòng)；以及
輸出單元，輸出作為抖動(dòng)校正后的圖像的抖動(dòng)校正圖像。
2、如權(quán)利要求1所述的攝像裝置，其特征在于，
所述抖動(dòng)校正單元包括
正常曝光圖像取得單元，使所述攝像元件曝光正常曝光時(shí)間，從而取得正常曝光圖像；
短時(shí)間曝光圖像取得單元，使所述攝像元件曝光比所述正常曝光時(shí)間短的時(shí)間，取得短時(shí)間曝光圖像；
抖動(dòng)校正軌跡計(jì)算單元，基于所述正常曝光圖像和所述短時(shí)間曝光圖像，計(jì)算對于所述正常曝光圖像的抖動(dòng)校正軌跡；以及
抖動(dòng)校正圖像生成單元，基于所述正常曝光圖像和所述抖動(dòng)校正軌跡，生成抖動(dòng)校正圖像。
3、如權(quán)利要求2所述的攝像裝置，其特征在于，
所述攝像元件包括由多個(gè)像素構(gòu)成的像素區(qū)域，
所述正常曝光圖像取得單元和所述短時(shí)間曝光圖像取得單元，從構(gòu)成所述像素區(qū)域的一部分的特定區(qū)域中分別取得所述正常曝光圖像和所述短時(shí)間曝光圖像。
4、如權(quán)利要求3所述的攝像裝置，其特征在于，
所述正常曝光圖像取得單元和所述短時(shí)間曝光圖像取得單元，通過從所述攝像元件中只讀出所述特定區(qū)域的數(shù)據(jù)，分別取得所述正常曝光圖像和所述短時(shí)間曝光圖像。
5、如權(quán)利要求3所述的攝像裝置，其特征在于，還包括
高頻區(qū)域檢測單元，檢測所述像素區(qū)域中的規(guī)定的空間頻率以上的高頻區(qū)域作為所述特定區(qū)域。
6、如權(quán)利要求2所述的攝像裝置，其特征在于，還包括
像素重置單元，在取得了所述短時(shí)間曝光圖像后的規(guī)定的短時(shí)間之后，將所述像素區(qū)域的全部像素進(jìn)行重置。
7、如權(quán)利要求2所述的攝像裝置，其特征在于，
所述抖動(dòng)校正軌跡計(jì)算單元通過將所述正常曝光圖像和所述短時(shí)間曝光圖像進(jìn)行傅立葉變換，并將所述傅立葉變換后的短時(shí)間曝光圖像除以所述傅立葉變換后的正常曝光圖像，計(jì)算頻域中的所述抖動(dòng)校正軌跡。
8、如權(quán)利要求2所述的攝像裝置，其特征在于，
所述抖動(dòng)校正軌跡計(jì)算單元將所述正常曝光圖像和所述短時(shí)間曝光圖像進(jìn)行傅立葉變換，并將所述傅立葉變換后的正常曝光圖像除以所述傅立葉變換后的短時(shí)間曝光圖像，從而計(jì)算抖動(dòng)軌跡，將計(jì)算出的抖動(dòng)軌跡進(jìn)行線徑化，并基于線徑化后的抖動(dòng)軌跡，計(jì)算頻域中的所述抖動(dòng)校正軌跡。
9、如權(quán)利要求7所述的攝像裝置，其特征在于，
所述抖動(dòng)校正圖像生成單元通過將所述頻域中的抖動(dòng)校正軌跡進(jìn)行傅立葉逆變換，將所述傅立葉逆變換后的抖動(dòng)校正軌跡和由所述正常曝光圖像取得單元所取得的正常曝光圖像進(jìn)行卷積積分，生成所述抖動(dòng)校正圖像。
10、如權(quán)利要求7所述的攝像裝置，其特征在于，
所述抖動(dòng)校正圖像生成單元將通過所述抖動(dòng)軌跡計(jì)算單元進(jìn)行了傅立葉變換后的正常曝光圖像和所述頻域中的抖動(dòng)校正軌跡進(jìn)行乘法運(yùn)算，并將乘法運(yùn)算后的結(jié)果進(jìn)行傅立葉逆變換，生成所述抖動(dòng)校正圖像。
11、如權(quán)利要求2所述的攝像裝置，其特征在于，
所述抖動(dòng)校正軌跡計(jì)算單元包括
圖像縮小單元，對所述正常曝光圖像和所述短時(shí)間曝光圖像進(jìn)行空間分辨率變換而使其縮??；
縮小圖像校正單元，基于由所述圖像縮小單元分別進(jìn)行過縮小的正常曝光圖像和短時(shí)間曝光圖像，對該正常曝光圖像進(jìn)行抖動(dòng)校正；以及
差分圖像計(jì)算單元，計(jì)算從由所述圖像縮小單元進(jìn)行過縮小的正常曝光圖像和由所述縮小圖像校正單元進(jìn)行過校正的正常曝光圖像的差分所獲得的差分圖像，
所述抖動(dòng)校正圖像生成單元包括
差分圖像放大加法單元，將所述差分圖像放大，并將放大后的差分圖像和由所述正常曝光圖像取得單元所取得的正常曝光圖像進(jìn)行相加。
12、如權(quán)利要求2所述的攝像裝置，其特征在于，
所述抖動(dòng)校正單元具有噪音消除單元，所述噪音消除單元消除所述正常曝光圖像和所述短時(shí)間曝光圖像中包含的噪音，
所述抖動(dòng)校正軌跡計(jì)算單元基于噪音消除后的所述正常曝光圖像和所述短時(shí)間曝光圖像，計(jì)算所述抖動(dòng)校正軌跡。
13、如權(quán)利要求12所述的攝像裝置，其特征在于，
所述噪音消除單元由截止頻率為5～20赫茲的高頻截止濾波器構(gòu)成。
14、如權(quán)利要求1所述的攝像裝置，其特征在于，
所述抖動(dòng)校正單元包括
短時(shí)間曝光圖像取得單元，將所述攝像元件曝光規(guī)定的短時(shí)間，從而取得多個(gè)短時(shí)間曝光圖像；
抖動(dòng)校正軌跡計(jì)算單元，基于所述多個(gè)短時(shí)間曝光圖像，計(jì)算以某個(gè)短時(shí)間曝光圖像為對象的抖動(dòng)校正軌跡；以及
抖動(dòng)校正圖像生成單元，基于已成為所述對象的短時(shí)間曝光圖像和所述抖動(dòng)校正軌跡，生成抖動(dòng)校正圖像。
全文摘要
本發(fā)明公開了能夠?qū)崿F(xiàn)比以往更加小型化且低成本的攝像裝置。攝像裝置(3)包括攝像元件(12)，通過透鏡(11)對成像于光接收面上的圖像進(jìn)行攝像；抖動(dòng)校正單元(13)，基于由攝像元件(12)以不同的曝光時(shí)間進(jìn)行攝像的至少兩張圖像，校正圖像的抖動(dòng)；輸出單元(14)，輸出抖動(dòng)校正后的圖像，即抖動(dòng)校正圖像，抖動(dòng)校正單元(13)包括正常曝光圖像取得單元(21)，使攝像元件(12)曝光正常曝光時(shí)間，從而取得正常曝光圖像(ia)；短時(shí)間曝光圖像取得單元(22)，使攝像元件(12)曝光比正常曝光時(shí)間短的時(shí)間，從而取得短時(shí)間曝光圖像(is)；抖動(dòng)校正軌跡計(jì)算單元(23)，計(jì)算對于正常曝光圖像(ia)的抖動(dòng)校正軌跡；以及抖動(dòng)校正圖像生成單元(24)，基于正常曝光圖像(ia)和抖動(dòng)校正軌跡，生成抖動(dòng)校正圖像(ic)。
文檔編號H04N5/232GK101356802SQ200780001128
公開日2009年1月28日 申請日期2007年4月5日 優(yōu)先權(quán)日2006年4月11日
發(fā)明者中俊幸, 西澤真人, 三宅一永 申請人:松下電器產(chǎn)業(yè)株式會(huì)社