專利名稱：圖像處理裝置、圖像處理方法及程序的制作方法
技術(shù)領域：
本發(fā)明涉及利用數(shù)字照相機、視頻攝像機、可佩戴式攝像機等拍攝的影像的校正技術(shù)。
背景技術(shù)：
例如，有通過圖像處理對使用魚眼光學系統(tǒng)等超廣角光學 系統(tǒng)拍攝的影像的抖動(圖像間的位置偏移)進行校正的方法。該方法是使用在時間上連續(xù)拍攝的兩張圖像，利用在圖像間共同攝入的對象的信息來檢測以MPEG技術(shù)等為代表的運動矢量，由此估計幀間(圖像間)的攝像機的抖動并進行校正的方法。在這樣利用運動矢量的方法中，基于利用圖像的區(qū)域來檢測運動矢量這種算法的性質(zhì)，在精度和計算成本方面存在限制。因此，能夠檢測的攝像機的抖動的大小的上限被事前設定，針對例如在步行時拍攝的影像和以無取景器方式拍攝的影像所包含的抖動那樣較大的抖動，無法進行檢測。即，利用運動矢量的方法存在具有無法處理的大小的抖動、而且對這種大小的抖動無法進行校正的問題。與此相對，作為能夠進行利用運動矢量的方法所無法處理的大小的抖動的校正的方式，有基于特征點的匹配方法。該方法利用了共同存在于在時間上連續(xù)拍攝的兩張圖像間的被攝體上的幾個特征性的點。在此，對基于特征點的匹配方法(也記述為特征點匹配)進行具體說明。圖IA 圖ID是用于說明基于特征點的匹配方法的圖。下面，將兩張圖像中在時間上先拍攝的圖像表述為圖像t 一 I，將在時間上后拍攝的圖像表述為圖像t。圖IA是表示圖像t - I和在時間上比圖像t - I靠后拍攝的圖像t的圖。圖IB是表示從圖IA所示的圖像t 一 I、圖像t抽取的特征點的圖。圖IC是表示從圖IB所示的圖像t 一 I、圖像t抽取的特征點的性質(zhì)的類型的圖。圖ID是表示從圖IB所示的圖像t 一I、圖像t抽取的特征點的匹配的圖。其中，特征點是指如上所述通過圖像處理能夠檢測到的圖像上的特征性的點。圖IA所示的圖像t - I、圖像t上的對比度較高的像素被選擇為圖IB所示的特征點。如圖IB所示，位于諸如對比度極高的角落的特征點在圖像間(圖像t — I和圖像t)容易被共同抽取出來，而對比度不那么高的特征點在圖像間(圖像t 一 I和圖像t)不容易被共同抽取出來。圖IB所示的特征點包括能夠從在圖像間(圖像t - I和圖像t)共同攝入的區(qū)域中得到的特征點(圖IC中用〇示出的特征點)；雖然能夠從在圖像間(圖像t - I和圖像t)共同攝入的區(qū)域中得到，但是位置在圖像間(圖像t — I和圖像t)發(fā)生變化的特征點(圖IC中用A示出的特征點)。另外，在圖IB所示的特征點中也包括能夠從在圖像間(圖像t 一 I和圖像t)未共同攝入的區(qū)域中得到的特征點(圖IC中用X示出的特征點)。圖IB所示的特征點中能夠匹配的特征點是能夠從在圖像間(圖像t - I和圖像t)共同攝入的區(qū)域中得到的特征點(圖IC中用〇示出的特征點)。但是，能夠從在圖像間(圖像t —I和圖像t)共同攝入的區(qū)域中得到的特征點的位置或比率在匹配之前是未知的，因而哪個特征點是能夠從在圖像間(圖像t 一 I和圖像t)共同攝入的區(qū)域中得到的特征點也是未知的。因此，使用RANSAC(RANdom Sample Consensus 隨機采樣一致性)等方法，從在圖像t-I中抽取的特征點和在圖像t中抽取的特征點選出各個特征點的組合，利用事前設定的評價函數(shù)求出各個特征點的組合的評價值(圖1D)。該評價值被設計為當是能夠從在圖像間(圖像t - I和圖像t)共同攝入的區(qū)域中得到的特征點的組合(下面表述為inlier :內(nèi)層)時使評價值容易變高。具體地講，根據(jù)從在圖像t - I中抽取的特征點和在圖像t中抽取的特征點選擇的兩組特征點的組合，生成旋轉(zhuǎn)矩陣。并且，為了驗算所生成的旋轉(zhuǎn)矩陣是否正確，使除所選擇的特征點的組合之外的圖像t-1的特征點按照所生成的旋轉(zhuǎn)矩陣進行旋轉(zhuǎn)，確認旋轉(zhuǎn)后的圖像t-1的特征點是否與圖像t的特征點一致。如果旋轉(zhuǎn)后的圖像t-1的特征點與圖像t的特征點一致，可知所生成的旋轉(zhuǎn)矩陣表示正確的圖像間的抖動量(位置偏移的程度)的可能性比較大，因而設定將該一致程度作為評價值的評價函數(shù)。在使用該評價函數(shù)進行規(guī)定次數(shù)搜索的階段中斷搜索，使用在該時刻得到了最大評價值的inlier來估計旋轉(zhuǎn)矩陣。另外，該inlier是指諸如在圖IC中用〇示出的特征點那樣共同存在于圖像間的特征點，主要是能夠從拍攝到的圖像內(nèi)的遠景區(qū)域中得到的特征點。并且，使用從作為遠景特征點的inlier估計出的旋轉(zhuǎn)矩陣來校正圖像的抖動。通常通過這種處理來進行特征點匹配。即，特征點匹配是指這樣的方法，即對在圖像間(圖像t - I和圖像t)產(chǎn)生的抖動反復進行搜索，使得能夠從在圖像t 一 I和圖像t中共同攝入的區(qū)域中得到的圖像t- I的特征點的分布和圖像t的特征點的分布盡可能一致，并且是將能夠從在圖像t - I和圖像t中共同攝入的區(qū)域中得到的特征點分布最一致時的移動量估計為圖像間(圖像t - I和圖像t)的抖動量的方法。并且，通過進行這種特征點匹配，并以每個圖像單位持續(xù)估計在圖像間(幀間)產(chǎn)生的抖動量，由此能夠使用估計出的抖動量來校正影像(每個圖像)的抖動。另外，在特征點匹配中，作為通常的算法的特性具有如下特征，即由于利用特征點分布中的圖像間(巾貞間)的相似性，因而與利用處理圖像的局部區(qū)域信息的運動矢量的方法相比，計算成本降低。另外，在特征點匹配中，由于能夠進行使用圖像整體的特征點的匹配，因而能夠進行某種程度上的較大抖動量的估計。因此，通過應用特征點匹配，即使是在步行時拍攝的影像或以無取景器方式拍攝的影像所包含的較大的抖動，也能夠進行估計。即，在特征點匹配中，能夠校正利用運動矢量的方法所不能處理的大小的抖動。另外，例如在進行使用魚眼光學系統(tǒng)拍攝的影像的抖動的校正的情況下，根據(jù)在魚眼光學系統(tǒng)中采用的投影方式不同，來自外界的光向透鏡入射的路徑發(fā)生變化，因而需要進行與魚眼光學系統(tǒng)所采用的投影方式對應的坐標變換。這是因為在通過圖像處理來估計圖像間(幀間)的攝像機的抖動量的情況下，需要知道攝像機相對于外界是如何運動的。換言之，為了求出正確的攝像機的抖動量，需要知道各個像素是從外界的哪個位置得到的。因此，在利用運動矢量等來估計抖動量的情況下、和利用特征點匹配來估計抖動量的情況下，都需要在估計之前考慮坐標變換。例如，在專利文獻I中，關(guān)于用魚眼光學系統(tǒng)拍攝的影像的抖動量的估計方法，公開了利用圖像處理的運動矢量進行計算的方法。 現(xiàn)有技術(shù)文獻
專利文獻專利文獻I :日本特開2006 - 295626號公報發(fā)明概要發(fā)明要解決的問題
但是，不限于特征點匹配，在利用圖像處理來估計抖動量的情況下，有時也對諸如通過圖像處理無法估計出抖動量的圖像進行校正，存在影像質(zhì)量惡化的情況。下面，對是否能夠從圖像估計出抖動量與攝入圖像中的被攝體的內(nèi)容的依賴關(guān)系(依賴于被攝體的問題)進行說明。圖2A是表示圖像產(chǎn)生了模糊(blur)的示例的圖，圖2B是表示圖像沒有特征的示例的圖，圖2C是表不圖像具有周期性的圖案的不例的圖。例如，在如圖2A所示圖像中存在模糊的情況下，在特征點匹配或者運動矢量中直接使用的像素值的數(shù)值由于模糊而變遲鈍。因此，導致利用這些圖像處理估計的抖動量的估計精度下降。根據(jù)情況還會導致不能進行抖動量的估計。另外，在如圖2B所示圖像中存在沒有攝入特征性的被攝體的情況下，對于特征點匹配或者運動矢量所執(zhí)行的圖像處理成為線索的那種圖像的特征較少。因此，與圖2A相同地，利用這些圖像處理估計的抖動量的估計精度下降。并且，根據(jù)情況還會導致不能進行抖動量的估計。另外，如圖2C所示，例如在地面的地磚等在圖像中具有周期性圖案(紋理)的情況下，由于在其周邊具有相似特征的圖像，因而對于特征點匹配或者運動矢量所執(zhí)行的圖像處理成為線索的那種圖像的特征存在許多個，而所存在的許多個線索的內(nèi)容又相似。因此，很難確定出利用這些圖像處理而估計出的抖動量的唯一的值，不能估計出準確的抖動量。在上述圖2A 圖2C中說明的示例，只要是利用圖像信息進行處理即通過圖像處理來估計抖動量，就無法避免。另外，上述專利文獻I所記載的估計方法沒有考慮到諸如這種圖2A 圖2C所不的圖像的對應關(guān)系。另外，在針對包括圖2A 圖2C所不的圖像的場景應用運動矢量等方法的情況下，不僅精度下降，也存在諸如影像質(zhì)量比不進行校正時惡化的情況。

發(fā)明內(nèi)容
本發(fā)明正是鑒于上述情況而提出的，其目的在于，提供一種圖像處理裝置、圖像處理方法及程序，即使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量。用于解決問題的手段為了達到上述目的，本發(fā)明的圖像處理裝置的一個方式是一種圖像處理裝置，用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移，該圖像處理裝置具有移動量估計部，使用從第I圖像和在時間上在所述第I圖像之后拍攝的第2圖像分別抽取的特征點，估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量；判定部，根據(jù)所述特征點進行是否使用由所述移動量估計部估計出的所述移動量進行校正的判定；以及圖像校正部，在由所述判定部判定為使用所述移動量進行校正的情況下，使用所述移動量來校正所述第2圖像相對于所述第I圖像的位置偏移，由此校正所述多個圖像間的位置偏移。
根據(jù)這種結(jié)構(gòu)，能夠根據(jù)所述特征點，由基于特征點的匹配處理過程中能夠取得的圖像信息判定是否是不適合圖像處理的圖像。因此能夠?qū)崿F(xiàn)這樣的圖像處理裝置，即使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量。另外，本發(fā)明不僅能夠?qū)崿F(xiàn)為裝置，而且也能夠?qū)崿F(xiàn)為具有這種裝置具備的處理單元的集成電路，也能夠?qū)崿F(xiàn)為將構(gòu)成該裝置的處理單元作為步驟的方法，還能夠?qū)崿F(xiàn)為使計算機執(zhí)行這些步驟的程序，還能夠?qū)崿F(xiàn)為表示該程序的信息、數(shù)據(jù)或者信號。并且，這些程序、信息、數(shù)據(jù)以及信號可以通過CD — ROM (Compact 一 Disc 一 Read Only Memory)等記錄介質(zhì)或因特網(wǎng)等通信介質(zhì)進行發(fā)布。發(fā)明效果根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)這樣的圖像處理裝置、圖像處理方法、程序及攝影裝置，SP使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上 連續(xù)拍攝的多個圖像間的抖動量。


圖IA是用于說明基于特征點的匹配方法的圖。圖IB是用于說明基于特征點的匹配方法的圖。圖IC是用于說明基于特征點的匹配方法的圖。圖ID是用于說明基于特征點的匹配方法的圖。圖2A是表示圖像產(chǎn)生了模糊的示例的圖。圖2B是表示圖像沒有特征的示例的圖。圖2C是表不圖像具有周期性圖案的不例的圖。圖3是表示本發(fā)明的實施方式I的整體結(jié)構(gòu)的框圖。圖4是表示本發(fā)明的實施方式I的移動量估計部的結(jié)構(gòu)的框圖。圖5是表示本發(fā)明的實施方式I的判定部23的結(jié)構(gòu)的框圖。圖6是表示將用廣角光學系統(tǒng)拍攝的圖像從二維投影為三維的圖。圖7是表示被投影為三維的圖像t - I、圖像t的特征點的示例的圖。圖8是表示在沒有模糊的情況下使被投影為三維的圖像t 一 I、圖像t的特征點重合的圖。圖9是表示在有和沒有模糊的情況下被投影為三維的特征點的位置偏移的示例的圖。圖10是表示在有模糊的情況下使被投影為三維的圖像t 一 I、圖像t的特征點重合的示例的圖。圖11是表示紋理區(qū)域的特征點的圖。圖12是用于說明在紋理區(qū)域中很難在圖像t 一 I和圖t中選擇共同的特征點的圖。圖13是表示在具有紋理區(qū)域時特征點分布的一致度因每個特征點而不同的圖。圖14是表示紋理的搜索區(qū)域的圖。圖15是用于說明本發(fā)明的實施方式I的圖像處理裝置20的處理流程的流程圖。
圖16是用于說明本發(fā)明的實施方式I的圖像處理裝置20的處理流程的流程圖。圖17是表示本發(fā)明的實施方式2的整體結(jié)構(gòu)的框圖。圖18是用于說明本發(fā)明的實施方式2的圖像處理裝置30的處理流程的流程圖。
具體實施例方式下面，參照

本發(fā)明的實施方式。(實施方式I)圖3是表示本發(fā)明的實施方式I的整體結(jié)構(gòu)的框圖。攝像部10例如是數(shù)字照相機或數(shù)字攝像機等、具有CXD或CMOS傳感器等攝像元件的攝像機，用于拍攝影像并作為電信號輸出。
圖像處理裝置20是用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移的圖像處理裝置，具有圖像取得部21和圖像處理部20a。圖像取得部21取得處理對象的圖像數(shù)據(jù)。具體地講，圖像取得部21取得由攝像部10在時間上連續(xù)拍攝的多個圖像中的第I圖像(圖像t - I)、和在第I圖像(圖像t -I)的時間之后拍攝的第2圖像(圖像t)這兩張圖像數(shù)據(jù)。其中，圖像t 一 I是第I圖像的示例，圖像t是第2圖像的示例。并且，為了簡化說明，假設圖像t — I (第I圖像)是在時間序列中緊挨圖像t (第2圖像)前面拍攝的圖像，圖像t是在剛剛拍攝了圖像t- I之后拍攝的圖像。該圖像t-I和圖像t的圖像數(shù)據(jù)可以是以通常的JPEG形式進行壓縮編碼的圖像數(shù)據(jù)，也可以是以MPEG4等動態(tài)圖像形式記錄的圖像數(shù)據(jù)。圖像處理部20a具有移動量估計部22、判定部23、圖像校正部24，對由圖像取得部21取得的圖像數(shù)據(jù)進行處理。移動量估計部22如圖4所示具有特征點抽取部221、特征點坐標變換部222、特征點匹配部223、存儲器224，移動量估計部22使用從第I圖像和第2圖像分別抽取的特征點，估計表示在時間上在第I圖像之后拍攝的第2圖像相對于第I圖像的位置偏移量的移動量。另外，圖4是表示本發(fā)明的實施方式I的移動量估計部22的結(jié)構(gòu)的框圖。特征點抽取部221從第I圖像抽取第I特征點，從所述第2圖像抽取第2特征點。具體地講，特征點抽取部221被輸入由圖像取得部21取得的圖像t - I和圖像t，并進行所輸入的圖像t - I和圖像t的特征點的抽取，分別生成特征點數(shù)據(jù)t - I和特征點數(shù)據(jù)t。此處所說的特征點，如上所述，是指通過圖像處理能夠檢測到的圖像上的特征性的點，例如圖像中的縱向、橫向的邊緣均明顯突出的邊緣交叉的點、在局部(local)附近存在朝向兩個不同的方向的醒目邊緣的點等。優(yōu)選特征點是能夠從在時間序列中相連續(xù)的圖像t 一 I和圖像t這兩張圖像間共同攝入的點中穩(wěn)定檢測到的特征點(inlier)。但是，在特征點抽取部221抽取特征點時不知道圖像t - I和圖像t的準確的位置關(guān)系。因此，需要使用某種基準來抽取共同存在的特征點。下面，對為了抽取共同存在的特征點而采用的基準進行說明。例如，在抽取特征點時采用Harris的情況下，將圖像的邊緣作為基準來抽取諸如縱向、橫向的邊緣交叉的角落點。具體地講，特征點抽取部221按每個像素計算表示邊緣的交叉度的特征點分數(shù)(score),由此抽取上述的角落點。其中，從理論上講,存在由特征點抽取部221按每個像素計算的特征點分數(shù)。但是，當在嵌入系統(tǒng)等具有資源限制的環(huán)境下安裝圖像處理裝置20的情況下，存在在后級的特征點匹配部223的匹配處理中使用的特征點數(shù)量具有上限的情況。考慮到這種情況，從計算成本和運算精度的方面考慮，不期望特征點匹配部223使用由特征點抽取部221計算的全部特征點進行匹配處理。因此，優(yōu)選將按照特征點分數(shù)從高到低的順序達到規(guī)定數(shù)量的特征點用作特征點來進行匹配處理。在此，對優(yōu)選將按照特征點分數(shù)從高到低的順序達到規(guī)定數(shù)量的特征點用作特征點的原因進行說明。在Harris中使用的邊緣反映了圖像的對比度(亮度值)變化，因而在照明條件多少變化的情況下，圖像的對比度被保存，邊緣不消失。即，因為除了邊緣自身由于遮擋而被障礙物等遮住而消失的情況之外，邊緣在圖像間(圖像幀之間)消失的可能性比較小。因此，以邊緣信息為基礎的特征點分數(shù)較高的點作為特征點共同存在于圖像t 一 I和圖像t中的可能性比較大。
根據(jù)以上的說明，在使用特征點分數(shù)作為用于抽取共同存在的特征點的基準的情況下，特征點抽取部221抽取分數(shù)比某個特定的閾值高的特征點。在此，在使用特征點分數(shù)來抽取特征點的情況下，上述特定的閾值可以利用圖像內(nèi)的平均分數(shù)的值，也可以利用根據(jù)時間序列中的多個圖像的分數(shù)的平均值等確定的值。另外，關(guān)于上述特定的閾值，不一定是在圖像整體中使用一個閾值，也可以采用按照每個區(qū)域而生成的閾值。另外，這種按照每個區(qū)域而生成的閾值可以根據(jù)一個圖像來確定，也可以利用時間序列中的多個圖像來確定。另外，特征點分數(shù)也可以根據(jù)進行了某個對象的識別時的對象的分數(shù)來確定。另外，關(guān)于實現(xiàn)該特征點抽取部221的代表性方法，除此之外還有SIFT、SURF等方法。特征點坐標變換部222將由特征點抽取部221抽取的第I圖像的第I特征點和第2圖像的第2特征點的坐標變換為與魚眼光學系統(tǒng)的投影方式對應的坐標。具體地講，當在時間上連續(xù)拍攝的多個圖像是使用魚眼光學系統(tǒng)拍攝的情況下，特征點坐標變換部222進行將所拍攝的多個圖像的特征點的坐標變換為魚眼光學系統(tǒng)采用的投影方式對應的坐標。之所以進行這種坐標變換，是因為例如從輸入圖像得到的特征點坐標的位置和在外界的位置根據(jù)魚眼光學系統(tǒng)的超廣角光學系統(tǒng)采用的投影方式而不同，為了根據(jù)圖像估計正確的攝像機的抖動量，需要使從輸入圖像得到的特征點坐標的位置與在外界的位置一致。因此，特征點抽取部221對從輸入圖像得到的特征點的坐標進行投影變換的逆變換，并計算各個特征點在外界的位置。另外，這種坐標變換至少是對從特征點匹配部223得到的遠景特征點(inlier)的坐標進行的，但不限于僅針對遠景特征點(inlier)的坐標的坐標變換，也可以進行圖像整體的坐標變換。另外，當在時間上連續(xù)拍攝的多個圖像不是使用包括魚眼光學系統(tǒng)的廣角光學系統(tǒng)拍攝的情況下，特征點坐標變換部222不進行處理。在這種情況下，可以將由特征點抽取部221抽取的第I圖像的第I特征點和第2圖像的第2特征點直接輸入特征點匹配部223。特征點匹配部223利用由特征點坐標抽取部221抽取的第I圖像的第I特征點和第2圖像的第2特征點進行匹配，由此估計表示第2圖像相對于第I圖像的位置偏移量的移動量。另外，當在時間上連續(xù)拍攝的多個圖像是使用魚眼光學系統(tǒng)拍攝的情況下，特征點匹配部223利用由特征點坐標變換部222進行變換后的坐標的第I特征點和第2特征點進行匹配，由此估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量。具體地講，特征點匹配部223進行圖像t - I的特征點數(shù)據(jù)t 一 I與圖像t的特征點數(shù)據(jù)t之間的匹配即對應關(guān)系的估計。其中，假設特征點數(shù)據(jù)t- I采用在前一幀期間中特征點抽取部221從圖像t - I抽取并存儲在例如存儲器224中的特征點數(shù)據(jù)。并且，假設特征點數(shù)據(jù)t采用在當前幀期間中特征點抽取部221從圖像t抽取的特征點數(shù)據(jù)t。特征點匹配部223使用這些特征點數(shù)據(jù)t - I和特征點數(shù)據(jù)t，進行估計表示在圖像t 一 I和圖像t之間產(chǎn)生的攝像機的運動的旋轉(zhuǎn)矩陣。在此，旋轉(zhuǎn)矩陣的計算方法采用RANSAC (RANdom Sample Consensus :隨機采樣一致性)等方法。從該旋轉(zhuǎn)矩陣得到表示在中貞間即圖像間產(chǎn)生的攝像機的抖動量的roll (滾動)、pitch(俯仰)、yaw(偏轉(zhuǎn))的旋轉(zhuǎn)成分。另外，在對旋轉(zhuǎn)矩陣的估計失敗的情況下，對roll、pitch、yaw設定0,視為在圖像之間沒有旋轉(zhuǎn)。移動量估計部22是如上所述構(gòu)成的。 判定部23如圖5所示具有特征點判定部231、模糊判定部232、紋理判定部233，判定部23根據(jù)所抽取的特征點進行是否使用由移動量估計部22估計出的移動量進行校正的判定。在此，圖5是表示本發(fā)明的實施方式I的判定部23的結(jié)構(gòu)的框圖。判定部23在根據(jù)所抽取的特征點判定為由移動量估計部22估計出的移動量表示第2圖像相對于第I圖像的位置偏移量(抖動量)的情況下，判定為使用由移動量估計部22估計出的移動量進行校正。具體地講，判定部23根據(jù)從圖像得到的信息判定是不適合進行圖像處理的場景，即判定是包括在圖像處理中不能估計出攝像機的抖動量的圖像的場景。并且，判定部23在判定是包括在圖像處理中不能估計出攝像機的抖動量的圖像的場景的情況下，控制圖像校正部24使不進行圖像處理。作為包括在圖像處理中不能估計出攝像機的抖動量的圖像的場景的示例，有如圖2A所示圖像中存在模糊的情況、如圖2B所示圖像中沒有攝入特征性的被攝體的情況、如圖2C所示例如地面的地磚等具有周期性圖案(紋理)的情況等。下面，說明判定部23對這些情況的判定方法。首先，對圖2A所示的圖像中存在模糊的圖像的判定方法進行說明。圖6是表示將用廣角光學系統(tǒng)拍攝的圖像從二維投影為三維的圖。圖7是表示被投影為三維的圖像t-I、圖像t的特征點的示例的圖。圖8是表示在沒有模糊的情況下使被投影為三維的圖像t - I、圖像t的特征點重合的圖。圖9是表示在有和沒有模糊的情況下被投影為三維的特征點的位置偏移的示例的圖。圖10是表示在有模糊的情況下使被投影為三維的圖像t -I、圖像t的特征點重合的示例的圖。模糊判定部232根據(jù)特征點匹配的構(gòu)架來判定存在模糊的圖像。下面，對其方法進行說明。在從二維(x、y)圖像求出三維信息即旋轉(zhuǎn)運動(roll、pitch、yaw)時或者求出三維信息之后，將特征點投影到三維空間中，由此能夠從被投影到三維空間中的特征點確認特征點的分布的關(guān)系。具體地講，首先將如圖6所示抽取了特征點的二維的圖像投影到三維空間中。其中，圖6 (a)表示作為典型示例的使用魚眼光學系統(tǒng)拍攝的圖像、而且是抽取了特征點的圖像，圖6 (b)表示被投影為三維坐標的特征點的分布。之所以進行這種坐標變換，如上所述是為了求出在二維(X、y)的圖像平面上不能求出的三維信息即旋轉(zhuǎn)運動(!■oil、pitch、yaw)，另外在從輸入圖像得到的特征點坐標的位置和在外界的位置根據(jù)魚眼光學系統(tǒng)采用的投影方式而不同的情況下，進行考慮了投影方式的位置偏移的校正。即，這種坐標變換是為了從圖像估計出正確的攝像機的抖動量的旋轉(zhuǎn)運動而進行的。在此，為了使從輸入圖像得到的特征點坐標的位置與在外界的位置一致，還進行投影變換。并且，這種坐標變換不限于魚眼光學系統(tǒng)，對于光學系統(tǒng)(透鏡)的畸變(distortion)的校正也有用。另外，使用所求出的旋轉(zhuǎn)運動將特征點投影到三維空間中，由此根據(jù)被投影到三維空間中的特征點得知特征點的分布的關(guān)系。在使用這種方法將特征點投影為三維坐標后，模糊判定部232根據(jù)由移動量估計部22估計出的產(chǎn)生于圖像間(幀間)的攝像機的抖動量(移動量)，確認圖像間(幀間)的特征點的分布的關(guān)系。在此，在作為抖動校正處理的對象的圖像中不存在模糊的情況下，圖像間(幀間)的圖像的對比度被保存，因而如圖7所示在圖像t - I和圖像t中圖像間(巾貞間)的特征點的分布相似。因此，在由移動量估計部22估計出正確的抖動量(移動量)的情況下，圖8(a)所示的狀態(tài)變?yōu)閳D8(b)所示的狀態(tài)，圖像t 一 I和圖像t的特征點的分布大致一致。另一方面，在作為抖動校正處理的對象的圖像中存在模糊的情況下，不保存圖像間(幀間)的圖像的對比度。因此，在圖像t中圖像的對比度由于模糊的影響而降低，因而得到與沒有模糊時的特征點的分布不同的特征點的分布，具體地講是得到如圖9所示圖像間(幀間)的特征點的分布的相似度較低的分布。在使用這種相似度較低的特征點的分布來估計圖像間(幀間)的攝像機的抖動量(移動量)的情況下，圖10 (a)所示的狀態(tài)變?yōu)閳D10 (b)所示的狀態(tài)，不能估計出正確的抖動量。即，圖像t - I和圖像t的特征點的分布的一致度降低。利用這種特性，模糊判定部232能夠使用特征點的分布的一致度大致判定在圖像間(巾貞間)的圖像中是否產(chǎn)生了模糊。如上所述，模糊判定部232大致判定在圖像中是否產(chǎn)生了模糊。具體地講，也可以是，模糊判定部232例如計數(shù)處于各個特征點的一致度在一定以內(nèi)的距離處的特征點的個數(shù)，在該特征點的個數(shù)少于閾值時判定為存在模糊。并且，也可以是，模糊判定部232計測各個特征點的一致度，在其合計值多于閾值時判定為存在模糊。另外，還可以計測各個特征點的移動方向，利用該移動方向的分散性進行判定。如上所述，模糊判定部232將從第I圖像抽取的第I特征點和從第2圖像抽取的第2特征點的坐標投影為三維坐標，并判定投影得到的三維坐標上的第I特征點的特征點 分布與第2特征點的特征點分布的一致度是否高于規(guī)定的一致度，在判定為該一致度高于規(guī)定的一致度的情況下，判定為使用由移動量估計部22估計出的移動量進行校正。另外，在圖像處理裝置20能夠取得攝像機的快門速度的情況下，模糊判定部232也可以根據(jù)快門速度的快慢來判定有無模糊。下面，對如圖2B所示圖像中沒有攝入特征性的被攝體的圖像的判定方法進行說明。特征點判定部231判定在第I圖像或者第2圖像中抽取的特征點的數(shù)量是否多于規(guī)定的數(shù)量。特征點判定部231在判定為在第I圖像或者第2圖像中抽取的特征點的數(shù)量多于規(guī)定的數(shù)量的情況下，判定為使用由移動量估計部估計出的移動量進行校正。具體地講，特征點判定部231根據(jù)輸入圖像計算邊緣信息，在具有特定以上的邊緣強度的像素的數(shù)量小于閾值的情況下，判定為沒有攝入特征性的被攝體。另外，特征點判定部231也可以進行是否攝入了特定對象(object)的檢測，根據(jù)有無該特定對象來判定是否攝入了特征性的被攝體，特征點判定部231還可以將圖像分割為多個區(qū)域，按每個區(qū)域檢查亮度值的分散性，根據(jù)其分散值的大小來判定是否攝入了特征性的被攝體。下面，對如圖2C所示例如地面的地磚等具有周期性圖案(紋理)的圖像的判定方法進行說明。圖11是表示紋理區(qū)域的特征點的圖。圖12是用于說明在紋理區(qū)域中很難在圖像t 一 I和圖t中選擇共同的特征點的圖。圖13是表示在具有紋理區(qū) 域時特征點分布的一致度因每個特征點而不同的圖。圖14是表示紋理的搜索區(qū)域的圖。紋理判定部233如圖像中存在模糊時那樣根據(jù)特征點匹配的構(gòu)架進行判定。下面，對采用該方法的背景進行說明。如果無論圖像中是否具有周期性圖案(紋理)，特征點匹配部223都使用所抽取的全部特征點進行處理，則如上所述將導致計算成本極高。因此，實際上從這些抽取的特征點中縮小范圍(精簡)至幾個代表性的特征點進行處理。在這樣精簡后的特征點中存在如圖IC所示的用〇、A、X表示的特征點，用〇表示的圖像間(巾貞間)共同的特征點(inlier)越多,越能夠穩(wěn)定地估計圖像間(巾貞間)的攝像機的抖動量(移動量)。相反，用A和X表示的特征點越多,對攝像機的抖動量(移動量)的估計失敗的可能性越大。因此，為了穩(wěn)定地估計攝像機的抖動量(移動量)，在精簡特征點的個數(shù)的過程中保留較多的用〇表示的特征點(inlier)很重要。但是，在這樣精簡特征點的個數(shù)的過程中成為問題的是紋理區(qū)域的特性，即具有相似的高對比度的像素周期性地存在。例如，如圖11 (a)所示，例如在地面的地磚等的紋理區(qū)域中具有相似的高對比度的像素周期性地排列，因而利用了這種對比度信息的特征點如圖11 (b)所示是從紋理區(qū)域中抽取了許多?？墒?，如果圖像中不存在紋理區(qū)域，則具有高對比度的像素在圖像內(nèi)是有限的，因而即使精簡特征點的個數(shù)也容易保留共同存在于幀間的用〇表示的特征點(inlier)，所以特征點匹配部223能夠估計出在圖像間(幀間)產(chǎn)生的攝像機的抖動量(移動量)。另一方面，當圖像中存在紋理區(qū)域的情況下，由于在圖像內(nèi)存在許多具有高對比度的像素，因而如圖12所示能夠從紋理區(qū)域得到的特征點占主流，如圖13所示能夠選擇許多在圖像間(幀間)非共同的用A表示的特征點。這是由于下述情況而產(chǎn)生的，即攝像機的抖動量(移動量)或所攝入的被攝體的內(nèi)容不是已知的，而且用于識別被攝體的重大線索即特征點的對比度值在紋理內(nèi)是相似的，因而不存在用于精簡特征點的基準，不能判定可以精簡為哪個特征點。因此，當圖像中存在紋理區(qū)域的情況下，如果特征點匹配部223使用所抽取的特征點進行匹配，則存在錯誤估計圖像間(幀間)的攝像機的抖動量(移動量)的情況。這種錯誤估計也依賴于如何定義特征點的一致度，但通常例如在圖8 (b)中，將估計抖動量(移動量)后的圖像t- I的特征點與圖像t的特征點之間的距離為一定距離以下的點的個數(shù)設定為一致度。因此，在圖像t- I的特征點與圖像t的特征點之間的距離為一定距離以下的點的個數(shù)較多的情況下，紋理判定部233判定為匹配成功，即判定為使用由移動量估計部22估計出的移動量進行校正。另外，圖8表示當在圖像間(幀間)沒有產(chǎn)生模糊等誤差原因的情況下，實際上也多少存在某種程度的模糊或某種程度的誤差。因此，作為滿足圖像t 一 I的特征點與圖像t的特征點之間的距離的基準而設定最小距離，將滿足該設定的最小距離的特征點視為表示攝像機的抖動量(移動量)的特征點。但是，在如圖13 (a)所示存在許多個位置在圖像間變化的特征點A的情況下,實際上不表示攝像機的抖動量(移動量)的特征點如圖13 (b)所示，根據(jù)最小距離的設定，有時被視為表示攝像機的抖動量(移動量)的特征點。即，如前面說明的那樣，當圖像中存在紋理區(qū)域的情況下，將成為錯誤估計攝像機的抖動量(移動量)的原因。基于這種背景，紋理判定部233判定有無成為這種錯誤判定的原因的紋理，由此判定由移動量估計部22估計出的移動量是否表示第2圖像相對于第I圖像的位置偏移量(抖動量)。具體地講，紋理判定部233利用在使用魚眼光學系統(tǒng)等廣角光學系統(tǒng)拍攝的影像 (圖像)中紋理偏向存在于特定區(qū)域的趨勢(圖2C所示的地磚的部分)。更具體地講，紋理判定部233能夠在由特征點匹配部223進行匹配后取得攝像機的抖動量(移動量)，因而能夠取得圖像間(幀間)的特征點的分布的一致度。在所取得的特征點分布的一致度較高時，認為是能夠估計出正確的抖動量的情況(圖IC中包含許多〇的情況)、和基于紋理的錯誤估計的情況(圖IC中包含許多A的情況)。因此，在所取得的特征點的分布的一致度較高的情況下，將該一致度較高的特征點的分布(inlier的分布)分割為如圖14所示的每個區(qū)域，確認每個區(qū)域的偏向情況。在計算該每個區(qū)域的一致度時，在只有一部分區(qū)域的一致度較高的特征點的分布(inlier的分布)明顯較高(即不均)的情況下，能夠判定為有可能受到了紋理的影響。并且，在這樣判定為有可能受到了紋理的影響的情況下，求出周邊區(qū)域的對比度值，并計測周邊區(qū)域的對比度相似度。在計測的相似度較高的情況下，可知在相應的區(qū)域(不均的區(qū)域)中具有紋理。如上所述，紋理判定部233將從第I圖像抽取的第I特征點和從第2圖像抽取的第2特征點的坐標投影為三維坐標，在投影得到的三維坐標上的第I特征點的特征點分布與第2特征點的特征點分布的一致度高于規(guī)定的一致度的情況下，再對第I圖像和第2圖像進行區(qū)域分割，按照分割出的每個區(qū)域確認高于所述規(guī)定的一致度的第I特征點和第2特征點的特征點分布(inlier的分布),在該特征點分布(inlier的分布)偏向于分割出的區(qū)域中的一部分區(qū)域的情況下，判定為不使用由移動量估計部22估計出的所述移動量進行校正。另外，通過該判定，在判定為有可能存在紋理的情況下，也可以另外使用傳感器來估計抖動量(移動量)，并進行控制使進行該抖動量(移動量)的校正，還可以對紋理所在的區(qū)域施加遮蔽(mask)，將紋理區(qū)域去除，然后再次由特征點匹配部223進行匹配并估計攝像機的抖動量(移動量)。另外，也可以采用諸如按照時間序列來利用該結(jié)果，持續(xù)對紋理區(qū)域施加遮蔽，并去除紋理的影響的控制方法。如上所述構(gòu)成的判定部23根據(jù)所抽取的特征點，進行是否使用由移動量估計部22估計出的移動量進行校正的判定。
另外，模糊判定部232和紋理判定部233進行坐標變換，即將從第I圖像抽取的第I特征點和從第2圖像抽取的第2特征點的坐標投影為三維坐標，然后確認第I特征點的特征點分布與第2特征點的特征點分布的一致度，但不限于此。也可以是，在不是使用魚眼光學系統(tǒng)拍攝的圖像、而且不進行光學系統(tǒng)(透鏡)的畸變的校正的情況下，不進行該坐標變換，而是進行后面的處理。在由判定部23判定為使用移動量進行校正的情況下，圖像校正部24使用移動量來校正第2圖像相對于第I圖像的位置偏移，由此校正多個圖像間的位置偏移。具體地講，圖像校正部24使用由特征點匹配部223計算出的校正值(移動量)來校正在圖像t 一 I、圖像t的幀間(圖像間)產(chǎn)生的攝像機的抖動。圖像校正部24使用表示校正量即移動量的參數(shù)roll、pitch和yaw進行例如仿射變換等，由此進行圖像t相對于圖像t 一 I的抖動的校正。下面，對如上所述構(gòu)成的圖像處理裝置20的處理流程進行說明。
圖15和圖16是用于說明本發(fā)明的實施方式I的圖像處理裝置20的處理流程的流程圖。圖16是將圖15所示的處理具體化的圖。首先，圖像處理裝置20由圖像取得部21取得處理對象的圖像數(shù)據(jù)。具體地講，圖像取得部21分別讀入從攝像部10得到的圖像t和圖像t 一 I的圖像數(shù)據(jù)。然后，移動量估計部22使用從第I圖像和第2圖像分別抽取的特征點，估計表示在時間上在所述第I圖像之后拍攝的所述第2圖像相對于所述第I圖像的位置偏移量的移動量(S10)。具體地講，特征點抽取部221從第I圖像抽取第I特征點，從第2圖像抽取第2特征點(S101)。然后，特征點坐標變換部222將由特征點抽取部221抽取的第I圖像的第I特征點和第2圖像的第2特征點的坐標變換為與魚眼光學系統(tǒng)的投影方式對應的坐標(S102)。其結(jié)果是，計算出各個特征點在外界的位置。然后，特征點匹配部223利用由特征點抽取部221抽取的第I圖像的第I特征點和第2圖像的第2特征點進行匹配，由此估計表不第2圖像相對于第I圖像的位置偏移量的移動量(S103)。然后，判定部23根據(jù)所抽取的特征點判定是否使用由移動量估計部22估計出的移動量進行校正(S20)。具體地講，首先執(zhí)行特征點判定。即，特征點判定部231判定在第I圖像或者第2圖像中抽取的特征點的數(shù)量是否多于規(guī)定的數(shù)量(S201)。特征點判定部231在判定為在第I圖像或者第2圖像中抽取的特征點的數(shù)量多于規(guī)定的數(shù)量的情況下(S201 通過)，進入S202。另外，特征點判定部231在判定為在第I圖像或者第2圖像中抽取的特征點的數(shù)量不多于(即少于)規(guī)定的數(shù)量的情況下(S201 :失敗)，判定為不使用由移動量估計部22估計出的移動量進行校正，使圖像處理裝置20的處理結(jié)束。然后，進行模糊判定。即，模糊判定部232將從第I圖像抽取的第I特征點和從第2圖像抽取的第2特征點的坐標投影為三維坐標，并判定在三維坐標上的第I特征點的特征點分布與第2特征點的特征點分布的一致度是否高于規(guī)定的一致度(S202)。模糊判定部232在判定為該一致度高于規(guī)定的一致度的情況下，判定為使用由移動量估計部22估計出的移動量進行校(S202 :通過)，進入S203。另外，模糊判定部232在判定為該一致度不高于(即低于)規(guī)定的一致度的情況下(S202 :失敗)，判定為不使用由移動量估計部22估計出的移動量進行校正，使圖像處理裝置20的處理結(jié)束。然后，進行紋理判定。即，紋理判定部233將從第I圖像抽取的第I特征點和從第2圖像抽取的第2特征點的坐標投影為三維坐標，當在三維坐標上的第I特征點的特征點分布與第2特征點的特征點分布的一致度高于規(guī)定的一致度的情況下，再對第I圖像和第2圖像進行區(qū)域分割，按照分割出的每個區(qū)域確認高于所述規(guī)定的一致度的第I特征點和第2特征點的特征點分布(inlier的分布)(S203)。紋理判定部233在該特征點分布(inlier的分布)不偏向于分割出的區(qū)域中的一部分區(qū)域的情況下(S203 :通過),判定為使用由移動量估計部22估計出的所述移動量進行校正，進入S30。另外，紋理判定部233在該特征點分布(inlier的分布)偏向于分割出的區(qū)域中的一部分區(qū)域的情況下(S203 失敗)，判定為不使用由移動量估計部22估計出的移動量進行校正，使圖像處理裝置20的處理結(jié)束。然后，在由判定部23判定為使用移動量進行校正的情況下，圖像校正部24使用移動量來校正第2圖像相對于第I圖像的位置偏移，由此校正多個圖像間的位置偏移(S30)。即，在判定部23完成全部判定的情況下，圖像校正部24使用由移動量估計部22估計出的移動量(抖動量)來校正影像的抖動。 圖像處理裝置20按照以上所述進行處理。這樣，圖像處理裝置20在通過圖像處理來估計利用例如魚眼光學系統(tǒng)拍攝的影像的抖動量時，能夠防止由于使用錯誤地估計出的抖動量對諸如在圖像處理中不能進行抖動量的估計的圖像進行校正從而使得影像質(zhì)量惡化的情形。即，即使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，圖像處理裝置20也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量，或者避免利用錯誤的值進行校正，由此提高最終的影像質(zhì)量。根據(jù)以上所述的本實施方式，能夠?qū)崿F(xiàn)這樣的圖像處理裝置及圖像處理方法，SP使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量。另外，本實施方式的圖像處理裝置對魚眼影像等的超廣角影像發(fā)揮顯著效果，因而是優(yōu)選的應用示例，但不限于此。也能夠應用于視場角約為70度以下的通常視場角影像。另外，在上述的說明中，圖像處理裝置20具有圖像取得部21和圖像處理部20a，但不限于此。作為圖像處理裝置20的最小結(jié)構(gòu)，只要具有圖像處理部20a即可。圖像處理裝置20通過至少具備該圖像處理部20a，即使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量。(實施方式2)在實施方式I中，通過由移動量估計部22進行圖像處理來計算抖動量(移動量)，但不限于此。也可以是，同時利用傳感器估計抖動量(移動量)。下面，對于本發(fā)明的實施方式2的圖像處理裝置及圖像處理方法，參照附圖進行說明。圖17是表示本發(fā)明的實施方式2的整體結(jié)構(gòu)的框圖。對與圖3和圖4相同的要素使用相同的標號，并省略說明，僅對不同的構(gòu)成要素進行說明。圖17所示的本實施方式的整體結(jié)構(gòu)相對于圖3所示的實施方式I的整體結(jié)構(gòu)，不同之處在于，還具有傳感器估計部31和校正方式確定部32。傳感器估計部31計測圍繞在攝影中使用的光學系統(tǒng)的光軸的旋轉(zhuǎn)角度、或者圍繞相對于所述光學系統(tǒng)的光軸而相互垂直的兩個軸中至少一個軸的旋轉(zhuǎn)角度，將計測出的旋轉(zhuǎn)角度估計為第2圖像相對于第I圖像的位置偏移量。具體地講，傳感器估計部31使用傳感器來估計圖像間(幀間)的攝像機的抖動量(移動量)。在此，傳感器估計部31由角加速度傳感器、角速度傳感器、加速度傳感器、陀螺儀傳感器以及方位傳感器中的至少一種傳感器構(gòu)成。另外，關(guān)于傳感器，也可以使用上述類型中的任意一種傳感器或者幾種傳感器，計測產(chǎn)生于圖像間(幀間)的攝像機的抖動量(移動量)。并且，也可以是，傳感器估計部31按照時間順序?qū)τ蓚鞲衅饔嫓y到的抖動量(移動量)進行處理，由此估計該圖像(幀)的抖動量(移動量)。在判定部23判定為不使用由移動量估計部22估計出的移動量進行校正的情況下，校正方式確定部32確定是否使用由傳感器估計部31估計出的移動量進行校正。具體地講，在判定部23判定為圖像處理的結(jié)果不能適用的情況下，校正方式確定部32確定是否能夠適用由傳感器估計部31估計出的抖動量(移動量)。具體地講，校正方式確定部32使用加速度傳感器或陀螺儀傳感器等傳感器觀測圖像間(幀間)或者多個圖像(多個幀)的狀況，由此確定是否使用由傳感器估計部31估計出的抖動量(移動量)。另外，關(guān)于對圖像間(幀間)或者多個圖像(多個幀)的狀況的觀測，例如在傳感器 的值在多個圖像間(幀間)劇烈變動的情況下，能夠判定為攝像機的抖動量(移動量)比較大。因此，也可以是，在傳感器的值劇烈變動的情況下，校正方式確定部32視為傳感器的估計精度下降，并確定不使用由傳感器估計部31估計出的抖動量(移動量)進行校正。相反，在傳感器的狀況比較穩(wěn)定的情況下，校正方式確定部32視為攝像機處于靜止狀態(tài)，并確定使用由傳感器估計部31估計出的抖動量(移動量)進行校正。下面，對如上所述構(gòu)成的圖像處理裝置30的處理流程進行說明。圖18是用于說明本發(fā)明的實施方式2的圖像處理裝置30的處理流程的流程圖。另外，對與圖16相同的要素標注相同的標號，并省略詳細說明。S卩，在S10，移動量估計部22使用從第I圖像和第2圖像分別抽取的特征點，估計表示在時間上在所述第I圖像之后拍攝的所述第2圖像相對于所述第I圖像的位置偏移量的移動量。然后，傳感器估計部31計測圍繞在攝影中使用的光學系統(tǒng)的光軸的旋轉(zhuǎn)角度、或者圍繞相對于所述光學系統(tǒng)的光軸而相互垂直的兩個軸中至少一個軸的旋轉(zhuǎn)角度，將計測出的旋轉(zhuǎn)角度估計為第2圖像相對于第I圖像的位置偏移量(S15)。然后，判定部23根據(jù)所抽取的特征點進行是否使用由移動量估計部22估計出的移動量進行校正的判定(S20)。在S20，在由判定部23判定為不使用由移動量估計部22估計出的移動量進行校正的情況下(S20:失敗)，不結(jié)束圖像處理裝置30的處理，而是進入S25的傳感器可靠性判定的處理。在S25，在由判定部23判定為不使用由移動量估計部22估計出的移動量進行校正的情況下，校正方式確定部32確定是否使用由傳感器估計部31估計出的移動量進行校正。在校正方式確定部32確定為使用由傳感器估計部31估計出的抖動量(移動量)進行校正的情況下(S25 :通過)，進入S30。另一方面，在校正方式確定部32確定為不使用由傳感器估計部31估計出的抖動量(移動量)進行校正的情況下(S25 :失敗)，使圖像處理裝置20的處理結(jié)束。然后，在由判定部23判定為使用由移動量估計部22估計出的移動量進行校正的情況下(S20 :通過)，圖像校正部24使用由移動量估計部22估計出的移動量來校正第2圖像相對于第I圖像的位置偏移，由此校正多個圖像間的位置偏移(S30)。另一方面，在由校正方式確定部32判定為使用由傳感器估計部31估計出的移動量進行校正的情況下(S25 通過)，圖像校正部24使用由傳感器估計部31估計出的移動量來校正第2圖像相對于第I圖像的位置偏移，由此校正多個圖像間的位置偏移(S30)。圖像處理裝置30按照以上所述進行處理。根據(jù)以上所述的本實施方式，能夠?qū)崿F(xiàn)這樣的圖像處理裝置及圖像處理方法，SP使是包括諸如在圖像處理中不能進行抖動量的估計的圖像，也能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量。具體地講，根據(jù)本實施方式的圖像處理裝置及圖像處理 方法，能夠根據(jù)在基于特征點的匹配處理過程中能取得的圖像信息進行包括不適合圖像處理的圖像的場景的判定，根據(jù)所判定的場景來切換是否采用通過傳感器或者圖像處理而估計出的抖動量，由此能夠高精度地校正所拍攝的影像的抖動。根據(jù)以上所述的本發(fā)明，能夠?qū)崿F(xiàn)能夠高精度地校正在時間上連續(xù)拍攝的多個圖像間的抖動量的圖像處理裝置及圖像處理方法。另外，本發(fā)明的圖像處理裝置與進行校正的圖像是何時拍攝的圖像無關(guān)。并且，上述的圖像處理裝置采用了內(nèi)置于數(shù)字照相機或數(shù)字視頻攝像機中，隨時對攝影圖像進行校正的結(jié)構(gòu)，但不限于此。例如，也可以構(gòu)成為，作為應用而安裝于個人電腦中等的在攝像裝置之外另外準備圖像處理裝置，并通過線纜等直接與攝像機等記錄裝置連接來輸入攝影圖像，還可以構(gòu)成為通過SD存儲卡等記錄介質(zhì)或網(wǎng)絡來讀入圖像數(shù)據(jù)。以上關(guān)于本發(fā)明的圖像處理裝置、圖像處理方法、圖像處理程序，根據(jù)實施方式進行了說明，但本發(fā)明當然不限于這些實施方式。諸如下面所述的情況也包含于本發(fā)明中。(I)上述的各個裝置具體地講是由微處理器、ROM、RAM、硬盤單元、顯示器單元、鍵盤、鼠標等構(gòu)成的計算機系統(tǒng)。在所述RAM或者硬盤單元中存儲有計算機程序。所述微處理器按照所述計算機程序而工作，由此各個裝置實現(xiàn)其功能。其中，計算機程序是組合了向計算機指示命令的多個命令代碼而構(gòu)成的，以便實現(xiàn)規(guī)定的功能。(2)也可以是，構(gòu)成上述的各個裝置的構(gòu)成要素的一部分或全部由一個系統(tǒng)LSI(Large Scale Integration :大規(guī)模集成電路)構(gòu)成。系統(tǒng)LSI是在一個芯片上集成多個構(gòu)成部分制得的超多功能LSI，具體地講，可以是包括微處理器、ROM、RAM等在內(nèi)構(gòu)成的計算機系統(tǒng)。在所述RAM中存儲有計算機程序。所述微處理器按照所述計算機程序而工作，由此系統(tǒng)LSI實現(xiàn)其功能。(3)也可以是，構(gòu)成上述的各個裝置的構(gòu)成要素的一部分或全部由能夠在各個裝置上插拔的IC卡或者單體模塊構(gòu)成。所述IC卡或者所述模塊是由微處理器、ROM、RAM等構(gòu)成的計算機系統(tǒng)。也可以是，所述IC卡或者所述模塊包括上述的超多功能LSI。微處理器按照計算機程序而工作，由此所述IC卡或者所述模塊實現(xiàn)其功能。也可以是，該IC卡或者該模塊具有耐篡改性。(4)本發(fā)明也可以是以上示出的方法。并且，本發(fā)明也可以是由計算機來實現(xiàn)這些方法的計算機程序，還可以是由所述計算機程序構(gòu)成的數(shù)字信號。并且，本發(fā)明也可以將所述計算機程序或所述數(shù)字信號記錄在計算機可以讀取的記錄介質(zhì)中，所述記錄介質(zhì)例如是軟盤、硬盤、⑶一 R0M、M0、DVD、DVD — ROM,DVD 一 RAM,BD(Blu-ray Disc :藍光盤)、半導體存儲器等。并且,本發(fā)明還可以是記錄在這些記錄介質(zhì)中的所述數(shù)字信號。并且，本發(fā)明也可以構(gòu)成為經(jīng)由電通信線路、無線或有線通信線路、以因特網(wǎng)為代表的網(wǎng)絡、數(shù)據(jù)廣播等，傳輸所述計算機程序或所述數(shù)字信號。并且，本發(fā)明也可以構(gòu)成為具有微處理器和存儲器的計算機系統(tǒng)，所述存儲器存儲所述計算機程序，所述微處理器按照所述計算機程序而工作。并且，本發(fā)明也可以構(gòu)成為將所述程序或所述數(shù)字信號記錄在所述記錄介質(zhì)中并傳輸，或者經(jīng)由所述網(wǎng)絡等傳輸所述程序或所述數(shù)字信號，從而能夠利用獨立的其他計算機系統(tǒng)來實施。(5)本發(fā)明也可以分別組合上述實施方式和上述變形例來實施。產(chǎn)業(yè)上的可利用性
本發(fā)明的圖像處理裝置根據(jù)圖像信息進行不適合圖像處理的場景的判定，根據(jù)場景來切換傳感器、圖像的處理，由此能夠用作高精度地校正利用魚眼光學系統(tǒng)等廣角光學系統(tǒng)拍攝的影像的抖動的裝置等。并且，本發(fā)明的圖像處理裝置能夠用作例如數(shù)字照相機、視頻攝像機、可佩戴式攝像機或個人電腦的軟件等影像校正處理裝置。標號說明10攝像部；20、30圖像處理裝置；20a圖像處理部；21圖像取得部；22移動量估計部；23判定部；24圖像校正部；31傳感器估計部；32校正方式確定部；221特征點抽取部；222特征點坐標變換部；223特征點匹配部；224存儲器；231特征點判定部；232模糊判定部；233紋理判定部。
權(quán)利要求
1.一種圖像處理裝置，用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移，該圖像處理裝置具有 移動量估計部，使用從第I圖像和在時間上在所述第I圖像之后拍攝的第2圖像分別抽取的特征點，估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量； 判定部，根據(jù)所述特征點進行是否使用由所述移動量估計部估計出的所述移動量進行校正的判定；以及 圖像校正部，在由所述判定部判定為使用所述移動量進行校正的情況下，使用所述移動量來校正所述第2圖像相對于所述第I圖像的位置偏移，由此校正所述多個圖像間的位置偏移。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置， 所述移動量估計部具有 特征點抽取部，從所述第I圖像抽取第I特征點，從所述第2圖像抽取第2特征點；以及 特征點匹配部，利用由所述特征點抽取部抽取的所述第I特征點和所述第2特征點進行匹配，由此估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置， 所述多個圖像是使用魚眼光學系統(tǒng)拍攝的， 所述移動量估計部還具有特征點坐標變換部，該特征點坐標變換部將由所述特征點抽取部抽取的所述第I特征點和所述第2特征點的坐標變換為與魚眼光學系統(tǒng)的投影方式對應的坐標， 所述特征點匹配部利用由所述特征點坐標變換部進行變換后的所述第I特征點的坐標和所述第2特征點的坐標進行匹配，由此估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量。
4.根據(jù)權(quán)利要求I 3中任意一項所述的圖像處理裝置， 所述判定部在根據(jù)所述特征點判定為由所述移動量估計部估計出的所述移動量表示所述第2圖像相對于所述第I圖像的位置偏移量的情況下，判定為使用由所述移動量估計部估計出的所述移動量進行校正。
5.根據(jù)權(quán)利要求I 4中任意一項所述的圖像處理裝置， 所述判定部在判定為在所述第I圖像或者所述第2圖像中抽取的特征點的數(shù)量多于規(guī)定的數(shù)量的情況下，判定為使用由所述移動量估計部估計出的所述移動量進行校正。
6.根據(jù)權(quán)利要求I 5中任意一項所述的圖像處理裝置， 所述判定部判定從所述第I圖像抽取的第I特征點和從所述第2圖像抽取第2特征點的坐標被三維投影得到的三維坐標上的所述第I特征點的特征點分布與所述第2特征點的特征點分布之間的一致度是否高于規(guī)定的一致度，在判定為該一致度高于規(guī)定的一致度的情況下，判定為使用由所述移動量估計部估計出的所述移動量進行校正。
7.根據(jù)權(quán)利要求I 6中任意一項所述的圖像處理裝置， 在從所述第I圖像抽取的第I特征點和從所述第2圖像抽取的第2特征點的坐標被投影而得到的三維坐標上的所述第I特征點的特征點分布與所述第2特征點的特征點分布的一致度高于規(guī)定的一致度的情況下，所述判定部還對所述第I圖像和所述第2圖像進行區(qū)域分割，按照分割出的每個區(qū)域確認高于所述規(guī)定的一致度的所述第I特征點和所述第2特征點的特征點分布，在該特征點分布偏向于所述分割出的區(qū)域中的一部分區(qū)域的情況下，判定為不使用由所述移動量估計部估計出的所述移動量進行校正。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置， 所述圖像處理裝置還具有傳感器估計部，該傳感器估計部計測圍繞在攝影中使用的光學系統(tǒng)的光軸的旋轉(zhuǎn)角度、或者圍繞相對于所述光學系統(tǒng)的光軸而相互垂直的兩個軸中至少一個軸的旋轉(zhuǎn)角度，將計測出的所述旋轉(zhuǎn)角度估計為所述第2圖像相對于所述第I圖像的移動量。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置， 所述傳感器估計部由角加速度傳感器、角速度傳感器、加速度傳感器、以及方位傳感器中的至少一種傳感器構(gòu)成。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置， 所述圖像處理裝置還具有校正方式確定部，在所述判定部判定為不使用由所述移動量估計部估計出的所述移動量進行校正的情況下，該校正方式確定部確定是否使用由所述傳感器估計部估計出的移動量進行校正。
11.一種圖像處理方法，用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移，該圖像處理方法包括如下步驟 移動量估計步驟，使用從第I圖像和在時間上在所述第I圖像之后拍攝的第2圖像分別抽取的特征點，估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量； 判定步驟，根據(jù)所述特征點進行是否使用由所述移動量估計步驟估計出的所述移動量進行校正的判定；以及 圖像校正步驟，在由所述判定步驟判定為使用所述移動量進行校正的情況下，使用所述移動量來校正所述第2圖像相對于所述第I圖像的位置偏移，由此校正所述多個圖像間的位置偏移。
12.—種程序，用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移，該程序使計算機執(zhí)行如下步驟 移動量估計步驟，使用從第I圖像和在時間上在所述第I圖像之后拍攝的第2圖像分別抽取的特征點，估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量； 判定步驟，根據(jù)所述特征點進行是否使用由所述移動量估計步驟估計出的所述移動量進行校正的判定；以及 圖像校正步驟，在由所述判定步驟判定為使用所述移動量進行校正的情況下，使用所述移動量來校正所述第2圖像相對于所述第I圖像的位置偏移，由此校正所述多個圖像間的位置偏移。
13.一種集成電路，用于校正在時間上連續(xù)拍攝的多個圖像間的位置偏移，該集成電路具有 移動量估計部，使用從第I圖像和在時間上在所述第I圖像之后拍攝的第2圖像分別抽取的特征點，估計表示所述第2圖像相對于所述第I圖像的位置偏移量的移動量； 判定部，根據(jù)所述特征點進行是否使用由所述移動量估計部估計出的所述移動量進行校正的判定；以及 圖像校正部，在由所述判定部判定為使用所述移動量進行校正的情況下，使用所述移動量來校正所述第2圖像相對于所述第I圖像的位置偏移，由此校正所述多個圖像間的位置偏移。
全文摘要
本發(fā)明的圖像處理裝置具有移動量估計部(22)，使用從第1圖像和在時間上在第1圖像之后拍攝的第2圖像分別抽取的特征點，估計表示第2圖像相對于第1圖像的位置偏移的移動量；判定部(23)，根據(jù)所抽取的特征點進行是否使用由移動量估計部(22)估計出的所述移動量進行校正的判定；以及圖像校正部(24)，在由判定部(23)判定為使用移動量進行校正的情況下，使用所述移動量來校正第2圖像相對于第1圖像的位置偏移，由此校正在時間上連續(xù)拍攝的多個圖像間的位置偏移。
文檔編號G06T7/20GK102714697SQ201180005738
公開日2012年10月3日 申請日期2011年11月8日 優(yōu)先權(quán)日2010年11月11日
發(fā)明者大宮淳, 山田整 申請人:松下電器產(chǎn)業(yè)株式會社