專利名稱：運動向量生成裝置以及運動向量生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在時間序列圖像之間通過搜索對應(yīng)點來生成運動向量(motion vector)的運動向量生成裝置以及運動向量生成方法。
背景技術(shù)：
近年來，在汽車工業(yè)領(lǐng)域中，以提高安全性為目的的各種系統(tǒng)的研究正在進行，特別是使用了照相機的圖像傳感器已經(jīng)被加以利用。圖像傳感器通過對取入的圖像進行圖像處理，來進行障礙物的確定、該障礙物的運動的分析等。分析運動的方法例如有相關(guān)法。相關(guān)法是指求出2個相互對應(yīng)的圖像中的與一個圖像上的關(guān)注點相對應(yīng)的另一個圖像上的點(對應(yīng)點)的方法。更具體而言，在該相關(guān)法中，例如在2個時間序列圖像中，針對作為在前圖像的基準圖像上的關(guān)注點設(shè)定如包含該關(guān)注點那樣的模板，并且在作為在后圖像的參照圖像上也設(shè)定多個與基準圖像大小相同的窗口。然后，在基準圖像上的模板和參照圖像上的各窗口之間計算出相關(guān)值(相似度)，搜索相關(guān)值最高的參照圖像上的窗口，并求出該窗口的重心位置作為對應(yīng)點。在多個時間序列圖像中，進而在求出了對應(yīng)點之后，將該對應(yīng)點作為新的關(guān)注點，然后求出被攝像的圖像上的對應(yīng)點，通過依次反復進行上述動作，能夠按每一幀追蹤對應(yīng)點將要進行怎樣的運動， 從而能夠連續(xù)地求出運動向量。其中，運動向量是連結(jié)各幀的相互對應(yīng)的點之間的向量。作為相關(guān)法，例如已知有被稱為SAD(Sum of Absolute Difference)法的方法。已經(jīng)提出有多種求出該運動向量的方法，例如在專利文獻1中記載有一種通過塊匹配來求出對應(yīng)點，并求出運動向量的方法。其中，在該方法中，以像素級(Pixel level 像素單位)來選擇關(guān)注點，對應(yīng)點也以像素級被搜索，但在塊匹配的相似度較低的情況下， 例如以1/2像素或者1/4像素等小于1像素的單位的亞像素級來進行搜索，并求出運動向量。由此，由于進行亞像素級的精確的對應(yīng)點搜索，并且以此為基礎(chǔ)求出運動向量，所以能夠進行精確的運動分析。另外，例如在專利文獻2中記載有一種如下所述的方法在進行用于搜索對應(yīng)點的模板匹配時，將關(guān)注點側(cè)的圖像的一部分亞像素化，將對應(yīng)點側(cè)的圖像的整體亞像素化， 來搜索對應(yīng)點并求出運動向量。由此，由于進行亞像素級的搜索，所以能夠進行精確的運動向量的計算。另外，例如在專利文獻3中記載有對應(yīng)點的搜索方法。記載了一種進行如下所述的方法以在不同的時間點取得的立體圖像為基礎(chǔ)來搜索對應(yīng)點，由此生成每個時間點的距離信息和2維運動向量，進而以此為基礎(chǔ)來生成3維運動向量。在該方法中，以像素級來提供關(guān)注點和對應(yīng)點。另外，例如在非專利文獻1中，公開了一種利用相位限定相關(guān)法(P0C法)的精確的對應(yīng)點搜索方法。在該方法中，計算出與基準圖像上的像素級的關(guān)注點相對應(yīng)的參照圖像上的像素級的對應(yīng)點。然后，求出相對于對應(yīng)點的亞像素級的偏移量，并對上述計算出的對應(yīng)點考慮該偏移量來計算出亞像素級的對應(yīng)點。
但是，專利文獻1所公開的方法雖然以亞像素級計算出對應(yīng)點，但在將該對應(yīng)點作為關(guān)注點來從下一個時間序列圖像中搜索對應(yīng)點時，關(guān)注點并不是亞像素級，而被重新設(shè)定成像素級。即，專利文獻1所公開的方法將以亞像素級求出的對應(yīng)點變換成像素級，然后求出與下一個圖像的對應(yīng)點。因此，該專利文獻1所公開的方法在多個時間序列圖像中并不能連續(xù)求出運動向量。另外，由于專利文獻2所公開的方法在圖像的亞像素化中受限于規(guī)定的分辨率， 所以在該專利文獻2所公開的方法中，存在著推算精度會產(chǎn)生誤差的問題。而且，也會產(chǎn)生為了將圖像亞像素化而導致運算時間增大的問題。另外，專利文獻3所公開的方法沒有考慮對應(yīng)點的位置是亞像素級的情況。因此， 該專利文獻3所公開的方法即使在成為亞像素級的位置的情況下，也針對相對該亞像素級的位置位于附近的像素級的位置進行對應(yīng)點搜索。因此，導致和正確的對應(yīng)點的位置產(chǎn)生偏移。因此，即使根據(jù)如此求出的對應(yīng)點求取距離信息、2維運動向量和3維運動向量，也無法得到正確的值。假定即使對得到的對應(yīng)點的信息進行插值等而使其接近更正確的值，但始終是通過插值而得到的值，并不能稱為精確。另外，對于非專利文獻1所公開的方法，雖然在運算的中間階段，當求取對應(yīng)點相對于關(guān)注點的亞像素級的偏移量時，將基準圖像上的關(guān)注點變換成亞像素級來進行運算， 但并不是對以亞像素級設(shè)定的關(guān)注點進行搜索。因此，與專利文獻1所公開的方法同樣，并不是求出正確的對應(yīng)點的位置的情況，沒有建立精確的對應(yīng)。專利文獻1 日本特開平5-236452號公報專利文獻2 日本特開2007-257026號公報專利文獻3 日本特開2001-84383號公報非專利文獻1 :Kenji TAKITA, Mohammad Abdul MUQUIT, Takafumi AOKI， Tatsuo HIGUCHI,"A Sub-Pixel Correspondence Search Technique for Computer Vision Applications，，，IEICE Transactions. Fundamentals, Aug. 2004, E87-A, no. 8, pp.1913-192
發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而完成的發(fā)明，其目的在于，提供一種在多個圖像中求出連續(xù)的運動向量的運動向量生成裝置和運動向量生成方法。在本發(fā)明涉及的運動向量生成裝置和運動向量生成方法中，當對多個圖像依次生成運動向量時，在上述多個圖像中的任意一個圖像上以亞像素級決定關(guān)注點，在與該圖像不同的其他圖像上以亞像素級搜索與該關(guān)注點相對應(yīng)的對應(yīng)點，并根據(jù)這些關(guān)注點和其對應(yīng)點計算出運動向量。然后，將該對應(yīng)點決定為新的關(guān)注點，并反復進行上述處理來依次生成運動向量。因此，本發(fā)明涉及的運動向量生成裝置和運動向量生成方法通過在多個圖像中以亞像素級進行對應(yīng)點搜索，能夠求出連續(xù)的運動向量。通過下面的詳細說明和附圖，上述以及其他的本發(fā)明的目的、特征和優(yōu)點會更加明確。


圖1是表示實施方式涉及的運動向量生成裝置的構(gòu)成的框圖。圖2是用于說明模板的圖，圖2㈧是表示關(guān)注點是像素級的位置時的基準圖像和參照圖像的圖，圖2(B)是表示關(guān)注點是亞像素級時的基準圖像和參照圖像的圖。圖3是用于說明圖像插值的方法的圖。圖4是表示包含偏移量的窗函數(shù)的圖。圖5是用于說明將關(guān)注點置換為最近的像素來搜索對應(yīng)點、然后進行插值的方法的圖。圖6是用于說明對應(yīng)點搜索的圖。圖7是用于說明基于立體圖像的3維運動向量的計算方法的圖。圖8是表示在立體時間序列圖像中3維運動向量連續(xù)相連的狀況的圖。圖9是用于說明基于立體圖像的3維運動向量的其他計算方法的圖。圖10是表示在立體時間序列圖像中3維運動向量連續(xù)相連的狀況的其他的圖。圖11是用于說明運動向量的可靠性評價的方法的圖。圖12是用于說明其他的運動向量的可靠性評價的方法的圖。
具體實施例方式下面，根據(jù)附圖對本發(fā)明涉及的一個實施方式進行說明。其中，在各圖中標記相同符號的構(gòu)成表示是相同的構(gòu)成，其說明被適當省略。首先，對本發(fā)明的實施方式涉及的運動向量生成裝置的構(gòu)成進行說明。圖1是表示本實施方式涉及的運動向量生成裝置的構(gòu)成的框圖。如圖1所示那樣，運動向量生成裝置1具備圖像取得部2、關(guān)注點決定部3、對應(yīng)點搜索部4、運動向量計算部5、和運動向量分析部6。運動向量生成裝置1例如由各種電子部件或集成電路部件、CPU (Central Processing Unit)、存儲部等構(gòu)成。而且，運動向量生成裝置1與照相機7和顯示部8連接。 照相機7用于取得時間序列圖像，優(yōu)選是立體照相機。更具體而言，由隔開規(guī)定的適當距離而左右設(shè)置的2個照相機構(gòu)成。另外，顯示部8用于顯示由運動向量生成裝置1求出的結(jié)
果ο下面，對運動向量生成裝置1的這些各構(gòu)成部件進行說明。圖像取得部2取得來自照相機7的時間序列圖像并對其進行保持。這里，照相機 7中的立體照相機分別隨時拍攝在相同的時刻對被攝體進行攝像而得到的左右一對圖像， 并向運動向量生成裝置1輸出時間序列立體圖像。其中，照相機7中的左右照相機的像差被良好地校正，并且該左右照相機被設(shè)置成其光軸平行。這樣，在立體照相機中，通過平行設(shè)置各照相機，可得到平行化的圖像。另外，照相機7也可以不是立體照相機而是單眼照相機，可以通過利用單眼照相機在不同的時間點進行攝像來取得時間序列圖像。關(guān)注點決定部3在圖像取得部2所保持的圖像中的任意一個圖像(基準圖像)上決定關(guān)注點。其中，在該基準圖像成為運動向量的起點的情況下，將該基準圖像上的任意點決定為關(guān)注點。另外，在不是起點的情況下，將針對在時間上靠前攝像的圖像的對應(yīng)點重新設(shè)定為關(guān)注點。對應(yīng)點搜索部4搜索與基準圖像相對應(yīng)的參照圖像上的點(對應(yīng)點搜索)。其中， 參照圖像是指與基準圖像相對應(yīng)的圖像。更具體而言，在立體圖像中，同時刻攝像而得到的一對圖像中的一個是基準圖像，而另一個是參照圖像。另外，在時間序列圖像中，由同一照相機攝像而得到的圖像中的在時間上靠前的圖像是基準圖像，而在時間上靠后的圖像是參照圖像。接著對具體的對應(yīng)點搜索進行說明。針對由關(guān)注點決定部3設(shè)定的關(guān)注點設(shè)定模板，搜索與該模板對應(yīng)的參照圖像上的模板，并根據(jù)該搜索出的模板求出對應(yīng)點。更具體而言，對應(yīng)點搜索部4取入由關(guān)注點決定部3設(shè)定了關(guān)注點的基準圖像，并在基準圖像上設(shè)定包含關(guān)注點的模板。這里，模板是在基準圖像中以一定的區(qū)域劃分的范圍，具有該范圍內(nèi)的各像素的亮度值等信息(圖像圖案(image pattern))0然后，對應(yīng)點搜索部4計算出該模板和在與該基準圖像對應(yīng)的參照圖像中設(shè)定的多個窗口的相關(guān)值，并根據(jù)相關(guān)值判斷是否對應(yīng)。其中，窗口是在參照圖像中生成的多個與模板大小相同的范圍的區(qū)域，具有該范圍內(nèi)的各像素的亮度值等信息(圖像圖案)。相關(guān)值能夠根據(jù)模板和窗口的圖像圖案求出。例如，求出模板和任意一個窗口的相關(guān)值，如果假設(shè)這些相關(guān)值較低，判定為它們不對應(yīng)，則求出例如在任意一個方向偏離了 1像素的位置上生成的窗口和模板的相關(guān)值。由此，求出相關(guān)值取值為峰值的窗口，即與模板相對應(yīng)的窗口。如果是時間序列圖像，則例如將在前的圖像設(shè)為基準圖像，將在后的圖像設(shè)為參照圖像。另外，也可以相反地將在后的圖像設(shè)為基準圖像，將在前的圖像設(shè)為參照圖像。即，在一邊對時間序列圖像進行攝像、一邊進行對應(yīng)點搜索的情況下，將在前的圖像設(shè)為基準圖像，將在后的圖像設(shè)為參照圖像。但是，在對時間序列圖像進行攝像，將這些圖像例如預(yù)先保持在圖像取得部2中，并在保持了一定程度的量的狀態(tài)下進行對應(yīng)點搜索的情況下，也可以不將在前的圖像設(shè)為基準圖像，而將在后的圖像設(shè)為基準圖像，將在前的圖像設(shè)為參照圖像。對于這樣的對應(yīng)點搜索的方法，提出有各種已知的方案。下面，例如簡單說明使求出與模板對應(yīng)的窗口的時間縮短的方法。例如，如上述那樣，在基準圖像是立體圖像的一個圖像，參照圖像是另一個圖像，并且對各圖像進行攝像的照相機被平行配置的情況下，基準圖像和參照圖像基本上被平行配置。于是，由于可以假定參照圖像上的窗口位于與基準圖像上的關(guān)注點高度相同的位置，所以只要針對該高度位置的窗口求出相關(guān)值即可。另外，在基準圖像與參照圖像基本平行配置、且基準圖像和參照圖像的視差被一定程度掌握的情況下，能夠進一步限定窗口的設(shè)定范圍。這樣，通過對窗口的設(shè)定范圍進行限定，能夠抑制求取和模板之間的相關(guān)值的窗口的數(shù)量，因此能夠在短時間搜索對應(yīng)的窗口。另外，作為其他的方法，有一種被稱為基于多分辨率策略的搜索方法。該方法暫時使基準圖像及參照圖像的分辨率降低、即減少像素數(shù)，然后進行相關(guān)值運算，針對關(guān)注點求出相關(guān)值成為峰值的坐標，并將分辨率恢復到之前的狀態(tài)，然后將窗口的設(shè)定范圍縮小至以低分辨率求出的坐標周邊來求出相關(guān)值。由于在降低了基準圖像和參照圖像的分辨率的狀態(tài)下，能夠使圖像圖案的信息減少，所以可以在短時間求出該狀態(tài)下的相關(guān)值。另外，在這樣求出的低分辨率下的相關(guān)值是峰值的坐標附近，應(yīng)該存在本來的分辨率下的相關(guān)值成為峰值的坐標。這樣，由于能夠在短時間確定對應(yīng)的窗口存在的范圍，所以可在短時間搜索到對應(yīng)的窗口。另外，在該方法中，可以生成分為幾個等級的多個低分辨率圖像，從而逐漸地縮小搜索位置。接著，對具體的相關(guān)值計算方法進行說明。作為用于求出相關(guān)值的函數(shù)，例如已知有 SAD(Sum of Absolute Difference)法、SSD(Sum of Squared Difference)法(差方禾口法)、NCC(Normalize cross Correlation)法(正規(guī)化相互相關(guān)法)等。例如SAD法是對模板及窗口的亮度值的絕對值求總和的函數(shù)，利用通過該函數(shù)得到的值，能夠求出每個窗口的相關(guān)值。另外，還有與上述SAD法等相比具有魯棒性的相關(guān)值運算的方法。具體而言，是僅利用從圖像圖案的頻率分解信號抑制了振幅分量而得到的相位分量的信號來進行相似度運算的方法，不易受立體圖像中的左右照相機的攝像條件之差、噪聲干擾等的影響，能夠?qū)崿F(xiàn)具有魯棒性的相關(guān)值運算。作為計算圖像圖案的頻率分解信號的方法，例如已知有高速傅里葉變換(FFT)、離散傅里葉變換(DFT)、離散余弦變換(DCT)、離散正弦變換(DST)、小波變換、阿達瑪變換等。這里，對這樣的具有魯棒性的相關(guān)值運算中的相位限定相關(guān)法(后面稱為POC法)進行簡單說明。在POC法中，也在基準圖像上設(shè)定模板，并在參照圖像上設(shè)定具有相同大小的窗口。然后，在錯開參照圖像上的窗口的同時，計算模板和各窗口之間的相關(guān)值(P0C值)，并根據(jù)該相關(guān)值求出與模板對應(yīng)的窗口。首先，基準圖像的模板及參照圖像的窗口被分別進行2維離散傅里葉變換，在歸一化后合成，被進行2維離散傅里葉逆變換。由此求出作為相關(guān)值的POC值。另外，由于POC值按每個像素離散地求出，所以能夠按窗口內(nèi)的每個像素求出相似度。因此，容易縮小窗口的范圍，起到求取對應(yīng)點的處理也能夠快速執(zhí)行的效果。即， 在上述的SAD法等中，求出了每個窗口的相關(guān)值，而POC法能夠求出窗口內(nèi)的每個像素的相關(guān)值。因此，在上述POC法等具有魯棒性的相關(guān)值運算方法中，無需如SAD法等那樣將窗口逐個錯開1像素來計算相關(guān)值，能夠?qū)⒋翱阱e開多個像素來計算相關(guān)值?？梢藻e開多少依賴于對應(yīng)點的搜索可能范圍，但在一般情況下，可以說是窗口大小的一半左右。即，例如錯開后的窗口和錯開前的窗口只要以窗口大小的一半左右重疊的方式設(shè)定即可。例如，若將基準圖像和參照圖像的最大視差設(shè)為128像素，將窗口大小設(shè)為31X31，將通過POC法能夠搜索的范圍相對于重心位置假定為士8像素，則為了搜索該視差，由于只要將窗口逐個錯開16像素即可，所以設(shè)定8個窗口。另外，在POC法中也能夠使用上述的基于多分辨率策略的搜索方法。在上述的例子中，雖然只要設(shè)定8個窗口即可，但如果進一步利用基于多分辨率策略的搜索方法來將圖像例如縮小至1/16，則設(shè)定的窗口只需要1個。由此，能夠更加容易地執(zhí)行對應(yīng)點的搜索。另外，除了 POC法以外，還已知有僅利用從圖像圖案的頻率分解信號抑制了振幅分量而得到的相位分量的信號來進行相關(guān)值運算的方法。例如有DCT符號限定相關(guān)法等， 也可以利用這些方法來進行相關(guān)值運算。該DCT符號限定相關(guān)法是已知的方法，例如公開于“畫像信號処理i畫像‘、夕一 > 認識O融合-DCT符號限定相関i O応用”，貴家仁志，首都大學東京* m r-ψ 4 >學部動的畫像処理実利用化7—夕V 3 ” 2007， 2007. 3. 8-9。其中，在本實施方式中，由于進行亞像素級下的搜索，所以參照圖像上設(shè)定的窗口以亞像素級被設(shè)定，而非像素級。因此，由于對于1個像素來說，并不限定為其整體包含在窗口中，有時也僅是像素的一部分被包含在該窗口中，所以不限于窗口成為像素單位的區(qū)域。對亞像素級下的窗口進行更具體的說明。圖2是用于說明模板的圖，圖2(A)是表示關(guān)注點是像素級的位置時的基準圖像和參照圖像的圖，圖2(B)是表示關(guān)注點是亞像素級時的基準圖像和參照圖像的圖。如圖2(A)所示那樣，在具有多個像素22的基準圖像21a上的關(guān)注點是像素級的位置的情況下，在基準圖像21a上設(shè)定了以關(guān)注點24a作為重心位置的例如3X3的模板25a。另外，在具有多個像素22的參照圖像21b上設(shè)定了 3X3的窗口，求出基準圖像21a的模板25a的圖像圖案與參照圖像21b的窗口的圖像圖案之間的相似度，由此求出對應(yīng)點24b。其中，在對應(yīng)點24b的搜索中，通過利用插值等，能夠如圖2(A) 所示那樣求出亞像素級下的位置。但是，在如圖2(B)所示那樣，關(guān)注點24c的位置從像素的重心偏離的情況下，無法設(shè)定以像素為構(gòu)成單位的窗口，為了進行設(shè)定，必須進行校正等，以使例如關(guān)注點24c的位置成為像素的重心位置。但是，如果這樣，則會求出與本來的值有偏差的值。于是，將關(guān)注點24c作為重心位置，不以像素為構(gòu)成單位來設(shè)定大小為3X3的模板25b。然后，求出與參照圖像21b上的窗口 25c之間的相關(guān)值，根據(jù)該相關(guān)值求出與模板25b對應(yīng)的窗口 25c，并求出該窗口 25c的重心位置作為對應(yīng)點24d。另外，關(guān)注點24a、對應(yīng)點24b、關(guān)注點24c和對應(yīng)點24d實際是點，但是考慮到可看性，在圖2(A)和圖2(B)中表示成與像素大小相同。這里，對以亞像素級的位置為重心的模板的設(shè)定方法進行說明。由于模板被設(shè)定在亞像素級的位置，所以需要根據(jù)各像素的配置求出圖像圖案。作為用于設(shè)定以亞像素級的位置為重心的模板的第1方法，有對圖像進行插值的方法。圖3是用于說明圖像插值方法的圖。在圖3中，(1，」)、(1+1，」)、(1，」+1)和(i+1， j+1)表示像素的位置，(x，y)是亞像素級位置的關(guān)注點的坐標。該情況下，為了求出以這樣的關(guān)注點為重心位置的模板的圖像圖案，具體需要求出(x，y)處的亮度值。鑒于此，通過利用位于(x，y)的周圍的像素的亮度值來進行插值，求出(x，y)的亮度值。具體而言，通過利用位于(χ，y)的周圍的(i，j)、(i+1, j)、(i，j+1)和(i+1, j+1)處的像素的亮度值來進行插值，來求出(x，y)的亮度值。通過這樣求出從像素級的位置偏離的、亞像素級的位置上的亮度值，能夠求出模板的圖像圖案，可以設(shè)定模板。下面表示了利用雙一次插值(雙線性插值)的(χ，y)處的亮度值 I (χ，y)。I (i，j)、I (i+1, j)、工(i，j+1)和 I (i+1, j+1)表示各像素的亮度值。其中，式1表示(x，y)的坐標位置，式2表示其亮度值。這里，i和j為整數(shù)， Sx和δ y是大于0且小于1的數(shù)。(X，y) = (i+ δ χ, j+ δ y)…⑴I (χ, y) = {(1-δχ) (1-δγ) XI(i, j)}+{(1-δχ) X 5yXI(i + l, j) }+{ δ χΧ (1-δ y) XI(i，j + 1)}+{ δ χΧ δ yXI(i + l, j + 1)}... (2)對雙一次插值除了上述說明，也可以通過除此以外的插值來求出亞像素級的位置上的亮度值，并設(shè)定模板。例如，只要利用雙三次插值(兩次立方插值)等來進行插值即可。 由此，能夠設(shè)定模板。用于設(shè)定以亞像素級的位置為重心的模板的第2方法是應(yīng)用窗函數(shù)的方法。在上述對應(yīng)搜索的方法中，例如在如POC法那樣進行頻率分解的方法中，當進行頻率分解時，通常為了去除不連續(xù)性的影響等而使用了窗函數(shù)，然后再進行頻率分解。作為窗函數(shù)，例如可以列舉出漢寧窗(Hanning Window)、漢明窗(Hamming Window)、凱塞窗(Kaiser window) 等。該第2方法使該窗函數(shù)預(yù)先包含亞像素級位置上的關(guān)注點的、相對于像素位置的偏移量。由此，該第2方法通過使用窗函數(shù)，能夠設(shè)定具有亞像素級的圖像圖案的模板。鑒于此，對使窗函數(shù)包含偏移量的方法進行說明。這里用漢寧窗作為一個例子進行說明。漢寧窗的
公式由式3表示。
權(quán)利要求
1.一種運動向量生成裝置，其特征在于，具備 圖像取得部，其取得多個圖像并對其進行保持；關(guān)注點決定部，其在上述圖像取得部所保持的多個圖像中的任意一個圖像上決定亞像素級的關(guān)注點；對應(yīng)點搜索部，其以亞像素級從上述圖像取得部所保持的多個圖像中搜索與被決定了上述關(guān)注點的上述圖像不同的圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點；和運動向量計算部，其根據(jù)上述關(guān)注點及上述對應(yīng)點，計算出運動向量； 在上述對應(yīng)點搜索部搜索到上述對應(yīng)點以后，上述關(guān)注點決定部將上述被搜索到的對應(yīng)點在上述被搜索的圖像上決定為關(guān)注點，上述運動向量計算部根據(jù)被依次決定的關(guān)注點、以及對應(yīng)該關(guān)注點而被搜索到的對應(yīng)點，依次計算出運動向量。
2.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部在被決定了上述關(guān)注點的圖像上設(shè)定以上述關(guān)注點為重心位置的模板，并利用上述模板，以亞像素級搜索與上述關(guān)注點相對應(yīng)的對應(yīng)點。
3.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部在被決定了上述關(guān)注點的圖像上設(shè)定以上述關(guān)注點的最近的像素為重心位置的模板，利用上述模板來搜索與上述像素的重心位置相對應(yīng)的點，通過將上述搜索到的點的位置錯開上述關(guān)注點與上述關(guān)注點的最近的像素的重心位置之間的偏移量，以亞像素級搜索上述對應(yīng)點。
4.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部在被決定了上述關(guān)注點的圖像上設(shè)定以上述關(guān)注點的最近的像素為重心位置的模板，利用上述模板來搜索與被決定了上述關(guān)注點的上述圖像不同的圖像中的、與上述像素的重心位置相對應(yīng)的點，通過將上述搜索到的點的位置錯開上述關(guān)注點與上述關(guān)注點的最近的像素的重心位置之間的偏移量，以亞像素級搜索上述對應(yīng)點。
5.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于， 上述多個圖像構(gòu)成為具備多個一對立體圖像，上述關(guān)注點決定部在上述一對立體圖像中的一個圖像上決定亞像素級的關(guān)注點， 上述對應(yīng)點搜索部進而以亞像素級搜索與被決定了上述關(guān)注點的圖像成對的另一個圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點。
6.根據(jù)權(quán)利要求5所述的運動向量生成裝置，其特征在于，上述運動向量計算部還根據(jù)在上述一對立體圖像之間相互對應(yīng)的點計算出拍攝該一對立體圖像時的距離信息，上述運動向量計算部在上述運動向量的計算中也使用上述距離信息。
7.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于， 上述多個圖像構(gòu)成為在時間序列上具備多個一對立體圖像，上述關(guān)注點決定部在上述一對立體圖像中的一個圖像上決定亞像素級的關(guān)注點，上述對應(yīng)點搜索部以上述亞像素級從與被決定了上述關(guān)注點的圖像不同的時間點的立體圖像中搜索與被決定了上述關(guān)注點的圖像相對應(yīng)的圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點，上述關(guān)注點決定部將與上述關(guān)注點相對應(yīng)的對應(yīng)點決定為關(guān)注點，以上述亞像素級從與被決定了上述關(guān)注點的圖像不同的時間點的立體圖像中依次搜索與被決定了該關(guān)注點的圖像相對應(yīng)的圖像上的、與該關(guān)注點相對應(yīng)的對應(yīng)點，并且，以上述亞像素級搜索與被決定了該關(guān)注點的圖像成對的另一個圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點。
8.根據(jù)權(quán)利要求1所述的運動向量生成裝置，其特征在于， 上述多個圖像構(gòu)成為在時間序列上具備多個一對立體圖像，上述關(guān)注點決定部在上述一對立體圖像中的一個圖像上決定亞像素級的關(guān)注點， 上述對應(yīng)點搜索部還以上述亞像素級搜索與被決定了上述關(guān)注點的圖像成對的另一個圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點，除了上述一個圖像上的上述關(guān)注點之外，上述關(guān)注點決定部還將上述另一個圖像中的、與上述關(guān)注點相對應(yīng)的對應(yīng)點決定為關(guān)注點，在與上述各個關(guān)注點的圖像不同的時間點的一對立體圖像中、與各個關(guān)注點的圖像相對應(yīng)的圖像上，以上述亞像素級依次搜索與上述各個關(guān)注點相對應(yīng)的對應(yīng)點。
9.根據(jù)權(quán)利要求2所述的運動向量生成裝置，其特征在于， 上述對應(yīng)點搜索部通過對圖像進行插值來生成上述模板。
10.根據(jù)權(quán)利要求2所述的運動向量生成裝置，其特征在于， 上述對應(yīng)點搜索部通過利用窗函數(shù)來生成上述模板。
11.根據(jù)權(quán)利要求7或8所述的運動向量生成裝置，其特征在于，在搜索與一個上述關(guān)注點相對應(yīng)的多個對應(yīng)點時，上述對應(yīng)點搜索部在所有的對應(yīng)點的搜索中使用相同的對應(yīng)點搜索方法。
12.根據(jù)權(quán)利要求5所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部根據(jù)多個上述關(guān)注點來搜索一個上述對應(yīng)點。
13.根據(jù)權(quán)利要求5所述的運動向量生成裝置，其特征在于，在根據(jù)同一時間點拍攝到的一對立體圖像中的一個圖像的點，搜索另一個圖像上的對應(yīng)點的情況下，上述對應(yīng)點搜索部在規(guī)定的條件下，根據(jù)在與上述另一個圖像不同的時間點拍攝到的、與上述另一個圖像時間序列上對應(yīng)的圖像的點，搜索上述對應(yīng)點。
14.根據(jù)權(quán)利要求5所述的運動向量生成裝置，其特征在于，在根據(jù)不同的時間點拍攝到的時間序列上對應(yīng)的圖像的點來搜索對應(yīng)點的情況下，上述對應(yīng)點搜索部在規(guī)定的條件下，根據(jù)在與上述對應(yīng)點被搜索到的圖像相同的時間點拍攝到的、一對立體圖像中的一個圖像的點，搜索上述對應(yīng)點。
15.根據(jù)權(quán)利要求13或14所述的運動向量生成裝置，其特征在于， 上述規(guī)定的條件是規(guī)定的幀數(shù)。
16.根據(jù)權(quán)利要求13或14所述的運動向量生成裝置，其特征在于， 上述規(guī)定的條件由對應(yīng)點搜索中的相似度決定。
17.根據(jù)權(quán)利要求13或14所述的運動向量生成裝置，其特征在于， 上述規(guī)定的條件由上述運動向量決定。
18.根據(jù)權(quán)利要求13或14所述的運動向量生成裝置，其特征在于， 上述規(guī)定的條件由上述模板內(nèi)的對比度決定。
19.根據(jù)權(quán)利要求2所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部利用被頻率分解、振幅分量被抑制的上述模板的圖像圖案來搜索對應(yīng)的點。
20.根據(jù)權(quán)利要求19所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部在搜索與一個上述關(guān)注點相對應(yīng)的多個對應(yīng)點時，在所有的對應(yīng)點的搜索中都使用相同的圖像圖案作為被頻率分解、振幅分量被抑制的上述模板的圖像圖案。
21.根據(jù)權(quán)利要求19所述的運動向量生成裝置，其特征在于，上述對應(yīng)點搜索部通過在頻率空間中使上述圖像圖案的相位分量旋轉(zhuǎn)來生成上述模板。
22.根據(jù)權(quán)利要求19所述的運動向量生成裝置，其特征在于，上述頻率分解是FFT、DFT、DCT、DST、小波變換和阿達瑪變換中的任意一種。
23.根據(jù)權(quán)利要求2所述的運動向量生成裝置，其特征在于， 上述對應(yīng)點搜索部利用相位限定相關(guān)法來搜索對應(yīng)點。
24.一種運動向量生成方法，其特征在于，包括在多個圖像中的任意一個圖像上決定亞像素級的關(guān)注點的關(guān)注點決定步驟； 從上述多個圖像中，以亞像素級搜索與被決定了上述關(guān)注點的上述圖像不同的圖像上的、與上述關(guān)注點相對應(yīng)的對應(yīng)點的對應(yīng)點搜索步驟；將由上述對應(yīng)點搜索步驟搜索到的對應(yīng)點決定為上述對應(yīng)點被搜索到的圖像的關(guān)注點，并反復進行上述對應(yīng)點搜索步驟的步驟；和根據(jù)上述關(guān)注點及上述對應(yīng)點計算出運動向量的運動向量計算步驟。
全文摘要
在本發(fā)明的運動向量生成裝置(1)中，當對多個圖像依次生成運動向量時，在上述多個圖像中的任意一個圖像上以亞像素級決定關(guān)注點，在與該圖像不同的其他圖像上以亞像素級搜索與該關(guān)注點相對應(yīng)的對應(yīng)點，并根據(jù)這些關(guān)注點和其對應(yīng)點計算出運動向量。然后，將該對應(yīng)點決定為新的關(guān)注點，并反復進行上述處理來依次生成運動向量。因此，本發(fā)明的運動向量生成裝置(1)通過在多個圖像中以亞像素級進行對應(yīng)點搜索，能夠求出連續(xù)的運動向量。
文檔編號G06T7/20GK102272796SQ20098015423
公開日2011年12月7日 申請日期2009年12月21日 優(yōu)先權(quán)日2009年1月9日
發(fā)明者墨友博則 申請人:柯尼卡美能達控股株式會社