基于特征和區(qū)域匹配相結(jié)合的深度信息獲取方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于特征和區(qū)域匹配的深度信息獲取方法，首先采用SIFT（scaleinvariantfeaturetransform）特征提取方法獲得特征點(diǎn)，并利用特征點(diǎn)的空間位置、梯度和方向信息進(jìn)行匹配。對(duì)于非特征點(diǎn)，利用區(qū)域匹配方法進(jìn)行匹配，以特征匹配結(jié)果為約束，采用視差梯度原理縮小搜索范圍減少運(yùn)算時(shí)間。本發(fā)明方法簡(jiǎn)單實(shí)用，運(yùn)行速度快匹配準(zhǔn)確率高，不需要通過(guò)實(shí)驗(yàn)室條件下的特殊儀器即可實(shí)現(xiàn)深度信息的獲取，具有很強(qiáng)的實(shí)用價(jià)值。
【專(zhuān)利說(shuō)明】基于特征和區(qū)域匹配相結(jié)合的深度信息獲取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種深度信息的獲取方法，利用SIFT特征算法和區(qū)域匹配算法相結(jié) 合的深度信息獲取方法，其特點(diǎn)是速度快準(zhǔn)確度較高。

【背景技術(shù)】
[0002] 深度信息獲取技術(shù)是用并排的兩部或多部圖像采集裝置對(duì)同一物體或場(chǎng)景進(jìn)行 拍攝，或者用一部采集裝置在對(duì)應(yīng)的不同的角度拍攝同一物體，生成至少左、右兩幅圖像。 這一過(guò)程模擬人眼成像，同一物體在不同角度圖像中的位置不同稱(chēng)為視差。利用視差及拍 攝的角度，就可以計(jì)算得到該物體在真實(shí)世界中的位置相關(guān)信息。隨著計(jì)算機(jī)科學(xué)，人工 智能以及相關(guān)學(xué)科的進(jìn)一步發(fā)展，深度信息獲取的研究也相應(yīng)的得到了更深入的發(fā)展，它 正廣泛的應(yīng)用于各個(gè)領(lǐng)域中，己經(jīng)可以逐步代替人類(lèi)視覺(jué)起到關(guān)鍵的作用。例如，在航空、 航天、衛(wèi)星拍攝等應(yīng)用中，深度信息獲取已經(jīng)成為不可替代的關(guān)鍵技術(shù)。我國(guó)的深度信息獲 取發(fā)展快速，無(wú)論軍事領(lǐng)域還是民用工業(yè)、農(nóng)業(yè)，深度信息獲取技術(shù)都有著廣闊的應(yīng)用領(lǐng) 域和非常好的發(fā)展前景。
[0003] 深度信息獲取技術(shù)的關(guān)鍵技術(shù)包括攝像機(jī)標(biāo)定、圖像采集、立體匹配和視差圖復(fù) 原。各部分的算法已經(jīng)和成熟，國(guó)外起步比較早，典型的代表有：Yoon和Kweon提出了一種 結(jié)合分割思路并能夠避免劃分困難的窗口匹配方法，方法中根據(jù)幾何學(xué)以及光度學(xué)的思想 可以對(duì)窗口中的像素權(quán)值進(jìn)行自由調(diào)整，但是該算法在執(zhí)行過(guò)程中復(fù)雜度很高。Wang提出 了一種新的選擇窗口的方法，可以動(dòng)態(tài)對(duì)窗口進(jìn)行改變。Veksler提出，區(qū)域匹配中不同大 小的窗口適用不同尺度。Haralick將最優(yōu)曲面擬合的方法引進(jìn)到匹配算法中，用像素鄰域 為對(duì)象進(jìn)行擬合，然后在擬合的鄰域中根據(jù)零交叉原理進(jìn)行匹配。Canny提出用邊緣作為特 征進(jìn)行匹配。SUSAN算子通過(guò)最小化像素點(diǎn)周?chē)鷧^(qū)域來(lái)檢查角點(diǎn)，它能夠確定圖像的屬性。 Harris在改進(jìn)角點(diǎn)算法的基礎(chǔ)上提出了 Harris算子。Pritchett和Zisserman在匹配中 引入了齊次矩陣用來(lái)反映像素點(diǎn)對(duì)間的對(duì)應(yīng)關(guān)系，促使了傳統(tǒng)約束條件的改進(jìn)。M. Pilu將 奇異值分解的思想應(yīng)用于匹配中。浙江大學(xué)設(shè)計(jì)了基于雙目視覺(jué)的高精度動(dòng)態(tài)方法用于多 自由度機(jī)器人的檢測(cè)；哈爾濱工業(yè)大學(xué)的異構(gòu)雙目系統(tǒng)能夠?yàn)闄C(jī)器人足球賽實(shí)施導(dǎo)航；東 南大學(xué)根據(jù)雙目視覺(jué)理論開(kāi)發(fā)除了可以用于非接觸測(cè)量的西匹配算法，提高了對(duì)不規(guī)則物 體表面檢測(cè)的精度；中科院自動(dòng)化所研發(fā)出了對(duì)整個(gè)物體表面三維重建的技術(shù)，可以自動(dòng) 匹配物體表面的特征點(diǎn)，將立體匹配技術(shù)與數(shù)據(jù)融合技術(shù)的結(jié)合。
[0004] 立體匹配過(guò)程是深度信息獲取的關(guān)鍵點(diǎn)，主要的立體匹配方法有區(qū)域匹配算法、 特征點(diǎn)匹配算法和基于相位的匹配算法等。單純的區(qū)域匹配主要假設(shè)左右圖像對(duì)應(yīng)點(diǎn)鄰域 內(nèi)的灰度具有相關(guān)性，其特點(diǎn)是簡(jiǎn)單易實(shí)現(xiàn)，結(jié)果是稠密的視差，但精度較低。而特征點(diǎn)匹 配是利用圖片中的特殊點(diǎn)進(jìn)行計(jì)算，這樣可以大大減少搜索范圍，但是只能得到稀疏的視 差圖，如果需要可以經(jīng)過(guò)內(nèi)插等方法得到整幅圖像的視差圖?；谙辔坏钠ヅ涓鶕?jù)視差梯 度、單調(diào)性等信息來(lái)提高效率和準(zhǔn)備度。


【發(fā)明內(nèi)容】

[0005] 發(fā)明目的
[0006] 為了滿(mǎn)足三維重建所需的稠密點(diǎn)云又兼顧運(yùn)算時(shí)間，本發(fā)明提出了一種特征點(diǎn)匹 配法和區(qū)域法相結(jié)合的立體匹配方法，綜合區(qū)域匹配法和特征點(diǎn)匹配法的特點(diǎn)，可以得到 較精確的、稠密的視差深度信息，并且縮短運(yùn)算時(shí)間。
[0007] 技術(shù)方案
[0008] 本發(fā)明是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：
[0009] -種基于特征和區(qū)域匹配相結(jié)合的深度信息獲取方法，其特征在于：利用SIFT特 征點(diǎn)匹配方法和區(qū)域匹配方法結(jié)合，利用較少的時(shí)間來(lái)獲取準(zhǔn)確的稠密深度圖，該方法其 具體步驟如下：
[0010] (1)匹配圖像特征點(diǎn)的提?。?br> [0011] 在匹配的圖像對(duì)上提取 SIFT (scale invariant feature transform)特征，形成 特征向量進(jìn)，并對(duì)特征點(diǎn)進(jìn)行標(biāo)記，SIFT特征點(diǎn)的提取需要對(duì)相鄰尺度的高斯圖像相減得 到高斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點(diǎn)；
[0012] 其具體步驟如下：
[0013] 1)檢測(cè)尺度空間極值：圖像的尺度空間定義為一個(gè)函數(shù)L(x，y，〇)，由可變尺度 高斯函數(shù)G(x, y, σ )與輸入圖像I (X，y)卷積得到：
[0014] I(x,y, 〇 ) = I (χ, y) XG(x,y, σ ) (1),
[0015] 其中，
[0016]

【權(quán)利要求】
1. 一種基于特征和區(qū)域匹配相結(jié)合的深度信息獲取方法，其特征在于：利用SIFT特征 點(diǎn)匹配方法和區(qū)域匹配方法結(jié)合，利用較少的時(shí)間來(lái)獲取準(zhǔn)確的稠密深度圖，該方法其具 體步驟如下： (1) 匹配圖像特征點(diǎn)的提?。? 在匹配的圖像對(duì)上提取SIFT(scaleinvariantfeaturetransform)特征，形成特征 向量進(jìn)，并對(duì)特征點(diǎn)進(jìn)行標(biāo)記，SIFT特征點(diǎn)的提取需要對(duì)相鄰尺度的高斯圖像相減得到高 斯差分多尺度空間；在高斯差分多尺度空間中求得局部極值點(diǎn)； 其具體步驟如下： 1) 檢測(cè)尺度空間極值：圖像的尺度空間定義為一個(gè)函數(shù)L(x，y，〇 )，由可變尺度高斯 函數(shù)G(x，y，〇)與輸入圖像I(x，y)卷積得到： I(x,y, 〇 )=I(x,y)XG(x,y, 〇 ) (I), 其中，
高斯差分尺度空間D(x，y，〇)為存在常數(shù)乘性尺度因子k的相鄰尺度高斯函數(shù)的差分 與原圖像卷積；D(x，y，〇)可以表示為：
2) 精確定位特征點(diǎn)：首先獲取候選特征點(diǎn)處的擬合函數(shù)：
求導(dǎo)得到極值點(diǎn)與對(duì)應(yīng)極值，并且不斷修正X求出局部最優(yōu)點(diǎn)； 3) 利用特征點(diǎn)鄰域像素的梯度方向分布特征，為每個(gè)特征點(diǎn)指定方向參數(shù)，（x，y)處 的方向和梯度值分別為：
一個(gè)特征點(diǎn)用16個(gè)種子點(diǎn)描述，而每個(gè)種子點(diǎn)有8個(gè)方向向量信息，因此，每一個(gè)特征 點(diǎn)產(chǎn)生128個(gè)數(shù)據(jù)，形成一個(gè)128維的描述向量； (2) SIFT特征點(diǎn)的匹配： 對(duì)左、右兩幅圖像分別得到SIFT特征向量后，計(jì)算兩幅圖像的每個(gè)特征點(diǎn)在待匹配圖 像的特征點(diǎn)中的最相似匹配，這里最相似定義為特征向量間的最小歐式距離； (3) 區(qū)域匹配： 在特征匹配結(jié)果的約束下，確定非特征點(diǎn)的所在分塊，利用視差梯度估計(jì)搜索范圍，并 進(jìn)行匹配。
2. 根據(jù)權(quán)利要求1所述的基于特征和區(qū)域匹配相結(jié)合的深度信息獲取方法，其特征在 于：步驟（3)中區(qū)域匹配其具體步驟如下： 1) 匹配分塊的確定：在左圖像上選擇一點(diǎn)P(x，y)，以該點(diǎn)為中心形成nXn的匹配 模板；然后，搜索該模板中是否存在特征點(diǎn)，如存在則在右圖像中對(duì)應(yīng)的特征點(diǎn)作為搜 索范圍；如不存在，則利用視差梯度來(lái)推算出搜索范圍d，在右圖像中同一極線(xiàn)上的點(diǎn) P(x+i,y),iG[1，d]計(jì)算相度，其中相似度最好的點(diǎn)就認(rèn)為是P(x,y)的匹配點(diǎn)； 2) 視差梯度約束及收索范圍的估計(jì)：所涉及到的匹配圖像是經(jīng)過(guò)校準(zhǔn)的，只存在水平 視差，則有y1 = /，在場(chǎng)景中的兩個(gè)點(diǎn)P1和P2在左右圖像上的投影p/、Pilr和p/、P/，則它 們的視差梯度的定義如式所示：
設(shè)Pi。=(Pj+Pi1)/〗、p2。=(Pj+P21)/^以及(I1 =X11I1'd2 =X21I21公式（7)可以轉(zhuǎn) 換為：
考慮外極線(xiàn)約束假設(shè)左右圖像都經(jīng)過(guò)極線(xiàn)校正，對(duì)應(yīng)的收索范圍應(yīng)該同極線(xiàn)位于同一 位置和方向上；同時(shí)，以左圖像為基準(zhǔn)按順序逐點(diǎn)匹配，則有：yi = ^，Xl_\ = 1 ;于是視差 梯度變?yōu)椋?br> 下一個(gè)點(diǎn)在左圖像中的搜索范圍可以通過(guò)前一個(gè)點(diǎn)在右圖像的位置、視差及視差梯度 預(yù)測(cè)到；根據(jù)前面的推導(dǎo)，視差梯度絕對(duì)值在1. 5與2之間是灰度變化劇烈的邊緣區(qū)域，反 映出的灰度信息變化較大，則選用4X4的模板進(jìn)行匹配；視差梯度絕對(duì)值小于1. 5時(shí)是圖 像的平滑區(qū)域，灰度信息較為相似，則需要較大的模板，選用16X16的模板進(jìn)行匹配； 3) 區(qū)域匹配的相似性函數(shù)：以檢查點(diǎn)為中心形成匹配模板，如果左圖像的長(zhǎng)度為M，右 圖像的長(zhǎng)度為N的線(xiàn)段；設(shè)左右匹配模板中第i行、第j列像素的灰度分別為IJi，j)和 IK(i，j)，則匹配的代價(jià)函數(shù)C為：
其中和分別是左、右模板中的灰度方差；
其中ujPuR是左右匹配模板中的灰度均值，^是Iji，j)和IR(i，j)的協(xié)方差，表 示為：
C越大說(shuō)明左右圖像中的對(duì)應(yīng)點(diǎn)的相似性越差。
【文檔編號(hào)】H04N13/00GK104268880SQ201410512773
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月29日 優(yōu)先權(quán)日:2014年9月29日
【發(fā)明者】魏東, 王帥 申請(qǐng)人:沈陽(yáng)工業(yè)大學(xué)