一種三維重建的立體匹配方法
【專利摘要】本發(fā)明公開了一種三維重建的立體匹配方法，首先針對Harris圖像特征點的堆積現(xiàn)象和像素精度不高的缺點對其進行改進，引入抑制因子使其圖像特征點均勻分布，然后使用高斯曲面擬合內(nèi)插的方法將獲得的圖像特征點達到次像素級。接著用SIFT描述子對圖像特征點進行描述，生成特征向量進行匹配，以消除Harris圖像特征點對于圖像灰度非線性變換敏感的問題不足，然后采用魯棒性較好的隨機抽樣算法RANSAC來估計基本矩陣，同時進一步剔除誤匹配點對，最后在基礎(chǔ)矩陣的引導下進行對流匹配尋找可能反映物體結(jié)構(gòu)的未匹配圖像特征點對。本發(fā)明的方法能夠較好地恢復物體的表面結(jié)構(gòu)，是一種有效的用于未標定圖像信息三維立體重建的立體匹配算法。
【專利說明】—種三維重建的立體匹配方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺【技術(shù)領(lǐng)域】，尤其涉及一種三維重建中的立體匹配方法。
【背景技術(shù)】
[0002]基于視頻序列圖像的三維立體重建就是為了保證重構(gòu)出的物體表面信息能夠正確的表達物體的結(jié)構(gòu)，而視頻序列圖像的圖像特征點提取和匹配則是進行三維立體重建的第一步。三維重建中圖像特征點提取和匹配是近年來計算機視覺領(lǐng)域中備受關(guān)注的研究方向和研究熱點，它是許多計算機視覺理論和實際應用的基礎(chǔ)，如攝像機的標定、三維立體重建、目標檢測、運動分析等；同時圖像特征點提取和匹配也是計算機視覺研究領(lǐng)域中的一個瓶頸，目前許多重要的計算機視覺理論系統(tǒng)與實際應用都是在假設圖像特征點匹配問題已解決的前提下展開的。精確的圖像特征點匹配對于利用計算機視覺技術(shù)進行物體的三維立體重建、目標物識別和目標準確跟蹤等都具有極其重要意義。
[0003]三維重建中圖像特征點提取和匹配要求提取的圖像特征點在能夠準確表達物體表面結(jié)構(gòu)的同時也能夠達到很好的匹配精度，否則重構(gòu)出的物體幾何表面則會大大畸形。然而很大一部分的三維立體結(jié)構(gòu)的匹配均是針對已經(jīng)標定的圖像，通過極線信息限制來提高所需要的匹配精度。但是在一些沒有標定也就是信息不全的情況下，極線約束則不可利用，這就需要依照前期的粗略匹配對基礎(chǔ)矩陣進行相對精確的估計才能夠采用極線約束，這對三維立體匹配的精度提出了更高的要求，也進一步增加了圖像特征點匹配的難度。
[0004]目前常用的圖像特征點提取算法是Harris算法，Harris圖像特征點比較能夠反映出物體的結(jié)構(gòu)特征，但有時其局部會出現(xiàn)角點堆積的現(xiàn)象，這樣在后期的匹配中容易出現(xiàn)匹配錯誤的現(xiàn)象，同 時會降低匹配效率，而且Harris圖像特征點是像素級的，會影響匹配的精度。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是針對上述技術(shù)問題及現(xiàn)有技術(shù)的缺陷，提出一種三維重建的立體匹配方法，提高了匹配精度。
[0006]為了實現(xiàn)上述發(fā)明目的，本發(fā)明技術(shù)方案如下:
[0007]一種三維重建的立體匹配方法，用于在三維重建中提取視頻圖像的圖像特征點并進行立體匹配，所述立體匹配方法包括步驟:
[0008]步驟1、采用Harris特征提取算法提取視頻圖像的圖像特征點；
[0009]步驟2、通過給定的抑制因子篩選所提取的圖像特征點；
[0010]步驟3、通過高斯曲面擬合內(nèi)插將圖像特征點提高到次像素級；
[0011]步驟4、對圖像特征點用尺度不變特征變換SIFT特征向量進行描述；
[0012]步驟5、對于已經(jīng)提取圖像特征點并采用SIFT特征向量描述的待匹配視頻圖像和參考視頻圖像，根據(jù)SIFT特征向量進行基礎(chǔ)匹配，得到初始匹配結(jié)果；
[0013]步驟6、通過隨機抽樣一致性RANSAC算法排除誤匹配點對，并估算基礎(chǔ)矩陣；[0014]步驟7、對于沒有匹配成功的圖像特征點，結(jié)合基礎(chǔ)矩陣，若待匹配圖像特征點和參考圖像特征點通過極線約束方法，互為對方的匹配圖像特征點，則確認該對圖像特征點為匹配圖像特征點對。
[0015]進一步地，所述通過給定的抑制因子篩選所提取的圖像特征點，包括步驟:
[0016]步驟2.1、建立一個圖像特征點序列SI ；
[0017]步驟2.2、從步驟I提取的視頻圖像的圖像特征點集合中找到最強的圖像特征點作為第一個保留圖像特征點放入圖像特征點序列Si中，并從所述圖像特征點集合中去除該圖像特征點；
[0018]步驟2.3、任意選取所述圖像特征點集合中的一個圖像特征點，分別計算該圖像特征點與圖像特征點序列Si中所有的圖像特征點之間的歐式距離，如果所有歐式距離都大于給定的抑制因子α，則將該圖像特征點放入圖像特征點序列SI，并從所述圖像特征點集合中去除該圖像特征點；否則直接從所述圖像特征點集合中去除該圖像特征點；
[0019]步驟2.4、判斷所述圖像特征點集合是否為空，如果為空則結(jié)束，否則返回步驟
2.3繼續(xù)篩選。
[0020]通過抑制因子可以確保檢測到的圖像特征點之間有足夠的距離，使圖像特征點達到均勻分布，從而減弱或消除局部區(qū)域圖像特征點聚集現(xiàn)象。
[0021]進一步地，所述通過高斯曲面擬合內(nèi)插將圖像特征點提高到次像素級，包括步驟:
[0022]步驟3.1、使用高斯曲面作為擬合曲面，對圖像特征點鄰域內(nèi)像素的灰度值R(x，y)進行擬合內(nèi)插，采用的高斯曲`面為:
【權(quán)利要求】
1.一種三維重建的立體匹配方法，用于在三維重建中提取視頻圖像的圖像特征點并進行立體匹配，其特征在于，所述立體匹配方法包括步驟: 步驟1、采用Harris特征提取算法提取視頻圖像的圖像特征點； 步驟2、通過給定的抑制因子篩選所提取的圖像特征點； 步驟3、通過高斯曲面擬合內(nèi)插將圖像特征點提高到次像素級； 步驟4、對圖像特征點用尺度不變特征變換SIFT特征向量進行描述； 步驟5、對于已經(jīng)提取圖像特征點并采用SIFT特征向量描述的待匹配視頻圖像和參考視頻圖像，根據(jù)SIFT特征向量進行基礎(chǔ)匹配，得到初始匹配結(jié)果； 步驟6、通過隨機抽樣一致性RANSAC算法排除誤匹配點對，并估算基礎(chǔ)矩陣； 步驟7、對于沒有匹配成功的圖像特征點，結(jié)合基礎(chǔ)矩陣，若待匹配圖像特征點和參考圖像特征點通過極線約束方法，互為對方的匹配圖像特征點，則確認該對圖像特征點為匹配圖像特征點對。
2.根據(jù)權(quán)利要求1所述的立體匹配方法，其特征在于，所述通過給定的抑制因子篩選所提取的圖像特征點，包括步驟: 步驟2.1、建立一個圖像特征點序列SI ； 步驟2.2、從步驟I提取的視頻圖像的圖像特征點集合中找到最強的圖像特征點作為第一個保留圖像特征點放入圖像特征點序列SI中，`從所述圖像特征點集合中去除該圖像特征點； 步驟2.3、任意選取所述圖像特征點集合中的一個圖像特征點，分別計算該圖像特征點與圖像特征點序列SI中所有的圖像特征點之間的歐式距離，如果所有歐式距離都大于給定的抑制因子α，則將該圖像特征點放入圖像特征點序列SI，并從所述圖像特征點集合中去除該圖像特征點；否則直接從所述圖像特征點集合中去除該圖像特征點； 步驟2.4、判斷所述圖像特征點集合是否為空，如果為空則結(jié)束，否則返回步驟2.3繼續(xù)篩選。
3.根據(jù)權(quán)利要求1所述的立體匹配方法，其特征在于，所述通過高斯曲面擬合內(nèi)插將圖像特征點提高到次像素級，包括步驟: 步驟3.1、使用高斯曲面作為擬合曲面，對圖像特征點鄰域內(nèi)像素的灰度值R(x，y)進行擬合內(nèi)插，采用的高斯曲面為:
4.根據(jù)權(quán)利要求3所述的立體匹配方法，其特征在于，所述高斯曲面參數(shù)σ為所述圖像特征鄰域內(nèi)像素點灰度值的標準差。
5.根據(jù)權(quán)利要求3所述的立體匹配方法，其特征在于，所述圖像特征點的鄰域是以所述圖像特征點為中心，所述抑制因子為半徑的圓。
6.根據(jù)權(quán)利要求1所述的立體匹配方法，其特征在于，所述步驟4還包括步驟: 將圖像特征點的SIFT特征向量進行歸一化處理。
7.根據(jù)權(quán)利要求1所述的立體匹配方法，其特征在于，所述根據(jù)SIFT特征向量進行基礎(chǔ)匹配，包括步驟: 步驟5.1、對待匹配視頻圖像的圖像特征點，在參考視頻圖像中找到特征向量歐式距離最近和次近的兩個圖像特征點； 步驟5.2、判斷如果最近歐式距離和次近歐式距離的之間的比值小于設定的閾值T，則認為最近的圖像特征點為匹配圖像特征點，否則丟棄該圖像特征點。
8.根據(jù)權(quán)利要求1所述的立體匹配方法，其特征在于，所述步驟7具體包括步驟: 對于待匹配圖像特征點中的一點pl，結(jié)合基礎(chǔ)矩陣計算出它在參考視頻圖像中的極線，并在極線兩邊的可能區(qū)域中尋找歐式距離最近的圖像特征點P2 ； 在找到參考視頻圖像中歐式距離最近的圖像特征點P2后，反過來結(jié)合基礎(chǔ)矩陣算出它在待匹配視頻圖像中的極線，并在極線兩邊的可能區(qū)域中尋找歐式距離最近的圖像特征占.若P2對應的待匹配視頻圖像中的歐式距離最近的圖像特征點為pl，則認為pl與p2為一對匹配正確的圖像特征 點對。
9.根據(jù)權(quán)利要求8所述的立體匹配方法，其特征在于，所述極線兩邊的可能區(qū)域，是指離極線距離小于用于決定數(shù)據(jù)是否適應于基礎(chǔ)矩陣的閾值的范圍內(nèi)。
【文檔編號】G06T17/00GK103761768SQ201410029863
【公開日】2014年4月30日 申請日期:2014年1月22日 優(yōu)先權(quán)日:2014年1月22日
【發(fā)明者】杭靈綱, 劉清林, 汪曉妍, 劉干, 張文超, 王鑫 申請人:杭州匡倫科技有限公司