一種視覺測量中的快速三維重建方法
【專利摘要】本發(fā)明提供了一種視覺測量中的快速三維重建方法，首先進(jìn)行攝像機(jī)內(nèi)參和外參的標(biāo)定，然后采集立體圖像對并根據(jù)攝像機(jī)標(biāo)定結(jié)果對圖像對進(jìn)行對極線校正，然后進(jìn)行特征點(diǎn)檢測與描述，接著進(jìn)行特征點(diǎn)匹配，結(jié)束后，利用匹配結(jié)果計(jì)算出其在世界坐標(biāo)系中的三維坐標(biāo)，最后利用Delaunay三角剖分對左圖像進(jìn)行三角剖分，得到頂點(diǎn)編號，最后利用OpenGL將三角形逐個(gè)貼到計(jì)算出的三維坐標(biāo)上，即可。
【專利說明】一種視覺測量中的快速三維重建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于雙目立體視覺【技術(shù)領(lǐng)域】，具體涉及一種視覺測量中基于特征點(diǎn)匹配的快速三維重建技術(shù)。
【背景技術(shù)】
[0002]三維重建一直是計(jì)算機(jī)視覺的重要研究領(lǐng)域之一。近年來，三維重建技術(shù)的研究取得了巨大的進(jìn)步，新技術(shù)新方法不斷涌現(xiàn)。常用的三維重建方法主要有運(yùn)動圖像序列法、光度立體學(xué)方法、紋理恢復(fù)形狀法和立體視覺方法等。各種三維重建方法的理論基礎(chǔ)不同，在精度、尺寸以及系統(tǒng)價(jià)位等方面存在一定的差異，因此適用的應(yīng)用領(lǐng)域也不盡相同?，F(xiàn)有的三維獲取系統(tǒng)通常使用特定的硬件設(shè)備，如X射線、激光測距儀等，系統(tǒng)投資巨大，所以需要研制一種使用方便、穩(wěn)定性好、花費(fèi)低的三維信息獲取系統(tǒng)。隨著數(shù)字影像技術(shù)的迅速發(fā)展，如何使用普通便攜數(shù)碼設(shè)備實(shí)現(xiàn)三維重建技術(shù)的應(yīng)用逐漸成為研究的熱點(diǎn)，對視覺精度、穩(wěn)定性、操作過程簡單化等方面也提出了更高的要求。
[0003]空間繩系機(jī)器人系統(tǒng)由“空間繩系機(jī)器人+空間系繩+空間平臺”組成，具有安全、靈活、操作距離遠(yuǎn)等特點(diǎn)，可廣泛應(yīng)用于在軌維修、在軌加注、輔助變軌及在軌空間站輔助組裝等在軌服務(wù)中，已經(jīng)成為空間操控【技術(shù)領(lǐng)域】的研究熱點(diǎn)之一。這種新型的微型智能機(jī)器人，在空間可以自主逼近目標(biāo)。在其逼近的過程中利用自身攜帶的雙目視覺測量系統(tǒng)對目標(biāo)進(jìn)行實(shí)時(shí)檢測、跟蹤與三維測量。因此由于立體視覺法功耗低，不需要人為的設(shè)置輻射源，只利用場景在自然光照條件下的二維圖像來重建物體的三維信息，在這種應(yīng)用環(huán)境下具有適應(yīng)性強(qiáng)、實(shí)現(xiàn)手段靈活、造價(jià)低的優(yōu)點(diǎn)，是目前研究最多、應(yīng)用最廣泛的技術(shù)之一。
[0004]雙目立體視覺方法采用兩臺攝像機(jī)模擬人類雙眼處理景物的方式，從兩個(gè)視點(diǎn)觀察同一場景，獲得不同視角下的一對圖像，然后通過左右圖像間的匹配點(diǎn)，恢復(fù)出場景中目標(biāo)物體的幾何形狀和位置等三維信息。該項(xiàng)技術(shù)在機(jī)器人視覺、車輛自主駕駛、多自由度機(jī)械裝置控制、非接觸自動在線檢測等領(lǐng)域均具有很大的應(yīng)用價(jià)值。
[0005]立體視覺雖然經(jīng)過20多年的發(fā)展，但是無論從視覺生理角度，還是從實(shí)際應(yīng)用角度來看，現(xiàn)有的立體視覺技術(shù)還處于不成熟的階段?；诹Ⅲw視覺的三維重建技術(shù)在一些核心算法上仍然存在有待解決的問題。立體匹配中如何選擇合理的匹配特征，從而克服匹配準(zhǔn)確性與恢復(fù)視差全面性間的矛盾；如何選擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu)，從而解決存在灰度失真、幾何畸變、噪聲干擾及遮擋景物的匹配問題；如何建立更加有效的圖像表達(dá)形式和立體視覺模型，從而更充分地反映景物的本質(zhì)屬性，為匹配提供更多的約束信息，降低立體匹配的難度。
[0006]因此，目前三維重建研究工作還有待進(jìn)一步的改進(jìn)。
[0007]本專利基于FAST特征檢測、SURF描述以及Delaunay三角剖分算法等，能夠快速精確地對目標(biāo)物體進(jìn)行被動三維重建，具有較為廣泛的應(yīng)用范圍和良好的應(yīng)用前景。

【發(fā)明內(nèi)容】
[0008]本發(fā)明的目的在于彌補(bǔ)現(xiàn)有圖像拼接算法在速度、重建精度上、模型逼真度等方面的不足，提供一種視覺測量中的快速三維重建方法，能夠快速自動對空間繩系機(jī)器人雙目立體視覺系統(tǒng)采集到的左右圖像進(jìn)行三維重建。
[0009]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為:
[0010]一種視覺測量中的快速三維重建方法，首先進(jìn)行攝像機(jī)內(nèi)參和外參的標(biāo)定，然后采集立體圖像對并根據(jù)攝像機(jī)標(biāo)定結(jié)果對圖像對進(jìn)行對極線校正，然后進(jìn)行特征點(diǎn)檢測與描述，接著進(jìn)行特征點(diǎn)匹配，結(jié)束后，利用匹配結(jié)果計(jì)算出其在世界坐標(biāo)系中的三維坐標(biāo)，最后利用Delaunay三角剖分對左圖像進(jìn)行三角剖分，得到頂點(diǎn)編號，最后利用OpenGL將三角形逐個(gè)貼到計(jì)算出的三維坐標(biāo)上，即可。
[0011]對采集到的圖像對進(jìn)行對極線校正之前，首先對其進(jìn)行中值濾波和維納濾波。
[0012]特征點(diǎn)描述之后，采取特征點(diǎn)勻散化，所述特征點(diǎn)勻散化即分別計(jì)算特征點(diǎn)之間的歐式距離，如果兩者距離小于10個(gè)像素，則刪除其中任意一個(gè)，如果兩者距離大于或等于10個(gè)像素，則全部保留。
[0013]特征點(diǎn)匹配的具體方法為:
[0014](I)利用FLANN匹配算法對特征點(diǎn)集進(jìn)行匹配，得到匹配特征點(diǎn)集{Plml，Plffl2,…，PlmcJ 和{Prml，f*rm2> ，PrmcJ ;
[0015](2)計(jì)算各個(gè)匹配點(diǎn)之間的歐式距離dlrl，dlr2,…，dlrc ；
[0016](3)對于匹配特征點(diǎn)集{Plml，Plm2,…，PlmJ和{P-，Prm2,…，PrmJ中的每個(gè)特征點(diǎn)，如果dw〈2 X dmin，其中，dlri為第i個(gè)歐式距離，dmin為歐式距離中的最小值，則該該特征點(diǎn)對視為正確匹配，保留該特征點(diǎn)對Plmi和Pnni ^口果屯^≥2Xdmin，該特征點(diǎn)對視為錯(cuò)誤匹配，剔除該特征點(diǎn)對Plmi和P-。
[0017]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果:本發(fā)明采用FAST算法進(jìn)行特征點(diǎn)提取極大地提高了檢測速度；通過設(shè)計(jì)的勻散化策略避免了特征點(diǎn)聚集，提高了重建精度；通過Delaunay三角剖分技術(shù)并結(jié)合OpenGL,使得三維重建結(jié)果能夠逼真的顯示。
[0018]此外，本發(fā)明還具有以下優(yōu)點(diǎn):
[0019]1、算法的耗時(shí)較少，重建速度顯著提高；
[0020]2、三維重建精度與逼真度較高；
[0021]3、應(yīng)用場景比較廣泛。
[0022]本發(fā)明的方法易于實(shí)現(xiàn)和應(yīng)用，主要可以應(yīng)用于以下幾個(gè)方面:
[0023]1、機(jī)器人應(yīng)用場景的三維重建；
[0024]2、雙目立體視覺測量系統(tǒng)。
【專利附圖】

【附圖說明】
[0025]圖1為本發(fā)明的算法總流程框圖。
[0026]圖2為雙目立體視覺三維重建原理圖。
[0027]圖3為左右相機(jī)采集到的原始圖像經(jīng)校正變換后的圖像對。
[0028]圖4為得到的逼真三維圖像效果。
【具體實(shí)施方式】[0029]以下結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)的描述。應(yīng)當(dāng)指出的是，所描述的實(shí)施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
[0030]如圖1所示，本發(fā)明實(shí)施例提供的快速三維重建方法包括:
[0031](I)圖像采集
[0032]左右兩臺相機(jī)對目標(biāo)圖像同步進(jìn)行采集，分別得到左圖像I1(Xj),右圖像Ir (χ, y)。
[0033](2)圖像預(yù)處理
[0034]對采集到的圖像I1Uy)和Ir(x，y)分別進(jìn)行中值濾波和維納濾波，得到平滑的目標(biāo)圖像對 Iel (χ’，y’)和 lra(x’，y’)。
[0035](3)攝像機(jī)標(biāo)定
[0036]采用張定友標(biāo)定法，利用左右相機(jī)多次采集到的圖像對進(jìn)行攝像機(jī)標(biāo)定，得到各自的內(nèi)參數(shù)矩陣A1, A1^以及外參數(shù)矩陣[Rxt1], [Rrtr] .
[0037]其中關(guān)于步驟(3)如何具體操作，為本領(lǐng)域公知技術(shù)，可參考文獻(xiàn)l“Bradski GaryBradski, Kaebler Adrian Kaebler.學(xué)習(xí)OpenCV.于仕琪，劉瑞被，譯.北京:清華大學(xué)出版社，2009:414-429.”，此處不再贅述。
[0038](4)對極幾何校正及圖像變換
[0039]利用步驟(3)攝像機(jī)標(biāo)定的結(jié)果，對步驟(2)得到的左圖像Icd(X’，y’ )和右圖像lra(x’，y’ )進(jìn)行極線校正變換，從而獲得左右極線對齊后的圖像對Id(X’’，y’’)和lcr(x，，，y，，)。
[0040]其中關(guān)于步驟(4)如何具體操作，為本領(lǐng)域公知技術(shù)，可參考文獻(xiàn)2“Bradski GaryBradski, Kaebler Adrian Kaebler.學(xué)習(xí)OpenCV.于仕琪，劉瑞被，譯.北京:清華大學(xué)出版社，2009:430-432.”，此處不再贅述。
[0041](5)特征點(diǎn)檢測與匹配
[0042]采用FAST算法，分別對步驟(4)得到的極線對齊后的圖像對Id(x’’，y’’)和I?(x’ ’，y’ ’)進(jìn)行特征點(diǎn)檢測，利用SURF算法進(jìn)行特征描述，同時(shí)采取特征點(diǎn)勻散化策略，得到特征點(diǎn)集{P1()1，Pltj2,…，PltJ 和{pm1，pm2，…，PmJ。
[0043]其中關(guān)于如何進(jìn)行特征點(diǎn)檢測以及如何進(jìn)行特征點(diǎn)描述，為本領(lǐng)域公知技術(shù)，可參考文獻(xiàn) 3 uRosten E, Porter R, Drummond T.Faster and better:A machinelearning approach to corner detect1n[J].1EEE Transact1ns on Pattern Analysisand Machine Intelligence, 2010，32 (I):105-119.”,文獻(xiàn) 4 “Bay H, Tuytelaars T, GoolL V.SURF: speeded uprobust features.The9th European Conference on ComputerVis1n, 2006.”，此處不再贅述。
[0044]其中所述的特征點(diǎn)勻散化策略就是，分別計(jì)算特征點(diǎn)之間的歐氏距離，如果兩者距離小于10個(gè)像素，則刪除其中任意一個(gè)。如果兩者距離大于等于10個(gè)像素，則全部保留。
[0045]然后利用FLANN匹配算法對特征點(diǎn)集{P1()1，Plo2,…，PloJ和{PMl，Pro2,…，PronI進(jìn)行匹配，由此得到匹配特征點(diǎn)集{plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PnJ。
[0046] 采用閾值法對上述匹配特征點(diǎn)集{Plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PJ進(jìn)行錯(cuò)誤匹配點(diǎn)的剔除。方法如下:分別計(jì)算各匹配點(diǎn)之間的歐式距離dlrt，dlr2,…，dlM。計(jì)算得到其中的最小距離Clniintl[0047]對匹配特征點(diǎn)集{Plml，Plm2,…，PlmcJ和{P,ml，Prm2,…，PnJ中每個(gè)特征點(diǎn)對進(jìn)行如下判斷，如果《2乂(1_，其中，d1H為第i個(gè)歐式距離，該特征點(diǎn)對視為正確匹配，則保留該特征點(diǎn)對Plmi和Pnoi ;如果d1H ^ 2Xdmin，該特征點(diǎn)對視為錯(cuò)誤匹配，則剔除該特征點(diǎn)對Plmi和Prmi。經(jīng)過該步驟后得到正確匹配的特征點(diǎn)集{Plfml，Plfm2,…，Plfmj}和{Prfml，Prfm2,…，Prfmjl。
[0048](6)計(jì)算3D坐標(biāo):
[0049]根據(jù)如圖2所示的視差原理，利用步驟(5)得到的正確匹配點(diǎn)對可以相應(yīng)的求出其在世界坐標(biāo)系中的三維坐標(biāo)。圖中B表示左右相機(jī)之間的基線距離，f為左右相機(jī)鏡頭焦距。P(X，Y，Z)表示世界坐標(biāo)系中的一個(gè)點(diǎn)坐標(biāo)，其在左相機(jī)成像中投影為(Xl，yi)，其在右相機(jī)成像中投影為
[0050](Xl, Yl)和(xr，yr)即為步驟(5)中正確的匹配點(diǎn)對。
[0051](X1, Y1)和(Xr，yr)用各自圖像上的像素坐標(biāo)表示，B和P (X，Y，Z)用毫米表示，f?用像素表示。根據(jù)相似三角形的知識就可以推出:
【權(quán)利要求】
1.一種視覺測量中的快速三維重建方法，其特征在于:首先進(jìn)行攝像機(jī)內(nèi)參和外參的標(biāo)定，然后采集立體圖像對并根據(jù)攝像機(jī)標(biāo)定結(jié)果對圖像對進(jìn)行對極線校正，然后進(jìn)行特征點(diǎn)檢測與描述，接著進(jìn)行特征點(diǎn)匹配，結(jié)束后，利用匹配結(jié)果計(jì)算出其在世界坐標(biāo)系中的三維坐標(biāo)，最后利用Delaunay三角剖分對左圖像進(jìn)行三角剖分，得到頂點(diǎn)編號，最后利用OpenGL將三角形逐個(gè)貼到計(jì)算出的三維坐標(biāo)上，即可。
2.根據(jù)權(quán)利要求1所述的一種視覺測量中的快速三維重建方法，其特征在于:對采集到的圖像對進(jìn)行對極線校正之前，首先對其進(jìn)行中值濾波和維納濾波。
3.根據(jù)權(quán)利要求1所述的一種視覺測量中的快速三維重建方法，其特征在于:特征點(diǎn)描述之后，采取特征點(diǎn)勻散化，所述特征點(diǎn)勻散化即分別計(jì)算特征點(diǎn)之間的歐式距離，如果兩者距離小于10個(gè)像素，則刪除其中任意一個(gè)，如果兩者距離大于或等于10個(gè)像素，則全部保留。
4.根據(jù)權(quán)利要求1所述的一種視覺測量中的快速三維重建方法，其特征在于:特征點(diǎn)匹配的具體方法為: (1)利用FLANN匹配算法對特征點(diǎn)集進(jìn)行匹配，得到匹配特征點(diǎn)集{Plml，Plffl2,…，PlmcJ和{Prml, Prm2， ，Prmc}; (2)計(jì)算各個(gè)匹配點(diǎn)之間的歐式距離dlrl，dlr2,-,dlrc ； (3)對于匹配特征點(diǎn)集{Plml,Plm2,...，PlmJ和{Prml, Prm2,...，PrmJ中的每個(gè)特征點(diǎn)，如果dlri<2 X dmin，其中，dlri為第i個(gè)歐式距離，dmin為歐式距離中的最小值，則該該特征點(diǎn)對視為正確匹配，保留該特 征點(diǎn)對Plmi和Pnili ;如果d1H ^ 2 Xdmin，該特征點(diǎn)對視為錯(cuò)誤匹配，剔除該特征點(diǎn)對Plmi和P-。
【文檔編號】G06T17/00GK104036541SQ201410128774
【公開日】2014年9月10日 申請日期:2014年4月1日 優(yōu)先權(quán)日:2014年4月1日
【發(fā)明者】黃攀峰, 蔡佳, 張彬, 臺健生, 龔思怡 申請人:西北工業(yè)大學(xué)