一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法
【專利摘要】本發(fā)明公開了一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，包括：首先獲取被掃描物的多張近景攝影圖像，并通過地面激光雷達獲取所述被掃描物的三維點云；接著基于多張近景攝影圖像的金字塔影像進行SIFT特征提取與匹配，并根據匹配結果生成被掃描物的自由網模型；以三維點云和影像中的特征點為控制點對自由網模型進行光束法平差以實現(xiàn)對多張近景攝影圖像的粗定向；基于三維點云基準面均勻網格對點云采樣生成的三維點云深度圖像模型完成多張近景攝影圖像中相鄰兩張近景攝影圖像的同名像點的預測和密集匹配，并生成被掃描物的影像點云；對獲取的被掃描物的三維點云與影像點云進行ICP循環(huán)迭代配準最后實現(xiàn)高精度配準。
【專利說明】一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法
【技術領域】
[0001]本發(fā)明屬于地面激光雷達與攝影測量數(shù)據融合領域。由于地面激光雷達數(shù)據需要紋理數(shù)據，所以需要二者進行配準后，方能進行數(shù)據融合。本發(fā)明主要研究地面激光雷達點云與攝影測量影像的高精度配準的新方法，從而進行兩種數(shù)據后續(xù)的融合和重建。
【背景技術】
[0002]地面激光雷達能夠快速、大面積、高精度的獲取被掃描對象的三維點云模型，從而進行三維幾何重建，但是其缺乏紋理信息，要通過與紋理影像的配準方能進行三維紋理重建。目前，獲取紋理的方式有兩種:一種是單張紋理影像，另一種是攝影測量影像。單張紋理影像與點云的配準是二維與三維的配準，由于兩種數(shù)據分辨率的差異，紋理映射時相鄰兩張影像會出現(xiàn)紋理接縫現(xiàn)象，但是攝影測量數(shù)據相鄰影像間應用匹配技術進行連接，匹配精度在一個像素內就消除了接縫問題，所以，本發(fā)明針對激光雷達與攝影測量數(shù)據的配準進行研究。
[0003]攝影測量數(shù)據可以通過二維影像恢復三維信息，生成影像點云，影像點云與三維點云進行配準，使激光雷達數(shù)據具有紋理信息，達到數(shù)據融合的目的。目前，國內外學者對該問題已經進行了一些研究。A.F.Habib等于2005年探討了 LIDAR點云與與數(shù)字近景攝影測量一體化的方法，將LIDAR數(shù)據作為控制框架來確定像對比例參數(shù)，并給出了利用線性特征來完成LIDAR點云與影像的對應關系，同時還探討了基于影像數(shù)據分割的點云中巖石信息的提取，但是該方法的線性特征使用手動進行的提取。Kwak等也做了利用平面特征來實現(xiàn)航空LIDAR與影像數(shù)據配準。武漢大學的鄧非于2007年提出了一種激光掃描數(shù)據和數(shù)字圖像配準的方法。該方法基于立體像對匹配點與三維掃描點云的最近鄰迭代配準。該算法計算量比較大，并且需要人工在激光點云和數(shù)字影像上粗略地選取若干連接點計算初始外方位元素值，精確度會受到影響。中國科學院光電研究院的米曉峰于2010等提出了一種LiDAR數(shù)據與立體像對的自動配準方法，通過立體相對特征點光線與LiDAR三角網相交的三維點的一致性對影像的姿態(tài)參數(shù)進行修正而得到同名匹配點，從而進行兩種數(shù)據的配準，達到點云數(shù)據與影像數(shù)據的融合。武漢大學的翟瑞芳等與2011年用旋轉平臺掃描系統(tǒng)與攝影方法實現(xiàn)小型文物的激光點云與影像點云的融合，兩者融合配準選用了控制點初定位與ICP相結合的算法，對于紋理重建沒有做深入研究。這種攝影方式的配準方式主要是影像點云與激光點云的配準，對于紋理匱乏的對象，影像點云難以生成，配準比較困難。李海亮等于2012年研究利用影像邊緣修補點云，攝影幅面較大，沒有考慮關鍵特征的提取與匹配，且影像配準中手工選取控制點，誤差較大，無法完成復雜場景的精密修補與精確融合，效率也低。趙自明等于2012年也做了類似研究，將影像與點云進行配準，然后利用影像投影邊緣構造局部曲面內插來修補點云數(shù)據，能夠修補一些規(guī)則或平滑曲面特征，對于復雜形體修補欠缺且研究不涉及紋理模型的重建。
[0004]上述研究成果，有的是自動化程度低，有的是在某些已知條件下生成影像點云模型，然后進行影像點云與激光雷達掃描點云的配準。目前近景攝影測量影像是用非量測相機人工獲取的，并且在掃描對象上無影像控制點，在無控制點的情況下，就要以激光掃描點云為整體控制，這種情況不符合原來攝影測量數(shù)據的處理方式，不能生成準確的影像點云與之進行配準，這也是本發(fā)明要解決的主要問題。
【發(fā)明內容】
[0005]本發(fā)明針對以上要解決的技術問題，提出了一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，該方法實現(xiàn)了無控制點條件下攝影測量影像的高精度定向，同時給出了以激光雷達點云為約束的影像密集點云的生成方法，最后實現(xiàn)了以激光雷達點云為控制的攝影測量數(shù)據與激光雷達數(shù)據的高精度配準。
[0006]本發(fā)明提供的技術方案為:
[0007]—種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其包括以下步驟:
[0008]步驟一、獲取被掃描物的多張近景攝影圖像，并通過地面激光雷達獲取所述被掃描物的三維點云；
[0009]步驟二、生成所述多張近景攝影圖像對應的金字塔影像，并基于多張近景攝影圖像的金字塔影像進行由粗到細的SIFT特征提取與匹配，與此同時根據匹配結果建立被掃描物的自由網模型；
[0010]步驟三、從所述三維點云和其中幾張近景攝影圖像上任意選取至少四對控制點，并基于所述控制點對所述自由網模型進行光束法平差以實現(xiàn)對多張近景攝影圖像的粗定向；
[0011]步驟四、對完成粗定向的多張近景攝影圖像中的第一張近景攝影圖像分網格提取密集特征點，并以三維點云的深度圖像模型為約束，獲取每個特征點在相鄰的第二張近景攝影圖像上的概略位置，然后再進行灰度匹配和最小二乘匹配，以此完成多張近景攝影圖像中相鄰兩張近景攝影圖像的同名像點的密集匹配；
[0012]步驟五、基于上述密集匹配結果生成被掃描物的影像點云；
[0013]步驟六、對獲取的被掃描物的三維點云與影像點云進行ICP循環(huán)迭代以實現(xiàn)高精度配準。
[0014]優(yōu)選的是，所述地面激光雷達與近景攝影測量數(shù)據的高精度配準方法還包括:
[0015]步驟七、若被掃描物的三維點云與影像點云配準精度不夠，則根據最終的配準結果選取出高精度配準點，返回所述步驟三繼續(xù)進行配準，直到滿足設定的配準精度。
[0016]優(yōu)選的是，所述步驟二中，所述SIFT特征提取與匹配的過程包括:
[0017]首先對多張近景攝影圖像的頂層金字塔影像進行SIFT特征提取與匹配和RANSAC提純，并應用雙向匹配一致性約束進行反向匹配；
[0018]其次對下一層金字塔影像進行SIFT特征提取與匹配，并基于上一層金字塔影像的匹配結果進行誤匹配點的剔除，直到最底層金字塔影像。
[0019]優(yōu)選的是，在不同近景攝影圖像的最底層金字塔影像還包括利用最小二乘法進行同名像點的匹配。
[0020]優(yōu)選的是，所述步驟四中，包括:
[0021]將獲得的第一張近景攝影圖像上的各個密集特征點分別與該影像的攝影中心構成一條空間直線，并計算每一個密集特征點對應的空間直線與三維點云深度圖像模型的基準面之間的交點；
[0022]對于求得的與基準面的每一個交點而言，
[0023]計算其在深度圖像模型基準面中的第一格網號，并利用此時的基準面空間位置、第一格網號及該第一格網號上的深度值重新生成一個平行于所述基準面的第一平面；
[0024]再根據該空間直線與第一平面的交點計算該交點在第一平面中的第二格網號，繼續(xù)利用第一平面的空間位置、第二格網號及該第二格網號的深度值再重新生成一個平行于所述基準面的第二平面；
[0025]直到獲得的格網號的深度值小于預設閾值，即確定該格網號所對應的深度圖像模型上的點為該空間直線對應的密集特征點在深度圖像模型上的物方點。
[0026]優(yōu)選的是，還包括:
[0027]根據獲得的第一張近景攝影圖像上的各個密集特征點在深度圖像模型上的物方點，分別與第二張近景攝影圖像的攝影中心構成一條空間直線，計算這些空間直線與所述第二張近景攝影圖像的空間平面方程的交點，得到第一張近景攝影圖像上的各個密集特征點在第二張近景攝影圖像上同名點的概略位置。
[0028]優(yōu)選的是，所述第二張近景攝影圖像的空間平面方程由其粗定向參數(shù)確定。
[0029]優(yōu)選的是，所述步驟五中，采用前方交會的方法獲取被掃描物的影像點云。
[0030]本發(fā)明提供的方法解決了無控制點條件下的激光雷達點云與攝影測量數(shù)據的高精度配準，以SIFT匹配和激光雷達點為控制點進行粗配準，再應用激光雷達深度圖像數(shù)據模型為約束進行影像的密集匹配生成影像點云，應用影像點云與激光雷點云的循環(huán)迭代配準修正影像定向參數(shù)，直至影像點云與激光點云配準精度滿足要求為止。該方案打破了原有的需要控制點生成高精度影像點云再與激光雷達點云進行配準的方式，采取由粗到細的循環(huán)迭代配準的方式達到兩種數(shù)據的高精度配準。
[0031]具體來說，可體現(xiàn)在以下幾方面:
[0032]其一、本發(fā)明無需在被掃描物上建立控制點，應用激光掃描點云作為整體的控制，較之目前的通過建立控制點生成影像點云的方法相比，該發(fā)明即保護了掃描的對象(如一些文化遺產)，又提高了工作效率；
[0033]其二、本發(fā)明以被掃描物的激光雷達深度圖像數(shù)據模型為約束，生成影像密集點云，保證影像點云的密度進而與激光雷達點云進行ICP配準，該發(fā)明較之目前的應用核線約束的匹配，縮小了匹配范圍，提高了匹配的準確度和效率；
[0034]其三、本發(fā)明采用由粗到細、循環(huán)迭代的方式，達到了攝影測量影像與激光掃描點云的高精度配準。應用粗定向的點云與激光點云配準結果，提取高精度的控制點，對影像定向結果進行修正，然后再與點云配準，最后達到兩者的高精度配準。較之目前的先應用控制點獲取影像點云然后再與激光點云配準的方法，該發(fā)明的理論更嚴密，結果更精確。
【專利附圖】
【附圖說明】
[0035]圖1為本發(fā)明提供的激光三維點云與近景攝影圖像的整體配準流程圖；
[0036]圖2為本發(fā)明提供的其中一種實施例的兩張近景攝影圖像的頂層金字塔影像的SIFT特征匹配示意圖；
[0037]圖3為圖2中兩張近景攝影圖像的下一層金字塔影像的SIFT特征匹配示意圖；[0038]圖4為圖2中兩張近景攝影圖像的最終SIFT特征匹配示意圖；
[0039]圖5為本發(fā)明提供的近景攝影圖像的金字塔影像SIFT特征匹配流程圖；
[0040]圖6為本發(fā)明提供的多張近景攝影圖像的SIFT特征匹配效果圖；
[0041]圖7為本發(fā)明提供的多張近景攝影圖像的粗定向流程圖；
[0042]圖8為本發(fā)明其中一種實施例的近景攝影圖像的密集特征點的提取效果圖；
[0043]圖9為本發(fā)明提供的相鄰兩張近景攝影圖像的同名像點的預測示意圖；
[0044]圖10為本發(fā)明其中一種實施例的相鄰兩張近景攝影圖像的同名像點的密集匹配結果;
[0045]圖11為本發(fā)明其中一種實施例的被掃描物的三維點云模型；
[0046]圖12為本發(fā)明其中一種實施例的被掃描物的三維點云模型與影像點云的配準效果圖；
[0047]圖13為圖12中的被掃描物的三維點云模型與影像點云配準后的三維重建示意圖。
圖14為求取近景攝影圖像上密集特征點對應的空間直線與三維點云深度圖像模型的基準面交點的示意圖。
【具體實施方式】
[0048]下面結合附圖對本發(fā)明做進一步的詳細說明，以令本領域技術人員參照說明書文字能夠據以實施。
[0049]地面激光雷達通過掃描的方式獲取被掃描物的三維信息，進行幾何重建。為了完成紋理重建需對對象進行拍照，通過兩種數(shù)據的配準進行三維紋理重建。單張影像與點云的配準由于兩者分辨率的差異，在紋理重建時相鄰兩張影像間會出現(xiàn)紋理接縫現(xiàn)象，所以本發(fā)明針對激光雷達掃描點云和近景攝影測量影像進行研究，用高重疊度影像的相對定向消除相鄰影像間的紋理接縫，用影像點云與激光點云間高精度的配準進行三維重建。
[0050]如圖1所示為本發(fā)明提供的激光三維點云與近景攝影圖像的整體配準流程圖，即本發(fā)明提供了一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，包括以下步驟:
[0051]步驟一、獲取被掃描物的多張近景攝影圖像，并通過地面激光雷達獲取所述被掃描物的三維點云(激光點云)；
[0052]步驟二、生成所述多張近景攝影圖像對應的金字塔影像，并基于多張近景攝影圖像的金字塔影像進行SIFT特征提取與匹配(基于SIFT特征實現(xiàn)影像連接點的自動匹配)，與此同時根據匹配結果生成被掃描物的自由網模型；
[0053]這里，所述SIFT特征提取與匹配的過程包括:
[0054]首先對多張近景攝影圖像的頂層金字塔影像進行SIFT特征提取與匹配和RANSAC提純，并應用雙向匹配一致性約束進行反向匹配；
[0055]其次對下一層金字塔影像進行SIFT特征提取與匹配，并基于上一層金字塔影像的匹配結果進行誤匹配點的剔除，直到最底層金字塔影像。
[0056]具體來說，匹配整體思路是:在縱向上以SIFT特征匹配和最小二乘匹配為基礎，在橫向上以每層金字塔影像匹配結果為約束條件，進行粗差的剔除，并根據金字塔影像的特點，對每層影像的誤匹配點剔除按照約束條件的可靠性采取由粗到細、層層遞進的策略。整體匹配過程如下:
[0057]101、在兩張相鄰近景攝影圖像的頂層金字塔影像上進行SIFT特征匹配和RANSAC提純，并應用雙向匹配一致性約束進行反向匹配。根據江萬壽在博士論文中所敘述的，頂層影像生成的匹配點有很高的可靠性。本發(fā)明也通過大量的實驗證明了這一點，如圖2所示，雖然匹配出的同名點有限，但是匹配可靠性很好。
[0058]102、在上述兩張近景攝影圖像的下一層金字塔影像中，同樣進行SIFT特征匹配。這時生成了很多匹配點，從匹配結果中可以明顯看出一些誤匹配點，如圖3所示。此時應用唯一性約束、連續(xù)性約束、RANSAC約束、反相匹配約束對匹配點對進行提純處理，直至底層影像。
[0059]103、在最底層影像中同樣也進行SIFT特征提取與匹配，經過誤匹配的剔除后，同名點的可靠性和精度已經很高，但是為了進一步提高匹配精度，在此應用最小二乘匹配進行高精度配準。最后的匹配結果如圖4所示。圖5給出了本發(fā)明提供的近景攝影圖像的金字塔影像SIFT特征匹配流程圖，一般需要經過彩色影像的灰度轉換、影像畸變校正、濾波處理才生成近景攝影圖像的金字塔影像。
[0060]應用上述的匹配方法進行近景攝影圖像間連接點的自動匹配，圖6給出了本發(fā)明提供的多張近景攝影圖像的SIFT特征匹配效果圖。
[0061]接著，根據不同近景攝影圖像之間匹配好的連接點進行相對定向模型連接，以生成被掃描物的自由網模型。
[0062]步驟三、從所述三維點云和其中幾張近景攝影圖像上任意選取至少四對控制點，并基于所述控制點對所述自由網模型進行光束法平差以實現(xiàn)對多張近景攝影圖像的粗定向；
[0063]這里，由于激光點(三維點`云)的精度有限，所以該定向過程為粗定向。圖7給出了本發(fā)明提供的多張近景攝影圖像的粗定向流程圖；其中對影像的粗定向即可獲取影像的外方位元素。所述外方位元素就是要確定相機在攝影瞬間的位置和姿態(tài)(X0，y0，ZO;?，φ，κ)，其中，X0，y0，z0表征了影像的攝影中心在地面坐標系中的坐標，ω，φ，κ描述了攝影光束空間姿態(tài)的三個角元素。
[0064]步驟四、對完成粗定向的多張近景攝影圖像中的第一張近景攝影圖像分網格提取密集特征點，并以三維點云的深度圖像模型為約束，獲取每個特征點在相鄰的第二張近景攝影圖像上的概略位置，以此完成多張近景攝影圖像中相鄰兩張近景攝影圖像的同名像點的密集匹配；
[0065]這里，首先為了使掃描物的影像點云能夠比較均勻，易于與激光點云進行配準，本發(fā)明對影像進行分網格密集提取，應用Harris特征進行提取，提取的結果如圖8所示。Harris算子計算簡單，穩(wěn)定性好，可快速提取出穩(wěn)定的特征點，但其精度只能達到整像素級算子定位精度高，可達子像素級，但需要確定閾值，因此受圖像灰度、對比度變化的影響。因此可將二者結合起來，即用Harris算子提取出一定數(shù)量的特征點，然后用這些特征點作為FGrstner的最佳窗口的中心點，在窗口內進行加權重心化，以精確定位特征點。
[0066]由于分網格提取的點數(shù)量大，為了快速高精度的匹配，本發(fā)明應用激光雷達獲得的三維點云的深度圖像模型作為約束。深度圖像模型是根據點云的分塊結果，擬合平面基準面，在基準面上分網格內插出格網點到點云的深度值得到。該圖像具有空間位置和姿態(tài)，以二維點陣方式存儲點云到該平面的深度，通過相應參數(shù)的計算，可以表達三維模型。在步驟三影像粗定向的基礎上，可以通過該深度圖像模型對相鄰兩張近景攝影圖像的同名像點進行預測，如圖9所示。
[0067]應用深度圖像模型進行約束的點云密集匹配的過程如下:
[0068]首先、將獲得的第一張近景攝影圖像上的各個密集特征點分別與該影像的攝影中心Si構成一條空間直線，并計算每一個密集特征點對應的空間直線與三維點云深度圖像模型的基準面之間的交點，計算過程如下:
[0069]如圖14所示，直線與平面存在交點，已知直線L過點m(ml，m2, m3)，方向向量Vl(vl, v2, v3),平面P過點n(nl, n2, n3),平面法向量Vp (vpl, vp2, vp3),求得直線與平面的交點為ο (X，y, z)，下面將詳細介紹求解過程:
[0070]
[0071]直線方程的參數(shù)方程形式如下式(I):
[0072]x=ml+vl*t
[0073]y=m2+v2*t (I)
[0074]z=m3+v3*t
[0075]平面的點法式方程形式如式(2):
[0076]vpl*(x-nl)+vp2*(y_n2)+vp3*(z_n3)=0 (2)
[0077]則直線與平面的交點一定滿足式(I)、(2)，將上兩式聯(lián)立求得:
【權利要求】
1.一種地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，包括以下步驟: 步驟一、獲取被掃描物的多張近景攝影圖像，并通過地面激光雷達獲取所述被掃描物的三維點云； 步驟二、生成所述多張近景攝影圖像對應的金字塔影像，并基于多張近景攝影圖像的金字塔影像進行由粗到細的SIFT特征提取與匹配，與此同時根據匹配結果建立被掃描物的自由網模型； 步驟三、從所述三維點云和其中幾張近景攝影圖像上任意選取至少四對控制點，并基于所述控制點對所述自由網模型進行光束法平差以實現(xiàn)對多張近景攝影圖像的粗定向； 步驟四、對完成粗定向的多張近景攝影圖像中的第一張近景攝影圖像分網格提取密集特征點，并以三維點云的深度圖像模型為約束，獲取每個特征點在相鄰的第二張近景攝影圖像上的概略位置，然后再進行灰度匹配和最小二乘匹配，以此完成多張近景攝影圖像中相鄰兩張近景攝影圖像的同名像點的密集匹配； 步驟五、基于上述密集匹配結果生成被掃描物的影像點云； 步驟六、對獲取的被 掃描物的三維點云與影像點云進行ICP循環(huán)迭代以實現(xiàn)高精度配準。
2.如權利要求1所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，還包括: 步驟七、若被掃描物的三維點云與影像點云配準精度不夠，則根據最終的配準結果選取出高精度配準點，返回所述步驟三繼續(xù)進行配準，直到滿足設定的配準精度。
3.如權利要求1所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，所述步驟二中，所述SIFT特征提取與匹配的過程包括: 首先對多張近景攝影圖像的頂層金字塔影像進行SIFT特征提取與匹配，并應用雙向匹配一致性約束進行反向匹配； 其次對下一層金字塔影像進行SIFT特征提取與匹配，并基于上一層金字塔影像的匹配結果進行誤匹配點的剔除，直到最底層金字塔影像。
4.如權利要求3所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，在不同近景攝影圖像的最底層金字塔影像還包括利用最小二乘法進行同名像點的匹配。
5.如權利要求1所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，所述步驟四中，包括: 將獲得的第一張近景攝影圖像上的各個密集特征點分別與該影像的攝影中心構成一條空間直線，并計算每一個密集特征點對應的空間直線與三維點云深度圖像模型的基準面之間的交點； 對于求得的與基準面的每一個交點而言， 計算其在深度圖像模型基準面中的第一格網號，并利用此時的基準面空間位置、第一格網號及該第一格網號上的深度值重新生成一個平行于所述基準面的第一平面； 再根據該空間直線與第一平面的交點計算該交點在第一平面中的第二格網號，繼續(xù)利用利用第一平面的空間位置、第二格網號及該第二格網號的深度值再重新生成一個平行于所述基準面的第二平面； 直到獲得的格網號的深度值小于預設閾值，即確定該格網號所對應的深度圖像模型上的點為該空間直線對應的密集特征點在深度圖像模型上的物方點。
6.如權利要求5所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，還包括: 根據獲得的第一張近景攝影圖像上的各個密集特征點在深度圖像模型上的物方點，分別與第二張近景攝影圖像的攝影中心構成一條空間直線，計算這些空間直線與所述第二張近景攝影圖像的空間平面方程的交點，得到第一張近景攝影圖像上的各個密集特征點在第二張近景攝影圖像上同名點的概略位置。
7.如權利要求6所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，所述第二張近景攝影圖像的空間平面方程由其粗定向參數(shù)確定。
8.如權利要求1所述的地面激光雷達與近景攝影測量數(shù)據的高精度配準方法，其特征在于，所述步驟五中，采用前方交會的方法獲取被掃描物的影像點云。
【文檔編號】G01C11/04GK103744086SQ201310717984
【公開日】2014年4月23日 申請日期:2013年12月23日 優(yōu)先權日:2013年12月23日
【發(fā)明者】王晏民, 胡春梅 申請人:北京建筑大學