一種用于月球車的三維立體重建方法
【專利摘要】本發(fā)明提供了一種用于月球車的三維立體重建方法，該方法對原始立體像對進行核線校正，基于自適應相關系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，基于動態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，并分別利用視差連續(xù)性、視差較同向性、匹配點序列方向一致性等作為約束條件進行判斷，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元，將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對的姿態(tài)參數(shù)進行前方交會獲得三維點云完成三維重建；本發(fā)明極大的提升了影像密集匹配的可靠性，大大的減少了影像匹配的錯誤像元，進而提高了用于月球車的三維立體重建軟件的可靠性。
【專利說明】—種用于月球車的三維立體重建方法
【技術領域】
[0001]本發(fā)明涉及一種重建算法，具體涉及一種用于月球車的三維立體重建方法，屬于計算機視覺領域、數(shù)字攝影測量領域以及空間探測【技術領域】。
【背景技術】
[0002]現(xiàn)有的基于密集匹配的三維立體重建技術大多是通過整體匹配或區(qū)域匹配的算法求得整體最優(yōu)匹配集，然后在此基礎上生成點云，對于生成的點云采用一些點云濾波算法進行粗差點的濾除。但是關于整體影像匹配有一個缺陷在于如果存在一個誤匹配點，由于匹配的整體相關性，它會連帶影響周邊正確的點，導致誤匹配增加，如果采用后期的點云濾波算法，那么點云的數(shù)量就會減少，因為在匹配過程中有可能匹配正確的點因為該誤差點的影響匹配出錯，而這些點在點云濾波算法中都會被當作錯誤點濾除。三維立體重建技術的核心就在于影響密集匹配點，重建質(zhì)量嚴重依賴于匹配點的精度以及密度。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提供了一種用于月球車的三維立體重建方法，能夠極大的提升了匹配點的質(zhì)量，從而提升了用于月球車的三維重建質(zhì)量。
[0004]一種用于月球車的三維立體重建方法，該重建方法具體步驟如下:
[0005]步驟一:獲取月球車的原始立體像對，分為左影像和右影像；
[0006]步驟二:對步驟一得到的原始立體像對進行核線校正，使得左影像和右影像上的同名點位于同一行上；
[0007]步驟三:針對左影像上的每一像元，基于自適應相關系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，具體如下:
[0008]對于左影像每一行上的每一個像元，在其右影像相應核線上進行相關系數(shù)匹配，計算出右影像核線上設定視差范圍內(nèi)所有像元的相關系數(shù)，然后利用最大堆算法求得前N個相關系數(shù)最大的像元作為候選匹配像元，再定義一個相關系數(shù)最低閾值，去除掉N個候選像元中小于最低閾值的像元，將此時保留下的像元作為最終的候選匹配像元集；
[0009]步驟四:針對左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對應的最佳子集，具體過程如下:
[0010]第I步:基于動態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，具體如下:
[0011]增加一個虛擬起點和虛擬終點，將虛擬起點和左影像一行中第一個像元對應的候選匹配像元集中的每一像元連接，將一行中最后一個像元對應的候選匹配像元集中的每一像元與虛擬終點進行連接，形成一個有向圖，求得從虛擬起點到虛擬終點權重和最小的路徑，該路徑經(jīng)過的候選匹配像元定義為候選匹配像元最佳子集；
[0012]第2步:針對第I步得到的候選匹配像元最佳子集，進行匹配像元序列一致性判斷，具體如下:[0013]對左影像上一行的像元匹配的過程中采用從左到右的方向與候選匹配像元最佳子集中的像元進行匹配，計算最佳子集中每個像元的逆序數(shù)，然后取最大逆序數(shù)對應的像元，將其從候選匹配像元集中刪除，同時刪除其在左影像對應的像元；然后判斷最佳子集中所有像元的逆序數(shù)是否都為0，若否，則返回第I步，重新獲得最佳子集，若是，則將此時左影像上與最佳子集匹配成功的兩像元定義為匹配像元對，進行下一步；
[0014]第3步:視差較一致性判斷；
[0015]具體方法為:對于所有匹配像元對，統(tǒng)計出匹配像元對的正向視差較以及負向視差較，取其大者作為整體視差較，對于不滿足整體視差較的匹配像元對，在候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進行下一步；
[0016]第4步:視差連續(xù)性判斷，即定義一個閾值，判斷最佳子集中相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者，返回第I步，重新獲得最佳子集；如果小于，則進入步驟五；
[0017]步驟五:針對左影像中的每一行對應的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元；
[0018]具體做法是:利用右影像上的最佳子集中設定鄰域內(nèi)的像元，計算出其與左影像中對應的像元的相關系數(shù)，將相關系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對應的X、Y值作為最佳匹配像元的坐標；
[0019]步驟六:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對的姿態(tài)參數(shù)進行前方交會獲得三維點云完成三維重建。
[0020]有益效果:
[0021]本發(fā)明針對傳統(tǒng)的動態(tài)規(guī)劃影像匹配易受誤差點的影響，一個噪聲點會連帶影響周邊一定區(qū)域內(nèi)的正確點的缺陷加以改進，利用視差連續(xù)性、視差較同向性、匹配點序列方向一致性等作為約束條件，極大的提升了影像密集匹配的可靠性，大大的減少了影像匹配的錯誤像元，進而提高了用于月球車的三維立體重建軟件的可靠性。
【專利附圖】

【附圖說明】
[0022]圖1為本發(fā)明用于月球車的三維立體重建方法的流程圖。
【具體實施方式】
[0023]下面結合附圖并舉實施例，對本發(fā)明進行詳細描述。
[0024]如附圖1所示，本發(fā)明提供了一種用于月球車的三維立體重建方法，該重建方法具體步驟如下:
[0025]步驟一:獲取月球車的原始立體像對。
[0026]月球車為對稱結構，所述的像對是通過照相機拍的其左右對稱結構。
[0027]步驟二:對原始立體像對進行核線校正，使得左右影像上的同名點位于同一行上，目的是為了減少搜索的范圍；所述的同名點指的是左右影像上的對應點。
[0028]核線校正為現(xiàn)有技術，又稱核線影像的生成方法。
[0029]對原始立體像對中左影像上的每一行做步驟三到步驟八的處理，直到所有行都處理完畢。
[0030]步驟三:針對左影像上的每一像元，基于自適應相關系數(shù)方法生成候選匹配像元，組成右影像的候選像元集；
[0031]該步驟的核心思想在于在保證候選像元數(shù)目的同時盡可能多的保證候選像元的質(zhì)量。具體做法為:對于左影像每一行上的每一個像元，在其右影像相應核線(右影像上相對應的行)上進行相關系數(shù)匹配，計算出右影像核線上設定視差范圍內(nèi)所有像元的相關系數(shù)，然后利用最大堆算法求得前N個相關系數(shù)最大的像元作為候選匹配像元，再定義一個相關系數(shù)最低閾值，去除掉N個候選匹配像元中小于最低閾值的像元，將此時保留下的像元作為最終的候選匹配像元集。[0032]上述步驟可以生成左影像所有像元在右影像上的候選匹配像元集，而正確的匹配像元就是所有候選匹配像元集中的一個子集。
[0033]步驟四:針對左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對應的最佳子集，具體過程如下:
[0034]第I步:基于動態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元的最佳子集；
[0035]該步驟的核心思想在于在所有候選像元中尋找到待匹配像元的最優(yōu)匹配像元。具體做法為:對于左影像任意一行上的每個像元，通過步驟三求得了該像元在右影像所有可能的候選匹配像元的集合。
[0036]所有右影像上的候選匹配像元集通過某種策略組成一個帶權值的有向圖，然后增加一個虛擬起點和虛擬終點，將虛擬起點和左影像一行中第一個像元對應的所有候選像元連接，最后一個像元對應的候選匹配像元集中的每一像元與虛擬終點進行連接，成為一個最終的有向圖，求得從虛擬起點到虛擬終點的權重和最小路徑，所述路徑經(jīng)過的候選匹配像元定義為候選匹配像元集最佳子集。
[0037]其中，構建有向圖的策略為:對于左影像上待匹配的兩個相鄰像元A、B，其像元A在右影像上的候選像元集為A1, A2,…An，其像元B在右影像上的候選像元集為B1, B2,…Bm。對于所有ADBjQGiXzr^K=^=!]!),構建Ai到Bj的有向邊。多余左影像上所有相鄰像元都經(jīng)過如上處理，則就構建了包含所有候選像元的一個有向圖。
[0038]其中AiBj 邊的權值定義為:q= (ClAiA-(IBjB) / (t (AiA) +t (BjB));其中(IAiA 為像元 Aj和像元A的視差，dBjB為像元Bj和像元B的視差，t (AiA)為像元Aj和像元A的相關系數(shù)，t (BjB)為像元Bj和像元B的相關系數(shù)。
[0039]上述步驟可以在候選匹配像元集中找到一個最佳子集，這個子集中的像元就是對應于左影像中像元的匹配像元。
[0040]第2步:針對第I步得到的候選匹配像元最佳子集，進行匹配像元序列一致性判斷；
[0041]該步驟的核心思想是:對于左影像上某一行上的所有待匹配像元，基于從左到右的方向會形成一個序列，那么它在右影像上的匹配像元也應該滿足這樣有向序列，如果不滿足，則其匹配像元集中就存在錯誤匹配像元，具體方法:對左影像上某一行像元匹配的過程中采用從左到右的方向進行匹配，對經(jīng)過動態(tài)規(guī)劃算法規(guī)劃出來的匹配像元最佳子集，計算相應的最佳子集中每個像元的逆序數(shù)，然后取最大逆序數(shù)的那個像元，將其從候選匹配像元集中刪除，同時刪除其在左影像中對應的待匹配像元，；然后判斷最佳子集中所有像元的逆序數(shù)是否都為O，若否，則返回第I步，重新獲得最佳子集，而且重新得到的最佳子集肯定與之間有所不同，此時再對其進行判斷；如果所有像元逆序數(shù)都為O，則將此時左影像上與最佳子集匹配成功的兩像元定義為匹配像元對，進行下一步。
[0042]如果最佳子集不滿足匹配像元序列一致性，說明最佳子集中存在錯誤匹配，通過本步驟，就可以將錯誤像元找到，并將其從候選匹配子集中去除。
[0043]第3步:視差較一致性判斷；
[0044]該步驟的核心思想是:對于所有匹配成功的匹配像元對，他們的視差較應該具有一致性，視差較d定義為M=Xie-Xp具體方法為:對于任意一行的所有匹配像元對，統(tǒng)計出正向視差較以及負向視差較，取其大者作為整體視差較。然后對于不滿足整體視差較的匹配像元對，在該像元的候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進行下一步。
[0045]上述中若取正向視差較作為整體視差較，說明右影像中的像元比左影像中的像元大，則為了保證右影像中所有的像元均比左影像大，即為了保證視差較一致性，如果右影像中小于左影像的像元，那么最佳子集不滿足整體視差較，即說明最佳子集中存在錯誤匹配，通過本步驟就可以將錯誤像元找到，并將其從候選匹配像元最佳子集中去除。
[0046]第4步:視差連續(xù)性；
[0047]該步驟的核心思想是:相鄰像元的視差應該變化連續(xù)。具體方法為定義一個閾值，判斷相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者(根據(jù)匹配方向是從左到右，即刪除后者的像元)，返回第I步，重新獲得最佳子集；如果小于，則進入步驟五。
[0048]若像元C、D為相鄰像元，視差較dD_d。大于設定閾值，則將像元D刪除，如果最佳子集不滿足視差連續(xù)性，說明最佳子集中存在錯誤匹配，通過本步驟就可以將錯誤像元找到，并將其從候選匹配像元最佳子集中去除。
[0049]步驟五:針對左影像中的每一行對應的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元；
[0050]該步驟的核心思想是:將整像素匹配精度提高到子像素匹配精度。具體做法是，利用右影像上的最佳子集中設定鄰域內(nèi)的像元，計算出其與左影像中對應的像元的相關系數(shù)，將相關系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對應的X、Y值作為最佳匹配像元的坐標。
[0051]由于步驟四得到的匹配像元最佳子集都是整像素的，而實際中往往不是整像素的，通過本步驟，就可以將最佳匹配像元的精度從整像素提高到子像素級。
[0052]步驟六:三維重建；
[0053]該步驟的核心思想是利用匹配出來的像元集生成三維點。具體方法是:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對的姿態(tài)參數(shù)進行前方交會獲得二維點z?完成二維重建。
[0054]本發(fā)明通過迭代式動態(tài)規(guī)劃的整體影像匹配，在匹配過程中動態(tài)的尋找到錯誤匹配像元，然后將錯誤匹配 像元去除，防止其影響周圍正確的像元；該方法相對于傳統(tǒng)的動態(tài)規(guī)劃算法能夠大幅提供匹配像元的正確率，相對于后期采用點云濾波的去錯誤點的方法，能夠大幅提高匹配點集的匹配率，同時精度更高。[0055]本發(fā)明的三維立體重建方法不僅適用于月球車，還適用于任何地面的小車，或具有三維立體造型的裝置。
[0056]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權利要求】
1.一種用于月球車的三維立體重建方法，其特征在于，該重建方法具體步驟如下: 步驟一:獲取月球車的原始立體像對，分為左影像和右影像； 步驟二:對步驟一得到的原始立體像對進行核線校正，使得左影像和右影像上的同名點位于同一行上； 步驟三:針對左影像上的每一像元，基于自適應相關系數(shù)方法生成候選匹配像元，組成右影像的候選匹配像元集，具體如下: 對于左影像每一行上的每一個像元，在其右影像相應核線上進行相關系數(shù)匹配，計算出右影像核線上設定視差范圍內(nèi)所有像元的相關系數(shù)，然后利用最大堆算法求得前N個相關系數(shù)最大的像元作為候選匹配像元，再定義一個相關系數(shù)最低閾值，去除掉N個候選像元中小于最低閾值的像元，將此時保留下的像元作為最終的候選匹配像元集； 步驟四:針對左影像中的每一行像元，在步驟三得到的候選匹配像元集中，尋找其對應的最佳子集，具體過程如下: 第I步:基于動態(tài)規(guī)劃方法匹配整體影像，得到候選匹配像元最佳子集，具體如下: 增加一個虛擬起點和虛擬終點，將虛擬起點和左影像一行中第一個像元對應的候選匹配像元集中的每一像元連接，將一行中最后一個像元對應的候選匹配像元集中的每一像元與虛擬終點進行連接，形成一個有向圖，求得從虛擬起點到虛擬終點權重和最小的路徑，該路徑經(jīng)過的候選匹配像元定義為候選匹配像元最佳子集； 第2步:針對第I步得到的候選匹配像元最佳子集，進行匹配像元序列一致性判斷，具體如下: 對左影像上一行的像元匹配的過程中采用從左到右的方向與候選匹配像元最佳子集中的像元進行匹配，計算最佳子集中每個像元的逆序數(shù)，然后取最大逆序數(shù)對應的像元，將其從候選匹配像元集中刪除，同時刪除其在左影像對應的像元；然后判斷最佳子集中所有像元的逆序數(shù)是否都為O，若否，則返回第I步，重新獲得最佳子集，若是，則將此時左影像上與最佳子集匹配成功的兩像元定義為匹配像元對，進行下一步； 第3步:視差較一致性判斷； 具體方法為:對于所有匹配像元對，統(tǒng)計出匹配像元對的正向視差較以及負向視差較，取其大者作為整體視差較，對于不滿足整體視差較的匹配像元對，在候選匹配像元集中刪除該候選匹配像元；然后判斷剩余的匹配像元對是否都滿足整體視差較，若否，則返回第I步，重新獲得最佳子集；若是，則進行下一步； 第4步:視差連續(xù)性判斷，即定義一個閾值，判斷最佳子集中相鄰像元的視差較是否大于該閾值，如果大于，則在候選匹配像元集中刪除相鄰像元中的后者，返回第I步，重新獲得最佳子集；如果小于，則進入步驟五； 步驟五:針對左影像中的每一行對應的最佳子集，利用曲面擬合求解最佳匹配像元，得到最佳匹配像元； 具體做法是:利用右影像上的最佳子集中設定鄰域內(nèi)的像元，計算出其與左影像中對應的像元的相關系數(shù)，將相關系數(shù)作為Z方向，擬合出二次拋物面，求的該拋物面最大Z值對應的X、Y值作為最佳匹配像元的坐標； 步驟六:將最佳匹配像元集從核線影像上反投影回原始影像，然后利用立體像對的姿態(tài)參數(shù)進行前方交會獲得三維點云完成三維重建。
【文檔編號】G06T17/00GK103544732SQ201310455294
【公開日】2014年1月29日 申請日期:2013年9月29日 優(yōu)先權日:2013年9月29日
【發(fā)明者】吉龍, 李傳榮, 金鵬, 王芳, 張旺軍, 廖小超, 黎荊梅, 王瓊 申請人:北京空間飛行器總體設計部, 中國科學院光電研究院