一種三維重建方法
【專利摘要】本發(fā)明公開了一種三維重建方法，其明顯提高方法實現(xiàn)的時間效率。包括步驟：(1)特征點(diǎn)匹配：利用sift方法對圖像進(jìn)行特征提取，采用最鄰近匹配方法確定匹配關(guān)系，用次近鄰與最近鄰歐式距離之比來確定匹配，并加以單應(yīng)約束、自適應(yīng)的非極大值抑制處理方法來精確匹配；(2)準(zhǔn)稠密匹配：采用準(zhǔn)稠密匹配方法對步驟(1)得到的特征匹配點(diǎn)進(jìn)行處理；(3)重采樣；(4)初始面片的生成：準(zhǔn)稠密匹配點(diǎn)經(jīng)空間三角化生成初始準(zhǔn)稠密空間面片；(5)面片擴(kuò)散：利用相鄰面片具有法向和位置相似的特性對初始面片進(jìn)行擴(kuò)散，逐步得到稠密的空間面片；(6)面片過濾：采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)。
【專利說明】一種三維重建方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機(jī)圖像處理的【技術(shù)領(lǐng)域】，具體地涉及一種三維重建方法。

【背景技術(shù)】
[0002]三維重建的最終目的是恢復(fù)場景的三維模型，基于圖像的三維重建是獲取三維模型的主要手段之一。該方法可以看作照相的逆過程。其相對成本低，只需要提供普通的攝像機(jī)設(shè)備即可，且應(yīng)用場景廣泛，其中多視圖立體匹配法在三維重建領(lǐng)域中得到了廣泛的關(guān)注。
[0003]多視圖立體匹配法(Mult1-View Stereo, MVS)使用單個或多個攝像機(jī)采集場景(或物體)在不同視角下采集的多幅圖像，再利用這些多視角圖像的立體匹配信息恢復(fù)場景的三維模型。它包括四種重建方法:基于3D體素的方法；基于表面演化的方法；基于深度融合的方法；基于特征區(qū)域生長和擴(kuò)散的方法，其中基于面片的三維重建方法(Patched-based Mult1-View Stereo, PMVS)就是基于特征擴(kuò)展方法的典型代表,并且該方法在Middlebury網(wǎng)站提供的測試數(shù)據(jù)上表現(xiàn)突出，其完整性和精確性都達(dá)到所有方法的最優(yōu)。
[0004]PMVS方法面片擴(kuò)散準(zhǔn)則是盡力在每個圖像中的每個圖像塊重建出一個面片，因此方法核心步驟是面片擴(kuò)散，但是由于PMVS方法中采用Harris和DoG方法進(jìn)行圖像特征點(diǎn)提取及匹配處理，得到的是稀疏匹配點(diǎn)，其三角化生成的初始面片也是稀疏的，這樣面片擴(kuò)散由稀疏的初始面片開始進(jìn)行，導(dǎo)致后續(xù)擴(kuò)散工作量大，所用時間長。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的技術(shù)解決問題是:克服現(xiàn)有技術(shù)的不足，提供一種三維重建方法，其明顯提聞方法實現(xiàn)的時間效率。
[0006]本發(fā)明的技術(shù)解決方案是:這種三維重建方法，包括以下步驟:
[0007](I)特征點(diǎn)匹配:利用sift方法對圖像進(jìn)行特征提取，采用最鄰近匹配方法確定匹配關(guān)系，用次近鄰與最近鄰歐式距離之比來確定匹配，比值大于給定閾值的，則選為匹配點(diǎn)，并加以單應(yīng)約束、自適應(yīng)的非極大值抑制處理方法來精確匹配；
[0008](2)準(zhǔn)稠密匹配:采用準(zhǔn)稠密匹配方法對步驟(I)得到的特征匹配點(diǎn)進(jìn)行處理，先通過計算零均值歸一化互相關(guān)函數(shù)ZNCC值得到種子點(diǎn)，然后再進(jìn)行匹配擴(kuò)散得到準(zhǔn)稠密匹配點(diǎn)；
[0009](3)重采樣:對步驟(2)的準(zhǔn)稠密匹配點(diǎn)進(jìn)行重采樣處理，使其分布均勻，將重采樣得到的匹配點(diǎn)加到步驟(2)的準(zhǔn)稠密匹配點(diǎn)集中得到最終匹配結(jié)果；
[0010](4)初始面片的生成:準(zhǔn)稠密匹配點(diǎn)經(jīng)三角化生成初始準(zhǔn)稠密空間面片；
[0011](5)面片擴(kuò)散:利用相鄰面片具有法向和位置相似的特性對初始面片進(jìn)行擴(kuò)散，逐步得到稠密的空間面片；
[0012](6)面片過濾:采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)。

【專利附圖】

【附圖說明】
[0013]圖1是原PMVS方法的流程圖；
[0014]圖2是根據(jù)本發(fā)明的三維重建方法的流程圖。

【具體實施方式】
[0015]如圖2所示，這種三維重建方法，包括以下步驟:
[0016](I)特征點(diǎn)匹配:利用sift方法對圖像進(jìn)行特征提取，采用最鄰近匹配方法確定匹配關(guān)系，用次近鄰與最近鄰歐式距離之比來確定匹配，比值大于給定閾值的，則選為匹配點(diǎn)，并加以單應(yīng)約束、自適應(yīng)的非極大值抑制處理方法來精確匹配；
[0017](2)準(zhǔn)稠密匹配:采用準(zhǔn)稠密匹配方法對步驟(I)得到的特征匹配點(diǎn)進(jìn)行處理，先通過計算零均值歸一化互相關(guān)函數(shù)ZNCC (Zero-mean NormalIized Cross-Correlat1n,零均值歸一化互相關(guān)函數(shù))值得到種子點(diǎn)，然后再進(jìn)行匹配擴(kuò)散得到準(zhǔn)稠密匹配點(diǎn)；
[0018](3)重采樣:對步驟(2)的準(zhǔn)稠密匹配點(diǎn)進(jìn)行重采樣處理，使其分布均勻，將重采樣得到的匹配點(diǎn)加到步驟(2)的準(zhǔn)稠密匹配點(diǎn)集中得到最終匹配結(jié)果；
[0019](4)初始面片的生成:準(zhǔn)稠密匹配點(diǎn)經(jīng)三角化生成初始準(zhǔn)稠密空間面片；
[0020](5)面片擴(kuò)散:利用相鄰面片具有法向和位置相似的特性對初始面片進(jìn)行擴(kuò)散，逐步得到稠密的空間面片；
[0021](6)面片過濾:采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)。
[0022]優(yōu)選地，給定閾值為1.25。
[0023]優(yōu)選地，步驟⑴中在匹配過程中加以單應(yīng)約束條件，并采用自適應(yīng)的非極大值抑制處理方法，得到可靠的初始匹配點(diǎn)。
[0024]優(yōu)選地，步驟(5)和(6)均迭代三次。
[0025]以下對原PMVS方法和本發(fā)明對比地進(jìn)行說明。
[0026]PMVS方法輸入的是一組圖像集合Im = {Iji = 1，2，3，...，η}以及相機(jī)參數(shù)，然后輸出重建得到的三維模型的密集點(diǎn)云。在PMVS方法中點(diǎn)云以具有方向信息的面片形式表示。PMVS中定義面片(patch)為近似于物體表面的局部正切平面，包括中心c(p)，法向量n(p)，參考圖像R(p)。面片的一條邊與參考相機(jī)(即拍攝參考圖像的相機(jī))的X軸平行。面片上有μΧμ的格網(wǎng)，即定義了面片的大小(在實驗中μ為5)。同時給出了面片的其他相關(guān)屬性:
[0027]V(p):ρ的準(zhǔn)可見圖像集
[0028]V* (P):ρ的可見圖像集
[0029]現(xiàn)有的PMVS方法實現(xiàn)步驟具體分為三步:1)特征匹配及初始面片的生成，該步主要通過圖像匹配處理得到稀疏的初始面片，即種子面片；2)面片擴(kuò)散，該步由稀疏的種子點(diǎn)擴(kuò)散得到密集的面片；3)面片過濾，該步用來去除錯誤的面片。在第I)步生成了初始面片之后，后面兩步要循環(huán)三次，方法流程圖可表示為圖1。具體來說:
[0030]I)特征匹配及初始面片的生成
[0031]采用Harris和DoG方法提取圖像特征點(diǎn)，找到滿足極幾何約束的潛在匹配點(diǎn)對，用得到的匹配點(diǎn)三角化得到的三維空間點(diǎn)初始化面片，面片的中心C(P)為三維空間點(diǎn)坐標(biāo)，單位法向量n (p)為由面片中心指向參考圖像攝像機(jī)中心的單位向量，即:
[0032]c(p) — {Triangulat1n from f and f' }
[0033](I)
[0034]n(p) ^ C(P)O(I1)ZlC(P)O(I1)I⑵
[0035]R(p) — Ii(3)
[0036]同時初始化V(p)，V* (p)，V(p)，V*(p)都是圖像的集合，都包括參考圖像和其他符合條件的圖像。
[0037]V(p)中的圖像符合角度條件，即patch的法向量和patch所在光線的夾角要小于60度。O(Ii)為圖像Ii所對應(yīng)相機(jī)的光心:
V(P) = (IiIIi G Im,Ii(P).> cost}
[0038]Ic(P)O(I1)I
(4)
[0039]V*(p)中的圖像符合相關(guān)系數(shù)的條件，即patch投影到圖像和參考圖像之間的灰度一致性函數(shù)要大于閾值0.4 ;
[0040]V*(P) = {111 e V(P)，h(P, I, R(P)) ( α }
[0041](5)
[0042]h(p, I，R(p))是指圖像I和R(P)之間的灰度一致函數(shù)。值為I減去其NCC值。
[0043]然后再通過最小化面片在集合V* (P)上灰度一致性函數(shù)g* (P):
[。。44]r(p) =心響—(P))
(6)
[0045]來進(jìn)一步優(yōu)化面片的中心坐標(biāo)c (ρ)和法向量η(ρ)。用優(yōu)化后的c(p)、η(ρ)來更新面片的可視圖像集合V(P)、< (ρ)。如果|V*(p)|彡Y,則認(rèn)為成功生成了面片。將所有圖像劃分為大小為2X2pixelS的圖像塊(；(X，y)。把面片投影到圖像上，記錄下patch所在的圖像塊。每個圖像塊有兩個存儲面片的集合Qi(X，γ),9；(χ, y)，分別對應(yīng)投影到V(ρ)，V*(ρ)的面片。
[0046]2)面片擴(kuò)散
[0047]面片擴(kuò)散的目標(biāo)是盡力在每個圖像塊中重建出一個面片。擴(kuò)散開始時首先判斷是否滿足擴(kuò)散條件。向初始面片P所在圖像塊的鄰域擴(kuò)散，若這個鄰域中已經(jīng)存在一個與該面片距離較近的面片P’或者這個領(lǐng)域中已經(jīng)存在一個灰度一致性函數(shù)值較大的面片，則不向該鄰域擴(kuò)散。否則就重建一個新面片，新面片的法向量跟種子面片的法向量相同，新面片的中心是通過鄰域格網(wǎng)中心的光線與種子面片所在平面的交點(diǎn)。
[0048]接下來的步驟與生成種子點(diǎn)相似，即計算V(p)、V*(p)，優(yōu)化面片，更新V(p)、V* (P)，若V* (P)中的照片個數(shù)大于給定閾值，就認(rèn)為是成功擴(kuò)散了一個patch，否則失敗。然后繼續(xù)擴(kuò)散下一個新patch，直到無法再進(jìn)行擴(kuò)散。
[0049]3)面片過濾
[0050]面片過濾用來確保重建面片的準(zhǔn)確性，過濾過程中采用三個過濾器來實現(xiàn)。第一個過濾器用來去除同一圖像塊中面片的平均灰度一致性差異大的那些面片；第二個濾波器用來過濾掉圖像塊中與深度最小的patch距離大、法向量夾角大的面片；第三個濾波器過濾原理是將一個patch和它八鄰域中的neighbors patches擬合二次曲面，neighborspatches殘差之和大于閾值就去掉這個patch。
[0051]PMVS方法中特征點(diǎn)匹配得到的是稀疏匹配點(diǎn)，因此三角化生成對應(yīng)的初始面片也是稀疏的。這樣面片擴(kuò)散過程由稀疏的初始面片開始進(jìn)行，因而后續(xù)擴(kuò)散工作量大，所用時間多。如果我們能夠使得用于擴(kuò)散的初始面片較為稠密，那么可以減少PMVS中面片擴(kuò)散過程的工作量，提高方法效率。
[0052]針對該問題，本發(fā)明提出了基于準(zhǔn)稠密匹配方法的PMVS方法改進(jìn)。準(zhǔn)稠密匹配方法，可以實現(xiàn)較為稠密的匹配，它是一種介于稀疏匹配與稠密匹配之間的方法。采用“全局最優(yōu)最先策略”魯棒性較好。準(zhǔn)稠密匹配方法的實現(xiàn)主要有兩步:1)種子匹配點(diǎn)的獲取；2)匹配擴(kuò)散得到最終準(zhǔn)稠密匹配點(diǎn)
[0053]本發(fā)明需要解決的問題主要有兩方面，一方面是提高種子匹配點(diǎn)的可靠性；另一方面使最終生成的準(zhǔn)稠密匹配點(diǎn)均勻分布。
[0054]針對種子可靠性的提高，本發(fā)明需要在圖像特征匹配階段進(jìn)行如下三方面處理:I)利用sift方法代替原PMVS方法中的Harris和DoG方法對圖像進(jìn)行特征匹配處理，這是因為sift方法比后兩者具有更好的穩(wěn)定性。2)在特征匹配過程中加以單應(yīng)約束條件，單應(yīng)約束是比極線約束更加嚴(yán)格的約束條件，它直接建立起一幅圖像中的點(diǎn)與其在另一幅圖像的對應(yīng)點(diǎn)之間的關(guān)系，提高匹配的精確性。3)基于自適應(yīng)非極大值抑制方法使匹配點(diǎn)均勻分布，該方法可以獲得數(shù)量限定在一定范圍內(nèi)且均勻分布的匹配點(diǎn)。
[0055]以上三種技術(shù)處理有助于保證準(zhǔn)稠密匹配方法中種子點(diǎn)的可靠性。
[0056]通過準(zhǔn)稠密匹配方法獲得的準(zhǔn)稠密匹配點(diǎn)分布是不均勻的，會對PMVS改進(jìn)方法中的面片擴(kuò)散過程造成負(fù)面影響。因此，采用重采樣實現(xiàn)對生成的準(zhǔn)稠密匹配點(diǎn)集的均勻化處理。
[0057]重采樣的具體過程為:將一幅圖像分成8X8像素大小的小方格區(qū)域，利用每一個小區(qū)域中已有的匹配點(diǎn)進(jìn)行平面擬合，采用RANSAC(Random Sample Consensus)約束得到仿射變換矩陣H。確定小區(qū)域的中心點(diǎn)X，然后利用仿射矩陣計算X在另一幅圖像中的匹配位置Hx，即采樣得到一對新的匹配點(diǎn)(X，Hx)，。
[0058]通過重采樣處理不僅使得最終準(zhǔn)稠密匹配分布更加均勻，而且由于采用了局部仿射擬合變換可以有效避免誤匹配，所以穩(wěn)定性也得到了提高。
[0059]這樣本發(fā)明的流程圖可用圖2來表示。
[0060]利用原PMVS方法和本發(fā)明方法對Temple和Dino兩組數(shù)據(jù)進(jìn)行三維重建。對上述實驗結(jié)果進(jìn)行分析，給出利用這兩種方法分別對Temple和Dino數(shù)據(jù)集實現(xiàn)三維重建生成的面片總數(shù)，以及整個過程所用的時間，分別如表1 (a)、表1 (b)所示。
[0061]

【權(quán)利要求】
1.一種三維重建方法，其特征在于:包括以下步驟: (1)特征點(diǎn)匹配:利用Sift方法對圖像進(jìn)行特征提取，采用最鄰近匹配方法確定匹配關(guān)系，用次近鄰與最近鄰歐式距離之比來確定匹配，比值大于給定閾值的，則選為匹配點(diǎn)，并加以單應(yīng)約束條件和自適應(yīng)的非極大值抑制方法來精確匹配； (2)準(zhǔn)稠密匹配:采用準(zhǔn)稠密匹配方法對步驟(I)得到的特征匹配點(diǎn)進(jìn)行處理，先通過計算零均值歸一化互相關(guān)函數(shù)ZNCC值得到種子點(diǎn)，然后再進(jìn)行匹配擴(kuò)散得到準(zhǔn)稠密匹配占.(3)重采樣:對步驟(2)的準(zhǔn)稠密匹配點(diǎn)進(jìn)行重采樣處理，使其分布均勻，將重采樣得到的匹配點(diǎn)加到步驟(2)的準(zhǔn)稠密匹配點(diǎn)集中得到最終匹配結(jié)果； (4)初始面片的生成:準(zhǔn)稠密匹配點(diǎn)經(jīng)空間三角化生成初始準(zhǔn)稠密空間面片； (5)面片擴(kuò)散:利用相鄰面片具有法向和位置相似的特性對初始面片進(jìn)行擴(kuò)散，逐步得到稠密的空間面片； (6)面片過濾:采用幾何一致性以及灰度一致性約束來剔除外點(diǎn)。
2.根據(jù)權(quán)利要求1所述的三維重建方法，其特征在于:給定閾值為1.25。
3.根據(jù)權(quán)利要求2所述的三維重建方法，其特征在于:步驟(I)中在匹配過程中加以單應(yīng)約束條件，并采用自適應(yīng)的非極大值抑制處理方法，得到初始稀疏匹配點(diǎn)。
4.根據(jù)權(quán)利要求3所述的三維重建方法，其特征在于:步驟(5)和(6)均迭代三次。
【文檔編號】G06T17/00GK104200517SQ201410382742
【公開日】2014年12月10日 申請日期:2014年8月6日 優(yōu)先權(quán)日:2014年8月6日
【發(fā)明者】王立春, 陳冉, 孔德慧 申請人:北京工業(yè)大學(xué)