用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定實(shí)境三維模型的方法
【專利摘要】一種用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定環(huán)境的三維模型的方法，包括以下步驟：a.提供攝像機(jī)的固有參數(shù)；b.提供一組由攝像機(jī)以第一攝像機(jī)位姿拾取的參考二維成像點(diǎn)，以及與該組參考二維成像點(diǎn)關(guān)聯(lián)的參考深度樣本；c.使用參考深度樣本和固有參數(shù)確定環(huán)境的三維模型；d.提供一組由攝像機(jī)以第二攝像機(jī)位姿拾取的當(dāng)前二維成像點(diǎn)，以及與該組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本，并使用當(dāng)前深度樣本和固有參數(shù)確定當(dāng)前三維模型；e.利用圖像配準(zhǔn)方法估計(jì)第一攝像機(jī)位姿與第二攝像機(jī)位姿之間的攝像機(jī)運(yùn)動(dòng)；f.基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定所述三維模型和所述當(dāng)前三維模型之間的相似性度量，并且如果確定該相似性度量滿足第一條件，用該當(dāng)前三維模型的至少一個(gè)點(diǎn)更新環(huán)境的三維模型，并將該組當(dāng)前二維成像點(diǎn)加入到該組參考二維成像點(diǎn)。
【專利說(shuō)明】用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定實(shí)境三維模型的方法
[0001]本發(fā)明涉及一種用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定環(huán)境的三維模型的方法。
[0002]關(guān)于已知或未知的場(chǎng)景的可視化的實(shí)時(shí)跟蹤是基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)(AR)應(yīng)用的必要的和無(wú)疑的組成部分。使用終端用戶硬件確定攝像機(jī)關(guān)于未知環(huán)境的相對(duì)運(yùn)動(dòng)成為可能得益于參考文件[I]的方法的啟發(fā)。這種方法是執(zhí)行從拾取圖像提取視覺(jué)特征的實(shí)時(shí)跟
足示O
[0003]特征是圖像中的顯著元素，其可為一點(diǎn)(通常被稱為關(guān)鍵點(diǎn)或興趣點(diǎn))、一直線、一曲線、一連接區(qū)域或任何一組像素。特征通常在尺度空間中提取，即以不同的尺度。因此，除了在圖像中的其二維位置之外，每個(gè)特征具有一可重復(fù)的尺度。此外，可重復(fù)的方向(旋轉(zhuǎn))通常從在圍繞該特征的區(qū)域中像素的強(qiáng)度計(jì)算，例如作為強(qiáng)度梯度的主導(dǎo)方向。最后，為了使特征的比較和匹配成為可能，需要一特征描述符。常見(jiàn)的方法使用一特征的計(jì)算的尺度和方向來(lái)轉(zhuǎn)換描述符的坐標(biāo)，其為旋轉(zhuǎn)和尺度提供了不變性。最終，該描述符是一 η維的向量，這通常是通過(guò)連接局部圖像強(qiáng)度的函數(shù)的直方圖構(gòu)建，如在參考文獻(xiàn)[13]中公開(kāi)的梯度。
[0004]特征需要在許多圖像中可見(jiàn)，為此攝像機(jī)已經(jīng)執(zhí)行了為估計(jì)深度和以此重建特征的3D坐標(biāo)系足夠充分的一運(yùn)動(dòng)。這通?；诮Y(jié)構(gòu)來(lái)自運(yùn)動(dòng)原理。為了獲得重建點(diǎn)的正確縮放的3D坐標(biāo)系并因此獲得正確縮放的攝像機(jī)運(yùn)動(dòng)，這些方法通常需要環(huán)境的某些部分的一明確的手工測(cè)量或需要用已知的物體配備它。另一種引起尺度的可能性是要求用戶執(zhí)行一有約束的攝像機(jī)運(yùn)動(dòng)-通常攝像機(jī)需要在兩個(gè)已知幀之間移動(dòng)以至于它的光學(xué)中心位置隨一米制的已知縮放平移(metrically known scaled translation)而變化。
[0005]然而，這種類型的方法有一些限制。在重建一點(diǎn)并將其添加到特征圖之前，該點(diǎn)需要在具有一估計(jì)的攝像機(jī)位姿的多個(gè)幀之上被跟蹤。這延遲了在完整的攝像機(jī)運(yùn)動(dòng)的估計(jì)中新的可視物理點(diǎn)的參與。此外，要么環(huán)境需要被部分地測(cè)量或預(yù)先配備，要么用戶需要具有關(guān)于系統(tǒng)的一些經(jīng)驗(yàn)以便正確地執(zhí)行允許正確尺度估計(jì)的有約束的攝像機(jī)運(yùn)動(dòng)。最后，由于現(xiàn)有的方法主要是基于視覺(jué)特征(通常從某些紋理梯度可得到處提取)，即使在后期處理和網(wǎng)合(meshing)之后，為遮蔽處理或諸如可能需要環(huán)境的網(wǎng)狀版本的類似AR任務(wù)，從現(xiàn)有的方法中獲得的在線特征圖通常是稀疏的且無(wú)法使用。
[0006]參考文獻(xiàn)[2]的作者表明，利用一單一標(biāo)準(zhǔn)手持式攝像機(jī)被連接到一功能強(qiáng)大的PC的一更高的計(jì)算能力，并利用圖形處理單元(GPU)的計(jì)算能力，當(dāng)使用參考文獻(xiàn)[3]的PTAM方法執(zhí)行跟蹤時(shí)，有可能獲得一桌面尺度環(huán)境的一密集表示和高紋理場(chǎng)景(highlytextured scene)。在線創(chuàng)建的圖的密度隨立體稠密匹配和基于GPU的實(shí)現(xiàn)而增加。
[0007]存在現(xiàn)有方法處理組合的范圍強(qiáng)度數(shù)據(jù)。除了強(qiáng)度圖像，他們利用與該強(qiáng)度圖像相關(guān)的包含密集深度信息的一范圍圖。像素的深度指的是拾取裝置的主點(diǎn)和在該像素上成像的物理3D表面之間的距離。
[0008]圖8顯不了包含兩組玩偶SI和S2(每組包含一高和一矮玩偶)的一場(chǎng)景，以及一拾取裝置⑶。SI組的一物理點(diǎn)PPl用該拾取裝置在像素IPl上成像。這個(gè)像素的深度為D1，拾取裝置光學(xué)中心OC和物理點(diǎn)PPl之間的距離，該光學(xué)中心OC定義了攝像機(jī)坐標(biāo)系的原點(diǎn)。類似地，S2組的一第二物理點(diǎn)PP2在IP2上成像并具有深度D2。注意，攝像機(jī)固有參數(shù)(特別是焦距)的估計(jì)允許在給定其深度Dl及其在圖像平面IPl上像素位置的一點(diǎn)PPl的笛卡爾坐標(biāo)(Cartesian coordinates)中計(jì)算3D位置。
[0009]參考文獻(xiàn)[4]的作者們用一組合:一飛行時(shí)間(204x204)分辨率攝像機(jī)和一(640x480) RGB攝像機(jī)和改進(jìn)的度量模型和被參考文獻(xiàn)[I]的MonoSLAM使用的擴(kuò)展卡爾曼濾波器的創(chuàng)新公式，代替通常使用的標(biāo)準(zhǔn)手持式視頻攝像機(jī)，以改善跟蹤結(jié)果。由于這種方法是基于擴(kuò)展卡爾曼濾波器，相較于基于關(guān)鍵幀的方法它提供了較低的精確度。如在參考文獻(xiàn)[5]中精彩討論的，在現(xiàn)代的應(yīng)用和系統(tǒng)中，基于關(guān)鍵幀的方法給予每單位計(jì)算時(shí)間以最佳精度。
[0010]微軟的終端用戶設(shè)備的XbOX360Kinect是一低成本和相對(duì)高的分辨率的RGB-D攝像機(jī)，包含由紅外結(jié)構(gòu)光投影儀結(jié)合一紅外攝像機(jī)組成的一立體音響系統(tǒng)，其允許像素深度計(jì)算，并且用于提供強(qiáng)度圖像的一攝像機(jī)被記錄到其中。這個(gè)設(shè)備已由參考文獻(xiàn)[6]直接地用于室內(nèi)環(huán)境的基于面元(surfel)的建模。然而，該所提出的系統(tǒng)不實(shí)時(shí)運(yùn)行且處理已記錄的視頻；它不執(zhí)行任何實(shí)時(shí)或幀間跟蹤。
[0011]因此，提供同時(shí)估計(jì)一攝像機(jī)運(yùn)動(dòng)以及為確定考慮到上述各方面的一真實(shí)環(huán)境的一三維模型的一跟蹤方法將是有必要的。
[0012]本發(fā)明的說(shuō)明
[0013]根據(jù)本發(fā)明的一方面，公開(kāi)了用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定環(huán)境的三維模型的方法，包括以下步驟:
[0014]a)提供攝像機(jī)的固有參數(shù)；
[0015]b)提供一組由攝像機(jī)以第一攝像機(jī)位姿拾取的參考二維成像點(diǎn)，以及與該組參考二維成像點(diǎn)關(guān)聯(lián)的參考深度樣本；
[0016]c)使用參考深度樣本和固有參數(shù)確定環(huán)境的三維模型；
[0017]d)提供一組由攝像機(jī)以第二攝像機(jī)位姿拾取的當(dāng)前二維成像點(diǎn)，以及與該組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本，并使用當(dāng)前深度樣本和固有參數(shù)確定當(dāng)前三維模型；
[0018]e)利用圖像配準(zhǔn)方法估計(jì)第一攝像機(jī)位姿與第二攝像機(jī)位姿之間的攝像機(jī)運(yùn)動(dòng)；
[0019]f)基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定所述三維模型和所述當(dāng)前三維模型之間的相似性度量，并且
[0020]如果確定該相似性度量滿足第一條件，用該當(dāng)前三維模型的至少一個(gè)點(diǎn)更新環(huán)境的三維模型,并將該組當(dāng)前二維成像點(diǎn)加入到該組參考二維成像點(diǎn)。
[0021]特別地，利用圖像配準(zhǔn)方法可估計(jì)第一攝像機(jī)位姿和第二攝像機(jī)位姿之間的相對(duì)攝像機(jī)運(yùn)動(dòng)。
[0022]例如，可使用所述估計(jì)的攝像機(jī)運(yùn)動(dòng)在通用坐標(biāo)系中進(jìn)行三維模型和當(dāng)前三維模型之間的一相似性度量的確定。
[0023]在本發(fā)明的另一方面，采用三維模型和由步驟d)至f)的一前一次迭代產(chǎn)生的該組參考二維成像點(diǎn)，為每一新組當(dāng)前二維成像點(diǎn)和與那組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本重復(fù)步驟d)至f)。
[0024]在本發(fā)明的上下文中，其中，一組二維點(diǎn)可相當(dāng)于諸如一色彩圖像或一灰度圖像的強(qiáng)度圖像的至少一部分，例如，在一強(qiáng)度圖像中的一感興趣區(qū)域，源于一強(qiáng)度圖像或來(lái)源于在一強(qiáng)度圖像上執(zhí)行一分割算法及類似行為的一簇二維點(diǎn)或特征點(diǎn)。貫穿本公開(kāi)，當(dāng)我們談到強(qiáng)度圖像時(shí)，我們指的是圖像表示從環(huán)境反射的不同數(shù)量的光，主要取決于環(huán)境的材質(zhì)和光亮情況。強(qiáng)度圖像可將強(qiáng)度按照不同的位分辨率(例如8位或高動(dòng)態(tài)范圍)編碼入一個(gè)(例如灰度級(jí))或多于一個(gè)的通道(例如RGB-紅-綠-藍(lán))。
[0025]因此，本發(fā)明提出利用一組參考二維成像點(diǎn)及相關(guān)聯(lián)的深度樣本。例如，該方法可使用包括至少一個(gè)由攝像機(jī)以第一攝像機(jī)位姿拾取的參考強(qiáng)度圖像的一組參考強(qiáng)度圖像，以及與該至少一個(gè)參考強(qiáng)度圖像關(guān)聯(lián)的深度樣本。此外，提出利用一相似性度量來(lái)確定該當(dāng)前組二維成像點(diǎn)和該當(dāng)前攝像機(jī)位姿是否被添加到一組用于跟蹤的參考二維成像點(diǎn)中，以及該當(dāng)前組二維成像點(diǎn)和與該當(dāng)前組二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本是否被用于創(chuàng)建和/或更新三維模型。換句話說(shuō)，對(duì)于跟蹤，因?yàn)榧僭O(shè)來(lái)自環(huán)境的附加信息的貢獻(xiàn)并不足夠高，當(dāng)一當(dāng)前組二維成像點(diǎn)或與該當(dāng)前組二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本并不有助于三維模型時(shí)，諸如一當(dāng)前強(qiáng)度圖像的一當(dāng)前組二維成像點(diǎn)可不被用作諸如一參考圖像的一組參考二維成像點(diǎn)之內(nèi)。因此，本發(fā)明關(guān)閉跟蹤過(guò)程和重構(gòu)過(guò)程之間的循環(huán)，使得能夠同時(shí)估計(jì)攝像機(jī)運(yùn)動(dòng)并確定環(huán)境的三維模型。
[0026]作為根據(jù)本發(fā)明的方法的一結(jié)果，所述確定的攝像機(jī)運(yùn)動(dòng)估計(jì)被正確地縮放，例如在一AR應(yīng)用中能夠使一跟蹤不需要測(cè)量環(huán)境或用諸如基準(zhǔn)標(biāo)記(fiducial markers)的已知尺寸的對(duì)象配備它，且不需要初步已知的和/或受約束的攝像機(jī)運(yùn)動(dòng)。通過(guò)利用環(huán)境的三維模型作為一遮蔽模型，該方法可用于處理在挑戰(zhàn)性的AR場(chǎng)景和應(yīng)用中的中速到快速攝像機(jī)運(yùn)動(dòng)和顯示遮蔽。
[0027]本發(fā)明的另一方面是提供一種用于估計(jì)攝像機(jī)運(yùn)動(dòng)和確定環(huán)境的三維模型的方法，包括以下步驟:
[0028]a)提供攝像機(jī)的固有參數(shù)；
[0029]b)提供一組由攝像機(jī)以第一攝像機(jī)位姿拾取的參考二維成像點(diǎn)以及與該組參考二維成像點(diǎn)相關(guān)聯(lián)的參考深度樣本；
[0030]c)使用該參考深度樣本和固有參數(shù)確定環(huán)境的一三維模型；
[0031]d)提供一組由攝像機(jī)以第二攝像機(jī)位姿拾取的當(dāng)前二維成像點(diǎn)以及與該組當(dāng)前二維成像點(diǎn)相關(guān)聯(lián)的當(dāng)前深度樣本，并使用該當(dāng)前深度樣本和固有參數(shù)確定當(dāng)前三維模型；
[0032]e)利用圖像配準(zhǔn)方法估計(jì)第一攝像機(jī)位姿和第二攝像機(jī)位姿之間的攝像機(jī)運(yùn)動(dòng)；
[0033]f)基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定所述三維模型中至少一個(gè)三維點(diǎn)與所述當(dāng)前三維模型中相關(guān)聯(lián)的三維點(diǎn)之間的相似性度量，并且
[0034]如果確定該相似性度量滿足第一條件，改善該當(dāng)前三維模型和/或該三維模型。
[0035]特別地，利用圖像配準(zhǔn)方法可估計(jì)第一攝像機(jī)位姿和第二攝像機(jī)位姿之間的一相對(duì)攝像機(jī)運(yùn)動(dòng)。
[0036]例如，使用所述估計(jì)的攝像機(jī)運(yùn)動(dòng)在通用坐標(biāo)系中可進(jìn)行在三維模型中至少一個(gè)三維點(diǎn)和在當(dāng)前三維模型中一關(guān)聯(lián)的三維點(diǎn)之間的一相似性度量的確定。
[0037]更深層面，本發(fā)明的實(shí)施例和有益特點(diǎn)從下面的公開(kāi)的實(shí)施例中是顯而易見(jiàn)的。[0038]本發(fā)明的另一方面還與一種計(jì)算機(jī)程序產(chǎn)品有關(guān)，其適于被加載到數(shù)字計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中并且包括軟件代碼段，當(dāng)所述產(chǎn)品運(yùn)行在所述計(jì)算機(jī)上時(shí)利用該代碼段執(zhí)行根據(jù)本發(fā)明的方法。
[0039]本發(fā)明現(xiàn)參照說(shuō)明本發(fā)明的各種實(shí)施例的附圖將更詳細(xì)地描述。
[0040]圖1比較用于組合跟蹤以及未知環(huán)境的三維重構(gòu)的標(biāo)準(zhǔn)方法(Ia)和本發(fā)明(Ib)；
[0041]圖2表示了根據(jù)本發(fā)明的一實(shí)施例，a)初始三維參考模型的創(chuàng)建和b)同步跟蹤及未知環(huán)境的三維重構(gòu)；
[0042]圖3表示了根據(jù)本發(fā)明，當(dāng)前圖像是否被用于更新環(huán)境的三維模型的決策過(guò)程的詳細(xì)實(shí)施例；
[0043]圖4表示了在通用坐標(biāo)系中兩個(gè)局部網(wǎng)格的對(duì)準(zhǔn)所得為一組合網(wǎng)格；
[0044]圖5表示了通過(guò)攝像機(jī)(左)及其相應(yīng)的紋理網(wǎng)格(右)從一個(gè)攝像機(jī)觀察點(diǎn)拾取的一輸入3D點(diǎn)云；
[0045]圖6表示了在兩幅圖像之間基于確定的攝像機(jī)運(yùn)動(dòng)的一三維點(diǎn)的深度值的一優(yōu)化；
[0046]圖7給出了用于所提出的方法以及幾個(gè)PTAM初始化的所述估計(jì)的攝像機(jī)位姿的所有序列的評(píng)估結(jié)果；
[0047]圖8表示了由兩組玩偶和一拾取裝置組成的典型場(chǎng)景，每組玩偶包括一高和一矮玩偶；
[0048]圖9說(shuō)明了關(guān)于FAST轉(zhuǎn)角檢測(cè)器和SIFT特征描述符的特征的尺度或尺寸，作為檢測(cè)點(diǎn)特征的方法的常見(jiàn)例子；
[0049]圖1Oa表示了根據(jù)本發(fā)明的一實(shí)施例的方法的流程圖；
[0050]圖1Ob表示了根據(jù)本發(fā)明另一實(shí)施例的方法的流程圖；
[0051]圖1Oc表示了根據(jù)本發(fā)明另一實(shí)施例的方法的流程圖；
[0052]圖11說(shuō)明了根據(jù)本發(fā)明實(shí)施例的技術(shù)與標(biāo)準(zhǔn)方法相比較的一典型場(chǎng)景，該場(chǎng)景顯示了一設(shè)置，其中拾取裝置拾取由兩組玩偶組成的場(chǎng)景。
[0053]如上所述，一組二維強(qiáng)度成像點(diǎn)可由強(qiáng)度圖像的至少一部分表示。為求簡(jiǎn)化說(shuō)明的緣故，根據(jù)本發(fā)明的一方法的一實(shí)施例是關(guān)于這樣的附圖進(jìn)行描述:其中的參考組和當(dāng)前二維成像點(diǎn)是以強(qiáng)度圖像的形式提供。然而本領(lǐng)域技術(shù)人員勢(shì)必了解這僅表示本方法的一個(gè)實(shí)施例且不將本發(fā)明限制在完整的強(qiáng)度圖像的使用上。當(dāng)然，這對(duì)在計(jì)算過(guò)程中使用二維強(qiáng)度成像點(diǎn)的一組或子組和深度樣本而不是完整的強(qiáng)度圖像和/或深度圖像對(duì)本發(fā)明的目的是足夠的。
[0054]在圖1a中，參考文獻(xiàn)[6]根據(jù)技術(shù)狀況描述了用于來(lái)自未知環(huán)境的三維模型的組合跟蹤和重構(gòu)的一標(biāo)準(zhǔn)方法。在這個(gè)例子中，重構(gòu)過(guò)程是一網(wǎng)合(meshing)過(guò)程(P2)。換句話說(shuō)，以經(jīng)網(wǎng)合(meshed)的三維點(diǎn)云的形式獲得三維模型。但對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是在此附圖和下面的附圖中描述的實(shí)施例不應(yīng)將根據(jù)本發(fā)明的方法限制在經(jīng)網(wǎng)合(meshed)的三維點(diǎn)云的確定上。本領(lǐng)域技術(shù)的人理解，通過(guò)使用合適的重構(gòu)方法，三維模型也可以被確定為來(lái)自該組當(dāng)前和/或參考二維成像點(diǎn)及關(guān)聯(lián)的深度樣本的一三維點(diǎn)云、一基于邊緣的模型、一 Bezier曲面模型、一三維CAD模型或一容積模型。[0055]在圖1a描述的實(shí)施例中，由攝像機(jī)拾取的至少一個(gè)當(dāng)前強(qiáng)度圖像被提供給跟蹤過(guò)程(Pl)。此外，與當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本被提供給網(wǎng)合(meshing)過(guò)程(P2)。用于提供與強(qiáng)度圖像關(guān)聯(lián)的深度樣本的方法在下文中更詳細(xì)地公開(kāi)。在跟蹤過(guò)程Pl中，首先基于當(dāng)前強(qiáng)度圖像和一組參考圖像估計(jì)一當(dāng)前攝像機(jī)位姿(見(jiàn)下文)?？蛇x地，該攝像機(jī)位姿估計(jì)也可利用當(dāng)前深度樣本。
[0056]在下一步驟中，然后確定當(dāng)前攝像機(jī)位姿和與該組參考圖像之內(nèi)的參考強(qiáng)度圖像(多個(gè)圖像)關(guān)聯(lián)的參考攝像機(jī)位姿(多個(gè)位姿)之間的差值是否大于一定閾值。例如，所述確定的攝像機(jī)位姿具有比來(lái)自與該組參考圖像之內(nèi)的參考強(qiáng)度圖像相關(guān)聯(lián)的參考攝像機(jī)位姿的一定義的閾值更遠(yuǎn)的一平移，這表明當(dāng)前強(qiáng)度圖像已被從一相對(duì)新的觀察點(diǎn)拾取。如果經(jīng)確定該差值大于該閾值，當(dāng)前強(qiáng)度圖像和所述確定的當(dāng)前攝像機(jī)位姿被添加到該組參考圖像中以用于在Pl中進(jìn)一步跟蹤。
[0057]此外，當(dāng)前攝像機(jī)位姿，與該當(dāng)前組二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本用作至網(wǎng)合(meshing)過(guò)程P2的輸入。這里，在第一步中，一相似性度量在現(xiàn)存網(wǎng)格，即三維模型，和由基于當(dāng)前攝像機(jī)位姿的當(dāng)前深度樣本提供的附加信息之間確定。當(dāng)相似性度量超過(guò)一定義的閾值時(shí)，該當(dāng)前組二維成像點(diǎn)，例如當(dāng)前圖像，以及該當(dāng)前攝像機(jī)位姿被用于更新現(xiàn)存網(wǎng)格。例如，該相似性度量可被定義，使得當(dāng)前深度樣本之內(nèi)的至少一個(gè)三維點(diǎn)必須尚未被包括在網(wǎng)格中，以便用于更新網(wǎng)格。一初始網(wǎng)格可在網(wǎng)合(meshing)過(guò)程P2的最初迭代中創(chuàng)建。在這種情況下，如上述定義的相似性度量將表明，來(lái)自當(dāng)前攝像機(jī)觀察點(diǎn)的所有三維點(diǎn)尚未包括在網(wǎng)格中，且因此當(dāng)前深度樣本將被用于創(chuàng)建該網(wǎng)格的第一估計(jì)。有利的是，諸如顏色和紋理信息的附加信息可從當(dāng)前強(qiáng)度圖像獲得并被用于著色三維模型。
[0058]綜上所述，在圖1a中顯而易見(jiàn)，用于跟蹤過(guò)程Pl和網(wǎng)合(meshing)過(guò)程P2的決策實(shí)例，即三維模型的創(chuàng)建，是完全獨(dú)立的。即使其對(duì)重構(gòu)環(huán)境的三維模型沒(méi)有貢獻(xiàn)(即如果其在相似性測(cè)試中失敗)，當(dāng)前強(qiáng)度圖像可被添加到該組參考圖像中。另一方面，正因?yàn)閿z像機(jī)的平移運(yùn)動(dòng)不夠大，因此例如對(duì)于基于SLAM跟蹤需要的基線不足夠，即使旋轉(zhuǎn)運(yùn)動(dòng)可能顯著，當(dāng)前強(qiáng)度圖像可被丟棄。在圖1b中描述的本發(fā)明的典型實(shí)施例中，根據(jù)現(xiàn)有技術(shù)對(duì)于上述過(guò)程的一差異變得清晰可見(jiàn)。代替具有用于追蹤過(guò)程Pl和三維模型的重構(gòu)過(guò)程P2的兩個(gè)獨(dú)立的決策實(shí)例，它是基于相似性度量來(lái)確定是否當(dāng)前強(qiáng)度圖像和當(dāng)前攝像機(jī)位姿被添加到用于追蹤的該組參考圖像，以及是否當(dāng)前強(qiáng)度圖像和/或與當(dāng)前強(qiáng)度圖像相關(guān)聯(lián)的當(dāng)前深度樣本被用于創(chuàng)建和/或更新該三維模型。換句話說(shuō)，像假定來(lái)自環(huán)境的附加信息的貢獻(xiàn)不夠高，當(dāng)其對(duì)該三維模型沒(méi)有貢獻(xiàn)時(shí)當(dāng)前圖像可能不被用作用于跟蹤的參考圖像。因此，本發(fā)明關(guān)閉跟蹤過(guò)程Pl和重構(gòu)過(guò)程P2之間的循環(huán)，使得能同步地估計(jì)攝像機(jī)運(yùn)動(dòng)和構(gòu)建環(huán)境的三維模型。此外，如上所解釋的，根據(jù)本發(fā)明的方法能夠從最初第一幀跟
足示O
[0059]本發(fā)明的更詳細(xì)的觀點(diǎn)在圖2a和圖2b中的實(shí)施例中介紹。圖2a表示源自與至少一個(gè)參考強(qiáng)度圖像關(guān)聯(lián)的參考深度樣本的初始三維參考模型的創(chuàng)建。在步驟SI中，參考三維點(diǎn)云使用與參考強(qiáng)度圖像關(guān)聯(lián)的深度樣本計(jì)算。對(duì)于每一個(gè)具有一度量的深度值Zi的均勻2D圖像點(diǎn)Pi，相應(yīng)的非均勻3D點(diǎn)Xi為:
[0060]Xi = ZiIT1Pi
[0061]其中，K為攝像機(jī)固有參數(shù)的(3X3)上三角矩陣。[0062]給定所述記錄的參考強(qiáng)度圖像，如圖5所示顏色可以被關(guān)聯(lián)至每個(gè)三維點(diǎn)。(在下面更詳細(xì)解釋)。
[0063]根據(jù)本發(fā)明的一實(shí)施例，三維點(diǎn)到攝像機(jī)的距離的一閾值可被定義，且具有低于該閾值的距離的最合適的三維點(diǎn)被選擇用于網(wǎng)合(meshing)。換句話說(shuō)，如果確定深度值高于一定義的閾值，至少當(dāng)前深度樣本其中之一可被丟棄。那么，距深度傳感器不遠(yuǎn)于一定距離的最合適的點(diǎn)被保存在當(dāng)前三維模型中。這有助于在深度度量的不確定性隨著深度顯著增加的情況下改善當(dāng)前三維模型的品質(zhì)。
[0064]在接下來(lái)的步驟S2中，參考網(wǎng)格從三維點(diǎn)云確定，例如，通過(guò)在三維點(diǎn)云內(nèi)確定三角形。可選地，當(dāng)參考強(qiáng)度圖像被額外考慮時(shí)，網(wǎng)合(meshing)可通過(guò)使用已知的鄰域優(yōu)化。
[0065]在圖2b中描述了根據(jù)本發(fā)明的一實(shí)施例的未知環(huán)境的同步追蹤和三維重構(gòu)，其中至少一個(gè)參考強(qiáng)度圖像，與至少一個(gè)參考強(qiáng)度圖像關(guān)聯(lián)的參考深度樣本和至少一個(gè)關(guān)聯(lián)的攝像機(jī)位姿，以及環(huán)境的三維模型(如上文所述已確定的)的初始估計(jì)作為輸入。根據(jù)所述實(shí)施例，提供了一當(dāng)前強(qiáng)度圖像和與該當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本。然后一當(dāng)前三維點(diǎn)云，即一當(dāng)前三維模型，利用與該當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本和固有參數(shù)
(S3)確定?？蛇x地，該當(dāng)前三維點(diǎn)云也可在S3中相網(wǎng)合(meshed)(未示于圖2b)。
[0066]此外，通過(guò)圖像配準(zhǔn)方法確定攝像機(jī)在一組參考圖像中至少一個(gè)參考強(qiáng)度圖像和當(dāng)前強(qiáng)度圖像之間的運(yùn)動(dòng)(S4)，以便確定當(dāng)拾取當(dāng)前強(qiáng)度圖像時(shí)攝像機(jī)的位姿。
[0067]步驟S3和S4可在不同實(shí)例或當(dāng)前強(qiáng)度圖像的副本上順序地或并行地處理。
[0068]使用所述確定的當(dāng)前攝像機(jī)位姿，在S6中在通用坐標(biāo)系中確定環(huán)境的參考三維模型和當(dāng)前三維模型之間的相似性度量。例如，使用所述確定的當(dāng)前攝像機(jī)位姿，可以完成將三維模型渲染至攝像機(jī)的當(dāng)前視野的坐標(biāo)系(即渲染至當(dāng)前三維模型的坐標(biāo)系)并對(duì)此在攝像機(jī)的當(dāng)前視野的坐標(biāo)系中確定參考三維模型的深度圖(S5)。然后該相似性度量可在諸如通過(guò)使用參考三維模型的參考深度圖的三維模型和諸如未經(jīng)網(wǎng)合(meshed)或已網(wǎng)合(meshed)的三維點(diǎn)云(S6)的當(dāng)前三維模型之間確定。
[0069]該相似性度量是表示參考三維模型和當(dāng)前三維模型之間的重疊。當(dāng)執(zhí)行諸如在AR應(yīng)用中常見(jiàn)的實(shí)時(shí)跟蹤時(shí)，攝像機(jī)具有一典型的微小幀間運(yùn)動(dòng)，即在兩個(gè)圖像之間。例如，這意味著在兩個(gè)連續(xù)圖像的兩個(gè)創(chuàng)建的網(wǎng)格之間有一巨大的重疊。這種重疊需要被重視，因?yàn)榉駝t，當(dāng)每個(gè)新拾取的強(qiáng)度圖像和與該強(qiáng)度圖像關(guān)聯(lián)的深度樣本被集成到參考三維模型中時(shí)，由于潛在的大量冗余數(shù)據(jù)，將在幾分鐘后溢出主存儲(chǔ)器的容量。例如，在圖4中描述了以第一網(wǎng)格Ml形式的第一三維模型和以第二網(wǎng)格M2形式的第二三維模型。當(dāng)在通用坐標(biāo)系中對(duì)準(zhǔn)Ml和M2時(shí)，在這種情況下兩個(gè)網(wǎng)格之間的重疊很小。通過(guò)將兩個(gè)網(wǎng)格組合入一組合的三維模型CM中，無(wú)需增加大量的冗余數(shù)據(jù)即可實(shí)現(xiàn)一更加全面的環(huán)境的重構(gòu)。
[0070]在接下來(lái)的步驟S7中，它被確定取決于相似性度量是否使用從與當(dāng)前強(qiáng)度圖像(SSa)關(guān)聯(lián)的當(dāng)前深度樣本確定的三維點(diǎn)云的至少一個(gè)點(diǎn)更新環(huán)境的三維模型的估計(jì)，以及是否包括其確定的關(guān)聯(lián)的攝像機(jī)位姿的當(dāng)前強(qiáng)度圖像被加入?yún)⒖紙D像組(SSb)。例如，如果相似性度量不滿足第一條件，例如不超過(guò)一定義的閾值，當(dāng)前強(qiáng)度圖像和與當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本將被丟棄。在這種情況下，為新的當(dāng)前強(qiáng)度圖像和與該新的當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本重復(fù)步驟S3至S7,該新的當(dāng)前強(qiáng)度圖像基于未更新的三維模型和包括至少一個(gè)參考圖像的一組參考圖像。如果該相似性度量超過(guò)該閾值，處理步驟8，并在之后基于更新的環(huán)境的參考三維模型以及至少包括參考圖像和作為附加參考強(qiáng)度圖像的前一次循環(huán)的當(dāng)前強(qiáng)度圖像的更新組參考圖像重復(fù)步驟S3至S7。環(huán)境的三維模型的更新(SSa)可由連接的兩個(gè)可通過(guò)用與當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的攝像機(jī)位姿的翻轉(zhuǎn)來(lái)轉(zhuǎn)換的三維點(diǎn)實(shí)現(xiàn)的三維點(diǎn)云組成。其它諸如在參考文獻(xiàn)[7]中披露的結(jié)合兩個(gè)或多個(gè)網(wǎng)格的方法對(duì)本領(lǐng)域的技術(shù)人員是已知的。
[0071]圖3表示了根據(jù)本發(fā)明的一實(shí)施例，是否將與一當(dāng)前強(qiáng)度圖像的當(dāng)前深度樣本用于更新環(huán)境的三維模型(圖2中的步驟S7至S8a)的決策過(guò)程的一詳細(xì)的實(shí)施例。
[0072]如上所述，由于噪聲隨距離增加，其可以被定義為距當(dāng)前攝像機(jī)視野不遠(yuǎn)于一定距離的最合適的三維點(diǎn)被保存。根據(jù)本發(fā)明的另一方面，對(duì)于在當(dāng)前三維點(diǎn)云中的至少一個(gè)點(diǎn)而言，其可進(jìn)一步確定是否關(guān)聯(lián)的三維點(diǎn)存在于參考三維模型中。此外，它可確定是否在所述當(dāng)前三維點(diǎn)云中的點(diǎn)的深度和在所述參考三維模型中確定的關(guān)聯(lián)的的三維點(diǎn)的深度之間的差值高于一定義的閾值。
[0073]基于這個(gè)信息，三維點(diǎn)的濾波可被執(zhí)行或相似性度量可以各種方式定義。例如，它可以被定義為用于每個(gè)拾取的當(dāng)前強(qiáng)度圖像和與該當(dāng)前強(qiáng)度圖像關(guān)聯(lián)的當(dāng)前深度樣本，首次成像的最合適的三維點(diǎn)可被用于擴(kuò)展參考三維模型。換句話說(shuō)，它可以被定義為在當(dāng)前三維點(diǎn)云中最合適的點(diǎn)，對(duì)此確定在三維模型中非關(guān)聯(lián)的三維點(diǎn)，該最合適的點(diǎn)被用于在步驟SSa中更新三維模型。然后用于步驟S7的相似性度量被定義，使得在當(dāng)前三維點(diǎn)云中的點(diǎn)的數(shù)量必須超出一定閾值，該閾值可等于1，對(duì)此確定在參考三維模型中非關(guān)聯(lián)三維點(diǎn)(像素?cái)?shù)(numPixel), S6b)。
[0074]如該圖3所述，這可通過(guò)使用二元掩模和深度緩沖實(shí)現(xiàn)。例如，在S6a中創(chuàng)建二元掩模，其中當(dāng)參考網(wǎng)格中的深度值與當(dāng)前深度值之間的差值大于O時(shí)，它可以被定義為在參考網(wǎng)格中具有非關(guān)聯(lián)的三維點(diǎn)的當(dāng)前三維點(diǎn)云中的一點(diǎn)，對(duì)此深度樣本是可使用的。為了在特別是出現(xiàn)在該記錄的深度圖的邊界上的參考網(wǎng)格中關(guān)閉小縫隙，二元掩?？赡鼙黄茐?，使得盡管已經(jīng)存在的幾何結(jié)構(gòu)比所述閾值更接近，新的幾何結(jié)構(gòu)也可被添加在邊界上。三維點(diǎn)將被暴露且可被直接考慮用于更新網(wǎng)格(SSa)，對(duì)此在其再投影二維位置上非幾何結(jié)構(gòu)被渲染。
[0075]然而，僅依靠二元掩模會(huì)阻止增加來(lái)自被首次在已經(jīng)重構(gòu)的幾何結(jié)構(gòu)前觀測(cè)的對(duì)象的信息，例如當(dāng)圍繞固定對(duì)象移動(dòng)攝像機(jī)試圖掃描其幾何結(jié)構(gòu)時(shí)發(fā)生的情況。根據(jù)本發(fā)明的另一方面，利用至少一些定義的閾值，可以檢察被掩蔽的像素是否儲(chǔ)存在該經(jīng)渲染的深度緩存中的深度大于深度圖的值，也可以用于添加接近的對(duì)象。
[0076]根據(jù)另一方面，相似性度量可被定義，使得被添加至三維模型的參考網(wǎng)格的三角形的數(shù)量必須超過(guò)一定閾值。根據(jù)另一方面，該相似性度量可以被定義，使得所述添加的網(wǎng)格的物理尺寸必須超過(guò)一定尺寸，例如以平方毫米給定。
[0077]可選地，在S8中，基于至少一個(gè)參考強(qiáng)度圖像和當(dāng)前強(qiáng)度圖像的所述估計(jì)的攝像機(jī)運(yùn)動(dòng)可被用來(lái)改善當(dāng)前三維點(diǎn)云和/或參考三維模型。這可通過(guò)以下方式實(shí)現(xiàn):基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定在三維模型中的三維點(diǎn)的深度和與該組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本的三維點(diǎn)的深度；從在三維模型中的三維點(diǎn)的深度以及在當(dāng)前三維模型中關(guān)聯(lián)的三維點(diǎn)的深度確定一改善的三維點(diǎn)的深度；和用所述確定的改善的深度(見(jiàn)圖6)更新當(dāng)前三維點(diǎn)云中和/或三維模型中三維點(diǎn)的深度。例如，使用圖像匹配方法，來(lái)自參考強(qiáng)度圖像中的特征點(diǎn)Fl在當(dāng)前強(qiáng)度圖像中確定。然后，一改善的深度值可從與參考強(qiáng)度圖像中的特征點(diǎn)Fl關(guān)聯(lián)的深度值和與當(dāng)前強(qiáng)度圖像中所述確定的匹配的特征點(diǎn)Fl關(guān)聯(lián)的深度值確定。
[0078]根據(jù)本發(fā)明的一方面，該方法可以進(jìn)一步包括記錄相似性度量和/或相似性度量隨時(shí)間的方差，且如果經(jīng)確定該相似性度量和/或該相似性度量在一定義的時(shí)間幀內(nèi)的的方差滿足第二條件，三維模型不再更新且該當(dāng)前組二維成像點(diǎn)不再加入該參考組二維成像點(diǎn)。此外，該方法可包括確定滿足第一條件的相似性度量的頻率以及如果經(jīng)確定更新的頻率降到一定義的閾值以下，三維模型不再更新且該當(dāng)前組二維成像點(diǎn)不再加入到該參考組二維成像點(diǎn)。
[0079]本發(fā)明的進(jìn)一步的方面是提供一種用于確定環(huán)境的三維模型的方法，其中三維模型中至少一個(gè)三維點(diǎn)和基于所述確定的估計(jì)的攝像機(jī)運(yùn)動(dòng)的當(dāng)前三維模型中關(guān)聯(lián)的三維點(diǎn)之間的相似性度量被確定，且如果經(jīng)確定該相似性度量滿足第一條件，改善所述當(dāng)前三維模型和/或所述三維模型?；谒龉烙?jì)的攝像機(jī)運(yùn)動(dòng)，所述當(dāng)前三維模型中關(guān)聯(lián)的三維點(diǎn)可被確定。
[0080]在這種情況下，該相似性度量可以被定義為三維模型中三維點(diǎn)的深度和當(dāng)前三維模型中關(guān)聯(lián)的三維點(diǎn)的深度之間的差值。三維點(diǎn)該改善的深度可從三維模型中的三維點(diǎn)的深度和當(dāng)前三維模型中關(guān)聯(lián)的三維點(diǎn)的深度確定，并被用于更新所述當(dāng)前三維模型和/或所述三維模型中三維點(diǎn)的深度。
[0081]下面，將更詳細(xì)地說(shuō)明本發(fā)明的幾個(gè)方面的優(yōu)選實(shí)施例。
[0082]提供深度樣本的可能的方法
[0083]有幾種方法可以提供一圖像中一元素，例如一像素，的深度，其可以通過(guò)根據(jù)將在下面的段落中描述的本發(fā)明的方法所使用。
[0084]來(lái)自校準(zhǔn)攝像機(jī)的深度:
[0085]根據(jù)一實(shí)施例以確定強(qiáng)度圖像中至少一個(gè)元素的深度，具有已知的相對(duì)位置和/或方向的至少兩個(gè)拾取裝置每個(gè)拾取各自的強(qiáng)度圖像，其中，在圖像中發(fā)現(xiàn)對(duì)應(yīng)，拾取裝置的相對(duì)位置和/或方向用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素的深度，該元素是至少所述對(duì)應(yīng)其中之一的一部分。
[0086]具體地講，提供深度數(shù)據(jù)的一種可能性如下:記錄具有已知相對(duì)位姿和理論上已知固有參數(shù)的強(qiáng)度的至少兩個(gè)攝像機(jī)，可以在大約相同的時(shí)間，或當(dāng)不動(dòng)時(shí)，在不同的時(shí)間拾取圖像。可以在兩個(gè)圖像中找到對(duì)應(yīng)，而攝像機(jī)的相對(duì)位姿和固有可用于計(jì)算任一圖像坐標(biāo)系中的對(duì)應(yīng)深度。在試圖找到對(duì)應(yīng)之前檢索相對(duì)位姿和固有參數(shù)是有利的，因?yàn)樗鼈兛梢杂糜谕ㄟ^(guò)引入額外的約束條件(例如，極幾何)，以簡(jiǎn)化建立對(duì)應(yīng)關(guān)系。
[0087]例如，基于點(diǎn)特征的對(duì)應(yīng)的發(fā)現(xiàn)可如下實(shí)現(xiàn):為了匹配從一個(gè)圖像到另一個(gè)的二維特征，在另一圖像中搜索指定大小的二維特征周?chē)陌邏K。例如，平方差的和(SSD)或歸一化互相關(guān)(NCC)可以分別用作距離或相似性度量。為了減少搜索相應(yīng)的補(bǔ)丁所需比較的次數(shù)，僅沿另一圖像中的特征點(diǎn)的極線搜索它。為了簡(jiǎn)化沿極線的搜索到一維搜索，首先糾正圖像。具有最高相似性的兩個(gè)補(bǔ)丁被設(shè)定成關(guān)聯(lián)。如果最高相似性的所述比第二高相似性具有顯著地更相似，前者將被認(rèn)為是匹配的對(duì)應(yīng)。[0088]當(dāng)然，專家很清楚，存在很多的可能性以獲得對(duì)應(yīng)。也有可能不考慮極線而獲得對(duì)應(yīng)。當(dāng)然，該過(guò)程也可以以迭代的方式實(shí)現(xiàn)，采用初始深度估計(jì)與我們提出的真實(shí)尺度特征描述符一起工作，并重新計(jì)算具有更高精度的特征的對(duì)應(yīng)和位置。
[0089]來(lái)自至少一個(gè)移動(dòng)攝像機(jī)的深度:
[0090]根據(jù)另一實(shí)施例，為了確定強(qiáng)度圖像中至少一個(gè)元素的深度，至少一個(gè)拾取裝置在不同的時(shí)間點(diǎn)從不同的位置拾取強(qiáng)度圖像，其中，在不同圖像中發(fā)現(xiàn)對(duì)應(yīng)，不同圖像和對(duì)應(yīng)的一結(jié)構(gòu)之間的拾取裝置的相對(duì)位置和/或方向被恢復(fù)并用于計(jì)算強(qiáng)度圖像中至少一個(gè)元素的深度，該元素是至少所述對(duì)應(yīng)其中之一的一部分。
[0091]例如，至少一個(gè)攝像機(jī)在不同的時(shí)間點(diǎn)從不同的位置拾取圖像。理想的情況是一些附加的傳感器量度可用(例如GPS位置)。圖像和附加信息，如果可用，于是進(jìn)行分析。例如通過(guò)從圖像到圖像跟蹤特征，或通過(guò)檢測(cè)局部特征以及使用尺度不變量描述符來(lái)匹配它們，在不同圖像中發(fā)現(xiàn)對(duì)應(yīng)。然后，使用來(lái)自運(yùn)動(dòng)的所謂的結(jié)構(gòu)(SfM)的方法來(lái)恢復(fù)在不同圖像和對(duì)應(yīng)的結(jié)構(gòu)之間的相對(duì)位姿。本領(lǐng)域技術(shù)人員已知許多不同的方法。理想的情況下，附加的傳感器數(shù)據(jù)，如GPS位置或攝像機(jī)的已知運(yùn)動(dòng)(例如在汽車(chē)中通過(guò)測(cè)量汽車(chē)的運(yùn)動(dòng))可以用來(lái)為該對(duì)應(yīng)的結(jié)構(gòu)提供一物理尺度。另外，如果在任何一圖像中檢索到具有已知大小的已知對(duì)象(例如一美元的鈔票或一標(biāo)記)，也可以檢索到物理尺度。如果不能檢索到物理尺度，假定一尺度，仍然可以使用我們的方法，但僅對(duì)在這個(gè)確切情況下的進(jìn)一步的匹配有意義。例如，為了為視頻游戲添加游戲角色以跟蹤攝像機(jī)的運(yùn)動(dòng)，運(yùn)動(dòng)的確切大小可能并不重要，但現(xiàn)實(shí)的相對(duì)運(yùn)動(dòng)是重要的。這里，通過(guò)真實(shí)尺度特征描述符的增強(qiáng)匹配可以有幫助。
[0092]此外，這個(gè)過(guò)程可以以迭代的方式來(lái)實(shí)現(xiàn)，使用初始尺度估計(jì)來(lái)改善該對(duì)應(yīng)，導(dǎo)致位姿估計(jì)和結(jié)構(gòu)中更高的準(zhǔn)確度。
[0093]來(lái)自圖像匹配的深度:
[0094]根據(jù)另一實(shí)施例，為確定強(qiáng)度圖像中至少一個(gè)元素的深度，提供強(qiáng)度圖像的至少一個(gè)數(shù)據(jù)庫(kù)，其中，已知每個(gè)強(qiáng)度圖像的總體深度，或至少一個(gè)圖像區(qū)域的深度，或一個(gè)或多個(gè)像素的深度，將拾取裝置拾取到的強(qiáng)度圖像(當(dāng)前強(qiáng)度圖像)與該數(shù)據(jù)庫(kù)進(jìn)行匹配。匹配的結(jié)果被用來(lái)計(jì)算當(dāng)前強(qiáng)度圖像中的至少一個(gè)元素的深度。
[0095]例如，為了檢索關(guān)聯(lián)到一圖像的深度的方法如下:我們假設(shè)圖像的數(shù)據(jù)庫(kù)存在并且已知每個(gè)圖像的一個(gè)總體深度(例如，10米)，或各個(gè)圖像區(qū)域的深度，或每個(gè)像素的深度。所拾取的當(dāng)前圖像現(xiàn)在匹配這個(gè)數(shù)據(jù)庫(kù)。為了加速該過(guò)程和/或增加魯棒性，可使用一可選的步驟，為圖像匹配創(chuàng)建優(yōu)化的數(shù)據(jù)結(jié)構(gòu)。例如，其可以從特征描述符建立一詞匯樹(shù)或KD-樹(shù)。
[0096]該方法可以嘗試使用來(lái)自數(shù)據(jù)庫(kù)圖像的詳細(xì)的深度信息(如果存在)和我們所提出的真實(shí)尺度特征描述符，或使用其他方法來(lái)記錄這兩個(gè)圖像。如果這不可能或未提供詳細(xì)的深度信息，返回一個(gè)給定深度或平均深度。
[0097]來(lái)自三維模型信息和傳感器信息的深度:
[0098]根據(jù)另一實(shí)施例，為確定強(qiáng)度圖像中至少一個(gè)元素的深度，當(dāng)拾取關(guān)于環(huán)境模型(其可能是初始估計(jì))的強(qiáng)度圖像時(shí)，提供環(huán)境模型和關(guān)于拾取裝置的位置和/或方向的信息，其中，所述環(huán)境模型和關(guān)于拾取裝置的位置和/或方向的信息相結(jié)合，并用來(lái)計(jì)算強(qiáng)度圖像中的至少一個(gè)元素的深度。
[0099]例如，假定可以提供環(huán)境模型，例如，其可以是構(gòu)造的三維模型或環(huán)境的掃描。當(dāng)獲取到關(guān)于環(huán)境模型的圖像時(shí)，如果已知關(guān)于拾取裝置的位置和/或方向的任何信息，可將兩者結(jié)合。例如，通過(guò)渲染具有假定的攝像機(jī)位姿和攝像機(jī)固有的三維模型，每一個(gè)像素的深度可以從由環(huán)境模型所提供的深度緩沖區(qū)中獲得，并在渲染過(guò)程中使用。雖然對(duì)于這種方法，初始位姿估計(jì)是必需的，通過(guò)使用假定的深度以及具有紋理的環(huán)境模型的本發(fā)明，位姿可以隨后被改善，并且在其他應(yīng)用中變得更加準(zhǔn)確。當(dāng)然這個(gè)過(guò)程也可能被反復(fù)使用。
[0100]來(lái)自專用傳感器的深度:
[0101]根據(jù)另一實(shí)施例，為確定強(qiáng)度圖像中的至少一個(gè)元素的深度，提供至少一個(gè)傳感器，用于檢索深度信息或范圍數(shù)據(jù)，以及關(guān)于拾取裝置的至少一個(gè)傳感器的至少一個(gè)相對(duì)位置和/或方向，其中，所述深度信息或范圍數(shù)據(jù)被用來(lái)計(jì)算強(qiáng)度圖像中的至少一個(gè)元素的深度。優(yōu)選地，已知傳感器和拾取裝置兩者的位姿(位置和方向)和固有參數(shù)。
[0102]特別地，檢索深度信息的一種方法是使用專用傳感器，其專用于檢索深度信息或范圍數(shù)據(jù)。例如，這可以是飛行裝置如激光掃描儀的時(shí)間，或飛行攝像機(jī)的時(shí)間。另一例子是傳感器，其將光的已知圖案投射到環(huán)境中，并且在具有傳感器的環(huán)境反射后檢索該圖案。通過(guò)匹配投射的信息和接收到的圖案并通過(guò)知道面向檢索傳感器的投影儀的位姿并通過(guò)知道投影儀和傳感器兩者的固有參數(shù)，可以計(jì)算出深度。
[0103]允許深度數(shù)據(jù)的檢索的另一傳感器是全光照相機(jī)，見(jiàn)參考文獻(xiàn)[14]。
[0104]為了使用深度傳感器的信息與強(qiáng)度圖像，兩者的位姿和固有是已知的。深度信息可以隨后被轉(zhuǎn)換到攝像機(jī)的坐標(biāo)系中并被使用。
[0105]攝像機(jī)運(yùn)動(dòng)估計(jì)
[0106]本發(fā)明的一方面是用圖像配準(zhǔn)方法估計(jì)第一和第二攝像機(jī)位姿之間，即拾取該組參考二維成像點(diǎn)和拾取該組當(dāng)前二維成像點(diǎn)之間，的相對(duì)攝像機(jī)運(yùn)動(dòng)。根據(jù)本發(fā)明的一方面，所述圖像配準(zhǔn)方法可以是基于特征的或基于強(qiáng)度的。它可以是基于二維成像點(diǎn)，例如僅強(qiáng)度圖像，或者它可能還考慮到與該組參考二維成像點(diǎn)關(guān)聯(lián)的深度樣本和與該組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的深度樣本。
[0107]在基于特征的圖像配準(zhǔn)方法中，可以從該組參考二維成像點(diǎn)，如至少一個(gè)參考強(qiáng)度圖像，提取二維圖像特征，并且，基于所述提取的圖像特征，通過(guò)確定二維對(duì)應(yīng)，可以估計(jì)攝像機(jī)運(yùn)動(dòng)。此外，從該組當(dāng)前二維成像點(diǎn)，例如當(dāng)前的強(qiáng)度圖像，提取二維圖像特征，并且使用除了從該組參考二維成像點(diǎn)提取的圖像特征的提取的當(dāng)前特征確定對(duì)應(yīng)，可能是有利的。
[0108]基于亮度的圖像配準(zhǔn)方法可以基于迭代最小化過(guò)程，其中，將來(lái)自該組參考二維成像點(diǎn)的第一組像素與來(lái)自該組當(dāng)前二維成像點(diǎn)的一計(jì)算組像素比較，并且用于比較的來(lái)自該組當(dāng)前二維成像點(diǎn)的該計(jì)算組像素在每一次迭代時(shí)變化。例如，圖像配準(zhǔn)方法中的比較可以基于圖像強(qiáng)度的差異，如參考文獻(xiàn)[8]中所述。
[0109]給出兩個(gè)RGB-D圖像之間的二維-二維對(duì)應(yīng)，通過(guò)如在公式(I)中給出的公式未投射它們，可以計(jì)算參考圖像二維特征的三維位置。這給出了一組二維-三維對(duì)應(yīng)，其可以用于位姿估計(jì)，例如通過(guò)應(yīng)用參考文獻(xiàn)[3]的PTAM方法。
[0110]可選地，可以基于三維-三維對(duì)應(yīng)確定攝像機(jī)位姿估計(jì)，該三維-三維對(duì)應(yīng)從二維-二維匹配建立。從這些對(duì)應(yīng)，例如可以使用參考文獻(xiàn)[9]的方法，其具有比二維-三維方法計(jì)算成本更低的優(yōu)點(diǎn)。當(dāng)使用三維-三維對(duì)應(yīng)時(shí)，從當(dāng)前深度樣本計(jì)算出的深度圖像也將被作為輸入提供給圖2b中的S4(未示出)。
[0111]此外，通過(guò)應(yīng)用基于深度數(shù)據(jù)的方法，例如參考文獻(xiàn)[10]、[11]中的迭代最接近點(diǎn)(ICP)方法，可以進(jìn)一步改善該位姿。在這種情況下，通過(guò)根據(jù)本發(fā)明的方法可以實(shí)現(xiàn)初始化或連續(xù)跟蹤，并且可以獲得該位姿的附加改善。
[0112]如果提出的方法獲得一紋理三維模型，建立圖像配準(zhǔn)的另一種可能性，是要遵循跟蹤的“綜合分析”指示，其中，利用當(dāng)前攝像機(jī)位姿估計(jì)，迭代地渲染整個(gè)紋理模型，隨后二維光流從合成的生成視圖跟蹤到拾取的攝像機(jī)圖像，直到收斂。
[0113]可選地，在S4中，參考二維成像點(diǎn)的一最接近的子組可從該組參考二維成像點(diǎn)中選擇，用于估計(jì)攝像機(jī)運(yùn)動(dòng)，基于關(guān)聯(lián)的攝像機(jī)位姿(多個(gè)位姿)之間的差異或圖像對(duì)準(zhǔn)。使用最接近的子組，例如一最接近的圖像，而不是多個(gè)圖像，對(duì)該方法的速度明顯具有積極的效果，同時(shí)它也通過(guò)合理的假設(shè)所支持，即在視覺(jué)上，諸如物理上最接近的參考圖像也應(yīng)該是在視覺(jué)上最相似的一個(gè)，這相應(yīng)地導(dǎo)致了一更好的配準(zhǔn)。
[0114]特征檢測(cè)和描述
[0115]如上所述，根據(jù)本發(fā)明的方法可使用基于特征的圖像配準(zhǔn)方法。任何二維的計(jì)算機(jī)視覺(jué)方法的強(qiáng)烈限制是，它在投影空間工作。這使得無(wú)法區(qū)分對(duì)象到攝像機(jī)的距離產(chǎn)生的尺度，和對(duì)象的實(shí)際的物理尺度產(chǎn)生的尺度。在許多應(yīng)用中，攝像機(jī)到對(duì)象的距離產(chǎn)生的尺度不變性是顯著期望的，并且是尺度不變性的原始動(dòng)機(jī)。然而，在不同的物理尺度存在類似特征的情況下，尺度不變性使得它們難以區(qū)分。例如，如參考文獻(xiàn)[13]中所述的描述符將無(wú)法區(qū)分真實(shí)的建筑物和它的一縮微模型。除此之外，提供尺度不變性的方法，通過(guò)計(jì)算圖像亮度特征的可重復(fù)的尺度，高度依賴于這個(gè)所述計(jì)算的尺度的精確度和可重復(fù)性。
[0116]根據(jù)本發(fā)明的實(shí)施例，該方法因此還包括一種從強(qiáng)度圖像檢測(cè)和描述特征的方法，該強(qiáng)度圖像對(duì)于由攝像機(jī)和對(duì)象之間的距離產(chǎn)生的尺度是不變的，但是對(duì)于用于一各種應(yīng)用的一對(duì)象的真實(shí)的(物理的)尺度是敏感的。這個(gè)方法可以用于針對(duì)提供由攝像機(jī)拾取的該組參考和/或當(dāng)前的二維成像點(diǎn)，以及根據(jù)步驟b或d的參考和/或當(dāng)前的深度樣本。在這方面，這種方法的各種實(shí)施例可以闡述如下:
[0117]在一個(gè)實(shí)施例中，所述方法可包括以下步驟:提供由攝像機(jī)拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中的至少一個(gè)元素的深度的方法，在特征檢測(cè)過(guò)程中檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，其中，通過(guò)以一取決于該強(qiáng)度圖像中至少一個(gè)元素的深度的尺度處理該強(qiáng)度圖像的圖像強(qiáng)度信息，并提供至少一個(gè)檢測(cè)到的特征的特征描述符，來(lái)執(zhí)行該特征檢測(cè)。
[0118]根據(jù)一實(shí)施例，該特征描述符包含基于該強(qiáng)度圖像所提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，并且包含描述符坐標(biāo)，其依靠是檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放，或者該特征描述符基于由所述檢測(cè)到的特征周?chē)囊恢斡蛑械膹?qiáng)度圖像所提供的信息描述所述檢測(cè)到的特征，其中，所述支撐域依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放。
[0119]根據(jù)本發(fā)明的另一實(shí)施例，所述方法可以包括一種用于從強(qiáng)度圖像中檢測(cè)和描述特征的方法，包括如下步驟:提供由攝像機(jī)拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中至少一個(gè)元素的深度的方法，基于由該強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，提供至少一個(gè)檢測(cè)到的特征的特征描述符，其中，所述特征描述符包含基于由該強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，并且包含描述符坐標(biāo)，其依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放，或者其中，所述特征描述符基于由所述檢測(cè)到的特征周?chē)囊恢斡蛑械膹?qiáng)度圖像所提供的信息描述所述檢測(cè)到的特征，其中，所述支撐域依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放。
[0120]根據(jù)本發(fā)明的另一實(shí)施例，所述方法可以包括一種用于從強(qiáng)度圖像中檢測(cè)和描述特征的方法，包括如下步驟:提供由攝像機(jī)拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中至少一個(gè)元素的深度的方法，基于由該強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，并提供至少一個(gè)具有特定尺度的指示符的所述檢測(cè)到的特征的特征描述符，所述特征描述符包括基于由該強(qiáng)度圖像提供的信息的至少一個(gè)第一參數(shù)，以及表示是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的尺度和深度的組合的至少一個(gè)第二參數(shù)。當(dāng)涉及描述符的坐標(biāo)時(shí)，我們指的是強(qiáng)度值的坐標(biāo)，從所述強(qiáng)度值的坐標(biāo)建立與一定義的特征中心相關(guān)的描述符。圖3有助于理解這個(gè)概念。
[0121]因此，為了在強(qiáng)度圖像中那個(gè)特定元素(像素)的特征檢測(cè)和/或描述，建議使用該強(qiáng)度圖像中一元素(例如，一像素)的深度。由此，可以在真實(shí)的(物理的)尺度檢測(cè)和描述特征，提供相比于強(qiáng)度圖像的標(biāo)準(zhǔn)尺度不變特征描述符的一種改善的獨(dú)特性，不引入攝像機(jī)運(yùn)動(dòng)的任何約束。
[0122]根據(jù)一實(shí)施例，在所提出的方法中，在特征檢測(cè)過(guò)程中，根據(jù)該強(qiáng)度圖像中的強(qiáng)度值，無(wú)論該強(qiáng)度圖像中的至少一個(gè)元素是否屬于一檢測(cè)到的特征，都會(huì)作出決定。
[0123]特別地，根據(jù)本發(fā)明的一實(shí)施例，所提出的方法僅基于強(qiáng)度圖像檢測(cè)和描述。特別地，特征的深度用于通過(guò)與真實(shí)的(物理的)尺度關(guān)聯(lián)而改進(jìn)該過(guò)程，但與現(xiàn)有技術(shù)的情況相反，不使用特征周?chē)木植繋缀涡螤畹娜魏纹渌R(shí)。
[0124]根據(jù)這些實(shí)施例的方法在一方面中僅使用一個(gè)標(biāo)量值，該標(biāo)量值是距離的一指示，以改進(jìn)特征的檢測(cè)和/或描述，該特征是僅從二維強(qiáng)度圖像中檢測(cè)并描述的。
[0125]存在不同的方法，用來(lái)提供關(guān)聯(lián)到強(qiáng)度圖像中特定像素的深度信息。例證包括立體視覺(jué)，飛行時(shí)間攝像機(jī)和使用結(jié)構(gòu)光的方法。在下文中，我們假定，我們提供強(qiáng)度圖像和用于一種確定所述強(qiáng)度圖像中的至少一個(gè)元素的深度的方法。這種方法可以是例如在關(guān)聯(lián)的深度圖中的查找操作(可能使用內(nèi)插和/或外推)，或者可以是立體照片深度的計(jì)算，并且給出包含來(lái)自一不同視圖的相應(yīng)物理元素的第二強(qiáng)度圖像。
[0126]1、根據(jù)本發(fā)明的一實(shí)施例，在真實(shí)的尺度上的特征檢測(cè):
[0127]通常，根據(jù)該方面的方法包括以下步驟:提供由拾取裝置拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中至少一個(gè)元素的深度的方法，在特征檢測(cè)過(guò)程中，檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，其中，通過(guò)以某一尺度處理該強(qiáng)度圖像的圖像強(qiáng)度信息來(lái)執(zhí)行該特征檢測(cè)，所述尺度取決于該強(qiáng)度圖像中至少一個(gè)元素的深度，并提供所述至少一個(gè)檢測(cè)到的特征的一特征描述符。
[0128]根據(jù)一實(shí)施例，所述特征描述符包含基于由所述強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，以及指示所述尺度的至少一個(gè)第二參數(shù)。[0129]根據(jù)一實(shí)施例，所述特征描述符包含基于由所述強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，并且包含描述符坐標(biāo)，其依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放，或者所述特征描述符基于由所述檢測(cè)到的特征周?chē)囊恢斡蛑械膹?qiáng)度圖像所提供的信息描述所述檢測(cè)到的特征，其中，所述支撐域依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放。
[0130]特征是圖像中的一顯著元素，其可以是一點(diǎn)(在文獻(xiàn)中通常稱為關(guān)鍵點(diǎn)或興趣點(diǎn))、一直線、一曲線、一區(qū)域或該圖像的任何其它子組。特征檢測(cè)算法通常是特點(diǎn)檢測(cè)器。例如，它們發(fā)現(xiàn)線、邊、或微分算子的局部極值。特征檢測(cè)器可以被看作是將像素的區(qū)域映射到響應(yīng)的函數(shù)。在文獻(xiàn)中，這個(gè)區(qū)域被稱為特征檢測(cè)器的采樣窗口、支撐域或測(cè)量孔徑。該響應(yīng)最終被閾值化，以決定哪些元素是特征，而哪些不是。為了以一定尺度提取特征，可以相應(yīng)地縮放該采樣窗口或該支撐域，或者在計(jì)算該特征檢測(cè)器的響應(yīng)之前，用逆縮放因子縮放該圖像。特征的尺度(或尺寸)隨后被定義為用來(lái)檢測(cè)它的采樣窗口或支撐域的尺寸。
[0131]在這種情況下，圖9示出了 FAST轉(zhuǎn)角檢測(cè)器(圖上的左側(cè))的尺寸，作為用于檢測(cè)點(diǎn)特征的方法的常見(jiàn)例子。在這個(gè)例子中，如圖所示，特征F的尺度(或尺寸)被定義為“尺度I”或“尺度2”，相應(yīng)于用于檢測(cè)它的采樣窗口或支撐域的尺寸(在這里由圓形組像素定義)。在圖9的左側(cè)，決定像素是否是特征(采樣窗口或支撐域)的圖像區(qū)域(這里由圓形組像素分隔)以兩種不同尺度顯示，尺度I和尺度2指定該支撐域的兩種不同尺寸。
[0132]例如，在本發(fā)明的一方面，所述方法包括以下步驟:將支撐域定義為覆蓋所述強(qiáng)度圖像的一部分的區(qū)域，基于該特征周?chē)闹斡蛑械男畔z測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，其中，相應(yīng)于所述尺度確定該支撐域的尺寸，以該尺度檢測(cè)所述至少一個(gè)特征。
[0133]根據(jù)一實(shí)施例，檢測(cè)至少一個(gè)特征的尺度取決于用于該支撐域的深度樣本。例如，與所述強(qiáng)度圖像的至少一個(gè)元素的深度成反比縮放所述支撐域，對(duì)其來(lái)說(shuō)，該特征檢測(cè)過(guò)程確定它是否是所述檢測(cè)到的特征的一部分。
[0134]關(guān)于特征檢測(cè)方法的常見(jiàn)例子包括:高斯拉普拉斯(LoG)、高斯差分(DoG)、Hessian行列式(DoH)、最大穩(wěn)定極值區(qū)域(MSER)、哈里斯特征、或基于學(xué)習(xí)的轉(zhuǎn)角檢測(cè)器，如FAST。為了檢測(cè)邊緣特征,可以使用廣為人知的算法,例如Canny、Sobel或Prewitt。
[0135]例如，在至少一個(gè)尺度執(zhí)行特征檢測(cè)，該尺度成反比取決于該強(qiáng)度圖像中至少一個(gè)元素的深度，對(duì)其來(lái)說(shuō)，該特征檢測(cè)過(guò)程確定它是否是所述檢測(cè)到的特征的一部分。
[0136]根據(jù)一實(shí)施例，檢測(cè)所述至少一個(gè)特征的至少一個(gè)尺度相應(yīng)于該特征的物理尺寸。
[0137]在本發(fā)明的一個(gè)可能的實(shí)施方式中，如果元素是特征，或者不取決于強(qiáng)度圖像中的值和該元素的深度，那么建議作出決定。更具體地，對(duì)于每個(gè)檢測(cè)到的元素，在成反比依賴于推定的元素的深度的一個(gè)或多個(gè)尺度執(zhí)行所述特征檢測(cè)。
[0138]在本發(fā)明的一個(gè)實(shí)施方式中，特征檢測(cè)僅使用一個(gè)真實(shí)的尺度(例如，以mm)來(lái)檢測(cè)特征。在另一個(gè)實(shí)施方式中，一個(gè)以上的真實(shí)的尺度(例如，以_)，其依賴于深度并用于檢測(cè)特征(例如，30mm和60mm,對(duì)于特征,離開(kāi)50cm更遠(yuǎn),且比IOOcm更近)。因此，當(dāng)圖像尺度(以像素)轉(zhuǎn)向真實(shí)尺度時(shí)，例如通過(guò)使它與所述深度成反比，可以不同地且獨(dú)立地縮放米制距離的物理的或真實(shí)的尺度。[0139]因此，檢測(cè)特征的尺度(多個(gè)尺度)相應(yīng)于一真實(shí)的(物理的)尺寸，而不是攝像機(jī)像素單元的尺度。
[0140]該拾取裝置的焦距的估計(jì)需要在絕對(duì)真實(shí)尺度檢測(cè)特征。
[0141]圖1Oa顯示了根據(jù)本發(fā)明的該方面的這種方法的一示例性實(shí)施例的流程圖。步驟S51，使用拾取裝置，例如攝像機(jī)，拾取強(qiáng)度圖像，或者加載強(qiáng)度圖像，并且提供了一種方法，用于確定該強(qiáng)度圖像中的至少一個(gè)元素，例如特定像素，的深度(上文提供了關(guān)于這種方法的可能的實(shí)施方式的進(jìn)一步的細(xì)節(jié))。步驟S52，其定義在哪個(gè)尺度提取特征，這取決于深度樣本。對(duì)于每個(gè)支撐域，其可以小到一像素，檢測(cè)該強(qiáng)度圖像中特征的尺度(多個(gè)尺度)取決于該區(qū)域的深度樣本。在本發(fā)明的一個(gè)實(shí)施方式中，支撐域由多于8個(gè)像素組成。如上面所解釋的，確定來(lái)自該深度的尺度的一種可能的方式是一種反比關(guān)系，其產(chǎn)生真實(shí)的(物理的)尺度。此后，步驟S53生成為不同尺度所提供的強(qiáng)度圖像的表示。在步驟S54中，在所希望的尺度中檢測(cè)特征。特別地，在特征檢測(cè)過(guò)程中生成不同尺度的強(qiáng)度圖像的各自的表示，并在各自的尺度檢測(cè)該強(qiáng)度圖像中的特征。對(duì)于特征描述，在步驟S55中指定至少一個(gè)方向，例如，作為相鄰像素的主導(dǎo)梯度方向，或使用方向傳感器測(cè)量，例如，引力校準(zhǔn)。最終，在步驟S56中，考慮其尺度和方向來(lái)描述所述特征，并且步驟S57如同以標(biāo)準(zhǔn)的方法使用所述描述的特征。
[0142]請(qǐng)注意，特別地，步驟S53和S54是示范性的。任何允許在不同尺度檢測(cè)特征的方法可以在這里應(yīng)用，包括那些縮放它們的取樣孔徑(或支撐域)，而不是處理該強(qiáng)度圖像的縮放版本的方法。
[0143]本發(fā)明的一實(shí)施例使用點(diǎn)特征(即關(guān)鍵點(diǎn)或興趣點(diǎn))。在這種情況下，如果一圖像中的單個(gè)點(diǎn)(即一像素)是一特征或者不是，基于該點(diǎn)周?chē)牟蓸哟翱谥械膱D像強(qiáng)度，用一種決定上述的方法來(lái)執(zhí)行所述特征檢測(cè)。
[0144]例如，經(jīng)常被用作特征檢測(cè)器的FAST轉(zhuǎn)角檢測(cè)器，將在本發(fā)明的實(shí)施方式中使用如下。給定一像素，該檢測(cè)器依靠其強(qiáng)度和它周?chē)?.5個(gè)像素為半徑的圓上像素的強(qiáng)度，確定它是否是一特征(轉(zhuǎn)角)。提出的方法將首先確定來(lái)自深度提供方法的該像素的深度。給定了此深度(Depthieal)、對(duì)應(yīng)于所期望的真實(shí)尺度的:期望的真實(shí)尺度(RadiUSreal)JP像素中拾取裝置的焦距(FocalLengthpixel),像素中的直徑或半徑(Radiuspixel)可以計(jì)算如下:
[0145]Radiuspixel = FocalLengthpixel*Radiusreal/Depthreal
[0146]如上面所解釋的，對(duì)應(yīng)于該表面的一些真實(shí)尺度的圖像中的該尺度與深度成反比例變化。這是確定來(lái)自深度的尺度的一種可能的方式。
[0147]對(duì)于FAST轉(zhuǎn)角檢測(cè)器，為了在對(duì)應(yīng)于半徑Radiusreal的真實(shí)尺度檢測(cè)一特征，或者將使用原始檢測(cè)器的一修改，其以Radiuspixel個(gè)像素，而不是默認(rèn)的3.5個(gè)像素為半徑進(jìn)行操作，或者由Radiuspixel/3.5的因子縮放半徑為Radiuspixel的候選像素周?chē)陌邏K,并使用標(biāo)準(zhǔn)檢測(cè)器在那個(gè)縮放的圖像斑塊上執(zhí)行檢測(cè)。
[0148]代替為每個(gè)深度提供一單獨(dú)的尺度，為尺度指定一深度范圍在計(jì)算上可能是有利的。例如，5-10m的范圍被指定到IOOmm的尺度，而IOm以上的范圍被指定到300mm。
[0149]如上所述，本發(fā)明的另一可能的實(shí)施例可以使用其他深度指示值，而不是深度。一個(gè)實(shí)施例使用以攝像機(jī)為中心的笛卡爾坐標(biāo)系的z值，其中，z軸與攝像機(jī)的光軸共線。[0150]通常，也清楚的是，不必從攝像機(jī)的中心精確地測(cè)量深度或距離。
[0151]可選地，在提取特征或建立描述符之前，根據(jù)附加的固有參數(shù)，所述圖像或圖像的一部分可以不失真。
[0152]本發(fā)明不需要正常計(jì)算(這需要密集的深度數(shù)據(jù))、將圖像背投射至三維、以及三角測(cè)量的昂貴步驟。代替圖像網(wǎng)格，本發(fā)明的方法使用簡(jiǎn)單的二維強(qiáng)度圖像，用于創(chuàng)建尺度空間。它不執(zhí)行任何基于切面的近鄰標(biāo)準(zhǔn)化，也根本不考慮所述特征描述中的標(biāo)準(zhǔn)。
[0153]特別地，根據(jù)本發(fā)明，在特征檢測(cè)過(guò)程期間，不創(chuàng)建基于該深度數(shù)據(jù)的三維網(wǎng)格。
[0154]2、根據(jù)本發(fā)明的一進(jìn)一步的實(shí)施例，在真實(shí)尺度的特征描述:
[0155]通常，根據(jù)該方面的方法包括以下步驟:提供由攝像機(jī)拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中至少一個(gè)元素的深度的方法，基于由該強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，并提供所述至少一個(gè)檢測(cè)到的特征的一特征描述符。
[0156]在第一種可能性中，所述特征描述符包含基于由所述強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，并且包含依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放的描述符的坐標(biāo)。
[0157]另外，在第二種可能性中，所述特征描述符基于由所述檢測(cè)到的特征周?chē)囊恢斡蛑械膹?qiáng)度圖像所提供的圖像強(qiáng)度信息描述所述檢測(cè)到的特征，其中，所述支撐域依靠是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度來(lái)縮放。
[0158]特征描述符基于在圍繞特征的圖像的支撐域中的可用信息描述特征。特征描述符的尺度是支撐域的尺寸。為清楚起見(jiàn)，并作為一例子，圖9在圖的右側(cè)示出了在兩個(gè)不同尺度的SIFT描述符的支撐域(此處由框架或具有描繪為直線的對(duì)比度的矩形定義)，指定該支撐域的不同尺寸的尺度3和尺度4，此處是框架或矩形。
[0159]通常依靠該特征的尺度線性地選擇描述符的尺度來(lái)描述。在本發(fā)明一個(gè)優(yōu)選的實(shí)施例中，用于構(gòu)造該特征描述符的支撐像素由像素周?chē)膸缀螆D形指定的像素組成(例如，在圓的邊緣上，或橢圓內(nèi)的所有像素)，該像素已被識(shí)別為特征，其中，該幾何圖形只根據(jù)深度而變化。變化可以是調(diào)整幾何圖形的大小，或改變?cè)诓煌纳疃鹊膸缀螆D形的形狀。不同深度可以是間隔，例如0-0.5m和0,5m - 5m和5m以上。請(qǐng)注意,對(duì)于支撐域,我們指的是具有非零貢獻(xiàn)權(quán)重的支撐域的部分。
[0160]例如，強(qiáng)度圖像中的支撐點(diǎn)用于提供特征描述符，其包括由所述點(diǎn)中的一個(gè)點(diǎn)周?chē)膸缀螆D形所指定的點(diǎn)，所述點(diǎn)在特征檢測(cè)過(guò)程中作為所述檢測(cè)到的特征的一部分已被識(shí)別，其中，所述幾何圖形根據(jù)所述點(diǎn)中的一個(gè)點(diǎn)的深度變化，特別是其中，所述變化可以是調(diào)整幾何圖形的大小，或改變?cè)诓煌纳疃鹊膸缀螆D形的形狀。
[0161]根據(jù)一實(shí)施例，使用在不同的真實(shí)尺度的支撐域，在這些支撐域中，一支撐域在較小的確定深度時(shí)被確定為較小，而在較大的確定深度時(shí)較大。
[0162]特征描述符可以是一實(shí)數(shù)(real-numbered)的矢量,如SIFT或SURF,但也可以是基于分類的方法，如隨機(jī)FERNS。此外，可以使用統(tǒng)計(jì)描述符，比如輪廓的曲率或(物理的)長(zhǎng)度。在本質(zhì)上，任何允許特征匹配的方法被認(rèn)為是在本公開(kāi)的用語(yǔ)中的特征描述符。
[0163]根據(jù)一實(shí)施例，建議依靠通過(guò)上述的方法所提供的強(qiáng)度圖像中的值和特征的深度來(lái)描述一特征。這個(gè)建議更具體的實(shí)施方式說(shuō)明如下。[0164]根據(jù)一實(shí)施例，特征描述符的支撐域與是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度成反比例進(jìn)行縮放。
[0165]根據(jù)另一實(shí)施例，特征描述符的描述符坐標(biāo)與是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度成反比進(jìn)行縮放。
[0166]尤其是，建議將坐標(biāo)或該特征描述符的支撐域與該特征的深度成反比例進(jìn)行縮放。這將導(dǎo)致對(duì)應(yīng)于真實(shí)尺度的特征描述符的尺度，并且不僅提高了特征描述符尺度的重復(fù)性，而且還允許區(qū)分在不同的物理尺度的相似特征。
[0167]如果真實(shí)尺度應(yīng)該對(duì)應(yīng)于可以在不同的裝置中使用的絕對(duì)尺度，則需要估計(jì)拾取裝置的焦距。在一定距離(D^threal)對(duì)應(yīng)于絕對(duì)真實(shí)尺度(Sreal)的像素(Spixels)中的尺度隨后被計(jì)算為
[0168]Spixels = FocalLengthpixels*Sreal/D 印 threal.[0169]圖1Ob示出了根據(jù)本發(fā)明這方面的一實(shí)施例的方法的流程圖。在步驟S61中，在用拾取裝置拾取強(qiáng)度圖像，或加載強(qiáng)度圖像，并提供給出的所請(qǐng)求的像素的深度的方法之后，以步驟S62中定義的尺度在步驟S63中檢測(cè)特征。這些尺度與真實(shí)的(物理的)尺度不具有已知的關(guān)聯(lián)，但在圖像坐標(biāo)系中定義。為描述步驟S65中的特征，我們合并通過(guò)深度提供方法所提供的特征的深度。使用該深度縮放描述符坐標(biāo)，以對(duì)應(yīng)于一真實(shí)尺度，如上面所解釋的。在步驟S66中，在指定方向之后，在步驟S67中，使用對(duì)應(yīng)于一真實(shí)尺度的描述符尺度來(lái)描述所述特征。最后，在步驟S68中，在應(yīng)用中使用所述描述的特征。在本發(fā)明的可能的實(shí)施方式中，提取特征，以便提供深度(例如，使用立體攝像機(jī))。在這種情況下，所述特征可以立即被傳遞到步驟S65，而不必(再)進(jìn)行步驟S62、S63和S64(即圖1Oa中對(duì)應(yīng)于步驟S53和S54的特征提取FE)。 [0170]在本節(jié)中提出的方法的一實(shí)施例使用點(diǎn)特征(即關(guān)鍵點(diǎn)或興趣點(diǎn))和關(guān)于這樣的特征的特征描述符。給定一圖像中的一二維點(diǎn)、一尺度和一任選的方向，它計(jì)算一描述符，其可以例如由基于在一個(gè)特征周?chē)闹斡蛑械膹?qiáng)度值的一真實(shí)值矢量來(lái)表示。這類方法的典型例子包括SIFT和SURF。
[0171]為了支持處理具有強(qiáng)深度變化的場(chǎng)景，我們建議定義對(duì)應(yīng)真實(shí)尺度的多個(gè)所需的特征描述符尺度。因此，本發(fā)明的一個(gè)可能的實(shí)施例使用不同的真實(shí)尺度支撐域，其中所述支撐區(qū)域在較小的深度時(shí)較小，在較高的深度值時(shí)較大。例如，當(dāng)成像遠(yuǎn)處的山時(shí)，50mmx50mm的支撐域是沒(méi)有意義的，因?yàn)樗鼘⒏采w少于一個(gè)像素的距離。另一方面，對(duì)于這樣的場(chǎng)景，10000mm xlOOOOmm的支撐域可能是有意義的,而在室內(nèi)桌面環(huán)境中,這顯然是不可行的。
[0172]根據(jù)以上的第I節(jié)中和/或此第2節(jié)中描述的一實(shí)施例，所述尺度被定義為一全局設(shè)置，而所述特征描述符不包含指示該尺度和/或支撐域3的至少一個(gè)第二參數(shù)。根據(jù)本發(fā)明的一進(jìn)一步的實(shí)施例的尺度不變量真實(shí)尺度感知特征描述:
[0173]根據(jù)本發(fā)明的這一方面，如標(biāo)準(zhǔn)方法中所做的那樣，建議基于所述強(qiáng)度圖像定義特征描述符的尺度。根據(jù)此方面的方法包括以下步驟:提供由攝像機(jī)拾取的強(qiáng)度圖像，提供一種用于確定該強(qiáng)度圖像中至少一個(gè)元素的深度的方法，基于由該強(qiáng)度圖像提供的圖像強(qiáng)度信息檢測(cè)該強(qiáng)度圖像中的至少一個(gè)特征，并為至少一個(gè)檢測(cè)到的特征的特征描述符提供一特定尺度的一指示器。所述特征描述符包含基于由所述強(qiáng)度圖像提供的圖像強(qiáng)度信息的至少一個(gè)第一參數(shù)，以及表示該尺度和是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的深度的組合的至少一個(gè)第二參數(shù)。
[0174]例如，第二參數(shù)表示該尺度與是所述檢測(cè)到的特征的一部分的強(qiáng)度圖像中的至少一個(gè)元素的所述深度的乘積。
[0175]根據(jù)一實(shí)施例，可選地包括關(guān)于所述拾取裝置焦距的信息的所述第二參數(shù)，被用作用于在隨后的特征匹配過(guò)程中的選擇步驟的基礎(chǔ)，該過(guò)程中，只有另一強(qiáng)度圖像的那些特征被認(rèn)為是所述檢測(cè)到的特征的可能的匹配，所述檢測(cè)到的特征具有包括類似于所述至少第二參數(shù)的至少一個(gè)參數(shù)的特征描述符。
[0176]優(yōu)選地，對(duì)于一檢測(cè)到的特征到所述拾取裝置的距離，第二參數(shù)是不變的。
[0177]根據(jù)一實(shí)施例，除了該特征周?chē)囊恢斡蛑械膹?qiáng)度圖像的描述，所述特征描述符包含一標(biāo)量值，例如s*d。由此，s表示該特征描述符的尺度而d是該特征的深度。由于對(duì)于一特征到所述拾取裝置的距離，此值在理論上是不變的，這提供了特征的一獨(dú)特的描述。如果一特征的深度d(或距離)加倍了強(qiáng)度圖像中此特征的尺寸，則因此其尺度S將減少一半。顯然，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，焦距不重要，由于它是常數(shù)。但在一般情況下，當(dāng)可以使用任何攝像機(jī)時(shí)，它是重要的。因此，該常數(shù)將由(S*d)/f代替，其中f是焦距。為了確保具有不同焦距的攝像機(jī)之間的數(shù)據(jù)的互用性是重要的。通過(guò)只將那些特征看作是具有類似的S*d值的可能的匹配，尺度和深度(和焦距任選)的乘積可以例如用于加速特征匹配。
[0178]圖1Oc示出了根據(jù)本發(fā)明這方面的一實(shí)施例的方法的流程圖。在步驟S71中，在用拾取裝置拾取強(qiáng)度圖像，或加載強(qiáng)度圖像，并提供一種用于獲得該強(qiáng)度圖像中特定點(diǎn)的深度樣本的方法之后，以步驟S72中定義的尺度，在步驟S73中創(chuàng)建該強(qiáng)度圖像的尺度空間。在步驟S74中，從該尺度空間圖像提取特征。對(duì)于每一個(gè)特征，在步驟S75中指定一方向，并在步驟S76中計(jì)算一描述。注意，該方法迄今未不同于常規(guī)的尺度不變量方法，例如SIFT。在下面的步驟S77中，根據(jù)本發(fā)明，通過(guò)在步驟S71中所提供的方法所提供的特征的深度被合并。在這種情況下，該深度形成該描述符的一部分，并且被乘以特征尺度和可選的焦距，如上面所述。最后，在步驟S78中，在應(yīng)用中使用所述描述的特征。在本發(fā)明的可能的實(shí)施方式中，提取特征，以便提供深度(例如，使用立體攝像機(jī))。在這種情況下，所述特征可以立即被傳遞到步驟S75，而不必(再)進(jìn)行步驟S72、S73和S74(即特征提取FE)。
[0179]示例性結(jié)果的描述:圖11將根據(jù)本發(fā)明的上述方面的技術(shù)(如在點(diǎn)1-3中涉及的)與標(biāo)準(zhǔn)方法進(jìn)行比較，其比較的設(shè)置為，其中拾取裝置CD拾取由兩組玩偶，SI和S2組成的場(chǎng)景。每組包含在不同尺度的兩個(gè)類似的玩偶(即一高的玩偶和一較小的玩偶)。兩組SI和S2位于與拾取裝置⑶的距離不同的位置。左圖1l示出了用⑶拾取的圖像。重疊的方塊為位于每個(gè)玩偶右眼的特征指示標(biāo)準(zhǔn)的尺度不變量特征描述符的支撐域。插圖R11、R12、R13和R14示出了由單獨(dú)特征的支撐域覆蓋的圖像的部分。如可以看到的，它們都由于尺度不變性而相同。而這使在不同距離的對(duì)象的特征能夠匹配，例如Rll和R13，它不提供在不同物理尺度的類似對(duì)象(例如Rll和R12)之間的辨別。
[0180]與此相反，12示出了具有每個(gè)玩偶右眼處四個(gè)特征的支撐域的相同的拾取圖像，根據(jù)本發(fā)明提出的方法縮放。而支撐域并且因此，對(duì)于一對(duì)象到攝像機(jī)的距離該描述符是不變的，例如R21和R23或R22和R24，關(guān)于在不同尺度的類似對(duì)象，它不同。例如，支撐域R21和R22顯然有不同的其圖像內(nèi)容，這將導(dǎo)致不同的特征描述符。[0181]根據(jù)本發(fā)明的一實(shí)施例，為了提供參考的和/或當(dāng)前的深度樣本，一種用于確定強(qiáng)度圖像中至少一個(gè)元素的深度的方法基于所述拾取裝置的一光學(xué)焦點(diǎn)。
[0182]根據(jù)本發(fā)明的另一實(shí)施例，在用于確定強(qiáng)度圖像中至少一個(gè)元素的深度的方法中，通過(guò)提取該強(qiáng)度圖像和至少一個(gè)較遠(yuǎn)的強(qiáng)度圖像的特征，并且使用立體攝像機(jī)對(duì)的對(duì)極幾何拾取該強(qiáng)度圖像和至少一個(gè)較遠(yuǎn)的強(qiáng)度圖像匹配它們，生成該強(qiáng)度圖像的元素的深度樣本。在這種情況下，在提取特征以提供深度的地方(例如，使用立體攝像機(jī))，所述提取的特征可立即用于該特征描述。例如，在第一步驟中，兩個(gè)強(qiáng)度圖像Il和12由攝像機(jī)拾取或被加載，然后其可以可選地接受預(yù)處理。對(duì)于單攝像機(jī)設(shè)置，例如使用立體攝像機(jī)對(duì)的對(duì)極幾何或尺度不變量特征描述符，在一尺度空間或一組離散的尺度已定義之后，在Il和/或12的此尺度空間中檢測(cè)特征，并確定對(duì)應(yīng)。一檢測(cè)到的特征的對(duì)應(yīng)C (Fl (X，y)，F(xiàn)2 (x, y))和Fi指定所述兩個(gè)相應(yīng)的特征，并且X，y指定各自的特征Fi的一二維位置，被認(rèn)為是將三維空間中同一點(diǎn)的投影描述到Il和12中，因此，所述深度，即該點(diǎn)的三維空間中的位置可以例如通過(guò)三角測(cè)量來(lái)計(jì)算。在一應(yīng)用中最終使用所述描述的特征之前，描述提取的特征或關(guān)鍵點(diǎn)K。該描述包含描述符V，它是從強(qiáng)度數(shù)據(jù)創(chuàng)建的。此外，依靠該應(yīng)用，對(duì)于存儲(chǔ)圖像中它們的位置(x，y)或它們的三維位置(可以從深度來(lái)計(jì)算)，可以是有意義的?？蛇x地，該尺度S、方向ο和確定的深度d也可以關(guān)于該關(guān)鍵點(diǎn)存儲(chǔ)。為了使用本發(fā)明的這個(gè)實(shí)施例，沒(méi)有必要將該尺度存儲(chǔ)為該描述符的一部分。例如，對(duì)于特定深度，尺度也可以全局定義到IOmm或1000mm,或者使用依賴于深度d的通式,它適用于該應(yīng)用中的所有特征。如上所述，關(guān)于圖1Ob和10c，可以使用根據(jù)如以上第2節(jié)(例如，在圖1Ob中，從S65開(kāi)始)或第3節(jié)(例如，在圖1Oc中，從S75開(kāi)始)中所描述的本發(fā)明的一實(shí)施例的方法。如果是根據(jù)第3節(jié)的一實(shí)施例，K還將進(jìn)一步包括從結(jié)合s和d導(dǎo)出的值(和可選的攝像機(jī)的焦距)。
[0183]根據(jù)本發(fā)明的一進(jìn)一步的實(shí)施例，使用可視化搜索算法估計(jì)該強(qiáng)度圖像的至少一個(gè)元素的深度，以最初比較不同的距離。
[0184]根據(jù)本發(fā)明的一實(shí)施例，該方法可以進(jìn)一步包括以下步驟:提供全局坐標(biāo)系中的拾取裝置的位置和方向的測(cè)量，從該測(cè)量確定拾取裝置的位姿，提供環(huán)境的三維模型，其中，所述位姿與該三維模型結(jié)合使用，以計(jì)算該強(qiáng)度圖像中一特征的至少一個(gè)元素的深度，例如，借助于將來(lái)自該拾取裝置中心的虛擬光線通過(guò)該特征投射到三維模型中。
[0185]全局坐標(biāo)系中的拾取裝置的位置的度量值可通過(guò)GPS傳感器/接收器、IR或RFID三角測(cè)量、或通過(guò)使用寬帶或無(wú)線基礎(chǔ)設(shè)施的定位方法來(lái)提供。全局坐標(biāo)系中拾取裝置的方向的度量值可通過(guò)慣性傳感器、加速度計(jì)、陀螺儀、羅盤(pán)，或機(jī)械的、電磁的、聲學(xué)的、或光學(xué)的跟蹤系統(tǒng)中的至少一個(gè)來(lái)提供。在本發(fā)明的上下文中，慣性傳感器可通過(guò)使用以下任意組合:磁力計(jì)(例如指南針)、運(yùn)動(dòng)傳感器/旋轉(zhuǎn)傳感器(加速計(jì)/陀螺儀)、重力傳感器及提供此類信息的其他傳感器，例如連續(xù)地提供包括一對(duì)象或裝置相對(duì)于環(huán)境的位置和/或方向的傳感器信息。
[0186]具有真實(shí)尺度特征描述符的深度提供方法的可能的組合可被用在光學(xué)位姿估計(jì)和跟蹤中，例如為了創(chuàng)建室外AR體驗(yàn)。例如，使用粗糙度傳感器數(shù)據(jù)和環(huán)境模型提取深度。強(qiáng)度圖像Il由拾取裝置拾取或載入。此外，當(dāng)拾取Il時(shí)該拾取裝置的初始位姿從諸如GPS位置和方向傳感器信息的粗糙度傳感器度量值估計(jì)。最后，提供了一種包括3D數(shù)據(jù)和圖像數(shù)據(jù)的先進(jìn)的環(huán)境模型(類似于Google街景)。圖像數(shù)據(jù)是唯一必要的，如果用于跟蹤的參考模型(例如已包含特征3D坐標(biāo)和特征描述符)還沒(méi)有被提前創(chuàng)建。使用假定的攝像機(jī)位姿載入環(huán)境模型，即環(huán)境的模型被從強(qiáng)度圖像Il的攝像機(jī)觀察點(diǎn)渲染。深度信息從環(huán)境模型中重新得到并在用于計(jì)算檢測(cè)的特征的真實(shí)尺度描述符的下一步驟中使用。換句話說(shuō)，使用與圖像Il 一同記錄的深度信息，真實(shí)尺度特征在一固定的尺度下被提取，例如I米。由于環(huán)境模型結(jié)合3D數(shù)據(jù)和圖象數(shù)據(jù)，具有尺度為Im的物理尺度特征的參考3D模型可被創(chuàng)建(這當(dāng)然可以提前完成)。之后該結(jié)果可被用來(lái)創(chuàng)建Il中的特征和3D物理尺度特征之間的對(duì)應(yīng)關(guān)系。使用優(yōu)化算法，可計(jì)算環(huán)境模型坐標(biāo)系中改善的Il的位姿。之后該改善的位姿可被用于諸如旅游數(shù)據(jù)的增強(qiáng)現(xiàn)實(shí)可視化的一應(yīng)用，或可選地被用來(lái)改善位姿估計(jì)和迭代該過(guò)程，直到位姿的變化已經(jīng)趨于低于一定義的品質(zhì)閾值。
[0187]三維模型生成
[0188]如上面所解釋的，所述確定的三維模型可以各種形式被確定，這取決于其可用的數(shù)據(jù)和用于重構(gòu)的方法。三維模型可使用與一組二維成像點(diǎn)相關(guān)聯(lián)的深度樣本和/或從一組二維成像點(diǎn)確定的附加信息被確定為一三維點(diǎn)云、一經(jīng)網(wǎng)合(meshed)的三維點(diǎn)云、一基于邊緣的模型、一 Bezier曲面模型、一三維CAD模型、或一容積模型。該組二維成像的點(diǎn)可以是一強(qiáng)度圖像。
[0189]例如，用于確定一經(jīng)網(wǎng)合(meshed)的三維點(diǎn)云的一合適的重建方法可以是參考文獻(xiàn)[7]的方法。這里，當(dāng)工作在固定的容積時(shí)與每一頂點(diǎn)對(duì)最大邊長(zhǎng)對(duì)應(yīng)的一固定閾值也可用來(lái)代替一柔性閾值使用?；谌莘e模型的變換方法由參考文獻(xiàn)[12]所述。
[0190]根據(jù)本發(fā)明的實(shí)施例中，三維模型和/或當(dāng)前三維模型進(jìn)一步包括使用諸如顏色、紋理、和/或陰影信息的固有變量從該組參考二維成像點(diǎn)和/或該組當(dāng)前二維成像點(diǎn)確定的附加信息。例如，該附加信息可通過(guò)將至少一個(gè)相應(yīng)的參考二維成像點(diǎn)的顏色關(guān)聯(lián)到三維模型(圖2中未示出)來(lái)確定。當(dāng)三維模型被確定為一三維點(diǎn)云或如圖2a所述的一經(jīng)網(wǎng)合(meshed)的三維點(diǎn)云時(shí)，該三維點(diǎn)云可使用頂點(diǎn)映射進(jìn)行著色，其中在該組二維成像點(diǎn)中的相應(yīng)的像素的顏色或灰度值被關(guān)聯(lián)至三維模型的每個(gè)頂點(diǎn)?；蛘咴撊S模型可使用紋理映射進(jìn)行著色，其中該組二維成像點(diǎn)中相應(yīng)的像素的二維位置被關(guān)聯(lián)至三維模型的每個(gè)頂點(diǎn)。圖5表示從一定攝像機(jī)觀察點(diǎn)拾取的對(duì)象的一三維點(diǎn)云的網(wǎng)合(meshing)和紋理結(jié)果。
[0191]示范性評(píng)價(jià)結(jié)果
[0192]圖7的表格給出了對(duì)基于本發(fā)明(“提出的”)的所有序列的方法以及對(duì)多個(gè)如參考文獻(xiàn)[3]所示的PTAM初始化所述估計(jì)的攝像機(jī)位姿的評(píng)價(jià)的示范性結(jié)果。描述了所提出的方法以及具有不同初始化的PTAM的旋轉(zhuǎn)和平移中誤差的均值和方差。幀0+5被用于PTAM05,幀0+10被用于PTAMlO等。每個(gè)序列的最佳值被以粗體字突出。
[0193]從結(jié)果可清楚的是，為了初始化PTAM，必須小心地移動(dòng)攝像機(jī)一定距離以建立初始立體結(jié)構(gòu)。這些幀的基線影響PTAM創(chuàng)建的圖的尺度(和PTAM估計(jì)的軌跡的尺度)。
[0194]根據(jù)本發(fā)明(“建議”)的方法始終在序列的第一幀被初始化，并且能夠跟蹤完整序列。在評(píng)價(jià)PTAM時(shí)，對(duì)于所有序列，相同的第一幀被使用，初始立體結(jié)構(gòu)設(shè)置的第二幅圖像從第I幀到第50幀變化。對(duì)于一些圖像對(duì)，PTAM的初始化沒(méi)有成功。
[0195]與此相反，得益于米制的深度圖(metric depth maps)的使用，該所提出的方法為所有四個(gè)序列估計(jì)一相同的場(chǎng)景尺度。進(jìn)一步評(píng)價(jià)表明，無(wú)論每個(gè)序列的從前50幀中的第一個(gè)被關(guān)閉，需要軌道的度量對(duì)準(zhǔn)的尺度因子值在I周?chē)鄬?duì)穩(wěn)定且具有低方差。
[0196]圖7表示PTAM方法的準(zhǔn)確度和精確度取決于被用于初始化的那個(gè)圖像對(duì)。為了總是獲得最好的旋轉(zhuǎn)和平移估計(jì)，用戶應(yīng)當(dāng)使用哪個(gè)幀并沒(méi)有明確的規(guī)則。盡管在兩幀之間存在巨大的基線，其甚至不能與一些圖像對(duì)一同初始化。這是PTAM方法的缺點(diǎn)之一。例如，當(dāng)比較根據(jù)本發(fā)明的用于在幀O上初始化第一序列的方法，和PTAM方法在這個(gè)序列(使用幀O和幀15)上能達(dá)到的最好的結(jié)果時(shí)，盡管PTAM方法有良好的旋轉(zhuǎn)估計(jì)，根據(jù)本發(fā)明的方法仍然得到比PTAM方法更好的平移估計(jì)且攝像機(jī)軌道估計(jì)更接近于參考地面實(shí)況軌跡。
[0197]應(yīng)用場(chǎng)景
[0198]根據(jù)本發(fā)明的一實(shí)施例可用在旨在幫助需要買(mǎi)前在房間中虛擬地體驗(yàn)新家具(例如一壁櫥)的該類用戶的基于增強(qiáng)現(xiàn)實(shí)的虛擬家具體驗(yàn)應(yīng)用。用戶不僅會(huì)檢查家具的顏色和樣式，而且還會(huì)檢查家具的大小。這就需要正確地縮放攝像機(jī)位姿估計(jì)。應(yīng)用本發(fā)明，家具可用正確的尺度放置在期望的位置，而不需要修改環(huán)境。此外，由于環(huán)境的重構(gòu)，用戶得到可能的未來(lái)外觀更多逼真的印象。為了進(jìn)一步幫助用戶，人們可為限制虛擬家具的移動(dòng)使用一密集重構(gòu)，這個(gè)限制移動(dòng)例如它不能被意外地推“穿過(guò)”墻壁或在有如門(mén)或抽屜的運(yùn)動(dòng)部件的情況，它可以自動(dòng)地檢查是否它們可被操作使用它們的全部的運(yùn)動(dòng)的設(shè)計(jì)的范圍。
[0199]本發(fā)明也可以被用于視覺(jué)差異檢驗(yàn)方面。這在諸如樣機(jī)研究的工業(yè)應(yīng)用中用處很大。它通常需要形象化地將樣機(jī)與制造的模型進(jìn)行比較。由于不需要通過(guò)施工工程師手工照原樣分析，使用AR允許減少施工成本。本例假定一跟蹤的高精確度，對(duì)此當(dāng)前機(jī)械測(cè)量系統(tǒng)被用的最好。然而，對(duì)于較粗糙的差異檢驗(yàn)，通過(guò)所提出的方法在線創(chuàng)建的密集網(wǎng)格可能足夠了。一旦當(dāng)前所需的幾何形狀被記錄到當(dāng)前所觀察的狀態(tài)，可輕易地突出其潛在的差值。萬(wàn)一沒(méi)有一對(duì)象的當(dāng)前狀態(tài)的深度信息，人們可使用虛擬剪切平面來(lái)執(zhí)行視覺(jué)差異檢驗(yàn)。
[0200]雖然已參考示范性實(shí)施例和應(yīng)用場(chǎng)景描述了本發(fā)明，通過(guò)本領(lǐng)域技術(shù)人員將了解到可能做出的各種變化以及元素的等同替換其不脫離本權(quán)利要求的范圍。因此，其意圖是，本發(fā)明不局限于所公開(kāi)的具體實(shí)施例，而是本發(fā)明將包括落入所附權(quán)利要求的范圍內(nèi)的所有實(shí)施例，并且可以應(yīng)用到工業(yè)以及商業(yè)領(lǐng)域中的各種應(yīng)用。
[0201]參考文獻(xiàn)
[0202][1]A.J.Davison.2003.Real-Time Simultaneous Localisation and Mappingwith a Single Camera.1n Proceedings of the Ninth IEEE International Conferenceon Computer Vision-Volume2(ICCV' 03), Vol.2, pp.1403-.[0203][2] R.A.Newcombe and A.J.Davison.2010.Live dense reconstructionwith a single moving camera.1EEE Conference on Computer Vision and patternRecognition (CVPR)，2010.[0204][3]G.Klein and D.Murray.2007.Parallel Tracking and Mapping for Small ARWorkspaces.1n Proceedings of the20076th IEEE and ACM International Symposium onMixed and Augmented Reality(ISMAR' 07), pp.1-10.[0205][4] V.Castaneda，D.Mateus，and N.Navab.2011.Slam combining tof andhigh-resolution cameras.1n Proceedings of the2011IEEE Workshop on Applicationsof Computer Vision(WACVi 11), pp.672-678.[0206][5]H.Strasdatj J.Montiel and A.J.Davison.2010.Real-time MonocularSLAM:Why Filter ?.1n2010IEEE International Conference on Robotics and Automation (ICRA)，Anchorage, Alaska, USA，pp.2657-2664.[0207][6]P.Henry, M.Kraininj E.Herbstj X.Renj and D.Fox.2010.RGB-D Mapping:Usingdepth cameras for dense3d Modeling of indoor environments.1n Proc.0f2010International Symposium on Experimental Robotics(ISER^ 10).[0208][7]G.Turk and M.Levoy.1994.Zippered polygon meshes from range images.1nProceedings of the21st annual conference on Computer graphics and interactivetechniques (SIGGRAPH，94).ACM, New York, NYj USA, pp.311-318.[0209][8]B.D.Lucas and T.Kanade.1981.An iterative image registrationtechnique with an application to stereo vision.1n Proceedings of the7thinternational joint conference on Artificial intelligence-Volume2 (IJCAIi 81), Vo
1.2.，pp.674-679.[0210][9] S.Umeyama.1991.Least-Squares Estimation of TransformationParameters Between Two Point Patterns.1EEE Trans.Pattern Anal.Mach.1ntell.13，4，pp.376—380.[0211][10] P.J.Besl and N.D.McKay.1992.A Method for Registration of 3-DShapes.1EEE Trans.Pattern Anal.Mach.1ntell.14，2 (Februaryl992)，pp.239-256.[0212][11]Z.Zhang.1994.1terative point matching for registration offree-form curves and surfaces.1nt.J.Comput.Visionl3, 2(0ctoberl994), pp.119-152.[0213][12]B.Curless and M.Levoy.1996.A volumetric method for buildingcomplex models from range images.1n Proceedings of the23rd annual conferenceon Computer graphic s and interactive techniques (SIGGRAPH' 96).ACM, NewYork, NYj USA，pp.303-312.[0214][13]D.G.Lowe.2004.Distinctive Image Features from Scale-1nvariantKeypoints.1nt.J.Comput.Vision60, 2，pp.91-110.[0215][14]D.V.Johnston, Learning Depth in Lightfield Images, CS229MachineLearning Autumn 2005，Stanford University, 2005，
[0216]http://www.Stanford.edu/class/cs229/proj2005/Johnston-LearningDepthInLightfieldlmages.pdf
【權(quán)利要求】
1.一種用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定環(huán)境的三維模型的方法，包括以下步驟: a.提供攝像機(jī)的固有參數(shù)； b.提供一組由攝像機(jī)以第一攝像機(jī)位姿拾取的參考二維成像點(diǎn)，以及與該組參考二維成像點(diǎn)關(guān)聯(lián)的參考深度樣本； c.使用參考深度樣本和固有參數(shù)確定環(huán)境的三維模型； d.提供一組由攝像機(jī)以第二攝像機(jī)位姿拾取的當(dāng)前二維成像點(diǎn)，以及與該組當(dāng)前二維成像點(diǎn)關(guān)聯(lián)的當(dāng)前深度樣本，并使用當(dāng)前深度樣本和固有參數(shù)確定當(dāng)前三維模型； e.利用圖像配準(zhǔn)方法估計(jì)第一攝像機(jī)位姿與第二攝像機(jī)位姿之間的攝像機(jī)運(yùn)動(dòng)； f.基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定所述三維模型和所述當(dāng)前三維模型之間的相似性度量，并且 如果確定該相似性度量滿足第一條件，用該當(dāng)前三維模型的至少一個(gè)點(diǎn)更新環(huán)境的三維模型，并將該組當(dāng)前二維成像點(diǎn)加入到該組參考二維成像點(diǎn)。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括使用所述三維模型和由步驟d)至f)的前一次迭代產(chǎn)生的該組參考二維成像點(diǎn)，重復(fù)步驟d)至f)。
3.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括記錄該相似性度量和/或該相似性度量的隨時(shí)間的變化，如果確定該相似性度量和/或在一定義的時(shí)間幀中的該相似性度量的變化滿足第二條件，則不再更新所述三維模型，并且不再將該當(dāng)前組二維成像點(diǎn)加入到該參考組二維成像點(diǎn)。
4.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括確定滿足該第一條件的該相似性度量的頻率，如果確定該更新的頻率下降到低于一定義的閾值，則不再更新該三維模型，并且不再將該當(dāng)前組二維成像點(diǎn)加入到該參考組二維成像點(diǎn)。
5.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，步驟f)進(jìn)一步包括:將該三維模型渲染到所述當(dāng)前三維模型的坐標(biāo)系中，并確定該三維模型和所述當(dāng)前三維模型之間的相似性量度。
6.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，所述相似性度量表示該三維模型和所述當(dāng)前三維模型之間的重疊。
7.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，對(duì)于所述當(dāng)前三維模型中的至少一個(gè)點(diǎn)，確定在該三維模型中是否存在一相關(guān)聯(lián)的三維點(diǎn)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，確定所述當(dāng)前三維模型中該點(diǎn)的深度和該三維模型中所述確定的相關(guān)聯(lián)的三維點(diǎn)的深度的點(diǎn)的深度之間的差值是否高于一定義的閾值。
9.根據(jù)權(quán)利要求7至8中的一項(xiàng)所述的方法，其特征在于，所述相似性度量被定義，沒(méi)有為所述當(dāng)前三維模型確定該三維模型中相關(guān)聯(lián)的三維點(diǎn)，這樣所述當(dāng)前三維模型中點(diǎn)的數(shù)量必須超過(guò)一定閾值。
10.根據(jù)權(quán)利要求7至9中的一項(xiàng)所述的方法，其特征在于，沒(méi)有為所述當(dāng)前三維模型確定該三維模型中相關(guān)聯(lián)的三維點(diǎn)，只有所述當(dāng)前三維模型中的點(diǎn)被用于更新該三維模型。
11.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，進(jìn)一步包括:基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定該三維模型中一三維點(diǎn)的深度，并從關(guān)聯(lián)到該組當(dāng)前二維成像點(diǎn)的當(dāng)前深度樣本確定該三維點(diǎn)的深度；從該三維模型中該三維點(diǎn)的深度確定該三維點(diǎn)的一改善的深度，并確定所述當(dāng)前三維模型中該相關(guān)聯(lián)的三維點(diǎn)的深度；以及更新該當(dāng)前三維點(diǎn)云中和/或具有確定的改善的深度的該三維模型中該三維點(diǎn)的深度。
12.一種用于估計(jì)攝像機(jī)運(yùn)動(dòng)以及用于確定環(huán)境的三維模型的方法，包括以下步驟: a.提供攝像機(jī)的固有參數(shù)； b.提供一組由攝像機(jī)以第一攝像機(jī)位姿拾取的參考二維成像點(diǎn)以及與該組參考二維成像點(diǎn)相關(guān)聯(lián)的參考深度樣本； c.使用該參考深度樣本和固有參數(shù)確定環(huán)境的一三維模型； d.提供一組由 攝像機(jī)以第二攝像機(jī)位姿拾取的當(dāng)前二維成像點(diǎn)以及與該組當(dāng)前二維成像點(diǎn)相關(guān)聯(lián)的當(dāng)前深度樣本，并使用該當(dāng)前深度樣本和固有參數(shù)確定當(dāng)前三維模型； e.利用圖像配準(zhǔn)方法估計(jì)第一攝像機(jī)位姿和第二攝像機(jī)位姿之間的攝像機(jī)運(yùn)動(dòng)； f.基于攝像機(jī)運(yùn)動(dòng)的估計(jì)確定所述三維模型中至少一個(gè)三維點(diǎn)與所述當(dāng)前三維模型中相關(guān)聯(lián)的三維點(diǎn)之間的相似性度量，并且 如果確定該相似性度量滿足第一條件，改善該當(dāng)前三維模型和/或該三維模型。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，基于所述估計(jì)的攝像機(jī)運(yùn)動(dòng)確定所述當(dāng)前三維模型中相關(guān)聯(lián)的三維點(diǎn)。
14.根據(jù)權(quán)利要求12或13所述的方法，其特征在于，該相似性度量被定義為該三維模型中該三維點(diǎn)的深度和所述當(dāng)前三維模型中該相關(guān)聯(lián)的三維點(diǎn)的深度之間的差值。
15.根據(jù)權(quán)利要求12至14中的一項(xiàng)所述的方法，其特征在于，所述三維點(diǎn)的改善的深度從該三維模型中該三維點(diǎn)的深度和所述當(dāng)前三維模型中所述相關(guān)聯(lián)的三維點(diǎn)的深度來(lái)確定，并用于更新所述當(dāng)前三維模型中和/或該三維模型中該三維點(diǎn)的深度。
16.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，如果確定該深度值高于一定義的閾值，則丟棄當(dāng)前深度樣本中的至少一個(gè)。
17.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，所述圖像配準(zhǔn)方法是基于特征的或基于強(qiáng)度的。
18.根據(jù)權(quán)利要求17所述的方法，其特征在于，在所述基于特征的圖像配準(zhǔn)方法中，從該組參考二維成像點(diǎn)提取二維圖像特征，并通過(guò)確定基于所述提取的圖像特征的二維對(duì)應(yīng)來(lái)估計(jì)該攝像機(jī)運(yùn)動(dòng)。
19.根據(jù)前述權(quán)利要求中的一項(xiàng)所述的方法，其特征在于，該三維模型和/或當(dāng)前三維模型進(jìn)一步包括附加信息，使用所述固有參數(shù)從該組參考二維成像點(diǎn)和/或該組當(dāng)前二維成像點(diǎn)確定所述附加信息。
20.根據(jù)權(quán)利要求19所述的方法，其特征在于，通過(guò)將至少一個(gè)對(duì)應(yīng)的參考二維成像點(diǎn)的顏色與該三維模型相關(guān)聯(lián)來(lái)確定所述附加信息。
21.一種適合于加載到數(shù)字計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，并包括軟件代碼段，當(dāng)在所述的計(jì)算機(jī)上運(yùn)行所述的產(chǎn)品時(shí)，用所述軟件代碼段執(zhí)行根據(jù)權(quán)利要求1至20中的任一項(xiàng)的方法。
【文檔編號(hào)】G06T7/00GK103988226SQ201180073209
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2011年8月31日 優(yōu)先權(quán)日:2011年8月31日
【發(fā)明者】S·本希馬寧, 希巴斯汀·利貝克內(nèi)希特, 安德里亞·休伯 申請(qǐng)人:Metaio有限公司