本發(fā)明涉及圖像三維重建，具體涉及一種基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，三維重建的方法包括：第一種，基于傳統(tǒng)的無序圖像組進(jìn)行三維重建。然而，由于缺少圖像間的時(shí)序信息，當(dāng)場景中存在外觀相似的重復(fù)地點(diǎn)、裝置、紋理時(shí)，容易使部分圖像注冊到錯誤的位置，使得三維重建后的模型變形、錯位。第二種，基于點(diǎn)云進(jìn)行三維重建，多用于rgbd傳感器。然而這種方法依賴軌跡的形狀和點(diǎn)云的質(zhì)量，重建速度受點(diǎn)云規(guī)模影響較大；此外，若場景中存在結(jié)構(gòu)化重復(fù)的區(qū)域，點(diǎn)云對齊容易出現(xiàn)歧義，會影響重建模型的精度。第三種，基于單軌跡slam信息進(jìn)行三維重建。該方法僅支持單次采集的單條軌跡的信息，依賴于slam算法中對采集設(shè)備與采集軌跡的信息協(xié)方差計(jì)算。因此，該方法不支持處理多次分開采集的軌跡，也不支持對從多種設(shè)備中獲得的軌跡的聯(lián)合因子圖進(jìn)行優(yōu)化?，F(xiàn)有技術(shù)中為考慮計(jì)算量和深度損失對精度的影響。

技術(shù)實(shí)現(xiàn)思路

1、針對上述問題，本發(fā)明的一個目的是提供一種基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法。減輕了計(jì)算工作量，對深度進(jìn)行單獨(dú)的損失計(jì)算，提高精度。

2、本發(fā)明所采用的技術(shù)方案是：一種基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，包括：

3、步驟s01：對場景中物體進(jìn)行隱式三維重建，利用mlp多層感知機(jī)進(jìn)行解碼，獲得特征分層，并計(jì)算所述特征分層的占用概率值；

4、步驟s02：根據(jù)所述特征分層的占用概率值計(jì)算顏色值和終止概率，并根據(jù)所述計(jì)算結(jié)果對顏色值和深度值進(jìn)行渲染，獲得渲染圖像；

5、步驟s03：根據(jù)所述渲染圖像創(chuàng)建共視光流矩陣，在所述共視光流矩陣中選取關(guān)鍵幀，計(jì)算所述關(guān)鍵幀的相對光流；

6、步驟s04：對所述關(guān)鍵幀的相對光流進(jìn)行回環(huán)檢測，與相對光流閾值比較，完成關(guān)鍵幀選取的；

7、步驟s05：將所述特征分層中位于視射線上的一點(diǎn)在選取的所述關(guān)鍵幀中進(jìn)行投影，計(jì)算投影誤差，進(jìn)行神經(jīng)隱式三維重建優(yōu)化。

8、優(yōu)選的，所述特征分層包括應(yīng)底層、中間層和精細(xì)層。

9、優(yōu)選的，步驟s01還包括利用特征網(wǎng)格和解碼器建模場景外觀。

10、優(yōu)選的，步驟s03中還包括：利用所述渲染圖像獲得跟蹤模型和三維重建模型。

11、優(yōu)選的，步驟s03中，所述選取關(guān)鍵幀包括：通過信息增益添加新的當(dāng)前幀，當(dāng)所述當(dāng)前幀與前一關(guān)鍵幀有視覺重疊時(shí)，將所述當(dāng)前幀選取為關(guān)鍵幀。

12、優(yōu)選的，步驟s03中，所述計(jì)算所述關(guān)鍵幀的相對光流包括：像素在相鄰關(guān)鍵幀間的光照強(qiáng)度不變，根據(jù)像素在相鄰關(guān)鍵幀間的移動距離和移動時(shí)間計(jì)算光流的速度矢量，獲得關(guān)鍵幀的相對光流。

13、優(yōu)選的，所述相對光流閾值為25。

14、優(yōu)選的，步驟s03中，當(dāng)關(guān)鍵幀的相對光流大于相對光流閾值時(shí)，，繼續(xù)進(jìn)行隱式三維重建；

15、當(dāng)關(guān)鍵幀的相對光流連續(xù)小于相對光流閾值時(shí)，選取為關(guān)鍵幀，完成隱式三維重建。

16、優(yōu)選的，步驟s05中，根據(jù)所述投影獲得特征分層中所述點(diǎn)的投影坐標(biāo)，與預(yù)測的圖像坐標(biāo)進(jìn)行比較，計(jì)算獲得投影誤差，將投影誤差賦予預(yù)測的圖像坐標(biāo)中進(jìn)行優(yōu)化。

17、優(yōu)選的，還包括步驟s06：對所述關(guān)鍵幀的深度值進(jìn)行損失計(jì)算，優(yōu)化精確度，完成隱式三維重建；

18、所述損失計(jì)算包括對所述跟蹤模型和三維重建模型的損失計(jì)算。

19、上述技術(shù)方案的有益效果：

20、(1)本發(fā)明對深度進(jìn)行單獨(dú)的損失計(jì)算，提高精度，解決了現(xiàn)有技術(shù)中沒有對深度進(jìn)行單獨(dú)的損失計(jì)算，由于不考慮深度損失，導(dǎo)致每個像素值對跟蹤和建圖的貢獻(xiàn)度一致的問題，使得由于傳感器不同而帶來不同的偏差和不確定性，當(dāng)這類誤差累積到一定大小時(shí)，會對整體造成不確定性影響。

21、(2)本發(fā)明對關(guān)鍵幀的選取和優(yōu)化采用回環(huán)檢測，避免了重復(fù)的計(jì)算，有效減少計(jì)算工作量。

技術(shù)特征：

1.一種基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，所述特征分層包括應(yīng)底層、中間層和精細(xì)層。

3.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s01還包括利用特征網(wǎng)格和解碼器建模場景外觀。

4.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s03中還包括：利用所述渲染圖像獲得跟蹤模型和三維重建模型。

5.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s03中，所述選取關(guān)鍵幀包括：通過信息增益添加新的當(dāng)前幀，當(dāng)所述當(dāng)前幀與前一關(guān)鍵幀有視覺重疊時(shí)，將所述當(dāng)前幀選取為關(guān)鍵幀。

6.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s03中，所述計(jì)算所述關(guān)鍵幀的相對光流包括：像素在相鄰關(guān)鍵幀間的光照強(qiáng)度不變，根據(jù)像素在相鄰關(guān)鍵幀間的移動距離和移動時(shí)間計(jì)算光流的速度矢量，獲得關(guān)鍵幀的相對光流。

7.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，所述相對光流閾值為25。

8.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s03中，當(dāng)關(guān)鍵幀的相對光流大于相對光流閾值時(shí)，繼續(xù)進(jìn)行隱式三維重建；

9.根據(jù)權(quán)利要求1所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，步驟s05中，根據(jù)所述投影獲得特征分層中所述點(diǎn)的投影坐標(biāo)，與預(yù)測的圖像坐標(biāo)進(jìn)行比較，計(jì)算獲得投影誤差，將投影誤差賦予預(yù)測的圖像坐標(biāo)中進(jìn)行優(yōu)化。

10.根據(jù)權(quán)利要求4所述的基于回環(huán)檢測的神經(jīng)隱式三維重建slam方法，其特征在于，還包括步驟s06：對所述關(guān)鍵幀的深度值進(jìn)行損失計(jì)算，優(yōu)化精確度，完成隱式三維重建；

技術(shù)總結(jié)
本發(fā)明涉及圖像三維重建技術(shù)領(lǐng)域，具體公開了一種基于回環(huán)檢測的神經(jīng)隱式三維重建SLAM方法，步驟S01：對場景中物體進(jìn)行隱式三維重建，利用MLP多層感知機(jī)進(jìn)行解碼，獲得特征分層，并計(jì)算特征分層的占用概率值；步驟S02：根據(jù)所述特征分層的占用概率值計(jì)算顏色值和終止概率，并根據(jù)計(jì)算結(jié)果對顏色值和深度值進(jìn)行渲染，獲得渲染圖像；步驟S03：根據(jù)所述渲染圖像創(chuàng)建共視光流矩陣，在共視光流矩陣中選取關(guān)鍵幀，計(jì)算所述關(guān)鍵幀的相對光流；步驟S04：對所述關(guān)鍵幀的相對光流進(jìn)行回環(huán)檢測，與相對光流閾值比較，完成關(guān)鍵幀選取的；步驟S05：將特征分層中位于視射線上的一點(diǎn)在選取的所述關(guān)鍵幀中進(jìn)行投影，計(jì)算投影誤差，進(jìn)行神經(jīng)隱式三維重建優(yōu)化。

技術(shù)研發(fā)人員：胡敏,林鵬,黃剛,單上求,王衛(wèi)杰,王建華,張?zhí)焯?何博
受保護(hù)的技術(shù)使用者：中國人民解放軍戰(zhàn)略支援部隊(duì)航天工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/17