本發(fā)明涉及一種基于深度攝像頭的隧道三維建模系統(tǒng)及方法。

背景技術(shù)：

作為一個科技、經(jīng)濟各方面飛速發(fā)展的國家，在城市建造的過程中必然會修建更多的隧道、地鐵來滿足交通上的需求。當(dāng)然，為了避免事故的發(fā)生，為了更好地預(yù)測隧道的情況，讓隧道挖掘的過程進展的更加順利，我們利用深度攝像頭對隧道進行三維建模，從而使得整個隧道的情況可以在三維空間上呈現(xiàn)出來，讓我們對隧道信息有更為直觀的認(rèn)識，從而避免一些意外事故的發(fā)生。

目前來講，深度攝像頭的應(yīng)用范圍比較廣泛。它的主要開發(fā)原因是用于當(dāng)下十分流行的體感游戲，能夠使用戶有更好的體驗。然而隨著技術(shù)的不斷進步，深度攝像頭在虛擬現(xiàn)實方面也可以有非常新奇的應(yīng)用，一些時裝店將這種虛擬技術(shù)運用到試衣間上，客戶無需試穿即可觀察到真實的試衣效果；在工程上，應(yīng)用范圍主要包括小規(guī)模場景(物體)的重建、物體設(shè)施的3D掃描打??；以及將低成本的深度攝像頭添加到機器人領(lǐng)域中去，并利用機器人進行一些不需要很高精度的危險地區(qū)或者地底高空等惡劣環(huán)境下的測量和勘察作業(yè)；在醫(yī)學(xué)方面，深度攝像頭的應(yīng)用思路也是相當(dāng)廣泛，瑞士Bern大學(xué)的研究項目使用開發(fā)深度攝像頭系統(tǒng)，使用音控和體感軟件來代替醫(yī)生對尸體進行解剖，華盛頓大學(xué)實驗室則研究出可以通過對深度攝像頭的改造來控制外科醫(yī)生的機械手臂，并利用其靈敏的負(fù)反饋功能來控制手臂執(zhí)行手術(shù)，或是通過捕捉術(shù)后病人的身體運動情況來獲得當(dāng)前病人的康復(fù)狀況等等。

在隧道探測方面，超前地質(zhì)預(yù)報主要是使用工程物探方法，即對隧道物性參數(shù)進行分析的方法。由于各種物探方法都存在自己的應(yīng)用范圍和探測精度，因此我們常常根據(jù)探測對象所具有的不同物理特征采用兩種或兩種以上有效的物探方法進行探測，并對結(jié)果進行綜合分析。從多年的工程實踐努力和經(jīng)驗來看，在隧道超前地質(zhì)預(yù)報工作的工作物探方法主要有彈性波反射法、電磁波反射法、紅外探測法、直流電法等方法，這幾種方法都是對全斷面隧道掘進機掘進前方和側(cè)前方各方面地質(zhì)信息進行探測分析，對于全斷面隧道掘進機后方的情況基本上兼顧的比較少。隧道三維建模技術(shù)可以實現(xiàn)對于復(fù)雜隧道表征、斷面以及局部斷面的處理，同時一些系統(tǒng)設(shè)計可以實現(xiàn)對隧道外形的三角網(wǎng)格化，表面積計算以及隧道輪廓線偏離計算，可以展現(xiàn)出紅外溫度數(shù)據(jù)，任意橫斷面截圖以及一些局部細(xì)節(jié)的展示。更進一步地，通過軟硬件結(jié)合的方式，系統(tǒng)可以對隧道變形進行檢測，并對其原因進行分析。檢查的準(zhǔn)確度也比較高(25m之內(nèi)+/-2mm)。可以掌握隧道狀態(tài)劣化動態(tài)信息，并且系統(tǒng)操作多是比較簡單的，不受檢查人員技術(shù)水平限制。

綜上所述，在隧道場景成像過程中需要克服一些已知的困難，一方面要對大規(guī)模的場景進行重建是需要占用相當(dāng)大的內(nèi)存，并且重建過程需要耗費相當(dāng)多的時間，另一方面在隧道惡劣環(huán)境中色彩信息并不是很輕易的就可以提取到，由于硬件條件設(shè)施的不足，需要在后期色彩信息處理的過程中花費更多的精力。并且隧道中環(huán)境比較差，一些比較敏感的裝備在隧道中經(jīng)常使用會不可避免的降低壽命，因此需要增加良好的保護措施。

技術(shù)實現(xiàn)要素：

本發(fā)明為了解決上述問題，提出了一種基于深度攝像頭的隧道三維建模系統(tǒng)及方法，本發(fā)明將深度攝像頭搭載到全斷面隧道掘進機上并加以機械旋轉(zhuǎn)裝置和保護裝置，在全斷面隧道掘進機的掘進過程中，將其前進過程中所經(jīng)歷的隧道斷面一一拍攝下來。通過對隧道視覺信息的處理、分析來獲取當(dāng)前隧道中的整體情況。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于深度攝像頭的隧道三維建模系統(tǒng)，包括深度攝像頭裝置、旋轉(zhuǎn)裝置，所述深度攝像頭裝置包括麥克風(fēng)組件、紅外攝影機、彩色攝像頭和紅外攝像頭，所述深度攝像頭裝置搭載在所述旋轉(zhuǎn)裝置上，所述旋轉(zhuǎn)裝置帶動深度攝像頭裝置進行豎直方向上的180°的旋轉(zhuǎn)，采集隧道上半周的圖像；

所述旋轉(zhuǎn)裝置上設(shè)置有角度傳感器，檢測旋轉(zhuǎn)裝置的旋轉(zhuǎn)角度，同時旋轉(zhuǎn)裝置上設(shè)置有仰角控制器，控制深度攝像頭裝置的采集角度。

所述深度攝像頭裝置設(shè)置于支架上，所述支架固定于旋轉(zhuǎn)裝置上。

所述深度攝像頭裝置設(shè)置有防水外殼。

基于上述系統(tǒng)的建模方法，包括以下步驟：

(1)獲取深度攝像頭裝置采集的深度信息和圖像信息；

(2)對采集到的圖像進行采樣、浮點化、平滑化處理，從圖像中獲取深度攝像頭裝置的移動軌跡；

(3)建立大規(guī)模虛擬空間，按照采樣間隔將采集好的信息融合到虛擬空間中，形成三維模型。

所述步驟(1)中，搭載在全斷面隧道掘進機上的深度攝像頭隨著機器的前進二獲取隧道的深度和彩色信息，其中重復(fù)拍攝到的部分可作為照片信息的優(yōu)化，即為不斷地添加隧道信息，并不會設(shè)置冗余度的下限。

所述步驟(2)中，按照閾值設(shè)置對深度影像數(shù)據(jù)進行轉(zhuǎn)化，在閾值范圍之外的數(shù)據(jù)設(shè)置距離為無效。

所述步驟(2)中，將深度數(shù)據(jù)進行采樣處理，增加處理的速度，同時對場景內(nèi)的重建物體進行處理，對移動的小型物體可以通過平滑化處理優(yōu)化其重建模型，同時通過平滑算法進行了去噪，也處理了某些場景內(nèi)的動態(tài)變化，原始影像中沒有表現(xiàn)出來的任何隔斷或者空也會被填充，隨著攝像頭更接近物體，通過使用新的更高精度的數(shù)據(jù)，物體表面會被持續(xù)優(yōu)化。

所述步驟(2)中，通過使用交互型的配準(zhǔn)算法在攝像頭移動時不斷獲取其姿勢，這樣系統(tǒng)始終知道當(dāng)前攝像頭相對于起始幀時攝像頭的相對姿勢。對于姿勢追蹤一般采用兩種配準(zhǔn)算法。第一種是使用將從重建對象計算得來的點云與從深度影像數(shù)據(jù)中獲取的點云進行配準(zhǔn)，或者單獨的使用比如對同一場景的不同視場角的數(shù)據(jù)進行配準(zhǔn)；第二種算法可以在對重建立方體進行處理時能夠獲得更高精度的追蹤結(jié)果，但是對于場景內(nèi)移動的物體該算法可能不夠健壯，如果場景中的追蹤被中斷，那么需要將攝像頭的位置和上一次的攝像頭位置對齊才能繼續(xù)進行追蹤。

所述步驟(2)中，根據(jù)深度攝像裝置的移動速度設(shè)置平滑化參數(shù)的大小。

所述步驟(3)中，將從已知姿勢攝像頭產(chǎn)生的深度影像數(shù)據(jù)融合為代表攝像頭視野范圍內(nèi)的景物的立方體。這種對深度數(shù)據(jù)的融合是逐幀，連續(xù)進行的，最后，從傳感器視點位置對重建立方體進行光線投射，采用光線投影算法計算得到的點云，再計算其法向量，用帶法向量的點云和下一幀的輸入圖像配準(zhǔn)，計算下一幀輸入圖像的位姿。如此是個循環(huán)的過程。重建的點陣云能夠產(chǎn)生渲染了的三維重建立方體。

所述步驟(3)中，通過設(shè)置采樣步長的大小來設(shè)置模型的精度。注意采樣步長的設(shè)置范圍必須大于0并且小于最小體積軸體素分辨率，超出此范圍的采樣步長值將會導(dǎo)致重建后的三維模型缺少曲面或曲面上的細(xì)節(jié)。

所述步驟(3)中，此系統(tǒng)的重點在于實現(xiàn)大規(guī)模的場景建模，由于隧道模型的特殊性，因此嘗試在隧道挖掘前進的方向上設(shè)置比較大范圍，因為GPU內(nèi)存的限制，系統(tǒng)采用利用CPU內(nèi)存建模。在建模過程中采用離線處理的方式。算法中添加了回環(huán)檢測和回環(huán)優(yōu)化，根據(jù)回環(huán)優(yōu)化的結(jié)果，更新點的坐標(biāo)，使得回環(huán)的地方兩次重建的可以對齊。當(dāng)相機旋轉(zhuǎn)或者移動的距離超過一定閾值的時候，將當(dāng)前幀加入做關(guān)鍵幀并且進行回環(huán)檢測，回環(huán)檢測首先通過尋找匹配的關(guān)鍵幀，如果存在匹配的圖像，將在內(nèi)存中存儲的匹配圖像的SURF特征點和深度圖像重新索引出來。給定兩幀圖像的SURF點描述子Ui和Um，用FLANN查找算法來建立SURF的匹配關(guān)系，如果能夠匹配上的SURF點數(shù)量不超過設(shè)定閾值，則認(rèn)為這不是一個有效的匹配，通過匹配建立SURF的匹配關(guān)系，通過上一步建立的SURF間的匹配，用RANSAC算法估計兩幀之間的位姿，得到位姿后再用LM算法優(yōu)化重投影誤差優(yōu)化相機位姿。用ICP再優(yōu)化上述算法計算得到的位姿，如果匹配點之間的誤差小于設(shè)定閾值，則認(rèn)為這是一個有效的回環(huán)。

本發(fā)明的有益效果為：

(1)可以將隧道三維模型整體呈現(xiàn)出來，讓用戶對于整個隧道有更直觀的認(rèn)知與感受；

(2)通過對于隧道相關(guān)彩色信息的分析，也可以觀察到隧道中整體的地質(zhì)狀況，如裂隙的走向等，從而進行更有針對性的科學(xué)施工。整體模型對分析巖機關(guān)系驗證相關(guān)參數(shù)對于全斷面隧道掘進機產(chǎn)生的影響有一定的作用。

附圖說明

圖1是本發(fā)明的示意圖剖面圖。

圖2是本發(fā)明的深度攝像頭裝置圖。

圖3是本發(fā)明設(shè)計流程圖。

其中，1表示深度攝像頭，2表示機械旋轉(zhuǎn)裝置，3表示隧道表面，4表示外殼保護裝置，9表示麥克風(fēng)陣列，10表示紅外攝影機，11表示彩色攝像頭，12表示紅外攝像頭，13表示仰角控制馬達(dá)，14表示支架。

具體實施方式：

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明。

由于場景規(guī)模較大，而實時處理的方式是相當(dāng)耗費GPU內(nèi)存的，因此我們采用離線處理數(shù)據(jù)的方法，即先采集到隧道內(nèi)的所有信息，然后在此基礎(chǔ)上對數(shù)據(jù)進行處理，從而避免內(nèi)存不夠的情況。其中，離線處理也分為兩種模式，一種是先將小范圍的模型建立起來，然后將所有的小規(guī)模場景模型一一拼接起來，另外則是先獲取到所有的數(shù)據(jù)，對數(shù)據(jù)統(tǒng)一做分析處理，計算出最后的三維模型。我們采用的是后者的方法，因為對于拼接模型來說，其中肯定會存在一些誤差，這比后者的精度要差了不少。深度攝像頭通過對從多個角度獲取到的深度影像數(shù)據(jù)進行融合，來重建物體的單幀光滑表面模型。當(dāng)傳感器移動的時候，照相機的位置以及姿勢信息被記錄下來，這些信息包括位置和朝向。由于我們知道了每一幀圖像的姿勢以及幀與幀之間的關(guān)聯(lián)，多幀從不同角度采集的數(shù)據(jù)能夠融合成單幀重建好的定點立方體。我們可以想象下在空間中的一個巨大的虛擬立方體，里面是我們現(xiàn)實世界的場景，當(dāng)我們移動傳感器的時候，深度數(shù)據(jù)信息被不斷加入。

首先，將深度攝像頭搭載到全斷面隧道掘進機機器上，并利用硬件旋轉(zhuǎn)裝置，在全斷面隧道掘進機前進過程中掃描進行180°掃描隧道上半?yún)^(qū)域全景，因為全斷面隧道掘進機的前進速度要遠(yuǎn)小于深度攝像頭的掃描速度，并且深度攝像頭的重復(fù)掃描更有利于場景的真實信息的重建，且深度攝像頭相機的真實移動軌跡在后面也會有算法進行計算，因此我們可以忽略考慮深度攝像頭攝像機的真實和移動軌跡是否規(guī)則。

進一步地，利用深度攝像頭的紅外攝像頭獲取到場景的相關(guān)深度信息，此處的深度信息即能體現(xiàn)出當(dāng)前所拍攝到的物體具體相機的位置，另外獲得其彩色信息并存儲下來。

進一步地，對照片信息進行處理，按照閾值設(shè)置對深度影像數(shù)據(jù)進行轉(zhuǎn)化，在閾值范圍之外的數(shù)據(jù)設(shè)置距離為無效，這樣可以將一些特殊的物體排除在三維重建之外。

進一步地，對處理后深度數(shù)據(jù)進行配準(zhǔn)，包括了計算出相機的最新位置，軌跡位置的獲取可根據(jù)軌跡計算算法來計算，此參數(shù)的計算可以使得系統(tǒng)了解攝像頭相對于起始幀時攝像頭的位置，以及對數(shù)據(jù)進行平滑化處理的過程，平滑化參數(shù)的大小可以根據(jù)相機移動的速度來決定，從而能確保信息細(xì)節(jié)保留的多少。

進一步地，建立虛擬立方體空間，此處的虛擬空間對于Y軸的要求，也即隧道的前進方向比較大。大規(guī)模場景建模的難度主要在這個方面，由于實時建模對于內(nèi)存的要求比較大，因此采用了離線處理的方式。通過將平滑去噪后的深度浮點型數(shù)據(jù)以及相機位置信息進行處理，當(dāng)然也處理場景中一些其他微小的動態(tài)變化，或是小物體的移動或消失，后從傳感器視點位置進行對重建立方體的光線投射，重建后的點著云序列可以渲染出所需要的三維重建模型。

進一步地，通過設(shè)置采樣步長的大小來設(shè)置模型的精度，采樣步長的大小要考慮到內(nèi)存的應(yīng)用以及程序的運行時間和最后模型的精致程度等方面。

本發(fā)明搭載于全斷面隧道掘進機上。

如圖1、圖2所示，全斷面隧道掘進機搭載的深度攝像頭三維成像系統(tǒng)，包括能夠?qū)⑥D(zhuǎn)動攝像頭的機械裝置，能夠?qū)⑺淼赖恼w空間進行三維建模。整個系統(tǒng)包括是深度攝像頭可以旋轉(zhuǎn)能夠拍攝到隧道上半周的機械旋轉(zhuǎn)裝置，保護攝像頭的外殼裝置，以及可以對隧道場景能夠三維建模的深度攝像頭。通過設(shè)計的三維成像方法進行對隧道場景的三維建模。

轉(zhuǎn)動攝像頭的機械裝置，可以實現(xiàn)根據(jù)全斷面隧道掘進機前進的速度來確定自身旋轉(zhuǎn)的速度，確保不會漏掉拍攝隧道空間的某些位置。

由于地下隧道空間多水、潮濕的情況，一般裝置搭載在全斷面隧道掘進機設(shè)施上很容易被惡劣的外界條件所影響，導(dǎo)致使用壽命的減短，因此我們采用保護裝置將系統(tǒng)中比較敏感的攝像頭裝置保護起來，而且此外殼裝置并不會影響攝像頭的拍攝效果。

通過深度照片成像探測出隧道相對于攝像頭的距離從而能夠建造出完整的隧道三維模型。

上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。