本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法。

背景技術(shù)：

在如救援、高危作業(yè)等各領(lǐng)域中廣泛應(yīng)用有虛擬現(xiàn)實(shí)（virtualreality，vr）技術(shù)，即通過(guò)操作人員在遠(yuǎn)端遙控機(jī)器人執(zhí)行各種操作，操作人員僅需根據(jù)機(jī)器人所處的實(shí)時(shí)環(huán)境控制機(jī)器人，而無(wú)需操作人員現(xiàn)場(chǎng)進(jìn)行操作，執(zhí)行效率以及安全性能高。操作人員在遠(yuǎn)端遙控過(guò)程中，由于無(wú)法直接獲取機(jī)器人環(huán)境信息，需要通過(guò)網(wǎng)絡(luò)數(shù)據(jù)傳輸實(shí)時(shí)獲取機(jī)器人環(huán)境信息，以控制機(jī)器人執(zhí)行相應(yīng)動(dòng)作。

為實(shí)現(xiàn)機(jī)器人環(huán)境信息的可視化，目前主要采用以下幾種方式：

1）通過(guò)網(wǎng)絡(luò)傳輸獲取實(shí)時(shí)環(huán)境視頻數(shù)據(jù)，直接利用液晶顯示屏等顯示設(shè)備將環(huán)境視頻數(shù)據(jù)進(jìn)行顯示，以為操作人員提供機(jī)器人環(huán)境信息。直接利用顯示設(shè)備顯示機(jī)器人環(huán)境視頻，操作人員在第三視角下的臨場(chǎng)感不強(qiáng)，而通常機(jī)器人所處環(huán)境網(wǎng)絡(luò)帶寬有限，直接通過(guò)網(wǎng)絡(luò)傳輸環(huán)境視頻給顯示設(shè)備，數(shù)據(jù)量大及所需的網(wǎng)絡(luò)傳輸帶寬大，且傳回的視頻流經(jīng)常會(huì)存在延時(shí)和丟包現(xiàn)象，不僅增加操作人員的操作難度，還容易使操作人員疲勞；

2）直接使用圖形函數(shù)進(jìn)行繪制，即使用圖形函數(shù)直接繪制出實(shí)景圖像，實(shí)景的復(fù)雜程度一般比較高，其包括有大量的不規(guī)則曲面，用于函數(shù)繪制的參數(shù)選擇難度大，難以繪制出準(zhǔn)確的實(shí)景圖像；

3）使用第三方建模軟件對(duì)環(huán)境進(jìn)行建模，導(dǎo)出模型后進(jìn)行顯示，但該方式必須基于環(huán)境信息進(jìn)行建模，建模過(guò)程實(shí)現(xiàn)復(fù)雜，且應(yīng)用環(huán)境受限，只能適用于場(chǎng)景已知的應(yīng)用中，對(duì)于未知環(huán)境的應(yīng)用則不能適用；

4）使用特定的設(shè)備依靠非接觸的視覺(jué)技術(shù)來(lái)自動(dòng)生成的方式。該類方式通常必須需要依賴于特定設(shè)備及處理方法來(lái)實(shí)現(xiàn)，實(shí)現(xiàn)過(guò)程復(fù)雜、實(shí)現(xiàn)成本高，且通常傳輸數(shù)據(jù)量依然較大，不能滿足通信帶寬要求嚴(yán)格應(yīng)用場(chǎng)合的需求。

中國(guó)專利申請(qǐng)cn106131493a公開(kāi)一種基于虛擬現(xiàn)實(shí)遠(yuǎn)端臨場(chǎng)智能消防機(jī)器人的體感控制系統(tǒng)，其中就是由頭戴式現(xiàn)實(shí)模塊接收機(jī)器人采集到的現(xiàn)場(chǎng)視頻圖像進(jìn)行3d視覺(jué)顯示，使得操作人員可以獲取到現(xiàn)場(chǎng)機(jī)器人的現(xiàn)場(chǎng)視頻圖像，但是直接獲取現(xiàn)場(chǎng)視頻圖像進(jìn)行3d視覺(jué)顯示，一方面需要復(fù)雜的視覺(jué)算法實(shí)現(xiàn)圖像3d視頻顯示；另一方面，現(xiàn)場(chǎng)視頻圖像數(shù)據(jù)量大，對(duì)現(xiàn)場(chǎng)視頻圖像數(shù)據(jù)進(jìn)行傳輸時(shí)即需要較寬的網(wǎng)絡(luò)通信帶寬。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題就在于：針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明提供一種能夠在虛擬現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)三維環(huán)境地圖的可視化，且具有實(shí)現(xiàn)方法簡(jiǎn)單、實(shí)現(xiàn)成本低、所需通信帶寬小、應(yīng)用環(huán)境靈活以及實(shí)現(xiàn)效果好的虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明提出的技術(shù)方案為：

一種虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法，步驟包括：

s1.實(shí)時(shí)采集控制目標(biāo)所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)；

s2.根據(jù)實(shí)時(shí)采集的所述實(shí)景環(huán)境數(shù)據(jù)構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖；

s3.每隔指定周期數(shù)獲取所述三維環(huán)境地圖更新的增量數(shù)據(jù)，得到增量地圖數(shù)據(jù)；

s4.實(shí)時(shí)將獲取的所述增量地圖數(shù)據(jù)傳輸至控制端，并在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行顯示以實(shí)現(xiàn)可視化。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟s3得到所述增量地圖數(shù)據(jù)時(shí)，還包括將所述增量地圖數(shù)據(jù)進(jìn)行壓縮，得到最終增量地圖數(shù)據(jù)步驟。

作為本發(fā)明的進(jìn)一步改進(jìn)：具體基于3d-ndt算法對(duì)所述增量地圖數(shù)據(jù)進(jìn)行表示，以將所述增量地圖數(shù)據(jù)進(jìn)行壓縮。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述基于3d-ndt算法對(duì)所述增量地圖數(shù)據(jù)進(jìn)行表示具體包括：將三維點(diǎn)云空間按照ndt單元均勻分割為多個(gè)子空間，分別計(jì)算各個(gè)所述子空間的點(diǎn)云位置均值、協(xié)方差矩陣，各個(gè)所述子空間分別使用所述點(diǎn)云在空間的位置均值作為質(zhì)心，以及使用所述協(xié)方差矩陣的特征值作為點(diǎn)云在空間分布中的尺度，以對(duì)各所述子空間進(jìn)行表示。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述將所述增量地圖數(shù)據(jù)進(jìn)行壓縮后，還包括對(duì)壓縮后數(shù)據(jù)進(jìn)行json數(shù)據(jù)格式編碼步驟；所述步驟s4中在控制端接收到數(shù)據(jù)后，還包括按照所述json數(shù)據(jù)格式對(duì)數(shù)據(jù)進(jìn)行解析后，獲取到傳輸?shù)乃鲈隽康貓D數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟s3中增量數(shù)據(jù)的獲取步驟為：將當(dāng)前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進(jìn)行比較；根據(jù)比較結(jié)果，去除當(dāng)前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟s2中通過(guò)建立獨(dú)立線程以構(gòu)建所述三維環(huán)境地圖。

作為本發(fā)明的進(jìn)一步改進(jìn)：述步驟s1具體通過(guò)搭載在控制目標(biāo)上的激光雷達(dá)和imu采集實(shí)景環(huán)境數(shù)據(jù)。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

1）本發(fā)明虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法，通過(guò)獲取實(shí)景環(huán)境數(shù)據(jù)構(gòu)建三維環(huán)境地圖，由三維環(huán)境地圖更新的增量數(shù)據(jù)傳輸至虛擬現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)可視化，使操作人員可以在第一視角下觀察理解機(jī)器人所處環(huán)境，具有極強(qiáng)的沉浸感，提高了操作人員的操作過(guò)程中的舒適度，同時(shí)由于僅傳輸增量數(shù)據(jù)，有效減少了所需傳輸?shù)臄?shù)據(jù)量大小，從而降低所需通信帶寬要求，可以適用于多種復(fù)雜的電磁環(huán)境中；

2）本發(fā)明虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法，獲取到增量地圖數(shù)據(jù)后采用3d-ndt算法對(duì)地圖進(jìn)行表示，使得在獲取增量式地圖的基礎(chǔ)上能夠進(jìn)一步高效壓縮地圖數(shù)據(jù)量，同時(shí)保留地圖的主要信息，從而在保證可視化效果的基礎(chǔ)上進(jìn)一步減少了地圖數(shù)據(jù)量，大大降低了所需網(wǎng)絡(luò)通信帶寬要求；

3）本發(fā)明虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法，采集到實(shí)景環(huán)境數(shù)據(jù)后構(gòu)建三維環(huán)境地圖，將三維環(huán)境地圖構(gòu)建過(guò)程單獨(dú)由一個(gè)線程完成，能夠確保三維環(huán)境地圖的實(shí)時(shí)性，結(jié)合增量式地圖數(shù)據(jù)傳輸方式，能夠?qū)崿F(xiàn)三維環(huán)境地圖在虛擬現(xiàn)實(shí)系統(tǒng)中的實(shí)時(shí)、高效可視化。

附圖說(shuō)明

圖1是本實(shí)施例虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法的流程示意圖。

圖2是本實(shí)施例中虛擬現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)三維環(huán)境地圖可視化的詳細(xì)流程示意圖。

圖3是本實(shí)施例中獲取增量式3d-ndt地圖的實(shí)現(xiàn)原理示意圖。

圖4是本實(shí)施例中機(jī)器人與控制端實(shí)現(xiàn)數(shù)據(jù)傳輸?shù)膶?shí)現(xiàn)原理示意圖。

圖5是本發(fā)明具體實(shí)施例在虛擬現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)三維環(huán)境地圖可視化的結(jié)果示意圖。

具體實(shí)施方式

以下結(jié)合說(shuō)明書(shū)附圖和具體優(yōu)選的實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述，但并不因此而限制本發(fā)明的保護(hù)范圍。

如圖1、2所示，本實(shí)施例虛擬現(xiàn)實(shí)系統(tǒng)中三維環(huán)境地圖的可視化方法步驟具體如下所示：

s1.實(shí)時(shí)采集控制目標(biāo)所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)。

控制目標(biāo)即為被遙控的機(jī)器人，可以為飛行器、陸地移動(dòng)機(jī)器人或水下機(jī)器人等，通過(guò)在機(jī)器人端布置采集設(shè)備，實(shí)時(shí)采集機(jī)器人所處現(xiàn)場(chǎng)的實(shí)景環(huán)境數(shù)據(jù)。

在具體應(yīng)用實(shí)例中，通過(guò)搭載在控制目標(biāo)上的激光雷達(dá)和imu（慣性測(cè)量單元）采集控制目標(biāo)所處環(huán)境的實(shí)景環(huán)境數(shù)據(jù)。激光雷達(dá)可以為單線激光雷達(dá)或多線激光雷達(dá)，采用單線激光雷達(dá)時(shí)可以獲取周圍環(huán)境中一個(gè)平面的深度信息，采用多線激光雷達(dá)則可以采集空間的深度信息，獲得實(shí)景的三維點(diǎn)云數(shù)據(jù)。結(jié)合激光雷達(dá)和imu采集到的實(shí)景環(huán)境數(shù)據(jù)，可以準(zhǔn)確的反映機(jī)器人所處的環(huán)境信息。

采集實(shí)景環(huán)境數(shù)據(jù)前需要布置各傳感器，各傳感器搭載在控制目標(biāo)上，在具體應(yīng)用實(shí)施例中，將網(wǎng)橋水平放置，imu布置于激光雷達(dá)的正下方，且與激光雷達(dá)平行安裝，激光雷達(dá)、imu、機(jī)器人布置為相互之間坐標(biāo)系的z軸保持基本重合，以高效采集實(shí)景環(huán)境數(shù)據(jù)。

s2.根據(jù)實(shí)時(shí)采集的實(shí)景環(huán)境數(shù)據(jù)構(gòu)建對(duì)應(yīng)的三維環(huán)境地圖。

直接使用實(shí)景環(huán)境數(shù)據(jù)進(jìn)行顯示所需的網(wǎng)絡(luò)帶寬大，通過(guò)將實(shí)景環(huán)境數(shù)據(jù)構(gòu)建三維環(huán)境地圖，可有效表征實(shí)景環(huán)境的主要信息，同時(shí)減少傳輸數(shù)據(jù)量。

由于地圖數(shù)據(jù)量較大，在具體應(yīng)用實(shí)施例中，采集到實(shí)景環(huán)境數(shù)據(jù)后通過(guò)建立獨(dú)立線程以構(gòu)建三維環(huán)境地圖，即三維環(huán)境地圖構(gòu)建過(guò)程單獨(dú)由一個(gè)線程完成，以可視化實(shí)現(xiàn)的實(shí)時(shí)性。

s3.每隔指定周期數(shù)獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，得到增量地圖數(shù)據(jù)。

由于相鄰周期實(shí)景圖像之間的變化小，實(shí)時(shí)構(gòu)建的三維環(huán)境地圖之間存在大量的重復(fù)、相似信息，若直接基于實(shí)時(shí)三維環(huán)境地圖進(jìn)行可視化，網(wǎng)絡(luò)傳輸數(shù)據(jù)量依然大，且存在大量的相似信息。通過(guò)獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，則可以去除三維環(huán)境地圖中重復(fù)、相似信息，有效降低后續(xù)傳輸數(shù)據(jù)量，降低所需網(wǎng)絡(luò)傳輸帶寬的需求。

增量數(shù)據(jù)的獲取具體步驟s31為：將當(dāng)前周期三維環(huán)境地圖與指定周期數(shù)前三維環(huán)境地圖進(jìn)行比較；根據(jù)比較結(jié)果，去除當(dāng)前周期三維環(huán)境地圖中，與指定周期數(shù)前三維環(huán)境地圖相似度在指定范圍內(nèi)的數(shù)據(jù)，得到增量數(shù)據(jù)。

如圖3所示，在具體應(yīng)用實(shí)施例中，假設(shè)激光雷達(dá)和imu的工作周期為k，獲取增量地圖數(shù)據(jù)時(shí)，將第k周期獲取的新點(diǎn)云地圖（三維環(huán)境地圖）與第k-1周期之前構(gòu)建的所有點(diǎn)云地圖（三維環(huán)境地圖）作對(duì)比，再濾除第k周期產(chǎn)生的新點(diǎn)云地圖中與第k-n周期之前所有點(diǎn)云地圖在空間上相近的點(diǎn)，得到增量式點(diǎn)云地圖，其中n為設(shè)定的間隔周期數(shù)，n以及相似點(diǎn)判定的閾值均根據(jù)實(shí)際需求設(shè)置。相似點(diǎn)判定的閾值具體可設(shè)定為0.01m，考慮到機(jī)器人平臺(tái)運(yùn)行速度，n可設(shè)定為5，即采用新產(chǎn)生5幀地圖做一次增量式計(jì)算，以獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，使得可視化實(shí)現(xiàn)效率及精度更高。

若機(jī)器人運(yùn)行速度較慢（如小于1m/s），則每幀獲取的新地圖點(diǎn)云數(shù)量有限，但相對(duì)于三維點(diǎn)云地圖較為稠密，上述增量式地圖依然無(wú)法滿足虛擬現(xiàn)實(shí)系統(tǒng)的渲染條件，僅簡(jiǎn)單利用點(diǎn)云數(shù)據(jù)在虛擬現(xiàn)實(shí)中進(jìn)行渲染會(huì)導(dǎo)致虛擬場(chǎng)景發(fā)生閃爍現(xiàn)象，影響最終的可視化效果。本實(shí)施例得到增量地圖數(shù)據(jù)時(shí)，還包括將增量地圖數(shù)據(jù)進(jìn)行壓縮，得到最終增量地圖數(shù)據(jù)步驟s32，能夠極大的減少所需傳輸數(shù)據(jù)量，同時(shí)保證地圖顯示時(shí)整體輪廓和精度。

本實(shí)施例中，步驟s32具體采用3d-ndt（three-dimensionalnormaldistributionstransform,3d正態(tài)分布變換）算法對(duì)增量地圖數(shù)據(jù)進(jìn)行表示，以將增量地圖數(shù)據(jù)進(jìn)行壓縮。如圖3所示，在獲取上述增量式點(diǎn)云地圖的基礎(chǔ)上再將點(diǎn)云用3d-ndt算法進(jìn)行地圖表示，獲取得到增量式3d-ndt地圖，使得在獲取三維環(huán)境地圖增量數(shù)據(jù)的基礎(chǔ)上進(jìn)一步實(shí)現(xiàn)地圖壓縮。3d-ndt算法為根據(jù)ndt（正態(tài)分布）函數(shù)完成點(diǎn)云配準(zhǔn)的配準(zhǔn)算法，通過(guò)使用3d-ndt算法的特性來(lái)實(shí)現(xiàn)三維環(huán)境地圖的表示，可以高效地壓縮地圖數(shù)據(jù)量，減少所需傳輸數(shù)據(jù)量，同時(shí)可以保留地圖的主要信息。

采用3d-ndt算法對(duì)增量地圖數(shù)據(jù)進(jìn)行表示具體包括：將三維點(diǎn)云空間按照ndt單元均勻分割為多個(gè)子空間，分別計(jì)算各個(gè)子空間的點(diǎn)云位置均值、協(xié)方差矩陣，各個(gè)子空間分布使用點(diǎn)云在空間的位置均值作為質(zhì)心，以及使用協(xié)方差矩陣的特征值作為點(diǎn)云在空間分布中的尺度以表示各子空間，完成對(duì)增量地圖數(shù)據(jù)進(jìn)行表示，構(gòu)成3d-ndtmap（地圖）。采用3d-ndt算法最終在空間的表示結(jié)果類似于一個(gè)橢球，即基于3d-ndt算法在虛擬現(xiàn)實(shí)中將三維環(huán)境地圖用橢球可視化每個(gè)子空間，每個(gè)子空間僅有6個(gè)參數(shù)，分布為空間位置x、y、z和在x、y、z方向的尺度信息，整個(gè)三維環(huán)境地圖的數(shù)據(jù)量非常少，大大降低了系統(tǒng)對(duì)網(wǎng)絡(luò)通信帶寬的要求。

如圖4所示，在具體應(yīng)用實(shí)施例中，將增量地圖數(shù)據(jù)進(jìn)行壓縮后，還包括對(duì)壓縮后數(shù)據(jù)進(jìn)行json數(shù)據(jù)格式編碼步驟s33，即對(duì)獲取的增量式3d-ndt地圖以json數(shù)據(jù)格式編碼以用于網(wǎng)絡(luò)傳輸，在控制端接收到數(shù)據(jù)后，再按照json數(shù)據(jù)格式對(duì)數(shù)據(jù)進(jìn)行解析，基于json的數(shù)據(jù)編碼格式可靈活適用于多平臺(tái)的網(wǎng)絡(luò)數(shù)據(jù)傳輸。

s4.實(shí)時(shí)將獲取的增量地圖數(shù)據(jù)傳輸至控制端，并在虛擬現(xiàn)實(shí)系統(tǒng)中進(jìn)行顯示以實(shí)現(xiàn)可視化。

在具體實(shí)施例中，在獲取增量式3d-ndt地圖的基礎(chǔ)上，將獲取的增量地圖數(shù)據(jù)使用udp等通信方式傳輸至控制端，控制端接收機(jī)器人端發(fā)送的數(shù)據(jù)后，按照json數(shù)據(jù)格式對(duì)數(shù)據(jù)進(jìn)行解析，獲取到傳輸?shù)脑隽渴?d-ndt地圖數(shù)據(jù)在虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行顯示，即可實(shí)現(xiàn)三維環(huán)境地圖的可視化，使操作人員可以在第一視角下觀察理解機(jī)器人所處環(huán)境。

如圖5所示為在具體實(shí)施例中虛擬現(xiàn)實(shí)系統(tǒng)中實(shí)現(xiàn)三維環(huán)境地圖可視化的結(jié)果，其中圖（a）、（b）分別為采集到的機(jī)器人所處環(huán)境實(shí)景圖像，（c）為采用上述方法后在虛擬現(xiàn)實(shí)系統(tǒng)中得到的可視化結(jié)果，從圖中可以看出，相比較原圖像，在虛擬現(xiàn)實(shí)系統(tǒng)中顯示的數(shù)據(jù)量非常小，同時(shí)保留了實(shí)景圖像主要的信息。

采用上述方法，采集到機(jī)器人所處的實(shí)景環(huán)境信息后，構(gòu)建機(jī)器人三維環(huán)境地圖，實(shí)時(shí)獲取三維環(huán)境地圖更新的增量數(shù)據(jù)，并使用3d-ndt算法對(duì)地圖進(jìn)行表示，在高效壓縮地圖數(shù)據(jù)量的同時(shí)保留了地圖的主要信息，將最終得到的增量式3d-ndt地圖傳輸至操作控制端并在虛擬現(xiàn)實(shí)系統(tǒng)中可視化，使操作人員可以在第一視角下觀察理解機(jī)器人所處環(huán)境，具有極強(qiáng)的沉浸感，提高了操作人員的操作過(guò)程中的舒適度，同時(shí)結(jié)合增量數(shù)據(jù)獲取以及3d-ndt地圖表示方式，能夠大大減少所需傳輸?shù)牡貓D數(shù)據(jù)量，使得地圖數(shù)據(jù)量小，極大的降低對(duì)網(wǎng)絡(luò)通信帶寬要求，因而可適用于多種復(fù)雜的電磁環(huán)境中。

上述只是本發(fā)明的較佳實(shí)施例，并非對(duì)本發(fā)明作任何形式上的限制。雖然本發(fā)明已以較佳實(shí)施例揭露如上，然而并非用以限定本發(fā)明。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改、等同變化及修飾，均應(yīng)落在本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。