基于增強(qiáng)虛擬的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種檢測(cè)方法，具體地，涉及一種基于增強(qiáng)虛擬的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法。
【背景技術(shù)】
[0002]混合現(xiàn)實(shí)是現(xiàn)實(shí)與虛擬的結(jié)合，分兩種情況，一種情況是擴(kuò)展現(xiàn)實(shí)(增強(qiáng)現(xiàn)實(shí))，是由真實(shí)的環(huán)境加上虛擬的物體功能組成；另一種情況是虛擬的環(huán)境加上某些真實(shí)的物體共同構(gòu)成擴(kuò)展虛擬(增強(qiáng)虛擬)?；旌犀F(xiàn)實(shí)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過(guò)在虛擬環(huán)境中引入現(xiàn)實(shí)場(chǎng)景信息，在虛擬世界、現(xiàn)實(shí)世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感。這種介于現(xiàn)實(shí)與虛擬之間的混合現(xiàn)實(shí)技術(shù)成為了展示、體驗(yàn)、培訓(xùn)、醫(yī)療、古跡復(fù)原、工業(yè)維修等領(lǐng)域的前沿實(shí)用技術(shù)。
[0003]在一些不適合人工作業(yè)的極端工作環(huán)境中，常通過(guò)在極端環(huán)境中固定安裝攝像機(jī)或?qū)z像機(jī)固定安裝在機(jī)器人的機(jī)械臂上，利用遙操作技術(shù)來(lái)檢測(cè)監(jiān)控極端環(huán)境內(nèi)部的現(xiàn)場(chǎng)信息，為后續(xù)的維護(hù)操作提供重要信息。兩者均是依靠人工查看相機(jī)實(shí)時(shí)捕獲的或在線保存的現(xiàn)場(chǎng)圖片或視頻來(lái)判斷場(chǎng)景現(xiàn)場(chǎng)信息，由于相機(jī)視野有限，且圖片是二維信息，依靠查看圖片序列或視頻的觀測(cè)方式缺乏全局信息和三維信息，檢測(cè)繁瑣不直觀。鑒于上述依靠查看圖片序列或視頻的觀測(cè)方式缺乏全局和三維信息且繁瑣不直觀，本發(fā)明結(jié)合混合現(xiàn)實(shí)的三維顯示優(yōu)勢(shì)，提出一種基于增強(qiáng)虛擬的虛實(shí)結(jié)合場(chǎng)景復(fù)現(xiàn)檢測(cè)方法，具有檢測(cè)效果直觀、三維立體感強(qiáng)、全角度立體展示與真實(shí)場(chǎng)景逼真的效果。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于增強(qiáng)虛擬的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法，其通過(guò)魯棒的圖像處理算法對(duì)真實(shí)場(chǎng)景圖片序列進(jìn)行處理提取出特征目標(biāo)圖像，然后結(jié)合機(jī)器人機(jī)械臂的位置信息和已知的三維虛擬場(chǎng)景模型信息，進(jìn)行虛實(shí)目標(biāo)圖像特征點(diǎn)定位配準(zhǔn)，最終將特征目標(biāo)圖像疊加在虛擬的三維場(chǎng)景模型相應(yīng)位置，實(shí)現(xiàn)虛實(shí)結(jié)合的豐富顯示效果，具有三維立體感強(qiáng)、全角度立體展示、與真實(shí)場(chǎng)景逼真、觀測(cè)直觀方便等特點(diǎn)。
[0005]根據(jù)本發(fā)明的一個(gè)方面，提供一種基于增強(qiáng)虛擬的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法，其特征在于，包括以下步驟:
[0006]步驟一，三維虛擬場(chǎng)景模型的生成，主要是利用開(kāi)源三維圖形渲染引擎搭建而成；
[0007]步驟二，三維虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)的建立，三維虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)主要包括場(chǎng)景特征點(diǎn)的世界坐標(biāo)值信息及其相關(guān)屬性信息；
[0008]步驟三，對(duì)安裝在機(jī)械臂上的相機(jī)進(jìn)行內(nèi)參矩陣標(biāo)定，同時(shí)利用傳統(tǒng)的手眼標(biāo)定方法標(biāo)定相機(jī)坐標(biāo)系與機(jī)械臂末端坐標(biāo)系之間的齊次變換矩陣；
[0009]步驟四，真實(shí)場(chǎng)景圖像幀數(shù)據(jù)和機(jī)械臂位置數(shù)據(jù)的采集與保存，通過(guò)控制機(jī)械臂的運(yùn)動(dòng)來(lái)移動(dòng)相機(jī)完成真實(shí)場(chǎng)景全方位的圖像幀數(shù)據(jù)及其對(duì)應(yīng)的機(jī)械臂位置數(shù)據(jù)的采集與保存，同時(shí)保存機(jī)械臂末端坐標(biāo)系相對(duì)于世界坐標(biāo)系之間的齊次變換矩陣，圖像幀數(shù)據(jù)與對(duì)應(yīng)的機(jī)械臂位置數(shù)據(jù)用相同的時(shí)間標(biāo)記一一對(duì)應(yīng)；
[0010]步驟五，自動(dòng)加載真實(shí)場(chǎng)景圖像幀數(shù)據(jù)并進(jìn)行圖像處理，獲取真實(shí)場(chǎng)景特征點(diǎn)的像素坐標(biāo)值并提取特征目標(biāo)圖像；
[0011]步驟六，結(jié)合機(jī)械臂的位置信息和已知的三維虛擬場(chǎng)景模型信息，由特征點(diǎn)的像素坐標(biāo)估計(jì)其在真實(shí)場(chǎng)景中的世界坐標(biāo)值；
[0012]步驟七，真實(shí)場(chǎng)景特征點(diǎn)與三維虛擬場(chǎng)景模型中對(duì)應(yīng)特征點(diǎn)的配準(zhǔn)；
[0013]步驟八，配準(zhǔn)成功后，把提取出的真實(shí)場(chǎng)景特征目標(biāo)圖像疊加在虛擬的三維場(chǎng)景模型對(duì)應(yīng)的位置，實(shí)現(xiàn)虛實(shí)結(jié)合的增強(qiáng)虛擬顯示效果。
[0014]優(yōu)選地，所述步驟一的三維場(chǎng)景模型生成包括構(gòu)建三維場(chǎng)景，將三維模型導(dǎo)入場(chǎng)景。
[0015]優(yōu)選地，所述步驟二依據(jù)虛擬模型計(jì)算場(chǎng)景特征點(diǎn)的世界三維坐標(biāo)值并存入MYSQL數(shù)據(jù)庫(kù)中。
[0016]優(yōu)選地，所述步驟七是把步驟六計(jì)算的真實(shí)場(chǎng)景特征點(diǎn)的世界坐標(biāo)值與步驟二所建立的三維虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)中的場(chǎng)景特征點(diǎn)的世界坐標(biāo)值通過(guò)匹配條件相匹配，滿足匹配條件即可實(shí)現(xiàn)虛實(shí)目標(biāo)圖像的成功配準(zhǔn)。
[0017]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:本發(fā)明通過(guò)魯棒的圖像處理算法對(duì)真實(shí)場(chǎng)景圖片序列進(jìn)行處理提取出特征目標(biāo)圖像，然后結(jié)合機(jī)器人機(jī)械臂的位置信息和已知的三維虛擬場(chǎng)景模型信息，進(jìn)行虛實(shí)目標(biāo)圖像特征點(diǎn)定位配準(zhǔn)，最終將特征目標(biāo)圖像疊加在虛擬的三維場(chǎng)景模型相應(yīng)位置，實(shí)現(xiàn)虛實(shí)結(jié)合的豐富顯示效果，具有三維立體感強(qiáng)，全角度立體展示，與真實(shí)場(chǎng)景逼真，觀測(cè)直觀方便等特點(diǎn)。
【附圖說(shuō)明】
[0018]通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0019]圖1為本發(fā)明的整體流程示意圖。
[0020]圖2為本發(fā)明的圖像處理具體實(shí)現(xiàn)步驟流程圖。
【具體實(shí)施方式】
[0021]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0022]本發(fā)明是一種將真實(shí)場(chǎng)景圖像經(jīng)過(guò)魯棒的圖像處理算法后提取特征目標(biāo)圖像，然后結(jié)合機(jī)器人機(jī)械臂位置信息和已知的三維虛擬場(chǎng)景模型信息，進(jìn)行虛實(shí)目標(biāo)圖像特征點(diǎn)定位配準(zhǔn)，然后將特征目標(biāo)圖像疊加在虛擬的三維場(chǎng)景模型相應(yīng)位置實(shí)現(xiàn)虛實(shí)結(jié)合，展示效果立體逼真的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法。
[0023]如圖1所示，本發(fā)明基于增強(qiáng)虛擬的場(chǎng)景復(fù)現(xiàn)檢測(cè)方法包括以下步驟:
[0024]步驟一:三維虛擬場(chǎng)景模型的生成，主要是利用OSG (Open Scene Graph，開(kāi)源三維圖形)渲染引擎搭建而成。三維場(chǎng)景模型生成包括構(gòu)建三維場(chǎng)景，將三維模型導(dǎo)入場(chǎng)景。首先用Qt庫(kù)生成一個(gè)圖形用戶界面(GUI)，然后通過(guò)多重繼承的方法構(gòu)建場(chǎng)景類(lèi)，然后在場(chǎng)景類(lèi)中導(dǎo)入模型，在將模型通過(guò)對(duì)應(yīng)的OSG語(yǔ)句讀入場(chǎng)景中。
[0025]步驟二:三維虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)的建立，三維虛擬場(chǎng)景模型數(shù)據(jù)庫(kù)主要包括場(chǎng)景特征點(diǎn)的世界坐標(biāo)值信息及其相關(guān)屬性信息，具體是依據(jù)虛擬模型計(jì)算場(chǎng)景特征點(diǎn)的世界三維坐標(biāo)值并存入MYSQL數(shù)據(jù)庫(kù)中，同時(shí)需要根據(jù)具體場(chǎng)景模型特征存入相關(guān)屬性信息，比如場(chǎng)景模型不同區(qū)域特征點(diǎn)依據(jù)三維坐標(biāo)值不同而具有唯一標(biāo)示符ID等，用于虛實(shí)目標(biāo)圖像特征點(diǎn)的配準(zhǔn)。
[0026]步驟三:利用MATLAB標(biāo)定工具箱對(duì)安裝在機(jī)械臂上的相機(jī)進(jìn)行內(nèi)參矩陣標(biāo)定，同時(shí)利用傳統(tǒng)的手眼標(biāo)定方法標(biāo)定相機(jī)坐標(biāo)系與機(jī)械臂末端坐標(biāo)系之間的齊次變換矩陣。
[0027]步驟四:真實(shí)場(chǎng)景圖像幀數(shù)據(jù)和機(jī)械臂位置數(shù)據(jù)的采集與保存，通過(guò)控制機(jī)械臂的運(yùn)動(dòng)來(lái)移動(dòng)相機(jī)完成真實(shí)場(chǎng)景全方位的圖像幀數(shù)據(jù)及其對(duì)應(yīng)的機(jī)械臂