借助虛擬現(xiàn)實及雙目視覺技術(shù)實現(xiàn)的第一人稱沉浸式無人機駕駛系統(tǒng)及駕駛方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于無人機技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]由于現(xiàn)階段無人機技術(shù)迅猛發(fā)展，尤其以四旋翼為代表的民用無人機越來越成熟，出現(xiàn)了一大批以此為依托的無人機公司，各研究機構(gòu)也積極探索相關(guān)新技術(shù)。四軸為代表的多軸無人機雖然目前飛行控制技術(shù)已經(jīng)相當(dāng)成熟，但是由于結(jié)構(gòu)限制導(dǎo)致的效率低下、續(xù)航時間短等問題相當(dāng)突出。
[0003]而且無人機的操縱仍然主要使用人眼原地遠距離觀察無人機飛行高度與姿態(tài)并靠遙控器來遙控，由于距離和無人機速度的影響，并不能非常直觀地掌握無人機的實時飛行狀態(tài)，很容易因為個人操作失誤導(dǎo)致墜機或炸機。雖然有配套的圖像回傳顯示系統(tǒng)實現(xiàn)平面顯示，并不能夠達到真實飛行器駕駛時的直觀體驗，無論是顯示介質(zhì)還是操縱機制。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有無人機駕駛系統(tǒng)不能實時掌握實時飛行狀態(tài)，易導(dǎo)致失誤的問題，本發(fā)明提供一種借助虛擬現(xiàn)實及雙目視覺技術(shù)實現(xiàn)的第一人稱沉浸式無人機駕駛系統(tǒng)及駕駛方法。
[0005]本發(fā)明的借助虛擬現(xiàn)實及雙目視覺技術(shù)實現(xiàn)的第一人稱沉浸式無人機駕駛系統(tǒng)，
[0006]所述系統(tǒng)包括無人機部分和地面站部分；所述無人機部分包括三軸云臺穩(wěn)定器、雙目攝像頭、無人機圖傳模塊、無人機數(shù)傳模塊和無人機控制模塊；
[0007]雙目攝像頭，用于采集無人機周圍環(huán)境的圖像；
[0008]無人機圖傳模塊，用于將雙目攝像頭采集的圖像回傳；
[0009]無人機數(shù)傳模塊，用于接收頭部相對于模擬駕駛座艙方位的歐拉角和無人機飛行狀態(tài)的控制指令，用于將無人機的飛行狀態(tài)信息回傳；
[0010]無人機控制器，用于對接收的頭部相對于模擬駕駛座艙方位的歐拉角進行解算，獲得動作角度指令，還用于根據(jù)接收的無人機飛行狀態(tài)的控制指令，控制無人機的飛行狀態(tài)，還用于檢測無人機的飛行狀態(tài)信息；
[0011 ] 三軸云臺穩(wěn)定器，用于自身維持指向穩(wěn)定并根據(jù)動作角度指令，進行動作；
[0012]所述地面站部分包括虛擬現(xiàn)實眼鏡、模擬飛行控制器、地面站計算機、地面站數(shù)傳模塊和地面站圖傳模塊；
[0013]地面站圖傳模塊，用于接收雙目攝像頭采集的圖像；
[0014]地面站數(shù)傳模塊，用于發(fā)送頭部相對于模擬駕駛座艙方位的歐拉角和無人機飛行狀態(tài)的控制指令，還用于接收回傳的無人機飛行狀態(tài)信息；
[0015]虛擬現(xiàn)實眼鏡，用于接收疊加后的3D格式視頻信號，并實時顯示，還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號；
[0016]地面站計算機，用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號，并將接收的無人機飛行狀態(tài)信息疊加到所述3D格式視頻信號中；將獲得的頭部動作角度信號解算成頭部相對于模擬駕駛座艙方位的歐拉角，還用于將駕駛者對無人機的控制指令解算為無人機飛行狀態(tài)的控制指令；
[0017]模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令。
[0018]所述虛擬現(xiàn)實眼鏡，還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號為:
[0019]采用位置跟蹤的陀螺儀、加速度計和羅盤采集駕駛者頭部的動作角度信號。
[0020]所述模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令為:
[0021]駕駛者通過控制操縱桿和油門桿輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令。
[0022]所述疊加后的3D格式視頻信號為:
[0023]顯示成無人機飛行狀態(tài)、姿態(tài)、位置、高度和無人機周圍環(huán)境的地圖增強信息的左右眼3D格式視頻。
[0024]借助虛擬現(xiàn)實及雙目視覺技術(shù)實現(xiàn)的第一人稱沉浸式無人機駕駛方法，所述方法包括無人機內(nèi)嵌入程序和地面站計算機嵌入程序，所述無人機內(nèi)嵌入程序包括如下步驟:
[0025]用于利用雙目攝像頭采集無人機周圍環(huán)境的圖像的步驟；
[0026]用于將雙目攝像頭采集的圖像回傳的步驟；
[0027]用于接收頭部相對于模擬駕駛座艙方位的歐拉角和無人機飛行狀態(tài)的控制指令，用于將無人機的飛行狀態(tài)信息回傳的步驟；
[0028]用于對接收的頭部相對于模擬駕駛座艙方位的歐拉角進行解算，獲得動作角度指令的步驟，還用于根據(jù)接收的無人機飛行狀態(tài)的控制指令，控制無人機的飛行狀態(tài)的步驟，還用于檢測無人機的飛行狀態(tài)信息的步驟；
[0029]用于利用三軸云臺穩(wěn)定器自身維持指向穩(wěn)定，并根據(jù)動作角度指令，控制三軸云臺穩(wěn)定器的步驟；
[0030]所述地面站計算機嵌入程序包括如下步驟:
[0031]用于接收雙目攝像頭采集的圖像的步驟；
[0032]用于發(fā)送頭部相對于模擬駕駛座艙方位的歐拉角和無人機飛行狀態(tài)的控制指令的步驟，還用于接收回傳的無人機飛行狀態(tài)信息的步驟；
[0033]還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號的步驟；
[0034]用于輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令的步驟；
[0035]用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號，并將接收的無人機飛行狀態(tài)信息疊加到所述3D格式視頻信號中的步驟；
[0036]還用于將獲得的頭部動作角度信號解算成頭部相對于模擬駕駛座艙方位的歐拉角的步驟；
[0037]用于將駕駛者對無人機的控制指令解算為無人機飛行狀態(tài)的控制指令的步驟；
[0038]利用虛擬現(xiàn)實眼鏡接收疊加后的3D格式視頻信號，并實時顯示的步驟。
[0039]所述用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號的步驟為:
[0040]采用位置跟蹤的陀螺儀、加速度計和羅盤采集駕駛者的頭部動作角度信號的步驟。
[0041]所述用于輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令的步驟為:
[0042]駕駛者通過控制操縱桿和油門桿輸入模擬座艙內(nèi)的駕駛者對無人機的控制指令的步驟。
[0043]所述疊加后的3D格式視頻信號為:
[0044]顯示成無人機飛行狀態(tài)、姿態(tài)、位置、高度和無人機周圍環(huán)境的地圖增強信息的左右眼3D格式視頻。
[0045]本發(fā)明的有益效果在于:
[0046]1、借助于虛擬現(xiàn)實眼鏡配合無人機云臺搭載的雙目攝像頭實現(xiàn)了無人機駕駛視角的虛擬移植。
[0047]2、通過虛擬現(xiàn)實眼鏡內(nèi)置的用于位置跟蹤的陀螺儀、加速度計、羅盤等傳感器解算的無人機駕駛者頭部動作信號，借助于與地面站連接的數(shù)傳模塊傳遞給無人機飛行控制器，信號處理后傳給三軸云臺穩(wěn)定器實現(xiàn)云臺上雙目攝像頭對于地面無人機駕駛者頭部動作的跟蹤同步。
[0048]3、地面無人機駕駛者通過高仿真的模擬飛行控制器的操縱桿和油門桿結(jié)合地面站的輔助實現(xiàn)對于無人機飛行狀態(tài)的控制。
[0049]4、通過虛擬現(xiàn)實眼鏡、三軸云臺穩(wěn)定器、雙目攝像頭以及輔助模塊對于地面站計算機的協(xié)同配合，通過視覺移植、高仿真地面駕駛模擬實現(xiàn)完全沉浸式的駕駛體驗，帶來一種全新的駕駛模式，借助虛擬現(xiàn)實實現(xiàn)無人機駕駛的遠端臨場。
[0050]5、借助虛擬現(xiàn)實眼鏡的軟件開發(fā)，實現(xiàn)對于地面站接收的無人機飛控回傳的飛行狀態(tài)、姿態(tài)、位置、高度、地圖增強信息等的集成顯示，實現(xiàn)無人機駕駛者通過視覺感知對于無人機飛行基本