一種基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于無人機(jī)領(lǐng)域，尤其涉及一種基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)。
【背景技術(shù)】
[0002]VRCVirtual Reality，即虛擬現(xiàn)實(shí)，簡稱VR)技術(shù)是采用以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高科技手段生成逼真的視覺、聽覺、觸覺、嗅覺、味覺等一體化的虛擬環(huán)境，用戶從自己的視點(diǎn)出發(fā)，借助特殊的輸入輸出設(shè)備，采用自然的方式與虛擬世界的物體進(jìn)行交互，相互影響。傳統(tǒng)的無人機(jī)是通過遙控器及手機(jī)軟件對無人機(jī)飛行進(jìn)行一定操作，遙控操作與傳統(tǒng)的遙控玩具飛機(jī)無太大差異，可玩性不強(qiáng)，無新穎性。

【發(fā)明內(nèi)容】

[0003]鑒于上述問題，本發(fā)明的目的在于提供一種基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)，該系統(tǒng)能夠?yàn)橛脩籼峁┮环N便利性、交互性、真實(shí)性極強(qiáng)的虛擬現(xiàn)實(shí)飛行體驗(yàn)，如同普通的電視直播一樣觀看無人機(jī)全景視頻并進(jìn)行VR交互體驗(yàn)。
[0004]本發(fā)明采用如下技術(shù)方案:
所述基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)包括無人機(jī)、移動(dòng)控制終端、VR直播云服務(wù)器、沉浸式可視設(shè)備，所述無人機(jī)內(nèi)設(shè)置有VR處理器，并且無人機(jī)搭載有全景視頻相機(jī)，所述無人機(jī)與移動(dòng)控制端采用無線數(shù)據(jù)連接，所述VR直播云服務(wù)器與移動(dòng)控制終端、可視設(shè)備采用互聯(lián)網(wǎng)或者虛擬專用網(wǎng)方式連接，其中，
所述全景視頻相機(jī)包含雙目或多目攝像頭，用于采集現(xiàn)場360°全景視頻，保證視場的全方位覆蓋，能夠提供立體三維建模所需要的全部信息；
所述VR處理器作為VR圖像處理中心，接收所述360°全景視頻以及全景視頻相機(jī)參數(shù)，確定場景內(nèi)各目標(biāo)的相關(guān)信息，最終生成三維全景視頻，所述相關(guān)信息包括場景內(nèi)各目標(biāo)的空間位置、距離、大小、方位、速度；
所述移動(dòng)控制終端用于將從無人機(jī)的VR處理器回傳的三維全景視頻實(shí)時(shí)上傳到VR直播云服務(wù)器；
所述VR直播云服務(wù)器用于高速緩存一套或多套無人機(jī)對應(yīng)的移動(dòng)控制終端傳輸過來的三維全景視頻，根據(jù)直播用戶需求進(jìn)行實(shí)時(shí)轉(zhuǎn)播；
所述沉浸式可視設(shè)備具有內(nèi)部圖形處理器及控制器，用于實(shí)時(shí)接收VR直播云服務(wù)器轉(zhuǎn)播的三維全景視頻，并快速處理視頻圖像還原真實(shí)的3D場景，實(shí)時(shí)展示。
[0005]進(jìn)一步的，所述VR直播云服務(wù)器還用于根據(jù)直播用戶需求配置離線緩存后進(jìn)行用戶體驗(yàn)轉(zhuǎn)播;所述沉浸式可視設(shè)備還用于從VR直播云服務(wù)器中下載用戶選擇的三維全景視頻離線緩存實(shí)現(xiàn)全景體驗(yàn)或模擬VR飛行。
[0006]進(jìn)一步的，所述系統(tǒng)還包括用于佩戴在用戶各部位的各種可穿戴智能傳感器，所述可穿戴智能傳感器用于捕捉人體動(dòng)作運(yùn)動(dòng)趨勢，并實(shí)時(shí)轉(zhuǎn)換為控制指令，通過VR直播云服務(wù)器、移動(dòng)控制終端發(fā)送至前端的無人機(jī)，無人機(jī)更新控制信息和飛行狀態(tài);所述VR處理器還用于將根據(jù)無人機(jī)最新狀態(tài)虛擬出現(xiàn)實(shí)模型，模擬出操控者和無人機(jī)人機(jī)一體的個(gè)體模型，并將所述個(gè)體模型插入到所述三維全景視頻中，得到完整的VR場景。
[0007]本發(fā)明的有益效果是:本發(fā)明中，直播用戶可以選擇實(shí)時(shí)在線飛行的任何一架支持VR直播的無人機(jī)進(jìn)行點(diǎn)播，選擇全景體驗(yàn)，或VR飛行，或選擇已離線緩存到VR直播云服務(wù)器的三維全景視頻做全景體驗(yàn)或模擬VR飛行，這樣普通用戶在互聯(lián)網(wǎng)或虛擬專網(wǎng)遠(yuǎn)程終端，也能體驗(yàn)無人機(jī)全景視頻或交互的虛擬飛行，讓用戶在獲得授權(quán)的前提下能直接通過身體的各種動(dòng)作控制無人機(jī)的飛行，并同時(shí)獲取到飛機(jī)的視角，稱為真正的空中飛人。
【附圖說明】
[0008]圖1是基于無人機(jī)全景視頻的VR直播系統(tǒng)的結(jié)構(gòu)圖；
圖2是實(shí)現(xiàn)基于無人機(jī)全景視頻的VR直播方法的一種流程圖；
圖3是實(shí)現(xiàn)基于無人機(jī)全景視頻的VR直播方法的另一種流程圖；
圖4是實(shí)現(xiàn)基于無人機(jī)全景視頻的VR直播方法的第三種流程圖。
【具體實(shí)施方式】
[0009]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0010]為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實(shí)施例來進(jìn)行說明。
[0011]實(shí)施例一
如圖1所示，本實(shí)施例提供的基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)包括無人機(jī)10、移動(dòng)控制終端50、VR直播云服務(wù)器70、沉浸式可視設(shè)備80，所述無人機(jī)10內(nèi)設(shè)置有VR處理器20，并且無人機(jī)搭載有全景視頻相機(jī)30，所述無人機(jī)10與移動(dòng)控制端50采用無線數(shù)據(jù)連接，所述VR直播云服務(wù)器70與移動(dòng)控制終端50、可視設(shè)備80采用互聯(lián)網(wǎng)或者虛擬專用網(wǎng)VPN方式連接。
[0012]本實(shí)施例中，所述無人機(jī)10由智能飛控、電調(diào)、電機(jī)、螺旋槳、機(jī)架、動(dòng)力鋰電池等組成，用于攜帶全景視頻相機(jī)，或載荷云臺等任何可掛載物件飛行。
[0013]所述全景視頻相機(jī)30包含雙目或多目攝像頭，用于采集現(xiàn)場360°全景視頻，保證視場的全方位覆蓋，能夠提供立體三維建模所需要的全部信息。
[0014]所述VR處理器20作為VR圖像處理中心，接收全景視頻相機(jī)輸出的360°全景視頻，根據(jù)全景視頻相機(jī)參數(shù)，確定場景內(nèi)各目標(biāo)的空間位置、距離、大小、方位、速度等相關(guān)信息，最終生成三維全景視頻。
[0015]所述移動(dòng)控制終端50用于將從無人機(jī)的VR處理器回傳的三維全景視頻實(shí)時(shí)上傳到VR直播云服務(wù)器;這里所述移動(dòng)控制終端包括但不限于傳統(tǒng)遙控器、手機(jī)、平板、遙控手環(huán)等針對無人機(jī)飛行平臺的移動(dòng)控制裝置，可以與VR直播云服務(wù)器進(jìn)行互聯(lián)網(wǎng)或VPN連接，能夠?qū)臒o人機(jī)回傳的三維全景視頻實(shí)時(shí)上傳到VR直播云服務(wù)器。
[0016]所述VR直播云服務(wù)器70基于云存儲、云計(jì)算和云負(fù)載均衡技術(shù)，用于高速緩存一套或多套無人機(jī)對應(yīng)的移動(dòng)控制終端傳輸過來的三維全景視頻，即接收一路或多路三維全景視頻，根據(jù)直播用戶需求進(jìn)行實(shí)時(shí)轉(zhuǎn)播。
[0017]所述沉浸式可視設(shè)備80包括但不限于眼鏡、頭盔、顯示屏等可VR顯示的設(shè)備，具有內(nèi)部圖形處理器及控制器，用于實(shí)時(shí)接收VR直播云服務(wù)器轉(zhuǎn)播的三維全景視頻，并快速處理視頻圖像還原真實(shí)的3D場景，實(shí)時(shí)展示，形成與玩家的實(shí)時(shí)互動(dòng)。
[0018]本實(shí)施例中，所述無人機(jī)與移動(dòng)控制端采用的無線數(shù)據(jù)連接，包括所有基于無線射頻傳輸圖像或控制狀態(tài)數(shù)字信息的傳輸方式，用于無線傳遞三維全景視頻和狀態(tài)控制信息，包括各種頻段的射頻傳輸、WIFI或編碼正交頻分復(fù)用⑶Π)Μ等等。所述VR直播云服務(wù)器與移動(dòng)控制終端、可視設(shè)備采用的互聯(lián)網(wǎng)或者虛擬專用網(wǎng)連接方式，具備高速度高帶寬，能滿足三維全景視頻的傳輸需要，能夠傳播無人機(jī)回傳的三維全景視頻和無人機(jī)的狀態(tài)控制信息。所述移動(dòng)控制終端是針對無人機(jī)的移動(dòng)控制裝置，用于將從無人機(jī)回傳的三維全景視頻實(shí)時(shí)上傳到VR直播云服務(wù)器，所述移動(dòng)控制終端包括遙控器、手機(jī)、平板、遙控手環(huán)等等。
[0019]所述VR處理器20作為VR圖像處理中心，具體實(shí)現(xiàn)時(shí)，包括:
實(shí)時(shí)場景抓取模塊，用于當(dāng)用戶選定無人機(jī)直播頻道之后，接收前端無人機(jī)的全景視頻相機(jī)米集的實(shí)時(shí)場景?目息；
全景拼接成像模塊，用于將接收到的實(shí)時(shí)場景信息，進(jìn)行實(shí)時(shí)360度全景圖像拼接，單幀的360度全景成像信息開始生成，得到360°全景視頻；
立體三維建模模塊，用于通過拼接的360°全景視頻信息和全景視頻相機(jī)參數(shù)，并結(jié)合無人機(jī)的遙測定位信息，開始執(zhí)行立體三維建模，該模型具備場景內(nèi)所有目標(biāo)的空間位置、距離、大小、方位、速度等相關(guān)信息。
[0020]下面通過具體步驟來描述本系統(tǒng)的具體實(shí)現(xiàn)方法。如圖2所示，包括下述步驟:
S201、用戶選擇無人機(jī)VR直播頻道。本步驟中，用戶選擇跟隨系統(tǒng)飛行VR體驗(yàn)，即只進(jìn)行立體三維環(huán)游，但飛行狀態(tài)跟隨當(dāng)前的前端無人機(jī)控制。
[0021]S202、實(shí)時(shí)場景信息抓取。用戶選定無人機(jī)直播頻道之后，前端無人機(jī)的全景視頻相機(jī)的數(shù)據(jù)通道開始向用戶開放，無人機(jī)攜帶的全景視頻相機(jī)獲取實(shí)時(shí)場景信息。
[0022]S203、全景拼接成像。無人機(jī)攜帶的全景視頻相機(jī)接收到實(shí)時(shí)場景信息后，立即進(jìn)行實(shí)時(shí)360度全景圖像拼接，單幀的360度全景成像信息開始生成。
[0023]S204、立體三維建模。通過全景視頻相機(jī)拼接的360°全景視頻信息和全景視頻相機(jī)參數(shù)，結(jié)合無人機(jī)遙測定位信息等等，VR處理器開始執(zhí)行立體三維建模，得到三維全景視頻;該模型具備所有目標(biāo)的空間位置、距離、大小、方位、速度等相關(guān)信息。
[0024]S205、移動(dòng)控制終端將所述三維全景視頻實(shí)時(shí)上傳到VR直播云服務(wù)器。
[0025]S206、VR直播云服務(wù)器存儲轉(zhuǎn)發(fā)。VR直播云服務(wù)器接收到三維全景視頻后，將進(jìn)行離線緩存，然后轉(zhuǎn)發(fā)到VR直播用戶。
[0026]S207、用戶頭顯展示體驗(yàn)。VR直播用戶通過頭顯或其他VR展現(xiàn)顯示，讀取實(shí)時(shí)無人機(jī)VR視頻。
[0027]實(shí)施例二:
本實(shí)施例提供的基于無人機(jī)全景視頻的虛擬現(xiàn)實(shí)直播系統(tǒng)與實(shí)施例一相同，包括無人機(jī)10、移動(dòng)控制終端50、VR直播云服務(wù)器70、沉浸式可視設(shè)備80，所述無人機(jī)10內(nèi)設(shè)置有VR處理器20，并且無人機(jī)搭載有全景視頻相機(jī)30，所述無人機(jī)10與移動(dòng)控制端50采用無線數(shù)據(jù)連接，所述VR直播云服務(wù)器70與移動(dòng)控制終端50、沉浸式可視設(shè)備80采用互聯(lián)網(wǎng)或者虛擬專用網(wǎng)VPN方式連接。
[0028]與實(shí)施例一不同之處在于，本實(shí)施例中，VR直播云服務(wù)器70還用于根據(jù)直播用戶需求配置離線緩存后進(jìn)行用戶體驗(yàn)轉(zhuǎn)播;類似于電視節(jié)目錄制和重播。所述沉浸式可視設(shè)備80還用于從VR直播云服務(wù)器中下載用戶選擇的三維全景視頻離線緩存實(shí)現(xiàn)全景體驗(yàn)或模擬VR飛行。
[0029]下面通過具體