一種面向個人的集群化虛擬現實交互系統(tǒng)的制作方法
【專利摘要】本申請?zhí)峁┮环N面向個人的集群化虛擬現實交互系統(tǒng)，包括步行模擬器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備以及數據背包設備；其中，模擬步行器用于模擬人的行走和限制人的移動，并且進行步行數據的采集和反饋；身體數據采集反饋設備用于對虛擬環(huán)境中的虛擬人體進行互動控制，通過慣性傳感器、陀螺儀采集現實中人體的姿態(tài)數據，控制虛擬身體并且反作用于身體；移動頭戴式虛擬現實和增強現實設備用于集成音視頻輸出、數據處理及空間點定位，實現圖像、音頻的仿真輸出；數據背包設備用于接收模擬步行器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備的數據，并且進行綜合處理，并且反饋到各設備上。
【專利說明】一種面向個人的集群化虛擬現實交互系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及虛擬現實技術，更具體地，涉及一種面向個人的集群化虛擬現實交互系統(tǒng)。

【背景技術】
[0002]虛擬現實(Virtual Reality, VR)技術是當今世界前沿科學之一，21世紀以來，在游戲、軍事、勘探等領域已經有類似應用設備，但這些設備都面臨造價昂貴、體積龐大和重量較重的問題。
[0003]傳統(tǒng)虛擬現實和增強現實視聽設備多以投影系統(tǒng)，或是超高分辨率大屏幕顯示系統(tǒng)外置音響設備為基礎，數據處理更是依托大型計算機甚至機群實現，主要應用與一些大型項目，成本高，占地廣，不適合個人應用。
[0004]其中，Oculus公司以可以接受的價格將廣角、低延遲的沉浸體驗帶給大眾,oculus是一個虛擬現實實現的里程碑、是第一個實現個人虛擬現實的設備。但其只有視頻輸出，不能獨立采集和處理數據，也不能獨立接駁其他應用接口。類似的設備還有集成音頻和游戲控制功能的蟻視等，而這類設備只能作為臺式系統(tǒng)外設存在。
[0005]目前是市場上的虛擬現實設備有:0culus Rift、谷歌Cardboard、三星Gear VR、微軟F0VE、ZEISS VR 0ne、Dexta Robot ics Dexmo、索尼Morpheus、Cybertith Virtualizer>Omn1、Leap Mot1n、Percept1n Neuron、蟲義視、暴風魔鏡、Sixense STEM、Reactive Grip、Trinity MAGNUM等等大致可分為以下類別。
[0006]頭戴顯示設備:這類大多擁有頭盔外形，作用為:圖像顯示和捕捉頭部旋轉信息。Oculus Rift、微軟F0VE、索尼Morpheus、蟻視都屬于這類。
[0007]手機虛擬現實外殼:這是種簡易裝置，可以將手機等設備放入并固定。從而實現類似頭戴設備的效果。谷歌Cardboard、三星Gear VR, ZEISS VR One、暴風魔鏡都屬于這類。
[0008]全身動作捕捉:多個傳感器遍布全身捕捉全身動作數據。如Percept1n Neuron。
[0009]局部動作捕捉:萬向跑步機可捕捉腳部運動數據，如Cybertith Virtualizer>Omni ;手指動作捕捉，如:Dexta Robotics Dexmo> Leap Mot1n。
[0010]游戲控制器:特殊的輸入設備，模擬虛擬世界中的道具，如打槍舞劍等。SixenseSTEM、Reactive Grip、Trinity MAGNUM 都是屬于此類。
[0011]目前大多數虛擬現實產品都由歐美廠商設計，根本不考慮亞洲人的審美感受。目前其他產品硬件分為普通電腦和移動設備，前者性能好但笨重，后者輕便但效果明顯簡陋。當前的產品由于不是完整的解決方案，所以必須讓用戶逐個使用，安裝設置，非常麻煩。設備功能單一，設計之初都是相互獨立的。一旦用戶將它們組合到一起，必然會出問題，導致無法正常使用。


【發(fā)明內容】

[0012]為克服現有技術的上述缺陷，本發(fā)明提出一種面向個人的集群化虛擬現實交互系統(tǒng)。
[0013]根據本發(fā)明的一個方面，提出了一種面向個人的集群化虛擬現實交互系統(tǒng)，包括步行模擬器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備以及數據背包設備；其中，模擬步行器用于模擬人的行走和限制人的移動，并且進行步行數據的采集和反饋；身體數據采集反饋設備用于對虛擬環(huán)境中的虛擬人體進行互動控制，通過慣性傳感器、陀螺儀采集現實中人體的姿態(tài)數據，控制虛擬身體并且反作用于身體；移動頭戴式虛擬現實和增強現實設備用于集成音視頻輸出、數據處理及空間點定位，實現圖像、音頻的仿真輸出；數據背包設備用于接收模擬步行器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備的數據，并且進行綜合處理，并且反饋到各設備上。
[0014]本發(fā)明的交互系統(tǒng)設計包含了亞洲式的細膩同時兼顧了簡約的主流風格，使用定制的平臺，不但輕便可輕松穿戴同時性能強勁。其服裝采用一體化服裝設計，將所有傳感器整合于服裝中，不經穿戴方便且對用戶造成的活動限制為同類產品中最小。以集成音視頻輸出、數據處理能力及空間點定位功能的VRGate-brain為核心,接收、處理、反饋相關數據來完成整套系統(tǒng)的運行。VRGate-brain的視頻輸出組件把視頻信號形成的圖像通過特殊的光學系統(tǒng)投射到人眼，配以音頻輸出組件來完成系統(tǒng)音視頻方面的仿真輸出。空間坐標定位依靠UWD和差分GPS技術方式實現。
[0015]系統(tǒng)對虛擬環(huán)境中的虛擬身體的互動控制是依靠VRGate-body這個部件實現的。VRGate-body通過慣性傳感器、陀螺儀等來采集現實中人體的姿態(tài)數據傳輸給系統(tǒng)核心VRGate-brain來達到控制虛擬身體的功能。VRGate-body部件同時集成靜電反饋裝置,通過接收識別核心傳輸來的反饋數據作用于人體，達到讓人體感受到觸摸、拍打、撞擊等感覺的功能。
[0016]人的模擬行走和限制移動功能通過VRGate-Walker來實現。VRGate-Walker是一種模擬步行數據的采集與反饋輸出的設備，其通過皮帶機械傳動機構實現腳下無限延展面的功能，使人在原地模擬行走中獲得腳下的無限延展面。另外VRGate-Walker集成多個超聲定位傳感器，形成空間矩陣，對腳步動作數據進行連續(xù)采樣回傳給核心，達到實時監(jiān)測腳步位置及速度功能，通過核心的數據處理后使腳與傳動裝置配合，獲得更好的仿真行走感受。

【專利附圖】

【附圖說明】
[0017]圖1為根據本發(fā)明的一種面向個人的集群化虛擬現實交互系統(tǒng)的布置示意圖；
[0018]圖2為根據本發(fā)明的一種面向個人的集群化虛擬現實交互系統(tǒng)的邏輯結構示意圖。
[0019]圖3為根據本發(fā)明的模擬步行器的示意圖；
[0020]圖4為根據本發(fā)明的身體數據采集反饋的設備的邏輯結構示意圖。
[0021]圖5為根據本發(fā)明的一種移動頭戴式虛擬現實和增強現實設備的布置示意圖；
[0022]為了能明確實現本發(fā)明的實施例的結構，在圖中標注了特定的尺寸、結構和器件，但這僅為示意需要，并非意圖將本發(fā)明限定在該特定尺寸、結構、器件和環(huán)境中，根據具體需要，本領域的普通技術人員可以將這些器件和環(huán)境進行調整或者修改，所進行的調整或者修改仍然包括在后附的權利要求的范圍中。

【具體實施方式】
[0023]下面結合附圖和具體實施例對本發(fā)明提供的一種面向個人的集群化虛擬現實交互系統(tǒng)進行詳細描述。
[0024]在以下的描述中，將描述本發(fā)明的多個不同的方面，然而，對于本領域內的普通技術人員而言，可以僅僅利用本發(fā)明的一些或者全部結構或者流程來實施本發(fā)明。為了解釋的明確性而言，闡述了特定的數目、配置和順序，但是很明顯，在沒有這些特定細節(jié)的情況下也可以實施本發(fā)明。在其他情況下，為了不混淆本發(fā)明，對于一些眾所周知的特征將不再進行詳細闡述。
[0025]如本文所使用的，術語“部件”可指代、包含于、或包含專用集成電路(ASIC)、電子電路、執(zhí)行一個或多個軟件或固件程序的處理器(共享、專用或組)和/或存儲器(共享、專用或組)、組合邏輯電路和/或提供所描述的功能性的其它合適的部件。
[0026]如圖1和圖2所示，本申請?zhí)峁┮环N面向個人的集群化虛擬現實交互系統(tǒng)，該系統(tǒng)包括模擬步行器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備以及數據背包設備。其中，模擬步行器用于模擬人的行走和限制人的移動，并且進行步行數據的采集和反饋；身體數據采集反饋設備用于對虛擬環(huán)境中的虛擬人體進行互動控制，通過慣性傳感器、陀螺儀采集現實中人體的姿態(tài)數據，控制虛擬身體并且反作用于身體；移動頭戴式虛擬現實和增強現實設備用于集成音視頻輸出、數據處理及空間點定位，實現圖像、音頻的仿真輸出；數據背包設備用于接收模擬步行器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備的數據，并且進行綜合處理，并且反饋到各設備上。
[0027]其中，如圖3所示，模擬步行器(VRGate-Walker)具備模擬行走數據采集和限制人體位置移動兩個功能，并且可以消除由于視神經和人體感知神經不同步所造成的眩暈。
[0028]其中,VRGate-Walker也是一種360度全方位的步行模擬器,使用同步皮帶接觸的機械結構實現方式模擬行走，代替了摩擦和滾輪接觸模擬行走方式。由于采用面接觸，大大提高了模擬步行的擬真度。數據采集方面，應用多個非接觸式的超聲定位傳感器進行實時采樣，保證了步行數據采集的連續(xù)性，也為未來更多的應用方向奠定了基礎。
[0029]其中，本申請的步行模擬器包括傳動機構和模擬面板，模擬面板布置在傳動機構上，傳動機構用于同步模擬面板上的運動軌跡，和模擬面板的行進進行相對運動；模擬面板用于采樣面板上腳步的運動數據，包括位置、速度、方位、姿態(tài)數據。
[0030]其中，傳動機構包括同步皮帶和滾軸機械結構，同步皮帶布置在滾軸機械結構上，皮帶和滾軸機械結構做相對運動。滾軸機械結構包括沿皮帶方向的滾軸和垂直于皮帶方向的豎向旋轉軸，以使傳動機構可以360度進行旋轉，以帶動模擬面板進行360旋轉，從而保證模擬步行器在方向上的全面模擬程度。
[0031]其中，模擬面板上包括多個分區(qū)，每個分區(qū)布設多個超聲定位傳感器，面向面板中心，圍繞整個面板，形成超聲探測空間矩陣，對腳步動作數據進行連續(xù)采樣。通過采用非接觸式的超聲定位傳感器，可以不限制用戶使用何種腳步穿著。
[0032]其中，如圖4所示，身體數據采集反饋設備(RGate-Body)，包括身體姿態(tài)數據采集模塊和力反饋數據輸出模塊，其中，身體姿態(tài)數據采集模塊包括慣性傳感器、UWB超寬帶測距子模塊和無線網絡子模塊，用于實時采集身體姿態(tài)數據信息和采集點相對位置信息，通過無線方式傳輸給計算機。其中，力反饋數據輸出模塊包括電脈沖反饋裝置，用于無線接收計算機發(fā)送的力反饋信號，通過接收識別核心傳輸來的反饋數據作用于相應的身體部位，讓人體感受到觸摸、拍打、撞擊等感覺，達到游戲擬真，物理按摩等效果。
[0033]其中，該身體數據采集反饋設備用于采集體驗者人體姿態(tài)，將體驗者肢體及全身反饋信號與中樞處理器有效融合，以達到控制虛擬環(huán)境下虛擬身體和讓現實環(huán)境下人體感受到觸摸、拍打、撞擊等感覺，達到游戲擬真，物理按摩等效果。
[0034]其中，身體姿態(tài)數據采集模塊包括布置在全身肢體關鍵節(jié)點部位的傳感器，其中，傳感器包括9自由度傳感器，該9自由度傳感器包括3軸陀螺儀、3軸羅盤和3軸加速度計。其中，關鍵節(jié)點部位包括手足肢端節(jié)點、踝腕關節(jié)節(jié)點、膝肘關節(jié)節(jié)點、肩跨關節(jié)節(jié)點、及頭、頸、軀干節(jié)點等必要節(jié)點及其他可臨時配置的擴展節(jié)點。
[0035]其中，所有節(jié)點與協(xié)調器組成星型網絡，該多個節(jié)點處于星形網絡的末端。其中，底層布置處理器，用于進行初步的卡爾曼濾波等基礎容錯過濾操作。其中，該傳感器獨立電池供電，自成一體，可隨時增減節(jié)點數量，減少現場體驗環(huán)節(jié)的穿戴復雜程度。
[0036]其中，各個獨立傳感器的無線通訊網絡(ZIGBEE網絡)包含特征地址信息及自組網系統(tǒng)，網絡系統(tǒng)內包括一個協(xié)調器和若干節(jié)點，每個節(jié)點上電后由協(xié)調器配置組網，形成已協(xié)調器為中心的星型網絡。各節(jié)點傳感器互不干擾的將數據傳送至姿態(tài)信息整合單元，該姿態(tài)信息整合單元是一個包含協(xié)調器的控制中心。
[0037]其中，姿態(tài)信息整合單元用于將節(jié)點傳感器上傳的數據(包括加速度、方向角、角加速度)融合，輔以肢體骨絡算法融合技術，計算出人體肢體節(jié)點及運動軌跡和速度等數據后，傳輸給中樞控制器平臺，進一步實現應用場景與人體模型節(jié)點的貼合。
[0038]其中，力反饋數據輸出模塊用于接收來自中樞控制器平臺的反饋觸發(fā)信號(如被擊打、接觸等)，以控制佩戴在體驗者身上的節(jié)點產生電流脈沖或震動作，讓現實環(huán)境下人體感受到觸摸、拍打、撞擊等感覺，達到游戲擬真、物理按摩等效果。
[0039]其中，如圖5所示，移動頭戴式虛擬現實和增強現實設備(VRGate-Brain)是一種集成視頻、音頻、以及移動數據處理功能的移動式虛擬現實和增強現實實現設備。該設備包括控制器、頭部姿態(tài)捕捉模塊、空間點定位模塊、超短焦光學模塊和視頻顯示模塊，其中，處理器用于接收頭部姿態(tài)信號、空間信號進行位置判斷和頭部姿態(tài)判斷，并且生成顯示內容控制發(fā)送到超短焦光學設備和視頻顯示模塊進行顯示。
[0040]其中，該設備還包括音頻處理模塊，用于通過自帶高品質凈噪環(huán)繞音響系統(tǒng)，采用解碼芯片和MAX9723功放芯片，基于低噪聲電荷泵600kHz的開關頻率遠遠高于音頻范圍，不僅不會干擾音頻信號，從而使MAX9723能夠獲得99dB的SNR。
[0041]其中，該設備采用小尺寸2K或2k以上分辨率液晶面板和強光可見投影及強光可見透屏，點距布置高達490ppi以上，配合X86平臺高性能數據系統(tǒng)，能提供絕大部分應用接口的接入，成為了第一個個人應用級的虛擬現實和增強現實移動實現設備。
[0042]其中，處理器為X86數據處理平臺，兼容各種應用接口和操作系統(tǒng)。
[0043]其中，空間點定位模塊具有相對定位子模塊和絕對定位子模塊，其中，相對定位子模塊通過路線規(guī)劃、前進方向和頭部姿態(tài)導向，基于內置地圖確定相對位置；絕對定位子模塊，基于GPS模塊，采用偽距差分原理和載波相位差分原理，獲取厘米級定位精度。
[0044]其中，頭部姿態(tài)捕捉模塊包括布置在設備上的多個三維姿態(tài)傳感器，用于測量頭部的三維運動，并且基于加速度傳感器來獲取設備即頭部的相對于水平面的傾斜角度，通過分析動態(tài)加速度，確定出設備移動的方式。
[0045]其中，視頻顯示模塊包括顯示子模塊和視頻信號轉換子模塊，其中，顯示子模塊采用高分辨面板和強光可見投影設備；視頻信號轉換子模塊包括將4K超高清視頻流無損、無壓縮地從HDMI轉換至MIP1-DSI的橋接芯片。
[0046]最后應說明的是，以上實施例僅用以描述本發(fā)明的技術方案而不是對本技術方法進行限制，本發(fā)明在應用上可以延伸為其他的修改、變化、應用和實施例，并且因此認為所有這樣的修改、變化、應用、實施例都在本發(fā)明的精神和教導范圍內。
【權利要求】
1.一種面向個人的集群化虛擬現實交互系統(tǒng)，包括步行模擬器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備以及數據背包設備；其中，模擬步行器用于模擬人的行走和限制人的移動，并且進行步行數據的采集和反饋；身體數據采集反饋設備用于對虛擬環(huán)境中的虛擬人體進行互動控制，通過慣性傳感器、陀螺儀采集現實中人體的姿態(tài)數據，控制虛擬身體并且反作用于身體；移動頭戴式虛擬現實和增強現實設備用于集成音視頻輸出、數據處理及空間點定位，實現圖像、音頻的仿真輸出；數據背包設備用于接收模擬步行器、身體數據采集反饋設備、移動頭戴式虛擬現實和增強現實設備的數據，并且進行綜合處理，并且反饋到各設備上。
2.根據權利要求1所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，所述步行模擬器包括傳動機構和模擬面板，其中，所述模擬面板布置在所述傳動機構上，所述傳動機構用于同步模擬面板上的運動軌跡，和模擬面板的行進進行相對運動；所述模擬面板用于采樣面板上腳步的運動數據，包括位置、速度、方位、姿態(tài)數據，反饋給傳動機構。
3.根據權利要求2所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，所述傳動機構包括同步皮帶和滾軸機械結構，同步皮帶布置在滾軸機械結構上，皮帶和滾軸機械結構做相對運動。
4.根據權利要求2所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，所述滾軸機械結構包括沿皮帶方向的滾軸和垂直于皮帶方向的豎向旋轉軸，以使傳動機構360度進行旋轉，以帶動模擬面板進行360旋轉。
5.根據權利要求1所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，模擬面板布置多個分區(qū)，每個分區(qū)布設多個超聲定位傳感器，面向面板中心，圍繞整個面板，形成超聲探測空間矩陣，用于分別對腳步動作數據進行連續(xù)采樣。
6.根據權利要求1所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，身體數據采集反饋設備包括:身體姿態(tài)數據采集模塊和力反饋數據輸出模塊，其中，身體姿態(tài)數據采集模塊包括慣性傳感器、UWB超寬帶測距子模塊和無線網絡子模塊，用于實時采集身體姿態(tài)數據信息和采集點相對位置信息，通過無線方式傳輸給中樞控制器；其中，力反饋數據輸出模塊包括電脈沖反饋裝置，用于無線接收中樞控制器發(fā)送的力反饋信號，通過接收識別核心傳輸來的反饋數據作用于相應的身體部位。
7.根據權利要求6所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，該身體數據采集反饋設備用于采集體驗者人體姿態(tài)，將體驗者肢體及全身反饋信號與中樞處理器有效融合，以達到控制虛擬環(huán)境下虛擬身體和讓現實環(huán)境下人體感受到觸摸、拍打、撞擊感覺。
8.根據權利要求6所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，身體姿態(tài)數據采集模塊包括布置在全身肢體關鍵節(jié)點部位的傳感器，其中，傳感器包括9自由度傳感器，該9自由度傳感器包括3軸陀螺儀、3軸羅盤和3軸加速度計。
9.根據權利要求8所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，關鍵節(jié)點部位包括手足肢端節(jié)點、踝腕關節(jié)節(jié)點、膝肘關節(jié)節(jié)點、肩跨關節(jié)節(jié)點、及頭、頸、軀干節(jié)點的必要節(jié)點及其他可臨時配置的擴展節(jié)點；其中，各個獨立傳感器的無線通訊網絡包含特征地址信息及自組網系統(tǒng)，網絡系統(tǒng)內包括一個協(xié)調器和若干節(jié)點，每個節(jié)點上電后由協(xié)調器配置組網，形成以協(xié)調器為中心的星型網絡。
10.根據權利要求9所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，各節(jié)點傳感器互不干擾的將數據傳送至姿態(tài)信息整合單元，該姿態(tài)信息整合單元是一個包含協(xié)調器的控制中心。
11.根據權利要求10所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，姿態(tài)信息整合單元用于將節(jié)點傳感器上傳的包括加速度、方向角、角加速度數據進行融合，輔以肢體骨絡算法融合技術，計算出人體肢體位置及運動軌跡和速度等數據后，傳輸給中樞控制器平臺。
12.根據權利要求1所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，移動頭戴式虛擬現實和增強現實設備包括控制器、頭部姿態(tài)捕捉模塊、空間點定位模塊、超短焦光學模塊和視頻顯示模塊，其中，處理器用于接收頭部姿態(tài)信號、空間信號進行位置判斷和頭部姿態(tài)判斷，并且生成顯示內容控制發(fā)送到超短焦光學設備和視頻顯示模塊進行適應性顯示。
13.根據權利要求12所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，該設備還包括音頻處理模塊，自帶高品質凈噪環(huán)繞音響系統(tǒng)，采用解碼芯片和MAX9723功放芯片，基于低噪聲電荷泵600kHz開關頻率。
14.根據權利要求12所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，空間點定位模塊具有相對定位子模塊和絕對定位子模塊，其中，相對定位子模塊通過路線規(guī)劃、前進方向和頭部姿態(tài)導向，基于內置地圖確定相對位置；絕對定位子模塊，基于GPS模塊，采用偽距差分原理和載波相位差分原理，獲取厘米級定位精度。
15.根據權利要求12所述的面向個人的集群化虛擬現實交互系統(tǒng)，其中，頭部姿態(tài)捕捉模塊包括布置在設備上的多個三維姿態(tài)傳感器，用于測量頭部的三維運動，并且基于加速度傳感器來獲取設備即頭部的相對于水平面的傾斜角度，通過分析動態(tài)加速度，確定出設備移動的方式。
【文檔編號】G06F3/01GK104407701SQ201410693380
【公開日】2015年3月11日 申請日期:2014年11月27日 優(yōu)先權日:2014年11月27日
【發(fā)明者】田效禹, 金成博 申請人:曦煌科技(北京)有限公司