本發(fā)明涉及娛樂設備領域，尤其涉及一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法及系統(tǒng)。

背景技術：

隨著移動互聯(lián)網(wǎng)的發(fā)展，各式各樣的技術層出不窮，尤其是目前火熱的VR（虛擬現(xiàn)實）和AR（增強現(xiàn)實）技術。

VR其是指：綜合利用計算機圖形系統(tǒng)和各種現(xiàn)實及控制等接口設備，在計算機上生成的、可交互的三維環(huán)境中提供沉浸感覺的技術。其中，計算機生成的、可交互的三維環(huán)境稱為虛擬環(huán)境。虛擬現(xiàn)實技術是一種可創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)的技術。它利用計算機生成一種模擬環(huán)境，利用多源信息融合的交互式三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

AR是一種實時地計算攝影機影像的位置及角度并加上相應圖像、視頻、3D模型對的技術，這種技術的目標是在屏幕上把虛擬世界套在現(xiàn)實世界并進行互動。AR其不僅展現(xiàn)了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充、疊加。

但目前的VR或AR技術并未實現(xiàn)將運動與音樂結合起來，即無法實現(xiàn)從運動到音樂轉換的功能。

因此，現(xiàn)有技術還有待于改進和發(fā)展。

技術實現(xiàn)要素：

鑒于上述現(xiàn)有技術的不足，本發(fā)明的目的在于提供一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法及系統(tǒng)，旨在解決現(xiàn)有技術無法實現(xiàn)從運動到音樂轉換的功能的問題。

本發(fā)明的技術方案如下：

一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法，其中，包括步驟：

利用傳感設備探測和追蹤人體動作；

將人體動作轉換為節(jié)拍；

通過多通道方式對所述節(jié)拍進行編碼形成音樂文件，以進行解碼和播放。

所述的音頻虛擬現(xiàn)實實現(xiàn)方法，其中，提取所述節(jié)拍的幅度以及頻率，然后編碼為音樂文件。

所述的音頻虛擬現(xiàn)實實現(xiàn)方法，其中，所述傳感設備包括VR控制器、運動轉音樂配件、智能手表和智能手環(huán)中的一種或多種。

所述的音頻虛擬現(xiàn)實實現(xiàn)方法，其中，所述傳感設備還包括攝像裝置。

所述的音頻虛擬現(xiàn)實實現(xiàn)方法，其中，還包括： 根據(jù)所述人體動作生成3D可視化影像。

一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)，其中，包括：

探測追蹤模塊，其設置有傳感設備，用于利用傳感設備探測和追蹤人體動作；

節(jié)拍轉換模塊，用于將人體動作轉換為節(jié)拍；

音樂播放模塊，用于通過多通道方式對所述節(jié)拍進行編碼形成音樂文件，以進行解碼和播放。

所述的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)，其中，所述音樂播放模塊用于提取所述節(jié)拍的幅度以及頻率，然后編碼為音樂文件。

所述的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)，其中，所述傳感設備包括VR控制器、運動轉音樂配件、智能手表和智能手環(huán)中的一種或多種。

所述的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)，其中，所述傳感設備還包括攝像裝置。

所述的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)，其中，還包括：影像輸出模塊，用于根據(jù)所述人體動作生成3D可視化影像。

有益效果：本發(fā)明通過對人體的動作進行探測和追蹤，并將人體動作轉換為節(jié)拍，通過對節(jié)拍的編碼形成音樂文件，這樣用戶就能將自身的動作（舞蹈）轉換為音樂，既結合了運動元素又結合了音樂元素，實現(xiàn)二者的結合。

附圖說明

圖1為本發(fā)明提供基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法較佳實施例的流程圖。

圖2為本發(fā)明提供基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)較佳實施例的結構框圖。

具體實施方式

本發(fā)明提供一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法及系統(tǒng)，為使本發(fā)明的目的、技術方案及效果更加清楚、明確，以下對本發(fā)明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

請參閱圖1，圖1為本發(fā)明一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)方法較佳實施例的流程圖，如圖所示，其包括步驟：

S1、利用傳感設備探測和追蹤人體動作；

S2、將人體動作轉換為節(jié)拍；

S3、通過多通道方式對所述節(jié)拍進行編碼形成音樂文件，以進行解碼和播放。

本發(fā)明可以使用戶以獨特的方式沉浸在舞蹈和音樂當中。通過本發(fā)明，用戶不僅可以鍛煉自己的身體，同時也能使用戶通過獨特方式感受音樂的美妙，并且能夠通過舞蹈和音樂相結合的方式表達自身情感。

本發(fā)明可以以4種模式來實現(xiàn)，具體包括訓練模式、舞蹈模式、創(chuàng)造模式、可視分享模式。

在訓練模式下，模仿引導動作來生成節(jié)拍；

在舞蹈模式下，模仿所選音樂自動生成的舞蹈；

在創(chuàng)造模式下，創(chuàng)造可視表演；

在可視分享模式下，將可視影像分享至社交媒體上。

具體來說，在訓練模式下，用戶可以選擇增強現(xiàn)實功能（可以查看周圍真實環(huán)境）和虛擬現(xiàn)實功能（可以完全沉浸在虛擬環(huán)境中，例如處于月亮、舞蹈房、電影場景中）。在訓練模式下，預先設置了一系列的引導動作，每個引導動作都包含了動作名稱、動作標識、動作所用音樂的類型、動作幅度。在用戶選定一個引導動作之后，開始播放背景音樂，為了生成節(jié)拍，用戶需要在跟隨引導動作并加以模仿，在這個模式下，可以改變背景音樂的類型。最終可得到用戶在每個引導動作下的精確度分數(shù)、經(jīng)驗值、完成的獎勵等等。

在舞蹈模式下，用戶可以選擇增強現(xiàn)實功能（可以查看周圍真實環(huán)境）和虛擬現(xiàn)實功能（可以完全沉浸在虛擬環(huán)境中，例如處于月亮、舞蹈房、電影場景中）。用戶需要從本地存儲器中選擇一個目標音樂。并分析該目標音樂的聲能、頻率和音量，并轉化為360度可視化的舞蹈，用戶可跟隨舞蹈的動作并加以模仿。最終得到用戶在每個目標音樂下的精確度分數(shù)、經(jīng)驗值、完成的獎勵、消耗的卡路里。

在創(chuàng)造模式下，用戶可以選擇增強現(xiàn)實功能（可以查看周圍真實環(huán)境）和虛擬現(xiàn)實功能（可以完全沉浸在虛擬環(huán)境中，例如處于月亮、舞蹈房、電影場景中）。用戶可以選擇一個音樂類型（對于每個傳感設備可以不同）、一個油刷（可以繪制不同風格和顏色），以及增加一個背景音樂（選擇一個背景旋律樂器，非必要）。用戶結合上述工具，可以進行實時繪畫，其繪制的線條可以是暫時的，即繪制的線條將會在幾秒鐘（如5秒鐘）之后消失；也可以選擇固定繪畫方式，即繪制的線條是固定的，最終形成一幅完整的作品。在創(chuàng)造模式下，其繪畫的過程如下：在選擇引導動作之后，用戶可以開始創(chuàng)造節(jié)拍，并隨著自己的人體動作來進行繪畫，音樂類型和繪畫風格將會隨著用戶的動作而迅速改變。同時將用戶的身體動作轉換為節(jié)拍，用戶可以保存自己的3D或360度的影像。例如以8個通道來保存上述影像。

進一步，提取所述節(jié)拍的幅度以及頻率，然后編碼為音樂文件。因為音樂文件其也包含了幅度以及頻率，所以節(jié)拍的幅度與頻率都可以應用在音樂上，通過將舞蹈動作轉換為音樂文件，所以可實現(xiàn)二者更加融合，并且更富趣味性。

本發(fā)明中的傳感設備包括VR控制器、運動轉音樂配件、智能手表和智能手環(huán)中的一種或多種。

運動轉音樂配件是指Phonotonic accessory，其整合了一個運動傳感器以及可將動作轉換為音樂的軟件。該配件采用硅球作為外殼，并內置有傳感器，用戶可以將該配件放置于身體的某個部位，也可將其放置于口袋中。該配件可通過WIFI連接用戶的移動終端。例如用戶可手持所述配件，然后進行舞蹈或其他動作，那么就可以將其轉換為音樂。

進一步，所述傳感設備還包括攝像裝置。該攝像裝置可以是單獨的，也可以是固定在某一傳感設備上。

進一步，實現(xiàn)方法還包括：

根據(jù)所述人體動作生成3D可視化影像。獲得3D可視化影像后，用戶可將其分享至社交媒體上。

基于上述方法，本發(fā)明還提供一種基于增強現(xiàn)實的音頻虛擬現(xiàn)實實現(xiàn)系統(tǒng)較佳實施例，如圖2所示，其包括：

探測追蹤模塊100（其設置有傳感設備），用于利用傳感設備探測和追蹤人體動作；

節(jié)拍轉換模塊200，用于將人體動作轉換為節(jié)拍；

音樂播放模塊300，用于通過多通道方式對所述節(jié)拍進行編碼形成音樂文件，以進行解碼和播放。

進一步，所述音樂播放模塊用于提取所述節(jié)拍的幅度以及頻率，然后編碼為音樂文件。

進一步，所述傳感設備包括VR控制器、運動轉音樂配件、智能手表和智能手環(huán)中的一種或多種。

進一步，所述傳感設備還包括攝像裝置。

進一步，系統(tǒng)還包括：影像輸出模塊，用于根據(jù)所述人體動作生成3D可視化影像。

關于上述系統(tǒng)模塊的技術細節(jié)在前面的方法中已有詳述，故不再贅述。

本領域普通技術人員可以理解上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件完成，所述的計算機程序可存儲于一計算機可讀取存儲介質中，程序在執(zhí)行時，可包括上述各方法的實施例的流程。其中的存儲介質可以為磁碟、光盤、只讀存儲記憶體（ROM）或隨機存儲記憶體（RAM）等。

綜上所述，本發(fā)明通過對人體的動作進行探測和追蹤，并將人體動作轉換為節(jié)拍，通過對節(jié)拍的編碼形成音樂文件，這樣用戶就能將自身的動作（舞蹈）轉換為音樂，既結合了運動元素又結合了音樂元素，實現(xiàn)二者的結合。

應當理解的是，本發(fā)明的應用不限于上述的舉例，對本領域普通技術人員來說，可以根據(jù)上述說明加以改進或變換，所有這些改進和變換都應屬于本發(fā)明所附權利要求的保護范圍。