一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種康復(fù)訓(xùn)練系統(tǒng)及方法，尤其是一種設(shè)計巧妙、智能化程度高的一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法。
【背景技術(shù)】
[0002]目前在國內(nèi)的康復(fù)治療中，主要的康復(fù)治療手段是以治療師的手法操作為主，或輔助一些簡單的訓(xùn)練器械，即通過被動運動、輔助運動、主動運動和抗阻運動等來達(dá)到恢復(fù)肌肉運動功能的目的。這種方法取得了很好的康復(fù)治療效果，但同時由于治療手段的局限性，導(dǎo)致患者處于被動地位。而且在訓(xùn)練過程中，動作反復(fù)、單調(diào)、枯燥，患者很容易產(chǎn)生厭煩情緒，不利于治療的繼續(xù)和深入。
[0003]為了解決以上問題，人們開始將虛擬現(xiàn)實技術(shù)利用到運動障礙恢復(fù)訓(xùn)練中。利用虛擬現(xiàn)實系統(tǒng)進(jìn)行運動障礙康復(fù)訓(xùn)練，是讓患者在虛擬環(huán)境中扮演一個角色，成為虛擬環(huán)境中的一部分，通過訓(xùn)練動作與虛擬環(huán)境進(jìn)行交互，虛擬環(huán)境即時給予患者反饋。這種訓(xùn)練方法可以降低康復(fù)治療過程對治療師及治療場地的依賴程度，為患者提供精確、穩(wěn)定、個性化的訓(xùn)練模式和定量化的訓(xùn)練效果評估指標(biāo)，同時增加治療過程的趣味性，激發(fā)患者參與治療過程的積極性，是被動治療變?yōu)橹鲃又委煛?br>[0004]在虛擬現(xiàn)實系統(tǒng)中，一般的數(shù)據(jù)手套可以將手部的運動轉(zhuǎn)變?yōu)橛|摸物體的計算機(jī)指令，但僅僅具有伸手觸摸物體的能力，并沒有觸摸物體的觸覺反饋，這在真實感上是遠(yuǎn)遠(yuǎn)不夠的。近年來研宄人員在數(shù)據(jù)手套中加入了觸覺和力反饋裝置，增強(qiáng)患者對虛擬環(huán)境的真實體驗，增加患者的沉浸感。渥太華大小的Ruba使用具有觸覺反饋的數(shù)據(jù)手套進(jìn)行康復(fù)訓(xùn)練，并為患者設(shè)計了不同難度等級的康復(fù)訓(xùn)練虛擬場景。羅格斯大學(xué)和斯坦福大學(xué)開發(fā)了基于虛擬現(xiàn)實的骨骼遠(yuǎn)程康復(fù)系統(tǒng)。患者在家庭進(jìn)行虛擬現(xiàn)實康復(fù)訓(xùn)練，該系統(tǒng)的控制端直接讀取患者數(shù)據(jù)庫的康復(fù)數(shù)據(jù)，專業(yè)治療師通過分析數(shù)據(jù)了解病人康復(fù)訓(xùn)練的進(jìn)展。張立勛等開發(fā)了基于matlab的下肢康復(fù)機(jī)器人虛擬現(xiàn)實仿真系統(tǒng)。該系統(tǒng)可以通過網(wǎng)絡(luò)遠(yuǎn)程監(jiān)控康復(fù)機(jī)器人的運動狀態(tài)并在線調(diào)整康復(fù)機(jī)器人的控制參數(shù)，并在控制端進(jìn)行虛擬仿真，使專業(yè)治療師可以在控制端直觀的了解到患者的訓(xùn)練狀態(tài)，為專業(yè)治療師遠(yuǎn)程指導(dǎo)患者進(jìn)行康復(fù)訓(xùn)練提供了平臺。
[0005]體感技術(shù)的出現(xiàn)，使人們可以很直接地使用肢體動作，與周邊的裝置或環(huán)境互動，而無需使用任何復(fù)雜的控制設(shè)備，便可讓人們身歷其境地與內(nèi)容做互動。
[0006]利用虛擬顯示系統(tǒng)進(jìn)行運動障礙康復(fù)訓(xùn)練，讓患者在虛擬環(huán)境中扮演一個角色，成為虛擬環(huán)境中的一部分，通過訓(xùn)練動作與虛擬環(huán)境進(jìn)行交互，虛擬環(huán)境即時給予患者反饋。這種訓(xùn)練方法可以降低康復(fù)治療過程對治療師及治療場地的依賴程度，為患者提供精確、穩(wěn)定、個性化的訓(xùn)練模式和定量化的訓(xùn)練效果評估指標(biāo)，同時增加治療過程的趣味性，激發(fā)患者參與治療過程的積極性，使被動治療變?yōu)橹鲃又委?。目前，虛擬現(xiàn)實技術(shù)在運動障礙康復(fù)訓(xùn)練領(lǐng)域已經(jīng)得到廣泛應(yīng)用。然而在目前的虛擬現(xiàn)實系統(tǒng)中，存在許多的缺陷:
[0007](I)在訓(xùn)練系統(tǒng)的使用過程中，患者需要穿戴感知輸入設(shè)備，如數(shù)據(jù)手套、數(shù)據(jù)衣、數(shù)據(jù)頭盔等，并從輸出反饋設(shè)備中得到視覺、聽覺及觸覺等多種感官的反饋。穿戴過程繁瑣，影響用戶的積極性。
[0008](2)患者在使用系統(tǒng)前需要進(jìn)行動作校正，使用過程繁瑣，降低了用戶的訓(xùn)練興趣。
[0009](3)穿戴設(shè)備通常價格昂貴，大大增加了訓(xùn)練系統(tǒng)的成本，不利于患者引入家庭的購買使用。
[0010](4)輸入接口單一，不利于系統(tǒng)的擴(kuò)展。

【發(fā)明內(nèi)容】

[0011]為解決上述問題，本發(fā)明提供了一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法，包括如下三個階段:
[0012]第一階段:通過體感設(shè)備Kinect采集人體骨骼節(jié)點，生成骨架系統(tǒng)，具體包括:
[0013]I)通過紅外傳感器獲取景深圖像；
[0014]2)尋找移動物體，進(jìn)行像素級評估，進(jìn)行背景的剔除遮罩；
[0015]3)通過Kinect的機(jī)器學(xué)習(xí)系統(tǒng)辨別人體部位；
[0016]4)通過人體部位的辨識確定人體20個關(guān)節(jié)點，并生成骨架系統(tǒng)。
[0017]第二階段:準(zhǔn)備模型并綁定骨骼，搭建數(shù)據(jù)庫環(huán)境，通過深度信息以及彩色信息的機(jī)器學(xué)習(xí)獲得各個骨骼節(jié)點位置，由3Dmax軟件工具建模，建立人體骨骼IK/FK，綁定模型的節(jié)點一一對應(yīng)，通過更新控制當(dāng)個模型的節(jié)點位置，實現(xiàn)模型的同步運動。
[0018]第三階段:將Kinect的數(shù)據(jù)通過接口函數(shù)傳入Unity3D當(dāng)中，驅(qū)動場景模型進(jìn)行運動。
[0019]第四階段:導(dǎo)入角色，建立Unity3D場景以及⑶I界面，調(diào)試環(huán)境。
[0020]第五階段:功能模塊的實現(xiàn)部分，這部分主要負(fù)責(zé)數(shù)據(jù)的寫入以及讀出，通過一個管理器腳本調(diào)控數(shù)據(jù)，并控制數(shù)據(jù)可視化。
[0021]本專利與現(xiàn)有技術(shù)相比，患者只需要站在屏幕前，選擇相應(yīng)難度等級的場景，根據(jù)場景畫面上的指示完成各種肢體動作，屏幕上即可實時監(jiān)控患者的動作情況；患者的動作還可以與畫面中的內(nèi)容進(jìn)行互動，使康復(fù)訓(xùn)練就像做游戲一樣，增加患者的積極性；體感設(shè)備的3D影像偵測與人體骨骼追蹤技術(shù)，讓擺脫傳感器束縛，實現(xiàn)自然肢體運動監(jiān)測成為可能；采用體感交互設(shè)備Kinect，降低了系統(tǒng)的成本，操作簡便，交互性強(qiáng)，消除了訓(xùn)練過程中穿戴輸入設(shè)備的繁瑣性。在不久的未來，康復(fù)和保健走入家庭的情景也可以預(yù)期，并將成為在線醫(yī)療的一個重要組成部分。
[0022]本系統(tǒng)使用體感技術(shù)進(jìn)行實時動作捕捉，捕捉患者手臂的三維運動軌跡，通過計算機(jī)圖形和圖像技術(shù)，開發(fā)一些用于康復(fù)的游戲式訓(xùn)練場景來進(jìn)行人機(jī)互動，增加了治療過程的趣味性和患者的積極性，使康復(fù)訓(xùn)練成為患者的主動行為。可以使患者以自然方式與具有多種感官刺激的虛擬環(huán)境中的對象進(jìn)行交互。并且減少了患者在真實環(huán)境中由錯誤操作導(dǎo)致的危險，從而更好的完成康復(fù)訓(xùn)練，通過不斷的手臂運動，達(dá)到逐漸恢復(fù)機(jī)能的作用。
[0023]本系統(tǒng)的關(guān)鍵點:
[0024]純?nèi)S模式
[0025]選擇3D Max作為三維建模工具，模型采用純?nèi)S模式，并為人體模型添加了骨骼，可以檢測虛擬人的多個關(guān)節(jié)部位的動作。
[0026]不同難度等級的游戲式康復(fù)訓(xùn)練場景
[0027]系統(tǒng)為康復(fù)訓(xùn)練患者設(shè)計了不同難度等級的游戲式康復(fù)訓(xùn)練虛擬場景，訓(xùn)練過程由易到難，循序漸進(jìn)，場景中并配有音樂效果，增加訓(xùn)練的趣味性，達(dá)到更好的訓(xùn)練效果。
[0028]多種輸入設(shè)備接口
[0029]系統(tǒng)以體感交互設(shè)備kinect為主要輸入設(shè)備，并且提供了其它可穿戴輸入設(shè)備接口，如數(shù)據(jù)手套、數(shù)據(jù)衣、數(shù)據(jù)頭盔等。
[0030]操作簡便，成本低，交互性強(qiáng)
[0031]采用體感交互設(shè)備kinect作為輸入設(shè)備，患者無需穿戴任何感知設(shè)備即可進(jìn)行訓(xùn)練。本系統(tǒng)成本低廉，易于患者購買，家庭式使用。
[0032]實現(xiàn)了訓(xùn)練任務(wù)的動作數(shù)據(jù)記錄
[0033]系統(tǒng)通過與遠(yuǎn)端服務(wù)器的數(shù)據(jù)傳遞，將患者每一次的訓(xùn)練數(shù)據(jù)都保存起來，并顯示于web頁面或者本地，可以使專業(yè)治療師更加直觀清晰的了解患者當(dāng)前的恢復(fù)狀況，也為以后的康復(fù)計劃作出指導(dǎo)。
【具體實施方式】
[0034]下面結(jié)合實施例對本專利進(jìn)行進(jìn)一步描述:
[0035]一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法，一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法，包括如下三個階段:
[0036]第一階段:通過體感設(shè)備Kinect采集人體骨骼節(jié)點，生成骨架系統(tǒng)，具體包括:
[0037]I)通過紅外傳感器獲取景深圖像；
[0038]2)尋找移動物體，進(jìn)行像素級評估，進(jìn)行背景的剔除遮罩；
[0039]3)通過Kinect的機(jī)器學(xué)習(xí)系統(tǒng)辨別人體部位；
[0040]4)通過人體部位的辨識確定人體20個關(guān)節(jié)點，并生成骨架系統(tǒng)。
[0041]第二階段:準(zhǔn)備模型并綁定骨骼，搭建數(shù)據(jù)庫環(huán)境，通過深度信息以及彩色信息的機(jī)器學(xué)習(xí)獲得各個骨骼節(jié)點位置，由3Dmax軟件工具建模，建立人體骨骼IK/FK，綁定模型的節(jié)點一一對應(yīng)，通過更新控制當(dāng)個模型的節(jié)點位置，實現(xiàn)模型的同步運動。
[0042]第三階段:將Kinect的數(shù)據(jù)通過接口函數(shù)傳入Unity3D當(dāng)中，驅(qū)動場景模型進(jìn)行運動。
[0043]第四階段:導(dǎo)入角色，建立Unity3D場景以及⑶I界面，調(diào)試環(huán)境。
[0044]第五階段:功能模塊的實現(xiàn)部分，這部分主要負(fù)責(zé)數(shù)據(jù)的寫入以及讀出，通過一個管理器腳本調(diào)控數(shù)據(jù)，并控制數(shù)據(jù)可視化。
[0045]本專利與現(xiàn)有技術(shù)相比，患者只需要站在屏幕前，選擇相應(yīng)難度等級的場景，根據(jù)場景畫面上的指示完成各種肢體動作，屏幕上即可實時監(jiān)控患者的動作情況；患者的動作還可以與畫面中的內(nèi)容進(jìn)行互動，使康復(fù)訓(xùn)練就像做游戲一樣，增加患者的積極性；體感設(shè)備的3D影像偵測與人體骨骼追蹤技術(shù)，讓擺脫傳感器束縛，實現(xiàn)自然肢體運動監(jiān)測成為可能；采用體感交互設(shè)備Kinect，降低了系統(tǒng)的成本，操作簡便，交互性強(qiáng)，消除了訓(xùn)練過程中穿戴輸入設(shè)備的繁瑣性。在不久的未來，康復(fù)和保健走入家庭的情景也可以預(yù)期，并將成為在線醫(yī)療的一個重要組成部分。
[0046]上面所述的實施例僅僅是對本發(fā)明的優(yōu)選實施方式進(jìn)行描述，并非對本發(fā)明的保護(hù)范圍進(jìn)行限定，在不脫離本發(fā)明設(shè)計精神前提下，本領(lǐng)域普通工程技術(shù)人員對本發(fā)明技術(shù)方案做出的各種變形和改進(jìn)，均應(yīng)落入本發(fā)明的權(quán)利要求書確定的保護(hù)范圍內(nèi)。
【主權(quán)項】
1.一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法，其特征在于，包括如下三個階段: 第一階段:通過體感設(shè)備Kinect采集人體骨骼節(jié)點，生成骨架系統(tǒng)，具體包括: 1)通過紅外傳感器獲取景深圖像； 2)尋找移動物體，進(jìn)行像素級評估，進(jìn)行背景的剔除遮罩； 3)通過Kinect的機(jī)器學(xué)習(xí)系統(tǒng)辨別人體部位； 4)通過人體部位的辨識確定人體20個關(guān)節(jié)點，并生成骨架系統(tǒng)； 第二階段:準(zhǔn)備模型并綁定骨骼，搭建數(shù)據(jù)庫環(huán)境，通過深度信息以及彩色信息的機(jī)器學(xué)習(xí)獲得各個骨骼節(jié)點位置，由3Dmax軟件工具建模，建立人體骨骼IK/FK，綁定模型的節(jié)點一一對應(yīng)，通過更新控制當(dāng)個模型的節(jié)點位置，實現(xiàn)模型的同步運動； 第三階段JfKinect的數(shù)據(jù)通過接口函數(shù)傳入Unity3D當(dāng)中，驅(qū)動場景模型進(jìn)行運動； 第四階段:導(dǎo)入角色，建立Unity3D場景以及GUI界面，調(diào)試環(huán)境； 第五階段:功能模塊的實現(xiàn)部分，這部分主要負(fù)責(zé)數(shù)據(jù)的寫入以及讀出，通過一個管理器腳本調(diào)控數(shù)據(jù)，并控制數(shù)據(jù)可視化。
【專利摘要】本發(fā)明公開了一種運用虛擬現(xiàn)實技術(shù)的康復(fù)訓(xùn)練系統(tǒng)及方法，包括如下三個階段：第一階段：通過體感設(shè)備Kinect采集人體骨骼節(jié)點，生成骨架系統(tǒng)。第二階段：準(zhǔn)備模型并綁定骨骼，搭建數(shù)據(jù)庫環(huán)境，通過深度信息以及彩色信息的機(jī)器學(xué)習(xí)獲得各個骨骼節(jié)點位置，由3Dmax軟件工具建模，建立人體骨骼IK/FK，綁定模型的節(jié)點一一對應(yīng)。第三階段：將Kinect的數(shù)據(jù)通過接口函數(shù)傳入Unity3D當(dāng)中，驅(qū)動場景模型進(jìn)行運動。第四階段：導(dǎo)入角色，調(diào)試環(huán)境。第五階段：數(shù)據(jù)的寫入以及讀出，并控制數(shù)據(jù)可視化。本發(fā)明擺脫傳感器束縛，實現(xiàn)自然肢體運動監(jiān)測成為可能；采用體感交互設(shè)備Kinect，降低了系統(tǒng)的成本，消除了訓(xùn)練過程中穿戴輸入設(shè)備的繁瑣性。
【IPC分類】A63B71-00, A63B71-06
【公開號】CN104722056
【申請?zhí)枴緾N201510059881
【發(fā)明人】季紅, 沈濤, 劉曉暉, 高佳, 林翰宇, 唐艷艷, 沈蕓, 徐德雄
【申請人】北京市計算中心
【公開日】2015年6月24日
【申請日】2015年2月5日