一種基于Kinect傳感器的腦癱兒童康復(fù)訓(xùn)練方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種腦癱兒童康復(fù)訓(xùn)練系統(tǒng)與技術(shù)，尤其涉及一種基于Kinect傳感 器的腦癱兒童康復(fù)訓(xùn)練方法。
【背景技術(shù)】
[0002] 腦性癱瘓是一種兒童時(shí)期最常見的神經(jīng)系統(tǒng)傷殘疾患，中國(guó)現(xiàn)有600萬腦癱患 者，其中0-6歲的腦癱兒童約120萬，而70%的腦癱兒童生活在貧困地區(qū)，這使得他們的家 庭遭受了極大的身心痛苦。在兒童發(fā)育期進(jìn)行運(yùn)動(dòng)功能康復(fù)訓(xùn)練是腦癱兒童恢復(fù)正常運(yùn)動(dòng) 功能，改善身心健康的重要復(fù)健措施。但由于腦性癱瘓的康復(fù)在我國(guó)起步較晚，且腦癱防治 體系尚不夠健全，腦癱的康復(fù)機(jī)構(gòu)也相對(duì)較少，而社區(qū)、家庭康復(fù)，就地就便，經(jīng)濟(jì)有效，利 于堅(jiān)持，所以社區(qū)康復(fù)是最切合實(shí)際的康復(fù)途徑。
[0003]主動(dòng)運(yùn)動(dòng)是運(yùn)動(dòng)康復(fù)中重要的康復(fù)手段，但腦癱兒童對(duì)于枯燥乏味的主動(dòng)運(yùn)動(dòng)缺 乏堅(jiān)持訓(xùn)練的熱情，同時(shí)兒童在家訓(xùn)練過程也無法供專家評(píng)價(jià)以便進(jìn)行及時(shí)的科學(xué)指導(dǎo)。
[0004]現(xiàn)有技術(shù)僅借助人機(jī)交互技術(shù)，通過Kinect傳感器進(jìn)行康復(fù)訓(xùn)練，如專利CN103230664A提供一種基于Kinect傳感器的上肢運(yùn)動(dòng)康復(fù)訓(xùn)練系統(tǒng)及訓(xùn)練方法，能夠進(jìn) 行上肢的單關(guān)節(jié)訓(xùn)練和肩、肘、腕的綜合訓(xùn)練，但是僅提供上肢的康復(fù)訓(xùn)練，且訓(xùn)練效果不 完整，例如伸出手臂，利用現(xiàn)有線面夾角技術(shù)無法判斷手臂是否伸直，同時(shí)，現(xiàn)有技術(shù)不能 夠訓(xùn)練下肢，且趣味性不強(qiáng)，不能夠提高兒童的康復(fù)訓(xùn)練興趣，也不能將訓(xùn)練進(jìn)度反饋。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種基于Kinect傳感器的腦癱兒童康 復(fù)訓(xùn)練方法，側(cè)重于對(duì)于兒童身體協(xié)調(diào)性的訓(xùn)練以及下肢訓(xùn)練，本發(fā)明增加語音反饋技術(shù)， 通過語音反饋對(duì)兒童進(jìn)行不規(guī)范動(dòng)作提醒以及完成動(dòng)作的鼓勵(lì)，與游戲引擎相連接，增加 訓(xùn)練趣味性。
[0006]本發(fā)明其技術(shù)方案為：
[0007] 一種基于Kinect傳感器的腦癱兒童康復(fù)訓(xùn)練方法，包括以下步驟：
[0008]S1、獲取兒童的骨骼點(diǎn)數(shù)據(jù)：Kinect傳感器與計(jì)算機(jī)相連接，計(jì)算機(jī)接入網(wǎng)絡(luò)，Kinect傳感器獲取兒童圖像，通過Kinect的骨骼捕捉函數(shù)獲取兒童的骨骼點(diǎn)數(shù)據(jù)，骨骼點(diǎn) 數(shù)據(jù)為以Kinect深度相機(jī)為原點(diǎn)的坐標(biāo)值，骨骼點(diǎn)包括頭部節(jié)點(diǎn)H，肩關(guān)節(jié)中心節(jié)點(diǎn)\，脊 柱中心節(jié)點(diǎn)S，左肩關(guān)節(jié)節(jié)點(diǎn)Si，右肩關(guān)節(jié)節(jié)點(diǎn)S2，左肘關(guān)節(jié)節(jié)點(diǎn)Ei，右肘關(guān)節(jié)節(jié)點(diǎn)E2，左腕 關(guān)節(jié)節(jié)點(diǎn)A，右腕關(guān)節(jié)節(jié)點(diǎn)W2，左髖關(guān)節(jié)節(jié)點(diǎn)氏，右髖關(guān)節(jié)節(jié)點(diǎn)H2，左膝關(guān)節(jié)節(jié)點(diǎn)&，右膝關(guān) 節(jié)節(jié)點(diǎn)K2，左踝關(guān)節(jié)節(jié)點(diǎn)Ai，右踝關(guān)節(jié)節(jié)點(diǎn)A2;
[0009]S2,肢體運(yùn)動(dòng)訓(xùn)練，對(duì)兒童的骨骼點(diǎn)進(jìn)行傾斜、抬起角度判斷：兒童擺出動(dòng)作后，捕 捉兒童動(dòng)作，在三維平面直角坐標(biāo)系中，取YOZ平面為a面，取XOY平面為0面，對(duì)頭部、 上肢和下肢各關(guān)節(jié)點(diǎn)進(jìn)行傾斜、抬起角度判斷；
[0010]S3,兒童動(dòng)作穩(wěn)健交互處理：通過小波降噪、移動(dòng)平均濾波器降噪對(duì)運(yùn)動(dòng)的骨骼 抖動(dòng)進(jìn)行處理，通過中值濾波對(duì)圖像空洞進(jìn)行處理，剔除異常深度值，對(duì)深度缺失值進(jìn)行估 計(jì)；采用磁石方法將閾值范圍內(nèi)的動(dòng)作與虛擬形象進(jìn)行自動(dòng)配準(zhǔn)；虛擬形象為將骨骼點(diǎn)數(shù) 據(jù)同步映射到計(jì)算機(jī)屏幕上的虛擬人物上，實(shí)時(shí)跟蹤兒童的姿勢(shì)行為。步驟S3針對(duì)腦癱患 兒的特殊性，有可能動(dòng)作不穩(wěn)定出現(xiàn)抖動(dòng)，使用一系列預(yù)測(cè)和降噪平滑技術(shù)對(duì)運(yùn)動(dòng)的骨骼 抖動(dòng)進(jìn)行處理，實(shí)現(xiàn)腦癱兒童與計(jì)算機(jī)的穩(wěn)健交互。
[0011] S4,連接游戲引擎，將步驟S3穩(wěn)健交互處理后的兒童骨骼數(shù)據(jù)發(fā)送給游戲引擎， 骨骼數(shù)據(jù)形成的動(dòng)作轉(zhuǎn)換為游戲引擎定義的事件，將游戲納入兒童康復(fù)訓(xùn)練中；
[0012] 步驟S4把兒童的動(dòng)作轉(zhuǎn)換成游戲引擎定義好的事件，在游戲中為這些事件添加 處理的方法就可以實(shí)現(xiàn)人體追蹤設(shè)備的接入，這與具體的游戲設(shè)計(jì)有關(guān)，比如扔球的游戲， 如果兒童模仿扔球動(dòng)作手從后往前揮動(dòng)，計(jì)算機(jī)場(chǎng)景中的虛擬人物也將完成扔球動(dòng)作，球 的運(yùn)動(dòng)是事先定義好的事件（包括球的起始位置，球的運(yùn)動(dòng)速度，球的運(yùn)動(dòng)方向，球的停止 位置整個(gè)運(yùn)動(dòng)過程），當(dāng)系統(tǒng)識(shí)別到兒童從后往前揮動(dòng)的手勢(shì)以后，會(huì)立即觸發(fā)球的運(yùn)動(dòng)這 個(gè)事先定義好的事件。如，兒童如果在空中畫個(gè)圓，游戲就暫停。畫圓是兒童的動(dòng)作，系統(tǒng) 識(shí)別到畫圓手勢(shì)以后，觸發(fā)游戲暫停這個(gè)事件，在游戲程序中為游戲暫停添加處理方法，這 一部分的核心是在游戲引擎中編寫Kinect插件，完成Kinect的接入，這樣兒童的手勢(shì)才能 被系統(tǒng)識(shí)別。
[0013] S5,語音反饋兒童動(dòng)作，將步驟S3所述自動(dòng)配準(zhǔn)的結(jié)果通過語音反饋給兒童，進(jìn) 行不規(guī)范動(dòng)作提醒以及完成動(dòng)作的鼓勵(lì)；
[0014] S6,評(píng)估兒童的康復(fù)訓(xùn)練進(jìn)展：實(shí)時(shí)記錄兒童的骨骼點(diǎn)與虛擬形象的配準(zhǔn)度，并將 所述配準(zhǔn)度發(fā)送至遠(yuǎn)程評(píng)估終端，評(píng)估康復(fù)訓(xùn)練性能。
[0015] 較優(yōu)地，步驟S2還包括步行訓(xùn)練，計(jì)算左右腳步幅、速度指標(biāo)，判別兒童的步態(tài)是 否為正常步態(tài)。
[0016] 較優(yōu)地，步驟S2對(duì)兒童的骨骼點(diǎn)進(jìn)行傾斜、抬起角度判斷，具體包括以下步驟：
[0017] (1)判斷軀體是否左右傾斜：以a面為參考面，肩關(guān)節(jié)中心節(jié)點(diǎn)\、脊柱中心節(jié)點(diǎn) S兩點(diǎn)連接所成直線為a，基于線面夾角計(jì)算方法計(jì)算直線a與a面所成夾角=<a，a>， 所述直線a與a面所成夾角為軀體的左右傾斜角；正常情況下，人體軀干（即直線a)與a 面的夾角為〇。當(dāng)軀體左右傾斜時(shí)，直線a與a面所成夾角=<a，a>不為〇 ;
[0018] (2)判斷軀體是否前后傾斜：以0面為參考面，肩關(guān)節(jié)中心節(jié)點(diǎn)\、脊柱中心節(jié)點(diǎn) S，兩點(diǎn)連接所成直線為a，基于線面夾角計(jì)算方法計(jì)算直線a與|3面所成夾角=〈a，|3>， 所述直線a與0面所成夾角為軀體的前后傾斜角；
[0019] (3)判斷手臂左右抬起角度：以a面為參考面，左/右肩關(guān)節(jié)節(jié)點(diǎn)S/S2，左/右肘 關(guān)節(jié)節(jié)點(diǎn)Ei/EySpEi兩點(diǎn)連接所成直線為bS2、E2兩點(diǎn)連接所成直線為b2，基于線面夾角 計(jì)算方法計(jì)算直線^與a面所成夾角=<bua>，直線132與a面所成夾角=<b2，a>，所 述直線匕與a面所成夾角為左手臂抬起角度，所述直線132與a面所成夾角為右手臂抬起 角度；
[0020] (4)判斷手臂前后抬起角度：以e面為參考面，左/右肩關(guān)節(jié)節(jié)點(diǎn)S/S2，左/右肘 關(guān)節(jié)節(jié)點(diǎn)Ei/EySpEi兩點(diǎn)連接所成直線為bS2、E2兩點(diǎn)連接所成直線為b2，基于線面夾角 計(jì)算方法計(jì)算直線^與|3面所成夾角=〈bp|3>，直線132與|3面所成夾角=<b2, |3>，所 述直線匕與0面所成夾角為左手臂前后抬起角度，所述直線132與0面所成夾角為右手臂 前后抬起角度；
[0021] (5)判斷腿部左右抬起角度：以a面為參考面，左/右髖關(guān)節(jié)節(jié)點(diǎn)氏爪，左/右膝 關(guān)節(jié)節(jié)點(diǎn)1(1/1(2，11 1、1(1兩點(diǎn)連接所成直線為(31，112、1( 2兩點(diǎn)連接所成直線為(32，基于線面夾角 計(jì)算方法計(jì)算直線(^與a面所成夾角即=〈Cl,a>，直線(：2與a面所成夾角即=〈c2,a>， 所述直線(^與a面所成夾角為左腿抬起角度，直線(：2與a面所成夾角為右腿抬起角度；
[0022] (6)判斷腿部前后抬起角度：以0面為參考面，左/右髖關(guān)節(jié)節(jié)點(diǎn)IVH2，左/右膝 關(guān)節(jié)節(jié)點(diǎn)1(1/1(2，11 1、1(1兩點(diǎn)連接所成直線為(31，112、1( 2兩點(diǎn)連接所成直線為(32，基于線面夾角 計(jì)算方法計(jì)算直線(^與13面所成夾角即|3>，直線。 2與|3面所成夾角即=〈c2, |3>， 直線(^與0面所成夾角為左腿前后抬起角度，直線(：2與0面所成夾角為右腿前后抬起角 度；
[0023] (7)判斷頭部是否左右傾斜：以a面為參考面，頭部節(jié)點(diǎn)H、肩關(guān)節(jié)中心節(jié)點(diǎn)SQ兩 點(diǎn)連接所成直線為d，基于線面夾角計(jì)算方法計(jì)算直線d與a面所成夾角=〈d，a>，直線 d與a面所成夾角為頭部左右傾斜角；
[0024] (8)判斷頭部是否前后傾斜：以0面為參考面，頭部節(jié)點(diǎn)H、肩關(guān)節(jié)中心節(jié)點(diǎn)\兩 點(diǎn)連接所成直線為d，基于線面夾角計(jì)算方法計(jì)算直線d與|3面所成夾角=〈d, |3>，直線 d與0面所成夾角為頭部前后傾斜角。
[0025] (9)判斷大臂與小臂夾角：左/右肩關(guān)節(jié)節(jié)點(diǎn)S1；/S2，左/右肘關(guān)節(jié)節(jié)點(diǎn)E1；/E2，左/ 右腕關(guān)節(jié)節(jié)點(diǎn)A/%，SpEi兩點(diǎn)連接所成直線為bS2、E2兩點(diǎn)連接所成直線為b2,En 1兩 點(diǎn)連接所成直線為epE2、W2兩點(diǎn)連接所成直線為e2，基于線線夾角計(jì)算方法計(jì)算bp61兩 直線所成夾角91=〈131，6 1>，132、62兩直線所成夾角0 2=〈13 2,62>，所述131、61兩直線所成 夾角^為左大臂與左小臂夾角，所述13 2、62兩直線所成夾角0 ^為右大臂與右小臂夾角；
[0026] (10)判斷大腿與小腿夾角：左/右髖關(guān)節(jié)節(jié)點(diǎn)，左/右膝關(guān)節(jié)節(jié)點(diǎn)1/1，左/ 右踝關(guān)節(jié)節(jié)點(diǎn)氏、&兩點(diǎn)連接所成直線為cH2、K2兩點(diǎn)連接所成直線為c2,Kn八:兩 點(diǎn)連接所成直線為f\，K2、A2兩點(diǎn)連接所成直線為f2，基于線線夾角計(jì)算方法計(jì)