專利名稱：用眼動信號控制上假肢運動的控制系統(tǒng)和控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及康復輔具技術(shù)領(lǐng)域的上肢假肢技術(shù)，尤其是涉及上肢假肢的控制系統(tǒng)與方法。
背景技術(shù)：
如何讓殘疾人方便、靈活地控制上假肢是上假肢研究中一個非常重要的內(nèi)容。目前國際上用于上假肢控制的仿生控制信號主要有人體自身的肌電信號、腦電信號、神經(jīng)信號和語音信號等。采用肌電信號控制假肢的基本原理是將殘肢肌肉收縮時產(chǎn)生的動作電位由皮膚電極引出，經(jīng)過生物電放大器放大后送入計算機分析，提取出反映運動意愿的有效特征，運用特征矢量與運動空間的映射關(guān)系來驅(qū)動機械臂運動和假手開合。目前上假肢的主要仿生控制信號源就是肌電信號。盡管肌電上假肢在實際應用中獲得了成功，但當截肢患者的殘肢太短，或者因癱瘓而導致肌肉萎縮時，就不能提供足夠的上假肢所需要的控制信息。同時，肌肉的疲勞、電極位置的改變、肌電信號的訓練、體重的波動都會使肌電信號的特征值發(fā)生變化，造成多自由度肌電假肢的控制準確度難以提高。此外，由于對肌電信號的解碼能力所限，肌電上假肢所能控制的自由度也是很有限的。腦電信號本質(zhì)上是中樞神經(jīng)系統(tǒng)工作過程中神經(jīng)和突觸所產(chǎn)生的電噪聲。研究表明，腦電信號的變化與肢體的運動之間存在某種相關(guān)性，將這種相關(guān)性加以解釋，建立腦電活動與自主運動之間的對應關(guān)系，那么腦皮層與外界就可以進行信息交換了。利用從頭皮記錄的腦電活動作為信息源，即使最嚴重的截肢患者也能夠使用。然而腦電過程是非常復雜的，目前對它的研究還只限于開發(fā)簡單的腦機接口裝置，其能夠識別的模式比較少，識別率不高，并且目前的腦電采集裝置也比較復雜。每次使用該裝置前都需在頭皮處涂導電膏，這就給使用帶來不便。神經(jīng)的電生理活動不僅不受人體疲勞程度的影響，重復再現(xiàn)性高，且神經(jīng)信息傳遞時彼此之間互不干擾，具有極佳的清晰度。這些特征使神經(jīng)活動在充當控制信息源方面具很大的優(yōu)越性?；诖?，Wan等提出了把人體上肢神經(jīng)信號轉(zhuǎn)化為控制指令來控制假肢的思想。然而要采集精確的神經(jīng)信號需要將硅片和電極植入人體內(nèi)，目前在技術(shù)實現(xiàn)上還有很大的難度，而且對運動信息的神經(jīng)解碼問題的研究目前還正在進行。與其他方式控制假肢相比，聲控能完成的控制功能更多，更方便，精度也更高，它的不足之處在于在特定環(huán)境中使用聲音作信號源并不合適，比如在會場等需要保持肅靜的場合不宜用聲音來控制假肢，而且患者與別人進行語言交流的時候也可能導致假肢產(chǎn)生誤動作。

發(fā)明內(nèi)容
為克服現(xiàn)有假肢控制方式技術(shù)的不足，本發(fā)明提供一種用眼動信號控制上假肢運動的控制系統(tǒng)和方法。一種用眼動信號控制上假肢運動的控制系統(tǒng)，它是由眼睛圖像采集模塊、眼動特征提取模塊、預定義特征存儲模塊、特征匹配模塊、指令確認模塊和驅(qū)動模塊組成；其中1、所述的眼睛圖像采集模塊由攝像頭和傳送裝置構(gòu)成，攝像頭用于采集眼睛的圖像，傳送裝置用于將圖像編碼并發(fā)送到眼動特征提取模塊。2、所述的眼動特征提取模塊用于從眼睛圖像中提取出眼動特征并將其發(fā)送到特征匹配模塊。它包括以下單元眨眼檢測單元、眼球轉(zhuǎn)動方向識別單元和特征向量存儲單元；其中1)眨眼檢測單元用于檢測眨眼事件并記錄眼睛閉合的持續(xù)時間；2)眼球轉(zhuǎn)動方向識別單元用于計算瞳孔的位移并判斷眼球的轉(zhuǎn)動方向；3)特征向量存儲單元用于存儲與眼睛的動作相對應的特征向量。3、所述的預定義特征存儲模塊用于存儲上假肢的動作指令和與之相對應的眼動特征。4、所述的特征匹配模塊用于將眼動特征提取模塊提取出的眼動特征與預定義特征存儲模塊中的特征進行匹配，獲得上假肢的動作指令，并將動作指令發(fā)送到指令確認模塊。5、所述的指令確認模塊用于將特征匹配模塊獲得的動作指令交于受試者確認，如果指令無誤，則將其發(fā)送到驅(qū)動模塊，如果有誤，則通過“取消”命令刪除該動作指令并重新提取眼動特征。6、所述的驅(qū)動模塊包括驅(qū)動器和電機，當驅(qū)動器接收到指令確認模塊發(fā)送來的動作指令時，便控制假肢完成相應的設定動作。基于上述系統(tǒng)的假肢控制方法，包括如下步驟采集眼睛圖像；提取眼動特征；識別動作指令；確認動作指令和完成設定動作。上述假肢控制系統(tǒng)和方法采用眼動信號作為控制假肢的信號源，通過提取眼睛運動的特征信息判別動作指令，控制假肢做出受試者期望的動作。本發(fā)明控制方法隱蔽性強，控制方便，而且對眼睛的轉(zhuǎn)動和眨動事件進行組合，可以產(chǎn)生多種不同的特征，從而完成更多的控制功能。


圖1為假肢控制系統(tǒng)的模塊圖；圖2為眼動特征提取模塊的結(jié)構(gòu)圖。圖3為眼睛圖像。圖4為假肢控制方法的流程圖。
具體實施例方式下面根據(jù)附圖對本發(fā)明的實施做進一步說明。本發(fā)明采用以下技術(shù)方案，如圖1所示它包括眼睛圖像采集模塊100、眼動特征提取模塊200、預定義特征存儲模塊300、特征匹配模塊400、指令確認模塊500和驅(qū)動模塊 600。
所述的眼睛圖像采集模塊100由攝像頭和傳送裝置組成，它的功能是實時采集眼睛的圖像并將圖像編碼后發(fā)送到眼動特征提取模塊200。所述的眼動特征提取模塊200的功能是提取眼動特征。此模塊包括三個單元眨眼檢測單元201，眼球轉(zhuǎn)動方向識別單元202和特征向量存儲單元203。眨眼檢測單元201 分析眼睛圖像，檢測眨眼事件并記錄眼睛閉合的持續(xù)時間，優(yōu)選地約定當檢測到眼睛的閉合時間在0. 5s到&之間時，即進入眼球轉(zhuǎn)動方向識別單元202。在眼球轉(zhuǎn)動方向識別單元 202中，通過圖像分析計算瞳孔的位移并判斷眼球的轉(zhuǎn)動方向。優(yōu)選地約定，當檢測到眼球向右轉(zhuǎn)動時，將數(shù)字“1”寫入特征向量存儲單元203 ；向上轉(zhuǎn)動時，寫入數(shù)字“2”；向左轉(zhuǎn)動時，寫入數(shù)字“3”；向下轉(zhuǎn)動時，寫入數(shù)字“4”。這樣每當受試者的眼球轉(zhuǎn)到一個特定方向， 眼球轉(zhuǎn)動方向識別單元202便將一個相應的數(shù)字加入到特征向量中，受試者向不同方向依次轉(zhuǎn)動眼睛，特征向量中便按順序存儲了與這些方向?qū)臄?shù)字。優(yōu)選地約定在此過程中當眨眼檢測單元201檢測到連續(xù)2次眼睛閉合事件時，即停止對眼球轉(zhuǎn)動方向的識別，并將構(gòu)造完成的特征向量發(fā)送到特征匹配模塊400。優(yōu)選地約定特征向量的長度上限為4，且向量中相鄰的數(shù)字不能重復。這樣當眼球轉(zhuǎn)動方向識別單元202第4次將數(shù)字寫入特征向量后，即使沒有閉眼事件發(fā)生，也將停止識別并將特征向量發(fā)送到特征匹配模塊400。按照此約定系統(tǒng)能識別的動作指令可以有4+12+36+108 = 160種。(見圖2)。所述的預定義特征存儲模塊300中存儲著所有上假肢的動作指令和相對應的眼動特征向量。按照之前的約定，預定義特征存儲模塊300中可以存160條動作指令和與之對應的160個特征向量。所述的特征匹配模塊400當接收到眼動特征提取模塊200發(fā)送來的特征向量時， 采用查表法將特征向量與預定義特征存儲模塊300中存儲的特征向量進行匹配，從而獲得對應的動作指令，然后將動作指令發(fā)送到指令確認模塊500中。所述的指令確認模塊500的功能是將特征匹配模塊400獲得的動作指令交于受試者確認，如果指令無誤，則將動作指令發(fā)送到驅(qū)動模塊600，如果指令有誤，受試者通過眼睛發(fā)送“取消”命令刪除該動作指令并重新提取眼動特征，優(yōu)選地采用受試者在2s的時間內(nèi)連續(xù)眨動3次眼睛來構(gòu)成“取消”命令。所述的驅(qū)動模塊600包括驅(qū)動器和電機，當驅(qū)動器接收到動作確認模塊500發(fā)送來的動作指令時，便控制假肢完成相應的設定動作。圖4所示是上肢假肢控制方法流程圖，包括以下五個步驟采集眼睛圖像Sl ；提取眼動特征S2 ；識別動作指令S3 ；確認動作指令S4和完成設定動作S5。首先，步驟1，采集眼睛圖像Si。優(yōu)選地采用紅外線攝像機攝取受試者眼睛圖像， 并對圖像進行MPEG編碼后送入計算機。此步驟需要一直進行。步驟2，提取特征信息S2。在此步驟中對采集的眼睛圖像進行分析，當檢測到眨眼事件并且眼睛的閉合時間在0. 5s到2s之間時，便開始識別眼球的轉(zhuǎn)動方向。圖3所示的是試驗者正視前方時眼睛的圖像，標定此時瞳孔的中心點，即十字交叉線的交點為原點，以十字交叉線為坐標軸建立圖像坐標系。在此坐標系中，優(yōu)選地約定向右為χ軸正向，向上為 y軸正向，并規(guī)定χ軸的角度為0度。然后利用45度線、135度線、225度線和315度線將坐標空間劃分為四個區(qū)域。在識別過程中，實時計算瞳孔中心點的位移，并做判斷優(yōu)選地約定當瞳孔中心點與坐標原點的距離小于2毫米時，即可認為眼球未做轉(zhuǎn)動；當此距離大于2毫米時，根據(jù)位移的角度θ確定瞳孔中心點所處的區(qū)域，優(yōu)選的約定當0<= θ <45或 315 <= θ < 360時，即認為眼球轉(zhuǎn)到了右邊，當45 <= θ < 135時，即認為眼球轉(zhuǎn)到了上邊，當135 <= θ < 225時，即認為眼球轉(zhuǎn)到了左邊，當225 <= θ < 315時，即認為眼球轉(zhuǎn)到了下邊。每檢測到一次眼球的轉(zhuǎn)動，就將與轉(zhuǎn)動方向?qū)臄?shù)字寫入特征向量。當特征向量元素的個數(shù)達到4或有連續(xù)2次眼睛閉合事件發(fā)生時，停止對眼球轉(zhuǎn)動方向的識別，并將特征向量送入特征匹配模塊400。步驟3，識別動作指令S3。將步驟2獲得的特征向量與預先存儲的與動作指令對應的特征向量進行匹配，得到控制上假肢的動作指令。步驟4，確認動作指令S4。將步驟3得到的動作指令送于受試者確認，同時檢測眨眼事件。優(yōu)選地約定如在2秒內(nèi)檢測到眼睛眨動的次數(shù)少于3次，則認為指令無誤并執(zhí)行動作，如在2秒內(nèi)檢測到連續(xù)3此眼睛眨動，則認為指令有誤，刪除此指令并重新提取眼動特征。步驟5，完成設定動作S5。此步驟由驅(qū)動模塊600完成。采用眼動信號控制假肢，受試者需要事先記住與上假肢的動作指令相對應的眼動順序?？刂七^程中，試驗者按照一定的順序眨動眼睛和轉(zhuǎn)動眼球，攝像機采集受試者的眼睛圖像，送人計算機，計算機通過圖像分析提取出眼動特征向量，將此特征向量與預定義特征向量相匹配，識別出受試者期望的動作指令并交于受試者確認，經(jīng)確認無誤后控制假肢完成相應的動作。以上所述實施例僅表達了本發(fā)明的具體實施方式
，其描述較為具體詳細，但并不能理解為對本發(fā)明專利范圍的限制。應當指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以作出若干變形和改進，這些都屬于本發(fā)明的保護范圍。
權(quán)利要求
1.一種用眼動信號控制上假肢運動的控制系統(tǒng)，其特征在于，它是由眼睛圖像采集模塊、眼動特征提取模塊、預定義特征存儲模塊、特征匹配模塊、指令確認模塊和驅(qū)動模塊組成；其中所述的眼睛圖像采集模塊由攝像頭和傳送裝置構(gòu)成，攝像頭用于采集眼睛的圖像，傳送裝置用于將圖像編碼并發(fā)送到眼動特征提取模塊；所述的眼動特征提取模塊用于從眼睛圖像中提取出眼動特征并將其發(fā)送到特征匹配模塊；它包括以下單元眨眼檢測單元、眼球轉(zhuǎn)動方向識別單元和特征向量存儲單元；其中眨眼檢測單元用于檢測眨眼事件并記錄眼睛閉合的持續(xù)時間；眼球轉(zhuǎn)動方向識別單元用于計算瞳孔的位移并判斷眼球的轉(zhuǎn)動方向；特征向量存儲單元用于存儲與眼睛的動作相對應的特征向量；所述的預定義特征存儲模塊用于存儲上假肢的動作指令和與之相對應的眼動特征； 所述的特征匹配模塊用于將眼動特征提取模塊提取出的眼動特征與預定義特征存儲模塊中的特征進行匹配，獲得上假肢的動作指令，并將動作指令發(fā)送到指令確認模塊；所述的指令確認模塊用于將特征匹配模塊獲得的動作指令交于受試者確認，如果指令無誤，則將其發(fā)送到驅(qū)動模塊，如果有誤，則通過取消命令刪除該動作指令并重新提取眼動特征；所述的驅(qū)動模塊包括驅(qū)動器和電機，當驅(qū)動器接收到指令確認模塊發(fā)送來的動作指令時，便控制假肢完成相應的設定動作。
2.一種如權(quán)利要求1所述控制系統(tǒng)的控制方法，其特征在于，包括如下步驟采集眼睛圖像；提取眼動特征；識別動作指令；確認動作指令和完成設定動作；上述假肢控制系統(tǒng)和方法采用眼動信號作為控制假肢的信號源，通過提取眼睛運動的特征信息判別動作指令， 控制假肢做出受試者期望的動作。
3.如權(quán)利要求2所述的控制方法，其特征在于，步驟如下 第一步，采集眼睛圖像采用紅外線攝像機攝取受試者眼睛圖像，并對圖像進行MPEG編碼后送入計算機，此步驟需要一直進行；步驟二，提取特征信息在此步驟中對采集的眼睛圖像進行分析，當檢測到眨眼事件并且眼睛的閉合時間在 0. 5s到2s之間時，便開始識別眼球的轉(zhuǎn)動方向，標定試驗者正視前方時瞳孔的中心點，即十字交叉線的交點為原點，以十字交叉線為坐標軸建立圖像坐標系；在此坐標系中，約定向右為χ軸正向，向上為y軸正向，并規(guī)定χ軸的角度為0度；然后利用45度線、135度線、225 度線和315度線將坐標空間劃分為四個區(qū)域；在識別過程中，實時計算瞳孔中心點的位移， 并做判斷當瞳孔中心點與坐標原點的距離小于2毫米時，即可認為眼球未做轉(zhuǎn)動；當此距離大于2毫米時，根據(jù)位移的角度θ確定瞳孔中心點所處的區(qū)域；當0<= θ <45或315<= θ < 360時，即認為眼球轉(zhuǎn)到了右邊； 當45<= θ < 135時，即認為眼球轉(zhuǎn)到了上邊； 當135<= θ < 225時，即認為眼球轉(zhuǎn)到了左邊； 當225 <= θ < 315時，即認為眼球轉(zhuǎn)到了下邊；每檢測到一次眼球的轉(zhuǎn)動，就將與轉(zhuǎn)動方向?qū)臄?shù)字寫入特征向量；當特征向量元素的個數(shù)達到4或有連續(xù)2次眼睛閉合事件發(fā)生時，停止對眼球轉(zhuǎn)動方向的識別，并將特征向量送入特征匹配模塊400;第三步，識別動作指令將步驟二獲得的特征向量與預先存儲的與動作指令對應的特征向量進行匹配，得到控制上假肢的動作指令；第四步，確認動作指令將步驟三得到的動作指令送于受試者確認，同時檢測眨眼事件；約定如在2秒內(nèi)檢測到眼睛眨動的次數(shù)少于3次，則認為指令無誤并執(zhí)行動作；如在2 秒內(nèi)檢測到連續(xù)3此眼睛眨動，則認為指令有誤，刪除此指令并重新提取眼動特征；第五步，完成設定動作此步驟由驅(qū)動模塊完成，采用眼動信號控制假肢，受試者需要事先記住與上假肢的動作指令相對應的眼動順序；控制過程中，試驗者按照一定的順序眨動眼睛和轉(zhuǎn)動眼球，攝像機采集受試者的眼睛圖像，送人計算機，計算機通過圖像分析提取出眼動特征向量，將此特征向量與預定義特征向量相匹配，識別出受試者期望的動作指令并交于受試者確認，經(jīng)確認無誤后控制假肢完成相應的動作。
全文摘要
本發(fā)明公開了一種用眼動信號控制上假肢運動的控制系統(tǒng)及其控制方法，它是由眼睛圖像采集模塊、眼動特征提取模塊、預定義特征存儲模塊、特征匹配模塊、指令確認模塊和驅(qū)動模塊組成；通過上述各模塊，實現(xiàn)對眼睛的轉(zhuǎn)動和眨動事件進行組合，以產(chǎn)生多種不同的特征，從而完成更多的控制功能。
文檔編號G06K9/00GK102309366SQ201110215580
公開日2012年1月11日 申請日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者周凱, 孫愛芹, 彭琛, 朱雪梅, 樊炳輝, 王傳江, 紀鵬, 黃粱松 申請人:山東科技大學