專利名稱：腦電信號的異步腦機交互控制方法
技術領域：
本發(fā)明涉及的是一種信息處理技術領域的控制方法，具體是一種腦電信號的異步 腦機交互控制方法。
背景技術：
腦-機交互(BCI，Brain Computer Interface)是指基于腦信號實現(xiàn)大腦與計算 機或其他電子設備的通訊和控制功能。與一般的人機交互不同的是腦機交互不需要大腦通 過神經控制身體的外圍肌肉來表達大腦要傳遞的信息，而是建立一種不通過外圍神經系統(tǒng) 而直接檢測大腦信號的變化，獲得大腦思維信息的新型控制通道。因此，腦機實時交互可以 代替因受傷或癱瘓而失去的部分感知與運動功能，對神經系統(tǒng)修復與康復，如恢復視覺，聽 覺，運動能力，甚至認知能力有重要的研究價值與意義。目前國際上對于侵入式BCI的研究 主要是針對動物作為研究對象，如猴子、老鼠等。2006年Nature上，Hochberg等第一次對 一名四肢癱瘓的病人大腦植入96微電極陣列，通過BCI實驗，該病人能夠利用手運動想象 來控制鼠標移動、神經假肢等。而非侵入式腦-機交互主要利用EEG(腦電)信號獲取大腦 思維信息，其易用性，安全性使得該技術得到了更廣泛的關注，并有可能逐步應用于實際應 用。但由于人類的大腦是一個十分復雜的系統(tǒng)，這就直接導致大腦信號的復雜性。大腦對外 部觀察者來說，基本上是一個黑箱。要通過EEG信號對這個極其復雜的黑箱進行辨識是十 分困難的。腦信號處理及模式識別算法是BCI系統(tǒng)的關鍵技術。BCI信號處理包括預處理、 特征提取、模式分類三個環(huán)節(jié)，通過信號預處理消除EEG中各種噪音及干擾信號，并且加強 思維任務相關的EEG信號，然后采用有效的特征提取算法提取特征模式，最后利用模式分 類器進行分類識別。由于EEG信號是復雜噪聲環(huán)境下的高度非平穩(wěn)信號，且空間分辨率低。 因此如何從EEG信號提取可靠的時不變特征信息非常困難，腦機交互的研究正處于初級階 段，現(xiàn)有BCI系統(tǒng)的識別正確率和識別速率、性能、穩(wěn)定性等關鍵技術還需要進一步解決。經對現(xiàn)有技術的文獻檢索發(fā)現(xiàn)，J. R. Wolpaw等在《Proceedings of the National Academyof Sciences of the United States of America))(美國國家科學院院刊)(2004 年 101 卷，第 51 期 17849-17854 頁)上發(fā)表的"Control of a two-dimensional movement signal by anoninvasive brain-computer interface in humans" (Φ χΑ ζΙδ Ι/Ι^ 控制二維鼠標運動)，該文中提出用左右運動感知皮層EEG信號的8-12Ηζ和18_26Ηζ幅值 的線性組合作為控制鼠標的二維坐標，但該系統(tǒng)主要是通過視覺反饋幫助受試者主動學習 控制腦信號的變化，因此需要長期的受試者訓練才能真正控制。Benjamin Blankertz等在 《IEEE SIGNAL PR0CESSINGMAGAZINE》發(fā)表的 “Optimizing Spatial Filters for Robust EEG Single-Trial Analysis”(基于最優(yōu)化空間濾波的魯棒單次EEG分析)，該文提出了運 動想象EEG特征提取方法并可在線對其分類，但輸出結果僅為3類命令，由于單次EEG長度 為3. 5秒，系統(tǒng)存在較大的延遲。因此需要研發(fā)EEG快速分類識別技術，及擴展交互控制功 能。

發(fā)明內容
本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種腦電信號的異步腦機交互控制 方法，本發(fā)明利用具有動態(tài)變化特征的運動想象及該思維狀態(tài)的持續(xù)時間，識別結果對虛 擬現(xiàn)實中小車進行實時控制，解決了現(xiàn)有腦機交互系統(tǒng)延遲性，僅2-3種離散控制命令，需 要同步信號，信息傳輸率低等缺點；增強了大腦與計算機之間的直接交互能力，為殘疾人或 運動障礙病人提供了 一種與計算機交互的方法。本發(fā)明是通過以下技術方案實現(xiàn)的本發(fā)明對腦電信號進行分析與識別的過程包括三個階段，數(shù)據(jù)采集、系統(tǒng)訓練、在 線識別與控制階段，在系統(tǒng)訓練階段提取具有時間無關穩(wěn)態(tài)分布特性的樣本，采用了滑動 窗口技術對每一個訓練樣本進行分段，得到短時穩(wěn)態(tài)的大量樣本；然后在該樣本集上利用 特征提取與分類器訓練系統(tǒng)模型；在線識別與控制階段，同樣采用滑動小窗口技術實時連 續(xù)地對EEG信號進行識別與分類，并加入了后處理過程，利用分類狀態(tài)后驗概率與持續(xù)時 間輸出某控制命令與強度。本發(fā)明提出的模型訓練過程和在線控制機制與現(xiàn)有的腦機交互 技術不同，不需要同步信號，能夠連續(xù)識別分類，能夠識別思維狀態(tài)及強度。本發(fā)明包括以下步驟第一步、持續(xù)運動想象狀態(tài)下的腦信號數(shù)據(jù)采集；第二步、訓練數(shù)據(jù)樣本的重采樣；第三步、特征提取與分類器模型建立；第四步、在線特征投影與模式分類；第五步、后處理技術與持續(xù)時間動態(tài)變化，來計算當前狀態(tài)的持續(xù)時間；第六步、異步腦機交互控制及神經反饋，形成閉合的腦機交互控制。第一步中所述的腦信號數(shù)據(jù)采集，利用腦電采集設備采集用戶運動想象任務下的 腦信號，采集過程是用戶按照箭頭指示執(zhí)行相應的運動想象任務，并持續(xù)重復同一動作，直 到屏幕上箭頭消失，并循環(huán)同樣的過程N次，整個過程中腦電采集設備把用戶的腦信號存 儲到一個文件中，包含了任務開始時刻，結束時刻以及任務的類別的信息，以供后面的系統(tǒng) 模型建立時使用。第二步中所述的訓練數(shù)據(jù)是通過系統(tǒng)采集得到的一組帶有類標記信號，用NXT 的矩陣X來表示，N表示EEG導聯(lián)數(shù)目，T表示每一次思維任務的時間長度；利用這組訓練數(shù)據(jù)二階統(tǒng)計量即協(xié)方差矩陣來建立系統(tǒng)模型，首先對已有的訓練 數(shù)據(jù)集上用短時滑動窗口長度為τ進行分段提取大量的短時訓練樣本，由于采用短時窗 口，分段后得到的樣本集可假設認定為平穩(wěn)信號；因此在訓練樣本集上得到魯棒性好的模 型，由于訓練樣本數(shù)目也增大了 T/ τ倍，防止了分類器過擬合現(xiàn)象的發(fā)生。第三步中所述的特征提取是學習最優(yōu)的線性或非線性變換，尋找最優(yōu)的空間投影 方向；在得到的新訓練數(shù)據(jù)集上，根據(jù)類別標記可分別計算得到類平均的空間協(xié)方差矩陣， Γ,
Γ 1 V Yk (Yk Y 其中trace( ·)表示矩陣的對角線元素之和，對每一個訓練樣本進行標準化操作， 減少因部分壞樣本或噪聲樣本引起的統(tǒng)計特性變化；
5
分別計算每一類最優(yōu)的空間投影方向，如對于第I類，得到第I類平均協(xié)方差&及 所有類的平均協(xié)方差ST，目標函數(shù)是尋找最優(yōu)的空間投影方向W(I)
wa) - orrr mQY (w(/))rS,W(/) [。。21] W -argmax-^^組合各類投影矩陣wa)，得到總的投影矩陣W ；然后通過對所有的訓練樣本進行特征投影，并對特征集采用支持向量機進行訓練 得到分類器模型參數(shù)。第四步中所述的分類，是指系統(tǒng)訓練結束后，可在線對EEG信號進行連續(xù)分類 識別，給定信號X⑴，系統(tǒng)采用短窗口滑動技術，得到當前的EEG樣本Y⑴=[χ α-τ+1)… x(t)]，利用第三步中訓練得到的投影矩陣對新樣本進行空間投影，并計算特征向量；把得到的在線樣本特征集輸入分類器中，可得到分類結果g(t)以及各類后驗概 率 P (cn |Y(t))，n = 1…M第五步中所述的計算當前狀態(tài)的持續(xù)時間，是指對前N個滑動窗口的分類后驗 概率進行求和平均，此操作目的是起平滑作用，避免輸出的劇烈震動；采用了基于時間量動態(tài)變化來計算當前狀態(tài)的持續(xù)時間，經過后處理得到新的輸 出命令，定義當前狀態(tài)的持續(xù)時間s (t)如下，
s(t-At) +ζ if git) 二 g(t-At)S(t) - i
1 0 if g(t) ^git-At)其中ζ代表參數(shù)增量步長，At表示在線分類時間間隔，由于狀態(tài)持續(xù)時間代表 了大腦維持同一種思維動作的長度，提供了一種具有連續(xù)變化特性的輸出命令。第六步中所述的閉合的腦機交互控制，是指將在線識別結果輸出到虛擬現(xiàn)實環(huán) 境中，利用分類結果g(t)來控制三維虛擬現(xiàn)實中的小車動作，并利用當前狀態(tài)的持續(xù)時間 s(t)來控制詳細的左轉角度，右轉角度，加速度，實現(xiàn)了大腦直接控制計算機的目的，同時 利用虛擬現(xiàn)實或條形框等實時地顯示了腦機交互系統(tǒng)的對運動想象狀態(tài)及持續(xù)時間的檢 測與識別結果，可作為神經反饋信號，形成了一個閉合的腦機交互控制，由于引入了持續(xù)時 間控制，而錯誤識別結果通常持續(xù)時間較短，從而錯誤識別結果引起的左轉、右轉、加速度 非常小，因此提高了系統(tǒng)的容錯能力。本發(fā)明的有益效果是(1)使用短時滑動窗口技術對訓練數(shù)據(jù)進行二次分段采 樣，可得到接近平穩(wěn)信號的EE6樣本，并且提高了樣本數(shù)目，緩解了過擬合現(xiàn)象的發(fā)生，提 高了系統(tǒng)模型的魯棒性。(2)由于訓練模型可對于短時窗口分類，使得在線分類器能夠接近 連續(xù)地輸出控制命令，減少了腦機交互系統(tǒng)的延遲。(3)采用了后處理技術不僅提高了輸出 命令的可靠性，而且對于噪聲以及短持續(xù)時間的錯誤分類具有容錯能力。(4)引入狀態(tài)持續(xù) 時間參數(shù)，使得系統(tǒng)不僅能輸出控制命令，而且可得到對應控制命令的強度，具有了連續(xù)量 變化控制能力。(5)采用腦電采集設備g. tec和計算機設備以及虛擬現(xiàn)實技術實現(xiàn)了異步 腦機交互控制，為殘疾人或運動障礙病人提供了一種直接通過大腦與計算機進行信息交互 的途徑。
具體實施例方式下面對本發(fā)明的實施例作詳細說明，本實施例在以本發(fā)明技術方案為前提下進行 實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。如

圖1所示，本實施例包括以下步驟第一步、腦信號數(shù)據(jù)采集用戶第一次使用腦機交互系統(tǒng)前必須先采集該用戶大量的EEG信號作為訓練樣 本。本實例采用g. Tec腦電采集設備進行，采用基于運動想象的范例來實現(xiàn)腦機交互，因此 僅采集運動與感知區(qū)域6個電極位置(C3、Cp3、C4、Cp4、CZ、CpZ)。采集過程中用戶注視屏 幕，保持放松，當屏幕出現(xiàn)隨機產生的箭頭指示(左、右或下)的時候，用戶開始相應的左 手、右手或腳的運動想象，箭頭指示會持續(xù)4秒，用戶需持續(xù)重復地進行運動想象，并盡量 避免眨眼或者眼動，4秒后箭頭指示消失，用戶停止想象并開始放松，2秒后下一個命令指 示出現(xiàn)，并反復此操作60次。經過此步驟，可得到帶有類標記的60個EEG信號樣本。第二步、系統(tǒng)模型建立根據(jù)已采集得到的訓練樣本通過學習算法得到特征模式及分類器模型參數(shù)，用于 對在線數(shù)據(jù)的識別分類。1)數(shù)據(jù)預處理首先對EEG信號進行帶通濾波到8-30HZ，可消除高頻噪聲以及低 頻分量(如眼動引起的干擾)。訓練數(shù)據(jù)是通過系統(tǒng)采集得到的一組帶有類標記信號，用 NXT的矩陣X來表示，N表示EEG導聯(lián)數(shù)目，T表示每一次思維任務的時間長度。首先對已 有的訓練數(shù)據(jù)集上用短時滑動窗口進行分段提取大量的訓練樣本，對任意一個訓練樣本X， 分段后得到一組小樣本Yk e Rnx τ，Yk= [xt_T+1...xt], τ < t < N其中τ為窗口長度，可根據(jù)訓練數(shù)據(jù)交叉驗證獲得最優(yōu)取值，或根據(jù)具體應用人 工調節(jié)，由于采用短時窗口，分段后得到的樣本集可假設認定為平穩(wěn)信號。利用此方法對60 個樣本，每一個樣本采用滑動窗口進行重采樣并分段，窗口大小可設為1秒，滑動步長設定 為125毫秒，對于每個分段樣本給定與原樣本同樣的類標記。2)特征提取在第一步得到的新訓練數(shù)據(jù)集上，分別計算標準化的各類平均協(xié)方
差矩陣
1 ▽ Yk(Ykf
_2] r^rfitoce(YW)對于三類問題，分別計算I = 1，2，3時，
ι MSi= Γ J二，Sr=-χ￡(Γ;)
^ 1=1為了優(yōu)化目標函數(shù)
wa) - orrr mQY (w(/))rS,W(/) [_ W -argmax-^^ 可采用泛特征值分解得到特征向量組，并取對應的2個最大特征值與2個最小特 征值的特征向量，從而得到相應的投影矩陣WG)。最后把三類對應的W 組合在一起得到最 終的W= [W(1)W(2)W(3)]。對所有的訓練樣本投影到W上得到Z (t) =ffTY(t)并計算特征 得到低維的樣本特征集。3)訓練分類器本實例采用線性支持向量機對得到的樣本特征集進行訓練，通過 交叉驗證過程選擇最優(yōu)的分類器參數(shù)，并采用最優(yōu)參數(shù)對特征集進行訓練學習得到分類器 模型，存儲在文件中。第三步、在線運動想象腦信號特征提取采用g. tec設備在線獲取EEG信號，并對EEG信號進行連續(xù)分類識別，給定信號 χ⑴，系統(tǒng)采用短窗口滑動技術，得到當前的EEG樣本Y (t) = [x (t- τ +1)... x(t)],利用訓 練得到的投影矩陣對新樣本進行空間投影， 并計算特征向量 第四步、在線腦信號異步分類識別經過系統(tǒng)訓練學習后，可對用戶進行在線實驗，在線實驗與離線實驗不同，系統(tǒng)沒 有命令指示。當采集到EEG信號時，系統(tǒng)實時地對當前時刻之前的1秒窗口數(shù)據(jù)進行特征提 取并分類識別，特征提取與分類器均采用預先存儲的系統(tǒng)參數(shù)及分類器模型來實現(xiàn)。設定 At = O. 125秒，也就是系統(tǒng)每隔125毫秒對當前窗口進行分類一次，可得到分類結果g(t) 以及各類后驗概率P (cn |Υα))，η = Ρ··Μ對前3秒鐘內所有滑動窗口信號的后驗概率進行求和平均得到
t 此操作目的是起平滑作用，避免輸出的劇烈震動。根&。= arS得到
η
當前的輸出命令g(t)。第五步、持續(xù)時間量計算與控制命令輸出為了得到命令強度參數(shù)，本發(fā)明采用了基于時間量動態(tài)變化計算當前狀態(tài)的持續(xù) 時間s(t)如下， 其中ζ代表參數(shù)增量步長，可根據(jù)系統(tǒng)反饋來調節(jié)。At表示在線分類時間間隔， 由于狀態(tài)持續(xù)時間代表了大腦維持同一種思維動作的長度，因此可以作為該命令的強度。第六步、異步腦機交互控制將把第五步的在線識別結果輸出到虛擬現(xiàn)實環(huán)境中，利用g(t)來控制三維虛擬 現(xiàn)實中的小車左轉、右轉、加速三個控制命令，并利用s(t)來控制詳細的左轉角度，右轉角 度，加速度。這樣就實現(xiàn)了大腦直接控制外部設備的目的，同時虛擬現(xiàn)實中的小車上的方向 盤指示，以及尾燈指示實時地顯示了腦機交互系統(tǒng)的對運動想象狀態(tài)及持續(xù)時間的檢測與識別結果，因此可作為神經反饋信號，形成了一個閉合的腦機交互控制。用戶可通過此神經 反饋進行訓練學習，達到了用戶與計算機之間的直接交互能力，殘跡人或運動障礙病人可 通過此系統(tǒng)控制小車或計算機鼠標運動，建立與計算機之間通信新通路。
權利要求
一種腦電信號的異步腦機交互控制方法，其特征在于，包括以下步驟第一步、持續(xù)運動想象狀態(tài)下的腦信號數(shù)據(jù)采集；第二步、訓練數(shù)據(jù)樣本的重采樣；第三步、特征提取與分類器模型建立；第四步、在線特征投影與模式分類；第五步、后處理技術與持續(xù)時間動態(tài)變化，來計算當前狀態(tài)的持續(xù)時間；第六步、異步腦機交互控制及神經反饋，形成閉合的腦機交互控制。
2.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第一步中所 述的腦信號數(shù)據(jù)采集，利用腦電采集設備采集用戶運動想象任務下的腦信號，采集過程是 用戶按照箭頭指示執(zhí)行相應的運動想象任務，并持續(xù)重復同一動作，直到屏幕上箭頭消失， 并循環(huán)同樣的過程N次，整個過程中腦電采集設備把用戶的腦信號存儲到一個文件中，包 含了任務開始時刻，結束時刻以及任務的類別的信息，以供后面的系統(tǒng)模型建立時使用。
3.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第二步中所 述的訓練數(shù)據(jù)是通過系統(tǒng)采集得到的一組帶有類標記信號，用NXT的矩陣X來表示，N表 示EEG導聯(lián)數(shù)目，T表示每一次思維任務的時間長度；利用這組訓練數(shù)據(jù)二階統(tǒng)計量即協(xié)方差矩陣來建立系統(tǒng)模型，首先對已有的訓練數(shù)據(jù) 集上用短時滑動窗口長度為τ進行分段提取大量的短時訓練樣本，由于采用短時窗口，分 段后得到的樣本集可假設認定為平穩(wěn)信號；因此在訓練樣本集上得到魯棒性好的模型，由 于訓練樣本數(shù)目也增大了 T/τ倍，防止了分類器過擬合現(xiàn)象的發(fā)生。
4.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第三步中所 述的特征提取是學習最優(yōu)的線性或非線性變換，尋找最優(yōu)的空間投影方向；在得到的新訓 練數(shù)據(jù)集上，根據(jù)類別標記可分別計算得到類平均的空間協(xié)方差矩陣Γ;，Γ _ 1 γ YWr1 i -T7X L· +____rv^T,K ^,.trace(Yk (Yk)O其中traCe(·)表示矩陣的對角線元素之和，對每一個訓練樣本進行標準化操作，減少 因部分壞樣本或噪聲樣本引起的統(tǒng)計特性變化；分別計算每一類最優(yōu)的空間投影方向，如對于第I類，得到第I類平均協(xié)方差S1及所 有類的平均協(xié)方差ST，目標函數(shù)是尋找最優(yōu)的空間投影方向w(I) ⑴w(/)wU) = arg max ^w ; w_feW(W ⑴)rSrW ⑴組合各類投影矩陣Wa)，得到總的投影矩陣W ；然后通過對所有的訓練樣本進行特征投影，并對特征集采用支持向量機進行訓練得到 分類器模型參數(shù)。
5.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第四步中所 述的分類，是指系統(tǒng)訓練結束后，可在線對EEG信號進行連續(xù)分類識別，給定信號χ (t)，系 統(tǒng)采用短窗口滑動技術，得到當前的EEG樣本Y(t) = [乂丨-1+1廣"1(0]，利用第三步中 訓練得到的投影矩陣對新樣本進行空間投影，并計算特征向量；把得到的在線樣本特征集輸入分類器中，可得到分類結果g(t)以及各類后驗概率P (cn |Y(t))，η = 1…M
6.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第五步中所 述的計算當前狀態(tài)的持續(xù)時間，是指對前N個滑動窗口的分類后驗概率進行求和平均，此 操作目的是起平滑作用，避免輸出的劇烈震動；采用了基于時間量動態(tài)變化來計算當前狀態(tài)的持續(xù)時間，經過后處理得到新的輸出命 令，定義當前狀態(tài)的持續(xù)時間s (t)如下， \s{t-^) +ζ if g{t) = g{t-1 ο if g(t) ^g(t-At)其中ζ代表參數(shù)增量步長，At表示在線分類時間間隔，由于狀態(tài)持續(xù)時間代表了大 腦維持同一種思維動作的長度，提供了一種具有連續(xù)變化特性的輸出命令。
7.根據(jù)權利要求1所述的腦電信號的異步腦機交互控制方法，其特征是，第六步中所 述的閉合的腦機交互控制，是指將在線識別結果輸出到虛擬現(xiàn)實環(huán)境中，利用分類結果 g(t)來控制三維虛擬現(xiàn)實中的小車動作，并利用當前狀態(tài)的持續(xù)時間s(t)來控制詳細的 左轉角度，右轉角度，加速度，實現(xiàn)了大腦直接控制計算機的目的，同時利用虛擬現(xiàn)實或條 形框等實時地顯示了腦機交互系統(tǒng)的對運動想象狀態(tài)及持續(xù)時間的檢測與識別結果，可作 為神經反饋信號，形成了一個閉合的腦機交互控制。
全文摘要
一種信息處理技術領域的控制方法，具體是一種腦電信號的異步腦機交互控制方法。包括持續(xù)運動想象狀態(tài)下的腦信號數(shù)據(jù)采集；訓練數(shù)據(jù)樣本的重采樣；特征提取與分類器模型建立；在線特征投影與模式分類；后處理技術與持續(xù)時間動態(tài)變化，來計算當前狀態(tài)的持續(xù)時間；異步腦機交互控制及神經反饋，形成閉合的腦機交互控制。本發(fā)明減少了交互延遲性；提高了容錯能力，突破了離散命令控制模式，增強了腦機交互的靈活性，可用于為殘疾人或運動障礙病人提供一種大腦與計算機直接交互的通信技術。
文檔編號G06K9/00GK101923392SQ201010270530
公開日2010年12月22日 申請日期2010年9月2日 優(yōu)先權日2010年9月2日
發(fā)明者張麗清, 李俊華, 趙啟斌 申請人:上海交通大學