專利名稱：基于p300腦電電位的中文輸入bci系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種醫(yī)療康復實驗裝置，具體是指一種利用人類頭皮腦電 圖實現對外界電子機械設備控制的腦機接口 (BCI)系統(tǒng)。
背景技術：
腦機接口技術(BCI )，研究的是如何通過非自然的方法溝通腦內信息 和外界環(huán)境。它為大腦和環(huán)境提供了信息傳輸通道，外界信息能從仿生傳 感器輸入到神經系統(tǒng)，神經信號也可以用于控制外部電子機械裝置。該項 技術可以修復、改善甚至擴展神經系統(tǒng)原有功能，提供一種嶄新的信息交 互模式。
頭皮腦電圖(EEG)最先被用于BCI系統(tǒng)研究。上世紀七十年代，美 國國防部ARPA機構最早開始重視人與計算機之間沉浸式、緊密的交互技 術的研究。到了九十年代中后期，隨著科學家對大腦功能原理的更深入了 解、高性能的電子產品的飛速發(fā)展、社會對殘疾病人的更大關注，BCI 技術的研究出現了新的高潮。直至今天，基于EEG的BCI系統(tǒng)依然是BCI 研究的重要一環(huán)，并且由于其無創(chuàng)傷、安全易用的特性，處于BCI實用化 研究的前端。
頭皮腦電圖通過與頭皮接觸的金屬或金屬化合物電極采集得到，電極 和頭皮間需要填充導電媒介物以保證良好接觸。目前在實驗中一般采用電 極帽的方式采集腦電圖信號，電極帽就是將多個電極以 一定空間分布嵌在 彈性帽子上，以簡化定位和準備工作。
奧地利Graz科技大學的BCI小組在G. PfUrtscheller的領導下于1991 年最早開始了基于動作想象的BCI研究。2003年他們實現了用EEG結合 功能性電刺激來幫助癱瘓病人恢復手臂功能，極大地推動了 BCI的實用化 發(fā)展。他們還設計了基于EEG的虛擬鍵盤進行英文的輸入。
美國Wadworth Center也是BCI領域的領軍之一。他們研究的重點是運動感覺的自發(fā)節(jié)律控制。他們研發(fā)的BCI系統(tǒng)可以讓用戶通過自主控制μ節(jié)律，控制屏幕上的鼠標進行2維運動。自2001年以來，他們用研發(fā) 的BCI系統(tǒng)實現了讓高度癱瘓者自行完成文字拼寫、收發(fā)電子郵件、簡單 語音交流等日常操作。
其他的BCI研究機構包括南佛羅里達大學、德國Tiibingen大學、臺 灣國立交通大學等。在這些研究機構的努力和合作下，已經產生了數種動 作想象控制、虛擬輸入鍵盤和虛擬場景漫游的BCI模型。
P300是一種事件相關電位(ERP),是一種和心理認知事件有關的EEG 響應，可以通過聽覺視覺等各種刺激誘發(fā)， 一般在實驗對象期望的事件發(fā) 生時出現。產生P300電位的兩個前提是l.對象期望的事件必須是一個 小概率事件；2.此事件的具體發(fā)生時刻應該是隨機的。

發(fā)明內容
本發(fā)明提供一種基于P300腦電電位的中文輸入BCI系統(tǒng)，擁有實用 BCI系統(tǒng)的完整功能，可以在線地讓使用者依靠心理活動實現向計算機輸 入中文。
一種基于P300腦電電位的中文輸入BCI系統(tǒng)，包括
用于采集帶P300成分的腦電信號并進行放大和數字化的腦電采集系統(tǒng)；
用于將經腦電釆集系統(tǒng)放大和數字化的腦電信號進行增強處理和 P300成分檢測的腦電信號分析模塊；
用于誘發(fā)使用者腦電信號并將腦電信號分析模塊的檢測結果轉化為 中文輸入的用戶界面模塊；
用于顯示用戶界面模塊產生的中文輸入的顯示裝置。
其中，所述的腦電采集系統(tǒng)包括
用于從使用者頭部直接采集多通道腦電信號的多導電極帽； 用于將多導電極帽采集的腦電信號進行;改大、增強、濾波處理的腦電放大器；
用于將腦電放大器處理后的腦電信號轉發(fā)給腦電信號分析模塊的放 大器控制模塊。
腦電放大器通過多導電極帽從使用者頭部直接采集多通道的腦電信 號。放大器對信號進行放大、增強、濾波后，以一定采樣率將信號數字化，
并通過USB連線將信號傳輸到PC機上。運行于PC機上的放大器控制模 塊接收到腦電信號后將其轉發(fā)給腦電信號分析模塊。
所述的腦電信號分析模塊由信號處理模塊和P300成分才企測模塊。 信號處理模塊用于將經腦電采集系統(tǒng)放大和數字化的腦電信號(即來自腦 電采集系統(tǒng)的腦電放大器)進行P300成分凸顯，工作時以數字信號處理 技術抑制腦電信號中的干擾和噪聲，去除信號基線漂移，突顯腦電信號中 可能存在的P300成分；
P300成分檢測模塊用于通過信號處理模塊凸顯出的P300成分判定使 用者意圖，即判斷腦電信號中P300成分存在時刻。P300成分檢測模塊運 用隨機信號的模板相關度匹配技術估計腦電信號中不同時間段P300成分 存在的概率，根據概率值判定P300成分發(fā)生時刻，根據發(fā)生時刻信息確 定使用者意圖(用戶的輸入選項)。檢測程序用于對待分析的腦電信號時 間段進行匹配的模板依據使用者個人的P300信號特點制作；
另外腦電信號分析模塊還可以包括顯示記錄模塊，顯示記錄模塊可在 必要時實時顯示使用者的腦電信號波形和P300成分分析結果，供研究人 員觀察。此模塊同時保存采集到的腦電信號數據，包括原始數據和處理后 數據，供后期分析研究使用者習慣，評估系統(tǒng)運行。
所述的用戶界面模塊包括
用于誘發(fā)使用者腦電信號的P300視覺誘發(fā)界面模塊；
用于將腦電信號分析模塊的檢測結果(來自腦電信號分析模塊中的 P300成分檢測模塊。)轉化為中文輸入的中文輸入控制模塊。
用戶界面模塊是整個中文輸入BCI系統(tǒng)的控制和配置中心，可以讓輔 助人員通過快捷鍵控制系統(tǒng)的啟停和工作狀態(tài)切換等需要人工參與的工 作，并將用戶和中文輸入BCI系統(tǒng)的配置參數發(fā)送給腦電信號分析模塊使 之能根據當前使用者的特點自動調整。
P300視覺誘發(fā)界面模塊通過視覺提示來誘發(fā)使用者的P300電位。
P300視覺誘發(fā)界面模塊通過顯示裝置為使用者提供多個輸入選項，輸入 選項以選項框形式出現，選項框在屏幕上形成特定的空間分布。P300 視
覺誘發(fā)界面模塊通過選項框的變色彩閃爍形成提示事件，誘發(fā)使用者的P300事件誘發(fā)電位。選項框的內斜艮據中文輸入狀態(tài)變化。
中文輸入控制模塊控制漢字筆畫和字符的輸入通過中文筆畫的選擇 產生候選漢字，通過功能鍵實現筆畫選擇和漢字字符選擇之間的切換，通 過字符的選擇從候選漢字中產生使用者需要的漢字。
用戶界面模塊作為Windows程序運行于PC機上，通過顯示裝置(可 以是普通PC機顯示器)將相關信息顯示出來。
本發(fā)明的中文輸入BCI系統(tǒng)具有"使用"和"訓練"兩種工作模式。 使用模式為使用者提供中文輸入服務，訓練模式為用戶提供了進行適應性 使用訓練的環(huán)境，能幫助使用者熟悉系統(tǒng)操作。在訓練才莫式下，系統(tǒng)還可 完成P300檢測程序所用模板的制作，這一功能包括在P300成分檢測模塊 中，由其根據系統(tǒng)使用者在訓練過程中的腦電信號生成模板并保存。
本發(fā)明的中文輸入BCI系統(tǒng)具有充分的可配置性，可以根據系統(tǒng)工作 模式、使用者的腦電信號特點和使用者個人偏好改變系統(tǒng)的特性?？晒┡?置的內容包括
P300視覺誘發(fā)界面模塊中的輸入選項框空間分布位置和模式；背景、 選項框、文字輸入框配色方案；提示閃爍色彩、閃爍頻率；
腦電信號分析模塊的降噪、去漂移算法；匹配模板的時間長度；上一 選項輸入完畢到下一選項開始輸入的等待時間；
系統(tǒng)使用的腦電電極的數量和位置。
所述的用戶界面可以將每個用戶的偏好參數和模板以獨立文件的方 式保存，文件后綴為bupd。
所述的用戶界面模塊和腦電信號分析模塊可以運行在同一臺PC機 上，也可以分布地運行于多臺PC機上。用戶界面模塊和腦電信號分析模 塊之間通過Socket連接交互控制指令和數據信息。
本發(fā)明的中文輸入BCI系統(tǒng)的工作過程為用戶界面模塊通過顯示裝 置利用視覺刺激讓使用者產生帶P300成分的腦電信號，腦電采集系統(tǒng)采 集此信號后進行放大和數字化，并將信號數據傳輸到腦電信號分析模塊， 腦電信號分析模塊實時地對腦電信號進行增強處理和P300成分檢測，并 將數據保存?zhèn)浞?，用戶界面模塊采集腦電信號分析模塊的檢測結果后將其轉化為中文輸入并再通過顯示裝置顯示。
本發(fā)明中文輸入BCI系統(tǒng)通過用顯示裝置為使用者提供中文輸入的 環(huán)境，并誘發(fā)使用者的事件相關P300電位，利用腦電采集系統(tǒng)獲取使用 者腦電信號，運用信號分析程序從EEG中提取P300成分，并在解讀P300 與中文輸入的關系后將解讀結果反饋給用戶界面以顯示。系統(tǒng)具有使用模 式和訓練模式兩種工作狀態(tài)，既能用于漢字輸入也為用戶提供適應訓練的 環(huán)境。
本發(fā)明中文輸入BCI系統(tǒng)可以為身體癱瘓且語言功能受損的嚴重殘 疾病患提供與他人進行交流的途徑，并且對其外圍功能加以延伸后可以讓 患者實現對計算機程序和電子機械裝置的控制。這在醫(yī)療康復、醫(yī)學生理 實驗、腦功能機制探索方面具有諸多價值。


圖1為本發(fā)明中文輸入BCI系統(tǒng)的原理框圖2為本發(fā)明中文輸入BCI系統(tǒng)用戶界面模塊輸出到顯示裝置的示意
圖3為訓練模式下的用戶界面模塊輸出到顯示裝置的示意圖4為筆畫輸入狀態(tài)下的用戶界面模塊輸出到顯示裝置的示意圖5為漢字選擇狀態(tài)下的用戶界面模塊輸出到顯示裝置的示意圖6為漢字輸入后的用戶界面模塊輸出到顯示裝置的示意圖7為腦電信號分析模塊中的信號處理模塊的工作流程圖8為腦電信號分析模塊中的P300成分檢測模塊的工作流程圖。
具體實施例方式
參見圖1，本發(fā)明基于P300事件誘發(fā)電位的中文輸入BCI系統(tǒng)，包 括包括用戶界面模塊、顯示裝置、腦電采集系統(tǒng)、腦電信號分析模塊。
用戶界面模塊控制中文輸入過程，誘發(fā)使用者P300腦電成分，腦電 被腦電釆集系統(tǒng)采集，經腦電信號分析模塊處理解讀，反饋至用戶界面模 塊轉化為符合使用者意念的輸入并通過顯示裝置顯示。
中文輸入BCI系統(tǒng)用戶界面模塊輸出到顯示裝置的示意圖如圖2所示。各個選項框以隨機順序輪流閃爍以使每個選項框的閃爍事件都滿足誘
發(fā)P300電位的兩個條件，其閃爍的具體組織方式為所有選項框都閃爍 一次算作一輪閃爍；進行若干輪閃爍后系統(tǒng)將其作為一次輸入。其中要保 證各框閃爍的概率相等，閃爍順序應盡量隨機化，^旦需要避免同一個選項 框連續(xù)閃爍。
腦電采集系統(tǒng)在使用時，可采用現有技術中通用的采集方法，具體如 電極帽的電極與使用者頭皮間的接觸電阻以控制在20kQ以下為宜。使用 的電極通道默認為FZ、 FCZ、 CZ、 CPZ、 PZ,參考電極置于鼻尖處。此 外還需要接有雙極垂直眼電電極以幫助消除眨眼對信號的影響。腦電放大 器的數字化采樣率一般設為250Hz，并應用上限為50Hz的低通模擬濾波 器。
放大器需同時記錄EEG信號和用用戶界面模塊產生的事件代碼。兩 者合并后輸出的數字信號經USB連線輸入PC機，由放大器在PC端的控 制程序讀取。此控制程序必須具有軟件端口把解碼后的信號數據以一定格 式發(fā)送給腦電信號分析程序。
如圖7所示，腦電信號分析模塊的信號處理才莫塊對EEG的處理流程 包括去除直流成分、消除基線漂移、消除眼電干擾、濾波、依據事件代 碼對EEG進行分段。消除基線漂移使用減去取樣點之間的三次樣條曲線 的方法，消除眼電干擾使用眼電信號相關消減算法。濾波過程采用 15 20Hz的低通數字濾波器進行。
如圖8所示，腦電信號分析模塊的P300成分檢測模塊將已經按事件 代碼分段的EEG分別與P300模板進行匹配。匹配算法可以是任意的距離 度量計算，只要其產生的度量值能表征實際的EEG信號與P300模板的差 異程度。
對于一位從未接觸過本系統(tǒng)的使用者，首先需要讓其對P300電位的 產生機制獲得一定的感性認知。 一般需要讓使用者了解一些受到輸入界面 刺激提示后產生P300信號的心理技巧。最常用的技巧是讓使用者在其所 期望的選項閃爍時，默念某一數字。
訓練模式的用戶界面如圖3，此模式下系統(tǒng)不會產生輸出，并且選項 框閃爍無停頓。使用者首次使用系統(tǒng)時，應將系統(tǒng)置于此模式下，進行適應性訓練和模板采集。訓練模式下，經過2 3次的預練習后，開始制作模 板的過程。讓使用者依次將不同的輸入選項框作為期望輸入。此時信號分 析程序只運行信號處理模塊，并將處理后波形數據保存。在經過至少20 次輸入，每次至少IO輪閃爍后，由操作人員人工剔除一些失敗的實驗數 據，將剩下的數據按"各輪閃爍中具有相同事件代碼的數據段進行合并" 的原則作平均疊加，使每一次輸入都得到一組關于各個選項的含P300電 位的平均數據段。然后再根據使用者個人的P300電位特點從中截取長度 從200ms 400ms的 一段，形成模板。
訓練結束后，使用者已基本掌握系統(tǒng)使用技巧，初步模板也已完成。 這時可以把系統(tǒng)切換到使用模式，其界面如圖2所示。使用者可以開始進 行實際中文輸入。此時系統(tǒng)每執(zhí)行一次輸入所需的若干輪閃爍后會暫停閃 爍，待系統(tǒng)分析完信號，將P300電位對應的選項輸出到界面，然后繼續(xù) 閃爍開始下一個輸入?；谶x項輸入的實際打字過程如下
1. 選擇中文筆畫，產生候選漢字，此時用戶界面如圖4。
2. 當候選漢字區(qū)出現需要輸入的漢字時，選擇"En"鍵切換到漢字 選擇狀態(tài)，此時用戶界面如圖5。
3. 選擇需要的漢字，實現輸入，此時用戶界面如圖6。
4. 期間若有錯誤輸入，選擇"BK"鍵可刪除錯誤輸入。 從訓練到使用整個過程可能無法在一次試驗中完成。在使用過程中輔助操作者應該定期選入一些波形較明顯的數據更新才莫板，以適應使用者由 于對系統(tǒng)的逐漸熟悉而產生的P300電位加強。當系統(tǒng)輸入的準確率達到 標準后，即可停止更新模板，由使用者完全接管系統(tǒng)。
需要注意的一點是，無論處于訓練過程還是使用過程， 一旦使用者出 現明顯的精神疲勞，應停止使用，進行休息，否則會造成系統(tǒng)輸入準確率 大幅下降。
權利要求
1、一種基于P300腦電電位的中文輸入BCI系統(tǒng)，其特征在于，包括用于采集帶P300成分的腦電信號并進行放大和數字化的腦電采集系統(tǒng)；用于將經腦電采集系統(tǒng)放大和數字化的腦電信號進行增強處理和P300成分檢測的腦電信號分析模塊；用于誘發(fā)使用者腦電信號并將腦電信號分析模塊的檢測結果轉化為中文輸入的用戶界面模塊；用于顯示用戶界面模塊產生的中文輸入的顯示裝置。
2、 如權利要求1所述的中文輸入BCI系統(tǒng)，其特征在于所述的腦 電釆集系統(tǒng)包括用于釆集腦電信號的多導電極帽；用于將多導電極帽采集的腦電信號進行放大、增強、濾波處理的腦電 放大器；用于將腦電放大器處理后的腦電信號轉發(fā)給腦電信號分析模塊的放 大器控制模塊。
3、 如權利要求1所述的中文輸入BCI系統(tǒng)，其特征在于所述的腦 電信號分析模塊包括用于將經腦電采集系統(tǒng)放大和數字化的腦電信號進行P300成分凸顯 的信號處理模塊；用于通過信號處理模塊凸顯出的P300成分判定使用者意圖的P300成 分檢測模塊。
4、 如權利要求1所述的中文輸入BCI系統(tǒng)，其特征在于所述的用 戶界面模塊包括用于誘發(fā)使用者腦電信號的P300視覺誘發(fā)界面模塊； 用于將腦電信號分析模塊的檢測結果轉化為中文輸入的中文輸入控 制模塊。
全文摘要
本發(fā)明公開了一種基于P300腦電電位的中文輸入BCI系統(tǒng)，包括用于采集帶P300成分的腦電信號并進行放大和數字化的腦電采集系統(tǒng)，用于將經腦電采集系統(tǒng)放大和數字化的腦電信號進行增強處理和P300成分檢測的腦電信號分析模塊，用于誘發(fā)使用者腦電信號并將腦電信號分析模塊的檢測結果轉化為中文輸入的用戶界面模塊，用于顯示用戶界面模塊產生的中文輸入的顯示裝置。本發(fā)明中文輸入BCI系統(tǒng)可以為身體癱瘓且語言功能受損的嚴重殘疾病患提供與他人進行交流的途徑，并且對其外圍功能加以延伸后可以讓患者實現對計算機程序和電子機械裝置的控制。這在醫(yī)療康復、醫(yī)學生理實驗、腦功能機制探索方面具有諸多價值。
文檔編號G06F3/01GK101201696SQ200710164418
公開日2008年6月18日 申請日期2007年11月29日 優(yōu)先權日2007年11月29日
發(fā)明者邊 吳, 莊越挺, 張劍慧, 昕 李, 煜 蘇, 鄭筱祥, 陳衛(wèi)東 申請人:浙江大學