本實(shí)用新型涉及一種腦機(jī)接口穿戴系統(tǒng)，特別是用于增強(qiáng)現(xiàn)實(shí)的腦機(jī)接口穿戴系統(tǒng)。

背景技術(shù)：

腦機(jī)接口（brain-computer/machine interface, BCI/BMI）是人腦和計(jì)算機(jī)或其他外部設(shè)備之間建立一條全新的非生物性的信息傳輸通道（不依賴于常規(guī)的脊髓/外周神經(jīng)肌肉系統(tǒng)），并通過它對(duì)外進(jìn)行信息交流或環(huán)境控制。它提供了一種有別于傳統(tǒng)的視覺、聽覺等通道的交互手段，大大擴(kuò)展人們與外界交流信息、控制系統(tǒng)的能力。

BCI的研究在全球范圍內(nèi)已取得階段性突破進(jìn)展，若干類型的BCI實(shí)驗(yàn)的準(zhǔn)確率已經(jīng)相當(dāng)高（如P300、SSVEP、Mu波等）；設(shè)備方面各種可穿戴式的EEG設(shè)備已進(jìn)入市場(chǎng)，如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此，BCI的實(shí)用化已經(jīng)提上了日程。一些著名的研究機(jī)構(gòu)如Wadsworth中心、Graz技術(shù)大學(xué)等正努力推進(jìn)BCI在醫(yī)療康復(fù)、娛樂和教育等領(lǐng)域的應(yīng)用。

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR），是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。這種技術(shù)最早于1990年提出。隨著隨身電子產(chǎn)品運(yùn)算能力的提升，增強(qiáng)現(xiàn)實(shí)可廣泛應(yīng)用到軍事、醫(yī)療、建筑、教育、工程、影視、娛樂等領(lǐng)域。

在視覺化的增強(qiáng)現(xiàn)實(shí)中，用戶利用頭盔顯示器，把真實(shí)世界與電腦圖形多重合成在一起，便可以看到真實(shí)的世界圍繞著它。交互操作是增強(qiáng)現(xiàn)實(shí)的核心應(yīng)用和終極目標(biāo)。

現(xiàn)有的可用于增強(qiáng)現(xiàn)實(shí)的交互方法主要有以下幾種。

（1）手勢(shì)交互，例如微軟公司的HoloLens。該方式的主要思想是用戶通過手勢(shì)來對(duì)虛擬項(xiàng)目進(jìn)行交互操作。其優(yōu)點(diǎn)在于手勢(shì)是最直接、最本能的操作方法，是用戶與目標(biāo)進(jìn)行互動(dòng)的本能自然行為，可完成對(duì)目標(biāo)的各種預(yù)期操作。缺點(diǎn)是當(dāng)前設(shè)備存在可識(shí)別的手勢(shì)有限、無法準(zhǔn)確定位擬操作的目標(biāo)等問題。同時(shí)，在一些特殊的應(yīng)用場(chǎng)景中，如手功能缺失的殘疾人、無法騰出手來的作戰(zhàn)士兵等都難以自如地對(duì)興趣目標(biāo)進(jìn)行操作。

（2）語音交互，例如索尼公司的公開號(hào)為CN103918284A、發(fā)明名稱為“語音控制裝置、語音控制方法和程序”的發(fā)明專利申請(qǐng)。該方式的主要思想是針對(duì)增強(qiáng)現(xiàn)實(shí)中的交互項(xiàng)目，通過用戶的語音識(shí)別來進(jìn)行選擇和確認(rèn)。其優(yōu)點(diǎn)在于可解放雙手，便捷交互；缺點(diǎn)是語音在嘈雜環(huán)境的識(shí)別率低下；公共場(chǎng)所人多而雜，使用語音交互可能涉及到個(gè)人隱私問題；語音命令識(shí)別率等。

（3）眼動(dòng)交互，例如英特爾公司的公開號(hào)為CN104395857A、發(fā)明名稱為“顯示器的部分的基于眼球追蹤的選擇性強(qiáng)調(diào)”的發(fā)明專利申請(qǐng)。該方式的主要思想是利用眼球的轉(zhuǎn)動(dòng)、眨眼等動(dòng)作，對(duì)目標(biāo)進(jìn)行選擇和確認(rèn)。其優(yōu)點(diǎn)在于解放雙手，具有隱秘性。缺點(diǎn)是難以區(qū)分實(shí)際操作指令與無目的性的眼動(dòng)，頻繁操作會(huì)對(duì)用戶的用眼習(xí)慣造成影響。

技術(shù)實(shí)現(xiàn)要素：

本實(shí)用新型的目的在于提供應(yīng)用于增強(qiáng)現(xiàn)實(shí)的腦機(jī)接口穿戴系統(tǒng)，可通過視覺相關(guān)腦電和頭皮肌電進(jìn)行系統(tǒng)控制，解決增強(qiáng)現(xiàn)實(shí)中交互方式存在的問題，具有較好的控制準(zhǔn)確性、隱秘性和便捷性。

本實(shí)用新型通過如下技術(shù)方案實(shí)現(xiàn)。

一種腦機(jī)交互穿戴系統(tǒng)，包括

腦電肌電采集裝置，其能夠采集使用者的腦電和肌電信號(hào)數(shù)據(jù)；

界面顯示應(yīng)用裝置，其能夠向使用者輸出用戶界面的顯示；和

數(shù)據(jù)處理裝置，其能夠?qū)λ瞿X電和肌電信號(hào)數(shù)據(jù)進(jìn)行聚合，基于所述信號(hào)數(shù)據(jù)確定使用者的操作輸入，并基于所述操作輸入確定向使用者顯示的內(nèi)容；所述腦電肌電采集裝置、所述界面顯示應(yīng)用裝置分別與所述數(shù)據(jù)處理裝置相連。

優(yōu)選地，該系統(tǒng)為可穿戴式頭箍眼鏡式設(shè)計(jì)，所述腦電肌電采集裝置包括分布于頭箍上的電極和直流耦合式模擬前端。

優(yōu)選地，所述的電極為體表電極或絕緣干電極；所述的直流耦合式模擬前端包括低增益直流放大模塊和模數(shù)轉(zhuǎn)換模塊。

優(yōu)選地，所述界面顯示應(yīng)用裝置是增強(qiáng)現(xiàn)實(shí)應(yīng)用裝置，所述增強(qiáng)現(xiàn)實(shí)應(yīng)用裝置包括透視式鏡片顯示器、攝像頭。

優(yōu)選地，透視式鏡片顯示器和攝像頭分別與所述數(shù)據(jù)處理裝置連接。

優(yōu)選地，所述數(shù)據(jù)處理裝置包括腦電肌電信號(hào)處理模塊、交互動(dòng)態(tài)控制模塊、增強(qiáng)信息知識(shí)庫和視頻融合模塊。

優(yōu)選地，所述基于所述信號(hào)數(shù)據(jù)確定使用者的操作輸入包括關(guān)注目標(biāo)的識(shí)別，以及目標(biāo)菜單選項(xiàng)的選擇。

優(yōu)選地，所述的關(guān)注目標(biāo)的識(shí)別通過SSVEP范式來完成，所述系統(tǒng)以不同頻率和刺激方式呈現(xiàn)視野范圍內(nèi)的對(duì)象和元素，通過腦電信號(hào)識(shí)別出用戶關(guān)注的目標(biāo)。

優(yōu)選地，所述SSVEP范式的刺激方式包括輪廓閃爍、標(biāo)識(shí)閃爍和/或動(dòng)態(tài)圓環(huán)標(biāo)識(shí)；所述SSVEP范式的刺激方式均以不同的頻率進(jìn)行編碼。

優(yōu)選地，所述的目標(biāo)菜單選項(xiàng)的選擇通過舌動(dòng)和咬齒產(chǎn)生的肌電來完成，系統(tǒng)根據(jù)不同模式的肌電信號(hào)將識(shí)別的菜單選擇選擇結(jié)果突出顯示。

通過以上技術(shù)方案，本實(shí)用新型能夠取得如下技術(shù)效果。

（1）利用成熟的視覺腦電信號(hào)進(jìn)行關(guān)注目標(biāo)的識(shí)別，頭皮肌電信號(hào)進(jìn)行菜單選項(xiàng)的選擇操作，為增強(qiáng)現(xiàn)實(shí)提供了有效可靠的交互方式，具有準(zhǔn)確性、隱秘性和便捷性。

（2）一體化穿戴式設(shè)計(jì)，系統(tǒng)佩戴方便，更易為用戶所接受。

（3）上述交互方式的優(yōu)點(diǎn)和穿戴式設(shè)計(jì)可使系統(tǒng)應(yīng)用于多種特殊的應(yīng)用場(chǎng)景，如殘疾人用戶、軍事、工程、娛樂等領(lǐng)域，具有巨大的市場(chǎng)價(jià)值。

附圖說明

圖1 是本實(shí)用新型的結(jié)構(gòu)示意圖。

圖2是本實(shí)用新型的系統(tǒng)框架圖。

圖3是交互動(dòng)態(tài)控制模塊的處理任務(wù)。

圖4是用戶對(duì)實(shí)物對(duì)象和虛擬元素的交互。

圖5是SSVEP范式的建立和實(shí)現(xiàn)要點(diǎn)。

圖6是視覺刺激方式。

圖7是肌電信號(hào)編碼模式。

圖8是本實(shí)用新型腦機(jī)接口穿戴系統(tǒng)的交互流程圖。

具體實(shí)施方式

如圖1所示，本實(shí)用新型的腦機(jī)交互穿戴系統(tǒng)為可穿戴式頭箍眼鏡式設(shè)計(jì)，它包括腦電肌電采集模塊、增強(qiáng)現(xiàn)實(shí)應(yīng)用模塊和數(shù)據(jù)處理芯片；其中，腦電肌電采集模塊、增強(qiáng)現(xiàn)實(shí)應(yīng)用模塊分別與數(shù)據(jù)處理芯片相連。

如圖2所示，系統(tǒng)各部分包含的模塊和相應(yīng)功能如下：

腦電肌電采集模塊由電極和直流耦合式模擬前端組成。其中電極可選用常規(guī)的體表電極（需導(dǎo)電膏）或絕緣干電極，位置覆蓋頭皮視覺區(qū)域、前額及兩側(cè)區(qū)域。直流耦合式模擬前端包括低增益直流放大模塊和模數(shù)轉(zhuǎn)換模塊。低增益直流放大模塊能夠?qū)υ茧娦盘?hào)進(jìn)行直流放大，模數(shù)轉(zhuǎn)換模塊能夠?qū)⒎糯蟮哪M信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。

增強(qiáng)現(xiàn)實(shí)應(yīng)用模塊包括透視式鏡片顯示器、兩個(gè)攝像頭。其中，透視式鏡片顯示器用于顯示虛擬場(chǎng)景和現(xiàn)實(shí)場(chǎng)景的融合信息，兩個(gè)攝像頭用于采集現(xiàn)實(shí)場(chǎng)景的視頻信息，二者分別與數(shù)據(jù)處理芯片連接。

數(shù)據(jù)處理芯片包含腦電肌電信號(hào)處理模塊、交互動(dòng)態(tài)控制模塊、增強(qiáng)信息知識(shí)庫和視頻融合模塊。腦電肌電信號(hào)處理模塊先對(duì)腦電肌電采集模塊傳輸來的數(shù)字信號(hào)進(jìn)行濾波等信號(hào)處理，再對(duì)處理后的腦電信號(hào)進(jìn)行SSVEP分析處理，結(jié)果反饋至交互動(dòng)態(tài)控制模塊；交互動(dòng)態(tài)控制模塊進(jìn)行三組處理任務(wù)：一是接收來自攝像頭的視頻信息，對(duì)視頻數(shù)據(jù)進(jìn)行識(shí)別，從增強(qiáng)信息知識(shí)庫中查詢并取出與視頻數(shù)據(jù)對(duì)應(yīng)的知識(shí)信息和菜單選項(xiàng)，將數(shù)據(jù)結(jié)果發(fā)送至視頻融合模塊；二是建立虛擬元素和現(xiàn)實(shí)對(duì)象的SSVEP范式場(chǎng)景刺激；三是接收來自腦電肌電信號(hào)處理模塊的數(shù)據(jù)結(jié)果，進(jìn)行用戶對(duì)關(guān)注目標(biāo)的識(shí)別和菜單選項(xiàng)的選擇，輸出的結(jié)果用于增強(qiáng)信息知識(shí)庫的信息再調(diào)取和視頻融合模塊的再顯示。交互動(dòng)態(tài)控制模塊的處理任務(wù)如圖3所示。增強(qiáng)信息知識(shí)庫包含與現(xiàn)實(shí)對(duì)象相關(guān)的在實(shí)物對(duì)象上添加的可以進(jìn)行選擇的有意義的增強(qiáng)信息單元，如電視機(jī)的控制界面、菜單（選擇后可以進(jìn)入下一級(jí)菜單）、按鈕（選擇后可以執(zhí)行相應(yīng)的命令）、字母和數(shù)字（選擇后可以將其作為參數(shù)輸入，實(shí)現(xiàn)文字輸入功能）。視頻融合模塊用于將收到的增強(qiáng)信息融合到現(xiàn)實(shí)對(duì)象中，并在透視室鏡片顯示器上生成顯示。

如圖4所示，用戶對(duì)實(shí)物對(duì)象和虛擬元素的交互包括兩部分，分別為關(guān)注目標(biāo)的識(shí)別和目標(biāo)菜單選項(xiàng)的選擇。關(guān)注目標(biāo)的識(shí)別通過SSVEP范式來完成，即系統(tǒng)以不同頻率呈現(xiàn)視野范圍內(nèi)的對(duì)象和元素，通過腦電信號(hào)識(shí)別出用戶關(guān)注的目標(biāo)；目標(biāo)菜單選項(xiàng)的選擇通過舌動(dòng)和咬齒產(chǎn)生的肌電來完成，即系統(tǒng)根據(jù)不同模式的肌電信號(hào)將識(shí)別的菜單選項(xiàng)選擇結(jié)果高亮顯示。

如圖5所示，用以實(shí)現(xiàn)關(guān)注目標(biāo)識(shí)別的SSVEP范式的具體建立和實(shí)現(xiàn)要點(diǎn)如下：

1）進(jìn)入目標(biāo)識(shí)別狀態(tài)——當(dāng)系統(tǒng)無任務(wù)或進(jìn)入新的場(chǎng)景，并完成目標(biāo)建模時(shí)，即進(jìn)入目標(biāo)識(shí)別狀態(tài)。交互動(dòng)態(tài)控制模塊確認(rèn)進(jìn)入目標(biāo)識(shí)別狀態(tài)后，則進(jìn)行SSVEP范式的建立。

2）SSVEP范式的建立包含刺激方式和編碼方式兩個(gè)參數(shù)。

刺激方式——刺激方式如圖6所示，可以通過以下幾種方式進(jìn)行刺激：

a）輪廓閃爍：視野場(chǎng)景中的對(duì)象的輪廓閃爍，對(duì)用戶產(chǎn)生視覺刺激；

b）標(biāo)識(shí)閃爍：在視野場(chǎng)景中的對(duì)象的右上角（或其他位置）設(shè)置方形的標(biāo)識(shí)，以該標(biāo)識(shí)代表對(duì)象和元素，通過其閃爍對(duì)用戶產(chǎn)生視覺刺激；

c）動(dòng)態(tài)圓環(huán)標(biāo)識(shí)：在視野場(chǎng)景中的對(duì)象的右上角（或其他位置）設(shè)置動(dòng)態(tài)圓環(huán)標(biāo)識(shí)，以該標(biāo)識(shí)代表對(duì)象和元素，通過圓環(huán)外擴(kuò)的動(dòng)態(tài)變化來對(duì)用戶產(chǎn)生視覺刺激；

編碼方式——上述刺激方式均以不同的頻率進(jìn)行編碼；

3）退出目標(biāo)識(shí)別狀態(tài)——系統(tǒng)完成關(guān)注目標(biāo)的識(shí)別后，停止目標(biāo)對(duì)用戶的視覺刺激，退出目標(biāo)識(shí)別狀態(tài)，進(jìn)行目標(biāo)菜單選項(xiàng)的選擇交互。

如圖7所示，不同模式的肌電信號(hào)編碼分別為由以下動(dòng)作參數(shù)的不同而產(chǎn)生：

1）咬齒涉及的動(dòng)作參數(shù)：方向、次數(shù)、力量、時(shí)間。

其中，方向可分左、右；次數(shù)可為一次、連續(xù)二次等；力量可為輕、用力等；時(shí)間可為持續(xù)1秒、2秒等。

舉例：肌電信號(hào)模式1可為左側(cè)輕咬齒一次，持續(xù)0.5s；肌電信號(hào)模式2可為左側(cè)用力咬齒一次，持續(xù)0.5s，等等。

2）舌動(dòng)肌電主要產(chǎn)生于抵住的動(dòng)作，所涉及的動(dòng)作參數(shù)：方向、力量和時(shí)間。

其中，方向可分為上、下、左、右；力量可分為輕、用力等；時(shí)間可為持續(xù)1秒、2秒等。

舉例：肌電信號(hào)模式1可為舌尖向上輕輕抵住口腔1秒；肌電信號(hào)模式2可為舌尖向下輕輕抵住口腔1秒，等等。

如圖8所示，根據(jù)本實(shí)用新型的應(yīng)用于增強(qiáng)現(xiàn)實(shí)的腦機(jī)接口穿戴系統(tǒng)的交互過程包括如下步驟：

步驟一、增強(qiáng)現(xiàn)實(shí)應(yīng)用模塊的攝像頭采集視區(qū)數(shù)據(jù)，傳輸給數(shù)據(jù)處理芯片；

步驟二、數(shù)據(jù)處理芯片中的交互動(dòng)態(tài)控制模塊根據(jù)對(duì)視頻數(shù)據(jù)進(jìn)行識(shí)別，從增強(qiáng)信息知識(shí)庫中查詢并取出與視頻數(shù)據(jù)對(duì)應(yīng)的知識(shí)信息；

步驟三、數(shù)據(jù)處理芯片中的視頻融合模塊將視頻數(shù)據(jù)與取出的知識(shí)信息融合映射在透視式鏡片顯示器中；

步驟四、交互動(dòng)態(tài)控制模塊建立虛擬元素和現(xiàn)實(shí)對(duì)象的SSVEP范式場(chǎng)景刺激，通過視頻融合模塊顯示在透視式鏡片顯示器中；

步驟五、腦電肌電信號(hào)處理模塊采集腦電肌電信號(hào)，傳輸至數(shù)據(jù)處理芯片；

步驟六、數(shù)據(jù)處理芯片中的腦電肌電信號(hào)處理模塊對(duì)腦電肌電采集模塊傳輸來到的數(shù)字信號(hào)進(jìn)行濾波等信號(hào)處理，再對(duì)處理后的腦電信號(hào)進(jìn)行SSVEP分析處理，結(jié)果反饋至交互動(dòng)態(tài)控制模塊；

步驟七、交互動(dòng)態(tài)控制模塊根據(jù)腦電信號(hào)識(shí)別出用戶關(guān)注的虛擬元素或現(xiàn)實(shí)對(duì)象，根據(jù)識(shí)別結(jié)果調(diào)取增強(qiáng)信息知識(shí)庫中的菜單選項(xiàng)，通過視頻融合模塊顯示在透視式鏡片顯示器上；

步驟八、交互動(dòng)態(tài)控制模塊根據(jù)肌電信號(hào)識(shí)別出用戶對(duì)目標(biāo)的菜單選項(xiàng)進(jìn)行的選擇操作，根據(jù)選擇顯示相應(yīng)的信息或進(jìn)行下一步交互。

步驟九、重復(fù)上述步驟進(jìn)行交互系統(tǒng)操作。

本實(shí)用新型結(jié)合腦機(jī)接口和增強(qiáng)現(xiàn)實(shí)的技術(shù)，利用腦機(jī)接口的技術(shù)手段來實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)中的交互，設(shè)計(jì)并實(shí)現(xiàn)一套完整的BCI穿戴系統(tǒng)，來應(yīng)用于增強(qiáng)現(xiàn)實(shí)環(huán)境。本實(shí)用新型系統(tǒng)的具體應(yīng)用領(lǐng)域可涉及軍事、醫(yī)療、建筑、教育、工程、影視、娛樂等。