手勢(shì)識(shí)別方法及使用該方法的手掌虛擬鍵盤(pán)及其輸入方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種虛擬輸入裝置，具體地說(shuō)是一種基于腕部生物電和手指位置的手掌虛擬鍵盤(pán)及其輸入方法。
【背景技術(shù)】
[0002]隨著電子技術(shù)的發(fā)展，計(jì)算機(jī)成為現(xiàn)代工作和生活中不可或缺的一部分，鍵盤(pán)作為人機(jī)交互的重要輸入設(shè)備，其作用更是無(wú)法替代。由于人們對(duì)電子設(shè)備的使用變得日益普遍，這就要求這些設(shè)備具有較好的可移動(dòng)性和便攜性。目前，鍵盤(pán)主要有實(shí)體硬鍵盤(pán)和觸摸屏軟鍵盤(pán)兩種，由于尺寸的限制，這兩種鍵盤(pán)在便攜性和易操作性上始終是相互矛盾的，虛擬鍵盤(pán)的產(chǎn)生解決了鍵盤(pán)在便攜性和易操作性之間的矛盾。
[0003]現(xiàn)有的虛擬鍵盤(pán)采用的是投影方式，需要時(shí)通過(guò)光投照形成所需的鍵盤(pán)的影像，不使用時(shí)會(huì)完全消失。該光學(xué)虛擬鍵盤(pán)一般是通過(guò)激光在媒介上顯示虛擬鍵盤(pán)，用戶進(jìn)行鍵盤(pán)輸入，采用單個(gè)攝像頭進(jìn)行圖像采集，通過(guò)自動(dòng)光學(xué)檢測(cè)完成信息識(shí)別，鍵盤(pán)觸發(fā)相應(yīng)，用戶獲得該響應(yīng)消息。但是該虛擬鍵盤(pán)使用光投影，光線容易遮擋視線，影響使用。在專利文獻(xiàn)CN102750044A中，公開(kāi)了一種虛擬鍵盤(pán)裝置和實(shí)現(xiàn)方法，圖像采集檢測(cè)單元采集用戶的手掌位置及手指的坐標(biāo)，并將用戶的手掌顯示在實(shí)際鍵盤(pán)上，當(dāng)鍵盤(pán)模擬顯示單元提示確認(rèn)某個(gè)按鍵時(shí)，虛擬鍵盤(pán)標(biāo)定單元根據(jù)采集到的手指的坐標(biāo)標(biāo)定出虛擬鍵盤(pán)的位置和大小，運(yùn)動(dòng)跟蹤定位單元根據(jù)采集到的手指的坐標(biāo)，顯示在實(shí)際鍵盤(pán)上的手指位置以及標(biāo)定出的虛擬鍵盤(pán)的位置和大小確定按下某個(gè)按鍵。但是，該方案中需要使用攝像頭采集用戶手部圖像，來(lái)獲得原始數(shù)據(jù)，通過(guò)分析才能得到用戶的手掌位置和手指坐標(biāo)，攝像頭為了采集清晰完整的圖像，其設(shè)置位置具有一定的要求，否則不能得到完整的圖像，導(dǎo)致該設(shè)備的安裝難度增加。此外，該光學(xué)方式的虛擬鍵盤(pán)，需要位置固定的激光投影裝置或攝像頭裝置，便攜性差。

【發(fā)明內(nèi)容】

[0004]為此，本發(fā)明所要解決的技術(shù)問(wèn)題在于現(xiàn)有技術(shù)中的虛擬鍵盤(pán)需要使用攝像機(jī)采集圖像、安裝不方便的問(wèn)題，從而提出一種無(wú)需使用攝像頭、安裝簡(jiǎn)單方便的手勢(shì)識(shí)別方法以及基于該方法的手掌虛擬鍵盤(pán)及其輸入方法。
[0005]為解決上述技術(shù)問(wèn)題，本發(fā)明的提供一種手勢(shì)識(shí)別方法及使用該方法的手掌虛擬鍵盤(pán)及其輸入方法。
[0006]一種手勢(shì)識(shí)別方法，包括如下步驟:
[0007]設(shè)置在腕部的生物電傳感器采集用戶手勢(shì)運(yùn)動(dòng)時(shí)的生物電信號(hào)，設(shè)置在拇指上的位置傳感器采集拇指的運(yùn)動(dòng)軌跡以及加速度信號(hào)；
[0008]將生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段；
[0009]分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提?。?br>[0010]將提取后的所述生物電信號(hào)和加速度信號(hào)的特征值進(jìn)行融合，得到手勢(shì)特征；
[0011]將所述手勢(shì)特征輸入預(yù)先設(shè)置的手勢(shì)識(shí)別模型進(jìn)行識(shí)別，識(shí)別出用戶的手勢(shì)。
[0012]優(yōu)選地，所述“將處理后的生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段”的過(guò)程，包括:
[0013]將生物電信號(hào)，首先通過(guò)平均濾波器獲得信號(hào)的基線，然后使用原始信號(hào)減去基線，得到消除了低頻漂移的平穩(wěn)信號(hào)；然后，使用時(shí)間窗獲得生物電信號(hào)的窗內(nèi)能量；之后將該能量幅值進(jìn)行歸一化，即將信號(hào)的絕對(duì)數(shù)值變?yōu)?-1之間的相對(duì)數(shù)值，在0-1內(nèi)設(shè)定一個(gè)閾值，如果信號(hào)能量連續(xù)有若干個(gè)采樣點(diǎn)高于此閾值，則認(rèn)為信號(hào)此處為手勢(shì)活動(dòng)段的起點(diǎn)，此后為活動(dòng)段內(nèi)部，直到連續(xù)若干個(gè)采樣點(diǎn)低于閾值，則認(rèn)為信號(hào)此處為手勢(shì)活動(dòng)段的終點(diǎn)=。
[0014]優(yōu)選地，所述“分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提取”的過(guò)程，包括:
[0015]將一個(gè)活動(dòng)段內(nèi)的生物電信號(hào)，將每個(gè)類別的所有采樣點(diǎn)的絕對(duì)值計(jì)算均值，然后計(jì)算特征值，構(gòu)成一個(gè)多維特征向量；
[0016]將一個(gè)活動(dòng)段內(nèi)的加速度信號(hào)，分別計(jì)算在三維方向上的加速度以及合加速度，組成一個(gè)4維向量。
[0017]優(yōu)選地，所述手勢(shì)識(shí)別模型通過(guò)對(duì)所述手勢(shì)特征的訓(xùn)練來(lái)建立，其過(guò)程包括:
[0018]將融合后的手勢(shì)特征作為一個(gè)整體，送入分類器進(jìn)行訓(xùn)練，得到分類器模型，作為手勢(shì)識(shí)別模型。
[0019]優(yōu)選地，將生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理之前，還包括預(yù)處理的過(guò)程，具體包括:
[0020]對(duì)所述信號(hào)采集單元得到的生物電信號(hào)和加速度信號(hào)進(jìn)行降噪濾波處理，并進(jìn)行模數(shù)轉(zhuǎn)換。
[0021]一種手勢(shì)識(shí)別系統(tǒng)，包括:
[0022]信號(hào)采集單元，包括設(shè)置在腕部的生物電傳感器和設(shè)置在拇指上的位置傳感器，生物電傳感器采集用戶手勢(shì)運(yùn)動(dòng)時(shí)的生物電信息，位置傳感器采集拇指的運(yùn)動(dòng)軌跡以及加速度；
[0023]信號(hào)分割單元，將預(yù)處理后的生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段；
[0024]特征提取單元，分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提?。?br>[0025]特征融合單元，將提取后的所述生物電信號(hào)和加速度信號(hào)的特征值進(jìn)行融合，得到手勢(shì)特征；
[0026]將手勢(shì)特征輸入預(yù)先建立的手勢(shì)識(shí)別模型中進(jìn)行識(shí)別，識(shí)別出用戶的手勢(shì)。
[0027]—種使用上述手勢(shì)識(shí)別方法或系統(tǒng)的手掌虛擬鍵盤(pán)，包括:
[0028]信號(hào)采集單元，包括設(shè)置在腕部的生物電傳感器和設(shè)置在拇指上的位置傳感器，所述生物電傳感器采集用戶手勢(shì)運(yùn)動(dòng)時(shí)的生物電信息，所述位置傳感器采集拇指的運(yùn)動(dòng)軌跡以及加速度；
[0029]信號(hào)預(yù)處理單元，對(duì)所述信號(hào)采集單元得到的生物電信號(hào)和加速度信號(hào)進(jìn)行降噪濾波處理，并進(jìn)行模數(shù)轉(zhuǎn)換；
[0030]信號(hào)分割單元，將信號(hào)預(yù)處理單元處理后的生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段；
[0031]特征提取單元，分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提取；
[0032]特征融合單元，將所述生物電信號(hào)和加速度信號(hào)的特征值進(jìn)行融合，得到手勢(shì)特征；
[0033]手勢(shì)識(shí)別單元，包括預(yù)先設(shè)置的手勢(shì)識(shí)別模型，將待識(shí)別手勢(shì)特征輸入所述手勢(shì)識(shí)別模型進(jìn)行識(shí)別，得到識(shí)別出用戶的手勢(shì)；
[0034]字符映射單元，根據(jù)預(yù)先定義的手勢(shì)與所述字符的對(duì)應(yīng)關(guān)系，獲得識(shí)別出的手勢(shì)對(duì)應(yīng)的字符。
[0035]優(yōu)選地，還包括一個(gè)或多個(gè)字符集單元，該字符集單元中設(shè)置有手勢(shì)與該手勢(shì)對(duì)應(yīng)的字符。
[0036]優(yōu)選地，還包括字符集切換單元，選擇一個(gè)字符集單元作為目前手勢(shì)進(jìn)行字符匹配的字符集。
[0037]優(yōu)選地，所述手勢(shì)識(shí)別模型使用所述手勢(shì)特征通過(guò)訓(xùn)練來(lái)建立。
[0038]優(yōu)選地，所述生物電傳感器放置在用戶腕部的肌群表面，獲得用戶手勢(shì)運(yùn)動(dòng)的生物電信號(hào)，所述生物電信號(hào)包括皮膚下的肌電信號(hào)和皮膚表面的阻抗變換信號(hào)。
[0039]一種使用上述手掌虛擬鍵盤(pán)的輸入方法，包括如下步驟:
[0040]設(shè)置在腕部的生物電傳感器采集用戶手勢(shì)運(yùn)動(dòng)時(shí)的生物電信號(hào)，設(shè)置在拇指上的位置傳感器采集拇指的運(yùn)動(dòng)軌跡以及加速度信號(hào)；
[0041]對(duì)信號(hào)進(jìn)行預(yù)處理，并將處理后的生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段；
[0042]分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提取；
[0043]將提取后的所述生物電信號(hào)和加速度信號(hào)的特征值進(jìn)行融合，得到手勢(shì)特征；
[0044]使用所述手勢(shì)特征建立訓(xùn)練模型，得到手勢(shì)識(shí)別模型；
[0045]將待識(shí)別手勢(shì)特征輸入所述手勢(shì)識(shí)別模型進(jìn)行識(shí)別，識(shí)別出用戶的手勢(shì)；
[0046]根據(jù)預(yù)先定義的手勢(shì)與所述字符的對(duì)應(yīng)關(guān)系，獲得識(shí)別出的手勢(shì)對(duì)應(yīng)的字符。
[0047]本發(fā)明的技術(shù)方案相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)，
[0048](I)本發(fā)明提供一種手勢(shì)識(shí)別方法，通過(guò)設(shè)置在腕部的生物電傳感器采集用戶手勢(shì)運(yùn)動(dòng)時(shí)的生物電信號(hào)，設(shè)置在拇指上的位置傳感器采集拇指的運(yùn)動(dòng)軌跡以及加速度信號(hào)；然后將將生物電信號(hào)和加速度信號(hào)進(jìn)行分割處理，得到手勢(shì)活動(dòng)段；并分別針對(duì)手勢(shì)活動(dòng)段內(nèi)的生物電信號(hào)和加速度信號(hào)進(jìn)行特征提取；再將提取后的所述生物電信號(hào)和加速度信號(hào)的特征值進(jìn)行融合，得到手勢(shì)特征；最后，將所述手勢(shì)特征輸入預(yù)先設(shè)置的手勢(shì)識(shí)別模型進(jìn)行識(shí)別，識(shí)別出用戶的手勢(shì)。該手勢(shì)識(shí)別方法使用生物電傳感器和位置傳感器獲得生物電信號(hào)和加速度信號(hào)，并通過(guò)該信號(hào)來(lái)進(jìn)行手