一種基于Leap Motion的手語字母識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及人機(jī)智能交互領(lǐng)域，特別設(shè)及一種基于深度攝像頭設(shè)備Leap Motion 的手語字母識別方法。
【背景技術(shù)】
[0002] 手語是由于聾人交際的需要而產(chǎn)生的，它已作為聾人的一種語言，逐漸為人們所 接受。手語包括手指語和手勢語。手指語是用手指的指式變化和手型代表字母，并按照拼 音順序依次拼出詞語；漢語手語字母可W表示十個數(shù)字和26個常用字母，還有漢語里面常 用的字母組合，包括ZH，CH，SH，NG等，該樣常人說的每一個字，都可W用手語進(jìn)行精確的表 示，不會產(chǎn)生歧義；
[0003] 目前國內(nèi)外的手語識別設(shè)備根據(jù)數(shù)據(jù)采集方式不同，主要分為基于穿戴式設(shè)備 (數(shù)據(jù)手套、位置跟蹤器、加速器等）和基于視覺（圖像）的手語識別系統(tǒng)。基于其它傳統(tǒng) 的穿戴式設(shè)備的識別系統(tǒng)，是利用數(shù)據(jù)手套、位置跟蹤器等測量手勢在空間運(yùn)動的軌跡W 及時序信息，該方法的優(yōu)點在于能方便的獲取精確的手型、位置和運(yùn)動軌跡等信息，識別 率高。缺點是進(jìn)行手語交流時需要穿戴復(fù)雜的數(shù)據(jù)手套、位置跟蹤設(shè)備等，穿戴麻煩，影響 了人機(jī)交互的自然性?；谝曈X識別的方法利用普通攝像頭采集手勢圖像或視頻，再進(jìn)行 圖像處理進(jìn)行識別處理。該方式有很好的人機(jī)交互性，然而由于該方法對光線、背景等外部 條件的依賴比較強(qiáng)，在進(jìn)行手部位置、手型、運(yùn)動軌跡等特征的提取時就需要識別人佩戴 特定顏色的手套和穿有特定顏色服飾輔助定位分割，因此基于視覺識別的方法容易受到背 景、燈光、攝像頭的位置等環(huán)境因素的影響，存在局限性。
[0004] 基于Kinect的手語識別系統(tǒng)是利用固定視角的Kinect設(shè)備獲取的是絕對空間 位置坐標(biāo)的特征信息，其中包含了繁多的上半身部位特征W及雙手的視覺上的高維深度信 息，計算代價大，且不便攜帶，不能滿足交互自然性。
[0005] 因此需要一種基于Leap Motion的手語字母識別方法彌補(bǔ)上述若干缺陷。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于有效的利用Leap Motion的優(yōu)勢，提供一種不借助其它任何復(fù) 雜傳感設(shè)備，可穿戴，人機(jī)交互性好，實現(xiàn)實時交互，識別率較高的手語字母識別方法，該方 法通過將手語字母就手型、手腕偏移角度兩個方面分別進(jìn)行特征匹配的模板匹配，再根據(jù) 最大概率準(zhǔn)則W及帖流結(jié)果穩(wěn)定原則識別出手語字母。
[0007] 為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是該樣實現(xiàn)的。
[000引一種基于LeapMotion的手語字母識別方法，包括W下步驟：
[0009]步驟1;利用Leap Motion設(shè)備獲取手語字母的手掌和手腕的骨骼關(guān)節(jié)點的3D坐 標(biāo)向量信息；步驟2 ;根據(jù)手掌和手腕的骨骼關(guān)節(jié)點的3D坐標(biāo)向量信息計算對應(yīng)關(guān)節(jié)的彎 曲角度，獲取手型特征信息和手腕偏移角度特征信息；步驟3;根據(jù)上述特征信息計算手型 基元并識別出待識別的手語字母。步驟4;取連續(xù)m帖識別的手語字母相一致的作為最終 確定的識別結(jié)果。
[0010] 步驟2進(jìn)一步包括；利用LeapMotion的手掌獲取函數(shù)獲取手掌的手屯、、手指W及 手腕的各關(guān)節(jié)的3D坐標(biāo)向量，計算得到相鄰關(guān)節(jié)的相對方向向量，再計算得出每個關(guān)節(jié)的 彎曲角度，具體包括；獲取到的每個關(guān)節(jié)點的3D坐標(biāo)向量W后，取手腕的其中一個3D坐標(biāo) 向量作為參考點，計算其他關(guān)節(jié)點的相對3D坐標(biāo)向量，再把相鄰的兩個關(guān)節(jié)坐標(biāo)向量利 用余弦定律計算其夾角的角度，即關(guān)節(jié)彎曲角度，得到一組特征向量信息。
[0011] 步驟3進(jìn)一步包括，將待識別的手語字母的特征向量信息利用模板匹配的方法， 識別出手語字母，具體包括；將待識別的特征向量信息逐一與模板的特征向量進(jìn)行歐拉距 離計算，找出最小距離的N個模板信息，將該N個距離數(shù)據(jù)進(jìn)行排序，利用加權(quán)算法，根據(jù)最 大概率和最近鄰匹配準(zhǔn)則識別出當(dāng)前帖的手語字母。
[0012] 加權(quán)算法如下：
[001 引
【主權(quán)項】
1. 一種基于Leap Motion的手語字母識別方法，其特征在于，包括以下步驟： 步驟1 :利用深度攝像頭設(shè)備Leap Motion獲取手語字母的手掌和手腕的骨骼關(guān)節(jié)點 的3D坐標(biāo)信息； 步驟2 :根據(jù)手掌和手腕的骨骼關(guān)節(jié)點的3D坐標(biāo)向量信息計算對應(yīng)關(guān)節(jié)的彎曲角度， 獲取手型特征信息和手腕偏移角度特征信息； 步驟3 :根據(jù)步驟2獲得的特征信息利用模板匹配的方法以及最大概率和最近鄰準(zhǔn)則 識別出手語字母； 步驟4 :根據(jù)連續(xù)幀流相一致的識別結(jié)果確定輸出手語字母含義。
2. 如權(quán)利要求1所述的基于Leap Motion的手語字母識別方法，其特征在于，步驟2進(jìn) 一步包括：將收集的3D坐標(biāo)信息利用余弦定理計算出每個手指關(guān)節(jié)的彎曲角度及手腕的 彎曲角度，作為手型的特征信息。
3. 如權(quán)利要求1所述的基于Leap Motion的手語字母識別方法，其特征在于，步驟3進(jìn) 一步包括：將待識別的特征信息與模板的信息逐一進(jìn)行歐拉距離計算，并找出距離最小的 N個模板信息，將這N個距離數(shù)據(jù)進(jìn)行排序后，利用加權(quán)算法和最大概率準(zhǔn)則計算出本幀的 手語字母識別結(jié)果。
4. 如權(quán)利要求1所述的基于Leap Motion的手語字母識別方法，其特征在于，步驟4進(jìn) 一步包括：建立計數(shù)器，當(dāng)步驟3中判斷本幀的識別結(jié)果與上一幀相一致，則計數(shù)器自增1， 否則計數(shù)器清零；取連續(xù)m幀相一致的手語字母作為最終的識別結(jié)果，m為設(shè)定值。
【專利摘要】本發(fā)明公開一種基于Leap Motion的手語字母識別方法。本發(fā)明通過深度攝像頭Leap Motion裝置獲取手的手掌和手腕骨骼關(guān)節(jié)點3D坐標(biāo)信息；對獲取的3D坐標(biāo)信息進(jìn)行相關(guān)計算得到手的關(guān)節(jié)的彎曲角度信息，然后通過對角度信息進(jìn)行特征處理，分別獲得手型特征信息和手腕彎曲程度的特征信息；對獲得的特征信息計算與模板的歐拉距離根據(jù)最大概率的近鄰準(zhǔn)則和連續(xù)幀流結(jié)果相一致原則，識別出手語字母。所述方法有效的實現(xiàn)快速識別漢語手語字母的目標(biāo)，并且各個手語字母基元相對獨立，識別手語字母的連續(xù)性序列可以實時識別手語。本發(fā)明能夠?qū)崟r對基于手語字母的手語進(jìn)行識別，方便聾啞人利用該可穿戴設(shè)備與他人進(jìn)行有效的溝通交流。
【IPC分類】G06K9-00
【公開號】CN104866824
【申請?zhí)枴緾N201510254098
【發(fā)明人】黃愛發(fā), 徐向民, 邢曉芬, 李兆海, 倪浩淼
【申請人】華南理工大學(xué)
【公開日】2015年8月26日
【申請日】2015年5月17日