專利名稱：一種手勢偵測方法及偵測裝置的制作方法
技術領域：
本發(fā)明涉及手語識別領域，尤其是一種手勢偵測方法及偵測裝置。
背景技術：
隨著現(xiàn)代計算機技術的高速發(fā)展，越來越多的人機交互系統(tǒng)要求對手部動作實現(xiàn)高精度的捕捉及還原，在三維虛擬環(huán)境下如虛擬現(xiàn)實系統(tǒng)等人機交互系統(tǒng)，要求輔助的手部動作偵測設備能夠實時、精確的捕捉和還原操作人員的手部動作變化過程，很多高危環(huán)境不適合人員現(xiàn)場處理，需要遠程操控智能機器人機械手進行危險作業(yè)，這種情況需要能夠精確操控遠程的智能機器人機械手動作。手勢識別方法需要精確檢測手部和手指的運動軌跡，以及計算出手部各個手指在運動中姿勢變化，并把這種動作變化進行數(shù)字式量化，便于計算機實現(xiàn)手部動作同步還原。現(xiàn)有的手勢偵測設備主要有以下幾種
1、采用直線位移式傳感器的數(shù)據(jù)手套，通過檢測手指彎曲引起的直線位移傳感器位移量，通過位移量轉換成手指彎曲程度量。這種數(shù)據(jù)手套一般是機械骨架式應用結構，機械結構復雜。2、使用光纖彎曲傳感器的數(shù)據(jù)手套，利用光纖彎曲時引起的激光信號衰減和干涉來檢測手指彎曲狀態(tài)，根據(jù)激光信號衰減量轉換成手指彎曲程度量。3、使用加速度傳感器的數(shù)據(jù)手套技術，美國有一種使用一組加速度傳感器來測量各個手指動作的數(shù)據(jù)手套，通過手指上的加速度傳感器檢測的加速度值來轉換成手指的運動狀態(tài)。這種方法對手指的抖動處理要求很高，抖動干擾大。4、利用視覺分析的數(shù)據(jù)手套，在手套上安裝識別點，利用攝像頭捕捉識別點的運動，通過視頻分析處理識別出手套的運動狀態(tài)。外圍設備復雜、系統(tǒng)昂貴。

發(fā)明內容
本發(fā)明要解決的技術問題是提供一種硬件設備簡潔、成本低廉、處理效率高的手勢偵測方法及偵測裝置。為了解決上述技術問題，本發(fā)明所采用的技術方案是 一種手勢偵測方法，包括以下步驟
采用傳感器偵測手部和手指運動的數(shù)據(jù)采集流程；
將傳感器采集的數(shù)據(jù)信號轉換成代表手勢的特征數(shù)據(jù)陣列的數(shù)據(jù)處理流程； 將代表手勢的特征數(shù)據(jù)陣列傳輸給對手勢進行識別的后臺的數(shù)據(jù)傳輸流程； 所述數(shù)據(jù)采集流程采用一個安裝在手背上的數(shù)字式三軸加速度傳感器檢測手部運動在X、Y、Z三軸上的矢量運動加速度值，采用多個安裝在各手指活動關節(jié)部位的彎曲傳感器檢測各手指的彎曲運動；所述數(shù)據(jù)處理流程根據(jù)數(shù)字式三軸加速度傳感器的矢量運動加速度值得到手部在Χ、Υ、Ζ三軸方向與重力方向的夾角值，根據(jù)彎曲傳感器的信號計算得到各彎曲傳感器的彎曲角度值，所述X、Y、Z三軸方向與重力方向的夾角值及各彎曲傳感器的彎曲角度值在關鍵幀的數(shù)據(jù)構成代表手勢的特征數(shù)據(jù)陣列。
3
進一步，所述彎曲傳感器的個數(shù)為5個、9個、14個或17個。進一步作為優(yōu)選的實施方式，所述數(shù)據(jù)采集流程、數(shù)據(jù)處理流程、數(shù)據(jù)傳輸流程通過狀態(tài)機采用多線程并行的工作模式。一種手勢偵測裝置，包括一對采集數(shù)據(jù)進行運算處理的中央處理器單元，所述中央處理器單元通過端口分別連接有傳感器單元、電源單元、數(shù)據(jù)通信單元及一存儲需要掉電保護的系統(tǒng)參數(shù)的存儲模塊，傳感器單元包括一個數(shù)字式三軸加速度傳感器和多個彎曲傳感器，所述每個彎曲傳感器依次通過一信號調理電路連接至數(shù)據(jù)采樣電路，所述數(shù)字式三軸加速度傳感器和數(shù)據(jù)采集電路與中央處理器單元的端口連接。 進一步，所述彎曲傳感器的個數(shù)為5個、9個、14個或17個。進一步，所述數(shù)據(jù)通信單元為UART模塊、USB端口模塊或者藍牙端口模塊。進一步，所述電源單元為鋰電池和/或USB供電模塊。本發(fā)明的有益效果是本發(fā)明手勢偵測方法通過結合彎曲傳感器和數(shù)字式三軸加速度傳感器對手部和手指的運動變化的實時檢測，通過數(shù)據(jù)處理得到由加速度傳感器在X、 Y、z軸上與重力方向夾角值及各彎曲傳感器的彎曲角度值在關鍵幀的數(shù)據(jù)構成代表手勢的特征數(shù)據(jù)陣列，所述手勢偵測方法可對手部運動姿勢和手指運行進行實時偵測，精度高；進一步，所述手勢偵測方法通過采用多線程并行處理的模式，改進了傳統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)傳輸?shù)拇泄ぷ髂Ｊ剑岣吡藬?shù)據(jù)采樣、數(shù)據(jù)處理及數(shù)據(jù)傳輸?shù)男剩凰鍪謩輦蓽y裝置結合了加速度傳感器和彎曲傳感器，結構簡單，成本低，采樣精度高，處理效率高。


下面結合附圖對本發(fā)明的具體實施方式
作進一步說明 圖1是手勢偵測方法的基本流程圖2是本發(fā)明加速度傳感器在X、Y、Z三軸矢量分布圖； 圖3是本發(fā)明加速度傳感器在X、Y、Z三軸矢量與重力夾角分布圖； 圖4是彎曲傳感器示意圖5是彎曲傳感器和加速度傳感器與關節(jié)位置、彎曲范圍的對應表。圖6是采用6個傳感器實施例的傳感器分布示意圖； 圖7是采用10個傳感器實施例的傳感器分布示意圖8是采用15個傳感器實施例的傳感器分布示意圖； 圖9是采用18個傳感器實施例的傳感器分布示意圖； 圖10是本發(fā)明優(yōu)選的手勢偵測方法的流程圖； 圖11是本發(fā)明手勢偵測裝置的原理框圖； 圖12是本發(fā)明手勢偵測裝置的硬件結構圖； 圖13是彎曲傳感器信號處理電路電路原理圖； 圖14是彎曲傳感器信號調理電路電路原理圖。
具體實施例方式手勢偵測主要解決以下兩個技術問題
1、手部運動姿勢的偵測手部運動姿勢偵測是指在手部運動過程中的姿勢變化，包括轉動、平移、傾斜、翻轉等動作，主要是指手部的整體運動偵測，本發(fā)明中采用數(shù)字式三軸加速度傳感器來確定手部的空間姿勢；
2、手指運行的偵測手指運行的偵測是指各個手指的彎曲、伸展、繞動(拇指)等運行偵測。本發(fā)明在結合結合數(shù)字式三軸加速度傳感器和彎曲傳感器的基礎上，開發(fā)了一種手勢偵測方法及偵測裝置。參照圖1，一種手勢偵測方法，包括以下步驟 采用傳感器偵測手部和手指運動的數(shù)據(jù)采集流程；
將傳感器采集的數(shù)據(jù)信號轉換成代表手勢的特征數(shù)據(jù)陣列的數(shù)據(jù)處理流程； 將代表手勢的特征數(shù)據(jù)陣列傳輸給對手勢進行識別的后臺的數(shù)據(jù)傳輸流程。所述數(shù)據(jù)采集流程采用一個安裝在手背上的數(shù)字式三軸加速度傳感器檢測手部運動在X、Y、Z三軸上的矢量運動加速度值，采用多個安裝在各手指活動關節(jié)部位的彎曲傳感器檢測各手指的彎曲運動；所述數(shù)據(jù)處理流程根據(jù)數(shù)字式三軸加速度傳感器的矢量運動加速度值得到手部在X、Y、Z三軸方向與重力方向的夾角值，根據(jù)彎曲傳感器的信號計算得到各彎曲傳感器的彎曲角度值，所述X、Y、Z三軸方向與重力方向的夾角值及各彎曲傳感器的彎曲角度值在關鍵幀的數(shù)據(jù)構成代表手勢的特征數(shù)據(jù)陣列。所述加速度傳感器可以同時偵測到任何時刻手部在X、Y、Z三軸上的矢量運動加速度值，參照圖2，X、Y、Z三軸組成相互垂直的空間三維坐標系，靜態(tài)時X、Y、Z三軸上偵測到的矢量加速度值為重力在三軸上的分量加速度值，運動時X、Y、Z三軸上偵測到的矢量加速度值為重力加速度和運動加速度在三軸上的分量加速度值的合成加速度值，任意時刻重力在x、Y、z三軸上的分量加速度值不受運動加速度影響，因此任意時刻根據(jù)Χ、Υ、Ζ三軸上偵測的矢量加速度值ax、aY、aZ，結合三維空間運動算法，可以計算出運動加速度與重力加速度的合成矢量加速度avg，通過三角函數(shù)關系可以計算出加速度avg與X、Y、Z三軸的矢量空間夾角的大小，設定Z軸與重力重合時的位置為初始參考位置，則根據(jù)加速度avg與X、 Y、Z三軸的矢量空間夾角的大小結合三維空間的八個相限，可以實時確定三軸加速度傳感器的空間姿勢。參照圖3，所述加速度傳感器在X、Y、Z三軸與重力方向的夾角分別為exg、 θ yg、θ zg，在 Χ、Υ、Ζ 方向的加速度值分別為 DataX、DataY、DataZ，所述 DataX、DataY、DataZ 分別是重力和運動在三軸上分量的合加速度值，角度與加速度存在如下特定的三角函數(shù)關系
F( θ Xg) =atan ( sqrt (DataY * DataY + DataZ * DataZ) / DataX) ) * 180 / PI(1)
F( θ yg )=atan ( sqrt (DataX * DataX + DataZ * DataZ) / DataY) ) * 180 / PI(2)
F( θ Zg) =atan ( sqrt (DataX * DataX + DataY * DataY) / DataZ) ) * 180 / PI(3)
通過上述公式(1) (3)可以計算出任意時刻加速度傳感器X、Y、Z三軸與重力方向的夾角，由于加速度傳感器檢測到的X、Y、Z三軸方向上的加速度值為矢量值，故計算出來的夾角值為-90° +90°，結合加速度傳感器在Χ、Υ、Ζ三軸方向上加速度的矢量方向，可以確定加速度傳感器在任意時刻的運動姿勢。在數(shù)據(jù)處理過程中，使用時先對加速度傳感器進行初始化動作，以初始化的狀態(tài)為參考點，在運動過程中，檢測加速度傳感器在X、Y、Z三軸方向上矢量加速度的值并對矢量加速度值在時間上做二次積分，可以分別計算出在X、Y、Z 軸三個方向的移動距離以及移動方向。
參照圖4，所述彎曲傳感器米用力敏材料來偵測手指的彎曲、伸展、繞動(拇指)等動作，通過把不同的彎曲傳感器安裝在各個手指運動自由度的關鍵位置，實現(xiàn)對各個手指自由度方向上的運動偵測，所述彎曲傳感器的作用是把手指的彎曲、伸展、繞動(拇指)等動作轉換成可量測的電信號，數(shù)據(jù)處理流程通過數(shù)據(jù)分析及算法處理，將電信號轉換成帶代表彎曲傳感器彎曲的角度值，彎曲傳感器的彎曲特性見以下表達式
θ bend =μ f (Ri) + H......... (4)
所述θ bend為彎曲的角度值，f (Ri)是一個多次項函數(shù)，Ri是彎曲傳感器的電阻變化值，μ為彎曲特性曲線系統(tǒng)校正系數(shù)，H為彎曲特性偏移補償系數(shù)。所述f (Ri)的函數(shù)關系如下
權利要求
1.一種手勢偵測方法，包括以下步驟采用傳感器偵測手部和手指運動的數(shù)據(jù)采集流程；將傳感器采集的數(shù)據(jù)信號轉換成代表手勢的特征數(shù)據(jù)陣列的數(shù)據(jù)處理流程；將代表手勢的特征數(shù)據(jù)陣列傳輸給對手勢進行識別的后臺的數(shù)據(jù)傳輸流程；其特征在于所述數(shù)據(jù)采集流程采用一個安裝在手背上的數(shù)字式三軸加速度傳感器檢測手部運動在x、Y、z三軸上的矢量運動加速度值，采用多個安裝在各手指活動關節(jié)部位的彎曲傳感器檢測各手指的彎曲運動；所述數(shù)據(jù)處理流程根據(jù)數(shù)字式三軸加速度傳感器的矢量運動加速度值得到手部在X、Y、Z三軸方向與重力方向的夾角值，根據(jù)彎曲傳感器的信號計算得到各彎曲傳感器的彎曲角度值，所述X、Y、Z三軸方向與重力方向的夾角值及各彎曲傳感器的彎曲角度值在關鍵幀的數(shù)據(jù)構成代表手勢的特征數(shù)據(jù)陣列。
2.根據(jù)權利要求1所述的一種一種手勢偵測方法，其特征在于彎曲傳感器的個數(shù)為5 個、9個、14個或17個。
3.根據(jù)權利要求1所述的一種一種手勢偵測方法，其特征在于所述數(shù)據(jù)采集流程、數(shù)據(jù)處理流程、數(shù)據(jù)傳輸流程通過狀態(tài)機采用多線程并行的工作模式。
4.一種手勢偵測裝置，包括一對采集數(shù)據(jù)進行運算處理的中央處理器單元，所述中央處理器單元通過端口分別連接有傳感器單元、電源單元、數(shù)據(jù)通信單元及一存儲需要掉電保護的系統(tǒng)參數(shù)的存儲模塊，其特征在于傳感器單元包括一個數(shù)字式三軸加速度傳感器和多個彎曲傳感器，所述每個彎曲傳感器依次通過一信號調理電路連接至數(shù)據(jù)采樣電路， 所述數(shù)字式三軸加速度傳感器和數(shù)據(jù)采集電路與中央處理器單元的端口連接。
5.根據(jù)權利要求4所述的一種一種手勢偵測裝置，其特征在于所述彎曲傳感器的個數(shù)為5個、9個、14個或17個。
6.根據(jù)權利要求4所述的一種一種手勢偵測裝置，其特征在于所述數(shù)據(jù)通信單元為 UART模塊、USB端口模塊或者藍牙端口模塊。
7.根據(jù)權利要求4所述的一種一種手勢偵測裝置，其特征在于所述電源單元為鋰電池和/或USB供電模塊。
全文摘要
本發(fā)明公開了一種手勢偵測方法及裝置，所述方法包括數(shù)據(jù)采集、數(shù)據(jù)處理及數(shù)據(jù)傳輸流程，所述數(shù)據(jù)采集流程采用一個安裝在手背上的數(shù)字式三軸加速度傳感器檢測手部運動在X、Y、Z三軸上的矢量運動加速度值，采用多個安裝在各手指活動關節(jié)部位的彎曲傳感器檢測各手指的彎曲運動；所述數(shù)據(jù)處理流程根據(jù)數(shù)字式三軸加速度傳感器的矢量運動加速度值得到手部在X、Y、Z三軸方向與重力方向的夾角值，根據(jù)彎曲傳感器的信號計算得到各彎曲傳感器的彎曲角度值，所述X、Y、Z三軸方向與重力方向的夾角值及各彎曲傳感器的彎曲角度值在關鍵幀的數(shù)據(jù)構成代表手勢的特征數(shù)據(jù)陣列。本發(fā)明成本低，采樣精度高，處理效率高，可廣泛應用于手語識別領域。
文檔編號G06F3/01GK102426477SQ20111022713
公開日2012年4月25日 申請日期2011年8月9日 優(yōu)先權日2011年8月9日
發(fā)明者姚以鵬, 王兵, 王可煒, 王磊, 郝志峰, 陳曦, 黃昌正 申請人:廣東科學中心, 廣州暢途軟件有限公司