專利名稱：一種基于分類特征的手部動作識別信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機的動作識別信息處理方法，尤其是涉及一種基于分類特征的手部動作識別信息處理方法。
背景技術(shù)：
人體手部動作識別很有前景的潛在應(yīng)用之一是高級人機交互。在智能化的環(huán)境中，用戶不需要鍵盤和鼠標，就可以進行用戶和機器人之間的交互，這就要求機器人能夠理解人的意圖，達到擬人交流的效果。手勢識別目前有很多方式，大部分方法是基于對手勢的建模，主要的建模方式有基于人手表示的三維人手跟蹤建模和基于先驗?zāi)Ｐ偷娜S人手跟蹤建模?；诒硎镜姆椒ㄒ箢A(yù)先定義一組手勢集，從每個手勢中提取唯一的手勢描述子，通過從圖像特征空間到手勢空間的映射直接得到手勢的估計。而基于模型的方法則根據(jù)靜止的三維手模型來識別手勢，把被投影的3D模型與被觀察到的圖像特征進行匹配而恢復(fù)手的狀態(tài)，最后得到手的 3D形狀。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種簡單、實用，對于動作過程非相似的動作識別率較高的基于分類特征的手部動作識別信息處理方法。本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)一種基于分類特征的手部動作識別信息處理方法，其特征在于，包括以下步驟1)對手部區(qū)域進行檢測及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟2、的人體上肢關(guān)節(jié)模型，對手部的角度參數(shù)和直線參數(shù)進行特征提取，組成特征向量并利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特征向量進行識別；4)判斷識別結(jié)果是否正確，若為是，將識別結(jié)果輸出，若為否，返回步驟1)。所述的步驟1)對手部區(qū)域進行檢測及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執(zhí)行步驟3)，若為否，返回步驟1)；3)對獲取的圖像進行預(yù)處理；4)采用基于自適應(yīng)混合高斯模型來建立背景，并采用背景減除法獲得人體手部運動目標，同時對當前幀圖像進行膚色分割，提取出手部膚色區(qū)域以及人臉區(qū)域并對這些區(qū)域進行標記；5)將手部運動目標和手部膚色區(qū)域融合后，并通過背景減除法分割出手部運動目標與膚色區(qū)的圖像。所述的步驟2~)中的建立人體上肢關(guān)節(jié)模型步驟如下
對獲得的手部運動目標與膚色區(qū)的圖像進行二值化，然后利用人體膚色模型得到人體的手掌、手臂、臉部區(qū)域；獲得的手掌、手臂、臉部區(qū)域以后，由于頭部區(qū)域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設(shè)人體的臉部為圓形，計算其質(zhì)心所在位置，利用人體頭部質(zhì)心位置近似估計人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質(zhì)心
處是一個固定值，假設(shè)人體頭部半徑為R，則R的值近似為λ/^，如果頭部的質(zhì)心位置為
V π
(x，y)，則左肩部位置為(x-r · Φ，y+r)，其中0 = (l + VJ)/2，左肩部的χ坐標即為x+r · Φ ； 同理根據(jù)對稱性可知右肩部坐標位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自于指尖和肩部最大距離的連線，由于人類的骨骼的長度有比較一致的比例關(guān)系，所以前臂與后臂的長度的比例關(guān)系是恒定的，肘關(guān)節(jié)在以肩為圓心，以后臂的長度為半徑在一定的區(qū)域內(nèi)運動，對應(yīng)關(guān)系如下x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標系中x2+y2長度即為前臂的長度L，則上式可寫成z2 = r2_L2，假定用戶正面面向攝像頭，在實際的空間坐標系中，空間上的一個點(X，1, ζ)在圖像平面坐標為(x’，y’)，其中x’ = (f/z)x,y' = (f/z)y，而f的長度是固定的，利用以上獲得的參數(shù)以及端點固定的關(guān)節(jié)模型及其對應(yīng)的方程組，以估計各個關(guān)節(jié)點的3D坐標，建立人體上肢關(guān)節(jié)模型。所述的步驟3)中的對獲取的圖像進行預(yù)處理過程如下首先將RGB空間的圖像變換到Y(jié)CbCr空間，利用YCbCr色彩空間亮度和色度分離的性質(zhì)在一定程度上克服光照干擾， 再使用中值濾波和線性平滑濾波對手區(qū)域二值圖進行去噪，其中YCbCr是DVD、攝像機、數(shù)字電視等消費類視頻產(chǎn)品中，常用的色彩編碼方案，YCbCr其中Y是指亮度分量，Cb指藍色色度分量，而Cr指紅色色度分量。所述的3)中的利用HMM模型對其進行訓練過程如下每個手部動作采集N組樣本，而每組樣本包括M張圖像使用HMM模型進行訓練，訓練過程如下首先要對左右結(jié)構(gòu)的離散HMM模型λ = (Α, B, π )初始化，并設(shè)定狀態(tài)i只能返回到本身或轉(zhuǎn)移到i+Ι狀態(tài)，狀態(tài)轉(zhuǎn)移矩陣初始化為
權(quán)利要求
1.一種基于分類特征的手部動作識別信息處理方法，其特征在于，包括以下步驟1)對手部區(qū)域進行檢測及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟幻的人體上肢關(guān)節(jié)模型，對手部的角度參數(shù)和直線參數(shù)進行特征提取，組成特征向量并利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特征向量進行識別；4)判斷識別結(jié)果是否正確，若為是，將識別結(jié)果輸出，若為否，返回步驟1)。
2.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的步驟1)對手部區(qū)域進行檢測及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執(zhí)行步驟3)，若為否，返回步驟1)；3)對獲取的圖像進行預(yù)處理；4)采用基于自適應(yīng)混合高斯模型來建立背景，并采用背景減除法獲得人體手部運動目標，同時對當前幀圖像進行膚色分割，提取出手部膚色區(qū)域以及人臉區(qū)域并對這些區(qū)域進行標記；5)將手部運動目標和手部膚色區(qū)域融合后，并通過背景減除法分割出手部運動目標與膚色區(qū)的圖像。
3.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的步驟幻中的建立人體上肢關(guān)節(jié)模型步驟如下對獲得的手部運動目標與膚色區(qū)的圖像進行二值化，然后利用人體膚色模型得到人體的手掌、手臂、臉部區(qū)域；獲得的手掌、手臂、臉部區(qū)域以后，由于頭部區(qū)域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設(shè)人體的臉部為圓形，計算其質(zhì)心所在位置，利用人體頭部質(zhì)心位置近似估計人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質(zhì)心處是一個固定值，假設(shè)人體頭部半徑為R，則R的值近似為如果頭部的質(zhì)心位置為(χ，y)，則左肩部位置為(x_r · (Ky+r)，其由0 = (l + VJ)/2，左肩部的χ坐標即為x+r· Φ ；同理根據(jù)對稱性可知右肩部坐標位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自于指尖和肩部最大距離的連線，由于人類的骨骼的長度有比較一致的比例關(guān)系，所以前臂與后臂的長度的比例關(guān)系是恒定的，肘關(guān)節(jié)在以肩為圓心，以后臂的長度為半徑在一定的區(qū)域內(nèi)運動，對應(yīng)關(guān)系如下 x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標系中x2+y2長度即為前臂的長度L，則上式可寫成ζ2 = r2-L2，假定用戶正面面向攝像頭，在實際的空間坐標系中，空間上的一個點(X，1, ζ)在圖像平面坐標為 0^’，7’)，其中3’ = (f/z)x，y’ = (f/z)y，而f的長度是固定的，利用以上獲得的參數(shù)以及端點固定的關(guān)節(jié)模型及其對應(yīng)的方程組，以估計各個關(guān)節(jié)點的3D坐標，建立人體上肢關(guān)節(jié)模型。
4.根據(jù)權(quán)利要求2所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的步驟3)中的對獲取的圖像進行預(yù)處理過程如下首先將RGB空間的圖像變換到 YCbCr空間，利用YCbCr色彩空間亮度和色度分離的性質(zhì)在一定程度上克服光照干擾，再使用中值濾波和線性平滑濾波對手區(qū)域二值圖進行去噪。
5.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的3)中的利用HMM模型對其進行訓練過程如下每個手部動作采集N組樣本，而每組樣本包括M張圖像使用HMM模型進行訓練，訓練過程如下首先要對左右結(jié)構(gòu)的離散HMM模型λ = (Α，Β，π)初始化，并設(shè)定狀態(tài)i只能返回到本身或轉(zhuǎn)移到i+Ι狀態(tài)，狀態(tài)轉(zhuǎn)移矩陣初始化為
6.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的角度參數(shù)包括關(guān)節(jié)角度。
7.根據(jù)權(quán)利要求1所述的一種基于分類特征的手部動作識別信息處理方法，其特征在于，所述的直線參數(shù)包括骨長度、手掌尺度、臂長。
全文摘要
本發(fā)明涉及一種基于分類特征的手部動作識別信息處理方法，包括以下步驟1)對手部區(qū)域進行檢測及分割處理；2)根據(jù)步驟1)處理后的數(shù)據(jù)建立人體上肢關(guān)節(jié)模型；3)根據(jù)步驟2)的人體上肢關(guān)節(jié)模型，對手部的角度參數(shù)和直線參數(shù)進行特征提取，組成特征向量并利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特征向量進行識別；4)判斷識別結(jié)果是否正確，若為是，將識別結(jié)果輸出，若為否，返回步驟1)。與現(xiàn)有技術(shù)相比，本發(fā)明具有簡單、實用，對于動作過程非相似的動作識別率較高等優(yōu)點。
文檔編號G06K9/66GK102567703SQ201010583370
公開日2012年7月11日 申請日期2010年12月10日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者曾龍海, 許以君, 許華虎, 陽誠海, 陳開 申請人:上海上大海潤信息系統(tǒng)有限公司