一種基于靜態(tài)手勢(shì)的人機(jī)交互方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提供了一種基于靜態(tài)手勢(shì)的人機(jī)交互方法及系統(tǒng)，人機(jī)交互方法包括手勢(shì)識(shí)別方法，手勢(shì)識(shí)別方法中包括建立實(shí)時(shí)膚色模型步驟、建立手勢(shì)幾何模型步驟、建立跟蹤模型步驟、識(shí)別步驟。本發(fā)明的有益效果是：本發(fā)明可以讓人們通過(guò)做手勢(shì)實(shí)現(xiàn)人與機(jī)器的交互、給機(jī)器下達(dá)指令。從交互方式層面上說(shuō)，本發(fā)明提供了一種新穎的、簡(jiǎn)潔的、更為人性化的人機(jī)交互方式。從系統(tǒng)實(shí)現(xiàn)方法層面說(shuō)，該系統(tǒng)中用到的手勢(shì)識(shí)別單元有效地克服了傳統(tǒng)手勢(shì)識(shí)別的穩(wěn)定性差、指令量少不可擴(kuò)充、嚴(yán)重依賴(lài)PC平臺(tái)等問(wèn)題。
【專(zhuān)利說(shuō)明】一種基于靜態(tài)手勢(shì)的人機(jī)交互方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人工智能領(lǐng)域，尤其涉及一種基于靜態(tài)手勢(shì)的人機(jī)交互方法及系統(tǒng)。

【背景技術(shù)】
[0002] 手勢(shì)交互是理想的人機(jī)交互方式之一，而手勢(shì)識(shí)別技術(shù)是手勢(shì)交互的重要技術(shù)手 段。手勢(shì)識(shí)別技術(shù)一般包括膚色分割、手勢(shì)區(qū)域提取、手勢(shì)特征提取、手勢(shì)特征分類(lèi)（識(shí)別） 這四部分。在傳統(tǒng)的手勢(shì)識(shí)別技術(shù)中這幾個(gè)技術(shù)模塊實(shí)現(xiàn)各有差異，但總體存在改進(jìn)空間。 傳統(tǒng)手勢(shì)識(shí)別技術(shù)一般具有以下缺點(diǎn)：
[0003] -、傳統(tǒng)手勢(shì)識(shí)別方法中膚色分割部分一般采用將RGB顏色轉(zhuǎn)換到Y(jié)cbcr或HSV 顏色空間，然后通過(guò)限定閾值得到膚色分割模塊。這樣的膚色分割處理方法通常會(huì)因?yàn)榄h(huán) 境光照的影響，效果變的不穩(wěn)定。而且不能處理好環(huán)境中類(lèi)膚色區(qū)域的干擾，對(duì)使用環(huán)境要 求比較高。
[0004] 二、傳統(tǒng)手勢(shì)識(shí)別方法中手勢(shì)區(qū)域提取部分，很多時(shí)候直接將膚色區(qū)域認(rèn)定為手 勢(shì)區(qū)域，即使加入手勢(shì)區(qū)域判斷，也一般是采用最大膚色連通區(qū)域作為手勢(shì)區(qū)域，這種弱特 征判斷在實(shí)際應(yīng)用中很難將人臉膚色區(qū)域同手勢(shì)膚色區(qū)域做區(qū)分，最終導(dǎo)致手勢(shì)識(shí)別失敗
[0005] 三、傳統(tǒng)手勢(shì)識(shí)別方法中手勢(shì)特征提取部分，一般采用凸包面積占用比率作為手 勢(shì)類(lèi)型的關(guān)鍵特征、另外還有手指?jìng)€(gè)數(shù)、手勢(shì)質(zhì)心等也經(jīng)常被用做手勢(shì)類(lèi)型特征。這些特征 能在一定程度上為手勢(shì)分類(lèi)提供特征數(shù)據(jù)，但當(dāng)手勢(shì)種類(lèi)多的時(shí)候則會(huì)體現(xiàn)出明顯的局限 性、誤識(shí)率明顯提高。
[0006] 四、在手勢(shì)特征分類(lèi)這一塊，傳統(tǒng)手勢(shì)識(shí)別方法中一般著重于單張圖像的靜態(tài)手 勢(shì)識(shí)別，忽視了視頻數(shù)據(jù)的連續(xù)性，沒(méi)能充分利用數(shù)據(jù)以進(jìn)一步提高識(shí)別的可靠性。


【發(fā)明內(nèi)容】

[0007] 為了解決現(xiàn)有技術(shù)中的問(wèn)題，本發(fā)明提供了一種基于靜態(tài)手勢(shì)的人機(jī)交互方法。
[0008] 本發(fā)明提供了一種基于靜態(tài)手勢(shì)的人機(jī)交互方法，包括手勢(shì)識(shí)別方法，在所述手 勢(shì)識(shí)別方法中包括：
[0009] 建立實(shí)時(shí)膚色模型步驟：從圖像中提取膚色塊；
[0010] 建立手勢(shì)幾何模型步驟：從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令；
[0011] 建立跟蹤模型步驟：對(duì)手勢(shì)圖像做跟蹤；
[0012] 識(shí)別步驟：用于手勢(shì)指令識(shí)別；
[0013] 在所述實(shí)時(shí)膚色模型步驟中包括：
[0014] 初始膚色獲取步驟：利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊；
[0015] 膚色模型計(jì)算步驟：利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模 型，并且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù)；
[0016] 膚色判斷步驟：根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定 閾值時(shí)給予膚色判斷，否則做非膚色判斷。
[0017] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述手勢(shì)幾何模型步驟中包括：
[0018] 手勢(shì)模型構(gòu)建步驟：對(duì)所有膚色區(qū)域利用線(xiàn)段和圓在幾何上重構(gòu)手勢(shì)手型；
[0019] 手型膚色區(qū)域判斷步驟：在已構(gòu)建的手勢(shì)幾何模型基礎(chǔ)上，判斷該模型是否滿(mǎn)足 手的實(shí)際特征，如若合理則做手勢(shì)膚色判斷，否則做非手勢(shì)膚色判斷；
[0020] 靜態(tài)手勢(shì)指令錄入步驟：滿(mǎn)足用戶(hù)自定義手勢(shì)指令。
[0021] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述跟蹤模型步驟能夠完成對(duì)用戶(hù)1?2個(gè)手的跟蹤， 所述跟蹤模型步驟從實(shí)時(shí)膚色模型步驟中獲取輸入數(shù)據(jù)，從手勢(shì)幾何模型步驟獲取初始跟 蹤窗口，最終完成對(duì)特定手勢(shì)膚色塊的跟蹤，在跟蹤過(guò)程中，利用幀間信息為手勢(shì)幾何模型 步驟、識(shí)別步驟提供手勢(shì)膚色位置信息。
[0022] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述識(shí)別步驟中，根據(jù)手勢(shì)幾何模型所得到的幾何 特征和跟蹤模型得到的跟蹤信息識(shí)別出特定手勢(shì)指令。
[0023] 作為本發(fā)明的進(jìn)一步改進(jìn)，該人機(jī)交互方法包括：
[0024] 視頻采集步驟：采集用戶(hù)手勢(shì)數(shù)據(jù)，并傳輸給核心處理步驟；
[0025] 核心處理步驟：通過(guò)手勢(shì)識(shí)別方法分析出視頻中的手勢(shì)指令，再將手勢(shì)指令命令 下達(dá)給指令執(zhí)行步驟；
[0026] 指令執(zhí)行步驟：執(zhí)行與手勢(shì)指令相對(duì)應(yīng)的指令程序。
[0027] 本發(fā)明還提供了一種基于靜態(tài)手勢(shì)的人機(jī)交互系統(tǒng)，包括手勢(shì)識(shí)別單元，在所述 手勢(shì)識(shí)別單元中包括：
[0028] 實(shí)時(shí)膚色模型模塊：用于從圖像中提取膚色塊；
[0029] 手勢(shì)幾何模型模塊：用于從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令；
[0030] 跟蹤模型模塊：用于對(duì)手勢(shì)圖像做跟蹤；
[0031] 識(shí)別模塊：用于手勢(shì)指令識(shí)別；
[0032] 在所述實(shí)時(shí)膚色模型模塊中包括：
[0033] 初始膚色獲取模塊：利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊；
[0034] 膚色模型計(jì)算模塊：利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模 型，并且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù)；
[0035] 膚色判斷模塊：根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定 閾值時(shí)給予膚色判斷，否則做非膚色判斷。
[0036] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述手勢(shì)幾何模型模塊中包括：
[0037] 手勢(shì)模型構(gòu)建模塊：用于對(duì)所有膚色區(qū)域利用線(xiàn)段和圓在幾何上重構(gòu)手勢(shì)手型；
[0038] 手型膚色區(qū)域判斷模塊：用于在已構(gòu)建的手勢(shì)幾何模型基礎(chǔ)上，判斷該模型是否 滿(mǎn)足手的實(shí)際特征，如若合理則做手勢(shì)膚色判斷，否則做非手勢(shì)膚色判斷；
[0039] 靜態(tài)手勢(shì)指令錄入模塊：用于滿(mǎn)足用戶(hù)自定義手勢(shì)指令。
[0040] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述跟蹤模型模塊能夠完成對(duì)用戶(hù)1?2個(gè)手的跟蹤， 所述跟蹤模型模塊從實(shí)時(shí)膚色模型模塊中獲取輸入數(shù)據(jù)，從手勢(shì)幾何模型模塊獲取初始跟 蹤窗口，最終完成對(duì)特定手勢(shì)膚色塊的跟蹤，在跟蹤過(guò)程中，利用幀間信息為手勢(shì)幾何模型 模塊、識(shí)別模塊提供手勢(shì)膚色位置信息。
[0041] 作為本發(fā)明的進(jìn)一步改進(jìn)，在所述識(shí)別模塊中，根據(jù)手勢(shì)幾何模型模塊所得到的 幾何特征和跟蹤模型模塊得到的跟蹤信息識(shí)別出特定手勢(shì)指令。
[0042] 作為本發(fā)明的進(jìn)一步改進(jìn)，該人機(jī)交互系統(tǒng)包括：
[0043] 視頻采集單元：用于采集用戶(hù)手勢(shì)數(shù)據(jù)，并傳輸給核心處理單元；
[0044] 核心處理單元：用于通過(guò)手勢(shì)識(shí)別單元分析出視頻中的手勢(shì)指令，再將手勢(shì)指令 命令下達(dá)給指令執(zhí)行單元；
[0045] 指令執(zhí)行單元：用于執(zhí)行與手勢(shì)指令相對(duì)應(yīng)的指令程序。
[0046] 本發(fā)明的有益效果是：本發(fā)明可以讓人們通過(guò)做手勢(shì)實(shí)現(xiàn)人與機(jī)器的交互、給機(jī) 器下達(dá)指令。從交互方式層面上說(shuō)，本發(fā)明提供了一種新穎的、簡(jiǎn)潔的、更為人性化的人機(jī) 交互方式。從系統(tǒng)實(shí)現(xiàn)方法層面說(shuō)，該系統(tǒng)中用到的手勢(shì)識(shí)別單元有效地克服了傳統(tǒng)手勢(shì) 識(shí)別的穩(wěn)定性差、指令量少不可擴(kuò)充、嚴(yán)重依賴(lài)PC平臺(tái)等問(wèn)題。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0047] 圖1是本發(fā)明的靜態(tài)手勢(shì)指令示意圖；
[0048] 圖2是本發(fā)明的人機(jī)交互系統(tǒng)原理框圖；
[0049] 圖3是本發(fā)明的人機(jī)交互系統(tǒng)一實(shí)施例的原理框圖。

【具體實(shí)施方式】
[0050] 本發(fā)明公開(kāi)了一種基于靜態(tài)手勢(shì)的人機(jī)交互方法，包括手勢(shì)識(shí)別方法，在所述手 勢(shì)識(shí)別方法中包括：
[0051] 建立實(shí)時(shí)膚色模型步驟：從圖像中提取膚色塊；
[0052] 建立手勢(shì)幾何模型步驟：從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令；
[0053] 建立跟蹤模型步驟：對(duì)手勢(shì)圖像做跟蹤；
[0054] 識(shí)別步驟：用于手勢(shì)指令識(shí)別；
[0055] 在所述實(shí)時(shí)膚色模型步驟中包括：
[0056] 初始膚色獲取步驟：利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊；
[0057] 膚色模型計(jì)算步驟：利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模 型，并且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù)；
[0058] 膚色判斷步驟：根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定 閾值時(shí)給予膚色判斷，否則做非膚色判斷。
[0059] 作為本發(fā)明的一個(gè)實(shí)施例，在該實(shí)時(shí)膚色模型步驟中，首先需要建立實(shí)時(shí)膚色數(shù) 據(jù)庫(kù)，為多高斯概率模型提供初始數(shù)據(jù)。而實(shí)時(shí)膚色數(shù)據(jù)庫(kù)建立在幀差法和嚴(yán)格膚色數(shù)據(jù) 模型的基礎(chǔ)上。在完成了實(shí)時(shí)膚色數(shù)據(jù)庫(kù)后便可按照以下原理建立基于亮度索引的多高斯 概率膚色模型。建立基于亮度索引的多高斯概率膚色模型的原理為：
[0060] 計(jì)算亮度索引：Y = 0· 299 Xr+0. 587 X g+0. 114Xb
[0061] 計(jì)算特征向量：

【權(quán)利要求】
1. 一種基于靜態(tài)手勢(shì)的人機(jī)交互方法，其特征在于，包括手勢(shì)識(shí)別方法，在所述手勢(shì)識(shí) 別方法中包括： 建立實(shí)時(shí)膚色模型步驟：從圖像中提取膚色塊； 建立手勢(shì)幾何模型步驟：從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令； 建立跟蹤模型步驟：對(duì)手勢(shì)圖像做跟蹤； 識(shí)別步驟：用于手勢(shì)指令識(shí)別； 在所述實(shí)時(shí)膚色模型步驟中包括： 初始膚色獲取步驟：利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊； 膚色模型計(jì)算步驟：利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模型，并 且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù)； 膚色判斷步驟：根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定閾值 時(shí)給予膚色判斷，否則做非膚色判斷。
2. 根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在所述手勢(shì)幾何模型步驟中包 括： 手勢(shì)模型構(gòu)建步驟：對(duì)所有膚色區(qū)域利用線(xiàn)段和圓在幾何上重構(gòu)手勢(shì)手型；手型膚色 區(qū)域判斷步驟：在已構(gòu)建的手勢(shì)幾何模型基礎(chǔ)上，判斷該模型是否滿(mǎn)足手的實(shí)際特征，如若 合理則做手勢(shì)膚色判斷，否則做非手勢(shì)膚色判斷； 靜態(tài)手勢(shì)指令錄入步驟：滿(mǎn)足用戶(hù)自定義手勢(shì)指令。
3. 根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，所述跟蹤模型步驟能夠完成對(duì) 用戶(hù)1?2個(gè)手的跟蹤，所述跟蹤模型步驟從實(shí)時(shí)膚色模型步驟中獲取輸入數(shù)據(jù)，從手勢(shì)幾 何模型步驟獲取初始跟蹤窗口，最終完成對(duì)特定手勢(shì)膚色塊的跟蹤，在跟蹤過(guò)程中，利用幀 間信息為手勢(shì)幾何模型步驟、識(shí)別步驟提供手勢(shì)膚色位置信息。
4. 根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于，在所述識(shí)別步驟中，根據(jù)手勢(shì)幾 何模型所得到的幾何特征和跟蹤模型得到的跟蹤信息識(shí)別出特定手勢(shì)指令。
5. 根據(jù)權(quán)利要求1至4任一項(xiàng)所述的人機(jī)交互方法，其特征在于，該人機(jī)交互方法包 括： 視頻采集步驟：采集用戶(hù)手勢(shì)數(shù)據(jù)，并傳輸給核心處理步驟； 核心處理步驟：通過(guò)手勢(shì)識(shí)別方法分析出視頻中的手勢(shì)指令，再將手勢(shì)指令命令下達(dá) 給指令執(zhí)行步驟； 指令執(zhí)行步驟：執(zhí)行與手勢(shì)指令相對(duì)應(yīng)的指令程序。
6. -種基于靜態(tài)手勢(shì)的人機(jī)交互系統(tǒng)，其特征在于，包括手勢(shì)識(shí)別單元，在所述手勢(shì)識(shí) 別單元中包括： 實(shí)時(shí)膚色模型模塊：用于從圖像中提取膚色塊； 手勢(shì)幾何模型模塊：用于從膚色圖像中提取手勢(shì)特征，定義靜態(tài)手勢(shì)指令； 跟蹤模型模塊：用于對(duì)手勢(shì)圖像做跟蹤； 識(shí)別模塊：用于手勢(shì)指令識(shí)別； 在所述實(shí)時(shí)膚色模型模塊中包括： 初始膚色獲取模塊：利用嚴(yán)格膚色閾值限制和動(dòng)態(tài)幀差來(lái)獲取初始膚色數(shù)據(jù)塊； 膚色模型計(jì)算模塊：利用已有的膚色數(shù)據(jù)庫(kù)計(jì)算基于亮度索引的多高斯膚色模型，并 且在手勢(shì)識(shí)別過(guò)程中根據(jù)當(dāng)前所獲得膚色圖像實(shí)時(shí)更新模型參數(shù)； 膚色判斷模塊：根據(jù)計(jì)算好的膚色模型，對(duì)像素點(diǎn)進(jìn)行膚色判斷，當(dāng)概率大于設(shè)定閾值 時(shí)給予膚色判斷，否則做非膚色判斷。
7. 根據(jù)權(quán)利要求6所述的人機(jī)交互系統(tǒng)，其特征在于，在所述手勢(shì)幾何模型模塊中包 括： 手勢(shì)模型構(gòu)建模塊：用于對(duì)所有膚色區(qū)域利用線(xiàn)段和圓在幾何上重構(gòu)手勢(shì)手型； 手型膚色區(qū)域判斷模塊：用于在已構(gòu)建的手勢(shì)幾何模型基礎(chǔ)上，判斷該模型是否滿(mǎn)足 手的實(shí)際特征，如若合理則做手勢(shì)膚色判斷，否則做非手勢(shì)膚色判斷； 靜態(tài)手勢(shì)指令錄入模塊：用于滿(mǎn)足用戶(hù)自定義手勢(shì)指令。
8. 根據(jù)權(quán)利要求6所述的人機(jī)交互系統(tǒng)，其特征在于，所述跟蹤模型模塊能夠完成對(duì) 用戶(hù)1?2個(gè)手的跟蹤，所述跟蹤模型模塊從實(shí)時(shí)膚色模型模塊中獲取輸入數(shù)據(jù)，從手勢(shì)幾 何模型模塊獲取初始跟蹤窗口，最終完成對(duì)特定手勢(shì)膚色塊的跟蹤，在跟蹤過(guò)程中，利用幀 間信息為手勢(shì)幾何模型模塊、識(shí)別模塊提供手勢(shì)膚色位置信息。
9. 根據(jù)權(quán)利要求6所述的人機(jī)交互系統(tǒng)，其特征在于，在所述識(shí)別模塊中，根據(jù)手勢(shì)幾 何模型模塊所得到的幾何特征和跟蹤模型模塊得到的跟蹤信息識(shí)別出特定手勢(shì)指令。
10. 根據(jù)權(quán)利要求6至9任一項(xiàng)所述的人機(jī)交互系統(tǒng)，其特征在于，該人機(jī)交互系統(tǒng)包 括： 視頻采集單元：用于采集用戶(hù)手勢(shì)數(shù)據(jù)，并傳輸給核心處理單元； 核心處理單元：用于通過(guò)手勢(shì)識(shí)別單元分析出視頻中的手勢(shì)指令，再將手勢(shì)指令命令 下達(dá)給指令執(zhí)行單元； 指令執(zhí)行單元：用于執(zhí)行與手勢(shì)指令相對(duì)應(yīng)的指令程序。
【文檔編號(hào)】G06F3/01GK104123008SQ201410371319
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2014年7月30日 優(yōu)先權(quán)日:2014年7月30日
【發(fā)明者】王鴻鵬, 尤磊, 譚典雄, 楊祥紅 申請(qǐng)人:哈爾濱工業(yè)大學(xué)深圳研究生院