基于手勢(shì)與多語(yǔ)義之間柔性映射的手勢(shì)操控方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于手勢(shì)與多語(yǔ)義之間柔性映射的手勢(shì)操控方法。
【背景技術(shù)】
[0002] 目前在交互式電視上用手勢(shì)裝配虛擬機(jī)器的過(guò)程中，往往需要對(duì)場(chǎng)景對(duì)象進(jìn)行縮 放、旋轉(zhuǎn)、抓取、釋放、移動(dòng)、確定、取消等很多操作，一般情況下，一種手勢(shì)對(duì)應(yīng)一種功能命 令，從而往往需要定義很多手勢(shì)命令，而且缺乏高效的糾錯(cuò)方法，給用戶(hù)帶來(lái)極大的認(rèn)知負(fù) 荷和操作負(fù)荷。讓用戶(hù)不記憶或盡量少記憶手勢(shì)命令就可以完成手勢(shì)命令交互，尤其是在 手勢(shì)這種單通道輸入條件下讓操作者利用已有經(jīng)驗(yàn)或知識(shí)就可以自然地完成交互任務(wù)而 不受記憶大量手勢(shì)命令的困擾，交互過(guò)程不會(huì)因?yàn)椴僮髡叩恼`操作而中斷從而影響交互的 流暢性，成為是本文的基本動(dòng)機(jī)。
[0003] 用戶(hù)通過(guò)手部動(dòng)作來(lái)對(duì)智能電視進(jìn)行的控制基本上有兩種方式：一種是基于MEMS慣性傳感器的技術(shù)；另一種是基于數(shù)字圖像處理的技術(shù)?；贛EMS慣性傳感器的技 術(shù)的手勢(shì)控制器，代表作為"空中鼠標(biāo)"。這種技術(shù)通過(guò)配備在手柄或遙控器中的傳感器，捕 獲人手在空中運(yùn)動(dòng)的方向和速度，進(jìn)而轉(zhuǎn)化為對(duì)智能電視的光標(biāo)操作或相關(guān)指令。目前，該 技術(shù)已發(fā)展較為成熟。基于圖像處理的智能電視手勢(shì)控制技術(shù)，通過(guò)圖像傳感器捕獲圖像， 利用圖像分析技術(shù)跟蹤識(shí)別用戶(hù)的手部動(dòng)作，進(jìn)一步計(jì)算機(jī)將捕獲到的用戶(hù)的手部動(dòng)作轉(zhuǎn) 化為相關(guān)的指令和操作。2012年，三星SmartTV智能電視通過(guò)其內(nèi)置攝像頭檢測(cè)跟蹤人 手，將跟蹤信號(hào)轉(zhuǎn)化為相應(yīng)的鼠標(biāo)移動(dòng)操作，通過(guò)握拳檢測(cè)實(shí)現(xiàn)鼠標(biāo)的點(diǎn)擊操作。2014年， 三星智能電視手勢(shì)控制得到進(jìn)一步升級(jí)提升，已支持雙手識(shí)別控制，同時(shí)可自動(dòng)跟蹤用戶(hù) 的手勢(shì)動(dòng)作，降低了無(wú)效的手勢(shì)命令。但是，大多數(shù)智能電視用戶(hù)抱怨目前智能電視手勢(shì)操 縱界面普遍存在糾錯(cuò)難、手勢(shì)命令難記等問(wèn)題。

【發(fā)明內(nèi)容】

[0004] 為解決以上技術(shù)上的不足，本發(fā)明提供了一種基于手勢(shì)與多語(yǔ)義之間柔性映射的 手勢(shì)操控方法，有效降低了操作者對(duì)于手勢(shì)命令的認(rèn)知負(fù)荷和操作負(fù)荷。
[0005] 本發(fā)明是通過(guò)以下措施實(shí)現(xiàn)的：
[0006] 本發(fā)明的一種基于手勢(shì)與多語(yǔ)義之間柔性映射的手勢(shì)操控方法，包括以下步驟：
[0007] 步驟1，建立操作者手勢(shì)數(shù)據(jù)庫(kù)，存儲(chǔ)若干個(gè)手勢(shì)；建立上下文語(yǔ)義數(shù)據(jù)庫(kù)，存儲(chǔ) 操作者手勢(shì)數(shù)據(jù)庫(kù)中每個(gè)手勢(shì)在不同情景下的手勢(shì)語(yǔ)義集；建立操作對(duì)象功能數(shù)據(jù)庫(kù)，存 儲(chǔ)若干操作對(duì)象及可對(duì)每個(gè)操作對(duì)象施加的功能集合，每個(gè)功能集合對(duì)應(yīng)有一個(gè)手勢(shì)語(yǔ)義 集合；建立面向語(yǔ)義的行為模型區(qū)別特征SDFBM數(shù)據(jù)庫(kù)，存儲(chǔ)操作者手勢(shì)數(shù)據(jù)庫(kù)中每個(gè)手 勢(shì)在不同量化區(qū)別特征條件下的多個(gè)語(yǔ)義，且該多個(gè)語(yǔ)義歸為一個(gè)手勢(shì)語(yǔ)義群，每個(gè)手勢(shì) 與對(duì)應(yīng)的一個(gè)手勢(shì)語(yǔ)義群之間建立柔性映射關(guān)系；
[0008] 步驟2,從操作者手勢(shì)數(shù)據(jù)庫(kù)中識(shí)別出操作者實(shí)際做出的手勢(shì)g，并在上下文語(yǔ)義 數(shù)據(jù)庫(kù)中確定手勢(shì)g面向上下文的手勢(shì)語(yǔ)義集合G;
[0009] 步驟3,在操作對(duì)象功能數(shù)據(jù)庫(kù)中得出當(dāng)前操作對(duì)象上可以施加的功能集合，并根 據(jù)該功能集合得出所對(duì)應(yīng)的手勢(shì)語(yǔ)義集合F;
[0010] 步驟4,將步驟2中得到的手勢(shì)語(yǔ)義集合G和步驟3得到的手勢(shì)語(yǔ)義集合F進(jìn)行交 集計(jì)算，得到手勢(shì)語(yǔ)義集合Q，其計(jì)算公式為：Q=gnf;
[0011] 步驟5,如果手勢(shì)語(yǔ)義集合D中有多個(gè)語(yǔ)義，首先在面向語(yǔ)義的行為模型區(qū)別特 征SDFBM數(shù)據(jù)庫(kù)中找到每個(gè)語(yǔ)義所在的手勢(shì)語(yǔ)義群，然后根據(jù)柔性映射關(guān)系找到該手勢(shì)語(yǔ) 義群對(duì)應(yīng)的手勢(shì)g，再然后將操作者實(shí)際做出手勢(shì)的量化區(qū)別特征與手勢(shì)g的多個(gè)量化區(qū) 別特征逐一比較，找出兩者最為接近的那個(gè)量化區(qū)別特征，并將手勢(shì)g在該量化區(qū)別特征 條件下的那個(gè)語(yǔ)義S作為操作者的交互語(yǔ)義。
[0012] 在步驟5中，如果手勢(shì)語(yǔ)義集合Q中有一個(gè)語(yǔ)義，則該語(yǔ)義作為操作者的交互語(yǔ) 義。
[0013] 在步驟1或步驟5中面向語(yǔ)義的行為模型區(qū)別特征SDFBM數(shù)據(jù)庫(kù)內(nèi)，每個(gè)手勢(shì)的 量化區(qū)別特征包括手勢(shì)關(guān)節(jié)角度運(yùn)動(dòng)數(shù)據(jù)、手勢(shì)各關(guān)節(jié)的平均變化速度數(shù)據(jù)、手勢(shì)運(yùn)動(dòng)過(guò) 程中手勢(shì)重心位置數(shù)據(jù)。
[0014] 本發(fā)明的有益效果是：能夠?qū)崿F(xiàn)一個(gè)手勢(shì)對(duì)應(yīng)多個(gè)語(yǔ)義，減少了需要定義的手勢(shì) 命令數(shù)量，從而讓用戶(hù)不記憶或盡量少記憶手勢(shì)命令就可以完成手勢(shì)命令交互，可以自然 地完成交互任務(wù)而不受記憶大量手勢(shì)命令的困擾，不會(huì)因?yàn)椴僮髡叩恼`操作而中斷從而影 響交互的流暢性，極大減輕了給用戶(hù)帶來(lái)的認(rèn)知負(fù)荷和操作負(fù)荷。
【附圖說(shuō)明】
[0015] 圖1為本發(fā)明的流程框圖；
[0016] 圖2為在相同的交互情境下，同一個(gè)操作者手勢(shì)具有不同操作語(yǔ)義示意圖；
[0017] 圖3為三個(gè)實(shí)驗(yàn)的對(duì)比效果圖。
【具體實(shí)施方式】
[0018] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)的描述：
[0019] 本發(fā)明以降低操作者對(duì)于手勢(shì)命令的認(rèn)知負(fù)荷和操作負(fù)荷為首要目標(biāo)，揭示手勢(shì) 與語(yǔ)義之間柔性映射的認(rèn)知機(jī)理和行為模型特征，提出并實(shí)現(xiàn)柔性映射算法，使得操作者 可以用相同手勢(shì)表達(dá)不同的手勢(shì)語(yǔ)義，并在交互式智能電視平臺(tái)上進(jìn)行實(shí)驗(yàn)和驗(yàn)證，使得 操作者通過(guò)手勢(shì)與計(jì)算機(jī)進(jìn)行自然的、流暢的、非接觸式的智能交互。實(shí)現(xiàn)上述目標(biāo)面臨的 關(guān)鍵問(wèn)題是，在相同的交互情境下，找到聯(lián)系手勢(shì)與語(yǔ)義的認(rèn)知機(jī)理，挖掘操作者的行為模 型的隱式特征，最終建立同一個(gè)手勢(shì)與多語(yǔ)義之間的柔性映射。
[0020] 手勢(shì)語(yǔ)義柔性映射算法
[0021] 首先定義幾個(gè)基本概念，然后給出手勢(shì)語(yǔ)義柔性映射算法及其實(shí)現(xiàn)細(xì)節(jié)。
[0022] 一、基本概念
[0023] (1)手勢(shì)
[0024] 本文把手勢(shì)定義為：
[0025]
[0026] 其中，C表示3D手勢(shì)的全局變量運(yùn)動(dòng)軌跡曲線(xiàn)形狀，0 (t)表示手勢(shì)局部變量隨 著時(shí)間的變化而改變，9 〇表示手勢(shì)姿態(tài)變量始終保持不變，SEMfest表示手勢(shì)Gest的基本語(yǔ) 義，GSD表示與日常生活中交互經(jīng)驗(yàn)有關(guān)的手勢(shì)語(yǔ)義數(shù)據(jù)庫(kù)。根據(jù)上述定義，手勢(shì)實(shí)際上是 人手狀態(tài)全局變量和局部變量的軌跡序列，故本文也把手勢(shì)稱(chēng)為手勢(shì)參數(shù)軌跡，且具有與 操作者交互經(jīng)驗(yàn)相關(guān)聯(lián)的基本語(yǔ)義，當(dāng)且僅當(dāng)兩個(gè)操作者的手勢(shì)參數(shù)軌跡相同時(shí)，這兩個(gè) 操作者手勢(shì)才是相同的。
[0027] (2)上下文情境
[0028] 上下文由兩部分組成：1、當(dāng)前操縱對(duì)象或狀態(tài)及其可以施加的操作功能的集合。 利用該信息，可以確定當(dāng)前界面上與交互任務(wù)有關(guān)的手勢(shì)語(yǔ)義集合M;2、情境分類(lèi)標(biāo)識(shí)號(hào)， 主要用于檢索語(yǔ)義集合M，過(guò)濾掉與當(dāng)前交互場(chǎng)景不相關(guān)聯(lián)的手勢(shì)語(yǔ)義。
[0029] (3)柔性映射
[0030] 針對(duì)相同交互情境下操作者記憶手勢(shì)命令的難題，提出柔性映射的概念，其內(nèi)涵 有兩個(gè)：一是同一個(gè)手勢(shì)可以表達(dá)多個(gè)不同的手勢(shì)語(yǔ)義，如圖2所示，即在同一個(gè)上下文情 境下，同一個(gè)手勢(shì)到不同語(yǔ)義之間具有一對(duì)多映射。
[0031] 圖2中，在相同的交互情境下，本研宄容許同一個(gè)操作者手勢(shì)可以具有不同的操 作語(yǔ)義.（a)手勢(shì)"五指從包袱逐漸變?yōu)槿^"可以表達(dá)的手勢(shì)語(yǔ)義為：抓當(dāng)前零件；將當(dāng) 前鋼珠縮?。徊鸱之?dāng)前零件；平移當(dāng)前零件。（b)有食指說(shuō)表示的指點(diǎn)手勢(shì)可以表達(dá)的語(yǔ)義 為：選擇操作對(duì)象；旋轉(zhuǎn)操作對(duì)象；數(shù)字"1" ;確定。
[0032] (4)面向語(yǔ)義的行為模型區(qū)別特征（SDFBM):
[0033] 在用同一個(gè)手勢(shì)表達(dá)不同手勢(shì)語(yǔ)義時(shí)（本文把這些可以用同一個(gè)手勢(shì)表達(dá)的語(yǔ) 義集合稱(chēng)為語(yǔ)義群，每個(gè)語(yǔ)義群賦予唯一語(yǔ)義群號(hào)），操作者手勢(shì)的行為模型之間往往具有 把不同語(yǔ)義區(qū)分開(kāi)的區(qū)別特征。本文把這些區(qū)別特征稱(chēng)為面向語(yǔ)義的行為模型區(qū)別特征 (SDFBM)〇
[0034] 二、算法描述：
[0035] 降低操作者的記憶負(fù)荷，是本文的首要目標(biāo)，為此希望操作者在交互過(guò)程中可以 不記憶或少記憶手勢(shì)命令。但是，這決不是說(shuō)操作者不用記憶所有手勢(shì)命令或操縱方法，而 是說(shuō)操作者要具備使用智能手勢(shì)或智能電視的基本操作經(jīng)驗(yàn)或操作常識(shí)一一它們通過(guò)長(zhǎng) 期的生活實(shí)踐已經(jīng)成為操作者的行為模型。因此，本文以操作者的行為模型作為切入點(diǎn)，降 低操作者的認(rèn)知負(fù)荷。
[0036] 算法的總體思路：首先篩選出操作者可能的交互意圖，再結(jié)合交互上下文信息，進(jìn) 一步把操作者的手勢(shì)語(yǔ)義壓縮到更小的語(yǔ)義集合。其次，利用SDFBM特征，進(jìn)一步鎖定操作 者手勢(shì)語(yǔ)義。
[0037] 如圖1所示，采用RGB圖和對(duì)應(yīng)的深度圖序列作為手勢(shì)輸入，然后進(jìn)行手勢(shì)識(shí)別， 得到操作者手勢(shì)，把操作者當(dāng)前手勢(shì)在當(dāng)前上下文情境下所有可能的手勢(shì)語(yǔ)義從上下文語(yǔ) 義庫(kù)中檢索出來(lái)，得到手勢(shì)語(yǔ)義集合G。集合G中一定包含操