一種基于三維自然手勢的三維跟蹤和交互方法
【專利摘要】本發(fā)明公開了一種基于三維自然手勢的三維跟蹤和交互方法，其特征在于，包括如下步驟：初始化三維手勢模型；通過概率統(tǒng)計(jì)方法初始化行為模型庫，該行為模型包括四個矩陣：矩陣一Obje-matrix,矩陣二Gest-matrix,矩陣三Beha-matrix和矩陣四Path，矩陣一表示在操作場景中完成對物體i進(jìn)行操作后選擇物體j進(jìn)行操作的概率；矩陣二表示由基本手勢i到基本手勢j的轉(zhuǎn)移概率；矩陣三Beha-matrix[i]表示基本手勢i的行為模型；矩陣四表示由物體i到物體j的路徑。
【專利說明】一種基于三維自然手勢的三維跟蹤和交互方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維手勢模型處理領(lǐng)域，具體地講，涉及一種基于三維自然手勢的三維跟蹤和交互方法。
【背景技術(shù)】
[0002]自然人機(jī)交互是利用人的日常技能進(jìn)行的，強(qiáng)調(diào)無需特別訓(xùn)練或不需要訓(xùn)練。在基于人臉、頭部、手臂、人手、人眼以及整個人體的輸入方式中，由于在通信和操作中的靈巧性，人手是最有效、用途最多的輸入工具。手勢是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段，以人手直接作為計(jì)算機(jī)的輸入方式，人機(jī)間的通訊將不再需要中間媒體，用戶可以簡單地定義一種適當(dāng)?shù)氖謩輥韺χ車臋C(jī)器進(jìn)行控制；手勢是人與人之間的一種非口頭交流形式，它包括從用手指示方向和移動物體的簡單動作到能夠表達(dá)感情以及允許彼此交流的復(fù)雜手勢?？紤]到人們擁有做手勢的大量經(jīng)驗(yàn)知識，如果人們能夠把這些技能從日常的經(jīng)驗(yàn)中轉(zhuǎn)換過來并用在人機(jī)交互方面，就可以期盼直觀的、操作簡便的、功能強(qiáng)大的人機(jī)接口。
[0003]目前，三維交互技術(shù)的研究在國際圖形學(xué)界已引起廣泛重視，人們普遍認(rèn)為三維圖形交互技術(shù)將成為新一代用戶界面的關(guān)鍵技術(shù)之一。事實(shí)上，研究者用手勢作為人機(jī)交互的工具進(jìn)行了大量的研究，已經(jīng)在手語識別、手指鼠標(biāo)、虛擬物體控制、家電遙控、Windows命令控制、手指繪畫、機(jī)器人控制等領(lǐng)域得到初步應(yīng)用。
[0004]通過對合成人手的3D模型進(jìn)行手勢分析，然后搜索模型參數(shù)，根據(jù)跟蹤歷史信息和人手3D約束條件，對模型參數(shù)進(jìn)行逐步求精和優(yōu)化，直到3D模型和真實(shí)人手具有相同的可視化圖像為止。針對光照條件和自遮擋等問題，2008年波士頓大學(xué)的StanSclaroff教授及其研究團(tuán)隊(duì)引入動態(tài)隱狀態(tài)形狀模型(Dynamic Hidden-State ShapeModels, DHSSMs)對人手進(jìn)行跟蹤和識別[9]，他們實(shí)際上采用遞歸貝葉斯方法，利用局部窮舉搜索技術(shù)得到狀態(tài)的估計(jì)值。
[0005]中國科學(xué)院自動化研究所模式識別國家重點(diǎn)實(shí)驗(yàn)室的潘春洪研究員和馬頌德教授在基于區(qū)域的手指三維運(yùn)動跟蹤[J].(中國圖像圖形學(xué)報(bào).2003，8(10):1205-1210.)提出一種基于區(qū)域的多連接體(手指)的三維運(yùn)動跟蹤算法。該算法首先用多約束融合的方法以及手指的運(yùn)動特性，建立多剛體的三維運(yùn)動描述，通過三類基本約束條件，把跟蹤問題歸結(jié)為一個約束誤差優(yōu)化問題。該方法的一個主要特點(diǎn)之一是無需進(jìn)行特征點(diǎn)的對應(yīng)，通過結(jié)合運(yùn)動特性和約束關(guān)系大大提高了跟蹤結(jié)果的魯棒性。
[0006]清華大學(xué)的孫增圻教授和崔錦實(shí)博士在基于三維模型的關(guān)節(jié)式物體姿態(tài)估計(jì)與跟蹤方法研究[D].(博士論文，2004，北京:清華大學(xué).)提出一種基于回歸一優(yōu)化方法的關(guān)節(jié)式物體的姿態(tài)估計(jì)方法。該方法把回歸分析與全局優(yōu)化搜索相結(jié)合，保證了估計(jì)的精度和連續(xù)性；針對現(xiàn)有濾波器在高維非線性多峰跟蹤問題上的困難，將粒子濾波器與全局搜索算法的演化粒子濾波器方法相結(jié)合，提高了高維跟蹤的精確度；針對物體模型參數(shù)的自動更新這一難題，將傳統(tǒng)的粒子濾波器方法與在線期望最大化方法相結(jié)合，并引入了基于演化計(jì)算的全局搜索方法來解決高維狀態(tài)空間且無顯式解析關(guān)系情況下的優(yōu)化問題。[0007]現(xiàn)有研究存在以下幾個問題:(1)人機(jī)交互涉及到兩個基本對象:人和計(jì)算機(jī)。目前大多數(shù)研究對“人”的研究不夠深入；(2)沒有一個自然高效的交互模式。

【發(fā)明內(nèi)容】

[0008]本發(fā)明要解決的技術(shù)問題是提供一種三維自然手勢的三維跟蹤和交互方法。
[0009]本發(fā)明采用如下技術(shù)方案實(shí)現(xiàn)發(fā)明目的:在普通單目視覺條件下，提供一種基于三維手勢的自然、有效、高效的人機(jī)交互模式。
[0010]一種基于三維自然手勢的三維跟蹤和交互方法，其特征在于，包括如下步驟:
[0011](I)初始化三維手勢模型； [0012](2)通過機(jī)器學(xué)習(xí)方法初始化行為模型庫，該行為模型包括四個矩陣:0bje-matrix, Gest-matrix, Beha-matrix 和 Path。[Obje-1na trix] ,.en表示在操作場景中完成對物體
i進(jìn)行操作后選擇物體j進(jìn)行操作的概率\ Gest-matrix、表示由基本手勢i到基本手勢j的轉(zhuǎn)移概率；Beha-matriX[i]表示基本手勢i的行為模型；[&〖用表示由物體i到物體j的路徑；
[0013](3)選擇場景中的候選物體；
[0014](4)根據(jù)當(dāng)前物體和所選擇的物體，在[i^ th].η中檢索出從當(dāng)前物體到所選物體的路徑；
[0015](5)確定操作手勢；
[0016](6)跟蹤基本手勢，估計(jì)手勢狀態(tài)；
[0017](7)刷新行為模型庫。
[0018]作為對本技術(shù)方案的進(jìn)一步限定，所述步驟(3)包括如下步驟:
[0019](3.1)邏輯上將場景中的候選物體按照[0匕化-JKSirixLwl中的概率由小到大進(jìn)行排列；
[0020](3.2)順次高光顯示每個候選物體；
[0021](3.3)如果在高光停留期間手勢發(fā)生運(yùn)動，則當(dāng)前高光所在候選物體為所選；否貝U，轉(zhuǎn)3.2步，直到用戶選中物體為止。
[0022]3、根據(jù)權(quán)利要求1所述基于三維自然手勢的三維跟蹤和交互方法，其特征在于，所述步驟(5)包括:
[0023](5.1)根據(jù)對操作者擬操作手勢進(jìn)行排序，操作者快速完成
擬采用的手勢，攝像機(jī)得到其手勢序列，按照排序順序依次對手勢進(jìn)行比較；
[0024](5.2)從Beha-matrix [i]中提取當(dāng)前候選手勢的行為模型，并快速在計(jì)算機(jī)屏幕上顯示該行為模型的運(yùn)動動畫；
[0025](5.3)如果操作者手勢發(fā)生平移運(yùn)動，則表示操作者認(rèn)可上述動畫；否則，轉(zhuǎn)步驟(5.1)，直到選擇成功為止。
[0026]作為對本技術(shù)方案的進(jìn)一步限定，所述步驟(6)包括:
[0027](6.1)對于基本手勢的每一幀，在行為模型附近產(chǎn)生N手勢粒子；
[0028](6.2)估計(jì)手勢狀態(tài):[0029]
【權(quán)利要求】
1.一種基于三維自然手勢的三維跟蹤和交互方法，其特征在于，包括如下步驟: (1)初始化三維手勢模型； (2)通過概率統(tǒng)計(jì)方法初始化行為模型庫，該行為模型包括四個矩陣:矩陣一 Obje-matrix,矩陣二 Gest-matrix，矩陣三 Behanatrix 和矩陣四 Path，矩陣一
2.根據(jù)權(quán)利要求1所述基于三維自然手勢的三維跟蹤和交互方法，其特征在于，所述步驟(3)包括如下步驟:(3.1)邏輯上將場景中的候選物體按照矩陣
3.根據(jù)權(quán)利要求1所述基于三維自然手勢的三維跟蹤和交互方法，其特征在于，所述步驟(5)包括:(5.1)根據(jù)矩陣二
4.根據(jù)權(quán)利要求1所述基于三維自然手勢的三維跟蹤和交互方法，其特征在于，所述步驟(6)包括: (6.1)對于基本手勢的每一幀，在行為模型附近產(chǎn)生N手勢粒子4〃 (6.2)估計(jì)手勢狀態(tài):


【文檔編號】G06F3/01GK103699214SQ201310285326
【公開日】2014年4月2日 申請日期:2013年7月8日 優(yōu)先權(quán)日:2013年7月8日
【發(fā)明者】馮志全, 楊波 申請人:濟(jì)南大學(xué)