22122)、（叉'31131，丫'32-7 32)、（1'41141，7'4214 2)(對(duì)應(yīng)左手）}。然后，將計(jì)算得到的使用者雙手的上述相對(duì)位置與 映射二左端的相對(duì)位置{(X5，y5)，（X6，y6)，（X7，y7)，（xs，ys)}進(jìn)行匹配，也即，計(jì)算{(乂'11- XII，y' 12-yi2)、(X' 21-X21，y' 22-y22)、(X' 31-X31，y' 32-y32)、(X'41-X41，y'42-y42)(對(duì)應(yīng)左手)}與 {(X5，y5)，（X6，y6)，（X7，y7)，（X8，ys)}之間的相似度，假設(shè)計(jì)算得到的相似度為95%。在該例 子中，設(shè)相似度閾值為80%，于是判定計(jì)算得到的使用者雙手的相對(duì)位置與映射二左端的 相對(duì)位置是匹配的。由此，在該例子中，人機(jī)交互的結(jié)果為"爆炸"。
[0089]由此，利用手勢(shì)表匹配子單元520，通過(guò)雙手各自的多個(gè)動(dòng)作和位置與預(yù)定手勢(shì)表 之間的匹配來(lái)確定使用者的手勢(shì)，使得識(shí)別的精度較高；當(dāng)根據(jù)不同應(yīng)用場(chǎng)景需要改變(例 如修改、增加或減少等)對(duì)手勢(shì)的定義時(shí)，不需要修改算法或重新訓(xùn)練分類器，可以僅通過(guò) 調(diào)整預(yù)定手勢(shì)表中的手勢(shì)名稱或者手勢(shì)對(duì)應(yīng)的動(dòng)作名稱等方式來(lái)實(shí)現(xiàn)對(duì)手勢(shì)定義的改變， 大大提高了算法的適應(yīng)性。
[0090]根據(jù)一種實(shí)現(xiàn)方式，指令確定單元160可以建立一個(gè)手勢(shì)名稱和操作指令之間的 一個(gè)映射關(guān)系表，作為上述預(yù)設(shè)操作指令表。該預(yù)設(shè)操作指令表包括多個(gè)映射，每個(gè)映射的 左邊為一個(gè)預(yù)設(shè)手勢(shì)的名稱，而右邊為與該預(yù)設(shè)手勢(shì)對(duì)應(yīng)的操作指令（比如用于移動(dòng)計(jì)算 設(shè)備圖形界面操作的基本操作指令，例如焦點(diǎn)移動(dòng)、點(diǎn)擊、雙擊、點(diǎn)擊拖動(dòng)、放大、縮小、旋 轉(zhuǎn)、長(zhǎng)觸等）。由此，通過(guò)查表操作即可獲得與已識(shí)別手勢(shì)HandSignal對(duì)應(yīng)的那個(gè)操作指令 OptCom。
[0091] 此外，如圖6所示，在根據(jù)本實(shí)用新型實(shí)施例的具有3D攝像組件的電子設(shè)備的另一 個(gè)示例中，具有3D攝像組件的電子設(shè)備600除了可以包括3D攝像單元610、輪廓檢測(cè)單元 620、特征點(diǎn)序列確定單元630、動(dòng)作識(shí)別單元640、手勢(shì)識(shí)別單元650、指令確定單元660以及 執(zhí)行單元670之外，還可以包括實(shí)時(shí)顯示單元680。其中，圖6所示的3D攝像單元610、輪廓檢 測(cè)單元620、特征點(diǎn)序列確定單元630、動(dòng)作識(shí)別單元640、手勢(shì)識(shí)別單元650、指令確定單元 660以及執(zhí)行單元670可以分別具有與圖1所示的具有3D攝像組件的電子設(shè)備100中對(duì)應(yīng)單 元相同的結(jié)構(gòu)和功能，并能夠達(dá)到相類似的效果，這里不再贅述。
[0092]根據(jù)一種實(shí)現(xiàn)方式，實(shí)時(shí)顯示單元680可以基于使用者每只手的位置在電子設(shè)備 的屏幕上顯示使用者手部的模擬圖形。
[0093]例如，實(shí)時(shí)顯示單元680可用于:根據(jù)使用者每只手在待測(cè)圖像序列的每幀圖像中 對(duì)應(yīng)的待測(cè)特征點(diǎn)序列(例如每幀圖像中每只手的20個(gè)特征點(diǎn)），通過(guò)連接骨骼后外延得到 該只手的外輪廓圖形，作為該只手的模擬圖形;通過(guò)對(duì)使用者雙手的相對(duì)位置進(jìn)行平移校 準(zhǔn)和比例縮放，確定使用者的每只手在所述屏幕中的顯示位置;基于使用者每只手的模擬 圖形和顯示位置來(lái)在屏幕中顯示使用者手部的模擬圖形。
[0094] 由此，可以通過(guò)在移動(dòng)計(jì)算設(shè)備的屏幕上顯示半透明的手部圖形來(lái)給用戶提供視 覺(jué)反饋，并幫助用戶調(diào)整手部位置和操作。需要說(shuō)明的是，在執(zhí)行"通過(guò)對(duì)使用者雙手的相 對(duì)位置進(jìn)行平移校準(zhǔn)和比例縮放"的處理時(shí)，如果已識(shí)別手勢(shì)中只包含使用者的單只手，則 不存在相對(duì)位置(或者相對(duì)位置被記為無(wú)窮大），此時(shí)，可以在一個(gè)指定的初始位置顯示對(duì) 應(yīng)的單只手。此外，在執(zhí)行"基于使用者每只手的模擬圖形和顯示位置來(lái)在屏幕中顯示使用 者手部的模擬圖形"的處理時(shí)，若已識(shí)別手勢(shì)中包括雙手，則顯示雙手的模擬圖形;若已識(shí) 別手勢(shì)僅包含單只手，則僅顯示該只手的模擬圖形。
[0095] 例如，在實(shí)際應(yīng)用中，可以將將本實(shí)用新型的上述技術(shù)應(yīng)用于平板電腦或筆記本 電腦，實(shí)現(xiàn)非接觸式的手勢(shì)操作。在該應(yīng)用場(chǎng)景中，深度攝像頭安裝于平板電腦或筆記本電 腦屏幕上方，正對(duì)使用者，使用者抬起雙手置于屏幕前，做出相關(guān)手勢(shì)操作，即可：1、替代實(shí) 體鼠標(biāo)實(shí)現(xiàn)鼠標(biāo)光標(biāo)的移動(dòng)及點(diǎn)擊操作;2、在游戲或相關(guān)軟件操作中通過(guò)手勢(shì)實(shí)現(xiàn)場(chǎng)景導(dǎo) 航，以及對(duì)象的縮放、旋轉(zhuǎn)、平移等操作。
[0096]上述根據(jù)本實(shí)用新型實(shí)施例的具有3D攝像組件的電子設(shè)備，先識(shí)別單手動(dòng)作、再 通過(guò)雙手動(dòng)作識(shí)別手勢(shì)，進(jìn)而根據(jù)已識(shí)別手勢(shì)來(lái)執(zhí)行對(duì)應(yīng)操作，在人機(jī)交互過(guò)程中能夠準(zhǔn) 確識(shí)別使用者的手勢(shì)，識(shí)別精度較高，而且識(shí)別速度較快。
[0097] 此外，由于本實(shí)用新型實(shí)施例采用深度攝像頭獲取使用者的人體動(dòng)作作為操作移 動(dòng)計(jì)算設(shè)備的輸入操控指令，因此能夠令使用者使用更加直觀、便利的自然動(dòng)作實(shí)現(xiàn)對(duì)移 動(dòng)計(jì)算設(shè)備的非接觸式操控，為移動(dòng)計(jì)算設(shè)備在諸如運(yùn)動(dòng)游戲、模擬訓(xùn)練、復(fù)雜操控、遠(yuǎn)距 離操控等領(lǐng)域中的應(yīng)用提供更加便捷精準(zhǔn)的輸入、控制。
[0098] 盡管根據(jù)有限數(shù)量的實(shí)施例描述了本實(shí)用新型，但是受益于上面的描述，本技術(shù) 領(lǐng)域內(nèi)的技術(shù)人員明白，在由此描述的本實(shí)用新型的范圍內(nèi)，可以設(shè)想其它實(shí)施例。此外， 應(yīng)當(dāng)注意，本說(shuō)明書(shū)中使用的語(yǔ)言主要是為了可讀性和教導(dǎo)的目的而選擇的，而不是為了 解釋或者限定本實(shí)用新型的主題而選擇的。因此，在不偏離所附權(quán)利要求書(shū)的范圍和精神 的情況下，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)許多修改和變更都是顯而易見(jiàn)的。對(duì)于本 實(shí)用新型的范圍，對(duì)本實(shí)用新型所做的公開(kāi)是說(shuō)明性的，而非限制性的，本實(shí)用新型的范圍 由所附權(quán)利要求書(shū)限定。
【主權(quán)項(xiàng)】
1. 一種具有3D攝像組件的電子設(shè)備，其特征在于，所述具有3D攝像組件的電子設(shè)備包 括3D攝像單元、輪廓檢測(cè)單元、特征點(diǎn)序列確定單元、動(dòng)作識(shí)別單元、手勢(shì)識(shí)別單元、指令確 定單元和執(zhí)行單元，所述3D攝像單元連接所述輪廓檢測(cè)單元，所述輪廓檢測(cè)單元連接所述 特征點(diǎn)序列確定單元，所述特征點(diǎn)序列確定單元連接所述動(dòng)作識(shí)別單元，所述動(dòng)作識(shí)別單 元連接所述手勢(shì)識(shí)別單元，所述手勢(shì)識(shí)別單元連接所述指令確定單元，所述指令確定單元 連接所述執(zhí)行單元； 其中，所述3D攝像單元捕獲含有深度信息的使用者手部的待測(cè)圖像序列；所述輪廓檢 測(cè)單元根據(jù)圖像深度信息和圖像顏色信息，在所述待測(cè)圖像序列的每幀圖像中檢測(cè)出所述 使用者的手部輪廓;所述特征點(diǎn)序列確定單元針對(duì)所述使用者的每只手，利用預(yù)設(shè)的手部 結(jié)構(gòu)模板，在所述待測(cè)圖像序列的每幀圖像中確定該只手的待測(cè)特征點(diǎn)序列；所述動(dòng)作識(shí) 別單元針對(duì)所述使用者的每只手，在多個(gè)預(yù)設(shè)特征點(diǎn)序列中確定該只手的待測(cè)特征點(diǎn)序列 的匹配序列，以根據(jù)所述匹配序列確定該只手的動(dòng)作名稱和位置;所述手勢(shì)識(shí)別單元在預(yù) 設(shè)手勢(shì)表中選擇與所述使用者雙手的動(dòng)作名稱和位置相匹配的手勢(shì)，作為已識(shí)別手勢(shì);所 述指令確定單元根據(jù)預(yù)設(shè)操作指令表，確定與所述已識(shí)別手勢(shì)對(duì)應(yīng)的操作指令;所述執(zhí)行 單元對(duì)與確定的操作指令相關(guān)的設(shè)備進(jìn)行與該操作指令對(duì)應(yīng)的操作。2. 根據(jù)權(quán)利要求1所述的具有3D攝像組件的電子設(shè)備，其特征在于，所述3D攝像單元包 括兩個(gè)3D攝像頭。3. 根據(jù)權(quán)利要求1所述的具有3D攝像組件的電子設(shè)備，其特征在于，所述電子設(shè)備為以 下之一:手機(jī)、多媒體播放設(shè)備、臺(tái)式機(jī)、筆記本電腦以及平板電腦。
【專利摘要】本實(shí)用新型提供了一種具有3D攝像組件的電子設(shè)備，該設(shè)備包括：3D攝像單元、輪廓檢測(cè)單元、特征點(diǎn)序列確定單元、動(dòng)作識(shí)別單元、手勢(shì)識(shí)別單元、指令確定單元和執(zhí)行單元，3D攝像單元連接輪廓檢測(cè)單元，輪廓檢測(cè)單元連接特征點(diǎn)序列確定單元，特征點(diǎn)序列確定單元連接動(dòng)作識(shí)別單元，動(dòng)作識(shí)別單元連接手勢(shì)識(shí)別單元，手勢(shì)識(shí)別單元連接指令確定單元，指令確定單元連接執(zhí)行單元。本實(shí)用新型的上述技術(shù)能夠在人機(jī)交互過(guò)程中準(zhǔn)確識(shí)別使用者的手勢(shì)，識(shí)別精度較高，識(shí)別速度快。
【IPC分類】G06F3/01, G06F1/16
【公開(kāi)號(hào)】CN205080500
【申請(qǐng)?zhí)枴緾N201520687547
【發(fā)明人】李建英, 朱磊, 韓琦, 楊曉光
【申請(qǐng)人】哈爾濱市一舍科技有限公司
【公開(kāi)日】2016年3月9日
【申請(qǐng)日】2015年9月7日