一種人機(jī)交互方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及一種人機(jī)交互方法。
【背景技術(shù)】
[0002] 隨著移動(dòng)計(jì)算設(shè)備從筆記本電腦到手機(jī)、平板電腦的演化，移動(dòng)計(jì)算設(shè)備的操控 方式也經(jīng)歷了從鍵盤(pán)、鼠標(biāo)到手機(jī)按鍵、手寫(xiě)板，再到觸摸屏、虛擬鍵盤(pán)的進(jìn)化，可以看到， 移動(dòng)設(shè)備的操控方式是朝著越來(lái)越直觀、簡(jiǎn)便，并且符合人的自然習(xí)慣的方向進(jìn)化的。
[0003]目前在移動(dòng)計(jì)算設(shè)備上廣泛使用的基于觸摸屏的操控方式，技術(shù)上是將一塊透明 的觸摸感應(yīng)屏和顯示屏貼合在一起，觸摸感應(yīng)屏實(shí)質(zhì)上是一個(gè)定位裝置，能夠捕捉到屏幕 上的觸摸動(dòng)作并獲取其位置，同時(shí)結(jié)合時(shí)間軸信息，將動(dòng)作識(shí)別其為點(diǎn)觸、長(zhǎng)觸、滑動(dòng)等動(dòng) 作之一。進(jìn)而將位置和動(dòng)作信息作為指令傳遞給移動(dòng)計(jì)算設(shè)備，移動(dòng)計(jì)算設(shè)備基于該指令 做出相應(yīng)的操作反應(yīng)。由于觸摸感應(yīng)屏與顯示屏是疊加在一起的，因此帶給使用者"所點(diǎn)即 所想"的使用感受，相比鼠標(biāo)、觸控板等定位設(shè)備需要通過(guò)光標(biāo)反饋位置的輸入方式，屏幕 觸控方式帶來(lái)更好的使用體驗(yàn)。
[0004] 屏幕觸控方式相比鍵盤(pán)加鼠標(biāo)的方式，更加符合人的直觀反應(yīng)、更容易學(xué)習(xí)，但是 屏幕觸控方式畢竟只捕捉到了人體手指的動(dòng)作，在一些需要更多使用者本體信息輸入的場(chǎng) 合，比如運(yùn)動(dòng)游戲、模擬訓(xùn)練、復(fù)雜操控、遠(yuǎn)距離操控等，屏幕觸控方式就顯示出其捕獲人體 信息過(guò)于單一的局限性了。從人機(jī)交互的角度，更多的使用者信息的獲取，將能夠傳達(dá)更豐 富、更精準(zhǔn)的使用者操作意圖，因此必然能夠帶來(lái)更便利的操控方法和更好的使用體驗(yàn)。然 而，目前的人機(jī)交互技術(shù)中的手勢(shì)識(shí)別處理所采用的算法較為復(fù)雜、耗費(fèi)時(shí)間且識(shí)別精度 低，實(shí)時(shí)性較差，不適合即時(shí)交互需求的場(chǎng)合。

【發(fā)明內(nèi)容】

[0005] 在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。
[0006] 鑒于此，本發(fā)明提供了一種人機(jī)交互方法，以至少解決現(xiàn)有的人機(jī)交互技術(shù)中的 手勢(shì)識(shí)別處理所采用的算法較為復(fù)雜、耗費(fèi)時(shí)間且識(shí)別精度低的問(wèn)題。
[0007] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種人機(jī)交互方法，所述人機(jī)交互方法包括：步驟 一、獲取含有深度信息的使用者手部的待測(cè)圖像序列；步驟二、根據(jù)圖像深度信息和圖像顏 色信息，在所述待測(cè)圖像序列的每幀圖像中檢測(cè)出所述使用者的手部輪廓；步驟三、針對(duì)所 述使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在所述待測(cè)圖像序列的每幀圖像中確定該 只手的待測(cè)特征點(diǎn)序列；步驟四、針對(duì)所述使用者的每只手，在多個(gè)預(yù)設(shè)特征點(diǎn)序列中確 定該只手的待測(cè)特征點(diǎn)序列的匹配序列，以根據(jù)所述匹配序列確定該只手的動(dòng)作名稱(chēng)和位 置；步驟五、在預(yù)設(shè)手勢(shì)表中選擇與所述使用者雙手的動(dòng)作名稱(chēng)和位置相匹配的手勢(shì)，作為 已識(shí)別手勢(shì)；步驟六、根據(jù)預(yù)設(shè)操作指令表，確定與所述已識(shí)別手勢(shì)對(duì)應(yīng)的操作指令；步驟 七、對(duì)與確定的操作指令相關(guān)的設(shè)備進(jìn)行與該操作指令對(duì)應(yīng)的操作。
[0008] 進(jìn)一步地，步驟三可以包括：步驟三一、針對(duì)所述使用者的每只手，利用預(yù)設(shè)的手 部結(jié)構(gòu)模板，在所述待測(cè)圖像序列的每幀圖像的手部輪廓中確定該只手的預(yù)定數(shù)目個(gè)特征 點(diǎn)；步驟三二、針對(duì)所述使用者的每只手，利用該只手在所述待測(cè)圖像序列的各幀圖像中對(duì) 應(yīng)的預(yù)定數(shù)目個(gè)特征點(diǎn)，獲得該只手的待測(cè)特征點(diǎn)序列。
[0009] 進(jìn)一步地，步驟一可以包括：通過(guò)捕獲預(yù)定成像區(qū)域內(nèi)的所述使用者手部的圖像， 獲得可見(jiàn)光圖像序列{/?(υ)|·和紅外圖像序列丨，卩為所述可見(jiàn)光圖像序列 第i幀圖像坐標(biāo)（x，y)處的像素值，而/取,，)為所述紅外圖像序列第i幀圖像坐標(biāo)（x，y) 處的像素值，根據(jù)如下公式獲得抽取使用者雙手信息的圖像序列：
[0011] 其中，α、β、λ為預(yù)設(shè)參數(shù)閾值，W(x,州為獲取的含有深度信息的使用者雙手 的圖像序列，作為所述待測(cè)圖像序列，i = 1，2，···，Μ，Μ為所述待測(cè)圖像序列所包含的圖像 幀數(shù)。
[0012] 進(jìn)一步地，步驟二可以包括：針對(duì)所述待測(cè)圖像序列彳/((1,>')}中的每幀圖像 4(u)，結(jié)合顏色信息刪除該幀圖像4(.w)中的噪聲點(diǎn)及非膚色區(qū)域，利用邊緣檢測(cè)算子 e( ·)對(duì)刪除所述噪聲點(diǎn)和所述非膚色區(qū)域后所得到的圖像4(為y)進(jìn)行邊緣檢測(cè)，得到邊 緣圖像々m): 二e(/Uw))，所述邊緣圖像/；y(.v>0即為僅包含所述使用者手 部輪廓的圖像。
[0013] 進(jìn)一步地，步驟三一包括：針對(duì)所述待測(cè)圖像序列的每幀圖像執(zhí)行以下處理：根 據(jù)該圖像中的輪廓線(xiàn)的曲率找到該輪廓線(xiàn)中的指尖點(diǎn)和指根關(guān)節(jié)點(diǎn)；將所述指尖點(diǎn)作為定 位基點(diǎn)，匹配每個(gè)單指的指根關(guān)節(jié)點(diǎn)，得到各單指的長(zhǎng)度作為尺度縮放的基準(zhǔn)；基于所述指 尖點(diǎn)和所述指根關(guān)節(jié)點(diǎn)的位置以及各單指的長(zhǎng)度對(duì)相應(yīng)的所述手部結(jié)構(gòu)模板進(jìn)行縮放和 形變，通過(guò)匹配得到每只手的各指關(guān)節(jié)特征點(diǎn)和手腕中點(diǎn)特征點(diǎn)；其中，所述手部結(jié)構(gòu)模板 包括左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板，所述左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板各自包括：各手指 的指尖特征點(diǎn)、各指關(guān)節(jié)特征點(diǎn)、各指根關(guān)節(jié)特征點(diǎn)、手腕中點(diǎn)特征點(diǎn)以及各特征點(diǎn)之間的 拓?fù)潢P(guān)系。
[0014] 進(jìn)一步地，步驟四可以包括：步驟四一、針對(duì)每只手的待測(cè)特征點(diǎn)序列，根據(jù)預(yù)定 時(shí)間窗將該待測(cè)特征點(diǎn)序列分割為多個(gè)子序列，并獲得每個(gè)子序列對(duì)應(yīng)的平均位置；步驟 四二、針對(duì)每只手對(duì)應(yīng)的每個(gè)子序列，將該子序列與所述多個(gè)預(yù)設(shè)特征點(diǎn)序列中的每一個(gè) 分別進(jìn)行匹配，在所述多個(gè)預(yù)設(shè)特征點(diǎn)序列中選擇與該子序列的匹配程度高于預(yù)設(shè)的匹配 閾值、并且最大的預(yù)設(shè)特征點(diǎn)序列，作為該子序列的匹配序列；步驟四三、將每個(gè)子序列對(duì) 應(yīng)的平均位置與該子序列的匹配序列對(duì)應(yīng)的動(dòng)作名稱(chēng)相關(guān)聯(lián)；步驟四四、針對(duì)每只手，將該 只手對(duì)應(yīng)的各子序列的匹配序列作為該只手對(duì)應(yīng)的多個(gè)匹配序列，并將該多個(gè)匹配序列各 自對(duì)應(yīng)的動(dòng)作名稱(chēng)作為該只手的多個(gè)動(dòng)作名稱(chēng)。
[0015] 進(jìn)一步地，步驟五可以包括：步驟五一、預(yù)先設(shè)置如下映射列表來(lái)作為所述預(yù)設(shè)手 勢(shì)表：該映射列表中的每個(gè)映射的左端是一組動(dòng)作名稱(chēng)對(duì)及每個(gè)動(dòng)作名稱(chēng)對(duì)的位置；該映 射列表中的每個(gè)映射的右端是一個(gè)手勢(shì)；步驟五二、將所述預(yù)設(shè)手勢(shì)表中的每個(gè)映射的左 端與所述使用者雙手的動(dòng)作名稱(chēng)和位置進(jìn)行匹配，其中，動(dòng)作名稱(chēng)的匹配執(zhí)行嚴(yán)格匹配，而 位置則是通過(guò)使用者雙手各自的平均位置計(jì)算得到相對(duì)位置信息，進(jìn)而計(jì)算該相對(duì)位置信 息與映射左端的位置之間的相似度來(lái)實(shí)現(xiàn)的。
[0016] 進(jìn)一步地，所述人機(jī)交互方法還可以包括：步驟八：將所述使用者每只手的位置 傳遞給所述設(shè)備，以基于所述使用者每只手的位置在所述設(shè)備的屏幕上顯示所述使用者手 部的半透明簡(jiǎn)化手部模擬圖形。
[0017] 進(jìn)一步地，步驟八可以包括：步驟八一、根據(jù)所述使用者每只手在所述待測(cè)圖像序 列的每幀圖像中對(duì)應(yīng)的待測(cè)特征點(diǎn)序列，通過(guò)連接骨骼后外延得到該只手的外輪廓圖形， 作為該只手的模擬圖形；步驟八二、通過(guò)對(duì)所述使用者雙手的相對(duì)位置進(jìn)行平移校準(zhǔn)和比 例縮放，確定所述使用者的每只手在所述屏幕中的顯示位置；步驟八三、基于所述使用者每 只手的模擬圖形和顯示位置來(lái)在所述屏幕中顯示所述使用者手部的模擬圖形。
[0018] 上述根據(jù)本發(fā)明實(shí)施例的人機(jī)交互方法，先識(shí)別單手動(dòng)作、再通過(guò)雙手動(dòng)作識(shí)別 手勢(shì)，進(jìn)而根據(jù)已識(shí)別手勢(shì)來(lái)執(zhí)行對(duì)應(yīng)操作，在人機(jī)交互過(guò)程中能夠準(zhǔn)確識(shí)別使用者的手 勢(shì)，識(shí)別精度較高，而且識(shí)別速度較快。
[0019] 此外，由于本發(fā)明實(shí)施例采用深度攝像頭獲取使用者的人體動(dòng)作作為操作移動(dòng)計(jì) 算設(shè)備的輸入操控指令，因此能夠令使用者使用更加直觀、便利的自然動(dòng)作實(shí)現(xiàn)對(duì)移動(dòng)計(jì) 算設(shè)備的非接觸式操控，為移動(dòng)計(jì)算設(shè)備在諸如運(yùn)動(dòng)游戲、模擬訓(xùn)練、復(fù)雜操控、遠(yuǎn)距離操 控等領(lǐng)域中的應(yīng)用提供更加便捷精準(zhǔn)的輸入、控制方法。
[0020] 本發(fā)明的上述人機(jī)交互方法采用層次化設(shè)計(jì)算法，算法復(fù)雜度低，便于實(shí)現(xiàn)。
[0021] 此外，應(yīng)用本發(fā)明的上述人機(jī)交互方法，當(dāng)需要改變（例如修改、增加或減少等） 對(duì)動(dòng)作和/或手勢(shì)的定義時(shí)，可以?xún)H通過(guò)調(diào)整模板（即，通過(guò)修改預(yù)設(shè)特征點(diǎn)序列對(duì)應(yīng)的動(dòng) 作名稱(chēng)來(lái)改變動(dòng)作的定義，通過(guò)增加或減少預(yù)設(shè)特征點(diǎn)序列及其對(duì)應(yīng)動(dòng)作名稱(chēng)來(lái)增、減動(dòng) 作）以及預(yù)設(shè)手勢(shì)表（即，通過(guò)修改預(yù)設(shè)手勢(shì)表中手勢(shì)對(duì)應(yīng)的多個(gè)動(dòng)作來(lái)改變手勢(shì)的定義， 通過(guò)增加或減少預(yù)設(shè)手勢(shì)表中的手勢(shì)及其對(duì)應(yīng)動(dòng)作來(lái)增、減手勢(shì)），而不需改變算法或者重 新訓(xùn)練分類(lèi)器，大大提高了算法的適應(yīng)性。
[0022] 此外，本發(fā)明的上述人機(jī)交互方法的實(shí)時(shí)性強(qiáng)，能夠適合即時(shí)交互需求的場(chǎng)合。