一種交互式虛擬現(xiàn)實演示裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機交互技術(shù)，尤其涉及一種交互式虛擬現(xiàn)實演示裝置。
【背景技術(shù)】
[0002] 隨著移動計算設(shè)備從筆記本電腦到手機、平板電腦的演化，移動計算設(shè)備的操控 方式也經(jīng)歷了從鍵盤、鼠標(biāo)到手機按鍵、手寫板，再到觸摸屏、虛擬鍵盤的進化，可以看到， 移動設(shè)備的操控方式是朝著越來越直觀、簡便，并且符合人的自然習(xí)慣的方向進化的。
[0003]目前在移動計算設(shè)備上廣泛使用的基于觸摸屏的操控方式，技術(shù)上是將一塊透明 的觸摸感應(yīng)屏和顯示屏貼合在一起，觸摸感應(yīng)屏實質(zhì)上是一個定位裝置，能夠捕捉到屏幕 上的觸摸動作并獲取其位置，同時結(jié)合時間軸信息，將動作識別其為點觸、長觸、滑動等動 作之一。進而將位置和動作信息作為指令傳遞給移動計算設(shè)備，移動計算設(shè)備基于該指令 做出相應(yīng)的操作反應(yīng)。由于觸摸感應(yīng)屏與顯示屏是疊加在一起的，因此帶給使用者"所點即 所想"的使用感受，相比鼠標(biāo)、觸控板等定位設(shè)備需要通過光標(biāo)反饋位置的輸入方式，屏幕 觸控方式帶來更好的使用體驗。
[0004] 屏幕觸控方式相比鍵盤加鼠標(biāo)的方式，更加符合人的直觀反應(yīng)、更容易學(xué)習(xí)，但是 屏幕觸控方式畢竟只捕捉到了人體手指的動作，在一些需要更多使用者本體信息輸入的場 合，比如運動游戲、模擬訓(xùn)練、復(fù)雜操控、遠距離操控等，屏幕觸控方式就顯示出其捕獲人體 信息過于單一的局限性了。
[0005] 目前，現(xiàn)有的虛擬現(xiàn)實交互技術(shù)通常是利用諸如鼠標(biāo)、按鍵等常規(guī)輸入方式來與 設(shè)備進行交互，使得輸入方式過于有限，由此導(dǎo)致用戶在進行功能選擇或執(zhí)行時，操作較為 繁瑣，用戶體驗較差。

【發(fā)明內(nèi)容】

[0006] 在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。
[0007] 鑒于此，本發(fā)明提供了一種交互式虛擬現(xiàn)實演示裝置，以至少解決現(xiàn)有的虛擬現(xiàn) 實交互技術(shù)的輸入方式有限以及用戶在進行功能選擇或執(zhí)行時操作較為繁瑣的問題。
[0008] 根據(jù)本發(fā)明的一個方面，提供了一種交互式虛擬現(xiàn)實演示裝置，交互式虛擬現(xiàn)實 演示裝置包括3D攝像組件、頭盔式虛擬現(xiàn)實顯示器以及計算處理組件，所述3D攝像組件連 接至所述計算處理組件，所述計算處理組件連接至所述頭盔式虛擬現(xiàn)實顯示器；所述3D攝 像組件用于捕獲含有深度信息的使用者手部的待測圖像序列，并將所述待測圖像序列發(fā)送 給所述計算處理組件，所述計算處理組件用于基于所述待測圖像序列獲得所述使用者的手 勢，以執(zhí)行與該手勢對應(yīng)的操作指令，所述頭盔式虛擬現(xiàn)實顯示器用于將所述計算處理組 件的當(dāng)前用戶界面以虛擬現(xiàn)實顯示方式呈現(xiàn)于預(yù)定成像區(qū)域。
[0009] 進一步地，所述頭盔式虛擬現(xiàn)實顯示器包括：佩戴部，所述佩戴部可佩戴在使用者 頭部；采集成像部，所述采集成像部設(shè)置于所述佩戴部上，并連接至所述計算處理組件以 采集所述計算處理組件的用戶界面信號，來將該用戶界面信號對應(yīng)的當(dāng)前用戶界面以虛擬 現(xiàn)實顯示方式呈現(xiàn)于所述預(yù)定成像區(qū)域，所述采集成像部包括顯示屏和兩組鏡片組，其中 所述顯示屏為透明材質(zhì)并用于根據(jù)所述用戶界面信號來顯示對應(yīng)的當(dāng)前用戶界面，所述兩 組鏡片組被設(shè)置成：當(dāng)所述交互式虛擬現(xiàn)實演示裝置被使用者佩戴于頭部時，所述兩組鏡 片組分別位于使用者對應(yīng)的視線正前方，以對所述當(dāng)前用戶界面在所述預(yù)定成像區(qū)域成虛 像。
[0010] 進一步地，所述計算處理組件包括：存儲單元，用于存儲多媒體數(shù)據(jù)和應(yīng)用；輪廓 檢測單元，用于根據(jù)圖像深度信息和圖像顏色信息，在所述待測圖像序列的每幀圖像中檢 測出所述使用者的手部輪廓；特征點序列確定單元，用于針對所述使用者的每只手，利用預(yù) 設(shè)的手部結(jié)構(gòu)模板，在所述待測圖像序列的每幀圖像中確定該只手的待測特征點序列；動 作識別單元，用于針對所述使用者的每只手，在多個預(yù)設(shè)特征點序列中確定該只手的待測 特征點序列的匹配序列，以根據(jù)所述匹配序列確定該只手的動作名稱和位置；手勢識別單 元，用于在預(yù)設(shè)手勢表中選擇與所述使用者雙手的動作名稱和位置相匹配的手勢，作為已 識別手勢；指令確定單元，用于根據(jù)預(yù)設(shè)操作指令表，確定與所述已識別手勢對應(yīng)的操作指 令；執(zhí)行單元，用于對當(dāng)前執(zhí)行的與所述指令確定單元確定的操作指令對應(yīng)的應(yīng)用或多媒 體數(shù)據(jù)執(zhí)行該操作指令。
[0011] 進一步地，所述特征點序列確定單元包括：模板存儲子單元，用于存儲預(yù)設(shè)的手部 結(jié)構(gòu)模板；模板匹配子單元，用于針對所述使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在 所述待測圖像序列的每幀圖像的手部輪廓中確定該只手的預(yù)定數(shù)目個特征點；序列生成子 單元，用于針對所述使用者的每只手，利用該只手在所述待測圖像序列的各幀圖像中對應(yīng) 的預(yù)定數(shù)目個特征點，獲得該只手的待測特征點序列。
[0012] 進一步地，所述模板匹配子單元包括：定位基點確定模塊，其用于針對所述待測 圖像序列的每幀圖像，根據(jù)該圖像中的輪廓線的曲率找到該輪廓線中的指尖點和指根關(guān)節(jié) 點，以將所述指尖點作為定位基點；縮放基準(zhǔn)確定模塊，其用于針對所述定位基點確定模塊 處理后的每幀圖像，基于該幀圖像中已找到的所述定位基點，匹配每個單指的指根關(guān)節(jié)點， 得到各單指的長度來作為尺度縮放的基準(zhǔn)；縮放及形變模塊，其用于針對所述縮放基準(zhǔn)確 定模塊處理后的每幀圖像，基于已找到的所述指尖點和所述指根關(guān)節(jié)點的位置以及各單指 的長度來對相應(yīng)的所述手部結(jié)構(gòu)模板進行縮放和形變，通過匹配得到每只手的各指關(guān)節(jié)特 征點和手腕中點特征點；其中，所述模板存儲子單元存儲的所述手部結(jié)構(gòu)模板包括左手結(jié) 構(gòu)模板和右手結(jié)構(gòu)模板，所述左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板各自包括：各手指的指尖特征 點、各指關(guān)節(jié)特征點、各指根關(guān)節(jié)特征點、手腕中點特征點以及各特征點之間的拓?fù)潢P(guān)系。
[0013] 進一步地，所述動作識別單元包括：分割子單元，用于針對每只手的待測特征點序 列，根據(jù)預(yù)定時間窗將該待測特征點序列分割為多個子序列，并獲得每個子序列對應(yīng)的平 均位置；匹配序列確定子單元，用于針對每只手對應(yīng)的每個子序列，將該子序列與所述多個 預(yù)設(shè)特征點序列中的每一個分別進行匹配，在所述多個預(yù)設(shè)特征點序列中選擇與該子序列 的匹配程度高于預(yù)設(shè)的匹配閾值、并且最大的預(yù)設(shè)特征點序列，作為該子序列的匹配序列； 關(guān)聯(lián)子單元，用于將每個子序列對應(yīng)的平均位置與該子序列的匹配序列對應(yīng)的動作名稱相 關(guān)聯(lián)；動作名稱確定子單元，用于針對每只手，將該只手對應(yīng)的各子序列的匹配序列作為該 只手對應(yīng)的多個匹配序列，并將該多個匹配序列各自對應(yīng)的動作名稱作為該只手的多個動 作名稱。
[0014] 進一步地，所述手勢識別單元包括：手勢表存儲子單元，用于存儲如下映射列表來 作為所述預(yù)設(shè)手勢表：該映射列表中的每個映射的左端是一組動作名稱對及每個動作名稱 對的位置；該映射列表中的每個映射的右端是一個手勢；手勢表匹配子單元，用于將所述 預(yù)設(shè)手勢表中的每個映射的左端與所述使用者雙手的動作名稱和位置進行匹配，其中，動 作名稱的匹配執(zhí)行嚴(yán)格匹配，而位置則是通過使用者雙手各自的平均位置計算得到相對位 置信息，進而計算該相對位置信息與映射左端的位置之間的相似度來實現(xiàn)的。
[0015] 進一步地，所述計算處理組件還用于：基于所述使用者每只手的位置獲得所述使 用者手部的模擬圖形，以在所述當(dāng)前用戶界面上顯示該模擬圖形。
[0016] 進一步地，所述計算處理組件用于：根據(jù)所述使用者每只手對應(yīng)的待測特征點序 列，通過連接骨骼后外延得到該只手的外輪廓圖形，作為該只手的模擬圖形；通過對所述使 用者雙手的相對位置進行平移校準(zhǔn)和比例縮放，確定所述使用者的每只手在所述當(dāng)前用戶 界面中的顯示位置；基于所述使用者每只手的模擬圖形和顯示位置來在所述當(dāng)前用戶界面 中顯示所述使用者手部的模擬圖形。
[0017] 上述根據(jù)本發(fā)明實施例的交互式虛擬現(xiàn)實演示裝置，利用3D攝像組件捕獲使用 者手部的待測圖像序列，以識別使用者的手勢，進而根據(jù)已識別手勢來進行對應(yīng)的操作控 制，例如在虛擬現(xiàn)實設(shè)備（即本發(fā)明的交互式虛擬現(xiàn)實演示裝置）中實現(xiàn)菜單選擇等設(shè)備 操作，或者在其中安裝的游戲或相關(guān)軟件操作中通過手勢實現(xiàn)場景導(dǎo)航，以及對象的縮放、 旋轉(zhuǎn)、平移等操作。該交互式虛擬現(xiàn)實演示裝置將當(dāng)前用戶界面以虛擬現(xiàn)實顯示方式呈現(xiàn) 于預(yù)定成像區(qū)域，當(dāng)使用者頭戴該交互式虛擬現(xiàn)實演示裝置時，能夠在位于其視場之內(nèi)的 預(yù)定成像區(qū)域內(nèi)看到當(dāng)前用戶界面的虛像，并通過手勢識別的方式與演示裝置之間進行人 機交互，操控該演示裝置。與現(xiàn)有技術(shù)不同，本發(fā)明的交互式虛擬現(xiàn)實演示裝置除了可以利 用已有的鼠標(biāo)、按鍵等傳統(tǒng)輸入方式進行人機交互之外，還可以利用上述手勢識別技術(shù)來 進行人機交互，豐富了輸入方式種類，且操作較為簡便。
[0018] 此外，本發(fā)明的交互式虛擬現(xiàn)實演示裝置在進行手勢識別的過程中，采用動作模 版匹配和動作對與手勢匹配的方式來實現(xiàn)，識別處理的精度高、速度快。
[0019] 本發(fā)明的上述交互式虛擬現(xiàn)實演示裝置采用層次化設(shè)計算法，算法復(fù)雜度低，便 于實現(xiàn)。
[0020] 此外，應(yīng)用本發(fā)明的交互式虛擬現(xiàn)實演示裝置，當(dāng)需要改變（例如修改、增加或減 少等）對動作和/或手勢的定義時，可以僅通過調(diào)整模板（即，通過修改預(yù)設(shè)特征點序列 對應(yīng)的動作名稱來改變動作的定義，通過增加或減少預(yù)設(shè)特征點序列及其對應(yīng)動作名稱來 增、減動作）以及預(yù)設(shè)手勢表（即，通過修改預(yù)設(shè)手勢表中手勢對應(yīng)的多個動作來改變手勢 的定義，通過增加或減少預(yù)設(shè)手勢表中的手勢及其對應(yīng)動作來增、減手勢），而不需改變算 法或者重新訓(xùn)練分類器，大大提高了算法的適應(yīng)性。
[0021] 此外，本發(fā)明的交互式虛擬現(xiàn)實演示裝置的實時性強，能夠適合即時交互需求的 場合。
[0022] 通過以下結(jié)合附圖對本發(fā)明的最佳實施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu) 點將更加明顯。
【附圖說明】
[0023] 本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連