同下面的 詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本 發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中：
[0024] 圖IA是示出本發(fā)明的一種交互式虛擬現(xiàn)實(shí)演示裝置的一個示例的三維結(jié)構(gòu)示意 圖，圖1B-1F分別是圖IA所示的虛擬現(xiàn)實(shí)交互設(shè)備的主視圖、俯視圖、仰視圖、左視圖和右 視圖；
[0025] 圖2A和圖2B是示出將圖IA所示的交互式虛擬現(xiàn)實(shí)演示裝置佩戴在使用者頭部 的不意圖；
[0026] 圖3是示出計算處理組件130的一個示例的結(jié)構(gòu)示意圖；
[0027] 圖4是示出圖3中的特征點(diǎn)序列確定單元320的一個示例的結(jié)構(gòu)示意圖；
[0028] 圖5是示出圖4中的模板匹配子單元420的一個示例的結(jié)構(gòu)示意圖；
[0029] 圖6是示出圖3中的動作識別單元330的一個示例的結(jié)構(gòu)示意圖；
[0030] 圖7是示出圖3中的手勢識別單元340的一個示例的結(jié)構(gòu)示意圖。
[0031] 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其他元件放大了，以 便有助于提高對本發(fā)明實(shí)施例的理解。
【具體實(shí)施方式】
[0032] 在下文中將結(jié)合附圖對本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見， 在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施 例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實(shí)施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時的，但對得益于本公開 內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。
[0033] 在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細(xì)節(jié)。
[0034] 本發(fā)明的實(shí)施例提供了一種交互式虛擬現(xiàn)實(shí)演示裝置，交互式虛擬現(xiàn)實(shí)演示裝置 包括3D攝像組件、頭盔式虛擬現(xiàn)實(shí)顯示器以及計算處理組件，所述3D攝像組件連接至所述 計算處理組件，所述計算處理組件連接至所述頭盔式虛擬現(xiàn)實(shí)顯示器；所述3D攝像組件用 于捕獲含有深度信息的使用者手部的待測圖像序列，并將所述待測圖像序列發(fā)送給所述計 算處理組件，所述計算處理組件用于基于所述待測圖像序列獲得所述使用者的手勢，以執(zhí) 行與該手勢對應(yīng)的操作指令，所述頭盔式虛擬現(xiàn)實(shí)顯示器用于將所述計算處理組件的當(dāng)前 用戶界面以虛擬現(xiàn)實(shí)顯示方式呈現(xiàn)于預(yù)定成像區(qū)域。
[0035] 圖IA-圖IF示出了本發(fā)明的交互式虛擬現(xiàn)實(shí)演示裝置的一個示例的結(jié)構(gòu)。如圖 IA-圖IF所示，交互式虛擬現(xiàn)實(shí)演示裝置100包括3D攝像組件110、頭盔式虛擬現(xiàn)實(shí)顯示 器120 (例如包括下文所描述的佩戴部210和采集成像部220)以及計算處理組件130。其 中，3D攝像組件110連接（此處為電信號連接）至計算處理組件130,計算處理組件130連 接（此處為電信號連接）至頭盔式虛擬現(xiàn)實(shí)顯示器120。需要說明的是，在該示例中，信號 處理組件130是設(shè)置在頭盔式虛擬現(xiàn)實(shí)顯示器120內(nèi)部的。此外，圖2A和圖2B示出了將 圖IA所示的虛擬現(xiàn)實(shí)交互設(shè)備佩戴在使用者頭部的示意圖。
[0036] 3D攝像組件110用于捕獲含有深度信息的使用者手部的待測圖像序列，并將該待 測圖像序列發(fā)送給計算處理組件130。其中，3D攝像組件110例如可以包括兩個3D攝像頭。 3D攝像頭為包括可見光圖像傳感器和紅外圖像傳感器的深度攝像頭，可見光圖像傳感器用 于獲得可見光圖像序列{/0(17)}而紅外圖像傳感器的深度攝像頭則用于獲得紅外圖像序
[0037] 根據(jù)一種實(shí)現(xiàn)方式，信號處理組件130設(shè)置在頭盔式虛擬現(xiàn)實(shí)顯示器120內(nèi)部，可 以將3D攝像組件110設(shè)置在一個連接件內(nèi)，該連接件與頭盔式虛擬現(xiàn)實(shí)顯示器120連接、 并且可以繞頭盔式虛擬現(xiàn)實(shí)顯示器120進(jìn)行旋轉(zhuǎn)（參考圖2A和圖2B)。由此，用戶通過旋 轉(zhuǎn)上述連接件，能夠使得設(shè)置在其上的3D攝像組件110所面對的方向（也即，3D攝像頭對 應(yīng)的光軸方向）朝向使用者的手勢。當(dāng)調(diào)整好上述連接件的方向之后，使用者只需在舒適 的位置做手勢，并且可以根據(jù)不同場合各自的舒適位置來分別調(diào)整連接件適應(yīng)的方向。
[0038] 根據(jù)一種實(shí)現(xiàn)方式，3D攝像組件110可以用于：通過捕獲預(yù)定成像區(qū)域內(nèi)的使用 者手部的圖像，（例如可以利用深度攝像頭上的可見光圖像傳感器和紅外圖像傳感器）獲 得可見光圖像序列?/?(.Υ,3〇丨和紅外圖像序列，界(AVV)為可見光圖像序列第i幀 圖像坐標(biāo)（X，y)處的像素值，而為紅外圖像序列第i幀圖像坐標(biāo)（X，y)處的像素值， 根據(jù)如下公式可以得到抽取使用者雙手信息的圖像序列：
[0040] 其中，α、β、λ為預(yù)設(shè)參數(shù)閾值，這些預(yù)設(shè)參數(shù)閾值可以根據(jù)經(jīng)驗(yàn)值來設(shè)定，也可 以通過試驗(yàn)的方法來確定（例如通過實(shí)際使用特定型號的深度攝像頭采集到的樣本圖像 訓(xùn)練得到），這里不再贅述?；?U)}為獲取的含有深度信息的使用者雙手的圖像序列，作 為上述待測圖像序列。此外，i = l，2, -·，Μ，Μ為待測圖像序列中所包括的圖像幀數(shù)。
[0041] 需要說明的是，根據(jù)使用者手勢所使用的手?jǐn)?shù)量的不同（單只或雙只），在預(yù)定成 像區(qū)域內(nèi)所捕獲的圖像可能是包含使用者雙手的圖像，也可能是僅包含使用者單只手的圖 像。另外，獲取的待測圖像序列可以是在一個時間段內(nèi)獲得的，該時間段可以預(yù)先根據(jù)經(jīng)驗(yàn) 值設(shè)置，例如可為10秒。
[0042] 計算處理組件130用于基于上述待測圖像序列來獲得使用者的手勢，以執(zhí)行與該 手勢對應(yīng)的操作指令。
[0043] 頭盔式虛擬現(xiàn)實(shí)顯示器120用于將計算處理組件130的當(dāng)前用戶界面以虛擬現(xiàn)實(shí) 顯示方式呈現(xiàn)于預(yù)定成像區(qū)域。計算處理組件130中例如可集成CPU等處理單元來實(shí)現(xiàn)計 算處理等功能，并且其中可集成各類存儲單元來存儲各種多媒體數(shù)據(jù)和各種應(yīng)用（例如用 于播放多媒體數(shù)據(jù)的應(yīng)用等）。計算處理組件130的當(dāng)前用戶界面可以是當(dāng)前執(zhí)行的單個 應(yīng)用的用戶界面，也可能是當(dāng)前執(zhí)行的多個應(yīng)用中排在最前（即最優(yōu)先執(zhí)行）的第一個應(yīng) 用的用戶界面。需要說明的是，計算處理組件130中可集成顯示屏用以顯示上述當(dāng)前用戶 界面，或者，計算處理組件130中可以在不設(shè)置顯示屏的情況下僅將用于顯示當(dāng)前用戶界 面的信號（即上文所述的用戶界面信號）發(fā)送給頭盔式虛擬現(xiàn)實(shí)顯示器120,而由頭盔式虛 擬現(xiàn)實(shí)顯示器120內(nèi)的顯示屏顯示。
[0044] 這樣，將3D攝像組件110安裝在頭盔式虛擬現(xiàn)實(shí)顯示器上，不需借助任何手持設(shè) 備，即可實(shí)現(xiàn)基于雙手手勢的設(shè)備操作和場景操作。
[0045] 上述根據(jù)本發(fā)明實(shí)施例的交互式虛擬現(xiàn)實(shí)演示裝置，利用3D攝像組件捕獲使用 者手部的待測圖像序列，以識別使用者的手勢，進(jìn)而根據(jù)已識別手勢來進(jìn)行對演示裝置的 操控。該交互式虛擬現(xiàn)實(shí)演示裝置將當(dāng)前用戶界面以虛擬現(xiàn)實(shí)顯示方式呈現(xiàn)于預(yù)定成像區(qū) 域，當(dāng)使用者頭戴該交互式虛擬現(xiàn)實(shí)演示裝置時，能夠在位于其視場之內(nèi)的預(yù)定成像區(qū)域 內(nèi)看到該界面的虛像，并通過手勢識別的方式操控該裝置內(nèi)部安裝的應(yīng)用或多媒體數(shù)據(jù)， 實(shí)現(xiàn)與該演示裝置之間的人機(jī)交互。與現(xiàn)有技術(shù)不同的是，本發(fā)明的交互式虛擬現(xiàn)實(shí)演示 裝置除了可以利用已有的鼠標(biāo)、按鍵等傳統(tǒng)輸入方式進(jìn)行人機(jī)交互之外，還可以利用上述 手勢識別技術(shù)來進(jìn)行人機(jī)交互，豐富了輸入方式種類，且操作較為簡便。
[0046] 根據(jù)一種實(shí)現(xiàn)方式，頭盔式虛擬現(xiàn)實(shí)顯示器120可以包括佩戴部210和采集成像 部 220〇
[0047] 其中，佩戴部210可佩戴在使用者頭部，其上設(shè)置有采集成像部220。采集成像部 220連接（此處為電信號連接）至計算處理組件130以采集計算處理組件130的用戶界 面信號，來將該用戶界面信號對應(yīng)的當(dāng)前用戶界面以虛擬現(xiàn)實(shí)顯示方式呈現(xiàn)于預(yù)定成像區(qū) 域。采集成像部220可包括顯示屏和兩組鏡片組，其中顯示屏用于根據(jù)用戶界面信號來顯 示對應(yīng)的當(dāng)前用戶界面，而兩組鏡片組被設(shè)置成：當(dāng)交互式虛擬現(xiàn)實(shí)演示裝置100被使用 者佩戴于頭部時，這兩組鏡片組分別位于使用者對應(yīng)的視線正前方（即左側(cè)鏡片組位于使 用者左眼視線正前方，而右側(cè)鏡片組位于使用者右眼視線正前方），以對顯示屏上的顯示內(nèi) 容在預(yù)定成像區(qū)域成虛像。這種情況下，預(yù)定成像區(qū)域例如是這兩組鏡片組的虛像成像區(qū) 域。
[0048] 采集成像部220連接至計算處理組件130來采集計算處理組件130的用戶界面信 號，該用戶界面信號即用于在顯示屏上顯示用戶界面的信號，類似于臺式計算機(jī)顯示器所 接收的顯示信號。采集成像部220接收上述用戶界面信號后，通過其內(nèi)部的顯示使用者佩 戴上述交互式虛擬現(xiàn)實(shí)演示裝置后，通過上述兩組鏡片組看到的即是上述虛像。屏根據(jù)該 用戶界面信號來顯示對應(yīng)的當(dāng)前用戶界面，并通過上述兩組鏡片組對顯示屏上顯示的當(dāng)前 用戶界面成虛像。需要說明的是，本領(lǐng)域的技術(shù)人員能夠根據(jù)本領(lǐng)域公知常識和公開資料 等獲知如何設(shè)置鏡片組中鏡片的數(shù)量和參數(shù)，這里不再贅述。
[0049] 根據(jù)一種實(shí)現(xiàn)方式，采集成像部220內(nèi)部的顯示屏例如可以是透明材質(zhì)的顯示 屏，使用者佩戴交互式虛擬現(xiàn)實(shí)演示裝置后，能夠透過該顯示屏看到自己的手勢，以準(zhǔn)確掌 握自己所做手勢及手勢位置。
[0050] 圖3示意性地示出了計算處理組件130的一種示例性結(jié)構(gòu)。如圖3所示，計算處 理組件130可以包括輪廓檢測單元310、特征點(diǎn)序列確定單元320、動作識別單元330、手勢 識別單元340、指令確定單元350、執(zhí)行單元360以及存儲單元370。
[0051] 存儲單元370可用于存儲多媒體數(shù)據(jù)和應(yīng)用。存儲單元370例如可以是諸如硬盤 等集成設(shè)置于計算處理組件130中的存儲器，也可以是諸如安全數(shù)碼卡（SD卡）、U盤（USB flash disk)等可拆卸式的存儲器。存儲單元370中可以預(yù)存有一些待演示的多媒體數(shù)據(jù) (比如視頻數(shù)據(jù)、圖像數(shù)據(jù)等），另外還預(yù)存有播放這些多媒體數(shù)據(jù)的應(yīng)用以及其他應(yīng)用。
[0052