用于頭部安裝顯示器的基于人體手勢的區(qū)域和空間選擇的制作方法
【專利說明】
【背景技術(shù)】
[0001]本發(fā)明的方面涉及使用人體手勢在頭部安裝顯示器(HMD)上選擇擴(kuò)增現(xiàn)實(AR)對象。
[0002]HMD現(xiàn)可發(fā)展為具有內(nèi)附的或由連接到HMD的主機(jī)裝置(例如，智能型手機(jī))提供的某一程度的計算能力的重量輕、可買得起的裝置。
[0003]HMD可包括安裝于眼鏡框架上的一或多個自我中心相機(jī)。HMD還可包括光學(xué)傳感器、加速計、GPS、回轉(zhuǎn)儀、固態(tài)羅盤、RFID和無線傳感器。HMD可具有在用戶的視野內(nèi)的透明顯示區(qū)，用戶在透明顯示區(qū)中可在顯示器上觀看實體對象和虛擬對象。
[0004]使用內(nèi)建相機(jī)，HMD可根據(jù)用戶的輸入而俘獲圖像和視頻。常規(guī)方法包括用戶觸碰HMD上的按鈕以俘獲用戶的視野中的圖像。

【發(fā)明內(nèi)容】

[0005]描述特定實施例，所述特定實施例允許用戶在頭部安裝顯示器(HMD)上選擇一或多個擴(kuò)增現(xiàn)實(AR)對象而無需用戶實體觸碰所述HMD。
[0006]在一些實施例中，HMD可基于由用戶的至少一只手形成的手勢而界定感興趣區(qū)域(ROI)。隨后，所述HMD可在所述HMD上向所述用戶顯示一形狀。在至少一個布置中，所述形狀描畫所述ROI的輪廓。另外，所述HMD可向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內(nèi)的目標(biāo)相關(guān)聯(lián)。此外，所述HMD可基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小ROI。在至少一個布置中，所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。在一或多個配置中，用于減小所述ROI的大小的方法包含使所述用戶的手移動得更靠近彼此。另外，所述HMD可基于放開事件而放開所述減小大小ROI ο舉例來說，所述放開事件可在所述用戶的所述至少一只手遠(yuǎn)離所述ROI時、在所述用戶的至少一手指和拇指靠攏時或在所述用戶發(fā)出語音命令時出現(xiàn)。
[0007]在另一配置中，其中多個擴(kuò)增與所述特定AR對象相關(guān)聯(lián)，所述HMD可進(jìn)一步基于所述用戶的所述至少一只手在所述特定AR對象的方向上的第二移動而向所述用戶顯示來自與所述特定AR對象相關(guān)聯(lián)的所述多個擴(kuò)增的對應(yīng)擴(kuò)增。
[0008]在另一配置中，所述HMD可進(jìn)一步:俘獲所述減小大小ROI內(nèi)的文字；且基于所述俘獲文字而初始化翻譯。所述HMD還可執(zhí)行所述ROI或所述減小大小ROI的自動視覺辨識和視覺搜索。
[0009]在另一配置中，所述HMD可在與一或多個其他用戶共享的視頻期間使用所述減小大小來使視野變窄。
[0010]在一些實施例中，一種用于選擇擴(kuò)增現(xiàn)實(AR)對象的頭部安裝裝置(HMD)可包含:一或多個處理器；以及存儲計算機(jī)可讀指令的存儲器，所述計算機(jī)可讀指令在由所述一或多個處理器執(zhí)行時使所述HMD:基于由用戶的至少一只手形成的手勢而界定感興趣區(qū)域(ROI);在所述HMD上向所述用戶顯示一形狀，其中所述形狀描畫所述ROI的輪廓；向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內(nèi)的目標(biāo)相關(guān)聯(lián)；且基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小R0I，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
[0011]在一些實施例中，一或多個計算機(jī)可讀媒體，所述一或多個計算機(jī)可讀媒體存儲用于在頭部安裝裝置(HMD)上選擇擴(kuò)增現(xiàn)實(AR)對象的計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令在執(zhí)行時使包括于HMD中的一或多個計算裝置:基于由用戶的至少一只手形成的手勢而界定感興趣區(qū)域(ROI);在所述HMD上向所述用戶顯示一形狀，其中所述形狀描畫所述ROI的輪廓；向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內(nèi)的目標(biāo)相關(guān)聯(lián)；且基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小R0I，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
[0012]在一些實施例中，一種用于選擇擴(kuò)增現(xiàn)實(AR)對象的頭部安裝裝置(HMD)可包含:用于基于由用戶的至少一只手形成的手勢而界定感興趣區(qū)域(ROI)的裝置；用于在所述HMD上向所述用戶顯示一形狀的裝置，其中所述形狀描畫所述ROI的輪廓；用于向所述用戶顯示多個AR對象的裝置，所述多個AR對象中的每一者與所述ROI內(nèi)的目標(biāo)相關(guān)聯(lián)；以及用于基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小ROI的裝置，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
【附圖說明】
[0013]本發(fā)明的方面以舉例方式說明。在附圖中，相似參考數(shù)字指示類似元件，且:
[0014]圖1A和IB說明可并入有一或多個實施例的HMD的簡化圖；
[0015]圖2根據(jù)一實施例說明描述與HMD交互以選擇AR目標(biāo)的無觸碰方法的流程圖；
[0016]圖3A和3B根據(jù)一實施例說明用于選擇感興趣區(qū)域(ROI)的方法；
[0017]圖4根據(jù)一實施例說明顯示于HMD上的具有五個目標(biāo)的ROI ；
[0018]圖5根據(jù)一實施例說明顯示于HMD上的具有三個目標(biāo)的減小大小ROI ；
[0019]圖6說明用于選擇AR目標(biāo)的特定擴(kuò)增層的流程圖；
[0020]圖7說明用戶通過使用VOI在目標(biāo)的方向上滾動而瀏覽多個擴(kuò)增；
[0021]圖8說明用于基于ROI起始智能應(yīng)用程序(例如，翻譯、視覺搜索)的流程圖；以及
[0022]圖9說明可在其中實施一或多個實施例的計算系統(tǒng)的實例。
【具體實施方式】
[0023]現(xiàn)將參看形成實施例的部分的附圖來描述若干說明性實施例。雖然下文描述了其中可實施本發(fā)明的一或多個方面的特定實施例，但在不脫離本發(fā)明的范圍和所附權(quán)利要求書的精神的情況下，可使用其它實施例且可作出各種修改。
[0024]本發(fā)明的實施例涉及使用人體手勢在頭部安裝顯示器(HMD)上選擇擴(kuò)增現(xiàn)實(AR)對象。一些實施例揭示用于在頭部安裝顯示器(HMD)上選擇一或多個擴(kuò)增現(xiàn)實(AR)對象而無需用戶實體觸碰所述HMD的方法。
[0025]HMD可通過將用戶所觀看的實體對象與(例如)相關(guān)聯(lián)于實體對象或相關(guān)聯(lián)于用戶的位置和/或環(huán)境的數(shù)字內(nèi)容(例如，文字、圖片、視頻)重疊而提供擴(kuò)增現(xiàn)實(AR)功能性。舉例來說，具有擴(kuò)增現(xiàn)實(AR)能力的HMD可將實體世界和虛擬對象兩者的圖像放置于用戶的視野上方。結(jié)果，HMD可為用戶提供移動和合作式AR體驗。
[0026]如本文中所使用，術(shù)語HMD是指鏈接到移動處理器的俘獲距離傳感器數(shù)據(jù)且具有顯示能力的裝置，其可為相對于頭部安裝裝置分離的裝置。在一實施例中，HMD 120可為移動裝置CPU(例如，移動電話、平板計算機(jī)、智能型手機(jī)等處理器)的配件，其中HMD控制系統(tǒng)的主要處理在移動裝置的處理器上執(zhí)行。在另一實施例中，HMD 120可包含處理器、存儲器、顯示器和相機(jī)。
[0027]在另一實施例中，HMD可包括用于與因特網(wǎng)、本地?zé)o線網(wǎng)絡(luò)或另一計算裝置連接的無線接口。在另一實施例中，投影儀可關(guān)聯(lián)于HMD中以實現(xiàn)圖像到表面上的投影。HMD有選為輕量的且構(gòu)造成避免使用可使裝置佩戴起來不舒適的沉重組件。HMD還可操作以從用戶接收音頻/手勢輸入。此等手勢或音頻輸入可為所說的語音命令或經(jīng)辨識的用戶手勢，所述輸入在由計算裝置辨識后可使所述裝置執(zhí)行對應(yīng)命令。
[0028]擴(kuò)增現(xiàn)實(AR)可為要素通過計算機(jī)產(chǎn)生的感測輸入(例如，但不限于，聲音、文字、圖形、視頻和GPS數(shù)據(jù))擴(kuò)增的實體真實世界環(huán)境的實況的直接或非直接視圖。
[0029]通過使用例如對象辨識等AR技術(shù)，關(guān)于用戶的周圍真實世界的信息變?yōu)榻换バ缘那覕?shù)字可操縱的。關(guān)于用戶的環(huán)境及其對象的人工信息可覆蓋于真實世界上方。
[0030]此外，雖然本文中相對于HMD來描述實施例，但所屬領(lǐng)域的技術(shù)人員將了解，可利用其它形式的頭部安裝顯示器。舉例來說，本文中所描述的實施例可相對于用戶可佩戴的一或多個隱形眼鏡而實施和/或可以用戶可借以感覺視野的另一形式的顯示器而實施。
[0031]一些實施例允許與HMD交互以選擇地理定位興趣點(POI)和AR目標(biāo)。通過檢測自然人體手勢，系統(tǒng)可觸發(fā)HMD選擇經(jīng)由眼鏡看到的ROI內(nèi)的POI或AR目標(biāo)的子集。
[0032]各種實施例包括在擴(kuò)增現(xiàn)實系統(tǒng)中選擇AR目標(biāo)的方法，所述方法包括:基于通過用一或多個頭部安裝傳感器俘獲空間數(shù)據(jù)的用戶的手勢而界定ROI ;在麗0的顯示器上顯示描畫所述ROI的輪廓的形狀；計算包括對應(yīng)于AR目標(biāo)的相對于HMD的距離的參數(shù)，在所述ROI內(nèi)顯示多個AR對象；基于用戶的手部移動而減小所述ROI的大??；以及使用減小大小的ROI選擇特定AR目標(biāo)。在一實施例中，所述方法可包括連續(xù)更新產(chǎn)生的虛擬對象的顯示，使得虛擬對象隨著用戶轉(zhuǎn)動其頭部而以固定顯示的方式出現(xiàn)。
[0033]圖1A到IB說明可并入有一或多個實施例的HMD 120的簡化圖。
[0034]圖2所描述的流程圖根據(jù)一實施例說明與HMD交互以選擇地理定位興趣點(pointof interest，POI)和AR目標(biāo)的無觸碰方法。通過檢測自然人體手勢，HMD可選擇經(jīng)由眼鏡看到的所述POI或AR目標(biāo)的子集。圖3A說明使用圖2中所描述的方法與HMD交互以選擇AR目標(biāo)的例示性方法。手勢可涉及使雙手的食指和拇指在正交方向上指向，如圖3A和圖4所示。在ROI已由HMD辨識之后，用戶可通過進(jìn)一步指定ROI或注意空間(volume-of-1nterest, V0I)而選擇二維或三維空間中的地理定位POI或AR目標(biāo)，如圖3B、圖5和圖7所示。
[0035]根據(jù)另一實施例，HMD上的具有深度測量功能的相機(jī)(例如，立體相機(jī))可用于在AR具有與之相關(guān)聯(lián)的多個擴(kuò)增時使用VOI來選擇擴(kuò)增。具備深度測量功能的相機(jī)可辨識手部在用戶前面或在相機(jī)視界中的移動。利用此等相機(jī)，HMD可辨識用戶的手相對于目標(biāo)的位置，且因此基于所述位置而顯示不同擴(kuò)增。
[0036]舉例來說，用戶可選擇AR目標(biāo)的特定擴(kuò)增層，如圖6所說明的流程圖中所進(jìn)一步描述。首先，用戶可通過選擇ROI而選擇特定AR目標(biāo)。此外，如果多個擴(kuò)增與給定AR目標(biāo)相關(guān)聯(lián)，那么用戶可通過使用VOI在目標(biāo)的方向上卷定而瀏覽所述擴(kuò)增。舉例來說，在圖7中，關(guān)于電影海報720，用戶可瀏覽展示以下各者的三個不同擴(kuò)增705、710、715:電影的名稱(帶評論)；預(yù)告