片；以及相關(guān)聯(lián)于電影的放映時(shí)間。視手部位置而定，向用戶展示對應(yīng)AR擴(kuò)增。
[0037]根據(jù)另一實(shí)施例，系統(tǒng)可基于所述ROI而起始智能應(yīng)用程序(例如，翻譯、視覺搜索)，如圖8所說明的流程圖中所進(jìn)一步描述。舉例來說，可將ROI饋送到視覺搜索系統(tǒng)或基于光學(xué)字符辨識(optical character recognit1n, OCR)的翻譯器，且結(jié)果可顯示于HMD上。
[0038]根據(jù)另一實(shí)施例，ROI可用以使視野變窄以用于視頻共享。舉例來說，將ROI視為用于基于視頻的通信的共享視界，因此，僅用戶的視野的部分(例如，呈現(xiàn)、文檔)與遠(yuǎn)程用戶共孚。
[0039]使用手勢界定感興趣區(qū)域
[0040]圖1A為根據(jù)一個(gè)實(shí)施例的經(jīng)配置以基于用戶的手勢而界定感興趣區(qū)域(ROI)的HMD 120的簡化說明100。在此實(shí)施例中，由用戶110佩戴的HMD 120具有經(jīng)配置以追蹤用戶的手130以便界定ROI的相機(jī)和/或其它傳感器。在此情況下，HMD 120能夠在HMD 120的顯示器140上顯示描畫ROI的輪廓的形狀。此可允許用戶給出實(shí)時(shí)反饋以視需要調(diào)整R0I，從而移除對用以接收用戶輸入的單獨(dú)接口(例如，觸控板、按鈕)的需要。其它接口可視所要功能性而并入到HMD 120中。HMD 120可利用一或多個(gè)預(yù)先安裝的相機(jī)150來追蹤用戶的手130以便確定ROI。
[0041]圖1B為可利用本文中所提供的技術(shù)的HMD 120的一實(shí)施例的說明。所展示的實(shí)施例包括顯示器140和一或多個(gè)相機(jī)150。此實(shí)施例包括類似于可擱置在用戶110的鼻子和耳朵上的眼鏡的框架，從而使顯示器140定位于用戶的眼睛前面。
[0042]各種實(shí)施例使HMD 120能夠使用HMD 120上的傳感器來俘獲用戶的手130的手勢。在一實(shí)施例中，相機(jī)150可為頭部安裝相機(jī)，其可產(chǎn)生處理器可分析以經(jīng)由對圖像的三角分析來估計(jì)圖像中的到對象的距離的圖像數(shù)據(jù)。替代地或另外，HMD 120可包括可測量圖像內(nèi)的到各種表面的距離的一或多個(gè)距離測量傳感器(例如，激光或音波測距器)。在各種實(shí)施例中，多種不同類型的距離測量傳感器和算法可使用成像場景進(jìn)行測量以用于測量到用戶110觀看到的場景內(nèi)的對象的距離。并且，在HMD 120中可使用一個(gè)以上傳感器和傳感器類型。
[0043]此外，HMD 120可包括定向傳感器，例如加速計(jì)、回轉(zhuǎn)儀、磁傳感器、光學(xué)傳感器、機(jī)械或電子電平傳感器和慣性傳感器，單獨(dú)地或組合地，所述傳感器可將關(guān)于裝置的上/下電平定向(例如，通過感測重力定向)且因此用戶的頭部位置定向(且從所述觀看視點(diǎn))的數(shù)據(jù)提供到裝置的處理器。此外，HMD 120可包括旋轉(zhuǎn)定向傳感器，例如，可將關(guān)于左/右定向和移動的數(shù)據(jù)提供到裝置的處理器的電子羅盤和加速計(jì)。總之，傳感器(包括加速計(jì)、回轉(zhuǎn)儀、磁傳感器、光學(xué)傳感器、機(jī)械或電子電平傳感器、慣性傳感器和電子羅盤)經(jīng)配置以提供關(guān)于HMD 120的上/下和旋轉(zhuǎn)定向(且因此用戶的觀看視點(diǎn))的數(shù)據(jù)。
[0044]HMD 120可經(jīng)配置以辨識用戶輸入，所述用戶輸入可經(jīng)由可由相機(jī)成像的手勢形成。到圖像內(nèi)的經(jīng)辨識對象的距離可從收集自所俘獲圖像和距離傳感器的數(shù)據(jù)來確定。HMD120可將圖像和距離傳感器數(shù)據(jù)提供到移動處理器和從移動處理器接收顯示信息，移動處理器可與HMD 120分離，例如，在智能型手機(jī)或其它移動裝置中。
[0045]顯示器140的至少一部分是透明的，從而提供允許用戶不僅觀看顯示于顯示器140上的圖像，而且觀看用戶的周圍環(huán)境中的實(shí)體對象的透明顯示區(qū)。顯示于顯示器140上的圖像的透明程度可視顯示器140的所要功能性、顯示于顯示器140上的圖形用戶接口(GUI)的設(shè)定和/或由HMD 120執(zhí)行的軟件應(yīng)用程序(例如，視頻、地圖、因特網(wǎng)瀏覽器)而改變。雖然圖1A到B所示的實(shí)施例說明定位于類似眼鏡的框架中的顯示器140，但在其它實(shí)施例中可利用能夠提供透明顯示區(qū)的其它技術(shù)(例如，視網(wǎng)膜投影儀或其它光學(xué)系統(tǒng))。
[0046]此外，相機(jī)150(例如，面向外的相機(jī))可俘獲用戶的周圍環(huán)境(包括可由用戶110控制以提供輸入到HMD 120的用戶的手130和/或其它對象)的圖像。所述相機(jī)可包括將圖像和/或其它信息提供到使HMD 120能夠追蹤在用戶前面的實(shí)體對象(例如，Ρ0Ι)的處理單元的其它類型的傳感器。在一個(gè)實(shí)施例中，HMD 120還可使用能夠確定深度的相機(jī)150(例如，立體相機(jī))來追蹤對象的深度。根據(jù)一個(gè)實(shí)施例，深度相機(jī)可在使用VOI來顯示多個(gè)擴(kuò)增時(shí)使用，如圖7所示。
[0047]相機(jī)150可具有使HMD 120能夠追蹤從用戶角度看出現(xiàn)在透明顯示區(qū)內(nèi)的對象(例如，手勢)的視野。當(dāng)實(shí)體對象從用戶110的視點(diǎn)看不在透明顯示區(qū)內(nèi)時(shí)，實(shí)施例可切換到低功率模式。在一些實(shí)施例中，相機(jī)150可具有比透明顯示區(qū)寬的視野，以允許HMD120在HMD 120確定實(shí)體對象正在接近透明顯示區(qū)(從用戶110的角度看)時(shí)開始執(zhí)行和/或按比例增大對象追蹤算法。
[0048]從多個(gè)AR目標(biāo)選擇特定AR目標(biāo)
[0049]圖2為說明在頭部安裝顯示器(HMD)上選擇擴(kuò)增現(xiàn)實(shí)(AR)對象的方法200的一實(shí)施例的流程圖。在框205，HMD基于用戶的手勢界定感興趣區(qū)域(ROI)。
[0050]檢測算法可用以檢測用戶的手勢。HMD可檢測用戶的預(yù)定手勢且基于所述用戶的手勢而界定ROI。舉例來說，用戶的手勢可包括使雙手的食指和拇指在正交方向上指向以建立如圖3A和3B中所說明的矩形形狀。在其它例子中，用戶的手勢可包括拳頭、張開手、用手指指向、手旋轉(zhuǎn)、揮手、一或多個(gè)手指的移動及其任何組合。
[0051]另外，根據(jù)另一實(shí)施例，后續(xù)用戶手勢可在ROI經(jīng)界定之后發(fā)生。舉例來說，手勢可包括分開/拉近用戶的手以用于對ROI調(diào)整大小。在其它例子中，后續(xù)用戶手勢可包括用于拍照的輕拍手勢、用于跨屏幕導(dǎo)引AR對象的推送手勢、用于移動AR對象的輕彈手勢、用于旋轉(zhuǎn)AR對象的翻轉(zhuǎn)手勢、用于放縮操作的抓放手勢、用于滾動通過媒體的撥動手勢。
[0052]如上文所指示，透明顯示區(qū)可為HMD 120的顯示器和/或顯示裝置的至少一部分，其經(jīng)配置以允許用戶觀看展示于顯示器上的圖像以及用戶的周圍環(huán)境中的實(shí)體對象。用戶可基于用戶的手勢而選擇ROI。圖3A進(jìn)一步說明HMD 120如何識別ROI。
[0053]在框210，界定在透明顯示區(qū)內(nèi)描畫所述ROI的輪廓的形狀且向用戶顯示所述形狀。所述形狀可為(例如)在HMD 120上描畫所述ROI的輪廓的矩形覆疊。所述形狀可給予用戶所述ROI的位置的視覺反饋。所述形狀本身在透明顯示區(qū)中可或可不反白顯示和/或另外指示。界定所述形狀可(例如)由可為并入到HMD中和/或以通信方式與HMD耦合的計(jì)算系統(tǒng)的部分的處理單元、存儲器和/或其它計(jì)算裝置來執(zhí)行。所述形狀可顯示為從顯示元件(例如，從顯示屏的邊緣)延伸。此外，如下文更詳細(xì)論述，所述形狀可與AR或其它軟件應(yīng)用程序中的交互要素、數(shù)字內(nèi)容和/或?qū)嶓w對象相關(guān)聯(lián)。隨著(例如)用戶相對于實(shí)體對象移動，此形狀可在大小、形狀和在顯示區(qū)內(nèi)的位置上有變化。結(jié)果，展示與所選對象相關(guān)聯(lián)的形狀的反白顯示可或可不一直顯示。
[0054]各種實(shí)施例使HMD 120能夠在顯示器140上顯現(xiàn)描畫ROI的輪廓的虛擬形狀。此使HMD 120能夠提供可促進(jìn)與計(jì)算裝置的交互的擴(kuò)增現(xiàn)實(shí)體驗(yàn)以及來自用戶的實(shí)時(shí)合作和反饋。
[0055]在一些實(shí)施例中，HMD 120可將經(jīng)辨識手勢作為在HMD 120上執(zhí)行任務(wù)的輸入命令來處理。方法可在具有以處理器可執(zhí)行指令配置以執(zhí)行操作的處理器的計(jì)算裝置中實(shí)施。所述處理器可通過接收關(guān)于HMD 120的定向的傳感器數(shù)據(jù)而開始操作。另外，所述處理器可接收來自相機(jī)150的數(shù)據(jù)，以及來自上述的包括于HMD 120中的其它傳感器的數(shù)據(jù)。因此，所述處理器可獲得由HMD 120收集的關(guān)于圖像和到相機(jī)150的視野內(nèi)的對象的距離的所有信息。所述處理器可計(jì)算對象在ROI內(nèi)的距離和定向數(shù)據(jù)。此等計(jì)算在圖像是以塊提供時(shí)可使用眾所周知的三角方法，在使用距離傳感器提供距離數(shù)據(jù)時(shí)使用直接測量，且使用從傳感器獲得和從圖像計(jì)算的距離信息的組合。此外，所述處理器可使用距離傳感器數(shù)據(jù)、相機(jī)數(shù)據(jù)以及距離和定向數(shù)據(jù)來處理圖像。
[0056]此外，所述處理器可在一時(shí)間間隔上追蹤用戶的手130以確定預(yù)定手勢是否經(jīng)辨識。在此確定中，所述處理器可確定任何手勢在視野中是否經(jīng)辨識。如果手勢經(jīng)辨識，那么所述處理器可實(shí)質(zhì)上使經(jīng)辨識手勢與存儲于HMD 120的存儲器中的輸入命令匹配。所述處理器可執(zhí)行對應(yīng)于經(jīng)辨識手勢的輸入命令。
[0057]根據(jù)一個(gè)實(shí)施例，一旦ROI經(jīng)識別，當(dāng)用戶110放開時(shí)，即可俘獲ROI內(nèi)的圖像的圖片和/或視頻。舉例來說，如果用戶在接收到描畫ROI的輪廓的形狀后繼續(xù)維持手勢(例如，相機(jī)拍攝姿勢)，那么HMD 120可設(shè)置在用戶放開之后俘獲由ROI描畫輪廓的圖像。放開事件的實(shí)例可為當(dāng)用戶的手快速地從ROI離開時(shí)。因此，不同于常規(guī)HMD，用戶無需實(shí)際上觸碰常規(guī)HMD上的按鈕以拍照。
[0058]根據(jù)另一實(shí)施例，HMD 120可俘獲具有固定緩沖大小的視頻。在此例子中，手勢機(jī)制可用作觸發(fā)器以向HMD指示保存來自上一預(yù)定持續(xù)時(shí)間(例如，30秒)的所有幀。舉例來說，佩戴HMD 120的用戶可能已恰好見到鯨魚跳出海面，且口頭請求HMD 120記錄過去的30秒。因此，HMD 120可具有以下功能性:其中HMD正在緩沖幀且基于經(jīng)辨識手勢或語音命令，HMD 120可將所述幀存儲到存儲器內(nèi)。
[0059]在框215，在ROI已被辨識之后，HMD 120向用戶110顯示與ROI內(nèi)的目標(biāo)相關(guān)聯(lián)的多個(gè)AR目標(biāo)(例如，圖4中的Rita’s Fash1n 405)。另外，最初在ROI內(nèi)的目標(biāo)可隨著用戶移動ROI或用戶的視野而加以追蹤。用于追蹤的裝置可由經(jīng)配置以俘獲圖像和/或位置測量、以通信方式與經(jīng)配置以基于圖像和/或位置測量來確定位置的處理單元、存儲器和/或其它計(jì)算裝置連接的相機(jī)、傳感器和/或其它組件來執(zhí)行。用于追蹤目標(biāo)的組件可用用于在透明顯示區(qū)中顯示圖像的組件來校準(zhǔn)，從而使HMD能夠確定用戶看到了什么。
[0060]追蹤裝置可使用多種追蹤算法中的任一者。特定算法可僅追蹤單一點(diǎn)(例如，透明顯示區(qū)上的坐標(biāo))和/或相關(guān)聯(lián)于對象和/或?qū)ο笊系奈恢玫膮^(qū)域(例如，用戶的手)。較復(fù)雜追蹤算法可追蹤例如對象的距離等其它特征。實(shí)施例可能能夠?yàn)榱?AR交互而追蹤多個(gè)和/或不同目標(biāo)。
[0061]—旦