使用imu的直接全息圖操縱的制作方法
【專(zhuān)利說(shuō)明】使用IMU的直接全息圖操縱
[000i]MM.
[0002] 增強(qiáng)現(xiàn)實(shí)（AR)涉及提供經(jīng)增強(qiáng)的真實(shí)世界環(huán)境，其中用計(jì)算機(jī)生成的虛擬數(shù)據(jù) 來(lái)增強(qiáng)或修改對(duì)真實(shí)世界環(huán)境（或表示真實(shí)世界環(huán)境的數(shù)據(jù)）的感知。例如，可使用諸如 相機(jī)或話(huà)筒等傳感輸入設(shè)備實(shí)時(shí)地捕捉表示真實(shí)世界環(huán)境的數(shù)據(jù)，并用包括虛擬圖像和虛 擬聲音的計(jì)算機(jī)生成的虛擬數(shù)據(jù)來(lái)增強(qiáng)該數(shù)據(jù)。虛擬數(shù)據(jù)還可包括與真實(shí)世界環(huán)境有關(guān)的 信息，諸如與真實(shí)世界環(huán)境中的真實(shí)世界對(duì)象相關(guān)聯(lián)的文本描述。一些AR環(huán)境內(nèi)的對(duì)象可 包括真實(shí)對(duì)象（即，存在于特定的真實(shí)世界環(huán)境中的對(duì)象）和虛擬對(duì)象（即，不存在于特定 的真實(shí)世界環(huán)境中的對(duì)象）。
[0003] 為了將虛擬對(duì)象逼真地集成到AR環(huán)境中，AR系統(tǒng)通常執(zhí)行包括映射和本地化的 若干任務(wù)。映射涉及生成真實(shí)世界環(huán)境的映射的過(guò)程。本地化涉及相對(duì)于真實(shí)世界環(huán)境的 映射來(lái)定位特定的視角或姿勢(shì)的過(guò)程。在一些情況下，AR系統(tǒng)可實(shí)時(shí)本地化在真實(shí)世界環(huán) 境內(nèi)移動(dòng)的移動(dòng)設(shè)備的姿勢(shì)，以便確定與該移動(dòng)設(shè)備相關(guān)聯(lián)的、需要隨該移動(dòng)設(shè)備在真實(shí) 世界環(huán)境中移動(dòng)而被增強(qiáng)的特定視圖。
[0004] 麗述
[0005] 描述了用于促進(jìn)與頭戴式顯示設(shè)備（HMD)相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)環(huán)境的控制的技術(shù)。 在一些實(shí)施例中，可向HMD的終端用戶(hù)顯示虛擬指針，并且虛擬指針可由終端用戶(hù)使用與 輔助設(shè)備（例如，移動(dòng)電話(huà)）相關(guān)聯(lián)的運(yùn)動(dòng)和/或朝向信息來(lái)控制。使用虛擬指針，終端 用戶(hù)可在增強(qiáng)現(xiàn)實(shí)環(huán)境中選擇并操縱虛擬對(duì)象、在增強(qiáng)現(xiàn)實(shí)環(huán)境中選擇現(xiàn)實(shí)世界對(duì)象，和/ 或控制HMD的圖形用戶(hù)界面。在一些情況中，在增強(qiáng)現(xiàn)實(shí)環(huán)境內(nèi)的虛擬指針的最初位置可 基于終端用戶(hù)正在凝視的特定方向和/或終端用戶(hù)當(dāng)前關(guān)注或最近關(guān)注的特定對(duì)象來(lái)確 定。
[0006] 提供本
【發(fā)明內(nèi)容】
以便以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些 概念。本
【發(fā)明內(nèi)容】
不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于 幫助確定所要求保護(hù)的主題的范圍。
【附圖說(shuō)明】
[0007]圖1是可在其中實(shí)施所公開(kāi)的技術(shù)的聯(lián)網(wǎng)計(jì)算環(huán)境的一個(gè)實(shí)施例的框圖。
[0008] 圖2A描繪了與第二移動(dòng)設(shè)備通信的移動(dòng)設(shè)備的一個(gè)實(shí)施例。
[0009] 圖2B描繪了 HMD的一部分的一個(gè)實(shí)施例。
[0010] 圖2C描繪了 HMD的一部分的一個(gè)實(shí)施例，其中延伸到凝視點(diǎn)的凝視向量用于對(duì)準(zhǔn) 遠(yuǎn)瞳孔間距（iro)。
[0011] 圖2D描繪了 HMD的一部分的一個(gè)實(shí)施例，其中延伸到凝視點(diǎn)的凝視向量用于對(duì)準(zhǔn) 近瞳孔間距（iro)。
[0012] 圖2E描繪了 HMD的一部分的一個(gè)實(shí)施例，該HMD具有包括凝視檢測(cè)元件的可移動(dòng) 顯示光學(xué)系統(tǒng)。
[0013] 圖2F描繪了 HMD的一部分的一個(gè)替換實(shí)施例，該HMD具有包括凝視檢測(cè)元件的可 移動(dòng)顯示光學(xué)系統(tǒng)。
[0014] 圖2G描繪了 HMD的一部分的側(cè)視圖的一個(gè)實(shí)施例。
[0015] 圖2H描繪了 HMD的一部分的側(cè)視圖的一個(gè)實(shí)施例，其提供對(duì)微顯示器部件的三維 調(diào)整的支持。
[0016] 圖3描繪了包括捕捉設(shè)備和計(jì)算環(huán)境的計(jì)算系統(tǒng)的一個(gè)實(shí)施例。
[0017] 圖4一6描繪了各種增強(qiáng)現(xiàn)實(shí)環(huán)境的各種實(shí)施例，其中可向HMD的終端用戶(hù)顯示 虛擬指針，并且虛擬指針可由終端用戶(hù)使用與輔助設(shè)備相關(guān)聯(lián)的運(yùn)動(dòng)和/或朝向信息來(lái)控 制。
[0018] 圖7A是描述了用于使用輔助設(shè)備控制增強(qiáng)現(xiàn)實(shí)環(huán)境的方法的一個(gè)實(shí)施例的流程 圖。
[0019] 圖7B是描述了用于確定初始虛擬指針位置的過(guò)程的一個(gè)實(shí)施例的流程圖。
[0020] 圖7C是描繪用于確定輔助設(shè)備的朝向是否在超時(shí)時(shí)間段內(nèi)在閾值范圍內(nèi)已經(jīng)改 變的過(guò)程一個(gè)實(shí)施例的流程圖。
[0021] 圖8是描述了用于使用輔助設(shè)備控制增強(qiáng)現(xiàn)實(shí)環(huán)境的方法的一個(gè)替換實(shí)施例的 流程圖。
[0022] 圖9是移動(dòng)設(shè)備的一個(gè)實(shí)施例的框圖。
[0023] 詳細(xì)描沐
[0024] 描述了用于提供與頭戴式顯示設(shè)備（HMD)相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)環(huán)境的高精度控制 的技術(shù)。在一些實(shí)施例中，可向HMD的終端用戶(hù)顯示虛擬指針，并且虛擬指針可由終端用戶(hù) 使用與輔助設(shè)備（例如，移動(dòng)電話(huà)或具有向HMD提供運(yùn)動(dòng)和/或朝向信息的能力的其它設(shè) 備）相關(guān)聯(lián)的運(yùn)動(dòng)和/或朝向信息來(lái)控制。使用虛擬指針，終端用戶(hù)可在增強(qiáng)現(xiàn)實(shí)環(huán)境中 選擇并操縱虛擬對(duì)象、在增強(qiáng)現(xiàn)實(shí)環(huán)境中選擇現(xiàn)實(shí)世界對(duì)象，和/或控制HMD的圖形用戶(hù)界 面（例如，終端用戶(hù)可選擇應(yīng)用、拖放虛擬對(duì)象，或放大到增強(qiáng)現(xiàn)實(shí)環(huán)境的各部分內(nèi)）。如果 虛擬指針指向（或覆蓋）可選的虛擬或現(xiàn)實(shí)世界對(duì)象，那么HMD可向終端用戶(hù)提供對(duì)象可 選的反饋（例如，振動(dòng)、聲音，或可使用可視指示符來(lái)警告終端用戶(hù)與可選對(duì)象相關(guān)聯(lián)的附 加信息可用）。在一些情況中，在增強(qiáng)現(xiàn)實(shí)環(huán)境中的虛擬指針的初始位置可基于終端用戶(hù)正 在凝視的特定方向和/或終端用戶(hù)當(dāng)前關(guān)注或最近關(guān)注的特定對(duì)象來(lái)確定。
[0025] 使用HMD控制增強(qiáng)現(xiàn)實(shí)環(huán)境的一個(gè)問(wèn)題是，不像其它計(jì)算設(shè)備（例如包括觸摸屏 界面的平板計(jì)算機(jī)），HMD它本身不提供允許使用手和/或手指手勢(shì)操縱對(duì)象的界面。此 外，與調(diào)節(jié)終端用戶(hù)的頭的朝向（這可能還導(dǎo)致終端用戶(hù)頸部疲勞）相比，終端用戶(hù)使用手 和/或手指的移動(dòng)能更精確地控制選擇對(duì)象（例如，HMD的視野內(nèi)的小對(duì)象）的能力。因 此，有使用可由HMD的終端用戶(hù)使用手臂、手和/或手指移動(dòng)操縱的輔助設(shè)備來(lái)促進(jìn)與HMD 相關(guān)聯(lián)的增強(qiáng)現(xiàn)實(shí)環(huán)境的控制的需求。
[0026] 圖1是可在其中實(shí)施所公開(kāi)的技術(shù)的聯(lián)網(wǎng)計(jì)算環(huán)境100的一個(gè)實(shí)施例的框圖。聯(lián) 網(wǎng)計(jì)算環(huán)境1〇〇包括通過(guò)一個(gè)或多個(gè)網(wǎng)絡(luò)180互連的多個(gè)計(jì)算設(shè)備。所述一個(gè)或多個(gè)網(wǎng)絡(luò) 180允許一特定計(jì)算設(shè)備連接到另一計(jì)算設(shè)備以及與其通信。所描繪的計(jì)算設(shè)備包括移動(dòng) 設(shè)備11、移動(dòng)設(shè)備12、移動(dòng)設(shè)備19和服務(wù)器15。在一些實(shí)施例中，所述多個(gè)計(jì)算設(shè)備可以包 括未示出的其他計(jì)算設(shè)備。在一些實(shí)施例中，所述多個(gè)計(jì)算設(shè)備可以包括比圖1所示的計(jì) 算設(shè)備的數(shù)目更多或更少的計(jì)算設(shè)備。所述一個(gè)或多個(gè)網(wǎng)絡(luò)180可以包括諸如企業(yè)專(zhuān)用網(wǎng) 絡(luò)之類(lèi)的安全網(wǎng)絡(luò)、諸如無(wú)線(xiàn)開(kāi)放式網(wǎng)絡(luò)之類(lèi)的不安全網(wǎng)絡(luò)、局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)、 以及因特網(wǎng)。所述一個(gè)或多個(gè)網(wǎng)絡(luò)180中的每個(gè)網(wǎng)絡(luò)可以包括集線(xiàn)器、網(wǎng)橋、路由器、交換 機(jī)、以及有線(xiàn)傳輸介質(zhì)，比如有線(xiàn)網(wǎng)絡(luò)或直接線(xiàn)連接。
[0027] 可包括補(bǔ)充信息服務(wù)器或應(yīng)用服務(wù)器的服務(wù)器15可允許客戶(hù)機(jī)從該服務(wù)器下載 信息（例如，文本、音頻、圖像和視頻文件）或者執(zhí)行與存儲(chǔ)在該服務(wù)器上的特定信息相關(guān) 的搜索查詢(xún)。一般而言，"服務(wù)器"可以包括在客戶(hù)端-服務(wù)器關(guān)系中充當(dāng)主機(jī)的硬件設(shè)備、 或者與一個(gè)或多個(gè)客戶(hù)機(jī)共享資源或?yàn)樗鲆粋€(gè)或多個(gè)客戶(hù)機(jī)執(zhí)行工作的軟件過(guò)程?？蛻?hù) 機(jī)-服務(wù)器關(guān)系下的計(jì)算設(shè)備之間的通信可以通過(guò)由客戶(hù)機(jī)向服務(wù)器發(fā)送要求訪問(wèn)特定 資源或執(zhí)行特定工作的請(qǐng)求來(lái)發(fā)起。服務(wù)器隨后可以執(zhí)行所請(qǐng)求的動(dòng)作并且將響應(yīng)發(fā)送回 客戶(hù)機(jī)。
[0028] 服務(wù)器15的一個(gè)實(shí)施例包括網(wǎng)絡(luò)接口 155、處理器156、存儲(chǔ)器157和翻譯器158， 所有這些都彼此通信。網(wǎng)絡(luò)接口 155允許服務(wù)器15連接到一個(gè)或多個(gè)網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 155可以包括無(wú)線(xiàn)網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線(xiàn)網(wǎng)絡(luò)接口。處理器156允許服務(wù)器15 執(zhí)行存儲(chǔ)在存儲(chǔ)器157中的計(jì)算機(jī)可讀指令以執(zhí)行在此討論的過(guò)程。翻譯器158可包括用 于將第一文件格式的第一文件翻譯成第二文件格式的對(duì)應(yīng)第二文件的映射邏輯（即，第二 文件可以是經(jīng)翻譯的版本的第一文件）。可使用文件映射指令來(lái)配置翻譯器158,該文件映 射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對(duì)應(yīng)文件的指 令。
[0029] 移動(dòng)設(shè)備19的一個(gè)實(shí)施例包括網(wǎng)絡(luò)接口 145、處理器146、存儲(chǔ)器147、相機(jī)148、 傳感器149、以及顯示器150,所有這些都彼此通信。網(wǎng)絡(luò)接口 145允許移動(dòng)設(shè)備19連接到 一個(gè)或多個(gè)網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 145可以包括無(wú)線(xiàn)網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線(xiàn)網(wǎng)絡(luò) 接口。處理器146允許移動(dòng)設(shè)備19執(zhí)行存儲(chǔ)在存儲(chǔ)器147中的計(jì)算機(jī)可讀指令以執(zhí)行在此 討論的過(guò)程。相機(jī)148可以捕捉色彩圖像和/或深度圖像。傳感器149可生成與移動(dòng)設(shè)備 19相關(guān)聯(lián)的運(yùn)動(dòng)和/或定向信息。在一些情況下，傳感器149可包括慣性測(cè)量單元（頂1])。 顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透視顯示器。
[0030] 在一些實(shí)施例中，包括網(wǎng)絡(luò)接口 145、處理器146、存儲(chǔ)器147、相機(jī)148以及傳感器 149的移動(dòng)設(shè)備19的各組件可被集成在單芯片基片上。在一示例中，網(wǎng)絡(luò)接口 145、處理器 146、存儲(chǔ)器147、相機(jī)148、傳感器149可被集成成為片上系統(tǒng)（S0C)。在另一實(shí)施例中，網(wǎng) 絡(luò)接口 145、處理器146、存儲(chǔ)器147、相機(jī)148、傳感器149可被集成在單個(gè)封裝中。
[0031] 在一些實(shí)施例中，通過(guò)采用照相機(jī)148、傳感器149,和運(yùn)行在處理器146上的姿勢(shì) 識(shí)別軟件，移動(dòng)設(shè)備19可提供自然用戶(hù)界面（NUI)。使用自然用戶(hù)界面，人的身體部位和移 動(dòng)可被檢測(cè)、解釋、以及用于控制計(jì)算應(yīng)用的各方面。在一個(gè)示例中，利用自然用戶(hù)界面的 計(jì)算設(shè)備可推斷與計(jì)算設(shè)備交互的人的意圖（例如，終端用戶(hù)執(zhí)行了特定姿勢(shì)來(lái)控制該計(jì) 算設(shè)備）。
[0032] 聯(lián)網(wǎng)計(jì)算環(huán)境100可以為一個(gè)或多個(gè)計(jì)算設(shè)備提供云計(jì)算環(huán)境。云計(jì)算指的是基 于因特網(wǎng)的計(jì)算，其中共享的資源、軟件和/或信息通過(guò)因特網(wǎng)（或其他全局網(wǎng)絡(luò)）被按需 提供給一個(gè)或多個(gè)計(jì)算設(shè)備?；谠谟?jì)算機(jī)網(wǎng)絡(luò)圖中使用的云圖來(lái)將因特網(wǎng)描繪成對(duì)其所 表示的底層基礎(chǔ)設(shè)施的抽象，術(shù)語(yǔ)"云"被用作對(duì)因特網(wǎng)的比喻。
[0033] 在一個(gè)示例中，移動(dòng)設(shè)備19包括向頭戴式顯示設(shè)備（HMD)的終端用戶(hù)提供增強(qiáng)現(xiàn) 實(shí)環(huán)境或混合現(xiàn)實(shí)環(huán)境的頭戴式顯示設(shè)備。HMD可包括視頻透視和/或光學(xué)透視系統(tǒng)。終端 用戶(hù)佩戴的光學(xué)透視HMD可允許（例如經(jīng)由透明透鏡）對(duì)真實(shí)世界環(huán)境的實(shí)際直接查看， 并且同時(shí)可將虛擬對(duì)象的圖像投影到終端用戶(hù)的視野中，由此用虛擬對(duì)象來(lái)增強(qiáng)終端用戶(hù) 所感知的真實(shí)世界環(huán)境。
[0034] 通過(guò)利用HMD，佩戴HMD的終端用戶(hù)可在真實(shí)世界環(huán)境（例如，起居室）中四處移 動(dòng)，并感知覆蓋有虛擬對(duì)象的圖像的真實(shí)世界的視圖。虛擬對(duì)象可以看起來(lái)保持與真實(shí)世 界環(huán)境的相干空間關(guān)系（即，當(dāng)終端用戶(hù)在真實(shí)世界環(huán)境中轉(zhuǎn)動(dòng)他們的頭或移動(dòng)時(shí)，顯示 給該終端用戶(hù)的圖像將改變，使得虛擬對(duì)象看起來(lái)像被終端用戶(hù)感知的那樣存在于該真實(shí) 世界環(huán)境內(nèi)）。虛擬對(duì)象還可看起來(lái)相對(duì)于終端用戶(hù)的視角是固定的（例如，無(wú)論終端用 戶(hù)如何在真實(shí)世界環(huán)境中轉(zhuǎn)動(dòng)他們的頭或移動(dòng)，總是出現(xiàn)在終端用戶(hù)視角的右上角的虛擬 菜單）。在一個(gè)實(shí)施例中，真實(shí)世界環(huán)境的環(huán)境映射可由服務(wù)器15 (即，在服務(wù)器側(cè)）來(lái)執(zhí) 行，而相機(jī)本地化可在移動(dòng)設(shè)備19上（即，在客戶(hù)機(jī)側(cè)）執(zhí)行。虛擬對(duì)象可包括與真實(shí)世 界對(duì)象相關(guān)聯(lián)的文本描述。
[0035] 在一些實(shí)施例中，移動(dòng)設(shè)備（諸如移動(dòng)設(shè)備19)可與云中的服務(wù)器（諸如服務(wù)器 15)通信，并可提供與移動(dòng)設(shè)