在頭戴式顯示器中切換操作模式的制作方法
【專利說明】在頭戴式顯示器中切換操作模式 WW] 背景 1.技術(shù)領(lǐng)域
[0002] 本發(fā)明實(shí)施方案設(shè)及用于改進(jìn)頭戴式裝置（HMD)的可用性的方法，且更特定來 說，設(shè)及用于在HMD的顯示器上顯現(xiàn)圖像的方法、系統(tǒng)和計(jì)算機(jī)程序。 陽(yáng)00引 2.相關(guān)技術(shù)描述
[0004] 通常，HMD是穿戴在用戶頭部上的便攜式裝置，使得位于與眼睛相隔短距離的顯示 器提供用戶交互圖像。一些HMD提供混合的真實(shí)生活和虛擬生活環(huán)境，其中用戶能夠看見 由計(jì)算裝置創(chuàng)建的圖像W及一些真實(shí)生活圖像。其它HMD提供阻止用戶看見外部世界的沉 浸式體驗(yàn)，同時(shí)在HMD顯示器上提供虛擬世界。 陽(yáng)〇化]然而，雖然用戶通過HMD中的顯示器觀看真實(shí)世界或虛擬世界，但仍可能存在問 題，因?yàn)镠MD的計(jì)算能力可能不適于刷新顯示器上的圖像。運(yùn)可對(duì)HMD用戶造成運(yùn)動(dòng)病或 運(yùn)動(dòng)眩暈。運(yùn)種癥狀在用戶被打斷（例如，接到電話）和用戶想要快速離開HMD環(huán)境時(shí)特 別嚴(yán)重。
[0006] 需要一種如果事件要求快速用戶關(guān)注那么允許用戶快速聯(lián)系真實(shí)世界的HMD。
[0007] 在運(yùn)種內(nèi)容背景下出現(xiàn)實(shí)施方案。

【發(fā)明內(nèi)容】

[0008] 提出用于管理頭戴式裝置（HMD)上的圖像的顯示的方法、裝置、系統(tǒng)和計(jì)算機(jī)程 序。應(yīng)明白，本發(fā)明實(shí)施方案可按眾多方式實(shí)施，諸如方法、設(shè)備、系統(tǒng)、裝置或計(jì)算機(jī)可讀 介質(zhì)上的計(jì)算機(jī)程序。下文描述若干實(shí)施方案。
[0009] 在一個(gè)實(shí)施方案中，一種方法包括用于追蹤穿戴HMD的用戶的注視的操作，其中 HMD顯示虛擬世界的場(chǎng)景。此外，所述方法包括用于檢測(cè)用戶的注視固定在預(yù)定區(qū)域達(dá)預(yù)定 時(shí)間量的操作。響應(yīng)于檢測(cè)，所述方法使HMD中的顯示器的區(qū)淡出，同時(shí)維持虛擬世界的場(chǎng) 景在所述區(qū)外的顯示器的區(qū)域中。此外，所述方法包括用于使真實(shí)世界的視野在所述區(qū)中 淡入就好像在用戶瀏覽所述區(qū)時(shí)HMD對(duì)用戶透明的操作。真實(shí)世界視野的淡入包括維持虛 擬世界場(chǎng)景在所述區(qū)外。
[0010] 在另一實(shí)施方案中，一種用于管理頭戴式裝置（HMD)上的圖像的顯示的方法包括 用于檢測(cè)用來使用戶適應(yīng)HMD的命令的操作。此外，所述方法包括用于在顯示器上呈現(xiàn)真 實(shí)世界視野就好像HMD透明的操作和用于W增強(qiáng)現(xiàn)實(shí)模式將虛擬元素添加到真實(shí)世界視 野的操作。又，所述方法包括用于使真實(shí)世界視野從顯示器淡出同時(shí)維持虛擬元素在顯示 器上的操作和用于使虛擬世界視野在虛擬元素周圍淡入的操作。
[0011] 在又一實(shí)施方案中，一種嵌入非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中、在被一個(gè)或多個(gè) 處理器執(zhí)行時(shí)用于管理頭戴式裝置（HMD)上的圖像的顯示的計(jì)算機(jī)程序包括用于追蹤穿 戴顯示虛擬世界場(chǎng)景的HMD的用戶的注視的程序指令。所述計(jì)算機(jī)程序還包括用于追蹤穿 戴顯示虛擬世界場(chǎng)景的HMD的用戶的注視的程序指令和用于檢測(cè)用戶注視固定在預(yù)定區(qū) 域達(dá)預(yù)定時(shí)間量的程序指令。此外，所述計(jì)算機(jī)程序包括用于響應(yīng)于檢測(cè)，使HMD的顯示器 的區(qū)淡出同時(shí)維持虛擬世界場(chǎng)景在所述區(qū)外的顯示器的區(qū)域中的程序指令。此外，所述計(jì) 算機(jī)程序包括用于使真實(shí)世界視野在所述區(qū)中淡入就好像在用戶瀏覽所述區(qū)時(shí)HMD對(duì)用 戶透明的程序指令，所述淡入包括維持虛擬世界場(chǎng)景在所述區(qū)外。
[0012] 在又一實(shí)施方案中，一種用于管理頭戴式裝置（HMD)上的圖像的顯示的方法包括 用于在用戶注視投射在HMD的顯示器上時(shí)追蹤注視的操作。此外，所述方法包括用于在追 蹤到注視時(shí)識(shí)別注視的軌跡的操作。比較識(shí)別的軌跡與用戶簽名，所述簽名包括注視的簽 名軌跡。此外，所述方法包括用于在識(shí)別的軌跡對(duì)應(yīng)于簽名軌跡時(shí)支持對(duì)HMD上的資源的 訪問的操作。
[0013] 其它方面將從結(jié)合附圖所作的下文詳細(xì)描述而變得明顯。
[0014] 附圖簡(jiǎn)述
[0015] 參考結(jié)合附圖所作的下文描述，可最佳地理解實(shí)施方案。
[0016] 圖1說明根據(jù)一個(gè)實(shí)施方案的與多個(gè)裝置（包括頭戴式裝置（HMD))進(jìn)行交互的 用戶。
[0017] 圖2說明根據(jù)一個(gè)實(shí)施方案的經(jīng)由圖像分析對(duì)HMD進(jìn)行的追蹤。
[0018] 圖3示出根據(jù)一個(gè)實(shí)施方案的具有用于追蹤用戶注視的內(nèi)置相機(jī)的HMD。
[0019] 圖4示出具有用于視覺追蹤的照射點(diǎn)的HMD的實(shí)施方案。
[0020] 圖5說明根據(jù)一個(gè)實(shí)施方案的使用注視對(duì)密碼的鍵入。
[0021] 圖6A說明根據(jù)一個(gè)實(shí)施方案的用于在用戶已開始使用HMD時(shí)進(jìn)行檢測(cè)的方法。
[0022] 圖6B說明根據(jù)一個(gè)實(shí)施方案的注視簽名的鍵入。
[0023] 圖7A說明根據(jù)一個(gè)實(shí)施方案的從真實(shí)生活視野到虛擬世界視野的顯示轉(zhuǎn)變。
[0024] 圖7B說明根據(jù)一個(gè)實(shí)施方案的從真實(shí)生活視野到增強(qiáng)現(xiàn)實(shí)視野到虛擬世界視野 的轉(zhuǎn)變。
[0025] 圖8說明可W用來實(shí)施本發(fā)明的實(shí)施方案的裝置的架構(gòu)。 陽(yáng)0%] 圖9A-9B說明根據(jù)若干實(shí)施方案的用于從HMD環(huán)境轉(zhuǎn)出的輸入。
[0027] 圖10說明根據(jù)一個(gè)實(shí)施方案的具有虛擬世界視野和真實(shí)生活視野的混合顯示。
[0028] 圖11說明根據(jù)一個(gè)實(shí)施方案的經(jīng)由注視鍵入的退出命令的檢測(cè)。
[0029] 圖12說明根據(jù)一個(gè)實(shí)施方案的HMD視野的不同沉浸階段。
[0030] 圖13A是根據(jù)一個(gè)實(shí)施方案的用于使用戶適應(yīng)HMD的流程圖。
[0031] 圖13B是根據(jù)一個(gè)實(shí)施方案的用于使用戶不適應(yīng)HMD的流程圖。
[0032] 圖13C是根據(jù)一個(gè)實(shí)施方案的用于管理HMD上的圖像的顯示的流程圖。
[0033] 圖14說明可W用來實(shí)施本發(fā)明的實(shí)施方案的硬件和用戶接口。
[0034] 圖15是根據(jù)本發(fā)明的各種實(shí)施方案的游戲系統(tǒng)的方框圖。
【具體實(shí)施方式】
[0035] 下述實(shí)施方案描述用于管理頭戴式裝置（HMD)上的圖像的顯示的方法、設(shè)備、系 統(tǒng)和計(jì)算機(jī)程序。將明白，本發(fā)明實(shí)施方案可W在沒有運(yùn)些特定詳情中的一些或所有的情 況下實(shí)行。在其它實(shí)例中，熟知過程操作未作詳細(xì)描述W免使本發(fā)明實(shí)施方案不必要地變 模糊。
[0036] 圖I說明根據(jù)一個(gè)實(shí)施方案的與多個(gè)裝置（包括頭戴式裝置（HMD))進(jìn)行交互的 用戶。用戶114穿戴HMD102,所述HMD102包括在用戶眼睛附近顯現(xiàn)圖像的顯示器110。 在一個(gè)實(shí)施方案中，圖像顯現(xiàn)成3D。
[0037] 在一個(gè)實(shí)施方案中，計(jì)算裝置106執(zhí)行在HMD 102上顯示的游戲。因此，計(jì)算裝置 106與HMD 102協(xié)作W顯示用于玩游戲的圖像。游戲操作的處理可W在計(jì)算裝置106上、在 HMD 102上或在計(jì)算裝置106和HMD 102兩者中完成。 陽(yáng)03引在圖1的實(shí)施方案中，HMD102與計(jì)算裝置106進(jìn)行無線通信（例如，WiFi、藍(lán)牙 等）。在其它實(shí)施方案中（未示出），HMD102可W直接連接到計(jì)算裝置106,或經(jīng)由網(wǎng)絡(luò) (例如，互聯(lián)網(wǎng)）與計(jì)算裝置106進(jìn)行通信。例如，計(jì)算裝置106可W是在網(wǎng)絡(luò)上提供游戲 服務(wù)的服務(wù)器。在一些實(shí)施方案中，HMD是自主玩游戲裝置且在HMD上直接執(zhí)行游戲，而無 需外部裝置來運(yùn)行游戲。
[0039] 在一個(gè)實(shí)施方案中，相機(jī)（或多個(gè)相機(jī)）禪接到計(jì)算裝置106。如果計(jì)算裝置106 是網(wǎng)絡(luò)上的服務(wù)器，那么相機(jī)104可W是經(jīng)由網(wǎng)絡(luò)（例如，經(jīng)由互聯(lián)網(wǎng)）將圖像發(fā)送到所述 計(jì)算裝置的聯(lián)網(wǎng)相機(jī)。相機(jī)104可W是W下項(xiàng)中的一個(gè)或多個(gè)：普通圖像相機(jī)、立體相機(jī) (即，具有從游戲區(qū)域捕捉圖像的兩個(gè)或兩個(gè)W上透鏡）、紅外相機(jī)、深度相機(jī)、3D相機(jī)等。 W40] 相機(jī)104拍攝的圖像可W被處理來追蹤HMD102的位置和移動(dòng)。此外，圖像還可 W用來追蹤用戶或用戶特征（例如，用戶頭部、用戶嘴己、用戶手部、用戶軀干等）、控制器 (例如，單手控制器116或雙手控制器118)或游戲區(qū)域中的任何其它元件的位置和運(yùn)動(dòng)。
[0041] 在一個(gè)實(shí)施方案中，用戶可W經(jīng)由語(yǔ)音辨識(shí)提供命令，所述語(yǔ)音辨識(shí)可W通過 計(jì)算裝置106經(jīng)由透過一個(gè)或多個(gè)麥克風(fēng)120進(jìn)行的聲音捕捉來執(zhí)行，或可W通過HMD 102(在一個(gè)實(shí)施方案中，其還包括一個(gè)或多個(gè)麥克風(fēng)）來執(zhí)行。在另一實(shí)施方案中，用戶 114還可W經(jīng)由通過計(jì)算裝置106分析和辨識(shí)的姿勢(shì)鍵入輸入。
[0042] 在一個(gè)實(shí)施方案中，計(jì)算裝置106還連接到顯示器108,其可W執(zhí)行一些游戲操 作。例如，顯示器108可W在用戶戴上HMD102之前將指令提供給用戶。在另一實(shí)施方案 中，顯示器108提供在HMD上顯示的相同或相似顯示，因此其他附近玩家可W察覺用戶114 對(duì)在HMD102上顯示的游戲所玩的進(jìn)度。
[0043] 在一個(gè)實(shí)施方案中，用戶握持一個(gè)或多個(gè)控制器116。計(jì)算裝置106追蹤控制器的 位置和移動(dòng)，且關(guān)于控制器運(yùn)動(dòng)的操作或使用控制器鍵入的輸入可W用作游戲輸入。例如， 控制器可W表示劍柄，且劍顯示在游戲場(chǎng)景中。隨著用戶移動(dòng)控制器，劍在虛擬世界中與控 制器同步地移動(dòng)。運(yùn)樣，玩家能夠執(zhí)行格斗游戲操作，其中劍為武器。 W44] 在一個(gè)實(shí)施方案中，計(jì)算裝置106計(jì)算HMD102與游戲控制器116之間的相對(duì)位 置。接著，游戲使用相對(duì)位置W與HMD102同步地移動(dòng)游戲?qū)ο蟆?W45] 計(jì)算裝置還可W追蹤第二控制器116，所述第二控制器116還可W鏈接到在HMD的 顯示器上顯現(xiàn)的游戲?qū)ο?。例如，第二控制器可W是盾，且用戶能夠在虛擬世界中使用劍和 盾作戰(zhàn)。在其它實(shí)施方案中，控制器可W在游戲中用于其它目的，諸如武器（例如，槍、步槍 或任何類型的射擊武器、斧、激光槍、轉(zhuǎn)向裝置-摩托車的轉(zhuǎn)向盤或手柄-手電筒、鍵、盾 等）。
[0046] 在另一實(shí)施方案中，用戶還可W與可W按與單手控制器相似方式使用的雙手控制 器進(jìn)行交互。例如，雙手控制器可W用作轉(zhuǎn)向盤。
[0047] 在另一實(shí)施方案中，使用控制器（諸如通過按壓控制器上的按鈕）鍵入的輸入可 W用來在游戲中執(zhí)行命令。例如，用戶可W使用控制器上的按鈕W移動(dòng)游戲中的頭像，開 火，抓住對(duì)象等。
[0048] 應(yīng)注意，圖1中所示的實(shí)施方案是示例性的。其它實(shí)施方案可W利用不同裝置，不 同數(shù)量的裝置，在不同裝置之間具有更多或更少互動(dòng)，使用其它通信方式（例如，超聲波）， 促成穿戴各自HMD的兩個(gè)用戶玩相同游戲的多玩家游戲等。因此，圖1中所示的實(shí)施方案 不應(yīng)被解釋為排他性或限制性，但相反應(yīng)被解釋為示例性或說明性。 W例圖2說明根據(jù)一個(gè)實(shí)施方案的經(jīng)由圖像分析對(duì)HMD進(jìn)行的追蹤。在一個(gè)實(shí)施方案 中，HMD208包括協(xié)助HMD的視覺追蹤的元件。例如，HMD可W包括紅外燈210、發(fā)光二極 管（LED) 214和具有容易經(jīng)由圖像分析辨識(shí)的特殊形狀的對(duì)象。例如，一個(gè)或多個(gè)球形對(duì)象 212可W添加到HMDW便于追蹤。此外，還可W使用L邸光、紅外光或任何其它類型的照射 照射球形對(duì)象202。
[0050] 此外，HMD208還可W包括特殊視覺標(biāo)記器（未示出），諸如回射區(qū)域、具有特定顏 色的區(qū)域（例如，藍(lán)色矩形等）或標(biāo)記（例如，HMD表面上的S條平行線）等。
[0051] 在一些實(shí)施方案中，HMD在HMD后方包括燈或標(biāo)記器（即，HMD中觸及后腦勺的部 分）。運(yùn)樣，如果用戶轉(zhuǎn)身且背對(duì)相機(jī)，那么仍可能通過檢測(cè)HMD后方的燈或標(biāo)記器而在視 覺上追蹤HMD的位置。
[0052] 可W使用不同類型的相機(jī)執(zhí)行HMD的視覺追蹤。在一個(gè)實(shí)施方案中，使用立體相 機(jī)202追蹤HM