虛擬物體的同時優(yōu)選觀看的制作方法
【專利說明】虛擬物體的同時優(yōu)選觀看
[0001] 背景
[0002] 混合現(xiàn)實是一種允許將虛擬圖像與現(xiàn)實世界物理環(huán)境相混合的技術(shù)。用戶可佩戴 透視、頭戴式顯示化MD)設(shè)備來觀看用戶的視野中所顯示的現(xiàn)實物體和虛擬物體的混合圖 像。用戶可例如通過執(zhí)行手、頭、或語音姿勢來進一步與虛擬物體進行交互，W移動物體、更 改它們的外觀或簡單地觀看它們。
[0003] 為了讓多個用戶在兩個用戶都佩戴透視頭戴式顯示器時能夠交互，用戶設(shè)備所呈 現(xiàn)的虛擬物體將被共享。觀看虛擬物體的設(shè)備的每個用戶在其自己的視野內(nèi)具有對于該物 體的視角。運些設(shè)備中的一個或多個獨立地或者與中樞計算系統(tǒng)結(jié)合地可被用來確定每個 用戶各自對虛擬物體的視圖。
[0004] 概述
[000引提供了用于向透視的頭戴式顯示設(shè)備的配戴者呈現(xiàn)虛擬物體的優(yōu)選的、共享的觀 看的技術(shù)。該技術(shù)為共享觀看的虛擬物體選擇優(yōu)選觀看地點和朝向。在確定物體的優(yōu)選的、 共同查看位置時考慮物體和用戶的數(shù)目。該技術(shù)允許每個用戶具有對于共享環(huán)境中的物體 的相對位置的共同觀看。
[0006] 在一個方面，確定公共環(huán)境中多個用戶的位置、朝向W及視野。根據(jù)運一信息W及 與共同觀看的虛擬物體相關(guān)聯(lián)的物體定義，為物體確定共同的優(yōu)選觀看位置和朝向。運一 信息在用戶間分享W允許在該位置并且W該朝向來呈現(xiàn)該共同觀看的虛擬物體。該技術(shù)針 對物體和/或物體的觀看者的移動W及用戶的數(shù)目來進行調(diào)整。
[0007] 提供本概述W便W簡化形式介紹將在W下詳細描述中進一步描述的一些概念。該 概述不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在被用來幫助確定所要 求保護的主題的范圍。
[000引附圖簡述
[0009] 圖1A是用于向一個或多個用戶呈現(xiàn)混和現(xiàn)實環(huán)境的系統(tǒng)的一個實施例的示例組 件的圖示。
[0010] 圖1B是兩個都佩戴著頭戴式顯示器的用戶分享和觀看共同的虛擬物體的描繪。
[0011] 圖1C是圖1B中的用戶觀看被優(yōu)選放置的虛擬物體的描繪。
[0012] 圖2是頭戴式顯示單元的一個實施例的立體圖。
[0013] 圖3是頭戴式顯示單元的一個實施例的一部分的側(cè)視圖。
[0014] 圖4是頭戴式顯示單元的組件的一個實施例的框圖。
[0015] 圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個實施例的框圖。
[0016] 圖6是結(jié)合頭戴式顯示單元使用的中樞計算系統(tǒng)的組件的一個實施例的框圖。
[0017] 圖7是可被用于實現(xiàn)本文所述的中樞計算系統(tǒng)的計算系統(tǒng)的一個實施例的框圖。
[0018] 圖8是表示根據(jù)本技術(shù)的方法的流程圖。
[0019] 圖9是表示一種用于實現(xiàn)圖8中的步驟612的方法的流程圖的描繪。
[0020] 圖10是表示一種用于實現(xiàn)圖8中的步驟616的方法的流程圖。
[0021 ]圖11A是表示一種用于實現(xiàn)圖10中的步驟1024的方法的流程圖。
[0022] 圖IIB和lie表示根據(jù)圖llA的虛擬物體相對于用戶的優(yōu)選放置。
[0023] 圖12A是表示一種用于在Ξ用戶情況下實現(xiàn)圖10中的步驟1024的方法的流程圖。 [0024 ]圖12B和12C示出虛擬物體相對于Ξ個用戶的優(yōu)選放置。
[0025] 圖13A是示出圖12A的方法的替代實施例的流程圖。
[0026] 圖13B-13D示出虛擬物體和用戶的各種位置，其中Ξ個用戶正在觀看一個虛擬物 體。
[0027] 圖14A示出一種用于解決被共同觀看的物體之間的位置沖突的方法。
[002引圖14B和14C解說多個虛擬物體的各種位置。
[0029] 圖15A示出一種用于針對不同物理環(huán)境中的用戶的解決被共同觀看的物體之間的 位置沖突的方法。
[0030] 圖15B和15C示出針對不同物理環(huán)境中的用戶的虛擬物體的各種位置。
[0031 ] 詳細描述
[0032] 提供了一種用于允許公共環(huán)境或不同環(huán)境中的多個用戶能夠具有對虛擬物體的 優(yōu)選或共同的相對觀看的技術(shù)。當向配備透視歷D設(shè)備的兩個或更多個用戶呈現(xiàn)虛擬物體 時，該物體的呈現(xiàn)可W在一個相對于每個用戶的位置，使得每個用戶可具有針對該物體的 優(yōu)選體驗。特定類型的虛擬物體不適用于相同物體視圖（兩個用戶都看到物體的"正面"，即 使用戶處于物理上不同的位置)或者W用戶為中屯、的物體視圖（相對的用戶看到物體的"正 面"和"背面"）中的任意一個。
[0033] 該技術(shù)為呈現(xiàn)給公共環(huán)境中的或共享共同的虛擬環(huán)境的多個用戶的共享觀看虛 擬物體選擇優(yōu)選觀看位置和視角。在確定優(yōu)選、共同觀看位置時考慮多個物體和多個用戶。 該技術(shù)允許每個用戶具有對于環(huán)境中的物體的相對位置的共同觀看。
[0034] 虛擬物體可包括物體定義。該定義可包括允許顯示設(shè)備2在用戶的視野中呈現(xiàn)虛 擬物體的數(shù)據(jù)。定義的一個組件可包括物體類型、物體大小、W及一個或多個優(yōu)選觀看視角 和朝向。每個優(yōu)選觀看視角可包括用戶觀看該物體的優(yōu)選視角的定義。當虛擬物體被分享 時，此處所提供的技術(shù)使用物體定義W及分享該物體的每個用戶的位置和視野來確定要為 每個用戶呈現(xiàn)該物體的優(yōu)選位置。
[0035] 頭戴式顯示設(shè)備可包括顯示元件。該顯示元件在一定程度上透明，使得用戶可透 過該顯示元件看到該用戶的視野(F0V)內(nèi)的現(xiàn)實世界物體。該顯示元件還提供將虛擬圖像 投影到該用戶的F0V中W使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實世界物體旁邊的能力。該系統(tǒng) 自動地跟蹤用戶所看之處，從而該系統(tǒng)可確定將虛擬圖像插入到該用戶的F0V中的何處。一 旦該系統(tǒng)知曉要將該虛擬圖像投影至何處，就使用該顯示元件投影該圖像。
[0036] 在一個替代實施例中，中樞計算系統(tǒng)和一個或多個處理單元可W協(xié)作W構(gòu)建包括 房間或其他環(huán)境中的所有用戶、現(xiàn)實世界物體和虛擬Ξ維物體的x、y、z笛卡爾位置的環(huán)境 的模型。由該環(huán)境中的用戶佩戴的每個頭戴式顯示設(shè)備的位置可W被校準到該環(huán)境的所述 模型并且被彼此校準。運允許該系統(tǒng)確定每個用戶的視線W及該環(huán)境的F0V。從而，可向每 個用戶顯示虛擬物體，但是從每個用戶的視角的虛擬圖像的顯示可W是相對的，從而針對 來自或由于該環(huán)境中的其他物體的任何視差W及遮擋來調(diào)整該虛擬物體。該環(huán)境的所述模 型(在本文中被稱為場景圖）W及對用戶的F0VW及該環(huán)境中的物體的跟蹤可由協(xié)力或獨立 工作的中樞和移動處理單元來生成。
[0037] 在一個實施例中，當用戶在混合現(xiàn)實環(huán)境內(nèi)走來走去時，虛擬物體可相對于每個 用戶的位置被重新放置。
[0038] 圖1A例示出用于通過將虛擬圖像21與用戶的F0V內(nèi)的現(xiàn)實內(nèi)容相融合來提供混合 現(xiàn)實體驗的系統(tǒng)10。圖1示出了佩戴頭戴式顯示設(shè)備2的單個用戶18,但理解到，一個W上的 用戶可W存在于混合現(xiàn)實環(huán)境中并從他們自己的角度觀看相同的虛擬物體。如在圖2和3中 看到的，頭戴式顯示設(shè)備2可包括集成處理單元4。在其他實施例中，處理單元4可W與頭戴 式顯示設(shè)備2分開，且可經(jīng)由有線或無線通信來與頭戴式顯示設(shè)備2通信。
[0039] 在一個實施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶 可W透過顯示器進行觀看，并且從而具有該用戶前方的空間的實際直接視圖。使用術(shù)語"實 際直接視圖"來指代直接用人眼看見現(xiàn)實世界物體的能力，而不是看見物體的被創(chuàng)建的圖 像表示。例如，通過眼鏡看房間允許用戶得到該房間的實際直接視圖，而在電視機上觀看房 間的視頻不是該房間的實際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細節(jié)。
[0040] 處理單元4可包括用于操作頭戴式顯示設(shè)備2的計算能力中的許多能力。在一些實 施例中，處理單元4與一個或多個中樞計算系統(tǒng)12無線地(例如，WiFi、藍牙、紅外、或其他無 線通信手段)通信。如此后解釋的，中樞計算系統(tǒng)12可W在處理單元4的遠程提供，使得中樞 計算系統(tǒng)12和處理單元4經(jīng)由諸如LAN或WAN等無線網(wǎng)絡(luò)來通信。在進一步實施例中，中樞計 算系統(tǒng)12可被省略W使用頭戴式顯示設(shè)備2和處理單元4來提供移動混合現(xiàn)實體驗。
[0041] 中樞計算系統(tǒng)12可W是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，中樞 計算系統(tǒng)12可W包括硬件組件和/或軟件組件，使得中樞計算系統(tǒng)12可被用于執(zhí)行諸如游 戲應(yīng)用、非游戲應(yīng)用等等之類的應(yīng)用。在一個實施例中，中樞計算系統(tǒng)12可包括諸如標準化 處理器、專用處理器、微處理器等等之類的處理器，運些處理器可W執(zhí)行存儲在處理器可讀 存儲設(shè)備上的指令來執(zhí)行本文所述的過程。
[0042] 中樞計算系統(tǒng)12進一步包括捕捉設(shè)備20,該捕捉設(shè)備20用于從其F0V內(nèi)的場景的 一些部分中捕捉圖像數(shù)據(jù)。如本文所使用的，場景是用戶在其中到處移動的環(huán)境，運一環(huán)境 在捕捉設(shè)備20的F0V內(nèi)和/或每一頭戴式顯示設(shè)備2的F0V內(nèi)被捕捉。圖1A示出了單個捕捉設(shè) 備20,但是在進一步的實施例中可W存在多個捕捉設(shè)備，運些捕捉設(shè)備彼此協(xié)作W從所述 多個捕捉設(shè)備20的合成F0V內(nèi)的場景中集體地捕捉圖像數(shù)據(jù)。捕捉設(shè)備20可包括一個或多 個相機，相機在視覺上監(jiān)視用戶18和周圍空間，使得可W捕捉、分析并跟蹤該用戶所執(zhí)行的 姿勢和/或移動W及周圍空間的結(jié)構(gòu)，W在應(yīng)用內(nèi)執(zhí)行一個或多個控制或動作和/或使化身 或屏上人物動畫化。
[0043] 中樞計算系統(tǒng)12可被連接到諸如電視機、監(jiān)視器、高清電視機化DTV)等可提供游 戲或應(yīng)用視覺的視聽設(shè)備16。在一個示例中，視聽設(shè)備16包括內(nèi)置揚聲器。在其他實施例 中，視聽設(shè)備16和中樞計算系統(tǒng)12可被連接到外部揚聲器22。
[0044] 中樞計算系統(tǒng)12與頭戴式顯示設(shè)備2和處理單元4 一起可W提供混合現(xiàn)實體驗，其 中一個或多個虛擬圖像(如圖1中的虛擬圖像21)可與場景中的現(xiàn)實世界物體混合在一起。 圖1例示出作為出現(xiàn)在用戶的F0V內(nèi)的現(xiàn)實世界物體的植物23或用戶的手23的示例。
[004引圖1B和1C示出用于為多個用戶定位虛擬物體的本技術(shù)。圖1B示出在公共環(huán)境100 中的兩個用戶18A和18B之間的虛擬物體27的W用戶為中屯、的視角。
[0046]每個用戶可配備有顯示設(shè)備2和處理單元4。每個用戶具有其自身視角的虛擬物體 27。用戶l&i具有視角24a，而用戶1^3具有視角24b。虛擬物體27具有正面27a和背面27b。圖 1B中示出的視圖是相對于用戶1&1的W用戶為中屯、。用戶1&1看到虛擬物體27的正面27a，而 用戶18b看到虛擬物體的背面27b。
[0047] 在諸如圖1B中示出的用戶18a和18b正觀看圖片的情況下，當W用戶為中屯、的視圖 被使用時，難W讓用戶分享體驗圖片。圖1B中的視圖被稱為W用戶為中屯、，因為就虛擬物體 27而言，用戶18a的視圖要比用戶18b的視圖好。
[0048] 圖1C示出虛擬物體27針對用戶18a和18b的共同或優(yōu)選觀看定位。虛擬物體27的新 位置相對于用戶18a和18b來呈現(xiàn)，使得每個視角24a和24b針對用戶相對于用戶的位置來優(yōu) 化。當一個用戶指向虛擬物體27時，物體的位置和用戶指向的方向?qū)τ谟脩?8b而言看上 去是正確的。
[0049] 本技術(shù)提供了確定虛擬物體相對于兩個或更多個用戶的共同視圖。在圖1C中，應(yīng) 當理解，虛擬物體27現(xiàn)在具有共同位置，但每個用戶的視圖是相關(guān)的一一每個用戶"看到" 虛擬物體在環(huán)境中的公共地點中的位置，但是每個用戶18A和18b具有相對于該用戶的不同 視角。
[0050] 圖2和3示出了頭戴式顯示設(shè)備2的立體圖和側(cè)視圖。圖3示出了頭戴式顯示設(shè)備2 的右側(cè)，包括該設(shè)備的具有鏡腿102和鼻梁104的一部分。在鼻梁104中置入了話筒110用于 記錄聲音W及將音頻數(shù)據(jù)傳送給處理單元4,如下所述。在頭戴式顯示設(shè)備2的前方是朝向 房間的視頻相機112,該視頻相機112可W捕捉視頻和靜止圖像。那些圖像被傳送至處理單 元4,如下所述。
[0051] 頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器(顯示器包括一個或多個透鏡）。 為了示出