專(zhuān)利名稱(chēng)：虛擬內(nèi)容到現(xiàn)實(shí)內(nèi)容中的融合的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬內(nèi)容到現(xiàn)實(shí)內(nèi)容中的融合。
背景技術(shù)：
擴(kuò)展現(xiàn)實(shí)是一種允許將虛擬圖像與現(xiàn)實(shí)世界物理環(huán)境相混合的技術(shù)。例如，擴(kuò)展現(xiàn)實(shí)系統(tǒng)可以用于將恐龍的圖像插入到用戶(hù)房間的視圖中，使得該用戶(hù)看見(jiàn)恐龍?jiān)诜块g中走動(dòng)。擴(kuò)展現(xiàn)實(shí)要解決的更困難的問(wèn)題之一是將虛擬物體覆蓋在現(xiàn)實(shí)物體之上的能力。 例如，所期望的可能是遮蔽現(xiàn)實(shí)物體并且使其看上去是別的東西?？商娲?，所期望的可能是將看上去是場(chǎng)景的一部分的新圖像添加到該場(chǎng)景中，從而要求該新圖像擋住該場(chǎng)景中的現(xiàn)實(shí)物體的全部或一部分的視圖。用虛擬圖像遮蔽現(xiàn)實(shí)物體可能是復(fù)雜的。

發(fā)明內(nèi)容
在此所述的技術(shù)提供了一種系統(tǒng)，其用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中，使得虛擬物體的圖像可以擋住現(xiàn)實(shí)物體的視圖的全部或一部分。使用一個(gè)或多個(gè)傳感器來(lái)掃描環(huán)境以及構(gòu)建所掃描的環(huán)境的模型。使用該模型，該系統(tǒng)將虛擬圖像添加到用戶(hù)對(duì)環(huán)境的視圖中的參考現(xiàn)實(shí)世界物體的位置處。例如，該系統(tǒng)可以被配置為創(chuàng)建房間的模型并且添加假想的巨石的虛擬圖像以替換房間中的現(xiàn)實(shí)咖啡桌。用戶(hù)佩戴具有顯示元件的頭戴式顯示設(shè)備(或其他合適的裝置)。該顯示元件允許用戶(hù)通過(guò)顯示元件查看房間，由此允許通過(guò)該顯示元件實(shí)際直接地查看房間。該顯示元件還提供將虛擬圖像投影到用戶(hù)的視野內(nèi)使得虛擬圖像看上去處于該房間內(nèi)這一能力。該系統(tǒng)自動(dòng)地跟蹤用戶(hù)所查看之處，使得該系統(tǒng)可以確定將巨石的虛擬圖像例如插入到用戶(hù)的視野中的何處。一旦系統(tǒng)得知要將虛擬圖像投影到何處，則該圖像就使用顯示元件被投影。在一些實(shí)施例中，可以使用與該顯示元件對(duì)齊的濾光器來(lái)選擇性地阻擋到達(dá)顯示元件的光。這允許該系統(tǒng)使虛擬圖像將被投影到的地方暗化，從而使得更易于看見(jiàn)虛擬圖像并且更難以看見(jiàn)虛擬圖像之后的現(xiàn)實(shí)世界物體。在上面的示例中，濾光器將用于使咖啡桌難以被看見(jiàn)，使得當(dāng)巨石被投影到咖啡桌之上時(shí)，觀眾很好地看見(jiàn)巨石，但是不能很好地看見(jiàn)(或者完全不能看見(jiàn))咖啡桌?！獋€(gè)實(shí)施例包括創(chuàng)建空間的體積模型；將該模型分割成物體；標(biāo)識(shí)出所述物體中的包括第一物體的一個(gè)或多個(gè)物體；以及在顯示器上自動(dòng)地將虛擬圖像顯示在第一物體之上，該顯示器允許通過(guò)該顯示器實(shí)際直接地查看該空間的至少一部分。一個(gè)示例性實(shí)施方式中包括頭戴式顯示設(shè)備、以及與該頭戴式顯示設(shè)備通信的處理單元。該頭戴式顯示設(shè)備包括顯示器，其允許通過(guò)該顯示器對(duì)第一物體的實(shí)際直接視圖；不透明度濾光器，其與該顯示器對(duì)齊使得穿過(guò)該不透明度濾光器的光也穿過(guò)該顯示器； 慣性傳感器，其感測(cè)該頭戴式顯示設(shè)備的取向信息；第一通信接口 ；以及一個(gè)或多個(gè)控制電路，其與該顯示器、該不透明度濾光器、該慣性傳感器、以及第一通信接口進(jìn)行通信。處理單元包括第二通信接口，其與第一通信接口通信；以及一個(gè)或多個(gè)控制電路，其通過(guò)第一通信接口和第二通信接口與頭戴式顯示設(shè)備通信以自動(dòng)地在該顯示器上顯示虛擬圖像。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開(kāi)的任何部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖1是描繪了用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中的系統(tǒng)的一個(gè)實(shí)施例的示例性組件的框圖。圖2是頭戴式顯示單元的一個(gè)實(shí)施例的一部分的頂視圖。圖2A-2E提供了示出不透明度濾光器的操作的示例性圖像。圖3是頭戴式顯示單元的組件的一個(gè)實(shí)施例的框圖。圖4是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個(gè)實(shí)施例的框圖。圖5是與頭戴式顯示單元相關(guān)聯(lián)的中樞計(jì)算系統(tǒng)的組件的一個(gè)實(shí)施例的框圖。圖6是描繪可用于實(shí)現(xiàn)在此所述的中樞計(jì)算系統(tǒng)的計(jì)算系統(tǒng)的一個(gè)實(shí)施例的框圖。圖7是描繪了可以將虛擬內(nèi)容與現(xiàn)實(shí)內(nèi)容相融合的多用戶(hù)系統(tǒng)的框圖。圖8是描述用于將虛擬內(nèi)容與現(xiàn)實(shí)內(nèi)容相融合的過(guò)程的一個(gè)實(shí)施例的流程圖。圖8A是描述用于將虛擬內(nèi)容與現(xiàn)實(shí)內(nèi)容相融合的過(guò)程的一個(gè)實(shí)施例的流程圖。圖9是描述用于創(chuàng)建空間的模型的過(guò)程的一個(gè)實(shí)施例的流程圖。圖10是描述用于將模型分割成物體的過(guò)程的一個(gè)實(shí)施例的流程圖。圖11是描述用于標(biāo)識(shí)出物體的過(guò)程的一個(gè)實(shí)施例的流程圖。圖IlA是描述用于響應(yīng)于移動(dòng)物體來(lái)更新模型的過(guò)程的一個(gè)實(shí)施例的流程圖。圖12是描述用于將虛擬物體投影到現(xiàn)實(shí)物體之上的過(guò)程的一個(gè)實(shí)施例的流程圖。圖12A是描述用于基于光源和陰影來(lái)調(diào)整顯示何物的過(guò)程的一個(gè)實(shí)施例的流程圖。圖13是描述用于由中樞來(lái)跟蹤用戶(hù)和/或頭戴式顯示單元的位置和取向的過(guò)程的一個(gè)實(shí)施例的流程圖。圖14是描述用于跟蹤眼睛位置的過(guò)程的一個(gè)實(shí)施例的流程圖。圖15是描述用于確定用戶(hù)視角的過(guò)程的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式在此描述了一種可以將虛擬物體與現(xiàn)實(shí)物體相融合的系統(tǒng)。在一個(gè)實(shí)施例中，該系統(tǒng)包括頭戴式顯示設(shè)備、以及與該頭戴式顯示設(shè)備通信的處理單元。頭戴式顯示設(shè)備包括顯示器，該顯示器允許通過(guò)該顯示器對(duì)現(xiàn)實(shí)世界物體的實(shí)際直接視圖。該系統(tǒng)可以將虛擬圖像投影到顯示器上，其中所述虛擬圖像可以由佩戴頭戴式顯示設(shè)備的人來(lái)查看，同時(shí)該人還通過(guò)該顯示器來(lái)查看現(xiàn)實(shí)世界物體。使用各種傳感器來(lái)檢測(cè)位置和取向以便確定將虛擬圖像投影到何處。使用所述傳感器中的一個(gè)或多個(gè)來(lái)掃描相鄰環(huán)境以及構(gòu)建所掃描的環(huán)境的模型。 在一個(gè)實(shí)施例中，環(huán)境的掃描還可以包括確定光源的位置、表面的反射率，這將使得該系統(tǒng)能夠添加合適的陰影和現(xiàn)實(shí)表面上的反射。也就是說(shuō)，該系統(tǒng)將映射表面的照明和反射率以用于反射和陰影。該模型被分割成物體，并且現(xiàn)實(shí)世界物體相對(duì)于該模型被標(biāo)識(shí)出。使用該模型，虛擬圖像被添加到該模型的視圖的參考作為該模型的一部分的現(xiàn)實(shí)世界物體的位置處。該系統(tǒng)自動(dòng)地跟蹤用戶(hù)正注視何處，使得該系統(tǒng)可以弄清用戶(hù)通過(guò)安裝在頭部顯示設(shè)備的顯示器的視野。可以使用包括深度傳感器、圖像傳感器、慣性傳感器、眼睛位置傳感器等在內(nèi)的各種傳感器來(lái)跟蹤用戶(hù)。一旦該系統(tǒng)知道了用戶(hù)的視野，則該系統(tǒng)就可以弄清虛擬圖像應(yīng)當(dāng)由頭戴式顯示設(shè)備的顯示器投影到何處。然后，該圖像通過(guò)如下方式被渲染對(duì)該虛擬圖像進(jìn)行大小確定和定向；以及將經(jīng)大小確定/定向的圖像渲染在頭戴式顯示設(shè)備的顯示器上。在一些實(shí)施例中，虛擬圖像可以被改變以考慮到遮擋。在此所述的系統(tǒng)的一些實(shí)施方式包括與頭戴式顯示設(shè)備的顯示器對(duì)齊的濾光器以選擇性地阻擋到達(dá)顯示器的光。這允許該系統(tǒng)使虛擬圖像將被投影到的區(qū)域變得更暗，從而使得更易于看見(jiàn)虛擬圖像并且更難以看見(jiàn)虛擬圖像之后的現(xiàn)實(shí)世界物體。圖1是描繪了用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中的系統(tǒng)10的一個(gè)實(shí)施例的示例性組件的框圖。系統(tǒng)10包括通過(guò)線6與處理單元4通信的頭戴式顯示設(shè)備2。在其他實(shí)施例中，頭戴式顯示設(shè)備2經(jīng)由無(wú)線通信來(lái)與處理單元4進(jìn)行通信。在一個(gè)實(shí)施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶(hù)的頭上，使得用戶(hù)可以通過(guò)顯示器進(jìn)行查看，并且從而具有該用戶(hù)前方的空間的實(shí)際直接視圖。使用術(shù)語(yǔ)“實(shí)際和直接視圖”來(lái)指直接用人眼查看現(xiàn)實(shí)世界物體的能力，而不是查看對(duì)物體的所創(chuàng)建的圖像表示。例如，在房間中通過(guò)眼鏡進(jìn)行查看將允許用戶(hù)具有房間的實(shí)際直接視圖，而在電視上查看房間的視頻不是房間的實(shí)際直接視圖。下面提供頭戴式顯示設(shè)備2的更多細(xì)節(jié)。在一個(gè)實(shí)施例中，處理單元4被佩戴在用戶(hù)的手腕上，并且包括許多用于操作頭戴式顯示設(shè)備2的計(jì)算能力。處理單元4可以與一個(gè)或多個(gè)中樞計(jì)算系統(tǒng)12無(wú)線地(例如WiFi、藍(lán)牙、紅外、或其他無(wú)線通信手段)通信。中樞計(jì)算系統(tǒng)12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等等。根據(jù)一示例性實(shí)施例， 中樞計(jì)算系統(tǒng)12可以包括硬件組件和/或軟件組件，使得中樞計(jì)算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等等之類(lèi)的應(yīng)用。在一個(gè)實(shí)施例中，中樞計(jì)算系統(tǒng)12可以包括諸如標(biāo)準(zhǔn)化處理器、專(zhuān)用處理器、微處理器等等之類(lèi)的處理器，這些處理器可以執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的指令以用于執(zhí)行在此所述的過(guò)程。中樞計(jì)算系統(tǒng)12還包括一個(gè)或多個(gè)捕捉設(shè)備，比如捕捉設(shè)備20A和20B。在其他實(shí)施例中，可以使用多于或少于兩個(gè)的捕捉設(shè)備。在一個(gè)示例性實(shí)施方式中，捕捉設(shè)備20A 和20B指向不同方向，使得它們可以捕捉房間的不同部分?？赡苡欣氖?，兩個(gè)捕捉設(shè)備的視野稍微地重疊，使得中樞計(jì)算系統(tǒng)12可以理解捕捉設(shè)備的視野如何彼此相關(guān)。通過(guò)這種方式，可以使用多個(gè)捕捉設(shè)備來(lái)查看整個(gè)房間(或其他空間)。可替代地，如果捕捉設(shè)備可以在操作期間平移，使得整個(gè)相關(guān)空間隨時(shí)間被捕捉設(shè)備查看，則可以使用一個(gè)捕捉設(shè)備。
捕捉設(shè)備20A和20B例如可以是相機(jī)，該相機(jī)在視覺(jué)上監(jiān)視一個(gè)或多個(gè)用戶(hù)和周?chē)臻g，使得可以捕捉、分析并跟蹤該一個(gè)或多個(gè)用戶(hù)所執(zhí)行的姿勢(shì)和/或運(yùn)動(dòng)以及周?chē)臻g的結(jié)構(gòu)，以在應(yīng)用中執(zhí)行一個(gè)或多個(gè)控制或動(dòng)作和/或使化身或屏上人物動(dòng)畫(huà)化。中樞計(jì)算環(huán)境12可以連接到諸如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等可提供游戲或應(yīng)用程序視覺(jué)的視聽(tīng)設(shè)備16。例如，中樞計(jì)算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽(tīng)信號(hào)。視聽(tīng)設(shè)備16可從中樞計(jì)算系統(tǒng)12接收視聽(tīng)信號(hào)，并且然后可以輸出與視聽(tīng)信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺(jué)和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽(tīng)設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、RCA電纜等連接至中樞計(jì)算系統(tǒng)12。在一個(gè)示例中，視聽(tīng)設(shè)備16包括內(nèi)置揚(yáng)聲器。在其他實(shí)施例中，視聽(tīng)設(shè)備16、單獨(dú)的立體聲系統(tǒng)或中樞計(jì)算設(shè)備12連接到外部揚(yáng)聲器22。中樞計(jì)算設(shè)備10可以與捕捉設(shè)備20A和20B —起用于識(shí)別、分析和/或跟蹤人類(lèi) (以及其他類(lèi)型的)目標(biāo)。例如，可使用捕捉設(shè)備20A和20B來(lái)跟蹤佩戴頭戴式顯示設(shè)備2 的用戶(hù)，使得可以捕捉用戶(hù)的姿勢(shì)和/或運(yùn)動(dòng)來(lái)使化身或屏幕上人物動(dòng)畫(huà)化，和/或可將用戶(hù)的姿勢(shì)和/或移動(dòng)解釋為可用于影響中樞計(jì)算系統(tǒng)12所執(zhí)行的應(yīng)用的控制。圖2描繪了頭戴式顯示設(shè)備2的頂視圖，其包括鏡架的包含鏡腿102和鼻中104 的那部分。僅僅描繪了頭戴式顯示設(shè)備2的右側(cè)。在鼻中104中置入了話(huà)筒110以用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，這將在下面予以描述。在頭戴式顯示設(shè)備2的前方是朝向可捕捉視頻和靜止圖像的視頻相機(jī)113的房間。這些圖像被傳送給處理單元4，這將在下面予以描述。頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器(其包括一個(gè)或多個(gè)透鏡)。為了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光學(xué)元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個(gè)實(shí)施例中，不透明度濾光器114處于透視透鏡116之后并與其對(duì)齊，光導(dǎo)光學(xué)元件112處于不透明度濾光器114 之后并與其對(duì)齊，并且透視透鏡118處于光導(dǎo)光學(xué)元件112之后并與其對(duì)齊。在該示例中， 透視透鏡116和118是眼鏡中使用的標(biāo)準(zhǔn)透鏡，并且可根據(jù)任何處方(包括不根據(jù)處方) 來(lái)制作。在一個(gè)實(shí)施例中，透視透鏡116和118可以被可變處方透鏡替換。在一些實(shí)施例中，頭戴式顯示設(shè)備2將僅僅包括一個(gè)透視透鏡或者不包括透視透鏡。在另一替代方案中， 處方透鏡可以進(jìn)入光導(dǎo)光學(xué)元件112內(nèi)。不透明度濾光器114濾除自然光(要么以每像素為基礎(chǔ)、要么均勻地)以增強(qiáng)虛擬圖像的對(duì)比度。光導(dǎo)光學(xué)元件112將人造光引導(dǎo)至眼睛。 下面提供不透明度濾光器114和光導(dǎo)光學(xué)元件112的更多細(xì)節(jié)。在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個(gè)實(shí)施例中)包括用于對(duì)虛擬圖像進(jìn)行投影的微顯示器120、以及用于將圖像從微顯示器120引導(dǎo)到光導(dǎo)光學(xué)元件112中的透鏡。在一個(gè)實(shí)施例中，透鏡122是準(zhǔn)直透鏡?？刂齐娐?36提供支承頭戴式顯示設(shè)備2的其他組件的各種電子裝置。下面參考圖3提供控制電路136的更多細(xì)節(jié)。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機(jī)130、 慣性傳感器132、以及溫度傳感器138。在一個(gè)實(shí)施例中，慣性傳感器132包括三軸磁力計(jì) 132A、三軸陀螺儀132B、以及三軸加速度計(jì)132C(參見(jiàn)圖幻。慣性傳感器用于感測(cè)頭戴式顯示設(shè)備2的位置、取向、以及突然加速。
微顯示器120通過(guò)透鏡122來(lái)投影圖像。存在著可用于實(shí)現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來(lái)實(shí)現(xiàn)，其中光源由光學(xué)活性材料來(lái)調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強(qiáng)大背光和高光能量密度的LCD 類(lèi)型的顯示器來(lái)實(shí)現(xiàn)的。微顯示器120還可使用反射技術(shù)來(lái)實(shí)現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。根據(jù)該技術(shù)，由白光源或RGB源點(diǎn)亮的照明是向前的。數(shù)字光處理(DLP)、 硅上液晶(LCOS)、以及來(lái)自Qualcomm有限公司的Mirasol 顯示技術(shù)都是高效的反射技術(shù)的示例，因?yàn)榇蠖鄶?shù)能量從已調(diào)制結(jié)構(gòu)反射離開(kāi)并且可用在本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來(lái)實(shí)現(xiàn)，其中光由該顯示器生成。例如，來(lái)自Microvision有限公司的PicoP 顯示引擎使用微型鏡面舵來(lái)將激光信號(hào)發(fā)射到充當(dāng)透射元件的小型屏幕上或直接照射到眼睛(例如激光)。光導(dǎo)光學(xué)元件112將來(lái)自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶(hù)的眼睛140。光導(dǎo)光學(xué)元件112還允許如箭頭142所示那樣將光從頭戴式顯示設(shè)備2的前方通過(guò)光導(dǎo)光學(xué)元件112透射到用戶(hù)的眼睛，從而除接收來(lái)自微顯示器120的虛擬圖像之外還允許用戶(hù)具有頭戴式顯示設(shè)備2的前方的空間的實(shí)際直接視圖。因此，光導(dǎo)光學(xué)元件 112的壁是透視的。光導(dǎo)光學(xué)元件112包括第一反射面124(例如，鏡面或其他表面)。來(lái)自微顯示器120的光穿過(guò)透鏡122并入射在反射面IM上。反射面124反射來(lái)自微顯示器 120的入射光，使得光通過(guò)內(nèi)反射而被捕獲在包括光導(dǎo)光學(xué)元件112的平面襯底內(nèi)。在離開(kāi)襯底的表面的若干反射之后，所捕獲的光波到達(dá)選擇性反射面126的陣列。注意，五個(gè)表面中只有一個(gè)被標(biāo)記為126以防止附圖太過(guò)擁擠。反射面1 將從襯底出射并入射在這些反射面上的光波耦合到用戶(hù)的眼睛140。由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同角度擊中各個(gè)反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線被哪個(gè)表面126從襯底反射出的選擇是通過(guò)選擇表面126的合適角度來(lái)設(shè)計(jì)的。光導(dǎo)光學(xué)元件的更多細(xì)節(jié)可以在于2008年11月 20日公開(kāi)的美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)2008/(^85140、序列號(hào)12/214，366的“Substrate-Guided Optical DeviCeS(襯底導(dǎo)向的光學(xué)設(shè)備)”中找到，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用結(jié)合于此。 在一個(gè)實(shí)施例中，每只眼睛將具有其自己的光導(dǎo)光學(xué)元件112。當(dāng)頭戴式顯示設(shè)備具有兩個(gè)光導(dǎo)光學(xué)元件時(shí)，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實(shí)施例中，可以存在將光反射到兩只眼睛中的一個(gè)光導(dǎo)光學(xué)元件。與光導(dǎo)光學(xué)元件112對(duì)齊的不透明度濾光器114要么均勻地、要么以每像素為基礎(chǔ)來(lái)選擇性地阻擋自然光，以免其穿過(guò)光導(dǎo)光學(xué)元件112。在一實(shí)施例中，不透明度濾光器可以是透視IXD面板、電致變色膜(electrochromic film)或能夠充當(dāng)不透明度濾光器的類(lèi)似設(shè)備。通過(guò)從常規(guī)IXD中除去襯底、背光和漫射器的各層，可以獲得這樣的透視IXD面板。IXD面板可包括一個(gè)或更多個(gè)透光IXD芯片，所述透光IXD芯片允許光穿過(guò)液晶。例如，在LCD投影儀中使用了這樣的芯片。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個(gè)像素的透光率能夠在最小和最大透光率之間被個(gè)別化地控制。盡管0-100%的透光率范圍是理想的，然而更有限的范圍也是可以接受的。作為示例，具有不超過(guò)兩個(gè)偏振濾光器的單色LCD面板足以提供每像素約50%到90%的不透明度范圍，最高為該IXD的分辨率。在50%的最小值處，透鏡將具有稍微帶色彩的外觀，這是可以容忍的。100%的透光率表示完美地?zé)o色透鏡?？梢詮?0-100%定義“阿爾法(alpha)”尺度，其中0%不允許光穿過(guò)，并且100%允許所有光穿過(guò)。 可以由下面描述的不透明度濾光器控制電路2M為每個(gè)像素設(shè)置阿爾法的值。在用代理為現(xiàn)實(shí)世界物體進(jìn)行ζ-緩沖(z-buffering)之后，可以使用來(lái)自渲染流水線的阿爾法值的掩碼(mask)。當(dāng)系統(tǒng)為擴(kuò)展現(xiàn)實(shí)顯示而渲染場(chǎng)景時(shí)，該系統(tǒng)注意到哪些現(xiàn)實(shí)世界物體處于哪些虛擬物體之前。如果虛擬物體處于現(xiàn)實(shí)世界物體之前，則不透明度對(duì)于該虛擬物體的覆蓋區(qū)域而言應(yīng)當(dāng)是開(kāi)啟的。如果虛擬物體(虛擬地)處于現(xiàn)實(shí)世界物體之后，則不透明度以及該像素的任何色彩都應(yīng)當(dāng)是關(guān)閉的，使得對(duì)于現(xiàn)實(shí)燈光的該相應(yīng)區(qū)域(其大小為一個(gè)像素或更多)而言，用戶(hù)將會(huì)僅僅看到現(xiàn)實(shí)世界物體。覆蓋將是以逐像素為基礎(chǔ)的，所以該系統(tǒng)可以處理虛擬物體的一部分處于現(xiàn)實(shí)世界物體之前、該虛擬物體的一部分處于現(xiàn)實(shí)世界物體之后、以及該虛擬物體的一部分與現(xiàn)實(shí)世界物體相重合的情況。對(duì)這種用途而言，最期望的是能夠以低的成本、電力和重量從0%達(dá)到100%不透明度的顯示器。此外，不透明度濾光器可以比如用彩色LCD或用諸如有機(jī)LED等其他顯示器來(lái)以彩色進(jìn)行渲染，以提供寬視野。于2010年9月21日提交的美國(guó)專(zhuān)利申請(qǐng)?zhí)?12/887, 426 "Opacity Filter For See-Through Mounted Display (用于透射安裝顯示器的不透明度濾光器)”中提供了不透明度濾光器的更多細(xì)節(jié)，該專(zhuān)利申請(qǐng)的全部?jī)?nèi)容通過(guò)應(yīng)用結(jié)合于此。諸如IXD之類(lèi)的不透明度濾光器通常還未與在此所述的透視透鏡一起使用，因?yàn)樵谂c眼睛的該近距離下，其可能失焦。然而，在一些情況下，這個(gè)結(jié)果可能是所期望的。通過(guò)使用相加色(additive color)的普通HMD顯示器(其被設(shè)計(jì)為是聚焦的)，用戶(hù)看到具有清晰彩色圖形的虛擬圖像。該LCD面板被放置在該顯示器“之后”，使得模糊的黑色邊界圍繞任何虛擬內(nèi)容，使其根據(jù)需要而不透明。該系統(tǒng)扭轉(zhuǎn)了自然模糊化的缺陷以方便地獲得了抗混疊和帶寬減少的特征。這些是使用較低分辨率且失焦圖像的自然結(jié)果。存在對(duì)數(shù)字采樣圖像的有效平滑化。任何數(shù)字圖像都經(jīng)歷混疊，其中在光的波長(zhǎng)附近，采樣的離散性導(dǎo)致與自然模擬和連續(xù)信號(hào)相比的誤差。平滑化意味著在視覺(jué)上更靠近理想的模擬信號(hào)。 盡管在低分辨率丟失的信息沒(méi)有被恢復(fù)，但是得到的誤差的明顯程度更低。在一個(gè)實(shí)施例中，顯示器和不透明度濾光器被同時(shí)渲染，并且被校準(zhǔn)到用戶(hù)在空間中的精確位置以補(bǔ)償角度偏移問(wèn)題。眼睛跟蹤可用于計(jì)算視野的末端處的正確的圖像偏移。在一些實(shí)施例中，在不透明度濾光器中可以使用不透明度的量在時(shí)間和空間上的淡化。 類(lèi)似地，在虛擬圖像中可以使用在時(shí)間和空間上的淡化。在一個(gè)方案中，不透明度濾光器的不透明度的量在時(shí)間上的淡化對(duì)應(yīng)于虛擬圖像在時(shí)間上的淡化。在另一方案中，不透明度濾光器的不透明度的量在空間上的淡化對(duì)應(yīng)于虛擬圖像中在空間上的淡化。在一個(gè)示例性方案中，從所標(biāo)識(shí)出的用戶(hù)眼睛的位置的視角出發(fā)，為不透明度濾光器的處于虛擬圖像之后的像素提供增加的不透明度。通過(guò)這種方式，處于虛擬圖像之后的像素被暗化，使得來(lái)自現(xiàn)實(shí)世界場(chǎng)景的相應(yīng)部分的光被阻擋而無(wú)法到達(dá)用戶(hù)的眼睛。這允許虛擬圖像是逼真的并且表示全范圍的色彩和強(qiáng)度。此外，因?yàn)榭梢砸愿偷膹?qiáng)度提供虛擬圖像，所以減少了擴(kuò)展現(xiàn)實(shí)發(fā)射器的功耗。在沒(méi)有不透明度濾光器的情況下，將需要以與現(xiàn)實(shí)世界場(chǎng)景的相應(yīng)部分相比更亮的足夠高的強(qiáng)度來(lái)提供虛擬圖像，以使虛擬圖像不同并且不是透明的。在暗化不透明度濾光器的像素時(shí)，一般而言，沿著虛擬圖像的閉合周界的
10像素與周界內(nèi)的像素一起被暗化。所期望的可能是提供一些重疊，使得恰好處于周界之外并且圍繞周界的一些像素也被暗化(以相同的暗度級(jí)或者比周界內(nèi)的像素暗度低)。恰好處于周界之外的這些像素可以提供從周界內(nèi)的暗度到周界之外的完全量的不透明度的淡化(例如不透明度的逐漸過(guò)渡)。為了提供不透明度濾光器的操作的示例，圖2A描繪了森林的現(xiàn)實(shí)世界場(chǎng)景的示例，該森林是通過(guò)頭戴式顯示設(shè)備2進(jìn)行查看的人眼可見(jiàn)的。圖2B描繪了虛擬圖像，該虛擬圖像在該情況下是海豚。圖2C描繪了基于圖2B的虛擬圖像的形狀對(duì)不透明度濾光器進(jìn)行的示例性配置。不透明度濾光器在應(yīng)當(dāng)渲染海豚之處提供了不透明度增加的暗化區(qū)域。 增加的不透明度一般是指像素的暗化，這可以包括允許更少的光穿過(guò)。可以在單色方案中使用到不同灰度級(jí)(或黑色)的暗化，或者在彩色方案中使用到不同色彩級(jí)的暗化。圖2D 描繪了用戶(hù)所看到的示例性圖像，并且該圖像是如下動(dòng)作的結(jié)果將海豚的虛擬圖像投影到用戶(hù)的視界中；以及使用不透明度濾光器來(lái)為與海豚的虛擬圖像的位置相對(duì)應(yīng)的像素去除光。如可以看見(jiàn)的那樣，背景不是透過(guò)海豚可被看見(jiàn)的。為了比較的目的，圖2E示出了在不使用不透明度濾光器的情況下將虛擬圖像插入到現(xiàn)實(shí)圖像中。如可以看見(jiàn)的那樣，現(xiàn)實(shí)背景可以透過(guò)海豚的虛擬圖像被看見(jiàn)。頭戴式顯示設(shè)備2還包括用于跟蹤用戶(hù)的眼睛位置的系統(tǒng)。如下面將會(huì)解釋的那樣，該系統(tǒng)將跟蹤用戶(hù)的位置和取向，使得該系統(tǒng)可以確定用戶(hù)的視野。然而，人類(lèi)將不會(huì)察覺(jué)處于其之前的所有事物。相反，用戶(hù)的眼睛將對(duì)準(zhǔn)環(huán)境的子集。因此，在一個(gè)實(shí)施例中， 該系統(tǒng)將包括用于跟蹤用戶(hù)的眼睛位置的技術(shù)以便細(xì)化對(duì)用戶(hù)視野的測(cè)量。例如，頭戴式顯示設(shè)備2包括眼睛跟蹤部件134 (參見(jiàn)圖2)，該眼睛跟蹤部件134將包括眼睛跟蹤照明設(shè)備134A和眼睛跟蹤相機(jī)134B(參見(jiàn)圖3)。在一個(gè)實(shí)施例中，眼睛跟蹤照明源134A包括一個(gè)或多個(gè)紅外(IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射頂光。眼睛跟蹤相機(jī)134B包括一個(gè)或多個(gè)感測(cè)所反射的頂光的相機(jī)。通過(guò)檢測(cè)角膜的反射的已知的成像技術(shù)，可以標(biāo)識(shí)出瞳孔的位置。例如，參見(jiàn)2008年7月22日頒發(fā)給Kranz等人的、名稱(chēng)為“Head mounted eye tracking and display system(頭戴式眼睛跟蹤和顯示系統(tǒng))”的美國(guó)專(zhuān)利7，401，920，該專(zhuān)利通過(guò)引用結(jié)合于此。這樣的技術(shù)可以定位眼睛的中心相對(duì)于跟蹤相機(jī)的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像以及使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)確定瞳孔在眼眶內(nèi)的位置。 在一個(gè)實(shí)施例中，跟蹤一只眼睛的位置就足夠了，因?yàn)檠劬νǔＲ恢碌匾苿?dòng)。然而，單獨(dú)地跟蹤每只眼睛是可能的。在一個(gè)實(shí)施例中，該系統(tǒng)將使用以矩形布置的4個(gè)頂LED和4個(gè)頂光電檢測(cè)器， 使得在頭戴式顯示設(shè)備2的透鏡的每個(gè)角處存在一個(gè)頂LED和頂光電檢測(cè)器。來(lái)自LED 的光從眼睛反射離開(kāi)。由在4個(gè)頂光電檢測(cè)器中的每個(gè)處所檢測(cè)到的紅外光的量來(lái)確定瞳孔位置。也就是說(shuō)，眼睛中眼白相對(duì)于眼黑的量將確定對(duì)于該特定光電檢測(cè)器而言從眼睛反射離開(kāi)的光量。因此，光電檢測(cè)器將具有對(duì)眼睛中的眼白或眼黑的量的度量。從4個(gè)采樣中，該系統(tǒng)可以確定眼睛的方向。另一替代方案是如下面所討論的那樣使用4個(gè)紅外LED，但是在頭戴式顯示設(shè)備2 的透鏡的側(cè)邊處僅僅使用一個(gè)紅外(XD。該CXD將使用小鏡和/或透鏡(魚(yú)眼)，使得CXD 可以從鏡框?qū)Ω哌_(dá)75%的可見(jiàn)眼睛進(jìn)行成像。然后，該C⑶將感測(cè)圖像并且使用計(jì)算機(jī)視覺(jué)來(lái)找出該圖像，就像下面所討論的那樣。因此，盡管圖2示出了具有一個(gè)頂發(fā)射器的一個(gè)部件，但是圖2的結(jié)構(gòu)可以被調(diào)整為具有4個(gè)頂發(fā)射機(jī)和/或4個(gè)頂傳感器。也可以使用多于或少于4個(gè)的頂發(fā)射機(jī)和/多于或少于4個(gè)的頂傳感器。用于跟蹤眼睛方向的另一實(shí)施例基于電荷跟蹤。該方案基于如下觀察視網(wǎng)膜攜帶可測(cè)量的正電荷并且角膜具有負(fù)電荷。傳感器通過(guò)用戶(hù)的耳朵來(lái)安裝(靠近耳機(jī)130) 以檢測(cè)眼睛在周?chē)\(yùn)動(dòng)時(shí)的電勢(shì)并且有效地實(shí)時(shí)讀出眼睛正在進(jìn)行的動(dòng)作。也可以使用其他用于跟蹤眼睛的實(shí)施例。圖2僅僅示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一組透視透鏡、另一不透明度濾光器、另一光導(dǎo)光學(xué)元件、另一微顯示器136、另一透鏡122、朝向房間的相機(jī)、眼睛跟蹤部件、微顯示器、耳機(jī)以及溫度傳感器。圖3是描繪了頭戴式顯示設(shè)備2的各個(gè)組件的框圖。圖4是描述處理單元4的各個(gè)組件的框圖。圖3中描繪了頭戴式顯示設(shè)備2的組件，該頭戴式顯示設(shè)備2用于通過(guò)將虛擬圖像與用戶(hù)對(duì)現(xiàn)實(shí)世界的視圖相融合來(lái)向用戶(hù)提供該虛擬圖像。附加地，圖3的頭戴式顯示設(shè)備組件包括跟蹤各種狀況的多個(gè)傳感器。頭戴式顯示設(shè)備2將從處理單元4接收關(guān)于虛擬圖像的指令，并且將傳感器信息提供回給處理單元4。圖3中描繪了處理單元4的組件，該處理單元4將從頭戴式顯示設(shè)備2、并且還從中樞計(jì)算設(shè)備12 (參見(jiàn)圖1)接收傳感信息。基于該信息，處理單元4將確定在何處以及在何時(shí)向用戶(hù)提供虛擬圖像并相應(yīng)地將指令發(fā)送給圖3的頭戴式顯示設(shè)備。注意，圖3的組件中的一些(例如朝向背面的相機(jī)113、眼睛跟蹤相機(jī)134B、微顯示器120、不透明度濾光器114、眼睛跟蹤照明134A、耳機(jī)130和溫度傳感器138)是以陰影示出的，以指示這些的設(shè)備中的每個(gè)都存在兩個(gè)，其中一個(gè)用于頭戴式顯示設(shè)備2的左側(cè)， 并且一個(gè)用于頭戴式顯示設(shè)備2的右側(cè)。圖3示出與電源管理電路202通信的控制電路 200?？刂齐娐?00包括處理器210、與存儲(chǔ)器214(例如D-RAM)進(jìn)行通信的存儲(chǔ)器控制器 212、相機(jī)接口 216、相機(jī)緩沖區(qū)218、顯示器驅(qū)動(dòng)器220、顯示格式化器222、定時(shí)生成器226、 顯示輸出接口 228、以及顯示輸入接口 230。在一個(gè)實(shí)施例中，控制電路200的所有組件通過(guò)專(zhuān)用線路或一個(gè)或多個(gè)總線彼此通信。在另一實(shí)施例中，控制電路200的每個(gè)組件都與處理器210通信。相機(jī)接口 216提供到兩個(gè)朝向房間的相機(jī)113的接口，并且將從朝向房間的相機(jī)所接收到的圖像存儲(chǔ)在相機(jī)緩沖區(qū)218中。顯示器驅(qū)動(dòng)器220將驅(qū)動(dòng)微顯示器 120。顯式格式化器222向控制不透明度濾光器114的不透明度控制電路2M提供關(guān)于微顯示器120上所顯示的虛擬圖像的信息。定時(shí)生成器2 被用于向該系統(tǒng)提供定時(shí)數(shù)據(jù)。 顯示輸出接口 2 是用于將圖像從朝向房間的相機(jī)113提供給處理單元4的緩沖區(qū)。顯示輸入230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類(lèi)的圖像的緩沖區(qū)。顯示輸出2 和顯示輸入230與作為到處理單元4的接口的帶接口 232進(jìn)行通信。電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動(dòng)器236、音頻DAC和放大器238、話(huà)筒前置放大器音頻ADC對(duì)0、溫度傳感器接口 M2、以及時(shí)鐘生成器對(duì)4。電壓調(diào)節(jié)器234通過(guò)帶接口 232從處理單元4接收電能，并將該電能提供給頭戴式顯示設(shè)備2 的其他組件。眼睛跟蹤照明驅(qū)動(dòng)器236如上面所述的那樣為眼睛跟蹤照明134A提供頂光源。音頻DAC和放大器238從耳機(jī)130接收音頻信息。話(huà)筒前置放大器和音頻ADC 240提供話(huà)筒100的接口。溫度傳感器接口 242是用于溫度傳感器138的接口。電源管理單元 202還向三軸磁力計(jì)132A、三軸陀螺儀132B以及三軸加速度計(jì)132C提供電能并從其接收
12回?cái)?shù)據(jù)。圖4是描述處理單元4的各個(gè)組件的框圖。圖4示出與電源管理電路306通信的控制電路304。控制電路304包括中央處理單元(CPU) 320 ；圖形處理單元(GPU) 322 ； 高速緩存324 ；RAM 326 ；與存儲(chǔ)器330 (例如D-RAM)進(jìn)行通信的存儲(chǔ)器控制器328 ；與閃存 334(或其他類(lèi)型的非易失性存儲(chǔ))進(jìn)行通信的閃存控制器332 ；通過(guò)帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸出緩沖區(qū)336 ；經(jīng)由帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸入緩沖區(qū)338 ；與用于連接到話(huà)筒的外部話(huà)筒連接器 342進(jìn)行通信的話(huà)筒接口 ；340，用于連接到無(wú)線通信設(shè)備346的PCI express接口 ；以及USB 端口 348。在一個(gè)實(shí)施例中，無(wú)線通信設(shè)備346可以包括啟用Wi-Fi的通信設(shè)備、藍(lán)牙通信設(shè)備、紅外通信設(shè)備等。USB端口可以用于將處理單元4對(duì)接到中樞計(jì)算設(shè)備12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對(duì)處理單元4進(jìn)行充電。在一個(gè)實(shí)施例中，CPU 320和 GPU 322是用于確定在何處、何時(shí)以及如何向用戶(hù)的視野內(nèi)插入虛擬圖像的主負(fù)荷設(shè)備。下面提供更多的細(xì)節(jié)。電源管理電路306包括時(shí)鐘生成器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進(jìn)行通信的溫度傳感器接口 372(其位于處理單元4的腕帶(wrist band)上)。模數(shù)轉(zhuǎn)換器362連接到充電插孔370 以用于接收AC電能并為該系統(tǒng)產(chǎn)生DC電能。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進(jìn)行通信。電池充電器364被用來(lái)在從充電插孔370接收到電能時(shí)對(duì)電池368進(jìn)行充電(通過(guò)電壓調(diào)節(jié)器366)。HMD電源376向頭戴式顯示設(shè)備2提供電能。上述系統(tǒng)將被配置為將虛擬圖像插入到用戶(hù)的視野中，使得該虛擬圖像替換現(xiàn)實(shí)世界物體的視圖?？商娲?，虛擬圖像可以在不替換現(xiàn)實(shí)世界物體的圖像的情況下被插入。 在各個(gè)實(shí)施例中，虛擬圖像將基于被替換的物體或者該圖像將被插入的環(huán)境而被調(diào)整為與合適的取向、大小和形狀相匹配。另外，虛擬圖像可以被調(diào)整為包括反射率和陰影。在一個(gè)實(shí)施例中，頭戴式顯示設(shè)備12、處理單元4以及中樞計(jì)算設(shè)備12 —起工作，因?yàn)槊總€(gè)設(shè)備都包括用于獲得用于確定在何處、何時(shí)以及如何插入虛擬圖像的數(shù)據(jù)的傳感器的子集。在一個(gè)實(shí)施例中，確定在何處、如何以及何時(shí)插入虛擬圖像的計(jì)算是由中樞計(jì)算設(shè)備12執(zhí)行的。在另一實(shí)施例中，這些計(jì)算由處理單元4來(lái)執(zhí)行。在另一實(shí)施例中，這些計(jì)算中的一些由中樞計(jì)算設(shè)備12來(lái)執(zhí)行，而其他計(jì)算由處理單元4來(lái)執(zhí)行。在其他實(shí)施例中，這些計(jì)算可以由頭戴式顯示設(shè)備2來(lái)執(zhí)行。在一個(gè)示例性實(shí)施例中，中樞計(jì)算設(shè)備12將創(chuàng)建用戶(hù)所處的環(huán)境的模型，并且跟蹤在該環(huán)境中的多個(gè)移動(dòng)物體。另外，中樞計(jì)算設(shè)備12通過(guò)跟蹤頭戴式顯示設(shè)備2的位置和取向來(lái)跟蹤頭戴式顯示設(shè)備2的視野。該模型和跟蹤信息被從中樞計(jì)算設(shè)備12提供給處理單元4。由頭戴式顯示設(shè)備2所獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用其從頭戴式顯示設(shè)備2接收的其他傳感器信息來(lái)細(xì)化用戶(hù)的視野并且向頭戴式顯示設(shè)備2提供關(guān)于如何、在何處以及何時(shí)插入虛擬圖像的指令。圖5示出了具有捕捉設(shè)備的中樞計(jì)算系統(tǒng)12的示例性實(shí)施例。在一個(gè)實(shí)施例中， 捕捉設(shè)備20A和20B是相同結(jié)構(gòu)，因此，圖5僅僅示出了捕捉設(shè)備20A。根據(jù)一示例性實(shí)施例，捕捉設(shè)備20A可被配置為通過(guò)可包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來(lái)捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20A可將深度信息組織成“Z層”、或者可與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖5所示，捕捉設(shè)備20A可以包括相機(jī)組件423。根據(jù)一示例性實(shí)施例，相機(jī)組件423可以是或者可以包括可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉的場(chǎng)景的二維O-D)像素區(qū)域，其中2D像素區(qū)域中的每個(gè)像素都可以表示深度值，比如所捕捉的場(chǎng)景中的物體與相機(jī)相距的例如以厘米、毫米等為單位的距離。相機(jī)組件23可以包括可用于捕捉場(chǎng)景的深度圖像的紅外(IR)光組件425、三維 (3D)相機(jī)426、以及RGB (視覺(jué)圖像)相機(jī)428。例如，在飛行時(shí)間分析中，捕捉設(shè)備20A的頂光組件425可以將紅外光發(fā)射到場(chǎng)景上，并且然后可以使用傳感器(在一些實(shí)施例中包括未示出的傳感器)、例如使用3D相機(jī)4 和/或RGB相機(jī)4 來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面后向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光，使得可以測(cè)量出射光脈沖和相應(yīng)的入射光脈沖之間的時(shí)間并將其用于確定從捕捉設(shè)備20A到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。附加地，在其他示例性實(shí)施例中，可將出射光波的相位與入射光波的相位進(jìn)行比較來(lái)確定相移。然后可以使用該相移來(lái)確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可使用飛行時(shí)間分析，以通過(guò)經(jīng)由包括例如快門(mén)式光脈沖成像之類(lèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來(lái)間接地確定從捕捉設(shè)備20A到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實(shí)施例中，捕捉設(shè)備20A可使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類(lèi)的已知圖案的光)可經(jīng)由例如頂光組件似4被投影到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上時(shí)，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3D相機(jī)似6和/或RGB 相機(jī)4 (和/或其他傳感器)來(lái)捕捉，然后可被分析以確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。在一些實(shí)施方式中，頂光組件425與相機(jī)425和似6分開(kāi)，使得可以使用三角測(cè)量來(lái)確定與相機(jī)425和似6相距的距離。在一些實(shí)施方式中，捕捉設(shè)備20A將包括感測(cè)頂光的專(zhuān)用頂傳感器或具有頂濾光器的傳感器。根據(jù)另一實(shí)施例，捕捉設(shè)備20A可以包括兩個(gè)或更多個(gè)在物理上分開(kāi)的相機(jī)，這些相機(jī)可以從不同的角度觀察場(chǎng)景以獲得視覺(jué)立體數(shù)據(jù)，這些視覺(jué)立體數(shù)據(jù)可以被分辨以生成深度信息。也可使用其他類(lèi)型的深度圖像傳感器來(lái)創(chuàng)建深度圖像。 捕捉設(shè)備20A還可以包括話(huà)筒430，所述話(huà)筒430包括可以接收聲音并將其轉(zhuǎn)換成電信號(hào)的換能器或傳感器。話(huà)筒430可用于接收也可由中樞計(jì)算系統(tǒng)12來(lái)提供的音頻信號(hào)。在一示例實(shí)施例中，捕捉設(shè)備20A還可包括可與圖像相機(jī)組件423進(jìn)行通信的處理器432。處理器432可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專(zhuān)用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式(例如，幀)以及將數(shù)據(jù)傳送給計(jì)算系統(tǒng) 12的指令。捕捉設(shè)備20A還可包括存儲(chǔ)器434，該存儲(chǔ)器434可存儲(chǔ)由處理器432執(zhí)行的指令、由3D相機(jī)和/或RGB相機(jī)所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例性實(shí)施例，存儲(chǔ)器434可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、高速緩存、閃存、硬盤(pán)或任何其他合適的存儲(chǔ)組件。如圖5所示，在一個(gè)實(shí)施例中，存儲(chǔ)器434可以是與圖像捕捉組件423和處理器432進(jìn)行通信的單獨(dú)組件。根據(jù)另一實(shí)施例，存儲(chǔ)器組件 434可被集成到處理器432和/或圖像捕捉組件422中。捕捉設(shè)備20A和20B通過(guò)通信鏈路436與中樞計(jì)算系統(tǒng)12通信。通信鏈路436可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無(wú)線802. lib、 802. llg、802. Ila或802. Iln連接等的無(wú)線連接。根據(jù)一個(gè)實(shí)施例，中樞計(jì)算系統(tǒng)12可以通過(guò)通信鏈路436向捕捉設(shè)備20A提供可用于確定例如何時(shí)捕捉場(chǎng)景的時(shí)鐘。附加地，捕捉設(shè)備20A通過(guò)通信鏈路436將由例如3D相機(jī)4 和/或RGB相機(jī)4 捕捉的深度信息和視覺(jué)(例如RGB)圖像提供給中樞計(jì)算系統(tǒng)12。在一個(gè)實(shí)施例中，深度圖像和視覺(jué)圖像以每秒30幀的速率來(lái)傳送，但是可以使用其他幀速率。中樞計(jì)算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、深度信息、以及所捕捉的圖像來(lái)例如控制諸如游戲或文字處理程序等的應(yīng)用和/ 或使化身或屏上人物動(dòng)畫(huà)化。中樞計(jì)算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊450，該模塊使用深度圖像來(lái)跟蹤可被捕捉設(shè)備20A的深度相機(jī)功能檢測(cè)到的一個(gè)或多個(gè)人。深度圖像處理和骨架跟蹤模塊450向應(yīng)用453提供跟蹤信息，該應(yīng)用可以是視頻游戲、生產(chǎn)性應(yīng)用、通信應(yīng)用或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視覺(jué)圖像數(shù)據(jù)也被提供給應(yīng)用452和深度圖像處理和骨架跟蹤模塊450。應(yīng)用452將跟蹤信息、音頻數(shù)據(jù)和視覺(jué)圖像數(shù)據(jù)提供給識(shí)別器引擎454。在另一實(shí)施例中，識(shí)別器引擎4M直接從深度圖像處理和骨架跟蹤模塊450接收跟蹤信息，并直接從捕捉設(shè)備20A和20B接收音頻數(shù)據(jù)和視覺(jué)圖像數(shù)據(jù)。識(shí)別器引擎妨4與過(guò)濾器460、462、464、……、466的集合相關(guān)聯(lián)，每個(gè)過(guò)濾器都包括關(guān)于可被捕捉設(shè)備20A或20B檢測(cè)到的任何人或物體執(zhí)行的姿勢(shì)、動(dòng)作或狀況的信息。 例如，來(lái)自捕捉設(shè)備20A的數(shù)據(jù)可由過(guò)濾器460、462、464、……、466來(lái)處理，以便標(biāo)識(shí)出一個(gè)用戶(hù)或一組用戶(hù)已經(jīng)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢(shì)或其他動(dòng)作。這些姿勢(shì)可與應(yīng)用452的各種控制、物體或狀況相關(guān)聯(lián)。因此，中樞計(jì)算系統(tǒng)12可以將識(shí)別器引擎4M和過(guò)濾器一起用于解釋和跟蹤物體(包括人)的移動(dòng)。捕捉設(shè)備20A和20B向中樞計(jì)算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺(jué)圖像)和深度圖像。深度圖像可以是多個(gè)觀測(cè)到的像素，其中每個(gè)觀測(cè)到的像素具有觀測(cè)到的深度值。例如，深度圖像可包括所捕捉的場(chǎng)景的二維OD)像素區(qū)域，其中2D 像素區(qū)域中的每個(gè)像素都可具有深度值，比如所捕捉的場(chǎng)景中的物體與捕捉設(shè)備相距的距離。中樞計(jì)算系統(tǒng)12將使用RGB圖像和深度圖像來(lái)跟蹤用戶(hù)或物體的移動(dòng)。例如，系統(tǒng)將使用深度圖像來(lái)跟蹤人的骨架。可以使用許多方法以通過(guò)使用深度圖像來(lái)跟蹤人的骨架。使用深度圖像來(lái)跟蹤骨架的一個(gè)合適的示例在2009年10月21日提交的美國(guó)專(zhuān)利申請(qǐng) 12/603, 437 "Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”(以下稱(chēng)為，437申請(qǐng))中提供，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用結(jié)合于此。‘437申請(qǐng)的過(guò)程包括采集深度圖像；對(duì)數(shù)據(jù)進(jìn)行降采樣；移除和/或平滑化高方差噪聲數(shù)據(jù)；標(biāo)識(shí)并移除背景；以及將前景像素中的每個(gè)分配給身體的不同部位?；谶@些步驟，系統(tǒng)將使一模型擬合到該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些關(guān)節(jié)之間的連接。也可使用用于跟蹤的其他方法。合適的跟蹤技術(shù)也在以下4個(gè)美國(guó)專(zhuān)利申請(qǐng)中公開(kāi)，所有這些申請(qǐng)的全部?jī)?nèi)容都通過(guò)引用結(jié)合于此2009 年 5 月四日提交的美國(guó)專(zhuān)利申請(qǐng) 12/475，308 "Device for Identifying and TrackingMultiple Humans Over Time (用于隨時(shí)間標(biāo)識(shí)并跟蹤多個(gè)人的設(shè)備)”;2010年1月㈨日提交的美國(guó)專(zhuān)利申請(qǐng)12/696，282 “Visual Based Identity Tracking(基于視覺(jué)的身份跟蹤)” ；2009年12月18日提交的美國(guó)專(zhuān)利申請(qǐng)12/641，788 "Motion Detection Using Depth Images (使用深度圖像的運(yùn)動(dòng)檢測(cè))”；以及2009年10月7日提交的美國(guó)專(zhuān)利申請(qǐng) 12/575，388 "Human Tracking System(人類(lèi)跟蹤系統(tǒng))，，。識(shí)別器引擎妨4包括多個(gè)過(guò)濾器460、462、464、……、466來(lái)確定姿勢(shì)或動(dòng)作。過(guò)濾器包括定義姿勢(shì)、動(dòng)作或狀況以及該姿勢(shì)、動(dòng)作或狀況的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后經(jīng)過(guò)身體前方的運(yùn)動(dòng)的投擲可被實(shí)現(xiàn)為包括表示用戶(hù)的一只手從身體背后經(jīng)過(guò)身體前方的運(yùn)動(dòng)的信息的姿勢(shì)，因?yàn)樵撨\(yùn)動(dòng)將由深度相機(jī)來(lái)捕捉。然后可為該姿勢(shì)設(shè)定參數(shù)。當(dāng)姿勢(shì)是投擲時(shí)，參數(shù)可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對(duì)的，或相對(duì)于用戶(hù)的整體大小)、以及識(shí)別器引擎對(duì)發(fā)生了該姿勢(shì)的置信度評(píng)級(jí)。 用于姿勢(shì)的這些參數(shù)可以隨時(shí)間在各應(yīng)用之間、在單個(gè)應(yīng)用的各上下文之間、或在一個(gè)應(yīng)用的一個(gè)上下文內(nèi)變化。過(guò)濾器可以是模塊化的或是可互換的。在一個(gè)實(shí)施例中，過(guò)濾器具有多個(gè)輸入 (這些輸入中的每一個(gè)具有一類(lèi)型)以及多個(gè)輸出(這些輸出中的每一個(gè)具有一類(lèi)型)。第一過(guò)濾器可用具有與第一過(guò)濾器相同數(shù)量和類(lèi)型的輸入和輸出的第二過(guò)濾器來(lái)替換而不更改識(shí)別器引擎架構(gòu)的任何其他方面。例如，可能具有要驅(qū)動(dòng)的第一過(guò)濾器，該第一過(guò)濾器將骨架數(shù)據(jù)作為輸入，并輸出與該過(guò)濾器相關(guān)聯(lián)的姿勢(shì)正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二驅(qū)動(dòng)過(guò)濾器來(lái)替換該第一驅(qū)動(dòng)過(guò)濾器的情況下(這可能是因?yàn)榈诙?qū)動(dòng)過(guò)濾器更高效且需要更少的處理資源)，可以通過(guò)簡(jiǎn)單地用第二過(guò)濾器替換第一過(guò)濾器來(lái)這樣做， 只要第二過(guò)濾器具有同樣的輸入和輸出——骨架數(shù)據(jù)類(lèi)型的一個(gè)輸入、以及置信度類(lèi)型和角度類(lèi)型的兩個(gè)輸出。過(guò)濾器不需要具有參數(shù)。例如，返回用戶(hù)的高度的“用戶(hù)高度”過(guò)濾器可能不允許可被調(diào)節(jié)的任何參數(shù)?？商娲摹坝脩?hù)高度”過(guò)濾器可具有可調(diào)節(jié)參數(shù)，比如在確定用戶(hù)的高度時(shí)是否考慮用戶(hù)的鞋、發(fā)型、頭飾以及體態(tài)。對(duì)過(guò)濾器的輸入可包括諸如關(guān)于用戶(hù)的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)、在關(guān)節(jié)處相交的骨所形成的角度、來(lái)自場(chǎng)景的RGB色彩數(shù)據(jù)、以及用戶(hù)的某一方面的變化速率等內(nèi)容。來(lái)自過(guò)濾器的輸出可包括諸如正作出給定姿勢(shì)的置信度、作出姿勢(shì)運(yùn)動(dòng)的速度、以及作出姿勢(shì)運(yùn)動(dòng)的時(shí)間等內(nèi)容。識(shí)別器引擎妨4可以具有向過(guò)濾器提供功能的基本識(shí)別器引擎。在一實(shí)施例中，識(shí)別器引擎4M所實(shí)現(xiàn)的功能包括跟蹤所識(shí)別的姿勢(shì)和其他輸入的隨時(shí)間輸入 (input-over-time)存檔；隱馬爾可夫模型實(shí)施方式(其中所建模的系統(tǒng)被假定為馬爾可夫過(guò)程一該過(guò)程是其中當(dāng)前狀態(tài)封裝了用于確定將來(lái)狀態(tài)所需的任何過(guò)去狀態(tài)信息，因此不必為此目的而維護(hù)任何其他過(guò)去狀態(tài)信息的過(guò)程一該過(guò)程具有未知參數(shù)，并且隱藏參數(shù)是從可觀察數(shù)據(jù)來(lái)確定的)；以及求解姿勢(shì)識(shí)別的特定實(shí)例所需的其他功能。過(guò)濾器460、462、464、……、466在識(shí)別器引擎妨4之上加載并實(shí)現(xiàn)，并且可利用識(shí)別器引擎妨4提供給所有過(guò)濾器460、462、464、……、466的服務(wù)。在一個(gè)實(shí)施例中，識(shí)別器引擎妨4接收數(shù)據(jù)來(lái)確定該數(shù)據(jù)是否滿(mǎn)足任何過(guò)濾器460、462、464、……、466的要求。由于這些所提供的諸如解析輸入之類(lèi)的服務(wù)是由識(shí)別器引擎4M—次性提供而非由每
16個(gè)過(guò)濾器460、462、464、……、466提供的，因此這樣的服務(wù)在一段時(shí)間內(nèi)只需被處理一次而不是在該時(shí)間段對(duì)每個(gè)過(guò)濾器處理一次，因此減少了確定姿勢(shì)所需的處理。應(yīng)用452可使用識(shí)別器引擎妨4所提供的過(guò)濾器460、462、464、……、466，或者它可提供其自己的、插入到識(shí)別器引擎妨4中的過(guò)濾器。在一實(shí)施例中，所有過(guò)濾器具有啟用該插入特性的通用接口。此外，所有過(guò)濾器可利用參數(shù)，因此可使用以下單個(gè)姿勢(shì)工具來(lái)診斷并調(diào)節(jié)整個(gè)過(guò)濾器系統(tǒng)。關(guān)于識(shí)別器引擎454的更多信息可在2009年4月13日提交的美國(guó)專(zhuān)利申請(qǐng) 12/422，661 “Gesture Recognizer System Architecture (姿勢(shì)識(shí)別器系統(tǒng)架構(gòu))”中找到，該申請(qǐng)通過(guò)整體引用合并于此。關(guān)于識(shí)別姿勢(shì)的更多信息可在2009年2月23日提交的美國(guó)專(zhuān)利申請(qǐng)12/391，150 "Standard Gestures (標(biāo)準(zhǔn)姿勢(shì))”；以及2009年5月四日提交的美國(guó)專(zhuān)利申請(qǐng)12/474，655 "Gesture Tool (姿勢(shì)工具)”中找到，這兩個(gè)申請(qǐng)的全部?jī)?nèi)容都通過(guò)引用結(jié)合于此。圖6示出了可用于實(shí)現(xiàn)中樞計(jì)算系統(tǒng)12的計(jì)算系統(tǒng)的示例性實(shí)施例。如圖6所示，多媒體控制臺(tái)500具有含有一級(jí)高速緩存501、二級(jí)高速緩存504和閃存ROM(只讀存儲(chǔ)器)506的中央處理單元(CPU)502。一級(jí)高速緩存502和二級(jí)高速緩存504臨時(shí)存儲(chǔ)數(shù)據(jù)并因此減少存儲(chǔ)器訪問(wèn)周期數(shù)，由此改進(jìn)處理速度和吞吐量。CPU 501可以被配備為具有一個(gè)以上的核，并且由此具有附加的1級(jí)和2級(jí)高速緩存502和504。閃存ROM 506可存儲(chǔ)在多媒體控制臺(tái)500通電時(shí)在引導(dǎo)進(jìn)程初始化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 508和視頻編碼器/視頻編解碼器(編碼器/解碼器)514形成用于高速、高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元508向視頻編碼器/視頻編解碼器514運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 540輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲(chǔ)器控制器510連接到GPU 508以方便處理器訪問(wèn)各種類(lèi)型的存儲(chǔ)器512，諸如但不局限于RAM(隨機(jī)存取存儲(chǔ)器)。多媒體控制臺(tái)500包括優(yōu)選地在模塊518上實(shí)現(xiàn)的1/0控制器520、系統(tǒng)管理控制器522、音頻處理單元523、網(wǎng)絡(luò)接口 524、第一 USB主控制器526、第二 USB控制器528以及前面板1/0子部件530。USB控制器526和528用作外圍控制器542 (1) -542 (2)、無(wú)線適配器討8、和外置存儲(chǔ)器設(shè)備例如閃存、外置⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口 5 和/或無(wú)線適配器548提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問(wèn)并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無(wú)線適配器組件中任何一種。提供系統(tǒng)存儲(chǔ)器543來(lái)存儲(chǔ)在引導(dǎo)過(guò)程期間加載的應(yīng)用數(shù)據(jù)。提供介質(zhì)驅(qū)動(dòng)器 544,且其可包括DVD/⑶驅(qū)動(dòng)器、藍(lán)光驅(qū)動(dòng)器、硬盤(pán)驅(qū)動(dòng)器、或其他可移動(dòng)介質(zhì)驅(qū)動(dòng)器等。介質(zhì)驅(qū)動(dòng)器144可位于多媒體控制臺(tái)500的內(nèi)部或外部。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動(dòng)器544訪問(wèn)，以由多媒體控制臺(tái)500執(zhí)行、回放等。介質(zhì)驅(qū)動(dòng)器544經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到1/0控制器520。系統(tǒng)管理控制器522提供涉及確保多媒體控制臺(tái)500的可用性的各種服務(wù)功能。 音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的對(duì)應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 MO以供外部音頻用戶(hù)或具有音頻能力的設(shè)備再現(xiàn)。
前面板I/O子部件530支持暴露在多媒體控制臺(tái)100的外表面上的電源按鈕550 和彈出按鈕552以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊536向多媒體控制臺(tái)100的組件供電。風(fēng)扇538冷卻多媒體控制臺(tái)500內(nèi)的電路。CPU 501、GPU 508、存儲(chǔ)器控制器510、和多媒體控制臺(tái)500內(nèi)的各個(gè)其他組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲(chǔ)器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當(dāng)多媒體控制臺(tái)500通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器543加載到存儲(chǔ)器512和/ 或高速緩存502、504中并在CPU 501上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺(tái)500上可用的不同媒體類(lèi)型時(shí)提供一致的用戶(hù)體驗(yàn)的圖形用戶(hù)界面。在操作中，媒體驅(qū)動(dòng)器M4中包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器544啟動(dòng)或播放，以向多媒體控制臺(tái)500提供附加功能。多媒體控制臺(tái)500可通過(guò)將該系統(tǒng)簡(jiǎn)單地連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來(lái)操作。在該獨(dú)立模式中，多媒體控制臺(tái)500允許一個(gè)或多個(gè)用戶(hù)與該系統(tǒng)交互、看電影、或聽(tīng)音樂(lè)。然而，隨著通過(guò)網(wǎng)絡(luò)接口 5M或無(wú)線適配器548可用的寬帶連接的集成， 多媒體控制臺(tái)500還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來(lái)操作。附加地，多媒體控制臺(tái)500 可以通過(guò)無(wú)線適配器548與處理單元4通信。當(dāng)多媒體控制臺(tái)500通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量、CPU和GPU周期的保留量、網(wǎng)絡(luò)帶寬等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)保留的，所以所保留的資源對(duì)應(yīng)用的角度而言是不存在的。具體而言，存儲(chǔ)器保留優(yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動(dòng)程序。CPU 保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對(duì)于GPU保留，通過(guò)使用GPU中斷來(lái)顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如， 彈出窗口)，以調(diào)度代碼來(lái)將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶(hù)界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無(wú)需改變頻率并引起TV重新同步。在多媒體控制臺(tái)500引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來(lái)提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源中執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識(shí)是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 501上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是為了把由在控制臺(tái)上運(yùn)行的游戲應(yīng)用所引起的高速緩存中斷最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，則由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。任選的輸入設(shè)備(例如，控制器討2(1)和^2( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。 輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器優(yōu)選地控制輸入流的切換，而無(wú)需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。捕捉設(shè)備20A和20B可以通過(guò)USB控制器5 或其他接口來(lái)為控制臺(tái)500定義附加的輸入設(shè)備。在其他實(shí)施例中，中樞計(jì)算系統(tǒng)12可以使用其他硬件架構(gòu)來(lái)實(shí)現(xiàn)。沒(méi)有一種硬件架構(gòu)是必需的。圖1示出了與一個(gè)中樞處理設(shè)備12 (稱(chēng)為中樞)通信的一個(gè)頭戴式顯示設(shè)備2和處理單元4(統(tǒng)稱(chēng)為移動(dòng)顯示設(shè)備)。在另一實(shí)施例中，多個(gè)移動(dòng)顯示設(shè)備可以與單個(gè)中樞通信。每個(gè)移動(dòng)顯示設(shè)備都將如上述那樣使用無(wú)線通信與中樞通信。在這樣的實(shí)施例中所構(gòu)思的是，有益于所有移動(dòng)顯示設(shè)備的信息中的許多都將被計(jì)算和存儲(chǔ)在中樞處并且傳送給每個(gè)移動(dòng)顯示設(shè)備。例如，中樞將生成環(huán)境的模型并且將該模型提供給與該中樞通信的所有移動(dòng)顯示設(shè)備。附加地，中樞可以跟蹤移動(dòng)顯示設(shè)備以及房間中的移動(dòng)物體的位置和取向，并且然后將該信息傳輸給每個(gè)移動(dòng)顯示設(shè)備。在另一實(shí)施例中，系統(tǒng)可以包括多個(gè)中樞，其中每個(gè)中樞都包括一個(gè)或多個(gè)移動(dòng)顯示設(shè)備。這些中樞可以直接地或者通過(guò)因特網(wǎng)(或者其他網(wǎng)絡(luò))彼此通信。例如，圖7 示出了中樞560、562和564。中樞560直接與中樞562通信。中樞560通過(guò)因特網(wǎng)與中樞 564通信。中樞560與移動(dòng)顯示設(shè)備570、572. ..574通信。中樞562與移動(dòng)顯示設(shè)備578、 580. . . 582通信。中樞564與移動(dòng)顯示設(shè)備584、586. . . 588通信。每個(gè)移動(dòng)顯示設(shè)備都如上面所討論的那樣通過(guò)無(wú)線通信與其相應(yīng)的中樞通信。如果這些中樞處于共同的環(huán)境中，則每個(gè)中樞都可以提供該環(huán)境的模型的一部分，或者一個(gè)中樞可以為其他中樞創(chuàng)建該模型。 每個(gè)中樞都將跟蹤移動(dòng)物體的子集并且將該信息與其他中樞共享，所述其他中樞進(jìn)而將與合適的移動(dòng)顯示設(shè)備共享該信息。用于移動(dòng)顯示設(shè)備的傳感器信息將被提供給其相應(yīng)的中樞，并且然后與其他中樞共享以用于最終與其他移動(dòng)顯示設(shè)備共享。因此，在中樞間共享的信息可以包括骨架跟蹤、關(guān)于模型的信息、各種應(yīng)用狀態(tài)、以及其他跟蹤。在中樞及其相應(yīng)的移動(dòng)顯示設(shè)備之間傳遞的信息包括移動(dòng)物體的跟蹤信息、世界模型的狀態(tài)和物理更新、 幾何和紋理信息、視頻和音頻、以及用于執(zhí)行在此所述的操作的其他信息。圖8是描述了用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中的過(guò)程的一個(gè)實(shí)施例的流程圖， 其中該過(guò)程由上面所討論的組件來(lái)執(zhí)行。在步驟602，配置該系統(tǒng)。例如，該系統(tǒng)的操作員或用戶(hù)將指示特定的現(xiàn)實(shí)世界物體應(yīng)當(dāng)被虛擬物體替換。在一替代方案中，應(yīng)用(例如圖 5的應(yīng)用45 可以將該系統(tǒng)配置為指示特定的現(xiàn)實(shí)世界物體應(yīng)當(dāng)被虛擬物體替換。在其他實(shí)施例中，配置該系統(tǒng)將指示特定的虛擬圖像(其表示虛擬物體)應(yīng)當(dāng)被插入到環(huán)境中的指定位置處，而不必替換現(xiàn)實(shí)世界物體?？紤]如下示例用虛擬物體來(lái)填充空房間以將該空房間轉(zhuǎn)變?yōu)樘摂M現(xiàn)實(shí)。在另一示例中，在中樞計(jì)算系統(tǒng)12上運(yùn)行的應(yīng)用將指示特定的虛擬圖像(其表示虛擬物體)應(yīng)當(dāng)作為視頻游戲或其他進(jìn)程的一部分被插入到該環(huán)境中。在步驟604，該系統(tǒng)將創(chuàng)建頭戴式顯示設(shè)備2所處的空間的體積模型。例如在一個(gè)實(shí)施例中，中樞計(jì)算設(shè)備12將使用來(lái)自一個(gè)或多個(gè)深度相機(jī)的深度圖像來(lái)創(chuàng)建頭戴式顯示設(shè)備2所處的環(huán)境的三維模型。在一個(gè)實(shí)施例中，模型的創(chuàng)建包括映射表面的照明和反射率以用于反射和陰影。在步驟606，將該模型分割成一個(gè)或多個(gè)物體。例如，如果中樞計(jì)算設(shè)備12創(chuàng)建房間的三維模型，則該房間很可能在里面具有多個(gè)物體。可以處于房間中的物體的示例包括人、椅子、桌子、沙發(fā)椅等等。步驟606包括確定彼此不同的物體。在步驟608，該系統(tǒng)將標(biāo)識(shí)出這些物體。例如，中樞計(jì)算設(shè)備12可以標(biāo)識(shí)出特定物體是桌子并且另一物體是椅子。在步驟610，該系統(tǒng)將把虛擬物體投影到真實(shí)物體之上。也就是說(shuō)，該
19系統(tǒng)在用戶(hù)通過(guò)頭戴式顯示設(shè)備2進(jìn)行查看的同時(shí)在用戶(hù)的視野內(nèi)的第一物體之上顯示虛擬圖像。因此，該虛擬圖像將在顯示設(shè)備上替換現(xiàn)實(shí)世界物體，這允許通過(guò)該顯示器實(shí)際直接地查看該空間的至少一部分。被替換的物體可以是靜止物體或者移動(dòng)物體。附加地， 該系統(tǒng)可以替換整個(gè)物體或者僅僅替換物體的一部分。例如，該系統(tǒng)可以在步驟602被配置為僅僅用一條不同的褲子替換人的褲子。因此，步驟610將是無(wú)論房間中的人是運(yùn)動(dòng)還是靜止的，都把一條新褲子的虛擬圖像投影到在該人之上。在步驟612，頭戴式顯示設(shè)備2 的用戶(hù)將基于在頭戴式顯示設(shè)備2中所顯示的虛擬物體來(lái)與運(yùn)行在中樞計(jì)算設(shè)備12 (或另一計(jì)算設(shè)備)上的應(yīng)用交互。下面將更詳細(xì)地描述步驟604-610中的每個(gè)。圖8A提供了圖8的過(guò)程的實(shí)施方式的一個(gè)示例。在步驟602A(其對(duì)應(yīng)于步驟 602)，通過(guò)指定要被虛擬物體替換的現(xiàn)實(shí)世界物體來(lái)配置該系統(tǒng)。在步驟604A(其對(duì)應(yīng)于步驟604)，中樞計(jì)算設(shè)備12將創(chuàng)建中樞計(jì)算設(shè)備12所處的房間的三維模型。在步驟 606A(其對(duì)應(yīng)于步驟606)，將該三維模型分割成一組物體。在步驟608A，中樞計(jì)算設(shè)備12 將標(biāo)識(shí)出來(lái)自606A分割步驟的物體中的每個(gè)物體。步驟608A包括標(biāo)識(shí)出要被替換的物體以及房間中的其他物體。在步驟610A(其對(duì)應(yīng)于步驟610)，頭戴式顯示設(shè)備2用與虛擬物體相對(duì)應(yīng)的虛擬圖像來(lái)覆蓋用戶(hù)對(duì)現(xiàn)實(shí)世界物體的視圖。例如，可以用巨石替換房間中的咖啡桌。在步驟612A(其對(duì)應(yīng)于步驟61 ，用戶(hù)將使用中樞計(jì)算設(shè)備12和虛擬物體來(lái)玩視頻游戲。例如，用戶(hù)可以玩涉及該巨石的視頻游戲。圖9是描述了用戶(hù)創(chuàng)建空間的模型的過(guò)程的一個(gè)實(shí)施例的流程圖。例如，圖9的過(guò)程是圖8的步驟604的一個(gè)示例性實(shí)施方式。在步驟640，中樞計(jì)算系統(tǒng)12接收頭戴式顯示設(shè)備所處的空間的多個(gè)視角的一個(gè)或多個(gè)深度圖像。例如，中樞計(jì)算設(shè)備12可以從多個(gè)深度相機(jī)獲得深度圖像，或者通過(guò)使相機(jī)指向不同方向或者使用具有如下透鏡的相機(jī)來(lái)從同一相機(jī)獲得多個(gè)深度圖像該透鏡允許將要構(gòu)建模型的空間的全視圖。在步驟642，基于共同的坐標(biāo)系來(lái)組合來(lái)自各個(gè)深度圖像的深度數(shù)據(jù)。例如，如果該系統(tǒng)從多個(gè)相機(jī)接收深度圖像，則該系統(tǒng)將兩個(gè)圖像相關(guān)以具有共同的坐標(biāo)系(例如使圖像排齊)。在步驟644， 使用深度數(shù)據(jù)來(lái)創(chuàng)建空間的體積描述。圖10是描述了將空間的模型分割成物體的過(guò)程的一個(gè)實(shí)施例的流程圖。例如，圖 10的過(guò)程是圖8的步驟606的一個(gè)示例性實(shí)施方式。在圖10的步驟680，該系統(tǒng)將如上面所討論的那樣從一個(gè)或多個(gè)深度相機(jī)接收一個(gè)或多個(gè)深度圖像?？商娲?，該系統(tǒng)可以訪問(wèn)其已經(jīng)接收到的一個(gè)或多個(gè)深度圖像。在步驟682，該系統(tǒng)將如上述那樣從相機(jī)接收一個(gè)或多個(gè)視覺(jué)圖像。可替代地，該系統(tǒng)可以訪問(wèn)已經(jīng)接收到的一個(gè)或多個(gè)視覺(jué)圖像。在步驟684，中樞計(jì)算系統(tǒng)將基于深度圖像和/或視覺(jué)圖像檢測(cè)一個(gè)或多個(gè)人。例如，該系統(tǒng)將識(shí)別一個(gè)或多個(gè)骨架。在步驟686，中樞計(jì)算設(shè)備將基于深度圖像和/或視覺(jué)圖像檢測(cè)該模型內(nèi)的邊緣。在步驟688，中樞計(jì)算設(shè)備將使用所檢測(cè)到的邊緣來(lái)標(biāo)識(shí)出彼此不同的物體。 例如，假定這些邊緣是物體之間的邊界。在步驟690，將更新使用圖9的過(guò)程所創(chuàng)建的模型以示出該模型的哪些部分與不同的物體相關(guān)聯(lián)。圖11是描述用于標(biāo)識(shí)出物體的過(guò)程的一個(gè)實(shí)施例的流程圖。例如，圖11的過(guò)程是圖8的步驟608的一個(gè)示例性實(shí)施方式。在步驟710，中樞計(jì)算設(shè)備12將所標(biāo)識(shí)出的人與用戶(hù)身份進(jìn)行匹配。例如，該系統(tǒng)可以具有用戶(hù)簡(jiǎn)檔，所述用戶(hù)簡(jiǎn)檔具有可以與所檢測(cè)到的物體的圖像相匹配的視覺(jué)圖像。可替代地，用戶(hù)簡(jiǎn)檔可以描述可基于深度圖像或視覺(jué)圖
20像來(lái)匹配的人的特征。在另一實(shí)施例中，用戶(hù)可以登陸到系統(tǒng)中并且中樞計(jì)算設(shè)備12可以使用登陸過(guò)程來(lái)標(biāo)識(shí)出特定用戶(hù)并且在此處所述的交互的整個(gè)過(guò)程中跟蹤該用戶(hù)。在步驟 712，中樞計(jì)算設(shè)備12將訪問(wèn)形狀數(shù)據(jù)庫(kù)。在步驟714，中樞計(jì)算設(shè)備將模型中的多個(gè)物體與數(shù)據(jù)庫(kù)中的形狀進(jìn)行匹配。在步驟716，將突出不匹配的那些形狀并且將其顯示給用戶(hù) (例如使用監(jiān)視器16)。在步驟718，中樞計(jì)算設(shè)備12將接收標(biāo)識(shí)出所突出形狀中的每個(gè) (或其子集)的用戶(hù)輸入。例如，用戶(hù)可以使用鍵盤(pán)、鼠標(biāo)、語(yǔ)音輸入、或者其他類(lèi)型的輸入來(lái)指示每個(gè)未標(biāo)識(shí)出的形狀是什么。在步驟720，基于步驟718中的用戶(hù)輸入來(lái)更新形狀數(shù)據(jù)庫(kù)。在步驟722，通過(guò)添加每個(gè)物體的元數(shù)據(jù)來(lái)進(jìn)一步更新在步驟604被創(chuàng)建并且在步驟606被更新的環(huán)境模型。該元數(shù)據(jù)標(biāo)識(shí)出該物體。例如，該元數(shù)據(jù)可以指示特定物體處于小桌、某人、綠色真皮沙發(fā)椅等等的周?chē)?。圖IlA是描述了用于響應(yīng)于移動(dòng)物體(例如移動(dòng)的人或其他類(lèi)型的物體)而更新通過(guò)圖9的過(guò)程所創(chuàng)建的模型的過(guò)程的一個(gè)實(shí)施例的流程圖。在步驟728，該系統(tǒng)確定物體在移動(dòng)。例如，系統(tǒng)將持續(xù)地接收深度圖像。如果深度圖像隨時(shí)間改變，則物體在移動(dòng)。如果未檢測(cè)到移動(dòng)物體，則該系統(tǒng)將繼續(xù)接收深度圖像并且繼續(xù)尋找移動(dòng)物體。如果存在移動(dòng)物體，則在步驟730，該系統(tǒng)將標(biāo)識(shí)出正在移動(dòng)的物體?？梢允褂脦町惢蚋鞣N任何跟蹤技術(shù)來(lái)識(shí)別移動(dòng)物體，并且將所識(shí)別的物體與在圖8的步驟608所標(biāo)識(shí)出的物體之一相關(guān)。一些物體將在移動(dòng)使改變形狀。例如，人類(lèi)可能在其行走或奔跑時(shí)改變形狀。在步驟732，標(biāo)識(shí)出并存儲(chǔ)移動(dòng)物體的新形狀。在步驟734，基于移動(dòng)物體的新的位置和形狀來(lái)更新之前創(chuàng)建的環(huán)境模型。圖IlA的過(guò)程可以由中樞計(jì)算設(shè)備12的處理單元4來(lái)執(zhí)行。圖12是描述用于將虛擬物體投影(或以其他方式顯示)到現(xiàn)實(shí)物體之上的過(guò)程的一個(gè)實(shí)施例的流程圖。例如，圖12的過(guò)程是圖8的步驟610的一個(gè)示例性實(shí)施方式。在一個(gè)實(shí)施例中，圖12的過(guò)程由處理單元4來(lái)執(zhí)行。在圖12的步驟750中，該系統(tǒng)訪問(wèn)環(huán)境的模型。在步驟752，該系統(tǒng)確定用戶(hù)相對(duì)于該環(huán)境模型的視角(point fo view)。也就是說(shuō)，該系統(tǒng)確定用戶(hù)正在查看該環(huán)境或空間的哪個(gè)部分。在一個(gè)實(shí)施例中，步驟752是使用中樞計(jì)算設(shè)備12、處理單元4和頭戴式顯示設(shè)備2的協(xié)作工作。在一個(gè)示例性實(shí)施方式中，中樞計(jì)算機(jī)設(shè)備12將跟蹤用戶(hù)和頭戴式顯示設(shè)備以便提供對(duì)頭戴式顯示設(shè)備2的位置和取向的初步確定。頭戴式顯示設(shè)備2上的傳感器將用于細(xì)化所確定的取向。例如，上述慣性傳感器34可以用于細(xì)化頭戴式顯示設(shè)備2的取向。此外，可以使用上述眼睛跟蹤過(guò)程來(lái)標(biāo)識(shí)出最初確定的視野的與特定用戶(hù)所查看之處相對(duì)應(yīng)的子集。下面將參照?qǐng)D13、14和 15來(lái)描述更多細(xì)節(jié)。在一個(gè)實(shí)施例中，該系統(tǒng)將嘗試將多個(gè)虛擬圖像添加到場(chǎng)景中。在其他實(shí)施例中， 該系統(tǒng)可以?xún)H僅嘗試將一個(gè)虛擬圖像插入到該場(chǎng)景中。針對(duì)虛擬圖像，該系統(tǒng)具有將該虛擬圖像插入到何處的目標(biāo)。在一個(gè)實(shí)施例中，該目標(biāo)可以是現(xiàn)實(shí)世界物體，使得該虛擬圖像將替換現(xiàn)實(shí)物體的視圖。在其他環(huán)境中，虛擬圖像的目標(biāo)可以是相對(duì)于現(xiàn)實(shí)世界物體而言的。在步驟754，該系統(tǒng)在ζ緩沖區(qū)中從頭戴式顯示設(shè)備2的用戶(hù)的視角來(lái)渲染之前所創(chuàng)建的三維環(huán)境模型，而不將任何色彩信息渲染到相應(yīng)色彩緩沖區(qū)中。這有效地讓所渲染的環(huán)境圖像是全黑的，但是不存儲(chǔ)環(huán)境中的物體的ζ (深度)數(shù)據(jù)。步驟7M導(dǎo)致為每個(gè)像素(或者為像素的子集)存儲(chǔ)深度數(shù)據(jù)。在步驟756，將虛擬內(nèi)容(例如與虛擬物體相對(duì)應(yīng)的虛擬圖像)渲染到同一 ζ緩沖區(qū)中，并且將虛擬內(nèi)容的色彩信息寫(xiě)入到相應(yīng)的色彩緩沖區(qū)中。這有效地允許在考慮到現(xiàn)實(shí)世界物體或者遮擋虛擬物體的全部或一部分的其他虛擬物體的情況下將虛擬圖像繪制在微顯示器120上。在步驟758，把被繪制到移動(dòng)物體之上的虛擬物體模糊化為恰好足以提供運(yùn)動(dòng)的外觀。在步驟760，該系統(tǒng)標(biāo)識(shí)出微顯示器120的顯示虛擬圖像的像素。在步驟762，為微顯示器120的像素確定阿爾法值。在傳統(tǒng)的色度鍵控系統(tǒng)中，阿爾法值以逐像素為基礎(chǔ)指示將阿爾法值的多少用于標(biāo)識(shí)出圖像為多么不透明在一些應(yīng)用中，阿爾法值可以是二進(jìn)制的(例如開(kāi)和關(guān))。在其他應(yīng)用中，阿爾法值可以是具有范圍的數(shù)。在一個(gè)示例中，在步驟760中所標(biāo)識(shí)出的每個(gè)像素都將具有第一阿爾法值，并且所有其他像素都具有第二阿爾法值。在步驟764，基于阿爾法值來(lái)確定不透明度濾光器的像素。在一個(gè)示例中，不透明度濾光器與微顯示器120具有相同的分辨率，并且因此不透明度濾光器可以使用阿爾法值來(lái)控制。在另一實(shí)施例中，不透明度濾光器與微顯示器120具有不同的分辨率，并且因此用于暗化或不暗化不透明度濾光器的數(shù)據(jù)將通過(guò)使用用于在分辨率之間轉(zhuǎn)換的各種任何數(shù)學(xué)算法而從阿爾法值中導(dǎo)出。還可以使用用于基于阿爾法值(或其他數(shù)據(jù))為不透明度濾光器導(dǎo)出控制數(shù)據(jù)的其他手段。在步驟766，將ζ緩沖區(qū)和色彩緩沖區(qū)中的圖像、以及阿爾法值和不透明度濾光器的控制數(shù)據(jù)調(diào)整為考慮到光源(虛擬或現(xiàn)實(shí))和陰影(虛擬或現(xiàn)實(shí))。下面參照?qǐng)D12A提供步驟766的更多細(xì)節(jié)。在步驟768，將基于ζ緩沖區(qū)和色彩緩沖區(qū)的復(fù)合圖像發(fā)送給微顯示器120。也就是說(shuō)，將要顯示在合適像素處顯示的虛擬圖像發(fā)送給微顯示器120，其中考慮到視角和遮擋。在步驟770，將不透明度濾光器的控制數(shù)據(jù)從處理單元4傳送給頭戴式顯示設(shè)備2以控制不透明度濾光器114。注意，圖12的過(guò)程可以每秒多次執(zhí)行(例如刷新率)。圖12的過(guò)程允許在顯示器上自動(dòng)地將虛擬圖像顯示在靜止或移動(dòng)物體上(或相對(duì)于靜止或移動(dòng)物體而言)，該顯示器允許通過(guò)該顯示器對(duì)空間的至少一部分的實(shí)際直接查看。圖12A是描述了用于考慮到光源和陰影的過(guò)程的一個(gè)實(shí)施例的流程圖，該過(guò)程是圖12的步驟766的示例性實(shí)施方式。在步驟780，處理單元4標(biāo)識(shí)出需要考慮到的一個(gè)或多個(gè)光源。例如，當(dāng)繪制虛擬圖像時(shí)，可能需要考慮到現(xiàn)實(shí)光源。如果該系統(tǒng)將虛擬光源添加到用戶(hù)的視圖，則可以在頭戴式顯示設(shè)備2中考慮到該虛擬光源的效果。在步驟782，標(biāo)識(shí)出被光源照明的模型的部分(包括虛擬圖像)。在步驟784，將描繪該照明的圖像添加到上述色彩緩沖區(qū)。在步驟786，處理單元4標(biāo)識(shí)出需要被頭戴式顯示設(shè)備2添加的一個(gè)或多個(gè)陰影區(qū)域。例如，如果虛擬圖像被添加到陰影的區(qū)域中，則在繪制虛擬圖像時(shí)需要通過(guò)在步驟788 調(diào)整色彩緩沖區(qū)來(lái)考慮到該陰影。如果虛擬陰影將被添加到不存在虛擬圖像之處，則不透明度濾光器114的與該虛擬陰影的位置相對(duì)應(yīng)的像素在步驟790被暗化。圖15是描述了用于確定用戶(hù)視角的過(guò)程的一個(gè)實(shí)施例的流程圖，該過(guò)程是圖12 的步驟752的示例性實(shí)施方式。圖15的過(guò)程依靠來(lái)自中樞計(jì)算設(shè)備12的信息和上述眼睛跟蹤技術(shù)。圖13是描述了由中樞計(jì)算系統(tǒng)執(zhí)行以提供用在圖15的過(guò)程中的跟蹤信息的過(guò)程的一個(gè)實(shí)施例的流程圖。圖14是描述了用于跟蹤眼睛的過(guò)程的一個(gè)實(shí)施例的流程圖，其中該過(guò)程的結(jié)果供圖15的過(guò)程來(lái)使用。在圖13的步驟810，中樞計(jì)算設(shè)備將跟蹤用戶(hù)的位置。例如，中樞計(jì)算設(shè)備12將使用一個(gè)或多個(gè)深度圖像和一個(gè)或多個(gè)視覺(jué)圖像來(lái)跟蹤用戶(hù)(例如使用骨架跟蹤)?？梢栽诓襟E812使用一個(gè)或多個(gè)深度圖像和一個(gè)或多個(gè)視覺(jué)圖像來(lái)確定頭戴式顯示設(shè)備2的位置和頭戴式顯示設(shè)備2的取向。在步驟814，將用戶(hù)和頭戴式顯示設(shè)備2的位置和取向從中樞計(jì)算設(shè)備12傳送給處理單元4。在步驟816，在處理單元4處接收該位置和取向信息。圖14是描述用于使用上述技術(shù)來(lái)跟蹤眼睛的一個(gè)實(shí)施例的流程圖。在步驟860， 照明眼睛。例如，可以使用紅外光從眼睛跟蹤照明134A來(lái)照明眼睛。在步驟862，使用一個(gè)或多個(gè)眼睛跟蹤相機(jī)134B來(lái)檢測(cè)來(lái)自眼睛的反射。在步驟864，將該反射數(shù)據(jù)從頭戴式顯示設(shè)備2發(fā)送給處理單元4。在步驟866，處理單元4將如上述那樣基于反射數(shù)據(jù)來(lái)確定眼睛的位置。圖15是描述了用于確定視角的過(guò)程(例如圖12的步驟750)的一個(gè)實(shí)施例的流程圖。在步驟902，處理單元4將訪問(wèn)從中樞接收到的最新的位置和取向信息。圖13的過(guò)程可以如從步驟814到步驟810的箭頭所描繪的那樣連續(xù)地執(zhí)行，因此，處理單元4將周期性地從中樞計(jì)算設(shè)備12接收經(jīng)更新的位置和取向信息。然而，處理單元4將需要與其從中樞計(jì)算設(shè)備12接收經(jīng)更新的信息相比更頻繁地繪制虛擬圖像。因此，處理單元4將需要依靠本地感測(cè)的信息(其例如來(lái)自頭戴式設(shè)備幻以在來(lái)自中樞計(jì)算設(shè)備12的采樣之間提供取向的更新。在步驟904，處理單元4將從三軸陀螺儀132B訪問(wèn)數(shù)據(jù)。在步驟906，處理單元4將從三軸加速度計(jì)132C訪問(wèn)數(shù)據(jù)。在步驟908，處理單元4將從三軸磁力計(jì)132A訪問(wèn)數(shù)據(jù)。在步驟910，處理單元4將用來(lái)自該陀螺儀、加速度計(jì)和磁力計(jì)的數(shù)據(jù)來(lái)細(xì)化(或以其他方式更新)來(lái)自中樞計(jì)算設(shè)備12的位置和取向數(shù)據(jù)。在步驟912，處理單元4將基于頭戴式顯示設(shè)備的位置和取向來(lái)確定潛在的視角。在步驟914，處理單元4將訪問(wèn)最新的眼睛位置信息。在步驟916，處理單元4將基于眼睛位置作為潛在視角的子集來(lái)確定模型的用戶(hù)所觀看的位置。例如，用戶(hù)可以朝向墻壁，并且因此頭戴式顯示器的視野可以包括沿著墻壁的任何地方。然而，如果用戶(hù)的眼睛指向右邊，則步驟916將作出的結(jié)論是，用戶(hù)的視野僅僅是墻壁的右邊部分。在步驟915結(jié)束時(shí)，處理單元4已經(jīng)確定了用戶(hù)通過(guò)頭戴式顯示器2的視角。然后，如上面參照?qǐng)D12所描述的那樣，處理單元4可以在該視野內(nèi)標(biāo)識(shí)出要插入虛擬圖像以及使用不透明度濾光器來(lái)阻擋光的位置。盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專(zhuān)用的語(yǔ)言描述了本主題，但可以理解，所附權(quán)利要求書(shū)中定義的主題不必限于上述具體特征或動(dòng)作。更確切而言，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開(kāi)的。本發(fā)明的范圍由所附的權(quán)利要求進(jìn)行定義。
權(quán)利要求
1.一種用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中的方法，包括 創(chuàng)建空間的體積模型(604)；將該模型分割成物體(606)；標(biāo)識(shí)出所述物體中的包括第一物體的一個(gè)或多個(gè)物體(608)；以及在顯示器上自動(dòng)地將虛擬圖像顯示在第一物體之上(610)，該顯示器允許通過(guò)該顯示器實(shí)際直接地查看該空間的至少一部分。
2.如權(quán)利要求1所述的方法，其特征在于，創(chuàng)建體積模型包括 接收多個(gè)視角的深度圖像；以及使用來(lái)自所述深度圖像的數(shù)據(jù)來(lái)創(chuàng)建和存儲(chǔ)該空間的三維描述。
3.如權(quán)利要求1或2所述的方法，其特征在于，將該模型分割成物體包括 訪問(wèn)一個(gè)或多個(gè)深度圖像；訪問(wèn)一個(gè)或多個(gè)視覺(jué)圖像；使用所述一個(gè)或多個(gè)深度圖像和所述一個(gè)或多個(gè)視覺(jué)圖像來(lái)檢測(cè)一個(gè)或多個(gè)人； 基于所述一個(gè)或多個(gè)深度圖像和所述一個(gè)或多個(gè)視覺(jué)圖像來(lái)檢測(cè)邊緣； 基于所述邊緣來(lái)檢測(cè)物體；以及更新該模型以存儲(chǔ)關(guān)于所述物體和人的檢測(cè)的信息。
4.如權(quán)利要求3所述的方法，其特征在于，標(biāo)識(shí)出所述物體中的一個(gè)或多個(gè)包括 將至少一個(gè)所檢測(cè)到的物體與用戶(hù)身份進(jìn)行匹配；訪問(wèn)形狀的數(shù)據(jù)結(jié)構(gòu)；將一個(gè)或多個(gè)所檢測(cè)到的物體與該數(shù)據(jù)結(jié)構(gòu)中的形狀進(jìn)行匹配；以及更新該模型以反映所述至少一個(gè)所檢測(cè)到的物體與用戶(hù)身份的匹配、以及所述一個(gè)或多個(gè)所檢測(cè)到的物體與該數(shù)據(jù)結(jié)構(gòu)中的形狀的匹配。
5.如權(quán)利要求4所述的方法，其特征在于，標(biāo)識(shí)出所述物體中的一個(gè)或多個(gè)包括 向用戶(hù)視覺(jué)地顯示不匹配的物體并且請(qǐng)求該用戶(hù)標(biāo)識(shí)出所述不匹配的物體； 接收所述不匹配的物體的新標(biāo)識(shí)；更新該數(shù)據(jù)結(jié)構(gòu)以反映該新標(biāo)識(shí)；以及更新該模型以存儲(chǔ)關(guān)于所述不匹配的物體的新標(biāo)識(shí)的信息。
6.如權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，自動(dòng)地將虛擬圖像顯示在第一物體之上還包括標(biāo)識(shí)出光源；基于該光源調(diào)整該虛擬圖像； 標(biāo)識(shí)出陰影區(qū)域；以及使現(xiàn)實(shí)物體的對(duì)應(yīng)于該陰影區(qū)域的視圖暗化。
7.如權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于在顯示器上將虛擬圖像顯示在第一物體之上包括確定該顯示器的用戶(hù)的視角；以及確定該顯示器的用戶(hù)的視野包括使用一個(gè)或多個(gè)深度圖像自動(dòng)地確定該顯示器的位置和取向；使用慣性傳感器來(lái)自動(dòng)地細(xì)化所確定的顯示器的取向；以及自動(dòng)地確定該顯示器的用戶(hù)的眼睛的位置以標(biāo)識(shí)出該空間的以所確定的位置和取向被查看的子集。
8.如權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于，在顯示器上將虛擬圖像顯示在第一物體之上還包括自動(dòng)地確定第一物體正在移動(dòng)； 自動(dòng)地跟蹤第一物體的移動(dòng)； 自動(dòng)地確定第一物體的形狀的改變；以及響應(yīng)于第一物體的移動(dòng)使該虛擬圖像模糊化。
9.如權(quán)利要求1-8中任一項(xiàng)所述的方法，其特征在于，在顯示器上將虛擬圖像顯示在第一物體之上還包括標(biāo)識(shí)出該顯示器的可能示出第一物體的部分；以及選擇性地阻擋光，使其不能穿過(guò)該顯示器的可能示出第一物體的該部分，該虛擬圖像被投影到該顯示器的可能示出第一物體的該部分上。
10.如權(quán)利要求1-9中任一項(xiàng)所述的方法，其特征在于顯示虛擬圖像包括將該虛擬圖像投影在該顯示器上，而不將該空間的該部分投影到該顯不器上。
11.一種用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中的裝置，包括 頭戴式顯示設(shè)備2，該頭戴式顯示設(shè)備包括顯示器(120，122，124，112)，該顯示器(120，122，124，112)允許通過(guò)該顯示器對(duì)第一物體的實(shí)際直接視圖；不透明度濾光器(116)，該不透明度濾光器(116)與該顯示器對(duì)齊，使得穿過(guò)該不透明度濾光器的光也穿過(guò)該顯示器；慣性傳感器(132A，132B, 132C)，該慣性傳感器(132A，132B, 132C)感測(cè)該頭戴式顯示設(shè)備的取向信息；第一通信接口(23 ；以及一個(gè)或多個(gè)控制電路O00，202)，所述一個(gè)或多個(gè)控制電路(200,20 與該顯示器、該不透明度濾光器、該慣性傳感器以及該第一通信接口通信；以及處理單元(4)，該處理單元包括第二通信接口，該第二通信接口與第一通信接口通信；以及一個(gè)或多個(gè)控制電路，所述一個(gè)或多個(gè)控制電路通過(guò)第一通信接口和第二通信接口與該頭戴式顯示設(shè)備通信以自動(dòng)地在該顯示器上將虛擬圖像顯示在第一物體之上。
12.如權(quán)利要求11所述的裝置，其特征在于，該顯示器包括 圖像投影儀；光導(dǎo)光學(xué)元件，該光導(dǎo)光學(xué)元件與該不透明度濾光器對(duì)齊，使得穿過(guò)該不透明度濾光器的光也穿過(guò)該光導(dǎo)光學(xué)元件，在第一末端處進(jìn)入該光導(dǎo)光學(xué)元件的附加的光將沿著該頭戴式顯示設(shè)備的處于用戶(hù)的眼睛之前的表面離開(kāi)該光導(dǎo)光學(xué)元件；以及透鏡，該透鏡與該圖像投影儀對(duì)齊以將光從該圖像投影儀引導(dǎo)到該光導(dǎo)光學(xué)元件中。
13.如權(quán)利要求11或12所述的裝置，其特征在于，該頭戴式顯示設(shè)備還包括 照明源，該照明源用于將光投影到該頭戴式顯示設(shè)備的用戶(hù)的眼睛上；以及傳感器，該傳感器感測(cè)從用戶(hù)的眼睛反射回的光，該傳感器與頭戴式顯示器的一個(gè)或多個(gè)控制電路通信，使得該裝置可以確定該用戶(hù)的眼睛的方向。
14.如權(quán)利要求11、12或13所述的裝置，其特征在于第二通信接口與中樞計(jì)算設(shè)備無(wú)線地通信以接收空間的標(biāo)識(shí)出一個(gè)或多個(gè)物體的三維模型；以及該處理單元的一個(gè)或多個(gè)控制電路確定該頭戴式顯示設(shè)備的用戶(hù)的視野；確定第一物體是否處于該視野內(nèi)；確定第一物體在該顯示器中的位置；基于第一物體在該顯示器中的大小和取向來(lái)調(diào)整該虛擬圖像的大小和取向；以及向該顯示器發(fā)送信號(hào)以致使該顯示器將經(jīng)調(diào)整的虛擬圖像顯示在該顯示器上以替換第一物體的視圖。
15.如權(quán)利要求11、12、13或14所述的裝置，其特征在于該處理單元的一個(gè)或多個(gè)控制電路標(biāo)識(shí)出該顯示器的可能示出第一物體的部分；以及向該不透明度濾光器發(fā)送信號(hào)以選擇性地阻擋光，使得光不能穿過(guò)該顯示器的可能示出第一物體的部分，該虛擬圖像被投影到該顯示器的可能示出第一物體的部分上。
全文摘要
本發(fā)明涉及虛擬內(nèi)容到現(xiàn)實(shí)內(nèi)容中的融合。描述了一種包括頭戴式顯示設(shè)備和連接到該頭戴式顯示設(shè)備的處理單元的系統(tǒng)，該系統(tǒng)用于將虛擬內(nèi)容融合到現(xiàn)實(shí)內(nèi)容中。在一個(gè)實(shí)施例中，該處理單元與中樞計(jì)算設(shè)備通信。該系統(tǒng)創(chuàng)建空間的體積模型；將該模型分割成物體；標(biāo)識(shí)出所述物體中的包括第一物體的一個(gè)或多個(gè)物體；以及在(頭戴式顯示器的)顯示器上將虛擬圖像顯示在第一物體之上，該顯示器允許通過(guò)該顯示器實(shí)際直接地查看該空間的至少一部分。
文檔編號(hào)G06K9/00GK102419631SQ20111032858
公開(kāi)日2012年4月18日 申請(qǐng)日期2011年10月17日 優(yōu)先權(quán)日2010年10月15日
發(fā)明者A·A-A·基普曼, A·J·富勒, A·巴-澤埃夫, B·小克羅科, C·邁爾斯, J·N·馬戈利斯, J·弗萊克斯 申請(qǐng)人:微軟公司