專利名稱：基于頭戴式顯示器的教育和指導(dǎo)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及頭戴式顯示設(shè)備及其在教育和指導(dǎo)中的使用。
背景技術(shù)：
頭戴式顯示(HMD)設(shè)備可用于各種應(yīng)用中，包括軍事、航空、醫(yī)學、視頻游戲、娛樂、運動等等。透視HMD設(shè)備允許用戶觀察物理世界，而光學元件將來自一個或多個小型微顯示器的光增加到用戶的視覺路徑中，以提供增強現(xiàn)實圖像。

發(fā)明內(nèi)容
提供了頭戴式顯示(HMD)設(shè)備和在教育和指導(dǎo)中使用HMD的系統(tǒng)及方法。HMD可被用于教室教學環(huán)境中。HMD可被用來提供全息指導(dǎo)。HMD可被用來提供社交輔導(dǎo)?？苫趥€人的已知技能、學習風格、或特性來為該個人定制教育或指導(dǎo)。一個實施例包括一種增強體驗的方法。執(zhí)行對參與該體驗的一個或多個人的監(jiān)視。該監(jiān)視基于來自一個或多個傳感器的數(shù)據(jù)。分析該監(jiān)視以確定如何增強體驗?；谠摲治鰜碓鰪婓w驗。增強體驗包括向這些人之一所佩戴的至少一個透視頭戴式顯示器呈現(xiàn)信號。一個實施例包括一種用于增強教育或指導(dǎo)的系統(tǒng)。該系統(tǒng)包括處理器和耦合到該處理器的處理器可讀存儲設(shè)備。該處理器可讀存儲設(shè)備上存儲有指令，這些指令在處理器上執(zhí)行時使得該處理器接收來自至少一個HMD的傳感器數(shù)據(jù)。此外，處理器基于該傳感器數(shù)據(jù)來監(jiān)視一個或多個人。處理器分析該監(jiān)視以確定如何增強該一個或多個人所參與的教育或指導(dǎo)體驗。處理器基于該分析來增強教育或指導(dǎo)體驗。在一個實施例中，增強包括向這些人中的一個或多個所佩戴的至少一個透視頭戴式顯示器(HMD)提供信息。一個實施例包括具有指令的處理器可讀存儲設(shè)備，這些指令在處理器上執(zhí)行時使得該處理器執(zhí)行一種增強個人的表現(xiàn)的方法。該方法包括訪問傳感器數(shù)據(jù)，并處理該傳感器數(shù)據(jù)以確定指示該個人的表現(xiàn)的信息。分析該個人的表現(xiàn)的信息指示以確定如何增強該個人的表現(xiàn)。向該個人所佩戴的頭戴式顯示器提供信號以增強該個人的表現(xiàn)。提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識出所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。


圖1A示出根據(jù)各實施例的其中可使用HMD的一個示例教室學習環(huán)境。圖1B描繪根據(jù)各實施例的其中可使用HMD的另一不例全息學習環(huán)境。圖1C描繪根據(jù)各實施例的其中可將HMD用于社交輔導(dǎo)的另一示例學習環(huán)境。圖1D是將HMD用于教育和指導(dǎo)的系統(tǒng)的一個實施例的各組件的框圖。圖1E是將HMD用于教育和指導(dǎo)的過程的一個實施例的流程圖。
圖2A是描繪HMD設(shè)備的一個實施例的各示例組件的框圖。圖2B描繪HMD設(shè)備的一部分的俯視圖。圖2C示出定位成在配備在一副眼鏡中的混合現(xiàn)實顯示設(shè)備上面對各相應(yīng)眼睛的、用于每個眼睛的注視檢測系統(tǒng)中的相應(yīng)注視檢測元件的集合的位置的示例性安排。圖2D示出定位成在配備在一副眼鏡中的混合現(xiàn)實顯示設(shè)備上面對各相應(yīng)眼睛的、用于每個眼睛的注視檢測系統(tǒng)中的相應(yīng)注視檢測元件的集合的位置的另一示例性安排。圖2E示出由該副眼鏡定位成面對各相應(yīng)眼睛的、用于每個眼睛的注視檢測系統(tǒng)中的相應(yīng)注視檢測元件的集合的位置的又一示例性安排。圖3是描繪HMD設(shè)備的各個組件的框圖。圖4是HMD設(shè)備的處理單元的各組件的一個實施例的框圖。圖5是中樞計算系統(tǒng)和捕捉設(shè)備的各組件的一個實施例的框圖。圖6示出了可用于實現(xiàn)中樞計算系統(tǒng)的計算系統(tǒng)的示例實施例。圖7是向教師提供關(guān)于學生的信息的過程的一個實施例的流程圖。圖8是向教師提供學生的理解或注意力的過程的一個實施例的流程圖。圖9是向?qū)W生提供不同教師的過程的一個實施例的流程圖。圖10是提供全息指導(dǎo)的過程的一個實施例的流程圖。圖11是提供全息指導(dǎo)以組裝一裝置的過程的一個實施例的流程圖。圖12是在演奏音樂時提供全息指導(dǎo)的過程的一個實施例的流程圖。圖13A是提供用于運動的全息指導(dǎo)的過程的一個實施例的流程圖。圖13B是提供用于幫助用戶進行烹飪的全息指導(dǎo)的過程的一個實施例的流程圖。圖14是提供用于幫助學生對問題進行求解的指導(dǎo)的過程的一個實施例的流程圖。圖15是提供用于幫助學生書寫的指導(dǎo)的過程的一個實施例的流程圖。圖16是使用HMD進行社交輔導(dǎo)的過程的一個實施例的流程圖。圖16A是使用HMD進行社交輔導(dǎo)的過程的一個實施例的流程圖。圖16B是使用HMD進行社交輔導(dǎo)的過程的一個實施例的流程圖。圖17A是用于確定三維用戶視野的方法實施例的流程圖。圖17B是用于標識用戶視野中的一個或多個現(xiàn)實物體的方法實施例的流程圖。圖17C是用于生成用戶空間的三維模型的方法實施例的流程圖。圖17D是用于標識用戶視野中的一個或多個物體的方法實施例的流程圖。圖17E是用于標識用戶視野中的一個或多個物體的方法實施例的流程圖。圖18是用于確定透視、近眼、混合現(xiàn)實顯示系統(tǒng)中的注視的方法實施例的流程圖。
具體實施例方式透視HMD設(shè)備可使用諸如反射鏡、棱鏡和全息透鏡等光學元件將來自一個或兩個小型微顯示器的光增加到用戶的視覺路徑中。該光經(jīng)由透視透鏡向用戶的眼睛提供全息圖像。本文公開的技術(shù)允許在教室設(shè)置中使用HMD。本文公開的技術(shù)允許將HMD用于全息指導(dǎo)。在一個實施例中，HMD被用于社交輔導(dǎo)。用戶簡檔信息可被用來基于已知技能、學習風格、和/或特性來定制針對特定用戶的指導(dǎo)。圖1A示出根據(jù)各實施例的其中可使用HMD的一個示例學習環(huán)境。這可被稱為教室教學環(huán)境。在一個實施例中，教師13(a)和學生13(b)各自佩戴他們自己的HMD 2。注意，在一個實施例中，教師13(a)佩戴HMD 2,但不要求學生13(b)佩戴。在一個實施例中，學生13(b)各自佩戴HMD 2，但不要求教師13(a)佩戴。在該所示示例中，教師13(a)親臨現(xiàn)場。然而，可以在沒有現(xiàn)場教師的情況下提供指導(dǎo)。例如，學生13(b)可訪問記錄的課程并在他們的HMD 2中觀看。注意，學生和教師是參與體驗的個人的示例。在該示例中，每一用戶具有與HMD 2相關(guān)聯(lián)的處理單元4。下文解釋了附加細節(jié)，但簡言之，處理單元4可無線或有線地和與其相關(guān)聯(lián)的HMD 2進行通信來向HMD 2提供處理。處理單元4也可通過網(wǎng)絡(luò)50無線或有線地通信。因此，數(shù)據(jù)可被共享。作為一個示例，HMD 2可具有能監(jiān)視佩戴者以及該佩戴者的周圍區(qū)域(例如，前方)的傳感器?？煞治鰝鞲衅鲾?shù)據(jù)以確定學生的理解和/或注意力。這一信息可被提供給教師13 (a)。計算系統(tǒng)12可以提供附加處理能力。計算系統(tǒng)12可以是本地(例如，在教室或建筑物中)或遠程的(例如，通過因特網(wǎng))。在一個實施例中，教師13(a)可從計算機系統(tǒng)12或其他位置訪問學生簡檔信息。在一個實施例中，學生13(b)能訪問呈現(xiàn)設(shè)備9。該學生可通過呈現(xiàn)設(shè)備9接收指導(dǎo)和/或反饋。在一個實施例中，這一反饋基于對來自指導(dǎo)者13(a)所佩戴的HMD 2的傳感器數(shù)據(jù)的分析。呈現(xiàn)設(shè)備9可具有視覺顯示器和/或音頻換能器。呈現(xiàn)設(shè)備9的示例包括但不限于圖1A示出1:n教師對學生交互。僅舉幾個其他示例,交互可以是1: l、n:n、或n:m。注意，不需要現(xiàn)場教師在場。例如，可經(jīng)由視頻錄像來提供教師13(a)。這可呈現(xiàn)在HMD 2或顯示器中，如所有學生13(b)可一起觀看的顯示器。圖1B描繪根據(jù)各實施例的其中可使用HMD 2的另一示例學習環(huán)境。這一環(huán)境可被用來提供全息指導(dǎo)。在該實施例中，個人13正在組裝某一裝置15。個人13佩戴具有由線19、21所限定的視野的HMD 2。可在HMD 2中顯示全息圖像以向該個人13示出如何組裝裝置15。例如，HMD可以示出在某一組裝階段該裝置看起來如何的全息圖像。個人13能夠瀏覽或操縱這一全息圖像以從不同的視角查看各事物。全息指導(dǎo)的另一示例使用涉及呈現(xiàn)該個人的高爾夫揮桿的全息圖像。下文討論進一步細節(jié)和示例。圖1C描繪根據(jù)各實施例的其中可使用HMD 2的另一示例學習環(huán)境。這一環(huán)境可用于社交輔導(dǎo)。在該示例中，存在三個人。三個人中的兩個佩戴了 HMD2。佩戴者之一經(jīng)由HMD 2接收社交輔導(dǎo)。例如，HMD可提醒佩戴者今天是另兩人之一的生日。下文討論進一步細節(jié)和示例。在一個實施例中，HMD 2被用于信息供應(yīng)。信息供應(yīng)的一個示例是幫助佩戴者準備晚餐。該指導(dǎo)可經(jīng)由HMD 2提供給用戶。計算機系統(tǒng)12可使用HMD2正面的3D相機來跟蹤晚餐準備過程。在這一或其他實施例中，該系統(tǒng)可訪問用戶簡檔信息。例如，如果用戶是專家級廚師，則該系統(tǒng)不需要告訴用戶如何炒蘑菇，只是加上一些炒過的蘑菇。圖1D是將HMD 2用于教育和指導(dǎo)的系統(tǒng)75的一個實施例的各組件的框圖。系統(tǒng)75包括一個或多個HMD 2、傳感器51、一個或多個計算機系統(tǒng)12、以及一個或多個數(shù)據(jù)庫57(1) - 57 (η)。注意，一個或多個計算機系統(tǒng)12可以駐留在各種各樣的設(shè)備中，如與HMD2相關(guān)聯(lián)的處理單元4、蜂窩電話、膝上型計算機、筆記本計算機、臺式計算機、服務(wù)器等。計算機系統(tǒng)12能夠執(zhí)行的各種功能被表示成模塊。這些模塊可通過在處理器上執(zhí)行各指令來實現(xiàn)。傳感器51可包括相機(2D、3D、RGB、IR等)、心率監(jiān)視器、陀螺儀、GPS等。傳感器51中的一些可以是HMD 2的一部分。例如，HMD 2可具有用于跟蹤眼睛注視的傳感器(例如，圖像傳感器)以及面向前方的相機。傳感器51可被用來收集關(guān)于個人的生物測定數(shù)據(jù)。傳感器51還可被用來開發(fā)該個人周圍的環(huán)境的模型。在一個實施例中，眼睛跟蹤53接收傳感器數(shù)據(jù)并確定對個人的觀看方向進行限定的一個或多個向量。環(huán)境建模55接收傳感器數(shù)據(jù)并確定該環(huán)境的模型。這可以是2D或3D模型。該模型可以是用戶(例如，個人、學生或教師)周圍的環(huán)境或者是用戶的環(huán)境。生物測定分析器63能夠分析與個人有關(guān)的生物測定數(shù)據(jù)。生物測定數(shù)據(jù)可以是傳感器數(shù)據(jù)，包括但不限于心率、音頻、以及圖像數(shù)據(jù)。在一個實施例中，生物測定分析器確定學生的理解水平。在一個實施例中，生物測定分析器確定學生的注意力水平。錯誤檢測/校正65可輸入指導(dǎo)/模型57 (η)。這些指導(dǎo)/模型可以描述問題的正確的解、用于組裝產(chǎn)品的指導(dǎo)，等等。它們還可包括各模型，如可顯示在HMD2中的2D或3D模型。在一個實施例中，錯誤檢測/校正65能夠基于指導(dǎo)57 (η)來確定問題的解的正確性。例如，錯誤檢測/校正65可確定個人是否在正確地求解數(shù)學問題?？缮煽赡艿慕饣蛱崾緛韼椭搨€人求解該問題。在一個實施例中，錯誤檢測/校正65能夠基于指導(dǎo)/模型來確定裝置的組裝的正確性。錯誤檢測/校正65可向HMD內(nèi)容顯示器59發(fā)送圖像以使得HMD 2顯示示出全息圖像的圖像，以幫助組裝該產(chǎn)品。在一個實施例中，錯誤檢測/校正65能夠基于指導(dǎo)/模型來分析該個人的表現(xiàn)。例如，在書寫實施例中，錯誤檢測/校正65可分析該個人的組織字母的努力。反饋61可 生成在HMD 2中提供的反饋。在一個實施例中，反饋61接收眼睛跟蹤數(shù)據(jù)以確定教師13(a)正在看哪一學生13(b)，并隨后訪問個人簡檔數(shù)據(jù)庫57(2)以提供GPA、課程出席，等等。反饋61還可從生物測定分析器63接收輸入以向教師13(a)報告(通過他們的HMD 2)哪些學生理解該主題。個人簡檔數(shù)據(jù)57(2)可包括與個人13的學習風格、特性、和/或已知技能有關(guān)的信息。在一個實施例中，學生構(gòu)建這一數(shù)據(jù)庫57(2)。然而，數(shù)據(jù)庫57(2)可在沒有該系統(tǒng)的幫助的情況下整體或部分地構(gòu)建。作為一個示例，該系統(tǒng)可以確定個人13是慣用右手還是左手、力量、敏捷等，并存儲這些以供將來使用。數(shù)據(jù)庫57 (2)可包含個人13的能力水平。該系統(tǒng)可以基于這些來定制指導(dǎo)。教師/課程57(3)可包含記錄的講座、課程等。在一個實施例中，系統(tǒng)75向?qū)W生13(b)提供在他們的HMD 2中查看不同教師13的講座的選項。這可以基于簡檔數(shù)據(jù)57 (2)。在一個實施例中，該系統(tǒng)基于學生13(b)的簡檔來為他們選擇適當?shù)恼n程。例如，可基于個人簡檔來不同地呈現(xiàn)數(shù)學課程中的相同內(nèi)容。個人記錄57(1)包含個人的活動、表現(xiàn)、與他人的交互等的記錄(例如，錄音)。計算機系統(tǒng)12可以使用HMD 2上的傳感器來生成個人記錄，但可使用其他傳感器。在一個實施例中，個人記錄允許父母或教師13(a)稍后分析該個人的活動、交互、表現(xiàn)13。在一個實施例中，個人記錄57(1)包含個人的表現(xiàn)(如高爾夫揮桿)的3D圖像。這可由傳感器51開發(fā)，如能夠生成3D圖像的相機系統(tǒng)。計算機系統(tǒng)12可以輸入這一表現(xiàn)，并且生成它的全息圖像以呈現(xiàn)在HMD 2上。在一個實施例中，計算機系統(tǒng)12可廣播信息。例如，如果個人13做得特別好，則計算機系統(tǒng)12可將這一點張貼到社交網(wǎng)絡(luò)的網(wǎng)頁上。因此，個人13獲得了成就感。這對于挑戰(zhàn)學習者而言尤其重要。在一個實施例中，計算機系統(tǒng)12可擔當增強的比賽制定者。例如，如果個人13希望共享與他們的喜歡、不喜歡、興趣、可用性等有關(guān)的信息，則這可被廣播給網(wǎng)絡(luò)50上的各站點。注意，圖1D的系統(tǒng)的上述描述只提供若干示例來示出對計算機系統(tǒng)12中的各模塊53-65的各傳感器51和數(shù)據(jù)57輸入。同樣,這些不例只描述從一個模塊生成的數(shù)據(jù)可由另一模塊如何使用的若干示例。注意，存在許多其他可能性。還要注意，數(shù)據(jù)庫57可位于任何位置。在一個實施例中，計算機系統(tǒng)12使用因特網(wǎng)來訪問數(shù)據(jù)庫57。圖1E是將HMD 2用于教育和指導(dǎo)的過程的一個實施例的流程圖。該過程可以用在教室環(huán)境(例如，圖1A)、全息指導(dǎo)環(huán)境(例如，圖1B)、或社交輔導(dǎo)(例如，圖1C)中。該過程可被用來提供信息供應(yīng)(例如，幫助個人烤蛋糕)。該過程可由一個或多個計算機系統(tǒng)12執(zhí)行，如與HMD 2相關(guān)聯(lián)的處理單元、蜂窩電話、膝上型計算機、筆記本計算機、臺式計算機、服務(wù)器，等等。在步驟150，監(jiān)視參與某一體驗的一個或多個人。這可以是教育或指導(dǎo)體驗。該監(jiān)視可涉及使用一個或多個傳感器來收集傳感器數(shù)據(jù)，并將該傳感器數(shù)據(jù)提供給計算機系統(tǒng)12。傳感器數(shù)據(jù)可包括來自相機系統(tǒng)、心率傳感器、音頻傳感器、GPS等的數(shù)據(jù)。注意，步驟150可包括對傳感器數(shù)據(jù)的一些處理。在一個實施例中，該監(jiān)視包括構(gòu)建該環(huán)境的3D模型。該監(jiān)視可包括檢測HMD 2的佩戴者的眼睛注視。在一個實施例中，該監(jiān)視可包括產(chǎn)生學生的臉部的一個或多個圖像。在一個實施例中，該監(jiān)視包括從至少一個HMD 2接收傳感器數(shù)據(jù)。`在步驟152，分析從監(jiān)視步驟生成的數(shù)據(jù)以確定如何增強體驗。這一數(shù)據(jù)可以是原始傳感器數(shù)據(jù)(例如，心率)或經(jīng)處理的傳感器數(shù)據(jù)(例如，3D模型)。在一個實施例中，步驟152包括分析臉部表情、心率等，以確定學生13(b)是否理解了主題。在一個實施例中，步驟152包括輸入數(shù)據(jù)(例如，指導(dǎo)/模型57 (η))并使用該數(shù)據(jù)來分析在步驟150捕捉或產(chǎn)生的數(shù)據(jù)。例如，步驟152可包括確定學生13(b)是否在正確地求解數(shù)學問題，并確定如何繼續(xù)進行的提示。該數(shù)據(jù)可通過網(wǎng)絡(luò)傳送給遠程計算設(shè)備以供分析。許多另外的示例在下文中提供。在步驟154，基于步驟152的分析來增強體驗(例如，教育或指導(dǎo))。對于圖1A的環(huán)境，教師13(a)可接收哪些學生12在理解和/或注意的反饋。對于圖1B的環(huán)境，個人13可接收全息指導(dǎo)來組裝裝置。對于圖1C的環(huán)境，個人13可接收社交輔導(dǎo)。在一個實施例中，步驟154包括向至少一個HMD 2提供信號。HMD 2可以是參與該體驗的各個人中的至少一個所佩戴的HMD。在一個實施例中，步驟154包括向呈現(xiàn)設(shè)備提供信號。呈現(xiàn)設(shè)備可以是視頻監(jiān)視器和/或音頻換能器。呈現(xiàn)設(shè)備不限于是HMD 2。呈現(xiàn)設(shè)備可以例如與個人計算機、膝上型計算機、筆記本計算機、蜂窩電話、電視機等相關(guān)聯(lián)。圖2A是描繪HMD設(shè)備的一個實施例的各示例組件的框圖。HMD設(shè)備2包括通常是眼鏡架形狀的頭戴式鏡架3，并且包括鏡腿102以及包含鼻梁104的前透鏡架。在鼻梁104中置入了話筒110以用于記錄聲音以及將該音頻數(shù)據(jù)傳送給處理單元4。透鏡116是透視透鏡。HMD設(shè)備可被戴在用戶的頭上，使得該用戶可以透過顯示器觀看并且從而看到包括不是由該HMD設(shè)備生成的圖像的真實世界場景。HMD設(shè)備2可以是自包含的，使得它的所有組件可由鏡架3來承載，例如由鏡架3物理地支撐?？扇芜x地，HMD設(shè)備的一個或多個組件不由該鏡架來承載。例如，該鏡架沒有承載的多個組件之一可以通過線來物理地附連到該鏡架所承載的組件。通過線5所附連的芯片形傳感器7是一個這樣的示例。傳感器7是生物傳感器，如可夾到用戶的耳朵的心率傳感器。心率傳感器的一個示例在耳朵的一側(cè)發(fā)射紅外光，并從另一側(cè)感測穿過耳朵中血管組織的光的強度。該強度將由于與心率相對應(yīng)的血量的變化而存在變化。心率傳感器的另一示例附連到指尖。心率傳感器的又一示例使用胸帶來檢測EKG信號，該信號可無線或有線地傳送到HMD設(shè)備的接收和處理電路。除心率水平(例如脈搏率)之外,可以確定心率的規(guī)律性。心率可被分類成例如正?；蚨秳?。還可根據(jù)從眼睛跟蹤相機134B獲得的眼睛的圖像來檢測心率，如下所述。例如，US2006/0149154,“Method and apparatus for measuring tissue perfusion(用于測量組織灌注的方法和裝置)”測量目標組織(如視網(wǎng)膜表面)的微循環(huán)血流而不需要接觸該組織，其整體通過引用結(jié)合于此。脈沖光源照射該組織，并且匹配傳感器將反射光中的變化轉(zhuǎn)換成電子信號，其指示心率以及組織灌注指標。心率傳感器的又一示例使用鼻梁處的傳感器，如在美國專利6431705,“Eyewear heart rate monitor (佩戴在眼睛的心率監(jiān)視器)”中討論的，其整體通過引用結(jié)合于此。此外，該鏡架未承載的多個組件之一可以與該鏡架所承載的組件進行無線通信，并且沒有通過線或以其他方式物理地附連到該鏡架所承載的組件。在一種方法中，該鏡架沒有承載的一個或多個組件可由該用戶攜帶，如在腕上。處理單元4可經(jīng)由有線鏈路或經(jīng)由無線鏈路連接到該鏡架中的組件。術(shù)語“HMD設(shè)備”可涵蓋鏡架上的組件和遠離鏡架的組件兩者。處理單元4包括用于操作HMD設(shè)備2的計算能力中的許多能力。該處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的指令以執(zhí)行本文描述的過程。在一個實施例中，處理單元4與一個或多個中樞計算系統(tǒng)12無線地(例如使用W1-Fi 、藍牙 、紅外(例如IrDA ,即INFRARED DATA ASS0CIA TION (紅外數(shù)據(jù)協(xié)會)標準)、或其他無線通信手段)通信。控制電路136提供支持HMD設(shè)備2的其他組件的各種電子裝置。中樞計算系統(tǒng)12可以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，中樞計算系統(tǒng)12可包括用于執(zhí)行例如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用的硬件組件和/或軟件組件。中樞計算系統(tǒng)12可包括可執(zhí)行存儲在處理器可讀存儲設(shè)備上的指令以執(zhí)行本文描述的過程的處理器。中樞計算系統(tǒng)12還包括一個或多個捕捉設(shè)備，如捕捉設(shè)備20。捕捉設(shè)備20可以是例如相機，該相機在視覺上監(jiān)視一個或多個用戶(例如，個人13、學生13(b)或教師11)和周圍空間，從而可以捕捉、分析并跟蹤該一個或多個用戶所執(zhí)行的姿勢和/或移動以及周圍空間的結(jié)構(gòu)，以執(zhí)行一個或多個控制或動作。中樞計算系統(tǒng)12可以連接到諸如電視機、監(jiān)視器、高清電視機(HDTV)等可提供游戲或應(yīng)用視覺的視聽設(shè)備16。例如，中樞計算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從中樞計算系統(tǒng)12接收視聽信號，并且然后可以輸出與視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。中樞計算設(shè)備10可以與捕捉設(shè)備20 —起用于識別、分析和/或跟蹤人類(以及其他類型的)目標。例如，可使用捕捉設(shè)備20來跟蹤佩戴HMD設(shè)備2的用戶，使得可以捕捉用戶的姿勢和/或移動來使化身或屏幕上人物動畫化，和/或可將用戶的姿勢和/或移動解釋為可用于影響中樞計算系統(tǒng)12所執(zhí)行的應(yīng)用的控制。圖2B描繪了 HMD設(shè)備2的一部分的俯視圖，該HMD設(shè)備包括鏡架中包含鏡腿102和鼻梁104的那部分。僅示出了 HMD設(shè)備2的右側(cè)。在HMD設(shè)備2的前方是面向前方(或朝向房間)的可捕捉視頻和靜止圖像的視頻相機113。這些圖像被傳送給處理單元4，這將在下面予以描述。面向前方的視頻相機113面朝外，并具有與用戶的視點類似的視點。HMD設(shè)備2的鏡架的一部分圍繞顯示器(該顯示器包括一個或多個透鏡)。為了示出HMD設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光學元件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明度濾光器114處于透視透鏡116之后并與其對齊，光導(dǎo)光學元件112處于不透明度濾光器114之后并與其對齊，并且透視透鏡118處于光導(dǎo)光學元件112之后并與其對齊。透視透鏡116和118是眼鏡中使用的標準透鏡，并且可根據(jù)任何處方(包括無處方)來制作。在一個實施例中，透視透鏡116和118可由可變處方透鏡取代。在一些實施例中，HMD設(shè)備2將僅僅包括一個透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進入光導(dǎo)光學元件112內(nèi)。不透明度濾光器114濾除自然光(要么基于逐像素地，要么均勻地)以增加增強現(xiàn)實圖像的對比度。光導(dǎo)光學元件112將人造光引導(dǎo)至眼睛。在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個實施例中)包括用于對增強現(xiàn)實圖像進行投影的微顯示器120、以及用于將圖像從微顯示器120引導(dǎo)到光導(dǎo)光學元件112中的透鏡122。在一個實施例中，透鏡122是準直透鏡。增強現(xiàn)實發(fā)射器可包括微顯示器120、諸如透鏡122和光導(dǎo)112等一個或多個光學組件、以及諸如驅(qū)動器等相關(guān)電子裝置。這樣的增強現(xiàn)實發(fā)射器與該HMD設(shè)備相關(guān)聯(lián)，并向用戶的眼睛發(fā)射光，其中該光表示增強現(xiàn)實靜止圖像或視頻圖像?？刂齐娐?36提供支持HMD設(shè)備2的其他組件的各種電子裝置?？刂齐娐?36的更多細節(jié)在下文參照圖3提供。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機130、慣性傳感器132、以及生物測定傳感器138。例如，生物傳感器可表示圖2A的心率傳感器組件5和7?？梢蕴峁┢渌飩鞲衅鱽頇z測生物測定，如體溫、血壓、或血糖水平。用戶的聲音的特性(如講話的音調(diào)或語速)也可被認為是生物測定。眼睛跟蹤相機134也可檢測生物測定，如一只或兩只眼睛的瞳孔擴張量。還可根據(jù)從眼睛跟蹤相機134獲得的眼睛的圖像來檢測心率。在一個實施例中，慣性傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計132C (參見圖3)。慣性傳感器用于感測HMD設(shè)備2的位置、定向、突然加速。例如，慣性傳感器可以是用于確定用戶頭部的方位和/或位置的一個或多個傳感器。微顯示器120通過透鏡122來投影圖像?？墒褂貌煌膱D像生成技術(shù)。例如，使用透射投影技術(shù)，光源被光學活性材料調(diào)制并且用白光從背后照亮。這些技術(shù)通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現(xiàn)的。使用反射技術(shù)，外部光被光學活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或RGB源來向前點亮的。數(shù)字光處理(DGP)、硅上液晶(LCOS)、以及Vl丨RASOL (來自高通公司的顯示技術(shù))都是高效的反射技術(shù)的示例，因為大多數(shù)能量從調(diào)制結(jié)構(gòu)反射。使用發(fā)射技術(shù)，光由顯示器生成。例如，PicoPTM顯示引擎(可從MICR0VISI0N有限公司獲得)使用微型鏡面操控來將激光信號發(fā)射到充當透射元件的微小屏幕上或直接照射到眼睛。光導(dǎo)光學元件112將來自微顯示器120的光傳送到佩戴HMD設(shè)備2的用戶的眼睛140。光導(dǎo)光學元件112還允許如箭頭142所描繪那樣將光從HMD設(shè)備2的前方通過光導(dǎo)光學元件112透射到用戶的眼睛140，從而除接收來自微顯示器120的增強現(xiàn)實圖像之外還允許用戶具有HMD設(shè)備2的前方的空間的實際直接視圖。因此，光導(dǎo)光學元件112的壁是透視的。光導(dǎo)光學兀件112包括第一反射面124 (例如鏡面或其他表面)。來自微顯不器120的光穿過透鏡122并入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光通過內(nèi)反射而被捕獲在包括光導(dǎo)光學兀件112的平面基底內(nèi)。在襯底的表面上進行若干反射之后，所捕獲的光波到達選擇性反射面的陣列，包括示例表面126。反射面126將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛140。由于不同光線將以不同角度在襯底的內(nèi)部行進并反射，因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線將被哪個表面126從襯底反射出的選擇是通過選擇表面126的合適角度來設(shè)計的。光導(dǎo)光學元件的更多細節(jié)可以在于2008年11月20日公開的美國專利申請公開號2008/0285140中找到，該申請的全部內(nèi)容通過弓I用并入本文。在一個實施例中，每只眼睛將具有其自己的光導(dǎo)光學元件112。當 HMD設(shè)備具有兩個光導(dǎo)光學元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在一個將光反射到這兩只眼睛中的光導(dǎo)光學元件。與光導(dǎo)光學元件112對齊的不透明度濾光器114要么均勻地，要么逐像素地來選擇性地阻擋自然光穿過光導(dǎo)光學元件112。在一個實施例中，不透明度濾光器可以是透視LCD面板、電致變色膜、或類似器件。通過從常規(guī)LCD中除去襯底、背光和漫射體的各層，可以獲得透視IXD面板。IXD面板可包括一個或多個透光IXD芯片，所述透光IXD芯片允許光穿過液晶。例如，在LCD投影儀中使用了這樣的芯片。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個像素的透光率能夠在最小和最大透光率之間被單獨地控制?？梢杂上旅婷枋龅牟煌该鞫葹V光器控制電路224為每個像素設(shè)置透光率。于2010年9月21日提交的美國專利申請?zhí)?2/887426，“OpacityFilter For See-Through Mounted Display (用于透視安裝顯示器的不透明度濾光器)”中提供了不透明度濾光器的更多細節(jié)，該專利申請的全部內(nèi)容通過引用并入本文。在一個實施例中，顯示器和不透明度濾光器被同時渲染，并且在空間中被校準到用戶的精確位置以補償角度偏移問題。眼睛跟蹤(例如，使用眼睛跟蹤相機134)可用于計算視野的末端處的正確的圖像偏移。圖2C示出在配備在一副眼鏡上的HMD 2中的、相應(yīng)注視檢測元件的集合的位置的示例性安排。表現(xiàn)為每個眼睛的鏡片的是每個眼睛的顯示光學系統(tǒng)14，例如14ι■和141。顯示光學系統(tǒng)包括透視透鏡，如普通眼鏡一樣，但還包含用于將虛擬內(nèi)容與透過透鏡6看到的實際且直接的真實世界視圖無縫地融合的光學元件(例如，反射鏡、濾光器)。顯示光學系統(tǒng)14具有一般處于透視透鏡中心的光軸，其中光一般被校準來提供無失真視圖。例如，在眼睛護理專業(yè)人員使一副普通眼鏡適合于用戶的臉部時，目標是該眼鏡在每一瞳孔與相應(yīng)鏡片的中心或光軸相對準的位置處落在用戶的鼻子上，從而通常使得校準光到達用戶的眼睛以得到清晰或無失真的視圖。在圖2C的示例中，至少一個傳感器的檢測區(qū)域139r、1391與其相應(yīng)顯示光學系統(tǒng)14r、141的光軸相對準，使得檢測區(qū)域139r、1391的中心捕捉沿著光軸的光。如果顯示光學系統(tǒng)14與用戶的瞳孔對準，則相應(yīng)傳感器134的每一檢測區(qū)域139與用戶的瞳孔相對準。檢測區(qū)域139的反射光經(jīng)由一個或多個光學元件傳送到相機的實際圖像傳感器134，在該示例中傳感器134由處于鏡架115內(nèi)部的虛線示出。在一個示例中，通常也被稱為RGB相機的可見光相機可以是所述傳感器，并且光學元件或光引導(dǎo)元件的示例是部分透射且部分反射的可見光反射鏡?？梢姽庀鄼C提供用戶的眼睛的瞳孔的圖像數(shù)據(jù)，而IR光電探測器162捕捉閃光，閃光是頻譜的IR部分中的反射。如果使用可見光相機，則虛擬圖像的反射可以出現(xiàn)在該相機所捕捉的眼睛數(shù)據(jù)中。圖像過濾技術(shù)可被用來在需要時移除虛擬圖像反射。IR相機對眼睛上的虛擬圖像反射是不敏感的。在一個實施例中，所述至少一個傳感器134是IR輻射可被定向到的IR相機或位置敏感檢測器(PSD)。例如，熱反射表面可以透射可見光但反射IR輻射。從眼睛反射的IR輻射可以來自照明器153、其他IR照明器(未示出)的入射輻射或者來自從眼睛反射的環(huán)境IR輻射。在一些示例中，傳感器134可以是RGB和IR相機的組合，并且光學引導(dǎo)元件可包括可見光反射或轉(zhuǎn)向元件和IR輻射反射或轉(zhuǎn)向元件。在一些示例中，相機可以是小型的，例如2毫米(mm)乘2mm。這樣的相機傳感器的示例是Omnivision 0V7727。在其他示例中，相機可以足夠小(例如Omnivision 0V7727),例如使得圖像傳感器或相機134能以顯示光學系統(tǒng)14的光軸或其他位置為中心。例如，相機134可被嵌入在系統(tǒng)14的鏡片中。另外，可以應(yīng)用圖像過濾技術(shù)來將相機混合到用戶視野中以減輕對用戶的任何干擾。在圖2C的示例中，有四組照明器163，照明器163與光電檢測器162配對并由屏障164分開以避免照明器163所生成的入射光與在光電檢測器162處接收到的反射光之間的干擾。為了在附圖中避免不必要的混亂，就代表性的一對示出了附圖標記。每一照明器可以是生成大約預(yù)定波長的窄光束的紅外(IR)照明器。光電檢測器中的每一個可被選擇來捕捉大約該預(yù)定波長的光。紅外還可包括近紅外。因為照明器或光電檢測器可能存在波長漂移或者波長周圍的微小范圍是可接受的，所以照明器和光電檢測器可以具有與用于生成或檢測的波長有關(guān)的容限范圍。在傳感器是IR相機或IR位置敏感檢測器(PSD)的實施例中，光電檢測器可以是附加數(shù)據(jù)捕捉設(shè)備并且也可被用來監(jiān)視照明器的操作，例如波長漂移、波束寬度改變等。光電檢測器還可提供閃光數(shù)據(jù)，其中可見光相機作為傳感器134。如上所述，在作為確定注視向量的一部分來計算角膜中心的一些實施例中，兩個閃光(并且因此兩個照明器)將是足夠的。然而，在確定瞳孔位置并且因此確定注視向量時，其他實施例可以使用附加閃光。因為表示閃光的眼睛數(shù)據(jù)是重復(fù)地捕捉的，例如以每秒30幀或更大的幀率，所以一個閃光的數(shù)據(jù)可被眼瞼或甚至被睫毛遮擋，但數(shù)據(jù)可由另一照明器所生成的閃光來收集。圖2D示出一副眼鏡中相應(yīng)注視檢測元件的集合的位置的另一示例性安排。在該實施例中，兩組照明器163和光電檢測器162對位于顯不光學系統(tǒng)14周圍的每一鏡架部分115的頂部附近，并且另兩組照明器和光電檢測器對位于每一鏡架部分115的底部附近，以示出照明器之間的幾何關(guān)系并因此示出它們生成的閃光之間的幾何關(guān)系的另一示例。閃光的這一安排可以提供與垂直方向上的瞳孔位置有關(guān)的更多信息。圖2E示出相應(yīng)注視檢測元件的集合的位置的又一示例性安排。在該示例中,傳感器134r、1341與其相應(yīng)顯示光學系統(tǒng)14r、141的光軸成一直線或與其對準，但在鏡架115上位于系統(tǒng)14下方。另外，在一些實施例中，相機134可以是深度相機或包括深度傳感器。深度相機可被用于在3D中跟蹤眼睛。在該示例中，有兩組照明器153和光電檢測器152。圖3是描繪HMD設(shè)備2的各個組件的框圖。圖4是描述處理單元4的各個組件的框圖。HMD設(shè)備組件包括跟蹤各個條件的許多傳感器。HMD設(shè)備將從處理單元4接收關(guān)于圖像(例如，全息圖像)的指令，并且將傳感器信息提供回給處理單元4。處理單元4 (其組件在圖4中描繪)將接收HMD設(shè)備2的傳感器信息?？扇芜x地，處理單元4還接收來自中樞計算設(shè)備12 (參見圖2A)的傳感器信息?；谠撔畔?，處理單元4將確定在何處以及在何時向用戶提供增強現(xiàn)實圖像并相應(yīng)地將指令發(fā)送給圖3的HMD設(shè)備。注意，圖3的組件中的一些(例如面向前方的相機113、眼睛跟蹤相機134B、微顯示器120、不透明度濾光器114、眼睛跟蹤照明134A、以及耳機130)是以陰影示出的，以指示這些設(shè)備中的每個都存在兩個，其中一個用于HMD設(shè)備的左側(cè)，并且一個用于HMD設(shè)備的右偵1K關(guān)于面向前方的相機113,在一種方法中一個相機用于使用可見光獲得圖像。在另一方法中，彼此間具有已知間隔的兩個或更多相機被用作深度相機，以便也用來獲得房間內(nèi)的物體的深度數(shù)據(jù)，該深度數(shù)據(jù)指示從相機/HMD設(shè)備到該物體的距離。HMD設(shè)備的相機可本質(zhì)上重復(fù)計算機中樞12所提供的深度相機的功能(還參見圖5的捕捉設(shè)備20)。圖3示出與電源管理電路302通信的控制電路300?？刂齐娐?00包括處理器310、與存儲器344 (例如DRAM)通信的存儲器控制器312、相機接口 316、相機緩沖區(qū)318、顯示驅(qū)動器320、顯示格式化器322、定時生成器326、顯示輸出接口 328、以及顯示輸入接口330。在一個實施例中，控制電路300的所有組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路300的每個組件都與處理器310通信。相機接口 316提供到兩個面向前方的相機113的接口，并且將從面向前方的相機所接收到的圖像存儲在相機緩沖區(qū)318中。顯示驅(qū)動器320驅(qū)動微顯示器120。顯示格式化器322向控制不透明度濾光器114的不透明度控制電路324提供與微顯示器120上所正在顯示的增強現(xiàn)實圖像有關(guān)的信息。定時生成器326被用于向該系統(tǒng)提供定時數(shù)據(jù)。顯示輸出接口 328是用于將圖像從面向前方的相機112提供給處理單元4的緩沖區(qū)。顯示輸入接口 330是用于接收諸如要在微顯示器120上顯示的增強現(xiàn)實圖像之類的圖像的緩沖區(qū)。在處理單元通過線附連到HMD設(shè)備的框架或通過無線鏈路通信并被佩帶在用戶手腕上的腕帶上時，顯示輸出接口 328和顯示輸入接口 330與作為到處理單元4的接口的帶接口 332進行通信。該方法降低了 HMD設(shè)備的鏡架承載的組件的重量。如上所述，在其他方法中，處理單元可由鏡架承載并且不使用帶接口。
電源管理電路302包括電壓調(diào)節(jié)器334、眼睛跟蹤照明驅(qū)動器336、音頻DAC和放大器338、話筒前置放大器音頻ADC 340、生物傳感器接口 342、以及時鐘生成器345。電壓調(diào)節(jié)器334通過帶接口 332從處理單元4接收電能，并將該電能提供給HMD設(shè)備2的其他組件。眼睛跟蹤照明驅(qū)動器336如上所述為眼睛跟蹤照明134A提供紅外(IR)光源。音頻DAC和放大器338從耳機130接收音頻信息。話筒前置放大器和音頻ADC 340提供話筒110的接口。生物傳感器接口 342是用于生物傳感器138的接口。電源管理單元302還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數(shù)據(jù)。圖4是描述處理單元4的各個組件的框圖。控制電路404與電源管理電路406進行通信?？刂齐娐?04包括中央處理單元(CPU) 420 ;圖形處理單元(GPU) 422 ;高速緩存424 ；RAM 426 ;與存儲器430 (例如DRAM)進行通信的存儲器控制器428 ;與閃存434 (或其他類型的非易失性存儲)進行通信的閃存控制器432 ;經(jīng)由帶接口 402和帶接口 332 (在被使用時)與HMD設(shè)備2進行通信的顯示輸出緩沖區(qū)436 ;經(jīng)由帶接口 402和帶接口 332 (在被使用時)與HMD設(shè)備2進行通信的顯示輸入緩沖區(qū)438 ;與用于連接到話筒的外部話筒連接器442進行通信的話筒接口 440 ;用于連接到無線通信設(shè)備446的外圍部件互連(PCI)express接口 444 ;以及USB端口 448。在一個實施例中，無線通信組件446可包括啟用W1-Fi 的通信設(shè)備、藍牙《通信設(shè)備、紅外通信設(shè)備等。無線通信組件446是無線通信接口，在一種實現(xiàn)中該無線通信接口接收與視聽設(shè)備16所顯示的內(nèi)容同步的數(shù)據(jù)。進而，可響應(yīng)于所接收的數(shù)據(jù)來顯示增強現(xiàn)實圖像。在一種方法中，這樣的數(shù)據(jù)是從中樞計算系統(tǒng)12接收的。USB端口可以用于將處理單元4對接到中樞計算設(shè)備12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU420和GPU 422是用于確定在何處、何時以及如何向用戶的視野內(nèi)插入圖像的主負荷設(shè)備。下面提供更多的細節(jié)。電源管理電路406包括時鐘生成器460、模數(shù)轉(zhuǎn)換器462、電池充電器464、電壓調(diào)節(jié)器466、HMD電源476、以及與生物傳感器474通信的生物傳感器接口 472。模數(shù)轉(zhuǎn)換器462連接到充電插座470以用于接收AC供電并為該系統(tǒng)產(chǎn)生DC供電。電壓調(diào)節(jié)器466與用于向該系統(tǒng)提供電能的電池468進行通信。電池充電器464被用來在從充電插座470接收到電能后對電池468進行充電(經(jīng)由電壓調(diào)節(jié)器466)。HMD電源476向HMD設(shè)備2提供電能。確定在何處、如何以及何時插入圖像的計算可由HMD設(shè)備2和/或中樞計算設(shè)備12來執(zhí)行。在一個示例實施例中，中樞計算設(shè)備12將創(chuàng)建用戶所處的環(huán)境的模型，并且跟蹤在該環(huán)境中的多個移動物體。另外，中樞計算設(shè)備12通過跟蹤HMD設(shè)備2的位置和方位來跟蹤HMD設(shè)備2的視野。該模型和跟蹤信息被從中樞計算設(shè)備12提供給處理單元4。HMD設(shè)備2獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用它從HMD設(shè)備2接收的其他傳感器信息來細化用戶的視野并且向HMD設(shè)備2提供關(guān)于如何、在何處以及何時插入圖像的指令。圖5示出圖2A的中樞計算系統(tǒng)12和捕捉設(shè)備20的示例實施例。根據(jù)一示例實施例，捕捉設(shè)備20可被配置為通過可包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一實施例，捕捉設(shè)備20可將深度信息組織為“Z層”或可與從深度相機沿其視線延伸的Z軸垂直的層。捕捉設(shè)備20可包括相機組件523，相機組件523可以是或可包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機相距的例如以厘米、毫米等為單位的距離。相機組件523可以包括可用于捕捉場景的深度圖像的紅外(IR)光組件525、紅外相機526、以及RGB (視覺圖像)相機528。3-D相機由紅外發(fā)射器24和紅外相機26的組合形成。例如，在飛行時間分析中，捕捉設(shè)備20的IR光組件525可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(在一些實施例中包括未不出的傳感器)、例如使用3-D相機526和/或RGB相機528來檢測從場景中的一個或多個目標和物體的表面后向散射的光。在一些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖與相應(yīng)入射光脈沖之間的時間，并且將其用于確定從捕捉設(shè)備20到場景中的目標或物體上的特定位置的物理距離。此夕卜，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離?？墒褂蔑w行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術(shù)來分析反射光束隨時間的強度以間接地確定從捕捉設(shè)備20到目標或物體上的特定位置的物理距離。捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經(jīng)由例如IR光組件525被投影到場景上。在到達場景中的一個或多個目標或物體的表面上以后，作為響應(yīng)，圖案可以變?yōu)樽冃蔚?。圖案的這種變形可由例如3-D相機526和/或RGB相機528 (和/或其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標或物體上的特定位置的物理距離。在一些實施方式中，IR光組件525從相機526和528移位，使得可以使用三角測量來確定與相機526和528相距的距離。在一些實現(xiàn)中，捕捉設(shè)備20將包括感測IR光的專用IR傳感器或具有IR濾波器的傳感器。捕捉設(shè)備20可包括兩個或更多物理上分開的相機，這些相機可從不同角度查看場景以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信息。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20還可以包括話筒530，所述話筒530包括可以接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。話筒530可用于接收也可由中樞計算系統(tǒng)12來提供的音頻信號。處理器532與圖像相機組件523進行通信。處理器532可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式(例如,幀)以及將數(shù)據(jù)傳送給中樞計算系統(tǒng)12的指令。存儲器534存儲由處理器532執(zhí)行的指令、由3-D相機和/或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。根據(jù)一示例實施例，存儲器534可包括RAM、ROM、高速緩存、閃存、硬盤或任何其他合適的存儲組件。存儲器534可以是與圖像捕捉組件523和處理器532進行通信的分開組件。根據(jù)另一實施例，存儲器組件534可被集成到處理器532和/或圖像捕捉組件523中。捕捉設(shè)備20通過通信鏈路536與中樞計算系統(tǒng)12通信。通信鏈路536可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等有線連接和/或諸如無線802.1lb,802. llg、802.1la或802.1ln連接等無線連接。根據(jù)一個實施例，中樞計算系統(tǒng)12可以通過通信鏈路536向捕捉設(shè)備20提供可用于確定例如何時捕捉場景的時鐘。另外，捕捉設(shè)備20通過通信鏈路536將由例如3-D相機526和/或RGB相機528捕捉的深度信息和視覺(例如RGB或其他色彩)圖像提供給中樞計算系統(tǒng)12。在一個實施例中，深度圖像和視覺圖像以每秒30幀的速率來傳送，但是可以使用其他幀速率。中樞計算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等應(yīng)用和/或使化身或屏上人物動畫化。中樞計算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊550，該模塊使用深度圖像來跟蹤可被捕捉設(shè)備20的深度相機功能檢測到的一個或多個人。模塊550向應(yīng)用552提供跟蹤信息，應(yīng)用552可以是教育軟件、視頻游戲、生產(chǎn)力應(yīng)用、通信應(yīng)用、或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)也被提供給應(yīng)用552和模塊550。應(yīng)用552將跟蹤信息、音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給識別器引擎554。在另一實施例中，識別器引擎554從模塊550直接接收跟蹤信息，并從捕捉設(shè)備20直接接收音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)。識別器引擎554與過濾器560、562、564、......、566的集合相關(guān)聯(lián),每個過濾器包括
關(guān)于可由捕捉設(shè)備20檢測的任何人或?qū)ο髨?zhí)行的姿勢、動作或狀況的信息。例如，過濾器560、562、564、……、566可處理來自捕捉設(shè)備20的數(shù)據(jù)，以標識一個用戶或一組用戶何時執(zhí)行了一個或多個姿勢或其 他動作。這些姿勢可與應(yīng)用552的各種控制、對象或狀況相關(guān)聯(lián)。因此，中樞計算系統(tǒng)12可以將識別器引擎554和過濾器一起用于解釋和跟蹤物體(包括人)的移動。捕捉設(shè)備20向中樞計算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺圖像)和深度圖像。深度圖像可以是一組觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中該2-D像素區(qū)域中的每個像素都可具有深度值，諸如所捕捉的場景中的物體與捕捉設(shè)備相距的距離。中樞計算系統(tǒng)12將使用RGB圖像和深度圖像來跟蹤用戶或物體的移動。中樞計算系統(tǒng)12還具有用于眼睛跟蹤的模塊53、環(huán)境建模55、HMD內(nèi)容顯示59、反饋61、生物測定分析器63、以及錯誤檢測/校正65，它們都已經(jīng)參考圖2D進行了描述。圖6示出了可用于實現(xiàn)中樞計算系統(tǒng)12的計算系統(tǒng)的示例性實施例。如圖6所示，多媒體控制臺600包括具有一級高速緩存602、二級高速緩存604和閃存ROM 606的中央處理單元(CPU)601。一級高速緩存602和二級高速緩存604臨時存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進處理速度和吞吐量。CPU 601可以被配備為具有一個以上的核，并且由此具有附加的一級和二級高速緩存602和604。閃速ROM 606可存儲在多媒體控制臺600通電時在引導(dǎo)過程初始化階段加載的可執(zhí)行代碼。GPU 608和視頻編碼器/視頻編解碼器(編碼器/解碼器)614形成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元608輸送到視頻編碼器/視頻編解碼器614。視頻處理流水線向A/V (音頻/視頻)端口 640輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C或其他顯示器。存儲器控制器610連接到GPU608，以便于對各種類型的存儲器612(如RAM)的處理器訪問。多媒體控制臺600包括優(yōu)選地在模塊618上實現(xiàn)的I/O控制器620、系統(tǒng)管理控制器622、音頻處理單元623、網(wǎng)絡(luò)(NW)接口( I/F)624、第一 USB主控制器626、第二 USB主控制器628以及前面板I/O子部件630。USB控制器626和628用作外圍控制器642和643、無線適配器648、和外置存儲器設(shè)備646 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機。網(wǎng)絡(luò)接口 624和/或無線適配器648提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍牙 模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器643來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器644且其可包括DVD/⑶驅(qū)動器、藍光盤(TM)驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器644可內(nèi)置或外置于多媒體控制臺600。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器644訪問，以供多媒體控制臺600執(zhí)行、回放等。媒體驅(qū)動器644經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394串行總線接口)等總線連接到I/O控制器620。系統(tǒng)管理控制器622提供與確保多媒體控制臺600的可用性相關(guān)的各種服務(wù)功能。音頻處理單元623和音頻編解碼器632形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元623與音頻編解碼器632之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 640以供外部音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件630支持暴露在多媒體控制臺600的外表面上的電源按鈕650和彈出按鈕652、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊636向多媒體控制臺600的組件供電。風扇638冷卻多媒體控制臺600內(nèi)的電路。多媒體控制臺600內(nèi)的CPU 601、GPU 608、存儲器控制器610、以及各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。這些體系結(jié)構(gòu)可以包括PCI總線、PC1-Express 總線等。當多媒體控制臺600通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器643加載到存儲器612和/或高速緩存602、604中并在CPU 601上執(zhí)行。應(yīng)用呈現(xiàn)一圖形用戶界面，該圖形用戶界面可在導(dǎo)航到多媒體控制臺600上可用的不同媒體類型時提供一致的用戶體驗。在操作中，媒體驅(qū)動器644中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器644啟動或播放，以將附加功能提供給多媒體控制臺600。多媒體控制臺600可通過簡單地將該系統(tǒng)連接到電視機或其他顯示器而作為獨立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺600允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡(luò)接口 624或無線適配器648可用的寬帶連接集成的情況下，多媒體控制臺600還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。另外，多媒體控制臺600可以通過無線適配器648與處理單元4通信。圖2A (先前討論的)描繪了與一個中樞計算設(shè)備12 (稱為中樞)進行通信的一個HMD設(shè)備2(被認為是一種類型的移動終端)。在另一實施例中，多個移動終端可以與單個中樞通信。每個移動終端都將如上述那樣使用無線通信與中樞通信。在這樣的實施例中，對所有移動終端都有用的信息中的許多都將在中樞處被計算和存儲并且傳送給每個移動終端。例如，中樞將生成環(huán)境的模型并且將該模型提供給與該中樞通信的所有移動終端。另外，中樞可以跟蹤移動終端以及房間中的移動物體的位置和方位，并且然后將該信息傳輸給每個移動終端。圖7是向教師13(a)提供關(guān)于學生13(b)的信息的過程的一個實施例的流程圖。該過程可用于教室教學環(huán)境中，但不限于此。在步驟702，檢測教師13(a)的眼睛注視。在一個實施例中，HMD 2具有用于檢測可被用來確定眼睛的定位方向的眼睛閃光的一個或多個傳感器(例如，圖2C-2E的IR光電檢測器162)。也可使用圖像傳感器或相機134 (參見圖2A-2E)。計算機系統(tǒng)12可以根據(jù)上述信息確定每一只眼睛的眼睛向量。為使得眼睛向量相關(guān)，計算機系統(tǒng)12可訪問房間的3D模型并將眼睛向量與該3D模型進行相關(guān)。計算機系統(tǒng)12可以使用任何相機系統(tǒng)來開發(fā)教室的3D模型。在一個實施例中，HMD 2具有面向前方的相機，它可收集用于該3D模型的數(shù)據(jù)。然而，任何設(shè)備可具有捕捉用于該3D模型的數(shù)據(jù)的相機。如上所述，計算機系統(tǒng)12可以通過將眼睛向量與3D模型進行相關(guān)來確定教師13(a)在看哪里。在步驟704，計算機系統(tǒng)12確定教師13 (a)在看哪一學生13 (b)。教室的3D模型可包括每一學生13(b)的位置，或用每一學生13(b)的位置來增強。在一個實施例中，每一學生13(b)的HMD 2可由它所傳送的信號或由某一物理標記來唯一地標識。在一個實施例中，教室中的每一座位具有已知的3D位置，并且計算機系統(tǒng)12知道每一座位上預(yù)期是哪一學生13(b)。然而，可使用許多其他技術(shù)。步驟702-704是步驟150的一個實施例。在步驟706，確定與學生13 (b)有關(guān)的信息。在一個實施例中，計算機系統(tǒng)12訪問簡檔數(shù)據(jù)庫75(2)來檢索學生GPA、名字，等等。在一個實施例中，計算機系統(tǒng)12報告學生13(b)是否理解了該材料或正在集中注意力。下面討論作出這一確定的進一步細節(jié)。步驟706是步驟152的一個實施例。在步驟708，向教師13(a)提供與學生13(b)有關(guān)的信息。這一信息可在教師的HMD 2上提供。該信息可以是音頻或視頻。步驟708是步驟154的一個實施例。圖8是向教師13(a)提供關(guān)于學生13(b)的信息的過程的一個實施例的流程圖。該過程可用于教室教學環(huán)境中，但不限于此。在步驟802，收集與學生13(b)中的一個或多個有關(guān)的生物測定數(shù)據(jù)。在一個實施例中，HMD 2具有用于檢測生物測定信息的一個或多個傳感器。然而，可使用其他傳感器。在一個實施例中，該信息包括可從中檢測出情緒的3D圖像數(shù)據(jù)。生物測定數(shù)據(jù)可被用來確定眼睛注視的方向，其中可從該方向來推斷出注意力。生物測定數(shù)據(jù)可包括心率數(shù)據(jù)。圖2A討論了心率傳感器的一個示例；然而，可以使用其他傳感器。步驟802是步驟150的一個實施例。在步驟804，該系統(tǒng)確定一個或多個學生13(b)的理解和/或注意力。在一個實施例中，分析3D圖像數(shù)據(jù)來確定學生13(b)的臉部表情，其中可從該臉部表情中推斷出理解。在一個實施例中，使用眼睛跟蹤來估計該學生是否在專心聽課或可能專心于某一其他事物。例如，該學生可能花大量時間看向窗外。注意，步驟802和804可以以任何時間間隔執(zhí)行。步驟804是步驟152的一個實施例。在步驟806，計算機系統(tǒng)12確定與學生13(b)的集體理解有關(guān)的度量。例如，計算機系統(tǒng)12可以確定學生13(b)中理解該主題的學生的百分比。計算機系統(tǒng)12可以確定主題的什么部分被理解以及哪一部分沒被理解。理解水平可被用來表達結(jié)果。步驟806是步驟152的一個實施例。
在步驟808，向教師13(a)提供與理解和/或注意力有關(guān)的信息。這可以是來自步驟804和/或806的信息。這一信息可在教師的HMD 2上提供。步驟808是步驟154的一個實施例。在一個實施例中，計算機系統(tǒng)12確定學生是否完成了某一任務(wù)、問題、作業(yè)，等等。這可類似于圖8的過程。然而，并非確定理解，該系統(tǒng)使用傳感器信息來確定任務(wù)完成。作為一個示例，HMD 2可具有能夠確定學生的課桌的3D圖像的面向前方的相機。作為許多可能之一，可分析該3D圖像以確定該學生是否完成了數(shù)學問題。圖9是向?qū)W生提供不同教師的過程的一個實施例的流程圖。作為一個示例，學生13(b)可能沒有理解教師13(b)所呈現(xiàn)的講座，并且向?qū)W生13(b)提供在HMD2上查看由不同教師進行的講座的選項。該過程可用于教室教學環(huán)境中，但不限于此。在步驟902，收集與學生13(b)中的一個或多個有關(guān)的生物測定數(shù)據(jù)。步驟902是步驟150的一個實施例。在步驟904，分析該生物測定數(shù)據(jù)以確定學生13(b)的理解。步驟902-904可類似于步驟802-804。在步驟906，作出該理解是否低于閾值的確定。例如，可基于來自測試主體的經(jīng)驗數(shù)據(jù)通過將臉部表情與規(guī)定的或測試的理解水平進行相關(guān)來在一范圍內(nèi)對理解進行等級評定。如果理解低于閾值，則可向?qū)W生13(b)提供新教師13(a)的選項。在步驟908，從數(shù)據(jù)庫57 (2)訪問學生簡檔。學生簡檔可至少部分地由計算機系統(tǒng)12來開發(fā)。然而，學生簡檔可至少部分地在沒有計算機系統(tǒng)12的幫助下開發(fā)。作為一個示例，用戶簡檔可指示學生的已知學習風格。例如，一些學生可偏好線性學習風格，而其他學生偏好非線性學習風格。作為另一示例，學生13(b)可具有對基于視覺、聽覺或文本的學習的偏好。步驟904-908是圖1E的步驟152的一個實施例。在步驟910，基于學生13(b)的用戶簡檔來向他們建議不同的教師13(a)?？上?qū)W生13(b)呈現(xiàn)一個或多個可能的教師11以供從中進行選擇，可能將教師13(a)的簡要描述或為什么向這一學生13(b)建議他們一起進行呈現(xiàn)。在步驟912，學生13 (b)可選擇新教師13 (a)。如果是，則在步驟914，向?qū)W生13 (b)提供所選教師13 (a)。在一個實施例中，計算機系統(tǒng)12從數(shù)據(jù)庫57 (3)訪問所選教師13 (a)所給出的講座。這可以是連同音頻一起的視頻錄像，它在HMD 2上提供。注意，學生13(b)可以選擇對該視頻錄像進行暫停、快進、倒帶等。步驟914是圖1E的步驟154的一個實施例。圖9的過程的一個變型要提供對學生13(b)定制的課程。例如，可從學生簡檔數(shù)據(jù)庫57 (2)訪問學生13(b)對資料呈現(xiàn)感到輕松的速度。測試理解的步驟(步驟906)可作為對學生感到輕松的速度的確定的因素。可從數(shù)據(jù)庫57 (3)訪問這一主題的合適課程。這一課程可以是預(yù)先錄制的視頻；然而，不排除其他格式。圖10是提供全息指導(dǎo)的過程的一個實施例的流程圖。該指導(dǎo)可具有許多目的，如幫助個人13組裝某一裝置。例如，個人13可能購買了需要組裝的產(chǎn)品。另一可能用途是通過向個人13示出他們自己的高爾夫揮桿的全息圖像來教導(dǎo)他們?nèi)绾螕]動高爾夫球桿。在一個實施例中，所呈現(xiàn)的圖像是全息的。個人能夠操縱或“瀏覽”這些圖像以從不同的觀點來查看圖像。圖10的過程可用于圖1B的示例環(huán)境中，但不限于此。該過程是圖1E的過程的一個實施例。
在步驟1002，跟蹤個人表現(xiàn)。在一個實施例中，處理傳感器數(shù)據(jù)以確定指示個人的表現(xiàn)的信息。僅舉數(shù)例，交互可以是個人13組裝產(chǎn)品、揮動高爾夫球桿、演奏音樂、烤蛋糕。在步驟1002，可以使用一個或多個相機來構(gòu)建3D模型。同樣，可以使用諸如用于捕捉音頻的傳感器等其他傳感器。步驟1002是圖1E的步驟150的一個實施例。在可任選步驟1004，訪問表現(xiàn)的指導(dǎo)和/或模型。例如，可從數(shù)據(jù)庫57 (η)訪問所組裝的產(chǎn)品的模型或用于組裝的逐步指導(dǎo)。如上所述，這可涉及通過網(wǎng)絡(luò)(如因特網(wǎng))訪問。在步驟1006，分析表現(xiàn)以確定如何增強個人的表現(xiàn)。該分析可包括確定產(chǎn)品的組裝的正確性、分析高爾夫揮桿的缺點、確定歌曲中要演奏的下一音符、如何烤蛋糕，等等。步驟1006是圖1E的步驟152的一個實施例。在步驟1008，在HMD 2中提供指導(dǎo)(例如，全息指導(dǎo))。例如，向個人13示出可連接到一起的兩塊的全息圖像。全息圖像可首先將這兩塊示為分開的并隨后合在一起來示出這兩塊。在一個實施例中，個人13可通過“拾取”虛擬對象來操縱該圖像。作為另一示例，個人能夠瀏覽他們的高爾夫揮桿的全息圖像并接收與揮桿缺點有關(guān)的反饋。在一個實施例中，呈現(xiàn)全息圖像以描繪烤蛋糕中的下一步驟。步驟1008是圖1E的步驟154的一個實施例。在步驟1008的一個實施例中，準許個人13請求幫助或指導(dǎo)。例如，個人13可說出關(guān)鍵詞(如“指導(dǎo)”)，這觸發(fā)計算機系統(tǒng)12提供指導(dǎo)。在步驟1008的一個實施例中，個人13使用一些身體姿勢來請求步驟。多個姿勢和/或語音命令可用于不同的請求。注意，對于本文討論的其他實施例，姿勢和/或語音命令可被用來請求幫助。圖11是提供全息指導(dǎo)以組裝一裝置的過程的一個實施例的流程圖。該過程是圖10的過程的一個實施例。該過程也是圖1E的過程的一個實施例。注意，在該實施例中，指導(dǎo)是很好地結(jié)構(gòu)化的；然而，這并非是必須的。在步驟1102，構(gòu)建個人的環(huán)境的3D模型。更具體而言，可基于從傳感器捕捉到的圖像數(shù)據(jù)來構(gòu)建待組裝的產(chǎn)品的3D模型。在步驟1104，確定個人的眼睛注視。在步驟1106，向3D模型注冊眼睛注視。例如，將眼睛向量與3D位置進行相關(guān)以確定個人13正在看什么。步驟1102-1106是步驟1002的一個實施例以及步驟150的一個實施例。在步驟1108，從數(shù)據(jù)庫57 (η)訪問用于組裝產(chǎn)品的指導(dǎo)和/或經(jīng)組裝產(chǎn)品看起來應(yīng)當如何的模型。注意，這可經(jīng)由網(wǎng)絡(luò)來訪問。在一個實施例中，產(chǎn)品制造者在網(wǎng)站上提供這些指導(dǎo)和/或模型。步驟1108是步驟1004的一個實施例。在步驟1110，確定反饋。步驟1112可包括將個人的經(jīng)組裝的產(chǎn)品的版本(在這一階段)與所訪問的3D模型進行比較以確定誤差。例如，如果個人處于步驟三，并且計算機系統(tǒng)12確定該模型未被正確組裝，則可確定合適的警告。計算機系統(tǒng)12還可確定可能的補救。例如，計算機系統(tǒng)12可確定個人13錯過了步驟二。如果個人13停止了組裝，則該系統(tǒng)可確定是否過去了太多時間，這可指示個人13被難住了。步驟1110是步驟1006的一個實施例以及步驟152的一個實施例。在步驟1112，在HMD 2中提供圖像以提供反饋。例如，向個人13示出可連接到一起的兩塊的全息圖像。全息圖像可首先 將這兩塊示為分開的并隨后合在一起來示出這兩塊。步驟1112還可包括提供音頻反饋。例如，該系統(tǒng)可以說“我認為你跳過了步驟二”。在這種情況下，可將步驟二作為全息圖像呈現(xiàn)在HMD 2上。注意，這一全息圖像可以是動畫。該系統(tǒng)可詢問個人13他們是否被難住并需要幫助。在一個實施例中，步驟1112包括提供該個人可通過移動虛擬對象或移動他們的有利位置從不同的觀點來查看的全息圖像。例如，該個人可拾取HMD 2中呈現(xiàn)的一個或多個虛擬對象并操縱這些對象。傳感器能夠跟蹤個人手位置以確定如何顯示虛擬對象。步驟1112是步驟1008以及步驟154的一個實施例。圖12是在演奏音樂時提供全息指導(dǎo)的過程的一個實施例的流程圖。該過程是圖10的過程的一個實施例。該過程也是圖1E的過程的一個實施例。在步驟1202，構(gòu)建個人的環(huán)境的3D模型。更具體而言，可根據(jù)從傳感器捕捉到的圖像數(shù)據(jù)構(gòu)建所演奏的樂器的3D模型。計算機系統(tǒng)12還可確定用戶正在如何與該樂器進行交互。例如，計算機系統(tǒng)12可確定用戶在鋼琴上演奏什么音符。這可使用音頻傳感器或通過分析圖像來執(zhí)行。在步驟1202，計算機系統(tǒng)12還可確定HMD 2相對于樂器是如何定向的，使得稍后可以呈現(xiàn)與該樂器相匹配的圖像。例如，可以通過在HMD 2中提供全息圖像來突出顯示鋼琴上的一個鍵。步驟1202是步驟1002的一個實施例以及步驟150的一個實施例。在步驟1204，從數(shù)據(jù)庫57訪問音樂分數(shù)。這可以是所演奏的音樂。步驟1204是步驟1004的一個實施例。在步驟1206，確定反饋。步驟1206可包括確定接下來演奏什么音符、確定演奏了不正確的音符、確定手指不正確地置于吉他弦上，等等。步驟1206是步驟1006的一個實施例以及步驟152的一個實施例。在步驟1208，在HMD 2中提供圖像以提供反饋。例如，向個人13示出指示接下來演奏什么音符的全息圖像?？上騻€人13示出他們現(xiàn)在是如何將其手指置于吉他弦上的全息圖像，隨后向其示出他們應(yīng)當如何放置的全息圖像。步驟1208還可包括提供音頻反饋。步驟1208是步驟1008的一個實施例以及步驟154的一個實施例。圖13A是提供用于運動的全息指導(dǎo)的過程的一個實施例的流程圖。該過程是圖10的過程的一個實施例。該過程也是圖1E的過程的一個實施例。在步驟1302，根據(jù)從傳感器捕捉到的圖像數(shù)據(jù)來構(gòu)建個人的高爾夫揮桿的3D模型。這可類似于在本文別處討論的構(gòu)建環(huán)境的3D模型。在揮動高爾夫球桿時，個人13通常沒有佩戴HMD 2，但這是一種可能性。可基于一個或多個相機所捕捉到的圖像來構(gòu)建該3D模型。在一個實施例中，將該3D模型或簡單的2D視頻流存儲在數(shù)據(jù)庫57(1)中，使得它可供教師13(a)分析。步驟1302是步驟1002的一個實施例以及步驟150的一個實施例。在可任選步驟1304，訪問所存儲的高爾夫揮桿的模型。這一模型可以是用于與個人的揮桿進行比較的模板。并非訪問預(yù)定義的模型，可以在進行中基于用戶參數(shù)、所選球桿、擊球類型(左曲球、右曲球等)等來生成模型。同樣，注意，通常并不存在一個所接受的高爾夫揮桿模型。此外，注意，該模型可以是高爾夫揮桿的任何部分(例如，瞄球位置、頂部位置、擊球區(qū)位置，等等)。在步驟1306中，對高爾夫揮桿進行分析。步驟1306可由在計算機系統(tǒng)12上運行的軟件來執(zhí)行。在一個實施例中，計算機系統(tǒng)12將個人的揮桿與在步驟1304訪問的模型進行比較。步驟1306可由人類教師來執(zhí)行。該分析可以是揮桿在何處出錯的批評、揮桿與理想(例如，模型揮桿)的偏差。步驟1306是步驟1006的一個實施例以及步驟154的一個實施例。在步驟1308，在HMD 2中提供高爾夫揮桿的全息圖像。這一圖像可以是高爾夫揮桿的任何所選部分的靜止圖像或視頻流。在步驟1310，提供對高爾夫揮桿的分析。因而，個人接收指導(dǎo)。在一個實施例中，全息圖像突出顯示一些區(qū)域(例如，右腕位置)以示出該個人需要校正什么。該圖像還可向該個人示出該腕的正確(或更好)位置。步驟1308可包括提供該個人可通過移動他們的有利位置從不同的觀點查看的全息圖像。在一個實施例中，在準許個人“瀏覽”全息圖像以從不同的觀點檢查高爾夫揮桿時，提供音頻解說?？赏ㄟ^跟蹤相機和/或GPS來確定該個人的位置。跟蹤相機可被用來確定該個人的眼睛的精確3D坐標。步驟1308-1310是步驟1008的一個實施例，以及步驟154的一個實施例中。圖13B是提供用于幫助用戶進行烹飪的全息指導(dǎo)的過程的一個實施例的流程圖。注意，這是其中指導(dǎo)可相對未結(jié)構(gòu)化的一個示例。例如，對于所有人可能相同的一組指導(dǎo)是沒有必要的。這與諸如組裝產(chǎn)品的示例(它可具有更結(jié)構(gòu)化的指導(dǎo))形成對比。烹飪指導(dǎo)可以是未結(jié)構(gòu)化的原因是由于用戶的不同能力。例如，一些人可能需要與如何煮雞蛋的詳細指導(dǎo)，而其他人可能僅僅需要被告知煮雞蛋。該過程是圖10的過程的一個實施例。在步驟1352，跟蹤HMD 2的佩戴者的烹飪努力。在一個實施例中，處理傳感器數(shù)據(jù)以確定指示個人的表現(xiàn)的信息。在步驟1352，可以使用HMD 2上的一個或多個相機。步驟1352是圖1E的步驟150的一個實施例。步驟1352是圖10的步驟1302的一個實施例。在步驟1354，訪問用于烹飪的指導(dǎo)。如上所述，這可涉及通過網(wǎng)絡(luò)(如因特網(wǎng))訪問。在步驟1356，分析烹飪進度以確定如何增強個人的表現(xiàn)。該分析可包括確定個人13在何處正處于確定下一步驟的過程中，確定該過程是否被正確執(zhí)行等等。步驟1356是圖1E的步驟152的一個實施例。步驟1356是圖10的步驟1006的一個實施例。在步驟1356，在HMD 2中提供指導(dǎo)(例如，全息指導(dǎo))以幫助用戶烹飪。例如，向個人13示出烹飪過程中的下一步驟的全息圖像。在一個實施例中，個人13可操縱該全息圖像。例如，個人13可執(zhí)行練習將蘿卜切片成精美圖案的排演。步驟1356可包括提供音頻建議。例如，可在HMD 2中播放去往食櫥并拿一些面粉的音頻信號。步驟1356是圖1E的步驟154的一個實施例。步驟1356是圖10的步驟1008的一個實施例。圖14是提供用于幫助個人對問題進行求解的全息指導(dǎo)的過程的一個實施例的流程圖。將使用數(shù)學問題的示例，但該問題可以是另一主題，如物理學、化學、或甚至科學或數(shù)學之外的領(lǐng)域。該過程是圖10的過程的一個實施例。該過程也是圖1E的過程的一個實施例。注意，該過程可以在教室設(shè)置中執(zhí)行，如圖1A中描繪的。在步驟1402，跟蹤個人求解數(shù)學問題的努力。在一個實施例中，個人13正在紙上計算數(shù)學問題。可使用光學字符識別來確定該個人在求解該問題中進行得如何。在一個實施例中，個人13正在某一電子設(shè)備上工作，如筆記本計算機。在這種情況下，跟蹤個人的努力可使用相機和光學字符識別來執(zhí)行。然而，可訪問來自該電子設(shè)備(例如，筆記本計算機)的數(shù)據(jù)以跟蹤個人的進度。步驟1402是圖1E的150的一個實施例。在步驟1404，分析個人求解問題的努力。在一個實施例中，步驟1404包括確定該個人求解該問題的努力的正確性。計算機系統(tǒng)12可訪問該問題的正確的解以及求解該問題的合適步驟。然而，注意，可以用多種方式來求解一些問題。因此，計算機系統(tǒng)12可訪問多個可能的解。在一個實施例中，訪問數(shù)據(jù)庫57 (η)以獲得解。在步驟1404，計算機系統(tǒng)12可確定該個人13是否在正確地進行。如果否，則可以確定用于繼續(xù)進行的合適建議。步驟1404是圖1E的152的一個實施例。在步驟1406，使用HMD 2向個人13提供指導(dǎo)。步驟1406可包括在該個人所佩戴的透視HMD 2中提供一個或多個圖像，以提供求解該問題的幫助。在一個實施例中，向個人13提供等式以及它意味著什么的可視化。例如，如果數(shù)學問題涉及求解兩個線性方程的聯(lián)立組，則可示出表示每一線性方程的線以及它們的交點。作為另一示例，數(shù)學詞問題可被可視化成現(xiàn)實生活示例(例如，彼此接近的兩列火車)。步驟1406是圖1E的154的一個實施例。圖15是提供用于幫助個人書寫的指導(dǎo)的過程的一個實施例的流程圖。該過程是圖10的過程的一個實施例。該過程也是圖1E的過程的一個實施例。注意，該過程可以在教室設(shè)置中執(zhí)行，如圖1A中描繪的。在步驟1502，跟蹤個人的書寫努力。這是對個人執(zhí)行任務(wù)或過程的努力進行跟蹤的一個示例。在一個實施例中，個人13在紙上書寫。可使用一個或多個相機捕捉個人的努力來生成3D圖像。在一個實施例中，個人13在某一電子設(shè)備的顯示器上書寫。在這種情況下，可訪問來自該設(shè)備的數(shù)據(jù)以捕捉該個人的努力。步驟1502是圖1E的150的一個實施例。在步驟1504，由計算機系統(tǒng)12分析該個人的書寫的準確性。步驟1504可包括確定用于改進書寫表現(xiàn)的反饋。計算機系統(tǒng)12可訪問組織字母的有效方式，以及可接受的容限(例如，數(shù)據(jù)庫57 (η))。然而，注意，可針對各單獨的風格來準許一些變型。步驟1504是圖1E的152的一個實施例。在步驟1506，使用HMD 2向個人13提供反饋或指導(dǎo)。在一個實施例中，向個人13示出應(yīng)當如何組織字母或字符 。步驟1506是圖1E的154的一個實施例。上述示例只是可提供指導(dǎo)的一些方式。注意，指導(dǎo)可針對該個人來定制。例如，根據(jù)個人的能力，指導(dǎo)的速度可以是有彈性的。圖16是使用HMD 2進行社交輔導(dǎo)的過程的一個實施例的流程圖。該過程是圖1E的過程的一個實施例。該過程可以在圖1C的示例環(huán)境中執(zhí)行，但不限于此。在步驟1602，跟蹤與個人13周圍的其他人的交互。步驟1602可涉及捕捉對話、標識其他人、標識其他人在做什么或穿著什么，等等?？墒褂靡粋€或多個相機來執(zhí)行步驟1602。在一個實施例中，可使用臉部識別。在一個實施例中，計算機系統(tǒng)12聽到該個人的名字。步驟1602是圖1E的步驟150的一個實施例。在步驟1604，為個人13確定合適的提示。例如，計算機系統(tǒng)12確定個人13可能想要對所穿衣物進行評論。在一個實施例中，計算機系統(tǒng)12能訪問信息，如從個人13從何處知道該個人、他們對商業(yè)交易有多重要，等等。步驟1604是圖1E的步驟152的一個實施例。在步驟1606，向該個人的HMD 2提供社交提示。該提示可以將個人的名字示出為覆蓋在他們的襯衫上，使得個人13不會忘記名字。計算機系統(tǒng)12可記住對個人13重要或有用的提示的類型，如個人13是否容易忘記名字等等。因而，在一個實施例中，計算機系統(tǒng)12捕捉各動作和/或?qū)υ挕Ｔ撎崾究梢允窃贖MD 2上的音頻換能器中播放的音頻信號。步驟1606是圖1E的步驟154的一個實施例。圖16A是使用HMD 2進行社交輔導(dǎo)的過程的一個實施例的流程圖。該過程是圖1E的過程的一個實施例。該過程也是圖16的過程的一個實施例。在這一實施例中，被輔導(dǎo)的個人可以處于某一社交設(shè)置中，如約會、宴會等。情況可以是被輔導(dǎo)的個人在社交上有點笨拙；然而，該過程可被應(yīng)用于任何個人。在一個實施例中，被輔導(dǎo)的個人佩戴HMD 2。HMD2可通過網(wǎng)絡(luò)連接到擔當實況社交教練的人。在步驟1612，捕捉與同個人13周圍的其他人的交互有關(guān)的數(shù)據(jù)。步驟1612可涉及使用HMD 2上的一個或多個相機來捕捉視頻、使用HMD 2上的音頻傳感器來捕捉對話、使用HMD上的3D相機來讀取臉部表情，等等。步驟1612是圖1E的步驟150的一個實施例。步驟1612也是圖16的步驟1602的一個實施例。在步驟1614，通過網(wǎng)絡(luò)將來自步驟1612的數(shù)據(jù)傳送給遠程電子設(shè)備。例如，通過網(wǎng)絡(luò)來提供視頻流(它可包含音頻)，使得社交教練能訪問。該數(shù)據(jù)中的一些可被傳送給可分析諸如臉部表情等事物的計算設(shè)備。這一分析可被提供給社交教練。注意，這樣的分析也可在本地提供(例如，在靠近HMD 2的計算設(shè)備中)。在步驟1616，通過網(wǎng)絡(luò)接收對個人13合適的提示。步驟1616可包括從社交教練接收提示。例如，社交教練可確定個人13可能想要對他們的約會對象所穿衣物進行評論。步驟1614-1616是圖1E的步驟152的一個實施例。步驟1614-1616是圖16的步驟1604的一個實施例。在步驟1618，向該個人的HMD 2提供社交提示。該提示可以是HMD 2的音頻換能器中的音頻信號。這可以在佩戴者的耳朵中播放。該提示可以是HMD 2中顯示的文本。該提示可以是HMD 2所提供的任何其他信號。步驟1618是圖1E的步驟154的一個實施例。步驟1618是圖16的步驟1616的一個實施例。圖16B是使用HMD 2進行社交輔導(dǎo)的過程的一個實施例的流程圖。該過程可用于業(yè)務(wù)環(huán)境中，但不限于此。在這一實施例中，來自一個或多個后端數(shù)據(jù)庫的信息可被用來提供社交輔導(dǎo)。無需人員來擔當教練，但人員也可擔當教練。該過程是圖1E的過程的一個實施例。該過程可以在圖1C的示例環(huán)境中執(zhí)行，但不限于此。在步驟1622，標識靠近HMD 2的佩戴者的人(“主體”)。步驟1622可涉及確定HMD2的佩戴者正在看哪一主體?？墒褂靡粋€或多個相機來執(zhí)行步驟1622。在一個實施例中，可使用臉部識別。在一個實施例中，計算機系統(tǒng)12聽到該主體的名字。在一個實施例中，該主體具有可被標識的某種標簽。在一個實施例中，該主體佩戴HMD 2，它可通過網(wǎng)絡(luò)連接到計算機系統(tǒng)。以此方式，可以向計算機系統(tǒng)標識該主體。步驟1622可在本地或遠程執(zhí)行。步驟1622是圖1E的步驟150的一個實施例。步驟1622是圖16的步驟1602的一個實施例。在步驟1624，為個人13確定合適的提示。步驟1624可包括訪問一個或多個數(shù)據(jù)庫。這可包括訪問公共數(shù)據(jù)庫、私有數(shù)據(jù)庫、或半私有數(shù)據(jù)庫，如公司數(shù)據(jù)庫。例如，公共數(shù)據(jù)庫可以是可帶有因特網(wǎng)搜索的任何數(shù)據(jù)庫。私有數(shù)據(jù)庫可包括HMD 2的佩戴者與各個人進行的交互的數(shù)據(jù)。如果佩戴者和主體為同一公司工作，則公司數(shù)據(jù)庫可以是有用的。步驟1624是圖1E的步驟152的一個實施例。步驟1624是圖16的步驟1604的一個實施例。
在步驟1626，向該個人的HMD 2提供社交提示。該提示可以是HMD 2中的文本、HMD 2中的全息圖像、音頻信號、或HMD能夠提供的任何其他信號。該提示可以是在該主體上示出名字標簽的全息圖像。步驟1626是圖1E的步驟154的一個實施例。步驟1626是圖16的步驟1606的一個實施例。在一個實施例中，社交交互的記錄可被提供給父母或教師以供評估。圖17A是用于確定三維用戶視野的一個實施例的流程圖。這一過程可用于監(jiān)視個人和/或教師(圖1E的步驟150)的一個實施例中。對于本文描述的許多其他步驟或過程，圖17A的過程可以整體或部分地使用，以及其變型。在步驟1710，控制電路136、處理單元4、中樞計算系統(tǒng)12或這些的組合的一個或多個處理器從一個或多個面向前方的相機接收圖像數(shù)據(jù)，并且在步驟1712標識面向前方的圖像數(shù)據(jù)中的一個或多個現(xiàn)實物體。來自定向傳感器132 (例如，三軸加速度計132C和三軸磁力計132A)的數(shù)據(jù)也可與面向前方的相機113圖像數(shù)據(jù)一起使用來對用戶周圍的事物、用戶的臉部和頭部的位置進行映射，以確定他或她可能在當時聚焦于哪些物體(現(xiàn)實或虛擬)?；谡趫?zhí)行的應(yīng)用，在步驟1714，一個或多個處理器標識虛擬對象在用戶視野中的位置，其中用戶視野可被確定是在面向前方的圖像數(shù)據(jù)中捕捉的視野。在步驟1716，確定每一物體在用戶視野中的三維位置。換言之，每一物體相對于顯示設(shè)備2位于何處，例如，相對于每一顯示光學系統(tǒng)14的光軸142位于何處。圖17B是用于在用戶視野中標識一個或多個現(xiàn)實物體的方法實施例的流程圖。這一實施例可被用于實現(xiàn)步驟1712。圖17B、17D和17E中各實現(xiàn)示例的每個可分開地使用，或與另一個結(jié)合使用，以標識用戶視野中物體的位置。在步驟1720，標識佩戴HMD 2的用戶的位置。例如，經(jīng)由個人13所持有的或其上的設(shè)備上的GPS單元或顯示設(shè)備2上的GPS收發(fā)機的GPS數(shù)據(jù)可標識個人13 (或教師13(a))的位置。在步驟1722，一個或多個處理器從數(shù)據(jù)庫檢索該位置的一個或多個圖像，并且在步驟1724使用模式識別來選擇與來自所述一個或多個面向前方的相機的圖像數(shù)據(jù)匹配的一個或多個圖像。在某些實施例，步驟1722和1724可由更強大的計算機(例如可訪問圖像數(shù)據(jù)庫的中樞12)來遠程地執(zhí)行。在步驟1726，基于GPS數(shù)據(jù)，一個或多個處理器確定面向前方圖像數(shù)據(jù)中一個或多個物體相對于該位置中一個或多個GPS跟蹤的物體1728的相對位置，并且在步驟1729基于所述一個或多個相對位置來確定用戶距所述一個或多個現(xiàn)實物體的位置。在諸如圖1A之類的某些實施例中，佩戴透視、近眼顯示器的個人13可處于其中計算機系統(tǒng)12或一個或多個計算機提供各物體在空間內(nèi)(例如教室)的三維映射的位置處。圖17C是用于生成用戶空間的三維模型的方法實施例的流程圖。在步驟1730，像中樞系統(tǒng)12之類的、帶有捕捉設(shè)備20A和20B的可訪問深度相機的計算機系統(tǒng)基于深度圖像創(chuàng)建空間的三維模型。深度圖像可來自多個視角并且可基于公共坐標空間(例如，商店空間)來組合，并且創(chuàng)建該空間的體積或三維描述。在步驟1732，在該空間中檢測物體。例如，可對深度圖像執(zhí)行邊緣檢測，以對物體(包括人)進行彼此區(qū)分。在步驟1734，計算機系統(tǒng)12標識一個或多個檢測到的物體，包括它們在該空間中的位置。物體還可基于形狀的比較以及模式識別技術(shù)來標識，模式識別技術(shù)包括使用來自圖像數(shù)據(jù)庫的物和人的參考圖像的面部識別技術(shù)。圖17D是用于基于傳輸給透視、混合現(xiàn)實顯示設(shè)備2的深度數(shù)據(jù)來標識用戶視野中的一個或多個物體的方法實施例的流程圖。在步驟1740，處理單元4將面向前方圖像數(shù)據(jù)發(fā)送給三維建模系統(tǒng)，諸如可通過在像通信上耦合到深度相機20A和20B的中樞計算系統(tǒng)12之類的計算機系統(tǒng)上執(zhí)行的深度圖像處理應(yīng)用來實現(xiàn)。來自定向傳感器132的數(shù)據(jù)可也被發(fā)送，用于標識面部或頭部位置。例如，當用戶進入教室，該教室處的計算機系統(tǒng)提供該教室的3D映射以及什么和誰在該教室里。在步驟1742，顯示設(shè)備2接收標識用戶視野中的一個或多個物體的數(shù)據(jù)，以及他們在空間的3D模型中的位置。來自一個或多個面向前方的相機113的圖像數(shù)據(jù)近似用戶視野，使得中樞系統(tǒng)12例如通過圖像識別或模式識別軟件來標識面向前方圖像數(shù)據(jù)中的該物體。定向數(shù)據(jù)也可與面向前方圖像數(shù)據(jù)一起使用，以細化用戶視野，并標識由計算機系統(tǒng)12跟蹤的、落入用戶視野內(nèi)的物體。(中樞系統(tǒng)12還在從兩個或更多相機113接收到面向前方圖像數(shù)據(jù)時調(diào)整(align)該面向前方圖像數(shù)據(jù)，以標識用戶視野。)在步驟1744中，處理單元4接收空間的3D模型中的用戶的位置，并且在步驟1746中，處理單元4、17或控制電路136的處理器210或這兩者基于空間的3D模型中用戶和一個或多個物體的位置來確定該一個或多個物體在用戶視野中的位置。在另一示例中，處理單元4、17接收如由計算機系統(tǒng)12確定的用戶和一個或多個物體的位置。圖17E是用于當面向前方的相機113是提供深度圖像數(shù)據(jù)的深度相機或具有用于提供深度數(shù)據(jù)(可與圖像數(shù)據(jù)結(jié)合以提供深度圖像數(shù)據(jù))的深度傳感器時，標識用戶視野中的一個或多個物體的方法實施例的流程圖。在步驟1710，顯示設(shè)備2的一個或多個處理器(例如，控制電路的處理器210、或處理單元4、5、或兩者)基于來自一個或多個面向前方的相機的深度圖像數(shù)據(jù)來標識用戶視野中一個或多個現(xiàn)實物體，包括它們的三維位置。除圖像數(shù)據(jù)之外，該一個或多個處理器還可基于來自定向傳感器132的定向數(shù)據(jù)來映射用戶視野。該一個或多個處理器執(zhí)行基于正在執(zhí)行的應(yīng)用來標識用戶視野中的虛擬物體位置的步驟1714，以及確定用戶視野中每一物體的三維位置的步驟1716。另外，遠程計算機系統(tǒng)12也可向用于執(zhí)行圖17E的步驟的其他處理器提供額外的處理能力。圖18的用于確定注視的方法實施例的流程圖。該過程是圖7的步驟702的一個實施例。注意，圖18的過程以及其變型可以用在本文描述的其他過程和過程的各部分中。在步驟1802，諸如處理單元4、控制電路136、或中樞計算系統(tǒng)12等中的一個或多個處理器單獨或結(jié)合地確定注視檢測坐標系的邊界。在步驟1804，基于所反射的包括閃光的眼睛數(shù)據(jù)來確定每一只眼睛的注視向量，并且在步驟1806，確定兩只眼睛的在三維(3D)用戶視野中的例如用戶正在觀看的事物等注視點。因為例如通過像圖17A-17E中的實施例等實施例對用戶視野中的物體的位置和身份進行了跟蹤，所以在步驟1808，標識在3D用戶視野中的注視點處的任何物體。在許多實施例中，三維用戶視野包括所顯示的虛擬物體和現(xiàn)實物體的實際直接視圖。術(shù)語物體包括人。圖18中的方法實施例(它將閃光數(shù)據(jù)用于檢測注視的其他方式)可以從眼睛的圖像數(shù)據(jù)中標識這樣的閃光。在使用IR照明器時，通常也使用IR圖像傳感器。前面的對本技術(shù)的詳細描述只是為了說明和描述。它不是為了詳盡的解釋或?qū)⒈炯夹g(shù)限制在所公開的準確的形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。所描述的實施例只是為了最好地說明本技術(shù)的原理以及其實際應(yīng)用，從而使精通本技術(shù)的其他人在各種實施例中最佳地利用本技術(shù)，適合于特定用途的各種修改也是可以的。本技術(shù)的范圍由所附的權(quán)利要求進行定義。
權(quán)利要求
1.一種方法，包括 監(jiān)視參與體驗的一個或多個人，所述監(jiān)視是基于來自一個或多個傳感器的傳感器數(shù)據(jù)的(150)； 分析所述監(jiān)視以確定如何增強所述體驗(152);以及 基于所述分析來增強所述體驗(154)，所述增強包括向所述一個或多個人所佩戴的至少一個透視頭戴式顯示器呈現(xiàn)信號。
2.如權(quán)利要求1所述的方法，其特征在于，所述監(jiān)視、所述分析和所述增強包括 使用所述傳感器中的至少一個來檢測教師的眼睛注視，所述至少一個傳感器是所述教師所佩戴的透視HMD的一部分； 確定所述教師在注視所述一個或多個人中的哪一個； 確定與所述教師在注視的那個人有關(guān)的信息；以及 將所述信息提供給所述教師所佩戴的透視HMD。
3.如權(quán)利要求2所述的方法，其特征在于，所述監(jiān)視、所述分析和所述提供包括 使用所述傳感器中的至少一個來收集與所述教師注視的人有關(guān)的生物測定信息； 基于所述生物測定信息來確定所述教師注視的人的成功、理解和/或注意力；以及 在所述教師所佩戴的透視HMD中報告所述教師注視的人的成功、理解和/或注意力。
4.如權(quán)利要求1所述的方法，其特征在于，所述監(jiān)視、所述分析和所述增強包括 跟蹤所述人中的第一個的求解問題的努力； 確定所述人的求解所述問題的努力的正確性；以及 在所述第一個人所佩戴的透視HMD中提供一個或多個圖像，以提供求解所述問題的幫助。
5.如權(quán)利要求1所述的方法，其特征在于，所述監(jiān)視、所述分析和所述增強包括 跟蹤所述人中的第一個的執(zhí)行任務(wù)或過程的努力； 確定反饋以改進所述任務(wù)或過程的表現(xiàn)；以及 將所述反饋提供給所述第一個人所佩戴的透視HMD。
6.如權(quán)利要求5所述的方法，其特征在于，所述反饋是全息圖像。
7.如權(quán)利要求1所述的方法，其特征在于，所述監(jiān)視、所述分析和所述增強包括 監(jiān)視所述人中的第一個的表現(xiàn)(1002)； 基于一組指導(dǎo)或模型來分析所述表現(xiàn)(1004);以及 在所述第一個人所佩戴的透視HMD中提供全息指導(dǎo)以改進該人的表現(xiàn)(1008)。
8.如權(quán)利要求1所述的方法，其特征在于，還包括 從數(shù)據(jù)存儲訪問所述一個或多個人中的第一個的簡檔，所述增強包括基于所述簡檔來為所述第一個人定制教育指導(dǎo)。
9.如權(quán)利要求1所述的方法，其特征在于，所述監(jiān)視、所述分析和所述增強包括 跟蹤所述一個或多個人中的第一個與其他人的交互(1602)； 為所述第一個人確定合適的提示以增強社交交互(1604);以及 在所述第一個人所佩戴的透視HMD上顯示所述提示(1606)。
10.一種用于增強教育或指導(dǎo)的系統(tǒng)，所述系統(tǒng)包括 處理器(310，420，532，601);以及耦合到所述處理器的處理器可讀存儲介質(zhì)(344，434，430，534，602，604，606，612，646)，所述處理器可讀存儲介質(zhì)上存儲有指令，所述指令在被所述處理器執(zhí)行時使得所述處理器 從至少一個頭戴式顯示器(2)接收傳感器數(shù)據(jù)； 基于所述傳感器數(shù)據(jù)來監(jiān)視一個或多個人； 分析 所述監(jiān)視以確定如何增強所述一個或多個人所參與的教育或指導(dǎo)體驗；以及 基于所述分析來提供用于增強所述教育或指導(dǎo)體驗的信號。
全文摘要
基于頭戴式顯示器的教育和指導(dǎo)。本發(fā)明公開的技術(shù)允許在教室設(shè)置中使用HMD。本發(fā)明公開的技術(shù)允許將HMD用于全息指導(dǎo)。在一個實施例中，HMD被用于社交輔導(dǎo)。用戶簡檔信息可被用來基于已知技能、學習風格、和/或特性來向特定用戶定制指導(dǎo)。基于傳感器數(shù)據(jù)來監(jiān)視一個或多個人。傳感器數(shù)據(jù)可來自HMD?？煞治鲈摫O(jiān)視以確定如何增強體驗。通過在一個或多個人所佩戴的至少一個頭戴式顯示器中呈現(xiàn)圖像來增強體驗。
文檔編號G02B27/01GK103064188SQ201210500618
公開日2013年4月24日 申請日期2012年11月29日 優(yōu)先權(quán)日2011年11月30日
發(fā)明者K·S·佩雷斯, K·A·蓋斯那, B·J·薩格登, D·J·麥卡洛克, J·克拉維 申請人:微軟公司