專利名稱：：使用動作及語音命令的主機應用程序的高級遠程控制的制作方法使用動作及語音命令的主機應用程序的高級遠程控制相關(guān)申請的交叉引用本申請要求于2010年9月20日提交的美國臨時申請?zhí)?1/384，586的權(quán)益。通過引用將以上一項或多項申請的全部教導結(jié)合在此。
背景技術(shù)：
：本申請涉及人類/計算機接口，更具體地涉及一種接受語音命令并跟蹤手勢和/或頭部運動的設(shè)備，以向如在本地或在遠程主計算機上執(zhí)行的軟件提供輸入。能夠存儲和顯示大量高分辨率計算機圖形信息甚至視頻內(nèi)容的小型便攜式電子設(shè)備繼續(xù)越來越受歡迎。這些智能電話設(shè)備(如AppleiPhone和GoogleAndroid電話)代表了移動電話、便攜式計算機和數(shù)字媒體播放器之間的融合的顯著趨勢。(iPhone是California的Cupertino的AppleComputer,Inc.的商標；Android是California的MountainView的Google,Inc.的商標。)雖然這些設(shè)備通常包括顯示屏,但是由于它們的物理尺寸的限制，高分辨率大幅面的顯示器的視覺體驗無法在此類設(shè)備中輕易地復制。因此，消費者現(xiàn)在追求一種高品質(zhì)、便攜式、彩色顯示器來加強他們的手持設(shè)備。一種此類設(shè)備是頭戴式眼鏡設(shè)備，其佩戴在用戶的臉部或頭部周圍，類似一副眼鏡或耳機。這些設(shè)備包括小型高分辨率微型顯示器和放大圖像的鏡頭。無線接口為此類設(shè)備提供了極大的便利性和移動性。該微型顯示器可以提供超級視頻圖形陣列(SVGA)(800X600)分辨率，或者甚至擴展圖形陣列(XGA)(1024X768)或更高的分辨率。如需有關(guān)此類顯示器的更多信息，請參閱于2009年I月5日提交的美國申請第12/348，648號的標題為“用于控制其他系統(tǒng)和設(shè)備的移動無線顯不軟件平臺(MobileWirelessDisplaySoftwarePlatformforControllingOtherSystemsandDevices)”以及于2009年3月27日提交的PCT國際申請第PCT/US09/38601號的標題為“具有適合用作移動互聯(lián)網(wǎng)設(shè)備的高分辨率顯示器的手持無線顯不設(shè)備(HandheldWirelessDisplayDevicesHavingHighResolutionDisplaySuitableforUseasMobileInternetDevice)”的共同未決的專利申請,其中每個文件的全部內(nèi)容通過引用結(jié)合于此。
發(fā)明內(nèi)容便攜式個人計算機有微型顯示器、輸入設(shè)備(如頭部跟蹤加速計)、一個或多個陀螺儀或檢測運動(如頭部運動、手部動作和/或姿勢)的攝像機、多個檢測語音命令的音頻處理電路。這些組合的輸入提供對在該設(shè)備本身上和/或在遠程主處理器上運行的一個或多個操作系統(tǒng)和/或一個或多個應用程序的控制。頭戴式顯示器(HMD)設(shè)備包括微型顯示器。在一個實施例中，用于顯示從本地處理器接收到的視覺信息。動作檢測器檢測用戶的頭部和/或身體部分的物理運動，以提供動作或姿勢輸入。麥克風提供音頻信號，該音頻信號被該本地處理器解釋為語音命令。該本地處理器將文字、圖形或其他用戶提示疊加到該微型顯示器上以指示將要激活某些命令的動作/姿勢/語音輸入。該處理器將這些語音、動作或姿勢輸入或其組合轉(zhuǎn)換成用戶命令。該用戶命令然后由操作系統(tǒng)或應用程序解釋，以改變顯示在該微型顯示器上的信息的多個方面。這可以包括該本地處理器已經(jīng)處理了該用戶命令的視覺或音頻確認。根據(jù)示例實施例的以下更具體的說明，上述內(nèi)容將是清楚的，如在這些附圖中展示的，其中貫穿這些不同的視圖，相同的附圖標記是指相同的部分。這些圖不一定是按比例繪出，而是著重展示實施例。圖1是高層次圖，示出了頭戴式顯示器(HMD)設(shè)備，以及使用手勢和/或頭部運動控制本地或遠程計算機的行動的人。圖2A是使用頭部條帶的實施例。圖2B示出了可選的攝像機元件。圖3是該設(shè)備及到主機的可選連接的高層次方框圖，展示了語音、手勢和頭部動作跟蹤命令是如何被翻譯的。圖4是該HMD設(shè)備的組件的更詳細的圖。圖5是到如MicrosoftWindows桌面上的示例軟件疊加，以向該用戶指示可用的頭部運動和語首命令。圖6是一組由一個或多個操作系統(tǒng)業(yè)務執(zhí)行的功能。圖7是這個或這些業(yè)務保持的示例表。圖8是示例滾動列表。圖9示出了用戶用頭部動作和語音輸入從多個桌面做出選擇。具體實施例方式下面是對示例實施例的說明。圖1示出了無線計算頭戴式耳機設(shè)備(HMD)100(也稱為視頻眼鏡設(shè)備100)，其結(jié)合了高分辨率(VGA或更好)微型顯示器元件和下面描述的其他特征。HMD設(shè)備100通常包括許多不同類型的集成電路，包括微型計算機(單核或多核)、一個或多個無線接口、相關(guān)聯(lián)的存儲器或其他存儲設(shè)備、一個或多個攝像機(光學傳感器)和/或各種傳感器。這些傳感器可以包括音頻輸入和/或輸出設(shè)備(如一個或多個麥克風輸入和一個或多個輸出揚聲器)，這些傳感器可以包括地理位置傳感的3軸至9軸自由度的定向傳感器(如數(shù)字磁強計)、大氣傳感器、健康狀況傳感器、GPS、數(shù)字羅盤、壓力傳感器、環(huán)境傳感器、能量傳感器、加速度傳感器、位置傳感器、姿態(tài)傳感器、動作傳感器、速度傳感器或光學傳感器、攝像機(可見光、紅外線等)。進一步的電路(如額外的無線電波、輔助照明、測距儀等等)和/或傳感器陣列可以嵌入在和/或附裝到該設(shè)備中。如“熱靴”(圖1中未示出)的一個或多個外圍底座也通常位于HMD100內(nèi)，用于安裝如攝像機或額外傳感器的可選附件。這個或這些攝像機、這個或這些動作傳感器和/或這個或這些傳感器用于在至少第一軸111(水平)但也優(yōu)選在第二軸(垂直)112、第三軸(深度)113、第四軸(斜角)114、第五軸(坡角)115及第六軸(偏航角)116跟蹤該用戶的頭部、手部和/或身體的動作和/或位置。設(shè)備100可以以各種方式使用。它可以用作完全包含的頭戴式全功能便攜式個人計算機/智能電話，通過短和/或長距離無線鏈路150(如藍牙、WiF1、蜂窩、LTE、WiMAX或其他無線電波)與外部計算機和網(wǎng)絡(luò)完全連接。設(shè)備100還可以用作由遠程主計算機200提供的視頻流信號的遠程顯示器。主機200可以是例如筆記本計算機、手機、Blackberry、iPhone或具有比視頻眼鏡設(shè)備100本身更小或更大的計算復雜度的其他計算設(shè)備。然后，主機200向設(shè)備100提供將要顯示的信息。設(shè)備100與主機200通過如由藍牙、WiF1、蜂窩、LTE、WiMax或其他無線電波鏈路150提供的一個或多個合適的無線連接進行連接。主機200本身可以進一步連接到其他網(wǎng)絡(luò)，如通過有線或無線連接連接到互聯(lián)網(wǎng)210。設(shè)備100還可以用作主機200的遙控器。包含在HMD100中的各種音頻輸入設(shè)備和動作傳感器和/或一個或多個攝像機可以允許用戶在虛擬顯示器400所定義的更大的區(qū)域內(nèi)選擇視野300，該虛擬顯示器由設(shè)備100本地的處理器和/或由主機200內(nèi)部的處理器提供。例如，該用戶通常可以使用頭部運動或手部運動或身體姿勢或以其他方式(如用語音輸入)控制該更大的虛擬顯示區(qū)域400的視野300的位置、范圍(例如X-Y或3D范圍)和/或放大率。因此，無線計算耳機設(shè)備100可以對來自這些外設(shè)的輸入做出響應，并將其處理以例如平移、縮放改變視野300，并控制虛擬顯示器400的其他方面，如視野300的位置、范圍(例如X-Y或3D范圍)和/或放大率。如將在下面更詳細說明的，語音、動作和姿勢輸入還可以控制該微型顯示器上信息呈現(xiàn)的進一步的方面，或者甚至顯示哪些信息。雖然圖1中所示的內(nèi)容是單眼微型顯示器，展示出用懸臂式吊桿將單一的固定顯示元件支撐在該用戶的臉部，但是應該理解的是，各種視頻眼鏡設(shè)備100的其他機械配置也是可能的。圖2是透視圖，示出了HMD設(shè)備100的更多細節(jié)。設(shè)備100通常包括框架1000、條帶1002、背部1004、揚聲器1006、懸臂或臂1008以及微型顯示器子組件1010。在設(shè)備100相對懸臂1008的一側(cè)上是外圍端口1020。外圍端口1020提供了到一個或多個外圍設(shè)備的相應連接，這樣用戶就可以將各種附件可移除地附裝到設(shè)備100。示例端口1020提供了機械和電氣配件底座，如熱靴。接線將電信號從端口1020穿過例如背部1004傳遞到安置在其中的電路。熱靴1020可以很像攝像機上的熱靴一樣操作，自動提供連接從而為該配件供電并且傳遞來自設(shè)備100外圍揚聲器1031的其余部分的信號并向其傳遞信號。因此可以與端口1020—起使用各種類型的配件以向該系統(tǒng)提供手部運動、頭部運動和/或語音輸入，例如但并不限于麥克風、位置、定向及其他先前描述的傳感器、攝像機等等。圖2B是戴在用戶頭部的HMD設(shè)備100的視圖，其中配件1060已經(jīng)放置在熱靴端口1020中。此配件1060是自包含的攝像機(或其他動作傳感器)組件。攝像機1060可以在類似“子彈凸輪”的程序包中包括音頻和視頻傳感和記錄兩個能力。它可以通過背部1004中的內(nèi)置接線連接到設(shè)備100中的其余組件(如在前面描述的揚聲器的情況)，或者可以通過Bluetooth或WiFi連接進行無線連接。攝像機1060可以不一定是視頻攝像機，還可以檢測紅外線、紫外線或其他波長。攝像機1060還可以包括用戶可調(diào)節(jié)的輔助光源。使用該光源，攝像機1060還可以根據(jù)需要用作手電筒，而無需激活該攝像機部分。該攝像機、到設(shè)備100的動作跟蹤和音頻輸入被以各種方式解釋為用戶命令，以控制該本地處理器、微型顯示器或外部主機200的操作。頭部運動跟蹤和/或語音命令還可以由用戶1050提供以操縱攝像機1060的設(shè)置。例如，用戶語音命令(如“縮放”或“平移”)可以由該本地處理器識別并導致攝像機1060拉近或長焦。攝像機1060還可以通過利用該3軸直到9軸自由度的位置傳感器具有內(nèi)置的圖像穩(wěn)定化系統(tǒng)和/或運動跟蹤解決方案，以便設(shè)備100中的軟件或附裝的外圍設(shè)備可以通過檢測到的運動校正傳入視頻饋送中的微弱振動的頭部運動或微弱的攝像機運動，尤其是當攝像機圖像被放大時。在此配置中，設(shè)備100還可以比單獨由攝像機1060實際上捕獲的更高的幀速率操作。此類攝像機1060外設(shè)存在眾多應用。例如，它可以放置在老年人的頭部，然后設(shè)備100可以識別和校正由于通常隨著年齡增加的人類自然穩(wěn)定性顫動而導致的他們頭部運動中的振動。這可以有助于當該用戶正在設(shè)備100上查看該微型顯示器時光標移動的準確性，或校正當在粗糙的表面上、在惡劣天氣中或在惡劣的環(huán)境中(如土路)乘坐移動車輛或運輸工具時使用設(shè)備100時的動作，從而校正顯示器1010上的視圖的振動，并再次提供對光標移動的更好的控制。圖3是方框圖，示出了HMD100、可選主機200及它們之間行進的數(shù)據(jù)的更多細節(jié)。HMD100通過麥克風接收音頻信號輸入，通過位置和定向傳感器、攝像機或一個或多個光學傳感器接收手部運動或身體姿勢，并通過頭部跟蹤電路(如3軸至9軸自由度定向傳感器)接收頭部運動輸入。這些內(nèi)容由設(shè)備100本地的處理器中的軟件翻譯成鍵盤和/或鼠標命令。然后，這些命令可由HMD100內(nèi)部的處理器解釋，以控制該微型顯示器上的信息呈現(xiàn)的多個方面。這些命令還可以通過藍牙或其他無線接口150被發(fā)送到主機200。然后，主機200按照其自己的操作系統(tǒng)/應用軟件解釋這些已翻譯的命令以執(zhí)行各種功能和/或向設(shè)備100返回信息。在這些可以在該本地處理器和/或遠程主機200上執(zhí)行的命令中有用于在該虛擬顯示器內(nèi)選擇視野300的命令。因此，應當理解的是，非常大幅面的虛擬顯示區(qū)域可能與HMD100或主機200上運行的操作系統(tǒng)或應用軟件相關(guān)聯(lián)。然而，只有視野300內(nèi)的該大虛擬顯示區(qū)域的一部分被返回并實際由遠程控制顯示設(shè)備100顯示，如語音、手勢或頭部動作命令所選擇的。例如，該虛擬顯示區(qū)域可以包括美國的詳細地圖。用戶可能在該微型顯示器上首先看到整個美國區(qū)域，盡管以降低的分辨率。視野最初可能以低放大率集中在中心位置，如在Kansas的Lawrence。然后,該用戶移動他的頭部或做出手勢以查看特別感興趣的區(qū)域(如Seattle、Washington)的更多細節(jié)。該手勢可以是斜掃動作。該頭部運動可以是向左然后向上或者可以是直線斜向運動到新的感興趣的區(qū)域。用相應的語音命令(如“放大”)，所展示的虛擬顯示區(qū)域然后被放大以在該微型顯示器上看到Seattle周圍地區(qū)的更多細節(jié)。圖4是HMD系統(tǒng)100的非限制性示例實施例的簡化的高層次方框圖。系統(tǒng)電子元件可以放在該框架上或該框架中的適當位置(如背部1004)，并且包括開放式媒體應用平臺(OMAP)作為本地處理器4110、電源/音頻同伴芯片(companionchip)4102、顯示器驅(qū)動器4104、頭部跟蹤器電路板4106以及無線LAN/藍牙接口4108。該殼體中還設(shè)置有電源，例如鋰離子電池4200。HMD設(shè)備100還可以包括眼容器(eyepod)組件4000，其包括上述微型顯示器4010(例如，圖2A的微型顯示器1010和吊桿1008)，及一個或多個麥克風4020。一個或多個揚聲器4030被放置在靠近用戶耳朵的HMD殼體聽筒中(圖2A中的項目1006)。頭部跟蹤器電路4106可以包括使用霍爾效應傳感器、MIM二極管、加速計、陀螺儀和/或變頻器或其他上述傳感器確定由設(shè)備100中的傳感器檢測到的頭部運動和姿勢的電路，如沿著或繞著X軸、Y軸和Z軸的橫向運動及旋轉(zhuǎn)姿勢。HMD系統(tǒng)100還可以接收來自外部輸入設(shè)備(如無線鼠標、軌跡球或可以通過藍牙接口4108無線連接的鍵盤)的輸入。WLAN/BT前端4108、OMAP4100和/或主機200中的軟件可以用于解釋該攝像機或其他傳感器檢測到的手勢。攝像機板4060同樣可以任選地提供視頻輸入。OMAP處理器4100可包括中央處理單元，以及可能包括非易失性存儲器和/或只讀存儲器(ROM)的片上存儲器，如隨機存取存儲器(RAM)。該OMAP可以是由TexasInstruments,Inc.銷售并使用多媒體處理器的TexasInstruments型號OMAP3530的處理器或更新版本。OMAP4100通?？梢詧?zhí)行嵌入式系統(tǒng)，如操作MicrosoftWindows的特定版本。OMAP4100通常是比WLAN/BT接口4108更強大、更耗電的處理器。在此示例中，也是從TexasInstruments可得的TPS65950電源/音頻同伴芯片向該系統(tǒng)提供了音頻、USB、鍵盤控制和電池充電功能。WLAN/BT接口4108可以是型號LBEE1W8的NEC接口電路、從UnitedKingdom的Cambridge的CDRLtd.可得的藍牙電路或其他具有類似或更強功能的無線電模塊。該顯不器驅(qū)動器可以是從Massachusetts的Westborough的KopinCorporation可得的型號K⑶-A910的顯不器驅(qū)動器。也是從Kopin可得的微型顯示器4010可以包括型號113LV、152LV、230LV、WQVGA或其他制造商可接受的微型顯示器。NCS模塊4400處理接收到的麥克風信號，以提供語音識別功能并向音頻同伴芯片4102產(chǎn)生音頻信號并從此處發(fā)送到OMAP處理器4100。在實施例中，OMAP處理器4100被設(shè)計成以“左眼”或“右眼”定向運行。如果標準配置是運行“右眼”，則當使用左眼運行時，該軟件必須考慮到該顯示屏現(xiàn)在物理上旋轉(zhuǎn)了180度。這意味著該軟件必須還能夠“倒置”運行。該屏幕可能能夠用口頭命令或鼠標點擊被手動“翻轉(zhuǎn)”倒置。可替代地，可以產(chǎn)生硬件信號以允許該處理器檢測屏幕翻轉(zhuǎn)，并且由此在軟件(即硬件陀螺儀、加速計或開關(guān)等)中導致相同結(jié)果。圖5展示了實現(xiàn)為HMD100的一部分的一個特征。此處，該HMD設(shè)備將軟件疊加器強加于該用戶的信息呈現(xiàn)上。該疊加器添加了與口頭命令、手勢或頭部運動相關(guān)聯(lián)的圖形圖像和/或文本，該口頭命令、手勢或頭部運動是在該屏幕上啟動由圖標、按鈕、滑動條、下拉列表或其他物體指示的行動所需的。這些疊加器由用戶的Windows桌面上的圖標旁邊的方框中的文本示出。在此示例中，該疊加器向該用戶指示口頭命令(如“Excel”或“Word”)將因此激活相應的MicrosoftOffice程序。手部擺動的姿勢將激活AdobeAerobat程序。并且頭部向上傾斜并擺動的姿勢的組合將打開“新建”文件夾。應當理解的是，圖5僅是示例，并且這些疊加器可以應用到各種應用程序、菜單、對話框、滾動列表、操作系統(tǒng)桌面/命令或其他該系統(tǒng)要捕獲用戶鍵盤或鼠標姿勢或命令的地方中。成功識別命令時，HMD設(shè)備100可以播放音頻樣本(蜂鳴聲)以向該用戶指示成功識別。設(shè)備100還可以在很短的持續(xù)時間(I秒)內(nèi)在該屏幕的中心顯示所識別的單詞，以再次向該用戶反饋HMD設(shè)備100正確識別了所說的內(nèi)容?，F(xiàn)在結(jié)合圖6和圖7描述這些疊加特征的示例實現(xiàn)方式。該軟件疊加器可被實現(xiàn)為用戶界面業(yè)務或在例如OMAP處理器4100上執(zhí)行的MicrosoftWindows嵌入式操作系統(tǒng)下運行的業(yè)務。這些業(yè)務提供了許多功能，如在圖6中列出的。第一步6100是詢問用戶桌面的狀態(tài)，以確定所顯示的任何圖標。接著，在6102，與所顯示的圖標相關(guān)聯(lián)的疊加文本然后被確定。作為此狀態(tài)6102的一部分，可查閱如在圖7中所示的表。該表將圖標(如在最左邊的欄中所示)與疊加文本相關(guān)聯(lián)。對于定位的任何疊加文本，在狀態(tài)6104下在與每個相關(guān)聯(lián)的圖標相鄰的桌面上生成圖標置加。在狀態(tài)6106下，這個或這些業(yè)務然后等待檢測任何語音、姿勢或動作輸入。然后在6108，再次在該表中找到這些檢測到的輸入。接著在6110，然后激活與該檢測到的輸入相關(guān)聯(lián)的行動或采取其他行動。例如，如果在桌面上檢測到標有“新建文件夾”的文件夾，在此類圖標旁邊顯示了該疊加文本“傾斜加擺動”。然后，這個或這些業(yè)務等待檢測該頭部跟蹤器的動作與該姿勢檢測器檢測到的手部擺動動作的組合。一旦發(fā)生這種現(xiàn)象，則采取行動打開該新文件夾，即在該桌面上激活該圖標。應當理解的是，不管疊加文本和/或圖標與該桌面是否相關(guān)聯(lián)，都可以采取行動。如圖7的表中所示，作為示例，可以檢測到口頭“關(guān)閉窗口”的命令，引起關(guān)閉活動窗口的行動。在另一個示例中，該頭部跟蹤器檢測到的頭部向上的動作可以引起滾動條在向上的方向上滾動。另一個行動(如手部滑動)可以引起一系列桌面中的下一個桌面的選擇。用采取的類似行動和圖7的表的編程，可以實現(xiàn)其他特征。一個特征是在完成菜單命令后協(xié)助該用戶。該用戶通過頭部動作、手勢和/或口頭語言輸入了菜單命令后，該疊加菜單然后可能消失，允許再次查看相關(guān)信息?？商娲?，這些“彈出”窗口元素都可以有自動關(guān)閉特征。這意味著，如果該用戶尚未在該窗口中選擇任何命令，所有此類窗口都將在特定的持續(xù)時間后(即10秒等)關(guān)閉自己。以此方式，(其中用戶否則一般用鼠標在對話框上單擊“關(guān)閉”、“確定”或“取消”)，消除了進一步輸入的需要。用鼠標或語音輸入說出“關(guān)閉”、“確認”等來手動關(guān)閉窗口仍然是可用的。在一些實施例中，要幫助該用戶，這些自動關(guān)閉窗口可以顯示定時器倒計時以指示該窗口還要多長時間就會自動關(guān)閉。這些頭部動作跟蹤和手勢輸入還可以控制其他特征，如滾動列表。許多用戶界面元素利用滾動列表的概念，即大于該屏幕或用戶界面元素本身的可選項目的列表。此類滾動列表的示例是如圖8中所示，其中該用戶被要求從數(shù)據(jù)庫應用程序中選擇特定的字段進行編輯。然而，有很多其他示例，如下拉菜單、媒體播放列表(如Apple的iTunes)及此特征可以幫助的類似物。這些項目列表通常是向上和向下(或左/右)滾動的，使用滾動條、鼠標移動或在典型筆記本電腦中的觸摸板或觸摸屏的“滑動”姿勢。然而，此處人們可以使用HMD設(shè)備100的頭部跟蹤輸入來操作這些用戶界面元素:例如，左/右或上/下的頭部移動可以導致滾動該列表或選擇其他列表。這些運動可以與以下口頭命令相結(jié)合，以在該列表中選擇項目(例如，“點擊”或“選擇”)。圖9展示了另一種實現(xiàn)方式，用于說明這些頭部跟蹤和/或語音輸入如何可以用來操作多個桌面和/或運行的應用程序。此處，可以在OMAP4100或主機200上執(zhí)行的操作系統(tǒng)內(nèi)配置多個桌面屏幕，并使用頭部運動和/或語音命令導航。每個桌面都可被配置成在同一時間運行不同的應用程序。例如，可以使用第一桌面運行占用整個屏幕的圖片查看應用程序。要看電影，該用戶可以發(fā)出“新桌面”口頭命令，并且然后從該新桌面中選擇觀看電影的應用程序。這則允許在該當前窗口中觀看電影。然而，該圖片查看應用程序仍然在運行但不可見。該用戶可以通過發(fā)出切換可視桌面(“去桌面I”)的適當命令來切換到該圖片查看應用程序，或通過向左、右、上或下移動頭部在打開的桌面間四處移動。因此，該用戶能夠快速瀏覽所有打開的桌面及其正在運行的應用程序。應當理解的是，由HMD設(shè)備100執(zhí)行的功能中的一個或多個還可以以其他形狀因素實現(xiàn)，如其他類型的手提外殼。在此引用的所有專利、公開申請以及參考文獻的教導都通過引用以其全部內(nèi)容結(jié)合在此。雖然已經(jīng)參考其示例實施例具體地展示和說明了本發(fā)明，但是本領(lǐng)域普通技術(shù)人員應當理解的是，在不偏離由所附權(quán)利要求所包括的本發(fā)明的范圍的情況下，其中可以在形式和細節(jié)方面進行多種改變。權(quán)利要求1.一種手提設(shè)備，包括:微型顯示器，用于顯示從本地處理器接收到的視覺信息；動作檢測器，用于檢測用戶的身體部分的物理運動，并且提供動作或姿勢輸入；以及位于所述手提設(shè)備中的所述本地處理器，并且進一步包括:收發(fā)器，用于接收所述動作或姿勢輸入；翻譯器，用于將所述動作或姿勢輸入翻譯成用戶命令；疊加器，用于生成依賴于一個或多個可能的動作或姿勢輸入的信息疊加；顯示器控制器，用于轉(zhuǎn)發(fā)將要在所述微型顯示器上包括在所述信息疊加處顯示的信肩、O2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述手提設(shè)備是頭戴式顯示器(HMD)設(shè)備。3.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述將要顯示的信息進一步包括所述本地處理器已經(jīng)處理了所述用戶命令的視覺或音頻確認。4.根據(jù)權(quán)利要求1所述的設(shè)備，進一步包括:無線通信接口，用于向主處理器轉(zhuǎn)發(fā)所述用戶命令，并且用于從所述主處理器接收應答。全文摘要一種頭戴式微型顯示器(HMD)設(shè)備，該設(shè)備使用手部、身體、頭部運動或姿勢及語音命令來控制與本地處理器或主計算機的相互作用。該本地處理器將信息疊加到諸如操作系統(tǒng)桌面或應用程序菜單上，該信息指示激活相關(guān)聯(lián)行動所需的動作、姿勢和/或語音輸入。文檔編號G06F3/01GK103180800SQ201180050790公開日2013年6月26日申請日期2011年9月19日優(yōu)先權(quán)日2010年9月20日發(fā)明者J·J·雅各布森,C·帕金森,S·A·波姆博申請人:寇平公司