本發(fā)明涉及虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)領(lǐng)域，特別是一種多vr/ar設(shè)備協(xié)同系統(tǒng)及協(xié)同方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(virtualreality，vr)技術(shù)是近年來出現(xiàn)的圖形圖像領(lǐng)域的高新技術(shù)。虛擬現(xiàn)實(shí)是利用電腦等信息處理設(shè)備模擬產(chǎn)生一個(gè)三維空間的虛擬世界，提供用戶關(guān)于視覺、聽覺、觸覺等感官的模擬，讓用戶如同身歷其境一般，可以及時(shí)、沒有限制地觀察三維空間內(nèi)的事物。

隨著360度攝像機(jī)的興起，開發(fā)vr在交互體驗(yàn)中的應(yīng)用的門檻越來越低。但是，vr應(yīng)用的開發(fā)目前仍集中在高利潤的游戲及娛樂上，且基本為單機(jī)作業(yè)。本發(fā)明人不滿足于這種僅僅應(yīng)用于個(gè)人的開發(fā)方向，希望將vr/ar技術(shù)應(yīng)用于更廣泛的領(lǐng)域。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明人提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，突破了單機(jī)的局限性。而且，由于實(shí)現(xiàn)了多vr/ar設(shè)備協(xié)同，增加了系統(tǒng)的社交屬性和協(xié)同工作的屬性，因而可以滿足更廣泛的需求。

根據(jù)本發(fā)明的第一方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器和多個(gè)vr/ar終端系統(tǒng)，所述vr/ar終端系統(tǒng)包括：

vr/ar顯示裝置和定位裝置，用于顯示vr或ar圖像，并且接收和/或發(fā)送信息，所述vr/ar顯示裝置和定位裝置可以集成在一起或是由多個(gè)部件配合而成；

通信接口；

處理硬件，其耦合到所述通信接口，所述處理硬件配置為：

接收所述vr定位裝置發(fā)送的位置和動作信息，并上傳至服務(wù)器；

從服務(wù)器下載其他vr/ar終端系統(tǒng)的位置和動作信息以及圖像內(nèi)容，并發(fā)送給所述vr/ar顯示裝置。

優(yōu)選的，其中所述vr/ar終端系統(tǒng)還包括采集裝置，所述采集裝置包括音頻采集裝置和/或視頻采集裝置。

優(yōu)選的，其中處理硬件配置為接收所述采集裝置采集信息，并上傳至服務(wù)器；

從服務(wù)器下載其他vr/ar終端系統(tǒng)的上傳的采集信息，并發(fā)送給所述vr顯示裝置。

根據(jù)本發(fā)明的第二方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、至少一個(gè)vr/ar終端系統(tǒng)、和至少一種采集設(shè)備，

所述vr/ar終端系統(tǒng)包括：

vr/ar顯示裝置和定位裝置，用于顯示vr或ar圖像，并且接收和/或發(fā)送信息，所述vr/ar顯示裝置和定位裝置可以集成在一起或是由多個(gè)部件配合而成；

通信接口；

處理硬件，其耦合到所述通信接口，所述處理硬件配置為：

從服務(wù)器下載所述采集設(shè)備傳送的信息及圖像內(nèi)容，并發(fā)送給所述vr顯示裝置，

接收所述vr定位裝置發(fā)送的位置和動作信息，并上傳至服務(wù)器。

優(yōu)選的，其中所述采集設(shè)備包括三維掃描設(shè)備、視頻采集設(shè)備、音頻采集設(shè)備、位置采集設(shè)備中的一種或多種。

優(yōu)選的，其中所述系統(tǒng)還包括操作裝置，其可以接收vr終端系統(tǒng)的指令。

優(yōu)選的，其中所述操作裝置和采集設(shè)備與vr/ar定位裝置同步。

根據(jù)本發(fā)明的第三方面，提供一種多vr/ar設(shè)備協(xié)同方法，其包括：

s110驗(yàn)證各個(gè)vr/ar終端系統(tǒng)發(fā)送的身份信息；

s120確定各個(gè)vr/ar終端系統(tǒng)的同步頻道；

s130接收同一同步頻道的各個(gè)vr/ar終端系統(tǒng)發(fā)送的定位和動作信息；

s140向同一同步頻道的各個(gè)vr/ar終端系統(tǒng)發(fā)送該頻道內(nèi)其他vr終端系統(tǒng)的定位和動作信息。

優(yōu)選的，其中所述方法還包括驗(yàn)證其他登錄設(shè)備的身份信息，確定各設(shè)備的同步頻道，將該設(shè)備的定位和動作信息發(fā)送給該頻道內(nèi)其他vr終端系統(tǒng)，并將其他vr/ar終端系統(tǒng)的指令發(fā)送給該設(shè)備。

優(yōu)選的，其中所述方法還包括傳送音頻、視頻、圖片、空間結(jié)構(gòu)信息中的一種或多種。

根據(jù)本發(fā)明的第四方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、第一vr/ar終端、第二vr/ar終端和至少一種采集設(shè)備，

所述第一vr/ar終端將其位置信息、動作信息實(shí)時(shí)上傳到服務(wù)器，

所述第二vr/ar終端將其位置信息、動作信息實(shí)時(shí)上傳到服務(wù)器，

所述服務(wù)器整合第一vr/ar終端和第二vr/ar終端的數(shù)據(jù)，并將整合后的第一vr/ar終端的數(shù)據(jù)傳輸給所述第二vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，所述采集設(shè)備與第一vr/ar終端在同一空間內(nèi)，所述第二vr/ar終端在另一空間內(nèi)。

優(yōu)選地，所述第一vr/ar終端、第二vr/ar終端和至少一種采集設(shè)備通過無線通訊元件與服務(wù)器實(shí)現(xiàn)數(shù)據(jù)傳輸。

優(yōu)選地，所述無線通訊元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、藍(lán)牙、紅外、wpan、uwb、等。

優(yōu)選地，所述采集設(shè)備包括但不限于圖像采集設(shè)備、音頻采集設(shè)備、溫度傳感器、濕度傳感器、壓力傳感器、紅外傳感器、氣體傳感器等。

在本發(fā)明的一些實(shí)施方式中，所述服務(wù)器還將整合后的第二vr/ar終端的數(shù)據(jù)傳輸給所述第一vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，所述第二vr/ar終端可將指令上傳到服務(wù)器中，通過服務(wù)器，將指令顯示在第一vr/ar終端上。

在本發(fā)明的一些實(shí)施方式中，所述第二vr/ar終端可將指令上傳到服務(wù)器中，通過服務(wù)器，將指令傳遞到采集設(shè)備上。

優(yōu)選地，所述采集設(shè)備將采集的數(shù)據(jù)上傳至服務(wù)器，與第一vr/ar終端和/或第二vr/ar終端共享。

所述vr/ar終端選自頭戴式顯示設(shè)備、智能手機(jī)、或平板電腦中的一種或多種。

在本發(fā)明的一些實(shí)施方式中，所述系統(tǒng)還包括操作裝置，所述操作裝置與所述至少一種采集設(shè)備在同一空間，所述操作裝置的定位和動作信息數(shù)據(jù)也上傳至服務(wù)器。

優(yōu)選地，所述服務(wù)器將所述操作裝置的數(shù)據(jù)與所述至少一種采集設(shè)備整合，并將整合后的操作裝置的數(shù)據(jù)傳輸給所述第二vr/ar終端。

所述操作裝置為可遠(yuǎn)程控制的執(zhí)行一定功能的裝置，例如無人機(jī)、機(jī)器人、機(jī)械手等。

根據(jù)本發(fā)明的第五方面，提供一種多vr/ar設(shè)備協(xié)同系統(tǒng)，其包括：服務(wù)器、vr/ar終端、至少一種采集設(shè)備，和操作裝置，其中所述至少一種采集設(shè)備和操作裝置在同一空間內(nèi)，所述vr/ar終端在另一空間內(nèi)；

所述vr/ar終端將其位置信息、動作信息實(shí)時(shí)上傳到服務(wù)器，

所述至少一種采集設(shè)備和操作裝置將其位置信息、動作信息實(shí)時(shí)上傳到服務(wù)器，

所述服務(wù)器整合所述vr/ar終端和所述至少一種采集設(shè)備和操作裝置的數(shù)據(jù)，并將整合后的所述至少一種采集設(shè)備和操作裝置的數(shù)據(jù)傳輸給所述vr/ar終端。

所述操作裝置為可遠(yuǎn)程控制的執(zhí)行一定功能的裝置，例如無人機(jī)、機(jī)器人、機(jī)械手等。

優(yōu)選地，所述vr/ar終端、至少一種采集設(shè)備和所述操作裝置通過無線通訊元件與服務(wù)器實(shí)現(xiàn)數(shù)據(jù)傳輸。

優(yōu)選地，所述無線通訊元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、藍(lán)牙、紅外、wpan、uwb、等。

優(yōu)選地，所述采集設(shè)備包括但不限于圖像采集設(shè)備、音頻采集設(shè)備、溫度傳感器、濕度傳感器、壓力傳感器、紅外傳感器、氣體傳感器等。

在本發(fā)明的一些實(shí)施方式中，所述vr/ar終端可將指令上傳到服務(wù)器中，通過服務(wù)器，將指令傳達(dá)給所述操作裝置和/或所述至少一種采集設(shè)備。

優(yōu)選地，所述采集設(shè)備將采集的數(shù)據(jù)上傳至服務(wù)器，與所述操作裝置和/或所述操作裝置共享。

所述vr/ar終端包括頭戴式顯示設(shè)備、智能手機(jī)、或平板電腦。

優(yōu)選地，所述服務(wù)器將所述操作裝置的數(shù)據(jù)與所述至少一種采集設(shè)備整合，并將整合后的操作裝置的數(shù)據(jù)傳輸給所述vr/ar終端。

根據(jù)本發(fā)明的第六方面，本發(fā)明提供一種多vr/ar設(shè)備協(xié)同方法，其包括：

s210驗(yàn)證第一vr/ar終端和第二系統(tǒng)vr/ar終端向服務(wù)器發(fā)送的身份信息；

s220將第一vr/ar終端和第二系統(tǒng)vr/ar終端分配于同一同步頻道；

s230接收第一vr/ar終端和第二系統(tǒng)vr/ar終端發(fā)送的定位和動作信息數(shù)據(jù)；

s240將第一vr/ar終端和第二系統(tǒng)vr/ar終端發(fā)送的定位和動作信息數(shù)據(jù)整合，并將整合后的第一vr/ar終端的數(shù)據(jù)傳輸給所述第二vr/ar終端。

在本發(fā)明的一些實(shí)施方式中，還將整合后的第二vr/ar終端的數(shù)據(jù)傳輸給所述第一vr/ar終端。

優(yōu)選地，所述方法還包括將至少一種采集設(shè)備與第一vr/ar終端和第二系統(tǒng)vr/ar終端分配到同一同步頻道。

優(yōu)選地，所述方法還包括將操作裝置與第一vr/ar終端和第二系統(tǒng)vr/ar終端分配到同一同步頻道。

優(yōu)選的，其中所述方法還包括傳送音頻、視頻、圖片、空間結(jié)構(gòu)信息中的一種或多種。

優(yōu)選地，在本方法中，通過vr/ar控制所述至少一種采集設(shè)備和/或所述操作裝置。

所述采集設(shè)備用于圖像采集、溫度數(shù)據(jù)采集、濕度數(shù)據(jù)采集、泄漏檢測、煙霧檢測、紅外檢測中的一種或多種。

優(yōu)選地，通過vr/ar終端控制攝像頭的采集方向。

優(yōu)選地，通過檢測vr/ar終端的顯示設(shè)備的轉(zhuǎn)動，控制攝像頭的采集方向。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備可搭載在可移動載體上。

優(yōu)選地，所述可移動的載體為無人機(jī)、滑車、可移動機(jī)器人、遙控汽車中的一種或多種。

優(yōu)選地，通過vr/ar終端控制所述可移動的載體，所述可移動載體的定位和動作信息數(shù)據(jù)經(jīng)過服務(wù)器整合，發(fā)送到vr/ar終端，vr/ar終端發(fā)出的指令通過服務(wù)器發(fā)送到可移動載體。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備采集的數(shù)據(jù)實(shí)時(shí)傳送到服務(wù)器。

在本發(fā)明的一些實(shí)施方式中，所述至少一種采集設(shè)備采集的數(shù)據(jù)在設(shè)備端進(jìn)行處理。

可選地，所述服務(wù)器為云端服務(wù)器。

附圖說明

下面將通過參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例，使本領(lǐng)域的普通技術(shù)人員更清楚本發(fā)明的上述及其它特征和優(yōu)點(diǎn)，附圖中：

圖1是根據(jù)本發(fā)明的一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

圖2是根據(jù)本發(fā)明的另一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

圖3是根據(jù)本發(fā)明的又一些實(shí)施方式的多vr/ar設(shè)備協(xié)同系統(tǒng)示意圖。

具體實(shí)施方式

在下文的描述中，給出了大量具體的細(xì)節(jié)以便提供對本發(fā)明更為徹底的理解。然而，對于本領(lǐng)域技術(shù)人員來說顯而易見的是，本發(fā)明可以無需一個(gè)或多個(gè)這些細(xì)節(jié)而得以實(shí)施。在其他的例子中，為了避免與本發(fā)明發(fā)生混淆，對于本領(lǐng)域公知的一些技術(shù)特征未進(jìn)行描述。

vr終端系統(tǒng)可以是各種類型的可以獨(dú)立完成vr或ar或者mr功能的設(shè)備，服務(wù)器可以是用于通過網(wǎng)絡(luò)提供各種資源的服務(wù)器。

vr終端系統(tǒng)和服務(wù)器可被稱為各種其它名稱，諸如本地裝置、遠(yuǎn)程裝置、計(jì)算機(jī)機(jī)器、計(jì)算機(jī)系統(tǒng)等。在下文中，裝置通常被稱為vr終端系統(tǒng)和服務(wù)器。

vr終端系統(tǒng)包括虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備，簡稱vr頭顯，是一種利用頭戴式顯示設(shè)備將人的對外界的視覺、聽覺封閉，引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺。其顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。目前可采購oculus、htcvive、sony等公司提供的頭顯設(shè)備。

理論上，vr終端系統(tǒng)也可以作為ar終端系統(tǒng)使用，區(qū)別僅在于顯示的內(nèi)容是全部由人工虛擬的，還是在現(xiàn)實(shí)場景上疊加的。這個(gè)問題，本領(lǐng)域技術(shù)人員很容易理解而無需糾結(jié)任何具體的概念。ar終端系統(tǒng)可以采購microsoft出品的hololens。本文中的ar也包括mr，因?yàn)槟壳霸诩夹g(shù)上并沒有嚴(yán)格的區(qū)分。

在本發(fā)明的一些實(shí)施方式中，vr終端系統(tǒng)還可包括用戶接口、裝置管理器、連接管理器、虛擬總線驅(qū)動器、虛擬裝置驅(qū)動器、一個(gè)或更多應(yīng)用等。

虛擬裝置驅(qū)動器可包括例如虛擬圖形驅(qū)動器、虛擬聲音驅(qū)動器、虛擬相機(jī)驅(qū)動器等。前述構(gòu)成元件中的至少一個(gè)可被包括在vr終端系統(tǒng)中所包括的通信模塊和用于控制通信模塊的處理器中。

服務(wù)器可包括用戶接口、裝置管理器、連接管理器、總線驅(qū)動器、裝置驅(qū)動器、虛擬裝置驅(qū)動器配置信息等。

裝置驅(qū)動器可包括例如圖形驅(qū)動器、聲音驅(qū)動器、相機(jī)驅(qū)動器等。前述構(gòu)成元件中的至少一個(gè)可被包括在服務(wù)器中所包括的通信模塊和用于控制通信模塊的處理器中。

裝置驅(qū)動器可被稱為真實(shí)裝置驅(qū)動器以與虛擬裝置驅(qū)動器區(qū)分開。圖形驅(qū)動器、聲音驅(qū)動器和相機(jī)驅(qū)動器可被類似地稱為真實(shí)圖形驅(qū)動器、真實(shí)聲音驅(qū)動器和真實(shí)相機(jī)驅(qū)動器以與虛擬圖形驅(qū)動器、虛擬聲音驅(qū)動器和虛擬相機(jī)驅(qū)動器區(qū)分開。

服務(wù)器可被稱為用于支持由通過網(wǎng)絡(luò)連接的vr終端系統(tǒng)對各種類型的輸入/輸出(i/o)資源進(jìn)行共享的主機(jī)計(jì)算機(jī)、主機(jī)程序等。

vr終端系統(tǒng)可被稱為能夠共享通過網(wǎng)絡(luò)連接的服務(wù)器的各種類型的i/o資源的客戶端計(jì)算機(jī)、客戶端程序等。

可以以物理硬件或邏輯軟件將用戶接口和實(shí)現(xiàn)為被實(shí)現(xiàn)用于臨時(shí)或永久連接以允許用戶與計(jì)算機(jī)系統(tǒng)之間的通信的物理或虛擬媒介。裝置管理器和可被包括在計(jì)算機(jī)系統(tǒng)的操作系統(tǒng)(os)中，并且可以是用于裝置管理的軟件構(gòu)成元件。

連接管理器和可發(fā)揮以下作用：例如通過網(wǎng)絡(luò)連接虛擬裝置驅(qū)動器和真實(shí)裝置驅(qū)動器，控制通信模塊的管理和注冊、通信信道的建立和終止等，廣播vr終端系統(tǒng)的信息，以及發(fā)現(xiàn)服務(wù)器的通信信道。

連接管理器和可控制vr終端系統(tǒng)與服務(wù)器之間的數(shù)據(jù)通信，并且可通過使用服務(wù)器的真實(shí)裝置驅(qū)動器同時(shí)將各種資源的數(shù)據(jù)傳送到多個(gè)vr終端系統(tǒng)。

真實(shí)裝置驅(qū)動器可被包括在服務(wù)器內(nèi)，或者可以是通過有線/無線方式連接而被使用的外部裝置驅(qū)動器。虛擬裝置驅(qū)動器可以是模擬硬件裝置的軟件構(gòu)成元件。例如，在windowsos中，虛擬裝置驅(qū)動器可以是用于不處理硬件中斷而是處理在os上發(fā)生的軟件中斷的虛擬裝置驅(qū)動器。

虛擬總線驅(qū)動器是用于在虛擬裝置驅(qū)動器與裝置管理器之間傳送數(shù)據(jù)的構(gòu)成元件。虛擬裝置驅(qū)動配置信息可以以查看表形式等被存儲和管理以在真實(shí)裝置驅(qū)動器和虛擬裝置驅(qū)動器被連接到網(wǎng)絡(luò)時(shí)確定最佳通信機(jī)制，并且可以是用于數(shù)據(jù)通信的網(wǎng)絡(luò)連接信息以及用于確定如何傳送數(shù)據(jù)的通信設(shè)置信息。

vr終端系統(tǒng)和服務(wù)器可包括例如用戶模式和內(nèi)核模式。

vr終端系統(tǒng)的用戶接口提供與用戶的交互。例如，用戶接口獲取顯示信息、用戶請求等，并將獲取的結(jié)果傳送給裝置管理器。裝置管理器發(fā)揮用戶接口與連接管理器之間的中介作用，并且當(dāng)從用戶接口接收到控制請求時(shí)，將控制請求傳送到連接管理器。

管理vr終端系統(tǒng)的操作可包括以下所有操作：物理或遠(yuǎn)程裝置的發(fā)現(xiàn)和注冊、裝置的即插即用等，并且還可包括以下所有操作：廣播本地裝置信息，管理不同計(jì)算機(jī)裝置之間的連接等。

可通過連接管理器來提供管理不同計(jì)算機(jī)系統(tǒng)之間的連接的功能。例如，連接管理器可通過控制計(jì)算機(jī)系統(tǒng)之間的網(wǎng)絡(luò)通信來發(fā)揮發(fā)送/接收數(shù)據(jù)的作用。

作為本公開的實(shí)施例，連接管理器可允許計(jì)算機(jī)系統(tǒng)之間的各種類型的連接，并且可控制各種連接功能。例如，連接管理器可控制以下功能：管理和注冊通信模塊，建立和終止通信信道，廣播vr終端系統(tǒng)信息，發(fā)現(xiàn)服務(wù)器的通信信道，以及在計(jì)算機(jī)系統(tǒng)之間發(fā)送和接收數(shù)據(jù)。

連接管理器可被設(shè)置在用戶模式中，或者內(nèi)核模式中。內(nèi)核模式可與對所有系統(tǒng)存儲器和中央處理器(cpu)指令的訪問被允許的處理的執(zhí)行模式相應(yīng)。

連接管理器可包括諸如以下項(xiàng)的構(gòu)成元件：主機(jī)管理模塊、信道管理模塊、網(wǎng)絡(luò)抽象層(套接口(socket))、局域網(wǎng)(lan)/無線lan(wlan)、自組織(ad-hoc)網(wǎng)絡(luò)等。

主機(jī)管理模塊可包括主機(jī)發(fā)現(xiàn)。信道管理模塊可包括虛擬信道服務(wù)、信道實(shí)例管理器、數(shù)據(jù)傳輸、異常處理等。

虛擬信道服務(wù)可管理至少一個(gè)虛擬信道，從而看起來它好像是至少一個(gè)客戶端所連接到的主機(jī)(例如，服務(wù)器)。信道實(shí)例管理器可通過連接虛擬信道與套接口來執(zhí)行管理。數(shù)據(jù)傳輸可控制通過虛擬信道對數(shù)據(jù)的發(fā)送和接收。

虛擬信道服務(wù)可對每個(gè)虛擬信道配置唯一名稱。例如，任意一個(gè)虛擬信道的名稱可以是“//servername/channel/channelname”。在下文中，“servername”可以是遠(yuǎn)程計(jì)算機(jī)系統(tǒng)(例如，服務(wù)器)的名稱，并且連接應(yīng)用程序接口(api)可通過對名稱進(jìn)行枚舉來一起顯示與計(jì)算機(jī)系統(tǒng)關(guān)聯(lián)的虛擬信道名稱以及名稱。

主機(jī)管理模塊是用于發(fā)現(xiàn)和管理可在網(wǎng)絡(luò)上被使用的主機(jī)的構(gòu)成元件。連接管理器可提供中繼功能，使得服務(wù)器(例如，服務(wù)器)的資源可被一個(gè)或更多個(gè)不同vr終端系統(tǒng)的電子裝置共享。

使用虛擬裝置驅(qū)動器的應(yīng)用將應(yīng)用標(biāo)識符(id)作為唯一標(biāo)識符。應(yīng)用id可以是基于相應(yīng)應(yīng)用的名稱、通用唯一id(uuid)、序列號等來產(chǎn)生的。

虛擬裝置驅(qū)動器將虛擬裝置驅(qū)動器id作為唯一標(biāo)識符。虛擬裝置驅(qū)動器的id可以是在vr終端系統(tǒng)的os內(nèi)核中進(jìn)行操作的虛擬裝置的id等。

在本發(fā)明的一些實(shí)施例中，本發(fā)明的多vr/ar設(shè)備協(xié)同系統(tǒng)還包括一個(gè)或多個(gè)采集設(shè)備，所述采集設(shè)備配置有運(yùn)動傳感器或定位設(shè)備。運(yùn)動傳感器或位置設(shè)備可以包括以下中的一個(gè)或多個(gè)：陀螺儀；加速度計(jì)；羅盤、gps或其他衛(wèi)星接收器；glonass羅盤；或者任何其他位置、定位或方向傳感器。運(yùn)動傳感器或定位設(shè)備可以使得能夠追蹤采集設(shè)備本身的位置和/或方位以及繼而追蹤用戶頭部的位置或定位。這可以允許采集設(shè)備計(jì)及頭部運(yùn)動并且基于關(guān)于頭部運(yùn)動的信息來調(diào)節(jié)凝視方向數(shù)據(jù)以提供對凝視方向的更好估計(jì)。基于用戶眼睛的方位所確定的凝視方向可以是相對于用戶頭部的方位。關(guān)于基于用戶眼睛的凝視方向的信息可以因此擴(kuò)增有關(guān)于用戶頭部的方位的信息。對于短暫時(shí)刻而言，該擴(kuò)增可以使用加速度計(jì)或陀螺儀執(zhí)行。然而，這些設(shè)備的不準(zhǔn)確性可能引起漂移，如果它們用于隨時(shí)間確定方位的話。在一些實(shí)施例中，關(guān)于基于用戶眼睛的凝視方向的信息和/或關(guān)于用戶頭部的方位的信息可以使用來自羅盤的信息進(jìn)一步擴(kuò)增，所述羅盤提供相對于絕對參考點(diǎn)的方位信息。另外，當(dāng)進(jìn)行凝視數(shù)據(jù)的固定濾波時(shí)，關(guān)于設(shè)備方位的改變的信息可能是有幫助的。假定周圍的對象保持相對靜止，則確定佩戴設(shè)備的用戶固定在靜止對象處而同時(shí)運(yùn)動其頭部可能容易得多，如果設(shè)備方位數(shù)據(jù)可用的話。

在其他實(shí)施例中，運(yùn)動傳感器或定位設(shè)備可以嵌入在與采集設(shè)備或采集設(shè)備的任何部分連接的裝置中。例如，運(yùn)動傳感器或定位設(shè)備可以與采集設(shè)備或采集設(shè)備的任何部分無線連接或者利用線纜連接。在一些實(shí)施例中，這樣的運(yùn)動傳感器或定位設(shè)備可以攜帶在由用戶所佩戴的背包中，或者以其他方式由用戶攜帶，所述用戶包括人類、動物或可移動的機(jī)械裝置。當(dāng)運(yùn)動傳感器或定位設(shè)備嵌入在采集設(shè)備中時(shí)，其可能能夠提供關(guān)于用戶的凝視位置的更準(zhǔn)確信息。數(shù)個(gè)不同的系統(tǒng)可以提供或計(jì)及所要求的延遲和精度。特別地，陀螺儀和羅盤可以提供更準(zhǔn)確的信息，如果嵌入在采集設(shè)備本身中的話。

此外，來自運(yùn)動傳感器或定位設(shè)備的信息可以用于穩(wěn)定來自(多個(gè))采集設(shè)備的信息，例如場景攝像機(jī)的圖像數(shù)據(jù)。例如，場景攝像機(jī)可以捕獲接近由用戶所看到的視野的圖像數(shù)據(jù)。來自運(yùn)動傳感器或定位設(shè)備的信息可以用于穩(wěn)定該圖像數(shù)據(jù)。關(guān)于用戶的凝視的信息可以進(jìn)一步用于裁剪或以其他方式調(diào)節(jié)該圖像數(shù)據(jù)以更準(zhǔn)確地表示用戶的凝視方向。圖像穩(wěn)定或補(bǔ)償可以包括視頻數(shù)據(jù)的線位移(line-shifting)。存在涉及使用陀螺儀或加速度計(jì)的數(shù)個(gè)公知的圖像穩(wěn)定方法，并且本領(lǐng)域技術(shù)人員將領(lǐng)會到，這些方法可以如何與本發(fā)明的實(shí)施例組合。此外，基于時(shí)間的補(bǔ)償可以應(yīng)用于圖像數(shù)據(jù)以計(jì)及場景攝像機(jī)中所固有的圖像捕獲延遲。特別地，由視頻攝像機(jī)、滾動快門攝像機(jī)以及ccd類型攝像機(jī)所捕獲的圖像可能由于圖像捕獲延遲而未示出針對獲得凝視點(diǎn)時(shí)的正確視野。時(shí)間補(bǔ)償可以取決于場景攝像機(jī)的類型和/或凝視點(diǎn)定位在圖像中何處而不同。

圖像處理和穩(wěn)定在一些實(shí)施例中可以在捕獲數(shù)據(jù)時(shí)實(shí)時(shí)地在采集設(shè)備上或外部設(shè)備上執(zhí)行。在其他實(shí)施例中，圖像數(shù)據(jù)可以僅存儲在采集設(shè)備上或者傳輸給外部設(shè)備，并且圖像穩(wěn)定或其他處理可以基于所捕獲的數(shù)據(jù)而隨后執(zhí)行。所采取的方法可以取決于采集設(shè)備中可用的處理能力，以及從機(jī)載或以其他方式連接的(多個(gè))電源可用的能量。特別地，某些類型的處理可能要求大量計(jì)算能力，其繼而消耗很多電池容量。在一些實(shí)施例中，采集設(shè)備可以是可配置的以優(yōu)化電池容量或者針對實(shí)時(shí)處理進(jìn)行優(yōu)化。

此外，可以分析來自場景攝像機(jī)的所捕獲的圖像或視頻中的元素以確定用戶頭部的方位以及用戶頭部的運(yùn)動速度。通過分析接連圖像或視頻中的元素的相對位置，可以做出對凝視方向的計(jì)算的調(diào)節(jié)以補(bǔ)償運(yùn)動。在另外的實(shí)施例中，圖像傳感器和/或場景攝像機(jī)可以利用滾動快門來進(jìn)一步改進(jìn)確定用戶頭部的方位的精度。通過與圖像傳感器和場景攝像機(jī)的行的讀出信息組合地確定用戶頭部的方位和運(yùn)動，所確定的凝視方向可以以使得凝視方向可以被校正成反映在計(jì)算凝視方向時(shí)存在于用戶視場中的實(shí)際場景的這樣的方式重疊在由場景攝像機(jī)所捕獲的圖像上。

例如，采集設(shè)備可以利用從傳感器導(dǎo)出的凝視數(shù)據(jù)來校準(zhǔn)來自場景攝像機(jī)的所捕獲數(shù)據(jù)以便更正確地反映在與來自場景攝像機(jī)的所捕獲數(shù)據(jù)有關(guān)的特定時(shí)間用戶看向何處以及何時(shí)看向。在本發(fā)明的實(shí)施例中，該方法可以在以下情況下采用：由場景攝像機(jī)捕獲的圖像數(shù)據(jù)已經(jīng)由于例如滾動快門失真或振動而失真。另外的實(shí)施例包括考慮設(shè)備的瞬時(shí)運(yùn)動數(shù)據(jù)并且相應(yīng)地通過利用運(yùn)動傳感器和/或其他傳感器進(jìn)行校準(zhǔn)。

可以分析來自場景攝像機(jī)的視頻以標(biāo)識用戶視場中的對象。通過標(biāo)識對象以及對象離用戶的距離，可以確定關(guān)于凝視方向和目標(biāo)的更準(zhǔn)確信息?？梢允褂糜?jì)算機(jī)視覺算法來從圖像數(shù)據(jù)檢測對象。在一些實(shí)施例中，多個(gè)場景攝像機(jī)可以用于提供立體視覺以及更準(zhǔn)確的計(jì)算機(jī)視覺算法。如同圖像穩(wěn)定和其他處理那樣，對象標(biāo)識可以取決于采集設(shè)備上可用的計(jì)算能力和功率容量而實(shí)時(shí)地或者作為后處理完成?？商鎿Q地或者附加地，場景攝像機(jī)可以是測量到佩戴采集設(shè)備的人的視場內(nèi)的對象的距離的深度攝像機(jī)。深度攝像機(jī)還可以確定對象的強(qiáng)度水平，因而也提供灰度等級圖像。

此外，圖像分析可以用于基于在用戶的視場內(nèi)所檢測的對象的標(biāo)識來確定用戶的位置。換言之，用戶的視場內(nèi)的對象(例如已知為與給定地點(diǎn)或地點(diǎn)類型相關(guān)聯(lián)的地標(biāo)或?qū)ο?可以揭示用戶的位置。例如，對象或其他標(biāo)記(諸如標(biāo)志、產(chǎn)品類型、定價(jià)標(biāo)簽產(chǎn)品等等)可以指示用戶存在于特定零售商店或者至少某一類型零售商店內(nèi)。作為另一示例，場景攝像機(jī)或連接到采集設(shè)備的另一掃描設(shè)備可以配置成掃描出現(xiàn)在用戶的視場內(nèi)的條形碼，其可以揭示用戶存在于零售商店或者其他已知位置或已知類型的位置內(nèi)。這樣的位置信息可以與來自位置傳感器和運(yùn)動傳感器的信息復(fù)合，以確定用戶到達(dá)他/她的存在位置所采取的路徑和/或在該位置周圍導(dǎo)航。在用戶處于電視或顯示器(例如顯示計(jì)算機(jī)游戲)附近的情況下，游戲可能能夠處理由采集設(shè)備提供的眼睛追蹤輸入；可以使用圖像分析來確定相對于電視或顯示器的用戶凝視的方向。

此外，來自場景攝像機(jī)的圖像分析可以用于同時(shí)定位和映射(slam)。slam是構(gòu)建位置地圖而同時(shí)在該地圖內(nèi)映射設(shè)備的位置的過程。slam由機(jī)器人及類似器械頻繁使用并且可以包括用于捕獲機(jī)器人的環(huán)境的圖像以用于映射的圖像傳感器。根據(jù)本發(fā)明的實(shí)施例的設(shè)備也可以與slam一起使用。

在運(yùn)動傳感器被用于檢測運(yùn)動的情況下，當(dāng)在較長的時(shí)間段內(nèi)依賴于它們時(shí)，可能存在數(shù)據(jù)內(nèi)的顯著漂移。來自這些運(yùn)動傳感器的信息因此可以通過基于從(多個(gè))場景攝像機(jī)所檢測的對象而確定的位置信息來校正。使用(多個(gè))場景攝像機(jī)所檢測的對象可以包括特性結(jié)構(gòu)或?qū)ο笠约皸l形碼。在其他實(shí)施例中，經(jīng)由麥克風(fēng)所檢測的聲音信息可以用于確定位置。例如，超聲發(fā)射器可以放置在遍及特定位置(諸如零售商店)的各點(diǎn)處，并且麥克風(fēng)可以用于確定最靠近的發(fā)射器?？商鎿Q地，超聲源可以安裝在采集設(shè)備上并且麥克風(fēng)被用于確定在超聲源的方向上到最靠近的對象的距離。另外或者可替換地，麥克風(fēng)可以被用于檢測其他環(huán)境聲音，并且這樣的信息可以至少部分地用于確定其中存在用戶的位置或位置類型。在一些實(shí)施例中，rfid標(biāo)簽讀取器可以包括在采集設(shè)備中使得rfid標(biāo)簽可以被用于確定用戶的位置。作為附加示例，wi-fi信號和/或其他通信信號可以通過適當(dāng)?shù)氖瞻l(fā)器和采集設(shè)備上所機(jī)載的邏輯來接收并進(jìn)行三角測量，以確定用戶的位置。本領(lǐng)域技術(shù)人員將領(lǐng)會到，本發(fā)明不限于上文所記載的示例并且可以使用數(shù)個(gè)位置標(biāo)識裝置來聚合或確定關(guān)于佩戴者的位置信息。

在一些實(shí)施例中，一個(gè)或多個(gè)附加的設(shè)備可以嵌入在采集設(shè)備中或者與采集設(shè)備耦合。例如，場景攝像機(jī)可以被用于記錄用戶可能在其中運(yùn)動和/或觀看的區(qū)域中的圖像。陀螺儀可以被用于羅盤類特征以標(biāo)識采集設(shè)備指向哪個(gè)方向以及因而用戶看向哪個(gè)方向。設(shè)備中的圖像傳感器然后可以基于頭部所指向的地方的方向來標(biāo)識用戶的凝視點(diǎn)的角度和距離。來自這些多個(gè)傳感器的信息組合起來可以用于計(jì)算表示佩戴者的凝視的向量。該向量可以變換和可視化在場景攝像機(jī)的視野中。向量可以在一些實(shí)施例中用于基于關(guān)于用戶的凝視聚焦在哪里的信息而提供熱圖。提供在采集設(shè)備上的顯示器可以允許用戶觀看由采集設(shè)備所提供的該視覺數(shù)據(jù)或其他視覺數(shù)據(jù)。僅僅作為示例，這樣的顯示器可以包括lcd屏幕、led屏幕、棱鏡投影儀和/或其他顯示技術(shù)。

在一個(gè)示例實(shí)施例中，移動裝置在于移動裝置的一個(gè)或多個(gè)計(jì)算裝置處接收到指示環(huán)境的激光數(shù)據(jù)的同時(shí)可進(jìn)行導(dǎo)航。例如，移動裝置包括被配置為捕捉傳感器數(shù)據(jù)的lidar模塊，所述傳感器數(shù)據(jù)諸如是由與環(huán)境中的一個(gè)或多個(gè)物體相關(guān)聯(lián)的數(shù)據(jù)點(diǎn)組成的激光數(shù)據(jù)。類似地，移動裝置還可包括被配置為提供可用于物體檢測的傳感器數(shù)據(jù)的其它類型的傳感器，諸如深度相機(jī)。例如，計(jì)算裝置可接收在結(jié)構(gòu)化三維(3d)點(diǎn)云和/或非結(jié)構(gòu)化3d點(diǎn)云中的指示環(huán)境的數(shù)據(jù)點(diǎn)。在一些情況下，計(jì)算裝置可接收在像柵格那樣的點(diǎn)云內(nèi)的數(shù)據(jù)點(diǎn)。激光數(shù)據(jù)可包括含有指示相對于移動裝置的環(huán)境中的物體的位置的信息的數(shù)據(jù)點(diǎn)。在其它示例中，激光數(shù)據(jù)可包括關(guān)于移動裝置的環(huán)境的其它信息。

在操作期間，計(jì)算裝置可使用激光數(shù)據(jù)點(diǎn)來生成包括指示環(huán)境中的物體的位置的像素的二維(2d)距離圖像。作為示例，計(jì)算裝置可將激光數(shù)據(jù)點(diǎn)投影到位于移動裝置周圍或在虛擬渲染中虛擬地位于移動裝置周圍的概念性2d圓柱表面，以使得像素對應(yīng)于激光數(shù)據(jù)點(diǎn)內(nèi)的數(shù)據(jù)。作為結(jié)果的生成的2d距離圖像可包括具有指示環(huán)境中的信息的值的像素，并且還可包括可不具有來自激光數(shù)據(jù)點(diǎn)的值的一些像素。缺失值的像素可對應(yīng)于計(jì)算裝置未接收到指示性的激光數(shù)據(jù)的物體的部分。在一些示例實(shí)施例中，計(jì)算裝置可在完成接收整個(gè)點(diǎn)云之前開始生成2d距離圖像的部分。例如，當(dāng)從lidar模塊接收到點(diǎn)時(shí)，計(jì)算裝置可形成2d距離圖像的部分。

此外，移動裝置的計(jì)算裝置可修正2d距離圖像來填充由沒有值的像素造成的空白。例如，計(jì)算裝置可使用2d距離圖像中位于一個(gè)或多個(gè)空白附近的各個(gè)鄰近元素來確定要分配給原本沒有值的空白中的像素的平均值。計(jì)算裝置可使用經(jīng)修正的2d距離圖像來確定可與移動裝置的環(huán)境中的一個(gè)或多個(gè)物體的相應(yīng)表面相對應(yīng)的像素組的一個(gè)或多個(gè)法向量。

在一些示例中，計(jì)算裝置可使用表面法線和平面分割過程來對所獲取的傳感器數(shù)據(jù)中的平面進(jìn)行分類(例如，將像素組與環(huán)境中的表面關(guān)聯(lián))，這可幫助移動裝置進(jìn)行物體識別和避障。當(dāng)移動裝置導(dǎo)航時(shí)，計(jì)算裝置可形成對環(huán)境內(nèi)的物體的虛擬地圖繪制。另外，計(jì)算裝置可使用像素組的法向量以及平面分割來將關(guān)于環(huán)境的物體識別信息提供給移動裝置系統(tǒng)，移動裝置可在操作期間使用所述物體識別信息來確定合適的導(dǎo)航策略。

耦合到移動裝置或包括在移動裝置中的組件可包括推進(jìn)系統(tǒng)、傳感器系統(tǒng)、控制系統(tǒng)、外圍采集設(shè)備、電源、計(jì)算裝置以及用戶接口。計(jì)算裝置可包括處理器和存儲器。計(jì)算裝置可以是移動裝控制器或控制器的一部分。存儲器可包括處理器可運(yùn)行的指令，并且還可存儲地圖數(shù)據(jù)。移動裝置的組件可被配置為以與彼此互連和/或與耦合到各系統(tǒng)的其它組件互連的方式工作。例如，電源可向移動裝置的所有組件提供電力。計(jì)算裝置可被配置為從推進(jìn)系統(tǒng)、傳感器系統(tǒng)、控制系統(tǒng)和外圍采集設(shè)備接收數(shù)據(jù)并對它們進(jìn)行控制。計(jì)算裝置可被配置為在用戶接口上生成圖像的顯示并從用戶接口接收輸入。

在其它示例中，移動裝置可包括更多、更少或不同的系統(tǒng)，并且每個(gè)系統(tǒng)可包括更多、更少或不同的組件。此外，示出的系統(tǒng)和組件可以按任意種的方式進(jìn)行組合或劃分。

推進(jìn)系統(tǒng)可被配置為移動裝置提供動力運(yùn)動。推進(jìn)系統(tǒng)包括引擎/發(fā)動機(jī)、能量源、傳動裝置和車輪/輪胎。

推進(jìn)系統(tǒng)可以額外地或可替換地包括除了所示出的那些以外的組件。

傳感器系統(tǒng)可包括被配置為感測關(guān)于移動裝置所位于的環(huán)境的信息的若干個(gè)傳感器。如圖所示，傳感器系統(tǒng)的傳感器包括全球定位系統(tǒng)(globalpositioningsystem，gps)、慣性測量單元(inertialmeasurementunit，imu)、無線電檢測和測距(radar)單元、激光測距儀和/或光檢測和測距(lidar)單元、相機(jī)以及被配置為修改傳感器的位置和/或朝向的致動器。傳感器系統(tǒng)也可包括額外的傳感器，包括例如監(jiān)視移動裝置的內(nèi)部系統(tǒng)的傳感器(例如，o2監(jiān)視器、燃油量表、機(jī)油溫度，等等)。其它傳感器也是可能的。

gps模塊可以是被配置為估計(jì)移動裝置的地理位置的任何傳感器。為此，gps模塊可包括被配置為基于星基定位數(shù)據(jù)估計(jì)移動裝置相對于地球的位置的收發(fā)器。計(jì)算裝置可被配置為結(jié)合地圖數(shù)據(jù)地使用gps模塊來估計(jì)移動裝置可在其上行駛的道路上的車道邊界的位置。gps模塊也可采取其它形式。

imu可以是被配置為基于慣性加速度來感測移動裝置的位置和朝向變化的傳感器的任意組合。在一些示例中，傳感器的組合可包括例如加速度計(jì)和陀螺儀。傳感器的其它組合也是可能的。

radar單元可以被看作物體檢測系統(tǒng)，其可被配置為使用無線電波來檢測物體的特性，諸如物體的距離、高度、方向或速度。radar單元可被配置為傳送無線電波或微波脈沖，其可從波的路線中的任何物體反彈。物體可將波的一部分能量返回至接收器(例如，碟形天線或天線)，該接收器也可以是radar單元的一部分。radar單元還可被配置為對接收到的信號(從物體反彈)執(zhí)行數(shù)字信號處理，并且可被配置為識別物體。

其它類似于radar的系統(tǒng)已用在電磁波譜的其它部分上。一個(gè)示例是lidar(光檢測和測距)，其可被配置為使用來自激光的可見光，而非無線電波。

lidar單元可包括傳感器，該傳感器被配置為使用光來感測或檢測移動裝置所位于的環(huán)境中的物體。通常，lidar是可通過利用光照射目標(biāo)來測量到目標(biāo)的距離或目標(biāo)的其它屬性的光學(xué)遙感技術(shù)。作為示例，lidar單元可包括被配置為發(fā)射激光脈沖的激光源和/或激光掃描儀，和被配置為接收激光脈沖的反射的檢測器。例如，lidar單元可包括由轉(zhuǎn)鏡反射的激光測距儀，并且以一維或二維圍繞數(shù)字化場景掃描激光，從而以指定角度間隔采集距離測量值。在示例中，lidar單元可包括諸如光(例如，激光)源、掃描儀和光學(xué)系統(tǒng)、光檢測器和接收器電子器件之類的組件，以及位置和導(dǎo)航系統(tǒng)。

在示例中，lidar單元可被配置為使用紫外光(uv)、可見光或紅外光對物體成像，并且可用于廣泛的目標(biāo)，包括非金屬物體。在一個(gè)示例中，窄激光波束可用于以高分辨率對物體的物理特征進(jìn)行地圖繪制。

不同類型的散射被用于不同的lidar應(yīng)用，諸如瑞利散射、米氏散射和拉曼散射以及熒光?；诓煌N類的后向散射，作為示例，lidar可因此被稱為瑞利激光radar、米氏lidar、拉曼lidar以及鈉/鐵/鉀熒光lidar。波長的適當(dāng)組合可允許例如通過尋找反射信號的強(qiáng)度的依賴波長的變化對物體進(jìn)行遠(yuǎn)程地圖繪制。

使用掃描lidar系統(tǒng)和非掃描lidar系統(tǒng)兩者可實(shí)現(xiàn)三維(3d)成像?！?d選通觀測激光radar(3dgatedviewinglaserradar)”是非掃描激光測距系統(tǒng)的示例，其應(yīng)用脈沖激光和快速選通相機(jī)。成像lidar也可使用通常使用cmos(互補(bǔ)金屬氧化物半導(dǎo)體)和混合cmos/ccd(電荷耦合器件)制造技術(shù)在單個(gè)芯片上構(gòu)建的高速檢測器陣列和調(diào)制敏感檢測器陣列來執(zhí)行。在這些裝置中，每個(gè)像素可通過以高速解調(diào)或選通來被局部地處理，以使得陣列可被處理成表示來自相機(jī)的圖像。使用此技術(shù)，可同時(shí)獲取上千個(gè)像素以創(chuàng)建表示lidar單元檢測到的物體或場景的3d點(diǎn)云。

點(diǎn)云可包括3d坐標(biāo)系統(tǒng)中的一組頂點(diǎn)。這些頂點(diǎn)例如可由x、y、z坐標(biāo)定義，并且可表示物體的外表面。lidar單元可被配置為通過測量物體表面上的大量點(diǎn)來創(chuàng)建點(diǎn)云，并可將點(diǎn)云作為數(shù)據(jù)文件輸出。作為通過lidar單元的對物體的3d掃描過程的結(jié)果，點(diǎn)云可用于識別并可視化物體。

在一個(gè)示例中，點(diǎn)云可被直接渲染以可視化物體。在另一示例中，點(diǎn)云可通過可被稱為表面重建的過程被轉(zhuǎn)換為多邊形或三角形網(wǎng)格模型。用于將點(diǎn)云轉(zhuǎn)換為3d表面的示例技術(shù)可包括德洛內(nèi)三角剖分、阿爾法形狀和旋轉(zhuǎn)球。這些技術(shù)包括在點(diǎn)云的現(xiàn)有頂點(diǎn)上構(gòu)建三角形的網(wǎng)絡(luò)。其它示例技術(shù)可包括將點(diǎn)云轉(zhuǎn)換為體積距離場，以及通過移動立方體算法重建這樣定義的隱式表面。

采集設(shè)備可以是被配置為捕捉移動裝置所位于的環(huán)境的圖像的任意相機(jī)(例如，靜態(tài)相機(jī)、視頻相機(jī)等)。為此，相機(jī)可被配置為檢測可見光，或可被配置為檢測來自光譜的其它部分(諸如紅外光或紫外光)的光。其它類型的相機(jī)也是可能的。相機(jī)可以是二維檢測器，或可具有三維空間范圍。在一些示例中，相機(jī)例如可以是距離檢測器，其被配置為生成指示從相機(jī)到環(huán)境中的若干點(diǎn)的距離的二維距離圖像。為此，相機(jī)可使用一種或多種距離檢測技術(shù)。例如，相機(jī)可被配置為使用結(jié)構(gòu)光技術(shù)，其中移動裝置利用預(yù)定光圖案，諸如柵格或棋盤格圖案，對環(huán)境中的物體進(jìn)行照射，并且使用相機(jī)檢測從物體的預(yù)定光圖案的反射?；诜瓷涞墓鈭D案中的畸變，移動裝置可被配置為檢測到物體上的點(diǎn)的距離。預(yù)定光圖案可包括紅外光或其它波長的光。

致動器例如可被配置為修改傳感器的位置和/或朝向。

傳感器系統(tǒng)可額外地或可替換地包括除了所示出的那些以外的組件。

控制系統(tǒng)可被配置為控制移動裝置及其組件的操作。

傳感器融合算法可以包括例如計(jì)算裝置可運(yùn)行的算法(或者存儲算法的計(jì)算機(jī)程序產(chǎn)品)。傳感器融合算法可被配置為接受來自傳感器的數(shù)據(jù)作為輸入。所述數(shù)據(jù)可包括例如表示在傳感器系統(tǒng)的傳感器處感測到的信息的數(shù)據(jù)。傳感器融合算法可包括例如卡爾曼濾波器、貝葉斯網(wǎng)絡(luò)或者另外的算法。傳感器融合算法還可被配置為基于來自傳感器系統(tǒng)的數(shù)據(jù)來提供各種評價(jià)，包括例如對移動裝置所位于的環(huán)境中的個(gè)體物體和/或特征的評估、對具體情形的評估和/或基于特定情形的可能影響的評估。其它評價(jià)也是可能的。

計(jì)算機(jī)視覺系統(tǒng)可以是被配置為處理和分析由相機(jī)捕捉的圖像以便識別移動裝置所位于的環(huán)境中的物體和/或特征的任何系統(tǒng)，所述物體和/或特征包括例如隧道形狀、故障區(qū)域和障礙物。為此，計(jì)算機(jī)視覺系統(tǒng)可使用物體識別算法、從運(yùn)動中恢復(fù)結(jié)構(gòu)(structurefrommotion，sfm)算法、視頻跟蹤或其它計(jì)算機(jī)視覺技術(shù)。在一些示例中，計(jì)算機(jī)視覺系統(tǒng)可以額外地被配置為地圖繪制環(huán)境、跟隨物體、估計(jì)物體的速度，等等。

導(dǎo)航和路線控制系統(tǒng)可以是被配置為確定移動裝置的駕駛路線的任何系統(tǒng)。導(dǎo)航和路線控制系統(tǒng)可以額外地被配置為在移動裝置處于操作中的同時(shí)動態(tài)地更新駕駛路線。在一些示例中，導(dǎo)航和路線控制系統(tǒng)可被配置為結(jié)合來自傳感器融合算法、gps模塊和一個(gè)或多個(gè)預(yù)定地圖的數(shù)據(jù)以便為移動裝置確定駕駛路線。

外圍采集設(shè)備可被配置為允許移動裝置與外部傳感器、其它用戶交互。為此，外圍采集設(shè)備可包括例如無線通信系統(tǒng)、觸摸屏、麥克風(fēng)和/或揚(yáng)聲器。

無線通信系統(tǒng)可以是被配置為直接地或經(jīng)由通信網(wǎng)絡(luò)無線耦合至一個(gè)或多個(gè)其它移動裝置、傳感器或其它實(shí)體的任何系統(tǒng)。為此，無線通信系統(tǒng)可包括用于直接或通過空中接口與其它移動裝置、傳感器或其它實(shí)體通信的天線和芯片集。芯片集或整個(gè)無線通信系統(tǒng)可被布置為根據(jù)一個(gè)或多個(gè)其它類型的無線通信(例如，協(xié)議)來通信，所述無線通信諸如藍(lán)牙、ieee802.11(包括任何ieee802.11修訂版)中描述的通信協(xié)議、蜂窩技術(shù)(諸如gsm、cdma、umts、ev-do、wimax或lte)、紫蜂、專用短程通信(dedicatedshortrangecommunications，dsrc)以及射頻識別(radiofrequencyidentification，rfid)通信，等等。無線通信系統(tǒng)也可采取其它形式。

觸摸屏可被用戶用來向移動裝置輸入命令。為此，觸摸屏可被配置為經(jīng)由電容感測、電阻感測或者表面聲波過程等等來感測用戶的手指的位置和移動中的至少一者。觸摸屏可能夠感測在與觸摸屏表面平行或與觸摸屏表面在同一平面內(nèi)的方向上、在與觸摸屏表面垂直的方向上或者在這兩個(gè)方向上的手指移動，并且還可能夠感測施加到觸摸屏表面的壓力的水平。觸摸屏可由一個(gè)或多個(gè)半透明或透明絕緣層和一個(gè)或多個(gè)半透明或透明導(dǎo)電層形成。觸摸屏也可采取其它形式。

麥克風(fēng)可被配置為從移動裝置的用戶接收音頻(例如，聲音命令或其它音頻輸入)。類似地，揚(yáng)聲器可被配置為向移動裝置的用戶輸出音頻。

外圍采集設(shè)備可以額外地或可替換地包括除了所示出的那些以外的組件。

電源可被配置為向移動裝置的一些或全部組件提供電力。為此，電源可包括例如可再充電鋰離子或鉛酸電池。在一些示例中，一個(gè)或多個(gè)電池組可被配置為提供電力。其它電源材料和配置也是可能的。在一些示例中，電源和能量源可一起實(shí)現(xiàn)，如一些全電動車中那樣。

處理硬件可包括一個(gè)或多個(gè)通用處理器和/或一個(gè)或多個(gè)專用處理器(例如，圖像處理器、數(shù)字信號處理器等)。就處理硬件包括多于一個(gè)處理器而言，這種處理硬件可單獨(dú)工作或組合工作。計(jì)算裝置可被配置為例如基于通過用戶接口112接收的輸入控制移動裝置的功能。

存儲器進(jìn)而可包括一個(gè)或多個(gè)易失性存儲組件和/或一個(gè)或多個(gè)非易失性存儲組件，諸如光、磁和/或有機(jī)存儲裝置，并且存儲器114可全部或部分與處理器集成。存儲器可包含可由處理硬件運(yùn)行的指令(例如，程序邏輯)，包括本文中描述的功能或方法中的任何一個(gè)。

移動裝置的組件可被配置為以與在其各自的系統(tǒng)內(nèi)部和/或外部的其它組件互連的方式工作。為此，移動裝置的組件和系統(tǒng)可通過系統(tǒng)總線、網(wǎng)絡(luò)和/或其它連接機(jī)制通信地鏈接在一起。

另外，盡管組件和系統(tǒng)的每一個(gè)被示出為集成到移動裝置中，但是在一些示例中，一個(gè)或多個(gè)組件或系統(tǒng)可使用有線或無線連接來被可移除地安裝在移動裝置上或以其它方式連接(機(jī)械地或電氣地)至移動裝置。

移動裝置可包括除了所示出的那些或代替所示出的那些的一個(gè)或多個(gè)元件。例如，移動裝置可包括一個(gè)或多個(gè)額外的接口和/或電源。其它額外的組件也是可能的。在這些示例中，存儲器還包括指令，其可被處理器113運(yùn)行來控制額外的組件和/或與額外的組件通信。

在本發(fā)明的另一些實(shí)施方式中，移動裝置包括第一傳感器單元、第二傳感器單元、第三傳感器單元、無線通信系統(tǒng)和相機(jī)。

第一、第二和第三傳感器單元中的每一者可包括全球定位系統(tǒng)傳感器、慣性測量單元、radar單元、lidar單元、相機(jī)、車道檢測傳感器和聲學(xué)傳感器的任意組合。其它類型的傳感器也是可能的。

盡管第一、第二和第三傳感器單元被示為安裝在移動裝置上的特定位置中，但在一些示例中，傳感器單元可安裝在移動裝置上的別處，在移動裝置內(nèi)部或外部。另外，盡管只示出了三個(gè)傳感器單元，但在一些示例中，移動裝置中可包括更多或更少的傳感器單元。

在一些示例中，第一、第二和第三傳感器單元中的一個(gè)或多個(gè)可包括一個(gè)或多個(gè)可移動底座，傳感器可以可移動地安裝在這些底座上?？梢苿拥鬃砂ɡ缧D(zhuǎn)平臺。安裝在旋轉(zhuǎn)平臺上的傳感器可被旋轉(zhuǎn)以使得傳感器可獲得來自移動裝置周圍的每個(gè)方向的信息。可替換地或額外地，可移動底座可包括傾斜平臺。安裝在傾斜平臺上的傳感器可在特定的角度和/或方位范圍內(nèi)被傾斜以使得傳感器可獲得來自各種角度的信息?？梢苿拥鬃部刹扇∑渌问?。

另外，在一些示例中，第一、第二和第三傳感器單元中的一個(gè)或多個(gè)可包括一個(gè)或多個(gè)致動器，這些致動器被配置為通過移動傳感器和/或可移動底座來調(diào)整傳感器單元中的傳感器的位置和/或朝向。示例致動器包括馬達(dá)(motor)、氣動致動器、液壓活塞、繼電器、螺線管和壓電致動器。其它致動器也是可能的。

移動裝置的控制系統(tǒng)可被配置為依據(jù)來自多個(gè)可能的控制策略中的一控制策略控制移動裝置。控制系統(tǒng)可被配置為從耦合到移動裝置(在移動裝置上或移動裝置外)的傳感器接收信息，基于該信息修改控制策略(以及相關(guān)聯(lián)的駕駛行為)，并且依據(jù)經(jīng)修改的控制策略控制移動裝置。控制系統(tǒng)還可被配置為監(jiān)視從傳感器接收到的信息，并且持續(xù)評估移動環(huán)境；并且也可被配置為基于移動狀況的變化修改控制策略和運(yùn)行行為。

具體地，計(jì)算裝置可使用傳感器相對于環(huán)境中的物體的已知位置以及3d激光數(shù)據(jù)點(diǎn)來按合適的順序?qū)Ⅻc(diǎn)投影到概念性圓柱形2d表面上以反映移動裝置的環(huán)境。結(jié)果，計(jì)算裝置可使用激光數(shù)據(jù)點(diǎn)形成作為360度全景存在的圖像，其中組成距離圖像的每個(gè)像素的值反映原始3d激光數(shù)據(jù)點(diǎn)內(nèi)的數(shù)據(jù)。在一些情況下，2d距離圖像可包括可由沒有分配值的像素組成的一個(gè)或多個(gè)空白。此外，計(jì)算裝置可使用激光數(shù)據(jù)形成其它圖像，諸如180度圖像或其它形式。在示例實(shí)現(xiàn)方式中，計(jì)算裝置可形成多個(gè)2d距離圖像或者確定指示從傳感器接收到的數(shù)據(jù)的3d格式結(jié)構(gòu)。

將激光數(shù)據(jù)配置到概念性圓柱形2d表面上可使得計(jì)算裝置能夠?qū)⒓す鈹?shù)據(jù)定位到可準(zhǔn)確反映移動裝置的環(huán)境的2d距離圖像內(nèi)的像素中。不同的像素可提供關(guān)于環(huán)境的信息，包括關(guān)于物體相對于移動裝置的位置的信息。全景中的每個(gè)像素的值可對應(yīng)于傳感器數(shù)據(jù)中接收到的原始點(diǎn)。2d距離圖像內(nèi)的一些像素沒有被分配值，這可導(dǎo)致2d距離圖像總體上的空白。在其它示例實(shí)施例中，計(jì)算裝置可將傳感器數(shù)據(jù)格式化為其它配置以供分析。

實(shí)施例1

如圖1所示，使用多個(gè)市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站。基站提供360度移動追蹤；手持控制器內(nèi)置感應(yīng)器，實(shí)現(xiàn)移動追蹤，同時(shí)可通過按鍵等實(shí)現(xiàn)對內(nèi)容的控制；頭戴顯示器內(nèi)置陀螺儀、加速度計(jì)及激光定位傳感器，在提供顯示功能之外，可以追蹤頭部的移動。

將多個(gè)vr終端系統(tǒng)與服務(wù)器相連，服務(wù)器驗(yàn)證各個(gè)vr終端系統(tǒng)的身份信息。

服務(wù)器中事先設(shè)置有頻道htcaa，本實(shí)施例的多個(gè)vr終端系統(tǒng)通過身份驗(yàn)證后，進(jìn)入該頻道。

各個(gè)vr終端系統(tǒng)在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。

服務(wù)器在頻道htcaa形成的虛擬空間內(nèi)，將各個(gè)vr終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)；再向各個(gè)vr終端系統(tǒng)發(fā)送該虛擬空間內(nèi)其他vr終端系統(tǒng)的位置和形態(tài)的影像。

從視覺上來講，即一個(gè)vr終端系統(tǒng)的使用者可以在頭顯中看到空間內(nèi)自己的手持控制器和其他vr終端使用者的頭顯和手持控制器，從而打破了時(shí)空的限制。

實(shí)施例2

如圖2所示，使用市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站。使用microsoft出品的hololens作為ar終端系統(tǒng)。

使用三星projectbeyond360度3d全景相機(jī)作為采集設(shè)備，將其架設(shè)在現(xiàn)場采集現(xiàn)場實(shí)時(shí)視頻，并與前端現(xiàn)場的ar終端系統(tǒng)耦合以便定位。

將vr終端、ar終端以及采集設(shè)備與服務(wù)器相連，服務(wù)器驗(yàn)證各個(gè)vr終端系統(tǒng)及采集設(shè)備的身份信息。

服務(wù)器中事先設(shè)置有頻道htcbb，本實(shí)施例的多個(gè)vr終端系統(tǒng)及采集設(shè)備通過身份驗(yàn)證后，進(jìn)入該頻道。

vr終端系統(tǒng)和ar終端系統(tǒng)及采集設(shè)備在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。采集設(shè)備置于作為前端現(xiàn)場的vr終端系統(tǒng)內(nèi)進(jìn)行定位。

服務(wù)器在頻道htcbb形成以采集設(shè)備傳輸回的全景視頻作為場景的虛擬空間，將vr終端系統(tǒng)和ar終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)；再向各個(gè)vr/ar終端系統(tǒng)發(fā)送該虛擬空間內(nèi)其他vr/ar終端系統(tǒng)的位置和形態(tài)的影像。

在本實(shí)施例的一個(gè)變型中，采集設(shè)備可以有一套獨(dú)立的定位系統(tǒng)，則無需與前端現(xiàn)場ar終端系統(tǒng)耦合。

后端vr終端系統(tǒng)可以通過服務(wù)器向前端的ar終端系統(tǒng)發(fā)送指令和數(shù)據(jù)，有利于支持前端操作人員的工作。

實(shí)施例3

如圖3所示，使用至少一個(gè)市售htcvivevr眼鏡作為vr終端系統(tǒng)，其包括頭戴顯示器、手持控制器以及基站。使用三星projectbeyond360度3d全景相機(jī)和車載3d激光掃描儀作為采集設(shè)備，將其架設(shè)在現(xiàn)場采集現(xiàn)場實(shí)時(shí)視頻和現(xiàn)場三維信息。

將vr終端系統(tǒng)以及采集設(shè)備與服務(wù)器相連，服務(wù)器驗(yàn)證vr終端系統(tǒng)及采集設(shè)備的身份信息。

服務(wù)器中事先設(shè)置有頻道htccc，本實(shí)施例的vr終端系統(tǒng)及采集設(shè)備通過身份驗(yàn)證后，進(jìn)入該頻道。

vr終端系統(tǒng)及采集設(shè)備在各自的空間內(nèi)進(jìn)行定位校準(zhǔn)，確定頭顯和手持控制器在各自空間內(nèi)的位置，包括xyz坐標(biāo)及角度，將數(shù)據(jù)實(shí)時(shí)上傳到服務(wù)器。

服務(wù)器在頻道htccc形成以采集設(shè)備傳輸回的全景視頻和現(xiàn)場三維信息作為場景的虛擬空間，將vr終端系統(tǒng)上傳的數(shù)據(jù)轉(zhuǎn)化為該系統(tǒng)的頭顯和手持控制器在該虛擬空間內(nèi)的位置和形態(tài)。

在現(xiàn)場還可設(shè)置可遠(yuǎn)程控制的機(jī)械裝置，該機(jī)械裝置在現(xiàn)場的位置可由現(xiàn)場定位系統(tǒng)確定，從而vr終端系統(tǒng)可在虛擬空間內(nèi)了解機(jī)械裝置在現(xiàn)場的操作形態(tài)和位置，并給予指令。

從而實(shí)現(xiàn)更加逼真精準(zhǔn)的遠(yuǎn)程操作和控制。

所述三星projectbeyond360度3d全景相機(jī)和車載3d激光掃描儀作為采集設(shè)備也可以架設(shè)在可移動的載體上，該可移動載體同時(shí)搭載微處理器和無線通訊元件，可由后端vr終端系統(tǒng)控制。

額外的考慮因素

下面的額外考慮因素適用于前述討論。在整個(gè)這個(gè)說明書中，多個(gè)實(shí)例可實(shí)現(xiàn)被描述為單個(gè)實(shí)例的部件、操作或結(jié)構(gòu)。雖然一個(gè)或多個(gè)方法的單獨(dú)操作被示出和描述為單獨(dú)的操作，但是單獨(dú)操作中的一個(gè)或多個(gè)可被同時(shí)執(zhí)行，且沒有事物要求操作以所示順序執(zhí)行。在示例配置中被呈現(xiàn)為單獨(dú)的部件的結(jié)構(gòu)和功能可被實(shí)現(xiàn)為組合的結(jié)構(gòu)或部件。類似地，被呈現(xiàn)為單個(gè)部件的結(jié)構(gòu)和功能可被實(shí)現(xiàn)為單獨(dú)的部件。這些和其它變形、修改、添加和改進(jìn)落在本公開的主題的范圍內(nèi)。

此外，某些實(shí)施方案在本文被描述為包括邏輯或多個(gè)部件、單元或機(jī)構(gòu)。單元可構(gòu)成軟件模塊(例如存儲在機(jī)器可讀介質(zhì)上的代碼)或硬件模塊。硬件模塊是能夠執(zhí)行某些操作并可以以某種方式配置或布置的有形單元。在示例實(shí)施方案中，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)(例如獨(dú)立計(jì)算機(jī)、客戶端或服務(wù)器計(jì)算機(jī)系統(tǒng))或計(jì)算機(jī)系統(tǒng)(例如處理器或一組處理器)的一個(gè)或多個(gè)硬件模塊可由軟件(例如應(yīng)用或應(yīng)用部分)配置為操作來執(zhí)行如在本文描述的某些操作的硬件模塊。

在各種實(shí)施方案中，可機(jī)械或電子地執(zhí)行硬件模塊。例如，硬件模塊可包括永久配置(例如作為專用處理器，例如現(xiàn)場可編程門陣列(fpga)或?qū)Ｓ眉呻娐?asic))成執(zhí)行某些操作的專用電路或邏輯。硬件模塊還可包括臨時(shí)由軟件配置成執(zhí)行某些操作的可編程邏輯或電路(例如，如包括在通用處理器或其它可編程處理器內(nèi)的)。將認(rèn)識到，在專用和永久配置的電路中或在臨時(shí)配置的電路(例如由軟件配置)中機(jī)械地實(shí)現(xiàn)硬件模塊的決定可由成本和時(shí)間考慮因素推動。

因此，術(shù)語“硬件”應(yīng)被理解為包括有形實(shí)體，是被物理地構(gòu)造、永久地配置(例如硬連線)或臨時(shí)配置(例如編程)成以某種方式操作或執(zhí)行本文描述的某些操作的實(shí)體?？紤]到硬件模塊被臨時(shí)配置(例如編程)的實(shí)施方案，每個(gè)硬件模塊不需要在任一個(gè)時(shí)刻被配置或例示。例如，在硬件模塊包括使用軟件而配置的通用處理器的場合，通用處理器可在不同的時(shí)間被配置為相應(yīng)的不同硬件模塊。軟件可相應(yīng)地配置處理器，例如以構(gòu)成在一個(gè)時(shí)刻的特定硬件模塊并構(gòu)成在不同的時(shí)刻的不同硬件模塊。

硬件和軟件模塊可向其它硬件和/或軟件模塊提供信息并從其它硬件和/或軟件模接收信息。因此，所描述的硬件模塊可被視為被通信地耦合。在多個(gè)這樣的硬件或軟件模塊同時(shí)存在的場合，可通過信號傳輸(例如在適當(dāng)?shù)碾娐泛涂偩€上)來實(shí)現(xiàn)通信，其連接硬件或軟件模塊。在多個(gè)硬件模塊或軟件在不同的時(shí)間被配置或例示的實(shí)施方案中，可例如通過在多個(gè)硬件或軟件模塊訪問的存儲器結(jié)構(gòu)中的信息的存儲和取回來實(shí)現(xiàn)在這樣的硬件或軟件模塊之間的通信。例如，一個(gè)硬件或軟件模塊可執(zhí)行操作并將該操作的輸出存儲在它通信地耦合到的存儲器設(shè)備。另一硬件或軟件模塊可接著在稍后的時(shí)間訪問存儲器設(shè)備以取回并處理所存儲的輸出。硬件和軟件模塊也可發(fā)起與輸入或輸出設(shè)備的通信，并可對資源(例如信息的集合)操作。

本文描述的示例方法的各種操作可至少部分地由臨時(shí)配置(例如通過軟件)或永久配置成執(zhí)行相關(guān)操作的一個(gè)或多個(gè)處理器執(zhí)行。不管是臨時(shí)還是永久地被配置，這樣的處理器都可構(gòu)成操作來執(zhí)行一個(gè)或多個(gè)操作或功能的處理器實(shí)現(xiàn)的模塊。在本文提到的模塊可在一些示例實(shí)施方案中包括處理器實(shí)現(xiàn)的模塊。

類似地，本文描述的方法或例程可至少部分地是處理器實(shí)現(xiàn)的。例如，方法的至少一些操作可由一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的硬件模塊執(zhí)行。某些操作的執(zhí)行可分布在一個(gè)或多個(gè)處理器當(dāng)中，不僅存在于單個(gè)機(jī)器內(nèi)，而且部署在多個(gè)機(jī)器當(dāng)中。在一些示例實(shí)施方案中，一個(gè)或多個(gè)處理器可位于單個(gè)位置上(例如在家庭環(huán)境、辦公室環(huán)境內(nèi)或作為服務(wù)器農(nóng)場)，而在其它環(huán)境中，處理器可分布在多個(gè)位置當(dāng)中。

一個(gè)或多個(gè)處理器也可操作來支持在“云計(jì)算”環(huán)境中的相關(guān)操作的執(zhí)行或作為saas。例如，如上面指示的，至少一些操作可由一組計(jì)算機(jī)(作為包括處理器的機(jī)器的例子)執(zhí)行，這些操作是經(jīng)由網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))和經(jīng)由一個(gè)或多個(gè)適當(dāng)?shù)慕涌?例如api)可訪問的。

某些操作的執(zhí)行可分布在一個(gè)或多個(gè)處理器當(dāng)中，不僅存在于單個(gè)機(jī)器內(nèi)，而且部署在多個(gè)機(jī)器當(dāng)中。在一些示例實(shí)施方案中，一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的模塊可位于單個(gè)地理位置中(例如在家庭環(huán)境、辦公室環(huán)境內(nèi)或作為服務(wù)器農(nóng)場)。在其它示例實(shí)施方案中，一個(gè)或多個(gè)處理器或處理器實(shí)現(xiàn)的模塊可分布在多個(gè)地理位置當(dāng)中。

從算法或?qū)?shù)據(jù)的操作的符號表示方面介紹了這個(gè)說明書的一些部分，數(shù)據(jù)被存儲為在機(jī)器存儲器(例如計(jì)算機(jī)存儲器)內(nèi)的位或二進(jìn)制數(shù)字信號。這些算法或符號表示是由在數(shù)據(jù)處理領(lǐng)域中的普通技術(shù)人員使用來將他們的工作的實(shí)質(zhì)傳達(dá)給本領(lǐng)域中的其他技術(shù)人員的技術(shù)的例子。如在本文使用的，“算法”或“例程”是導(dǎo)致期望結(jié)果的操作或類似處理的前后一致的序列。在這個(gè)上下文中，算法、例程和操作涉及物理量的物理操縱。一般但不是必須，這樣的量可采取能夠由機(jī)器存儲、訪問、傳輸、組合、比較或否則操縱的電、磁或光信號的形式。主要為了普通使用的原因，使用詞例如“數(shù)據(jù)”、“內(nèi)容”、“位”、“值”、“元件”、“符號”、“字符”、“項(xiàng)”、“號碼”、“數(shù)字”等表示這樣的信號有時(shí)是方便的。然而，這些詞僅僅是方便標(biāo)簽且應(yīng)與適當(dāng)?shù)奈锢砹肯嚓P(guān)。

除非另外特別規(guī)定，否則使用詞例如“處理”、“計(jì)算”、“確定”、“顯現(xiàn)”、“顯示”等的本文的討論可以指操縱或轉(zhuǎn)換被表示為在一個(gè)或多個(gè)存儲器(例如易失性存儲器、非易失性存儲器或其組合)、寄存器或接收、存儲、傳輸或顯示信息的其它機(jī)器部件內(nèi)的物理(例如電、磁或光)量的機(jī)器(例如計(jì)算機(jī))的行動或過程。

本文中，流程圖示出了當(dāng)前實(shí)施例的一個(gè)可能實(shí)現(xiàn)方式的功能和操作。就這一點(diǎn)而言，每個(gè)方框可代表程序代碼的模塊、片段或部分，其包括用于實(shí)現(xiàn)過程中的特定邏輯功能或步驟的處理器可運(yùn)行的一個(gè)或多個(gè)指令。程序代碼可被存儲在任意類型的計(jì)算機(jī)可讀介質(zhì)或存儲器中，諸如例如包括盤或硬盤驅(qū)動器的存儲裝置。計(jì)算機(jī)可讀介質(zhì)可包括非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，諸如例如像寄存器存儲器、處理器緩存和隨機(jī)訪問存儲器(randomaccessmemory，ram)那樣短時(shí)間存儲數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)還可包括諸如次級或永久長期存儲裝置之類的非暫態(tài)介質(zhì)或存儲器，例如像只讀存儲器(readonlymemory，rom)、光盤或磁盤、致密盤只讀存儲器(compact-discreadonlymemory，cd-rom)。計(jì)算機(jī)可讀介質(zhì)也可以是任何其它易失性或非易失性存儲系統(tǒng)。計(jì)算機(jī)可讀介質(zhì)可被看作例如計(jì)算機(jī)可讀存儲介質(zhì)、有形存儲裝置或者其它制品。

非暫態(tài)計(jì)算機(jī)可讀介質(zhì)也可分布在多個(gè)數(shù)據(jù)存儲元件之間，這些數(shù)據(jù)存儲元件的位置可彼此遠(yuǎn)離。

如在本文使用的，對“一個(gè)實(shí)施方式”或“實(shí)施方式”的任何提及意指關(guān)于該實(shí)施方式描述的特定的元件、特征、結(jié)構(gòu)或特性包括在至少一個(gè)實(shí)施方式中。短語“在一個(gè)實(shí)施方式中”在說明書中的不同地方的出現(xiàn)并不一定都指同一實(shí)施方式。

可使用措辭“耦合”和“連接”連同其衍生詞一起描述一些實(shí)施方案。例如，可使用術(shù)語“耦合”描述一些實(shí)施方案以指示兩個(gè)或多個(gè)元件處于直接物理或電接觸中。然而，術(shù)語“耦合”也可意指兩個(gè)或多個(gè)元件彼此不直接接觸，但然而仍然彼此協(xié)作或交互作用。實(shí)施方案并不被限制在這個(gè)上下文中。

如在本文使用的，術(shù)語“包括”、“具有”或其任何其它變形被預(yù)期涵蓋非排他的包括。例如，包括元件的列表的過程、方法、物件或裝置不一定只限于那些元件，而是可包括未明確列出或這樣的過程、方法、物件或裝置固有的其它元件。此外，除非相反明確地規(guī)定，否則“或”指包括端點(diǎn)的而不是排他的或。例如，條件a或b由下列項(xiàng)中的任一個(gè)滿足：a為真(或存在)且b為假(或不存在)、a為假(或不存在)且b為真(或存在)以及a和b都為真(或存在)。

當(dāng)閱讀本說明書時(shí)，本領(lǐng)域中的技術(shù)人員將認(rèn)識到還有額外的可選結(jié)構(gòu)和功能設(shè)計(jì)，其用于鑒于對企業(yè)的相關(guān)訪問通過本文公開的原理有效地產(chǎn)生內(nèi)容用于顯示在便攜式設(shè)備處。因此，雖然示出和描述了特定的實(shí)施方案和應(yīng)用，但是應(yīng)理解，所公開的實(shí)施方案不限于本文公開的精確構(gòu)造和部件?？稍诒疚墓_的方法和裝置的布置、操作和細(xì)節(jié)中做出對本領(lǐng)域中的技術(shù)人員明顯的各種修改、改變和變更，而不偏離在所附權(quán)利要求中規(guī)定的精神和范圍。