專利名稱：用于與虛擬環(huán)境中的對象進(jìn)行交互的系統(tǒng)的制作方法
用于與虛擬環(huán)境中的對象進(jìn)行交互的系統(tǒng)技術(shù)領(lǐng)域
本公開涉及一種促進(jìn)多個用戶與3維(3d)虛擬環(huán)境的交互的系統(tǒng)和技術(shù)。
技術(shù)背景
諸如計算機之類的網(wǎng)絡(luò)化電子設(shè)備越來越流行。這些設(shè)備促進(jìn)用戶之間增加的 通信、交互和協(xié)作。
通常使用虛擬環(huán)境(其也被稱為“虛擬世界”或“虛擬現(xiàn)實”)來促進(jìn)網(wǎng)絡(luò)化 電子設(shè)備的多個用戶之間的交互。然而，使用現(xiàn)有系統(tǒng)和軟件工具，這些交互會隨著這 些系統(tǒng)中用戶數(shù)目的增加而變得更困難。例如，如果多個用戶嘗試在虛擬環(huán)境中同時操 控多個對象(諸如虛擬角色(avatar))，則在它們網(wǎng)絡(luò)化電子設(shè)備上的顯示器會因它們的 行為而變得雜亂，因為用虛擬環(huán)境的共用內(nèi)容來顯示與不同用戶的行為相關(guān)聯(lián)的交互微 件(widget)。類似地，難以使使用虛擬環(huán)境的大量用戶協(xié)作地編輯或修改共用內(nèi)容，因 為用戶的行為可以被虛擬環(huán)境中的另一個用戶的行為遮掩(obscure)。
因此，需要一種促進(jìn)虛擬環(huán)境中多個用戶的交互的方法和系統(tǒng)，而沒有上文列 出的問題。發(fā)明內(nèi)容
本公開的一個實施例提供一種促進(jìn)與3維(3d)虛擬環(huán)境的交互的系統(tǒng)。該系 統(tǒng)包括存儲與3d環(huán)境相關(guān)聯(lián)的信息的控制器設(shè)備。此外，該系統(tǒng)包括耦合到所述控制 器設(shè)備并且顯示3d環(huán)境的第一顯示器。此外，該系統(tǒng)包括利用該控制器設(shè)備傳送信 息的至少一個便攜式電子設(shè)備。該便攜式電子設(shè)備包括檢測該便攜式電子設(shè)備的運動 的3d運動傳感器，所述運動包括線性運動、旋轉(zhuǎn)運動和/或手勢。此外，該便攜式電 子設(shè)備包括第二顯示器，其基于所檢測的運動顯示3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的 (context-dependent)信息的 3d 渲染(rendered)子集。
應(yīng)該注意，該便攜式電子設(shè)備可以包括蜂窩電話。此外，3d運動傳感器可以包 括加速計。
在一些實施例中，3d環(huán)境可以包括虛擬現(xiàn)實。此外，3d環(huán)境的子集可以包括至 少一部分對象或至少一部分虛擬角色。
此外，所檢測的運動可以對應(yīng)于3d環(huán)境中的運動，例如線性運動和/或旋轉(zhuǎn)運 動。可替換地或此外，所檢測的運動可以選擇3d環(huán)境中的對象或虛擬角色。例如，可 以使用手勢選擇對象。
在一些實施例中，與背景有關(guān)的信息包括與3d環(huán)境的子集相關(guān)聯(lián)的菜單。因 此，所檢測的運動可以對應(yīng)于瀏覽(navigate through)菜單。
在一些實施例中，該系統(tǒng)包括多個與用戶相關(guān)聯(lián)的便攜式電子設(shè)備。應(yīng)該注 意，給定便攜式電子設(shè)備可以基于所檢測到的給定便攜式電子設(shè)備的運動向給定用戶顯 示3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的給定子集。此外，在第一顯示器上顯示的3d環(huán)境可以包括用戶共用的信息。此外，在至少兩個便攜式電子設(shè)備上顯示的3d環(huán)境的3d 渲染子集可以是不同的。
該系統(tǒng)可以促進(jìn)3d環(huán)境中信息的用戶的協(xié)作編輯和/或3d環(huán)境中用戶的協(xié)作交互。
在一些實施例中，如果在3d環(huán)境中出現(xiàn)與經(jīng)由相關(guān)聯(lián)的便攜式電子設(shè)備提供的 信息的改變相關(guān)聯(lián)的沖突，則控制器設(shè)備經(jīng)由相關(guān)聯(lián)的便攜式電子設(shè)備向至少兩個用戶 提供反饋。
此外，該第二顯示器包括觸感式(touch-sensitive)顯示器，其基于用戶與第二顯 示器表面的交互來顯示3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的3d渲染子集。
另外，該便攜式電子設(shè)備可以向中央控制器提供唯一的標(biāo)識符。作為響應(yīng)，該 控制器設(shè)備可以初始地基于該唯一的標(biāo)識符提供用于在該第二顯示器上顯示的3d環(huán)境以 及相關(guān)聯(lián)的與背景有關(guān)的信息的3d渲染子集。
另一個實施例提供一種與3d環(huán)境進(jìn)行交互的方法，其可以由控制器設(shè)備來執(zhí) 行。在操作期間，該控制器設(shè)備訪問所存儲的與3d環(huán)境相關(guān)聯(lián)的信息，并且將與該3d 環(huán)境相關(guān)聯(lián)的信息提供給第一顯示器以用于顯示。然后，該控制器設(shè)備從便攜式電子設(shè) 備接收對3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的3d渲染子集的請求。應(yīng)該注意，該 請求可以基于所檢測的便攜式電子設(shè)備的運動，并且所檢測的便攜式電子設(shè)備的運動可 以包括線性運動、旋轉(zhuǎn)運動和/或手勢。接著，該控制器設(shè)備向便攜式電子設(shè)備提供 3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的子集以用于顯示在便攜式電子設(shè)備的第二顯示 器上。
另一個實施例提供一種結(jié)合該系統(tǒng)使用的計算機程序產(chǎn)品。該計算機程序產(chǎn)品 包括用于上述操作中的至少一些的指令。


圖1是圖示根據(jù)本公開的實施例的系統(tǒng)的框圖。
圖2是圖示根據(jù)本公開的實施例與3維(3d)環(huán)境進(jìn)行交互的過程的流程圖。
圖3是根據(jù)本公開的實施例顯示在圖1的顯示器和便攜式設(shè)備上的信息的圖。
圖4是圖示根據(jù)本公開的實施例的計算機系統(tǒng)的框圖。
圖5是圖示根據(jù)本公開的實施例的數(shù)據(jù)結(jié)構(gòu)的框圖。
應(yīng)該注意，相同的參考數(shù)字在圖中自始至終指對應(yīng)的部分。此外，相同部分的 多個實例由用短橫線與實例編號分開的共用前綴指出。
具體實施方式
給出下面的描述來使得本領(lǐng)域任何技術(shù)人員能夠制造并使用本公開，并且在特 定應(yīng)用以及其需求的背景中提供下面的描述。對本領(lǐng)域技術(shù)人員來說顯而易見的是，對 所公開實施例的各種修改將是容易的，并且在不偏離本公開的精神和范圍的情況下本文 所限定的一般原理可以應(yīng)用于其它實施例和應(yīng)用。因此，本公開不意圖限制于所示出的 實施例，而是其將被給予與本文所公開的原理和特征一致的最寬的范圍。
描述了促進(jìn)與3d虛擬環(huán)境的交互的系統(tǒng)、方法和計算機程序產(chǎn)品(例如軟件)的實施例。在該系統(tǒng)中，控制器設(shè)備將與3d虛擬環(huán)境相關(guān)聯(lián)的信息提供給第一顯示器。 此外，該系統(tǒng)包括至少一個便攜式電子設(shè)備，其包括第二顯示器和檢測該便攜式電子設(shè) 備的運動(例如線性運動、旋轉(zhuǎn)運動和/或手勢)的3d運動傳感器。該便攜式電子設(shè)備 將所檢測的運動傳送給控制器設(shè)備。作為響應(yīng)，該控制器設(shè)備向便攜式電子設(shè)備提供3d 環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的3d渲染子集，其被顯示在第二顯示器上。
該系統(tǒng)允許多個用戶同時查看和/或改變與3d虛擬環(huán)境相關(guān)聯(lián)的信息。特別 地，每個用戶可以查看與他們相關(guān)的信息以及相關(guān)聯(lián)的與背景有關(guān)的信息(例如菜單)的 3d渲染子集。同時，在第一顯示器上呈現(xiàn)全3d虛擬環(huán)境，由此將該信息(即狀況感知) 的綜述(overview)提供給所有用戶。此外，用戶可以在不引起雜亂或遮掩在第一顯示器 上顯示的信息的情況下操控或改變他們的便攜式電子設(shè)備上的信息的子集。系統(tǒng)以這種 方式來促進(jìn)3d虛擬環(huán)境中信息的用戶的協(xié)作編輯和/或3d虛擬環(huán)境中用戶的協(xié)作交互。
我們現(xiàn)在討論促進(jìn)與3d虛擬環(huán)境的交互的系統(tǒng)的實施例。圖1給出圖示系統(tǒng) 100的框圖。該系統(tǒng)允許對應(yīng)便攜式電子設(shè)備114的一個或多個用戶與3d虛擬環(huán)境(例 如虛擬空間或虛擬現(xiàn)實)中的信息交互，修改和/或控制該3d虛擬環(huán)境中的信息。特別 地，系統(tǒng)100中的控制器設(shè)備110中的3d虛擬環(huán)境模塊118訪問所存儲的環(huán)境信息120 并且基于環(huán)境信息120生成3d虛擬環(huán)境。然后，3d環(huán)境模塊118將信號或指令提供給虛 擬世界客戶端129，其經(jīng)由通信模塊116和網(wǎng)絡(luò)112耦合到控制器設(shè)備110。虛擬世界客 戶端1 可以是基于軟件的或基于硬件的，并且與顯示器130(例如大的平板屏幕或投影 顯示器)進(jìn)行通信。顯示器130接著將3d虛擬環(huán)境顯示給一個或多個用戶。
單獨地或同時，用戶可以使用便攜式電子設(shè)備114來與同3d虛擬環(huán)境相關(guān)聯(lián)的 信息(或內(nèi)容)交互，操控和/或修改該信息(或內(nèi)容)。例如，每一個便攜式電子設(shè) 備114(例如便攜式電子設(shè)備114-1)可以包括3d運動傳感器(例如加速計)，其檢測該便 攜式電子設(shè)備的運動，包括線性運動、旋轉(zhuǎn)運動和/或手勢。所檢測的便攜式電子設(shè)備 114-1的運動可以對應(yīng)于3d虛擬環(huán)境中的對象或虛擬角色的運動。因此，便攜式電子設(shè) 備114-1的用戶可以將該設(shè)備用作“魔杖(magic wand)”以操控在顯示器130上顯示的 3d虛擬環(huán)境中的對象。
可替換地或附加地，所檢測的運動可以選擇3d虛擬環(huán)境中的對象或虛擬角色 (例如可以使用手勢來選擇對象)以顯示在便攜式電子設(shè)備114-1上。例如，便攜式電子 設(shè)備114-1的用戶可以移動該設(shè)備以便選擇或修改一個或多個對象(并且更一般地，3d虛 擬環(huán)境中的信息的3d渲染子集)的呈現(xiàn)。軟件應(yīng)用122-1中的運動檢測模塊1沈-1可以 解釋所檢測到的便攜式電子設(shè)備114-1的運動(例如作為本地光標(biāo)的操控)，并且可以相 應(yīng)地經(jīng)由通信模塊116和網(wǎng)絡(luò)112將對3d虛擬環(huán)境中的信息(例如對象的至少一部分或 虛擬角色的至少一部分)以及相關(guān)聯(lián)的與背景有關(guān)的信息(例如與對象或虛擬角色的至少 一部分相關(guān)聯(lián)的菜單或交互微件)的對應(yīng)子集的請求提供給控制器設(shè)備110。作為響應(yīng)， 控制器設(shè)備110可以將所請求的信息和相關(guān)聯(lián)的與背景有關(guān)的信息的子集提供給便攜式 電子設(shè)備114-1。然后，軟件應(yīng)用122-1中的3d顯示模塊124-1可以在顯示器128-1上 顯示信息和相關(guān)聯(lián)的與背景有關(guān)的信息的子集。
隨后，用戶可以通過移動便攜式電子設(shè)備114-1來操控和/或改變顯示在便攜式 電子設(shè)備114-1上的信息和/或相關(guān)聯(lián)的與背景有關(guān)的信息的呈現(xiàn)以及/或者修改顯示在便攜式電子設(shè)備114-1上的信息和/或相關(guān)聯(lián)的與背景有關(guān)的信息的子集。例如，通過 移動便攜式電子設(shè)備114-1，用戶可以能夠瀏覽與信息的子集相關(guān)聯(lián)的菜單，并且可以能 夠在菜單中選擇特定命令。
可替換地或附加地，通過移動便攜式電子設(shè)備114-1，用戶可以能夠在顯示器 1觀-1上改變對象的取向，和/或可以能夠編輯或改變該對象。例如，通過移動便攜式電 子設(shè)備114-1，用戶可以在虛擬環(huán)境中改變軸線的透視(perspective)或取向。因此，用戶 可以動態(tài)地與虛擬環(huán)境中的內(nèi)容“交互”，以使得用戶的行為可以修改內(nèi)容以及如何顯 不它。
應(yīng)該注意，這些呈現(xiàn)和/或內(nèi)容改變可以不被顯示在其它便攜式電子設(shè)備114中 的顯示器1 或顯示器130上，直到用戶允許更新全局信息為止或直到出現(xiàn)后續(xù)用戶會話 為止。然而，在一些實施例中，對每一個便攜式電子設(shè)備114上的信息的子集的改變可 以被實時地顯示在顯示器130上，即沒有延遲或不用等待用戶批準(zhǔn)。在任一種情況下， 控制器設(shè)備110可以存儲或保持虛擬信息120中包括任何用戶特定改變的信息，以在相同 用戶會話和/或后續(xù)用戶會話中使用。
每個用戶可以經(jīng)由他們對應(yīng)的便攜式電子設(shè)備114以這種方式“察看”適合于 他們或他們所感興趣的信息和相關(guān)聯(lián)的與背景有關(guān)的信息的3d渲染子集或者與該3d渲 染子集交互。(因此，顯示在至少兩個便攜式電子設(shè)備114上的信息的子集可以是不同 的)。此外，顯示器130上的3d虛擬環(huán)境中的信息可向所有用戶提供關(guān)于共用信息的綜 述(或狀況感知)，而不會因為用戶對顯示在他們對應(yīng)的便攜式電子設(shè)備114上的信息的 子集所進(jìn)行的各種改變而變成被弄亂。
因此，系統(tǒng)100中的便攜式電子設(shè)備114可以提供到3d虛擬環(huán)境的接口，以允 許用戶經(jīng)由顯示器130上的3d虛擬環(huán)境中的信息以及顯示在顯示器1 上的信息的子集 二者來彼此交互并且與相同3d虛擬環(huán)境中的內(nèi)容交互。
在一些實施例中，便攜式電子設(shè)備114包括蜂窩電話，例如所謂的“智能”電 話。然而，可以使用各種各樣的便攜式電子設(shè)備，其包括平板計算機、個人數(shù)字助理和 /或筆記本計算機或膝上型計算機。
在一些實施例中，如果在3d虛擬環(huán)境中出現(xiàn)與經(jīng)由相關(guān)聯(lián)的便攜式電子設(shè)備提 供的信息的改變相關(guān)聯(lián)的沖突，則控制器設(shè)備110經(jīng)由與至少兩個用戶相關(guān)聯(lián)的便攜式 電子設(shè)備向該至少兩個用戶提供反饋。例如，蜂窩電話的振動模式可以被用來向這些用 戶中的每一個提供反饋。如果一個用戶嘗試操控已經(jīng)由另一個用戶“控制”的對象，則 該用戶的“蜂窩電話可以振動，從而指示已經(jīng)拒絕嘗試或請求。應(yīng)該注意，這樣的觸覺 反饋還可以用來提供3d虛擬環(huán)境中地形的“粗糙度”的指示，例如在用戶的虛擬角色在 3d虛擬環(huán)境中移動的情況下。
此外，在一些實施例中，每個便攜式電子設(shè)備114向中央控制器設(shè)備110提供唯 一的標(biāo)識符。作為響應(yīng)，控制器設(shè)備110可以初始提供3d虛擬環(huán)境以及相關(guān)聯(lián)的與背景 有關(guān)的信息的子集以顯示在顯示器1 上。例如，來自蜂窩電話的信號可以標(biāo)識蜂窩電 話?；谶@一標(biāo)識，系統(tǒng)100可以為用戶選擇適當(dāng)?shù)奶摂M角色并且可以使用戶登入系統(tǒng) 100。
盡管前面的討論已將運動用作操控或控制3d虛擬環(huán)境中的信息的方式的說明性實例，但是可以使用其它用戶接口技術(shù)。例如，顯示器1 可以包括觸感式顯示器。用 戶可以通過觸摸顯示器128-1的表面以及激活虛擬微件或圖標(biāo)來操控、控制和/或修改顯 示在便攜式電子設(shè)備114-1上的3d虛擬環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息以及顯示在 顯示器130上的3d虛擬環(huán)境中的信息的子集。
此外，盡管虛擬環(huán)境是3d的，但是在一些實施例中虛擬環(huán)境是2維Qd)的。 此外，信息或內(nèi)容可以是2d(例如平面文本)或3d的。例如，如參考圖3所描述的那 樣，信息可以包括復(fù)雜的對象，其包括多個相關(guān)的組件或相對于彼此具有空間關(guān)系的組 件。更一般地，在系統(tǒng)100中保持的內(nèi)容可以包括多種數(shù)據(jù)，其包括文本、音頻、音 樂、圖像和/或時間圖像信息(例如動畫序列)。此外，該數(shù)據(jù)可以與多種格式兼容， 所述格式包括圖像格式(例如Joint Photographic ExpertsGroup標(biāo)準(zhǔn))、視頻格式(例如 Moving Pictures Expert Group標(biāo)準(zhǔn))、以及文字處理或信息顯示格式(例如來自San Jose, California 的 Adobe Systems, Inc.的 Adobe Acrobat )。應(yīng)該注意，控制器設(shè)備 110 可以 本地地和/或遠(yuǎn)程地將該信息或內(nèi)容存儲在系統(tǒng)100中。
應(yīng)該注意，軟件應(yīng)用122可以駐留在各自的便攜式電子設(shè)備114(例如便攜式電 子設(shè)備114-1)上，并且可以在各自的便攜式電子設(shè)備114(例如便攜式電子設(shè)備114-1) 上執(zhí)行。例如，軟件應(yīng)用122-1可以是獨立的程序或者可以被嵌入在另一個軟件應(yīng)用 中?？商鎿Q地，軟件應(yīng)用可以是嵌入在網(wǎng)頁中的軟件應(yīng)用工具，例如軟件應(yīng)用可以在由 網(wǎng)絡(luò)瀏覽器提供的虛擬操作環(huán)境中執(zhí)行。(因此，系統(tǒng)100可以實施客戶端-服務(wù)器架 構(gòu))。在說明性實施例中，軟件應(yīng)用工具是以Java Script (Sun Microsystems, Inc.的商 標(biāo))編寫的軟件包，例如軟件應(yīng)用工具包括包含JavaScript指令、ECMAScript(歐洲計算 機制造商協(xié)會公布的規(guī)范)、VBScript (Microsoft, he.的商標(biāo))或任何其它客戶端側(cè)腳 本語言的程序或過程。換句話說，所嵌入的軟件應(yīng)用工具可以包括這樣的程序或過程， 該程序或過程包含Java Script、ECMAScript指令、VBScript指令或適合于由便攜式電 子設(shè)備114上的Web瀏覽器或另一個客戶端應(yīng)用渲染的另一個編程語言中的指令。
現(xiàn)在我們描述操作系統(tǒng)100的過程。圖2給出圖示與3d虛擬環(huán)境交互的過程 200的流程圖，所述過程200可由(圖1)的控制器設(shè)備110執(zhí)行。在操作期間，控制器 設(shè)備訪問所存儲的與3d環(huán)境相關(guān)聯(lián)的信息(操作210)并且將與3d環(huán)境相關(guān)聯(lián)的信息提 供給第一顯示器以用于顯示(操作21 。然后，控制器設(shè)備從便攜式電子設(shè)備接收對3d 環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的子集的請求(操作214)。應(yīng)該注意，該請求基于 所檢測到的便攜式電子設(shè)備的運動，并且所檢測到的便攜式電子設(shè)備的運動可以包括 線性運動、旋轉(zhuǎn)運動和/或手勢。接著，控制器設(shè)備向便攜式電子設(shè)備提供3d環(huán)境以及 相關(guān)聯(lián)的與背景有關(guān)的信息的子集以用于顯示在該便攜式電子設(shè)備的第二顯示器上(操 作 216)。
在一些實施例中，過程200包括附加或較少的操作。例如，操作210-216可以可 選地對相同用戶和/或多個用戶中的一個或多個其它用戶重復(fù)(操作218)多次。此外， 操作的順序可以改變和/或兩個或更多操作可以被結(jié)合到單個操作中。
我們現(xiàn)在描述軟件應(yīng)用122(圖1)的用戶接口的實施例。圖3給出顯示在顯示 器130上的3d虛擬環(huán)境中的信息和顯示在系統(tǒng)100(圖1)的便攜式設(shè)備114中的顯示器 1 上的信息以及相關(guān)聯(lián)的與背景有關(guān)的信息的子集的圖。特別地，顯示器130顯示(具有軸線308的)虛擬環(huán)境中的復(fù)雜對象310(例如復(fù)雜機器)。通過移動他們的便攜式電 子設(shè)備114和/或觸摸顯示器128的表面，用戶可以選擇復(fù)雜對象310的部分，例如對象 312-1 和 312-2。
此外，用戶可以操控、控制和/或修改顯示在顯示器1 上的信息和相關(guān)聯(lián)的與 背景有關(guān)的信息的子集。例如，便攜式電子設(shè)備114-2的用戶可以移動該設(shè)備以便瀏覽 相關(guān)聯(lián)的菜單314-2(即，相關(guān)聯(lián)的與背景有關(guān)的信息)。在過程中，用戶可以旋轉(zhuǎn)或改 變對象312-2在顯示器1觀_2上的呈現(xiàn)。然而，顯示在顯示器130上的復(fù)雜對象310的 共用信息可以仍然不變。菜單314-2可以包括關(guān)于對象312-2的信息，例如組件、材料 成分和/或修訂的歷史。在一些實施例中，便攜式電子設(shè)備114-2的用戶可以用一只手 修理(repair)或作用于對象312-2，同時用另一只手拿著該便攜式電子設(shè)備114-2。
在示例性實施例中，便攜式電子設(shè)備114-1顯示與3d虛擬環(huán)境中的虛擬角色相 關(guān)聯(lián)的與背景有關(guān)的菜單314-1 (或交互微件)。當(dāng)便攜式電子設(shè)備114-1的用戶控制虛 擬角色時，可以顯示支配虛擬角色(avatar-puppeting)的微件和菜單。更一般地，當(dāng)用戶 控制虛擬世界中對像時，可以顯示針于該對象的菜單和/或微件。此外，用戶可以在虛 擬角色模式(其用于控制虛擬角色)和對象模式(其用于控制虛擬對象)之間來回切換 (toggle)便攜式電子設(shè)備114-1。在虛擬角色模式中，用戶可以選擇(虛擬角色對應(yīng)的) 表情，或者可以選擇移動控制或位置。在對象模式中，系統(tǒng)100(圖1)顯示3d虛擬環(huán)境 中的3d光標(biāo)，其可以用于選擇對象。更一般地，在這些操作模式中，便攜式電子設(shè)備 114-1可以用作虛擬光標(biāo)，或者用作所選擇的對象或虛擬角色的代理。
當(dāng)用戶(例如通過移動便攜式電子設(shè)備114-1)與便攜式電子設(shè)備114-1上的 菜單/微件交互時，經(jīng)由網(wǎng)絡(luò)112 (圖1)例如使用諸如(來自Bel levue, Washington的 Bluetooth SIG Inc的)Bluetooth 或網(wǎng)際協(xié)議集(TCP-IP)之類的通信協(xié)議將命令發(fā)送給3d 環(huán)境模塊118(圖1)。
應(yīng)該注意，運動檢測模塊126(圖1)可以在用戶使用便攜式電子設(shè)備114操控3d 環(huán)境中的對象和/或虛擬角色的同時支持交互的若干模式。在一些實施例中，通過沿著 物理空間的一個或多個軸線移動便攜式電子設(shè)備114-1，在3d虛擬環(huán)境中移動對應(yīng)的光 標(biāo)或虛擬角色。然而，在交互的該模式中，可能存在對移動尺寸的限制。因此，對運動 的限制可以被限定以使得用戶可以僅操控3d虛擬環(huán)境中緊鄰的對象。當(dāng)便攜式電子設(shè)備 114-1處于這些限制之外時，可以在該方向上滾動(scroll)虛擬角色或光標(biāo)?？商鎿Q地， 通過傾斜便攜式電子設(shè)備114-1，光標(biāo)或虛擬角色可以同樣地在3d虛擬環(huán)境中移動。此 外，隨著用戶穿過3d虛擬環(huán)境，可以在顯示器128-1(圖1)上顯示它們的位置的2d圖， 并且該圖可以隨著用戶移動而滾動。
在一些實施例中，3d虛擬環(huán)境響應(yīng)于手勢命令集，可以通過操控或移動便攜式 電子設(shè)備114-1來發(fā)送該手勢命令集。例如，運動檢測模塊1沈-1 (圖1)可以將一系列 迅速水平揮擊轉(zhuǎn)換成當(dāng)前選擇的3d對象的刪除。類似地，逆時鐘圓周運動(例如旋開蓋 子)可以被運動檢測模塊126-1 (圖1)轉(zhuǎn)換成“取消群組”操作。從而將當(dāng)前對象分成 其組件部分或塊。當(dāng)這些操作被執(zhí)行時，顯示器128-1可以被用來顯示與用戶有關(guān)的信 息，從而在顯示器130上為其它用戶空出空間。
系統(tǒng)100(圖1)的另一個應(yīng)用是協(xié)作編輯。如果多個用戶嘗試同時在顯示器130上編輯3d對象，則將存在同時顯示的非常多數(shù)目的彈出菜單、工具欄等等。結(jié)果產(chǎn)生的 雜亂和可能的所感興趣的對象遮擋使得難以使用戶一起工作。然而，通過將這些菜單和 工具欄移動到每個單個用戶的便攜式電子設(shè)備上，顯示器130可以提供3d虛擬環(huán)境中所 有3d對象以及它們的位置的清楚顯示，同時在用戶的便攜式電子設(shè)備114上為用戶提供 與它們的當(dāng)前編輯任務(wù)有關(guān)的信息的子集。
因此，系統(tǒng)100(圖1)可促進(jìn)3d虛擬環(huán)境中信息的用戶的協(xié)作編輯，例如文 獻(xiàn)、聯(lián)機百科全書、聯(lián)機使用手冊(例如“交互式”文檔)、遠(yuǎn)程維護(hù)、遠(yuǎn)程訓(xùn)練和/或 遠(yuǎn)程外科手術(shù)的編輯。在一些實施例中，協(xié)作編輯包括3d對象以及相關(guān)聯(lián)的文本信息。 這些3d對象可以包括給定3d對象中組件之間的空間圖像信息，以及相關(guān)聯(lián)的文本信息和 空間圖像信息之間的一個或多個雙向鏈路。
在另一個實施例中，當(dāng)用戶控制虛擬角色時，“社交命令(socialcommand) ”被顯示在顯示器130和/或一個或多個顯示器1 上。因此，作為對使用鍵盤上鍵入的表 情(例如“/smile”)(它可以是麻煩的)的代替，用戶可以通過使用觸摸屏或滾動輪來 點擊它們或者通過移動便攜式電子設(shè)備114-1來激活一個或多個社交命令。此外，顯示 器128-1上的“操縱(puppeteering) ”命令可以是對背景敏感的，以使得能夠基于當(dāng)前或 推斷的用戶任務(wù)來顯示最適合的選項(例如當(dāng)用戶處于社交交互的中間時可以顯示表情 列表，以及當(dāng)用戶選擇一個對象時可以顯示工具列表)。因此，系統(tǒng)100(圖1)可以促進(jìn) 3d虛擬環(huán)境中用戶的協(xié)作交互。
我們現(xiàn)在進(jìn)一步描述執(zhí)行過程200 (圖2、的計算機系統(tǒng)的實施例(其可以包括在 圖1的系統(tǒng)100中)。圖4給出圖示計算機系統(tǒng)400的框圖，例如控制器設(shè)備110 (圖1) 和/或給定一個便攜式電子設(shè)備114(圖1)。計算機系統(tǒng)400包括一個或多個運動傳 感器408、一個或多個處理器410、通信接口 412、用戶接口 414和將這些組件耦合到一 起的一個或多個信號線422。應(yīng)該注意，一個或多個處理單元410可以支持并行操作和/ 或多線程操作，通信接口 412可以具有持久的通信連接，并且一個或多個信號線422可以 構(gòu)成通信總線。此外，用戶接口 414可以包括顯示器416、鍵盤418和/或指針420，例 如鼠標(biāo)。
計算機系統(tǒng)400中的存儲器4M可以包括易失性存儲器和/或非易失性存儲器。 更具體地，存儲器4 可以包括ROM、RAM、EPROM> EEPROM>閃存、一個或多 個智能卡、一個或多個磁盤存儲設(shè)備、以及/或者一個或多個光存儲設(shè)備。存儲器424 可以存儲操作系統(tǒng)426，該操作系統(tǒng)似6包括用于處理執(zhí)行與硬件有關(guān)的任務(wù)的各種基本 系統(tǒng)服務(wù)的過程(或指令集)。在一些實施例中，操作系統(tǒng)4 是實時操作系統(tǒng)。盡管 未在圖4中示出，但是在一些實施例中，存儲器似4包括web瀏覽器。存儲器似4還可 以存儲通信模塊4 中的通信過程(或指令集)。這些通信過程可以用于與包括相對于計 算機系統(tǒng)400遠(yuǎn)程定位的計算機、設(shè)備和/或服務(wù)器的一個或多個計算機、設(shè)備和/或服 務(wù)器進(jìn)行通信。
存儲器似4還可以包括多個程序模塊(或指令集)，其包括3d環(huán)境模塊118 (或 指令集)和軟件應(yīng)用工具430(或指令集)。此外，軟件應(yīng)用工具430可以包括3d顯示 模塊432 (或指令集)、運動檢測模塊434 (或指令集)和/或觸覺監(jiān)控模塊436 (或指令 集)。應(yīng)該注意，這些程序模塊的一個或多個(或指令集)可以構(gòu)成計算機程序機制。
如先前所描述的那樣，3d環(huán)境模塊118可以訪問環(huán)境信息120，并且可以生成在 顯示器130上顯示的3d虛擬環(huán)境。此外，便攜式電子設(shè)備114(圖1)上的軟件應(yīng)用工具 430的用戶可以經(jīng)由它們的便攜式電子設(shè)備操控或控制一個或多個文檔442或?qū)ο?虛擬 角色444。特別地，一個或多個運動傳感器408(以及相關(guān)聯(lián)的硬件控制器)可以檢測給 定便攜式電子設(shè)備的檢測運動。然后，運動檢測模塊434可以解釋所檢測的運動?？商?換地或另外地，觸覺監(jiān)控模塊436可以解釋用戶與顯示器416(例如觸感式顯示器)的交 互。這些模塊可以使用通信模塊4 來轉(zhuǎn)發(fā)對3d虛擬環(huán)境中的信息以及相關(guān)聯(lián)的與背景 有關(guān)的信息438 (例如對象/虛擬角色A 440-1和對象/虛擬角色B 440-2的與背景有關(guān) 的信息)的子集的請求。
響應(yīng)于該請求，3d環(huán)境模塊118可以使用通信模塊4 來提供包含信息以及相 關(guān)聯(lián)的與背景有關(guān)的信息438的子集的指令或信號。然后，3d顯示模塊432可以在顯示 器416上顯示信息以及相關(guān)聯(lián)的與背景有關(guān)的信息438的子集。接著，用戶可以在查看 顯示器130上的共用內(nèi)容的同時操控、控制和/或改變該內(nèi)容。應(yīng)該注意，3d環(huán)境模塊 118可以保持環(huán)境信息120中的任何修改或改變的記錄(給定便攜式電子設(shè)備中的軟件應(yīng) 用工具430使用通信模塊4 將其轉(zhuǎn)發(fā)到3d環(huán)境模塊118)以用于用戶將來使用。
在一些實施例中，初始由給定便攜式電子設(shè)備使用通信模塊4 來提供一個或 多個標(biāo)識符446?；谠撘粋€或多個標(biāo)識符446，3d環(huán)境模塊118可以使給定便攜式電子 設(shè)備的用戶登錄系統(tǒng)，并且可以使用通信模塊4 將初始預(yù)先限定的信息以及相關(guān)聯(lián)的 與背景有關(guān)的信息438的子集提供給給定便攜式電子設(shè)備。此外，在一些實施例中，3d 環(huán)境模塊118可以使用通信模塊428向給定便攜式電子設(shè)備的用戶提供反饋，例如使用戶 接口 414中的組件振動的指令。例如，當(dāng)在與關(guān)于兩個用戶的各自便攜式電子設(shè)備的信 息的子集相關(guān)聯(lián)的該兩個用戶的行為之間出現(xiàn)沖突時，可以指示該組件振動。
可以以高級過程化語言、面向?qū)ο蟮木幊陶Z言和/或匯編或機器語言來實施存 儲器424中的各種模塊中的指令。該編程語言可以是經(jīng)過編譯或經(jīng)過解釋的，即可配置 或配置成由一個或多個處理單元410執(zhí)行的。
盡管計算機系統(tǒng)400被圖示為具有許多離散項，但是圖4意圖成為可以在計算機 系統(tǒng)400中給出的各種特征的功能描述，而不是本文所描述的實施例的結(jié)構(gòu)示意圖。實 際上，并且如本領(lǐng)域技術(shù)人員所認(rèn)識的那樣，計算機系統(tǒng)400的功能可以分布于大量設(shè) 備或計算機，其中設(shè)備或計算機的各個組群執(zhí)行功能的特定子集。在一些實施例中，計 算機系統(tǒng)400的一些或所有功能可以在一個或多個專用集成電路(AMC)和/或一個或多 個數(shù)字信號處理器(DSP)中實施。
計算機系統(tǒng)400中的計算機和服務(wù)器可以包括能夠操控計算機可讀數(shù)據(jù)或在 兩個或更多計算系統(tǒng)之間通過網(wǎng)絡(luò)傳送這些數(shù)據(jù)的各種設(shè)備中的一個，所述各種設(shè)備 包括個人計算機、膝上型計算機、主機計算機、便攜式電子設(shè)備(例如蜂窩電話或 PDA)、(客戶端服務(wù)器架構(gòu)中)的客戶端計算機和/或服務(wù)器。此外，網(wǎng)絡(luò)112(圖1) 可以包括因特網(wǎng)、萬維網(wǎng)(WWW)、內(nèi)聯(lián)網(wǎng)、LAN、WAN、MAN或網(wǎng)絡(luò)的組合、或 實現(xiàn)計算系統(tǒng)之間的通信的其它技術(shù)。
在一些實施例中，系統(tǒng)100(圖1)和/或計算機系統(tǒng)400包括較少或附加的組 件。此外，兩個或更多組件可以被組合成單個組件以及/或者可以改變一個或多個組件的位置。此外，如本領(lǐng)域中公知的那樣，系統(tǒng)100(圖1)和/或計算機系統(tǒng)400的功能 可以較多以硬件且較少以軟件、或者較少以硬件且較多以軟件來實施。
我們現(xiàn)在討論可以在計算機系統(tǒng)400中使用的數(shù)據(jù)結(jié)構(gòu)。圖5給出圖示數(shù)據(jù)結(jié) 構(gòu)500的框圖。該數(shù)據(jù)結(jié)構(gòu)可以包含與背景有關(guān)的信息510。例如，與背景有關(guān)的信息 510-1可以包括組件512-1(例如對象或虛擬角色)的標(biāo)識符、相關(guān)聯(lián)的菜單514-1和 命令516-1(例如社交命令)。
在一些實施例中，數(shù)據(jù)結(jié)構(gòu)500包括較少或附加的組件。此外，兩個或多個組 件可以結(jié)合成單個組件以及/或者可以改變一個或多個組件的位置。
僅為了說明和描述的目的，已給出本公開實施例的前述描述。它們不意圖是窮 舉的或者將本公開限制成所公開的形式。因此，對本領(lǐng)域?qū)I(yè)人員來說許多修改和變化 將是顯而易見的。另外，上述公開不意圖限制本公開。本公開的范圍由所附權(quán)利要求限 定。
權(quán)利要求
1.一種系統(tǒng)，包括控制器設(shè)備，被配置成存儲與3維(3d)環(huán)境相關(guān)聯(lián)的信息；耦合到所述控制器設(shè)備的第一顯示器，被配置成顯示3d環(huán)境；以及至少一個便攜式電子設(shè)備，被配置成與所述控制器設(shè)備傳送信息，其中所述便攜式 電子設(shè)備包括3d運動傳感器，被配置成檢測所述便攜式電子設(shè)備的運動，其中所述便攜式電子設(shè) 備的運動包括線性運動、旋轉(zhuǎn)運動、線性和旋轉(zhuǎn)運動、或手勢；以及第二顯示器，被配置成基于所檢測的運動顯示3d環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信 息的3d渲染子集。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括與用戶相關(guān)聯(lián)的多個便攜式電子設(shè)備，其中給 定便攜式電子設(shè)備基于所檢測到的所述給定便攜式電子設(shè)備的運動向給定用戶顯示3d環(huán) 境和相關(guān)聯(lián)的與背景有關(guān)的信息的給定子集；以及其中顯示在所述第一顯示器上的3d環(huán)境包括用戶共用的信息。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述系統(tǒng)促進(jìn)3d環(huán)境中用戶的協(xié)作交互。
4.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中如果在3d環(huán)境中出現(xiàn)與經(jīng)由相關(guān)聯(lián)的便攜式電 子設(shè)備提供的信息的改變相關(guān)聯(lián)的沖突，則所述控制器設(shè)備經(jīng)由相關(guān)聯(lián)的便攜式電子設(shè) 備向至少兩個用戶提供反饋。
全文摘要
本發(fā)明涉及用于與虛擬環(huán)境中的對象進(jìn)行交互的系統(tǒng)。描述了一種促進(jìn)與3維(3d)虛擬環(huán)境交互的系統(tǒng)。在該系統(tǒng)中，控制器設(shè)備向第一顯示器提供與3d虛擬環(huán)境相關(guān)聯(lián)的信息。此外，該系統(tǒng)包括至少一個便攜式電子設(shè)備，其包括第二顯示器和檢測便攜式電子設(shè)備的運動的3d運動傳感器，所述運動諸如線性運動、旋轉(zhuǎn)運動和/或手勢。該便攜式電子設(shè)備向該控制器設(shè)備傳送所檢測的運動。作為響應(yīng)，控制器設(shè)備向該便攜式電子設(shè)備提供在該第二顯示器上顯示的3d虛擬環(huán)境以及相關(guān)聯(lián)的與背景有關(guān)的信息的子集。
文檔編號G06F3/01GK102023706SQ20101028429
公開日2011年4月20日 申請日期2010年9月14日 優(yōu)先權(quán)日2009年9月15日
發(fā)明者M·羅伯茨, N·B·迪歇諾 申請人:帕洛阿爾托研究中心公司