利用追蹤的頭戴式顯示器的制造方法
【專利說明】利用追蹤的頭戴式顯示器
[0001] 背景 1.發(fā)明領(lǐng)域
[0002] 本發(fā)明涉及用于使用頭戴式顯示器（HMD)和控制器、以及HMD裝置單元的游戲玩 法的方法和系統(tǒng)。
[0003] 2.相關(guān)技術(shù)的描述
[0004] 視頻游戲行業(yè)這些年已經(jīng)發(fā)生了許多變化。隨著計算能力的擴展，視頻游戲的開 發(fā)者同樣已經(jīng)創(chuàng)建了利用這些增加的計算能力的游戲軟件。為此目的，視頻游戲開發(fā)者一 直在編碼并入有復(fù)雜操作和數(shù)學(xué)運算的游戲，以產(chǎn)生非常逼真的游戲體驗。然而，使用HMD 設(shè)備的游戲仍然需要許多改進。
[0005] 正是在這種情況下，本發(fā)明的實施方案應(yīng)運而生。
[0006] 概述
[0007] 本發(fā)明的實施方案提供用于在頭戴式顯示器（HMD)上渲染游戲的方法和系統(tǒng)。在 一些實施方案中，游戲玩法可與用戶所使用的控制器相關(guān)或用所述控制器進行。所述方法 限定追蹤HMD和控制器以及提供沉浸式交互性的方式。所追蹤的HMD和控制器能夠在三維 空間內(nèi)實現(xiàn)相關(guān)的交互式玩法。應(yīng)理解的是，本發(fā)明可以多種方式來實行，如程序、裝置、系 統(tǒng)、設(shè)備或計算機可讀介質(zhì)上的方法。以下描述本發(fā)明的若干發(fā)明性實施方案。
[0008] 公開了一種頭戴式顯示器，其包括頭部附接部分。還包括觀察模塊，所述觀察模塊 聯(lián)接到頭部附接部分。所述觀察模塊包括內(nèi)部部分和外部殼體，所述內(nèi)部內(nèi)部具有進入配 置用于渲染圖像內(nèi)容的屏幕中的觀察窗。還包括多個照明元件，所述多個照明元件與觀察 模塊的外部殼體整合在一起。多個照明元件被限定用于頭戴式顯示器的圖像追蹤，并且照 明邏輯用于將多個照明元件控制為活動的或不活動的。
[0009] 在一些實施方案中，由通信模塊交換的數(shù)據(jù)包括輸入數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、 和慣性數(shù)據(jù)。
[0010] 在一些實施方案中，多個照明元件被限定為發(fā)光二極管（LED)或紅外（IR)發(fā)射 器。
[0011] 在一些實施方案中，LED被限定來照明一種或多種顏色，所述一種或多種顏色的照 明是由照明邏輯控制。
[0012] 在一些實施方案中，多個照明元件以限定的圖案布置在外部殼體上。
[0013] 在一些實施方案中，外部殼體具有部分彎曲形狀，并且多個照明元件以圍繞所述 部分彎曲形狀的圖案布置。
[0014] 在一些實施方案中，外部殼體具有多個表面區(qū)域，并且多個照明元件以圍繞所述 多個表面區(qū)域的圖案布置。
[0015] 在一些實施方案中，其中多個照明元件包括兩個或更多個形狀或尺寸。
[0016] 在一些實施方案中，其中多個照明元件中的額外照明元件連接到頭部附接部分。
[0017] 在另一個實施方案中，公開了一種頭戴式顯示器（HMD)。所述HMD包括用于放置在 用戶頭部上的頭部附接部分以及聯(lián)接到所述頭部附接部分并且被配置用于放置在用戶的 眼睛前方的觀察模塊。觀察模塊包括內(nèi)側(cè)和包圍所述內(nèi)側(cè)的外部殼體，所述內(nèi)側(cè)具有進入 配置用于渲染圖像內(nèi)容的屏幕中的觀察窗。所述HMD還包括用于與計算機系統(tǒng)交換數(shù)據(jù)的 通信模塊。數(shù)據(jù)包括輸入數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、和慣性數(shù)據(jù)（以及可能的其他數(shù)據(jù)）。 所述HMD還包括用于處理圖像數(shù)據(jù)以便在屏幕上渲染圖像內(nèi)容的圖像處理模塊以及與觀 察模塊的外部殼體整合在一起的多個照明元件。多個照明元件被限定用于通過攝像機實現(xiàn) 的頭戴式顯示器的圖像追蹤。所述HMD還包括照明邏輯，所述照明邏輯用于在特定時間或 在使用期間將多個照明元件中的特定照明元件控制為活動的和/或不活動的。
[0018] 在一些實施方案中，外部殼體具有面向前部部分、第一側(cè)部分、和第二側(cè)部分。
[0019] 在一些實施方案中，多個照明元件中的第一個安置在面向前部部分的左側(cè)上，并 且多個照明元件中的第二個安置在面向前部部分的右側(cè)上。
[0020] 在一些實施方案中，多個照明元件中的第一個具有部分安置在面向前部部分和第 一側(cè)部分中的兩部分形狀，并且多個照明元件中的第二個具有部分安置在面向前部部分和 第二側(cè)部分中的兩部分形狀。
[0021] 在一些實施方案中，多個照明元件被限定為發(fā)光二極管（LED)或紅外（IR)發(fā)射 器。
[0022] 在一些實施方案中，LED被限定來照明一種或多種顏色，所述一種或多種顏色的照 明是由照明邏輯控制。
[0023] 在一些實施方案中，多個照明元件以限定的圖案布置在外部殼體上。
[0024] 在一些實施方案中，通信模塊是與計算機有線連接或無線連接的通信模塊。
[0025] 在一些實施方案中，慣性數(shù)據(jù)是由頭戴式顯示器響應(yīng)于在被用戶佩戴時檢測到的 移動生成。
[0026] 在一些實施方案中，輸入數(shù)據(jù)是由頭戴式顯示器響應(yīng)于在被用戶佩戴時的用戶輸 入生成。
[0027] 在一些實施方案中，音頻數(shù)據(jù)和圖像數(shù)據(jù)與待渲染在頭戴式顯示器處的交互式媒 體內(nèi)容相關(guān)聯(lián)。
[0028] 在一些實施方案中，交互式媒體內(nèi)容包括游戲數(shù)據(jù)、視頻數(shù)據(jù)、互聯(lián)網(wǎng)導(dǎo)航數(shù)據(jù)、 游戲數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)的組合、社交媒體數(shù)據(jù)、或其組合。
[0029] 在一些實施方案中，外部殼體具有部分彎曲形狀，并且多個照明元件以圍繞所述 部分彎曲形狀的圖案布置。
[0030] 在一些實施方案中，外部殼體具有多個表面區(qū)域，并且多個照明元件以圍繞所述 多個表面區(qū)域的圖案布置。
[0031 ] 在一些實施方案中，多個照明元件包括兩個或更多個形狀或尺寸。
[0032] 在一些實施方案中，多個照明元件中的額外照明元件連接到頭部附接部分。
[0033] 在一些實施方案中，多個照明元件以限定的圖案布置在外部殼體上。
[0034] 在另一個實施方案中，公開了一種頭戴式顯示器。所述頭戴式顯示器包括主體，所 述主體包括頭部附接部分和觀察模塊。觀察模塊包括具有進入配置用于渲染圖像內(nèi)容的屏 幕中的觀察窗的內(nèi)部部分，并且主體包括覆蓋觀察模塊的外部殼體。所述頭戴式顯示器還 包括與觀察模塊的外部殼體整合在一起的多個照明元件。多個照明元件被限定用于頭戴式 顯示器的圖像追蹤。多個照明元件以適當(dāng)?shù)膱D案布置。還包括照明邏輯，所述照明邏輯用 于將多個照明元件控制為活動的以便有助于圖像追蹤。
[0035] 提供了一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上的游戲的方法。執(zhí)行 在屏幕上渲染游戲的交互式場景。所述方法包括接收由用戶佩戴的HMD的數(shù)據(jù)，以便識別 HMD空間位置。所述方法還包括接收由用戶握持的控制器的數(shù)據(jù)，以便識別控制器空間位 置。在玩游戲期間，所述方法包括在屏幕上渲染進入游戲的交互式場景中的視角，其中所述 視角是在三維中渲染的空間體積。所述方法包括在檢測到HMD空間位置改變時調(diào)整視角。 控制器可以驅(qū)動游戲中的交互性，并且控制器位置的變化與HMD位置的變化是相關(guān)的以便 提供沉浸式三維玩游戲體驗。
[0036] 在一些實施方案中，控制器提供驅(qū)動交互性的輸入。
[0037] 在一些實施方案中，控制器空間位置的變化提供額外的輸入。
[0038] 在一些實施方案中，額外的輸入包括燈或慣性數(shù)據(jù)中的一個。
[0039] 在一些實施方案中，當(dāng)由攝像機觀察時燈提供位置數(shù)據(jù)，并且燈的顏色提供額外 的數(shù)據(jù)。
[0040] 在一些實施方案中，顏色基于室內(nèi)條件指示玩家編號或模式或設(shè)置。
[0041] 在一些實施方案中，控制器在交互式場景中被表示為虛擬對象，所述虛擬對象在 交互式場景中渲染在大致映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的 變化改變?nèi)缢聊簧鲜境龅奶摂M對象的虛擬空間位置。
[0042] 提供了另一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上的游戲的方法。所述 方法包括執(zhí)行游戲，其中所述執(zhí)行在屏幕上渲染游戲的交互式場景。所述方法包括：接收由 用戶佩戴的HMD的數(shù)據(jù)，以便識別HMD空間位置；接收由用戶握持的控制器的數(shù)據(jù)，以便識 別控制器空間位置；在屏幕上渲染進入游戲的交互式場景中的視角；以及在檢測到HMD空 間位置改變時調(diào)整所述視角，所述方法由處理器執(zhí)行。
[0043] 在一些實施方案中，控制器在交互式場景中被表示為虛擬對象，所述虛擬對象在 交互式場景中渲染在映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的變化 改變虛擬對象的虛擬空間位置。
[0044] 在一些實施方案中，交互式場景以三維格式渲染，從而使得在交互式場景中的對 象出現(xiàn)在HMD的前方并且延伸一段距離進入交互式場景中。
[0045] 在一些實施方案中，使用圖像數(shù)據(jù)、慣性數(shù)據(jù)、無線數(shù)據(jù)、紅外數(shù)據(jù)、或其組合中的 一個或多個來追蹤HMD空間位置和控制器空間位置。
[0046] 在一些實施方案中，使用圖像數(shù)據(jù)追蹤包括使用提供深度數(shù)據(jù)的立體攝像機來檢 測HMD空間位置和控制器空間位置中的一個或兩個。
[0047] 在另一個實施方案中，提供了一種用于執(zhí)行展示在頭戴式顯示器（HMD)的屏幕上 的游戲的方法。所述方法包括執(zhí)行游戲，其中所述執(zhí)行在屏幕上渲染游戲的交互式場景。所 述方法包括：接收由用戶佩戴的HMD的圖像，以便相對于指向用戶的捕獲位置識別HMD空間 位置；接收由用戶握持的控制器的圖像，以便相對于捕獲位置識別控制器空間位置，所述控 制器提供輸入以便至少部分地驅(qū)動與正執(zhí)行的游戲的交互作用；在屏幕上渲染進入游戲的 交互式場景中的視角；以及當(dāng)在HMD的接收到的圖像中檢測到HMD空間位置改變時調(diào)整所 述視角。
[0048] 在一些實施方案中，控制器在交互式場景中被表示為虛擬對象，所述虛擬對象在 交互式場景中渲染在映射到控制器空間位置的虛擬空間位置，并且控制器空間位置的變化 改變虛擬對象的虛擬空間位置。
[0049] 在一些實施方案中，在通信地連接到頭戴式顯示器的計算機上執(zhí)行游戲。
[0050] 在一些實施方案中，在游戲云上執(zhí)行游戲，并且頭戴式顯示器通信地連接到所述 游戲云。
[0051] 在一些實施方案中，HMD空間位置和控制器空間位置中的每一個另外可通過慣性 數(shù)據(jù)識別。
[0052] 結(jié)合附圖來閱讀以下詳細描述，本發(fā)明的其他方面將變得顯而易見，以下詳細描 述通過舉例的方式來說明本發(fā)明的原理。
[0053] 附圖簡述
[0054] 結(jié)合附圖來參閱以下描述可以最好地理解本發(fā)明，在附圖中：
[0055] 圖1示出根據(jù)本發(fā)明的實施方案的用于視頻游戲的交互性游戲玩法的系統(tǒng)。
[0056] 圖2示出根據(jù)本發(fā)明的實施方案的頭戴式顯示器（HMD)。
[0057] 圖3概念性地示出根據(jù)本發(fā)明的實施方案的與正執(zhí)行的視頻游戲相結(jié)合的HMD的 功能。
[0058] 圖4A-4B示出根據(jù)本發(fā)明的實施方案的可從HMD的3D中觀察到的虛擬空間以及 與控制器的交互作用和與控制器的協(xié)調(diào)的實例。
[0059] 圖5A-9B示出根據(jù)本發(fā)明的實施方案的用戶佩戴HMD并且握持控制器以及改變進 入針對視頻游戲生成的交互式場景中的視角的額外的實例。
[0060] 圖10和圖11示出用戶在與視頻游戲接口連接時佩戴HMD并且握持