用于沉浸式和交互式多媒體生成的系統(tǒng)和方法
【專利摘要】本發(fā)明公開一種設(shè)備。所述設(shè)備包括光學感測系統(tǒng)，其包括至少一個相機，所述至少一個相機被配置為獲取物理環(huán)境的圖像。所述設(shè)備還包括處理系統(tǒng)。所述處理系統(tǒng)包括取向和位置確定模塊，其被配置為從所述圖像檢測顯著特征，并且基于所述所檢測到的顯著特征確定所述設(shè)備相對于所述物理環(huán)境的取向和/或位置變化。所述處理系統(tǒng)還包括渲染模塊，其被配置為基于所述圖像和所述設(shè)備的所述所確定的取向和/或位置變化來確定所述物理環(huán)境的渲染，并且將與所述物理環(huán)境的所述渲染有關(guān)的數(shù)據(jù)提供給顯示系統(tǒng)。
【專利說明】用于沉浸式和交互式多媒體生成的系統(tǒng)和方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2014年10月24日提交的美國第62/068,423號臨時申請的權(quán)益，在此通過援引的方式并入本申請。
技術(shù)領(lǐng)域
[0003]本公開涉及人機交互的技術(shù)領(lǐng)域，并且具體地，涉及沉浸式和交互式多媒體生成。
【背景技術(shù)】
[0004]沉浸式多媒體通常包括提供與環(huán)境有關(guān)的多媒體數(shù)據(jù)(以音頻和視頻的形式)，其使得接收多媒體數(shù)據(jù)的人員能夠具有身在那個環(huán)境中的體驗。沉浸式多媒體的生成通常是交互式的，使得提供給人員的多媒體數(shù)據(jù)能夠基于(例如)人員的物理位置、人員所執(zhí)行的活動等來自動更新。交互式沉浸式多媒體能夠通過(例如)使得體驗更逼真來改進用戶體驗。
[0005]存在兩種主要類型的交互式沉浸式多媒體。第一種類型是虛擬現(xiàn)實(VR)，其中多媒體數(shù)據(jù)復(fù)制模擬在(例如)真實世界或想象世界中的各地方處的物理存在的環(huán)境。對環(huán)境的渲染還反映了用戶所執(zhí)行的動作，從而使得用戶能夠與環(huán)境交互。用戶的動作(例如，身體移動)可通常由運動傳感器來檢測。虛擬現(xiàn)實人工地創(chuàng)建感官體驗，其可包括視覺、聽覺、觸摸等。
[0006]第二種類型的交互式沉浸式多媒體是增強現(xiàn)實(AR)，其中多媒體數(shù)據(jù)包括人員所位于的物理環(huán)境的實時圖形圖像以及額外數(shù)字信息。額外數(shù)字信息通常位于實時圖形圖像之上，但不更改或增強對物理環(huán)境的實時圖形圖像的渲染。額外數(shù)字信息還可以是虛擬對象的圖像，然而，虛擬對象的圖像通常僅僅位于實時圖形圖像之上，而非混合到物理環(huán)境中來創(chuàng)建真實感渲染。對物理環(huán)境的渲染還可反映用戶所執(zhí)行的動作和/或人員的位置以實現(xiàn)交互。用戶的動作(例如，身體移動)可通常通過運動傳感器來檢測，而人員的位置可通過從圖形圖像檢測并跟蹤物理環(huán)境的特征來確定。增強現(xiàn)實可復(fù)制人員在存在于物理環(huán)境中時的一些感官體驗，同時向人員提供額外數(shù)字信息。
[0007]當前不存在這樣一種系統(tǒng)，其可提供創(chuàng)建虛擬對象的圖像與物理環(huán)境的圖像的逼真混合的虛擬現(xiàn)實與增強現(xiàn)實的組合。此外，盡管當前增強現(xiàn)實系統(tǒng)可復(fù)制用戶的感官體驗，但此類系統(tǒng)通常無法增強用戶的感知能力。

【發(fā)明內(nèi)容】

[0008]本公開的實施例的其他方面和優(yōu)點將部分地在以下詳細描述中進行陳述，并且部分地將從所述描述內(nèi)容看出，或者可通過本公開實施例的實踐來認識到。
[0009]根據(jù)一些實施例，一種設(shè)備包括光學感測系統(tǒng)，所述光學感測系統(tǒng)包括至少一個相機，所述至少一個相機被配置為獲取物理環(huán)境的圖像。所述設(shè)備還包括處理系統(tǒng)。所述處理系統(tǒng)包括取向和位置確定模塊，其被配置為從所述圖像檢測顯著特征，并且基于所檢測到的顯著特征確定設(shè)備相對于物理環(huán)境的取向和/或位置變化。處理系統(tǒng)還包括渲染模塊，其被配置為基于圖像和設(shè)備的所確定的取向和/或位置變化來確定物理環(huán)境的渲染，并且將與物理環(huán)境的渲染有關(guān)的數(shù)據(jù)提供給顯示系統(tǒng)。
[0010]根據(jù)一些實施例，所述光學感測系統(tǒng)包括第一相機和第二相機，所述第一相機被配置為獲取所述物理環(huán)境的第一圖像，并且所述第二相機被配置為獲取所述物理環(huán)境的第二圖像。所述取向和位置確定模塊被配置為當所述設(shè)備在所述物理環(huán)境中處于第一位置時，從所述第一圖像和第二圖像檢測第一顯著特征，確定與所述第一顯著特征相關(guān)聯(lián)的第一組坐標，當所述設(shè)備在所述物理環(huán)境中處于第二位置時，從所述第一圖像和第二圖像檢測第二顯著特征，確定與所述第二顯著特征相關(guān)聯(lián)的第二組坐標，并且響應(yīng)于確定所述第一顯著特征和第二顯著特征彼此對應(yīng)，基于所述第一組和第二組坐標來確定所述設(shè)備相對于所述物理環(huán)境的取向和/或位置變化。所述渲染模塊被配置為基于所述第一圖像和第二圖像并且基于所述設(shè)備的所述所確定的取向和/或位置變化來確定所述物理環(huán)境的立體渲染。根據(jù)一些實施例，所述第一相機和第二相機中的每一者包括紅-綠-藍-紅夕KRGB-1RMf素傳感器。
[0011 ]根據(jù)一些實施例，所述光學感測系統(tǒng)包括第一相機、第二相機和反射鏡，所述第一相機被配置為獲取紅外(IR)圖像，所述第二相機被配置為獲取紅-綠-藍(RGB)圖像，并且所述反射鏡被配置為將IR光反射離開所述第二相機并且將所述IR圖像與所述RGB圖像對齊。在一些實施例中，所述第一相機是飛行時間相機。在一些實施例中，所述第一相機是IR相機。
[0012]根據(jù)一些實施例，所述光學感測系統(tǒng)包括IR照明器，其被配置為將一個或多個圖案投射到所述物理環(huán)境中；其中所述所檢測到的顯著特征包括所述一個或多個圖案。
[0013]根據(jù)一些實施例，所述處理系統(tǒng)還包括手勢確定模塊，其被配置為從所述圖像檢測手勢，并且確定與所述手勢相關(guān)聯(lián)的用戶指令。所述渲染模塊被配置為基于所述所確定的用戶指令確定所述物理環(huán)境的所述渲染。在一些實施例中，所述手勢確定模塊被配置為確定所述用戶指令與被渲染的對象的選擇相關(guān)聯(lián);并且所述渲染模塊被配置為基于所述用戶指令確定所述對象的所述渲染的變化。在一些實施例中，所述對象是虛擬對象。在一些實施例中，所述對象是存在于所述物理環(huán)境中的物理對象。
[0014]根據(jù)一些實施例，所述渲染模塊被配置為在所述物理環(huán)境的所述渲染中將虛擬對象的圖像與位于所述物理環(huán)境中的物理對象的圖像混合;其中所述混合是基于與所述虛擬對象相關(guān)聯(lián)的第一組坐標和與所述物理對象相關(guān)聯(lián)的第二組坐標。在一些實施例中，所述混合包括與所述虛擬對象相關(guān)聯(lián)的音頻數(shù)據(jù)和源自所述物理環(huán)境的音頻信號的渲染。
[0015]根據(jù)一些實施例，所述設(shè)備還包括被配置為連接到智能電話的連接器。在一些實施例中，所述智能電話包括所述處理系統(tǒng)的至少一部分。在一些實施例中，所述智能電話被配置為提供附加內(nèi)容;并且所述渲染模塊被配置為基于所述圖像和所述附加內(nèi)容確定所述物理環(huán)境的渲染。
【附圖說明】
[0016]現(xiàn)將參考附圖，附圖示出了本申請的實例性實施例，并且在附圖中:
[0017]圖1是可用以實施本公開的實施例的示例性計算裝置的框圖。
[0018]圖2A至2B是根據(jù)本公開實施例的示出沉浸式多媒體生成的示例性渲染的圖解。
[0019]圖3是根據(jù)本公開實施例的用于沉浸式和交互式多媒體生成的示例性系統(tǒng)的框圖。
[0020]圖4A至4E是根據(jù)本公開實施例的用于支持沉浸式和交互式多媒體生成的示例性相機系統(tǒng)的不意圖。
[0021]圖5是根據(jù)本公開實施例的用于感測相機的位置和姿勢以支持沉浸式和交互式多媒體生成的示例性方法的流程圖。
[0022]圖6是根據(jù)本公開實施例的用于基于手勢更新多媒體渲染的示例性方法的流程圖。
[0023]圖7A至7B是根據(jù)本公開實施例的將3D虛擬對象的圖像混合到物理環(huán)境的實時圖形圖像中的圖解。
[0024]圖8是根據(jù)本公開實施例的用于將3D虛擬對象的圖像混合到物理環(huán)境的實時圖形圖像中的示例性方法的流程圖。
[0025]圖9A至9B是示出根據(jù)本公開實施例的示例性頭戴式交互式沉浸式多媒體生成系統(tǒng)的示意圖。
【具體實施方式】
[0026]下面將詳細參考實施例，并參考附圖描述示例性實施例。盡可能地，附圖通篇將使用相同參考標號來指代相同或相似部分。
[0027]實施例的描述僅僅是示例性的，并非出于限制目的。
[0028]圖1是可用以實施本公開的實施例的示例性計算裝置100的框圖。如圖1所示，計算裝置100包括處理器121和主存儲器122。處理器121可為對從主存儲器122取出的指令做出響應(yīng)并進行處理的任何邏輯電路。處理器221可為單個或多個通用微處理器、現(xiàn)場可編程門陣列(FPGA)或數(shù)字信號處理器(DSP)，其能夠執(zhí)行存儲在存儲器(例如，主存儲器122)中的指令，或?qū)Ｓ眉呻娐?ASIC)，使得處理器221被配置為執(zhí)行特定任務(wù)。
[0029]存儲器122包括有形和/或非暫態(tài)計算機可讀媒體，諸如軟盤、硬盤、CD-ROM(緊致磁盤只讀存儲器)、M0(磁光)驅(qū)動器、DVD-ROM(數(shù)字多用磁盤只讀存儲器)、DVD-RAM(數(shù)字多用磁盤隨機存取存儲器)、快閃驅(qū)動器、快閃存儲器、寄存器、高速緩沖存儲器或半導體存儲器。主存儲器122可為一個或多個存儲器芯片，其能夠存儲數(shù)據(jù)并且允許處理器121直接訪問任何存儲位置。主存儲器122可為任何類型的隨機存取存儲器(RAM)，或能夠如本文所述那樣操作的任何其它可用存儲器芯片。在圖1所示的示例性實施例中，處理器121經(jīng)由系統(tǒng)總線150與主存儲器122通信。
[0030]計算裝置100還可包括存儲裝置28，諸如一個或多個硬盤驅(qū)動器，其用于存儲操作系統(tǒng)和其它相關(guān)軟件，用于存儲應(yīng)用軟件程序，并且用于存儲待由應(yīng)用軟件程序使用的應(yīng)用程序數(shù)據(jù)。例如，應(yīng)用程序數(shù)據(jù)可包括多媒體數(shù)據(jù)，而軟件可包括被配置為渲染多媒體數(shù)據(jù)的渲染引擎。軟件程序可包括一個或多個指令，其可從存儲裝置128取出到存儲器122以由處理器121處理。軟件程序可包括不同的軟件模塊，其可包括，舉例來說，部件(諸如軟件部件、面向?qū)ο蟮能浖考㈩惒考腿蝿?wù)部件)、進程、函數(shù)、字段、程序、子例程、程序代碼片段、驅(qū)動程序、固件、微代碼、電路、數(shù)據(jù)、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)、表、陣列和變量。
[0031]通常，這里使用的“模塊”一詞，是指硬件或固件實現(xiàn)的邏輯，或者以編程語言寫成的可能具有入口和出口點的軟件指令集合，所述編程語言例如Java，Lua，C或C++。軟件模塊可以被編譯并鏈接到一個可執(zhí)行程序中，安裝在動態(tài)鏈接庫中，或?qū)懭虢忉尩木幊陶Z言，例如BASIC，Perl或Python。應(yīng)當理解，軟件模塊可以從其他模塊或從其本身被調(diào)用，和/或可以響應(yīng)于檢測到的事件或中斷來調(diào)用。配置為執(zhí)行在計算設(shè)備上的軟件模塊可提供于一種計算機可讀介質(zhì)上，諸如光盤、數(shù)字視頻盤、閃存驅(qū)動器、磁盤，或任何其他有形介質(zhì)，或者作為數(shù)字下載(可以以在執(zhí)行前需要安裝、解壓縮、或解密的壓縮或可安裝的格式的形式來原始存儲)。這樣的軟件代碼可被部分或完全地存儲在執(zhí)行計算設(shè)備的存儲設(shè)備上，用于由計算設(shè)備執(zhí)行。軟件指令可嵌入在固件中，諸如EPR0M。將進一步理解的是，硬件模塊(例如，在處理器221是ASIC的情況下)，可以包括連接的邏輯單元，例如門和觸發(fā)器，和/或可以包括可編程單元，如可編程門陣列或處理器。本文所描述的模塊或計算裝置的功能被優(yōu)選實現(xiàn)為軟件模塊，但可以以硬件或固件來表示。一般而言，本文所描述的模塊指的是可與其它模塊組合或者被分為子模塊的邏輯模塊，而不考慮其物理組織和存儲器。
[0032]如本文所用的術(shù)語“非臨時性的介質(zhì)”是指任何非臨時性媒體存儲數(shù)據(jù)和/或指令，其可以導致機器以特定方式操作。這樣的非臨時性介質(zhì)可以包括非易失性介質(zhì)和/或易失性介質(zhì)。非易失性介質(zhì)可包括，例如存儲器128。易失性介質(zhì)可包括，例如，存儲器122。非臨時性介質(zhì)的常見形式包括，例如，軟盤，柔性盤，硬盤，固態(tài)驅(qū)動器，磁帶，或任何其它磁性數(shù)據(jù)存儲介質(zhì)，CD-ROM，任意其它光學數(shù)據(jù)存儲介質(zhì)，任意孔形圖案的行物理介質(zhì)，RAM，PR0M、EPR0M，F(xiàn)LASH-EPR0M，NVRAM，任意其它存儲器芯片或盒，及其聯(lián)網(wǎng)形式。
[0033]計算裝置100還可包括一個或多個輸入裝置123和一個或多個輸出裝置124。輸入裝置123可包括，例如，相機、麥克風、運動傳感器等，而輸出裝置124可包括，例如，顯示單元和揚聲器。輸入裝置123和輸出裝置124兩者通過I/O控制器125連接到系統(tǒng)總線150，從而使得處理器121能夠與輸入裝置123和輸出裝置124通信。處理器121與輸入裝置123和輸出裝置124之間的通信可由(例如)執(zhí)行從存儲器122取出的指令的處理器121來執(zhí)行。
[0034]在一些實施例中，處理器121還可經(jīng)由I/O控制125與一個或多個智能裝置130通信。智能裝置130可包括具有處理和生成多媒體數(shù)據(jù)的能力的系統(tǒng)(例如，智能電話)。在一些實施例中，處理器121可從輸入裝置123接收數(shù)據(jù)，將數(shù)據(jù)取出到智能裝置130用于處理，從智能裝置130接收作為處理結(jié)果的多媒體數(shù)據(jù)(以例如音頻信號、視頻信號等的形式)，并且接著將多媒體數(shù)據(jù)提供給輸出裝置124。在一些實施例中，智能裝置130可充當多媒體內(nèi)容源并且將與多媒體內(nèi)容有關(guān)的數(shù)據(jù)提供給處理器121。處理器121可接著添加從智能裝置130接收的多媒體內(nèi)容以輸出待提供給輸出裝置124的數(shù)據(jù)。處理器121與智能裝置130之間的通信可由，例如，執(zhí)行從存儲器122取出的指令的處理器121實施。
[0035]在一些實施例中，計算裝置100可被配置為生成交互式和沉浸式多媒體，包括虛擬現(xiàn)實、增強現(xiàn)實或兩者的組合。例如，存儲裝置128可存儲用于渲染圖形圖像的多媒體數(shù)據(jù)和用于產(chǎn)生虛擬現(xiàn)實體驗的音頻效果，并且處理器121可被配置為通過輸出裝置124提供多媒體數(shù)據(jù)的至少一部分以產(chǎn)生虛擬現(xiàn)實體驗。處理器121還可接收從輸入裝置123(例如，運動傳感器)接收的數(shù)據(jù)，所述數(shù)據(jù)使得處理器121能夠確定，例如，用戶的位置的變化、用戶所執(zhí)行的動作(例如，身體移動)等。處理器121可被配置為基于所述確定來通過輸出裝置124渲染多媒體數(shù)據(jù)，以便為用戶創(chuàng)建交互式體驗。
[0036]此外，計算裝置100還可被配置為提供增強現(xiàn)實。例如，輸入裝置123可包括被配置為捕獲用戶所位于的物理環(huán)境的圖形圖像的一個或多個相機，以及被配置為從物理環(huán)境捕獲音頻信號的一個或多個麥克風。處理器121可從相機接收表示所捕獲的圖形圖像和音頻信息的數(shù)據(jù)。處理器121還可處理表示待提供給用戶的附加內(nèi)容的數(shù)據(jù)。附加內(nèi)容可為，例如，與從物理環(huán)境的圖形圖像檢測到的一個或多個對象有關(guān)的信息。處理器121可被配置為通過輸出裝置124渲染包括所捕獲的圖形圖像、音頻信息以及附加內(nèi)容的多媒體數(shù)據(jù)，以產(chǎn)生增強現(xiàn)實體驗。表示附加內(nèi)容的數(shù)據(jù)可存儲在存儲裝置128中，或可由外部源(例如，智能裝置130)提供。
[0037]處理器121還可被配置為通過，例如獲取關(guān)于用戶動作的信息來為用戶創(chuàng)建交互式體驗，并且通過輸出裝置124渲染多媒體數(shù)據(jù)可基于用戶動作來進行。在一些實施例中，用戶動作可包括用戶的位置變化，其可由處理器121基于，例如，來自運動傳感器的數(shù)據(jù)以及來自圖形圖像的顯著特征的跟蹤來確定。在一些實施例中，用戶動作還可包括手勢，其可由處理器121基于由相機捕獲的手勢的圖像來確定。處理器121可被配置為基于位置信息和/或手勢信息來更新多媒體數(shù)據(jù)的渲染以創(chuàng)建交互式體驗。在一些實施例中，處理器121還可被配置為通過，例如，基于用戶的手勢放大到物理環(huán)境中的特定位置、增大源自那個特定位置的音頻信號的音量等來更新多媒體數(shù)據(jù)的渲染以增強用戶的感知能力。
[0038]現(xiàn)在參考圖2A和2B，其示出根據(jù)本公開實施例的用于提供增強現(xiàn)實的示例性多媒體渲染200a和200b。如圖2A和2B所示，渲染200a和200b反映用戶所位于的物理環(huán)境的圖形表示。在一些實施例中，渲染200a和200b可由計算裝置100的處理器221基于由一個或多個相機(例如，輸入裝置123)捕獲的圖形圖像來構(gòu)造。處理器221還可被配置為從圖形圖像檢測手勢，并且更新渲染以包括與手勢有關(guān)的附加內(nèi)容。作為說明性實例，如圖2A和2B所示，渲染200a和200b可分別包括表示手勢創(chuàng)建所涉及的手指的移動的虛線204a和204b。在一些實施例中，所檢測到的手勢可觸發(fā)圖形圖像的額外處理以增強用戶的感知能力(例如，視覺)。作為說明性實例，如圖2A所示，在渲染200a中所渲染的物理環(huán)境包括對象204。對象204可基于第一手勢的檢測和創(chuàng)建第一手勢的手指的移動(例如，如虛線202a指示)之間的重疊來選擇。所述重疊可基于，例如，表示物理環(huán)境的3D圖中的虛線202a的3D坐標與對象204的3D坐標之間的關(guān)系來確定。
[0039]在選擇對象204之后，用戶可提供第二手勢(如虛線202b所指示)，其也可由處理器221檢測。處理器221可基于在時間和空間上緊挨發(fā)生的兩個手勢的檢測來確定第二手勢將指示處理器221在物理環(huán)境的渲染中提供對象204的放大且夸大的圖像。這可導致渲染200b，其中連同用戶所位于的物理環(huán)境一起渲染表示對象204的放大且夸大的圖像的圖像206。通過向用戶提供對象的夸大圖像，從而允許用戶感知比他或她將用裸眼在物理環(huán)境內(nèi)的同一位置處所感知的細節(jié)多的關(guān)于對象的細節(jié)，可增強用戶的感官能力。
[0040]在一些實施例中，對象204還可為插入在物理環(huán)境的渲染中的虛擬對象，并且圖像206可為響應(yīng)于對象204的選擇和由虛線202b表示的手勢的檢測而提供的任何圖像(或僅僅是疊加在物理環(huán)境的渲染之上的文字)。
[0041]返回參看圖1，在一些實施例中，計算裝置100還可包括網(wǎng)絡(luò)接口 140以通過多種鏈路介接到LAN、WAN、MAN或因特網(wǎng)，所述鏈路包括但不限于標準電話線、LAN或WAN鏈路(例如，802.11、T1、T3、56kb、X.25)、寬帶鏈路(例如，ISDN、幀中繼、ATM)、無線連接(W1-F1、藍牙、Z-Wave、Zigbee)或上述任何或全部鏈路的某種組合。網(wǎng)絡(luò)接口 140可包括內(nèi)置網(wǎng)絡(luò)適配器、網(wǎng)絡(luò)接口卡、PCMCIA網(wǎng)絡(luò)卡、卡總線網(wǎng)絡(luò)適配器、無線網(wǎng)絡(luò)適配器、USB網(wǎng)絡(luò)適配器、調(diào)制解調(diào)器或適于將計算裝置100介接到能夠通信并且執(zhí)行本文所述的操作的任何類型的網(wǎng)絡(luò)的任何其它裝置。在一些實施例中，處理器121可經(jīng)由網(wǎng)絡(luò)接口 140將所生成的多媒體數(shù)據(jù)不僅傳輸?shù)捷敵鲅b置124，而且還傳輸?shù)狡渌b置(例如，另一個計算裝置100)。
[0042]圖3是根據(jù)本公開實施例的用于沉浸式和交互式多媒體生成的示例性系統(tǒng)300的框圖。如圖3所示，系統(tǒng)300包括感測系統(tǒng)310、處理系統(tǒng)320、音頻/視頻系統(tǒng)330和供電系統(tǒng)340。在一些實施例中，系統(tǒng)300的至少一部分是用圖1的計算裝置100來實施的。
[0043]在一些實施例中，感測系統(tǒng)310被配置為提供用于生成交互式和沉浸式多媒體的數(shù)據(jù)。感測系統(tǒng)310包括圖像感測系統(tǒng)312、音頻感測系統(tǒng)313和運動感測系統(tǒng)314。
[0044]在一些實施例中，光學感測系統(tǒng)312可被配置為接收從物理環(huán)境反射或發(fā)射的各種波長的光(包括可見光和不可見光兩者)。在一些實施例中，光學感測系統(tǒng)312包括例如一個或多個灰度紅外(灰度IR)相機、一個或多個紅-綠-藍(RGB)相機、一個或多個RGB-1R相機、一個或多個飛行時間(TOF)相機或其組合?；谙鄼C的輸出，系統(tǒng)300可獲取物理環(huán)境的圖像數(shù)據(jù)(例如，以RGB像素和IR像素的形式表示)。光學感測系統(tǒng)312可包括一對相同的相機(例如，一對RGB相機、一對IR相機、一對RGB-1R相機等)，其中每個相機捕獲左眼或右眼的視點。正如下文將論述，每個相機所捕獲的圖像數(shù)據(jù)可接著由系統(tǒng)300組合以創(chuàng)建物理環(huán)境的立體3D渲染。
[0045]在一些實施例中，光學感測系統(tǒng)312可包括被配置為照明對象的IR投影儀。所述照明可用以支持測距成像，所述測距成像使得系統(tǒng)300能夠還基于立體匹配算法來確定物理環(huán)境中的相機與對象的不同部分之間的距離?；谒鼍嚯x信息，可創(chuàng)建對象的三維(3D)深度圖以及物理環(huán)境的3D圖。正如下文將論述，對象的深度圖可用以創(chuàng)建表示對象的3D點云；如RGB相機所捕獲的對象的RGB數(shù)據(jù)可接著被映射到3D點云以創(chuàng)建對象的3D渲染以用于產(chǎn)生虛擬現(xiàn)實和增強現(xiàn)實效果。另一方面，物理環(huán)境的3D圖可用于位置和取向確定以創(chuàng)建交互式體驗。在一些實施例中，還可包括飛行時間相機用于測距成像，所述測距成像允許確定相機與對象的各種部分之間的距離，并且可基于所述距離信息來創(chuàng)建物理環(huán)境的深度圖。
[0046]在一些實施例中，IR投影儀還被配置為將某些圖案(例如，條形碼、拐角圖案等)投射到物理環(huán)境的一個或多個表面上。正如下文將論述，用戶的運動(如相機的運動所反映)可通過跟蹤由相機捕獲的各種顯著特征點來確定，并且已知圖案的投射(其接著由相機捕獲并且由系統(tǒng)跟蹤)實現(xiàn)高效且穩(wěn)健的跟蹤。
[0047]現(xiàn)在參看圖4A至4F，其是分別示出根據(jù)本公開實施例的示例性相機系統(tǒng)400、420、440、460、480和494的示意圖。圖4A至4F的每個相機系統(tǒng)可為圖3的光學感測系統(tǒng)312的一部分。
[0048]如圖4A所示，相機系統(tǒng)400包括RGB相機402、IR相機404和IR照明器406，其全部附接到板408上。如上文論述，RGB相機402被配置為捕獲RGB圖像數(shù)據(jù)，IR相機404被配置為捕獲IR圖像數(shù)據(jù)，而IR相機404與IR照明器406的組合可用以創(chuàng)建正被成像的對象的深度圖。如前文論述，在對象的3D渲染期間，可將RGB圖像數(shù)據(jù)映射到從深度圖創(chuàng)建的對象的3D點云表示。然而，在一些情況下，由于RGB相機與IR相機之間的位置差異，并不是可將RGB圖像數(shù)據(jù)中的所有RGB像素均映射到3D點云。因而，可在對象的3D渲染中引入不精確性和偏差。
[0049]圖4B示出相機系統(tǒng)420，所述相機系統(tǒng)420包括RGB-1R相機422和IR照明器424，其全部附接到板426上。RGB-1R相機442包括RGB-1R傳感器，其包括聯(lián)合在一起以形成像素群組的RGB像素傳感器和IR像素傳感器。在RGB像素傳感器和IR像素傳感器大體上位于共同位置的情況下，可消除RGB傳感器與IR傳感器之間的位置差異的上述影響。然而，在一些情況下，由于RGB光譜的一部分與IR光譜的一部分的重疊，使RGB像素傳感器和IR像素傳感器位于共同位置可導致RGB像素傳感器的顏色產(chǎn)生以及RGB像素傳感器所產(chǎn)生的彩色圖像品質(zhì)的降級。
[0050]圖4C示出相機系統(tǒng)440，所述相機系統(tǒng)440包括IR相機442、RGB相機444、反射鏡446和IR照明器448，其全部附接到板450上。在一些實施例中，反射鏡446是半透明的，其具有IR反射涂層452。在光(包括可見光和由IR照明器448照明的對象所反射的IR光)入射在反射鏡446上時，IR光可由反射鏡446反射并且由IR相機442捕獲，而可見光可穿過反射鏡446并且由RGB相機444捕獲。IR相機442、RGB相機444和反射鏡446可被定位成使得IR相機442所捕獲的IR圖像(由IR反射涂層的反射造成)和RGB相機444所捕獲的RGB圖像(來自穿過反射鏡446的可見光)可被對齊以消除IR相機442與RGB相機444之間的位置差異的影響。此外，由于IR光被反射離開RGB相機444，所以可改進RGB相機444所產(chǎn)生的彩色產(chǎn)品以及彩色圖像品質(zhì)。[0051 ] 圖4D示出相機系統(tǒng)460，所述相機系統(tǒng)460包括RGB相機462、T0F相機464和IR照明器466，其全部附接到板468上。類似于相機系統(tǒng)400、420和440，RGB相機462被配置為捕獲RGB圖像數(shù)據(jù)。另一方面，TOF相機464和IR照明器406被同步以執(zhí)行圖像測距，所述圖像測距可用以創(chuàng)建正被成像的對象的深度圖，可從所述深度圖創(chuàng)建對象的3D點云。類似于相機系統(tǒng)400，在一些情況下，歸因于RGB相機與TOF相機之間的位置差異，并不是可將RGB圖像數(shù)據(jù)中的所有RGB像素均映射到基于TOF相機的輸出來創(chuàng)建的3D點云。因而，可在對象的3D渲染中引入不精確性和偏差。
[0052]圖4E示出相機系統(tǒng)480，所述相機系統(tǒng)480包括TOF相機482、RGB相機484、反射鏡486和IR照明器488，其全部附接到板490上。在一些實施例中，反射鏡486是半透明的，其具有IR反射涂層492。在光(包括可見光和由IR照明器488照明的對象所反射的IR光)入射在反射鏡446上時，IR光可由反射鏡446反射并且由TOF相機482捕獲，而可見光可穿過反射鏡486并且由RGB相機484捕獲。TOF相機482、RGB相機484和反射鏡486可被定位成使得TOF相機442所捕獲的IR圖像(由IR反射涂層的反射造成)和RGB相機484所捕獲的RGB圖像(來自穿過反射鏡486的可見光)可被對齊以消除TOF相機482與RGB相機484之間的位置差異的影響。此夕卜，由于IR光被反射離開RGB相機484，所以還可改進RGB相機484所產(chǎn)生的彩色產(chǎn)品以及彩色圖像品質(zhì)。
[0053]圖4F示出相機系統(tǒng)494，所述相機系統(tǒng)494包括兩個RGB-1R相機495和496，其中每個相機被配置為模擬人眼的視點。RGB-1R相機495和496的組合可用以生成立體圖像并且生成物理環(huán)境中的對象的深度信息，如下文將論述。由于每個相機使RGB像素和IR像素位于共同位置，所以可減輕導致像素映射降級的RGB相機與IR相機之間的位置差異的影響。相機系統(tǒng)494還包括IR照明器497，其具有與上文論述的其它IR照明器類似的功能性。如圖4F所示，RGB-1R相機495和496以及IR照明器497附接到板498。
[0054]返回參看圖3，感測系統(tǒng)310還包括音頻感測系統(tǒng)313和運動感測系統(tǒng)314。音頻感測系統(tǒng)313可被配置為接收源自物理環(huán)境的音頻信號。在一些實施例中，音頻感測系統(tǒng)313包括(例如)一個或多個麥克風陣列。運動感測系統(tǒng)314可被配置為檢測用戶(以及系統(tǒng)，如果系統(tǒng)附接到用戶的話)的運動和/或姿勢。在一些實施例中，運動感測系統(tǒng)314可包括(例如)慣性運動傳感器(MU)。在一些實施例中，感測系統(tǒng)310可為圖1的輸入裝置123的一部分。
[0055]在一些實施例中，處理系統(tǒng)320被配置為處理來自光學感測系統(tǒng)312的圖形圖像數(shù)據(jù)、來自音頻感測系統(tǒng)313的音頻數(shù)據(jù)和來自運動感測系統(tǒng)314的運動數(shù)據(jù)，并且生成多媒體數(shù)據(jù)以用于渲染物理環(huán)境來創(chuàng)建虛擬現(xiàn)實和/或增強現(xiàn)實體驗。處理系統(tǒng)320包括取向和位置確定模塊322、手勢確定系統(tǒng)模塊323以及圖形和音頻渲染引擎模塊324。如前文所論述，這些模塊中的每一者可為由處理器(例如，圖1的處理器121)執(zhí)行的軟件模塊，或被配置為執(zhí)行特定功能的硬件模塊(例如，ASIC)。
[0056]在一些實施例中，取向和位置確定模塊322可基于感測系統(tǒng)310的至少一些輸出來確定用戶的取向和位置，可基于所述取向和位置來渲染多媒體數(shù)據(jù)以產(chǎn)生虛擬現(xiàn)實和/或增強現(xiàn)實效果。在系統(tǒng)300由用戶穿戴(例如，護目鏡)的情況下，取向和位置確定模塊322可確定系統(tǒng)的一部分(例如，相機)的取向和位置，其可用以推斷用戶的取向和位置。所確定的取向和位置可相對于在移動發(fā)生之前的用戶的先前取向和位置來說。
[0057]現(xiàn)在參看圖5，其是示出根據(jù)本公開實施例的用于確定(例如，感測系統(tǒng)310的)一對相機的取向和位置的示例性方法500的流程圖。將容易理解，可更改所示出的程序以刪除若干步驟或進一步包括額外步驟。盡管方法500被描述為由處理器(例如，取向和位置確定模塊322)執(zhí)行，但應(yīng)當理解，方法500可由其它裝置單獨執(zhí)行或結(jié)合處理器來執(zhí)行。
[0058]在步驟502中，處理器可獲得來自第一相機的第一左側(cè)圖像和來自第二相機的第一右側(cè)圖像。左側(cè)相機可為(例如)圖4F的RGB-1R相機495，而右側(cè)相機可為例如圖4F的RGB-1R相機496。第一左側(cè)圖像可表示來自用戶的左眼的對物理環(huán)境的視點，而第一右側(cè)圖像可表示來自用戶的右眼的對物理環(huán)境的視點。兩個圖像均可為IR圖像、RGB圖像或兩者的組合(例如，RGB-1R)。
[0059]在步驟504中，處理器可從第一左側(cè)圖像數(shù)據(jù)和從右側(cè)圖像數(shù)據(jù)識別一組第一顯著特征點。在一些情況下，顯著特征可為預(yù)先存在于物理環(huán)境中的物理特征(例如，墻壁上的特定標記、衣服的特征等)，并且基于與這些特征相關(guān)聯(lián)的RGB像素和/或IR像素識別顯著特征。在一些情況下，所述顯著特征可由IR照明器(例如，圖4F的IR照明器497)創(chuàng)建，所述IR照明器將特定IR圖案(例如，圓點)投射到物理環(huán)境的一個或多個表面上。所述一個或多個表面可將IR反射回到相機。如前文所論述，那些IR圖案可被設(shè)計用于實現(xiàn)高效檢測和跟蹤，諸如均勻分布并且包括銳利的邊緣和拐角。在一些情況下，所述顯著特征可通過放置固定在物理環(huán)境內(nèi)的某些位置處并且在環(huán)境內(nèi)投射IR圖案的一個或多個IR投影儀來創(chuàng)建。
[0060]在步驟506中，處理器可基于用于三角測量的立體約束來從所識別的第一顯著特征查找對應(yīng)對。所述立體約束可包括(例如)基于立體屬性、偏差容忍限度等來限制每個圖像內(nèi)的用于對應(yīng)對第一顯著特征的搜索范圍。對應(yīng)對的識別可基于候選特征的IR像素、候選特征的RGB像素和/或兩者的組合來進行。在識別一對對應(yīng)第一顯著特征之后，可確定其在左側(cè)圖像和右側(cè)圖像內(nèi)的位置差異。基于所述位置差異和第一相機與第二相機之間的距離，可經(jīng)由線性三角測量來確定第一顯著特征(在其出現(xiàn)于物理環(huán)境中時)與第一相機和第二相機之間的距離。
[0061]在步驟508中，基于通過線性三角測量所確定的第一顯著特征與第一相機和第二相機之間的距離以及第一顯著特征在左側(cè)圖像和右側(cè)圖像中的位置，處理器可確定第一顯著特征的一個或多個3D坐標。
[0062]在步驟510中，處理器可在表示物理環(huán)境的3D圖中添加或更新在步驟508中所確定的第一顯著特征的3D坐標和關(guān)于第一顯著特征的信息。所述更新可基于(例如)同時定位與映射算法(SLAM)來執(zhí)行。所存儲的信息可包括(例如)與第一顯著特征相關(guān)聯(lián)的IR像素和RGB像素信息。
[0063]在步驟512中，在相機的移動(例如，由攜帶相機的用戶的移動造成)之后，處理器可獲得第二左側(cè)圖像和第二右側(cè)圖像，并且在所述移動之后從第二左側(cè)和右側(cè)圖像識別第二顯著特征。所述識別過程可類似于步驟504。正被識別的第二顯著特征與同第二左側(cè)圖像相關(guān)聯(lián)的第一 2D空間和同第二右側(cè)圖像相關(guān)聯(lián)的第二 2D空間內(nèi)的2D坐標相關(guān)聯(lián)。
[0064]在步驟514中，處理器可將第一顯著特征的3D坐標(在步驟508中確定的)重新投影到第一 2D空間和第二 2D空間中。
[0065]在步驟516中，處理器可基于(例如)位置接近性、特征接近性和立體約束來識別對應(yīng)于第一顯著特征的一個或多個第二顯著特征。
[0066]在步驟518中，處理器可確定第一2D空間和第二2D空間中的每一者內(nèi)的第一顯著特征的重新投影位置與第二顯著特征的2D坐標之間的距離?？山又谒鼍嚯x來確定在移動之前和之后的第一相機和第二相機的相對3D坐標和取向，使得(例如)如此確定的該組3D坐標和取向使第一 2D空間和第二 2D空間兩者中的距離減到最小。
[0067]在一些實施例中，方法500還包括一個步驟(圖5中未示出)，其中處理器可執(zhí)行3D圖中的顯著特征的坐標的光束平差以使左側(cè)圖像與右側(cè)圖像之間的顯著特征的位置差異減到最小。所述調(diào)整可與方法500的任何步驟同時執(zhí)行，并且可僅對關(guān)鍵幀執(zhí)行。
[0068]在一些實施例中，處理器還可使用來自我們的輸入裝置的數(shù)據(jù)以促進方法500的執(zhí)行。例如，處理器可獲得來自一個或多個運動傳感器(例如，運動感測系統(tǒng)314)的數(shù)據(jù)，處理器可從所述數(shù)據(jù)確定已經(jīng)發(fā)生相機的運動。基于這個確定，處理器可執(zhí)行步驟512。在一些實施例中，處理器還可使用來自運動傳感器的數(shù)據(jù)來促進步驟518中的對相機的位置和取向的計算。
[0069]返回參看圖3，處理系統(tǒng)320還包括手勢確定模塊323。在一些實施例中，手勢確定模塊323可從來自光學感測系統(tǒng)312的圖形圖像數(shù)據(jù)檢測手勢。所述手勢信息技術(shù)與2013年9月23日申請的第14/034,286號美國申請和2014年8月18日申請的第14/462,324號美國申請中所描述的那些技術(shù)有關(guān)。上文提及的申請以引用的方式并入本文中。如此確定的手勢信息可用以更新物理環(huán)境的渲染(圖形和音頻兩者)以提供附加內(nèi)容且/或增強用戶的感官能力，如前文在圖2A至2B中論述。例如，在一些實施例中，手勢確定模塊323可確定與手勢相關(guān)聯(lián)的解釋(例如，以選擇用于放大的對象)，并且接著將所述解釋和其它相關(guān)信息提供給下游邏輯(例如，圖形和音頻渲染模塊324)以更新渲染。
[0070]現(xiàn)在參看圖6，其是示出根據(jù)本公開實施例的用于基于所檢測到的手勢更新多媒體渲染的示例性方法600的流程圖。將容易理解，可更改所示出的程序以刪除若干步驟或進一步包括額外步驟。盡管方法600被描述為由處理器(例如，手勢確定模塊323)執(zhí)行，但應(yīng)當理解，方法600可由其它裝置單獨執(zhí)行或結(jié)合處理器來執(zhí)行。
[0071]在步驟602中，處理器可接收來自(例如，光學感測系統(tǒng)312的)一個或多個相機的圖像數(shù)據(jù)。在相機是灰度IR相機的情況下，處理器可獲得IR相機圖像。在相機是RGB-1R相機的情況下，處理器可獲得IR像素數(shù)據(jù)。
[0072]在步驟604中，處理器可基于上文所論述的技術(shù)從圖像數(shù)據(jù)確定手勢。所述確定還包括確定手勢的類型(其可指示特定命令)和手指的軌線的3D坐標(在創(chuàng)建手勢的過程中)兩者。
[0073]在步驟606中，處理器可確定與所檢測到的手勢有關(guān)的對象，其被渲染為沉浸式多媒體數(shù)據(jù)的一部分。例如，在手勢發(fā)信號通知選擇的情況下，確定正由所述手勢選擇的渲染對象。所述確定可基于3D圖中的手勢的軌線的3D坐標與對象的3D坐標之間的關(guān)系，所述關(guān)系指示在用戶的角度來看手勢的某個部分與對象的至少一部分重疊。
[0074]在步驟608中，處理器可基于關(guān)于步驟604中所確定的手勢和步驟608中所確定的對象的信息來確定更改多媒體數(shù)據(jù)的渲染。作為說明性實例，基于確定在步驟604中所檢測到的手勢與選擇對象(不管其是位于物理環(huán)境中的真實對象，還是插入在渲染中的虛擬對象)用于縮放動作的命令相關(guān)聯(lián)，處理器可將對象的夸大圖像提供給下游邏輯(例如，圖形和音頻渲染模塊324)用于渲染。作為另一個說明性實例，如果手勢與用于顯示關(guān)于對象的額外信息的命令相關(guān)聯(lián)，則處理器可將所述額外信息提供給圖形和音頻渲染模塊324用于渲染。
[0075]返回參看圖3，基于關(guān)于相機的取向和位置的信息(由(例如)取向和位置確定模塊322提供)和關(guān)于所檢測到的手勢的信息(由(例如)手勢確定模塊323提供)，圖形和音頻渲染模塊324可渲染沉浸式多媒體數(shù)據(jù)(圖形和音頻兩者)以創(chuàng)建交互式虛擬現(xiàn)實和/或增強現(xiàn)實體驗。各種方法可用于渲染。在一些實施例中，圖形和音頻渲染模塊324可創(chuàng)建與捕獲用于左眼的圖像的第一相機相關(guān)聯(lián)的第一 3D網(wǎng)格(可為平面的或彎曲的)以及與捕獲用于右眼的圖像的第二相機相關(guān)聯(lián)的第二 3D網(wǎng)格(也可為平面的或彎曲的)?？蓪?D網(wǎng)格放置在距相機的特定虛想距離處，并且可確定3D網(wǎng)格的大小以使得其適合相機在那個虛想距離處的視見體的大小。圖形和音頻渲染模塊324可接著將左側(cè)圖像(由第一相機獲得)映射到第一 3D網(wǎng)格，并且將右側(cè)圖像(由第二相機獲得)映射到第二 3D網(wǎng)格。圖形和音頻渲染模塊324可被配置為在渲染用于左眼的場景時僅顯示第一 3D網(wǎng)格(和映射到其的內(nèi)容)并且在渲染用于右眼的場景時僅顯示第二 3D網(wǎng)格(和映射到其的內(nèi)容)。
[0076]在一些實施例中，圖形和音頻渲染模塊324還可使用3D點云執(zhí)行渲染。如前文所論述，在確定位置和取向期間，可基于IR像素數(shù)據(jù)確定物理環(huán)境內(nèi)的顯著特征(和相關(guān)聯(lián)對象)的深度圖。可接著基于深度圖生成物理環(huán)境的3D點云。圖形和音頻渲染模塊324可將物理環(huán)境的RGB像素數(shù)據(jù)(例如，由RGB相機或RGB-1R傳感器的RGB像素獲得)映射到3D點云以創(chuàng)建環(huán)境的3D渲染。
[0077]在一些實施例中，在3D虛擬對象的圖像將與物理環(huán)境的實時圖形圖像混合的情況下，圖形和音頻渲染模塊324可被配置為基于虛擬3D對象和物理環(huán)境的深度信息以及相機的位置和取向來確定渲染?，F(xiàn)在參看圖7A和7B，其示出根據(jù)本公開實施例的將3D虛擬對象的圖像混合到物理環(huán)境的實時圖形圖像中。如圖7A所示，環(huán)境700包括物理對象702和物理對象706。圖形和音頻渲染模塊324被配置為在渲染環(huán)境700時將虛擬對象704插入在物理對象702與物理對象706之間。環(huán)境700的圖形圖像由相機708沿著從位置A到位置B的路線710捕獲。在位置A處，物理對象706在渲染環(huán)境內(nèi)相對于虛擬對象704來說較靠近相機708，并且遮蔽虛擬對象704的一部分，而在位置B處，虛擬對象704在渲染環(huán)境內(nèi)相對于物理對象706來說較靠近相機708。
[0078]圖形和音頻渲染模塊324可被配置為基于其深度信息以及相機的位置和取向來確定虛擬對象704和物理對象706的渲染。現(xiàn)在參看圖8，其是示出根據(jù)本公開實施例的用于將虛擬對象圖像與物理環(huán)境的圖形圖像混合的示例性方法800的流程圖。盡管方法800被描述為由處理器(例如，圖形和音頻渲染模塊324)執(zhí)行，但應(yīng)當理解，方法800可由其它裝置單獨執(zhí)行或結(jié)合處理器來執(zhí)行。
[0079]在步驟802中，處理器可接收與虛擬對象(例如，圖7A的虛擬對象704)的第一圖像的像素相關(guān)聯(lián)的深度信息。所述深度信息可基于由(例如)圖3的取向和位置確定模塊322確定的相機708的位置和取向來生成。例如，基于3D圖內(nèi)的虛擬對象的預(yù)定位置和那個3D圖中的相機的位置，處理器可確定相機與虛擬對象之間的距離。
[0080]在步驟804中，處理器可確定與物理對象(例如，圖7A的物理對象706)的第二圖像的像素相關(guān)聯(lián)的深度信息。所述深度信息可基于由(例如)圖3的取向和位置確定模塊322確定的相機708的位置和取向來生成。例如，基于3D圖內(nèi)的物理對象的先前確定的位置(例如，使用SLAM算法)和那個3D圖中的相機的位置，可確定相機與物理對象之間的距離。
[0081 ] 在步驟806中，處理器可比較兩個像素的深度信息，并且接著在步驟808中，基于比較結(jié)果確定渲染所述像素中的一者。例如，如果處理器確定物理對象的像素比虛擬對象的像素更靠近相機(例如，在圖7B的位置A處)，則處理器可確定虛擬對象的像素被物理對象的像素遮蔽，并且確定渲染物理對象的像素。
[0082]返回參看圖3，在一些實施例中，圖形和音頻渲染模塊324還可提供音頻數(shù)據(jù)用于渲染。音頻數(shù)據(jù)可從例如音頻感測系統(tǒng)313(諸如麥克風陣列)收集。在一些實施例中，為了提供增強的感官能力，可基于用戶指令(例如，經(jīng)由手勢檢測到)夸大一些音頻數(shù)據(jù)。例如，使用麥克風陣列，圖形和音頻渲染模塊324可確定音頻數(shù)據(jù)源的位置，并且可基于用戶指令確定增大或減小與那個特定源相關(guān)聯(lián)的音頻數(shù)據(jù)的音量。在音頻數(shù)據(jù)的虛擬源將與源自物理環(huán)境的音頻信號混合的情況下，圖形和音頻渲染模塊324還可以與方法800相似的方式確定麥克風與虛擬源之間的距離以及麥克風與物理對象之間的距離?；谒鼍嚯x，圖形和音頻渲染模塊324可確定來自虛擬源的音頻數(shù)據(jù)是否被物理對象阻斷，并且相應(yīng)地調(diào)整音頻數(shù)據(jù)的渲染。
[0083]在確定待渲染的圖形和音頻數(shù)據(jù)之后，圖形和音頻渲染模塊324可接著將圖形和音頻數(shù)據(jù)提供給音頻/視頻系統(tǒng)330，所述音頻/視頻系統(tǒng)330包括被配置為顯示所渲染的圖形數(shù)據(jù)的顯示系統(tǒng)332(例如，顯示屏)以及被配置為播放所渲染的音頻數(shù)據(jù)的音頻輸出系統(tǒng)334(例如，揚聲器)。圖形和音頻渲染模塊324還可將圖形和音頻數(shù)據(jù)存儲在存儲裝置(例如，圖1的存儲裝置128)處，或?qū)?shù)據(jù)提供給網(wǎng)絡(luò)接口(例如，圖1的網(wǎng)絡(luò)接口 140)以傳輸?shù)搅硪粋€裝置用于渲染。
[0084]另外，系統(tǒng)300還包括供電系統(tǒng)340，其通常包括電池和供電管理系統(tǒng)(圖3中未示出)。
[0085]系統(tǒng)300的一些部件(軟件或硬件)可分布在不同平臺上。例如，如圖1所論述，計算系統(tǒng)100(可基于其實施系統(tǒng)300)可連接到智能裝置130(例如，智能電話)。智能裝置130可被配置為執(zhí)行處理系統(tǒng)320的一些功能。例如，智能裝置130可被配置為執(zhí)行圖形和音頻渲染模塊324的功能性。作為說明性實例，智能裝置130可接收來自取向和位置確定模塊322的關(guān)于相機的取向和位置的信息和來自手勢確定模塊323的手勢信息，以及來自感測系統(tǒng)310的關(guān)于物理環(huán)境的圖形和音頻信息，并且接著執(zhí)行圖形和音頻的渲染。作為另一個說明性實例，智能裝置130可正在操作另一個軟件(例如，應(yīng)用程序)，所述軟件可生成待添加到多媒體渲染的附加內(nèi)容。智能裝置130可接著將附加內(nèi)容提供給系統(tǒng)300(其經(jīng)由圖形和音頻渲染模塊324執(zhí)行渲染)，或可僅僅將附加內(nèi)容添加到圖形和音頻數(shù)據(jù)的渲染。
[0086]圖9A至9B是示出根據(jù)本公開實施例的示例性頭戴式交互式沉浸式多媒體生成系統(tǒng)900的示意圖。在一些實施例中，系統(tǒng)900包括計算裝置100、系統(tǒng)300和圖4F的相機系統(tǒng)494的實施例。
[0087]如圖9A所示，系統(tǒng)900包括具有一對開口 904的外殼902和頭帶906。外殼902被配置為固持被配置為生成交互式沉浸式多媒體數(shù)據(jù)的一個或多個硬件系統(tǒng)。例如，外殼902可固持電路板950(如圖9B示出)，其包括一對相機954a和954b、一個或多個麥克風956、處理系統(tǒng)960、運動傳感器962、供電管理系統(tǒng)964、一個或多個連接器968以及IR投影儀/照明器970。相機954a和954b被配置為生成物理環(huán)境的圖形數(shù)據(jù)，并且可各自包括RGB-1R相機。麥克風956被配置為收集來自環(huán)境的音頻數(shù)據(jù)以渲染為沉浸式多媒體數(shù)據(jù)的一部分。處理系統(tǒng)960可為通用處理器、FPGA、ASIC等，其被配置為執(zhí)行圖3的處理系統(tǒng)300的至少一些功能。連接器968被配置為將系統(tǒng)900連接到移動裝置(例如，智能電話)，所述移動裝置充當圖1的智能裝置130以提供額外能力(例如，渲染音頻和圖形數(shù)據(jù)、提供附加內(nèi)容用于渲染等)，使得處理系統(tǒng)960可與移動裝置通信。在此類情況下，外殼902還提供用以固持移動裝置的內(nèi)部空間。外殼902還包括一對透鏡(圖中未示出)以及任選地，顯示裝置(其可由移動裝置提供)，所述顯示裝置被配置為顯示由移動裝置和/或由處理系統(tǒng)960渲染的立體3D圖像。外殼902還包括開口 904，相機954可通過所述開口捕獲系統(tǒng)900所位于的物理環(huán)境的圖像。
[0088]如圖9A所示，系統(tǒng)900還包括一組頭帶906。所述頭帶可被配置為允許人們將系統(tǒng)900穿戴在她的頭上，使她的眼睛暴露到顯示裝置和透鏡。在一些實施例中，電池可位于頭帶中，所述頭帶還可提供電池與容納在外殼902中的系統(tǒng)之間的電連接。
[0089]利用本公開的實施例，可提供用戶(和相機)的3D位置和取向的精確跟蹤?；谟脩舻奈恢煤腿∠蛐畔?，可提供交互式沉浸式多媒體體驗。所述信息還實現(xiàn)虛擬對象的圖像與物理環(huán)境的圖像的逼真混合以創(chuàng)建增強現(xiàn)實和虛擬現(xiàn)實的組合體驗。本公開的實施例還使得用戶能夠有效地更新物理環(huán)境的多個部分的圖形和音頻渲染以增強用戶的感官能力。
[0090]在前述的說明書中，已參照可根據(jù)各種實現(xiàn)方式變化的多個具體細節(jié)來描述實施例。可以對所描述的實施例進行特定的修改和變型?？紤]到本文公開的本發(fā)明的說明書和實踐，其他實施例對于本領(lǐng)域技術(shù)人員是顯而易見的。本發(fā)明意在將說明書和實施例被認為是僅示例性的，由所附權(quán)利要求來指示本發(fā)明的真正范圍和意旨。本發(fā)明還意在在圖中所示的步驟順序僅用于說明的目的，并不意在限制步驟的任何特定順序。正因為如此，本領(lǐng)域技術(shù)人員可以理解，這些步驟可以以不同的順序來實施相同的方法。
【主權(quán)項】
1.一種設(shè)備，包括: 光學感測系統(tǒng)，其包括至少一個相機，所述至少一個相機被配置為獲取物理環(huán)境的圖像； 處理系統(tǒng)，其包括: 取向和位置確定模塊，其被配置為: 從所述圖像檢測顯著特征，并且 基于所述所檢測到的顯著特征確定所述設(shè)備相對于所述物理環(huán)境的取向和/或位置變化； 以及 渲染模塊，其被配置為: 基于所述圖像和所述所確定的所述設(shè)備的取向和/或位置變化來確定所述物理環(huán)境的渲染，并且 將與所述物理環(huán)境的所述渲染有關(guān)的數(shù)據(jù)提供給顯示系統(tǒng)。2.根據(jù)權(quán)利要求1所述的設(shè)備，其中: 所述光學感測系統(tǒng)包括第一相機和第二相機，所述第一相機被配置為獲取所述物理環(huán)境的第一圖像，并且所述第二相機被配置為獲取所述物理環(huán)境的第二圖像； 所述取向和位置確定模塊被配置為: 當所述設(shè)備在所述物理環(huán)境中處于第一位置時，從所述第一圖像和第二圖像檢測第一顯著特征， 確定與所述第一顯著特征相關(guān)聯(lián)的第一組坐標， 當所述設(shè)備在所述物理環(huán)境中處于第二位置時，從所述第一圖像和第二圖像檢測第二顯著特征， 確定與所述第二顯著特征相關(guān)聯(lián)的第二組坐標，并且 響應(yīng)于確定所述第一顯著特征和第二顯著特征彼此對應(yīng)，基于所述第一組和第二組坐標來確定所述設(shè)備相對于所述物理環(huán)境的取向和/或位置變化； 并且 所述渲染模塊被配置為基于所述第一圖像和第二圖像并且基于所述設(shè)備的所述所確定的取向和/或位置變化來確定所述物理環(huán)境的立體渲染。3.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述第一相機和第二相機中的每一者包括紅-綠-藍-紅外(RGB-1R)像素傳感器。4.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述光學感測系統(tǒng)包括第一相機、第二相機和反射鏡，所述第一相機被配置為獲取紅外(IR)圖像，所述第二相機被配置為獲取紅-綠-藍(RGB)圖像，并且所述反射鏡被配置為將IR光反射離開所述第二相機并且將所述IR圖像與所述RGB圖像對齊。5.根據(jù)權(quán)利要求4所述的設(shè)備，其中所述第一相機是飛行時間相機。6.根據(jù)權(quán)利要求4所述的設(shè)備，其中所述第一相機是IR相機。7.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述光學感測系統(tǒng)包括IR照明器，其被配置為將一個或多個圖案投射到所述物理環(huán)境中；其中所述所檢測到的顯著特征包括所述一個或多個圖案。8.根據(jù)權(quán)利要求1所述的設(shè)備，其中: 所述處理系統(tǒng)還包括手勢確定模塊，其被配置為: 從所述圖像檢測手勢，并且 確定與所述手勢相關(guān)聯(lián)的用戶指令； 并且 所述渲染模塊被配置為基于所述所確定的用戶指令確定所述物理環(huán)境的所述渲染。9.根據(jù)權(quán)利要求8所述的設(shè)備，其中: 所述手勢確定模塊被配置為確定所述用戶指令與被渲染的對象的選擇相關(guān)聯(lián);并且 所述渲染模塊被配置為基于所述用戶指令確定所述對象的所述渲染的變化。10.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述對象是虛擬對象。11.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述對象是存在于所述物理環(huán)境中的物理對象。12.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述渲染模塊被配置為在所述物理環(huán)境的所述渲染中將虛擬對象的圖像與位于所述物理環(huán)境中的物理對象的圖像混合;其中所述混合是基于與所述虛擬對象相關(guān)聯(lián)的第一組坐標和與所述物理對象相關(guān)聯(lián)的第二組坐標。13.根據(jù)權(quán)利要求12所述的設(shè)備，其中所述混合包括與所述虛擬對象相關(guān)聯(lián)的音頻數(shù)據(jù)和源自所述物理環(huán)境的音頻信號的渲染。14.根據(jù)權(quán)利要求1所述的設(shè)備，還包括被配置為連接到智能電話的連接器。15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述智能電話包括所述處理系統(tǒng)的至少一部分。16.根據(jù)權(quán)利要求14所述的設(shè)備，其中: 所述智能電話被配置為提供附加內(nèi)容； 并且所述渲染模塊被配置為基于所述圖像和所述附加內(nèi)容確定所述物理環(huán)境的渲染。
【文檔編號】G09G5/00GK106062862SQ201580005780
【公開日】2016年10月26日
【申請日】2015年10月23日
【發(fā)明人】費越, 何安莉
【申請人】何安莉, 費越