技術領域

本發(fā)明總體上涉及特殊效果，并且更具體地涉及用于將真實物理世界道具(item)疊加到虛擬模擬世界中的系統(tǒng)和方法，世界之間的交互，以及用于在這些與第三方參與者之間有效通信的協(xié)議。

背景技術：

從現(xiàn)有技術應當提到綠色屏幕技術，其中通常具有綠色背景顏色(色度鍵)的演播室中的人和道具被疊加到背景上，該背景可以是合成的。問題是，演播室中的參與者與背景圖像沒有直接交互。同樣，這樣的解決方案意味著向第三方參與者或普通觀眾的數(shù)據(jù)壓縮的范圍有限。

從現(xiàn)有技術應當提到以下文獻：

Lang，T，等，Massively Multiplayer Online Worlds as a Platform for Augmented Reality，虛擬現(xiàn)實會議，2008年，IEEE，第67-70面，ISBN 978-1-4244-1971-5。這涉及真實世界與虛擬世界的整合。

US2009271821涉及媒體展示中的實時參與。

WO002873涉及具有用于攝像機跟蹤的部件的交互式TV制作系統(tǒng)。

WO2013034981涉及一種參與者處的游戲引擎。

US2002010734涉及一種聯(lián)網(wǎng)的增強現(xiàn)實系統(tǒng)。

THOMAS，G.和GRAU，O.，Virtual Graphics For Broadcast Production I：計算機，IEEE，2009年，第6卷，第7期，第42-47面，ISSN 0018-9162涉及使用具有用于檢測運動和位置的功能的攝像機系統(tǒng)以模擬使用鍵控器要被疊加演播室圖像的圖形。

技術實現(xiàn)要素：

發(fā)明要解決的問題

因此，本發(fā)明的主要目的是提供一種系統(tǒng)和方法，其克服現(xiàn)有技術中的局限性?？朔莶ナ抑械恼鎸嵤澜缥锢硐拗剖潜景l(fā)明的目的。能夠改善所傳輸?shù)亩嗝襟w的數(shù)據(jù)壓縮也是本發(fā)明的目的。使得第三方參與者能夠交互也是本發(fā)明的目的。

解決問題的手段

根據(jù)本發(fā)明，通過如在獨立權(quán)利要求的前序部分中定義的、具有所述獨立權(quán)利要求的特征部分的特征的、用于將真實物理世界道具疊加到虛擬模擬世界和參與現(xiàn)場中的系統(tǒng)來實現(xiàn)該目的。

通過從屬權(quán)利要求限定本發(fā)明的多個非窮盡的實施例、變型或替選。

本發(fā)明通過用于具有真實生活道具的演播室現(xiàn)場和用于模擬至少一些所述真實生活道具的主游戲引擎來達到上述目的，其中主游戲引擎從所述演播室接收運動和位置數(shù)據(jù)并且生成所述道具的可視化，其中可視化是使用鍵控器功能疊加的演播室圖像。

在優(yōu)選實施例中，系統(tǒng)還設有用于模擬參與單元的至少一個參與游戲引擎，其中參與游戲引擎從演播室接收運動和位置數(shù)據(jù)并且生成所述道具的可視化，其中，可視化是使用鍵控器功能疊加的演播室圖像。

在更優(yōu)選的實施例中，至少一個參與游戲引擎還可操作為從主游戲引擎接收數(shù)據(jù)。

在其他優(yōu)選實施例中，主游戲引擎還可操作為以從至少一個參與游戲引擎接收數(shù)據(jù)。

發(fā)明效果

該技術與使用色度鍵的現(xiàn)有技術的差異在于，演播室中的道具和參與者可以與不再必須保持靜態(tài)的背景交互。

這些效果又提供多個其他有利效果：

·使得能夠利用現(xiàn)實物理以及非現(xiàn)實物理來模擬道具

·使得能夠改變真實道具與模擬道具之間的比例

使用參與游戲引擎提供其他優(yōu)點：

·使得參與者能夠與演播室中的動作進行交互，例如在游戲表演中觀眾可以在模擬的競技場中參加游戲

·使得能夠有效地壓縮數(shù)據(jù)，因為與模擬道具相關的所有圖形都可以通過位置信息傳輸，并且然后在本地渲染

·使得能夠不僅通過壓縮而且通過在動作之前預加載參與游戲引擎來提高帶寬

當參與游戲引擎從主游戲引擎接收數(shù)據(jù)時，參與者也將能夠看到模擬道具并且可選地與模擬道具進行交互。

當主游戲引擎還可操作為從至少一個參與游戲引擎接收數(shù)據(jù)時，整個系統(tǒng)可以將來自參與者的交互帶入演播室中并且使參與者動作彼此可見。

附圖說明

本發(fā)明的上述以及其他特征在所附權(quán)利要求書中以細節(jié)闡述，并且根據(jù)對以下參考附圖給出的本發(fā)明的示范性實施例的詳細描述的考慮，本發(fā)明的上述以及其他特征與本發(fā)明的優(yōu)點一起將變得更清楚。

下面將結(jié)合附圖中示意性地示出的示范性實施例進一步描述本發(fā)明，附圖中：

圖1示出整個系統(tǒng)的實施例。

參考標號的說明

以下參考數(shù)字和標號指的是附圖：

具體實施方式

在下文中參考附圖更充分地描述本公開的各個方面。然而，本公開可以以許多不同形式來實施，并且不應被解釋為受限于在整個本公開中提出的任何特定結(jié)構(gòu)或功能。相反，提供這些方面以使得本公開將是徹底和完整的，并且將向本領域技術人員充分地傳達本公開的范圍?；谠诖说慕虒В绢I域技術人員應當理解，本公開的范圍旨在覆蓋在此公開的本公開的任何方面，無論是獨立于本公開的任何其他方面實現(xiàn)還是與本公開的任何其他方面組合實現(xiàn)。例如，可以使用在此闡述的任何數(shù)量的方面來實現(xiàn)裝置或者實踐方法。此外，本公開的范圍旨在覆蓋這樣的裝置或方法，其使用其他結(jié)構(gòu)、功能，或者除了在此闡述的本公開的各個方面之外的或不同于在此闡述的本公開的各個方面的其他結(jié)構(gòu)、功能來實踐。應當理解，在此公開的本公開的任何方面可以通過權(quán)利要求的一個或多個元素來實施。

術語

本描述使用整個文檔中的某些術語和表達。

演播室：演播室現(xiàn)場和諸如主游戲引擎和鍵控器之類的相關器材。

演播室現(xiàn)場：具有用于記錄的部件(諸如攝像機和聲音記錄系統(tǒng))的用于使用物理道具的真實生活中的現(xiàn)場。優(yōu)選地，具有照明和色度鍵器材。

游戲引擎：與圖形引擎進行交互以使模擬現(xiàn)實中的模擬對象可視化的物理引擎。

鍵控器：將演播室中的物理道具的視覺表示與游戲引擎中的模擬道具的視覺表示相結(jié)合的設備。

形成發(fā)明基礎的原理

將結(jié)合附圖中示意性地示出的示范性實施例進一步描述本發(fā)明，其中圖1示出了構(gòu)成本發(fā)明的實施例的部件之間的相互作用。

本發(fā)明的核心是分離在展示之前整合的真實和模擬道具。

執(zhí)行發(fā)明的最佳方式

圖1中所示的根據(jù)本發(fā)明的裝置的實施例包括系統(tǒng)1000，系統(tǒng)1000包括演播室2000，演播室2000包括具有真實生活道具的演播室現(xiàn)場2200，以及模擬至少一些所述真實生活道具的主游戲引擎2300，其中主游戲引擎從所述演播室現(xiàn)場接收運動和位置數(shù)據(jù)2110、2120，并且生成所述道具的可視化，其中可視化是使用鍵控器功能疊加的演播室圖像。

演播室2000通常包括用于制作節(jié)目、表演或游戲的設施。在設施中的是制作現(xiàn)場2200以及用于制作圖形效果的部件。

演播室現(xiàn)場2200是具有用于記錄的部件(諸如攝像機和聲音記錄系統(tǒng))的用于使用物理道具和對象的真實世界中的物理現(xiàn)場或場所。

其包括諸如布景、優(yōu)選地是演播室布景的物理場所2210，但也可以是自然場所或者其他類型的現(xiàn)場場所。場所具有諸如位置、方向和縮放的幾何參數(shù)。優(yōu)選地，現(xiàn)場設有用于運動捕獲的器材，并且因此優(yōu)選地是用于為記錄部件(諸如攝像機、視頻和音頻器材)記錄位置和方向的設備。來自這些記錄部件的數(shù)據(jù)被作為物理場所運動數(shù)據(jù)2110傳輸。

與場所相關的有物理道具和對象2220。這些可以是諸如人的主動對象以及諸如椅子和桌子的被動對象。對象優(yōu)選地設有用于記錄和定位對象的部件，通常類似于運動捕捉系統(tǒng)中所使用的。來自這些記錄部件的數(shù)據(jù)被作為物理對象運動數(shù)據(jù)2120傳輸。

記錄部件2230記錄演播室場所2210中的對象2220的視覺和音頻外觀，并且生成圖像數(shù)據(jù)2130。這樣的記錄部件可以是傳統(tǒng)記錄部件，諸如演播室攝像機和麥克風。優(yōu)選地，所述記錄部件設有用于記錄其相對于演播室現(xiàn)場的位置的部件，以使得可以確定布景的適當3D表示。要注意，并非物理場所的所有對象或部分必須始終可見或者被記錄。

圖像數(shù)據(jù)被傳輸?shù)酵ǔＮ挥谘莶ナ?000的鍵控器2170。鍵控器可操作為使用色度鍵控來疊加來自別處的圖像。通常使用演播室現(xiàn)場中的綠色屏幕來進行這樣的色度鍵控，并且這樣的色度鍵控可以部分或全部地應用于現(xiàn)場和對象。

主游戲引擎2300向虛擬世界提供由模擬物理控制的模擬對象。

虛擬世界由具有場所的虛擬場所2310表示。所述場所不必與物理場所2210的場所相同。

游戲引擎接收物理場所運動數(shù)據(jù)2110，以使得可以建立真實世界的位置與虛擬世界的位置之間的關系。

與虛擬世界相關的有虛擬道具和對象2320。這些可以是完全虛擬的并且由游戲引擎模擬，或者可以基于來自物理對象2220的數(shù)據(jù)、基于物理對象運動數(shù)據(jù)2120來模擬。當使用諸如質(zhì)量、重力和摩擦力的真實生活參數(shù)來模擬時，這樣的模擬對象將表現(xiàn)類似于對應的物理對象。

游戲引擎包括處理虛擬世界以及相關的物理和模擬的物理引擎。具有虛擬場所和對象的虛擬世界的表示由也是游戲引擎的一部分的圖形引擎2330來渲染。

通常位于演播室的鍵控器2170接收來自演播室現(xiàn)場2200的圖像結(jié)果2240以及來自主游戲引擎2300的圖像結(jié)果2340，并且將這些組合成可以傳輸給觀眾的組合結(jié)果2180。

在典型的使用中，首先是設置階段，其中使用物理場所運動數(shù)據(jù)2110來使真實世界的位置和虛擬世界的位置對準。真實世界布景填充有使用物理對象運動數(shù)據(jù)2120將其參數(shù)傳送到虛擬世界的對象。攝像機和其他記錄器材也是對象，并且關于這些的數(shù)據(jù)也被傳送，以使得當攝像機移動、搖拍和變焦時虛擬世界與真實世界保持同步。通常使用綠色屏幕為虛擬對象分配空間，以使得虛擬對象可以被疊加到該區(qū)域中。

此外，對象可以在綠色屏幕中被覆蓋，以使得可以使用鍵控器來替換其視覺表示。

通常在記錄階段期間，人類演員圍繞布景移動，并且在虛擬世界中使用數(shù)據(jù)2110、2120對應地更新其位置。當人類演員通過例如踢箱子來操縱對象時，示出本發(fā)明的技術效果。箱子設有綠色屏幕，并且通過鍵控器使其不可見。然而，數(shù)據(jù)被傳送到模擬箱子的運動的游戲引擎，并且以虛擬箱子的渲染來替換真實世界行為，虛擬箱子以卡通般的效果來模擬，諸如使用適當?shù)囊曈X和音頻效果打碎箱子并以夸張的速度將其彈出。

在優(yōu)選實施例中，系統(tǒng)還包括在參與者現(xiàn)場3000處的觀眾，參與者現(xiàn)場3000設有用于模擬參與虛擬單元以及對象3320的至少一個參與游戲引擎3300，其中參與游戲引擎從演播室2200現(xiàn)場接收運動和位置數(shù)據(jù)2110、2120，并且生成所述道具的可視化，其中可視化是使用鍵控器功能疊加的演播室圖像。

在典型的使用中，首先是設置階段，其中使用物理場所運動數(shù)據(jù)2110來使真實世界的位置和參與虛擬世界的位置對準。真實世界布景填充有使用物理對象運動數(shù)據(jù)2120將其參數(shù)傳送到虛擬世界的對象。攝像機和其他記錄器材也是對象，并且關于這些的數(shù)據(jù)也被傳送，以使得當攝像機移動、搖拍和變焦時虛擬世界與真實世界保持同步。通常使用綠色屏幕為虛擬對象分配空間，以使得虛擬對象可以被疊加到該區(qū)域中。

通常在觀看階段期間，參與游戲引擎從演播室系統(tǒng)2000接收圖像數(shù)據(jù)和位置數(shù)據(jù)，并且使用這些在位于參與現(xiàn)場的鍵控器3170中將圖像數(shù)據(jù)與來自參與游戲引擎的圖像結(jié)果相組合。這具有減小帶寬的優(yōu)點，因為可以從低帶寬運動數(shù)據(jù)2110、2120中本地創(chuàng)建模擬對象的圖像數(shù)據(jù)。這還允許對例如色彩的本地調(diào)整，以提高對視覺受損的觀眾的可見性。本地生成的圖像數(shù)據(jù)比廣播系統(tǒng)具有更多的可用帶寬，并且可以因此以更高的質(zhì)量和更精細的細節(jié)來渲染圖像和聲音。

在更優(yōu)選的實施例中，至少一個參與游戲引擎還可操作為從主游戲引擎接收數(shù)據(jù)。

在更優(yōu)選的實施例中，參與者現(xiàn)場3000設有輸入設備3150，諸如按鈕、操縱桿、鍵盤、麥克風以及用于將數(shù)據(jù)輸入到游戲引擎3300中的其他部件。這使得觀眾本地參與游戲表演，而不依賴于需要用于傳入用戶數(shù)據(jù)流量的帶寬的集中式系統(tǒng)。這又允許系統(tǒng)的擴展。

在其他優(yōu)選實施例中，主游戲引擎還可操作為從至少一個參與游戲引擎接收數(shù)據(jù)。這可以是單獨的運動數(shù)據(jù)，以便在仍然讀取來自參與者的結(jié)果的同時節(jié)約帶寬，這種解決方案不會提出與所有計算集中發(fā)生的系統(tǒng)一樣的對低延遲的要求。

在一些實施例中，至少一些參與者數(shù)據(jù)可以被再廣播給其他參與者。

在其他實施例中，例如通過演播室，參與者數(shù)據(jù)可以在不被集中式路由的情況下在參與者的群組之間共享。

優(yōu)選地，通過將適當?shù)臄?shù)據(jù)引導到每個參與者的數(shù)據(jù)庫系統(tǒng)4000來引導數(shù)據(jù)流。這樣的數(shù)據(jù)流可以是來自演播室現(xiàn)場4010的數(shù)據(jù)流和來自主游戲引擎4020的數(shù)據(jù)流。

替選實施例

可以設想以上的多個變化。例如，演播室可以制作用于記錄的數(shù)據(jù)而不是實況傳輸。

類似地，參與者現(xiàn)場可以使用記錄的數(shù)據(jù)而不是接收到的實況數(shù)據(jù)。這將具有先前提到的改善的數(shù)據(jù)壓縮的優(yōu)點。

參與者現(xiàn)場可以以下列多個模式之一操作：

在線接收模式：其中參與者被動地觀看在演播室中所發(fā)生的。

虛擬在線參與模式：其中參與者使用參與者游戲引擎、使用優(yōu)選地來自演播室的預加載數(shù)據(jù)來與系統(tǒng)進行交互或比賽。這具有看起來在線的效果，而無需真實在線的帶寬需求并且沒有或有有限的滯后。交互的結(jié)果通常被返回到演播室。

完全在線參與模式：其中參與者實時連接到主游戲引擎，通常用于選擇少數(shù)參與者。通常，對于那些做得特別好并且將具有更廣泛的興趣的參與者，系統(tǒng)從虛擬參與在線模式轉(zhuǎn)換到完全在線參與模式。

回放模式：其中參與者操作完全預加載的數(shù)據(jù)。所述數(shù)據(jù)也可以是以上三種模式之一的結(jié)果。

工業(yè)適用性

根據(jù)本申請的發(fā)明可用于多媒體的記錄、傳輸、分發(fā)和觀看，以及用于觀眾參與。