一種由移動中的用戶佩戴的用于通過錨定虛擬對象充分增強現(xiàn)實的系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及一種增強現(xiàn)實的系統(tǒng)，尤其涉及一種將虛擬對象在功能上和行為上錨定到現(xiàn)實世界對象以在固定的位置和用戶/觀察者能夠四處移動而不會造成環(huán)境損失的位置創(chuàng)造一個綜合的、廣泛的、合理性增強的現(xiàn)實環(huán)境的系統(tǒng)，其包含在現(xiàn)實世界中的虛擬對象的相對位置、3維立體以及視角，以及現(xiàn)實世界的虛擬對象之間以及多個虛擬對象之間的互動。多用戶的虛擬對象也能夠互動，其中該系統(tǒng)被提供給多用戶中的每個以用于彼此間的交流。
【背景技術(shù)】
[0002]增強現(xiàn)實(AR)是一種實時的、直接或間接的物理的、現(xiàn)實世界環(huán)境的視角，其元素被諸如聲音、視頻、圖像或GPS數(shù)據(jù)的由計算機生成的傳感輸入增強。AR涉及更普遍的媒介化現(xiàn)實(MR)概念，其中現(xiàn)實的視覺被計算機修正而非增強。因此，該技術(shù)通過提升當前的現(xiàn)實感覺來運行。相比之下，虛擬現(xiàn)實用完全模擬的一個世界代替了現(xiàn)實世界。
[0003]增強在實時的和具有環(huán)境因素的語意的環(huán)境中是慣用的，諸如在比賽中電視上當前和外部的體育比分。在先進的AR技術(shù)的幫助下，例如，增加計算機視覺和物體識別，關(guān)于用戶周圍的現(xiàn)實世界的信息變?yōu)榛拥暮涂蓴?shù)字化操作的。關(guān)于環(huán)境的人工信息和其對象可以覆加在現(xiàn)實世界上。
[0004]科學(xué)研宄探索了將計算機產(chǎn)生的圖像的應(yīng)用于實時視頻流以增強現(xiàn)實世界的感覺。AR技術(shù)包含頭戴式顯示器和用于形象化的虛擬視網(wǎng)膜顯示器以及通過傳感器和驅(qū)動器啟用的受控環(huán)境的建立。
[0005]透視眼鏡是現(xiàn)有技術(shù)，其包含:電光設(shè)備；以及一副透明眼鏡，其投射用戶視力能看到的給定的顯示屏，就好像在現(xiàn)實世界中存在無限焦距的真實顯示屏，所以，雖然其設(shè)置的與眼鏡非常接近，但顯示的圖像仍可以被看到。由于透視眼鏡屏幕對于每個眼睛是單獨的，所顯示的圖像可以為十分真實的三維全息術(shù)。由于黑色不反射光線所以其在透視眼鏡中被看作是透光的，黑屏中的對象被隔離出來并通常正如它們存在的樣子一樣被看到。
[0006]Total Immers1n是一個增強現(xiàn)實的公司，該公司的D’Fus1n技術(shù)使用黑框特征將實時交互的3D圖像融入實時視頻源中。
[0007]因此，提供一種還克服了增強現(xiàn)實系統(tǒng)的受限實用性的可佩帶解決方案以在用戶/觀察者的移動過程中保留現(xiàn)實性是有利的，并從而使用戶環(huán)境中的虛擬與現(xiàn)實元素的整合更加真實和豐富。

【發(fā)明內(nèi)容】

[0008]相應(yīng)地，本發(fā)明的主要目的在于使用戶/觀察者環(huán)境中的虛擬與現(xiàn)實因素的整合更加真實和豐富。
[0009]本發(fā)明的另一個主要目的是視覺上將所選擇的虛擬對象在功能上和行為上錨定到現(xiàn)實世界，以便于創(chuàng)造一個在固定位置和移動中都完整的、廣泛的、合理的增強現(xiàn)實環(huán)境。
[0010]本發(fā)明的另一個主要目的在于提供一種移動中的用戶/觀察者佩帶的系統(tǒng)(硬件)和方法(算法/軟件)，以通過透視眼鏡將計算機生成的圖像疊加到現(xiàn)實世界，提供來自該系統(tǒng)的數(shù)據(jù)輸入的整合，通過該方法進行完善并生成結(jié)果輸出，通過透視眼鏡顯示給用戶/觀察者。
[0011]本發(fā)明的另一個主要目的還在于使用補償公式在坐標系中向特定方位提供MU穩(wěn)定性-在黑框中移動CGI。(軟錨定)
[0012]本發(fā)明的另一個主要目的在于利用作為標記物的現(xiàn)實世界對象向現(xiàn)實世界提供一種計算機生成的圖像(CGI)的計算機視覺(CV)動態(tài)3D整合(硬錨定)，以使虛擬對象與該計算機視覺(CV)動態(tài)3D整合現(xiàn)實相關(guān)。
[0013]本發(fā)明的進一步的主要目的在于基于視角執(zhí)行計算機視覺和圖像的加工。
[0014]本發(fā)明的一個其他的目的在于通過建立一個與卅界的其余部分真實互動的虛擬對象的動態(tài)數(shù)據(jù)庫以啟用軟件應(yīng)用。
[0015]一組邏輯規(guī)則，其按照包含定位、視角、功能和行為的限定互動性質(zhì)加工計算機生成的圖像。
[0016]一組邏輯規(guī)則，其用于按照每個個體和其相關(guān)可視角度和視角在創(chuàng)造了一系列行為和其各自的圖像處理的個體中共享虛擬世界。
[0017]軟件開發(fā)工具包(SDK)包含用于允許任何開發(fā)者創(chuàng)造真實世界與虛擬世界任何類型的整合的應(yīng)用。
[0018]該源圖像為計算機生成的圖像(CGI)，其與黑框上顯示的圖像是相反的。由在透視設(shè)備上所安裝的攝像機接收到的視頻圖像為現(xiàn)實世界的皇盡，從中，使用計算機視覺應(yīng)用和相應(yīng)的算法，軟件識別真實對象作為標記物，以便將CGI “硬錨定”(即，虛擬對象和所說的真實對象之間的緊密的相關(guān)連接)到現(xiàn)實世界。該源圖像(CGI)與使用計算機視覺進行錨定的參考圖像是不同的。
[0019]軟錨定是錨定到特定點，獨立于現(xiàn)實世界中的任何變形和環(huán)境。相比之下，硬錨定是銷定到現(xiàn)實世界中的對象，通過標記物進行針標定(pin-pointed)，標記物包括在空間中的變形和轉(zhuǎn)換、視角、中斷等，而不是現(xiàn)實世界的特定對象。
[0020]由于該系統(tǒng)應(yīng)當在移動中(身體和頭部移動)啟用軟和硬錨定，所以這個移動可以通過觀察設(shè)備上安裝的IMU設(shè)備進行測量和補償。
[0021]本發(fā)明的另一個主要目的是將虛擬對象的相對位置、視角和可視角度包括在現(xiàn)實世界的描繪中，以及虛擬對象與現(xiàn)實世界以及虛擬對象和其他虛擬對象之間的互動。
[0022]本發(fā)明的進一步的主要目的為使用透視眼鏡將虛擬對象錨定到現(xiàn)實世界中。
[0023]一些示例:
[0024]3D圖像視圖和錨定:如果觀察者正在繞著一座雕塑邊走邊觀看，根據(jù)其與雕塑相關(guān)的視角，他將從不同的角度看到雕塑。
[0025]移動中改變視角:如果觀察者在路上駕駛他的車輛時看到了虛擬符號，當接近該符號時，該符號的尺寸將會隨著觀察者與符號間的距離的函數(shù)而增加。
[0026]虛擬對象的物理特性:如果網(wǎng)球有力地擊打了虛擬的一杯水，由于沖擊杯子將破碎并且水將會涌出。但是如果輕紙團擊打同樣的虛擬的一杯水，盡管由紙團造成沖擊，這杯水將保持直立。也就是說，虛擬的玻璃杯和兩種類型的球?qū)⒃诰€訪問“維基-種類”解決方案(當前事件的結(jié)果)中的特定參考信息，這些信息是關(guān)于相對重量、尺寸、沖擊角度以及其他相關(guān)的物理數(shù)據(jù)的。
[0027]本發(fā)明的進一步的主要目的為提供一種頭戴式的顯示器，其包含透視眼鏡、虛擬視網(wǎng)膜顯示設(shè)備或允許將計算機生成的圖像(CGI)疊加在現(xiàn)實世界的觀察中的任何其他的設(shè)備或技術(shù)。
[0028]頭戴式顯示器(HMD)佩戴在頭部或作為頭盔的一部分，其具有位于一只眼睛(單眼式HMD)或兩只眼睛(雙眼式HMD)之前的小的顯示鏡片。
[0029]典型的HMD具有帶有嵌入到頭盔，眼鏡(又稱數(shù)據(jù)眼鏡)或面罩中的鏡片和半透明鏡的一個或兩個小的顯示器。該顯示器單元被小型化并可以包含陰極射線管(CRT)、液晶顯示器(IXD)、硅基液晶(LCoS)、或有機發(fā)光二極管(OLED)。在優(yōu)選的實施例中，多個微顯示器被實施以增加整體分辨率和視野。
[0030]該設(shè)備使計算機生成圖像(CGI)可以被疊加在現(xiàn)實世界中?，F(xiàn)實世界的視野與CGI的疊加通過將CGI投射穿過部分反射鏡并直接觀察現(xiàn)實世界來完成。這個方法常被稱為光學(xué)透