使用增強現(xiàn)實的對居住空間的實時設(shè)計的制作方法
【專利說明】使用増強現(xiàn)實的對居住空間的實時設(shè)計
[0001]背景
[0002]室內(nèi)和室外居住空間的設(shè)計通常涉及在時間上高度分開的若干步驟。設(shè)計者用嚴(yán)苛的視角來審閱空間，作出關(guān)于要對該空間作出的改變的決定，購買商品，并隨后重新設(shè)計該空間。在查看空間、作出設(shè)計決定以及查看經(jīng)重新裝飾的空間之間存在時間間隙。有了這一時間間隙，重新設(shè)計可能成為一個昂貴的過程，如果設(shè)計者(或設(shè)計者的顧客)出于多種原因中的任一種而不滿意最終結(jié)果的話。
[0003]存在允許創(chuàng)建、編輯和查看居住空間的三維模型的一些軟件工具。然而，此類工具仍然涉及對空間的精確測量以及將設(shè)計過程與查看實際空間分隔開。

【發(fā)明內(nèi)容】

[0004]提供概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念的選集。本概述并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)的主題的范圍。
[0005]顯示器在包括居住空間的一場景的上下文中渲染模擬對象，這允許設(shè)計者基于現(xiàn)有布局來實時地重新設(shè)計居住空間。顯示器可以提供場景的實況視頻饋源，或者顯示器可以是透明的或半透明的。實況視頻饋源可以用半不透明方式來顯示，從而對象可以被容易地覆蓋在場景上而不會使查看者混淆。
[0006]—種計算機(jī)系統(tǒng)在顯示器上渲染模擬對象，以使得模擬對象對于查看者而言表現(xiàn)為與場景中的實際對象處于基本上相同的地點。所顯示的模擬對象可以通過各種用戶姿勢在顯示器上在空間上被操縱。設(shè)計者可以用許多方式在視覺上模擬對空間的重新設(shè)計，例如，通過添加所選對象，或者通過移除或重新布置現(xiàn)有對象，或者通過改變那些對象的屬性。此類對象還可與購物資源相關(guān)聯(lián)以使得能夠購買相關(guān)商品和服務(wù)，或者能夠參與其他商業(yè)交易。
[0007]在以下描述中，對附圖進(jìn)行了參考，附圖構(gòu)成了實施方式的一部分且在其中作為示例示出了本發(fā)明技術(shù)的具體示例實現(xiàn)?？梢岳斫猓梢允褂闷渌麑嵤├⑶铱梢宰龀鼋Y(jié)構(gòu)改變而不背離本公開的范圍。
[0008]附圖簡述
[0009]圖1是用戶查看在具有對應(yīng)的實際對象的場景的上下文中的模擬對象的場景的解說。
[0010]圖2是解說設(shè)計系統(tǒng)的示例實現(xiàn)的數(shù)據(jù)流程圖。
[0011]圖3是解說用于諸如圖2中的設(shè)計系統(tǒng)的用戶輸入模塊的示例實現(xiàn)的更詳細(xì)的數(shù)據(jù)流程圖。
[0012]圖4是描述圖2中系統(tǒng)的示例操作的流程圖。
[0013]圖5是描述對象識別系統(tǒng)的示例操作的流程圖。
[0014]圖6是用包括模擬對象的顯示器來查看的場景的另一解說。
[0015]圖7是在其中可以實現(xiàn)這樣的系統(tǒng)的示例計算設(shè)備的框圖。
【具體實施方式】
[0016]以下章節(jié)提供了其中可以實現(xiàn)本文描述的環(huán)境設(shè)計應(yīng)用的示例操作環(huán)境。
[0017]參考圖1，個體100查看場景102和顯示器104。場景102可以是多種環(huán)境中的任一種，無論是室內(nèi)(在建筑物中，諸如辦公樓或家中)還是室外(諸如花園、草坪或陽臺)。環(huán)境可以是商用或住宅。此類場景可包含個體可考慮作為場景的設(shè)計特征的一個或多個對象，諸如豕具、墻、藝術(shù)品、植物、地板等。
[0018]顯示器104可以是透明顯示器，從而允許個體透過顯示器來查看場景102。顯示器104還可顯示場景的實況視頻饋源，從而允許個體在場景的一部分的上下文中在顯示器上查看場景的其余部分。這一實況視頻饋源可以采用組合有頭部跟蹤和依賴于查看者的渲染的場景三維重構(gòu)的形式，以使得場景的三維渲染與查看者在顯示器透明的情況下會看到的場景相匹配。
[0019]實況視頻饋源可以用半不透明方式來顯示，從而對象可以被容易地覆蓋在場景上而不會使查看者混淆。用半不透明的方式來顯示場景可以用光學(xué)快門式透明顯示器(諸如液晶顯示器)來完成?；蛘撸绻@示器是發(fā)射性的(諸如透明基板上的(OLED))，則使發(fā)射像素足夠亮以自然地混入場景中并且變得可見。
[0020]計算機(jī)程序(未示出)生成并在在顯示器區(qū)域108中顯示模擬對象106。計算機(jī)程序可以在內(nèi)置到顯示器中的處理器上或者在連接到顯示器的計算機(jī)上運行。模擬對象106對應(yīng)于場景102中的對象，例如對象112。
[0021]—般來說，模擬對象由計算機(jī)根據(jù)場景的圖像數(shù)據(jù)來定義。具體來說，場景的圖像數(shù)據(jù)被接收到計算機(jī)中的存儲器中。圖像數(shù)據(jù)從與顯示器104具有已知關(guān)系的一個或多個相機(jī)(未示出)接收。相機(jī)可以與顯示器位于相同外殼上，或者可以位于包含場景102的環(huán)境中。計算機(jī)系統(tǒng)生成場景中的實際對象的模型，諸如由頂點、邊和面定義的三維模型。這些模型從而是對應(yīng)于場景中的實際對象的模擬對象。
[0022]模擬對象在顯示器上被渲染和顯示。如下文將更詳細(xì)地描述的，這些模擬對象以及場景的任何實況視頻饋源基于查看者相對于顯示器的定向以及顯示器相對于場景的定向來顯示。從而，對查看者而言，模擬對象出現(xiàn)在顯示器上就好像它們處于與場景中的實際對象基本上相同的地點。查看者定向和顯示器定向可以通過各種各樣的傳感器和相機(jī)中的任一種來檢測，如下文更詳細(xì)地描述的。結(jié)果，當(dāng)查看者移動時或者當(dāng)顯示器移動時，所顯示的模擬對象以及場景的任何實況視頻饋源被重新定向、縮放、渲染和顯示，以維持模擬對象的外觀與它們對應(yīng)的實際對象重疊。
[0023]給定帶有一個或多個模擬對象的顯示器，所顯示的對象可以通過各種用戶姿勢在顯示器上在空間上被操縱。一種操縱是對對象的選擇。如果顯示器是觸敏的或者支持使用指示筆，則可以通過個體用手指或指示筆來觸摸對象來選擇該對象。或者，基于成像的姿勢檢測界面可用于檢測在顯示器和場景之間的對象的姿勢(例如手的姿勢)。如果顯示器是透明的或半透明的，則手可以透過顯示器被看到，并且可以表現(xiàn)為直接在場景中操縱對象。
[0024]給定一所選對象，可以對該對象執(zhí)行各種各樣的其他操作。例如，設(shè)計者可以用許多方式在視覺上模擬對空間的重新設(shè)計。設(shè)計者可以例如添加所選對象、移動對象、重新布置現(xiàn)有對象、或改變那些對象的屬性。
[0025]關(guān)于添加對象，如下文更詳細(xì)地描述的，可以提供對象庫，該對象庫可被選擇并且置于虛擬場景中。對象可以被置于場景中，并且接著被適當(dāng)?shù)乜s放以適合場景。類似地，所選對象可以在場景中重新定位，并且接著被適當(dāng)?shù)乜s放和旋轉(zhuǎn)以適合場景。
[0026]關(guān)于改變對象的屬性，如下文更詳細(xì)地描述的，存在能夠被操縱的對象的渲染的許多屬性。例如，可以改變對象的顏色、紋理或其他表面屬性(諸如反射率)或者可以改變影響對象外觀的環(huán)境屬性(諸如光照)。對象也可以隨著時間推移來動畫化。例如，對象根據(jù)其本質(zhì)可以是可移動的、或者可以生長(諸如植物)。
[0027]給定這一上下文，支持此類設(shè)計應(yīng)用的計算機(jī)系統(tǒng)的示例實現(xiàn)將結(jié)合圖2更詳細(xì)地來描述。
[0028]在圖2中，一數(shù)據(jù)流程圖解說了一示例實現(xiàn)。在這一設(shè)計應(yīng)用的中心是渲染系統(tǒng)200，渲染系統(tǒng)200接收關(guān)于顯示器姿態(tài)202和查看者姿態(tài)204的信息連同描述要被渲染的三維對象和場景的數(shù)據(jù)206。顯示器姿態(tài)202定義顯示器設(shè)備相對于場景的位置和定向。查看者姿態(tài)定義查看者相對于顯示器設(shè)備的位置和定向。渲染系統(tǒng)200使用輸入202、204和206來渲染顯示，從而使得顯示數(shù)據(jù)208在顯示器210上被顯示。