專利名稱：在虛擬三維空間中顯示可視內(nèi)容的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在屏幕上顯示可視內(nèi)容的方法。
背景技術(shù)：
計算機屏幕和其他二維(2D)表面通常用于顯示2D可視內(nèi)容，例如，正文頁面，圖表或網(wǎng)站頁面。某些形式的可視內(nèi)容包含兩種或多種內(nèi)容形式，例如，由正文和圖表構(gòu)成的頁面，或包含與網(wǎng)站有關(guān)信息和非相關(guān)廣告的網(wǎng)站頁面。通常，在屏幕上一次僅僅顯示一個頁面，且頁面限定在屏幕的邊框內(nèi)。所以，頁面中的不同元素必須互相競爭空間和觀看者的注意力，即使這些元素是互相有關(guān)的。因此，現(xiàn)有的網(wǎng)站頁面通常因廣告而十分擁擠，這是當(dāng)前認為Web廣告低效的主要原因。
改變顯示的頁面(稱之為瀏覽或?qū)Ш?是一個不連續(xù)過程，其中從屏幕上刪除初始顯示的頁面，隨后顯示第二個頁面。一次僅能觀看一個頁面的能力使得觀看者很難知道他在網(wǎng)站中的位置，以及在導(dǎo)航通過網(wǎng)站時還產(chǎn)生不確定性。改變頁面尺寸也是在離散步驟中完成的，并在每個步驟變化時要求返回到瀏覽程序。
我們還知道，在虛擬三維(3D)空間中安排幾個頁面并把部分3D空間投影到2D屏幕上。觀看者可以連續(xù)地導(dǎo)航在頁面之間。
Robertson等人(Data Mountainusing Spatial memory fordocument Management)公開一種文檔管理方法，該方法允許用戶利用2D交互作用技術(shù)把文檔放置在3D桌面虛擬環(huán)境中傾斜平面上的任意位置。
頁面都是在正面觀看的(垂直于用戶的透視)。Robertson等人(Task Gallerya 3D Window Manager)公開一種任務(wù)管理和文檔比較的方法。應(yīng)用窗口是不變化的，如同虛擬畫廊墻壁上懸掛的藝術(shù)作品，其中在后墻上有所選的任務(wù)。由此觀看到的畫廊透視垂直于畫廊的后墻，因此，從正面看到的是后墻上懸掛的文檔，而側(cè)壁，地板和天花板上的文檔平行于用戶的透視。利用3D空間提供均勻和按比例的縮放，可以選取和并排顯示多個文檔。

發(fā)明內(nèi)容
此處使用的術(shù)語“頁面”是指兩個或多個可視“內(nèi)容元素”的二維排列。頁面通常是矩形，但不必是矩形。頁面有上邊緣，下邊緣，以及左側(cè)邊緣和右側(cè)邊緣。內(nèi)容元素可以是2D(例如，正文，圖表，或2D圖畫，包括3D物體的2D圖畫，例如，山脈)?？梢晝?nèi)容元素也可以是體積3D(例如，虛擬山脈)。體積3D內(nèi)容元素按照體積方式投影到頁面之外。頁面中的內(nèi)容元素可以是相同或不相同的類型，例如，由正文材料，圖表和體積3D圖形構(gòu)成的頁面。在頁面包含正文的情況下，閱讀正文通常是從上邊緣到下邊緣。頁面有相關(guān)的“版面”，它規(guī)定頁面中不同內(nèi)容元素的相對位置。例如，版面可以規(guī)定，頁面中的特定內(nèi)容元素位于頁面的頂部，或位于另一個特定內(nèi)容元素的左側(cè)。術(shù)語“文檔”是指一個或多個頁面的集合。例如，文檔可以是正文材料的頁面，網(wǎng)站頁面，目錄，操作系統(tǒng)文件夾，搜索查詢結(jié)果，AdobeTM或PDF元素，它們的內(nèi)容元素，位映像圖像，按鈕，等等。因此，文檔頁面可以是正文材料的頁面，網(wǎng)站頁面，或窗口。窗口是專用的頁面，它設(shè)計成包含另一個頁面視圖作為內(nèi)容元素。應(yīng)用接口窗是包含另一個頁面視圖和內(nèi)容元素版面的窗口，每個版面代表一個或多個應(yīng)用功能，或與另一個窗口的連接。
第一方面，本發(fā)明提供一種在三維(3D)空間中安排頁面和內(nèi)容元素并投影部分3D空間到3D空間中定位的2D面(此處稱之為“視圖面”)的方法。在3D空間中指定的一個平面此處稱之為“基平面”。在3D空間中定位由一個頁面和至少一個其他頁面或內(nèi)容元素構(gòu)成的可視內(nèi)容，其中至少一個頁面定位在基平面上。選取虛擬視點和以該視點為頂點的視線，由此可以觀看包含部分基平面的部分3D空間。按照本發(fā)明的這一方面，視線既不平行也不垂直于基平面。一旦選取了視線，視圖面就定位在3D空間，因此，視圖面相交于從視點到預(yù)定距離的視線。視圖面最好是平面，且最好定位成垂直于視線。在這種情況下，由于視線既不平行也不垂直于基平面，視圖面也是既不平行也不垂直于基平面。然而，視圖面可以有任何的形狀，例如，部分的球面或部分的柱面。視點和視圖面確定由一組射線構(gòu)成的棱錐，該棱錐包含以視點為頂點并穿過視圖面邊緣上點的一組射線。位于視圖面所確定平截頭棱錐體的部分3D空間(此處稱之為“視圖空間”)按照透視方式投影到視圖面上。
在一個優(yōu)選實施例中，3D空間到視圖面上的投影顯示在顯示裝置，例如，計算機屏幕，電視機，或立體取景的頭戴式顯示裝置?；蛘?，視圖面的投影可以投影到第二個2D面，且這個投影顯示在顯示裝置上。利用計算機輸入裝置，例如，計算機鼠標，鍵盤，操縱桿，或遙控裝置，用戶可以選取視點和視線。
最好是，基平面上定位的各個頁面之間互相隔開，因此，可以看見相鄰頁面之間的部分基平面。兩個相鄰頁面之間的部分基平面稱之為“白空間”。頁面之間存在白空間可以使頁面的內(nèi)容元素被重新定位，至少部分地在沒有遮蔽其他頁面的白空間中重新定位。在一個優(yōu)選實施例中，在保存頁面版面的同時，頁面的內(nèi)容元素被重新定位。保存頁面版面的頁面內(nèi)容元素重新定位是滿足以下條件的重新定位(a)重新定位沒有造成非重疊內(nèi)容元素在基平面上重疊。
(b)重新定位沒有交換橫向或縱向的順序。
(c)在給連接每個元素中心到相鄰元素中心的曲線作標記時，重新定位不改變曲線中各個夾角的關(guān)系。
例如，若版面規(guī)定特定內(nèi)容元素定位在頁面的頂部，則該內(nèi)容元素可以在基平面內(nèi)沿z方向移動到該頁面頂部的白空間，因此，它仍然保持在該頁面的其他內(nèi)容元素之上，但與它們之間的距離超過以前的距離。另一個例子是，若版面規(guī)定第一內(nèi)容元素定位在第二內(nèi)容元素的左側(cè)，則第一內(nèi)容元素可以在基平面內(nèi)移動到該頁面左側(cè)以左的白空間，因此，它仍然保持在第二內(nèi)容元素的左側(cè)，但與第二內(nèi)容元素的距離超過以前的距離。另一個重新定位頁面內(nèi)容元素的例子是，在保存頁面版面的同時，一個或多個內(nèi)容元素可以提升到3D空間中的基平面之上。另一個例子是，若版面規(guī)定特定內(nèi)容元素位于右下角，則該內(nèi)容元素可以重新定位在該頁面右下方的白空間。在頁面內(nèi)轉(zhuǎn)動(沒有平移)內(nèi)容元素仍保存轉(zhuǎn)動內(nèi)容元素到基平面之外時的版面，因此，它以與基平面的夾角投影到3D空間。
附加的內(nèi)容元素也可以定位在各個頁面之間的白空間。例如，該白空間可用作廣告。按照這種方法，廣告不與頁面內(nèi)容元素爭奪空間。新建立或熟悉的字符圖形也可以定位在白空間，并用作指導(dǎo)，廣告發(fā)言人的附件，或作為教學(xué)工具。當(dāng)用戶接近時，字符行為的復(fù)雜性可能增大。白空間還可用于接收信息并在文檔附近與該文檔非同步顯示信息，而不會干擾文檔的內(nèi)容或它的版面。
把多個頁面放置在基平面內(nèi)以建立寬瀏覽模式，其中各個頁面最好定位成相同的取向，且在各個文檔之間有預(yù)定間隔。例如，頁面排列中相鄰頁面可以是文檔中的連續(xù)頁面。這在可以利用的頁面之間建立空白空間，例如，提供輔助的附加內(nèi)容資源，例如，廣告，這些資源可以定位在3D空間中的頁面周圍或之上，它們不會與頁面本身的內(nèi)容爭奪空間。輔助資源可以隱藏在頁面內(nèi)，或從獨立源非同步地流入到3D空間中的指定位置。
除了基平面以外，可以在3D空間中指定一個或多個平行于基平面的附加平面，因此，視線相交于所有的平面。內(nèi)容元素或頁面可以定位在這些平面內(nèi)，而用戶可以根據(jù)需要交替地瀏覽這些平面。
在第二平面內(nèi)定位一個或多個頁面或內(nèi)容元素。
在第二方面，本發(fā)明提供一種用于導(dǎo)航顯示可視內(nèi)容的方法。利用計算機輸入裝置，用戶可以改變視點和視線?？梢赃B續(xù)地(約每秒20次至30次)改變透視。連續(xù)地改變透視在基平面上產(chǎn)生平滑滑行通過整個3D空間的效應(yīng)。通過從一個頁面滑行到下一個頁面，并排放置相關(guān)的頁面可以使用戶在一個窗口內(nèi)觀看完整的文檔。用戶可以通過鏡頭拉近頁面進行仔細觀察，或鏡頭拉遠頁面。3D空間中定位的內(nèi)容元素或頁面可以與它們在3D空間中的位置一起存儲在存儲器中，并發(fā)射到遙遠的位置。
當(dāng)觀看者觀看3D空間中的不同部分時，通過在基平面上實時連續(xù)地產(chǎn)生新的坐標，并在觀看新的區(qū)域時，在基平面上定位附加的內(nèi)容元素，可以使基平面變得無限大。
在視點或視線滿足預(yù)定的條件時，給予響應(yīng)的內(nèi)容元素可以增強交互性。經(jīng)過特定內(nèi)容元素旁邊，接近內(nèi)容元素，從內(nèi)容元素中撤出，或在內(nèi)容元素附近徘徊的時間超過預(yù)定時間量，都可以啟動這種響應(yīng)。
在第三方面，本發(fā)明提供一種執(zhí)行本發(fā)明方法的系統(tǒng)。該系統(tǒng)是由計算機處理單元(CPU)構(gòu)成。按照本發(fā)明，CPU配置成運行一個軟件，該軟件執(zhí)行在虛擬3D空間中定位可視內(nèi)容并投影3D空間到3D空間中定位的2D視圖面的步驟。該軟件包括包含基平面的虛擬3D空間的視窗。最初，3D空間僅僅包含一個均勻地涂了中性色的空白基平面，例如，白色。最好是，該軟件有透視校正能力和照明模擬能力(例如，標準圖書館所提供的如DirectX，OpenGL等能力)，任選地，該該軟件還有抖動和雙線性或三線性濾波能力。CPU還可以配置成運行這樣的軟件，該軟件包含本機剖析和再現(xiàn)被觀看文檔的機器(例如，剖析和再現(xiàn)HTML文檔的網(wǎng)瀏覽程序)。
該系統(tǒng)最好包括用于選取視線的計算機輸入裝置，例如，計算機鼠標，鍵盤，操縱桿，或遙控裝置。任選地，該系統(tǒng)可以包括用于顯示視圖面的顯示裝置，例如，計算機監(jiān)視器，電視機，或機頂盒。任選地，CPU可以配置成在顯示裝置上顯示視圖面。
該系統(tǒng)可以響應(yīng)于用戶的位置和運動方向，他在元素鄰近，在它附近花費的實際時間，或接近元素的次數(shù)。例如，當(dāng)用戶接近時，在從一段距離觀看是穩(wěn)定的顯示內(nèi)容元素可以成為動畫。在字符本身最好是固有的情況下，不必從服務(wù)器下載程序設(shè)計。作為另一個例子，若用戶在從內(nèi)容元素的預(yù)定距離內(nèi)移動視點，或透視指向一個元素，則可以確定用戶仔細觀察物體所花費的時間并把它存儲在存儲器中。在不需要用戶完成任何動作的情況下，例如，單擊該元素，可以啟動這些動作。
在本發(fā)明的另一方面，本發(fā)明提供一種在虛擬3D空間中重新定位頁面內(nèi)容元素的方法，按照本發(fā)明的這個方面，在保存頁面版面的同時，重新定位頁面的內(nèi)容元素。例如，若版面規(guī)定，特定的內(nèi)容元素定位在頁面的頂部，則該內(nèi)容元素可以移動到該頁面頂部以上的平面區(qū)域內(nèi)，因此，它保留在該頁面的其他內(nèi)容元素之上，但與它們之間的距離超過以前的距離。作為另一個例子，若版面規(guī)定，第一內(nèi)容元素定位在第二內(nèi)容元素的左側(cè)，則第一內(nèi)容元素可以移動到該頁面左側(cè)以左的平面區(qū)域。因此，它保留在第二內(nèi)容元素的左側(cè)，但與第二內(nèi)容元素的距離超過以前的距離。作為在保存頁面版面的同時重新定位頁面內(nèi)容元素的另一個例子，一個或多個頁面內(nèi)容元素可以提升到3D空間中的平面之上。一些頁面內(nèi)容元素可以從它們所在平面上的原始方向開始旋轉(zhuǎn)，因此，它們以與平面成角度的方向從該平面投影到3D空間。
在本發(fā)明的一個實施例中，基平面被內(nèi)部分割成幾個區(qū)域，每個區(qū)域包含一個文檔頁面。軟件執(zhí)行以下的步驟1.待觀看的文檔以及該文檔的嵌入式和URL連接資源流入到本機分析程序。通過資源定位器，例如，URL，讀出文檔原本，例如，HTML，以及所有它的內(nèi)容資源。
2.本機分析程序?qū)崟r地把文檔圖像剖析成它的內(nèi)容元素，例如，這些內(nèi)容元素可以是內(nèi)部RAM中的平坦矩形分量或再現(xiàn)子客戶(例如，HLML中的幀，正文塊中的圖畫，或在win32-設(shè)備場境中的視頻矩形，快速動畫矩形，等等)。代替再現(xiàn)文檔的位映像圖像直接到視口窗，位映像圖像再現(xiàn)在內(nèi)部存儲器，導(dǎo)致內(nèi)部位映像面(如同利用當(dāng)前的文檔瀏覽器)或文檔被分割成內(nèi)容元素，如文檔的版面原本指令所確定的，每個內(nèi)容元素在內(nèi)部存儲器中再現(xiàn)成單獨的位映像面。在任何一種情況下，這個步驟的結(jié)果是位映像面的存儲器存儲組。該系統(tǒng)還存儲這些面的相對位置。
3.確定每個文檔頁面在基平面內(nèi)的位置。
4.在這些面的相對位置被透視校正之后，該系統(tǒng)再現(xiàn)一次位映像面到存儲器，但對于每個視線選擇，再現(xiàn)3D空間一次。對于每條視線a.該系統(tǒng)計算由視線確定的3D空間透視，并計算每個透視校正(相對于視線透視)的位映像面更新版本。
b.當(dāng)它們是在原始文檔的版面時，該系統(tǒng)在3D空間的基平面內(nèi)按照相同的順序和相對位置再現(xiàn)每個內(nèi)容元素的位映像，它似乎是在本機瀏覽器上再現(xiàn)的(例如，HTML文檔的網(wǎng)瀏覽器)。然后，把這些面定位在基平面之上或與基平面平行或與基平面成夾角。
c.按照以下的方式，所有以上的內(nèi)容再現(xiàn)(如果需要，任選地利用位映像和z排序)到公用二次存儲器位映像可以再現(xiàn)成平行于基平面。或者，不同的面可以有基平面以上的不同高度。定向照明引入到3D空間，而陰影從這些面投射到每個面高度和照明方向確定的基平面上。根據(jù)陰影有不同長度，不同的高度是顯而易見的。內(nèi)容元素可以旋轉(zhuǎn)到基平面之外，使它好像從頁面的其余部分投影。在基平面或基平面之上可以再現(xiàn)其他的3D物體(3d網(wǎng)格，其中在網(wǎng)格上有或沒有變換紋理)。3D物體可以再現(xiàn)成從內(nèi)容元素之上的基平面或在各個元素之間的空間投影。這給出真實紙片頁面的外觀，該頁面是與文檔上或文檔周圍的3D地形或3D物體相結(jié)合。
客戶查看程序機構(gòu)也可以有多邊形網(wǎng)格3D模型模擬能力，在此情況下，基平面和該基平面之上的任何面實際上是3D空間中的平坦網(wǎng)格。


為了理解本發(fā)明并知道它是如何在實踐中實施的，僅借助于非限制性例子并參照附圖描述一個優(yōu)選實施例，其中必須改變這個附圖目錄圖1表示可視內(nèi)容在虛擬3D空間中的安排；圖2表示在屏幕上觀看3D空間的流程圖；
圖3是按照本發(fā)明頁面20顯示在屏幕21上的屏幕拍攝；圖4是已提升到基平面之上的頁面中頁面內(nèi)容元素的屏幕拍攝；圖5是內(nèi)容元素旋轉(zhuǎn)之后的屏幕拍攝；圖6是在與頁面相鄰的3D空間中添加內(nèi)容元素后的屏幕拍攝；圖7是基平面中放置附加頁面的屏幕拍攝；圖8表示幾個不同透視的3D空間；圖9是完整文檔視圖的屏幕拍攝；圖10表示鏡頭拉近頁面過程中顯示的屏幕拍攝序列；圖11表示鏡頭拉遠頁面過程中顯示的屏幕拍攝序列；圖12表示掃視內(nèi)容元素的屏幕拍攝；圖13表示正向運動的屏幕拍攝；圖14表示從固定視點改變觀看方向造成3D空間不同透視的屏幕拍攝；圖15表示引導(dǎo)用戶通過預(yù)記錄旅程的屏幕拍攝；圖16表示附件內(nèi)容項的使用；圖17表示顯示現(xiàn)場寬信息的屏幕拍攝；圖18表示運動與內(nèi)容類型適合的屏幕拍攝；圖19表示運動與內(nèi)容類型適合的屏幕拍攝；和圖20表示運動與內(nèi)容類型適合的屏幕拍攝。
具體實施例方式
圖1表示按照本發(fā)明一個實施例在虛擬3D空間中安排頁面和內(nèi)容元素并把部分3D空間投影到視圖面上的方法。在有x軸，y軸和z軸的3D空間建立3D坐標系統(tǒng)。最好是，這三個軸是互相垂直。在3D空間中指定一個平行于x軸和z軸的基平面60。最好是，基平面60有中性顏色，例如，白色，并可以包含網(wǎng)格圖形。
如圖1a所示，兩個頁面75a和75b定位在基平面60內(nèi)。最好是，頁面75a和75b在基平面內(nèi)是這樣定位的，它們的側(cè)邊80平行于x軸，而它們的頂邊取向是在相同方向。內(nèi)容元素76不是頁面75a或75b的部分版面，它已設(shè)置在基平面，為的是與附近的頁面75b相關(guān)。頁面75a包含3D體積內(nèi)容元素的內(nèi)容元素77。最好是，這些頁面在基平面上定位成互相分開。因此，在該空間的兩個相鄰頁面之間，基平面60的部分74(稱之為“白空間”)是可見的。
一旦頁面和內(nèi)容元素定位在3D空間，就在這3D空間中選取虛擬視點15和從虛擬視點15延伸的視線85。視線85確定觀看視圖3D空間的透視。視線85平行于3D空間的z-y平面，它最好是這樣選取的，頁面75的頂邊比底邊更遠離視點15。按照這種方法在基平面內(nèi)取向的頁面稱它為“與z對齊”。
然后，視圖面10在3D空間中定位成垂直于視線85，并與視點15面相隔預(yù)定的距離。如圖1b所示，視點15和視圖面10確定虛線所指出的無限棱錐。視圖空間35是視圖面10確定的平截頭棱錐體中包含的3D空間區(qū)，并代表投影到視圖面10的部分3D空間。任選地，視圖空間35可以被平行于視圖面10的截取平面65截取。在這種情況下，截取平面65與基平面60之間的相交線70稱之為“水平線”。
按照本發(fā)明的這個方面，視線85與基平面60既不互相平行也不互相垂直。因此，視線85與基平面60相交的角度為0°＜α＜90°。
視線85和視圖面10確定視圖空間對視圖面的投影，它稱之為“視線和視圖面確定的透視投影”。在這個透視投影下，視圖空間中的點P投影到視圖面10上的點P′，因此，點P，P′和視點15是共線的。由于視角0°＜α＜90°，與z對齊的矩形頁面在視圖面10上的投影為梯形，其中頂邊和底邊平行于2D面的x軸。視圖空間35在視圖面15上的投影可以顯示在顯示裝置上，例如，計算機監(jiān)視器，電視機，或機頂盒。改變視線85就改變視圖空間35?？梢赃B續(xù)地改變視線，以便給用戶一個在3D空間中滑行的感覺。
圖2表示按照本發(fā)明一個實施例在虛擬3D空間，例如，圖1所示的3D空間，安排一個或多個文檔頁面和可能內(nèi)容元素，該內(nèi)容元素不是部分的頁面版面，投影3D空間到視圖面，并顯示視圖面的過程流程圖。在步驟100，選取一個基平面。在步驟102，裝入或下載文檔文件以及與它連接或嵌入的一些或所有可用資源。在步驟105，利用本機分析程序分析該文檔，并計算每個頁面和內(nèi)容元素的版面度量。在步驟107，選取待定位的頁面。在步驟120，選取頁面中的內(nèi)容元素，以及與該頁面相關(guān)但不是部分頁面版面的內(nèi)容元素，把它們投影到基平面之外，利用稱之為“A”的第一標志給這些內(nèi)容元素作標志。在步驟125，利用第二標志“X”給體積的頁面內(nèi)容元素作標志。在步驟130，頁面的內(nèi)容元素以及與該頁面相關(guān)但不是部分頁面版面的內(nèi)容元素，這些內(nèi)容元素要在基平面內(nèi)平移或移出基平面之外，利用第三標志“B”給這些內(nèi)容元素作標志。在步驟132，頁面的內(nèi)容元素以及與該頁面相關(guān)但不是部分頁面版面的內(nèi)容元素，這些內(nèi)容元素以前沒有作過標志，現(xiàn)在利用第四標志“D”給這些內(nèi)容元素標志為單個集合。在標志步驟120，125，130和132中，可以給內(nèi)容元素分配多個標志。在步驟135，光柵化所有頁面的2D內(nèi)容元素(即，除了標志為X的所有頁面的內(nèi)容元素)，每個內(nèi)容元素到它分配的光柵面。3D空間中的這些內(nèi)容元素定位成2D內(nèi)容元素。在步驟140，把頁面定位在基平面的合適部分。“合適部分”的意思是，基平面上某個部分的大小可以容納在其周圍可能有的一些白空間的頁面。在步驟142，如果需要，平移標志為B的內(nèi)容元素，或平行于基平面平移或移出基平面之外。在步驟145，旋轉(zhuǎn)標志為A的內(nèi)容元素。在步驟150，確定是否需要在基平面上定位另一頁面。如果是，則過程回到步驟107。如果否，則在步驟155，選取視點和視線，并在3D空間定位一個視圖面，使它與視線相交。然后，在步驟160，計算包括2D和體積3D元素的所選視點，視線和視圖面確定的透視投影，如以上參照圖1所描述的。在步驟161，視圖面上的投影顯示在顯示裝置，過程到此終止。
圖3表示從圖2所示過程開始的延伸過程流程圖。這個過程包含集成到定位透視投影再現(xiàn)系統(tǒng)的逐幀更新和響應(yīng)機構(gòu)。在步驟161之前，延伸過程與圖2所示的過程完全相同。延伸過程是從步驟161開始，且利用步驟180取代步驟170。在步驟180，查詢一個或多個輸入裝置，例如，計算機鼠標或計算機鍵盤。在步驟190，確定外部通道是否已宣告要顯示的資源。如果是，則在步驟192，從外部通道接收并分析新的原本和資源。然后，過程進行到步驟194，給資源指定以前分配或當(dāng)前免費分配的白空間區(qū)。然后，在步驟196，完成可能需要的任何初步操作，例如，表面光柵化，和外部資源定位在指定的白空間區(qū)。若在步驟190確定外部通道沒有宣告要顯示的資源，則在步驟200，確定用戶是否請求顯式資源，例如，新的頁面。如果是，則在步驟205，啟動包括圖2中步驟102至150的過程。在步驟210，基于步驟180中查詢的輸入事件，同時或按順序，計算新的視點和新的視線。然后，在步驟215，計算視點或視線的歷史參數(shù)，例如，視點的最近速度或加速度。在步驟220，對于視圖空間中或待響應(yīng)的已知預(yù)定可視范圍內(nèi)每個內(nèi)容元素，確定步驟215中計算的信息是否意味著在視點與內(nèi)容元素之間發(fā)生事件。如果是，則在步驟235，該內(nèi)容元素啟動響應(yīng)行為。然后，該過程從圖2中步驟160繼續(xù)。在特殊命令的中斷之前，重復(fù)圖3所示的延伸過程。圖4a至4d表示部分3D空間的不同透視圖，其中頁面40和頁面41已定位在基平面60內(nèi)。兩個頁面40和41互相隔開，使這兩個頁面之間和周圍的白空間65是可見的。頁面40和41包含相同的內(nèi)容元素數(shù)據(jù)，其中包括指出3D山脈的數(shù)據(jù)。然而，在頁面40，指出山脈的數(shù)據(jù)在以上參照圖2a中步驟132所描述的算法中已標志為“D”，而在頁面41，相同的數(shù)據(jù)已標志為“X”。
因此，在頁面40，山脈再現(xiàn)成2D物體(圖畫)42，而在頁面41，山脈再現(xiàn)成體積3D物體43。圖4a至4d表示不同透視的視圖空間。只有當(dāng)根據(jù)制作圖畫42的相同透視觀看山脈43時，兩個頁面40和41才是相同的。圖4d強調(diào)，在頁面40的所有透視中，雖然只有山脈的“東南”和“西南”角是可見的，但在面41的不同透視中，東北，西北，東南和西南的不同組合都是可見的。由于觀看基平面60的傾斜角，頁面40和41的形狀是梯形，其中寬邊23接近用戶，而窄邊24接近虛擬水平線70。因此，可以在3D透視中看到頁面40和41。這產(chǎn)生一個真實的感覺，它表示用戶看到的頁面40和41好像是這兩個頁面是握在他們的手中時觀看的。
圖5表示在基平面60內(nèi)已定位頁面20的部分3D空間。頁面20包括標題塊52，菜單塊54，和含兩則廣告57的廣告塊58作為內(nèi)容元素。正文塊56是由幾個內(nèi)容元素構(gòu)成，例如，帆船元素72。頁面20的內(nèi)容元素已被光柵化并剖析成單獨的物體，可以分開它們和投影到3D空間。圖6表示在與頁面20相鄰的白空間中重新定位標題塊52和菜單塊54的頁面20。根據(jù)它的主要內(nèi)容區(qū)，這產(chǎn)生文檔功能部分的清晰分界。根據(jù)陰影57和58可以看出，標題塊52，菜單塊54，和廣告塊58已提升到基平面之上。正文塊56沒有重新定位。圖6所示標題塊52和菜單塊54的重新定位保留了頁面20的版面。
文檔版面指令和格式化標志與文檔和內(nèi)容被光柵化。為了重新解釋，不需要返回到文檔的原本形式。根據(jù)文檔的單次解釋，該系統(tǒng)以每秒幾十次自動地重新光柵化。例如，在連續(xù)地放大和傾斜之后，不需要返回到該文檔。
在腳本編寫語言中，標志可以對應(yīng)于零變換，例如，不影響文檔信息外觀或排列且對最后結(jié)果沒有效應(yīng)的述評，編譯程序不對它們進行操作。標志通常是由文檔的本機軟件解釋的圖元信息。原本編寫語言可以包含零變換的事實能夠由本發(fā)明的二次語言作解釋。這個特征對于涉及現(xiàn)有技術(shù)的完整頁面是不需要的，而按照本發(fā)明，一旦頁面崩潰，利用原始文檔中的版面指令剖析，標志可用于版面元素的重新定位。例如，標志可用于規(guī)定，應(yīng)當(dāng)旋轉(zhuǎn)特定的版面元素，從而把它們投影到頁面的平面之外。因此，標志可以是本機再現(xiàn)程序的零變換，但對于二次再現(xiàn)程序可以是實際變換。軟件標志本身與2D文檔結(jié)合的使用對于本領(lǐng)域?qū)I(yè)人員是熟知的。然而，標志還沒有用于與3D空間中本發(fā)明版面元素群集有關(guān)的信息，例如，本發(fā)明的維度分解，和行為原本。標志可用于合并2D頁面上看不見的附加資源。
圖7表示標題塊52旋轉(zhuǎn)之后的頁面20，因此，它投影到基平面60之外，而菜單塊54，廣告塊58和正文塊56仍保持平行于基平面60。這種在3D空間中標題塊52的重新定位還保留頁面20的版面。另一個頁面61定位成與頁面20相鄰但與頁面20分開，為的是在兩個頁面20與61之間建立白空間70。頁面61的內(nèi)容元素也已被重新定位，而仍然保持頁面60的版面。在圖8中，正文塊56中帆船元素72已旋轉(zhuǎn)到正文塊56之外，因此，它投影到基平面60之外。這還保留頁面20的版面。已旋轉(zhuǎn)的內(nèi)容元素與基平面成一夾角，從遠距離可以看見這些內(nèi)容元素，特別是以小的角度α觀看3D空間時。
圖9表示在與頁面20鄰近的3D空間中添加可視內(nèi)容元素。例如，可能是廣告的正文元素55已放入在白空間。以前位于廣告塊58中的廣告57已經(jīng)移動到白空間并旋轉(zhuǎn)成從基平面60投影。體積模型82已放入到從基平面60投影的3D空間。帆船模型82也已添加成2D“子畫面”，它沒有深度，且在從上方觀看時消失。從原始的頁面20中看不見正文元素55和模型72和78，但它們可以埋入到文檔原本，它提供沒有顯示的附加信息。
圖10表示在基平面60內(nèi)放置的幾個頁面92。頁面92可以是來自單個文檔的頁面，例如，網(wǎng)站或正文文檔。在這種情況下，頁面安排成反映它們在文檔中的順序，或它們下載時的順序。
圖11a表示定位在基平面60內(nèi)的網(wǎng)站頁面93。在用戶觀看頁面93時，可以向網(wǎng)站調(diào)用通用資源定位程序(URL)。例如，網(wǎng)站可以累積在超高速緩沖存儲器，并下載和安排在頁面93周圍。計算每個頁面要定位的位置，并計算3D空間中網(wǎng)站的外觀。圖11a至11c表示按照順序下載附加的頁面93至97時3D空間中網(wǎng)站的擴增。
圖12a至12f表示3D空間中安排的頁面并顯示在顯示裝置100上。圖12a至12d表示正向運動。在圖12a中，可以看到頁面101和頁面102的底部。隨著正向運動的進行，頁面101和頁面102漸漸出現(xiàn)在顯示裝置100的下方。在圖12d和12e中，顯示裝置100上看不見頁面101。在這種正向運動過程中，視點沿平行于基平面的直線方向運動，而視線保持平行于它的初始位置。因此，運動的方向不同于視線的方向。
圖13a至13e表示當(dāng)視點保持固定而視角在垂直于基平面的平面內(nèi)旋轉(zhuǎn)時的3D空間視圖變化。在圖13a中，視線幾乎垂直于基平面。在圖13b和13c中，視線以減小的角度α(見圖1)與基平面相交。圖14表示鏡頭拉近頁面時的視圖序列。
在滿足預(yù)定條件時引入能夠完成響應(yīng)的附件可以增強交互性。例如，如圖15所示，當(dāng)接近帆船模型72時出現(xiàn)附件172，在這個例子中，附件172是提供與帆船模型72有關(guān)附加信息的內(nèi)容元素。在滿足條件時，附件172可以自發(fā)地出現(xiàn)。該條件可以是，例如，當(dāng)用戶在帆船模型72鄰近停留的時間超過預(yù)定的時間量時，或當(dāng)帆船模型72與圓錐相交時，該圓錐是特定頂角為中心的視線，視點與帆船模型72之間的距離小于預(yù)定的距離(指出用戶的興趣是帆船模型72)。在圖16中，由于添加了帆船模型72的價格而使附件172發(fā)生變化。在滿足第二條件時，這種變化可以交互地出現(xiàn)。在用戶利用計算機輸入裝置明確地請求這種響應(yīng)時，例如，利用計算機鼠標單擊內(nèi)容元素，該內(nèi)容元素也可以完成響應(yīng)。
圖17a至17c表示另一種形式的交互性，其中當(dāng)用戶經(jīng)過頁面80時，帆船模型72發(fā)生旋轉(zhuǎn)，因此，當(dāng)用戶經(jīng)過頁面80時，可以連續(xù)地正面觀看帆船模型72。
圖18a和18b表示在添加現(xiàn)場寬信息之后3D空間中兩個相同景物的視圖?，F(xiàn)場寬信息包括可以識別現(xiàn)場主題和物主的標志222。已添加了幾個帆船模型82可以是與現(xiàn)場有關(guān)的元素。
圖19表示滿足特定條件時3D空間中的附件200變成動畫。圖19表示根據(jù)它的動畫程序在3D空間中的附件形狀和位置的離散序列。附件可以僅在滿足條件時出現(xiàn)在3D空間，或者，它可以在最初時出現(xiàn)和在滿足條件之前是非活動的。動畫可以伴隨從附件200發(fā)射出的用戶可感覺聲響。
圖20表示定位在3D空間中的另一個附件202，它的作用是現(xiàn)場指導(dǎo)。附件202可以在3D空間中運動，以便跟隨3D空間中用戶的運動?；蛘?，附件202的幾個穩(wěn)定復(fù)制品可以定位在3D空間，用戶在高頻率下看見這些附件。
還應(yīng)當(dāng)明白，按照本發(fā)明的系統(tǒng)可以是適當(dāng)編程的計算機。同樣地，本發(fā)明設(shè)想出由計算機可讀的計算機程序，用于執(zhí)行本發(fā)明的方法。本發(fā)明還設(shè)想處機器可讀存儲器，它明確地包含機器可執(zhí)行的指令程序，用于執(zhí)行本發(fā)明的方法。
權(quán)利要求
1.一種用于定位第一頁面和至少第二頁面或內(nèi)容元素并投影第一頁面和第二頁面或第一頁面和內(nèi)容元素到2D面的方法，頁面是2D和/或體積3D內(nèi)容元素的2D排列，每個頁面有版面，包括(a)在虛擬三維(3D)空間的3D空間中指定一個2D基平面；(b)在3D空間中定位該至少第一頁面和第二頁面或內(nèi)容元素，其中該至少第一頁面平行于基平面；(c)選取視點和視線；(d)在3D空間中定位一個2D面，使該2D面相交于視點與基平面之間的視線；和(e)利用視線確定的透視投影，至少投影部分3D空間到2D面上；(f)如果需要，重復(fù)(c)，(d)，和(e)，每次任選地選取新的視點和/或選取新的視線和/或改變3D空間中一個或多個內(nèi)容元素或一個或多個頁面的性質(zhì)；其特征是，該視線既不平行也不垂直于基平面。
2.按照權(quán)利要求1的方法，其中2D面是平面，球面，柱面，或不規(guī)則面。
3.按照權(quán)利要求1或2的方法，其中兩個相鄰頁面在基平面上是互相分開的。
4.按照以上權(quán)利要求中任何一個的方法，其中至少一個頁面至少包含一個3D體積內(nèi)容元素。
5.按照以上權(quán)利要求中任何一個的方法，還包括步驟剖析一個頁面成多個內(nèi)容元素，并在3D空間中重新定位一個或多個內(nèi)容元素。
6.按照權(quán)利要求5的方法，其中頁面的內(nèi)容元素重新定位在3D空間中以保存版面。
7.按照權(quán)利要求5或6的方法，其中內(nèi)容元素重新定位在與該頁面相鄰的基平面內(nèi)。
8.按照權(quán)利要求5或6的方法，其中內(nèi)容元素重新定位在基平面之外。
9.按照權(quán)利要求8的方法，其中2D內(nèi)容元素定位成平行于基平面。
10.按照權(quán)利要求8的方法，其中2D內(nèi)容元素重新定位成使它從基平面上投影。
11.按照以上權(quán)利要求中任何一個的方法，還包括步驟在3D空間中定位一個或多個附加內(nèi)容元素。
12.按照權(quán)利要求11的方法，其中一個或多個附加內(nèi)容元素是廣告。
13.按照權(quán)利要求12的方法，其中內(nèi)容元素定位成與兩個頁面有相等的距離。
14.按照權(quán)利要求12的方法，其中內(nèi)容元素定位成與兩個相鄰頁面有不相等的距離。
15.按照以上權(quán)利要求中任何一個的方法，其中當(dāng)視線或視點滿足預(yù)定條件時，內(nèi)容元素執(zhí)行響應(yīng)。
16.按照權(quán)利要求15的方法，其中預(yù)定的條件選自下列的一組，包括(a)從視點到內(nèi)容元素的距離小于預(yù)定的距離；(b)內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(c)當(dāng)視點朝向內(nèi)容元素運動時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(d)當(dāng)視點離開內(nèi)容元素運動時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(e)當(dāng)視點加速或減速時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(f)視點從內(nèi)容元素旁邊經(jīng)過；和(g)利用計算機輸入裝置，用戶請求來自內(nèi)容元素的響應(yīng)。
17.按照權(quán)利要求15或16的方法，其中響應(yīng)選自下列的一組，包括(a)內(nèi)容元素變成動畫時；(b)內(nèi)容元素被重新定位時；(c)內(nèi)容元素發(fā)出聲響時。
18.按照以上權(quán)利要求中任何一個的方法，還包括步驟在一個或多個視圖面上顯示2D面。
19.按照權(quán)利要求1的方法，還包括步驟投影2D面到3D空間中定位的第二個2D面，并在一個或多個視圖面上顯示第二個2D面。
20.按照權(quán)利要求18或19的方法，其中視圖面是計算機監(jiān)視器，電視機或機頂盒。
21.按照權(quán)利要求18至20中任何一個的方法，其中一個或多個顯示裝置位于遠處。
22.按照以上權(quán)利要求中任何一個的方法，還包括(a)除了基平面之外，在3D空間中還指定一個或多個平面，附加平面平行于基平面；(b)在附加平面上定位一個或多個頁面或內(nèi)容元素；
23.按照權(quán)利要求22的方法，還包括(a)從基平面和附加平面中選取一個平面，并從3D空間中去除其他的平面；和(b)利用視線確定的透視投影，至少投影部分3D空間到2D面上。
24.按照權(quán)利要求1的方法，其中至少一個頁面是應(yīng)用窗口。
25.按照權(quán)利要求24的方法，其中該窗口包含至少是部分文檔頁面的內(nèi)容元素。
26.按照權(quán)利要求1的方法，還包括步驟在基平面上指定一個或多個用于定位頁面和/或內(nèi)容元素的區(qū)域。
27.按照以上權(quán)利要求中任何一個的方法，還包括步驟當(dāng)視點與頁面或內(nèi)容元素之間的距離大于預(yù)定距離時，替換基平面上的頁面或內(nèi)容元素。
28.按照以上權(quán)利要求中任何一個的方法，其中基平面被網(wǎng)格分割成內(nèi)容區(qū)域。
29.按照權(quán)利要求28的方法，其中網(wǎng)格在基平面上指定一個或多個頁面的區(qū)域，頁面周圍的區(qū)域，或指定頁面周圍區(qū)域之間的區(qū)域。
30.按照以上權(quán)利要求中任何一個的方法，其中一個或多個頁面是搜索詢問的結(jié)果。
31.按照以上權(quán)利要求中任何一個的方法，其中第一內(nèi)容元素定位在不同頁面上第二內(nèi)容元素與第三內(nèi)容元素之間。
32.按照以上權(quán)利要求中任何一個的方法，還包括在3D中發(fā)射內(nèi)容元素或頁面以及它們在3D空間中的位置到本機盤或遠程位置。
33.一種用于定位第一頁面和至少第二頁面或內(nèi)容元素并投影第一頁面和第二頁面或第一頁面和內(nèi)容元素到2D面上的系統(tǒng)，頁面是2D和/或體積3D內(nèi)容元素的2D排列，每個頁面有版面，包括(a)處理器配置成(aa)在3D空間中指定一個2D基平面；(ab)在3D空間中定位該至少第一頁面和第二頁面或內(nèi)容元素，其中至少一個頁面平行于基平面；(ac)在3D空間中定位2D面，使它相交于從預(yù)定視點的預(yù)定距離上的預(yù)定視線；(ad)利用視線確定的透視投影，至少投影部分3D空間到2D面上；和(ae)如果需要，重復(fù)(ab)，(ac)，和(ad)，每次任選地選取新的視點和/或選取新的視線和/或改變3D空間中一個或多個內(nèi)容元素或一個或多個頁面的性質(zhì)；其特征是，視線既不平行也不垂直于基平面。
34.按照權(quán)利要求33的系統(tǒng)，其中2D面是平面，球面，柱面，或不規(guī)則面。
35.按照權(quán)利要求33或34的系統(tǒng)，其中兩個相鄰頁面在基平面上是互相分開的。
36.按照權(quán)利要求33至35中任何一個的系統(tǒng)，其中至少一個頁面至少包含一個3D體積內(nèi)容元素。
37.按照權(quán)利要求33至36中任何一個的系統(tǒng)，其中處理器還配置成剖析一個頁面成多個內(nèi)容元素，并在3D空間中重新定位一個或多個內(nèi)容元素。
38.按照權(quán)利要求37的系統(tǒng)，其中處理器還配置成重新定位頁面的內(nèi)容元素以保存頁面的版面。
39.按照權(quán)利要求37或38的系統(tǒng)，其中處理器還配置成重新定位與頁面相鄰的基平面上內(nèi)容元素。
40.按照權(quán)利要求37或38的系統(tǒng)，其中處理器還配置成重新定位基平面之外的內(nèi)容元素。
41.按照權(quán)利要求40的系統(tǒng)，其中處理器還配置成定位平行于基平面的2D內(nèi)容元素。
42.按照權(quán)利要求40的系統(tǒng)，其中處理器還配置成重新定位2D內(nèi)容元素，使它從基平面上投影。
43.按照權(quán)利要求31至42中任何一個的系統(tǒng)，其中處理器還配置成在3D空間中定位一個或多個附加內(nèi)容元素。
44.按照權(quán)利要求43的系統(tǒng)，其中一個或多個附加內(nèi)容元素是廣告。
45.按照權(quán)利要求44的系統(tǒng)，其中內(nèi)容元素定位成與兩個頁面有相等的距離。
46.按照權(quán)利要求44的系統(tǒng)，其中內(nèi)容元素定位成與兩個相鄰頁面有不相等的距離。
47.按照權(quán)利要求31至46中任何一個的系統(tǒng)，其中當(dāng)視線或視點滿足預(yù)定條件時，內(nèi)容元素執(zhí)行響應(yīng)。
48.按照權(quán)利要求47的系統(tǒng)，其中預(yù)定條件選自下列的一組，包括(h)從視點到內(nèi)容元素的距離小于預(yù)定的距離；(i)內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(j)當(dāng)視點朝向內(nèi)容元素運動時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(k)當(dāng)視點離開內(nèi)容元素運動時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(l)當(dāng)視點加速或減速時，內(nèi)容元素相交于環(huán)繞視線中心的圓錐，圓錐以視點為頂點并有預(yù)定的頂角；(m)視點從內(nèi)容元素旁邊經(jīng)過；和(n)利用計算機輸入裝置，用戶請求來自內(nèi)容元素的響應(yīng)。
49.按照權(quán)利要求47或48的系統(tǒng)，其中響應(yīng)選自下列的一組，包括(d)內(nèi)容元素變成動畫時；(e)內(nèi)容元素被重新定位時；(f)內(nèi)容元素發(fā)出聲響時。
50.按照權(quán)利要求31的系統(tǒng)，還包括一個或多個顯示裝置。
51.按照權(quán)利要求50的系統(tǒng)，其中視圖面是計算機監(jiān)視器，電視機，或立體取景器。
52.按照權(quán)利要求50或51的系統(tǒng)，其中一個或多個顯示裝置位于遠處。
53.一種計算機程序，包括計算機程序代碼裝置，當(dāng)所述程序在計算機上運行時，該裝置完成權(quán)利要求1中的所有步驟。
54.按照權(quán)利要求53的計算機程序包含在計算機可讀媒體中。
全文摘要
一種在虛擬3D空間中定位內(nèi)容元素的方法和系統(tǒng)。在3D空間中指定一個2D基平面，其中至少一個頁面平行于基平面。在3D空間中選取這樣的視點和視線，3D空間中的視線既不平行也不垂直于基平面。然后，在3D空間中定位一個2D面，使該2D面相交于視點與基平面之間的視線。利用視線確定的透視投影，至少部分3D空間投影到該2D面上。如果需要，可以重復(fù)以上的過程，其中每次任選地選取新的視點和/或選取新的視線和/或改變一個或多個內(nèi)容元素的性質(zhì)。視圖面上投影可以顯示在顯示裝置上，例如，計算機監(jiān)視器。
文檔編號G06T15/40GK1529875SQ02814237
公開日2004年9月15日 申請日期2002年5月22日 優(yōu)先權(quán)日2001年5月22日
發(fā)明者約?！ど撤? 約福 沙菲 申請人:約?！ど撤? 約福 沙菲