專利名稱：從影子進(jìn)行的三維重構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理的系統(tǒng)和方法，特別但不排他地，在玩具和視頻游戲的范圍內(nèi)。
視頻游戲和圖形游戲以及其它涉及計(jì)算機(jī)的娛樂(lè)軟件應(yīng)用已變得日益普遍，并且在當(dāng)前甚至被用于移動(dòng)電話。在多玩者游戲或應(yīng)用中，玩者用已知為化身的活生生的圖形表示來(lái)作為其在虛擬環(huán)境中的代表。專用的設(shè)備正在為電子寵物玩具而上市，例如Tamaguchi一種飼養(yǎng)游戲，在其中用戶必須照顧重現(xiàn)于顯示監(jiān)視器上的虛擬動(dòng)物。
用圖形生物和對(duì)象生成虛擬互動(dòng)世界是一種技術(shù)形式，其并不能有效地幫助一個(gè)外行熟練地使用它，更不用說(shuō)孩子。盡管如此，使得外行或年輕人能生成這樣的生物或?qū)ο蟮能浖?yīng)用將是受歡迎的，這是因?yàn)樗鼈儙椭藗儗?duì)先前不能到達(dá)的電子世界給予控制。因此，本發(fā)明人提出一種系統(tǒng)和工具，使得能以用戶友好和容易理解的方式來(lái)生成電子對(duì)象和生物。
本發(fā)明提供一種將3-D物理對(duì)象以電子格式繪制到2-D輪廓或側(cè)影上的工具。例如，對(duì)3-D對(duì)象進(jìn)行照明，而其影子被投射到光傳感器陣列上。光傳感器使得能將影子轉(zhuǎn)變?yōu)?-D位圖。旋轉(zhuǎn)3-D對(duì)象給出另一個(gè)影子和另一個(gè)位圖。優(yōu)選地，每個(gè)位圖被與有關(guān)光源、物理對(duì)象和傳感器陣列相對(duì)方位的信息關(guān)聯(lián)。位圖和相對(duì)方位的集合使得能重構(gòu)物理對(duì)象形狀的3-D圖形表示。例如，當(dāng)位圖沿其適當(dāng)方位被投影到體素空間時(shí)，不屬于有特定位圖作為橫截面的柱體的每個(gè)體素被從體素空間中去除。
對(duì)于其表面在任何地方為凸面的對(duì)象，這種方法工作是很好的。然而，有凹面部分的物理對(duì)象，例如有人已咬了一口的蘋果、或茶杯，可造成畸變的圖形表示。這是由于凹面部分在對(duì)象的所有方位上被包圍凹面部位的物理對(duì)象部分遮住。因此，本發(fā)明人建議提供軟件工具以使用戶能使3-D圖形對(duì)象變形以精制表面生成凹面部分、通孔、派生物(outgrowth)等。圖形對(duì)象優(yōu)選地被指定一個(gè)相關(guān)性(當(dāng)用戶通過(guò)在特定位置處移動(dòng)或修改其表面(等效于在物理世界中拉或推)而使圖形對(duì)象變形時(shí)，確保那個(gè)位置的鄰域亦被變形以確保模型的連續(xù)性。例如，通過(guò)首先用大象(模型)的影像得到中間圖形對(duì)象并且然后該中間對(duì)象的體素被變形以得到較接近于近似的大象形狀或完全不同的虛擬生物的形狀，虛擬的大象被生成。
假定圖形模型欲表示活生生的有關(guān)節(jié)的生物等類人動(dòng)物、四足動(dòng)物、蜘蛛類動(dòng)物、類企鵝動(dòng)物等。優(yōu)選地，軟件工具包括預(yù)定義的骨架或火柴桿圖，在其上可裝飾圖形模型，也許在重新比例調(diào)整(rescale)之后來(lái)做。通過(guò)限定模型的特定體素隨著骨架的特定點(diǎn)一起運(yùn)動(dòng)，該模型被附著于骨架，例如在后者的四肢和關(guān)節(jié)處。使用預(yù)定腳本，骨架是可動(dòng)的，例如行走、飛行、跳躍、轉(zhuǎn)圈等。由于為圖形模型所限定的相關(guān)性和彈性，則其表面被允許以較自然的方式跟隨骨架的運(yùn)動(dòng)。
如果物理對(duì)象具有對(duì)稱的一個(gè)或多個(gè)軸或者一個(gè)或多個(gè)平面，則需要較少的位圖來(lái)描述對(duì)象。然后對(duì)稱運(yùn)算從所掃描物理對(duì)象的部分來(lái)重構(gòu)圖形對(duì)象。
對(duì)于單個(gè)復(fù)合圖形對(duì)象，影子投射方法可被用于分別生成多個(gè)圖形對(duì)象。例如，通過(guò)對(duì)基本部件(例如輻條輪、駕駛室、鍋爐和火箱)進(jìn)行影子投射，并結(jié)合使用預(yù)定圖形元件(立方體、球體、桿、柱體)并在虛擬環(huán)境中組裝圖形對(duì)象，蒸汽機(jī)車的圖形模型被生成。
如果在虛擬環(huán)境中不需要3-D，通過(guò)使用上述的影子投射將物理對(duì)象繪制到單個(gè)位圖上以生成2-D側(cè)影。
紋理繪制(texture mapping)可被應(yīng)用于最終的圖形模型以給其特定的外觀。
用戶可自己生成位圖，例如，如在所捕獲的側(cè)影的基礎(chǔ)上，并可將位圖集提交給互聯(lián)網(wǎng)上的服務(wù)。該服務(wù)根據(jù)體素或另一個(gè)表示將所述集轉(zhuǎn)換為3-D圖形模型，并將其發(fā)送回用戶以便進(jìn)行精制或個(gè)性化，或者準(zhǔn)備用于虛擬環(huán)境或作為裝飾。該服務(wù)亦可依照例如用戶所提交的詳細(xì)說(shuō)明來(lái)進(jìn)行精制，并且提供如以上所討論的用于生動(dòng)的腳本。
相應(yīng)地，本發(fā)明人提供了相對(duì)廉價(jià)的軟件工具，以通過(guò)用于由影子投射所得的中間圖形模型的位圖開始，并且然后通過(guò)使用彈性或非彈性變形或者剪掉或鉆掉體素、紋理繪制、涂色等來(lái)修改其表面，從真實(shí)物理對(duì)象而生成圖形對(duì)象。該工具相對(duì)容易使用，并且作為玩具、作為娛樂(lè)、用于教育目的或用于快速原型設(shè)計(jì)，是特別有趣的。尤其是，借助商用PC足夠的處理能力，該工具是低成本的。
還有，取代影子投射設(shè)備，用戶可用數(shù)字照相機(jī)來(lái)為物理對(duì)象拍照，并用圖形編輯軟件程序或照片編輯軟件程序?qū)⑦@些數(shù)字圖片轉(zhuǎn)換為位圖側(cè)影。然后用戶必須在某種程度上指定不同側(cè)影的相對(duì)角度位置以使側(cè)影的觀察點(diǎn)與對(duì)象相對(duì)于照相機(jī)的相對(duì)方位關(guān)聯(lián)。為了這個(gè)目的，例如可使用有預(yù)定角度的三角架和紙目標(biāo)。
通過(guò)舉例并參照附圖，本發(fā)明將在以下被更詳細(xì)地描述，在附圖中

圖1為本發(fā)明中系統(tǒng)的方塊圖；圖2示出各種方位上大象物理模型的側(cè)影；圖3示出生成虛擬大象的過(guò)程中的一步；以及圖4示出軟件應(yīng)用的方面。
在所有的圖中，相同的參考數(shù)字表示類似或相應(yīng)的特征。
如以上所討論的，本發(fā)明的一方面涉及用于示出圖形對(duì)象的軟件應(yīng)用。該應(yīng)用包括用于接收多個(gè)相應(yīng)位圖的輸入。每個(gè)位圖都具有相應(yīng)的索引并包括有第一和第二像素值(就是說(shuō)，黑和白)之一的像素。所述應(yīng)用具有對(duì)多個(gè)體素的域進(jìn)行運(yùn)算的鑒別器。該鑒別器在相應(yīng)索引和相應(yīng)位圖像素值的控制下為每個(gè)相應(yīng)的位圖確定哪些特定的體素分配給對(duì)象的體素表示。所述應(yīng)用可包括軟件工具以使用戶能修改圖形對(duì)象的形狀或在圖形對(duì)象上繪制紋理。所述應(yīng)用亦可包括用于使預(yù)定圖形實(shí)體生動(dòng)化的腳本，和用于組合實(shí)體與圖形對(duì)象的軟件工具，后者作為皮膚覆蓋實(shí)體。這使得能夠通過(guò)腳本來(lái)使對(duì)象生動(dòng)化。
本發(fā)明的另一方面涉及用于與PC一起使用的外圍設(shè)備。該設(shè)備包括用于生成位圖以便在PC上進(jìn)一步處理的光傳感器陣列，以及基準(zhǔn)系統(tǒng)，用于在相對(duì)于該基準(zhǔn)系統(tǒng)的對(duì)象的相應(yīng)方位上生成物理對(duì)象相應(yīng)的位圖。所述相應(yīng)的方位由與相應(yīng)位圖關(guān)聯(lián)的相應(yīng)索引來(lái)表示。該設(shè)備與較早討論的軟件應(yīng)用一起協(xié)作。
還有一個(gè)方面涉及例如在互聯(lián)網(wǎng)上的服務(wù)以使得人們能夠制作圖形模型。人們能將位圖集提交給服務(wù)的提供者，每個(gè)位圖都有具有兩個(gè)像素值之一的多個(gè)像素并有有關(guān)相對(duì)于彼此的相對(duì)方位的信息。該位圖被用于如所述的將體素塊造型為圖形3-D模型。
圖1為本發(fā)明中系統(tǒng)100的方塊圖。系統(tǒng)100包括對(duì)光源104所發(fā)射光敏感的光傳感器102。被位于傳感器102和光源104之間的物理對(duì)象106阻擋的光在傳感器102上產(chǎn)生影子。傳感器102優(yōu)選地包括光敏單元陣列，以使單個(gè)單元對(duì)入射光或光的不存在的高或低的響應(yīng)與陣列中該單元的位置一起來(lái)確定物理對(duì)象的位圖中像素的二進(jìn)制值。
優(yōu)選地，傳感器102與基準(zhǔn)系統(tǒng)108協(xié)作以允許在不同方位上制作對(duì)象106的不同位圖。例如，基準(zhǔn)系統(tǒng)108包括用于對(duì)象106的支撐和控制器110。在制作下一個(gè)位圖之前，在控制器110的控制下，支撐在一角度范圍內(nèi)轉(zhuǎn)動(dòng)對(duì)象106。該角度優(yōu)選為用戶可編程的，至少是在定性上。例如，用戶可為每個(gè)位圖將所需角度設(shè)定為在從很小到大的范圍內(nèi)的確定值。這樣，角度/位圖對(duì)的集合使得人們能依照方位來(lái)排序位圖。
控制器110將位圖數(shù)據(jù)傳遞給PC 112，在那里數(shù)據(jù)在軟件應(yīng)用114也可能在用戶控制116的控制下被處理。位圖數(shù)據(jù)習(xí)慣上通過(guò)將未被用于各種方位的位圖中的至少一個(gè)的黑像素覆蓋的體素去除而從體素塊形成3-D圖形對(duì)象。反饋回路可向用戶顯示在特定方位上需要另外的位圖以解決模糊性。用戶可按比例調(diào)整對(duì)象，通過(guò)紋理繪制過(guò)程控制其紋理，并修改形狀，如以上所討論的。結(jié)果和處理被顯示于顯示監(jiān)視器118上。
取代在傳感器102和源104的靜止配置之間旋轉(zhuǎn)物理對(duì)象106，對(duì)象106可保持靜止而傳感器-源這一對(duì)可繞對(duì)象102來(lái)旋轉(zhuǎn)。圖1給出了旋轉(zhuǎn)的單個(gè)軸，或者換句話說(shuō)，位圖被取在沿圓周的一定角度上。顯然對(duì)象106可由從各種點(diǎn)得到的一組位圖來(lái)表示，所述點(diǎn)不是全部位于相同的圓周上，而是有的位于例如另一幾何形式例如球體的表面上。在后者的情況下，每個(gè)位圖用兩個(gè)參數(shù)來(lái)檢索，例如被用于球面坐標(biāo)系統(tǒng)的角度2和N?？刂破?10然后控制旋轉(zhuǎn)軸和/或光源104和傳感器102的平面的方位。
由于該系統(tǒng)用于娛樂(lè)或作為玩具是特別有趣的，高精度不是最初的主要問(wèn)題。例如，來(lái)自源104的光線可能不相互平行，這樣導(dǎo)致了邊界影子區(qū)，在其中光的強(qiáng)度從最大到最小逐漸變化；傳感器102僅具有有限的分辨率；一些對(duì)象不容易用投射的影子繪制出，等等。然而，從位圖數(shù)據(jù)的合成中出現(xiàn)的中間虛擬模型比給用戶提供繪圖工具并讓他/她從勾劃開始要大大接近于有意義的最終結(jié)果。光源104可以是有準(zhǔn)直光束的源、有菲涅耳透鏡的單光源或機(jī)械安裝的激光器或者可被用于減少邊界影子區(qū)的其它準(zhǔn)直光源。傳感器102可包括平板傳感器陣列，它有阻擋雜散光的裝置或聚集光并將其集中于(如在電子照相機(jī)中的)CCD或CMOS陣列上的透鏡。
如較早所提及的，軟件工具被提供用于精制中間模型，優(yōu)選地以直覺(jué)上簡(jiǎn)單的方式洞可用虛擬的鉆來(lái)鉆；碎片可用虛擬的鑿子或虛擬的冰淇淋勺(本發(fā)明人的喜好)來(lái)去除；可使用虛擬的車床或刳刨機(jī)；通過(guò)控制模型的彈性，借助推和拉來(lái)實(shí)現(xiàn)再成形，等等，均在虛擬環(huán)境中進(jìn)行。
圖2示出在關(guān)于傳感器102的不同方位上大象物理模型的側(cè)影位圖202、204和206。
圖3示出將位圖204應(yīng)用于體素的塊304的結(jié)果，塊304具有有限的尺度。結(jié)果為具有大象側(cè)影的橫截面的柱體。
圖4示出以上已討論的關(guān)于軟件應(yīng)用114的內(nèi)容。應(yīng)用114包括對(duì)塊304進(jìn)行雕刻的鑒別器402。雕刻過(guò)程的實(shí)例如下。對(duì)每個(gè)索引i，i＝1，2，...，N，從未被相應(yīng)于索引i的位圖中的黑像素所覆蓋的塊中去除體素，“i”為使得能依照其相應(yīng)的方位(例如，觀察角度)來(lái)排序位圖的運(yùn)行標(biāo)記。鑒別器402亦可被用于計(jì)算柱體例如柱體302與體素空間的相交。一些體素可能僅部分地屬于相交，而適當(dāng)?shù)倪^(guò)濾是明智的，以避免虛擬模型中的鋸齒形表面。
在輸入406處提供用于位圖和其相關(guān)索引的輸入。輸入?yún)?shù)可由用戶在輸入408處提供，例如為按比例調(diào)節(jié)的目的。體素雕刻的結(jié)果被存儲(chǔ)于存儲(chǔ)器410中并被顯示于顯示監(jiān)視器412上。應(yīng)用114包括成形工具，以便在于輸入414的用戶的控制下，用戶刻掉體素，并另外，修改位圖的結(jié)果。用戶通過(guò)監(jiān)視器412獲得這些操作的可視反饋。
當(dāng)被用作玩具或用于娛樂(lè)時(shí)，生成過(guò)程本身優(yōu)選地被伴以特別的圖形和/或聲音效果。例如，當(dāng)使用位圖作為雕刻工具以從體素塊中去除所有那些未被位圖側(cè)影覆蓋的體素時(shí)，該去除由從塊的適當(dāng)?shù)胤絿姵龅乃槠瓴⒂煽焖勹弰?dòng)或爆炸的聲音來(lái)示出。作為旁白布萊克山中的拉什莫爾山國(guó)家紀(jì)念碑(the Mt.Rushmore National Monumentin the Black Hills)由Gutzon Borglum用炸藥雕刻到幾英寸的精度。類似地，由Korzczak Ziolkowski設(shè)計(jì)的不遠(yuǎn)處的瘋馬酋長(zhǎng)國(guó)家紀(jì)念碑也是用炸藥雕刻的。
被引入作為參考的是以下專利文件-為GUI HAS LIBRARY METAPHOR BASED ON NON-EUCLIDEANGEOMETRY(具有基于非歐幾里得幾何的庫(kù)隱喻的GUI)而授予GregRoelofs、提交于00年11月28日的U.S.序列號(hào)09/724,656(代理記錄US 008072)。此文件涉及有GUI的數(shù)據(jù)處理系統(tǒng)，它使得用戶能與虛擬環(huán)境進(jìn)行交互。該環(huán)境具有基于庫(kù)隱喻(library metaphor)的存儲(chǔ)的圖形表示。該存儲(chǔ)被用于將信息項(xiàng)用圖形來(lái)歸檔。虛擬環(huán)境具有依賴路徑的幾何結(jié)構(gòu)。這允許修改存儲(chǔ)以附加另外的項(xiàng)，而無(wú)需視覺(jué)上干擾先前存儲(chǔ)的項(xiàng)的組織。
-為VIRTUAL MODEL GENERATION VIA PHYSICAL COMPONENTS(通過(guò)物理部件進(jìn)行的虛擬模型的生成)而授予Greg Roelofs、提交于01年2月5日的U.S.序列號(hào)09/777,504(代理記錄US 010024)。此文件涉及用于生成物理結(jié)構(gòu)虛擬模型的系統(tǒng)。該系統(tǒng)包括基板；提供傳感器數(shù)據(jù)的至少一個(gè)傳感器；能被傳感器傳感并可安裝于基板上的至少一個(gè)建立部件(building componet)；與傳感器對(duì)接并從其接收數(shù)據(jù)的計(jì)算機(jī)，用于在傳感器數(shù)據(jù)的基礎(chǔ)上確定被安裝于基板上的每個(gè)部件的位置和尺度；并且其中計(jì)算機(jī)基于每個(gè)部件的位置和尺寸而生成一由被安裝于基板上的每個(gè)部件組成的結(jié)構(gòu)的欲被顯示于計(jì)算機(jī)顯示器上的虛擬模型，該結(jié)構(gòu)。建立部件包括具有電簽名的電接觸點(diǎn)。傳感器為被連接于電源的電路板并且包括電壓計(jì)、安培計(jì)、開關(guān)網(wǎng)絡(luò)和從電壓計(jì)接收數(shù)據(jù)并用于控制電壓計(jì)、安培計(jì)和開關(guān)網(wǎng)絡(luò)的處理器。傳感器傳感每個(gè)建立部件的電路板上的位置、方位和電記號(hào)。
-為ONE-TO-ONE DIRECT COMMUNICATION(一對(duì)一直接通信)而授予Nancy Kidney等、提交于01年3月30日的U.S.序列號(hào)09/823,460(代理記錄US 018037)。此文件涉及用圖形來(lái)表示當(dāng)對(duì)象逐漸滑出發(fā)送者的顯示器上的視野并逐漸滑入接收者的顯示器上的視野時(shí)，從發(fā)送手持裝置到接收器的傳遞電子對(duì)象的進(jìn)程。手持裝置中的重力傳感器被用于確定傳輸?shù)臄?shù)據(jù)速率。對(duì)例如電子玩具這種可視反饋是人機(jī)工程學(xué)特征。
權(quán)利要求
1.一種用于生成圖形對(duì)象的軟件應(yīng)用，該應(yīng)用包括輸入，用于接收多個(gè)相應(yīng)的位圖，每個(gè)具有相應(yīng)的索引并包括有第一和第二像素值之一的像素；以及鑒別器，對(duì)多個(gè)體素的域進(jìn)行運(yùn)算以在相應(yīng)索引和相應(yīng)位圖像素值的控制下為每個(gè)相應(yīng)的位圖確定哪些特定的體素分配給對(duì)象的體素表示。
2.權(quán)利要求1的應(yīng)用，包括使得用戶能修改圖形對(duì)象的形狀的軟件工具。
3.權(quán)利要求1的應(yīng)用，包括用于在圖形對(duì)象上繪制紋理的軟件工具。
4.權(quán)利要求1的應(yīng)用，包括用于使預(yù)定圖形實(shí)體生動(dòng)化的腳本；用于組合實(shí)體與圖形對(duì)象以使能夠通過(guò)腳本來(lái)使對(duì)象生動(dòng)化的軟件工具。
5.權(quán)利要求1的應(yīng)用，在商業(yè)上可用于非專業(yè)的目的。
6.一種用于與PC一起使用的外圍設(shè)備，該設(shè)備包括光傳感器陣列，用于生成位圖以便在PC上的進(jìn)一步處理。
7.權(quán)利要求6的設(shè)備，包括基準(zhǔn)系統(tǒng)，用于在相對(duì)于該基準(zhǔn)系統(tǒng)的對(duì)象的相應(yīng)方位上生成物理對(duì)象相應(yīng)的位圖。
8.權(quán)利要求7的設(shè)備，用于與軟件應(yīng)用協(xié)作以生成圖形對(duì)象，該應(yīng)用包括輸入，用于接收多個(gè)相應(yīng)的位圖，每個(gè)具有表示相應(yīng)方位的相應(yīng)索引并包括有第一和第二像素值之一的像素；以及鑒別器，對(duì)多個(gè)體素的域進(jìn)行運(yùn)算以在相應(yīng)索引和相應(yīng)位圖像素值的控制下為每個(gè)相應(yīng)的位圖確定哪些特定的體素應(yīng)分配給對(duì)象的體素表示。
9.一種數(shù)據(jù)處理系統(tǒng)，包括包括光傳感器陣列的設(shè)備；以及用于生成虛擬對(duì)象的軟件應(yīng)用，該應(yīng)用包括輸入，用于接收多個(gè)相應(yīng)的位圖，每個(gè)具有相應(yīng)的索引并包括有第一和第二像素值之一的像素；以及鑒別器，對(duì)多個(gè)體素的域進(jìn)行運(yùn)算以在相應(yīng)索引和相應(yīng)位圖像素值的控制下為每個(gè)相應(yīng)的位圖確定哪些特定的體素應(yīng)分配給對(duì)象的體素表示。
10.一種使得能制作圖形模型的方法，該方法包括使得能提交位圖集，每個(gè)位圖有多個(gè)像素，其每個(gè)像素具有兩個(gè)像素值的一個(gè)；以及用位圖將體素的塊造型為圖形3-D模型。
11.一種用位圖集制作的圖形模型，每個(gè)位圖有多個(gè)像素，其每個(gè)像素具有兩個(gè)像素值的一個(gè)；并用位圖將體素的塊造型為圖形模型。
12.權(quán)利要求11的圖形模型，模仿大象或企鵝而成形。
全文摘要
通過(guò)使用不同方位上大象物理模型的位圖側(cè)影以從體素塊中刻掉體素，得到了大象的圖形模型。這給出了直覺(jué)上簡(jiǎn)單的工具，從而使得用戶能生成物理對(duì)象的圖形表示，以用于例如虛擬環(huán)境和視頻游戲。
文檔編號(hào)G06T17/40GK1462415SQ02801334
公開日2003年12月17日 申請(qǐng)日期2002年4月18日 優(yōu)先權(quán)日2001年4月23日
發(fā)明者G·R·雷洛夫斯 申請(qǐng)人:皇家菲利浦電子有限公司