專利名稱：一種虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，屬于計算機虛擬 現(xiàn)實技術(shù)領(lǐng)域。
背景技術(shù)：
利用計算機對真實世界中物體表面不同材質(zhì)的反射屬性進行建模并逼真再現(xiàn)在 動漫游戲、影視制作和數(shù)字博物館等領(lǐng)域具有廣泛的應(yīng)用空間，但是真實世界中構(gòu)成物體 的材質(zhì)類型以及多種材質(zhì)在物體表面的分布樣式紛繁不一，通過商用建模軟件(3DMax， Maya等)提供的有限材質(zhì)模型手工建模非常困難，甚至無法準確表示，因此，需要研究基于 真實物體采集圖像的物體表面材質(zhì)反射屬性獲取及建模技術(shù)，實現(xiàn)虛擬環(huán)境中構(gòu)造真實物 體表面反射特性。真實世界中的物體由多種材質(zhì)混合而成，可以由空間變化的雙向反射分布函數(shù) (spatially-varying bidirectional reflectance distribution function， SVBRDF)描 述，SVBRDF是一個6維函數(shù)，記錄了光線沿某一光源方向入射物體表面一點并沿著某一視 線方向反射出的輻射度比。SVBRDF的建模技術(shù)分為兩大類(1)基于解析式的SVBRDF建模技術(shù)，只需要稀疏的SVBRDF樣本數(shù)據(jù)，利用已存 在的解析式雙向反射分布函數(shù)(Bidirectional Reflectance Distribution Function, BRDF)模型表達材質(zhì)反射屬性，很難能夠正確地表達真實世界中的各種材質(zhì)類型。文獻 I-Sato Y, Wheeler M D, Katsushi I. Object shape and reflectance modeling from observation. ACM Press/Addison-ffesley Publishing Co.，1997.將物體表面反射數(shù)據(jù)分 為漫反射部分和高光部分，使用解析式BRDF模型分別進行參數(shù)匹配，可以表現(xiàn)空間變化的 漫反射部分，但忽略了高光部分的空間變化。文獻2-Lensch ΗΡΑ, Kautz J, Goesele Μ, et al. Image-based reconstruction of spatial appearance and geometric detail[J]. ACMTransactions on Graphics. 2003,22(2) :234_257.使用解析式 BRDF 模型匹配采集的 SVBRDF數(shù)據(jù)，利用矢量量化(vector quantization)和k-means方法對獲取的SVBRDF數(shù)據(jù) 進行聚類分析，從而提取出基材質(zhì)BRDF，物體表面任意一點的解析式BRDF都由基材質(zhì)BRDF 模型的線性組合進行表示。文獻 3-Goldman D B, Curless B, Hertzmann A，et al. Shapeand SpatialIy-Varying BRDFs from Photometric Stereo[C].IEEE Computer Society, 2005.利用少量的拍攝圖像同時恢復(fù)采集視點下物體的法向量貼圖和表面SVBRDF，由于 同時求解幾何信息和屬性信息，目標函數(shù)在圖像數(shù)據(jù)中高光部分的匹配誤差較大，使得二 者求解精確度都不夠高。文獻 4-Wang J, Zhao S, Tong X，et al. Modeling Anisotropic SurfaceReflectance with Example-based Microfacet Synthesis[J]. ACM Transactions onGraphics. 2008,27(3) :1_9.基于各向異性的Ashikmin BRDF模型，利用采集樣本材質(zhì)的 空間冗余特性，將紋理合成技術(shù)應(yīng)用于法向量分布函數(shù)的合成，從而恢復(fù)空間變化的各向 異性BRDF模型。(2)基于數(shù)據(jù)驅(qū)動的SVBRDF建模技術(shù)，需要較密集的SVBRDF樣本數(shù)據(jù)，使
4用真實采集數(shù)據(jù)直接表達材質(zhì)反射屬性，通用性與逼真性較強。文獻5-Lawrence J， Ben-Artzi A，Decoro C. et al. Inverse shade trees for non-parametric material representationand editing[J]. ACM Transactions on Graphics. 2006，25(3) :735_74. 使用逆向繪制樹表示SVBRDF數(shù)據(jù)，樹的根節(jié)點為獲取的SVBRDF數(shù)據(jù)，樹的葉子節(jié)點為 分解后基材質(zhì)BRDF和空間變化的基材質(zhì)權(quán)重混合因子分布圖，樹形結(jié)構(gòu)的建立過程引入
(Alternating Constrained Least Squares, ACLS) 矩陣分解算法，增加稀疏性、BRDF值非負性、可逆性及單調(diào)性等多項約束條件，保證了分 解結(jié)果的正確性，但是整個優(yōu)化過程比較復(fù)雜耗時，為了正確的找到基材質(zhì)需要選擇不同 的基材質(zhì)組合執(zhí)行多次優(yōu)化。文獻6-Weistroffer R P, Walcott K R, Humphreys G, et al.Efficient BasisDecomposition for Scattered Reflectance Data[C]. Grenoble, France =2007.使用若干個徑向基函數(shù)直接表達基材質(zhì)BRDF，使用類似ACLS的矩陣分解算 法最終求解出基材質(zhì)以及對應(yīng)基材質(zhì)的權(quán)重混合因子分布圖，但是無法保證基材質(zhì)BRDF 之間的線性無關(guān)性，需要較多的徑向基函數(shù)才能逼真表示基材質(zhì)BRDF，不具有可編輯性。文 獻 7-Alldrin N, ZicklerT, Kriegman D. Photometric Stereo with Non-Parametric and Spatially-VaryingReflectance [C]. IEEE Computer Society Press, 2008.假設(shè)物體表面 頂點法向量僅存在一個自由度，并使用一種雙變量非參數(shù)化的BRDF近似模型表達基材質(zhì)， 使用類似ACLS的矩陣分解算法同時求解物體表面法向量、基材質(zhì)BRDF以及對應(yīng)的基材質(zhì) 權(quán)重混合因子分布圖° 文獻 8-Zickler Τ, Ramamoorthi R, Enrique S, et al. Reflectance Sharing:Predicting Appearance from a Sparse Set of Images of a Known Shape[J]· IEEETransaction Pattern Analysis Machine Intelligence. 2006，28 (8) : 1287—1302. 將SVBRDF的建模過程轉(zhuǎn)化為空間和角度混合域離散數(shù)據(jù)的插值問題，提出一種基于徑向 基函數(shù)的SVBRDF表示方法和離散數(shù)據(jù)插值方法，拍攝少量圖像就能恢復(fù)人臉表面空間變 化的反射屬性。文獻 9-Wang J, Dong Y, Tong X，et al. SVBRDF Bootstrapping[R]. MSRA, 2009.提出一種bootstrapping技術(shù)，首先選擇稀疏的SVBRDF采樣點在角度域空間上高密 度采集BRDF數(shù)據(jù)，然后針對SVBRDF所有采樣點在角度域空間上低密度采集BRDF數(shù)據(jù)，利 用SVBRDF的空間冗余以及局部線性相關(guān)特征重構(gòu)整個SVBRDF數(shù)據(jù)，但是得到的SVBRDF無 法編輯。 目前基于數(shù)據(jù)驅(qū)動的SVBRDF構(gòu)造技術(shù)由于其逼真性和通用性很強，是當前主流 方法，在構(gòu)造結(jié)果可編輯的相關(guān)技術(shù)中存在插值結(jié)果誤差大、構(gòu)造過程時間開銷大、基材質(zhì) 求解偏差大等問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是克服現(xiàn)有技術(shù)的不足，提供一種虛擬環(huán)境中構(gòu)造真 實物體表面反射特性的方法，該方法基于二維同心正方圖的BRDF離散數(shù)據(jù)插值方法，充分 利用SVBRDF空間冗余特性的SVBRDF數(shù)據(jù)矩陣重構(gòu)，同時結(jié)合聚類與線性最小二乘優(yōu)化的 基材質(zhì)求解算法，使插值結(jié)果平滑且穩(wěn)定，能夠有效地降低時間和空間開銷，且可快速、準 確地抽取出基材質(zhì)BRDF。本發(fā)明采取的技術(shù)解決方案是一種虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方 法，實現(xiàn)步驟如下
(1)采集不同光照條件和視線方向下的真實物體圖像，構(gòu)建SVBRDF數(shù)據(jù)的二維矩 陣M,選擇單個視點下采集的部分SVBRDF數(shù)據(jù)填入M ；(2)隨機選擇矩陣M中的γ行數(shù)據(jù)，使用基于二維同心正方圖的BRDF離散數(shù)據(jù)插 值方法方法得到完整的Y行SVBRDF數(shù)據(jù)，利用基于對數(shù)核函數(shù)的Kernel Nystrom方法重 構(gòu)出矩陣M的其它行數(shù)據(jù)；(3)將γ行SVBRDF數(shù)據(jù)看作、個線性相關(guān)向量，計算此線性相關(guān)向量組中的最 大線性無關(guān)向量子集，得到SVBRDF數(shù)據(jù)的基材質(zhì)BRDF組合；(4)將SVBRDF數(shù)據(jù)矩陣M投影到基材質(zhì)組合上得到各個基材質(zhì)對應(yīng)的權(quán)重組合因 子分布圖；(5)在計算機構(gòu)造的虛擬環(huán)境中，利用已求解的基材質(zhì)和權(quán)重因子分布圖逼真再 現(xiàn)真實世界中物體表面對光線的不同反射效果。所述的步驟(1)中構(gòu)建矩陣M的方法為矩陣M的行代表SVBRDF數(shù)據(jù)的空間域 變化，即每一行都是物體表面一個采樣點的BRDF數(shù)據(jù)，矩陣M的列代表SVBRDF的角度域變 化，即每一列代表一個不同的光源入射方向，將采集物體圖像數(shù)據(jù)按照光源入射方向及觀 察方向參數(shù)化以后，計算其在矩陣中M的相應(yīng)位置并填充。所述步驟(2)中的拉普拉斯方程的插值方法對于所選Y行數(shù)據(jù)中的任一行，即 一個頂點的BRDF數(shù)據(jù)組織成為一個2維同心正方圖，利用已知離散數(shù)據(jù)插值得到缺失的數(shù) 據(jù)，完成對BRDF數(shù)據(jù)的插值。所述步驟(2)中的Kernel Nystrom重構(gòu)方法從矩陣M中稀疏的選取c列數(shù)據(jù)， 與已經(jīng)選擇稀疏的Y行數(shù)據(jù)結(jié)合，引入對數(shù)函數(shù)作為核函數(shù)，將SVBRDF數(shù)據(jù)轉(zhuǎn)換到對數(shù)空 間，利用基于對數(shù)核函數(shù)的Kernel Nystrom重構(gòu)方法較好的重構(gòu)出矩陣M。所述步驟(3)中的基材質(zhì)BRDF求解方法對于所選、行數(shù)據(jù)構(gòu)成的數(shù)據(jù)向量， 定義任意兩個向量之間的距離，以距離為邊長權(quán)重構(gòu)造采樣頂點的完全圖，根據(jù)完全圖中 頂點之間的邊長權(quán)重進行聚類，并計算每一頂點類BRDF向量組的中心向量，將每一頂點類 的中心向量表示為其余頂點類中心向量的線性組合，表示誤差定義為該頂點類的線性無關(guān) 程度，迭代剔除線性無關(guān)程度最小的頂點類，直至剩余頂點類個數(shù)等于預(yù)先指定的基材質(zhì) BRDF個數(shù)，得到最大線性無關(guān)的頂點類，選擇距離該類中心向量最近的BRDF作為為基材質(zhì) BRDF。所述步驟(4)中的基材質(zhì)權(quán)重組合因子分布圖求解方法矩陣中的SVBRDF數(shù)據(jù)矩 陣M中的任意一行數(shù)據(jù)是由基材質(zhì)BRDF的線性組合而成，基材質(zhì)在每行數(shù)據(jù)即每個采樣點 上的權(quán)重混合因子為待求未知變量，所求權(quán)重混合因子滿足非負約束，且同一采樣點上所 有基材質(zhì)權(quán)重混合因子之和為1，在此約束條件下，將每一采樣點的BRDF數(shù)據(jù)投影到基材 質(zhì)BRDF數(shù)據(jù)上，得到對應(yīng)的權(quán)重因子分布。所述步驟(5)中，在計算機構(gòu)造的虛擬環(huán)境中，利用視點信息、光照信息，將已求 解的基材質(zhì)按照權(quán)重因子分布圖計算物體表面光照分布，從而逼真再現(xiàn)真實世界中物體表 面對光線的不同反射效果。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于(1)使用二維同心正方圖存儲固定視線方向下的BRDF數(shù)據(jù)，并在此二維圖像上利 用滿足Neumann邊界條件的拉普拉斯方程完成離散BRDF數(shù)據(jù)的插值，插值結(jié)果平滑且穩(wěn)定；(2)使用基于對數(shù)核函數(shù)的Kernel Nystrom方法由少量采樣點重構(gòu)整個采樣空 間的SVBRDF數(shù)據(jù)，計算任意一采樣點處的BRDF數(shù)據(jù)只需要進行矩陣相乘運算，能夠有效地 降低時間和空間開銷；(3)提出一種結(jié)合聚類與線性最小二乘優(yōu)化的基材質(zhì)BRDF求解算法，能夠快速、 準確地抽取出基材質(zhì)BRDF。


圖1為本發(fā)明的實現(xiàn)流程圖；圖中①表示參數(shù)化為二維矩陣，②表示基于二維同 心正方圖的BRDF離散數(shù)據(jù)插值，③表示基于對數(shù)核函數(shù)Kernel Nystrom算法SVBRDF重構(gòu)， ④表示基材質(zhì)BRDF求解，⑤表示權(quán)重混合因子分布圖求解；圖2為同心圓盤圖與同心正方圖之間的轉(zhuǎn)換示意圖；其中圖2a為同心圓盤示意 圖，圖2b同心正方示意圖；圖3為同心圓與同心正方形之間的映射關(guān)系示意圖；其中圖3a為同心圓中某一點 坐標指示圖，圖3b為同心正方形中對應(yīng)點坐標指示圖；圖4為本發(fā)明對真實物體“福”SVBRDF的分解結(jié)果，其中圖4a為原始采集圖像，圖 4b為分解后基材質(zhì)BRDF繪制到小球的可視化效果，圖4c為三種基材質(zhì)分別對應(yīng)的權(quán)重混 合因子分布圖；圖5為本發(fā)明對物體“?！苯：笤谌我庑乱朁c或者新光源方向下的繪制結(jié)果；其 中圖5a為新視點下的繪制結(jié)果，圖5b為新光源方向下的繪制結(jié)果；圖5c為新視點新光源 方向下的繪制結(jié)果；
具體實施例方式如圖1所示，本發(fā)明的具體步驟如下1.構(gòu)建SVBRDF數(shù)據(jù)矩陣M矩陣M的行代表SVBRDF數(shù)據(jù)的空間域變化，即每一行都是物體表面一個采樣點的 BRDF數(shù)據(jù)，矩陣M的列代表SVBRDF的角度域變化，即每一列代表一個不同的光源入射方向， 將采集的SVBRDF數(shù)據(jù)按照光源入射方向及觀察方向參數(shù)化以后，計算其在矩陣中M的相應(yīng) 位置并填充。2.單個采樣點BRDF的拉普拉斯方程的插值對于所選、行數(shù)據(jù)中的任一行，即一個頂點的BRDF數(shù)據(jù)組織成為一個二維 同心正方圖，如圖2所示。同心圓與同心正方形之間的變換方法如圖3所示，其中，
I' C {O 1],Φ Ct J I i C L J J ],圖 3b 中的正方形被 a = b 禾口 a = -b 劃分為
L 哼Φ
4個區(qū)域，區(qū)域1內(nèi)(a，b，r，Φ)滿足公式(1)，其余區(qū)域類似。F = €1,φ =丄 y (1)
8IU.建立BRDF2維同心正方圖的拉普拉斯方程，如公式(2)所示[P] [F] = [b] (2)
其中，
權(quán)利要求
1.一種虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于步驟如下(1)采集不同光照條件和視線方向下的真實物體圖像，構(gòu)建空間變化雙向反射分布函 數(shù)(SVBRDF)數(shù)據(jù)的二維矩陣M，選擇單個視點下采集的部分SVBRDF數(shù)據(jù)填入M ；(2)隨機選擇矩陣M中的、行數(shù)據(jù)，使用基于二維同心正方圖的BRDF離散數(shù)據(jù)插值方 法得到完整的Y行SVBRDF數(shù)據(jù)，利用基于對數(shù)核函數(shù)的Kernel Nystrom方法重構(gòu)出矩陣 M的其它行數(shù)據(jù)；Y代表隨機選擇的Y個物體表面頂點的BRDF數(shù)據(jù)；(3)將γ行SVBRDF數(shù)據(jù)看作γ個線性相關(guān)向量，計算此線性相關(guān)向量組中的最大線 性無關(guān)向量子集，得到SVBRDF數(shù)據(jù)的基材質(zhì)BRDF組合；(4)將SVBRDF數(shù)據(jù)矩陣M投影到基材質(zhì)組合上得到各個基材質(zhì)對應(yīng)的權(quán)重組合因子分 布圖；(5)在計算機構(gòu)造的虛擬環(huán)境中，利用已求解的基材質(zhì)和權(quán)重因子分布圖逼真再現(xiàn)真 實世界中物體表面對光線的不同反射特性。
2.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于 所述的步驟⑴中構(gòu)建矩陣M的方法為矩陣M的行代表SVBRDF數(shù)據(jù)的空間域變化，即每 一行都是物體表面一個采樣點的BRDF數(shù)據(jù)，矩陣矩陣M的列代表SVBRDF的角度域變化，即 每一列代表一個不同的光源入射方向，將采集物體圖像數(shù)據(jù)按照光源入射方向及觀察方向 參數(shù)化以后，計算圖像中每一個像素在矩陣中M的相應(yīng)位置并填充。
3.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于 所述步驟(2)中的基于二維同心正方圖的BRDF離散數(shù)據(jù)插值方法對于所選γ行數(shù)據(jù)中 的任一行，即一個頂點的BRDF數(shù)據(jù)組織成為一個二維同心正方圖，利用已知離散數(shù)據(jù)插值 得到缺失的數(shù)據(jù)，完成對BRDF數(shù)據(jù)的插值。
4.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于 所述步驟(2)中的基于對數(shù)核函數(shù)的Kernel Nystrom重構(gòu)方法從矩陣M中稀疏的選取c 列數(shù)據(jù)，與已經(jīng)選擇稀疏的Y行數(shù)據(jù)結(jié)合，引入對數(shù)函數(shù)作為核函數(shù)，將SVBRDF數(shù)據(jù)轉(zhuǎn)換 到對數(shù)空間，利用基于對數(shù)核函數(shù)的Kernel Nystrom重構(gòu)方法重構(gòu)出矩陣M。
5.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于 所述步驟(3)中的基材質(zhì)BRDF求解方法對于所選Y行數(shù)據(jù)構(gòu)成的數(shù)據(jù)向量，定義任意兩 個向量之間的距離，以距離為邊長權(quán)重構(gòu)造采樣頂點的完全圖，根據(jù)完全圖中頂點之間的 邊長權(quán)重進行聚類，并計算每一頂點類BRDF向量組的中心向量，將每一頂點類的中心向量 表示為其余頂點類中心向量的線性組合，表示誤差定義為該頂點類的線性無關(guān)程度，迭代 剔除線性無關(guān)程度最小的頂點類，直至剩余頂點類個數(shù)等于預(yù)先指定的基材質(zhì)BRDF個數(shù)， 得到最大線性無關(guān)的頂點類，選擇距離該類中心向量最近的BRDF作為為基材質(zhì)BRDF。
6.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于 所述步驟(4)中的基材質(zhì)權(quán)重組合因子分布圖求解方法矩陣中的SVBRDF數(shù)據(jù)矩陣M中的 任意一行數(shù)據(jù)是由基材質(zhì)BRDF的線性組合而成，基材質(zhì)在每行數(shù)據(jù)即每個采樣點上的權(quán) 重混合因子為待求未知變量，所求權(quán)重混合因子滿足非負約束，且同一采樣點上所有基材 質(zhì)權(quán)重混合因子之和為1，在此約束條件下，將每一采樣點的BRDF數(shù)據(jù)投影到基材質(zhì)BRDF 數(shù)據(jù)上，得到對應(yīng)的權(quán)重因子分布。
7.根據(jù)權(quán)利要求1所述虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，其特征在于所述步驟(5)中，真實物體表面反射屬性在計算機構(gòu)造虛擬環(huán)境中的重現(xiàn)方法利用視點 信息、光照信息，將已求解的基材質(zhì)按照權(quán)重因子分布圖計算物體表面光照分布，從而逼真 再現(xiàn)真實世界中物體表面對光線的不同反射特性。
全文摘要
一種虛擬環(huán)境中構(gòu)造真實物體表面反射特性的方法，使用空間變化雙向反射分布函數(shù)(SVBRDF)描述空間變化反射屬性，通過采集不同光照條件和視線方向下物體的圖像，構(gòu)造真實物體的SVBRDF數(shù)據(jù)，并將SVBRDF數(shù)據(jù)分解為若干個基材質(zhì)以及基材質(zhì)對應(yīng)的權(quán)重因子分布圖，最終利用基材質(zhì)以及對應(yīng)權(quán)重因子分布圖在計算機構(gòu)造的虛擬環(huán)境中逼真再現(xiàn)真實世界中物體表面對光線的反射效果。本發(fā)明充分利用SVBRDF數(shù)據(jù)的空間冗余特性，給出一種緊湊、可編輯的SVBRDF表示，可以在計算機構(gòu)造的虛擬環(huán)境中逼真再現(xiàn)真實世界中物體表面的反射特性。
文檔編號G06T11/00GK102117488SQ20111004458
公開日2011年7月6日 申請日期2011年2月21日 優(yōu)先權(quán)日2011年2月21日
發(fā)明者胡勇, 趙沁平, 齊越 申請人:北京航空航天大學(xué)