專利名稱：基于光度圖的幾何與表面材質(zhì)的重建方法
技術領域：
本發(fā)明屬于計算機虛擬現(xiàn)實的技術領域，具體地說是涉及一種基于光度圖的幾何與表面材質(zhì)的重建方法，其從單視點下拍攝的已知光源的圖片序列中重建物體表面的法向量、BRDF (Bidirectional Reflectance Distribution Function)材質(zhì)基和權重圖，該方法可以用于重建三維物體的幾何和表面材質(zhì)。
背景技術：
近些年來從圖片序列中重建真實材質(zhì)組成的場景一直吸引著研究者們的目光。重建真實場景問題的核心是如何構建一個模型來恢復整個光場，這意味著可以預測任意給定的光照條件下物體的反射形態(tài)。通常解決這類問題的方法包含兩個步驟第一，使用圖形學中的幾何方法來恢復物體的三維形狀以及表面的法向量朝向；第二，標定光源，在不同光源下采集照片，然后選擇一個BRDF模型，優(yōu)化模型參數(shù)使其匹配采集數(shù)據(jù)，參見Herbort S，W ohkr C:An introduction to image-based 3D surface reconstruction·and a survey of photometric stereo methods. 3D Res 2011，02 (03004): I - 18。這類方法萬網(wǎng)需要使用特殊的儀器，例如三維掃描儀或者矩陣光照，因此代價非常昂貴，參 JAL P. Fechteler, P. Eisert, J. Rurainsky (2007) Fast and high resolution 3d facescanning, ICIP’ 07，3:81 - 84，doi:http://dx. doi. org/10. 1109/ICIP. 2007. 4379251。并且這類方法往往需要一個匹配過程，來將照片上的每一個像素與三維模型上的點一一對應起來。與幾何方法相反，立體光度視覺場提供了一個更加簡潔的解決方法，它僅僅需要一組研究者已知光照條件的照片。但是，光度圖方法的效果對漫反射初值的估計和表面材質(zhì)的劃分有著非常高的要求。初始的漫反射值用于預測特定光照條件下的初始法向量圖，和基礎BRDF材質(zhì)基。表面材質(zhì)的劃分用于提供一個基礎材質(zhì)的初始權重圖。光度圖方法的第二個問題是，當每個像素上基礎材質(zhì)的權重可以為任意時，物體表面的法向量時高度缺乏約束，參 JAL H. P. A. Lenschj J. Kautzj M. Goeselej W. Heidrichj and H. P. Seidel. Image-basedreconstruction of spatial appearance and geometric detail. ACM Trans.Graph.，22(2) :234-257, 2003。這將導致法向量圖的估計十分困難，并且很容易使整個算法的優(yōu)化過程收斂到一個錯誤的局部解中。在早期的研究工作中，Woodham(參見 R. Woodham. Photometric method fordetermining surface orientation from multiple images. Optical Engineering, I9 (I) : 139-144，January 1980.)和 Silver (參見 W. M. Silver. Determining Shape andReflectance Using Multiple Images. Master，sthesis，MITj 1980.)提出了強烈的假設，關于使用特別的BRDF知識或者簡單的參數(shù)化模型(通常是Lambertian模型，參見Nganj A.，Durand, F.，and Matusikj W. 2005. Experimental analysis of brdf models. InEurographics Symposium on Rendering, 117—126.)來重建物體表面。Hertzmann和 Seitz(參見A. Hertzmann and S. M. Seitz. Shape and materials byexample:A photometric stereo approach. In CVPRj 2003, A. Hertzmann and S. M. Seitz.Example-based photometric stereo: Shape reconstruction with general,varyingbrdfs. PAMI, 27(8) : 1254 - 1264，2005.)提出了一種不同的想法，他們使用一種與真實物體具有相似反射屬性的參考物體，并把參考物體放置到場景中，與真實物體一起拍攝。他們提出的這種思想的基本理念被稱為方向一致性，就是說在特定的情況下，在照片上，具有相同表面朝向的兩個點具有相同或者相似的反射表現(xiàn)。這個理念非常的簡介和有效，并且對任意BRDF都適用，但是需要與目標物體材質(zhì)一樣的參考物體。這種方法對空間分布的BRDF也能很好的處理，它假設物體表面上每一個點都是一組基礎參考材質(zhì)的線性組合。沿著物體表面的每一個點的反射屬性可以用一組基礎BRDF材質(zhì)的線性組合來表不這種觀點，Goldman(參見 D. Goldman et al. Shape and spatially-varying brdfs fromphotometric stereo. In ICCV, 2005.)迭代的依次求解基礎BRDF基和表面法向量朝向，以此來擺脫對參考材質(zhì)的依賴。他們的方法假設每種材質(zhì)都使用各向同性的Ward模型，模型的參數(shù)是估計的。為了準確的估計表面的法向量，Goldman提出了一種離散搜索的方法來從渲染的虛擬材質(zhì)球上搜索合適的法向量。 除此之外，新的模型也被逐漸引入光度圖方法中。Alldrin提出一種嶄新的二值各向異性模型用于采集通用的非參數(shù)化表面，參見N. Alldrin, T. Zickler, andD. Kriegmanj Photometric stereo with non-parametric and spatially-varyingreflectance. In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition (CVPR), 2008.。Higo 描述了一種光度圖方法來米集非 Lambertian 漫反身寸現(xiàn)象，參見Higo，T. ,Matsushita Y. , et al. !Consensus photometric stereo. In: IEEEInternational Conference on Computer Vision and Pattern Recognition(2010)。

發(fā)明內(nèi)容
本發(fā)明要解決的技術問題為克服現(xiàn)有技術的不足，提供一種基于光度圖方法的幾何與表面材質(zhì)的重建方法，該方法從已知光照情況的一組照片序列中重建目標物體的幾何與材質(zhì)基，重建速度快，且重建結(jié)果逼真準確。本發(fā)明解決上述技術問題的技術方案為一種基于光度圖的幾何與表面材質(zhì)的重建方法，從已知光照情況的一組照片序列中恢復幾何與材質(zhì)基的過程，其特征在于步驟如下步驟(I)、對所述照片序列中的像素，利用RGB顏色空間到HSV顏色空間的變換，對像素的顏色值聚類；步驟(2)、選擇不同光照下同一像素空間中最合適的點，進行材質(zhì)劃分，構造初始化材質(zhì)權重圖，估計初始Diffuse Albedo ；步驟(3)、保持步驟(2)得到的權重圖和Diffuse Albedo不變,使用漫反射的顏色值作為閾值過濾掉高光的像素；步驟(4)、使用Brute-Force方法列舉所有的光源組合，利用Woodham的Lambertian-Photometric-Stereo 方法計算表面朝向，然后選擇 Root-Mean-Square 誤差最小的結(jié)果作為初試的法向量；使用Alternating-Constrained-Least-Square方法迭代求解法向量和構建BRDF材質(zhì)基；
步驟(5)、固定步驟(I)、步驟(4)得到的法向量和權重圖，利用Levenberg-Marguardt方法優(yōu)化每一種材質(zhì)的BRDF模型；步驟(6)、固定步驟(5)得到的BRDF的材質(zhì)基，使用離散搜索方法，將法向量的自由度約束到一維，根據(jù)BRDF材質(zhì)基，在渲染不同光照下的材質(zhì)球圖片上，搜索最合適的法向量和材質(zhì)權重；若步驟(6)得到的法向量方向已經(jīng)收斂，則重新將法向量自由度釋放為三維，使用Levenberg-Marguardt方法優(yōu)化法向量和材質(zhì)權重；步驟(7)、增強深度場以步驟(6)得到的法向量圖為基礎，通過解Poisson方程得到最小二乘誤差的表面深度信息。進一步的，所述步驟(I)中顏色空間的變換方法，其步驟為每一個像素進行顏色空間轉(zhuǎn)換時，對于照片上的每一個像素P，首先同時計算該像素所在位置的η種光照情況下的像素集合P，將其顏色值從RGB顏色空間P·轉(zhuǎn)換到HSV顏色空間PHSV，然后剔除V通道上的能量，使用參數(shù)(H，S)進行聚類，得到一張深度為η的HSV空間顏色圖。 進一步的,所述的步驟(2)中估計初始Diffuse Albedo,其步驟為高光的像素P往往在H和V通道上有更大的能量，第一重搜索中，搜索該點的像素幾何P中H通道能量最小的點，得到點集P’，則此點集中的像素都不是高光點；其次，在該點集P’中，搜索V通道上能量最大的點，則此點不是陰影點；同一種材質(zhì)的像素，在非高光和非陰影時，H和S通道值相似，此時利用步驟(I)中HSV空間顏色圖，設置合適閾值，進行材質(zhì)分割，生成多材質(zhì)權重圖；用同一種材質(zhì)的HSV空間顏色值的平均值，作為該材質(zhì)的顏色初始值。進一步的,所述的步驟(4)具體為使用一種Bruit-Force方法,對于照片上某一位置的像素P i，列舉所有可能的光照組合L，對于每一種光照情況Lj，利用Woodham的光度圖方法，計算其法向量η"，將ny代入BRDF模型中，計算其與P集合的最小二乘誤差最終得到像素P j的誤差集合Ei,選擇Ei中最小的Emin,將Emin對應的Iii, j作為法向量的初值，避免了光源方向線性相關以及高光和陰影引起的誤差。本發(fā)明的原理在于基于光度圖的幾何與表面材質(zhì)的重建方法。(I)材質(zhì)分割，構造初始化材質(zhì)權重圖，估計Diffuse Albedo。利用RGB顏色空間到HSV顏色空間的變換，對像素的顏色值聚類，然后選擇不同光照下同一像素空間中最合適的點，進行材質(zhì)劃分和初始DiffuseAlbedo估計。(2)估計表面法向量圖。保持第一步得到的權重圖和漫反射材質(zhì)屬性不變，使用漫反射的顏色值作為閾值過濾掉高光的像素。使用Brute-Force方法列舉所有的光源組合，利用Woodham的Lambertian-Photometric-Stereo方法計算表面朝向，然后選擇Root-Mean-Square誤差最小的結(jié)果作為初試的法向量。(3)使用Alternating-Constrained-Least-Square 方法迭代求解法向量和構建 BRDF (Bidirectional ReflectanceDistribution Function)材質(zhì)基。固定法向量和權重圖，利用Levenberg-Marguardt方法優(yōu)化每一種材質(zhì)的BRDF模型；固定BRDF的材質(zhì)基，使用離散搜索方法，將法向量的自由度約束到一維，根據(jù)BRDF材質(zhì)基，在渲染不同光照下的材質(zhì)球圖片上，搜索最合適的法向量和材質(zhì)權重；若得到的法向量方向已經(jīng)收斂，則重新將法向量自由度釋放為三維，使用Levenberg-Marguardt方法優(yōu)化法向量和材質(zhì)權重。(4)增強深度場。以法向量圖為基礎，通過解Poisson方程得到最小二乘的表面深度信息。本發(fā)明可以可靠的從一組已知光照條件的圖片序列中，自動恢復出圖中物體的不同材質(zhì)區(qū)域、材質(zhì)屬性，以及表面深度信息，對其快速的進行三維重建。本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于(I)、本發(fā)明基于立體光度視覺理論，從單視點下的照片序列中恢復物體的幾何與表面反射屬性，利用RGB顏色空間與HSV顏色空間的性質(zhì)，通過顏色空間轉(zhuǎn)換，材質(zhì)劃分計算速度快，材質(zhì)BRDF模型重建可靠性高。(2)、發(fā)明一種兩重形態(tài)的物體表面朝向計算算法，根據(jù)人類觀察習慣，在優(yōu)化的不同階段自動變化優(yōu)化方法。使用離散搜索的方法，將法向量的自由度約束到一維，根據(jù)BRDF材質(zhì)基，在渲染不同光照下的材質(zhì)球圖片上，搜索最合適的法向量和材質(zhì)權重；若得到的法向量方向已經(jīng)收斂，則重新將法向量自由度釋放為三維，使用Levenberg-Marguardt方法優(yōu)化法向量和材質(zhì)權重。最大程度提高了結(jié)果的可靠性。(3)、本發(fā)明通過在幾何初始化時的Bruit-Force算法,提高了初始結(jié)果的準確性，是一種快速的表面幾何重建算法，進一步提高了目標物體重建的可靠性。


圖I為本發(fā)明方法的流程圖；圖2為本發(fā)明中顏色空間變化算法的示意圖；圖3為本發(fā)明中雙重形態(tài)優(yōu)化算法的示意圖；圖4為本發(fā)明總體效果示意圖；圖5為本發(fā)明的細節(jié)展示效果示意圖。
具體實施例方式如圖I所示，本發(fā)明為基于光度圖的幾何與表面材質(zhì)的重建方法，從已知光照情況的一組照片序列中恢復幾何與材質(zhì)基的過程，其特征在于步驟如下(I)、首先，對圖片序列中的像素，利用RGB顏色空間到HSV顏色空間的變換，對像素的顏色值聚類。每一個像素進行顏色空間轉(zhuǎn)換時，對于照片上的每一個像素P，首先同時計算該像素所在位置的η種光照情況下的像素集合P，將其顏色值從RGB顏色空間P·轉(zhuǎn)換到 HSV 顏色空間 Phsv,方法參見 D. Goldman et al. Shape and spatially-varying brdfsfrom photometric stereo. In ICCV, 2005。然后剔除V通道上的能量，使用參數(shù)(H, S)進行聚類，得到一張深度為η的HSV空間顏色圖。(2)、選擇不同光照下同一像素空間中最合適的點，進行材質(zhì)劃分，構造初始化材質(zhì)權重圖，估計初始Diffuse Albedo。高光的像素P往往在H和V通道上有更大的能量，第一重搜索中，搜索該點的像素幾何P中H通道能量最小的點，得到點集P’，則此點集中的像素都不是高光點；其次，在該點集P’中，搜索V通道上能量最大的點，則此點不是陰影點。同一種材質(zhì)的像素，在非高光和非陰影時，H和S通道值相似，此時利用步驟(I)中HSV空間顏色圖，設置合適閾值，進行材質(zhì)分割，生成多材質(zhì)權重圖；用同一種材質(zhì)的HSV空間顏色值的平均值，作為該材質(zhì)的顏色初始值。(3)、保持(I)得到的權重圖和漫反射材質(zhì)屬性不變，使用漫反射的顏色值作為閾值過濾掉高光的像素。(4)、使用Brute-Force方法列舉所有的光源組合，利用Woodham的Lambertian-Photometric-Stereo 方法計算表面朝向(參見 R. Woodham. Photometricmethod for determining surface orientation from multiple images. Optical Engineering, 19 (I) : 139-144，January 1980.)，然后選擇 Root-Mean-Square 誤差最小的結(jié)果作為初試的法向量。該方法避免了光源方向線性相關以及高光和陰影引起的誤差，其步驟為對于照片上某一位置的像素Pi,列舉所有可能的光照組合L，對于每一種光照情MLj，利用Woodham的光度圖方法，計算其法向量Hi,彳，計算法向量的方法如下假設照片
上第i個點在第j盞燈下的反射模型為ey =CFyiiasiGlIiiliS，其中σ"是反射屬性，
即漫反射diffuse,假設已知的三蓋燈的朝向構成向量為I1-Hl1-X, I1. y, I1. z]F, 12-[12.x，I2. y, I2. z]F, I3-[13. x，I3. y, I3. z]F，假設σ ^為Oi j的統(tǒng)一漫反射屬性，則反射模型為K1 = ffpiaxfO, LnQ,那么=L-iElJp 叫={(I/ σ J L^1EJ '。將叫,j 代入 brdf 模型中，計算其與P集合的最小二乘誤差ey，最終得到像素Pi的誤差集合Ei,選擇Ei中最小的Emin，將Emin對應的riy作為法向量的初值。 使用Alternating-Constrained-Least-Square 方法(參見 N. Alldrin, T.Zicklerj and D.Kriegmanj Photometric stereo with non—parametric andspatially-varying reflectance. In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition (CVPR)，2008.)迭代求解法向量和構建BRDF材質(zhì)基的過程如步驟(5)、(6)0(5)、固定(I)、(4)步驟得到的法向量和權重圖，利用Levenberg-Marguardt方法最小化本反射模型與釆集數(shù)據(jù)的L2誤差。假設k為BRDF材質(zhì)基中材質(zhì)的數(shù)量，則可以用
帶約束的最小二乘LM方法來優(yōu)化如下的目標公式HimlIihxl — b|f ，使服從Xi, d彡O。
Xi e Rd是一個向量將第k個BRDF基的第i個參數(shù)進行編碼。(6)、使用一種兩重形態(tài)的物體表面朝向計算算法，根據(jù)人類觀察習慣，在優(yōu)化的不同階段自動變化優(yōu)化方法。固定步驟(5)得到的BRDF的材質(zhì)基，首先預處理每種材質(zhì)的BRDF模型，使用離散采用的方法將BRDF值繪制在一個虛擬的球上，得到k個BRDF材質(zhì)在η個燈下的球圖片。這種離散搜索方法，將法向量的自由度約束到一維，根據(jù)BRDF材質(zhì)基，在渲染不同光照下的材質(zhì)球圖片上，搜索最合適的法向量和材質(zhì)權重。假設
^1m = fc( ￥S1J表示第m種材質(zhì)球在第j種光照條件下的反射現(xiàn)象，η為光源的個
數(shù)，則此步驟中我們需要優(yōu)化目標公式Η ιιΙΖ ξ#· —。此步驟的目的是同時優(yōu)化
法向量和材質(zhì)權重，方法是在所有可能的材質(zhì)球上搜索合適的法向量若。當在m材質(zhì)球上遇到反射模型和采集數(shù)據(jù)的L2誤差最小的法向量，則認為此法向量是最合適的，同時把該點的材質(zhì)權重分布改為第m中材質(zhì)。步驟(6)得到的法向量方向已經(jīng)收斂，則在此步驟中重新將法向量自由度釋放為三維，使用Levenberg-Marguardt方法優(yōu)化法向量和材質(zhì)
權重，目標公式如為ininIlQwI* ,服從于ο < Wi < 1，其中
項％= Μ Σ IwiI-Il I2將材質(zhì)權重的絕對值的和約束為1，最大程度提高了結(jié)果的可靠性。如果超過3中以上的BRDF材質(zhì)基中材質(zhì)線性相關，則每個像素的材質(zhì)權重分布不是唯一的。當這種情況出現(xiàn)時，算法將優(yōu)先使用較少的材質(zhì)數(shù)量來組合權重。算法設定了root-mean-square誤差的下限，當某個像素的權重在單材質(zhì)下誤差低于下限時，不會繼續(xù)使用多材質(zhì)的組合來組合權重，而是權重固定為單一材質(zhì)。(7)、增強深度場。以(6)步驟得到的法向量圖為基礎，通過解Poisson方程得到最小二乘誤差的表面深度信息。對于某一點的法向量{nx，ny，nz}，算法優(yōu)化高度場 z(x, y),參見 D. A. Forsyth and J. Ponce. Computer Vision:A ModernApproach.Prentice Hal I,2003.和 E.Trucco and A.Verri. IntroductoryTechniques for 3-D Computer Vision. Prentice Hall, 1998.。通過最小化公
式
權利要求
1.一種基于光度圖的幾何與表面材質(zhì)的重建方法，從已知光照情況的一組照片序列中恢復幾何與材質(zhì)基的過程，其特征在于步驟如下 步驟(I)、對所述照片序列中的像素，利用RGB顏色空間到HSV顏色空間的變換，對像素的顏色值聚類； 步驟(2)、選擇不同光照下同一像素空間中最合適的點，進行材質(zhì)劃分，構造初始化材質(zhì)權重圖，估計初始Diffuse Albedo ； 步驟(3)、保持步驟(2)得到的權重圖和改為Diffuse Albedo不變，使用漫反射的顏色值作為閾值過濾掉高光的像素； 步驟(4)、使用Brute-Force方法列舉所有的光源組合，利用Woodham的Lambertian-Photometric-Stereo 方法計算表面朝向，然后選擇 Root-Mean-Square 誤差最小的結(jié)果作為初試的法向量；使用Alternating-Constrained-Least-Square方法迭代求解法向量和構建BRDF材質(zhì)基； 步驟(5)、固定步驟(I )、步驟(4)得到的法向量和權重圖，利用Levenberg-Marguardt方法優(yōu)化每一種材質(zhì)的BRDF模型； 步驟(6)、固定步驟(5)得到的BRDF的材質(zhì)基，使用離散搜索方法，將法向量的自由度約束到一維，根據(jù)BRDF材質(zhì)基，在渲染不同光照下的材質(zhì)球圖片上，搜索最合適的法向量和材質(zhì)權重；若步驟(6)得到的法向量方向已經(jīng)收斂，則重新將法向量自由度釋放為三維，使用Levenberg-Marguardt方法優(yōu)化法向量和材質(zhì)權重； 步驟(7)、增強深度場以步驟(6)得到的法向量圖為基礎，通過解Poisson方程得到最小二乘誤差的表面深度信息。
2.根據(jù)權利要求I所述的基于光度圖的幾何與表面材質(zhì)的重建方法，其特征在于所述步驟(I)中顏色空間的變換方法，其步驟為每一個像素進行顏色空間轉(zhuǎn)換時，對于照片上的每一個像素P，首先同時計算該像素所在位置的η種光照情況下的像素集合P，將其顏色值從RGB顏色空間P·轉(zhuǎn)換到HSV顏色空間PHSV，然后剔除V通道上的能量，使用參數(shù)(H, S)進行聚類，得到一張深度為η的HSV空間顏色圖。
3.根據(jù)權利要求I所述的基于光度圖的幾何與表面材質(zhì)的重建方法，其特征在于所述的步驟(2)中估計初始Diffuse Albedo，其步驟為高光的像素P往往在H和V通道上有更大的能量，第一重搜索中，搜索該點的像素幾何P中H通道能量最小的點，得到點集P’，則此點集中的像素都不是高光點；其次，在該點集P’中，搜索V通道上能量最大的點，則此點不是陰影點；同一種材質(zhì)的像素，在非高光和非陰影時，H和S通道值相似，此時利用步驟(I)中HSV空間顏色圖，設置合適閾值，進行材質(zhì)分割，生成多材質(zhì)權重圖；用同一種材質(zhì)的HSV空間顏色值的平均值，作為該材質(zhì)的顏色初始值。
4.根據(jù)權利要求I所述的基于光度圖的幾何與表面材質(zhì)的重建方法，其特征在于所述的步驟(4)具體為使用一種Bruit-Force方法，對于照片上某一位置的像素Pi,列舉所有可能的光照組合L，對于每一種光照情況Lj，利用Woodham的光度圖方法，計算其法向量叫,j，將Iii,」代入BRDF模型中，計算其與P集合的最小二乘誤差ei,」，最終得到像素Pi的誤差集合Ei,選擇Ei中最小的Emin，將Emin對應的作為法向量的初值，避免了光源方向線性相關以及高光和陰影引起的誤差。
全文摘要
本發(fā)明提供一種基于光度圖的幾何與表面材質(zhì)的重建方法，該方法包括如下步驟(1)材質(zhì)分割，構造初始化材質(zhì)權重圖，估計Diffuse Albedo。(2)估計表面法向量圖。(3)使用Alternating-Constrained-Least-Square方法迭代求解法向量和構建BRDF(bidirectional reflectance distribution function)材質(zhì)基。(4)增強深度場。以法向量圖為基礎，通過解Poisson方程得到最小二乘的表面深度信息。本發(fā)明可以可靠的從一組已知光照條件的圖片序列中，自動恢復出圖中物體的不同材質(zhì)區(qū)域、材質(zhì)屬性，以及表面深度信息，對其快速的進行三維重建。
文檔編號G06T17/00GK102819864SQ20121028852
公開日2012年12月12日 申請日期2012年8月14日 優(yōu)先權日2012年8月14日
發(fā)明者齊越, 胡勇, 張梓峰 申請人:北京航空航天大學