基于圖像和模型計(jì)算光照參數(shù)進(jìn)行重光照渲染的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種重光照擅染方法，尤其是設(shè)及一種基于單幅RGB圖像和圖像場(chǎng)景 Ξ維點(diǎn)云模型的計(jì)算圖像光照參數(shù)并進(jìn)行重光照擅染的方法。
【背景技術(shù)】
[0002] 基于圖像的重光照技術(shù)（IBRL)在圖形學(xué)和圖像處理領(lǐng)域內(nèi)已有大量的研究成果， 但由于受復(fù)雜的光照變化影響，如陰影的形成、多光源相互干設(shè)等，已有的研究大部分僅限 于在已知3D模型或?qū)?D模型建模后再根據(jù)環(huán)境光進(jìn)行重光照。目前已有的基于圖像的重光 照的方法從實(shí)現(xiàn)原理上一般分為Ξ大類，基于雙向反射函數(shù)的、基于基函數(shù)的和基于全光 函數(shù)的方法。
[0003] 游戲和電影中的合成技術(shù)對(duì)重光照都有特殊要求。早期的電影拍攝通常都會(huì)在拍 攝現(xiàn)場(chǎng)放置環(huán)境球用于記錄周圍環(huán)境的光照條件，運(yùn)是基于反射函數(shù)進(jìn)行重光照的方法之 一。盡管基于反射函數(shù)的重光照有不少限制，如反射模型的建立直接影響重光照的效果、不 能模仿所有的光照條件等，但由于基于反射函數(shù)的重光照技術(shù)所需要的處理時(shí)間相對(duì)較少 而被多數(shù)追求高效重光照技術(shù)的研究者采用。雙向反射分布函數(shù)(BRDF)包含了場(chǎng)景中光照 的反射信息，據(jù)此，Oskar等人[Oskar 2007]首先提出在預(yù)計(jì)計(jì)算光福射傳輸技術(shù)中使用光 源割技術(shù)，根據(jù)可見性預(yù)計(jì)算光源割和雙向反射函數(shù)，把大量的計(jì)算放在預(yù)計(jì)算步驟，從而 W交互的速度對(duì)靜態(tài)場(chǎng)景進(jìn)行重光照擅染。前期的重光照技術(shù)都是在未知目標(biāo)光源的情況 下實(shí)現(xiàn)的，對(duì)于目標(biāo)光源可W控制的情況，則有另一類處理方案。重光照的研究者們提出的 各種圖像采集裝置就是用于控制光源位置、朝向等使光源各項(xiàng)參數(shù)已知，從而簡化重光照 算法。如Xuehong等人[Xuehong 2014]把目標(biāo)定在室外的場(chǎng)景，在不同光照條件下用同一攝 像機(jī)獲取同一場(chǎng)景下的系列圖像，建立BRDF模型提取光照信息進(jìn)行重光照。Tze等人[Tze 2009]對(duì)用同樣方法獲取的圖像序列則計(jì)算其RBF進(jìn)行重光照，參考了Mahajan等人 [Mahajan 2008]提出的分析化ong光照模型下BRDF和球面調(diào)和函數(shù)進(jìn)行重光照的研究成 果。
[0004] 基于基函數(shù)的重光照技術(shù)主要針對(duì)靜止的場(chǎng)景。由于基圖像包含了多種光照條件 下物體或場(chǎng)景的顯示效果，故對(duì)一系列獲取的基圖像進(jìn)行線性組合可W得出在目標(biāo)光照條 件下物體或場(chǎng)景的擅染結(jié)果。由于需要大量的基圖像，基于基函數(shù)的重光照技術(shù)更多地應(yīng) 用于提高人臉識(shí)別正確率、對(duì)Ξ維重建進(jìn)行后處理或是視頻處理等已有大量圖像并對(duì)光照 有較高要求的重光照方面。最新的研究是Amr等人[Amr 2014]W人臉圖像訓(xùn)練集為基圖像， 在提取目標(biāo)人臉圖像中的球面調(diào)和基函數(shù)和光照參數(shù)后和訓(xùn)練數(shù)據(jù)集相比較，選擇接近目 標(biāo)圖像的組合圖像和權(quán)重，避免了重建人臉3D模型和嚴(yán)格光照條件的要求，減小了人臉識(shí) 別中由光照差強(qiáng)人意帶來的識(shí)別誤差。
[0005] 全光函數(shù)記錄了在任意方向、波長和時(shí)間下任意位置的光線，包含了刷個(gè)維度的 數(shù)據(jù)。全光函數(shù)可W用于模擬多光源或任意光源條件下的復(fù)雜場(chǎng)景效果。但也由于全光函 數(shù)計(jì)算的復(fù)雜性，利用全光函數(shù)進(jìn)行重光照的研究相對(duì)較少。加 angwei和化bin[Guangwei 2009]針對(duì)多視點(diǎn)多光照的圖像集，混合了多視圖視覺技術(shù)(MVS)和基于圖像的重光照 (IBL)技術(shù)，使用全光圖重構(gòu)3D模型并用前一步攝像機(jī)得到的光照?qǐng)D對(duì)物體貼紋理，將新的 光照環(huán)境圖（文章中使用了debevec的光探測(cè)圖庫）分解到31個(gè)基光照下，最后通過合成得 到新光照下的反射光強(qiáng)度，完成重光照。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于圖像和模型計(jì)算光照參數(shù) 進(jìn)行重光照擅染的方法。
[0007] 本發(fā)明的目的是通過W下技術(shù)方案來實(shí)現(xiàn)的：一種基于圖像和模型計(jì)算光照參數(shù) 進(jìn)行重光照擅染的方法，該方法包括如下步驟：
[000引（1)讀入待處理的RGB圖像和對(duì)應(yīng)的圖像場(chǎng)景Ξ維點(diǎn)云模型，根據(jù)場(chǎng)景點(diǎn)云和法向 量在光源方向下和圖像RGB值之間的關(guān)系，建立線性方程組，利用最小二乘法估計(jì)光源的方 向向量；
[0009] (2)假設(shè)場(chǎng)景中物體均為Lambert體，考慮光照模型，結(jié)合光源方向和法向量建立 Phong光照模型的能量函數(shù)；
[0010] (3)利用優(yōu)化方法最小化能量函數(shù)，通過最小化能量函數(shù)的偏導(dǎo)數(shù)求得圖像場(chǎng)景 中每個(gè)物體的環(huán)境光Ai和漫反射數(shù)值化；
[0011] (4)由步驟3計(jì)算得到的環(huán)境光Ai和漫反射數(shù)值化計(jì)算圖像的陰影和高光區(qū)域，并 保存成圖像作為中間結(jié)果；
[001^ (5)計(jì)算目標(biāo)RG姻像的光照方向，根據(jù)假設(shè)的光照模型把原圖像的；維模型加入 到目標(biāo)圖像中進(jìn)行融合擅染，輸出最終擅染的圖像。
[001引進(jìn)一步地，所述步驟1中，當(dāng)法向量未知時(shí)，法向量的求解如下：由于整個(gè)模型的 Ξ維點(diǎn)云數(shù)量眾多，為防止計(jì)算時(shí)內(nèi)存溢出，將把點(diǎn)云分成多個(gè)部分，每部分取鄰近的k個(gè) 點(diǎn)（運(yùn)里k取3000)并記每部分點(diǎn)的協(xié)方差矩陣
，其中&片=1，...，k) 是每部分k個(gè)點(diǎn)中的一個(gè)，多為要求法向量的點(diǎn)，對(duì)協(xié)方差矩陣進(jìn)行PCA分解求得點(diǎn)的法 向量巧。
[0014] 進(jìn)一步地，所述步驟1中，光源方向?的求解如下:輸入的模型由普通的純視覺Ξ維 重建方法得到，該模型記錄了圖像場(chǎng)景的Ξ維點(diǎn)云及每個(gè)Ξ維點(diǎn)對(duì)應(yīng)于圖像上的某個(gè)像素 點(diǎn)的坐標(biāo)，即模型中每個(gè)Ξ維點(diǎn)都能在圖像中找到一個(gè)像素點(diǎn)與之相對(duì)應(yīng)。由于圖像場(chǎng)景 中可能不止一個(gè)物體，每個(gè)物體的光照系數(shù)都不一樣，在求光源方向前，先對(duì)圖像進(jìn)行分 害d，分離出每個(gè)不同的物體區(qū)域記為i。假設(shè)場(chǎng)景中只有一個(gè)光源，運(yùn)里選擇簡單的光照模 型/ = /如-種/7,其中I為圖像像素的RGB值，P為和物體有關(guān)的常數(shù)值光照系數(shù)，f為光源 方向，P是Ξ維點(diǎn)的空間坐標(biāo)，《是點(diǎn)P法向量，T表示向量的轉(zhuǎn)置操作。對(duì)圖像中每個(gè)區(qū)域內(nèi) 的每個(gè)像素，按上述光照模型建立線性方程組，求解該方程組則可W得到光源方向/。
[0015] 進(jìn)一步地，所述步驟2中選擇的光照模型為：
[0016]
[0017]其中I為圖像像素的RGB值。la為環(huán)境光顏色，Ip為環(huán)境光的亮度。ka，kd和ks分別為 環(huán)境光、漫反射和鏡面反射系數(shù)。Spe[0，l]為陰影，Hp為高光系數(shù)。Γ為光源方向，5為法向 量。定義能量函數(shù)巧Z)為：
[001 引
[0019] f為圖像像素，職隸示像素 Γ上的RGB值，方貸為像素 r對(duì)應(yīng)的模型S維點(diǎn)的法向 量。記P為和物體有關(guān)的常數(shù)值光照系數(shù)，則對(duì)應(yīng)于圖像中每個(gè)區(qū)域i的環(huán)境光值A(chǔ)i = IaP，漫 反射值化=IpP。
[0020] 進(jìn)一步地，所述步驟4中場(chǎng)景的陰影和高光系數(shù)按照如下散射模型計(jì)算：
[0023] 其中參數(shù)ts和tn是調(diào)節(jié)圖像光滑度的正闊值，手工設(shè)定。Ai和Di為圖像中區(qū)域i的 環(huán)境光和漫反射數(shù)值，巧巧表示圖像中像素 ?的RGB值。
[0024] 進(jìn)一步地，所述步驟5中。最終的擅染仍舊利用最初用于求解光源方向的光照模 型。當(dāng)有了場(chǎng)景的光源方向及陰影、高光等光源信息后，按照光照模型，便可W把該場(chǎng)景