專利名稱：基于梯度操作的對象光照遷移方法
技術領域：
本發(fā)明涉及虛擬現(xiàn)實和計算機視覺領域，具體地說是一種基于梯度操作的對象光照遷移方法。
背景技術：
基于視頻素材的虛實融合場景生成是虛擬現(xiàn)實的重要組成部分，也是虛擬現(xiàn)實、 增強現(xiàn)實、計算機視覺及相關研究方向有機交叉的研究熱點。由于構成虛擬場景的視頻場景與場景對象經(jīng)常來自不同的視頻素材，場景對象和視頻場景的光照效果可能會存在較大的差異，然而視頻虛擬場景需要各個場景對象具有一致的光照效果，但是目前的視頻素材光照融合方法難以滿足視頻虛擬場景的需要。視頻場景對象的光照遷移問題，即如何將目的視頻場景中參考對象的光照效果遷移到場景對象，生成場景對象在目的視頻場景光照條件下的光照效果。目前，有一些基于視頻的人臉圖像光照效果合成方法，這些方法均需要使用到復雜的光照采集設備。2000年美國南加州大學的Debevec等提出一種固定視角下靜態(tài)場景光照遷移方法。采集2048種點光源光照條件下靜態(tài)人臉圖像，線性組合所采集的圖像數(shù)據(jù)生成靜態(tài)人臉在新光照條件下的圖像，該方法局限于固定視角下的靜態(tài)對象光照效果合成。 2007年南加州大學的Peers等提出了一種利用商圖對人臉進行光照遷移的方法。通過采集靜態(tài)參考人臉對象在不同光照條件下反射場，并利用同一對象在不同光照條件下的人臉圖像與在正面均勻光照條件下的人臉圖像之間比值，構建相應光照條件下該對象的材質(zhì)屬性圖，也稱作商圖。同時將期望光照條件所對應的商圖進行變形，并遷移到目標人臉上，以生成目標圖像/視頻場景的光照效果。該方法用于對人臉視頻/圖像進行后期光照遷移處理。該方法局限是目標人臉和數(shù)據(jù)庫人臉具有相近的幾何特性和材質(zhì)屬性，因此該方法暫時只能處理人臉光照遷移問題，還不能用于整個人體的光照遷移問題。目前，有一些基于幾何估計或幾何假設的光照遷移方法，這些方法通常做出了朗伯光照模型假設。2007年卡內(nèi)基梅隆大學的Yang Wang等提出了一種在未知人臉幾何信息和反照率信息情況下的人臉圖像光照遷移方法。該方法輸入僅需要一張在任意苛刻光照環(huán)境下的人臉圖像。利用了一種可變形人臉模型來估計人臉幾何信息，利用球諧函數(shù)基來表示光照條件，并通過馬爾科夫隨機場模型來模擬子區(qū)域的統(tǒng)計分布和人臉紋理的空間一致性。該方法通過使用一個可變性人臉模型來估計人臉圖像的光照條件，而且能處理復雜光照條件或者人臉圖像過度曝光和曝光不足的情況，能極大的提高人臉識別的準確率。但該方法作了人臉朗伯表面的假設，并用一個可變形人臉模型來擬合人臉圖像估計幾何信息， 因此生成的人臉圖像與真實圖像相比缺乏一定的真實感。另外有一些方法通過將圖像分成和組合來生成光照遷移結果，這些方法將圖像分解為光照相關部分和光照無關部分。2009年休斯頓大學Qing Li等提出了一種基于對數(shù)整體變分模型的人臉光照遷移技術，能夠把參考人臉的光照遷移到目標人臉上去。該方法無需知道人臉的幾何和光照信息。通過將人臉圖像分解為光照信息和光照無關的人臉特征兩個部分。并利用參考對象的光照信息替換目標對象的光照信息實現(xiàn)光照遷移。算法流程是 首先利用圖像變形技術對參考人臉變形；然后將目標人臉和變形后的參考人臉都分解成為依光照有關的部分和于光照無關的部分；最后通過交換兩幅人臉圖像光照有關的部分，得到目標對象光照遷移的結果。該方法僅需要一幅參考對象用于光照遷移，并能處理彩色圖像與灰度圖像的光照遷移。該方法局限性在于1.使用了目標人臉和參考人臉具有相似的復雜度的假設；2.光照遷移結果受到目標人臉與參考人臉的幾何差異影響嚴重。

發(fā)明內(nèi)容
根據(jù)上述實際需求和關鍵問題，本發(fā)明的目的在于提出一種基于梯度操作的對象光照遷移方法，該方法不需要對目標對象的幾何進行估計或假設，也不需要對光照模型做出假設，只需要單幅參考對象，在梯度域?qū)⒖紝ο蟮墓庹招畔⑦w移到目標對象上。本發(fā)明只對圖像中感興趣的物體做處理，該物體被稱為對象，例如目標對象和參考對象；對象是圖像中構成該物體像素的集合，是圖像的一部分。本發(fā)明采用的技術方案是構建一種基于梯度操作的對象光照遷移方法主要包括圖像對齊，首先通過自動檢測特征點或者手工標記特征點，并通過圖像變形方法將目標對象對象和參考對象對齊，以找到目標對象和參考對象之間的映射關系；圖像分層，首先將圖像從RGB顏色空間到CIELAB顏色空間，將圖像分為明度層與色度層(所述圖像分層是將對象區(qū)域的圖像進行分層，也即將目標對象和參考對象分別分為明度層與色度層)，只對明度層進行處理，而保持色度層不變；加權最小二乘濾波，借助加權最小二乘濾波器將明度層分解為大尺度層和細節(jié)層，與光照有關的信息留在大尺度層上，與光照無關的信息留在細節(jié)層上；梯度操作，將光照變化引起的梯度從參考對象大尺度層梯度域遷移到目標對象大尺度層梯度；泊松積分，在灰度域的約束下求解泊松方程，將梯度圖像變?yōu)榛叶葓D像得到目標對象新大尺度層；圖像組合，目標對象新大尺度層與目標對象的細節(jié)層混合得到目標對象新明度層，再與目標對象的顏色層混合得到光照遷移結果。圖像對齊主要是為了解決參考對象圖像和目標對象圖像的幾何，姿態(tài)，表情等可能不一致的情況，它包含特征點定位和圖像變形兩個步驟。首先采用活動輪廓模型獲取粗略的特征點坐標，然后用戶以交互式的方式來調(diào)整特征點的位置；接著以參考對象和目標對象的特征點對參考對象進行變形。本發(fā)明采用基于仿射變換的圖像變形方法。首先，對目標對象以特征點進行三角剖分；然后，對于目標對象中的每一個三角形，找到其在參考對象中對應三角形，根據(jù)三角形在目標對象和參考對象中的頂點坐標計算出兩個三角形的仿射變換矩陣；接著，利用向后圖像變形找到目標對象中每一個像素點在參考對象中對應的坐標值。最后，對于目標對象中的每個像素取其在參考對象中對應坐標處的值，即可得到變形后的參考對象。顏色分層過程中，本發(fā)明選擇CIELAB顏色空間，將彩色圖像分解為明度L通道和顏色a、b通道，其中，L通道包含了明度信息，而a和b兩個通道包含了顏色信息。這樣避免了對圖像在RGB三個通道上處理容易造成生成結果顏色的不和諧的情況。細節(jié)分層采用最小二乘濾波器將明度層分解為大尺度層并利用除法得到細節(jié)層。 細節(jié)層可以被視為光照無關量，大尺度層被視為光照相關量。細節(jié)分解過程中加權最小二乘濾波器的參數(shù)采用自適應的計算方法，在圖像不同區(qū)域采用不同級別的平滑處理，使大尺度層包含更多的光照有關的信息，細節(jié)層包含更多與光照無關的特征信息。濾波參數(shù)計算方法如下在不平坦的圖像區(qū)域(例如胡子，眉毛等區(qū)域)設置較大的平滑值。在平坦的圖像區(qū)域，設置較小的平滑值。圖像的不平坦度根據(jù)圖像梯度來計算，計算方式為統(tǒng)計梯度圖像每個局部窗口內(nèi)梯度像素值大于某一閾值的數(shù)量，將該統(tǒng)計量進行歸一化，用來表示圖像的不平坦度。對梯度域進行處理時，首先將以目標對象大尺度層為參考對參考對象大尺度進行雙邊濾波，保留目標對象一些邊緣信息，并將濾波后的大尺度層變換到梯度域，為了能夠區(qū)分輪廓區(qū)域和非輪廓區(qū)域以便更好地處理輪廓區(qū)域的梯度，本發(fā)明生成一個在輪廓處漸變的掩碼圖像，掩碼圖像具有在輪廓區(qū)域附近漸變的特點，這樣能夠使得參考對象非輪廓區(qū)域的較大梯度與目標對象在輪廓附近能夠平滑地混合。本發(fā)明對于輪廓區(qū)域和非輪廓區(qū)域分別進行處理處理非輪廓區(qū)域時，將非輪廓區(qū)域的較大梯度遷移到目標對象上；處理輪廓區(qū)域時，將由光照引起梯度遷移到目標對象上。圖像組合，將處理后的大尺度層與目標對象的細節(jié)層混合得到光照遷移結果的明度層，再與目標對象的色度層混合得到光照遷移的結果。本發(fā)明與現(xiàn)有的技術相比，其特點是1、本發(fā)明將圖像分為明度層和色度層，明度層通過最小二乘濾波器再分為大尺度層和細節(jié)層，將與光照相關的信息保留在大尺度層上，圖像對象的細節(jié)信息則留在了細節(jié)層上。2、本發(fā)明將參考對像中由光照引起的梯度變化遷移到目標對像上，在處理過程中對邊界區(qū)域和非邊界區(qū)域分別進行處理，使生成的結果更加真實。3、本發(fā)明給出的光照遷移方法只需要一張參考對象，并且不需要對目標對象的幾何進行估計或做出假設，此外也不需要對光照模型進行假設，能夠生成具有真實感的光照遷移結果。


圖1是本發(fā)明的主流程圖；圖2是本發(fā)明用戶對目標對象標點流程圖；圖3是本發(fā)明圖像仿射變換示意圖；圖4(a)是本發(fā)明基于仿射變換的三角剖分及像素映射特征點云示意圖；圖4(b) 三角剖分示意圖；圖4(c)像素映射示意5是本發(fā)明基于仿射變換的圖像變形方法流程圖；圖6是本發(fā)明梯度操作流程圖。
具體實施例方式下面結合附圖對本發(fā)明作詳細說明。參閱圖1本發(fā)明的主流程圖，本發(fā)明基于梯度操作的對象光照遷移方法包含以下基本過程首先是使用活動輪廓模型人臉定位工具和圖像變形方法將參考對象(即輸入的圖像中參考對象區(qū)域的部分)對齊到目標對象(即輸入的圖像中目標對象區(qū)域的部分)，接著將參考對象和目標對象均分解為明度層和色度層，使用最小二乘濾波器將明度層分為大尺度層和細節(jié)層，所有的操作均在大尺度層上進行；本發(fā)明先將參考對像和目標對象的大尺度層由灰度域轉(zhuǎn)換到梯度域，將參考對像中由光照引起的梯度變化遷移到目標對像上， 遷移過程中不同區(qū)域采用不同的方式進行；利用泊松積分將大尺度層由梯度域恢復至灰度域，得到目標對象新的大尺度層，并與目標對象色度層，細節(jié)層重新組合得到目標對象在參考對象光照條件下的光照遷移結果。參閱圖2本發(fā)明用戶對目標對象標點流程圖，當圖像對象是人臉時，采用自動或半自動的方法獲取圖像對象的特征坐標；而當圖像對象非人臉時，用戶采用完全手動的方式自定義特征點。本發(fā)明使用活動輪廓模型人臉定位工具完成人臉圖像特征點的定位功能，該工具可以獲取人臉圖像上116個特征點的坐標，同時提供了特征點位置的手動調(diào)節(jié)功能，用戶可以手動調(diào)整每個特征點的坐標。參閱圖3圖像仿射變換，本發(fā)明將參考對象中的三角形按照目標對象中的對應三角形進行變形。對于目標對象中的每一個像素坐標(X，y)，計算出其在參考對象中對應像素的坐標(χ' ,ι')，像素0^，7)與像素0^ ,i')的對應關系(χ' ,i' )=f(x，y)由其分別所在的三角形頂點計算設兩組三角形的相對應的三組坐標分別為(Xl，Y1)與(χ' ” ι' ),( ,%)與(X' 2，y' 2)，以及(知，73)與0^ 3，y' 3)，定義仿射變換矩陣Taffine為Taffine =對于目標對象中的像素坐標(X，y)，利用仿射變換矩陣計算出其在參考對象中對應像素的坐標(X'，y')[x' y' 1]T = Taffine[χ y 1]τ將目標對象^所有像素坐標值賦值為其在參考對象Ia中對應坐標處像素， I' A(x，y) =1^€0^，7))，得到變形后的參考對象。參閱圖4和圖5說明本發(fā)明基于仿射變換的圖像變形方法，特征點之間沒有連線， 如圖4(a)所示，首先，對目標對象以特征點進行德勞內(nèi)三角剖分，使得剖分后的三角形沒有相互重疊并且覆蓋整個點云面，如圖4(b)所示；然后，對于目標對象中的每一個三角形， 找到其在參考對象中對應三角形，如圖4(c)所示，根據(jù)三角形在目標對象和參考對象中的頂點坐標計算出兩個三角形的仿射變換矩陣；接著，利用向后圖像變形找到目標對象中每一個像素點(χ，y)在參考對象中對應的坐標值(χ'，y')；最后，對于目標對象中的每個像素(x，y)取其在參考對象中對應坐標處(χ' ,i')的值，即可得到變形后的參考對象。本發(fā)明采用采用最小二乘濾波器來將明度圖像分解為大尺度層s和細節(jié)層。最小二乘濾波器能夠較好地保留明度層中的細節(jié)信息，它的求解過程是最小化下面能量函數(shù) 其中，s是要求解的大尺度圖像；I 1-s I2是使得1和s盡可能接近的數(shù)據(jù)項； //(V^ V/)是使得S盡可能光滑的正則化項，用來最小化S的偏導；下標P表示一個像素在圖像上空間位置；最小化雙(V^V/)會導致輸入圖像1的梯度發(fā)生非線性縮放，在梯度較大的區(qū)域，縮放較小，而梯度較小的區(qū)域則需要進行較大的縮放，α控制梯度非線性縮放的整體親和性，即非線性縮放對1梯度大小的敏感性，增大α會導致生成的結果保留更加尖銳的邊界；ε是一個很小的數(shù)(通常為0.0001)，用來防止在1平坦的區(qū)域出現(xiàn)除0; λ是數(shù)據(jù)項和正則項間的平衡調(diào)節(jié)因子，增加λ會導致濾波后的圖像更加平滑，本發(fā)明在最小二乘濾波過程中在圖像不同區(qū)域采用不同級別的平滑處理，在不同的圖像區(qū)域設計不同大小的 λ值。為了自適應計算λ值，首先計算明度層的梯度圖像，并統(tǒng)計每個像素局部窗口內(nèi)梯度大于閾值的像素數(shù)量；接著將其歸一化，用于計算出最小二乘濾波器的參數(shù)。具體地，對圖像不同區(qū)域設置不同的λ值首先，計算明度層1的水平和豎直方向梯度，分別為 3//&和3//辦，并給出一個閾值tl ；然后，對于每個像素i，計算以該像素為中心的局部窗口 wp內(nèi)梯度大小大于閾值的像素數(shù)量。Y(P) = Σ Uidlldxfl+{&Idy)] > t,)將γ (ρ)歸一化到0-1，則λ值設置為λ (ρ) = λ s+ ( λ f λ s) * γ (ρ)其中，λ 3和λ i分別表示控制對圖像進行最低和最高級別平滑處理所對應的最小和最大λ值。在實現(xiàn)時，α = 1.2，局部窗口半徑設為8，As= 1, X1 = 4，閾值、=0.02。使用最小二乘濾波器對圖像進行濾波求解首先計算梯度圖像，并計算像素與相鄰像素的親和力；然后計算點表示的空間非同質(zhì)拉普拉斯矩陣，并構造稀疏線性方程組；最后求解稀疏線性方程組，得到濾波結果。參閱圖6梯度操作流程說明如何對圖像進行梯度操作對梯度域進行處理時，首先將以目標對象大尺度層為參照對參考對象大尺度進行雙邊濾波，保留目標對象一些邊緣信息，本發(fā)明中使用如下雙邊濾波器

權利要求
1.一種基于梯度操作的對象光照遷移方法，其特征在于該方法包含以下步驟(1)根據(jù)目標對象和參考對象之間的逐像素對應關系，將參考對象對齊到目標對象；(2)將目標對象和參考對象均分解為色度層和明度層；(3)利用自適應參數(shù)的加權最小二乘濾波器對明度層進行濾波，得到大尺度層，利用明度層與大尺度層得到細節(jié)層；(4)將光照信息從參考對象大尺度層的梯度圖像遷移到目標對象大尺度層的梯度圖像；(5)將大尺度層由梯度域變換到灰度域，得到目標對象新大尺度層，與目標對象細節(jié)層組合，得到目標對象新明度層；(6)用目標對象新明度層，與目標對象的色度層混合得到光照遷移結果。
2.根據(jù)權利要求1所述的基于梯度操作的對象光照遷移方法，其特征在于步驟(1) 所述的圖像對齊采用以下步驟(1. 1)采用活動輪廓模型獲取粗略的特征點坐標，然后利用用戶交互優(yōu)化特征點的位置；(1. 2)以參考對象和目標對象的特征點作為控制點，對參考對象按照目標對象進行變形。
3.根據(jù)權利要求2所述的基于梯度操作的對象光照遷移方法，其特征在于，步驟(1.2) 所述的變形采用以下步驟(1. 2. 1)對目標對象以標志點進行德勞內(nèi)三角剖分；(1. 2. 2)對于目標對象中的每一個三角形，找到其在參考對象中對應三角形，根據(jù)三角形在目標對象和參考對象中的頂點坐標計算出兩個三角形的仿射變換矩陣；(1. 2. 3)利用向后圖像變形找到目標對象中每一個像素點在參考對象中對應的坐標值；(1.2. 4)對于目標對象中的每個像素取其在參考對象中對應坐標處的值，得到變形后的參考對象。
4.根據(jù)權利要求1所述的基于梯度操作的對象光照遷移方法，其特征在于，步驟(2) 所述的將目標對象和參考對象均分解為色度層和明度層是通過將圖像從RGB顏色空間到 CIELAB顏色空間完成。
5.根據(jù)權利要求1所述的基于梯度操作的圖像對象光照遷移方法，其特征在于，步驟 (4)所述的將光照信息從參考對象大尺度層的梯度圖像遷移到目標對象大尺度層的梯度圖像的過程包含以下步驟(4. 1)利用特征點，生成人臉區(qū)域圖像和輪廓區(qū)域圖像并生成掩碼圖像； (4. 2)對參考對象按照目標對象進行雙邊濾波，將濾波結果變換到梯度域； (4. 3)將參考對象非輪廓區(qū)域大于特定閾值的梯度遷移到目標對象非輪廓區(qū)域； (4. 4)將參考對象輪廓區(qū)域大于特定閾值的梯度遷移到目標對象輪廓區(qū)域。
6.根據(jù)權利要求1所述的基于梯度操作的對象光照遷移方法，其特征在于，步驟(6)所述的與目標對象的色度層混合是指在CIELAB顏色空間中，將新明度層與色度層從CIELAB 顏色空間變換到RGB顏色空間。
全文摘要
本發(fā)明是一種基于梯度操作的對象光照遷移方法，為基于視頻素材的虛擬場景光照效果生成提供了新的技術方案。本發(fā)明包括構建基于梯度操作的對象光照遷移方法的總體流程圖像對齊、圖像分層、加權最小二乘濾波、梯度操作、泊松積分、圖像組合生成光照遷移結果；改進加權最小二乘濾波器，根據(jù)圖像的不平滑程度自適應的計算加權最小二乘濾波參數(shù)，使得在不平滑區(qū)域執(zhí)行更高級別濾波，保存更多的細節(jié)信息在細節(jié)層；在梯度操作中加入灰度域約束，使得光照遷移結果的整體灰度盡可能與參考對象接近。本發(fā)明可廣泛應用推廣到交互式數(shù)字娛樂、影視節(jié)目制作、藝術設計與創(chuàng)作等領域。
文檔編號G06T15/50GK102360513SQ20111029971
公開日2012年2月22日 申請日期2011年9月30日 優(yōu)先權日2011年9月30日
發(fā)明者吳洪宇, 趙沁平, 金鑫, 陳小武, 陳萌萌 申請人:北京航空航天大學