一種場景自適應(yīng)的色調(diào)遷移方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種場景自適應(yīng)的色調(diào)迀移方法。
【背景技術(shù)】
[0002] 如何獲得使目標(biāo)圖像在無監(jiān)督條件下高效真實(shí)的具有源圖像的顏色分布特征是 影視制作、電腦動(dòng)畫和廣告?zhèn)髅降阮I(lǐng)域所普遍面臨的問題，一條行之有效卻鮮有人提及的 方案是利用自適應(yīng)的色調(diào)迀移算法執(zhí)行目標(biāo)圖像和源圖像之間的顏色自動(dòng)迀移和匹配。本 發(fā)明正是基于這種方案提出的一種場景自適應(yīng)的色調(diào)迀移方法。
[0003] 色調(diào)迀移是指將源圖像的色調(diào)特征映射到目標(biāo)圖像上，包含了圖像的輻照度特征 和色度特征，是影響場景風(fēng)格和內(nèi)容的重要因素。
[0004] 通過提取并映射源圖像中的色調(diào)特征，即可使用這些數(shù)據(jù)來完成源圖像色調(diào)到目 標(biāo)圖像色調(diào)的迀移。非線性映射類算法如累計(jì)直方圖分布能夠更好的表現(xiàn)出圖像的細(xì)節(jié)但 是依賴于圖像的色調(diào)分布，對圖像內(nèi)容不太強(qiáng)調(diào)的利用簡單統(tǒng)計(jì)特征的方法不能充分表達(dá) 圖像內(nèi)容。針對這兩類方法的適用環(huán)境，本發(fā)明綜合兩類方法的優(yōu)勢，在各種極端的輸入下 獲得魯棒的自適應(yīng)迀移結(jié)果。
[0005]目前很少有方案綜合非線性映射算法和簡單統(tǒng)計(jì)特征方法的優(yōu)勢，一個(gè)相近的工 作是Bonneel等人提出的色調(diào)迀移模型，他們對輻照度通道使用累計(jì)直方圖映射，從而使 輻照度更好的體現(xiàn)源圖像的細(xì)節(jié)；對色度通道使用蒙特卡羅仿射映射，從來使色度分布不 依賴于圖像的內(nèi)容。然而，該模型僅僅對輻照度通道使用三等分亮度帶的方式，使得對于源 圖像和目標(biāo)圖像具有明顯不同的輻照度分布時(shí)會(huì)出現(xiàn)不理想的差錯(cuò)。
[0006] 本發(fā)明提出的場景自適應(yīng)的色調(diào)迀移方法完全解決了現(xiàn)有方法所存在的主要問 題。通過對圖像內(nèi)像素的輻照度通道進(jìn)行聚類，自適應(yīng)的將輻照度劃分成若干個(gè)不等數(shù)目 像素的亮度帶，進(jìn)而在源圖像和目標(biāo)圖像間相應(yīng)亮度帶之間進(jìn)行色調(diào)迀移可以解決現(xiàn)有方 法在圖像間的分布顯著不同時(shí)不能有效處理的問題；同時(shí)針對典型的色調(diào)迀移方法得到 的色調(diào)迀移結(jié)果僅保留源圖像的色調(diào)特征，本發(fā)明提出一種動(dòng)態(tài)權(quán)重調(diào)節(jié)模型能夠使迀移 結(jié)果同時(shí)保持源圖像和目標(biāo)圖像的特征，對于場景融合等應(yīng)用有了更廣泛的應(yīng)用性和適用 性。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是解決在影視制作、電腦動(dòng)畫和廣告?zhèn)髅降阮I(lǐng)域難以實(shí)現(xiàn)的無監(jiān)督 且高效、魯棒的色調(diào)迀移問題，提出了一種場景自適應(yīng)的色調(diào)迀移方法，可以實(shí)現(xiàn)源圖像的 圖像特征到目標(biāo)圖像的無監(jiān)督高效迀移，并能根據(jù)需要?jiǎng)討B(tài)的調(diào)整色調(diào)迀移結(jié)果。
[0008] 為完成本發(fā)明的目的，本發(fā)明采用的技術(shù)方案是：一種場景自適應(yīng)的色調(diào)迀移方 法，包括以下步驟：
[0009] (1)將源圖像和目標(biāo)圖像轉(zhuǎn)換至LAB顏色空間；
[0010] (2)通過執(zhí)行累計(jì)直方圖非線性映射來匹配源圖像和目標(biāo)圖像之間的輻照度分 布；標(biāo)準(zhǔn)直方圖迀移函數(shù)定義為Lt= H 1CT1);其中操作符H表示歸一化的輻照度累計(jì)分布 函數(shù)，T1代表目標(biāo)圖像中某像素在L通道下的累計(jì)概率分布值，L ,表示表示輻照度迀移后 的值；
[0011] (3)通過執(zhí)行線性蒙特卡羅線性映射算法來匹配目標(biāo)圖像和源圖像的色度分布； 在輻照度迀移的基礎(chǔ)上，利用K-medoids算法將源圖像和目標(biāo)圖像依照輻照度值分別聚類 成不同的亮度帶；進(jìn)而，在每一個(gè)聚類點(diǎn)集中選擇相應(yīng)的代表點(diǎn)；此時(shí)的聚類結(jié)果被視作 源圖像和目標(biāo)圖像的初始分類；經(jīng)過K-medoids算法聚類之后，聚類結(jié)果被保存在二元組 ，其中f表示輻照度代表點(diǎn)向量，f表示各聚類點(diǎn)集的像素?cái)?shù)目，m表示聚類數(shù) 目；基于f向量，聚類點(diǎn)集頻數(shù)低于閾值σ的點(diǎn)集將會(huì)與它臨近的點(diǎn)集進(jìn)行合并；基于f 向量，通過計(jì)算每個(gè)聚類C的類內(nèi)輻照度平均距離d(C)同時(shí)合并d(C)低于閾值的類；至 此，則分別獲得了源圖像和目標(biāo)圖像的最終聚類，并將它們作為最終的亮度帶劃分；
[0012] 進(jìn)而以計(jì)算出的亮度聚類為基礎(chǔ)在源圖像和目標(biāo)圖像之間相應(yīng)輻照度帶之間進(jìn) 行配對，然后依據(jù)亮度帶劃分的像素帶為基礎(chǔ)，在相應(yīng)的像素帶對之間再次執(zhí)行色度變換； 通過計(jì)算各個(gè)亮度帶在LAB空間的a和b通道的平均值，a和b通道的平均值構(gòu)成了一個(gè)平 均值向量[μ a，μ Jt和一個(gè)2x2的方陣T st;進(jìn)而通過對目標(biāo)圖像的色度通道值a JP b屢 行蒙特卡羅線性變換，得到at'和bt' ；蒙特卡羅線性變換算法的公式如下所示：
[0014] 其中μ as和μ bs表示源圖像a和b通道的平均值；μ at和μ bt表示目標(biāo)圖像中a 和b通道的平均值，Tst表示色度變換矩陣，T st定義如下所示：
[0016] 其中Σ 3ΡΣ汾別表示源圖像和目標(biāo)圖像的協(xié)方差矩陣；
[0017] (4)、經(jīng)過步驟（2)和（3)的算法處理，繼而將輻照度迀移結(jié)果和色度迀移結(jié)果分 別作為LAB顏色空間中的L通道和AB通道合成為最終的色調(diào)迀移圖像；
[0018] (5)為了進(jìn)一步實(shí)施真實(shí)感場景融合，添加權(quán)重調(diào)節(jié)，使結(jié)果圖像依照權(quán)重同時(shí)保 持源圖像和目標(biāo)圖像的顏色特征。
[0019] 其中，輻照度迀移執(zhí)行時(shí)，事先需要提取原圖像和目標(biāo)圖像的輻照度數(shù)據(jù)。之后針 對輻照度數(shù)據(jù)，通過實(shí)現(xiàn)標(biāo)準(zhǔn)累計(jì)直方圖分布算法來匹配源圖像和目標(biāo)圖像之間的輻照度 分布。圖像的輻照度計(jì)算通過將輸入圖像的顏色空間轉(zhuǎn)換到LAB顏色空間，圖像像素的L 通道值即為相應(yīng)的輻照度值。特別的，當(dāng)累計(jì)分布函數(shù)不可逆時(shí)，通過利用累計(jì)分布函數(shù)的 廣義逆實(shí)施這種變換。同時(shí)針對輸入圖像對具有明顯的噪聲或具有顯著不同直方圖分布的 情況，采用一些濾波算法對其進(jìn)行預(yù)處理。
[0020] 其中，通過使用線性蒙特卡羅線性映射算法來匹配目標(biāo)圖形和源圖像的色度分 布。在輻照度迀移的基礎(chǔ)上，利用K-medoids算法將源圖像和目標(biāo)圖像分別聚類成不同的 亮度帶。進(jìn)而，我們在每一個(gè)聚類點(diǎn)集中選擇相應(yīng)的代表點(diǎn)。此時(shí)的聚類結(jié)果被視作源圖 像和目標(biāo)圖像的初始分類。經(jīng)過K-medoids算法聚類之后，通過計(jì)算每個(gè)聚類的類內(nèi)輻照 度平均距離后合并平均距離低于指定閾值的類。至此，我們分別獲得了源圖像和目標(biāo)圖像 的最終聚類，并將它們作為最終的亮度帶劃分。進(jìn)而在源圖像和目標(biāo)圖像之間相應(yīng)輻照度 帶之間進(jìn)行配對，然后在相應(yīng)的亮度帶對之間進(jìn)行變換。
[0021] 其中，針對源圖像具有顯著局部對比的情況，需要對源圖像和目標(biāo)圖像進(jìn)行前后 背景分割后實(shí)施區(qū)域映射。首先提取初始蒙版，利用一系列的局部分類器來分類輸入圖像 局部特征，進(jìn)而通過各種分類器的協(xié)作提取出前景物體。進(jìn)而通過腐蝕和膨脹操作對初始 的蒙版進(jìn)一步精化，通過求解稀疏線性方程系統(tǒng)可以獲得全局最優(yōu)化的蒙版。
[0022] 其中，針對傳統(tǒng)的色調(diào)迀移圖像僅和源圖像的色調(diào)保持一致，為了進(jìn)一步實(shí)施真 實(shí)感場景融合，需要添加權(quán)重調(diào)節(jié)，使結(jié)果圖像依照權(quán)重同時(shí)保持源圖像和目標(biāo)圖像的顏 色特征。其中源圖像和目標(biāo)圖像的差異通過輻照度和色度差異兩部分進(jìn)行建模，同時(shí)輻照 度和色度差異分別是在相應(yīng)的亮度聚類間進(jìn)行建模計(jì)算，之后通過加權(quán)整合差異。
[0023] 本發(fā)明的原理在于：
[0024] 基于圖像的輻照度累積直方圖非線性變換，實(shí)現(xiàn)源圖像到目標(biāo)圖像間的輻照度映 射從而保留源圖像的輻照度細(xì)節(jié)。利用基于輻照度的亮度聚類，將圖像自適應(yīng)的劃分成若 干亮度帶，進(jìn)而在源圖像和目標(biāo)圖像相應(yīng)的亮度帶之間通過線性蒙特卡羅線性映射進(jìn)行色 度迀移，可以得到更加準(zhǔn)確、魯棒的色度迀移結(jié)果。利用前后背景分割實(shí)現(xiàn)前后背景分離迀 移，可以在源圖像具有顯著的局部色調(diào)對比的情況下獲得準(zhǔn)確的色調(diào)迀移結(jié)果。利用源圖 像和目標(biāo)圖像的權(quán)重調(diào)節(jié)色調(diào)迀移結(jié)果，使迀移結(jié)果根據(jù)需要同時(shí)保持源圖像和目標(biāo)圖像 的特征。
[0025] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0026] (1)使用輻照度和色度分離進(jìn)行迀移的機(jī)制，解決了現(xiàn)有方法不能保持源圖像的 細(xì)節(jié)同時(shí)不依賴于圖像內(nèi)容的問題。
[0027] (2)使用基于累積直方圖分布的輻照度迀移，解決了部分現(xiàn)有方法不能保持源圖 像細(xì)節(jié)的問題。
[0028] (3)使用自適應(yīng)的色度聚類，解決了源圖像和目標(biāo)圖像具有明顯不同的色調(diào)分布 時(shí)現(xiàn)有方法出現(xiàn)錯(cuò)誤色調(diào)迀移結(jié)果的問題。
[0029] (4)使用基于前后景分割的色調(diào)迀移，解決了部分現(xiàn)有方法不能解決源圖像具有 明顯局部對比時(shí)的映射問題。
[0030] (5)使用基于權(quán)重調(diào)節(jié)的色調(diào)迀移結(jié)果動(dòng)態(tài)調(diào)節(jié)，解決了現(xiàn)有方法僅能使迀移結(jié) 果具有源圖像的色調(diào)特征，而不能同時(shí)保持源圖像和目標(biāo)圖像特征的問題。
[0031] (6)與現(xiàn)有方法使用線性色調(diào)迀移、非線性色調(diào)迀移或者綜合類方法，本方法的色 調(diào)迀移具有更高的準(zhǔn)確性、調(diào)節(jié)性。
[0032] (7)與現(xiàn)有方法使用線性色調(diào)迀移、非線性色調(diào)迀移或者綜合類方法，本方法的色 調(diào)迀移具有更高的魯棒性，能夠在各種輸入條件下獲得正確穩(wěn)定的輸出結(jié)果。
【附圖說明】
[0033] 圖1為本發(fā)明的色調(diào)迀移流程示意圖；
[0034] 圖2為本發(fā)明的色調(diào)迀移輻照度迀移示意圖。其中圖2(a)所在列分別代表目標(biāo) 圖像，目標(biāo)輻照度圖像，目標(biāo)圖像輻照度直方圖統(tǒng)計(jì)；圖2(b)所在列分別代表源圖像，源圖 像輻照度圖像，目標(biāo)圖像輻照度直方圖統(tǒng)計(jì)；圖2(c)所在列分別代迀移結(jié)果圖像，迀移結(jié) 果輻照度圖像，迀移結(jié)果輻照度直方圖統(tǒng)計(jì)。
[0035] 圖3為本發(fā)明的色調(diào)迀移色度迀移示意圖。其中圖3(a)表示目標(biāo)圖像，圖3(b) 表示源圖像，圖3(c)表示色度迀移后的圖像。
[0036] 圖4為本發(fā)明的各前后背景分割示意圖。其中圖4(a)表示輸入圖像；圖4(b)表 示提取的蒙版圖像；圖4(c)表示通過蒙版提取的前景圖像。
[0037] 圖5為本發(fā)明的使用前后背景分割的色調(diào)迀移結(jié)果示意圖。其中圖5(a)表示目 標(biāo)圖像；圖5 (b)表示源圖像；圖5 (c)表示不使用前后背景分割的色調(diào)迀移結(jié)果；圖5 (d)表 示使用前后背景分割的色調(diào)迀移結(jié)果。
[0038] 圖6為本發(fā)明的添加權(quán)重調(diào)節(jié)的色調(diào)迀移結(jié)果示意圖。其中圖6(a)表示目標(biāo)圖 像；圖6(b)表示源圖像；圖6(c)表示不使用權(quán)重調(diào)節(jié)的色調(diào)迀移結(jié)果；圖6(d)表示使用 權(quán)重調(diào)節(jié)的