一種基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法
【專利摘要】本發(fā)明涉及一種基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法，包括：讀取一幅高動態(tài)范圍圖像，獲取其亮度圖像，再獲取對數(shù)域亮度圖像；建立基于邊緣保持正規(guī)化圖像分層的目標函數(shù)，通過最小化目標函數(shù)分解對數(shù)域的亮度圖像，獲得對數(shù)域的基礎(chǔ)層圖像；對對數(shù)域基礎(chǔ)層圖像取指數(shù)獲得基礎(chǔ)層圖像，再獲得相應(yīng)細節(jié)層圖像；利用動態(tài)S曲線壓縮基礎(chǔ)層圖像的動態(tài)范圍；動態(tài)范圍壓縮的基礎(chǔ)層與細節(jié)層圖像相乘獲得動態(tài)范圍壓縮的亮度圖像；轉(zhuǎn)換回RGB值獲得用于顯示的低動態(tài)范圍圖像。本發(fā)明適用于高動態(tài)范圍圖像在相機、手機、顯示器等普通終端顯示設(shè)備上再現(xiàn)，能夠避免光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象，并具有良好的細節(jié)再現(xiàn)能力。
【專利說明】
一種基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，用于在低動態(tài)范圍的輸出設(shè)備上顯示高動態(tài) 范圍圖像，具體涉及一種基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法。 技術(shù)背景
[0002] 相對于普通數(shù)字成像技術(shù)，高動態(tài)范圍成像技術(shù)可獲得較大的曝光范圍，因而記 錄的場景比較真實、形成圖像的動態(tài)范圍也較大。因此，由此技術(shù)所得圖像通常被稱為高動 態(tài)范圍（High Dynamic Range，HDR)圖像。通常，HDR圖像的動態(tài)范圍超過10000 : 1。但 是，目前眾多的圖像顯示終端設(shè)備能輸出的動態(tài)范圍都相對有限，如相機、手機、顯示器等 終端設(shè)備的IXD屏的動態(tài)范圍一般在100 : 1以內(nèi)。HDR圖像與終端輸出設(shè)備之間動態(tài)范 圍的落差會嚴重影響HDR圖像中場景的顯示效果。因此，需要借助圖像處理技術(shù)壓縮HDR 圖像的動態(tài)范圍，確保HDR圖像中所有場景的有效顯示。此壓縮技術(shù)也稱為階調(diào)映射。
[0003] 目前，大量階調(diào)映射方法已經(jīng)被提出，主要分為：全局階調(diào)映射、局部階調(diào)映射和 分層階調(diào)映射。相對于全局階調(diào)映射容易丟失大量圖像紋理細節(jié)、局部階調(diào)映射不可避免 產(chǎn)生光暈和階調(diào)逆轉(zhuǎn)的問題，分層階調(diào)映射被認為是相對效果最好的一類方法。對HDR圖 像進行分層映射，即利用分層算法把HDR圖像分解成包含高動態(tài)范圍信息（通常表征為顯 著邊緣）的基礎(chǔ)層圖像和僅包含對比度較小紋理細節(jié)信息的細節(jié)層圖像，通過只壓縮基礎(chǔ) 層圖像的動態(tài)范圍而保持細節(jié)層不變，使重新合成得到的動態(tài)范圍壓縮的圖像可以有效保 留細節(jié)。但是，當(dāng)分層算法分解HDR圖像過程中無法保證顯著邊緣在基礎(chǔ)層圖像中的銳度 時（即邊緣模糊或銳化），動態(tài)范圍壓縮的圖像會出現(xiàn)光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象。如Durand等 人在文獻〈〈Fast bilateral filtering for the display of high dynamic range images)) (F Durand and J Dorsey, Proceedings of the 29th annual conference on Computer graphics and interactive techniques，pp. 257-266, 2002.)中利用雙邊濾波器分解 HDR 圖像，基礎(chǔ)層圖像中顯著邊緣被模糊，其動態(tài)范圍壓縮的圖像中會出現(xiàn)光暈現(xiàn)象；如利用L Xu 等人在文獻《Image smoothing via L〇 gradient minimization》（L Xu，C Lu，Y Xu，and J Jia，Proceedings of the 2011SIGGRAPH Asia Conference，Article No. 174,2011.)中 提出的L。范數(shù)分層方法分解HDR圖像時，基礎(chǔ)層圖像中顯著邊緣被銳化，其動態(tài)范圍壓縮 的圖像中會出現(xiàn)階調(diào)逆轉(zhuǎn)現(xiàn)象。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提出一種基于正規(guī)化分層的HDR圖像階調(diào)映射方法，建立基于邊 緣保持正規(guī)化圖像分層的目標函數(shù)，通過最小化目標函數(shù)正確分解HDR圖像，避免現(xiàn)有同 類方法中出現(xiàn)的邊緣被模糊或銳化、光暈或階調(diào)逆轉(zhuǎn)的問題。
[0005] 本發(fā)明采用的技術(shù)方案為，一種基于正規(guī)化分層的HDR圖像階調(diào)映射方法，按照 以下步驟實施：
[0006] 步驟1，讀取一幅HDR圖像，獲得圖像各像素的RGB值，其中的R、G、B分別為HDR 圖像的紅、綠、藍三個通道的顏色值，通過RGB到Lab色空間的轉(zhuǎn)換獲得其亮度圖像L ;
[0007] 步驟2,對其亮度圖像L取對數(shù)，獲得對數(shù)域的亮度圖像Lg，計算如下：
[0008] Lg = log (max (L, 10 6))；
[0009] 步驟3,建立基于邊緣保持正規(guī)化圖像分層的目標函數(shù)E( ?)，通過最小化目標函 數(shù)分解對數(shù)域的亮度圖像Lg，獲得其對數(shù)域的基礎(chǔ)層圖像f，具體如下：
[0010] / = argminCE(/))，
[0011] E(f) = Ei (f) + A E2 (f),
[0012] 其中，/為f?的最優(yōu)估計也⑴為保真項，保證分解后圖像f?保留圖像1^的主要特 征（即顯著邊緣）；E 2(f)為正規(guī)化項，決定分解后圖像f中顯著邊緣的銳度；A為正規(guī)化 參數(shù)，用于平衡保真項和正規(guī)化項，本發(fā)明中利用L曲線法確定其最佳取值范圍；
[0013] 步驟4,對對數(shù)域的基礎(chǔ)層圖像f取指數(shù)，獲得基礎(chǔ)層圖像B，并獲得對應(yīng)細節(jié)層圖 像D，計算如下：
[0014] B = exp (f),
[0015] D = L/B ；
[0016] 步驟5,利用動態(tài)S曲線壓縮基礎(chǔ)層圖像，獲得動態(tài)范圍壓縮的基礎(chǔ)層圖像B。，具 體如下：
[0018] 式中Yw為HDR圖像在CIEXYZ色空間中的Y值通過高斯低通濾波器卷積所得，其 中高斯低通濾波器的窗口半徑為1/4圖像大?。籢表示亮度因子，計算如下：
[0019] Fl = 0. 2k4 (5La) +0. 1 (1-k4)2 (5LA)1/3,
[0020] 式中，LA表示適應(yīng)性亮度，為HDR圖像Yw值的20 % ;參數(shù)k則在LA的基礎(chǔ)上由k =1/ (5LA+1)計算所得；
[0021] 步驟6,基礎(chǔ)層圖像動態(tài)范圍壓縮后，與細節(jié)層圖像合成動態(tài)范圍壓縮的亮度圖像 K
[0022] LCBCXD ；
[0023] 步驟7,由動態(tài)范圍壓縮的亮度圖像L。轉(zhuǎn)換回RGB值，新的紅、綠、藍三個通道的顏 色值分別為R。、G。、B。，具體如下：
[0025] 步驟8,裁切步驟7所得顏色值的極大和極小閾值，并把極小和極大閾值之間的顏 色值拉伸至[0, 1]區(qū)間：
[0027] 式中，Si表示極小顏色閾值，設(shè)定為1 %圖像像素處的顏色值；S2表示極大顏色閾 值，設(shè)定為99%圖像像素處的顏色值。
[0028] 本發(fā)明的有益效果是，采用基于正規(guī)化的最小化優(yōu)化分層方法獲得HDR圖像顯著 邊緣的正確分解，有效地保持了基礎(chǔ)層圖像中顯著邊緣的銳度（即沒有模糊或銳化現(xiàn)象）， 避免了動態(tài)范圍壓縮的圖像中產(chǎn)生光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象。
【附圖說明】
[0029] 圖1是本發(fā)明具體實施例的流程圖；
[0030] 圖2是本發(fā)明具體實施例對HDR圖像rend04_o80A處理過程中得到的基礎(chǔ)層圖 像；
[0031] 圖3是本發(fā)明具體實施例對HDR圖像rend04_o80A處理過程中得到的細節(jié)層圖 像；
[0032] 圖4是本發(fā)明具體實施例對HDR圖像rend04_〇80A處理后得到的輸出圖像；
[0033] 圖5是原始HDR圖像rend04_o80A第86列位置處亮度值的一維信號；
[0034] 圖6是本發(fā)明具體實施例處理過程中得到的基礎(chǔ)層圖像第86列處亮度值的一維 信號；
[0035] 圖7是本發(fā)明具體實施例處理后得到的輸出圖像的第86列處亮度值的一維信號。
【具體實施方式】
[0036] 下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細說明。在實施例中，以本發(fā)明方法 處理HDR圖像rend04_o80A (動態(tài)范圍為61027 :1)。
[0037] 參見圖1，實施例按以下步驟處理：
[0038] 步驟1，讀取HDR圖像的像素值（RGB)，R、G、B分別為HDR圖像的紅、綠、藍通道的 顏色值，通過RGB到Lab色空間的轉(zhuǎn)換獲得其亮度圖像L ;
[0039] 步驟2,對亮度圖像L取對數(shù)，獲得其對數(shù)域的亮度圖像Lg，計算如下：
[0040] Lg = log (max (L, 10 6)),
[0041] 其中，函數(shù)max( ?)表示取最大值；
[0042] 步驟3,建立基于邊緣保持正規(guī)化圖像分層的目標函數(shù)，通過最小化目標函數(shù)分解 對數(shù)域的亮度圖像L g，獲得其對數(shù)域的基礎(chǔ)層圖像f，具體的f?的最優(yōu)估計/的表達式如 下：
[0043] / = argmin(￡'(/)),
[0044] 其中，E( ?)為目標函數(shù)，它決定著圖像分解是否能保持邊緣的銳度，以及能否避 免光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象，它由兩部分構(gòu)成：
[0045] E(f) = Ei (f) + A E2 (f),
[0046] 其中，Ejf)為保真項，保證分解后圖像f能保留圖像Lg的主要特征（即顯著邊 緣）：
[0047] Ei(f) = | |Lg-f| |2,
[0048] 式中，II *||2表示L2范數(shù)；E2(f)為正規(guī)化項，決定分解后圖像f?中顯著邊緣的銳 度：
[0049] ^2 (/) = X P\^Dxf)k ? + 2 P^Dyf)k ^ab k k
[0050] 本發(fā)明為了避免邊緣模糊或銳化、光暈和階調(diào)逆轉(zhuǎn)現(xiàn)象，正規(guī)化項用Turkey雙權(quán) 函數(shù)P (X，〇)構(gòu)建，其Turkey雙權(quán)函數(shù)如下：
[0051]
[0052] 式中〇為常數(shù)，是邊緣銳度保護的梯度閾值，在本發(fā)明的應(yīng)用中取值范圍為 0. 3~0. 5,本實施例中取〇 = 0. 42 ;Dx、Dy分別表示x、y軸方向的前向差分操作：
[0053] (D.f),, j = fx, j
[0054] (Dyf),, j = f1+1> -f,, j ；
[0055] 入為正規(guī)化參數(shù)，本發(fā)明用L曲線法求得，在本實施例中求得入=0. 3 ;
[0056] 步驟4,由于建立的目標函數(shù)E( ?)是非凸函數(shù)，在最小化求解時不容易收斂或在 局部最小處收斂，本發(fā)明使用半二次正規(guī)化方程等價目標函數(shù)E(f):首先，引入輔助變量 a= (ax，ay)，獲得半二次函數(shù)p*(x，〇 , a)，在如下的情況下等價Turkey雙權(quán)函數(shù)p (x, 〇 )：
[0057] p{x,a) = int{p*{x,a,d)},
[0058] 本實施例中半二次函數(shù)為
；接著，在此基礎(chǔ)上，獲得新的 目標函數(shù)E*(f, ax, ay):
[0059] E*(f^x,ay) = ||lg -/||2 +X^P*{{DJ)k,a,{ax)k) + X^P*({Dyf)k,a,(a )k), k k
[0060] 且新舊目標函數(shù)滿足等價關(guān)系Z(/) =
[0061] 步驟5,由此，替換成新的目標函數(shù)后，f的求解變?yōu)榘攵握?guī)化，求解時，首先 設(shè)置初始條件f°三L g、收斂條件mean| |fn+1-fn| |彡0? 001，其中n為迭代次數(shù)，通過交替固 定變量f?和a最小化目標函數(shù)直到收斂，最終求得f?的最優(yōu)估計/，具體過程如下：
[0062] 當(dāng) mean |fn+1-fn| | > 0? 001，
[0063] an+1argmina [E* (fn, a)],
[0064] fn+1 = argminf [E* (f, an+1)],
[0065] 其中，第n次迭代時輔助變量ax、ay的計算如下：
[0068] 第n次迭代時
f?的計算具體如下：
[0069] /"+| ^(I + MnA+ly1Lg ,
[0070] 其中，I 為單位矩陣，ATkW+A + W+A，Axn+1 = diag[(axn+1)J，Ayn+1 = diag[ayn+1)J ；
[0071] 步驟6,對對數(shù)域的基礎(chǔ)層圖像f取指數(shù)，獲得基礎(chǔ)層圖像B (本實施例結(jié)果如圖2 所示），并獲得對應(yīng)細節(jié)層圖像D (本實施例結(jié)果如圖3所示），計算如下：
[0072] B = exp (f),
[0073] D = L/B ；
[0074] 步驟7,利用動態(tài)S曲線壓縮基礎(chǔ)層圖像，獲得動態(tài)范圍壓縮的基礎(chǔ)層圖像B。，具 體如下：
[0076] 其中，YWSHDR圖像在CIEXYZ色空間中的Y值由窗口半徑為1/4圖像大小的高斯 低通濾波器濾波所得；^表示亮度因子，計算如下：
[0077] FL = 0? 2k4 (5LA) +0? 1 (1-k4)2 (5LA)1/3，
[0078] 式中，HDR圖像的適應(yīng)性亮度值LA為Yw的20% ;參數(shù)k的計算為k = 1A5La+1);
[0079] 步驟8,基礎(chǔ)層圖像動態(tài)壓縮后，與細節(jié)層圖像合成動態(tài)范圍壓縮的亮度圖像L。：
[0080] Lc = BCXD ；
[0081] 步驟9,由動態(tài)范圍壓縮的亮度圖像L。轉(zhuǎn)換回RGB值，新的紅、綠、藍三個通道的顏 色值分別為R。、G。、B。，具體如下：
[0083] 步驟10,裁切步驟9得到的顏色通道值的極小和極大閾值，并拉伸其他顏色值至 區(qū)間[0，1]之間，其中極小和極大閾值分別為1%和99%圖像像素處的顏色值，本實施例所 得結(jié)果圖像如圖4所示，計算如下：
[0085] 為了更好地說明本發(fā)明方法的處理效果，截取原始HDR圖像rend04_o80A、本發(fā)明 具體實施例中分解得到的基礎(chǔ)層圖像、本發(fā)明最終輸出的動態(tài)范圍壓縮圖像的第86列處 像素的亮度信號，分別如圖5、圖6、圖7所示。由圖5、圖6、圖7中的一維信號圖可知：本發(fā) 明分解得到的基礎(chǔ)層圖像中保持了顯著邊緣的銳度，即邊緣無模糊也無銳化現(xiàn)象；本發(fā)明 最終輸出的動態(tài)范圍壓縮圖像中并未出現(xiàn)對比度逆轉(zhuǎn)或光暈特征的信號，即未出現(xiàn)階調(diào)逆 轉(zhuǎn)和光暈現(xiàn)象；除此之外，小對比度的細節(jié)紋理并未遭受壓縮，即細節(jié)信息得以保存。由此 可見，本發(fā)明作為在有限動態(tài)范圍的輸出設(shè)備上顯示HDR圖像的顯示技術(shù)，可清晰、有效地 保持HDR圖像的紋理信息，并避免邊緣模糊或銳化、光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象。
【主權(quán)項】
1. 一種基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法，其特征在于，按照以下步驟 實施： 步驟1，讀取一幅1?動態(tài)范圍圖像，獲得圖像各像素的RGB值，其中的R、G、B分別為1? 動態(tài)范圍圖像的紅、綠、藍三個通道的顏色值，通過RGB到Lab色空間的轉(zhuǎn)換獲得其亮度圖 像L; 步驟2,對亮度圖像L取對數(shù)，獲得對數(shù)域的亮度圖像Lg，具體計算如下： Lg = log (max (L, IO6))； 步驟3,建立基于邊緣保持正規(guī)化圖像分層的目標函數(shù)E ( ·)，通過最小化目標函數(shù)分 解對數(shù)域的亮度圖像Lg，獲得其對數(shù)域的基礎(chǔ)層圖像f，具體如下：E(f) = E^D + AE^f), 其中，/ :為f的最優(yōu)估計也(f)為保真項，保證分解后圖像f保留圖像Lg的主要特征 (即顯著邊緣）；E2(f)為正規(guī)化項，決定分解后圖像f中顯著邊緣的銳度；λ為正規(guī)化參 數(shù)，用于平衡保真項和正規(guī)化項，利用L曲線法確定其最佳取值范圍； 步驟4,對對數(shù)域的基礎(chǔ)層圖像f取指數(shù)，獲得基礎(chǔ)層圖像Β，再由亮度圖像L計算得細 節(jié)層圖像D : B = exp (f), D = L/B ； 步驟5,利用動態(tài)S曲線壓縮基礎(chǔ)層圖像，得到動態(tài)范圍壓縮的基礎(chǔ)層圖像B。，具體如 下：式中，Yw為高動態(tài)范圍圖像在CIEXYZ色空間中的Y值通過高斯低通濾波器卷積所得， 其中高斯低通濾波器的窗口半徑為1/4圖像大小；^表示亮度因子，計算如下： Fl = 0. 2k4(5LA)+0. l(l-k4)2(5LA)1/3, 式中，高動態(tài)范圍圖像的適應(yīng)性亮度值La為￥"的20 % ;參數(shù)k的計算為k= I/ (5La+1)； 步驟6,基礎(chǔ)層圖像動態(tài)壓縮后，與細節(jié)層圖像合成動態(tài)范圍壓縮的亮度圖像L。： Lc = BcXD ； 步驟7,由動態(tài)范圍壓縮的亮度圖像L。轉(zhuǎn)換回RGB值，新的紅、綠、藍三個通道的顏色值 分別為m，具體如下：步驟8,裁切步驟7得到的顏色通道值的極小和極大閾值，并拉伸其他顏色值至區(qū)間 [〇，1]之間，其中極小和極大閾值分別為1 %和99%圖像像素處的顏色值：2. 根據(jù)權(quán)利要求1所述的基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法，其特征在 于：所述步驟3中，基于邊緣保持正規(guī)化圖像分層的目標函數(shù)E (f) = E1 (f) + λ E2 (f)，具體 如下：式中，11 · I Γ表示L2范數(shù)；為了避免邊緣模糊或銳化、光暈或階調(diào)逆轉(zhuǎn)現(xiàn)象，正規(guī)化項 E2 (f)用Turkey雙權(quán)函數(shù)P (X，σ )構(gòu)建，其Turkey雙權(quán)函數(shù)如下：式中σ為常數(shù)，是邊緣銳度保護的梯度閾值，在本發(fā)明的應(yīng)用中取值范圍為0.3~ 0. 5 ;DX、Dy分別表示X、y軸方向的前向差分操作： (Dxf)ljj = (Dyf)i, j = fi + l,.廠fi, j。3. 根據(jù)權(quán)利要求1或2所述的基于正規(guī)化分層的高動態(tài)范圍圖像階調(diào)映射方法，其 特征在于：所述的最小化目標函數(shù)的優(yōu)化方法，采用半二次正規(guī)化法，首先，引入輔助變量 a = (ax，ay)，獲得半二次函數(shù)P *(χ，σ，a)，在如下的情況下等價Turkey雙權(quán)函數(shù)P (X, σ ):最小化求解時，設(shè)置初始條件f° E Lg、收斂條件mean I I fn+1-fn I I彡0· 001，其中η為迭 代次數(shù)，通過交替固定變量f和a最小化目標函數(shù)直到收斂，最終求得f的最優(yōu)估計/，具 體過程如下：
【文檔編號】G06T5/00GK105894456SQ201410591785
【公開日】2016年8月24日
【申請日】2014年10月27日
【發(fā)明人】謝德紅, 位春傲, 王琪
【申請人】南京林業(yè)大學(xué)