專利名稱：將數(shù)字圖像從低動(dòng)態(tài)范圍圖像轉(zhuǎn)換為高動(dòng)態(tài)范圍圖像的方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理,具體涉及將數(shù)字圖像從低動(dòng)態(tài)范圍圖像(Low DynamicRange, LDR)轉(zhuǎn)換為高動(dòng)態(tài)范圍圖像(High Dynamic Range, HDR)的方法與系統(tǒng)。
背景技術(shù)：
數(shù)字照相領(lǐng)域中的一種新興技術(shù)是高動(dòng)態(tài)范圍成像(High Dynamic RangeImaging, HDRI)。HDRI會(huì)捕捉大部分真實(shí)世界的亮度(luminance),使得可以在使用適當(dāng)?shù)娘@示器時(shí)重現(xiàn)盡可能接近真實(shí)的圖像。因此，高動(dòng)態(tài)范圍成像提供具有相稱于真實(shí)世界亮度級的值的場景表示。真實(shí)世界產(chǎn)生十二階的光強(qiáng)度變化幅度范圍，其遠(yuǎn)大于目前數(shù)字成像中常用的三階幅度。一數(shù)字圖像中每一個(gè)像素目前能夠代表的值范圍通常為每個(gè)色彩通 道有256個(gè)值(最大為65536個(gè)值)，這不適用于表示眾多場景。利用HDR圖像，能夠利用表示場景的光強(qiáng)度范圍及匹配于人類視覺極限(而非匹配于任何顯示設(shè)備)的值范圍來捕捉場景。適合目前顯示技術(shù)的顯示器的圖像被稱為低動(dòng)態(tài)范圍(LDR)圖像。高動(dòng)態(tài)范圍圖像的視覺質(zhì)量遠(yuǎn)勝于通常的低動(dòng)態(tài)范圍圖像的視覺質(zhì)量。HDR圖像在這類圖像的捕捉、存儲、處理以及顯示方面不同于LDR圖像，并且很快地在照相術(shù)中迅速獲得廣泛認(rèn)可。隨著HDRI的使用在數(shù)字照相領(lǐng)域中傳播，存在不斷增長的對能夠顯示靜態(tài)圖像與視頻兩者的HDRI顯示器的需求。這代表相對于傳統(tǒng)顯示器的顯示質(zhì)量的明顯轉(zhuǎn)變。然而，因?yàn)楝F(xiàn)有媒體并非高動(dòng)態(tài)范圍(HDR)的，所以，HDRI顯示器的效用限于使用HDRI傳感器新獲取的HDR圖像。用以將現(xiàn)有低動(dòng)態(tài)范圍(LDR)圖像轉(zhuǎn)換成等效HDR圖像的現(xiàn)有方案一般被稱為“逆色調(diào)映射(reverse tone mapping)”。逆色調(diào)映射通常需要兩個(gè)階段。第一階段將一輸入LDR圖像的亮度逆映射至一擴(kuò)充的HDR亮度(亦稱為HDR光亮度)。由于圖像量化的關(guān)系，此階段會(huì)造成細(xì)節(jié)損失并且在高亮度區(qū)域中引入噪聲。第二階段會(huì)通過平滑化該區(qū)域并同時(shí)允許可能進(jìn)一步增加該動(dòng)態(tài)范圍來矯正此缺陷。一種實(shí)施第一階段的已知方案是以 Rempel A. G. , Trentacoste M. , Seetzen H.,Young H.D. ,Heidrich ff. ,Whitehead L.，以及Ward G.在ACM SIGGRAPH 2007Papers (2007年8月5至9日在加利福尼亞州圣地亞哥舉辦)發(fā)表的標(biāo)題為“Ldr2Hdr :舊視頻與照片的實(shí)時(shí)處理逆色調(diào)映射(Ldr2Hdr :on_the-fly reverse tone mapping of legacy video andphotographs) ”的論文中采用的方式。此方式依賴于適合實(shí)時(shí)視頻處理的快速逆方法。根據(jù)此方式，實(shí)施逆伽瑪映射并且接著將動(dòng)態(tài)范圍擴(kuò)展至5000。進(jìn)一步，實(shí)施平滑過濾以降低量化的效果。實(shí)施第一階段逆色調(diào)映射的另一種方案描述在Banterle F. , Ledda P.,Debattista K.,以及Chalmers A.于澳大利亞及東南亞地區(qū)第四屆計(jì)算機(jī)圖形與交互技術(shù)國際會(huì)議記錄(2006年11月29日至12月2日在馬來西亞吉隆坡舉辦)，GRAPHITE ‘06，ACM, New York, NY, 349-356 中所發(fā)表的標(biāo)題為“逆色調(diào)映射(Inverse tone mapping) ” 的論文中。此方案使用先前在Reinhard E. , Stark M. , Shirley P.,以及Ferwerda J.在ACMTrans. Graph. 21,3(2002年7月)，267-276之中發(fā)表的標(biāo)題為“數(shù)字圖像的照相色調(diào)重現(xiàn)(Photographic tone reproduction for digital images) ” 的論文中描述的基于全局色調(diào)映射運(yùn)算符的逆映射函數(shù)。接著，通過求解二次方程式獲得逆值(inverse value),從而產(chǎn)生顯著較大的動(dòng)態(tài)范圍并在特定像素處選擇性收縮該范圍。然而，該些現(xiàn)有方案為該第一階段提供的逆色調(diào)映射函數(shù)都不夠精確。由于該“一般(generic)”逆映射函數(shù)的原因，所取得的光亮度不會(huì)精確匹配真實(shí)世界的光亮度。其粗略近似于真實(shí)世界的光亮度值。存在兩種不同的方式來實(shí)施第二階段逆色調(diào)映射。Rempel等人在ACM SIGGRAPH2007Papers (2007年8月5至9日在加利福尼亞州圣地亞哥舉辦)所發(fā)表的標(biāo)題為“Ldr2Hdr 舊視頻與照片的實(shí)時(shí)處理逆色調(diào)映射(Ldr2Hdr on-the-fly reversetone mapping of legacy video and photographs) ” 的論文中所述的第一種方式在超過一高值的像素上產(chǎn)生一高斯掩膜(Gaussian mask)。另外，此方式還使用“邊緣停止(Edge-stopping) ”函數(shù)來改善邊緣的局部反差。所產(chǎn)生的亮度函數(shù)(brightnessfunction)被用來大幅擴(kuò)展照明(lighting)。一種更復(fù)雜的技術(shù)是Banterle等人于澳大利亞及東南亞地區(qū)第四屆計(jì)算機(jī)圖形與交互技術(shù)國際會(huì)議記錄(2006年11月29日至12月2日在馬來西亞吉隆坡舉辦)，GRAPHITE ‘06，ACM，New York，NY，349-356中所發(fā)表的標(biāo) 題為“逆色調(diào)映射(Inverse tone mapping) ”的論文中描述的技術(shù)。此第二方案包含使用中位切分算法(median cut algorithm) (Debevec P.在 ACMSIGGRAPH 2006 Courses (2006年7月30日至8月3日在馬薩諸塞州波士頓舉辦)，SIGGRAPH' 06，ACM, New York, NY,6中所發(fā)表的“光探測取樣的中位數(shù)切割算法(A median cut algorithm for light probesampling)”)以多個(gè)相同光強(qiáng)度區(qū)域來分割輸入圖像。這些區(qū)域的形心(centriod)被用來估計(jì)光密度并且用以創(chuàng)建一“擴(kuò)大”映射圖。接著，通過在輸入LDR與已逆映射LDR圖像之間引導(dǎo)內(nèi)插運(yùn)算來生成最終的HDR圖像。第二階段逆色調(diào)映射的這些方案依賴于找出有高亮度值的像素并且使用該些值來擴(kuò)大那些像素的動(dòng)態(tài)范圍。然而，這種外插僅用來擴(kuò)展熱點(diǎn)(高亮部)及附近區(qū)域的亮度，而從不會(huì)降低暗區(qū)(陰影)的亮度。因此，它們使用局部運(yùn)算來有效實(shí)施單邊動(dòng)態(tài)范圍擴(kuò)展(陰影被全局?jǐn)U大)，從而影響最終HDR圖像中陰影區(qū)的質(zhì)量。

發(fā)明內(nèi)容
為解決前述與其它問題，提供了一種根據(jù)隨附權(quán)利要求I所述的方法，還有分別根據(jù)隨附權(quán)利要求9、10、11所述的計(jì)算機(jī)程序、計(jì)算機(jī)可讀取介質(zhì)以及系統(tǒng)。優(yōu)選具體實(shí)施例則定義在隨附的從屬權(quán)利要求中。一般來說，本發(fā)明提供一種將LDR圖像轉(zhuǎn)換成HDR圖像的改進(jìn)的逆色調(diào)映射。根據(jù)本發(fā)明的一方面，使用相機(jī)響應(yīng)曲線來重建圖像的光亮度映射圖，而不是實(shí)施現(xiàn)有技術(shù)方案中提供的逆伽瑪或標(biāo)準(zhǔn)固定逆函數(shù)。本發(fā)明的另一方面依賴于減淡(dodge)與加深(burn)運(yùn)算來分別選擇性提高一圖像的亮度或降低其亮度。本發(fā)明在HDR域中應(yīng)用類減淡與加深運(yùn)算(dodging andburning like operation)來擴(kuò)展圖像的動(dòng)態(tài)范圍。這通常還會(huì)擴(kuò)大局部反差，從而允許在LDR圖像中不可見的更多可見細(xì)節(jié)。另外，在HDR域中應(yīng)用類減淡與加深運(yùn)算還允許實(shí)施平滑化，從而降低量化效果。
本發(fā)明的一些優(yōu)點(diǎn)如下I-是一種實(shí)施從單一 LDR圖像恢復(fù)HDR值的簡化技術(shù)；此技術(shù)比現(xiàn)有技術(shù)中從一系列不同曝光圖像中重建圖像更簡單。2-從亮度通道的兩個(gè)尾部(tail)(高光部分與低光部分)來擴(kuò)大動(dòng)態(tài)范圍，而現(xiàn)有技術(shù)方案則擴(kuò)大高光部分。3-提高圖像的中間/陰影部的可見細(xì)節(jié)級別。4-使用相機(jī)響應(yīng)曲線，圖像有更真實(shí)的光亮度映射圖。5-使用經(jīng)測試的照相技術(shù)改善最終圖像的美感。6-可以在重要應(yīng)用(例如，醫(yī)學(xué)成像)中使用新的HDR顯示器來觀看現(xiàn)有LDR圖 像。7-使用逆色調(diào)映射改善LDR相機(jī)輸出的質(zhì)量，以產(chǎn)生可正色調(diào)映射回到LDR的較高質(zhì)量HDR圖像，從而獲得可見反差的明顯改善。8-用于進(jìn)一步的圖像處理運(yùn)算的更容易的邊緣檢測。9-在進(jìn)一步圖像的處理在HDR域中較優(yōu)的地方可作為對數(shù)字圖像的強(qiáng)化運(yùn)算，例如用于醫(yī)學(xué)成像領(lǐng)域中的邊緣檢測運(yùn)算。本領(lǐng)域技術(shù)人員根據(jù)附圖與詳細(xì)的說明書的審閱會(huì)明確本發(fā)明的進(jìn)一步優(yōu)點(diǎn)。其預(yù)期目的在于在本文并入任何額外的優(yōu)點(diǎn)。


現(xiàn)在將參考附圖作為舉例說明本發(fā)明的具體實(shí)施例，其中，相同的附圖標(biāo)記表示相似的組件，且其中圖I為根據(jù)本發(fā)明的實(shí)施例的從低動(dòng)態(tài)范圍(LDR)圖像產(chǎn)生高動(dòng)態(tài)范圍(HDR)圖像的系統(tǒng)框圖；圖2為描述根據(jù)本發(fā)明的實(shí)施例的從低動(dòng)態(tài)范圍(LDR)圖像產(chǎn)生高動(dòng)態(tài)范圍(HDR)圖像的高級流程圖；圖3為一示例性相機(jī)響應(yīng)曲線；圖4描述根據(jù)本發(fā)明的實(shí)施例從圖3的相機(jī)響應(yīng)曲線取得的逆響應(yīng)曲線；圖5為描述HDR域中的減淡與加深運(yùn)算的流程圖；圖6為根據(jù)本發(fā)明的實(shí)施例的逆色調(diào)映射第一階段的初始光亮度數(shù)組的示例性直方圖；圖7為根據(jù)本發(fā)明的實(shí)施例的逆色調(diào)映射第一階段與第二階段的初始光亮度數(shù)組的示例性直方圖；圖8為根據(jù)本發(fā)明的實(shí)施例的描述圖像生成的流程圖；圖9為指示通過比較圖像所取得的藍(lán)色/綠色像素的總和的示例性值的表格；以及圖10為表不圖8表格中所含值的圖。圖11為根據(jù)本發(fā)明的實(shí)施例的用于將LDR圖像轉(zhuǎn)換成HDR圖像的計(jì)算機(jī)系統(tǒng)。這些附圖的目的僅在于表示本發(fā)明的典型實(shí)施例，所以不應(yīng)被視為限制本發(fā)明的范圍。
具體實(shí)施例方式本發(fā)明提供一種將數(shù)字圖像從低動(dòng)態(tài)范圍(LDR)圖像轉(zhuǎn)換為高動(dòng)態(tài)范圍(HDR)圖像的逆色調(diào)映射方法與系統(tǒng)。根據(jù)本發(fā)明的逆色調(diào)映射方案適合于用于實(shí)施數(shù)字計(jì)算與相關(guān)邏輯的任何類型處理器。圖I示出用于從一輸入LDR圖像產(chǎn)生一 HDR圖像的系統(tǒng)100。圖I顯示出系統(tǒng)部件之間的數(shù)據(jù)流，其中，每一個(gè)部件都以字母“C”為開頭，后面跟著一數(shù)字的名稱來標(biāo)記。下文將以符號C1、C2、. . . C5來表示這些系統(tǒng)部件。該系統(tǒng)的操作會(huì)先輸入一 LDR圖像并將其送入色彩空間轉(zhuǎn)換器Cl之中，該圖像會(huì)在其中被轉(zhuǎn)換成色相(Hue)、飽和度(Saturation)、以及亮度(Brightness)色彩空間(HSB)，從而產(chǎn)生三個(gè)對應(yīng)的數(shù)組。亮度數(shù)組與相機(jī)傳感器響應(yīng)曲線會(huì)被送入逆映射器C2之中。接著，該映射器會(huì)使用所提供的響應(yīng)曲線將該亮度數(shù)組逆映射至光亮度數(shù)組。局部反差引擎C3計(jì)算光亮度數(shù)組的局部反差，從而產(chǎn)生一局部亮度平均值(Local Luminance Average, LLA)數(shù)組。減淡 / 加深(Dodge/Burn)引擎 C4 使用LLA數(shù)組來對光亮度數(shù)組進(jìn)行減淡與加深運(yùn)算，產(chǎn)生一擴(kuò)展光亮度數(shù)組。 接著，已產(chǎn)生的具有飽和度數(shù)組與色相數(shù)組的數(shù)組被送入色彩空間轉(zhuǎn)換器C5之中，在其中圖像被轉(zhuǎn)換到原始輸入LDR色彩空間(舉例來說，紅綠藍(lán)(RGB))，從而產(chǎn)生輸出HDR圖像。為在LDR圖像上實(shí)施逆色調(diào)映射，在第一階段期間，一輸入LDR圖像的亮度被逆映射至一擴(kuò)大的HDR亮度。此初始步驟會(huì)損失細(xì)節(jié)并且在高亮度區(qū)域中引入噪聲，這會(huì)在平滑化這些區(qū)域的第二階段期間被矯正。根據(jù)本發(fā)明的實(shí)施例，使用捕捉傳感器/設(shè)備的信息來實(shí)施第一階段的逆色調(diào)映射。在利用數(shù)字相機(jī)及膠卷相機(jī)捕捉到的大部分圖像中可輕易取得傳感器標(biāo)識。該第一階段通過利用相機(jī)響應(yīng)曲線來逆色調(diào)映射該輸入圖像而創(chuàng)建一初始光亮度映射圖。圖2為描述根據(jù)本發(fā)明的實(shí)施例的第一階段逆色調(diào)映射的高級流程圖。步驟20首先輸入一 LDR圖像并接著將該LDR圖像存儲在存儲器之中。此LDR圖像可以各種色彩空間來表示。標(biāo)準(zhǔn)色彩空間為RGB空間，其中，每一個(gè)像素的色彩由三個(gè)分量來表示，即，紅色(R)、綠色(G)、以及藍(lán)色(B)。另一個(gè)色彩空間為Luv，其中，L為亮度分量，而U與V各為色度(chrominance)分量。逆色調(diào)映射在亮度通道上進(jìn)行運(yùn)算。步驟21會(huì)取得給定相機(jī)的曝光像素響應(yīng)曲線。該曝光像素響應(yīng)曲線為每一臺相機(jī)所固有的并且可從傳感器數(shù)據(jù)表直接取得。或者，可通過分析相同場景的一系列不同曝光的圖像來確定該曝光像素響應(yīng)曲線。該曝光響應(yīng)曲線能夠從一遠(yuǎn)程站點(diǎn)處來測量、計(jì)算、估計(jì)或甚至是接收。每部相機(jī)的該曲線基本上是固定的，因此，不需要為相同相機(jī)所產(chǎn)生的其它圖像重復(fù)重建該響應(yīng)函數(shù)。在下面的說明中，該曝光像素響應(yīng)曲線會(huì)被稱為函數(shù)“f (X) ”,其中，X表示一給定的曝光值，y = f (x)則代表給定曝光X的像素亮度值。該曝光像素響應(yīng)曲線提供相片的真實(shí)世界光亮度值。該些值比利用現(xiàn)有技術(shù)的簡單逆伽瑪方法所獲得的值更精確。在步驟22中，LDR輸入圖像會(huì)被轉(zhuǎn)換成HSB色彩空間數(shù)組，其中，H代表色相，S代表飽和度，而B代表亮度。HSB (也稱為HSL表示法)是一種RGB顏色模型中的點(diǎn)表示法，其描述感知的色彩關(guān)系比RGB更精確。在下面說明中，色相數(shù)組會(huì)以“Hue[] ”來表示，飽和度數(shù)組會(huì)以“Saturation 口 ”來表示,而亮度數(shù)組會(huì)以“Brightness 口 ”來表示。在步驟23中，會(huì)利用該響應(yīng)曲線來逆映射亮度數(shù)組(Brightness!!]數(shù)組)中每一個(gè)像素的值，而所取得的曝光被存儲在Radiance [i]之中。利用符號“f1 (y) ”來表示曝光像素響應(yīng)函數(shù)f(x)的逆函數(shù)，那么，對輸入像素值y來說，f"(y)返回曝光值x。因此，通道迭代器i的光亮度的定義如下Radiance [i] = f1 (Brightness [i]),其中，Radiance []數(shù)組是所得到的光亮度映射圖。在步驟24中，會(huì)將如此得到的光亮度映射圖存儲在存儲器之中。相比較依賴逆伽瑪或標(biāo)準(zhǔn)固定逆函數(shù)的現(xiàn)有技術(shù)方案所取得的光亮度映射圖，本發(fā)明通過利用該相機(jī)曝光像素響應(yīng)曲線來重建圖像的光亮度映射圖，會(huì)提供更真實(shí)的光亮度映射圖。圖3為一示例性相機(jī)響應(yīng)曲線。名稱為“曝光”的X軸代表真實(shí)世界曝光值，名稱為“像素亮度值”的I軸代表相機(jī)記錄的對應(yīng)像素光亮度值?！捌毓狻倍x為傳感器收到的幅 照度(irradiance)乘以曝光時(shí)間。單位為瓦秒每平方米(watt sec per square meter)。像素光亮度值為0至255的整數(shù)值，而曝光值則為實(shí)數(shù)。圖4為圖2中所示的示例性相機(jī)響應(yīng)曲線的逆響應(yīng)曲線(inverse responsecurve)。名稱為“像素亮度值”的X軸代表像素光亮度值，名稱為“曝光”的y軸代表對應(yīng)的真實(shí)世界曝光。該響應(yīng)曲線會(huì)盡可能模仿真實(shí)情況。在這個(gè)階段，在步驟24中取得的光亮度數(shù)組“Radiance[] ”可結(jié)合色相數(shù)組“Hue口 ”以及飽和度數(shù)組“Saturation[] ”，以將它們與一圖像相關(guān)聯(lián)并且接著將該圖像轉(zhuǎn)換到原始圖像色彩空間，以提供HDR圖像。然而，該相機(jī)曲線本身可能會(huì)產(chǎn)生不夠高的動(dòng)態(tài)范圍，并且可能還會(huì)引入量化偽影(artifact)。根據(jù)本發(fā)明的第二階段逆色調(diào)映射會(huì)補(bǔ)償平滑映射的不足并且補(bǔ)償因使用相機(jī)響應(yīng)曲線可能引入的偽影。圖5表示根據(jù)本發(fā)明的實(shí)施例的第二階段逆色調(diào)映射。在此第二階段期間，類減淡與加深運(yùn)算會(huì)分別選擇性地提高圖像的亮度或降低其亮度。“減淡”運(yùn)算會(huì)提高亮度，而“加深”運(yùn)算會(huì)降低像素的亮度。本發(fā)明在HDR域中應(yīng)用類減淡與加深運(yùn)算來擴(kuò)展圖像的動(dòng)態(tài)范圍。對亮部來說，減淡運(yùn)算會(huì)進(jìn)一步擴(kuò)大低局部反差區(qū)域的動(dòng)態(tài)范圍。對陰影來說，力口深運(yùn)算會(huì)進(jìn)一步擴(kuò)大剩下區(qū)域的動(dòng)態(tài)擾動(dòng)(dynamic curse of the left),降低像素的最小亮度(其會(huì)進(jìn)一步擴(kuò)大圖像動(dòng)態(tài)范圍)。這通常也會(huì)擴(kuò)大局部反差，從而允許在LDR圖像中不可見的更多可見細(xì)節(jié)。另外，在HDR域中應(yīng)用類減淡與加深運(yùn)算允許實(shí)施平滑化，從而降低量化效果。在步驟50中，會(huì)算出Radiance[]數(shù)組中的每一個(gè)像素(u, v)的局部亮度平均值 Local_Luminance_Average[u, V]。像素(u, v)處的局部亮度平均值可以 Reinhard E.,Stark M. ,Shirley P.，以及 Ferwerda J.在 ACM Trans. Graph. 21，3 (2002年 7 月)，267-276之中發(fā)表的“數(shù)字圖像的照相色調(diào)再生(Photographic tone reproduction for digitalimages) ”中所述的方式計(jì)算如下-卷積核被設(shè)為kerneli [] = GaussianKernel (ri)[],其中，!Ti 為 GaussianKernel的半徑而i表示局部反差規(guī)模指數(shù)(scale index)。A的值會(huì)改變。在本發(fā)明的一具體實(shí)施例中，此值被設(shè)為l/(2*Sqrt(2))*1.6i。i的值從0變到8。
-對值i來說，像素(u,V)處的局部亮度平均值可以計(jì)算為Local_Luminance_Average； [u, v] = kernel； radiance[]-接著,參數(shù)i的最小值m會(huì)被算出，使得Abs (Local_Luminance_Averagei [u, v] -Local_Luminance_Averagei+1 [u, v])< e，其中，e表示閾值且i的值從0變到7。-Local_Luminance_Average [U，v]最后被設(shè)為 LocalLuminanceAveragem[u, v]，其提供像素(U，v)處的局部亮度平均值。在步驟51中，會(huì)利用局部亮度平均值Local_Luminance_Average[u, v]來調(diào)整每一個(gè)像素的亮度。新的光亮度值“Radiance’ [u, v] ”的定義如下Radiance’ [U，v] = Radiance [u, v]^Radiance [u, v]/Local_Luminance_ Average[u, v]根據(jù)本發(fā)明，此運(yùn)算會(huì)在HDR域中實(shí)施。確實(shí)，申請人已觀察到，如果(U，V)周圍的像素比原始像素(U，v)亮的話，(u,v)像素的光亮度便會(huì)下降，從而提高局部反差。同樣還觀察到，如果周圍的像素比原始像素暗的話，原始像素(U，V)的光亮度會(huì)提高，從而提高局部反差。光亮度的降低與提高兩者都由如下比例來確定radiance [u, v] /Local_Luminance_Average [u, v]。此比例作為光亮度縮放系數(shù)，其允許任意縮放而沒有壓縮。所以，根據(jù)本發(fā)明特定實(shí)施例的此第二階段逆色調(diào)映射會(huì)通過減淡與加深來提高光亮度的動(dòng)態(tài)范圍，同時(shí)增強(qiáng)圖像的局部反差。這樣，本發(fā)明運(yùn)用減淡/加深的照相概念來產(chǎn)生照相質(zhì)量的HDR圖像。在步驟52中，光亮度數(shù)組“Radiance □”結(jié)合色相數(shù)組“Hue □”及飽和度數(shù)組“Saturation□”，使得它們現(xiàn)在與一圖像相關(guān)聯(lián)，且接著該圖像在步驟53中被轉(zhuǎn)換到原始的圖像色彩空間。為使用標(biāo)準(zhǔn)庫例程(例如，cimg庫cimg. sourceforge. org中的get_RGBtoHSVO)，會(huì)使用下面的公式來計(jì)算圖像轉(zhuǎn)換，其中，ConvertO將圖像轉(zhuǎn)換回到原始的圖像色彩空間Convert (Hue [], Saturation [], Radiance [] /max (Radiance [])) *max (Radiance)此公式中使用了除法部分“Radiance []/max (Radiance []) ”，因?yàn)橄袼刂到?jīng)常會(huì)被正規(guī)化，使得它們可以從0到I之間變化。圖6為根據(jù)本發(fā)明實(shí)施例僅使用第一階段逆色調(diào)映射所取得的初始光亮度數(shù)組的示例性直方圖。該光亮度數(shù)組從一輸入LDR圖像中產(chǎn)生。該直方圖的X軸代表log2曝光值，而y軸代表發(fā)生頻率。如圖所示，最大log2曝光值為8. 3，最小值為-9. 38，這提供了210，381的動(dòng)態(tài)范圍(5個(gè)數(shù)量級)。這是正常真實(shí)生活場景中的典型值。圖7為根據(jù)本發(fā)明的實(shí)施例的逆色調(diào)映射第二階段之后的直方圖。最大log2曝光值現(xiàn)在為8. 71，最小值為-15. 52，這提供了 1.98xl07的動(dòng)態(tài)范圍。所以，該第二階段已將動(dòng)態(tài)范圍提高2個(gè)數(shù)量級。同樣值得一提的是，該直方圖比較平滑而且兩側(cè)伸展較寬，比較強(qiáng)調(diào)陰影。為評估所產(chǎn)生的HDR圖像的質(zhì)量，可以使用MPI HDR (MPI為Max Planck Instituteinformatik 的縮寫)度量。該度量已經(jīng)定義在 Aydin T. 0.，Mantiuk R.，Myszkowski K.，以及Seidel H.在ACM SIGGRAPH 2008Papers (2008年8月11日至15日在加利福尼亞州洛杉磯舉辦)，SIGGRAPH' 08,ACM,New York,NY, 1-10中所發(fā)表的標(biāo)題為“動(dòng)態(tài)范圍獨(dú)立圖像質(zhì)量評估(Dynamic range independent image quality assessment)，，的論文中。該圖像質(zhì)量度量運(yùn)算在一圖像對上，其中，兩個(gè)圖像都有任意動(dòng)態(tài)范圍。根據(jù)該度量，會(huì)產(chǎn)生一具有藍(lán)色、綠色、以及紅色像素的概要圖像。每一個(gè)像素的色彩會(huì)依照最高貢獻(xiàn)者而確定。藍(lán)色像素表示反差已改善的像素(在輸入圖像上不可見，但在輸出圖像上可見)，綠色像素表示反差損失，而紅色像素則表示反差反轉(zhuǎn)。每一種色彩的值都代表其效果可見的可能性。發(fā)明人觀察到，在評估圖像質(zhì)量中，藍(lán)色與綠色度量參數(shù)似乎特別重要。確實(shí)，如果盡可能降低綠色且提高藍(lán)色的話，反差便會(huì)改善而且不會(huì)損失可見的細(xì)節(jié)。因此，通過也報(bào)告每一個(gè)像素的正規(guī)化主色彩(dominate colour)的總和，實(shí)現(xiàn)了增強(qiáng)圖像質(zhì)量評估。圖8為說明基于多個(gè)圖像的比較來評估所產(chǎn)生的HDR圖像質(zhì)量所實(shí)施的步驟的流程圖。為便于理解下述實(shí)驗(yàn)，以下是下面用來標(biāo)識圖像的特定符號的定義I- “Real-HDR”表示使用一長系列不同曝光的圖像所取得的圖像；換言之，這是一“真實(shí)” HDR圖像； 2- “ Input-LDR” 表示一輸入 LDR 圖像；3-“Gen-HDR”表示所產(chǎn)生的HDR圖像，其是通過反轉(zhuǎn)該Input-LDR圖像所取得的；4- “Gen-LDR”表示經(jīng)色調(diào)映射的Gen-HDR圖像，其是利用Reinhard等人的照相色調(diào)映射運(yùn)算符所取得的(Erik Reinhard, Michael Stark, Peter Shirley,以及 JamesFerwerda在SIGGRAPH' 02 :第29屆計(jì)算機(jī)圖形與交互技術(shù)年度會(huì)議記錄，第267至276頁，New York, NY, USA, 2002. ACM Press中發(fā)表的數(shù)字圖像的照相色調(diào)再生(Photographictone reproduction for digital images))；5-“Gen-HDR-Rad”表示僅使用根據(jù)本發(fā)明的逆色調(diào)映射第一階段所產(chǎn)生的HDR圖像。圖8的下述描述將結(jié)合圖9與10做出，圖9與10顯示通過比較上文定義的圖像I至5所取得的藍(lán)色/綠色像素的總和值。圖9是在最后兩列中表示每一次比較的藍(lán)色與綠色值的表格，而圖10為表示每一次比較中每個(gè)像素的反差增益(正規(guī)化藍(lán)色像素總和)的圖。為評估每一個(gè)逆色調(diào)映射階段在根據(jù)本發(fā)明實(shí)施例所產(chǎn)生的HDR圖像質(zhì)量中的效果，步驟80先比較Gen-HDR-Rad與Real-HDR。該第一次比較會(huì)評估使用根據(jù)本發(fā)明的逆色調(diào)映射第一階段的效果。所得到的結(jié)果A顯示在圖9與10中。此結(jié)果顯示，有40.0%的顯著的每個(gè)像素的反差增益以及0. I %的可忽略的反差損失。為評估使用根據(jù)本發(fā)明的逆色調(diào)映射第二階段的效果，步驟81比較Gen-HDR與Real-HDR。所得到的結(jié)果B顯示在圖9與10中，其顯示每個(gè)像素在反差增益中有77. 4%的大幅改善而幾乎為0. 0%的可忽略的反差損失。這表示第二階段有效地增加了進(jìn)一步的37%的反差增益。由于HDR圖像的一種典型用法是提高LDR圖像的質(zhì)量，步驟82通過比較Gen-LDR與Input-LDR來測試該效果。所得到的結(jié)果C顯示在圖9與10中，其顯示反差增益有大幅改善，現(xiàn)在為47. 2%，而沒有任何反差損失。因此，當(dāng)轉(zhuǎn)換成HDR時(shí)，不會(huì)損失原始圖像中的任何細(xì)節(jié)。此外，所產(chǎn)生的HDR包含原始圖像中看不到的細(xì)節(jié)。后面的結(jié)果可能有助于圖像增強(qiáng)應(yīng)用，例如，醫(yī)學(xué)圖像分割。本發(fā)明可應(yīng)用于多種圖像處理應(yīng)用，舉例來說，將現(xiàn)有LDR視頻與圖像庫轉(zhuǎn)換成用于新穎的HDR顯示器的HDR視頻與圖像的應(yīng)用。本發(fā)明也可應(yīng)用于LDR圖像增強(qiáng)，其中，LDR圖像會(huì)先被轉(zhuǎn)換成HDR圖像，接著在使用標(biāo)準(zhǔn)色調(diào)映射技術(shù)(例如，Reinhard的色調(diào)映射運(yùn)算符)將HDR圖像轉(zhuǎn)換回到LDR之前應(yīng)用標(biāo)準(zhǔn)的圖像處理增強(qiáng)(例如，平滑、邊緣檢測等)。
因此，本發(fā)明提供一種從單一 LDR圖像恢復(fù)HDR值的有效技術(shù)。利用本發(fā)明，動(dòng)態(tài)范圍會(huì)從亮度通道的兩個(gè)尾部(高光部分與低光部分)擴(kuò)大，而現(xiàn)有技術(shù)方案則僅擴(kuò)大高光部分。這會(huì)提高圖像中間/陰影部的可見細(xì)節(jié)級別。相比于現(xiàn)有技術(shù)，這會(huì)進(jìn)一步提高圖像的動(dòng)態(tài)范圍。在逆色調(diào)映射第一階段中使用相機(jī)的曝光像素曲線會(huì)提供該圖像的更真實(shí)的光亮度映射圖并且改善最終圖像的美感。利用本發(fā)明，可以在許多應(yīng)用例如醫(yī)學(xué)成像中使用新的HDR顯示器來觀看現(xiàn)有的LDR圖像。另外，通過使用根據(jù)本發(fā)明的實(shí)施例的逆色調(diào)映射產(chǎn)生可被正色調(diào)映射回到LDR的較高質(zhì)量HDR圖像，從而實(shí)現(xiàn)明顯改善可見反差，可以改善LDR相機(jī)的輸出質(zhì)量。因此，用于進(jìn)一步圖像處理運(yùn)算的邊緣檢測會(huì)被簡化。本發(fā)明有許多應(yīng)用。舉例來說，它可用作數(shù)字圖像的增強(qiáng)運(yùn)算，其中，進(jìn)一步的圖像處理在HDR域中的運(yùn)算會(huì)更佳，例如，用于醫(yī)學(xué)成像中的邊緣檢測。更一般來說，本發(fā)明可應(yīng)用在任何數(shù)字信號，例如，用以提高低質(zhì)量音頻信號的動(dòng)態(tài)范圍。圖11為根據(jù)本發(fā)明具體實(shí)施例用于將一視頻圖像從LDR圖像轉(zhuǎn)換成HDR圖像的計(jì)算機(jī)系統(tǒng)90。計(jì)算機(jī)系統(tǒng)90包括一處理器91 ;一被耦合至處理器91的輸入設(shè)備92 ；一被耦合至處理器91的輸出設(shè)備93 ;以及各自被耦合至處理器91的存儲器設(shè)備94與95。處理器91為一處理單元，例如，中央處理單元(CPU)。除其他外，輸入設(shè)備92可以是鍵盤、鼠標(biāo)等。除其他外，輸出設(shè)備93可以是打印機(jī)、繪圖機(jī)、顯示設(shè)備(舉例來說，計(jì)算機(jī)屏幕)、磁帶、可拆裝硬盤、軟盤等。顯示設(shè)備可以包括圖I的顯示區(qū)域10。除其他外，存儲器設(shè)備94與95可以是硬盤、軟盤、磁帶、光存儲器(例如，光盤(CD)或是數(shù)字視頻盤片(DVD))、動(dòng)態(tài)隨機(jī)存取存儲器(DRAM)、只讀存儲器(ROM)等。存儲器設(shè)備95包含計(jì)算機(jī)代碼97，其為包括計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)程序。計(jì)算機(jī)代碼97包含用于將視頻圖像從LDR圖像轉(zhuǎn)換成HDR圖像的算法。處理器91執(zhí)行計(jì)算機(jī)代碼97。存儲器設(shè)備94包含輸入數(shù)據(jù)96。輸入數(shù)據(jù)96包含計(jì)算機(jī)代碼97所需要的輸入。輸出設(shè)備93會(huì)顯示來自計(jì)算機(jī)代碼97的輸出。存儲器設(shè)備94與95中任一者或兩者(或圖13中未顯示的一個(gè)或多個(gè)額外存儲器設(shè)備)可用作具有包含于其中的計(jì)算機(jī)可讀取程序和/或存儲于其中的其它數(shù)據(jù)的計(jì)算機(jī)可用的存儲介質(zhì)(或程序存儲設(shè)備)，其中，該計(jì)算機(jī)可讀取程序包括計(jì)算機(jī)代碼97。一般來說，計(jì)算機(jī)系統(tǒng)90的計(jì)算機(jī)程序產(chǎn)品(或者，制造物)可以包括該計(jì)算機(jī)可用的存儲介質(zhì)(或該程序存儲設(shè)備)。雖然圖11以一特定的硬件與軟件配置來顯示計(jì)算機(jī)系統(tǒng)90，但是，也可以將本領(lǐng)域技術(shù)人員已知的任何硬件與軟件配置用于結(jié)合圖11的特定計(jì)算機(jī)系統(tǒng)90所述的目的。舉例來說，存儲器設(shè)備94與95可以為單一存儲器設(shè)備的部分，而非分離的存儲器設(shè)備。雖然本文已經(jīng)為了例示的目的描述了本發(fā)明的特定實(shí)施例，但許多修正與改變對本領(lǐng)域技術(shù)人員來說都是顯然 的。
權(quán)利要求
1.ー種用于將數(shù)字圖像從利用給定相機(jī)取得的低動(dòng)態(tài)范圍(LDR)圖像轉(zhuǎn)換為高動(dòng)態(tài)范圍(HDR)圖像的方法，該方法包括 取得所述給定相機(jī)(21)的曝光像素響應(yīng)曲線； 將LDR圖像轉(zhuǎn)換成HSB色彩空間數(shù)組，所述HSB色彩空間數(shù)組包含一色相數(shù)組、ー飽和度數(shù)組以及ー亮度數(shù)組(22);以及 利用曝光像素響應(yīng)曲線(23，24)的逆通過逆映射所述亮度數(shù)組中的每ー個(gè)像素以確定ー光亮度數(shù)組。
2.如權(quán)利要求I所述的方法，其中該方法進(jìn)ー步包括 為光亮度數(shù)組中每ー個(gè)像素確定局部亮度平均值(50)，并且為每ー個(gè)像素從用于所述像素的光亮度數(shù)組的值和局部亮度平均值(51)計(jì)算調(diào)整后的光亮度數(shù)組； 組合所述光亮度數(shù)組及所述HSB數(shù)組(52)中的色相數(shù)組與飽和度數(shù)組； 用色相數(shù)組、飽和度數(shù)組以及光亮度數(shù)組將該圖像轉(zhuǎn)換到提供HDR圖像(53)的圖像色彩空間。
3.如上述任一項(xiàng)權(quán)利要求所述的方法，其中所述曝光像素響應(yīng)曲線從相機(jī)數(shù)據(jù)表中取得。
4.如權(quán)利要求I或2所述的方法，其中所述曝光像素響應(yīng)曲線從用于相同場景的一系列不同曝光的圖像取得。
5.如上述任一項(xiàng)權(quán)利要求所述的方法，其中每ー個(gè)像素(U，V)，根據(jù)下列公式計(jì)算調(diào)整后的光亮度Radiance’ [U，V]Radiance， [u, v] = Radiance[u, v]氺Radiance[u, v]/Local_Luminance_Average[u,V]，其中，Radiance[u, v]表示像素(u, v)的光亮度值而 Local_Luminance_Average[u, v]表示像素(U，V)處的局部亮度平均值。
6.如上述任一項(xiàng)權(quán)利要求所述的的方法，其中根據(jù)下述函數(shù)來實(shí)施用于將圖像轉(zhuǎn)換到圖像色彩空間的所述步驟 Convert(Hue[], Saturation[], Radiance[]/max(Radiance[]))*max(Radiance；,其中，Hue[]表示色相數(shù)組，Saturation[]表示飽和度數(shù)組,而Radiance []表示光亮度數(shù)組。
7.如上述任一項(xiàng)權(quán)利要求所述的方法，其中局部亮度平均值從以下定義的i卷積核來確定 kernelj [] = GaussianKernel (ri；[]，其中，T1 為 GaussianKernel 的半徑而 i 表不從O變到8的局部反差規(guī)模指數(shù)。
8.如權(quán)利要求7所述的方法，其中，ri被設(shè)為Iバ2*Sqrt(2))*l.6、
9.ー種包括指令的計(jì)算機(jī)程序，當(dāng)在合適的計(jì)算機(jī)設(shè)備上執(zhí)行所述計(jì)算機(jī)程序時(shí)，所述計(jì)算機(jī)程序用以執(zhí)行根據(jù)權(quán)利要求I至7中任ー項(xiàng)的方法中的步驟。
10.一種計(jì)算機(jī)可讀取介質(zhì)，其上編碼有根據(jù)權(quán)利要求9的一組計(jì)算機(jī)程序。
11.一種系統(tǒng)，包括適于執(zhí)行根據(jù)權(quán)利要求I至8中任ー項(xiàng)的方法中的步驟的裝置。
全文摘要
本發(fā)明提供一種用于將利用給定相機(jī)取得的低動(dòng)態(tài)范圍(LDR)圖像轉(zhuǎn)換為高動(dòng)態(tài)范圍(HDR)圖像的方法，該方法包括取得所述給定相機(jī)的曝光像素響應(yīng)曲線(21)，將LDR圖像轉(zhuǎn)換為HSB色彩空間數(shù)組(22)，所述HSB色彩空間數(shù)組包含一色相數(shù)組、一飽和度數(shù)組、以及一亮度數(shù)組；以及利用所述曝光像素響應(yīng)曲線的逆(f-1)通過逆映射所述亮度數(shù)組中的每一個(gè)像素以確定一光亮度數(shù)組(23，24)。
文檔編號H04N5/235GK102696220SQ201080044411
公開日2012年9月26日 申請日期2010年7月12日 優(yōu)先權(quán)日2009年10月8日
發(fā)明者A·埃爾-馬蒂, H·埃爾-施辛尼 申請人:國際商業(yè)機(jī)器公司