專利名稱::使用空間頻率分析將壓縮圖像處理為域映射圖像的方法
技術(shù)領(lǐng)域:
:本發(fā)明涉及圖像數(shù)據(jù)的解壓縮和圖像數(shù)據(jù)的色彩(color)管理。
背景技術(shù):
:近十五年以來,圖像壓縮算法一直使用"視覺金字塔(visionpyramid)"模型來減少量化期間的視覺質(zhì)量損失。在圖1中圖示了典型的圖像壓縮流程圖首先將圖像解壓縮成示出像素的色彩值的空間頻率分布的系數(shù)(例如,使用離散余弦變換或者小波變換),目的在于從人的視覺角度(humanvisionperspective)組織信息。然后,取決于目標(biāo)壓縮率,將空間頻率分布系數(shù)進(jìn)行平滑地或者劇烈地(severely)量化,具有優(yōu)于圖像細(xì)節(jié)的粗略信息。最終,應(yīng)用二進(jìn)制編碼以減少量化后的空間頻率分布系^:的尺寸。在JPEG/MPEG圖像壓縮的特定情形下,在8x8像素塊區(qū)域上局部地應(yīng)用頻率變換步驟和量化步驟。色域(colorgamut)定義了圖像顯示設(shè)備能夠再現(xiàn)的、或者圖像捕捉設(shè)備能夠捕捉的、或者在可視內(nèi)容(諸如圖像)的項目內(nèi)包含的色彩的完整集合。為了在一些例如具有較寬的色域的顯示器上正確再現(xiàn)圖像,已對所述圖像進(jìn)行了處理,但是因為硬件的限制,許多其它彩色設(shè)備不可能提供所述圖像的色彩的良好的再現(xiàn)。常見情形是在CRT監(jiān)視器上渲染(render)的圖像的色彩與來自低質(zhì)量的彩色打印機(jī)的相同圖像的色彩之間的比較。為了確保在具有不同色域的不同色彩再現(xiàn)設(shè)備上最佳地再現(xiàn)圖像的質(zhì)量,這些年中已提出了若干種技術(shù),如使用所謂的色彩的"域映射"的那些技術(shù)。色域映射確保了將源設(shè)備的色彩變換到位于目的設(shè)備(destinationdevice)的域之內(nèi)。使用一系列準(zhǔn)則能夠執(zhí)行這樣的操作,這些準(zhǔn)則將使得在圖像的色度測量(colorimetry)中固有地引入變化的變換的影響最小化。已開發(fā)了若干種算法以將源色彩映射到目的色彩,諸如明度映射(lightnessmapping)或者色度映射(chromamapping),由于人目艮通過明度和色度考慮(consideration)來處理可視數(shù)據(jù),因此這表示面向人的視覺系統(tǒng)("HVS")的準(zhǔn)則的第一方向。凈皮標(biāo)準(zhǔn)化為視覺上感知均勻(perceptually-uniform)的色彩空間的、#皮命名為CIE1976(L*u*v)的、也一皮稱為CIELUV的CIE通過構(gòu)建實質(zhì)上感知均勻的三維色彩空間來解釋(accountfor)人視覺的心理物理學(xué)(psychophysics)。如本領(lǐng)域中所定義的,CIELUV中色彩的坐標(biāo)要求眾所周知的CIE1931XYZ中的色彩被相對于"白色點"的XYZ坐標(biāo)標(biāo)準(zhǔn)化(normalized)。CIELUV色彩空間的一個軸被命名為CIE1976明度,標(biāo)記為L*,并且使用XYZ中的、在原點(origin)處具有直線段的立方根函數(shù)來定義該軸。色彩沿著L+軸的位置僅僅包含與參考白色點有關(guān)地從其亮度(luminance)導(dǎo)出的信息。與參考白色點的色度有關(guān)地,CIELUV的其他兩個軸從圖像點的色度(ch讓aticity)導(dǎo)出。將圖像點的色度與參考白色點的色度之間的差乘以與y成比例的^直來才莫仿(mimic)以下心理-物理學(xué)效應(yīng),即其造成較暗的色彩來顯示較小的色度,由此導(dǎo)致CIELUV空間中的感知均勻性。C正LUV色彩空間的圓柱(cylindrical)表示也是有用的。L4由保持不變,而按照與所謂的色調(diào)(hue)H對應(yīng)的相位角和與所謂的色度C相關(guān)的半徑來表示由兩個笛卡爾色度軸定義的平面。在1976年,C正也^皮標(biāo)準(zhǔn)化為具有與CIELUV色彩空間的特性類似的特性的另一視覺上感知均勻的色彩空間,其被命名為CIE1976(L*a*b)、或者CIELAB,其也可以4姿照笛卡爾坐標(biāo)系(L乘a乘b)或者圓柱坐標(biāo)系(L乘色調(diào)H乘色度C)。在感知均勻的色彩空間中,這三個笛卡爾基(base)被命名為亮度(L)和色度(Cl、C2)。也可以按照被命名為色度(C)和色調(diào)角(H)的兩個極(polar)色度基來描述笛卡爾色度平面。由此,色度(C)被定義為兩個色度值(C1和C2)的平方之和的平方根,并且色調(diào)角(H)被定義為兩個色度維的比率(C2/C1)的反正切。眾多色域映射技術(shù)易于集中于2D或者3D幾何解決方案。這樣的技術(shù)堅持利用硬色彩壓縮/截切(clipping)或軟色彩壓縮/截切或者擴(kuò)展算法對源色域的部分進(jìn)行整形(reshape)/映射使得這些整形后/映射后的部分能夠符合目的色域。為了限制映射的視覺影響,一些算法使用了準(zhǔn)則。已知的準(zhǔn)則是例如色調(diào)保持(hueconservation)、色彩空間中映射的空間一致性(homogeneity)和對比度保留(preservation)。典型的2D幾何(geometric)映射方法是在CIEL*a*b色彩空間中執(zhí)行截切,更準(zhǔn)確地是在1^(3*子空間中執(zhí)行截切,其中,L是色彩的明度,并且e表示色彩的色度C*=V77^(高的CM直表示高的飽和級別)。在圖2中能夠觀察到硬色彩截切方法和軟色彩截切方法的例子,該圖是從1998年在Scottsdale的IS&T/SIDSixthColorImagingConference上發(fā)表的第57-61頁、4卡者為Montag,E.D.和Fairchild,M.D.、名禾t為"Gamutmapping:Evaluationofchromaclippingtechniquesforthreedestinationgamuts"的文章中選耳又的。在"直線截切(straightclipping)"中,在直4妻C、平移(directC*-shift)操作中將所有域外色彩都映射到目的域中,而未對明度LW故任何改變。較軟的色彩截切方法可以使用固定的錨點(anchorpoint)("節(jié)點截切")以確保更好地保留飽和級別。將在以下給出有關(guān)這樣的截切方法的更多細(xì)節(jié)。取決于要被最小化的準(zhǔn)則,一些色域映射算法具有比其他的色域映射算法較少的視覺影響。通常,要被最小化的準(zhǔn)則是全局性的,并且一般利用相同的算法來處理要被色彩映射的圖像的所有像素。這樣的方法不依賴于圖像中的局部變化,并且在某些情形下可能生成不合適的對比度(例如,增加了一致性區(qū)域(homogeneousarea)中的量化或者獲耳又(acquisition)噪聲)。使用這樣的信息的色域映射方法被稱作"內(nèi)容依賴",顯著地是"空間頻率依賴"。人的視覺研究教導(dǎo)人類觀察者趨于從粗大元素(coarseelements)到細(xì)小元素(fmeelements)地分層次處理場景中的浮見覺數(shù)據(jù)。通常這種行為^皮模擬為(modelafter)高斯金字塔、或者其他種類的信號處理工具,這些信號處理工具能夠從圖像內(nèi)的色彩值的從低到高的空間頻率分布中區(qū)別并且組織所述圖像的內(nèi)容。文檔US6961477公開了根據(jù)圖像內(nèi)色彩值的空間頻率內(nèi)容將不同的色域映射算法應(yīng)用到該圖像的不同區(qū)域。根據(jù)該文檔,原始圖像的區(qū)域被空間地分隔(segregate)為"雜亂(busy)"區(qū)域和"平滑"區(qū)域,并且每個區(qū)域與一個或者多個色域映射算法相關(guān)。這種解決方案的重要問題在于具有相同色彩值的相鄰像素的色彩映射可能在兩個區(qū)域的邊界處差異非常大,則引入了不可接受的偽像(artifact)。EP1098511、US2003/012427以及US6516089闡述了取決于要映射的圖像的空間頻率內(nèi)容的色域映射算法的其他例子。在US5450216中,根據(jù)涉及明度并且是非彩色的Uchroma)所謂的對比度敏感性函數(shù)(CSF),并且根據(jù)涉及色度的色度對比度敏感性函數(shù)(CCSF)(首先根據(jù)紅-綠色度,其次根據(jù)藍(lán)-黃色度),這樣的空間濾波采用了對明度改變和色度改變兩者不敏感的人的視覺響應(yīng)的不同空間頻率區(qū)域,然后以使對亮度改變和色度改變兩者的人的視覺響應(yīng)最小化的方式來允許色彩映射。例如,如在該文檔的第8欄第51-57行中所述的,僅僅在人眼對亮度變化相對不敏感但是對色度變化更敏感的低空間頻率處,在亮度的方向上對源色彩進(jìn)行映射,然后允許色度的最小改變。具有人的視覺系統(tǒng)(HVS)的特征的上述的CSF和CCSF是本領(lǐng)域中眾所周知的。圖3和圖4示出了在1985年倫敦JournalofPhysiology第359巻第381-400頁上發(fā)表的、作者是KathyT.Mullen、名稱為"Thecontrastsensitivityofhumancolorvisiontored-greenandblue-yellowchromaticgratings"的文章中給出的這樣的函數(shù)的例子。在圖3中,。(圓圈)符號指明基于利用綠色單色光柵(grating)在526nm處執(zhí)行的測量的CSF,□(方形)符號指明基于利用紅—綠光柵在526nm、602nm處執(zhí)行的測量的紅-綠CCSF。在圖4中,。(圓圈)符號指明基于利用黃色單色光柵在577nm處執(zhí)行的測量的CSF,□(方形)符號指明基于利用藍(lán)-黃光柵在577nm、470nm處執(zhí)行的測量的藍(lán)-黃CCSF。如1987年8月在JournaloftheOpticalSocietyofAmericaA第4巻第1583頁發(fā)表的、作者為AlanJohnston、名牙爾為"Spatialscalingofcentralandperipheralcontrast-sensitivityfunctions"的文章,也可以考慮其4也源,才艮才居人目艮的視網(wǎng)膜的不同部分給出CSF和CCSF的變化。圖5示出了一種將壓縮后的圖像處理為解壓縮的色域映射圖像的方法的典型圖圖像的解壓縮和色域映射兩者均使用空間頻率分析,但卻是完全分開的操作。
發(fā)明內(nèi)容本發(fā)明的目的是考慮節(jié)省計算資源而改進(jìn)這樣的方法。為了該目的,本發(fā)明的主題是一種將壓縮后的圖像處理為色域映射的解壓縮圖像的方法,包括以下步驟-將所述壓縮后的圖像熵解碼為多個相鄰的壓縮塊區(qū)域,-對每個壓縮后的塊區(qū)域進(jìn)行去量化,以便提供每個壓縮塊區(qū)域內(nèi)所述圖像的像素的色彩值的空間頻率分布,6-將每個塊區(qū)域的空間頻率分布逆變換為關(guān)于所述塊區(qū)域的每個像素的色彩值,-對于每個塊區(qū)域,根據(jù)所述塊區(qū)域內(nèi)的色彩值的空間頻率分布來選擇多個色域映射算法中的一個,-使用為所述圖像的每個塊區(qū)域選擇的色域映射算法對所述塊區(qū)域的色彩值進(jìn)行域映射,以便提供所述色域映射的解壓縮圖像。使用頻率變換來組織圖像數(shù)據(jù)示出了在圖像壓縮和內(nèi)容依賴的域映射之間的令人感興趣的關(guān)系。事實上,對解壓縮和色域映射兩者均使用共同的變換有利于顯著地節(jié)省解碼器中的計算資源。而且,如在許多的情形中,在壓縮之前將圖像數(shù)據(jù)轉(zhuǎn)換到明度-色度色彩空間(典型的YUV),色域映射也可以利用這樣的轉(zhuǎn)換。根據(jù)本發(fā)明,在壓縮后的圖像中包含的空間頻率分析不僅用于圖像的解壓縮而且用于合適的色域映射算法的選擇。因為對于合適的色域映射算法的選擇不需要特定的空間頻率分析,因測節(jié)省了計算資源。有利地,如果通過至少明度(或亮度)值以及色度值來表示每個像素的色彩值,則在所述選l^步驟中-將使色度值的變化最小化的色域映射算法與其中明度值以及色度值兩者主要分布在低于0.4周每度的低空間頻率范圍中的所有塊區(qū)域相關(guān)聯(lián),-將使明度(或亮度)值的變化最小化的色域映射算法與其中明度(或亮度)值以及色度值兩者主要分布在0.4周每度以上的高空間頻率范圍中的所有塊區(qū)域相關(guān)聯(lián)。在色域映射中,一般使用CIELab色彩空間來執(zhí)行明度-色度轉(zhuǎn)換,但在此使用更多地兼容壓縮的所謂的YUV色彩空間是非常有利的,這是因為其非常符合壓縮后的JPEG/MPEG圖^f象數(shù)據(jù)流。YUV色彩空間對應(yīng)于作為ITU-RBT601標(biāo)準(zhǔn)的一部分而開發(fā)的YCbCr色彩空間。優(yōu)選地,如果通過至少明度(或亮度)值以及色度值來表示每個像素的色彩值,如果在每個塊區(qū)域內(nèi),定義所述塊區(qū)域內(nèi)的明度(或亮度)值的空間頻率分布的空間帶寬,并且定義所述塊區(qū)域內(nèi)的色度值的空間頻率分布的空間帶寬,則根據(jù)用于所述塊區(qū)域內(nèi)的所述明度(或亮度)空間帶寬的對比度敏感性函數(shù)(CSF)的值與用于相同塊區(qū)域內(nèi)的所述色度空間帶寬的色度對比度敏感性函數(shù)(CCSF)的值之間的差,來對所述塊區(qū)域執(zhí)行所述選"t奪步驟。優(yōu)選地,每個壓縮塊區(qū)域包含8x8像素。優(yōu)選地,壓縮后的圖像與JPEG或者M(jìn)PEG壓縮標(biāo)準(zhǔn)兼容。該處理方法也可應(yīng)用于圖像序列,如視頻序列。閱讀以下通過非限制性的例子并且參照附圖給出的描述將更清楚地理解本發(fā)明,在附圖中-圖1圖示了圖像壓縮的典型策略(scheme);-圖2圖示了使用具有錨點的色彩截切方法的不同的色域映射算法;-圖3示出了對比度敏感性函數(shù)(CSF)和紅-綠色度對比度敏感性函數(shù)(CCSF);-圖4示出了對比度敏感性函數(shù)(CSF)和藍(lán)-黃色度對比度敏感性函數(shù)(CCSF);-已經(jīng)提到的圖5公開了圖像的壓縮、解壓縮和色域映射的整個序列,其中解壓縮和色域映射兩者均使用根據(jù)現(xiàn)有技術(shù)被分開執(zhí)行的空間頻率分析;-圖6公開了圖像的壓縮、解壓縮和色域映射的整個序列,其中解壓縮和域映射使用根據(jù)本發(fā)明的相同的空間頻率分析;-圖7圖示了將圖像像素的塊區(qū)域變換為表示該塊區(qū)域內(nèi)的色彩的空間頻率分布系數(shù)的矩陣;圖7圖示了用于圖像壓縮的2D圖像空間和2D空間頻率域之間的變換、用于壓縮后的圖像的解壓縮的逆變換;-圖8表示對于圖像的8x8像素的塊區(qū)域,在水平和垂直兩個方向上空間頻率的作用(contribution);-圖9表示多個色域映射算法中的一個,其在本發(fā)明的主要實施例的第五步驟中用于每個塊區(qū)域;-圖IO表示圖9的色域映射算法的、對于中央?yún)^(qū)域的錨點的位置的變化的AL函數(shù);-圖11圖示使用圖9中所例示的多個色域映射算法的、根據(jù)本發(fā)明的一種將壓縮后的圖像處理為解壓縮的色域映射圖像的方法的主要實施例的不同步驟;-圖12表示圖11中的、關(guān)于使用來自壓縮后的圖像的空間頻率分析數(shù)據(jù)來對要被用于色域映射的色域映射算法進(jìn)行選擇的細(xì)節(jié)。具體實施例方式雖然參照附圖在此描述了說明性的實施例,但要理解的是本原理不限于這些明確的實施例,并且可以由相關(guān)領(lǐng)域的普通技術(shù)人員在不脫離本原理的范圍或者精神的情況下在其中實施各種改變和修改。所有這些改變和修改意圖被包括在所附的權(quán)利要求書中闡述的本原理的范圍之內(nèi)。本描述說明了本發(fā)明的原理。要理解的是,本領(lǐng)域技術(shù)人員將能夠設(shè)計出盡管未在此明顯地描述或者示出、但卻體現(xiàn)了本原理并且被包括在本原理的精神和范圍之內(nèi)的各種布置。本領(lǐng)域技術(shù)人員將理解的是在此呈現(xiàn)的框圖和流程圖表示體現(xiàn)本原理的說明性電路的概念性視圖。在圖中示出的各種元件的功能可以通過使用專用硬件以及使用能夠與合適的軟件相關(guān)聯(lián)地執(zhí)行軟件的硬件來提供。當(dāng)通過處理器來提供該功能時,可以通過單一的專用處理器、通過單一的共享處理器,或者通過多個單獨的(individual)處理器(其一部分可以被共享)來提供該功能。合適的軟件可以被實現(xiàn)為在程序存儲單元上確實體現(xiàn)的應(yīng)用程序。已經(jīng)提到過,根據(jù)本發(fā)明的方法被適配為處理如圖l所圖示的被壓縮的圖像。要壓縮的圖像被分成相鄰的塊區(qū)域并且被分解(decompose)為示出附于該圖像的像素的色彩值的空間頻率分布的系數(shù);圖像的在每個像素周圍的空間部分必須要被從2D圖像空間重新映射到2D頻率空間。完成該操作的公知方式是對像素的每個塊區(qū)域內(nèi)的每個像素的附近進(jìn)行離散余弦變換(DCT)(DCT被顯著地用于Jpeg和Mpeg壓縮)。DCT將色彩值矩陣變換成表示圖像的空間頻率分解系數(shù)的矩陣。圖7圖示了對要壓縮的圖像的8x8像素的塊區(qū)域進(jìn)行DCT處理的例子。在空間頻率空間中,x方向上的系數(shù)表示圖像的垂直頻率,y方向上的系數(shù)表示水平頻率。使用以下公知表達(dá)式來執(zhí)行該DCT變換,其中N表示矩陣的尺寸w-iw—i;z"1;r1》m(")cos[^7("l+,]cos[77("2+:^]|=02=o7V27V2由該變換得到的NxN系數(shù)矩陣表示圖8中表示的、N4的空間頻率的作用。DCT變換是空間到頻率變換的一個例子,但能夠應(yīng)用2D頻率空間中的其他分析技術(shù),諸如傅里葉變換、小波、由濾波器組(bank)定義的其他子帶(sub-band)、或者其他。在量化之后,應(yīng)用一j&的熵編碼以減少量化后的空間頻率分布系數(shù)的尺寸以便獲得壓縮后的圖像?,F(xiàn)在將參照圖6、圖9-12說明根據(jù)本發(fā)明的將該壓縮后的圖像處理為至少一個域映射圖像的方法的實施例。應(yīng)當(dāng)預(yù)先定義多個色域映射算法以及才艮據(jù)任何給定的塊區(qū)域內(nèi)的色彩值的空間頻率分布對域映射算法的選擇規(guī)則。在此提出的多個色域映射算法基于色彩截切方法。如已經(jīng)解釋的,色彩截切方法在映射色彩空間中沿著錨定(anchor)到錨點的映射軌跡對色彩進(jìn)行映射。這些色彩映射軌跡通常是直線。這些錨點通常屬于色彩空間的所謂的非彩色軸或者L+軸(或者"灰線")。能夠根據(jù)源和目的域的形狀來選擇這些錨點,例如,諸如由Montag和Fairchild在他們的于1998年在Scottsdale的IS&T/SIDSixthColorImagingConference上發(fā)表的、名稱為"Gamutmapping:Evaluationofchromaclippingtechniquesforthreedestinationgamuts"的論文中所描述的。如何沿著這樣的色彩映射軌跡移動色彩的方式能夠變化。簡單的映射算法沿著色彩映射軌跡將目標(biāo)色域之外的所有色彩截切到目標(biāo)色域的表面(surface)上。更復(fù)雜的色彩映射算法通過線性標(biāo)度(scale)沿著色彩映射軌跡線性地壓縮所有的色彩,使得這些色彩保持相同的映射軌跡但卻都在目的色域的內(nèi)部。還更復(fù)雜的是,非線性參數(shù)函數(shù)對這些色彩應(yīng)用特定的、有時分段(piece-wise)定義的標(biāo)度操作,以沿著目標(biāo)色域內(nèi)部定義的線移動這些色彩。例如,Braun和Fairchild在他們的于1999年P(guān)roceedingsofSPIEElectronicImagingConference(EIi99)發(fā)表的、名牙爾為"ImageLightnessRescalingUsingSigmoidalContrastEnhancementFunctions"的出版物中建議了一種非線性的、S-形的函數(shù)。當(dāng)從源域向目的域映射色彩時,以上引用的論文使用直線的色彩映射軌跡、可變的錨點以及定義映射直線上的色彩需要被移動多遠(yuǎn)的映射函數(shù)。映射軌跡、錨點和映射函數(shù)可以是固定的或者被適配于在給定的映射色彩空間中的源和目標(biāo)域邊界。在這里參照圖6提出的色域映射算法中,將映射色彩子空間1^0:*劃分為三個區(qū)域,最小明度的第一區(qū)域、最大明度的第二區(qū)域、以及中間明度的第10三中央?yún)^(qū)域;在第一區(qū)域中,根據(jù)都被錨定到位于I^軸上的L齒處的相同的第一固定錨點的直線來對源色彩進(jìn)行映射;在第二區(qū)域中,才艮據(jù)都一皮錨定到位于I^軸上的Lmax處的相同的第二固定錨點的直線來對源色彩進(jìn)行映射;以及在第三區(qū)域中,根據(jù)被錨定到位于LM由上的L誦與L隨之間的不同的并且可變的錨點的直線來對源色彩進(jìn)行映射。在圖9中,錨點的位置的變化范圍是AL二(L,麗-L畫,)/2并且該范圍的中心對應(yīng)于L0=Lmin+AL。由Chae-SooLEE、Chae-HeeLEE和Yeong-HoHA在JournalofImagingScienceandTechnology(2000年1月—2月)第44巻第1冊第68-89頁上發(fā)表的、名稱為"Parametricgamutmappingalgorithmsusingvariableanchorpoints"的文章說明了這樣的映射方法。色域映射算法的選擇規(guī)則將使用CSF和CCSF?,F(xiàn)在將參照圖3和圖4給出關(guān)于這些敏感性函數(shù)的更多細(xì)節(jié)。以周每度(cycleperdegree-cpd)表示CSF和CCSF??梢钥闯黾t-綠和藍(lán)-黃色彩對比度敏感性函數(shù)(CCSF)具有低通特性,非彩色的敏感性函數(shù)(CSF)更多地具有帶通特性。對于低于大約0.4cpd的空間頻率,CCSF比CSF高,4旦對于高于大約0.4cpd的頻率,CCSF變得低于CSF。以下我們將看到已開發(fā)了CSF和CCSF函數(shù)的一些代數(shù)模型。正是HVS的這些特性,我們在本發(fā)明的該實施例中提出考慮以連選擇。不應(yīng)當(dāng)將局部對比度的概念與顯示屏幕的對比度的概念混淆。即使屏幕上較黑的像素非常黑而較白的像素非常白,指示了非常好的全局對比度時,圖像可能由于低的局部對比度等級而接合(seam)很差。因為良好的局部對比度給出了攝影師稱為圖像的"pop"的東西,因此保留圖像的局部對比度是非常重要的。色域映射算法的選擇規(guī)則的主要基礎(chǔ)(ground)被適配為盡可能地保留要映射的圖像的局部對比度其允許確定明度保留是否應(yīng)當(dāng)優(yōu)于色度保留或者相反。通過分析要映射的圖像的每個像素周圍的(即,局部的)色彩值的空間頻率分布,我們能夠確定是否呈現(xiàn)一些高頻并且設(shè)置F隨的值??紤]到圖像的空間頻率以及如下解釋的觀看條件,優(yōu)選地以周每度來表示該空間頻率。然后計算該頻率Fmax的CSF和CCSF之間的差,并且如下解釋的,從該差計算錨點的位置的變化范圍AL。在要映射的圖像的、其中空間頻率分解對明度以及色度兩者均指示非常低的頻率的一致性部分中,CCSF高于CSF。在這個情形中,HVS對于色度對比度比對于明度對比度更敏感。AL的值則為零,意味著錨點是固定的,并且選^t奪節(jié)點(Node)色彩截切算法(見圖2)作為最合適的以通過使色度變換最小化而保留局部對比度。相反,在要映射的圖像的更具紋理(texture)的部分中,該部分由對明度以及色度兩者均非常高的空間頻率組成,CSF高于CCSF,指示HVS更敏感于明度對比度。對于這種情形,AL的值是Al^Lmax-L。,意味著錨點的位置在y軸上是可變的并且可以在與要映射的色彩的明度相對應(yīng)的明度處進(jìn)行選擇,意味著然后選擇直線截切算法(見圖2)作為保存明度局部對比度的最佳算法。也可以從色域的形狀推導(dǎo)出U。例如,選擇Lo作為該域具有其最大的色度處的亮度。對于U的一個合理值是50。以上這兩種情形對應(yīng)于CSF和CCSF的極端值,分別用于非常低和非常連續(xù)的方式設(shè)置AL的值。這意味著選擇規(guī)則不僅被適配為管理低頻和高之間的所有頻率。有利地,根據(jù)HVS來管理空間頻率的所有值,而在處理中沒有不連續(xù)的步階(step),并且沒有引入偽像的邊界。這意味著AL的從AL=Lmax-L(,到AL二0的連續(xù)變化允許通過使用可變的錨點概念從直線截切方法連續(xù)地過渡(pass)到節(jié)點截切方法?,F(xiàn)在將詳述錨點的位置的變化范圍AL的詳細(xì)計算。為了具有亮度空間頻率以及色度空間頻率兩者影響對比度保留項AI^O,提出了定義該項為具有亮度空間帶寬F。CTL圓max和色度空間帶寬FDCTChrom—max作為輸入?yún)?shù)的函數(shù)△L(.),現(xiàn)在將定義這些輸入?yún)?shù)。在圖像Im(i,j)的離散余弦變換F(x,y)的情形下,通常地講,能夠?qū)⒖臻g帶寬W籠定義為圖像信號達(dá)到了其95%(或者更低的百分比)能量的空間頻率l、》隨值,如下----=0.95。其對應(yīng)值以周每度(cpd)被定義為i^^^,.Y=0少'=:0其中O(是以度表示的圖像的像素的觀看角度,提供了有關(guān)"局部表示"的空間頻率的信息。類似的,能夠分別參照CSF和CCSF定義亮度空間帶寬WDCTLummax和色度空間帶寬WDCTChrommax的值。使用觀看角度cx的值,從WDCTLum—max和WDCTChrom—max的^直類似、;也4,斷出FDCTLum—max和FDCTChrom—max。通過使用由J.A.Movshon禾口L.Kiorpes在JournaloftheOpticalSocietyofAmerica(1988年),A5,第2166-2172頁上發(fā)表的、名稱為"Analysisofthedevelopmentofspatialcontrastsensitivityinmonkeyandhumaninfants,,的文章中以及由G.MJohnson和M.DFairchild在Scottsdale24-30(2001)的IS&T/SID9thColorImagingConference上發(fā)表的、名稱為"DarwinismofColorImageDifferentModels"的文章中給出的代數(shù)公式,可以以頻率F的函數(shù)來表達(dá)對比度敏感性函數(shù)和色度對比度敏感性函數(shù)其中將參數(shù)a,b,c,a,,b,,c,,a2,b2,C2定義為符合人的視覺,例如在已經(jīng)引用的Johnson和Fairchild的文章中的并且如被復(fù)制到下表1和2中的表1<table>tableseeoriginaldocumentpage13</column></row><table>表2<table>tableseeoriginaldocumentpage13</column></row><table>盡管之前的描述(見圖3和4)參照兩個不同函數(shù),即紅-綠CCSF紅-綠(F)和黃-藍(lán)CCSF黃.籃(F),但在此兩個CCSF函數(shù)被合并為僅僅一個函數(shù)CCW色泣("=^/^C5[錄("2+CGSF黃—藍(lán)(F)1。兩個CCSF的這樣的合并是可以的,因為紅-綠和藍(lán)-黃CCSF表現(xiàn)出具有大約相同的特性,顯著地是類似的截止頻率(比亮度截止頻率要低),并且還因為我們主要地對亮度-色度的去相關(guān)性(decorrelation)感興趣。與在域映射算法中使用歐幾里得距離C*=Va*2+6*2不同,使用類似2到1的轉(zhuǎn)換策略,將兩個CCSF合并為單一的CCSF。如已經(jīng)在上面陳述過的,由于要滿足的限制條件是對于低空間頻率范圍中CCSF>>CSF,△L=0,對于較高的空間頻率范圍中CCSFCSF,△L=MIN{Lmax-LQ;L。},以及在中間的其中0<△L<MIN{Lmax-L。;L。}的中間狀況并且在所有情形之間平滑過渡,可以根據(jù)亮度空間帶寬FDCTLum一max和色度空間帶寬FDCTCh,一麗這兩者使用以下的函數(shù)AL(.)來計算錨點的位置的變化范圍AL:、乂2、1+'其中口cw,匪w,,max)-CCSF(F醒屮max),并且k是平滑正常數(shù)。圖10圖示了用于k的不同值的這樣的函數(shù)△L(.)。盡管高的k值使得該定義(definition)接近于非線性的解決方案,較低的k值(顯著地小于等于1)確保了在亮度保留和色度保留的域映射方法之間的平滑過渡。使用這個△L(.)函數(shù)來定義錨點的位置的變化范圍△L,現(xiàn)在將多個域映射算法定義為使用每三個區(qū)域的截切方法中央?yún)^(qū)域,具有在中央值U周圍在AL范圍中變化的可變的錨點,該中央?yún)^(qū)域位于固定的錨點的兩個區(qū)域之間,這些固定的錨點中的一個位于Lo+AL,另一個位于U-AL。而且,現(xiàn)在定義選擇規(guī)則,其將要映射的圖像的給定的塊區(qū)域內(nèi)的色彩值的任何空間頻率分布關(guān)聯(lián)到必須要被用于對該給定塊的色彩進(jìn)行映射的一個色域映射算法。圖9表示使用錨點的多個色域映射截切方法中的典型的一個,在本發(fā)明的這個實施例中,不僅示出了三個區(qū)域,不僅示出了中央?yún)^(qū)域的錨點的位置的變化范圍AL,而且示出了不同的截切軌跡,這些截切軌跡都是經(jīng)過位于明度軸上的錨點的直線。參照圖11,現(xiàn)在可以處理一種將壓縮后的圖像處理為域映射圖像的方法的實施例的不同步驟。在初始步驟中,確定L。和L醒的值。L編x是最大明度值,其在CIELAB空間的情形中是100。對于U的一個合理的值是50。L皿x和Lo可以對圖像的所有塊保持為恒定。另一可能性是從塊的空間附近的塊的平均明度來計算L0。U不應(yīng)當(dāng)大于顯示白色的明度或者不應(yīng)當(dāng)小于顯示黑色的明度。第一步驟是將壓縮后的圖像熵解碼為多個相鄰的壓縮塊區(qū)域,這本質(zhì)上是已知的并且不做詳述。14第二步驟是將解碼后的圖像進(jìn)行去量化(dequantize),以便提供該圖像的每個塊區(qū)域內(nèi)該圖像的像素的色彩值的空間頻率分布。每個塊區(qū)域?qū)?yīng)于圖像已被壓縮的、通常包含圖像的8x8像素的塊。由于壓縮后的圖像已經(jīng)根據(jù)DCT變換被壓縮,因此所獲得的所有系數(shù)是DCT系數(shù)。對于給定的塊區(qū)域在x方向上獲得的DCT系數(shù)表示該塊區(qū)域的色彩值的垂直空間頻率分布,在y方向上獲得的DCT系數(shù)表示該塊區(qū)域的色彩的水平空間頻率分布。對于每個塊區(qū)域,對于亮度Y獲得DCT系數(shù)矩陣,對于兩個色度分量U、V的每一個獲得DCT系數(shù)矩陣。YUV色彩空間近似地對應(yīng)于YCbCr色彩空間,YCbCr色彩空間是作為ITU-RBT601標(biāo)準(zhǔn)的一部分而開發(fā)的,Y代表亮度,Cb表示藍(lán)色和Y之間的色差,Cr指示紅色和Y之間的色差。YUV傳統(tǒng)上表示來自0-255的、未標(biāo)度的值,然而YCbCr標(biāo)度(scale)并且將亮度鉗制(clamp)在16-235之間的范圍并且將色度鉗制在216-240的范圍。在該第二步驟的結(jié)束處,對于圖像的每個塊區(qū)域,則可得到三個矩陣。在每個塊區(qū)域內(nèi),U和V矩陣則被合并為一個色度矩陣,以便為該算法提供色度頻率分布分析的標(biāo)量(scalar)值?;谥霸斒龅脑摌?biāo)量CCSF計算,我們再次使用利用歐幾里得距離值的粗略近似。因此,對于每個DCT系數(shù),我々]i十算DCT^^-VdcT^+DCT;2。參照圖12,利用特定的觀看條件,意圖在該觀看條件下顯示色域映射圖像,并且顯著地利用觀看者距該顯示的距離(即觀看的角度oc),以本質(zhì)上已知的方式將DCT亮度矩陣的所有系數(shù)和DCT色度矩陣的所有系^:從"周每像素"單位變換到"周每度"單位。然后根據(jù)亮度空間帶寬WDCTLum—隨和色度空間帶寬WDCTChrom—臓先前的定義(見以上)計算亮度空間帶寬WDCTLum—隨和色度空間帶寬WDCTChrom—max的值亮度信號或者色度信號的帶寬是在其以下包括信號95%能量的頻率限制。使用觀看的角度a的值,分別從WDCTLUm—max和WDCTChrommax的{直4,斷出FDCTLumjliax和FDCTChrom—腿x的{直。第三步驟是,對于每個塊,將這三個矩陣逆DCT變換為對于該塊區(qū)域的每個像素的色彩值,即,亮度值和色度值。這樣的步驟對應(yīng)于圖7中的圖示的變換的逆變換。這樣的步驟本質(zhì)上是已知的并且不在本描述中詳述。第四步驟是將每個塊區(qū)域與一個AL值進(jìn)行關(guān)聯(lián),以允許該塊區(qū)域的特定的色域映射算法的定義(definition)。該第四步驟的目的基本上是將空間頻率分布(DCT系數(shù))與對比度敏感性函數(shù)以及與合并后的色度對比度敏感性函數(shù)進(jìn)行比較,以便為隨后的色彩映射步驟決定是偏向(favor)亮度保留還是偏向色度保留??梢栽?x8塊的邊界上添加額外的平滑操作,以避免在隨后的映射步驟期間的突發(fā)(abrupt)變化。使用以空間頻率F的函數(shù)表示的CSF和CCSF的代數(shù)公式(見以上),為F=FDCTI,—隨計算CSF(F)的值并且為F=FDCTChrom—隨計算CCSF(F)的值。然后,使用以上的△L(x)函數(shù)的定義,為x=CSF(FDCTLum—max)-CCSF(FDCTCh,—醒)計算△L(x)的值。根據(jù)該計算值△L,選擇用于每個塊區(qū)域的一個域映射算法?,F(xiàn)在清楚地定義了將被用來對每個塊的色彩進(jìn)行色彩映射的截切方法的錨點的位置,并且對于要色彩映射的圖像的每個塊區(qū)域,根據(jù)該塊區(qū)域內(nèi)的色彩值的空間頻率分布選擇多個域映射算法中的一個。第五步驟以及最后的步驟是對于圖像的每個塊區(qū)域,通過使用在第四步驟中為該塊所選擇的特定的截切方法,已由第三步驟獲得的色彩值的域映射具有如上定義的三個區(qū)域,從而最終提供解壓縮的色域映射圖像。有利地,對于解壓縮以及對于色域映射兩者均使用相同的DCT矩陣允許顯著地節(jié)省計算資源。全局地,通過提供聯(lián)合的(joint)解壓縮和基于內(nèi)容的域映射系統(tǒng),能夠節(jié)省計算資源,這是由于兩個操作共享共同的圖像分析工具,即亮度-色度轉(zhuǎn)換和空間-頻率變換。而且,由于在亮度-色度色彩空間(典型的YUV)中圖像數(shù)據(jù)可用,因此對于色域映射而言這樣的色彩空間也是有利的。事實上,在色域映射中,通常使用CIElab色彩空間來執(zhí)行亮度-色度轉(zhuǎn)換,但是使用更多地兼容壓縮的色彩空間YUV可以是合理的近似。同樣,局部離散余弦變換(DCT)被有利地用于映射圖像。這直接很好地符合了JPEG/MPEG數(shù)據(jù)流,因為這些標(biāo)準(zhǔn)也使用局部(8x8塊)DCT變換。由于小波變換跟蹤圖像中的空間內(nèi)容和譜(spectral)內(nèi)容這兩者,也可以使用基于小波變換的諸如JPEG2000之類的其J也壓縮標(biāo)準(zhǔn)。圖6示出了根據(jù)本發(fā)明的將壓縮后的圖像處理為解壓縮的色域映射圖像的方法的全局圖與圖5中所示的經(jīng)典圖相反,圖像的解壓縮和色域映射使用相同的空間頻率分析。要理解的是,已通過例子的方式完全地描述了本發(fā)明,并且可以做出對細(xì)節(jié)的修改而不脫離本發(fā)明的范圍。當(dāng)壓縮后的圖像包含如例如在US6633668中公開的(見第4欄第20-24行)專用于圖像的色域的描述時,本發(fā)明的處理方法可以包含提取該描述的額外步驟(見第4欄第55行到第5欄第9行),該描述然后例如與色彩再現(xiàn)設(shè)備的色域的描述相結(jié)合地用于本發(fā)明的色域映射步驟。雖然關(guān)于優(yōu)選的實施例描述了本發(fā)明,但要理解得是本發(fā)明不限于這些實施例。如對于本領(lǐng)域技術(shù)人員而言明顯的,如所要求的,本發(fā)明因此包括偏離在此描述的特定例子和優(yōu)選實施例的變型。雖然可以分開地描述并且要求特定實施例中的一些,但要理解的是在此描述和要求的實施例的各種特征可以結(jié)合起來使用。權(quán)利要求1.一種將壓縮后的圖像處理為色域映射的解壓縮圖像的方法,包括以下步驟-將所述壓縮后的圖像熵解碼為多個相鄰的壓縮塊區(qū)域,-對每個壓縮后的塊區(qū)域進(jìn)行去量化,以便提供每個壓縮塊區(qū)域內(nèi)所述圖像的像素的色彩值的空間頻率分布,-將每個塊區(qū)域的空間頻率分布逆變換為關(guān)于所述壓縮塊區(qū)域的每個像素的色彩值,-對于每個壓縮塊區(qū)域,根據(jù)所述壓縮塊區(qū)域內(nèi)的色彩值的空間頻率分布來選擇多個色域映射算法中的一個,-使用為所述圖像的每個壓縮塊區(qū)域選擇的色域映射算法對所述塊區(qū)域的色彩值進(jìn)行域映射,以便提供所述色域映射的解壓縮圖像。2.根據(jù)權(quán)利要求1所述的處理的方法,其特征在于,如果通過至少明度或亮度值以及色度值來表示每個像素的色彩值,則在所述選擇步驟中-對于其中明度或亮度值以及色度值兩者主要分布在低于0.4周每度的低空間頻率范圍中的所有塊區(qū)域,選擇使色度值的變化最小化的色域映射算法,-對于其中明度或亮度值以及色度值兩者主要分布在0.4周每度以上的高空間頻率范圍中的所有塊區(qū)域,選擇使明度或亮度值的變化最小化的色域映射算法。3.根據(jù)權(quán)利要求1或者2所述的處理的方法,其特征在于,如果通過至少明度或亮度值以及色度值來表示每個像素的色彩值,如果在每個塊區(qū)域內(nèi),定義所述塊區(qū)域內(nèi)的明度或亮度值的空間頻率分布的空間帶寬,并且定義所述塊區(qū)域內(nèi)的色度值的空間頻率分布的空間帶寬,則根據(jù)用于所述塊區(qū)域內(nèi)的所述明度或亮度空間帶寬的對比度敏感性函數(shù)(CSF)的值與用于相同塊區(qū)域內(nèi)的所述色度空間帶寬的色度對比度敏感性函數(shù)(CCSF)的值之間的差,來對所述塊區(qū)域執(zhí)行所述選擇步驟。4.根據(jù)前述權(quán)利要求中的任一項的處理的方法,其特征在于每個壓縮塊區(qū)域包含8x8像素。5.根據(jù)前述權(quán)利要求中的任一項的處理的方法,其特征在于所述壓縮后的圖像與JPEG或者M(jìn)PEG壓縮標(biāo)準(zhǔn)兼容。全文摘要壓縮后的圖像中包含的空間頻率分析不僅用于圖像的解壓縮而且用于合適的域映射算法的選擇。因為對于合適的域映射算法的選擇不需要特定的空間頻率分析,因此節(jié)省了計算資源。文檔編號H04N7/30GK101583040SQ20091014125公開日2009年11月18日申請日期2009年5月14日優(yōu)先權(quán)日2008年5月14日發(fā)明者于爾根·斯托德,帕斯卡爾·鮑登,西爾萬·西鮑德申請人:湯姆森特許公司