本發(fā)明涉及一種半?yún)⒖紙D像質(zhì)量評價方法，具體涉及一種基于光譜殘差的半?yún)⒖紙D像質(zhì)量評價方法。

背景技術(shù)：

圖像質(zhì)量評價(iqa)是圖像處理中的一個基本問題，是許多應(yīng)用的關(guān)鍵，如感知最佳編碼器設(shè)計、圖像通信和圖像恢復(fù)等。根據(jù)原始圖像的可用性，iqa可以分為三類：全參考iqa(fr-iqa)，無參考iqa(nr-iqa)和半?yún)⒖糹qa(rr-iqa)。fr-iqa需要整個原始圖像，nr-iqa不需要原始圖像的任何信息，而rr-iqa需要原始圖像的部分信息。對于rr-iqa來說，度量的核心問題是特征提取。圖像的特征可以是局部的或全局的。全局特征描述整個圖像的視覺特征。例如，wang,z.,wu,g.,sheikh,h.r.,simoncelli,e.p.,etal.:’quality-awareimages’,ieeetrans.imageprocess,2006,15,(6),pp.1680–1689一文中，wnism方法是通過廣義高斯密度函數(shù)對可轉(zhuǎn)角金字塔系數(shù)的分布進行建模，將分布參數(shù)估計為圖像特征。為了進一步提高wnism的性能，li,q.,wang,z.:’reduced-referenceimagequalityassessmentusingdivisivenormalization-basedimagerepresentation’,ieeejournalofselectedtopicsinsignalprocessing,2009,3,(2),pp.202–211一文中引入了分解歸一化轉(zhuǎn)換，以消除系數(shù)相關(guān)。其它文獻中也使用類似的方法。由于人類視覺系統(tǒng)的多通道性質(zhì)，還有人建議，使用基于圖像表示的幾何系數(shù)的歸一化直方圖。

另一方面，局部特征描述了圖像小斑點的視覺特征。例如，基于信息理論，soundararajan提出的rred計算每個3×3塊的小波系數(shù)的局部熵作為圖像特征來測量圖像質(zhì)量。在文獻shnayderman,a.,gusev,a.,eskiciogl,a.:’ansvd-basedgray-scaleimagequalitymeasureforlocalandglobalassessment’,ieeetrans.imageprocess.,2006,15,(2),pp.422–429中，采用奇異值分解(svd)提取圖像8×8像素塊的奇異值作為圖像特征，以量化圖像質(zhì)量。從分形分析理論的角度，還有人提出了spcrm來測量參考圖像和失真圖像之間的相位一致性的局部規(guī)律性的差異。在文獻xu,y.,liu,d.,quan,y.,etal.:’fractalanalysisforreducedreferenceimagequalityassessment’,ieeetrans.imageprocess,2015,24,(7),pp.2098–2109中，根據(jù)人眼對不同頻帶的敏感度不同，每個頻帶的失真導(dǎo)致單個質(zhì)量下降，局部分形維數(shù)用于分別計算不同頻帶上的視覺信息降解以進行質(zhì)量評估。如我們所知，rr-iqa期望使用更少的參考圖像數(shù)據(jù)并實現(xiàn)更高的預(yù)測精度，因此這些方法的缺點是使用了參考信息的數(shù)量較多。

雖然上述圖像全局特征在rr-iqa上實現(xiàn)了一些良好的性能，但仍然存在一些問題。一個問題是，rr-iqa度量使用的一些特征直接從圖像中提取出來，并沒有考慮到在人類視覺系統(tǒng)中不是所有的失真都是可區(qū)分的，例如srrm方法。另一個問題是，rr-iqa度量使用的某些圖像特征在不同的失真類型上并不是魯棒性的。它們對于共享相同失真類型的圖像性能良好，但是當涉及多種失真類型時，它們的評價效果不好，例如wnism。因此，需要提出一種在不同失真類型之間的一致性好的圖像評價方法。

技術(shù)實現(xiàn)要素：

本發(fā)明克服現(xiàn)有技術(shù)存在的不足，所要解決的技術(shù)問題為：提供一種基于光譜殘差的半?yún)⒖紙D像質(zhì)量評價方法，以提高半?yún)⒖紙D像質(zhì)量評價的一致性。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種基于光譜殘差的半?yún)⒖紙D像質(zhì)量評價方法，其特征在于，包括以下步驟：s101、計算待評價圖像id的殘余譜規(guī)則性值rsr(id)；s102、計算參考圖像ir的殘余譜規(guī)則性值rsr(ir)；s103、計算待評價圖像與參考圖像的rsrm值，計算公式為：rsrm(ir，id)＝||rsr(ir)-rsr(id)||1；s104、根據(jù)rsrm值大小來評價圖像質(zhì)量，rsrm值越小，說明圖像質(zhì)量越好；所述待評價圖像和參考圖像的殘余譜規(guī)則性值rsr的計算過程為：計算圖像i的梯度大小g(i)；計算圖像i和g(i)的小波系數(shù){dwt(i)，dwt(g(i))}；計算小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的光譜殘差sr；計算小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的顯著值sm；通過分形維數(shù)對各個組分的顯著值進行編碼，得到各個組分的顯著值sm的殘余譜規(guī)則性值rsr，計算公式為rsr(i)＝{fd[sm(dwt(i)，dwt(g(i))]}}，所述dwt表示小波系數(shù)，fd表示分形維數(shù)。

小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的光譜殘差sr的計算公式為：式中，l(f)＝log(a(f))，a(f)＝abs(f(i(x)))，a(f)表示圖像i的振幅譜，l(f)表示對數(shù)譜；hn表示頻域大小為n的平均濾波器，表示卷積運算，f表示傅里葉變換，x表示圖像空域，f表示圖像頻域。

所述hn表示頻域大小為3的平均濾波器。

小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的顯著值sm的計算公式為：式中，g(x)表示空間域中的二維高斯濾波器，f^-1表示逆傅里葉變換，p(f)＝angle(f(i(x)))，表示圖像i的相位譜；所述表示卷積運算。

所述梯度大小g(i)計算公式為：

所述表示卷積運算，

所述小波系數(shù)的計算公式為：

式中，i表示圖像，x和y表示圖像坐標，表示daubechie小波函數(shù)中的“db2”小波，m和n表示小波尺度，i和j表示像素位置，m和n表示圖像的大小。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下有益效果：本發(fā)明通過利用小波、光譜殘差和分形維數(shù)來對圖像質(zhì)量進行評價。小波旨在模擬人類視覺系統(tǒng)的多通道結(jié)構(gòu)，sr可以指示圖像的顯著性，分形分析可以將sr編碼為圖像特征。首先通過小波變換提取圖像子帶；然后獲得sr以及sm以表示每個子帶的顯著性；然后用分形維數(shù)用于測量sm的不規(guī)則度；最后，所有計算的分形維數(shù)被連接成特征向量，通過比較待評價圖像的分形維數(shù)以及參考圖像的分型維數(shù)，并進行一次范式求解，可以得到待評價圖像rsrm值，由于分形維數(shù)與人類視覺系統(tǒng)有很強的相關(guān)性，圖像結(jié)構(gòu)得到了很好的體現(xiàn)，因此，本發(fā)明提出的rsrm圖像評價方法獲得的客觀得分與主觀評價的相關(guān)性更強，通過實驗證實了rsrm值與圖像質(zhì)量緊密相關(guān)，并且，經(jīng)多個數(shù)據(jù)庫的plcc，srocc，krocc和rmse，mae值證實，rsrm要優(yōu)于其他評價方法，也就是說，本發(fā)明的評價方法，不僅性能指標的平均性能較好。并且，在不同失真類型之間的一致性也較好。

附圖說明

圖1為rsrm度量的srocc性能指標在四個數(shù)據(jù)庫(tid2013，tid2008，csiq和live)上的上的性能隨小波分解尺度參數(shù)的變化；

圖2為不同類型的失真下，本發(fā)明提出的rsrm度量的客觀值與失真度的關(guān)系，圖中橫軸表示失真度，縱軸表示rsrm值，(1)表示高斯模糊，(2)表示高斯白噪聲，(3)表示jpeg壓縮(4)表示椒鹽噪聲(5)表示斑點噪聲；

圖3～圖10為在csiq數(shù)據(jù)庫中，八種iqa度量在不同失真類型(awn、jpeg、jp2k、apn、gb、ctd)下的散點圖，圖中橫軸表示客觀值，縱軸表示主觀評價dmos值；其中，圖3表示rsrm度量，圖4表示wnism度量，圖5表示svd度量，圖6表示srrm度量，圖7表示spcrm度量，圖8表示ssrm度量，圖9表示ssim度量，圖10表示psnr度量；

圖11表示tid2013數(shù)據(jù)庫中svd度量和rsrm度量的散點圖，圖中橫軸表示客觀值，縱軸表示主觀評價mos值，圖中，(1)～(3)表示svd度量在agn、scn、mn失真下的散點圖，(4)～(6)表示rsrm度量在agn、scn、mn失真下的散點圖，(7)～(9)表示svd度量在gb、cn、lcni失真下的散點圖，(10)～(11)表示rsrm度量在gb、cn、lcni失真下的散點圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部的實施例；基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明提出了一種基于光譜殘差的半?yún)⒖紙D像質(zhì)量評價方法，包括以下步驟：

s101、計算待評價圖像id的殘余譜規(guī)則性值rsr(id)；

s102、計算參考圖像ir的殘余譜規(guī)則性值rsr(ir)；

s103、計算待評價圖像與參考圖像的rsrm(殘余譜規(guī)則相似度)值，計算公式為：

rsrm(ir，id)＝||rsr(ir)-rsr(id)||1；

s104、根據(jù)rsrm值大小來評價圖像質(zhì)量，rsrm值越小，說明圖像質(zhì)量越好。

其中，以圖像i為例，圖像i的rsr(殘余譜的規(guī)則性)值的計算過程具體為：

(1)計算圖像i的梯度大小g(i)；

其中，梯度大小g(i)計算公式為：

式(1-1)中，表示卷積運算，

(2)計算圖像i和g(i)的小波系數(shù){dwt(i)，dwt(g(i))}；

其中，小波系數(shù)dwt的計算公式為：

式(2-1)中，i表示圖像，x和y表示圖像坐標，表示daubechie小波函數(shù)中的“db2”小波，m和n表示小波尺度，i和j表示像素位置，m和n表示圖像的大小。

(3)計算小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的光譜殘差sr；

其中，小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的光譜殘差sr的計算公式為：

式(3-1)中，l(f)＝log(a(f))，a(f)＝abs(f(i(x)))，表示圖像i的振幅譜，hn表示頻域大小為n的平均濾波器，表示卷積運算，f表示傅里葉變換，x表示圖像空域，f表示圖像頻域。傅里葉變換可以將圖像的空域表示轉(zhuǎn)換為頻域表示。

(4)計算小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的顯著值sm；

其中，小波系數(shù){dwt(i)，dwt(g(i))}中各個組分的顯著值sm的計算公式為：

式(4-1)中，g(x)表示空間域中的二維高斯濾波器，f^-1表示逆傅里葉變換，p(f)＝angle(f(i(x)))，表示圖像i的相位譜；所述表示卷積運算。

(5)通過分形維數(shù)對各個組分的顯著值進行編碼，得到各個組分的顯著值sm的殘余譜規(guī)則性值rsr，計算公式為：

rsr＝{fd[sm(dwt(i)，dwt(g(i))]}}(5-1)

式(5-1)中，fd表示分形維數(shù)，本發(fā)明實施例中，分形維數(shù)的計算采用差分盒維算法(dbc：differentialboxcounting)，相對于其它算法，差分盒維算法具有準確、快速、有效的特點，dbc將大小為m×m的圖像i(x，y)看做3d點集{(x,y,z|z＝i(x，y)}，(x，y)表示平面位置，z表示灰度值。xy平面被分割成許多s×s的網(wǎng)格。在每個網(wǎng)格上，是一列s×s×h的盒子，h表示每個盒子的高度，滿足g/h＝m/s，g表示圖像最大灰度值。設(shè)圖像灰度在第(i，j)網(wǎng)格中的最小值和最大值分別落在第k和第l個盒子中，則覆蓋第(i，j)網(wǎng)格中的圖像所需的盒子數(shù)為：nr(i,j)＝l-k+1，而覆蓋整個圖像所需的盒子數(shù)則分形維數(shù)的理論值為但在數(shù)據(jù)處理過程中，一般是通過線性擬合求斜率來進行分形維數(shù)fd編碼。

通過將rsrm應(yīng)用于四個最大的數(shù)據(jù)庫，我們發(fā)現(xiàn)，當小波尺度大約為5時，會獲得更好的結(jié)果，如圖1所示，為四個數(shù)據(jù)庫中，srocc曲線與尺度的關(guān)系。因此，本發(fā)明中，設(shè)定5為尺度數(shù)量，從而rsr的特征長度是32維。更具體地說，對于rsr，我們在每個sr上只得到一個分形維數(shù)特征。由于小波分解的尺度為5(即j＝5)，所以存在32個小波系數(shù)矩陣，包括2個低通分量和30個高通分量。每個系數(shù)矩陣有一個sr，因此圖像特征為32×1＝32維。編碼得到rsr對應(yīng)一個32維的特征向量。

在實際的圖像評價過程中，一般是對客戶端的圖像進行評價，則待評價圖像為客戶端片源，服務(wù)器上片源作為參考圖像。

步驟s103中，計算得到的rsrm值為一個具體數(shù)字，rsrm的值越小，表示圖像的質(zhì)量越好。

為了驗證本發(fā)明提出的rsrm值對圖像評價的效果，我們計算了live數(shù)據(jù)庫中，所有圖像樣本的平均rsrm值，如圖2所示，當失真度增加時，預(yù)測的質(zhì)量值上升，說明本發(fā)明的評價方法預(yù)測符合圖像質(zhì)量。

此外，發(fā)明人采用tid2013圖像數(shù)據(jù)庫，tid2008數(shù)據(jù)庫，csiq圖像數(shù)據(jù)庫和live圖像數(shù)據(jù)庫來評估提出的rsrm度量。表1列出了四個數(shù)據(jù)庫的簡要信息。共有6445個失真的圖像，每個圖像以(差)平均意見得分(dmos/mos)提供主觀評價。

表1.四個圖像數(shù)據(jù)庫

為了評估預(yù)測性能，發(fā)明人計算了rsrm度量的五個常用性能指標，分別為pearson線性相關(guān)系數(shù)(plcc)，spearman秩次相關(guān)系數(shù)(srocc)，kendall秩次相關(guān)系數(shù)(krocc)，均方根誤差(rmse)和平均絕對誤差(mae)。較高的plcc，srocc，krocc和較低的rmse，mae值，iqa指標更好。并將rsrm度量的這五個常用性能指標與其他代表性的rr-iqa度量進行比較，它們是：ssrm(空間規(guī)則相似度)，srrm(radon拉東投影規(guī)則相似度)，wnism(小波域自然圖像統(tǒng)計模型)，rr-ssim，spcrm(相位規(guī)則相似度)，svd(奇異值分解)和fr-iqametrics(全參考圖像評價度量)：ssim(結(jié)構(gòu)相似度)，psnr(峰值信噪比)。

不同的圖像質(zhì)量評價模型得到的客觀值的范圍是不同的(例如，ssim的范圍是(0，1)，而標準圖像庫的主觀評價值范圍是(0，100)，顯然二者不在一個數(shù)量級上，為便于比較，需要利用非線性函數(shù)將客觀評價值映射到主觀評價值，得到預(yù)測值。首先，需要利用非線性回歸函數(shù)將目標分數(shù)x(對于本發(fā)明的rsrm方法，x即為rsrm值)映射到f(x)，公式如下：

其中，上述公式中，x表示客觀值，f(x)表示預(yù)測值，擬合參數(shù)β1，β2，……β5由擬合過程確定。

然后，計算各個度量方法的上述五個常用性能指標，其中，rmse表示均方根誤差，首先計算每幅圖像的預(yù)測值與主觀值差的平方，然后求平均值，最后求平方根。其計算公式如下：

其中，xi表示每幅圖像的預(yù)測值，yi表示圖每幅圖像的主觀值。

mae表示平均絕對值，其計算公式如下，該指標首先計算每幅圖像的預(yù)測值與主觀值差的絕對值，然后再求和后進行平均。其計算公式如下：

plcc表示pearson線性相關(guān)系數(shù)，其計算公式如下，

其中，xi表示每幅圖像的預(yù)測值，yi表示圖每幅圖像的主觀值，表示所有圖像預(yù)測值的平均值，表示所有圖像主觀值的平均值。

srocc表示spearman等級相關(guān)系數(shù)，其計算公式如下，

式(10-1)中，rxi和ryi表示圖每幅圖像的客觀值和主觀值分別按相同順序(由大到小或由小到大)排序后，對于第i個值在各自序列中的序號，n表示測試圖像總個數(shù)。krocc與srocc類似。

表2列出了rsrm在上述4個數(shù)據(jù)庫的實驗結(jié)果和與其它度量的比較，并對rr-iqa的最佳結(jié)果利用下劃線進行了突出顯示。從表2可以看出，與rr-iqa度量相比，rsrm在四個數(shù)據(jù)庫上表現(xiàn)最好。與fr-iqa度量相比，rsrm在四個數(shù)據(jù)庫上的性能遠優(yōu)于psnr，而在tid2013和live數(shù)據(jù)庫上，rsrm的性能略遜于ssim。此外，表2中還提供了四個數(shù)據(jù)庫的平均plcc，srocc和krocc結(jié)果。平均方案有兩種，第一種方案是性能指標直接平均。在第二個方案中，性能指標由數(shù)據(jù)庫的大小衡量。與rr-iqa/fr-iqa指標相比，我們可以看到rsrm平均性能最好。

表2各個圖像質(zhì)量評價度量在四個圖像數(shù)據(jù)庫中的綜合指標

本發(fā)明的發(fā)明人不僅通過典型的性能指標來驗證了rsrm的優(yōu)越性能，而且，rsrm的優(yōu)越性能也可以在客觀和主觀評價的散點圖上看到。圖3～圖10顯示了主觀評價與iqa指標(包括rsrm，srrm，wnism，spcrm，ssrm，svd，ssim和psnr)在csiq數(shù)據(jù)庫中獲得的客觀評價的散點圖。圖3中的橫軸表示各種度量的客觀值，縱軸表示圖像的主觀評價dmos值，每一點表示一個失真的圖像，并且根據(jù)公式(6-1)獲得曲線。從圖3～圖10可以看出，與其它iqa指標相比，rsrm的散點圖更加緊湊，這意味著本發(fā)明提出的rsrm度量獲得的客觀得分與主觀評價的相關(guān)性更強。此外，表2還給出了iqa度量使用的圖像特征的長度。rsrm的特征長度比wnism，srrm和ssrm長，但比svd，ssim和psnr短。

此外，在在四個數(shù)據(jù)庫中共有52組失真類型，我們對每組失真類型進行實驗。表3列出了srocc的實驗結(jié)果。最好的結(jié)果利用下劃線進行突出顯示。此外，表3還給出了表現(xiàn)最佳的度量的失真類型數(shù)。從表3可以看出，svd比其他rr-iqa指標更好。然而，如前所述，rsrm在四個數(shù)據(jù)庫上比svd好得多。為了提供svd和rsrm之間的性能比較的視覺效果，圖11顯示了tid2013數(shù)據(jù)庫中svd和rsrm對于不同失真的散點圖。可以看出，svd對單個失真的散點圖中的點彼此更接近，而rsrm對各個失真的散點圖更接近擬合曲線。也就是說，svd隨不同的失真類型而變化，而rsrm在不同的失真類型之間是非常一致的。

表3rr-iqa度量在不同失真類型下的srocc值對比

綜上所述，本發(fā)明通過利用小波、光譜殘差和分形維數(shù)為rr-iqa提出了一個rsr的特征提取框架，并且基于rsr特征提取，提出了一種基于光譜殘差的半?yún)⒖紙D像質(zhì)量評價方法。小波旨在模擬人類視覺系統(tǒng)的多通道結(jié)構(gòu)，光譜殘差表示局部區(qū)域?qū)θ祟愐曈X系統(tǒng)的重要性，分形維數(shù)對光譜殘差進行編碼。本發(fā)明通過rsrm在四個最大的圖像數(shù)據(jù)庫(tid2013，tid2008，csiq和live數(shù)據(jù)庫)上進行評估，實驗結(jié)果證實rsr不僅與人類視覺系統(tǒng)相關(guān)，而且對于各種圖像失真都是魯棒的。因此，本發(fā)明提出的一種半?yún)⒖紙D像質(zhì)量評價方法，相對于其他度量評價，具有更好的性能指標，而且，該方法在不同失真類型之間的圖像評價的一致性較好，可以廣泛應(yīng)用于圖像處理領(lǐng)域。

最后應(yīng)說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分或者全部技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。