本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)技術(shù)方案，特別是涉及一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)技術(shù)方案，屬于圖像處理領(lǐng)域。

背景技術(shù)：

作為信息表達(dá)與交流的工具，數(shù)字圖像獲得了廣泛的運(yùn)用。然而，數(shù)字圖像在采集、壓縮、傳輸、處理、重建過(guò)程中難免引入噪聲，造成圖像的失真。對(duì)于圖像的采集、管理、傳輸和處理系統(tǒng)來(lái)說(shuō)，能夠識(shí)別和量化圖像質(zhì)量等級(jí)就顯得非常重要。首先，它可以用于監(jiān)控質(zhì)量控制系統(tǒng)的圖像質(zhì)量。第二，它可以用于在圖像處理應(yīng)用中使用的基準(zhǔn)系統(tǒng)。第三，它可以嵌入到圖像處理系統(tǒng)中以優(yōu)化算法和參數(shù)設(shè)置。因此，如何準(zhǔn)確評(píng)價(jià)圖像質(zhì)量成為數(shù)字圖像處理領(lǐng)域的一個(gè)重要課題。

圖像質(zhì)量評(píng)價(jià)(iqa)一般可分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法^[1][2]。主觀評(píng)價(jià)方法最終觀測(cè)者為人，因而評(píng)價(jià)最為準(zhǔn)確。然而該方法不僅繁瑣、耗時(shí)和不可移植，且易受觀測(cè)者的個(gè)人因素影響，很難用于實(shí)際的工程實(shí)踐。相對(duì)主觀評(píng)價(jià)方法，客觀評(píng)價(jià)的研究目的是設(shè)計(jì)計(jì)算模型，使該種算法的評(píng)價(jià)分?jǐn)?shù)和人類主觀評(píng)價(jià)方法盡可能吻合，從而達(dá)到有效預(yù)測(cè)和感知圖像質(zhì)量的目的^[3][4]。評(píng)估方法應(yīng)該完全遵循人類視覺(jué)系統(tǒng)(hvs)所做的主觀判斷的表現(xiàn)。根據(jù)所提供原始圖像的有無(wú)，客觀評(píng)價(jià)方法可分為：全參考方法、部分參考方法、無(wú)參考方法。

傳統(tǒng)的全參考評(píng)價(jià)方法如均方誤差(mse)及峰值信噪比(psnr)等，由于其容易實(shí)現(xiàn)，而且物理意義明確，應(yīng)用比較廣泛。但是因?yàn)槠渲豢紤]了像素之間的灰度差異，而沒(méi)有利用圖像任何的結(jié)構(gòu)信息和像素之間的相關(guān)性，不能很好地反映人眼對(duì)圖像的主觀感知。

隨著人們對(duì)人眼視覺(jué)系統(tǒng)(humanvisualsystem，hvs)認(rèn)識(shí)的深入，研究者開(kāi)始利用hvs的某些特性^[2]來(lái)設(shè)計(jì)圖像質(zhì)量評(píng)價(jià)方法。一種是針對(duì)hvs的各種特性構(gòu)建視覺(jué)模型，通過(guò)自底向上(bottom-up)的方法來(lái)模擬人的視覺(jué)，其中典型的方法有nqm^[3]和vsnr^[4]。由于人眼的視覺(jué)特性比較復(fù)雜，很難從底層對(duì)其進(jìn)行模擬，人們又提出了自頂向下(top-down)的方法，只考慮hvs的輸入與輸出之間的關(guān)系，對(duì)人眼視覺(jué)特性進(jìn)行建模，根據(jù)hvs對(duì)圖像的感知得到圖像質(zhì)量測(cè)度。典型的方法有zhouwang等人提出ssim^[5]模型以及其改進(jìn)ms-ssim(多尺度結(jié)構(gòu)相似性)^[6]和iw-ssim^[7]，sheikh等提出的ifc^[8]和vif(視覺(jué)信息保真度)^[9]，linzhang等提出的rfsim^[10]和fsim^[11]及a.shnayderman^[12]等提出的基于svd分解的方法，guanhaochen等人^[13]提出了基于邊緣信息的結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法gssim。實(shí)驗(yàn)結(jié)果證明這些方法優(yōu)于mse和psnr，但是同樣暴露出許多問(wèn)題：對(duì)于嚴(yán)重模糊的圖像，ssim的評(píng)價(jià)結(jié)果會(huì)出現(xiàn)較大偏差，主要是由于其對(duì)結(jié)構(gòu)信息的建模過(guò)于簡(jiǎn)單；gssim模型在表現(xiàn)上相對(duì)于psnr和ssim模型有一定的改善，但是其利用的邊緣信息未能充分表達(dá)圖像的結(jié)構(gòu)，沒(méi)有考慮圖像中的顯著性區(qū)域等重要特征。

面對(duì)一個(gè)場(chǎng)景時(shí)，人類自動(dòng)地對(duì)感興趣區(qū)域進(jìn)行處理而選擇性地忽略不感興趣區(qū)域，這些人們感興趣區(qū)域被稱之為顯著性區(qū)域。人類視覺(jué)注意機(jī)制有兩種策略，即采用自底向上策略注意機(jī)制和采用自頂向下策略注意機(jī)制。自底向上的視覺(jué)注意機(jī)制是基于刺激的、與任務(wù)無(wú)關(guān)的。自頂向下的視覺(jué)注意機(jī)制是基于任務(wù)的，受意識(shí)支配。圖像顯著性檢測(cè)在圖像處理相關(guān)領(lǐng)域有非常廣泛的應(yīng)用，例如：圖像編輯、基于內(nèi)容的圖像縮放、自動(dòng)聚焦以及圖像智能壓縮等，應(yīng)用較為廣泛。當(dāng)前顯著性檢測(cè)的方法有很多，每種方法遵循的視覺(jué)顯著性規(guī)律不同，使用的圖像特征不同，對(duì)特征的處理方式也不同，所得到的顯著圖也都有自己的特點(diǎn)。顯著性檢測(cè)是物體檢測(cè)的關(guān)鍵階段，也應(yīng)在iqa中考慮。

因此，將結(jié)構(gòu)信息理解為梯度幅度和梯度方向的聯(lián)合，同時(shí)根據(jù)視覺(jué)注意機(jī)制中的顯著性檢測(cè)，提出了一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法，顯得十分有意義。

相關(guān)參考文獻(xiàn)如下：

[1]z.wang,a.c.bovik,h.r.sheikh,ande.p.simoncelli,“imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”ieeetransactionsonimageprocessing,vol.13,no.4,pp.600-612,2004.

[2]z.wanganda.c.bovik,modernimagequalityassessment,sanrafael:morgan&claypool,2006.

[3]hyung-jupark,dong-hwanhar,“subjectiveimagequalityassessmentbasedonobjectiveimagequalitymeasurementfactors”,ieeetransactionsonconsumerelectronics,vol.57,no.3,pp.1176-1184,2011.

[4]m.cheon,j.–s.lee,“onambiguityofobjectiveimagequalityassessment”,electronicsletters,vol.52,no.1,pp.34-35,2015.

[5]s.h.bas,m.kim,“anovelimagequalityassessmentwithgloballyandlocallyconsilientvisualqualityperception”,ieeetransactionsonimageprocessing,vol.25,no.5,pp.2392-2406,2016.

[6]y.ding,s.z.wang,d.zang,“full-referenceimagequalityassessmentusingstatisticallocalcorrelation”,electronicsletters,vol.50,no.2,pp.79-81,2014.

[7]pengye,daviddoermann,“no-referenceimagequalityassessmentusingvisualcodebooks”,ieeetransactionsonimageprocessing,vol.21,no.7,pp.3129-3138,2012.

[8]r.fang,r.a.bayaty,d.p.wu,“bnbmethodforno-referenceimagequalityassessment”,ieeetransactionsoncircuitsandsystemsforvideotechnology,vol.pp,no.99,pp.1,2016.

[9]a.k.moorthy,a.c.bovik,“blindimagequalityassessment:fromnaturalscenestatisticstoperceptualquality”,ieeetransactionsonimageprocessing,vol.20,no.12,pp.3350-3364,2011.

[10]jinjianwu,weisilin,guangmingshi,anminliu,“reduced-referenceimagequalityassessmentwithvisualinformationfidelity”,ieeetransactionsonmultimedia,vol.15,no.7,pp.1700-1705,2013.

[11]rushikeshborse,preranamarkad,“competitiveanalysisofexistingimagequalityassessmentmethods”,advancesincomputing,communicationsandinformatics,pp.1440-1444,newdelhim2014.

[12]h.r.sheikh,m.f.sabir,a.c.bovik,“astatisticalevaluationofrecentfullreferenceimagequalityassessmentalgorithms”,ieeetransactionsonimageprocessing,vol.15,no.11,pp.3440-3451,2006.

[13]z.wang，a.c.bovik，h.r.sheik.“auniversalimagequalityindex”,ieeesignalprocessingletters,vol.9,no.3,pp.81-84,2002.

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于解決當(dāng)前圖像質(zhì)量評(píng)價(jià)方法對(duì)嚴(yán)重失真圖像的評(píng)價(jià)不準(zhǔn)確問(wèn)題，在根據(jù)視覺(jué)注意機(jī)制中的顯著性檢測(cè)的情況下，提供一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法及系統(tǒng)。

為了達(dá)到上述目的，本發(fā)明提供的技術(shù)方案是：一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法，包括將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；其次，在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，以對(duì)結(jié)構(gòu)信息進(jìn)行權(quán)重分配；最后，聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法，獲得圖像質(zhì)量評(píng)價(jià)結(jié)果；

所述定義邊緣結(jié)構(gòu)信息和梯度相似度包括以下步驟，

step1.1，針對(duì)每幅圖像，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向；針對(duì)通過(guò)參考圖像和待測(cè)圖像，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；綜合比較待測(cè)圖像和參考圖像中梯度幅度相似度和梯度方向相似度，得到圖像的邊緣結(jié)構(gòu)失真情況；

step1.2，針對(duì)參考圖像和待測(cè)圖像，分別利用scharr算子，來(lái)獲得像素點(diǎn)的水平梯度gh和垂直梯度gv，然后計(jì)算參考圖像和待測(cè)圖像各像素點(diǎn)的梯度幅度g，計(jì)算公式如下，

其中，image指的是由像素點(diǎn)構(gòu)成的圖像，每個(gè)像素可有各自的顏色值，可采用三原色顯示，這里的image是一個(gè)二維矩陣，與梯度算子卷積后可以得到像素點(diǎn)(i,j)處的水平梯度gh和垂直梯度gv，并進(jìn)一步算出梯度幅度g；

圖像質(zhì)量評(píng)價(jià)中衡量參考圖像和待測(cè)圖像梯度幅度變化的因素，梯度幅度相似度的定義如下，

其中，和對(duì)應(yīng)代表參考圖像x和待測(cè)圖像y在像素點(diǎn)(i,j)處的梯度幅度，c1為預(yù)設(shè)的正常數(shù)；

step1.3，針對(duì)參考圖像和待測(cè)圖像，利用梯度方向描述圖像的邊緣方向得，

其中，θ(i,j)代表像素點(diǎn)(i,j)的邊緣方向與水平右方向的夾角；gh(i,j)和gv(i,j)同樣是利用scharr算子計(jì)算的圖像在(i,j)點(diǎn)處的水平梯度和垂直梯度。

假設(shè)δθi,j為參考圖像和待測(cè)圖像在(i,j)點(diǎn)處的邊緣方向差，定義式如公式(5)：

其中，和分別為參考圖像x和待測(cè)圖像y在(i,j)點(diǎn)處邊緣方向與水平右方向的夾角，

建立參考圖像和待測(cè)圖像在像素點(diǎn)(i,j)處的梯度方向相似度，

其中，代表參考圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，和代表待測(cè)圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，c2為預(yù)設(shè)的正常數(shù)；

所述在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣包括以下步驟：

step2.1，將參考圖像通過(guò)傅里葉變換變換到頻率域，計(jì)算參考圖像的振幅譜a(f)和相位譜p(f)。

a(f)＝r(f[x])(7)

其中，x指的是參考圖像，f指的是傅里葉變換，f指的是頻率域，r是取模值得到振幅譜a(f)，是取角度得到相位譜p(f)；

step2.2，將振幅譜變換為對(duì)數(shù)譜，然后計(jì)算殘余譜，殘余譜r(f)可以通過(guò)對(duì)數(shù)光譜l(f)和平均對(duì)數(shù)光譜之間的差來(lái)近似，

l(f)＝log(a(f))(9)

r(f)＝l(f)-hn(f)*l(f)(10)

其中，hn(f)是局部平均濾波器，是由下式定義的n×n矩陣，

step2.3，利用殘余譜和相位譜通過(guò)逆傅里葉變換得到顯著圖，

vs(x)＝g(x)*f^-1[exp(r(f)+ip(f))]²(12)

其中，i指的是虛數(shù)單位，g(x)為高斯平滑濾波器；

所述聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法，實(shí)現(xiàn)方式如下，

聯(lián)合梯度幅度相似度函數(shù)gm(x,y)和梯度方向相似度函數(shù)gd(x,y)，得到梯度相似性函數(shù)gmd(x,y)，

gmd(x,y)＝gm(x,y)gd(x,y)(13)

在gmd的基礎(chǔ)上，引入“顯著性圖”，得到基于顯著性檢測(cè)的梯度相似度(vsgs)公式(14)：

vsgs(x,y)＝gmd(x,y)*vs(x)

＝gm(x,y)gd(x,y)*vs(x)(14)

其中，gm(x,y)為參考圖像x和待測(cè)圖像y的梯度幅度相似度函數(shù)，由公式(3)得到，gd(x,y)為參考圖像x和待測(cè)圖像y的梯度方向相似度函數(shù)，由公式(5)得到，vs(x)為參考圖像x的顯著圖，由公式(12)得到。

而且，所述聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法中還包括算法優(yōu)化，從而獲得快速vsgs算法，實(shí)現(xiàn)方式如下，

分別截取參考圖像和待測(cè)圖像的中間部分x′、y′用于快速傅里葉變換，并省略所述公式(12)里的高斯平滑濾波器，得到，

vs′(x′)＝f^-1[exp(r(f)+ip(f))]²(15)

最后，快速vsgs算法可以被表達(dá)為，

fvsgs(x′,y′)＝gmd(x′,y′)*vs′(x′)

＝gm(x′,y′)gd(x′,y′)*vs′(x′)(16)

其中，gm(x′,y′)由公式(3)得到，gd(x′,y′)由公式(5)得到，vs′(x′)由公式15得到。

本發(fā)明提供一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)系統(tǒng)，包括以下模塊，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，以對(duì)結(jié)構(gòu)信息進(jìn)行權(quán)重分配；聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，從而得到基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)結(jié)果，

第一模塊，用于定義邊緣結(jié)構(gòu)信息和梯度相似度，包括以下子模塊，

第一子模塊，用于針對(duì)每幅圖像，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向；針對(duì)通過(guò)參考圖像和待測(cè)圖像，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；綜合比較待測(cè)圖像和參考圖像中梯度幅度相似度和梯度方向相似度，得到圖像的邊緣結(jié)構(gòu)失真情況；

第二子模塊，用于針對(duì)參考圖像和待測(cè)圖像，分別利用scharr算子來(lái)獲得像素點(diǎn)的水平梯度gh和垂直梯度gv，然后計(jì)算參考圖像和待測(cè)圖像各像素點(diǎn)的梯度幅值g，計(jì)算公式如下，

其中，image指的是由像素點(diǎn)構(gòu)成的圖像，每個(gè)像素可有各自的顏色值，可采用三原色顯示，這里的image就是一個(gè)二維矩陣，與梯度算子卷積后可以得到像素點(diǎn)(i,j)處的水平梯度gh和垂直梯度gv，并進(jìn)一步算出梯度幅度g，

圖像質(zhì)量評(píng)價(jià)中衡量參考圖像和待測(cè)圖像梯度幅度變化的因素，梯度幅度相似度的定義如下，

其中，和對(duì)應(yīng)代表參考圖像x和待測(cè)圖像y在像素點(diǎn)(i,j)處的梯度幅度，c1為預(yù)設(shè)的正常數(shù)；

第三子模塊，針對(duì)參考圖像和待測(cè)圖像，利用梯度方向描述圖像的邊緣方向得，

其中，θ(i,j)代表像素點(diǎn)(i,j)的邊緣方向與水平右方向的夾角；gh(i,j)和gv(i,j)同樣是利用scharr算子計(jì)算的圖像在(i,j)點(diǎn)處的水平梯度和垂直梯度，

假設(shè)δθi,j為參考圖像和待測(cè)圖像在(i,j)點(diǎn)處的邊緣方向差，定義式如公式(5)，

其中，和分別為參考圖像x和待測(cè)圖像y在(i,j)點(diǎn)處邊緣方向與水平右方向的夾角，

建立參考圖像和待測(cè)圖像在像素點(diǎn)(i,j)處的梯度方向相似度，

其中，代表參考圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，和代表待測(cè)圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，c2為預(yù)設(shè)的正常數(shù)；

第二模塊，用于在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，包括以下單元，

第一單元，用于將參考圖像通過(guò)傅里葉變換變換到頻率域，計(jì)算參考圖像的振幅譜a(f)和相位譜p(f)，

a(f)＝r(f[x])(7)

其中，x指的是參考圖像，f指的是傅里葉變換，f指的是頻率域，r是取模值得到振幅譜a(f)，是取角度得到相位譜p(f)，

第二單元，用于將振幅譜變換為對(duì)數(shù)譜，然后計(jì)算殘余譜，殘余譜r(f)可以通過(guò)對(duì)數(shù)光譜l(f)和平均對(duì)數(shù)光譜之間的差來(lái)近似，

l(f)＝log(a(f))(9)

r(f)＝l(f)-hn(f)*l(f)(10)

其中，hn(f)是局部平均濾波器，是由下式定義的n×n矩陣，

第三單元，用于利用殘余譜和相位譜通過(guò)逆傅里葉變換得到顯著圖，

vs(x)＝g(x)*f^-1[exp(r(f)+ip(f))]²(12)

其中，i指的是虛數(shù)單位，g(x)為高斯平滑濾波器，

第三模塊，用于聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法(vsgs)，實(shí)現(xiàn)方式如下，

聯(lián)合梯度幅度相似度函數(shù)gm(x,y)和梯度方向相似度函數(shù)gd(x,y)，得到梯度相似性函數(shù)gmd(x,y)，

gmd(x,y)＝gm(x,y)gd(x,y)(13)

在gmd的基礎(chǔ)上，引入“顯著性圖”，得到基于顯著性檢測(cè)的梯度相似度(vsgs)公式(14)，

vsgs(x,y)＝gmd(x,y)*vs(x)

＝gm(x,y)gd(x,y)*vs(x)(14)

其中，gm(x,y)為參考圖像x和待測(cè)圖像y的梯度幅度相似度函數(shù)，由公式(3)得到，gd(x,y)為參考圖像x和待測(cè)圖像y的梯度方向相似度函數(shù)，由公式(5)得到，vs(x)為參考圖像x的顯著圖，由公式(12)得到。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

本發(fā)明在ssim的基礎(chǔ)上，對(duì)結(jié)構(gòu)信息做出了新的定義，將其理解為梯度幅度和梯度方向的聯(lián)合，同時(shí)根據(jù)視覺(jué)注意機(jī)制中的顯著性檢測(cè)，提出了一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法(vsgs)。本發(fā)明采用顯著性檢測(cè)的梯度結(jié)構(gòu)相似性對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)，與峰值信噪比和簡(jiǎn)單的結(jié)構(gòu)相似性算法相比，該方法的評(píng)價(jià)效果更好，其評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果的相關(guān)性更大、誤差更小，尤其在評(píng)價(jià)嚴(yán)重失真圖像時(shí)效果更優(yōu)。對(duì)于所有失真類型的預(yù)測(cè)效果，尤其對(duì)于圖像高度失真的情況下，vsgs顯著比ssim優(yōu)越。并且vsgs的效率僅次于psnr，高于ssim和大多數(shù)其他算法。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的結(jié)構(gòu)圖；

圖2為c1，c2最優(yōu)值的確定；

圖3為live數(shù)據(jù)庫(kù)中不同iqa算法的評(píng)估散點(diǎn)圖；

圖4為17個(gè)iqa模型的gmad競(jìng)爭(zhēng)排名結(jié)果圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步說(shuō)明。

如圖1，實(shí)施例所提供一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)包含以下處理過(guò)程：首先，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；其次，在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，以對(duì)結(jié)構(gòu)信息進(jìn)行權(quán)重分配；最后，聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法(vsgs)，獲得圖像質(zhì)量評(píng)價(jià)結(jié)果。

所述定義邊緣結(jié)構(gòu)信息和梯度相似度包括以下步驟：

step1.1，針對(duì)每幅圖像，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向；針對(duì)參考圖像和待測(cè)圖像，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；綜合比較待測(cè)圖像和參考圖像中梯度幅度相似度和梯度方向相似度，得到圖像的邊緣結(jié)構(gòu)失真情況。

step1.2，針對(duì)參考圖像和待測(cè)圖像，由于邊緣強(qiáng)度是邊緣結(jié)構(gòu)信息中一個(gè)十分重要的部分，而梯度的幅度正可以反映該點(diǎn)的邊緣強(qiáng)度，因此，將參考圖像和待測(cè)圖像之間梯度幅度的差異作為評(píng)估圖像邊緣失真的一個(gè)因素。分別利用能更好的體現(xiàn)圖像邊緣梯度幅度失真程度的scharr算子，來(lái)獲得像素點(diǎn)的水平梯度gh和垂直梯度gv，然后計(jì)算參考圖像和待測(cè)圖像各像素點(diǎn)的梯度幅度g，計(jì)算公式如(1)、(2)所示。

其中，image指的是由像素點(diǎn)構(gòu)成的圖像，每個(gè)像素可有各自的顏色值，可采用三原色顯示。照片是一個(gè)個(gè)像素的集合，在視頻沒(méi)有經(jīng)過(guò)不正確的/有損的壓縮或相機(jī)鏡頭合適的前提下，單位面積內(nèi)的像素越多代表分辨率越高，所顯示的視頻就會(huì)接近于真實(shí)物體。因此這里的image就是一個(gè)二維矩陣，與梯度算子卷積后可以得到像素點(diǎn)(i,j)處的水平梯度gh和垂直梯度gv，并進(jìn)一步算出梯度幅度g。

那么，圖像質(zhì)量評(píng)價(jià)中衡量參考圖像和待測(cè)圖像梯度幅度變化的因素，即梯度幅度相似度的定義式見(jiàn)公式(3)：

其中，和對(duì)應(yīng)代表參考圖像x和待測(cè)圖像y在像素點(diǎn)(i,j)處的梯度幅度，c1為預(yù)設(shè)的正常數(shù)，通常取一個(gè)相對(duì)較小的常數(shù)。

step1.3，針對(duì)參考圖像和待測(cè)圖像，在確定每個(gè)像素點(diǎn)的邊緣方向后，便可得到整張圖像的邊緣方向圖，那么就可以通過(guò)比較參考圖像和待測(cè)圖像的邊緣方向圖的變化情況確定待測(cè)圖像的方向失真度量。注意到圖像像素點(diǎn)的邊緣方向在所有情況下始終與其梯度方向相垂直，那么利用梯度方向描述圖像的邊緣方向，得：

其中，θ(i,j)代表像素點(diǎn)(i,j)的邊緣方向與水平右方向的夾角；gh(i,j)和gv(i,j)同樣是利用scharr算子計(jì)算的圖像在(i,j)點(diǎn)處的水平梯度和垂直梯度。

在確定了每個(gè)像素點(diǎn)的邊緣方向以后，就可以通過(guò)計(jì)算參考圖像和待測(cè)圖像在該像素點(diǎn)的邊緣方向差確定該點(diǎn)的方向變化情況。假設(shè)δθi,j為參考圖像和待測(cè)圖像在(i,j)點(diǎn)處的邊緣方向差，定義式如公式(5)：

其中，和分別為參考圖像x和待測(cè)圖像y在(i,j)點(diǎn)處邊緣方向與水平右方向的夾角。顯然，當(dāng)δθi,j＝π/2時(shí)，表明方向失真最為嚴(yán)重；當(dāng)δθi,j＝0或π時(shí)，則表明方向沒(méi)有發(fā)生改變。

那么，可以根據(jù)公式(4)(5)建立參考圖像和待測(cè)圖像在像素點(diǎn)(i,j)處的梯度方向相似度，即：

其中，代表參考圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，和代表待測(cè)圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度。c2為預(yù)設(shè)的正常數(shù)，通常取一個(gè)相對(duì)較小的常數(shù)。

從對(duì)梯度方向失真的表達(dá)式gdi,j分析可知，方向失真的決定式滿足對(duì)稱性，其取值范圍為(0,1]，取值越小，則表明方向失真越嚴(yán)重。當(dāng)且僅當(dāng)時(shí)，方向失真函數(shù)取得最大值1，表明待測(cè)圖像相對(duì)于參考圖像的方向沒(méi)有發(fā)生改變，無(wú)失真。

所述在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣包括以下步驟：

step2.1，將參考圖像通過(guò)傅里葉變換變換到頻率域，計(jì)算參考圖像的振幅譜a(f)和相位譜p(f)。

a(f)＝r(f[x])(7)

其中，x指的是參考圖像，f指的是傅里葉變換，f指的是頻率域，r是取模值得到振幅譜a(f)，是取角度得到相位譜p(f)。

step2.2，將振幅譜變換為對(duì)數(shù)譜，然后計(jì)算殘余譜。殘余譜r(f)可以通過(guò)對(duì)數(shù)光譜l(f)和平均對(duì)數(shù)光譜之間的差來(lái)近似：

l(f)＝log(a(f))(9)

r(f)＝l(f)-hn(f)*l(f)(10)

其中，hn(f)是局部平均濾波器(現(xiàn)有技術(shù))，是由下式定義的n×n矩陣，通常情況下n＝3：

step2.3，利用殘余譜和相位譜通過(guò)逆傅里葉變換得到顯著圖：

vs(x)＝g(x)*f^-1[exp(r(f)+ip(f))]²(12)

其中，i指的是虛數(shù)單位，g(x)為高斯平滑濾波器(現(xiàn)有技術(shù))，可以使顯著圖視覺(jué)效果更好。

所述聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法，實(shí)現(xiàn)方式如下：

step3.1，聯(lián)合梯度幅度相似度函數(shù)gm(x,y)和梯度方向相似度函數(shù)gd(x,y)，得到梯度相似性函數(shù)gmd(x,y)(gradientsimilaritymap，gmd)：

gmd(x,y)＝gm(x,y)gd(x,y)(13)

其中，gm(x,y)為參考圖像x和待測(cè)圖像y的梯度幅度相似度函數(shù)，由公式(3)得到，gd(x,y)為參考圖像x和待測(cè)圖像y的梯度方向相似度函數(shù)，由公式(5)得到，

在gmd的基礎(chǔ)上，引入“顯著性圖”，得到基于顯著性檢測(cè)的梯度相似度(vsgs)公式(14)：

vsgs(x,y)＝gmd(x,y)*vs(x)

＝gm(x,y)gd(x,y)*vs(x)(14)

step3.2，算法優(yōu)化：引入快速傅里葉變換fft(算法時(shí)間復(fù)雜度o(n*log2n))的思想，借助matlab工具里的nextpow2函數(shù)，截取圖像中間部分(每幅圖像都是一個(gè)二維矩陣，圖像的中間部分就是只取每個(gè)二維矩陣的中間部分，記為x′、y′)用于快速傅里葉變換；另外，由于真正目的是得到iqametric，而不是視覺(jué)顯著性圖，所以可以省略公式(12)里的高斯平滑濾波，進(jìn)一步節(jié)省算法運(yùn)行時(shí)間；于是，公式(12)變?yōu)椋?/p>

vs′(x′)＝f^-1[exp(r(f)+ip(f))]²(15)

最后，快速vsgs算法可以被表達(dá)為：

fvsgs(x′,y′)＝gmd(x′,y′)*vs′(x′)

＝gm(x′,y′)gd(x′,y′)*vs′(x′)(16)

其中，gm(x′,y′)由公式(3)得到，gd(x′,y′)由公式(5)得到，vs′(x′)由公式(15)得到。

具體實(shí)施時(shí)，本發(fā)明所提供方法可基于軟件技術(shù)實(shí)現(xiàn)自動(dòng)運(yùn)行流程，也可采用模塊化方式實(shí)現(xiàn)相應(yīng)系統(tǒng)。

本發(fā)明提供一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)系統(tǒng)，包括以下模塊，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，以對(duì)結(jié)構(gòu)信息進(jìn)行權(quán)重分配；聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，從而得到基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)結(jié)果。

第一模塊，用于定義邊緣結(jié)構(gòu)信息和梯度相似度，包括以下子模塊：

第一子模塊，用于針對(duì)每幅圖像，將邊緣結(jié)構(gòu)信息定義為梯度幅度和梯度方向；針對(duì)參考圖像和待測(cè)圖像，將梯度相似度定義為梯度幅度相似度和梯度方向相似度；綜合比較待測(cè)圖像和參考圖像中梯度幅度相似度和梯度方向相似度，得到圖像的邊緣結(jié)構(gòu)失真情況。

第二子模塊，用于針對(duì)參考圖像和待測(cè)圖像，分別利用scharr算子來(lái)獲得像素點(diǎn)的水平梯度gh和垂直梯度gv，然后計(jì)算參考圖像和待測(cè)圖像各像素點(diǎn)的梯度幅值g，計(jì)算公式如(1)、(2)所示：

其中，image指的是由像素點(diǎn)構(gòu)成的圖像，每個(gè)像素可有各自的顏色值，可采用三原色顯示。照片是一個(gè)個(gè)像素的集合，在視頻沒(méi)有經(jīng)過(guò)不正確的/有損的壓縮或相機(jī)鏡頭合適的前提下，單位面積內(nèi)的像素越多代表分辨率越高，所顯示的視頻就會(huì)接近于真實(shí)物體。因此這里的image就是一個(gè)二維矩陣，與梯度算子卷積后可以得到像素點(diǎn)(i,j)處的水平梯度gh和垂直梯度gv，并進(jìn)一步算出梯度幅度g。

那么，圖像質(zhì)量評(píng)價(jià)中衡量參考圖像和待測(cè)圖像梯度幅度變化的因素，即梯度幅度相似度的定義式見(jiàn)公式(3)：

其中，和對(duì)應(yīng)代表參考圖像x和待測(cè)圖像y在像素點(diǎn)(i,j)處的梯度幅度，c1為預(yù)設(shè)的正常數(shù)，通常取一個(gè)相對(duì)較小的常數(shù)。

第三子模塊，針對(duì)參考圖像和待測(cè)圖像，利用梯度方向描述圖像的邊緣方向，得：

其中，θ(i,j)代表像素點(diǎn)(i,j)的邊緣方向與水平右方向的夾角；gh(i,j)和gv(i,j)同樣是利用scharr算子計(jì)算的圖像在(i,j)點(diǎn)處的水平梯度和垂直梯度。

在確定了每個(gè)像素點(diǎn)的邊緣方向以后，就可以通過(guò)計(jì)算參考圖像和待測(cè)圖像在該像素點(diǎn)的邊緣方向差確定該點(diǎn)的方向變化情況。假設(shè)δθi,j為參考圖像和待測(cè)圖像在(i,j)點(diǎn)處的邊緣方向差，定義式如公式(5)：

其中，和分別為參考圖像x和待測(cè)圖像y在(i,j)點(diǎn)處邊緣方向與水平右方向的夾角。顯然，當(dāng)δθi,j＝π/2時(shí)，表明方向失真最為嚴(yán)重；當(dāng)δθi,j＝0或π時(shí)，則表明方向沒(méi)有發(fā)生改變。

那么，可以根據(jù)公式(4)(5)建立參考圖像和待測(cè)圖像在像素點(diǎn)(i,j)處的梯度方向相似度，即：

其中，代表參考圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度，和代表待測(cè)圖像在像素點(diǎn)(i,j)處的水平梯度和垂直梯度。c2為預(yù)設(shè)的正常數(shù)，通常取一個(gè)相對(duì)較小的常數(shù)。

從對(duì)梯度方向失真的表達(dá)式gdi,j分析可知，方向失真的決定式滿足對(duì)稱性，其取值范圍為(0,1]，取值越小，則表明方向失真越嚴(yán)重。當(dāng)且僅當(dāng)時(shí)，方向失真函數(shù)取得最大值1，表明待測(cè)圖像相對(duì)于參考圖像的方向沒(méi)有發(fā)生改變，無(wú)失真。

第二模塊，用于在檢測(cè)邊緣的基礎(chǔ)上由顯著性檢測(cè)構(gòu)建顯著性矩陣，包括以下單元：

第一單元，用于將參考圖像通過(guò)傅里葉變換變換到頻率域，計(jì)算參考圖像的振幅譜a(f)和相位譜p(f)。

a(f)＝r(f[x])(7)

其中，x指的是參考圖像，f指的是傅里葉變換，f指的是頻率域，r是取模值得到振幅譜a(f)，是取角度得到相位譜p(f)。

第二單元，用于將振幅譜變換為對(duì)數(shù)譜，然后計(jì)算殘余譜，殘余譜r(f)可以通過(guò)對(duì)數(shù)光譜l(f)和平均對(duì)數(shù)光譜之間的差來(lái)近似：

l(f)＝log(a(f))(9)

r(f)＝l(f)-hn(f)*l(f)(10)

其中，hn(f)是局部平均濾波器(現(xiàn)有技術(shù))，是由下式定義的n×n矩陣，通常情況下n＝3：

第三單元，用于利用殘余譜和相位譜通過(guò)逆傅里葉變換得到顯著圖：

vs(x)＝g(x)*f^-1[exp(r(f)+ip(f))]²(12)

其中，i指的是虛數(shù)單位，g(x)為高斯平滑濾波器(現(xiàn)有技術(shù))，可以使顯著圖視覺(jué)效果更好。

第三模塊，用于聯(lián)合梯度相似度和顯著性檢測(cè)進(jìn)行評(píng)價(jià)，得到一種基于顯著性檢測(cè)的梯度相似度圖像質(zhì)量評(píng)價(jià)方法(vsgs)，實(shí)現(xiàn)方式如下：

聯(lián)合梯度幅度相似度函數(shù)gm(x,y)和梯度方向相似度函數(shù)gd(x,y)，得到梯度相似性函數(shù)gmd(x,y)：

gmd(x,y)＝gm(x,y)gd(x,y)(13)

在gmd的基礎(chǔ)上，引入“顯著性圖”，得到基于顯著性檢測(cè)的梯度相似度(vsgs)公式(14)：

vsgs(x,y)＝gmd(x,y)*vs(x)

＝gm(x,y)gd(x,y)*vs(x)(14)

其中，gm(x,y)為參考圖像x和待測(cè)圖像y的梯度幅度相似度函數(shù)，由公式(3)得到，gd(x,y)為參考圖像x和待測(cè)圖像y的梯度方向相似度函數(shù)，由公式(5)得到，vs(x)為參考圖像x的顯著圖，由公式(12)得到。

各模塊具體實(shí)現(xiàn)可參見(jiàn)相應(yīng)步驟，本發(fā)明不予贅述。

本發(fā)明的優(yōu)點(diǎn)可以通過(guò)以下實(shí)驗(yàn)具體說(shuō)明：

1.實(shí)驗(yàn)數(shù)據(jù)庫(kù)

通過(guò)使用三個(gè)圖像數(shù)據(jù)庫(kù)live，csiq和ccid2014來(lái)評(píng)估所提出的算法的性能。live數(shù)據(jù)庫(kù)包含29個(gè)高分辨率圖像和779個(gè)失真圖像。并且失真類型包括jpeg2000、jpeg壓縮、白噪聲、高斯模糊、瑞利衰落等。在該數(shù)據(jù)庫(kù)中還提供每個(gè)圖像的降級(jí)平均意見(jiàn)分?jǐn)?shù)(degradationmeanopinionscores，dmos)，并且較小的dmos值表示較好的圖像質(zhì)量。csiq數(shù)據(jù)庫(kù)包含30個(gè)參考圖像，每個(gè)參考圖像具有6種失真類型，并且每種失真有4-5種不同程度。ccid2014數(shù)據(jù)庫(kù)包含由伽馬傳遞、凸凹弧、立方與邏輯函數(shù)，平均移位和復(fù)合函數(shù)產(chǎn)生的5種類型的655個(gè)對(duì)比度失真圖像。

在自然界中的圖像不計(jì)其數(shù)，對(duì)這三個(gè)數(shù)據(jù)庫(kù)的實(shí)驗(yàn)還不夠。為了以更客觀和公平的方式測(cè)試算法，需要在waterlooexploration數(shù)據(jù)庫(kù)中運(yùn)行一個(gè)新的機(jī)制，即gmad(groupmaximumdifferentiation)競(jìng)爭(zhēng)。waterlooexploration數(shù)據(jù)庫(kù)包含4744張?jiān)甲匀粓D像和94880張失真的圖像。并且gmad競(jìng)爭(zhēng)可以自動(dòng)地從數(shù)據(jù)庫(kù)中選擇圖像對(duì)的子集，其提供最強(qiáng)的測(cè)試以使iqa模型彼此競(jìng)爭(zhēng)。對(duì)所選子集的主觀測(cè)試揭示了iqa模型的相對(duì)性能，并為改進(jìn)它們的潛在方法提供了有用的見(jiàn)解。

使用參數(shù)非線性邏輯回歸函數(shù)擬合數(shù)據(jù)。最后，我們使用四個(gè)相應(yīng)的指數(shù)來(lái)客觀地比較客觀評(píng)估算法的效果：pearson線性相關(guān)系數(shù)(plcc)，均方根誤差(rmse)，kendall秩序相關(guān)系數(shù)(krocc)和spearman秩相關(guān)系數(shù)srocc)。

其中x是客觀iqa分?jǐn)?shù)，f(x)是iqa回歸擬合分?jǐn)?shù)，β1，β2，β3，β4和β5是回歸函數(shù)參數(shù)。

2.參數(shù)的確定

所提出的vsgs算法中的參數(shù)是相對(duì)較小的常數(shù)c1和c2。c1和c2除了規(guī)避gm和gd的定義式出現(xiàn)奇異現(xiàn)象外，也在調(diào)節(jié)低梯度區(qū)域中的對(duì)比響應(yīng)中起到重要作用。為了確定c1和c2的最優(yōu)取值，我們使用評(píng)價(jià)指數(shù)srocc來(lái)找到不同參數(shù)的分類性能。令[c1，c2]＝[(k1*l)，(k2*l)2]，l＝255，然后我們首先假設(shè)k1是固定的，然后當(dāng)k2不同時(shí)將vsgs應(yīng)用于三個(gè)數(shù)據(jù)庫(kù)。我們可以從圖3中看出，當(dāng)k2＝0.01時(shí)，性能很好，所以我們?cè)O(shè)置k2＝0.01和k1＝0.02。當(dāng)確定k2時(shí)，對(duì)應(yīng)于不同的不同數(shù)據(jù)庫(kù)，vsgs對(duì)k1值的變化不敏感。c1，c2最優(yōu)值的確定為圖2所示。

3.性能比較

表1列出了vsgs算法在live、csiq和ccid2014三個(gè)數(shù)據(jù)庫(kù)上的表現(xiàn)。從表1可以看出，vsgs算法的評(píng)價(jià)指標(biāo)與ssim和gssim相比有明顯改進(jìn)。

表1不同數(shù)據(jù)庫(kù)中不同算法的srocc/krocc/plcc/rmse性能比較

圖3示出了在live數(shù)據(jù)庫(kù)的實(shí)驗(yàn)中psnr、ssim、gssim、ms-ssim、fsim、iw-ssim、vsgs和fvsgs算法的質(zhì)量評(píng)價(jià)分?jǐn)?shù)相對(duì)于dmos的散點(diǎn)圖及預(yù)測(cè)質(zhì)量分?jǐn)?shù)曲線。從圖3可以看出，vsgs的散點(diǎn)圖在整個(gè)坐標(biāo)系中均勻分布，并且與dmos具有很強(qiáng)的線性關(guān)系，表明vsgs模型與人眼的一致性更好。

圖4給出了17個(gè)流行算法的gmad競(jìng)爭(zhēng)排名結(jié)果，除本文提出的vsgs算法外，其余16個(gè)iqa模型數(shù)據(jù)是官方對(duì)已有的流行模型測(cè)試得到的結(jié)果。由圖4可見(jiàn)，vsgs的性能排名第一，充分證明了vsgs的良好性能。

4.算法效率

為了比較不同模型的效率，本文在csiq數(shù)據(jù)庫(kù)中測(cè)試了10個(gè)iqa模型在每張圖像上的平均運(yùn)行時(shí)間，實(shí)驗(yàn)記錄如表2所示，所有實(shí)驗(yàn)均在inteli7-6700kcpu@4.0ghz/16gram/win1064位操作系統(tǒng)/matlabr2016a的pc上進(jìn)行。除了gssim，其它所有方法的源代碼都是從原作者處獲得。從表2可以看出，fvsgs僅比psnr花費(fèi)更長(zhǎng)時(shí)間，說(shuō)明vsgs/fvsgs是非常高效的。

表2不同iqa模型的平均運(yùn)行時(shí)間(單位：毫秒)

本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書(shū)所定義的范圍。