本發(fā)明涉及圖像融合質(zhì)量評價領(lǐng)域，尤其涉及一種紅外與可見光圖像融合質(zhì)量評價方法。

背景技術(shù)：

紅外與可見光圖像融合是圖像融合的重要分支，也是目前圖像融合研究的重點(diǎn)。紅外傳感器是通過熱輻射成像，有利于突出場景中的目標(biāo)區(qū)域，但不能很好地表征場景細(xì)節(jié)特征；可見光傳感器通過物體反射成像，能夠提供目標(biāo)所在場景的細(xì)節(jié)信息。因此，紅外與可見光圖像融合不僅具有良好的紅外圖像的目標(biāo)特征，而且還能很好地保留可見光圖像的細(xì)節(jié)信息。相對于發(fā)展迅速的圖像融合技術(shù)，融合圖像質(zhì)量評價發(fā)展相對緩慢。圖像融合質(zhì)量評價不僅可以比較融合方法性能優(yōu)劣，還可以作為指導(dǎo)融合方法改進(jìn)的依據(jù)。因此，紅外與可見光圖像融合質(zhì)量評價方法對后續(xù)融合圖像的應(yīng)用至關(guān)重要。

經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國專利文獻(xiàn)號cn103049893a，公開日2013.04.17，公開了一種圖像融合質(zhì)量評價的方法及裝置，包括以下步驟：步驟1)獲取各源圖像及所述源圖像的融合圖像；步驟2)對各源圖像采用模糊聚類方法進(jìn)行分割得到分割圖像，并將各分割圖像合并為一個總的分割圖；步驟3)獲取各源圖像的視覺方差顯著圖，根據(jù)視覺方差顯著圖計算權(quán)值圖，并根據(jù)視覺方差顯著圖和總的分割圖計算源圖像和融合圖像各區(qū)域的顯著系數(shù)；步驟4)根據(jù)總的分割圖、權(quán)值圖和顯著系數(shù)，計算各個區(qū)域上融合圖像與源圖像的加權(quán)結(jié)構(gòu)相似度；步驟5)將所有區(qū)域的加權(quán)結(jié)構(gòu)相似度求和得到該融合圖像質(zhì)量的評價指標(biāo)。

中國專利文獻(xiàn)號cn104008543a，公開日2014.08.27，公開了一種圖像融合質(zhì)量評價方法，包括以下步驟：步驟1)獲取源圖像：要求源圖像時間上同步、空間上覆蓋同一區(qū)域；步驟2)圖像預(yù)處理步驟：采用二次多項式配準(zhǔn)，最近鄰內(nèi)插法重采樣；步驟3)圖像融合：對源圖像采用多尺度分析和成分替換法相結(jié)合的融合方法，得到不同融合方法下的融合圖像；步驟4)融合質(zhì)量評價：計算出融合圖像與源圖像間的交叉熵和結(jié)構(gòu)相似度，建立交叉熵和結(jié)構(gòu)相似度加權(quán)函數(shù)模型，計算預(yù)設(shè)權(quán)值下的融合質(zhì)量評價總值。

雖然上述兩種技術(shù)能夠評價融合圖像質(zhì)量，但是它們在紅外與可見光圖像融合質(zhì)量評價表現(xiàn)不佳，分析其原因在于：

1.上述兩種技術(shù)均是通過計算源圖像與融合圖像間的相似度評價融合圖像質(zhì)量，這兩種技術(shù)均忽略了融合圖像本身的細(xì)節(jié)特征；

2.紅外與可見光圖像融合的主要目的之一是保留紅外源圖像的目標(biāo)特征，但上述兩種技術(shù)均沒有針對融合圖像的目標(biāo)特征進(jìn)行評價；

3.一種圖像融合質(zhì)量評價的方法及裝置(中國專利文獻(xiàn)號cn103049893a)采用模糊聚類方法分割紅外圖像，但該分割方法對復(fù)雜背景干擾的圖像及低信噪比圖像不能正確分割，影響后續(xù)的評價結(jié)果；

4.一種圖像融合質(zhì)量評價方法(中國專利文獻(xiàn)號cn104008543a)和一種圖像融合質(zhì)量評價的方法及裝置(中國專利文獻(xiàn)號cn103049893a)均采用結(jié)構(gòu)相似度計算融合圖像與源圖像間的相似度，以此評價融合圖像質(zhì)量。但當(dāng)兩幅圖像較為模糊時，分別應(yīng)用這兩種技術(shù)獲得的圖像融合質(zhì)量評價結(jié)果與主觀評價具有較差的一致性。

因此，尋求一種能夠反映融合圖像全局細(xì)節(jié)特征和局部目標(biāo)特征，且與主觀評價具有較高一致性的紅外與可見光圖像融合質(zhì)量評價方法，對評價紅外與可見光圖像融合質(zhì)量的好壞是至關(guān)重要的。

技術(shù)實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出了一種紅外與可見光圖像融合質(zhì)量評價方法。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

一種紅外與可見光圖像融合質(zhì)量評價方法，包含以下步驟：

步驟1：獲取紅外源圖像a、可見光源圖像b及融合圖像f；

步驟2：計算融合圖像的全局細(xì)節(jié)特征指標(biāo)；

步驟3：計算融合圖像的局部目標(biāo)特征指標(biāo)；

步驟4：將融合圖像的全局細(xì)節(jié)特征指標(biāo)和局部目標(biāo)特征指標(biāo)進(jìn)行加權(quán)求和，得到融合圖像質(zhì)量評價指標(biāo)。

作為本發(fā)明一種紅外與可見光圖像融合質(zhì)量評價方法進(jìn)一步的優(yōu)化方案，步驟2中所述計算融合圖像的全局細(xì)節(jié)特征指標(biāo)，其詳細(xì)過程為：

步驟2.1：計算融合圖像f的梯度幅度值

對于融合圖像f，計算其水平梯度和垂直梯度

這里，將二者之和作為梯度：

步驟2.2：計算融合圖像梯度幅度信息熵，并將其作為融合圖像全局細(xì)節(jié)特征指標(biāo)rglobal。

其中，pi表示融合圖像梯度圖中灰度值為i的像素出現(xiàn)的概率，l為圖像的灰度等級。

作為本發(fā)明一種紅外與可見光圖像融合質(zhì)量評價方法進(jìn)一步的優(yōu)化方案，步驟3中所述計算融合圖像的局部目標(biāo)特征指標(biāo)，其詳細(xì)過程為：

步驟3.1：紅外源圖像和融合圖像的區(qū)域劃分

采用基于頻率域的顯著區(qū)域提取方法將紅外源圖像劃分為目標(biāo)區(qū)域和背景區(qū)域，基于頻率域的顯著區(qū)域提取方法步驟如下：

采用高斯帶通濾波器抽取紅外源圖像的顯著特征，高斯帶通濾波器定義如下：

其中，σ1,σ2(σ1＞σ2)是高斯濾波器的標(biāo)準(zhǔn)方差。

為了盡可能地獲得低頻段的所有頻率值，σ1設(shè)置為無窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值。

利用下式計算圖像的顯著度圖s：

s(x,y)＝|aμ-awhc(x,y)|

式中，aμ為紅外源圖像灰度平均值；awhc(x,y)為紅外源圖像經(jīng)高斯濾波后的圖像；||是l1范數(shù)。

采用區(qū)域生長法對紅外源圖像的目標(biāo)和背景進(jìn)行分割，具體步驟如下：1)在顯著度圖中選擇灰度值最大的點(diǎn)作為種子點(diǎn)；2)以種子點(diǎn)為中心，考慮其4鄰域像素點(diǎn)，如果滿足生長規(guī)則，將其合并。以鄰域像素點(diǎn)與已分割區(qū)域灰度均值的差作為相似性測度，把差值最小的鄰域相似點(diǎn)合并到分割區(qū)域；3)當(dāng)相似性測度大于分割閾值時，則停止生長。

步驟3.2：計算融合圖像目標(biāo)區(qū)域與紅外源圖像目標(biāo)區(qū)域間的邊緣結(jié)構(gòu)相似度essim(alocal,flocal)

式中，分別為紅外源圖像的目標(biāo)區(qū)域和融合圖像的目標(biāo)區(qū)域；l(alocal,flocal)，c(alocal,flocal)，s(alocal,flocal)，e(alocal,flocal)分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的亮度比較分量、對比度比較分量、結(jié)構(gòu)比較分量和邊緣比較分量；參數(shù)α,β,γ,η分別為它們的權(quán)重，通常取α＝β＝γ＝η＝1；分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的像素均值；分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的像素方差；為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal之間的協(xié)方差，分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的邊緣圖像的灰度方差，為兩區(qū)域邊緣圖像的灰度協(xié)方差，這里的邊緣圖像是采用sobel邊緣檢測法獲取；c1,c2,c3,c4為常量，引入目的是為避免分母接近0時出現(xiàn)不穩(wěn)定性。

步驟3.3：計算融合圖像的目標(biāo)與背景間的對比度

首先，計算融合圖像的亮度均值減損對比歸一化系數(shù)(簡稱mscn系數(shù))，其計算公式如下：

式中，常數(shù)c是為避免圖像平坦區(qū)分母趨向于零時發(fā)生不穩(wěn)定；

為二維圓對稱的高斯加權(quán)函數(shù)，這里令k＝l＝3。

其次，計算目標(biāo)與背景間的韋伯對比度，計算公式為：cw＝|lt-lb|/lb

其中，lt和lb分別為目標(biāo)區(qū)域和鄰近背景區(qū)域中像素的mscn系數(shù)的平均值。

步驟3.4計算融合圖像的局部目標(biāo)特征評價指標(biāo)

將融合圖像目標(biāo)區(qū)域與紅外源圖像目標(biāo)區(qū)域間的邊緣結(jié)構(gòu)相似度essim(alocal,flocal)和融合圖像的目標(biāo)與背景間的對比度cw相加，獲得融合圖像的局部目標(biāo)特征評價指標(biāo)rlocal，即：

rlocal＝essim(alocal,flocal)+cw

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

1.本發(fā)明既考慮了紅外與可見光圖像融合的全局細(xì)節(jié)特征，又考慮了融合圖像的目標(biāo)特征，體現(xiàn)了紅外與可見光圖像融合的融合目的；

2.本發(fā)明采用基于頻率域的顯著區(qū)域提取方法將紅外源圖像劃分為目標(biāo)區(qū)域和背景區(qū)域，對于有復(fù)雜背景干擾的圖像及低信噪比圖像能夠正確分割；

3.本發(fā)明首先計算融合圖像的mscn系數(shù)，用于模擬人類視覺的對比度增益掩蓋過程，最后計算目標(biāo)與背景間韋伯對比度，能有效實現(xiàn)融合圖像目標(biāo)與背景感知對比度的客觀評價；

4.本發(fā)明采用邊緣結(jié)構(gòu)相似度計算融合圖像目標(biāo)區(qū)域與紅外源圖像目標(biāo)區(qū)域間的相關(guān)性，在一定程度上，能有效評價較為模糊的紅外與可見光圖像融合質(zhì)量。

5.通過仿真實驗驗證，本發(fā)明的紅外與可見光圖像融合質(zhì)量評價方法具有較高的主觀一致性，能更好的反映紅外與可見光圖像融合的質(zhì)量。

附圖說明

圖1是本發(fā)明提供的一種紅外與可見光圖像融合質(zhì)量評價方法的流程圖；

圖2是本發(fā)明提供的融合圖像及其梯度幅度圖和梯度幅度直方圖；

圖3是本發(fā)明提供的紅外源圖像和融合圖像的分割圖像；

圖4是本發(fā)明提供的第一組源圖像及融合圖像；

圖5是本發(fā)明提供的第二組源圖像及融合圖像；

圖6是本發(fā)明提供的第三組源圖像及融合圖像；

圖7是本發(fā)明提供的第四組源圖像及融合圖像。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖，對本發(fā)明進(jìn)行詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

結(jié)合圖1，本發(fā)明公開了一種紅外與可見光圖像融合質(zhì)量評價方法，包含以下步驟：

步驟1：獲取紅外源圖像a、可見光源圖像b及融合圖像f；

步驟2：計算融合圖像的全局細(xì)節(jié)特征指標(biāo)rglobal；

圖像的梯度信息是圖像中人眼敏感程度較高的內(nèi)容，可以將其作為表征圖像細(xì)節(jié)信息的一種特征。

對于融合圖像f，計算其水平梯度和垂直梯度

將二者之和作為融合圖像的梯度：

圖2給出了融合圖像及其梯度幅度圖和梯度幅度直方圖，其中,圖2a是基于均值法(ave)的圖像融合，它所對應(yīng)的梯度幅度圖和梯度幅度直方圖分別見圖2b和圖2c；圖2d是基于拉普拉斯金字塔(lap)的圖像融合，其對應(yīng)的梯度幅度圖和梯度幅度直方圖分別見圖2e和圖2f。

分析圖2可知，圖2d的紋理豐富、分辨率高、圖像對比度明顯，質(zhì)量優(yōu)于圖2a。相應(yīng)地，雖然兩幅融合圖像對應(yīng)的梯度直方圖的形狀均是一個窄的單峰，且最高峰靠近梯度值為零的方向，但它們的寬窄和灰度動態(tài)范圍存在明顯不同：1)圖2f的峰型較圖2c的峰型緩；2)最高峰值不同，圖2c的最高峰值為14000，圖2f的最高峰值不到8000；3)灰度級動態(tài)范圍不同，圖2f的灰度動態(tài)范圍較圖2c寬，其包含的信息更加豐富。

應(yīng)用梯度直方圖可以定量評價融合圖像的細(xì)節(jié)豐富程度。直方圖是從概率的角度研究圖像梯度的特征，通過計算融合圖像梯度信息熵定量分析融合圖像細(xì)節(jié)豐富程度。融合圖像全局細(xì)節(jié)特征指標(biāo)公式如下所示：

其中，pi表示融合圖像梯度圖中灰度值為i的像素出現(xiàn)的概率，l為圖像的灰度等級。

步驟3：計算融合圖像的局部目標(biāo)特征指標(biāo)rlocal；

計算融合圖像的局部目標(biāo)特征指標(biāo)rlocal的具體步驟如下：

步驟3.1：紅外源圖像和融合圖像的區(qū)域劃分

采用基于頻率域的顯著區(qū)域提取法將紅外源圖像劃分為目標(biāo)區(qū)域和背景區(qū)域，基于頻率域的顯著區(qū)域提取法的具體步驟如下：

采用高斯帶通濾波器抽取紅外源圖像的顯著特征，高斯帶通濾波器定義如下：

其中，σ1,σ2(σ1＞σ2)是高斯濾波器的標(biāo)準(zhǔn)方差。為了盡可能地獲得低頻段的所有頻率值，σ1設(shè)置為無窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值。

利用下式計算圖像的顯著度圖s：

s(x,y)＝|aμ-awhc(x,y)|

式中，aμ為紅外源圖像灰度平均值；awhc(x,y)為紅外源圖像經(jīng)高斯濾波后的圖像；||是l1范數(shù)。

采用區(qū)域生長法對紅外源圖像的目標(biāo)和背景進(jìn)行分割，具體步驟如下：1)在顯著度圖中選擇灰度值最大的點(diǎn)作為種子點(diǎn)；2)以種子點(diǎn)為中心，考慮其4鄰域像素點(diǎn)，如果滿足生長規(guī)則，在將其合并。以鄰域像素點(diǎn)與已分割區(qū)域灰度均值的差作為相似性測度，把差值最小的鄰域相似點(diǎn)合并到分割區(qū)域；3)當(dāng)相似性測度大于分割閾值時，則停止生長。

圖3給出了紅外源圖像和融合圖像的分割圖像，其中圖3a～圖3c分別為紅外源圖像、ave融合圖像(經(jīng)均值法獲得的融合圖像)、lap融合圖像(經(jīng)拉普拉斯金字塔獲得的融合圖像)，圖3d～圖3f分別為它們各自的區(qū)域分割圖。

從圖3可以看出，該方法有效提取了紅外圖像的目標(biāo)區(qū)域，見圖3d所示；將目標(biāo)區(qū)域的劃分結(jié)果分別映射到ave融合圖像和lap融合圖像，兩幅融合圖像的目標(biāo)區(qū)域分割分別見圖3e和圖3f所示。從人眼觀測可知，雖然ave融合圖像和lap融合圖像都能檢測出熱目標(biāo)，但lap融合方法的目標(biāo)特征更好地保留了紅外圖像的目標(biāo)特征，其融合質(zhì)量優(yōu)于ave融合方法。

步驟3.2：計算融合圖像目標(biāo)區(qū)域與紅外源圖像目標(biāo)區(qū)域間的邊緣結(jié)構(gòu)相似度

式中，分別為紅外源圖像的目標(biāo)區(qū)域和融合圖像的目標(biāo)區(qū)域；l(alocal,flocal)，c(alocal,flocal)，s(alocal,flocal)，e(alocal,flocal)分別為紅外源圖像的目標(biāo)區(qū)域alocal和融合圖像目標(biāo)區(qū)域flocal的亮度比較分量、對比度比較分量、結(jié)構(gòu)比較分量和邊緣比較分量；參數(shù)α,β,γ,η分別為它們的權(quán)重，通常取α＝β＝γ＝η＝1；分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的像素均值；分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的像素方差；為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal之間的協(xié)方差，分別為目標(biāo)區(qū)域alocal和目標(biāo)區(qū)域flocal的邊緣圖像的灰度方差，為兩區(qū)域邊緣圖像的灰度協(xié)方差，這里的邊緣圖像是采用sobel邊緣檢測法獲??；c1,c2,c3,c4為常量，引入目的是為避免分母接近0時出現(xiàn)不穩(wěn)定性。

步驟3.3：計算融合圖像的目標(biāo)與背景間的對比度

首先，計算融合圖像的亮度均值減損對比歸一化系數(shù)(簡稱mscn系數(shù))，其計算公式如下：

式中，常數(shù)c是為避免圖像平坦區(qū)分母趨向于零時發(fā)生不穩(wěn)定；

為二維圓對稱的高斯加權(quán)函數(shù)，這里令k＝l＝3。

其次，計算目標(biāo)與背景間的韋伯對比度，計算公式為：cw＝|lt-lb|/lb。其中，lt和lb分別為目標(biāo)區(qū)域和鄰近背景區(qū)域中像素的mscn系數(shù)的平均值。

步驟3.4：計算融合圖像的局部目標(biāo)特征評價指標(biāo)rlocal

將區(qū)域邊緣結(jié)構(gòu)相似度essim(alocal,flocal)和融合圖像的目標(biāo)與背景間的對比度cw相加，獲得融合圖像的局部目標(biāo)特征評價指標(biāo)rlocal，即：rlocal＝essim(alocal,flocal)+cw。

步驟4：將融合圖像的全局細(xì)節(jié)特征指標(biāo)和局部目標(biāo)特征指標(biāo)進(jìn)行加權(quán)求和，得到融合圖像質(zhì)量評價指標(biāo)，計算公式為：r＝w1rglobal+w2rlocal

式中，w1,w2分別為全局細(xì)節(jié)特征rglobal和局部目標(biāo)特征rlocal的權(quán)重，通常取w1＝0.6,w2＝0.4。

評價標(biāo)準(zhǔn)：評價指標(biāo)r值越大，表示紅外與可見光圖像融合質(zhì)量越優(yōu)；反之，表示紅外與可見光圖像融合質(zhì)量越差。

本發(fā)明給出了基于一定仿真條件下的仿真結(jié)果圖，體現(xiàn)出本發(fā)明技術(shù)方案獲得的有益效果。

本發(fā)明首先對四組紅外與可見光源圖像采用均值法(ave)、主成分分析方法(pca)、拉普拉斯金字塔方法(lap)和離散小波(dwt)進(jìn)行融合，再利用本發(fā)明一種紅外與可見光圖像融合質(zhì)量評價方法對融合圖像進(jìn)行評價。

本發(fā)明選取其中具有代表性的4組紅外與可見光源圖像及融合圖像進(jìn)行展示，分別見圖4—圖7所示，其中，圖中a、b分別為嚴(yán)格配準(zhǔn)的紅外與可見光源圖像，圖中c-f分別應(yīng)用ave、pca、lap、dwt獲得的融合圖像。

表1給出了上述4組紅外與可見光圖像融合的評價值。

表1四組紅外與可見光圖像融合質(zhì)量評價值

從表1可以看出：1)在圖4中，lap融合方法的質(zhì)量最優(yōu)，其次是dwt融合方法；2)在圖5中，dwt融合方法質(zhì)量最優(yōu)，其次是lap融合方法。雖然pca融合方法獲得的融合圖像細(xì)節(jié)比較豐富，但是它的局部目標(biāo)特征質(zhì)量較差，導(dǎo)致融合圖像的整體質(zhì)量較差。3)在圖6和圖7中，均是dwt融合方法最優(yōu)，其次是lap融合方法。

綜合可知，采用dwt或者lap融合方法獲得的融合圖像質(zhì)量較好。這是因為：一方面，由于小波分析方法考慮到了多分辨率的特性，無論從算法的合理性還是人眼主觀評價等方面均優(yōu)于ave融合方法和pca融合方法；另一方面，從圖4—圖7可以看出，dwt融合方法和lap融合方法均優(yōu)于ave融合方法和pca融合方法。因此，本發(fā)明是有效的，其結(jié)果與主觀評價結(jié)果具有較好的一致性。

通過表1可以看出：本發(fā)明既可以評價紅外與可見光融合圖像的全局細(xì)節(jié)特征和局部目標(biāo)特征，也可以評價融合圖像的整體特征，兼顧了實際評價過程中的通用性和特殊性要求，對進(jìn)一步改進(jìn)紅外與可見光圖像融合方法具有一定的指導(dǎo)作用。