基于自適應(yīng)稀疏表示的多聚焦圖像融合方法
【專利摘要】本發(fā)明公開了一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，根據(jù)原始圖像中結(jié)構(gòu)特征的不同將子塊進(jìn)行分類，使原始圖像分為相同模型、平滑模型和細(xì)節(jié)模型。然后將相同模型直接放入融合結(jié)果圖像中，對平滑模型和細(xì)節(jié)模型分別采用算術(shù)平均法和稀疏表示法進(jìn)行圖像塊融合。本發(fā)明的有優(yōu)點(diǎn)是能夠分割出平滑模型和細(xì)節(jié)模型，減少稀疏編碼的圖像塊數(shù)，從而在確保融合圖像主觀效果和客觀性能指標(biāo)均優(yōu)的基礎(chǔ)上，縮短了運(yùn)算時間。
【專利說明】基于自適應(yīng)稀疏表示的多聚焦圖像融合方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理【技術(shù)領(lǐng)域】，具體是一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法。

【背景技術(shù)】
[0002]多聚焦圖像融合作為圖像融合的一個重要分支，正日益廣泛地應(yīng)用于機(jī)器視覺、目標(biāo)識別、數(shù)碼相機(jī)等領(lǐng)域。在實(shí)際應(yīng)用中，一些光學(xué)鏡頭往往不能使得同一場景的多個目標(biāo)都在同一聚焦區(qū)域，因此需要將多幅圖像中的清晰模型結(jié)合起來，生成一幅所有目標(biāo)都清晰的圖像，以滿足對圖像更深層次應(yīng)用的需要。多聚焦圖像融合正是解決這一問題的有效途徑。
[0003]多聚焦融合圖像擁有大量的冗余信息，能夠更加清晰地描述出一幅場景。傳統(tǒng)的融合方法包括小波變換、輪廓波變換等，但是在變換與反變換的過程中可能發(fā)生圖像信息的丟失，從而影響最終的融合效果。目前，稀疏表示作為一種有效的表示模型廣泛應(yīng)用于圖像領(lǐng)域。B.Yang 等在 “B.Yang, and S.Li, “Multifocus image fusion andrestoration with sparse representation, ”IEEE Transactions on Instrumentationand Measurement, 2010, 59(4):884-892.”提出了一種基于過完備稀疏表示的圖像融合算法，融合效果較好，但DCT字典的適應(yīng)性不強(qiáng)，運(yùn)算復(fù)雜度高；N.Yu等在“N.Yu, T.Qiu,F.Bi, and A.Wang, “Image Features Extraction and Fusion Based on Joint SparseRepresentation,，，IEEE Journal of Selected Topics in Signal Processing,2011,5(5):1074-1082.”采用K-SVD方法對選取的圖像庫進(jìn)行訓(xùn)練得到適應(yīng)性強(qiáng)的過完備字典，并利用稀疏系數(shù)中非零元素所對應(yīng)的基向量作為圖像特征，分離相同特征和相異特征分別進(jìn)行融合，克服了融合圖像中相異特征清晰度下降問題。但是稀疏表示圖像融合算法需要對每個圖像塊進(jìn)行稀疏表示，其復(fù)雜度高的問題，依然沒有得到較好解決。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服上述現(xiàn)有的稀疏表示圖像融合技術(shù)運(yùn)算復(fù)雜度高的缺點(diǎn)，提出了一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，以提高稀疏表示算法融合圖像的效率。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明在自適應(yīng)稀疏表示的框架下實(shí)現(xiàn)多聚焦圖像融合，其技術(shù)方案是根據(jù)圖像的結(jié)構(gòu)特征將子塊分為相似模型、平滑模型和細(xì)節(jié)模型。然后對三種模型采取不同的處理，相似模型直接放入融合圖像，平滑模型和細(xì)節(jié)模型分別采用加權(quán)平均法和稀疏表示法進(jìn)行融合，從而減少了稀疏編碼的圖像塊數(shù)，以提高融合效率。
[0006]本發(fā)明一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，包括如下步驟:
[0007]1、利用成像設(shè)備獲得焦距不同的待融合自然圖像。
[0008]2、對源圖像預(yù)處理
[0009]將獲取的配準(zhǔn)待融合圖像歸一化，再按照一定大小進(jìn)行滑動分塊處理。
[0010]3、圖像塊分類處理
[0011]先將待融合圖像子塊劃分為相似塊和異同塊，將步驟2獲得的所有對應(yīng)位圖像子塊進(jìn)行像素值對比，區(qū)分相似塊和異同塊，相似塊屬于相似模型；
[0012]再將待融合圖像的異同塊進(jìn)一步劃分，將獲得的異同塊計算出各塊的梯度值，若塊的梯度都小于等于閾值μ，屬于源圖像的平滑模型，反之屬于細(xì)節(jié)模型。
[0013]4、訓(xùn)練K-SVD過完備字典
[0014]選擇一些信息豐富的自然圖像，利用K-SVD (Aharon M, Elad M, BrucksteinA.K-SVD:An algorithm for designing overcomplete dict1naries for sparserepresentat1n[J].1EEE Transact1n on Signal Processing, 2006, 54(11):4311-4322)的方法對這些自然圖像進(jìn)行字典學(xué)習(xí)，獲得過完備字典。
[0015]5、利用正交匹配追蹤算法(Rosenblum K, Zelnik-Manor L, Eldar Y.Dict1naryOptimizat1n for Block-Sparse Representat1ns [J].Signal Processing,IEEETransact1ns on, 2012, 60(5):2386-2395)分別求解利用步驟3獲得的各源圖像細(xì)節(jié)模型在K-SVD過完備字典下的稀疏系數(shù)。
[0016]6、將步驟3獲得的相似模型直接放入融合結(jié)果圖的對應(yīng)位。
[0017]7、將步驟3獲得的平滑模型利用算術(shù)加權(quán)平均法進(jìn)行融合。
[0018]8、利用步驟5獲得的源圖像的細(xì)節(jié)模型、稀疏系數(shù)以及稀疏度和絕對值組合，取大的融合規(guī)則獲得細(xì)節(jié)模型的融合稀疏系數(shù)。
[0019]9、重構(gòu)細(xì)節(jié)模型
[0020]利用步驟8獲得的融合稀疏系數(shù)與K-SVD過完備字典相乘，得到列向量化的細(xì)節(jié)模型融合圖像。
[0021]10、重構(gòu)融合圖像
[0022]將列向量化的三種模型融合圖像轉(zhuǎn)化為圖像塊，疊加到對應(yīng)位置，再除以每個位置像素值疊加的次數(shù)，最終獲得融合結(jié)果圖像。
[0023]本發(fā)明的有益效果是:
[0024]1、本發(fā)明將稀疏表示引入多聚焦圖像融合領(lǐng)域，克服了傳統(tǒng)技術(shù)在變換過程中信息丟失的情況，使得本發(fā)明擁有更良好的融合效果。
[0025]2、本發(fā)明根據(jù)圖像特征對圖像塊進(jìn)行分類處理，克服了稀疏表示算法運(yùn)算復(fù)雜度高的問題，本發(fā)明的融合效率比傳統(tǒng)稀疏表示算法明顯提高，使得稀疏表示算法可以更好地應(yīng)用到實(shí)際的圖像融合中。

【專利附圖】

【附圖說明】
[0026]圖1是本發(fā)明基于自適應(yīng)稀疏表示的多聚焦圖像融合方法的流程圖。
[0027]圖2是本發(fā)明基于自適應(yīng)稀疏表示的多聚焦圖像融合方法的仿真圖；圖2(幻和圖2(b)是一組待融合圖像，2(a)為聚焦在左邊的源圖像，2(b)為聚焦在右邊的源圖像；圖2(c)?(e)分別為傳統(tǒng)的小波變換法、輪廓波變換法和稀疏表示算法；圖2(f)為采用本發(fā)明對圖2(a)和2(b)待融合圖像進(jìn)行融合后獲得的多聚焦圖像。

【具體實(shí)施方式】
[0028]以下結(jié)合附圖和實(shí)施例對本發(fā)明作詳細(xì)說明:本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施的例子，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不應(yīng)限于下述的實(shí)施例。
[0029]實(shí)施例
[0030]參照圖1，本發(fā)明一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，包括如下步驟:
[0031 ] 1、利用成像設(shè)備獲得焦距不同的待融合自然圖像
[0032]本發(fā)明實(shí)施例中待融合的多焦距自然圖像大小為256X256，灰度范圍是O~255。
[0033]2、對源圖像預(yù)處理
[0034]將配準(zhǔn)的待融合圖像進(jìn)行歸一化，再采用具有位移不變特性的滑動窗口技術(shù)對源圖像進(jìn)行分塊，步長取I。假設(shè)源圖像大小為NXM，選取nXn大小對源圖像A，B分塊各得到(Ν+η-1) X (Μ+η-1)個圖像子塊。
[0035]3、圖像塊分類處理
[0036]按照待融合圖像的結(jié)構(gòu)特性，對圖像子塊進(jìn)行分類。圖像f可分為相似模型f；、平滑模型f。和細(xì)節(jié)模型fd，即
[0037]f = fe+fc+fd (I)
[0038]先將步驟2獲得的圖像子塊劃分為相似塊和異同塊。對比各源圖像對應(yīng)位置圖像子塊的像素值，如果相應(yīng)子塊的每個像素點(diǎn)都相等，該子塊屬于相似模型；反之為異同塊，進(jìn)行下一步區(qū)分。
[0039]再將待融合圖像的異同塊進(jìn)一步劃分。不同子塊之間包含邊緣和紋理越多的圖像塊，信息更豐富，體現(xiàn)的細(xì)節(jié)更清晰，屬于細(xì)節(jié)模型。相反包含信息量較少的子塊，屬于平滑模型。本發(fā)明選擇梯度作為圖像塊進(jìn)一步分類的判斷準(zhǔn)則。圖像的梯度G(x，y)定義為式
(2)所示:

【權(quán)利要求】
1.一種基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于，包括下列步驟: (1)利用成像設(shè)備獲得焦距不同的待融合自然圖像； (2)對源圖像預(yù)處理 將獲取的配準(zhǔn)待融合圖像歸一化，再按照一定大小進(jìn)行滑動分塊處理； (3)圖像塊分類處理 將步驟(2)獲得的所有對應(yīng)位圖像子塊進(jìn)行像素值對比，區(qū)分相似塊和異同塊，相似塊屬于相似模型，再計算各異同塊的梯度值，若都小于等于閾值μ，屬于源圖像的平滑模型，反之屬于細(xì)節(jié)模型； (4)訓(xùn)練K-SVD過完備字典 選擇一些信息豐富的自然圖像，利用K-SVD的方法對這些自然圖像進(jìn)行字典學(xué)習(xí)，獲得過完備字典； (5)利用正交匹配追蹤算法分別求解利用步驟(3)獲得的各源圖像細(xì)節(jié)模型在K-SVD過完備子典下的稀疏系數(shù)； (6)將步驟(3)獲得的相似模型直接放入融合結(jié)果圖的對應(yīng)位； (7)將步驟(3)獲得 的平滑模型利用算術(shù)加權(quán)平均法進(jìn)行融合； (8)利用步驟(5)獲得的源圖像的細(xì)節(jié)模型稀疏系數(shù)、以及稀疏度和絕對值組合，取大的融合規(guī)則獲得細(xì)節(jié)模型的融合稀疏系數(shù)； (9)重構(gòu)細(xì)節(jié)模型 將步驟(8)獲得的稀疏系數(shù)與K-SVD過完備字典相乘，得到列向量化的細(xì)節(jié)模型融合圖像； (10)重構(gòu)融合圖像 將列向量化的三種模型融合圖像轉(zhuǎn)化為圖像塊，疊加到對應(yīng)位置，再除以每個位置像素值疊加的次數(shù)，最終獲得融合結(jié)果圖像。
2.根據(jù)權(quán)利要求1所述的基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于:步驟(3)所述的圖像塊分類處理的具體步驟如下: 先將待融合圖像子塊劃分為相似塊和異同塊，對比各源圖像對應(yīng)位置圖像子塊的像素值，如果相應(yīng)子塊的每個像素點(diǎn)都相等，該子塊屬于相似模型f；;反之為異同塊，進(jìn)行下一步區(qū)分； 再將待融合圖像的異同塊進(jìn)一步劃分，選擇梯度作為圖像塊進(jìn)一步分類的判斷準(zhǔn)則，圖像的梯度G(x，y)定義為式⑴所示:2⑴ 其中，M，N是分塊的大小，f(x，y)是子塊中(x，y)處的像素值，梯度值G越大，代表圖像塊的信息量越大，相反，圖像塊的信息量越少； 根據(jù)梯度定義公式計算出每個異同子塊的梯度值G，設(shè)定閾值μ，若對應(yīng)位置子塊的梯度值都小于等于μ，屬于平滑模型f。；否則子塊屬于細(xì)節(jié)模型fd。
3.根據(jù)權(quán)利要求1所述的基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于:步驟(4)所述的訓(xùn)練K-SVD過完備字典的具體步驟如下:選擇一組信息豐富的自然圖像，再在這些自然圖像上以塊的方式隨機(jī)提取大小為NXN大小的樣本塊并列向量化，提取的樣本表示為X，則對應(yīng)的過完備字典表示為D可以通過下列目標(biāo)方程得到:
4.根據(jù)權(quán)利要求1所述的基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于:步驟(5)所述的利用正交匹配追蹤算法求解源圖像細(xì)節(jié)模型在K-SVD過完備字典下的稀疏系數(shù)的具體步驟如下: 用大小為
的窗口從左至右，從上至下遍歷各個待融合的多聚焦圖像，并將每個圖像塊轉(zhuǎn)換為長度為η的列向量，表示為
，其中N為單幅圖像中圖像塊的數(shù)目； 對于
利用過完備字典D及OMP算法進(jìn)行稀疏表示系數(shù)的求解，即可獲得相應(yīng)的待融合多聚焦圖像稀疏表示系數(shù)^^和αΒ:.Α 2
5.根據(jù)權(quán)利要求1所述的基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于:步驟(7)所述的平滑模型利用算術(shù)加權(quán)平均法進(jìn)行融合的具體步驟如下: 平滑模型f。的加權(quán)平均融合可表示為
其中權(quán)系數(shù)選取Co1 = ω2 = 0.5，平滑模型的融合圖像放入融合圖像的對應(yīng)位。
6.根據(jù)權(quán)利要求1所述的基于自適應(yīng)稀疏表示的多聚焦圖像融合方法，其特征在于:步驟(8)所述的利用細(xì)節(jié)模型稀疏系數(shù)以及稀疏度和絕對值組合取大的融合規(guī)則得到細(xì)節(jié)模型融合稀疏系數(shù)的具體步驟如下: 當(dāng)稀疏度一致時，可用I1范數(shù)進(jìn)行系數(shù)選取，利用結(jié)合系數(shù)稀疏度和I1范數(shù)的融合規(guī)則求細(xì)節(jié)模型的融合稀疏系數(shù)aF，如式(6)所示
【文檔編號】G06T5/50GK104077761SQ201410293009
【公開日】2014年10月1日 申請日期:2014年6月26日 優(yōu)先權(quán)日:2014年6月26日
【發(fā)明者】陳利霞, 李子, 袁華, 莫建文, 張彤, 首照宇, 歐陽寧, 趙暉, 林樂平, 王學(xué)文 申請人:桂林電子科技大學(xué)