區(qū)范圍和注視順序。
[0046] 8)依照注視順序，逐個(gè)截取各待融合圖像中、對(duì)應(yīng)某目標(biāo)區(qū)的外接矩形成的局部 子圖像，將其作為局部化的待融合源圖像，執(zhí)行最初融合方案1)~3)步驟，按注視順序、逐 個(gè)進(jìn)行子圖像融合，進(jìn)而完成圖像融合任務(wù)。
[0047] 由此，通過(guò)對(duì)待融合圖像做自動(dòng)目標(biāo)感知，原相位譜法的全局顯著性檢測(cè)被改進(jìn) 為全局顯著性引導(dǎo)下的局部顯著性檢測(cè)，用于克服相位譜法對(duì)圖像尺度變化敏感導(dǎo)致的應(yīng) 用局限性，使得融合結(jié)果在主觀感受上更接近人類(lèi)視覺(jué)。
[0048] 圖2的目標(biāo)感知框圖中，涉及訓(xùn)練數(shù)據(jù)、分類(lèi)模型、注視目標(biāo)結(jié)果等均為采用極限 學(xué)習(xí)機(jī)訓(xùn)練策略相應(yīng)實(shí)施過(guò)程。具體實(shí)施過(guò)程如下：
[0049] 極限學(xué)習(xí)機(jī)（ELM)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hiddenlayer feedforwardnetworks，SLFNs)。對(duì)一個(gè)給定的訓(xùn)練樣本集{(*，，〇}二(：:兄1><兄"，有1個(gè)隱層 結(jié)點(diǎn)的SLFNs表示為：
[0051] 其中a 是隱結(jié)點(diǎn)與輸入結(jié)點(diǎn)的連接參數(shù)（內(nèi)權(quán)），內(nèi)權(quán)可獨(dú)立于訓(xùn)練數(shù)據(jù)的 隨機(jī)產(chǎn)生。K(apbpXj)是第i個(gè)隱結(jié)點(diǎn)對(duì)應(yīng)于輸入的輸出項(xiàng)。0i是第i個(gè)隱結(jié)點(diǎn)到輸 出結(jié)點(diǎn)的連接權(quán)值（外權(quán)）。如果已知給定的訓(xùn)練樣本，且已知隨機(jī)產(chǎn)生的內(nèi)權(quán)，則K(a^ bi，xP可計(jì)算；公式（3)成為一個(gè)線(xiàn)性系統(tǒng)，只有|^是未知項(xiàng)，可通過(guò)線(xiàn)性代數(shù)方法求解。
[0052] 基于上述原理，在給定訓(xùn)練集下，單隱層反饋神經(jīng)網(wǎng)絡(luò)的性能完全由其隱層結(jié)點(diǎn) 與輸出結(jié)點(diǎn)的連接權(quán)值（外權(quán)）確定，而與輸入端與隱層結(jié)點(diǎn)的連接權(quán)值、偏移值等（內(nèi) 權(quán)）無(wú)關(guān)。由此能用數(shù)學(xué)手段解得關(guān)鍵連接權(quán)值的解析解而非迭代近似解，從而使得ELM 算法本質(zhì)上最優(yōu)，避免了基于梯度下降法迭代求解的神經(jīng)網(wǎng)絡(luò)出現(xiàn)局部極小的情況。由于 無(wú)需迭代運(yùn)算，使得學(xué)習(xí)速度數(shù)百倍于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。
[0053]ELM只有一個(gè)可調(diào)參數(shù)一一隱節(jié)點(diǎn)數(shù)量。只要該參數(shù)相對(duì)于具體問(wèn)題而言取值足 夠大，就能保證算法的逼近能力。這樣的特性使我們能避免參數(shù)尋優(yōu)問(wèn)題的困擾，從而集中 注意力獲取合適的訓(xùn)練樣本。同時(shí)，增加樣本數(shù)據(jù)的維度變得很容易，可以考慮不同模態(tài)的 屬性（顏色、梯度、鄰域、紋理、位置、深度、差別和上下境信息等）。避免了傳統(tǒng)機(jī)器學(xué)習(xí)算 法在線(xiàn)訓(xùn)練需合理設(shè)置參數(shù)的困難問(wèn)題。
[0054] 為了優(yōu)化本發(fā)明，克服ELM內(nèi)權(quán)隨機(jī)產(chǎn)生導(dǎo)致的分類(lèi)性能不穩(wěn)定問(wèn)題，采用多個(gè) 分類(lèi)器的結(jié)果集成方式獲得穩(wěn)定的注視目標(biāo)區(qū)。
[0055] 作為改進(jìn)，所述的相位譜法還指通過(guò)超復(fù)數(shù)傅立葉變換，將彩色圖像中的紅、綠、 藍(lán)三個(gè)分量作為超復(fù)數(shù)的三個(gè)虛部參與傅立葉變換，只保留相位譜信息，經(jīng)傅立葉反變換 獲得像素顯著度圖。該設(shè)計(jì)用于解決現(xiàn)有技術(shù)僅能處理黑白圖像識(shí)別的問(wèn)題，有效地針對(duì) 彩色圖像相應(yīng)地改進(jìn)了相位譜法的具體步驟。
[0056] 超復(fù)數(shù)由四個(gè)部分組成，表示為
[0057] q=a+bi+cj+dk(4)
[0058] 其中a，b，c，d都是實(shí)數(shù)，i，j，k都是虛數(shù)單位，且具有以下性質(zhì)：i2=j2=k2 = ijk= -1，ij=-ji=k，ki=-ik=j，jk=-kj=i〇
[0059] 彩色圖像的RGB模型可以描述為沒(méi)有實(shí)部的純超復(fù)數(shù)：
[0060]f=R(m,n)i+G(m,n)j+B(m,n)k(5)
[0061] 其中R(m，n)，G(m，n)，B(m，n)分別表示圖像紅綠藍(lán)三個(gè)分量。若q=f，則a= 0,b=R(m，n)，c=G(m，n)，d=B(m，n)。對(duì)構(gòu)造好的彩色矢量可按照式（6)進(jìn)行超復(fù)數(shù) 傅里葉變換：
[0062]FE(v,u)=(real(fft2(a)) +u?imag(fft2(a)))+
[0063]i(real(fft2(b)) +y?imag(fft2(b))) + (6)
[0064]j(real(fft2 (c)) +y?imag(fft2(c))) +
[0065]k(real(fft(d)) +u?imag(fft2 (d)))
[0066] 其中，fft2()表示傳統(tǒng)二維傅里葉變換，real()表示取實(shí)部，imag()表示取虛部。
[0067] //=(/+)+幻/"，為單位虛向量。此處，只需取以^11)的相位譜P(f):
[0068]
[0069]令：A=eJP(f) (8)
[0070] 利用傳統(tǒng)二維快速傅里葉逆變換（ifft2)組合可以得到超復(fù)數(shù)傅里葉逆變換，如 式（9):
[0071]F_e(v,u)=(real(ifft2(A)) +u?imag (ifft2(A)))+
[0072]i(real(ifft2 (B)) + y?imag(ifft2 (B))) + (9)
[0073] j(real(ifft2 (C)) + y ?imag(ifft2 (C))) +
[0074] k(real(ifft2(D)) + u ? imag (ifft2 (D)))
[0075]其中，B=fft2 (b)，C=fft2 (c)，D= fft2 (d)。
[0076]Sa_Map=real(F_E (v, u)) (10)
[0077] 即為求得的顯著圖。由于彩色像素在數(shù)據(jù)處理前后的整體性得到了保持，從而避 免了由于矢量分量的變換或交換引起的色彩失真。
[0078] 以上僅就本發(fā)明較佳的實(shí)施例作了說(shuō)明，但不能理解為是對(duì)權(quán)利要求的限制。本 發(fā)明不僅局限于以上實(shí)施例，其具體結(jié)構(gòu)允許有變化?？傊?，凡在本發(fā)明獨(dú)立權(quán)利要求的保 護(hù)范圍內(nèi)所作的各種變化均在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在于：包括以下步驟： 1) 通過(guò)相位譜法對(duì)若干幅待融合源圖像作顯著性檢測(cè)，分別得到與源圖像對(duì)應(yīng)的像素 顯著度圖，所述像素顯著度圖與所述源圖像的像素位置信息一致； 2) 通過(guò)比較源圖像的各像素顯著度圖中相同位置的顯著度，選取顯著度最大的源圖像 像素作為融合圖像的候選像素； 3) 由候選像素組合、生成融合圖像。2. 根據(jù)權(quán)利要求1所述的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在于： 所述的相位譜法檢測(cè)得到的像素顯著度與圖像聚焦清晰程度正相關(guān)，通過(guò)相互比較像素顯 著度值，可定位源圖像中的聚焦清晰區(qū)域，選擇最清晰像素。3. 根據(jù)權(quán)利要求1或2所述的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在 于：所述的相位譜法是指通過(guò)超復(fù)數(shù)傅立葉變換，將彩色圖像中的紅、綠、藍(lán)三個(gè)分量作為 超復(fù)數(shù)的三個(gè)虛部參與傅立葉變換，只保留相位譜信息，經(jīng)傅立葉反變換獲得像素顯著度 圖。4. 根據(jù)權(quán)利要求1或2所述的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在 于：所述的相位譜法作顯著性檢測(cè)為局部化的視覺(jué)顯著性檢測(cè)，步驟如下： 4) 將若干幅待融合圖像疊加，生成一幅均值圖像，經(jīng)相位譜法獲得該均值圖像的像素 顯著度圖，依據(jù)顯著度排序像素點(diǎn)； 5) 選取前N個(gè)顯著的像素點(diǎn)作為注視點(diǎn)，以每個(gè)注視點(diǎn)為中心，形成信息熵最大的局 部區(qū)域，這些局部區(qū)域組成注視區(qū)域； 6) 對(duì)所述的注視區(qū)域內(nèi)部像素進(jìn)行隨機(jī)采樣，并對(duì)注視區(qū)域外部進(jìn)行等量的像素隨機(jī) 采樣；采樣得到的注視區(qū)域內(nèi)部像素作為正樣本，注視區(qū)域外部像素作為負(fù)樣本； 7) 利用極限學(xué)習(xí)機(jī)訓(xùn)練策略，學(xué)習(xí)得到一個(gè)二分類(lèi)的前饋神經(jīng)網(wǎng)絡(luò)模型，通過(guò)該模型 分類(lèi)所述均值圖像的全部像素，將被分為正樣本的像素區(qū)域作為第一注視目標(biāo)區(qū)。5. 根據(jù)權(quán)利要求4所述的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在于： 在步驟7)后還包括以下步驟： 8) 以第一注視目標(biāo)區(qū)中的最大連通區(qū)域的外接凸包構(gòu)建更新的注視區(qū)域，經(jīng)步驟6) 和7)得到相應(yīng)的第二注視目標(biāo)區(qū)； 9) 比較第一注視目標(biāo)區(qū)和第二注視目標(biāo)區(qū)的重疊程度，重疊程度大表明該重疊區(qū)域?qū)?形成視覺(jué)感知的刺激強(qiáng)度大；重疊程度小則表明還未形成足夠的視覺(jué)刺激強(qiáng)度，繼續(xù)重復(fù) 6)~9)過(guò)程，直至達(dá)到足夠的刺激強(qiáng)度；輸出的注視目標(biāo)區(qū)是上述過(guò)程中達(dá)到了刺激強(qiáng)度 的若干個(gè)注視目標(biāo)區(qū)的重疊部分。6. 根據(jù)權(quán)利要求5所述的基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，其特征在于： 還包括以下步驟： 10) 獲得注視目標(biāo)區(qū)后，在均值圖像和其像素顯著度圖中該區(qū)域被清零更新，對(duì)更新后 的像素顯著度圖中的顯著點(diǎn)，依據(jù)顯著度再次排序，重復(fù)步驟5)~10)，得到新的注視目標(biāo) 區(qū)；依此迭代，可獲得待融合圖像中的各注視目標(biāo)區(qū)范圍和注視順序。 11) 依照注視順序，逐個(gè)截取各待融合圖像中某個(gè)注視目標(biāo)區(qū)的外接矩構(gòu)成的局部子 圖像；將其作為待融合源圖像，執(zhí)行1)~3)步驟；按注視順序、逐個(gè)進(jìn)行子圖像融合，進(jìn)而 完成圖像融合任務(wù)。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于相位譜視覺(jué)顯著性檢測(cè)的圖像融合方法，包括以下步驟：1)通過(guò)相位譜法對(duì)若干幅待融合源圖像作顯著性檢測(cè)，分別得到與源圖像對(duì)應(yīng)的像素顯著度圖，所述像素顯著度圖與所述源圖像的像素位置信息一致；2)通過(guò)比較源圖像各像素顯著度圖中相同位置的顯著度，選取顯著度最大的源圖像像素作為融合圖像的候選像素；3)由候選像素組合、生成融合圖像。針對(duì)相位譜法表現(xiàn)出的對(duì)圖像尺度敏感、難以兼顧具有不同細(xì)節(jié)程度的圖像區(qū)域的缺陷，本發(fā)明通過(guò)基于極限學(xué)習(xí)機(jī)的圖像目標(biāo)自動(dòng)感知方法，將原相位譜法的全局顯著性檢測(cè)改進(jìn)為全局顯著性引導(dǎo)下的局部顯著性檢測(cè)，借此克服算法缺陷，提高融合性能。
【IPC分類(lèi)】G06T5/50
【公開(kāi)號(hào)】CN104933691
【申請(qǐng)?zhí)枴緾N201510377179
【發(fā)明人】潘晨
【申請(qǐng)人】中國(guó)計(jì)量學(xué)院
【公開(kāi)日】2015年9月23日
【申請(qǐng)日】2015年6月25日