本發(fā)明涉及圖像融合，特別是涉及一種用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法及設(shè)備。

背景技術(shù)：

1、傳統(tǒng)的路面檢測(cè)方法往往基于單模態(tài)的輸入數(shù)據(jù)，然而單模態(tài)數(shù)據(jù)在特定條件下常常存在缺陷，圖像采集條件的變化例如相機(jī)校準(zhǔn)照明條件和圖像質(zhì)量，往往在處理復(fù)雜環(huán)境條件時(shí)無法獲取明確的裂縫信息。由于可見光和紅外圖像具有幾乎所有物體固有的特征，可以通過融合產(chǎn)生魯棒性高且信息豐富的圖像。然而，目前的融合規(guī)則往往忽略圖像特征的差異性，導(dǎo)致結(jié)果包含偽影且源圖像細(xì)節(jié)丟失。

2、近年來，研究者更多地傾向于采用深度學(xué)習(xí)算法實(shí)現(xiàn)可見光和紅外圖像的融合，現(xiàn)有的一種多源圖像融合算法，在非下采樣輪廓波域(nonsubsampledcontourlettransform，nsct)提取融合目標(biāo)區(qū)域的可見光和紅外圖像，對(duì)融合圖像質(zhì)量進(jìn)行了提升，但當(dāng)網(wǎng)絡(luò)深度達(dá)到一定程度時(shí)，效果反而會(huì)下降。一種融合靜態(tài)多曝光度的圖像融合方法(deep?unsupervised?approach?forfusion，deepfuse)，首先將輸入圖像轉(zhuǎn)換到不同的色彩空間，通過兩個(gè)并行的神經(jīng)網(wǎng)絡(luò)分支提取不同色彩空間中的低級(jí)特征(如紋理和邊緣)和高級(jí)特征(如語義和結(jié)構(gòu))。然后融合相應(yīng)的權(quán)重，將兩個(gè)特征圖像進(jìn)行加權(quán)平均，得到輸出圖像，但是最終的融合圖像也存在與環(huán)境對(duì)比度低的問題。一種生成式可見光與紅外圖像融合對(duì)抗網(wǎng)絡(luò)(generativeadversarial?network?for?infrared?and?visibleimage?fusion，fusiongan)，將融合算法定義為保持紅外熱輻射信息與可見光外觀紋理信息的對(duì)抗博弈，但由于鑒別器在對(duì)抗生成過程中只關(guān)注可見光圖像，因此難以獲取融合圖像局部信息。一種新的生成器融合架構(gòu)，稱為多分類約束的生成對(duì)抗網(wǎng)絡(luò)(generativeadversarial?network?with?multi-classification?constraints，ganmcc)，該框架全局生成器通過編碼輸入圖像的全局信息生成粗糙的融合圖像，局部生成器則通過編碼輸入圖像的局部信息，生成一個(gè)細(xì)節(jié)修正圖像。但融合結(jié)果更趨近于紅外圖像的像素分布，圖像過于平滑，且會(huì)產(chǎn)生一些不連續(xù)的邊緣。

3、綜上所述，現(xiàn)有的可見光和紅外圖像融合方法得到的道路融合圖像邊緣不清晰且細(xì)節(jié)不豐富，導(dǎo)致最終進(jìn)行道路裂縫檢測(cè)的結(jié)果不準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法及設(shè)備，可得到邊緣清晰且細(xì)節(jié)豐富的道路融合圖像。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，包括：

4、獲取目標(biāo)道路的可見光圖像和目標(biāo)道路的紅外光圖像；

5、將所述目標(biāo)道路的可見光圖像和所述目標(biāo)道路的紅外光圖像輸入圖像融合網(wǎng)絡(luò)得到目標(biāo)道路的融合圖像，所述目標(biāo)道路的融合圖像用于道路裂縫檢測(cè)，所述圖像融合網(wǎng)絡(luò)為對(duì)基于多尺度特征提取的多路注意力生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；所述基于多尺度特征提取的多路注意力生成對(duì)抗網(wǎng)絡(luò)包括多尺度特征提取子網(wǎng)絡(luò)、多注意力特征融合層、雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層和拼接層；所述多尺度特征提取子網(wǎng)絡(luò)包括依次連接的基于nest連接的多尺度特征提取層和金字塔特征融合模塊；所述基于nest連接的多尺度特征提取層包括多個(gè)卷積層；所述多注意力特征融合層包括第一級(jí)聯(lián)操作、強(qiáng)度路徑、多尺度融合路徑和梯度路徑，所述強(qiáng)度路徑包括依次連接的第二級(jí)聯(lián)操作、第一卷積塊、第二卷積塊、強(qiáng)度注意力機(jī)制和第一叉乘操作，且第二卷積塊的輸出端還與第一叉乘操作的輸入端連接；所述多尺度融合路徑包括依次連接的第三卷積塊、通道注意力機(jī)制和第二叉乘操作，且第三卷積塊的輸出端還與第二叉乘操作的輸入端連接；所述梯度路徑包括依次連接的第三級(jí)聯(lián)操作、第四卷積塊、第五卷積塊、紋理注意力機(jī)制和第三叉乘操作，且第五卷積塊的輸出端還與第三叉乘操作的輸入端連接；所述第二級(jí)聯(lián)操作的輸入端、所述第三卷積塊的輸入端和所述第三級(jí)聯(lián)操作的輸入端均與所述金字塔特征融合模塊的輸出端連接；所述第一叉乘操作的輸出端、所述第二叉乘操作的輸出端和所述第三叉乘操作的輸出端均與所述第一級(jí)聯(lián)操作的輸入端連接，所述雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層包括紅外光鑒別器、可見光鑒別器和解碼器，所述第一級(jí)聯(lián)操作的輸出端與所述解碼器的輸入端連接，所述紅外光鑒別器的第一輸入端用于輸入所述目標(biāo)道路的紅外光圖像，所述可見光鑒別器的第一輸入端用于輸入所述目標(biāo)道路的可見光圖像，所述紅外光鑒別器的第二輸入端和所述可見光鑒別器的第二輸入端均與所述解碼器的輸出端連接，所述紅外光鑒別器的輸出端和所述可見光鑒別器的輸出端均與所述拼接層連接，所述拼接層用于輸出融合圖像。

6、一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)上述所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法。

7、根據(jù)本發(fā)明提供的具體實(shí)施例，本發(fā)明公開了以下技術(shù)效果：

8、本發(fā)明提供的基于多尺度特征提取的多路注意力生成對(duì)抗網(wǎng)絡(luò)包括多尺度特征提取子網(wǎng)絡(luò)、多注意力特征融合層、雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層和拼接層；多尺度特征提取子網(wǎng)絡(luò)包括依次連接的基于nest連接的多尺度特征提取層和金字塔特征融合模塊；多注意力特征融合層包括第一級(jí)聯(lián)操作、強(qiáng)度路徑、多尺度融合路徑和梯度路徑，強(qiáng)度路徑包括依次連接的第二級(jí)聯(lián)操作、第一卷積塊、第二卷積塊、強(qiáng)度注意力機(jī)制和第一叉乘操作，且第二卷積塊的輸出端還與第一叉乘操作的輸入端連接；多尺度融合路徑包括依次連接的第三卷積塊、通道注意力機(jī)制和第二叉乘操作，且第三卷積塊的輸出端還與第二叉乘操作的輸入端連接；梯度路徑包括依次連接的第三級(jí)聯(lián)操作、第四卷積塊、第五卷積塊、紋理注意力機(jī)制和第三叉乘操作，且第五卷積塊的輸出端還與第三叉乘操作的輸入端連接；雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層包括紅外光鑒別器、可見光鑒別器和解碼器，本發(fā)明提供的基于多尺度特征提取的多路注意力生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)將融合路徑主要分為紅外強(qiáng)度路徑和可見光梯度路徑，通過多尺度特征提取子網(wǎng)絡(luò)用每一層輸出的特征來構(gòu)建連接作為上述兩路徑的輸入，使得網(wǎng)絡(luò)提取的特征能最大化的被使用，克服了單一尺度特征裂縫不清晰的問題。不僅于此，本發(fā)明還在多尺度融合路徑上構(gòu)建通道注意力機(jī)制，與不同的融合特征分布進(jìn)行三路特征融合，在這種機(jī)制下，紅外或可見光融合圖像的特征會(huì)被保留下來，并會(huì)關(guān)注當(dāng)前環(huán)境更重要的信息，從而在處理過程中更好地適應(yīng)不同光照條件，可得到邊緣清晰且細(xì)節(jié)豐富的道路融合圖像。

技術(shù)特征：

1.一種用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述基于nest連接的多尺度特征提取層包括6個(gè)卷積層；第一個(gè)卷積層的輸入端、第四個(gè)卷積層的輸入端以及第六個(gè)卷積層的輸入端均用于輸入目標(biāo)道路的可見光圖像和目標(biāo)道路的紅外光圖像，第一個(gè)卷積層的輸出端、第三個(gè)卷積層的輸出端、第四個(gè)卷積層的輸出端、第五個(gè)卷積層的輸出端和第六個(gè)卷積層的輸出端均與所述金字塔特征融合模塊的輸入端連接，第一個(gè)卷積層的輸出端以及第四個(gè)卷積層的輸出端還與第二個(gè)卷積層的輸入端連接，第二個(gè)卷積層的輸出端以及第五個(gè)卷積層的輸出端還與第三個(gè)卷積層的輸入端連接，第四個(gè)卷積層的輸出端和第六個(gè)卷積層的輸出端還與第五個(gè)卷積層的輸入端連接，第一個(gè)卷積層、第四個(gè)卷積層以及第六個(gè)卷積層的卷積核均不相同。

3.根據(jù)權(quán)利要求2所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述金字塔特征融合模塊包括第一卷積層、第二卷積層、第三卷積層、第四卷積層和第五卷積層；

4.根據(jù)權(quán)利要求1所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述強(qiáng)度注意力機(jī)制包括：高通濾波器和強(qiáng)度注意模塊；所述強(qiáng)度注意模塊包括第一最大池化層、第一平均池化層、第六卷積層和第一sigmoid函數(shù)；所述第一最大池化層和所述第一平均池化層的輸入端分別與所述高通濾波器的輸出端連接，所述第一最大池化層和所述第一平均池化層的輸出端分別與所述第六卷積層的輸入端連接，所述第六卷積層的輸出端與所述第一sigmoid函數(shù)的輸入端連接，所述高通濾波器的輸入端與所述第二卷積塊的輸出端連接；所述第一sigmoid函數(shù)的輸出端與所述第一叉乘操作的輸入端連接。

5.根據(jù)權(quán)利要求1所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述通道注意力機(jī)制為將通道注意力模塊中的shared?mlp替換為全連接層的通道注意力機(jī)制。

6.根據(jù)權(quán)利要求1所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述紋理注意力機(jī)制包括：第二最大池化層、第二平均池化層、第七卷積層、相加操作、第四級(jí)聯(lián)操作、第二sigmoid函數(shù)、soble操作、拉普拉斯操作、第一simam注意力操作和第二simam注意力操作；

7.根據(jù)權(quán)利要求1所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述解碼器包括依次連接的卷積塊模塊、第九卷積層和tanh激活函數(shù)；所述卷積塊模塊包括多個(gè)依次連接的第六卷積塊。

8.根據(jù)權(quán)利要求7所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法，其特征在于，所述第一卷積塊、所述第二卷積塊、所述第三卷積塊、所述第四卷積塊、所述第五卷積塊和所述第六卷積塊均包括依次連接的第八卷積層、bn層和leaky?relu激活函數(shù)。

9.一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1-8中任一項(xiàng)所述的用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法。

技術(shù)總結(jié)
本發(fā)明公開一種用于道路裂縫檢測(cè)的可見光與紅外光圖像融合方法及設(shè)備，涉及圖像融合技術(shù)領(lǐng)域。所述方法包括：將目標(biāo)道路的可見光圖像和目標(biāo)道路的紅外光圖像輸入圖像融合網(wǎng)絡(luò)得到目標(biāo)道路的融合圖像，圖像融合網(wǎng)絡(luò)為對(duì)基于多尺度特征提取的多路注意力生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的；網(wǎng)絡(luò)包括多尺度特征提取子網(wǎng)絡(luò)、多注意力特征融合層、雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層和拼接層；多尺度特征提取子網(wǎng)絡(luò)包括依次連接的基于Nest連接的多尺度特征提取層和金字塔特征融合模塊；多注意力特征融合層包括第一級(jí)聯(lián)操作、強(qiáng)度路徑、多尺度融合路徑和梯度路徑，雙鑒別器對(duì)抗生成網(wǎng)絡(luò)層包括兩個(gè)鑒別器和解碼器。本發(fā)明可得到邊緣清晰且細(xì)節(jié)豐富的道路融合圖像。

技術(shù)研發(fā)人員：王鋒,楊娟娟,楊景玉,劉啟明,趙思豪,岳彪,龐陽,張寧平,侯金泉
受保護(hù)的技術(shù)使用者：甘肅新網(wǎng)通科技信息有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5