本發(fā)明涉及紅外圖像弱小目標(biāo)檢測(cè)領(lǐng)域，具體為一種稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、紅外弱小目標(biāo)檢測(cè)利用了紅外成像中目標(biāo)與背景之間的熱輻射差異來(lái)定位目標(biāo)，在軍事、安全監(jiān)控、預(yù)警系統(tǒng)等領(lǐng)域具有廣泛應(yīng)用。與普通可見(jiàn)光目標(biāo)相比，紅外弱小目標(biāo)成像距離更遠(yuǎn)，導(dǎo)致目標(biāo)在圖像中所占比例較小，且缺乏明顯的紋理、形狀、結(jié)構(gòu)特征。此外，紅外輻射能量隨著距離的增加而衰減，使得目標(biāo)容易被背景雜波和噪聲淹沒(méi)，而目標(biāo)稀疏性導(dǎo)致目標(biāo)和背景之間嚴(yán)重不平衡，給檢測(cè)帶來(lái)挑戰(zhàn)。

2、紅外弱小目標(biāo)檢測(cè)的方法主要分為基于模型驅(qū)動(dòng)的數(shù)學(xué)建模方法和基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法。模型驅(qū)動(dòng)方法包括基于濾波、人類(lèi)視覺(jué)系統(tǒng)和低秩稀疏矩陣等方法。這些方法利用先驗(yàn)知識(shí)進(jìn)行建模，但在處理復(fù)雜場(chǎng)景時(shí)存在一定局限性。例如，基于紅外背景一致性假設(shè)的方法雖然原理簡(jiǎn)單，但在復(fù)雜場(chǎng)景中容易出現(xiàn)較高的虛警率；基于稀疏矩陣和低秩矩陣恢復(fù)的方法計(jì)算復(fù)雜，且在噪聲較嚴(yán)重時(shí)易將噪聲誤認(rèn)為目標(biāo)，增加誤檢率；基于人眼視覺(jué)系統(tǒng)的方法雖然考慮了目標(biāo)與鄰域的對(duì)比度，但運(yùn)算效率低，且在復(fù)雜背景下存在顯著圖目標(biāo)不突出、背景雜波抑制不徹底等問(wèn)題。這些模型驅(qū)動(dòng)方法在設(shè)計(jì)檢測(cè)算法時(shí)都考慮了目標(biāo)的物理和成像特性，但不可避免地依賴(lài)于一些假設(shè)和手工特征，這些特性在面對(duì)復(fù)雜背景時(shí)可能不夠魯棒。因此，需要進(jìn)一步探索更加有效的方法來(lái)提高紅外弱小目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

3、基于數(shù)據(jù)驅(qū)動(dòng)的方法不需要先驗(yàn)知識(shí)和手工特征，且有基于大量準(zhǔn)確數(shù)據(jù)的訓(xùn)練設(shè)計(jì)框架，因此擁有更高的檢測(cè)準(zhǔn)確性和更低的誤報(bào)率。因此，本發(fā)明選用基于數(shù)據(jù)驅(qū)動(dòng)的方法，并設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)復(fù)雜背景類(lèi)型下紅外弱小目標(biāo)的準(zhǔn)確檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)復(fù)雜背景下紅外弱小目標(biāo)像素占比少，細(xì)節(jié)紋理特征匱乏導(dǎo)致特征提取困難，檢測(cè)率低，虛警率高的問(wèn)題，提出一種基于稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)，用于復(fù)雜背景下紅外圖像中弱小目標(biāo)的檢測(cè)，有效提高檢測(cè)的準(zhǔn)確率及魯棒性。

2、本發(fā)明采用如下技術(shù)方案：利用基于稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)不同復(fù)雜背景下的紅外弱小目標(biāo)實(shí)現(xiàn)準(zhǔn)確檢測(cè)，包括以下步驟：首先將輸入圖像輸入到預(yù)處理模塊進(jìn)行預(yù)處理，使其規(guī)范化，預(yù)處理后的輸入圖像進(jìn)入到第一個(gè)特征提取模塊，第一個(gè)特征提取模塊提取到的特征圖再輸入到下一個(gè)特征提取模塊，利用包含有分割注意力的特征提取模塊，提取不同尺度的特征，特征提取模塊提取到的不同尺度的特征圖輸入到信息增強(qiáng)模塊，信息增強(qiáng)后的特征圖進(jìn)入注意力模塊，引入稀疏注意力學(xué)習(xí)目標(biāo)與背景之間的遠(yuǎn)程關(guān)系，最后一個(gè)注意力模塊輸出的特征圖輸入到最后一個(gè)上采樣模塊中，最后一個(gè)上采樣模塊采樣的高層特征和倒數(shù)第二個(gè)注意力模塊的輸出的低層特征輸入到最后一個(gè)融合模塊中，最后一個(gè)融合模塊輸出的特征圖輸入到倒數(shù)第二個(gè)上采樣模塊中，該倒數(shù)第二個(gè)上采樣模塊采樣的高層特征和倒數(shù)第三個(gè)注意力模塊的輸出的低層特征輸入到倒數(shù)第二個(gè)融合模塊中，倒數(shù)第二個(gè)融合模塊中輸出的特征圖輸入到倒數(shù)第三個(gè)上采樣模塊中，該倒數(shù)第三個(gè)上采樣模塊采樣的高層特征和倒數(shù)第四個(gè)注意力模塊的輸出的低層特征輸入到倒數(shù)第三個(gè)融合模塊中，依次類(lèi)推，第二個(gè)融合模塊中輸出的特征圖輸入到第一個(gè)上采樣模塊中，該第一個(gè)上采樣模塊采樣的高層特征和第一個(gè)注意力模塊的輸出的低層特征輸入到倒數(shù)第一個(gè)融合模塊中，采用融合模塊將高、低層特征進(jìn)行融合，第一個(gè)融合模塊輸出的特征圖最后經(jīng)過(guò)輸出頭模塊輸出檢測(cè)結(jié)果二值圖。通過(guò)上述模塊的組合構(gòu)成了基于稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)，采用公開(kāi)數(shù)據(jù)集并進(jìn)行數(shù)據(jù)增強(qiáng)包括：旋轉(zhuǎn)、裁切、對(duì)稱(chēng)、添加隨機(jī)噪聲等操作，網(wǎng)絡(luò)通過(guò)多次迭代訓(xùn)練且利用損失函數(shù)對(duì)網(wǎng)絡(luò)的輸出進(jìn)行約束，最終得到網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)。網(wǎng)絡(luò)的輸入是待檢測(cè)的單幀紅外圖像，輸出是包含真實(shí)目標(biāo)的檢測(cè)結(jié)果。

3、預(yù)處理模塊用來(lái)標(biāo)準(zhǔn)化輸入圖像。首先，對(duì)輸入圖像進(jìn)行批量歸一化操作，其目的是調(diào)整圖像的亮度和對(duì)比度，以提高模型的穩(wěn)定性和收斂速度，通過(guò)減少內(nèi)部協(xié)變量偏移來(lái)緩解訓(xùn)練過(guò)程中的梯度消失問(wèn)題，提升模型的泛化能力。經(jīng)過(guò)批量歸一化操作后，通過(guò)卷積層將單通道的256×256×1的輸入圖像轉(zhuǎn)換為更豐富的256×256×16的圖像，引入更豐富的有效信息和上下文關(guān)聯(lián)，捕捉圖像中更復(fù)雜的特征和結(jié)構(gòu)，從而提升整體檢測(cè)性能；然后再通過(guò)一個(gè)批量歸一化層，將卷積層的輸出進(jìn)行歸一化處理，進(jìn)一步穩(wěn)定網(wǎng)絡(luò)的訓(xùn)練和加速收斂；最后經(jīng)過(guò)一個(gè)relu激活函數(shù)，增加非線性特性，提高模型的表達(dá)能力。

4、特征提取模塊過(guò)程采用了resnest模塊，該模塊在resnet的基礎(chǔ)上引入了分割注意力機(jī)制。通過(guò)將通道分成多個(gè)子組，網(wǎng)絡(luò)能夠更有效地學(xué)習(xí)不同特征的表示。首先，使用分組卷積將特征圖按通道劃分為k×r個(gè)特征圖組，然后將r個(gè)特征圖組作為一組進(jìn)行平均池化。這樣做使得每個(gè)特征圖組的通道權(quán)重不同，增加了包含小目標(biāo)的特征圖組的權(quán)重，從而提升了小目標(biāo)特征的表征能力。

5、信息增強(qiáng)模塊包括卷積層、全連接層、歸一化層、批量歸一化層。特征圖首先經(jīng)過(guò)卷積層將不同信息之間進(jìn)行融合；再經(jīng)過(guò)一個(gè)全連接層，將輸入的256×256×c維向量映射到64×c維向量，以減少參數(shù)量和計(jì)算復(fù)雜度；通過(guò)歸一化操作，確保網(wǎng)絡(luò)的不同層之間的數(shù)據(jù)分布保持穩(wěn)定；然后再進(jìn)入一個(gè)全連接層，將64×c維向量映射回256×256×c維向量，以便后續(xù)更好地利用特征信息；通過(guò)卷積層進(jìn)一步對(duì)特征進(jìn)行處理；最后經(jīng)過(guò)批量歸一化層，以增強(qiáng)網(wǎng)絡(luò)的穩(wěn)定性和收斂速度。在信息增強(qiáng)模塊中引入全連接層，以增強(qiáng)模型的非線性表達(dá)能力。全連接層的每個(gè)神經(jīng)元都與前一層的所有神經(jīng)元相連接，這使得網(wǎng)絡(luò)能夠?qū)W習(xí)更為復(fù)雜的特征映射，從而提高了對(duì)抽象特征的提取能力。同時(shí)全連接層具有全局感受野，每個(gè)神經(jīng)元對(duì)輸入特征圖的所有位置都有權(quán)重，通過(guò)學(xué)習(xí)整體特征，全連接層能夠抑制背景中的冗余結(jié)構(gòu)，減少虛警率。全連接層還能夠增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)和背景之間差異的感知能力，使得網(wǎng)絡(luò)更加專(zhuān)注于關(guān)鍵區(qū)域，提高目標(biāo)檢測(cè)的準(zhǔn)確性。

6、注意力模塊采用biformer機(jī)制，其作為一種稀疏注意力機(jī)制，能夠計(jì)算特征序列中輸入之間的關(guān)聯(lián)性，確保模型處理復(fù)雜背景中全局上下文信息對(duì)于定位目標(biāo)的重要性。因此，從resnest獲得的多層特征分別經(jīng)過(guò)biformer模塊，來(lái)計(jì)算自注意力，以充分利用全局特征，并建立目標(biāo)的遠(yuǎn)程依賴(lài)。這種分塊的方式可以降低計(jì)算復(fù)雜度，提高模型的效率。同時(shí)，biformer注意力機(jī)制還可以更好地捕捉到遠(yuǎn)距離的依賴(lài)關(guān)系，從而提升模型的性能。

7、傳統(tǒng)的融合模塊通常采用自上而下或自下而上的機(jī)制來(lái)整合深度學(xué)習(xí)框架中的低級(jí)和高級(jí)特征。自上向下的調(diào)制方法可以從高層特征中嵌入更準(zhǔn)確的語(yǔ)義信息，但在網(wǎng)絡(luò)深度增加時(shí)，容易在復(fù)雜背景下丟失紅外小目標(biāo)。自下而上的調(diào)制可以利用低層特征的空間細(xì)節(jié)豐富高層特征，突出深層紅外小目標(biāo)，但可能削弱目標(biāo)的語(yǔ)義信息，從而降低檢測(cè)精度。為了將自頂向下的全局注意力和自底向上的局部注意力相結(jié)合，提出了自適應(yīng)非對(duì)稱(chēng)融合模塊，用于交換低層和高層的多尺度上下文信息。

8、上采樣模塊使用最鄰近上采樣將深度特征圖由w×h×2c擴(kuò)展到2w×2h×c，然后逐點(diǎn)融合并合并到淺層特征圖中，最終輸出大小為2w×2h×c的特征圖。

9、輸出頭模塊首先利用卷積層進(jìn)行特征映射的空間特征提取，以捕獲圖像中的局部特征，并進(jìn)一步提升網(wǎng)絡(luò)的感知能力。隨后，引入歸一化層對(duì)特征映射進(jìn)行規(guī)范化，加速網(wǎng)絡(luò)收斂并提高穩(wěn)定性，同時(shí)調(diào)整特征映射的數(shù)值范圍以增強(qiáng)泛化性能。接下來(lái)，應(yīng)用relu激活函數(shù)進(jìn)行非線性變換，裁剪負(fù)值部分，從而促使網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜的特征表示，提高非線性表達(dá)能力。經(jīng)過(guò)relu激活后，再次利用卷積層進(jìn)行更深層次的特征提取，進(jìn)一步優(yōu)化網(wǎng)絡(luò)對(duì)目標(biāo)的抽象表達(dá)，增強(qiáng)對(duì)復(fù)雜目標(biāo)的敏感性。最后，輸出頭模塊通過(guò)sigmoid激活函數(shù)將特征映射轉(zhuǎn)換為目標(biāo)的二值圖，將每個(gè)像素的數(shù)值映射到0到1的范圍，輸出表示目標(biāo)存在的概率。

10、上述的基于稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)方法，為減少參數(shù)量，第一個(gè)信息增強(qiáng)模塊輸出的特征圖不經(jīng)過(guò)注意力模塊直接進(jìn)入到第一個(gè)融合模塊，也即網(wǎng)絡(luò)中沒(méi)有第一個(gè)注意力模塊，該輸入的特征圖作為輸入到第一個(gè)融合模塊中的低層特征。

11、上述的基于稀疏注意力和多尺度特征融合的紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)方法，輸入源圖像和標(biāo)簽圖像由如下過(guò)程得到：使用irstd-1k(1000張)和nudt-sirst(1327張)數(shù)據(jù)集作為基礎(chǔ)數(shù)據(jù)集，包含有不同類(lèi)別、不同大小目標(biāo)以及天空、海洋、建筑物、田野等不同復(fù)雜背景，檢測(cè)難度大。由于數(shù)據(jù)集數(shù)量較少，容易導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定，泛化能力不足以及過(guò)擬合等問(wèn)題。為了解決這些問(wèn)題，對(duì)數(shù)據(jù)進(jìn)行了增強(qiáng)，包括旋轉(zhuǎn)，左右翻轉(zhuǎn)，隨機(jī)翻轉(zhuǎn)，裁切，擴(kuò)充后的數(shù)據(jù)共有6328張。調(diào)整輸入圖像大小為256×256，將數(shù)據(jù)集按照7：2：1劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。

12、本發(fā)明為解決復(fù)雜背景下紅外弱小目標(biāo)像素占比少，細(xì)節(jié)紋理特征匱乏導(dǎo)致特征提取困難，檢測(cè)率低，虛警率高的問(wèn)題，提出一種基于稀疏注意力和多尺度特征融合的u型紅外弱小目標(biāo)檢測(cè)網(wǎng)絡(luò)，通過(guò)設(shè)計(jì)端到端紅外弱小目標(biāo)分割網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)真實(shí)目標(biāo)的魯棒性檢測(cè)，學(xué)習(xí)小目標(biāo)和背景之間的遠(yuǎn)程關(guān)系，有效彌補(bǔ)細(xì)節(jié)紋理特征匱乏的不足，提高了對(duì)真實(shí)目標(biāo)的輪廓描述性能，為接下來(lái)的識(shí)別、跟蹤操作提供了更多先驗(yàn)信息。