本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，尤其涉及一種基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法。

背景技術(shù)：

1、在弱光，強(qiáng)光以及背光等極端的光照條件下，光電傳感器直接獲得的圖像的像素動(dòng)態(tài)范圍并不合理，往往會(huì)造成圖像的關(guān)鍵細(xì)節(jié)丟失，可能使得目標(biāo)文本丟失或者目標(biāo)文本背景發(fā)生變化，這可能導(dǎo)致后續(xù)的文本框的檢測與識(shí)別難以實(shí)現(xiàn)。而圖像增強(qiáng)算法的引入就是解決復(fù)雜的識(shí)別場景導(dǎo)致成像效果不理想的問題。

2、目前，圖像增強(qiáng)在醫(yī)學(xué)診斷、軍事偵察、指紋識(shí)別等領(lǐng)域已經(jīng)被廣泛使用。同時(shí)，圖像增強(qiáng)也可以作為目標(biāo)識(shí)別，目標(biāo)跟蹤，特征點(diǎn)匹配，圖像融合，超分辨率重構(gòu)等圖像處理算法的預(yù)處理算法。

3、傳統(tǒng)的圖像增強(qiáng)已經(jīng)被研究了很長時(shí)間，現(xiàn)有的方法可大致分為三類，空域方法是直接對(duì)像素值進(jìn)行處理，如直方圖均衡，伽馬變換；頻域方法是在某種變換域內(nèi)操作，如小波變換；混合域方法是結(jié)合空域和頻域的一些方法。

4、相比于傳統(tǒng)方法，深度學(xué)習(xí)方案在提升圖像的質(zhì)量上占據(jù)有明顯的優(yōu)勢，無論是清晰度還是對(duì)比度上，都能獲得滿意的結(jié)果，然而處理速度比較慢，一張成像不理想的圖片的處理可能需要幾百毫秒或者數(shù)秒的時(shí)間，不能滿足實(shí)時(shí)性要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題在于針對(duì)現(xiàn)有技術(shù)中的缺陷，提供一種基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，包括以下步驟：

3、步驟1，制作文本框檢測數(shù)據(jù)集，并根據(jù)文本框標(biāo)注規(guī)則標(biāo)注數(shù)據(jù)集中每張圖片的文本框位置，數(shù)據(jù)集中包括不同光照強(qiáng)度、不同拍攝角度、不同文本形式的樣本；

4、步驟2，建立基于注意力機(jī)制的文本框檢測模型，通過文本框檢測模型進(jìn)行目標(biāo)檢測得到文本框的位置；

5、步驟3，檢測到文本框的位置后，根據(jù)光照強(qiáng)度采用相應(yīng)的圖像增強(qiáng)算法對(duì)文本框進(jìn)行局部增強(qiáng)，進(jìn)行后續(xù)的文本識(shí)別。

6、按上述方案，所述步驟2)中，網(wǎng)絡(luò)結(jié)構(gòu)包括輸入模塊、主干提取模塊、檢測模塊和預(yù)測模塊；并在主干提取模塊和檢測模塊添加注意力機(jī)制模塊；

7、其中，

8、輸入模塊將輸入圖像縮放到網(wǎng)絡(luò)的輸入大小，并進(jìn)行歸一化操作；

9、主干提取模塊包括多個(gè)bconv卷積層、e-elan卷積層和mpconv卷積層；其中，bconv卷積層由卷積層、批量標(biāo)準(zhǔn)化(bn)層和leakyrelu激活函數(shù)組成，用于提取不同尺度的圖像特征；

10、檢測模塊采用fpn+pan結(jié)構(gòu)對(duì)目標(biāo)特征進(jìn)行多尺度融合。

11、按上述方案，所述步驟2)中，在主干提取模塊中，注意力機(jī)制模塊添加在e-elan卷積層和mpconv卷積層之間。

12、按上述方案，所述步驟2)中，

13、注意力機(jī)制的能量函數(shù)被用來定義神經(jīng)元t和同一通道中所有其他神經(jīng)元之間的線性可分離性，每個(gè)神經(jīng)元的能量函數(shù)定義如下：

14、

15、其中，t和xi是目標(biāo)神經(jīng)元和通道中的其他神經(jīng)元，ωt和bt是t的線性變換的權(quán)重和偏差，i是空間維度上的指數(shù)，λ是超參數(shù)，m＝hw是單個(gè)通道上所有神經(jīng)元的數(shù)量；

16、變換權(quán)重和偏置表示如下：

17、

18、其中μt和是除t以外的所有神經(jīng)元的平均值和方差，計(jì)算公式如下：

19、

20、通過計(jì)算ωt、bt以及通道中所有神經(jīng)元的平均值和方差的分析解，可以得到最小能量公式為：

21、

22、其中，和分別為均值和方差，表達(dá)式為：

23、

24、從上述式子可以看出，能量函數(shù)值越小，神經(jīng)元t和其他神經(jīng)元之間的線性可分離性就越大。

25、按上述方案，所述步驟3)根據(jù)光照強(qiáng)度采用相應(yīng)的圖像增強(qiáng)算法對(duì)文本框進(jìn)行局部增強(qiáng)，具體如下：

26、首先將檢測區(qū)域中原始的bgr圖像轉(zhuǎn)換成hsv圖像，并依據(jù)亮度圖v的亮度值將其劃分為較亮、較暗和最暗三種情況，這里的關(guān)鍵亮度v值區(qū)間為[vmin,vmax]，當(dāng)原圖像的亮度v滿足v＜vmin時(shí)圖像較暗引入圖像的亮度、顏色、對(duì)比度及銳化增強(qiáng)圖像，v滿足v＞vmax時(shí)只進(jìn)行顏色增強(qiáng)，v滿足vmin≤v≤vmax時(shí)分別進(jìn)行亮度和顏色增強(qiáng)操作。

27、本發(fā)明產(chǎn)生的有益效果是：

28、1、本發(fā)明通過建立一種基于注意力機(jī)制的目標(biāo)檢測模型實(shí)現(xiàn)了目標(biāo)文本框的快速和穩(wěn)定檢測，還通過局部圖像增強(qiáng)大大減輕了自然場景下圖像成像條件復(fù)雜等因素對(duì)后續(xù)文本識(shí)別的影響。

29、2、先鎖定目標(biāo)區(qū)域再進(jìn)行局部圖像增強(qiáng)，在圖像處理上可滿足實(shí)時(shí)性要求，為后續(xù)的識(shí)別提供了有利條件。

技術(shù)特征：

1.一種基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，其特征在于，所述步驟2)中，網(wǎng)絡(luò)結(jié)構(gòu)包括輸入模塊、主干提取模塊、檢測模塊和預(yù)測模塊；并在主干提取模塊和檢測模塊添加注意力機(jī)制模塊；

3.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，其特征在于，所述步驟2)中，在主干提取模塊中，注意力機(jī)制模塊添加在e-elan卷積層和mpconv卷積層之間。

4.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，其特征在于，所述步驟2)中，注意力機(jī)制的能量函數(shù)被用來定義神經(jīng)元t和同一通道中所有其他神經(jīng)元之間的線性可分離性，每個(gè)神經(jīng)元的能量函數(shù)定義如下：

5.根據(jù)權(quán)利要求1所述的基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，其特征在于，所述步驟3)根據(jù)光照強(qiáng)度采用相應(yīng)的圖像增強(qiáng)算法對(duì)文本框進(jìn)行局部增強(qiáng)，具體如下：

6.一種電子設(shè)備，其特征在于，

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至5任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于注意力機(jī)制的目標(biāo)檢測和圖像增強(qiáng)方法，包括以下步驟：步驟1，制作文本框檢測數(shù)據(jù)集，并根據(jù)文本框標(biāo)注規(guī)則標(biāo)注數(shù)據(jù)集中每張圖片的文本框位置，數(shù)據(jù)集中包括不同光照強(qiáng)度、不同拍攝角度、不同文本形式的樣本；步驟2，建立基于注意力機(jī)制的文本框檢測模型，通過文本框檢測模型進(jìn)行目標(biāo)檢測得到文本框的位置；步驟3，檢測到文本框的位置后，根據(jù)光照強(qiáng)度采用相應(yīng)的圖像增強(qiáng)算法對(duì)文本框進(jìn)行局部增強(qiáng)，進(jìn)行后續(xù)的文本識(shí)別。本發(fā)明通過建立一種基于注意力機(jī)制的目標(biāo)檢測模型實(shí)現(xiàn)了目標(biāo)文本框的快速和穩(wěn)定檢測，還通過局部圖像增強(qiáng)大大減輕了自然場景下圖像成像條件復(fù)雜等因素對(duì)后續(xù)文本識(shí)別的影響。

技術(shù)研發(fā)人員：徐子文,李尚君,朱奇舸,袁康益,郭俊東
受保護(hù)的技術(shù)使用者：中國艦船研究設(shè)計(jì)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10