本發(fā)明涉及圖像處理，尤其涉及一種基于局部增強(qiáng)選擇性狀態(tài)空間模型的高光譜分類方法。

背景技術(shù)：

1、高光譜圖像包含從可見(jiàn)光到紅外波段范圍豐富的光譜信息，同時(shí)具有空間信息和光譜信息相融合的特點(diǎn)，在農(nóng)業(yè)探測(cè)、軍事偵察、環(huán)境監(jiān)測(cè)和地質(zhì)探測(cè)等領(lǐng)域有著廣泛的應(yīng)用。作為高光譜應(yīng)用的基礎(chǔ)技術(shù)，高光譜圖像分類為每個(gè)像素分配一個(gè)類別標(biāo)簽，受到了極大的關(guān)注。但是高光譜圖像分類仍面臨高光譜維數(shù)高、帶標(biāo)記樣本數(shù)量不均衡、光譜變異性等挑戰(zhàn)。

2、近年來(lái)，深度學(xué)習(xí)領(lǐng)域的發(fā)展推動(dòng)了高光譜分類技術(shù)的進(jìn)步，以卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型，在高光譜圖像分類中獲得了大量關(guān)注并取得了顯著成功，長(zhǎng)期以來(lái)一直占據(jù)主導(dǎo)地位。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)移位不變卷積利用局部上下文信息而聞名，長(zhǎng)期以來(lái)一直占據(jù)主導(dǎo)地位。

3、然而，卷積神經(jīng)網(wǎng)絡(luò)的局部感受野和共享靜態(tài)權(quán)重限制了其對(duì)長(zhǎng)距離依賴關(guān)系的建模能力，不能有效捕捉全局上下文的能力。基于自注意力機(jī)制的網(wǎng)絡(luò)具有動(dòng)態(tài)權(quán)重和捕捉全局信息的能力，但受限于二次計(jì)算復(fù)雜度，導(dǎo)致了巨大的計(jì)算開(kāi)銷。最近，選擇性狀態(tài)空間模型以線性復(fù)雜度在長(zhǎng)序列建模中迅速崛起，作為傳統(tǒng)自注意力機(jī)制網(wǎng)絡(luò)的有力競(jìng)爭(zhēng)者，但是其在高光譜圖像分類中的應(yīng)用尚處于起步階段，未能將選擇性狀態(tài)空間模型改進(jìn)以適用于高光譜分類任務(wù)。

4、鑒于此，實(shí)有必要提供一種基于局部增強(qiáng)選擇性狀態(tài)空間模型的高光譜分類方法以克服上述缺陷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于局部增強(qiáng)選擇性狀態(tài)空間模型的高光譜分類方法，使用多方向局部掃描機(jī)制改進(jìn)現(xiàn)有選擇性狀態(tài)空間模型，針對(duì)高光譜圖像的特點(diǎn)，采用雙向光譜掃描的技術(shù)提取高光譜圖像中心區(qū)域的光譜信息，光譜和空間信息融合以提升高光譜分類性能，較好的實(shí)現(xiàn)了高光譜地物分類任務(wù)，提升了在小樣本情況下的分類性能，應(yīng)用于航空高光譜圖像智能處理領(lǐng)域。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于局部增強(qiáng)選擇性狀態(tài)空間模型的高光譜分類方法，包括以下步驟：

3、s1，讀取三維高光譜圖像和每個(gè)像素對(duì)應(yīng)的類別標(biāo)簽；

4、s2，將高光譜圖像中的數(shù)值進(jìn)行歸一化處理，將數(shù)據(jù)映射到[0，1]區(qū)間；

5、s3，以三維高光譜圖像的每個(gè)像素為中心點(diǎn)，將中心點(diǎn)固定尺寸的鄰域裁剪劃分為圖像塊，構(gòu)建圖像塊數(shù)據(jù)集，其中，中心點(diǎn)像素的標(biāo)簽設(shè)置為類別標(biāo)簽；

6、s4，在圖像塊數(shù)據(jù)集中隨機(jī)選取數(shù)據(jù)作為訓(xùn)練集，其余的數(shù)據(jù)作為測(cè)試集；

7、s5，在訓(xùn)練集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練集的圖像塊輸入到以逐點(diǎn)卷積為基本單元構(gòu)建的卷積降維主干上，逐點(diǎn)卷積降維后得到特征圖y∈rh×w×d，使用多方向局部掃描機(jī)制增強(qiáng)選擇性狀態(tài)空間模型，將降維后的特征圖y∈rh×w×d劃分多個(gè)局部窗口圖像yp后整合不同光譜波段之間的信息，得到高光譜特征圖ystack輸入選擇性狀態(tài)空間模型；

8、s6，提取降維后得到的特征圖y∈rh×w×d的中心區(qū)域得到區(qū)域圖像塊ycenter∈rs×s×d，并在光譜維度雙向掃描結(jié)合選擇性狀態(tài)空間模型，得到區(qū)域圖像塊ycenter∈rs×s×d的空間特征和光譜特征；

9、s7，將空間特征和光譜特征融合使用多尺度卷積神經(jīng)網(wǎng)絡(luò)，剔除冗余信息，保留有價(jià)值的空間結(jié)構(gòu)信息；

10、s8，使用全連接前饋神經(jīng)網(wǎng)絡(luò)構(gòu)建分類頭，預(yù)測(cè)類別信息；在訓(xùn)練集上訓(xùn)練所提出模型，使用自適應(yīng)矩估計(jì)優(yōu)化器迭代更新模型參數(shù)，在測(cè)試集上測(cè)試模型的性能，驗(yàn)證所提模型的有效性。

11、優(yōu)選的，步驟s5還包括步驟s51，對(duì)于一個(gè)輸入訓(xùn)練集的圖像塊，計(jì)算公式為：

12、

13、其中，h、w和c分別表示圖像的長(zhǎng)、寬和波段數(shù)量，表示輸出特征圖在位置(h,w)處第cout個(gè)通道的值，表示輸入特征圖在位置(h,w)處第cin個(gè)通道的值，表示卷積核在輸入通道cin和輸出通道cout之間的權(quán)重，cout小于cin。

14、優(yōu)選的，步驟s5還包括步驟s52，逐點(diǎn)卷積降維后得到的特征圖為y∈rh×w×d，使用多方向局部掃描機(jī)制增強(qiáng)選擇性狀態(tài)空間模型，降維后的特征圖y∈rh×w×d劃分為多個(gè)局部窗口圖像yp，計(jì)算過(guò)程為：

15、

16、其中，partition表示在高和寬的維度，以h×w尺寸的窗口劃分特征圖，nh和nw分別表示在高和寬的方向上窗口的數(shù)量；

17、s53，將局部窗口圖像yp重新排列：

18、

19、其中，rearrange表示將不同的局部窗口圖像yp重新排列；

20、將重新排列后的局部窗口圖像yr內(nèi)部高和寬維度轉(zhuǎn)置，得到轉(zhuǎn)置后的局部窗口圖像yt：

21、

22、其中，transpose表示在高和寬的維度轉(zhuǎn)置；

23、s54，將轉(zhuǎn)置后的局部窗口圖像yt在空間維度翻轉(zhuǎn)，得到翻轉(zhuǎn)后的局部窗口圖像[yrf，ytf]：

24、[yrf，ytf]＝flip([yr，yt])，

25、其中，flip表示在空間維度翻轉(zhuǎn)。

26、s56，將上述所有的局部窗口圖像展平堆疊在一起，整合局部窗口圖像的不同光譜波段之間的信息，得到高光譜特征圖ystack：

27、ystack∈r4×l×c＝stack(flatten([yr，yt，yrf，ytf]))，

28、其中，flatten表示在空間維度展平并排成序列，stack表示將這些序列堆疊在一起，整合得到的高光譜特征圖ystack具有局部窗口水平、垂直方向、正向、逆向四個(gè)序列；

29、s57，高光譜特征圖ystack的四個(gè)序列輸入選擇性狀態(tài)空間模型，其處理過(guò)程如公式所示：

30、yspatial∈rl×c＝sum(ssm(ystack))，

31、其中，sum表示將四個(gè)輸出結(jié)果相加，ssm表示選擇性狀態(tài)空間模型，其

32、h′t＝aht-1+byt

33、計(jì)算公式為：zt＝ch′t，

34、其中，yt表示輸入ystack中的第t個(gè)值，ht是輸入序列到輸出序列的狀態(tài)表示，z表示輸出，a是高階多項(xiàng)式映射算子矩陣，b和c通過(guò)對(duì)輸入ystack的線性映射得到，映射公式為：

35、b＝wbystack+bb

36、c＝wcystack+bc，

37、其中，w和b為可訓(xùn)練的參數(shù)。

38、優(yōu)選的，步驟s6還包括步驟s61，提取光譜特征的計(jì)算公式如下：

39、yflatten∈rs×d＝flatten(ycenter∈rw×w×d)，

40、其中，flatten表示在空間維度展平，s＝w×w；

41、yssm∈rs×d＝ssm(yflatten∈rs×d)，

42、其中，ssm表示選擇性空間狀態(tài)模型，在光譜維度雙向掃描；

43、yspectral∈r1×c＝sigmoid(average(yssm))，

44、其中，average表示在空間維度取平均值，sigmoid函數(shù)用于產(chǎn)生光譜維度的控制信號(hào)，其計(jì)算公式為：

45、

46、將光譜通道的注意力信號(hào)與空間特征相乘，得到光譜特征和空間特征融合的特征，計(jì)算公式為：yfeature＝y(tǒng)spectral⊙yspatial

47、其中，⊙表示哈達(dá)瑪積。

48、優(yōu)選的，步驟s7還包括步驟s71，計(jì)算過(guò)程如下：

49、ys1＝dwconv3×3(pwconv(yfeature))

50、ys2＝pwconv(dwconv5×5(ys1))

51、ysignal＝gelu(pwconv(yfeature))

52、zout＝y(tǒng)signal☉ys2，

53、其中，yfeature表示輸入，pwconv表示逐點(diǎn)卷積，dwconv3×3表示卷積核為3×3的深度可分離卷積，dwconv5×5表示卷積核為5×5的深度可分離卷積，gelu表示高斯誤差線性函數(shù)，⊙表示哈達(dá)瑪積。

54、與現(xiàn)有技術(shù)相比，有益效果在于，綜合考慮了航空高光譜圖像的特點(diǎn)，結(jié)合局部狀態(tài)空間多方向掃描機(jī)制和雙向光譜掃描機(jī)制，能夠有效提取高光譜圖像中的高級(jí)語(yǔ)義信息，較好的實(shí)現(xiàn)了高光譜地物分類任務(wù)，提升了在小樣本情況下的分類性能。

55、本發(fā)明的其它特征以及優(yōu)點(diǎn)將陳述于下列的描述中，并且部分將可從描述中顯而易見(jiàn)，或者可通過(guò)本發(fā)明的實(shí)施而了解。本發(fā)明的特征和優(yōu)點(diǎn)可通過(guò)后附的申請(qǐng)范圍中具體指出的元件和組合而實(shí)現(xiàn)以及獲得。本發(fā)明的這些和其它特征將根據(jù)下列的描述和后附的權(quán)利要求書(shū)中變得更加清楚明白，或者可通過(guò)本發(fā)明所述的實(shí)施例實(shí)施而了解。