本發(fā)明涉及高分辨率遙感影像場(chǎng)景分類(lèi)技術(shù)領(lǐng)域，具體涉及一種基于多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型的高分辨率遙感影像場(chǎng)景分類(lèi)的方法。

背景技術(shù)：

隨著ikonos(伊科諾斯)、quickbird(快鳥(niǎo))等高分遙感衛(wèi)星的發(fā)射，遙感衛(wèi)星獲取影像的分辨率不斷提升。這些高分辨率的影像相比原來(lái)中低分辨率的影像所包含的信息更加豐富，而其中由于遙感影像場(chǎng)景中地物目標(biāo)具有多樣可變性、分布復(fù)雜性等特點(diǎn)，所包含的場(chǎng)景語(yǔ)義信息很難從中獲取。近年來(lái)，深度學(xué)習(xí)由于對(duì)高層特征的良好表達(dá)，在遙感場(chǎng)景分類(lèi)中取得了較高的識(shí)別精度。然而，它需要依賴(lài)于大量的訓(xùn)練數(shù)據(jù)集來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)。相關(guān)技術(shù)中，利用顯著性采樣獲得包含影像主要信息的塊，從而增強(qiáng)數(shù)據(jù)集大小和整體特性，再利用卷積神經(jīng)網(wǎng)絡(luò)提取高層特征，最后使用svm分類(lèi)器對(duì)場(chǎng)景進(jìn)行分類(lèi)，分類(lèi)精度較好。

但是，基于深度學(xué)習(xí)方法的遙感影像場(chǎng)景識(shí)別技術(shù)中，良好的識(shí)別精度往往是依賴(lài)于大量的訓(xùn)練數(shù)據(jù)，不適用于簡(jiǎn)單的小數(shù)據(jù)集上的分類(lèi)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述技術(shù)問(wèn)題，本發(fā)明提供了一種有限數(shù)據(jù)集下多尺度聯(lián)合深度學(xué)習(xí)的高分辨率遙感影像場(chǎng)景分類(lèi)的方法。該方法可以在不經(jīng)過(guò)任何數(shù)據(jù)增強(qiáng)的情況下，獲得很好的分類(lèi)效果。

一種面向小數(shù)據(jù)集的高分辨率遙感影像場(chǎng)景分類(lèi)的方法，包括以下步驟：

(1)數(shù)據(jù)預(yù)處理，對(duì)一張尺寸大小為n×n的待分類(lèi)的高分辨率遙感影像隨機(jī)提取0.875n×0.875n大小的圖像區(qū)域，并對(duì)其進(jìn)行對(duì)比度和亮度的調(diào)節(jié)；然后在所提取的圖像區(qū)域再隨機(jī)提取三個(gè)不同尺度不同位置的子區(qū)域塊，尺寸大小分別為n/2×n/2、n/4×n/4、n/8×n/8；

(2)構(gòu)建多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)(jmcnn)模型，所述聯(lián)合多尺度卷積神經(jīng)網(wǎng)絡(luò)模型包括多通道的特征提取器、三個(gè)尺度的特征融合器和聯(lián)合損失函數(shù)三部分；

(3)基于所述多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)(jmcnn)模型的高分遙感場(chǎng)景識(shí)別，對(duì)上述特征提取器、特征融合器分別進(jìn)行參數(shù)設(shè)置；并將步驟(1)中提取的待識(shí)別的遙感影像輸入所述特征提取器中進(jìn)行卷積特征提取，提取的特征輸入特征融合器得到融合增強(qiáng)特征，利用上述聯(lián)合損失函數(shù)對(duì)所述融合增強(qiáng)特征進(jìn)行分類(lèi)，即得到遙感影像的分類(lèi)結(jié)果。

進(jìn)一步地，所述多通道的特征提取器由3個(gè)特征通道構(gòu)成，每個(gè)所述特征通道為一個(gè)單特征提取器。

進(jìn)一步地，所述多尺度特征融合器包含兩個(gè)特征融合器進(jìn)行特征聯(lián)合；將上述n/2×n/2和n/4×n/4的圖像尺寸輸入上述多通道特征提取器中得到對(duì)應(yīng)的兩個(gè)特征，將這兩個(gè)特征利用第一個(gè)特征融合器進(jìn)行聯(lián)合，得到一個(gè)新的聯(lián)合特征；將上述n/8×n/8的圖像尺寸輸入上述多通道特征提取器中得到對(duì)應(yīng)的特征，將這個(gè)特征與上述新的聯(lián)合特征利用第二個(gè)特征融合器再次進(jìn)行聯(lián)合，得到最終的高層融合增強(qiáng)特征表達(dá)。

進(jìn)一步地，所述聯(lián)合損失函數(shù)為交叉熵?fù)p失與正則化項(xiàng)之和，對(duì)遙感影像的高層融合增強(qiáng)特征進(jìn)行分類(lèi)，得到遙感影像的分類(lèi)結(jié)果。

進(jìn)一步地，所述單特征提取器包含3個(gè)中間層，所述中間層由1個(gè)卷積層、1個(gè)relu激活函數(shù)和1個(gè)最大池化層構(gòu)成，所述卷積層輸入為1個(gè)圖像尺寸下的圖像數(shù)據(jù)，輸出為64×所述圖像尺寸，所述relu激活函數(shù)輸入數(shù)據(jù)為所述64×所述圖像尺寸，輸出為所述的64×所述圖像尺寸；所述卷積層的卷積核的大小均為5×5，步長(zhǎng)為1，權(quán)重衰弱系數(shù)為0。

進(jìn)一步地，所述極大池化層的卷積核的大小均為3×3，步長(zhǎng)為2。

進(jìn)一步地，所述特征融合器中的全連接層的權(quán)值衰減系數(shù)均設(shè)置為0.004，即全連接層的權(quán)值的l2范數(shù)均加入正則項(xiàng)；第一個(gè)特征融合器用于融合的全連接層的輸出維度設(shè)置為1024；第二個(gè)特征融合器中用作將特征矩陣轉(zhuǎn)換為特征向量的全連接層的輸出維度設(shè)置為1024，另一個(gè)全連接層的輸出維度則設(shè)置為512。

與相關(guān)技術(shù)比較，本發(fā)明的實(shí)施例提供的一種面向小數(shù)據(jù)集的高分辨率遙感影像場(chǎng)景分類(lèi)方法，采用一種端對(duì)端的多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，利用更少的訓(xùn)練集即可實(shí)現(xiàn)高層特征的融合增強(qiáng)表達(dá)；采用三個(gè)尺度和三個(gè)通道的多輸入模型，有效的解決了不同分辨率下的遙感影像的分類(lèi)；多尺度特征融合增強(qiáng)函數(shù)通過(guò)融合兩兩全連接層模型，實(shí)現(xiàn)了的高層特征的多通道融合，提高了網(wǎng)絡(luò)的效率。本發(fā)明在小樣本數(shù)據(jù)集中的高層特征表達(dá)能力和計(jì)算速度顯著提高。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的分類(lèi)流程圖。

圖2為本發(fā)明實(shí)施例的多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型的示意圖。

圖3為本發(fā)明實(shí)施例的單通道特征提取器示意圖。

圖4為本發(fā)明實(shí)施例的單通道特征提取器中間層示意圖。

圖5為本發(fā)明實(shí)施例的多通道特征示意圖。

圖6為本發(fā)明實(shí)施例的單個(gè)特征融合器示意圖。

其中，多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型10、特征提取器11、特征融合器12、聯(lián)合損失函數(shù)13、中間層111、卷積層112、修正線性單元激活函數(shù)113、極大池化層114。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地描述。

參照附圖1、2，本發(fā)明的實(shí)施例提供了一種面向小數(shù)據(jù)集的高分辨率遙感影像場(chǎng)景分類(lèi)的方法，包括以下步驟：

(1)數(shù)據(jù)預(yù)處理，對(duì)有限數(shù)據(jù)集中的一張尺寸大小為n×n的待分類(lèi)的高分辨率遙感影像隨機(jī)提取0.875n×0.875n大小的圖像區(qū)域，并對(duì)其進(jìn)行對(duì)比度和亮度的調(diào)節(jié)；然后在所提取的圖像區(qū)域再隨機(jī)提取三個(gè)不同尺度不同位置的子區(qū)域塊，尺寸大小分別為n/2×n/2、n/4×n/4、n/8×n/8；

數(shù)據(jù)預(yù)處理的目的是為增加樣本的多樣性，通過(guò)圖像歸一化算法，調(diào)整提取的0.875n×0.875n尺寸大小的影像的對(duì)比度和亮度，減少光照對(duì)場(chǎng)景分類(lèi)的噪聲影響；

(2)構(gòu)建多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)(jmcnn)模型，所述多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型10包括多通道的特征提取器11、三個(gè)尺度的特征融合器12和聯(lián)合損失函數(shù)(jointlysoftmax)13三部分；

采用上述三個(gè)不同尺度建立三個(gè)尺度、三個(gè)通道的端對(duì)端多尺度聯(lián)合網(wǎng)絡(luò)模型，通過(guò)對(duì)多個(gè)通道的不同尺度的高層特征的增強(qiáng)表達(dá)，實(shí)現(xiàn)在小樣本訓(xùn)練集上的高精度分類(lèi)；

(3)基于所述多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)(jmcnn)模型的高分遙感場(chǎng)景識(shí)別，對(duì)上述多通道的特征提取器11、特征融合器12分別進(jìn)行參數(shù)設(shè)置；并將步驟(1)中提取的待識(shí)別的遙感影像輸入所述多尺度特征提取器11中進(jìn)行卷積特征提取，提取的特征輸入特征融合器12得到融合增強(qiáng)特征，利用上述聯(lián)合損失函數(shù)對(duì)所述融合增強(qiáng)特征進(jìn)行分類(lèi)，即得到遙感影像的分類(lèi)結(jié)果。

所述多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)(jmcnn)模型10采用一種端對(duì)端的多尺度卷積聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，利用更少的訓(xùn)練集即可實(shí)現(xiàn)高層特征的融合增強(qiáng)表達(dá)，即利用有限的遙感數(shù)據(jù)集獲得高識(shí)別精度；采用三個(gè)尺度和三個(gè)通道的多輸入模型，有效的解決了不同分辨率下的遙感影像的分類(lèi)；多尺度特征融合增強(qiáng)函數(shù)通過(guò)融合兩兩全連接層模型，實(shí)現(xiàn)了的高層特征的多通道融合，提高了網(wǎng)絡(luò)的效率和識(shí)別率。本發(fā)明申請(qǐng)是實(shí)現(xiàn)遙感影像復(fù)雜場(chǎng)景快速自動(dòng)識(shí)別的基礎(chǔ)；在軍事、救災(zāi)等領(lǐng)域有十分重要的意義。

優(yōu)選地，參照附圖3、4，多通道的所述特征提取器11由3個(gè)特征通道構(gòu)成，每個(gè)所述特征通道為一個(gè)單獨(dú)的所述特征提取器11；單獨(dú)的所述特征提取器11由3個(gè)中間層111構(gòu)成，每個(gè)所述中間層111由1個(gè)卷積層112、1個(gè)修正線性單元(relu)激活函數(shù)113和1個(gè)極大池化層114構(gòu)成。

優(yōu)選地，所述卷積層112輸入為1個(gè)尺度下的圖像數(shù)據(jù)，即上述步驟(1)中的n/2×n/2、n/4×n/4、n/8×n/8三個(gè)圖像尺寸中的一個(gè)，輸出為64×所述圖像尺寸，所述relu激活函數(shù)113輸入為64×所述圖像尺寸，輸出為64×所述圖像尺寸；所述卷積層112的卷積核的大小均為5×5，步長(zhǎng)為1，權(quán)重衰弱系數(shù)為0。

優(yōu)選地，所述極大池化層114的卷積核的大小均為3×3，步長(zhǎng)為2。

優(yōu)選地，參照附圖5，所述多通道的特征提取器11在3個(gè)尺度下的特征通道所提取的卷積層112特征和極大池化層114特征。

不同尺度的圖像子區(qū)域塊分別通過(guò)三個(gè)通道的特征提取器11進(jìn)行多尺度三層卷積特征提??；其中每個(gè)卷積層112后面的relu激活函數(shù)113用來(lái)激活不同的神經(jīng)元，使得后面獲得復(fù)雜高層特征解離，利于多尺度特征融合。

單個(gè)通道的特征提取過(guò)程為：

設(shè)輸入影像為x∈r^h×w×c，由寬卷積計(jì)算公式(1)：

其中，h,w,c分別為影像的高、寬、顏色通道總數(shù)，f為5×5的卷積核，i為顏色通道號(hào)，b為偏置項(xiàng)，代表寬卷積運(yùn)算，由于是寬卷積運(yùn)算，輸出的特征映射y∈r^h×w×c與x維度相同。通過(guò)relu激活函數(shù)113激活后，接著進(jìn)行極大池化層114計(jì)算，用以降低特征圖的維度，獲得特征映射m∈r^h×w×c，其輸出維度與y相同。

參照附圖6，所述多尺度的特征融合器12包含兩個(gè)融合器進(jìn)行特征聯(lián)合，如下表所示；將上述n/2×n/2和n/4×n/4的圖像尺寸輸入上述多通道的特征提取器11中得到對(duì)應(yīng)的兩個(gè)特征為ft1、ft2，將這兩個(gè)特征利用一所述特征融合器12進(jìn)行聯(lián)合，得到一個(gè)新的聯(lián)合特征tem；將上述n/8×n/8的圖像尺寸輸入上述多通道的特征提取器11中得到對(duì)應(yīng)的特征ft3，將所述特征ft3與上述新的聯(lián)合特征tem利用另一所述特征融合器12再進(jìn)行聯(lián)合，得到最終的高層融合增強(qiáng)特征表達(dá)fin。

所述多尺度的特征融合過(guò)程的具體算法為：

假設(shè)在一個(gè)特征融合器12中的特征融合，假設(shè)任一個(gè)特征融合器12輸入的兩個(gè)特征矩陣為m1、m2∈r^h×w×c作為輸入，首先將mi(i＝1,2)以行、列、顏色通道的順序展平為ki∈r^1×(h*w*c)，其中*代表數(shù)值乘法，然后分別進(jìn)入全連接層計(jì)算并使用relu激活函數(shù)激活：

vi＝kiw+b(2)

ti＝relu(vi)(3)

其中，ti為1024維的特征向量,i＝1,2代表不同的特征向量，w∈r^{(h*w*c)×1024}，b為偏置項(xiàng)。

將兩向量t1、t2融合，得到v3＝concat(t1，t2)，concat后的向量v3∈r^1×2048。然后，經(jīng)由全連接層計(jì)算并relu激活，得到最終的特征向量p:

p＝relu(v3w3+b3)

為了防止融合過(guò)程中出現(xiàn)的特征信息集產(chǎn)生過(guò)擬合現(xiàn)象，需要適當(dāng)?shù)慕档腿B接層的復(fù)雜度，即在本發(fā)明實(shí)施例的每個(gè)特征融合器后面加入一個(gè)dropout層，該層會(huì)使得全連接層中的每個(gè)神經(jīng)元以一定的概率“失活”，即每次只隨機(jī)保留一部分神經(jīng)元參與訓(xùn)練，使得模型復(fù)雜度降低，計(jì)算量減少，模型收斂更加快速，再由于隨機(jī)性的添加，模型多樣性也得到了提升。由于網(wǎng)絡(luò)的計(jì)算越向后，計(jì)算得到的特征表達(dá)能力就越強(qiáng)，相應(yīng)需要的模型復(fù)雜度就越高，因此本發(fā)明實(shí)施例對(duì)dropout層的神經(jīng)元保留概率設(shè)置參照googlenet的做法，第一個(gè)所述特征融合器12的保留概率設(shè)置為0.6，第二個(gè)所述特征融合器12則設(shè)置為0.7；最終融合后的特征向量p∈r^1×512。

本發(fā)明實(shí)施例在訓(xùn)練過(guò)程中設(shè)置保留概率，而在測(cè)試過(guò)程中，將概率全設(shè)置為1，即等價(jià)于移除dropout層。

優(yōu)選地，所述聯(lián)合損失函數(shù)13為交叉熵?fù)p失與正則化項(xiàng)之和，對(duì)遙感影像的高層融合增強(qiáng)特征進(jìn)行分類(lèi)，得到遙感影像的分類(lèi)結(jié)果。

所述的交叉熵?fù)p失與正則化項(xiàng)之和即在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上表示模型復(fù)雜度的結(jié)構(gòu)風(fēng)險(xiǎn)。設(shè)softmax函數(shù)輸出的向量為y∈r^1×n,y＝(y1,y2,…,yn)，式中n為樣本類(lèi)別數(shù)，yi表示向量中元素的實(shí)數(shù)值。

聯(lián)合損失函數(shù)為：

其中，公式(4)中前一項(xiàng)是交叉熵?fù)p失函數(shù)，后一項(xiàng)是權(quán)值的l2正則項(xiàng)，λ為正則項(xiàng)系數(shù)，由各權(quán)值的權(quán)值衰減系數(shù)的乘積決定。

在分類(lèi)過(guò)程中，引入了正則項(xiàng)的損失函數(shù)，能有效防止過(guò)擬合現(xiàn)象，為損失函數(shù)引入了模型的結(jié)構(gòu)風(fēng)險(xiǎn)，作為損失函數(shù)的一個(gè)懲罰項(xiàng)，平衡經(jīng)驗(yàn)風(fēng)險(xiǎn)與模型復(fù)雜度。

優(yōu)選地，所述特征融合器12中的全連接層的權(quán)值衰減系數(shù)均設(shè)置為0.004，即全連接層的權(quán)值的l2范數(shù)均加入正則項(xiàng)；第一個(gè)所述特征融合器12用于融合的全連接層的輸出維度設(shè)置為1024；第二個(gè)所述特征融合器12中用作將特征矩陣轉(zhuǎn)換為特征向量的全連接層的輸出維度設(shè)置為1024，另一個(gè)全連接層的輸出維度則設(shè)置為512。

所述第一個(gè)所述特征融合器12的輸入?yún)?shù)是從上述尺寸為n/2×n/2和n/4×n/4的影像中提取的特征矩陣，通過(guò)觀察矩陣的稀疏程度，本發(fā)明實(shí)施例中進(jìn)行融合的全連接層的輸出維度設(shè)置為1024。

所述第二個(gè)所述特征融合器12的輸入?yún)?shù)一個(gè)是從上述尺寸n/8×n/8的影像中提取的特征矩陣，另一個(gè)是由所述第一個(gè)特征融合器12融合而成的512維向量；本發(fā)明實(shí)施例中采用的分類(lèi)模型是softmax函數(shù)分類(lèi)器，其輸入維度為較小的樣本類(lèi)別數(shù)，為了使特征向量的維度能漸進(jìn)地收縮到這個(gè)較小的樣本類(lèi)別數(shù)，本文將第二個(gè)所述特征融合器12中用作將特征矩陣轉(zhuǎn)換為特征向量的全連接層的輸出維度設(shè)置為1024，另一個(gè)全連接層的輸出維度則設(shè)置為512；基于此向量，softmax函數(shù)將輸出一個(gè)維數(shù)與類(lèi)別數(shù)n相同的一個(gè)向量y，其中yi(i＝1,2,3,…,n)為該場(chǎng)景影像屬于類(lèi)別i的概率,則該場(chǎng)景影像類(lèi)別可認(rèn)為是最大的yi所對(duì)應(yīng)的類(lèi)別i。

在訓(xùn)練jmcnn的過(guò)程中，本發(fā)明實(shí)施例使用ucm和siri兩個(gè)高分辨率遙感小數(shù)據(jù)集分別進(jìn)行訓(xùn)練，所述ucm包括2100張樣本圖片，所述siri包含2400張樣本圖片。訓(xùn)練集均為從對(duì)應(yīng)的原數(shù)據(jù)集隨機(jī)抽樣得到的0.8倍的原數(shù)據(jù)集，測(cè)試集則為剩下的0.2倍的原數(shù)據(jù)集。

在本文中，所涉及的前、后、上、下等方位詞是以附圖中零部件位于圖中以及零部件相互之間的位置來(lái)定義的，只是為了表達(dá)技術(shù)方案的清楚及方便。應(yīng)當(dāng)理解，所述方位詞的使用不應(yīng)限制本申請(qǐng)請(qǐng)求保護(hù)的范圍。

在不沖突的情況下，本文中上述實(shí)施例及實(shí)施例中的特征可以相互結(jié)合。

以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。