本發(fā)明涉及遙感圖像處理技術(shù)，具體的說，涉及一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法，該方法可以基于已有高空間分辨率遙感圖像以及樣本數(shù)據(jù)，對(duì)新獲取的遙感圖像在沒有樣本的情況下進(jìn)行自動(dòng)分類，從而快速處理遙感圖像，為遙感監(jiān)測(cè)提供支持。

背景技術(shù)：

遙感技術(shù)目前被廣泛應(yīng)用于地學(xué)應(yīng)用中，如森林資源規(guī)劃、農(nóng)作物估產(chǎn)、環(huán)境評(píng)估、災(zāi)害監(jiān)測(cè)等。遙感圖像分類技術(shù)是把遙感圖像從數(shù)據(jù)轉(zhuǎn)換為信息的關(guān)鍵步驟。從是否需要訓(xùn)練樣本來分，遙感圖像分類方法分為監(jiān)督分類和非監(jiān)督分類。在遙感圖像分類中最常用的是監(jiān)督分類方法。監(jiān)督分類方法，需要人工地確定分類體系、各個(gè)類別的訓(xùn)練樣本等。監(jiān)督分類分類方法能夠保證獲得比較好的分類精度，但是獲取訓(xùn)練樣本是一個(gè)耗時(shí)耗力的過程。在常規(guī)模式下，遙感衛(wèi)星對(duì)某一特定地區(qū)會(huì)按照一定的重返周期進(jìn)行成像，形成一系列時(shí)間序列的遙感圖像。如果對(duì)每新獲取的一個(gè)時(shí)相遙感圖像都進(jìn)行樣本的采集，人工操作將是極其繁重的。尤其是對(duì)于遙感災(zāi)害應(yīng)急等應(yīng)用，需要在獲取遙感圖像的情況下快速地獲得其專題分類及變化信息。因而，研究如何利用過去獲得的遙感圖像以及訓(xùn)練樣本信息，對(duì)新獲取的遙感圖像進(jìn)行自動(dòng)分類(指不需要進(jìn)行樣本的重新采集)具有一定的實(shí)用價(jià)值。

機(jī)器學(xué)習(xí)領(lǐng)域的遷移學(xué)習(xí)試圖滿足上述的應(yīng)用需求。遷移學(xué)習(xí)利用某一個(gè)分類任務(wù)(包括原始數(shù)據(jù)以及各類別的樣本數(shù)據(jù)，通常稱為源域)學(xué)習(xí)得到的規(guī)則、規(guī)律對(duì)一個(gè)新的、并具有一定相關(guān)性的分類任務(wù)(只包括原始數(shù)據(jù)，沒有或者很少的樣本數(shù)據(jù)，還不足以訓(xùn)練出一個(gè)有效的分類器，通常稱為目標(biāo)域)進(jìn)行分類。目前遷移學(xué)習(xí)算法主要包含兩大類方法：基于實(shí)例的方法以及基于特征提取的方法。在前一種方法中，其基本思想是，盡管源域的訓(xùn)練數(shù)據(jù)和目標(biāo)域的數(shù)據(jù)多少有些不同，但是由于兩個(gè)域的數(shù)據(jù)是有一定相關(guān)性的，因而源域的訓(xùn)練數(shù)據(jù)應(yīng)該還是會(huì)存在一部分?jǐn)?shù)據(jù)(比如其中一個(gè)數(shù)據(jù)子集)適合用來對(duì)目標(biāo)域數(shù)據(jù)訓(xùn)練出一個(gè)有效的分類模型；因而該類算法的目標(biāo)就是從源域中找出那些適合目標(biāo)域數(shù)據(jù)的實(shí)例，并將這些實(shí)例用于輔助目標(biāo)域進(jìn)行分類，典型的算法如tradaboost。在第二種方法中，其主要思路是通過特征降維，把源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，分降到具有最大相似性的子空間上：在共同的子空間上，源域的訓(xùn)練樣本即可直接用于目標(biāo)域進(jìn)行分類器的訓(xùn)練，典型算法有tplsa算法、cocc算法等。這兩類算法盡管在應(yīng)用中取得了一定的效果，但其離實(shí)際應(yīng)用仍有一定的距離。

2012年krizhevskya.在機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議2012conferenceonneuralinformationprocessingsystems(nips)發(fā)表的alexnet工作在經(jīng)典的圖像識(shí)別任務(wù)上取得重大突破，比傳統(tǒng)基于支持向量機(jī)的工作識(shí)別率提高接近10％，引起了學(xué)術(shù)界以及工業(yè)界再次對(duì)相對(duì)比較經(jīng)典的神經(jīng)網(wǎng)絡(luò)的極大興趣。在學(xué)術(shù)界，神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代是一個(gè)主流的機(jī)器學(xué)習(xí)流派。但是，由于當(dāng)時(shí)缺乏足夠的訓(xùn)練數(shù)據(jù)以及相對(duì)比較弱的計(jì)算能力，對(duì)多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其困難，訓(xùn)練時(shí)間過長，并往往會(huì)產(chǎn)生過擬合的分類網(wǎng)絡(luò)，因而在實(shí)際應(yīng)用中的識(shí)別效果并不好。近年來，具有足夠大數(shù)據(jù)量、具有類別標(biāo)記的圖像數(shù)據(jù)集的出現(xiàn)(如imagenet等)，以及顯卡gpu計(jì)算能力的增強(qiáng)，使得能夠在可以接受的時(shí)間里對(duì)多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練出好的網(wǎng)絡(luò)模型參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)單元，包含：卷積層、池化層以及全連接層。卷積層對(duì)窗口內(nèi)的圖像進(jìn)行卷積操作，提取各種類型的特征；池化層典型的操作包括平均和最大化，是對(duì)提取特征的進(jìn)一步抽象；全連接層是將卷積層和池化層的輸出使用向量堆疊起來，形成一層或多層全連接層，實(shí)現(xiàn)高階的推導(dǎo)能力。alexnet取得巨大成功后，后續(xù)研究者又在增加網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)優(yōu)化方法等各方面廣泛研究，又出現(xiàn)了googlenet，vggnet等具有影響力的卷積神經(jīng)網(wǎng)絡(luò)。研究人員并把設(shè)計(jì)好的網(wǎng)絡(luò)結(jié)構(gòu)，以及已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型參數(shù)進(jìn)行公開，供后續(xù)的研究人員直接使用，或者針對(duì)自己的數(shù)據(jù)集進(jìn)行參數(shù)的調(diào)整優(yōu)化。

需要指出的是，這些公開的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)(alexnet，googlenet，vggnet等)都是通過對(duì)自然目標(biāo)圖像(如汽車、飛機(jī)等各種自然常見物體以及各種場(chǎng)景)進(jìn)行訓(xùn)練得到的，因而往往并不能在遙感圖像中直接應(yīng)用。高空間分辨率遙感圖像與這些自然場(chǎng)景具有一定的相似性，但更多是不同；另外識(shí)別任務(wù)也不相同，比如高空間分辨率遙感圖像更主要用于區(qū)分建筑、道路、樹木、草地等地表覆蓋類別。本專利的基本思路是，基于歷史的遙感圖像(比如前一個(gè)時(shí)相的遙感數(shù)據(jù))以及樣本數(shù)據(jù)，使用多層的卷積神經(jīng)網(wǎng)絡(luò)(如alexnet，googlenet，vggnet等)提取其最后一個(gè)全連接層特征，作為其深度特征；并利用樣本數(shù)據(jù)基于提取的深度特征進(jìn)行分類器的訓(xùn)練；對(duì)新獲取的遙感圖像，使用同樣的卷積神經(jīng)網(wǎng)絡(luò)，提取其深度特征，并利用基于歷史遙感圖像以及樣本數(shù)據(jù)訓(xùn)練得到的分類器模型直接進(jìn)行分類。

本專利提出了一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法：針對(duì)遙感應(yīng)用中快速監(jiān)測(cè)的需求，基于已有的高空間分辨率遙感圖像以及樣本數(shù)據(jù)，本專利所提出的遙感圖像遷移學(xué)習(xí)方法，其核心是利用目前廣泛使用并取到巨大成功的卷積神經(jīng)網(wǎng)絡(luò)提取遙感圖像特征，這種圖像特征由于通過多層的神經(jīng)網(wǎng)絡(luò)提取，屬于對(duì)圖像更高層次特征的抽象表達(dá)，而不局限于傳統(tǒng)的圖像光譜特征的表達(dá)，因而能夠減小不同時(shí)相遙感圖像的輻射差異性對(duì)分類造成的影響，具有更強(qiáng)的遷移能力。該技術(shù)方法可以利用已有的遙感圖像以及樣本信息，訓(xùn)練好分類器；對(duì)新獲取的遙感圖像，直接利用已經(jīng)訓(xùn)練好的分類器進(jìn)行分類，從而為遙感快速監(jiān)測(cè)等應(yīng)用提供支持。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法。

本發(fā)明的基本思路為：對(duì)于源域圖像以及目標(biāo)域圖像分別使用已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征的提取；使用源域的訓(xùn)練樣本對(duì)基于源域圖像提取的深度特征進(jìn)行分類器的訓(xùn)練；對(duì)基于源域的訓(xùn)練樣本訓(xùn)練得到的分類器，對(duì)目標(biāo)域圖像提取的深度特征進(jìn)行直接分類，完成分類知識(shí)的遷移。

本發(fā)明的技術(shù)方案提供的一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法，其特征在于包括以下實(shí)施步驟：

a選擇已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型；

b對(duì)源域圖像以及目標(biāo)域圖像，使用主成分變換，分別提取其前三個(gè)主成分分量，形成相應(yīng)的三個(gè)波段的新圖像；

c對(duì)生成的三個(gè)波段的新圖像，分別以每個(gè)像素為中心取其一定大小窗口的圖像塊輸入到選定的卷積神經(jīng)網(wǎng)絡(luò)；

d輸出卷積神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)全連接層，得到該像素的深度特征表示；

e對(duì)源域圖像以及源域的訓(xùn)練樣本，基于步驟d中提取的深度特征使用支持向量機(jī)分類器進(jìn)行訓(xùn)練得到一個(gè)分類器；

f對(duì)步驟d中得到的目標(biāo)域圖像的深度特征，使用步驟e中訓(xùn)練得到的分類器進(jìn)行分類，完成從源域圖像以及類別對(duì)應(yīng)關(guān)系到目標(biāo)域的遷移學(xué)習(xí)。

上述實(shí)施步驟的特征在于：

步驟a中訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型是指alexnet，vggnet，googlenet等通過使用目前世界上圖像識(shí)別領(lǐng)域最大、具有大量標(biāo)記數(shù)據(jù)的數(shù)據(jù)庫imagenet訓(xùn)練得到的多層卷積神經(jīng)網(wǎng)絡(luò)。

步驟b中所述的主成分變換是由于高空間分辨率的遙感圖像大都擁有多于3個(gè)成像波段(除常規(guī)的紅綠藍(lán)三個(gè)光譜波段外，一般都具有觀測(cè)植被的近紅外波段)，如ikonos衛(wèi)星具有4個(gè)光譜波段；而最新的worldview-4衛(wèi)星具有8個(gè)光譜波段；需要使用主成分分析將常規(guī)的高空間分辨率遙感圖像進(jìn)行降維處理，獲得其前三個(gè)主成分分量，降維到三個(gè)波段。

步驟c中所述的一定大小的窗口，選取奇數(shù)大小的窗口如5×5，7×7，9×9，11×11等。窗口大小不應(yīng)過大，需要根據(jù)遙感圖像的空間分辨率以及應(yīng)用需求而定；通用的選取原則是所設(shè)定的窗口大小，使其選取的圖像塊內(nèi)的像素應(yīng)該大部分(超過80％)和中心像素的地物類型一致。

步驟d中所述的該像素的深度特征表示，是指對(duì)每個(gè)像素選取以其為中心的圖像塊，輸入到卷積神經(jīng)網(wǎng)絡(luò)后，從第一層網(wǎng)絡(luò)開始逐漸向后計(jì)算，直到最后一個(gè)全連接層，得到一個(gè)高維的向量，作為該像素的深度特征。

步驟e是指，使用源域圖像得到的高維的深度特征以及樣本類別信息，使用經(jīng)典的支持向量機(jī)分類器進(jìn)行訓(xùn)練，得到一個(gè)分類器；支持向量機(jī)核函數(shù)選擇線性核函數(shù)。

步驟f是指，利用步驟e中訓(xùn)練得到的分類器，輸入目標(biāo)域圖像得到的高維的深度特征，得到目標(biāo)域圖像的分類結(jié)果，完成了從源域圖像知識(shí)到目標(biāo)域圖像的遷移。

本發(fā)明與現(xiàn)有技術(shù)相比有如下特點(diǎn)：該高空間分辨率遙感圖像遷移學(xué)習(xí)算法充分利用了目前比較成熟的多層的卷積神經(jīng)網(wǎng)絡(luò)，從而捕捉了圖像高層次的特征，從而避免了兩幅不同圖像由于輻射差異的造成的圖像光譜值的差異性，進(jìn)而能夠更好地提升圖像遷移學(xué)習(xí)效果，為新獲取圖像的快速自動(dòng)化處理提供了技術(shù)支持，進(jìn)而為遙感快速監(jiān)測(cè)服務(wù)。

附圖說明：

附圖是一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法流程圖

具體實(shí)施方式：

采用本發(fā)明實(shí)現(xiàn)一種基于深度特征的高空間分辨率遙感圖像遷移學(xué)習(xí)方法的實(shí)施例如附圖所示，現(xiàn)結(jié)合附圖對(duì)其進(jìn)行描述。

處理單元100對(duì)目前常見多波段的高空間分辨率遙感圖像(如四個(gè)波段的ikonos衛(wèi)星多光譜圖像，八個(gè)波段的worldview-4衛(wèi)星多光譜圖像)進(jìn)行主成分變換，使用前三個(gè)分量(即最有信息量的前三個(gè)分量)生成一個(gè)三個(gè)波段的圖像。

處理單元101對(duì)處理單元100中得到的圖像的每個(gè)像素，以其為幾何中心讀取奇數(shù)窗口大小(如5×5，7×7，9×9，11×11)的圖像塊，該圖像塊作為該像素具有空間上下文信息的表示。

處理單元102輸入已有的卷積神經(jīng)網(wǎng)絡(luò)，即把處理單元101提取的圖像塊輸入到已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(如alexnet，googlenet，vggnet等)。卷積神經(jīng)網(wǎng)絡(luò)一般有兩種類型的操作：前向傳播操作以及反向傳播操作。反向操作主要進(jìn)行導(dǎo)數(shù)的向后傳遞，用于網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)學(xué)習(xí)。由于我們利用了已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(如alexnet，googlenet，vggnet等)，我們不需要進(jìn)行反向的操作，即不需要進(jìn)行網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)。

我們只需要進(jìn)行對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行前向操作。在前向傳播過程中，我們把圖像塊輸入到卷積神經(jīng)網(wǎng)絡(luò)中，逐層進(jìn)行計(jì)算，直到計(jì)算至最后一個(gè)全連接層。

處理單元103提取一組高維的特征向量即把所采用的卷積神經(jīng)網(wǎng)絡(luò)的最后一個(gè)全連接層的結(jié)果輸出，該向量的維數(shù)由所采用的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)所確定(如alexnet的最后一個(gè)全連接層，即fc7層，向量維數(shù)為4096)。對(duì)每一個(gè)像素，通過處理單元101提取的圖像塊輸入到卷積神經(jīng)網(wǎng)絡(luò)，都會(huì)輸出一個(gè)高維的特征向量，該向量即為該像素高層次的抽象特征表示，即為其深度特征。

處理單元104訓(xùn)練支持向量機(jī)分類器即根據(jù)已有的分類體系、各類別的樣本數(shù)據(jù)以及處理單元103提取的圖像深度特征進(jìn)行分類器的訓(xùn)練，分類器選擇經(jīng)典的支持向量機(jī)。而考慮到處理單元103提取的特征為高維的向量，支持向量機(jī)分類器中重要的核函數(shù)選擇的問題，選用線性核函數(shù)。處理單元104僅對(duì)源域的原始數(shù)據(jù)以及樣本數(shù)據(jù)進(jìn)行處理。

處理單元105使用已有的分類器模型進(jìn)行分類即對(duì)新獲取的高空間分辨率遙感圖像，經(jīng)過處理單元103后提取的高維特征向量，直接使用處理單元104生成的支持向量機(jī)分類器，進(jìn)行預(yù)測(cè)，得到新獲取的遙感圖像的分類結(jié)果。該過程不需要對(duì)新獲取的遙感圖像進(jìn)行樣本采集，從而加速了圖像分類的流程。該圖像遷移學(xué)習(xí)策略的關(guān)鍵，是對(duì)所有的遙感圖像使用了具有多個(gè)層次具有一定深度的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，從而使得提取的圖像特征具有很高的地物類型抽象表達(dá)能力，進(jìn)而減小了輻射差異造成的兩幅圖像光譜值差異對(duì)分類的影響，從而能夠在沒有重新進(jìn)行樣本采集的情況下，對(duì)新獲取的圖像，獲得較好的分類效果。

本發(fā)明的一個(gè)實(shí)例在pc平臺(tái)上實(shí)現(xiàn)，經(jīng)實(shí)驗(yàn)驗(yàn)證，該圖像遷移學(xué)習(xí)算法，利用多層的卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征，對(duì)已有的高空間分辨率遙感圖像以及訓(xùn)練樣本進(jìn)行分類器的訓(xùn)練，能夠得到比較可靠的分類器模型，對(duì)新獲取的遙感圖像能夠進(jìn)行自動(dòng)分類(不需要獲取額外的訓(xùn)練樣本)，分類結(jié)果可靠，能夠用于遙感快速監(jiān)測(cè)的應(yīng)用需求。

應(yīng)當(dāng)指出，以上所述具體實(shí)施方式可以使本領(lǐng)域的技術(shù)人員更全面地理解本發(fā)明，但不以任何方式限制本發(fā)明。因此，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，仍然可以對(duì)本發(fā)明進(jìn)行修改或者等同替換；而一切不脫離本發(fā)明的精神和技術(shù)實(shí)質(zhì)的技術(shù)方案及其改進(jìn)，其均應(yīng)涵蓋在本發(fā)明專利的保護(hù)范圍當(dāng)中。