本發(fā)明涉及遙感圖像處理，更具體的說(shuō)是涉及一種基于多源數(shù)據(jù)融合的局地氣候區(qū)分類(lèi)方法。

背景技術(shù)：

1、局地氣候區(qū)(local?climate?zones，lcz)分類(lèi)為理解和評(píng)估城市及其周邊區(qū)域的微氣候特征提供了一種全球通用的方法，有助于城市規(guī)劃和環(huán)境科學(xué)研究。lcz遙感圖像分類(lèi)通過(guò)提供標(biāo)準(zhǔn)化的城市環(huán)境分類(lèi)，使研究人員能夠比較不同城市的氣候特性，同時(shí)幫助規(guī)劃者設(shè)計(jì)適宜的居住環(huán)境，從而有效管理城市熱島效應(yīng)和提高能源效率。多源遙感數(shù)據(jù)具有互補(bǔ)性和多維度的特征信息，如合成孔徑雷達(dá)成像(synthetic?aperture?radar，sar)具有穿透云層和全天候的特點(diǎn)，多光譜遙感圖像(multispectral?image，msi)則具有豐富的光譜信息和地表物質(zhì)識(shí)別能力，因此，充分利用多源遙感數(shù)據(jù)是提升lcz分類(lèi)精度的有效途徑。雖然當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)(cnn)擅長(zhǎng)提取圖像特征，但難以充分捕獲不同數(shù)據(jù)源間的關(guān)聯(lián)，進(jìn)而無(wú)法在多源數(shù)據(jù)中提取出更全面的語(yǔ)義信息。因此，使用更合適的技術(shù)以捕捉多源數(shù)據(jù)間的語(yǔ)義關(guān)聯(lián)，不僅能夠提升lcz分類(lèi)模型在復(fù)雜環(huán)境中的表現(xiàn)，還能更精準(zhǔn)地反映城市微氣候的特征，從而提高城市規(guī)劃和環(huán)境管理的科學(xué)性和有效性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于多源數(shù)據(jù)融合的局地氣候區(qū)分類(lèi)方法，可更精準(zhǔn)地捕捉多源數(shù)據(jù)間的語(yǔ)義關(guān)聯(lián)，以更準(zhǔn)確地反應(yīng)城市微氣候特征。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于多源數(shù)據(jù)融合的局地氣候區(qū)分類(lèi)方法，包括以下步驟：

4、搭建多源特征提取與融合網(wǎng)絡(luò)；所述多源特征提取與融合網(wǎng)絡(luò)包括兩個(gè)自注意力計(jì)算分支和交叉注意力融合模塊；兩個(gè)所述自注意力計(jì)算分支分別包括一系列的自注意力模塊，分別對(duì)多光譜遙感圖像特征和sar遙感圖像特征進(jìn)行不同層次的特征提??；所述交叉注意力融合模塊包括多個(gè)交叉注意力模塊，多個(gè)所述交叉注意力模塊分別接受兩個(gè)所述自注意力計(jì)算分支所提取的不同層次的異源數(shù)據(jù)特征，進(jìn)行特征融合，且同一個(gè)所述交叉注意力模塊接受來(lái)自同一層次的成對(duì)異源數(shù)據(jù)特征；

5、基于所述多源特征提取與融合網(wǎng)絡(luò)搭建局地氣候區(qū)分類(lèi)模型；

6、利用多光譜遙感圖像和sar遙感圖像組成的數(shù)據(jù)集對(duì)所述局地氣候區(qū)分類(lèi)模型進(jìn)行訓(xùn)練和測(cè)試；

7、基于訓(xùn)練和測(cè)試好的所述局地氣候區(qū)分類(lèi)模型對(duì)多源遙感圖像進(jìn)行分類(lèi)，得到局地氣候區(qū)分類(lèi)結(jié)果。

8、進(jìn)一步的，所述自注意力計(jì)算分支對(duì)多光譜遙感圖像特征或sar遙感圖像特征的計(jì)算過(guò)程包括：

9、位于所述自注意力計(jì)算分支中的第一個(gè)自注意力模塊接收多光譜遙感圖像或sar遙感圖像的嵌入特征xe作為輸入，并進(jìn)行層歸一化操作處理；

10、將歸一化后的向量輸入到多頭注意力機(jī)制中進(jìn)行注意力計(jì)算；

11、對(duì)多頭注意力機(jī)制的輸出與嵌入特征xe進(jìn)行殘差連接，并進(jìn)行層歸一化操作后，得到自注意力模塊的第一級(jí)輸出；將第一級(jí)輸出經(jīng)過(guò)一個(gè)多層感知機(jī)后，得到自注意力模塊的第二級(jí)輸出；將第一級(jí)輸出與第二級(jí)輸出進(jìn)行殘差連接，再進(jìn)行層歸一化操作，得到該自注意力模塊的最終輸出；

12、將該自注意力模塊的最終輸出作為下一自注意力模塊的輸入或?qū)?yīng)層次的所述交叉注意力模塊的輸入。

13、進(jìn)一步的，多頭注意力機(jī)制的計(jì)算過(guò)程表示為：

14、multihead(xe)＝concat(head1,head2,…,headh)wo

15、

16、其中，multihead(xe)表示多頭注意力機(jī)制的輸出，headi表示第i個(gè)頭的輸出，qi表示第i個(gè)頭的查詢(xún)向量，ki表示第i個(gè)頭的鍵向量，vi表示第i個(gè)頭的值向量，dk表示鍵向量的維度，wo為可學(xué)習(xí)的權(quán)重矩陣，concat表示拼接操作。

17、進(jìn)一步的，對(duì)于第一個(gè)自注意力模塊的計(jì)算過(guò)程表示為：

18、output＝layernorm(xe+multihead(xe))

19、selfattentionoutput＝layernorm(output+mlp(output))

20、其中，layernorm表示層歸一化操作，multihead(xe)表示多頭注意力機(jī)制的輸出，mlp表示多層感知機(jī)，selfattentionoutput表示自注意力模塊的最終輸出；

21、自注意力模塊完整的計(jì)算過(guò)程表示為：

22、sao＝sam(xe)

23、其中，sam代表完整的自注意力模塊的計(jì)算，xe表示輸入圖像的嵌入特征；sao＝selfattentionoutput，表示自注意力模塊的輸出，其形狀與輸入相同。

24、進(jìn)一步的，所述交叉注意力模塊包括兩個(gè)計(jì)算分支camsar與cammsi，其中，兩個(gè)計(jì)算分支cammsar與cammsi與所述自注意力模塊的計(jì)算過(guò)程類(lèi)似，不同之處在于：

25、計(jì)算分支camsar使用sar遙感圖像特征的鍵向量與值向量并使用多光譜遙感圖像特征的查詢(xún)向量計(jì)算過(guò)程表示為：

26、

27、計(jì)算分支cammsi使用多光譜遙感圖像也正的鍵向量與值向量并使用sar遙感圖像特征的查詢(xún)向量計(jì)算過(guò)程表示為：

28、

29、兩個(gè)計(jì)算分支進(jìn)行多頭注意力計(jì)算之后，進(jìn)行和所述自注意力模塊相同的計(jì)算過(guò)程，其輸出分別表示為：

30、

31、其中，caosar和caomsi分別表示計(jì)算分支camsar與cammsi的輸出，和表示兩個(gè)自注意力計(jì)算分支中經(jīng)過(guò)j個(gè)自注意力模塊后的最終輸出，j表示經(jīng)過(guò)的自注意力模塊的數(shù)量。

32、進(jìn)一步的，對(duì)于每個(gè)交叉注意力模塊，將兩個(gè)計(jì)算分支camsar與cammsi的輸出進(jìn)行連接操作，得到該交叉注意力模塊的最終輸出cao，表示為：

33、cao＝caosar+caomsi。

34、進(jìn)一步的，所述交叉注意力融合模塊包括四個(gè)交叉注意力模塊，四個(gè)交叉注意力模塊分別接受經(jīng)過(guò)了2、4、10、12個(gè)自注意力模塊的成對(duì)異源數(shù)據(jù)特征，表示為：

35、

36、其中，cam表示一個(gè)交叉注意力模塊完整的計(jì)算過(guò)程，表示經(jīng)過(guò)了j個(gè)自注意力模塊計(jì)算的sar數(shù)據(jù)特征，表示經(jīng)過(guò)了j個(gè)自注意力模塊計(jì)算的多光譜數(shù)據(jù)特征；

37、所有交叉注意力模塊計(jì)算結(jié)束之后，將四個(gè)輸出進(jìn)行拼接操作，并通過(guò)一個(gè)卷積層調(diào)整特征維度，具體計(jì)算公式表示為：

38、cafo＝conv1×1(concat(cao1,cao2,cao3,cao4))

39、其中，cafo表示交叉注意力融合模塊的最終輸出，concat表示拼接操作，conv1×1表示1×1的卷積操作。

40、進(jìn)一步的，將sar遙感圖像特征經(jīng)一系列自注意力模塊計(jì)算后的最終輸出多光譜遙感圖像特征經(jīng)一系列自注意力模塊計(jì)算后的最終輸出以及經(jīng)交叉注意力融合模塊計(jì)算后的最終輸出進(jìn)行一次拼接操作，再通過(guò)一個(gè)用于調(diào)整維度并整合語(yǔ)義的卷積層，將得到的結(jié)果作為所述多源特征提取與融合網(wǎng)絡(luò)最終的多源融合特征，具體計(jì)算過(guò)程表示為：

41、

42、其中，msf表示多源特征提取與融合網(wǎng)絡(luò)最終輸出的多源融合特征。

43、進(jìn)一步的，所述局地氣候區(qū)分類(lèi)模型包括數(shù)據(jù)特征預(yù)處理網(wǎng)絡(luò)、所述多源特征提取與融合網(wǎng)絡(luò)和分類(lèi)網(wǎng)絡(luò)；

44、所述數(shù)據(jù)特征預(yù)處理網(wǎng)絡(luò)接收sar圖像和多光譜圖像，將兩種圖像分別進(jìn)行圖像分塊以及線(xiàn)性嵌入，得到sar遙感圖像的嵌入特征以及多光譜遙感圖像的嵌入特征

45、所述多源特征提取與融合網(wǎng)絡(luò)對(duì)兩種圖像的嵌入特征和進(jìn)行自注意力計(jì)算和融合，得到多源融合特征msf；

46、所述分類(lèi)網(wǎng)絡(luò)對(duì)多源融合特征msf依次通過(guò)線(xiàn)性整流函數(shù)relu、一個(gè)1×1的卷積操作和softmax函數(shù)，輸出每個(gè)局地氣候區(qū)類(lèi)別的預(yù)測(cè)概率。

47、進(jìn)一步的，對(duì)所述局地氣候區(qū)分類(lèi)模型進(jìn)行訓(xùn)練時(shí)，采取的損失函數(shù)為交叉熵?fù)p失函數(shù)。

48、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

49、本發(fā)明提出的基于多源遙感數(shù)據(jù)融合的局地氣候區(qū)分類(lèi)模型，充分利用了注意力機(jī)制不僅能夠在相同數(shù)據(jù)源內(nèi)獲取全局語(yǔ)義關(guān)聯(lián)，還可以通過(guò)計(jì)算不同數(shù)據(jù)源之間的注意力權(quán)重，捕捉跨源數(shù)據(jù)的語(yǔ)義關(guān)聯(lián)的特點(diǎn)，使得模型在局地氣候區(qū)分類(lèi)任務(wù)時(shí)能夠更全面地提取多源數(shù)據(jù)特征，理解圖像內(nèi)容，從而實(shí)現(xiàn)精確的遙感圖像lcz分類(lèi)。整個(gè)過(guò)程無(wú)需人工干預(yù)，預(yù)測(cè)效率更高。