本發(fā)明涉及計算機視覺，尤其涉及一種基于擴散模型的遙感圖像超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、遙感技術(shù)作為一種通過傳感器獲取地球表面信息的手段，已經(jīng)成為地球科學(xué)和環(huán)境監(jiān)測領(lǐng)域的重要工具。遙感圖像是通過各種傳感器（如衛(wèi)星、飛機、無人機等）獲取的地球表面信息的數(shù)字圖像，遙感圖像可以提供豐富的地表信息，包括地形、土地利用、植被覆蓋、水文情況等。因此，在農(nóng)業(yè)、城市規(guī)劃、資源管理、環(huán)境監(jiān)測等領(lǐng)域，遙感圖像都發(fā)揮著重要作用。例如，在農(nóng)業(yè)領(lǐng)域，遙感圖像可以用于監(jiān)測農(nóng)田的植被生長情況，指導(dǎo)農(nóng)作物的管理和收獲。在城市規(guī)劃中，遙感圖像可以提供城市擴張的動態(tài)信息，幫助規(guī)劃者合理規(guī)劃城市布局和交通網(wǎng)絡(luò)。

2、隨著遙感技術(shù)的不斷發(fā)展，獲取的遙感圖像數(shù)量和分辨率也不斷增加。但是，在實際應(yīng)用中，由于設(shè)備或數(shù)據(jù)傳輸?shù)某杀镜南拗?，遙感圖像的分辨率仍面臨著挑戰(zhàn)。為了解決這一問題，遙感圖像超分辨率技術(shù)應(yīng)運而生，其中基于卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneural?network，cnn）、基于生成對抗網(wǎng)絡(luò)（generative?adversarial?networks，gan）和基于擴散模型（diffusion?models，dm）的超分辨率方法被廣泛使用。相較于基于cnn的方法，基于擴散模型的方法更注重保持圖像的細節(jié)和結(jié)構(gòu)信息，重建的圖像不會過度平滑，更貼近真實圖像。而與基于gan的方法相比較，基于擴散模型的方法在訓(xùn)練階段則不需要進行復(fù)雜的對抗訓(xùn)練，訓(xùn)練過程穩(wěn)定且不易發(fā)生訓(xùn)練崩潰現(xiàn)象，模型結(jié)構(gòu)也易于實現(xiàn)和調(diào)整。

3、目前較為主流的基于擴散模型的圖像超分辨率方法之一是sr3，該方法將去噪擴散概率模型應(yīng)用于圖像到圖像的轉(zhuǎn)換，并通過隨機迭代去噪過程實現(xiàn)超分辨率。然而，sr3模型的參數(shù)量較大，資源消耗也相對較大，且難以生成更高質(zhì)量的超分辨率遙感圖像，在視覺效果上仍有待進一步優(yōu)化。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于擴散模型的遙感圖像超分辨率重建方法及系統(tǒng)，用于解決現(xiàn)有超分辨率方法難以生成更高質(zhì)量的超分辨率遙感圖像，導(dǎo)致遙感圖像的視覺效果較差的技術(shù)問題。

2、本發(fā)明提供了一種基于擴散模型的遙感圖像超分辨率重建方法，包括：

3、獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；

4、構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過所述遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴散模型、條件特征增強模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；

5、將所述原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過所述擴散模型對所述原始遙感圖像進行反向擴散以實現(xiàn)去噪，在去噪過程中通過所述條件特征增強模塊補充遙感圖像高頻細節(jié)并通過所述噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

6、具體的，所述遙感訓(xùn)練數(shù)據(jù)集包括多組高分辨率遙感圖像和相應(yīng)的低分辨率遙感圖像成對數(shù)據(jù)；所述超分辨率網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

7、通過所述擴散模型對高分辨率遙感圖像添加高斯噪聲以實現(xiàn)前向擴散，得到多個對應(yīng)不同時間步的參考噪聲圖像；

8、以前向擴散過程生成的最后一個參考噪聲圖像作為輸入噪聲圖像，并通過卷積操作，提取到輸入噪聲圖像的初始淺特征的第一特征圖；

9、將低分辨率遙感圖像和純噪聲輸入至所述條件特征增強模塊，得到富含遙感圖像高頻細節(jié)的第二特征圖；

10、融合第一特征圖和所述第二特征圖，得到第三特征圖并輸入至所述噪聲預(yù)測網(wǎng)絡(luò)模型進行噪聲預(yù)測，預(yù)測出當(dāng)前時間步所加的預(yù)測噪聲；

11、將當(dāng)前時間步的輸入噪聲圖像減去當(dāng)前時間步所加的預(yù)測噪聲，得到上一個時間步長的預(yù)測噪聲圖像，并將預(yù)測噪聲圖像與同一時間步的參考噪聲圖像進行比對反饋以更新擴散模型的反向擴散；

12、以上一個時間步長的預(yù)測噪聲圖像作為新的，并跳轉(zhuǎn)至通過卷積操作，得到提取到輸入噪聲圖像的初始淺特征的第一特征圖的步驟；直至擴散模型在反向擴散生成的時間步長為0的圖像與所述高分辨率遙感圖像的相似度滿足預(yù)設(shè)條件。

13、具體的，所述擴散模型的前向擴散的執(zhí)行步驟包括：對高分辨率遙感圖像逐步添加高斯噪聲直至完全變成高斯噪聲圖像；

14、所述擴散模型的前向擴散的執(zhí)行步驟包括：對高斯噪聲圖像不斷去除噪聲，直至恢復(fù)到原來的高分辨率圖像；

15、其中，所述擴散模型的前向擴散過程表示為：

16、

17、式中：和均是隨時間t變化的參數(shù)，分別控制均值回歸和隨機波動的速度，u表示經(jīng)雙三次插值上采樣后的低分辨率圖像，x表示當(dāng)前狀態(tài)的圖像，w表示標(biāo)準(zhǔn)維納過程；

18、所述擴散模型的反向擴散過程表示為：

19、

20、式中：表示推理階段的ground-truth分數(shù)，表示逆時維納過程。

21、具體的，所述條件特征增強模塊由連接層、卷積層、relu函數(shù)模塊、多通道特征融合注意力模塊和上采樣模塊組成；所述將低分辨率遙感圖像和純噪聲輸入至所述條件特征增強模塊，得到富含遙感圖像高頻細節(jié)的第二特征圖的步驟，包括：

22、通過連接層將低分辨率遙感圖像和純噪聲進行連接，連接后的圖像經(jīng)過卷積層進行3x3卷積操作和relu函數(shù)模塊進行淺特征提取和激活處理，提取到初級特征的初級特征圖；

23、通過n個多通道特征融合注意力模塊對初級特征圖進行深層高頻特征提取，得到富含高頻細節(jié)的次級特征圖；其中，n為正整數(shù)；

24、將所述初級特征和所述次級特征圖進行殘差運算，將殘差運算結(jié)果進行3x3卷積操作和最近鄰插值法上采樣將特征圖上采樣操作，得到富含遙感圖像高頻細節(jié)的第二特征圖。

25、具體的，所述多通道特征融合注意力模塊由卷積層、連續(xù)殘差卷積塊和高頻通道注意力塊組成；所述多通道特征融合注意力模塊的運算步驟，包括：

26、通過卷積層將輸入進行1x1卷積操作，并劃分成4個16維通道的特征圖；

27、采用49到64維通道的特征圖進行連續(xù)殘差卷積操作，生成新的16維通道的特征圖；將新的16維通道的特征圖與最初的33到48維通道的特征圖進行連續(xù)殘差卷積操作，生成新的32維通道的特征圖；將新的32維通道的特征圖與最初的17到32維通道的特征圖進行連續(xù)殘差卷積操作，生成新的48維通道的特征圖；將新的48維通道的特征圖與最初的1到16維通道的特征圖進行1x1的卷積操作，生成新的64維通道的特征圖；

28、通過高頻通道注意力塊對新的64維通道的特征圖進行池化處理，并將經(jīng)過高頻通道注意力塊的特征圖與初級特征圖進行殘差運算，得到含有高頻細節(jié)的64維通道的特征圖。

29、具體的，所述噪聲預(yù)測網(wǎng)絡(luò)模型由編碼器、中間層和解碼器組成；所述融合第一特征圖和所述第二特征圖，得到第三特征圖并輸入至所述噪聲預(yù)測網(wǎng)絡(luò)模型進行噪聲預(yù)測，預(yù)測出當(dāng)前時間步所加的預(yù)測噪聲的步驟，包括：

30、將第一特征圖和所述第二特征圖進行相加操作，得到融合后的第三特征圖；

31、將所述第三特征圖輸入所述噪聲預(yù)測網(wǎng)絡(luò)模型中，依次經(jīng)過多個編碼器、中間層和多個解碼器；在編碼過程中，依次經(jīng)過四次的編碼器運算和步長為2的2×2卷積層的下采樣操作；在解碼過程中，依次經(jīng)過四次的解碼器運算、步長為1的3×3的卷積層和最近鄰插值法2倍上采樣操作。

32、具體的，所述編碼器、中間層和解碼器均由多尺度噪聲提取預(yù)測模塊組成；所述多尺度噪聲提取預(yù)測模塊的運算過程包括：

33、將輸入依次經(jīng)過層標(biāo)準(zhǔn)化操作、第一1x1卷積操作、三種不同感受野的膨脹卷積運算、簡單門操作、簡單通道注意力運算、1x1卷積操作、層標(biāo)準(zhǔn)化操作、第二1x1卷積操作、簡單門操作和第三1x1卷積操作；其中，由當(dāng)前時間步長經(jīng)過多層感知機生成的參數(shù)來調(diào)整所述第一1x1卷積操作和所述第三1x1卷積操作的輸入。

34、本發(fā)明第二方面提供了一種基于擴散模型的遙感圖像超分辨率重建系統(tǒng)，包括：

35、獲取模塊，用于獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；

36、超分辨率網(wǎng)絡(luò)模型訓(xùn)練模塊，用于構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過所述遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴散模型、條件特征增強模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；

37、超分辨率遙感圖像生成模塊，用于將所述原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過所述擴散模型對所述原始遙感圖像進行反向擴散以實現(xiàn)去噪，在去噪過程中通過所述條件特征增強模塊補充遙感圖像高頻細節(jié)并通過所述噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

38、本發(fā)明第三方面提供了一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上任一所述的基于擴散模型的遙感圖像超分辨率重建方法的步驟。

39、本發(fā)明第四方面提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上任一所述的基于擴散模型的遙感圖像超分辨率重建方法的步驟。

40、從以上技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點：

41、本發(fā)明提供了一種基于擴散模型的遙感圖像超分辨率重建方法及系統(tǒng)，其中方法包括：獲取原始遙感圖像和遙感訓(xùn)練數(shù)據(jù)集；構(gòu)建超分辨率網(wǎng)絡(luò)模型，并通過遙感訓(xùn)練數(shù)據(jù)集訓(xùn)練超分辨率網(wǎng)絡(luò)模型，得到訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型；其中，超分辨率網(wǎng)絡(luò)模型由擴散模型、條件特征增強模塊和噪聲預(yù)測網(wǎng)絡(luò)模型組成；將原始遙感圖像輸入至訓(xùn)練完成的超分辨率網(wǎng)絡(luò)模型中，通過擴散模型對原始遙感圖像進行反向擴散以實現(xiàn)去噪，在去噪過程中通過條件特征增強模塊補充遙感圖像高頻細節(jié)并通過噪聲預(yù)測網(wǎng)絡(luò)模型優(yōu)化去噪過程，得到超分辨率遙感圖像。

42、在本發(fā)明中，借助擴散模型實現(xiàn)更穩(wěn)定的訓(xùn)練效果，且通過條件特征增強模塊有效提取遙感圖像高頻細節(jié)，使擴散模型的去噪過程中更多高頻細節(jié)被恢復(fù)補充，通過噪聲預(yù)測網(wǎng)絡(luò)模型高效地預(yù)測和去除噪聲，從而優(yōu)化去噪過程。采用本方法能生成更高質(zhì)量的超分辨率遙感圖像，從而提高遙感圖像重建后的視覺效果，解決了現(xiàn)有超分辨率方法難以生成更高質(zhì)量的超分辨率遙感圖像，導(dǎo)致遙感圖像的視覺效果較差的技術(shù)問題。