本發(fā)明屬于遙感圖像處理，更為具體地講，涉及一種基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法。

背景技術(shù)：

1、在遙感圖像處理領(lǐng)域，云層覆蓋是影響地面特征提取和分析的常見(jiàn)挑戰(zhàn)。自2000年和2002年分別發(fā)射terra和aqua衛(wèi)星平臺(tái)以來(lái)，持續(xù)觀察獲得了modis的各種云屬性數(shù)據(jù)。modis云掩碼數(shù)據(jù)表明，全球云覆蓋率約為67％，陸地區(qū)域的云覆蓋率約為55％。

2、合成孔徑雷達(dá)因其強(qiáng)穿透能力和后向散射測(cè)量特點(diǎn)，在云去除挑戰(zhàn)中起到了重要作用。目前已有多種基于合成孔徑雷達(dá)的云去除方法已經(jīng)被提出，這些方法通過(guò)學(xué)習(xí)將多模態(tài)圖像的拼接轉(zhuǎn)換為無(wú)云圖像。然而現(xiàn)有方法沒(méi)有考慮對(duì)于不同的云密度程度，模型所學(xué)習(xí)的潛在結(jié)構(gòu)可能是不同的，導(dǎo)致紋理和結(jié)構(gòu)不一致，從而導(dǎo)致潛在的重建失敗。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法，引入了云密度感知技術(shù)，增強(qiáng)基于合成孔徑雷達(dá)圖像的云去除過(guò)程，從而顯著提高了云去除的效果。

2、為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法包括以下步驟：

3、s1：根據(jù)實(shí)際需要獲取若干訓(xùn)練樣本構(gòu)建去云數(shù)據(jù)集，每個(gè)訓(xùn)練樣本中包含同一區(qū)域的云覆蓋光學(xué)圖像、合成孔徑雷達(dá)圖像、無(wú)云光學(xué)圖像和云覆蓋光學(xué)圖像的云密度水平；

4、s2：構(gòu)建云去除模型，包括第一圖像特征提取模塊，第二圖像特征提取模塊，云密度感知模塊，光學(xué)合成孔徑雷達(dá)變換器模塊，光學(xué)特征融合模塊和圖像疊加模塊，其中：

5、第一圖像特征提取模塊用于對(duì)云覆蓋光學(xué)圖像jopt進(jìn)行特征提取，得到云覆蓋光學(xué)圖像特征gopt并發(fā)送至云密度感知模塊和光學(xué)合成孔徑雷達(dá)變換器模塊。

6、第二圖像特征提取模塊用于對(duì)合成孔徑雷達(dá)圖像jsar進(jìn)行特征提取，得到合成孔徑雷達(dá)圖像特征gsar并發(fā)送至光學(xué)合成孔徑雷達(dá)變換器模塊；

7、云密度感知模塊用于對(duì)云覆蓋光學(xué)圖像特征gopt進(jìn)行云密度估計(jì)得到云密度水平glabel；

8、光學(xué)合成孔徑雷達(dá)變換器模塊用于根據(jù)合成孔徑雷達(dá)圖像特征gsar對(duì)云覆蓋光學(xué)圖像特征gopt進(jìn)行變換處理，得到n個(gè)云覆蓋光學(xué)圖像特征并輸出至光學(xué)特征融合模塊，i＝1,2,…,n；光學(xué)合成孔徑雷達(dá)變換器模塊包括n層密度感知全局上下文交互模塊，其中：

9、第i層密度感知全局上下文交互模塊用于對(duì)輸入的云覆蓋光學(xué)圖像特征和合成孔徑雷達(dá)圖像特征進(jìn)行交互處理，得到云覆蓋光學(xué)圖像特征和合成孔徑雷達(dá)圖像特征進(jìn)行輸出；第1層密度感知全局上下文交互模塊的輸入云覆蓋光學(xué)圖像特征合成孔徑雷達(dá)圖像特征前n-1層密度感知全局上下文交互模塊將所得到的云覆蓋光學(xué)圖像特征和合成孔徑雷達(dá)圖像特征輸出至下一層密度感知全局上下文交互模塊，i′＝1,2,…,n-1，每層密度感知全局上下文交互模塊將所得到的云覆蓋光學(xué)圖像特征均輸出至光學(xué)特征融合模塊；

10、光學(xué)特征融合模塊用于對(duì)n個(gè)云覆蓋光學(xué)圖像特征進(jìn)行拼接，然后對(duì)拼接特征進(jìn)行尺寸變換至云覆蓋光學(xué)圖像jopt的尺寸，將得到的特征圖像jr發(fā)送至圖像疊加模塊；

11、圖像疊加模塊用于將云覆蓋光學(xué)圖像jopt和特征圖像jr進(jìn)行疊加，得到無(wú)云光學(xué)圖像jd＝j(luò)opt+jr；

12、s3：采用步驟s1中的去云數(shù)據(jù)集對(duì)云去除模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的云去除模型；

13、s4：當(dāng)需要對(duì)某個(gè)云覆蓋光學(xué)圖像進(jìn)行云去除時(shí)，將云覆蓋光學(xué)圖像和對(duì)應(yīng)的合成孔徑雷達(dá)圖像輸入訓(xùn)練好的云去除模型，得到無(wú)云光學(xué)圖像。

14、本發(fā)明基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法，構(gòu)建包括第一圖像特征提取模塊，第二圖像特征提取模塊，云密度感知模塊，光學(xué)合成孔徑雷達(dá)變換器模塊，光學(xué)特征融合模塊和圖像疊加模塊的云去除模型，對(duì)云覆蓋光學(xué)圖像、合成孔徑雷達(dá)圖像分別進(jìn)行特征提取后，根據(jù)云覆蓋光學(xué)圖像特征估計(jì)云密度水平，根據(jù)合成孔徑雷達(dá)圖像特征對(duì)云覆蓋光學(xué)圖像特征進(jìn)行變換處理，將得到的云覆蓋光學(xué)圖像特征進(jìn)行融合后與原云覆蓋光學(xué)圖像進(jìn)行疊加，得到無(wú)云圖像；采用預(yù)設(shè)的去云數(shù)據(jù)集對(duì)云去除模型進(jìn)行訓(xùn)練后，即可采用訓(xùn)練好的云去除模塊根據(jù)合成孔徑雷達(dá)圖像對(duì)云覆蓋光學(xué)圖像進(jìn)行云去除。

15、本發(fā)明具有以下有益效果：

16、1)本發(fā)明通過(guò)引入云密度感知模塊，通過(guò)不同級(jí)別的云密度信息，協(xié)助云覆蓋光學(xué)圖像學(xué)習(xí)合成孔徑雷達(dá)中被云遮蓋的地面紋理信息，從而提高去云性能，解決了基于合成孔徑雷達(dá)圖像進(jìn)行云去除任務(wù)帶來(lái)的紋理和結(jié)構(gòu)不一致的問(wèn)題；

17、2)本發(fā)明采用密度感知全局上下文交互模塊將云覆蓋光學(xué)圖與合成孔徑雷達(dá)圖像特征相結(jié)合，促進(jìn)了更詳細(xì)和精確的去云，確保了底層表面細(xì)節(jié)的完整性，同時(shí)最大限度地減少了噪聲和偽影的引入。

技術(shù)特征：

1.一種基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的密度感知云去除方法，其特征在于，所述步驟s1中云密度水平采用如下方法確定：

3.根據(jù)權(quán)利要求1所述的密度感知云去除方法，其特征在于，所述步驟s2中云密度感知模塊包括特征展開(kāi)模塊和分類(lèi)模塊，其中：

4.根據(jù)權(quán)利要求1所述的密度感知云去除方法，其特征在于，所述步驟s2中密度感知全局上下文交互模塊包括雷達(dá)圖像處理模塊，光學(xué)圖像處理模塊和全局-局部融合變換模塊，其中：

5.根據(jù)權(quán)利要求1所述的密度感知云去除方法，其特征在于，所述步驟s3中云去除模型訓(xùn)練的損失函數(shù)loss采用如下方法計(jì)算：

6.根據(jù)權(quán)利要求5所述的密度感知云去除方法，其特征在于，所述無(wú)云光學(xué)圖像的生成損失lgen的計(jì)算公式如下：

7.根據(jù)權(quán)利要求5所述的密度感知云去除方法，其特征在于，所述云密度水平的估計(jì)損失lcla采用交叉熵?fù)p失。

8.根據(jù)權(quán)利要求5所述的密度感知云去除方法，其特征在于，所述權(quán)重λgen和λcla的計(jì)算方法為：

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于光學(xué)合成孔徑雷達(dá)變換器引導(dǎo)的密度感知云去除方法，構(gòu)建包括第一圖像特征提取模塊，第二圖像特征提取模塊，云密度感知模塊，光學(xué)合成孔徑雷達(dá)變換器模塊，光學(xué)特征融合模塊和圖像疊加模塊的云去除模型，對(duì)云覆蓋光學(xué)圖像、合成孔徑雷達(dá)圖像分別進(jìn)行特征提取后，根據(jù)云覆蓋光學(xué)圖像特征估計(jì)云密度水平，根據(jù)合成孔徑雷達(dá)圖像特征對(duì)云覆蓋光學(xué)圖像特征進(jìn)行變換處理，將得到的云覆蓋光學(xué)圖像特征進(jìn)行融合后與原云覆蓋光學(xué)圖像進(jìn)行疊加，得到無(wú)云圖像；采用預(yù)設(shè)的去云數(shù)據(jù)集對(duì)云去除模型進(jìn)行訓(xùn)練后，即可采用訓(xùn)練好的云去除模塊根據(jù)合成孔徑雷達(dá)圖像對(duì)云覆蓋光學(xué)圖像進(jìn)行云去除。采用本發(fā)明可以顯著提高了云去除的效果。

技術(shù)研發(fā)人員：芮泉,李天宇,王國(guó)慶,楊陽(yáng)
受保護(hù)的技術(shù)使用者：電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5