本發(fā)明涉及遙感圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法及系統(tǒng)。

背景技術(shù)：

隨著遙感技術(shù)在地物觀測、目標(biāo)識別等領(lǐng)域的深入發(fā)展，人們對高分辨遙感圖像的需求日益提高。改善硬件設(shè)備是獲取高分辨遙感圖像最直接的方法，然而其成本高、研制周期長，同時會引發(fā)噪聲和傳輸速率減慢等問題，并且不易維護(hù)，靈活性差，而超分辨(superresolution，sr)重建從圖像信息本身出發(fā)，由一幅或多幅低分辨圖像重建出一幅高分辨圖像，是一種經(jīng)濟(jì)便捷的提高圖像分辨率的技術(shù)。在遙感領(lǐng)域應(yīng)用sr重建技術(shù)可縮小不同圖像間分辨率差別，進(jìn)而降低多源圖像的配準(zhǔn)、鑲嵌和融合難度，為多時相地物觀測及數(shù)據(jù)處理提供基礎(chǔ)，方便目標(biāo)的檢測與識別。

sr重建最早由harris等人于上世紀(jì)60年代提出，其按重建時所需低分辨率圖像數(shù)量可分為單幅重建和多幅重建，當(dāng)前主要方法有三類：插值法、重構(gòu)法和學(xué)習(xí)法。

插值法是最早的sr重建方法，包括最近鄰插值、雙線性插值和雙三次插值等，其利用已知鄰近像素的灰度值來產(chǎn)生待插值像素的灰度值，在所有重建方法中復(fù)雜度最低，實(shí)時性好，但結(jié)果中邊緣效應(yīng)明顯，對細(xì)節(jié)恢復(fù)較差。重構(gòu)法由tsai等人提出，經(jīng)tekalp與stark等人發(fā)展，其對圖像成像過程進(jìn)行建模，按照特定的退化模型，根據(jù)觀測的低分辨圖像序列對高分辨圖像重建提供約束，再融合同一場景的不同信息來得到高質(zhì)量重建結(jié)果，是一類以時間寬度換取空間分辨率提升的方法，通常需預(yù)先配準(zhǔn)，效率低且精度難以保證，且操作復(fù)雜，通用性較差，目前針對遙感圖像的sr重建大多仍停留在此類方法上，其都無法克服重構(gòu)法存在的普遍問題。

學(xué)習(xí)法近年迅速發(fā)展，其克服了重構(gòu)法分辨率提高倍數(shù)難確定的限制，且可面向單幅圖像，依靠構(gòu)造高、低分辨率圖像庫，通過樣本學(xué)習(xí)得到二者間內(nèi)在對應(yīng)關(guān)系。其中yang等人提出的稀疏表示法從壓縮感知角度出發(fā)，假定作為輸入的低分辨率圖像塊可以被一個過完備的圖像塊字典中的基元素線性稀疏表示，基于高、低分辨率圖像塊聯(lián)合字典進(jìn)行重建，效果較好，被金煒等參考用于提升遙感云圖分辨率，但其求解速度慢，且對過完備字典的選擇要求較高，通用性不足。之后chao等人結(jié)合深度學(xué)習(xí)內(nèi)容構(gòu)建了基于三層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的srcnn(superresolutionconvolutionalneutralnetwork)模型，直接學(xué)習(xí)低分辨率圖像與高分辨率圖像間的端到端映射關(guān)系，運(yùn)行效率和重建效果在當(dāng)前所有sr重建方法中居于前列，但其所需訓(xùn)練時間較長，且未考慮學(xué)習(xí)過程中可能出現(xiàn)的過擬合問題，未對色度空間插值結(jié)果進(jìn)行處理。國內(nèi)徐冉等人提出了基于雙通道卷積的sr重建算法，以模型結(jié)構(gòu)復(fù)雜度和效率為代價換取了重建信噪比的提升，但仍存在過擬合和邊緣問題。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，本發(fā)明提供一種訓(xùn)練時間短、適應(yīng)性強(qiáng)、超分辨效果好的基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法及系統(tǒng)。

根據(jù)本發(fā)明的一方面，提供一種基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法，包括：步驟s1，將待處理遙感圖像由rgb空間轉(zhuǎn)換至ycbcr空間，并分出所述待處理遙感圖像的亮度空間與色度空間；步驟s2，構(gòu)建多層深度卷積網(wǎng)絡(luò)，基于所述多層深度卷積網(wǎng)絡(luò)構(gòu)建超分辨重建模型，利用所述超分辨重建模型對上述待處理遙感圖像的亮度空間進(jìn)行重建，得到所述待處理遙感圖像重建后的亮度空間；步驟s3，以上述重建后的亮度空間為導(dǎo)向圖指導(dǎo)所述待處理遙感圖像的色度空間進(jìn)行聯(lián)合雙邊濾波，得到所述待處理遙感圖像的重建后的色度空間；步驟s4，整合所述待處理遙感圖像重建后的亮度空間和重建后的色度空間，將整合后的待處理遙感圖像由ycbcr空間轉(zhuǎn)回至rgb空間，得到所述待處理遙感圖像的超分辨圖像，所述超分辨圖像的分辨率高于所述待處理遙感圖像的分辨率。

據(jù)本發(fā)明的另一方面，提供一種基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)，包括：空間轉(zhuǎn)換模塊，將待處理遙感圖像由rgb空間轉(zhuǎn)換至ycbcr空間，并分出所述待處理遙感圖像的亮度空間和色度空間，分別發(fā)送給亮度空間重建模塊和色度空間重建模塊；亮度空間重建模塊，構(gòu)建多層深度卷積網(wǎng)絡(luò)，基于所述多層深度卷積網(wǎng)絡(luò)構(gòu)建超分辨重建模型，利用所述超分辨重建模型對空間轉(zhuǎn)換模塊傳來的待處理遙感圖像的亮度空間進(jìn)行重建，得到所述待處理遙感圖像重建后的亮度空間，發(fā)送到色度空間重建模塊和整合模塊；色度空間重建模塊，以亮度重建模塊傳來的待處理遙感圖像重建后的亮度空間為導(dǎo)向圖指導(dǎo)所述待處理遙感圖像的色度空間進(jìn)行聯(lián)合雙邊濾波，得到所述待處理遙感圖像的重建后的色度空間，發(fā)送到整合模塊；整合模塊，整合亮度空間重建模塊和色度空間模塊發(fā)送的所述待處理遙感圖像重建后的亮度空間和重建后的色度空間，將整合后的待處理遙感圖像由ycbcr空間轉(zhuǎn)回至rgb空間，得到所述待處理遙感圖像的超分辨圖像，所述超分辨圖像的分辨率高于所述待處理遙感圖像高的分辨率。

本發(fā)明所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法及系統(tǒng)適用性更強(qiáng)，重建時無需輸入同一場景不同時序的遙感圖像序列，僅需利用預(yù)先訓(xùn)練好的重建模型，對每一幅待重建遙感圖像輸入建立映射關(guān)系，重建速度更快。另外，利用重建后的亮度空間作為導(dǎo)向圖聯(lián)合雙邊濾波插值重建色度空間，有效削弱了遙感圖像色度空間插值后的塊效應(yīng)。

附圖說明

通過參考以下具體實(shí)施方式及權(quán)利要求書的內(nèi)容并且結(jié)合附圖，本發(fā)明的其它目的及結(jié)果將更加明白且易于理解。在附圖中：

圖1是本發(fā)明所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法的流程示意圖；

圖2是本發(fā)明構(gòu)建超分辨重建模型的流程示意圖；

圖3是本發(fā)明待處理遙感圖像色度空間重建的流程示意圖；

圖4是本發(fā)明所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)的構(gòu)成框圖；

圖5是利用本發(fā)明所述遙感圖像超分辨重建系統(tǒng)對遙感圖像進(jìn)行本發(fā)明所述遙感圖像超分辨重建的一個優(yōu)選實(shí)施例的流程示意圖；

圖6是本發(fā)明所述超分辨重建模型的結(jié)構(gòu)示意圖；

圖7是本發(fā)明色度空間聯(lián)合雙邊濾波前后對比圖，其中，圖7a是待處理遙感圖像cb空間聯(lián)合濾波前效果，圖7b是待處理遙感圖像cb空間聯(lián)合濾波后效果，圖7c是待處理遙感圖像cr空間聯(lián)合濾波前效果，圖7d為待處理遙感圖像cr空間聯(lián)合濾波后效果；

圖8是本發(fā)明所述遙感圖像超分辨重建方法與其他sr重建方法針對遙感圖像的重建效果對比圖，其中，圖8a為雙三次插值法2倍重建效果，圖8b為srcnn方法2倍重建效果，圖8c為本發(fā)明所述遙感圖像超分辨重建方法2倍重建效果，圖8d為原始高分辨遙感圖像。

在附圖中，相同的附圖標(biāo)記指示相似或相應(yīng)的特征或功能。

具體實(shí)施方式

在下面的描述中，出于說明的目的，為了提供對一個或多個實(shí)施例的全面理解，闡述了許多具體細(xì)節(jié)。然而，很明顯，也可以在沒有這些具體細(xì)節(jié)的情況下實(shí)現(xiàn)這些實(shí)施例。在其它例子中，為了便于描述一個或多個實(shí)施例，公知的結(jié)構(gòu)和設(shè)備以方框圖的形式示出。

下面將參照附圖來對根據(jù)本發(fā)明的各個實(shí)施例進(jìn)行詳細(xì)描述。

圖1是本發(fā)明所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法的流程示意圖，如圖1所示，所述遙感圖像超分辨重建方法包括：

步驟s1，將待處理遙感圖像由rgb空間轉(zhuǎn)換至ycbcr空間，并分出所述待處理遙感圖像的亮度空間與色度空間；

步驟s2，構(gòu)建多層深度卷積網(wǎng)絡(luò)，基于所述多層深度卷積網(wǎng)絡(luò)構(gòu)建超分辨重建模型，利用所述超分辨重建模型對上述待處理遙感圖像的亮度空間進(jìn)行重建，得到所述待處理遙感圖像重建后的亮度空間；

步驟s3，以上述重建后的亮度空間為導(dǎo)向圖指導(dǎo)所述待處理遙感圖像的色度空間進(jìn)行聯(lián)合雙邊濾波，得到所述待處理遙感圖像的重建后的色度空間，所述聯(lián)合雙邊濾波表達(dá)式如公式(1)所示：

其中，kp是正則化因子，為引入的導(dǎo)向圖，也是所述重建后的亮度空間，p、q表示像素在待處理遙感圖像中的坐標(biāo)，jp表示相應(yīng)位置的輸出，f、g是權(quán)重分布函數(shù)，ω是函數(shù)的作用域；

步驟s4，整合所述待處理遙感圖像重建后的亮度空間和重建后的色度空間，將整合后的待處理遙感圖像由ycbcr空間轉(zhuǎn)回至rgb空間，得到所述待處理遙感圖像的超分辨圖像，所述超分辨圖像的分辨率高于所述待處理遙感圖像的分辨率。

優(yōu)選地，上述遙感圖像超分辨重建方法還包括：

在所述步驟s1之前，對所述待處理遙感圖像進(jìn)行幾何校正、輻射校正、大氣校正和去噪等預(yù)處理，消除所述待重建圖像的幾何畸變、輻射量失真、大氣消光等問題；

在步驟s3和步驟s4之間，對所述待處理遙感圖像重建后的亮度空間和重建后的色度空間進(jìn)行自適應(yīng)非線性反銳化掩膜(adaptivenonlinearunsharpmask，anusm)處理，包括：分別對重建亮度空間和色度空間后的待處理遙感圖像的y、cb和cr按照下面的公式(2)進(jìn)行anusm增強(qiáng)，

其中，(x,y)為待處理遙感圖像亮度空間或色度空間的像素點(diǎn)的坐標(biāo)，g(x,y)為重建后待處理遙感圖像的y、cb或cr增強(qiáng)后結(jié)果，f(x,y)為所述待處理遙感圖像亮度空間或色度空間重建結(jié)果，即重建后像素點(diǎn)的像素值，為對其進(jìn)行鈍化得到的圖像，其中，鈍化方法采用采用下面公式(3)所述增強(qiáng)因子k(x,y)，

其中，fmax(x,y)為其對應(yīng)空間重建結(jié)果中最大像素值。

上述遙感圖像超分辨重建方法中，對重建后的亮度空間和色度空間進(jìn)行anusm增強(qiáng)，進(jìn)一步加強(qiáng)了待處理遙感圖像重建后的視覺效果，且能自動根據(jù)不同的待處理遙感圖像進(jìn)行自適應(yīng)調(diào)整，具有很強(qiáng)的通用性。

在步驟s2中，如圖2所示，所述基于深度卷積網(wǎng)絡(luò)構(gòu)建超分辨重建模型的方法包括：

步驟s21，構(gòu)建圖像訓(xùn)練集，具體地，選取設(shè)定數(shù)量的第一圖像，將每張第一圖像轉(zhuǎn)換至ycbcr空間，取其亮度空間分量進(jìn)行下采樣得到第二圖像的亮度空間分量，對所述第二圖像的亮度空間分量進(jìn)行雙三次插值操作以使其具有與所述第一圖像的亮度空間分量相同的尺寸，對所述每張第二圖像與第一圖像進(jìn)行分塊裁切得到多個一一對應(yīng)的第二訓(xùn)練圖像塊和第一訓(xùn)練圖像塊，其中，所述第一圖像的分辨率高于第二圖像的分辨率，所述第一訓(xùn)練圖像塊的分辨率高于第二訓(xùn)練圖像塊的分辨率；

步驟s22，構(gòu)建多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，具體地，采用前m-1層添加參數(shù)修正線性單元(parametricrectifiedlinearunit，prelu)層和局部響應(yīng)歸一化(localresponsenormalization，lrn)層構(gòu)造具有參數(shù)的m層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，其中，所述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的輸入與輸出間的映射關(guān)系如公式(4)所示：

xi＝fm(yi,θ)(4)

其中，xi為輸出圖像，yi為輸入圖像，fm為輸入圖像yi與輸出圖像xi在m層的映射關(guān)系，θ為學(xué)習(xí)到的參數(shù)；

prelu層按照公式(5)激活：

其中，p為prelu算子，λ為prelu參數(shù)；

lrn層按照公式(6)激活：

其中，k為初始化常數(shù)，n為進(jìn)行歸一化的局部尺寸大小，α為縮放因子，β為指數(shù)項(xiàng)；

步驟s23，構(gòu)建超分辨重建模型，也就是說，確定上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，形成超分辨重建模型，其中，以所述圖像訓(xùn)練集的第二訓(xùn)練圖像塊為輸入，第一訓(xùn)練圖像塊為輸出在上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練，得到所述超分辨重建模型，優(yōu)選地，包括：

將所述圖像訓(xùn)練集在上述超分辨重建模型中進(jìn)行訓(xùn)練；

采用圖像訓(xùn)練集中第一訓(xùn)練圖像塊及與其對應(yīng)的第二訓(xùn)練圖像塊在所述卷積網(wǎng)絡(luò)結(jié)構(gòu)中的輸出的均方根誤差作為損失函數(shù)，所述損失函數(shù)為：

其中，n樣本為所述圖像訓(xùn)練集樣本數(shù)量；

通過梯度下降法對多層深度卷積網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，使得損失函數(shù)降低到最小，損失函數(shù)最小時對應(yīng)的參數(shù)值為多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，其中，卷積核更新過程如下：

其中，為輸入圖像在l層的卷積核，δ為權(quán)重變化量，μ為沖量單元，η為學(xué)習(xí)率；

prelu參數(shù)λl的權(quán)值更新過程如下：

優(yōu)選地，在步驟s23中，以所述圖像訓(xùn)練集的第二訓(xùn)練圖像塊為輸入在上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練，每層的卷積結(jié)果如公式(10)和(11)：

其中，l為層數(shù)索引，m為總層數(shù)，i為圖像塊索引號，yi為第i個第二訓(xùn)練圖像塊；wl為第l層卷積核，“*”為卷積符號，bl為第l層卷積的偏差組向量，nl-1(yi)為第l-1個lrn層輸出；λl為prelu參數(shù)，fl(yi)為第i個第二訓(xùn)練圖像塊yi在第l層的輸出，nl為第l層進(jìn)行歸一化的局部尺寸大小。

優(yōu)選地，在步驟s2中，利用所述超分辨重建模型對待處理遙感圖像的亮度空間進(jìn)行重建包括：對待處理遙感圖像的亮度空間分量進(jìn)行雙三次插值，再利用超分辨重建模型對其進(jìn)行重建，得到待處理遙感圖像重建后的亮度空間。

在步驟s3中，如圖3所示，根據(jù)重建后的亮度空間重建色度空間的方法包括：

步驟s31，對所述的待重建色度空間分量(cb空間分量與cr空間分量)進(jìn)行雙三次插值，得到色度空間初步重建結(jié)果。

步驟s32，以待處理遙感圖像的亮度空間重建結(jié)果為導(dǎo)向圖，對所述色度空間初步重建結(jié)果進(jìn)行聯(lián)合雙邊濾波，得到最終待處理遙感圖像的色度空間重建結(jié)果。

本發(fā)明述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法中，超分辨重建模型的多層深度卷積網(wǎng)絡(luò)中的prelu和lrn層能夠加快模型收斂速度，提升訓(xùn)練效率，且具有更強(qiáng)的抗過擬合能力。

圖4是本發(fā)明所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)的構(gòu)成框圖，如圖4所示，所述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)100包括：

空間轉(zhuǎn)換模塊120，將待處理遙感圖像由rgb空間轉(zhuǎn)換至ycbcr空間，并分出所述待處理遙感圖像的亮度空間和色度空間，分別發(fā)送給亮度空間重建模塊130和色度空間重建模塊140；

亮度空間重建模塊130，構(gòu)建多層深度卷積網(wǎng)絡(luò)，基于所述多層深度卷積網(wǎng)絡(luò)構(gòu)建超分辨重建模型，利用所述超分辨重建模型對空間轉(zhuǎn)換模塊120傳來的待處理遙感圖像的亮度空間進(jìn)行重建，得到所述待處理遙感圖像重建后的亮度空間，發(fā)送到色度空間重建模塊140和整合模塊160；

色度空間重建模塊140，以亮度重建模塊130傳來的待處理遙感圖像重建后的亮度空間為導(dǎo)向圖指導(dǎo)所述待處理遙感圖像的色度空間進(jìn)行聯(lián)合雙邊濾波，得到所述待處理遙感圖像的重建后的色度空間，發(fā)送到整合模塊160，其中，所述聯(lián)合雙邊濾波按照上述公式(1)進(jìn)行濾波；

整合模塊160，整合亮度空間重建模塊130和色度空間模塊140發(fā)送的所述待處理遙感圖像重建后的亮度空間和重建后的色度空間，將整合后的待處理遙感圖像由ycbcr空間轉(zhuǎn)回至rgb空間，得到所述待處理遙感圖像的超分辨圖像，所述超分辨圖像的分辨率高于所述待處理遙感圖像的分辨率。

優(yōu)選地，上述遙感圖像超分辨重建系統(tǒng)100還包括：

預(yù)處理模塊110，對所述待處理遙感圖像進(jìn)行預(yù)處理，將預(yù)處理后的所述待處理遙感圖像發(fā)送到所述空間轉(zhuǎn)換模塊120，所述預(yù)處理包括幾何校正、輻射校正、大氣校正和去噪中的一種或多種；

后處理增強(qiáng)模塊150，分別與亮度空間重建模塊130、色度空間重建模塊140和整合模塊160連接，接收來亮度空間重建模塊130和色度空間重建模塊140的所述待處理遙感圖像重建后的亮度空間和重建后的色度空間，對所述重建后的亮度空間和重建后的色度空間進(jìn)行自適應(yīng)非線性反銳化掩膜處理，將處理后的所述亮度空間和色度空間發(fā)送給整合模塊160。

上述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)，用戶能夠在不依賴同一場景多時相遙感圖像序列的情況下實(shí)現(xiàn)針對單幅圖像的超分辨重建與增強(qiáng)，提升圖像分辨率，在重建效率與處理效果之間取得了很好的平衡。

另外，優(yōu)選地，上述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建系統(tǒng)100還包括存儲模塊170，分別與預(yù)處理模塊110、空間轉(zhuǎn)換模塊120、亮度空間重建單元130、色度空間重建單元140、后處理增強(qiáng)模塊150和整合單元160相連，用于存儲上述模塊每一部分的階段性結(jié)果。

如圖4所示，上述亮度空間重建模塊130包括：

圖像訓(xùn)練集構(gòu)建單元131，選取設(shè)定數(shù)量的第一圖像，將每張第一圖像轉(zhuǎn)換至ycbcr空間，取其亮度空間分量進(jìn)行下采樣得到第二圖像的亮度空間分量，對所述第二圖像的亮度空間分量進(jìn)行雙三次插值操作以使其具有與所述第一圖像的亮度空間分量相同的尺寸，對所述每張第二圖像與第一圖像進(jìn)行分塊裁切得到多個一一對應(yīng)的第二訓(xùn)練圖像塊和第一訓(xùn)練圖像塊，形成圖像訓(xùn)練集，將所述圖像訓(xùn)練集發(fā)送到模型參數(shù)確定單元133，其中，所述第一圖像的分辨率高于第二圖像的分辨率，所述第一訓(xùn)練圖像塊的分辨率高于第二訓(xùn)練圖像塊的分辨率；

網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元132，采用前m-1層添加參數(shù)修正線性單元層(prelu層)和局部響應(yīng)歸一化層(lrn層)構(gòu)造具有參數(shù)的的m層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)；

超分辨重建模型構(gòu)建單元133，包括訓(xùn)練子單元133-1，調(diào)用網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元構(gòu)建的多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)以及所述圖像訓(xùn)練集構(gòu)建單元發(fā)送的圖像訓(xùn)練集，以所述圖像訓(xùn)練集的第二訓(xùn)練圖像塊為輸入，第一訓(xùn)練圖像塊為輸出在上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練，確定上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，得到所述超分辨重建模型，其中，以第二訓(xùn)練圖像塊為輸入在上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練，每層的卷積結(jié)果如公式(10)和(11)：

其中，l為層數(shù)索引，m為總層數(shù)，i為圖像塊索引號，yi為第i個第二訓(xùn)練圖像塊；wl為第l層卷積核，“*”為卷積符號，bl為第l層卷積的偏差組向量，nl-1(yi)為第l-1個lrn層輸出；λl為prelu參數(shù)，fl(yi)為第i個第二訓(xùn)練圖像塊yi在第l層的輸出，nl為第l層進(jìn)行歸一化的局部尺寸大小。

上述訓(xùn)練子單元133-1可以通過多對訓(xùn)練圖像塊得到參數(shù)的多個參數(shù)值，可以采用擬合法、求平均值等方法確定參數(shù)的最終參數(shù)值，優(yōu)選地，通過最小損失函數(shù)確定參數(shù)的最終參數(shù)值，也就是說上述超分辨重建模型構(gòu)建單元133包括訓(xùn)練子單元133-1、更新子單元133-2和篩選子單元133-3，其中，

訓(xùn)練子單元133-1調(diào)用網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建單元構(gòu)建的多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)以及所述圖像訓(xùn)練集構(gòu)建單元發(fā)送的圖像訓(xùn)練集，以所述圖像訓(xùn)練集的第二訓(xùn)練圖像塊為輸入，第一訓(xùn)練圖像塊為輸出在上述多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行訓(xùn)練；

更新子單元133-2，通過梯度下降法對多層深度卷積網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進(jìn)行更新，使得篩選子單元133-3中的損失函數(shù)降低，其中，按照上述公式(7)更新卷積核wl，按照上述公式(8)更新prelu參數(shù)λl的權(quán)值；

篩選子單元133-3，采用圖像訓(xùn)練集中第一訓(xùn)練圖像塊及與其對應(yīng)的第二訓(xùn)練圖像塊在所述多層深度卷積網(wǎng)絡(luò)中輸出的均方根誤差作為損失函數(shù)，篩選出損失函數(shù)最小時對應(yīng)的參數(shù)值。

在本發(fā)明的一個優(yōu)選實(shí)施例中，利用上述遙感圖像超分辨重建系統(tǒng)對遙感圖像進(jìn)行上述的圖像超分辨處理，如圖5所示，包括：

步驟s100，預(yù)處理單元選取遙感圖像讀入單元中進(jìn)行預(yù)處理，例如，遙感圖像由pleiades高分遙感圖像下采樣模擬，通過調(diào)用envi軟件利用幾何校正模塊選擇針對所述待重建遙感圖像相應(yīng)的控制點(diǎn)和校正模型，輸入基本參數(shù)，實(shí)現(xiàn)對其的幾何校正，類似地，再利用輻射校正模塊和大氣校正模塊完成相應(yīng)輻射校正和大氣校正處理，將遙感圖像預(yù)處理后的結(jié)果發(fā)送給存儲模塊，以供空間轉(zhuǎn)換模塊實(shí)用，優(yōu)選地，采用閾值為70hz的小波去噪對所述遙感圖像進(jìn)行去噪預(yù)處理。

步驟s200，空間轉(zhuǎn)換單元讀取步驟s100中所述預(yù)處理后的遙感圖像，利用將所述遙感圖像由rgb空間轉(zhuǎn)換至ycbcr空間，并將得到的所述遙感圖像的亮度空間分量(即亮度y分量)、色度空間分量(即cb空間分量和cr空間分量)存入存儲單元。

步驟s300中，讀取步驟s200中所述遙感圖像的亮度空間分量，將所述空間分量進(jìn)行雙三次差值使之放大到設(shè)定倍數(shù)(本實(shí)施例中以2倍為例，而不限于此)，并構(gòu)建超分辨重建模型，利用超分辨重建模型對所述設(shè)定倍數(shù)的遙感圖像的亮度空間分量進(jìn)行重建，將重建后的遙感圖像的亮度空間存入存儲單元，為之后的整合單元的合并做準(zhǔn)備，優(yōu)選地，步驟s3構(gòu)建超分辨重建模型可細(xì)分為s310、s320、s330三步，其中：

步驟s310，構(gòu)建圖像訓(xùn)練集，例如，以分辨率為0.3米的ucmercedlanduse遙感圖像數(shù)據(jù)集為數(shù)據(jù)源，所述數(shù)據(jù)源包含21類遙感圖像樣本，對ucmercedlanduse中每類隨機(jī)選取6幅遙感圖像作為第一圖像，共126幅，每幅大小為256×256，對所述選取的高分辨的第一圖像轉(zhuǎn)換空間至ycbcr，取其亮度空間y的圖像分量進(jìn)行設(shè)定倍數(shù)下采樣得到模擬的低分辨的第二圖像，對所述第二圖像進(jìn)行設(shè)定倍數(shù)雙三次插值，再對每張第二圖像插值結(jié)果進(jìn)行分塊，分塊大小優(yōu)選為38*38，以此得到的第二訓(xùn)練圖像塊，將與其對應(yīng)第一訓(xùn)練圖像塊并以圖像中心為標(biāo)準(zhǔn)進(jìn)行去邊緣，組成大小為24*24的圖像訓(xùn)練集。

步驟s320，如圖6所示，構(gòu)造四層深度卷積網(wǎng)絡(luò)，在前三層卷積層每層后添加prelu層和lrn層，其中，卷積層1、參數(shù)修正線性單元層1、以及局部響應(yīng)歸一化層1構(gòu)成了網(wǎng)絡(luò)的特征提取部分，通過相應(yīng)卷積核實(shí)現(xiàn)對遙感圖像邊緣信息和紋理特征的提?。痪矸e層2、參數(shù)修正線性單元層2、以及局部響應(yīng)歸一化層2聯(lián)合實(shí)現(xiàn)特征增強(qiáng)，進(jìn)一步提升該層得到的特征圖結(jié)果的邊緣及亮度表現(xiàn)；卷積層3、參數(shù)修正線性單元層3、局部響應(yīng)歸一化層3將前步驟中得到的每個圖像塊由32維非線性映射到16維；卷積層4利用5×5大小的線性濾波器組完成高分辨遙感圖像的重建，具體地：

輸入為低分辨率的第二訓(xùn)練圖像塊yi，輸出為高分辨率的第一圖像xi，輸入與輸出間的映射關(guān)系可由公式(12)表示：

xi＝f4(yi,θ)(12)

其中，θ為學(xué)習(xí)到的參數(shù)。

利用公式(13)作為深度卷積網(wǎng)絡(luò)的損失函數(shù)：

prelu激活函數(shù)表示可變形如公式(14)所示：

p(xi)＝max(xi,λxi)λ∈[0,1](14)

其中，p為prelu算子，λ為prelu參數(shù)，其值隨著訓(xùn)練動態(tài)更新。

更進(jìn)一步地，第l層的卷積結(jié)果如公式(15)所示：

其中，bl初始為0。

優(yōu)選地，卷積核和偏差組優(yōu)選參數(shù)配置如表1所示：

表1

其中，第l個lrn層輸出n(y)其與底層輸入fl(y)的關(guān)系表示如公式(16)：

優(yōu)選地，α＝0.0001，β＝0.5，k＝1，lrn層模仿生物神經(jīng)系統(tǒng)的側(cè)抑制機(jī)制，實(shí)現(xiàn)“臨近抑制”，對局部輸入?yún)^(qū)域進(jìn)行歸一化，使得響應(yīng)比較大的值相對更大，進(jìn)而提高模型泛化能力，防止訓(xùn)練出現(xiàn)過擬合。

更進(jìn)一步地，模型的訓(xùn)練過程就是利用反向傳播中的梯度下降不斷更新參數(shù)的權(quán)值，讓損失函數(shù)值降低到最小，其中wl的權(quán)值更新過程如公式(17)：

其中，按照經(jīng)驗(yàn)值取為0.9，η為學(xué)習(xí)率，優(yōu)選前三層卷積層η＝10^-4，第四層卷積層η＝10^-5，每層濾波器權(quán)重初始值由標(biāo)準(zhǔn)差為0.001，偏差為0的高斯分布隨機(jī)給出。

類似地，prelu中λl的權(quán)值更新過程表達(dá)式如公式(18)所示：

步驟s330，在linux下利用深度學(xué)習(xí)caffe框架對步驟s320中四層深度卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，優(yōu)選迭代次數(shù)為250萬，得到超分辨重建模型，所述超分辨重建模型可以重復(fù)使用，首次構(gòu)建后無需再次構(gòu)建，利用超分辨重建模型對遙感圖像的亮度空間分量進(jìn)行重建，將超分辨重建模型存入存儲單元，作為遙感圖像亮度空間重建依據(jù)，將重建后的亮度空間存入存儲單元，供色度空間重建單元和后處理增強(qiáng)單元調(diào)用。

步驟s400，讀取步驟s200中所述遙感圖像的色度空間分量并對其進(jìn)行重建，本步驟分位s410和s420兩步。

步驟s410，對所述色度空間cb和cr分量分別進(jìn)行設(shè)定倍數(shù)雙三次插值，此步驟結(jié)束時得到遙感圖像的色度空間(cb和cr)插值結(jié)果。

步驟s420，對插值結(jié)果進(jìn)行優(yōu)化，讀取步驟s3中亮度空間重建結(jié)果，以其為指導(dǎo)，根據(jù)公式(1)對色度空間cb和cr插值結(jié)果進(jìn)行聯(lián)合雙邊濾波，優(yōu)選地，采用均值為3，方差為0.1的高斯函數(shù)進(jìn)行濾波，濾波窗口大小為5*5，如圖7a-7d所示，圖7a為遙感圖像cb空間聯(lián)合濾波前效果，圖7b為遙感圖像cb空間聯(lián)合濾波后效果，圖7c為遙感圖像cr空間聯(lián)合濾波前效果，圖7d為遙感圖像cr空間聯(lián)合濾波后效果，從圖7a和7b的對比以及圖7c和7d的對比可以看出借助亮度空間重建后包含的豐富信息來指導(dǎo)色度空間濾波，在消除噪聲與塊效應(yīng)的同時最大程度留圖像的真實(shí)細(xì)節(jié)，使彩色遙感圖像在重建后能夠有更好的色彩表現(xiàn)。

步驟s500，讀取存儲單元中的亮度空間重建結(jié)果和色度空間重建結(jié)果，并分別對遙感圖像y、cb、cr的重建結(jié)果按照公式(2)進(jìn)行anusm增強(qiáng)，增強(qiáng)后的遙感圖像的亮度空間和色度空間重建結(jié)果，將其存入存儲單元，為整合單元合并做準(zhǔn)備，優(yōu)選地，鈍化方法優(yōu)則均值為0、窗口大小為3*3的高斯低通濾波器。

步驟s600，整合單元，讀取存儲單元中增強(qiáng)后的亮度空間重建結(jié)果和色度空間重建結(jié)果，對離散的增強(qiáng)后重建結(jié)果進(jìn)行合并，并將其由ycbcr空間轉(zhuǎn)換回rgb空間并存入存儲單元，得到遙感圖像的超分辨圖像。

圖8為不同sr重建方法針對遙感圖像2倍重建得到的效果對比圖，其中圖8a為用雙三次插值法得到的重建效果，圖8b為應(yīng)用srcnn方法得到的效果，圖8c為應(yīng)用本發(fā)明重建方法及系統(tǒng)實(shí)現(xiàn)的單幅遙感圖像超分辨重建與增強(qiáng)效果，圖8d為原始高分辨遙感圖像。對比可發(fā)現(xiàn)，本發(fā)明方法在針對遙感圖像的重建上能夠獲得更好的視覺效果，其在邊緣細(xì)節(jié)表現(xiàn)上更突出。相比于以往方法，本發(fā)明所述圖像超分辨方法及系統(tǒng)以四層卷積結(jié)構(gòu)為核心，獲取遙感圖像亮度空間細(xì)節(jié)信息，添加prelu及l(fā)rn層進(jìn)行優(yōu)化，增強(qiáng)所得模型的抗過擬合能力并提升訓(xùn)練速度，且色度空間聯(lián)合雙邊濾波插值及后處理增強(qiáng)輔助提升了遙感圖像最終重建效果，使得重建質(zhì)量進(jìn)一步提高。本發(fā)明在遙感圖像目標(biāo)識別與提取、多時相地物觀測方面有廣泛的應(yīng)用前景，且可對多源遙感圖像的配準(zhǔn)、鑲嵌和融合起到指導(dǎo)作用，為遙感圖像解壓縮提供了一種新思路，利于節(jié)省遙感圖像的傳輸時間和存儲空間。

本發(fā)明上述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法及系統(tǒng)既可以處理彩色遙感圖像也可以處理黑白遙感圖像，當(dāng)處理黑白遙感圖像時，以灰度作為色度，上述基于深度卷積網(wǎng)絡(luò)的遙感圖像超分辨重建方法及系統(tǒng)處理彩色遙感圖像的邊緣和紋理的分辨率提高效果較黑白遙感圖像明顯。

盡管前面公開的內(nèi)容示出了本發(fā)明的示例性實(shí)施例，但是應(yīng)當(dāng)注意，在不背離權(quán)利要求限定的范圍的前提下，可以進(jìn)行多種改變和修改。根據(jù)這里描述的發(fā)明實(shí)施例的方法權(quán)利要求的功能、步驟和/或動作不需以任何特定順序執(zhí)行。此外，盡管本發(fā)明的元素可以以個體形式描述或要求，但是也可以設(shè)想具有多個元素，除非明確限制為單個元素。