本發(fā)明涉及遙感成像技術(shù)領(lǐng)域，具體而言涉及一種基于字典學(xué)習(xí)的遙感圖像超分辨率方法。

背景技術(shù)：

隨著計(jì)算機(jī)科學(xué)和空間科學(xué)的發(fā)展，遙感技術(shù)特別是遙感成像得到了迅速的發(fā)展。影像空間分辨率是遙感影像質(zhì)量評(píng)價(jià)的一項(xiàng)關(guān)鍵性指標(biāo)，也是遙感成像應(yīng)用中舉足輕重的一個(gè)參數(shù)，在影像的獲取和應(yīng)用中至關(guān)重要。與傳統(tǒng)的中低分辨率遙感圖像相比，高分辨率遙感圖像可以清楚地表達(dá)地物目標(biāo)的特征分布和空間關(guān)聯(lián)，可分辨出地物目標(biāo)內(nèi)部更為詳細(xì)的結(jié)構(gòu)組成，為解譯分析提供良好的條件和基礎(chǔ)。近年來(lái)，高分辨率遙感影像的優(yōu)勢(shì)更加明顯，己經(jīng)廣泛應(yīng)用于測(cè)繪制圖、交通建設(shè)、資源環(huán)境、農(nóng)業(yè)林業(yè)、軍事解譯、災(zāi)害監(jiān)測(cè)等各個(gè)領(lǐng)域，成為不可或缺的重要手段。

然而，在數(shù)字圖像獲取過(guò)程中，有很多因素會(huì)造成圖像分辨率的下降，例如成像設(shè)備與被拍攝對(duì)象之間的相對(duì)運(yùn)動(dòng)引起的圖像變形，大氣擾動(dòng)、成像設(shè)備光學(xué)部件引起的圖像模糊，采樣造成的頻率混疊，以及成像、傳輸過(guò)程中引入的噪聲等。為了克服制造工藝和成本的限制，利用數(shù)字信號(hào)處理技術(shù)提高圖像分辨率的方法越來(lái)越受到廣泛關(guān)注，相關(guān)的方法被稱為超分辨率(Super Resolution，簡(jiǎn)稱SR)圖像重構(gòu)。

現(xiàn)有的超分辨率方法大致包括三種：基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法?；趯W(xué)習(xí)的超分辨率方法比較典型的有基于樣本(Example-based)的方法、鄰域嵌入(neighbor embedding)的方法、支持向量回歸方法(SVR)和稀疏表示的方法。但隨著圖像重構(gòu)對(duì)分辨率的要求越來(lái)越高，這些現(xiàn)有的方法在對(duì)觀測(cè)范圍更大、紋理信息更豐富、不同地物類型地貌特征的遙感圖像的重構(gòu)已經(jīng)不能滿足要求。

這三種超分辨率方法都使用通用的字典進(jìn)行重構(gòu)。由于遙感圖像的觀測(cè)范圍更大、紋理信息更豐富、不同地物類型地貌特征豐富，這樣為達(dá)到一定的重構(gòu)效果，字典的規(guī)模將會(huì)增大以保證有效原子的數(shù)目，造成重構(gòu)速度過(guò)慢。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有技術(shù)存在的缺陷或不足，本發(fā)明旨在針對(duì)遙感圖像觀測(cè)范圍更大、紋理信息更豐富、不同地物類型地貌特征豐富的特點(diǎn)，提出了一種基于不同地物類型分類學(xué)習(xí)字典的遙感圖像超分辨率方法。

本發(fā)明的上述目的通過(guò)獨(dú)立權(quán)利要求的技術(shù)特征實(shí)現(xiàn)，從屬權(quán)利要求以另選或有利的方式發(fā)展獨(dú)立權(quán)利要求的技術(shù)特征。

為達(dá)成上述目的，本發(fā)明所采用的技術(shù)方案如下：

基于字典學(xué)習(xí)的遙感圖像超分辨率方法，包括：

步驟1：針對(duì)不同地物類型的圖像庫(kù)，進(jìn)行對(duì)應(yīng)地物類型的字典學(xué)習(xí)；

步驟2、對(duì)原始圖像進(jìn)行地物類型識(shí)別；以及

步驟3、使用對(duì)應(yīng)地物類型字典，進(jìn)行圖像超分辨率重構(gòu)過(guò)程。

進(jìn)一步的實(shí)施例中，所述步驟1的字典學(xué)習(xí)包括如下步驟：

11)對(duì)輸入的高分辨率訓(xùn)練圖像進(jìn)行預(yù)處理；

12)對(duì)預(yù)處理后的圖像進(jìn)行特征提取，構(gòu)建低分辨率圖像塊集；

13)對(duì)每個(gè)類別的低分辨率圖像塊集進(jìn)行訓(xùn)練，得到低分辨率字典和對(duì)應(yīng)的訓(xùn)練圖像塊稀疏表示的系數(shù)向量，并據(jù)此獲得高分辨率字典；

進(jìn)一步的實(shí)施例中，所述步驟11)對(duì)輸入的高分辨率訓(xùn)練圖像進(jìn)行預(yù)處理，其實(shí)現(xiàn)包括：

111)對(duì)于輸入高分辨率訓(xùn)練圖像根據(jù)下述式子(1)得到對(duì)應(yīng)的低分辨率圖像該過(guò)程為插值過(guò)程：

$y_l={\mathrm{Qz}}_l=Q({\mathrm{SHy}}_h+v)=L^{\mathrm{all}}{y}_h+\tilde{v}---\left(1\right)$

其中為雙三次插值算子，為低通濾波器，為下采樣算子，v～N(0,σ²I)表示v屬于均值為0，方差為σ²I的高斯分布；

112)根據(jù)(1)式中的輸出用式子(2)移走低頻信息：

$e_h^j=y_h^j-y_l^j---\left(2\right)$

113)預(yù)處理結(jié)束。

進(jìn)一步的實(shí)施例中，前述12)對(duì)預(yù)處理后的圖像進(jìn)行特征提取，構(gòu)建低分辨率圖像塊集，其實(shí)現(xiàn)包括：

121)利用下式(3)，使用R個(gè)高通濾波器，提取圖像中與高頻信息對(duì)應(yīng)的局部特征，使得每個(gè)低分辨率圖像都得到一個(gè)濾波圖像集合：

$\{f_r*y_l^j\},r=\mathrm{1,2},...,R---\left(3\right)$

其中*為卷積；

122)得到局部圖像塊構(gòu)成的數(shù)據(jù)集用式(4)對(duì)輸入的低分辨率圖像塊使用主成份分析方法降維：

$p_l^k=B{\tilde{p}}_l^k---\left(4\right)$

其中為投影算子；

其中，該步驟122)包括以下具體步驟：

局部圖像塊構(gòu)成的數(shù)據(jù)集中，是由(2)式得到的在位置k提取出來(lái)， 是由濾波圖像在相同位置提取出來(lái)的，并且高分辨率塊的尺寸覆蓋高分辨率圖像。

進(jìn)一步的實(shí)施例中，前述13)對(duì)每個(gè)類別的低分辨率圖像塊集進(jìn)行訓(xùn)練，得到低分辨率字典和對(duì)應(yīng)的訓(xùn)練圖像塊稀疏表示的系數(shù)向量，并據(jù)此獲得高分辨率字典，其具體實(shí)現(xiàn)包括：

131)利用下式(5)對(duì)每個(gè)類別的圖像訓(xùn)練集預(yù)處理和特征提取之后得到的低分辨率圖像塊集進(jìn)行K-SVD訓(xùn)練，得到低分辨率字典D_L和對(duì)應(yīng)訓(xùn)練圖像塊稀疏表示的系數(shù)向量{α^k}_k：

$D_L,\left\{{\mathrm{\α}}^k\right\}=\arg \min \underset{k}{\mathrm{\Σ}}{\left|\right|p_l^k-D_L{\mathrm{\α}}^k\left|\right|}_2^2---\left(5\right)$

其中α^k₀≤L，為二范數(shù)運(yùn)算符；

132)利用下式(6)獲取高分辨率字典D_H：

$D_H=\arg \min \underset{k}{\mathrm{\Σ}}{\left|\right|p_h^k-D_H{\mathrm{\α}}^k\left|\right|}_2^2---\left(6\right)$

133)由此獲得對(duì)應(yīng)類別的聯(lián)合字典對(duì){D_H,D_L}_k，其中k為對(duì)應(yīng)類別。

進(jìn)一步的實(shí)施例中，所述步驟的原始圖像地物類型識(shí)別，包括以下步驟：

21)提取每個(gè)類別圖像庫(kù)中每一幅圖像的LBP特征；

22)使用支持向量機(jī)方法對(duì)所有提取的LBP特征進(jìn)行分類訓(xùn)練；

23)提取待處理低分辨率圖像的插值圖像的LBP特征，放入分類器中進(jìn)行分類識(shí)別，確定圖像的地物類型。

進(jìn)一步的實(shí)施例中，所述步驟3的圖像超分辨率重構(gòu)，包括以下步驟：

31)根據(jù)步驟23)中得到待處理圖像的地物類型后，獲取對(duì)應(yīng)的聯(lián)合字典對(duì){D_H,D_L}_k，其中k表示字典對(duì)所屬的類別；

32)按照前述步驟122)的方法提取圖像塊集

33)使用正交匹配追蹤方法選取L個(gè)原子，構(gòu)建稀疏表示向量，估計(jì)高分辨率塊；

34)獲取估計(jì)重構(gòu)的高分辨率圖像。

本發(fā)明利用地物分類的思想，提出了采用基于分類字典的超分辨率方法。由于在重構(gòu)過(guò)程使用的字典中原子的數(shù)目大幅降低，所以字典規(guī)模大幅降低。因?yàn)槭褂玫姆诸愖值渲杏行?原子數(shù)目的比例大幅增加，同時(shí)字典規(guī)模大幅降低，所以在重構(gòu)過(guò)程使用字典中有效原子數(shù)目與通用字典幾乎相同，保證重構(gòu)質(zhì)量的同時(shí)，大幅提高了重構(gòu)速度。該過(guò)程只涉及到參數(shù)的調(diào)節(jié)，計(jì)算效率高，對(duì)于遙感圖像的重構(gòu)質(zhì)量高。同時(shí)在字典學(xué)習(xí)過(guò)程中使用PCA降維以及KSVD方法訓(xùn)練字典，提高了字典學(xué)習(xí)的效率；在重構(gòu)過(guò)程中使用OMP算法貪婪迭代，提高重構(gòu)質(zhì)量和效率。

應(yīng)當(dāng)理解，前述構(gòu)思以及在下面更加詳細(xì)地描述的額外構(gòu)思的所有組合只要在這樣的構(gòu)思不相互矛盾的情況下都可以被視為本公開(kāi)的發(fā)明主題的一部分。另外，所要求保護(hù)的主題的所有組合都被視為本公開(kāi)的發(fā)明主題的一部分。

結(jié)合附圖從下面的描述中可以更加全面地理解本發(fā)明教導(dǎo)的前述和其他方面、實(shí)施例和特征。本發(fā)明的其他附加方面例如示例性實(shí)施方式的特征和/或有益效果將在下面的描述中顯見(jiàn)，或通過(guò)根據(jù)本發(fā)明教導(dǎo)的具體實(shí)施方式的實(shí)踐中得知。

附圖說(shuō)明

附圖不意在按比例繪制。在附圖中，在各個(gè)圖中示出的每個(gè)相同或近似相同的組成部分可以用相同的標(biāo)號(hào)表示。為了清晰起見(jiàn)，在每個(gè)圖中，并非每個(gè)組成部分均被標(biāo)記?，F(xiàn)在，將通過(guò)例子并參考附圖來(lái)描述本發(fā)明的各個(gè)方面的實(shí)施例，其中：

圖1是說(shuō)明根據(jù)本發(fā)明的某些實(shí)施方式，基于分類字典的遙感圖像超分辨率方法的流程圖。

圖2是說(shuō)明根據(jù)本發(fā)明的某些實(shí)施方式，字典學(xué)習(xí)的流程圖。

圖3是說(shuō)明根據(jù)本發(fā)明的某些實(shí)施方式，圖像重構(gòu)的流程圖。

圖4是說(shuō)明根據(jù)本發(fā)明的某些實(shí)施方式，基于分類字典的遙感圖像超分辨率方法的一個(gè)具體實(shí)現(xiàn)實(shí)例的示意圖。

具體實(shí)施方式

為了更了解本發(fā)明的技術(shù)內(nèi)容，特舉具體實(shí)施例并配合所附圖式說(shuō)明如下。

在本公開(kāi)中參照附圖來(lái)描述本發(fā)明的各方面，附圖中示出了許多說(shuō)明的實(shí)施例。本公開(kāi)的實(shí)施例不必定意在包括本發(fā)明的所有方面。應(yīng)當(dāng)理解，上面介紹的多種構(gòu)思和實(shí)施例，以及下面更加詳細(xì)地描述的那些構(gòu)思和實(shí)施方式可以以很多方式中任意一種來(lái)實(shí)施，這是因?yàn)楸景l(fā)明所公開(kāi)的構(gòu)思和實(shí)施例并不限于任何實(shí)施方式。另外，本發(fā)明公開(kāi)的一些方面可以單獨(dú)使用，或者與本發(fā)明公開(kāi)的其他方面的任何適當(dāng)組合來(lái)使用。

本公開(kāi)利用地物分類的思想，提出一種采用基于分類字典的超分辨率方法，結(jié)合圖1所示，其具體實(shí)現(xiàn)包括：

步驟1：針對(duì)不同地物類型的圖像庫(kù)，進(jìn)行對(duì)應(yīng)地物類型的字典學(xué)習(xí)；

步驟2、對(duì)原始圖像進(jìn)行地物類型識(shí)別；以及

步驟3、使用對(duì)應(yīng)地物類型字典，進(jìn)行圖像超分辨率重構(gòu)過(guò)程。

通過(guò)有針對(duì)性的選擇不同字典，由于這些字典中有效原子的比例相對(duì)較大，同時(shí)字典規(guī)模較小，這樣就保證了重構(gòu)效果，同時(shí)大幅提高重構(gòu)速度。

下面結(jié)合附圖2-3具體說(shuō)明前述各個(gè)步驟的示例性實(shí)現(xiàn)。

為了便于理解，本公開(kāi)中的字符/參數(shù)說(shuō)明如下：

輸入的遙感圖像訓(xùn)練集其中k＝1,2…N表示圖像集中圖像編號(hào)，h表示圖像為高分辨率圖像，得到的對(duì)應(yīng)低分辨率圖像集其中l(wèi)表示圖像為低分辨率圖像。局部圖像塊構(gòu)成的數(shù)據(jù)集其中為第j個(gè)圖像的高分辨率塊，為第j個(gè)圖像的低分辨率塊。表示第j個(gè)圖像移走低頻信息之后剩下的高頻信息。{f_r}為高通濾波器集合，其中r為高通濾波器的編號(hào)。{q^k}_k為對(duì)應(yīng)圖像塊位置k的塊稀疏表示向量，為對(duì)應(yīng)圖像塊位置k的高分辨率塊字典。為對(duì)應(yīng)圖像塊位置k估計(jì)的高分辨率塊。

結(jié)合圖2所示，所述步驟1的字典學(xué)習(xí)包括如下步驟：

11)對(duì)輸入的高分辨率訓(xùn)練圖像進(jìn)行預(yù)處理；

12)對(duì)預(yù)處理后的圖像進(jìn)行特征提取，構(gòu)建低分辨率圖像塊集；

13)對(duì)每個(gè)類別的低分辨率圖像塊集進(jìn)行訓(xùn)練，得到低分辨率字典和對(duì)應(yīng)的訓(xùn)練圖像塊稀疏表示的系數(shù)向量，并據(jù)此獲得高分辨率字典。

具體地，所述步驟11)對(duì)輸入的高分辨率訓(xùn)練圖像進(jìn)行預(yù)處理，其實(shí)現(xiàn)包括：

111)對(duì)于輸入高分辨率訓(xùn)練圖像根據(jù)下述式子(1)得到對(duì)應(yīng)的低分辨率圖像該過(guò)程為插值過(guò)程(這個(gè)過(guò)程稱為插值過(guò)程)：

$y_l={\mathrm{Qz}}_l=Q({\mathrm{SHy}}_h+v)=L^{\mathrm{all}}{y}_h+\tilde{v}---\left(1\right)$

其中為雙三次插值算子，為低通濾波器，為下采樣算子，v～N(0,σ²I)表示v屬于均值為0，方差為σ²I的高斯分布；

112)根據(jù)(1)式中的輸出用式子(2)移走低頻信息：

$e_h^j=y_h^j-y_l^j---\left(2\right)$

113)預(yù)處理結(jié)束。

優(yōu)選地，前述12)對(duì)預(yù)處理后的圖像進(jìn)行特征提取，構(gòu)建低分辨率圖像塊集，其實(shí)現(xiàn)包括：

121)利用下式(3)，使用R個(gè)高通濾波器，提取圖像中與高頻信息對(duì)應(yīng)的局部特征，使得每個(gè)低分辨率圖像都得到一個(gè)濾波圖像集合：

$\{f_r*y_l^j\},r=\mathrm{1,2},...,R---\left(3\right)$

其中*為卷積；

122)得到局部圖像塊構(gòu)成的數(shù)據(jù)集用式(4)對(duì)輸入的低分辨率圖像塊使用主成份分析方法降維：

$p_l^k=B{\tilde{p}}_l^k---\left(4\right)$

其中為投影算子；

其中，該步驟122)包括以下具體步驟：

局部圖像塊構(gòu)成的數(shù)據(jù)集中，是由(2)式得到的在位置k提取出來(lái)， 是由濾波圖像在相同位置提取出來(lái)的，并且高分辨率塊的尺寸覆蓋高分辨率圖像。這里要保證高分辨率塊的尺寸能夠覆蓋高分辨率圖像。

進(jìn)一步的實(shí)施例中，前述13)對(duì)每個(gè)類別的低分辨率圖像塊集進(jìn)行訓(xùn)練，得到低分辨率字典和對(duì)應(yīng)的訓(xùn)練圖像塊稀疏表示的系數(shù)向量，并據(jù)此獲得高分辨率字典，其具體實(shí)現(xiàn)包括：

131)利用下式(5)對(duì)每個(gè)類別的圖像訓(xùn)練集預(yù)處理和特征提取之后得到的低分辨率圖像塊集進(jìn)行K-SVD訓(xùn)練，得到低分辨率字典D_L和對(duì)應(yīng)訓(xùn)練圖像塊稀疏表示的系數(shù)向量{α^k}_k：

$D_L,\left\{{\mathrm{\α}}^k\right\}=\arg \min \underset{k}{\mathrm{\Σ}}{\left|\right|p_l^k-D_L{\mathrm{\α}}^k\left|\right|}_2^2---\left(5\right)$

其中α^k₀≤L，為二范數(shù)運(yùn)算符；

132)利用下式(6)獲取高分辨率字典D_H：

$D_H=\arg \min \underset{k}{\mathrm{\Σ}}{\left|\right|p_h^k-D_H{\mathrm{\α}}^k\left|\right|}_2^2---\left(6\right)$

133)由此獲得對(duì)應(yīng)類別的聯(lián)合字典對(duì){D_H,D_L}_k，其中k為對(duì)應(yīng)類別。

結(jié)合圖3所示，所述步驟的原始圖像地物類型識(shí)別，包括以下步驟：

21)提取每個(gè)類別圖像庫(kù)中每一幅圖像的LBP特征；

22)使用支持向量機(jī)方法(SVM)對(duì)所有提取的LBP特征進(jìn)行分類訓(xùn)練；

23)提取待處理低分辨率圖像的插值圖像的LBP特征，放入分類器中進(jìn)行分類識(shí)別，確定圖像的地物類型。

所述步驟3的圖像超分辨率重構(gòu)，包括以下步驟：

31)根據(jù)步驟23)中得到待處理圖像的地物類型后，獲取對(duì)應(yīng)的聯(lián)合字典對(duì){D_H,D_L}_k，其中k表示字典對(duì)所屬的類別；

32)按照前述步驟122)的方法提取圖像塊集

33)使用正交匹配追蹤方法選取L個(gè)原子，構(gòu)建稀疏表示向量，估計(jì)高分辨率塊；

34)獲取估計(jì)重構(gòu)的高分辨率圖像。

圖4表示了利用前述方法進(jìn)行遙感圖像超分辨率方法的一個(gè)具體的實(shí)現(xiàn)過(guò)程。下述表1列明了一些實(shí)施例中的具體實(shí)施參數(shù)?？梢?jiàn)，由于在重構(gòu)過(guò)程使用的字典中原子的數(shù)目大幅降低，所以字典規(guī)模大幅降低。因?yàn)槭褂玫姆诸愖值渲杏行г訑?shù)目的比例大幅增加，同時(shí)字典規(guī)模大幅降低，所以在重構(gòu)過(guò)程使用字典中有效原子數(shù)目與通用字典幾乎相同，保證重構(gòu)質(zhì)量的同時(shí)，大幅提高了重構(gòu)速度。該過(guò)程只涉及到參數(shù)的調(diào)節(jié)，計(jì)算效率高，對(duì)于遙感圖像的重構(gòu)質(zhì)量高。

表1

雖然本發(fā)明已以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明。本發(fā)明所屬技術(shù)領(lǐng)域中具有通常知識(shí)者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動(dòng)與潤(rùn)飾。因此，本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求書所界定者為準(zhǔn)。