一種圖像超分辨方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺和圖像處理領(lǐng)域，特別是涉及一種圖像超分辨方法。
【背景技術(shù)】
[0002] 圖像超分辨屬于計(jì)算機(jī)視覺和圖像處理領(lǐng)域，是一個(gè)經(jīng)典的圖像處理問題，有著 重要的學(xué)術(shù)和工業(yè)研宄價(jià)值。圖像超分辨的目標(biāo)就是，由給定的低分辨率圖像，重構(gòu)出它相 應(yīng)的高分辨率圖像，使得在重構(gòu)誤差盡可能小的情況下，視覺效果盡可能的好。目前主流的 圖像超分辨方法可以分為三大類：基于插值的方法；基于重構(gòu)的方法；基于學(xué)習(xí)的方法。
[0003] 基于插值的方法，是一類基本的超分辨方法，其處理過程通常會(huì)使用局部協(xié)方差 系數(shù)，固定功能核或者自適應(yīng)結(jié)構(gòu)核，因其簡單快速的特點(diǎn)而被廣泛使用。但是，很多情況 下，這類方法產(chǎn)生的結(jié)果會(huì)隨著放大倍數(shù)的增大而產(chǎn)生視覺偽影，比如：鋸齒效應(yīng)和模糊效 應(yīng)。基于重構(gòu)的方法，假設(shè)低分辨圖像是由高分辨率圖像經(jīng)過幾種退化因素得到的，比如： 降采樣和模糊化。這類方法在超分辨過程中強(qiáng)調(diào)重構(gòu)約束的重要性，因而，其得到的高分辨 率圖像往往有著過于平滑和不自然的邊緣以及在圖像邊緣附近產(chǎn)生振鈴效應(yīng)?；趯W(xué)習(xí)的 方法，因?yàn)槔脵C(jī)器學(xué)習(xí)技術(shù)從訓(xùn)練集中學(xué)習(xí)到了大量先驗(yàn)知識(shí)，因而獲得了更好的結(jié)果。 但是，這類方法通常需要求解基于范數(shù)或者范數(shù)的最優(yōu)化問題，其處理速度是很慢的。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的主要目的在于針對(duì)現(xiàn)有技術(shù)的不足，提供一種處理速度快、質(zhì)量高的圖 像超分辨方法。
[0005] 為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
[0006] 一種圖像超分辨方法，包括以下步驟：
[0007]A1 :從預(yù)設(shè)圖像公共數(shù)據(jù)集中得到高分辨率圖像,將其下采樣得到低分 辨率圖像{/ij，從高分辨率與低分辨率的圖像對(duì)中提取高、低分辨率特征集合bkj和 {ji,卜并利用低分辨率特征集合丨乂,丨來訓(xùn)練出低分辨率字典隊(duì)；
[0008]A2 :利用高、低分辨率特征集合
丨，以及低分辨率字典隊(duì)，計(jì)算高、低 分辨率近鄰集合
；
[0009]A3 :由高、低分辨率近鄰集合
，計(jì)算出從低分辨率特征到高分辨率 特征的映射矩陣集合{FJ;
[0010]A4 :對(duì)于輸入的低分辨率圖像L提取低分辨率圖像塊集合與低分辨率特征 集合{乂}，對(duì)于每一個(gè)低分辨率特征％，從低分辨率字典隊(duì)中選擇與其最接近的字典基 dk，使用相應(yīng)的映射矩陣Fk恢復(fù)出對(duì)應(yīng)的高分辨率特征，再將所有重構(gòu)的高分辨特征 加上對(duì)應(yīng)的低分辨率圖像塊丨炱丨，得到相應(yīng)的高分辨率圖像塊{/4}，并將所有的高 分辨圖像塊融合成一張高分辨圖像iH。
[0011] 進(jìn)一步地：
[0012] 步驟A1包括：
[0013] a)先使用插值算法，對(duì)高分辨率圖像集合下采樣而得到低分辨率圖像集合 ，再利用插值算法將所得低分辨率圖像集合進(jìn)行上采樣處理，其中下采樣過程的縮小 倍數(shù)和上采樣過程的放大倍數(shù)相同；
[0014] b)從高分辨率圖像集合?(芯4中提取高分辨率圖像塊集合{/U與高分辨率特征 集合，從低分辨率圖像集合中的相應(yīng)位置提取出低分辨率圖像塊集合'與 低分辨率特征集合(允」，其中，高分辨率特征yH，s為：
[0015] yH，s=pHs-pLs， （1)
[0016] 低分辨率特征yUs為：
[0017] yL,s=[fi*PL,s；f 2*PL,s；f 3*PL,s；f4*Pl,s]^ (2)
[0018] 其中，4和f2是水平與垂直方向的梯度高通濾波器，f#Pf4是水平與垂直方向拉 普拉斯高通濾波器，符號(hào)*表示卷積操作。
[0019] 步驟b)中，利用低分辨率特征集合來優(yōu)化下列目標(biāo)函數(shù)以得到低分辨率的字典，
[0021] 其中
，隊(duì)={dj，X= {Xi}分別為低分辨率特征集合、字典以及系數(shù)，
是重構(gòu)誤差項(xiàng)：
是字典基之間的互相關(guān)性，Ai是大于〇的常數(shù)，L 是系數(shù)限制參數(shù)。
[0022] 步驟A2包括：利用高、低分辨率特征集合對(duì)
，對(duì)于任意低分辨率字 典的字典基屯，在hid中尋找其近鄰，組成低分辨率近鄰集合;并以高分辨率特征集 合?[>44中相應(yīng)位置的特征來組成高分辨率近鄰集合。
[0023] 通過評(píng)價(jià)字典基與低分辨率特征之間的相似性，找到與輸入的低分辨率特征最接 近的字典基，優(yōu)選可以采用內(nèi)積的絕對(duì)值作為相似性的度量，即：|<患|，或以歐氏距離作 為度量。
[0024] 步驟A3包括：對(duì)于得到的低分辨率字典和高、低分辨率近鄰集合，假定一個(gè)低分 辨特征與其最近的低分辨率字典基和近鄰集合分別是dk和Nuk，為得到重構(gòu)高分辨率特 征yH所需要的系數(shù)x，先求解下列最優(yōu)化目標(biāo)函數(shù)：
[0026] 其中A2是大于零的常數(shù)，
[0027] 其解析解為：
[0029] 相應(yīng)的高分辨率特征由下列式子求得：
[0031] 離線計(jì)算出映射矩陣：
[0033] 從而對(duì)于每個(gè)低分辨率字典基，求得其相應(yīng)的映射矩陣。
[0034] 步驟A4包括：
[0035] 對(duì)于任意輸入的低分辨率圖像，從中至少提取一部分相互重疊的低分辨率圖像塊 集合和相互重疊的低分辨率特征集合，所謂重疊，是指：一張圖像中，相鄰的圖像塊或者特 征之間有部分區(qū)域是重疊的。
[0036] 本發(fā)明的有益效果：
[0037] 本發(fā)明提出了一種新的基于非相關(guān)字典學(xué)習(xí)和近鄰回歸的圖像超分辨方法，利用 本發(fā)明可獲得基于范數(shù)的最優(yōu)化模型而加快速度，擴(kuò)大了字典基之間的非相關(guān)性，從而更 準(zhǔn)確地恢復(fù)高分辨率圖像的高頻信息，得到更高質(zhì)量的高分辨率圖像，且處理速度快。
【附圖說明】
[0038] 圖1為本發(fā)明圖像超分辨方法一種實(shí)施例的流程圖。
【具體實(shí)施方式】
[0039] 以下對(duì)本發(fā)明的實(shí)施方式作詳細(xì)說明。應(yīng)該強(qiáng)調(diào)的是，下述說明僅僅是示例性的， 而不是為了限制本發(fā)明的范圍及其應(yīng)用。
[0040] 參閱圖1，在本發(fā)明的實(shí)施例中，針對(duì)單張低分辨率的圖像，提出一種基于非相關(guān) 字典學(xué)習(xí)和近鄰回歸的圖像超分辨方法。根據(jù)該方法，從已有的高質(zhì)量圖像中提取訓(xùn)練樣 本集合，在訓(xùn)練樣本上訓(xùn)練出低分辨率字典。由低分辨率字典的基，以及高、低分辨率樣本， 得到每個(gè)字典基對(duì)應(yīng)的高、低分辨率近鄰集合，再計(jì)算出從低分辨率特征到高分辨率特征 的映射矩陣，此為訓(xùn)練階段；對(duì)于輸入的低分辨率圖像，提取低分辨率圖像塊與特征集合， 求與低分辨率特征最近的字典基，從而得到其相應(yīng)的映射矩陣，映射矩陣與低分辨率特征 相乘就可重構(gòu)出高分辨特征，高分辨圖像特征加上低分辨率圖像塊，就得到高分辨率圖像 塊。最后，將重構(gòu)后的圖像塊融合到一起，得到高分辨率深度圖，此為超分辨率階段。該方 法在字典學(xué)習(xí)的過程強(qiáng)調(diào)字典基之間的非相關(guān)性，同時(shí)在組成近鄰集合與超分辨的過程中 都使用同一種相關(guān)性度量標(biāo)準(zhǔn)，得到統(tǒng)一的超分辨框架，從而更準(zhǔn)確地恢復(fù)高分辨率圖像 的高頻信息，得到更高質(zhì)量的高分辨率圖像。
[0041] 在本發(fā)明的實(shí)施例中，基于非相關(guān)字典學(xué)習(xí)和近鄰回歸的圖像超分辨方法包括以 下步驟：
[0042] 步驟A1 :從自然圖像公共數(shù)據(jù)集（如ImageNet數(shù)據(jù)集）中得到高分辨率圖像 {44，將其下采樣得低分辨率圖像，縮小倍數(shù)為s，從高分辨率與低分辨率的圖像對(duì) 中提取高、低分辨率特征對(duì)
，利用低分辨率特征來訓(xùn)練出低分辨率字典隊(duì)；
[0043] 步驟A2 :利用高、低分辨率特征對(duì)
，以及低分辨率字典隊(duì)，計(jì)算高、 低分辨率近鄰集合
；
[0044] 步驟A3 :由高、低分辨率近鄰集合
，計(jì)算出從低分辨率特征到高分 辨率特征的映射矩陣集合{FJ;
[0045] 步驟A4 :利用輸入的低分辨率圖像L提取低分辨率特征集合(<}。對(duì)于每一個(gè) 低分辨率特征義，選擇低分辨率字典隊(duì)中與其最接近的字典基dk，再用相應(yīng)的映射矩陣Fk 恢復(fù)出高分辨率特征，將所有重構(gòu)的高分辨特征加上包含低頻信息的圖像塊{pil 得到相應(yīng)的高分辨率圖像塊{pII，將所有高分辨圖像塊融合成一張高分辨圖像iH。
[0046] 在更具體的實(shí)施例中，可按下面方式處理。
[0047] 步驟A1 :訓(xùn)練階段低分辨率字典學(xué)習(xí)。具體包括：
[0048]a)先使用插值算法，從高分辨率圖像集合中得到低分辨率圖像集合?f/ij， 再將這些低分辨率圖像集合利用插值算法進(jìn)行。上述下采樣的縮小