基于結(jié)構(gòu)自相似性與稀疏表示的超分辨率圖像重構(gòu)方法
【專利摘要】本發(fā)明公開(kāi)了一種基于結(jié)構(gòu)自相似性與稀疏表示的超分辨率圖像重構(gòu)方法，其主要步驟為：首先對(duì)一組訓(xùn)練樣例圖像濾波提取特征，再抽取小塊構(gòu)造一對(duì)高分辨圖像塊與低分辨圖像塊字典；對(duì)輸入的低分辨率圖像插值放大，濾波提取特征；求解重構(gòu)權(quán)值矩陣W；迭代更新稀疏系數(shù){αi}和待重構(gòu)的高分辨率圖像X；直到迭代收斂，最終恢復(fù)出滿意的高分辨率圖像。本發(fā)明利用圖像的結(jié)構(gòu)自相似性主要解決了現(xiàn)有方法重構(gòu)質(zhì)量不高的問(wèn)題。運(yùn)行時(shí)間短，重構(gòu)圖像的效率和質(zhì)量高，能夠?qū)Ω鞣N自然圖像，包括動(dòng)植物和人等非紋理類圖像以及建筑物等紋理性比較強(qiáng)的圖像進(jìn)行重構(gòu)。
【專利說(shuō)明】基于結(jié)構(gòu)自相似性與稀疏表示的超分辨率圖像重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，涉及圖像的超分辨率重構(gòu)方法，具體是一種基于結(jié)構(gòu)自相似性與稀疏表示的圖像超分辨率重構(gòu)方法，該方法可以用于各類自然圖像的超分辨率重構(gòu)。
【背景技術(shù)】
[0002]圖像超分辨率重構(gòu)旨在突破圖像傳感器的分辨率限制，從一幅或幾幅低分辨率圖像中，重構(gòu)出更高分辨率的圖像。在安全監(jiān)控視頻中的人臉識(shí)別、遙感衛(wèi)星圖像中的物體分辨、醫(yī)學(xué)成像系統(tǒng)中的目標(biāo)檢測(cè)、以及圖像與視頻壓縮等領(lǐng)域中，人們渴望獲得高分辨率圖像。而實(shí)際情況中，往往受到圖像拍攝條件差、噪聲干擾嚴(yán)重、成像設(shè)備自身分辨率低的限制，人們所能獲得的圖像視覺(jué)質(zhì)量較低、分辨率不高，圖像超分辨率重構(gòu)能從低分辨率圖像重構(gòu)得到分辨率較高的清晰圖像，能較好的滿足現(xiàn)實(shí)中人們對(duì)清晰的、分辨率高的圖像的需求，更重要的是能重清晰的高分辨率圖像中獲得更多有用的信息。
[0003]為了實(shí)現(xiàn)圖像超分辨率重構(gòu)這一目的，一些方法已經(jīng)被提出，如:極大似然估計(jì)法，最大后驗(yàn)概率方法(MAP)，凸集投影方法(POCS)等。這些方法會(huì)產(chǎn)生過(guò)平滑以及鋸齒效應(yīng)，重構(gòu)圖像質(zhì)量不高。因此，F(xiàn)reeman等人提出了一種基于學(xué)習(xí)的圖像超分辨率重構(gòu)方法，其主要思路是:先構(gòu)造一組低分辨率圖像塊與高分辨率圖像塊的訓(xùn)練樣例的集合，再通過(guò)馬爾科夫隨機(jī)模型和先驗(yàn)知識(shí)來(lái)學(xué)習(xí)低分辨率圖像塊和高分辨率圖像塊之間的對(duì)應(yīng)關(guān)系，最后利用這種對(duì)應(yīng)關(guān)系指導(dǎo)圖像的超分辨率重構(gòu)。Sun等人則對(duì)Freeman等人的方法進(jìn)行了擴(kuò)展，主要是在重構(gòu)過(guò)程中用原始的輪廓先驗(yàn)知識(shí)來(lái)減少邊界和細(xì)節(jié)的過(guò)平滑。但是這些方法仍需要大量的訓(xùn)練樣例以保證重構(gòu)的效果，對(duì)于一張256*256的圖像，至少需要10分鐘以上的時(shí)間完成整個(gè)超分辨率重構(gòu)過(guò)程，因此計(jì)算量巨大、耗時(shí)長(zhǎng)，而且重構(gòu)結(jié)果圖像的質(zhì)量一般。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服上述已有技術(shù)的缺點(diǎn)，提出一種運(yùn)行時(shí)間短的基于圖像結(jié)構(gòu)自相似與稀疏表示的圖像超分辨率重構(gòu)方法，通過(guò)利用圖像的結(jié)構(gòu)自相似性提高重構(gòu)圖像的效率和質(zhì)量。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案首先引入訓(xùn)練樣例圖像，用這些圖像學(xué)習(xí)出一對(duì)聞分辨率字典和低分辨率字典；然后輸入低分辨率圖像，對(duì)輸入的低分辨率圖像進(jìn)行插值放大，得到該圖的初始高分辨率圖像和特征圖像塊；再構(gòu)造本發(fā)明的目標(biāo)函數(shù)；最后通過(guò)優(yōu)化目標(biāo)函數(shù)，得到高分辨率圖像輸出，完成圖像超分辨率重構(gòu)。具體步驟包括:
[0006](I)輸入訓(xùn)練樣例圖像對(duì)，用訓(xùn)練樣例圖像對(duì)學(xué)習(xí)構(gòu)造一對(duì)規(guī)模均為K的低分辨率字典D1和所對(duì)應(yīng)的高分辨率字典Dh ；
[0007](2)輸入待超分辨率重構(gòu)的低分辨率圖像y，對(duì)輸入的低分辨率圖像進(jìn)行插值放大，得到該圖的初始高分辨率圖像\和特征圖像塊。插值放大獲得初始高分辨率圖像X。和特征圖像塊的過(guò)程包括:
[0008](2.1)輸入一幅低分辨率圖像y，對(duì)該圖像進(jìn)行濾波提取特征，得到低分辨率特征圖像Q ；
[0009](2.2)從低分辨率特征圖像Q中，按重疊的方式，提取低分辨率特征圖像Q的特征圖像塊，本發(fā)明從低分辨率特征圖像Q中提取到相關(guān)特征圖像塊。
[0010](2.3)對(duì)低分辨率圖像y進(jìn)行Bicubic插值放大，得到初始高分辨率圖像X。,本發(fā)明從低分辨率圖像I中得到初始高分辨率圖像X。。
[0011](3)引入稀疏表示約束項(xiàng)、圖像結(jié)構(gòu)自相似性約束項(xiàng)和保真約束項(xiàng)，構(gòu)造出目標(biāo)函數(shù) F (X，{aj):
【權(quán)利要求】
1.一種基于結(jié)構(gòu)自相似性與稀疏表示的超分辨率圖像重構(gòu)方法，包括如下步驟: 步驟1.輸入訓(xùn)練樣例圖像對(duì)，用訓(xùn)練樣例圖像對(duì)學(xué)習(xí)構(gòu)造一對(duì)規(guī)模均為K的低分辨率字典D1和所對(duì)應(yīng)的高分辨率字典Dh ； 步驟2.輸入待重構(gòu)的低分辨率圖像y，對(duì)輸入的低分辨率圖像進(jìn)行插值放大，得到該圖的初始高分辨率圖像Xtl和特征圖像塊，插值放大獲得初始高分辨率圖像Xtl和特征圖像塊的過(guò)程包括: (2.1)輸入一幅低分辨率圖像y，對(duì)該圖像進(jìn)行濾波提取特征，得到低分辨率特征圖像Q ； (2.2)從低分辨率特征圖像Q中，按重疊的方式，提取低分辨率特征圖像Q的特征圖像塊； (2.3)對(duì)低分辨率圖像I進(jìn)行Bicubic插值放大，得到初始高分辨率圖像X。； 步驟3.引入稀疏表示約束項(xiàng)、圖像結(jié)構(gòu)自相似性約束項(xiàng)和保真約束項(xiàng)，構(gòu)造出目標(biāo)函數(shù) F (X，{a f}):
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)自相似性與稀疏表示的圖像超分辨率重構(gòu)方法，其中步驟I所述的對(duì)初始字典進(jìn)行訓(xùn)練，包括有如下步驟: 1a)輸入訓(xùn)練圖像對(duì)，對(duì)低分辨率圖像進(jìn)行濾波提取特征，所采用的濾波器是=[-1，O, 1], 12=At, f3= [1, O, -2’ O, 1]，f4 =f t/3，所采用的訓(xùn)練圖像為圖像處理領(lǐng)域中常用的標(biāo)準(zhǔn)自然圖像； lb)從提取特征的低分辨率訓(xùn)練圖像中隨機(jī)抽取特征低分辨率圖像塊，相應(yīng)地，從高分辨率訓(xùn)練圖像對(duì)應(yīng)的位置抽取高分辨率圖像塊，通過(guò)K-SVD字典學(xué)習(xí)方法，用這些特征低分辨率圖像塊和高分辨率圖像塊，聯(lián)合學(xué)習(xí)出規(guī)模均為K的低分辨率字典D1和高分辨率字典Dh。
3.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)自相似性與稀疏表示的圖像超分辨率重構(gòu)方法，其中步驟4中的步驟(4.2)所述的求出目標(biāo)函數(shù)中的權(quán)值矩陣W，包括有如下步驟: .4.2a)在待修正的圖像X中第j個(gè)圖像塊\的近鄰區(qū)域中，找到圖像塊\的第k個(gè)近鄰小塊xk，圖像塊\的所有的近鄰小塊的索引組成近鄰索引集N(j)； .4.2b)根據(jù)下式計(jì)算圖像塊Xj與其近鄰小塊Xk的相似度權(quán)值w(j，k):
4.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)自相似性與稀疏表示的圖像超分辨率重構(gòu)方法，其中步驟4中的步驟(4.3)所述的對(duì)稀疏系數(shù)變量{aj的更新，包括有如下步驟: .4.3a)目標(biāo)函數(shù)F (X, { a J )中與變量{a J有關(guān)的項(xiàng),組成變量{a J的目標(biāo)函數(shù)F1({ a J ):
5.根據(jù)權(quán)利要求4所述的基于結(jié)構(gòu)自相似性與稀疏表示的圖像超分辨率重構(gòu)方法，其中步驟4中的步驟(4.4)所述的對(duì)變量X值的更新，包括有如下步驟: .4.4a)目標(biāo)函數(shù)F (X, { a J )中與變量X有關(guān)的項(xiàng),組成變量X的目標(biāo)函數(shù):
【文檔編號(hào)】G06T5/00GK103455988SQ201310426295
【公開(kāi)日】2013年12月18日 申請(qǐng)日期:2013年9月17日 優(yōu)先權(quán)日:2013年9月17日
【發(fā)明者】楊淑媛, 焦李成, 汪智易, 馬文萍, 劉芳, 侯彪, 呂遠(yuǎn), 趙玲芳, 靳紅紅 申請(qǐng)人:西安電子科技大學(xué)