本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種圖像超分辨率重建方法，具體涉及一種中間尺度約束的高倍率圖像超分辨率重建方法。
技術(shù)背景
圖像超分辨率重建是一種圖像空間分辨率增強(qiáng)的方法，利用信號處理的方法將低分辨率圖像的分辨率提高并重建出高質(zhì)量的清晰圖像。超分辨率重建技術(shù)為提高圖像空間分辨率提供了一種成本低廉、切實(shí)有效的解決途徑，在航天遙感、視頻監(jiān)控、手機(jī)視頻等領(lǐng)域具有廣泛的應(yīng)用前景。
很多實(shí)際應(yīng)用場合，如遙感衛(wèi)星對地觀測，出于細(xì)致辨識的需要，需要對低分辨率觀測圖像進(jìn)行高倍率超分辨率。當(dāng)前流行的基于學(xué)習(xí)的超分辨率方法盡管在低倍率放大時取得了顯著的效果，但用于高倍率放大，其效果將模糊不清。究其原因在于，基于字典學(xué)習(xí)的超分辨率方法假設(shè)高分辨率圖像和對應(yīng)的低分辨率圖像共享同一流形空間，從而將低分辨率圖像上訓(xùn)練的字典表達(dá)系數(shù)用于重建高分辨率圖像。在超分辨率倍數(shù)不太大時，高低維空間的流形一致性假設(shè)基本成立，因而能夠給出較好的重建效果；但當(dāng)放大倍數(shù)較大時，也即高倍率放大情況下，高低維流形一致性被削弱，仍然沿用訓(xùn)練的低分辨率表達(dá)系數(shù)對高分辨率圖像進(jìn)行重建，將存在較大的模型誤差，導(dǎo)致重建結(jié)果圖像模糊不清，失去了使用價值。
圖像超分辨率重建是一個典型的病態(tài)逆問題求解過程，對低分辨率觀測圖像的先驗(yàn)知識掌握越多，越有助于改善問題的正定性。在高倍率重建的情況下，輸入圖像和目標(biāo)重建結(jié)果圖像的分辨率懸殊過大，引起解空間膨脹是造成問題求解困難的主要原因。如果存在一種可資利用的介于二者之間的中間分辨率圖像，或中間尺度圖像，用這個中間尺度圖像作為低分辨率向甚高分辨率轉(zhuǎn)換的過渡，將能提高解的精度，最終提高重建圖像的保真度和清晰度。如同低分辨率圖像的高分辨率版本現(xiàn)實(shí)中不存在一樣(否則無需超分辨率重建)，中間尺度的圖像一般也不會存在。但是，采用現(xiàn)有的方法可以人為生成低分辨率圖像的中間尺度版本，而且，由于中間尺度圖像與輸入圖像分辨率的差距小于目標(biāo)圖像分辨率的差距，故生成圖像的質(zhì)量可滿足要求。
技術(shù)實(shí)現(xiàn)要素：
為了解決上述技術(shù)問題，本發(fā)明提供了一種中間尺度約束的高倍率圖像超分辨率重建方法。
本發(fā)明所采用的技術(shù)方案是：一種中間尺度約束的高倍率圖像超分辨率重建方法，其特征在于，包括以下步驟：
步驟1：獲取若干高分辨率圖像樣本，制作高-中-低分辨率的訓(xùn)練圖像塊樣本集{sh,sm,sl}；其中，sh表示高分辨率圖像塊集合，sm表示中等分辨率圖像塊集合，sl表示低分辨率圖像塊集合；
步驟2：建立聯(lián)合稀疏表達(dá)模型，利用訓(xùn)練圖像塊樣本集{sh,sm,sl}訓(xùn)練高-中-低分辨率聯(lián)合字典{dh,dm,dl}；其中，dh、dm、dl分別代表高分辨率字典、中等分辨率字典、低分辨率字典；
步驟3：運(yùn)用圖像上采樣算法，對輸入的低分辨率圖像進(jìn)行插值放大，生成中間尺度圖像；
步驟4：通過中間尺度圖像約束的低分辨率圖像稀疏分解，獲得低分辨率圖像塊的稀疏域表達(dá)系數(shù)；
步驟5：利用訓(xùn)練得到的高分辨率字典dh和低分辨率圖像塊的稀疏域表達(dá)系數(shù)，重建最終的高分辨率圖像。
與現(xiàn)有的圖像超分辨率方法相比，本發(fā)明具有以下優(yōu)點(diǎn)和積極效果：
(1)本發(fā)明通過引入中間尺度圖像改善超分辨率病態(tài)逆問題的正定性，提高了解的精度，從而提升了超分辨率重建的保真度，為圖像的高倍率超分辨率重建提供了可行的思路；
(2)本發(fā)明新建立了一種高-中-低分辨率聯(lián)合字典學(xué)習(xí)模型，具有一定的普適推廣價值，在超分辨率以外的問題中也能發(fā)揮作用；
(3)由于中間尺度圖像的生成可借助簡單的插值方法完成，因此，本方法基本上不增加計算量。
附圖說明
圖1：本發(fā)明實(shí)施例的流程圖。
具體實(shí)施方式
為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
請見圖1，本發(fā)明提供的一種中間尺度約束的高倍率圖像超分辨率重建方法，包括以下步驟：
步驟1：獲取若干高分辨率圖像樣本，制作高-中-低分辨率的訓(xùn)練圖像塊樣本集{sh,sm,sl}；其中，sh表示高分辨率圖像塊集合，sm表示中等分辨率圖像塊集合，sl表示低分辨率圖像塊集合；
其中制作高-中-低分辨率的訓(xùn)練圖像塊樣本集{sh,sm,sl}，其具體實(shí)現(xiàn)包括以下子步驟：
步驟1.1：將每幅高分辨率圖像的長寬下采樣
步驟1.2：將高分辨率圖像、中等分辨率圖像、低分辨率圖像均裁剪成正方形的圖像塊，收集所有的圖像塊，構(gòu)成高-中-低分辨率的訓(xùn)練圖像塊樣本集{sh,sm,sl}。
步驟2：建立聯(lián)合稀疏表達(dá)模型，利用訓(xùn)練圖像塊樣本集{sh,sm,sl}訓(xùn)練高-中-低分辨率聯(lián)合字典{dh,dm,dl}；其中，dh、dm、dl分別代表高分辨率字典、中等分辨率字典、低分辨率字典；
具體實(shí)現(xiàn)過程是：
令xh、xm、xl分別代表輸入的高分辨率圖像塊、中等分辨率圖像塊、低分辨率圖像塊；w為輸入圖像塊在字典上的稀疏表達(dá)系數(shù)，l、m、n分別表示高分辨率圖像塊、中等分辨率圖像塊、低分辨率圖像塊的維度；
則通過給定的{sh,sm,sl}訓(xùn)練字典{dh,dm,dl}的過程轉(zhuǎn)化為如下的優(yōu)化問題：
變換形式，上式等價于：
其中
采用交叉迭代優(yōu)化求解上述凸優(yōu)化問題，即固定w求解d，然后在下一輪迭代中固定d求解w，如此交替迭代更新,直到收斂為最優(yōu)解。
步驟3：運(yùn)用圖像上采樣算法，對輸入的低分辨率圖像進(jìn)行插值放大，生成中間尺度圖像；
本實(shí)施例運(yùn)用經(jīng)典的bicubic上采樣算法生成中間尺度圖像，且上采樣倍數(shù)為
步驟4：通過中間尺度圖像約束的低分辨率圖像稀疏分解，獲得低分辨率圖像塊的稀疏域表達(dá)系數(shù)；
其中低分辨率圖像稀疏分解，具體實(shí)現(xiàn)過程如下：
將輸入的低分辨率圖像和生成的中間尺度圖像切分成正方形塊，低分辨率圖像塊的尺寸設(shè)定為5×5像素，保證塊與塊之間有1～2個像素的重疊，利用訓(xùn)練的中等分辨率字典、低分辨率字典，逐個圖像塊執(zhí)行稀疏投影分解，獲取每塊的稀疏表達(dá)系數(shù)；
單個圖像塊的聯(lián)合稀疏分解模型建立如下：
若xl、xm分別表示輸入的低分辨率圖像塊、中等分辨率圖像塊，dl、dm為相應(yīng)的低分辨率字典、中等分辨率字典，則稀疏投影分解的優(yōu)化問題表示為：
w為代求取的稀疏表達(dá)系數(shù)，γ為中間尺度圖像的誤差權(quán)重；
上式變形為：
其中
步驟5：利用訓(xùn)練得到的高分辨率字典dh和低分辨率圖像塊的稀疏域表達(dá)系數(shù)，重建最終的高分辨率圖像；
具體實(shí)現(xiàn)包括以下子步驟：
步驟5.1：利用訓(xùn)練得到的高分辨率字典dh和低分辨率圖像塊的稀疏域表達(dá)系數(shù)，通過字典原子的線性合成得到重建的高分辨率圖像塊，即xh＝dhw；其中，w為輸入圖像塊在字典上的稀疏表達(dá)系數(shù)；
步驟5.2：待所有高分辨率圖像塊都重建完成后，將其按原有位置拼接成完整的圖像，然后對重疊的邊緣部分進(jìn)行平滑濾波，去掉縫結(jié)效應(yīng)。
本發(fā)明采用簡單的插值方法(也可以是復(fù)雜的超分辨率方法，但增加了運(yùn)算復(fù)雜度)來產(chǎn)生中間尺度圖像，得到中間尺度圖像后，將其納入低分辨率圖像的稀疏字典學(xué)習(xí)模型，構(gòu)建中-低分辨率的聯(lián)合稀疏表達(dá)模型，作為重建誤差項(xiàng)約束低分辨率圖像的字典稀疏投影分解。相應(yīng)地，為適應(yīng)高-中-低分辨率聯(lián)合字典學(xué)習(xí)的需要，將現(xiàn)有的高-低分辨率耦合字典學(xué)習(xí)模型擴(kuò)展到高-中-低三元組聯(lián)合學(xué)習(xí)模型。
應(yīng)當(dāng)理解的是，本說明書未詳細(xì)闡述的部分均屬于現(xiàn)有技術(shù)。
應(yīng)當(dāng)理解的是，上述針對較佳實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對本發(fā)明專利保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán)利要求所保護(hù)的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)，本發(fā)明的請求保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。