一種快速高質(zhì)的圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其是一種快速高質(zhì)的圖像超分辨率重建方法。
【背景技術(shù)】
[0002] 圖像超分辨率重建技術(shù)是圖像處理領(lǐng)域內(nèi)一個(gè)重要且基礎(chǔ)的課題，它指的是通過(guò) 軟件計(jì)算的方式處理輸入的一幅或多幅同一場(chǎng)景的低分辨率圖像來(lái)估算其對(duì)應(yīng)的高分辨 率圖像。這種技術(shù)在數(shù)字電視高清顯示、視頻監(jiān)控、遙感圖像通訊等領(lǐng)域有著廣泛的應(yīng)用。 其實(shí)現(xiàn)方法主要可分為基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。近年來(lái)，隨著 機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)的興起，基于學(xué)習(xí)的方法逐漸為人們所重視，并成為圖像超分辨 率重建技術(shù)的主流。
[0003]圖像本身信息豐富，數(shù)據(jù)量巨大，因此簡(jiǎn)單的超分辨率重建算法雖然速度快但往 往達(dá)不到最優(yōu)的重建效果，如采用雙三次插值算法，該算法速度快，處理平滑區(qū)域能取得很 好的效果，但是對(duì)于邊緣和紋理區(qū)域，該算法容易引入模糊和噪聲，造成重建質(zhì)量下降；復(fù) 雜的方法為了追求最優(yōu)的效果通常都需要占用大量的內(nèi)存空間和漫長(zhǎng)的等待時(shí)間，如He 等人發(fā)表在 2011 年CVPR會(huì)議上的論文《SingleImageSuper-ResolutionUsingGaussian processRegression》中所提到的方法。He等人的方法將圖像中的每一個(gè)像素點(diǎn)和其對(duì)應(yīng) 的八鄰域構(gòu)造成訓(xùn)練樣本對(duì)，在每一個(gè)小區(qū)域內(nèi)（文中為30X30大小的區(qū)域）訓(xùn)練高斯過(guò) 程回歸模型參數(shù)，把該區(qū)域用雙三次放大到目標(biāo)尺寸后構(gòu)造樣本集合作為高斯過(guò)程回歸模 型的輸入，得到這個(gè)小區(qū)域的對(duì)應(yīng)的高分辨率估計(jì)。這種方法模型訓(xùn)練階段的時(shí)間復(fù)雜度 為0(Μ*Ν3)，其中，Μ為抽取的圖像小區(qū)域的數(shù)量，N為小區(qū)域內(nèi)構(gòu)造的樣本對(duì)數(shù)量；預(yù)測(cè)階 段的時(shí)間復(fù)雜度為〇(Ν' 2)，Ν'為輸入的樣本數(shù)量，可以看出該方法時(shí)間復(fù)雜度較大。由于 時(shí)間復(fù)雜度的限制，該算法很難在實(shí)際情況中應(yīng)用。
[0004] 綜上所述，目前業(yè)內(nèi)亟需一種速度快且效果好的圖像分辨率重建方法。

【發(fā)明內(nèi)容】

[0005] 為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的是：提供一種速度快且效果好的，快速高質(zhì) 的圖像超分辨率重建方法。
[0006] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0007] -種快速高質(zhì)的圖像超分辨率重建方法，包括：
[0008]S1、對(duì)輸入圖像八分別進(jìn)行高斯低通濾波和雙三次上采樣，得到高斯低通濾波圖 像\和雙三次上采樣圖像XΗ;
[0009]S2、根據(jù)輸入圖像\和高斯低通濾波圖像h構(gòu)建圖像對(duì)訓(xùn)練集
，然后根據(jù)圖像對(duì)訓(xùn)練集D采用最近鄰域查找法得到圖像XH的訓(xùn)練樣本 對(duì)集合，其中，P表示圖像片的位置；
[0010]S3、采用多任務(wù)高斯過(guò)程回歸模型對(duì)圖像XH的訓(xùn)練樣本對(duì)集合進(jìn)行描述，然后采 用梯度下降法進(jìn)行參數(shù)訓(xùn)練，求出圖像χΗ樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)以及多任務(wù)高 斯模型輸出YH，所述圖像xH樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)為圖像xH不同位置的樣本賦 予了不同的噪聲級(jí)別；
[0011]S4、對(duì)求出的多任務(wù)高斯模型輸出YH采用反向投影法得到最終的超分辨率圖像。
[0012] 進(jìn)一步，所述步驟S2,其包括：
[0013] S21、從輸入圖像八和高斯低通濾波圖像X沖抽取圖像片集合{(打),扣)},進(jìn)而 構(gòu)建相應(yīng)的圖像對(duì)訓(xùn)練集d=Μ;
[0014]S22、對(duì)雙三次上采樣圖像ΧΗ所抽取的第i個(gè)圖像片通過(guò)最近鄰域查找法查 找到其在圖像對(duì)訓(xùn)練集D中的k個(gè)最近樣本對(duì)，進(jìn)而構(gòu)建圖像XH的訓(xùn)練樣本對(duì)集合
是圖像對(duì)訓(xùn)練集D中圖像八第i個(gè)圖像片）^的 像素點(diǎn)的列向量形式，叫為Γ/中元素的個(gè)數(shù)；=[^,1，'2，...，1廣]，1/是由圖像片^^中 與像素點(diǎn)欠丨位置相對(duì)應(yīng)像素點(diǎn)的8鄰域所組成的列向量，i= 1，2,…，k;j= 1，2,…，η;。
[0015] 進(jìn)一步，所述步驟S3,其包括：
[0016] S31、采用多任務(wù)高斯過(guò)程回歸模型對(duì)圖像ΧΗ的訓(xùn)練樣本對(duì)集合進(jìn)行 描述，得到圖像χΗ訓(xùn)練樣本對(duì)集合的描述方程，所述得到的描述方程為：
[0018] 其中，￡l為圖像XH訓(xùn)練樣本對(duì)集合對(duì)應(yīng)的噪聲，εi服從均值是0且協(xié)方差矩陣 為的高斯分布，erf代表噪聲的等級(jí)，^^是nixni大小的單位矩陣；
[0019]S32、根據(jù)圖像ΧΗ訓(xùn)練樣本對(duì)集合對(duì)應(yīng)的描述方程得到所有訓(xùn)練樣本的描述方程， 所述所有訓(xùn)練樣本的描述方程為：
[0021] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε為所有訓(xùn)練樣本對(duì)應(yīng)的噪聲， ε服從均值是0且協(xié)方差矩陣為D的高斯分布，D是對(duì)角矩陣且滿足：
[0022]
[0023] S33、根據(jù)圖像ΧΗ訓(xùn)練樣本對(duì)集合以及所有訓(xùn)練樣本的描述方程采用梯度下降法 進(jìn)行參數(shù)訓(xùn)練，求出圖像ΧΗ樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)。
[0024] 進(jìn)一步，所述步驟S33,其包括：
[0025]S331、為圖像XH第i個(gè)圖像片中每一個(gè)像素點(diǎn)的八鄰域構(gòu)造測(cè)試矩陣 ，從而得到所有訓(xùn)練樣本的訓(xùn)練輸出Y和圖像XH樣本的測(cè)試輸出Y*的聯(lián)合分布，所述得到的聯(lián)合分布為：
[0027]其中，K(X，XJ、K久，X)和K(X，X)分別為（X，XJ、久，X)和（X，X)的協(xié)方差矩陣， 矩陣K(X，XJ、K久，X)和K(X，X)第m行第η列元素的表達(dá)式為：
[0028]
，參數(shù)σf、1和均為待求的多任務(wù)高斯模型 參數(shù)；
[0029]S332、根據(jù)圖像ΧΗ訓(xùn)練樣本對(duì)集合以及所有訓(xùn)練樣本的描述方程確定似然函數(shù) R(x)，所述似然函數(shù)R(x)的表達(dá)式為：
[0031] 其中，服從對(duì)數(shù)正態(tài)分布，μ為對(duì)數(shù)正態(tài)分布的均值，P為對(duì)數(shù)正態(tài)分布 的標(biāo)準(zhǔn)差；
[0032]S333、采用梯度下降法求出使似然函數(shù)R(x)取得最小值時(shí)對(duì)應(yīng)的多任務(wù)高斯模
[0033]S334、根據(jù)多任務(wù)高斯模型參數(shù)〇f、l和計(jì)算圖像XH樣本測(cè)試矩陣的輸出 Y*，所述測(cè)試矩陣的輸出Y*的表達(dá)式為：
[0034]Y* =f(X*) =K(X*，X)[K(X，X) +D]TY。
[0035] 進(jìn)一步，所述步驟S22在通過(guò)最近鄰域查找法查找時(shí)在以圖像ΧΗ所抽取的第i個(gè) 圖像片對(duì)應(yīng)的位置為中心，30X30大小的區(qū)域內(nèi)進(jìn)行查找。
[0036] 進(jìn)一步，所述步驟S22在對(duì)雙三次上采樣圖像XH所抽取的第i個(gè)圖像片通過(guò)最近 鄰域查找法查找之前還包括根據(jù)圖像XH所抽取的圖像片的方差大小和設(shè)定閾值進(jìn)行初步 分類的步驟。
[0037] 本發(fā)明的有益效果是：采用最近鄰域查找法來(lái)得到雙三次上采樣圖像XH的訓(xùn)練 樣本對(duì)集合，然后采用多任務(wù)高斯過(guò)程回歸模型對(duì)訓(xùn)練樣本對(duì)集合進(jìn)行描述以及采用梯度 下降法進(jìn)行參數(shù)訓(xùn)練，得到多任務(wù)高斯模型參數(shù)以及多任務(wù)高斯模型輸出YH，最后根據(jù)多 任務(wù)高斯模型輸出YH得到最終的超分辨率圖像，與采用簡(jiǎn)單的雙三次插值算法相比，效果 更好且重建后得到的圖像質(zhì)量更高；從圖像本身的特性出發(fā)，圖像XH樣本所對(duì)應(yīng)的多任務(wù) 高斯模型參數(shù)為圖像XH不同位置的樣本賦予了不同的噪聲級(jí)別，使得本發(fā)明的重建方法可 以在不同圖像片間獨(dú)立運(yùn)行，易改造為并行算法或采用GPU圖像處理器來(lái)實(shí)現(xiàn)，與傳統(tǒng)的 高斯模型回歸算法相比，運(yùn)行時(shí)間更更短，速度更快。進(jìn)一步，在通過(guò)最近鄰域查找法查找 最近鄰域的過(guò)程中只在以所抽取的圖像片對(duì)應(yīng)的位置為中心，30X30大小的區(qū)域內(nèi)進(jìn)行查 找，大大降低了查找所需消耗的時(shí)間，速度更快。
【附圖說(shuō)明】
[0038] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0039]圖1為本發(fā)明一種快速高質(zhì)的圖像超分辨率重建方法的整體流程圖；
[0040] 圖2為本發(fā)明實(shí)施例一的算法框架圖。
【具體實(shí)施方式】
[0041] 參照?qǐng)D1，一種快速高質(zhì)的圖像超分辨率重建方法，包括：
[0042]S1、對(duì)輸入圖像八分別進(jìn)行高斯低通濾波和雙三次上采樣，得到高斯低通濾波圖 像\和雙三次上采樣圖像XH;
[0043]S2、根據(jù)輸入圖像\和高斯低通濾波圖像構(gòu)建圖像對(duì)訓(xùn)練集 ￡>二{(Xf ，然后根據(jù)圖像對(duì)訓(xùn)練集〇采用最近鄰域查找法得到圖像心的訓(xùn)練樣本 對(duì)集合，其中，Ρ表示圖像片的位置；
[0044]S3、采用多任務(wù)高斯過(guò)程回歸模型對(duì)圖像ΧΗ的訓(xùn)練樣本對(duì)集合進(jìn)行描述，然后采 用梯度下降法進(jìn)行參數(shù)訓(xùn)練，求出圖像ΧΗ樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)以及多任務(wù)高 斯模型輸出ΥΗ，所述圖像ΧΗ樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)為圖像ΧΗ不同位置的樣本賦 予了不同的噪聲級(jí)別；
[0045]S4、對(duì)求出的多任務(wù)高斯模型輸出ΥΗ采用反向投影法得到最終的超分辨率圖像。
[0046] 進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S2,其包括：
[0047]S21、從輸入圖像八和高斯低通濾波圖像L中抽取圖像片集合，進(jìn)而 構(gòu)建相應(yīng)的圖像對(duì)訓(xùn)練集={(If),.(5^)}
[0048]S22、對(duì)雙三次上采樣圖像XH所抽取的第i個(gè)圖像片通過(guò)最近鄰域查找法查 找到其在圖像對(duì)訓(xùn)練集D中的k個(gè)最近樣本對(duì)，進(jìn)而構(gòu)建圖像XH的訓(xùn)練樣本對(duì)集合
是圖像對(duì)訓(xùn)練集D中圖像1第i個(gè)圖像片}^的 像素點(diǎn)的列向量形式，~為G中元素的個(gè)數(shù)；X,. x/是由圖像片中 與像素點(diǎn)，f位置相對(duì)應(yīng)像素點(diǎn)的8鄰域所組成的列向量，i= 1，2,…，k;j= 1，2,…，叫。
[0049] 進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S3,其包括：
[0050]S31、采用多任務(wù)高斯過(guò)程回歸模型對(duì)圖像XH的訓(xùn)練樣本對(duì)集合進(jìn) 行描述，得到圖像XH訓(xùn)練樣本對(duì)集合的描述方程，所述得到的描述方程為：
[0052] 其中，￡l為圖像XH訓(xùn)練樣本對(duì)集合對(duì)應(yīng)的噪聲，εi服從均值是0且協(xié)方差矩陣 為的高斯分布，代表噪聲的等級(jí)，、是ηιχηι大小的單位矩陣；
[0053]S32、根據(jù)圖像ΧΗ訓(xùn)練樣本對(duì)集合對(duì)應(yīng)的描述方程得到所有訓(xùn)練樣本的描述方程， 所述所有訓(xùn)練樣本的描述方程為：
[0055] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε為所有訓(xùn)練樣本對(duì)應(yīng)的噪聲， ε服從均值是0且協(xié)方差矩陣為D的高斯分布，D是對(duì)角矩陣且滿足：
[0056]
[0057]S33、根據(jù)圖像ΧΗ訓(xùn)練樣本對(duì)集合以及所有訓(xùn)練樣本的描述方程采用梯度下降法 進(jìn)行參數(shù)訓(xùn)練，求出圖像ΧΗ樣本所對(duì)應(yīng)的多任務(wù)高斯模型參數(shù)。
[0058] 進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S33,其包括：
[0059]S331、為圖像ΧΗ第i個(gè)圖像片中每一個(gè)像素點(diǎn)的八鄰域構(gòu)造測(cè)試矩陣 1二[^1,^2^，&,>]，從而得到所有訓(xùn)練樣本的訓(xùn)練輸出￥和圖像\樣本的測(cè)試輸出 Y*的聯(lián)合分布，所述得到的聯(lián)合分布為：
[0061] 其中，K(X，XJ、κιX)和K(X，X)分別為（X，XJ、久，X)和（X，X)的協(xié)方差矩陣， 矩陣Κ(X，XJ、Κ久，X)和Κ(X，X)第m行第η列元素的表達(dá)式為：
[0062]
，參數(shù)。