超分辨率圖像重建方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像、視頻處理領(lǐng)域，尤其涉及一種超分辨率圖像重建方法和裝置。
【背景技術(shù)】
[0002] 隨著多媒體技術(shù)的迅速發(fā)展，人們對于圖像和視頻的視覺逼真效果和豐富的畫面 細(xì)節(jié)信息的要求越來越高，這需要高分辨率的圖像和視頻，并且在實(shí)際的圖像處理與分析 系統(tǒng)中，通常也都需要高分辨率的圖像和視頻。然而，圖像的分辨率通常受限于圖像采集設(shè) 備、光學(xué)、成像速度和硬件存儲等制約條件，在許多成像應(yīng)用中捕獲的都是低分辨率的圖像 和視頻，例如，數(shù)碼相機(jī)、醫(yī)學(xué)成像系統(tǒng)和視頻監(jiān)控系統(tǒng)捕獲的通常都是低分辨率的圖像和 視頻。所以，為了獲取高分辨率的圖像和視頻，需要超分辨率技術(shù)去利用獲取的低分辨率圖 像和視頻來重建出高分辨率的圖像和視頻。
[0003] 現(xiàn)有的超分辨率圖像重建方法有：基于插值的方法、基于重建的方法和基于實(shí)例 學(xué)習(xí)的方法，其中基于重建的方法需要額外的數(shù)據(jù)庫，對于獲取的低分辨率圖像，利用圖像 數(shù)據(jù)庫中的多種圖像的先驗(yàn)知識來對當(dāng)前低分辨率圖像進(jìn)行建模，然后，將建模后的低分 辨率圖像重建為高分辨率的圖像。
[0004] 但是，在現(xiàn)有技術(shù)中，由于對超分辨率圖像建模時(shí)候利用的是一個(gè)巨大有代表性 的低分辨率與高分辨率圖像片對數(shù)據(jù)庫，該數(shù)據(jù)庫盡可能多的包括所有圖像結(jié)構(gòu)，使得重 建超分辨率圖像過程過于復(fù)雜，并且基于該圖像數(shù)據(jù)庫通常會存在無法復(fù)原高頻細(xì)節(jié)的情 況。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供一種超分辨率圖像重建方法和裝置，從而能夠有效降低重建超分辨率 圖像的誤差，進(jìn)而提高重建圖像的質(zhì)量。
[0006] 第一方面，本發(fā)明提供一種超分辨率圖像重建方法，包括：步驟S1，將輸入的低分 辨率圖像y作為第一高分辨率圖像巧，根據(jù)所述第一高分辨率圖像進(jìn)行N次模糊下采 樣，生成高分辨率圖像數(shù)據(jù)庫Dx ;步驟S2,對所述第一高分辨率圖像·ν采用雙三次插值算 法進(jìn)行模糊下采樣之后，再進(jìn)行模糊上采樣得到第一低分辨率圖像~~,〃對于所述第一低分 辨率圖像氣*進(jìn)行Ν次模糊下采樣，生成低分辨率圖像數(shù)據(jù)庫D z ;步驟S3,采用所述雙三次 插值算法將所述第一高分辨率圖像心放大S倍后得到第二低分辨率圖像氣〃將所述第二低 分辨率圖像~劃分為至少一個(gè)低分辨率圖像片；步驟S4,對每一個(gè)低分辨率圖像片采用近 似最近鄰搜索算法在所述低分辨率圖像數(shù)據(jù)庫D z獲取對應(yīng)的低分辨率最相似圖像片組；步 驟S5,對所述低分辨率最相似圖像片組采用嶺回歸法計(jì)算權(quán)重系數(shù)；步驟S6,根據(jù)所述權(quán) 重系數(shù)和高分辨率最相似圖像片組確定高分辨率圖像片；步驟S7,對所述高分辨率圖像片 采用加權(quán)平均確定第二高分辨率圖像氣>，并將所述第二低分辨率圖像％加入到所述數(shù)據(jù) 庫Dz中，將所述第二高分辨率圖像義加入到所述數(shù)據(jù)庫Dx中。
[0007] 結(jié)合第一方面，在第一方面的第一種可能實(shí)施方式中，還包括：步驟S8,將所述第 二高分辨率圖像七作為新的第一高分辨率圖像經(jīng)過Μ次重復(fù)執(zhí)行步驟S3-S7之后，獲 取第三高分辨率圖像采用所述雙三次插值算法對所述第三高分辨率圖像巧，進(jìn)行模糊 下采樣，生成初始目標(biāo)高分辨率圖像f:。
[0008] 結(jié)合第一方面的第一種可能實(shí)施方式，在第一方面的第二種可能實(shí)施方式中，還 包括：步驟S9,對所述初始目標(biāo)高分辨率圖像1和所述低分辨率圖像y采用交替最小化算 法計(jì)算數(shù)學(xué)模型：
[0009]
[0010] s. l. nf - nrJ toon] 其中，上述數(shù)學(xué)模型中的χ的初始值為初始目標(biāo)高分辨率圖像夂退化矩陣Η表示 模糊下采樣算子，λ i和λ 2表示正則化參數(shù)，a i是目標(biāo)高分辨率圖像X的高分辨率圖像片 Xl的稀疏系數(shù)，α為a i的集合，β i是a i在稀疏編碼域的非局部均值，〇表示所有拼接的 稀疏系數(shù)矩陣ct和超完備字典φ的乘積，V表示梯度操作符，f是變換函數(shù)，匕是目標(biāo)高 分辨率圖像的參考直方圖，h f是變換函數(shù)f的直方圖。
[0012] 結(jié)合第一方面的第二種可能實(shí)施方式，在第一方面的第三種可能實(shí)施方式中，所 述對所述初始目標(biāo)高分辨率圖像f:和所述低分辨率圖像y采用交替最小化算法計(jì)算數(shù)學(xué)模 型具體包括：步驟S10,采用K均值聚類算法和主成分分析算法獲取超完備字典；步驟S11， 根據(jù)梯度直方圖保持不變算法更新所述變換函數(shù)f ;步驟S12,根據(jù)所述超完備字典和所述 變換函數(shù)f更新所述初始目標(biāo)高分辨率圖像。
[0013] 結(jié)合第一方面的第三種可能實(shí)施方式，在第一方面的第四種可能實(shí)施方式中，采 用K均值聚類算法和主成分分析算法獲取超完備字典，具體包括：根據(jù)尺寸大小隨機(jī)選取K 個(gè)所述初始目標(biāo)高分辨率圖像的高分辨率圖像片作為K個(gè)初始聚類；根據(jù)所述高分辨率圖 像片與所述K個(gè)初始聚類中心之間的距離，將所述初始目標(biāo)高分辨率圖像所分割成的所有 的所述高分辨率圖像片劃分到對應(yīng)的初始聚類中；對每個(gè)所述初始聚類采用基于奇異值分 解的主成分分析法訓(xùn)練對應(yīng)子字典；K個(gè)所述初始聚類對應(yīng)的K個(gè)子字典組成所述超完備 字典。
[0014] 結(jié)合第一方面的第三種可能實(shí)施方式，在第一方面的第五種可能實(shí)施方式 中，根據(jù)梯度直方圖保持不變算法更新所述變換函數(shù)f，具體包括：對所述低分辨率 圖像y進(jìn)行模糊上采樣，獲得低分辨率圖像z ;所述目標(biāo)高分辨率圖像X和所述低 4V雜鑾IS像7.端Μ加下名·彳Φ ·ζ = B*x,其中B為模糊核；對z = B*x兩邊求梯度，貝丨J
5其中b。和h分別表示模糊核B的中心系數(shù)及它的周圍 近鄰系數(shù)，Vx表示目標(biāo)高分辨率圖像X的梯度圖像，表示所述低分辨率圖像z的梯度
圖像表示所述目標(biāo)高分辨率圖像片的梯度圖像Η 〃若 i 近似于正態(tài)分布，則
[0015] 通過求解優(yōu)化問題叫ft|/(v.S'R丨s.t.h f = hr來更新變換函數(shù)f。
[0016] 其中b表示目標(biāo)高分辨率圖像X的參考梯直方圖，hz表示所述低分辨率圖像z的 梯度直方圖，h xl是隨機(jī)變量xl的概率密度函數(shù)的離散形式，hx2是獨(dú)立同分布隨機(jī)變量x2 的概率密度函數(shù)的離散形式，⑩是卷積操作符。
[0017] 結(jié)合第一方面的第三種可能實(shí)施方式，在第一方面的第六種可能實(shí)施方式中，所 述根據(jù)所述超完備字典和所述變換函數(shù)f更新所述初始目標(biāo)高分辨率圖像，具體包括：根 據(jù)公5
?角定x(t+1/2)，其中x(t)表示第t次 迭代的目標(biāo)高分辨率圖像估計(jì)值，x(t+1/2)表示第t+1/2次迭代的目標(biāo)高分辨率圖像估計(jì)值， S為常數(shù)，表示x(t)的梯度圖；根據(jù)其中表示 第t+1/2次迭代的高分辨率圖像片Xl的稀疏系數(shù)，表示第t次迭代的高分辨率圖像片 Xl所在初始聚類對應(yīng)的子字典，民表示從初始目標(biāo)高分辨率圖像I在位置i處獲取高分辨 率圖像片^的矩陣。
[0018] 根據(jù)稀疏系舍
和次;~5二確定第t+Ι次迭代的高分辨率圖像片Xl的稀疏系數(shù) ωι的 第j個(gè)分量ω1]滿萬
其中h表示用于調(diào)節(jié)衰減速度 的控制參數(shù)，W表示歸一化因子，#表示高分辨率圖像片Xl對應(yīng)的最相似圖像片 組中的第j個(gè)最相似圖像片，Sv。表示軟閾值函數(shù)，c表示正則化參數(shù)；根據(jù)公式 \其中x(t+1)表示第t+Ι次迭代的目 \.九
.·/. >： 標(biāo)高分辨率圖像估計(jì)值，Φ (t+1)表示X(t+1)對應(yīng)的超完備字典。
[0019] 結(jié)合第一方面的第三種可能實(shí)施方式或第四種可能實(shí)施方式或第五種可能實(shí)施 方式或第六種可能實(shí)施方式，在第一方面的第七種可能實(shí)施方式中，還包括：重復(fù)執(zhí)行步驟 S10-S12,獲得收斂解為最終目標(biāo)高分辨率圖像X';采用復(fù)數(shù)沖擊濾波公式對所述最終目 標(biāo)高分辨率圖像進(jìn)行復(fù)原，其中所述復(fù)數(shù)沖擊濾波公式為：
[0020]
[0021] 其中，X'表示最終目標(biāo)高分辨率圖像，X"表示復(fù)原后的最終目標(biāo)高分辨率圖像， ▽X表示X'的梯度圖，η和ξ表示圖像的梯度方向，Irn(·)表示提取虛部，a表示用于控 制圖像銳度的調(diào)整參數(shù)，τ = | τ |exp(i Θ)是復(fù)數(shù)標(biāo)量系數(shù)，f是實(shí)數(shù)標(biāo)量系數(shù)。
[0022] 第二方面，本發(fā)明提供一種超分辨率圖像重建裝置，包括：生成模塊，用于將輸入 的低分辨率圖像y作為第一高分辨率圖像^ ,根據(jù)所述第一高分辨率圖像心進(jìn)行N次模 糊下采樣，生成高分辨率圖像數(shù)據(jù)庫Dx;所述生成模塊，還用于對所述第一高分辨率圖像％ 采用雙三次插值算法進(jìn)行模糊下采樣之后，再進(jìn)行模糊上采樣得到第一低分辨率圖像心， 對于所述第一低分辨率圖像％進(jìn)行N次模糊下采樣，生成低分辨率圖像數(shù)據(jù)庫D z ;劃分模 塊，用于采用所述雙三次插值算法將所述第一高分辨率圖像心>放大S倍后得到第二低分辨 率圖像V ,將所述第二低分辨率圖像~劃分為至少一個(gè)低分辨率圖像片；獲取模塊，用于 對每一個(gè)低分辨率圖像片采用近似最近鄰搜索算法在所述低分辨率圖像數(shù)據(jù)庫Dz獲取對 應(yīng)的低分辨率最相似圖像片組；計(jì)算模塊，用于對所述低分辨率最相似圖像片組采用嶺回 歸法計(jì)算權(quán)重系數(shù)；確定模塊，用于根據(jù)所述權(quán)重系數(shù)和高分辨率最相似圖像片組確定高 分辨率圖像片；所述確定模塊，還用于對所述高分辨率圖像片采用加權(quán)平均確定第二