專利名稱：一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬 于圖像處理技術(shù)領(lǐng)域，涉及一種對(duì)圖像進(jìn)行超分辨率重建的方法，具體是一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法。
背景技術(shù)：
圖像超分辨率重建是指由輸入的一幅或多幅低分辨率圖像重構(gòu)得到一幅高分辨率圖像的方法，它充分利用了已獲取的資源，與采用高性能硬件獲取高分辨率圖像的方法相比，具有更低的成本，在視頻監(jiān)控、醫(yī)學(xué)成像、高清視頻等各個(gè)領(lǐng)域有著廣闊的應(yīng)用前景。超分辨率重建技術(shù)自提出至今已有二十余年，其已經(jīng)成為圖像、視頻及計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，有大量的研究成果問世。從其研究方法看，圖像超分辨率研究方法層出不窮，重建質(zhì)量得到了很大提高，特別是基于學(xué)習(xí)和基于稀疏表示方法的提出，當(dāng)?shù)头直媛蕯?shù)據(jù)提供的信息不滿足高分辨率需求時(shí)，這兩類方法可以獲得更多的圖像高層信息，因而具有很大的優(yōu)勢(shì)。然而，從實(shí)際應(yīng)用的角度考慮，除了重建結(jié)果的優(yōu)劣以外，重建時(shí)間也是考察超分辨率重建方法的一個(gè)重要因素，尤其是一些對(duì)實(shí)時(shí)性具有較高要求的場(chǎng)合。但是，從最早提出圖像超分辨率技術(shù)至今，最具有實(shí)時(shí)性的方法主要以插值或其改進(jìn)方法和迭代反向投影法等簡(jiǎn)單方法在硬件上的實(shí)現(xiàn)為主，而近幾年發(fā)展起來的重建質(zhì)量較高的算法則普遍耗時(shí)較久。重建結(jié)果和重建時(shí)間是衡量超分辨率算法的兩個(gè)重要指標(biāo)，但是不同的應(yīng)用場(chǎng)合這兩個(gè)指標(biāo)的重要性也不同，如實(shí)時(shí)監(jiān)控和影視后期制作，它們對(duì)實(shí)時(shí)性的要求是不同的；即使同一幅待重建圖像，其中各區(qū)域?qū)χ亟ńY(jié)果的要求也不同，對(duì)人眼敏感區(qū)域的要求高于非敏感區(qū)域。但是，目前的超分辨率方法并不區(qū)分圖像區(qū)域，即同一幅圖像的各區(qū)域采用同一種超分辨率方法；并且由于超分辨率方法計(jì)算耗時(shí)太久，大多待重建的圖像尺寸較小，當(dāng)處理大圖像時(shí)計(jì)算時(shí)間將會(huì)大幅度的增長(zhǎng)，這對(duì)超分辨率重建的實(shí)際應(yīng)用產(chǎn)生了不利的影響。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種有效的圖像超分辨率重建方法，對(duì)人眼敏感區(qū)域和非敏感區(qū)域采用不同的重建策略，對(duì)不同需求采用質(zhì)量可變的重建方法，兼顧重建結(jié)果和重建時(shí)間。為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案如下
首先，對(duì)低分辨率圖像區(qū)分人眼敏感區(qū)域與非敏感區(qū)域；其次，計(jì)算低分辨率圖像人眼敏感區(qū)域的清晰度，根據(jù)清晰度通過補(bǔ)償人眼敏感區(qū)域的高分辨率子塊殘差，采用質(zhì)量可變的超分辨率重建；最后，對(duì)非人眼敏感區(qū)域采用Bicubic方法放大，并和人眼敏感區(qū)域的高分辨率重建結(jié)果融合得到高分辨率圖像。下面詳細(xì)給出該發(fā)明技術(shù)方案中的各個(gè)細(xì)節(jié)說明步驟(I)區(qū)分低分辨率圖像中的人眼敏感區(qū)域與非敏感區(qū)域，具體是
采用視覺注意機(jī)制模型提取出圖像中的顯著區(qū)域，以提取的顯著區(qū)域的外接矩形作為人眼敏感區(qū)域，其余為非敏感區(qū)域；所述的視覺注意機(jī)制模型可采用ITTI提出的視覺注意的計(jì)算模型、離散余弦變換的脈沖模型或四元傅里葉變換的相位譜模型。步驟(2)計(jì)算低分辨率圖像人眼敏感區(qū)域的清晰度Clear_F7，具體是 確定清晰度為超分辨率圖像的無參考質(zhì)量評(píng)價(jià)指標(biāo)。定義清晰度如式(I)所示，其中Clear_Fm為清晰度，blur_Fm為模糊度；
Cle ar—Fm= I _b I ur—Fm(I)
其中下標(biāo)m=7或者A，分別表示低分辨率圖像和高分辨率圖像。模糊度blur—Fm 計(jì)算方法由 Frederique Crete 等發(fā)表在 2007 年的 proceedingsof SPIE題為“The Blur Effect: Perception and Estimation with a New No-ReferencePerceptual Blur Metric” 的論文上。步驟(3)對(duì)人眼敏感區(qū)域釆用質(zhì)量可變的超分辨率重建，具體是
(a)按式(2)所示稀疏表示模型訓(xùn)練高、低分辨率過完備字典對(duì)DA、D7
—A^lf + 為丨h(huán)—If +. Il^ Ι (2)
和λ.分別是高低分辨率圖像x、y的圖像子塊，為是稀疏表示系數(shù)，為和·是正則化參數(shù)。(b)計(jì)算人眼敏感區(qū)域高分辨率圖像清晰度閾值Clear_FA, = Clear_F7/K, K是人眼敏感區(qū)域的高低分辨率圖像的模糊度比值，可由對(duì)高低分辨率圖像模糊度進(jìn)行統(tǒng)計(jì)獲得，稀疏度設(shè)為預(yù)定值L。(c)如果稀疏度為L(zhǎng)，則執(zhí)行步驟(d)，否則執(zhí)行步驟(e)。(d)對(duì)低分辨率圖像人眼敏感區(qū)域_7~中的各子塊進(jìn)行稀疏分解，即式
=Aq ,用正交匹配跟蹤法分解得到稀疏向量q，由減去其稀疏分解表示的圖像24 I獲得誤差Α，其中M是低分辨率測(cè)試圖像人眼敏感區(qū)域所分成的子
、J-IJ 2-1
塊數(shù)，Ryi是低分辨率測(cè)試圖像人眼敏感區(qū)域的子塊提取方式，T代表轉(zhuǎn)置。由流形一致性假
設(shè)重建得到人眼敏感區(qū)域的高分辨率圖像XI，其中Xl中與相對(duì)應(yīng)的各子塊斗=DaOi
;對(duì)Xl按式(I)進(jìn)行清晰度評(píng)價(jià)，求得Clear_FA,對(duì)Clear_FA作以下判斷
(dl)如果Clear_FA大于等于清晰度閾值Clear_FA,，則以Xl作為人眼敏感區(qū)域的高分辨率圖像Xrw,輸出結(jié)束。(d2)如果Clear_FA小于清晰度閾值Clear_FA,，則稀疏度L加1，以Clear_FA更新Clear_FA 對(duì)誤差Tr的各子塊Tri進(jìn)行稀疏分解，即式& = DlOri ,重建得到殘差\regr的各子
塊 _n , Xreff-=I，R .是高分辨率測(cè)試圖像人眼敏感區(qū)域的子
Xrepi -\3-1/ M
塊提取方式。(e)以\egr與Xl之和作為新的人眼敏感區(qū)域的高分辨率圖像X2，按式⑴對(duì)X2進(jìn)行清晰度評(píng)價(jià)，求得Clear_FA,對(duì)Clear_FA作以下判斷
(el)如果Clear_FA小于Clear_FA,，則仍以Xl作為人眼敏感區(qū)域的高分辨率圖像\eg,輸出\eg，結(jié)束。(e2)如果 Clear_FA 大于等于 Clear_FAi7,則以 X2 更新 Xl。(e3)如果Clear_FA/Clear_FM大于設(shè)定的閾值C，則稀疏度L加1，重復(fù)(e)，直到輸出人眼敏感區(qū)域的高分辨率圖像\eg或稀疏度大于閾值Lmax或Clear_FA/Clear_FAtt小于C為止，此時(shí)以Xl作為X~，結(jié)束。步驟(4)對(duì)非人眼敏感區(qū)域采用Bicubic插值方法放大。步驟(5)人眼敏感區(qū)域的高分辨率結(jié)果\eg與非人眼敏感區(qū)域的插值結(jié)果在對(duì)應(yīng)位置進(jìn)行相加融合獲得高分辨率圖像。步驟(I)中為使計(jì)算時(shí)間盡可能少，視覺注意機(jī)制模型采用離散余弦變換的脈沖模型。步驟(3)中可通過改變清晰度閾值Clear_FA,實(shí)現(xiàn)對(duì)人眼敏感區(qū)域進(jìn)行質(zhì)量可變的圖像超分辨率重建。本發(fā)明根據(jù)人眼對(duì)圖像內(nèi)容的不同敏感程度，將圖像分成人眼敏感區(qū)域和非敏感區(qū)域，對(duì)不同區(qū)域采用不同的重建策略，對(duì)不敏感區(qū)域采用Bicubic插值方法放大，對(duì)敏感區(qū)域根據(jù)不同需求通過改變清晰度閾值采用質(zhì)量可變的重建方法，兼顧了重建結(jié)果和重建時(shí)間。


圖I基于視覺注意和質(zhì)量可變的圖像超分辨率重建算法框架圖。
具體實(shí)施例方式以下結(jié)合附圖和實(shí)施實(shí)例對(duì)本發(fā)明加以詳細(xì)說明。對(duì)于彩色的RGB圖像，先轉(zhuǎn)換成YUV圖像，在Y分量上進(jìn)行超分辨率重建，而UV分量采用插值放大，然后再將YUV圖像轉(zhuǎn)換成RGB圖像；對(duì)于灰度圖像，直接在灰度圖上進(jìn)行超分辨率重建。對(duì)輸入的低分辨率圖像進(jìn)行3倍放大。將低分辨率圖像分成若干個(gè)大小為3X3的圖像子塊，則相應(yīng)的高分辨率圖像子塊大小為9X9，為了保持圖像子塊間的相容性，對(duì)低分辨率圖像子塊采用I個(gè)重疊像素，則相應(yīng)的高分辨率圖像子塊重疊3個(gè)像素。步驟(I)區(qū)分低分辨率圖像中的人眼敏感區(qū)域與非敏感區(qū)域，具體是
采用視覺注意機(jī)制模型提取出圖像中的顯著區(qū)域，以提取的顯著區(qū)域的外接矩形作為人眼敏感區(qū)域，其余為非敏感區(qū)域；所述的視覺注意機(jī)制模型可采用ITTI提出的視覺注意的計(jì)算模型、離散余弦變換的脈沖模型或四元傅里葉變換的相位譜模型，為使計(jì)算時(shí)間盡可能少，視覺注意機(jī)制模型采用離散余弦變換的脈沖模型。步驟⑵計(jì)算低分辨率圖像人眼敏感區(qū)域的清晰度Clear_F7，具體是
確定清晰度為超分辨率圖像的無參考質(zhì)量評(píng)價(jià)指標(biāo)。清晰度按式(I)計(jì)算。步驟(3)對(duì)人眼敏感區(qū)域采用質(zhì)量可變的超分辨率重建，具體是
(a)按式(2)所示稀疏表示模型訓(xùn)練高、低分辨率過完備字典對(duì)DA、D7(b)計(jì)算人眼敏感區(qū)域高分辨率圖像清晰度閾值Clear_FA, = Clear_F7/K, K是人眼敏感區(qū)域的高低分辨率圖像的模糊度比值，可由對(duì)高低分辨率圖像模糊度進(jìn)行統(tǒng)計(jì)獲得，K I，稀疏度設(shè)為預(yù)定值L ;
(C)如果稀疏度為L(zhǎng)，則執(zhí)行步驟(d)，否則執(zhí)行步驟(e);
(d)對(duì)低分辨率圖像人眼敏感區(qū)域7^中的各子塊進(jìn)行稀疏分解，即式 =A喝，用正交匹配跟蹤法分解得到稀疏向量a由7^減去其稀疏分解表示的圖像 獲得誤差乃，其中M是低分辨率測(cè)試圖像人眼敏感區(qū)域所分成的子
塊數(shù)，Ryi是低分辨率測(cè)試圖像人眼敏感區(qū)域的子塊提取方式，T代表轉(zhuǎn)置。由流形一致性假
設(shè)重建得到人眼敏感區(qū)域的高分辨率圖像XI，其中Xl中與相對(duì)應(yīng)的各子塊斗=DiOi
;對(duì)Xl按式(I)進(jìn)行清晰度評(píng)價(jià)，求得Clear_FA,對(duì)Clear_FA作以下判斷
(dl)如果Clear_FA大于等于清晰度閾值Clear_FA,，則以Xl作為人眼敏感區(qū)域的高分辨率圖像Xrw,輸出Xrw,結(jié)束；
(d2)如果Clear_FA小于清晰度閾值Clear_FA,，則稀疏度L加I，以Clear_FA更新
Clear_FA 對(duì)誤差Tr的各子塊Tri進(jìn)行稀疏分解，即式& = ,重建得到殘差\egr的各子
塊 .是高分辨率測(cè)試圖像人眼敏感區(qū)域的子
塊提取方式。(e)以\egr與Xl之和作為新的人眼敏感區(qū)域的高分辨率圖像X2，按式⑴對(duì)X2進(jìn)行清晰度評(píng)價(jià)，求得Clear_FA,對(duì)Clear_FA作以下判斷
(el)如果Clear_FA小于Clear_FA,，則仍以Xl作為人眼敏感區(qū)域的高分辨率圖像\eg,輸出Ireg,結(jié)束；
(e2)如果Clear_FA大于等于Clear_FAi7,則以X2更新Xl ；
(e3)如果Clear_FA/Clear_FAtt大于設(shè)定的閾值C，則稀疏度L加1，重復(fù)(e)，直到輸出人眼敏感區(qū)域的高分辨率圖像\eg或稀疏度大于閾值Lmax或Clear_FA/Clear_FAtt小于C為止，此時(shí)以Xl作為X~，結(jié)束；
可通過改變清晰度閾值Clear_FA,實(shí)現(xiàn)對(duì)人眼敏感區(qū)域進(jìn)行質(zhì)量可變的圖像超分辨率
重建；
步驟(4)對(duì)非人眼敏感區(qū)域采用Bicubic插值方法放大；
步驟(5)人眼敏感區(qū)域的高分辨率結(jié)果與非人眼敏感區(qū)域的插值結(jié)果在對(duì)應(yīng)位置進(jìn)行相加融合獲得高分辨率圖像?；谝曈X注意和質(zhì)量可變的圖像超分辨率重建方法的實(shí)施過程如圖I所示。
權(quán)利要求
1.一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法，其特征在于該方法包括以下步驟 步驟(I)區(qū)分低分辨率圖像中的人眼敏感區(qū)域與非敏感區(qū)域，具體是 采用視覺注意機(jī)制模型提取出圖像中的顯著區(qū)域，以提取的顯著區(qū)域的外接矩形作為人眼敏感區(qū)域，其余為非敏感區(qū)域；所述的視覺注意機(jī)制模型可采用ITTI提出的視覺注意的計(jì)算模型、離散余弦變換的脈沖模型或四元傅里葉變換的相位譜模型； 步驟(2)計(jì)算低分辨率圖像人眼敏感區(qū)域的清晰度Clear_F7，具體是 確定清晰度為超分辨率圖像的無參考質(zhì)量評(píng)價(jià)指標(biāo)；定義清晰度如式(I)所示，其中Clear_Fm為清晰度，blur_Fm為模糊度；
2.根據(jù)權(quán)利要求I所示的一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法，其特點(diǎn)在于步驟(I)中為使計(jì)算時(shí)間盡可能少，視覺注意機(jī)制模型采用離散余弦變換的脈沖模型。
3.根據(jù)權(quán)利要求I所示的一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法，其特點(diǎn)在于步驟(3)中可通過改變清晰度閾值Clear_FA,實(shí)現(xiàn)對(duì)人眼敏感區(qū)域進(jìn)行質(zhì)量可變的圖像超分辨率重建。
全文摘要
本發(fā)明涉及一種基于視覺注意和質(zhì)量可變的圖像超分辨率重建方法。本發(fā)明的具體步驟是首先，對(duì)低分辨率圖像區(qū)分人眼敏感區(qū)域與非敏感區(qū)域；其次，計(jì)算低分辨率圖像人眼敏感區(qū)域的清晰度,根據(jù)清晰度通過補(bǔ)償人眼敏感區(qū)域的高分辨率子塊殘差，采用質(zhì)量可變的超分辨率重建；最后，對(duì)非人眼敏感區(qū)域采用Bicubic方法放大，并和人眼敏感區(qū)域的高分辨率重建結(jié)果融合得到高分辨率圖像。本發(fā)明根據(jù)人眼對(duì)圖像內(nèi)容的不同敏感程度，將圖像分成人眼敏感區(qū)域和非敏感區(qū)域，對(duì)不同區(qū)域采用不同的重建策略，對(duì)不敏感區(qū)域采用Bicubic插值方法放大，對(duì)敏感區(qū)域根據(jù)不同需求采用質(zhì)量可變的重建方法，兼顧了重建結(jié)果和重建時(shí)間。
文檔編號(hào)G06T3/40GK102722875SQ20121017003
公開日2012年10月10日 申請(qǐng)日期2012年5月29日 優(yōu)先權(quán)日2012年5月29日
發(fā)明者陳華華 申請(qǐng)人:杭州電子科技大學(xué)