專利名稱：結(jié)合gmrf先驗的非局部圖像修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及圖像修復(fù)，可用于復(fù)原照片破損區(qū)域及圖像 中目標(biāo)物的移除。
背景技術(shù)：
圖像修復(fù)是圖像復(fù)原研究中的一個重要內(nèi)容，它的目的是利用圖像中現(xiàn)有的已知 信息，通過一定的規(guī)則來修復(fù)圖像中破損的部分，使修復(fù)后的圖像能夠接近原圖?，F(xiàn)有的圖像修復(fù)方法大致可以分為基于結(jié)構(gòu)的修復(fù)方法和基于紋理的修復(fù)方法 兩大類。其中基于結(jié)構(gòu)的修復(fù)方法本質(zhì)上都是一種基于偏微分方程的修復(fù)方法，最早由 Bertalmio 等人提出，參見 M. Bertalmil, G. Sapiro, V. Caselles, and C. Ballester,《Image Inpainting)), Proceddings of Internatioanl Conferemce on Computer Graphics and Interactive Techniques, July 2000，p417_424。隨后由 Chan 等人提出的基于總體變分 TV模型的修復(fù)方法，以及由TV修復(fù)模型啟發(fā)產(chǎn)生的曲率驅(qū)動擴(kuò)散CDD模型修復(fù)方法都屬于 基于結(jié)構(gòu)的修復(fù)方法。這些方法都是通過信息的擴(kuò)散的來實現(xiàn)的，僅適用于非紋理圖像以 及小尺度破損的圖像修復(fù)。Criminisi等人提出的基于樣本的修復(fù)方法是一種基于紋理的修復(fù)方法，該方 法借鑒了紋理合成方法中的思想來尋找樣本塊并匹配復(fù)制，同時充分利用了基于結(jié)構(gòu)的 修復(fù)方法中的擴(kuò)散方式來定義修復(fù)塊的優(yōu)先級，使得處在具有較多結(jié)構(gòu)信息的邊緣附近 的修復(fù)塊具有較高的修復(fù)優(yōu)先級，從而在修復(fù)紋理信息的同時對結(jié)構(gòu)信息也有一定的保 持。參見 A. Criminisi，P. Perez, K. Toyama，《Region Filling and Object Removal by Exemplar-Based Image Inpainting》，IEEE Trans. Image Processing，vol. 13，No. 9， Sep. 2004,pl200-1212.該方法采用單個樣本塊直接填充待修復(fù)區(qū)域，由于實際中很難使樣 本塊與待修復(fù)塊達(dá)到最優(yōu)匹配，因此在填充待修復(fù)塊時會存在一定的誤差，隨著修復(fù)過程 的進(jìn)行，這種做法會造成誤差的累積。Alexander Wong和Jeff Orchar提出了一種基于樣本的非局部均值修復(fù)算法，采 用多個樣本塊的加權(quán)均值來合成用于填充待修復(fù)區(qū)域的填充塊，在一定程度上改善了基于 樣本修復(fù)方法的缺陷。參見 Alexander Wong, JefTOrchar,《ANonlocal-Means Approach to Exemplar-Based Inpainting)), 15th IEEE International Conference on Image Processing, 2008, p2600-2603.該方法由于使用一個衰減系數(shù)為常數(shù)的負(fù)指數(shù)函數(shù)來計算 樣本塊與待修復(fù)塊的相似性權(quán)值，而不同的待修復(fù)塊中所包含的信息是不同的，這樣做勢 必會造成相似性權(quán)值的計算不夠準(zhǔn)確，進(jìn)而導(dǎo)致修復(fù)結(jié)果不能很好的連接圖像中的細(xì)節(jié)紋 理。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服基于樣本的非局部均值修復(fù)方法的不足，提出了一種基于 GMRF的非局部均值圖像修復(fù)方法，該方法在基于樣本的非局部均值修復(fù)方法的基礎(chǔ)上結(jié)合了高斯隨機(jī)場GMRF模型，構(gòu)造一個自適應(yīng)的權(quán)值計算公式，以更準(zhǔn)確的估計不同樣本塊對 于合成填充塊的貢獻(xiàn)，使圖像修復(fù)結(jié)果中的細(xì)節(jié)紋理清晰，從而改善修復(fù)效果。為實現(xiàn)上述目的，本發(fā)明的實現(xiàn)方法包括如下步驟(1)對于輸入的待修復(fù)圖像I，定義待修復(fù)區(qū)域為Ω，已知區(qū)域為源區(qū)Φ，確定待 修復(fù)區(qū)域的邊界為δ ；(2)對于中心點(diǎn)ρ在邊界δ上的修復(fù)塊Ψρ，計算其修復(fù)優(yōu)先級P (P)，找出優(yōu)先級 最高的修復(fù)塊％，并對％使用高斯隨機(jī)場GMRF建模，Ψρ的修復(fù)優(yōu)先級定義為P(p) =C(p) D(p)，其中C(p)為置信度項，D(p)為數(shù)據(jù)項，分別定義為
Σ C(q) , + ,q為修復(fù)塊ψρ中像素值已知的點(diǎn)，C(q)為點(diǎn)q的置信度，| Ψρ|為修復(fù)塊Ψρ的 面積，α為標(biāo)準(zhǔn)化參數(shù)，對于灰度圖像α = 255，ηρ為在ρ處與待修復(fù)區(qū)域邊界垂直的單位 向量，V//為與P點(diǎn)處的梯度垂直的單位向量，即P點(diǎn)處等照度線方向的單位向量，C(p)初 始化為 C(p) = 0,V^eQ,C(p) = l,V^e/-Q；(3)按照如下的步驟找出與待修復(fù)塊Yi)最相似的η個樣本塊3a)以優(yōu)先級最高的修復(fù)塊Yf的中心點(diǎn)力為中心，選取大小為MXM的鄰域為該修 復(fù)塊的搜尋區(qū)域；3b)計算搜尋區(qū)域內(nèi)每個樣本塊Vi與修復(fù)塊％的相似性距離 定義為％與Vi中已知點(diǎn)像素差的平方和；3c)對相似性距離按照從小到大的順序排序，取出前η個樣本塊，η = 15 ；(4)使用如下基于GMRF模型的自適應(yīng)權(quán)值公式，分別計算前η個樣本塊Vi和待 修復(fù)塊％的相似性權(quán)值
Γ /、 1 fω {Ψι) = r-^ exp LL
^πσρ2 [ h J其中斤/為修復(fù)塊^的方差，h定義為Λ = 2^^2·，|Nj為修復(fù)塊^中像素值已 知的點(diǎn)的個數(shù)，β為一個控制參數(shù)，取β =0.8；(5)根據(jù)得到的相似性權(quán)值計算前η個樣本塊的加權(quán)均值，作為填充待修復(fù)塊％ 的填充塊UV，并對該待修復(fù)塊Yf進(jìn)行填充；(6)更新置信度項及待修復(fù)區(qū)域，當(dāng)具有最高優(yōu)先級的修復(fù)塊被修復(fù)后，將已修復(fù) 點(diǎn)的置信度更新為當(dāng)前修復(fù)塊中心點(diǎn)的置信度值，即C(p) = C(p),VpG^pI Ω，C(》)為當(dāng)前修復(fù)塊中心點(diǎn)的置信度；(7)重復(fù)步驟(1) (6)，直至待修復(fù)區(qū)域內(nèi)的所有點(diǎn)被修復(fù)。
本發(fā)明與現(xiàn)有技術(shù)相比有以下優(yōu)點(diǎn)1.本發(fā)明結(jié)合GMRF模型，構(gòu)造一個自適應(yīng)的權(quán)值計算公式，能夠很好的利用圖像 本身的信息，更準(zhǔn)確的估計不同樣本塊對于合成填充塊的貢獻(xiàn)，使圖像修復(fù)結(jié)果中的細(xì)節(jié) 紋理清晰，從而改善修復(fù)效果。
2.本發(fā)明使用自適應(yīng)的權(quán)值計算公式，不需要對不同的圖像設(shè)置不同的參數(shù)，易 于實現(xiàn)。
圖1是本發(fā)明的流程圖2是本發(fā)明修復(fù)優(yōu)先級的示意圖3是本發(fā)明修復(fù)圖像破損區(qū)域?qū)嶒炇褂玫膱D像
圖4是對圖3修復(fù)結(jié)果的局部放大圖5是本發(fā)明去除圖像中文本實驗使用的圖像；
圖6是對圖5的修復(fù)結(jié)果；
圖7是對圖5修復(fù)結(jié)果的局部放大圖8是本發(fā)明去除圖像中目標(biāo)物實驗使用的圖像
圖9是對圖8的修復(fù)結(jié)果；
圖10是對圖8修復(fù)結(jié)果的局部放大圖。
具體實施例方式參照附圖1，本發(fā)明的實現(xiàn)步驟如下步驟1，對待修復(fù)圖像I，確定待修復(fù)區(qū)域Q及其邊界S，將圖像中已知的區(qū)域定 義為源區(qū)①，即O = I-Q，本發(fā)明使用的待修復(fù)圖像I如圖3(b)，圖5(b)，圖8(b)所示。步驟2，對于中心點(diǎn)p在邊界8處的待修復(fù)塊11%，計算其修復(fù)優(yōu)先級P(p)，并找 出優(yōu)先級最高的修復(fù)塊Yi)，對Yi)使用高斯隨機(jī)場GMRF建模2. 1)將待修復(fù)塊Vp的修復(fù)優(yōu)先級定義為P(p) = C(p)D(p)1)
yC(q)其中，C(p)為置信度項，H)——，
WAD(p)為數(shù)據(jù)項，廣 I，
aq為修復(fù)塊Vp中像素值已知的點(diǎn)，C(q)為點(diǎn)q的置信度，| Vp|為修復(fù)塊Vp的 面積，a為標(biāo)準(zhǔn)化參數(shù)，對于灰度圖像a = 255，np為在p處與待修復(fù)區(qū)域邊界垂直的單 位向量，V//為p點(diǎn)處與梯度垂直的單位向量，即等照度線方向，C(p)初始化為C(p) =0， V/7 g Q , C (p) = 1,V^g/-Q；2. 2)找出具有最高優(yōu)先級的待修復(fù)塊Yf，對其使用GMRF建模，計算它的方差 計算待修復(fù)塊％內(nèi)所有像素值已知點(diǎn)(x，y)的灰度值fx,y與其四鄰域點(diǎn)(x+i，y+j)的灰度 值之差A(yù)f = fx,y-fx+i,rt.，將這些差值的方差作為待修復(fù)塊Yf的方差。步驟3，對于Yi)，使用基于GMRF的非局部均值方法對其進(jìn)行修復(fù)。3. 1)以優(yōu)先級最高的修復(fù)塊％的中心點(diǎn)力為中心，選取大小為MXM的鄰域為該 修復(fù)塊的搜尋區(qū)域，M = 41，計算搜尋區(qū)域內(nèi)每個樣本塊^與修復(fù)塊％的相似性距離 d(ij/p見、,d(ij/p見、定義為與中已知點(diǎn)像素差的平方和；
3.2)對相似性距離按照從小到大的順序排序，取出前η個樣本塊，η = 15，分別計算這前η個樣本塊&與待修復(fù)塊Yi)的相似性權(quán)值ω (Vi)
ΓΠ/、1 O、ω ψλ=,——^ exp ^-2) ^πσρ2 [ h J其中斤/為修復(fù)塊^的方差，/ζ = 2^^2·，|Ν」為待修復(fù)塊％中像素值已知點(diǎn)的 個數(shù)，β為一個控制參數(shù)，取β =0.8；3. 3)根據(jù)權(quán)值公式2)得到的相似性權(quán)值計算這η個樣本塊的加權(quán)均值Ψρ,
ηj ηψρ,=^ω(ψ )ψ1 ^ω(ψ )3)
i=\ / i=\其中Vi為取出的前η個樣本塊；3. 4)使用UV對該待修復(fù)塊Yi進(jìn)行填充。步驟4，當(dāng)具有最高優(yōu)先級的修復(fù)塊Yf被填充后，將該修復(fù)塊中已修復(fù)點(diǎn)的置信度 更新為當(dāng)前修復(fù)塊中心點(diǎn)的置信度值，即C (p) = C (p)Vp G Ω4)為當(dāng)前修復(fù)塊中心點(diǎn)的置信度，重復(fù)以上四個步驟，直至待修復(fù)區(qū)域內(nèi)的所 有點(diǎn)被修復(fù)。本發(fā)明效果可以通過以下實驗進(jìn)一步證實一、實驗條件和內(nèi)容實驗條件實驗所使用的圖像如圖3，圖5，圖8所示。其中圖3(a)為修復(fù)圖像中 破損區(qū)域?qū)嶒灥脑瓐D，圖3(b)為待修復(fù)圖像，圖5 (a)為去除文本實驗的原圖，圖5(b)為待 修復(fù)圖，圖8(a)為目標(biāo)物移除實驗的原圖，圖8(b)為對要移除目標(biāo)物的標(biāo)記圖，實驗中各 種對比方法都是使用MATLAB語言編程實現(xiàn)。實驗內(nèi)容在上述實驗條件下，分別使用Criminisi方法，基于樣本的非局部均值修復(fù)方法 和本發(fā)明進(jìn)行實驗，其中修復(fù)塊大小取9X9，搜尋區(qū)域大小為MXM，M = 41，取15個樣本塊 進(jìn)行加權(quán)平均。進(jìn)行修復(fù)圖像中破損區(qū)域?qū)嶒?，其實驗結(jié)果如圖4，其中圖4(a)為原圖的局部放 大圖，圖4(b)為使用Criminisi方法結(jié)果的局部放大圖，圖4(c)為使用基于樣本的非局部 均值修復(fù)方法結(jié)果的局部放大圖，圖4 (d)為使用本發(fā)明結(jié)果的局部放大圖。進(jìn)行去除文本實驗，其實驗結(jié)果如圖6，其中圖6 (a)為使用Criminisi方法的結(jié)果 圖，圖6(b)為使用基于樣本的非局部均值方法的結(jié)果圖，圖6(c)為使用本發(fā)明的結(jié)果圖。 為了進(jìn)一步說明實驗效果，對圖6的結(jié)果進(jìn)行局部放大，如圖7，其中圖7(a)為原圖的局部 放大圖，圖7(b)為Criminisi方法的局部放大圖，圖7(c)為基于樣本的非局部均值方法的 局部放大圖，圖7(d)為本發(fā)明修復(fù)方法結(jié)果的局部放大圖。進(jìn)行圖像中目標(biāo)物移除實驗，其實驗結(jié)果如圖9，其中圖9(a)是Criminisi方法 結(jié)果，圖9(b)為基于樣本的非局部均值方法結(jié)果，圖9 (c)為本發(fā)明方法的修復(fù)結(jié)果。對圖 9的結(jié)果進(jìn)行局部放大，如圖10，其中圖10(a)是Criminisi方法修復(fù)結(jié)果的局部放大圖， 圖10(b)是基于樣本的非局部均值方法修復(fù)結(jié)果的局部放大圖，圖10(c)是使用本發(fā)明得到的修復(fù)結(jié)果的局部放大圖。表1列出了使用三種不同方法得到的修復(fù)破損區(qū)域?qū)嶒灱拔谋救コ龑嶒灲Y(jié)果的 峰值信噪比PSNR值。表1使用不同方法修復(fù)結(jié)果的PSNR值對比
權(quán)利要求
一種結(jié)合GMRF先驗的非局部圖像修復(fù)方法，包括如下步驟(1)對于輸入的待修復(fù)圖像I，定義待修復(fù)區(qū)域為Ω，已知區(qū)域為源區(qū)Φ，確定待修復(fù)區(qū)域的邊界為δ；(2)對于中心點(diǎn)p在邊界δ上的修復(fù)塊ψp，計算其修復(fù)優(yōu)先級P(p)，找出優(yōu)先級最高的修復(fù)塊并對使用高斯隨機(jī)場GMRF建模，ψp的修復(fù)優(yōu)先級定義為P(p)＝C(p)D(p)，其中C(p)為置信度項，D(p)為數(shù)據(jù)項，分別定義為 <mrow><mi>C</mi><mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><msub> <mi>Σ</mi> <mrow><mi>q</mi><mo>∈</mo><msub> <mi>ψ</mi> <mrow><mi>pI</mi><mrow> <mo>(</mo> <mi>I</mi> <mo>-</mo> <mi>Ω</mi> <mo>)</mo></mrow> </mrow></msub> </mrow></msub><mi>C</mi><mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo></mrow> </mrow> <mrow><mo>|</mo><msub> <mi>ψ</mi> <mi>p</mi></msub><mo>|</mo> </mrow></mfrac> </mrow> <mrow><mi>D</mi><mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mo>|</mo><mo>▿</mo><msup> <msub><mi>I</mi><mi>p</mi> </msub> <mo>⊥</mo></msup><mo>·</mo><msub> <mi>n</mi> <mi>p</mi></msub><mo>|</mo> </mrow> <mi>α</mi></mfrac> </mrow>q為修復(fù)塊ψp中像素值已知的點(diǎn)，C(q)為點(diǎn)q的置信度，|ψp|為修復(fù)塊ψp的面積，α為標(biāo)準(zhǔn)化參數(shù)，對于灰度圖像α＝255，np為在p處與待修復(fù)區(qū)域邊界垂直的單位向量，為與p點(diǎn)處的梯度垂直的單位向量，即p點(diǎn)處等照度線方向的單位向量，C(p)初始化為C(p)＝0，C(p)＝1，(3)按照如下的步驟找出與待修復(fù)塊最相似的n個樣本塊3a)以優(yōu)先級最高的修復(fù)塊的中心點(diǎn)為中心，選取大小為M×M的鄰域為該修復(fù)塊的搜尋區(qū)域；3b)計算搜尋區(qū)域內(nèi)每個樣本塊ψi與修復(fù)塊的相似性距離定義為與ψi中已知點(diǎn)像素差的平方和；3c)對相似性距離按照從小到大的順序排序，取出前n個樣本塊，n＝15；(4)使用如下基于GMRF模型的自適應(yīng)權(quán)值公式，分別計算前n個樣本塊ψi和待修復(fù)塊的相似性權(quán)值 <mrow><mi>ω</mi><mrow> <mo>(</mo> <msub><mi>ψ</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mrow><msqrt> <mn>2</mn> <mi>π</mi></msqrt><msup> <msub><mover> <mi>σ</mi> <mo>^</mo></mover><mi>p</mi> </msub> <mn>2</mn></msup> </mrow></mfrac><mi>exp</mi><mrow> <mo>(</mo> <mo>-</mo> <mfrac><mrow> <mi>d</mi> <mrow><mo>(</mo><msub> <mi>ψ</mi> <mover><mi>p</mi><mo>^</mo> </mover></msub><mo>,</mo><msub> <mi>ψ</mi> <mi>i</mi></msub><mo>)</mo> </mrow></mrow><mi>h</mi> </mfrac> <mo>)</mo></mrow> </mrow>其中為修復(fù)塊的方差，h定義為|Ni|為修復(fù)塊中像素值已知的點(diǎn)的個數(shù)，β為一個控制參數(shù)，取β＝0.8；(5)根據(jù)得到的相似性權(quán)值計算前n個樣本塊的加權(quán)均值，作為填充待修復(fù)塊的填充塊ψp′，并對該待修復(fù)塊進(jìn)行填充；(6)更新置信度項及待修復(fù)區(qū)域，當(dāng)具有最高優(yōu)先級的修復(fù)塊被修復(fù)后，將已修復(fù)點(diǎn)的置信度更新為當(dāng)前修復(fù)塊中心點(diǎn)的置信度值，即為當(dāng)前修復(fù)塊中心點(diǎn)的置信度；(7)重復(fù)步驟(1)～(6)，直至待修復(fù)區(qū)域內(nèi)的所有點(diǎn)被修復(fù)。FDA0000031305370000011.tif,FDA0000031305370000012.tif,FDA0000031305370000015.tif,FDA0000031305370000016.tif,FDA0000031305370000017.tif,FDA0000031305370000018.tif,FDA0000031305370000019.tif,FDA00000313053700000110.tif,FDA00000313053700000111.tif,FDA00000313053700000112.tif,FDA00000313053700000113.tif,FDA00000313053700000114.tif,FDA00000313053700000115.tif,FDA00000313053700000116.tif,FDA00000313053700000118.tif,FDA00000313053700000119.tif,FDA00000313053700000120.tif,FDA00000313053700000121.tif,FDA00000313053700000122.tif,FDA00000313053700000123.tif,FDA0000031305370000021.tif,FDA0000031305370000022.tif,FDA0000031305370000023.tif
2.根據(jù)權(quán)利要求書1所述的基于GMRF模型的非局部均值圖像修復(fù)方法，其特征在于步 驟(2)所述的對使用高斯隨機(jī)場GMRF建模，按如下步驟進(jìn)行2a)計算待修復(fù)塊％內(nèi)所有像素值已知點(diǎn)(x，y)的灰度值fx,y與其四鄰域點(diǎn)(x+i，y+j) 的灰度值 fx+i,y+j 之差A(yù)f = fx,y-fx+i,y+J ；2b)計算圖像中所有像素值已知的點(diǎn)與其四鄰域點(diǎn)灰度值之差A(yù)f的方差作為待修復(fù) 塊％的方差之2。
3.根據(jù)權(quán)利要求書1所述的基于GMRF模型的非局部均值圖像修復(fù)方法，其特征在于步 驟(5)所述的根據(jù)得到的相似性權(quán)值計算前η個樣本塊的加權(quán)均值，是通過如下加權(quán)均值 公式計算
全文摘要
本發(fā)明公開了一種結(jié)合GMRF先驗的非局部圖像修復(fù)方法，它屬于圖像處理技術(shù)領(lǐng)域，主要解決現(xiàn)有基于樣本的非局部均值修復(fù)方法中相似性權(quán)值計算不準(zhǔn)確的問題，其實現(xiàn)過程是(1)對待修復(fù)圖像I，確定待修復(fù)區(qū)域Ω及其邊界δ；(2)計算中心點(diǎn)在邊界上的待修復(fù)塊的優(yōu)先級P(p)，找出優(yōu)先級最高的修復(fù)塊并對使用GMRF建模；(3)在搜尋區(qū)內(nèi)搜索與待修復(fù)塊最相似的n個樣本塊，使用基于GMRF的非局部均值方法得到作為填充待修復(fù)塊的填充塊ψp′；(4)更新置信度項及待修復(fù)區(qū)域，重復(fù)步驟(1)-(4)直至待修復(fù)區(qū)域內(nèi)的所有點(diǎn)被修復(fù)。本發(fā)明能夠更好的連接圖像紋理信息，并能使修復(fù)結(jié)果在亮度上更接近于原圖，可用于修復(fù)圖像破損區(qū)域及圖像中目標(biāo)物的移除。
文檔編號G06T5/00GK101980285SQ20101053625
公開日2011年2月23日 申請日期2010年11月9日 優(yōu)先權(quán)日2010年11月9日
發(fā)明者侯彪, 劉芳, 張小華, 焦李成, 王婷, 王爽, 緱水平, 鐘樺 申請人:西安電子科技大學(xué)