基于塊幾何稀疏的圖像修復(fù)方法
【專利摘要】本發(fā)明公開了一種基于塊幾何稀疏度的圖像修復(fù)方法，主要解決現(xiàn)有技術(shù)對結(jié)構(gòu)區(qū)域修復(fù)出現(xiàn)失真的問題。其實現(xiàn)過程是：(1)對待修復(fù)區(qū)域邊界上的每個像素計算其幾何稀疏度，并根據(jù)幾何稀疏度將邊界像素分為結(jié)構(gòu)像素和非結(jié)構(gòu)像素；(2)對待修復(fù)區(qū)域邊界上的結(jié)構(gòu)像素按其結(jié)構(gòu)的方向進行修復(fù)，直到多個結(jié)構(gòu)方向的交點區(qū)域；(3)用Criminisi方法對待修復(fù)的非結(jié)構(gòu)區(qū)域進行修復(fù)，直到僅剩下交點區(qū)域；(4)對多個結(jié)構(gòu)方向的交點區(qū)域進行修復(fù)，恢復(fù)出與原圖像接近的結(jié)果圖像。本發(fā)明能夠有效的恢復(fù)圖像的結(jié)構(gòu)，獲得高質(zhì)量的圖像修復(fù)結(jié)果，可用于圖像處理及目標(biāo)物的移除。
【專利說明】基于塊幾何稀疏的圖像修復(fù)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，具體地說是一種圖像修復(fù)方法，可用于對自然圖像的復(fù)原。

【背景技術(shù)】
[0002]數(shù)字圖像修復(fù)是圖像復(fù)原研究中的一個重要內(nèi)容，它的目的是根據(jù)圖像現(xiàn)有的信息來自動恢復(fù)丟失的信息，可以用于移除數(shù)字圖像上標(biāo)物或文字、美術(shù)作品或舊照片中的的刮痕或丟失信息等的修復(fù)。因此，數(shù)字圖像修復(fù)在數(shù)字圖像處理領(lǐng)域中占據(jù)著舉足輕重的地位，成為該領(lǐng)域最基本技術(shù)之一。但是，由于待修復(fù)區(qū)域的圖像是未知的，因此數(shù)字圖像修復(fù)是一個很難解決的問題。
[0003]現(xiàn)有的修復(fù)方法大致可以分為兩類，一類是基于結(jié)構(gòu)的修復(fù)方法，一類是基于紋理的修復(fù)方法。
[0004]基于結(jié)構(gòu)的修復(fù)方法，其本質(zhì)上都是一種基于偏微分方程的修復(fù)方法，主要有基于偏微分方程的修復(fù)方法BSCB、基于TV模型的修復(fù)方法、基于曲率驅(qū)動擴散模型的修復(fù)方法等，這些方法對非紋理圖像有較好修復(fù)的修復(fù)效果，然而對于紋理區(qū)域，往往會造成紋理區(qū)域的丟失。
[0005]基于紋理的修復(fù)方法，其心思想是紋理合成技術(shù)，在此基礎(chǔ)上，Criminisi等人提出了一種基于樣本優(yōu)先權(quán)的圖像修復(fù)方法，該方法借鑒了紋理合成技術(shù)方法的思想，利用圖像塊之間相似性尋找樣本塊，同時該方法充分利用了傳統(tǒng)的基于結(jié)構(gòu)的數(shù)字圖像修復(fù)方法中使用的擴散方式來定義一個待修復(fù)塊的優(yōu)先級。基于塊稀疏的塊擴散圖像修復(fù)方法提出了新的優(yōu)先權(quán)判斷方法，引進了圖像塊之間的結(jié)構(gòu)信息，改善了優(yōu)先權(quán)順序，這種方法通過像素塊之間的稀疏度來度量優(yōu)先權(quán)，改善了 Criminisi中優(yōu)先權(quán)對紋理和結(jié)構(gòu)區(qū)域不能很好區(qū)分的問題，但是對不規(guī)則紋理區(qū)域的優(yōu)先權(quán)判斷還是不準(zhǔn)確。
[0006]上述基于紋理的圖像修復(fù)方法，都是通過控制置信度項來使待修復(fù)區(qū)域一圈圈的由外向內(nèi)擴散修復(fù)。當(dāng)圖像中存在較大結(jié)構(gòu)區(qū)域丟失時，造成結(jié)構(gòu)向兩側(cè)擴散，使得結(jié)構(gòu)區(qū)域處出現(xiàn)失真。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于針對上述已有技術(shù)的問題，提出一種基于塊幾何稀疏的圖像修復(fù)方法，以通過相似塊之間的方向信息來計算優(yōu)先權(quán)，提高不規(guī)則紋理區(qū)域優(yōu)先權(quán)判斷的準(zhǔn)確性，同時通過優(yōu)先修復(fù)結(jié)構(gòu)區(qū)域，減少結(jié)構(gòu)區(qū)域的失真，保持結(jié)構(gòu)區(qū)域的一致性。
[0008]為實現(xiàn)上述目的，本發(fā)明包括如下步驟:
[0009](I)輸入待修復(fù)圖像I，確定待修復(fù)區(qū)域Ω和待修復(fù)區(qū)域邊男δΩ
[0010](2)對中心點在待修復(fù)區(qū)域邊Λ I O h的待修復(fù)塊Ψρ在其tXt鄰域內(nèi)尋找相似塊八，得到相似塊集合,……Ψ&1，并計算出待修復(fù)塊Ψρ與相似塊'之間的水平夾角α」，得到夾角集合(Ct1, α 2)…a jy…α N}，j = 1，2…N，N為相似塊個數(shù)；
[0011](3)計算待修復(fù)塊ψρ與相似塊凡水平夾角a J的加權(quán)方差:

【權(quán)利要求】
1.一種基于塊幾何稀疏度的圖像修復(fù)方法，包括下步驟: (1)輸入待修復(fù)圖像I，確定待修復(fù)區(qū)域Ω和待修復(fù)區(qū)域邊界(3Ω; (2)對中心點在待修復(fù)區(qū)域邊界CO上的待修復(fù)塊Ψρ在其tXt鄰域內(nèi)尋找相似塊Ψ&，得到相似塊集介P..',,...1,}，并計算出待修復(fù)塊Ψρ與相似塊1^.之間的水平夾角Cl j,得到夾角集甘I U !, α 2)…α」，…α N}，j = 1，2…N, N為相似塊個數(shù)； (3)計算待修復(fù)塊Ψρ與相似塊水平夾角aj的加權(quán)方差:
其中?是夾角集合的均值，W」是距離權(quán)值，表示待修復(fù)塊Ψρ與相似塊4 P心點之間的距離； (4)根據(jù)加權(quán)方差V(p)計算中心點在待修復(fù)區(qū)域邊界0Ω上的所有待修復(fù)塊Ψρ的幾何稀疏度G (P):
其中h是平滑參數(shù)h = 3 XN273 X σ2，σ是方差，取值為5 ； (5)根據(jù)幾何稀疏度G(P)將待修復(fù)塊Ψρ的優(yōu)先權(quán)定義為:
Sg (P) = G (P) *C (P)， 其中C(p)是置信度項； (6)根據(jù)幾何稀疏度G(p)把待修復(fù)區(qū)域邊界(3Ω分為結(jié)構(gòu)區(qū)域L1和非結(jié)構(gòu)區(qū)域L2； (7)對以結(jié)構(gòu)區(qū)域L1中像素點P為中心的待修復(fù)塊Ψρ，通過歐式距離在其tXt鄰域內(nèi)尋找M個最相似塊，并利用M個最相似塊擬合通過像素點P的直線，計算所有直線的交點，直線方向即為通過像素點P的結(jié)構(gòu)邊緣方向；保留這些交點中與最近結(jié)構(gòu)區(qū)域L1中像素點距離小于9的所有交點，交點鄰域L3為所有保留交點的I1Xt1鄰域集合，其中M取值為 22，； (8)對以結(jié)構(gòu)區(qū)域L1中像素點為中心的塊根據(jù)優(yōu)先權(quán)Se(p)進行塊填充修復(fù)，直到結(jié)構(gòu)區(qū)域L1屬于交點鄰域L3為止； (9)用Criminisi優(yōu)先權(quán)對非結(jié)構(gòu)區(qū)域L2中的塊進行塊填充修復(fù)，直到非結(jié)構(gòu)區(qū)域L2中像素點都被填充修復(fù)； (10)根據(jù)優(yōu)先權(quán)式Se(p)對交點鄰域L3進行塊填充修復(fù)，直到交點鄰域L3中像素點都被填充修復(fù)，恢復(fù)出與原圖像接近的結(jié)果圖像。
2.根據(jù)權(quán)利要求1所述的基于塊幾何稀疏度的圖像修復(fù)方法，其特征在于步驟(2)所述的尋找待修復(fù)塊Ψρ的相似塊，是對中心點在待修復(fù)區(qū)域邊界3Ω上的待修復(fù)塊Ψρ按照下式在其tXt鄰域內(nèi)尋找相似塊P
其中d(.)表示歐式距離，|ψρ|表示待修復(fù)塊像素點個數(shù)，T是閾值，取值為.2.5ο
3.根據(jù)權(quán)利要求1所述的基于塊幾何稀疏度的圖像修復(fù)方法，其特征在于步驟(J)所述的利用M個最相似塊擬合通過像素點P的直線，按如下步驟進行: (7a)對以結(jié)構(gòu)區(qū)域L1中像素點P為中心的待修復(fù)塊Ψρ，通過歐式距離在其tXt鄰域內(nèi)尋找M個最相似塊{Ψ” Ψ2,…Wi"' ΨΜ}，i = 1，2...Μ; (7b)利用如下公式擬合通過像素點P坐標(biāo)的直線y = Ax+B:
其中Xpyi為相似塊Wi中心點坐標(biāo)，A為直線的斜率，B為直線在y軸的截距，同時直線的斜率A和直線在y軸的截距B滿足:
Yp-Axp-B = O, 其中xP、Yp為待修復(fù)塊ΨΡ中心點坐標(biāo)。
4.根據(jù)權(quán)利要求1所述的基于塊幾何稀疏度的圖像修復(fù)方法，其特征在于步驟(8)所述對以結(jié)構(gòu)區(qū)域L1中像素點為中心的塊根據(jù)優(yōu)先權(quán)Se(p)進行塊填充修復(fù)，按照如下步驟進行: (8a)對以結(jié)構(gòu)區(qū)域L1中像素點為中心點待修復(fù)塊p和，選取優(yōu)先權(quán)Se(P1)最高的待修復(fù)塊; (8b)對于優(yōu)先權(quán)最高的待修復(fù)塊，通過歐式距離在tXt鄰域內(nèi)尋找其最相似塊 ，將待修復(fù)塊中位于待修復(fù)區(qū)域的像素點的值用最相似塊1中相同位置的像素點的值覆蓋； (Sc)將已完成值覆蓋的點的置信度C(么)置為待修復(fù)塊Ψ中心點的置信度項C(qi)，即:
其中々I表不已完成值覆蓋的點。
5.根據(jù)權(quán)利要求1所述的基于塊幾何稀疏度的圖像修復(fù)方法，其特征在于步驟(9)所述用Criminisi方法對非結(jié)構(gòu)區(qū)域L2中塊的優(yōu)先權(quán)進行塊填充修復(fù)，按照如下步驟進行: (9a)確定非結(jié)構(gòu)區(qū)域L2中的待修復(fù)區(qū)域邊晃cO (9b)對中心點位于待修復(fù)區(qū)域邊界0Ω上的待修復(fù)塊采用下式計算待修復(fù)塊的Criminisi優(yōu)先權(quán):
Sd (P2) = D (ρ2) *C (p2), 其中D(P2)為像素點P2的數(shù)據(jù)項，C(P2)為像素點P2置信度項； (9c)對于優(yōu)先權(quán)最高的待修復(fù)塊Ψ，通過歐式距離在tXt鄰域內(nèi)尋找其最相似塊 ，將待修復(fù)塊1!^中位于待修復(fù)區(qū)域的像素點的值用最相似塊中相同位置的像素點的值覆蓋；(9d)將已完成值覆蓋的點的置信度0(?):置為待修復(fù)塊vPft中心點的置信度項C(q2):
其中毛表示已完成值覆蓋的點。
6.根據(jù)權(quán)利要求1所述的基于塊幾何稀疏度的圖像修復(fù)方法，其特征在于步驟(10)所述根據(jù)優(yōu)先權(quán)式Se(p)對交點鄰域L3進行塊填充修復(fù)，按照如下步驟進行: (1a)確定交點鄰域L3中的待修復(fù)區(qū)域邊界(5Ω; (1b)對中心點位于待修復(fù)區(qū)域邊界3Ω上的待修復(fù)塊，根據(jù)優(yōu)先權(quán)式Se(P)計算待修復(fù)塊11^的優(yōu)先權(quán)；(1c)對于優(yōu)先權(quán)最高的待修復(fù)塊l^3，通過歐式距離在tXt鄰域內(nèi)尋找其最相似塊Ψ?3，將待修復(fù)塊Ψ,3中位于待修復(fù)區(qū)域的像素點的值用最相似塊中相同位置的像素點的值覆蓋； (1d)將已完成值覆蓋的點的置信度C(I)置為待修復(fù)塊xFft中心點(13的置信度C(q3):
其中么表示已完成值覆蓋的點。
【文檔編號】G06T5/00GK104134195SQ201410377530
【公開日】2014年11月5日 申請日期:2014年8月1日 優(yōu)先權(quán)日:2014年8月1日
【發(fā)明者】鐘樺, 焦李成, 馬國峰, 田小林, 王爽, 侯彪, 劉紅英, 馬文萍, 熊濤 申請人:西安電子科技大學(xué)