本發(fā)明涉及圖像處理
技術(shù)領(lǐng)域:
,尤其是一種圖像修復(fù)方法及裝置。
背景技術(shù):
:隨著數(shù)字圖像處理技術(shù)的發(fā)展,填充圖像中某些區(qū)域的缺失信息,或移除圖像中某些區(qū)域而僅保留需要的信息,使圖像滿足人眼視覺(jué)系統(tǒng)要求已經(jīng)成為研究熱點(diǎn)。這種修補(bǔ)缺失信息的圖像處理技術(shù)稱為圖像修復(fù)。圖像中信息缺失的區(qū)域或待移除的區(qū)域統(tǒng)稱為圖像中的待修復(fù)目標(biāo)區(qū)域,圖像中的其它區(qū)域稱為信息已知區(qū)域。目前主流的圖像修復(fù)方法有兩種:一是利用圖像中完好區(qū)域或非修復(fù)區(qū)域去修復(fù)需去除的區(qū)域;二是建立圖像源數(shù)據(jù)庫(kù),通過(guò)匹配方法從數(shù)據(jù)庫(kù)中獲取當(dāng)前圖像修復(fù)區(qū)域所需的圖像源進(jìn)行修復(fù)。后一種方法需要建立足夠豐富的數(shù)據(jù)庫(kù)才能獲得理想的修復(fù)效果,而且匹配過(guò)程耗時(shí)且繁瑣,在實(shí)際應(yīng)用中存在一定的障礙。相較而言,第一種方法獲得廣泛的應(yīng)用,但在實(shí)際應(yīng)用中仍存在以下問(wèn)題:(1)修復(fù)區(qū)域和周圍區(qū)域不協(xié)調(diào),比如若修復(fù)區(qū)域周邊存在暗部區(qū)域,那么暗部區(qū)域會(huì)向修復(fù)區(qū)域過(guò)多擴(kuò)散;(2)修復(fù)完成后,為消除修復(fù)痕跡,會(huì)對(duì)修復(fù)區(qū)域進(jìn)行融合,容易引起過(guò)度模糊。技術(shù)實(shí)現(xiàn)要素:為此,本發(fā)明提供了一種圖像修復(fù)方法及裝置,以力圖解決或者至少緩解上面存在的至少一個(gè)問(wèn)題。根據(jù)本發(fā)明的一個(gè)方面,提供了一種圖像修復(fù)方法,包括步驟:根據(jù)待修復(fù)目標(biāo)區(qū)域計(jì)算其與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí);根據(jù)優(yōu)先級(jí)設(shè)置待填充塊和相應(yīng)的搜索區(qū)域;在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊,并用該最相似塊填充所述待填充塊;更新被填充后的待修復(fù)目標(biāo)區(qū)域與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí);重復(fù)上述設(shè)置、填充、更新步驟,直到待修復(fù)目標(biāo)區(qū)域被填充完畢;計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖;以及根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合,得到修復(fù)后的圖像??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,計(jì)算邊界點(diǎn)的優(yōu)先級(jí)的步驟包括:確定每個(gè)邊界點(diǎn)p的方形區(qū)域Ψp;依據(jù)方形區(qū)域Ψp計(jì)算該點(diǎn)p的優(yōu)先權(quán):P(p)=C(p)·D(p),其中,C(p)代表方形區(qū)域Ψp的置信度,D(p)為數(shù)據(jù)項(xiàng),用于描述邊界上點(diǎn)的連續(xù)性??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,D(p)=|▿Ip⊥·np|α,]]>其中,|Ψp|是方形區(qū)域Ψp的面積,α是圖像標(biāo)準(zhǔn)化因子,np是在點(diǎn)p處正交于邊界的單位正交向量??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,根據(jù)優(yōu)先級(jí)設(shè)置待填充塊和相應(yīng)的搜索區(qū)域的步驟包括:取優(yōu)先級(jí)最大的點(diǎn)作為待填充點(diǎn);以待填充點(diǎn)為中心,確定塊半徑為第一數(shù)據(jù)的第一待填充塊;確定以該待填充點(diǎn)為中心的、半徑為第二數(shù)據(jù)的搜索區(qū)域,其中,第一數(shù)據(jù)小于第二數(shù)據(jù)。可選地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,第一數(shù)據(jù)和第二數(shù)據(jù)的取值大小均跟圖像分辨率正相關(guān)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊的步驟包括:以優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)擴(kuò)大一倍作為塊半徑生成第二待填充塊;在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊;依次將搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊;以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊;以及以該第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,依次將搜索塊與第二待填充塊進(jìn)行匹配的步驟包括:分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù);以及對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,確定搜索區(qū)域的步驟還包括:對(duì)于已填充過(guò)的點(diǎn),判斷其是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi);若是,則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊合并到搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖的步驟包括:計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖;根據(jù)第一距離圖計(jì)算第二距離圖;以及根據(jù)第二距離圖計(jì)算距離權(quán)重圖??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合的步驟包括:根據(jù)融合層數(shù),對(duì)每一層都執(zhí)行計(jì)算距離權(quán)重圖、根據(jù)距離權(quán)重對(duì)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行融合的步驟,得到修復(fù)后的圖像??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,計(jì)算第一距離圖的步驟包括:對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn),獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值,分別獲取其上下左右四個(gè)點(diǎn)對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值;根據(jù)所獲取的位置坐標(biāo)計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度;根據(jù)所獲取的像素值計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的像素梯度;以及利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。可選地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,計(jì)算第二距離圖的步驟包括:根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理;以及通過(guò)歐氏距離變換生成第二距離圖??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,距離閾值取第一距離圖中最大距離值的1/3??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,根據(jù)第二距離圖計(jì)算距離權(quán)重圖的步驟包括:對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)的距離權(quán)重值:ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ωD(p)表示點(diǎn)p對(duì)應(yīng)的距離權(quán)重值,ξ代表延遲系數(shù);將距離權(quán)重值歸化到[1,N]之間,其中N表示融合層數(shù)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,對(duì)待修復(fù)目標(biāo)區(qū)域中的點(diǎn)進(jìn)行融合的步驟還包括:計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,wq(q-pi)根據(jù)距離權(quán)重圖計(jì)算得出:wq(q-pi)=exp(-||q-pi||22σ2)]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):r為第一數(shù)據(jù)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,第n層的融合半徑qr為:qr=nN-1qrmax]]>其中,N代表總的融合層數(shù),qrmax代表最大融合半徑??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)方法中,融合層數(shù)根據(jù)第一數(shù)據(jù)確定。根據(jù)本發(fā)明的另一方面,提供了一種圖像修復(fù)裝置,包括:優(yōu)先級(jí)計(jì)算單元,適于根據(jù)待修復(fù)目標(biāo)區(qū)域計(jì)算其與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí)、還適于更新被填充后的待修復(fù)目標(biāo)區(qū)域與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí);設(shè)置單元,適于根據(jù)優(yōu)先級(jí)設(shè)置待填充塊和相應(yīng)的搜索區(qū)域;匹配填充單元,適于在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊,并用該最相似塊填充待填充塊;距離權(quán)重計(jì)算單元,適于計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖;融合單元,適于根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合,得到修復(fù)后的圖像??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,優(yōu)先級(jí)計(jì)算單元進(jìn)一步適于確定每個(gè)邊界點(diǎn)p的方形區(qū)域Ψp、并依據(jù)方形區(qū)域Ψp計(jì)算該點(diǎn)p的優(yōu)先權(quán):P(p)=C(p)·D(p),其中,C(p)代表方形區(qū)域Ψp的置信度,D(p)為數(shù)據(jù)項(xiàng),用于描述邊界上點(diǎn)的連續(xù)性。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,D(p)=|▿Ip⊥·np|α,]]>其中,|Ψp|是方形區(qū)域Ψp的面積,α是圖像標(biāo)準(zhǔn)化因子,np是在點(diǎn)p處正交于邊界的單位正交向量??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,設(shè)置單元包括:選取子單元,適于選取優(yōu)先級(jí)最大的點(diǎn)作為待填充點(diǎn);第一確定子單元,適于確定以待填充點(diǎn)為中心、半徑為第一數(shù)據(jù)的第一待填充塊;第二確定子單元,適于確定以待填充點(diǎn)為中心、半徑為第二數(shù)據(jù)的搜索區(qū)域,其中第一數(shù)據(jù)小于第二數(shù)據(jù)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第一數(shù)據(jù)和第二數(shù)據(jù)的取值大小均跟圖像分辨率正相關(guān)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,匹配填充單元包括:預(yù)處理子單元,適于以優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)擴(kuò)大一倍作為塊半徑生成第二待填充塊、并在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊;匹配子單元,適于依次將搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊、并以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊;填充子單元,適于用第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,匹配子單元進(jìn)一步適于分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù)、并對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第二確定子單元還適于判斷已填充過(guò)的點(diǎn)是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi);若是則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊合并到搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,距離權(quán)重計(jì)算單元還包括:第一計(jì)算子單元,適于計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖;第二計(jì)算子單元,適于根據(jù)第一距離圖計(jì)算第二距離圖;以及第三計(jì)算子單元,適于根據(jù)第二距離圖計(jì)算距離權(quán)重圖??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,融合單元還適于根據(jù)融合層數(shù),對(duì)每一層都執(zhí)行計(jì)算距離權(quán)重圖、根據(jù)距離權(quán)重對(duì)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行融合的步驟,得到修復(fù)后的圖像。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第一計(jì)算子單元還包括:獲取模塊,適于對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn),獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值,且分別獲取其上下左右四個(gè)點(diǎn)對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值;以及計(jì)算模塊,適于根據(jù)所獲取的位置坐標(biāo)和像素值分別計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度和像素梯度、利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第二計(jì)算子單元還適于根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理、且通過(guò)歐氏距離變換生成第二距離圖??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,距離閾值取第一距離圖中最大距離值的1/3??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第三計(jì)算子單元還適于對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)的距離權(quán)重值:ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ωD(p)表示點(diǎn)p對(duì)應(yīng)的距離權(quán)重值,ξ代表延遲系數(shù);第三計(jì)算子單元還包括歸一模塊,適于將距離權(quán)重值歸化到[1,N]之間,其中N表示融合層數(shù)??蛇x地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,融合單元還適于計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,融合單元還適于根據(jù)距離權(quán)重圖計(jì)算得出wq(q-pi):wq(q-pi)=exp(-||q-pi||22σ2)]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):r為第一數(shù)據(jù)。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,第n層的融合半徑qr為:qr=nN-1qrmax,]]>其中,N代表總的融合層數(shù),qrmax代表最大融合半徑。可選地,在根據(jù)本發(fā)明的圖像修復(fù)裝置中,融合層數(shù)根據(jù)第一數(shù)據(jù)確定。一般地,在圖像修復(fù)中采用高斯融合去除痕跡時(shí)會(huì)使修復(fù)區(qū)域過(guò)度模糊,影響修復(fù)后圖像的質(zhì)量。本方案采用分層高斯融合方法,在融合過(guò)程中,采用塊與塊交界處盡量晚融合、塊中心區(qū)域盡量不融合的方式,以達(dá)到消除塊與塊之間的接痕問(wèn)題,又避免塊內(nèi)靠近中心位置的點(diǎn)過(guò)度融合而丟失紋理。另外,通過(guò)尋找源填充塊的方式擴(kuò)充了塊匹配的搜索區(qū)域,能夠避免暗部區(qū)域過(guò)多擴(kuò)散的問(wèn)題,同時(shí)又不增加計(jì)算的復(fù)雜度。附圖說(shuō)明為了實(shí)現(xiàn)上述以及相關(guān)目的,本文結(jié)合下面的描述和附圖來(lái)描述某些說(shuō)明性方面,這些方面指示了可以實(shí)踐本文所公開(kāi)的原理的各種方式,并且所有方面及其等效方面旨在落入所要求保護(hù)的主題的范圍內(nèi)。通過(guò)結(jié)合附圖閱讀下面的詳細(xì)描述,本公開(kāi)的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯。遍及本公開(kāi),相同的附圖標(biāo)記通常指代相同的部件或元素。圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像修復(fù)方法100的流程圖;圖2(a)-2(c)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像修復(fù)過(guò)程示意圖;圖3(a)-3(b)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的填充待修復(fù)目標(biāo)區(qū)域的效果顯示圖;圖4示出根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像修復(fù)裝置400的示意圖;以及圖5示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像修復(fù)裝置400的示意圖。具體實(shí)施方式下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像修復(fù)方法100的流程圖。如圖1所示,該方法始于步驟S110,根據(jù)待修復(fù)目標(biāo)區(qū)域計(jì)算其與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí)。針對(duì)圖像中想要去除的部分設(shè)置蒙版,如圖2所示,其中圖2(a)為原圖,對(duì)其中間區(qū)域設(shè)置蒙版(見(jiàn)圖2(b)中白色區(qū)域),稱為待修復(fù)目標(biāo)區(qū)域,非蒙版區(qū)域稱為信息已知區(qū)域。可選地,通過(guò)如下方式計(jì)算邊界點(diǎn)的優(yōu)先級(jí):①先確定邊界上每個(gè)點(diǎn)p的方形區(qū)域Ψp。如圖3(a)所示,用Ω表示待修復(fù)目標(biāo)區(qū)域,Φ表示信息已知區(qū)域,兩個(gè)區(qū)域的邊界為點(diǎn)p為邊界上任意一點(diǎn),以點(diǎn)p為中心設(shè)置方形區(qū)域Ψp。②再依據(jù)方形區(qū)域Ψp計(jì)算點(diǎn)p的優(yōu)先權(quán)P(p):P(p)=C(p)·D(p),其中,C(p)代表方形區(qū)域Ψp的置信度,D(p)為數(shù)據(jù)項(xiàng),用于描述邊界上點(diǎn)的連續(xù)性,具體定義如下:C(p)=Σq∈Ψp∩(I-Ω)C(q)|Ψp|,]]>D(p)=|▿Ip⊥·np|α,]]>其中,|Ψp|是方形區(qū)域Ψp的面積,α是圖像標(biāo)準(zhǔn)化因子,np是在點(diǎn)p處正交于邊界的單位正交向量。按如下定義進(jìn)行初始化:C(p)=0,p∈ΩC(p)=1,p∈I-Ω]]>隨后在步驟S120中,根據(jù)計(jì)算出的優(yōu)先級(jí)設(shè)置待填充塊和相應(yīng)的搜索區(qū)域。根據(jù)步驟S110計(jì)算出的優(yōu)先級(jí)結(jié)果,取優(yōu)先級(jí)最大的點(diǎn)作為待填充點(diǎn),設(shè)點(diǎn)p為優(yōu)先級(jí)最大的點(diǎn),以點(diǎn)p為中心,確定塊半徑為第一數(shù)據(jù)的第一待填充塊(設(shè)第一待填充塊的塊半徑為pr),以及,半徑為第二數(shù)據(jù)的搜索區(qū)域(設(shè)搜索區(qū)域的半徑為Rp)。在本實(shí)施例中,第一數(shù)據(jù)小于第二數(shù)據(jù)(即,第一待填充塊半徑pr小于搜索區(qū)域半徑Rp),且第一數(shù)據(jù)和第二數(shù)據(jù)的取值大小均跟圖像分辨率正相關(guān)。例如,對(duì)于分辨率小于100萬(wàn)像素的圖像,pr取值2-10,Rp取值5-20;對(duì)于分辨率超過(guò)100萬(wàn)像素的圖像,pr取值10-20,Rp取值20-50。隨后在步驟S130中,在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊,并用該最相似塊填充待填充塊。搜索匹配塊的具體步驟如下:①以優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)(pr)擴(kuò)大一倍作為塊半徑生成第二待填充塊。也就是說(shuō),第一待填充塊的大小為(2pr+1)×(2pr+1),將其擴(kuò)大為(4pr+1)×(4pr+1),作為第二待填充塊。②在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊,故搜索區(qū)域內(nèi)搜索塊的半徑也是2pr。③依次將搜索區(qū)域中的所有搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊。在本實(shí)施例中,先分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù),例如,取第二待填充塊中的奇數(shù)行和奇數(shù)列,對(duì)搜索塊也是,這樣,第二待填充塊和搜索塊的尺寸就變回(2pr+1)×(2pr+1)。然后對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算,將算得的最相似的下采樣搜索塊對(duì)應(yīng)的搜索塊作為第一目標(biāo)塊。④以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊。換言之,第一目標(biāo)塊以點(diǎn)s為中心,半徑為2pr,第二目標(biāo)塊以點(diǎn)s為中心,半徑為pr,也就是第二目標(biāo)塊的尺寸剛好等于第一待填充塊的尺寸。⑤以該第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊。如圖3(b)示出了對(duì)圖3(a)進(jìn)行一次填充后的效果圖。隨后在步驟S140中,更新被填充后的待修復(fù)目標(biāo)區(qū)域與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí)。對(duì)比圖3(a)、圖3(b),在完成一次填充后,待修復(fù)目標(biāo)區(qū)域和信息已知區(qū)域的邊界就發(fā)生了變化,此時(shí)要重新計(jì)算邊界上點(diǎn)的優(yōu)先級(jí)??蛇x地,計(jì)算優(yōu)先級(jí)的方法同步驟S110。隨后在步驟S150中,重復(fù)上述“設(shè)置待填充塊和相應(yīng)搜索區(qū)域”、“填充待填充塊”、“更新邊界點(diǎn)優(yōu)先級(jí)”的步驟,即,重復(fù)步驟S120、S130、S140,直到待修復(fù)目標(biāo)區(qū)域被全部填充完畢。根據(jù)本發(fā)明的實(shí)現(xiàn)方式,每一次要通過(guò)步驟S120確定搜索區(qū)域時(shí),對(duì)于已經(jīng)填充過(guò)的點(diǎn),要判斷其是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi),即,第一次填充時(shí)待填充點(diǎn)為點(diǎn)p,在第二次(及以后)填充時(shí),都要先判斷點(diǎn)p是否在本次填充的搜索區(qū)域內(nèi)。若是在搜索區(qū)域內(nèi),則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊也合并到本次的搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配。也就是說(shuō),若點(diǎn)p在本次搜索的搜索區(qū)域內(nèi),則將第一次填充時(shí)的最相似塊(也就是第二目標(biāo)塊)一并作為本次搜索的搜索區(qū)域。本方案采用這種方式擴(kuò)大搜索區(qū)域,主要是考慮到:現(xiàn)有的基于塊匹配進(jìn)行圖像修復(fù)的方案中,為提高計(jì)算效率和匹配效果,不會(huì)讓每個(gè)待匹配塊在信息已知區(qū)域內(nèi)進(jìn)行搜索(因?yàn)椴⒎撬袇^(qū)域和待匹配塊都存在相似性),而是在每個(gè)待匹配塊有限的周圍區(qū)域內(nèi)進(jìn)行搜索(因?yàn)橐话忝總€(gè)塊的周圍區(qū)域和該塊才存在相似性)。但這樣的塊匹配原則,會(huì)導(dǎo)致暗部區(qū)域擴(kuò)散過(guò)多——當(dāng)待修復(fù)目標(biāo)區(qū)域的邊界處于暗部區(qū)域時(shí),由于搜索范圍的限制,會(huì)過(guò)多地在暗部區(qū)域進(jìn)行搜索,導(dǎo)致處于暗部區(qū)域的邊界匹配到的全是暗部區(qū)域的塊,循環(huán)往內(nèi)填充時(shí),暗部區(qū)域不斷向待修復(fù)目標(biāo)區(qū)域內(nèi)擴(kuò)散,導(dǎo)致暗部區(qū)域過(guò)多擴(kuò)散,修復(fù)后的待修復(fù)目標(biāo)區(qū)域與周圍區(qū)域不協(xié)調(diào)。故,在本實(shí)施例中,通過(guò)尋找源填充塊的方式擴(kuò)充了塊匹配的搜索區(qū)域,能夠避免上述暗部區(qū)域過(guò)多擴(kuò)散的問(wèn)題,同時(shí)不增加計(jì)算的復(fù)雜度。在完成對(duì)待修復(fù)目標(biāo)區(qū)域的填充后,還需要對(duì)待修復(fù)目標(biāo)區(qū)域進(jìn)行融合,以消除塊填充時(shí)產(chǎn)生的修復(fù)痕跡。故,在步驟S160中,計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖。根據(jù)本發(fā)明的實(shí)施方式,距離權(quán)重是通過(guò)對(duì)距離值計(jì)算權(quán)重得到的,而對(duì)于待修復(fù)目標(biāo)區(qū)域內(nèi)所有像素點(diǎn)的距離值(所有像素點(diǎn)的距離值就形成了距離圖),通過(guò)兩次距離變換得到。首先,計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖??蛇x地,對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn)p(x,y),獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)s的位置坐標(biāo)(s_x,s_y),以及,分別獲取點(diǎn)p(x,y)上下左右四個(gè)點(diǎn)py[1]、py[-1]、px[-1]、px[1]對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)(sy[1]_x,sy[1]_y)、(sy[-1]_x,sy[-1]_y)、(sx[1]_x,sx[1]_y)、(sx[-1]_x,sx[-1]_y)。根據(jù)所獲取的位置坐標(biāo)計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度,其中橫向梯度為:ox=max[abs(sx[1]_x-s_x),abs(s_x-sx[-1]_x)],縱向梯度為:oy=max[abs(sy[1]_y-s_y),abs(s_y-sy[-1]_y)],故,位置梯度為:on=ox2+oy2.]]>同樣地,對(duì)于點(diǎn)p(x,y),獲取對(duì)應(yīng)源位置點(diǎn)s的像素值為(I_r,I_g,I_b),其上下左右四個(gè)點(diǎn)py[1]、py[-1]、px[-1]、px[1],其對(duì)應(yīng)源匹配點(diǎn)的像素值分別為(Iy[1]_r,Iy[1]_g,Iy[1]_b)、(Iy[-1]_r,Iy[-1]_g,Iy[-1]_b)、(Ix[1]_r,Ix[1]_g,Ix[1]_b)、(Ix[-1]_r,Ix[-1]_g,Ix[-1]_b)。根據(jù)上述像素值計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的像素梯度,以rgb顏色值中的r通道為例:ix_r=max[abs(Ix[1]_r-I_r),abs(I_r-Ix[-1]_r)]iy_r=max[abs(Iy[1]_r-I_r),abs(I_r-Iy[-1]_r)]則r通道的像素梯度為,in_r=log2(1+ix_r2+iy_r2)結(jié)合rgb三個(gè)通道的像素梯度,得到最終的像素梯度:in=(in_r+in_g+in_b)/3由此定義距離函數(shù)為:d(p)=on*in利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。然后,根據(jù)第一距離圖計(jì)算第二距離圖。根據(jù)本發(fā)明一個(gè)實(shí)施例,根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理,再通過(guò)歐氏距離變換生成第二距離圖。可選地,距離閾值dthr取第一距離圖中最大距離值的1/3。在二值化處理時(shí),當(dāng)距離值大于dthr時(shí),將其設(shè)為1,否則為0。如下左右兩個(gè)表給出了歐氏距離變換的示例,其中左邊為二值化處理后的第一距離圖,右邊為左表經(jīng)歐氏距離變換后生成的第二距離圖。最后,根據(jù)第二距離圖計(jì)算距離權(quán)重圖。對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)p的距離權(quán)重值ωD(p):ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ξ代表延遲系數(shù)。再將計(jì)算得到距離權(quán)重值ωD(p)歸化到[1,N]之間,其中N表示融合層數(shù),融合層數(shù)N一般根據(jù)第一數(shù)據(jù)pr確定??蛇x地,N=2*pr。這樣,對(duì)于塊內(nèi)靠近中心位置的點(diǎn),其距離權(quán)重值為1,而位于塊與塊交接處的點(diǎn),其具有較高的距離權(quán)重值,且慢慢接近N。隨后在步驟S170中,根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合,得到修復(fù)后的圖像。對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)q進(jìn)行融合,要重新計(jì)算點(diǎn)q的像素值,點(diǎn)q處于不同的方塊內(nèi),其對(duì)應(yīng)的像素值不一樣。若存在方塊Ψp(方塊中心為p),其包含點(diǎn)q,在方塊區(qū)域Ψp內(nèi)構(gòu)建高斯權(quán)重,點(diǎn)q離點(diǎn)p距離越遠(yuǎn),權(quán)重越小,則點(diǎn)q依賴于點(diǎn)p的權(quán)重為wq(q-p),其在塊Ψp里對(duì)應(yīng)的像素值為Iq(p)。為此,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,那么,計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq為:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值。根據(jù)本發(fā)明的一個(gè)實(shí)施例,根據(jù)上一步驟中計(jì)算得的距離權(quán)重圖,即可計(jì)算出wq(q-pi)的大?。簑q(q-pi)=exp(-||q-pi||22σ2),]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):||q-pi||=(xq-xpi)2+(yq-ypi)2]]>σ=r4ωD(q)]]>其中,r為塊匹配過(guò)程中匹配塊的半徑(即第一數(shù)據(jù)pr)。一般地,高斯權(quán)重系數(shù)σ隨著融合總層數(shù)N的增大而增大,故,融合層數(shù)跟距離權(quán)重圖相關(guān)。點(diǎn)q的融合半徑為qr,根據(jù)點(diǎn)q所處的層數(shù)n(0≤n<N)來(lái)確定:qr=nN-1qrmax]]>一般地,初始化最大融合半徑qrmax的范圍為10-20。故融合過(guò)程就是:當(dāng)距離權(quán)重值等于當(dāng)前融合層數(shù)N時(shí),該像素點(diǎn)在當(dāng)前層數(shù)進(jìn)行融合,隨著層數(shù)的增加,融合半徑也增加,即塊與塊交接處需要的融合半徑也更大,保證消除交接處的接痕。本方案采用分層高斯融合方法,主要是考慮到采用高斯融合去除痕跡時(shí)會(huì)使修復(fù)區(qū)域過(guò)度模糊,影響修復(fù)質(zhì)量。故在融合過(guò)程中,采用塊與塊交界處盡量晚融合、塊中心區(qū)域盡量不融合的方式,以達(dá)到消除塊與塊之間的接痕問(wèn)題,又避免塊內(nèi)靠近中心位置的點(diǎn)過(guò)度融合而丟失紋理。對(duì)于圖2(a)中的原圖,在經(jīng)過(guò)上述圖像修復(fù)過(guò)程后,得到的修復(fù)效果圖如圖2(c)所示。根據(jù)本發(fā)明的圖像修復(fù)方法,擴(kuò)充了塊匹配搜索的范圍,以避免暗部區(qū)域過(guò)多擴(kuò)散;同時(shí),引入分層融合來(lái)消除填充痕跡,解決了影響圖像修復(fù)的兩個(gè)突出問(wèn)題,即暗部區(qū)域過(guò)多擴(kuò)散和融合完后存在過(guò)度模糊或明顯的修復(fù)痕跡,以得到好的圖像修復(fù)效果。相應(yīng)地,圖4示出了適于完成圖1方法的圖像修復(fù)裝置400,如圖4所示。圖像修復(fù)裝置400包括:優(yōu)先級(jí)計(jì)算單元410、設(shè)置單元420、匹配填充單元430、距離權(quán)重計(jì)算單元440和融合單元450。優(yōu)先級(jí)計(jì)算單元410適于根據(jù)待修復(fù)目標(biāo)區(qū)域計(jì)算其與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí)。如圖3(a)所示,對(duì)于邊界上的任意一點(diǎn)p,確定點(diǎn)p的方形區(qū)域Ψp、并依據(jù)方形區(qū)域Ψp計(jì)算該點(diǎn)p的優(yōu)先權(quán):P(p)=C(p)·D(p),C(p)代表方形區(qū)域Ψp的置信度:C(p)=Σq∈Ψp∩(I-Ω)C(q)|Ψp|,]]>D(p)為數(shù)據(jù)項(xiàng),用于描述邊界上點(diǎn)的連續(xù)性:D(p)=|▿Ip⊥·np|α]]>其中,|Ψp|是方形區(qū)域Ψp的面積,α是圖像標(biāo)準(zhǔn)化因子,np是在點(diǎn)p處正交于邊界的單位正交向量。按如下定義進(jìn)行初始化:C(p)=0,p∈ΩC(p)=1,p∈I-Ω]]>設(shè)置單元420適于根據(jù)優(yōu)先級(jí)設(shè)置待填充塊和相應(yīng)的搜索區(qū)域。如圖5所示,根據(jù)一種實(shí)現(xiàn)方式,設(shè)置單元420包括選取子單元422、第一確定子單元424和第二確定子單元426。其中,選取子單元422適于選取優(yōu)先級(jí)最大的點(diǎn)(例如圖3(a)中的點(diǎn)p)作為待填充點(diǎn),第一確定子單元424適于確定以待填充點(diǎn)為中心、半徑pr為第一數(shù)據(jù)的第一待填充塊,第二確定子單元426適于確定以待填充點(diǎn)為中心、半徑Rp為第二數(shù)據(jù)的搜索區(qū)域,其中第一數(shù)據(jù)小于第二數(shù)據(jù),且第一數(shù)據(jù)和第二數(shù)據(jù)的取值大小均跟圖像分辨率正相關(guān),例如,對(duì)于分辨率小于100萬(wàn)像素的圖像,pr取值2-10,Rp取值5-20;對(duì)于分辨率超過(guò)100萬(wàn)像素的圖像,pr取值10-20,Rp取值20-50。根據(jù)本發(fā)明的實(shí)施方式,第二確定子單元426還適于判斷已填充過(guò)的點(diǎn)是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi),若是則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊合并到搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配。匹配填充單元430適于在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊,并用該最相似塊填充待填充塊。根據(jù)一個(gè)實(shí)施例,匹配填充單元430包括:預(yù)處理子單元432、匹配子單元434和填充子單元436。其中,預(yù)處理子單元432適于以選取子單元422選取的優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)擴(kuò)大一倍作為塊半徑生成第二待填充塊、并在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊。此處并不是將待填充塊在信息已知區(qū)域進(jìn)行遍歷式搜索,而是在設(shè)置好的搜索區(qū)域內(nèi)進(jìn)行搜索匹配,以減少計(jì)算的復(fù)雜度、加快搜索匹配效率,原因在前文已經(jīng)詳細(xì)解釋,此處不再贅述。進(jìn)一步地,本方案中,通過(guò)第二確定子單元426尋找源填充塊的方式有目標(biāo)地?cái)U(kuò)充了塊匹配的搜索區(qū)域,能夠避免暗部區(qū)域過(guò)多擴(kuò)散的問(wèn)題,同時(shí)又不增加計(jì)算的復(fù)雜度。匹配子單元434適于依次將搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊、并以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊。具體地,匹配子單元進(jìn)一步被配置為,適于分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù)、并對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算,得到最相似的搜索塊作為第一目標(biāo)塊。可選地,取搜索塊和第二待填充塊的奇數(shù)行和奇數(shù)列。若第一待填充塊的半徑為pr,擴(kuò)大一倍后的第二待填充塊半徑就是2pr,取其奇數(shù)行和奇數(shù)列得到的半徑又變回為pr。填充子單元436適于用第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊。如圖3(a)所示,對(duì)以點(diǎn)p為中心的第一待填充塊進(jìn)行匹配、填充后,得到如圖3(b)所示的圖像。在每完成一次填充后,待修復(fù)目標(biāo)區(qū)域和信息已知區(qū)域的邊界就發(fā)生變化,優(yōu)先級(jí)計(jì)算單元410還適于更新被填充后的待修復(fù)目標(biāo)區(qū)域與信息已知區(qū)域的邊界上的點(diǎn)的優(yōu)先級(jí)。直到待修復(fù)目標(biāo)區(qū)域被完全填充完畢。距離權(quán)重計(jì)算單元440適于計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖。如圖5所示,距離權(quán)重計(jì)算單元440還包括:第一計(jì)算子單元442、第二計(jì)算子單元444和第三計(jì)算子單元446。第一計(jì)算子單元442適于計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖??蛇x地,第一計(jì)算子單元442還包括獲取模塊和計(jì)算模塊。對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn),獲取模塊適于獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值,且分別獲取其上下左右四個(gè)點(diǎn)對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值。計(jì)算模塊適于根據(jù)所獲取的位置坐標(biāo)和像素值分別計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度和像素梯度、并利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。具體的計(jì)算過(guò)程在上文步驟S160的相關(guān)描述中,此處不再贅述。第二計(jì)算子單元444適于根據(jù)第一距離圖計(jì)算第二距離圖。第二計(jì)算子單元444進(jìn)一步適于根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理、且通過(guò)歐氏距離變換生成第二距離圖。在本實(shí)施例中,距離閾值取第一距離圖中最大距離值的1/3,若第一距離值大于距離閾值,則將其賦為1,反之賦為0。第三計(jì)算子單元446適于根據(jù)第二距離圖計(jì)算距離權(quán)重圖。第三計(jì)算子單元446被配置為對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)的距離權(quán)重值:ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ωD(p)表示點(diǎn)p對(duì)應(yīng)的距離權(quán)重值,ξ代表延遲系數(shù);可選地,第三計(jì)算子單元446還包括歸一模塊,適于將距離權(quán)重值歸化到[1,N]之間,其中N表示融合層數(shù),融合層數(shù)N一般根據(jù)第一數(shù)據(jù)pr確定。可選地,N=2*pr。這樣,對(duì)于塊內(nèi)靠近中心位置的點(diǎn),其距離權(quán)重值為1,而位于塊與塊交接處的點(diǎn),其具有較高的距離權(quán)重值,且慢慢接近N。融合單元450適于根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合,得到修復(fù)后的圖像。若存在方塊Ψp(方塊中心為p),其包含點(diǎn)q,在方塊區(qū)域Ψp內(nèi)構(gòu)建高斯權(quán)重,點(diǎn)q離點(diǎn)p距離越遠(yuǎn),權(quán)重越小,則點(diǎn)q依賴于點(diǎn)p的權(quán)重為wq(q-p),其在塊Ψp里對(duì)應(yīng)的像素值為Iq(p)。為此,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,融合單元450按如下公式計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值。根據(jù)本發(fā)明的一個(gè)實(shí)施例,融合單元450還適于根據(jù)上一步驟中計(jì)算得的距離權(quán)重圖,計(jì)算出wq(q-pi)的大小:wq(q-pi)=exp(-||q-pi||22σ2),]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):||q-pi||=(xq-xpi)2+(yq-ypi)2]]>σ=r4ωD(q)]]>其中,r為塊匹配過(guò)程中匹配塊的半徑(即第一數(shù)據(jù)pr)。一般地,高斯權(quán)重系數(shù)σ隨著融合總層數(shù)N的增大而增大,故,融合層數(shù)跟距離權(quán)重圖相關(guān)。點(diǎn)q的融合半徑為qr,根據(jù)點(diǎn)q所處的層數(shù)n(0≤n<N)來(lái)確定:qr=nN-1qrmax]]>一般地,初始化最大融合半徑qrmax的范圍為10-20。故融合過(guò)程就是:當(dāng)距離權(quán)重值等于當(dāng)前融合層數(shù)N時(shí),該像素點(diǎn)在當(dāng)前層數(shù)進(jìn)行融合,隨著層數(shù)的增加,融合半徑也增加,即塊與塊交接處需要的融合半徑也更大,保證消除塊與快交接處的接痕。應(yīng)當(dāng)理解,為了精簡(jiǎn)本公開(kāi)并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè),在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中,本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而,并不應(yīng)將該公開(kāi)的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多特征。更確切地說(shuō),如下面的權(quán)利要求書所反映的那樣,發(fā)明方面在于少于前面公開(kāi)的單個(gè)實(shí)施例的所有特征。因此,遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式,其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。本領(lǐng)域那些技術(shù)人員應(yīng)當(dāng)理解在本文所公開(kāi)的示例中的設(shè)備的模塊或單元或組件可以布置在如該實(shí)施例中所描述的設(shè)備中,或者可替換地可以定位在與該示例中的設(shè)備不同的一個(gè)或多個(gè)設(shè)備中。前述示例中的模塊可以組合為一個(gè)模塊或者此外可以分成多個(gè)子模塊。本領(lǐng)域那些技術(shù)人員可以理解,可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們?cè)O(shè)置在與該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中??梢园褜?shí)施例中的模塊或單元或組件組合成一個(gè)模塊或單元或組件,以及此外可以把它們分成多個(gè)子模塊或子單元或子組件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是相互排斥之外,可以采用任何組合對(duì)本說(shuō)明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的所有特征以及如此公開(kāi)的任何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述,本說(shuō)明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來(lái)代替。A6、如A5所述的方法,其中在搜索區(qū)域內(nèi)搜索與相應(yīng)待填充塊最相似的塊的步驟包括:以優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)擴(kuò)大一倍作為塊半徑生成第二待填充塊;在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊;依次將搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊;以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊;以及以該第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊。A7、如A6所述的方法,其中依次將搜索塊與第二待填充塊進(jìn)行匹配的步驟包括:分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù);以及對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算。A8、如A4-7中任一項(xiàng)所述的方法,其中確定搜索區(qū)域的步驟還包括:對(duì)于已填充過(guò)的點(diǎn),判斷其是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi);若是,則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊合并到搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配。A9、如A1-8中任一項(xiàng)所述的方法,其中計(jì)算待修復(fù)目標(biāo)區(qū)域的距離權(quán)重圖的步驟包括:計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖;根據(jù)第一距離圖計(jì)算第二距離圖;以及根據(jù)第二距離圖計(jì)算距離權(quán)重圖。A10、如A9所述的方法,其中,根據(jù)距離權(quán)重圖對(duì)待修復(fù)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行高斯融合的步驟包括:根據(jù)融合層數(shù),對(duì)每一層都執(zhí)行計(jì)算距離權(quán)重圖、根據(jù)距離權(quán)重對(duì)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行融合的步驟,得到修復(fù)后的圖像。A11、如A10所述的方法,其中計(jì)算第一距離圖的步驟包括:對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn),獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值,分別獲取其上下左右四個(gè)點(diǎn)對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值;根據(jù)所獲取的位置坐標(biāo)計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度;根據(jù)所獲取的像素值計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的像素梯度;以及利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。A12、如A11所述的方法,其中計(jì)算第二距離圖的步驟包括:根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理;以及通過(guò)歐氏距離變換生成第二距離圖。A13、如A12所述的方法,其中,距離閾值取第一距離圖中最大距離值的1/3。A14、如A13所述的方法,其中根據(jù)第二距離圖計(jì)算距離權(quán)重圖的步驟包括:對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)的距離權(quán)重值:ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ωD(p)表示點(diǎn)p對(duì)應(yīng)的距離權(quán)重值,ξ代表延遲系數(shù);將距離權(quán)重值歸化到[1,N]之間,其中N表示融合層數(shù)。A15、如A14所述的方法,其中,對(duì)待修復(fù)目標(biāo)區(qū)域中的點(diǎn)進(jìn)行融合的步驟還包括:計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值。A16、如權(quán)利要求15所述的方法,其中,wq(q-pi)根據(jù)距離權(quán)重圖計(jì)算得出:wq(q-pi)=exp(-||q-pi||22σ2)]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):r為第一數(shù)據(jù)。A17、如A16所述的方法,其中,第n層的融合半徑qr為:qr=nN-1qrmax]]>其中,N代表總的融合層數(shù),qrmax代表最大融合半徑。A18、如A17所述的方法,其中融合層數(shù)根據(jù)第一數(shù)據(jù)確定。B24、如B23所述的裝置,其中匹配填充單元包括:預(yù)處理子單元,適于以優(yōu)先級(jí)最大的點(diǎn)為中心,將第一數(shù)據(jù)擴(kuò)大一倍作為塊半徑生成第二待填充塊、并在搜索區(qū)域內(nèi)確定與第二待填充塊相同尺寸的搜索塊;匹配子單元,適于依次將搜索塊與第二待填充塊進(jìn)行匹配,得到最相似的搜索塊作為第一目標(biāo)塊、并以該第一目標(biāo)塊的中心為中心、以第一數(shù)據(jù)為半徑,得到第二目標(biāo)塊;填充子單元,適于用第二目標(biāo)塊作為最相似塊來(lái)填充第一待填充塊。B25、如B24所述的裝置,其中匹配子單元進(jìn)一步適于分別對(duì)搜索塊和第二待填充塊進(jìn)行下采樣,使得下采樣后的塊半徑均為第一數(shù)據(jù)、并對(duì)下采樣后的搜索塊和第二待填充塊進(jìn)行匹配運(yùn)算。B26、如B22-25中任一項(xiàng)所述的裝置,其中第二確定子單元還適于判斷已填充過(guò)的點(diǎn)是否在當(dāng)前待填充點(diǎn)對(duì)應(yīng)的半徑為第二數(shù)據(jù)的搜索區(qū)域內(nèi);若是則將該已填充點(diǎn)在填充時(shí)所對(duì)應(yīng)的最相似塊合并到所述搜索區(qū)域中,得到新的搜索區(qū)域進(jìn)行搜索匹配。B27、如B19-26中任一項(xiàng)所述的裝置,其中距離權(quán)重計(jì)算單元還包括:第一計(jì)算子單元,適于計(jì)算該待修復(fù)目標(biāo)區(qū)域的第一距離圖;第二計(jì)算子單元,適于根據(jù)第一距離圖計(jì)算第二距離圖;以及第三計(jì)算子單元,適于根據(jù)第二距離圖計(jì)算距離權(quán)重圖。B28、如B27所述的裝置,其中融合單元還適于根據(jù)融合層數(shù),對(duì)每一層都執(zhí)行計(jì)算距離權(quán)重圖、根據(jù)距離權(quán)重對(duì)目標(biāo)區(qū)域內(nèi)的點(diǎn)進(jìn)行融合的步驟,得到修復(fù)后的圖像。B29、如B28所述的裝置,其中第一計(jì)算子單元還包括:獲取模塊,適于對(duì)待修復(fù)目標(biāo)區(qū)域中的每個(gè)點(diǎn),獲取其對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值,且分別獲取其上下左右四個(gè)點(diǎn)對(duì)應(yīng)的填充像素來(lái)源點(diǎn)的位置坐標(biāo)及像素值;以及計(jì)算模塊,適于根據(jù)所獲取的位置坐標(biāo)和像素值分別計(jì)算待修復(fù)目標(biāo)區(qū)域中每個(gè)點(diǎn)的位置梯度和像素梯度、利用每個(gè)點(diǎn)的位置梯度和像素梯度計(jì)算距離值,得到第一距離圖。B30、如B29所述的裝置,其中,第二計(jì)算子單元還適于根據(jù)距離閾值對(duì)第一距離圖進(jìn)行二值化處理、且通過(guò)歐氏距離變換生成第二距離圖。B31、如B30所述的裝置,其中距離閾值取第一距離圖中最大距離值的1/3。B32、如B31所述的裝置,其中第三計(jì)算子單元還適于對(duì)第二距離圖中的每個(gè)距離值進(jìn)行如下處理,得到每個(gè)點(diǎn)的距離權(quán)重值:ωD(p)=11+ξD(p),]]>其中,D(p)表示第二距離圖中點(diǎn)p對(duì)應(yīng)的距離值,ωD(p)表示點(diǎn)p對(duì)應(yīng)的距離權(quán)重值,ξ代表延遲系數(shù);第三計(jì)算子單元還包括歸一模塊,適于將距離權(quán)重值歸化到[1,N]之間,其中N表示融合層數(shù)。B33、如B32所述的裝置,其中融合單元還適于計(jì)算待修復(fù)目標(biāo)區(qū)域中任意點(diǎn)q融合后的像素值Iq:Iq=Σwq(q-pi)Iq(pi)Σwq(q-pi),]]>其中,在融合半徑內(nèi)存在一系列點(diǎn)pi,其對(duì)應(yīng)的方形區(qū)域Ψp中包含點(diǎn)q,wq(q-pi)表示點(diǎn)q依賴于點(diǎn)pi的權(quán)重,Iq(pi)表示點(diǎn)q在方形區(qū)域Ψp中對(duì)應(yīng)的像素值。B34、如B33所述的裝置,其中融合單元還適于根據(jù)距離權(quán)重圖計(jì)算得出wq(q-pi):wq(q-pi)=exp(-||q-pi||22σ2)]]>其中,||q-pi||表示點(diǎn)q(xq,yq)和點(diǎn)pi(xpi,ypi)之間的歐氏距離,σ是高斯權(quán)重系數(shù):r為第一數(shù)據(jù)。B35、如B34所述的裝置,其中,第n層的融合半徑qr為:qr=nN-1qrmax]]>其中,N代表總的融合層數(shù),qrmax代表最大融合半徑。B36、如B35所述的裝置,其中融合層數(shù)根據(jù)第一數(shù)據(jù)確定。此外,本領(lǐng)域的技術(shù)人員能夠理解,盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征,但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如,在下面的權(quán)利要求書中,所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來(lái)使用。此外,所述實(shí)施例中的一些在此被描述成可以由計(jì)算機(jī)系統(tǒng)的處理器或者由執(zhí)行所述功能的其它裝置實(shí)施的方法或方法元素的組合。因此,具有用于實(shí)施所述方法或方法元素的必要指令的處理器形成用于實(shí)施該方法或方法元素的裝置。此外,裝置實(shí)施例的在此所述的元素是如下裝置的例子:該裝置用于實(shí)施由為了實(shí)施該發(fā)明的目的的元素所執(zhí)行的功能。如在此所使用的那樣,除非另行規(guī)定,使用序數(shù)詞“第一”、“第二”、“第三”等等來(lái)描述普通對(duì)象僅僅表示涉及類似對(duì)象的不同實(shí)例,并且并不意圖暗示這樣被描述的對(duì)象必須具有時(shí)間上、空間上、排序方面或者以任意其它方式的給定順序。盡管根據(jù)有限數(shù)量的實(shí)施例描述了本發(fā)明,但是受益于上面的描述,本
技術(shù)領(lǐng)域:
內(nèi)的技術(shù)人員明白,在由此描述的本發(fā)明的范圍內(nèi),可以設(shè)想其它實(shí)施例。此外,應(yīng)當(dāng)注意,本說(shuō)明書中使用的語(yǔ)言主要是為了可讀性和教導(dǎo)的目的而選擇的,而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此,在不偏離所附權(quán)利要求書的范圍和精神的情況下,對(duì)于本
技術(shù)領(lǐng)域:
的普通技術(shù)人員來(lái)說(shuō)許多修改和變更都是顯而易見(jiàn)的。對(duì)于本發(fā)明的范圍,對(duì)本發(fā)明所做的公開(kāi)是說(shuō)明性的,而非限制性的,本發(fā)明的范圍由所附權(quán)利要求書限定。當(dāng)前第1頁(yè)1 2 3