本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于偏移量的圖像修復(fù)方法及裝置。

背景技術(shù)：

圖像修復(fù)是一種處理圖像中缺失部分，將缺失部分補(bǔ)全，并使修復(fù)后的結(jié)果看上去自然的技術(shù)。利用圖像修復(fù)技術(shù)，可以完成圖像污點(diǎn)去除，全景圖生成，紋理合成，去除水印，文物古跡圖片修復(fù)等應(yīng)用，同時(shí)也可以應(yīng)用到視頻領(lǐng)域，進(jìn)行實(shí)境融合、去除字幕等復(fù)雜操作。

基于圖像結(jié)構(gòu)的連續(xù)性，現(xiàn)有的一個(gè)方案是通過(guò)偏微分方程將缺失部分外側(cè)的已知顏色傳播到缺失部分來(lái)修復(fù)。這種方案能有效保持圖像原有的結(jié)構(gòu)，但是只適用于較小的缺失區(qū)域，如果缺失區(qū)域較大，則修復(fù)的結(jié)果會(huì)模糊缺乏細(xì)節(jié)。

基于圖像的自相似性，現(xiàn)有的一個(gè)方案是沿著缺失部分的邊緣尋找相似塊，將相似塊的像素值填補(bǔ)進(jìn)來(lái)，由外至內(nèi)逐漸完成修復(fù)過(guò)程。這種方案對(duì)較大的缺失區(qū)域也能保持細(xì)節(jié)，但是貪心策略往往會(huì)陷入局部最優(yōu)解，不能有效地保持圖像結(jié)構(gòu)的連續(xù)性。

另一方面，對(duì)單一圖像進(jìn)行修復(fù)時(shí)，如果目標(biāo)圖像丟失信息過(guò)多，缺少足夠的有用信息，也會(huì)給修復(fù)工作帶來(lái)困難。所以圖像修復(fù)需要重點(diǎn)解決的問(wèn)題是面對(duì)較大的缺失區(qū)域和不足的有用信息，如何在修復(fù)過(guò)程中保持圖像的結(jié)構(gòu)連續(xù)性，且使修復(fù)結(jié)果看上去自然。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種基于偏移量的圖像修復(fù)方法及裝置，該方法能夠有效描述目標(biāo)圖像的結(jié)構(gòu)信息，又能引 入圖像庫(kù)的額外信息，使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。

第一方面，本發(fā)明提供一種基于偏移量的圖像修復(fù)方法，包括：

將待修復(fù)的目標(biāo)圖像和圖像庫(kù)中的圖像，構(gòu)成圖像立方；

對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊，r為大于1的自然數(shù)；

獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量；所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合；

根據(jù)所述主導(dǎo)偏移量，采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù)，獲取修復(fù)后的目標(biāo)圖像；

所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。

可選地，獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量，的步驟包括：

針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊，在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊；

獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量；

采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。

可選地，針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊，在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊，的步驟包括：

采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度，在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊；

$d({\mathrm{\Ψ}}_x,{\mathrm{\Ψ}}_y)=\left|\right|{\mathrm{\Ψ}}_x-{\mathrm{\Ψ}}_y|{|}_k^k+\mathrm{\β}||\▿{\mathrm{\Ψ}}_x-\▿{\mathrm{\Ψ}}_y|{|}_k^k$ 公式(1)

其中，Ψ_x表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊，Ψ_y為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子，β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù)。

可選地，獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量，的步驟包括：

針對(duì)目標(biāo)圖像塊Ψ_x找到的最相似的圖像塊Ψ_y，組成相似塊對(duì)(Ψ_x,Ψ_y)，若x＝(x₁,y₁)，y＝(x₂,y₂)，且Ψ_y屬于所述圖像立方中的第I_k圖像，則Ψ_x，Ψ_y之間的相對(duì)三維偏移量為s＝(x₂-x₁,y₂-y₁,k)。

可選地，采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量，的步驟包括：

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}；

或者，

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量，組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}。

可選地，所述根據(jù)所述主導(dǎo)偏移量，采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù)，獲取修復(fù)后的目標(biāo)圖像，的步驟包括：

采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+s_L(x)，所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn)；

針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x，為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量s_L(x),將所述圖像立方中像素點(diǎn)x+s_L(x)的值替換該目標(biāo)像素點(diǎn)x，獲得修復(fù)后的目標(biāo)圖像；所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的中心像素點(diǎn)，像素點(diǎn)為圖像塊的中心像素點(diǎn)；

其中，$E\left(L\right)=\underset{(x,y)\∈N_4}{\Σ}{E}_s(L\left(x\right),L\left(y\right))+\mathrm{\α}\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\right(x))---\left(2\right)$

L表示一種分配方式，表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量s_L(x)，E(L)用于衡量所述分配方式的質(zhì)量，N₄是四鄰域，α表示用于平衡平滑項(xiàng)E_s和數(shù)據(jù)項(xiàng)E_d的平衡系數(shù)，E_s(L(x),L(y))是平滑項(xiàng)，E_d(L(x))為數(shù)據(jù)項(xiàng)。

第二方面，本發(fā)明還提供一種基于偏移量的圖像修復(fù)裝置，包括：

圖像立方構(gòu)成單元，用于將待修復(fù)的目標(biāo)圖像和圖像庫(kù)中的圖像，構(gòu)成圖像立方；

圖像塊劃分單元，用于對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊，r為大于1的自然數(shù)；

主導(dǎo)偏移量獲取單元，用于獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量；所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合；

修復(fù)單元，用于根據(jù)所述主導(dǎo)偏移量，采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù)，獲取修復(fù)后的目標(biāo)圖像；

所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。

可選地，主導(dǎo)偏移量獲取單元，具體用于

針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊，在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊；

獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量；

采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。

可選地，主導(dǎo)偏移量獲取單元，具體用于

采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度，在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊；

$d({\mathrm{\Ψ}}_x,{\mathrm{\Ψ}}_y)=\left|\right|{\mathrm{\Ψ}}_x-{\mathrm{\Ψ}}_y|{|}_k^k+\mathrm{\β}||\▿{\mathrm{\Ψ}}_x-\▿{\mathrm{\Ψ}}_y|{|}_k^k$ 公式(1)

其中，Ψ_x表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊，Ψ_y為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子，β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù)；

針對(duì)目標(biāo)圖像塊Ψ_x找到的最相似的圖像塊Ψ_y，組成相似塊對(duì)(Ψ_x,Ψ_y)，若x＝(x₁,y₁)，y＝(x₂,y₂)，且Ψ_y屬于所述圖像立方中的第I_k圖像，則Ψ_x，Ψ_y之間的相對(duì)三維偏移量為s＝(x₂-x₁,y₂-y₁,k)；

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}；

或者，

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量，組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}。

可選地，所述修復(fù)單元，具體用于

采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+s_L(x)，所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn)；

針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x，為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量s_L(x),將所述圖像立方中像素點(diǎn)x+s_L(x)的值替換該目標(biāo)像素點(diǎn)x，獲得修復(fù)后的目標(biāo)圖像，所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的 中心像素點(diǎn)，像素點(diǎn)為圖像塊的中心像素點(diǎn)；

其中，$E\left(L\right)=\underset{(x,y)\∈N_4}{\Σ}{E}_s(L\left(x\right),L\left(y\right))+\mathrm{\α}\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\right(x))---\left(2\right)$

L表示一種分配方式，表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量s_L(x)，E(L)用于衡量所述分配方式的質(zhì)量，N₄是四鄰域，α表示用于平衡平滑項(xiàng)E_s和數(shù)據(jù)項(xiàng)E_d的平衡系數(shù)，E_s(L(x),L(y))是平滑項(xiàng)，E_d(L(x))為數(shù)據(jù)項(xiàng)。

由上述技術(shù)方案可知，本發(fā)明的基于偏移量的圖像修復(fù)方法及裝置，通過(guò)圖像立方，獲取主導(dǎo)偏移量，進(jìn)而獲取修復(fù)后的目標(biāo)圖像，該方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息，又能引入圖像庫(kù)的額外信息，有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性，提高了修復(fù)結(jié)果的主觀視覺(jué)質(zhì)量，使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1為本發(fā)明一實(shí)施例提供的基于偏移量的圖像修復(fù)方法的流程示意圖；

圖2為本發(fā)明一實(shí)施例提供的圖像修復(fù)方法的示意圖；

圖3為本發(fā)明另一實(shí)施例提供的基于偏移量的圖像修復(fù)裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的， 僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非被特定定義，否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。

圖1示出了本發(fā)明一實(shí)施例提供的基于偏移量的圖像修復(fù)方法的流程示意圖，圖2示出了本發(fā)明一實(shí)施例提供的圖像修復(fù)方法的示意圖，結(jié)合圖1和圖2所示，本實(shí)施例的基于偏移量的圖像修復(fù)方法包括如下步驟：

101、將待修復(fù)的目標(biāo)圖像和圖像庫(kù)中的圖像I₁～I(xiàn)_w，構(gòu)成圖像立方C＝{I₀,I₁,…,I_w}；

102、對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊，r為大于1的自然數(shù)。

在本實(shí)施例中，可對(duì)圖像立方中的每一個(gè)圖像，以其中每個(gè)像素點(diǎn)為塊的左上角，將圖像劃分為可重疊的8×8的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊；本實(shí)施例優(yōu)選r為8、10、16等。

在本實(shí)施例中，目標(biāo)圖像塊的位置由該目標(biāo)圖像塊的中心像素點(diǎn)表示，目標(biāo)圖像塊的像素值為該目標(biāo)圖像塊內(nèi)部所有像素點(diǎn)的像 素值的集合；圖像塊的位置由該目標(biāo)圖像塊的中心像素點(diǎn)表示，圖像塊的像素值為該目標(biāo)圖像塊內(nèi)部所有像素點(diǎn)的像素值的集合。

103、獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量；所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合；

本實(shí)施例中，所述目標(biāo)圖像包括已知區(qū)域Φ和缺失區(qū)域Ω。

104、根據(jù)所述主導(dǎo)偏移量，采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù)，獲取修復(fù)后的目標(biāo)圖像。

例如：定義能量方程(如下公式(2))描述圖像修復(fù)的質(zhì)量，求解能量方程，得到最優(yōu)的為每個(gè)未知像素分配一個(gè)主導(dǎo)偏移量的策略，再將偏移量對(duì)應(yīng)的已知像素值填補(bǔ)缺失區(qū)域的未知像素。

可理解的是，本實(shí)施例的圖像修復(fù)時(shí)，使用的是用已知像素值修復(fù)未知像素，不是用已知圖像塊塊修復(fù)目標(biāo)圖像塊。本實(shí)施例中前述劃分的圖像塊/目標(biāo)圖像塊是相互重疊的，每個(gè)像素出現(xiàn)在若干個(gè)塊中，基于圖像塊不易修復(fù)。

本實(shí)施例的基于偏移量的圖像修復(fù)方法，通過(guò)圖像立方，獲取主導(dǎo)偏移量，進(jìn)而獲取修復(fù)后的目標(biāo)圖像，該方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息，又能引入圖像庫(kù)的額外信息，有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性，提高了修復(fù)結(jié)果的主觀視覺(jué)質(zhì)量，使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。

在實(shí)際應(yīng)用中，前述步驟103可具體包括下述圖中未示出的子步驟1031至子步驟1033：

1031、針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊，在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊；

例如：采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度，在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊；

$d({\mathrm{\Ψ}}_x,{\mathrm{\Ψ}}_y)=\left|\right|{\mathrm{\Ψ}}_x-{\mathrm{\Ψ}}_y|{|}_k^k+\mathrm{\β}||\▿{\mathrm{\Ψ}}_x-\▿{\mathrm{\Ψ}}_y|{|}_k^k$ 公式(1)

其中，Ψx表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊，Ψy為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子，β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù)，d(Ψ_x,Ψ_y)即為difference(Ψ_x,Ψ_y)。

1032、獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量；

舉例來(lái)說(shuō)，針對(duì)目標(biāo)圖像塊Ψ_x找到的最相似的圖像塊Ψ_y，組成相似塊對(duì)(Ψ_x,Ψ_y)，若x＝(x₁,y₁)，y＝(x₂,y₂)，且Ψ_y屬于所述圖像立方中的第I_k圖像，則Ψ_x，Ψ_y之間的相對(duì)三維偏移量為s＝(x₂-x₁,y₂-y₁,k)。

1033、采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。

例如，針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}；

或者，針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量，組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}。

相應(yīng)地，前述圖1中所示的步驟104還可包括下述的圖中未示出的子步驟1041和子步驟1042；

1041、采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+s_L(x)，所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn)；

其中，$E\left(L\right)=\underset{(x,y)\∈N_4}{\Σ}{E}_s(L\left(x\right),L\left(y\right))+\mathrm{\α}\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\right(x))---\left(2\right)$

L表示一種分配方式，表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量s_L(x)，E(L)用于衡量所述分配方式的質(zhì)量，N₄是四鄰域，α表示用于平衡平滑項(xiàng)E_s和數(shù)據(jù)項(xiàng)E_d的平衡系數(shù)，E_s(L(x),L(y))是平滑項(xiàng)，E_d(L(x))為數(shù)據(jù)項(xiàng)。

1042、針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x，為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量s_L(x),將所述圖像立方中像素點(diǎn)x+s_L(x)的值替換該目標(biāo)像素點(diǎn)x，獲得修復(fù)后的目標(biāo)圖像。

上述方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息，又能引入圖像庫(kù)的額外信息，使圖像修復(fù)結(jié)構(gòu)更加自然。

下面結(jié)合圖采用具體的實(shí)例對(duì)基于偏移量的圖像修復(fù)方法進(jìn)行說(shuō)明，本實(shí)施例的基于偏移量的圖像修復(fù)方法包括如下步驟：

A01、對(duì)待修復(fù)的目標(biāo)圖像I₀和圖像庫(kù)c里的圖像I₁～I(xiàn)_w，組成圖像立方C＝{I₀,I₁,…,I_w}；

其中，目標(biāo)圖像I₀中的缺失區(qū)域標(biāo)記為Ω，已知區(qū)域標(biāo)記為Φ。

本實(shí)施例中的，每一目標(biāo)圖像均包括缺失區(qū)域Ω和已知區(qū)域Φ。

A02、對(duì)圖像立方C＝{I₀,I₁,…,I_w}中的每一個(gè)圖像，以其中每個(gè)像素點(diǎn)為塊的左上角，將圖像劃分為可重疊的8*8的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊。

A03、對(duì)已知區(qū)域Φ中的每一個(gè)目標(biāo)圖像塊Ψ_x，在圖像庫(kù)c中找到與之最相似的圖像塊Ψ_y。

其中，目標(biāo)圖像塊Ψ_x表示以x為中心像素點(diǎn)的目標(biāo)圖像塊。塊相似的度量準(zhǔn)則如下述公式(1)所示，其中是梯度算子。

$d({\mathrm{\Ψ}}_x,{\mathrm{\Ψ}}_y)=\left|\right|{\mathrm{\Ψ}}_x-{\mathrm{\Ψ}}_y|{|}_k^k+\mathrm{\β}||\▿{\mathrm{\Ψ}}_x-\▿{\mathrm{\Ψ}}_y|{|}_k^k.---\left(1\right)$

需要說(shuō)明的是，公式(1)的計(jì)算方法可以是顏色值的平方差值和(k＝2)，還可以是絕對(duì)差值(k＝1)其他準(zhǔn)則，還可以加入梯度項(xiàng)(β≠0)即||▽?duì)?sub>x-▽?duì)?sub>y||。

具體地，根據(jù)平衡系數(shù)β的取值，求兩個(gè)圖像塊的差異程度可以分為：

當(dāng)β＝0時(shí)，沒(méi)有公式(1)中加號(hào)的后半部分，也就是沒(méi)有梯度項(xiàng)；

當(dāng)β≠0時(shí)，相當(dāng)于加進(jìn)了梯度項(xiàng)。

根據(jù)公式(1)中k的取值，求兩個(gè)塊的差異程度可以分為：

當(dāng)k＝1時(shí)，表示該公式求的是塊內(nèi)像素之差的絕對(duì)值之和。

當(dāng)k＝2時(shí)，表示該公式求的是圖像塊內(nèi)像素之差的平方之和。

舉例來(lái)說(shuō)，公式(1)里面的顏色平方差之和和絕對(duì)值之和示意性的說(shuō)明如下：圖像塊大小以2×2為例:a1～a4、b1～b4是像素值，

$k=1:\left|\right|\mathrm{\Ψ}a-\mathrm{\Ψ}b|{|}_1^1=|a1-b1|+|a2-b2|+|a3-b3|+|a4-b4|$

$k=2:\left|\right|\mathrm{\Ψ}a-\mathrm{\Ψ}b|{|}_2^2={(a1-b1)}^2+{(a2-b2)}^2+{(a3-b3)}^2+{(a4-b4)}^2$

A04、在步驟A03中，找到的相似塊對(duì)(Ψ_x,Ψ_y)，不妨設(shè)x＝(x₁,y₁)，而y＝(x₂,y₂)，且Ψ_y屬于圖像I_k，則計(jì)算出Ψ_x,Ψ_y之間的相對(duì)三維偏移量為s＝(x₂-x₁,y₂-y₁,k)。

A05、統(tǒng)計(jì)步驟A03和步驟A04中計(jì)算出的所有的三維偏移量，提取出現(xiàn)次數(shù)最多的三維偏移量總計(jì)N個(gè)，組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}。

通常N的取值根據(jù)圖像立方中的圖像數(shù)量可以預(yù)先設(shè)定的如 40，60，80，100等。

A06、定義能量方程：

$E\left(L\right)=\underset{(x,y)\∈N_4}{\Σ}{E}_s(L\left(x\right),L\left(y\right))+\mathrm{\α}\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\left(x\right)\right)---\left(2\right)$

其中，L表示一種分配方式，表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量，即s_L(x)。E(L)衡量了這種分配方式的質(zhì)量，數(shù)值越小質(zhì)量越高。N₄是四鄰域，α用來(lái)平衡平滑項(xiàng)E_s和數(shù)據(jù)項(xiàng)E_d。E_s(L(x),L(y))是平滑項(xiàng).

假設(shè)L(x)＝i,L(y)＝j(luò)，則平滑項(xiàng)的定義為：

$E_s(i,j)=\left|\right|I(x+s_i)-I(x+s_j)|{|}_k^k+\mathrm{\β}||\▿I(x+s_i)-\▿I(x+s_j)|{|}_k^k,---\left(3\right)$

公式(3)中衡量了相鄰兩個(gè)像素分配的偏移量對(duì)應(yīng)的像素值的在結(jié)構(gòu)上連續(xù)性，保證了缺失區(qū)域內(nèi)部修復(fù)結(jié)果在結(jié)構(gòu)上的連續(xù)性。

另一方面，E(L(x))是數(shù)據(jù)項(xiàng)，定義為：

其中，公式(4)中的表示缺失區(qū)域的邊界。當(dāng)未知像素分配的偏移量不能使之找到有效像素點(diǎn)(即落在已知區(qū)域的像素點(diǎn))時(shí)，數(shù)據(jù)項(xiàng)給予最大的懲罰(即公式(4)中的+∞就是給一個(gè)無(wú)窮大的能量)，這保證了最終每個(gè)未知像素都有值可循。

對(duì)于缺失區(qū)域邊界上的像素，則充分考慮修復(fù)時(shí)與邊界外側(cè)已知區(qū)域像素點(diǎn)的連續(xù)程度，保證邊界處過(guò)渡自然。

A07、使用圖割算法求解能量方程的最小值，得到最優(yōu)的分配方案L。

A08、對(duì)缺失區(qū)域中的每個(gè)像素點(diǎn)，將x+s_L(x)處的像素點(diǎn)的像素填補(bǔ)至x處。

根據(jù)以上方法便可以在修復(fù)圖像的過(guò)程中，充分利用圖像內(nèi)部 的結(jié)構(gòu)信息，加入圖像庫(kù)的額外信息。在實(shí)際應(yīng)用中，會(huì)有更多的先驗(yàn)知識(shí)，通過(guò)修改上述方程的定義，可以有效地利用這些先驗(yàn)知識(shí)，從而更符合實(shí)際情況更準(zhǔn)確地修復(fù)缺失區(qū)域。圖像庫(kù)的引入也給本方法提供了更多的靈活性，可以對(duì)目標(biāo)圖像進(jìn)行鏡面對(duì)稱變換，加入到圖像庫(kù)中，以更好地利用圖像的自相似性；對(duì)于視頻，可以將相鄰幀加入到圖像庫(kù)中，提供豐富的幀間信息；還可以使用相關(guān)的圖像檢索技術(shù)，使圖像庫(kù)中的圖像與目標(biāo)圖像的相關(guān)程度更高，從而獲得更優(yōu)的修復(fù)結(jié)果。

圖3示出了本發(fā)明另一實(shí)施例提供的基于偏移量的圖像修復(fù)裝置的結(jié)構(gòu)示意圖，如圖3所示，本實(shí)施例的基于偏移量的圖像修復(fù)裝置包括：圖像立方構(gòu)成單元31、圖像塊劃分單元32、主導(dǎo)偏移量獲取單元33和修復(fù)單元34；

其中，圖像立方構(gòu)成單元31用于將待修復(fù)的目標(biāo)圖像和圖像庫(kù)中的圖像，構(gòu)成圖像立方；

圖像塊劃分單元32用于對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊，獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊，r為大于1的自然數(shù)；

主導(dǎo)偏移量獲取單元33用于獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量；所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合；

修復(fù)單元34用于根據(jù)所述主導(dǎo)偏移量，采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù)，獲取修復(fù)后的目標(biāo)圖像；

所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。

在一種具體的實(shí)現(xiàn)方式中，前述的主導(dǎo)偏移量獲取單元33可具體用于

針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊，在所述圖像立方中 查找與該目標(biāo)圖像塊最相似的圖像塊；

獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量；

采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。

舉例來(lái)說(shuō)，主導(dǎo)偏移量獲取單元33具體用于

采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度，在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊；

$d({\mathrm{\Ψ}}_x,{\mathrm{\Ψ}}_y)=\left|\right|{\mathrm{\Ψ}}_x-{\mathrm{\Ψ}}_y|{|}_k^k+\mathrm{\β}||\▿{\mathrm{\Ψ}}_x-\▿{\mathrm{\Ψ}}_y|{|}_k^k$ 公式(1)

其中，Ψ_x表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊，Ψ_y為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子，β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù)；

針對(duì)目標(biāo)圖像塊Ψ_x找到的最相似的圖像塊Ψ_y，組成相似塊對(duì)(Ψ_x,Ψ_y)，若x＝(x₁,y₁)，y＝(x₂,y₂)，且Ψ_y屬于所述圖像立方中的第I_k圖像，則Ψ_x，Ψ_y之間的相對(duì)三維偏移量為s＝(x₂-x₁,y₂-y₁,k)；

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}；

或者，

針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量，提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量，組成主導(dǎo)偏移量S＝{s₁,s₂,…,s_N}。

在另一種可能的實(shí)現(xiàn)方式中，所述修復(fù)單元34可具體用于，

采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+s_L(x)，所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移 量指向的圖像立方中的像素點(diǎn)；

針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x，為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量s_L(x),將所述圖像立方中像素點(diǎn)x+s_L(x)的值替換該目標(biāo)像素點(diǎn)x，獲得修復(fù)后的目標(biāo)圖像，所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的中心像素點(diǎn)，像素點(diǎn)為圖像塊的中心像素點(diǎn)；

其中，$E\left(L\right)=\underset{(x,y)\∈N_4}{\Σ}{E}_s(L\left(x\right),L\left(y\right))+\mathrm{\α}\underset{x\∈\mathrm{\Ω}}{\Σ}{E}_d\left(L\left(x\right)\right)---\left(2\right)$

L表示一種分配方式，表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量s_L(x)，E(L)用于衡量所述分配方式的質(zhì)量，N₄是四鄰域，α表示用于平衡平滑項(xiàng)E_s和數(shù)據(jù)項(xiàng)E_d的平衡系數(shù)，E_s(L(x),L(y))是平滑項(xiàng)，E_d(L(x))為數(shù)據(jù)項(xiàng)。

本實(shí)施例的基于偏移量的圖像修復(fù)裝置，通過(guò)圖像立方構(gòu)成單元建立圖像立方，進(jìn)而通過(guò)主導(dǎo)偏移量獲取單元獲取主導(dǎo)偏移量，進(jìn)而修復(fù)單元獲取修復(fù)后的目標(biāo)圖像，該裝置既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息，又能引入圖像庫(kù)的額外信息，有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性，提高了修復(fù)結(jié)果的主觀視覺(jué)質(zhì)量，使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。

通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過(guò)硬件實(shí)現(xiàn)，也可以借助軟件加必要的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是CD-ROM，U盤，移動(dòng)硬盤等)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。

本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖，附 圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。

本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的系統(tǒng)中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的系統(tǒng)中，也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)系統(tǒng)中。上述實(shí)施例的模塊可以合并為一個(gè)模塊，也可以進(jìn)一步拆分成多個(gè)子模塊。

以上所述僅是本發(fā)明的部分實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。