本發(fā)明屬于圖像復(fù)原領(lǐng)域，涉及多重退化的極模糊圖像的復(fù)原方法，特別適用于極模糊的刑偵圖像的復(fù)原。

背景技術(shù)：

隨著使用范圍逐步擴(kuò)大，視頻監(jiān)控技術(shù)已成為各類案件偵破過程中搜集犯罪證據(jù)、提取犯罪線索的重要手段[1-4]。當(dāng)遇到圖像模糊不清時(shí)，偵查人員常用photoshop、警視通影像分析平臺(tái)、videoinvestigator、“影博士”、“vcs”、vrevealpremium和“索貝”等軟件來處理[1]。一般這些軟件對(duì)單一退化原因的模糊圖像有效，但對(duì)于多重退化引起的極模糊圖像，難以取得理想效果。

早期的方法典型地假定psf具有簡單參數(shù)形式。實(shí)際上，psf復(fù)雜得多，應(yīng)該用復(fù)雜的參數(shù)模型來描述。dilipg.warrier和udayb.desai將psf看作是一個(gè)矩陣，稱為模糊矩陣，該矩陣的元素采用隨機(jī)模型，使用平均場近似得到一個(gè)封閉形式模糊元素平均值表達(dá)式。因而采用非函數(shù)模型的psf估計(jì)算法得到快速發(fā)展：早期的基于圖像復(fù)倒譜的估計(jì)方法,基于二維arma模型的估計(jì)方法,利用多幀圖像序列維納濾波方法和近期出現(xiàn)的基于奇異值分解的估計(jì)方法等。

近來，基于自然圖像的統(tǒng)計(jì)特性，有不少估計(jì)psf的好算法被提出。fergus等人對(duì)于自然圖像的灰度梯度采用混合高斯模型，結(jié)合變分貝葉斯估計(jì)psf，然后使用l-r算法來解卷。這種方法對(duì)psf較小的情況，結(jié)果比較好。后來，krishan和fergus將自然圖像的灰度梯度的重尾分布采用超拉普拉斯先驗(yàn)?zāi)Ｐ停瑧?yīng)用交叉迭代的方案，該方案利用查找表的算法，能進(jìn)行快速優(yōu)化，然而復(fù)原出來的圖像還是有明顯的階梯效應(yīng)。levin等人對(duì)這些方法進(jìn)行了歸納，提出了基于最大后驗(yàn)概率的邊緣似然的優(yōu)化方法，該種后驗(yàn)概率證明比通常的后驗(yàn)概率具有更好的魯棒性。盡管這些方法效果不錯(cuò)，但計(jì)算量太大。因?yàn)樾枰獙?duì)潛圖像進(jìn)行邊緣化處理，而優(yōu)化能量函數(shù)通常要求相當(dāng)復(fù)雜的迭代數(shù)值算法，比如在優(yōu)化方案中要求在psf估計(jì)和圖像復(fù)原交替迭代進(jìn)行。然而如果初始模糊核沒有一種匹配的方式或者適當(dāng)?shù)拇笮∵M(jìn)行很好的設(shè)置，通常會(huì)不能收斂到真實(shí)的全局最小。

技術(shù)實(shí)現(xiàn)要素：

本專利以現(xiàn)場場景的測(cè)試值作為初始值，提出一種多重退化的極模糊圖像的復(fù)原方法，應(yīng)用變分貝葉斯理論來精確估計(jì)各子退化函數(shù)，從而精確地估計(jì)出成像系統(tǒng)的psf，實(shí)現(xiàn)了極模糊刑偵圖像的復(fù)原。由于仔細(xì)處理了多重退化因素，使得圖像的復(fù)原效果好。

一種多重退化的極模糊圖像的復(fù)原方法，s1，獲取數(shù)據(jù)；

s01，獲取外界參數(shù)：

s02，獲取模糊圖像矩陣g(x,y)并求其梯度倒譜

s2，建立系統(tǒng)退化函數(shù)h(x,y)和各子退化函數(shù)；

s3，初始化各子退化函數(shù)，求解各子退化函數(shù)的初始梯度倒譜；

s4，將各子退化函數(shù)的初始梯度倒譜以及模糊圖像的梯度倒譜作為變分貝葉斯的輸入，求解出各子退化函數(shù)的最優(yōu)分布；

s5，利用各子退化函數(shù)與系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的關(guān)系，求解系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)h(x,y)。

s6，將h(x,y)和g(x,y)作為l-r算法的輸入，獲得清晰圖像矩陣f(x,y)。

進(jìn)一步限定，所述s01中獲取外界參數(shù)具體包括：

s01，獲取外界參數(shù)：獲取攝像頭工作參數(shù)焦距f、透鏡的直徑d、光圈系數(shù)f，ccd成像像元大小wx、wy以及物距z，像距v，像素點(diǎn)數(shù)目k、p，感光元件每個(gè)像素點(diǎn)長度l,物體在曝光時(shí)間τ內(nèi)的運(yùn)動(dòng)距離d，目標(biāo)運(yùn)動(dòng)的方向θ。

進(jìn)一步限定，所述s2的各自退化函數(shù)具體包括：

光學(xué)衍射引起的艾里斑模式的子退化函數(shù)為h1(x,y)；

量化時(shí)圖像傳感器的子退化函數(shù)為h2(x,y)；

攝像頭散焦的子退化函數(shù)為h3(x,y)；

攝像頭與目標(biāo)相對(duì)勻速直線運(yùn)動(dòng)的子退化函數(shù)為h4(x,y)。

進(jìn)一步限定，光學(xué)衍射引起的艾里斑模式的子退化函數(shù)h1(x,y)具體為：

量化時(shí)圖像傳感器的子退化函數(shù)為h2(x,y)具體為：

攝像頭散焦的子退化函數(shù)為h3(x,y)具體為：

攝像頭與目標(biāo)相對(duì)勻速直線運(yùn)動(dòng)的子退化函數(shù)為h4(x,y)具體為：

進(jìn)一步限定，所述s3具體包括：

將所述s01中獲取得的參數(shù)值代入所述s2中所對(duì)應(yīng)的子退化函數(shù)中以初始化各子退化函數(shù)，得到各子退化函數(shù)的初值h10、h20、h30、h40；

求解各子退化函數(shù)的初始梯度倒譜ch10、ch20、ch30、ch40，并設(shè)系統(tǒng)退化函數(shù)h(x,y)的梯度倒譜為ch。

進(jìn)一步限定，所述s4具體包括：

將各子退化函數(shù)的初始梯度倒譜ch10、ch20、ch30、ch40ch40、作為變分貝葉斯的輸入得到ch1、ch2、ch3、ch4；

它們滿足線性關(guān)系關(guān)系：

ch＝k1ch1+k2ch2+k3ch3+k4ch4，其中k1、k2、k3、k4是常數(shù)，且k1、k2、k3、k4至少有一個(gè)不為0。

進(jìn)一步限定，所述k參數(shù)k1、k2、k3、k4典型值為1，針對(duì)某種成像系統(tǒng)的退化情況，k參數(shù)的取值在1附近變化，具體值由實(shí)驗(yàn)確定。本專利不限于四種退化因素，如果有四種以上退化因素，k參數(shù)的個(gè)數(shù)應(yīng)增加。

本發(fā)明的有益效果為：通過考慮圖像模糊的多重退化因素，且通過變分貝葉斯理論來精確估計(jì)各子退化函數(shù)，從而精確地估計(jì)出成像系統(tǒng)的psf，實(shí)現(xiàn)了極模糊圖像的復(fù)原。

具體實(shí)施方式

附圖說明：

圖1為本發(fā)明的流程示意圖。

圖2攝像頭的成像光路圖。

圖3為攝像頭的清晰攝像時(shí)的攝像圖片。

圖4為攝像頭的一段模糊視頻的一幀圖。

圖5為經(jīng)本發(fā)明的方法處理后的清晰圖片

如圖1所示，一種多重退化因素的極模糊圖像的復(fù)原方法，包括如下步驟：

s1，獲取數(shù)據(jù)；

s01，獲取外界參數(shù)：獲取攝像頭工作參數(shù)焦距f，透鏡的直徑d，光圈系數(shù)f，ccd成像像元大小ωx、ωy以及物距z，像距v，像素點(diǎn)數(shù)目k、p，感光元件每個(gè)像素點(diǎn)長度l,物體在曝光時(shí)間τ內(nèi)的運(yùn)動(dòng)距離d，目標(biāo)運(yùn)動(dòng)的方向θ；

s02，獲取模糊圖像矩陣g(x,y)；

s2，建立退化函數(shù)，

系統(tǒng)退化函數(shù)為h(x,y)；

光學(xué)衍射引起的艾里斑模式的子退化函數(shù)為h1(x,y)；

量化時(shí)圖像傳感器的子退化函數(shù)為h2(x,y)；

攝像頭散焦的子退化函數(shù)為h3(x,y)；

攝像頭與目標(biāo)相對(duì)勻速直線運(yùn)動(dòng)的子退化函數(shù)為h4(x,y)；

光學(xué)衍射引起的艾里斑模式的子退化函數(shù)h1(x,y)具體為：

量化時(shí)圖像傳感器的子退化函數(shù)為h2(x,y)具體為：

攝像頭散焦的子退化函數(shù)為h3(x,y)具體為：

攝像頭與目標(biāo)相對(duì)勻速直線運(yùn)動(dòng)的子退化函數(shù)為h4(x,y)具體為：

s3，將所述s01中獲取得的參數(shù)值代入所述s2中所對(duì)應(yīng)的子退化函數(shù)中以初始化各子退化函數(shù)，得到各子退化函數(shù)的初值h10、h20、h30、h40；

求解各子退化函數(shù)的初始梯度倒譜ch10、ch20、ch30、ch40，系統(tǒng)退化函數(shù)為h(x,y)的梯度倒譜為ch；

將各子退化函數(shù)的初始梯度倒譜ch10、ch20、ch30、ch40、cg作為變分貝葉斯的輸入得到ch1、ch2、ch3、ch4；

它們滿足線性關(guān)系關(guān)系：

ch＝k1ch1+k2ch2+k3ch3+k4ch4，其中k1、k2、k3、k4是常數(shù)，且所述k1、k2、k3、k4至少有兩個(gè)不為0，其取值由實(shí)驗(yàn)獲得。

s4，將h(x,y)和g(x,y)作為l-r算法的輸入，獲得清晰圖像矩陣f(x,y)。

具體原理如下：

清晰圖像f(x,y)的退化圖像g(x,y)可表示為：

其中表示卷積操作，h(x,y)為系統(tǒng)點(diǎn)擴(kuò)散函數(shù)(pointspreadfunction,psf)υ(x,y)為系統(tǒng)噪聲。自然圖像f(x,y)的梯度服從重尾分布，采用混合高斯分布來表示其分布:

其中，c表示為混合高斯分布的個(gè)數(shù)，πc表示第c個(gè)分布的權(quán)重，vc為第c個(gè)分布的方差。為了后面的計(jì)算方面，對(duì)圖像進(jìn)行梯度倒譜處理，根據(jù)倒譜的定義，模糊圖像g(x,y)的倒譜為:

cg(p,q)＝fft^-1{log[1+|g(u,v)|]}(3)

對(duì)式(3)在x方向和y方向分別進(jìn)行梯度處理，即可得到模糊圖像的梯度倒譜。

本系統(tǒng)將光學(xué)衍射、量化、散焦以及相對(duì)運(yùn)動(dòng)等因素引起的圖像退化考慮在內(nèi)，構(gòu)建了多重退化因素引起的點(diǎn)擴(kuò)散函數(shù)的模型。假定成像過程各子退化函數(shù)表示為h1、h2、h3、h4，在多重退化和噪聲v(x,y)共同作用下的退化圖像g(x,y)為：

這里，v(x,y)為零均值高斯白噪聲，h1(x,y)表示光學(xué)衍射引起的艾里斑模式的子退化函數(shù)：

其中,j1()為一階第一類bessel函數(shù)；r0為艾里斑中心到主瓣的距離；b＝πf/f(f為鏡頭焦距，f為光圈系數(shù))。

h2(x,y)表示量化時(shí)矩形傳感單元的子退化函數(shù)：

其中，ωx、ωy分別表示為矩形像元的長和寬。

h3(x,y)表示散焦時(shí)的子退化函數(shù)：

其中，r為散焦斑半徑，表示為：

r＝(1/f-1/v-1/z)dv/2(8)

式中，f為鏡頭焦距，z為物距,d為凸透鏡半徑,v為像距。

h4(x,y)表示成像系統(tǒng)與目標(biāo)相對(duì)勻速直線運(yùn)動(dòng)時(shí)的子退化函數(shù)：

其中，θ為模糊角度，l為退化函數(shù)的長度。θ通過分析視頻幀的目標(biāo)運(yùn)動(dòng)情況進(jìn)行估計(jì)，l可在現(xiàn)場按照成像比例關(guān)系進(jìn)行實(shí)測(cè)。

在單幀圖像中，運(yùn)動(dòng)模糊長度是車輛在曝光時(shí)的運(yùn)動(dòng)距離，而運(yùn)動(dòng)時(shí)間就是曝光時(shí)間。依照成像比例關(guān)系的方法來計(jì)算運(yùn)動(dòng)模糊長度在感光元件上對(duì)應(yīng)的長度，其原理如下：

如圖2的成像光路圖所示，d是車輛在被拍攝時(shí)運(yùn)動(dòng)的距離——運(yùn)動(dòng)模糊的長度，與焦平面夾角為α，k是運(yùn)動(dòng)模糊長度d在感光元件上對(duì)應(yīng)的長度，在感光元件上，運(yùn)動(dòng)模糊邊緣與法線的距離為p，焦距為f，物距為z。根據(jù)相似三角形比例關(guān)系，可得：

由于k，p是長度單位，但是實(shí)際我們是通過計(jì)數(shù)像素點(diǎn)數(shù)目來求長度，故設(shè)實(shí)際像素點(diǎn)數(shù)目k、p，感光元件每個(gè)像素點(diǎn)長度為l，因此k＝kl,p＝pl。

假設(shè)h、h1、h2、h3、h4的倒譜ch、ch1、ch2、ch3、ch4，那么存在以下關(guān)系：

ch＝k1ch1+k2ch2+k3ch3+k4ch4(11)

其中k1、k2、k3、k4是常數(shù)。對(duì)于四種退化因素引起的模糊圖像，所述k參數(shù)k1、k2、k3、k4典型值為1，針對(duì)某種成像系統(tǒng)的退化情況，k參數(shù)的取值在1附近變化，具體值由實(shí)驗(yàn)確定。本專利不限于四種退化因素，如果有四種以上退化因素，k參數(shù)的個(gè)數(shù)應(yīng)增加，估計(jì)方法仍然有效。

由式(1)可知，系統(tǒng)點(diǎn)擴(kuò)散函數(shù)未知時(shí)恢復(fù)清晰圖像的過程為盲解卷積。因此，采用兩步來進(jìn)行圖像復(fù)原。首先，估計(jì)出系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。其次，利用l-r算法來對(duì)圖像進(jìn)行復(fù)原。采用變分貝葉斯理論來估計(jì)出精度較高的模糊核。

變分貝葉斯估計(jì)系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的解釋：

給定模糊圖像g(x,y)，通過在給定f(x,y)的先驗(yàn)信息的情況下尋找最大后驗(yàn)概率來估計(jì)psf(系統(tǒng)點(diǎn)擴(kuò)散函數(shù))和清晰圖像f(x,y)。

對(duì)于式(4)，假設(shè)隱變量θ＝{f,h1,h2,h3,h4}，直接計(jì)算后驗(yàn)分布p(θ|g)很麻煩，vb采用較簡單的分布q(θ|g)來近似后驗(yàn)分布p(θ|g)，它們的kl散度為：

使(12)式最小來求解q(θ|g)。由于積分變量為θ，p(g)為常數(shù)，因此，式(12)可表示為：

定義ckl為代價(jià)函數(shù)，可表示為:

假設(shè)q(θ)、q(g)相互獨(dú)立q(θ,g)＝q(θ)q(g)，即(14)式可改寫成為:

現(xiàn)將θ＝{f,h1,h2,h3,h4}帶入(15)式，可得:

假設(shè)各子退化函數(shù)間相互獨(dú)立，則

q(f,h1.h2,h3,h4)＝q(f)q(h1)q(h2)q(h3)q(h4)(17)

將(17)帶入(16)可得：

對(duì)(18)式進(jìn)一步推導(dǎo)，得到：

ckl＝∫q(f)q(h1)q(h2)q(h3)q(h4)[lnq(f)+lnq(h1)+lnq(h2)+lnq(h3)+lnq(h4)

-lnp(f)-lnp(h1)-lnp(h2)-lnp(h3)-lnp(h4)-lnp(g|f,h1.h2,h3,h4)]dθ(19)

使代價(jià)函數(shù)(19)式最小時(shí)，采用交替迭代的辦法來求解，在求解某一變量時(shí)，假定余下的變量都為常量。

在求解q(h1)時(shí)，假設(shè)q(f),q(h2),q(h3),q(h4)為已知常量，令：假定退化模型中噪聲是強(qiáng)度為σ2的高斯白噪聲，那么有：

其中，n()表示高斯分布，可得：

則(19)式只對(duì)h1進(jìn)行積分，可改寫代價(jià)函數(shù)如下：

根據(jù)約束條件∫h1dh1＝1，對(duì)(22)加入拉格朗日乘子λh1，求代價(jià)函數(shù)的極值，可求得q(h1)：

由此可見，q(h1)是關(guān)于f,h2,h3,h4的函數(shù)，因此需要交替更新來迭代。同理可得：

其中，

其中，

其中，

因此，通過現(xiàn)場測(cè)試得到的各子退化函數(shù)值作為初值，利用式(23)-(26)采用交替迭代的辦法，即可獲得各子退化函數(shù)的最優(yōu)分布，從而通過計(jì)算數(shù)學(xué)期望得到各子退化函數(shù)的精確值。

正是因?yàn)樯鲜鲫P(guān)系，變分貝葉斯子退化函數(shù)估計(jì)方法須在梯度倒譜域進(jìn)行，該方法先估計(jì)出各子退化函數(shù)ch1、ch2、ch3、ch4，然后利用(11)式合成系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)ch，從而得到系統(tǒng)點(diǎn)擴(kuò)散函數(shù)h。最后利用l-r算法，即可獲得清晰圖像f(x,y)。

具體實(shí)施步驟：

第一步，獲取參數(shù)焦距f、透鏡的直徑d、光圈系數(shù)f，ccd成像像元大小wx、wy以及物距z，像距v，像素點(diǎn)數(shù)目k、p，感光元件每個(gè)像素點(diǎn)長度l,物體在曝光時(shí)間τ內(nèi)的運(yùn)動(dòng)距離d，目標(biāo)運(yùn)動(dòng)的方向θ。

第二步，利用公式(5)-(10)的函數(shù)模式，得到各子退化函數(shù)的初值h10、h20、h30、h40。

第三步，求解各子退化函數(shù)的初始梯度倒譜ch10、ch20、ch30、ch40以及模糊圖像的梯度倒譜

第四步，以ch10、ch20、ch30、ch40、為初值并利用自然圖像灰度梯度的超拉普拉斯分布，通過變分貝葉斯可得到ch1、ch2、ch3、ch4。

第五步，利用公式(11)獲得系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。

第六步，求解系統(tǒng)點(diǎn)擴(kuò)散函數(shù)在時(shí)域的分布，并對(duì)其求期望獲得系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。

第七步，利用l-r算法進(jìn)行復(fù)原，獲得清晰圖像f(x,y)。

對(duì)于偵查人員來說，不需要理解變分貝葉斯估計(jì)點(diǎn)擴(kuò)散函數(shù)和l-r復(fù)原算法原理，只需要采用以下步驟就可使用極模糊圖像復(fù)原系統(tǒng)：

(1)對(duì)于由監(jiān)控獲取的一張極模糊的圖像，輸入?yún)?shù)焦距f、透鏡的直徑d、光圈系數(shù)f，ccd成像像元大小ωx、ωy以及物距z，像距v，像素點(diǎn)數(shù)目k、p，感光元件每個(gè)像素點(diǎn)長度l,物體在曝光時(shí)間τ內(nèi)的運(yùn)動(dòng)距離d，目標(biāo)運(yùn)動(dòng)的方向θ。

(2)將這些參數(shù)和模糊圖像輸入系統(tǒng)，通過復(fù)原系統(tǒng)得到復(fù)原圖像。

這個(gè)過程中，測(cè)試參數(shù)f、d、f、z、v、d的精度要達(dá)到0.1mm，τ精度要達(dá)到0.001s，θ精度要達(dá)到0.1度。參數(shù)測(cè)試要有嚴(yán)格的步驟。只要遵循該步驟，不同的人來運(yùn)行軟件，都能得到相同的結(jié)果。

如圖4所示，從監(jiān)控系統(tǒng)硬盤上讀出2017年3月15日下午5:46左右有一段模糊視頻，其中有一幀圖。

我們從產(chǎn)品說明書中得知，該監(jiān)控系統(tǒng)鏡頭焦距f＝6mm，光圈系數(shù)f＝1.4，成像像元大小ωx＝ωy＝6.4μm,圖像傳感器的曝光時(shí)間τ＝0.01s?，F(xiàn)場測(cè)量這些車輛與鏡頭的距離約108m。由實(shí)驗(yàn)測(cè)試的k參數(shù)具體為：k1＝1.2；k2＝0.9；k3＝0.8；k4＝1.3。

經(jīng)過專利方法處理得到的結(jié)果如圖5所示，信噪比提高約9db。