基于圖像中亮條紋信息的圖像去模糊方法
【專利摘要】本發(fā)明公布了一種基于圖像中亮條紋信息的圖像去模糊方法，利用運動模糊圖像中存在的亮條紋，得到模糊核的形狀信息，通過結合圖像和所述模糊核對圖像復原進行約束，得到準確的模糊核和高質(zhì)量的復原圖像；具體包括：選取包含最優(yōu)亮條紋的最優(yōu)圖像塊；提取得到模糊核形狀信息；進行模糊核估計，得到最終的模糊核；進行非盲反卷積，還原得到清晰復原圖像，作為最終的去模糊圖像。本發(fā)明建立了一個實際拍攝的包含亮條紋的模糊圖像測試集，采用本發(fā)明技術方案，能夠得到準確的模糊核和高質(zhì)量的復原圖像，在圖像處理領域應用價值高。
【專利說明】
基于圖像中亮條紋信息的圖像去模糊方法
技術領域
[0001] 本發(fā)明屬于圖像處理技術領域，涉及圖像增強處理方法，尤其涉及一種基于圖像 中亮條紋信息的圖像去模糊方法，利用模糊圖像中的亮條紋對圖像去運動模糊，復原得到 一張高質(zhì)量的圖像。
【背景技術】
[0002] 由于相機和拍攝場景之間的相對運動，獲取到的圖像常常存在一定程度的運動模 糊。圖像退化的模型可以表示為如下的卷積過程
[0003] / = L?k + N (式 1)
[0004] 其中，I是獲取到的模糊圖像，L是清晰圖像，k是模糊核（即點擴散函數(shù)），N是圖像 獲取設備的噪聲，?表示卷積運算。在（1)中，已知量只有模糊圖像I，所以單張圖片盲反卷 積求解L的過程是一個高度病態(tài)的問題。
[0005] 當有光源或者反光物體(如水面，金屬，玻璃等)存在時，這些高亮度的點便會在照 片上形成亮條紋，嚴重影響了圖像的質(zhì)量。存在亮條紋的模糊圖像是運動模糊圖像的一種 特殊情況，在這種情況下，如果點光源或者反光點的亮度非常高，超過成像設備中的傳感器 的閾值，在成像平面上形成飽和像素，每個傳感器的響應都等于傳感器的飽和響應，即式2:
[0006] ki = k2 =…=kw=…kn=傳感器的飽和響應，（式2)
[0007] 此時模糊模型不符合等式1的線性卷積模型，因此不能用卷積表示。飽和目標點在 成像平面上沿相機的運動軌跡形成亮條紋。亮條紋與背景區(qū)域的對比度較大，有明顯的邊 緣，而這些強邊緣會影響到用于估計模糊核的邊緣圖，導致模糊核估計不準確。但是，亮條 紋也為模糊核的估計提供了有用的信息。
[0008] 單張圖片去模糊獲得了越來越多的研究者的關注，并且取得了巨大的進步。由于 已知信息只有一張模糊圖像，我們要得到的是模糊核和未知的清晰圖像，因此利用模糊核 的特征如稀疏性，以及自然圖像的統(tǒng)計特征如梯度分布等對未知的圖像進行約束可以得到 模糊核和中間圖像，同時，這些約束可以避免求解陷入局部最小值，保證模糊核的稀疏性， 減小復原出的圖像的噪聲。在文獻[1]中，F(xiàn)ergus等人第一次將模糊核看作一個函數(shù)，用基 于變分貝葉斯的方法，并將自然圖像梯度的長尾分布模型表示為高斯混合模型，用集成學 習的方法估計出模糊核，但是此方法較復雜，對圖像的處理過程非常慢。在文獻[2]中， Krishnan等人假設L的梯度服從超拉普拉斯分布，取得了高質(zhì)量的復原圖像，超拉普拉斯約 束項作為一個有效的約束條件被廣泛應用于后來的去模糊工作中。
[0009] 目前國內(nèi)外對于包含亮條紋的模糊圖像去模糊的研究成果比較少。雖然亮條紋包 含了許多有用信息，如模糊核的形狀信息，但是大多數(shù)去模糊算法都沒有對這些信息進行 有效利用。在文獻[3]中，Hua和Low手動選取亮條紋區(qū)域，并用其對模糊核進行約束，但是人 工選取的圖像塊不一定是適合約束模糊核的圖像區(qū)域，并且與人的經(jīng)驗有密切關系。在文 獻[4]中記載了，Hu等人提出了利用亮條紋信息對夜景模糊圖像去模糊的算法，自動選取最 優(yōu)亮條紋圖像塊，并結合其它圖像先驗項進行模糊核估計，但是，此方法經(jīng)常會出現(xiàn)誤檢和 漏檢的情況。由于飽和像素破壞了線性卷積模型，所以傳統(tǒng)的反卷積算法對此類圖片復原 并不適用。針對這一問題，文獻[5]中，Whyte等人建立了一個正演模型來消除飽和像素產(chǎn)生 的振鈴效應。文獻[6]記載了 Cho等人去除飽和像素，用非飽和像素來進行反卷積操作。 [0010]綜上所述可知，單張圖像去運動模糊已受到廣泛關注，已有大量的去運動模糊算 法涌現(xiàn)，具有重要的應用價值。而存在亮條紋的模糊圖像提供了模糊核信息，目前尚缺乏能 夠充分提取模糊圖像中的亮條紋信息，并利用此信息進行模糊核估計對圖像去運動模糊， 從而復原得到一張高質(zhì)量的圖像的方法。
[0011] 引用文獻：
[0012] [1]R.Fergus ,B·Singh,and A·Hertzmann，"Removing camera shake from a single photographACM Trans .Graph, vol. 25 ,pp. 787-794,2006
[0013] [2]D.Krishnan and R.Fergus ,uFast image deconvolution using hyper-laplacian priors，"in NIPS，2009，pp.l57_170
[0014] [3]B.-S.Hua and K·-L·Low·"Interactive motion deblurring using light streaks，"In ICIP，pp.1553-1556,2011.
[0015] [4]Z. Hu ,S.Cho,and J·Wang·"Deblurring low-light images with light streaks"，In CVPR，pp.3382-3389,2014.
[0016] [5]0.ffhyte,J.Sivic,and A.Zisserman,aDeblurring shaken and partially saturated images"，In ICCV Workshops,ρρ.745-752,2011.
[0017] [6]S.Cho,J. Wang ,and S·Lee·"Handling outliers in non-blind image deconvolution，"In ICCV，pp.495_502,2011·
[0018] [7]X.Zhang,R.Wang,and Y.Tian.uImage deblurring using robust sparsity priors"，in ICIP，pages 138_142,2015.
[0019] [8]Q.Shan，J.Jia，and A.Agarwala，"High-quality motion deblurring from a single image，"ACM Trans.Graph，vol·27(3)，pp·73，2008·
[0020] [9]L. Xu ,S. Zheng, and J·Jia，"Unnatural lOsparse representation for natural image deblurring in CVPR, 2013 ,pp. 1107-1114.

【發(fā)明內(nèi)容】

[0021] 為了克服上述現(xiàn)有技術的不足，本發(fā)明提供一種基于圖像中亮條紋信息的圖像去 模糊方法，利用運動模糊圖像中存在的亮條紋，得到模糊核的形狀信息，并結合自然圖像和 模糊核的其它先驗項對圖像復原進行約束，以得到準確的模糊核和高質(zhì)量的復原圖像。
[0022] 本發(fā)明針對包含亮條紋的模糊圖片提出了一種魯棒的去模糊技術。該技術主要包 括亮條紋圖像塊選取、模糊核估計和圖像復原三部分。在亮條紋圖像塊選取方面，本發(fā)明提 出了最優(yōu)亮條紋選取方法，手動選取包含亮條紋的圖像塊;然后從最優(yōu)亮條紋中經(jīng)過骨化 及形態(tài)學運算等過程提取出模糊核的形狀信息，并與自然圖像和模糊核的先驗知識結合起 來對清晰圖像和模糊核進行約束，通過迭代計算估計出模糊核;最后采用一種可以處理飽 和像素的非盲反卷積方法還原出最終的銳利圖像。
[0023]本發(fā)明提供的技術方案是：
[0024] -種基于圖像中亮條紋信息的圖像去模糊方法，利用運動模糊圖像中存在的亮條 紋，得到模糊核的形狀信息，通過結合圖像和所述模糊核對圖像復原進行約束，得到準確的 模糊核和高質(zhì)量的復原圖像;包括如下步驟：
[0025] 1)選取包含最優(yōu)亮條紋的最優(yōu)圖像塊；
[0026] 2)針對包含最優(yōu)亮條紋的最優(yōu)圖像塊，提取得到模糊核形狀信息;包括如下步驟：
[0027] 21)設置一個亮度閾值；
[0028] 22)將亮度小于所述亮度閾值的像素的亮度設為0,將最優(yōu)亮條紋的中心點調(diào)節(jié)到 最優(yōu)圖像塊的中心位置；
[0029] 23)將所有亮度小于及等于0的像素的亮度設為0,大于0像素的亮度設為1，將最優(yōu) 圖像塊轉換成為一個二值圖像；
[0030] 24)將所述二值圖像進行骨化操作(可使用MATLAB中的bwmorph函數(shù)實現(xiàn)此操作）， 得到單像素寬度的二值圖，即拍攝設備的運動軌跡，也就是模糊核的形狀；
[0031] 為了對模糊核的形狀進行約束，最后將單像素寬度的二值圖進行膨脹操作(可使 用MATLAB中的imdilate實現(xiàn)此操作），膨脹模型是半徑為模糊核短邊的1/5大小的圓盤模 型，將得到的結果(單像素寬度的運動軌跡膨脹后的結果)用矩陣T表示。
[0032] 3)模糊核估計：用步驟2)得到的模糊核形狀信息與稀疏先驗項結合對模糊核進行 約束，通過迭代計算中間圖和模糊核，得到最終的模糊核;包括如下步驟：
[0033] 31)首先建立圖像金字塔，輸入圖像為原始的模糊圖像I;并將模糊核k初始化為一 個5X5大小的矩陣，其為在骨化之后的矩陣下采樣得到的；以上一層圖像中得到的模糊核 經(jīng)上采樣作為當前迭代過程的初始模糊核；
[0034]模糊核估計的模型為式3:
[0035]
[0036]
[0037]其中，〇表示Hadamard乘積；γ，λ#Ρλ2是權重系數(shù);J是全1矩陣;T是單像素寬度的 運動軌跡膨脹后的結果;第一項lli雜-/II!是數(shù)值保真項，符合模糊圖像退化模型;第二項 yliw」|?對清晰圖像的全局約束項，使得復原出來的清晰圖像的梯度統(tǒng)計分布服從"重尾模 型"，其中，〇<α<1，本實施例中α = 〇.6;第三項1 ||M。/c ||_利用掩膜Μ對模糊核的形狀進行 約束，使模糊核的形狀盡量趨近于亮條紋的形狀;第四項λ2| |k| |:是稀疏約束項；
[0038] 32)通過求解最優(yōu)化能量方程(式3)，迭代計算L和k，估計出最終的模糊核。
[0039] 可通過以下步驟求解最優(yōu)化能量方程(式3):
[0040] 321)在方程(式3)中，當k為已知時(將模糊核k初始化為一個5X5大小的矩陣），方 程(式3)簡化為：
[0041 ]
(Λ4)
[0042] 322)然后將L作為已知量，計算k，
[0043]
(式.5)
[0044] 然而我們無法直接求解這個復雜方程。
[0045] 323)因此，我們引入一個替代量w，替換(式5)中的Mok，得到如下方程：
[0046](式 6)
[0047] 然后迗代求觶k和w。
[0048] 首先，將w作為已知量，求解k:
[0049]
(式 7)
[0050] 利用迭代加權最小二乘法（Iteratively reweighted least squares，IRLS)可以 求解出k。然后，將k作為已知量，求解w:
[0051 ] (式 8)
[0052]
[0053] (式.9).
[0054] 本發(fā)明實施例中，設定迭代次數(shù)為20，經(jīng)過20次迭代式5和式8，得到k;
[0055] 324)然后多次迭代(本實施例中，迭代次數(shù)設為5次)計算式4和式5,求得最終的模 糊核k。
[0056] 4)非盲反卷積:通過非盲復原算法還原得到清晰復原圖像，作為最終的去模糊圖 像。
[0057] 本發(fā)明米用Cho等人在文獻6(S.Cho，J.Wang,and S.Lee. "Handling outliers in non-blind image deconvolution，"In ICCV,2011)提出的非盲復原算法，還原清晰圖像。 所述非盲復原算法將飽和像素點和噪聲視為奇異點，將奇異像素點和其它像素點分別進行 處理，用期望最大化(Expectation-Maximization，EM)算法迭代地優(yōu)化異常值(飽和像素） 和復原圖像，最終得到高質(zhì)量的復原圖像。
[0058]與現(xiàn)有技術相比，本發(fā)明的有益效果是：
[0059] 本發(fā)明提供一種基于圖像中亮條紋信息的圖像去模糊方法，利用運動模糊圖像中 存在的亮條紋，得到模糊核的形狀信息，并結合自然圖像和模糊核的其它先驗項對圖像復 原進行約束，以得到準確的模糊核和高質(zhì)量的復原圖像。本發(fā)明具有以下優(yōu)點：
[0060] ( - )本發(fā)明提出了最優(yōu)亮條紋選取方法，手動選取包含最優(yōu)亮條紋的圖像塊。
[0061] (二)本發(fā)明提出了一個模糊核形狀提取方法，可以從包含最優(yōu)亮條紋的圖像塊中 提取到形狀信息，然后用其與其它先驗項對模糊核進行約束，估計出準確的模糊核。
[0062] (三)本發(fā)明建立了一個實際拍攝的包含亮條紋的模糊圖像測試集，用于對去模糊 算法進行測試。針對該模糊圖像測試集，采用本發(fā)明提供的基于圖像中亮條紋信息的圖像 去模糊方法，能夠得到準確的模糊核和高質(zhì)量的復原圖像，在圖像處理領域應用價值高。
【附圖說明】
[0063] 圖1是本發(fā)明提供的針對存在亮條紋的圖像的圖像去模糊方法的流程框圖。
[0064] 圖2是本發(fā)明實施例中對模糊核形狀信息進行提取過程中的截圖；
[0065] 其中，（a)為模糊圖像，（b)為選取出的包含亮條紋的圖像塊，（c)為骨化之后的結 果，（d)為膨脹之后的結果，（e)為估計出的模糊核。
[0066] 圖3是本發(fā)明實施例中對低光照圖像亮條紋形狀提取的截圖；
[0067] 其中，圖像中間矩形框中為選取出的最優(yōu)亮條紋圖像塊，左上角矩形框中為最優(yōu) 亮條紋圖像塊的放大圖像，右上角矩形框中為提取出的亮條紋形狀圖。
[0068]圖4是本發(fā)明實施例中對正常光照亮條紋形狀進行提取過程中的截圖；
[0069]其中，左上角矩形框中為選取出的亮條紋圖像塊，右上角矩形框中為提取出的亮 條紋形狀圖。
[0070] 圖5是本發(fā)明實施例中采用的人工模糊圖像測試數(shù)據(jù)集的部分圖片。
[0071] 圖6是本發(fā)明實施例中分別采用現(xiàn)有方法和本發(fā)明提供方法得到的模糊核估計和 復原結果，對比了模糊核估計的準確性；
[0072] 其中，（a)為模糊圖像；（b)(c)(d)的左上角是各算法估計出的模糊核；圖（b)為 Zhang等人采用方法(文獻[7])得到的模糊核估計和復原結果；圖（c)為Hu等人采用方法[4] 得到的模糊核估計和復原結果;圖（d)為本發(fā)明提供方法得到的模糊核估計和復原結果。
[0073] 圖7是本發(fā)明實施例中分別采用現(xiàn)有方法和本發(fā)明提供方法得到的模糊核估計和 復原結果，表示了模糊核形狀約束項AJM。/f||i對模糊核估計的影響；
[0074] 圖中（b)(c)的左上角為估計出的模糊核；圖（a)為模糊圖像，圖（b)為Zhang等人
[7]的模糊核估計和復原結果，圖（c)為本發(fā)明的模糊核估計和復原結果。
[0075] 圖8是本發(fā)明實施例中分別采用現(xiàn)有方法和本發(fā)明提供方法得到的對實際圖像進 行去模糊得到的效果對比圖；
[0076]其中，（a)為待處理的模糊圖像；（b)為Hu等人采用方法[4]得到的去模糊結果；（c) 為Xu等人采用方法（文獻[8])得到的去模糊結果；（d)為本發(fā)明提供方法得到的去模糊結 果；（b)、（c)、（d)中圖片的左上角矩形框內(nèi)是各方法估計出的模糊核。
[0077] 圖9是本發(fā)明實施例對實際圖像去模糊效果對比圖；
[0078] 其中，（a)為模糊圖像；（b)為Hu等人[4]的去模糊結果；（c)為Xu等人[8]的去模糊 結果；（d)為本發(fā)明提供方法得到的結果.，圖片左上角矩形框內(nèi)是各算法估計出的模糊核。
[0079] 圖10是本發(fā)明實施例對本發(fā)明建立的實際圖像數(shù)據(jù)集進行去模糊處理的效果對 比圖；
[0080] 其中，（al)~（cl)是模糊圖像，（a2)~（c2)是采用文獻[3]方法的去模糊結果； (a3)~(c3)是采用文獻[4]方法的去模糊結果，（a4)~(c4)是采用文獻[7]方法的去模糊結 果；（a5)~(c5)是本發(fā)明提供方法的去模糊結果。
[0081] 圖11本發(fā)明實施例對本發(fā)明建立的實際圖像數(shù)據(jù)集進行去模糊處理的效果對比 圖；
[0082] 其中，（al)~(a4)為模糊圖像；（bl)~(b4)為Hua等[3]方法的結果；（cl)~(c4)為 Hu等人[4]采用方法的結果；（dl)~(d4)為本發(fā)明提供方法的去模糊結果。
【具體實施方式】
[0083] 下面結合附圖，通過實施例進一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范 圍。
[0084] 本發(fā)明提供一種基于圖像中亮條紋信息的圖像去模糊方法，該方法利用運動模糊 圖像中存在的亮條紋，得到模糊核的形狀信息，并結合自然圖像和模糊核的其它先驗項對 圖像復原進行約束，以得到準確的模糊核和高質(zhì)量的復原圖像。
[0085] 本發(fā)明實施例針對待處理的模糊圖像，通過執(zhí)行以下步驟進行圖像的去運動模 糊，得到最終的去模糊圖像;操作過程如圖1所示，包括如下步驟：
[0086] 第一步:手動選取包含最優(yōu)亮條紋的圖像塊；
[0087] 本發(fā)明實施例通過手動選取得到滿足如下條件的包含最優(yōu)亮條紋的最優(yōu)圖像塊：
[0088]( - )亮條紋的亮度要遠大于其鄰近區(qū)域的亮度；
[0089]鄰近區(qū)域即指周圍像素點。本發(fā)明具體實施中，選取的圖像塊中亮條紋由亮度為 亮度大于此圖像塊亮度最大值的70%的像素點組成;例如，圖3中的矩形框內(nèi)就是選取出的 最優(yōu)亮條紋圖像塊。
[0090] (二)亮條紋在圖像塊中是稀疏分布，即亮條紋寬度比較??；
[0091] 寬度比較小是相對于圖像中其他高亮度條紋而言的，在本發(fā)明實驗中，對于800 X 600大小的圖片，亮條紋設定為5個像素寬度。
[0092](三)每個圖像塊(image patch)中有且只有一條亮條紋；
[0093]圖像塊是圖像中的一個矩形區(qū)域，其中包含了整條亮條紋;例如圖3矩形框內(nèi)就是 選取出的最優(yōu)亮條紋圖像塊；
[0094]根據(jù)以上這三個特性，我們可以找到多個包含亮條紋的圖像塊，然后從中選取最 優(yōu)圖像塊。最優(yōu)的亮條紋還需符合以下幾個條件：
[0095] (四）亮條紋的形狀要與圖像中其他多數(shù)亮條紋的形狀相似，這是為了避免將亮條 紋和條形的發(fā)光體區(qū)(光源或者反光體)混淆，避免將發(fā)光體誤認為亮條紋；
[0096] (五）圖像塊背景部分的亮度相對較低；即在符合前4個條件的所有圖像塊中選擇 背景亮度最低的一個或者幾個圖像塊；
[0097] (六)圖像塊中除了亮條紋沒有其他與亮條紋亮度相近的結構信息。
[0098]其他亮度較高的結構包括:高亮度的發(fā)光體、一個圖像塊包含的多條亮條紋、顯著 的圖像邊緣等結構。
[0099] 通過以上這些條件，可手動選取得到最優(yōu)亮條紋圖像塊。
[0100] 第二步:模糊核形狀信息提取。模糊核可以分為形狀和亮度。根據(jù)第一步提到的最 優(yōu)亮條紋選出包含亮條紋的圖像塊，如圖2(b)所示;然后設置一個閾值，將亮度小于這個閾 值的像素的像素值設為〇,并將亮條紋的中心點調(diào)節(jié)到圖像塊的中心位置;接下來把所有小 于〇的像素值設為〇,大于〇像素值設為1，此時這個圖像塊成為了一個二值圖像;將此二值圖 進行骨化操作(可使用MATLAB中的bwmorph函數(shù)實現(xiàn)此操作），得到圖2(c)所示的單像素寬 度的二值圖，這就是我們要得到的拍攝設備運動軌跡，也就是模糊核的形狀;為了對模糊核 的形狀進行約束，最后將圖2(c)進行膨脹操作（可使用MATLAB中的imdilate實現(xiàn)此操作）， 膨脹模型為半徑模糊核短邊的1/5大小的圓盤模型，得到的結果如圖2(d)所示，此矩陣用T 表不。
[0101] 圖3是從輸入的模糊圖像中選取亮條紋圖像塊以及從亮條紋中提取的模糊核形狀 結果圖，可以看出右上角的模糊核形狀和亮條紋的形狀是一致的。與Hu等人采用方法不同 的是，對于圖4所示的模糊圖像，其中并不存在飽和的亮條紋，但是仍然存在矩形框中的亮 度高于背景區(qū)域的條紋，記錄了拍攝設備的運動軌跡。用本發(fā)明提出的模糊核形狀提取方 法也可以得到模糊核的形狀信息，如圖4右上角所示。
[0102] 第三步:模糊核估計。用第二步得到的形狀信息與稀疏先驗項結合對模糊核進行 約束，通過迭代計算中間圖和模糊核得到最終的模糊核。
[0103] 首先建立圖像金字塔，輸入圖像為原始的模糊圖像I;并初始化模糊核k，將模糊核 k初始化為一個5X5大小的矩陣，其為骨化之后的矩陣（圖2(c)所示）下采樣得到的。。圖像 金字塔中，每一層計算出的模糊核和中間圖都經(jīng)過上采樣作為下一個精細層的模糊核和中 間圖的初始值。
[0104] 模糊核估計的模型為：
[0105]
[0106]
[0107]其中，〇表示Hadamard乘積，γ，λ#Ρλ2是權重系數(shù)，J是全1矩陣，T是單像素寬度的 運動軌跡膨脹后的結果;第一項11/-/||_是數(shù)值保真項，符合模糊圖像退化模型;第二項 Fimmr對清晰圖像的全局約束項，使得復原出來的清晰圖像的梯度統(tǒng)計分布服從"重尾模 型"，其中，〇<α<1，本實施例中α = 〇.6;第三項AIIΜ。fcII_利用掩膜Μ對模糊核的形狀進行 約束，使模糊核的形狀盡量趨近于亮條紋的形狀;第四項λ 2| |k| |:是稀疏約束項。
[0108] 通過求解最優(yōu)化能量方程(4.1 )，迭代計算L和k，估計出最終的模糊核。
[0109] 在方程(3)中，若k已知(將模糊核k初始化為一個5X5大小的矩陣，其為骨化之后 的矩陣（圖2(c)所示)下采樣得到的），則方程(3)簡化為：
[0110]
(Λ4)
[0111] 然后將L作為已知量，計算k，
[0112]
(式 5)
[0113]然而我們無法直接求解這個復雜方程。因此，我們引入一個替代量w，替換(5)中的 Mok，得到如下方程：
[0114]
(式 6)
[0115] 然后迭代求解k和w。
[0116] 首先，將w作為已知量，求解k，
[0117]
(式 7)
[0118]利用迭代加權最小二乘法（Iteratively reweighted least squares，IRLS)可以 求解出k。然后，將k作為已知量，求解w，
[0119] (式 8)
[0120]
[0121] (式 9)
[0122] 設定迭代次數(shù)為20,經(jīng)過20次迭代式（5)和式(8)，得到k，然后迭代5次計算式(4) 和式(5)求得最終的模糊核k。
[0123] 第四步：非盲反卷積。本發(fā)明采用(：11〇等人在文獻6(5.(：11 〇，了.如1^，&11(15.1^6. "Handling outliers in non-blind image deconvolution，" In ICCV，2011)提出的非盲 復原算法，還原清晰圖像。Cho等人將飽和像素點和噪聲視為奇異點，將奇異像素點和其它 像素點分別進行處理。用期望最大化(Expectation-Maximization，EM)算法迭代地優(yōu)化異 常值(飽和像素)和復原圖像。最終得到高質(zhì)量的復原圖像。
[0124] 經(jīng)過以上四個步驟后，就得到了最終的去模糊圖像。
[0125] 為了檢驗本發(fā)明的有效性，本發(fā)明建立了包含亮條紋的實際拍攝的模糊圖像測試 集，然后在此數(shù)據(jù)集上對本發(fā)明提出的去模糊算法進行測試，同時與目前常用的去模糊算 法進行了對比實驗。
[0126] 用于進行主觀測試的數(shù)據(jù)集一共包含25張不同場景下由數(shù)碼相機或者手機拍攝 的模糊程度不同的圖片。每張圖像中都包含一條或多條高亮度的亮條紋。此測試集中的部 分圖片如圖5所不。
[0127] 在本發(fā)明建立的實際拍攝的模糊圖像集上進行實驗，直觀地與其他算法的復原圖 像的模糊程度、噪聲、振鈴等進行比較。在與其他算法對比時，我們將其他算法中的可調(diào)參 數(shù)調(diào)到最優(yōu)。
[0128] 圖6比較了 Hu等人[4]和Zhang等人[7]與本文的模糊核估計結果，如圖片左上角所 示。本發(fā)明技術與Zhang等人[7]模糊核估計算法最大的區(qū)別就是利用亮條紋對模糊核進行 形狀約束，比較圖6(b)和(d)可以看出，本章算法的模糊核形狀與圖中亮條紋形狀更相近， 還原出的圖像更銳利，且包含更少的振鈴。與6(c)相比，雖然圖（c)的模糊核形狀更接近圣 誕樹上的亮條紋，但是與本章的復原結果相比卻明顯的振鈴，這是由于本發(fā)明結合亮條紋 信息和其他先驗知識在模糊核估計過程中進行迭代計算，在每次迭代過程中都對模糊核進 行修正，以達到最優(yōu)估計結果。圖7中，將Zhang等人[7]算法與本發(fā)明技術比較。本發(fā)明與 Zhang等人[7]在模糊核估計方法的區(qū)別主要是本算法用亮條紋提取出的形狀信息在模糊 核估計過程中對模糊核進行形狀約束，即利用了約束項AllMc/cIt可以看到，Zhang等人 [7]估計出的模糊核和實際模糊核差距較大，還原出的圖像仍然是非常模糊的，而本發(fā)明算 法估計的模糊核形狀準確，復原圖像質(zhì)量明顯提高。
[0129] 圖8和圖9是本章算法與目前流行的幾種算法對實際拍攝的包含亮條紋的模糊圖 片的去模糊效果的對比圖，其中（a)為模糊圖像，（b)為Hu等人[4]的去模糊結果，（c)是Xu等 人[9]的去模糊結果，（d)是本章算法的結果，圖片左上角矩形框內(nèi)是各算法估計出來的模 糊核。圖8中的矩形框內(nèi)是手動選取出來的最優(yōu)亮條紋圖像塊，Hu等人[4]和Xu等人[9]估計 出的模糊核和實際模糊核的形狀相差很大，幾乎沒有去模糊效果，而本發(fā)明估計的模糊核 形狀與亮條紋形狀一致，從最終的復原圖像中可以清晰識別出人的面孔。
[0130] 圖10中的圖像是針對包含亮條紋圖像去模糊的工作中常用的進行主觀測試的圖 片。其中，第一排是模糊圖像，第二排是Him和Low的去模糊結果，第三排是Hu等人的去模糊 結果，第四排是Zhang等人的去模糊結果，最后一排是本章算法的結果?？梢钥吹剑琙hang等 人的算法對這三張存在亮條紋的圖像幾乎沒有去模糊效果，Hua和Low以及Hu等人雖然使模 糊圖片變得銳利，但是存在嚴重的振鈴效應，而本章算法得到的銳利圖像清晰且相比之下 振鈴較少，并且可以將亮條紋還原出點光源原本的形狀。
[0131]此外，我們在自己建立的實際模糊數(shù)據(jù)集上對本章算法以及Hua和Low和Hu等人進 行測試，如圖11所示?？傮w看來，Him和Low復原的圖像振鈴和噪聲比較嚴重，Hu等人的振鈴 較嚴重，對有些圖像會產(chǎn)生過增強的效果，而本發(fā)明噪聲和振鈴較少，復原圖像相對清晰。 [0132]需要注意的是，公布實施例的目的在于幫助進一步理解本發(fā)明，但是本領域的技 術人員可以理解:在不脫離本發(fā)明及所附權利要求的精神和范圍內(nèi)，各種替換和修改都是 可能的。因此，本發(fā)明不應局限于實施例所公開的內(nèi)容，本發(fā)明要求保護的范圍以權利要求 書界定的范圍為準。
【主權項】
1. 一種基于圖像中亮條紋信息的圖像去模糊方法，利用運動模糊圖像中存在的亮條 紋，得到模糊核的形狀信息，通過結合圖像和所述模糊核對圖像復原進行約束，得到準確的 模糊核和高質(zhì)量的復原圖像;包括如下步驟： 1) 選取包含最優(yōu)亮條紋的最優(yōu)圖像塊； 2) 針對包含最優(yōu)亮條紋的最優(yōu)圖像塊，提取得到模糊核形狀信息； 3) 進行模糊核估計：用步驟2)得到的模糊核形狀信息與稀疏先驗項結合對模糊核進行 約束，通過迭代計算中間圖和模糊核，得到最終的模糊核； 4) 進行非盲反卷積:通過非盲復原算法還原得到清晰復原圖像，作為最終的去模糊圖 像。2. 如權利要求1所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，步驟2)所述 提取得到模糊核形狀信息，具體包括如下步驟： 21) 設置一個亮度闊值； 22) 將亮度小于所述設置的亮度闊值的像素的值設為0,將所述最優(yōu)亮條紋的中屯、點調(diào) 節(jié)到所述最優(yōu)圖像塊的中屯、位置； 23) 將所有亮度小于等于0的像素的值均設為0,亮度大于0的像素的值均設為1，將最優(yōu) 圖像塊轉換成為一個單像素寬度的二值圖像； 24) 將所述二值圖像進行骨化操作，得到單像素寬度的二值圖，表示拍攝設備的運動軌 跡，作為模糊核的形狀。3. 如權利要求2所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，步驟24)所 述骨化操作使用MATLAB中的bwmo巧h函數(shù)實現(xiàn)。4. 如權利要求1所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，在步驟3)之 前對模糊核的形狀進行約束，具體將所述單像素寬度的二值圖進行膨脹操作，膨脹模型是 半徑為模糊核短邊的大小的圓盤模型，得到單像素寬度的運動軌跡膨脹后的結果，表示 為矩陣T。5. 如權利要求4所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，所述膨脹操 作使用MATLAB中的imdilate實現(xiàn)。6. 如權利要求1所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，步驟3)所述 模糊核估計具體包括如下步驟： 31)建立圖像金字塔，輸入圖像為原始的模糊圖像，記為I;模糊核記為k，將模糊核k初 始化為一個5X5大小的矩陣；W上一層圖像中得到的模糊核經(jīng)上采樣作為當前迭代過程的 初始模糊核;將最優(yōu)化能量方程式3作為模糊核估計的模型，通過所述模糊核估計的模型進 行模糊核估計：其中，0表示化damard乘積；丫，λι和λ2是權重系數(shù);J是全1矩陣;T是單像素寬度的運動 軌跡膨脹后的結果；第一項"If是數(shù)值保真項，符合模糊圖像退化模型；第二項 Klivyr對清晰圖像的全局約束項，使得復原出來的清晰圖像的梯度統(tǒng)計分布服從"重尾模 型"，其中，0<〇<1;第；項11誇。/?:||謝用掩膜1對模糊核的形狀進行約束，使模糊核的形 狀盡量趨近于亮條紋的形狀;第四項λ2 Μ k Μ1是稀疏約束項； 32)通過求解最優(yōu)化能量方程式3，迭代計算L和k，估計出最終的模糊核； 具體通過W下步驟求解式3: 321)在式3中，當k為已知時，將模糊核k初始化為一個5X5大小的矩陣，式3簡化為式4:迭代求解方程式6,得到k和W; 324)設定迭代次數(shù)，經(jīng)過多次迭代計算式4和式5,求得最終的模糊核k。7. 如權利要求6所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，所述迭代求 解方程式6，得到k和W;具體包括如下步驟： 首先，將W作為已知量，通過式7利用迭代加權最小二乘法求解出k:所述迭代的次數(shù)設為20。8. 如權利要求1所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，步驟4)所述 非盲反卷積具體義用文獻6(S.畑o,J.Wang,and S丄ee.巧andling outliers in non- blind image deconvolution," In ICCV,2011)記載的非盲復原算法，還原清晰圖像，得到 高質(zhì)量的復原圖像。9. 如權利要求1所述基于圖像中亮條紋信息的圖像去模糊方法，其特征是，步驟1)所述 選取包含最優(yōu)亮條紋的最優(yōu)圖像塊具體采用手動選取方法，所述包含最優(yōu)亮條紋的最優(yōu)圖 像塊滿足如下條件： (一) 所述最優(yōu)亮條紋由亮度為所述最優(yōu)圖像塊中亮度大于像素亮度最大值的70%的 像素點組成； (二) 所述最優(yōu)亮條紋在圖像塊中稀疏分布； (Ξ)每個最優(yōu)圖像塊中有且只有一條最優(yōu)亮條紋； (四） 所述最優(yōu)亮條紋的形狀要與圖像中其他多數(shù)亮條紋的形狀相似，避免所述最優(yōu)亮 條紋和條形發(fā)光體區(qū)混淆； (五) 選擇滿足上述條件（一）~（四）的所有圖像塊中背景亮度最低的一個或多個圖像 塊，作為最優(yōu)圖像塊； (六) 所述最優(yōu)圖像塊中除了亮條紋沒有其他與亮條紋亮度相近的結構，所述其他結構 包括:高亮度的發(fā)光體、一個圖像塊包含的多條亮條紋和顯著的圖像邊緣結構中的一種或 多種。
【文檔編號】G06T5/00GK105976332SQ201610284962
【公開日】2016年9月28日
【申請日】2016年5月3日
【發(fā)明人】王榮剛, 張欣欣, 王振宇, 高文
【申請人】北京大學深圳研究生院