專利名稱：基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理、計算機視覺技術(shù)領(lǐng)域，是一種新型的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法。
背景技術(shù)：
圖像前景精準提取旨在將圖像I分解成前景F和背景B。從數(shù)學角度上講，圖像I是F和B按如下方式的線性組合:C = Fa+B(l-a)其中，a定義了每一個像素的不透明度，它的取值位于
。精確的圖像提取在不同的圖像和視頻編輯應(yīng)用中有很大的作用。然而，由于未知點的個數(shù)比已知方程式的個數(shù)多很多，導致該方程不可解。所以，通常采用的方法是利用用戶畫筆式交互或輸入一張黑白灰三分圖(trimap)來簡化這個問題的求解。現(xiàn)在的圖像方法大致可以分為三類:基于采樣(Sampling-Based)的方法,基于相似度(Affinity-Based)的方法以及結(jié)合這兩種方法的綜合方法?；诓蓸拥膱D像前景精準提取同時估算一個像素點的a值和其前景色，背景色。很多方法采用不同的參數(shù)化的或非參數(shù)化的模型來對已知前景區(qū)域和背景區(qū)域的臨近像素點進行采樣。Ruzon和Tomasi假定未知像素點在前景區(qū)域邊緣的狹窄帶狀區(qū)域。后來這一方法被Chuang等人用貝葉斯框架加以擴展。這些方法在未知像素點臨近前景邊緣，同時未知像素點的個數(shù)相對比較少時效果比較好。Rhemann等人提出了一種基于測地線距離采集樣本的改進顏色模型。共享圖像前景精準提取(Shared matting)方法沿著光線的不同方向?qū)ο袼攸c進行采樣。總的來說，這些方法在顏色鄰域平滑的情況下有比較好的效果?；谙嗨贫鹊膱D像前景精準提取，獨立于前景顏色和背景顏色解決了精準對象提取(alpha matte)問題。泊松圖像前景精準提取方法(Poisson matting)假定掩像(alphamatte)的梯度與圖像的梯度是成比例的?；陔S機游走算法的圖像前景精準提取(Randomwalk matting)方法采用隨機游走算法根據(jù)相鄰顏色相似度來求解a值?；陂]合式方法的圖像前景精準提取(Closed-form matting)方法假定鄰域窗口上的顏色線模型,通過最小化一個花費函數(shù)來解決精準對象提取(alpha matte)問題?；谧V分析法的圖像前景精準提取(Spectral matting)方法通過探索其與譜聚類的關(guān)系將其擴展成一個非監(jiān)督的方法。拉普拉斯圖像提取與不同的數(shù)據(jù)約束，先驗或基于學習的方法結(jié)合起來以解決圖像提取問題。然而，在鄰域平滑的假設(shè)下，不足以解決復雜圖像問題。因此，我們將其與非鄰域平滑先驗結(jié)合起來提升結(jié)果。綜合采樣和相似度的圖像前景精準提取方法在前兩類方法之間做了很好的平衡。魯棒性圖像前景精準提取(Robust Matting)方法首先采樣具有高置信度的樣本，然后使用隨機游走算法最小化圖像前景精準提取能量。全局采樣圖像前景精準提取(Globalsampling matting)采用來自PatchMatch算法中的隨機尋找算法來尋找全局最優(yōu)樣本。在基于閉合式方法的圖像前景精準提取(closed-form matting)中，圖像前景精準提取的拉普拉斯算子矩陣是根據(jù)顏色線模型得到的，用來約束鄰域窗口內(nèi)的精準對象提取(alpha matte)。這種鄰域平滑先驗可以與從顏色采樣中獲得的數(shù)據(jù)集結(jié)合起來。這種平滑的先驗在只有恒定數(shù)量前景色和背景色的圖像區(qū)域內(nèi)效果比較好。He等人采用廣義的Patchmatch方法提升了顏色采樣的效果。近期研究表明數(shù)據(jù)集和鄰域平滑集的組合可以產(chǎn)生高質(zhì)量的結(jié)果。然而，在計算拉普拉斯算子矩陣的時候設(shè)置一個合適的鄰域窗口大小是不容易的。小的窗口可能不足以捕獲到結(jié)構(gòu)的細節(jié)信息。另一方面，大的窗口會破壞顏色線模型，同樣導致不好的結(jié)果。近期，陳等人提出一種流形保持編輯傳播的方法，并將其應(yīng)用到了透明圖像提取中。我們觀察到這其實是一種新型精準對象提取(alpha matte)上的非鄰域平滑先驗。它將遠處像素點的a值聯(lián)系到了一起，這與基于拉普拉斯的圖像前景精準提取(Laplacianmatting)形成了互補。當僅應(yīng)用這種非鄰域的平滑先驗時，它可能捕獲不到半透明物體的鄰域結(jié)構(gòu)信息。因此我們提出將這種非鄰域平滑先驗與鄰域拉普拉斯平滑先驗結(jié)合起來，然后計入一個平凡數(shù)據(jù)集。我們新型的圖像提取算法在標準測試數(shù)據(jù)集上展現(xiàn)了良好的性倉泛。

發(fā)明內(nèi)容
本發(fā)明的目的是提出了一種新型的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，這種新型的方法在標準測試數(shù)據(jù)集上有良好的表現(xiàn)。為完成本發(fā)明的目的，本發(fā)明采用的技術(shù)方案是:一種基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，包括如下步驟:步驟S100，標記輸入圖像中的前景區(qū)域、背景區(qū)域和未知區(qū)域；前景區(qū)域就是要提取出的圖像內(nèi)容所在的區(qū)域，背景區(qū)域是不需要提取的圖像內(nèi)容背景，而未知區(qū)域是前景和背景交叉難以區(qū)別的區(qū)域，例如向上豎起的發(fā)絲區(qū)域。步驟S200，對于輸入圖像的未知區(qū)域中的每一個像素，使用顏色采樣方法初始化該像素屬于前景的概率a值，并計算a值的置信度，對于其a值的置信度大于給定閥值的像素，采信該像素的a值，并將該像素標記為已知像素，并將前景區(qū)域中的每一個像素的a值設(shè)為一個最大值，而將背景區(qū)域中的每一個像素的a值設(shè)為一個最小值；通常a值介于0-1之間，前景區(qū)域的為1，背景區(qū)域的為0，而未知區(qū)域中的像素的a值大于0且小于I。步驟S200的目的是為了盡量多地確定像素的a值，以為將來計算未知區(qū)域中在步驟S200無法確定的那些像素(也就是盡管能夠計算出a值，但是計算出的a值不被采信的那些像素)的更為真實的a值做準備。a值是像素屬于前景的概率，只要能夠算出未知像素的a值，就能夠判斷該像素屬于前景還是屬于背景。步驟S300，對于輸入圖像中的每一個像素，根據(jù)各像素的a值計算其數(shù)據(jù)項權(quán)重，并計算出每一個像素的鄰域平滑約束項權(quán)重和非鄰域平滑約束項權(quán)重，并根據(jù)這三種權(quán)重構(gòu)建輸入圖像所有像素的整體圖模型；步驟S400，根據(jù)所有前景區(qū)域像素、背景區(qū)域像素和未知區(qū)域中已知像素的a值，在步驟S300的圖模型的約束下，通過最小化能量方程解得每一個像素點屬于前景的概率，得到掩像。相當于完成了輸入圖像中各像素屬于前景還是背景的區(qū)分工作。
優(yōu)選的是，所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法中，在驟SlOO中，用戶采用畫筆式交互標記輸入圖像中的前景區(qū)域、背景區(qū)域和未知區(qū)域，或者用戶輸入一張三分圖以將輸入圖像標記為前景區(qū)域、背景區(qū)域和未知區(qū)域。這個步驟由用戶完成，用戶通過畫筆的方式選出前景、背景和模糊區(qū)域(未知區(qū)域)，或者通過輸入相同大小的三分圖的方式，區(qū)分出了前景、背景和未知區(qū)域。優(yōu)選的是，所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法中，前景區(qū)域中的每一個像素的a值設(shè)為最大值1，背景區(qū)域中的每一個像素的a值設(shè)為最小值優(yōu)選的是，所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法中，在步驟SlOO中，用戶采用畫筆式交互標記前景區(qū)域、背景區(qū)域和未知區(qū)域包括:用戶采用畫筆標記圖像的前景像素和背景像素，用白色畫筆覆蓋的像素為前景像素，用黑色畫筆覆蓋的像素為背景像素，其他像素為未知像素；或者用戶提供一張與輸入圖像相同尺寸的黑白灰三分圖，白色區(qū)域所對應(yīng)的輸入圖像的像素為前景像素，黑色區(qū)域所對應(yīng)的輸入圖像的像素為背景像素，灰色區(qū)域所對應(yīng)的輸入圖像的像素為未知像素。優(yōu)選的是，所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法中，在步驟S200中，計算未知區(qū)域中每一個像素屬于前景的概率a值的方式如下:根據(jù)未知像素在輸入圖像上的位置，尋找其在輸入圖像上距離最近的k個前景像素Fi(i =卜k)和k個背景像素=卜k)，每個前景像素和每個背景像素結(jié)成一對，組合成k2個前景背景點對Fi Bj，針對每一個前景背景點對計算一個a '值:
權(quán)利要求
1.一種基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，包括如下步驟: 步驟S100，標記輸入圖像中的前景區(qū)域、背景區(qū)域和未知區(qū)域； 步驟S200，對于輸入圖像的未知區(qū)域中的每一個像素，使用顏色采樣方法初始化該像素屬于前景的概率a值，并計算a值的置信度，對于其a值的置信度大于給定閥值的像素，采信該像素的a值，并將該像素標記為已知像素，并將前景區(qū)域中的每一個像素的a值設(shè)為一個最大值，而將背景區(qū)域中的每一個像素的a值設(shè)為一個最小值； 步驟S300，對于輸入圖像中的每一個像素，根據(jù)各像素的a值計算其數(shù)據(jù)項權(quán)重，并計算出每一個像素的鄰域平滑約束項權(quán)重和非鄰域平滑約束項權(quán)重，并根據(jù)這三種權(quán)重構(gòu)建輸入圖像所有像素的整體圖模型； 步驟S400，根據(jù)所有前景區(qū)域像素、背景區(qū)域像素和未知區(qū)域中已知像素的a值，在步驟S300的圖模型的約束下，通過最小化能量方程解得每一個像素點屬于前景的概率，得到掩像。
2.如權(quán)利要求1所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在驟SlOO中，用戶采用畫筆式交互標記輸入圖像中的前景區(qū)域、背景區(qū)域和未知區(qū)域，或者用戶輸入一張三分圖以將輸入圖像標記為前景區(qū)域、背景區(qū)域和未知區(qū)域。
3.如權(quán)利要求2所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，前景區(qū)域中的每一個像素的a值設(shè)為最大值1，背景區(qū)域中的每一個像素的a值設(shè)為最小值O。
4.根據(jù)權(quán)利要求2所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟SlOO中，用戶采用畫筆式交互標記前景區(qū)域、背景區(qū)域和未知區(qū)域包括:用戶采用畫筆標記圖像的前景像素和背景像素，用白色畫筆覆蓋的像素為前景像素，用黑色畫筆覆蓋的像素為背景像素，其他像素為未知像素； 或者用戶提供一張與輸入圖像相同尺寸的黑白灰三分圖，白色區(qū)域所對應(yīng)的輸入圖像的像素為前景像素，黑色區(qū)域所對應(yīng)的輸入圖像的像素為背景像素，灰色區(qū)域所對應(yīng)的輸入圖像的像素為未知像素。
5.根據(jù)權(quán)利要求1所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟S200中，計算未知區(qū)域中每一個像素屬于前景的概率a值的方式如下:根據(jù)未知像素在輸入圖像上的位置，尋找其在輸入圖像上距離最近的k個前景像素Fi(i =卜k)和k個背景像素Bm =卜k)，每個前景像素和每個背景像素結(jié)成一對，組合成k2個前景背景點對Fi 針對每一個前景背景點對計算一個a '值:
6.根據(jù)權(quán)利要求5所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟S300中，根據(jù)各像素的a值計算其數(shù)據(jù)項權(quán)重的方法如下: 步驟S310，數(shù)據(jù)項權(quán)重包括兩項，分別表示為該像素屬于前景可能性的權(quán)重值W(i,F)和該像素屬于背景可能性的權(quán)重值W(i,B)，W(i,F)和W(i,B)的計算方式為: W(i,F) =YaW(i,B) = Y (1_ Q ) 其中，參數(shù)Y平衡了數(shù)據(jù)項與平滑集。
7.根據(jù)權(quán)利要求5所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，參數(shù)Y設(shè)置為0.1。
8.根據(jù)權(quán)利要求5所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟S300中，計算像素的鄰域平滑約束項權(quán)重的方法如下: 步驟S320，對于像素i，采用拉普拉斯方法在輸入圖像中以像素i為中心的周圍m*m個像素的固定大小窗口w’*a=A內(nèi)建立鄰域平滑約束，對于像素i周圍的鄰居像素j的鄰域平滑約束項權(quán)重值的計算方法為:
9.根據(jù)權(quán)利要求8所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，e設(shè)置為10_5的正則化系數(shù)，且m取值為3。
10.根據(jù)權(quán)利要求8所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟S300中，計算像素的非鄰域平滑約束項權(quán)重的方法如下: 步驟S330，根據(jù)輸入圖像的每一個像素的特征值生成包括所有像素在內(nèi)的特征空間，在特征空間中求取像素i的歐式距離上最近的k個近鄰像素，利用局部線性嵌入降維方法，構(gòu)建非鄰域平滑約束，其非鄰域平滑約束項權(quán)重值可在約束條件;
11.根據(jù)權(quán)利要求10所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，像素i的特征值包括A，gi，bp Xi, yi，其中g(shù)i，匕是像素i的RGB顏色值，Xi, Yi是像素i在輸入圖像中的坐標位置，因此所述特征空間為包括A，gi, by Xi, 71特征值在內(nèi)的五維特征空間。
12.根據(jù)權(quán)利要求11所述的基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，其中，在步驟S400中，其特征在于:根據(jù)未知區(qū)域中被采信的已知像素的a值、已知前景區(qū)域中像素的a值和已知背景區(qū)域中像素的a值，在步驟S300的圖模型的約束下，通過最小化如下能量方程解得每一個像素點屬于前景的概率，得到掩像:
全文摘要
本發(fā)明公開了一種基于鄰域和非鄰域平滑先驗的圖像前景精準提取方法，主要包括以下步驟交互式標記前景點、背景點；對于輸入圖像的每一個未標記的像素，使用顏色采樣方法初始化其α值，并計算其置信度，對于置信度大于給定閥值的像素，采信其α值，作為已知像素；對于輸入圖像的每一個像素，計算每個像素的數(shù)據(jù)項權(quán)重，鄰域平滑約束項權(quán)重和非鄰域平滑約束項權(quán)重，構(gòu)建輸入圖像所有像素的圖模型；根據(jù)已知像素的α值，在圖模型的約束下，通過最小化能量方程解得每一個像素點屬于前景的概率，得到掩像(alpha matte)。本發(fā)明在計算精準度、掩像連續(xù)性等方面有良好的表現(xiàn)，可廣泛應(yīng)用推廣到影視節(jié)目制作等領(lǐng)域。
文檔編號G06T7/00GK103177446SQ201310080379
公開日2013年6月26日 申請日期2013年3月13日 優(yōu)先權(quán)日2013年3月13日
發(fā)明者陳小武, 鄒冬青, 趙沁平, 丁峰 申請人:北京航空航天大學