專(zhuān)利名稱(chēng)：數(shù)碼照片中的人臉自動(dòng)分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理及模式識(shí)別等領(lǐng)域，具體是一種自動(dòng)地實(shí)現(xiàn)圖像中人臉外輪廓定位及人臉?lè)指畹募夹g(shù)方法。
背景技術(shù)：
實(shí)現(xiàn)圖像中人臉的自動(dòng)分割，就必須進(jìn)行人臉外輪廓的精確定位。人臉輪廓是由人臉圖像的部分邊緣點(diǎn)連接起來(lái)的幾何圖形，用來(lái)表示圖像中人臉的形狀。人臉輪廓作為人臉特征的重要組成部分，它的提取不僅是人臉特征檢測(cè)、人臉識(shí)別和人臉三維重建等人臉圖像分析的重要前提，也是許多其他數(shù)字圖像處理軟件及藝術(shù)影像處理的基礎(chǔ)。傳統(tǒng)的人臉?lè)指罘椒ㄍǔ＠眠吘墮z測(cè)算子得到圖像邊緣，然后根據(jù)人臉輪廓特點(diǎn)去除雜散的冗余邊緣，最后進(jìn)行邊緣修補(bǔ)。這種方法得到人臉輪廓通常不連續(xù)，需要采用邊緣連接算法把同一輪廓的各段邊緣連接起來(lái)，誤差較大，且對(duì)噪聲比較敏感，算法魯棒性不足，僅適合作為其它方法的補(bǔ)充。當(dāng)前人臉輪廓檢測(cè)方法主要分為如下三類(lèi)1)結(jié)合人臉輪廓先驗(yàn)的知識(shí)，構(gòu)建合適的模板，使人臉輪廓提取問(wèn)題轉(zhuǎn)化為模板匹配問(wèn)題。^llie 等人使用變形模板提取臉部特征，模板通過(guò)動(dòng)態(tài)地改變控制參量而將能量函數(shù)極小化，通過(guò)變形獲得與圖像的最佳匹配，但該方法面向特定姿態(tài)，需要大量的經(jīng)驗(yàn)參數(shù)，抗噪能力較弱；2)利用統(tǒng)計(jì)模型實(shí)現(xiàn)人臉特征點(diǎn)先驗(yàn)知識(shí)的學(xué)習(xí)，進(jìn)而實(shí)現(xiàn)人臉形狀的擬合。Cootes 等人提出主動(dòng)外觀模型，實(shí)現(xiàn)了人臉的特征點(diǎn)定位和輪廓提取，由于訓(xùn)練樣本及特征點(diǎn)數(shù)目的限制，無(wú)法靈活地實(shí)現(xiàn)任意姿態(tài)下人臉輪廓的準(zhǔn)確定位；幻將人臉輪廓提取問(wèn)題轉(zhuǎn)化為動(dòng)態(tài)曲線(xiàn)演化問(wèn)題，利用活動(dòng)輪廓模型(Active Contours)實(shí)現(xiàn)人臉輪廓定位?；顒?dòng)輪廓模型是20世紀(jì)80年代后期發(fā)展起來(lái)的一種圖像處理方法，特別適用于提取任意形狀的可變形輪廓，因此，活動(dòng)輪廓模型成為解決人臉圖像分割的一個(gè)極具潛力的工具。Harper和 Ifeilly采用局部能量幾何活動(dòng)輪廓模型成功的分割出視頻中的人臉區(qū)域，但該方法易受結(jié)構(gòu)性噪聲干擾，仍難獲得理想的分割效果；黃福珍提出一種在全局能量模型中加入橢圓約束的方法，實(shí)現(xiàn)了簡(jiǎn)單背景下的人臉?lè)指??；顒?dòng)輪廓模型分為參數(shù)活動(dòng)輪廓模型(又稱(chēng)Snake模型)和幾何活動(dòng)輪廓模型。 Snake模型存在對(duì)初始條件敏感、難以有效解決活動(dòng)輪廓的拓?fù)渥兓炔蛔恪＝陙?lái)，水平集方法極大地推動(dòng)了幾何活動(dòng)輪廓模型的發(fā)展，與Snake模型不同，幾何活動(dòng)輪廓模型主要的優(yōu)點(diǎn)在于能在演化過(guò)程中自然地處理輪廓拓?fù)浣Y(jié)構(gòu)的變化；水平集的數(shù)值計(jì)算方法隱式地描述了活動(dòng)輪廓的演化，避免了 Snake模型易陷于局部極值的問(wèn)題。幾何活動(dòng)輪廓模型根據(jù)其能量泛函的定義又可以分為局部能量模型、全局能量模型以及局部和全局能量相結(jié)合的模型。綜合上述，由于人臉的復(fù)雜性和易變性，實(shí)現(xiàn)自動(dòng)、準(zhǔn)確的人臉?lè)指钊悦媾R巨大挑戰(zhàn)
發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的以上不足，本發(fā)明提供一個(gè)整合多種能量模型進(jìn)行優(yōu)化的人臉輪廓檢測(cè)及分割方法，使其性能穩(wěn)定，尤其對(duì)復(fù)雜背景、光照姿態(tài)等變化因素具有很強(qiáng)的適應(yīng)性，達(dá)到商業(yè)應(yīng)用的要求。本發(fā)明主要包括如下幾個(gè)步驟1、數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于包括以下步驟(1)對(duì)輸入的照片進(jìn)行人臉區(qū)域檢測(cè)采用Adaboost方法實(shí)現(xiàn)人臉區(qū)域檢測(cè)；(2)采用一個(gè)改良的膚色模型，在⑴所獲人臉區(qū)域?qū)崿F(xiàn)人臉輪廓的初步定位；所述膚色模型中采用自適應(yīng)的單高斯模型，首先通過(guò)訓(xùn)練樣本計(jì)算SGM模型均值、方差初始值μ C1, Σ ^ ；利用初始參數(shù)進(jìn)行人臉膚色點(diǎn)檢測(cè)；然后根據(jù)檢測(cè)得到的像素點(diǎn)集，采用極大似然估計(jì)更新均值μ和方差Σ，直到參數(shù)收斂；(3)采用改良的活動(dòng)輪廓模型，實(shí)現(xiàn)人臉初始輪廓向真實(shí)輪廓的不斷演化，進(jìn)而實(shí)現(xiàn)人臉準(zhǔn)確分割，所述改良活動(dòng)輪廓模型為融合了全局能量、邊緣張力和膚色能量三種能量泛函
E^C^c^c,) = Eg(C^cout) +EXC^cl) +EXC^
2
_1] {E^C,C1) = A1^cUq(P)-C1 p dp
Es{C) = Xso j g(pfdp + Asl j \g{p)-g\dp
ou tside (C)inside (C)采用水平集方法對(duì)上式進(jìn)行求解，得到演化公式Φ^=ΦΙ+Md-I(P)求解得到Φ的穩(wěn)定值，其中Φ = 0的解就對(duì)應(yīng)平面圖像上的曲線(xiàn)，即為獲得的人臉輪廓。與現(xiàn)有技術(shù)相比，采用本發(fā)明方法具有如下的優(yōu)點(diǎn)(1)實(shí)現(xiàn)了相對(duì)準(zhǔn)確的面部輪廓初定位。任何自動(dòng)人臉輪廓檢測(cè)方法的最終效果都依賴(lài)于初始位置，在膚色模型的基礎(chǔ)上，本發(fā)明采用一個(gè)自適應(yīng)的單高斯模型(Adaptive Single Gaussian Model，簡(jiǎn)稱(chēng)ASGM)，能夠獲得接近人臉實(shí)際輪廓的初始位置，可為后續(xù)實(shí)現(xiàn)精確的輪廓定位提供了良好的基礎(chǔ)，并提高了方法的處理速度；(2)有效地克服了輪廓檢測(cè)出現(xiàn)的孔洞(空洞)、凹陷等非真實(shí)輪廓曲線(xiàn)的現(xiàn)象。 當(dāng)初始輪廓線(xiàn)在人臉內(nèi)部時(shí)，全局能量模型因局部特征的干擾，會(huì)產(chǎn)生“孔洞”，借鑒局部能量模型的思路，根據(jù)演化曲線(xiàn)邊緣點(diǎn)的鄰域信息賦予邊緣點(diǎn)外法向方向的張力，使得演化曲線(xiàn)能夠克服臉部特征的影響，準(zhǔn)確向人臉外輪廓方向演化。(3)結(jié)合膚色信息實(shí)現(xiàn)了輪廓快速、穩(wěn)定的檢測(cè)。面部膚色是人臉的重要特征，充分利用膚色信息，本發(fā)明采用一個(gè)膚色能量泛函，加快了演化速度并提高系統(tǒng)魯棒性。所述技術(shù)( 根據(jù)演化曲線(xiàn)邊緣點(diǎn)的鄰域信息賦予邊緣點(diǎn)一個(gè)外法向方向的張力能量，使得演化曲線(xiàn)能夠克服臉部特征區(qū)域的影響，向人臉外輪廓方向演化。不同于局部能量模型，本發(fā)明僅利用鄰域的外側(cè)信息(演化曲線(xiàn)外部)；綜合以上內(nèi)容，本發(fā)明設(shè)計(jì)了一個(gè)張力能量、膚色能量與全局能量三者結(jié)合的統(tǒng)一能量模型，能夠克服姿態(tài)、光照、復(fù)雜背景等因素的干擾，得到穩(wěn)定、精確的人臉自動(dòng)分割效果，可廣泛應(yīng)用于人臉識(shí)別、游戲、數(shù)碼相機(jī)自動(dòng)對(duì)焦等前期人臉圖像處理。


圖1為本發(fā)明進(jìn)行人臉輪廓檢測(cè)的流程2為本發(fā)明進(jìn)行人臉輪廓初定位的流程圖3為計(jì)算局部能量所采用的區(qū)域以及相關(guān)概念的示意4為根據(jù)人臉輪廓初定位及最終輪廓檢測(cè)的結(jié)果示意圖
具體實(shí)施例方式本發(fā)明包括三個(gè)步驟(1)人臉檢測(cè)；( 輪廓初定位；(3)輪廓精確定位。過(guò)程見(jiàn)附圖1。其中，第2、3步是本發(fā)明的核心特征。下面分步驟介紹具體實(shí)施方法1、人臉檢測(cè)采用Adaboost算法實(shí)現(xiàn)人臉區(qū)域的初始定位，用矩形框?qū)⑷四槄^(qū)域進(jìn)行標(biāo)注，也可以將整張照片作為人臉區(qū)域看待。2、輪廓初定位采用一個(gè)基于單高斯模型SGM的改進(jìn)算法，實(shí)現(xiàn)人臉皮膚區(qū)域檢測(cè)，并采用對(duì)這部分區(qū)域進(jìn)行橢圓擬合，作為下一步的初始輪廓線(xiàn)。具體實(shí)現(xiàn)步驟如下膚色在顏色空間的分布相當(dāng)集中，而且會(huì)受到照明和人種的影響。為了減少膚色受照明強(qiáng)度影響，本發(fā)明將顏色由RGB空間轉(zhuǎn)化到Y(jié)CbCr顏色空間，然后放棄亮度分量Y， 僅使用Cb，Cr分量作為膚色訓(xùn)練和分類(lèi)的信息，在一定程度上克服了光照的影響，下一步 (輪廓精確定位)中使用的混合高斯模型GMM也同樣采用YCbCr顏色空間。采用SGM進(jìn)行人臉膚色檢測(cè)的基本過(guò)程首先采集大量臉部膚色訓(xùn)練樣本(訓(xùn)練樣本盡量包括不同光照、人種等情況)，用極大似然估計(jì)法計(jì)算該SGM的均值μ及方差Σ， 得到一個(gè)具有一般性的模型；然后用訓(xùn)練好的SGM模型計(jì)算測(cè)試圖像中每一像素的PDF值， 通過(guò)一個(gè)閾值t對(duì)PDF值進(jìn)行二值化，從而實(shí)現(xiàn)膚色分割。這種方法是通過(guò)訓(xùn)練集人臉膚色來(lái)估計(jì)測(cè)試人臉臉色區(qū)域，當(dāng)訓(xùn)練樣本不充分， 或者測(cè)試樣本人臉光照條件比較特殊時(shí)，將會(huì)產(chǎn)生錯(cuò)誤的結(jié)果。因此，本發(fā)明采用一個(gè)自適應(yīng)的單高斯模型(Adaptive SGM,簡(jiǎn)稱(chēng)ASGM)，通過(guò)測(cè)試圖片對(duì)SGM參數(shù)進(jìn)一步調(diào)整，從而增加了膚色檢測(cè)的魯棒性，流程如附圖2所示。方法具體描述如下A.初始化；(a)輸入圖像人臉區(qū)域(由第一步人臉檢測(cè)獲得的人臉矩形區(qū)域)；(b)計(jì)算SGM模型均值μ和方差Σ的初始值μ。，Σ。；(c)迭代計(jì)數(shù)器i = 0，設(shè)置最大迭代次數(shù)m。B.根據(jù)SGM獲取膚色區(qū)域Ω。，令i = i+Ι ；C.更新SGM參數(shù)如果(i= 1)將Ω。中的所有像素當(dāng)作樣本，采用極大似然估計(jì)更新均值μ和方差Σ ；否則將Ω ^中的所有像素當(dāng)作樣本，更新均值μ。D.如果μ收斂或者i > m，轉(zhuǎn)步驟E ；否則轉(zhuǎn)步驟B ；
E.采用最小二乘法根據(jù)Ω ^中所有像素的位置進(jìn)行橢圓擬合，得到輪廓Ctl，作為曲線(xiàn)演化的初始位置；F.將Ctl的軸縮小1/2，得到C1，其中的像素點(diǎn)顏色作為下一步GMM的訓(xùn)練樣本。所述步驟A中均值μ和方差Σ的初始值為大量實(shí)驗(yàn)的經(jīng)驗(yàn)值μ = [103.01， 140. 13]Τ，Σ= [242. 52，211· 56 ;211· 56，397· 32]τ，其中 μ 包括兩個(gè)元素[Cb，Cr]的顏色值，Σ是這兩個(gè)元素值在大量實(shí)驗(yàn)得到的方差。因多次更新方差會(huì)使方差收斂于0，會(huì)產(chǎn)生判定條件過(guò)于嚴(yán)格而導(dǎo)致有效膚色點(diǎn)過(guò)少的現(xiàn)象，因此所述步驟C在用SGM獲取到人臉區(qū)域后，僅更新方差一次，而均值則通過(guò)多次迭代取其穩(wěn)定值。所述步驟E中得到的人臉輪廓初始位置為單像素的橢圓線(xiàn)，也可以加粗顯示以便觀察。所述步驟F中在獲得初始位置Ctl后，我們將Ctl的軸縮小1/2，得到C1，其內(nèi)部區(qū)域的點(diǎn)作為下一步GMM的訓(xùn)練樣本。沒(méi)有直接采用Ctl的原因一方面減小背景出現(xiàn)在C1中的可能性，以避免誤差；另一方面降低數(shù)據(jù)量，提高訓(xùn)練GMM參數(shù)的運(yùn)算速度。3、輪廓精確定位采用一個(gè)融合全局能量、邊緣張力和膚色能量的統(tǒng)一能量方法， 實(shí)現(xiàn)輪廓曲線(xiàn)的演化，求解最終的人臉輪廓位置。通過(guò)上一步得到初始位置曲線(xiàn)C后，需要進(jìn)一步將初始C向真實(shí)人臉輪廓演化。在演化過(guò)程中，曲線(xiàn)C上的點(diǎn)并不一定是目標(biāo)的輪廓點(diǎn)，為了區(qū)分二者，本發(fā)明中稱(chēng)當(dāng)前演化曲線(xiàn)C上的點(diǎn)為邊緣點(diǎn)，稱(chēng)后者為輪廓(點(diǎn))。(1)全局能量Chan和Vese于2001年提出了一種經(jīng)典的幾何活動(dòng)輪廓模型，Chan-Vese模型 (C-V模型)，又稱(chēng)無(wú)邊緣活動(dòng)輪廓模型。C-V模型不依賴(lài)圖像局部梯度信息，是一種全局優(yōu)化的算法。其基本概念如下令C為演化曲線(xiàn)，將整幅圖像Utl分為兩個(gè)區(qū)域Rin和R。ut。令每個(gè)區(qū)域的平均灰度值(對(duì)于多通道圖像，則是一個(gè)向量，如平均RGB值)分別為Cin和c。ut。C-V模型通過(guò)最小化能量函數(shù)I (下標(biāo)g標(biāo)識(shí)該能量具有全局特性)來(lái)尋找最優(yōu)分割線(xiàn)C，使其恰好在目標(biāo)對(duì)象和背景的邊界處。I的表達(dá)式如下
Es {C,cin,Coui) = ·Z(C) + ν · ^(C) + Im J \u0(x,y)-cm\2dxdy + Aout J \u0 (x,y)~ Cout^dxdy
insi de(C)outside {C)上式中，L(C)是閉合輪廓線(xiàn)C的長(zhǎng)度；S(C)是C的內(nèi)部區(qū)域面積；μ，V彡0，λ in， A。ut>0，是各個(gè)能量項(xiàng)權(quán)重系數(shù)的含義很明確，前兩項(xiàng)是平滑項(xiàng)，后兩項(xiàng)是實(shí)際圖像與假定的“分片常數(shù),像之間的偏離。最終分割輪廓線(xiàn)C的位置以及變量Cin和c。ut可經(jīng)最優(yōu)化上式得到，即{C°ZmZ0J= M Eg(QCvC2)
L,Cin,Cout(2)邊緣張力能量首先給出邊緣點(diǎn)P的外鄰域O1的定義令Utl是定義域?yàn)棣甫ロ松系囊环矫鎴D像，被平面曲線(xiàn)C分為兩部分Rin和R。ut。如附圖3所示，以輪廓線(xiàn)C上的任意點(diǎn)P為中心，
6設(shè)置一個(gè)邊長(zhǎng)為a的正方形鄰域ω p，該窗口同樣被輪廓線(xiàn)C分為兩部分內(nèi)部區(qū)域ω“和外部區(qū)域ω。,ρ ；張力方向同曲線(xiàn)外法向量，在計(jì)算張力時(shí)僅用到外部區(qū)域《。。信息，稱(chēng)ω。, ρ為點(diǎn)P的外鄰域，用《υ表示。從而，基于曲線(xiàn)邊緣點(diǎn)外鄰域的張力能量泛函定義如下E1 (C, C1) = A1/ c|u0 (p)-cljP|2dp其中，ρ e C是C上的任意一點(diǎn)，C1,p是ωι,ρ的灰度(顏色)均值，入1是張力的權(quán)重系數(shù)。(3)膚色能量對(duì)于圖像分割問(wèn)題，顏色信息仍然是最有效的知識(shí)，同樣地，對(duì)于人臉?lè)指顔?wèn)題， 最重要的信息是面部膚色，采用數(shù)學(xué)工具對(duì)膚色進(jìn)行有效地學(xué)習(xí)可以提高人臉?lè)指畹聂敯粜?，加快演化速度。本發(fā)明在張力能量基礎(chǔ)上進(jìn)一步設(shè)計(jì)了膚色能量Es
權(quán)利要求
1.數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于包括以下步驟(1)對(duì)輸入的照片進(jìn)行人臉區(qū)域檢測(cè)采用Adaboost方法實(shí)現(xiàn)人臉區(qū)域檢測(cè)；(2)采用一個(gè)改良的膚色模型，在(1)所獲人臉區(qū)域?qū)崿F(xiàn)人臉輪廓的初步定位；所述膚色模型中采用自適應(yīng)的單高斯模型，首先通過(guò)訓(xùn)練樣本計(jì)算SGM模型均值、方差初始值μ ^， Σ ^ ；利用初始參數(shù)進(jìn)行人臉膚色點(diǎn)檢測(cè)；然后根據(jù)檢測(cè)得到的像素點(diǎn)集，采用極大似然估計(jì)更新均值μ和方差Σ，直到參數(shù)收斂；(3)采用改良的活動(dòng)輪廓模型，實(shí)現(xiàn)人臉初始輪廓向真實(shí)輪廓的不斷演化，進(jìn)而實(shí)現(xiàn)人臉準(zhǔn)確分割，所述改良活動(dòng)輪廓模型為融合了全局能量、邊緣張力和膚色能量三種能量泛函Em (C, c,, Cout ,Cl) = Eg{C, cin, Cout) + 馬(C & ) + 足(C) < eI {C,C1) = Λ JcI^0 (ρ) - C1J dp Es{C) = Xso J g(p)2dp + Asi Joutside (C)inside (C)采用水平集方法對(duì)上式進(jìn)行求解，得到演化公式求解得到Φ的穩(wěn)定值，其中Φ = O的解就對(duì)應(yīng)平面圖像上的曲線(xiàn)，即為獲得的人臉輪廓。
2.根據(jù)權(quán)利要求1所述的數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于，所述步驟(2) 的膚色模型中采用自適應(yīng)的單高斯模型，首先通過(guò)訓(xùn)練樣本計(jì)算SGM模型均值、方差初始值μ C1, Σ ^ ；利用初始參數(shù)進(jìn)行人臉膚色點(diǎn)檢測(cè)；然后根據(jù)檢測(cè)得到的像素點(diǎn)集，采用極大似然估計(jì)更新均值μ和方差Σ，直到參數(shù)收斂。
3.根據(jù)權(quán)利要求1所述的數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于(1)所述更新方差Σ僅更新一次，更新均值通過(guò)多次迭代取其穩(wěn)定值；(2)所述膚色采用YCbCr顏色空間，放棄亮度分量Y，僅使用Cb，Cr分量作為膚色訓(xùn)練和分類(lèi)的信息；均值和方差的初始值取值為μ = [103.01,140. 13]τ, Σ = [242.52， 211. 56 ；211. 56,397. 32]τ。
4.根據(jù)權(quán)利要求1所述的數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于，所述邊緣張力方向同曲線(xiàn)外法向量，在計(jì)算張力時(shí)僅用外部區(qū)域ω。,ρ的信息。
5.根據(jù)權(quán)利要求1所述的數(shù)碼照片中的人臉自動(dòng)分割方法，其特征在于，膚色能量采用高斯混合模型GMM，其中模型個(gè)數(shù)為2，其訓(xùn)練樣本像素采用樣本自動(dòng)獲取方法獲得，即為初始輪廓的1/2區(qū)域。
全文摘要
本發(fā)明公開(kāi)了一種數(shù)碼照片中的人臉自動(dòng)分割方法。關(guān)鍵技術(shù)為(1)為避免局部最優(yōu)，將邊緣張力及膚色信息與全局能量結(jié)合，設(shè)計(jì)了一個(gè)基于統(tǒng)一能量泛函的幾何活動(dòng)輪廓模型；(2)設(shè)計(jì)一個(gè)基于單高斯模型的改進(jìn)方法，能夠估計(jì)出接近實(shí)際人臉外輪廓的初始位置；(3)根據(jù)演化曲線(xiàn)的鄰域信息賦予邊緣點(diǎn)向外的張力，使曲線(xiàn)能夠克服面部特征及面部飾物的干擾，引導(dǎo)其向外輪廓方向演化；(4)鑒于膚色是面部最重要的特征，本發(fā)明設(shè)計(jì)膚色能量，進(jìn)一步提高了模型的魯棒性。本發(fā)明方法能夠克服姿態(tài)、光照、復(fù)雜背景等因素的干擾，得到準(zhǔn)確的分割效果，可廣泛應(yīng)用于人臉識(shí)別、游戲、數(shù)碼相機(jī)自動(dòng)對(duì)焦等前期人臉圖像處理。
文檔編號(hào)G06K9/00GK102254327SQ201110215738
公開(kāi)日2011年11月23日 申請(qǐng)日期2011年7月29日 優(yōu)先權(quán)日2011年7月29日
發(fā)明者李天瑞, 李昕昕, 龔勛 申請(qǐng)人:西南交通大學(xué)