專利名稱：結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法。
背景技術(shù)：
人臉領(lǐng)域的研究近年來受到越來越多的科研工作者的關(guān)注，而人臉特征點定位是整個人臉研究領(lǐng)域的關(guān)鍵環(huán)節(jié)，人臉特征點定位的精確性直接影響著后續(xù)人臉研究的各個方面。
經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，T.F.Cootes等在《計算機視覺與圖像理解》(1995年第一期第38頁)上發(fā)表的“活動形狀模型-其訓(xùn)練與應(yīng)用”，該文提出的ASM(活動形狀模型)方法，該方法中，當(dāng)進行特征點新位置搜索時，在垂直于前后兩個特征點連線的方向上的一維輪廓上找到使馬氏距離最小的子輪廓的中心并設(shè)定該中心位置為當(dāng)前特征點的新位置，但是該方法對特征點的初始位置非常敏感，如果當(dāng)前特征點的初始位置靠近其目標位置時，搜索精度較高，而當(dāng)初始位置遠離目標位置時，搜索精度會急劇下降，因此該方法的局部搜索精度高，而全局搜索精度較低。同時Iain Matthews等在《計算機視覺國際期刊》(2004年第2期第135頁)上發(fā)表的“活動外觀模型回顧”，該文提出了一種利用圖像對齊方法原理進行AAM搜索的快速人臉特征點定位方法，該方法具有非常好的全局搜索效果，即使初始特征點遠離目標位置，該方法也能搜索到目標位置附近。但是該方法的局部搜索效果不如ASM方法，在多數(shù)情況下，該方法也不能完全精確地定位該特征點。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足，提出一種結(jié)合ASM和Lucas AAM的人臉特征點定位方法，使其將ASM和Lucas AAM(快速活動外觀模型)兩個方法結(jié)合在一起進行人臉特征點定位，這樣ASM全局搜索精度低的缺點可以由Lucas AAM全局搜索效果好的優(yōu)點得到補償，與此同時，Lucas AAM局部搜索差的特點也可以由ASM局部搜索效果好的優(yōu)點得到補償，因此把這兩者結(jié)合在一起可以互相取長補短，這樣搜索的特征點位置會非常精確。同時，由于Lucas AAM方法相對較慢，融入了ASM方法后也可以大大提高整個特征點搜索的速度。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，包括如下步驟(1)建立Lucas AAM模型、計算初始參數(shù)、給出模型的初始位置；(2)建立ASM模型以及特征點的局部紋理；(3)以步驟(1)得到的模型的初始位置并用Lucas AAM方法搜索人臉特征點；(4)以Lucas AAM模型搜索到的特征點作為初始位置，用ASM方法搜索特征點。
所述的步驟(1)中，建立Lucas AAM模型，是指首先在訓(xùn)練集的每一個訓(xùn)練樣本圖像上選擇k個人臉的主要特征點，這k個特征點組成的形狀可以由一個向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來表示，具有相同編號的特征點在不同的圖像中代表了相同的特征，n個訓(xùn)練樣本圖像就對應(yīng)有n個形狀向量，然后校準這n個向量從而使得它們所表示的形狀在大小、方向和位置上最為接近。然后對n個校準后的形狀向量進行PCA(主元分析)處理，最終任何一個形狀都可以表示為x＝x+Pb，其中b＝PT·(x-x)，b代表了前t個最大的模式的變化情況，這樣就建立了Lucas AAM形狀模型。然后用分段線性仿射變形方法建立訓(xùn)練樣本圖像的特征點位置與平均形狀x之間的映射關(guān)系，并用此關(guān)系把訓(xùn)練樣本圖像變形到平均形狀x，并把變形后的平均形狀內(nèi)的每個象素點的灰度值拉成一個向量，即該訓(xùn)練樣本圖像的紋理，該紋理的長度即為平均形狀x內(nèi)部象素點的個數(shù)，n個訓(xùn)練樣本圖像就對應(yīng)有n個紋理向量，然后對n個紋理向量進行主元分析處理，最終任何一個紋理都可以表示為A(x)=A0(x)+Σi=1mλiAi(x),∀x∈x‾,]]>這樣就建立了Lucas AAM紋理模型。
所述的步驟(1)中，計算初始參數(shù)，是指計算梯度下降圖像 其中A0是平均紋理的梯度，而 是分段線性仿射變形的雅可比行列式。根據(jù)H=Σx[▿A0∂W∂p]T[▿A0∂W∂p]]]>計算Hessian(一種雅可比矩陣)矩陣H。
所述的步驟(1)中，計算模型的初始位置，是指在人臉圖像上用方差投影函數(shù)找到兩眼位置，并設(shè)定兩眼中點坐標為[X1，Y1]。對上述求得的平均形狀模型x，分別計算左右眼球周圍的四個特征點的中心作為左右眼睛位置，從而得到兩眼的中點坐標[X2，Y2]，然后把整個平均形狀模型x平移[X1-X2，Y1-Y2]，這樣就得到模型的初始位置，從而可以用于搜索。
所述的步驟(2)，是指對于ASM模型的建立與上一步中形狀模型的建立一樣。對于訓(xùn)練樣本圖像中每個特征點還需要建立其局部紋理，即在垂直于當(dāng)前特征點的前后兩個特征點連線方向上以當(dāng)前特征點為中心兩邊各選擇m個像素，計算這(2m+1)個像素的灰度值導(dǎo)數(shù)并歸一化從而得到一個profile(由象素的灰度值的導(dǎo)數(shù)構(gòu)成的向量)。記第i個形狀向量中第j個特征點的profile為gij，則第j個特征點profile的平均，gj‾=1nΣi=1ngij,]]>其方差為Cj=1nΣi=1n(gij-gj‾)·(gij-gj‾)T,]]>對k個特征點都計算其profile的平均和方差，從而就得到了k個特征點的局部紋理。
所述的步驟(3)，是指以步驟(1)得到的模型的初始位置用Lucas AAM方法進行搜索，具體步驟如下a)由當(dāng)前p根據(jù)x＝x+Pb計算特征點位置，用分段線形仿射變形方法把當(dāng)前特征點位置包圍的紋理變形到x，并得到一個紋理向量I(W(x；p))。
b)計算差值圖像I(W(x；p))-A0(x)。
c)計算Σx[▿A0∂W∂p]T[I(W(x;p))-A0(x)].]]>d)計算Δp=H-1Σx[▿A0∂W∂p]T[I(W(x;p))-A0(x)].]]>e)由公式W(x；p)←W(x；p)οW(x；Δp)-1更新得到新的P值。
反復(fù)迭代后，由公式x＝x+Pb得到新的形狀，即特征點的位置。
所述的步驟(4)，是指用上一步中得到的搜索結(jié)果作為初始位置，并利用ASM搜索方法在圖像中進行特征點搜索，該搜索過程主要是通過仿射變換和參數(shù)b的變化來實現(xiàn)。具體通過反復(fù)迭代如下兩步來實現(xiàn)a)計算每個特征點的新位置首先把初始ASM模型覆蓋在圖像上，對于模型中第j個特征點，在垂直于其前后兩個特征點連線方向上以其為中心兩邊各選擇l(l大于m)個像素，然后計算這l個像素的灰度值導(dǎo)數(shù)并歸一化從而得到一個profile，在這個新profile中取長度為(2*m+1)的sub-profile記為temp(P)，定義一個能量函數(shù)fj(p)=(temp(P)-gj‾)·Cj-1·(temp(P)-gj‾)T,]]>用此能量函數(shù)評判當(dāng)前sub-profile與 之間的相似性，選擇使fj(p)最小的位置作為該特征點的新位置，并計算其變化dXj，對每個特征點都進行這樣的計算就得到k個位置變化dXi，i＝1，2，...，k，并組成一個向量dX＝(dX1，dX2，...，dXk)。
b)仿射變換中的參數(shù)和b的更新由式X＝M(s，θ)[x]+Xc得M(s(1+ds)，(θ+dθ))[x+dx]+(Xc+dXc)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+Xc-(Xc+dXc)，由式x＝x+Pb，現(xiàn)希望找到db使得x+dx＝x+P(b+db)，由式x＝x+Pb可得db＝P-1dx，這樣就可以對參數(shù)作如下更新Xc＝Xc+wtdXc，Yc＝Y(jié)c+wtdYc，θ＝θ+wθdθ，b＝b+Wbdb，式中wt，wθ，ws，Wb是用于控制參數(shù)變化的權(quán)值，這樣由式x＝x+Pb可得到新的形狀。
本發(fā)明提出的結(jié)合ASM和Lucas AAM這兩種方法的人臉特征點定位方法具有非常高的精度。由于一開始使用Lucas AAM方法進行特征點的粗搜索，這能找到特征點的大致位置，然后再用ASM方法以前面搜索到的位置作為初始位置進行特征點的精搜索，在這種前提下搜索精度非常高，而且還不易陷入局部最小值。用拍攝的人臉庫對比本發(fā)明提出的結(jié)合ASM和Lucas AAM這兩種方法的人臉特征點定位方法和原始ASM方法，前后兩者的特征點定位的平均誤差分別是2.1個像素和4.5個像素。實驗表明本發(fā)明提出的方法比其它特征點定位方法精確。同時在后續(xù)搜索中用ASM方法代替Lucas AAM方法，其速度也得到了很大的提高。


圖1為標有特征點的人臉圖像。
圖2為眼睛定位的結(jié)果。
圖3為特征點的初始位置。
圖4為Lucas AAM搜索后得到的結(jié)果。
圖5為ASM搜索后得到的結(jié)果。
具體實施例方式
以下結(jié)合一個具體的實施例對本發(fā)明的技術(shù)方案作進一步詳細的描述。
實施例采用的圖像來自拍攝的人臉圖像庫。整個實現(xiàn)過程如下1.從人臉庫中選擇500個標好特征點的人臉圖像建立ASM模型。標好特征點的人臉圖像，如圖1所示。對相應(yīng)的500個形狀向量和紋理向量分別作主元分析處理即完成了Lucas AAM模型的建立。這樣任何一個形狀都可以表示為x＝x+Pb，同時任何一個紋理都可以表示為A(x)=A0(x)+Σi=1mλiAi(x),∀x∈x‾.]]>計算初始參數(shù)計算梯度下降圖像 其中A0是平均紋理的梯度，而 是分段線形仿射變形的雅可比行列式。根據(jù)H=Σx[▿A0∂W∂p]T[▿A0∂W∂p]]]>計算Hessian矩陣H。
計算模型的初始位置在人臉圖像上用方差投影函數(shù)找到左右兩眼位置，它們分別是[274，229]和[371，228]，如圖2所示，從而可以得到兩眼中點坐標[322.5，228.5]。對上述求得的平均形狀模型x，分別計算左右眼球周圍的四個特征點的中心作為左右眼睛位置，它們分別是[-52.79，-48.76]和[52.03，-49.22]，從而得到兩眼的中點坐標[-0.37，-48.99]，然后把整個平均形狀模型x平移[322.5-(-0.37)，228.5-(-48.99)]，這樣就得到模型的初始位置，如圖3所示。
2.對于ASM模型的建立與上一步中形狀模型的建立一樣。對于訓(xùn)練樣本圖像中每個特征點還需要建立其局部紋理，即在垂直于當(dāng)前特征點的前后兩個特征點連線方向上以當(dāng)前特征點為中心兩邊各選擇5個像素，計算這11(2*5+1)個像素的灰度值導(dǎo)數(shù)并歸一化從而得到一個profile。記第i個形狀向量中第j個特征點的profile為gij，則第j個特征點profile的平均，gj‾=1nΣi=1ngij,]]>其方差為Cj=1nΣi=1n(gij-gj‾)·(gij-gj‾)T,]]>對60個特征點都計算其profile的平均和方差，從而就得到了60個特征點的局部紋理。
3.以第一步中所得到的初始位置作為起始位置，用Lucas AAM方法進行搜索，總共迭代30次，搜索結(jié)果如圖4所示。
4.用上一步中得到的搜索結(jié)果作為初始位置，并利用ASM搜索方法在圖像中進行特征點搜索。經(jīng)過5步迭代就可以最終定位60個特征點，如圖5所示。
通過實驗，可以發(fā)現(xiàn)本發(fā)明所提出的方法在精度和速度上都比原來的兩種方法有了很大的提高。
權(quán)利要求
1.一種結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征在于，包括如下步驟(1)建立Lucas AAM模型、計算初始參數(shù)、給出模型的初始位置；(2)建立ASM模型以及特征點的局部紋理；(3)以步驟(1)得到的模型的初始位置并用Lucas AAM方法搜索人臉特征點；(4)以Lucas AAM模型搜索到的特征點作為初始位置，用ASM方法搜索特征點。
2.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(1)中，建立Lucas AAM模型，是指首先在訓(xùn)練集的每一個樣本圖像上選擇k個人臉主要特征點，這k個特征點組成的形狀由一個向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來表示，相同編號的特征點在不同的圖像中代表了相同的特征，n個樣本圖像就對應(yīng)有n個形狀向量，校準這n個向量使得它們所表示的形狀在大小、方向和位置上最為接近，對n個校準后的形狀向量進行主元分析處理，任何一個形狀都表示為x＝x+Pb，其中b＝PT.(x-x)，b代表了前t個最大模式的變化情況，這就建立了Lucas AAM形狀模型；用分段線性仿射變形方法建立樣本圖像的特征點與x之間的映射關(guān)系，并用此關(guān)系把樣本圖像變形到平均形狀x，并把變形后的平均形狀內(nèi)的每個象素點的灰度值拉成一個向量，即該訓(xùn)練樣本圖像的紋理，該紋理的長度即為平均形狀x內(nèi)部象素點的個數(shù)，n個訓(xùn)練樣本圖像就對應(yīng)有n個紋理向量，然后對n個紋理向量進行主元分析處理，最終任何一個紋理都表示為A(x)=A0(x)+Σi=1mλiAi(x),∀x∈x-,]]>這樣就建立了Lucas AAM紋理模型。
3.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(1)中，計算初始參數(shù)，是指計算梯度下降圖像 A0是平均紋理梯度， 是分段線性仿射變形的雅可比行列式，由H=Σx[▿A0∂W∂p]T[▿A0∂W∂p]]]>計算Hessian矩陣。
4.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(1)中，計算模型的初始位置，是指用方差投影函數(shù)找到兩眼位置，并設(shè)定兩眼中點坐標為[X1，Y1]，對上述求得的平均形狀模型x，分別計算左右眼球周圍的四個特征點的中心作為左右眼睛位置，從而得到兩眼的中點坐標[X2，Y2]，然后把整個平均形狀模型x平移[X1-X2，Y1-Y2]，這樣就得到模型的初始位置。
5.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(2)，是指對于ASM模型的建立與上一步中形狀模型的建立一樣，對于訓(xùn)練樣本圖像中每個特征點還需要建立其局部紋理，即在垂直于當(dāng)前特征點的前后兩個特征點連線方向上以當(dāng)前特征點為中心兩邊各選擇m個像素，計算這2m+1個像素的灰度值導(dǎo)數(shù)并歸一化從而得到一個profile，記第i個形狀向量中第j個特征點的profile為gij，則第j個特征點profile的平均，gj‾=1nΣi=1ngij,]]>其方差為Cj=1nΣi=1n(gij-gj‾)·(gij-gj‾)T,]]>對k個特征點都計算其profile的平均和方差，從而就得到了k個特征點的局部紋理。
6.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(3)，是指以模型的初始位置用Lucas AAM方法進行搜索，具體步驟如下a)由當(dāng)前p根據(jù)x＝x+Pb計算當(dāng)前特征點位置，用分段線形仿射變形方法把當(dāng)前特征點包圍的紋理變形到x，得到一個紋理向量I(W(x；p))；b)計算差值圖像I(W(x；p))-A0(x)；c)計算Σx[▿A0∂W∂p]T[I(W(x;p))-A0(x)];]]>d)計算Δp=H-1Σx[▿A0∂W∂p]T[I(W(x;p))-A0(x)];]]>e)由公式W(x；p)←W(x；p)оW(x；Δp)-1更新得到新的P值；反復(fù)迭代后，由公式x＝x+Pb得到新的形狀，即特征點的位置。
7.根據(jù)權(quán)利要求1所述的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，其特征是，所述的步驟(4)，是指用Lucas AAM搜索到的結(jié)果作為初始位置，并利用ASM搜索方法在圖像中進行特征點搜索，該搜索過程主要是通過仿射變換和參數(shù)b的變化來實現(xiàn)，具體通過反復(fù)迭代如下兩步來實現(xiàn)a)計算每個特征點的新位置對于模型中第j個特征點，在垂直于其前后兩個特征點連線方向上以其為中心兩邊各選擇1個像素，1大于m，然后計算這1個像素的灰度值導(dǎo)數(shù)并歸一化從而得到一個profile，在這個新profile中取長度為(2*m+1)的sub-profile記為temp(P)，定義一個能量函數(shù)fj(p)=(temp(P)-gj‾)·Cj-1·(temp(P)-gj‾)T,]]>用此能量函數(shù)評判當(dāng)前sub-profile與 之間的相似性，選擇使fj(p)最小的位置作為該特征點的新位置，并計算其變化dXj，對每個特征點都進行這樣的計算就得到k個位置變化dXi，i＝1，2，...，k，并組成一個向量dX＝(dX1，dX2，...，dXk)；b)仿射變換中的參數(shù)和b的更新由式X＝M(s，θ)[x]+Xc得M(s(1+ds)，(θ+dθ))[x+dx]+(Xc+dXc)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+Xc-(Xc+dXc)，由式x＝x+Pb，現(xiàn)希望找到db使得x+dx＝x+P(b+db)，由式x＝x+Pb得db＝P-1dx，這樣就能對參數(shù)作如下更新Xc＝Xc+wtdXc，Yc＝Y(jié)c+wtdYc，θ＝θ+wθdθ，b＝b+Wbdb，式中wt，wθ，ws，Wb是用于控制參數(shù)變化的權(quán)值，由式x＝x+Pb得新的形狀。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的結(jié)合活動形狀模型和快速活動外觀模型的特征點定位方法，包括以下步驟(1)建立Lucas AAM模型、計算初始參數(shù)、給出模型的初始位置；(2)建立ASM模型；(3)以步驟(1)得到的模型的初始位置并用LucasAAM方法搜索人臉特征點；(4)以Lucas AAM模型搜索到的人臉特征點作為初始位置，用ASM方法搜索特征點的新位置。本發(fā)明將ASM和Lucas AAM兩個方法結(jié)合在一起進行人臉特征點定位，這樣ASM全局搜索精度低的缺點可以由LucasAAM全局搜索效果好的優(yōu)點得到補償，與此同時，Lucas AAM局部搜索差的特點也可以由ASM局部搜索效果好的優(yōu)點得到補償。同時，由于Lucas AAM方法相對較慢，融入了ASM方法后也可以大大提高整個特征點搜索的速度。
文檔編號G06K9/00GK1866272SQ20061002797
公開日2006年11月22日 申請日期2006年6月22日 優(yōu)先權(quán)日2006年6月22日
發(fā)明者杜春華, 楊杰, 吳證 申請人:上海交通大學(xué)