專利名稱：一種全自動三維人臉檢測和姿勢糾正的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機視覺和計算機圖形學(xué)領(lǐng)域，具體涉及一種全自動、魯棒的三維 人臉檢測和姿態(tài)糾正方法。
背景技術(shù)：
近年來，隨著三維立體重建軟硬件技術(shù)的進步，三維人臉被廣泛用于多個領(lǐng)域，例 如身份認證、人臉行為分析和計算機動畫設(shè)計等。對三維人臉進行檢測和姿態(tài)的糾正是上 述應(yīng)用中第一個也是十分關(guān)鍵的一步。而手動的進行這些操作將是十分費時費力的，而且 在類似身份認證等應(yīng)用中，自動檢測和姿勢糾正也是必須的。但是類似復(fù)雜背景(如衣服、 頭發(fā)等)、表情等都使得這個工作十分具有挑戰(zhàn)性。文獻[1]、[2]描述的背景技術(shù)都是利用曲面的曲率信息來進行三維人臉檢測或 者特征定位，而曲率等特征在噪聲的干擾下會表現(xiàn)得十分不穩(wěn)定。文獻[3]描述的背景技 術(shù)則利用尋找人臉對稱面的方法來解決三維人臉檢測和姿態(tài)糾正的問題，但是其人臉對稱 面在表情存在的情況下很容易出錯。文獻[4]、[5]描述的背景技術(shù)利用了多級濾波器結(jié)合 分類器的算法，而這些算法的缺點在于其結(jié)果很大程度上依賴于分類器的表現(xiàn)。而類似利 用最臨近點迭代ICP(iterative closet point)等配準方法來進行姿態(tài)糾正的背景技術(shù)， 則需要很好的初始條件。上述背景技術(shù)都存在著不可回避的問題，它不可避免地制約著三 維人臉檢測和姿態(tài)糾正技術(shù)的發(fā)展。參考文獻[1]A. Colombo, C. Cusano, and R. Schettini, “3D face detection using curvature analysis,"Pattern Recognition,39(3), 2006, pp. 444-455 ；[2] F. B. ter Haar and R. C. Veltkamp, "A 3d face matching framework for facial curves,，，Graph. Models, 71(2), 2009，pp. 77-91 ；[3]G. Pan et al. "Finding Symmetry Plane of 3D Face Shape'Troc. Int. Conf. on Pattern Recogtion, Conference on,2006, pp.1143-1146 ；[4]C. Xu et. Al. "Combining local features for robust nose location in 3D facial data, "Pattern Recognition Letters,27(13), 2006, pp.1487-1494 ；[5]A. Rajwade and M. Levine, "Facial pose from 3D data, "Image and Vision Computing,24(8)，2006，pp.849—85
發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種全自動的、魯棒的三維人臉檢測和姿勢糾正的方法， 并且不受復(fù)雜背景、表情和噪聲的干擾。本發(fā)明是這樣實現(xiàn)的一種全自動三維人臉檢測和姿勢糾正方法，其步驟如下步驟1 將含有復(fù)雜干擾、各式表情和不同姿勢的待處理三維人臉曲面輸入檢測 系統(tǒng)；
步驟2 對三維人臉曲面進行多尺度的矩分析，假設(shè)S代表三維人臉曲面，對于曲 面上的任意一點P，其鄰域可以用一個半徑為r、球心位于P球體來定義，其鄰域記為BJp) I S，則該鄰域的矩定位為 _4] M0r(P)=I^sXdxM\{p)= f [x-M0r{p)mx-Ml{p)]dx其中。Μ)(ρ)的三個特征值描述了其鄰域的統(tǒng)計幾何信息；三 維人臉曲面S的尺度空間可以通過以下的平滑過程來實現(xiàn)— = SAS dt其中δ為控制平滑速度的參數(shù)；三維人臉曲面S可以用離散的三角面片來逼近， 所述平滑過程可以通過離散拉普拉斯算子來實現(xiàn)；步驟3 提出臉部區(qū)域特征廠來粗糙地檢測三維人臉曲面S，其中A3 Z3Α;>λ;>Λ;> 0為所述Μ)的三個特征值；步驟4 在粗糙檢測的三維人臉曲面S上，提出鼻尖區(qū)域特征？； = <+》+ <來準確地定位到鼻尖的位置，然后根據(jù)此位置來進一步精確地分割出完整的三維人臉曲面；步驟5:根據(jù)分割出的三維人臉曲面S的距離信息提出鼻根區(qū)域特征 d0{refj) dE{ref,i)地線距離和歐式距離；和其他區(qū)域相比，鼻尖到鼻根之間連線十分接近一條直線，因此其測 地線距離和歐式距離更為接近，可以選取閾值Rtto ^ 1來確定鼻根的位置；步驟6 根據(jù)步驟3、4和5確定的位置，建立三維人臉曲面坐標系首先以鼻尖的 位置作為原點；然后在高尺度的人臉曲面空間中進行主成分分析，最小特征值對應(yīng)的特征 向量即為ζ軸；最后對檢測到的鼻子區(qū)域進行主成分分析，結(jié)合鼻根的位置即可確定X軸和 y軸的方向步驟7 依據(jù)三維人臉曲面坐標系來自動地進行人臉曲面修剪和姿勢糾正；步驟8 輸出經(jīng)修剪過的、完整的、姿勢糾正過的三維人臉曲面。本發(fā)明三維人臉檢測和姿勢糾正方法用于大規(guī)模的三維人臉庫(包括來自100個 實驗對象的不同表情下的人臉)，實驗結(jié)果表明該方法具有速度快、準確度高、可靠度高等 優(yōu)點，可以用來處理以下場合具有復(fù)雜干擾的人臉表情(1)在和面部相關(guān)的醫(yī)學(xué)應(yīng)用上， 如臉部整容手術(shù)、意外傷害后臉型復(fù)原等，本發(fā)明可以輔助醫(yī)生自動地對三維人臉進行檢 測、修剪和姿勢糾正；( 在利用三維人臉進行身份識別或認證的場合下的，本發(fā)明可以全 自動、迅速地將人臉定位并利用所建的人臉坐標系FCS對其進行匹配；C3)在三維人臉表情 分析和人臉表情動畫的應(yīng)用中，本發(fā)明可以將有復(fù)雜表情的人臉與無表情下的人臉進行快 速比較，從而為有表情下的臉部曲面變化提供可靠的數(shù)據(jù)。SArtr來檢測鼻根的位置，其中de(ref，i)和de(ref，i)分別代表鼻尖到點i的測


圖1是本發(fā)明三維人臉檢測和姿勢糾正方法的流程圖；圖2是本發(fā)明方法在平滑尺度增加的情況下，人臉曲面的變化比較圖；淺色代表 臉部特征數(shù)值比較大，深色代表臉部特征數(shù)值比較??；圖3是本發(fā)明方法在平滑尺度增加的情況下，人臉曲面和鼻尖特征數(shù)值的變化比 較圖；淺色代表鼻尖特征數(shù)值比較大，深色代表鼻尖特征數(shù)值比較??；圖如是本發(fā)明方法鼻尖到臉部其他區(qū)域的測地線距離(淺色)和歐式距離(深 色)示意圖；圖4b是本發(fā)明方法最后檢測到鼻尖位置(深色，其候選點為淺色)和鼻根位置 (深色，其候選點為淺色)示意圖；圖5是在BU-3DFE三維人臉數(shù)據(jù)庫中，利用本發(fā)明方法進行姿態(tài)糾正后的M種復(fù) 雜表情下的人臉與無表情人臉配準后的誤差分布圖；圖6是使用本發(fā)明方法部分修剪并姿勢糾正過的示例，上面一行為原始的掃面曲 面數(shù)據(jù)，下面一行為對應(yīng)的修剪并姿勢糾正過的人臉。
具體實施例方式本發(fā)明三維人臉檢測和姿勢糾正方法(如圖1所示)以含有復(fù)雜干擾、各式表情 和不同姿勢的三維人臉曲面作為輸入，通過對人臉三維曲面進行多尺度的矩分析，首先提 出了臉部區(qū)域特征來粗糙地檢測人臉曲面，其次又提出鼻尖區(qū)域特征來準確地定位鼻尖的 位置，然后根據(jù)此位置來進一步精確地分割出完整的人臉曲面，接著根據(jù)人臉曲面的距離 信息提出了鼻根區(qū)域特征來檢測鼻根的位置，最后根據(jù)這些特征點的位置，建立了一個人 臉坐標系，并據(jù)此自動地進行人臉姿勢的糾正，輸出為修剪過的、完整的、姿勢糾正過的三 維人臉。下面對本發(fā)明方法的具體過程作詳細的說明。假設(shè)S代表輸入的待檢測三維人臉曲面，對于曲面上的任意一點P，其鄰域可以用 一個半徑為r、球心位于ρ球體來定義，其鄰域記為^ (ρ) I S，則該鄰域的矩定位為 _6] M0r {p) =IwsXdX
權(quán)利要求
1. 一種全自動三維人臉檢測和姿勢糾正方法，其特征在于，其包括如下步驟 步驟1 將含有復(fù)雜干擾、各式表情和不同姿勢的待處理三維人臉曲面輸入檢測系統(tǒng)； 步驟2 對三維人臉曲面進行多尺度的矩分析，假設(shè)S代表三維人臉曲面，對于曲面上 的任意一點P，其鄰域可以用一個半徑為r、球心位于ρ球體來定義，其鄰域記為BJp) I S， 則該鄰域的矩定位為 M°(p)= f xdxM'(P)=L ,,Λ^-Κ(ρ)]^[X-M0r {p)]dx^Dr ( p)\ S其中>^2:二0^),,7=1,2,3。<0 )的三個特征值描述了其鄰域的統(tǒng)計幾何信息；三維人臉曲面s的尺度空間可以通過以下的平滑過程來實現(xiàn)dt其中S為控制平滑速度的參數(shù)；三維人臉曲面S可以用離散的三角面片來逼近，所述 平滑過程可以通過離散拉普拉斯算子來實現(xiàn)；步驟3:提出臉部區(qū)域特征巧來粗糙地檢測三維人臉曲面S，其中0為所述Μ:的三個特征值；步驟4 在粗糙檢測的三維人臉曲面S上，提出鼻尖區(qū)域特征7； = ^ ν來準確地定位鼻尖的位置，然后根據(jù)此位置來進一步精確地分割出完整的三維人臉曲面；dr (ref, ) η步驟5 根據(jù)分割出的三維人臉曲面S的距離信息提出鼻根區(qū)域特征‘ ^ &來檢測鼻根的位置，其中de(ref，i)和de(ref，i)分別代表鼻尖到點i的測地線距離和歐式 距離；和其他區(qū)域相比，鼻尖到鼻根之間連線十分接近一條直線，因此其測地線距離和歐式 距離更為接近，可以選取閾值I^tto ^ 1來確定鼻根的位置；步驟6 根據(jù)步驟3、4和5確定的位置，建立三維人臉曲面坐標系首先以鼻尖的位置 作為原點；然后在高尺度的人臉曲面空間中進行主成分分析，最小特征值對應(yīng)的特征向量 即為ζ軸；最后對檢測到的鼻子區(qū)域進行主成分分析，結(jié)合鼻根的位置即可確定χ軸和y軸 的方向步驟7 依據(jù)三維人臉曲面坐標系來自動地進行人臉曲面修剪和姿勢糾正； 步驟8 輸出經(jīng)修剪過的、完整的、姿勢糾正過的三維人臉曲面。
全文摘要
本發(fā)明屬于計算機視覺和計算機圖形學(xué)領(lǐng)域，涉及一種全自動、魯棒的三維人臉檢測和姿態(tài)糾正方法。本發(fā)明以含有復(fù)雜干擾、各式表情和不同姿勢的三維人臉曲面作為輸入，通過對人臉三維曲面進行多尺度的矩分析，提出了臉部區(qū)域特征來粗糙地檢測人臉曲面，及提出鼻尖區(qū)域特征來準確地定位鼻尖的位置，然后進一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來檢測鼻根的位置后，建立了一個人臉坐標系，并據(jù)此自動地進行人臉姿勢的糾正，輸出為修剪過的、完整的、姿勢糾正過的三維人臉。本發(fā)明方法可用于大規(guī)模的三維人臉庫，結(jié)果表明該方法速度快、準確度高、可靠度高。
文檔編號G06T17/00GK102044085SQ200910197378
公開日2011年5月4日 申請日期2009年10月19日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者吳海山, 陳雁秋 申請人:復(fù)旦大學(xué)