一種基于人眼優(yōu)先擬合的人臉特征點跟蹤方法
【專利摘要】本發(fā)明提出了一種基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：包含了人臉姿態(tài)估計與更新、人眼的檢測與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬合步驟：本發(fā)明解決了在人臉特征點跟蹤時，人臉姿態(tài)出現(xiàn)大幅度偏轉(zhuǎn)、人臉模型的初始位置與目標(biāo)位置偏離較大時，出現(xiàn)人臉特征點跟蹤丟失，跟蹤準(zhǔn)確低等問題，提高了視頻人臉特征點跟蹤的準(zhǔn)確性、實時性和魯棒性。
【專利說明】一種基于人眼優(yōu)先擬合的人臉特征點跟蹤方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像模式識別領(lǐng)域，尤其涉及一種基于人眼優(yōu)先擬合的人臉特征點跟 蹤方法。

【背景技術(shù)】
[0002] 人臉特征點跟蹤在人機交互、視頻監(jiān)控等領(lǐng)域得到了廣泛的應(yīng)用，成為當(dāng)前計算 機視覺研究領(lǐng)域中研究熱點。傳統(tǒng)的人臉跟蹤技術(shù)是對目標(biāo)人臉?biāo)诿恳粠奈恢眠M(jìn)行 標(biāo)記，而人臉特征點的跟蹤不僅能確定目標(biāo)人臉的位置，同時還能夠準(zhǔn)確的描述人臉各 部件特征點的位置。目前人臉特征點的定位與跟蹤主要采用的是主動外觀模型（Active AppearanceModel,AAM)并此基礎(chǔ)上研究人員進(jìn)行了大量的改進(jìn)，在人臉與其他非剛體的 識別中得到了廣泛應(yīng)用。
[0003]AAM模型是通過統(tǒng)計學(xué)習(xí)建立目標(biāo)人臉的形狀和紋理模型，由于AAM模型使用的 是人臉的全局表觀，對人臉具有較強的描述能力。使用傳統(tǒng)的AAM模型進(jìn)行人臉特征點跟 蹤時是通過對形狀與紋理模型賦予初值，以迭代的方式求解模型的增加量對模型的參數(shù)進(jìn) 行更新，算法的計算量較大，無法實現(xiàn)實時的人臉特征點跟蹤。目前主流的人臉特征點跟蹤 技術(shù)采用的是反向合成擬合（InverseCompositional)算法實現(xiàn)人臉與AAM人臉模型的 擬合，該算法是通過計算AAM模型的反向增量，使得在迭代尋優(yōu)的計算過程中所需的梯度 與Hessian保持不變，降低了算法計算代價，然而當(dāng)AAM模型的初始位置與目標(biāo)位置偏離較 大，或者人臉姿態(tài)出現(xiàn)較大幅度轉(zhuǎn)動時，將對算法的擬合效率與精確度產(chǎn)生較大的影響，最 終導(dǎo)致人臉特征點跟蹤失敗。因此同時解決人臉特征點跟蹤過程中魯棒性與準(zhǔn)確性方面的 問題具有重要的研究意義。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于解決人臉模型的初始位置與目標(biāo)人臉偏離較大、人臉出現(xiàn)大幅 度偏轉(zhuǎn)以及人臉特征點跟蹤不精確的問題，提出一種基于人眼優(yōu)先擬合的人臉特征點跟蹤 方法。
[0005] 為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：
[0006] -種基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：包含了人臉姿態(tài)估 計與更新、人眼的檢測與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬 合步驟：
[0007] 首先對歸一化后的訓(xùn)練樣本進(jìn)行主成分分析，建立人眼與人臉剩余部件的AAM形 狀模型；
[0008] 然后，應(yīng)用支持向量機算法建立人臉偏轉(zhuǎn)模型，估算出當(dāng)前人臉的偏轉(zhuǎn)角度并對 人臉姿態(tài)偏轉(zhuǎn)模型中的參數(shù)進(jìn)行實時更新，有效解決人臉姿態(tài)大幅度偏轉(zhuǎn)問題；與此同時， 使用強跟蹤卡爾曼濾波算法進(jìn)行人眼跟蹤，獲取的當(dāng)前準(zhǔn)確的人眼位置坐標(biāo)；
[0009] 將人眼位置坐標(biāo)與人臉姿態(tài)信息相結(jié)合對反向合成算法中的參數(shù)進(jìn)行更新，使用 人眼形狀模型優(yōu)先對人眼區(qū)域進(jìn)行特征點擬合，當(dāng)人眼特征點擬合完成后再對剩余人臉部 件特征點進(jìn)行擬合。
[0010] 上述技術(shù)方案中，基于人眼優(yōu)先擬合的人臉特征點跟蹤方法的具體實現(xiàn)步驟如 下：
[0011] 步驟SI:對訓(xùn)練集中所有樣本中的人眼與人臉剩余部件特征點的二維坐標(biāo)進(jìn)行 中心、尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建立人眼與人臉剩余 部件的AAM形狀模型；
[0012] 步驟S2 :使用Opencv開源視覺庫，按照所設(shè)定幀率讀取攝像頭中的視頻流，作為 算法的數(shù)據(jù)輸入；
[0013] 步驟S3:應(yīng)用支持向量機算法對人臉姿態(tài)進(jìn)行檢測，計算出人臉偏轉(zhuǎn)角度，使用 人臉偏轉(zhuǎn)角度對人臉偏轉(zhuǎn)模型中的參數(shù)進(jìn)行更新；與此同時，使用Adaboost算法與強跟蹤 Kalman濾波對人眼進(jìn)行檢測跟蹤，獲取人眼的準(zhǔn)確位置坐標(biāo)；
[0014] 步驟S4:使用人眼位置坐標(biāo)與人臉姿態(tài)信息對AAM模型的反向合成算法中參數(shù)進(jìn) 行優(yōu)化，進(jìn)行人眼特征點的優(yōu)先擬合，若擬合成功，對人臉剩余部件特征點進(jìn)行擬合，否則 丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行；
[0015] 步驟S5:應(yīng)用反向合成算法對人臉剩余部件特征點進(jìn)行擬合，若擬合成功則對下 一幀圖像進(jìn)行人臉特征點跟蹤，否則丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行。
[0016] 上述技術(shù)方案中，步驟Sl:人眼形狀模型與人臉剩余部件的AAM形狀模型的建立 方法，包含了以下步驟：
[0017] 步驟Sll:建立人眼的形狀模型：通過對人眼特征點的二維坐標(biāo)進(jìn)行中心、尺度和 方向歸一化，在對訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人眼AAM形狀模 型；
[0018] 步驟S12:建立人臉剩余部件的形狀模型：通過對人臉剩余部件的二維坐標(biāo)進(jìn)行 中心、尺度和方向歸一化，在對訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人臉 剩余部件的AAM形狀模型。
[0019] 上述技術(shù)方案中，步驟S3具體包含以下步驟：
[0020] 步驟S31，人臉偏轉(zhuǎn)角度的估計，采用支持向量機算法對大量人臉樣本進(jìn)行學(xué)習(xí)， 建立人臉姿態(tài)的分類器，使用該分類器對當(dāng)前人臉進(jìn)行檢測，估算出當(dāng)前人臉的偏轉(zhuǎn)角度， 根據(jù)該偏轉(zhuǎn)角度建立人臉的偏轉(zhuǎn)模型；
[0021] 步驟S32,應(yīng)用Adaboost算法對人臉進(jìn)行檢測，在檢測出人臉的區(qū)域內(nèi)進(jìn)行人眼 檢測并標(biāo)識出人眼的位置；在對人臉和人眼進(jìn)行檢測時，使用Haar特征進(jìn)行模型訓(xùn)練與檢 測；
[0022] 步驟S33,使用強跟蹤Kalman濾波算法對人眼進(jìn)行跟蹤，將算法檢測到的人眼位 置與人眼運動模型對下一幀圖像中人眼可能出現(xiàn)的位置進(jìn)行預(yù)測，并對該預(yù)測位置優(yōu)先進(jìn) 行檢測。
[0023] 步驟S32中Adaboost算法是一種自適應(yīng)增強（AdaptiveBoosting)的分類算法， 該算法的核心思想是通過自適應(yīng)調(diào)節(jié)訓(xùn)練樣本的權(quán)重分布，挑選出當(dāng)前權(quán)重分布下分類準(zhǔn) 確率較高的弱分類器，并根據(jù)權(quán)重的分布將弱分類器組合成強分類器。在對人臉和人眼進(jìn) 行檢測時，使用Haar特征進(jìn)行模型訓(xùn)練與檢測，由于Haar特征采用積分圖進(jìn)行求取，因此 耗費在特征值計算上時間為常量，都是簡單的加減運算，使得算法具備較高的效率與精度。 步驟S33中強跟蹤Kalman濾波算法的使用對于穩(wěn)定人眼跟蹤精度具有重要作用。
[0024] 綜上，本發(fā)明所提出的基于人眼優(yōu)先擬合的AAM人臉特征點跟蹤算法，針對傳統(tǒng) 的AAM人臉特征點跟蹤算法對初始位置及人臉姿態(tài)與表情的變化較為敏感的問題，進(jìn)行了 研究，相對于現(xiàn)有方法，有以下幾方面的有益效果：1)建立了人臉姿態(tài)偏轉(zhuǎn)模型，為人臉跟 蹤提供準(zhǔn)確的姿態(tài)信息，有效解決了人臉姿態(tài)大幅度偏轉(zhuǎn)問題；2)使用強跟蹤Kalman濾波 算法對人眼進(jìn)行實時準(zhǔn)確的跟蹤，為特征點的擬合提供了準(zhǔn)確的初始位置；3)提出了一種 人眼優(yōu)先擬合的策略，根據(jù)人眼跟蹤算法所提供的人眼坐標(biāo)，優(yōu)先對人眼進(jìn)行擬合。本發(fā)明 方法解決了在進(jìn)行人臉特征點跟蹤時，當(dāng)人臉姿態(tài)出現(xiàn)大幅度偏轉(zhuǎn)以及人臉模型的初始位 置與目標(biāo)位置偏離較大時，容易導(dǎo)致人臉特征點跟蹤丟失，跟蹤準(zhǔn)確低等問題。本發(fā)明方法 提高了視頻人臉特征點跟蹤的準(zhǔn)確性、實時性和魯棒性。

【專利附圖】

【附圖說明】
[0025] 圖1是本發(fā)明基于人眼優(yōu)先擬合的人臉特征點跟蹤方法流程圖；
[0026] 圖2是本發(fā)明方法中人眼形狀模型；
[0027] 圖3是本發(fā)明方法中人臉剩余部件模型；
[0028] 圖4是根據(jù)本發(fā)明方法對正面人臉進(jìn)行特征點跟蹤的結(jié)果示意圖，圖中所有藍(lán) 色的圓點為本發(fā)明方法所跟蹤到的人臉特征點，白色的連線為根據(jù)人臉特征點構(gòu)建的 Delaunay三角網(wǎng)；
[0029] 圖5是根據(jù)本發(fā)明方法對快速運動的人臉進(jìn)行特征點跟蹤結(jié)果示意圖，圖中所有 藍(lán)色的圓點為本發(fā)明方法所跟蹤到的人臉特征點，白色的連線為根據(jù)人臉特征點構(gòu)建的 Delaunay三角網(wǎng)；
[0030] 圖6是根據(jù)本發(fā)明方法對具有表情變化與小角度偏轉(zhuǎn)的人臉進(jìn)行特征點跟蹤結(jié) 果示意圖，圖中所有藍(lán)色的圓點為本發(fā)明方法所跟蹤到的人臉特征點，白色的連線為根據(jù) 人臉特征點構(gòu)建的Delaunay三角網(wǎng)；
[0031] 圖7是根據(jù)本發(fā)明方法對存在大角度偏轉(zhuǎn)的人臉進(jìn)行特征點跟蹤結(jié)果示意圖，圖 中所有藍(lán)色的圓點為本發(fā)明方法所跟蹤到的人臉特征點，白色的連線為根據(jù)人臉特征點構(gòu) 建的Delaunay三角網(wǎng)。

【具體實施方式】
[0032] 為了進(jìn)一步說明本發(fā)明的技術(shù)方案與優(yōu)勢，通過具體實施例并結(jié)合附圖，對本發(fā) 明進(jìn)行詳細(xì)的說明。
[0033] 圖1為本發(fā)明基于人眼優(yōu)先擬合的人臉特征點跟蹤方法流程圖，該檢測方法包含 以下步驟：
[0034] 步驟SI :對訓(xùn)練集中所有樣本中的人眼（如圖2)與人臉剩余部件特征點（如圖 3)的二維坐標(biāo)進(jìn)行中心、尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建 立人眼形狀模型與人臉除人眼外的面部剩余部件的AAM形狀模型；
[0035] 人眼形狀模型與人臉剩余部件的AAM形狀模型的建立方法，包含了以下步驟：
[0036] 步驟Sll :建立人眼的形狀模型，如圖2所示。為了實現(xiàn)人眼的優(yōu)先擬合，需要建 立人眼與人臉剩余部件的AAM形狀模型，在本發(fā)明中使用的68個特征點對人臉輪廓進(jìn)行描 述，其中人眼由22個特征點，如圖3所示，人臉剩余部件由46個特征點構(gòu)成。通過對人眼 特征點的二維坐標(biāo)進(jìn)行中心、尺度和方向歸一化，在對訓(xùn)練集中所有歸一化的形狀向量進(jìn) 行主成分分析，這樣人眼形狀模型可以表示為：
[0037]

【權(quán)利要求】
1. 一種基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：包含了人臉姿態(tài)估計 與更新、人眼的檢測與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬合 步驟： 首先對歸一化后的訓(xùn)練樣本進(jìn)行主成分分析，建立人眼與人臉剩余部件的AAM形狀模 型； 然后，應(yīng)用支持向量機算法建立人臉偏轉(zhuǎn)模型，估算出當(dāng)前人臉的偏轉(zhuǎn)角度并對人臉 姿態(tài)偏轉(zhuǎn)模型中的參數(shù)進(jìn)行實時更新，有效解決人臉姿態(tài)大幅度偏轉(zhuǎn)問題；與此同時，使用 強跟蹤卡爾曼濾波算法進(jìn)行人眼跟蹤，獲取的當(dāng)前準(zhǔn)確的人眼位置坐標(biāo)； 將人眼位置坐標(biāo)與人臉姿態(tài)信息相結(jié)合對反向合成算法中的參數(shù)進(jìn)行更新，使用人眼 形狀模型優(yōu)先對人眼區(qū)域進(jìn)行特征點擬合，當(dāng)人眼特征點擬合完成后再對剩余人臉部件特 征點進(jìn)行擬合。
2. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：該 基于人眼優(yōu)先擬合的人臉特征點跟蹤方法的具體實現(xiàn)步驟如下： 步驟Sl :對訓(xùn)練集中所有樣本中的人眼與人臉剩余部件特征點的二維坐標(biāo)進(jìn)行中心、 尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建立人眼與人臉剩余部件的 AAM形狀模型； 步驟S2 :使用Opencv開源視覺庫，按照所設(shè)定幀率讀取攝像頭中的視頻流，作為算法 的數(shù)據(jù)輸入； 步驟S3 :應(yīng)用支持向量機算法對人臉姿態(tài)進(jìn)行檢測，計算出人臉偏轉(zhuǎn)角度，使用人 臉偏轉(zhuǎn)角度對人臉偏轉(zhuǎn)模型中的參數(shù)進(jìn)行更新；與此同時，使用Adaboost算法與強跟蹤 Kalman濾波對人眼進(jìn)行檢測跟蹤，獲取人眼的準(zhǔn)確位置坐標(biāo)； 步驟S4 :使用人眼位置坐標(biāo)與人臉姿態(tài)信息對AAM模型的反向合成算法中參數(shù)進(jìn)行優(yōu) 化，進(jìn)行人眼特征點的優(yōu)先擬合，若擬合成功，對人臉剩余部件特征點進(jìn)行擬合，否則丟棄 當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行； 步驟S5 :應(yīng)用反向合成算法對人臉剩余部件特征點進(jìn)行擬合，若擬合成功則對下一幀 圖像進(jìn)行人臉特征點跟蹤，否則丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行。
3. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：步 驟Sl :人眼形狀模型與人臉剩余部件的AAM形狀模型的建立方法，包含了以下步驟： 步驟Sll :建立人眼的形狀模型：通過對人眼特征點的二維坐標(biāo)進(jìn)行中心、尺度和方向 歸一化，在對訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人眼AAM形狀模型； 步驟S12 :建立人臉剩余部件的形狀模型：通過對人臉剩余部件的二維坐標(biāo)進(jìn)行中心、 尺度和方向歸一化，在對訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人臉剩余 部件的AAM形狀模型。
4. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點跟蹤方法，其特征在于：步 驟S3具體包含以下步驟： 步驟S31，人臉偏轉(zhuǎn)角度的估計，采用支持向量機算法對大量人臉樣本進(jìn)行學(xué)習(xí)，建立 人臉姿態(tài)的分類器，使用該分類器對當(dāng)前人臉進(jìn)行檢測，估算出當(dāng)前人臉的偏轉(zhuǎn)角度，根據(jù) 該偏轉(zhuǎn)角度建立人臉的偏轉(zhuǎn)模型； 步驟S32,應(yīng)用Adaboost算法對人臉進(jìn)行檢測，在檢測出人臉的區(qū)域內(nèi)進(jìn)行人眼檢測 并標(biāo)識出人眼的位置；在對人臉和人眼進(jìn)行檢測時，使用Haar特征進(jìn)行模型訓(xùn)練與檢測； 步驟S33,使用強跟蹤Kalman濾波算法對人眼進(jìn)行跟蹤，將算法檢測到的人眼位置與 人眼運動模型對下一幀圖像中人眼可能出現(xiàn)的位置進(jìn)行預(yù)測，并對該預(yù)測位置優(yōu)先進(jìn)行檢 測。
【文檔編號】G06T7/20GK104318264SQ201410543159
【公開日】2015年1月28日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】吳懷宇, 鐘銳, 吳若鴻, 李威凌, 程果 申請人:武漢科技大學(xué)