一種基于Android平臺(tái)的實(shí)時(shí)人臉關(guān)鍵點(diǎn)定位方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，設(shè)及一種人臉關(guān)鍵點(diǎn)定位方法。
【背景技術(shù)】
[0002] 人臉檢測(cè)和關(guān)鍵點(diǎn)定位技術(shù)作為計(jì)算機(jī)視覺(jué)研究的關(guān)鍵技術(shù)，目前已廣泛應(yīng)用于 智能監(jiān)控、身份識(shí)別、表情分析等方面。人臉關(guān)鍵點(diǎn)定位是指在人臉圖像中精確定位到人的 眼睛、嘴己、鼻子等特定的面部器官，并獲取其幾何參數(shù)，從而為表情分析或人臉識(shí)別等研 究提供準(zhǔn)確的信息。
[0003]目前，人臉關(guān)鍵點(diǎn)的定位在計(jì)算機(jī)上已有較好的實(shí)現(xiàn)，實(shí)時(shí)性和準(zhǔn)確性都很 高，代表性的工作有主動(dòng)形狀模型（Active化apeModel,ASM),貝葉斯切空間形狀模型 炬ayesianTangent化耶eModel，BTSM)，主動(dòng)外觀模型（ActiveAppearanceModel，AAM)， 受約束的局部模型（ConstrainedLocalModel,化M)等等。但已有的算法計(jì)算復(fù)雜度較 高，在計(jì)算、存儲(chǔ)能力有限的移動(dòng)平臺(tái)上鮮有應(yīng)用。
[0004] 如今，在中國(guó)有幾億的智能終端（主要是手機(jī)，平板電腦）用戶，智能終端逐漸成 為人們的信息載體。移動(dòng)平臺(tái)性能也得到了大幅提升，運(yùn)就為移動(dòng)平臺(tái)上人臉特征點(diǎn)實(shí)時(shí) 定位跟蹤提供了可能。但目前已有的人臉特征點(diǎn)定位跟蹤算法普遍計(jì)算復(fù)雜度較高、內(nèi)存 消耗較大、處理速度較慢，很難直接移植到移動(dòng)平臺(tái)。

【發(fā)明內(nèi)容】

[0005] 為了解決上述問(wèn)題，本發(fā)明公開(kāi)了高效率、高精度的"顯式形狀回歸"人臉關(guān)鍵點(diǎn) 定位方法，通過(guò)直接學(xué)習(xí)一個(gè)矢量回歸函數(shù)來(lái)預(yù)測(cè)整個(gè)人臉的關(guān)鍵點(diǎn)。固有的形狀約束被 自然地編碼到我們的級(jí)聯(lián)學(xué)習(xí)框架中，并且被由粗到細(xì)地應(yīng)用在測(cè)試的過(guò)程中。本發(fā)明力 圖在多個(gè)方面全面提升算法的性能，具體體現(xiàn)在特征選取和模型訓(xùn)練方面做了較大改進(jìn)， 使算法運(yùn)行效率大幅提升，并同時(shí)保證了定位的準(zhǔn)確性，能夠?qū)崿F(xiàn)在移動(dòng)平臺(tái)上實(shí)時(shí)進(jìn)行 人臉特征點(diǎn)的檢測(cè)定位。
[0006] 本發(fā)明分為訓(xùn)練和測(cè)試兩個(gè)階段。訓(xùn)練階段主要學(xué)習(xí)回歸模型。區(qū)別于大部分回 歸方法，本方法并不是用固定參數(shù)的形狀模型。本發(fā)明通過(guò)直接學(xué)習(xí)一個(gè)矢量回歸函數(shù)來(lái) 預(yù)測(cè)整個(gè)人臉的關(guān)鍵點(diǎn)，然后在訓(xùn)練集上顯式地最小化定位誤差。
[0007] 為了實(shí)現(xiàn)高效的回歸，我們使用簡(jiǎn)單的像素差分特征，即在圖像中的兩個(gè)像素的 強(qiáng)度差。運(yùn)樣的特征計(jì)算復(fù)雜度非常小，就是根據(jù)關(guān)鍵點(diǎn)的位置和一個(gè)偏移量，取得該位置 的像素值，然后計(jì)算兩個(gè)運(yùn)樣的像素的差值，從而得到了形狀索引特征。該方法中采用的是 局部坐標(biāo)而非全局坐標(biāo)系，極大的增強(qiáng)了特征的魯棒性。
[0008] 為了使像素差特征保持幾何不變性，通過(guò)估計(jì)得到的形狀來(lái)索引像素點(diǎn)。運(yùn)里W 局部坐標(biāo)來(lái)索引像素Ai= (Ax\Ayi)，1為標(biāo)準(zhǔn)化臉上的一個(gè)關(guān)鍵點(diǎn)。運(yùn)樣的索引方式 可W對(duì)尺度，旋轉(zhuǎn)等變化保持不變性并且使得算法更加魯棒。同時(shí)運(yùn)種索引也可W幫助我 們?cè)谝恍╈o態(tài)的點(diǎn)周?chē)信e出更多有用的特征（比如眼睛中屯、的點(diǎn)要比鼻尖更暗，然而兩 個(gè)眼睛的中屯、又是相似的）。在實(shí)際實(shí)現(xiàn)的過(guò)程中，我們把局部坐標(biāo)系轉(zhuǎn)換回原始圖像的全 局坐標(biāo)系中來(lái)得到形狀索引像素點(diǎn)，然后在計(jì)算像素差特征。運(yùn)樣的方法使得測(cè)試階段的 運(yùn)行速度更快。設(shè)一個(gè)樣本的估計(jì)形狀為S。那么第m個(gè)關(guān)鍵點(diǎn)的位置通過(guò)III0S獲取， 運(yùn)里的jii從形狀向量里得到第m個(gè)關(guān)鍵點(diǎn)的x，y坐標(biāo)。A1為局部坐標(biāo)系，那么在原始圖 像上相應(yīng)的全局坐標(biāo)系可W表達(dá)為巧?！杜！Ｃ?。對(duì)于不同的樣本A1是完全相同的，但 是用于提取底層像素點(diǎn)的全局坐標(biāo)系會(huì)相應(yīng)地調(diào)節(jié)來(lái)保證幾何不變性。
[0009] 本發(fā)明使用了一個(gè)兩級(jí)的增強(qiáng)回歸器，即第一級(jí)10級(jí)，第二層500級(jí)。在運(yùn)個(gè)二 級(jí)結(jié)構(gòu)中，第一級(jí)中每個(gè)節(jié)點(diǎn)都是500個(gè)弱分類(lèi)器的級(jí)聯(lián)，也就是一個(gè)第二層的回歸器。在 第二層回歸器中，特征是保持不變，而在第一層中，特征是變化的。在第一層，每一個(gè)節(jié)點(diǎn)的 輸出都是上一個(gè)節(jié)點(diǎn)的輸入。都是在上一級(jí)估計(jì)的關(guān)鍵點(diǎn)上在取的特征。
[0010] 本發(fā)明采用一個(gè)兩層的加強(qiáng)回歸模式，即基本人臉關(guān)鍵點(diǎn)定位框架（外部層）和 階段回歸器Rt(內(nèi)部層）級(jí)聯(lián)模式。內(nèi)部層階段回歸器又稱(chēng)作原始回歸器。外部層與內(nèi)部 層回歸器的一個(gè)關(guān)鍵區(qū)別在于形狀索引特征在內(nèi)部層回歸中是固定的。也就是特征只對(duì)應(yīng) 于前一次估計(jì)的形狀St1并且在當(dāng)前原始回歸器學(xué)習(xí)好之前保持不變。保持內(nèi)部層回歸中 的形狀索引特征不變可W使訓(xùn)練階段更加節(jié)省時(shí)間并且使得學(xué)習(xí)到的內(nèi)部層回歸器更加 穩(wěn)定。在本發(fā)明中回歸器的結(jié)構(gòu)可W描述為T(mén)= 10，K= 500,即第一層（外部層）10級(jí)， 第二層（內(nèi)部層）500級(jí)。在第一層中的每一個(gè)節(jié)點(diǎn)都是500個(gè)弱分類(lèi)器的級(jí)聯(lián)，也就是第 二層回歸器。第一層每一個(gè)節(jié)點(diǎn)的輸入都是上一個(gè)節(jié)點(diǎn)的輸出。第二層回歸器采用所謂的 fern結(jié)構(gòu)。每一個(gè)fern是5個(gè)特征和闊值的組合，將特征空間分割成/個(gè)bins。
[0011] 每一個(gè)binb對(duì)應(yīng)于一個(gè)回歸輸出yb:
，代表在第b 個(gè)bin中的樣本。yb的最優(yōu)解為
為了防止訓(xùn)練時(shí)的過(guò)擬合引入一個(gè)收縮因子
當(dāng)bin中的樣本數(shù)量足夠大時(shí)beta影響較小，反之則會(huì)起到較低估計(jì) 值得幅度。
[0012] 原始回歸器：本發(fā)明用fern代表原始回歸器，一個(gè)fern是F個(gè)特征和闊值的組 合，將特征空間和所有訓(xùn)練樣本劃分到/個(gè)bin里面。每個(gè)bin與一個(gè)回歸輸出yb密切相 關(guān)?；硎居?xùn)練樣本的回歸目標(biāo)，那么一個(gè)bin的輸出就是最小化落入運(yùn)個(gè)bin的所有 訓(xùn)練樣本到回歸目標(biāo)的均方距離
是在第b個(gè)bin中的樣本。 它的最優(yōu)解是對(duì)bin中的所有回歸目標(biāo)取均值；
％了避免過(guò)擬合引入一個(gè) 收縮因子P:
可W看出當(dāng)訓(xùn)練樣本數(shù)足夠大的時(shí)候，收縮因子0 幾乎沒(méi)有影響，否則P會(huì)降低估計(jì)的量級(jí)。
[0013] 本專(zhuān)利完整的方法操作流程如下：
[0014] 步驟1、收集訓(xùn)練圖片集，并對(duì)訓(xùn)練集人臉圖片標(biāo)定關(guān)鍵點(diǎn)；
[0015] 步驟2、計(jì)算每一個(gè)訓(xùn)練樣本標(biāo)準(zhǔn)化目標(biāo)
M0S即為標(biāo) 準(zhǔn)化的的目標(biāo)樣本；
[0016] 步驟3、組合訓(xùn)練樣本集合{/,.，&，《措，每個(gè)樣本包含了一個(gè)訓(xùn)練圖像、一個(gè)真實(shí) 形狀和一個(gè)初始形狀；隨機(jī)選取訓(xùn)練集中的n個(gè)樣本作為每一個(gè)訓(xùn)練樣本的初始形狀；
[0017] 步驟4、根據(jù)每一個(gè)關(guān)鍵點(diǎn)的位置提取形狀索引特征；
[0018] 步驟5、采用相關(guān)性分析方法選擇適量的特征作為最終的特征；
[0019] 步驟6、設(shè)置回歸結(jié)構(gòu)：采用2-level增強(qiáng)回歸結(jié)構(gòu)作為基本人臉配準(zhǔn)框架（外部 層），在每一層外部層設(shè)置內(nèi)部階段回歸器Rt(內(nèi)部層）；
[0020] 步驟7、計(jì)算每一個(gè)階段的回歸器Rt:

[0021] 步驟8、使用人臉檢測(cè)的方法估計(jì)人臉窗口；根據(jù)訓(xùn)練好的回歸模型預(yù)測(cè)人臉關(guān) 鍵點(diǎn)位置

【附圖說(shuō)明】
[0022] 圖1是本發(fā)明基于Amlroid平臺(tái)的實(shí)時(shí)人臉關(guān)鍵點(diǎn)定位方法的基本流程示意圖。
【具體實(shí)施方式