本發(fā)明涉及人臉檢測技術(shù)領(lǐng)域，特別是涉及一種級聯(lián)式人臉關(guān)鍵點定位方法和系統(tǒng)。

背景技術(shù)：

人臉關(guān)鍵點是臉部一些表征能力強的關(guān)鍵點，比如眼睛、鼻子、嘴巴和臉部輪廓等。人臉關(guān)鍵點定位在人臉檢測領(lǐng)域有著重要的作用，比如人臉檢測、跟蹤、表情分析和3D建模都依賴于關(guān)鍵點定位的結(jié)果。

傳統(tǒng)的人臉關(guān)鍵點定位技術(shù)主要有：非線性建模方法，統(tǒng)計學習理論，基于boosting的學習技術(shù)，基于3D模型的人臉建模等。上述的傳統(tǒng)的人臉關(guān)鍵點定位技術(shù)嚴重依賴于圖像的拍攝質(zhì)量。

然而，在實際應(yīng)用場景中，姿態(tài)變化、光照變化、遮擋等非理想條件的影響，往往會造成拍攝質(zhì)量的下降，因此，依賴拍攝質(zhì)量的傳統(tǒng)的人臉關(guān)鍵點定位技術(shù)定位的人臉關(guān)鍵點的準確性也會隨著拍攝質(zhì)量的下降而下降，檢測精度低、穩(wěn)定性差。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種級聯(lián)式人臉關(guān)鍵點定位方法和系統(tǒng)，以解決傳統(tǒng)的人臉關(guān)鍵點定位技術(shù)存在的檢測精度低、穩(wěn)定性差的問題。

為了解決上述問題，本發(fā)明實施例公開了一種級聯(lián)式人臉關(guān)鍵點定位方法，包括：

接收上一級檢測的第一輸出結(jié)果；其中，所述第一輸出結(jié)果中包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標；

在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；

將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出， 或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

可選地，通過如下步驟預(yù)先訓練得到參數(shù)序列：

選擇至少一張包括人臉圖像的樣本圖片作為訓練樣本集；其中，各個樣本圖片中分別包括至少一個樣本關(guān)鍵點，各個樣本關(guān)鍵點的坐標已標注；

根據(jù)各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標，確定用于進行迭代訓練的初始樣本關(guān)鍵點的坐標，以及，確定所述初始樣本關(guān)鍵點對應(yīng)的特征向量；

根據(jù)所述初始樣本關(guān)鍵點的坐標和所述初始樣本關(guān)鍵點的特征向量，訓練得到所述參數(shù)序列；其中，每一級檢測對應(yīng)不同的參數(shù)序列。

可選地，根據(jù)各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標，確定用于進行迭代訓練的初始樣本關(guān)鍵點的坐標，以及，確定所述初始樣本關(guān)鍵點對應(yīng)的特征向量，包括：

分別對各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標進行歸一化處理，得到歸一化處理結(jié)果；

將所述歸一化處理結(jié)果的平均值作為所述初始樣本關(guān)鍵點的坐標；

以及，

提取得到所述初始樣本關(guān)鍵點對應(yīng)的SURF特征向量，以作為所述初始樣本關(guān)鍵點對應(yīng)的特征向量。

可選地，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標，包括：

從預(yù)先訓練得到的參數(shù)序列中獲取與所述上一級檢測相匹配的第一參數(shù)和第二參數(shù)；以及，提取所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量；

確定所述第一參數(shù)與所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量兩者的積，作為第一計算結(jié)果；

對所述上一級檢測得到的關(guān)鍵點的坐標、所述第一結(jié)果和所述第二參數(shù) 進行求和，得到第二計算結(jié)果；

將所述第二計算結(jié)果作為所述當前級檢測對應(yīng)的關(guān)鍵點的坐標。

可選地，所述方法還包括：

調(diào)用人臉弱分類器，以使所述人臉弱分類器根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標判斷所述第一圖像是否為人臉圖像；

將確定為不是人臉圖像的第一圖像刪除。

為了解決上述問題，本發(fā)明實施例公開了一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)，包括：

接收模塊，用于接收上一級檢測的第一輸出結(jié)果；其中，所述第一輸出結(jié)果中包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標；

計算模塊，用于在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；

輸出模塊，用于將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測流程進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

可選地，通過如下模塊預(yù)先訓練得到參數(shù)序列：

選擇模塊，用于選擇至少一張包括人臉圖像的樣本圖片作為訓練樣本集；其中，各個樣本圖片中分別包括至少一個樣本關(guān)鍵點，各個樣本關(guān)鍵點的坐標已標注；

確定模塊，用于根據(jù)各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標，確定用于進行迭代訓練的初始樣本關(guān)鍵點的坐標，以及，確定所述初始樣本關(guān)鍵點對應(yīng)的特征向量；

參數(shù)序列訓練模塊，用于根據(jù)所述初始樣本關(guān)鍵點的坐標和所述初始樣本關(guān)鍵點的特征向量，訓練得到所述參數(shù)序列；其中，每一級檢測對應(yīng)不同的參數(shù)序列。

可選地，確定模塊包括：

歸一化處理子模塊，用于分別對各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標進行歸一化處理，得到歸一化處理結(jié)果；

初始樣本關(guān)鍵點確定子模塊，用于將所述歸一化處理結(jié)果的平均值作為所述初始樣本關(guān)鍵點的坐標；以及，提取得到所述初始樣本關(guān)鍵點對應(yīng)的SURF特征向量，以作為所述初始樣本關(guān)鍵點對應(yīng)的特征向量。

可選地，計算模塊包括：

獲取子模塊，用于在確定所述第一圖像為人臉圖像時，從預(yù)先訓練得到的參數(shù)序列中獲取與所述上一級檢測相匹配的第一參數(shù)和第二參數(shù)；以及，提取所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量；

第一結(jié)果計算子模塊，用于確定所述第一參數(shù)與所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量兩者的積，作為第一計算結(jié)果；

第二結(jié)果計算子模塊，用于對所述上一級檢測得到的關(guān)鍵點的坐標、所述第一結(jié)果和所述第二參數(shù)進行求和，得到第二計算結(jié)果；

關(guān)鍵點坐標計算子模塊，用于將所述第二計算結(jié)果作為所述當前級檢測對應(yīng)的關(guān)鍵點的坐標。

可選地，所述系統(tǒng)還包括：

判斷模塊，用于調(diào)用人臉弱分類器，以使所述人臉弱分類器根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標判斷所述第一圖像是否為人臉圖像，對于質(zhì)量較差，模糊的圖像可以直接排除，無須進一步進行關(guān)鍵點檢測；

刪除模塊，用于將確定為不是人臉圖像的第一圖像刪除。

與現(xiàn)有技術(shù)相比，本發(fā)明實施例包括以下優(yōu)點：

本發(fā)明實施例公開的一種級聯(lián)式人臉關(guān)鍵點定位方案，可以接收上一級檢測的第一輸出結(jié)果，然后在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；然后，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié) 果輸出?？梢?，在本發(fā)明實施例中，有效地將人臉檢測和人臉關(guān)鍵點定位進行了融合，換而言之，本發(fā)明實施例所述的方案將人臉圖像檢測與關(guān)鍵點定位進行融合作為一個級聯(lián)的循環(huán)檢測框架，在所述級聯(lián)的循環(huán)框架下進行人臉關(guān)鍵點的計算和定位，大大降低了外部的環(huán)境因素對檢測精度的影響，在提高檢測結(jié)果準確性的基礎(chǔ)上同時保證了檢測結(jié)果的穩(wěn)定性。

此外，參數(shù)序列可以是預(yù)先訓練得到的，可以直接進行調(diào)用計算，降低了計算量，提高了效率，具有較強的實時性。

附圖說明

圖1是本發(fā)明實施例一中一種級聯(lián)式人臉關(guān)鍵點定位方法的步驟流程圖；

圖2是本發(fā)明實施例二中一種級聯(lián)式人臉關(guān)鍵點定位方法的步驟流程圖；

圖3是本發(fā)明實施例三中一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)的結(jié)構(gòu)框圖；

圖4是本發(fā)明實施例四中一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)的結(jié)構(gòu)框圖。

具體實施方式

為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步詳細的說明。

實施例一

參照圖1，示出了本發(fā)明實施例一中一種級聯(lián)式人臉關(guān)鍵點定位方法的步驟流程圖。在本實施例中，所述級聯(lián)式人臉關(guān)鍵點定位方法可以包括：

步驟102，接收上一級檢測的第一輸出結(jié)果。

在本實施例中，所述級聯(lián)式人臉關(guān)鍵點定位方法是一個基于級聯(lián)框架下的循環(huán)迭代過程，當前級檢測的輸入數(shù)據(jù)可以是上一級檢測的輸出結(jié)果，其中，所述第一輸出結(jié)果中可以包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標。

在本實施例中，關(guān)鍵點具體可以是人臉關(guān)鍵點，包括但不僅限于：眼角、眉毛、嘴角和鼻尖等指示面部特征的點。其中，所述關(guān)鍵點至少為一個。

需要說明的是，在本實施例中，若當前級檢測為第一級的初始檢測時，則所述當前級檢測的結(jié)果可以是用戶輸入的待檢測和定位圖像，所述的上一 級檢測得到的關(guān)鍵點則可以是指初始關(guān)鍵點；其中，所述初始關(guān)鍵點可以是根據(jù)經(jīng)驗數(shù)據(jù)預(yù)先標注確定的，也可以是通過樣本模型訓練確定的，本實施例對此不作限制。

此外，本實施例中所述的上一級檢測得到的關(guān)鍵點的坐標可以但不僅限于包括：上一級檢測得到的多個關(guān)鍵點對應(yīng)的坐標向量。例如，若上一級檢測得到3個關(guān)鍵點，則所述的上一級檢測得到的關(guān)鍵點的坐標可以是如下的坐標向量：(x₁，y₁，x₂，y₂，x₃，y₃)；其中，“x₁，y₁”可以是第一個關(guān)鍵點對應(yīng)的二維坐標，“x₂，y₂”可以是第二個關(guān)鍵點對應(yīng)的二維坐標，“x₃，y₃”可以是第三個關(guān)鍵點對應(yīng)的二維坐標。本領(lǐng)域技術(shù)人員應(yīng)當明了的是，上述針對上一級檢測得到的關(guān)鍵點的坐標的說明僅是示例性說明，不應(yīng)作為對本發(fā)明的限制。

步驟104，在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標。

在本實施例中，可以對所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列等參數(shù)在回歸框架下進行回歸處理，然后將回歸處理得到的結(jié)果作為當前級檢測對應(yīng)的關(guān)鍵點的坐標，以使得到的關(guān)鍵點的坐標逐漸接近真實值。

需要說明的是，本領(lǐng)域技術(shù)人員可以采用任意一種適當?shù)姆绞絹砼袛鄨D像是否為人臉圖像，包括但不僅限于通過所述人臉弱分類器來判斷，其中，所述人臉弱分類器(或其他任意適當?shù)呐袛喾绞?可以快速識別并排除不是人臉的圖像。

步驟106，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

由前所述，本實施例所述的方法融合了人臉檢測和關(guān)鍵點定位兩種算法，基于人臉檢測和關(guān)鍵點定位融合后的級聯(lián)架構(gòu)來進行人臉的準確識別和關(guān) 鍵點的精確定位。

本領(lǐng)域技術(shù)人員應(yīng)當明了的是，所述當前級檢測可以是循環(huán)過程中的最后一級檢測，也可以是循環(huán)過程中的中間級檢測。其中，若當前級檢測滿足設(shè)定標準(所述設(shè)定標準，用于指示是否是最后一級檢測)，則可以將當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果直接輸出；若當前級檢測不滿足設(shè)定標準(中間級檢測)，則可以將當前級檢測對應(yīng)的關(guān)鍵點的坐標作為下一級檢測的輸入結(jié)果輸出，也即，可以返回步驟102循環(huán)執(zhí)行，直至循環(huán)至最后一級檢測。

其中，所述設(shè)定標準可以但不僅限于是：設(shè)定次數(shù)標準或設(shè)定差值標準。例如，所述設(shè)定次數(shù)標準可以是指：若當前級檢測所對應(yīng)的檢測次數(shù)滿足所述設(shè)定次數(shù)，則可以結(jié)束循環(huán)迭代，將結(jié)果輸出。所述設(shè)定差值標準可以是指：若所述當前級檢測對應(yīng)的關(guān)鍵點的坐標與上一級檢測對應(yīng)的關(guān)鍵點的坐標的差值在設(shè)定閾值范圍內(nèi)，則可以結(jié)束循環(huán)迭代，將結(jié)果輸出。本實施例對此不作限制。

綜上所述，本實施例所述的一種級聯(lián)式人臉關(guān)鍵點定位方法，可以接收上一級檢測的第一輸出結(jié)果，然后在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；然后，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出?？梢?，在本實施例中，所述方法有效地將人臉檢測和人臉關(guān)鍵點定位進行了融合，換而言之，本實施例所述的方法將人臉圖像檢測與關(guān)鍵點定位進行融合作為一個級聯(lián)的循環(huán)檢測框架，在所述級聯(lián)的循環(huán)框架下進行人臉關(guān)鍵點的計算和定位，大大降低了外部的環(huán)境因素對檢測精度的影響，在提高檢測結(jié)果準確性的基礎(chǔ)上同時保證了檢測結(jié)果的穩(wěn)定性。

此外，參數(shù)序列可以是預(yù)先訓練得到的，可以直接進行調(diào)用計算，降低了計算量，提高了效率，具有較強的實時性。

實施例二

參照圖2，示出了本發(fā)明實施例二中一種級聯(lián)式人臉關(guān)鍵點定位方法的步驟流程圖。在本實施例中，所述級聯(lián)式人臉關(guān)鍵點定位方法可以包括：

步驟202，接收上一級檢測的第一輸出結(jié)果。

其中，所述第一輸出結(jié)果中包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標。

步驟204，調(diào)用人臉弱分類器，以使所述人臉弱分類器根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標判斷所述第一圖像是否為人臉圖像。

在本實施例中，可以但不僅限于通過人臉弱分類器來判斷圖像是否為人臉圖像。人臉弱分類器可以根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標快速識別出所述第一圖像是否為人臉圖像，處理速度快。其中，可以快速地將確定為不是人臉圖像的第一圖像識別出來并刪除。

進一步地，在通過人臉弱分類器確定所述第一圖像是人臉圖像，或，在通過所述人臉弱分類器不能確定所述第一圖像是非人臉圖像時，可以執(zhí)行下述步驟206。

步驟206，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標。

優(yōu)選地，在本實施例中，所述參數(shù)序列可以通過如下方式訓練得到：

首先，可以選擇至少一張包括人臉圖像的樣本圖片作為訓練樣本集；其中，各個樣本圖片中分別包括至少一個樣本關(guān)鍵點，各個樣本關(guān)鍵點的坐標已標注。

在本實施例中，可以但不僅限于通過互聯(lián)網(wǎng)或其他任意適當?shù)姆绞剿鸭玫桨四槇D像的N張樣本圖片，然后可以將搜集到的所述N張樣本圖片作為訓練的樣本集。其中，N可以是大于等于1的任一整數(shù)，本領(lǐng)域技術(shù)人員應(yīng)當明了的是，一般地，N的取值越大，訓練得到的結(jié)果越準確。

其中，各個樣本圖片中的各個樣本關(guān)鍵點的坐標都是已標注好的，已標注好的樣本關(guān)鍵點的坐標可以指示各個樣本關(guān)鍵點的正確位置。例如，樣本圖片Xⁱ對應(yīng)的各個關(guān)鍵點的坐標可以是其 中i＝1、2、3、···、N；k為大于等于1的整數(shù)，樣本圖片中的樣本關(guān)鍵點的數(shù)量決定了k的取值，也即，k＝樣本關(guān)鍵點的數(shù)量。

其次，可以根據(jù)各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標，確定用于進行迭代訓練的初始樣本關(guān)鍵點的坐標，以及，確定所述初始樣本關(guān)鍵點對應(yīng)的特征向量。

在本實施例中，由前所述，樣本圖片X¹、樣本圖片X²、···、樣本圖片Xⁱ、···、樣本圖片X^N分別各自對應(yīng)有至少一個已標注的樣本關(guān)鍵點。優(yōu)選地，可以分別對各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標進行歸一化處理，將得到的歸一化處理結(jié)果，例如，對N張樣本圖片中已標注的各個樣本關(guān)鍵點的坐標進行歸一化處理后可以得到如下歸一化坐標：其中，表示樣本圖片X^N對應(yīng)的歸一化坐標。

進一步地，可以將所述歸一化處理結(jié)果的平均值作為所述初始樣本關(guān)鍵點的坐標。例如，初始樣本關(guān)鍵點X₀可以為：

此外，可以提取得到所述初始樣本關(guān)鍵點對應(yīng)的SURF特征(Speeded-Up Robust Features，加速魯棒特征)向量，以作為所述初始樣本關(guān)鍵點對應(yīng)的特征向量

最后，可以根據(jù)所述初始樣本關(guān)鍵點的特征向量，訓練得到所述參數(shù)序列。其中，每一級檢測對應(yīng)不同的參數(shù)序列。

在本實施例中，訓練的過程可以看作是最小化以下函數(shù)的過程：

····公式1；

其中，ΔX是可以是指初始關(guān)鍵點與真實關(guān)鍵點之間的差值。上述公式1可以等價與下述公式2：

···公式2

進一步優(yōu)選地，可以通過建立如下優(yōu)化模型進行訓練：

···公式3

其中，表示：第i個樣本初始位置與目標位置之間的差值，公式3的意義在于讓參數(shù)序列R₀和b₀直接朝著目標位置優(yōu)化。根據(jù)對上述公式3求最小，可以確定R₀和b₀的大小，其中，所述R₀和b₀可以是參數(shù)序列中的其中一組參數(shù)。需要說明的是，參數(shù)序列中可以包括多組參數(shù)：R_K和b_K；其中，K的取值范圍為：0、1、2、···、N。由于R₀和b₀已經(jīng)確定，故，R₁、b₁、R₂、b₂、···、R_K、b_K可以按照如下方式學習得到：在每一步，一組新的和可以通過得到；其中，為第i副圖當前位置提取的SURF特征向量，R_k-1和b_k-1可以是通過迭代得到的結(jié)果，則可以轉(zhuǎn)化成數(shù)學表達式如下：

···公式4

根據(jù)上述公式4可以依次計算得到R₁、b₁、R₂、b₂、···、R_K、b_K的值，以作為參數(shù)序列中的元素。

在本實施例的一優(yōu)選方案中，上述步驟204具體可以包括：

子步驟2062，從預(yù)先訓練得到的參數(shù)序列中獲取與所述當前級檢測相匹配的第一參數(shù)和第二參數(shù)；以及，提取所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量。

在本實施例中，以當前級檢測為第K級檢測為例，則所述上一級檢測為第K-1級檢測，所述第K-1級對應(yīng)的第一參數(shù)和第二參數(shù)分別為：R_K-1和b_K-1；所述上一級檢測對應(yīng)的SURF特征向量為：由前所述，R_K-1、b_K-1和是已知的。

子步驟2064，確定所述第一參數(shù)與所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量兩者的積，作為第一計算結(jié)果。

子步驟2066，對所述上一級檢測得到的關(guān)鍵點的坐標、所述第一結(jié)果和所述第二參數(shù)進行求和，得到第二計算結(jié)果。

子步驟2068，將所述第二計算結(jié)果作為所述當前級檢測對應(yīng)的關(guān)鍵點的坐標。

在本實施例中，結(jié)合上述步驟2062-2066可以確定第K級檢測對應(yīng)的關(guān)鍵點的坐標

步驟208，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，根據(jù)所述當前級檢測對應(yīng)的關(guān)鍵點的坐標迭代計算得到下一級檢測對應(yīng)的關(guān)鍵點的坐標，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

在本實施例中，仍以第K級檢測為例，若K＝T，則可以直接將第K級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出；其中，T為最大循環(huán)迭代次數(shù)。若K＜T，則可以將第K級檢測對應(yīng)的關(guān)鍵點的坐標作為下一級檢測的輸入值，進行下一級檢測對應(yīng)的關(guān)鍵點坐標的計算，直至滿足循環(huán)迭代次數(shù)T。

此外，在輸出人臉關(guān)鍵點定位結(jié)果時還可以將人臉檢測的最終結(jié)果(如，最終確定是人臉的圖像)也同步輸出。

綜上所述，本實施例所述的一種級聯(lián)式人臉關(guān)鍵點定位方法，可以接收上一級檢測的第一輸出結(jié)果，然后在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；然后，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出?？梢姡诒緦嵤├?，所述方法有效地將人臉檢測和人臉關(guān)鍵點定位進行了融合，換而言之，本實施例所述的方法將人臉圖像檢測與關(guān)鍵點定位進行融合作為一個級聯(lián)的循環(huán)檢測框架，在所述級聯(lián)的循環(huán)框架下進行人臉關(guān)鍵點的計算和定位，大大降低了外部的環(huán)境因素對檢測精度的影響，在提高檢測結(jié)果準確性的基礎(chǔ)上同時保證了檢測結(jié)果的穩(wěn)定性。

此外，參數(shù)序列可以是預(yù)先訓練得到的，可以直接進行調(diào)用計算，降低了計算量，提高了效率，具有較強的實時性。而且，由于參數(shù)序列是預(yù)先訓練得到的，因此，在關(guān)鍵點定位的應(yīng)用階段可以只需要確定SURF特征，使本實施例所述的方法對于光照、姿態(tài)、遮擋因素等的干擾具有很高的魯棒性，使得整體算法框架同時具備高魯棒性，進一步保證了定位的準確性和穩(wěn)定性。

需要說明的是，對于方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明實施例并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明實施例，某些步驟可以采用其他順序或者同時進行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作并不一定是本發(fā)明實施例所必須的。

實施例三

結(jié)合上述方法實施例，本實施例公開了一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)。參照圖3，示出了本發(fā)明實施例三中一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)的結(jié)構(gòu)框圖。在本實施例中，所述級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)可以包括：

接收模塊302，用于接收上一級檢測的第一輸出結(jié)果。

其中，所述第一輸出結(jié)果中包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標。

計算模塊304，用于在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標。

輸出模塊306，用于將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測流程進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

綜上所述，本實施例所述的一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)，可以接收上一級檢測的第一輸出結(jié)果，然后在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；然后，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。可見，在本實施例中，所述系統(tǒng)有效地將人臉檢測和人臉關(guān)鍵點定位進行了融合，換而言之，本實施例所述的系統(tǒng)將人臉圖像檢測與關(guān) 鍵點定位進行融合作為一個級聯(lián)的循環(huán)檢測框架，在所述級聯(lián)的循環(huán)框架下進行人臉關(guān)鍵點的計算和定位，大大降低了外部的環(huán)境因素對檢測精度的影響，在提高檢測結(jié)果準確性的基礎(chǔ)上同時保證了檢測結(jié)果的穩(wěn)定性。

此外，參數(shù)序列可以是預(yù)先訓練得到的，可以直接進行調(diào)用計算，降低了計算量，提高了效率，具有較強的實時性。

實施例四

參照圖4，示出了本發(fā)明實施例四中一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)的結(jié)構(gòu)框圖。在本實施例中，所述級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)可以包括：

接收模塊402，用于接收上一級檢測的第一輸出結(jié)果。

其中，所述第一輸出結(jié)果中包括：第一圖像和上一級檢測得到的關(guān)鍵點的坐標。

判斷模塊404，用于調(diào)用人臉弱分類器，以使所述人臉弱分類器根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標判斷所述第一圖像是否為人臉圖像。

在本實施例中，若通過判斷模塊404確定所述第一圖像不是人臉圖像時，則可以通過刪除模塊將所述第一圖像刪除。其中，刪除模塊，用于將確定為不是人臉圖像的第一圖像刪除。否則，可以執(zhí)行下述計算模塊406。

計算模塊406，用于根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標。

輸出模塊408，用于將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測流程進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出。

需要說明的是，在本實施例中，優(yōu)選地，具體可以通過如下模塊預(yù)先訓練得到參數(shù)序列：選擇模塊410，用于選擇至少一張包括人臉圖像的樣本圖片作為訓練樣本集；其中，各個樣本圖片中分別包括至少一個樣本關(guān)鍵點，各個樣本關(guān)鍵點的坐標已標注。確定模塊412，用于根據(jù)各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標，確定用于進行迭代訓練的初始樣本關(guān)鍵點的坐標，以及，確定所述初始樣本關(guān)鍵點對應(yīng)的特征向量。參數(shù)序列訓練模塊 414，用于根據(jù)所述初始樣本關(guān)鍵點的坐標和所述初始樣本關(guān)鍵點的特征向量，訓練得到所述參數(shù)序列；其中，每一級檢測對應(yīng)不同的參數(shù)序列。

進一步優(yōu)選地，確定模塊412具體可以包括：歸一化處理子模塊4122，用于分別對各個樣本圖片中已標注的各個樣本關(guān)鍵點的坐標進行歸一化處理，得到歸一化處理結(jié)果。初始樣本關(guān)鍵點確定子模塊4124，用于將所述歸一化處理結(jié)果的平均值作為所述初始樣本關(guān)鍵點的坐標；以及，提取得到所述初始樣本關(guān)鍵點對應(yīng)的SURF特征向量，以作為所述初始樣本關(guān)鍵點對應(yīng)的特征向量。

在本實施例的一優(yōu)選方案中，所述計算模塊406具體可以包括：獲取子模塊4062，用于在確定所述第一圖像為人臉圖像時，從預(yù)先訓練得到的參數(shù)序列中獲取與所述上一級檢測相匹配的第一參數(shù)和第二參數(shù)；以及，提取所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量。第一結(jié)果計算子模塊4064，用于確定所述第一參數(shù)與所述上一級檢測得到的關(guān)鍵點對應(yīng)的SURF特征向量兩者的積，作為第一計算結(jié)果。第二結(jié)果計算子模塊4066，用于對所述上一級檢測得到的關(guān)鍵點的坐標、所述第一結(jié)果和所述第二參數(shù)進行求和，得到第二計算結(jié)果。關(guān)鍵點坐標計算子模塊4068，用于將所述第二計算結(jié)果作為所述當前級檢測對應(yīng)的關(guān)鍵點的坐標。

綜上所述，本實施例所述的一種級聯(lián)式人臉關(guān)鍵點定位系統(tǒng)，可以接收上一級檢測的第一輸出結(jié)果，然后在通過人臉弱分類器確定所述第一圖像是人臉圖像時，根據(jù)所述上一級檢測得到的關(guān)鍵點的坐標，以及，預(yù)先訓練得到參數(shù)序列，計算得到當前級檢測對應(yīng)的關(guān)鍵點的坐標；然后，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出，或，將所述當前級檢測對應(yīng)的關(guān)鍵點的坐標作為第二輸出結(jié)果發(fā)送至下一級檢測進行級聯(lián)迭代計算，并將計算得到的下一級檢測對應(yīng)的關(guān)鍵點的坐標作為人臉關(guān)鍵點定位結(jié)果輸出?？梢?，在本實施例中，所述系統(tǒng)有效地將人臉檢測和人臉關(guān)鍵點定位進行了融合，換而言之，本實施例所述的系統(tǒng)將人臉圖像檢測與關(guān)鍵點定位進行融合作為一個級聯(lián)的循環(huán)檢測框架，在所述級聯(lián)的循環(huán)框架下進行人臉關(guān)鍵點的計算和定位，大大降低了外部的環(huán)境因素對檢測精度的影 響，在提高檢測結(jié)果準確性的基礎(chǔ)上同時保證了檢測結(jié)果的穩(wěn)定性。

此外，參數(shù)序列可以是預(yù)先訓練得到的，可以直接進行調(diào)用計算，降低了計算量，提高了效率，具有較強的實時性。而且，由于參數(shù)序列是預(yù)先訓練得到的，因此，在關(guān)鍵點定位的應(yīng)用階段可以只需要確定SURF特征，使本實施例所述的系統(tǒng)對于光照、姿態(tài)、遮擋因素等的干擾具有很高的魯棒性，使得整體框架同時具備高魯棒性，進一步保證了定位的準確性和穩(wěn)定性。

對于裝置實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明實施例的實施例可提供為方法、裝置、或計算機程序產(chǎn)品。因此，本發(fā)明實施例可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明實施例可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本發(fā)明實施例是參照根據(jù)本發(fā)明實施例的方法、終端設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理終端設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個 流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得在計算機或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本發(fā)明實施例的優(yōu)選實施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明實施例范圍的所有變更和修改。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者終端設(shè)備中還存在另外的相同要素。

以上對本發(fā)明所提供的一種級聯(lián)式人臉關(guān)鍵點定位方法和系統(tǒng)進行了詳細介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。