基于人臉特征點形狀驅動深度模型的人臉特征提取方法
【專利摘要】本發(fā)明涉及一種基于人臉特征點形狀驅動深度模型的人臉特征提取方法，該方法建立一種人臉特征點形狀驅動深度模型，利用N個深度卷積神經網絡對根據人臉特征點位置劃分的N個人臉區(qū)域提取特征，得到各區(qū)域的判別性特征和屬性特征，然后將這些判別性特征和屬性特征進行融合，得到描述能力更強的特征。本發(fā)明提供的一種基于人臉特征點形狀驅動深度模型的人臉特征提取方法，能更好的克服人臉識別在光照、角度、表情、遮擋等變化條件下的魯棒性問題，提高這些條件下人臉識別的識別率。
【專利說明】基于人臉特征點形狀驅動深度模型的人臉特征提取方法

【技術領域】
[0001] 本發(fā)明涉及一種人臉特征提取方法，特別涉及一種基于人臉特征點形狀驅動深度 模型的人臉特征提取方法。

【背景技術】
[0002] 人臉特征提取是人臉識別最為關鍵的步驟之一，在對目標人臉圖像進行識別之 前，首先需要從每一人臉樣本的多幅樣本圖像中，提取圖像中的人臉特征。人臉特征提取的 質量，將直接決定人臉識別的效果?，F有的大部分人臉特征提取方法為人工特征的提取，如 SIFT、Gabor、HoG、LBP等。進一步地，可以通過將這些人工特征進行合并來獲取更優(yōu)異的 性能。近幾年，采用深度學習進行特征提取逐漸成為研宄熱點，相比于人工特征提取方法， 深度學習由于具有深層結構及強大的學習能力，從而可以通過分層的非線性映射獲取更有 效的特征。目前，用于人臉特征提取的深度學習模型包括深度置信網絡（DBN，De印Belief Network)、棧式自編碼器（SA, Stacked auto-encoder)、以及深度卷積神經網絡（DCNN, Deep Convolutional Neural networks)等。盡管基于深度學習的特征表示為人臉識別帶來了巨 大的突破，非約束條件（光照、角度、表情等變化條件）下的人臉識別仍然存在很大挑戰(zhàn)。而 且，現有深度學習特征提取方法通常只對整張人臉圖像提取全局特征，在局部變化（光照、 角度、表情等變化都會帶來局部變化）條件下，尤其在遮擋情況下，容易出現識別誤差。


【發(fā)明內容】

[0003] 有鑒于此，本發(fā)明的目的在于提供一種基于人臉特征點形狀驅動深度模型的人臉 特征提取方法，該方法基于DCNN建立了一種人臉特征點形狀驅動深度模型，然后對人臉特 征點形狀驅動深度模型進行訓練；最后利用人臉特征點形狀驅動模型進行特征提取，所提 取的特征融合了人臉各部分的判別性特征與該區(qū)域的光照、表情、角度、遮擋等屬性特征， 該方法提高了非約束條件下人臉識別的識別率。
[0004] 為達到上述目的，本發(fā)明提供如下技術方案：
[0005] 基于人臉特征點形狀驅動深度模型的人臉特征提取方法，該方法包括以下步驟：
[0006] 步驟一：基于深度卷積神經網絡DCNN建立人臉特征點形狀驅動深度模型；
[0007] 步驟二：對人臉特征點形狀驅動深度模型進行訓練；訓練樣本為兩張人臉圖 片及圖像中相應的N個區(qū)域，每個區(qū)域的樣本對應每個區(qū)域卷積神經網絡，輸出為兩類 soft-max, oti, t = I, 2,. . . , T, i e {1, 2}；
[0008] 步驟三：利用人臉特征點形狀驅動深度模型進行人臉特征提取和特征融合，首先 對矯正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅動模型進行特征提取， 所提取的特征融合了人臉各部分的判別性特征與屬性特征。
[0009] 進一步，所述步驟一中的人臉特征點形狀驅動深度模型包括區(qū)域卷積網絡和全連 接網絡。
[0010] 進一步，所述區(qū)域卷積網絡為N個，區(qū)域卷積網絡由DCNN中卷積層和池化層所構 成，用于對人臉的N個區(qū)域進行特征提取；其中，N為根據人臉特征點的位置信息，將人臉圖 像劃分的N個區(qū)域。
[0011] 進一步，所述全連接網絡為T個，T>N，全連接網絡由DCNN中的全連接層構成，全連 接網絡與區(qū)域卷積網絡相連，每個區(qū)域卷積網絡對應一個輸出判別性特征的全連接網絡及 多個輸出屬性特征的全連接網絡。
[0012] 進一步，所述N個區(qū)域之間有重合。
[0013] 進一步，所述N為十，區(qū)域的劃分方法為將人臉劃分為整張人臉、頭發(fā)、前額、眉 毛、眼睛、鼻子、兩頰、唇上、嘴和下巴十個區(qū)域，其中前額、眉毛、眼睛、唇上、嘴巴為矩形區(qū) 域，鼻子、頭發(fā)為梯形區(qū)域，下巴、兩頰及整張人臉為橢圓形區(qū)域。
[0014] 本發(fā)明的有益效果在于：本發(fā)明提出基于人臉特征點形狀驅動深度模型的人臉特 征提取方法，通過融合人臉特征點周圍的局部特征及光照、角度、遮擋等屬性特征提高特征 的描述能力。該方法具有以下優(yōu)點：1)層次化深度學習特征相比于低層特征具有更好的描 述能力，同時，人臉特征點形狀驅動使得模型獲取的特征融合了全局特征、局部特征及屬性 特征，能更好的克服人臉識別在光照、角度、表情等變化條件下的失配問題；2)通過人臉分 塊和區(qū)域遮擋信息特征融合，能夠有效解決部分遮擋問題，提高遮擋條件下人臉識別的識 別率。

【專利附圖】

【附圖說明】
[0015] 為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明作進 一步的詳細描述，其中：
[0016] 圖1為DCNN結構圖；
[0017] 圖2為人臉特征點形狀驅動特征提取網絡結構；
[0018] 圖3為人臉特征點示例圖。

【具體實施方式】
[0019] 下面將結合附圖，對本發(fā)明的優(yōu)選實施例進行詳細的描述。
[0020] 本發(fā)明提供的一種基于人臉特征點形狀驅動深度模型的人臉特征提取方法，該方 法包括以下步驟：
[0021] 步驟一：基于DCNN建立人臉特征點形狀驅動深度模型；
[0022] 步驟二：對人臉特征點形狀驅動深度模型進行訓練；
[0023] 步驟三：利用人臉特征點形狀驅動深度模型進行人臉特征提取和特征融合，首先 對矯正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅動模型進行特征提取， 所提取的特征融合了人臉各部分的判別性特征與屬性特征。
[0024] 采用深度卷積神經網絡（DCNN)來提取人臉特征，DCNN是一個層次化的結構，如圖 1所示，除了輸入層和輸出層之外，每層都將上一層的輸出作為輸入，并將本層的輸出傳遞 到下一層。其前半部分由多個卷積（convolution)層與池化（pooling)層交替連接而成， 這里采用最大池化（Max Pooling);卷積層與池化層之后是全連接層，其輸入為前一層的多 Cxp(Ui) 個特征面，輸出是用于分類的特征；DCNN的輸出是一個η類soft-max : A = [n. exp(u.)， i = 1，2,. . .，n，其中4表示輸出神經元i的全部輸入（上一層全部神經元輸出值的加權 和），0$其輸出，描述了η類的概率分布。DCNN通過最小化-log 0i來訓練參數，其中 i e {1，2, · · ·，η} 0
[0025] DCNN良好的分類性能來源于卷積層和池化層的設計。每個卷積層或池化層都由多 個平面組成（稱為特征圖），每個平面中的神經元只和前一層平面中的一個小區(qū)域有連接。 相比于全連接（與前一層中的所有神經元相連接），局部連接可以減少參數個數，提高分類 效率，并且避免參數訓練時發(fā)生過擬合，提高分類器的泛化性能。卷積層通過卷積操作從輸 入圖像或前一層的特征圖中提取特征，池化層用于降低特征維數，并吸收形狀和位置變化 的影響。DCNN可以提取圖像的層次化特征，通過卷積層與池化層，低層特征被逐漸合并成高 層特征。相比于低層特征，高層特征具有更好的描述能力，這也是DCNN在圖像分類任務中 取得良好表現的原因。
[0026] 本發(fā)明基于DCNN設計了一種基于人臉特征點形狀驅動的人臉特征深度提取模 型，在深度模型的不同層次融合人臉特征點的形狀信息，使得最終學習得到的人臉特征能 夠更好地處理自然環(huán)境下的人臉變換。該模型是根據人臉特征點的位置信息，將人臉圖像 分為N個區(qū)域；再利用卷積網絡（圖1中卷積層與池化層構成的網絡）對每個區(qū)域提取特 征，我們稱之為區(qū)域卷積網絡；然后再進行特征融合，得到描述能力更強的特征。人臉特 征點形狀驅動特征提取網絡結構，如圖2所示。人臉特征點即人臉中具有明顯特征的一些 關鍵點，如瞳孔中心、鼻尖、眉毛兩端點、嘴角等，如圖3所示。對于區(qū)域的劃分方法可以是 將人臉劃分為十個區(qū)域，分別為整張人臉、頭發(fā)、前額、眉毛、眼睛、鼻子、兩頰、唇上、嘴和下 巴，根據形狀前額、眉毛、眼睛、唇上、嘴巴為矩形區(qū)域，鼻子、頭發(fā)選取梯形區(qū)域，下巴、兩頰 及整張人臉則為橢圓形區(qū)域。為了使得區(qū)域的劃分能夠對角度變化、誤差、人臉對齊等因素 魯棒，各個區(qū)域需要包含相對大一點的面積，各區(qū)域之間可以有重合。T (Τ>Ν)個全連接網絡 輸出的特征包含每個區(qū)域的判別性特征與帶有光照、角度、表情、以及遮擋等信息的屬性特 征，即每個區(qū)域卷積網絡對應一個輸出判別性特征的全連接網絡及多個輸出屬性特征的全 連接網絡。屬性特征的融合有利于提升人臉識別在光照、角度、遮擋等變化條件下的識別效 果。
[0027] 訓練過程：為實現基于人臉特征點形狀驅動深度模型的特征提取方法，首先需要 訓練人臉特征點形狀驅動的深度模型。訓練樣本為兩張人臉圖片及圖像中相應的N個區(qū)域 (每張人臉圖片及每塊區(qū)域都帶有"是否為同一人"、光照、角度、表情、遮擋等標注信息）， 每個區(qū)域的樣本對應每個區(qū)域卷積神經網絡，輸出為〇 ti，t = 1，2, ...，Τ。對于本發(fā)明中的 情況，由于僅需要描述是否為同一人或者某種屬性是否出現（如是否被遮擋或角度是否為 10° )，故模型輸出為兩類soft-max，即i e {1，2}。利用DCNN的訓練方法一一隨機梯度下 降法，通過最小化-log 〇ti，即可訓練出模型的參數。
[0028] 測試過程：利用人臉特征點形狀驅動模型進行特征提取，首先需要對矯正后的人 臉圖片（特征提取通常是在人臉矯正或對齊步驟之后）進行區(qū)域的劃分，然后即可以利用 本發(fā)明提出的人臉特征點形狀驅動模型進行特征提取，提取的特征融合了具有判別性特征 與屬性特征，因此對光照、表情、角度、遮擋等變化具有更強的魯棒性。
[0029] 最后說明的是，以上優(yōu)選實施例僅用以說明本發(fā)明的技術方案而非限制，盡管通 過上述優(yōu)選實施例已經對本發(fā)明進行了詳細的描述，但本領域技術人員應當理解，可以在 形式上和細節(jié)上對其作出各種各樣的改變，而不偏離本發(fā)明權利要求書所限定的范圍。
【權利要求】
1. 基于人臉特征點形狀驅動深度模型的人臉特征提取方法，其特征在于：該方法包括 W下步驟： 步驟一：基于深度卷積神經網絡DO^N建立人臉特征點形狀驅動深度模型； 步驟二：對人臉特征點形狀驅動深度模型進行訓練；訓練樣本為兩張人臉圖片及圖像 中相應的N個區(qū)域，每個區(qū)域的樣本對應每個區(qū)域卷積神經網絡，輸出為兩類soft-max, o"，t = 1，2，...，T，i G {1，2}; 步驟=;利用人臉特征點形狀驅動深度模型進行人臉特征提取和特征融合，首先對矯 正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅動模型進行特征提取，所提 取的特征融合了人臉各部分的判別性特征與屬性特征。
2. 根據權利要求1所述的基于人臉特征點形狀驅動深度模型的人臉特征提取方法， 其特征在于；所述步驟一中的人臉特征點形狀驅動深度模型包括區(qū)域卷積網絡和全連接網 絡。
3. 根據權利要求2所述的基于人臉特征點形狀驅動深度模型的人臉特征提取方法，其 特征在于；所述區(qū)域卷積網絡為N個，區(qū)域卷積網絡由DC順中卷積層和池化層所構成，用于 對人臉的N個區(qū)域進行特征提取；其中，N為根據人臉特征點的位置信息，將人臉圖像劃分 的N個區(qū)域。
4. 根據權利要求2所述的基于人臉特征點形狀驅動深度模型的人臉特征提取方法，其 特征在于；所述全連接網絡為T個，T〉N，全連接網絡由DO^N中的全連接層構成，全連接網絡 與區(qū)域卷積網絡相連，每個區(qū)域卷積網絡對應一個輸出判別性特征的全連接網絡及多個輸 出屬性特征的全連接網絡。
5. 根據權利要求3所述的基于人臉特征點形狀驅動深度模型的人臉特征提取方法，其 特征在于；所述N個區(qū)域之間有重合。
6. 根據權利要求3所述的基于人臉特征點形狀驅動深度模型的人臉特征提取方法，其 特征在于；所述N為十，區(qū)域的劃分方法為將人臉劃分為整張人臉、頭發(fā)、前額、眉毛、眼睛、 鼻子、兩頰、唇上、嘴和下己十個區(qū)域，其中前額、眉毛、眼睛、唇上、嘴己為矩形區(qū)域，鼻子、 頭發(fā)為梯形區(qū)域，下己、兩頰及整張人臉為楠圓形區(qū)域。
【文檔編號】G06K9/62GK104463172SQ201410750504
【公開日】2015年3月25日 申請日期:2014年12月9日 優(yōu)先權日:2014年12月9日
【發(fā)明者】劉艷飛, 程誠, 周祥東, 周曦 申請人:中國科學院重慶綠色智能技術研究院