一種基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法
【專利摘要】本發(fā)明公開(kāi)一種基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法，包括：對(duì)待驗(yàn)證的人臉圖像進(jìn)行關(guān)鍵點(diǎn)標(biāo)定，獲得人臉關(guān)鍵點(diǎn)；提取每一個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)的局部區(qū)域人臉塊，獲得各關(guān)鍵點(diǎn)對(duì)應(yīng)的局部人臉塊；將局部人臉塊輸入到已經(jīng)訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)中，提取這些局部人臉塊的高層次特征，每個(gè)人臉塊可獲得一個(gè)多維向量表示該人臉塊的高層次特征；采集多幅圖像，對(duì)這些外部數(shù)據(jù)做上述操作，提取每個(gè)類的每個(gè)區(qū)域的每個(gè)年齡的特征，構(gòu)成外部數(shù)據(jù)參考集；求訓(xùn)練圖像和測(cè)試圖像在外部數(shù)據(jù)參考集上的編碼向量；根據(jù)每一個(gè)分塊在外部數(shù)據(jù)參考集上的編碼向量，利用余弦相似度的最小和得到正確的識(shí)別結(jié)果。
【專利說(shuō)明】
-種基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明設(shè)及計(jì)算機(jī)視覺(jué)領(lǐng)域，更具體地，設(shè)及一種基于深度學(xué)習(xí)與字典表示的跨 年齡人臉驗(yàn)證方法。
【背景技術(shù)】
[0002] 科技的發(fā)展使得攝像設(shè)備得到了普及，數(shù)量巨大的人臉圖像數(shù)據(jù)也隨之產(chǎn)生。同 時(shí)，許多領(lǐng)域都需要應(yīng)用人臉驗(yàn)證技術(shù)，如：各種會(huì)場(chǎng)入口、海關(guān)過(guò)境通道等。在運(yùn)些應(yīng)用 中，可能只能獲得兩張跨年齡的人臉圖像，就產(chǎn)生了跨年齡的人臉驗(yàn)證的問(wèn)題。凡乎所有的 人臉驗(yàn)證技術(shù)的應(yīng)用都是基于相同年齡段的，但一旦需要要驗(yàn)證兩幅跨年齡的人臉圖像 時(shí)，運(yùn)些人臉識(shí)別技術(shù)和系統(tǒng)就無(wú)所適從了，也就不能應(yīng)用了。因此解決了跨年齡人臉驗(yàn)證 的問(wèn)題，就可W大大拓寬人臉識(shí)別技術(shù)的應(yīng)用范圍，使其更廣泛地為人類服務(wù)。
[0003] 人臉外貌的老化是一個(gè)極其復(fù)雜的過(guò)程，它對(duì)人臉的形狀和紋理產(chǎn)生生理結(jié)構(gòu)上 的變化。近年來(lái)，人類感知物理學(xué)和計(jì)算機(jī)視覺(jué)領(lǐng)域均提出了不少關(guān)于人臉老化的研究方 法。Todd等認(rèn)為生物體的結(jié)構(gòu)模型會(huì)因其所受外力的大小和方向的變化而變化，基于該思 想他們提出了一種靜水力學(xué)模型的方法來(lái)刻畫人臉結(jié)構(gòu)的成長(zhǎng)。Burt和化rrett提出了 "復(fù) 合人臉"的概念，通過(guò)把復(fù)合人臉的差圖信息移植到人臉圖像上的方法來(lái)增強(qiáng)變換后人臉 圖像的感觀年齡，從而達(dá)到模擬老化的目的。Tiddeman等則對(duì)該方法進(jìn)行了擴(kuò)展，提出了一 種新的基于小波的方法構(gòu)造出更具代表性的"復(fù)合人臉"的老化方法。許志維等提出了一種 基于原始非負(fù)矩陣分解算法的老化方法來(lái)預(yù)測(cè)人臉影像，但該方法沒(méi)有考慮稀疏約束運(yùn)一 條件對(duì)老化結(jié)果的影響。王章野等基于黃種人臉圖像數(shù)據(jù)庫(kù)提出了一種基于人臉外輪廓局 部曲率標(biāo)準(zhǔn)差的個(gè)性化原型匹配算法，并取得了較好的老化模擬結(jié)果。
[0004] 對(duì)于跨年齡人臉識(shí)別，目前的主要方法是構(gòu)建一個(gè)2D或3D的年齡老化模型，然后 重構(gòu)出跨年齡的人臉圖像用來(lái)去除年齡的影響。Wu等提出使用一個(gè)相關(guān)臉部增長(zhǎng)模型模擬 跨年齡的人臉形狀用于跨年齡人臉識(shí)別，但運(yùn)種方法需要年齡信息來(lái)預(yù)測(cè)新的人臉形狀， 有時(shí)候不可行。Ling等提出使用基于梯度方向金字塔的SVM算法用于跨年齡人臉驗(yàn)證。Li等 提出使用多特征鑒別性分析用于閉集人臉驗(yàn)證。
[0005] 上述方法大多不能在跨年齡人臉識(shí)別上取得很好的效果，對(duì)于跨年齡人臉驗(yàn)證的 場(chǎng)合無(wú)法應(yīng)用運(yùn)些方法。

【發(fā)明內(nèi)容】

[0006] 為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于深度學(xué)習(xí)和字典表示的跨 年齡人臉驗(yàn)證方法。本方法將待驗(yàn)證的人臉圖像作為輸入，通過(guò)深度神經(jīng)網(wǎng)絡(luò)提取多區(qū)域 的高層次特征，求運(yùn)些特征在外部參考字典上的編碼向量，最后對(duì)編碼向量求余弦相似度。
[0007] 為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是：
[000引一種基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法，包括如下步驟：
[0009] (1)對(duì)于待驗(yàn)證的圖像，采用人臉關(guān)鍵點(diǎn)定位的方法，定位出10個(gè)點(diǎn)，提取運(yùn)10個(gè) 點(diǎn)對(duì)應(yīng)的局部人臉塊；
[0010] (2)對(duì)于每一個(gè)關(guān)鍵點(diǎn)的人臉塊，訓(xùn)練該位置對(duì)應(yīng)的深度學(xué)習(xí)框架，每個(gè)區(qū)域都是 獨(dú)立的，提取運(yùn)些人臉塊的高層次特征，每個(gè)塊的特征為一個(gè)M維向量；
[0011] (3)從互聯(lián)網(wǎng)上利用網(wǎng)絡(luò)爬蟲，爬取大量的跨年齡的人臉圖像作為外部數(shù)據(jù)，對(duì)運(yùn) 些圖像也做步驟(1)、（2)操作，獲得每個(gè)塊的高層次特征向量，將所有類的每個(gè)關(guān)鍵點(diǎn)的塊 的相同年齡段的特征構(gòu)成一個(gè)字典，運(yùn)里設(shè)定8個(gè)年齡段，即有8個(gè)年齡段的字典；
[0012] (4)求待驗(yàn)證的人臉圖像的高層次特征在每一個(gè)年齡段參考字典上的編碼向量； [0013] (5)每個(gè)人臉塊都獲得8個(gè)編碼向量，可構(gòu)成一個(gè)M*8的編碼向量矩陣，對(duì)運(yùn)個(gè)矩陣 采用最大池化方式池化成一個(gè)M維向量，對(duì)運(yùn)個(gè)矩陣每一行取最大的那個(gè)元素作為向量的 元素，運(yùn)個(gè)向量就作為運(yùn)個(gè)人臉的最終編碼向量。
[0014] (6)對(duì)人臉圖像的10個(gè)人臉塊的10個(gè)編碼向量采用余弦相似度計(jì)算兩幅圖像的相 似性驗(yàn)證。
[0015] 優(yōu)選的，步驟(1)中，對(duì)待驗(yàn)證圖像采用基于特征點(diǎn)的方式分塊，在外部數(shù)據(jù)中，每 一個(gè)位置的同一年齡的人臉塊構(gòu)建該位置的同一年齡人臉參考子集，則獲得每個(gè)位置對(duì)應(yīng) 的8個(gè)年齡段的人臉子集。
[0016] 優(yōu)選的，步驟(2)中，將待驗(yàn)證兩幅人臉圖像的每一個(gè)人臉塊輸入的深度神經(jīng)網(wǎng)絡(luò) 中提取高層次特征，深度神經(jīng)網(wǎng)絡(luò)采用的是基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，包括了 11層，5個(gè)卷 積層和5個(gè)池化層，每個(gè)卷積層后接一個(gè)池化層，池化層采用最大池化的方式，最后接一個(gè) 全連接層，輸出的是高層次特征。
[0017] 優(yōu)選的，步驟(3)中，對(duì)于從互聯(lián)網(wǎng)上獲得的跨年齡人臉圖像數(shù)據(jù)，我們限定選取M 個(gè)類，每個(gè)類大概有8組的不同年齡段的人臉圖像，重復(fù)（1)(2)操作提取高層次的特征，獲 得每個(gè)塊的高層次特征向量，將所有類的每個(gè)關(guān)鍵點(diǎn)的塊的相同年齡段的特征構(gòu)成一個(gè)字 典，運(yùn)里設(shè)定8個(gè)年齡段，即每一個(gè)人臉關(guān)鍵點(diǎn)有8個(gè)字典年齡的字典。
[0018] 優(yōu)選的，步驟(4)中，求訓(xùn)練圖像與測(cè)試圖像的高層次特征在每一個(gè)年齡段參考字 典上的編碼向量，具體過(guò)程如下：
[0019]
[0020] 其中，xk代表第k個(gè)人臉塊，cU'W是第k個(gè)人臉塊的第j個(gè)年齡段的字典，aU'W就是 要驗(yàn)證的人臉圖像的第k個(gè)人臉塊在第j個(gè)年齡段字典上的編碼向量。
[0021] 優(yōu)選的，步驟(5)中，每個(gè)人臉塊都獲得8個(gè)編碼向量，可構(gòu)成一個(gè)M*8的編碼向量 矩陣，對(duì)運(yùn)個(gè)矩陣采用最大池化方式池化成一個(gè)M維向量，對(duì)運(yùn)個(gè)矩陣每一行取最大的那個(gè) 元素作為向量的元素，運(yùn)個(gè)向量就作為運(yùn)個(gè)人臉的最終編碼向量。
[0022] 優(yōu)選的，步驟(6)中，對(duì)每幅待驗(yàn)證的人臉圖像的10個(gè)編碼向量采用余弦相似度計(jì) 算兩幅圖像的相似性驗(yàn)證。
[0023] 本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：
[0024] 1、本發(fā)明提出了一種新的基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法。
[0025] 2、本發(fā)明利用深度卷積神經(jīng)網(wǎng)絡(luò)提取高層次特征。
[0026] 3、本發(fā)明通過(guò)引入外部數(shù)據(jù)學(xué)習(xí)多個(gè)跨年齡的參考字典，通過(guò)最大池化編碼向量 達(dá)到具有年齡不變性的效果。
[0027] 4、本發(fā)明采用基于關(guān)鍵點(diǎn)標(biāo)定的方式定位局部人臉塊，充分利用人臉鑒別性的特 征信息。
【附圖說(shuō)明】
[002引圖1為本發(fā)明的總體流程圖。
[0029] 圖2為深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0030] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，W下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用W解釋本發(fā)明，并不 用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所設(shè)及到的技術(shù)特征只要彼 此之間未構(gòu)成沖突就可W相互組合。
[0031] 附圖給出了本發(fā)明的操作過(guò)程，
[0032] 如圖1所示，一種基于深度學(xué)習(xí)與字典表示的人臉驗(yàn)證方法，包括W下步驟：
[0033] (1)對(duì)于待驗(yàn)證圖像，采用人臉關(guān)鍵點(diǎn)定位的方法，定位出10個(gè)點(diǎn)，提取運(yùn)10個(gè)點(diǎn) 對(duì)應(yīng)的局部人臉塊；
[0034] (2)對(duì)于每一個(gè)關(guān)鍵點(diǎn)的人臉塊，訓(xùn)練該位置對(duì)應(yīng)的深度學(xué)習(xí)框架，每個(gè)區(qū)域都是 獨(dú)立的，提取運(yùn)些人臉塊的高層次特征，每個(gè)塊的特征為一個(gè)M維向量；
[0035] (3)從互聯(lián)網(wǎng)上利用網(wǎng)絡(luò)爬蟲，爬取大量的跨年齡的人臉圖像作為外部數(shù)據(jù)，對(duì)運(yùn) 些圖像也做步驟(1)、（2)操作，獲得每個(gè)塊的高層次特征向量，將所有類的每個(gè)關(guān)鍵點(diǎn)的塊 的相同年齡段的特征構(gòu)成一個(gè)字典，運(yùn)里設(shè)定8個(gè)年齡段，即有8個(gè)年齡段的字典；
[0036] (4)求待驗(yàn)證的人臉圖像的高層次特征在每一個(gè)年齡段參考字典上的編碼向量；
[0037] (5)每個(gè)人臉塊都獲得8個(gè)編碼向量，可構(gòu)成一個(gè)M*8的編碼向量矩陣，對(duì)運(yùn)個(gè)矩陣 采用最大池化方式池化成一個(gè)M維向量，對(duì)運(yùn)個(gè)矩陣每一行取最大的那個(gè)元素作為向量的 元素，運(yùn)個(gè)向量就作為運(yùn)個(gè)人臉的最終編碼向量。
[0038] (6)對(duì)人臉圖像的10個(gè)人臉塊的10個(gè)編碼向量采用余弦相似度計(jì)算兩幅圖像的相 似性驗(yàn)證。
[0039] 步驟(1)中的具體過(guò)程如下:對(duì)待驗(yàn)證圖像采用基于特征點(diǎn)的方式分塊，在外部數(shù) 據(jù)中，每一個(gè)位置的同一年齡的人臉塊構(gòu)建該位置的同一年齡人臉參考子集，則獲得每個(gè) 位置對(duì)應(yīng)的8個(gè)年齡段的人臉子集。
[0040] 步驟(2)中的具體過(guò)程如下：將待驗(yàn)證兩幅人臉圖像的每一個(gè)人臉塊輸入的深度 神經(jīng)網(wǎng)絡(luò)中提取高層次特征，深度學(xué)習(xí)網(wǎng)絡(luò)如圖2所示。
[0041] 步驟(3)中的具體過(guò)程如下:對(duì)于從互聯(lián)網(wǎng)上獲得的跨年齡人臉圖像數(shù)據(jù)，我們限 定選取M個(gè)類，每個(gè)類大概有8組的不同年齡段的人臉圖像，重復(fù)步驟(1)、（2)操作提取高層 次的特征，獲得每個(gè)塊的高層次特征向量，將所有類的每個(gè)關(guān)鍵點(diǎn)的塊的相同年齡段的特 征構(gòu)成一個(gè)字典，運(yùn)里設(shè)定8個(gè)年齡段，即每一個(gè)人臉關(guān)鍵點(diǎn)有8個(gè)字典年齡的字典。
[0042] 步驟(4)中的具體過(guò)程如下：求訓(xùn)練圖像與測(cè)試圖像的高層次特征在每一個(gè)年齡 段參考字典上的編碼向量，具體過(guò)程如下：
[0043]
[0044] 其中，xk代表第k個(gè)人臉塊，CU'W是第k個(gè)人臉塊的第j個(gè)年齡段的字典，aU'W就是 要驗(yàn)證的人臉圖像的第k個(gè)人臉塊在第j個(gè)年齡段字典上的編碼向量。
[0045] 步驟(5)中的具體過(guò)程如下:每個(gè)人臉塊都獲得8個(gè)編碼向量，可構(gòu)成一個(gè)M*8的編 碼向量矩陣，對(duì)運(yùn)個(gè)矩陣采用最大池化方式池化成一個(gè)M維向量，對(duì)運(yùn)個(gè)矩陣每一行取最大 的那個(gè)元素作為向量的元素，運(yùn)個(gè)向量就作為運(yùn)個(gè)人臉的最終編碼向量。
[0046] 步驟(6)中的具體過(guò)程如下:對(duì)每幅待驗(yàn)證的人臉圖像的10個(gè)編碼向量采用余弦 相似度計(jì)算兩幅圖像的相似性驗(yàn)證。
[0047] W上所述的本發(fā)明的實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何在本發(fā) 明的精神原則之內(nèi)所作出的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保護(hù) 范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于深度學(xué)習(xí)與字典表示的跨年齡人臉驗(yàn)證方法，其特征在于，包括以下步驟： (1) 對(duì)于待驗(yàn)證圖像，采用人臉關(guān)鍵點(diǎn)定位的方法，定位出若干個(gè)關(guān)鍵點(diǎn)，提取所有關(guān) 鍵點(diǎn)對(duì)應(yīng)的局部人臉塊； (2) 對(duì)于每一個(gè)關(guān)鍵點(diǎn)的局部人臉塊，訓(xùn)練該局部人臉塊對(duì)應(yīng)的深度學(xué)習(xí)框架，每個(gè)局 部人臉塊的深度學(xué)習(xí)框架都是獨(dú)立的，提取人臉塊的高層次特征向量，每個(gè)局部人臉塊的 高層次特征向量為一個(gè)M維向量； (3) 采集跨年齡的人臉圖像作為外部數(shù)據(jù)，對(duì)這些人臉圖像做步驟（1)、（2)的操作，獲 得每個(gè)人臉圖像的關(guān)鍵點(diǎn)的局部人臉塊的高層次特征向量，將所有臉圖像的每個(gè)關(guān)鍵點(diǎn)的 局部人臉塊的相同年齡段的特征構(gòu)成一個(gè)字典，設(shè)定N個(gè)年齡段，即有N個(gè)年齡段的字典； (4) 求待驗(yàn)證的人臉圖像的每個(gè)關(guān)鍵點(diǎn)的局部人臉塊的高層次特征向量在每一個(gè)年齡 段的字典上的編碼向量； (5) 人臉圖像的每個(gè)關(guān)鍵點(diǎn)的每個(gè)局部人臉塊都獲得N個(gè)編碼向量，構(gòu)成一個(gè)M*N的編 碼向量矩陣，對(duì)這個(gè)編碼向量矩陣采用最大池化方式池化成一個(gè)M維向量，即對(duì)編碼向量矩 陣的每一行取最大的元素作為新的M維向量對(duì)應(yīng)行的元素，這個(gè)新的M維向量就作為這個(gè)人 臉圖像的最終編碼向量； (6) 對(duì)人臉圖像的若干個(gè)人臉塊的N個(gè)編碼向量采用余弦相似度計(jì)算兩幅圖像的相似 性驗(yàn)證。2. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)與字典表示的跨年齡人臉識(shí)別方法，其特征在 于，所述步驟(1)中，對(duì)待驗(yàn)證圖像采用基于特征點(diǎn)的方式分塊。3. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)與字典表示的跨年齡人臉識(shí)別方法，其特征在 于，所述步驟(2)中，將待驗(yàn)證兩幅人臉圖像的每一個(gè)人臉塊輸入到深度神經(jīng)網(wǎng)絡(luò)中提取高 層次特征;深度神經(jīng)網(wǎng)絡(luò)采用的是基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，包括了 11層，5個(gè)卷積層和5個(gè) 池化層，每個(gè)卷積層后接一個(gè)池化層，池化層采用最大池化的方式，最后接一個(gè)全連接層， 輸出的是高層次特征。4. 根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)與字典表示的跨年齡人臉識(shí)別方法，其特征在 于，所述步驟(4)中，求訓(xùn)練圖像與測(cè)試圖像的高層次特征向量在每一個(gè)年齡段字典上的編 碼向量，具體過(guò)程如下：其中，Xk代表第k個(gè)局部人臉塊，Cak)是第k個(gè)局部人臉塊的第j個(gè)年齡段的字典，a ak) 是要驗(yàn)證的人臉圖像的第k個(gè)局部人臉塊在第j個(gè)年齡段字典上的編碼向量，λ是一個(gè)常數(shù)， 用于平衡aak)與前面的最小二乘項(xiàng)的稀疏性與大小關(guān)系，防止過(guò)擬合，j = l，2，...，N。
【文檔編號(hào)】G06K9/00GK106022287SQ201610369776
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】胡海峰, 顧建權(quán), 李昊曦, 肖翔
【申請(qǐng)人】廣東順德中山大學(xué)卡內(nèi)基梅隆大學(xué)國(guó)際聯(lián)合研究院