一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法
【專利摘要】本發(fā)明涉及一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法，其步驟包括：a)建立訓(xùn)練用人臉圖像集；b)檢測每張人臉圖片的關(guān)鍵點(diǎn)；c)利用關(guān)鍵點(diǎn)信息將圖片歸一化成標(biāo)準(zhǔn)的灰度值圖片；d)將人臉標(biāo)準(zhǔn)圖片進(jìn)行灰度值統(tǒng)計歸一化；e)訓(xùn)練一深度神經(jīng)網(wǎng)絡(luò)，其輸入為一對圖片，輸出的0表示判斷這兩張圖片是負(fù)例對，1表示正例對；f)將所有圖片對輸入神經(jīng)網(wǎng)絡(luò)，使得所有誤判成1的負(fù)例對所占的比例低于一個給定的比例；g)反復(fù)多次使用步驟e)，f)，當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定個數(shù)時結(jié)束；h)任給一對新的人臉圖像，利用得到的級聯(lián)神經(jīng)網(wǎng)絡(luò)判定為負(fù)例對或者正例對。本發(fā)明能夠有效提高人臉識別的識出率，大大降低誤識率，極大提高安防監(jiān)控系統(tǒng)的可靠性。
【專利說明】一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理及人臉識別【技術(shù)領(lǐng)域】，具體涉及一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法。
【背景技術(shù)】
[0002]人臉識別(face recognition)，即給定一對人臉圖片，要判斷兩張人臉圖片是否屬于同一個人。人臉識別作為人臉分析系統(tǒng)的核心模塊，其性能決定了系統(tǒng)的準(zhǔn)確程度和可靠性。其主要性能指標(biāo)有兩個，識出率(給定一對屬于同一個人的圖片對，系統(tǒng)判斷正確的幾率)和誤識率(給定一對不屬于同一個人的圖片對，系統(tǒng)判斷錯誤，認(rèn)為它們屬于同一個人的幾率)。
[0003]傳統(tǒng)的人臉識別算法主要可以劃分為兩個步驟:首先是對于任意一張人臉圖片，經(jīng)過人臉關(guān)鍵點(diǎn)檢測，人臉對齊之后使用某種算法提取出一個特征向量作為該人臉圖片的表示，然后對于輸入待比對的兩張人臉圖片，使用某個機(jī)器學(xué)習(xí)產(chǎn)生的或者專家設(shè)計的相似度函數(shù)來計算兩張圖片所對應(yīng)的特征向量的相似度，如果該相似度高于某個事先設(shè)定的閾值則判斷這對圖片來自同一個人，反之判斷為不是同一人。其中閾值一般是在一個驗證場景的數(shù)據(jù)集上實驗調(diào)試得到。傳統(tǒng)方法有兩個主要局限，I)人臉圖片的特征向量提取算法一般是人工設(shè)計或者非常依賴于專家經(jīng)驗，很難自動化的從樣本中學(xué)習(xí)產(chǎn)生大量差異化的特征向量供后續(xù)相似度計算系統(tǒng)使用，2)無論采用何種方法，單一相似度計算系統(tǒng)難以在在識出率和誤識率之間取得比較好的平衡，實際應(yīng)用場景往往要求誤識率很低(低于千分之一或者萬分之一)的情況下識出率盡量高，單一相似度系統(tǒng)往往難以精確的滿足兩個指標(biāo)之間的平衡。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對上述問題，提出一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法，采用級聯(lián)提升的思路逐級降低誤識率，并且每一級神經(jīng)網(wǎng)絡(luò)針對難度不同的樣本空間，從而自適應(yīng)的學(xué)習(xí)出了差異化的人臉圖片表示適應(yīng)該級網(wǎng)路的任務(wù)，能夠有效地提高人臉識別的識出率，同時大大降低誤識率，極大的提高安防監(jiān)控系統(tǒng)的可靠性。
[0005]本發(fā)明采用的技術(shù)方案如下:
[0006]一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法，其步驟包括:
[0007]a)建立訓(xùn)練用人臉圖像集，其包含多個不同人的圖片，其中每個人的人臉圖片有多張，這些圖片最終可以產(chǎn)生大量個同一人的圖片對(后文簡稱為正例對)和不同人的圖片對(后文簡稱為負(fù)例對);
[0008]b)使用任意一種人臉關(guān)鍵點(diǎn)檢測方法檢測a)中每張人臉圖片的關(guān)鍵點(diǎn)；
[0009]c)利用b)中得到的關(guān)鍵點(diǎn)位置信息，將a)中的圖片歸一化成標(biāo)準(zhǔn)大小的灰度值圖片；
[0010]d)將c)中得到的人臉標(biāo)準(zhǔn)圖片進(jìn)行灰度值統(tǒng)計歸一化；[0011]e)使用所有的訓(xùn)練圖片訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，其輸入為一對圖片，目標(biāo)輸出是一個0-1值,O表示判斷這兩張圖片是負(fù)例對，I表示判斷為正例對；
[0012]f)將所有的訓(xùn)練圖片對輸入到e)中訓(xùn)練得出的神經(jīng)網(wǎng)絡(luò)，通過調(diào)試網(wǎng)絡(luò)最后一層的閾值使得所有誤判成I的負(fù)例對所占的比例低于一個給定的比例；
[0013]g)反復(fù)多次使用e)，f)中步驟，唯一區(qū)別是每次只選用上一級網(wǎng)絡(luò)中被判斷錯誤的負(fù)例對加入到訓(xùn)練集，正例對仍然使用和第一級網(wǎng)絡(luò)中一樣所有的樣本，當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定的個數(shù)時結(jié)束，得到訓(xùn)練好的級聯(lián)神經(jīng)網(wǎng)絡(luò)；
[0014]h)任給一對新的人臉圖像，使用b_d)中一樣的預(yù)處理步驟變成一對對齊并且歸一化的圖片對，然后依順序輸入g)中訓(xùn)練好的級聯(lián)神經(jīng)網(wǎng)絡(luò)，如果在中間任何一個神經(jīng)網(wǎng)絡(luò)，該圖片對被判斷成負(fù)例對，則系統(tǒng)最終判定該人臉圖片對為負(fù)例對，否則為正例對。
[0015]進(jìn)一步地，步驟c)使用標(biāo)準(zhǔn)的基于仿射變換的人臉對齊算法進(jìn)行圖片歸一化。
[0016]進(jìn)一步地，步驟d)進(jìn)行所述統(tǒng)計歸一化時，像素平均值為0，方差為I。
[0017]進(jìn)一步地，步驟e)所述一對圖片來自同一個人的兩張圖片，或者來自兩個人的各一張圖片。
[0018]進(jìn)一步地，每一級深度神經(jīng)網(wǎng)絡(luò)內(nèi)部都是由四部分組成:卷積層，最大采樣層，全連接層和預(yù)測層Pre，依次對輸入圖像做多輪的卷積和采樣，最終經(jīng)過預(yù)測層輸出O或I的比對結(jié)果。
[0019]進(jìn)一步地,步驟f)所述一個給定的比例為r, r在0.1-0.5之間。
[0020]進(jìn)一步地，步驟g)中當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定的K時結(jié)束，其中K=3?5。
[0021]相對于傳統(tǒng)方法，本發(fā)明的貢獻(xiàn)和有益效果在于:
[0022]I)提出一種針對高可靠性應(yīng)用場景需求的多層級聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在該結(jié)構(gòu)中，待比對的人臉圖片對按照其難易程度被“由粗到精”的不同網(wǎng)絡(luò)所處理。對于精度要求高的人臉識別應(yīng)用場景，單一模型要達(dá)到極低的誤識率(比如千分之一或萬分之一以下)勢必要降低識出率，采用多個網(wǎng)絡(luò)串聯(lián)工作的方式可以“分而治之”，每一級網(wǎng)絡(luò)專注于檢測出前層網(wǎng)絡(luò)無法區(qū)分的負(fù)例對，將負(fù)例對的“通過”比例逐層降低到給定閾值以下，從而大大提高了整體系統(tǒng)的性能；
[0023]2)提出了一種自適應(yīng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的算法。本方法會自動改變系統(tǒng)中每個神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時使用的樣本分布(負(fù)例對越來越難)從而可以選出適應(yīng)于該分布的網(wǎng)絡(luò)模型，從而自適應(yīng)的產(chǎn)生了多個神經(jīng)網(wǎng)絡(luò)，突破了傳統(tǒng)單個網(wǎng)絡(luò)的局限。
【專利附圖】

【附圖說明】
[0024]圖1是本發(fā)明的基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法的步驟流程圖；
[0025]圖2是實施例中單層深度神經(jīng)網(wǎng)絡(luò)示意圖。
【具體實施方式】
[0026]下面通過具體實施例和附圖，對本發(fā)明做進(jìn)一步說明。
[0027]本發(fā)明的基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法，其具體流程如圖1所示，對其具體說明如下:
[0028]a)建立訓(xùn)練用人臉圖像集A，其包含N個不同(身份)的人的圖片，其中每個人的人臉圖片有M張(在實際中N可以是10000左右，M50左右)，這些圖片最終可以產(chǎn)生Μ* (M-1) /2*N個同一人的圖片對(后文簡稱為正例對)，N* (N-1) /2*M*M個不同人的圖片對(后文簡稱為負(fù)例對);
[0029]b)使用任意一種人臉關(guān)鍵點(diǎn)檢測算法檢測a)中每張人臉圖片的關(guān)鍵點(diǎn)；
[0030]本步驟可以使用現(xiàn)有的任意一種人臉關(guān)鍵點(diǎn)檢測方法進(jìn)行檢測。目前人臉關(guān)鍵點(diǎn)檢測算法主要可以分為兩類:第一類將每個關(guān)鍵點(diǎn)作為獨(dú)立的部分，每一個關(guān)鍵點(diǎn)根據(jù)其局部特征單獨(dú)訓(xùn)練檢測器；第二類將所有關(guān)鍵點(diǎn)放在一起訓(xùn)練，重點(diǎn)考慮關(guān)鍵點(diǎn)之間的相對位置關(guān)系，最后得到一個全局最優(yōu)解。
[0031]c)使用標(biāo)準(zhǔn)的基于仿射變換的人臉對齊算法，利用b)中得到的關(guān)鍵點(diǎn)位置信息，將a)中的圖片歸一化成60X60的灰度值圖片；
[0032]d)將c)中得到的人臉標(biāo)準(zhǔn)圖片進(jìn)行統(tǒng)計歸一化，使得像素平均值為0，方差為I ;
[0033]e)使用所有的訓(xùn)練圖片訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，其輸入為一對圖片(可能來自同一個人的兩張圖片，也可能來自兩個人的各一張圖片)，目標(biāo)輸出是一個0-1值，O表示判斷這兩張圖片是負(fù)例對，I表示判斷為正例對；
[0034]如圖2所示，每一級深度神經(jīng)網(wǎng)絡(luò)內(nèi)部都是由四部分組成:卷積層(Con)，最大采樣層(Mp)，全連接層(Fuck)和預(yù)測層(Pre)。按照如圖2所示的順序結(jié)構(gòu)，依次對輸入圖像做多輪的卷積和采樣，最終經(jīng)過預(yù)測層輸出O或I的比對結(jié)果。
[0035]f)將所有的訓(xùn)練圖片對輸入到e)中訓(xùn)練得出的神經(jīng)網(wǎng)絡(luò)，通過調(diào)試網(wǎng)絡(luò)最后一層的閾值使得所有誤判成I的負(fù)例對所占的比例低于一個給定的比例(比如0.1)，這樣我們所有的負(fù)例對就分成了兩部分:被e)中網(wǎng)絡(luò)判斷正確的負(fù)例對(占90%)和被判斷錯誤的負(fù)例對(占10%)；
[0036]g)反復(fù)多次使用e)，f)中步驟，唯一區(qū)別是每次只選用上一級網(wǎng)絡(luò)中被判斷錯誤的負(fù)例對加入到訓(xùn)練集，正例對仍然使用和第一級網(wǎng)絡(luò)中一樣所有的樣本，當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定的K時結(jié)束(K=3?5)，從而得到訓(xùn)練好的級聯(lián)神經(jīng)網(wǎng)絡(luò)；
[0037]h)將訓(xùn)練得到的K個深度神經(jīng)網(wǎng)絡(luò)和各自步驟f)中最后一層調(diào)試產(chǎn)生的閾值存入文件，作為訓(xùn)練好的算法參數(shù)；
[0038]i)任給一對新的人臉圖像，使用b-d)中一樣的預(yù)處理步驟變成一對60X60的對齊并且歸一化的圖片對依順序輸入h)中訓(xùn)練好的K個神經(jīng)網(wǎng)絡(luò)，如果在中間任何一個神經(jīng)網(wǎng)絡(luò)，該圖片對被判斷成O (負(fù)例對)，則系統(tǒng)最終判定該人臉圖片對為負(fù)例對，否則為正例對。
[0039]本發(fā)明提出的上述方法針對低誤識率，高識出率要求設(shè)計了一種級聯(lián)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在該結(jié)構(gòu)中，待比對的人臉圖片對按照其難易程度被“由粗到精”的不同網(wǎng)絡(luò)所處理。多個網(wǎng)絡(luò)串聯(lián)工作，將樣本空間“分而治之”，每一級網(wǎng)絡(luò)專注于檢測出前層網(wǎng)絡(luò)無法區(qū)分的負(fù)例對，將負(fù)例對的“通過”比例逐層降低到給定閾值以下，從而大大提高了整體系統(tǒng)的性能。
[0040]同時在上述方法中，本發(fā)明提出了一種自適應(yīng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的算法，在該算法中每個神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時使用的樣本分布會自動發(fā)生改變，從而算法可以自適應(yīng)地訓(xùn)練出合適的網(wǎng)絡(luò)模型，突破了傳統(tǒng)單個網(wǎng)絡(luò)的性能局限。
[0041]基于以上原因，本發(fā)明有效地提高了人臉識別系統(tǒng)的性能。如表I所示，給定測試/訓(xùn)練圖片樣本的比例，本發(fā)明在人臉識別的核心系統(tǒng)指標(biāo)上要遠(yuǎn)低于傳統(tǒng)方法。
[0042]表1.本發(fā)明與傳統(tǒng)方法的實驗對比結(jié)果
[0043]
【權(quán)利要求】
1.一種基于級聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉識別方法，其步驟包括: a)建立訓(xùn)練用人臉圖像集，其包含多個不同人的圖片，其中每個人的人臉圖片有多張，將產(chǎn)生的大量個同一人的圖片對稱為正例對，不同人的圖片對稱為負(fù)例對； b)使用人臉關(guān)鍵點(diǎn)檢測方法檢測a)中每張人臉圖片的關(guān)鍵點(diǎn)； c)利用b)中得到的關(guān)鍵點(diǎn)位置信息，將a)中的圖片歸一化成標(biāo)準(zhǔn)大小的灰度值圖片; d)將c)中得到的人臉標(biāo)準(zhǔn)圖片進(jìn)行灰度值統(tǒng)計歸一化； e)使用所有的訓(xùn)練圖片訓(xùn)練一深度神經(jīng)網(wǎng)絡(luò)，其輸入為一對圖片，目標(biāo)輸出是一個0-1值,O表示判斷這兩張圖片是負(fù)例對，I表示判斷為正例對； f)將所有的訓(xùn)練圖片對輸入到e)中訓(xùn)練得出的神經(jīng)網(wǎng)絡(luò)，通過調(diào)試網(wǎng)絡(luò)最后一層的閾值使得所有誤判成I的負(fù)例對所占的比例低于一給定的比例； g)反復(fù)多次使用e)，f)中的步驟，唯一區(qū)別是每次只選用上一級網(wǎng)絡(luò)中被判斷錯誤的負(fù)例對加入到訓(xùn)練集，正例對仍然使用和第一級網(wǎng)絡(luò)中一樣所有的樣本，當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定的個數(shù)時結(jié)束，得到訓(xùn)練好的級聯(lián)神經(jīng)網(wǎng)絡(luò)； h)任給一對新的人臉圖像，使用b)_d)中的步驟處理成一對對齊并且歸一化的圖片對，然后依順序輸入g)中訓(xùn)練好的級聯(lián)神經(jīng)網(wǎng)絡(luò)，如果在中間任何一個神經(jīng)網(wǎng)絡(luò)該圖片對被判斷成負(fù)例對，則系統(tǒng)最終判定該人臉圖片對為負(fù)例對，否則為正例對。
2.如權(quán)利要求1所述的方法，其特征在于:步驟c)使用標(biāo)準(zhǔn)的基于仿射變換的人臉對齊算法進(jìn)行圖片歸一化。
3.如權(quán)利要求1所述的方法，其特征在于:步驟d)進(jìn)行所述統(tǒng)計歸一化時，像素平均值為O,方差為I。
4.如權(quán)利要求1所述的方法，其特征在于:步驟e)所述一對圖片來自同一個人的兩張圖片，或者來自兩個人的各一張圖片。
5.如權(quán)利要求1所述的方法，其特征在于:每一級深度神經(jīng)網(wǎng)絡(luò)內(nèi)部都是由四部分組成:卷積層，最大采樣層，全連接層和預(yù)測層Pre，依次對輸入圖像做多輪的卷積和采樣，最終經(jīng)過預(yù)測層輸出O或I的比對結(jié)果。
6.如權(quán)利要求1所述的方法，其特征在于:步驟f)所述一給定的比例為0.1?0.5。
7.如權(quán)利要求1所述的方法，其特征在于:步驟g)中當(dāng)總網(wǎng)絡(luò)個數(shù)達(dá)到預(yù)定的K時結(jié)束，其中K=3?5。
【文檔編號】G06K9/00GK103824055SQ201410053866
【公開日】2014年5月28日 申請日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】曹志敏, 印奇, 姜宇寧 申請人:北京曠視科技有限公司