專利名稱：基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉識(shí)別方法，確切地說，涉及一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法，屬于計(jì)算機(jī)的圖像處理和模式識(shí)別技術(shù)領(lǐng)域。
背景技術(shù)：
人臉識(shí)別是利用計(jì)算機(jī)對(duì)人臉圖像進(jìn)行分析，從中提取有效的鑒別特征，實(shí)現(xiàn)身份認(rèn)證的一種技術(shù)。與指紋、虹膜、掌紋等生物特征相比，利用人臉進(jìn)行身份認(rèn)證的優(yōu)勢(shì)是使用方便、成本低廉、操作隱蔽等。其應(yīng)用場(chǎng)景十分廣泛，例如公安監(jiān)控、司法認(rèn)證、民航安檢、口岸出入控制、智能門禁等。
人臉識(shí)別系統(tǒng)通常包括人臉檢測(cè)、特征提取和識(shí)別算法三個(gè)部分。傳統(tǒng)的人臉識(shí)別技術(shù)的研究側(cè)重于特征提取和識(shí)別算法，并已經(jīng)形成了一些經(jīng)典方法，例如，主成分分析、線性鑒別分析、彈性匹配、神經(jīng)網(wǎng)絡(luò)等。有一些識(shí)別算法在實(shí)驗(yàn)數(shù)據(jù)中取得了較好的效果，然而，在現(xiàn)實(shí)應(yīng)用中，人臉識(shí)別方法仍然面臨著下述諸多挑戰(zhàn)(I)小樣本問題訓(xùn)練集合中的每個(gè)類別(人臉)僅有一個(gè)或幾個(gè)訓(xùn)練圖像，訓(xùn)練圖像的單一性和測(cè)試圖像的多態(tài)性就會(huì)導(dǎo)致識(shí)別精度較低。(2)光照問題光照的角度、強(qiáng)度和傳感器的不同，都會(huì)導(dǎo)致同一人臉在不同環(huán)境下采集的人臉圖像存在巨大差異。(3)人臉遮擋和/或表情問題墨鏡、胡須、發(fā)型、化裝等因素和/或喜怒哀樂悲恐驚等不同表情都會(huì)導(dǎo)致人臉圖像模式的多樣性。上述多重因素的相互干擾和疊加，使得人臉識(shí)別技術(shù)成為一項(xiàng)極富挑戰(zhàn)性的課題，因此，面向現(xiàn)實(shí)環(huán)境的人臉識(shí)別技術(shù)已經(jīng)成為當(dāng)前計(jì)算機(jī)圖像處理和模式識(shí)別領(lǐng)域的研究熱點(diǎn)。2009年John Wright等人將壓縮感知理論引入人臉識(shí)別技術(shù)的研究中，提出了基于稀疏表示的人臉識(shí)別方法，該方法開創(chuàng)性地指出測(cè)試人臉圖像一旦能夠表示為訓(xùn)練圖像的稀疏線性組合，則特征提取和識(shí)別算法將不再重要?；谙∈璞硎镜娜四樧R(shí)別方法為解決噪聲、光照、遮擋、表情等人臉識(shí)別難題提供了全新的思路。但是，其高精度識(shí)別結(jié)果是在嚴(yán)格限定的條件下獲得的對(duì)于每個(gè)候選人臉圖像，至少需要32個(gè)不同光照下的訓(xùn)練圖像，才足以線性表示復(fù)雜環(huán)境下的光照。顯然，在目前的大部分現(xiàn)實(shí)應(yīng)用中，無法提供如此充分的訓(xùn)練數(shù)據(jù)，所以傳統(tǒng)的基于稀疏表示的人臉識(shí)別方法在現(xiàn)實(shí)環(huán)境中的應(yīng)用至今非常有限。因此，如何尋找更加簡(jiǎn)便、實(shí)用的基于稀疏表示的人臉識(shí)別方法，已經(jīng)成為業(yè)內(nèi)科技人員關(guān)注的焦點(diǎn)課題。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的是提供一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法，利用類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示來解決現(xiàn)有技術(shù)在人臉圖像處于小樣本、光照不均、人臉遮擋和表情變化情況時(shí)差異描述上的不足，并在降低對(duì)人臉訓(xùn)練圖像數(shù)量需求的同時(shí)，提高光照、遮擋或表情等復(fù)雜環(huán)境下的人臉識(shí)別精度。為了達(dá)到上述目的，本發(fā)明提供了一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法，其特征在于所述方法包括下列操作步驟(I)對(duì)訓(xùn)練圖像集合中的所有人臉圖像進(jìn)行特征提取，得到訓(xùn)練圖像矩陣A :A=[A1； A2,. . . , Ai,. . . , Ak]，且Ae Rrfix"，并對(duì)該訓(xùn)練圖像矩陣A中的每一列進(jìn)行歸一化處理，使每一列向量的模都為I ;式中，自然數(shù)下標(biāo)i為人臉類別序號(hào)，其最大值為k 和η分別為訓(xùn)練圖像的維數(shù)和個(gè)數(shù)，且第i類訓(xùn)練人臉圖像矩陣為,其中的Iii為第i類訓(xùn)練人
臉圖像的個(gè)數(shù)，且》=，R為實(shí)數(shù)集；
;=!(2)對(duì)測(cè)試圖像進(jìn)行特征提取，得到測(cè)試圖像向量yeR"2'并對(duì)該測(cè)試圖像向量y進(jìn)行歸一化處理；式中，d2為測(cè)試圖像的維數(shù)；(3)從訓(xùn)練圖像集合或其他開放人臉圖像集合中獲取用于描述相同類別人臉在不同環(huán)境因素下的類內(nèi)變化，構(gòu)成類內(nèi)變化字典，即矩陣D e Rrfjxp ;式中，d3為類內(nèi)變化字典的行數(shù)，且d3與d2、Cl1的數(shù)值都相等；p為類內(nèi)變化字典中描述設(shè)定的人臉圖像變化的列數(shù)；(4)用訓(xùn)練圖像矩陣A和類內(nèi)變化字典D線性表示測(cè)試圖像向量y G R^i，其表達(dá)式為:y=Ax+Di3+z，式中，X和β分別為線性的稀疏系數(shù)，Z為噪聲項(xiàng)，且Xe RnX1，β e RpX1,z G Rdixl ；(5)因稀疏系數(shù)X和β具有多值性，故采用基于LI范數(shù)最小化方法求解得到其最優(yōu)稀疏系數(shù)和α其目標(biāo)函數(shù)為λ =argmin X ，且滿足[A，D] X -y <ε式中，ε
i β ■>U」 L^J!L^J 2
為預(yù)設(shè)的誤差，且最優(yōu)稀疏系數(shù)i = [xl5x2,和淇中，自然數(shù)下標(biāo)t為最優(yōu)稀疏系數(shù)序號(hào)，其最大值為n，該i中的第t個(gè)元素Xt是重構(gòu)測(cè)試圖像向量y時(shí)第t個(gè)訓(xùn)練圖像的系數(shù)；(6)分別保留最優(yōu)稀疏系數(shù)中與第i類訓(xùn)練圖像相對(duì)應(yīng)的系數(shù)，并將i中與第i類訓(xùn)練圖像無關(guān)的系數(shù)全部置零，得到下述帶通系數(shù)4伏)e Rnxl J1 (X) = [^1, X2, ···, Xnj, O, ···, θ]Τ,—
本發(fā)明首創(chuàng)提出一種將測(cè)試圖像表示為訓(xùn)練圖像矩陣和類內(nèi)變化字典的稀疏線性組合的方法。該類內(nèi)變化字典用于描述同一人臉在光照、遮擋和/或表情變化時(shí)的圖像紋理差異。通過補(bǔ)償測(cè)試圖像與其相同類別的訓(xùn)練圖像之間的差異，類內(nèi)變化字典可以提高人臉識(shí)別算法在表情、遮擋和/或光照變化環(huán)境下的識(shí)別精度。另外，在每類訓(xùn)練圖像較少或者每類只有單個(gè)訓(xùn)練圖像的情況下，本發(fā)明首創(chuàng)提出的類內(nèi)變化字典可從獨(dú)立于訓(xùn)練圖像集合的其他開放人臉圖像集合中獲取，為解決小樣本和單樣本情況下的人臉識(shí)別問題提供了一種全新思路。因?yàn)閭鹘y(tǒng)的稀疏表示方法只適用于樣本充足的情況，基于該性能，本發(fā)明使得訓(xùn)練圖像稀疏表示方法在小樣本和單樣本情況下同樣能夠獲得較高的識(shí)別精度，因此該方法的推廣應(yīng)用前景看好。


圖I是本發(fā)明基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法示意圖。圖2是本發(fā)明基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法操作步驟流程圖?！D3是本發(fā)明實(shí)施例中采用的訓(xùn)練圖像和測(cè)試圖像樣例的示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。眾所周知，人臉識(shí)別的核心問題是尋找出同一人臉的共性特征和差異特征，一旦能夠有效刻畫同一人臉的差異，就能實(shí)現(xiàn)復(fù)雜、真實(shí)環(huán)境下的高精度人臉識(shí)別。本發(fā)明旨在克服現(xiàn)有技術(shù)在人臉差異刻畫上的不足，提供一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法。類內(nèi)變化是指同一人臉在不同外部環(huán)境下所呈現(xiàn)的差異。例如，某一人臉在佩戴墨鏡時(shí)圖像與其正常光照和表情下的圖像的差異表現(xiàn)為墨鏡。本發(fā)明首創(chuàng)的類內(nèi)變化字典D用于描述每類人臉在包括不同光照和/或遮擋、和/或表情的復(fù)雜外部環(huán)境下所呈現(xiàn)的各種圖像紋理差異的集合，以便能夠設(shè)法找出同一人臉的差異特征。類內(nèi)變化字典中的每一列描述人臉的一種設(shè)定的差異變化，也就是將某一個(gè)人臉在異常光照和/或遮擋、和/或表情的圖像與其在正常光照和表情、且無遮擋的圖像相減得到的差值(例如，將某一人臉在佩戴墨鏡時(shí)的圖像和其正常光照和表情下的圖像做減法所得的結(jié)果即為墨鏡；將某一人臉在異常光照下的圖像和其正常光照和表情下的圖像做減法時(shí)的結(jié)果就是某種特殊光照)。不同人臉的差異往往存在共性，因此一旦能夠有效刻畫同一人臉圖像的差異，就能實(shí)現(xiàn)復(fù)雜、真實(shí)環(huán)境下的高精度人臉識(shí)別。分別用每個(gè)類別的訓(xùn)練圖像矩陣和類內(nèi)變化字典的線性組合得到重構(gòu)圖像，根據(jù)原測(cè)試圖像與重構(gòu)圖像的殘差來實(shí)現(xiàn)高精度的人臉識(shí)別。圖I展示了本發(fā)明人臉識(shí)別方法的工作原理即基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法。參見圖2，介紹本發(fā)明方法的具體操作步驟步驟1，對(duì)訓(xùn)練圖像集合中的所有人臉圖像進(jìn)行特征提取，得到訓(xùn)練圖像矩陣A :A=LA11A2,. . . ,Ai,. . .，Ak]，且A e R"lXW ,并對(duì)該訓(xùn)練圖像矩陣A中的每一列進(jìn)行歸一化處理，使每一列向量的模都為I ;式中，自然數(shù)下標(biāo)i為人臉類別序號(hào)，其最大值為k 和η分別為訓(xùn)練圖像的維數(shù)和個(gè)數(shù)，且第i類訓(xùn)練人臉圖像集合為，其中的Iii為第i類訓(xùn)練人
臉圖像的個(gè)數(shù)，且"=i>,, R為實(shí)數(shù)集。
/=1步驟2，對(duì)測(cè)試圖像進(jìn)行特征提取，得到測(cè)試圖像向量yeR1^1，并對(duì)該測(cè)試圖像向量I進(jìn)行歸一化處理； 式中，d2為測(cè)試圖像的維數(shù)。步驟3，從訓(xùn)練圖像集合或其他開放人臉圖像集合中獲取用于描述相同類別的人臉在不同環(huán)境因素下的類內(nèi)變化，構(gòu)成類內(nèi)變化字典，即矩陣DeRrfW ;式中，d3為類內(nèi)變化字典的行數(shù)，且d3與C^d1的數(shù)值都相等；p為類內(nèi)變化字典中描述設(shè)定的人臉圖像變化的列數(shù)。該步驟使用其他開放人臉圖像集合構(gòu)建或獲取類內(nèi)變化字典時(shí)，若發(fā)生該人臉圖像集合中的圖像維數(shù)與訓(xùn)練圖像維數(shù)Cl1不相等的情況，則采用包括插值法的圖像縮放方法，使得其他開放人臉圖像集合中圖像的維數(shù)等于訓(xùn)練圖像的維數(shù)Cl1，以保證類內(nèi)變化字典的行數(shù)d3與訓(xùn)練圖像的維數(shù)Cl1相等。構(gòu)建類內(nèi)變化字典有下述兩種方法第一種方法是求解得到用不同光照和/或遮擋、和/或表情的某個(gè)人臉圖像減去其在所有環(huán)境中的平均圖像所得到的差值向量的集合，其操作步驟如下(Al)從人臉數(shù)據(jù)庫(kù)中隨機(jī)選擇與訓(xùn)練人臉不同的m個(gè)人，再對(duì)每個(gè)人選取w幅人臉圖像，用于計(jì)算類內(nèi)變化字典；還對(duì)每幅人臉圖像進(jìn)行特征提取，將每幅人臉圖像表示成一個(gè)d3維的列向量；(A2)分別將每個(gè)人的w幅人臉圖像標(biāo)記為矩陣!^.，再求解每個(gè)人的w幅圖
W
像的平均人臉圖像式中，自然數(shù)下標(biāo)j為計(jì)算類內(nèi)變化字典時(shí)的人臉類
JW
別序號(hào)，其最大值為m ;矩陣I的第b列向量D, ，自然數(shù)下標(biāo)b為矩陣h的列序號(hào)，其最大值為w ；(A3)從m個(gè)人的所有人臉圖像中，計(jì)算得到人臉的類內(nèi)變化字典D: D = [D1 — C1 X e,，D2 — C2 X …,D 廠 Cj xep··· ,Om — cm xeje R W);式中，Cj 為列向量，e」為全I(xiàn)的行向量,且efefce」=…=em=[l, . . .，I] e RixwjCjXej是每列均為Cj且維數(shù)為d3XW的矩陣，(Dj-CjXej)表示矩陣Dj的每一列都減去其對(duì)應(yīng)的平均人臉圖像Cj ；(A4)采用上述方法得到類內(nèi)變化字典的列數(shù)p=wXm ;(A5)對(duì)類內(nèi)變化字典D中的每列元素進(jìn)行歸一化處理，使得每列元素的模值都為
Io第二種方法是求解得到同一人臉在包括不同光照和/或遮擋、和/或表情的各種環(huán)境下獲取的不同圖像之間每?jī)蓚€(gè)圖像的差值向量集合，其操作步驟為(BI)從人臉數(shù)據(jù)庫(kù)中隨機(jī)選擇與訓(xùn)練人臉不同的m個(gè)人，再對(duì)每個(gè)人選取w幅人臉圖像，用于計(jì)算類內(nèi)變化字典；還對(duì)每幅人臉圖像進(jìn)行特征提取，將每幅人臉圖像表示成一個(gè)d3維的列向量；(B2)從每個(gè)人的w幅人臉圖像中，任意選取其中兩幅人臉圖像，并計(jì)算這兩幅人臉圖像的差值向量，共完成G種選取和計(jì)算后，將所有差值向量組合成差異矩陣Qj: Q, =[an-aJ2,aaJse;式中，自然數(shù)下標(biāo) j 為計(jì)
算類內(nèi)變化字典時(shí)的人臉類別序號(hào)，其最大值為m ;第j個(gè)人臉圖像集合中的第s幅圖像ajs e Rdixl，且自然數(shù)序號(hào)s的最大值為w ；(B3)從m個(gè)人的所有人臉圖像中，計(jì)算得到人臉的類內(nèi)變化字典D :
權(quán)利要求
1.一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法，其特征在于所述方法包括下列操作步驟 (O對(duì)訓(xùn)練圖像集合中的所有人臉圖像進(jìn)行特征提取，得到訓(xùn)練圖像矩陣A :A=[A1； A2,. . . , Ai,. . . , Ak]，且A e ，并對(duì)該訓(xùn)練圖像矩陣A中的每一列進(jìn)行歸一化處理，使每一列向量的模都為I ;式中，自然數(shù)下標(biāo)i為人臉類別序號(hào)，其最大值為k 和η分別為訓(xùn)練圖像的維數(shù)和個(gè)數(shù)，且第i類訓(xùn)練人臉圖像矩陣4.，其中的Hi為第i類訓(xùn)練人臉圖像的個(gè)數(shù)，且
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述類內(nèi)變化是指同一人臉在不同外部環(huán)境下所呈現(xiàn)的差異；所述類內(nèi)變化字典D是由描述同一人臉在包括不同光照和/或遮擋、和/或表情的干擾因素下的各種圖像紋理差異的集合，類內(nèi)變化字典中的每一列描述一種設(shè)定的人臉差異變化，也就是將某一個(gè)人臉在異常光照和/或遮擋、和/或表情的圖像與其在正常光照和表情、且無遮擋的圖像相減得到的差值。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于所述類內(nèi)變化字典的第一種獲取方法是求解得到用不同光照和/或遮擋、和/或表情的某個(gè)人臉圖像減去其在所有環(huán)境中的平均圖像所得到的差值向量的集合，其操作步驟如下 (Al)從人臉數(shù)據(jù)庫(kù)中隨機(jī)選擇與訓(xùn)練人臉不同的m個(gè)人，再對(duì)每個(gè)人選取w幅人臉圖像，用于計(jì)算類內(nèi)變化字典；還對(duì)每幅人臉圖像進(jìn)行特征提取，將每幅人臉圖像表示為一個(gè)d3維的列向量； (A2)分別將每個(gè)人的w幅人臉圖像標(biāo)記為矩陣h e ，再求解每個(gè)人的w幅圖像的平均人臉圖像
4.根據(jù)權(quán)利要求I所述的方法，其特征在于所述類內(nèi)變化字典的第二種獲取方法是求解得到同一人臉在包括不同光照和/或遮擋、和/或表情的各種環(huán)境下獲取的不同圖像之間每?jī)蓚€(gè)圖像的差值向量的集合，其操作步驟如下 (BI)從人臉數(shù)據(jù)庫(kù)中隨機(jī)選擇與訓(xùn)練人臉不同的m個(gè)人，再對(duì)每個(gè)人選取w幅人臉圖像，用于計(jì)算類內(nèi)變化字典；還對(duì)每幅人臉圖像進(jìn)行特征提取，將每幅人臉圖像表示成一個(gè)d3維的列向量； (B2)從每個(gè)人的w幅人臉圖像中，任意選取其中兩幅人臉圖像，并計(jì)算這兩幅人臉圖像的差值向量，共完成0種選取和計(jì)算后，將所有差值向量組合成差異矩陣Qj Q, = Ian -αΓ_, _αη，…，αβ — aJ^D，…，flJiw-D S ]e R#114’—1)'2];式中，自然數(shù)下標(biāo) j 為計(jì)算類內(nèi)變化字典時(shí)的人臉類別序號(hào)，其最大值為m ;第j個(gè)人臉圖像集合中的第s幅圖像a]s ，且自然數(shù)序號(hào)s的最大值為w ； (B3)從m個(gè)人的所有人臉圖像中，計(jì)算得到人臉的類內(nèi)變化字典D :
5.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(3)中，使用其他開放人臉圖像集合獲取類內(nèi)變化字典時(shí)，若發(fā)生該人臉圖像集合中的圖像維數(shù)與訓(xùn)練圖像維數(shù)Cl1不相等的情況，則采用包括插值法的圖像縮放方法，使得其他開放人臉圖像集合中圖像的維數(shù)等于訓(xùn)練圖像的維數(shù)屯，以保證類內(nèi)變化字典的行數(shù)d3與訓(xùn)練圖像的維數(shù)Cl1相等。
6.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟(4)中，當(dāng)測(cè)試圖像的維數(shù)d2與訓(xùn)練圖像的維數(shù)Cl1不相等時(shí)，使用包括插值法的圖像縮放方法，使得測(cè)試圖像的維數(shù)d2與訓(xùn)練圖像的維數(shù)Cl1相等。
全文摘要
本發(fā)明公開了一種基于類內(nèi)變化字典和訓(xùn)練圖像的稀疏表示人臉識(shí)別方法，用于解決現(xiàn)有方法在小樣本、光照不均、人臉遮擋和表情變化下的局限性問題，提高了人臉識(shí)別精度。該方法的實(shí)現(xiàn)步驟為(1)對(duì)訓(xùn)練圖像集合和測(cè)試人臉圖像進(jìn)行圖像特征提取，形成訓(xùn)練圖像矩陣和測(cè)試圖像向量，并分別進(jìn)行歸一化處理；(2)從人臉數(shù)據(jù)庫(kù)中統(tǒng)計(jì)相同人臉在不同外部環(huán)境影響下呈現(xiàn)出來的圖像紋理差異，形成人臉的類內(nèi)變化字典；(3)將測(cè)試圖像表示成為訓(xùn)練圖像矩陣和類內(nèi)變化字典的線性組合，通過L1范數(shù)最小化準(zhǔn)則求得最優(yōu)稀疏表示系數(shù)；(4)求得原測(cè)試圖像與由各類別訓(xùn)練圖像和類內(nèi)變化字典重構(gòu)得到的重構(gòu)圖像的殘差，代入類別判定公式得到識(shí)別結(jié)果。
文檔編號(hào)G06K9/00GK102915436SQ20121041177
公開日2013年2月6日 申請(qǐng)日期2012年10月25日 優(yōu)先權(quán)日2012年10月25日
發(fā)明者鄧偉洪, 胡佳妮, 郭軍 申請(qǐng)人:北京郵電大學(xué)