一種人臉識(shí)別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于計(jì)算機(jī)視覺【技術(shù)領(lǐng)域】，提供了一種人臉識(shí)別方法及系統(tǒng)，所述方法包括：將待識(shí)別人臉圖像與人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像，并結(jié)合最匹配的二維人臉圖像對(duì)應(yīng)的三維人臉模型獲得待識(shí)別人臉圖像和三維人臉模型之間的投影矩陣，基于投影矩陣和三維人臉模型生成新的二維人臉圖像，將所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量，并將最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像的身份作為最終識(shí)別身份。本發(fā)明通過將二維和三維方法相結(jié)合的方式對(duì)人臉圖像進(jìn)行識(shí)別，可有效解決現(xiàn)有技術(shù)在人臉姿態(tài)變換較大時(shí)，人臉識(shí)別率較低的問題。
【專利說明】—種人臉識(shí)別方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺【技術(shù)領(lǐng)域】，尤其涉及一種人臉識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有的人臉識(shí)別都是基于二維圖像的人臉識(shí)別，即從二維人臉圖像中提取能夠表征人臉的特征信息，將提取的所述特征信息與預(yù)存儲(chǔ)二維人臉圖像的特征信息進(jìn)行匹配以達(dá)到人臉識(shí)別的目的。現(xiàn)有基于二維圖像的人臉識(shí)別在預(yù)存儲(chǔ)的二維人臉圖像與待識(shí)別的二維人臉圖像的姿態(tài)差別較大時(shí)，提取到的人臉特征信息會(huì)有非常大的差別，導(dǎo)致人臉識(shí)別不準(zhǔn)確。

【發(fā)明內(nèi)容】

[0003]本發(fā)明實(shí)施例在于提供一種人臉識(shí)別方法及系統(tǒng)，以解決現(xiàn)有基于二維圖像的人臉識(shí)別，在人臉姿態(tài)變換較大時(shí)識(shí)別準(zhǔn)確率較低的問題。
[0004]本發(fā)明實(shí)施例的第一方面，提供一種人臉識(shí)別方法，所述方法包括:
[0005]建立人臉圖像數(shù)據(jù)庫，所述人臉圖像數(shù)據(jù)庫包括二維人臉圖像以及與所述二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型；
[0006]獲取待識(shí)別人臉圖像，并將獲取的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型；
[0007]根據(jù)所述最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型計(jì)算獲得所述待識(shí)別人臉圖像與該三維人臉模型之間的投影矩陣；
[0008]基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，其中每一個(gè)三維人臉模型對(duì)應(yīng)一個(gè)新的二維人臉圖像；
[0009]提取所述待識(shí)別人臉圖像的SIFT特征向量以及所述新的二維人臉圖像的SIFT特征向量，將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，并將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。
[0010]本發(fā)明實(shí)施例的第二方面，提供一種人臉識(shí)別系統(tǒng)，所述系統(tǒng)還包括:
[0011]數(shù)據(jù)庫建立單元，用于建立人臉圖像數(shù)據(jù)庫，所述人臉圖像數(shù)據(jù)庫包括二維人臉圖像以及與所述二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型；
[0012]匹配單元，用于獲取待識(shí)別人臉圖像，并將獲取的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的二維人臉模型；
[0013]計(jì)算單元，用于根據(jù)所述最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型計(jì)算獲得所述待識(shí)別人臉圖像與該三維人臉模型之間的投影矩陣；
[0014]新圖像生成單元，用于基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，其中每一個(gè)三維人臉模型對(duì)應(yīng)一個(gè)新的二維人臉圖像；
[0015]識(shí)別單元，用于提取所述待識(shí)別人臉圖像的SIFT特征向量以及所述新的二維人臉圖像的SIFT特征向量，將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，并將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。
[0016]本發(fā)明實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是:本發(fā)明實(shí)施例將待識(shí)別人臉圖像與人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像，并結(jié)合最匹配的二維人臉圖像對(duì)應(yīng)的三維人臉模型獲得待識(shí)別人臉圖像和三維人臉模型之間的投影矩陣，基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，提取所述新的二維人臉圖像的SIFT特征向量并存儲(chǔ)至人臉圖像數(shù)據(jù)庫，提取所述待識(shí)別人臉圖像的SIFT特征向量，并將所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。本發(fā)明實(shí)施例通過將二維和三維方法相結(jié)合的方式對(duì)人臉圖像進(jìn)行識(shí)別，可有效解決現(xiàn)有技術(shù)在人臉姿態(tài)變換較大時(shí)，單純通過二維圖像提取特征方式導(dǎo)致人臉識(shí)別率較低的問題。本發(fā)明實(shí)施例人臉識(shí)別準(zhǔn)確、高效，對(duì)硬件要求較低，從而有利于降低產(chǎn)品成本，使得產(chǎn)品適用面更廣，具有較強(qiáng)的易用性和實(shí)用性。
【專利附圖】

【附圖說明】
[0017]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018]圖1是本發(fā)明第一實(shí)施例提供的人臉識(shí)別方法的實(shí)現(xiàn)流程圖；
[0019]圖2是本發(fā)明第一實(shí)施例提供的對(duì)新的二維人臉圖像進(jìn)行分塊的示例圖；
[0020]圖3是本發(fā)明第二實(shí)施例提供的人臉識(shí)別系統(tǒng)的組成結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0021]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0022]為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實(shí)施例來進(jìn)行說明。
[0023]實(shí)施例一:
[0024]圖1示出了第一實(shí)施例提供的人臉識(shí)別方法的實(shí)現(xiàn)流程，該方法過程詳述如下:
[0025]在步驟SlOl中，建立人臉圖像數(shù)據(jù)庫，所述人臉圖像數(shù)據(jù)庫包括二維人臉圖像以及與所述二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型。
[0026]在本實(shí)施例中，為每個(gè)身份的用戶存儲(chǔ)一張二維人臉圖像，即每一張二維人臉圖像對(duì)應(yīng)一個(gè)唯一身份，并基于所述二維人臉圖像通過三維建模技術(shù)進(jìn)行建模，在建模時(shí)把人臉的紋理信息保存下來并映射在最終的三維人臉模型上。因此，所述人臉圖像數(shù)據(jù)庫中保存有每個(gè)身份的一張二維人臉圖像以及對(duì)應(yīng)的三維人臉模型。
[0027]在步驟S102中，獲取待識(shí)別人臉圖像，并將獲取的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型。
[0028]在本實(shí)施例中，可通過攝像頭等采集待識(shí)別人臉圖像，并將采集的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像。基于所述二維人臉圖像與所述三維人臉模型的對(duì)應(yīng)關(guān)系，獲取最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型。
[0029]本實(shí)施例可以通過內(nèi)設(shè)或者外置的攝像頭采集圖像序列，并通過人臉檢測(cè)算法檢測(cè)采集的圖像序列中是否存在人臉，當(dāng)采集的圖像系列中存在人臉時(shí)，對(duì)該圖像系列進(jìn)行一定比例的裁剪，使得裁剪后的圖像包括人臉的一些基本特征點(diǎn)，例如:眼睛、鼻子、嘴等。其中，所述人臉檢測(cè)算法包括但不局限于類矩形特征的Adaboost算法。
[0030]進(jìn)一步的，本實(shí)施例還包括對(duì)采集的待識(shí)別人臉圖像進(jìn)行預(yù)處理，所述預(yù)處理的過程包括但不局限于采用腐蝕運(yùn)算將孤立的小區(qū)域去除，再用膨脹運(yùn)算將小間隙填充。例如，把人臉從背景中分離出來，并對(duì)因攝像頭或其它因素所造成的圖像退化現(xiàn)象進(jìn)行復(fù)原，以保證人臉圖像的相關(guān)數(shù)據(jù)(如RGB顏色數(shù)據(jù))更加準(zhǔn)確。
[0031]在步驟S103中，根據(jù)所述最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型計(jì)算獲得所述待識(shí)別人臉圖像與該三維人臉模型之間的投影矩陣。
[0032]在本實(shí)施例中，通過步驟S102的匹配過程，可以獲得待識(shí)別人臉圖像與其最匹配圖像之間的對(duì)應(yīng)關(guān)系，再基于最匹配圖像和其三維人臉模型之間的對(duì)應(yīng)關(guān)系，可以獲得待識(shí)別人臉圖像與三維人臉模型之間的對(duì)應(yīng)關(guān)系，通過所述對(duì)應(yīng)關(guān)系獲得投影矩陣，其具體過程屬于計(jì)算機(jī)視覺領(lǐng)域的常用技術(shù)手段，在此不再贅述。
[0033]在步驟S104中，基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，其中每一個(gè)三維人臉模型對(duì)應(yīng)一個(gè)新的二維人臉圖像。
[0034]在本實(shí)施例中，所述投影矩陣計(jì)算出來后，將三維人臉模型上的視點(diǎn)左乘以該投影矩陣即獲得二維人臉圖像的視點(diǎn)。再基于三維模型的紋理信息，可獲得投影到所述二維人臉圖像的視點(diǎn)的顏色，基于所述二維人臉圖像的視點(diǎn)和顏色，最終生成一張新的二維人臉圖像。其中所述視點(diǎn)是指人臉圖像相對(duì)于攝像頭的位置。
[0035]在步驟S105中，提取所述待識(shí)別人臉圖像的SIFT特征向量(即表示所述待識(shí)別人臉圖像的特征的向量)以及所述新的二維人臉圖像的SIFT特征向量，將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，并將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。
[0036]其中，所述提取所述新的二維人臉圖像中的SIFT特征向量包括:
[0037]對(duì)所述新的二維人臉圖像進(jìn)行分塊(如圖2所示，假定二維人臉圖像大小為WXh像素，其中w為圖像的寬度，h為圖像的高度，每個(gè)塊的大小定為16X16像素，那么該二維人臉圖像最終被分成(w/16) X (h/16)個(gè)小塊)，并針對(duì)每一個(gè)分塊提取尺度不變特征轉(zhuǎn)換(Scale-1nvariant Feature Transform, SIFT)特征向量，獲得的 SIFT 特征向量為 128 維的向量，作為所述分塊對(duì)應(yīng)的SIFT特征向量；[0038]合并每個(gè)分塊的SIFT特征向量，將每個(gè)分塊合并后的SIFT特征向量作為對(duì)應(yīng)新的二維人臉圖像的特征向量，如上示例，將每個(gè)分塊的SIFT特征向量合并成一個(gè)維數(shù)為(w/16) X (h/16) X 128的向量,并對(duì)該向量進(jìn)行歸一化處理，歸一化處理后的向量標(biāo)記為VSIFTi，所述VSIFTi即為新的二維人臉圖像對(duì)應(yīng)的SIFT特征向量。
[0039]進(jìn)一步的，為了減少新的二維人臉圖像對(duì)應(yīng)的SIFT特征向量的噪音，本實(shí)施例還包括:
[0040]基于新的二維人臉圖像的SIFT特征向量，獲取新的二維人臉圖像的強(qiáng)SIFT特征向量，其公式具體為:
[0041]Vi=WTVSIFTi
[0042]其中，Vi表示第i個(gè)新的二維人臉圖像的強(qiáng)SIFT特征向量，VSIFTi表示第i個(gè)新的二維人臉圖像的SIFT特征向量，W=[qiq2...qk]，q k為
【權(quán)利要求】
1.一種人臉識(shí)別方法，其特征在于，所述方法包括: 建立人臉圖像數(shù)據(jù)庫，所述人臉圖像數(shù)據(jù)庫包括二維人臉圖像以及與所述二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型； 獲取待識(shí)別人臉圖像，并將獲取的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型； 根據(jù)所述最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型計(jì)算獲得所述待識(shí)別人臉圖像與該三維人臉模型之間的投影矩陣； 基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，其中每一個(gè)三維人臉模型對(duì)應(yīng)一個(gè)新的二維人臉圖像； 提取所述待識(shí)別人臉圖像的SIFT特征向量以及所述新的二維人臉圖像的SIFT特征向量，將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，并將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。
2.如權(quán)利要求1所述的方法，其特征在于，所述提取所述新的二維人臉圖像中的SIFT特征向量包括: 對(duì)所述新的二維人臉圖像進(jìn)行分塊，并提取每一個(gè)分塊的SIFT特征向量； 合并每個(gè)分塊的SIFT特征向量，將每個(gè)分塊合并后的SIFT特征向量作為對(duì)應(yīng)新的二維人臉圖像的特征向量。
3.如權(quán)利要求2所述的方法，其特征在于，所述方法還包括: 對(duì)每個(gè)分塊合并后的SIFT特征向量進(jìn)行歸一化處理。
4.如權(quán)利要求2或3所述的方法，其特征在于，所述方法還包括: 基于新的二維人臉圖像的SIFT特征向量，獲取新的二維人臉圖像的強(qiáng)SIFT特征向量，其公式具體為:
Vi=WTVSIFTi 其中，Vi表示第i個(gè)新的二維人臉圖像的強(qiáng)SIFT特征向量，VSIFTi表示第i個(gè)新的二維人臉圖像的SIFT特征向量，W= [Q1Q2...q k ]，q k為
5.如權(quán)利要求1所述的方法，其特征在于，所述將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配的公式為:
6.一種人臉識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括: 數(shù)據(jù)庫建立單元，用于建立人臉圖像數(shù)據(jù)庫，所述人臉圖像數(shù)據(jù)庫包括二維人臉圖像以及與所述二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型； 匹配單元，用于獲取待識(shí)別人臉圖像，并將獲取的所述待識(shí)別人臉圖像與所述人臉圖像數(shù)據(jù)庫中的二維人臉圖像進(jìn)行匹配，獲得最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型； 計(jì)算單元，用于根據(jù)所述最匹配的二維人臉圖像對(duì)應(yīng)的帶有紋理的三維人臉模型計(jì)算獲得所述待識(shí)別人臉圖像與該三維人臉模型之間的投影矩陣； 新圖像生成單元，用于基于所述投影矩陣和所述人臉圖像數(shù)據(jù)庫中的每個(gè)三維人臉模型生成多個(gè)新的二維人臉圖像，其中每一個(gè)三維人臉模型對(duì)應(yīng)一個(gè)新的二維人臉圖像； 識(shí)別單元，用于提取所述待識(shí)別人臉圖像的SIFT特征向量以及所述新的二維人臉圖像的SIFT特征向量，將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配，獲得最匹配的SIFT特征向量對(duì)應(yīng)的二維人臉圖像，并將該二維人臉圖像的身份作為所述待識(shí)別人臉圖像的最終識(shí)別身份。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述識(shí)別單元包括: 特征提取模塊，用于對(duì)所述新的二維人臉圖像進(jìn)行分塊，并提取每一個(gè)分塊的SIFT特征向量； 合并模塊，用于合并每個(gè)分塊的SIFT特征向量，將每個(gè)分塊合并后的SIFT特征向量作為對(duì)應(yīng)新的二維人臉圖像的特征向量。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述合并模塊還用于: 對(duì)每個(gè)分塊合并后的SIFT特征向量進(jìn)行歸一化處理。
9.如權(quán)利要求7或8所述的系統(tǒng)，其特征在于，所述識(shí)別單元還包括: 強(qiáng)特征獲取模塊，用于基于新的二維人臉圖像的SIFT特征向量，獲取新的二維人臉圖像的強(qiáng)SIFT特征向量，其公式具體為: '=WtVs皿 其中，Vi表示第i個(gè)新的二維人臉圖像的強(qiáng)SIFT特征向量，VSIFTi表示第i個(gè)新的二維人臉圖像的SIFT特征向量，
10.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述識(shí)別單元將提取的所述待識(shí)別人臉圖像的SIFT特征向量與所述新的二維人臉圖像的SIFT特征向量進(jìn)行匹配的公式為:
f_l_VsiFTl VsiFT2 其中，Vsifti為所述待識(shí)別人臉圖像的SIFT特征向量，Vsift2為所述新的二維人臉圖像的SIFT特征向量，f值越小表示匹配度越高。
【文檔編號(hào)】G06K9/64GK103745209SQ201410040521
【公開日】2014年4月23日 申請(qǐng)日期:2014年1月27日 優(yōu)先權(quán)日:2014年1月27日
【發(fā)明者】馮良炳 申請(qǐng)人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院