專利名稱：一種基于三維模型重建的人臉身份認(rèn)證方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機(jī)圖形圖像學(xué)技術(shù)領(lǐng)域的人臉模型建立及特征匹配的處理方法，具體地說是一種基于三維模型重建的人臉身份認(rèn)證的方法。
背景技術(shù)：
隨著計算機(jī)技術(shù)和生物醫(yī)學(xué)工程技術(shù)突飛猛進(jìn)的發(fā)展，利用人體生物特征來鑒別個人身份的生物識別技術(shù)成為驗證的首選方式。利用人臉對身份進(jìn)行認(rèn)證是人們?nèi)粘Ｉ钪凶畛Ｓ玫纳矸荽_認(rèn)手段，也是當(dāng)前最熱門的模式識別研究課題之一。雖然人臉識別的準(zhǔn)確性要低于虹膜識別和指紋識別，但是由于它是非接觸的、具有非侵犯性，因而人們對這種技術(shù)沒有任何的排斥心理，所以利用人臉進(jìn)行身份認(rèn)證是一種最友好的生物特征識別技術(shù)?，F(xiàn)有的人臉身份認(rèn)證技術(shù)主要包括利用人臉二維特征和人臉三維特征進(jìn)行人臉身份認(rèn)證。其中利用人臉二維特征進(jìn)行人臉身份認(rèn)證主要包括單張人臉圖像與單張人臉圖片身份認(rèn)證，視頻序列圖像與單張人臉圖像身份認(rèn)證以及視頻序列圖像與視頻序列圖像身份認(rèn)證三類。其中單張人臉圖像與單張人臉圖像身份認(rèn)證主要是指通過提取兩張人臉圖像的二維特征進(jìn)行特征相似度匹配從而進(jìn)行人臉身份認(rèn)證。具有代表性的方法有中國專利 《基于部件主分量分析的多模式人臉識別方法》，公開號CN1341401，該專利將人臉分為多個部件對每個部件利用特征臉的識別方法對人臉身份進(jìn)行認(rèn)證；中國專利《基于切信息的人臉識別方法》，公開號CN101079104，該專利通過提取人臉圖像的切信息對人臉身份進(jìn)行認(rèn)證；陳亮，公開號CN1013^724，一種優(yōu)化的人臉識別方法和裝置，該專利通過將主成分分析和線性判別分析結(jié)合起來對人臉身份進(jìn)行認(rèn)證。利用視頻圖像序列與單張人臉圖像進(jìn)行人臉身份認(rèn)證的主要有中國專利《數(shù)字視頻人臉自動識別系統(tǒng)》，公開號CN1403997，該專利通過隱馬爾可夫模型的識別方法，實現(xiàn)對人臉進(jìn)行身份認(rèn)證；中國專利《一種人臉識別系統(tǒng)》，公開號CN101140620，該專利將人臉身份認(rèn)證分為視頻采集模塊、預(yù)識別模塊、觸發(fā)模塊、存儲模塊以及中心控制模塊，其中中心控制模塊分別與視頻采集模塊、預(yù)識別模塊、觸發(fā)模塊和存儲模塊相連。利用視頻圖像序列與視頻圖像序列進(jìn)行人臉身份認(rèn)證的主要問題是對視頻中人臉信息的描述方法，傳統(tǒng)的方法主要包括利用一幅代表性圖像得到的特征；利用所有圖像得到的特征，如特征空間、示例等；利用概率密度函數(shù)刻畫視頻中的人臉分布，如高斯模型；利用動態(tài)模型刻畫視頻中人臉隨時間的動態(tài)變化，如隱馬爾科夫模型；利用流行刻畫視頻中的人臉分布，如分段線性PCA子空間等。以上是利用人臉二維特征來進(jìn)行人臉身份認(rèn)證的代表性方法，其主要缺點包括兩方面一方面，由于二維人臉圖像在獲取時受到光照、噪聲、表情以及人臉姿態(tài)等的影響較大，而只利用人臉二維特征又不能很好的消除這些影響，所以在人臉識別精度上受到了一定的影響。另一方面，這些方法進(jìn)行人臉身份認(rèn)證，需要事先采集認(rèn)證對象的人臉圖像庫或者視頻庫，從而不利于技術(shù)的推廣，在某些不具備采集條件的場合中不能運(yùn)用。
利用人臉三維特征對人臉身份進(jìn)行認(rèn)證主要包括文獻(xiàn)，Kwmg Ho An md Myung Jin Chung, Member, IEEE,Pose-Robust Face Recognition Based on Texture Mapping， Proceedings of the 17th IEEE International Symposium on Robot and Human Interactive Communication, Technische Univercity Munchen, Germany, August 1—3， 2008中所述二維人臉圖像與三維人臉之間的匹配，主要是通過將三維人臉經(jīng)過適當(dāng)?shù)耐队白儞Q到二維空間中再與人臉圖像進(jìn)行匹配，這種方法的局限性在于在對三維人臉進(jìn)行投影時丟失了大量的信息，同時由于三維人臉沒有紋理信息，所以在于二維圖像的匹配過程中匹配精度也并不是很高。還有文獻(xiàn)，Hyoungchul Shin, Kwanghoon Sohn, 3D Face Recognition with Geometrically Localized Surface Shape Indexes, Control, Automation, Robotics and Vision,2006. ICARCV' 06.9th International Conference on主要通過先獲取三維人臉，然后再根據(jù)三維人臉的空間中的各種幾何信息(如長度、 面積、曲率、體積、測地距等)特征對人臉進(jìn)行匹配。有關(guān)專利主要包括中國專利《一種基于網(wǎng)格的三維人臉識別方法》，公開號CN1932842，，該專利利用三維人臉的網(wǎng)格特征進(jìn)行人臉身份認(rèn)證，此外還中國專利《一種基于密集點對應(yīng)的快速三維人臉識別方法》，公開號 CN101650777,該專利利用三維人臉稀疏模型的點集距離進(jìn)行人臉身份認(rèn)證。而這些方法都需要先獲取三維人臉，但是由于三維人臉的獲取需要激光掃描儀，結(jié)構(gòu)光等較為昂貴的設(shè)備，并且采集的時間比較長，所以并不適合與推廣和運(yùn)用。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于三維模型重建的人臉身份認(rèn)證的方法，用于將圖像中的人臉與視頻中的人臉進(jìn)行比對，從而達(dá)到認(rèn)證的目的。為了解決上述技術(shù)問題，本發(fā)明公開了一種基于三維模型重建的實時人臉身份認(rèn)證技術(shù)，其特征在于，包括以下步驟步驟一，基于三維形變基的非線性優(yōu)化算法由身份證照片重建三維人臉，包括以下步驟步驟11 主動形狀模型(Active Shape Model，簡稱ASM)方法從身份證照片中定位人臉特征點從身份證照片中定位人臉區(qū)域，并在定位人臉區(qū)域的基礎(chǔ)上定位特征點，得到身份證照片中人臉的二維形狀特征點集Sid ；步驟12 非剛體形狀和運(yùn)動估計方法構(gòu)建三維形變基利用人臉圖像庫中的每一幅圖像分別采用步驟11中所示的方法定位人臉特征點，在此基礎(chǔ)上建立圖像庫的二維跟蹤矩陣W，然后最小二乘法和加入正交旋轉(zhuǎn)約束求解矯正矩陣G，最后采用奇異值分解的方法構(gòu)建三維形變基B;步驟12中所述的非剛體形狀和運(yùn)動估計方法構(gòu)建三維形變基具體包括以下步驟步驟121，對人臉圖像庫中選取的F幅人臉圖像定位人臉特征點，得到每一幅人臉圖像對應(yīng)的二維形狀特征點集Steain ；步驟122，將人臉圖像庫中的F幅人臉圖像上所有的二維形狀特征點集Steain進(jìn)行拼接，得到人臉圖像庫的二維跟蹤矩陣W ；
步驟123，對二維跟蹤矩陣W利用奇異值分解的方法得到一個姿態(tài)矩陣M及三維形狀基矩陣你；步驟124，根據(jù)正交旋轉(zhuǎn)約束利用最小二乘法求出矯正矩陣G ；步驟125，根據(jù)矯正矩陣G利用B=G^g求出三維形變基B。步驟13 非線性優(yōu)化算法求解三維形變基參數(shù)利用步驟12中得到的三維形變基對步驟11中定位的人臉特征點集進(jìn)行三維人臉重建，通過采用麥夸特二乘法 (Levenberg-Marquardt)最小化重建出的三維人臉與步驟11中定位的人臉特征點集之間的歐氏距離從而求解三維形變基參數(shù)。步驟13中非線性優(yōu)化算法求解三維形變基參數(shù)過程具體包括以下步驟步驟131，通過攝像機(jī)定標(biāo)獲得攝像機(jī)內(nèi)部矩陣A ；步驟132，非線性優(yōu)化求解旋轉(zhuǎn)矩陣R、平移矩陣T和形變基系數(shù)ρ ；所述步驟132包括以下步驟步驟1321，對旋轉(zhuǎn)矩陣R，平移矩陣T和形變基系數(shù)ρ進(jìn)行初始賦值；步驟1322，根據(jù)旋轉(zhuǎn)矩陣R，平移矩陣T和形變基系數(shù)ρ計算身份證照片中人臉三維模型，并將其投影到二維平面，得到身份證照片人臉二維形狀特征點集s'；步驟1323，計算二維平面投影點與步驟11從身份證照片中獲取的特征點集Sid之間的歐氏距離，如果距離小于閾值σ，則非線性優(yōu)化迭代算法終止輸出三維形變基參數(shù)，否則轉(zhuǎn)步驟1324 ；步驟1324，計算雅克比矩陣
權(quán)利要求
1.一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于，包括以下步驟 步驟一，基于三維形變基的非線性優(yōu)化法由身份證照片重建三維人臉模型； 步驟二，采用NSfM方法由視頻重建三維人臉模型；步驟三，采用幾何特征匹配進(jìn)行三維人臉身份認(rèn)證。
2.根據(jù)權(quán)利要求1所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟一包括以下步驟步驟(11)，從身份證照片中定位人臉區(qū)域，并在定位人臉區(qū)域的基礎(chǔ)上定位人臉特征點，得到身份證照片中人臉的二維形狀特征點集Sid ；步驟(12)，采用非剛體形狀和運(yùn)動估計方法構(gòu)建三維形變基B ； 步驟(13)，使用非線性優(yōu)化算法求解三維形變基B的參數(shù)。
3.根據(jù)權(quán)利要求2所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟(1 中所述的非剛體形狀和運(yùn)動估計方法構(gòu)建三維形變基具體包括以下步驟步驟(121)，對人臉圖像庫中選取的F幅人臉圖像定位人臉特征點，得到每一幅人臉圖像對應(yīng)的二維形狀特征點集Steain ；步驟(122)，將人臉圖像庫中的F幅人臉圖像上所有的二維形狀特征點集Steain進(jìn)行拼接，得到人臉圖像庫的二維跟蹤矩陣W ；步驟(123)，對二維跟蹤矩陣W利用奇異值分解的方法得到一個姿態(tài)矩陣M及三維形狀基矩陣你；步驟(IM)，根據(jù)正交旋轉(zhuǎn)約束利用最小二乘法求出矯正矩陣G ； 步驟(125)，根據(jù)矯正矩陣G利用B=G-1*^求出三維形變基B。
4.根據(jù)權(quán)利要求2所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟(1 中非線性優(yōu)化算法求解三維形變基參數(shù)過程具體包括以下步驟步驟(131)，通過攝像機(jī)定標(biāo)獲得攝像機(jī)內(nèi)部矩陣A ；步驟(13 ，非線性優(yōu)化求解旋轉(zhuǎn)矩陣R、平移矩陣T和形變基系數(shù)ρ ；所述步驟(13 包括以下步驟步驟(1321)，對旋轉(zhuǎn)矩陣R，平移矩陣T和形變基系數(shù)ρ進(jìn)行初始賦值； 步驟(132 ，根據(jù)旋轉(zhuǎn)矩陣R，平移矩陣T和形變基系數(shù)ρ計算身份證照片中人臉三維模型，并將其投影到二維平面，得到身份證照片人臉二維形狀特征點集s'；步驟(1323)，計算二維平面投影點與步驟(11)從身份證照片中獲取的特征點集Sid之間的歐氏距離，如果距離小于閾值σ，則非線性優(yōu)化迭代算法終止輸出三維形變基參數(shù)，否則轉(zhuǎn)步驟(1324)；步驟(13Μ)，計算雅克比矩陣
5.根據(jù)權(quán)利要求2所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟二包括以下步驟步驟(21)，跟蹤定位視頻中的人臉特征點對視頻中的每一幀進(jìn)行人臉區(qū)域定位，并在定位的基礎(chǔ)上對視頻中的每一幀圖像跟蹤定位人臉特征點，得到每一幀人臉圖像對應(yīng)的二維形狀特征點集Svideo ‘步驟(22)，人臉模型向量化將多幀人臉視頻中得到的人臉特征點用向量的方式表示，對視頻中人臉進(jìn)行三維人臉模型建模；步驟(23)，求解三維人臉模型參數(shù)循環(huán)迭代計算所述三維人臉模型參數(shù)。
6.根據(jù)權(quán)利要求5所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟采用結(jié)合盧卡斯光流跟蹤算法的主動形狀模型跟蹤定位視頻中人臉特征點集， 具體包括以下步驟步驟011)，如果是視頻的第一幀，利用主動形狀模型特征點定位方法定位該幀人臉圖像的二維形狀特征點集，轉(zhuǎn)下一幀；步驟012)，根據(jù)上一幀定位的二維形狀特征點集，利用幀差法在視頻中的人臉區(qū)域內(nèi)尋找適合光流跟蹤的特征點，得到點集S。p ；步驟013)，在當(dāng)前幀中，用特征點跟蹤算法，計算跟蹤成功的特征點S。p ；步驟(214)，除去光流跟蹤失敗的點，由點集S。p和特征點S。p擬合出仿射變換參數(shù)aff 和變換參數(shù)b ；步驟(21 ，由上一幀的定位的二維形狀特征點，得到當(dāng)前幀在仿射變換(aff， b)作用下的對應(yīng)二維形狀特征點集S1 ；步驟016)，將SJt為當(dāng)前幀的初始形狀，根據(jù)ASM特征點定位算法得到當(dāng)前幀的最后二維形狀特征Svideo ‘步驟017)，判斷當(dāng)前幀是否為視頻的最后一幀，如果是最后一幀則算法結(jié)束，否則令二維形狀特征點集Svidra作為下一幀輸入即&rf。re = Svide。，轉(zhuǎn)步驟(212)。
7.根據(jù)權(quán)利要求2所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟三包括以下步驟步驟(31)，基于特征點的人臉幾何特征提取對步驟(1)和步驟中重建的三維人臉根據(jù)三維人臉模型上的特征點分別計算兩個三維人臉的幾何特征；步驟(32)，計算兩個三維人臉幾何特征的相似度Sim ；步驟(33)，比較相似度Sim與預(yù)設(shè)定閾值α的大小關(guān)系，如果相似度Sim大于閾值α 則認(rèn)為兩者是不同人臉，否則認(rèn)為兩者是相同的人臉；。
8.根據(jù)權(quán)利要求7所述的一種基于三維模型重建的人臉身份認(rèn)證方法，其特征在于， 步驟三中基于特征點的人臉幾何特征提取將人臉幾何特征分為整體特征，五官分布特征， 鼻子特征，眼部特征，嘴部特征五個部分。
全文摘要
本發(fā)明公開了一種基于三維模型重建的人臉身份認(rèn)證方法，本方法分別從身份證照片和實時視頻中重建三維人臉模型并進(jìn)行三維幾何特征匹配的策略來實現(xiàn)實時人臉身份認(rèn)證。包括(1)采用基于三維形變基的非線性優(yōu)化算法從身份證照片中重建三維人臉模型。(2)采用從運(yùn)動中恢復(fù)非剛體三維形狀方法從實時視頻中重建三維人臉模型。(3)采用幾何特征的三維人臉匹配認(rèn)證。本發(fā)明可以支持用戶用第二代身份證和人臉的一段視頻來進(jìn)行身份認(rèn)證，大大提高了比對的精確性和效率，使得使用計算機(jī)進(jìn)行人像比對成為一種可行的技術(shù)。
文檔編號G06K9/00GK102254154SQ201110186128
公開日2011年11月23日 申請日期2011年7月5日 優(yōu)先權(quán)日2011年7月5日
發(fā)明者孫正興, 李毅, 李騫, 楊克微 申請人:南京大學(xué)