三維人臉識別方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人臉圖像處理技術(shù)，特別是涉及一種三維人臉識別方法和系統(tǒng)。
【背景技術(shù)】
[0002] 三維數(shù)據(jù)處理一直是一個在計算機(jī)視覺和計算機(jī)圖形學(xué)方面不斷挑戰(zhàn)的難題，分 析和識別人臉已經(jīng)成為三維數(shù)據(jù)處理的重要分支。
[0003] 隨著人臉識別技術(shù)的發(fā)展，二維人臉識別已經(jīng)獲得了較高的準(zhǔn)確性，但是，其所使 用的灰度圖像對于極端應(yīng)用場景而言仍然無法實(shí)現(xiàn)準(zhǔn)確識別，并且由于二維人臉識別的不 足，還通過低成本的三維采集裝置來推動人臉識別性能的改進(jìn)，也就是說，三維面部數(shù)據(jù)和 二維面部數(shù)據(jù)相結(jié)合的人臉識別技術(shù)被提出，以改善人臉識別的有效性和準(zhǔn)確性。
[0004] 然而，三維面部數(shù)據(jù)和二維面部數(shù)據(jù)相結(jié)合的人臉識別技術(shù)需要昂貴的計算成本 且要求巨大的存儲空間，進(jìn)而并不適用于人臉識別技術(shù)的廣泛應(yīng)用。

【發(fā)明內(nèi)容】

[0005] 基于此，有必要針對如上所述的技術(shù)問題，提供一種能降低計算成本和所需存儲 空間的三維人臉識別方法。
[0006] 此外，還有提供一種能降低計算成本和所需存儲空間的三維人臉識別系統(tǒng)。
[0007] -種三維人臉識別方法，包括如下步驟：
[0008] 通過三維面部參考模型對輸入的雙目視覺圖像對進(jìn)行姿態(tài)估計，以得到姿態(tài)參數(shù) 和三維面部參考模型相對所述雙目視覺圖像對的虛擬圖像對；
[0009] 以所述虛擬圖像對為先驗(yàn)信息重建所述雙目視覺圖像對的面部深度圖像；
[0010] 根據(jù)所述姿態(tài)參數(shù)檢測所述面部深度圖像中特征點(diǎn)所對應(yīng)的局部網(wǎng)格尺度不變 特征描述符；
[0011] 根據(jù)所述檢測得到的局部網(wǎng)格尺度不變特征描述符和附帶類別標(biāo)注的訓(xùn)練數(shù)據(jù) 生成所述雙目視覺圖像對的識別結(jié)果。
[0012] 一種三維人臉識別系統(tǒng)，包括：
[0013] 輸入圖像處理模塊，用于通過三維面部參考模型對輸入的雙目視覺圖像對進(jìn)行姿 態(tài)估計，以得到姿態(tài)參數(shù)和三維面部參考模型相對雙目視覺圖像對的虛擬圖像對；
[0014] 圖像重建模塊，用于以所述虛擬圖像對為先驗(yàn)信息重建所述雙目視覺圖像對的面 部深度圖像；
[0015] 檢測模塊，用于根據(jù)所述姿態(tài)參數(shù)檢測所述面部深度圖像中特征點(diǎn)所對應(yīng)的局部 網(wǎng)格尺度不變特征描述符；
[0016] 結(jié)果生成模塊，用于根據(jù)所述檢測得到的局部網(wǎng)格尺度不變特征描述符和附帶類 別標(biāo)注的訓(xùn)練數(shù)據(jù)生成所述雙目視覺圖像對的識別結(jié)果。
[0017] 上述三維人臉識別方法和系統(tǒng)，通過三維面部參考模型對輸入的雙目視覺圖像對 進(jìn)行姿態(tài)估計，以得到姿態(tài)參數(shù)和三維面部參考模型相對雙目視覺圖像對的虛擬圖像對， 以虛擬圖像對為先驗(yàn)信息重建雙目視覺圖像對的面部深度圖像，根據(jù)姿態(tài)參數(shù)檢測面部深 度圖像中特征點(diǎn)所對應(yīng)的局部網(wǎng)格尺度不變特征描述符，進(jìn)而根據(jù)檢測得到的局部網(wǎng)格尺 度不變特征描述符和附帶類別標(biāo)注的訓(xùn)練數(shù)據(jù)生成雙目視覺圖像對的識別結(jié)果，由于局部 網(wǎng)格尺度不變特征描述符是一種尺度和旋轉(zhuǎn)不變的特征描述符，可有效克服復(fù)雜背影和極 端應(yīng)用場景的干擾，降低計算成本和所需存儲空間，從而有效提高三維人臉識別的魯棒性 和一致性。
【附圖說明】
[0018] 圖1為一個實(shí)施例中三維人臉識別方法的流程圖；
[0019] 圖2為圖1中通過三維面部參考模型對輸入的雙目視覺圖像對進(jìn)行姿態(tài)估計，以 得到姿態(tài)參數(shù)和三維面部參考模型相對雙目視覺圖像對的虛擬圖像對的方法流程圖；
[0020] 圖3為一個實(shí)施例中雙目視覺圖像對的左側(cè)視覺圖像；
[0021] 圖4為一個實(shí)施例中雙目視覺圖像對的右側(cè)視覺圖像；
[0022] 圖5為與圖3中左側(cè)視覺圖像對應(yīng)的左側(cè)虛擬圖像；
[0023] 圖6為與圖4中右側(cè)視覺圖像對應(yīng)的右側(cè)虛擬圖像；
[0024] 圖7為圖1中以虛擬圖像對為先驗(yàn)信息重建雙目視覺圖像對的面部深度圖像的方 法流程圖；
[0025] 圖8為一個實(shí)施例中面部深度圖像的示意圖；
[0026] 圖9為一個實(shí)施例中進(jìn)行面部分割所得到的若干個面部區(qū)域示意圖；
[0027] 圖10為圖1中根據(jù)姿態(tài)參數(shù)檢測面部深度圖像中特征點(diǎn)所對應(yīng)的局部網(wǎng)格尺度 不變特征描述符的方法流程圖；
[0028] 圖11為一個實(shí)施例中計算得到特征點(diǎn)對應(yīng)的局部網(wǎng)格尺度不變特征描述符的應(yīng) 用意圖；
[0029] 圖12為一個實(shí)施例中根據(jù)檢測得到的局部網(wǎng)格尺度不變特征描述符和附帶類別 標(biāo)注的訓(xùn)練數(shù)據(jù)生成雙目視覺圖像對的識別結(jié)果的方法流程圖；
[0030] 圖13為圖12中對雙目視覺圖像對的視覺編碼和每一樣本所對應(yīng)的視覺編碼進(jìn)行 計算，并根據(jù)得到的計算結(jié)果生成雙目視覺圖像對的識別結(jié)果的方法流程圖；
[0031] 圖14為一個實(shí)施例中通過局部網(wǎng)格尺度不變特征描述符構(gòu)建以新增用戶的雙目 視覺圖像對為樣本的類別標(biāo)注和視覺編碼的方法流程圖；
[0032] 圖15為一個實(shí)施例中三維人臉識別系統(tǒng)的結(jié)構(gòu)示意圖；
[0033] 圖16為圖15中輸入圖像處理模塊的結(jié)構(gòu)示意圖；
[0034] 圖17為圖15中圖像重建模塊的結(jié)構(gòu)示意圖；
[0035] 圖18為圖15中檢測模塊的結(jié)構(gòu)示意圖；
[0036] 圖19為圖15中結(jié)果生成模塊的結(jié)構(gòu)示意圖；
[0037] 圖20為圖19中結(jié)果計算單元的結(jié)構(gòu)示意圖；
[0038] 圖21為一個實(shí)施例中樣本構(gòu)建模塊的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0039] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0040] 如圖1所示，在一個實(shí)施例中，一種三維人臉識別方法，包括如下步驟：
[0041] 步驟110,通過三維面部參考模型對輸入的雙目視覺圖像對進(jìn)行姿態(tài)估計，以得到 姿態(tài)參數(shù)和三維面部參考模型相對雙目視覺圖像對的虛擬圖像對。
[0042] 本實(shí)施例中，三維面部參考模型是由校準(zhǔn)的攝像機(jī)預(yù)先拍攝得到的雙目面部視 圖，其中，預(yù)先拍攝得到的雙目面部視圖包括了左側(cè)面部視圖和右側(cè)面部視圖，左側(cè)面部視 圖和右側(cè)面部視圖中特征點(diǎn)坐標(biāo)也是預(yù)先確定的。
[0043] 輸入的雙目視覺圖像對是用戶進(jìn)行三維人臉識別的身份驗(yàn)證時所捕捉并校準(zhǔn)后 的用戶的一對視覺圖像，以保證后續(xù)的準(zhǔn)確處理。具體的，雙目視覺圖像對包括左側(cè)視覺圖 像和右側(cè)視覺圖像，將滿足極線約束條件，即左側(cè)視覺圖像中在一條水平線上的點(diǎn)在右側(cè) 視覺圖像中也在同一條水平線上。
[0044] 在三維面部參考模型的作用下，對雙目視覺圖像對進(jìn)行姿態(tài)估計以得到雙目視覺 圖像對中的人臉姿態(tài)和虛擬圖像對，其中，人臉姿態(tài)將以姿態(tài)參數(shù)表征，將表明了雙目視覺 圖像中人臉在三維空間的旋轉(zhuǎn)角度以及人臉映射到二維平面中的位置。虛擬圖像對則包含 了與三維面部參考模型的人臉，但該人臉則與雙目視覺圖像對中的人臉姿態(tài)和大小相一致 的一對圖像。
[0045] 步驟130,以虛擬圖像對為先驗(yàn)信息重建雙目視覺圖像對的面部深度圖像。
[0046] 本實(shí)施例中，面部深度圖像是與雙目視覺圖像對中的人臉相對應(yīng)，且包含了深度 信息的圖像。由于虛擬圖像對是與三維面部參考模型相對應(yīng)的，虛擬圖像對中特征點(diǎn)的坐 標(biāo)等信息均可由三維面部參考模型得到，因此，將以虛擬圖像對作為先驗(yàn)信息來進(jìn)行雙目 視覺圖像對的面部深度圖像的重建。
[0047] 步驟150,根據(jù)姿態(tài)參數(shù)檢測面部深度圖像中特征點(diǎn)所對應(yīng)的局部網(wǎng)格尺度不變 特征描述符。
[0048] 本實(shí)施例中，特征點(diǎn)指的是用于進(jìn)行面部識別的關(guān)鍵點(diǎn)，例如，特征點(diǎn)可以是鼻子 上的點(diǎn)、左眼上的點(diǎn)以及右眼上的點(diǎn)等，將通過能夠有效反映了三維面部形狀中尺度和旋 轉(zhuǎn)不變性的局部網(wǎng)格尺度不變特征描述符（SIFT特征）來進(jìn)行特征點(diǎn)的準(zhǔn)確描述，以保證 了特征點(diǎn)的一致性，進(jìn)而提高了三維面部形狀描述的準(zhǔn)確性和魯棒性。
[0049] 具體的，將檢測面部深度圖像中的特征點(diǎn)，以得到可準(zhǔn)確代表三維面部形狀的若 干個特征點(diǎn)，進(jìn)而進(jìn)行局部網(wǎng)格尺度不變特征描述符的計算，以得到每一特征點(diǎn)所對應(yīng)的 局部網(wǎng)格尺度不變特征描述符。
[0050] 步驟170,根據(jù)檢測得到的局部網(wǎng)格尺度不變特征描述符和附帶類別標(biāo)注的訓(xùn)練 數(shù)據(jù)生成雙目視覺圖像對的識別結(jié)果。
[0051] 本實(shí)施例中，訓(xùn)練數(shù)據(jù)包括了若干個用戶的樣本以及每一樣本所附帶的類別標(biāo) 注，類別標(biāo)注將標(biāo)記了用戶所屬的類別。例如，對于每一用戶而言，其所對應(yīng)的樣本以及類 別標(biāo)注將為其再次完成身份驗(yàn)證提供憑據(jù)。
[0052] 檢測得到用戶輸入的雙目視覺圖像對中特征點(diǎn)所對應(yīng)的局部網(wǎng)格尺度不變特征 描述符之后，將根據(jù)局部網(wǎng)格尺度不變特征描述符和訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)用戶輸入的雙目視覺圖 像對和訓(xùn)練數(shù)據(jù)中樣本的比對，進(jìn)而獲知該用戶是否通過身份驗(yàn)證，以得到相應(yīng)的識別結(jié) 果。
[0053] 通過如上所述的方式引入局部網(wǎng)格尺度不變特征描述符對輸入的雙目視覺圖像 對進(jìn)行描述，并且由于局部網(wǎng)格尺度不變特征描述符的尺度和旋轉(zhuǎn)不變性，進(jìn)而使得輸入 的雙目視覺圖像對的描述更為準(zhǔn)確且魯棒性和一致性更佳，以保障了三維人臉識別過程中 的魯棒性和一致性。
[0054] 如圖2所示，在一個實(shí)施例中，上述步驟110包括：
[0055] 步驟111，獲取輸入的雙目視覺圖像對。
[0056] 本實(shí)施例中，通過標(biāo)定的攝像機(jī)所進(jìn)行的拍攝得到雙目視覺圖像對，并對拍攝所 得到的雙目視覺圖像對進(jìn)行校準(zhǔn)，以使得雙目視覺圖像對中左側(cè)視覺圖像和右側(cè)視覺圖像 中相應(yīng)點(diǎn)的位置處于同一條水平線上，在完成了雙目視覺圖像對的校準(zhǔn)之后將校準(zhǔn)的雙目 視覺圖像對作為三維人臉識別中輸入的雙目視覺圖像對。
[0057] 步驟113,對三維面部參考模型進(jìn)行投影得到與雙目視覺圖像對姿態(tài)一致的虛擬 圖像對。
[0058] 本實(shí)施例中，以輸入的雙目視覺圖像對為基準(zhǔn)對三維面部參考模型進(jìn)行正交投 影，以得到虛擬圖像對，其中，虛擬圖像對中面部形狀將與三維面部參考模型中的三維面部 形狀一致，但是，虛擬圖像對中面部形狀的姿態(tài)將與輸入的雙目視覺圖像對中人臉的姿態(tài) 相一致