專利名稱：基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種處理紅外人臉識別中眼鏡干擾的方法，具體是一種基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，用于圖像處理領(lǐng)域。
背景技術(shù)：
在過去的十年里，人臉識別的研究得到了前所未有的重視。與指紋、虹膜等其它鑒別技術(shù)不同，人臉識別更加直接、友好，而且使用者無心理障礙。目前的人臉識別系統(tǒng)在限制條件下可以達(dá)到很高的精度，但是在實際應(yīng)用中仍存在問題。很多因素都會影響識別的性能，譬如人臉旋轉(zhuǎn)、面部表情、人臉的遮擋，還有光照的變化。目前的研究表明，紅外人臉識別也可以作為一種很好的生物鑒定技術(shù)，在很多情況下甚至優(yōu)于可見光人臉識別。紅外圖像對光照的變化不敏感，即便在全黑的條件下也不影響識別的效果。但是，紅外圖像也有自己的缺陷。由于紅外不能穿透玻璃，造成戴眼鏡的人臉有很大一塊區(qū)域被遮擋，嚴(yán)重影響了識別的效果。為了消除眼鏡對紅外識別的干擾，一些研究者提出了與可見光人臉進(jìn)行融合識別的方案。融合雖是一個不錯的解決方向，但需要多增加一個傳感器，同時還需要研究合適的融合策略。
經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，T.Kurita等人在《IEEE Conference onAdvanced Video and Signal Based Surveillance》(Florida，pp.53-58，2003)上發(fā)表的“Recognition and Detection of Occluded Faces by a Neural NetworkClassifier with Recursive Data Reconstruction，”(“基于神經(jīng)網(wǎng)絡(luò)和遞歸數(shù)據(jù)重構(gòu)的遮擋人臉檢測和識別，”美國電氣電子工程師學(xué)會關(guān)于視頻和監(jiān)控信號研討會，佛羅里達(dá)，PP.53-58，2003)，該文在可見光人臉識別中，提出了處理遮擋干擾的方法，但是這些方法算法復(fù)雜、運算量大，且沒有考慮到紅外人臉的特性。因此從紅外人臉自身出發(fā)解決眼鏡干擾的問題一直未得到很好的解決。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，使其能夠有效地提高了紅外人臉的識別率，簡單實用，達(dá)到理想的效果。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明對戴眼鏡的紅外人臉圖進(jìn)行區(qū)域特征元補償。輸入一張紅外人臉圖，假設(shè)輸入的紅外人臉圖已經(jīng)經(jīng)過規(guī)一化處理，規(guī)一化的目的是使輸入的人臉在位置和尺度上保持一致。首先進(jìn)行眼鏡檢測，判斷紅外人臉是否戴眼鏡。對于不戴眼鏡的紅外人臉圖，直接按特征臉分析和最近鄰分類得到識別結(jié)果。對于戴眼鏡的紅外人臉圖，在對它進(jìn)行特征臉分析后，還要進(jìn)行區(qū)域的特征元補償，然后再進(jìn)行最近鄰分類。
以下對本發(fā)明作進(jìn)一步的說明，包括如下具體步驟(1)對紅外人臉圖進(jìn)行眼鏡的檢測。這一步很重要，采用的檢測方法能達(dá)到什么的檢測率和虛警率對后面的影響很大。本發(fā)明根據(jù)紅外人臉的一些特性，用一種更為簡單實用的方法進(jìn)行眼鏡的檢測，即采用閾值分割、形態(tài)學(xué)濾波和三約束判斷。如果檢測出不戴眼鏡，則接下去執(zhí)行步驟(2)、(4)；如果戴眼鏡，則接下去執(zhí)行步驟(2)、(3)、(4)。
(2)特征臉分析。特征臉方法是從主成分分析(Principal ComponentAnalysis)導(dǎo)出的一種人臉識別和描述技術(shù)，其目的是在人臉數(shù)據(jù)空間中找一組基向量(特征臉)以盡可能地解釋數(shù)據(jù)的方差，將數(shù)據(jù)從原來的R維空間降維投影到M維空間 在降維后保存了數(shù)據(jù)中的主要信息，從而使數(shù)據(jù)更易于處理。
(3)區(qū)域特征元補償。通過特征臉分析，得到戴眼鏡紅外人臉的特征元向量。根據(jù)這個已知特征元向量，在特征臉空間進(jìn)行變換，利用眼鏡遮擋區(qū)域的平均信息，可以估計出不戴眼鏡情況下紅外人臉的特征元向量。根據(jù)這個估計的特征元向量，進(jìn)行下面的分類。
(4)分類。用基于歐氏距離的最近鄰方法對輸入向量進(jìn)行分類識別。
本發(fā)明在對紅外人臉眼鏡檢測的基礎(chǔ)上，針對不同的情況進(jìn)行不同的識別處理。對于不戴眼鏡的情況，直接用特征臉分析和最近鄰分類進(jìn)行人臉識別，這使得識別效果不會受到補償方法的負(fù)面影響；對于戴眼鏡的情況，通過區(qū)域特征元的補償，有效地抑制了眼鏡帶來的干擾。采用基于區(qū)域特征元補償?shù)姆椒ù蟠筇岣吡思t外人臉的識別率，方法簡單有效，在實際應(yīng)用中具有重要意義和實用價值。


圖1為本發(fā)明方法流程圖。
圖2為紅外人臉的眼鏡檢測過程示意圖。
其中，圖2(a)為原始圖；圖2(b)為分割后的二值圖；圖2(c)形態(tài)學(xué)濾波的結(jié)果。
圖3為眼鏡區(qū)域的特征元信息獲取示意圖。
其中，圖3(a)為不戴眼鏡的平均值；圖3(b)為戴眼鏡的平均值；圖3(c)為眼鏡區(qū)域的平均信息；圖3(d)為眼鏡區(qū)域的特征元信息。
圖4為紅外人臉的識別率比較。
其中test no是不戴眼鏡的紅外人臉在特征臉分析和最近鄰分類下的識別率；test_glass1是戴眼鏡的紅外人臉在特征臉分析和最近鄰分類下的識別率；test_glass2是戴眼鏡的紅外人臉在用本發(fā)明所提的區(qū)域特征元補償方法下的識別率。
具體實施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對本發(fā)明的實施方式作進(jìn)一步描述。
如圖1所示，為本發(fā)明方法流程圖。輸入一張紅外人臉圖，首先進(jìn)行眼鏡檢測，判斷紅外人臉是否戴眼鏡。對于不戴眼鏡的紅外人臉圖，直接按特征臉分析和最近鄰分類得到識別結(jié)果。對于戴眼鏡的紅外人臉圖，在對它進(jìn)行特征臉分析后，還要進(jìn)行區(qū)域的特征元補償，然后再進(jìn)行最近鄰分類。
各部分具體實施細(xì)節(jié)如下1.紅外人臉眼鏡的檢測人們通常采用橢圓匹配法對眼鏡進(jìn)行檢測，運算量比較大，檢測精度也不是很高，其中正確檢測率為86.6％，虛警率為2.9％。
紅外人臉有自己的一些特性，譬如臉部的溫度一般介于區(qū)間(35℃～42℃)，紅外不能穿透玻璃，造成眼鏡區(qū)域的灰度值基本保持在一個很小的區(qū)間θ。因此，本發(fā)明用一種更為簡單實用的方法進(jìn)行眼鏡的檢測。
首先根據(jù)區(qū)間θ對圖像進(jìn)行二值化處理。然后進(jìn)行形態(tài)學(xué)濾波，結(jié)構(gòu)元素設(shè)計成圓形，尺寸約取紅外人臉圖上鏡片內(nèi)切圓的一半。這樣基本上可以將眼鏡干凈地提取出來。最后，用尺寸約束(鏡片面積最大閾值)、位置約束(兩塊鏡片的中心應(yīng)基本水平，且間距落在一定的區(qū)間)和相似度約束(兩塊鏡片的面積基本相同)進(jìn)行校驗。圖2表示紅外人臉的眼鏡檢測過程。用戴眼鏡和不戴眼鏡的紅外人臉圖各1000張進(jìn)行實驗，發(fā)現(xiàn)該方法的正確檢測率可以提高到98.4％，虛警率降低到0％。
2.用特征臉方法提取紅外人臉特征令人臉圖Γ(x，y)為一個2維的N×N矩陣，它同時也可以表示為一個N2的向量Γn。令訓(xùn)練庫的人臉圖為Γ1，Γ2，Γ3，…，Γ4。庫中人臉的平均值定義為Ψ=1MΣn=1MΓn---(1)]]>其中M是訓(xùn)練庫人臉的數(shù)目。
每張人臉與平均值的差值為Φn＝Γn-Ψ。協(xié)方差矩陣由下式確定C=1MΣn=1MΦnΦnT=AAT---(2)]]>其中矩陣A＝[Ф1，Φ2，…，ΦM]。特征臉空間可以通過計算C的特征向量un得到。因為C非常大，需要-種計算可行的方法得到這些特征向量。
令vn為ATA的特征向量，即ATAvn＝λnvn(3)等式兩邊乘于A，得到AATAvn＝Aλnvn＝λnAvn(4)Avn即為C的特征向量。因此un可以從vn中計算得到un=Σk=1MvnkΦk,n=1,2,…,M---(5)]]>僅取前M′個最大特征值對應(yīng)的特征向量計算特征臉。這樣，特征向量的數(shù)目由M降為M′。一張新的人臉圖Γ由下式映射得到它的特征元
ωn=unT(Γ-Ψ),n=1,2,…,M′---(6)]]>這些特征元構(gòu)成特征元向量ΩT＝[ω1，ω2，…，ωM′]，該向量可以用來判斷這張新的人臉屬于預(yù)先定義的哪一類。
3.區(qū)域特征元補償令Γg為一張戴眼鏡的紅外人臉圖，Γ為相同情況下不戴眼鏡時的紅外人臉圖，則眼鏡遮擋區(qū)域的信息N可以表示為N＝Γ-Γg(7)將Γg投影到特征臉空間U＝[u1，u2，…，uM′]，可以得到它的特征元向量ΩgΩg＝UT(Γg-Ψ)＝UT(Γ-N-Ψ)＝Ω-ΩN(8)其中Ω為Γ對應(yīng)的特征元向量，ΩN為眼鏡遮擋區(qū)域N對應(yīng)的特征元向量。
通過下式對眼鏡造成的信息損失進(jìn)行補償Ω^=Ωg+Ω‾N---(9)]]>其中ΩN為通過統(tǒng)計平均得到的眼鏡遮擋區(qū)域信息后所對應(yīng)的特征元向量， 用來判斷戴眼鏡的人臉屬于哪一類。
圖3表示紅外人臉眼鏡區(qū)域平均信息對應(yīng)的特征元向量ΩN的獲取過程。首先計算紅外人臉的特征臉空間。然后分別對不戴眼鏡的紅外人臉庫和戴眼鏡的紅外人臉庫求平均，兩者之差可以認(rèn)為是眼鏡區(qū)域的統(tǒng)計平均信息。最后將該平均信息映射到特征臉空間，得到眼鏡區(qū)域的特征元信息。
4.分類得到識別結(jié)果。
采用基于歐氏距離的最近鄰方法對輸入向量Ω進(jìn)行分類識別。令Ωk為描述第k類人臉的特征元向量，將測試人臉Γ判給類j，如果滿足下式ϵj=minkϵk=mink||Ω-Ωk||---(10)]]>在實驗中，創(chuàng)建了1個訓(xùn)練庫train_no和3個測試庫test_no、test_glass1、test_glass2，選取了40個對象。
train_no訓(xùn)練庫中，每個對象有2張訓(xùn)練圖，共80張，均不戴眼鏡。
test_no每個對象有10張測試圖，共400張，均不戴眼鏡。
test_glass1每個對象有10張測試圖，共400張，均戴眼鏡。
test_glass2每個對象有30張測試圖，共1200張，均戴眼鏡。
train_no用來計算紅外人臉的特征臉，并得到各個對象在特征臉空間的表示。通過test_no、test_glass1，可以對眼鏡的干擾進(jìn)行定量分析，并由這兩個庫獲得眼鏡區(qū)域的特征元信息。test_glass2是用來對本發(fā)明所提的區(qū)域特征元方法進(jìn)行驗證，庫中的測試圖與test_glass1無雷同。
圖4為三種測試條件下紅外人臉的識別率比較。test_no和test_glass1均采用特征臉分析方法，通過對兩者的比較，可以得到眼鏡對紅外識別的影響。不戴眼鏡情況下的識別率約為98％，而戴眼鏡情況下的識別率約為72％，眼鏡的存在使識別率降低了26％，嚴(yán)重影響了識別的效果。test_glass2采用本發(fā)明提出的區(qū)域特征元補償方法，識別率達(dá)到約91％，比test_glass1提高了19％，僅比test_no低7％。
在實際應(yīng)用中，本發(fā)明所提方法的識別率還依賴于眼鏡的檢測率和虛警率。由于本發(fā)明的紅外眼鏡檢測方法的檢測率為98.4％，虛警率為0％，因此仍能保證紅外人臉的識別率在不戴眼鏡時達(dá)到98％，戴眼鏡時達(dá)到90％。
權(quán)利要求
1.一種基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，其特征在于，對輸入的紅外人臉圖首先進(jìn)行眼鏡檢測，根據(jù)眼鏡是否存在作出相應(yīng)的處理，對不戴眼鏡的紅外人臉圖，經(jīng)過特征臉分析后，直接進(jìn)行最近鄰分類，得到識別結(jié)果；對戴眼鏡的紅外人臉圖，在經(jīng)過特征臉分析、得到特征元向量后，先進(jìn)行眼鏡區(qū)域的特征元補償，然后進(jìn)行最近鄰分類，得到識別結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，其特征是，通過步驟對其作進(jìn)一步限定(1)對紅外人臉圖進(jìn)行眼鏡的檢測根據(jù)紅外人臉的特性，采用閾值分割、形態(tài)學(xué)濾波和三約束判斷，如果檢測出不戴眼鏡，則接下去執(zhí)行步驟(2)、(4)，如果戴眼鏡，則接下去執(zhí)行步驟(2)、(3)、(4)；(2)特征臉分析特征臉方法是從主成分分析導(dǎo)出的一種人臉識別和描述技術(shù)，它在人臉數(shù)據(jù)空間中找一組基向量以盡可能地解釋數(shù)據(jù)的方差，將數(shù)據(jù)從原來的R維空間降維投影到M維空間R＞＞M，在降維后保存了數(shù)據(jù)中的主要信息，從而使數(shù)據(jù)更易于處理；(3)區(qū)域特征元補償通過特征臉分析，得到戴眼鏡紅外人臉的特征元向量，根據(jù)這個已知特征元向量，在特征臉空間進(jìn)行變換，利用眼鏡遮擋區(qū)域的平均信息，估計出不戴眼鏡情況下紅外人臉的特征元向量，根據(jù)這個估計的特征元向量，進(jìn)行下面的分類；(4)分類用基于歐氏距離的最近鄰方法對輸入向量進(jìn)行分類識別。
3.根據(jù)權(quán)利要求1或者2所述的基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，其特征是，所述的眼鏡檢測，采用以下方法實現(xiàn)首先根據(jù)區(qū)間θ對圖像進(jìn)行二值化處理，然后進(jìn)行形態(tài)學(xué)濾波，結(jié)構(gòu)元素設(shè)計成圓形，尺寸取紅外人臉圖上鏡片內(nèi)切圓的一半，這樣基本上將眼鏡干凈地提取出來，最后，用尺寸約束即鏡片面積最大閾值、位置約束即兩塊鏡片的中心應(yīng)基本水平，且間距落在一定的區(qū)間，和相似度約束即兩塊鏡片的面積基本相同進(jìn)行校驗。
4.根據(jù)權(quán)利要求1所述的基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，其特征是，眼鏡區(qū)域的特征元信息采用以下方法得到首先計算紅外人臉的特征臉空間，然后分別對不戴眼鏡的紅外人臉庫和戴眼鏡的紅外人臉庫求平均，兩者之差就是眼鏡區(qū)域的統(tǒng)計平均信息，最后將該平均信息映射到特征臉空間，得到眼鏡區(qū)域的特征元信息。
全文摘要
一種基于區(qū)域特征元補償?shù)募t外人臉眼鏡干擾消除方法，對輸入的紅外人臉圖首先進(jìn)行眼鏡檢測，根據(jù)眼鏡是否存在作出相應(yīng)的處理，對不戴眼鏡的紅外人臉圖，經(jīng)過特征臉分析后，直接進(jìn)行最近鄰分類，得到識別結(jié)果；對戴眼鏡的紅外人臉圖，在經(jīng)過特征臉分析、得到特征元向量后，先進(jìn)行眼鏡區(qū)域的特征元補償，然后進(jìn)行最近鄰分類，得到識別結(jié)果。本發(fā)明在對紅外人臉眼鏡檢測的基礎(chǔ)上，對于不戴眼鏡的，直接用特征臉分析和最近鄰分類進(jìn)行人臉識別，這使得識別效果不會受到補償方法的負(fù)面影響；對于戴眼鏡的，通過區(qū)域特征元的補償，有效地抑制了眼鏡帶來的干擾。本發(fā)明大大提高了紅外人臉的識別率，而且簡單有效，在實際應(yīng)用中具有重要意義和實用價值。
文檔編號G06K9/00GK1606029SQ20041006781
公開日2005年4月13日 申請日期2004年11月4日 優(yōu)先權(quán)日2004年11月4日
發(fā)明者敬忠良, 陳雪榮, 孫韶媛, 肖剛 申請人:上海交通大學(xué)