專利名稱：基于多特征融合的人臉遮擋檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻檢測(cè)方法，尤其是應(yīng)用于人臉遮擋檢測(cè)的視頻檢測(cè)方法。
背景技術(shù)：
ATM自動(dòng)柜員機(jī)在全國(guó)金融界的不斷普及，許多原來要在銀行網(wǎng)點(diǎn)辦理的業(yè)務(wù)現(xiàn)在都可以在自助銀行的ATM上自助進(jìn)行。儲(chǔ)戶可通過手中的銀行卡在ATM上進(jìn)行存、取款， 轉(zhuǎn)帳，自助交費(fèi)等服務(wù)。ATM給我們的生活帶來了許多方便，成為我們生活中密不可分的助手，已經(jīng)完全融入百姓的日常生活當(dāng)中。但是自助銀行作為無人值守、M小時(shí)提供金融服務(wù)的營(yíng)業(yè)場(chǎng)所，其相關(guān)設(shè)備和客戶交易過程的安全性一直是銀行安全保衛(wèi)部門的重要工作之一。而隨著金融業(yè)ATM自動(dòng)柜員機(jī)的大量使用也逐漸暴露出了一些問題，嚴(yán)重制約了 ATM 向更深層次更高要求發(fā)展。同時(shí)也產(chǎn)生了日益增多的ATM帳務(wù)糾紛及ATM金融犯罪案件。 如何保護(hù)銀行ATM的安全使用、防范各種針對(duì)ATM的犯罪行為是一個(gè)亟待解決的問題。目前，針對(duì)ATM自動(dòng)柜員機(jī)的視頻監(jiān)控錄像設(shè)備大都僅僅實(shí)現(xiàn)了通過攝像頭捕捉視頻，并保存到硬盤上的基本視頻監(jiān)控功能。隨著通過ATM實(shí)現(xiàn)經(jīng)濟(jì)詐騙等刑事案件的頻繁發(fā)生，如何有效、實(shí)時(shí)地監(jiān)控ATM用戶，判別ATM用戶的不尋常行為舉動(dòng)并及時(shí)發(fā)出警報(bào)非常重要。而很多犯罪分子都有一定的反偵查意識(shí)，在ATM機(jī)上辦理取款或轉(zhuǎn)賬時(shí)，會(huì)有意識(shí)的遮擋自己，比如帶帽子遮住上臉、帶口罩遮住下臉，以及用墨鏡來遮掩。針對(duì)這些由于遮擋而難以取證的問題，現(xiàn)有技術(shù)在這方面還做的不夠充足，不能實(shí)時(shí)發(fā)現(xiàn)故意遮擋的現(xiàn)象，從而給不法分子找到犯罪的漏洞。

發(fā)明內(nèi)容
本發(fā)明的基于多特征融合的人臉遮擋檢測(cè)方法提供了一種解決上述問題的方案， 提供一種性能更好、魯棒性更強(qiáng)的基于視頻分析技術(shù)的人臉遮擋檢測(cè)技術(shù)。本發(fā)明的技術(shù)方案是提供基于多特征融合的人臉遮擋檢測(cè)方法，該方法是在以數(shù)字?jǐn)z像機(jī)作為傳感器以及數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，其特征在于該方法包括以下步驟1)利用所述數(shù)字?jǐn)z像機(jī)采集監(jiān)控區(qū)域的數(shù)字視頻并將其轉(zhuǎn)換成數(shù)字圖像；2)應(yīng)用人臉檢測(cè)算法檢測(cè)1)中所述數(shù)字圖像獲取其中的人臉圖像；3)將2、中所述人臉圖像進(jìn)行轉(zhuǎn)正和縮放處理，并調(diào)整到固定分辯率，獲得規(guī)定化人臉圖像；4)將幻中所述規(guī)定化人臉圖像分成多個(gè)固定分辯率的單元格；5)計(jì)算4)中所述單元格的多種特征組成其單元格特征向量；6)應(yīng)用SVM分類器分析5)中所述單元格特征向量，判斷單元格是否遮擋；7)循環(huán)幻和6)步驟，遍歷分析幻中所有所述單元格是否遮擋；8)對(duì)7)中得到的單元格遮擋分析結(jié)果進(jìn)行統(tǒng)計(jì)分析，依據(jù)遮擋判別原則確定是否發(fā)出遮擋警報(bào)信號(hào)。
優(yōu)選的，步驟幻中所述規(guī)定化固定分辯率為120x140。優(yōu)選的，步驟4)中所述單元格分辯率為Mx20。優(yōu)選的，步驟5)中所述多種特征包括Haa r特征、LBP特征和HOG特征。優(yōu)選的，步驟8)中所述遮擋判別原則包含以下兩條①遮擋單元格總數(shù)超過設(shè)定的閾值；②相鄰遮擋單元格的個(gè)數(shù)超過設(shè)定的閾值。本發(fā)明的基于多特征融合的人臉遮擋檢測(cè)方法采用了 Haar、LBP和HOG等多特征融合模式，應(yīng)用SVM方法訓(xùn)練得到分類器。此外，為了增強(qiáng)對(duì)姿態(tài)的魯棒性，采用圖像分塊檢測(cè)的方法，用投票機(jī)制進(jìn)行遮擋判斷。實(shí)驗(yàn)結(jié)果表明對(duì)人臉圖像中的飾物遮擋問題，包括帽子遮擋、墨鏡遮擋、圍巾遮擋、手遮擋以及其他物品遮擋等具有較好的分類性能。本發(fā)明可以廣泛應(yīng)用于各種監(jiān)控場(chǎng)合，如ATM監(jiān)控系統(tǒng)，判斷取款人員是否有故意遮擋行為，從而篩選出可疑人員并進(jìn)行異常報(bào)警。


圖1是本發(fā)明的算法原理框圖； 圖2是Haar擴(kuò)展特征集原理圖； 圖3是LBP算子原理圖。
具體實(shí)施例方式下面對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)的描述。如圖1所示，本發(fā)明基于多特征融合的人臉遮擋檢測(cè)方法，首先進(jìn)行視頻采集，采集到的視頻信息依次經(jīng)過人臉檢測(cè)、人臉圖像處理、人臉圖像劃分單元格、計(jì)算單元格特征向量、支持向量機(jī)SVM(Support Vector Machine)分類器遮擋判斷、遍歷所有單元格，最后進(jìn)行綜合統(tǒng)計(jì)，判斷人臉是否遮擋。本發(fā)明的基于多特征融合的人臉遮擋檢測(cè)方法是在數(shù)字?jǐn)z像機(jī)作為傳感器的支持下實(shí)現(xiàn)的，人臉遮擋檢測(cè)原理主要是基于人臉分塊紋理特征的統(tǒng)計(jì)機(jī)器學(xué)習(xí)。以下結(jié)合附圖1所示的算法原理圖，詳細(xì)說明本發(fā)明的
具體實(shí)施例方式①采用數(shù)字?jǐn)z像機(jī)作為傳感器連續(xù)采集定點(diǎn)區(qū)域圖像形成數(shù)字視頻并轉(zhuǎn)換成多幀連續(xù)的數(shù)字圖像。數(shù)字?jǐn)z像機(jī)采用CCD或者CMOS等A/D芯片；視頻圖像采集裝置安裝在被監(jiān)控人的正前方。②應(yīng)用人臉檢測(cè)算法檢測(cè)①所述數(shù)字圖像獲取人臉圖像；③將②中所述人臉圖像進(jìn)行轉(zhuǎn)正和縮放處理，并規(guī)定化到分辯率120x140 ；④將③中所述規(guī)定化人臉圖像分成35個(gè)分辯率為Mx20的單元格，即分成7行5 列。⑤計(jì)算④中所述單元格的多種特征組成單元格特征向量，所述單元格特征優(yōu)選 Haar特征、LBP (局部二值模式LocalBinaryPattern)特征和HOG特征。Haar特征和LBP特征是灰度紋理特征，HOG是梯度方向直方圖。下面簡(jiǎn)述一下這三種特征Haar特征也稱為Haar小波算子，提取的圖像Haar特征是一種灰度紋理特征。Haar 特征包括邊緣特征、線性特征、中心特征和對(duì)角線特征，組合成特征模板。特征模板內(nèi)有白
4色和黑色兩種矩形，并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和。在確定了特征形式后類Harr特征的數(shù)量就取決于訓(xùn)練樣本圖像矩陣的大小，特征模板在子窗口內(nèi)任意放置，一種形態(tài)稱為一種特征，找出所有子窗口的特征是進(jìn)行弱分類訓(xùn)練的基礎(chǔ)。 Haar特征對(duì)圖像的結(jié)構(gòu)紋理(也稱為粗紋理)特征描述能力較強(qiáng)，但由于對(duì)光線比較敏感， 因此對(duì)圖像的細(xì)節(jié)紋理(也稱為細(xì)紋理)特征描述能力不穩(wěn)定，因此Haar特征比較適合于作為前置分類器，快速排除背景區(qū)域，為后續(xù)篩選保留了較小的候選集。Haar擴(kuò)展特征集原理如圖2所示。LBP特征叫做局部二元模式特征，是一種二進(jìn)制編碼特征。LBP算子如圖3所示，選取某一個(gè)像素為中心，將中心點(diǎn)像素的灰度值作為閾值并與3x3臨域的像素灰度值進(jìn)行數(shù)值大小比較，并把大于閾值的點(diǎn)置為1，反之置為0，然后逆時(shí)針方向得到一個(gè)8位的二進(jìn)制編碼10000011，這就是該像素的LBP特征值。擴(kuò)展的LBP算子有MB-LBP等。MB-LBP叫宏塊局部二元模式，以宏塊為最小單元進(jìn)行計(jì)算，宏塊直徑是可調(diào)的，當(dāng)宏塊直徑為1時(shí)就是經(jīng)典的基于像素的LBP，因此，MB-LBP能很好的描述細(xì)紋理又能很好的描述粗紋理。LBP抗光照不均能力很強(qiáng)，對(duì)圖像細(xì)節(jié)紋理特征描述穩(wěn)定，非常適合于對(duì)模式進(jìn)行精確分類，一般訓(xùn)練LBP分類器作為后置分類器，起到分類把關(guān)的作用。HOG特征稱為梯度方向直方圖特征，HOG提出的思想基于一個(gè)基本觀點(diǎn)物體的局部外觀和形狀能夠用局部像素的梯度值的分布或邊緣信息來描述，即使不知道對(duì)應(yīng)的梯度值或者邊緣位置的精確信息。方向梯度直方圖HOG描述子有很多優(yōu)點(diǎn)首先，由于HOG方法是在圖像的局部細(xì)胞單元上操作，所以它對(duì)圖像幾何的和光學(xué)的形變都能保持很好的不變性，這兩種形變只會(huì)出現(xiàn)在更大的空間領(lǐng)域上；其次，在粗的空域抽樣、精細(xì)的方向抽樣以及較強(qiáng)的局部光學(xué)歸一化等條件下，物體的細(xì)微形變可以被忽略而不影響檢測(cè)效果。方向梯度直方圖方法特別適合于做圖像中的行人檢測(cè)的。HOG特征的提取過程為首先將樣本按照4x4大小的單元進(jìn)行劃分，每個(gè)單元稱為一個(gè)子塊，再將田字結(jié)構(gòu)相鄰的4個(gè)子塊劃分為1個(gè)宏塊，宏塊按照每個(gè)子塊進(jìn)行滑動(dòng)生成；接著，計(jì)算每個(gè)子塊的梯度直方圖，方向bins的數(shù)量被設(shè)定為9，即每20度一個(gè)bin， 0-180與180-360的方向采用對(duì)等角相等的方法進(jìn)行歸類劃分；然后，再將每個(gè)宏塊中的4 個(gè)子塊的梯度直方圖連接起來形成一個(gè)36維的向量，這就是HOG特征描述子。為了提高精確度，把這些宏塊梯度方向直方圖在圖像更大的區(qū)域中進(jìn)行對(duì)比度歸一化，此方法通過先計(jì)算各宏塊梯度方向直方圖在這個(gè)區(qū)域中的密度，然后根據(jù)這個(gè)密度值對(duì)區(qū)域中的各個(gè)宏塊做歸一化。歸一化處理能對(duì)光照變化和陰影獲得更好的穩(wěn)定性。⑥應(yīng)用SVM分類器分析⑤中所述單元格特征向量，判斷單元格是否遮擋；SVM分類器是事先訓(xùn)練好的，采用了⑤中所述的Haar特征、LBP特征和HOG特征的多特征融合模式進(jìn)行訓(xùn)練。以下簡(jiǎn)述支持向量機(jī)SVM及其訓(xùn)練過程支持向量機(jī)SVM方法建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳的折衷，以期獲得最好的推廣能力(或稱泛化能力)。SVM的解是全局唯一的最優(yōu)解。SVM在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問題中。支持向量機(jī)SVM應(yīng)用方向有支持向量分類SVC和支持向量回歸SVR等。SVM主要思想概括為以下兩點(diǎn)(一 )針對(duì)線性可分情況進(jìn)行分析，對(duì)于線性不可分情況則通過非線性映射算法將低維輸入空間線性不可分樣本轉(zhuǎn)化為高維特征空間使其線性可分；( 二)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小原理，在高維特征空間中構(gòu)建最優(yōu)化分割超平面，使得學(xué)習(xí)器獲得全局最優(yōu)化，并且使其期望風(fēng)險(xiǎn)滿足可控上界。SVM用于分類的一般特征(一)SVM學(xué)習(xí)過程是一個(gè)凸二次規(guī)劃問題，可利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值；而如人工神經(jīng)網(wǎng)絡(luò)等其它分類方法都是基于貪心學(xué)習(xí)策略來搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解；(二)SVM通過最大化決策邊界的邊緣來控制模型的能力；(三)SVM對(duì)數(shù)據(jù)中每個(gè)分類屬性引入一個(gè)啞變量；(四)SVM可處理多類問題；(五)SVM應(yīng)用核函數(shù)巧妙的解決了從低維樣本空間向高維特征空間映射帶來的 “維數(shù)災(zāi)難”問題；常用的核函數(shù)有下面幾種(1)線性核函數(shù) K (X，y) = χ · y ；(2)多項(xiàng)式核函數(shù) K (x, y) = [ (χ · y) +1] d ；(3)徑向基函數(shù) K(x，y) = exp(-|x-y ~2/cT2)(4) 二層神經(jīng)網(wǎng)絡(luò)核函數(shù) K (x，y) = tanh(a(x · y)+b).SVM訓(xùn)練過程給定一個(gè)η組關(guān)系未知樣本的數(shù)據(jù)集H= {(xi，yi)}i = 1，. . . n，其中xi是輸入向量，yi是期望值，η是數(shù)據(jù)點(diǎn)的總數(shù)。SVM可以利用一個(gè)非線性映射，將數(shù)據(jù)χ映射到高維特征空間H，并在這個(gè)空間中進(jìn)行線性逼近。由統(tǒng)計(jì)學(xué)習(xí)理論可知，該函數(shù)具有以下形式
/(χ) =(0(pOc) + b(1)最優(yōu)的分類函數(shù)是通過在一定的約束條件下最小化結(jié)構(gòu)風(fēng)險(xiǎn)
「 ^ 1 Iliyll2 +C1Y L￡(y ^f(Xi))2Ifl
(2)其中Ml2使得函數(shù)更為平坦，稱為規(guī)則化項(xiàng)；第二項(xiàng)為經(jīng)驗(yàn)風(fēng)險(xiǎn)泛函，可由不
同的損失函數(shù)確定，常數(shù)C >0，懲罰函數(shù)，控制對(duì)超出誤差的樣本的懲罰程度。本文采用的 ε-不敏感損失函數(shù)，Le (yi f (Xi)) = max (| y^f (Xi) - ε，0)對(duì)于Le (Yi, f (Xi))，若估計(jì)輸出f(xi)與期望輸出yi的偏差的絕對(duì)值小于時(shí)候，
它等于0;否則，它等于偏差的絕對(duì)值減去ε，通過引入非負(fù)的松弛變量ξ” ξ Λ則上面的
等式可轉(zhuǎn)換為
ιι ιmin Il ^ll2 +C (《+O
s.t.
γ -ωφ(χ )-Β<ε + ξ ,
ω 爐(χ;) +厶一y,. + f，/ = l, L,lξ:' > 0引入拉格朗日函數(shù)，我們最終可以得到
ι(O-Yu(α,. -a^xi = 0
i=l
I/(x) = ^iaj-U^j(Xi) gj(x) + b
/=1 ι/(χ) = ^ (α. - a*)K{xt ,x) + b
i=]由此可得，引入核函數(shù)K(xi，xj)，上面式子可以變?yōu)镵(xi, xj)是向量xi，xj在特征空間(Xi)和(Xj)上的內(nèi)積，即K(xi, xj) = (xi) (Xj)。通過核函數(shù)所有的運(yùn)算都可以直接在輸入空間上計(jì)算，核函數(shù)的選擇對(duì)支持向量機(jī)
非常重要。⑦循環(huán)⑤和⑥步驟，遍歷分析③中所述所有單元格是否遮擋；⑧對(duì)⑦中得到的單元格遮擋分析結(jié)果進(jìn)行統(tǒng)計(jì)分析，依據(jù)遮擋判別原則確定是否發(fā)出遮擋警報(bào)信號(hào)；優(yōu)選遮擋判別原則包含以下兩條(一 )遮擋單元格總數(shù)超過設(shè)定的閾值；( 二)相臨遮擋單元格的個(gè)數(shù)超過設(shè)定的閾值；到此，一個(gè)人臉遮擋檢測(cè)器已經(jīng)實(shí)現(xiàn)。本發(fā)明融合了包括Haar特征、LBP特征和 HOG特征等多特征融合，采用SVM方法訓(xùn)練得到分類器。以上實(shí)施例僅為本發(fā)明其中的一種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來說， 在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
1.基于多特征融合的人臉遮擋檢測(cè)方法，該方法是在以數(shù)字?jǐn)z像機(jī)作為傳感器以及數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，其特征在于該方法包括以下步驟1)利用所述數(shù)字?jǐn)z像機(jī)采集監(jiān)控區(qū)域的數(shù)字視頻并將其轉(zhuǎn)換成數(shù)字圖像；2)應(yīng)用人臉檢測(cè)算法檢測(cè)1)中所述數(shù)字圖像獲取其中的人臉圖像；3)將2)中所述人臉圖像進(jìn)行轉(zhuǎn)正和縮放處理，并調(diào)整到固定分辯率，獲得規(guī)定化人臉圖像；4)將3)中所述規(guī)定化人臉圖像分成多個(gè)固定分辯率的單元格；5)計(jì)算4)中所述單元格的多種特征組成其單元格特征向量；6)應(yīng)用SVM分類器分析5)中所述單元格特征向量，判斷單元格是否遮擋；7)循環(huán)5)和6)步驟，遍歷分析3)中所有所述單元格是否遮擋；8)對(duì)7)中得到的單元格遮擋分析結(jié)果進(jìn)行統(tǒng)計(jì)分析，依據(jù)遮擋判別原則確定是否發(fā)出遮擋警報(bào)信號(hào)。
2.根據(jù)權(quán)利要求1所述的基于多特征融合的人臉遮擋檢測(cè)方法，其特征在于步驟3) 中所述規(guī)定化固定分辯率為120x140。
3.根據(jù)權(quán)利要求1所述的基于多特征融合的人臉遮擋檢測(cè)方法，其特征在于步驟4) 中所述單元格分辯率為Mx20。
4.根據(jù)權(quán)利要求1所述的基于多特征融合的人臉遮擋檢測(cè)方法，其特征在于步驟5) 中所述多種特征包括Haar特征、LBP特征和HOG特征。
5.根據(jù)權(quán)利要求1所述的基于多特征融合的人臉遮擋檢測(cè)方法，其特征在于步驟8) 中所述遮擋判別原則包含以下兩條1)遮擋單元格總數(shù)超過設(shè)定的閾值；2)相鄰遮擋單元格的個(gè)數(shù)超過設(shè)定的閾值。
全文摘要
本發(fā)明公開了基于多特征融合的人臉遮擋檢測(cè)方法，它是在數(shù)字?jǐn)z像機(jī)和數(shù)字信號(hào)處理芯片的支持下實(shí)現(xiàn)的，其特征在于其包括以下步驟利用所述數(shù)字?jǐn)z像機(jī)采集數(shù)字視頻并轉(zhuǎn)換成數(shù)字圖像；應(yīng)用人臉檢測(cè)算法從中獲得人臉圖像；將所述人臉圖像進(jìn)行轉(zhuǎn)正和縮放處理，并規(guī)定化到固定分辯率；后將其分成多個(gè)單元格；計(jì)算所有單元格特征向量；循環(huán)判斷是否遮擋；遮擋判別原則包含遮擋單元格總數(shù)超過設(shè)定的閾值,或者相鄰遮擋單元格的個(gè)數(shù)超過設(shè)定的閾值。本發(fā)明采用多種紋理特征融合的方法，采用SVM方法訓(xùn)練得到分類器。本發(fā)明具有較好的分類性能和魯棒形。本發(fā)明可以廣泛應(yīng)用于各種監(jiān)控場(chǎng)合，判斷是否有故意遮擋行為，從而篩選出可疑人員。
文檔編號(hào)G06K9/62GK102169544SQ20111009698
公開日2011年8月31日 申請(qǐng)日期2011年4月18日 優(yōu)先權(quán)日2011年4月18日
發(fā)明者劉寶, 劉文金, 趙春水 申請(qǐng)人:蘇州市慧視通訊科技有限公司