專利名稱:一種基于人類視覺特性的仿生人臉檢測方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其是一種基于人類視覺特性的仿生人臉檢測方法。
背景技術(shù):
人臉檢測(自動人臉定位)是一項非常重要的工作,是許多應(yīng)用,例如人臉識別、 人臉修補、人臉跟蹤和人臉監(jiān)督的關(guān)鍵步驟。早期的人臉識別研究主要針對具有較強約束 條件的人臉圖像(如無背景的圖像),往往假設(shè)人臉位置和大小已知或容易獲得,因此人臉 檢測問題并未受到足夠的重視。而隨著實際應(yīng)用需求的劇增,由此所面臨的一系列實際問 題使得人臉檢測開始作為一個獨立的課題受到研究者的重視。目前,人臉檢測技術(shù)還不十分成熟,影響人臉檢測結(jié)果的主要因素有(1)光照條 件,例如,光強的變化,自然光和人工光等;(2)姿態(tài)的變化;(3)圖像大小的變化;(4)化妝 或臉上的附著物如胡須和眼鏡等;(5)背景情況,如室內(nèi)的景物和室外自然環(huán)境等。雖然這 些因素對于人類的視覺系統(tǒng)構(gòu)不成太大的障礙,但是現(xiàn)有的人臉檢測系統(tǒng)只能在一定的限 制條件下取得較好的檢測效果,在漏檢率、虛警率、檢測速度和適應(yīng)性等方面還達不到實用 的水平。計算機人臉檢測的基本思想是用知識的或者統(tǒng)計的方法對人臉進行建模,比較所 有可能的待檢區(qū)域與人臉模型的匹配度,從而得到可能存在的人臉區(qū)域。現(xiàn)有的人臉檢測 方法可分為如下幾類1)基于幾何特征的人臉檢測方法所謂人臉的幾何特征指的是人類面部器官在 幾何上體現(xiàn)的特征,是人類在不同姿態(tài)、視角和光照條件下,人臉或者人臉的部件可能存在 的具有不變性的特征。利用這種特征就可以檢測出圖像中是否存在人臉。根據(jù)使用特征類 型的不同可分為a)基于先驗知識的方法,是將人臉面部器官之間的關(guān)系編碼準則化的人 臉檢測方法;b)基于特征不變性的方法,著眼于檢測人臉面部的一些不變的特征,例如眼 睛、鼻子和嘴巴等,利用各種手段尋找上述器官的不變特征,然后綜合這些找到的不變特征 來確定待檢測區(qū)域是否是人臉;c)基于模板的方法,首先制定出人臉模板,然后計算檢測 區(qū)域和模板的相關(guān)值,利用制定的準則判斷檢測區(qū)域是否為人臉。根據(jù)模板制作和參數(shù)設(shè) 定的不同,可分為預(yù)定模板和變形模板兩種方法?;趲缀翁卣鞯牡娜四槞z測方法具有直觀、容易被人們所接受和采用、容易針對 不同的應(yīng)用情況進行設(shè)計的優(yōu)點;但是,要想找到一個適用于所有情況的顯著特征十分困 難,甚至是不可能的;因為利用到的信息是圖像中低層次的特征,如點和線等,這些特征容 易受到光照和噪聲的影響,容易造成誤檢。2)基于膚色模型的人臉檢測方法膚色是人臉表面最為顯著的特征之一,具有相 對的穩(wěn)定性且和大多數(shù)背景存在差異,而且不依賴于人臉面部的細節(jié)特征,對于表情、姿態(tài) 以及圖像的大小并不敏感,因此膚色特征在人臉檢測中是最常用的一種特征。而基于膚色 信息的人臉檢測首要解決的是膚色像素點的檢測問題。
基于膚色模型的人臉檢測方法具有易于應(yīng)用,對人臉姿態(tài)不敏感,在背景單調(diào)的 環(huán)境下檢測率高等優(yōu)點。但是,對于色度空間的選擇非常重要,在很大程度上影響了整個算 法的應(yīng)用效果?;谀w色模型的方法在光照和背景復(fù)雜的情況下,效果不是很理想。3)基于統(tǒng)計理論的人臉檢測方法這類方法的基本思想是把人臉檢測問題視為 一個廣義的模式識別問題,是利用統(tǒng)計分析與機器學習的方法來尋找出人臉樣本與非臉樣 本各自的統(tǒng)計特征,再使用各自的特征構(gòu)建分類器,使用分類器完成人臉檢測?;诮y(tǒng)計特 征的人臉檢測方法主要有線性子空間方法(主要包括主元分析方法(PCA),線性判別分析 法(LDA),因素分析法(FA)等),神經(jīng)網(wǎng)絡(luò)方法,支持向量機(SVM)方法,隱馬爾可夫模型 (hmm)方法,Bayers決策方法以及Boosting方法等?;诮y(tǒng)計理論的人臉檢測方法,不需要提取具體的人臉特征,而是從大量典型的 數(shù)據(jù)中獲得統(tǒng)計特征,能夠較好地反映人臉圖像和非人臉圖像之間的差別,因此魯棒性強, 即使在復(fù)雜背景的圖像中也有較高的準確性;但是,需要對全圖進行窮舉搜索,計算復(fù)雜性 高;為了達到較高的準確性,需要大量的時間和精力搜集人臉樣本和非人臉樣本;泛化能 力不強。
發(fā)明內(nèi)容
(一)要解決的技術(shù)問題本發(fā)明的目的在于提出一種基于人類視覺特性的仿生人臉檢測方法,以克服基于 特征的人臉檢測方法容易受到噪聲和復(fù)雜背景影響的缺點,以及克服基于統(tǒng)計理論的人臉 檢測方法復(fù)雜度高,搜集訓練樣本費力,泛化能力不強的缺點。(二)技術(shù)方案為達到上述目的,本發(fā)明提供了一種基于人類視覺特性的仿生人臉檢測方法,包 括步驟1 對輸入的含有人臉的圖像進行圖像預(yù)處理;步驟2 對預(yù)處理后的圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,得到人眼 分塊的篩選區(qū);步驟3 對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,提取出 人臉區(qū)域;步驟4:對提取出的人臉區(qū)域進行人臉規(guī)則校驗,得到人臉在圖像中的位置。上述方案中,步驟1中所述對輸入的含有人臉的圖像進行圖像預(yù)處理,是對輸入 的含有人臉的圖像進行光照均勻化和歸一化處理,以改善圖像的質(zhì)量。上述方案中,所述輸入的含有人臉的圖像,包括含正立人臉的圖像,以及含多姿態(tài) 人臉的圖像。上述方案中,步驟2和3中所述區(qū)域規(guī)則判斷,是驗證分塊之間的灰度積分和離散 度的對稱性和互異性,以保證符合人眼和人臉的分塊特征。上述方案中,步驟2中所述對圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,是 根據(jù)人類認識人臉是先對五官認識的特性進行的。上述方案中,步驟3中所述對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板 分塊匹配,是根據(jù)人類視覺是通過調(diào)節(jié)瞳孔的大小來適應(yīng)不同大小和不同遠近的物體的特性,采取多關(guān)聯(lián)的人臉模板進行多尺度搜索匹配。上述方案中,所述多關(guān)聯(lián)模板分塊匹配采用相關(guān)性系數(shù)作為度量匹配程度的準 則。上述方案中,步驟4中所述對提取出的人臉區(qū)域進行人臉規(guī)則校驗,是指對通過 匹配的“臉區(qū)”進行垂直梯度圖像的梯度規(guī)則校驗,以及典型梯度圖像的二值規(guī)則校驗,最 終精確定位人臉。(三)有益效果從上述技術(shù)方案可以看出,本發(fā)明具有以下有益效果1、本發(fā)明提供的這種基于人類視覺特性的仿生人臉檢測方法,既能夠極大減少基 于特征的人臉檢測方法容易受到噪聲和復(fù)雜背景的影響,又能夠克服基于統(tǒng)計理論的人臉 檢測方法復(fù)雜度高,搜集訓練樣本費力,泛化能力不強的缺點。2、本發(fā)明提供的這種基于人類視覺特性的仿生人臉檢測方法,屬于基于幾何特征 的人臉檢測方法的范疇,該方法在包含人臉的圖像中能夠準確地定位人臉所在的區(qū)域。
為進一步說明本發(fā)明的內(nèi)容及特點,以下結(jié)合附圖及實施例對本發(fā)明作一詳細的 描述,其中圖1是本發(fā)明提供的基于人類視覺特性的仿生人臉檢測的方法流程圖;圖2是人眼模板對稱性與互異性的分塊圖;圖3是人臉模板對稱性與互異性的分塊圖;圖4是人眼和多尺度人臉的模板;圖5是規(guī)則校驗所采用的人臉三分圖模型與編號;其中,(a)是人臉的三分圖模 型,(b)是三分圖編號。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白,以下結(jié)合具體實施例,并參照 附圖,對本發(fā)明進一步詳細說明。人類視覺系統(tǒng)對物體的認識,是通過調(diào)節(jié)瞳孔的大小來適應(yīng)物體的遠近和大小, 對人臉的認識是先通過五官的認識。模擬人類視覺系統(tǒng)這一特性,本發(fā)明在人臉檢測中采 取多關(guān)聯(lián)多尺度模板匹配的方法,預(yù)制人眼和不同長寬比的五種人臉模板,首先用人眼模 板對候選區(qū)進行初步篩選,然后用人臉模板進行檢測以適應(yīng)不同的臉形;同時,在匹配時采 用人眼和人臉的分區(qū)分塊匹配。該方法適用于含有人臉的圖像,通過圖像預(yù)處理,消除光線 影響、增強人臉模式的緊縮性;然后對處理后的圖像進行眼區(qū)及臉候選區(qū)規(guī)則判斷和多關(guān) 聯(lián)模板分塊匹配,最后經(jīng)規(guī)則校驗后精確定位人臉。如圖1所示,圖1是本發(fā)明提供的基于人類視覺特性的仿生人臉檢測的方法流程 圖,該方法包括步驟1 對輸入的含有人臉的圖像進行圖像預(yù)處理;步驟2 對預(yù)處理后的圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,得到人眼 分塊的篩選區(qū);
步驟3 對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,提取出 人臉區(qū)域;步驟4 對提取出的人臉區(qū)域進行人臉規(guī)則校驗,得到人臉在圖像中位置。其中,步驟1中所述對輸入的含有人臉的圖像進行圖像預(yù)處理,是對輸入的含有 人臉的圖像進行光照均勻化和歸一化處理,以改善圖像的質(zhì)量。所述輸入的含有人臉的圖 像,包括含正立人臉的圖像,以及含多姿態(tài)人臉的圖像。步驟2和3中所述區(qū)域規(guī)則判斷,是驗證分塊之間的灰度積分和離散度的對稱性 和互異性,以保證符合人眼和人臉的分塊特征。所述對圖像進行區(qū)域規(guī)則判斷和人眼分塊 匹配的篩選,是根據(jù)人類認識人臉是先對五官認識的特性進行的。所述對人眼分塊的篩選 區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,是根據(jù)人類視覺是通過調(diào)節(jié)瞳孔的大小來適 應(yīng)不同大小和不同遠近的物體的特性,采取多關(guān)聯(lián)的人臉模板進行多尺度搜索匹配。所述 多關(guān)聯(lián)模板分塊匹配采用相關(guān)性系數(shù)作為度量匹配程度的準則。步驟4中所述對提取出的人臉區(qū)域進行人臉規(guī)則校驗,是指對通過匹配的“臉區(qū),, 進行垂直梯度圖像的梯度規(guī)則校驗,以及典型梯度圖像的二值規(guī)則校驗,最終精確定位人臉。基于圖1所示的基于人類視覺特性的仿生人臉檢測的方法流程圖,以下結(jié)合具體 實施例對本發(fā)明進一步詳細說明。步驟一圖像預(yù)處理因為各種原因可能造成圖像采集得到的圖像光照不夠、模糊,有效的圖像預(yù)處理 算法能改善圖像的質(zhì)量。首先對彩色圖像進行灰度化,然后對圖像進行照度梯度修正,即利 用原始圖像擬合出一個校正照度平面,然后減去這個平面。設(shè)灰度圖像的尺寸為WXH,總的像素數(shù)目為n = WXH,灰度為xg(ik,jk) (k = 1, 2,...,n),需要擬合出的照度平面為y = 9 9 2*j+ 9 3,則應(yīng)滿足 (
(A,込,沒2 ) k寫成矩陣形式,就是求如下二次型的最小值 其中j = 則照度修正后的圖像xp(ik,jk)為
)照度梯度修正消除了 圖像的一階變化量,在一定程度上降低了非正面光的影響,減弱了人臉的陰影。對照度修正后的圖像,進行方差規(guī)格化處理,即對圖像的均值和方差進行歸一化, 將其調(diào)整到指定值,可以增強人臉模式的緊縮性。xp (ik,jk)轉(zhuǎn)化為圖像xp (i,j) (0彡i < H,
j <W),設(shè)圖像Xp(i,j)的均值和方差分別為m和o,所期望的均值和方差分別為mQ 和,則得到的歸一化圖像1(1,j)表示如下
<7 步驟二 人眼候選區(qū)檢測篩選人類認識人臉是先對五官的認識,因此先通過眼模板粗篩選人臉候選區(qū)域,而在 眼模板匹配之前先對區(qū)域進行人眼區(qū)域規(guī)則預(yù)判。設(shè)分塊區(qū)域(如圖2的標號為1的位置)的灰度圖像為xb(i,j),大小為wXh,其 灰度均值和離散度定義如下 分塊眼區(qū)的灰度均值和離散度存在一定的對稱性和互異性(如圖2所示)。1)灰度均值規(guī)則判斷(kn k2,k3為設(shè)定的常數(shù))M/ki < M2 < kiXMiM3/k2 < M5 < k2XM3M3 < k3 X M4,M5 < k3 X M42)離散度規(guī)則判斷(k4,k5,k6為設(shè)定的常數(shù))VaiVk4 < Var2 < k4XVariVar3/k5 < Var5 < k5XVar3Var3 > k6X Var4,Var5 > k6X Var4對通過上述兩個規(guī)則預(yù)判的候選區(qū),進行眼模板的分塊匹配,采用相關(guān)性系數(shù) (也可叫做角度距離)作為度量匹配程度的準則。設(shè)模板分塊個數(shù)為N,每塊分塊區(qū)域的尺寸為WmXHm,(m= 1,2, . . . N),灰度矩 陣為
灰度均值為yT,方差為。T,與模板同尺度的待匹配分塊的圖像灰度矩陣為
,灰度均值為yx,方差為^,則相關(guān)系數(shù)rm(T,X)幻為 相關(guān)系數(shù)rm(T,X)越大表明模板與待匹配分塊圖像的匹配程度越高。整個檢測區(qū)域的匹配度r定義如下 式中rm表示第m塊的匹配度。對通過上述人眼規(guī)則預(yù)判和匹配檢測的候選區(qū),根據(jù)其匹配度從高到低進行排序。步驟三獲得人臉候選區(qū)以第二步篩選得到的區(qū)域作為檢測人臉的區(qū)域,和人眼規(guī)則預(yù)判一樣(人臉預(yù)判 分塊如圖3所示),進入候選臉區(qū)首先需要滿足以下規(guī)則1)灰度均值規(guī)則判斷(f\,f2,f3,f4和f5為設(shè)定的常數(shù))Ma/f\ < Mb < f\XMb
/f2 < M3 < f2XM!> f3XM2, M3 > f3XM2> f4XM4, M3 > f4XM6M8 > f5XM4, M8 > f5XM62)離散度規(guī)則判斷(f6和f7為設(shè)定的常數(shù))Vara/f6 < Varb < f6XVarbVar/fV < Var3 < f^XVai^Var! > Var2, Var3 > Var2Var! > Var4, Var3 > Var6對通過上述規(guī)則預(yù)判后的候選區(qū)進行多尺度的人臉模板匹配(多尺度人臉模板 如圖4所示),采取與人眼區(qū)域同樣的分塊匹配和度量匹配程度準則,將與多尺度模板的最 大匹配度定為候選區(qū)匹配度,將符合一定匹配度的區(qū)域作為人臉候選區(qū)。步驟四規(guī)則校驗?zāi)0迤ヅ渲皇侨值钠ヅ?,而并不是局部的匹配,并不能表現(xiàn)人臉局部的特性,僅 靠模板匹配得到的人臉并不可靠,還需人臉特征規(guī)則的進一步確認。首先對待確認的人臉 候選區(qū),使用垂直梯度算子和典型梯度算子獲得垂直梯度圖像與典型梯度圖像,具體算法 如下設(shè)人臉候選區(qū)的灰度圖像為[f(i,j)],垂直梯度圖像為[V(i,j)],典型梯度圖像 為[D(i,j)],則有:[V(i, j)] = f(i, j)-f(i+l, j) | ;[D(i, j)] = f(i, j)"f(i+l, j) | + |f(i, j)"f(i, j+1) U對典型梯度圖像[D(i,j)]利用其均值進行二值化,得到二值圖像[B(i,j)]。將 [V(i, j)]和[B(i,j)]劃分成3X3大小相同的區(qū)塊(如圖5所示),統(tǒng)計每個分塊的灰度 值。若候選臉區(qū)是“人臉”,則應(yīng)滿足如下規(guī)則(1)梯度規(guī)則(Fp]表示垂直梯度圖像[V(i,j)]三分圖中第k子塊的平均灰度 值)Rule 1 :V
>V[\],且 F
>F [3],且 >V [6]Rule 2 :V[2] >V[\],且F[2] >F[5],且F[2] >F[8]Rule 3 :F[6]<1.5F[7],且F[8]<1.5^[7]Rule 4 ^[7] + 0.5F [6] + 0.5F [8])> 1[3],且(廠[7]+ 0.5^[6] + 0.5^[8])>1.5^[5] (2) 二值規(guī)則(互[眾]表示圖像[B(i,j)]中
第k子塊中灰度為1像素點所占的塊比例)Rule 1 :J
> 0.3,且5
> 互[1],且5
> 5 [3]Rule 2 :互[2] > 0.3,且5 [2] > 互[1],且5 [2] > 5 [5]Rule 3:5[4] >0Rule 4 =(5 [7] + 0.55 [6] + 0.55 [8])> 1.55 [3],
實驗證明,本發(fā)明的方法簡明有效,魯棒性高,可適用于具有復(fù)雜背景圖像的人臉 檢測。實施案例采用本發(fā)明對一些含人臉的圖像進行檢測,在經(jīng)過人眼候選區(qū)規(guī)則預(yù)判后,將人 眼模板均分為2X5的小塊進行匹配,按匹配度從大到小篩選了 200個候選區(qū),將其作為人 臉候選區(qū),經(jīng)過人臉候選區(qū)規(guī)則預(yù)判后,將多尺度人臉模板均分為5X5的小塊進行分塊匹 配,總匹配度閾值設(shè)為0. 70,將大于0. 70的候選區(qū)作為人臉候選區(qū)進行規(guī)則校驗。實驗證 明,本方法能正確檢測人臉,效果良好,切實可行。以上所述的具體實施例,對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳 細說明,所應(yīng)理解的是,以上所述僅為本發(fā)明的具體實施例而已,并不用于限制本發(fā)明,凡 在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進等,均應(yīng)包含在本發(fā)明的保 護范圍之內(nèi)。
權(quán)利要求
一種基于人類視覺特性的仿生人臉檢測方法,其特征在于,包括步驟1對輸入的含有人臉的圖像進行圖像預(yù)處理;步驟2對預(yù)處理后的圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,得到人眼分塊的篩選區(qū);步驟3對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,提取出人臉區(qū)域;步驟4對提取出的人臉區(qū)域進行人臉規(guī)則校驗,得到人臉在圖像中位置。
2.根據(jù)權(quán)利要求1所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,步驟1 中所述對輸入的含有人臉的圖像進行圖像預(yù)處理,是對輸入的含有人臉的圖像進行光照均 勻化和歸一化處理,以改善圖像的質(zhì)量。
3.根據(jù)權(quán)利要求2所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,所述 輸入的含有人臉的圖像,包括含正立人臉的圖像,以及含多姿態(tài)人臉的圖像。
4.根據(jù)權(quán)利要求1所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,步驟 2和3中所述區(qū)域規(guī)則判斷,是驗證分塊之間的灰度積分和離散度的對稱性和互異性,以保 證符合人眼和人臉的分塊特征。
5.根據(jù)權(quán)利要求1所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,步驟2 中所述對圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,是根據(jù)人類認識人臉是先對五官 認識的特性進行的。
6.根據(jù)權(quán)利要求1所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,步驟3 中所述對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,是根據(jù)人類視覺是 通過調(diào)節(jié)瞳孔的大小來適應(yīng)不同大小和不同遠近的物體的特性,采取多關(guān)聯(lián)的人臉模板進 行多尺度搜索匹配。
7.根據(jù)權(quán)利要求6所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,所述 多關(guān)聯(lián)模板分塊匹配采用相關(guān)性系數(shù)作為度量匹配程度的準則。
8.根據(jù)權(quán)利要求1所述的基于人類視覺特性的仿生人臉檢測方法,其特征在于,步驟4 中所述對提取出的人臉區(qū)域進行人臉規(guī)則校驗,是指對通過匹配的“臉區(qū)”進行垂直梯度圖 像的梯度規(guī)則校驗,以及典型梯度圖像的二值規(guī)則校驗,最終精確定位人臉。
全文摘要
本發(fā)明公開了一種基于人類視覺特性的仿生人臉檢測方法,包括步驟1對輸入的含有人臉的圖像進行圖像預(yù)處理;步驟2對預(yù)處理后的圖像進行區(qū)域規(guī)則判斷和人眼分塊匹配的篩選,得到人眼分塊的篩選區(qū);步驟3對人眼分塊的篩選區(qū)進行區(qū)域規(guī)則判斷和多關(guān)聯(lián)模板分塊匹配,提取出人臉區(qū)域;步驟4對提取出的人臉區(qū)域進行人臉規(guī)則校驗,得到人臉在圖像中位置。利用本發(fā)明,極大減少基于特征的人臉檢測方法容易受到噪聲和復(fù)雜背景的影響,克服了基于統(tǒng)計理論的人臉檢測方法復(fù)雜度高,搜集訓練樣本費力,泛化能力不強的缺點。
文檔編號G06K9/54GK101853397SQ201010157640
公開日2010年10月6日 申請日期2010年4月21日 優(yōu)先權(quán)日2010年4月21日
發(fā)明者李衛(wèi)軍, 金小賢, 陳旭 申請人:中國科學院半導(dǎo)體研究所