專利名稱：用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種視頻處理技術(shù)領(lǐng)域的方法，具體是一種用于視頻序列的多角
度多目標(biāo)快速人臉跟蹤方法。
背景技術(shù)：
視頻序列中的人臉檢測與跟蹤技術(shù)具有廣泛的應(yīng)用前景，在國家安全、軍事安全 和公共安全領(lǐng)域，智能門禁、智能視頻監(jiān)控、公安布控、海關(guān)身份驗證、司機(jī)駕照驗證等都有 廣泛的應(yīng)用。 經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，基于級聯(lián)結(jié)構(gòu)的AdaBoost人臉檢測方法，目前被認(rèn) 為是有效的人臉檢測方案，如中國專利文獻(xiàn)號CN101350062A，
公開日2009_1_21，記載了一 種"基于視頻的快速人臉檢測方法"，該技術(shù)通過預(yù)處理利用視頻幀間的時空域特征進(jìn)行前 景區(qū)域的人臉檢測，將人臉檢測過程分為審查模式和跟蹤模式兩種不同的模式。如果跟蹤 模式中無法在預(yù)測區(qū)域檢測到人臉或者預(yù)測到在下一幀中正在跟蹤的人臉將脫離監(jiān)控區(qū) 域，檢測流程轉(zhuǎn)入審查模式，對前景區(qū)域做全面的搜索，重新收集監(jiān)控區(qū)域的人臉信息。該 方案利用訓(xùn)練好的正面人臉分類器，對前景預(yù)測區(qū)域進(jìn)行人臉檢測，以達(dá)到提高檢測速度 的目的。但是，對于視頻序列中的多個角度人臉目標(biāo)，僅僅依靠AdaBoost檢測和前景預(yù)測 方法，通過對視頻中的每一幀用不同角度的人臉分類器進(jìn)行檢測，難以達(dá)到視頻跟蹤實時 性的要求。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種用于視頻序列的多角度多目標(biāo)快
速人臉跟蹤方法，能夠快速排除非人臉區(qū)域，使視頻序列的實時多角度多人臉目標(biāo)跟蹤成
為可能；同時，通過引入卡爾曼濾波器，在視頻序列中出現(xiàn)目標(biāo)遮擋時，利用卡爾曼濾波器
的預(yù)測結(jié)果，更新被遮擋目標(biāo)的位置，可以較好地克服由遮擋帶來的跟蹤困難。 本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明包括步驟 第一步、多角度人臉快速檢測對視頻序列中的待檢測幀進(jìn)行膚色分割，用不同角 度的人臉分類器對膚色區(qū)域進(jìn)行人臉檢測，并融合人臉檢測結(jié)果。 所述的膚色分割是指利用膚色特征，將待檢測幀由RGB顏色空間轉(zhuǎn)化到HSV顏色 空間，然后按照人臉膚色模型，提取出膚色區(qū)域并剔除非膚色區(qū)域。 所述的膚色特征是指人體皮膚的顏色相對于其他物體是人體表面最為顯著的特 征之一，能夠利用膚色這一特征將人體與其他物體區(qū)分開來。 所述的人臉膚色模型是指利用膚色在通常的光照條件下，會集聚在色彩空間中 某個特定的區(qū)域內(nèi)的特性，通過對膚色圖像采樣建立一個分布函數(shù)或?qū)ふ夷w色分布的合適 閾值，就能夠?qū)⒛w色區(qū)域從背景圖像中提取出來。 所述的人臉檢測是指先利用積分圖計算候選區(qū)域內(nèi)的膚色面積，當(dāng)膚色面積小 于設(shè)定的閾值，則排除該膚色面積對應(yīng)的區(qū)域，否則利用AdaBoost算法訓(xùn)練得到的人臉分類器對候選區(qū)域進(jìn)行檢測，如果檢測結(jié)果為真，則候選區(qū)域為人臉區(qū)域；否則，候選區(qū)域為 非人臉區(qū)域。 所述的膚色面積為Sskin = iiA+iiD_(iiB+iic)，其中Sskin表示矩形區(qū)域ABCD內(nèi)膚 色面積，取值范圍為0至lj 255X矩形ABCD的寬度X矩形ABCD的高度，iit為在點t處的積 分圖，取值范圍為0到255X待檢測圖像寬度X待檢測圖像高度。 第二步、當(dāng)兩個人臉目標(biāo)區(qū)域沒有出現(xiàn)重疊，則對每一個對人臉區(qū)域建立H通道 顏色直方圖并計算H通道顏色直方圖，然后用Camshift迭代算法計算人臉目標(biāo)位置，更新 卡爾曼濾波器人臉目標(biāo)運動模型，否則執(zhí)行第三步； 所述的計算H通道顏色直方圖，是指由H通道顏色直方圖計算待檢測圖像的顏色 概率圖，以顏色亮度的高低作為判定質(zhì)心位置準(zhǔn)則，用Camshift迭代算法在顏色概率圖中 計算搜索區(qū)域的質(zhì)心位置，動態(tài)調(diào)整目標(biāo)窗口大小，并卡爾曼濾波器建立的人臉運動模型。
第三步、目標(biāo)遮擋時的人臉跟蹤如果任意兩個人臉目標(biāo)出現(xiàn)重疊，由卡爾曼濾波 器預(yù)測被遮擋人臉的位置，同時利用卡爾曼預(yù)測的人臉位置來更新卡爾曼濾波器參數(shù)。
與現(xiàn)有技術(shù)相比，本發(fā)明能夠顯著提高檢測、跟蹤的速度，實現(xiàn)多角度、多人臉的 實時跟蹤，對480X320的視頻，每秒跟蹤速度可達(dá)35幀以上。對于一般場景中的多角度、 多人臉跟蹤，準(zhǔn)確率可達(dá)95 %以上。


圖l為本發(fā)明流程圖。
圖2為待測圖例； 其中a為對正面人臉檢測圖例；b為對左半邊人臉檢測圖例；C為對右半邊人臉 檢測圖例；d為對正面、側(cè)面人臉檢測融合后的圖例。
圖3為處理后圖例； 其中a為經(jīng)過膚色分割后的圖例；b為顏色概率圖。
圖4為實施例部分跟蹤結(jié)果示意圖。
具體實施例方式
下面對本發(fā)明的實施例作詳細(xì)說明，本實施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實施 例。
如圖1所示，本實施例包括如下步驟 第一步、多角度人臉快速檢測對待檢測幀進(jìn)行膚色分割，利用積分圖快速剔除非 膚色區(qū)域，對膚色區(qū)域進(jìn)行人臉檢測，用不同角度的人臉分類器檢測圖像，融合最后的人臉 檢測區(qū)域。 第二步、未出現(xiàn)目標(biāo)遮擋時的人臉跟蹤對人臉區(qū)域建立顏色直方圖，計算待檢測 圖像的顏色概率圖，用Camshift算法的迭代結(jié)果，更新人臉區(qū)域位置，同時更新由卡爾曼 濾波器建立的人臉運動模型。 第三步、目標(biāo)遮擋時的人臉預(yù)測如果出現(xiàn)人臉遮擋，由卡爾曼濾波器預(yù)測人臉區(qū) 域位置，再更新人臉運動模型。
上述多角度人臉快速檢測步驟如下 利用膚色特征，將圖像由RGB顏色空間轉(zhuǎn)化到HSV顏色空間，克服了 RGB顏色空間 對光照亮度變化比較敏感的缺陷，按照人臉膚色模型，提取出膚色區(qū)域，如圖3a所示。在用 多角度人臉檢測器檢測圖像前，先計算候選區(qū)域內(nèi)的膚色面積，如果膚色面積小于設(shè)定的 閾值，則馬上排除該區(qū)域，以提高檢測的速度；否則利用AdaBoost算法訓(xùn)練得到的人臉分 類器對候選區(qū)域進(jìn)行檢測，如果檢測結(jié)果為真，則候選區(qū)域為人臉區(qū)域；否則，候選區(qū)域為 非人臉區(qū)域。 而候選區(qū)域的膚色面積，可以直接由積分圖求得Sskin二 i"+ii。-(iie+iic)，如圖 3a所示，其中Sskin表示矩形區(qū)域ABCD內(nèi)膚色面積，取值范圍為
，iit為在點t處的積分圖，取值范圍為
。 最后融合各個角度人臉檢測器檢測得到的人臉區(qū)域，檢測結(jié)果如圖2所示，圖2中 的a、 b、 c和d分別表示正面、左側(cè)、右側(cè)人臉和最后融合各個角度的人臉檢測結(jié)果。
上述未出現(xiàn)目標(biāo)遮擋時的人臉跟蹤方法具體實現(xiàn)方法如下 判斷人臉目標(biāo)區(qū)域間的相對位置，如果任意兩個人臉區(qū)域沒有出現(xiàn)重疊，計算由
步驟1)得到的每個人臉區(qū)域的H通道顏色直方圖，由H通道顏色直方圖，計算待檢測圖像
的顏色概率圖，如圖3b所示，亮度越高越接近人臉顏色，用Camshift迭代算法，在顏色概率
圖中計算搜索區(qū)域的質(zhì)心位置，動態(tài)調(diào)整目標(biāo)窗口大小，更新人臉區(qū)域位置，同時更新由卡
爾曼濾波器建立的人臉運動模型。 上述目標(biāo)遮擋時的人臉預(yù)測實現(xiàn)方法如下 判斷人臉目標(biāo)區(qū)域間的相對位置，如果任意兩個人臉區(qū)域出現(xiàn)重疊，由卡爾曼濾 波器人臉運動模型預(yù)測被遮擋的人臉區(qū)域位置，同時利用卡爾曼預(yù)測的人臉區(qū)域位置來更 新卡爾曼濾波器人臉運動模型參數(shù)。預(yù)測過程即如圖l中的虛線所示。預(yù)測結(jié)果如圖4第 3和第20幀，當(dāng)兩個人臉區(qū)域出現(xiàn)重疊時，由卡爾曼濾波器人臉運動模型進(jìn)行預(yù)測(白色矩 形框所示)，甚至在人臉完全被遮擋時，卡爾曼濾波器人臉運動模型依然能預(yù)測到人臉的所 在位置。
權(quán)利要求
一種用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征在于，包括以下步驟第一步、多角度人臉快速檢測對視頻序列中的待檢測幀進(jìn)行膚色分割，用不同角度的人臉分類器對膚色區(qū)域進(jìn)行人臉檢測，并融合人臉檢測結(jié)果；第二步、當(dāng)兩個人臉目標(biāo)區(qū)域沒有出現(xiàn)重疊，則對每一個對人臉區(qū)域建立H通道顏色直方圖并計算H通道顏色直方圖，然后用Camshift迭代算法計算人臉目標(biāo)位置，更新卡爾曼濾波器人臉目標(biāo)運動模型，否則執(zhí)行第三步；第三步、目標(biāo)遮擋時的人臉跟蹤如果任意兩個人臉目標(biāo)出現(xiàn)重疊，由卡爾曼濾波器預(yù)測被遮擋人臉的位置，同時利用卡爾曼預(yù)測的人臉位置來更新卡爾曼濾波器參數(shù)。
2. 根據(jù)權(quán)利要求1所述的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征 是，所述的膚色分割是指利用膚色特征，將待檢測幀由RGB顏色空間轉(zhuǎn)化到HSV顏色空間， 然后按照人臉膚色模型，提取出膚色區(qū)域并剔除非膚色區(qū)域。
3. 根據(jù)權(quán)利要求2所述的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征 是，所述的人臉膚色模型是指通過對膚色圖像采樣建立一個分布函數(shù)或?qū)ふ夷w色分布的 合適閾值，將膚色區(qū)域從背景圖像中提取出來。
4. 根據(jù)權(quán)利要求1所述的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征 是，所述的人臉檢測是指先利用積分圖計算候選區(qū)域內(nèi)的膚色面積，當(dāng)膚色面積小于設(shè)定 的閾值，則排除該膚色面積對應(yīng)的區(qū)域，否則利用AdaBoost算法訓(xùn)練得到的人臉分類器對 候選區(qū)域進(jìn)行檢測，如果檢測結(jié)果為真，則候選區(qū)域為人臉區(qū)域；否則，候選區(qū)域為非人臉 區(qū)域。
5. 根據(jù)權(quán)利要求1所述的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征 是，所述的膚色面積為Sskin = iiA+iiD_(iiB+iic)，其中S^表示矩形區(qū)域ABCD內(nèi)膚色面 積，取值范圍為0到255X矩形ABCD的寬度X矩形ABCD的高度，iit為在點t處的積分 圖，取值范圍為0到255X待檢測圖像寬度X待檢測圖像高度。
6. 根據(jù)權(quán)利要求1所述的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，其特征 是，所述的計算H通道顏色直方圖，是指由H通道顏色直方圖計算待檢測圖像的顏色概率 圖，以顏色亮度的高低作為判定質(zhì)心位置準(zhǔn)則，用Camshift迭代算法在顏色概率圖中計算 搜索區(qū)域的質(zhì)心位置，動態(tài)調(diào)整目標(biāo)窗口大小，并卡爾曼濾波器建立的人臉運動模型。
全文摘要
一種視頻處理技術(shù)領(lǐng)域的用于視頻序列的多角度多目標(biāo)快速人臉跟蹤方法，通過多角度人臉快速檢測以及對人臉區(qū)域建立顏色直方圖，計算待檢測圖像的顏色概率圖，用Camshift算法的迭代結(jié)果，更新人臉區(qū)域位置，同時更新由卡爾曼濾波器建立的人臉運動模型，同時，當(dāng)目標(biāo)遮擋時則進(jìn)行人臉預(yù)測如果出現(xiàn)人臉遮擋，由卡爾曼濾波器預(yù)測人臉區(qū)域位置，再更新人臉運動模型。本發(fā)明能夠快速排除非人臉區(qū)域，使視頻序列的實時多角度多人臉目標(biāo)跟蹤成為可能；同時，通過引入卡爾曼濾波器，在視頻序列中出現(xiàn)目標(biāo)遮擋時，利用卡爾曼濾波器的預(yù)測結(jié)果，更新被遮擋目標(biāo)的位置，可以較好地克服由遮擋帶來的跟蹤困難。
文檔編號G06K9/00GK101794385SQ20101012949
公開日2010年8月4日 申請日期2010年3月23日 優(yōu)先權(quán)日2010年3月23日
發(fā)明者潘杰, 熊惠霖 申請人:上海交通大學(xué)