專利名稱：復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻分析技術(shù)，具體的說是一種在有攝像機(jī)獲取的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法。
在普通視頻監(jiān)控中，人群的行進(jìn)多出現(xiàn)相互遮擋、重疊現(xiàn)象，不便于單獨(dú)人體的識(shí)別與跟蹤。為避免這種現(xiàn)象，提高計(jì)數(shù)精度，現(xiàn)有基于視頻的客流統(tǒng)計(jì)系統(tǒng)往往要求攝像頭垂直向下照射。其缺點(diǎn)是需要獨(dú)立安裝攝像頭，適應(yīng)性差，不兼容于原有監(jiān)控系統(tǒng)。而且垂直角度攝像頭取得視頻信息量少，達(dá)不到監(jiān)控目的。
普通監(jiān)控設(shè)備一般安裝于高處，與水平成30～70度夾角。在人群監(jiān)控過程中，發(fā)生遮擋和連接現(xiàn)象的主要是身體軀干和四肢部位，而人體的頭、肩部一般會(huì)暴露在監(jiān)控系統(tǒng)中，否則監(jiān)控就失去了意義。利用這一特點(diǎn)，本方法只采用肩膀以上的有效特征作為判別依據(jù)。
圖像或視頻序列中行人的檢測(cè)與識(shí)別是計(jì)算機(jī)視覺熱門話題之一。無論是工業(yè)界還是學(xué)術(shù)界都出現(xiàn)了非常多的好方法。有基于頭、軀干、四肢分別匹配然后整合在一起的，有基于人體運(yùn)動(dòng)周期性的，有基于特征的等等。下面對(duì)一些經(jīng)典的和相關(guān)的方法做簡(jiǎn)單論述。
文章Viola，P.，Michael J.，Snow，D.，Detecting Pedestrians Using Patternsof Motion and Appearance，IJCV(63)，No.2，July 2005，pp.153-161.提出著名的由積分圖弱分類器級(jí)聯(lián)成強(qiáng)分類器識(shí)別人臉及人體的方法，可用于檢測(cè)小型運(yùn)動(dòng)人體。該方法處理速度慢(4幀/秒)，模型學(xué)習(xí)時(shí)間長(zhǎng)(十幾個(gè)小時(shí))，對(duì)被檢測(cè)人體的大小要求高，只適應(yīng)于固定場(chǎng)景下運(yùn)動(dòng)人體檢測(cè)。
文章Wu，B.，Nevatia，R.，Detection and Tracking of Multiple，PartiallyOccluded Humans by Bayesian Combination of Edgelet based Part Detectors，IJCV(75)，No.2，November 2007，pp.247-266。融合了肢體分割、弱分類器識(shí)別以及級(jí)聯(lián)boosting等多種技術(shù)，對(duì)多方向、多角度人體識(shí)別有較好的適應(yīng)性。該模型較為復(fù)雜，在保持被檢測(cè)人體尺度不變的前提下仍只能處理1幀/秒，實(shí)用困難。
文章Dalal，N.，Triggs，B.，Histograms of Oriented Gradients for HumanDetection，CVPR05(I886-893).基于美國(guó)專利(專利號(hào)6,711,293“METHODAND APPARATUS FOR IDENTIFYING SCALE INVARIANT FEATURESIN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN ANIMAGE”)改進(jìn)的專門用于識(shí)別人體的方法。關(guān)鍵在于特征點(diǎn)的收集、篩選與表示。該方法對(duì)于光照、姿態(tài)、衣著和大小的變化以及遮擋有很好的魯棒性。適用于檢測(cè)靜態(tài)圖片中的直立人體，攝像機(jī)要求與人體基本水平，不能大角度俯視。
中國(guó)專利(專利申請(qǐng)?zhí)?00780001314.1“在攝像機(jī)獲取的場(chǎng)景的測(cè)試圖像中檢測(cè)人物的方法和系統(tǒng)”)是HoG算法和級(jí)連訓(xùn)練分類器Adaboost等多種經(jīng)典理論的一個(gè)結(jié)合和改進(jìn)，其工作主要面向應(yīng)用層面。仍然具有過程復(fù)雜，要求較高計(jì)算量的缺點(diǎn)。另外識(shí)別率依靠分類器的訓(xùn)練結(jié)果，場(chǎng)景的變化會(huì)出現(xiàn)不同的效果，不適于實(shí)際應(yīng)用。
在現(xiàn)實(shí)場(chǎng)景中，特別是在人群密集的場(chǎng)合如車站、體育場(chǎng)館、商場(chǎng)等由于遮擋，人體往往不能夠被完整的攝錄下來。這給傳統(tǒng)的基于人體外形特征或運(yùn)動(dòng)特征的方法造成很大的障礙。然而，人體的頭和肩膀即使在這種條件下也會(huì)部分或全部顯現(xiàn)出來。利用人頭和肩部特征進(jìn)行人體識(shí)別的方法被逐漸提及。
文章《基于組合模板的人體頭部精確定位算法》《中國(guó)圖象圖形學(xué)報(bào)》2007年第12卷第08期作者湯金寬，曹丹華，吳裕斌，顧雯雯提出采用“凸”字形模板匹配再通過水平和垂直模板矯正的方法檢測(cè)人體頭部及軀干。只能對(duì)室內(nèi)單體人處理，且攝像機(jī)需水平照射，不利于實(shí)際應(yīng)用。
文章《基于人體頭肩部形狀的身份識(shí)別》《應(yīng)用科技》2006年第33卷第12期作者韓新宇，朱齊丹，章慧君提出對(duì)采集圖像去噪后進(jìn)行逐行掃描匹配樣本庫的方式檢測(cè)人頭部，前提是只能處理單人，且人體與攝像頭距離為已知。這在一般現(xiàn)實(shí)場(chǎng)景中無法滿足。
文章《智能監(jiān)控中基于頭肩特征的人體檢測(cè)方法研究》《浙江大學(xué)學(xué)報(bào)(工學(xué)版)》2004年第38卷第04期作者潘鋒，王宣銀，王全強(qiáng)提出通過分割單體直方圖得到頭肩位置信息，再用SVM進(jìn)行分類的方法。該系統(tǒng)只能處理單個(gè)人體或互不遮擋的多人體，且攝像機(jī)要求水平照射，與實(shí)際應(yīng)用有較大出入。
文章Zui Zhang，Gunes，Hatice Piccardi，Massimo，“An accuratealgorithm for head detection based on XYZ and HSV hair and skin colormodels”，ICIP 2008，pp1644-1647在位置空間及顏色空間建立高斯混合模型，然后利用橢圓擬合方式定位人頭。雖然能夠?qū)Χ嘟嵌热祟^進(jìn)行有效識(shí)別，但前提是畫面必須有較高的分辨率、背景為單色或已經(jīng)做好人體分割且只處理單個(gè)人體。


發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)中因現(xiàn)場(chǎng)光照、攝像機(jī)角度、人體尺寸以及遮擋等外界因素造成的人體識(shí)別準(zhǔn)確度低或無法識(shí)別的問題，本發(fā)明的要解決的技術(shù)問題是提供一種復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法。
為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是 本發(fā)明復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法包括以下步驟 將視頻設(shè)備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識(shí)別模塊、特征弧識(shí)別模塊和顏色識(shí)別模塊三個(gè)模塊進(jìn)行處理； 外輪廓識(shí)別模塊對(duì)單幀視頻序列進(jìn)行前背景分離后，進(jìn)行外輪廓提取，并計(jì)算出頭頂頂點(diǎn)權(quán)概率分布； 特征弧識(shí)別模塊在對(duì)單幀視頻序列進(jìn)行平滑及灰度化處理后的圖像上做邊緣檢測(cè)，再經(jīng)過特征弧匹配后得到特征弧匹配概率分布； 顏色識(shí)別模塊將前景圖像與顏色原始模板進(jìn)行匹配得到色彩權(quán)概率分布； 將上述頂點(diǎn)權(quán)概率分布、特征弧匹配概率分布以及色彩權(quán)概率分布通過簡(jiǎn)單boosting加權(quán)疊加，得到最終的頭頂概率分布。
所述簡(jiǎn)單boosting為通過對(duì)頂點(diǎn)權(quán)概率分布、特征弧匹配概率分布以及色彩權(quán)概率分布三種弱分類器的線性加權(quán)疊加得到強(qiáng)分類器結(jié)果輸出。
所述外輪廓識(shí)別模塊、特征弧識(shí)別模塊和顏色識(shí)別模塊均在前背景分離后的前景圖像中進(jìn)行分析處理。
所述計(jì)算頂點(diǎn)權(quán)概率分布包括以下步驟 確定計(jì)算起始點(diǎn)P。，將外輪廓提取結(jié)果得到的輪廓鏈鏈?zhǔn)鬃鳛槠鹗键c(diǎn)； 選取輔助計(jì)算點(diǎn)，沿輪廓鏈在起始點(diǎn)兩側(cè)分別確定近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)； 通過近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)計(jì)算起始點(diǎn)平均曲率的大小及法線方向； 依據(jù)平均曲率大小及法線方向計(jì)算起始點(diǎn)頂點(diǎn)權(quán)； 如果沒到輪廓鏈鏈尾，則沿輪廓鏈計(jì)算下一點(diǎn)頂點(diǎn)權(quán)直到該輪廓所有點(diǎn)計(jì)算完為止； 對(duì)頂點(diǎn)權(quán)進(jìn)行加權(quán)距離變換，將權(quán)重按值大小向空間散布； 歸一化處理得到頂點(diǎn)權(quán)概率分布。
加權(quán)距離變換在原有距離變換基礎(chǔ)上增加權(quán)重機(jī)制，通過種子權(quán)重控制其影響范圍，具體為將頂點(diǎn)權(quán)權(quán)重按值大小向空間散布，加權(quán)距離變換考慮種子點(diǎn)權(quán)大小，即權(quán)重大的種子散布的范圍大于權(quán)重小的種子。
所述特征弧匹配概率分布通過以下步驟得到 將視頻設(shè)備輸入的視頻流分解成單幀視頻序列進(jìn)行平滑處理后的灰度圖與得到的前景圖進(jìn)行掩碼后作為邊緣特征計(jì)算的輸入； 在上述輸入數(shù)據(jù)中抽取邊緣特征及邊緣特征點(diǎn)； 判斷得到的邊緣特征點(diǎn)的邊緣強(qiáng)度是否大于閾值，如大于閾值，則取邊緣特征點(diǎn)所在位置相應(yīng)匹配模板大小圖像； 將該圖像與預(yù)先建立好的原始模板進(jìn)行匹配并記錄得分； 在與原始模板匹配后，動(dòng)態(tài)調(diào)節(jié)原始模板大?。? 判斷匹配得分是否高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，如果匹配得分不高于前一次動(dòng)態(tài)調(diào)節(jié)后的模板，則置特征弧匹配權(quán)為前一次動(dòng)態(tài)調(diào)節(jié)后的模板匹配得分； 判斷所有特征點(diǎn)是否處理完畢，如處理完畢，則進(jìn)行歸一化處理，得到特征弧匹配概率分布并輸出；如果沒處理完，則返回至抽取邊緣特征點(diǎn)步驟進(jìn)行下一個(gè)點(diǎn)處理； 如果模板匹配得分高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，則繼續(xù)沿原調(diào)節(jié)方向?qū)δ０暹M(jìn)行放大或縮小處理直到得分不再增加為止，并將此時(shí)分?jǐn)?shù)作為最終模板匹配得分。
所述原始模板只涉及人頭耳部以上區(qū)域。
采用跳躍移動(dòng)窗口方式計(jì)算特征弧匹配權(quán)；邊緣特征點(diǎn)的查找和匹配通過水平移動(dòng)原始模板窗口實(shí)現(xiàn)，而配合閾值的判斷使其跳躍過邊緣強(qiáng)度小的噪音點(diǎn)。
所述色彩權(quán)概率分布通過以下步驟得到 以一幀原始視頻圖像與前景圖進(jìn)行掩碼的結(jié)果作為輸入； 在上述輸入數(shù)據(jù)中選取有效顏色特征點(diǎn)； 判斷有效特征點(diǎn)對(duì)應(yīng)的特征弧點(diǎn)匹配權(quán)是否小于閾值； 如果特征弧點(diǎn)匹配權(quán)不小于閾值，則取該有效特征點(diǎn)所在圖像窗口分別與正面模板和負(fù)面模板進(jìn)行匹配，記錄上述匹配的最大匹配得分； 判斷所有邊緣特征點(diǎn)是否處理完畢； 如處理完畢，則進(jìn)行歸一化處理得到色彩權(quán)概率分布并輸出。
采用正面及反面顏色模板進(jìn)行色彩匹配；正面及反面模板設(shè)計(jì)均為矩形，長(zhǎng)寬比例為1∶1.33。正面模板由上下相連的兩個(gè)矩形構(gòu)成，顏色分別為純黑及純白色，其中黑、白色部分寬度比例1∶3，反面模板為純黑色。
本發(fā)明具有以下有益效果及優(yōu)點(diǎn) 1.本發(fā)明提出一種在復(fù)雜場(chǎng)景下實(shí)時(shí)識(shí)別多人的人體頭部技術(shù)，應(yīng)用到多角度客流統(tǒng)計(jì)，人臉識(shí)別的前期定位、人體跟蹤與識(shí)別、快球跟蹤、頭像超分辨率等應(yīng)用當(dāng)中，有效抑制人體遮擋、攝像機(jī)角度、光照變化等客觀環(huán)境造成不良影響。
2.本發(fā)明利用人體頭部多種特征進(jìn)行識(shí)別，動(dòng)態(tài)調(diào)整各特征分類權(quán)重，識(shí)別最優(yōu)化設(shè)計(jì)；視頻圖像利用現(xiàn)有的普通視頻監(jiān)控錄像，在人群密度大、客流量大場(chǎng)所下，利用監(jiān)控?cái)z像機(jī)一般處于高處，人體肩膀以上的部位不會(huì)被整體遮擋的特點(diǎn)完成人的定位和檢測(cè)。
3.本發(fā)明采用由頂點(diǎn)特征、輪廓特征，對(duì)稱特征以及色譜和紋理分析等多方面信息組成，以實(shí)現(xiàn)對(duì)人體的頭部檢測(cè)，識(shí)別速度快、精度高，可以利用現(xiàn)有大部分監(jiān)控系統(tǒng)，單體識(shí)別時(shí)間小于0.2秒。



圖1為行人在光照和攝像機(jī)角度、位置發(fā)生變化下的監(jiān)控示意圖； 圖2為本發(fā)明方法人體頭部識(shí)別的總體流程圖； 圖3為本發(fā)明方法中頂點(diǎn)權(quán)計(jì)算流程圖； 圖4為本發(fā)明方法中特征弧匹配及特征權(quán)計(jì)算流程圖； 圖5為本發(fā)明方法中顏色模板匹配及色彩權(quán)計(jì)算流程圖； 圖6為本發(fā)明方法中輪廓頂點(diǎn)權(quán)計(jì)算示意圖； 圖7為本發(fā)明方法中特征弧模板示意圖； 圖8為本發(fā)明方法中顏色模板示意圖。

具體實(shí)施例方式 下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明做進(jìn)一步詳細(xì)描述。
圖1顯示的是一個(gè)模擬的現(xiàn)實(shí)監(jiān)控場(chǎng)景。用黑色人體剪影代表大小不同的人體在平面105上模擬客流進(jìn)出活動(dòng)。第1、2攝像機(jī)103、104表示現(xiàn)實(shí)中可能存在的多種安置方式，它們?cè)诮嵌?、方向、焦距等有很大變化。同時(shí)，現(xiàn)場(chǎng)的第1、2燈光101、102的位置、方向、強(qiáng)弱等變化也給人體識(shí)別帶來較大難度。處理器106運(yùn)行人體識(shí)別算法，對(duì)由攝像機(jī)輸入視頻流進(jìn)行實(shí)時(shí)處理。
如圖2所示，本發(fā)明復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法步驟如下 將視頻設(shè)備輸入的視頻流分解成單幀視頻序列后分配給由顏色識(shí)別模塊、外輪廓識(shí)別模塊和特征弧識(shí)別模塊三個(gè)模塊進(jìn)行處理(201)； 外輪廓識(shí)別模塊對(duì)單幀視頻序列進(jìn)行前背景分離(202)后，進(jìn)行外輪廓提取(203)，并計(jì)算出頂點(diǎn)權(quán)概率分布(204)； 顏色識(shí)別模塊將前背景分離結(jié)果作為圖像掩碼進(jìn)行處理后得到色彩權(quán)概率分布(206、208)； 特征弧識(shí)別模塊將前背景分離結(jié)果作為圖像掩碼進(jìn)行處理后得到特征弧匹配概率分布(205、207、209)； 將上述頂點(diǎn)權(quán)概率分布、色彩權(quán)概率分布以及特征弧匹配概率分布通過簡(jiǎn)單boosting進(jìn)行線性加權(quán)疊加，得到最終的頭頂概率分布(210)。
本實(shí)施例中運(yùn)動(dòng)物體前背影分離可采用簡(jiǎn)單幀差、背景建模、光流等方法，其中背景建模又可分為單高斯、高斯混合、Kernel-based、Eigen-Background等。本實(shí)施例采用高斯混合模型，定義如下 其中，wj是為j個(gè)高斯核權(quán)重；K為高斯核個(gè)數(shù)，一般為3。η(x；μj，∑j)，是中值為μj、方差為∑j的第j個(gè)高斯分布。在N時(shí)刻，每個(gè)像素?fù)碛兄祒N的概率p(xN)被K個(gè)高斯混合所描述。
前背景分離202的結(jié)果一方面交給輪廓提取步驟203做外輪廓提取工作，另一方面作為圖像掩碼交給顏色模板匹配步驟206和特征弧匹配步驟207剔除與人體識(shí)別不相關(guān)區(qū)域，減少計(jì)算量。輪廓提取203計(jì)算得到一個(gè)或多個(gè)輪廓鏈，交給頂點(diǎn)權(quán)計(jì)算步驟204(在圖3中詳細(xì)介紹)計(jì)算頂點(diǎn)權(quán)概率分布并輸出。
特征弧匹配步驟207將經(jīng)過灰度化及高斯平滑步驟205處理過的灰度圖與經(jīng)過前背景分離步驟202得到的圖像掩碼做“與”操作得到有效識(shí)別區(qū)域，再經(jīng)過特征權(quán)計(jì)算步驟209得到特征弧匹配概率分布。特征弧匹配及特征權(quán)計(jì)算過程詳見圖4。
顏色識(shí)別模塊由顏色模板匹配步驟206和色彩權(quán)計(jì)算步驟208構(gòu)成。顏色模板匹配步驟206將原始視頻圖像與前背景分離步驟202得到的圖像掩碼做“與”操作得到有效識(shí)別區(qū)域，再通過與顏色模板的匹配計(jì)算色彩權(quán)得到色彩權(quán)概率分布，詳細(xì)匹配計(jì)算過程見圖5。
三個(gè)弱分類器已分別根據(jù)自己特征計(jì)算出頭肩部出現(xiàn)的位置概率hi(x)，現(xiàn)在通過簡(jiǎn)單boosting合成強(qiáng)分類器H(x)，輸出最終結(jié)果。設(shè)權(quán)重為αi的弱分類器輸出結(jié)果為hi(x)，這里i∈{1，2，3}，得到t時(shí)刻強(qiáng)分類器可見，強(qiáng)分類器是弱分類器的線性加權(quán)疊加。弱分類器的權(quán)重αi體現(xiàn)為單個(gè)弱分類器的貢獻(xiàn)大小。權(quán)重越大的弱分類器對(duì)最終強(qiáng)分類器的影響越大，而權(quán)重的更新則通過完成。這里eit-1為t-1時(shí)刻的錯(cuò)誤率，通過

得到(yt-1為t-1時(shí)刻分類結(jié)果)?？梢姡耙粫r(shí)刻的分類錯(cuò)誤會(huì)導(dǎo)致下一時(shí)刻該分類器貢獻(xiàn)減小。也就是說，假如某一時(shí)刻顏色信息不能夠幫助正確區(qū)分人體頭部的話，顏色比重在下一時(shí)刻整體辨別的時(shí)候會(huì)逐漸減小，這樣就保證了在任何時(shí)刻都有最合適的分類器做出正確的選擇。
(一)計(jì)算頂點(diǎn)權(quán)概率分布包括以下步驟 確定曲率計(jì)算的起始點(diǎn)，將根據(jù)外輪廓提取結(jié)果得到的輪廓鏈鏈?zhǔn)鬃鳛槠鹗键c(diǎn)； 選取輔助計(jì)算點(diǎn)，沿輪廓鏈在起始點(diǎn)兩側(cè)分別確定近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)； 通過近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)計(jì)算起始點(diǎn)平均曲率的大小及起始點(diǎn)的法線方向； 分配曲率權(quán)重，根據(jù)上述起始點(diǎn)平均曲率的大小及起始點(diǎn)的法線方向計(jì)算起始點(diǎn)權(quán)重，將起始點(diǎn)平均曲率投影至坐標(biāo)軸正方向，取投影值作為權(quán)重；本實(shí)施例中坐標(biāo)以圖片左下角頂點(diǎn)為原點(diǎn)，規(guī)定水平右方向?yàn)閤軸正方向，豎直上為y軸正方向； 如果沒到輪廓鏈鏈尾，則沿輪廓鏈計(jì)算下一點(diǎn)曲率權(quán)直到該輪廓所有點(diǎn)計(jì)算完為止； 對(duì)曲率權(quán)進(jìn)行加權(quán)距離變換，將權(quán)重按值大小向空間散布； 進(jìn)行歸一化處理，得到頂點(diǎn)權(quán)概率分布。
圖3詳細(xì)介紹了頂點(diǎn)權(quán)計(jì)算過程。步驟301從圖2的步驟203中得到需要處理的輪廓鏈鏈?zhǔn)捉唤o步驟302作為起始點(diǎn)P0，步驟303和步驟304完成輔助計(jì)算點(diǎn)選取工作，沿輪廓鏈在P0兩側(cè)間隔為r和3r位置分別確定近端輔助點(diǎn)P1、P2和遠(yuǎn)端輔助點(diǎn)P3、P4。其中r用來控制曲率計(jì)算的局域性防止奇異點(diǎn)干擾。步驟305分別通過計(jì)算弧

和弧

的平均曲率再求平均的方式得到P0點(diǎn)的曲率S0，其中，∠P1P2為P1點(diǎn)切線到P2點(diǎn)時(shí)轉(zhuǎn)過的角度，∠P3P4同理。
為簡(jiǎn)便計(jì)算，P0點(diǎn)法線方向

取與直線P1P2和直線P3P4斜率平均值垂直方向，其斜率為其中，k12與k34分別是直線P1P2和直線P3P4的斜率。
曲率權(quán)重分配步驟306根據(jù)S0的大小和法線方向

計(jì)算P0點(diǎn)權(quán)重

根據(jù)公式將曲率投影至豎直軸正方向，取投影坐標(biāo)作為權(quán)重，這樣有利于頭頂弧形成，因?yàn)橐话阖Q直人體頭頂弧線的曲率往往是向上的。沿輪廓鏈計(jì)算下一點(diǎn)曲率權(quán)直到該輪廓所有點(diǎn)計(jì)算完為止。步驟308對(duì)得到的曲率權(quán)進(jìn)行Weighted Distance Transform(加權(quán)距離變換)，將權(quán)重按值大小向空間散布。加權(quán)距離變換與傳統(tǒng)距離變換不同，這里不僅考慮種子點(diǎn)有無(二進(jìn)制)，而且考慮種子點(diǎn)權(quán)大小，也就是說，權(quán)重大的種子散布的范圍要大于權(quán)重小的種子。這對(duì)于在頂點(diǎn)權(quán)大的點(diǎn)附近尋找頭頂非常有效。最后經(jīng)過步驟309歸一化得到人頭部的概率分布。該一系列的過程在圖6中有示例。
如圖6所示，步驟601中黑色封閉曲線為輪廓鏈，計(jì)算后的曲率權(quán)在步驟602中以不同灰度的像素點(diǎn)表示。顏色越深表明權(quán)重越大?？梢娗蚀蟛⑶曳较虺系幕【€部分具有較大的權(quán)重。放大的一段曲率權(quán)在604中表示，為便于顯示，圖中數(shù)值已被統(tǒng)一縮放僅表明大小關(guān)系。最后DistanceTransform得到的概率分布顯示在步驟603，圖中深色區(qū)域?yàn)轭^頂出現(xiàn)幾率較大的區(qū)域。
(二)特征弧匹配概率分布通過以下步驟得到 將視頻設(shè)備輸入的視頻流分解成單幀視頻序列進(jìn)行平滑處理后的灰度圖與得到的前景圖進(jìn)行掩碼后作為邊緣特征計(jì)算的輸入； 在上步驟計(jì)算結(jié)果中抽取邊緣特征及邊緣特征點(diǎn)； 判斷得到的邊緣特征點(diǎn)的邊緣強(qiáng)度是否大于閾值，如大于閾值，則取邊緣特征點(diǎn)所在位置相應(yīng)匹配模板大小圖像； 將該圖像與預(yù)先建立好的原始模板進(jìn)行匹配并記錄得分； 在與原始模板匹配后，動(dòng)態(tài)調(diào)節(jié)原始模板大小，使其適應(yīng)于不同尺寸人體； 如果匹配得分不高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，則置特征弧匹配權(quán)為前一次動(dòng)態(tài)調(diào)節(jié)后的模板匹配得分； 判斷所有特征點(diǎn)是事處理完畢，如處理完畢，則進(jìn)行歸一化處理，得到特征弧匹配概率分布并輸出； 如果所有特征點(diǎn)沒有處理完畢，則返回抽取邊緣特征點(diǎn)步驟； 如果匹配得分高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，則繼續(xù)沿調(diào)節(jié)方向?qū)δ０暹M(jìn)行放大或縮小處理，返回取邊緣特征點(diǎn)所在位置相應(yīng)匹配模板大小圖像步驟； 如果邊緣特征點(diǎn)的邊緣強(qiáng)度不大于閾值，則視為噪音，置特征弧匹配權(quán)為零，返回在上步驟計(jì)算結(jié)果中抽取邊緣特征及邊緣特征點(diǎn)步驟。
上述原始模板是在模型訓(xùn)練過程對(duì)上千張不同場(chǎng)景、不同角度的圖片數(shù)據(jù)學(xué)習(xí)所建立，該原始模板的設(shè)計(jì)經(jīng)過大量實(shí)驗(yàn)測(cè)試，充分考慮人頭頂在不同方向、角度觀測(cè)條件下的形態(tài)變化，做到受影響最小。模板著重檢測(cè)頭頂部弧線，權(quán)重最大。而靠近該弧線人頭頂區(qū)域下側(cè)一般為頭發(fā)、額頭或帽邊，顏色一般均勻，紋理不明顯，在模板中用灰色作為負(fù)反饋。在頭頂左右兩側(cè)同樣設(shè)置負(fù)反饋區(qū)域，有效過濾肩膀、背包等不對(duì)稱或存在多余紋理情況。
特征弧匹配及特征權(quán)計(jì)算過程如圖4。步驟401將圖2中步驟205平滑后的灰度圖與步驟202得到的前景圖進(jìn)行掩碼，作為步驟402邊緣特征計(jì)算的輸入，這樣即減少了計(jì)算量也降低了噪音干擾。邊緣特征檢測(cè)使用Sobel算子，只對(duì)圖像Y方向進(jìn)行邊緣檢測(cè)，有效抑制豎邊干擾，具體形式為 通過步驟403～405，在得到的邊緣特征中提取強(qiáng)度超過預(yù)定閾值的點(diǎn)作為原始模板匹配基點(diǎn)q0，其余點(diǎn)視為噪音，置特征弧匹配權(quán)為零。步驟406～411完成模板匹配過程。在q0位置取與默認(rèn)模板大小一致邊緣圖像(23×7像素)，將該圖像與圖7中步驟701所示原始模板進(jìn)行匹配。設(shè)模板(i，j)位置上像素強(qiáng)度為mij，相應(yīng)匹配圖像像素強(qiáng)度為cij，則該圖像匹配得分ε可由計(jì)算得到。模板數(shù)值離散化的結(jié)果在其右側(cè)步驟702中顯示，圖中黑色區(qū)域?yàn)檎答亝^(qū)域，對(duì)應(yīng)數(shù)值為正，暗灰色區(qū)域?yàn)樨?fù)反饋區(qū)域，對(duì)應(yīng)數(shù)值為負(fù)。
在與原始模板匹配后，為適應(yīng)物體(人頭)大小變化，動(dòng)態(tài)調(diào)節(jié)模板大小，比例系數(shù)為0.9(縮小)和1.1(放大)。將調(diào)整后的模板繼續(xù)與q0點(diǎn)圖像進(jìn)行匹配，直到匹配結(jié)果不再變好時(shí)記錄最好匹配時(shí)得分以及當(dāng)時(shí)模板大小(以后顏色匹配時(shí)用到)。在步驟411確保所有有效特征點(diǎn)處理完后經(jīng)步驟412歸一化得到特征弧匹配概率分布。
(三)色彩權(quán)概率分布通過以下步驟得到 以一幀原始視頻圖像與前景圖進(jìn)行掩碼的結(jié)果作為輸入； 在上述輸入數(shù)據(jù)中選取有效特征點(diǎn)，這里的特征點(diǎn)是“特征弧匹配”步驟中特征點(diǎn)的子集(超過閾值部分)； 判斷有效特征點(diǎn)對(duì)應(yīng)的特征弧點(diǎn)匹配權(quán)是否小于閾值； 如果特征弧點(diǎn)匹配權(quán)不小于閾值，則取該有效特征點(diǎn)所在圖像窗口分別與正面模板和負(fù)面模板進(jìn)行匹配，記錄上述匹配的最大匹配得分； 判斷所有邊緣特征點(diǎn)是否處理完畢； 如處理完畢，則進(jìn)行歸一化處理得到色彩權(quán)概率分布并輸出； 如果所有邊緣特征點(diǎn)沒有處理完畢，則返回在上述輸入數(shù)據(jù)中選取有效特征點(diǎn)步驟； 如果有效特征點(diǎn)對(duì)應(yīng)的特征弧點(diǎn)匹配權(quán)小于閾值，則將該有效特征點(diǎn)的色彩權(quán)置為0，返回在上述輸入數(shù)據(jù)中選取有效特征點(diǎn)步驟。
圖5所示為色彩權(quán)的計(jì)算過程。步驟501得到原始一幀視頻圖像與前景掩碼的結(jié)果作為輸入。步驟502～504選取有效特征點(diǎn)r0，該點(diǎn)與圖4所示過程中滿足步驟404的點(diǎn)集一致，也就是說，只考慮具有一定邊緣強(qiáng)度的點(diǎn)做色彩匹配，而不是對(duì)所有點(diǎn)進(jìn)行處理，這樣極大節(jié)省系統(tǒng)開銷。步驟505根據(jù)q0匹配時(shí)最佳模板大小取r0相應(yīng)大小圖像。將該圖像分別與色彩正面模板和反面模板進(jìn)行匹配，兩種模板實(shí)例見圖8。圖8中顯示正面及反面顏色模板例子，其中801顯示正面模板，該模板由上部及下部?jī)煞N顏色構(gòu)成，上部顏色可為發(fā)色或帽子顏色，下部顏色可為膚色或白色(戴口罩情況)。該模板同時(shí)可作為側(cè)面模板使用。802顯示人頭反面或頂面模板，模板可為黑色、灰色等單一顏色或通過發(fā)色學(xué)習(xí)得到的任意顏色分布。色彩匹配可由計(jì)算。其中，dij2為圖像(i，j)位置上像素點(diǎn)與模板顏色分布在RGB色彩空間上的距離。
步驟508記錄顏色模板匹配的最高得分，在處理完所有特征點(diǎn)后(步驟509)，經(jīng)步驟510歸一化得到色彩權(quán)概率分布。
本發(fā)明方法考慮人體頭部的形態(tài)特征、顏色特征、輪廓特征以及運(yùn)動(dòng)特征，分別建立動(dòng)態(tài)模型，計(jì)算概率。這些特征都是獨(dú)立的弱分類器，根據(jù)自己特點(diǎn)對(duì)圖像內(nèi)容進(jìn)行獨(dú)立分析識(shí)別，形成分值，再結(jié)合自己的經(jīng)驗(yàn)權(quán)重進(jìn)行投票，投票結(jié)果作為最終結(jié)論統(tǒng)一輸出。也就是由弱分類器構(gòu)建強(qiáng)分類器最后由強(qiáng)分類器決定輸出結(jié)果的過程。每個(gè)弱分類器都有屬于自己的權(quán)重，通過對(duì)所有弱分類器線性疊加得到強(qiáng)分類器。這樣做的好處在于，在現(xiàn)實(shí)多變的場(chǎng)景中，所有特征不可能同時(shí)都得到很好的體現(xiàn)，顏色明顯的地方輪廓可能不明顯，輪廓清晰的地方可能運(yùn)動(dòng)信息不那么強(qiáng)。這就需要特征明顯的弱分類器權(quán)重大些，特征不明顯的權(quán)重小些，通過實(shí)時(shí)動(dòng)態(tài)的調(diào)節(jié)各特征的權(quán)重達(dá)到最好的檢測(cè)效果。
由于這種通過弱分類器合成強(qiáng)分類器并且能夠動(dòng)態(tài)調(diào)節(jié)弱分類器權(quán)重(限于Adaboost訓(xùn)練)的過程與經(jīng)典的boosting相似，并且出于實(shí)用性考慮，本發(fā)明去掉boosting費(fèi)時(shí)的訓(xùn)練以及大量樣本權(quán)重變化，稱之為簡(jiǎn)單boosting。
該模型與Viola，P.最早提出的用于人臉檢測(cè)的AdaBoost有幾點(diǎn)不同，首先，Viola，P.弱分類器是極小的積分圖，往往只有幾個(gè)像素大小，而本方法中的模型是大尺度的宏觀特征像輪廓、顏色等等；其次，Viola模型的學(xué)習(xí)需要很長(zhǎng)時(shí)間以及大量樣本，從幾十萬個(gè)這樣的積分圖中挑出最合適的弱分類器構(gòu)成強(qiáng)分類器。相反的，本方法中的模型不需要學(xué)習(xí)，可以通過識(shí)別結(jié)果動(dòng)態(tài)調(diào)節(jié)弱分類器權(quán)重及模板大?。籚iola模型通過級(jí)聯(lián)一級(jí)級(jí)剔除的方式進(jìn)行識(shí)別，本發(fā)明則通過投票；最后，為了使弱分類器具有區(qū)別正樣本與負(fù)樣本的能力，Viola模型的訓(xùn)練被限制在一定角度、光線及尺度變化范圍內(nèi)，這樣訓(xùn)練好的分類器也只適用于一定角度以及光線變化的情況。
在整個(gè)監(jiān)控畫面中尋找人體比在某特定區(qū)域?qū)ふ乙ㄙM(fèi)更多的計(jì)算及更低的準(zhǔn)確率。為了節(jié)省計(jì)算及提高準(zhǔn)確率，首先通過前背景分離排除了與人體無關(guān)的背景。這里的背景即包括不動(dòng)背景像道路、建筑、家具等也包括一些運(yùn)動(dòng)著的緩慢變化的背景像波動(dòng)的水、隨風(fēng)飄動(dòng)的旗幟、浮動(dòng)的云、搖曳的樹枝等。在以下各步弱分類器作用過程中，計(jì)算只在分離出的前景圖中進(jìn)行。
第一類弱分類器基于人體運(yùn)動(dòng)時(shí)的外輪廓特征。介于人體直立行走的特點(diǎn)，人體頭部往往居于人體外輪廓的頂部。同時(shí)，頭部與肩部的外輪廓形成方向向上曲線，與頸部及身體其他部位形成的輪廓有鮮明對(duì)比。計(jì)算前景圖中外輪廓各點(diǎn)曲率及方向，并根據(jù)其方向和大小分配不同權(quán)重。曲率大及方向向上分配大權(quán)重，曲率小或方向偏離向上分配小權(quán)重，目的在于突出頭肩部位置，再利用Distance Transform變換發(fā)散權(quán)重適應(yīng)偏移誤差，最后歸一化得到頭肩部概率分布。
第一類弱分類器的優(yōu)點(diǎn)是特征明顯，前景中未與其他前景物交疊的人體都會(huì)滿足這一特點(diǎn)，但最大缺點(diǎn)是無法對(duì)存在于外輪廓內(nèi)部的人體頭部進(jìn)行有效識(shí)別。本發(fā)明引入第二類弱分類器-頭部邊緣弧。頭部邊緣基于紋理特征，與物體運(yùn)動(dòng)無關(guān)，而且對(duì)人體的旋轉(zhuǎn)及攝像機(jī)照射角度變化都有很強(qiáng)的魯棒性(經(jīng)測(cè)試，人體頭頂邊緣弧形狀及強(qiáng)度在人體360°旋轉(zhuǎn)和-60°～60°觀測(cè)角變化時(shí)維持在±5％以內(nèi))。本實(shí)施例采用Sobel算子抽取前景圖中Y方向物體邊緣，與定義頭頂弧模板進(jìn)行匹配得到權(quán)重。為適應(yīng)場(chǎng)景中人頭部大小變化，模板尺寸隨匹配得分趨勢(shì)動(dòng)態(tài)調(diào)整，對(duì)前景圖進(jìn)行移動(dòng)窗口式搜索，計(jì)算頭頂弧權(quán)重，得到頭頂概率分布。
第二類弱分類器的優(yōu)點(diǎn)是可以解決第一類弱分類器無法檢測(cè)到的位于前景內(nèi)部的人體頭部問題，漏檢率低，缺點(diǎn)是誤檢率相對(duì)較高。特別遇到包裹外形與人體頭部相似情形，往往會(huì)被誤識(shí)為頭部。這時(shí)可以通過最后一類弱分類器將其剔除，也就是利用物體的顏色特征。為適應(yīng)各種攝像機(jī)在色彩、清晰度、白平衡等參數(shù)上的差異，不對(duì)膚色和發(fā)色進(jìn)行細(xì)致建模，相反的，本發(fā)明注重顏色均一性以及分布位置特點(diǎn)，對(duì)人頭部正面(包括側(cè)面)和背面(包括上面)的顏色分布建立模板，移動(dòng)窗口式匹配前景，模板尺寸與頭頂弧匹配模板一致，從正面和背面模板匹配結(jié)果中取最大值作為顏色分類器分類結(jié)果。
最后，將這三類弱分類器的計(jì)算結(jié)果乘以它們各自的弱分類器權(quán)重后累加得到最終識(shí)別結(jié)果。結(jié)果在輸出的同時(shí)反饋到各弱分類器動(dòng)態(tài)調(diào)節(jié)各自權(quán)重。也就是說，匹配正確的弱分類器權(quán)重增加，錯(cuò)誤的減少。
權(quán)利要求
1.一種復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于包括以下步驟
將視頻設(shè)備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識(shí)別模塊、特征弧識(shí)別模塊和顏色識(shí)別模塊三個(gè)模塊進(jìn)行處理；
外輪廓識(shí)別模塊對(duì)單幀視頻序列進(jìn)行前背景分離后，進(jìn)行外輪廓提取，并計(jì)算出頭頂頂點(diǎn)權(quán)概率分布；
特征弧識(shí)別模塊在對(duì)單幀視頻序列進(jìn)行平滑及灰度化處理后的圖像上做邊緣檢測(cè)，再經(jīng)過特征弧匹配后得到特征弧匹配概率分布；
顏色識(shí)別模塊將前景圖像與顏色原始模板進(jìn)行匹配得到色彩權(quán)概率分布；
將上述頂點(diǎn)權(quán)概率分布、特征弧匹配概率分布以及色彩權(quán)概率分布通過簡(jiǎn)單boosting加權(quán)疊加，得到最終的頭頂概率分布。
2.按權(quán)利要求1所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述簡(jiǎn)單boosting為通過對(duì)頂點(diǎn)權(quán)概率分布、特征弧匹配概率分布以及色彩權(quán)概率分布三種弱分類器的線性加權(quán)疊加得到強(qiáng)分類器結(jié)果輸出。
3.按權(quán)利要求1所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述外輪廓識(shí)別模塊、特征弧識(shí)別模塊和顏色識(shí)別模塊均在前背景分離后的前景圖像中進(jìn)行分析處理。
4.按權(quán)利要求1所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述計(jì)算頂點(diǎn)權(quán)概率分布包括以下步驟
確定計(jì)算起始點(diǎn)P。，將外輪廓提取結(jié)果得到的輪廓鏈鏈?zhǔn)鬃鳛槠鹗键c(diǎn)；
選取輔助計(jì)算點(diǎn)，沿輪廓鏈在起始點(diǎn)兩側(cè)分別確定近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)；
通過近端輔助點(diǎn)和遠(yuǎn)端輔助點(diǎn)計(jì)算起始點(diǎn)平均曲率的大小及法線方向；
依據(jù)平均曲率大小及法線方向計(jì)算起始點(diǎn)頂點(diǎn)權(quán)；
如果沒到輪廓鏈鏈尾，則沿輪廓鏈計(jì)算下一點(diǎn)頂點(diǎn)權(quán)直到該輪廓所有點(diǎn)計(jì)算完為止；
對(duì)頂點(diǎn)權(quán)進(jìn)行加權(quán)距離變換，將權(quán)重按值大小向空間散布；
歸一化處理得到頂點(diǎn)權(quán)概率分布。
5.按權(quán)利要求4所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于加權(quán)距離變換在原有距離變換基礎(chǔ)上增加權(quán)重機(jī)制，通過種子權(quán)重控制其影響范圍，具體為將頂點(diǎn)權(quán)權(quán)重按值大小向空間散布，加權(quán)距離變換考慮種子點(diǎn)權(quán)大小，即權(quán)重大的種子散布的范圍大于權(quán)重小的種子。
6.按權(quán)利要求1所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述特征弧匹配概率分布通過以下步驟得到
將視頻設(shè)備輸入的視頻流分解成單幀視頻序列進(jìn)行平滑處理后的灰度圖與得到的前景圖進(jìn)行掩碼后作為邊緣特征計(jì)算的輸入；
在上述輸入數(shù)據(jù)中抽取邊緣特征及邊緣特征點(diǎn)；
判斷得到的邊緣特征點(diǎn)的邊緣強(qiáng)度是否大于閾值，如大于閾值，則取邊緣特征點(diǎn)所在位置相應(yīng)匹配模板大小圖像；
將該圖像與預(yù)先建立好的原始模板進(jìn)行匹配并記錄得分；
在與原始模板匹配后，動(dòng)態(tài)調(diào)節(jié)原始模板大小；
判斷匹配得分是否高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，如果匹配得分不高于前一次動(dòng)態(tài)調(diào)節(jié)后的模板，則置特征弧匹配權(quán)為前一次動(dòng)態(tài)調(diào)節(jié)后的模板匹配得分；
判斷所有特征點(diǎn)是否處理完畢，如處理完畢，則進(jìn)行歸一化處理，得到特征弧匹配概率分布并輸出；如果沒處理完，則返回至抽取邊緣特征點(diǎn)步驟進(jìn)行下一個(gè)點(diǎn)處理；
如果模板匹配得分高于前一次動(dòng)態(tài)調(diào)節(jié)后的原始模板，則繼續(xù)沿原調(diào)節(jié)方向?qū)δ０暹M(jìn)行放大或縮小處理直到得分不再增加為止，并將此時(shí)分?jǐn)?shù)作為最終模板匹配得分。
7.按權(quán)利要求6所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述原始模板只涉及人頭耳部以上區(qū)域。
8.按權(quán)利要求6所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于采用跳躍移動(dòng)窗口方式計(jì)算特征弧匹配權(quán)；邊緣特征點(diǎn)的查找和匹配通過水平移動(dòng)原始模板窗口實(shí)現(xiàn)，而配合閾值的判斷使其跳躍過邊緣強(qiáng)度小的噪音點(diǎn)。
9.按權(quán)利要求1所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于所述色彩權(quán)概率分布通過以下步驟得到
以一幀原始視頻圖像與前景圖進(jìn)行掩碼的結(jié)果作為輸入；
在上述輸入數(shù)據(jù)中選取有效顏色特征點(diǎn)；
判斷有效特征點(diǎn)對(duì)應(yīng)的特征弧點(diǎn)匹配權(quán)是否小于閾值；
如果特征弧點(diǎn)匹配權(quán)不小于閾值，則取該有效特征點(diǎn)所在圖像窗口分別與正面模板和負(fù)面模板進(jìn)行匹配，記錄上述匹配的最大匹配得分；
判斷所有邊緣特征點(diǎn)是否處理完畢；
如處理完畢，則進(jìn)行歸一化處理得到色彩權(quán)概率分布并輸出。
10.按權(quán)利要求9所述的復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，其特征在于采用正面及反面顏色模板進(jìn)行色彩匹配；正面及反面模板設(shè)計(jì)均為矩形，長(zhǎng)寬比例為1∶1.33。正面模板由上下相連的兩個(gè)矩形構(gòu)成，顏色分別為純黑及純白色，其中黑、白色部分寬度比例1∶3，反面模板為純黑色。
全文摘要
本發(fā)明涉及一種復(fù)雜場(chǎng)景下的人體頭部識(shí)別方法，將視頻設(shè)備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識(shí)別模塊、特征弧識(shí)別模塊和顏色識(shí)別模塊進(jìn)行處理；外輪廓識(shí)別模塊對(duì)單幀視頻序列進(jìn)行前背景分離、外輪廓提取，計(jì)算頭頂頂點(diǎn)權(quán)概率分布；特征弧識(shí)別模塊在平滑及灰度化處理后的圖像上做邊緣檢測(cè)、特征弧匹配后得到特征弧匹配概率分布；顏色識(shí)別模塊將前景圖像與顏色原始模板進(jìn)行匹配得到色彩權(quán)概率分布；將頂點(diǎn)權(quán)概率分布、特征弧匹配概率分布以及色彩權(quán)概率分布通過加權(quán)疊加，得到最終的頭頂概率分布。本發(fā)明有效抑制了人體遮擋、攝像機(jī)角度、光照變化等客觀環(huán)境造成不良影響，實(shí)現(xiàn)對(duì)人體的頭部檢測(cè)，識(shí)別速度快、精度高，可以利用現(xiàn)有大部分監(jiān)控系統(tǒng)。
文檔編號(hào)G06K9/00GK101763504SQ200910248919
公開日2010年6月30日 申請(qǐng)日期2009年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者邱懷駿, 姚志瑞 申請(qǐng)人:邱懷駿