基于多視覺特征融合的人員識別方法
【專利摘要】一種基于多視覺特征融合的人員識別方法，先對監(jiān)控視頻進行分析，提取相關(guān)人員信息，并進行特征描述，最后根據(jù)輸入視頻圖像執(zhí)行尋找，得到相關(guān)人員的識別結(jié)果；包括視頻跟蹤處理、人體團塊處理和人員識別三個操作階段或步驟。本發(fā)明方法能夠很好地從視頻中自動提取合適的人員圖像，并進行預(yù)處理；還針對描述特征存在的問題作了相應(yīng)改進，選取比較通用的特征，且對特征進行重組，以融合成新的特征。本發(fā)明方法在去除背景部分，對人體圖像進行分塊和提取語義顏色特征方面都實現(xiàn)了創(chuàng)新。本發(fā)明的多次仿真實施例對監(jiān)控視頻的測試結(jié)果表明：操作簡單、便利、有效、具有良好的識別效果，因此，本發(fā)明方法具有很好的推廣應(yīng)用前景。
【專利說明】基于多視覺特征融合的人員識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于多視覺特征融合的人員識別方法，屬于計算機視覺、數(shù)字圖像處理、多媒體信息處理和視頻監(jiān)控的【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]人員識別是計算機視覺領(lǐng)域中的一個研究熱點，它是利用基于生物特征的技術(shù)來解決識別人的問題，因而催生了基于人臉、虹膜、指紋和步態(tài)等多個特征進行人員識別的分支領(lǐng)域。然而，在大多數(shù)視頻監(jiān)控場景中，常常無法得到準確的生物特征，而且，視頻的分辨率和幀率都比較低，背景環(huán)境復(fù)雜，從而導(dǎo)致了基于生物特征的人員識別效果大大降低，甚至無法進行。在此背景條件下，誕生人員識別的新分支:基于外觀的識別研究。
[0003]人員識別是基于人體外觀不變的前提下進行的，即在不同視頻或者圖像中的同一個人，其衣服和形象沒有經(jīng)過物理上的改變(如換穿衣服等)。且隨著攝像機的廣泛使用，人員識別研究已經(jīng)變得越來越重要。小到家庭防盜監(jiān)控，大到大規(guī)模零售企業(yè)，體育場館和室外露天的各種場景監(jiān)控等，人員識別的應(yīng)用越來越廣泛。
[0004]人員識別的流程一般可以分為兩大步驟:第一步是對要識別的人員所在的視頻或圖像進行處理，此時主要獲取人員圖像，并進行預(yù)處理(如去除噪聲等)。第二步是對獲取到的人員圖像進行數(shù)據(jù)和語義分析，以確定人員之間的相關(guān)性和相似性，該步驟要提取人員圖像的相應(yīng)特征數(shù)據(jù)，然后進行組合和距離比較，最后根據(jù)比較結(jié)果得出相似程度的結(jié)論。
[0005]目前，利用上述方法進行的人員識別存在較多問題。在進行第一步處理時，往往只是針對已有的人員圖像，或者需要手動從視頻中截取圖像。而且，若為非手動方式獲取到的人員圖像，往往含有比較多的背景部分。這時候，即使經(jīng)過預(yù)處理，背景部分仍然會對后續(xù)的特征提取和特征比較造成不良影響，并最終影響識別結(jié)果。在進行第二步處理時，選取的特征往往沒有普遍性，僅適合在某些特定環(huán)境下使用，且對人員的信息描述不夠全面，不同人員的區(qū)別不夠明顯，識別的結(jié)果比較差。
[0006]另外，現(xiàn)有的針對監(jiān)控視頻的人員識別工作的范圍非常有限，絕大部分只是針對單張圖像。然而，隨著攝像機網(wǎng)絡(luò)的發(fā)展和延伸，監(jiān)控網(wǎng)絡(luò)越來越完善，對監(jiān)控視頻中的人員進行人員識別也是非常重要的。通過對監(jiān)控視頻進行人員識別，能夠在視頻中自動尋找與定位想要查找的人員。該應(yīng)用在包括安防、尋人、定位等許多領(lǐng)域都將帶來極大幫助，有助于構(gòu)建安全、穩(wěn)定的生活環(huán)境。因此人員識別具有非常重要的科學研究價值和國家戰(zhàn)略意義。

【發(fā)明內(nèi)容】

[0007]有鑒于此，本發(fā)明的目的是針對目前在人員識別研究中存在的上述多項問題，提供一種基于多視覺特征融合的人員識別方法。該方法能夠很好地從視頻中自動提取合適的人員圖像，并進行比較良好的預(yù)處理。本發(fā)明還針對描述特征存在的問題作了相應(yīng)改進，選取比較通用的特征，且對特征的描述進行重新融合。實踐證明此套技術(shù)方案能夠獲得良好的識別效果。
[0008]為了達到上述目的，本發(fā)明提供了一種基于多視覺特征融合的人員識別方法，其特征在于:先對監(jiān)控視頻進行分析，提取相關(guān)人員信息，并進行特征描述，最后根據(jù)輸入視頻圖像執(zhí)行尋找，得到相關(guān)人員的識別結(jié)果；包括下述三個操作步驟:
[0009]步驟1，視頻跟蹤處理階段:先檢測視頻中的前景，從前景中提取運動團塊，并對團塊進行跟蹤，檢測判斷新團塊是否為人體團塊；若是，則將人體團塊所對應(yīng)的人體矩形圖像摳出，并保存等待后續(xù)處理；若否，則丟棄該新團塊；
[0010]步驟2，人體團塊處理階段:從得到的相關(guān)人員的多個團塊中選擇第一個團塊進行處理:從視頻原始圖像中提取每個人員對應(yīng)的矩形圖像后，對該矩形圖像進行處理:尋找該矩形圖像中的人員前景，再用滑動窗口剔除該人體矩形圖像中的背景后，對該矩形圖像進行分塊，分別提取表示圖像中色調(diào)、飽和度和亮度三通道值的六角錐體色彩模型HSV顏色直方圖、全局最大三維顏色圖中的三維顏色、分塊語義顏色和紋理方向向量共四種特征向量，并存儲于人體視頻特征數(shù)據(jù)庫中，以供利用這些特征的融合描述每個人員和進行人員識別；
[0011]步驟3，人員識別階段:輸入待檢測人員視頻圖像，并從該待檢測人員視頻圖像提取步驟2中的四種特征向量后，以該四種特征向量與人體視頻特征數(shù)據(jù)庫中存儲的每個人員特征向量逐一進行對比，尋求各個特征向量之間的距離最小的人員，作為所識別的人員及其相應(yīng)的視頻信息。
[0012]本發(fā)明方法的關(guān)鍵技術(shù)或優(yōu)點是對現(xiàn)有技術(shù)的四類問題做了很好的改進:
[0013](I)如何從視頻中獲取相應(yīng)的人員信息，即如何從視頻中獲取比較理想的人員圖像息。
[0014](2)如何對獲取到的人員圖像信息進行預(yù)處理，減少背景干擾。當前，除了某些特殊設(shè)計的攝像機以外，拍攝到的視頻總是帶有背景，該背景會對人員圖像信息造成影響，增加后續(xù)處理的難度。
[0015](3)如何選取合適的特征，并對其所代表的人員進行恰宜的描述，針對現(xiàn)有的特征，進行相應(yīng)的描述融合定義，改進描述方式。
[0016](4)采用多種特征融合來描述一個特定人員，使得相同人員之間差異最小化，而不同人員之間的差異最大化。
[0017]本發(fā)明是從監(jiān)控視頻中基于外觀進行人員識別的方法，這個技術(shù)方案與現(xiàn)有方法相比較，能夠完整、且相對準確地實現(xiàn)人員識別，而不用增加其他的步驟，相比其他的不完整的技術(shù)方案，本發(fā)明方法的獨創(chuàng)性在去除背景部分，對人體圖像進行分塊和提取語義顏色特征方面都實現(xiàn)了創(chuàng)新。其中，去除背景部分和對人體圖像進行分塊的方法，操作簡便、容易執(zhí)行，效率較高，而且具有較高的準確率。提取語義顏色的操作步驟，將工業(yè)化的顏色表示翻譯為人能識別的語義顏色，能夠更好地描述一個具體人員。本發(fā)明的多次仿真實施例對監(jiān)控視頻的測試結(jié)果表明:本發(fā)明方法操作簡單、便利、有效、具有實用價值。
【專利附圖】

【附圖說明】
[0018]圖1是本發(fā)明基于多視覺特征融合對監(jiān)控視頻進行人員識別的方法操作步驟主要步驟流程圖。
[0019]圖2是本發(fā)明基于多視覺特征融合對監(jiān)控視頻進行人員識別的方法具體操作步驟流程圖。
[0020]圖3是本發(fā)明步驟I中高斯背景模型的背景差分方法操作步驟流程圖。
[0021]圖4是本發(fā)明步驟I中的前景點的示意圖。
[0022]圖5是本發(fā)明步驟I中的人體團塊處理階段的具體操作步驟流程圖。
[0023]圖6是本發(fā)明步驟I中從團塊中得到的矩形圖像示意圖。
[0024]圖7是本發(fā)明步驟2中的從人體圖像生成特征庫的步驟流程圖。
[0025]圖8是本發(fā)明步驟2中的人體分塊示意圖。
[0026]圖9是本發(fā)明步驟3中人員識別階段的具體操作步驟流程圖。
【具體實施方式】
[0027]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。
[0028]參見圖1，介紹本發(fā)明基于多視覺特征融合的人員識別方法:先對監(jiān)控視頻進行分析，提取相關(guān)人員信息，并進行特征描述，最后根據(jù)輸入視頻圖像執(zhí)行尋找，得到相關(guān)人員的識別結(jié)果。本發(fā)明方法包括下述三大操作步驟:
[0029]步驟1，視頻跟蹤處理階段:先檢測視頻中的前景，從前景中提取運動團塊，并對團塊進行跟蹤，檢測判斷新團塊是否為人體團塊；若是，則將人體團塊所對應(yīng)的人體矩形圖像摳出，并保存等待后續(xù)處理；若否，則丟棄該新團塊。
[0030]步驟2，人體團塊處理階段:從得到的相關(guān)人員的多個團塊中選擇第一個團塊進行處理:從視頻原始圖像中提取每個人員對應(yīng)的矩形圖像后，對該矩形圖像進行處理:尋找該矩形圖像中的人員前景，再用滑動窗口剔除該人體矩形圖像中的背景后，對該矩形圖像進行分塊，分別提取表示圖像中色調(diào)、飽和度和亮度三通道值的六角錐體色彩模型HSV顏色直方圖、全局最大三維顏色圖中的三維顏色、分塊語義顏色和紋理方向向量共四種特征向量，并存儲于人體視頻特征數(shù)據(jù)庫中，以供利用這些特征的融合描述每個人員和進行人員識別。
[0031]步驟3，人員識別階段:輸入待檢測人員視頻圖像，并從該待檢測人員視頻圖像提取步驟2中的四種特征向量后，以該四種特征向量與人體視頻特征數(shù)據(jù)庫中存儲的每個人員特征向量逐一進行對比，尋求各個特征向量之間的距離最小的人員，作為所識別的人員及其相應(yīng)的視頻信息。
[0032]參見圖2，對上述三大步驟所用的技術(shù)及其具體操作內(nèi)容進行詳細描述。
[0033]步驟1，視頻跟蹤處理階段:在視頻中，基本不變的圖像被稱為背景，視頻中出現(xiàn)的人物或其他物體被稱為前景，即要處理的目標。為了后續(xù)進行人員識別，需要將人員對應(yīng)的前景圖像提取出來。同時，由于一個人的前景圖像會在視頻中多次出現(xiàn)，為了將這些圖像都對應(yīng)到同一人上，還需要跟蹤處理。本階段包括以下3個操作步驟:
[0034](11)前景檢測(參見圖3、圖4):其目的是從視頻圖像中基本不變的背景中檢測出其中屬于前景的像素，再把前景中的人員從圖像中摳出來，以供后續(xù)處理。因某人的前景圖像會多次出現(xiàn)于視頻圖像中，為將這些視頻圖像都對應(yīng)到同一人，還要跟蹤處理相應(yīng)圖像。前景檢測方法是建立高斯背景模型后，對新幀圖像中的所有像素進行檢測與判斷，如果是不符合高斯背景模型的像素，則認為是前景。
[0035](12)判別人體團塊(參見圖5、圖6):將前景檢測操作得到的所有前景像素中的相鄰前景像素聚合在一起，匯集成塊，每一塊構(gòu)成一個團塊。再將完成前景檢測后的團塊位置圖中的前景像素設(shè)置為高亮，其余像素設(shè)置為暗點。搜索聚集在一起的亮點，并將其合并形成團塊；刪除其中面積小的團塊后，根據(jù)設(shè)定的團塊中心點、即質(zhì)心和設(shè)定的寬高，得到每個團塊或原始圖像中對應(yīng)的矩形圖像。然后，計算每個團塊矩形圖像的梯度方向直方圖HOG (Histogram of oriented gradients)特征,再利用由HOG特征訓(xùn)練的人體分類器判定每個矩形圖像中是否有人，若其中有人，則對其執(zhí)行后續(xù)處理；否則，直接剔除該團塊矩形圖像。
[0036](13)對團塊矩形圖像進行檢測及跟蹤，包括下述兩個具體操作內(nèi)容:
[0037]檢測團塊，以剔除不符合要求的團塊:用團塊質(zhì)心在圖像中的位置記錄每個團塊后，對其進行檢測:若該團塊的寬高比很小，則判斷其是由噪聲引起的，直接剔除之；若兩個團塊的質(zhì)心位置及其寬高比相近，則該兩個團塊表示同一目標，此時應(yīng)將該兩個團塊融合成一體，構(gòu)成一個團塊。
[0038]跟蹤團塊，形成跟蹤列表:檢測到新團塊后，若此時的跟蹤列表為空，直接將其加入跟蹤列表；否則，即跟蹤列表不為空，則判斷該新團塊是否與跟蹤列表中的現(xiàn)有團塊相匹配；若匹配，表明跟蹤成功；若不匹配，則將該團塊為新團塊，并將該加入團塊跟蹤列表。
[0039]步驟2，人體團塊處理階段:因步驟I得到人員對應(yīng)的多個團塊，為了簡化，本發(fā)明只處理每個人員團塊系列中的第一個團塊。根據(jù)團塊質(zhì)心，可從視頻原始圖像中提取每個人員對應(yīng)的矩形圖像。該階段對這些矩形人員圖像進行處理的操作包括下述兩個操作內(nèi)容:
[0040](21)利用滑動窗口去除視頻圖像的背景，并對前景中的人體圖像分塊。該步驟又分為下列操作內(nèi)容(參見圖7和圖8):
[0041](21A)設(shè)定搜索框、即滑動窗口后，準備利用搜索框去除背景和對人體圖像分塊:根據(jù)設(shè)置的.人體所在矩形圖像的寬為W和高為H，選定搜索框的滑動窗口寬為W、高為h，且h〈H ;其中，圖像的寬和高分別為水平方向和垂直方向的像素總數(shù)；分別計算搜索框內(nèi)上半部和下半部所框住的人體矩形圖像的像素顏色空間像素之和，并求解該兩個和之差的絕對值。
[0042](21B)初始時，將搜索框的上邊緣和左側(cè)邊緣分別與矩形圖像的上邊緣和左側(cè)邊緣相重合。再移動搜索框，即將搜索框沿著矩形圖像的高垂直地由上到下移動，每次向下移動一個像素后，計算新的搜索框內(nèi)上半部和下半部所框住的人體矩形圖像的像素的顏色空間像素之和，再求這兩個和之差的絕對值。
[0043](21C)判斷該差的絕對值是否不小于設(shè)定閾值:若是，則得到該矩形圖像第一個分界點；重復(fù)執(zhí)行上述步驟，找到另外兩個分界點。因人體矩形圖像中的背景基本相同，滑動窗口上下兩部分之間像素差的絕對值取決于人體不同部位的團塊變化:當滑動窗口的高度中線剛好處于人體圖像邊緣時，其差為最大值；故滑動窗口從上往下搜索時，高度中線第一次達到閾值時的位置是頭和軀干的分界線，當滑動窗口第二次達到閾值時的位置是軀干和下肢的分界線；由此把人體矩形圖像分為頭、軀干和下肢三個小的矩形圖像，以減少背景影響。
[0044](21D)采用與步驟(21C)類似的滑動窗口方法:先設(shè)定搜索框，分別使用頭部、軀干和下肢所在的三個小的矩形圖像從左向右滑動，分別刪除人體的頭部、軀干和下肢矩形圖像中的左右兩側(cè)背景。從而得到刪除全部背景、僅包含純粹的頭部、軀干和下肢三部位的人體圖像。
[0045](22)提取和存儲分塊人體圖像的全局顏色直方圖、全局最大三維顏色、分塊語義顏色和紋理方向向量共4種特征向量。該步驟包括下列操作內(nèi)容:
[0046](22A)提取全局顏色直方圖特征:因人在識別視頻圖像時，顏色特征最強烈和準確，故以全局HSV顏色直方圖作為描述人員的第一區(qū)別特征；HSV顏色直方圖是分別對人體頭部、軀干和下肢三部分圖像求HSV顏色空間下的概率密度函數(shù)。
[0047](22B)提取全局最大三維顏色特征:排除亮度和飽和度的影響，將只考慮色度的直方圖從大到小順序排列，選取前三維作為全局最大三維顏色，用于表示人員的全局最大三維特征向量。 [0048](22C)提取分塊語義顏色特征:因上述兩個區(qū)別特征都是針對整幅人體圖像，容易忽略局部特征的差異而降低識別效果，故要將顏色語義化:分別對頭部、軀干和下肢的三個矩形圖像提取相應(yīng)語義顏色，即將圖像的每個像素所代表的顏色與16種基本顏色分別求解其歐氏距離，選取距離最小的基本顏色作為語義顏色，再分別統(tǒng)計頭部、軀干和下肢三部位所在矩形圖像中所有像素代表的基本顏色數(shù)量，分別選取其數(shù)量最大的顏色作為頭部、軀干和下肢所在矩形圖像的語義顏色，用于描述其局部區(qū)別特征。
[0049](22D)提取紋理方向的區(qū)別特征:因圖像處理領(lǐng)域中用于邊緣檢測的Gabor線性濾波器的頻率和方向非常接近人類視覺系統(tǒng)對頻率和方向的感覺，故采用8個方向Gabor濾波器檢測人體圖像的紋理特征的標準方差，作為紋理方向的區(qū)別特征；
[0050](22E)將提取的上述四個區(qū)別特征參數(shù)存儲到人體視頻特征數(shù)據(jù)庫中。
[0051]步驟3，人員識別階段(參見圖9):提取了人員特征后，就可以利用特征的融合來描述每個人員，并利用這些特征的差異來識別不同的人員。例如:設(shè)為步驟2檢測到的人員圖像集合，其中的每個Hi表示一個人員的圖像，Hi的頭部、軀干、下肢部分的四種特征向量根據(jù)步驟2計算出來，并存在特征數(shù)據(jù)庫中。人員識別的任務(wù)就是給定一個特定人員H，從H1, H2,..., Hn中找出與待檢測人員H最相似的那些人。
[0052]該步驟包括下列實現(xiàn)人員識別的操作內(nèi)容:
[0053](31)按照步驟2的操作方法，提取待檢測人員M的四種區(qū)別特征向量；此時，已經(jīng)檢測的人員視頻圖像集合A = (H1, H2,...，Hi,...，HN}，其中，第i個人員圖像Hi的頭部、軀干和下肢三部位的四種區(qū)別特征向量都已存儲于人體視頻特征數(shù)據(jù)庫。
[0054](32)分別計算待檢測人員M與人體視頻特征數(shù)據(jù)庫中每個人員Hi對應(yīng)的四種區(qū)別特征向量的歸一化的歐式距離。
[0055](33)按照公式Di= a Dn+@ Di2+YDi3+δ Di4計算待檢測人員M與該特征數(shù)據(jù)庫中每個人員Hi的距離Di;其中，α、β、^和δ分別是上述四種特征的權(quán)重系數(shù)，且α+β + Υ + δ =1 ;該步驟的操作內(nèi)容是對步驟(32)的計算結(jié)果的加權(quán)，用于計算待檢測人員與特征數(shù)據(jù)庫中每個人員之間的相似度。
[0056](34)將步驟(33)計算得到的距離DiQ = I, 2,....N)按照從小到大升序排列，其中排列越靠前的人員，最有可能是與待檢測人員相似或相同的人員；這樣就完成了對監(jiān)控視頻基于多視覺特征融合的人員識別的功能。
[0057]本發(fā)明已經(jīng)進行了多次仿真實施試驗，試驗段結(jié)果是成功的，實現(xiàn)了發(fā)明目的。
【權(quán)利要求】
1.一種基于多視覺特征融合的人員識別方法，其特征在于:先對監(jiān)控視頻進行分析，提取相關(guān)人員信息，并進行特征描述，最后根據(jù)輸入視頻圖像執(zhí)行尋找，得到相關(guān)人員的識別結(jié)果；包括下述三個操作步驟: 步驟1，視頻跟蹤處理階段:先檢測視頻中的前景，從前景中提取運動團塊，并對團塊進行跟蹤，檢測判斷新團塊是否為人體團塊；若是，則將人體團塊所對應(yīng)的人體矩形圖像摳出，并保存等待后續(xù)處理；若否，則丟棄該新團塊； 步驟2，人體團塊處理階段:從得到的相關(guān)人員的多個團塊中選擇第一個團塊進行處理:從視頻原始圖像中提取每個人員對應(yīng)的矩形圖像后，對該矩形圖像進行處理:尋找該矩形圖像中的人員前景，再用滑動窗口剔除該人體矩形圖像中的背景后，對該矩形圖像進行分塊，分別提取表示圖像中色調(diào)、飽和度和亮度三通道值的六角錐體色彩模型HSV顏色直方圖、全局最大三維顏色圖中的三維顏色、分塊語義顏色和紋理方向向量共四種特征向量，并存儲于人體視頻特征數(shù)據(jù)庫中，以供利用這些特征的融合描述每個人員和進行人員識別； 步驟3，人員識別階段:輸入待檢測人員視頻圖像，并從該待檢測人員視頻圖像提取步驟2中的四種特征向量后，以該四種特征向量與人體視頻特征數(shù)據(jù)庫中存儲的每個人員特征向量逐一進行對比，尋求各個特征向量之間的距離最小的人員，作為所識別的人員及其相應(yīng)的視頻信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述步驟I包括下列操作內(nèi)容: (11)前景檢測:從視頻圖像中基本不變的背景中檢測出其中屬于前景的像素，再把前景中的人員從圖像中摳出來，以供后續(xù)處理；因某人的前景圖像會多次出現(xiàn)于視頻圖像中，為將這些視頻圖像都對應(yīng)到同一人，還要跟蹤處理相應(yīng)圖像；所述前景是視頻圖像中出現(xiàn)的處理目標:人物或其他物體；前景檢測方法是建立高斯背景模型后，對新幀圖像中的所有像素進行檢測與判斷，如果是不符合高斯背景模型的像素，則認為是前景； (12)判別人體團塊:將前景檢測操作得到的所有前景像素中的相鄰前景像素聚合在一起，匯集成塊，每塊構(gòu)成一個團塊；再將完成前景檢測后的團塊位置圖中的前景像素設(shè)置為高亮，其余像素設(shè)置為暗點；搜索聚集在一起的亮點，并將其合并形成團塊；刪除其中面積小的團塊后，根據(jù)設(shè)定的團塊中心點、即質(zhì)心和設(shè)定的寬高，得到每個團塊或原始圖像中對應(yīng)的矩形圖像；然后，計算每個團塊矩形圖像的梯度方向直方圖HOG (Histogram oforiented gradients)特征,再利用由HOG特征訓(xùn)練的分類器判定每個矩形圖像中是否有人，若其中有人，則對其執(zhí)行后續(xù)處理；否則，直接剔除該團塊矩形圖像； (13)對團塊矩形圖像進行檢測及跟蹤:具體操作內(nèi)容如下: 檢測團塊，以剔除不符合要求的團塊:用團塊質(zhì)心在圖像中的位置記錄每個團塊后，對其進行檢測:若該團塊的寬高比很小，則其是由噪聲引起的，直接剔除之；若兩個團塊的質(zhì)心位置及其寬高比相近，則該兩個團塊表示同一目標，此時應(yīng)將該兩個團塊融合成一體； 跟蹤團塊，形成跟蹤列表:檢測到新團塊后，若此時的跟蹤列表為空，直接將其加入跟蹤列表；否則，判斷該新團塊是否與跟蹤列表中的現(xiàn)有團塊相匹配；若匹配，表明跟蹤成功；若不匹配，則將該團新塊加入跟蹤列表。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述步驟2包括下述兩個操作內(nèi)容: (21)利用滑動窗口去除視頻圖像的背景，并對前景中的人體圖像分塊；(22)提取和存儲分塊人體圖像的全局顏色直方圖、全局最大三維顏色、分塊語義顏色和紋理方向向量共4種特征向量。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于:所述步驟(21)包括下列操作內(nèi)容: (21A)設(shè)定搜索框、即滑動窗口后，準備利用搜索框去除背景和對人體圖像分塊:根據(jù)設(shè)置的.人體所在矩形圖像的寬為W和高為H，選定搜索框的滑動窗口寬為W、高為h，且h〈H ;其中，圖像的寬和高分別為水平方向和垂直方向的像素總數(shù)；分別計算搜索框內(nèi)上半部和下半部所框住的人體矩形圖像的像素顏色空間像素之和，并求解該兩個和之差的絕對值； (21B)初始時，將搜索框的上邊緣和左側(cè)邊緣分別與矩形圖像的上邊緣和左側(cè)邊緣相重合；再移動搜索框，即將搜索框沿著矩形圖像的高垂直地由上到下移動，每次向下移動一個像素后，計算新的搜索框內(nèi)上半部和下半部所框住的人體矩形圖像的像素的顏色空間像素之和，再求這兩個和之差的絕對值； (21C)判斷該差的絕對值是否不小于設(shè)定閾值:若是，則得到該矩形圖像第一個分界點；重復(fù)執(zhí)行上述步驟，找到另外兩個分界點；因人體矩形圖像中的背景基本相同，滑動窗口上下兩部分之間像素差的絕對值取決于人體不同部位的團塊變化:當滑動窗口的高度中線剛好處于人體圖像邊緣時，其差為最大值；故滑動窗口從上往下搜索時，高度中線第一次達到閾值時的位置是頭和軀干的分界線，當滑動窗口第二次達到閾值時的位置是軀干和下肢的分界線；由此把人體矩形圖像分為頭、軀干和下肢三個小的矩形圖像； (21D)采用與步驟(21C)類似的滑動窗口方法:先設(shè)定搜索框，分別使用頭部、軀干和下肢所在的三個小的矩形圖像從左向右滑動，分別刪除人體的頭部、軀干和下肢矩形圖像中的左右兩側(cè)背景；從而得到刪除全部背景、僅包含純粹的頭部、軀干和下肢三部位的人體圖像。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于:所述步驟(22)包括下列操作內(nèi)容: (22A)提取全局顏色直方圖特征:因人在識別視頻圖像時，顏色特征最強烈和準確，故以全局HSV顏色直方圖作為描述人員的第一區(qū)別特征；HSV顏色直方圖是分別對人體頭部、軀干和下肢三部分圖像求HSV顏色空間下的概率密度函數(shù)； (22B)提取全局最大三維顏色特征:排除亮度和飽和度的影響，將只考慮色度的直方圖從大到小順序排列，選取前三維作為全局最大三維顏色，用于表示人員的全局最大三維特征向量； (22C)提取分塊語義顏色特征:因上述兩個區(qū)別特征都是針對整幅人體圖像，容易忽略局部特征的差異而降低識別效果，故要將顏色語義化:分別對頭部、軀干和下肢的三個矩形圖像提取相應(yīng)語義顏色，即將圖像的每個像素所代表的顏色與16種基本顏色分別求其歐氏距離，選取距離最小的基本顏色作為語義顏色，再分別統(tǒng)計頭部、軀干和下肢三部位所在矩形圖像中所有像素代表的基本顏色數(shù)量，分別選取其數(shù)量最大的顏色作為頭部、軀干和下肢所在矩形圖像的語義顏色，用于描述其局部區(qū)別特征； (22D)提取紋理方向的區(qū)別特征:因圖像處理領(lǐng)域中用于邊緣檢測的Gabor線性濾波器的頻率和方向非常接近人類視覺系統(tǒng)對頻率和方向的感覺，故采用8個方向Gabor濾波器檢測人體圖像的紋理特征的標準方差，作為紋理方向的區(qū)別特征； (22E)將提取的上述四個區(qū)別特征參數(shù)存儲到人體視頻特征數(shù)據(jù)庫中。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述步驟3包括下列操作內(nèi)容: (31)按照步驟2的操作方法，提取待檢測人員M的四種區(qū)別特征向量；此時，已經(jīng)檢測的人員視頻圖像集合A = (H1, H2,..., Hi,..., HnI ,其中,第i個人員圖像Hi的頭部、軀干和下肢三部位的四種區(qū)別特征向量都已存儲于人體視頻特征數(shù)據(jù)庫； (32)分別計算待檢測人員M與人體視頻特征數(shù)據(jù)庫中每個人員Hi對應(yīng)的四種區(qū)別特征向量的歸一化的歐式距離:； (33)按照公式Di=a Dil+β Di2+Y Di3+SDi4計算待檢測人員M與該特征數(shù)據(jù)庫中每個人員Hi的距離Di ;其中，α、β、Υ和δ分別是上述四種特征的權(quán)重系數(shù)，且α+β + Υ + δ=I ;該步驟的操作內(nèi)容是對步驟(32)的計算結(jié)果的加權(quán)，用于計算待檢測人員與特征數(shù)據(jù)庫中每個人員之間的相似度； (34)將步驟(33)計算得到的距離DiQ= I, 2,....N)按照從小到大升序排列，其中排列越靠前的人員，最有可能是與待檢測人員相似或相同的人員；這樣就完成了對監(jiān)控視頻基于多視覺特征融合的人 員識別功能。
【文檔編號】G06K9/46GK103996046SQ201410259069
【公開日】2014年8月20日 申請日期:2014年6月11日 優(yōu)先權(quán)日:2014年6月11日
【發(fā)明者】馬華東, 張海濤, 魏汪洋, 趙彥, 高一鴻, 黃灝, 傅慧源, 趙曉萌 申請人:北京郵電大學