基于顏色區(qū)域特征的行人重識(shí)別方法及系統(tǒng)的制作方法
【專利摘要】一種數(shù)字圖像處理【技術(shù)領(lǐng)域】的基于在線聚類(lèi)提取的顏色區(qū)域特征的行人重識(shí)別方法及系統(tǒng)，以只包含單個(gè)行人的矩形圖像或通過(guò)跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像，經(jīng)前景提取和在線聚類(lèi)提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于人物重識(shí)別。本發(fā)明能夠充分地利用行人外貌的局部顏色分布結(jié)構(gòu)信息，從而大大提高行人重識(shí)別的準(zhǔn)確率。
【專利說(shuō)明】基于顏色區(qū)域特征的行人重識(shí)別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種數(shù)字圖像處理【技術(shù)領(lǐng)域】的方法及系統(tǒng)，具體是一種基于在線 聚類(lèi)提取的顏色區(qū)域特征的行人重識(shí)別方法及系統(tǒng)。

【背景技術(shù)】
[0002] 在智能視頻處理日益發(fā)達(dá)的現(xiàn)代社會(huì)，攝像頭已經(jīng)遍布大街小巷，對(duì)于海量的視 頻數(shù)據(jù)，如何智能地進(jìn)行視頻分析為十分重要的課題。行人檢測(cè)、目標(biāo)跟蹤等研究領(lǐng)域都取 得了長(zhǎng)足的發(fā)展，而作為銜接這兩個(gè)課題的人物重識(shí)別技術(shù)也在最近十年取得了飛速的發(fā) 展，涌現(xiàn)了一大批的行人外貌特征提取和表示方法。在視頻監(jiān)控中，往往有成千上萬(wàn)個(gè)攝像 頭，而這些攝像頭彼此之間沒(méi)有交疊，那么如何將兩個(gè)互不交疊的攝像頭中檢測(cè)出的目標(biāo) 聯(lián)系起來(lái)，實(shí)現(xiàn)跨攝像頭的接力跟蹤就是行人重識(shí)別要解決的問(wèn)題。行人重識(shí)別在安防、居 家養(yǎng)老等方面都有巨大的應(yīng)用前景。但是由于不同的攝像頭安放的位置、場(chǎng)景不同，導(dǎo)致不 同攝像頭下的人物圖像存在不同程度的顏色變化和幾何變化，再加上復(fù)雜的監(jiān)控場(chǎng)景下， 行人之間存在不同程度的遮擋，使得不同攝像頭下的行人重識(shí)別問(wèn)題變得更加棘手。行人 重識(shí)別面臨的主要問(wèn)題是光照、視角、姿勢(shì)、遮擋等的變化，為了解決上述問(wèn)題，目前針對(duì)行 人重識(shí)別的研究主要分為以下兩類(lèi)。一類(lèi)是基于底層特征提取的行人外貌特征匹配方法， 它的側(cè)重點(diǎn)是提取出對(duì)不同攝像頭間的光照、視角、姿勢(shì)、遮擋等變化具有不變性的特征， 以提高行人外貌的匹配準(zhǔn)確率。另一類(lèi)方法則是對(duì)簡(jiǎn)單的歐式空間的距離比較方法進(jìn)行改 進(jìn)，設(shè)計(jì)能夠反映不同攝像頭間的光照、視角、姿勢(shì)、遮擋等變化的度量方法，使得即使不是 很有區(qū)分度的特征，也能達(dá)到很高的匹配率。第一類(lèi)方法一般是非監(jiān)督的，不需要進(jìn)行數(shù)據(jù) 的標(biāo)定，但是特征提取的方法往往比第二類(lèi)方法復(fù)雜，第二類(lèi)方法一般是基于學(xué)習(xí)的方法， 需要進(jìn)行數(shù)據(jù)的標(biāo)定，但是因?yàn)樗軌蛴斜O(jiān)督的學(xué)習(xí)到攝像頭間的變換關(guān)系，因此行人重 識(shí)別的準(zhǔn)確率一般高于第一類(lèi)方法，但是這種變換關(guān)系只是針對(duì)特定的攝像機(jī)間，對(duì)于每 一對(duì)攝像機(jī)都要學(xué)習(xí)它們的變換關(guān)系，使得這類(lèi)方法的泛化能力不夠好。
[0003] 通過(guò)大量的文獻(xiàn)檢索，我們發(fā)現(xiàn)現(xiàn)有的運(yùn)用底層特征匹配進(jìn)行行人重識(shí)別的方 法，提取的特征主要包括顏色特征（如HSV直方圖，MSCR)、紋理特征（如局部二值模式LBP， Garbor filters等），形狀特征（如H0G特征）以及關(guān)鍵點(diǎn)（SIFT，SURF等），大部分的方 法是將上述幾種特征進(jìn)行組合，以彌補(bǔ)單個(gè)特征區(qū)分度和代表性不足的缺點(diǎn)。但是它們 大多數(shù)是基于像素點(diǎn)的特征（MSCR除外），而基于像素點(diǎn)的特征不夠魯棒且很容易受到噪 聲影響。此外，由于以上特征提取方法在特征提取過(guò)程中沒(méi)有考慮位置信息，所以研究者 們?cè)O(shè)計(jì)了一些位置對(duì)準(zhǔn)的策略，但是仍然很難解決由行人姿勢(shì)變化帶來(lái)的特征位置不對(duì)準(zhǔn) 情況。經(jīng)過(guò)文獻(xiàn)檢索，我們還發(fā)現(xiàn)，顏色特征在多數(shù)情況下，是最好的行人外貌描述特征， 目前已經(jīng)有研究者開(kāi)始關(guān)注利用顏色的分布特征來(lái)表征行人外貌，進(jìn)行行人重識(shí)別。Igor Kviatkovsky 等人在 2013 年的〈〈IEEE Transactions on Pattern Analysis and Machine Intelligence》中的"Color Invariants for Person Reidentification"一文中，利用行人 外貌顏色的多模態(tài)分布特性（multimodal distribution)，將行人的上下身顏色信息分布 進(jìn)行建模，再通過(guò)模型匹配進(jìn)行人物重識(shí)別。這種方法雖然僅僅利用了顏色信息，卻取得了 很好的行人重識(shí)別效果。但是這種方法將上下身顏色的結(jié)構(gòu)信息限制為橢圓形分布，而實(shí) 際情況下，行人外貌的顏色分布顯然不一定是上下身顏色信息簡(jiǎn)單地服從橢圓分布，因此 這種方法還是沒(méi)有能夠充分利用顏色的局部分布信息。
[0004] 中國(guó)專利文獻(xiàn)號(hào)0附038104764，公開(kāi)（公告）日2014.05.21，公開(kāi)了一種基于小 群體信息關(guān)聯(lián)的視頻監(jiān)控網(wǎng)絡(luò)中行人重識(shí)別方法，該技術(shù)監(jiān)控網(wǎng)絡(luò)中多攝像頭的行人重識(shí) 別過(guò)程中，尤其是在行人特征的提取和匹配的過(guò)程中，行人的特征極易受到場(chǎng)景變化、光照 變化的影響而造成重識(shí)別率的降低，同時(shí)大范圍的監(jiān)控網(wǎng)絡(luò)中也會(huì)存在一些穿著相似的行 人造成行人錯(cuò)誤的重識(shí)別，為了提高行人的重識(shí)別率，降低外界因素對(duì)行人重識(shí)別的影響， 該技術(shù)根據(jù)小群體信息的關(guān)聯(lián)性，將行人小群體特征作為行人重識(shí)別的一個(gè)重要特征，主 要解決視頻監(jiān)控網(wǎng)絡(luò)中行人重識(shí)別準(zhǔn)確率低、精度不高的問(wèn)題。但該技術(shù)首先要對(duì)人體進(jìn) 行分割，并且利用了視頻跟蹤過(guò)程中的軌跡信息，其使用過(guò)程復(fù)雜度較高。
[0005] 中國(guó)專利文獻(xiàn)號(hào)CN104021544A公開(kāi)（公告）日2014. 09. 03,公開(kāi)了一種溫室蔬菜 病害監(jiān)控視頻關(guān)鍵幀提取方法及提取系統(tǒng)，該技術(shù)將視覺(jué)顯著性與在線聚類(lèi)算法相結(jié)合， 首先利用X2直方圖法進(jìn)行幀間差異度量，剔除具有相似特征的視頻幀圖像對(duì)算法計(jì)算量 的影響；其次將視頻幀圖像轉(zhuǎn)到HSV顏色空間，結(jié)合溫室蔬菜監(jiān)控視頻的特點(diǎn)，利用H、S通 道計(jì)算視覺(jué)顯著圖，提取視頻幀圖像中的顯著性區(qū)域，然后利用形態(tài)學(xué)方法對(duì)顯著性區(qū)域 中可能丟失的病斑信息進(jìn)行修復(fù)；最終利用在線聚類(lèi)算法和像素幀平均算法實(shí)現(xiàn)關(guān)鍵幀提 取。該方法可以有效的獲取溫室蔬菜監(jiān)控視頻中病害的信息，為溫室蔬菜病害的準(zhǔn)確識(shí)別 奠定堅(jiān)實(shí)的基礎(chǔ)。該技術(shù)得與圖像處理、模式識(shí)別等技術(shù)結(jié)合的基礎(chǔ)上，會(huì)在設(shè)施蔬菜病害 識(shí)別方面有很大的貢獻(xiàn)。但該技術(shù)需要先進(jìn)行顯著性區(qū)域的提取，再利用在線聚類(lèi)進(jìn)行關(guān) 鍵幀的提取。而在人物重識(shí)別中，由于光照、視角、姿勢(shì)等的變化，同一行人在不同攝像頭下 的顯著性區(qū)域，往往是不相同的，因此該技術(shù)也難以適用于人物重識(shí)別領(lǐng)域。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提出一種基于在線聚類(lèi)提取的顏色區(qū)域特 征的行人重識(shí)別方法及系統(tǒng)，能夠充分地利用行人外貌的局部顏色分布結(jié)構(gòu)信息，從而大 大提商行人重識(shí)別的準(zhǔn)確率。
[0007] 本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0008] 本發(fā)明涉及一種基于在線聚類(lèi)提取的顏色區(qū)域特征的行人重識(shí)別方法，以只包含 單個(gè)行人的矩形圖像或通過(guò)跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像， 經(jīng)前景提取和在線聚類(lèi)提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于 人物重識(shí)別。所述的方法具體包括以下步驟：
[0009] 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域；
[0010] 步驟2)對(duì)提取的前景區(qū)域進(jìn)行在線聚類(lèi)，得到原始的顏色區(qū)域；
[0011] 所述的在線聚類(lèi)是指：以像素為單位遍歷圖像，計(jì)算圖像中任一一點(diǎn)的通道值與 初始聚類(lèi)中心之間的距離，以滿足其與最小值之差小于聚類(lèi)閾值為條件，將滿足條件的像 素點(diǎn)作為該最小值的聚類(lèi)，否則作為新建聚類(lèi)，同時(shí)將初始聚類(lèi)中心更新為該聚類(lèi)的平均 值；完成遍歷后同一個(gè)聚類(lèi)內(nèi)的像素點(diǎn)可以視為屬于同一個(gè)顏色區(qū)域，且區(qū)域的顏色值統(tǒng) 一為聚類(lèi)中心的顏色值。
[0012] 所述的通道值優(yōu)選為：在lab顏色空間的（a，b)通道下的通道值。
[0013] 所述的初始聚類(lèi)中心是指：圖像任一一個(gè)像素點(diǎn)的（a，b)通道值，優(yōu)選為左上角 且遍歷結(jié)束于右下角。
[0014] 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏 色區(qū)域；
[0015] 所述的合并是指：當(dāng)任兩個(gè)顏色區(qū)域同時(shí)滿足其之間的聚類(lèi)中心顏色值的歐氏距 離以及其聚類(lèi)中心的平均位置的歐氏距離分別小于顏色閾值和平均位置閾值時(shí)，合并該兩 個(gè)顏色區(qū)域，且設(shè)置合并后區(qū)域內(nèi)所有像素點(diǎn)的通道值的平均值為新的聚類(lèi)中心。
[0016] 所述的聚類(lèi)中心的平均位置指的是聚類(lèi)內(nèi)所有像素點(diǎn)的坐標(biāo)的平均值；
[0017] 步驟4)對(duì)提取出的顏色區(qū)域進(jìn)行描述，作為行人重識(shí)別的特征表達(dá)；
[0018] 步驟5)利用步驟4中的特征進(jìn)行行人重識(shí)別。
[0019] 本發(fā)明涉及上述方法的實(shí)現(xiàn)裝置，包括：依次連接的背景分離模塊、在線聚類(lèi)模 塊、顏色區(qū)域合并模塊、特征描述模塊以及重識(shí)別模塊，其中：背景分離模塊進(jìn)行前景提取 處理，并向在線聚類(lèi)模塊輸出前景蒙版信息，在線聚類(lèi)模塊進(jìn)行行人外貌主要顏色區(qū)域的 提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū)域信息，顏色區(qū)域合并模塊對(duì)初始的 顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出最終的顏色區(qū)域信息，特征描述模塊 進(jìn)行特征的描述與表達(dá)處理，并向重識(shí)別模塊輸出六維的特征向量信息，重識(shí)別模塊進(jìn)行 行人間特征向量的匹配處理，并給出最終的重識(shí)別結(jié)果。

【專利附圖】

【附圖說(shuō)明】
[0020] 圖1為本發(fā)明流程圖。
[0021] 圖2為本發(fā)明特征提取算法流程圖。
[0022] 圖3為人物重識(shí)別常用的數(shù)據(jù)集中的隨機(jī)抽取的幾組待匹配的行人圖像。
[0023] 圖4為本發(fā)明所提出的方法的可視化的識(shí)別效果圖，第一列為待匹配的圖像，其 他列為利用本發(fā)明提取的特征，進(jìn)行特征匹配后，得出的排名前十的匹配圖像，第二列為按 照本發(fā)明的方法得到的最匹配圖像。
[0024] 圖5為本發(fā)明所提出的特征，應(yīng)用于人物重識(shí)別時(shí)，與其他方法的準(zhǔn)確率比較圖。

【具體實(shí)施方式】
[0025] 下面對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。 實(shí)施例1
[0026] 如圖1所示，本實(shí)施例包括以下步驟：
[0027] 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域。
[0028] 步驟 1 具體是利用文獻(xiàn)"Stel component analysis:Modeling spatial correlations in image class structure(STEL成分分析：對(duì)圖像類(lèi)結(jié)構(gòu)的空間相關(guān)性 建模），'（J〇jic，N. Microsoft Res. , Redmond, WA, USA Perina, A. ；Cristani, M. ；Murino, V. ；Frey, B. <Computer Vision and Pattern Recognition),2009. CVPR 2009.IEEE Conference 2009.6.20)中的方法，本方法直接使用了作者提供的代碼進(jìn)行前景分離，具體 使用方法如下：
[0029] 1. 1)將數(shù)據(jù)集中所有的圖像進(jìn)行聚類(lèi)（本實(shí)施例中聚類(lèi)數(shù)設(shè)為128);
[0030] 1. 2)再將每一幅圖像的每一個(gè)像素點(diǎn)與聚類(lèi)中心進(jìn)行比較，將距離最近的距離中 心號(hào)作為該像素的值，這樣可以得到輸入矩陣；
[0031] 1. 3)將得到的輸入矩陣帶入上述文獻(xiàn)中所提供的scadlearn.m程序中，并對(duì)輸出 后驗(yàn)概率Qs進(jìn)行二值化（本實(shí)施例將閾值設(shè)為0. 5)，Qs大于閾值的點(diǎn)設(shè)為1，反之為0,得 到前景蒙版。
[0032] 1. 4)將前景蒙版與原始圖像逐像素相乘，可以提取出前景區(qū)域。
[0033] 步驟2)對(duì)提取的前景區(qū)域進(jìn)行在線聚類(lèi)，得到原始的顏色區(qū)域。
[0034] 所述的前景區(qū)域是由步驟1)得到的，背景區(qū)域的像素值被設(shè)為0。為了減小光照 等帶來(lái)的影響，在線聚類(lèi)在lab顏色空間的（a，b)通道進(jìn)行，所述的在線聚類(lèi)方法如圖2所 示，具體步驟如下：
[0035] 2. 1)將圖像左上角像素點(diǎn)的（a，b)通道值作為第一個(gè)聚類(lèi)的聚類(lèi)中心；
[0036] 2. 2)順序掃描像素點(diǎn)（從上到下、從左到右），并將每一個(gè)像素點(diǎn)（a，b)通道值與 現(xiàn)有的聚類(lèi)中心進(jìn)行歐式距離比較，并找出最小距離d ;
[0037] 2. 3)若d彡thresholdl，則將當(dāng)前像素點(diǎn)歸入距離為d的聚類(lèi)，并且將此聚類(lèi)的 聚類(lèi)中心更新為類(lèi)內(nèi)所有像素的通道值的平均值，此處的thresholdl設(shè)為15 ;
[0038] 2. 4)反之，若d > thresholdl，則初始化一個(gè)新的類(lèi)，并將該聚類(lèi)中心初始化為當(dāng) 前像素點(diǎn)的顏色值；
[0039] 2. 5)如此循環(huán)，直到計(jì)算到右下角的像素點(diǎn)，這樣同一個(gè)聚類(lèi)內(nèi)的像素點(diǎn)可以視 為屬于同一個(gè)顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚類(lèi)中心的顏色值。
[0040] 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏 色區(qū)域。
[0041] 由于步驟2)得到的顏色區(qū)域，僅僅考慮了顏色信息，而沒(méi)有考慮到顏色的空間分 布，所述的空間分布，指的是步驟2)初步得到的顏色區(qū)域間的位置信息，具體的顏色區(qū)域 合并的步驟如下：
[0042] 3. 1)將步驟2)得到的任兩個(gè)顏色區(qū)域的聚類(lèi)中心顏色值進(jìn)行歐式距離比較，得 到dc ;
[0043] 3. 2)將步驟2)得到的任兩個(gè)顏色區(qū)域的聚類(lèi)中心的平均位置進(jìn)行歐氏距離比 較，得到ds ;
[0044] 所述的聚類(lèi)中心的平均位置指的是聚類(lèi)內(nèi)所有像素點(diǎn)的坐標(biāo)的平均值；
[0045] 3. 3)若d。< threshold〗且ds < threshold3則將兩個(gè)顏色區(qū)域合并起來(lái)，并更新 新的聚類(lèi)中心為合并后的類(lèi)內(nèi)的所有像素的通道值的平均值，此處的threshold〗設(shè)為25， threshold3 設(shè)為 20 ;
[0046] 3. 4)將步驟2)中的所有顏色區(qū)域都兩兩進(jìn)行比較后，將與同一個(gè)顏色區(qū)域合并 的所有區(qū)域合并為一個(gè)區(qū)域，直到得到的所有的顏色區(qū)域都無(wú)法再進(jìn)行合并。
[0047] 步驟4)對(duì)提取出的顏色區(qū)域進(jìn)行描述，作為行人重識(shí)別的特征表達(dá)。
[0048] 所述的對(duì)顏色區(qū)域進(jìn)行描述，是指對(duì)于步驟3)提取出的所有顏色區(qū)域，每一個(gè)顏 色區(qū)域用下述特征進(jìn)行描述：
[0049] f = (x, y, 1, a, b, F) (1)
[0050] 其中x，y是該顏色區(qū)域內(nèi)所包含的所有像素點(diǎn)的平均坐標(biāo)，1，a，b是該顏色區(qū)域 內(nèi)所包含的所有像素點(diǎn)的平均顏色值，而F為衡量顏色區(qū)域大小的參數(shù)，可以由下式計(jì)算 得到： mun ^ area
[0051] F=fnun + area (2]
[0052] 其中：num是該顏色區(qū)域所包含的像素點(diǎn)的個(gè)數(shù)，area是該顏色區(qū)域的外接矩形 的面積，具體的計(jì)算方法是得到該類(lèi)所包含的所有像素點(diǎn)的X，y坐標(biāo)的最大值x_，y max和 最小值Xmin, ymin，則area的計(jì)算方法如下：
[0053] area = (xmax-xmin) * (ymax-ymin) ⑶
[0054] 其中：X，y是為了描述該顏色區(qū)域的位置信息，1，a，b是為了描述該顏色區(qū)域的平 均顏色信息，而F的引入是為了避免將很大的顏色區(qū)域與很小的顏色區(qū)域進(jìn)行匹配，即使 二者的位置和顏色都很相似，這樣可以減輕背景噪聲的影響。
[0055] 步驟5)利用步驟4)中的特征進(jìn)行行人重識(shí)別。
[0056] 如圖3所示，為從人物重識(shí)別VIPER數(shù)據(jù)集中隨機(jī)抽取的幾組待匹配的行人圖像。 通過(guò)步驟4)，第i個(gè)行人可以得到&個(gè)特征，其中&對(duì)應(yīng)于步驟3)中得到的第i個(gè)行人的 顏色區(qū)域的個(gè)數(shù)。要實(shí)現(xiàn)人物重識(shí)別，則需要對(duì)不同行人的特征進(jìn)行距離計(jì)算，實(shí)現(xiàn)匹配。 具體的實(shí)現(xiàn)方法如下：
[0057] 5. 1)對(duì)于某一個(gè)數(shù)據(jù)集（如：VIPER)，將數(shù)據(jù)分成兩組，每組包含所有行人的一張 圖片，VIPER共有612對(duì)行人，所以第一組包含612對(duì)行人的其中一幅圖像，而第二組包含 另一張圖像，同一個(gè)行人在兩組中的排列順序相同。
[0058] 5. 2)將第一組的第一張圖像的特征與第二組的所有圖像的特征進(jìn)行特征距離比 較，得到距離矩陣Μ的第一行數(shù)據(jù)A，由于第二組有612個(gè)行人，所以A包含612個(gè)距離數(shù) 據(jù)。所述的兩幅圖像的特征距離比較方法具體如下：
[0059] 5. 2. 1)比較兩幅圖像的顏色區(qū)域的個(gè)數(shù)，得到個(gè)數(shù)較少的圖像的顏色區(qū)域個(gè)數(shù) number ；
[0060] 5. 2. 2)將區(qū)域較少的圖像的第一個(gè)顏色區(qū)域的特征，與區(qū)域較多的圖像的所有區(qū) 域的特征進(jìn)行歐式距離比較，得到距離最小的區(qū)域，作為匹配的區(qū)域，并記錄最小距離dl ;
[0061] 5. 2. 3)重復(fù)步驟5. 2. 2)，直到顏色區(qū)域個(gè)數(shù)較少的圖像的每一個(gè)顏色區(qū)域都找 到匹配區(qū)域，并記錄最小距離d2, d3,. . .，dnumbOT，最終得到number個(gè)距離；
[0062] 5. 2. 4)將這number距離求平均數(shù)，作為這兩幅圖像的特征距離。
[0063] 5. 3)重復(fù)步驟5. 2)直到第一組中的所有行人都與第二組進(jìn)行了特征距離比較， 并得到距離矩陣M2，M3,...，M 612，最終得到612X612大小的矩陣，其中Mu表示第一組中的 第i個(gè)行人與第二組中的第j個(gè)行人的特征距離；
[0064] 5. 4)將Μ的每一行從小到大排序，排在第i位的距離對(duì)應(yīng)的第二組中的圖像，就是 本方法給出的與第一組中該行所對(duì)應(yīng)圖像第i匹配的圖像，其中排在第一列的是最匹配的 圖像。
[0065] 上述方法可通過(guò)以下裝置具體實(shí)現(xiàn)，該裝置包括：依次連接的背景分離模塊、在線 聚類(lèi)模塊、顏色區(qū)域提取模塊、特征描述模塊以及重識(shí)別模塊，其中：背景分離模塊進(jìn)行前 景提取處理，并向在線聚類(lèi)模塊輸出前景蒙版信息，在線聚類(lèi)模塊進(jìn)行行人外貌主要顏色 區(qū)域的提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū)域信息，顏色區(qū)域合并模塊對(duì) 初始的顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出最終的顏色區(qū)域信息，特征描 述模塊進(jìn)行特征的描述與表達(dá)處理，并向重識(shí)別模塊輸出六維的特征向量信息，重識(shí)別模 塊進(jìn)行行人間特征向量的匹配處理，并給出最終的重識(shí)別結(jié)果。
[0066] 如圖4所示，為本實(shí)施例得出的排名前十的匹配圖像，第一列為待匹配圖像，后面 各列依次為本實(shí)施例給出的排名第一到十匹配的匹配圖像，其中紅框框出的為實(shí)際的匹配 圖像，可以看出本實(shí)施例所提出的方法能夠很好的進(jìn)行同一行人的識(shí)別和匹配。
[0067] 如圖5所示，為本實(shí)施例與其他方法的重識(shí)別準(zhǔn)確率比較圖，其中：SDALF為基于 對(duì)稱性進(jìn)行顏色、紋理等特征的提取，并將各類(lèi)特征融合進(jìn)行人物重識(shí)別的方法；LDFV是 利用費(fèi)舍爾向量對(duì)基于像素點(diǎn)的特征進(jìn)行特征表達(dá)，再利用歐式距離進(jìn)行特征匹配的方； 而bLDFV、eLDFV都是對(duì)LDFV的延伸，bLDFV是將LDFV基于像素點(diǎn)的特征拓展為基于小矩 形區(qū)域的特征，而eLDFV是將LDFV與SDALF相結(jié)合的方法；eBiCov為利用Gabor濾波器和 協(xié)方差特征，并結(jié)合SDALF進(jìn)行人物重識(shí)別的方法；Proposed即本實(shí)施例準(zhǔn)確率結(jié)果，可以 看出本實(shí)施例在識(shí)別準(zhǔn)確率上大大優(yōu)于其他現(xiàn)有技術(shù)。
【權(quán)利要求】
1. 一種基于在線聚類(lèi)提取的顏色區(qū)域特征的行人重識(shí)別方法，其特征在于，以只包含 單個(gè)行人的矩形圖像或通過(guò)跟蹤結(jié)果從原始視頻圖像中裁取出目標(biāo)矩形框作為輸入圖像， 經(jīng)前景提取和在線聚類(lèi)提取得到顏色區(qū)域，再將顏色區(qū)域的統(tǒng)計(jì)特征作為局部特征應(yīng)用于 人物重識(shí)別； 所述的在線聚類(lèi)是指：以像素為單位遍歷圖像，計(jì)算圖像中任一一點(diǎn)的通道值與初始 聚類(lèi)中心之間的距離，以滿足其與最小值之差小于聚類(lèi)閾值為條件，將滿足條件的像素點(diǎn) 作為該最小值的聚類(lèi)，否則作為新建聚類(lèi)，同時(shí)將初始聚類(lèi)中心更新為該聚類(lèi)的平均值；完 成遍歷后同一個(gè)聚類(lèi)內(nèi)的像素點(diǎn)可以視為屬于同一個(gè)顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚 類(lèi)中心的顏色值； 所述的合并是指：當(dāng)任兩個(gè)顏色區(qū)域同時(shí)滿足其之間的聚類(lèi)中心顏色值的歐氏距離以 及其聚類(lèi)中心的平均位置的歐氏距離分別小于顏色閾值和平均位置閾值時(shí)，合并該兩個(gè)顏 色區(qū)域，且設(shè)置合并后區(qū)域內(nèi)所有像素點(diǎn)的通道值的平均值為新的聚類(lèi)中心。
2. 根據(jù)權(quán)利要求1所述的方法，其特征是，所述方法具體包括以下步驟： 步驟1)利用前景提取算法進(jìn)行目標(biāo)行人圖像的前景背景分離，得到前景區(qū)域； 步驟2)對(duì)提取的前景區(qū)域進(jìn)行在線聚類(lèi)，得到原始的顏色區(qū)域； 步驟3)考慮空間分布和顏色距離，將相關(guān)顏色區(qū)域進(jìn)行合并，得到最終的局部顏色區(qū) 域； 步驟4)對(duì)提取出的顏色區(qū)域進(jìn)行描述，作為行人重識(shí)別的特征表達(dá)； 步驟5)利用步驟4中的特征進(jìn)行行人重識(shí)別。
3. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟1)具體包括： I. 1)將數(shù)據(jù)集中所有的圖像進(jìn)行聚類(lèi)； 1. 2)再將每一幅圖像的每一個(gè)像素點(diǎn)與聚類(lèi)中心進(jìn)行比較，將距離最近的距離中心號(hào) 作為該像素的值； 1. 3)將得到的輸入矩陣帶入scadlearn.m程序中，并對(duì)輸出后驗(yàn)概率Qs進(jìn)行二值化， 得到前景蒙版； 1. 4)將前景蒙版與原始圖像逐像素相乘，可以提取出前景區(qū)域。
4. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟2)具體包括： 2. 1)將圖像左上角像素點(diǎn)的（a，b)通道值作為第一個(gè)聚類(lèi)的聚類(lèi)中心； 2.2) 順序掃描像素點(diǎn)，并將每一個(gè)像素點(diǎn)（a，b)通道值與現(xiàn)有的聚類(lèi)中心進(jìn)行歐式距 離比較，并找出最小距離d; 2. 3)若d彡thresholdl，則將當(dāng)前像素點(diǎn)歸入距離為d的聚類(lèi)，并且將此聚類(lèi)的聚類(lèi) 中心更新為類(lèi)內(nèi)所有像素的通道值的平均值； 2. 4)反之，若d>thresholdl，則初始化一個(gè)新的類(lèi)，并將該聚類(lèi)中心初始化為當(dāng)前像 素點(diǎn)的顏色值； 2. 5)如此循環(huán)，直到計(jì)算到右下角的像素點(diǎn)，這樣同一個(gè)聚類(lèi)內(nèi)的像素點(diǎn)可以視為屬 于同一個(gè)顏色區(qū)域，且區(qū)域的顏色值統(tǒng)一為聚類(lèi)中心的顏色值。
5. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟3)具體包括： 3. 1)將步驟2)得到的任兩個(gè)顏色區(qū)域的聚類(lèi)中心顏色值進(jìn)行歐式距離比較，得到d。； 3.2) 將步驟2)得到的任兩個(gè)顏色區(qū)域的聚類(lèi)中心的平均位置進(jìn)行歐氏距離比較，得 到ds; 3. 3)若d。<threshold〗且ds <threshold〗則將兩個(gè)顏色區(qū)域合并起來(lái)，并更新新 的聚類(lèi)中心為合并后的類(lèi)內(nèi)的所有像素的通道值的平均值； 3.4)將步驟2)中的所有顏色區(qū)域都兩兩進(jìn)行比較后，將與同一個(gè)顏色區(qū)域合并的所 有區(qū)域合并為一個(gè)區(qū)域，直到得到的所有的顏色區(qū)域都無(wú)法再進(jìn)行合并。
6. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟4)具體是指：對(duì)于步驟3)提取 出的所有顏色區(qū)域，每一個(gè)顏色區(qū)域描述為f= (x，y，1，a，b，F(xiàn))，其中：x，y是該顏色區(qū)域內(nèi) 所包含的所有像素點(diǎn)的平均坐標(biāo)，1，a，b是該顏色區(qū)域內(nèi)所包含的所有像素點(diǎn)的平均顏色 值，F(xiàn)為衡量顏色區(qū)域大小的參數(shù)：
實(shí)中：num是該顏色區(qū)域所包含的像素 點(diǎn)的個(gè)數(shù)，area是該顏色區(qū)域的外接矩形的面積，area= (Xmax-Xmin) *(ymax_ymin)，其中：該類(lèi) 所包含的所有像素點(diǎn)的X，y坐標(biāo)的最大值x_，和最小值Xniin, yniin。
7. 根據(jù)權(quán)利要求2所述的方法，其特征是，所述的步驟5)具體包括： 5. 1)將數(shù)據(jù)集中的數(shù)據(jù)分成兩組，每組包含所有行人的一張圖片，第一組包含行人的 一幅圖像，而第二組包含另一張圖像，同一個(gè)行人在兩組中的排列順序相同； 5. 2)將第一組的第一張圖像的特征與第二組的所有圖像的特征進(jìn)行特征距離比較，得 到距離矩陣M的第一行數(shù)據(jù)M1; 5.3)重復(fù)步驟5. 2)直到第一組中的所有行人都與第二組進(jìn)行了特征距離比較，并得 到距離矩陣M2,M3, ...，M612，其中Mu表示第一組中的第i個(gè)行人與第二組中的第j個(gè)行人 的特征距離； 5. 4)將M的每一行從小到大排序，排在第i位的距離對(duì)應(yīng)的第二組中的圖像，即與第一 組中該行所對(duì)應(yīng)圖像第i匹配的圖像，其中排在第一列的是最匹配的圖像。
8. 根據(jù)權(quán)利要求7所述的方法，其特征是，所述的特征距離比較是指： 5.2. 1)比較兩幅圖像的顏色區(qū)域的個(gè)數(shù)，得到個(gè)數(shù)較少的圖像的顏色區(qū)域個(gè)數(shù)number； 5. 2. 2)將區(qū)域較少的圖像的第一個(gè)顏色區(qū)域的特征，與區(qū)域較多的圖像的所有區(qū)域的 特征進(jìn)行歐式距離比較，得到距離最小的區(qū)域，作為匹配的區(qū)域，并記錄最小距離Cl1 ; 5. 2. 3)重復(fù)步驟5. 2. 2)，直到顏色區(qū)域個(gè)數(shù)較少的圖像的每一個(gè)顏色區(qū)域都找到匹 配區(qū)域，并記錄最小距離d2,d3,. . .，dnumbOT，最終得到number個(gè)距離； 5. 2. 4)將這number距離求平均數(shù)，作為這兩幅圖像的特征距離。
9. 一種基于在線聚類(lèi)提取的顏色區(qū)域特征的行人重識(shí)別系統(tǒng)，其特征在于，包括：依 次連接的背景分離模塊、在線聚類(lèi)模塊、顏色區(qū)域提取模塊、特征描述模塊以及重識(shí)別模 塊，其中：背景分離模塊進(jìn)行前景提取處理，并向在線聚類(lèi)模塊輸出前景蒙版信息，在線聚 類(lèi)模塊進(jìn)行行人外貌主要顏色區(qū)域的提取處理，并向顏色區(qū)域合并模塊輸出初始的顏色區(qū) 域信息，顏色區(qū)域合并模塊對(duì)初始的顏色區(qū)域模塊進(jìn)行合并處理，并向特征描述模塊輸出 最終的顏色區(qū)域信息，特征描述模塊進(jìn)行特征的描述與表達(dá)處理，并向重識(shí)別模塊輸出六 維的特征向量信息，重識(shí)別模塊進(jìn)行行人間特征向量的匹配處理，并給出最終的重識(shí)別結(jié) 果。
【文檔編號(hào)】G06K9/46GK104268583SQ201410472544
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月16日 優(yōu)先權(quán)日:2014年9月16日
【發(fā)明者】周芹, 鄭世寶, 蘇航, 王玉 申請(qǐng)人:上海交通大學(xué)