基于多特征融合的行為識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于多特征融合的行為識(shí)別方法，包括下述步驟：S1、對(duì)訓(xùn)練集和測(cè)試集的視頻進(jìn)行預(yù)處理；S2、對(duì)步驟S1預(yù)處理后的視頻，檢測(cè)特征點(diǎn)；S3、對(duì)視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子；S4、利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典；S5、對(duì)步驟S3提取出來測(cè)試集的描述子，進(jìn)行特征融合，用級(jí)聯(lián)字典分類算法進(jìn)行分類。本發(fā)明對(duì)能量信息、空間信息、時(shí)間信息進(jìn)行多特征融合，抽象出本質(zhì)的運(yùn)動(dòng)特征，描述子信息提取全面，系統(tǒng)魯棒性好。
【專利說明】基于多特征融合的行為識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像識(shí)別與處理的【技術(shù)領(lǐng)域】，特別涉及一種基于多特征融合的行為識(shí) 別方法。

【背景技術(shù)】
[0002] 在計(jì)算機(jī)視覺領(lǐng)域中，行為識(shí)別隨著人體運(yùn)動(dòng)分析的發(fā)展在智能視頻監(jiān)控領(lǐng)域具 有越來越高的應(yīng)用價(jià)值。但是由于：1)數(shù)據(jù)采集的環(huán)境復(fù)雜多樣，行為序列背景分割技術(shù) 還不十分完善；2)在時(shí)間尺度上以及空間尺度上，同一種行為或者相似行為通常具有不同 的含義；3)由于分類器的學(xué)習(xí)能力有限而且興趣點(diǎn)提取的幾種方法有利有弊，所以同一段 視頻行為同時(shí)被判別為屬于幾個(gè)類別常常發(fā)生。以上種種因素使得人體行為識(shí)別成為一個(gè) 非常具有挑戰(zhàn)性的研究領(lǐng)域。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于多特征融合的行為 識(shí)別方法。
[0004] 本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn)：
[0005] 基于多特征融合的行為識(shí)別方法，包括下述步驟：
[0006] S1、對(duì)訓(xùn)練集和測(cè)試集的視頻進(jìn)行預(yù)處理；
[0007] S2、對(duì)步驟S1預(yù)處理后的視頻，檢測(cè)特征點(diǎn)；
[0008] S3、對(duì)視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子；
[0009] S4、利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典；
[0010] S5、對(duì)步驟S3提取出來測(cè)試集的描述子，進(jìn)行特征融合，用級(jí)聯(lián)字典分類算法進(jìn) 行分類。
[0011] 步驟S1中對(duì)視頻進(jìn)行預(yù)處理的具體方法為：
[0012] S11、采用平滑濾波的方法降低噪聲的影響；
[0013] S12、采用光照補(bǔ)償?shù)姆椒ūＷC圖像的對(duì)比度，補(bǔ)償光照的影響；
[0014] S13、通過背景建模的方法實(shí)現(xiàn)提取運(yùn)動(dòng)前景，其中采用：a)多層混合背景模型融 合彩色空間的顏色測(cè)量和局部的紋理特征對(duì)背景進(jìn)行建模；b)利用交叉雙邊濾波器強(qiáng)化相 似區(qū)域，更好地檢測(cè)結(jié)果和保留邊界信息。
[0015] 步驟S2中，采用Harris3D角點(diǎn)提取算法來檢測(cè)特征點(diǎn)，具體為：
[0016] S21、使用初始空間尺度

【權(quán)利要求】
1. 基于多特征融合的行為識(shí)別方法，其特征在于，包括下述步驟： 51、 對(duì)訓(xùn)練集和測(cè)試集的視頻進(jìn)行預(yù)處理； 52、 對(duì)步驟S1預(yù)處理后的視頻，檢測(cè)特征點(diǎn)； 53、 對(duì)視頻中的特征立方體，提取代表不同信息的描述子，形成綜合描述子； 54、 利用步驟S3提取出來的訓(xùn)練集的描述子，使用K-SVD算法訓(xùn)練字典； 55、 對(duì)步驟S3提取出來測(cè)試集的描述子，進(jìn)行特征融合，用級(jí)聯(lián)字典分類算法進(jìn)行分 類。
2. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識(shí)別方法，其特征在于，步驟S1中對(duì)視 頻進(jìn)行預(yù)處理的具體方法為： 511、 采用平滑濾波的方法降低噪聲的影響； 512、 采用光照補(bǔ)償?shù)姆椒ūＷC圖像的對(duì)比度，補(bǔ)償光照的影響； 513、 通過背景建模的方法實(shí)現(xiàn)提取運(yùn)動(dòng)前景，其中采用：a)多層混合背景模型融合彩 色空間的顏色測(cè)量和局部的紋理特征對(duì)背景進(jìn)行建模；b)利用交叉雙邊濾波器強(qiáng)化相似區(qū) 域，更好地檢測(cè)結(jié)果和保留邊界信息。
3. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識(shí)別方法，其特征在于，步驟S2中，采用 Harris3D角點(diǎn)提取算法來檢測(cè)特征點(diǎn)，具體為： 521、 使用初始空間尺度
和時(shí)間尺度
稀疏選定的組合， 以及積分尺度
和
在時(shí)間和空間上找到時(shí)空角點(diǎn)函數(shù)H(8)的極大值點(diǎn)
這些點(diǎn)就是興趣點(diǎn)； 522、 對(duì)每個(gè)興趣點(diǎn)pj進(jìn)行處理； 523、 在（xj, yj, tj)處計(jì)算
和在周邊那些
和 δ =-〇. 25, 0, 0. 25的地方計(jì)算出聯(lián)合尺度
524、 選出那些使得
最大化的聯(lián)合積分尺度
525、 如果
或者
用積分尺度
局部尺度
在最靠近（Xj，y」，tp的位置
處重新提取興趣點(diǎn)
令
然后返回步驟S23重新開始執(zhí)行。
4. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識(shí)別方法，其特征在于，步驟S2中，采用 Cuboid Feature的角點(diǎn)檢測(cè)算法來檢測(cè)特征點(diǎn)，具體為： 將視頻圖像的像素點(diǎn)序列記為I，根據(jù)響應(yīng)函數(shù) R= (I*g*hev) 2+ (I^g#^)2,計(jì)算每個(gè)像素點(diǎn)序列的響應(yīng)值R，計(jì)算得到一組 響應(yīng)值R，R的極大值點(diǎn)即為所求興趣點(diǎn)； 其中
其中w=4/ji ; 其中g(shù)(x，y; σ )是2D高斯平滑濾波來提供空間興趣點(diǎn)的探測(cè)，hev和L是lDGabor濾 波器的正交對(duì)。
5. 根據(jù)權(quán)利要求1所述的基于多特征融合的行為識(shí)別方法，其特征在于，步驟S3中， 在時(shí)空興趣點(diǎn)周圍提取局部塊，計(jì)算其光流信息，根據(jù)光流的角度、強(qiáng)度計(jì)算其統(tǒng)計(jì)信息， 得到光流的統(tǒng)計(jì)直方圖，作為運(yùn)動(dòng)特征描述子；所述運(yùn)動(dòng)特征描述子包括H0F，H0G3D和LMP 描述子。
6. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識(shí)別方法，其特征在于，所述H0F提取 算法的具體步驟如下： (1) 對(duì)視頻每一幀計(jì)算光流，得到光流場(chǎng)； (2) 對(duì)每一幀光流場(chǎng)進(jìn)行直方圖統(tǒng)計(jì)，得到每幀的描述子； (3) 對(duì)每幀的描述子向量求和，得到特征立方體的描述子。
7. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識(shí)別方法，其特征在于，所述hog3D描 述子的計(jì)算方法如下： (1) 利用sobel算子對(duì)圖像分別在兩個(gè)維度進(jìn)行差分運(yùn)算，得到矢量圖； (2) 對(duì)矢量圖進(jìn)行直方圖統(tǒng)計(jì)，得到每幀的描述子； (3) 對(duì)每幀的描述子向量求和，得到特征立方體的描述子。
8. 根據(jù)權(quán)利要求5所述的基于多特征融合的行為識(shí)別方法，其特征在于，LMP描述子的 計(jì)算方法如下： 濾波后的立方體記為v e IRqX qxl，由1個(gè)小平面組成；對(duì)每一個(gè)像素點(diǎn)在時(shí)間上計(jì)算 二、三、四階中心矩；定義對(duì)應(yīng)于v的高階矩矩陣； ΜΓ=[πι^·] i, j=l, 2, L η 其中
vijt表示第1個(gè)小平面,位置為{i, j}的像素點(diǎn)的灰度值； 每一個(gè)高階矩矩陣凡，r= {2, 3, 4}可以變換為一個(gè)向量nv e IR'對(duì)于r的說那個(gè)不同 取值，高階矩矩陣可以整合為一個(gè)矩陣m e IRd，其中d=3 η2 :
向量m為L(zhǎng)MP描述子。
9. 根據(jù)權(quán)利要求1所述基于多特征融合的行為識(shí)別方法，其特征在于，步驟S4中， K-SVD訓(xùn)練字典的具體方法為： 1)稀疏編碼； 固定Φ，計(jì)算X，即：
為解決上式描述的NP難的優(yōu)化問題，采用正交匹配追蹤求解； 2)字典更新： 字典Φ中的元素相繼被更新，允許X中相關(guān)系數(shù)的變化； 更新字典中的元素涉及計(jì)算秩1近似的誤差矩陣：
其中
是Φ除去第i列形成的矩陣，尤是X除去第i行形成的，秩1近似通過使Ei 為奇異值矩陣實(shí)現(xiàn)。
10.根據(jù)權(quán)利要求1所述基于多特征融合的行為識(shí)別方法，其特征在于，步驟S5中，用 級(jí)聯(lián)字典分類算法進(jìn)行分類的具體方法為： 551、 對(duì)訓(xùn)練集視頻的特征向量，用K-SVD算法訓(xùn)練字典； 552、 由這些字典Φ1、Φ2、· · 生成新的字典Φ。： Φ〇=[Φ?|Φ2|· · *|〇k]； 553、 對(duì)測(cè)試集視頻的特征向量Q，通過正交匹配追蹤找到其稀疏表示XQ :
s. t. | | X | | 〇 ^ k3 ； 554、 乂(3可以寫成： Χ^ΕΧ^ΙΧφ」· · · |ΧΦΚ]，其中，Χφι是Φ,的系數(shù)矩陣；S55、對(duì)XQ進(jìn)行分 類： 類 sargmaXi e 12，...，c| | X Φ ι | |0。
【文檔編號(hào)】G06K9/46GK104091169SQ201310688324
【公開日】2014年10月8日 申請(qǐng)日期:2013年12月12日 優(yōu)先權(quán)日:2013年12月12日
【發(fā)明者】徐向民, 張?jiān)? 王在炯, 楊倩倩 申請(qǐng)人:華南理工大學(xué)