本發(fā)明涉及智能視頻監(jiān)控領(lǐng)域，具體涉及基于目標(biāo)定位與特征融合的視頻中異常行為檢測(cè)方法。

背景技術(shù)：

異常行為檢測(cè)作為一種計(jì)算機(jī)智能視頻分析方法，在智能監(jiān)控領(lǐng)域具有潛在的應(yīng)用價(jià)值，對(duì)維護(hù)公共安全，改善用戶體驗(yàn)，降低人力成本等具有極大的促進(jìn)作用；另外，由于實(shí)際的視頻場(chǎng)景通常是復(fù)雜多變的，異常行為檢測(cè)將會(huì)面臨遮擋，光照變化，視角變化，尺度變化，人群擁擠，同一行為的多變性等難點(diǎn)，需要綜合運(yùn)用圖像處理，計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)等領(lǐng)域的理論方法，具有較大的挑戰(zhàn)性和研究?jī)r(jià)值。目前主流的視頻中異常行為檢測(cè)方法主要有基于目標(biāo)跟蹤的檢測(cè)以及基于時(shí)空特征的檢測(cè)兩大類(lèi)，前者算法的檢測(cè)效果依賴(lài)于目標(biāo)的跟蹤效果以及運(yùn)動(dòng)軌跡特征的提取，后者算法的檢測(cè)效果依賴(lài)于時(shí)空特征的設(shè)計(jì)，與此同時(shí)，后者算法通常需要遍歷每一幀視頻的每一個(gè)小塊區(qū)域，從而定位出異常的位置，計(jì)算量較大。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供基于目標(biāo)定位與特征融合的視頻中異常行為檢測(cè)方法，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下的技術(shù)方案：

基于目標(biāo)定位與特征融合的視頻中異常行為檢測(cè)方法，包括如下步驟：

(1)基于背景差分以及光流統(tǒng)計(jì)的運(yùn)動(dòng)區(qū)域檢測(cè)，快速檢測(cè)定位出運(yùn)動(dòng)區(qū)域以便檢測(cè)是否異常；

(2)基于時(shí)空特征以及深度特征的特征融合，提取了基于顯著性的空間特征，基于緩慢變化的時(shí)間特征以及基于多層稀疏自編碼的高層特征，用于描述運(yùn)動(dòng)區(qū)域的各個(gè)維度信息；

(3)基于多SVM模型訓(xùn)練的決策，對(duì)各個(gè)維度特征分別訓(xùn)練分類(lèi)器，最終選擇集成學(xué)習(xí)的方法進(jìn)行異常檢測(cè)的決策。

進(jìn)一步地，步驟(1)具體包括：對(duì)于一段輸入視頻，采用簡(jiǎn)單的背景差分方法，模糊定位出運(yùn)動(dòng)的區(qū)域；在此基礎(chǔ)上，通過(guò)對(duì)候選區(qū)域的像素點(diǎn)面積做閾值判斷，過(guò)濾非人運(yùn)動(dòng)目標(biāo)；最后，計(jì)算光流場(chǎng)直方圖，選取光流密集的區(qū)域作為最終的運(yùn)動(dòng)目標(biāo)。

進(jìn)一步地，步驟(2)具體包括：對(duì)于檢測(cè)到的運(yùn)動(dòng)目標(biāo)，設(shè)計(jì)淺層特征與高層特征融合的方法，其中淺層特征指人工設(shè)計(jì)的時(shí)空特征，空間維度采用的是信息顯著性特征，時(shí)間維度采用的是緩慢變化特征；高層特征指多層稀疏自編碼器；通過(guò)淺層特征與高層特征的融合，從不同角度描述運(yùn)動(dòng)區(qū)域的信息。

進(jìn)一步地，步驟(3)具體包括：基于候選運(yùn)動(dòng)區(qū)域的多種維度特征，采用線性支持向量機(jī)進(jìn)行分類(lèi)，判斷是否異常，從而最終定位出異常的位置。

進(jìn)一步地，步驟(1)中，將當(dāng)前幀與背景幀做差分，即可求得背景差圖，然后采用最大類(lèi)間方差法進(jìn)行閾值分割，獲得候選運(yùn)動(dòng)目標(biāo)區(qū)域。

進(jìn)一步地，步驟(1)中，由背景差分所得的候選運(yùn)動(dòng)目標(biāo)區(qū)域，可能出現(xiàn)非監(jiān)控目標(biāo)即出現(xiàn)的不是人而且其他物體，考慮到人與其他運(yùn)動(dòng)物體的體型上的差距，通過(guò)對(duì)候選運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行像素點(diǎn)面積計(jì)算，減少候選運(yùn)動(dòng)目標(biāo)區(qū)域的數(shù)量，避免后續(xù)步驟無(wú)效的特征計(jì)算，從而減少計(jì)算量。

進(jìn)一步地，步驟(1)中，光流場(chǎng)直方圖計(jì)算是為了選取光流密集的運(yùn)動(dòng)區(qū)域，考慮到異常行為往往是驟變的行為，通常會(huì)出現(xiàn)在光流比較密集的區(qū)域，通過(guò)光流統(tǒng)計(jì)閾值的過(guò)濾，同樣減少候選運(yùn)動(dòng)目標(biāo)區(qū)域的數(shù)量。

進(jìn)一步地，步驟(2)中的信息顯著性特征(SI)計(jì)算主要是通過(guò)對(duì)每一幀圖像進(jìn)行小塊劃分(經(jīng)驗(yàn)值一般為5*5的大小)；然后計(jì)算每個(gè)小塊的4元傅里葉變換的振幅譜；最后通過(guò)如下的公式算出每個(gè)小塊的顯著性：

S_i＝∑_i≠jw_i,j*D_i,j，

其中i分別表示第i個(gè)小塊，j表示第i個(gè)小塊周?chē)拿總€(gè)小塊，D_i,j表示第i、j個(gè)小塊的4元傅里葉變換的振幅譜的差，w表示權(quán)重。

進(jìn)一步地，步驟(2)中的緩慢變化特征(SFA)主要是給定一個(gè)I維的輸入信號(hào)：

x(t)＝[x₁(t),…x_i(t)]^T，

其中：t∈[t₀,t₁]代表著時(shí)間，t₀,t₁表示兩個(gè)時(shí)間點(diǎn)，x_i(t)表示t時(shí)刻第i維特征值；

SFA的目的是找出一套輸入輸出函數(shù)：

g(x)＝[g₁(x),…g_j(x)]^T g_j(x)表示特征變換后第j維特征值，

使得J維輸出信號(hào)：

y(t)＝[y₁(t),…y_j(t)]^T

其中

y_j(t)＝g_j(x(t)，j∈{1,…,J}

盡可能地變化緩慢，公式如下：

同時(shí)滿足條件：

＜y_j＞_t＝0

其中表示的是y的一階梯度，＜y_j＞_t表示的是y在時(shí)間上的均值；公式min表示的是最小化輸出信號(hào)在時(shí)間上的變化程度，時(shí)間上信號(hào)的變化主要由一階梯度的平方的均值來(lái)衡量；所滿足的條件中第二條是為了限制輸出信號(hào)的每一維都攜帶信息量；第三條了保證輸出信號(hào)的不同維度攜帶不同的信息，同時(shí)也反映維度之間的一個(gè)次序關(guān)系，其中第一個(gè)維度就是變化最緩慢的維度，第二個(gè)維度就是變化第二緩慢的維度，以此類(lèi)推。

進(jìn)一步的，步驟(2)中的多層稀疏自編碼器(SAE)是一個(gè)4層的小型深度學(xué)習(xí)網(wǎng)絡(luò)，結(jié)構(gòu)為輸入層-隱藏層1-隱藏層2-輸出層，采用的是逐層貪心的預(yù)訓(xùn)練方法，每一層訓(xùn)練都是非監(jiān)督的，約束條件主要是稀疏以及自編碼。

本發(fā)明的運(yùn)動(dòng)目標(biāo)檢測(cè)包括但不僅限于光流軌跡統(tǒng)計(jì)以及物體檢測(cè)識(shí)別；先進(jìn)行運(yùn)動(dòng)發(fā)生區(qū)域的快速檢測(cè)定位，改進(jìn)傳統(tǒng)的小塊遍歷計(jì)算的缺點(diǎn)，從而提高后續(xù)異常檢測(cè)環(huán)節(jié)。其中運(yùn)動(dòng)目標(biāo)檢測(cè)包括但不僅限于光流軌跡統(tǒng)計(jì)以及物體檢測(cè)識(shí)別。高層特征包括但不僅限于多層稀疏自編碼等深度模型特征。本發(fā)明不僅在特征環(huán)節(jié)進(jìn)行特征融合，也在決策環(huán)節(jié)進(jìn)行集成學(xué)習(xí)的融入，其中集成學(xué)習(xí)的方法包括但不僅限于投票模型。

與現(xiàn)有的技術(shù)相對(duì)，本發(fā)明的有益效果是：本發(fā)明方法通過(guò)先定位運(yùn)動(dòng)目標(biāo)領(lǐng)域再異常識(shí)別的方法，可以更加有效地進(jìn)行異常行為的檢測(cè)，具體體現(xiàn)在2方面，一方面是避免遍歷計(jì)算區(qū)域特征，計(jì)算量減少，另一方面是更加精確地定位監(jiān)控目標(biāo)。除此之外，多種維度的特征融合既考慮了傳統(tǒng)的時(shí)空特征，也考慮了高層次的抽象特征，特征描述更加具有區(qū)分性，有利于后續(xù)分類(lèi)器的判別。

附圖說(shuō)明

圖1為基于目標(biāo)定位與特征融合的視頻中異常行為檢測(cè)方法流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚，完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

參考圖1，可以看到基于目標(biāo)定位與特征融合的視頻中異常行為檢測(cè)方法，整個(gè)流程主要有4個(gè)環(huán)節(jié)，包括對(duì)輸入視頻的預(yù)處理從而檢測(cè)定位出運(yùn)動(dòng)目標(biāo)區(qū)域，運(yùn)動(dòng)區(qū)域的時(shí)空特征以及高維度特征提取，分類(lèi)模型的訓(xùn)練，以及最后的決策環(huán)節(jié)，下面將對(duì)這4個(gè)環(huán)節(jié)進(jìn)行舉例說(shuō)明。

S1:在視頻的預(yù)處理環(huán)節(jié)，首先會(huì)對(duì)視頻數(shù)據(jù)進(jìn)行簡(jiǎn)單的白化處理，保證各維度信息的零均值以及方差為1的特性，隨后通過(guò)簡(jiǎn)單的二值圖做差，定位出大概的運(yùn)動(dòng)前景，結(jié)合運(yùn)動(dòng)目標(biāo)的體型面積信息，篩選非監(jiān)控目標(biāo)區(qū)域，最后，需要對(duì)候選運(yùn)動(dòng)目標(biāo)區(qū)域做光流計(jì)算，統(tǒng)計(jì)每個(gè)候選運(yùn)動(dòng)目標(biāo)區(qū)域的光流密度，選取密度較高的區(qū)域作為最終的運(yùn)動(dòng)目標(biāo)候選區(qū)域。

S2：在特征提取環(huán)節(jié)，主要對(duì)運(yùn)動(dòng)區(qū)域提取3個(gè)不同維度的特征，其中包括時(shí)間特征SFA，空間特征SI以及高維特征SAE，下面將分別闡述3種特征的提取過(guò)程：

(1)空間特征SI:首先需要對(duì)每一幀圖像進(jìn)行小塊劃分，小塊的規(guī)模一般為5*5，緊接著需要計(jì)算每個(gè)小塊與周?chē)K的4元傅里葉變換的振幅譜的差，最終進(jìn)行加權(quán)，從而得出該小塊的顯著性值，作為特征；除此之外，一般需要對(duì)圖像進(jìn)行金字塔小塊劃分，增加特征魯棒性。

(2)時(shí)間特征SFA:首先在目標(biāo)運(yùn)動(dòng)區(qū)域進(jìn)行樣本塊的抽樣，將連續(xù)dt幀并為一個(gè)時(shí)刻的輸入向量，除此之外，為了引入非線性特征，需要對(duì)原始信號(hào)做非線性擴(kuò)展，一般采用的是二項(xiàng)式擴(kuò)展；緊接著做PCA降維，避免機(jī)器學(xué)習(xí)中的維數(shù)災(zāi)難問(wèn)題。構(gòu)造完訓(xùn)練樣本之后，根據(jù)以下的目標(biāo)函數(shù)進(jìn)行優(yōu)化訓(xùn)練：

訓(xùn)練方法采用的是基于矩陣分解的方法:

，其中x表示輸入特征向量wj表示第j維特征轉(zhuǎn)換向量yj表示第j維輸出特征值。最終通過(guò)訓(xùn)練，每個(gè)小塊可以得到K維特征向量。

(3)高層特征SAE:首先需要從運(yùn)動(dòng)區(qū)域進(jìn)行幀級(jí)別的小塊提取訓(xùn)練樣本，規(guī)格大小為8*8，每個(gè)樣本具有64維的向量，作為多層稀疏編碼器的輸入，稀疏編碼器總共有4層，輸入層對(duì)應(yīng)64維的輸入向量，后面跟著2層全連層以及1層輸出層，訓(xùn)練的目標(biāo)函數(shù)采用平均平方誤差，訓(xùn)練優(yōu)化算法采用逐層訓(xùn)練的非監(jiān)督貪心策略，最后提取第2層隱藏層的輸出向量最后高層特征向量，刻畫(huà)樣本的高層信息。

S3:在模型訓(xùn)練環(huán)節(jié)，對(duì)每種維度的特征單獨(dú)訓(xùn)練SVM分類(lèi)器，同時(shí)也將時(shí)間特征SFA與空間特征SI進(jìn)行拼接融合，單獨(dú)訓(xùn)練一個(gè)SVM分類(lèi)器，由于每種維度的特征刻畫(huà)數(shù)據(jù)不同維度的信息，因此單獨(dú)進(jìn)行分類(lèi)器的訓(xùn)練，可以更好的挖掘出信息，同時(shí)也在特征維度融合，考慮特征的互補(bǔ)。SVM分類(lèi)器采用的是基于線性核的SVM

S4:在決策環(huán)節(jié)，主要是基于集成學(xué)習(xí)的思想，將模型訓(xùn)練環(huán)節(jié)的4個(gè)SVM模型的輸出結(jié)果，進(jìn)行投票選擇，從而提高整個(gè)方法的穩(wěn)定性以及檢測(cè)效果。

由此可見(jiàn)，本發(fā)明方法的工作原理主要是先通過(guò)背景差分，目標(biāo)檢測(cè)等手段定位出運(yùn)動(dòng)目標(biāo)區(qū)域，改進(jìn)傳統(tǒng)的遍歷區(qū)域的方法，從而提高檢測(cè)速度；其次，本發(fā)明方法不僅結(jié)合傳統(tǒng)的時(shí)間以及空間特征，也引進(jìn)了高層特征，從而提高更加全面的信息描述；最后，該方法不僅在特征維度進(jìn)行信息互補(bǔ)融合，在決策層也進(jìn)行投票融合，從而提高整個(gè)方法的檢測(cè)效果。