一種大規(guī)模人群視頻分析系統(tǒng)和方法
【技術領域】
[0001] 本公開設及計算機視覺領域，特別是一種大規(guī)模人群視頻分析系統(tǒng)和方法。
【背景技術】
[0002] 在人群比較容易密集的場所，比如火車站、汽車站、電影院、大型超市等，經(jīng)常發(fā)生 由于人群踩踏引起的傷亡事件。雖然我國現(xiàn)有的視頻監(jiān)控系統(tǒng)已具備一定程度的規(guī)模，運 些視頻監(jiān)控系統(tǒng)在及時響應公共安全事件和治安保障中起著重要作用，且各種視頻監(jiān)控系 統(tǒng)被廣泛地應用于各種場景中，但是現(xiàn)在大多監(jiān)控依靠人工監(jiān)控，亟需探索和研究智能視 頻監(jiān)控用于安防，幫助監(jiān)控人員完成智能趨勢預測、特征事件定位等任務，為突發(fā)事件預 防、可疑線索追查等提供有效幫助。

【發(fā)明內容】

[0003] 針對上述部分問題，本公開提供了一種大規(guī)模人群視頻分析系統(tǒng)和方法。
[0004] -種大規(guī)模人群視頻分析系統(tǒng)，所述系統(tǒng)包括人群密度計算模塊、人群前景分割 模塊、人群跟蹤模塊、人群狀態(tài)分析模塊、事件判定模塊;其中：
[000引所述人群密度計算模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內的人群數(shù)量；
[0006] 所述人群前景分割模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內的前景和背景分割后、前景中的人群區(qū)域；
[0007] 所述人群跟蹤模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍內的 人群運動方向與速度；
[0008] 所述人群狀態(tài)分析模炔基于得到的人群數(shù)量、人群區(qū)域、人群運動方向與速度進 行處理分析，并將分析結果送入事件判定模塊；
[0009] 所述事件判定模塊用于判定人群事件是否異常；
[0010] 所述人群事件是指在監(jiān)控區(qū)域內，達到一定規(guī)模的人群出現(xiàn)某種群體特征性行 為。
[0011] -種用于實現(xiàn)大規(guī)模人群視頻分析系統(tǒng)的方法，所述方法包括下述步驟：
[0012] 本公開能夠幫助監(jiān)控人員完成智能趨勢預測、特征事件定位等任務，為突發(fā)事件 預防、可疑線索追查等提供有效幫助。
【附圖說明】
[0013] 圖1本公開一個實施例中關于大規(guī)模人群視頻分析系統(tǒng)數(shù)據(jù)處理流示意圖；
[0014] 圖2本公開系統(tǒng)的一個實施例中完全卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結構示意圖；
[0015] 圖3本公開方法的一個實施例中完全卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結構示意圖。
【具體實施方式】
[0016] 在一個基礎的實施例中提供了一種大規(guī)模人群視頻分析系統(tǒng)，所述系統(tǒng)包括人群 密度計算模塊、人群前景分割模塊、人群跟蹤模塊、人群狀態(tài)分析模塊、事件判定模塊；其 中：
[0017] 所述人群密度計算模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內的人群數(shù)量；
[0018] 所述人群前景分割模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍 內的前景和背景分割后、前景中的人群區(qū)域；
[0019] 所述人群跟蹤模塊用于獲取監(jiān)控視頻圖像數(shù)據(jù)中某帖圖像所覆蓋視野范圍內的 人群運動方向與速度；
[0020] 所述人群狀態(tài)分析模炔基于得到的人群數(shù)量、人群區(qū)域、人群運動方向與速度進 行處理分析，并將分析結果送入事件判定模塊；
[0021] 所述事件判定模塊用于判定人群事件是否異常；
[0022] 所述人群事件是指在監(jiān)控區(qū)域內，達到一定規(guī)模的人群出現(xiàn)某種群體特征性行 為。
[0023] 在運個實施例中，所述系統(tǒng)能夠為監(jiān)控人員完成智能趨勢預測、特征事件定位等 任務提供數(shù)據(jù)支持，為突發(fā)事件預防、可疑線索追查等提供有效幫助。所述圖像數(shù)據(jù)可W直 接是一帖完整的視頻截圖，也可W是已處理成方便相應模塊進行進一步處理的圖像數(shù)據(jù)， 還可W是為方便傳輸進行壓縮處理后的圖像數(shù)據(jù)，然后在接收該圖像數(shù)據(jù)的模塊中進行相 應的解壓縮處理，等等。在人群狀態(tài)分析模塊中，其進行的處理分析主要是基于得到的人群 數(shù)量、人群區(qū)域、人群運動方向與速度來分析確定監(jiān)控區(qū)域的人群所處的人群事件是什么 類型的人群事件，進而將該人群事件的結論發(fā)送給事件判定模塊，通過事件判定模塊根據(jù) 制定的判斷規(guī)則來判斷該人群事件是否存在異常。所述人群事件的類型可能因不同系統(tǒng)對 人群事件的分類不同而不同。
[0024] 在一個實施例中，提供了人群密度計算模塊計算人群數(shù)量的優(yōu)選計算模型，即：所 述人群密度計算模塊采用深度卷積神經(jīng)網(wǎng)絡（DCNN，Deep Convolutional Neural Network)模型來進行人群密度估計進而得到人群數(shù)量。
[002引所述深度卷積神經(jīng)網(wǎng)絡模型的學習目標為映射F:X 一 D，其中X表示訓練集中圖像 的像素特征，D表示人群密度圖像。該模型具有如下特點：在學習人群特征上具有良好的有 效性和魯棒性，不需要額外的標識工作，并且與圖像前景分割是獨立的，因此能夠獲得更合 理的計算結果。在人群密度計算模塊使用該模型，可W為后續(xù)的分析提供可靠的數(shù)據(jù)支持， 進而在發(fā)生異常的人群事件時，能為監(jiān)控者的決策提供幫助。
[0026] 在一個實施例中，提供了人群前景分割模塊的優(yōu)選分割模型，即：所述人群前景分 割模塊采用完全卷積神經(jīng)網(wǎng)絡(FCNNJully Convolutional化ural化twork)模型來計算 人群區(qū)域。
[0027] 完全卷積神經(jīng)網(wǎng)絡相對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡，能夠適用于圖片尺度變化的情況， 使用更加靈活方便。
[0028] 在一個實施例中，提供了人群跟蹤模塊的優(yōu)選計算人群運動方向與速度的方法， 良P :所述人群跟蹤模塊采用KLT算法化anade-Lucas-Tomasi)來得到人群運動方向與速度。
[0029] 雖然采用光流法進行運動物體檢測的問題主要在于大多數(shù)光流法計算耗時，實時 性和實用性都較差，但是光流法的優(yōu)點在于光流不僅攜帶了運動物體的運動信息，而且還 攜帶了有關景物Ξ維結構的豐富信息，它能夠在不知道場景的任何信息的情況下，檢測出 運動對象。
[0030] 在一個實施例中，所述人群密度計算模塊將人群密度圖像映射表達式實現(xiàn)為一個 核屯、單元，即：所述人群密度計算模塊包括人群密度圖像映射單元，所述人群密度圖像映射 單元的表達式為：
[0031]
[0032] 其中；
[0033] Di(p)為密度圖像D中第i個人周圍的點P;
[0034] Z為歸一化參數(shù)；
[003引Pi為第i個標記的人；
[0036] Nh是作為頭部模型的正規(guī)化的2D高斯核函數(shù)；
[0037] 扣為頭部的位置；
[003引化為Nh的方差；
[0039] 化是作為身體模型的二元正態(tài)分布；
[0040] Pb為人身體的位置；
[0041 ] Σ為化的協(xié)方差矩陣。
[0042] 上述映射能夠保證在一個密度映射中所有密度值在整體上是等于原圖中人群數(shù) 量。
[0043] 在一個實施例中，對產(chǎn)生人群事件的群體特征性行為進行了劃分，進一步明確本 公開系統(tǒng)要監(jiān)測的人群行為，即：所述群體特征性行為包括人群密集、人群聚集、人群滯留、 人群跑動和人群逆行；
[0044] 所述人群密集指對過去的T1秒監(jiān)控區(qū)域內的人數(shù)平均值超過設置的參數(shù)闊值； [004引所述人群聚集指監(jiān)控區(qū)域內停留下來聚集在一起的人群區(qū)域內的人數(shù)超過設置 闊值；
[0046] 所述人群滯留指對監(jiān)控圖像中的人群特征點進行跟蹤，所述人群特征點的運動距 離在時間T2內低于設置的闊值；
[0047] 所述人群跑動指監(jiān)控區(qū)域內運動速度大于速度闊值V的人的數(shù)量超過數(shù)量闊值 N1;
[0048] 所述人群逆行指監(jiān)控區(qū)域內的禁行區(qū)域內沿逆行方向運動的人的數(shù)量超過闊值 N2；
[0049] 其中，T1、T2、V、N1和N2為預設值或能夠修改的自定義值。
[0050] 根據(jù)上述群體特征性行為的劃分，本公開要監(jiān)測的人群事件包括人群密集、人群 聚集、人群滯留、人群跑動和人群逆行，進而在系統(tǒng)中為了標識人群事件，可W為每個人群 事件分配事件ID。
[0051] 進一步地，通過該實施例，也暗含了在系統(tǒng)的事件判斷模塊如何判斷人群事件異 常。
[0052] 對于人群密集事件，所述事件判定模塊通過對過去T秒內區(qū)域內人數(shù)平均值進行 統(tǒng)計來，若超過設置的參數(shù)闊值，則判斷區(qū)域內人群密集;其中τ為預設值或能夠修改的自 定義值。在一個實施例中，所述Τ為10秒。
[0053] 對于人群聚集事件，所述事件判定模塊通過對圖像中停留下來聚集在一起的人群 區(qū)域內的人數(shù)進行統(tǒng)計，如果超過設置闊值，則判斷區(qū)域內發(fā)生異常聚集。
[0054] 對于人群滯留事件，所述事件判定模塊通過對圖像中的人群特征點進行跟蹤;一 段時間內運動距離越短的說明停留時間越久，當停留時間超過設置的闊值時，則說明區(qū)域 內有人群滯留。
[0055] 對于人群跑動事件，所述事件判定模塊通過計算場景下跟蹤特征點的運動速度， 統(tǒng)計運動速度大于闊值Τ1的特征點的個數(shù)，當特征點個數(shù)大于闊值Τ2時，表明場景下發(fā)生 了異常跑動;其中Τ1、Τ2為預設值或能夠修改的自定義值。
[0056] 對于人群逆行事件，所述事件判定模塊通過禁行區(qū)域內沿逆行方向運動的特征點 的個數(shù)進行統(tǒng)計，如果超過闊值Ν個，則判斷區(qū)域發(fā)生逆行;其中Ν為預設值或能夠修改的自 定義值，比如Ν為10。
[0057] 更優(yōu)地，所述系統(tǒng)確定了在一段事件內連續(xù)監(jiān)測到的人群事件是否為同一人群事 件的方法，即：所述群體特征性行為中的某種行為在連續(xù)多次出現(xiàn)時，若相鄰兩次的時間間 隔大于設定時間，則相鄰兩次出現(xiàn)的該種行為被認為是兩次事件，否則相鄰兩次出現(xiàn)的該 種行為被認為是一次事件。比如，在人群密集事件中，若相鄰的兩次人群密集事件如果間隔 大于60秒，則判定為兩次事件。在人群聚集事件中，若相覆蓋區(qū)域內的兩次人群密集事件如 果間隔大于60秒，則判定為兩次事件。在人群滯留事件中，若相同滯留區(qū)域內發(fā)生的滯留事 件如果相隔10秒內，則判定為同一個滯留事件。在人群跑動事件中，若相鄰的兩次人群跑動 事件如果間隔大于60秒，則判定為兩次事件。在人群逆行事件中，若相同逆行區(qū)域相鄰的兩 次人群逆行事件如果間隔大于60秒，則判定為兩次事件。
[0058] 在一個實施例中，所述系統(tǒng)還包括實時監(jiān)控模塊，所述實時監(jiān)控模塊用于反映當 前時間點，某一路視頻所對應場景內人群的情況，通過圖示的方式來展示人群的密集程度。 其中，所述圖示的方式所依據(jù)的圖可W是基于監(jiān)控視頻中的圖像。
[0059] 優(yōu)選的，所述實時監(jiān)控模塊中使用的圖包括人群停留染色圖和人群分布熱力圖； 所述人群停留染色圖按照停留時間長短，對場景中的人群進行Jet染色;所述人群分布熱力 圖按照人群疏密，W熱力圖的形式展現(xiàn)場景中人群的實時分布情況。
[0060] 進一步地，所述Jet染色為根據(jù)場景中人物停留的時間長短對目標進行染色，最大 值表現(xiàn)為紅色，最小值表現(xiàn)為藍色。其中：藍色