專利名稱：一種社會治安視頻監(jiān)控圖像智能處理和檢索方法
技術領域：
本發(fā)明涉及社會治安視頻監(jiān)控系統(tǒng)技術領域，具體是一種社會治安視頻監(jiān)控圖像智能處理和檢索方法。
背景技術：
社會治安視頻監(jiān)控系統(tǒng)近年來得到突飛猛進地發(fā)展，其發(fā)展主要體現(xiàn)在清晰度提高、通訊能力增強和顯示方式豐富多彩，如體現(xiàn)圖像清晰度的攝像機分辨率不斷提高，已邁入千萬像素行列；光通訊技術、網(wǎng)絡技術的進步使視頻圖像可以實時、高清地傳送到任何地方；顯示單元屏幕越來越大、色彩越來越艷麗、逼真，使得監(jiān)控系統(tǒng)后端的顯示墻面積越來 越大，顯示方式越來越靈活；磁存儲技術的發(fā)展使存儲的視頻圖像信息越來越多，稱為“海量”存儲。而對視頻監(jiān)控圖像的智能化處理和檢測技術、檢索技術受算法理論自身和運算量大等技術制約，發(fā)展速度嚴重滯后，使如此海量的視頻信息僅僅依靠“人”監(jiān)視、處理和檢索，視頻監(jiān)控圖像信息中反映的大量異常狀態(tài)、治安事件得不到及時的報警、處理，即使事后求證，也需要靠“人”在海量的視頻信息中搜索，費時費力。

發(fā)明內容
本發(fā)明要解決的技術問題是提供一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，解決現(xiàn)有的社會治安視頻監(jiān)控系統(tǒng)人為進行監(jiān)控和檢索費時費力的問題。本發(fā)明的技術方案為
一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，采用社會治安視頻監(jiān)控系統(tǒng)實現(xiàn)圖像智能處理和檢索；所述的社會治安視頻監(jiān)控系統(tǒng)包括攝像機、視頻分配器、視頻矩陣、顯示屏、硬盤錄像機、視頻智能處理器、報警裝置、網(wǎng)絡交換機、數(shù)據(jù)庫服務器和檢索工作站；所述的社會治安視頻監(jiān)控圖像智能處理和檢索方法具體包括以下步驟
(1)、預處理視頻智能處理器采集攝像機拍攝到的監(jiān)控視頻，然后對采集到的監(jiān)控視頻進行預處理，消除和改善視頻中的圖像模糊；
(2)、動態(tài)目標提取視頻智能處理器采用“混合高斯背景模型算法”對預處理后的視頻圖像中的動態(tài)目標進行提取，然后根據(jù)“輪廓特征+仿射變換算法”的比對，識別出帶有行人、助力車和機動車的圖像；
(3)、動態(tài)目標處理視頻智能處理器通過行人處理模塊、助力車處理模塊和機動車處理模塊分別對行人、助力車和機動車圖像進行處理，分別得到行人、助力車和機動車的特征屬性、異常行為和置信度，行人、助力車和機動車的特征屬性、異常行為和置信度以及與之關聯(lián)的視頻圖像時間、攝像機編碼和抓拍的視頻流入口快照一起記錄在數(shù)據(jù)庫中永久保存；
(4)、顯示和報警視頻智能處理器采用“Kalman濾波算法、MeanShift跟蹤算法、BlobTracking”對行人、助力車和機動車的進行跟蹤、并分析其運動行為，若檢測到異常行為，視頻智能處理器控制視頻矩陣把出現(xiàn)異常行為的視頻圖像切換到顯示屏上突出顯示；同時開啟報警裝置發(fā)出紅色閃光信號和高頻嘯叫聲，提醒值班人員注意并采取處警措施；在采取處警措施后，報警信號自動關閉；
(5)、視頻檢索首先在檢索工作站中輸入檢索條件；然后在數(shù)據(jù)庫服務器中進行檢索，將滿足檢索條件信息的快照在檢索工作站進行排列顯示，最后點擊快照，根據(jù)點擊的快照的攝像機編碼、時間等信息從硬盤錄像機中調取對應的視頻流開始播放。所述的步驟I中的預處理采用“拉普拉斯銳化算法”消除攝像機抖動引起的圖像模糊，采用“直方圖增強去霧算法”改善因雨霧陰霾天氣照成的圖像模糊；所述的預處理后，動態(tài)目標提取之前，采用“滑動平均背景模型算法”對監(jiān)控視頻圖像背景進行刷新，消除圖像明暗、亮度變化影響。 所述的行人處理模塊對每幀畫面根據(jù)“行人輪廓特征算法+ HOG算法”識別出是 一人、兩人還是至少兩人，然后采用“基于YCbCr空間的高斯顏色模型算法”提取行人的上衣和下裝顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對行人的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，聚集”這樣的異常行為，處理完畢，得出行人特征屬性、異常行為和數(shù)據(jù)置信度信息；
所述的助力車處理模塊對每幀畫面根據(jù)“助力車輪廓特征算法+速度信息統(tǒng)計算法+目標生命周期法”識別出是二輪車，還是三輪車，然后采用“基于YCbCr空間的高斯顏色模型算法”提取助力車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對助力車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留”這樣的異常行為，處理完畢，得出助力車特征屬性、異常行為和數(shù)據(jù)置信度信息；
所述的機動車處理模塊對每幀畫面根據(jù)“機動車輪廓特征算法”的比對識別出是大車，還是小車，然后根據(jù)采用“基于YCbCr空間的高斯顏色模型算法”提取機動車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Blob Tracking算法”對機動車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，逆向行駛”這樣的異常行為，處理完畢，得出機動車特征屬性、異常行為和數(shù)據(jù)置信度信息。所述的步驟4中的檢索條件包括有檢索必要條件和非檢索必要條件，檢索必要條件為檢索目標、時間范圍和攝像機編碼，非檢索必要條件為特征屬性和異常行為。所述的步驟5中滿足檢索條件信息的快照排列顯示的順序為置信度高于70%的視頻流優(yōu)先級最高，其視頻流快照排列在前，置信度在40%到70%之間的視頻流優(yōu)先級次之，置信度低于40%的視頻流優(yōu)先級最小，視頻流快照排列在最后；相同置信度級別有多個視頻流快照，則其按時間順序排列。本發(fā)明的優(yōu)點
(I)、本發(fā)明由視頻智能處理器完成對監(jiān)控視頻的數(shù)字化、編碼、預處理、目標識別、特征提取、異常行為分析，實現(xiàn)對報警裝置、視頻矩陣的控制等功能，無需人為進行監(jiān)控，省時省力；(2)、檢索采用檢索工作站在數(shù)據(jù)庫服務器中進行自動檢索，操作簡單，無需進行進行海量檢索，節(jié)省了檢索的時間，且檢索結果顯示清楚。


圖I是本發(fā)明社會治安視頻監(jiān)控系統(tǒng)的結構原理示意圖。圖2是本發(fā)明視頻監(jiān)控圖像智能化處理流程圖。圖3是本發(fā)明視頻監(jiān)控圖像智能化檢索流程圖。
具體實施方式
見圖1，社會治安視頻監(jiān)控系統(tǒng)包括攝像機，視頻分配器，與視頻分配器連接的視頻矩陣、硬盤錄像機和視頻智能處理器，與視頻矩陣連接的顯示屏，與視頻智能處理器連接的報警裝置和網(wǎng)絡交換機，與網(wǎng)絡交換機連接的數(shù)據(jù)庫服務器和檢索工作站；且視頻智能處理器與視頻矩陣連接，網(wǎng)絡交換機與硬盤錄像機連接；
見圖2、圖3，社會治安視頻監(jiān)控圖像智能處理和檢索方法具體包括以下步驟
(1)、預處理首先采用視頻智能處理器采集攝像機拍攝到的監(jiān)控視頻，然后采用拉普拉斯銳化算法”消除攝像機抖動引起的圖像模糊，采用“直方圖增強去霧算法”改善因雨霧陰霾天氣照成的圖像模糊；
(2)、動態(tài)目標提取采用“滑動平均背景模型算法”對監(jiān)控視頻圖像背景進行刷新，消除圖像明暗、亮度變化影響；然后視頻智能處理器采用“混合高斯背景模型算法”對預處理后的視頻圖像中的動態(tài)目標進行提?。粸榱讼肼曈绊?，減少目標分割不準確的情況發(fā)生，對監(jiān)控圖像采用了閾值處理、形態(tài)學運算和圖像融合處理；然后根據(jù)“輪廓特征+仿射變換算法”的比對，初步識別出是行人、助力車還是機動車；助力車是指無駕駛艙，人在車外的車輛，包括二輪車和三輪車；機動車是指有駕駛艙，人在車內的車輛，包括大車和小車；識別出的行人、助力車、機動車分別由三個不同的視頻處理軟件模塊進行相應的特征提取和行為分析；
(3)、動態(tài)目標處理采用視頻智能處理器通過行人處理模塊、助力車處理模塊和機動車處理模塊分別對行人、助力車和機動車圖像進行處理，具體處理方式為
行人處理模塊對每幀畫面根據(jù)“行人輪廓特征算法+ HOG算法”識別出是一人、兩人還是至少兩人，然后采用“基于YCbCr空間的高斯顏色模型算法”提取行人的上衣和下裝顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對行人的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，聚集”這樣的異常行為，處理完畢，得出行人特征屬性、異常行為和數(shù)據(jù)置信度信息；助力車處理模塊對每幀畫面根據(jù)“助力車輪廓特征算法+速度信息統(tǒng)計算法+目標生命周期法”識別出是二輪車，還是三輪車，然后采用“基于YCbCr空間的高斯顏色模型算法”提取助力車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對助力車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留”這樣的異常行為，處理完畢，得出助力車特征屬性、異常行為和數(shù)據(jù)置信度信息；機動車處理模塊對每幀畫面根據(jù)“機動車輪廓特征算法”的比對識別出是大車，還是小車，然后根據(jù)采用“基于YCbCr空間的高斯顏色模型算法”提取機動車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Blob Tracking算法”對機動車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，逆向行駛”這樣的異常行為，處理完畢，得出機動車特征屬性、異常行為和數(shù)據(jù)置信度信息。分別得到行人、助力車和機動車的特征屬性、異常行為和置信度，行人、助力車和機動車的特征屬性、異常行為和置信度以及與之關聯(lián)的視頻圖像時間、攝像機編碼和抓拍的視頻流入口快照一起記錄在數(shù)據(jù)庫中永久保存；
(4)、顯示和報警視頻智能處理器采用“Kalman濾波算法、MeanShift跟蹤算法、BlobTracking”對行人、助力車和機動車進行跟蹤、并分析其運動行為，若檢測到異常行為，視頻智能處理器控制視頻矩陣把出現(xiàn)異常行為的視頻圖像切換到顯示屏上突出顯示；同時開啟報警裝置發(fā)出紅色閃光信號和高頻嘯叫聲，提醒值班人員注意并采取處警措施；在采取處警措施后，報警信號自動關閉；
(5)、視頻檢索首先在檢索工作站中輸入檢索條件，檢索條件包括有檢索必要條件和非檢索必要條件，檢索必要條件為檢索目標、時間范圍和攝像機編碼，必須確定，非檢索必 要條件為特征屬性和異常行為，可以確定，也可以不確定；然后在數(shù)據(jù)庫服務器中進行檢索，將滿足檢索條件信息的快照在檢索工作站進行排列顯示；快照排列顯示的順序為置信度高于70%的視頻流優(yōu)先級最高，其視頻流快照排列在前，置信度在40%到70%之間的視頻流優(yōu)先級次之，置信度低于40%的視頻流優(yōu)先級最小，視頻流快照排列在最后，相同置信度級別有多個視頻流快照，則其按時間順序排列；最后點擊快照，根據(jù)點擊的快照的攝像機編碼、時間等信息從硬盤錄像機中調取對應的視頻流開始播放。
權利要求
1.一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，其特征在于采用社會治安視頻監(jiān)控系統(tǒng)實現(xiàn)圖像智能處理和檢索；所述的社會治安視頻監(jiān)控系統(tǒng)包括攝像機、視頻分配器、視頻矩陣、顯示屏、硬盤錄像機、視頻智能處理器、報警裝置、網(wǎng)絡交換機、數(shù)據(jù)庫服務器和檢索工作站； 所述的社會治安視頻監(jiān)控圖像智能處理和檢索方法具體包括以下步驟 (1)、預處理視頻智能處理器采集攝像機拍攝到的監(jiān)控視頻，然后對采集到的監(jiān)控視頻進行預處理，消除和改善視頻中的圖像模糊； (2)、動態(tài)目標提取視頻智能處理器采用“混合高斯背景模型算法”對預處理后的視頻圖像中的動態(tài)目標進行提取，然后根據(jù)“輪廓特征+仿射變換算法”的比對，識別出帶有行人、助力車和機動車的圖像； (3)、動態(tài)目標處理視頻智能處理器通過行人處理模塊、助力車處理模塊和機動車處理模塊分別對行人、助力車和機動車圖像進行處理，分別得到行人、助力車和機動車的特征屬性、異常行為和置信度，行人、助力車和機動車的特征屬性、異常行為和置信度以及與之關聯(lián)的視頻圖像時間、攝像機編碼和抓拍的視頻流入口快照一起記錄在數(shù)據(jù)庫中永久保存； (4)、顯示和報警視頻智能處理器采用“Kalman濾波算法、MeanShift跟蹤算法、BlobTracking”對行人、助力車和機動車進行跟蹤、并分析其運動行為，若檢測到異常行為，視頻智能處理器控制視頻矩陣把出現(xiàn)異常行為的視頻圖像切換到顯示屏上突出顯示；同時開啟報警裝置發(fā)出紅色閃光信號和高頻嘯叫聲，提醒值班人員注意并采取處警措施；在采取處警措施后，報警信號自動關閉； (5)、視頻檢索首先在檢索工作站中輸入檢索條件；然后在數(shù)據(jù)庫服務器中進行檢索，將滿足檢索條件信息的快照在檢索工作站進行排列顯示，最后點擊快照，根據(jù)點擊的快照的攝像機編碼、時間等信息從硬盤錄像機中調取對應的視頻流開始播放。
2.根據(jù)權利要求I所述的一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，其特征在于所述的步驟I中的預處理采用“拉普拉斯銳化算法”消除攝像機抖動引起的圖像模糊，采用“直方圖增強去霧算法”改善因雨霧陰霾天氣照成的圖像模糊；所述的預處理后，動態(tài)目標提取之前，采用“滑動平均背景模型算法”對監(jiān)控視頻圖像背景進行刷新，消除圖像明暗、亮度變化影響。
3.根據(jù)權利要求I所述的一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，其特征在于所述的行人處理模塊對每幀畫面根據(jù)“行人輪廓特征算法+ HOG算法”識別出是一人、兩人還是至少兩人，然后采用“基于YCbCr空間的高斯顏色模型算法”提取行人的上衣和下裝顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對行人的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，聚集”這樣的異常行為，處理完畢，得出行人特征屬性、異常行為和數(shù)據(jù)置信度信息； 所述的助力車處理模塊對每幀畫面根據(jù)“助力車輪廓特征算法+速度信息統(tǒng)計算法+目標生命周期法”識別出是二輪車，還是三輪車，然后采用“基于YCbCr空間的高斯顏色模型算法”提取助力車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Kalman濾波算法+ Mean Shift跟蹤算法”對助力車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留”這樣的異常行為，處理完畢，得出助力車特征屬性、異常行為和數(shù)據(jù)置信度信息； 所述的機動車處理模塊對每幀畫面根據(jù)“機動車輪廓特征算法”的比對識別出是大車，還是小車，然后根據(jù)采用“基于YCbCr空間的高斯顏色模型算法”提取機動車的顏色，顏色分類為不確定，深色、淺色，紅色、橙色、黃色、綠色、青色、藍色、紫色、黑色、白色、灰色，最后根據(jù)“Blob Tracking算法”對機動車的行為特征進行分析，判別在監(jiān)控區(qū)域內是否有“非法進入，非法滯留，逆向行駛”這樣的異常行為，處理完畢，得出機動車特征屬性、異常行為和數(shù)據(jù)置信度信息。
4.根據(jù)權利要求I所述的一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，其特征在于所述的步驟4中的檢索條件包括有檢索必要條件和非檢索必要條件，檢索必要條件為檢索目標、時間范圍和攝像機編碼，非檢索必要條件為特征屬性和異常行為。
5.根據(jù)權利要求I所述的一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，其特征在于所述的步驟5中滿足檢索條件信息的快照排列顯示的順序為置信度高于70%的視頻流優(yōu)先級最高，其視頻流快照排列在前，置信度在40%到70%之間的視頻流優(yōu)先級次之，置信度低于40%的視頻流優(yōu)先級最小，視頻流快照排列在最后；相同置信度級別有多個視頻流快照，則其按時間順序排列。
全文摘要
本發(fā)明公開了一種社會治安視頻監(jiān)控圖像智能處理和檢索方法，采用社會治安視頻監(jiān)控系統(tǒng)實現(xiàn)圖像智能處理和檢索；社會治安視頻監(jiān)控系統(tǒng)包括攝像機、視頻分配器、視頻矩陣、顯示屏、硬盤錄像機、視頻智能處理器、報警裝置、網(wǎng)絡交換機、數(shù)據(jù)庫服務器和檢索工作站。本發(fā)明采用視頻智能處理器完成對監(jiān)控視頻的數(shù)字化、編碼、預處理、目標識別、特征提取、異常行為分析，實現(xiàn)對報警裝置、視頻矩陣的控制等功能，無需人為進行監(jiān)控，省時省力；檢索采用檢索工作站在數(shù)據(jù)庫服務器中進行自動檢索，操作簡單，無需進行海量檢索，節(jié)省了檢索的時間，且檢索結果顯示清楚。
文檔編號H04N5/14GK102665071SQ201210147970
公開日2012年9月12日 申請日期2012年5月14日 優(yōu)先權日2012年5月14日
發(fā)明者丁業(yè)兵, 姚葉春, 王志會, 趙峰, 邱佳杰, 郝詩海, 郭慧 申請人:安徽三聯(lián)交通應用技術股份有限公司