專利名稱：智能視頻監(jiān)控方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及監(jiān)控方法及系統(tǒng)，更具體地說，涉及一種智能視頻監(jiān)控方法及系統(tǒng)。
背景技術(shù)：
目前在教學(xué)、安防、工業(yè)生產(chǎn)等各種場(chǎng)合得到廣泛使用的視頻監(jiān)控設(shè)備，
大部分基于閉路有線電視(CCTV)方式進(jìn)行模擬視頻信號(hào)傳輸。該類攝像機(jī)具有一定的局限性，表現(xiàn)為1、采用模擬視頻信號(hào)傳輸時(shí)，由于信號(hào)在傳輸
過程中不可避免地受到各種干擾以及信號(hào)的衰減，使得在長(zhǎng)距離傳輸方面存在一定的困難。通常采用中繼放大的方式解決這一個(gè)問題，但是會(huì)增加系統(tǒng)
的成本。2、由于模擬信號(hào)傳輸通常采用基帶方式進(jìn)行，使得攝像機(jī)和監(jiān)視終端的結(jié)構(gòu)只能采用一對(duì)一的形式。這使得整個(gè)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)變得復(fù)雜，增加了綜合布線的成本。3、當(dāng)攝像機(jī)接有可控制的云臺(tái)、鏡頭或者其他輸入輸出信號(hào)時(shí)，通常需要外加控制線路，使得系統(tǒng)的結(jié)構(gòu)更加復(fù)雜。特別是在安防場(chǎng)合，由于監(jiān)控現(xiàn)場(chǎng)和監(jiān)控室之間傳輸?shù)膱D像不夠清晰、實(shí)時(shí)交互性能可靠性不高，導(dǎo)致執(zhí)勤中哨兵被壞人襲擊、槍支被搶和個(gè)別哨兵睡崗、攜槍離崗等難于及時(shí)發(fā)現(xiàn)的問題發(fā)生。另外，現(xiàn)有的監(jiān)控系統(tǒng)精確度不高，容易發(fā)生由于蚊蟲、飛蛾、小貓、小狗等小動(dòng)物干擾以及樹枝擺動(dòng)，天氣變化，陰影光影所產(chǎn)生的誤報(bào)警。
當(dāng)今社會(huì)各行各業(yè)的現(xiàn)代化管理需要運(yùn)用先進(jìn)的科學(xué)技術(shù)手段，將電子技術(shù)與計(jì)算機(jī)控制集成在一個(gè)完整的體系中。在部隊(duì)里，安全是首要需保障的問題，使用現(xiàn)有的監(jiān)控保安設(shè)備，可有效的加強(qiáng)對(duì)人員的管理，直觀及時(shí)的反映重要地點(diǎn)的現(xiàn)場(chǎng)情況，增強(qiáng)安全保障措施，是部隊(duì)現(xiàn)代化管理的有力工具。部隊(duì)是一個(gè)特殊的場(chǎng)所，為了保護(hù)國家的財(cái)產(chǎn)安全及部隊(duì)人員的人身安
全.為軍隊(duì)建設(shè)一套高度智能化的監(jiān)控系統(tǒng)是非常必要的；所謂的智能視頻分析監(jiān)控技術(shù)，有時(shí)也稱"行為監(jiān)控技術(shù)"，就是指采用智能化的視頻分析算法，利用計(jì)算機(jī)對(duì)視野范圍內(nèi)的目標(biāo)的特定行為進(jìn)行分析和提取，當(dāng)發(fā)現(xiàn)存在符合某種規(guī)則的行為(如定向運(yùn)動(dòng)、越界、游蕩、遺留等)發(fā)生時(shí)，自動(dòng)向監(jiān)控系統(tǒng)發(fā)出提示信號(hào)，采取某種對(duì)應(yīng)措施(如聲光報(bào)警器報(bào)警)或通知監(jiān)控人員進(jìn)行人工干預(yù)等。
隨著計(jì)算機(jī)技術(shù)、通信技術(shù)、圖像處理技術(shù)的不斷發(fā)展，基于視頻的檢測(cè)與跟蹤系統(tǒng)越來越普及。本系統(tǒng)融合了計(jì)算機(jī)圖像處理、模式識(shí)別、人工智能及自動(dòng)控制等諸多相關(guān)領(lǐng)域的知識(shí)，采用國內(nèi)外先進(jìn)的算法，利用計(jì)算機(jī)視覺和視頻分析的方法自動(dòng)分析攝像機(jī)拍錄的圖像序列，實(shí)現(xiàn)對(duì)場(chǎng)景中目標(biāo)的定位、識(shí)別和跟蹤，并在此基礎(chǔ)上分析和判斷目標(biāo)的行為。
目前，安防視頻監(jiān)控系統(tǒng)，多是以視頻監(jiān)控與報(bào)警聯(lián)動(dòng)為代表的治安防控體系，幾乎淪為一種提供事后取證錄像的工具。在這種安防監(jiān)控系統(tǒng)中，一般采用傳統(tǒng)的系統(tǒng)配置模式即集中式地建設(shè)監(jiān)控中心，將視頻數(shù)據(jù)上傳至集中式設(shè)置的視頻服務(wù)器，并在該集中節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)；在視頻采集點(diǎn)上， 一般采用視頻采集器，控制多路視頻攝像頭。該視頻采集器采用寬帶線路，或是采用無線網(wǎng)卡，在帶寬不足的情況下，可能會(huì)采用多路無線線路捆綁的方式連接公眾互聯(lián)網(wǎng)，與同樣連接在互聯(lián)網(wǎng)上的視頻監(jiān)控中心進(jìn)行數(shù)據(jù)傳輸。但這種監(jiān)控系統(tǒng)，都具有一些固有的局限性
1、 由于人類自身的弱點(diǎn)，易導(dǎo)致漏報(bào)
一般情況下，人類并非是一個(gè)可以完全信賴的觀察者，他們?cè)谟^察實(shí)時(shí)的視頻流或觀察錄像回放的時(shí)候，由于監(jiān)控人員個(gè)體條件的不同以及自身生理上的弱點(diǎn)，經(jīng)常無法察覺到安全威脅，從而可能導(dǎo)致漏報(bào)(False Negatives)現(xiàn)象的發(fā)生。
2、 各個(gè)監(jiān)控點(diǎn)不能每時(shí)每刻都處于監(jiān)控
除了一些規(guī)模較小的電視監(jiān)控應(yīng)用之外，很少有電視監(jiān)控系統(tǒng)會(huì)按照1:1的比例為監(jiān)控?cái)z像機(jī)配置監(jiān)視器。因此，各個(gè)監(jiān)控點(diǎn)并非每時(shí)每刻都處于監(jiān)控當(dāng)中。
3、 易引起誤報(bào)和漏報(bào)
誤報(bào)(False-Positive)和漏報(bào)是視頻監(jiān)視系統(tǒng)中最常見的兩大問題。漏報(bào)指的是在監(jiān)控點(diǎn)發(fā)生安全威脅時(shí)，該威脅沒有被監(jiān)控系統(tǒng)或安全人員發(fā)現(xiàn)。誤報(bào)指的是位于監(jiān)控點(diǎn)的安全活動(dòng)被誤認(rèn)為是安全威脅，從而產(chǎn)生錯(cuò)誤的報(bào)警。
4、 由于缺乏智能因素，使數(shù)據(jù)分析困難
報(bào)警發(fā)生后對(duì)錄像數(shù)據(jù)進(jìn)行分析通常是安全人員必須要做的工作之一，而誤報(bào)和漏報(bào)現(xiàn)象則進(jìn)一步加劇了對(duì)數(shù)據(jù)分析的需求。安全人員經(jīng)常被要求找出與報(bào)警事件相關(guān)的錄像資料，找到肇事者、確定事故責(zé)任或評(píng)估該事件的安全威脅。
由于傳統(tǒng)視頻監(jiān)控系統(tǒng)缺乏智能因素，錄像數(shù)據(jù)無法被有效的分類存儲(chǔ)，最多只能打上時(shí)間標(biāo)簽，因此數(shù)據(jù)分析工作變得極其耗時(shí)，并且很難獲得全部的相關(guān)信息，而經(jīng)常發(fā)生的誤報(bào)現(xiàn)象使無用數(shù)據(jù)進(jìn)一步增加，從而給數(shù)據(jù)分析工作帶來更大的難度。
5、 由于缺乏智能因素，響應(yīng)時(shí)間長(zhǎng)
對(duì)于安全威脅的響應(yīng)速度關(guān)系到一個(gè)安全系統(tǒng)的整體性能。傳統(tǒng)的電視監(jiān)控系統(tǒng)通常都由安全工作人員對(duì)安全威脅作出響應(yīng)和處理，這對(duì)于處理一般性的、實(shí)時(shí)響應(yīng)要求較低的安全威脅來說已經(jīng)足夠。但是很多情況下，在威脅發(fā)生時(shí)，需要安全系統(tǒng)的多個(gè)功能部分，甚至多個(gè)安全相關(guān)的部門在最短的時(shí)間內(nèi)協(xié)調(diào)配合，共同處理危機(jī)。這時(shí)候，監(jiān)控系統(tǒng)的響應(yīng)速度將直接關(guān)系到用戶的人身或財(cái)產(chǎn)的損失情況。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的上述圖像不夠情緒、實(shí)時(shí)交互性差、容易產(chǎn)生誤報(bào)警等缺陷，提供一種智能視頻監(jiān)控方法及系統(tǒng)。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是構(gòu)造一種智能視頻監(jiān)控方法，包括以下步驟Sl:檢測(cè)運(yùn)動(dòng)目標(biāo)
Sll:采集并預(yù)處理M幀圖像序列，其中，M為自然數(shù)；S12:根據(jù)所述M幀圖像序列，初始化背景模型；
S13:采集第M+1幀圖像序列，基于所述背景模型，對(duì)所述第M+1幀
圖像序列進(jìn)行幀間差分和背景差分處理，檢測(cè)出運(yùn)動(dòng)目標(biāo)；S2:跟蹤運(yùn)動(dòng)目標(biāo)
S21:對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)，建立目標(biāo)模型；
S22:根據(jù)所述目標(biāo)模型，對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)K幀處理，建立目標(biāo)跟蹤信息表，其中K為自然數(shù)；
S23:建立相鄰兩幀之間的目標(biāo)匹配矩陣，矩陣元素是相鄰兩幀間目標(biāo)模型的匹配度，得到運(yùn)動(dòng)目標(biāo)的匹配情況；
S24:根據(jù)目標(biāo)模型和目標(biāo)匹配矩陣，分析當(dāng)前幀運(yùn)動(dòng)目標(biāo)狀態(tài)，并
更新目標(biāo)模型。
在本發(fā)明所述的智能視頻監(jiān)控方法中，在所述步驟Sll中，所述預(yù)處理包括對(duì)M幀圖像序列的灰度化處理和濾波去噪處理。
在本發(fā)明所述的智能視頻監(jiān)控方法中，在所述步驟S12中，還包括對(duì)背景模型中的每一個(gè)像素點(diǎn)進(jìn)行高斯建模。
在本發(fā)明所述的智能視頻監(jiān)控方法中，在所述步驟S13中，對(duì)第M+l幀圖像序列進(jìn)行幀間差分處理時(shí)，將未發(fā)生變化的區(qū)域更新到背景模型中；將發(fā)生變化的區(qū)域與背景模型進(jìn)行擬合，以區(qū)分出顯露區(qū)和背景模型。
在本發(fā)明所述的智能視頻監(jiān)控方法中，在步驟S13中，還包括對(duì)檢測(cè)出的運(yùn)動(dòng)目標(biāo)進(jìn)行去陰影處理。
在本發(fā)明所述的智能視頻監(jiān)控方法中，所述目標(biāo)模型包括面積相似度函數(shù)、形狀相似度函數(shù)、運(yùn)動(dòng)方向一致性函數(shù)、位移可靠性函數(shù)、以及模糊相似度函數(shù)。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種智能視頻監(jiān)控系統(tǒng)，包括攝像頭、第一報(bào)警裝置、編碼處理器、數(shù)據(jù)分析處理器、顯示器；其中，攝像頭和報(bào)警器分別與編碼處理器連接，編碼處理器和顯示器分別與數(shù)據(jù)分析處理器連接；
編碼處理器用于將攝像頭發(fā)送的視頻流進(jìn)行壓縮編碼為視頻信號(hào)； 數(shù)據(jù)分析處理器用于將編碼處理器發(fā)送的視頻信號(hào)發(fā)送到顯示器進(jìn)行顯
示，并進(jìn)行分析處理，在出現(xiàn)異常情況時(shí)，通過編碼處理器將報(bào)警信號(hào)發(fā)送
到第一報(bào)警裝置以進(jìn)行報(bào)警。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，所述智能視頻監(jiān)控系統(tǒng)還包括
拾音器和音箱，其中拾音器與編碼處理器連接，音箱與數(shù)據(jù)分析處理器連接; 編碼處理器還用于將拾音器發(fā)送的音頻流進(jìn)行壓縮編碼為音頻信號(hào)； 數(shù)據(jù)分析處理器還用于將拾音器發(fā)送的音頻信號(hào)發(fā)送到音箱進(jìn)行播放。 在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，所述智能視頻監(jiān)控系統(tǒng)還包括
腳踏報(bào)警器和第二報(bào)警裝置；其中，腳踏報(bào)警器與編碼處理器連接，第二報(bào)
警裝置與數(shù)據(jù)分析處理器連接；
數(shù)據(jù)分析處理器還用于接收腳踏報(bào)警器通過編碼處理器發(fā)送的報(bào)警信
號(hào)，并控制第二報(bào)警裝置進(jìn)行報(bào)警。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，所述智能視頻監(jiān)控系統(tǒng)還包括
麥克風(fēng)和喇叭；其中，麥克風(fēng)與數(shù)據(jù)分析處理器連接；喇叭與編碼處理器連
接；麥克風(fēng)通過數(shù)據(jù)分析處理器和編碼處理器將采集到的音頻流發(fā)送到喇叭
進(jìn)行播放。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，第一報(bào)警裝置和第二報(bào)警裝置是 蜂鳴器、多音報(bào)警器、或聲光報(bào)警器。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，編碼處理器對(duì)圖像信號(hào)進(jìn)行 MPEG4、 H.263、 H. 264或M-JPEG壓縮編碼。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，攝像頭包括至少一個(gè)鏡頭、以 及圖像傳感器。
在本發(fā)明所述的智能視頻監(jiān)控系統(tǒng)中，圖像傳感器是CCD圖像傳感器或 CMOS圖像傳感器。
實(shí)施本發(fā)明的智能視頻監(jiān)控系統(tǒng)，具有以下有益效果工程實(shí)施簡(jiǎn)便， 系統(tǒng)擴(kuò)充方便；實(shí)現(xiàn)跨區(qū)域遠(yuǎn)程監(jiān)控，使得圖像監(jiān)控不受距離限制，而且圖像清晰，穩(wěn)定可靠；并且監(jiān)控現(xiàn)場(chǎng)和監(jiān)控室可實(shí)時(shí)進(jìn)行信息交換。并且監(jiān)控 系統(tǒng)精確度高，可避免由于蚊蟲、飛蛾、小貓、小狗等小動(dòng)物干擾以及樹枝 擺動(dòng)，天氣變化，陰影光影所產(chǎn)生的誤報(bào)警。智能電視監(jiān)控以普通的網(wǎng)絡(luò)電 視監(jiān)控為基礎(chǔ)，除了具備廣為人知的網(wǎng)絡(luò)電視監(jiān)控的優(yōu)勢(shì)外，智能電視監(jiān)控 系統(tǒng)還能為用戶帶來更大的收益。其主要的優(yōu)點(diǎn)是
1、 可進(jìn)行24X7全天候可靠監(jiān)控
智能電視監(jiān)控系統(tǒng)，徹底改變了以往完全由安全工作人員對(duì)監(jiān)控畫面進(jìn) 行監(jiān)視和分析的模式，它通過嵌入在網(wǎng)絡(luò)攝像機(jī)或視頻服務(wù)器等前端設(shè)備中 的智能視頻模塊，對(duì)所監(jiān)控的畫面進(jìn)行不間斷分析，并采用智能算法與用戶 定義的安全模型進(jìn)行對(duì)比， 一旦發(fā)現(xiàn)有安全威脅，立刻向監(jiān)控中心預(yù)警或報(bào) 警。
2、 由于有強(qiáng)大的智能特性，能提高報(bào)警精確度
智能電視監(jiān)控系統(tǒng)，能夠有效地提高報(bào)警精確度，大大降低誤報(bào)和漏報(bào) 現(xiàn)象的發(fā)生。因?yàn)橹悄茈娨暠O(jiān)控系統(tǒng)的網(wǎng)絡(luò)攝像機(jī)或視頻服務(wù)器等前端設(shè)備， 集成了強(qiáng)大的圖像處理、識(shí)別與跟蹤能力，并運(yùn)行高級(jí)智能算法，使用戶可 以更加精確地定義安全威脅的特征。從而能有效地降低誤報(bào)和漏報(bào)現(xiàn)象，以 減少無用數(shù)據(jù)量。如用戶可以定義一道虛擬警戒線，并規(guī)定只有跨越該警戒 線進(jìn)入或走出時(shí)才產(chǎn)生報(bào)警，從警戒線旁邊經(jīng)過則不產(chǎn)生報(bào)警。也可以說， 如用戶定義只有穿越房門的活動(dòng)才產(chǎn)生報(bào)警，而經(jīng)過房門的活動(dòng)不產(chǎn)生報(bào)警 等。
3、由于有強(qiáng)大的智能特性，能提高響應(yīng)速度
智能電視監(jiān)控系統(tǒng)，擁有比普通網(wǎng)絡(luò)電視監(jiān)控系統(tǒng)更加強(qiáng)大的智能特性， 它能夠識(shí)別可疑活動(dòng)，如有人在公共場(chǎng)所遺留了可疑物體(爆炸物)，或者有 人在敏感區(qū)域停留的時(shí)間過長(zhǎng)等，因此在安全威脅發(fā)生之前就能夠提示安全 人員關(guān)注相關(guān)監(jiān)控畫面，使安全部門有足夠的時(shí)間為潛在的威脅做好準(zhǔn)備工 作。此外，還可以使用戶更加確切的定義在特定的安全威脅出現(xiàn)時(shí)，應(yīng)當(dāng)采 取的動(dòng)作，并由監(jiān)控系統(tǒng)本身來確保危機(jī)處理步驟能夠按照預(yù)定的計(jì)劃精確 執(zhí)行，有效地防止在混亂中由于人為因素而造成的延誤。4、能有效擴(kuò)展視頻資源的用途
無論是傳統(tǒng)的電視監(jiān)控系統(tǒng)還是網(wǎng)絡(luò)電視監(jiān)控系統(tǒng)，其所監(jiān)控到的視頻 畫面都只能應(yīng)用在安全監(jiān)視領(lǐng)域，而在智能電視監(jiān)控系統(tǒng)中，這些視頻資源 還可以有更多的用途。如可將視頻資源應(yīng)用到非安全領(lǐng)域銀行大堂的監(jiān)視 錄像可以用來加強(qiáng)對(duì)客戶的服務(wù)，智能電視監(jiān)控系統(tǒng)可以自動(dòng)識(shí)別VIP用戶 的特征，并通知客服人員及時(shí)做好服務(wù)工作；發(fā)現(xiàn)人群中有人不慎跌倒時(shí)， 及時(shí)通知附近的工作人員提供幫助；智能電視監(jiān)控系統(tǒng)，還可以幫助統(tǒng)計(jì)當(dāng) 天光顧的客戶數(shù)量，用以分析營業(yè)情況等。


下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明，附圖中
圖1是本發(fā)明智能視頻監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖2是本發(fā)明智能視頻監(jiān)控方法的流程圖3是本發(fā)明智能視頻監(jiān)控方法的采集到的原始圖像；
圖4是圖3背景建模圖5是圖3所示運(yùn)動(dòng)物體檢測(cè)圖6是圖3所示運(yùn)動(dòng)物體分割圖7是圖3所示運(yùn)動(dòng)物體去陰影后檢測(cè)圖8是圖3所示運(yùn)動(dòng)物體去陰影后分割圖9是圖3所示運(yùn)動(dòng)物體軌跡圖。
具體實(shí)施例方式
如圖l所示，在本發(fā)明的智能視頻監(jiān)控系統(tǒng)中，包括攝像頭31、第一報(bào) 警裝置33、編碼處理器2、數(shù)據(jù)分析處理器l、顯示器42;其中，攝像頭31 和第一報(bào)警裝置33分別與編碼處理器2連接，編碼處理器2和顯示器42分 別與數(shù)據(jù)分析處理器1連接；編碼處理器2用于將攝像頭31發(fā)送的視頻流進(jìn) 行壓縮編碼為視頻信號(hào),特別地，編碼處理器2對(duì)圖像信號(hào)進(jìn)行MPEG4、H. 263、 H. 264或M-JPEG壓縮編碼；數(shù)據(jù)分析處理器1用于將編碼處理器2發(fā)送的視頻信號(hào)發(fā)送到顯示器42進(jìn)行顯示，并進(jìn)行分析處理，在出現(xiàn)異常情況時(shí)，通 過編碼處理器2將報(bào)警信號(hào)發(fā)送到第一報(bào)警裝置33以進(jìn)行報(bào)警。另外對(duì)于攝 像頭31、第一報(bào)警裝置33以及顯示器42的數(shù)量可根據(jù)實(shí)際需要和用戶要求 靈活配置。
在具體設(shè)計(jì)時(shí)，本系統(tǒng)采用C/S模式和B/S模式結(jié)合的運(yùn)行方式。開發(fā) 環(huán)境為操作系統(tǒng)Microsoft Windows XP。數(shù)據(jù)庫軟件Microsoft SQL Server 2005、 Microsoft Access 2003。開發(fā)工具M(jìn)icrosoft Visual C++ 2005、 Microsoft Asp. Net 2005。軟件需求DirectX 9.0、 DonetFramwork 2.0。 硬件環(huán)境為CPU: Pentium IV 3.0以上，RAM 1G以上。其他設(shè)備視頻采集 攝像機(jī)，數(shù)字硬盤錄像機(jī)，智能跟蹤高速球，報(bào)警控制單元及報(bào)警探測(cè)器、 警燈警號(hào)，現(xiàn)場(chǎng)顯示設(shè)備。
另外，攝像頭31實(shí)施為防暴PTZ半圓攝像機(jī)，具有PTZ自動(dòng)跟蹤功能， 全方位的安全站點(diǎn)布置克服監(jiān)控盲區(qū)，當(dāng)有目標(biāo)侵入時(shí)，PTZ自動(dòng)跟蹤模塊能 夠自動(dòng)的對(duì)準(zhǔn)目標(biāo)，使目標(biāo)保持在監(jiān)控范圍內(nèi)，當(dāng)目標(biāo)躲入障礙物背后時(shí)， 攝像機(jī)會(huì)一直對(duì)準(zhǔn)障礙物，相關(guān)人員可以迅速趕赴現(xiàn)場(chǎng)進(jìn)行處理。工作人員 可以手動(dòng)操作PTZ控制桿，或者通過軟件的自動(dòng)化操作模塊進(jìn)行自動(dòng)化監(jiān)控 跟蹤。當(dāng)目標(biāo)離開了某個(gè)攝像機(jī)的監(jiān)控范圍，周圍其他的攝像機(jī)或者傳感器 會(huì)對(duì)其進(jìn)行接力，只要特定目標(biāo)沒有離開整個(gè)布防區(qū)域，目標(biāo)會(huì)一直處于監(jiān) 控范圍。這不同于以往的監(jiān)控模式，當(dāng)有犯罪事件發(fā)生時(shí)，不需要工作人員 手動(dòng)的進(jìn)行操作，對(duì)目標(biāo)進(jìn)行跟蹤。本系統(tǒng)能夠自動(dòng)的創(chuàng)建報(bào)警事件，并自 動(dòng)的對(duì)目標(biāo)進(jìn)行跟蹤，可以快速的顯示報(bào)警發(fā)生地點(diǎn)的具體的位置。另外， 編碼處理器2可實(shí)施為視頻圖像采集卡，以將模擬視頻信號(hào)轉(zhuǎn)換成數(shù)字視頻 信號(hào)的專用設(shè)備。其可以接收來自視頻輸入端的模擬視頻信號(hào)，對(duì)該信號(hào)進(jìn) 行采集、量化成數(shù)字信號(hào)，然后壓縮編碼成數(shù)字視頻，它是CCD攝像機(jī)與計(jì) 算機(jī)的接口，本圖像采集系統(tǒng)選擇的是大恒DHCG300視頻采集卡，它秉承了 PCI圖像卡的特點(diǎn)，即圖像采集傳輸基本不占用CPU時(shí)間，在工作過程中，視 頻圖像經(jīng)多路切換器、解碼器、A/D變換器，將數(shù)字化的圖像數(shù)據(jù)送到數(shù)據(jù)緩 沖器。經(jīng)裁減、比例壓縮及數(shù)據(jù)格式轉(zhuǎn)換后，由內(nèi)部DSP控制圖形覆蓋與數(shù)據(jù)傳輸，數(shù)據(jù)傳輸目標(biāo)位置由軟件確定，可以直接傳送到計(jì)算機(jī)內(nèi)存或顯存。 它適于圖像處理，工業(yè)控制，多媒體監(jiān)控，辦公自動(dòng)化等領(lǐng)域。
在數(shù)據(jù)分析處理器和外圍設(shè)備之間的串口通信方面，當(dāng)數(shù)據(jù)從串行端口
發(fā)送出去時(shí)，字節(jié)數(shù)據(jù)轉(zhuǎn)換為串行的位;接收數(shù)據(jù)時(shí)，串行的位被轉(zhuǎn)換為字節(jié) 數(shù)據(jù)。在Windows環(huán)境下，串口是系統(tǒng)資源的一部分。應(yīng)用程序若要使用串 口進(jìn)行通信，必須在使用之前向操作系統(tǒng)提出資源申請(qǐng)要求打開串口，通信 完成后必須釋放資源關(guān)閉串口。本系統(tǒng)利用WindowsAPI函數(shù)實(shí)現(xiàn)通信功能。 API是附帶在Windows內(nèi)部的一個(gè)極其重要的組成部分。Windows的API主要 是一系列很復(fù)雜的函數(shù)和消息集合。它可以看作是Windows系統(tǒng)為在其下運(yùn) 行的各種開發(fā)系統(tǒng)提供的開放式通用功能增強(qiáng)接口 。
數(shù)據(jù)分析處理器1是利用計(jì)算機(jī)視覺技術(shù)，對(duì)視頻畫面進(jìn)行分析、處理、 應(yīng)用的過程， 一般包括以下四個(gè)層次移動(dòng)目標(biāo)提取、移動(dòng)目標(biāo)的跟蹤、目 標(biāo)識(shí)別、以及行為分析；其中，移動(dòng)目標(biāo)提取的目的是有效地排除外界干擾, 找到并抽取出畫面中移動(dòng)的物體，換句話說，它是一個(gè)取證的過程，取得我 們視頻分析所需的證據(jù)。正是因?yàn)槿绱耍姆€(wěn)定性與魯棒性直接決定了后 面的跟蹤、識(shí)別，以及行為分析的表現(xiàn)，可以說它是數(shù)據(jù)分析分析處理器1 的最基礎(chǔ)數(shù)據(jù)分析。從技術(shù)實(shí)現(xiàn)的角度講，它可以分成三個(gè)層次視頻畫面 的變化分析、過濾噪聲、以及區(qū)域提取。視頻畫面的變化分析是對(duì)原始視頻 流(壓縮或非壓縮)進(jìn)行簡(jiǎn)單的視頻分析，得到一些隨著時(shí)間發(fā)生相對(duì)變化 的區(qū)域。通常采用的算法包括相鄰幀做差或建立背景模型做差，以及光流法 等等。過濾噪聲的目的在于排除光線變化以及自然與非自然環(huán)境變化的擾動(dòng)， 因此如何消除這些噪聲的干擾是有效抽取移動(dòng)目標(biāo)的一項(xiàng)重要任務(wù)。大體上, 噪聲出現(xiàn)的原因可以分為三種。其一，攝像頭自噪聲，信號(hào)干擾，攝像機(jī)抖 動(dòng)，如前景圖中的一些細(xì)小而又不是很連續(xù)的亮點(diǎn)基本屬于這一類。其二， 光線變化包括室內(nèi)，外光線的變化。室外的光線變化變化包括天氣變化(由 陰天轉(zhuǎn)晴天，晴轉(zhuǎn)陰，太陽位置移動(dòng))、晝夜變化、陰影(云、建筑等)的移 動(dòng)；室內(nèi)光線變化包括燈光的明暗變化、光源的位置及方向的變化。而光線 變化所造成的噪聲往往比較明顯，在前景圖中會(huì)表現(xiàn)成大片面積的誤報(bào)。其三，自然環(huán)境干擾。它包括樹葉的搖動(dòng)水面的波紋、海浪、浮動(dòng)的云朵、雨、 雪；還有一些非自然的環(huán)境的干擾包括旗子、條幅、窗簾的飄動(dòng)，以及建筑 物玻璃墻的反射等等。因此經(jīng)去噪處理過的前景圖，與源前景圖相比較將有 很大的改善，特別是行人和車的大體形狀已經(jīng)趨于明顯，整體的噪聲也小了 很多。在區(qū)域提取步驟，由上兩個(gè)環(huán)節(jié)處理過所得到的前景圖像往往是以像 素為單位的，沒有一個(gè)"物體"的整體概念。另一方面，這樣處理過的前景 區(qū)域內(nèi)部很可能存在許多空隙，給描述物體的形狀帶來不便。在這一環(huán)節(jié)， 區(qū)域提取的主要目的就好似利用一些基本的二值圖像(黑與白)的處理算法 對(duì)得到的前景圖進(jìn)行加工，填補(bǔ)空隙，并將連接好的區(qū)域區(qū)分，最后作為一 個(gè)整體，其內(nèi)容可以包括區(qū)域大小、位置、形狀、顏色、圖案等等關(guān)鍵特征 描述信息，供下一步有針對(duì)性的分析。經(jīng)過這一步驟物體里面包含的大部分 空隙將被添上，而且物體的整體形狀變得更加平滑。
接著，對(duì)目標(biāo)的跟蹤是實(shí)現(xiàn)任何一項(xiàng)智能視頻分析功能(越界、入侵、 遺留、盜竊、徘徊、流量統(tǒng)計(jì)等等)所需要的前提，因?yàn)槲覀儽仨氈朗悄?個(gè)物體，在什么時(shí)間，什么地點(diǎn)出現(xiàn)過，出現(xiàn)了多久，運(yùn)動(dòng)的方向怎樣，等 等信息，而這些都只能通過跟蹤得到。通過區(qū)域提取得到了移動(dòng)目標(biāo)的一系 列與表象相關(guān)的靜態(tài)描述，如形狀、顏色等等。然而，要跟蹤目標(biāo)以及了解 他們的運(yùn)動(dòng)信息，必須利用這些描述建立運(yùn)動(dòng)模型，即進(jìn)行目標(biāo)表示，建立 運(yùn)動(dòng)模型的方法有很多，要根據(jù)不同需要而定。最簡(jiǎn)單的可以是目標(biāo)的中心 點(diǎn)或質(zhì)心點(diǎn)，它的好處是可以很明確的地觀察到目標(biāo)運(yùn)動(dòng)的周期性。另外還 可以將目標(biāo)邊緣的外接圖形(矩形，橢圓等等)，用來簡(jiǎn)單描述目標(biāo)物體的形 狀、大小和位置，這樣分解成許多相接的矩形，從而能夠很好地描述肢體的 運(yùn)動(dòng)情況，用來分析個(gè)體的動(dòng)作行為。具體說，移動(dòng)目標(biāo)的提取與跟蹤其實(shí) 是兩個(gè)互惠互利的過程。 一方面，如果提取做的很精確，跟蹤就會(huì)變得很簡(jiǎn) 單，只要選擇目標(biāo)的中心就可以；另一方面，如果跟蹤做的很理想，我們就 可以在移動(dòng)目標(biāo)在下一個(gè)時(shí)間點(diǎn)可能出現(xiàn)的地方著重提取，這樣得到的結(jié)果 會(huì)更加精確。然而，正是由于這方面都存在很大的不確定性，我們需要權(quán)衡 雙方已得到最好的表現(xiàn)。當(dāng)然， 一個(gè)穩(wěn)定的跟蹤算法是得到最好表現(xiàn)的前提。跟蹤的算法有很到，有基于物體顏色位置的，有根據(jù)物體運(yùn)動(dòng)方向，有級(jí)聯(lián) 其他物體輔助跟蹤的，還有采用模板的等等。但言而總之，目的只有一個(gè)， 那就是根據(jù)移動(dòng)物體以前的運(yùn)動(dòng)狀態(tài)(包括速度，加速度，方向等)來推測(cè) 它可能的下一個(gè)位置。再通過前面提取到的移動(dòng)區(qū)域信息進(jìn)行更正補(bǔ)償，然 后確認(rèn)最終位置并更新物體的運(yùn)動(dòng)狀態(tài)以供下一個(gè)時(shí)間點(diǎn)處理。
以上是一些跟蹤的簡(jiǎn)單情況，往往只涉及到對(duì)一個(gè)或者幾個(gè)獨(dú)立目標(biāo)的 跟蹤。然而，現(xiàn)實(shí)情況要復(fù)雜很多。這包括單個(gè)目標(biāo)的遮擋、消失、重現(xiàn)、 以及多個(gè)目標(biāo)的聚合、和分離等等。我們不僅需要實(shí)現(xiàn)個(gè)體的穩(wěn)定跟蹤，而 且需要對(duì)這些復(fù)雜情況做出判斷，從而采取相應(yīng)的措施以保證不會(huì)出現(xiàn)混淆、 紕漏、重復(fù)等錯(cuò)誤現(xiàn)象。前面所涉及到的視頻監(jiān)控的大前提是單個(gè)的靜止攝
像頭，另外，把視頻分析技術(shù)應(yīng)用于多個(gè)或者是PTZ攝像機(jī)也是一個(gè)很熱門 的方向。其中，自主式PTZ跟蹤能夠?qū)崿F(xiàn)對(duì)感興趣目標(biāo)的自主對(duì)焦、移動(dòng)及 拉伸，而不需要其它攝像機(jī)的輔助。用到的算法與前面我們介紹過的非常相 似，只是需要額外地調(diào)節(jié)PTZ參數(shù)以及考慮PTZ馬達(dá)移動(dòng)所需的延時(shí)等等。 此外，還有多個(gè)攝像機(jī)的接力式跟蹤和主從式攝像機(jī)跟蹤等等，這里不再一 一贅述。
對(duì)移動(dòng)目標(biāo)的識(shí)別是重要的過程，它不僅可以增強(qiáng)系統(tǒng)的穩(wěn)定性、減少 誤報(bào)率、提高效率，而且為下一步的行為分析打下基礎(chǔ)。識(shí)別包括兩個(gè)過程， 一個(gè)是機(jī)器學(xué)習(xí)的過程，另一個(gè)是基于學(xué)習(xí)后的結(jié)果對(duì)新出現(xiàn)的目標(biāo)的辨識(shí) 過程。機(jī)器學(xué)習(xí)包括訓(xùn)練和測(cè)試。訓(xùn)練是利用已經(jīng)知道的信息來指導(dǎo)機(jī)器， 使其具有分辨物體的能力。而測(cè)試是利用已知的結(jié)果測(cè)試學(xué)習(xí)好的機(jī)器，評(píng)
價(jià)其表現(xiàn)并在必要時(shí)經(jīng)過調(diào)整后再重新學(xué)習(xí)。例如車和人的識(shí)別(歸類)，首 先我們需要車和人的樣本集，從樣本中在分出訓(xùn)練集合測(cè)試集分別做訓(xùn)練和 測(cè)試。機(jī)器學(xué)習(xí)的方法有很多，包括神經(jīng)網(wǎng)絡(luò)、支撐向量機(jī)、數(shù)據(jù)分類(線 性的和非線性的)、概率(貝葉斯、貝葉斯網(wǎng)絡(luò)、馬爾可夫模型、CRF、 g raphical model等等)。分類的依據(jù)可以是目標(biāo)物體的形狀、 大小、顏色、圖案、對(duì)稱性，也可以是目標(biāo)物體的運(yùn)動(dòng)方向、速度、加速度， 運(yùn)動(dòng)的剛性、周期性。經(jīng)過學(xué)習(xí)的機(jī)器會(huì)構(gòu)建出相應(yīng)的模型、模板、分布或子空間以供辨識(shí)使用。
在辨識(shí)過程中，對(duì)于給定一個(gè)新的物體，系統(tǒng)將它與已經(jīng)建立的模型進(jìn) 行比對(duì)，選擇最接近的匹配作為它的標(biāo)簽(人、車等)?；蛘呖梢园阉成涞?學(xué)好的空間或者分布之中，選擇概率最大或者距離最近的類別做標(biāo)簽。行為 分析的目的是利用識(shí)別的結(jié)果，對(duì)于不同的目標(biāo)(人，車等)，進(jìn)行有針對(duì)性 的行為判斷。它是依照一個(gè)或者多個(gè)目標(biāo)的出現(xiàn)時(shí)間、方向、位置、速度、 大小、目標(biāo)間距離與相對(duì)方向等，通過不同的規(guī)則實(shí)現(xiàn)不同的功能。其可以
實(shí)現(xiàn)的基本功能包括越界，潛伏，超速，遺失，遺留，滯留等等；高級(jí)功能 包括流量統(tǒng)計(jì)，人的個(gè)體行為例如速摔倒，彎腰，坐下；以及一些人與其他 人或物體的交互，例如交接物品、交通事故、上下車等。行為分析沒有一個(gè) 固定的實(shí)現(xiàn)模式。簡(jiǎn)單的可以是一條規(guī)則，如速度上限、方向限制復(fù)雜的可 以是一個(gè)模型，如人的肢體模型，多人交互模型。
以上的系統(tǒng)結(jié)構(gòu)實(shí)現(xiàn)了監(jiān)控室對(duì)監(jiān)控現(xiàn)場(chǎng)傳輸?shù)囊曨l進(jìn)行分析處理，一 方面可以通過顯示器42將監(jiān)控現(xiàn)場(chǎng)的視頻圖像顯示后，由有關(guān)人員進(jìn)行判斷； 另一方面通過數(shù)據(jù)分析處理器1進(jìn)行智能分析后進(jìn)行判斷；然后如果是有關(guān) 人員或數(shù)據(jù)分析處理器1判斷出現(xiàn)異常情況時(shí)，可向監(jiān)控現(xiàn)場(chǎng)的第一報(bào)警裝 置33發(fā)送控制信號(hào)，以啟動(dòng)報(bào)警。
另外，為了進(jìn)一步增強(qiáng)本系統(tǒng)的功能，還可根據(jù)實(shí)際需要或用戶要求進(jìn) 行外圍設(shè)備的擴(kuò)展，例如，智能視頻監(jiān)控系統(tǒng)還包括拾音器32和音箱43， 其中拾音器32與編碼處理器2連接，音箱43與數(shù)據(jù)分析處理器1連接；編 碼處理器2還用于將拾音器32發(fā)送的音頻流進(jìn)行壓縮編碼為音頻信號(hào)；數(shù)據(jù) 分析處理器1還用于將拾音器32發(fā)送的音頻信號(hào)發(fā)送到音箱43進(jìn)行播放。 在這種配置情況下，不僅可以對(duì)現(xiàn)場(chǎng)的視頻進(jìn)行采集分析，還可以對(duì)音頻進(jìn) 行采集分析，從而避免了攝像頭未捕捉到視頻圖像而實(shí)際卻發(fā)生事故的情形， 從而進(jìn)一步完善了本系統(tǒng)。
在另一實(shí)施例中，智能視頻監(jiān)控系統(tǒng)還包括腳踏報(bào)警器35和第二報(bào)警 裝置44;其中，腳踏報(bào)警器35與編碼處理器2連接，第二報(bào)警裝置44與數(shù) 據(jù)分析處理器1連接；數(shù)據(jù)分析處理器1還用于接收腳踏報(bào)警器35通過編碼處理器2發(fā)送的報(bào)警信號(hào)，并控制第二報(bào)警裝置44進(jìn)行報(bào)警。在該配置情況 下，進(jìn)一步增強(qiáng)了監(jiān)控現(xiàn)場(chǎng)在出現(xiàn)異常情況時(shí)，主動(dòng)向監(jiān)控室進(jìn)行報(bào)警，從 而進(jìn)一步增強(qiáng)系統(tǒng)的智能性能。
在進(jìn)一步的實(shí)施例中，該智能視頻監(jiān)控系統(tǒng)還包括:麥克風(fēng)41和喇叭34; 其中，麥克風(fēng)41與數(shù)據(jù)分析處理器1連接；喇叭34與編碼處理器2連接；
麥克風(fēng)41通過數(shù)據(jù)分析處理器1和編碼處理器2將采集到的音頻流發(fā)送到喇 叭34進(jìn)行播放。在該實(shí)施例中，如果監(jiān)控室的有關(guān)人員發(fā)現(xiàn)特別緊急的情況 時(shí)，可以通過麥克風(fēng)提醒監(jiān)控現(xiàn)場(chǎng)的人員，以采取相關(guān)的措施，從而避免事 故發(fā)生。
另外，對(duì)于系統(tǒng)中各種配件的設(shè)置，第一報(bào)警裝置33和第二報(bào)警裝置44 是蜂鳴器、多音報(bào)警器、或聲光報(bào)警器。攝像頭31包括至少一個(gè)鏡頭、以 及圖像傳感器，并且圖像傳感器是CCD圖像傳感器或CMOS圖像傳感器。編碼 處理器2對(duì)圖像信號(hào)進(jìn)行MPEG4、 H.263、 H. 264或M-JPEG壓縮編碼。
在本發(fā)明的智能視頻監(jiān)控方法中，主要包括兩個(gè)步驟即運(yùn)動(dòng)目標(biāo)的檢 測(cè)和運(yùn)動(dòng)目標(biāo)的跟蹤，其中檢測(cè)運(yùn)動(dòng)目標(biāo)包括Sll:采集并預(yù)處理M幀圖像 序列，其中，M為自然數(shù)；S12:根據(jù)所述M幀圖像序列，初始化背景模型； S13:采集第M+1幀圖像序列，基于所述背景模型，對(duì)所述第M+1幀圖像序列 進(jìn)行幀間差分和背景差分處理，檢測(cè)出運(yùn)動(dòng)目標(biāo)；另外，跟蹤運(yùn)動(dòng)目標(biāo)包括 S21:對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)，建立目標(biāo)模型；S22:根據(jù)所述目標(biāo)模型，對(duì)檢 測(cè)到的運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)K幀處理，建立目標(biāo)跟蹤信息表，其中K為自然數(shù)； S23:建立相鄰兩幀之間的目標(biāo)匹配矩陣，矩陣元素是相鄰兩幀間目標(biāo)模型的 匹配度，得到運(yùn)動(dòng)目標(biāo)的匹配情況；S24:根據(jù)目標(biāo)模型和目標(biāo)匹配矩陣，分
析當(dāng)前幀運(yùn)動(dòng)目標(biāo)狀態(tài)，并更新目標(biāo)模型。
如圖2所示，在整個(gè)監(jiān)控方法的實(shí)施過程中，可分為三大部分，即采集、 檢測(cè)和跟蹤；其中，由高分辨率CCD攝像機(jī)拍攝圖像序列，采用視頻采集卡 將視頻圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像序列并輸入數(shù)據(jù)分析處理器l。接著，通過視 頻流的前M幀提取背景，然后經(jīng)過當(dāng)前幀與背景的差分二值化操作后，用形 態(tài)濾波對(duì)目標(biāo)的分割結(jié)果進(jìn)行后處理，消除噪聲和背景擾動(dòng)帶來的影響。最后進(jìn)行連通區(qū)域檢測(cè)，準(zhǔn)確的標(biāo)定運(yùn)動(dòng)目標(biāo)。然后，提取運(yùn)動(dòng)區(qū)域的中心位 置和區(qū)域大小信息，建立目標(biāo)鏈表，然后通過卡爾曼濾波對(duì)目標(biāo)鏈表中的被 跟蹤目標(biāo)區(qū)域運(yùn)動(dòng)趨勢(shì)進(jìn)行位置預(yù)測(cè)，在預(yù)測(cè)位置范圍內(nèi)進(jìn)行目標(biāo)區(qū)域匹配 搜索，以建立目標(biāo)的關(guān)聯(lián)關(guān)系，并且用最佳匹配的運(yùn)動(dòng)區(qū)域?qū)柭鼮V波進(jìn) 行實(shí)時(shí)更新。
如圖4 8所示，在初始化背景模型時(shí)，比較相鄰幀圖像會(huì)發(fā)現(xiàn)背景像素 點(diǎn)是隨時(shí)間緩慢變化的,在一定的時(shí)間里差別不大。而物體運(yùn)動(dòng)變化區(qū)域?qū)?yīng) 的像素點(diǎn)變化很大。因此可以對(duì)選取的背景幀的每一個(gè)像素點(diǎn)利用高斯模型 建模。這里我們把RGB模式轉(zhuǎn)化成了HSV顏色模式，用^(R+G+B)/3做為均 值，而方差在一第幀中為0，以后根據(jù)光線的變化，計(jì)算得到不同的值。
在圖像預(yù)處理過程中，進(jìn)行灰度化處理時(shí)，圖像的GRB分量取相等的值， 圖像由原來的三維特征降到灰度化后的一維特征必然丟失部分信息常見的灰 度化方法有最大值法、平均值法、加權(quán)平均值法等?？梢钥闯霾徽摬扇∧欠N 方法，其原有的顏色特征往往被改變或丟失，使得同一種二值化方法因?yàn)橐?幅彩圖不同的灰度化處理過程常常得到不同的結(jié)果。
^"慮妾IJ)l^i^合^i+O^^F面的公式進(jìn)行灰度轉(zhuǎn)換
其中Gray表示圖像中像素的灰度值，R表示該像素的紅色分量，G表示 綠色分量，B表示藍(lán)色分量0.30、 0.59、 0.11分別為實(shí)驗(yàn)和理論推導(dǎo)證明得 出的最合理灰度圖像的權(quán)值。
進(jìn)行圖像的二值化處理時(shí)，將圖像簡(jiǎn)單的分成背景和目標(biāo)物體，最常用
的方法就是選取一個(gè)閾值；，用5將圖像分成兩大部分，大于S區(qū)域(通常為
目標(biāo)物體)和小于&的區(qū)域(通常為背景)，若輸入圖像為/"，力，輸出圖像為 g"力，貝lj
進(jìn)行圖像的濾波去噪處理時(shí)，將輸入的圖像進(jìn)行濾波去除噪聲，增強(qiáng)圖 像，銳化。視頻圖像一般經(jīng)過預(yù)處理后，使得感興趣的區(qū)域可視化效果得到改善，有利于圖像的進(jìn)一步工作。主要有均值濾波，中值濾波，形態(tài)學(xué)濾波 等。
在變化區(qū)域的檢測(cè)過程中，幀間差分能夠檢測(cè)出相鄰兩幀間發(fā)生了變化 的區(qū)域。這個(gè)域?qū)嶋H上包括運(yùn)動(dòng)物在前一幀所覆蓋的區(qū)域即顯露區(qū)，運(yùn)動(dòng)物 體現(xiàn)在所覆蓋的區(qū)域即在當(dāng)前幀中就是運(yùn)動(dòng)物體本身。
將這兩幀圖像進(jìn)行差分處理，作差分的量可以是灰度、亮度、色度值或 其他參數(shù)，我們采用灰度值進(jìn)行差分。首先設(shè)定一個(gè)閾值，當(dāng)前一幀的灰度 值減后一幀灰度值的小于這個(gè)閾值，則是背景，反之，則是前景。此閾值包 括兩部分， 一部分是灰度閾值，另一部分表示光線的變化，它是所有像素灰 度值得平均值，用這個(gè)灰度的平均值，使這個(gè)差分閾值能適應(yīng)光線的變化。 若運(yùn)動(dòng)物體在場(chǎng)景中靜止下來，在相鄰兩幀中這個(gè)物體位置沒變，所以在差 分處理中被檢測(cè)為背景中的點(diǎn)。不會(huì)進(jìn)入到后續(xù)處理之中，也就不會(huì)被誤檢 為運(yùn)動(dòng)物體。由于變化區(qū)域需與背景幀進(jìn)行進(jìn)一步的處理來分割出運(yùn)動(dòng)物體， 因而這里對(duì)閾值的選取不必精確，適應(yīng)范圍很寬。
圖像運(yùn)動(dòng)意味著圖像變化。運(yùn)動(dòng)目標(biāo)檢測(cè)算法中的一個(gè)基本依據(jù)是圖像
強(qiáng)度的變化，可以用圖像序列中相鄰時(shí)間的一對(duì)圖像的差來表示強(qiáng)度的相對(duì)
變化，圖像差運(yùn)算定義為
力(/^"2) = /(戶，,2)-/(/^)
式中厶是差分圖像，^ ="力。上式運(yùn)算涉及對(duì)應(yīng)象素強(qiáng)度的相減運(yùn)算， 因此這種算法是相當(dāng)簡(jiǎn)單的，并且適合于并行實(shí)現(xiàn)，圖像差分在某種程度上 反映了景物的較高層次性質(zhì)或蘊(yùn)含在圖像平面上的傳感器運(yùn)動(dòng)的變化。如果 景物中存在幾個(gè)相對(duì)獨(dú)立的運(yùn)動(dòng)物體和一個(gè)移動(dòng)的傳感器，差分圖像是這些 運(yùn)動(dòng)的組合。對(duì)差分圖像的分析可得出如下結(jié)論
(1) 圖像差分可以作為對(duì)圖像函數(shù)進(jìn)行時(shí)間求導(dǎo)的一種逼近。 一個(gè)簡(jiǎn)單 的兩點(diǎn)有限差分是對(duì)時(shí)間區(qū)間,2—^的中間點(diǎn)處^^的一種逼近。
(2) 差分圖像具有邊緣圖像的性質(zhì)，這是由于圖像的差分算法與圖像梯 度函數(shù)算子具有類似的性質(zhì)。
(3) 在實(shí)際圖像中，差分圖像與靜止邊緣圖像一樣，并不是由理想封閉的輪廓區(qū)域組成，而往往是表示出不完整的變化信息。例如，當(dāng)一個(gè)物體在 與其圖像平面強(qiáng)度(或紋理)類似的背景里運(yùn)動(dòng)時(shí)，就不能得到有用的差分 圖像信息。差分圖像所攜帶的信息并不恰好是絕對(duì)的圖像強(qiáng)度變化，它涉及 到變化的類型。
差分圖像反映了前后兩幀圖像強(qiáng)度的變化，還能簡(jiǎn)單的估計(jì)運(yùn)動(dòng)的方向。
但是差分圖像也存在如下的局限性；第一，前后兩幀的差分圖像只能反映該 兩幀圖像中運(yùn)動(dòng)物體的相對(duì)位置變化；第二，它也忽略了緩慢運(yùn)動(dòng)目標(biāo)和運(yùn) 動(dòng)著的小物體。
在運(yùn)動(dòng)目標(biāo)的檢測(cè)過程中，將分割出來的運(yùn)動(dòng)變化區(qū)域中的像素點(diǎn)與各 自的高斯模型去擬合。我們用像素點(diǎn)的灰度來度量這點(diǎn)的特性，若灰度小于一 特定的閾值，則判斷為是顯露區(qū),否則為運(yùn)動(dòng)物體。
假設(shè)所研究的視頻序列為(AOc,力L (K為幀序，N為視頻序列的總幀數(shù))，
記
A 0,力=^u+i (x，力+ fl (:c，力+ & (x,力+ "t (x，力 A+i (A " = (x，力+ + Ax, _y + Ay) + vw (x,力
其中^+1"力表示第k， k+l幀之間的共同背景區(qū)，""力，^ + Ax，"A力分
別對(duì)應(yīng)第K， K+l幀中的運(yùn)動(dòng)目標(biāo)區(qū)域，(&， )表示運(yùn)動(dòng)目標(biāo)從第K幀到第K+1
幀的位移失量，"4"，力，v"i"，力分別表示由運(yùn)動(dòng)目標(biāo)引起的在第K, K+l幀中被 覆蓋和顯露的背景區(qū)域，"^，力，"w(x,力分別表示第K, K+l幀中的噪聲。
相鄰幀之間的差分圖像
D (x,力=(x，力—(x,力
=+ Ax, y + Ay) - a (x,力]+ vi+1力-vt (x,力
上式中，傘+ Ax,"A力-"x，力，^(U)和v^，力均屬于運(yùn)動(dòng)變化區(qū)域令 Mi (Jc,y卜["(x + Ax,少+ Ay)-"(x,力]+ Vw"，力-、",力表示運(yùn)動(dòng)變化區(qū)域， ""力=+ +1"力-"^,力表示相鄰兩幀之間的相對(duì)噪聲，則可得到<formula>formula see original document page 20</formula>
由上式可知，差分圖像中包括運(yùn)動(dòng)目標(biāo)引起的運(yùn)動(dòng)變化區(qū)域和噪聲兩部 分，其中運(yùn)動(dòng)變化區(qū)域又包括真正的運(yùn)動(dòng)目標(biāo)區(qū)域，被覆蓋和顯露的背景區(qū) 域三部分，為了準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)目標(biāo)，尤其是當(dāng)目標(biāo)的運(yùn)動(dòng)速度較快，在 相鄰幀之間的運(yùn)動(dòng)位移較大而導(dǎo)致運(yùn)動(dòng)變化區(qū)域內(nèi)的被覆蓋和顯露的背景區(qū) 域較大時(shí)，可以考慮運(yùn)動(dòng)目標(biāo)的邊界信息。運(yùn)動(dòng)目標(biāo)的邊界可聯(lián)合當(dāng)前幀邊 緣檢測(cè)的結(jié)果和運(yùn)動(dòng)變化區(qū)域而得到。最后，根據(jù)由運(yùn)動(dòng)目標(biāo)邊界填充得到 的運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)出運(yùn)動(dòng)目標(biāo)。
在背景更新的過程中，對(duì)顯露區(qū)和背景區(qū)用不同的更新頻率進(jìn)行更新。
當(dāng)然，顯露區(qū)的更新頻大于背景區(qū)。因?yàn)轱@露區(qū)為上一幀為運(yùn)動(dòng)物體覆蓋的
區(qū)域，在當(dāng)前幀被重新顯露出來，所以要更快的得到更新。這種處理策略使
得在建模時(shí)即使有運(yùn)動(dòng)的物體存在，也會(huì)隨著運(yùn)動(dòng)物體的移動(dòng)而迅速得到干
凈的背景幀模型。
為了反映光照變化、噪聲等因素對(duì)實(shí)際背景的影響，可以周期性地執(zhí)行 背景更新操作，背景更新可以采用此算法，設(shè)^為系統(tǒng)中當(dāng)前保存的背景圖
像,^為系統(tǒng)當(dāng)前采集的圖像，計(jì)算二者的差分圖' 應(yīng)計(jì)算4的閾值T，對(duì)其進(jìn)行二值化得到7,^
/" 卩Y V、 = /',(W)",
固A、，" — lo,/di"，"<r.
以7附aA為開關(guān)函數(shù)，構(gòu)造即時(shí)背景^:
T ^ v、 — ^c60^)，；a""，力^， 々— i/c""，力,/,^"，力0.
然后以下式更新背景圖像 乙(x,力=fl * /6 (x，力+ (/ - "" /c6 (x, _y). 其中，"為加權(quán)系數(shù)。
自適在噪聲去除過程中，由于噪聲的形式多種多樣孤立噪聲點(diǎn)，具有較小面 積的噪聲，運(yùn)動(dòng)區(qū)域內(nèi)部的噪聲等。對(duì)于孤立噪聲點(diǎn)和小面積的噪聲可以采 用形態(tài)學(xué)腐蝕和膨脹去除，但對(duì)于部分運(yùn)動(dòng)物體運(yùn)動(dòng)區(qū)域內(nèi)部的噪聲及具有 一定面積的噪聲塊用作形態(tài)學(xué)腐蝕及形態(tài)學(xué)膨脹效果不理想，該部分噪聲的 處理主要采用邊通區(qū)域標(biāo)記法，通過邊通區(qū)域標(biāo)記統(tǒng)計(jì)出二值圖上所有連通 體的個(gè)數(shù)，并統(tǒng)計(jì)出每個(gè)連通體的面積，長(zhǎng)寬等特征。根據(jù)這些統(tǒng)計(jì)特性濾 除噪聲塊，并填充車輛中可能出現(xiàn)的一些空洞。
二值形態(tài)膨脹和腐蝕是最基本的二值形態(tài)變換操作運(yùn)算，由此可以構(gòu)成復(fù) 雜的其它形態(tài)變換，如形態(tài)開運(yùn)算，形態(tài)閉運(yùn)算，骨架提取，細(xì)化等運(yùn)算。 在預(yù)處理中用到形態(tài)府蝕、膨脹、開和閉運(yùn)算，因此只針對(duì)這幾種基本的形 態(tài)操作進(jìn)行介紹。
將一個(gè)集合A平移距離X可以表示為A+X,其定義為
從幾何上看如圖(7—2)所示，A+X表示A沿矢量X平移了一段距離。
定義B為二值圖像，S為給定的結(jié)構(gòu)元素。由此得到基本的二值形態(tài)變換。 二值形態(tài)腐蝕
腐蝕可以通過將輸入圖像平移一s，并計(jì)算所有平移的交集而得到，其
中將結(jié)構(gòu)元定義為扁平結(jié)構(gòu)。
二值形態(tài)膨脹
5十S二u(5 + s;se6^ (7—12)
膨脹可以通過相對(duì)結(jié)構(gòu)元素的所有點(diǎn)平移輸入圖像，然后計(jì)算其并集得 到，其中將結(jié)構(gòu)元定義為圓盤結(jié)構(gòu)。
二值形態(tài)開
BOS = (，^) S (7—13)
二值形態(tài)閉<formula>formula see original document page 22</formula>
二值形態(tài)變換中的腐蝕運(yùn)算是一個(gè)收縮變換，它使得目標(biāo)得到收縮，使得孔洞得到擴(kuò)張，而膨脹運(yùn)算是一個(gè)擴(kuò)張變換，它使得目標(biāo)得到擴(kuò)張，孔洞得到收縮。因此將膨脹和腐蝕相結(jié)合， 一方面可以卻除噪聲點(diǎn)，另一方面可
以填充孔洞。即形態(tài)開和閉運(yùn)算的效果和作用，具體效果如圖(7—5)所示。先對(duì)輸入圖像進(jìn)行腐蝕運(yùn)算，再對(duì)腐蝕后的圖像進(jìn)行膨脹運(yùn)算，則可以將一些小的噪聲點(diǎn)、突起點(diǎn)等干擾卻除。同時(shí)能很好地收縮區(qū)域內(nèi)的孔洞，這也是形態(tài)開運(yùn)算的結(jié)果。經(jīng)上述處理后，背景中的噪聲己去除，這樣提取的運(yùn)動(dòng)目標(biāo)更加合理。
在光照較強(qiáng)的情況下，檢測(cè)出的運(yùn)動(dòng)物體會(huì)包含有它的陰影，對(duì)運(yùn)動(dòng)物體分割精確度要求高的場(chǎng)合還需要將陰影去掉。
在獲取運(yùn)動(dòng)區(qū)域的過程中，本系統(tǒng)采用遺傳優(yōu)化閾值的類間方差法，步
驟如下
1、 參數(shù)編碼由于遺傳算法不能直接處理理解空間的解數(shù)據(jù)，因此必須通過編碼將他們表示成遺傳空間的基因型串結(jié)構(gòu)數(shù)據(jù)，參數(shù)編碼通常采
用二進(jìn)制編碼和實(shí)數(shù)編碼兩種形式。由于圖像灰度值在0-255之間，故可用8位二進(jìn)制碼OOOOOOOO-llllllll來代表分閾值，候選閾值即在0 _255之間。
2、 種群初始化在0 —255之間隨機(jī)產(chǎn)生20個(gè)體，將其按二進(jìn)制的形式進(jìn)行編碼作為遺傳算法的初始群體。
3、 種群適應(yīng)性函數(shù)定義種群適應(yīng)性函數(shù)為<formula>formula see original document page 22</formula>使適應(yīng)性函數(shù)值取得最大的T即為差分圖像的最優(yōu)閾值r，用他將當(dāng)前幀差分
圖像分割為前景和背景兩部分。
4、 選擇操作選擇操作是用來確定如何從父代群體中按某種方法選取
哪些個(gè)體遺傳到下一代群體中的一種遺傳算法，操作目的是為了避免基因缺失，提高全局收斂性和計(jì)算效率。比例選擇采用了輪船賭方式實(shí)現(xiàn)。
5、 交叉操作首先對(duì)群估中的個(gè)體隨機(jī)取出一對(duì)要配對(duì)的個(gè)體，根據(jù)位串長(zhǎng)度，對(duì)要配對(duì)的個(gè)體隨機(jī)選取交叉位置，根據(jù)交叉概率實(shí)施交叉操作， 隨后對(duì)兩個(gè)相互桎的染色體在交叉位置按單點(diǎn)交叉相互交換其部分基因，從 而形式兩個(gè)新的個(gè)體。
6、 變異操作變異是以較小的概率隨機(jī)地改變?nèi)旧w串上的某些位。 這里的變異概率取O.Ol,對(duì)二進(jìn)制串基因變異存在兩種情況01， 10。
7、 結(jié)束條件遺傳代數(shù)達(dá)到60時(shí)，結(jié)束當(dāng)前幀差分圖像的基于遺傳算 法的動(dòng)態(tài)閾值的確定，將獲取的閾值作為最優(yōu)閾值對(duì)差分圖像二值化。
對(duì)二值圖像中保留的連通區(qū)域進(jìn)行分析，判斷目標(biāo)物體的屬性，精確定 位運(yùn)動(dòng)物體位置。計(jì)算運(yùn)動(dòng)物體在圖像平面中的重心，得到重心在圖像平面 中的坐標(biāo)。得到運(yùn)動(dòng)物體在圖像平面中的坐標(biāo)后，將其映射到真實(shí)環(huán)境中， 就可以得到行人在真實(shí)世界的位置。利用二值圖像在水平方向和垂直方向上 對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行上下左右邊界的定位，該方法能很好的定位出運(yùn)動(dòng)區(qū)域的范 圍。
在目標(biāo)特征提取過程中，在識(shí)別與跟蹤過程中，為了有效識(shí)別和跟蹤， 準(zhǔn)確地確定目標(biāo)特征是運(yùn)動(dòng)跟蹤與匹配的關(guān)鍵，提取的目標(biāo)特征質(zhì)量直接影 響到目標(biāo)識(shí)別的精度和速度。目標(biāo)的主要特征包括目標(biāo)的邊界，其包括上 下左右四個(gè)邊界，它是由目標(biāo)在X軸和Y軸的投影確定的；目標(biāo)的面積，其是
目標(biāo)邊界所包圍的像素點(diǎn)數(shù)；目標(biāo)的重心特征，其是運(yùn)動(dòng)目標(biāo)在當(dāng)前幀中的 位置；目標(biāo)的慣性主軸，其方向是用來描敘目標(biāo)的延伸方向。
目標(biāo)模型的建立過程中，根據(jù)從二值圖像中提取的目標(biāo)特征，為檢測(cè)出 的運(yùn)動(dòng)目標(biāo)建立相應(yīng)的特征模板。同一運(yùn)動(dòng)目標(biāo)在相鄰的兩幀圖像中，運(yùn)動(dòng) 位置、形狀、面積等特征變化不大。利用些特點(diǎn)，可以為檢測(cè)到的目標(biāo)建立 特征模板。
如圖9所示，對(duì)于運(yùn)動(dòng)目標(biāo)進(jìn)行Kalman濾波位置預(yù)測(cè)中，Kalman濾波器 具有簡(jiǎn)單、實(shí)時(shí)性好等眾多優(yōu)點(diǎn)，在工程中普遍應(yīng)用。在目標(biāo)跟蹤系統(tǒng)中， 特別是在復(fù)雜背景情況下對(duì)地面目標(biāo)的跟蹤中，相關(guān)跟蹤算法是常用的一種 算法。但問題是傳統(tǒng)相關(guān)算法彩全局搜索的方法，使得計(jì)算量相當(dāng)大，不易 實(shí)時(shí)實(shí)現(xiàn)，而且當(dāng)發(fā)生目標(biāo)局部遮擋時(shí)，目標(biāo)容易丟失。為解決這個(gè)問題，該文采用一種基于Kalman濾波器的目標(biāo)相關(guān)跟蹤方法，充分利用Kalman濾波 器的預(yù)測(cè)功能來預(yù)測(cè)下一幀目標(biāo)可能出現(xiàn)的區(qū)域，然后在較小的預(yù)測(cè)區(qū)域中 進(jìn)行相關(guān)匹配運(yùn)算，找到最佳相關(guān)匹配點(diǎn)，目標(biāo)相關(guān)跟蹤更具主動(dòng)性。
其中，濾波器原理為Kalman濾波器是一個(gè)對(duì)動(dòng)態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行 線性最小方差誤差估計(jì)的算法，通過動(dòng)態(tài)的狀態(tài)議程和觀測(cè)議程來描述系統(tǒng)。 它可以任意一點(diǎn)作為起點(diǎn)開始觀測(cè)，采用遞歸濾波的方法計(jì)算。
設(shè)線性系統(tǒng)的狀態(tài)議程和觀測(cè)議程分別為 狀態(tài)方程&=A^-觀測(cè)方程 ％《=^^-i+『《-i
這里，XK是K時(shí)刻nXl維系統(tǒng)狀態(tài)向量ZK是K時(shí)刻表mXl維觀測(cè)向量；A是n Xn維系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣；HK是mXn維系統(tǒng)觀測(cè)矩陣；WKJ是K時(shí)刻過程的nX 1 維隨機(jī)干擾噪聲向量VK是K時(shí)刻mXl維的系統(tǒng)觀測(cè)噪聲向量。此處WK, VK通 常假設(shè)為互相獨(dú)立的零均值高斯白噪聲向量，我們令QK和RK分別為它們協(xié)方 差矩陣
由于系統(tǒng)已確定，貝IJA和HK已知，且WK-1和VK滿足一定假設(shè)，也已知，設(shè)PK是 XK的協(xié)方差矩陣，《是XK和^的誤差協(xié)方差矩陣。
Kalman濾波器方程Kalman濾波器把每個(gè)時(shí)刻點(diǎn)K的系統(tǒng)狀態(tài)的后驗(yàn)估計(jì) 算的誤差協(xié)方差減到最小，它分預(yù)測(cè)和修正兩部分完成，Kalman濾波器方程 如下
狀態(tài)修正方程
Kalman增益系數(shù)方程& ^^7^(^^^^ "^)一1
協(xié)方差修正方程^^^(7 —《^^)^^ 上述遞歸方程可由圖8-2直觀地描述，可以看出它非常有利于計(jì)算機(jī)編程實(shí)
狀態(tài)修正方程:現(xiàn)。
Kalman濾波利用反饋控制系統(tǒng)估計(jì)運(yùn)動(dòng)狀態(tài)，可以估計(jì)出某一時(shí)間的狀 態(tài)，并獲得該狀態(tài)的預(yù)測(cè)值。Kalman濾波公式分出兩部分預(yù)測(cè)和修正。其 中，預(yù)測(cè)部分負(fù)責(zé)得用當(dāng)前的狀態(tài)和誤差協(xié)方差估計(jì)下一時(shí)刻的狀態(tài)，得到 先驗(yàn)估計(jì)；修正部分負(fù)責(zé)反饋，將新的實(shí)際觀測(cè)值與先驗(yàn)估計(jì)值一起考慮， 從而獲得后驗(yàn)估計(jì)，在每次完成預(yù)測(cè)和修正以后，由后驗(yàn)估計(jì)值預(yù)測(cè)下一時(shí) 刻的先驗(yàn)估計(jì)，重復(fù)以上步驟，這就是Kalman濾波器的遞歸工作原理。
對(duì)于Kalman濾波器在軌跡預(yù)測(cè)中的應(yīng)用，假設(shè)目標(biāo)的運(yùn)動(dòng)狀態(tài)參數(shù)為某 一時(shí)刻目標(biāo)的位置和速度。在跟蹤過程中，由于相鄰兩幀圖像的時(shí)間間隔比 較短，目標(biāo)在這么短的時(shí)間間隔內(nèi)狀態(tài)變化比較小，可以假設(shè)目標(biāo)在單位時(shí) 間間隔內(nèi)是勻速運(yùn)動(dòng)。
定義Kalman濾波器系統(tǒng)狀態(tài)A為一個(gè)4維向量(^，巧，^^，7^, 。 ， 巧，I" y^分別為目標(biāo)在x軸和Y軸方向上的^和速度。通過圖像匹配， 只能得到目標(biāo)的位置住處所以定義二維觀測(cè)向量i^K —^^'7^《)表示匹配 得到的坐標(biāo)。
因?yàn)槟繕?biāo)在單位時(shí)間間隔內(nèi)是勻速運(yùn)動(dòng)的，定義狀態(tài)轉(zhuǎn)移矩陣A為
<formula>formula see original document page 25</formula>
其中表示連續(xù)兩幀圖像間的時(shí)間間隔。 由系統(tǒng)狀態(tài)和觀測(cè)狀態(tài)的關(guān)系可知，觀測(cè)矩陣^^為
<formula>formula see original document page 25</formula>
上文已經(jīng)假設(shè)14^, 「《通常為互相獨(dú)立的零均值高斯白噪聲向量，因此、0 0 0— 0 0 0
0 0 0 1
在跟蹤過程中使用Kalman濾波器估計(jì)目標(biāo)的運(yùn)動(dòng)分為四個(gè)階段，分別為 濾波器的初始化、狀態(tài)預(yù)測(cè)、匹配和狀態(tài)修正。具體實(shí)現(xiàn)步驟如下_
第一步初始化。在第一次使用Kalman濾波器時(shí)要對(duì)濾波器進(jìn)行初始化， 將XO賦初值為目標(biāo)的初位置和速度。在速度未知的情況下，可以設(shè)為0，并記 錄當(dāng)前圖像時(shí)刻，同時(shí)設(shè)初始誤差協(xié)方差P(^0。
第二步預(yù)測(cè)。在新輸入的每幀圖像中進(jìn)行匹配搜索之前，記錄與上一 幀圖像的時(shí)間間隔At，預(yù)測(cè)當(dāng)前目標(biāo)的運(yùn)動(dòng)狀態(tài)^。將預(yù)測(cè)的誤差記為 A/^ = ^—用于下一幀中搜索區(qū)域的計(jì)算。進(jìn)一步預(yù)測(cè)新的誤差協(xié)方差。
第三步匹配。設(shè)定以^;'中的(xsk，ysk)為中心的區(qū)域?yàn)樗阉鲄^(qū)域， 在該區(qū)域內(nèi)尋找最佳匹配位置，找到最適合的運(yùn)動(dòng)目標(biāo)，將目標(biāo)區(qū)域圖像復(fù) 制給TK+1，而目標(biāo)區(qū)域左上角第一個(gè)像素坐標(biāo)即為二維觀測(cè)向量(XWK, YWK), 代入狀態(tài)修正方程得到(XSK+1, YSK+1),同時(shí)計(jì)算目標(biāo)的測(cè)量速度VK+t (SK+1-SK) /AT。
第四步修正。求出Kalman濾波器增益系數(shù)。根據(jù)ZI^ (XWK, YWK),得 到由當(dāng)前實(shí)際觀測(cè)修正后的狀態(tài)向量，同時(shí)修正誤差方差矩陣。
對(duì)于目標(biāo)模型的匹配，對(duì)識(shí)別跟蹤的處理是特征，模板匹配來完成跟蹤， 主要領(lǐng)先不同圖像特征之間的相似度準(zhǔn)則來進(jìn)行匹配。提供以下幾種相似度 評(píng)判面積相似度函數(shù)；形狀相似度函數(shù)；運(yùn)動(dòng)方向一致性函數(shù)；位移可靠 性函數(shù)；模糊相似度函數(shù)；為此設(shè)定了一個(gè)綜合評(píng)判函數(shù)，并不屬于目標(biāo)特 征函數(shù)。它表示連續(xù)兩幀的兩個(gè)目標(biāo)為同一物體的可能性的大小。它的值， 取決于上面5個(gè)判定函數(shù)。
對(duì)于目標(biāo)跟蹤，根據(jù)目標(biāo)模板匹配的結(jié)果，將視頻圖像中的同一運(yùn)動(dòng)目 標(biāo)關(guān)聯(lián)起來，在圖像序列中的目標(biāo)之間建立對(duì)應(yīng)關(guān)系，建立目標(biāo)鍵，得到各
1 0 0 1個(gè)目標(biāo)完整的運(yùn)動(dòng)軌跡。跟蹤包括如下步驟1、跟蹤區(qū)域的設(shè)置，物體的運(yùn) 動(dòng)千變?nèi)f化，而我們只需跟蹤我們感興趣的區(qū)域即可。設(shè)置跟蹤區(qū)域要結(jié)合 CCD的拍攝情況和感興趣區(qū)域的位置；主要考慮起始線的結(jié)束線之間的距離要 足夠，確?？梢詫?duì)目標(biāo)進(jìn)行連續(xù)多幀的跟蹤。其形狀根據(jù)需要設(shè)置，可以是 矩形，也可是梯形或多邊形。這樣有利于排除干擾和提高處理速度。2、建立 跟蹤信息表，目標(biāo)跟蹤就是根據(jù)目標(biāo)提取結(jié)果，對(duì)進(jìn)入跟蹤區(qū)域的目標(biāo)進(jìn)行 連續(xù)幀處理，根據(jù)每一個(gè)幀圖像中提取的檢測(cè)目標(biāo)位置，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的行 為分析，因此需要建立目標(biāo)跟蹤信息表，保存跟蹤信息記錄每一幀圖像中被 跟蹤目標(biāo)的特征信息，重構(gòu)物體在跟蹤區(qū)域的移動(dòng)軌跡，以及跟蹤區(qū)域內(nèi)物 體不斷變化，因此數(shù)據(jù)表的記錄也必須隨物體的變化而動(dòng)態(tài)更新。
跟蹤表每行中的特征根據(jù)需要確定，可以是跳躍目標(biāo)序號(hào)、邊界、長(zhǎng)寬、 面積、重心及慣性主軸等特征信息和目標(biāo)的位置、運(yùn)動(dòng)軌跡等信息。跟蹤序 號(hào)表示物體進(jìn)入跟蹤區(qū)先后的排列序號(hào)，同一目標(biāo)在跟蹤過程中保持同樣的 跟蹤序號(hào)。
特征信息是為了確保目標(biāo)可靠跟蹤的重要信息。其中起始特征表示目標(biāo)
首次進(jìn)入跟蹤區(qū)時(shí)提取的特征信息；由于目標(biāo)運(yùn)動(dòng)的連續(xù)性，目標(biāo)在每幀表 現(xiàn)的特性也有上結(jié)變化，因此需要在每幀圖像中提取(或更新)目標(biāo)特征， 保證跟蹤的穩(wěn)定性。軌跡信息是行為分析的基礎(chǔ)，無論做運(yùn)動(dòng)預(yù)測(cè)、分析均 需要每一幀圖像中目標(biāo)的位置信息。目標(biāo)的預(yù)測(cè)位置是根據(jù)它的歷史位置信 息對(duì)下一幀中位置的預(yù)測(cè)值；目標(biāo)的運(yùn)動(dòng)軌跡是由歷史位置信息生成的，是 行為分析的最主要依據(jù)；目標(biāo)狀態(tài)是指目標(biāo)在歷史幀中的狀態(tài)。利用目標(biāo)在 本幀圖像中的特征可獲得目標(biāo)在上一幀圖像中的狀態(tài)，目標(biāo)的狀態(tài)主要包括 正常狀態(tài)和跳變狀態(tài)。每幀圖像處理完成后，需要更新跟蹤信息表。將新進(jìn) 入跟蹤區(qū)域運(yùn)動(dòng)目標(biāo)信息加入跟蹤信息表，將駛出跟蹤區(qū)域的目標(biāo)從信息表 中刪除。被跟蹤的運(yùn)動(dòng)目標(biāo)完成本幀跟蹤后，將目標(biāo)在本幀的特征信息加入 信息表；跟蹤步數(shù)自動(dòng)加l;根據(jù)當(dāng)前跟蹤的步數(shù)和目標(biāo)在歷史幀中的狀態(tài)， 確定是否計(jì)算運(yùn)動(dòng)目標(biāo)在下一幀中的重心預(yù)測(cè)值；確定該目標(biāo)在上一幀的狀 態(tài)。對(duì)于跟蹤策略，我們采用了特征匹配加軌跡預(yù)測(cè)的方法進(jìn)行跟蹤。特征 匹配的跟蹤方法搜索范圍大，為了減小目標(biāo)搜索范圍，我們采用軌跡預(yù)測(cè)的 跟蹤策略，大大減少了目標(biāo)搜索時(shí)間，提高了跟蹤的穩(wěn)定性和可靠性。軌跡 預(yù)測(cè)通過運(yùn)動(dòng)目標(biāo)的歷史位置信息，預(yù)測(cè)下一幀圖像中目標(biāo)位置。當(dāng)下一幀 圖像采集完成后，首先在該位置附近的一個(gè)較小范圍內(nèi)搜索目標(biāo)。如果找到
該目標(biāo)，記錄目標(biāo)位置信息；如果沒有找到，則擴(kuò)大搜索范圍。
當(dāng)運(yùn)動(dòng)目標(biāo)在連續(xù)兩幀中有目標(biāo)重疊時(shí)，需要做合并或分離處理。可將
需要做合并和分離處理的情況分為兩種類型第一類是新老目標(biāo)之間的合并
或分離，發(fā)生在上一幀中的目標(biāo)和當(dāng)前幀新目標(biāo)之間；第二類是老目標(biāo)間的
合并或分離，發(fā)生在上一幀中的老目標(biāo)之間。
當(dāng)上一幀目標(biāo)在當(dāng)前幀中跟蹤消失，而且根據(jù)軌跡預(yù)測(cè)不應(yīng)該離開跟蹤
區(qū)域，這時(shí)我們可以初步判定有目標(biāo)重疊，記錄消失目標(biāo)標(biāo)識(shí)，并做如下處
理
在預(yù)測(cè)區(qū)域的一定范圍內(nèi)搜索位置目標(biāo)，并根據(jù)詭計(jì)預(yù)測(cè)結(jié)果初步判斷 該區(qū)域內(nèi)有否多個(gè)已知目標(biāo)消失；如果有，則同時(shí)賦予該未知目標(biāo)多個(gè)消失 目標(biāo)標(biāo)識(shí)，留待目標(biāo)分離后確認(rèn)；若沒有，則除賦予該未知目標(biāo)新標(biāo)識(shí)外， 還要賦予消失目標(biāo)的標(biāo)識(shí)。這里需要注意的是搜索區(qū)域的確定主要根據(jù)前 幾步預(yù)測(cè)誤差的最大值確定；這里只能做初步判斷，最終結(jié)果還要待目標(biāo)分 離后才能確定，可以稱之為疑似合并現(xiàn)象。下幾幀跟蹤該疑似合并目標(biāo)，重 點(diǎn)判斷目標(biāo)面積或長(zhǎng)度是否快速膨脹，以此進(jìn)一步判斷疑似合并目標(biāo)的屬性。 如果膨脹劇烈，就可以斷定有合并發(fā)生；否則仍然為疑似合并目標(biāo)。
如果是合并目標(biāo)，經(jīng)過數(shù)幀跟蹤后，合并目標(biāo)必定分離。這時(shí)需要根據(jù) 標(biāo)識(shí)確定的目標(biāo)屬性，通過特征匹配確定每個(gè)目標(biāo)的性質(zhì)(新、老目標(biāo))；由 于新目標(biāo)的特性未知，因此需要對(duì)這兩種類型分別處理。對(duì)于新目標(biāo)，提取 該目標(biāo)的特征參數(shù)，并在跟蹤信息表中增加新目標(biāo)。對(duì)于老目標(biāo)，需要更新 信息表中的特征信息。再進(jìn)行新目標(biāo)的跟蹤處理。無論新、老目標(biāo)，重新做 起始跟蹤處理。在老目標(biāo)匹配時(shí)，找到距合并最近的那一幀所對(duì)應(yīng)的合并前 的該目標(biāo)，計(jì)算它與分離后的目標(biāo)之間的模糊相似度函數(shù)值，按最大模糊特征相似度函數(shù)值的原則，找到分離后目標(biāo)和分離前目標(biāo)之間的對(duì)應(yīng)關(guān)系，并 把分離的新目標(biāo)特征信息按對(duì)應(yīng)關(guān)系加入到分離前的目標(biāo)所在的信息行中。 本發(fā)明是通過幾個(gè)具體實(shí)施例進(jìn)行說明的，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白， 在不脫離本發(fā)明范圍的情況下，還可以對(duì)本發(fā)明進(jìn)行各種變換及等同替代。 另外，針對(duì)特定情形或具體情況，可以對(duì)本發(fā)明做各種修改，而不脫離本發(fā) 明的范圍。因此，本發(fā)明不局限于所公開的具體實(shí)施例，而應(yīng)當(dāng)包括落入本 發(fā)明權(quán)利要求范圍內(nèi)的全部實(shí)施方式。
權(quán)利要求
1、一種智能視頻監(jiān)控方法，其特征在于，包括以下步驟S1檢測(cè)運(yùn)動(dòng)目標(biāo)S11采集并預(yù)處理M幀圖像序列，其中，M為自然數(shù)；S12根據(jù)所述M幀圖像序列，初始化背景模型；S13采集第M+1幀圖像序列，基于所述背景模型，對(duì)所述第M+1幀圖像序列進(jìn)行幀間差分和背景差分處理，檢測(cè)出運(yùn)動(dòng)目標(biāo)；S2跟蹤運(yùn)動(dòng)目標(biāo)S21對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)，建立目標(biāo)模型；S22根據(jù)所述目標(biāo)模型，對(duì)檢測(cè)到的運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)K幀處理，建立目標(biāo)跟蹤信息表，其中K為自然數(shù)；S23建立相鄰兩幀之間的目標(biāo)匹配矩陣，矩陣元素是相鄰兩幀間目標(biāo)模型的匹配度，得到運(yùn)動(dòng)目標(biāo)的匹配情況；S24根據(jù)目標(biāo)模型和目標(biāo)匹配矩陣，分析當(dāng)前幀運(yùn)動(dòng)目標(biāo)狀態(tài)，并更新目標(biāo)模型。
2、 根據(jù)權(quán)利要求1所述的智能視頻監(jiān)控方法，其特征在于，在所述步驟 Sll中，所述預(yù)處理包括對(duì)M幀圖像序列的灰度化處理和濾波去噪處理。
3、 根據(jù)權(quán)利要求1或2所述的智能視頻監(jiān)控方法，其特征在于，在所述 步驟S12中，還包括對(duì)背景模型中的每一個(gè)像素點(diǎn)進(jìn)行高斯建模。
4、 根據(jù)權(quán)利要求3所述的智能視頻監(jiān)控方法，其特征在于，在所述步驟 S13中，對(duì)第M+l幀圖像序列進(jìn)行幀間差分處理時(shí)，將未發(fā)生變化的區(qū)域更新 到背景模型中；將發(fā)生變化的區(qū)域與背景模型進(jìn)行擬合，以區(qū)分出顯露區(qū)和背 景模型。
5、 根據(jù)權(quán)利要求4所述的智能視頻監(jiān)控方法，其特征在于，在步驟S13 中，還包括對(duì)檢測(cè)出的運(yùn)動(dòng)目標(biāo)進(jìn)行去陰影處理。
6、 根據(jù)權(quán)利要求5所述的智能視頻監(jiān)控方法，其特征在于，所述目標(biāo)模 型包括面積相似度函數(shù)、形狀相似度函數(shù)、運(yùn)動(dòng)方向一致性函數(shù)、位移可靠性函數(shù)、以及模糊相似度函數(shù)。
7、 一種智能視頻監(jiān)控系統(tǒng)，其特征在于，包括攝像頭、第一報(bào)警裝置、編碼處理器、數(shù)據(jù)分析處理器、顯示器；其中，攝像頭和第一報(bào)警裝置分別與編碼處理器連接，編碼處理器和顯示器分別與數(shù)據(jù)分析處理器連接；編碼處理器用于將攝像頭發(fā)送的視頻流進(jìn)行壓縮編碼為視頻信號(hào)；數(shù)據(jù)分析處理器用于將編碼處理器發(fā)送的視頻信號(hào)發(fā)送到顯示器進(jìn)行顯示，并進(jìn)行分析處理，在出現(xiàn)異常情況時(shí)，通過編碼處理器將報(bào)警信號(hào)發(fā)送到第一報(bào)警裝置以進(jìn)行報(bào)警。
8、 根據(jù)權(quán)利要求7所述的智能視頻監(jiān)控系統(tǒng)，其特征在于，所述智能視頻監(jiān)控系統(tǒng)還包括拾音器和音箱，其中拾音器與編碼處理器連接，音箱與數(shù)據(jù)分析處理器連接；編碼處理器還用于將拾音器發(fā)送的音頻流進(jìn)行壓縮編碼為音頻信號(hào)；數(shù)據(jù)分析處理器還用于將拾音器發(fā)送的音頻信號(hào)發(fā)送到音箱進(jìn)行播放。
9、 根據(jù)權(quán)利要求7或8所述的智能視頻監(jiān)控系統(tǒng)，其特征在于，所述智能視頻監(jiān)控系統(tǒng)還包括腳踏報(bào)警器和第二報(bào)警裝置；其中，腳踏報(bào)警器與編碼處理器連接，第二報(bào)警裝置與數(shù)據(jù)分析處理器連接；數(shù)據(jù)分析處理器還用于接收腳踏報(bào)警器通過編碼處理器發(fā)送的報(bào)警信號(hào)，并控制第二報(bào)警裝置進(jìn)行報(bào)警。
10、 根據(jù)權(quán)利要求9所述的智能視頻監(jiān)控系統(tǒng)，其特征在于，所述智能視頻監(jiān)控系統(tǒng)還包括麥克風(fēng)和喇叭；其中，麥克風(fēng)與數(shù)據(jù)分析處理器連接；喇叭與編碼處理器連接;麥克風(fēng)通過數(shù)據(jù)分析處理器和編碼處理器將采集到的音頻流發(fā)送到喇叭進(jìn)行播放；第一報(bào)警裝置和第二報(bào)警裝置是蜂鳴器、多音報(bào)警器、或聲光報(bào)警器；編碼處理器對(duì)圖像信號(hào)進(jìn)行MPEG4、H. 263、 H. 264或M-JPEG壓縮編碼；攝像頭包括至少一個(gè)鏡頭、以及圖像傳感器；圖像傳感器是CCD圖像傳感器或CMOS圖像傳感器。
全文摘要
本發(fā)明涉及一種智能視頻監(jiān)控方法及系統(tǒng)，該系統(tǒng)包括攝像頭、第一報(bào)警裝置、編碼處理器、數(shù)據(jù)分析處理器、顯示器；該方法包括運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤，實(shí)施本發(fā)明的智能視頻監(jiān)控方法及系統(tǒng)，以普通的網(wǎng)絡(luò)電視監(jiān)控為基礎(chǔ)，除了具備廣為人知的網(wǎng)絡(luò)電視監(jiān)控的優(yōu)勢(shì)外，智能電視監(jiān)控系統(tǒng)還能為用戶帶來更大的收益。其主要的優(yōu)點(diǎn)是①可進(jìn)行24×7全天候可靠監(jiān)控；②由于有強(qiáng)大的智能特性，能提高報(bào)警精確度；③由于有強(qiáng)大的智能特性，能提高響應(yīng)速度；④能有效擴(kuò)展視頻資源的用途。
文檔編號(hào)H04N7/18GK101635835SQ20081014262
公開日2010年1月27日 申請(qǐng)日期2008年7月25日 優(yōu)先權(quán)日2008年7月25日
發(fā)明者斌 唐, 施欣欣, 林錦松, 袁道仁, 黃遠(yuǎn)松 申請(qǐng)人:深圳市信義科技有限公司