專利名稱：基于多背景模型的快速前景檢測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機(jī)視覺領(lǐng)域，具體涉及一種基于多背景模型的快速前景檢測方法。
背景技術(shù)：
目前視頻監(jiān)控已經(jīng)廣泛的應(yīng)用在國民經(jīng)濟(jì)的各個行業(yè)，對人民的生產(chǎn)和生活提供了越來越多的保障。隨著智能視頻分析技術(shù)在監(jiān)控行業(yè)的應(yīng)用，不但大量的人力物力被從監(jiān)控屏幕前解放出來，并且報警的準(zhǔn)確性和及時性也大大提高。但目前絕大多數(shù)智能視頻分析軟件都部署在后端監(jiān)控中心的主機(jī)上，而前端攝像頭主要是進(jìn)行視頻的采集和傳輸工作，并不進(jìn)行智能分析。制約前端攝像頭進(jìn)行智能視頻分析功能的主要障礙在于前端嵌入式設(shè)備的計算能力不能滿足復(fù)雜的智能視頻分析算法的需要。智能視頻分析主要是對復(fù)雜場景下運動目標(biāo)的序列圖像進(jìn)行分析和處理，通常包括以下幾個過程1.背景建模；2.前景檢測；3.目標(biāo)分類；4.目標(biāo)跟蹤；5.運動目標(biāo)行為理解和描述，如圖1所示。準(zhǔn)確可靠的背景建模及前景檢測技術(shù)對于后續(xù)的目標(biāo)分類、跟蹤和行為理解是非常重要的。但是，由于待分析場景的復(fù)雜性以及天氣、光照、影子等各種干擾的存在，使得背景建模及前景檢測技術(shù)成為智能視覺監(jiān)控技術(shù)研究應(yīng)用的熱點和難點，并且這兩部分的計算量是整個智能視頻分析系統(tǒng)的瓶頸。目前最常用的背景建模方法是基于混合高斯模型(GMM)的方法。該方法基于每個像素點進(jìn)行建模，并且混合高斯模型中一些系數(shù)(均值、方差、權(quán)值)的計算相對來講也比較繁瑣，對于這種方法在嵌入式設(shè)備中的推廣也形成了瓶頸。由于基于混合高斯模型的前景檢測是逐像素點進(jìn)行判斷，沒有考慮到像素周圍的信息，因此檢測出的前景會有很多噪聲點。另外，在周圍環(huán)境光照或者攝像機(jī)視場突變的情況下，基于混合高斯模型的方法會出現(xiàn)一定時長的前景混亂現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明是為了解決上述現(xiàn)有檢測方法中存在的耗時過長、容易出現(xiàn)噪聲點和不適應(yīng)光照突變等缺陷，而提供了一種基于多背景模型的快速前景檢測方法。本發(fā)明為解決現(xiàn)有技術(shù)中存在的技術(shù)問題所采取的技術(shù)方案是
本發(fā)明的基于多背景模型的快速前景檢測方法，包括背景建模和前景檢測兩大步驟， 背景建模的具體步驟包括
背景模型的設(shè)計背景建模的輸入是由攝像頭或其它硬件輸入的一序列實時圖像，將輸入的每一幅圖像都分成一個NXN的建模點；每個建模點對應(yīng)一個背景模型集，一個背景模型集包含3 5個背景模型；每個背景模型表示對應(yīng)建模點中存在的一種背景環(huán)境模型；背景模型中主要包含的信息有顏色信息、本模型權(quán)重、本模型方差、梯度信息；這樣，除了對每一個建模點建立背景模型集，還對整個圖像建立了一個全局背景模型集；背景模型的更新背景模型設(shè)計完畢之后，就要用實時視頻場景對背景模型進(jìn)行實時更新，直到背景模型成功建立；
對于當(dāng)前建模點，首先要計算建模點的顏色信息和梯度信息，所有參數(shù)的更新計算都采用整型數(shù)值方式；· 采用變學(xué)習(xí)速率的方式，如果當(dāng)前建模點屬于背景環(huán)境，則其顏色信息學(xué)習(xí)過程為
Yi = Yi * (1- updateRate) + Ycur * ipdateRate Ui = Ui * (1- updateRate) + Ucur * updateRate
Vi = Vi * (1- updateRate) + Vcur*.. updateRate
梯度信息的學(xué)習(xí)過程為
GMD = GRAD * (1- updateRate) + GRADcur * updateRate
方差的學(xué)習(xí)過程為
theta = theta * (1- updateRate) + IYcur - Yi| * updateRate
其中updateRate為基準(zhǔn)速率，如果當(dāng)前建模點屬于運動前景，則其基準(zhǔn)學(xué)習(xí)速率減緩SlowCoef 倍
updateRate = updateRate/SlowCoef 如果當(dāng)前建模點屬于前景運動目標(biāo)，則對應(yīng)的權(quán)值加一。如果屬于背景環(huán)境，則對應(yīng)的權(quán)值加上SlowCoef ；
前景檢測的具體步驟包括前景檢測模塊的輸入是當(dāng)前圖像和已經(jīng)建立的背景模型，輸出是檢測到的前景掩碼和前景參數(shù)；在背景模型建立完成之后，進(jìn)入前景檢測步驟，并且檢測出的前景掩碼會用于背景模型的更新；
在判斷當(dāng)前建模點是否屬于前景物體時，當(dāng)前建模點不但要和當(dāng)前背景模型集里的模型進(jìn)行比對，而且要和周圍四鄰域的背景模型集里的模型進(jìn)行比對。只有當(dāng)所有匹配都不符合時，當(dāng)前建模點才能被認(rèn)為屬于前景物體。根據(jù)權(quán)利要求1所述的基于多背景模型的快速前景檢測方法，其特征在于NXN的建模點中的N的取值為2、3或4。本發(fā)明具有的優(yōu)點和積極效果是
本發(fā)明的基于多背景模型的快速前景檢測方法，能夠大大降低傳統(tǒng)GMM方法的計算復(fù)雜度，能夠有效去除樹葉晃動、昆蟲、光線和陰影變化對前景檢測結(jié)果的影響，而且可以檢測到昏暗環(huán)境下人和物體的運動。本發(fā)明的方法主要用在嵌入式攝像頭上，對于很多智能視覺監(jiān)控領(lǐng)域常用的視頻格式(如YUV420等)尤其適用。使用本發(fā)明的嵌入式攝像頭可以大大提高原有智能偵測功能的功能、速度和準(zhǔn)確度。


圖1是現(xiàn)有技術(shù)的智能視頻分析過程的流程 圖2是現(xiàn)有技術(shù)的混合高斯模型方法的流程 圖3是本發(fā)明的基于多背景模型的快速前景檢測方法的流程 圖4是本發(fā)明的背景建模的總體流程 圖5是本發(fā)明的背景模型更新的流程 圖6是本發(fā)明的前景檢測過程的流程圖； 圖7是樹葉劇烈搖晃的場景 圖8是樹葉劇烈搖晃場景下的前景檢測 圖9是由輸入設(shè)備輸入的一幅原始圖像；
圖10是本發(fā)明的檢測方法的檢測 圖11是本發(fā)明的方法檢測小目標(biāo)越界的檢測 圖12是本發(fā)明的方法檢測低照度區(qū)域入侵的檢測 圖13是本發(fā)明的方法檢測低照度區(qū)域越界的檢測圖。
具體實施例方式以下參照附圖及實施例對本發(fā)明進(jìn)行詳細(xì)的說明。應(yīng)指出的是，所描述的實例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。在這里定義一些本發(fā)明的描述中會用的一些專業(yè)術(shù)語。建模點視頻圖像被分成一系列NXN (N=2，3，4)的小區(qū)域，這些小區(qū)域被稱為建模點。對于每個建模點分別建模。背景模型集對于每個建模點，會有3 5個背景模型與之對應(yīng)，這些背景模型合成為背景模型集。背景模型每個背景模型代表一種背景，每個建模點可能會存在多種背景模型。每個背景模型要包含本建模點的顏色、梯度信息。全局背景模型集在背景建模時，除了對每個建模點建立背景模型集外，本發(fā)明還對整個圖像建立了包含其灰度信息和梯度信息的背景模型集。本發(fā)明主要分背景建模和前景檢測兩步。本發(fā)明的輸入是一序列實時的圖像。本發(fā)明的輸出是在此實時視頻上檢測出的前景運動物，并且計算出每個運動物的參數(shù)(面積、重心坐標(biāo)、周長、周邊方框等)。此外，本發(fā)明的輸出還包括輸入視頻中是否出現(xiàn)環(huán)境光照的突然變化。以下分別進(jìn)行描述1.1背景建模部分
背景建模的目的是找出當(dāng)前場景中背景環(huán)境信息，并把這些信息以背景模型的形式存儲下來，為下一步前景檢測提供信息。背景建模的輸入是一序列實時的圖像，輸出是當(dāng)前場景的背景模型。背景建模模塊剛啟動時，要對場景進(jìn)行初始學(xué)習(xí)，因為此階段背景模型尚未建立，所以只進(jìn)行背景建模工作，不進(jìn)行前景檢測工作。亦即本階段不輸出前景信息。一旦背景建模成功，則將建立的背景模型輸出給前景檢測模塊，最終檢測到前景運動物體。在整個智能視頻分析系統(tǒng)運行的過程中，背景建模模塊一直在實時更新背景模型，以適應(yīng)背景環(huán)境的不斷變化。所以，背景建模技術(shù)有兩個技術(shù)關(guān)鍵點，一個是背景模型的設(shè)計，另一個是背景模型的更新。1.1.1背景模型數(shù)據(jù)結(jié)構(gòu)
對于輸入的每一幅圖像，都會被分成一個個NXN (N=2，3，4)的建模點。每個建模點對應(yīng)一個背景模型集，一個背景模型集包含3 5個背景模型。每個背景模型表示對應(yīng)建模點中可能存在的一種背景環(huán)境模型。背景模型中主要包含的信息有顏色信息(包括灰度信息和彩色信息)、本模型權(quán)重、本模型方差、梯度信息。因為所采用的視頻格式是YUV420格式，所以在進(jìn)行背景建模時，建模點選擇為2X2的建模點。每個模型里面有3個顏色模型和一個梯度模型。顏色模型里，Y值表示此2 X 2建模點的灰度均值，U和V表示此建模點對應(yīng)的YUV420中的色彩值。此模型的權(quán)值Weight和方差Theta也完全用整形表示。1.1. 2背景建?？傮w流程
背景建模的總體流程如圖4所示。本實例中，圖像分辨率是352X288，建模點是2X2，因此對于一副圖像來講，共存在176X144個建模點。這些建模點分為兩類,一類屬于運動前景，一類屬于背景環(huán)境。在對背景模型進(jìn)行更新時，要盡量少用運動前景。也就是對于背景環(huán)境區(qū)域?qū)W習(xí)速率較快，對于運動前景區(qū)域?qū)W習(xí)速率較慢。對于運動前景物體周圍的建 模點，也采用較慢的學(xué)習(xí)速率，以防止前景區(qū)域邊緣檢測不完整的情況出現(xiàn)。如果當(dāng)前圖像是第一幀，則用此幀圖像對背景模型進(jìn)行初始話。否則利用當(dāng)前圖像中的建模點，對對應(yīng)的背景模型集進(jìn)行訓(xùn)練。如果這176 X 144個背景模型集有20%能夠建模成功，則認(rèn)為當(dāng)前場景的背景模型成功建立，可以進(jìn)入前景檢測階段。在前景檢測的同時，背景建模一直在進(jìn)行。在背景模型的設(shè)計方法方面，本發(fā)明主要在以下幾個方面進(jìn)行了創(chuàng)新1)本發(fā)明將建模的對象定為NXN的小區(qū)域(即建模點)，N可以取值為2、3或4。2)每一個背景模型里除了存儲顏色信息，還存儲了本建模點的梯度信息。3)除了對每一個建模點建立背景模型集，還對整個圖像建立了一個全局背景模型集。上述第一個創(chuàng)新的有益效果是首先大大降低背景建模的計算量，其次能夠在建模階段就有效去除圖像中的噪聲干擾，第三對于智能視頻監(jiān)控界常用的視頻格式如YUV420等，取N=2時可以不用對圖像做任何轉(zhuǎn)換直接使用。上述第二個創(chuàng)新的有益效果是通過比對梯度信息，可以更準(zhǔn)確的濾除各種各種偽前景。上述第三個創(chuàng)新的有益效果是通過對全局背景模型集中灰度和梯度信息變化的分析，可以檢測出環(huán)境光照的突然變化，從而避免在突變的時刻出現(xiàn)一定時長的前景混亂現(xiàn)象。1.1. 3背景模型的更新流程
背景模型設(shè)計完畢之后，就要用實時視頻場景對背景模型進(jìn)行實時更新。直到背景模型成功建立，再開始進(jìn)行前景檢測工作。在前景檢測的時候，背景模型也在實時更新，以適應(yīng)背景環(huán)境的不斷變化。背景模型更新流程如圖5所示。對于當(dāng)前建模點Cur，首先要計算他的顏色信息(Ycur > Ucur > Vcur)和梯度信息(GRADcur )。顏色信息判定閾值定義方式
thresh = (base + theta) * Sensitivity
base是基礎(chǔ)閾值，theta是方差，sensitivity是靈敏度。當(dāng)前建模點的顏色信息(Ycur，Ucur，Vcur)與背景模型對應(yīng)的顏色信息(Yi,Ui, Vi, i=0，I，2)進(jìn)行比較，Y、U、V三種顏色的差值都要小于顏色信息判定閾值thresh，才能被認(rèn)為是互相匹配。此外，當(dāng)前建模點的平均梯度與背景模型里的梯度相差超過20%，即被認(rèn)為不匹配。如果灰度均值只與一個模型符合，則將當(dāng)前模型權(quán)值加1，并更新模型中心值和方差。如果灰度均值與多個模型符合，則比較灰度均值與各符合模型中心的距離，將距離最小的模型權(quán)值加I并更新模型中心值和方差。如果灰度均值不屬于任何模型,則對權(quán)值最小的模型,用當(dāng)前灰度均值做中心，方差和權(quán)值重新初始化。本發(fā)明采用變學(xué)習(xí)速率的方式，如果當(dāng)前建模點屬于背景環(huán)境，則其顏色信息學(xué)習(xí)過程為
權(quán)利要求
1.一種基于多背景模型的快速前景檢測方法，包括背景建模和前景檢測兩大步驟，其特征在于背景建模的具體步驟包括背景模型的設(shè)計背景建模的輸入是由攝像頭或其它硬件輸入的一序列實時圖像， 將輸入的每一幅圖像都分成一個個NXN的建模點；每個建模點對應(yīng)一個背景模型集，一個背景模型集包含3 5個背景模型；每個背景模型表示對應(yīng)建模點中存在的一種背景環(huán)境模型；背景模型中主要包含的信息有顏色信息、本模型權(quán)重、本模型方差、梯度信息；此外，除了對每一個建模點建立背景模型集，還對整個圖像建立了一個全局背景模型集；背景模型的更新背景模型設(shè)計完畢之后，就要用實時視頻場景對背景模型進(jìn)行實時更新，直到背景模型成功建立；對于當(dāng)前建模點，首先要計算建模點的顏色信息和梯度信息，所有參數(shù)的更新計算都采用整型數(shù)值方式；采用變學(xué)習(xí)速率的方式，如果當(dāng)前建模點屬于背景環(huán)境，則其顏色信息學(xué)習(xí)過程為Yi = Yi * (I — updateRate) + Ycur * updateRate Ui = Ui * (I — updateRate) + Ucur * updateRate Vi = Vi* (I — updateRate) + Vcur* updateRate梯度信息的學(xué)習(xí)過程為GRAD = GRAD * (I — updateRate) + GRADcur * updateRate方差的學(xué)習(xí)過程為theta = theta * (I — updateRate) + fYcur — Yi| * updateRate其中updateRate為基準(zhǔn)速率，如果當(dāng)前建模點屬于運動前景，則其基準(zhǔn)學(xué)習(xí)速率減緩 SlowCoef 倍updateRate = updateRate/SIowCoef 如果當(dāng)前建模點屬于前景運動目標(biāo)，則對應(yīng)的權(quán)值加一；如果屬于背景環(huán)境，則對應(yīng)的權(quán)值加上SlowCoef ；前景檢測的具體步驟包括前景檢測模塊的輸入是當(dāng)前圖像和已經(jīng)建立的背景模型， 輸出是檢測到的前景掩碼和前景參數(shù)；在背景模型建立完成之后，進(jìn)入前景檢測步驟，并且檢測出的前景掩碼會用于背景模型的更新；在判斷當(dāng)前建模點是否屬于前景物體時，當(dāng)前建模點不但要和當(dāng)前背景模型集里的模型進(jìn)行比對，而且要和周圍四鄰域的背景模型集里的模型進(jìn)行比對；只有當(dāng)所有匹配都不符合時，當(dāng)前建模點才能被認(rèn)為屬于前景物體。
2.根據(jù)權(quán)利要求1所述的基于多背景模型的快速前景檢測方法，其特征在于NXN的建模點中的N的取值為2、3或4。
全文摘要
本發(fā)明公開了一種基于多背景模型的快速前景檢測方法，包括背景建模和前景檢測兩大步驟，背景建模的步驟包括背景模型的設(shè)計和背景模型的更新。本發(fā)明的基于多背景模型的快速前景檢測方法，能夠大大降低傳統(tǒng)GMM方法的計算復(fù)雜度，能夠有效去除樹葉晃動、昆蟲、光線和陰影變化對前景檢測結(jié)果的影響，而且可以檢測到昏暗環(huán)境下人和物體的運動。本發(fā)明的方法主要用在嵌入式攝像頭上，對于很多智能視覺監(jiān)控領(lǐng)域常用的視頻格式(如YUV420等)尤其適用。使用該方法的嵌入式攝像頭可以大大提高原有智能偵測功能的功能、速度和準(zhǔn)確度。
文檔編號G06T7/20GK103020987SQ20121048960
公開日2013年4月3日 申請日期2012年11月27日 優(yōu)先權(quán)日2012年11月27日
發(fā)明者張德馨 申請人:天津艾思科爾科技有限公司