專利名稱：一種適應(yīng)于動態(tài)背景的前景提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機(jī)視頻處理技術(shù)領(lǐng)域，具體地，涉及一種前景提取方法，尤其是涉及一種動態(tài)背景下的前景提取方法。
背景技術(shù)：
目前，計算機(jī)視覺技術(shù)在城市視頻監(jiān)控中發(fā)揮著越來越重要的作用，比如行人的檢測，人群密度的分析，異常事件檢測等。前景檢測作為這些計算機(jī)視覺技術(shù)研究的前提，由于復(fù)雜的背景變化，如抖動，光照的變化，陰影的影響等，仍面臨著很大的挑戰(zhàn)。目前有關(guān)前景檢測的工作主要分為兩大類:一種是傳統(tǒng)的基于單個像素點，只考慮像素本身灰度值的檢測方法。這種 方法由于忽略了相鄰像素對它的影響，所以不能夠很好的克服背景的擾動。近年來，越來越多的研究者開始研究另一種基于區(qū)域的方法，這種方法將相鄰像素點的紋理特征作為像素點的描述子，從而進(jìn)行前景檢測。經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)檢索發(fā)現(xiàn)，高斯混合模型法(Gaussian mixture model)是最重要的基于像素的背景建模方法。這個方法使用K個高斯模型來表征圖像中各個像素的特征，在新一幀圖像獲得后進(jìn)行模型的更新與像素點的判斷(參見:C.Staufferand W.E.L.Grimsomj “Adaptive background mixture models for real-timetracking,，’ Computer Vision and Pattern Recognition, vol.2，pp.246-252，Jun.1999.)o LBP (local binary pattern)背景建模法是典型的基于區(qū)域的方法，這種方法由于考慮了周圍像素點的紋理特性，所以在一定程度上能夠克服背景中一些微小的擾動(參見:M.Heikkila, and M.Pietikainen, “A texture-based method modeling the backgroundand detecting moving objects, IEEE Transactions on Pattern Analysis andMachine Intelligence, vol.28，n0.4，pp.657-662，Apr.2006.)。后期大量的研究者也從方法的準(zhǔn)確度(參見:W.Zhou, W.Zhang, L.Zhuangj and N.Yuj “Dynamic BackgroundSubtraction using Spatial-Color Binary Patterns，，，International Conference onImage and Graphics，pp.314-319，Aug.2011)與效率(參見:M.Heikkila, M.Pietikainen, andC.Schmid, “Description of interest regions with center-symmetric local binarypatterns，，，International Conference on Computer Vision, Graphics and Image Processing, vol.4338，n0.3，pp.58-59，Dec.2006.)上做了一定的改進(jìn)。這些方法雖然能夠適應(yīng)一些微小的擾動，但卻不適應(yīng)于大范圍突變的場景。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種基于外貌與運(yùn)動模式的背景減除法，這種方法不僅能夠克服背景中微小的擾動，而且對大范圍的突變具有更強(qiáng)的適應(yīng)能力，可更有效地運(yùn)用于動態(tài)的場景中。為實現(xiàn)上述目的，本發(fā)明釆用的技術(shù)方案是:對相鄰圖像進(jìn)行存儲，而后將像素的空間紋理信息與時間上的運(yùn)動信息相結(jié)合，比擬成動態(tài)紋理，并根據(jù)在空間上的相似性及時間上的差異性，以待處理的像素點為中心，提取適應(yīng)于描述動態(tài)紋理的橢圓體立體空間；其次將此立體空間分成三個正交平面:XY，XT和ΥΤ，它們分別反映了像素點的空間特性與時間特性，同時使用LBP描述子對三個平面進(jìn)行紋理描述，并對三個紋理特征加權(quán)求和，形成一種適合動態(tài)背景減除法的SLBP-AM描述子；最后通過對SLBP-AM描述子建立背景模型，來進(jìn)行前景背景的分離，并完成模型的更新。一種適應(yīng)于動態(tài)背景的前景提取方法，具體包括以下步驟:第一步:對視頻流中的相鄰三巾貞圖像I (X，y, t-Δ t), I (x, y, t), I (x, y, t+Δ t)進(jìn)行存儲，其中I(x，y，t)為當(dāng)前處理幀，At為兩幀圖像的時間間隔；第二步:將像素點在時空域內(nèi)的運(yùn)動，比擬成動態(tài)紋理，提取一個橢圓體立體空間，具體如下:以圖像I (X，y, t)中待判斷的像素點(X，y)為中心，在時間軸T上以一個像素點的距離為半徑，空間軸X及Y上以三個像素點的距離為半徑，提取一個橢球體，作為動態(tài)紋理的變化域；第三步，在橢圓體內(nèi)分析像素點的空間域上的紋理特性和時間上的運(yùn)動模式，具體步驟如下:3.1)XY空間紋理的分析:在橢球體內(nèi)提取XY平面，則形成了一個以當(dāng)前待處理的像素點(X，y)為圓心，Rx = Ry = 3為半徑的圓，在圓上采樣出6個鄰域像素點，并對這6個像素點規(guī)定一個順序，將這6個像素點與中心點(x，y)作比較，形成一個二值序列，最后根據(jù)排列的順序求出一個LBP碼,即求出像素點的空間LBP值LBPxy ；3.2) XT平面的運(yùn)動模式分析:在橢球體內(nèi)提取XT平面，則形成了以(x，y)為圓心，Rt = I, Rx = 3的橢圓，在橢圓上采樣出6個鄰域點，并對其進(jìn)行排序，同樣將這6個鄰域像素點的灰度值與中 心像素點的灰度值進(jìn)行比較，形成二值序列，最后根據(jù)排列的順序求出一個XT平面上的LBP碼，即求出像素點的空間LBP值LBPxt ；3.3) YT平面的運(yùn)動模式分析:在橢球體內(nèi)提取YT平面，則形成了以(x，y)為圓心，Rt = I, Ry = 3的橢圓，在橢圓上采樣出6個鄰域點，并對其進(jìn)行排序，同樣將這6個鄰域像素點的灰度值與中心像素點的灰度值進(jìn)行比較，形成二值序列，最后根據(jù)排列的順序求出一個YT平面上的LBP碼，即求出像素點的空間LBP值LBPyt ；第四步:XY，XT, YT直方圖的創(chuàng)建:經(jīng)過第三步的處理，圖像I (X，y, t)內(nèi)每個像素點都有了三個LBP碼，LBPxy, LBPxt, LBPyt,接著在I (x，y, t)內(nèi)以(x，y)為圓心，Rregim = 6的圓內(nèi)，計算三個直方圖HXY，HXT, Hyt ；第五步:時空特征的融合:在求出XY，XT，YT的特征直方圖后，對三個直方圖進(jìn)行加權(quán)求和，得到新的描述子SLBP-AM ；第六步，像素點的判斷:對于新來的圖像的像素點，首先計算它的SLBP-AM直方圖h，與前B個背景直方圖Hii采用直方圖相交法進(jìn)行相似度比較，若至少有一個結(jié)果大于門限值TP，則判斷該像素點為背景點，否則為前景點；其中門限值TPe
，反應(yīng)了兩個直方圖的相似程度，越相似，Tp取值越大。第七步:模型的更新:對于每個像素點，將計算得到的SLBP-AM直方圖^與K個直方圖模型g用與上一步同樣的方法進(jìn)行相似度比較，若每個值都低于設(shè)定閾值TP，則將擁有最小權(quán)重的直方圖模型用^代替，并賦予一個最小的權(quán)重，若能找到匹配的模型，則將相
似度最高的直方圖模型以及權(quán)重進(jìn)行更新；第八步:對于每新來一幀，則重復(fù)第六步和第七步。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:本發(fā)明首先利用了空間紋理信息，因而能夠克服背景中一些微小的擾動。同時還融入了運(yùn)動信息，使得那些發(fā)生了快速且較大變化的場景在變化前后擁有共同的運(yùn)動模式，從而提高了背景的更新速率，可更有效地運(yùn)用于動態(tài)的場景中。


通過閱讀參照以下附圖對非限制性實施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:圖1為本發(fā)明動態(tài)背景下的前景提取方法總流程框圖。圖2為本發(fā)明在橢圓體的XY，XT及YT平面上LBP碼的計算示意圖。圖3為本發(fā)明描述了根據(jù)XY，XT及YT三個特征直方圖加權(quán)求取SLBP-AM描述子的過程。圖4為本實施例采用的waving tree測試序列。圖5為本實施例 采用的light switching測試序列,其中(a)為變化前，(b)為變化后。
具體實施例方式下面結(jié)合具體實施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。實施例本實施例采用的視頻序列為Wallflower Paper下的waving tree和lightswitching測試序列。如圖1所示，本實施例涉及的動態(tài)背景下的前景提取方法，包括如下具體步驟:第一步:模型的初始化。在最初的K+2 (K表示每個像素點的模型個數(shù)，由設(shè)計者自己設(shè)定，一般K取3-5個)幀圖片里，從第2幀到第K+1幀，為每個像素點都計算K個SLBP-AM直方圖(具體計算方式如后面所示)，m0, Hi1,...并給每個直方圖分配權(quán)重 ω。，ω”...，Coim，其中 Coi e
，且滿足 COc^co1+...+(Oih = I。將這 K 個直方圖按照權(quán)重的降序排列，并選擇前B個作為背景直方圖，B的選取滿足:ω#...+ω^ >TbTb e
，Tb是門限值，由設(shè)計者自己設(shè)定，且模型數(shù)K越小，Tb值越小，模型數(shù)K越大，Tb值越大。本實施例中閾值Tb = 0.73，K=3。對于如何求SLBP-AM，具體如下:1:由于本方法結(jié)合了空間上的紋理特征與時間上的運(yùn)動模式，因此首先對視頻流中的相鄰三巾貞圖像I (X，y, t-Δ t), I (X，y, t), I (x, y, t+Δ t)進(jìn)行存儲。其中I (x, y, t)為當(dāng)前處理幀，At為兩幀圖像的時間間隔。
2:考慮像素點在時空域內(nèi)的運(yùn)動，將其比擬成動態(tài)紋理，提取一個合適的立體空間，具體分析如下:以圖像I (X，y, t)中待判斷的像素點(X，y)為中心?？紤]到空間紋理在較大的范圍內(nèi)仍保持一致，而在較短的時間間隔內(nèi)卻變化明顯的特性，在時間軸T上以一個像素點的距離為半徑，空間軸X及Y上以三個像素點的距離為半徑，提取一個橢球體，作為動態(tài)紋理的變化域。3，在橢圓體內(nèi)分析像素點的空間域上的紋理特性和時間上的運(yùn)動模式。如圖2所示，LBP碼計算的具體步驟如下:3.1)XY空間紋理的分析:在橢球體內(nèi)提取XY平面，則形成了一個以當(dāng)前待處理的像素點(x，y)為圓心，Rx = Ry = 3為半徑的圓。在圓上采樣出6個鄰域像素點，并對這6個像素點規(guī)定一個順序。將這6個像素點與中心點(x，y)作比較，形成一個二值序列，最后根據(jù)排列的順序求出一個LBP碼，具體計算過程如下:

權(quán)利要求
1.一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，包括以下幾個步驟: 第一步:對視頻流中的相鄰三巾貞圖像I (X，y, t-Δ t), I(x，y，t), I (x, y, t+Δ t)進(jìn)行存儲，其中I(x，y，t)為當(dāng)前處理幀，At為兩幀圖像的時間間隔； 第二步:將像素點在時空域內(nèi)的運(yùn)動，比擬成動態(tài)紋理，提取一個橢圓體立體空間，具體如下: 以圖像I(x，y，t)中待判斷的像素點(x，y)為中心，在時間軸T上以一個像素點的距離為半徑，空間軸X及Y上以三個像素點的距離為半徑，提取一個橢球體，作為動態(tài)紋理的變化域； 第三步，在橢圓體內(nèi)分析像素點的空間域上的紋理特性和時間上的運(yùn)動模式，具體步驟如下: 3.1)XY空間紋理的分析:在橢球體內(nèi)提取XY平面，則形成了一個以當(dāng)前待處理的像素點(x，y)為圓心，Rx = Ry = 3為半徑的圓，在圓上采樣出6個鄰域像素點，并對這6個像素點規(guī)定一個順序，將這6個像素點與中心點(x，y)作比較，形成一個二值序列，最后根據(jù)排列的順序求出一個LBP碼,即求出像素點的空間LBP值LBPxy ； 3.2) XT平面的運(yùn)動模式分析:在橢球體內(nèi)提取XT平面，則形成了以(x，y)為圓心，Rt=I, Rx = 3的橢圓，在橢圓上采樣出6個鄰域點，并對其進(jìn)行排序，同樣將這6個鄰域像素點的灰度值與中心像素點的灰度值進(jìn)行比較，形成二值序列，最后根據(jù)排列的順序求出一個XT平面上的LBP碼，即求出像素點的空間LBP值LBPxt ； 3.3) YT平面的運(yùn)動模式分析:在橢球體內(nèi)提取YT平面，則形成了以(x，y)為圓心，Rt=I, Ry = 3的橢圓，在橢圓上采樣出6個鄰域點，并對其進(jìn)行排序，同樣將這6個鄰域像素點的灰度值與中心像素點的灰度值進(jìn)行比較，形成二值序列，最后根據(jù)排列的順序求出一個YT平面上的LBP碼，即求出像素點的空間LBP值LBPyt ； 第四步:XY，XT, YT直方圖的創(chuàng)建:經(jīng)過第三步的處理，圖像I (X，y, t)內(nèi)每個像素點都有了三個LBP碼，LBPXY，LBPxt, LBPyt,接著在I (x，y，t)內(nèi)以(x，y)為圓心，Rregim = 6的圓內(nèi)，計算三個直方圖HXY，HXT, Hyt ； 第五步:時空特征的融合:在求出XY，XT, YT的特征直方圖后，對三個直方圖進(jìn)行加權(quán)求和，得到新的描述子SLBP-AM ； 第六步，像素點的判斷:對于新來的圖像的像素點，首先計算它的SLBP-AM直方圖h，與前B個背景直方圖％采用直方圖相交法進(jìn)行相似度比較，若至少有一個結(jié)果大于門限值TP，則判斷該像素點為背景點，否則為前景點；其中TPe [O, I]，反應(yīng)了兩個直方圖的相似程度，越相似，Tp值越大； 第七步:模型的更新:對于每個像素點，將計算得到的SLBP-AM直方圖^與K個直方圖模型=用與上一步同樣的方法進(jìn)行相似度比較，若每個值都低于設(shè)定閾值TP，則將擁有最小權(quán)重的直方圖模型用^代替，并賦予一個最小的權(quán)重，若能找到匹配的模型，則將相似度最高的直方圖模型以及權(quán)重進(jìn)行更新； 第八步:對于每新來一幀，則重復(fù)第六步和第七步。
2.根據(jù)權(quán)利要求1所述的一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，所述XY空間紋理的分析，其中像素點的空間LBP值LBPxt具體計算過程如下:
3.根據(jù)權(quán)利要求1所述的一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，所述XT平面的運(yùn)動模式分析，其中像素點的空間LBP值LBPxt具體計算過程如下:
4.根據(jù)權(quán)利要求1所述的一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，所述YT平面的運(yùn)動模式分析，其中像素點的空間LBP值LBPyt具體計算過程如下:
5.根據(jù)權(quán)利要求1所述的一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，所述XY, XT, YT直方圖的創(chuàng)建，其中計算三個直方圖具體過程如下:
6.根據(jù)權(quán)利要求1-5任一項所述的一種適應(yīng)于動態(tài)背景的前景提取方法，其特征在于，所述時空特征的融合，其中描述子SLBP-AM計算過程如下:
全文摘要
本發(fā)明公開一種適應(yīng)于動態(tài)背景的前景提取方法，步驟為對相鄰圖像進(jìn)行存儲，將像素的空間紋理信息與時間上的運(yùn)動信息相結(jié)合，比擬成動態(tài)紋理，提取描述動態(tài)紋理的橢圓體立體空間；將此立體空間分成三個正交平面，分別反映了像素點的空間特性與時間特性。同時使用LBP描述子對三個平面進(jìn)行紋理描述，并對三個紋理特征加權(quán)求和，形成SLBP-AM描述子。最后通過對SLBP-AM描述子建立背景模型，來進(jìn)行前景背景的分離，并完成模型的更新。本發(fā)明利用了空間紋理信息，能克服背景中一些微小的擾動，同時還融入了運(yùn)動信息，使得那些發(fā)生了快速且較大變化的場景在變化前后擁有共同的運(yùn)動模式，從而提高了背景的更新速率。
文檔編號G06T7/20GK103218829SQ20131011143
公開日2013年7月24日 申請日期2013年4月1日 優(yōu)先權(quán)日2013年4月1日
發(fā)明者楊華, 尹海燕, 蘇航 申請人:上海交通大學(xué)