專利名稱:一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法,屬于基于機(jī)器視覺技術(shù)領(lǐng)域的方法。
背景技術(shù):
通常情況下,交通場景的監(jiān)控主要是通過人工控制來完成。它需要投入大量的人力和物力,即便這樣,在高強(qiáng)度的工作環(huán)境下,遺漏仍可能發(fā)生;特別是出現(xiàn)車輛異常事件時(shí),也不能進(jìn)一步作出快速反應(yīng)的。因此,智能交通系統(tǒng)(ITS,Intelligent Transportation Systems)基于機(jī)器視覺在近年發(fā)展起來。它通過分析視頻序列檢測、識(shí)別和跟蹤車輛目標(biāo),以獲得諸如位置,速度,方向和加速度等運(yùn)動(dòng)參數(shù),無需任何人人工干預(yù),或者很少的人工干預(yù)。一般來說,三個(gè)關(guān)鍵問題需要解決,即1)檢測感興趣區(qū)域(ROI)的車輛的目標(biāo);2)建模的車輛目標(biāo);3)定位運(yùn)動(dòng)車輛的目標(biāo)。
對于第一個(gè)問題,Zehang Sun等在《IEEE模式識(shí)別與機(jī)器智能學(xué)報(bào)》(2006年第694-711頁)發(fā)表文章“道路車輛檢測概覽”(《IEEETransactions on Pattern Analysis and Machine Intelligence》(pp.694-711,2006)“On-road vehicle detectiona review”)進(jìn)行了總結(jié),包括基于知識(shí)的、基于運(yùn)動(dòng)的和基于表觀特征的檢測方法。
很多視覺特征可以被選擇為車輛目標(biāo)的跟蹤進(jìn)行表觀建模。Comaniciu等在《IEEE模式識(shí)別與機(jī)器智能學(xué)報(bào)》(2003年第564-577頁)上發(fā)表文章“基于核函數(shù)的物體跟蹤”(《IEEE Transactions on Pattern Analysis andMachine Intelligence》(pp.564-577,2003)“Kernel-based objecttracking”)提出了基于顏色直方圖的跟蹤算法,該方法對環(huán)境噪音和部分遮擋是魯棒的,但是在背景與目標(biāo)顏色相同或者光線變化時(shí)該方法失效。LiPH等在《圖像與視覺計(jì)算》(2003年第111-123頁)上發(fā)表文章“基于粒子濾波的視覺輪廓跟蹤算法”(《Image and Vision Computing》(pp.111-123,2003)“Visual contour tracking based on particle filters”)提出邊緣特征對于克服顏色特征的是一種不錯(cuò)的選擇,該特征不需要對車輛目標(biāo)進(jìn)行明確建模,但是,計(jì)算邊緣是一件非常耗時(shí)的過程。近些年來,特征描述子被得到廣泛的關(guān)注,該類特征可以嵌入跟蹤框架中。Tu Q等人在“IEEE信息與自動(dòng)化國際會(huì)議”會(huì)議集(2008年第86-90頁)上發(fā)表文章“基于仿射不變特征的魯棒的車輛跟蹤算法”(“IEEE InternationalConference on Information and Automation”(pp.86-90,2008)“Robustvehicle tracking based on Scale Invariant Feature Transform”),該算法利用了SIFT描述子進(jìn)行車輛的跟蹤。但是,SIFT的計(jì)算復(fù)雜度非常高無法滿足實(shí)時(shí)監(jiān)控系統(tǒng)的要求。其他特征,如光流、小波、統(tǒng)計(jì)學(xué)習(xí)等,同樣被用作目標(biāo)建模。
一般來說,車輛目標(biāo)的定位方法可分為兩類確定性跟蹤和概率性跟蹤。確定性跟蹤的實(shí)質(zhì)是一個(gè)優(yōu)化問題,通過車輛檢測獲得其目標(biāo)模板,并建立特征函數(shù)來度量車輛候選區(qū)域與參考模板之間的相似度,當(dāng)特征函數(shù)取得最大值時(shí),目標(biāo)被定位。MeanShift算法就是確定性跟蹤的典型代表,該算法計(jì)算簡單且有效,但是傳統(tǒng)的MeanShift算法在跟蹤目標(biāo)是假定目標(biāo)是不發(fā)生變化的,因此,當(dāng)表觀特征發(fā)生變化時(shí),跟蹤會(huì)偏離甚至失效。概率性跟蹤算法是在貝葉斯框架下求解目標(biāo)狀態(tài)的后驗(yàn)概率密度的過程??柭鼮V波,隱馬爾科夫模型和粒子濾波器都可以用來進(jìn)行目標(biāo)跟蹤。粒子濾波由于是非線性、非高斯且多模態(tài)的特點(diǎn),被廣泛應(yīng)用,但是單純使用粒子濾波進(jìn)行跟蹤需要大量粒子。因此,可以考慮將確定性跟蹤方法與概率性跟蹤方法進(jìn)行結(jié)合,特別是將MeanShift算法與粒子濾波算法結(jié)合,既能克服MeanShift算法沒有預(yù)測功能的缺點(diǎn),又能解決粒子濾波算法需要大量粒子進(jìn)行精確計(jì)算的缺點(diǎn)。Camshift算法是MeanShift的一種改進(jìn)算法,它作用于動(dòng)態(tài)概率分布,在連續(xù)的視頻圖像序列中,運(yùn)動(dòng)物體的尺寸和位置的變化導(dǎo)致相應(yīng)的概率分布的動(dòng)態(tài)變化,該算法自適應(yīng)概率分布的動(dòng)態(tài)變化,根據(jù)概率分布的變化情況自動(dòng)調(diào)整搜尋窗口的尺寸和位置。
發(fā)明內(nèi)容
本發(fā)明要的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足,提供一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法,該方法重點(diǎn)解決的問題包括 (1)車輛運(yùn)動(dòng)區(qū)域檢測 (2)多車輛目標(biāo)建模 (3)車輛目標(biāo)定位 本發(fā)明的技術(shù)方案一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于包括如下步驟 (1)檢測車輛運(yùn)動(dòng)區(qū)域包括對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì)和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域; (2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進(jìn)行預(yù)測,觀測模型采用顏色直方圖特征和局部積分方向描述子(LIOD,LocalIntegral Orientation Descriptor)特征融合建模,采用閾值方法判斷車輛進(jìn)、出監(jiān)控區(qū)域 (3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進(jìn)行魯棒跟蹤。
其中,所述步驟(1)首先對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì) 假設(shè)第(k+1)幀中,背景像素點(diǎn)p的灰度值表述為 G(k+1,p)=G(k,p)+L(k,p)+noise1(k,p) 其中,G(k,p)是第k幀中,背景像素點(diǎn)p的灰度值;L(k,p)是描述光照隨著時(shí)間變化的不確定模型;noise1(k,p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差);輸入圖像像素點(diǎn)p的灰度表示為 I(k,p)=G(k,p)+noise2(k,p) 其中,noise2(k,p)為一個(gè)以零為中心的高斯白噪聲;消去系統(tǒng)測量誤差得到 I(k+1,p)=G(k,p)+ω(k+1,p) 其中,ω(k+1,p)=L(k,p)+noise1(k,p)+noise2(k+1,p),且ω(k,p)是高斯分布。
其中,所述步驟(1)的檢測車輛目標(biāo)區(qū)域采用快速約束三角剖分方法,包括如下步驟 1)通過Canny算子提取輪廓信息; 2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合; 3)提取直線兩端點(diǎn)得到角點(diǎn)集合; 4)以所有約束邊為基礎(chǔ),構(gòu)建初始約束三角網(wǎng),并依次插入所有獨(dú)立角點(diǎn); 5)提取角密度,水平直線密度,密度垂直直線,三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量; 6)將候選區(qū)域中的五個(gè)特征向量輸入以K(x,y)=x×y為核函數(shù)的支持向量機(jī)中,可以得到輸出ESVM,當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時(shí)候,則該區(qū)域?yàn)檎鎸?shí)車輛區(qū)域。
其中,所述步驟(2)的車輛狀態(tài)模型定義為S=(x,y,l,h)T,其中,(x,y)構(gòu)成被跟蹤目標(biāo)的中心點(diǎn)C=(x,y)T,搜索窗W=(l,h)T是長為l,寬為h的矩形;采用二次線性自回歸的方法預(yù)測當(dāng)前的狀態(tài) p(Sk|Sk-1,Sk-2,…,S1)~N(Sk;2Sk-1-Sk-2,∑); 多車輛目標(biāo)時(shí),狀態(tài)預(yù)測模型為 p(Sk(m)|Sk-1(m),…,S1(m))~N(Sk(m);2Sk-1(m)-Sk-2(m),∑(m)) 其中,假設(shè)目標(biāo)之間是相互獨(dú)立的,且當(dāng)前有M個(gè)車輛目標(biāo),Sk(m)表示第k幀中第m個(gè)車輛目標(biāo)的狀態(tài)。
其中,所述步驟(2)的車輛觀測模型是由RGB顏色直方圖特征和局部積分方向描述子特征進(jìn)行融合構(gòu)成的 p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk),其中,
是基于RGB顏色直方圖特征的觀測函數(shù),
是局部積分方向描述子特征的觀測函數(shù),Ok為當(dāng)前視頻幀,B(·,·)是巴氏距離;H和H*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選顏色直方圖和參考顏色直方圖;HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
其中,所述局部積分方向描述子是對局部圖像梯度的方向采用得到8個(gè)分格,每個(gè)像素位置的梯度方向可以由其梯度值加權(quán)得到,每一個(gè)像素位置的第t個(gè)分格在s尺度時(shí)的加權(quán)梯度方向直方圖定義如下
其中,
是梯度向量,即為像素點(diǎn)(x,y)處的梯度Gx(x,y),Gy(x,y);R是在像素點(diǎn)(x,y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸;Z是標(biāo)準(zhǔn)化因子,ω(x,y,k)是第t個(gè)分格的方向計(jì)數(shù)器 其中,θ(x,y)是像素點(diǎn)(x,y)的梯度方向角arctan(Gy(x,y)/Gx(x,y))。
其中,所述步驟(2)中對車輛進(jìn)、出監(jiān)控區(qū)域采用閾值方法進(jìn)行判斷 1)車輛進(jìn)入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進(jìn)入視場的閾值,第k幀時(shí)有J個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有J>M,滿足以下條件時(shí)有車輛進(jìn)入監(jiān)控區(qū)域 2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值,第k幀時(shí)有P個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有P<M,滿足一下條件時(shí)有車輛退出監(jiān)控區(qū)域 其中,Ski(m)則表示第k幀中第m個(gè)車輛目標(biāo)的第i個(gè)粒子的狀態(tài)。
其中,所述步驟(3)采用Camshift算法與粒子濾波分層次相融合方法進(jìn)行魯棒跟蹤的具體步驟為 1)將(0,1]分成N個(gè)連續(xù)互不重合的區(qū)間,即
N即為初始化的粒子個(gè)數(shù); 2)對每個(gè)獨(dú)立同分布采樣得到的初始粒子集{Si}i=1,2,…,N,有
其中U((u,v])表示在區(qū)間(u,v]上的均勻分布; 3)粒子狀態(tài)Ski的期望值
并得到該粒子的權(quán)重 4)將粒子集隨機(jī)地分成2個(gè)數(shù)目相等子集{Skm}m=1,2,,N/2,{Skn}n=1,2,,N/2; 5)對其中一個(gè)子集{Skm}m=1,2,,N/2的每一個(gè)粒子進(jìn)行迭代 選擇加權(quán)值最大的粒子,然后我們使用該子集中的所有粒子,來計(jì)算這個(gè)粒子狀態(tài)中心點(diǎn)的平均位移,進(jìn)而接近其局部模式 其中{Cj}j=1...N/2是狀態(tài)
在矩形區(qū)域像素坐標(biāo)點(diǎn);m(Cj)是在點(diǎn)Cj處像素值的相似權(quán)重,它是對應(yīng)的H*和
的直方圖二進(jìn)制比率的平方根;g()是一個(gè)核函數(shù);r是標(biāo)準(zhǔn)化后的窗口半徑; 該粒子的狀態(tài)中心點(diǎn)均以最新的狀態(tài)中心近似構(gòu)成 該粒子的窗口尺寸,利用如下方法進(jìn)行調(diào)整 其中k是一個(gè)經(jīng)驗(yàn)常量值,零階矩M00按照以下公式計(jì)算 該粒子權(quán)重也進(jìn)行相應(yīng)為 將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m=1,2,,N/2合并,得到新的粒子集{Ski}i=1,2,,N,同時(shí)對兩個(gè)子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級(jí)遞減,即有
j=1,2,…,I,其中I是迭代次數(shù);得到新的狀態(tài)概率密度函數(shù); 6)迭代結(jié)束,輸出對當(dāng)前狀態(tài)的估計(jì) 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于 (1)對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì)是基于Kalman濾波的自適應(yīng)背景建模理論,考慮在長時(shí)間內(nèi)光照條件發(fā)生變化的情況,圖像噪聲是隨著環(huán)境光照和氣候條件變化而變化,具有較低的計(jì)算復(fù)雜度,且能夠消除圖像噪聲變化。
(2)車輛目標(biāo)區(qū)域檢測采用快速約束三角剖分方法,該方法可以去除無用區(qū)域,提取相關(guān)特征信息,并不需要去精確獲取車輛輪廓,關(guān)注車輛的粗略位置和計(jì)算的實(shí)時(shí)性;通過基于約束邊優(yōu)先的三角剖分圖像區(qū)塊劃分方法,獲得車輛的候選區(qū)域,通過支持向量機(jī)選定真實(shí)區(qū)域。
(3)采用顏色直方圖特征和局部積分方向描述子特征融合作為車輛的觀測模型,既充分發(fā)揮了顏色直方圖特征對于車輛形變等的不敏感性優(yōu)點(diǎn),又使得在顏色特征不能滿足時(shí)以局部積分方向描述子特征作為補(bǔ)充。
(4)局部積分方向描述子特征相對于SIFT特征計(jì)算簡單,對于不同尺度的特征計(jì)算只需要通過四個(gè)參考點(diǎn)進(jìn)行圖像卷積計(jì)算得到。
(5)采用Camshift與粒子濾波融合的方法進(jìn)行車輛跟蹤,首先,Camshift能夠優(yōu)化每個(gè)濾波器的尺度和位置,在提高粒子濾波的采樣效率方面比MeanShift方法有更強(qiáng)大的功能。其次,粒子濾波的多種假設(shè)的性質(zhì)可以使得Camshift能夠自適應(yīng)地調(diào)整尺度因子;通過利用粒子之間的冗余,Camshift以一種簡化的方式作用于在整個(gè)粒子集;最后,對Camshift的有限次迭代避免了粒子窮竭現(xiàn)象。
圖1為本發(fā)明的方法流程圖; 圖2為本發(fā)明中CamShift算法與粒子濾波進(jìn)行分層次融合的原理圖。
具體實(shí)施例方式 如圖1所示,是本發(fā)明方法的流程圖,本方法包括如下步驟 (一)檢測車輛運(yùn)動(dòng)區(qū)域 1、對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì) 假設(shè)第(k+1)幀中,背景像素點(diǎn)p的灰度值表述為 G(k+1,p)=G(k,p)+L(k,p)+noise1(k,p) 其中,G(k,p)是第k幀中,背景像素點(diǎn)p的灰度值;L(k,p)是描述光照隨著時(shí)間變化的不確定模型;noise1(k,p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差);輸入圖像像素點(diǎn)p的灰度表示為 I(k,p)=G(k,p)+noise2(k,p) 其中,noise2(k,p)為一個(gè)以零為中心的高斯白噪聲;消去系統(tǒng)測量誤差得到 I(k+1,p)=G(k,p)+ω(k+1,p) 其中,ω(k+1,p)=L(k,p)+noise1(k,p)+noise2(k+1,p)。ω(n,p)是高斯分布,可以分別用均值m(n,p)和變量s(n,p)代表ω(n,p)。明顯地,在時(shí)域空間內(nèi)m(n,p)和s(n,p)的值不會(huì)是一個(gè)常數(shù)。如何正確的計(jì)算m(n,p)和s(n,p),是背景估計(jì)中的一個(gè)關(guān)鍵問題。
在交通監(jiān)控中,在一個(gè)很小的區(qū)域內(nèi)光照的變化和噪聲分布基本上是不變的。因此,m(n,p)和s(n,p)在一個(gè)小區(qū)域內(nèi)的值與該像素在該區(qū)域中的位置無關(guān),所以,他們可以分別被表示為m(n)和s(n)。然后,在一個(gè)小區(qū)域中,由{I(n+1,p)}和{G(n,p)}的差值可以得到一個(gè)直方圖。通過該直方圖,可以估計(jì)出m(n)和s(n)的值。
2、基于快速三角剖分的車輛目標(biāo)區(qū)域檢測。
(1)通過Canny算子提取輪廓信息常用的邊緣檢測算法有Sobel、Canny算法,其通過對比可以得出如下結(jié)論Sobel算法計(jì)算簡單、速度快,但是其對圖像噪聲敏感,邊緣往往是斷續(xù)的、不完整的。Canny算子不易受噪聲干擾,能檢測出弱邊緣,且不用浮點(diǎn)運(yùn)算,可以提高效率。
(2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合Hough變換在檢測二值圖像中的直線或曲線時(shí)抗干擾能力強(qiáng),能在信噪比較低的條件下進(jìn)行檢測。
(3)提取直線兩端點(diǎn)得到角點(diǎn)集合車輛特征預(yù)處理的過程就是提取角點(diǎn)和邊緣直線的過程。車輛的輪廓具有明顯的角點(diǎn)和直線特征,由于陰影或背景圖像的影響,角點(diǎn)和直線集合只能用來檢測車輛的大致區(qū)域。但經(jīng)過提取角點(diǎn)和邊緣輪廓直線,達(dá)到了降低計(jì)算復(fù)雜度的目的,可以有效地保證算法實(shí)時(shí)性。
(4)以所有約束邊為基礎(chǔ),構(gòu)建初始約束三角網(wǎng)(CDT,ConstrainedDelaunay Triangulation),并依次插入所有獨(dú)立角點(diǎn) 1)以約束邊為三角形的其中一邊li,在頂點(diǎn)集合Q中取一點(diǎn)pi,如邊li和點(diǎn)pi所構(gòu)成的外接圓不包含任何其他頂點(diǎn),則連接點(diǎn)pi和邊li的兩個(gè)頂點(diǎn)構(gòu)成一個(gè)約束三角形;如邊li和點(diǎn)pi所構(gòu)成的外接圓包含其他頂點(diǎn),則以所包含的頂點(diǎn)為頂點(diǎn)集合,選取其中一點(diǎn)與邊li,循環(huán)步驟A。
2)通過步驟A,構(gòu)建了一個(gè)初始基于約束邊的CDT。在該CDT中,插入點(diǎn)一獨(dú)立角點(diǎn)p的過程如下 A、通過三角形中心和鄰域信息定位p所在的三角形A0。
B、通過三角形的鄰域特征尋找相鄰,重構(gòu)p所影響的鄰近點(diǎn)之間的三角網(wǎng)之間的拓?fù)潢P(guān)系;具體步驟如下 a、以p所在三角形的非約束邊為擴(kuò)展方向,獲得其鄰域三角形A1,A2。
b、依次對其鄰域三角形A1,A2做最小外接圓,如包含p,則鄰域三角形A1并不存在于插入p后重新構(gòu)建的CDT′中,刪除鄰邊,繼續(xù)步驟c;如不包含p,則鄰域三角形A2存在于插入p后,重新構(gòu)建的CDT′中,繼續(xù)步驟d;如無新鄰域三角形,則直接進(jìn)行步驟d。
c、步驟b中所述的鄰域三角形,其另外兩個(gè)鄰域三角形A7,A8,也屬于點(diǎn)P的影響域,對A7,A8重復(fù)步驟b。
d、將點(diǎn)P的影響域邊界上的點(diǎn)與點(diǎn)P相連,構(gòu)成點(diǎn)P影響域內(nèi)的重構(gòu)三角形。此時(shí)完成一個(gè)插入P點(diǎn)后構(gòu)成的CDT′。
(5)提取角密度,水平直線密度,密度垂直直線,三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量車輛區(qū)域一般由車輛前端輪廓線Lf和后端輪廓線Lb兩條線段所圍四邊形所限定。在預(yù)處理的時(shí)候已經(jīng)提取車輛輪廓的直線信息,因此,Lf和Lb作為約束邊存在于CDT變換后產(chǎn)生的三角邊中,且車輛輪廓線的特征為長度在一定區(qū)間、相對于圖像水平線傾角較小(在本發(fā)明中,要求傾斜角小于30度)。進(jìn)行車輛前后輪廓線的提取,并且根據(jù)前后輪廓線的約束關(guān)系,連接端點(diǎn)形成四邊形區(qū)域。由于輪廓線比較多,因此,將會(huì)產(chǎn)生多個(gè)滿足條件的四邊形區(qū)域,根據(jù)下列特征向量進(jìn)行分類計(jì)算,從中選取可置信的車輛區(qū)域。具體特征如下 1)角點(diǎn)密度Dc假設(shè)區(qū)域單位面積中的角點(diǎn)數(shù)量; 2)水平直線密度Dh水平傾斜角(與x軸的夾角)較小的直線密度。如果用(xh1,yh1)和(xh2,yh2)表示水平線段的兩個(gè)端點(diǎn),則直線的水平傾斜度可表示為kh=|(yh2-yh1)/(xh2-xh1)|。在本文中,要求該傾斜角小于30度,即 3)垂直直線密度Dv垂直傾斜角(與y軸的夾角)較小的直線密度。如果用(xv1,yv1)和(xv2,yv2)表示垂直直線的兩個(gè)端點(diǎn),則直線的水平傾斜度可表示為kv=|(yv2-yv1)/(xv2-xv1)|。在本文中,要求該直線與水平的傾斜角大于60度,即 4)三角形密度Dt在選取的候選區(qū)域內(nèi),三角形的密度; 5)候選區(qū)域到真實(shí)車輛區(qū)域的樣本標(biāo)準(zhǔn)偏差S通過計(jì)算候選四邊形區(qū)域中,完整三角形面積的覆蓋程度,來表示該區(qū)域?yàn)檎鎸?shí)車輛區(qū)域的置信度。
針對每個(gè)候選的四邊形區(qū)域,提取上述五個(gè)特征向量。上述五個(gè)特征向量較好的涵蓋了車輛輪廓的水平、垂直和紋理信息,同時(shí),提取過程的算法復(fù)雜度較低,滿足實(shí)時(shí)計(jì)算的需要。
利用候選區(qū)域到真實(shí)區(qū)域的樣本標(biāo)準(zhǔn)偏差S驗(yàn)證候選區(qū)域的可置信度?,F(xiàn)假定候選區(qū)域i中包含n個(gè)完整的三角形,第j個(gè)三角形的亮度和(灰度值之和)為Sumj,所有三角形的亮度和總體平均為
系統(tǒng)自由度為f=n-1 根據(jù)樣本標(biāo)準(zhǔn)偏差的等效變換,可直接對測量值進(jìn)行計(jì)算。等效變換的結(jié)果如下所示 此時(shí),根據(jù)上述提取的特征,可以形成一個(gè)新的特征向量組Oi={Dci,Dhi,Dvi,Dti,Si}。
(6)將候選區(qū)域中的五個(gè)特征向量輸入以K(x,y)=x×y為核函數(shù)的支持向量機(jī)(SVM,Supported Vector Machine)中,可以得到輸出ESVM,當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時(shí)候,則該區(qū)域?yàn)檎鎸?shí)車輛區(qū)域。若選定的五個(gè)特征向量沒有涵蓋各個(gè)候選區(qū)域的包含和重疊關(guān)系,因此出現(xiàn)置信區(qū)域重疊的情況。設(shè)定部分包含率閾值為η,即有兩區(qū)域的公共面積應(yīng)SCommon,小置信區(qū)域面積Ssmall,則如果SCommon/Ssmall>η,則小置信區(qū)域并入大置信區(qū)域。同時(shí),以最小外接矩形包含小置信區(qū)域形成大置信區(qū)域,如此循環(huán)。本發(fā)明中中選擇η=0.6,最終以最小外接矩形包含被檢車輛區(qū)域。
(二)建立多車輛目標(biāo)模型 1、多車輛狀態(tài)模型與觀測模型 (1)車輛目標(biāo)狀態(tài)模型 鑒于CamShift算法作用于動(dòng)態(tài)概率分布,具有可根據(jù)概率分布的變化情況自動(dòng)調(diào)整搜尋窗口的尺寸和位置的特性,我們將被跟蹤目標(biāo)的狀態(tài)模型定義為S=(x,y,l,h)T,其中,(x,y)構(gòu)成被跟蹤目標(biāo)的中心點(diǎn)C,用來描述目標(biāo)的位置屬性,即有C=(x,y)T;搜索窗W是長為l,寬為h的矩形,用來描述目標(biāo)的大小屬性,即有W=(l,h)T。因此,狀態(tài)模型又可表示為S=(CT,WT)T。
考慮到視頻序列中被跟蹤目標(biāo)的關(guān)聯(lián)性特點(diǎn),需要對其進(jìn)行預(yù)測建模。我們采用數(shù)理統(tǒng)計(jì)中的二次線性回歸的方法,認(rèn)為一個(gè)被跟蹤目標(biāo)當(dāng)前的運(yùn)動(dòng)狀態(tài)是由前一個(gè)運(yùn)動(dòng)狀態(tài)Sk-1,最后一次狀態(tài)變換偏移量Sk-1-Sk-2,及一個(gè)均值為0,協(xié)方差矩陣為∑k的高斯分布ωk進(jìn)行預(yù)測的,即 且預(yù)測模型滿足高斯分布p(Sk|Sk-1,Sk-2,…,S1)~N(Sk;2Sk-1-Sk-2,∑k) (2)車輛目標(biāo)觀測模型 車輛目標(biāo)的觀測模型由RGB顏色直方圖特征和局部積分方向描述子特征進(jìn)行融合構(gòu)成的p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk),其中,
是基于RGB顏色直方圖特征的觀測函數(shù),
是局部積分方向描述子特征的觀測函數(shù),Ok為當(dāng)前視頻幀,B(·,·)是巴氏距離(Bhattacharyya);H和H*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選顏色直方圖和參考顏色直方圖;HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
局部積分方向描述子是對局部圖像梯度的方向采用得到8個(gè)分格(bins),每個(gè)像素位置的梯度方向可以由其梯度值加權(quán)得到,每一個(gè)像素位置的第t個(gè)bin在s尺度時(shí)的加權(quán)梯度方向直方圖定義如下
其中,
是梯度向量,即為像素點(diǎn)(x,y)處的梯度Gx(x,y),Gy(x,y);R是在像素點(diǎn)(x,y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸;Z是標(biāo)準(zhǔn)化因子,ω(x,y,k)是第t個(gè)bis的方向計(jì)數(shù)器 其中,θ(x,y)是像素點(diǎn)(x,y)的梯度方向角arctan(Gy(x,y)/Gx(x,y))。
2、判斷車輛進(jìn)、出監(jiān)視區(qū)域 (1)車輛進(jìn)入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進(jìn)入視場的閾值,第k幀時(shí)有J個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有J>M,滿足以下條件時(shí)有車輛進(jìn)入監(jiān)控區(qū)域 (2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值,第k幀時(shí)有P個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有P<M,滿足一下條件時(shí)有車輛退出監(jiān)控區(qū)域 其中,Ski(m)則表示第k幀中第m個(gè)車輛目標(biāo)的第i個(gè)粒子的狀態(tài)。
(三)基于分層粒子濾波的車輛跟蹤,如圖2所示。
(1)將(0,1]分成N個(gè)連續(xù)互不重合的區(qū)間,即
N即為初始化的粒子個(gè)數(shù); (2)對每個(gè)獨(dú)立同分布采樣得到的初始粒子集{Si}i=1,2,…,N,有
其中U((u,v])表示在區(qū)間(u,v]上的均勻分布; (3)粒子狀態(tài)Ski的期望值
并得到該粒子的權(quán)重 (4)將粒子集隨機(jī)地分成2個(gè)數(shù)目相等子集{Skm}m=1,2,,N/2,{Skn}n=1,2,,N/2; (5)對其中一個(gè)子集{Skm}m=1,2,,N/2的每一個(gè)粒子進(jìn)行迭代 選擇加權(quán)值最大的粒子,然后我們使用該子集中的所有粒子,來計(jì)算這個(gè)粒子狀態(tài)中心點(diǎn)的平均位移,進(jìn)而接近其局部模式 其中{Cj}j=1...N/2是狀態(tài)
在矩形區(qū)域像素坐標(biāo)點(diǎn);m(Cj)是在點(diǎn)Cj處像素值的相似權(quán)重,它是對應(yīng)的H*和
的直方圖二進(jìn)制比率的平方根;g()是一個(gè)核函數(shù);r是標(biāo)準(zhǔn)化后的窗口半徑; 該粒子的狀態(tài)中心點(diǎn)均以最新的狀態(tài)中心近似構(gòu)成 該粒子的窗口尺寸,利用如下方法進(jìn)行調(diào)整 其中k是一個(gè)經(jīng)驗(yàn)常量值,零階矩M00按照以下公式計(jì)算 該粒子權(quán)重也進(jìn)行相應(yīng)為 將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m=1,2,,N/2合并,得到新的粒子集{Ski}i=1,2,,N,同時(shí)對兩個(gè)子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級(jí)遞減,即有
j=1,2,…,I,其中I是迭代次數(shù);得到新的狀態(tài)概率密度函數(shù); (6)迭代結(jié)束,輸出對當(dāng)前狀態(tài)的估計(jì) 本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
盡管為說明目的公開了本發(fā)明的最佳實(shí)施例和附圖,但是本領(lǐng)域的技術(shù)人員可以理解在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi),各種替換、變化和修改都是可能的。因此,本發(fā)明不應(yīng)局限于最佳實(shí)施例和附圖所公開的內(nèi)容。
權(quán)利要求
1.一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于包括如下步驟
(1)檢測車輛運(yùn)動(dòng)區(qū)域包括對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì)和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域;
(2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進(jìn)行預(yù)測,觀測模型采用顏色直方圖特征和局部積分方向描述子特征融合建模,采用閾值方法判斷車輛進(jìn)、出監(jiān)控區(qū)域
(3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進(jìn)行魯棒跟蹤。
2.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(1)首先對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì)
假設(shè)第(k+1)幀中,背景像素點(diǎn)p的灰度值表述為
G(k+1,p)=G(k,p)+L(k,p)+noise1(k,p)
其中,G(k,p)是第k幀中,背景像素點(diǎn)p的灰度值;L(k,p)是描述光照隨著時(shí)間變化的不確定模型;noise1(k,p)為以零為中心的高斯白噪聲(含系統(tǒng)測量誤差);輸入圖像像素點(diǎn)p的灰度表示為
I(k,p)=G(k,p)+noise2(k,p)
其中,noise2(k,p)為一個(gè)以零為中心的高斯白噪聲;消去系統(tǒng)測量誤差得到
I(k+1,p)=G(k,p)+ω(k+1,p)
其中,ω(k+1,p)=L(k,p)+noise1(k,p)+noise2(k+1,p),且ω(k,p)是高斯分布。
3.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(1)的檢測車輛目標(biāo)區(qū)域采用快速約束三角剖分方法,包括如下步驟
1)通過Canny算子提取輪廓信息;
2)對圖像輪廓應(yīng)用Hough變換取得圖像中的直線集合;
3)提取直線兩端點(diǎn)得到角點(diǎn)集合;
4)以所有約束邊為基礎(chǔ),構(gòu)建初始約束三角網(wǎng),并依次插入所有獨(dú)立角點(diǎn);
5)提取角密度,水平直線密度,密度垂直直線,三角形密度和車輛區(qū)域的平均亮度構(gòu)建特征向量;
6)將候選區(qū)域中的五個(gè)特征向量輸入以K(x,y)=x×y為核函數(shù)的支持向量機(jī)中,可以得到輸出ESVM,當(dāng)ESVM大于系統(tǒng)設(shè)定的置信閾值Eξ的時(shí)候,則該區(qū)域?yàn)檎鎸?shí)車輛區(qū)域。
4.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(2)的車輛狀態(tài)模型定義為S=(x,y,l,h)T,其中,(x,y)構(gòu)成被跟蹤目標(biāo)的中心點(diǎn)C=(x,y)T,搜索窗W=(l,h)T是長為l,寬為h的矩形;采用二次線性自回歸的方法預(yù)測當(dāng)前的狀態(tài)
p(Sk|Sk-1,Sk2,…,S1)~N(Sk;2Sk-1-Sk-2,∑);
多車輛目標(biāo)時(shí),狀態(tài)預(yù)測模型為
p(Sk(m)|Sk-1(m),…,S1(m))~N(Sk(m);2Sk-1(m)-Sk-2(m),∑(m))
其中,假設(shè)目標(biāo)之間是相互獨(dú)立的,且當(dāng)前有M個(gè)車輛目標(biāo),Sk(m)表示第k幀中第m個(gè)車輛目標(biāo)的狀態(tài)。
5.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(2)的車輛觀測模型是由RGB顏色直方圖特征和局部積分方向描述子特征進(jìn)行融合構(gòu)成的
p(Ok|Sk)∝pcolor(Ok|Sk)pLIOD(Ok|Sk),其中,
是基于RGB顏色直方圖特征的觀測函數(shù),
是局部積分方向描述子特征的觀測函數(shù),Ok為當(dāng)前視頻幀,B(·,·)是巴氏距離;H和H*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選顏色直方圖和參考顏色直方圖;HLIOD和HLIOD*分別是從被Sk覆蓋的區(qū)域中估計(jì)出的候選局部積分方向描述子直方圖和參考局部積分方向描述子直方圖。
6.根據(jù)權(quán)利要求5所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述局部積分方向描述子是對局部圖像梯度的方向采用得到8個(gè)分格,每個(gè)像素位置的梯度方向可以由其梯度值加權(quán)得到,每一個(gè)像素位置的第t個(gè)分格在s尺度時(shí)的加權(quán)梯度方向直方圖定義如下
其中,
是梯度向量,即為像素點(diǎn)(x,y)處的梯度Gx(x,y),Gy(x,y);R是在像素點(diǎn)(x,y)的作為尺度函數(shù)的局部支持區(qū)域的尺寸;Z是標(biāo)準(zhǔn)化因子,ω(x,y,k)是第t個(gè)分格的方向計(jì)數(shù)器
其中,θ(x,y)是像素點(diǎn)(x,y)的梯度方向角arctan(Gy(x,y)/Gx(x,y))。
7.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(2)中對車輛進(jìn)、出監(jiān)控區(qū)域采用閾值方法進(jìn)行判斷
1)車輛進(jìn)入監(jiān)控區(qū)域Tin為判斷新車輛目標(biāo)進(jìn)入視場的閾值,第k幀時(shí)有J個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有J>M,滿足以下條件時(shí)有車輛進(jìn)入監(jiān)控區(qū)域
2)車輛退出監(jiān)控區(qū)域Tout為判斷車輛目標(biāo)離開視場的閾值,第k幀時(shí)有P個(gè)車輛目標(biāo),第k-1幀有M個(gè)車輛目標(biāo),且有P<M,滿足一下條件時(shí)有車輛退出監(jiān)控區(qū)域
其中,Ski(m)則表示第k幀中第m個(gè)車輛目標(biāo)的第i個(gè)粒子的狀態(tài)。
8.根據(jù)權(quán)利要求1所述的高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于所述步驟(3)采用Camshift算法與粒子濾波分層次相融合方法進(jìn)行魯棒跟蹤的具體步驟為
1)將(0,1]分成N個(gè)連續(xù)互不重合的區(qū)間,即
N即為初始化的粒子個(gè)數(shù);
2)對每個(gè)獨(dú)立同分布采樣得到的初始粒子集{Si}i=1,2,…,N,有
其中U((u,v])表示在區(qū)間(u,v]上的均勻分布;
3)粒子狀態(tài)Ski的期望值
并得到該粒子的權(quán)重
4)將粒子集隨機(jī)地分成2個(gè)數(shù)目相等子集{Skm}m=1,2,,N/2,{Skn}n=1,2,,N/2;
5)對其中一個(gè)子集{Skm}m=1,2,,N/2的每一個(gè)粒子進(jìn)行迭代
選擇加權(quán)值最大的粒子,然后我們使用該子集中的所有粒子,來計(jì)算這個(gè)粒子狀態(tài)中心點(diǎn)的平均位移,進(jìn)而接近其局部模式
其中{Cj}j=1...N/2是狀態(tài)
在矩形區(qū)域像素坐標(biāo)點(diǎn);m(Cj)是在點(diǎn)Cj處像素值的相似權(quán)重,它是對應(yīng)的H*和
的直方圖二進(jìn)制比率的平方根;g()是一個(gè)核函數(shù);r是標(biāo)準(zhǔn)化后的窗口半徑;
該粒子的狀態(tài)中心點(diǎn)均以最新的狀態(tài)中心近似構(gòu)成
該粒子的窗口尺寸,利用如下方法進(jìn)行調(diào)整
其中k是一個(gè)經(jīng)驗(yàn)常量值,零階矩M00按照以下公式計(jì)算
該粒子權(quán)重也進(jìn)行相應(yīng)為
將經(jīng)過一次迭代的子集與原有不變的子集{Skn}m=1,2,,N/2合并,得到新的粒子集{Ski}i=1,2,,N,同時(shí)對兩個(gè)子集的權(quán)值合并且正則化
協(xié)方差按照迭代次數(shù)成指數(shù)級(jí)遞減,即有
j=1,2,…,I,其中I是迭代次數(shù);得到新的狀態(tài)概率密度函數(shù);
6)迭代結(jié)束,輸出對當(dāng)前狀態(tài)的估計(jì)
全文摘要
一種高速公路監(jiān)控場景下多車輛視頻跟蹤方法,其特征在于包括如下步驟(1)檢測車輛運(yùn)動(dòng)區(qū)域包括對高速公路監(jiān)控車道區(qū)域進(jìn)行自適應(yīng)估計(jì)和采用快速約束三角剖分方法檢測車輛目標(biāo)區(qū)域;(2)建立多車輛目標(biāo)模型包括采用車輛狀態(tài)模型二次自回歸模型進(jìn)行預(yù)測,觀測模型采用顏色直方圖特征和局部積分方向描述子(LlOD,Local Integral OrientationDescriptor)特征融合建模,采用閾值方法判斷車輛進(jìn)、出監(jiān)控區(qū)域(3)基于分層粒子濾波的車輛跟蹤采用Camshift算法與粒子濾波分層次相融合方法進(jìn)行魯棒跟蹤。本發(fā)明為高速公路監(jiān)控場景下多車輛視頻跟蹤提供了較為完整的技術(shù)方案,能夠?qū)崿F(xiàn)對車輛的魯棒跟蹤。
文檔編號(hào)G08G1/01GK101800890SQ201010144098
公開日2010年8月11日 申請日期2010年4月8日 優(yōu)先權(quán)日2010年4月8日
發(fā)明者魏奇, 李超, 聞佳, 熊璋 申請人:北京航空航天大學(xué)