專利名稱：一種基于灰度約束的協(xié)方差矩陣跟蹤方法
技術領域：
本發(fā)明屬于圖象檢測技術領域，涉及一種可用于實時視頻監(jiān)控的運動目標跟蹤方法。
背景技術：
本發(fā)明中涉及到的背景技術有
(1) 協(xié)方差矩陣跟蹤算法(見文獻[l]):協(xié)方差矩陣跟蹤算法對輸入視頻序列逐幀找出目標區(qū)域的特征，并使用協(xié)方差矩陣對目標進行特征建模，然后根據(jù)協(xié)方差矩陣找出最佳特征匹配區(qū)域。這種方法很好的實現(xiàn)了目標多特征的融合，對旋轉(zhuǎn)、尺度縮放以及亮度變化都有很強的適應性。
(2) Mean shift算法(見文獻[2]) : Mean shift算法是一種非參數(shù)概率密度估計算法， 一般采用直方圖對目標進行建模，然后通過相似性度量Bhattacharyya舉數(shù)，最終實現(xiàn)目標的匹配和跟蹤。其計算簡單，魯棒性較強，具有良好的實時性，被廣泛應用于運動目標的跟蹤。.但由于Mean shift方法中核函數(shù)直方圖對目標的特征描述比較弱，故在對灰度圖像或者紋理信息較少圖像的目標跟蹤時，尤其是當目標和背景的顏色相近時，不能取得理想的跟蹤結果。

發(fā)明內(nèi)容
本發(fā)明的目的在于客服現(xiàn)有技術的上述不足，提供一種高效、魯棒的目標跟蹤方法。可以用于各種實時性要求較高的視頻監(jiān)控領域。
為此，本發(fā)明采用如下的技術方案 一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟
(1) 對于視頻序列的一副圖像，框選一長為M像素，寬為N像素的矩形區(qū)域作為目標模型進行跟蹤。
(2) 利用下列公式計算目標模型的每個點的灰度值&,并計算目標模型的所有
點的灰度值的平均值，& =0.2989 0.5870 0.1140* &A:e[l，...，層]，其中，^為紅色通道的值，G,為綠色通道的值，^為藍色通道的值；
(3) 提取目標模型的每個點的特征向量f^[;c，乂及，G，5，(^，(^]，并計算目
標模型的所有點的平均特征向量/^，其中，x,y分別代表一個像素點的jc軸和y軸坐標，i ， G， 5分別代表它紅、綠、藍三個通道的值。(4) 計算目標模型的協(xié)方差矩陣Q，CR=^t(ft—^)(f「 ^)T;
層3
(5) 在后繼幀中，以目標模型為中心長寬各擴大后得到跟蹤窗口，選取其中任意MxN大小的區(qū)域作為候選目標，按照步驟(2丫給出的方法計算候選目標的所有點的灰度均值，檢査是否滿足下列灰度約束候選目標與目標模型的灰度值平均值之差的絕對值比上目標模型的灰度均
值小于設定閾值；
(6) 對于滿足灰度約束的候選目標，計算它與目標模型的協(xié)方差矩陣的差
異值p(C,，C乂)- J>24(C,,C^)，差異值最小的候選目標區(qū)域即
為被跟蹤目標的位置，其中，A(c,，c》是協(xié)方差矩陣c,和q.的廣義特征值c7.x4=o a = i...c/ ， ^是協(xié)方差矩陣c,.和c,.的廣義特征向量。
本發(fā)明在傳統(tǒng)的協(xié)方差矩陣跟蹤方法的基礎上，結合灰度約束和協(xié)方差矩陣的相關性
度量來計算區(qū)域間的匹配程度，使得在目標與背景相似時，目標定位更準確；此外，由
于査找匹配區(qū)域前首先排除了不滿足灰度約束的候選目標，因此大幅降低了匹配計算量，有更快的跟蹤速度，實時性更強。
本發(fā)明是對傳統(tǒng)協(xié)方差矩陣跟蹤方法的改進，能很好的實現(xiàn)目標多特征的融合，對旋轉(zhuǎn)、尺度縮放以及亮度變化都有很強的適應性。與傳統(tǒng)協(xié)方差矩陣跟蹤方法和
meanshift跟蹤方法相比，本發(fā)明有如下優(yōu)點首先，本發(fā)明根據(jù)相鄰幀之間目標的灰度值變化較小的特點，利用灰度約束直接排除大部分不滿足要求的候選目標，可以大大減少目標匹配的計算量，與未采用灰度約束的協(xié)方差矩陣跟蹤相比，跟蹤速度更快(本專利實驗中提高了 53. 16%)。其次，本發(fā)明除了通過協(xié)方差矩陣的相關性度量來計算區(qū)域間的匹配程度，還同時利用了灰度信息，故在目標與背景相似時，目標定位比傳統(tǒng)協(xié)方差矩陣跟蹤方法更準確。而相對mean shift算法來講，由于后者要求被標記的物體特征明顯，故在目標與背景相似時，本發(fā)明對目標定位的準確率更高。


圖1基于灰度約束的協(xié)方差矩陣跟蹤方法總體流程圖。圖2選取目標。
圖3跟蹤目標的搜索窗口范圍。圖4標出跟蹤目標。
圖5是對一段從室外獲取的行人運動的視頻使用本發(fā)明和傳統(tǒng)協(xié)方差矩陣跟蹤方法的實驗結果比較。其中，由上至下的6幅圖分別對應實驗視頻的第1,21,51， 86， 91,116幀。(a)是傳統(tǒng)協(xié)方差矩陣跟蹤的結果，(b)是本發(fā)明的實驗結果。
具體實施例方式
本發(fā)明對視頻序列中的每一幀圖像，在協(xié)方差矩陣跟蹤的基礎上加入灰度約束的方法。具體地，本發(fā)明采用協(xié)方差矩陣對跟蹤目標進行描述，并利用灰度約束來篩選出候
選目標，進而用協(xié)方差矩陣的差異值來判斷候選目標和跟蹤目標的匹配程度，最后根據(jù)匹配程度對跟蹤目標進行定位。
本發(fā)明是基于灰度約束的協(xié)方差矩陣跟蹤方法，圖1為總體流程圖，具體包括以下
步驟
1. 選擇跟蹤目標
如圖2所示，在圖像中選擇一個目標。圖2中實線矩形區(qū)域為所選中被跟蹤目標的初始位置，長為M像素，寬為N像素。此矩形區(qū)域被稱為目標模型。
2. 計算目標模型的灰度值
按照下面的公式(1)計算圖2矩形區(qū)域中每個點的灰度值&，并按照公式(2)求
出所有點的灰度值的平均值r 。
gA =0.29890.58701140*5t /te[l,…，層](1)
A為紅色通道的值，C^為綠色通道的值，^為藍色通道的值；MV為目標模型中像素點的個數(shù)。
1 層
3.提取目標模型的每個點的特征向量f^并計算目標模型的所有點的平均特征向量A。
按照公式(3)提取圖2矩形區(qū)域每個點的特征向量fp并且按照公式(6)計算所有點的平均特征向量//,。
二[jc，;;，線AG,，(^] (3)
其中x、 y分別代表一個像素點的的x軸和y軸坐標，R、 G、 B分別代表它紅、綠、藍三個通道的值。G,、 Gy分別是它的x軸和y軸方向灰度的梯度值。設點(x，y)處的灰
度值為g(x，力，則
G,=g(:c + 1，>0 —g(;c-l，力 (4)Gy + —(5)<formula>formula see original document page 6</formula>
4.計算目標模型的協(xié)方差矩陣C^。
用特征點的協(xié)方差矩陣C^來表示MxN的矩形區(qū)域，計算計算目標模型的協(xié) 方差矩陣-
1 層
廚tf
其中^是一個點的特征向量，；^是所有點的平均特征向量。
5. 在后繼幀中，搜索窗口 (跟蹤窗口)定義為以目標模型為中心的MxhxNxh的
大小，對跟蹤窗口內(nèi)每一個候選目標，計算所有點的灰度值之和7;，檢査是否 滿足灰度約束。
圖3所示的大的虛線矩形區(qū)域是MxhxNxh的搜索窗口。對這個范圍內(nèi)的所有 MxN的矩形區(qū)域(即候選目標，如圖3中小的虛線矩形區(qū)域)，計算它的灰度 和，并根據(jù)下列的公式(8)檢査是否滿足灰度約束?；叶燃s束是指候選目標與目 標模型的灰度值平均值之差的絕對值比上目標模型的灰度均值要小于已知閾值。 若滿足，該候選目標被保留，否則，該候選目標被排除，并繼續(xù)掃描下一個候選 目標，以此方式遍歷所有的候選目標。
(8)
<formula>formula see original document page 6</formula>其中L是候選目標的所有點的灰度均值，T是目標模型的所有點的灰度均值，S是已 知閾值。如果滿足此公式，Ti被做為候選目標保留，否則Ti被排除。
6. 對于所有滿足灰度約束的候選目標，按照下列的公式(9)計算它們與目標模型 的協(xié)方差矩陣的差異值p(C,，C》。差異值最小的候選目標即是跟蹤目標的具體位置。
與目標模型的協(xié)方差矩陣的差異值(9)最小的候選目標就是跟蹤的目標，用 實線矩形把它標出，如圖4。 ，
《',C》、iX人(C'.,C》 (9)
其中A(Q，c》是協(xié)方差矩陣c,和q的廣義特征值。
A4C,x4-C 0A: = l.j (10) 其中4是協(xié)方差矩陣C,.和的廣義特征值，、是協(xié)方差矩陣q和q的廣義特征向量。
圖5是對一段從室外獲取的行人運動的視頻使用本發(fā)明和傳統(tǒng)協(xié)方差矩陣跟蹤方法 的實驗結果比較。其中，由上至下的6幅圖分別對應實驗視頻的第1,21， 51， 86, 91， 116 幀。(a)是傳統(tǒng)協(xié)方差矩陣跟蹤的結果，(b)是本發(fā)明的實驗結果?？梢钥闯鲈谀繕伺c背 景差異明顯時，如1，21，51幀，兩種方法的結果相近，但是當目標與背景差別較小時， 如挑,91，116幀，當人的衣著和周圍顏色區(qū)分不明顯，本發(fā)明有更準確的空間定位。
此外，在運行速度上本發(fā)明的優(yōu)勢明顯，能達到實時要求。實驗視頻共138幀，本 發(fā)明運行時間5.703s，跟蹤速度可達24.2fps，而標準方法運行時間8.734 s，速度為 15.8 fps。本發(fā)明的跟蹤速度提高了 53. 16%。 參考文獻 F. Porikli, 0. Tuzel， P. Meer,"使用基于黎曼流形上的均值的模型更新的協(xié)方差矩陣跟 蹤Covariance Tracking using Model Update Based on Means on Riemannian Manifolds", Proc. IEEE Conf. on Computer Vision and Pattern Recognition. New York, NY. [2] D. Comaniciu， V. Ramesh， and P. Meer,"基于核的目標跟蹤Kernel-Based Object Tracking", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25， No. 5, 2003, pp. 564-575. 權利要求
1.一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟(1)對于視頻序列的一副圖像，框選一長為M像素，寬為N像素的矩形區(qū)域矩形區(qū)域作為目標模型進行跟蹤。(2)利用下列公式計算目標模型的每個點的灰度值gk，并計算目標模型的所有點的灰度值的平均值，gk＝0.2989*Rk+0.5870*Gk+0.1140*Bk k∈[1，...，MN]，其中，Rk為紅色通道的值，Gk為綠色通道的值，Bk為藍色通道的值；(3)提取目標模型的每個點的特征向量fk＝[x，y，R，G，B，Gx，Gy]，并計算目標模型的所有點的平均特征向量μR，其中，x，y分別代表一個像素點的x軸和y軸坐標，R，G，B分別代表它紅、綠、藍三個通道的值。Gx，Gy分別是它的x軸和y軸方向灰度的梯度值；(4)計算目標模型的協(xié)方差矩陣CR， id="icf0001" file="A2009100704200002C1.tif" wi="56" he="10" top= "102" left = "97" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>(5)在后繼幀中，以目標模型為中心長寬各擴大后得到跟蹤窗口，選取其中任意M×N大小的區(qū)域作為候選目標，按照步驟(2)給出的方法計算候選目標的所有點的灰度均值，檢查是否滿足下列灰度約束候選目標與目標模型的灰度值平均值之差的絕對值比上目標模型的灰度均值小于設定閾值；(6)對于滿足灰度約束的候選目標，計算它與目標模型的協(xié)方差矩陣的差異值 id="icf0002" file="A2009100704200002C2.tif" wi="60" he="13" top= "150" left = "29" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>差異值最小的候選目標區(qū)域即為被跟蹤目標的位置，其中，λk(Ci，Cj)是協(xié)方差矩陣Ci和Cj的廣義特征值λkCixk-Cjxk＝0 k＝1...d，xk是協(xié)方差矩陣Ci和Cj的廣義特征向量。
全文摘要
本發(fā)明屬于圖像檢測技術領域，涉及一種基于灰度約束的協(xié)方差矩陣跟蹤方法，包括下列步驟，對于一副圖像，框選矩形區(qū)域作為目標模型進行跟蹤；計算目標模型的每個點的灰度值；提取目標模型的每個點的特征向量；計算目標模型的協(xié)方差矩陣；在后繼幀中，以目標模型為中心長寬各擴大后得到跟蹤窗口，選取候選目標，檢查是否滿足灰度約束；對于滿足灰度約束的候選目標，計算它與目標模型的協(xié)方差矩陣的差異值，差異值最小的候選目標區(qū)域即為被跟蹤目標的位置。本發(fā)明具有目標定位更準確、跟蹤速度更快、實時性更強的優(yōu)點。
文檔編號G06T7/00GK101650829SQ200910070420
公開日2010年2月17日 申請日期2009年9月11日 優(yōu)先權日2009年9月11日
發(fā)明者煒 張, 操曉春, 李雪威, 王秀錦, 超 鄧 申請人:天津大學