專利名稱：基于表示模型和分類模型的云臺(tái)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)控領(lǐng)域，確切地說(shuō)，涉及視覺(jué)目標(biāo)跟蹤領(lǐng)域，是一種基于表示模型和分類模型的云臺(tái)跟蹤方法。
背景技術(shù)：
云臺(tái)跟蹤算法，通過(guò)云臺(tái)攝像機(jī)拍攝的視頻，跟蹤選定的目標(biāo)。在云臺(tái)攝像機(jī)跟蹤目標(biāo)物體的過(guò)程中，由于不能像靜態(tài)攝像機(jī)那樣創(chuàng)建靜態(tài)背景，因此需要通過(guò)外觀和分類模型等方法來(lái)區(qū)分前景和背景，以最終確定被跟蹤目標(biāo)的位置，給出準(zhǔn)確的目標(biāo)框。利用此技術(shù)可以對(duì)被監(jiān)控區(qū)域的感興趣行人目標(biāo)進(jìn)行跟蹤，為智能視頻分析的上層應(yīng)用提供重要 的目標(biāo)位置信息。當(dāng)前流行的云臺(tái)跟蹤算法主要是通過(guò)增量學(xué)習(xí)被跟蹤的目標(biāo)的灰度外觀模型來(lái)不斷的自適應(yīng)目標(biāo)的外觀變化。這種方法假設(shè)目標(biāo)灰度外觀在任何時(shí)刻的狀態(tài)都是從一個(gè)高斯分布中采樣得到，因此目標(biāo)的外觀可以通過(guò)高斯的期望與主元的加權(quán)和來(lái)表示。高斯的期望和主元是通過(guò)增量主元分析算法(IPCA)完成的，這個(gè)方法可以在目標(biāo)的外觀變化不是特別快，沒(méi)有遮擋的情況下保持非常精確的跟蹤效果。然而，在真實(shí)的云臺(tái)監(jiān)控環(huán)境下，往往達(dá)不到如此理想的條件，被監(jiān)控的目標(biāo)往往會(huì)發(fā)生迅速的非平面運(yùn)動(dòng)，或者因?yàn)閿z像機(jī)運(yùn)動(dòng)導(dǎo)致外觀變模糊，而且遮擋也經(jīng)常出現(xiàn)。所以，在實(shí)際應(yīng)用中只采用灰度外觀模型的跟蹤算法無(wú)法發(fā)揮有效作用。

發(fā)明內(nèi)容
本發(fā)明的目的在于，針對(duì)上述問(wèn)題，提出一種基于表示模型和分類模型的云臺(tái)跟蹤方法，以使目標(biāo)在受到光照劇烈變化，快速非平面運(yùn)動(dòng)或者被其他物體遮擋影響，等情況下避免發(fā)生目標(biāo)跟蹤漂移的優(yōu)點(diǎn)。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是
一種基于表示模型和分類模型的云臺(tái)跟蹤方法，包括以下步驟
a)目標(biāo)初始化生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣；
b):根據(jù)上述灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣生成粒子；
c):初始化分類器；
d):對(duì)上述b步驟中生成的粒子進(jìn)行帶重新初始化的粒子濾波；
e):估計(jì)檢測(cè)的目標(biāo)位置；
f):利用c步驟中的分類器判斷上述檢測(cè)到的目標(biāo)位置是否丟失；
g):若上述分類器的返回值超過(guò)閥值，則更新分類器，返回步驟d，如上述分類器的返回值沒(méi)有超過(guò)閥值，則對(duì)目標(biāo)進(jìn)行檢測(cè)。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，上述生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣包括以下步驟
定義一個(gè)目標(biāo)框，目標(biāo)框的左下，左上，右上，右下角坐標(biāo)表示為Ud1)、、計(jì)算相對(duì)于左下，左上，右上坐標(biāo)為(-15Λ-15J)、(-15J5J5J5)、的區(qū)域的灰度基準(zhǔn)仿射矩陣.< ,因?yàn)楸苊獾玫竭^(guò)決定問(wèn)題，計(jì)算過(guò)程中沒(méi)有使用右下角坐標(biāo)
JHf :「Xi X2 J^T-15J5 15J5 15j5]'1
Λ 巧 y, 15J 15J 15^ ；
J I ll1 1 1
輪廓原型基準(zhǔn)仿射矩陣包括正面輪廓原型基準(zhǔn)仿射矩陣^*和側(cè)面輪廓原型基準(zhǔn)仿射矩陣^正面輪廓的外接矩形的左下，左上，右上，右下角坐標(biāo)為MmV "3)-(^4^4),側(cè)面輪廓的外接矩形的左下，左上，右上，右下角坐標(biāo)為(Ρι^9ιΜρ2^Λ(ρ^Λ(ρ4^4) ■.計(jì)算目標(biāo)框相對(duì)于正面和側(cè)面輪廓圓形的外接矩形區(qū)域基
準(zhǔn)仿射矩陣^^和^*。與灰度基準(zhǔn)矩陣計(jì)算類似，為避免得到過(guò)決定問(wèn)題，計(jì)算過(guò)程 中沒(méi)有使用右下角坐標(biāo)
j^cSee- X1 X2 ' mI mS
JfI JrI Λ 2 3 ，
J I I J Li I I .
^*=「*1 ^ Γα P7 P31"1
Fi y7 JrS 9i g2 5Ts ;
1 1 1 J Li 1 1 .
對(duì)上述正面輪廓原型基準(zhǔn)仿射矩陣和側(cè)面輪廓原型基準(zhǔn)仿射矩陣1進(jìn)行外
觀似然計(jì)算，確定輪廓原型基準(zhǔn)仿射矩陣I采用上述正面輪廓原型基準(zhǔn)仿射矩陣或側(cè)面輪廓原型基準(zhǔn)仿射矩陣的一個(gè)。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，上述外觀似然函數(shù)為
抑 A(Tcj)3UlYiiUf)
= Φ{-(AC, -EiAC^fU^UfiMJ, — ￡{ACf})| expQ
js{acU是偏移向量的期望，表不偏移向量。本發(fā)明的技術(shù)方案中，加入由一組控制點(diǎn)的連線來(lái)表示的行人輪廓，因?yàn)樾腥说妮喞哂邢嗨菩?，所以在學(xué)習(xí)輪廓特征的時(shí)候可以共有的特性為基礎(chǔ)開(kāi)始學(xué)習(xí)。我們稱這個(gè)共有特性為原型。為了獲得輪廓的原型，收集了一組對(duì)齊的正面和側(cè)面的行人圖片。通過(guò)計(jì)算這些行人輪廓的平均位置來(lái)獲得正面和側(cè)面的輪廓原型。此外，假設(shè)這個(gè)偏移向量符合一個(gè)高斯分布，因此可以通過(guò)增量主元分析來(lái)獲得這個(gè)偏移向量的主元。進(jìn)而，通過(guò)偏移向量的主元可以計(jì)算一個(gè)橢圓分布函數(shù)來(lái)估計(jì)觀測(cè)的輪廓的似然性。在灰度和輪廓的增量主元分析表示模型以外，還采用了一個(gè)判別式模型來(lái)解決跟蹤失敗后處理問(wèn)題。因?yàn)楸硎灸Ｐ椭荒苡脕?lái)計(jì)算觀測(cè)的似然度，所以對(duì)于跟蹤失敗很難進(jìn)行目標(biāo)檢測(cè)。在此，采用了一個(gè)增量的多實(shí)例分類器用來(lái)判斷是否跟蹤失敗，在跟蹤失敗后重獲檢測(cè)目標(biāo)，恢復(fù)跟蹤。普通的多實(shí)例分類器的訓(xùn)練集只要求被訓(xùn)練的目標(biāo)在圖像中，而不需要知道目標(biāo)在訓(xùn)練圖像中的具體位置。而多實(shí)例分類器比一般的分類器具有更魯棒的特性。在多實(shí)例分類器的基礎(chǔ)上，我們?cè)黾釉隽抗δ埽捎迷隽慷鄬?shí)例分類器。增量多實(shí)例分類器可以在學(xué)習(xí)新的訓(xùn)練集的時(shí)候保持之前訓(xùn)練集的分類結(jié)果；此外還可以對(duì)已經(jīng)學(xué)習(xí) 的訓(xùn)練集進(jìn)行反學(xué)習(xí)操作。這樣我們可以維持一個(gè)只由最近的觀測(cè)值訓(xùn)練的檢測(cè)器。在跟蹤的過(guò)程通過(guò)增量多實(shí)例分類器來(lái)判斷跟蹤是否失敗和重新獲得目標(biāo)。通過(guò)表示和分類模型的共同作用可以有效的捕捉行人目標(biāo)在特征空間中的流型，有效的克服了跟蹤中的目標(biāo)漂移的問(wèn)題。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫的說(shuō)明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說(shuō)明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中
圖I為本發(fā)明實(shí)施例所述的基于表示模型和分類模型的云臺(tái)跟蹤方法的流程 圖2a為本發(fā)明實(shí)施例所述的行人輪廓的正面輪廓原型的示意 圖2b為本發(fā)明實(shí)施例所述的行人輪廓的側(cè)面輪廓原型的示意 圖3為圖2a和圖2b中控制點(diǎn)處的RMS誤差的曲線 圖4為本發(fā)明實(shí)施例中灰度和輪廓模板通過(guò)仿射變換映射到目標(biāo)區(qū)域過(guò)程的示意圖； 圖5為本發(fā)明實(shí)施例中輪廓偏移向量過(guò)程的示意 圖6為本發(fā)明實(shí)施例中通過(guò)分類器標(biāo)注的樣本訓(xùn)練來(lái)更新分類器的示意 圖7為本發(fā)明實(shí)施例中灰度表示模型在跟蹤視頻中的更新展示 圖8為本發(fā)明實(shí)施例中在跟蹤過(guò)程中，正面和側(cè)面輪廓的自適應(yīng)跳轉(zhuǎn)情況 圖9為跟蹤過(guò)程中，增量多實(shí)例分類器的分類性能(精確度/召回率曲線)的變化情況
圖10為本發(fā)明實(shí)施例中跟蹤目標(biāo)通過(guò)遮擋物時(shí)候的跟蹤效果。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。如圖I所示，一種基于表示模型和分類模型的云臺(tái)跟蹤方法，包括以下步驟
a)目標(biāo)初始化生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣；b):根據(jù)上述灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣生成粒子；
C):初始化分類器；
d):對(duì)上述b步驟中生成的粒子進(jìn)行帶重新初始化的粒子濾波；
e):估計(jì)檢測(cè)的目標(biāo)位置；
f):利用c步驟中的分類器判斷上述檢測(cè)到的目標(biāo)位置是否丟失；
g):若上述分類器的返回值超過(guò)閥值，則更新分類器，返回步驟d，如上述分類器的返回值超過(guò)閥值沒(méi)有超過(guò)閥值，則對(duì)目標(biāo)進(jìn)行檢測(cè)。其中，生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣包括以下步驟
定義一個(gè)目標(biāo)框，目標(biāo)框的左下，左上，右上，右下角坐標(biāo)表示為、( ^)、
計(jì)算相對(duì)于左下，左上，右上，右下角坐標(biāo)為(-15Λ-15..5)、(-15 5,155)、(155J5.5)、
(15J5.-15J5)的區(qū)域的灰度基準(zhǔn)仿射矩陣Af，因?yàn)楸苊獾玫竭^(guò)決定問(wèn)題，計(jì)算過(guò)程中沒(méi)
有使用右下角坐標(biāo)
AfX7 ^T-15 J5 15_5 15j5]^
ir ip ip X 5 .-"5 15...5.
y-i ft，
J I I Jj 1 1 J
輪廓原型基準(zhǔn)仿射矩陣包括正面輪廓原型基準(zhǔn)仿射矩陣和側(cè)面輪廓原
型基準(zhǔn)仿射矩陣^S。正面輪廓的外接矩形的左下，左上，右上，右下角坐標(biāo)為
#4),側(cè)面輪廓的外接矩形的左下，左上，右上，右下角坐標(biāo)為
{Ρι^ιΜρ2^2Μρ^Λ{ρ^94) ο計(jì)算目標(biāo)框相對(duì)于正面和側(cè)面輪廓圓形的外接矩形區(qū)域基
準(zhǔn)仿射矩陣^ 和I。與灰度基準(zhǔn)矩陣計(jì)算類似，為避免得到過(guò)決定問(wèn)題，計(jì)算過(guò)程中沒(méi)有使用右下角坐標(biāo)
xjrtf — _■「"T1
嫌—xI xITO2 7fH
JfIfK n2 nI ，
I I I — Li I I .
—--* Pt Pt^
Fx y7 Jr3 Ti 92;
J I I I I I
對(duì)上述正面輪廓原型基準(zhǔn)仿射矩陣和側(cè)面輪廓原型基準(zhǔn)仿射矩陣I進(jìn)行外
觀似然計(jì)算，確定輪廓原型基準(zhǔn)仿射矩陣I采用上述正面輪廓原型基準(zhǔn)仿射矩陣或側(cè)面輪廓原型基準(zhǔn)仿射矩陣的一個(gè)。
權(quán)利要求
1.一種基于表示模型和分類模型的云臺(tái)跟蹤方法，主要包括以下步驟 a)目標(biāo)初始化生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣； b):根據(jù)上述灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣生成粒子； c):初始化分類器； d):對(duì)上述b步驟中生成的粒子進(jìn)行帶重新初始化的粒子濾波； e):估計(jì)目標(biāo)位置； f):利用c步驟中的分類器判斷上述檢測(cè)到的目標(biāo)位置是否丟失； g):若上述分類器的返回值超過(guò)閥值，則更新分類器，返回步驟d，如上述分類器的返回值沒(méi)有超過(guò)閥值，則對(duì)目標(biāo)進(jìn)行檢測(cè)。
2.根據(jù)權(quán)利要求I所述的基于表示模型和分類模型的云臺(tái)跟蹤方法，上述生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣包括以下步驟 定義一個(gè)目標(biāo)框，目標(biāo)框的左下，左上，右上，右下角坐標(biāo)表示為(Α,Λ)、(W2)、(^3 J3)； 計(jì)算相對(duì)于上述左下，左上，右上坐標(biāo)為(15^-15J5)、{-15X153)、(15j5J5j5)的區(qū)域的灰度基準(zhǔn)仿射矩陣<，為避免得到過(guò)決定問(wèn)題，計(jì)算過(guò)程中沒(méi)有使用右下角坐標(biāo)( ^):
3.根據(jù)權(quán)利要求2所述的基于表示模型和分類模型的云臺(tái)跟蹤方法，上述外觀似然公式為
全文摘要
本發(fā)明公開(kāi)了一種基于表示模型和分類模型的云臺(tái)跟蹤方法，主要包括以下步驟a)目標(biāo)初始化生成灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣；b)根據(jù)上述灰度基準(zhǔn)仿射矩陣和輪廓原型基準(zhǔn)仿射矩陣生成粒子；c)初始化分類器；d)對(duì)上述b步驟中生成的粒子進(jìn)行帶重新初始化的粒子濾波；e)估計(jì)檢測(cè)的目標(biāo)位置；f)利用c步驟中的分類器判斷上述檢測(cè)到的目標(biāo)位置是否丟失；g)若上述分類器的返回值超過(guò)閥值，則更新分類器，返回步驟d，如上述分類器的返回值沒(méi)有超過(guò)閥值，則對(duì)目標(biāo)進(jìn)行檢測(cè)。這樣，可避免目標(biāo)在跟蹤過(guò)程中由于受到光照劇烈變化，快速非平面運(yùn)動(dòng)或者被其他物體遮擋等影響而發(fā)生漂移。
文檔編號(hào)G06K9/62GK102663419SQ201210077638
公開(kāi)日2012年9月12日 申請(qǐng)日期2012年3月21日 優(yōu)先權(quán)日2012年3月21日
發(fā)明者姚振宇, 宋桂嶺, 明安龍, 朱松純, 解易, 雷鵬 申請(qǐng)人:江蘇視軟智能系統(tǒng)有限公司