專利名稱：基于多視點視頻的目標(biāo)跟蹤方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及基于多視點視頻的目標(biāo)跟蹤方法及系統(tǒng)。
背景技術(shù)：
在多攝像頭監(jiān)控中，需要在傳統(tǒng)單攝像頭目標(biāo)檢測基礎(chǔ)上，將在多個視角中出現(xiàn)的同一目標(biāo)關(guān)聯(lián)起來。因此跨攝像頭的運動目標(biāo)跟蹤成為多攝像頭監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)，是后續(xù)進(jìn)行目標(biāo)行為分析和目標(biāo)識別的基礎(chǔ)。多視點特定目標(biāo)的提取和跟蹤與單攝像頭運動目標(biāo)檢測與跟蹤存在一定的差別單攝像頭運動目標(biāo)的檢測和跟蹤是針對連續(xù)的目標(biāo)，其跟蹤可以通過運動矢量、速度特征應(yīng)用kalman(卡爾曼)濾波等算法預(yù)估出目標(biāo)在下一幀出現(xiàn)的位置，然后根據(jù)實際檢測的結(jié)果進(jìn)行糾正來達(dá)到跟蹤的目的；而多視點特定目標(biāo) 的提取和跟蹤，目標(biāo)是在多個攝像頭出現(xiàn)，不是連續(xù)的目標(biāo)，從一個攝像頭消失以后無法通過算法準(zhǔn)確預(yù)測目標(biāo)會在下面哪個攝像頭的哪個位置出現(xiàn)，所以基于特征的跟蹤就顯得尤為重要。目前多視點特定目標(biāo)的提取與跟蹤技術(shù)，基本采用如下步驟首先通過運動目標(biāo)檢測分割出運動目標(biāo)，然后對整個運動目標(biāo)提取顏色、紋理、邊緣和形狀等特征，最后再通過一定的法則去匹配，比如專利PTZ單目標(biāo)自動跟蹤的裝置及方法(公開號102215377A，
公開日2011-10-12)是對跟蹤目標(biāo)建立模板，跟蹤過程中對提取的運動目標(biāo)也建立模板，然后通過模板的相似度來判斷是否是同一目標(biāo)。也有技術(shù)通過對運動目標(biāo)先分類為人、車和其他，然后對人目標(biāo)分為頭、軀干和腿，車和其他目標(biāo)不區(qū)分，最后再提取特征來匹配，比如專利一種基于云計算及海量視頻檢索的多視頻錄入裝置智能聯(lián)動的裝置和方法(公開號:101848377A，
公開日:2010-09-29)。多視點特定目標(biāo)提取和跟蹤的現(xiàn)有技術(shù)主要有以下幾點不足I、跟蹤目標(biāo)的特征模板大小固定(用大、小目標(biāo)分別匹配小、大目標(biāo))現(xiàn)有技術(shù)采用的顏色、紋理或其它特征模板大小固定，而多攝像頭跟蹤的特點是目標(biāo)在攝像頭中其大小變化較大，采用固定大小的模板在匹配時誤差較大，極易出現(xiàn)誤匹配。2、跟蹤目標(biāo)采用一個特征模板(用正面、側(cè)面分別去匹配側(cè)面、正面)現(xiàn)有技術(shù)都是采用一個模板來對目標(biāo)進(jìn)行跟蹤，但是在多攝像頭跟蹤過程中(特別是人)，可能會出現(xiàn)在上一個攝像頭監(jiān)控的是人的正面，而到下一個攝像頭監(jiān)控的是人的背面，特征變化較大，容易出現(xiàn)漏匹配，導(dǎo)致目標(biāo)丟失。

發(fā)明內(nèi)容
本發(fā)明的方面和優(yōu)點在下文的描述中部分地陳述，或者可從該描述顯而易見，或者可通過實踐本發(fā)明而學(xué)習(xí)。為克服現(xiàn)有多視點視頻特定目標(biāo)跟蹤技術(shù)中用大、小目標(biāo)分別匹配小、大目標(biāo)、以及用正面、側(cè)面分別去匹配側(cè)面、正面的不足，本發(fā)明提供一種基于多視點視頻的目標(biāo)跟蹤方法和系統(tǒng)，增加輔助模板來進(jìn)行匹配，同時，可在跟蹤過程中適時調(diào)整和增加更新模板，從而提高多視點特定目標(biāo)的匹配精度，降低漏匹配和誤匹配。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案如下根據(jù)本發(fā)明的一個方面，提供一種基于多視點視頻的目標(biāo)跟蹤方法，包括下列步驟在樣例目標(biāo)的原始模板的基礎(chǔ)上增加至少一個輔助模板；對視頻流進(jìn)行目標(biāo)檢測，得出目標(biāo)區(qū)域；以該原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，以匹配得到的最高相似度作為該目標(biāo)區(qū)域與該樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。根據(jù)本發(fā)明的一個實施例，該輔助模板選自對樣例目標(biāo)按設(shè)定比例進(jìn)行放大后的放大模板、或?qū)永繕?biāo)按設(shè)定比例進(jìn)行縮小后的縮小模板、或?qū)崟r獲取的相似目標(biāo)所形成的更新模板。根據(jù)本發(fā)明的一個實施例，以該原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行基于顏色的模板匹配，以匹配得到的最高相似度作為顏色相似度，如果顏色相似度大于設(shè)定的顏色相似度閾值，則繼續(xù)進(jìn)行紋理或形狀特征的匹配，如果匹配結(jié)果大于設(shè)定的紋理或形狀特征相似度閾值則認(rèn)為是需要跟蹤的目標(biāo)，否則認(rèn)為沒有跟蹤目標(biāo)。根據(jù)本發(fā)明的一個實施例，以該原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行基于顏色的模板匹配，分別得到顏色相似度；以該原始模板和所得到的目標(biāo)區(qū)域進(jìn)行紋理特征匹配，得到紋理特征相似度；分別將各顏色相似度與該紋理特征相似度進(jìn)行綜合判斷，并取最高相似度作為綜合相似度；如果綜合相似度大于設(shè)定的綜合相似度閾值，則認(rèn)為是需要跟蹤的目標(biāo)，否則認(rèn)為沒有跟蹤目標(biāo)。根據(jù)本發(fā)明的一個實施例，該目標(biāo)區(qū)域是采用建立背景模型，通過背景差從視頻流中獲取的運動目標(biāo)區(qū)域；或者，該目標(biāo)區(qū)域通過基于特征的匹配而從視頻流中獲取。根據(jù)本發(fā)明的一個實施例，在檢測到第一個符合相似度要求的跟蹤目標(biāo)后，將此目標(biāo)作為該更新模板。根據(jù)本發(fā)明的一個實施例，以該更新模板和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，得到匹配相似度；并以該原始模板或其它輔助模板和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，得到匹配相似度；以匹配得到的最高相似度作為該目標(biāo)區(qū)域與該樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。根據(jù)本發(fā)明的一個實施例，在檢測到符合相似度要求的后續(xù)跟蹤目標(biāo)后，判斷該后續(xù)跟蹤目標(biāo)與該更新模板的相似度是否大于該后續(xù)跟蹤目標(biāo)與該原始模板或其它輔助模板的相似度，如果大于，則用當(dāng)前目標(biāo)替代該更新模板，否則不替代。根據(jù)本發(fā)明的另一個方面，提供一種基于多視點視頻的目標(biāo)跟蹤系統(tǒng)，包括多模板生成模塊，其在樣例目標(biāo)的原始模板的基礎(chǔ)上增加至少一個輔助模板；目標(biāo)檢測模塊，其對視頻流進(jìn)行目標(biāo)檢測，得出目標(biāo)區(qū)域；匹配模塊，其以該原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，以匹配得到的最高相似度作為該目標(biāo)區(qū)域與該樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。根據(jù)本發(fā)明的一個實施例，該輔助模板選自對樣例目標(biāo)按設(shè)定比例進(jìn)行放大后的、放大模板、或?qū)永繕?biāo)按設(shè)定比例進(jìn)行縮小后的縮小模板、或?qū)崟r獲取的相似目標(biāo)所形成的更新模板。本發(fā)明提供放大、縮小和原始大小三種模板來匹配，提高了準(zhǔn)確率。同時，本發(fā)明可在跟蹤過程中適時調(diào)整和增 加更新模板，采用多模板來跟蹤，提高準(zhǔn)確率。利用本發(fā)明的多模板跟蹤方法，克服了現(xiàn)有多視點視頻特定目標(biāo)跟蹤技術(shù)中模板固定(用大、小目標(biāo)分別匹配小、大目標(biāo))、單一模板(用正面、側(cè)面分別去匹配側(cè)面、正面)的不足，提高了多視點特定目標(biāo)的匹配精度，降低了漏匹配和誤匹配。通過閱讀說明書，本領(lǐng)域普通技術(shù)人員將更好地了解這些實施例和其它實施例的特征和方面。


下面通過參考附圖并結(jié)合實例具體地描述本發(fā)明，本發(fā)明的優(yōu)點和實現(xiàn)方式將會更加明顯，其中附圖所示內(nèi)容僅用于對本發(fā)明的解釋說明，而不構(gòu)成對本發(fā)明的任何意義上的限制，在附圖中圖I為根據(jù)本發(fā)明的一個實施例，對要跟蹤的目標(biāo)生成多模板的示意圖；圖2為根據(jù)本發(fā)明的一個實施例，采用多模板進(jìn)行跟蹤的流程圖；圖3為根據(jù)本發(fā)明的一個實施例，基于多視點視頻的目標(biāo)跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式本實施例提供一種多視點視頻特定目標(biāo)的多模板跟蹤方法，旨在解決現(xiàn)有多視點特定目標(biāo)跟蹤方法中存在的一些不足，通過多模板加縮放的方法，提高跟蹤的準(zhǔn)確率。如圖I所示為本發(fā)明對要跟蹤的目標(biāo)生成多模板的示意圖，具體步驟如下101、選擇要跟蹤目標(biāo)的模板；102、對目標(biāo)進(jìn)行縮放；103、生成縮小目標(biāo)；104、對縮小目標(biāo)進(jìn)行特征提??；105、生成縮小目標(biāo)的模板；106、生成原始目標(biāo)；107、對原始目標(biāo)進(jìn)行特征提?。?08、生成原始目標(biāo)的模板；109、生成放大目標(biāo)；110、對放大目標(biāo)進(jìn)行特征提?。?11、生成放大目標(biāo)的模板。這樣，形成了三個模板，即放大模板A、原始模板B和縮小模板C。除了原始模板B之外，增加了兩個輔助模板，即放大模板A和縮小模板C。放大模板和縮小模板是基于設(shè)定的比例獲取的，例如放大的比例是I. I倍，縮小的比例為0. 9倍。此外，還可以增加一個輔助模板，即后面所詳細(xì)描述的更新模塊D。本實施例中多視點視頻特定目標(biāo)的多模板加縮放跟蹤的技術(shù)方案是首先獲取目標(biāo)的分割區(qū)域，然后對該區(qū)域進(jìn)行特征提取，接著將該區(qū)域特征和放大模板A、原始模板B、縮小模板C和更新模板D進(jìn)行匹配，得出最高相似度，最后根據(jù)相似度的大小來判斷是否要增加和調(diào)整模板。其具體步驟如下第一步、目標(biāo)分割；第二步、目標(biāo)特征提?。坏谌?、目標(biāo)的多模板加縮放跟蹤；第四步、調(diào)整和增加模板；第五步、保存當(dāng)前跟蹤結(jié)果，退出。下面對本實施例的幾個步驟依次進(jìn)行詳細(xì)描述 第一步、目標(biāo)分割I(lǐng)、目標(biāo)檢測得出目標(biāo)區(qū)域目標(biāo)檢測分割出目標(biāo)區(qū)域采用現(xiàn)有技術(shù)，主要有以下兩種方法I)建立背景模型、通過背景差來獲取運動目標(biāo)區(qū)域；2)基于特征匹配的目標(biāo)區(qū)域提取。第二步、目標(biāo)特征提取目標(biāo)的特征提取也可以通過常見的目標(biāo)特征提取算法實現(xiàn)，特征有很多種，可應(yīng)用顏色、紋理、或形狀特征。I)顏色特征本發(fā)明基于HSV顏色空間，計算顏色直方圖作為特征。2)紋理特征本發(fā)明采用旋轉(zhuǎn)縮放不變特征作為紋理特征。第三步、目標(biāo)的多模板加縮放跟蹤I、將放大、縮小和原始目標(biāo)三種模板分別和當(dāng)前目標(biāo)進(jìn)行匹配，計算目標(biāo)的相似度，由于采用的旋轉(zhuǎn)縮放不變紋理特征對旋轉(zhuǎn)、放大、縮小、平移等變形具有特征不變的性質(zhì)，所以僅僅對顏色特征采用三個模板分別匹配，紋理特征只和原始模板匹配；當(dāng)然，本實施例中采用三個模板(放大模板A、原始模板B、縮小模板C)分別進(jìn)行匹配，但本領(lǐng)域技術(shù)人員應(yīng)了解只采用放大模板和原始模板，或只采用縮小模板和原始模板也是可以的，同樣可以實現(xiàn)提高精度的目的。當(dāng)然，也可以只增加一個更新模板D作為輔助模板，采用更新模板D的目的也是為了提高精度，比如最開始的模板是行人的正面模板，但是隨著人在攝像機(jī)內(nèi)的走動，有可能行人以側(cè)面或背面出現(xiàn)在攝像機(jī)內(nèi)，那么正面的模板和側(cè)面或背面的目標(biāo)去匹配顯然準(zhǔn)確率不會太高，通過更新模板D的實時調(diào)整，可以很好地解決這種問題。I)將放大模板A和當(dāng)前目標(biāo)進(jìn)行顏色特征匹配，采用相關(guān)系數(shù)方法計算相似度，下面是相關(guān)系數(shù)的公式這里采用的顏色特征是顏色直方圖，由于這里是采用的72層HSV顏色空間，那么顏色直方圖中顏色的個數(shù)就是72個，也就是公式中的n = 72 ;其中Xi在這一步代表放大模板A的顏色直方圖的值，尤在這里代表放大模板A所有顏色的顏色直方圖值求和的平均值；Yi在這一步代表當(dāng)前目標(biāo)的顏色直方圖的值，f在這里代表當(dāng)前模板所有顏色的顏色直方圖值求和的平均值；rXY就是計算出來的顏色相似度的值。
權(quán)利要求
1.一種基于多視點視頻的目標(biāo)跟蹤方法，其特征在于包括下列步驟 在樣例目標(biāo)的原始模板的基礎(chǔ)上增加至少一個輔助模板； 對視頻流進(jìn)行目標(biāo)檢測，得出目標(biāo)區(qū)域； 以所述原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，以匹配得到的最高相似度作為所述目標(biāo)區(qū)域與所述樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。
2.根據(jù)權(quán)利要求I所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，所述輔助模板選自對樣例目標(biāo)按設(shè)定比例進(jìn)行放大后的放大模板、或?qū)永繕?biāo)按設(shè)定比例進(jìn)行縮小后的縮小模板、或?qū)崟r獲取的相似目標(biāo)所形成的更新模板。
3.根據(jù)權(quán)利要求I或2所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，以所述原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行基于顏色的模板匹配，以匹配得到的最高相似度作為顏色相似度，如果顏色相似度大于設(shè)定的顏色相似度閾值，則繼續(xù)進(jìn)行紋理或形狀特征的匹配，如果匹配結(jié)果大于設(shè)定的紋理或形狀特征相似度閾值則認(rèn)為是需要跟蹤的目標(biāo)，否則認(rèn)為沒有跟蹤目標(biāo)。
4.根據(jù)權(quán)利要求I或2中任一項所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，以所述原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行基于顏色的模板匹配，分別得到顏色相似度；以所述原始模板和所得到的目標(biāo)區(qū)域進(jìn)行紋理特征匹配，得到紋理特征相似度；分別將各顏色相似度與所述紋理特征相似度進(jìn)行綜合判斷，并取最高相似度作為綜合相似度；如果綜合相似度大于設(shè)定的綜合相似度閾值，則認(rèn)為是需要跟蹤的目標(biāo)，否則認(rèn)為沒有跟蹤目標(biāo)。
5.根據(jù)權(quán)利要求I所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，所述目標(biāo)區(qū)域是采用建立背景模型，通過背景差從視頻流中獲取的運動目標(biāo)區(qū)域；或者，所述目標(biāo)區(qū)域通過基于特征的匹配而從視頻流中獲取。
6.根據(jù)權(quán)利要求2所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，在檢測到第一個符合相似度要求的跟蹤目標(biāo)后，將此目標(biāo)作為所述更新模板。
7.根據(jù)權(quán)利要求6所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，以所述更新模板和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，得到匹配相似度；并以所述原始模板或其它輔助模板和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，得到匹配相似度；以匹配得到的最高相似度作為所述目標(biāo)區(qū)域與所述樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。
8.根據(jù)權(quán)利要求7所述的基于多視點視頻的目標(biāo)跟蹤方法，其特征在于，在檢測到符合相似度要求的后續(xù)跟蹤目標(biāo)后，判斷所述后續(xù)跟蹤目標(biāo)與所述更新模板的相似度是否大于所述后續(xù)跟蹤目標(biāo)與所述原始模板或其它輔助模板的相似度，如果大于，則用當(dāng)前目標(biāo)替代所述更新模板，否則不替代。
9.一種基于多視點視頻的目標(biāo)跟蹤系統(tǒng)，其特征在于包括 多模板生成模塊，其在樣例目標(biāo)的原始模板的基礎(chǔ)上增加至少一個輔助模板； 目標(biāo)檢測模塊，其對視頻流進(jìn)行目標(biāo)檢測，得出目標(biāo)區(qū)域； 匹配模塊，其以所述原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，以匹配得到的最高相似度作為所述目標(biāo)區(qū)域與所述樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。
10.根據(jù)權(quán)利要求9所述的基于多視點視頻的目標(biāo)跟蹤系統(tǒng)，其特征在于，所述輔助模板選自對樣例目標(biāo)按設(shè)定比例進(jìn)行放大后的放大模板、或?qū)永繕?biāo)按設(shè)定比例進(jìn)行縮小 后的縮小模板、或?qū)崟r獲取的相似目標(biāo)所形成的更新模板。
全文摘要
本發(fā)明提供一種基于多視點視頻的目標(biāo)跟蹤方法和系統(tǒng)，該方法包括在樣例目標(biāo)的原始模板的基礎(chǔ)上增加至少一個輔助模板；對視頻流進(jìn)行目標(biāo)檢測，得出目標(biāo)區(qū)域；以原始模板和輔助模板分別和所得到的目標(biāo)區(qū)域進(jìn)行特征匹配，以匹配得到的最高相似度作為目標(biāo)區(qū)域與樣例目標(biāo)的相似度，判斷是否為需要跟蹤的目標(biāo)。輔助模板可選自對樣例目標(biāo)按設(shè)定比例進(jìn)行放大后的放大模板、對樣例目標(biāo)按設(shè)定比例進(jìn)行縮小后的縮小模板、或?qū)崟r獲取的相似目標(biāo)所形成的更新模板。本發(fā)明克服了現(xiàn)有多視點視頻特定目標(biāo)跟蹤技術(shù)中用大、小目標(biāo)分別匹配小、大目標(biāo)、以及用正面、側(cè)面去分別匹配側(cè)面、正面的不足，提高了多視點特定目標(biāo)的匹配精度，降低了漏匹配和誤匹配。
文檔編號H04N7/18GK102663777SQ20121012501
公開日2012年9月12日 申請日期2012年4月26日 優(yōu)先權(quán)日2012年4月26日
發(fā)明者龔灼 申請人:安科智慧城市技術(shù)(中國)有限公司