基于運(yùn)動行為模式的多視角室內(nèi)行人跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體地說，是涉及行人跟蹤方法，更具體地說，是 涉及基于運(yùn)動行為模式的多視角室內(nèi)行人跟蹤方法。
【背景技術(shù)】
[0002] 視覺信息是人體獲得外界信息的主要渠道，其中運(yùn)動信息是其重要組成部分，大 量重要的、有意義的視覺信息包含在運(yùn)動中?；谶\(yùn)動目標(biāo)分析在實(shí)際應(yīng)用中所具有的重 要價值，以及在分析基礎(chǔ)上所建立的目標(biāo)分析系統(tǒng)，其性能的好壞關(guān)鍵取決于對目標(biāo)運(yùn)動 信息的提取和分析，因此，對于運(yùn)動目標(biāo)跟蹤技術(shù)的研究具有重要意義。
[0003] 而目標(biāo)跟蹤是通過分析采集的關(guān)于目標(biāo)運(yùn)動情況的數(shù)據(jù)，獲得目標(biāo)的位置，進(jìn)而 得到目標(biāo)的運(yùn)動軌跡，是運(yùn)動目標(biāo)分析過程的關(guān)鍵環(huán)節(jié)，屬于計(jì)算機(jī)視覺中的低層視覺范 疇，是目標(biāo)行為識別和場景理解的基礎(chǔ)。在目標(biāo)跟蹤的大多數(shù)場景中行人是跟蹤的主要目 標(biāo)，行人跟蹤已成為了智能視頻分析領(lǐng)域研究的熱點(diǎn)，在視頻監(jiān)控、智能人機(jī)交互、行為分 析等領(lǐng)域有著重要的研究意義和應(yīng)用價值。
[0004] 目前，行人跟蹤方法主要包括有基于流形學(xué)習(xí)與稀疏表示、基于近正向俯視監(jiān)控 視頻、基于行人檢測、基于改進(jìn)的隨機(jī)森林、基于HOG-LBP描述等五種跟蹤方法，例如 ：
[0005] 申請?zhí)枮镃N201410489737. 4、名稱為《一種基于流形學(xué)習(xí)與稀疏表示的行人跟蹤 方法》的中國專利申請公開了下述技術(shù)內(nèi)容：對采集到的視頻幀進(jìn)行灰度轉(zhuǎn)換，縮小到統(tǒng)一 尺寸；手動選定跟蹤的行人目標(biāo)，并記錄目標(biāo)各項(xiàng)參數(shù)，通過計(jì)算PCA映射矩陣和OLPP映射 矩陣生成目標(biāo)模版；隨機(jī)生成候選粒子，建立系統(tǒng)的觀測模型和運(yùn)動模型，通過流形學(xué)習(xí)的 方式，在粒子濾波框架下求解最大后驗(yàn)概率估計(jì)；將各候選樣本的運(yùn)動模型和觀測模型代 入后驗(yàn)估計(jì)表達(dá)式，取最大值所對應(yīng)的樣本為目標(biāo)位置。
[0006] 申請?zhí)枮镃N201210495491. 2、名稱為《一種近正向俯視監(jiān)控視頻行人跟蹤計(jì)數(shù)方 法和裝置》的中國專利申請公開了下述技術(shù)內(nèi)容：獲取當(dāng)前監(jiān)控場景下的視頻圖像；將獲取 圖像與背景圖像進(jìn)行比較，當(dāng)判定所述視頻圖像為前景圖像時，對前景圖像中的各團(tuán)塊進(jìn) 行分割以及組合，得到單個行人的目標(biāo)團(tuán)塊；根據(jù)檢測區(qū)內(nèi)各目標(biāo)團(tuán)塊的質(zhì)心坐標(biāo)，進(jìn)行跟 蹤和計(jì)數(shù)。
[0007] 申請?zhí)枮镃N201310311020. 6、名稱為《一種基于行人檢測和跟蹤的人流監(jiān)控方法》 的中國專利申請公開了下述技術(shù)內(nèi)容：獲取并解碼攝像頭視頻流得到RGB格式的單幀圖 像；根據(jù)圖像積分通道特征，進(jìn)行由疏到密多尺度識別，并采用NMS方法組合所有尺度中的 識別結(jié)果，通過計(jì)算每個檢測結(jié)果區(qū)域和背景區(qū)域差異，刪除差異小的檢測結(jié)果，得到行人 位置以及對應(yīng)的置信值；通過計(jì)算相似度，匹配相鄰幀中檢測到的行人，從而實(shí)現(xiàn)行人跟蹤 并得到每個人的運(yùn)動軌跡；
[0008] 申請?zhí)枮镃N201310353511. 7、名稱為《一種基于改進(jìn)的隨機(jī)森林的多目標(biāo)跟蹤方 法及裝置》的中國專利申請公開了下述技術(shù)內(nèi)容：隨機(jī)產(chǎn)生森林訓(xùn)練模塊，用于對交叉前 的目標(biāo)進(jìn)行訓(xùn)練，建立目標(biāo)分類器；隨機(jī)森林分類模塊，在下一幀用訓(xùn)練好的分類器對交叉 后的目標(biāo)區(qū)域進(jìn)行分類；目標(biāo)重新定位模塊，對分類后的塊執(zhí)行聚類操作，形成目標(biāo)位置區(qū) 域。本發(fā)明有效的解決了在多目標(biāo)跟蹤過程中出現(xiàn)交叉時出現(xiàn)跟錯跟丟的問題。
[0009] 申請?zhí)枮镃N 201210046834. 7、名稱為《一種基于HOG-LBP描述的行人跟蹤方法》 的中國專利申請公開了下述技術(shù)內(nèi)容：建立適應(yīng)HOG-LBP描述器要求的圖像正負(fù)樣本集， 對已建立的樣本圖像集進(jìn)行批量特征提取,從而建立特征樣本集；通過SVM對特征樣本集 進(jìn)行有監(jiān)督訓(xùn)練，建立含有類懲罰因子的軟間隔SVM模型，并得到基于HOG-LBP描述的行人 檢測器；利用行人檢測器檢測結(jié)果，采用粒子濾波跟蹤方法完成行人跟蹤。該方法對場景中 發(fā)生的運(yùn)動交錯、遮擋現(xiàn)象以及運(yùn)動呈現(xiàn)的非線性特征具有較好的適應(yīng)性和穩(wěn)定性。
[0010] 上述五種方法存在的問題概述如下：
[0011] 1)在粒子濾波框架下的跟蹤方法主要依據(jù)大數(shù)定理采用蒙特卡羅方法來求解貝 葉斯估計(jì)中的積分運(yùn)算，較好的解決了非線性、非高斯分布系統(tǒng)中的目標(biāo)跟蹤問題，但上述 方法隨機(jī)生成候選粒子，只保證粒子采樣多樣性，并沒有選擇更好的參考分布，來提高采樣 效率，增加了計(jì)算量，且隨機(jī)生成的粒子也沒有考慮目標(biāo)特有的運(yùn)動行為，具有一定的盲目 性；基于流形學(xué)習(xí)與稀疏表示的行人跟蹤方法，在跟蹤前需要手動選定行人目標(biāo)和縮小視 頻幀到統(tǒng)一尺寸，這些都限制了跟蹤方法的應(yīng)用。
[0012] 2)對前景圖像各團(tuán)塊進(jìn)行分割以及組合的方法易受到光照變化、人體被遮擋等因 素的干擾，使得人體區(qū)域分割的不完整，容易出現(xiàn)跟蹤漂移，且該方法只能對每幀中目標(biāo)進(jìn) 行計(jì)數(shù)，并不能實(shí)現(xiàn)不同幀間目標(biāo)行人的關(guān)聯(lián)，無法實(shí)現(xiàn)連續(xù)跟蹤。
[0013] 3)上述跟蹤方法中將視覺跟蹤轉(zhuǎn)化為連續(xù)視頻幀中的目標(biāo)匹配問題，其本質(zhì)可以 看作是在一個連續(xù)局部空間內(nèi)的局部匹配尋優(yōu)問題，能夠?qū)崿F(xiàn)對目標(biāo)的檢測與跟蹤，但需 要獲取所有尺度圖像進(jìn)行識別，增加了計(jì)算量，同時通過計(jì)算相鄰幀間目標(biāo)的相似度來匹 配關(guān)聯(lián)不同目標(biāo)行人，在行人相對較多的場景難以獲得準(zhǔn)確的匹配度，對跟蹤過程中行人 的出現(xiàn)和消失情況也無法有效處理。
[0014] 4)基于改進(jìn)隨機(jī)森林和HOG-LBP描述的行人跟蹤方法局限性表現(xiàn)為：此類方法 均需要建立目標(biāo)分類器，但面臨的主要問題有三個，一是分類器的構(gòu)造需要大量正負(fù)樣本 的學(xué)習(xí)，如何選擇樣本是一個關(guān)鍵問題；二是計(jì)算復(fù)雜度高，計(jì)算量大，難以滿足實(shí)時需要； 三是需要在目標(biāo)所在區(qū)域的一個范圍內(nèi)進(jìn)行目標(biāo)搜索，如何優(yōu)化搜索范圍，使得既不因范 圍過小而影響目標(biāo)跟蹤精度，又不會因范圍過大而帶來搜索效率的下降，仍需要進(jìn)一步的 理論研究。

【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的是提供一種基于運(yùn)動行為模式的多視角室內(nèi)行人跟蹤方法，提高行 人跟蹤/[目息的有效性，提1?行人跟蹤的魯棒性及準(zhǔn)確性。
[0016] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案予以實(shí)現(xiàn)：
[0017] 一種基于運(yùn)動行為模式的多視角室內(nèi)行人跟蹤方法，其特征在于，所述方法包括 利用狀態(tài)空間模型對目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測的過程和利用觀測模型對預(yù)測的運(yùn)動狀態(tài)進(jìn) 行觀測、獲得跟蹤結(jié)果的過程；
[0018] 所述利用狀態(tài)空間模型對目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測的過程包括：
[0019] 計(jì)算t時刻測試視頻幀中目標(biāo)所受的合力：利用根據(jù)測試視頻幀的前一視頻幀所 跟蹤到的目標(biāo)在跟蹤場景網(wǎng)格坐標(biāo)中的位置（xt，yt)計(jì)算目標(biāo)與目的地間的驅(qū)動力Finn' 目標(biāo)與其他行人間的作用力Fstrc及目標(biāo)與障礙物間的作用力Fphys，計(jì)算測試視頻幀中目標(biāo) 所受的合力F為：F = FinnOT+Fs°e+Fphys;x ,為目標(biāo)在網(wǎng)格坐標(biāo)中的X坐標(biāo)，y t為目標(biāo)在網(wǎng)格坐 標(biāo)中的y坐標(biāo)，跟蹤場景網(wǎng)格坐標(biāo)是對跟蹤場景的俯視場景形成的XY平面進(jìn)行網(wǎng)格劃分后 的坐標(biāo)；
[0020] 計(jì)算t時刻測試視頻幀中目標(biāo)的概率力：在網(wǎng)格坐標(biāo)中，以目標(biāo)位置（xt，y t)所 在的網(wǎng)格為目標(biāo)網(wǎng)格，計(jì)算網(wǎng)格坐標(biāo)中其他網(wǎng)格對目標(biāo)網(wǎng)格所產(chǎn)生的概率力FP :FP = {FP1，· · ·，F(xiàn)P*，· · ·，F(xiàn)PP};其中，F(xiàn)P*= F · P % P*為跟蹤場景各攝像頭中其他目標(biāo)區(qū)域根據(jù)網(wǎng) 格坐標(biāo)與視頻圖像像素點(diǎn)坐標(biāo)間的對應(yīng)關(guān)系對應(yīng)到網(wǎng)格坐標(biāo)后第*個網(wǎng)格內(nèi)包含的其他 目標(biāo)區(qū)域面積占該網(wǎng)格面積的比例，P #> 〇, * = 1，2, ...，p，p為具有其他目標(biāo)區(qū)域的網(wǎng)格 數(shù)量；
[0021] 根據(jù)目標(biāo)的概率力對下一時刻的目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測：將目標(biāo)抽象 為粒子，t時刻粒子狀態(tài)定義為；ζ =[X,，J,，?，，Vv νΛ分別表示t時 刻目標(biāo)在網(wǎng)格坐標(biāo)X坐標(biāo)軸方向的速度和y坐標(biāo)軸方向的速度，則t+1時刻粒 子狀態(tài)4 +1=[6+1，乃+1，\+1，'. +1，沙，叱預(yù)測為：χ?+13+Δ，·ν?;，7?+1=^+Δ?_ν Λ， ]pp I I PP I , ~xt+vx ^ -^ΔΓ，vr - + VvJUjT- -，從而獲得 t+1 時刻目標(biāo)在網(wǎng)格坐 1 2 m " 2 m 標(biāo)下的P個預(yù)測位置；其中，Xt+1、yt+1分別為預(yù)測的t+l時刻目標(biāo)在網(wǎng)格坐標(biāo)中的X坐標(biāo)和 y坐標(biāo)，L、ν,>+ι分別表示預(yù)測的t+1時刻目標(biāo)在網(wǎng)格坐標(biāo)X坐標(biāo)軸方向的速度和y坐標(biāo) 軸方向的速度，Λ t為t+l時刻和t時刻的時間差，F(xiàn)Px、FPy分別為目標(biāo)的概率力FP在網(wǎng)格 坐標(biāo)X坐標(biāo)軸方向上的分力和在y坐標(biāo)軸方向上的分力，m表示目標(biāo)的質(zhì)量,為設(shè)定常數(shù)；
[0022] 利用觀測模型對預(yù)測的運(yùn)動狀態(tài)進(jìn)行觀測、獲得跟蹤結(jié)果的過程包括：
[0023] 根據(jù)網(wǎng)格坐標(biāo)與視頻圖像像素點(diǎn)坐標(biāo)間的對應(yīng)關(guān)系，獲得預(yù)測位置在跟蹤場景內(nèi) 每個攝像頭的視頻圖像幀中的像素點(diǎn)位置，以像素點(diǎn)位置為中心、形成寬為w、高為h的矩 形區(qū)域作為測試區(qū)域，每個預(yù)測位置對應(yīng)多個測試區(qū)域；
【主權(quán)項(xiàng)】
1. 一種基于運(yùn)動行為模式的多視角室內(nèi)行人跟蹤方法，其特征在于，所述方法包括利 用狀態(tài)空間模型對目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測的過程和利用觀測模型對預(yù)測的運(yùn)動狀態(tài)進(jìn)行 觀測、獲得跟蹤結(jié)果的過程； 所述利用狀態(tài)空間模型對目標(biāo)運(yùn)動狀態(tài)進(jìn)行預(yù)測的過程包括： 計(jì)算t時刻測試視頻幀中目標(biāo)所受的合力：利用根據(jù)測試視頻幀的前一視頻幀所跟蹤 到的目標(biāo)在跟蹤場景網(wǎng)格坐標(biāo)中的位置（xt，yt)計(jì)算目標(biāo)與目的地間的驅(qū)動力Finn'目標(biāo) 與其他行人間的作用力F stc及目標(biāo)與障礙物間的作