專利名稱：特征跡驅(qū)動的多目標跟蹤方法及裝置的制作方法
特征跡驅(qū)動的多目標跟蹤方法及裝置技術(shù)鄰域本發(fā)明屬于多目標跟蹤技術(shù)鄰域，涉及一種特征跡驅(qū)動的多目標跟蹤方法及裝置。
背景技術(shù)：
在強干擾情況下檢測和跟蹤大量動態(tài)目標在國防和國民經(jīng)濟中有重要應(yīng)用，也是 科學(xué)研究的一大難題。目前傳統(tǒng)目標跟蹤?quán)徲蚝鸵曨l跟蹤?quán)徲虻亩嗄繕烁櫡椒ㄓ懈髯缘?優(yōu)勢，也有各自的局限性，但都達到了進一步提高性能的瓶頸。多目標跟蹤無論在軍事還是在民用都有著十分廣泛的應(yīng)用。如在大干擾環(huán)境下 檢測和跟蹤大量且高度機動的來犯飛行器，各種交通車輛和人員的監(jiān)測等。多目標跟蹤 (Multiple Target Tracking, MTT)的難點在于1)觀測數(shù)據(jù)含有大量的噪聲和雜波干擾， 有時真實目標信號的檢測概率甚至低到50%;2)隨著目標的新生、消亡和裂變，目標的數(shù)目 本身也是隨機變化的；3)目標的高度機動，對跟蹤方法的動態(tài)性能提出更高的要求。這些 難點使得多目標跟蹤方法的核心算法，即數(shù)據(jù)關(guān)聯(lián)，變得更加復(fù)雜在上百個目標和上千個 測量數(shù)據(jù)中，究竟哪個數(shù)據(jù)是哪個目標產(chǎn)生的，它又該對應(yīng)于下一時刻的哪個數(shù)據(jù)呢？1978 $， Reid3 Donald B. Reid. "An Algorithm for Tracking MultipleTargets".IEEE Transactions on Automatic Control, Vol.24, No. 6, Decemberl979.提出了多假設(shè)跟蹤(MHT)方法，此后，很多學(xué)者提出改進算法4、 Blackman,S. S. ；Dempster, R. J. ；Broida,Τ. J. "Multiple hypothesis trackconfirmation for infrared surveillance systems". Aerospace and EIectronicSystems, IEEE Transactions on, Volume 29, Issue 3, July 1993Page(s) :810_824 ;5、Lancaster, J. ；Blackman, S. "Joint IMM/MHT Tracking andldentification for Multi-Sensor Ground Target Tracking". Information Fusion,2006. ICIF ' 06. 9th International Conference on July 2006Page (s) : 1-7 ;6、Muthumanikandan, P. ；Vasuhi, S. ；Vaidehi, V. . "Multiple Maneuvering TargetTracking Using MHT and Nonlinear Non-Gaussian Kalman Filter". SignalProcessing,Communications and Networking,2008. ICSCN' 08. InternationalConference on 4-6Jan. 2008Page (s) :52_565。MHT方法在每一時刻根據(jù)每 一目標估計狀態(tài)在觀測空間生成跟蹤門，確定落入跟蹤門內(nèi)的觀測，以一個目標只能產(chǎn)生 一個觀測、一個觀測只能來源于一個目標為約束，針對每一目標估計狀態(tài)和相應(yīng)跟蹤門內(nèi) 的每一觀測生成全局關(guān)聯(lián)假設(shè)。與JPDAF不同的是，MHT考慮了觀測來源于新目標的可能 性，以及目標沒有被觀測到的可能性，將每一次遞推中的數(shù)據(jù)關(guān)聯(lián)假設(shè)積累N個時間點后， 進行N-scan回溯決策。原理上，多假設(shè)跟蹤能求得理想的數(shù)據(jù)關(guān)聯(lián)。在實際中，這卻是一 個NP的難題，算法的計算復(fù)雜性指數(shù)增長，無法對所有可能的假設(shè)進行回溯。上述方法代表了當(dāng)前多目標跟蹤?quán)徲虻乃?，目前的研究和發(fā)展大多是對這類方 法的改進。然而，這類方法針對的都是雷達觀測數(shù)據(jù)，其特點是隨機點目標。視頻跟蹤基于 圖像和視頻處理方法，主要依賴于對目標視頻特征的分析和前后幀目標特征的相似性。由
4于視頻特征非常有效，在很長的時間內(nèi)并沒有把多目標的數(shù)據(jù)關(guān)聯(lián)作為研究重點。10H.Jiang，S.Fels，and J. J. Little. A linear programming approach formultiple object tracking. Int Conf. on Computer Vision and PatternRecognition, 2007.針對人群中個人跟蹤問題，提出了使用線性規(guī)劃來求全局最 優(yōu)目標軌跡的方法。他們用網(wǎng)絡(luò)來表示可能的數(shù)據(jù)關(guān)聯(lián)，網(wǎng)絡(luò)中的每一個連接表示每一 個可能的關(guān)聯(lián)。連接的代價函數(shù)由三個分量組成一是上下兩個觀測的特征相似性(或 稱似然率)，二是上下兩個觀測的位置之距離，三是遮擋所引起的損失。有了代價函數(shù)， 使用線性規(guī)劃或Vitabi算法求取最優(yōu)路徑就理所當(dāng)然了。llYuan Li, Chang Huang and RamNevatia, Learning to Associate :Hybrid Boosted Multi-Target Tracker forCrowded Scene，Int Conf. on Computer Vision and Pattern Recognition, 2009.在 以上數(shù)據(jù)關(guān)聯(lián)方法中進一步加入運動模型。他們將可能的運動模型表示成訓(xùn)練數(shù)據(jù)，通過 學(xué)習(xí)嵌入相似度量中，進一步改善數(shù)據(jù)關(guān)聯(lián)的質(zhì)量。傳統(tǒng)的跟蹤?quán)徲蚝鸵曨l跟蹤分別有著自己的研究傳統(tǒng)和技術(shù)特點。例如，傳統(tǒng)跟 蹤?quán)徲蚍椒ǘ紝儆趶V義的貝葉斯網(wǎng)濾波，是概率和統(tǒng)計方法，沒有目標特征的概念；而視頻 跟蹤有相當(dāng)一部分工作是確定的數(shù)字方法，如目標特征和相似度量，線性規(guī)劃等。對于這類 方法，充分吸取傳統(tǒng)跟蹤?quán)徲虻耐暾臄?shù)據(jù)關(guān)聯(lián)方法很有必要。這兩個鄰域都局限在各自 的數(shù)據(jù)和傳統(tǒng)方法中，然而，隨著探測技術(shù)的發(fā)展，我們獲得的目標數(shù)據(jù)不僅是點，有時是 象；不僅是單一觀測手段，有時是多種或安裝在多個地點的傳感器和成象裝置。應(yīng)用鄰域也 在不斷擴展，雙方的傳統(tǒng)應(yīng)用鄰域也有很多交叉。例如使用實時成象系統(tǒng)對地面目標的跟 蹤。為了適應(yīng)新型傳感器技術(shù)的發(fā)展，為了滿足不斷出現(xiàn)的新的應(yīng)用的需求，必須從基本方 法的層面，研究新的多目標跟蹤方法。新的多目標跟蹤方法必須面對的是大量數(shù)目變化的 目標，目標高度機動，并伴隨強干擾和虛警。從根本上說，對多目標的檢測和跟蹤的基礎(chǔ)，是融合各種探測手段測得的關(guān)于目 標的譜、空間和時間域的數(shù)據(jù)，充分利用目標和干擾的運動知識，充分利用目標和干擾對傳 感器的反射特性，構(gòu)建目標的“特征跡”(Signature)，是跟蹤方法的基礎(chǔ)。由此我們研發(fā)了 “特征跡驅(qū)動的多目標跟蹤方法”(Signature-Driven multi-target Tracking，SDT)。目標的譜、空間和時間域的信息的融合，S卩“特征跡”，是一目標區(qū)別于另一目標、 區(qū)別于干擾和背景的根本。目標的譜信息是目標對于探測器的反射特征，它的空間分布就 是目標的形狀和表面特征，對于時間的分布就是目標的運動特性。在進行數(shù)據(jù)關(guān)聯(lián)的時候， 使用“特征跡”的概念，我們可以系統(tǒng)地利用目標譜及其空間分布的連續(xù)性，目標運動特性 (位置、速度、加速度、運動模型)的連續(xù)性。傳統(tǒng)的跟蹤方法，如多假設(shè)跟蹤，只是通過位置 連續(xù)性的時間積累，完成對假設(shè)的取舍。視頻跟蹤方法更多地強調(diào)了視頻特征，沒有信息融 合的概念，也沒有形成利用時間域連續(xù)性的機制。 特征跡驅(qū)動的多目標跟蹤方法對于可能的目標，在一定的時間間隔內(nèi)生成該候選 目標的“特征跡”，計算其運動模型、特征度量，以及運動和特征的馬爾可夫可信度，并由此 導(dǎo)出該特征跡的整體可信度。這一特征跡生成過程使用了目標的動態(tài)模型和物理性質(zhì)，實 現(xiàn)在譜、空間和時間域的信息融合。例如，物體有6個自由度(3個位置、3個方位)，它們的 運動都涉及6個自由度的變化，產(chǎn)生相對于傳感器的位置和朝向的變化。反映到測量數(shù)據(jù) 上，便是運動和特征以及馬爾可夫性。這是目標有別于干擾，以及目標之間相互區(qū)別的物理基礎(chǔ)。另一方面，雷達數(shù)據(jù)的檢測概率主要取決于雷達等效切面積(RCS)，而加入譜、空間和 時間域信息后，可以實現(xiàn)目標的自適應(yīng)檢測，大大提高目標的檢測概率。目標的特征、馬爾 可夫性和檢測概率構(gòu)成了目標特征跡的整體可信度。使用整體可信度來確定該特征跡的真 偽和去留，從而在第一時刻去除虛假關(guān)聯(lián)，可以大大降低計算復(fù)雜度。經(jīng)過確認的特征跡所 代表的數(shù)據(jù)將送往濾波器。這樣，進入濾波器的干擾很少，濾波出的航跡的準確性也大大提 尚ο1.問題描述為便于下文闡述，我們首先給出單目標跟蹤和多目標跟蹤的貝葉斯濾波估值方法 的基本框架。1.1單目標跟蹤在單個點目標動態(tài)跟蹤中，假定目標狀態(tài)在狀態(tài)空間X e Rnx里是一階馬爾科夫 過程，它的狀態(tài)轉(zhuǎn)移概率為P (Xt I Xt^1)，也即給定目標在時刻t-Ι的狀態(tài)xt_i，它在時刻t狀 態(tài)偽Xt的概率密度。在觀測空間Z e Rnz,目標在時刻t的狀態(tài)Xt可以被觀測到的似然函 數(shù)為P (zt I Xt)。我們所要求的是在時刻t，在給定該時刻和該時刻以前的所有觀測值z1:t = (Z1, ...，Zt)的條件下，目標具有狀態(tài)&的后驗概率密度p(xt|z1:t)，這可以通過如下的迭 代方法求得PtIt-! (XtIzliw) =S p(xt|xt_1)p(xt_1|z1:t_1)dxt_1(1)
_7] ‘ u Jp(Xk)ZV1(Xlv1)i^(2)求得后驗概率后，可以用其最大后驗概率狀態(tài)作為估值，稱MAP方法。然而，這 僅是理論解。在實現(xiàn)中，我們必須知道初始概率、求得轉(zhuǎn)移概率的動態(tài)方程、求得似然 率的測量方程，以及它們的分布函數(shù)。為實現(xiàn)的方便，人們常假定目標狀態(tài)和觀測服從 線性高斯動態(tài)模型，或多個高斯模型的疊加。這里，我們在濾波時也采用高斯分布的假 定禾口 kalman 濾波12Kalman, R. E. I960. "A New Approach to Linear Filtering and Prediction Problems, "Transaction of the ASME-Journal of Basic Engineering, pp.35-45(Marchl960).。1.2多目標跟蹤圖1給出了存在噪聲和雜波干擾條件下，大機動、數(shù)目變化的多目標運動與觀測。在狀態(tài)空間中，假定在時刻t-Ι目標個數(shù)為m(t-l)，并假設(shè)這些目標的狀態(tài)為 Xw =(χ;_ρχ(2_1,...,<Γ))'。進一步假設(shè)目標i以檢測概率Pd產(chǎn)生觀測# — p{z[;\ I O。在 時刻t-Ι，我們獲得觀測數(shù)據(jù)V1 =(zlvzlv...,z^'l))。這些觀測中，部分觀測是由目標產(chǎn)生 的，其他觀測則是雜波或干擾。也有部分目標所產(chǎn)生得觀測并沒有被檢測到。因此，如何在 獲得的觀測中，找到屬于目標i所產(chǎn)生的觀測數(shù)據(jù)ζ=，實屬不易。再者，到時刻t，一些目 標可能會消失，而繼續(xù)存在的目標的狀態(tài)可能會改變，或切換運動模型，并可能有新的目標 產(chǎn)生，此時獲得的觀測為Zi =(Z),Zi2,...,z，))，此時又如何找到與目標i所產(chǎn)生的觀測呢？ 因此，多目標跟蹤的任務(wù)就是在干擾、目標機動和數(shù)目變化的復(fù)雜情況下，對每一個目標i， 找到它在每一個時刻的觀測數(shù)據(jù)序列#。
圖2給出了傳統(tǒng)多目標跟蹤的基本原理框圖。它以濾波為中心，在尋找目標i所 對應(yīng)的觀測ζ=時，它使用目標的動態(tài)特性產(chǎn)生跟蹤門，只對門內(nèi)的觀測進行關(guān)聯(lián)。這時，仍 存在的問題有門內(nèi)的觀測可能有多個，哪個最有可能？此時，也存在目標產(chǎn)生的觀測沒有 被檢測到的情況。再者，兩個或多個目標的跟蹤門可能重合。這些問題使得多目標跟蹤中 的數(shù)據(jù)關(guān)聯(lián)方法，如JPDAF，難以應(yīng)付。為了更好地解決這些問題，MHT在N個時間點尋求最 優(yōu)解。然而，目標動態(tài)特性極大地挑戰(zhàn)目前跟蹤門的產(chǎn)生方法，在目標的先驗知識不夠或使 用不充分的情況下，求最優(yōu)很難奏效。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)存在的問題，本發(fā)明的主要目的在于提供一種特征跡驅(qū)動的多 目標跟蹤方法及裝置。為達成上述目的，本發(fā)明提供的一種特征跡驅(qū)動的多目標跟蹤裝置，該裝置包 括觀測數(shù)據(jù)模塊是一個傳感器系統(tǒng)，通過傳感器系統(tǒng)得到目標的觀測數(shù)據(jù)的數(shù)值表 示；傳感器系統(tǒng)把目標的物理特性和運動特性轉(zhuǎn)換成譜、空間和時間域的數(shù)據(jù)；特征跡生成、管理、確認和刪除模塊，其輸入端與觀測數(shù)據(jù)模塊的輸出端連接，用 于接收觀測數(shù)據(jù)模塊所產(chǎn)生的目標觀測數(shù)據(jù)以及跟蹤門形成模塊輸出的鄰域數(shù)據(jù)，形成特 征跡，并對特征跡進行管理、確認和刪除處理，最后輸出特征跡信息；跟蹤門形成模塊，其輸入端與特征跡生成、管理、確認和刪除模塊的輸出端連接； 其輸出端與特征跡生成、管理、確認和刪除模塊的輸入端連接；跟蹤門形成模塊接收特征跡 數(shù)據(jù)，由特征跡定義鄰域，生成并輸出鄰域數(shù)據(jù)；濾波模塊，其輸入端與特征跡生成、管理、確認和刪除模塊的輸出端連接，用于接 收特征跡生成、管理、確認和刪除模塊的特征跡數(shù)據(jù)，并預(yù)測輸出目標狀態(tài)和位置。為達成上述目的，本發(fā)明提供的一種使用特征跡驅(qū)動的多目標跟蹤裝置的特征跡 驅(qū)動的多目標跟蹤方法，該方法包括步驟如下步驟Sl 將目標0的特征跡設(shè)定為目標在時間區(qū)間[a，t]內(nèi)的數(shù)據(jù)結(jié)構(gòu)，其中a =max(t-N+l, s)，時間區(qū)間長度為N，s為目標出現(xiàn)時刻，t為當(dāng)前時刻；目標在時刻t的特 征跡Signature (a，t)由六元組結(jié)構(gòu)組成表示如下Signature (a, t) = {Dt, Lt, Ft, Kt, Ct, At}式中Dt表示為測量數(shù)據(jù)；Lt表示為等效狀態(tài)序列；Ft表示為特征序列；Kt表示 為運動連續(xù)性；C表示為t特征連續(xù)性；vt表示為目標整體可信度；步驟S2 根據(jù)每一幀的目標均具有特征特性和運動特性，利用同一目標0在前后 幀之間特征特性和運動特性的馬爾科夫性，生成鄰域，形成跟蹤門；步驟S3 確定鄰域后，將沒有落入現(xiàn)有特征跡的鄰域內(nèi)的觀測信息設(shè)定為新目標 起點，生成新的特征跡；將落入現(xiàn)有特征跡的鄰域內(nèi)的觀測信息與現(xiàn)有特征跡做關(guān)聯(lián)，生成 更新的特征跡；將所述特征跡以樹結(jié)構(gòu)保存；將樹中自根節(jié)點的每一條路徑對應(yīng)于一個可能的特 征跡數(shù)據(jù)關(guān)聯(lián)序列；如果所述特征跡時間達到N個采樣間隔，則將目標整體可信度比較低 的特征跡刪除，再將等效狀態(tài)序列之差小于某個門限的特征跡合并；
7
最后，從該樹中抽取目標整體可信度最高的特征跡，并輸出目標整體可信度最高 的特征跡；步驟S4 在前后幀之間，設(shè)定馬爾科夫性如下定義運動馬爾科夫可信度ζW = P(ItJLH) =cs(lt,j ξ H) -Cm(I^jIlm), 其中，Cs(it,jl U為前一時刻等效狀態(tài)到當(dāng)前時刻等效狀態(tài)ι,j的轉(zhuǎn)移特性， Cm(I^jIlm)表征當(dāng)前時刻等效狀態(tài)ξ^與整個特征跡等效狀態(tài)序列Lh的相容性；定義特征馬爾科夫可信度μt,j= P(IUjlFH) = cF(nt,j η H) · Ck ( η t, j | FtJ 其中，cjiiql η^1)為前一時刻特征跡到當(dāng)前時刻特征跡nt,j的轉(zhuǎn)移特性，cK(nt, j I Ft^1)表征當(dāng)前時刻特征跡Jlq與整個特征跡Fw的相容性；步驟S5 給定特征跡，使用特征跡整體可信度、應(yīng)用航跡起始原則和終結(jié)原則對 之進行確認和刪除判斷；在一棵樹中，如果全部特征跡被刪除，則目標航跡到此終止；如果有多于一個的特 征跡被確認，則保留整體可信度最大的特征跡；重復(fù)執(zhí)行步驟S1-S5實現(xiàn)多目標跟蹤。本發(fā)明的有益效果本發(fā)明提出了一種嶄新的特征跡驅(qū)動的多目標跟蹤方法 (SDT)。它從多目標檢測和跟蹤的物理基礎(chǔ)出發(fā)，從根本上提出一動態(tài)目標有別于干擾和其 它目標的度量_“特征跡”，并給出了在譜、空間和時間域使用目標的物理特性和運動特性融 合測量數(shù)據(jù)生成特征跡，計算基于運動馬爾可夫可信度、特征馬爾可夫可信度以及檢測概 率和虛警密度的特征跡整體可信度的方法。使用特征跡及其可信度，SDT在第一時間去除 噪聲，大大提高了數(shù)據(jù)關(guān)聯(lián)的可靠性，使得跟蹤結(jié)果中真航跡概率增加、壽命加長。由于進 入濾波器的是確認后的特征跡數(shù)據(jù)，使得跟蹤結(jié)果的精度大大提高。實驗結(jié)果表明，特征跡 驅(qū)動的多目標跟蹤方法在性能上遠優(yōu)于目前公認為最佳的多假設(shè)跟蹤(MHT)方法。SDT方法一開始就利用特征跡去除噪聲和干擾，大大簡化了算法的復(fù)雜度。由于 MHT算法有很多簡化算法，需要進行認真調(diào)查才能確定其最新的計算復(fù)雜度。


圖1給出了現(xiàn)有技術(shù)存在噪聲和雜波干擾條件下，大機動、數(shù)目變化的多目標運 動與觀測。圖2給出了傳統(tǒng)多目標跟蹤的基本原理框圖。圖3是本發(fā)明SDT方框圖。圖4是本發(fā)明特征跡樹的生成示意圖。圖5是本發(fā)明目標軌跡和虛警數(shù)據(jù)示意圖。圖6 (a)是現(xiàn)有技術(shù)MHT跟蹤結(jié)果。圖6 (b)是本發(fā)明SDT跟蹤結(jié)果示意圖。圖7(a)、圖7(b)是為了復(fù)雜化跟蹤場景，向魚缸中加入了與魚形態(tài)相似的紙片， 作為雜波和干擾。圖8是相交目標跟蹤效果示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。2.特征跡驅(qū)動的多目標跟蹤方法如圖3示出本發(fā)明的SDT方框圖與圖2中的傳統(tǒng)跟蹤方法的流程不同，本發(fā)明的 SDT的數(shù)據(jù)關(guān)聯(lián)發(fā)生在濾波之前，由特征跡扮演中心角色。由于特征跡是譜、空間和時間特 征數(shù)據(jù)的融合，它是目標能區(qū)別于其它目標和噪聲的最完全的信息，由它形成的跟蹤門更 合理，也更能去除噪聲；由它進行航跡的確認和刪除也更為有效。確認后的特征跡所關(guān)聯(lián)的 數(shù)據(jù)送往濾波器，使加入濾波器的噪聲遠少于信號，大大提高了跟蹤精度。如圖3示出SDT方框圖，包括觀測數(shù)據(jù)模塊是一個傳感器系統(tǒng)，通過傳感器系統(tǒng)得到目標的觀測數(shù)據(jù)的數(shù)值表 示；傳感器系統(tǒng)把目標的物理特性和運動特性轉(zhuǎn)換成譜、空間和時間域的數(shù)據(jù)；特征跡生 成、管理、確認和刪除模塊，其輸入端與觀測數(shù)據(jù)模塊的輸出端連接，用于接收觀測數(shù)據(jù)模 塊所產(chǎn)生的目標觀測數(shù)據(jù)以及跟蹤門形成模塊輸出的鄰域數(shù)據(jù)，形成特征跡，并對特征跡 進行管理、確認和刪除處理，最后輸出特征跡信息；跟蹤門形成模塊，其輸入端與特征跡生 成、管理、確認和刪除模塊的輸出端連接；其輸出端與特征跡生成、管理、確認和刪除模塊的 輸入端連接；跟蹤門形成模塊接收特征跡數(shù)據(jù)，由特征跡定義鄰域，生成并輸出鄰域數(shù)據(jù)； 濾波模塊，其輸入端與特征跡生成、管理、確認和刪除模塊的輸出端連接，用于接收特征跡 生成、管理、確認和刪除模塊的特征跡數(shù)據(jù)，并預(yù)測輸出目標狀態(tài)和位置。目標特征跡是傳感器系統(tǒng)所得到的目標觀測數(shù)據(jù)的數(shù)值表示。傳感器系統(tǒng)把目標 的物理特性(如反射系數(shù)，輻射率，形狀)和運動特性(如位置，速度，加速度，轉(zhuǎn)彎)轉(zhuǎn)換 成譜、空間和時間域的數(shù)據(jù)。未經(jīng)處理的數(shù)據(jù)所包含的目標特征層次較低，需要在譜、空間 和時間域里，使用目標的物理模型和動態(tài)模型，以及噪聲模型，運用數(shù)據(jù)融合的方法，將目 標較高層次的特征從這些數(shù)據(jù)中提取出來并形成特征跡。背景和雜波可視為特殊類型的目標，對目標和雜波的數(shù)學(xué)建模是分析方法和跟蹤 算法的基礎(chǔ)。已知關(guān)于目標、雜波和監(jiān)控區(qū)域的先驗信息，在提出跟蹤算法之前，有必要對 目標和雜波進行數(shù)學(xué)建模。在建模時，要考慮傳感器系統(tǒng)的特性、目標反射回波的特性、目 標運動學(xué)特性、雜波的特性等等。在對目標和雜波建模之后，需要建立目標模型數(shù)據(jù)庫，數(shù) 據(jù)庫中每種目標數(shù)據(jù)項中的變量包括目標類型、特征，可能的運動學(xué)模型，目標的出現(xiàn)概 率；雜波類型、特征，以及雜波的出現(xiàn)概率等。2. 1目標特征跡定義我們將目標0的特征跡(Signature)定義為目標在時間區(qū)間[a，t]內(nèi)的數(shù)據(jù) 結(jié)構(gòu)，其中a = max(t-N+l，s)，時間區(qū)間長度為N，s為目標出現(xiàn)時亥lj，t為當(dāng)前時刻。 Signature (a, t)是一六元組結(jié)構(gòu)Signature (a, t) = {Dt, Lt, Ft, Kt, Ct, Aj其中六元組結(jié)構(gòu)組成包括 測量數(shù)據(jù)Dt = (za, ...，zt)；其中Za起始時刻a傳感器所獲得的數(shù)據(jù)矢量，Zt 當(dāng)前時刻t由η個傳感器所獲得的數(shù)據(jù)矢量。 等效狀態(tài)序列Lt = ( ξ a，. . .，ξ t) ； ξ a是起始時刻a的等效狀態(tài)，ξ t是當(dāng)前 時刻t的等效狀態(tài)，包含目標的位置、速度和加速度，由測量數(shù)據(jù)Dt導(dǎo)出。特征序列Ft = (na,..., nt) 是起始時刻a的特征跡，nt是當(dāng)前時刻t的特征跡，即從特征測量數(shù)據(jù)中所提取的目標的譜和空間特征序列；對于視頻數(shù)據(jù)而言，其特征選取為顏色信息、輪廓信 息、幾何形狀信息； 運動連續(xù)性Kt = { ζ t，λ J ；其中，ζ t是當(dāng)前時刻t運動馬爾科夫可信度，包 括了位置、速度和加速度的連續(xù)性描述；λ t是當(dāng)前時刻t基于運動信息為目標0的概率。 特征連續(xù)性Ct = { μ t，τ J ；其中μ t是當(dāng)前時刻t特征馬爾科夫可信度，也即 當(dāng)前特征在整個特征跡中的相容性，例如，人走動的視頻序列，由于人相應(yīng)于攝像機的方位 變化，其圖像特征也會變化，但其變化是連續(xù)的，滿足馬爾可夫特性。、是當(dāng)前時刻t基于 特征信息為目標0的概率。 目標整體可信度Vt ；它給出了特征跡在此時此地表征某一目標的概率。特征跡Signature (a，t)中的等效狀態(tài)序列的產(chǎn)生使用的是對位置、速度和加速 度的曲線擬合方法。擬合可以是高階非線性，原則上可以適合任意運動模型。因此，我們沒 有在SDT中引入多模型。2. 2由特征跡定義鄰域準確地定義鄰域是降低跟蹤方法中假設(shè)數(shù)目的關(guān)鍵。在設(shè)置門限確定鄰域時，我 們將目標運動的馬爾可夫性表述到運動模式中1)加速度的馬爾可夫性對應(yīng)于當(dāng)前加速 度運動模式或CA運動模式；2)速度的馬爾可夫性對應(yīng)于當(dāng)前速度運動模式或CV模式。應(yīng) 用特征跡中運動特性設(shè)定鄰域，同時考慮了位置、速度和加速度的馬爾可夫性。目標在運動時，其特征跡具有馬爾科夫特性。前后幀之間，同一目標的特征相同或 相似，其運動變化趨勢相同或相近。例如，對于人群的視頻跟蹤而言，人在走動時，由于人 相應(yīng)于攝像機的方位不斷變化，其圖像特征也會變化，但其變化是連續(xù)的，滿足馬爾可夫特 性。我們設(shè)定鄰域，既考慮運動的連續(xù)性，也考慮特征的連續(xù)性。假設(shè)從譜域、空域和時域提取出的較高層次的某時刻的特征數(shù)據(jù)為η，位置數(shù)據(jù) 為zP。此時，不妨將數(shù)據(jù)寫為ζ' = {zP, n}0給定0在時刻t-Ι的等效狀態(tài)ξ ，對傳感器系統(tǒng)時刻t的觀測數(shù)據(jù)，其運動連續(xù) 性鄰域Gk設(shè)定為Gk= {ζ' = {ζΡ，η} (zP-gt (ft ( ξ ^1))) tS"1 (zP-gt (f^^ ( ξ ^1)))彡 ε J (3)S由系統(tǒng)模型AlH(XtIXH)和觀測模型gt(zt|xt)導(dǎo)出，運動的馬爾科夫特性也體 現(xiàn)在系統(tǒng)動態(tài)模型f的選取中。對于特征η，可以選取與之對應(yīng)的相似度函數(shù)cF，使之取值在0-1之間。取值越 大，兩特征越相似。又以Ck表示特征變化趨勢評估函數(shù)，取值也在0-1之間。取值越大，表 明從特征序列Ft到η變化趨勢的相容度越高。對時刻t的觀測數(shù)據(jù)，首先應(yīng)用目標和雜 波特征的不同，將雜波從觀測數(shù)據(jù)中分離出去。對于剩下的觀測數(shù)據(jù)，將之與已有特征跡進 行關(guān)聯(lián)。給定特征跡O，相應(yīng)的特征連續(xù)性鄰域記為Gf。最終的鄰域G為運動連續(xù)性鄰域Gk和特征連續(xù)性鄰域Gf之交G = Gk Π Gf(5)2. 3特征跡的生成和管理如圖4示出特征跡樹的生成示意圖，確定特征跡鄰域之后，假定在時刻t，存在一 個觀測zt，沒有落入任何現(xiàn)有特征跡的鄰域之內(nèi)，那么，它有可能是一個新目標的起點。將 之設(shè)定為起點，生成一個t時刻的特征跡，不妨記之為O，其對應(yīng)目標的出現(xiàn)時刻為S = t。
10
在t+Ι時刻，確定t時刻的特征跡ο的鄰域，求得落入t時刻的特征跡ο鄰域內(nèi)的 觀測集為Iz1w，. . .，Zm0t+1}，那么將t時刻的特征跡O分別與這m。個觀測及漏檢做關(guān)聯(lián)，生 成m。+l個新的特征跡，記之為0j，j = 0,1, ... , m。，其中oQ由t時刻特征跡ο與漏檢相關(guān) 聯(lián)所生成，0j(j = 1，. . .，m)由t時刻的特征跡ο與一t+1觀測相關(guān)聯(lián)所生成；它們與t時刻 特征跡ο對應(yīng)同一個目標；由此，t時刻特征跡ο生成了新的m。+l個特征跡。在t+2時刻 進行同樣操作。這樣，我們就生成了一個特征跡樹結(jié)構(gòu)，如圖4。按照定義，樹中自根節(jié)點的每一 條路經(jīng)，對應(yīng)于一個可能的數(shù)據(jù)關(guān)聯(lián)序列，也即可能的特征跡。但為了航跡起始與終結(jié)操作 的方便，如果特征跡時間達到了 N個采樣間隔，即t-s+Ι = N，進行剪枝與合并操作刪除整 體可信度Vt比較低特征跡；如果幾個特征跡等效狀態(tài)序列之差小于某個門限，那么將之合 并。在剪枝合并操作后，如果該樹已有特征跡得到確認，那么從該樹中抽取整體可信度最高 的特征跡作為該樹的輸出將根節(jié)點送入濾波器估計目標的狀態(tài)，并將濾波結(jié)果送入航跡 集中，以便航跡維持和管理。樹的新根節(jié)點下移一個時間點，保持特征跡時間長度為N。為表述方便，下文一律采用以下表述方式給定t-Ι時刻生成的特征跡樹結(jié)構(gòu)θ， 其某一末端葉節(jié)點對應(yīng)的特征跡為ο = {Dt_i，LH，F(xiàn)w，Kw，C^1，At_J，在當(dāng)前時刻，即t時 刻，落入ο鄰域內(nèi)的觀測集合為Z°t = Izit, i = 1，. . .，m。}，這m。個觀測和漏檢分別與ο相 關(guān)聯(lián)后，得到特征跡Oj= {Dt,」，Lt,」，F(xiàn)t,」，&,」，(；,」，&,」}，]· = 0，1，···，m。，而落入樹θ的 觀測集合為Zf=[}z:^{z\,i = \,...,m}(6)
O2. 4特征跡馬爾科夫可信度對于特征跡0，我們首先確定其運動馬爾科夫可信度ζ t和特征馬爾科夫可信度
μ t。目標的運動具有其連續(xù)性，也即馬爾科夫性。當(dāng)前時刻的目標位置、速度和加速度 都與前一時刻或相當(dāng)長時間的相關(guān)。在考慮馬爾可夫可信度時，不僅要考慮前一時刻狀態(tài) 對當(dāng)前時刻的影響，也要考慮特征跡內(nèi)整個等效狀態(tài)序列的影響。由此，我們定義運動馬爾 可夫可信度Ctj = P(ULH) =cs(lt,j ξ H) -Cm(I^jIlm)(7)其中，cs( ξ t,j ξ t_i)為前一時刻等效狀態(tài)ξ t l到當(dāng)前時刻等效狀態(tài)ξ t,j的轉(zhuǎn)移 特性，其取值越大，表明兩狀態(tài)相關(guān)性越高；CM(IqlI^1)表征當(dāng)前時刻等效狀態(tài)Iq與整 個特征跡等效狀態(tài)序列Lh的相容性，這涉及到狀態(tài)轉(zhuǎn)移變化趨勢的一致性、運動模型轉(zhuǎn)換 的協(xié)調(diào)性等，其取值越大，表明ξ t,j與等效狀態(tài)序列LH的相容度越高。相鄰時間點特征之間的變化可能因運動、環(huán)境等而起，這一變化也具有連續(xù)性。也 就是說，同一個目標的前后點的特征是相似的，特征的變化趨勢也是相近的。同樣，我們將 特征馬爾可夫可信度Pq定義為目標特征Hq在該特征跡的特征序列Ft_i內(nèi)的整體相容 性，這涉及到nt,j與IV1的相似度，以及其與Ft_i的變化趨勢的相容性Utjj = P(HtjjIFw) = cF(ntjJ 11η) * cK( IltjjIFw)(8)其中，cF(i!t,」η ^1)為前一時刻特征跡到當(dāng)前時刻特征跡的轉(zhuǎn)移特性， Ck(ηt,JIFm)表征當(dāng)前時刻特征跡IKj與整個特征跡Fw的相容性。λ"=^Γ(11)
J Pu-V1+(I-V1)
給定特征連續(xù)性刻畫函數(shù)
Kj = P(1UjIFh)(12)
那么的特征信息關(guān)聯(lián)似然比為
，"ο
y .= <
從而有 τ _
u W(I-V1)
整合以上各式可以求得Oj的整體可信度Vt, j = L,tAt,J+ F,
給定特征跡確認門限Prc和刪除門限Ρττ，貝葉斯確認和刪除決策邏輯為 vt j < Ptt , Delete Ptt <v, j <Ptc, Further Investigation(15)
vt j > Ptc , Confirm
式中，
沙(16) 1。
2. 5特征跡的整體可信度和特征跡的確認和刪除給定一個特征跡，我們使用特征跡整體可信度vt，應(yīng)用航跡起始與終結(jié)原則對之 進行確認和刪除判斷4，應(yīng)用航跡起始與終結(jié)原則為公知技術(shù)在此不再贅述。給定前一時刻即t-Ι時刻ο的整體可信度= Wuw λ ^1+ωPjt^1 τ Μ，其中coF, t-1,' "L,t-1 為 t-1 時刻的權(quán)重系數(shù)，ωρ,Η, + α^,Η = 1。那么，當(dāng)前時刻即t時刻Oj的整體可信度vt,」=(OuXq+G^tTq，其中ω?！? F,t為t時刻的權(quán)重系數(shù)，ω^+ωΜ = 1。
通過如下方式計算。
給定運動馬爾科夫可信度
Qj = P(ULh)(9) pt
Porβ1-Pd1-β
(10)
J = O 其中Pd是目標檢測概率，β為虛警密度。從而有
13)
14)
+ ω
權(quán)利要求
一種特征跡驅(qū)動的多目標跟蹤裝置，其特征在于，該裝置包括觀測數(shù)據(jù)模塊是一個傳感器系統(tǒng)，其通過傳感器系統(tǒng)得到目標的觀測數(shù)據(jù)的數(shù)值表示；傳感器系統(tǒng)把目標的物理特性和運動特性轉(zhuǎn)換成譜、空間和時間域的數(shù)據(jù)；特征跡生成、管理、確認和刪除模塊，其輸入端與觀測數(shù)據(jù)模塊的輸出端連接，用于接收觀測數(shù)據(jù)模塊所產(chǎn)生的目標觀測數(shù)據(jù)以及跟蹤門形成模塊輸出的鄰域數(shù)據(jù)，形成特征跡，并對特征跡進行管理、確認和刪除處理，最后輸出特征跡信息；跟蹤門形成模塊，其輸入端與特征跡生成、管理、確認和刪除模塊的輸出端連接；其輸出端與特征跡生成、管理、確認和刪除模塊的輸入端連接；跟蹤門形成模塊接收特征跡數(shù)據(jù)，由特征跡定義鄰域，生成并輸出鄰域數(shù)據(jù)；濾波模塊，其輸入端與特征跡生成、管理、確認和刪除模塊的輸出端連接，用于接收特征跡生成、管理、確認和刪除模塊的特征跡數(shù)據(jù)，并預(yù)測輸出目標狀態(tài)和位置。
2.如權(quán)利要求1所述的特征跡驅(qū)動的多目標跟蹤裝置，其特征在于，所述特征跡生成、 管理、確認和刪除模塊需要在譜、空間和時間域里，使用目標的物理模型和動態(tài)模型、以及 噪聲模型，運用數(shù)據(jù)融合的方法，將目標較高層次的特征從目標的觀測數(shù)據(jù)中提取出來并 形成特征跡。
3.如權(quán)利要求1所述的特征跡驅(qū)動的多目標跟蹤裝置，其特征在于，所述特征跡由六 元組結(jié)構(gòu)組成表示如下Signature (a, t) = {Dt, Lt, Ft, Kt, Ct, At}式中Dt表示為測量數(shù)據(jù)；Lt表示為等效狀態(tài)序列；Ft表示為特征序列；Kt表示為運 動連續(xù)性；C表示為t特征連續(xù)性；vt表示為目標整體可信度。
4.一種使用權(quán)利要求1所述特征跡驅(qū)動的多目標跟蹤裝置的特征跡驅(qū)動的多目標跟 蹤方法，其特征在于，該方法包括步驟Sl 將目標0的特征跡設(shè)定為目標在時間區(qū)間[a，t]內(nèi)的數(shù)據(jù)結(jié)構(gòu)，其中a = max(t-N+l, s)，時間區(qū)間長度為N，s為目標出現(xiàn)時刻，t為當(dāng)前時刻；目標在時刻t的特征 跡Signature (a，t)由六元組結(jié)構(gòu)組成表示如下 Signature (a, t) = {Dt, Lt, Ft, Kt, Ct, At}式中Dt表示為測量數(shù)據(jù)；Lt表示為等效狀態(tài)序列；Ft表示為特征序列；Kt表示為運 動連續(xù)性；C表示為t特征連續(xù)性；vt表示為目標整體可信度；步驟S2 根據(jù)每一幀的目標均具有特征特性和運動特性，利用同一目標0在前后幀之 間特征特性和運動特性的馬爾科夫性，生成鄰域，形成跟蹤門；步驟S3 確定鄰域后，將沒有落入現(xiàn)有特征跡的鄰域內(nèi)的觀測信息設(shè)定為新目標起 點，生成新的特征跡；將落入現(xiàn)有特征跡的鄰域內(nèi)的觀測信息與現(xiàn)有特征跡做關(guān)聯(lián)，生成更 新的特征跡；將所述特征跡以樹結(jié)構(gòu)保存；將樹中自根節(jié)點的每一條路徑對應(yīng)于一個可能的特征跡 數(shù)據(jù)關(guān)聯(lián)序列；如果所述特征跡時間達到N個采樣間隔，則將目標整體可信度比較低的特 征跡刪除，再將等效狀態(tài)序列之差小于某個門限的特征跡合并；最后，從該樹中抽取目標整體可信度最高的特征跡，并輸出目標整體可信度最高的特 征跡；步驟S4 在前后幀之間，設(shè)定馬爾科夫性如下定義運動馬爾科夫可信度Kq = PKq I Lh) = Cs ( ξ t,」I ξ η) · cM( ξ t,」I Lh)，其 中，cjlt.jl ξ ^1)為前一時刻等效狀態(tài)ξ^到當(dāng)前時刻等效狀態(tài)ξ^的轉(zhuǎn)移特性，cM(€t, j I Lt^1)表征當(dāng)前時刻等效狀態(tài)ξ t,j與整個特征跡等效狀態(tài)序列Lt_i的相容性；定義特征馬爾科夫可信度μ t,」=P ( η t,」I FtJ = cF ( η t,」| n ^1) cK(nt, j | Ft^1)其中， cF(nt,j n^)為前一時刻特征跡nt-i到當(dāng)前時刻特征跡nt,j的轉(zhuǎn)移特性，Ck(Ji^jIfm) 表征當(dāng)前時刻特征跡Hq與整個特征跡Fw的相容性；步驟S5 給定特征跡，使用特征跡整體可信度、應(yīng)用航跡起始原則和終結(jié)原則對之進 行確認和刪除判斷；在一棵樹中，如果全部特征跡被刪除，則目標航跡到此終止；如果有多于一個的特征跡 被確認，則保留整體可信度最大的特征跡；重復(fù)執(zhí)行步驟S1-S5實現(xiàn)多目標跟蹤。
5.如權(quán)利要求1或斗所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述測 量數(shù)據(jù)，表示為Dt = (za，...，zt)，其中，Za是起始時刻a傳感器所獲得的數(shù)據(jù)矢量，Zt是 當(dāng)前時刻t由n個傳感器所獲得的數(shù)據(jù)矢量。
6.如權(quán)利要求1或斗所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述等 效狀態(tài)序列，表示為Lt = ( ξ a，. . .，ξ t) ； ξ a是起始時刻a的等效狀態(tài)，ξ t是當(dāng)前時刻 t的等效狀態(tài)，包含目標的位置、速度和加速度，由測量數(shù)據(jù)Dt導(dǎo)出。
7.如權(quán)利要求1或今所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述特 征序列，表示為Ft = (na，...，η t) ;na是起始時刻a的特征跡，η t是當(dāng)前時刻t的特 征跡，即從特征測量數(shù)據(jù)中所提取的目標的譜和空間特征序列；對于視頻數(shù)據(jù)而言，其特征 選取為顏色信息、輪廓信息、幾何形狀信息。
8.如權(quán)利要求1或斗所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述運 動連續(xù)性，表示為Kt= {ζ,, AJ ；其中，Ct，是當(dāng)前時刻t運動馬爾科夫可信度，包括了位 置、速度和加速度的連續(xù)性描述；λ t是當(dāng)前時刻t基于運動信息為目標0的概率。
9.如權(quán)利要求1或斗所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述特 征連續(xù)性，表示為Ct= {yt, tJ ；其中μ t是當(dāng)前時刻t特征馬爾科夫可信度，也即當(dāng)前 特征在整個特征跡中的相容性，τ t是當(dāng)前時刻t基于特征信息為目標0的概率。
10.如權(quán)利要求ι或4"所述的特征跡驅(qū)動的多目標跟蹤裝置或方法，其特征在于，所述 目標整體可信度，表示為Vt ；它給出了特征跡在此時此地表征某一目標的概率。
全文摘要
本發(fā)明提出一種特征跡驅(qū)動的多目標跟蹤方法及裝置，該裝置觀測數(shù)據(jù)模塊把目標的物理特性和運動特性轉(zhuǎn)換成譜、空間和時間域的數(shù)據(jù)；特征跡生成、管理、確認和刪除模塊用于形成特征跡，并對特征跡進行管理、確認和刪除處理，最后輸出特征跡信息；跟蹤門形成模塊接收特征跡數(shù)據(jù)，由特征跡定義鄰域，生成并輸出鄰域數(shù)據(jù)；濾波模塊用于接收特征跡生成、管理、確認和刪除模塊的特征跡數(shù)據(jù)，并預(yù)測輸出目標狀態(tài)和位置。該方法從多目標檢測和跟蹤的物理基礎(chǔ)出發(fā)，提出特征跡，并給出了在譜、空間和時間域使用目標的物理特性和運動特性，融合測量數(shù)據(jù)生成特征跡，使用特征跡的馬爾可夫可信度實現(xiàn)高精度多目標跟蹤的方法。
文檔編號G06T7/20GK101944234SQ20101023512
公開日2011年1月12日 申請日期2010年7月23日 優(yōu)先權(quán)日2010年7月23日
發(fā)明者任曉袆, 吳健康, 孫樹巖, 蔣升, 黃志蓓 申請人:中國科學(xué)院研究生院