專利名稱：基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種目標(biāo)跟蹤方法，尤其涉及一種基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法。
背景技術(shù)：
目標(biāo)跟蹤在視覺導(dǎo)航、行為識別、智能交通等領(lǐng)域有非常廣泛的研究和應(yīng)用。當(dāng)前 大多數(shù)的運動檢測和目標(biāo)跟蹤算法都是基于混合高斯背景模型，但其難以解決光照變化、 遮擋、粘連、攝像機抖動等問題；其它跟蹤算法如光流法跟蹤、基于邊緣模型的跟蹤、基于特 征的跟蹤、CamShift跟蹤等，也都不能很好解決上述問題；事實上，在目標(biāo)跟蹤領(lǐng)域有更多 的問題，比如尺度變化、旋轉(zhuǎn)、噪聲、陰影等也一直沒有很好的解決方案。隨著圖像不變量特 征的研究和圖論在圖像領(lǐng)域的應(yīng)用，為本發(fā)明提供了靈感和技術(shù)支持，可以很好解決以上 所有問題。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有的目標(biāo)跟蹤方法的不足，提 供一種基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，可以處理場景中目標(biāo)尺度變化 (由近及遠或由遠及近)、旋轉(zhuǎn)、噪聲、晝夜變化、遮擋、粘連、攝像機抖動等難題，形成穩(wěn)定 的目標(biāo)軌跡及其精確的運動信息。技術(shù)方案本發(fā)明基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，提取特征點 進行跟蹤，然后對這些點的軌跡做圖論聚類，把軌跡歸類到各自的目標(biāo)，具體包括1)攝像機標(biāo)定，根據(jù)平面模型確立世界坐標(biāo)與圖像坐標(biāo)的變換關(guān)系矩陣，并據(jù)此 建立目標(biāo)尺寸圖，根據(jù)變換矩陣計算每個像素點目標(biāo)尺寸的范圍，其大小作為目標(biāo)尺寸圖 的像素值，標(biāo)定只需一次進行即可；這里假定場景中目標(biāo)的實際尺寸基本一致，比如公路 上的轎車，或廣場上的行人，對于場景中有不同尺寸的目標(biāo)的跟蹤，可融合其它算法綜合處 理。2)圖像預(yù)處理，把視頻流的幀圖像轉(zhuǎn)換為灰度圖像，計算灰度圖像整體亮度和 對比度，判斷圖像場景屬于白天、傍晚或晚上；若屬白天則不作預(yù)處理，若為傍晚可對圖像 作對比度拉伸或直方圖均衡化處理，若屬晚上，先檢測是否有大片高亮區(qū)域，若有則應(yīng)用 Tophat形態(tài)學(xué)處理求出車燈造成的高亮區(qū)域，只留下目標(biāo)包括車燈等區(qū)域，然后求Carmy 邊緣圖像，然后再做形態(tài)學(xué)開運算，這樣保證步驟(3)角點檢測時，不論白天或晚上都有大 量的角點。3)角點檢測，對預(yù)處理后的灰度圖像，檢測其Harris角點，Harris的特性可使多 數(shù)角點都在運動目標(biāo)上，其參數(shù)根據(jù)圖像尺寸和場景自動調(diào)節(jié)。4)不變量特征提取，在灰度圖像的每個角點上計算特征不變量，這里選取Lowe的 SIFT(尺度不變量特征變換)特征描述符，即計算梯度直方圖作為特征向量；可根據(jù)場景對 SIFT算法作精簡，比如只考慮尺度或旋轉(zhuǎn)的情況，或者尺度和旋轉(zhuǎn)都不考慮。
5)特征匹配，每幀都求出角點及其不變量特征后，上一幀的每個角點與本幀鄰域 內(nèi)的所有角點進行匹配，鄰域根據(jù)角點上一幀的位置和速度做線性插值估計或kalman估 計得到，匹配方法為計算角點與鄰域內(nèi)所有角點SIFT特征向量的歐氏距離，最小距離小于 閾值且與次小距離的比率小于一定閾值時則為匹配。6)形成角點軌跡，把幀間匹配的角點連接起來形成該角點的軌跡鏈表，若當(dāng)前幀沒有匹配到，則用估計點代替；當(dāng)前幀沒有被匹配的角點則作為新的軌跡插入軌跡鏈表； 連續(xù)若干幀沒有匹配到的軌跡則刪除；實時計算每幀所有軌跡的速度、方向等信息。7)基于圖論進行軌跡聚類，把每條軌跡作為圖的一個節(jié)點，節(jié)點之間的邊的連接 權(quán)重為兩軌跡的相似度，相似度的計算為軌跡的坐標(biāo)距離、速度和方向之差的加權(quán)；聚類后 形成若干個臨時目標(biāo)，每個臨時目標(biāo)包含若干軌跡，目標(biāo)的質(zhì)心、速度和方向根據(jù)其所含軌 跡平均值求得，目標(biāo)尺寸為所含軌跡的外接凸多邊形或外接矩形。8)目標(biāo)合并與分裂，首次出現(xiàn)的臨時目標(biāo)直接作為確定目標(biāo)，否則根據(jù)已有的確 定目標(biāo)與當(dāng)前幀聚類形成的臨時目標(biāo)做合并，并作合理性檢驗，來更新當(dāng)前的確定目標(biāo)；確 定目標(biāo)(經(jīng)過了一段時間的更新)若判斷為不合理，則把一部分軌跡分裂出去，直到滿足合 理性條件。9)合理性檢驗，若軌跡速度接近為0且在背景幀差得到的運動區(qū)域時，則認(rèn)為軌 跡不合理，予以刪除；若軌跡不斷反復(fù)或者劇烈跳變，不符合實際運動情形則也認(rèn)為軌跡不 合理，予以刪除；根據(jù)目標(biāo)尺寸是否滿足對應(yīng)位置的目標(biāo)尺寸圖的像素值，以及目標(biāo)內(nèi)軌跡 間的歷史一致性綜合判斷目標(biāo)是否合理；對于總的運動位移小于一定閾值的目標(biāo)，可以標(biāo) 記為可疑目標(biāo)，暫時不作為最終的目標(biāo)，等到位移達到一定閾值時再去除可疑標(biāo)記。10)背景提取，根據(jù)混合高斯背景模型提取背景，通過背景差分可以計算運動區(qū) 域，以輔助合理性檢驗；同一位置的角點出現(xiàn)的次數(shù)和時間滿足一定條件時作為背景角點， 這里同一位置的角點還要滿足特征匹配的要求，否則可能是靜止目標(biāo)在同一位置的角點； 背景角點的記錄通過建立背景角點圖的方式，背景角點圖中每點記錄了角點出現(xiàn)次數(shù)、時間及其不變量特征；背景角點所在軌跡不參與聚類。通過以上步驟，目標(biāo)合并與分裂之后保留下來的為確定目標(biāo)，每幀隨著目標(biāo)軌跡 會不斷更新，基本上經(jīng)過3幀左右即可達到穩(wěn)定，認(rèn)為是穩(wěn)定的目標(biāo)，其中的信息包括所屬 特征點的軌跡、目標(biāo)尺寸、質(zhì)心、速度、方向等，可以用來作視覺導(dǎo)航、行為分析、違章監(jiān)測、 流量統(tǒng)計等高級應(yīng)用。有益效果基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，是一個完整的目標(biāo) 跟蹤解決方案，在實際的視頻監(jiān)控、行為分析、智能交通、電子警察等領(lǐng)域有廣闊的應(yīng)用；與 現(xiàn)有技術(shù)相比，使用本跟蹤方法，用戶可以很好的解決當(dāng)前跟蹤算法中的經(jīng)典難題，實現(xiàn)對 多目標(biāo)的穩(wěn)定精確跟蹤，比如場景中目標(biāo)尺度變化、旋轉(zhuǎn)、光照、遮擋、粘連等問題；特別對 于晚上低照度、多噪點和車燈影響也能很好的處理；并且由于是基于穩(wěn)定特征點的像素級 跟蹤，目標(biāo)的尺寸、速度、方向都可以準(zhǔn)確計算。


圖1為本發(fā)明算法的流程圖。
具體實施例方式下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細描述圖1是本發(fā)明的算法流程圖，以跟蹤公路上的過往車輛為例，跟蹤算法按以下步 驟進行(1)系統(tǒng)初始化，根據(jù)視頻的分辨率設(shè)置參數(shù)，分配必須的變量和內(nèi)存；(2)攝像機標(biāo)定，在圖像中標(biāo)出一個矩形，給出其實際寬高為多少米，據(jù)此建立世 界坐標(biāo)與圖像坐標(biāo)的變換關(guān)系矩陣；根據(jù)此變換矩陣，可以把軌跡在圖像坐標(biāo)中的位移變 換到世界坐標(biāo)，進而得到軌跡的實際運動速度和運動方向；(3)根據(jù)標(biāo)定結(jié)果得到的變換矩陣建立目標(biāo)尺寸圖，該圖每點的像素值為以該點 為中心的車輛在圖像中所占據(jù)的圖像大小，用以約束后面的聚類和合理性檢驗，這里假定 場景中目標(biāo)以普通轎車尺寸為準(zhǔn)，對于一個場景，步驟(1) (2) (3)只需一次性完成；(4)圖像預(yù)處理，視頻流的每幀圖像或隔幾幀的圖像送入跟蹤系統(tǒng)，對輸入的圖像 作預(yù)處理；首先計算圖像整體亮度和對比度，判斷圖像場景屬于白天、傍晚或晚上；若屬白 天則不作預(yù)處理，若屬傍晚可對圖像作對比度拉伸或直方圖均衡化處理；若屬晚上，先檢測 是否有大片高亮區(qū)域，若有則應(yīng)用Tophat形態(tài)學(xué)處理去除車燈造成的高亮區(qū)域，只留下目 標(biāo)包括車燈等區(qū)域，然后求Canny邊緣圖像，然后再做形態(tài)學(xué)開運算，這樣保證后續(xù)的角點 檢測時，不論白天或晚上都有大量的角點；(5)角點檢測，基于圖像預(yù)處理，提取出Harris角點，Harris角點定義為兩個方向 梯度劇烈變化的點，因此多數(shù)都集中在目標(biāo)邊緣和目標(biāo)內(nèi)部，而路面等平滑處則不會出現(xiàn)， 陰影區(qū)域的內(nèi)部也不會出現(xiàn)，根據(jù)場景和實際需要可以調(diào)整Harris參數(shù)以得到最佳的角 點；這里還可以設(shè)定圖像的有效道路區(qū)域，以排除欄桿等干擾區(qū)域，也可由設(shè)置排除區(qū)域以 去除字幕等干擾區(qū)域，在角點這一層進行過濾；(6)不變量特征提取，在灰度圖像的每個角點上提取不變量特征，這里選取Lowe 的SIFT(尺度不變量特征變換)特征描述符，SIFT特征對尺度、旋轉(zhuǎn)、亮度、噪聲等具有不 變性，可以保證后續(xù)得到穩(wěn)定匹配點對；若場景中車輛沒有旋轉(zhuǎn)情況，則可以去掉SIFT的 旋轉(zhuǎn)模塊，若場景中車輛尺寸變化不大，則可以去掉SIFT的尺度模塊，或者簡單的以圖像 縮放來近似模擬尺度效果，這些精簡都可以在保持SIFT特征穩(wěn)定的前提下提高計算速度， 最后的特征向量為128維的整數(shù)；(7)特征匹配，每幀都求出角點及其不變量特征后，上一幀的每個角點與本幀鄰域 內(nèi)的所有角點進行匹配，鄰域根據(jù)角點上一幀的位置和速度做線性插值估計或kalman估 計得到，匹配方法為計算角點與鄰域內(nèi)所有角點SIFT特征向量的歐氏距離，最小距離小于 閾值且與次小距離的比率小于一定閾值時則為匹配；為檢測誤匹配或重復(fù)匹配，可采取反 向匹配或其它檢驗算法進行校正；(8)形成角點軌跡，把幀間匹配的角點連接起來形成該角點的軌跡鏈表，若當(dāng)前幀 沒有匹配到，則用估計點代替，當(dāng)前幀沒有被匹配的角點則作為新的軌跡插入軌跡鏈表，連 續(xù)若干幀沒有匹配到的軌跡則刪除，實時計算每幀所有軌跡的速度、方向等信息；(9)基于圖論進行軌跡聚類，把每條軌跡作為圖的一個節(jié)點，節(jié)點之間的邊的連接 權(quán)重為兩軌跡的相似度，相似度的計算為軌跡的坐標(biāo)距離、速度和方向之差的加權(quán)；聚類后 形成若干個臨時車輛，每個臨時車輛包含若干軌跡，目標(biāo)的質(zhì)心、速度和方向根據(jù)其所含軌跡平均值求得，車輛尺寸為所含軌跡的外接凸多邊形或外接矩形；(10)目標(biāo)合并與分裂，首次出現(xiàn)的臨時車輛直接作為確定車輛，否則根據(jù)已有的 確定車輛與當(dāng)前幀聚類形成的臨時車輛做合并，并作合理性檢驗，來更新當(dāng)前的確定車輛； 確定車輛(經(jīng)過了一段時間的更新)若判斷為不合理，則把一部分軌跡分裂出去，直到滿足 合理性條件；(11)合理性檢驗，若軌跡速度接近為0且在背景幀差得到的運動區(qū)域時，則認(rèn)為 軌跡不合理，予以刪除；若軌跡不斷反復(fù)或者劇烈跳變，不符合實際運動情形則也認(rèn)為軌跡 不合理，予以刪除；根據(jù)車輛尺寸是否滿足對應(yīng)位置的目標(biāo)尺寸圖的像素值，以及車輛內(nèi)軌 跡間的歷史一致性綜合判斷目標(biāo)是否合理；對于總的運動位移小于一定閾值的車輛，可以 標(biāo)記為可疑車輛，暫時不作為最終的車輛，等到位移達到一定閾值時再去除可疑標(biāo)記；(12)背景提取，根據(jù)混合高斯背景模型提取背景，通過背景差分可以計算運動區(qū) 域，以輔助合理性檢驗；同一位置的角點出現(xiàn)的次數(shù)和時間滿足一定條件時作為背景角點， 這里同一位置的角點還要滿足特征匹配的要求，否則可能是靜止目標(biāo)在同一位置的角點； 背景角點的記錄通過建立背景角點圖的方式，背景角點圖中每點記錄了角點出現(xiàn)次數(shù)、時 間及其不變量特征；背景角點所在軌跡不參與聚類。通過以上步驟，目標(biāo)合并與分裂之后保留下來的為確定車輛，每幀隨著目標(biāo)軌跡 會不斷更新，基本上經(jīng)過3幀左右即可達到穩(wěn)定，認(rèn)為是穩(wěn)定的車輛，其中的信息包括所屬 特征點的軌跡、車輛尺寸、質(zhì)心、速度、方向等，可以用來作交通違章監(jiān)測、流量統(tǒng)計等高級 應(yīng)用。本發(fā)明還可以有其它實施方法，凡采用同等替換或等效變換形成的技術(shù)方案，均 落在本發(fā)明要求保護的范圍之內(nèi)。
權(quán)利要求
一種基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在于該跟蹤方法包括1).攝像機標(biāo)定，確立世界坐標(biāo)與圖像坐標(biāo)的變換關(guān)系，并建立目標(biāo)尺寸圖；2).圖像預(yù)處理；3).角點檢測；4).不變量特征提取，在角點上計算不變量特征；5).特征匹配，上幀的每個角點與本幀鄰域內(nèi)的所有角點進行不變量特征匹配；6).形成角點軌跡，把幀間匹配的角點連接起來形成該角點的軌跡；7).基于圖論進行軌跡聚類，聚類后形成若干個臨時目標(biāo)；8).目標(biāo)合并與分裂，確定目標(biāo)與聚類得到的臨時目標(biāo)做合并或分裂，并作合理性檢驗，來更新當(dāng)前的確定目標(biāo)；9).合理性檢驗，判斷軌跡和目標(biāo)尺寸的合理性；10).背景提取，提取高斯背景和角點背景。
2.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的攝像機標(biāo)定，根據(jù)平面模型確立世界坐標(biāo)與圖像坐標(biāo)的變換關(guān)系矩陣，并據(jù)此建 立目標(biāo)尺寸圖，根據(jù)變換矩陣計算每個像素點目標(biāo)尺寸的范圍，其大小作為目標(biāo)尺寸圖的 像素值，這里假定場景中目標(biāo)的實際尺寸基本一致。
3.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在于 所述的圖像預(yù)處理為計算圖像整體亮度和對比度，判斷圖像場景屬于白天、傍晚或晚上； 若屬白天則不作預(yù)處理，若為傍晚可對圖像作對比度拉伸或直方圖均衡化處理，若屬晚上， 先檢測是否有大片高亮區(qū)域，若有則應(yīng)用高帽變換理求出車燈造成的高亮區(qū)域，只留下目 標(biāo)包括車燈等區(qū)域，然后求邊緣圖像，然后再做形態(tài)學(xué)開運算。
4.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在于 所述的不變量特征提取，在灰度圖像的每個角點上計算特征不變量，這里選取尺度不變量 特征變換SIFT特征描述符，即計算梯度直方圖作為特征向量；根據(jù)場景對描述符的計算作 精簡，即只考慮尺度或旋轉(zhuǎn)的情況，或尺度和旋轉(zhuǎn)都不考慮。
5.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的形成角點軌跡，把幀間匹配的角點連接起來形成該角點的軌跡鏈表，若當(dāng)前幀沒 有匹配到，則用估計點代替；當(dāng)前幀沒有被匹配的角點則作為新的軌跡插入軌跡鏈表；連 續(xù)若干幀沒有匹配到的軌跡則刪除；實時計算每幀所有軌跡的速度、方向的信息。
6.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的基于圖論進行軌跡聚類，把每條軌跡作為圖的一個節(jié)點，節(jié)點之間的邊的連接權(quán) 重為兩軌跡的相似度，相似度的計算為軌跡的坐標(biāo)距離、速度和方向之差的加權(quán)；聚類后形 成若干個臨時目標(biāo)，每個臨時目標(biāo)包含若干軌跡，目標(biāo)的質(zhì)心、速度和方向根據(jù)其所含軌跡 平均值求得，目標(biāo)尺寸為所含軌跡的外接凸多邊形或外接矩形。
7.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的目標(biāo)合并與分裂，首次出現(xiàn)的臨時目標(biāo)直接作為確定目標(biāo)，否則根據(jù)已有的確定 目標(biāo)與當(dāng)前幀聚類形成的臨時目標(biāo)做合并，并作合理性檢驗，來更新當(dāng)前的確定目標(biāo)；經(jīng)過 了一段時間更新的確定目標(biāo)若判斷為不合理，則把一部分軌跡分裂出去，直到滿足合理性條件。
8.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的合理性檢驗，若軌跡速度接近為O且在背景幀差得到的運動區(qū)域時，則認(rèn)為軌跡 不合理，予以刪除；若軌跡不斷反復(fù)或者劇烈跳變，不符合實際運動情形則也認(rèn)為軌跡不合 理，予以刪除；根據(jù)目標(biāo)尺寸是否滿足對應(yīng)位置的目標(biāo)尺寸圖的像素值，以及目標(biāo)內(nèi)軌跡間 的歷史一致性綜合判斷目標(biāo)是否合理；對于總的運動位移小于一定閾值的目標(biāo)，可以標(biāo)記 為可疑目標(biāo)，暫時不作為最終的目標(biāo)，等到位移達到一定閾值時再去除可疑標(biāo)記。
9.如權(quán)利要求1所述的基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，其特征在 于所述的背景提取，根據(jù)混合高斯背景模型提取背景，通過背景差分可以計算運動區(qū)域， 以輔助合理性檢驗；同一位置的角點出現(xiàn)的次數(shù)和時間滿足一定條件時作為背景角點，建 立背景角點圖，這里同一位置的角點還要滿足特征匹配的要求，背景角點所在軌跡不參與 聚類。
全文摘要
基于角點特征不變量和圖論聚類的目標(biāo)跟蹤方法，克服現(xiàn)有的目標(biāo)跟蹤方法的不足，可以處理場景中目標(biāo)尺度變化、旋轉(zhuǎn)、噪聲、晝夜變化、遮擋、粘連、攝像機抖動等難題，形成穩(wěn)定的目標(biāo)軌跡及其精確的運動信息。該跟蹤方法包括攝像機標(biāo)定；圖像預(yù)處理；角點檢測；不變量特征提取，在角點上計算不變量特征；特征匹配，上幀的每個角點與本幀鄰域內(nèi)的所有角點進行不變量特征匹配；形成角點軌跡，把幀間匹配的角點連接起來形成該角點的軌跡；基于圖論進行軌跡聚類，聚類后形成若干個臨時目標(biāo)；目標(biāo)合并與分裂，確定目標(biāo)與聚類得到的臨時目標(biāo)做合并或分裂，并作合理性檢驗，來更新當(dāng)前的確定目標(biāo)；合理性檢驗，判斷軌跡和目標(biāo)尺寸的合理性；提取高斯背景和角點背景。
文檔編號G06K9/00GK101840507SQ20101014546
公開日2010年9月22日 申請日期2010年4月9日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者騫森 申請人:江蘇東大金智建筑智能化系統(tǒng)工程有限公司