多線索融合的目標(biāo)跟蹤方法
【專(zhuān)利摘要】本發(fā)明提出一種多線索融合的目標(biāo)跟蹤方法，包括以下步驟：實(shí)時(shí)采集預(yù)定區(qū)域的圖像，并將圖像劃分為多個(gè)子區(qū)域；選定待跟蹤目標(biāo)，對(duì)其在圖像中的位置對(duì)應(yīng)的子區(qū)域的模板集進(jìn)行更新，并搜索該模板集的最佳匹配點(diǎn)；計(jì)算待跟蹤目標(biāo)和粒子濾波區(qū)域的分塊顏色和邊緣分布的外觀特征；根據(jù)光流計(jì)算法估計(jì)待跟蹤目標(biāo)在圖像中的整體運(yùn)動(dòng)矢量；對(duì)粒子進(jìn)行重要性重采樣，以得到待跟蹤目標(biāo)的位置；根據(jù)整體運(yùn)動(dòng)矢量和待跟蹤目標(biāo)的位置對(duì)目標(biāo)的分塊顏色和邊緣分布的外觀特征進(jìn)行更新，以對(duì)待跟蹤目標(biāo)進(jìn)行跟蹤。本發(fā)明的實(shí)施例能夠很好地適應(yīng)在光線變化強(qiáng)烈或目標(biāo)外觀存在較大變化時(shí)，有效地對(duì)目標(biāo)的位置進(jìn)行調(diào)整和目標(biāo)外觀進(jìn)行更新，從而提高了目標(biāo)跟蹤魯棒性。
【專(zhuān)利說(shuō)明】多線索融合的目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視頻與圖像處理【技術(shù)領(lǐng)域】，特別涉及一種多線索融合的目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002]基于計(jì)算機(jī)視覺(jué)的目標(biāo)跟蹤技術(shù)是國(guó)內(nèi)外的熱點(diǎn)研究?jī)?nèi)容，該技術(shù)融合了模式識(shí)另O、機(jī)器學(xué)習(xí)和自動(dòng)控制等先進(jìn)學(xué)科，并在過(guò)去幾十年內(nèi)不斷發(fā)展。視覺(jué)跟蹤是研究從視頻圖像序列中連續(xù)估計(jì)運(yùn)動(dòng)目標(biāo)的位置以及其他運(yùn)動(dòng)參數(shù)的問(wèn)題，是連接底層圖像處理與高層行為分析的紐帶。在應(yīng)用方面，與傳統(tǒng)視頻分析的“實(shí)時(shí)錄像，事后分析”不同，視覺(jué)目標(biāo)跟蹤能夠自動(dòng)地確定目標(biāo)位置，這樣不僅可以節(jié)省大量的人力成本，還可以達(dá)到實(shí)時(shí)分析和輸出的目的，使得視覺(jué)目標(biāo)跟蹤技術(shù)在公共安全、軍事訓(xùn)練、機(jī)器人導(dǎo)航、刑偵分析等領(lǐng)域有著廣闊的應(yīng)用前景。
[0003]視覺(jué)跟蹤算法一般可以分為目標(biāo)表示、相似度度量和搜索策略三部分，這三部分又存在交疊和相互配合。整體模板的目標(biāo)表示法利用所有像素特征，但是對(duì)姿態(tài)變化較為敏感；統(tǒng)計(jì)直方圖特征可以概括目標(biāo)特征，但丟失了空間信息，所以分塊的直方圖特征可以在這方面做到較好的權(quán)衡。相似度度量用來(lái)決定搜索區(qū)域與目標(biāo)的匹配程度，常見(jiàn)的有Bhattacharyya距離、歐氏距離、度量模板相似度的Hausdorff距離等。隨著機(jī)器學(xué)習(xí)的引入，視覺(jué)目標(biāo)跟蹤問(wèn)題可以看作是分類(lèi)問(wèn)題，即對(duì)目標(biāo)和背景進(jìn)行二值分類(lèi)，這時(shí)相似度度量為分類(lèi)器的輸出，如SVM、Adab00st等的輸出結(jié)果。搜索機(jī)制包括確定性搜索和隨機(jī)搜索機(jī)制，前者如梯度下降算法等，后者如基于采樣的粒子濾波算法等。
[0004]雖然視覺(jué)跟蹤在理論和應(yīng)用都得到了長(zhǎng)足的發(fā)展，但是仍然面臨著很多難點(diǎn)，這些難點(diǎn)主要分為周?chē)h(huán)境的變化和目標(biāo)外觀的變化。周?chē)h(huán)境的變化包括攝像機(jī)的平移、旋轉(zhuǎn)、放縮，背景的變化，光線的變化，目標(biāo)的遮擋等等；目標(biāo)外觀的變化包括物體快速移動(dòng)、姿態(tài)變化等。針對(duì)這些問(wèn)題，近年來(lái)在線學(xué)習(xí)、組合優(yōu)化等策略被引入視覺(jué)跟蹤，但總體說(shuō)來(lái)這些難點(diǎn)問(wèn)題仍然未能完全克服。
[0005]粒子濾波框架下的跟蹤是一種流行的跟蹤算法，但是其對(duì)運(yùn)動(dòng)信息利用的不夠充分。另外，針對(duì)物體外觀的快速變化，粒子濾波算法為了提高魯棒性，也一般不會(huì)給出快速的外觀特征更新。

【發(fā)明內(nèi)容】

[0006]本發(fā)明旨在至少解決上述技術(shù)問(wèn)題之一。
[0007]為此，本發(fā)明的目的在于提出一種多線索融合的目標(biāo)跟蹤方法，該方法能夠很好地適應(yīng)在光線變化強(qiáng)烈或目標(biāo)外觀存在較大變化時(shí)，有效地地對(duì)目標(biāo)的位置進(jìn)行調(diào)整和目標(biāo)外觀進(jìn)行更新，從而可提高目標(biāo)跟蹤的魯棒性。
[0008]為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例提出了一種多線索融合的目標(biāo)跟蹤方法，包括以下步驟:S1:實(shí)時(shí)采集預(yù)定區(qū)域的圖像，并將所述圖像劃分為多個(gè)子區(qū)域；S2:選定待跟蹤目標(biāo)，對(duì)所述待跟蹤目標(biāo)在所述圖像中的位置對(duì)應(yīng)的子區(qū)域的模板集進(jìn)行更新，并搜索所述模板集的最佳匹配點(diǎn)；S3:計(jì)算所述待跟蹤目標(biāo)和粒子濾波區(qū)域的分塊顏色和邊緣分布的外觀特征；S4:根據(jù)光流計(jì)算法估計(jì)所述待跟蹤目標(biāo)在所述圖像中的整體運(yùn)動(dòng)矢量；S5:對(duì)粒子進(jìn)行重要性重采樣，以得到所述待跟蹤目標(biāo)的位置；S6:根據(jù)所述整體運(yùn)動(dòng)矢量和所述待跟蹤目標(biāo)的位置對(duì)所述待跟蹤目標(biāo)的分塊顏色和邊緣分布的外觀特征進(jìn)行更新，以及對(duì)所述待跟蹤目標(biāo)進(jìn)行跟蹤。
[0009]根據(jù)本發(fā)明實(shí)施例的多線索融合的目標(biāo)跟蹤方法，提取了結(jié)合分塊顏色和邊緣方向特征，不僅可以刻畫(huà)目標(biāo)的統(tǒng)計(jì)特征，還可以在一定程度上描述目標(biāo)的空間特征；在粒子濾波中融合了外觀特征和多模板匹配特征，能夠更好地適應(yīng)環(huán)境的光線變化和目標(biāo)在不同區(qū)域的外觀變化，同時(shí)也可以適應(yīng)同一區(qū)域人體的多種姿態(tài)變化；另外，融合粒子濾波結(jié)果和光流運(yùn)動(dòng)信息，在光線較差、目標(biāo)之間區(qū)分度較小、運(yùn)動(dòng)較規(guī)則時(shí)，可以以更可地進(jìn)行目標(biāo)位置的 調(diào)整和目標(biāo)外觀的更新，從而提高了目標(biāo)跟蹤魯棒性靠的運(yùn)動(dòng)信息有效和適應(yīng)性。
[0010]另外，根據(jù)本發(fā)明上述實(shí)施例的多線索融合的目標(biāo)跟蹤方法還可以具有如下附加的技術(shù)特征:
[0011]在本發(fā)明的實(shí)施例中，所述待跟蹤目標(biāo)是通過(guò)目標(biāo)檢測(cè)算法自動(dòng)選定的。
[0012]在本發(fā)明的實(shí)施例中，所述待跟蹤目標(biāo)是通過(guò)手工選定的。
[0013]在本發(fā)明的實(shí)施例中，所述步驟S2具體包括:根據(jù)所述待跟蹤目標(biāo)的坐標(biāo)判斷所述待跟蹤目標(biāo)所在的子區(qū)域；如果判斷所述待跟蹤目標(biāo)為首次進(jìn)入所述子區(qū)域，則以所述待跟蹤目標(biāo)為模板，為所述子區(qū)域初始化N個(gè)相同權(quán)重的模板，其中，N為正整數(shù)；根據(jù)所述N個(gè)模板計(jì)算所述待跟蹤目標(biāo)在各個(gè)位置的相關(guān)系數(shù)；如果判斷最大的相關(guān)系數(shù)小于預(yù)設(shè)值，則替換所述模板集中權(quán)重最小的模板，并以當(dāng)前目標(biāo)為模板加入模板集。如果判斷所述最大的相關(guān)系數(shù)大于所述預(yù)設(shè)值，則提高第一模板的權(quán)重，并進(jìn)行歸一化，以獲得所述最佳匹配點(diǎn)，其中，所述最大的相關(guān)系數(shù)由所述第一模板得到。
[0014]在本發(fā)明的實(shí)施例中，所述根據(jù)N個(gè)模板計(jì)算待跟蹤目標(biāo)在各個(gè)位置的相關(guān)系

數(shù)通過(guò)如下公式計(jì)算
【權(quán)利要求】
1.一種多線索融合的目標(biāo)跟蹤方法，其特征在于，包括以下步驟: S1:實(shí)時(shí)采集預(yù)定區(qū)域的圖像，并將所述圖像劃分為多個(gè)子區(qū)域； 52:選定待跟蹤目標(biāo)，對(duì)所述待跟蹤目標(biāo)在所述圖像中的位置對(duì)應(yīng)的子區(qū)域的模板集進(jìn)行更新，并搜索所述模板集的最佳匹配點(diǎn)； 53:計(jì)算所述待跟蹤目標(biāo)和粒子濾波區(qū)域的分塊顏色和邊緣分布的外觀特征； 54:根據(jù)光流計(jì)算法估計(jì)所述待跟蹤目標(biāo)在所述圖像中的整體運(yùn)動(dòng)矢量；55:對(duì)所述粒子濾波區(qū)域中所有粒子進(jìn)行重要性重采樣，以獲得所述待跟蹤目標(biāo)的位置； 56:根據(jù)所述整體運(yùn)動(dòng)矢量和所述待跟蹤目標(biāo)的位置對(duì)所述待跟蹤目標(biāo)的分塊顏色和邊緣分布的外觀特征進(jìn)行更新，以及對(duì)所述待跟蹤目標(biāo)進(jìn)行跟蹤。
2.如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述待跟蹤目標(biāo)是通過(guò)目標(biāo)檢測(cè)算法自動(dòng)選定的。
3.如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述待跟蹤目標(biāo)是通過(guò)手工選定的。
4.如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述步驟S2具體包括: 根據(jù)所述待跟蹤目標(biāo)的坐標(biāo)判斷所述待跟蹤目標(biāo)所在的子區(qū)域； 如果判斷所述待跟蹤目標(biāo)為首次進(jìn)入所述子區(qū)域，則以所述待跟蹤目標(biāo)為模板，為所述子區(qū)域初始化N個(gè)相同權(quán)重的模板，其中，N為正整數(shù)； 根據(jù)所述N個(gè)模板計(jì)算所述待跟蹤目標(biāo)在各個(gè)位置的相關(guān)系數(shù)； 如果判斷最大的相關(guān)系數(shù)小于預(yù)設(shè)值，則替換所述模板集中權(quán)重最小的模板，并以當(dāng)前目標(biāo)為模板加入模板集。 如果判斷所述最大的相關(guān)系數(shù)大于所述預(yù)設(shè)值，則提高第一模板的權(quán)重，并進(jìn)行歸一化，以獲得所述最佳匹配點(diǎn)，其中，所述最大的相關(guān)系數(shù)由所述第一模板得到。
5.如權(quán)利要求4所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述根據(jù)N個(gè)模板計(jì)算所述待跟蹤目標(biāo)在各個(gè)位置的相關(guān)系數(shù)通過(guò)如下公式得到:
6.如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述步驟S3具體包括: 將所述分塊顏色從RGB色彩空間轉(zhuǎn)換至HSV空間； 獲取所述圖像的HSV顏色直方圖，并將所述直方圖進(jìn)行連接； 根據(jù)Canny算子對(duì)所述圖像進(jìn)行邊緣檢測(cè)并進(jìn)行二值化； 計(jì)算所述圖像的分塊邊緣方向直方圖； 連接所述HSV顏色直方圖和所述邊緣方向直方圖，并進(jìn)行標(biāo)準(zhǔn)化； 根據(jù)Bhattacharyya距離分別計(jì)算歸一化的直方圖1ll和h2的距離，以得到所述待跟蹤目標(biāo)和所述粒子濾波區(qū)域的分塊顏色和邊緣分布的外觀特征。
7.如權(quán)利要求6所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述根據(jù)Bhattacharyya距離分別計(jì)算歸一化的直方圖1i1和h2的距離可通過(guò)如下公式得到: Bhattacharyyadh2) = ^/l - hi (0.h2(0， 其中，h(i)表示直方圖的第i維，i的取值為從I到直方圖的總維數(shù)。
8.如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述步驟S4具體包括: 在所述待跟蹤目標(biāo)內(nèi)均勻采樣坐標(biāo)點(diǎn)，并計(jì)算運(yùn)動(dòng)矢量； 在每個(gè)采樣點(diǎn)上，根據(jù)Lucas-Kanade光流算法計(jì)算相鄰兩幀圖像中所述待跟蹤目標(biāo)的運(yùn)動(dòng)方向與運(yùn)動(dòng)幅度； 根據(jù)每個(gè)采樣點(diǎn)的運(yùn)動(dòng)矢量判定所述待跟蹤目標(biāo)的整體運(yùn)動(dòng)矢量。
9. 如權(quán)利要求1所述的多線索融合的目標(biāo)跟蹤方法，其特征在于，所述步驟S6具體包括: 比較前一幀和當(dāng)前幀的所述待跟蹤目標(biāo)的位置以得到所述粒子濾波中粒子的運(yùn)動(dòng)矢量; 比較所述粒子的運(yùn)動(dòng)矢量和所述整體運(yùn)動(dòng)矢量； 如果所述粒子的運(yùn)動(dòng)矢量和所述整體運(yùn)動(dòng)矢量較為一致，則將所述粒子的運(yùn)動(dòng)矢量作為跟蹤結(jié)果，如果所述粒子的運(yùn)動(dòng)矢量和所述整體運(yùn)動(dòng)矢量不一致，則將所有粒子按照所述整體運(yùn)動(dòng)矢量進(jìn)行強(qiáng)制移動(dòng)； 計(jì)算新目標(biāo)位置的顏色和邊緣特征，并更新目標(biāo)的歷史顏色和歷史邊緣特征，以對(duì)所述待跟蹤目標(biāo)進(jìn)行跟蹤。
【文檔編號(hào)】G06T7/20GK103473542SQ201310422335
【公開(kāi)日】2013年12月25日 申請(qǐng)日期:2013年9月16日 優(yōu)先權(quán)日:2013年9月16日
【發(fā)明者】陳 峰, 王建勇 申請(qǐng)人:清華大學(xué)