一種實(shí)時(shí)的視頻跟蹤方法
【專利摘要】本發(fā)明公開了一種實(shí)時(shí)的視頻跟蹤方法，包括以下步驟：首先，通過將跟蹤目標(biāo)分割成子塊的方式壓縮圖像特征；其次，通過構(gòu)建多尺度的候選區(qū)域以適應(yīng)跟蹤目標(biāo)的尺度變化以及快速移動；最后，利用KCF（核化相關(guān)濾波器）算法計(jì)算特征向量之間的相關(guān)性以達(dá)到視頻跟蹤的目的。本發(fā)明實(shí)現(xiàn)了多種場景下常見目標(biāo)的準(zhǔn)確跟蹤，且完全滿足實(shí)時(shí)性的要求，具備非常高的實(shí)用價(jià)值。
【專利說明】
一種實(shí)時(shí)的視頻跟蹤方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于計(jì)算機(jī)視覺與模式識別領(lǐng)域，具體涉及一種實(shí)時(shí)的視頻跟蹤方法。
【背景技術(shù)】
[0002]視頻跟蹤技術(shù)可以廣泛地應(yīng)用于無人駕駛、安防監(jiān)控、工業(yè)控制、智能交通、國防軍事等領(lǐng)域，其背后蘊(yùn)藏著十分巨大的學(xué)術(shù)價(jià)值和經(jīng)濟(jì)價(jià)值。
[0003]盡管國內(nèi)外研究人員提出了很多的跟蹤算法，但是在實(shí)際應(yīng)用中仍然面臨著一些困難，主要包括以下幾個(gè)方面:
(1)跟蹤目標(biāo)的外觀變化，因?yàn)楦櫮繕?biāo)相對于攝像機(jī)的視角、距離不斷變化；
(2)外界環(huán)境的光照變化；
(3)其他物體的遮擋和干擾；
(4)實(shí)時(shí)性要求。
[0004]最近幾年，基于檢測的跟蹤算法正逐漸地成為視頻跟蹤領(lǐng)域的主流，比較有代表性的算法有CN、KCF、STC、0DFS等。以KCF(核化相關(guān)濾波器)為例，KCF對光照變化、遮擋、非剛性形變、運(yùn)動模糊、背景雜亂的視頻跟蹤效果較好，但對于尺度變化、快速運(yùn)動、剛性形變等視頻跟蹤效果不佳。

【發(fā)明內(nèi)容】

[0005]針對KCF算法的不足，本發(fā)明提出了一種實(shí)時(shí)的視頻跟蹤方法，具體包括以下步驟:
(1)視頻的第m幀，標(biāo)出需要跟蹤的目標(biāo)區(qū)域R0I，其中I( m < M，M為視頻的全部幀數(shù)；
(2)對目標(biāo)區(qū)域ROI提取特征，即執(zhí)行步驟A-G:
A、將ROI進(jìn)行特定比例的擴(kuò)展，得到區(qū)域RExpand;
B、讀取步驟A所述的RExpand內(nèi)的視頻數(shù)據(jù)，得到Video；
C、將步驟13所述的Video縮放至特定大小，得到VScale;
D、將步驟C所述的VScale分割成P個(gè)NXN大小的子塊，其中2彡N彡8;
E、對步驟D所述的每個(gè)子塊j提取特征，即執(zhí)行步驟a-c，其中KjSp:
a、提取梯度特征，即執(zhí)行步驟1-1V:
1、根據(jù)灰度值計(jì)算子塊j內(nèi)各個(gè)像素的梯度(包括幅值和角度)；
I1、統(tǒng)計(jì)梯度直方圖，得到梯度直方圖特征HF;
II1、將步驟II的HF進(jìn)行歸一化，得到HFN;
IV、將步驟III的HFN進(jìn)行PCA降維，得到GF；
b、提取顏色特征，即執(zhí)行步驟1-11:
1、根據(jù)色度值，將子塊j內(nèi)的各個(gè)像素進(jìn)行離散化；
i1、統(tǒng)計(jì)顏色直方圖，得到顏色直方圖特征CF; C、將步驟a提取的特征GF和步驟b提取的特征CF進(jìn)行合并，得到特征BF;
F、合并所有子塊的特征BF，得到TBF;
G、利用漢寧窗對TBF進(jìn)行濾波，得到目標(biāo)區(qū)域ROI的特征RF;
(3)將步驟(2)提取的特征RF進(jìn)行在線訓(xùn)練，得到訓(xùn)練特征TF;
(4)視頻的第(m+1)幀，在步驟(I)的目標(biāo)區(qū)域ROI的附近，生成T個(gè)多尺度的候選區(qū)域，對每個(gè)候選區(qū)域ROIt提取特征RFt，其中彡T，即執(zhí)行步驟A'-G'，且實(shí)現(xiàn)了T個(gè)候選區(qū)域的并行計(jì)算:
A'、將ROIt進(jìn)行特定比例的擴(kuò)展，得到區(qū)域RExpand';
B'、讀取步驟A'所述的RExpancT內(nèi)的視頻數(shù)據(jù)，得到Videc/ ；
C、將步驟IV所述的Videc/縮放至特定大小，得到VScale'；
D'、將步驟C'所述的VScale'分割成P個(gè)NXN大小的子塊，其中2彡N彡8;
對步驟IV所述的每個(gè)子塊j提取特征，即執(zhí)行步驟其中KjSp:
提取梯度特征，即執(zhí)行步驟I'-1V^
I丨、根據(jù)灰度值計(jì)算子塊j內(nèi)各個(gè)像素的梯度(包括幅值和角度)；
II\統(tǒng)計(jì)梯度直方圖，得到梯度直方圖特征HF';
III'、將步驟II丨的HF丨進(jìn)行歸一化，得到HFN丨;
IV\將步驟III'的HFN’進(jìn)行PCA降維，得到GF’ ；
提取顏色特征，即執(zhí)行步驟i'-1ir:1’、根據(jù)色度值，將子塊j內(nèi)的各個(gè)像素進(jìn)行離散化；
ii\統(tǒng)計(jì)顏色直方圖，得到顏色直方圖特征CF';
c ’、將步驟a'提取的特征GF'和步驟b'提取的特征CF'進(jìn)行合并，得到特征BF';
F'、合并所有子塊的特征BF'，得到TBF';
利用漢寧窗對TBP進(jìn)行濾波，得到候選區(qū)域ROIt的特征RFt;
(5 )將步驟(4)提取的T個(gè)特征{RF1，RF2，…，RFt，…，RFt}分別與步驟(3 )的訓(xùn)練特征TF進(jìn)行相關(guān)運(yùn)算，得到T個(gè)相關(guān)系數(shù){Cl，C2，...，Ct，…，Ct}以及T個(gè)偏移量{Si，S2，…，St，…，St};
(6)從T個(gè)相關(guān)系數(shù){&，(:2，...，(^，...，&}中，選擇最優(yōu)的I個(gè)Ci;
(7)如果Ci大于一閾值T1,則用Ci對應(yīng)的候選區(qū)域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征(對樣本的訓(xùn)練與其他的處理并行執(zhí)行)，進(jìn)入步驟(12)，否則進(jìn)入步驟(8);
(8)如果步驟(6)中的C1小于一閾值T2，則生成ReT個(gè)二次候選區(qū)域，對每個(gè)二次候選區(qū)域ReROIt提取特征ReRFt，其中I彡tSReT，即執(zhí)行步驟A"-G"，且實(shí)現(xiàn)了ReT個(gè)二次候選區(qū)域的并行計(jì)算，否則進(jìn)入步驟(12);
A"、將ReROIt進(jìn)行特定比例的擴(kuò)展，得到區(qū)域RExpand";
B"、讀取步驟A"所述的RExpand"內(nèi)的視頻數(shù)據(jù)，得到Video";
C"、將步驟B"所述的Video"縮放至特定大小，得到VScale";
D "、將步驟C"所述的VSca I e"分割成P"個(gè)N X N大小的子塊，其中2彡N彡8;
E"、對步驟D"所述的每個(gè)子塊j提取特征，即執(zhí)行步驟a"- c"，其中KjSp": a"、提取梯度特征，即執(zhí)行步驟I"-1V":
I"、根據(jù)灰度值計(jì)算子塊j內(nèi)各個(gè)像素的梯度(包括幅值和角度)； II"、統(tǒng)計(jì)梯度直方圖，得到梯度直方圖特征HF";
III"、將步驟II"的HF"進(jìn)行歸一化，得到HFN"；
IV"、將步驟III"的HFN"進(jìn)行PCA降維，得到GF"; b"、提取顏色特征，即執(zhí)行步驟 i丨丨、根據(jù)色度值，將子塊j內(nèi)的各個(gè)像素進(jìn)行離散化； ii"、統(tǒng)計(jì)顏色直方圖，得到顏色直方圖特征CF";
c"、將步驟a"提取的特征GF"和步驟b"提取的特征CF"進(jìn)行合并，得到特征BF";
F"、合并所有子塊的特征BF"，得到TBF";
G"、利用漢寧窗對TBF"進(jìn)行濾波，得到候選區(qū)域ReROIt的特征ReRFt;
(9)將步驟(8)提取的ReT個(gè)特征{ReRF1，ReRF2，...，ReRFt，."，ReRFReT }分別與步驟(3)的訓(xùn)練特征TF進(jìn)行相關(guān)運(yùn)算，得到ReT個(gè)相關(guān)系數(shù){ReCi，ReC2，…，ReCt，…，ReCReT}以及ReT個(gè)偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)從ReT個(gè)相關(guān)系數(shù)(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優(yōu)的I個(gè)ReCi；
(11)如果ReCi大于一閾值T3，則用ReCi對應(yīng)的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征TF(對樣本的訓(xùn)練與其他的處理并行執(zhí)行)，進(jìn)入步驟(13)，否則進(jìn)入步驟(14);
(12)如果C1大于一閾值T4,則用C1對閾值T1進(jìn)行濾波更新，進(jìn)入步驟(14)，否則進(jìn)入步驟(14);
(13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進(jìn)行濾波更新；
(14)m加1，如果m= M，結(jié)束，否則進(jìn)入步驟(4)。
[0006]本發(fā)明的有益效果是:
I)本發(fā)明將需要跟蹤的目標(biāo)區(qū)域分割成NXN大小的子塊后提取特征，同時(shí)結(jié)合PCA降維處理，既保留了目標(biāo)區(qū)域的絕大部分信息，又避免了維數(shù)災(zāi)難。
[0007]2)本發(fā)明通過構(gòu)建多尺度的候選區(qū)域，且實(shí)現(xiàn)了各個(gè)候選區(qū)域的并行計(jì)算，能夠有效地應(yīng)對跟蹤目標(biāo)的尺度變化以及快速移動，而且運(yùn)算速度快。
[0008]3)本發(fā)明通過構(gòu)建二次候選區(qū)域，能夠有效地克服跟蹤過程中出現(xiàn)的遮擋以及干擾問題。
[0009]4)本發(fā)明通過選擇訓(xùn)練樣本并進(jìn)行在線訓(xùn)練(對樣本的訓(xùn)練與其他的處理并行執(zhí)行)，能夠有效地克服跟蹤過程中目標(biāo)的外觀變化以及外界的光照變化。
[0010]5)本發(fā)明實(shí)現(xiàn)了多種場景下常見目標(biāo)的準(zhǔn)確跟蹤，而且完全滿足實(shí)時(shí)性的要求，具備非常高的實(shí)用價(jià)值。
【附圖說明】
[0011]圖1為跟蹤的處理流程圖。
[0012]圖2為第m幀ROI的位置示意圖。
[0013]圖3第(m+1)幀候選區(qū)域的位置示意圖。
【具體實(shí)施方式】
[0014]為了使本發(fā)明的目的、技術(shù)方案以及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。
[0015]一種實(shí)時(shí)的視頻跟蹤方法，處理流程如圖1所示，具體包括以下步驟:
(1)視頻的第m幀，標(biāo)出I塊需要跟蹤的目標(biāo)區(qū)域R0I，其中I彡m< M，M為視頻的全部幀數(shù)；
(2)對目標(biāo)區(qū)域ROI提取特征，即執(zhí)行步驟A-G:
A、將ROI進(jìn)行特定比例的擴(kuò)展，得到區(qū)域RExpand，特定比例可根據(jù)跟蹤目標(biāo)的移動速度計(jì)算；
B、讀取步驟A所述的RExpand內(nèi)的視頻數(shù)據(jù)，得到Video；
C、將步驟13所述的Video縮放至特定大小，得到VScale;
D、將步驟C所述的VScale分割成P個(gè)NX N大小的子塊，N=4;
E、對步驟D所述的每個(gè)子塊j提取特征，即執(zhí)行步驟a-c，其中KjSp:
a、提取梯度特征，即執(zhí)行步驟1-1V:
1、根據(jù)灰度值計(jì)算子塊j內(nèi)各個(gè)像素的梯度(包括幅值和角度)；
I1、統(tǒng)計(jì)梯度直方圖，得到梯度直方圖特征HF;
II1、將步驟II的HF進(jìn)行歸一化，得到HFN;
IV、將步驟III的HFN進(jìn)行PCA降維，得到GF；
b、提取顏色特征，即執(zhí)行步驟1-11:
1、根據(jù)色度值，將子塊j內(nèi)的各個(gè)像素進(jìn)行離散化；
i1、統(tǒng)計(jì)顏色直方圖，得到顏色直方圖特征CF;
c、將步驟a提取的特征GF和步驟b提取的特征CF進(jìn)行合并，得到特征BF;
F、合并所有子塊的特征BF，得到TBF;
G、利用漢寧窗對TBF進(jìn)行濾波，得到目標(biāo)區(qū)域ROI的特征RF;
(3)將步驟(2)提取的特征RF進(jìn)行在線訓(xùn)練，得到訓(xùn)練特征TF，如下面的公式(I)所示； TF=(l_a)*TF + a*RF;
a為更新系數(shù)(I)
(4)視頻的第(m+1)幀，在步驟(I)的目標(biāo)區(qū)域ROI的附近，生成T個(gè)多尺度的候選區(qū)域，如圖2和圖3所示，對每個(gè)候選區(qū)域ROIt提取特征RFt，方法同步驟(2)，其中I彡t彡T，T=3，且實(shí)現(xiàn)了 T個(gè)候選區(qū)域的并行計(jì)算；
(5 )將步驟(4)提取的T個(gè)特征{RF1，RF2，…，RFt，…，RFt}分別與步驟(3 )的訓(xùn)練特征TF進(jìn)行相關(guān)運(yùn)算，得到T個(gè)相關(guān)系數(shù){Cl，C2，...，Ct，…，Ct}以及T個(gè)偏移量{Si，S2，…，St，…，St};
(6)從T個(gè)相關(guān)系數(shù){&，(:2，...，(^，...，&}中，選擇最優(yōu)的I個(gè)Ci;
(7)如果Ci大于一閾值T1,則用Ci對應(yīng)的候選區(qū)域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征TF(對樣本的訓(xùn)練與其他的處理并行執(zhí)行)，如公式(I)，進(jìn)入步驟(12)，否則進(jìn)入步驟(8);
(8)如果步驟(6)中的C1小于一閾值T2，則生成ReT個(gè)二次候選區(qū)域，對每個(gè)二次候選區(qū)域ReROIt提取特征ReRFt，方法同步驟(2)，其中KtSReT，ReT=4，且實(shí)現(xiàn)了ReT個(gè)二次候選區(qū)域的并行計(jì)算，否則進(jìn)入步驟(12);
(9)將步驟(8)提取的ReT個(gè)特征{ReRFhReRFv’ReRFv^ReRFReT}分別與步驟(3)的訓(xùn)練特征TF進(jìn)行相關(guān)運(yùn)算，得到ReT個(gè)相關(guān)系數(shù)(ReC1，ReC2，…，ReCt，…，ReCReT}以及ReT個(gè)偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)從ReT個(gè)相關(guān)系數(shù)(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優(yōu)的I個(gè)ReCi；
(11)如果ReCi大于一閾值T3，則用ReCi對應(yīng)的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征TF(對樣本的訓(xùn)練與其他的處理并行執(zhí)行)，如公式(I)，進(jìn)入步驟(13)，否則進(jìn)入步驟(14);
(12)如果Ci大于一閾值Τ4，則用Ci對閾值T1進(jìn)行濾波更新，如公式(II)，進(jìn)入步驟(14)，否則進(jìn)入步驟(14);
?4 = β? * Tl，
Ti= (l_ai)*Ti + ai*Ci;
其中，為比例系數(shù)，ai為更新系數(shù)(II)
(13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進(jìn)行濾波更新，如公式(III);
Τδ=β2 * Τ3，
?3 = (l_a2)*T3 + a2*ReCi;
其中，&為比例系數(shù)，a2為更新系數(shù)(III)
(14)m加1，如果m= M，結(jié)束，否則進(jìn)入步驟(4)。
[0016]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的的任何修改、等同替換和改進(jìn)等，均應(yīng)包括在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，包括以下步驟: 1)視頻的第m幀，標(biāo)出需要跟蹤的目標(biāo)區(qū)域ROI，其中I( m < M，M為視頻的全部幀數(shù)； 2)對目標(biāo)區(qū)域ROI提取特征； 3)將步驟2)提取的特征進(jìn)行在線訓(xùn)練，得到訓(xùn)練特征； 4)視頻的第(m+1)幀，在目標(biāo)區(qū)域ROI的附近，生成T個(gè)多尺度的候選區(qū)域，對每個(gè)候選區(qū)域RO It提取特征RFt，其中I StST; 5)將T個(gè)特征(RF1，RF2，…，RFt，…，RFT}分別與訓(xùn)練特征進(jìn)行相關(guān)運(yùn)算，得到T個(gè)相關(guān)系數(shù){Ci，C2，…，Ct，…，Ct}以及T個(gè)偏移量{Si，S2，…，St，…，St}; 6)從T個(gè)相關(guān)系數(shù){&，&，...，Ct，...，&}中，選擇最優(yōu)的I個(gè)Ci; 7)如果Ci大于一閾值T1,則用Ci對應(yīng)的候選區(qū)域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征，進(jìn)入步驟12)，否則進(jìn)入步驟8); 8)如果步驟6)中的C1小于一閾值T2，則生成ReT個(gè)二次候選區(qū)域，對每個(gè)二次候選區(qū)域ReROIt提取特征ReRFt，其中I彡tSReT，否則進(jìn)入步驟12); 9)將ReT個(gè)特征(ReRF1，ReRF2，…，ReRFt，…，ReRFReT}分別與訓(xùn)練特征進(jìn)行相關(guān)運(yùn)算，得到1^1'個(gè)相關(guān)系數(shù){1^(:1，1^(:2，."，1^(^，."，1^(:[^}以及1^1'個(gè)偏移量{1^31，1^32，...，ReSt，…,ReSReTl ； 10)從ReT個(gè)相關(guān)系數(shù)(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優(yōu)的I個(gè)ReCi； 11)如果ReCi大于一閾值T3，則用ReCi對應(yīng)的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進(jìn)行在線訓(xùn)練、更新訓(xùn)練特征，進(jìn)入步驟13)，否則進(jìn)入步驟14); 12)如果C1大于一閾值T4,則用C1對閾值T1進(jìn)行濾波更新，進(jìn)入步驟14)，否則直接進(jìn)入步驟 14); 13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進(jìn)行濾波更新； 14)m加1，如果m= M，結(jié)束，否則進(jìn)入步驟4)。2.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟2)為: (I)將目標(biāo)區(qū)域ROI進(jìn)行特定比例的擴(kuò)展，得到區(qū)域RExpand ； (2 )讀取RExpand內(nèi)的視頻數(shù)據(jù)，得到Video ； (3)將Video縮放至特定大小，得到VScale; (4)將VScale分割成P個(gè)NX N大小的子塊，其中2彡N彡8; (5 )對每個(gè)子塊j提取特征，即執(zhí)行步驟a-c，其中I < j < P: a、提取梯度特征，即執(zhí)行步驟1-1V: 1、根據(jù)灰度值計(jì)算子塊j內(nèi)各個(gè)像素的梯度(包括幅值和角度)； I1、統(tǒng)計(jì)梯度直方圖，得到梯度直方圖特征HF; II1、將HF進(jìn)行歸一化，得到HFN; IV、將HFN進(jìn)行PCA降維，得到GF； b、提取顏色特征，即執(zhí)行步驟1-11: 1、根據(jù)色度值，將子塊j內(nèi)的各個(gè)像素進(jìn)行離散化； i1、統(tǒng)計(jì)顏色直方圖，得到顏色直方圖特征CF; c、將步驟a提取的特征GF和步驟b提取的特征CF進(jìn)行合并，得到特征BF; (6 )合并所有子塊的特征BF，得到TBF; (7)利用漢寧窗對TBF進(jìn)行濾波，得到目標(biāo)區(qū)域ROI的特征。3.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟4)，對每個(gè)候選區(qū)域提取特征的方法同步驟2)，且實(shí)現(xiàn)了各個(gè)候選區(qū)域的并行計(jì)算。4.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟7)，對樣本的訓(xùn)練與其他的處理并行執(zhí)行。5.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟8)，對每個(gè)二次候選區(qū)域提取特征的方法同步驟2)，且實(shí)現(xiàn)了各個(gè)二次候選區(qū)域的并行計(jì)算。6.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟11)，對樣本的訓(xùn)練與其他的處理并行執(zhí)行。7.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟12)， Τ4=βι * T1，且按照下式對!^進(jìn)行濾波更新: Ti = (l_ai)*Ti + ai*Ci; 其中，βι為比例系數(shù)，ai為更新系數(shù)。8.根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)的視頻跟蹤方法，其特征在于，所述的步驟13)， T5= T3，且按照下式對T3進(jìn)行濾波更新: ?3 = (l_a2)*T3 + a2*ReCi; 其中，&為比例系數(shù)，a2為更新系數(shù)。
【文檔編號】G06T7/20GK106023248SQ201610314297
【公開日】2016年10月12日
【申請日】2016年5月13日
【發(fā)明人】翁肇杰, 翟愷
【申請人】上海寶宏軟件有限公司