本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于多特征融合的相關(guān)濾波跟蹤方法。

背景技術(shù)：

目標(biāo)跟蹤是計(jì)算機(jī)視覺中的一個(gè)基礎(chǔ)問題，跟蹤的目的是用來確定我們感興趣的目標(biāo)在視頻序列中位置，即獲取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度以及運(yùn)動(dòng)軌跡等，從而進(jìn)行進(jìn)一步的處理和分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為分析與理解，以完成更高級(jí)的任務(wù)。其可廣泛應(yīng)用于自動(dòng)監(jiān)控、人機(jī)交互、軍事偵察、交通監(jiān)視等領(lǐng)域。近年來，經(jīng)過各國學(xué)者的努力和研究的廣泛開展，一些先進(jìn)的思想、方法和技術(shù)相繼被提出，但由于部分遮擋、變形、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、光照變化、背景雜亂、尺度變化等原因使得其在實(shí)際應(yīng)用中仍然面臨許多挑戰(zhàn)，因此仍然是計(jì)算機(jī)視覺中最活躍的研究領(lǐng)域之一。

近年來，基于相關(guān)濾波(correlationfilter，cf)的跟蹤方法由于其在跟蹤性能和計(jì)算效率上的出色表現(xiàn)已經(jīng)成為目標(biāo)跟蹤領(lǐng)域的研究熱點(diǎn)。bolme等提出了一種在灰度圖像上學(xué)習(xí)一個(gè)最小輸出平方誤差和(mosse)相關(guān)濾波器的跟蹤算法，通過離散傅里葉變換將目標(biāo)與所有候選區(qū)域之間的相似度計(jì)算轉(zhuǎn)換到頻域，顯著地提升了跟蹤方法的運(yùn)行速度。henriques等提出了循環(huán)結(jié)構(gòu)的檢測(cè)跟蹤(csk)算法，該算法對(duì)訓(xùn)練本進(jìn)行循環(huán)移位，可近似看成對(duì)目標(biāo)的密集采樣，從而得到大量訓(xùn)練樣本的訓(xùn)練分類器。henriques等在csk的基礎(chǔ)上提出核相關(guān)濾波器(kcf)跟蹤算法，使用方向梯度直方圖(hog)特征代替原來的灰度值特征，將相關(guān)濾波器中的單通道擴(kuò)展到多通道，提升了跟蹤性能。最近從卷積神經(jīng)網(wǎng)絡(luò)中提取的深度顏色特征也已經(jīng)成功應(yīng)用于跟蹤。

但是，上述方法只捕捉了目標(biāo)的外觀信息，對(duì)目標(biāo)跟蹤仍缺乏準(zhǔn)確性及運(yùn)動(dòng)適應(yīng)性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于多特征融合的相關(guān)濾波跟蹤方法，以解決現(xiàn)有的目標(biāo)跟蹤仍然停留在僅僅根據(jù)目標(biāo)外觀信息進(jìn)行跟蹤，而缺乏準(zhǔn)確性及運(yùn)動(dòng)適應(yīng)性的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于多特征融合的相關(guān)濾波跟蹤方法，包括以下步驟：

s1：讀取t-1時(shí)刻圖像的數(shù)據(jù)以及目標(biāo)塊在所述圖像中目標(biāo)位置及大?。?/p>

s2：在t-1時(shí)刻圖像的數(shù)據(jù)中，提取以所述目標(biāo)位置為中心的目標(biāo)區(qū)域，并計(jì)算該目標(biāo)區(qū)域的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征；

s3：根據(jù)所述hog特征，深度顏色特征及深度運(yùn)動(dòng)特征構(gòu)建濾波器；

s4：讀取t時(shí)刻的圖像的數(shù)據(jù)，并在該圖像中以t-1時(shí)刻的目標(biāo)位置為中心提取候選區(qū)域，并計(jì)算該候選區(qū)域的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征，；

s5：在t時(shí)刻的圖像中，以t時(shí)刻的目標(biāo)位置為中心提取候選區(qū)域，并計(jì)算該候選區(qū)域的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征；

s6：根據(jù)t時(shí)刻的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征更新濾波器；

s7：重復(fù)步驟s4～s7至全部時(shí)刻的圖像數(shù)據(jù)處理完成；

其中，所述候選區(qū)域與目標(biāo)區(qū)域的大小相同。

較佳地，步驟s4后還包括：

首先，根據(jù)步驟s4得到的候選區(qū)域的hog特征z1,t，深度顏色特征z2,t及深度運(yùn)動(dòng)特征z3,t計(jì)算置信圖sj,t：

其中，f^-1表示傅立葉逆變換，j∈{1,2,3}，候選區(qū)域的寬度為w*(1+padding)，候選區(qū)域的高度為h*(1+padding)，其中，w為目標(biāo)寬度，h為目標(biāo)高度，padding為用戶預(yù)先設(shè)置的參數(shù)，一般情況下可以設(shè)置為1；

然后，在置信圖sj,t上進(jìn)行分別采樣，得到snj,t，采樣后的矩陣寬度為w*(1+padding)，高度為h*(1+padding)；

再計(jì)算特征融合后置信圖ssumt，

最后，利用所述特征融合后置信圖ssumt,根據(jù)下述式子，得到t時(shí)刻目標(biāo)位置(cmt,cnt)：

cmt＝cmt-1+dm-0.5*w*(1+padding)，

cnt＝cnt-1+dn-0.5*h*(1+padding)。

較佳地，所述步驟s3中構(gòu)建的濾波器為：

其中，λ為調(diào)整參數(shù)，yj是由高斯函數(shù)采樣得到的二維矩陣，xj,t-1的大小為wj×hj×dj，dj為通道數(shù)，wj×hj為空間分辨率，其中，x1,t-1表示t-1時(shí)刻圖像的hog特征，x2,t-1表示t-1時(shí)刻圖像的深度顏色特征，x3,t-1表示t-1時(shí)刻圖像的深度運(yùn)動(dòng)特征；

則步驟s6中更新的濾波器為：

其中，

較佳地，所述hog特征的計(jì)算方法包括如下步驟：

a)對(duì)圖像進(jìn)行灰度化處理得到灰度圖像；

b)對(duì)灰度圖像進(jìn)行顏色空間標(biāo)準(zhǔn)化處理；

c)計(jì)算圖像中每個(gè)像素的梯度；

d)將圖像劃分為s*s的小區(qū)，其中，s為像素?cái)?shù)；

e)統(tǒng)計(jì)每個(gè)小區(qū)中的梯度直方圖，形成每個(gè)小區(qū)的描述符；

f)將每s*s個(gè)小區(qū)組成一個(gè)塊，將該圖像中屬于一個(gè)塊內(nèi)的全部描述符串聯(lián)起來得到該塊的hog特征描述符，其中，s為正整數(shù)且s為s的整數(shù)倍；

g)將圖像中全部的塊的hog特征描述符串聯(lián)，得到該圖像的hog特征。

較佳地，所述深度顏色特征按下述步驟計(jì)算得到：

首先，將當(dāng)前時(shí)刻的圖像的整幅圖像的數(shù)據(jù)輸入到cnnm2048網(wǎng)絡(luò)；

然后，提取網(wǎng)絡(luò)中第一個(gè)卷積層的輸出作為整幅圖像的深度顏色信息；

最后，從所述深度顏色信息中提取與所述目標(biāo)區(qū)域或候選區(qū)域?qū)?yīng)的數(shù)據(jù)得到深度顏色特征。

較佳地，所述深度運(yùn)動(dòng)特征按下述步驟計(jì)算得到：

首先，計(jì)算圖像區(qū)域的光流信號(hào)；

其次，將所述光流信號(hào)輸入運(yùn)動(dòng)卷積網(wǎng)絡(luò)；

最后，使用所述運(yùn)動(dòng)卷積網(wǎng)絡(luò)的第7個(gè)全連接層的輸入作為所述深度運(yùn)動(dòng)特征。

本發(fā)明具有以下有益效果：

相關(guān)濾波器有著諸如移不變性、噪聲魯棒性、良好退化性等特點(diǎn)，在模式識(shí)別領(lǐng)域有著許多成功應(yīng)用。相關(guān)濾波器最大的特點(diǎn)是可以利用快速傅里葉變換使得計(jì)算速度加快，使用跟蹤的速度可以達(dá)到實(shí)時(shí)跟蹤的要求。鑒于hog特征和顏色特征在檢測(cè)等方面有著成功應(yīng)用，本發(fā)明中將上述特征應(yīng)用于目標(biāo)跟蹤，以提高跟蹤性能。此外，本發(fā)明充分利用了運(yùn)動(dòng)相關(guān)信息，因?yàn)檫\(yùn)行線索可以提供與外觀信息互補(bǔ)的辨別性信息。本發(fā)明將相關(guān)濾波器中最初的像素值特征擴(kuò)展到多通道非線性特征空間，利用hog特征、深度顏色和深度運(yùn)動(dòng)特征等性能優(yōu)良的特征，在保持計(jì)算速度較快的前提下，提高了跟蹤精度。有效避免了傳統(tǒng)方法僅根據(jù)目標(biāo)外觀信息進(jìn)行跟蹤，而缺乏準(zhǔn)確性及運(yùn)動(dòng)適應(yīng)性的問題。

附圖說明

圖1為本發(fā)明方法整體流程圖；

圖2為本發(fā)明優(yōu)選實(shí)施例的hog特征的計(jì)算流程圖。

具體實(shí)施方式

以下將結(jié)合本發(fā)明的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述和討論，顯然，這里所描述的僅僅是本發(fā)明的一部分實(shí)例，并不是全部的實(shí)例，基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。

為了便于對(duì)本發(fā)明實(shí)施例的理解，下面將結(jié)合附圖以具體實(shí)施例為例作進(jìn)一步的解釋說明，且各個(gè)實(shí)施例不構(gòu)成對(duì)本發(fā)明實(shí)施例的限定。

如圖1所示，本實(shí)施例提供的基于多特征融合的相關(guān)濾波跟蹤方法，包括以下步驟：

s1：讀取t-1時(shí)刻圖像的數(shù)據(jù)以及目標(biāo)塊在所述圖像中目標(biāo)位置及大??；

s2：在t-1時(shí)刻圖像的數(shù)據(jù)中，提取以所述目標(biāo)位置為中心的目標(biāo)區(qū)域，并計(jì)算該目標(biāo)區(qū)域的方向梯度直方圖(histogramoforientedgradient,hog)特征，深度顏色特征及深度運(yùn)動(dòng)特征；

s3：根據(jù)所述hog特征，深度顏色特征及深度運(yùn)動(dòng)特征構(gòu)建濾波器；

s4：讀取t時(shí)刻的圖像的數(shù)據(jù)，并在該圖像中以t-1時(shí)刻的目標(biāo)位置為中心提取候選區(qū)域，并計(jì)算該候選區(qū)域的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征；

s5：在t時(shí)刻的圖像中，以t時(shí)刻的目標(biāo)位置為中心提取候選區(qū)域，并計(jì)算該候選區(qū)域的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征；

s6：根據(jù)t時(shí)刻的hog特征，深度顏色特征及深度運(yùn)動(dòng)特征更新濾波器；

s7：重復(fù)步驟s4～s7至全部時(shí)刻的圖像數(shù)據(jù)處理完成；

其中，所述候選區(qū)域與目標(biāo)區(qū)域的大小相同。

進(jìn)一步的，上述的步驟s4后還包括：

首先，根據(jù)步驟s4得到的候選區(qū)域的hog特征z1,t，深度顏色特征z2,t及深度運(yùn)動(dòng)特征z3,t計(jì)算置信圖sj,t：

其中，f^-1表示傅立葉逆變換，j∈{1,2,3}，候選區(qū)域的寬度為w*(1+padding)，候選區(qū)域的高度為h*(1+padding)，其中，w為目標(biāo)的寬度，h為目標(biāo)的高度，padding為用戶根據(jù)需要預(yù)先設(shè)置的參數(shù)，一般情況下可以設(shè)置為1；

然后，在置信圖sj,t上進(jìn)行分別采樣，得到snj,t，采樣后的矩陣寬度為w*(1+padding)，高度為h*(1+padding)；

再計(jì)算特征融合后置信圖ssumt，

最后，利用所述特征融合后置信圖ssumt,根據(jù)下述式子，得到t時(shí)刻目標(biāo)位置(cmt,cnt)：

cmt＝cmt-1+dm-0.5*w*(1+padding)，

cnt＝cnt-1+dn-0.5*h*(1+padding)。

本實(shí)施例中步驟s3中構(gòu)建的濾波器為：

其中，λ為調(diào)整參數(shù)，yj是由高斯函數(shù)采樣得到的二維矩陣，xj,t-1的大小為wj×hj×dj，dj為通道數(shù)，wj×hj為空間分辨率，其中，x1,t-1表示t-1時(shí)刻圖像的hog特征，x2,t-1表示t-1時(shí)刻圖像的深度顏色特征，x3,t-1表示t-1時(shí)刻圖像的深度運(yùn)動(dòng)特征；

則步驟s6中更新的濾波器為：

其中，

在一優(yōu)選實(shí)施例中，上述的hog特征的計(jì)算方法參考圖2，具體包括如下步驟：

a)對(duì)圖像進(jìn)行灰度化處理得到灰度圖像；

b)對(duì)灰度圖像進(jìn)行顏色空間標(biāo)準(zhǔn)化處理，這里采用gamma校正法進(jìn)行標(biāo)準(zhǔn)化(歸一化)處理，目的是調(diào)節(jié)圖像的對(duì)比度，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)可以抑制噪音的干擾；

c)計(jì)算圖像中每個(gè)像素的梯度(包括大小和方向)，主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾；

d)將圖像劃分為s*s的小區(qū)(cells)，其中，s為像素?cái)?shù)；

e)統(tǒng)計(jì)每個(gè)小區(qū)中的梯度直方圖(不同梯度的個(gè)數(shù))，形成每個(gè)小區(qū)的描述符(descriptor)；

f)將每s*s個(gè)小區(qū)組成一個(gè)塊(block)，將該圖像中屬于一個(gè)塊內(nèi)的全部描述符串聯(lián)起來得到該塊的hog特征描述符，其中，s為正整數(shù)且s為s的整數(shù)倍；本實(shí)施例中，s值為6，則上述小區(qū)為6*6像素/cell，s值為3，則為3*3個(gè)cell/block，則共有(6/3)*(6/3)＝4個(gè)塊。

g)將圖像中全部的塊的hog特征描述符串聯(lián)，得到該圖像的hog特征。

在另一優(yōu)選實(shí)施例中，深度顏色特征按下述步驟計(jì)算得到：

首先，將當(dāng)前時(shí)刻的圖像的整幅圖像的數(shù)據(jù)輸入到一卷積網(wǎng)絡(luò)：cnnm2048網(wǎng)絡(luò)；

然后，提取網(wǎng)絡(luò)中第一個(gè)卷積層的輸出作為整幅圖像的深度顏色信息；

最后，從所述深度顏色信息中提取與所述目標(biāo)區(qū)域或候選區(qū)域?qū)?yīng)的數(shù)據(jù)得到深度顏色特征。

在另一優(yōu)選實(shí)施例中，深度運(yùn)動(dòng)特征按下述步驟計(jì)算得到：

首先，計(jì)算圖像區(qū)域的光流信號(hào)(opticalflowsignal)；

其次，將所述光流信號(hào)輸入運(yùn)動(dòng)卷積網(wǎng)絡(luò)(motion-cnn)；

最后，使用所述運(yùn)動(dòng)卷積網(wǎng)絡(luò)的第7個(gè)全連接層的輸入作為所述深度運(yùn)動(dòng)特征。

以下結(jié)合一具體實(shí)例說明上述的基于多特征融合的相關(guān)濾波跟蹤方法方法的執(zhí)行過程，具體如下：

步驟1，讀取第一幀圖像數(shù)據(jù)以及目標(biāo)塊在第一幀圖像中的位置(cm0,cn0)和大小(w,h)。其中，cm0，cn0分別表示目標(biāo)中心的橫坐標(biāo)和縱坐標(biāo)；w，h分別表示目標(biāo)塊的寬和高。

步驟2，在第一幀圖像數(shù)據(jù)中，以位置(cm0,cn0)為中心，提取寬度為w*(1+padding)、高度為h*(1+padding)的目標(biāo)區(qū)域。計(jì)算該目標(biāo)區(qū)域的hog特征x1,0、深度顏色特征x2,0和深度運(yùn)動(dòng)特征x3,0。其中，xj,0的大小為wj×hj×dj，dj為通道數(shù)，wj×hj為空間分辨率，j∈{1,2,3}。

步驟3，采用上述幾種特征xj,0，j∈{1,2,3}，按照下列式子，構(gòu)建濾波器j∈{1,2,3}，l∈{1,...,dj}。

其中，變量上的尖頭帽代表求2維dft變化，變量上一橫代表復(fù)數(shù)的共軛，兩個(gè)變量之間的點(diǎn)表示點(diǎn)乘，λ為調(diào)整參數(shù)，yj是二維矩陣，由高斯函數(shù)采樣得到。

步驟4，在下一幀t時(shí)刻的圖像中，以前一幀中t-1時(shí)刻目標(biāo)的位置(cmt-1,cnt-1)為中心，提取寬度為w*(1+padding)、高度為h*(1+padding)的候選區(qū)域。計(jì)算該候選區(qū)域的hog特征z1,t、深度顏色特征z2,t和深度運(yùn)動(dòng)特征z3,t。

步驟5，采用上述幾種特征zj,t，按照下列式子，計(jì)算置信圖sj,t。

其中，f^-1表示傅立葉逆變換，j∈{1,2,3}。

步驟6，將上述幾種置信圖sj,t上采樣得到snj,t，使得上采樣之后的矩陣寬度為w*(1+padding)，高度為h*(1+padding)。按照下式，計(jì)算特征融合之后的置信圖ssumt,

步驟7，利用置信圖ssumt,根據(jù)下列式子，定位t時(shí)刻的目標(biāo)位置(cmt,cnt)：

cmt＝cmt-1+dm-0.5*w*(1+padding)，

cnt＝cnt-1+dn-0.5*h*(1+padding)，

步驟8，在t時(shí)刻的圖像中，以t時(shí)刻目標(biāo)的位置(cmt,cnt)為中心，提取寬度為w*(1+padding)、高度為h*(1+padding)的候選區(qū)域。計(jì)算該候選區(qū)域的hog特征x1,t、深度顏色特征x2,t和深度運(yùn)動(dòng)特征x3,t。

步驟9，采用上述幾種特征xj,t，j∈{1,2,3}，按照下列式子，更新濾波器j∈{1,2,3}，l∈{1,...,dj}。

其中，變量上的尖頭帽代表求2維dft變化，變量上一橫代表復(fù)數(shù)的共軛，兩個(gè)變量之間的點(diǎn)表示點(diǎn)乘，λ為調(diào)整參數(shù)，yj是二維矩陣，由高斯函數(shù)采樣得到，γ為學(xué)習(xí)速率。

步驟10，判斷是否處理完所有圖像，若沒有，則轉(zhuǎn)到步驟4繼續(xù)；若處理完，則結(jié)束。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何本領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，對(duì)本發(fā)明所做的變形或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述的權(quán)利要求的保護(hù)范圍為準(zhǔn)。