一種目標(biāo)跟蹤方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)，特別涉及一種目標(biāo)跟蹤方法及裝置。
【背景技術(shù)】
[0002] 目標(biāo)跟蹤已經(jīng)被研宄了很多年，有很多優(yōu)秀的算法被提出來(lái)處理各種各樣不同的 任務(wù)。由于目標(biāo)會(huì)受到光照、形變、遮擋等多種因素影響，目標(biāo)跟蹤在計(jì)算機(jī)視覺(jué)領(lǐng)域仍然 是一項(xiàng)非常具有挑戰(zhàn)性的研宄任務(wù)。它在實(shí)際生活中應(yīng)用廣泛，包括視頻監(jiān)控、人機(jī)交互以 及視頻檢索等。
[0003] 單目標(biāo)跟蹤是最常見(jiàn)的跟蹤問(wèn)題，大多數(shù)算法都跟蹤一個(gè)不指定的目標(biāo)，沒(méi)有任 何先驗(yàn)信息可利用。在視頻第一幀中給出目標(biāo)的初始化狀態(tài)（位置信息和尺度信息），跟蹤 的目的是在后續(xù)的視頻幀中評(píng)估目標(biāo)的狀態(tài)，計(jì)算目標(biāo)的位置和尺度信息。
[0004] -個(gè)傳統(tǒng)的跟蹤系統(tǒng)由四部分組成：目標(biāo)初始化、外表建模、運(yùn)動(dòng)估計(jì)、目標(biāo)定位。
[0005] 目標(biāo)初始化分為手動(dòng)或自動(dòng)兩種。手動(dòng)初始化通過(guò)人工在圖像中標(biāo)選目標(biāo)，常用 矩形框來(lái)表示。而自動(dòng)初始化采用檢測(cè)器來(lái)自動(dòng)識(shí)別出目標(biāo)，例如人臉檢測(cè)器。
[0006] 外表建模由特征描述和統(tǒng)計(jì)學(xué)建模組成。特征描述關(guān)注于采用怎么樣的具有區(qū)別 性的特征構(gòu)建描述子來(lái)描述目標(biāo)。統(tǒng)計(jì)學(xué)建模關(guān)注于如何去組織特征建立有效性的數(shù)學(xué)模 型對(duì)目標(biāo)進(jìn)行識(shí)別。
[0007] 運(yùn)動(dòng)估計(jì)常采用線性回歸、粒子濾波、卡爾曼濾波等方法在新一幀中對(duì)目標(biāo)位置 進(jìn)行預(yù)估計(jì)。
[0008] 目標(biāo)定位是根據(jù)運(yùn)動(dòng)估計(jì)的位置為依據(jù)，尋找到置信度最大的矩形目標(biāo)框作為目 標(biāo)位置。
[0009] 特征描述常采用局部特征或者是全局特征，局部特征往往描述一個(gè)圖形區(qū)域中的 局部統(tǒng)計(jì)信息，而全局特征描述一個(gè)圖形區(qū)域中的全局統(tǒng)計(jì)信息。一般，基于感興趣點(diǎn)集的 局部特征主要分為七種：基于局部模板、基于分割、基于SIFT、基于MSER、基于SURF、基于角 點(diǎn)特征、基于特征池和基于顯著檢測(cè)。而全局特征描述主要包括：純像素描述、光流描述、直 方圖描述、互相關(guān)描述、基于小波濾波器描述和基于有效的輪廓描述。
[0010] 跟蹤算法基于統(tǒng)計(jì)學(xué)建模被歸類為增長(zhǎng)型或差異型兩種。增長(zhǎng)型算法通過(guò)學(xué)習(xí)模 型來(lái)代表被跟蹤目標(biāo)，然后用此模型在每幀中搜索最相似的那個(gè)區(qū)域。差異型算法將跟蹤 問(wèn)題看為一個(gè)二分類任務(wù)，目的是為了找到?jīng)Q策邊緣從而在背景中找到跟蹤目標(biāo)。
[0011] 使用靜態(tài)模型的跟蹤算法是無(wú)法克服重大的外表改變，大部分算法采用在線更新 的外表模型，被稱為在線跟蹤算法。在線更新的方法很大程度影響目標(biāo)持續(xù)跟蹤的能力，如 果一個(gè)外表模型更新時(shí)帶有明顯的噪聲，誤差將會(huì)積累，最終導(dǎo)致明顯漂移甚至跟蹤失敗。
[0012] 綜上所述，在現(xiàn)有的目標(biāo)跟蹤方法中，大部分方法為了提高跟蹤精度而以犧牲速 度為代價(jià)，無(wú)法滿足30Hz的實(shí)時(shí)性要求。即便有些方法計(jì)算速度很快，但由于設(shè)計(jì)過(guò)于簡(jiǎn) 單，導(dǎo)致跟蹤精度較低。

【發(fā)明內(nèi)容】

[0013] 有鑒于此，本發(fā)明的主要目的在于提供一種目標(biāo)跟蹤方法及裝置，采用本發(fā)明能 夠跟蹤無(wú)先驗(yàn)信息的目標(biāo)，對(duì)光照、旋轉(zhuǎn)、遮擋等挑戰(zhàn)性因素有很強(qiáng)魯棒性，并且能夠?qū)崿F(xiàn) 快速跟蹤。
[0014] 本發(fā)明技術(shù)解決方案：一種目標(biāo)跟蹤方法。該方法包括：在初始化幀中，設(shè)計(jì)一個(gè) 特殊的映射環(huán)節(jié)將圖像轉(zhuǎn)換成多向量混合特征；采用提取的多向量混合特征訓(xùn)練多向量相 關(guān)濾波器；針對(duì)隨后的序列圖像，采用訓(xùn)練好的多向量相關(guān)濾波器生成全部搜索位置的置 信圖；選取置信圖的峰值為目標(biāo)位置，對(duì)此位置像第一步的相同方式提取多向量混合特征， 并在線更新相關(guān)濾波器。
[0015] 具體實(shí)現(xiàn)步驟如下：
[0016] 步驟1 :在初始化幀中，以目標(biāo)中心位置為中心，在當(dāng)前幀中密度采樣圖像塊并對(duì) 其經(jīng)過(guò)余弦窗（cosine window)進(jìn)行預(yù)處理后得到輸入訓(xùn)練樣本（密度采樣是相對(duì)于稀 疏采樣的概念，就是指在采樣區(qū)域以最低步長(zhǎng)掃描圖像塊，而稀疏采樣是在相同區(qū)域以較 大步長(zhǎng)或者隨機(jī)采樣較少的圖像塊），設(shè)計(jì)一個(gè)映射環(huán)節(jié)將訓(xùn)練樣本轉(zhuǎn)換成多向量混合特 征；
[0017] 步驟2 :采用提取的多向量混合特征訓(xùn)練多向量相關(guān)濾波器，將各個(gè)訓(xùn)練樣本及 樣本所對(duì)應(yīng)的置信度輸入相關(guān)濾波器，此過(guò)程將多向量特征與多向量相關(guān)濾波器進(jìn)行卷 積，所有訓(xùn)練樣本及樣本所對(duì)應(yīng)的置信度完成輸入后，訓(xùn)練結(jié)束。
[0018] 步驟3 :針對(duì)隨后的序列圖像，首先會(huì)根據(jù)上一幀的目標(biāo)位置，在搜索半徑內(nèi)提取 待檢測(cè)的圖像塊集，圖像塊此時(shí)需要采用步驟1中相同的方式獲得多向量混合特征，將混 合特征輸入訓(xùn)練好的多向量相關(guān)濾波器，可以得到此位置的置信度。對(duì)每個(gè)待檢測(cè)位置計(jì) 算后，可生成所有搜索位置的置信圖；
[0019] 步驟4 :選取置信圖的峰值為目標(biāo)位置，對(duì)此位置像步驟1 一樣提取多向量混合特 征，并在線更新相關(guān)濾波器。
[0020] 步驟5 :對(duì)于隨后未處理的序列圖像，逐幀計(jì)算，反復(fù)應(yīng)用步驟3及步驟4,檢測(cè)出 目標(biāo)位置，并在線更新跟蹤器，由更新后的跟蹤器在下一幀圖像中進(jìn)行目標(biāo)檢測(cè)，反復(fù)進(jìn)行 此循環(huán)，對(duì)于每一幀新圖像，重新執(zhí)行一次步驟3和步驟4,若視頻流最后一幀處理完，循環(huán) 結(jié)束。
[0021] 所述步驟1中映射環(huán)節(jié)將訓(xùn)練樣本轉(zhuǎn)換成多向量混合特征具體實(shí)現(xiàn)如下：
[0022] (1)根據(jù)待組成的多特征混合描述子來(lái)確定多個(gè)特征空間，每一個(gè)特征空間對(duì)應(yīng) 唯一的映射矩陣，而這些映射矩陣作為元素來(lái)組成總映射；
[0023] (2)將同一訓(xùn)練樣本通過(guò)不同映射矩陣會(huì)生成不同的單向量特征；
[0024] (3)將這些單向量特征通過(guò)特征融合生成多向量混合特征。
[0025] 本發(fā)明還提供一種目標(biāo)跟蹤裝置，包括提取單元，訓(xùn)練單元，跟蹤單元；其中，
[0026] 所述提取單元，用于圖像的預(yù)處理，并將處理后的圖像采用提出的設(shè)計(jì)映射方式， 生成多向量混合特征，將此特征傳遞給訓(xùn)練單元。
[0027] 所述訓(xùn)練單元，用于多向量相關(guān)濾波器的在線更新，此過(guò)程需要提取單元生成的 混合特征。
[0028] 所述跟蹤單元，用于在隨后的序列圖像中，檢測(cè)出目標(biāo)位置。
[0029] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：本發(fā)明提供的目標(biāo)跟蹤方法及裝置，能夠跟 蹤