專利名稱：跟蹤目標(biāo)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地涉及目標(biāo)的跟蹤。
背景技術(shù)：
目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題，它是行為分析，異常檢測(cè)等各種高 層應(yīng)用的基礎(chǔ)，在視頻監(jiān)控系統(tǒng)中有著重要的意義。影響目標(biāo)跟蹤效果的因素很多，其中光照的變化，目標(biāo)狀態(tài)的變化，以及遮擋(包 含目標(biāo)間遮擋以及目標(biāo)被背景遮擋)是最重要的三種情況。為了在視頻中準(zhǔn)確魯棒地跟蹤 目標(biāo)，人們引入各種各樣的特征，比如顏色直方圖、梯度方向直方圖(HOG)、Haar小波特征、 邊緣特征、LBP(Local BinaryPattern，局部二值模式)特征等等。由于特征之間各有優(yōu)缺 點(diǎn)，特征融合便成了目標(biāo)跟蹤領(lǐng)域一個(gè)重要的問題。

發(fā)明內(nèi)容
在下文中給出關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理 解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān) 鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念， 以此作為稍后論述的更詳細(xì)描述的前序。本發(fā)明的一個(gè)目的在于提供一種新的跟蹤目標(biāo)的方法和裝置。根據(jù)本發(fā)明的一個(gè)方面，一種跟蹤目標(biāo)的方法包括計(jì)算分別與目標(biāo)的多個(gè)特征 相關(guān)的多個(gè)相似度曲面，該相似度曲面為一組候選目標(biāo)與目標(biāo)模板之間的相似度構(gòu)成的曲 面；基于相關(guān)的相似度曲面的參數(shù)來計(jì)算特征的可信度；基于每個(gè)特征的可信度將多個(gè)相 似度曲面進(jìn)行合成以得到合成相似度曲面；以及基于合成相似度曲面來確定目標(biāo)的位置。根據(jù)本發(fā)明的另一方面，一種跟蹤目標(biāo)的裝置包括相似度曲面計(jì)算單元，被配置 為計(jì)算分別與目標(biāo)的多個(gè)特征相關(guān)的多個(gè)相似度曲面，該相似度曲面為一組候選目標(biāo)與目 標(biāo)模板之間的相似度構(gòu)成的曲面；可信度計(jì)算單元，被配置為基于相關(guān)的相似度曲面的參 數(shù)來計(jì)算特征的可信度；相似度曲面合成單元，被配置為基于每個(gè)特征的可信度將多個(gè)相 似度曲面進(jìn)行合成以得到合成相似度曲面；以及目標(biāo)位置確定單元，被配置為基于合成相 似度曲面來確定目標(biāo)的位置。根據(jù)本發(fā)明的又一個(gè)方面，還提供了一種計(jì)算機(jī)程序，用于實(shí)現(xiàn)以下方法計(jì)算分 別與目標(biāo)的多個(gè)特征相關(guān)的多個(gè)相似度曲面，該相似度曲面為一組候選目標(biāo)與目標(biāo)模板之 間的相似度構(gòu)成的曲面；基于相關(guān)的相似度曲面的參數(shù)來計(jì)算特征的可信度；基于每個(gè)特 征的可信度將多個(gè)相似度曲面進(jìn)行合成以得到合成相似度曲面；以及基于合成相似度曲面 來確定目標(biāo)的位置。根據(jù)本發(fā)明的再一個(gè)方面，還提供了一種至少計(jì)算機(jī)可讀介質(zhì)形式的計(jì)算機(jī)程序 產(chǎn)品，其上記錄有用于實(shí)現(xiàn)上述跟蹤目標(biāo)的方法的計(jì)算機(jī)程序代碼。本發(fā)明能夠有效地跟蹤目標(biāo)。


參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施方式的說明，會(huì)更加容易地理解本發(fā)明的以上和 其它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類 似的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來表示。圖1示出了根據(jù)本實(shí)施方式的特征融合的原理圖；圖2示出了根據(jù)第一實(shí)施方式的跟蹤目標(biāo)的方法的流程圖；圖3示出了根據(jù)本發(fā)明的第二實(shí)施方式的跟蹤目標(biāo)的方法的示意圖；圖4示出了 HOG特征的相似度曲面所呈現(xiàn)出的多峰結(jié)構(gòu)的示意圖；圖5示出了根據(jù)本發(fā)明的第三實(shí)施方式的跟蹤目標(biāo)的方法的示意圖；圖6示出了根據(jù)本發(fā)明的第四實(shí)施方式的跟蹤目標(biāo)的方法的示意圖；圖7示出了根據(jù)本發(fā)明的第五實(shí)施方式的跟蹤目標(biāo)的方法的示意圖；圖8圖示了可以用于實(shí)現(xiàn)本發(fā)明的實(shí)施方式的跟蹤目標(biāo)的裝置的計(jì)算設(shè)備的舉 例的結(jié)構(gòu)；圖9示出了根據(jù)本發(fā)明的第六實(shí)施方式的跟蹤目標(biāo)的裝置。
具體實(shí)施例方式下面參照附圖來說明本發(fā)明的實(shí)施方式。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中 描述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。 應(yīng)當(dāng)注意，為了清楚的目的，附圖和說明中省略了與本發(fā)明無關(guān)的、本領(lǐng)域普通技術(shù)人員已 知的部件和處理的表示和描述。跟蹤目標(biāo)的方法第一實(shí)施方式圖1示出了根據(jù)本實(shí)施方式的特征融合的原理圖。圖1中示出的是對(duì)兩路特征的 融合。對(duì)于視頻中的目標(biāo)(圖1中所示為行人)分別計(jì)算第一特征的相似度曲面和第二特 征的相似度曲面，然后將兩路的相似度曲面進(jìn)行加權(quán)求和，得到最終合成相似度曲面。從而 得到目標(biāo)出現(xiàn)概率最大的位置。下面將對(duì)上述原理進(jìn)行進(jìn)一步的解釋。為了利用不同的特征的互補(bǔ)性，多個(gè)特征中可以包括至少一個(gè)全局特征和至少一 個(gè)局部特征。全局特征可以是顏色直方圖(Histogram of Color，HC)，局部特征可以是HOG、 Haar小波特征、邊緣特征、局部二值模式特征(Local Binary Pattern，LBP)。例如，HOG特 征的主要優(yōu)點(diǎn)是對(duì)光照變化不敏感，但是它不區(qū)分個(gè)體，對(duì)于不同行人沒有區(qū)分能力。而顏 色直方圖特征一般可以區(qū)分個(gè)體，卻往往容易受到光照變化的影響。圖2示出了根據(jù)第一實(shí)施方式的跟蹤目標(biāo)的方法的流程圖。假定已知目標(biāo)模板及其初始位置。該目標(biāo)模板及其初始位置可以是手工標(biāo)注 或者通過一個(gè)可靠的目標(biāo)檢測(cè)器得到。例如，可以使用經(jīng)訓(xùn)練得到的HOGOlistogram of Oriented Gradients，梯度方向直方圖)特征和SVM(Support Vector Machine)分類器(以 下簡稱為HOG分類器)作為目標(biāo)檢測(cè)器來檢測(cè)視頻中初始出現(xiàn)的目標(biāo)，以將該檢測(cè)到的目 標(biāo)確定為目標(biāo)模板，將目標(biāo)初始出現(xiàn)的位置確定為初始位置。由于目標(biāo)一般在圖像中占據(jù) 一定的面積，為了方便，下面也將目標(biāo)的中心(也可以是其他特定點(diǎn)，例如最高點(diǎn)等)稱為目標(biāo)的位置。下面以兩路特征的融合為例對(duì)本實(shí)施方式進(jìn)行了介紹，但是應(yīng)理解本實(shí)施方 式也可以應(yīng)用于對(duì)三個(gè)或更多個(gè)特征進(jìn)行融合的情況。在步驟202中，計(jì)算分別與目標(biāo)的第一特征和第二特征相關(guān)的相似度曲面。相似度曲面是指一組候選目標(biāo)與目標(biāo)模板之間的相似度所構(gòu)成的曲面。候選目標(biāo)可以通過以下方法確定。在跟蹤的過程中，對(duì)于當(dāng)前幀，基于前一幀中確 定的目標(biāo)的位置(對(duì)于前一幀是初始幀的情況下，如上所述，目標(biāo)的位置可以是通過手工 標(biāo)注或者通過一個(gè)可靠的目標(biāo)檢測(cè)器得到的)以及估計(jì)的目標(biāo)最大移動(dòng)速度，判斷目標(biāo)可 能出現(xiàn)的區(qū)域。以下將判斷的目標(biāo)可能出現(xiàn)的區(qū)域稱為搜索區(qū)域。搜索區(qū)域決定了相似度 曲面的坐標(biāo)范圍。搜索區(qū)域可以是以前一幀確定的目標(biāo)位置為圓心、以估計(jì)的目標(biāo)最大移 動(dòng)速度乘以兩幀之間的時(shí)間差確定的距離為半徑的圓。搜索區(qū)域還可以是以前一幀確定 的目標(biāo)位置為中心、以估計(jì)的目標(biāo)移動(dòng)速度乘以兩幀之間的時(shí)間差確定的距離為邊長的方 形。上述估計(jì)的目標(biāo)最大移動(dòng)速度可以是經(jīng)驗(yàn)值，或者是由前兩幀所確定的目標(biāo)的位置之 間的距離除以兩幀之間的時(shí)間差得到的值再乘以一個(gè)系數(shù)。更簡單地，搜索區(qū)域還可以是 以前一幀確定的目標(biāo)位置為圓心，以預(yù)定距離為半徑的圓，或者是以前一幀確定的目標(biāo)位 置為中心，以預(yù)定距離為邊長的方形。本領(lǐng)域的技術(shù)人員也可以設(shè)想其他的確定搜索區(qū)域 的方法。候選目標(biāo)的大小和形狀可以與目標(biāo)模板相同。或者，候選目標(biāo)的大小可以隨著估計(jì) 的目標(biāo)與鏡頭之間的距離的變化而相對(duì)于目標(biāo)模板進(jìn)行縮放?？梢詫⑺阉鲄^(qū)域中的每個(gè)點(diǎn) 都作為候選目標(biāo)的位置。為了減少計(jì)算量，也可以在搜索區(qū)域中按照隨機(jī)模型隨機(jī)選擇一 些點(diǎn)作為候選目標(biāo)的位置。也可以先基于前一幀中確定的目標(biāo)的位置，按照隨機(jī)模型隨機(jī) 選圖像中一些點(diǎn)作為候選目標(biāo)的位置，然后將包含這些點(diǎn)的一個(gè)區(qū)域確定為搜索區(qū)域。以 上確定候選目標(biāo)以及搜索范圍的具體細(xì)節(jié)是本領(lǐng)域技術(shù)人員可以實(shí)現(xiàn)的，這里不再詳細(xì)描 述。 在確定了候選目標(biāo)之后，可以計(jì)算候選目標(biāo)與目標(biāo)模板之間的相似度。相似度是 與目標(biāo)的特征相關(guān)的，因此，相似度實(shí)際上是將候選目標(biāo)與目標(biāo)模板的特征模型進(jìn)行比較 的相似度。目標(biāo)模板的特征模型可以預(yù)先獲得。例如對(duì)于HC特征，可以基于已知的目標(biāo)模 板來求出HC特征模型。而對(duì)于HOG特征，可以通過樣本訓(xùn)練的方法獲得的HOG特征模型， 而不必基于目標(biāo)模板來獲得HOG特征模型。特別地，如果如上所述采用HOG分類器檢測(cè)視 頻中初始出現(xiàn)的目標(biāo)，則可以將該HOG分類器作為HOG特征模型。相似度的具體計(jì)算是本 領(lǐng)域的技術(shù)人員可以實(shí)現(xiàn)的，例如可以采用歐幾里德距離方法，巴氏(Bhattacharyya)距 離方法等等，這里不再詳細(xì)描述。在計(jì)算出各個(gè)候選目標(biāo)與目標(biāo)模板之間的相似度之后，根據(jù)候選目標(biāo)的位置的坐 標(biāo)和對(duì)應(yīng)的相似度的值就可以確定相似度曲面。在如上所述搜索區(qū)域中的一些點(diǎn)未被作為 候選目標(biāo)的位置的情況下，可以利用插值的方法求出這些點(diǎn)對(duì)應(yīng)的相似度的值。在步驟204中，基于相關(guān)的相似度曲面的平均相似度來計(jì)算特征的可信度。在本發(fā)明的實(shí)施方式中，基于上面獲得的相似度曲面來確定該相似度曲面所對(duì)應(yīng) 的特征的可信度。對(duì)于可信度大的特征在特征融合時(shí)賦予更大的權(quán)重，從而可以更準(zhǔn)確地 確定目標(biāo)的位置。具體地，可以從相似度曲面中提取能夠反映特征的可信度的參數(shù)。在本實(shí)施方式中提取相似度曲面的平均相似度作為反映特征的可信度的參數(shù)。平均相似度反映了特征模型與各個(gè)候選目標(biāo)之間的平均相似程度，平均相似程度越高，說明 該特征越能精確的描述當(dāng)前跟蹤的目標(biāo)，也就是該特征越可信。也就是說，特征的可信度與 平均相似度成正相關(guān)。為了降低噪聲的影響，可以僅對(duì)相似度曲面中相似度大于預(yù)定閾值的點(diǎn)的相似度 進(jìn)行平均。平均相似度可以計(jì)算如下
權(quán)利要求
1.一種跟蹤目標(biāo)的方法，包括計(jì)算分別與目標(biāo)的多個(gè)特征相關(guān)的多個(gè)相似度曲面，所述相似度曲面為一組候選目標(biāo) 與目標(biāo)模板之間的相似度構(gòu)成的曲面；基于相關(guān)的相似度曲面的參數(shù)來計(jì)算特征的可信度；基于每個(gè)所述特征的可信度將所述多個(gè)相似度曲面進(jìn)行合成以得到合成相似度曲面；以及基于所述合成相似度曲面來確定所述目標(biāo)的位置。
2.如權(quán)利要求1所述的方法，其中計(jì)算特征的可信度的步驟包括基于相關(guān)的相似度曲 面的參數(shù)和參考相似度曲面的參數(shù)來計(jì)算特征的可信度。
3.如權(quán)利要求1所述的方法，其中計(jì)算特征的可信度包括基于相關(guān)的相似度曲面的平 坦程度、平均相似度和多峰程度中的一個(gè)或多個(gè)來計(jì)算特征的可信度。
4.如權(quán)利要求3所述的方法，其中所述相似度曲面的平坦程度基于相似度曲面中相似 度大于預(yù)定閾值的點(diǎn)的個(gè)數(shù)來確定。
5.如權(quán)利要求3所述的方法，其中所述相似度曲面的平均相似度是相似度曲面中相似 度大于預(yù)定閾值的點(diǎn)的平均相似度。
6.如權(quán)利要求3所述的方法，其中所述相似度曲面的多峰程度是相似度曲面中的第二 高峰的值與最高峰的值的比。
7.如權(quán)利要求3所述的方法，其中所述計(jì)算特征的可信度的步驟包括以下述方式中的 一個(gè)或者多個(gè)來確定可信度可信度與所述平坦程度負(fù)相關(guān)；可信度與所述平均相似度正 相關(guān)；可信度與所述多峰程度負(fù)相關(guān)。
8.如權(quán)利要求3所述的方法，其中所述計(jì)算特征的可信度的步驟包括通過以下公式來 計(jì)算特征的可信度
9.如權(quán)利要求1所述的方法，其中所述多個(gè)特征包括至少一個(gè)全局特征和至少一個(gè)局 部特征。
10.如權(quán)利要求9所述的方法，其中所述全局特征為顏色直方圖，所述局部特征選自 梯度方向直方圖，Haar小波特征，邊緣特征，局部二值模式特征。
11.一種跟蹤目標(biāo)的裝置，包括相似度曲面計(jì)算單元，被配置為計(jì)算分別與目標(biāo)的多個(gè)特征相關(guān)的多個(gè)相似度曲面， 所述相似度曲面為一組候選目標(biāo)與目標(biāo)模板之間的相似度構(gòu)成的曲面；可信度計(jì)算單元，被配置為基于相關(guān)的相似度曲面的參數(shù)來計(jì)算特征的可信度；相似度曲面合成單元，被配置為基于每個(gè)所述特征的可信度將所述多個(gè)相似度曲面進(jìn) 行合成以得到合成相似度曲面；以及目標(biāo)位置確定單元，被配置為基于所述合成相似度曲面來確定所述目標(biāo)的位置。
12.如權(quán)利要求11所述的裝置，其中所述可信度計(jì)算單元被配置為基于相關(guān)的相似度 曲面的參數(shù)和參考相似度曲面的參數(shù)來計(jì)算特征的可信度。
13.如權(quán)利要求11所述的裝置，其中所述可信度計(jì)算單元被配置為基于相關(guān)的相似度 曲面的平坦程度、平均相似度和多峰程度中的一個(gè)或多個(gè)來計(jì)算特征的可信度。
14.如權(quán)利要求13所述的裝置，其中所述可信度計(jì)算單元被配置為以下述方式中的一 個(gè)或者多個(gè)來確定可信度可信度與所述平坦程度負(fù)相關(guān)；可信度與所述平均相似度正相 關(guān)；可信度與所述多峰程度負(fù)相關(guān)。
15.如權(quán)利要求13所述的裝置，其中所述可信度計(jì)算單元被配置為通過以下公式來計(jì) 算特征的可信度Conf= SISq其中Conf表示特征的可信度，J表示相似度曲面的平均相似度，表示參考相似度曲 面的平均相似度，S表示相似度曲面的平坦程度，Stl表示參考相似度曲面的平坦程度，γ 表示相似度曲面的多峰程度，c，k為大于或等于ο的常數(shù)，min (1，)表示ι和 中較小的一個(gè)。
全文摘要
本發(fā)明涉及跟蹤目標(biāo)的方法和裝置。跟蹤目標(biāo)的方法包括計(jì)算分別與目標(biāo)的多個(gè)特征相關(guān)的多個(gè)相似度曲面，該相似度曲面為一組候選目標(biāo)與目標(biāo)模板之間的相似度構(gòu)成的曲面；基于相關(guān)的相似度曲面的參數(shù)來計(jì)算特征的可信度；基于每個(gè)特征的可信度將多個(gè)相似度曲面進(jìn)行合成以得到合成相似度曲面；以及基于合成相似度曲面來確定目標(biāo)的位置。本發(fā)明能夠有效地跟蹤目標(biāo)。
文檔編號(hào)G06K9/00GK101996312SQ20091016594
公開日2011年3月30日 申請(qǐng)日期2009年8月18日 優(yōu)先權(quán)日2009年8月18日
發(fā)明者吳偉國, 江帆, 王貴錦 申請(qǐng)人:索尼株式會(huì)社;清華大學(xué)