專利名稱：：數(shù)字視頻目標(biāo)跟蹤中的目標(biāo)匹配方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于數(shù)字圖像處理
技術(shù)領(lǐng)域：
，涉及運(yùn)動(dòng)目標(biāo)跟蹤，具體是一種數(shù)字視頻運(yùn)動(dòng)目標(biāo)匹配的方法。
背景技術(shù)：
：視頻目標(biāo)跟蹤方法在數(shù)字視頻處理領(lǐng)域有很廣泛的應(yīng)用。目標(biāo)匹配方法屬于目標(biāo)跟蹤方法的一部分。目標(biāo)匹配方法的好壞直接決定了跟蹤方法的質(zhì)量。目前目標(biāo)匹配的方法主要有基于目標(biāo)表象特征的方法和基于統(tǒng)計(jì)建模的方法。K.Nummiaro,E.Koller-Meier,L.VanGool在文章"Anadaptivecolorbasedparticlefilter",ImageandVisionComputing,2003中提出了一禾中基于目標(biāo)顏色分布的目標(biāo)匹配準(zhǔn)則。使用顏色作為目標(biāo)匹配準(zhǔn)則的方法很多，如P.Perez,C.Hue,J.VermaakandM.Gangnet,，，Color-BasedProbabilisticTracking,"EuropeanConferenceonComputerVision",pp.661-675，2002。這種方法有很多優(yōu)點(diǎn)，比如對(duì)旋轉(zhuǎn)，部分遮擋的魯棒性等等。此外還有使用目標(biāo)邊緣直方圖作為目標(biāo)匹配準(zhǔn)則的方法或者結(jié)合多種目標(biāo)信息作為目標(biāo)匹配的準(zhǔn)則。上述目標(biāo)的不足在于其使用的特征信息都是基于幀內(nèi)信息的，不包含目標(biāo)的運(yùn)動(dòng)信息。而目標(biāo)的運(yùn)動(dòng)信息是運(yùn)動(dòng)目標(biāo)跟蹤方法最需要獲取的?；陬伾植嫉哪繕?biāo)匹配方法在圖5中的目標(biāo)跟蹤任務(wù)失敗恰恰是由于該方法缺少運(yùn)動(dòng)信息?；诮y(tǒng)計(jì)建模的方法在目標(biāo)跟蹤的任務(wù)中也常被采用，如M.Isard,J.MacCormick在"BraMBLe:ABayesianMultiple-BlobTracker"，InternationalConferenceonComputerVision，2001中所述的方法；R.Pless在"Spatio-temporalbackgroundmodelsforoutdoorsurveillance",EURASIPJournalonAppliedSignalProcessing,pp.2281-229，2005中所述的方法?；诮y(tǒng)計(jì)建模的方法，如上述兩篇引文中介紹的那樣，通常是選擇目標(biāo)的一種統(tǒng)計(jì)特征，然后訓(xùn)練一個(gè)統(tǒng)計(jì)模型來(lái)描述該特征。這個(gè)模型則作為對(duì)后續(xù)幀中目標(biāo)匹配的量度。然而傳統(tǒng)的目標(biāo)統(tǒng)計(jì)模型的不足點(diǎn)是由于對(duì)整幀圖像內(nèi)的像素建模，要求鏡頭不能運(yùn)動(dòng)或者只能容忍幅度很小的抖動(dòng)，因而不適用對(duì)攝像鏡頭隨著載具運(yùn)動(dòng)的視頻序列中的目標(biāo)進(jìn)行跟蹤。
發(fā)明內(nèi)容本發(fā)明的目的在于克服上述已有技術(shù)的不足,提出一種數(shù)字視頻目標(biāo)跟蹤中的目標(biāo)匹配方法，以實(shí)現(xiàn)在航拍視頻序列中對(duì)目標(biāo)的穩(wěn)定跟蹤。為實(shí)現(xiàn)上述目的,本發(fā)明的目標(biāo)匹配方法包括如下步驟(1)根據(jù)目標(biāo)像素的統(tǒng)計(jì)特征建立基于視頻目標(biāo)時(shí)空信息模型；(2)計(jì)算視頻后續(xù)幀中的所有目標(biāo)位置假設(shè)的每一個(gè)像素與所述目標(biāo)時(shí)空信息模型的擬合程度，并判斷這些擬合程度，對(duì)于擬合程度大于設(shè)定門限的像素認(rèn)為其屬于目標(biāo)時(shí)空信息模型,使用核函數(shù)對(duì)后續(xù)幀中屬于上述模型的像素加權(quán),計(jì)算每一個(gè)目標(biāo)位置假設(shè)和時(shí)空信息模型的匹配度；(3)計(jì)算后續(xù)幀中所有目標(biāo)位置假設(shè)的上述匹配度，對(duì)于匹配度高于設(shè)定閾值2或閾值l的目標(biāo)位置假設(shè)認(rèn)為是目標(biāo)的真實(shí)位置，并用匹配度高于設(shè)定閾值2的目標(biāo)位置假設(shè)置更新目標(biāo)時(shí)空信息模型。所述的建立基于視頻目標(biāo)時(shí)空信息模型,按如下步驟進(jìn)行(la)根據(jù)初始幀中標(biāo)定的目標(biāo)位置計(jì)算該位置中每個(gè)像素點(diǎn)在x,y，t方向上的偏導(dǎo)數(shù)作為該像素的統(tǒng)計(jì)特征(lb)統(tǒng)計(jì)所有初始幀中的目標(biāo)位置中相對(duì)應(yīng)位置所有像素的統(tǒng)計(jì)特征；(lc)使用高斯分布模型描述目標(biāo)位置上每一個(gè)像素的統(tǒng)計(jì)特征,獲取該高斯模型的均值向量和方差矩陣。所述的更新目標(biāo)時(shí)空信息模型,按如下步驟進(jìn)行(3a)計(jì)算匹配度大于闞值2的目標(biāo)位置假設(shè)中的每個(gè)像素點(diǎn)在x,y,t方向上的偏導(dǎo)數(shù)作為該像素的統(tǒng)計(jì)特征；(3b)根據(jù)統(tǒng)特征計(jì)算目標(biāo)時(shí)空信息模型的更新參數(shù)Anew-A+(n+1)2O^new—AO(/^new—AO，式中，An^為更新后模型的方差矩陣，Mnew為更新后模型的統(tǒng)計(jì)特征均值向量，A為原模型的方差矩陣，p為原模型的統(tǒng)計(jì)特征均值向量，n為訓(xùn)練幀的幀數(shù)。本發(fā)明由于使用運(yùn)動(dòng)目標(biāo)的時(shí)空信息模型計(jì)算目標(biāo)的匹配度，所以能夠分辨出使用諸如顏色，邊緣等幀內(nèi)信息作為匹配度所不能分辨的目標(biāo)；同時(shí)由于時(shí)空信息模型是直接建立在目標(biāo)上而不是一個(gè)全局的模型，故可實(shí)現(xiàn)在航拍視頻中使用。仿真結(jié)果表明，用本發(fā)明的方法在航拍視頻中更夠正確分辨出地面運(yùn)動(dòng)目標(biāo),如各種車輛。圖l是本發(fā)明的整體流程圖圖2是本發(fā)明用于建立目標(biāo)時(shí)空信息模型使用的訓(xùn)練幀圖圖3是本發(fā)明后續(xù)幀上的一些目標(biāo)位置假設(shè)圖；圖4是基于現(xiàn)有巴氏距離的匹配準(zhǔn)則的跟蹤效果圖；圖5是基于本發(fā)明所述匹配準(zhǔn)則的跟蹤效果圖。具體實(shí)施例方式參照?qǐng)D1，本發(fā)明的目標(biāo)匹配方法包括如下步驟步驟l，建立運(yùn)動(dòng)目標(biāo)時(shí)空信息模型。根據(jù)圖2所示的初始幀標(biāo)定的目標(biāo)位置，計(jì)算每個(gè)標(biāo)定框內(nèi)的像素的時(shí)空差分統(tǒng)計(jì)特征=(/x⑧t),/y(^:U(At))t，其中為該像素的灰度值，-代表像素位置，t為時(shí)間。如果視頻幀是彩色的，則先要將其轉(zhuǎn)換為灰度圖。具體建模過(guò)程如下(l.l)根據(jù)初始幀中標(biāo)定的目標(biāo)位置計(jì)算該位置中每個(gè)像素點(diǎn)在x，y，t方向上的偏導(dǎo)數(shù)作為該像素的統(tǒng)計(jì)特征；(1.2)統(tǒng)計(jì)所有初始幀中的目標(biāo)位置中相對(duì)應(yīng)位置所有像素的統(tǒng)計(jì)特征；(1.3)使用一個(gè)或者是多個(gè)高斯分布模型描述訓(xùn)練幀中目標(biāo)位置上每一個(gè)像素的統(tǒng)計(jì)特征，獲取該高斯模型的均值向量和方差矩陣,每個(gè)分布的方差矩陣為式中,n為屬于該分布的視頻幀數(shù)，^為統(tǒng)計(jì)特征的均值向量。使用多個(gè)分布模型的情況是，先使用監(jiān)督聚類算法找到統(tǒng)計(jì)特征的各個(gè)聚類中心，其余步驟同單模型情況。步驟2,計(jì)算匹配度。(2.1)計(jì)算如圖3所示的后續(xù)幀目標(biāo)假設(shè)的上述統(tǒng)計(jì)特征和該位置的統(tǒng)計(jì)模型的距離d=mirii(V他t)-/^)rA"(▽/(-,0-^)'式中，d為特征向量在多組高斯分布統(tǒng)計(jì)特征中的最小的馬氏距離，I為該像素的灰度值，-代表像素位置，t為時(shí)間，A"是一個(gè)高斯分布方差矩陣的逆。如果d小于設(shè)定的一個(gè)門限，則認(rèn)為此位置的像素屬于時(shí)空信息模型。(2.2)使用一個(gè)核函數(shù)，如高斯核函數(shù)fc(r)=ae—^，對(duì)目標(biāo)位置假設(shè)中所有屬于時(shí)空信息模型的像素加權(quán)，fc為權(quán)值，a為權(quán)重放大系數(shù)，r為目標(biāo)位置假設(shè)中某像素到目標(biāo)位置假設(shè)幾何中心的歐式距離，(12為此高斯核函數(shù)的方差，該核函數(shù)的極大值位于目標(biāo)位置假設(shè)幾何中心，函數(shù)值隨像素到此幾何中心的距離衰減，(2.3)將目標(biāo)位置像素的權(quán)值求和后與目標(biāo)位置假設(shè)中像素?cái)?shù)目相比，其比值為百分?jǐn)?shù)制大于0小于100%,需要注意的是如果加權(quán)函數(shù)使目標(biāo)位置假設(shè)和模型的匹配度超過(guò)100%則需要調(diào)整其參數(shù)和d的值。步驟3,目標(biāo)匹配和模型更新。(3.l)對(duì)某一后續(xù)幀中所有目標(biāo)位置假設(shè)的匹配度進(jìn)行判斷，對(duì)于匹配度高于設(shè)定閾值2或閾值1的目標(biāo)位置假設(shè)認(rèn)為是目標(biāo)的真實(shí)位置，并用匹配度高于設(shè)定閾值2的目標(biāo)位置假設(shè)置更新目標(biāo)時(shí)空信息模型。(3.2)計(jì)算大于閾值2的目標(biāo)位置假設(shè)像素的的統(tǒng)計(jì)特征V/(^t)-(^(^t),/y(:At),/t(A0)t，使用這些統(tǒng)計(jì)特征更新模型的參數(shù)<formula>formulaseeoriginaldocumentpage7</formula>式中,An^為更新后模型的方差矩陣，^ew為更新后模型的統(tǒng)計(jì)特征均值向量，A為原模型的方差矩陣，^為原模型的統(tǒng)計(jì)特征均值向量,n為訓(xùn)練幀的幀數(shù)。步驟4,循環(huán)步驟2-3直到跟蹤任務(wù)結(jié)束。本發(fā)明的效果可通過(guò)以下仿真詳細(xì)說(shuō)明(1)仿真條件，本發(fā)明中的仿真實(shí)驗(yàn)結(jié)果是使用卡內(nèi)基梅隆大學(xué)提供的VIVD數(shù)據(jù)庫(kù)中egtest01數(shù)據(jù)在Matlab環(huán)境下得到的；跟蹤算法使用粒子濾波器。(2)仿真內(nèi)容，使用現(xiàn)有的基于顏色分布的巴氏距離匹配方法和本發(fā)明所述的匹配方法在egtest01數(shù)據(jù)庫(kù)上進(jìn)行目標(biāo)跟蹤對(duì)比。(3)仿真結(jié)果，如圖4、圖5和表1、表2所示。圖4給出了采用現(xiàn)有的基于顏色分布的目標(biāo)匹配方法在粒子濾波器跟蹤算法引導(dǎo)下的跟蹤結(jié)果。從圖4中可以看到，使用現(xiàn)有的基于顏色分布的目標(biāo)跟蹤方法不能分辨顏色相近的兩輛車。圖5給出了采用本發(fā)明所述的目標(biāo)匹配方法在粒子濾波器跟蹤算法引導(dǎo)下的跟蹤結(jié)果。從圖5中可以看到，由于本發(fā)明所述的目標(biāo)匹配方法整合了目標(biāo)的運(yùn)動(dòng)信息，可以根據(jù)運(yùn)動(dòng)信息分辨出顏色相近的這兩輛車。表1給出了圖3左中的目標(biāo)位置假設(shè)在基于本發(fā)明所述匹配度和基于顏色的巴氏距離的匹配度。表1<table>tableseeoriginaldocumentpage7</column></row><table>從表1和圖3可以看出本發(fā)明所述的目標(biāo)匹配方法對(duì)目標(biāo)真實(shí)位置的匹配度的高，對(duì)目標(biāo)位置假設(shè)1和目標(biāo)位置假設(shè)2的匹配度低。所以本發(fā)明所述的目標(biāo)匹配方法較現(xiàn)有的基于顏色分布的巴氏系數(shù)的匹配方法有更好的分辨力。表2給出了圖3右中的目標(biāo)位置假設(shè)在基于本發(fā)明所述匹配度和基于顏色的巴氏距離的匹配度。表2<table>tableseeoriginaldocumentpage8</column></row><table>從表2和圖3可以看出本發(fā)明所述的目標(biāo)匹配方法對(duì)目標(biāo)真實(shí)位置的匹配度的高，對(duì)目標(biāo)位置假設(shè)1和目標(biāo)位置假設(shè)2的匹配度低。所以本發(fā)明所述的目標(biāo)匹配方法較現(xiàn)有的基于顏色分布的巴氏系數(shù)的匹配方法有更好的分辨力。權(quán)利要求1.一種數(shù)字視頻目標(biāo)跟蹤中的目標(biāo)匹配方法，包括以下步驟(1)根據(jù)目標(biāo)像素的統(tǒng)計(jì)特征建立基于視頻目標(biāo)時(shí)空信息模型；(2)計(jì)算視頻后續(xù)幀中的所有目標(biāo)位置假設(shè)的每一個(gè)像素與所述目標(biāo)時(shí)空信息模型的擬合程度，并判斷這些擬合程度，對(duì)于擬合程度大于設(shè)定門限的像素認(rèn)為其屬于目標(biāo)時(shí)空信息模型，使用核函數(shù)對(duì)后續(xù)幀中屬于上述模型的像素加權(quán)，計(jì)算每一個(gè)目標(biāo)位置假設(shè)和時(shí)空信息模型的匹配度；(3)計(jì)算后續(xù)幀中所有目標(biāo)位置假設(shè)的上述匹配度，對(duì)于匹配度高于設(shè)定閾值2或閾值1的目標(biāo)位置假設(shè)認(rèn)為是目標(biāo)的真實(shí)位置，并用匹配度高于設(shè)定閾值2的目標(biāo)位置假設(shè)置更新目標(biāo)時(shí)空信息模型。2.根據(jù)權(quán)利要求l所述目標(biāo)匹配方法，其中步驟(l)所述的建立基于視頻目標(biāo)時(shí)空信息模型，按如下步驟進(jìn)行(la)根據(jù)初始幀中標(biāo)定的目標(biāo)位置計(jì)算該位置中每個(gè)像素點(diǎn)在x，y，t方向上的偏導(dǎo)數(shù)作為該像素的統(tǒng)計(jì)特征；(lb)統(tǒng)計(jì)所有初始幀中的目標(biāo)位置中相對(duì)應(yīng)位置所有像素的統(tǒng)計(jì)特征；(lc)使用高斯分布模型描述目標(biāo)位置上每一個(gè)像素的統(tǒng)計(jì)特征，獲取該高斯模型的均值向量和方差矩陣。3.根據(jù)權(quán)利要求l所述的匹配方法，其中步驟(2)所述的計(jì)算后續(xù)幀中所有目標(biāo)位置假設(shè)的上述匹配度，是使用和函數(shù)對(duì)目標(biāo)位置假設(shè)中所有屬于高斯分布模型像素加權(quán)后進(jìn)行求和，將該加權(quán)和與該目標(biāo)位置假設(shè)中所有像素?cái)?shù)目相比，將該比值作為匹配度。4.根據(jù)權(quán)利要求1所述的匹配方法，其中步驟(2)所述的核函數(shù)，它的極大值位于目標(biāo)位置假設(shè)幾何中心，函數(shù)值隨像素到此幾何中心的距離衰減。5.權(quán)利要求1所述的匹配方法，其中步驟(3)所述的閾值1與閾值2的取值均大于0%小于100%，且閾值2大于閾值1。6.根據(jù)權(quán)利要求1所述的目標(biāo)匹配方法，其中步驟(3)所述的更新目標(biāo)時(shí)空信息模型,按如下步驟進(jìn)行(3a)計(jì)算匹配度大于閾值2的目標(biāo)位置假設(shè)中的每個(gè)像素點(diǎn)在x，y,t方向上的偏導(dǎo)數(shù)作為該像素的統(tǒng)計(jì)特征(3b)根據(jù)統(tǒng)特征計(jì)算目標(biāo)時(shí)空信息模型的更新參數(shù)Anew=A+(n+1)2(〃new-〃)(Pnew-M)T，式中,Anew為更新后模型的方差矩陣，^evv為更新后模型的統(tǒng)計(jì)特征均值向量，A為原模型的方差矩陣，p為原模型的統(tǒng)計(jì)特征均值向量,n為訓(xùn)練幀的幀數(shù)。7.根據(jù)權(quán)利要求2所述的的目標(biāo)匹配方法，其中步驟(lc)所述的使用高斯分布模型描述目標(biāo)位置上每一個(gè)像素的統(tǒng)計(jì)特征,采用一個(gè)高斯分布模型或者多個(gè)高斯分布模型對(duì)目標(biāo)位置上每一個(gè)像素的統(tǒng)計(jì)特征進(jìn)行描述。全文摘要本發(fā)明公開(kāi)了一種數(shù)字視頻目標(biāo)跟蹤中的目標(biāo)匹配方法。其步驟為(1)根據(jù)目標(biāo)像素的統(tǒng)計(jì)特征建立視頻目標(biāo)時(shí)空信息模型；(2)計(jì)算視頻后續(xù)幀中的所有目標(biāo)位置假設(shè)的每一個(gè)像素與所述目標(biāo)時(shí)空信息模型的擬合程度，并判斷這些擬合程度，對(duì)于擬合程度大于設(shè)定門限的像素認(rèn)為其屬于目標(biāo)時(shí)空信息模型，使用核函數(shù)對(duì)后續(xù)幀中屬于上述模型的像素加權(quán)，計(jì)算每一個(gè)目標(biāo)位置假設(shè)和時(shí)空信息模型的匹配度；(3)計(jì)算后續(xù)幀中所有目標(biāo)位置假設(shè)的上述匹配度，對(duì)于匹配度高于設(shè)定閾值2或閾值1的目標(biāo)位置假設(shè)認(rèn)為是目標(biāo)的真實(shí)位置，并用匹配度高于設(shè)定閾值2的目標(biāo)位置假設(shè)置更新目標(biāo)時(shí)空信息模型。本發(fā)明具有分辨力高，跟蹤目標(biāo)穩(wěn)定的優(yōu)點(diǎn)，可用于在航拍視頻中的運(yùn)動(dòng)目標(biāo)跟蹤。文檔編號(hào)G06T7/20GK101458816SQ20081023271公開(kāi)日2009年6月17日申請(qǐng)日期2008年12月19日優(yōu)先權(quán)日2008年12月19日發(fā)明者候彥賓,毅張,梁繼民,捷田,曦肖,胡海虹,恒趙申請(qǐng)人:西安電子科技大學(xué)