重疊域雙攝像頭目標(biāo)跟蹤系統(tǒng)及方法
【專利摘要】本發(fā)明是一種重疊域內(nèi)雙攝像頭目標(biāo)跟蹤系統(tǒng)及方法，該系統(tǒng)主要是采用基于HSV空間背景加權(quán)Meanshift算法和改進(jìn)的視野分界線目標(biāo)交接。該目標(biāo)跟蹤算法是對前端單攝像頭跟蹤子系統(tǒng)對每個攝像頭采集的視頻序列分別在各自的視野范圍內(nèi)執(zhí)行相對獨(dú)立的跟蹤任務(wù)，得到被跟蹤目標(biāo)的相關(guān)信息，然后利用目標(biāo)交接算法實(shí)現(xiàn)攝像頭之間的數(shù)據(jù)通信，后續(xù)進(jìn)行行為判斷等高級視頻處理過程。
【專利說明】重疊域雙攝像頭目標(biāo)跟蹤系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明采用兩個固定攝像頭在重疊視野域內(nèi)對運(yùn)動目標(biāo)進(jìn)行跟蹤分析，將單攝像頭下的目標(biāo)檢測與跟蹤相關(guān)理論應(yīng)用到雙攝像頭跟蹤系統(tǒng)，實(shí)現(xiàn)目標(biāo)在雙攝像頭下的連續(xù)跟蹤。
【背景技術(shù)】
[0002]隨著智能監(jiān)控系統(tǒng)規(guī)模的不斷擴(kuò)大，環(huán)境變化日益復(fù)雜，為了實(shí)現(xiàn)連續(xù)的目標(biāo)跟蹤，采用單個攝像頭的監(jiān)控系統(tǒng)變得越來越難以完成上述要求。在這種情況下，多攝像頭目標(biāo)跟蹤應(yīng)運(yùn)而生。多攝像頭目標(biāo)跟蹤技術(shù)是智能視頻監(jiān)控系統(tǒng)的一個重要發(fā)展方向，它涵蓋了計(jì)算機(jī)視覺、人工智能、模式識別以及信息融合等內(nèi)容，是一項(xiàng)多學(xué)科交叉的前沿課題，它以單攝像頭目標(biāo)跟蹤技術(shù)為基礎(chǔ)，聯(lián)合多攝像頭共同監(jiān)控重要場所，對同一目標(biāo)在不同攝像頭下的跟蹤具有一致性標(biāo)記，實(shí)現(xiàn)了目標(biāo)的連續(xù)跟蹤。相比于單攝像頭系統(tǒng)，多攝像頭系統(tǒng)有效解決目標(biāo)遮擋問題，擴(kuò)大了跟蹤面積，更全面地獲得運(yùn)動目標(biāo)的信息，有效的提高了跟蹤的準(zhǔn)確度。
[0003]多攝像頭的一個關(guān)鍵問題是建立不同視野間的對應(yīng)關(guān)系。單攝像頭跟蹤是研究目標(biāo)在各個圖像幀內(nèi)的對應(yīng)位置，多攝像頭跟蹤是解決同一時刻目標(biāo)在不同視野內(nèi)的對應(yīng)關(guān)系。多攝像頭跟蹤以單攝像頭跟蹤為基礎(chǔ)，然后融合來自每個攝像頭獲得的軌跡來獲得該目標(biāo)的最終運(yùn)動軌跡。一般多攝像頭監(jiān)控的場景都是有重疊區(qū)域的，如采用多個攝像頭監(jiān)控小區(qū)門口，商場的走廊等，常常安裝兩個攝像頭對該區(qū)域同時進(jìn)行監(jiān)控。因此，研究重疊視域的雙攝像頭跟蹤系統(tǒng)有著重要的應(yīng)用價(jià)值。另外，目前單攝像頭目標(biāo)跟蹤技術(shù)已經(jīng)非常成熟，這為研究雙攝像頭的目標(biāo)跟蹤技術(shù)提供了豐富的理論基礎(chǔ)，基于重置域雙攝像頭的目標(biāo)跟蹤技術(shù)有著巨大的發(fā)展前景，已成為科研人員備受關(guān)注的前沿方向。

【發(fā)明內(nèi)容】

[0004]本發(fā)明是一種重疊域內(nèi)雙攝像頭目標(biāo)跟蹤系統(tǒng)，該系統(tǒng)主要分為兩個模塊:單攝像頭跟蹤子模塊和雙攝像頭目標(biāo)交接模塊。前端單攝像頭跟蹤子系統(tǒng)對每個攝像頭采集的視頻序列分別在各自的視野范圍內(nèi)執(zhí)行相對獨(dú)立的跟蹤任務(wù)，得到被跟蹤目標(biāo)的相關(guān)信息，然后利用目標(biāo)交接算法實(shí)現(xiàn)攝像頭之間的數(shù)據(jù)通信，后續(xù)進(jìn)行行為判斷等高級視頻處理過程。
[0005]本發(fā)明對單攝像頭目標(biāo)跟蹤中的Meanshift算法進(jìn)行分析，針對該算法基于顏色信息作為目標(biāo)特征，易受背景相近顏色信息干擾影響，本發(fā)明將圖像由RGB空間轉(zhuǎn)換為HSV空間，提出了一種在HSV空間改進(jìn)的背景加權(quán)直方圖的Meanshift算法。對于有重疊域的雙攝像頭目標(biāo)跟蹤，使用基于視野分界線的目標(biāo)交接方法實(shí)現(xiàn)目標(biāo)的一致性標(biāo)記。選擇基于SIFT及單應(yīng)性矩陣的方法恢復(fù)視野分界線，并利用RANSAC算法去除SIFT生成的誤匹配點(diǎn)；在進(jìn)行視野分界線的目標(biāo)交接過程中，引入了空間顏色直方圖，為待匹配的目標(biāo)建立空間顏色直方圖，計(jì)算Bhattacharyya系數(shù)，完成對目標(biāo)的二次匹配，匹配度最高的賦予相同的標(biāo)號。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施案例提供的技術(shù)方案如下:
[0007]步驟1:攝像頭采集圖像
[0008]步驟2:目標(biāo)檢測
[0009]步驟3:目標(biāo)跟蹤，采用基于HSV空間背景加權(quán)Meanshift算法
[0010]步驟4:雙攝像頭目標(biāo)交接，采用改進(jìn)的視野分界線目標(biāo)交接
[0011]步驟5:后續(xù)處理
[0012]其中，所述步驟3基于HSV空間背景加權(quán)Meanshift算法具體包括:
[0013]步驟31:圖像轉(zhuǎn)換到HSV空間；
[0014]步驟32:計(jì)算目標(biāo)模型顏色直方圖Um.[0015]步驟33:對當(dāng)前幀中目標(biāo)的位置％和搜索窗尺寸h進(jìn)行初始化，并計(jì)算搜索區(qū)域中候選目標(biāo)模型在y0處的顏色直方圖，然后估計(jì)候選目標(biāo)模型顏色直方圖
與目標(biāo)模型顏色直方圖的相似度，計(jì)算二者的Bhattacharyya系數(shù)X.Vu)，搜索窗區(qū)域就是
候選目標(biāo)區(qū)域。/H.V。) 值越大，候選目標(biāo)像素點(diǎn)為實(shí)際目標(biāo)像素點(diǎn)的概率越大；
[0016]步驟34:計(jì)算搜索窗內(nèi)各像素點(diǎn)的權(quán)值和目標(biāo)新的位置;
[0017]步驟35:更新候選目標(biāo)在新位置處的顏色直方圖丨Λ,(Λ?))_〃 I j，并估計(jì)該直方圖與目標(biāo)模型顏色直方圖的相似度A.vI);
[0018]步驟36:若々(.V!) < P(V0)，說明目標(biāo)新位置yi處的顏色分布與目標(biāo)模型顏色分布的相似度低于目標(biāo)原位置y。處的顏色分布與目標(biāo)模型顏色分布的相似度，則縮小目標(biāo)新位
置Y1與原位置％的距離，取二者的中間位置，即乃—直到ACy1) > p(v0) _
3?
[0019]步驟37:若目標(biāo)新位置與原位置之差I(lǐng) Iy1ItJ <ε, ε為一個預(yù)設(shè)閾值，說明已經(jīng)跟蹤到視頻序列的最后一幀了，跟蹤結(jié)束；否則更新目標(biāo)位置，％ — yi，跳轉(zhuǎn)到步驟32繼續(xù)進(jìn)行。另外，當(dāng)meanshift跟蹤算法的迭代次數(shù)大于預(yù)設(shè)的最大迭代次數(shù)(一般在15~20)時，跟蹤結(jié)束。
[0020]其中，所述步驟4改進(jìn)的視野分界線目標(biāo)交接包括:
[0021]步驟41:利用改進(jìn)的Meanshift算法實(shí)現(xiàn)單攝像頭的目標(biāo)跟蹤，并記錄目標(biāo)的腳點(diǎn)位置；
[0022]步驟42:利用SIFT及單應(yīng)性矩陣恢復(fù)視野分界線；
[0023]步驟43:某個時刻攝像頭C2中出現(xiàn)了新的目標(biāo)P時，判斷目標(biāo)在攝像頭C1中的可見性。若不可見，為目標(biāo)P賦予一個新的標(biāo)號，轉(zhuǎn)到步驟45 ;若可見，計(jì)算攝像頭C1中各個目標(biāo)與視野分界線的距離D ;
[0024]步驟44:設(shè)定一個閾值Th，比較D與Th的大小對目標(biāo)進(jìn)行二次匹配；
[0025]當(dāng)D < Th時,分兩種情況:[0026](I)滿足條件的只有一個目標(biāo)，則該目標(biāo)就是與目標(biāo)P對應(yīng)的目標(biāo)，對目標(biāo)P賦予相同的標(biāo)號；
[0027](2)滿足條件的有多個目標(biāo)，計(jì)算目標(biāo)P與滿足條件的目標(biāo)的空間顏色直方圖，用巴氏系數(shù)度量各個目標(biāo)與目標(biāo)P的空間顏色直方圖的相似性，巴氏系數(shù)最大的目標(biāo)即為與目標(biāo)P匹配的目標(biāo)，給予目標(biāo)一致性標(biāo)記；
[0028]步驟45:完成目標(biāo)交接。
[0029]本發(fā)明還公開了一種重疊域內(nèi)雙攝像頭目標(biāo)跟蹤系統(tǒng)，包括單攝像頭跟蹤子系統(tǒng)和雙攝像頭跟Ife系統(tǒng)，
[0030]單攝像頭跟蹤子系統(tǒng)就是傳統(tǒng)的視頻監(jiān)控系統(tǒng)，包含運(yùn)動目標(biāo)的檢測和跟蹤。目標(biāo)檢測就是在圖像序列中從背景中提取出感興趣目標(biāo)，它是目標(biāo)跟蹤的基礎(chǔ)，檢測的結(jié)果直接影響后續(xù)目標(biāo)跟蹤的效果。目標(biāo)跟蹤是單攝像頭跟蹤子系統(tǒng)的中心環(huán)節(jié)，目標(biāo)跟蹤就是在檢測的基礎(chǔ)上，得到目標(biāo)的運(yùn)動信息，從而判斷其行為，獲得的運(yùn)動信息一般為目標(biāo)的運(yùn)動軌跡、位置等。本發(fā)明對單攝像頭目標(biāo)跟蹤中的Meanshift算法進(jìn)行分析，針對該算法基于顏色信息作為目標(biāo)特征，易受背景相近顏色信息干擾影響，本發(fā)明將圖像由RGB空間轉(zhuǎn)換為HSV空間，提出了一種在HSV空間改進(jìn)的背景加權(quán)直方圖的Meanshift算法。
[0031]雙攝像頭跟蹤系統(tǒng)在單攝像頭跟蹤子模塊完成后，就獲得了各個子模塊得到的目標(biāo)信息，在后面處理就利用子模塊獲取的目標(biāo)信息進(jìn)行目標(biāo)交接任務(wù)，然后獲取目標(biāo)的最終軌跡。雙攝像頭跟蹤的核心環(huán)節(jié)是目標(biāo)交接，它負(fù)責(zé)目標(biāo)從一個攝像頭跨越到另一個攝像頭的一致性標(biāo)記。目標(biāo)交接解決了雙攝像頭的目標(biāo)匹配問題。本發(fā)明選擇基于SIFT及單應(yīng)性矩陣的方法恢復(fù)視野分界線，并利用RANSAC算法去除SIFT生成的誤匹配點(diǎn)；在進(jìn)行視野分界線的目標(biāo)交接過程中，引入了空間顏色直方圖，為待匹配的目標(biāo)建立空間顏色直方圖，計(jì)算Bhattacharyya系數(shù)，完成對目標(biāo)的二次匹配，匹配度最高的賦予相同的標(biāo)號。
[0032]本發(fā)明系統(tǒng)主要涉及兩個關(guān)鍵問題:一是單攝像頭的運(yùn)動目標(biāo)檢測與跟蹤，二是雙攝像頭的目標(biāo)交接問題，即解決被觀測目標(biāo)離開或者進(jìn)入另一個攝像頭的視野范圍時，如何實(shí)現(xiàn)目標(biāo)的匹配，給予目標(biāo)一致性標(biāo)記問題。
[0033]本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn):
[0034](I)重疊視域雙攝像頭跟蹤可以從不同視角對感興趣目標(biāo)進(jìn)行觀測從而獲得關(guān)于目標(biāo)更頑健的跟蹤信息，有效地解決了當(dāng)目標(biāo)發(fā)生遮擋或進(jìn)入死角時目標(biāo)容易跟丟的問題。
[0035](2)本發(fā)明改進(jìn)的Meanshift算法,它是一種基于無參核密度估計(jì)的區(qū)域匹配算法，該方法不需要對整個圖像進(jìn)行搜索，只是局部搜索就能夠達(dá)到較高的跟蹤精度，而且耗時少，而且對背景信息具有很好的抗干擾性。
[0036](3)本發(fā)明利用空間顏色直方圖匹配的方法對目標(biāo)進(jìn)行二次匹配，消除了誤差的影響，提高了準(zhǔn)確度。
【專利附圖】

【附圖說明】
[0037]圖1重疊域雙攝像頭目標(biāo)跟蹤系統(tǒng)結(jié)構(gòu)圖
[0038]圖2MeanShift算法的流程圖；
[0039]圖3本文改進(jìn)的雙攝像頭目標(biāo)交接算法流程圖。【具體實(shí)施方式】
[0040]下面結(jié)合附圖做進(jìn)一步說明。
[0041]如圖1所示，本發(fā)明一種重疊域內(nèi)雙攝像頭目標(biāo)跟蹤算法具體包括:
[0042]步驟SlOl:攝像頭采集圖像
[0043]步驟S102:目標(biāo)檢測
[0044]步驟S103:目標(biāo)跟蹤，采用基于HSV空間背景加權(quán)Meanshift算法
[0045]步驟S104:雙攝像頭目標(biāo)交接，采用改進(jìn)的視野分界線目標(biāo)交接
[0046]步驟S105:后續(xù)處理
[0047]如圖2所示,對目標(biāo)跟蹤的步驟包括:
[0048]步驟S201:圖像轉(zhuǎn)換到HSV空間；
[0049]步驟S202:計(jì)算目標(biāo)模型顏色直方圖fe., L-υ.，
[0050]步驟S203:對當(dāng)前幀中目標(biāo)的位置J0和搜索窗尺寸h進(jìn)行初始化；
[0051]步驟S204:計(jì)算搜索區(qū)域中候選目標(biāo)模型在yQ處的顏色直方圖，然后估計(jì)候選目標(biāo)模型顏色直方圖與目標(biāo)模型顏色直方圖的相似度，計(jì)算二者的Bhattacharyya系數(shù)3(.VG),搜索窗區(qū)域就是候選目標(biāo)區(qū)域?！?凡)值越大，候選目標(biāo)像素點(diǎn)為實(shí)際目標(biāo)像素點(diǎn)的概率越大；
[0052]步驟S205:計(jì)算搜索窗內(nèi)各像素點(diǎn)的權(quán)值{w,-L1,和目標(biāo)新的位置yi ；
[0053]步驟S206:更新候選目標(biāo)在新位置處的顏色直方圖并估計(jì)該直方圖與目標(biāo)模型顏色直方圖的相似度^>1);
[0054]步驟S207:判斷POO < P(.Vo),若是則轉(zhuǎn)至步驟S208 ;若不是則轉(zhuǎn)至步驟S209 ；

[0055]步驟S208:
【權(quán)利要求】
1.一種重疊域雙攝像頭目標(biāo)跟蹤算法，其特征在于該方法包括: 步驟1:攝像頭采集圖像 步驟2:目標(biāo)檢測 步驟3:目標(biāo)跟蹤，采用基于HSV空間背景加權(quán)Meanshift算法 步驟4:雙攝像頭目標(biāo)交接，采用改進(jìn)的視野分界線目標(biāo)交接 步驟5:后續(xù)處理。
2.根據(jù)權(quán)利要求1所述的方法，所述步驟3基于HSV空間背景加權(quán)Meanshift算法具體包括: 步驟31:圖像轉(zhuǎn)換到HSV空間； 步驟32:計(jì)算目標(biāo)模型顏色直方圖?,.i 步驟33:對當(dāng)前幀中目標(biāo)的 位置％和搜索窗尺寸h進(jìn)行初始化，并計(jì)算搜索區(qū)域中候選目標(biāo)模型在J0處的顏色直方圖...m，然后估計(jì)候選目標(biāo)模型顏色直方圖與目標(biāo)模型顏色直方圖的相似度，計(jì)算二者的Bhattacharyya系數(shù)P(A),搜索窗區(qū)域就是候選目標(biāo)區(qū)域。>(凡)值越大，候選目標(biāo)像素點(diǎn)為實(shí)際目標(biāo)像素點(diǎn)的概率越大； 步驟34:計(jì)算搜索窗內(nèi)各像素點(diǎn)的權(quán)值和目標(biāo)新的位置yi ； 步驟35:更新候選目標(biāo)在新位置處的顏色直方圖，并估計(jì)該直方圖與目標(biāo)模型顏色直方圖的相似度/KvD ;步驟36) < P(Vo)f說明目標(biāo)新位置yi處的顏色分布與目標(biāo)模型顏色分布的相似度低于目標(biāo)原位置y。處的顏色分布與目標(biāo)模型顏色分布的相似度，則縮小目標(biāo)新位置Y1與原位置10的距離，取二者的中間位置，即Λ —直到) > P(V0).步驟37:若目標(biāo)新位置與原位置之差I(lǐng) Iy1ItJ <ε , ε為一個預(yù)設(shè)閾值，說明已經(jīng)跟蹤到視頻序列的最后一幀了，跟蹤結(jié)束；否則更新目標(biāo)位置，％ —Y1，跳轉(zhuǎn)到步驟32繼續(xù)進(jìn)行；另外，當(dāng)meanshift跟蹤算法的迭代次數(shù)大于預(yù)設(shè)的最大迭代次數(shù)(一般在15~20)時，跟蹤結(jié)束。
3.根據(jù)權(quán)利要求所述的方法，所述步驟4改進(jìn)的視野分界線目標(biāo)交接包括: 步驟41:利用改進(jìn)的Meanshift算法實(shí)現(xiàn)單攝像頭的目標(biāo)跟蹤，并記錄目標(biāo)的腳點(diǎn)位置； 步驟42:利用SIFT及單應(yīng)性矩陣恢復(fù)視野分界線； 步驟43:某個時刻攝像頭(:2中出現(xiàn)了新的目標(biāo)P時，判斷目標(biāo)在攝像頭C1中的可見性，若不可見，為目標(biāo)P賦予一個新的標(biāo)號，轉(zhuǎn)到步驟45 ;若可見，計(jì)算攝像頭C1中各個目標(biāo)與視野分界線的距離D ; 步驟44:設(shè)定一個閾值Th，比較D與Th的大小對目標(biāo)進(jìn)行二次匹配； 當(dāng)DS Th時，分兩種情況:(1)滿足條件的只有一個目標(biāo)，則該目標(biāo)就是與目標(biāo)P對應(yīng)的目標(biāo)，對目標(biāo)P賦予相同的標(biāo)號； (2)滿足條件的有多個目標(biāo)，計(jì)算目標(biāo)P與滿足條件的目標(biāo)的空間顏色直方圖，用巴氏系數(shù)度量各個目標(biāo)與目標(biāo)P的空間顏色直方圖的相似性，巴氏系數(shù)最大的目標(biāo)即為與目標(biāo)P匹配的目標(biāo)，給予目標(biāo)一致性標(biāo)記； 步驟45:完成目標(biāo)交接。
4.一種重置域內(nèi)雙攝像頭目標(biāo)跟!?示系統(tǒng)，其特征在于包括單攝像頭跟!?示子系統(tǒng)和雙攝像頭跟S示系統(tǒng)，其中: 單攝像頭跟蹤子系統(tǒng)，用于運(yùn)動目標(biāo)的檢測和跟蹤；雙攝像頭跟蹤系統(tǒng)，用于利用單攝像頭跟蹤子系統(tǒng)獲取 的目標(biāo)信息進(jìn)行目標(biāo)交接任務(wù)，然后獲取目標(biāo)的最終軌跡。
【文檔編號】G06T7/00GK103997624SQ201410217728
【公開日】2014年8月20日 申請日期:2014年5月21日 優(yōu)先權(quán)日:2014年5月21日
【發(fā)明者】宋雪樺, 于宗潔, 王維, 萬根順, 謝桂瑩 申請人:江蘇大學(xué)