專利名稱：基于多特征融合匹配的目標交接算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬多攝像機視頻監(jiān)控技術(shù)領(lǐng)域。
背景技術(shù)：
視頻監(jiān)控技術(shù)是利用計算機視覺和圖像處理的方法對圖像序列進行運動目標檢 測、目標分類、目標跟蹤以及對監(jiān)控場景中目標行為的分析，由于其具有很好的應(yīng)用前景， 因此引起了許多國家的高度重視。然而，在大多數(shù)實際場景中，在單攝像機環(huán)境下進行檢測 和跟蹤運動目標時，如何克服周圍場景光線的變化和陰影的干擾，如何正確跟蹤發(fā)生遮擋 的運動目標，如何多角度、長時間、大范圍對目標跟蹤，一直是研究的難點。因此，多攝像機 環(huán)境下的目標跟蹤在廣域監(jiān)控場景中得到了很多的關(guān)注。在多攝像機目標跟蹤系統(tǒng)中，主要的難點是如何在多攝像機之間對相同的目標建 立正確的對應(yīng)關(guān)系，即多個攝像機所觀測到的相同目標要使用同一個標號來表示，這種建 立對應(yīng)關(guān)系的過程稱為目標交接。相鄰攝像機的視野之間存在兩種關(guān)系，即有重疊區(qū)域和 無重疊區(qū)域。目標交接問題是多攝像機跟蹤系統(tǒng)中的關(guān)鍵步驟，只有成功解決這個問題，才 能進行后續(xù)的目標行為分析等工作。目前，主要的目標交接算法有基于三維信息的目標交接算法、基于隊列的目標交 接算法、基于視野分界線的目標交接算法、基于投影不變量的目標交接算法，以及基于特征 匹配的目標交接算法等?；谌S信息的目標交接算法難以保證實時性，且在有些環(huán)境中， 三維建模或者攝像機標定是難以實現(xiàn)的；基于隊列的目標交接算法的前提條件是相鄰攝像 機的視野之間必須存在重疊區(qū)域，比較適用的場景是走廊監(jiān)控等具有連續(xù)性的場合；基于 視野分界線的目標交接算法原理簡單、易于實現(xiàn)，但是由于新目標進入攝像機時的檢測一 般存在延時問題，因此僅利用視野分界線來實行一致性標號非常容易出錯；基于投影不變 量的目標交接算法較為準確，但在多個目標距離較近的情況下會引起誤判?；谔卣髌ヅ涞哪繕私唤铀惴ㄟx用目標的一些簡單特征，然后利用統(tǒng)計學或者概 率等方法得出最后的對應(yīng)關(guān)系，是解決多攝像機目標跟蹤中的目標交接問題最主要，同時 也是最原始的方法。然而，由于人體是非剛體，特征很容易隨著時間和地點的變化而改變， 這對基于特征匹配的目標交接算法帶來致命的打擊；而且，不同的攝像機可能有不同的內(nèi) 部參數(shù)和光度性能，也會影響特征匹配的準確性；傳統(tǒng)的基于特征匹配的目標交接算法只 利用了目標顏色的統(tǒng)計特征，忽略了目標顏色的空間分布特征，而目標顏色的空間分布特 征對目標而言是很重要的一種信息?？梢姡谔卣髌ヅ涞哪繕私唤铀惴ㄟ€需要在很多方 面進行改進。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于多特征融合匹配的目標交接算法，融合目標的形狀 特征、邊緣特征、顏色的統(tǒng)計特征以及空間分布特征進行目標匹配，有效地解決目標特征隨 時間和地點的變化而改變的難題，尤其對人體這樣的非剛性目標，減小姿勢變化等的影響，提高目標交接的準確性。本發(fā)明包括下列步驟1.對當前攝像機視野中的待交接目標與相鄰攝像機視野中的待匹配目標進行初 匹配，其具體過程包括下列步驟1. 1提取待交接目標的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩形 的高寬比來衡量；顏色的統(tǒng)計特征采用顏色直方圖來衡量；1.2提取待匹配目標的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩形 的高寬比來衡量；顏色的統(tǒng)計特征采用顏色直方圖來衡量；1. 3分別計算兩個目標間的高寬比相似度和顏色直方圖相似度；1. 4計算兩個目標間的初匹配相似度；1. 5如果初匹配相似度大于給定閾值，則相鄰攝像機視野中的此目標仍為待匹配 目標；否則，相鄰攝像機視野中的此目標為不匹配目標；1.6如果此待匹配目標是最后一個待匹配目標，則結(jié)束初匹配過程；否則，對相鄰 攝像機視野中的下一個待匹配目標重復步驟1. 2到步驟1. 6 ；上述的步驟1. 1和步驟1.2可同時進行。2.統(tǒng)計初匹配后待匹配目標的個數(shù)，如果個數(shù)小于1，則待交接目標為新目標，結(jié) 束算法；否則，轉(zhuǎn)到步驟3)；3.對當前攝像機視野中的待交接目標與初匹配后的待匹配目標進行二次匹配，其 具體過程包括下列步驟3. 1提取待交接目標的顏色空間分布，將目標分割為兩種顏色塊低頻顏色塊與 高頻顏色塊；3.2提取待交接目標內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色特 征采用顏色平均值來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置來衡 量；3. 3提取待匹配目標的顏色空間分布，將目標分割為兩種顏色塊低頻顏色塊與 高頻顏色塊；3. 4提取待匹配目標內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色特 征采用顏色平均值來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置來衡 量；3. 5依次計算不同目標內(nèi)的兩個顏色塊間的顏色平均值相似度和位置相似度；3. 6依次計算不同目標內(nèi)的兩個顏色塊間的顏色塊相似度；3. 7以待交接目標內(nèi)的顏色塊為行，以待匹配目標內(nèi)的顏色塊為列，不同目標內(nèi)的 兩個顏色塊間的顏色塊相似度為元素，建立兩個目標間的二次匹配矩陣；3. 8根據(jù)二次匹配矩陣，計算兩個目標間的二次匹配相似度；3. 9如果此待匹配目標是最后一個待匹配目標，則轉(zhuǎn)到步驟3. 10 ；否則，對初匹配 后的下一個待匹配目標重復步驟3. 3到步驟3. 9 ；3. 10搜索所有二次匹配相似度中的最大值，如果此最大值小于給定閾值，則待交 接目標為新目標；否則，此最大值所對應(yīng)的待匹配目標與待交接目標相匹配；上述的步驟3. 1和步驟3. 3、步驟3. 2和步驟3. 4可同時進行。
上述步驟3. 1中所述的提取待交接目標的顏色空間分布，將目標分割為兩種顏色 塊低頻顏色塊與高頻顏色塊，具體過程包括下列步驟3. 1. 1將目標的最小外接矩形內(nèi)的區(qū)域分割為固定大小的塊；3. 1.2將塊分為三類背景塊、前景塊和邊界塊，其中，塊內(nèi)像素點都為背景像素 點的塊為背景塊，塊內(nèi)像素點都為目標像素點的塊為前景塊，其余的塊內(nèi)一部分像素點屬 于背景，一部分像素點屬于目標，這些塊為邊界塊；3. 1.3對目標進行Sobel算子邊緣檢測；3. 1. 4統(tǒng)計每個前景塊內(nèi)的邊緣像素點個數(shù)，如果個數(shù)小于給定閾值，則將此前景 塊標記為低頻塊；否則，將此前景塊標記為高頻塊；3. 1. 5計算每個低頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的低 頻塊合并，將合并后的每個低頻塊標記為低頻顏色塊，去除小區(qū)域的低頻顏色塊；3. 1. 6計算每個高頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的高 頻塊合并，將合并后的每個高頻塊標記為高頻顏色塊，去除小區(qū)域的高頻顏色塊；3. 1. 7得到的低頻顏色塊與高頻顏色塊構(gòu)成此目標的顏色空間分布；上述的步驟3. 1. 1和步驟3. 1. 3、步驟3. 1. 5和步驟3. 1. 6可同時進行。上述步驟3. 8中所述的根據(jù)二次匹配矩陣，計算兩個目標間的二次匹配相似度的 具體過程包括下列步驟3. 8. 1初始化二次匹配相似度為0 ；3. 8. 2在二次匹配矩陣中搜索顏色塊相似度的最大值；3. 8. 3如果此最大值為0，則轉(zhuǎn)到步驟3. 8. 6 ；否則，轉(zhuǎn)到步驟3. 8. 4 ；3. 8. 4將此最大值累加到二次匹配相似度中；3. 8. 5將此最大值的對應(yīng)行、對應(yīng)列中的顏色塊相似度都賦為0，轉(zhuǎn)到步驟3. 8. 2 ；3. 8. 6計算過程結(jié)束，記錄下最終得到的二次匹配相似度。本發(fā)明的積極效果在于先進行目標間的初匹配，再進行二次匹配，降低了二次匹 配的計算量；取代了固定大小的分塊方法，將目標分割為不同的顏色塊，并且融合了目標的 形狀特征、邊緣特征、顏色的統(tǒng)計特征以及空間分布特征，以及顏色塊的平均顏色特征和位 置特征進行目標匹配，能有效地解決目標特征隨時間和地點的變化而改變的難題，尤其對 人體這樣的非剛性目標，可減小姿勢變化等的影響，提高目標交接的準確性。


圖1為基于多特征融合匹配的目標交接算法流程2為顏色空間分布提取過程流程圖
具體實施例方式本發(fā)明是一種基于多特征融合匹配的目標交接算法，如圖1所示，具體過程包括 下列步驟1.對當前攝像機Ci視野中的待交接目標O,"與相鄰攝像機Cj視野中的待匹配目 標Al^i行初匹配，包括下列步驟1)提取待交接目標O,"的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩
6形的高寬比S來衡量；顏色的統(tǒng)計特征采用顏色直方圖H來衡量；2)提取待匹配目標O)的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩 形的高寬比S來衡量；顏色的統(tǒng)計特征采用顏色直方圖H來衡量；3)分別計算兩個目標間的高寬比相似度Sims (Of，O；)和顏色直方圖相似度 Simfj(O^Ovj)
Isu tSv +1Sims[Oul ,O])= r ‘ ‘ J，
p+IXSvj+1)
M___Simll(O^Ovj)=— M_ ；
.^(Gvj (m)-G])2
V w=lw=l其中與巧分別為目標O;與O)的外接矩形的高寬比，GiuO)與分別為目標 ο,"與ο)的顏色直方圖，斤和分別為OO和q ( ο的平均值；4)計算兩個目標間的初匹配相似度&'W1(C^O))Sim1(O^Ovj) = Sims(O^Ovj)-Simfl(O^Ovj)；5)如果初匹配相似度大于給定閾值，則仍標記相鄰攝像機視野中的此目標為待匹 配目標，記為巧；否則，標記此目標為不匹配目標；6)此待匹配目標是否為最后一個待匹配目標，如果是，則結(jié)束初匹配過程；否則， 對下一個待匹配目標重復步驟2)到6)。2.統(tǒng)計初匹配后待匹配目標的個數(shù)，如果個數(shù)小于1，則當前攝像機視野中的待 交接目標為新目標，結(jié)束算法；否則，轉(zhuǎn)到步驟3 ；3.對當前攝像機Ci視野中的待交接目標O,"與初匹配后的待匹配目標O；進行二次 匹配，包括下列步驟1)提取待交接目標O,"的顏色空間分布，即將目標分割為兩種顏色塊低頻顏色塊 與高頻顏色塊，如圖2所示，包括下列步驟1. 1將目標的最小外接矩形內(nèi)的區(qū)域分割為固定大小的塊；1. 2將塊分為三類背景塊、前景塊以及邊界塊；其中，塊內(nèi)像素點都為背景像素 點的塊為背景塊，塊內(nèi)像素點都為目標像素點的塊為前景塊，其余的塊內(nèi)一部分像素點屬 于背景，一部分像素點屬于目標，這些塊為邊界塊；1. 3對目標進行Sobel算子邊緣檢測；1. 4統(tǒng)計每個前景塊內(nèi)的邊緣像素點個數(shù)，如果個數(shù)小于給定閾值，則將此前景塊 標記為低頻塊；否則，將此前景塊標記為高頻塊；1. 5計算每個低頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的低頻 塊合并，將合并后的每個低頻塊標記為低頻顏色塊，去除小區(qū)域的低頻顏色塊；1. 6計算每個高頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的高頻 塊合并，將合并后的每個高頻塊標記為高頻顏色塊，去除小區(qū)域的高頻顏色塊；1. 7得到的低頻顏色塊與高頻顏色塊便構(gòu)成了此目標的顏色空間分布。
2)提取待交接目標Of內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色 特征采用顏色平均值C來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置 (X，Y)來衡量；3)提取待匹配目標巧的顏色空間分布；其中，顏色空間分布的提取方法與步驟1) 相同；4)提取待匹配目標巧內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色 特征采用顏色平均值C來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置 (X，Y)來衡量；5)依次計算不同目標內(nèi)的兩個顏色塊間的顏色平均值相似度SZmcCS廠，巧勹和位 置相似度SimD(5r，％B廣)Simc (5廣,BJ-') =’SimD (B『’s，BJ-') = e'D{Br，《’')；其中5”為目標O,"內(nèi)的第s個顏色塊，巧“為目標O；內(nèi)的第t個顏色塊，^廠與^" 分別為顏色塊斤的顏色平均值，V)為顏色塊與斤‘的中心點距離；6)依次計算不同目標內(nèi)的兩個顏色塊間的顏色塊相似度《勹Simcolor {Β^, Βγ ) = Simc (B”, BJ'') · Sim0 (B”, B；'')；7)以待交接目標O,"內(nèi)的顏色塊5廠為行，以待匹配目標OJ內(nèi)的顏色塊《‘為列，不 同目標內(nèi)的兩個顏色塊間的顏色塊相似度&ke。;OT(《’％《勹為元素，建立兩個目標間的二次 匹配矩陣Matrix，矩陣的大小為SXT ；其中S與T分別為s與t的最大值；8)根據(jù)二次匹配矩陣Matrix計算兩個目標間的二次匹配相似度力‘叫…廠巧)，包 括下列步驟8. 1初始化二次匹配相似度&>"2(《, ^) = 0 ；8. 2在二次匹配矩陣中搜索顏色塊相似度的最大值Matrix (p，q) = max (Matrix)；8. 3如果此最大值為0，則轉(zhuǎn)到步驟8. 6 ；否則，轉(zhuǎn)到步驟8. 4 ；8. 4將此最大值累加到二次匹配相似度中，即Sim2 (O ,OJ) = Sim2 (O ,OJ) + Simcolor (Β 5, BJt)；8. 5將此最大值的對應(yīng)行、對應(yīng)列中的顏色塊相似度都賦為0，即Matrix (ρ, ) = Matrix (, q) = 0 ；轉(zhuǎn)到步驟8. 2 ；8. 6計算過程結(jié)束，記錄下最終得到的二次匹配相似度。9)此待匹配目標是否為最后一個待匹配目標，如果是，則轉(zhuǎn)到步驟10)；否則，對 下一個待匹配目標重復步驟3)到9)；10)搜索所有二次匹配相似度中的最大值，如果此最大值小于給定閾值，則待交 接目標O,"為新目標；否則，此最大值所對應(yīng)的待匹配目標即為與待交接目標O,"相匹配的目 標。
8
權(quán)利要求
1.一種基于多特征融合匹配的目標交接算法，其特征在于包括下列步驟1)對當前攝像機視野中的待交接目標與相鄰攝像機視野中的待匹配目標進行初匹配；2)統(tǒng)計初匹配后待匹配目標的個數(shù)，如果個數(shù)小于1，則待交接目標為新目標，結(jié)束算 法；否則，轉(zhuǎn)到步驟3)；3)對當前攝像機視野中的待交接目標與初匹配后的待匹配目標進行二次匹配。
2.按權(quán)利要求1所述的基于多特征融合匹配的目標交接算法，其特征在于步驟1)中所 述的對當前攝像機視野中的待交接目標與相鄰攝像機視野中的待匹配目標進行初匹配的 具體過程包括下列步驟1.1提取待交接目標的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩形的高 寬比來衡量；顏色的統(tǒng)計特征采用顏色直方圖來衡量；1.2提取待匹配目標的形狀特征和顏色的統(tǒng)計特征，其中，形狀特征采用外接矩形的高 寬比來衡量；顏色的統(tǒng)計特征采用顏色直方圖來衡量；1. 3分別計算兩個目標間的高寬比相似度和顏色直方圖相似度； 1. 4計算兩個目標間的初匹配相似度；1. 5如果初匹配相似度大于給定閾值，則相鄰攝像機視野中的此目標仍為待匹配目標； 否則，相鄰攝像機視野中的此目標為不匹配目標；1. 6如果此待匹配目標是最后一個待匹配目標，則結(jié)束初匹配過程；否則，對相鄰攝像 機視野中的下一個待匹配目標重復步驟1. 2到步驟1. 6 ； 上述的步驟1. 1和步驟1. 2可同時進行。
3.按權(quán)利要求1所述的基于多特征融合匹配的目標交接算法，其特征在于步驟3)中所 述的對當前攝像機視野中的待交接目標與初匹配后的待匹配目標進行二次匹配的具體過 程包括下列步驟3. 1提取待交接目標的顏色空間分布，將目標分割為兩種顏色塊低頻顏色塊與高頻 顏色塊；3. 2提取待交接目標內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色特征采 用顏色平均值來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置來衡量；3. 3提取待匹配目標的顏色空間分布，將目標分割為兩種顏色塊低頻顏色塊與高頻 顏色塊；3. 4提取待匹配目標內(nèi)每個顏色塊的平均顏色特征和位置特征，其中，平均顏色特征采 用顏色平均值來衡量；位置特征采用顏色塊中心點在所屬目標的坐標系下的位置來衡量； 3. 5依次計算不同目標內(nèi)的兩個顏色塊間的顏色平均值相似度和位置相似度； 3. 6依次計算不同目標內(nèi)的兩個顏色塊間的顏色塊相似度；3.7以待交接目標內(nèi)的顏色塊為行，以待匹配目標內(nèi)的顏色塊為列，不同目標內(nèi)的兩個 顏色塊間的顏色塊相似度為元素，建立兩個目標間的二次匹配矩陣； 3. 8根據(jù)二次匹配矩陣，計算兩個目標間的二次匹配相似度；3. 9如果此待匹配目標是最后一個待匹配目標，則轉(zhuǎn)到步驟3. 10 ；否則，對初匹配后的 下一個待匹配目標重復步驟3. 3到步驟3. 9 ；3. 10搜索所有二次匹配相似度中的最大值，如果此最大值小于給定閾值，則待交接目標為新目標；否則，此最大值所對應(yīng)的待匹配目標與待交接目標相匹配； 上述的步驟3. 1和步驟3. 3、步驟3. 2和步驟3. 4可同時進行。
4.按權(quán)利要求3所述的基于多特征融合匹配的目標交接算法，其特征在于步驟3.1中 所述的提取待交接目標的顏色空間分布，將目標分割為兩種顏色塊低頻顏色塊與高頻顏 色塊，具體過程包括下列步驟3. 1. 1將目標的最小外接矩形內(nèi)的區(qū)域分割為固定大小的塊； 3. 1.2將塊分為三類背景塊、前景塊和邊界塊，其中，塊內(nèi)像素點都為背景像素點的 塊為背景塊，塊內(nèi)像素點都為目標像素點的塊為前景塊，其余的塊內(nèi)一部分像素點屬于背 景，一部分像素點屬于目標，這些塊為邊界塊； 3. 1. 3對目標進行Sobel算子邊緣檢測；3. 1. 4統(tǒng)計每個前景塊內(nèi)的邊緣像素點個數(shù)，如果個數(shù)小于給定閾值，則將此前景塊標 記為低頻塊；否則，將此前景塊標記為高頻塊；3. 1. 5計算每個低頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的低頻塊 合并，將合并后的每個低頻塊標記為低頻顏色塊，去除小區(qū)域的低頻顏色塊；3. 1. 6計算每個高頻塊內(nèi)的像素值的平均值，分別將平均值相近且位置相鄰的高頻塊 合并，將合并后的每個高頻塊標記為高頻顏色塊，去除小區(qū)域的高頻顏色塊； 3. 1. 7得到的低頻顏色塊與高頻顏色塊構(gòu)成此目標的顏色空間分布； 上述的步驟3. 1. 1和步驟3. 1. 3、步驟3. 1. 5和步驟3. 1. 6可同時進行。
5.按權(quán)利要求3所述的基于多特征融合匹配的目標交接算法，其特征在于步驟3.8中 所述的根據(jù)二次匹配矩陣，計算兩個目標間的二次匹配相似度的具體過程包括下列步驟·3. 8. 1初始化二次匹配相似度為0 ；·3. 8. 2在二次匹配矩陣中搜索顏色塊相似度的最大值；·3. 8. 3如果此最大值為0，則轉(zhuǎn)到步驟3. 8. 6 ；否則，轉(zhuǎn)到步驟3. 8. 4 ；·3. 8. 4將此最大值累加到二次匹配相似度中；·3. 8. 5將此最大值的對應(yīng)行、對應(yīng)列中的顏色塊相似度都賦為0，轉(zhuǎn)到步驟3. 8. 2 ； 3. 8. 6計算過程結(jié)束，記錄下最終得到的二次匹配相似度。
全文摘要
基于多特征融合匹配的目標交接算法屬多攝像機視頻監(jiān)控技術(shù)領(lǐng)域，本發(fā)明首先融合目標的形狀特征和顏色的統(tǒng)計特征，計算當前攝像機視野中的待交接目標與相鄰攝像機視野中的待匹配目標間的初匹配相似度，從而進行初匹配；統(tǒng)計初匹配后待匹配目標的個數(shù)，如果個數(shù)小于1，則待交接目標為新目標；否則，對待交接目標與待匹配目標進行二次匹配，即根據(jù)目標的邊緣特征提取顏色的空間分布特征，將目標分割為顏色塊，融合顏色塊的平均顏色特征和位置特征，通過二次匹配矩陣計算目標間的二次匹配相似度，由此判斷兩個目標是否匹配；本發(fā)明通過多特征融合匹配，可有效地解決目標特征隨時間和地點的變化而改變的難題，同時可提高目標交接的準確性。
文檔編號G06T7/00GK102005040SQ201010282569
公開日2011年4月6日 申請日期2010年9月9日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者王世剛, 陳麗偉, 韋健 申請人:吉林大學