一種視頻中的目標(biāo)跟蹤方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種視頻中的目標(biāo)跟蹤方法及裝置，用于解決現(xiàn)有的目標(biāo)模板采用單一的樣本，跟蹤精度低的問題。方法包括：根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框；提取出目標(biāo)矩形框內(nèi)圖像的特征信息，確定出目標(biāo)矩形框內(nèi)圖像的特征信息與目標(biāo)模板中的樣本的相似度；在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖像中的待跟蹤目標(biāo)進(jìn)行跟蹤。在目標(biāo)跟蹤過程中，不斷對目標(biāo)模板進(jìn)行更新和完善，使得目標(biāo)模板中包含足夠多的關(guān)鍵幀中待跟蹤目標(biāo)的特征信息，跟蹤結(jié)果更可靠。
【專利說明】
一種視頻中的目標(biāo)跟蹤方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別涉及一種視頻中的目標(biāo)跟蹤方法及裝置。
【背景技術(shù)】
[0002] 隨著監(jiān)控網(wǎng)絡(luò)地不斷發(fā)展，實(shí)時(shí)視頻監(jiān)控已經(jīng)成為維護(hù)城市安全的重要手段。但 由于人力監(jiān)控需要大量的勞動(dòng)力，并且可能受到人為因素影響，在監(jiān)控點(diǎn)逐步增多的情況 下，人力監(jiān)控受到越來越大的挑戰(zhàn)。因此，通過圖像識(shí)別和行為識(shí)別等相關(guān)算法進(jìn)行智能監(jiān) 控的技術(shù)受到越來越多的關(guān)注。
[0003] 在使用視頻監(jiān)控中，最主要的目的是能夠?qū)ν话l(fā)事件及時(shí)發(fā)現(xiàn)并處理。而在突發(fā) 事件中，實(shí)現(xiàn)對視頻中的目標(biāo)跟蹤，如對人、移動(dòng)物體等的跟蹤，發(fā)揮著重要的作用。例如， 在敏感區(qū)域，通過分析跟蹤到的人的行走路線，分析其可能的行為，可以做到及時(shí)進(jìn)行預(yù) 警，從而進(jìn)一步降低了未來發(fā)生安全問題的概率，維護(hù)社會(huì)和諧。
[0004] 由于視頻中的目標(biāo)跟蹤過程中，跟蹤結(jié)果經(jīng)常受到一系列的內(nèi)部或外部條件變化 的影響，例如，被跟蹤目標(biāo)的形狀、尺寸、色調(diào)的變化，又如，外界光線變化和障礙物遮擋等， 使得難以實(shí)現(xiàn)對視頻中目標(biāo)長時(shí)間的有效跟蹤，在跟蹤過程中經(jīng)常會(huì)出現(xiàn)被跟蹤目標(biāo)丟失 的情況。在多目標(biāo)跟蹤過程中，問題更加嚴(yán)重，經(jīng)常會(huì)出現(xiàn)不同目標(biāo)跟蹤混淆的現(xiàn)象。
[0005] 為了實(shí)現(xiàn)有效跟蹤，通過樣本訓(xùn)練，得到每個(gè)被跟蹤的目標(biāo)對應(yīng)的樣本模型，從而 形成目標(biāo)模板，目標(biāo)模板中包含每個(gè)被跟蹤的目標(biāo)對應(yīng)的樣本模型，這樣，在目標(biāo)丟失和混 淆的情況下，可以基于該目標(biāo)模板，對目標(biāo)所在的位置進(jìn)行更新和校正。由于現(xiàn)有的目標(biāo)模 板采用單一的樣本模型來表征目標(biāo)，跟蹤精度較低，不能有效的跟蹤到指定的目標(biāo)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例提供了一種視頻中的目標(biāo)跟蹤方法及裝置，用于解決現(xiàn)有的目標(biāo)模 板采用單一的樣本模型來表征目標(biāo)，跟蹤精度較低，不能有效的跟蹤到指定的目標(biāo)的問題。
[0007] 第一方面，提供了一種視頻中的目標(biāo)跟蹤方法，所述方法包括：
[0008] 根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形 框；
[0009] 提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目標(biāo)矩形框內(nèi)圖像的特征 信息與所述目標(biāo)模板中的樣本的相似度；
[0010]在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣 本存儲(chǔ)于所述目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖像中的待跟蹤目標(biāo)進(jìn)行 跟蹤。
[0011] 第二方面，提供了 一種視頻中的目標(biāo)跟蹤裝置，所述裝置包括：
[0012] 第一確定模塊，用于根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所 在位置的目標(biāo)矩形框；
[0013] 第二確定模塊，用于提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目標(biāo) 矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的樣本的相似度；
[0014] 樣本更新模塊，用于在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的 特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖像 中的待跟蹤目標(biāo)進(jìn)行跟蹤。
[0015] 本發(fā)明實(shí)施例提供的方法和裝置中，在目標(biāo)跟蹤過程中，根據(jù)獲取到的幀圖像中 待跟蹤目標(biāo)所在位置的目標(biāo)矩形框內(nèi)圖像的特征信息，不斷對目標(biāo)模板中的樣本進(jìn)行更新 和完善，從而在目標(biāo)模板中形成多個(gè)樣本來表征待跟蹤目標(biāo)，使得目標(biāo)模板中包含足夠多 的關(guān)鍵幀中待跟蹤目標(biāo)的特征信息，并且采用多樣本的目標(biāo)模板進(jìn)行跟蹤，能夠應(yīng)對待跟 蹤目標(biāo)在跟蹤過程中出現(xiàn)的變化，使得跟蹤結(jié)果更可靠，準(zhǔn)確性更高。另外，由于目標(biāo)模板 中包含多個(gè)樣本，個(gè)別跟蹤效果較差的樣本的負(fù)面影響可以由其他樣本來補(bǔ)償。因此，采用 多樣本的目標(biāo)模板進(jìn)行跟蹤，極大提高了目標(biāo)模板的魯棒性和普適性。
【附圖說明】
[0016] 圖1為本發(fā)明實(shí)施例提供的一種視頻中的目標(biāo)跟蹤方法的流程示意圖；
[0017] 圖2為本發(fā)明實(shí)施例提供的一種視頻中的目標(biāo)跟蹤方法中更新目標(biāo)模板的示意 圖；
[0018] 圖3為本發(fā)明實(shí)施例提供的一種視頻中的目標(biāo)跟蹤方法的另一流程示意圖；
[0019]圖4為本發(fā)明實(shí)施例提供的一種視頻中的目標(biāo)跟蹤裝置的示意圖。
【具體實(shí)施方式】
[0020] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0021] 下面結(jié)合說明書附圖對本發(fā)明實(shí)施例作進(jìn)一步詳細(xì)描述。應(yīng)當(dāng)理解，此處所描述 的實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
[0022] 本發(fā)明實(shí)施例提供了一種視頻中的目標(biāo)跟蹤方法，如圖1所示，所述方法包括：
[0023] S11、根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩 形框；
[0024] S12、提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目標(biāo)矩形框內(nèi)圖像的 特征信息與所述目標(biāo)模板中樣本的相似度。
[0025] 具體的，若所述目標(biāo)模板中包含一個(gè)樣本，則確定出所述目標(biāo)矩形框內(nèi)圖像的特 征信息與該樣本的相似度;若所述目標(biāo)模板中包含至少兩個(gè)樣本，則分別確定出所述目標(biāo) 矩形框內(nèi)圖像的特征信息與每個(gè)樣本的相似度。
[0026] S13、在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新 的樣本存儲(chǔ)于所述目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖像中的待跟蹤目標(biāo) 進(jìn)行跟蹤。
[0027] 具體的，使用更新后的目標(biāo)模板，對于下一幀圖像繼續(xù)執(zhí)行上述步驟S11~S13。 [0028]本發(fā)明實(shí)施例中，在目標(biāo)跟蹤過程中，根據(jù)獲取到的幀圖像中待跟蹤目標(biāo)所在位 置的目標(biāo)矩形框內(nèi)圖像的特征信息，不斷對目標(biāo)模板進(jìn)行更新和完善，從而在目標(biāo)模板中 形成多個(gè)樣本來表征待跟蹤目標(biāo)，使得目標(biāo)模板中包含足夠多的關(guān)鍵幀中待跟蹤目標(biāo)的特 征信息，并且采用多樣本的目標(biāo)模板進(jìn)行跟蹤，能夠應(yīng)對待跟蹤目標(biāo)在跟蹤過程中出現(xiàn)的 變化，使得跟蹤結(jié)果更可靠，準(zhǔn)確性更高。另外，由于目標(biāo)模板中包含多個(gè)樣本，個(gè)別跟蹤效 果較差的樣本的負(fù)面影響可以由其他樣本來補(bǔ)償。因此，采用多樣本的目標(biāo)模板進(jìn)行跟蹤， 極大提高了目標(biāo)模板的魯棒性和普適性。
[0029] 本發(fā)明實(shí)施例中，對于同一幀圖像中的不同的待跟蹤目標(biāo)，均可采用上述步驟S11 ~步驟S13的方法進(jìn)行跟蹤，并不斷更新每個(gè)待跟蹤目標(biāo)對應(yīng)的多樣本的目標(biāo)模板。
[0030] 本發(fā)明實(shí)施例中，S11中根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo) 所在位置的目標(biāo)矩形框，包括：
[0031] 根據(jù)前N幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，預(yù)測當(dāng)前幀圖像中待跟蹤 目標(biāo)所在位置的第一矩形框，其中，N為正整數(shù)；
[0032] 以所述第一矩形框?yàn)榛鶞?zhǔn)，確定出至少一個(gè)第二矩形框，其中，第二矩形框與所述 第一矩形框的距離小于或等于設(shè)定的距離閾值；
[0033] 分別提取出所述第一矩形框內(nèi)圖像的特征信息和所述第二矩形框內(nèi)圖像的特征 信息，并分別確定所提取的特征信息與所述目標(biāo)模板中的樣本的相似度；
[0034]根據(jù)所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個(gè)矩形框確定 為所述目標(biāo)矩形框。
[0035]由于目標(biāo)模板中包含多個(gè)樣本，能夠應(yīng)對待跟蹤目標(biāo)在跟蹤過程中出現(xiàn)的變化， 使得跟蹤結(jié)果更可靠，準(zhǔn)確性更高，并且可以降低個(gè)別跟蹤效果較差的樣本的負(fù)面影響，極 大提高了目標(biāo)模板的魯棒性和普適性。
[0036] 進(jìn)一步，一種可能的實(shí)現(xiàn)方式中，根據(jù)所述相似度，從所述第一矩形框和所述第二 矩形框中，選擇一個(gè)矩形框確定為所述目標(biāo)矩形框，包括：
[0037] 對于所述第一矩形框，確定出所述第一矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板 中的樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內(nèi)圖像的 特征信息與所述目標(biāo)模板中的樣本的相似度的平均值；
[0038] 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設(shè)定相似度 閾值的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標(biāo)矩形 框。
[0039] 具體的，若所述目標(biāo)模板中包含一個(gè)樣本，則所述第一矩形框內(nèi)圖像的特征信息 與所述目標(biāo)模板中的樣本的相似度的平均值，即為所述第一矩形框內(nèi)圖像的特征信息與該 樣本的相似度;所述第二矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的樣本的相似度的平 均值，即為所述第二矩形框內(nèi)圖像的特征信息與該樣本的相似度。
[0040] 若所述目標(biāo)模板中包含至少兩個(gè)樣本，則所述第一矩形框內(nèi)圖像的特征信息與所 述目標(biāo)模板中的樣本的相似度的平均值，即為所述第一矩形框內(nèi)圖像的特征信息與所述至 少兩個(gè)樣本中的每個(gè)樣本的相似度的平均值;所述第二矩形框內(nèi)圖像的特征信息與所述目 標(biāo)模板中的樣本的相似度的平均值，即為所述第二矩形框內(nèi)圖像的特征信息與所述至少兩 個(gè)樣本中的每個(gè)樣本的相似度的平均值。
[0041 ]另一種可能的實(shí)現(xiàn)方式中，若所述第一矩形框和所有所述第二矩形框與所述目標(biāo) 模板的相似度的平均值均小于或等于所述相似度閾值，將所述第一矩形框確定為所述目標(biāo) 矩形框。
[0042] 本發(fā)明實(shí)施例中不限定采用上述方式確定出目標(biāo)矩形框，也可以采用其他方式， 如從所述第一矩形框和所述第二矩形框中，將相似度的平均值最高的矩形框確定為所述目 標(biāo)矩形框。
[0043] 在所述目標(biāo)模板中包含多個(gè)樣本時(shí)，由于采用平均值方式，在進(jìn)行相似度的大小 比較時(shí)，只需比較第一矩形框與所述目標(biāo)模板中的樣本的相似度的平均值、以及第二矩形 框與所述目標(biāo)模板中的樣本的相似度的平均值的大小即可，從而減少了比較次數(shù)，提高了 處理效率。
[0044] 本發(fā)明實(shí)施例中，S12中提取出的所述目標(biāo)矩形框內(nèi)圖像的特征信息可以是所述 目標(biāo)矩形框內(nèi)圖像的紋理特征，如方向梯度直方圖（Histogram of oriented gradients， 簡稱HOG)，局部二值模式(Local Binary Patterns，簡稱LBP)等，也可以是對目標(biāo)矩形框進(jìn) 行分塊后所提取的顏色直方圖。本發(fā)明實(shí)施例不對所提取出的特征信息進(jìn)行限定。
[0045] 本發(fā)明實(shí)施例中，S13中在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像 的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，包括：
[0046] 在所述相似度的平均值大于設(shè)定的相似度閾值，且當(dāng)前時(shí)刻距離上一次樣本更新 的間隔時(shí)長大于設(shè)定的時(shí)間閾值時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存 儲(chǔ)于所述目標(biāo)模板中。
[0047] 為了使目標(biāo)模板中新的樣本能夠更準(zhǔn)確的追蹤到待跟蹤目標(biāo)，確定出的相似度需 要滿足平均值大于設(shè)定的相似度閾值的條件，為了避免頻繁更新目標(biāo)模板中的樣本，需滿 足當(dāng)前時(shí)刻距離上一次樣本更新的間隔時(shí)長大于設(shè)定的時(shí)間閾值。
[0048] 具體的，假設(shè)當(dāng)前時(shí)刻為t時(shí)刻，此時(shí)目標(biāo)模板內(nèi)的樣本數(shù)量為n(n<N)，N表示目 標(biāo)模板能存儲(chǔ)的樣本數(shù)量的上限值，計(jì)算所述目標(biāo)矩形框內(nèi)圖像的特征信息與所述目標(biāo)模 板中每個(gè)樣本的相似度，記為P」（j = l，2,…，n)。則當(dāng)
的值大于設(shè)定的相似 度閾值，并且當(dāng)前時(shí)刻距離上一次樣本更新的間隔時(shí)長大于設(shè)定的時(shí)間閾值T時(shí)，將當(dāng)前時(shí) 刻采集到的圖像幀中的目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板 中，不斷重復(fù)上述待跟蹤目標(biāo)的跟蹤和目標(biāo)模板的更新過程，以不斷更新目標(biāo)模板中的樣 本。
[0049] 本發(fā)明實(shí)施例中，相似度閾值和時(shí)間閾值均為經(jīng)驗(yàn)值，可以根據(jù)經(jīng)驗(yàn)或仿真或應(yīng) 用環(huán)境進(jìn)行設(shè)定。
[0050] 本發(fā)明實(shí)施例中，若所述相似度的平均值小于或等于設(shè)定的相似度閾值，或者當(dāng) 前時(shí)刻距離上一次樣本更新的間隔時(shí)長小于或等于設(shè)定的時(shí)間閾值時(shí)，確定不滿足設(shè)定條 件，則轉(zhuǎn)入步驟S11繼續(xù)對下一幀圖像中的待跟蹤目標(biāo)進(jìn)行跟蹤。
[0051 ]本發(fā)明實(shí)施例中，所述方法還包括目標(biāo)模板的初始化過程，具體如下：
[0052]從第一幀包括所述待跟蹤目標(biāo)的圖像中，確定出所述待跟蹤目標(biāo)所在位置的目標(biāo) 矩形框；
[0053]提取出所述第一幀包括所述待跟蹤目標(biāo)的圖像中的目標(biāo)矩形框內(nèi)圖像的特征信 息；
[0054] 將所提取出的特征信息作為所述目標(biāo)模板中的固定樣本。
[0055] 由于初始化時(shí)確定出的待跟蹤目標(biāo)的特征信息的準(zhǔn)確度較高，因此，將初始化的 第一幀包括所述待跟蹤目標(biāo)的圖像確定出的樣本作為固定樣本，在所述目標(biāo)模板的更新過 程中固定樣本是不會(huì)被替換掉的。具體的，在第i個(gè)待跟蹤目標(biāo)初始化的第一幀圖像 tl>1中， 確定出待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，i = 1，…，M，M表示待跟蹤目標(biāo)的數(shù)量;然后提取 出該目標(biāo)矩形框內(nèi)圖像的特征信息，并將該特征信息作為所述目標(biāo)模板中的固定樣本，該 固定樣本在后續(xù)目標(biāo)模板的更新過程中，一直保持不變，不會(huì)在后續(xù)的更新過程中被替換 掉的。之后，基于初始化后的目標(biāo)模板進(jìn)行待跟蹤目標(biāo)的跟蹤（即根據(jù)該目標(biāo)模板確定出下 一幀圖像中所述待跟蹤目標(biāo)所在位置的目標(biāo)矩形框），并根據(jù)跟蹤結(jié)果更新所述目標(biāo)模板。
[0056] 舉例說明，第一幀圖像中的目標(biāo)矩形框可以采用如下方式確定：（1)通過人為選取 的方式來確定目標(biāo)矩形框；（2)通過目標(biāo)檢測的方式，檢測出指定類型的待跟蹤目標(biāo)，將檢 測到的待跟蹤目標(biāo)位置所在的矩形框確定為目標(biāo)矩形框。當(dāng)然，本發(fā)明實(shí)施例中也可以采 用其他方式確定第一幀圖像中的目標(biāo)矩形框，本發(fā)明實(shí)施例中不限定第一幀圖像中的目標(biāo) 矩形框的確定方式。
[0057]本發(fā)明實(shí)施例中，若所述目標(biāo)模板中已有的樣本的數(shù)量未達(dá)到上限值，則將所述 目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本直接存儲(chǔ)于所述目標(biāo)模板中即可;若所述目標(biāo) 模板中已有的樣本的數(shù)量達(dá)到上限值，則將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣 本進(jìn)行更新時(shí)，需要替換目標(biāo)模板中已有的樣本，具體可采用如下兩種可選的方式進(jìn)行更 新：
[0058] 方式1、將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中 除所述固定樣本之外的任一樣本。
[0059] 該方式下，在存儲(chǔ)新的樣本時(shí)，可將新的樣本替換所述目標(biāo)模板中除所述固定樣 本之外的任一樣本。
[0060] 方式2、將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中 除所述固定樣本之外存儲(chǔ)時(shí)間最長的樣本。
[0061] 該方式下，在存儲(chǔ)新的樣本時(shí)，將新的樣本替換所述目標(biāo)模板中除所述固定樣本 之外的存儲(chǔ)時(shí)間最長的樣本，從而使目標(biāo)模板中的樣本更好地應(yīng)對待跟蹤目標(biāo)在跟蹤過程 中出現(xiàn)的變化，使得跟蹤結(jié)果更可靠，準(zhǔn)確性更高。
[0062] 舉例說明，如圖2所示，假設(shè)上限值為6,分別通過時(shí)刻的圖像中待跟蹤目 標(biāo)所在位置的目標(biāo)矩形框內(nèi)的圖像的特征信息，得到六個(gè)樣本并存儲(chǔ)于目標(biāo)模板中，在后 續(xù)的跟蹤過程中，t1>7時(shí)刻的圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框內(nèi)的圖像的特征信 息與所述目標(biāo)模板中已有的六個(gè)樣本的相似度滿足設(shè)定條件，可作為新的樣本存儲(chǔ)于所述 目標(biāo)模板中，在存儲(chǔ)時(shí)，由于目標(biāo)模板中的樣本數(shù)量已達(dá)到上限值，因此，新的樣本需要替 換目標(biāo)模板中已有的樣本，此時(shí)，新的樣本替換^, 2時(shí)刻得到的樣本。在后續(xù)的跟蹤過程中， 假設(shè)t1>8時(shí)刻的圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框內(nèi)的圖像的特征信息與所述目標(biāo) 模板中已有的六個(gè)樣本的相似度也滿足設(shè)定條件，可作為新的樣本存儲(chǔ)于所述目標(biāo)模板 中，在存儲(chǔ)時(shí)，新的樣本替換43時(shí)刻得到的樣本，依次類推。
[0063] 下面通過一個(gè)具體實(shí)施例，對本發(fā)明提供的一種視頻中的目標(biāo)跟蹤方法進(jìn)行詳細(xì) 說明。
[0064] 實(shí)施例一、如圖3所示，本實(shí)施例中目標(biāo)跟蹤方法包括如下過程：
[0065] S31、根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩 形框；
[0066] S32、提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息；
[0067] S33、確定出所述目標(biāo)矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的樣本的相似 度；
[0068] S34、判斷是否為所述目標(biāo)模板中的最后一個(gè)樣本；
[0069]若是，執(zhí)行S35;
[0070] 若否，執(zhí)行S33;
[0071] S35、判斷是否滿足設(shè)定條件；
[0072]若是，執(zhí)行S36;
[0073] 若否，執(zhí)行S31，即根據(jù)目標(biāo)模板，確定出下一幀圖像中待跟蹤目標(biāo)所在位置的目 標(biāo)矩形框；
[0074] S36、將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中， 并轉(zhuǎn)至S31，即根據(jù)更新后的目標(biāo)模板，確定出下一幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩 形框。
[0075] 上述方法處理流程可以用軟件程序?qū)崿F(xiàn)，該軟件程序可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，當(dāng) 存儲(chǔ)的軟件程序被調(diào)用時(shí)，執(zhí)行上述方法步驟。
[0076] 基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例中還提供了一種視頻中的目標(biāo)跟蹤裝置，由于 該裝置解決問題的原理與一種視頻中的目標(biāo)跟蹤方法相似，因此該裝置的實(shí)施可以參見方 法的實(shí)施，重復(fù)之處不再贅述。
[0077]本發(fā)明實(shí)施例提供了一種視頻中的目標(biāo)跟蹤裝置，如圖4所示，所述裝置包括： [0078]第一確定模塊41，用于根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo) 所在位置的目標(biāo)矩形框；
[0079] 第二確定模塊42,用于提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目 標(biāo)矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的樣本的相似度；
[0080] 樣本更新模塊43，用于在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像 的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖 像中的待跟蹤目標(biāo)進(jìn)行跟蹤。
[0081 ]可選的，所述樣本更新模塊43具體用于：
[0082]在所述相似度的平均值大于設(shè)定的相似度閾值，且當(dāng)前時(shí)刻距離上一次樣本更新 的間隔時(shí)長大于設(shè)定的時(shí)間閾值時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存 儲(chǔ)于所述目標(biāo)模板中。
[0083]可選的，所述第一確定模塊41具體用于：
[0084]根據(jù)前N幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，預(yù)測當(dāng)前幀圖像中待跟蹤 目標(biāo)所在位置的第一矩形框，其中，N為正整數(shù)；
[0085]以所述第一矩形框?yàn)榛鶞?zhǔn)，確定出至少一個(gè)第二矩形框，其中，第二矩形框與所述 第一矩形框的距離小于或等于設(shè)定的距離閾值；
[0086] 分別提取出所述第一矩形框內(nèi)圖像的特征信息和所述第二矩形框內(nèi)圖像的特征 信息，并分別確定所提取的特征信息與所述目標(biāo)模板中的樣本的相似度；
[0087] 根據(jù)所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個(gè)矩形框確定 為所述目標(biāo)矩形框。
[0088]可選的，所述第一確定模塊41具體用于：
[0089] 對于所述第一矩形框，確定出所述第一矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板 中的樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內(nèi)圖像的 特征信息與所述目標(biāo)模板中的樣本的相似度的平均值；
[0090] 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設(shè)定相似度 閾值的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標(biāo)矩形 框。
[0091] 可選的，所述第一確定模塊41還用于:若所述第一矩形框和所有所述第二矩形框 與所述目標(biāo)模板的相似度的平均值均小于或等于所述相似度閾值，將所述第一矩形框確定 為所述目標(biāo)矩形框。
[0092]可選的，所述裝置還包括：
[0093]初始化模塊40,用于從第一幀包括所述待跟蹤目標(biāo)的圖像中，確定出所述待跟蹤 目標(biāo)所在位置的目標(biāo)矩形框;提取出所述第一幀包括所述待跟蹤目標(biāo)的圖像中的目標(biāo)矩形 框內(nèi)圖像的特征信息;將所提取出的特征信息作為所述目標(biāo)模板中的固定樣本。
[0094]可選的，若所述目標(biāo)模板中已有的樣本的數(shù)量達(dá)到上限值，所述樣本更新模塊43 具體用于：
[0095] 將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中除所述 固定樣本之外存儲(chǔ)時(shí)間最長的樣本;或者
[0096] 將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中除所述 固定樣本之外的任一樣本。
[0097] 本發(fā)明實(shí)施例中，在目標(biāo)跟蹤過程中，不斷對目標(biāo)模板進(jìn)行更新和完善，從而在目 標(biāo)模板中形成多個(gè)樣本來表征待跟蹤目標(biāo)，使得目標(biāo)模板中包含足夠多的關(guān)鍵幀中待跟蹤 目標(biāo)的特征信息，并且采用多樣本的目標(biāo)模板進(jìn)行跟蹤，能夠應(yīng)對待跟蹤目標(biāo)在跟蹤過程 中出現(xiàn)的變化，使得跟蹤結(jié)果更可靠，準(zhǔn)確性更高。另外，由于目標(biāo)模板中包含多個(gè)樣本，個(gè) 別跟蹤效果較差的樣本的負(fù)面影響可以由其他樣本來補(bǔ)償。因此，采用多樣本的目標(biāo)模板 進(jìn)行跟蹤，極大提高了目標(biāo)模板的魯棒性和普適性。
[0098] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序 產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí) 施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī) 可用存儲(chǔ)介質(zhì)（包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等）上實(shí)施的計(jì)算機(jī)程序產(chǎn) 品的形式。
[0099] 本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備（系統(tǒng)）、和計(jì)算機(jī)程序產(chǎn)品的流程 圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流 程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序 指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn) 生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí) 現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
[0100] 這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特 定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指 令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或 多個(gè)方框中指定的功能。
[0101] 這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì) 算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或 其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一 個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0102] 盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造 性概念，則可對這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu) 選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。
[0103] 顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍 之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
【主權(quán)項(xiàng)】
1. 一種視頻中的目標(biāo)跟蹤方法，其特征在于，所述方法包括： 根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框； 提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目標(biāo)矩形框內(nèi)圖像的特征信息 與所述目標(biāo)模板中的樣本的相似度； 在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存 儲(chǔ)于所述目標(biāo)模板中，并使用更新后的目標(biāo)模板，對下一幀圖像中的待跟蹤目標(biāo)進(jìn)行跟蹤。2. 如權(quán)利要求1所述的方法，其特征在于，在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo) 矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，包括： 在所述相似度的平均值大于設(shè)定的相似度閾值，且當(dāng)前時(shí)刻距離上一次樣本更新的間 隔時(shí)長大于設(shè)定的時(shí)間閾值時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于 所述目標(biāo)模板中。3. 如權(quán)利要求1所述的方法，其特征在于，根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像 中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，包括： 根據(jù)前N幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，預(yù)測當(dāng)前幀圖像中待跟蹤目標(biāo) 所在位置的第一矩形框，其中，N為正整數(shù)； 以所述第一矩形框?yàn)榛鶞?zhǔn)，確定出至少一個(gè)第二矩形框，其中，第二矩形框與所述第一 矩形框的距離小于或等于設(shè)定的距離閾值； 分別提取出所述第一矩形框內(nèi)圖像的特征信息和所述第二矩形框內(nèi)圖像的特征信息， 并分別確定所提取的特征信息與所述目標(biāo)模板中的樣本的相似度； 根據(jù)所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個(gè)矩形框確定為所 述目標(biāo)矩形框。4. 如權(quán)利要求3所述的方法，其特征在于，根據(jù)所述相似度，從所述第一矩形框和所述 第二矩形框中，選擇一個(gè)矩形框確定為所述目標(biāo)矩形框，包括： 對于所述第一矩形框，確定出所述第一矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的 樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內(nèi)圖像的特征 信息與所述目標(biāo)模板中的樣本的相似度的平均值； 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設(shè)定相似度閾值 的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標(biāo)矩形框。5. 如權(quán)利要求4所述的方法，其特征在于，根據(jù)所述相似度，從所述第一矩形框和所述 第二矩形框中，選擇一個(gè)矩形框確定為所述目標(biāo)矩形框，還包括： 若所述第一矩形框和所有所述第二矩形框與所述目標(biāo)模板的相似度的平均值均小于 或等于所述相似度閾值，將所述第一矩形框確定為所述目標(biāo)矩形框。6. 如權(quán)利要求1~5任一項(xiàng)所述的方法，其特征在于，根據(jù)目標(biāo)模板中的樣本，確定出所 述目標(biāo)矩形框之前，還包括： 從第一幀包括所述待跟蹤目標(biāo)的圖像中，確定出所述待跟蹤目標(biāo)所在位置的目標(biāo)矩形 框； 提取出所述第一幀包括所述待跟蹤目標(biāo)的圖像中的目標(biāo)矩形框內(nèi)圖像的特征信息； 將所提取出的特征信息作為所述目標(biāo)模板中的固定樣本。7. 如權(quán)利要求6所述的方法，其特征在于，若所述目標(biāo)模板中已有的樣本的數(shù)量達(dá)到上 限值，將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，包括： 將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中除所述固定 樣本之外存儲(chǔ)時(shí)間最長的樣本;或者 將所述目標(biāo)矩形框內(nèi)圖像的特征信息作為新的樣本，替換所述目標(biāo)模板中除所述固定 樣本之外的任一樣本。8. -種視頻中的目標(biāo)跟蹤裝置，其特征在于，所述裝置包括： 第一確定模塊，用于根據(jù)目標(biāo)模板中的樣本，確定出當(dāng)前幀圖像中待跟蹤目標(biāo)所在位 置的目標(biāo)矩形框； 第二確定模塊，用于提取出所述目標(biāo)矩形框內(nèi)圖像的特征信息，確定出所述目標(biāo)矩形 框內(nèi)圖像的特征信息與所述目標(biāo)模板中的樣本的相似度； 樣本更新模塊，用于在所述相似度滿足設(shè)定條件時(shí)，將所述目標(biāo)矩形框內(nèi)圖像的特征 信息作為新的樣本存儲(chǔ)于所述目標(biāo)模板中，以使所述第一確定模塊使用更新后的目標(biāo)模 板，對下一幀圖像中的待跟蹤目標(biāo)進(jìn)行跟蹤。9. 如權(quán)利要求8所述的裝置，其特征在于，所述第一確定模塊具體用于： 根據(jù)前N幀圖像中待跟蹤目標(biāo)所在位置的目標(biāo)矩形框，預(yù)測當(dāng)前幀圖像中待跟蹤目標(biāo) 所在位置的第一矩形框，其中，N為正整數(shù)； 以所述第一矩形框?yàn)榛鶞?zhǔn)，確定出至少一個(gè)第二矩形框，其中，第二矩形框與所述第一 矩形框的距離小于或等于設(shè)定的距離閾值； 分別提取出所述第一矩形框內(nèi)圖像的特征信息和所述第二矩形框內(nèi)圖像的特征信息， 并分別確定所提取的特征信息與所述目標(biāo)模板中的樣本的相似度； 根據(jù)所述相似度，從所述第一矩形框和所述第二矩形框中，選擇一個(gè)矩形框確定為所 述目標(biāo)矩形框。10. 如權(quán)利要求9所述的裝置，其特征在于，所述第一確定模塊具體用于： 對于所述第一矩形框，確定出所述第一矩形框內(nèi)圖像的特征信息與所述目標(biāo)模板中的 樣本的相似度的平均值；以及對于所述第二矩形框，確定出所述第二矩形框內(nèi)圖像的特征 信息與所述目標(biāo)模板中的樣本的相似度的平均值； 從所述第一矩形框和所述第二矩形框中，選擇出相似度的平均值大于設(shè)定相似度閾值 的矩形框，并將選擇出的矩形框中相似度的平均值最大的矩形框確定為所述目標(biāo)矩形框。
【文檔編號(hào)】G06T7/20GK105931269SQ201610257212
【公開日】2016年9月7日
【申請日】2016年4月22日
【發(fā)明人】王智慧
【申請人】海信集團(tuán)有限公司