一種視頻摘要生成及索引方法
【專利摘要】本發(fā)明涉及一種視頻摘要生成及索引方法，包括以下步驟：1）對(duì)原始視頻中的目標(biāo)幀圖像進(jìn)行背景建模，實(shí)現(xiàn)背景提??；2）將當(dāng)前的圖像與背景模型進(jìn)行比較分割，根據(jù)比較結(jié)果確定運(yùn)動(dòng)目標(biāo)；3）將幀間分布的空間信息和每幀圖像分割出來(lái)的目標(biāo)的特征進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)跟蹤，并記錄目標(biāo)的運(yùn)動(dòng)軌跡；4）修正序列中目標(biāo)在圖像中的位置；5）將運(yùn)動(dòng)目標(biāo)疊加在背景上，形成簡(jiǎn)短視頻，記錄摘要視頻數(shù)據(jù)，形成索引數(shù)據(jù)文件。本發(fā)明的有益效果為：對(duì)運(yùn)動(dòng)目標(biāo)跟蹤后，保證跟蹤的成功率，大大提高生成的視頻摘要的質(zhì)量，視頻索引功能夠滿足用戶快速查看視頻，方便地查看原始視頻進(jìn)行完整觀看實(shí)際情況。
【專利說(shuō)明】一種視頻摘要生成及索弓I方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻監(jiān)控【技術(shù)領(lǐng)域】，尤其涉及一種視頻摘要生成及索引方法。
【背景技術(shù)】
[0002]隨著多媒體技術(shù)、視頻采集技術(shù)的蓬勃發(fā)展，視頻監(jiān)控、圖像壓縮編碼與流媒體技術(shù)逐步演變，視頻監(jiān)控技術(shù)在日常生活中的應(yīng)用越來(lái)越廣泛，使得視頻監(jiān)控已不僅僅局限于安全防范，而是成為一種對(duì)各行各業(yè)都行之有效的監(jiān)督手段，其應(yīng)用領(lǐng)域的靈活性也已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的安防監(jiān)控所定義的范疇。然而視頻監(jiān)控的錄像存在存儲(chǔ)數(shù)據(jù)量大，存儲(chǔ)時(shí)間長(zhǎng)等特點(diǎn)，通過(guò)錄像尋找線索，獲取證據(jù)，傳統(tǒng)的做法需要耗費(fèi)大量人力、物力以及時(shí)間，效率極其低下，以至于錯(cuò)過(guò)最佳時(shí)機(jī)。因此在視頻監(jiān)控系統(tǒng)中，對(duì)原始視頻進(jìn)行濃縮，可以快速瀏覽，鎖定檢索對(duì)象，能夠滿足公安、網(wǎng)監(jiān)和刑偵的各種需求及應(yīng)用。視頻摘要在視頻分析和基于內(nèi)容的視頻檢索中扮演著重要角色，它生成一個(gè)簡(jiǎn)短的視頻，其中包含了原視頻中所有重要的活動(dòng)。視頻通過(guò)同時(shí)播放多個(gè)事件，哪怕是在原視頻中不同時(shí)間發(fā)生的，將整個(gè)原始視頻壓縮成一個(gè)簡(jiǎn)短的事件摘要。
[0003]視頻摘要的目的是為了方便用戶快速查看視頻，生成的視頻摘要的質(zhì)量直接影響了用戶的體驗(yàn)效果。目前視頻摘要中普遍存在目標(biāo)不完整、鬼影等問(wèn)題。而且摘要后的視頻打亂了原始視頻中目標(biāo)的時(shí)序邏輯，用戶如果要了解某一個(gè)目標(biāo)的真實(shí)情況，還需要借助原始視頻查看，因此，如何直接從摘要視頻跳轉(zhuǎn)到原始視頻中查看該目標(biāo)的情況原始情況也是需要解決的一個(gè)問(wèn)題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種視頻摘要生成及索引方法，以克服目前現(xiàn)有技術(shù)存在的上述不足。
[0005]本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn):
一種視頻摘要生成及索引方法，包括以下步驟:
1)背景建模:對(duì)原始視頻中的目標(biāo)幀圖像進(jìn)行背景建模，實(shí)現(xiàn)背景提取，從原始視頻中分離背景；
2)運(yùn)動(dòng)目標(biāo)提取:將當(dāng)前的圖像與背景模型進(jìn)行比較分割，根據(jù)比較結(jié)果確定運(yùn)動(dòng)目
標(biāo)；
3)運(yùn)動(dòng)目標(biāo)跟蹤:將幀間分布的空間信息和每幀圖像分割出來(lái)的目標(biāo)的特征進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)跟蹤，并記錄目標(biāo)的運(yùn)動(dòng)軌跡；
4)運(yùn)動(dòng)目標(biāo)位置修正:對(duì)跟蹤到的目標(biāo)集合進(jìn)行修正，主要對(duì)序列中目標(biāo)在圖像中的位置進(jìn)行修正；以及
5)摘要合成和視頻索引建立:將運(yùn)動(dòng)目標(biāo)疊加在背景上，將在原始視頻中不同時(shí)發(fā)生的活動(dòng)在視頻摘要中無(wú)遮擋或遮擋較小的情況下同步播放，產(chǎn)生一個(gè)在時(shí)間和空間上相對(duì)緊湊并且包含原始視頻中必要活動(dòng)的摘要視頻，合成視頻時(shí)記錄摘要視頻數(shù)據(jù)，形成索引數(shù)據(jù)文件。
[0006]進(jìn)一步的，步驟I)中背景建模采用顏色背景模型的方法。
[0007]優(yōu)選的，所述顏色背景模型具體采用混合高斯背景算法。
[0008]進(jìn)一步的，步驟2)中提取后的運(yùn)動(dòng)目標(biāo)若出現(xiàn)空洞和噪聲干擾的缺陷，則采用形態(tài)學(xué)開、閉運(yùn)算進(jìn)行處理，消除空洞和噪聲；步驟2)中提取后的運(yùn)動(dòng)目標(biāo)若出現(xiàn)同一目標(biāo)被分割成兩個(gè)或兩個(gè)以上目標(biāo)的缺陷，則對(duì)每一幀中提取到的所有目標(biāo)，計(jì)算目標(biāo)間的相互空間距離，將距離小于閾值Λ的目標(biāo)識(shí)別成同一目標(biāo)。
[0009]進(jìn)一步的，步驟3)具體包括以下步驟:
a)跟蹤模塊利用空間分布信息和顏色特征在相鄰幀的運(yùn)動(dòng)目標(biāo)間進(jìn)行匹配跟蹤，匹配成功的視為同一個(gè)目標(biāo)，并記錄運(yùn)動(dòng)軌跡；匹配不成功的視為一個(gè)新的運(yùn)動(dòng)目標(biāo)。
[0010]b)將跟蹤的結(jié)果存儲(chǔ)在集合?中，Ω中目標(biāo)表示方式如下:
【權(quán)利要求】
1.一種視頻摘要生成及索引方法，其特征在于，包括以下步驟: 1)背景建模:對(duì)原始視頻中的目標(biāo)幀圖像進(jìn)行背景建模，實(shí)現(xiàn)背景提取，從原始視頻中分離背景； 2)運(yùn)動(dòng)目標(biāo)提取:將當(dāng)前的圖像與背景模型進(jìn)行比較分割，根據(jù)比較結(jié)果確定運(yùn)動(dòng)目標(biāo)； 3)運(yùn)動(dòng)目標(biāo)跟蹤:將幀間分布的空間信息和每幀圖像分割出來(lái)的目標(biāo)的特征進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)跟蹤，并記錄目標(biāo)的運(yùn)動(dòng)軌跡； 4)運(yùn)動(dòng)目標(biāo)位置修正:對(duì)跟蹤到的目標(biāo)集合進(jìn)行修正，主要對(duì)序列中目標(biāo)在圖像中的位置進(jìn)行修正；以及 5)摘要合成和視頻索引建立:將運(yùn)動(dòng)目標(biāo)疊加在背景上，將在原始視頻中不同時(shí)發(fā)生的活動(dòng)在視頻摘要中無(wú)遮擋或遮擋較小的情況下同步播放，產(chǎn)生一個(gè)在時(shí)間和空間上相對(duì)緊湊并且包含原始視頻中必要活動(dòng)的摘要視頻，合成視頻時(shí)記錄摘要視頻數(shù)據(jù)，形成索引數(shù)據(jù)文件。
2.根據(jù)權(quán)利要求1所述的一種視頻摘要生成及索引方法，其特征在于，步驟I)中，背景建模采用顏色 背景模型的方法。
3.根據(jù)權(quán)利要求2所述的一種視頻摘要生成及索引方法，其特征在于:所述顏色背景模型具體采用混合高斯背景算法。
4.根據(jù)權(quán)利要求1所述的一種視頻摘要生成及索引方法，其特征在于，步驟2)中，提取后的運(yùn)動(dòng)目標(biāo)若出現(xiàn)空洞和噪聲干擾的缺陷，則采用形態(tài)學(xué)開、閉運(yùn)算進(jìn)行處理，消除空洞和噪聲；步驟2)中提取后的運(yùn)動(dòng)目標(biāo)若出現(xiàn)同一目標(biāo)被分割成兩個(gè)或兩個(gè)以上目標(biāo)的缺陷，則對(duì)每一幀中提取到的所有目標(biāo)，計(jì)算目標(biāo)間的相互空間距離，將距離小于閾值Λ的目標(biāo)識(shí)別成同一目標(biāo)。
5.根據(jù)權(quán)利要求1所述的一種視頻摘要生成及索引方法，其特征在于，步驟3)具體包括以下步驟: a)跟蹤模塊利用空間分布信息和顏色特征在相鄰幀的運(yùn)動(dòng)目標(biāo)間進(jìn)行匹配跟蹤，匹配成功的視為同一個(gè)目標(biāo)，并記錄運(yùn)動(dòng)軌跡；匹配不成功的視為一個(gè)新的運(yùn)動(dòng)目標(biāo)；以及 b)將跟蹤的結(jié)果存儲(chǔ)在集合Ω中，Ω中目標(biāo)表示方式如下:


6.根據(jù)權(quán)利要求5所述的一種視頻摘要生成及索引方法，其特征在于，所述匹配跟蹤的方法包括以下兩種: 第一種:將新的一幀分割出來(lái)的目標(biāo)和集合Ω中的目標(biāo)進(jìn)行匹配，定義以下函數(shù): 時(shí)間差異函數(shù):
7.根據(jù)權(quán)利要求1所述的一種視頻摘要生成及索引方法，其特征在于，步驟4)中對(duì)運(yùn)動(dòng)目標(biāo)位置進(jìn)行修正具體包括以下步驟: 第一步，在視頻全部處理完成后，統(tǒng)計(jì)Ω中的每一個(gè)目標(biāo)％的序列中目標(biāo)的寬度、高度并排序； 排序后Gi的寬度表示如下: 排序后的高度表示如下:
8.根據(jù)權(quán)利要求1所述的一種視頻摘要生成及索引方法，其特征在于:步驟5)中，摘要合成時(shí)，需記錄視頻摘要每一幀中參與合并的運(yùn)動(dòng)目標(biāo)的編碼、位置和首次出現(xiàn)的時(shí)間戳，將這些值保持在索引文件中。
【文檔編號(hào)】G06F17/30GK103929685SQ201410151449
【公開日】2014年7月16日 申請(qǐng)日期:2014年4月15日 優(yōu)先權(quán)日:2014年4月15日
【發(fā)明者】沈志忠 申請(qǐng)人:中國(guó)華戎控股有限公司