基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法
【專利摘要】本發(fā)明提供了一種基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，包括以下步驟：(1)視頻圖建模：將視頻建模成無向權(quán)重圖；(2)視頻內(nèi)容劃分：根據(jù)歸一化圖割把視頻幀分成若干部分，并設(shè)定尺度因子；(3)根據(jù)尺度因子，利用整數(shù)規(guī)劃得到關(guān)鍵幀集合。與現(xiàn)有技術(shù)相比，本發(fā)明從關(guān)鍵幀提取的本質(zhì)出發(fā)，利用歸一化圖割理論和整數(shù)規(guī)劃選取關(guān)鍵幀，不僅能夠盡大程度的代表視頻內(nèi)容，而且設(shè)定一個(gè)尺度因子，通過選擇不同尺度實(shí)現(xiàn)用戶交互的決定關(guān)鍵幀的大體數(shù)目，以滿足用戶的不同需要。
【專利說明】基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻關(guān)鍵幀提取方法，尤其涉及一種基于整數(shù)規(guī)劃和多尺度的視 頻關(guān)鍵幀提取方法，屬于視頻、多媒體信號(hào)處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)與信息技術(shù)的發(fā)展，特別是多媒體技術(shù)的迅速發(fā)展，視頻內(nèi)容變的越 來越豐富，視頻作為一種信息量大、表現(xiàn)力強(qiáng)的媒體形式一直是人們進(jìn)行信息交流的重要 載體。另外，隨著軟硬件技術(shù)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，視頻資源數(shù)量的急劇增加，越來 越多的人選擇使用計(jì)算機(jī)或手機(jī)等移動(dòng)設(shè)備觀看視頻。大量的視頻數(shù)據(jù)亟需高效的視頻內(nèi) 容管理方式，從而給用戶更好的多媒體體驗(yàn)。用關(guān)鍵幀代表視頻片段是一種常用的視頻管 理方式，用戶只需要瀏覽少數(shù)的關(guān)鍵幀就可以了解視頻的內(nèi)容。因此，人們一直在努力開展 關(guān)鍵幀提取技術(shù)的研究。另一方面，由于視頻數(shù)據(jù)的幾何式增長(zhǎng)，視頻檢索在多媒體處理 領(lǐng)域中越來越重要，傳統(tǒng)的視頻檢索主要是依靠文本標(biāo)注來實(shí)現(xiàn)，這種方法工作量大，效率 低，而且主觀性較大，因此一種自動(dòng)、客觀、全面的視頻檢索方式--基于內(nèi)容的視頻檢索 是近年來的一個(gè)研究重點(diǎn)?；趦?nèi)容的視頻檢索的一個(gè)重要步驟就是從視頻序列中提取關(guān) 鍵中貞，并以關(guān)鍵巾貞為索引對(duì)原始內(nèi)容進(jìn)行檢索。因此，關(guān)鍵巾貞提取在基于內(nèi)容的視頻檢索中 有著重要的作用。
[0003] 目前的視頻關(guān)鍵幀提取的方法大致分為兩大類，第一類是基于采樣的關(guān)鍵幀提取 方法，這類方法采用隨機(jī)或均勻抽樣的方式得到關(guān)鍵幀，這類方法雖然簡(jiǎn)單快捷，但是可能 會(huì)導(dǎo)致一些重要的視頻片段沒有選到關(guān)鍵幀，或者是一些片段取到重復(fù)的關(guān)鍵幀；第二類 是基于鏡頭分割的關(guān)鍵幀提取方法，這類方法把視頻分成若干個(gè)視頻鏡頭，然后選取每個(gè) 鏡頭的首幀或末幀作為視頻關(guān)鍵幀，此類方法受限于鏡頭分割的精度，同時(shí)，此類方法獲得 的關(guān)鍵幀并不能完全體現(xiàn)視頻鏡頭的內(nèi)容。
[0004] 視頻關(guān)鍵幀的數(shù)目也是個(gè)重要的問題，視頻關(guān)鍵幀選取本質(zhì)上是選擇能夠代表視 頻內(nèi)容的幀。關(guān)鍵幀數(shù)目的太多，雖然較高程度的體現(xiàn)了視頻的內(nèi)容，但增加了視頻檢索的 計(jì)算量，而且也在某種程度上失去了關(guān)鍵幀的意義（選取關(guān)鍵幀的目的是為了簡(jiǎn)潔的表示 視頻）；而如果關(guān)鍵巾貞數(shù)目太少，則不能完全體現(xiàn)視頻的內(nèi)容。另外，現(xiàn)有關(guān)鍵巾貞提取技術(shù) 大多選取的關(guān)鍵幀數(shù)目都是相對(duì)固定的，例如，基于采樣的方法，均勻采樣一般都是間隔固 定的時(shí)間段選取一幀作為關(guān)鍵幀，隨機(jī)抽樣一般都預(yù)設(shè)了關(guān)鍵幀總數(shù)目；基于鏡頭分割的 方法，鏡頭分割確定后，關(guān)鍵幀的數(shù)目也就確定了。即現(xiàn)有方法決定了同一個(gè)視頻選取的關(guān) 鍵幀數(shù)目是相對(duì)固定的。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對(duì)現(xiàn)有視頻關(guān)鍵幀提取技術(shù)存在的不足，提供一種既能最大程度上代表 視頻內(nèi)容又能實(shí)現(xiàn)用戶交互式設(shè)定關(guān)鍵幀數(shù)目的視頻關(guān)鍵幀選取方法。與現(xiàn)有技術(shù)相比， 本發(fā)明從關(guān)鍵幀提取的本質(zhì)出發(fā)，利用歸一化圖割理論和整數(shù)規(guī)劃選取關(guān)鍵幀，不僅能夠 盡大程度的代表視頻內(nèi)容，而且設(shè)定一個(gè)尺度因子，通過選擇不同尺度實(shí)現(xiàn)用戶交互的決 定關(guān)鍵幀的大體數(shù)目，本發(fā)明稱之為基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法。
[0006] 本發(fā)明采用的技術(shù)方案為：
[0007] -種基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，其特征在于該方法包括以下步 驟：
[0008] (1)視頻圖建模：把視頻建模成無向權(quán)重圖；
[0009] (2)視頻內(nèi)容劃分：設(shè)定尺度因子s，所述尺度因子由用戶根據(jù)需要設(shè)定用于確定 關(guān)鍵幀的數(shù)目，并利用歸一化圖割理論把視頻序列根據(jù)內(nèi)容劃分成s個(gè)部分；
[0010] (3)整數(shù)規(guī)劃建模：對(duì)劃分后的視頻序列的視頻圖進(jìn)行整數(shù)規(guī)劃建模，選取關(guān)鍵 幀。
[0011] 優(yōu)選地，所述步驟（1)的具體實(shí)現(xiàn)步驟是：
[0012] ①視頻幀抽象為高維空間中的頂點(diǎn)，頂點(diǎn)之間連線作為邊，構(gòu)造為高維空間中的 圖；
[0013] ②提取視頻巾貞的SURF(Speed Up Robust Feature :快速魯棒特征），以不同巾貞的特 征
[0014] 點(diǎn)的距離函數(shù)作為邊權(quán)重，把視頻抽象成的圖轉(zhuǎn)變?yōu)闄?quán)重圖。
[0015] 優(yōu)選地，所述步驟（3)的具體實(shí)現(xiàn)步驟是：
[0016] 對(duì)以上步驟（1)得到的視頻圖，首先定義每個(gè)頂點(diǎn)的標(biāo)號(hào)，如果該頂點(diǎn)對(duì)應(yīng)的視 頻幀被選為關(guān)鍵幀，則標(biāo)號(hào)為1，否則為〇,整數(shù)規(guī)劃的目標(biāo)函數(shù)就是最大化所有頂點(diǎn)的標(biāo) 號(hào)和，約束條件有兩個(gè)，其一是保證選為關(guān)鍵幀對(duì)應(yīng)的視頻圖頂點(diǎn)之間要互不相連，其二是 保證視頻圖的每一部分都至少有一個(gè)點(diǎn)的標(biāo)號(hào)為1，整數(shù)規(guī)劃的解是一個(gè)最優(yōu)的標(biāo)號(hào)集，其 中標(biāo)號(hào)為1的頂點(diǎn)集合就是關(guān)鍵幀的集合。
[0017] 優(yōu)選地，步驟（1)中所使用的距離函數(shù)是能夠?qū)崿F(xiàn)權(quán)重和距離成反比關(guān)系的函 數(shù)。
[0018] 上述方法首先對(duì)視頻進(jìn)行圖建模，以SURF距離函數(shù)構(gòu)造權(quán)重，利用歸一化圖割理 論把視頻劃分成若干部分，并對(duì)視頻圖進(jìn)行整數(shù)規(guī)劃建模，選取圖頂點(diǎn)作為視頻關(guān)鍵幀。
[0019] 本發(fā)明既能提取到代表視頻內(nèi)容的關(guān)鍵幀，又能交互式的調(diào)節(jié)關(guān)鍵幀數(shù)目，與現(xiàn) 有技術(shù)相比，本發(fā)明的技術(shù)充分考慮了視頻內(nèi)容的區(qū)分性和代表性，在不同內(nèi)容的視頻片 段選取關(guān)鍵幀，既保證了內(nèi)容的代表性有避免了關(guān)鍵幀內(nèi)容的重復(fù)，同時(shí)，本發(fā)明可以根據(jù) 尺度因子來調(diào)節(jié)關(guān)鍵幀的數(shù)目，當(dāng)用戶僅需要了解視頻內(nèi)容大概時(shí)，可以設(shè)置較小的尺度 因子得到較少的關(guān)鍵幀，當(dāng)需要更詳細(xì)的視頻內(nèi)容時(shí)，可以設(shè)置較大的尺度因子得到較多 數(shù)目的關(guān)鍵幀，這是傳統(tǒng)的關(guān)鍵幀技術(shù)所不具備的。

【專利附圖】

【附圖說明】
[0020] 圖1是本發(fā)明的步驟框架示意圖。
[0021] 圖2是某一視頻幀SURF示意圖。
[0022] 圖3是視頻圖整數(shù)規(guī)劃建模示意圖。
[0023] 圖4關(guān)鍵巾貞提取不例：(a)原始視頻巾貞；(b)不同尺度下的關(guān)鍵中貞。

【具體實(shí)施方式】
[0024] 下面結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)的說明。
[0025] 本發(fā)明的方法按圖1所示流程，包括如下具體步驟：
[0026] (1)視頻圖建模
[0027] ①視頻圖建模即把視頻用無向圖G= (V，E)表示，其中V和E分別代表圖頂點(diǎn)集 和邊集。視頻每幀對(duì)應(yīng)于圖頂點(diǎn)，頂點(diǎn)之間相互連線構(gòu)成圖的邊集。

【權(quán)利要求】
1. 一種基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，其特征在于該方法包括以下步 驟： (1) 視頻圖建模：把視頻建模成無向權(quán)重圖； (2) 視頻內(nèi)容劃分：設(shè)定尺度因子s，所述尺度因子由用戶根據(jù)需要設(shè)定用于確定關(guān)鍵 幀的數(shù)目，并利用歸一化圖割理論把視頻序列根據(jù)內(nèi)容劃分成s個(gè)部分； (3) 整數(shù)規(guī)劃建模：對(duì)劃分后的視頻序列的視頻圖進(jìn)行整數(shù)規(guī)劃建模，選取關(guān)鍵幀。
2. 如權(quán)利要求1所述的基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，其特征在于：所 述步驟（1)的具體實(shí)現(xiàn)步驟是： ① 視頻幀抽象為高維空間中的頂點(diǎn)，頂點(diǎn)之間連線作為邊，構(gòu)造為高維空間中的圖； ② 提取視頻巾貞的SURF(Speed Up Robust Feature:快速魯棒特征），以不同巾貞的特征點(diǎn) 的距離函數(shù)作為邊權(quán)重，把視頻抽象成的圖轉(zhuǎn)變?yōu)闄?quán)重圖。
3. 如權(quán)利要求1所述的基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，其特征在于：所 述步驟（3)的具體實(shí)現(xiàn)步驟是： 對(duì)以上步驟（1)得到的視頻圖，首先定義每個(gè)頂點(diǎn)的標(biāo)號(hào)，如果該頂點(diǎn)對(duì)應(yīng)的視頻幀 被選為關(guān)鍵幀，則標(biāo)號(hào)為1，否則為〇,整數(shù)規(guī)劃的目標(biāo)函數(shù)就是最大化所有頂點(diǎn)的標(biāo)號(hào)和， 約束條件有兩個(gè)，其一是保證選為關(guān)鍵幀對(duì)應(yīng)的視頻圖頂點(diǎn)之間要互不相連，其二是保證 視頻圖的每一部分都至少有一個(gè)點(diǎn)的標(biāo)號(hào)為1，整數(shù)規(guī)劃的解是一個(gè)最優(yōu)的標(biāo)號(hào)集，其中標(biāo) 號(hào)為1的頂點(diǎn)集合就是關(guān)鍵幀的集合。
4. 如權(quán)利要求2所述的基于整數(shù)規(guī)劃的多尺度視頻關(guān)鍵幀提取方法，其特征在于：所 述步驟（1)中所使用的距離函數(shù)是能夠?qū)崿F(xiàn)權(quán)重和距離成反比關(guān)系的函數(shù)。
【文檔編號(hào)】G06F17/30GK104156423SQ201410384972
【公開日】2014年11月19日 申請(qǐng)日期:2014年8月6日 優(yōu)先權(quán)日:2014年8月6日
【發(fā)明者】聶秀山, 柴彥娥, 馬林元 申請(qǐng)人:聶秀山