專利名稱：一種適用于視頻關(guān)鍵幀提取的代表幀定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像中關(guān)鍵幀提取方法，特別是涉及一種適用于視頻關(guān)鍵幀提取
的代表幀定位方法，應(yīng)用于視頻圖像處理領(lǐng)域。
背景技術(shù)：
隨著視頻錄制技術(shù)的發(fā)展，視頻媒體的管理成為一項(xiàng)十分復(fù)雜的任務(wù)。為了保證 視頻資源便于檢索和使用，人們通常會將各種視頻格式導(dǎo)入到便于計算機(jī)管理的大容量存 儲介質(zhì)中，如硬盤或磁帶庫，然后對視頻進(jìn)行編目，將視頻標(biāo)記分為若干個鏡頭，并對每一 個鏡頭進(jìn)行文字描述。關(guān)鍵幀是用于描述一個鏡頭主要內(nèi)容的一幀或若干幀圖像，通過對 視頻鏡頭提取關(guān)鍵幀可以大大減少視頻索引的數(shù)據(jù)量，同時也為視頻檢索和瀏覽提供了一 個組織框架。關(guān)鍵幀的提取對于視頻分析、視頻索引和檢索的建立等具有相當(dāng)重要的作用。 提取關(guān)鍵幀的方法目前一般采用保守的原則，寧可提取錯誤的關(guān)鍵幀也不能遺漏關(guān)鍵幀。 實(shí)際操作中，為準(zhǔn)確找出關(guān)鍵幀，需要編目人員反復(fù)查看視頻，劃分鏡頭和視頻描述的工作 往往會耗費(fèi)大量的人力和時間。 典型的關(guān)鍵幀提取方法有基于鏡頭邊界的提取方法、基于內(nèi)容分析的提取方法、 基于運(yùn)動分析的提取方法、基于聚類的提取方法等。這些方法從不同的角度優(yōu)化和改進(jìn)視 頻的關(guān)鍵幀提取算法，然而，在媒體資源管理系統(tǒng)中，為完整的描述每一個鏡頭的內(nèi)容，需 要編目人員完整觀看一遍鏡頭的內(nèi)容，否則容易漏掉鏡頭中的內(nèi)容，這就給編目工作人員 帶來不便，使工作耗時長，工作的效率低下。 從檢索和編目的角度考慮，如果在從視頻中檢索鏡頭時，能用關(guān)鍵幀代表鏡頭，作 用類似于文本檢索中的關(guān)鍵詞，或者將大量的鏡頭劃分和代表幀提取的工作都交給計算機(jī) 自動完成，只需人工對劃分完成的結(jié)果進(jìn)行少量糾正和總結(jié)，從而獲得快速的編目手段。這 些都是目前關(guān)鍵幀提取方法中需要解決的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種適用于視頻關(guān)鍵幀提取的代表
幀定位方法。本發(fā)明在分析視頻關(guān)鍵幀特點(diǎn)的基礎(chǔ)上，通過幀差判定、閾值比較等方法，結(jié)
合編目系統(tǒng)中對關(guān)鍵幀的應(yīng)用要求，實(shí)現(xiàn)一種適用于視頻關(guān)鍵幀提取的代表幀定位方法。 —種適用于視頻關(guān)鍵幀提取的代表幀定位方法，包含以下步驟 1)定位幀提取模塊對獲取到的視頻流數(shù)據(jù)，繪制幀差曲線，計算出平均幀差，根
據(jù)幀差與閾值的比較進(jìn)行定位幀的判定。 2)代表幀判定模塊通過一次分析視頻和或兩次分析視頻的方法進(jìn)行代表幀的 判定。 3)代表幀生成模塊通過判斷當(dāng)前幀差是否超過了指定的代表幀閾值，是則生成 代表幀。
4)保存接口模塊把定位幀信息和代表幀信息送至外接口模塊，保存成利于存儲、壓縮的文件和數(shù)據(jù)庫格式。
所述步驟1)提取定位幀的具體步驟 1. 1)計算顏色差兩種顏色的差異值，可以是某一顏色分量的差異值，也可以是 幾種或所有顏色分量的矢量。 1. 2)計算幀差兩幀中對應(yīng)的所有像素或以某種方式分布的部分像素的顏色差 的平均值。 1. 3)計算幀差曲線使用時間或者幀序號作為X坐標(biāo)，對應(yīng)幀與前一相鄰幀的幀 差作為Y坐標(biāo)，形成二維坐標(biāo)曲線。 1. 4)判定定位幀當(dāng)幀差較大并且超過高閾值得第一個幀為定位幀；若幀差介于 高低閾值之間，則根據(jù)幀差與平均幀差的比值確定是否是定位幀。
所述步驟2)判定代表幀的具體方法若當(dāng)前幀不是定位幀，則可進(jìn)一步判定是否 是代表幀，具體方法有一次分析視頻和或二次分析視頻兩種。 一次分析視頻主要為了提高 效率，單精度低；二次分析視頻方法采用提前預(yù)測的谷值的方法提取關(guān)鍵幀，精度高。
—次分析視頻方法 從鏡頭開始的定位幀計算出一個參考幀差，對于后續(xù)的每一幀，判斷該幀的幀差
與參考幀差之比是否低于下降閾值，可分成兩種情況 2. 1)低于下降閾值生成預(yù)測代表幀，確定當(dāng)前為降勢。 2. 2)不低于下降閾值進(jìn)一步判斷幀差是否在變大，來確定曲線的變化趨勢。根 據(jù)當(dāng)前幀差是否比前一幀差大可分成兩種情況 2.2. 1)當(dāng)前幀差比前一幀差大如果當(dāng)前已是升勢，則生成新的峰值，如果當(dāng)前
是降勢，則判斷當(dāng)前幀差與最近的關(guān)鍵幀的幀差之比是否大于指定閾值。
2. 2. 2)當(dāng)前幀差不比前一幀差大根據(jù)當(dāng)前幀的輔助特征作進(jìn)一步判斷。
二次分析視頻方法 在一次分析視頻完成后，根據(jù)各谷值幀差與距其最近的峰值的幀差之比是否低于
指定的下降閾值，可分為以下兩種情況 2. 1)低于閾值此時可判斷為代表幀； 2. 2)不低于閾值此時谷值不作為代表幀。
生成代表幀的方法 判斷當(dāng)前幀差是否超過了指定的代表幀閾值，如果已超出則不生成代表幀；如果 沒超出，則進(jìn)一步判斷當(dāng)前幀與最近的關(guān)鍵幀相差的幀數(shù)是否大于指定的閾值，可分為
3. 1)大于指定閾值不生成代表幀； 3. 2)不大于指定閾值判斷當(dāng)前鏡頭內(nèi)是否已有代表幀，可分為 3. 2. 1)已有代表幀，則使用輔助方法判斷當(dāng)前幀與前一代表幀相似，如果相似度
高，則不生成新代表幀；否則可以確定生成新代表幀。 3. 2. 2)如果當(dāng)前鏡頭內(nèi)沒有代表幀，則直接生成代表幀。 最后，生成代表幀時還需要檢查是否有預(yù)測的代表幀存在，如果有就刪除。保存代 表幀時，需要保存幀的位置和用于媒資檢索的縮略圖數(shù)據(jù)。
本發(fā)明的優(yōu)點(diǎn) 本發(fā)明從視頻流中提取出定位幀和代表幀信息，根據(jù)定位幀自動將視頻劃分為鏡頭，編目人員根據(jù)代表幀快速描述鏡頭內(nèi)容，為視頻的快速編目提供基礎(chǔ)，代表幀還可用于 對視頻內(nèi)容進(jìn)行檢索。 同時，本發(fā)明將大量的鏡頭劃分和代表幀提取的工作都交給計算機(jī)自動完成，只 需人工對劃分完成的結(jié)果進(jìn)行少量糾正和總結(jié)，提供了一種快速的編目手段。減少了編目 工作時間，提高了編目工作效率。


圖1為本發(fā)明的方法的總體流程圖 圖2為本發(fā)明的定位幀提取模塊流程圖 圖3為本發(fā)明的代表幀判斷模塊流程圖 圖4為本發(fā)明的代表幀生成模塊流程圖 圖5為本發(fā)明的關(guān)鍵幀在媒資系統(tǒng)中的應(yīng)用方案流程圖
具體實(shí)施例方式
本發(fā)明提出的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，下面結(jié)合附圖對實(shí)
施例詳細(xì)說明。如圖l所示，代表幀提取模塊包括代表幀判定模塊，代表幀生成模塊。本發(fā)
明主要特性體現(xiàn)在定位幀提取模塊和代表幀提取模塊。視頻流首先進(jìn)入定位幀提取模塊，
提取到定位幀后繼續(xù)進(jìn)入到代表幀提取模塊，進(jìn)行代表幀的提取。提取的定位幀和代表幀
信息均保存到接口模塊中，應(yīng)用于媒體資源的后續(xù)操作，與此同時，編目者根據(jù)定位幀自動
將視頻劃分為鏡頭，更具代表幀快速描述鏡頭內(nèi)容，為視頻的快速編目提供基礎(chǔ)。 定位幀提取模塊如圖2所示，首先對數(shù)據(jù)流信息進(jìn)行幀差的計算并加以保存，計
算出平均幀差并繪制幀差曲線圖。接下來進(jìn)行比較判斷，首先判斷是否影片初始是則提取 出第一幀作為定位幀，否則繼續(xù)判斷幀差是否超出高閾值是則提取第一個超過閾值的幀
差所對應(yīng)的左邊第一幀為定位幀，否則繼續(xù)判斷幀差是否超出低閾值，同時與平均幀差之 比要大于變化閾值是則提取滿足條件的第一個幀差所對應(yīng)的左邊第一幀為定位幀，否則 將進(jìn)入代表幀判斷模塊。
在定位幀提取模塊中幀差曲線的繪制步驟具體如下 1)計算顏色差從視頻流中選取兩種顏色，并計算這兩種顏色的差異值。
2)計算幀差以幀序號為依據(jù)，對應(yīng)幀與前一相鄰幀所對應(yīng)的所有像素顏色差的
平均值，即給對應(yīng)幀的幀差值。 3)計算幀差曲線使用時間或者幀序號作為X坐標(biāo)，對應(yīng)幀與前一相鄰幀的幀差 作為Y坐標(biāo)，形成二維坐標(biāo)曲線。 當(dāng)鏡頭中存在人臉或者在特定區(qū)域內(nèi)有規(guī)則的字符存在時，鏡頭的運(yùn)動矢量小， 相應(yīng)的權(quán)值高，即閾值大。
如圖3所示代表幀判定模塊的具體實(shí)現(xiàn)方法在定位幀提取模塊中如果當(dāng)前幀不 是定位幀，則可進(jìn)一步判定是否是代表幀，具體方法有一次分析視頻和或二次分析視頻兩 種。 一次分析視頻主要為了提高效率，但精度低；二次分析視頻方法采用提前預(yù)測的谷值的 方法提取關(guān)鍵幀，精度高。
—次分析視頻方法
6
從鏡頭開始的定位幀計算出一個參考幀差，對于后續(xù)的每一幀，判斷該幀的幀差 與參考幀差之比是否低于下降閾值，若低于下降閾值，生成預(yù)測代表幀，確定當(dāng)前為降勢； 若不低于下降閾值，進(jìn)一步判斷當(dāng)前幀差是否在變大，來確定曲線的變化趨勢。
判斷幀差曲線中當(dāng)前幀差是否比前一幀差大可分成兩種情況 當(dāng)前幀差比前一幀差大如果當(dāng)前已是升勢，則生成新的峰值，如果當(dāng)前是降勢， 則判斷當(dāng)前幀差與最近的關(guān)鍵幀的幀差之比是否大于指定閾值；當(dāng)前幀差不比前一幀差 大則認(rèn)為當(dāng)前幀處理完畢，不作為代表幀處理。
二次分析視頻方法 在一次分析視頻完成后，判斷各谷值幀差與距其最近的峰值的幀差之比是否低于 指定的下降閾值，若低于閾值，此時可判斷為代表幀；若不低于閾值此時谷值不作為代表 幀。 圖4代表幀生成模塊首先獲取幀數(shù)據(jù)，判斷當(dāng)前幀差是否超過了指定的代表幀 閾值，如果已超出則不生成代表幀；如果沒超出，則進(jìn)一步判斷當(dāng)前幀與最近的關(guān)鍵幀相差 的幀數(shù)是否大于指定的閾值，若大于指定閾值則不生成代表幀；若不大于指定閾值判斷 當(dāng)前鏡頭內(nèi)是否已有代表幀當(dāng)已有代表幀時，則使用直方圖差值分析方法判斷當(dāng)前幀與 前一代表幀相似，如果相似度高，則不生成新代表幀，否則可以確定生成新代表幀。當(dāng)前鏡 頭內(nèi)沒有代表幀，則可直接生成代表幀。 圖5說明了本發(fā)明在媒資系統(tǒng)中的一個應(yīng)用方案編目者在使用時，首先把視頻 流一次輸入到定位幀提取模塊、代表幀判定模塊和代表幀生成模塊，編目者利用提取出的 定位幀和代表幀將視頻劃分成鏡頭，在描述每個鏡頭時，可以在未觀看視頻的情況下從代 表幀了解到鏡頭的基本內(nèi)容，大大加快了編目的速度。 當(dāng)編目使用中需要某類型的鏡頭時，首先使用文字搜索技術(shù)對鏡頭或關(guān)鍵的描述 進(jìn)行搜索，查找到可能有用的鏡頭，再分別查看每個鏡頭的代表幀，即可較為準(zhǔn)確的判斷鏡 頭的可用性。如果確定某段視頻可用時，再利用定位幀確定鏡頭的起始點(diǎn)和結(jié)束點(diǎn)，準(zhǔn)確下 載視頻片段使用。
權(quán)利要求
一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于，包括1)定位幀提取模塊對獲取到的視頻流數(shù)據(jù)，繪制幀差曲線，計算出平均幀差，根據(jù)幀差與閾值的比較進(jìn)行定位幀的判定和提取；2)代表幀判定模塊通過一次分析視頻和或二次分析視頻的方法進(jìn)行代表幀的判定；3)代表幀生成模塊通過判斷當(dāng)前幀差是否超過了指定的代表幀閾值，是則生成代表幀；4)保存接口模塊把定位幀信息和代表幀信息送至外接口模塊，保存成利于存儲、壓縮的文件和數(shù)據(jù)庫格式。
2. 如權(quán)利要求1所述的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于， 所述步驟1)中繪制幀差曲線，對定位幀判定和提取，具體包括以下步驟a. 計算顏色差從視頻流中選取兩種顏色，并計算這兩種顏色的差異值；b. 計算幀差以幀序號為依據(jù)，對應(yīng)幀與前一相鄰幀所對應(yīng)的所有像素顏色差的平均 值，即給對應(yīng)幀的幀差值；C.計算幀差曲線使用時間或者幀序號作為X坐標(biāo)，對應(yīng)幀與前一相鄰幀的幀差作為Y 坐標(biāo)，形成二維坐標(biāo)曲線；d.判定定位幀當(dāng)幀差較大并且超過高閾值得第一個幀為定位幀；若幀差介于高低閾 值之間，則根據(jù)幀差與平均幀差的比值確定是否是定位幀。
3. 如權(quán)利要求1所述的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于， 所述步驟2)中判定代表幀的具體方法為若當(dāng)前幀不是定位幀，則可進(jìn)一步判定是否是代 表幀，具體方法為一次分析視頻方法和或二次分析視頻的方法，一次分析視頻方法從鏡頭開始的定位幀計算出一個參考幀差，對于后續(xù)的每一幀，判斷該幀的幀差與參 考幀差之比是否低于下降閾值，可分成兩種情況1) 低于下降閾值生成預(yù)測代表幀，確定當(dāng)前為降勢；2) 不低于下降閾值進(jìn)一步判斷幀差是否在變大，來確定曲線的變化趨勢； 二次分析視頻方法在一次分析視頻完成后，判定各谷值幀差與距其最近的峰值的幀差之比是否低于指定 的下降閾值，低于閾值，可判斷為代表幀；不低于閾值，此時谷值不作為代表幀。
4. 如權(quán)利要求3所述的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于， 根據(jù)幀差曲線中當(dāng)前幀差是否比前一幀差大，幀差曲線的變化趨勢判定分成兩種情況當(dāng)前幀差比前一幀差大如果當(dāng)前已是升勢，則生成新的峰值，如果當(dāng)前是降勢，則判 斷當(dāng)前幀差與最近的關(guān)鍵幀的幀差之比是否大于指定閾值；當(dāng)前幀差不比前一幀差大則認(rèn)為當(dāng)前幀處理完畢，不作為代表幀處理。
5. 如權(quán)利要求1所述的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于， 所述步驟3)中通過幀差與代表幀閾值得比較以及當(dāng)前幀與最近的關(guān)鍵幀相差的幀數(shù)是否 大于指定的閾值，來決定是否生成代表幀，具體步驟如下a. 判斷當(dāng)前幀差是否超過了指定的代表幀閾值，如果已超出則不生成代表幀；b. 如果沒超出，則進(jìn)一步判斷當(dāng)前幀與最近的關(guān)鍵幀相差的幀數(shù)是否大于指定的閾 值若大于指定閾值，不生成代表幀；若不大于指定閾值，則進(jìn)一步判斷當(dāng)前鏡頭內(nèi)是否已有代表幀。
6.如權(quán)利要求5所述的一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，其特征在于，判定當(dāng)前鏡頭內(nèi)是否有代表幀的步驟已有代表幀，則使用直方圖差值分析方法判斷當(dāng)前幀與前一代表幀相似，如果相似度高，則不生成新代表幀；否則可以確定生成新代表幀；如果當(dāng)前鏡頭內(nèi)沒有代表幀，則可直接生成代表幀。
全文摘要
本發(fā)明涉及一種適用于視頻關(guān)鍵幀提取的代表幀定位方法，包括步驟1.定位幀提取模塊對獲取到的視頻流數(shù)據(jù)，繪制幀差曲線，計算出平均幀差，根據(jù)幀差與閾值的比較進(jìn)行定位幀的判定和提??；步驟2.代表幀判定模塊通過一次分析視頻和兩次分析視頻的方法進(jìn)行代表幀的判定；步驟3.代表幀生成模塊通過判斷當(dāng)前幀差是否超過了指定的代表幀閾值，是則生成代表幀；步驟4.保存接口模塊把定位幀信息和代表幀信息送至外接口模塊，保存成利于存儲、壓縮的文件和數(shù)據(jù)庫格式。本發(fā)明從視頻流中提取出定位幀和代表幀信息，根據(jù)定位幀自動將視頻劃分為鏡頭，編目人員根據(jù)代表幀快速描述鏡頭內(nèi)容，為視頻的快速編目提供基礎(chǔ)，提高了編目工作效率。
文檔編號H04N5/915GK101720006SQ20091023846
公開日2010年6月2日 申請日期2009年11月20日 優(yōu)先權(quán)日2009年11月20日
發(fā)明者張立軍, 王新舸, 羅志強(qiáng), 邱忠升, 郭昶昊 申請人:張立軍