視頻概要生成方法及服務(wù)器、客戶端的制作方法
【專利摘要】本發(fā)明提出視頻概要生成方法及服務(wù)器、客戶端。方法包括：視頻概要服務(wù)器對視頻源文件解碼，對得到的原始視頻幀采樣，從每一采樣幀提取圖像統(tǒng)計特征，對每相鄰兩采樣幀，計算各統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端；視頻客戶端根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，根據(jù)視頻變化曲線確定該視頻源的基本層級結(jié)構(gòu)，根據(jù)用戶輸入的視頻概要層級要求，將視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該概要層級結(jié)構(gòu)對視頻源進(jìn)行段落劃分，將段落信息作為視頻源的視頻概要提供給用戶。本發(fā)明降低了視頻客戶端的處理負(fù)擔(dān)。
【專利說明】視頻概要生成方法及服務(wù)器、客戶端

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體【技術(shù)領(lǐng)域】，尤其涉及視頻概要生成方法及視頻概要服務(wù)器、視頻客戶端。

【背景技術(shù)】
[0002]隨著多媒體技術(shù)的發(fā)展和視頻采集設(shè)備的普及，視頻文件越來越廣泛地出現(xiàn)在人們的生活和工作中，如何從浩若煙海的視頻資料里尋找到自己所感興趣的部分也就成為了許多視頻用戶的迫切需求，而僅僅通過閱讀視頻的文字和圖片海報已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足用戶充分了解視頻組成結(jié)構(gòu)和主要內(nèi)容的要求，因此視頻概要這一全新的視頻描述方式也就應(yīng)運而生了，通過瀏覽視頻概要，用戶可以了解視頻的段落結(jié)構(gòu)和觀看各段落中的精彩幀。
[0003]現(xiàn)有的視頻概要生成方法主要包含兩個部分:
[0004]I)特征提取:首先對視頻進(jìn)行采樣，如5或者10幀取一幀，計算該采樣幀的特征值，如灰度、色差、紋理等。
[0005]2)事件檢測:根據(jù)所獲取的特征值，檢測當(dāng)前采樣幀是否為具有代表性的關(guān)鍵幀，進(jìn)而使用這些關(guān)鍵幀構(gòu)建視頻的組織結(jié)構(gòu)，進(jìn)而生成視頻概要。
[0006]目前的這種生成方式存在以下缺點:
[0007]I)多特征的提取算法需要對每一采樣幀進(jìn)行大量的運算，導(dǎo)致整體處理速度過慢，尤其隨著高清和全高清視頻的大量涌現(xiàn)，提取速度緩慢的問題進(jìn)一步加劇，已經(jīng)嚴(yán)重影響了用戶的使用體驗。
[0008]2)目前的視頻概要生成方法只能提供統(tǒng)一的瀏覽方式，無法根據(jù)用戶的要求加以定制、以滿足不同用戶在不同時間段的差異化觀看需求，從而影響用戶的瀏覽體驗。
[0009]3)目前的視頻概要為用戶所能提供的服務(wù)功能單一，缺乏互動，使用戶缺乏參與感，不利于用戶忠誠度的培養(yǎng)。


【發(fā)明內(nèi)容】

[0010]本發(fā)明提供視頻概要生成方法及視頻概要服務(wù)器、視頻客戶端，以減輕視頻概要生成過程中客戶端的運算壓力，提高服務(wù)速度。
[0011]本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0012]一種視頻概要生成方法，該方法包括:
[0013]視頻客戶端接收視頻概要服務(wù)器發(fā)來的針對一視頻源的加權(quán)統(tǒng)計特征幀間距離集，根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)；其中，所述視頻源的加權(quán)統(tǒng)計特征幀間距離集為:視頻概要服務(wù)器導(dǎo)入該視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，對該原始視頻幀進(jìn)行采樣，從每一采樣幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端的；
[0014]視頻客戶端根據(jù)用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶。
[0015]所述視頻客戶端根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分進(jìn)一步包括:
[0016]視頻客戶端根據(jù)所述視頻變化曲線，采用自適應(yīng)變步長采樣方法對所述視頻源進(jìn)行采樣，將得到的采樣幀作為概要關(guān)鍵幀，將概要關(guān)鍵幀信息放入所述視頻源的視頻概要中，其中，視頻變化曲線的梯度越小，采樣步長越大，視頻變化曲線的梯度越大，采樣步長越小。
[0017]所述視頻客戶端將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶之后進(jìn)一步包括:
[0018]視頻客戶端接收用戶輸入的對該視頻概要的評價信息，將該評價信息發(fā)送給視頻概要服務(wù)器，以便:視頻概要服務(wù)器根據(jù)已記錄的所有用戶對各視頻源的視頻概要的評價信息，對所有用戶進(jìn)行聚類，并根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型；
[0019]且，當(dāng)視頻概要服務(wù)器接收到視頻客戶端發(fā)來的任一用戶對任一視頻源的視頻概要的評價信息時，記錄該評價信息，并采用已建立的每類用戶的用戶行為類型模型，對該用戶的所有的評價信息進(jìn)行計算，得到該用戶的類別，根據(jù)該用戶的類別，從所述視頻源中抽取段落、和/或段落+子段落、和/或概要關(guān)鍵幀，將該段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息發(fā)送給視頻客戶端。
[0020]所述視頻客戶端將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)為:
[0021]視頻客戶端根據(jù)所述視頻源的基本層級結(jié)構(gòu)，以及視頻概要服務(wù)器發(fā)來的該視頻源的段落信息、和/或段落+子段落信息，以及用戶輸入的視頻概要層級要求，得到該視頻源的最終層級結(jié)構(gòu)。
[0022]所述視頻概要服務(wù)器從每一采樣幀中提取各圖像統(tǒng)計特征之后、對于每相鄰兩采樣幀分別計算每個統(tǒng)計特征的幀間距離之前進(jìn)一步包括:
[0023]視頻概要服務(wù)器根據(jù)視頻的種類，從提取的各圖像統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征；
[0024]所述對于每相鄰兩采樣幀分別計算每個統(tǒng)計特征的幀間距離為:對于選取的最能夠反映當(dāng)前視頻特性的各統(tǒng)計特征，計算該統(tǒng)計特征的幀間距離。
[0025]所述將概要關(guān)鍵幀信息放入所述視頻源的視頻概要中之后進(jìn)一步包括:
[0026]視頻客戶端根據(jù)視頻概要中的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，直接從視頻概要服務(wù)器下載對應(yīng)的段落、和/或段落+子段落、和/或概要關(guān)鍵幀。
[0027]所述視頻客戶端將得到的采樣幀作為概要關(guān)鍵幀之后進(jìn)一步包括:
[0028]視頻客戶端根據(jù)概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，將該概要關(guān)鍵短視頻信息寫入視頻概要中。
[0029]一種視頻概要服務(wù)器，包括:
[0030]解碼模塊:導(dǎo)入任一視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，將原始視頻幀輸出到采樣模塊；
[0031]采樣模塊:對所述原始視頻幀進(jìn)行采樣，將各采樣幀輸出到統(tǒng)計特征幀間距離計算模塊；
[0032]統(tǒng)計特征幀間距離計算模塊:從每一采樣幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻特征描述模塊；
[0033]視頻特征描述模塊:將視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端，以便:視頻客戶端根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，并根據(jù)用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶。
[0034]所述服務(wù)器進(jìn)一步包括:用戶聚類模塊和用戶分類及推薦幀確定模塊，其中:
[0035]用戶聚類模塊:接收并記錄各視頻客戶端發(fā)來的各用戶對各視頻源的視頻概要的評價信息，根據(jù)已記錄的所有評價信息，對所有用戶進(jìn)行聚類，并根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型；
[0036]用戶分類及推薦幀確定模塊:接收到視頻客戶端發(fā)來的任一用戶對任一視頻源的視頻概要的評價信息，記錄該評價信息，并采用用戶聚類模塊建立的每類用戶的用戶行為類型模型，對該用戶的所有的評價信息進(jìn)行計算，得到該用戶的類別，根據(jù)用戶的類別，從解碼模塊輸出的原始視頻幀中抽取段落、和/或段落+子段落、和/或概要關(guān)鍵幀，將該段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息發(fā)送給視頻特征描述模塊；
[0037]且，所述視頻特征描述模塊進(jìn)一步用于，將所述段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，連同該視頻源的加權(quán)統(tǒng)計特征幀間距離集一起發(fā)送給視頻客戶端。
[0038]所述統(tǒng)計特征幀間距離計算模塊進(jìn)一步用于，當(dāng)從每一采樣幀中提取各圖像統(tǒng)計特征之后、根據(jù)視頻的種類，從提取的各圖像統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征，且，對于選取的最能夠反映當(dāng)前視頻特性的各統(tǒng)計特征，計算該統(tǒng)計特征的幀間距離。
[0039]一種視頻客戶端，包括:
[0040]視頻特征描述解析模塊:接收視頻概要服務(wù)器發(fā)來的針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給基本層級結(jié)構(gòu)確定模塊；
[0041]基本層級結(jié)構(gòu)確定模塊:根據(jù)所述針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，將該視頻源的基本層級結(jié)構(gòu)信息發(fā)送給最終層級結(jié)構(gòu)確定模塊；
[0042]用戶層級要求輸入模塊:接收并記錄用戶輸入的視頻概要層級要求；
[0043]最終層級結(jié)構(gòu)確定模塊:接收基本層級結(jié)構(gòu)確定模塊發(fā)來的一視頻源的基本層級結(jié)構(gòu)信息，從用戶層級要求輸入模塊讀取用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊；
[0044]視頻概要生成模塊:根據(jù)最終層級結(jié)構(gòu)確定模塊發(fā)來的一視頻源的段落信息，或者段落+子段落信息，生成該視頻源的視頻概要。
[0045]所述視頻客戶端進(jìn)一步包括:關(guān)鍵幀確定模塊，用于根據(jù)基本層級結(jié)構(gòu)確定模塊得到的所述視頻變化曲線，采用自適應(yīng)變步長采樣方法對所述視頻源進(jìn)行采樣，將得到的采樣幀作為概要關(guān)鍵幀，將概要關(guān)鍵幀信息發(fā)送給視頻概要生成模塊，其中，視頻變化曲線的梯度越小，采樣步長越大，視頻變化曲線的梯度越大，采樣步長越小，
[0046]且，所述基本層級結(jié)構(gòu)確定模塊進(jìn)一步用于，將得到的視頻源的視頻變化曲線信息發(fā)送給關(guān)鍵幀確定模塊；
[0047]且，所述視頻概要生成模塊進(jìn)一步用于，將關(guān)鍵幀確定模塊發(fā)來的視頻源的概要關(guān)鍵幀信息放入該視頻源的視頻概要中。
[0048]所述視頻客戶端進(jìn)一步包括:用戶評價反饋模塊，用于接收用戶輸入的對一視頻源的視頻概要的評價信息，將該評價信息發(fā)送給視頻概要服務(wù)器，以便:視頻概要服務(wù)器根據(jù)已記錄的所有用戶對各視頻源的視頻概要的評價信息，對所有用戶進(jìn)行聚類。
[0049]所述視頻特征描述解析模塊進(jìn)一步用于，接收視頻概要服務(wù)器發(fā)來的針對任一視頻源的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，將該視頻源的段落信息、和/或段落+子段落信息發(fā)送給最終層級結(jié)構(gòu)確定模塊；
[0050]所述最終層級結(jié)構(gòu)確定模塊進(jìn)一步用于，當(dāng)根據(jù)調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分后，進(jìn)一步結(jié)合視頻特征描述解析模塊發(fā)來的該視頻源的段落信息、和/或段落+子段落信息，得到該視頻源的最終段落信息，或者段落+子段落信息，將該視頻源的最終段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊。
[0051]所述視頻客戶端進(jìn)一步包括:視頻下載及解碼模塊，用于讀取視頻概要生成模塊生成的針對一視頻源的視頻概要，根據(jù)該視頻概要中的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，直接從視頻概要服務(wù)器下載對應(yīng)的段落、和/或段落+子段落、和/或概要關(guān)鍵幀。
[0052]所述視頻客戶端進(jìn)一步包括:關(guān)鍵短視頻確定模塊，用于接收關(guān)鍵幀確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵楨信息，根據(jù)概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，將該概要關(guān)鍵短視頻信息發(fā)送給視頻概要生成模塊；
[0053]且，所述關(guān)鍵幀確定模塊進(jìn)一步用于，將概要關(guān)鍵幀信息發(fā)送給關(guān)鍵短視頻確定模塊；
[0054]所述視頻概要生成模塊進(jìn)一步用于，將關(guān)鍵短視頻確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵短視頻信息放入該視頻源的視頻概要中。
[0055]可見，本發(fā)明通過視頻概要服務(wù)器進(jìn)行視頻特征提取，并將提取的特征信息發(fā)送給各視頻客戶端，然后由視頻客戶端根據(jù)該特征劃分視頻文件的段落，從而降低了視頻客戶端的處理負(fù)擔(dān)，提高了用戶體驗；且，視頻客戶端在劃分視頻文件的段落時，要考慮用戶輸入的概要層級要求，滿足了不同用戶的差異化需求，進(jìn)一步提高了用戶體驗。

【專利附圖】

【附圖說明】
[0056]圖1為本發(fā)明提供的視頻概要生成方法的流程圖；
[0057]圖2為本發(fā)明實施例提供的視頻概要服務(wù)器提取視頻特征的方法流程圖；
[0058]圖3為本發(fā)明實施例提供的視頻特征描述文件的結(jié)構(gòu)示意圖；
[0059]圖4為本發(fā)明實施例提供的視頻客戶端生成視頻概要的方法流程圖；
[0060]圖5為本發(fā)明實施例提供的視頻概要文件的結(jié)構(gòu)示意圖；
[0061]圖6為本發(fā)明實施例提供的用戶瀏覽視頻概要文件并進(jìn)行評價的方法流程圖；
[0062]圖7為本發(fā)明實施例提供的視頻客戶端提供的視頻概要瀏覽界面示意圖；
[0063]圖8為本發(fā)明實施例提供的用戶反饋的視頻概要評價文件的結(jié)構(gòu)示意圖；
[0064]圖9為本發(fā)明實施例提供的視頻概要服務(wù)器的組成示意圖；
[0065]圖10為本發(fā)明實施例提供的視頻客戶端的組成示意圖。

【具體實施方式】
[0066]下面結(jié)合附圖及具體實施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。
[0067]圖1為本發(fā)明提供的視頻概要生成方法的流程圖，如圖1所示，其具體步驟如下:
[0068]步驟101:視頻概要服務(wù)器導(dǎo)入任一視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，對該原始視頻幀進(jìn)行采樣，從每一采樣幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給各視頻客戶端。
[0069]步驟102:任一視頻客戶端接收視頻概要服務(wù)器發(fā)來的針對一視頻源的加權(quán)統(tǒng)計特征幀間距離集，根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)。
[0070]步驟103:該視頻客戶端根據(jù)用戶輸入的視頻概要層級要求，將步驟102得到的視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的層級結(jié)構(gòu)，根據(jù)該調(diào)整后的層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為視頻源的視頻概要提供給用戶。
[0071]圖2為本發(fā)明實施例提供的視頻概要服務(wù)器提取視頻特征的方法流程圖，如圖2所示，其具體步驟如下:
[0072]步驟201:對于每個視頻源文件，視頻概要服務(wù)器導(dǎo)入該視頻源文件，解析視頻源文件的格式，從視頻源中抽取視頻流，并對該視頻流進(jìn)行解碼，得到非壓縮原始視頻幀。
[0073]步驟202:視頻概要服務(wù)器按照一定的采樣步長對原始視頻幀進(jìn)行采樣，得到各采樣幀。
[0074]采樣步長如:5幀或者10幀。
[0075]步驟203:對于每個采樣幀，視頻概要服務(wù)器從該采樣幀中提取圖像的各統(tǒng)計特征值。
[0076]統(tǒng)計特征如:如亮度、色差、紋理等特征之一或任意組合。
[0077]步驟204:對于每個統(tǒng)計特征，視頻概要服務(wù)器計算該統(tǒng)計特征的幀間距離。
[0078]統(tǒng)計特征的幀間距離即，相鄰兩采樣幀間該統(tǒng)計特征的距離。統(tǒng)計特征的幀間距離可采用現(xiàn)有算法計算得到。
[0079]統(tǒng)計特征的幀間距離作為后續(xù)評判采樣幀間差異性的依據(jù)。
[0080]步驟205:視頻概要服務(wù)器根據(jù)視頻的種類，從各統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征；根據(jù)預(yù)先設(shè)置的該類視頻的每類統(tǒng)計特征的幀間距離對應(yīng)的權(quán)重，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集。
[0081]這里，可以預(yù)先設(shè)定每類視頻對應(yīng)的最能夠反映該類視頻特性的統(tǒng)計特征。例如:對于A類視頻，最能夠反映其特性的統(tǒng)計特征為亮度、色差，對于B類視頻，最能夠反映其特性的統(tǒng)計特征為色差、紋理。
[0082]對于任意兩個相鄰采樣幀:幀m、幀m+1，設(shè)該兩采樣幀間的統(tǒng)計特征有兩個:統(tǒng)計特征1、2，統(tǒng)計特征I的幀間距離的權(quán)重為a，統(tǒng)計特征2的幀間距離的權(quán)重為Ι-a，則幀m、幀m+1的加權(quán)統(tǒng)計特征幀間距離為:統(tǒng)計特征I的幀間距離*a+統(tǒng)計特征2的幀間距離*(l_a)。
[0083]步驟206:視頻概要服務(wù)器接收并記錄各視頻客戶端發(fā)來的用戶反饋報告，每個報告中包含用戶對一個視頻源的視頻概要評價。
[0084]步驟207:視頻概要服務(wù)器根據(jù)各用戶對各視頻源的視頻概要評價，對所有用戶進(jìn)行聚類，根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型。
[0085]這里，可以使用k_緊鄰或支持向量機方法對用戶進(jìn)行聚類。
[0086]步驟208:視頻概要服務(wù)器接收并記錄任一用戶后續(xù)發(fā)來的針對各視頻源的視頻概要評價，當(dāng)發(fā)現(xiàn)一用戶的視頻概要評價數(shù)達(dá)到預(yù)設(shè)第二閾值時，采用步驟207建立的各類用戶的用戶行為類型模型，對該用戶的所有視頻概要評價進(jìn)行計算，得到該用戶的類別。
[0087]這里，可以使用多分類器集成學(xué)習(xí)方法來提高對用戶類型劃分的準(zhǔn)確性。
[0088]本步驟中，若采用步驟207建立的所有用戶行為類型模型都無法對一用戶進(jìn)行分類，則記錄該用戶的視頻概要評價，當(dāng)記錄的視頻概要評價數(shù)目超過預(yù)設(shè)第一閾值時，根據(jù)已記錄的所有視頻概要評價重新對用戶進(jìn)行聚類，根據(jù)聚類結(jié)果建立各新類別用戶的用戶行為類型模型。
[0089]步驟209:視頻概要服務(wù)器根據(jù)該用戶的類別對應(yīng)的用戶行為類型模型，從步驟201得到的原始視頻幀中抽取段落/子段落和概要關(guān)鍵幀，確定為用戶推薦該段落/子段落和概要關(guān)鍵幀。
[0090]每類用戶的用戶行為類型模型中定義了該類用戶習(xí)慣瀏覽的段落/子段落信息和概要關(guān)鍵幀信息。
[0091]步驟210:視頻概要服務(wù)器根據(jù)步驟205得到的加權(quán)統(tǒng)計特征幀間距離集以及步驟209得到的段落/子段落和概要關(guān)鍵幀，生成針對該用戶的該視頻源的視頻特征描述文件，將該視頻特征描述文件發(fā)送給該用戶對應(yīng)的視頻客戶端。
[0092]需要說明的是，步驟206?207與步驟201?205在執(zhí)行時，并無先后之分。只要視頻概要服務(wù)器發(fā)現(xiàn)滿足用戶聚類條件如:用戶反饋報告數(shù)達(dá)到預(yù)設(shè)第三閾值，就可以執(zhí)行步驟206?207 ;只要視頻概要服務(wù)器導(dǎo)入了一個視頻源文件，就可執(zhí)行步驟201?205。且，當(dāng)用戶行為類型模型建立后，視頻概要服務(wù)器導(dǎo)入一個視頻源文件后，不僅要執(zhí)行步驟201?205，還要執(zhí)行步驟208?210。
[0093]另外，若視頻概要服務(wù)器還未對用戶進(jìn)行聚類，或者雖已聚類，但步驟208中根據(jù)已建立的所有用戶行為類型模型都無法對一用戶進(jìn)行分類，則對于該用戶，視頻概要服務(wù)器不需執(zhí)行步驟209，且步驟210中，視頻概要服務(wù)器只將步驟205得到的加權(quán)統(tǒng)計特征幀間距離集放入針對該用戶的該視頻源的視頻特征描述文件中。
[0094]圖3為本發(fā)明實施例提供的視頻特征描述文件的結(jié)構(gòu)示意圖，如圖3所示，視頻特征描述文件主要由視頻基本信息、視頻統(tǒng)計特征幀間距離描述和推薦幀描述三部分組成。其中:
[0095]視頻基本/[目息:記錄視頻流的基本標(biāo)記彳目息，如視頻名稱、種類、唯一標(biāo)不符等。
[0096]視頻統(tǒng)計特征幀間距離描述:記錄視頻總幀數(shù)、采樣步長、加權(quán)統(tǒng)計特征幀間距離集。其中，還可以統(tǒng)計特征為組織單位，記錄每一個統(tǒng)計特征的各幀間距離、該統(tǒng)計特征的權(quán)重等。
[0097]推薦幀描述:記錄所有推薦幀的信息，包括:推薦幀的幀號、起始偏移量、時間戳和視頻編碼類型等，以便視頻客戶端從視頻源文件中抽取出推薦幀。
[0098]其中，推薦幀可以是段落、子段落、概要關(guān)鍵幀之一或任意組合。
[0099]圖4為本發(fā)明實施例提供的視頻客戶端生成視頻概要的方法流程圖，如圖4所示，其具體步驟如下:
[0100]步驟401:視頻客戶端接收視頻概要服務(wù)器發(fā)來的針對一視頻源的視頻特征描述文件，從該文件中解析出加權(quán)統(tǒng)計特征幀間距離集及推薦段落/子段落和概要關(guān)鍵幀，以供生成視頻概要所用。
[0101]視頻概要服務(wù)器可以對視頻特征描述文件進(jìn)行加密。
[0102]步驟402:視頻客戶端根據(jù)加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)。
[0103]例如:若極值點有η個，則可根據(jù)各極值點在視頻源中的位置，將視頻源劃分為η+1個段落。
[0104]步驟403:視頻客戶端接收用戶輸入的視頻概要層級要求，結(jié)合步驟402得到的該視頻源的基本層級結(jié)構(gòu)，將該視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶的視頻概要層級要求的概要層級結(jié)構(gòu)。
[0105]例如:若用戶輸入的視頻概要層級要求包括:每個段落都包含3個子段落，則視頻客戶端可再將步驟402中的η+1個段落中的每個段落再劃分為3個子段落。
[0106]步驟404:視頻客戶端根據(jù)步驟403最后確定的該視頻源的概要層級結(jié)構(gòu)，為該視頻源劃分段落/子段落，并記錄各段落/子段落的首尾幀的位置、解碼信息以及段落/子段落的持續(xù)時長。
[0107]步驟405:視頻客戶端根據(jù)該視頻源的視頻變化曲線，使用自適應(yīng)變步長采樣方法，對該視頻源進(jìn)行采樣，得到各段落/子段落的概要關(guān)鍵幀，并記錄各概要關(guān)鍵幀的位置及解碼/[目息。
[0108]這里，視頻變化曲線的梯度越小，采樣步長越大；反之，則采樣步長越小?？深A(yù)先定義不同的梯度范圍對應(yīng)的采樣步長。梯度與采樣步長的對應(yīng)關(guān)系可預(yù)先設(shè)定。
[0109]步驟406:視頻客戶端根據(jù)步驟401解析出的推薦段落/子段落和概要關(guān)鍵幀，以及步驟404得到的段落/子段落、步驟405得到的概要關(guān)鍵幀，確定最終的段落/子段落和概要關(guān)鍵幀。
[0110]本步驟中，具體如何將視頻概要服務(wù)器推薦的(即步驟401解析出的)段落/子段落和概要關(guān)鍵幀與視頻客戶端自己生成的(即步驟404、405得到的)段落/子段落和概要關(guān)鍵幀進(jìn)行融合，來得到最終的段落/子段落和概要關(guān)鍵幀，其具體融合規(guī)則可預(yù)先設(shè)定。
[0111]在實際應(yīng)用中，視頻客戶端還可以根據(jù)相鄰概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，并在步驟407中將該概要關(guān)鍵短視頻信息也寫入視頻分級概要標(biāo)記文件中。
[0112]步驟407:視頻客戶端將最終得到的段落/子段落和概要關(guān)鍵幀信息以及視頻源信息寫入視頻概要文件中，以供用戶隨時瀏覽使用。
[0113]圖5為本發(fā)明實施例提供的視頻概要文件的結(jié)構(gòu)示意圖，如圖5所示，視頻概要文件主要由視頻基本信息和視頻段落集兩部分組成，其中:
[0114]視頻基本/[目息:記錄視頻源的基本標(biāo)記彳目息，如視頻名稱、種類、唯一標(biāo)不符等。
[0115]視頻段落集:記錄各段落/子段落以及概要關(guān)鍵幀的信息，包括:起始幀的起始位置、結(jié)束幀的起始位置、幀數(shù)據(jù)長度、時間戳、段落概要關(guān)鍵幀集和子段落集等，其中，子段落集使用迭代存儲的方式，可以支持任意的層級結(jié)構(gòu)。
[0116]圖6為本發(fā)明實施例提供的用戶瀏覽視頻概要文件并進(jìn)行評價的方法流程圖，如圖6所示，其具體步驟如下:
[0117]步驟601:視頻客戶端解析步驟407得到的視頻概要文件，從該文件中抽取一視頻源的視頻基本信息和視頻段落集信息。
[0118]步驟602:視頻客戶端解析來自視頻概要服務(wù)器的該視頻源文件，從該文件中抽取視頻流，對視頻流進(jìn)行解碼。
[0119]若視頻源文件尚未從視頻概要服務(wù)器下載完成，視頻客戶端可以根據(jù)該視頻源的視頻段落/子段落和概要關(guān)鍵幀信息，直接從服務(wù)器下載對應(yīng)的段落/子段落和概要關(guān)鍵幀，而無需下載整個視頻源文件。
[0120]步驟603:視頻客戶端根據(jù)該視頻源的視頻段落集信息，從解碼后的視頻流中抽取各段落/子段落的首尾幀，同時抽取各概要關(guān)鍵幀，將各段落/子段落的首尾幀和各概要關(guān)鍵幀顯示給用戶。
[0121]視頻客戶端可以按照如圖7所示的視頻概要瀏覽界面顯示各段落/子段落的首尾幀和各概要關(guān)鍵幀。
[0122]步驟604:視頻客戶端接收用戶輸入的針對該視頻源的視頻概要評價，將該評價發(fā)送給視頻概要服務(wù)器。
[0123]視頻概要評價中包含視頻源信息和評價內(nèi)容。
[0124]這里，預(yù)先設(shè)置一個標(biāo)準(zhǔn)的視頻概要評價界面，步驟603中，在將各段落/子段落的首尾幀和各概要關(guān)鍵幀顯示給用戶后，可向用戶顯示該視頻概要評價界面，由用戶對視頻概要的各項指標(biāo)進(jìn)行投票和/或評價。
[0125]圖8為本發(fā)明實施例提供的用戶反饋的視頻概要評價文件的結(jié)構(gòu)示意圖，如圖8所示，視頻概要評價文件主要由視頻基本信息、用戶信息和用戶點評幀集三部分組成，其中:
[0126]視頻基本/[目息:記錄視頻流的基本標(biāo)記彳目息，如視頻名稱、種類、唯一標(biāo)不符等。
[0127]用戶信息:記錄用戶的ID、類型、驗證信息、評定等級等信息。
[0128]評定等級為視頻概要服務(wù)器為用戶劃定的評定等級，例如:視頻概要服務(wù)器可以根據(jù)用戶之前反饋的視頻概要評價的數(shù)量、準(zhǔn)確度等，為用戶劃定等級，并將該等級信息發(fā)送給視頻客戶端。
[0129]用戶點評幀集:記錄用戶點評過的每一幀的數(shù)據(jù)，包括每一個點評幀的幀號、起始位置、時間戳和用戶評價等。
[0130]用戶評價可以記錄用戶對視頻概要服務(wù)器發(fā)來的視頻特征描述文件的投票記錄，例如:投票記錄可分為:好、一般、差等。
[0131]圖9為本發(fā)明實施例提供的視頻概要服務(wù)器的組成示意圖，如圖9所示，其主要包括:解碼模塊91、采樣模塊92、統(tǒng)計特征幀間距離計算模塊93和視頻特征描述模塊94，其中:
[0132]解碼模塊91:導(dǎo)入任一視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，將原始視頻幀輸出到采樣模塊92。
[0133]采樣模塊92:對來自解碼模塊91的原始視頻幀進(jìn)行采樣，將各采樣幀輸出到統(tǒng)計特征幀間距離計算模塊93。
[0134]統(tǒng)計特征幀間距離計算模塊93:對來自采樣模塊92的每一采樣幀，從該幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻特征描述模塊94。
[0135]視頻特征描述模塊94:將統(tǒng)計特征幀間距離計算模塊93發(fā)來的針對一視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端，以便:視頻客戶端根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，并根據(jù)用戶輸入的視頻概要層級要求，將視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為該視頻源的視頻概要提供給用戶。
[0136]在實際應(yīng)用中，視頻概要服務(wù)器還可進(jìn)一步包括:用戶聚類模塊和用戶分類及推薦幀確定模塊，其中:
[0137]用戶聚類模塊:接收并記錄各視頻客戶端發(fā)來的各用戶對各視頻源的視頻概要的評價信息，根據(jù)已記錄的所有評價信息，對所有用戶進(jìn)行聚類，并根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型；
[0138]用戶分類及推薦幀確定模塊:接收到任一視頻客戶端發(fā)來的任一用戶對任一視頻源的視頻概要的評價信息，記錄該評價信息，當(dāng)記錄的該用戶的評價信息達(dá)到預(yù)設(shè)第二閾值時，采用用戶聚類模塊建立的每類用戶的用戶行為類型模型，對該用戶的所有的評價信息進(jìn)行計算，得到該用戶的類別，根據(jù)用戶的類別，從解碼模塊91輸出的原始視頻幀中抽取段落、和/或段落+子段落、和/或概要關(guān)鍵幀，將該段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息發(fā)送給視頻特征描述模塊94 ；
[0139]且，視頻特征描述模塊94進(jìn)一步用于，將用戶分類及推薦幀確定模塊發(fā)來的針對一視頻源的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，連同該視頻源的加權(quán)統(tǒng)計特征巾貞間距離集一起發(fā)送給視頻客戶端。
[0140]在實際應(yīng)用中，統(tǒng)計特征幀間距離計算模塊93進(jìn)一步用于，當(dāng)從每一采樣幀中提取各圖像統(tǒng)計特征之后、根據(jù)視頻的種類，從提取的各圖像統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征，且，對于選取的最能夠反映當(dāng)前視頻特性的各統(tǒng)計特征，計算該統(tǒng)計特征的幀間距離。
[0141]圖10為本發(fā)明實施例提供的視頻客戶端的組成示意圖，如圖10所示，其主要包括:視頻特征描述解析模塊101、基本層級結(jié)構(gòu)確定模塊102、用戶層級要求輸入模塊103、最終層級結(jié)構(gòu)確定模塊104和視頻概要生成模塊105，其中:
[0142]視頻特征描述解析模塊101:接收視頻概要服務(wù)器發(fā)來的針對任一視頻源的視頻特征描述文件，從該文件中解析出該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給基本層級結(jié)構(gòu)確定模塊102。
[0143]基本層級結(jié)構(gòu)確定模塊102:接收視頻特征描述解析模塊101發(fā)來的針對一視頻源的加權(quán)統(tǒng)計特征幀間距離集，根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，將該視頻源的基本層級結(jié)構(gòu)信息發(fā)送給最終層級結(jié)構(gòu)確定模塊104。
[0144]用戶層級要求輸入模塊103:接收并記錄用戶輸入的視頻概要層級要求。
[0145]最終層級結(jié)構(gòu)確定模塊104:接收基本層級結(jié)構(gòu)確定模塊102發(fā)來的一視頻源的基本層級結(jié)構(gòu)信息，從用戶層級要求輸入模塊103讀取用戶輸入的視頻概要層級要求，將該視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊105。
[0146]視頻概要生成模塊105:根據(jù)最終層級結(jié)構(gòu)確定模塊104發(fā)來的一視頻源的段落信息，或者段落+子段落信息，生成該視頻源的視頻概要，將該視頻概要提供給用戶。
[0147]在實際應(yīng)用中，視頻客戶端還可進(jìn)一步包括:關(guān)鍵幀確定模塊，用于根據(jù)基本層級結(jié)構(gòu)確定模塊102得到的一視頻源的視頻變化曲線，采用自適應(yīng)變步長采樣方法對該視頻源進(jìn)行采樣，將得到的采樣幀作為概要關(guān)鍵幀，將概要關(guān)鍵幀信息發(fā)送給視頻概要生成模塊105，其中，視頻變化曲線的梯度越小，采樣步長越大，視頻變化曲線的梯度越大，采樣步長越?。?br> [0148]且，基本層級結(jié)構(gòu)確定模塊102進(jìn)一步用于，將得到的視頻源的視頻變化曲線信息發(fā)送給關(guān)鍵幀確定模塊；
[0149]且，視頻概要生成模塊105進(jìn)一步用于，將關(guān)鍵幀確定模塊發(fā)來的視頻源的概要關(guān)鍵幀信息放入該視頻源的視頻概要中。
[0150]在實際應(yīng)用中，視頻客戶端還可進(jìn)一步包括:關(guān)鍵短視頻確定|旲塊，用于接收關(guān)鍵幀確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵楨信息，根據(jù)概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，將該概要關(guān)鍵短視頻信息發(fā)送給視頻概要生成模塊105 ；
[0151]且，關(guān)鍵幀確定模塊進(jìn)一步用于，將概要關(guān)鍵幀信息發(fā)送給關(guān)鍵短視頻確定模塊；
[0152]且，視頻概要生成模塊105進(jìn)一步用于，將關(guān)鍵短視頻確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵短視頻信息放入該視頻源的視頻概要中。
[0153]在實際應(yīng)用中，視頻客戶端還可進(jìn)一步包括:用戶評價反饋模塊，用于接收用戶輸入的對一視頻源的視頻概要的評價信息，將該評價信息發(fā)送給視頻概要服務(wù)器，以便:視頻概要服務(wù)器根據(jù)已記錄的所有用戶對各視頻源的視頻概要的評價信息，對所有用戶進(jìn)行聚類。
[0154]在實際應(yīng)用中，視頻特征描述解析模塊101進(jìn)一步用于，從視頻特征描述文件中解析出視頻概要服務(wù)器針對一視頻源的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，將該視頻源的段落信息、和/或段落+子段落信息發(fā)送給最終層級結(jié)構(gòu)確定模塊104 ；
[0155]且，最終層級結(jié)構(gòu)確定模塊104進(jìn)一步用于，當(dāng)根據(jù)調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分后，進(jìn)一步結(jié)合視頻特征描述解析模塊101發(fā)來的該視頻源的段落信息、和/或段落+子段落信息，得到該視頻源的最終段落信息，或者段落+子段落信息，將該視頻源的最終段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊 105。
[0156]在實際應(yīng)用中，視頻客戶端還可進(jìn)一步包括:視頻下載及解碼模塊，用于讀取視頻概要生成模塊105生成的針對一視頻源的視頻概要，根據(jù)該視頻概要中的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，直接從視頻概要服務(wù)器下載對應(yīng)的段落、和/或段落+子段落、和/或概要關(guān)鍵幀。
[0157]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【權(quán)利要求】
1.一種視頻概要生成方法，其特征在于，該方法包括: 視頻客戶端接收視頻概要服務(wù)器發(fā)來的針對一視頻源的加權(quán)統(tǒng)計特征幀間距離集，根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)；其中，所述視頻源的加權(quán)統(tǒng)計特征幀間距離集為:視頻概要服務(wù)器導(dǎo)入該視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，對該原始視頻幀進(jìn)行采樣，從每一采樣幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端的； 視頻客戶端根據(jù)用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視頻客戶端根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分進(jìn)一步包括: 視頻客戶端根據(jù)所述視頻變化曲線，采用自適應(yīng)變步長采樣方法對所述視頻源進(jìn)行采樣，將得到的采樣幀作為概要關(guān)鍵幀，將概要關(guān)鍵幀信息放入所述視頻源的視頻概要中，其中，視頻變化曲線的梯度越小，采樣步長越大，視頻變化曲線的梯度越大，采樣步長越小。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視頻客戶端將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶之后進(jìn)一步包括: 視頻客戶端接收用戶輸入的對該視頻概要的評價信息，將該評價信息發(fā)送給視頻概要服務(wù)器，以便:視頻概要服務(wù)器根據(jù)已記錄的所有用戶對各視頻源的視頻概要的評價信息，對所有用戶進(jìn)行聚類，并根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型； 且，當(dāng)視頻概要服務(wù)器接收到視頻客戶端發(fā)來的任一用戶對任一視頻源的視頻概要的評價信息時，記錄該評價信息，并采用已建立的每類用戶的用戶行為類型模型，對該用戶的所有的評價信息進(jìn)行計算，得到該用戶的類別，根據(jù)該用戶的類別，從所述視頻源中抽取段落、和/或段落+子段落、和/或概要關(guān)鍵幀，將該段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息發(fā)送給視頻客戶端。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述視頻客戶端將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)為: 視頻客戶端根據(jù)所述視頻源的基本層級結(jié)構(gòu)，以及視頻概要服務(wù)器發(fā)來的該視頻源的段落信息、和/或段落+子段落信息，以及用戶輸入的視頻概要層級要求，得到該視頻源的最終層級結(jié)構(gòu)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視頻概要服務(wù)器從每一采樣幀中提取各圖像統(tǒng)計特征之后、對于每相鄰兩采樣幀分別計算每個統(tǒng)計特征的幀間距離之前進(jìn)一步包括: 視頻概要服務(wù)器根據(jù)視頻的種類，從提取的各圖像統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征； 所述對于每相鄰兩采樣幀分別計算每個統(tǒng)計特征的幀間距離為:對于選取的最能夠反映當(dāng)前視頻特性的各統(tǒng)計特征，計算該統(tǒng)計特征的幀間距離。
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將概要關(guān)鍵幀信息放入所述視頻源的視頻概要中之后進(jìn)一步包括: 視頻客戶端根據(jù)視頻概要中的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，直接從視頻概要服務(wù)器下載對應(yīng)的段落、和/或段落+子段落、和/或概要關(guān)鍵幀。
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述視頻客戶端將得到的采樣幀作為概要關(guān)鍵巾貞之后進(jìn)一步包括: 視頻客戶端根據(jù)概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，將該概要關(guān)鍵短視頻信息寫入視頻概要中。
8.一種視頻概要服務(wù)器，其特征在于，包括: 解碼模塊:導(dǎo)入任一視頻源文件，對該文件進(jìn)行解碼，得到原始視頻幀，將原始視頻幀輸出到采樣模塊； 采樣模塊:對所述原始視頻幀進(jìn)行采樣，將各采樣幀輸出到統(tǒng)計特征幀間距離計算模塊； 統(tǒng)計特征幀間距離計算模塊:從每一采樣幀中提取各圖像統(tǒng)計特征，對于每相鄰兩采樣幀，分別計算每個統(tǒng)計特征的幀間距離，計算該兩采樣幀的各統(tǒng)計特征的幀間距離的加權(quán)值，得到該視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻特征描述模塊； 視頻特征描述模塊:將視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給視頻客戶端，以便:視頻客戶端根據(jù)該加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，并根據(jù)用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息作為所述視頻源的視頻概要提供給用戶。
9.根據(jù)權(quán)利要求8所述的服務(wù)器，其特征在于，所述服務(wù)器進(jìn)一步包括:用戶聚類模塊和用戶分類及推薦幀確定模塊，其中: 用戶聚類模塊:接收并記錄各視頻客戶端發(fā)來的各用戶對各視頻源的視頻概要的評價信息，根據(jù)已記錄的所有評價信息，對所有用戶進(jìn)行聚類，并根據(jù)聚類結(jié)果建立每類用戶的用戶行為類型模型； 用戶分類及推薦幀確定模塊:接收到視頻客戶端發(fā)來的任一用戶對任一視頻源的視頻概要的評價信息，記錄該評價信息，并采用用戶聚類模塊建立的每類用戶的用戶行為類型模型，對該用戶的所有的評價信息進(jìn)行計算，得到該用戶的類別，根據(jù)用戶的類別，從解碼模塊輸出的原始視頻幀中抽取段落、和/或段落+子段落、和/或概要關(guān)鍵幀，將該段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息發(fā)送給視頻特征描述模塊； 且，所述視頻特征描述模塊進(jìn)一步用于，將所述段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，連同該視頻源的加權(quán)統(tǒng)計特征幀間距離集一起發(fā)送給視頻客戶端。
10.根據(jù)權(quán)利要求8所述的服務(wù)器，其特征在于，所述統(tǒng)計特征幀間距離計算模塊進(jìn)一步用于，當(dāng)從每一采樣幀中提取各圖像統(tǒng)計特征之后、根據(jù)視頻的種類，從提取的各圖像統(tǒng)計特征中選取最能夠反映當(dāng)前視頻特性的特征，且，對于選取的最能夠反映當(dāng)前視頻特性的各統(tǒng)計特征，計算該統(tǒng)計特征的幀間距離。
11.一種視頻客戶端，其特征在于，包括: 視頻特征描述解析模塊:接收視頻概要服務(wù)器發(fā)來的針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集，將該針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集發(fā)送給基本層級結(jié)構(gòu)確定模塊； 基本層級結(jié)構(gòu)確定模塊:根據(jù)所述針對任一視頻源的加權(quán)統(tǒng)計特征幀間距離集，得到該視頻源的視頻變化曲線，從視頻變化曲線上獲取各極值點，根據(jù)各極值點在視頻源中的位置，確定該視頻源的基本層級結(jié)構(gòu)，將該視頻源的基本層級結(jié)構(gòu)信息發(fā)送給最終層級結(jié)構(gòu)確定模塊； 用戶層級要求輸入模塊:接收并記錄用戶輸入的視頻概要層級要求； 最終層級結(jié)構(gòu)確定模塊:接收基本層級結(jié)構(gòu)確定模塊發(fā)來的一視頻源的基本層級結(jié)構(gòu)信息，從用戶層級要求輸入模塊讀取用戶輸入的視頻概要層級要求，將所述視頻源的基本層級結(jié)構(gòu)調(diào)整為符合用戶要求的概要層級結(jié)構(gòu)，根據(jù)該調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分，將得到的段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊； 視頻概要生成模塊:根據(jù)最終層級結(jié)構(gòu)確定模塊發(fā)來的一視頻源的段落信息，或者段落+子段落信息，生成該視頻源的視頻概要。
12.根據(jù)權(quán)利要求11所述的視頻客戶端，其特征在于，所述視頻客戶端進(jìn)一步包括--關(guān)鍵幀確定模塊，用于根據(jù)基本層級結(jié)構(gòu)確定模塊得到的所述視頻變化曲線，采用自適應(yīng)變步長采樣方法對所述視頻源進(jìn)行采樣，將得到的采樣幀作為概要關(guān)鍵幀，將概要關(guān)鍵幀信息發(fā)送給視頻概要生成模塊，其中，視頻變化曲線的梯度越小，采樣步長越大，視頻變化曲線的梯度越大，采樣步長越小， 且，所述基本層級結(jié)構(gòu)確定模塊進(jìn)一步用于，將得到的視頻源的視頻變化曲線信息發(fā)送給關(guān)鍵幀確定模塊； 且，所述視頻概要生成模塊進(jìn)一步用于，將關(guān)鍵幀確定模塊發(fā)來的視頻源的概要關(guān)鍵幀信息放入該視頻源的視頻概要中。
13.根據(jù)權(quán)利要求11所述的視頻客戶端，其特征在于，所述視頻客戶端進(jìn)一步包括:用戶評價反饋模塊，用于接收用戶輸入的對一視頻源的視頻概要的評價信息，將該評價信息發(fā)送給視頻概要服務(wù)器，以便:視頻概要服務(wù)器根據(jù)已記錄的所有用戶對各視頻源的視頻概要的評價信息，對所有用戶進(jìn)行聚類。
14.根據(jù)權(quán)利要求11所述的視頻客戶端，其特征在于，所述視頻特征描述解析模塊進(jìn)一步用于，接收視頻概要服務(wù)器發(fā)來的針對任一視頻源的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，將該視頻源的段落信息、和/或段落+子段落信息發(fā)送給最終層級結(jié)構(gòu)確定模塊； 所述最終層級結(jié)構(gòu)確定模塊進(jìn)一步用于，當(dāng)根據(jù)調(diào)整后的概要層級結(jié)構(gòu)對所述視頻源進(jìn)行段落，或者段落+子段落劃分后，進(jìn)一步結(jié)合視頻特征描述解析模塊發(fā)來的該視頻源的段落信息、和/或段落+子段落信息，得到該視頻源的最終段落信息，或者段落+子段落信息，將該視頻源的最終段落信息，或者段落+子段落信息發(fā)送給視頻概要生成模塊。
15.根據(jù)權(quán)利要求11所述的視頻客戶端，其特征在于，所述視頻客戶端進(jìn)一步包括:視頻下載及解碼模塊，用于讀取視頻概要生成模塊生成的針對一視頻源的視頻概要，根據(jù)該視頻概要中的段落信息、和/或段落+子段落信息、和/或概要關(guān)鍵幀信息，直接從視頻概要服務(wù)器下載對應(yīng)的段落、和/或段落+子段落、和/或概要關(guān)鍵幀。
16.根據(jù)權(quán)利要求11所述的視頻客戶端，其特征在于，所述視頻客戶端進(jìn)一步包括--關(guān)鍵短視頻確定模塊，用于接收關(guān)鍵幀確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵楨信息，根據(jù)概要關(guān)鍵幀間的距離，將距離小于預(yù)設(shè)第三閾值的相鄰幀合并，生成概要關(guān)鍵短視頻，將該概要關(guān)鍵短視頻信息發(fā)送給視頻概要生成模塊； 且，所述關(guān)鍵幀確定模塊進(jìn)一步用于，將概要關(guān)鍵幀信息發(fā)送給關(guān)鍵短視頻確定模塊； 所述視頻概要生成模塊進(jìn)一步用于，將關(guān)鍵短視頻確定模塊發(fā)來的針對一視頻源的概要關(guān)鍵短視頻信息放入該視頻源的視頻概要中。
【文檔編號】H04L29/08GK104185089SQ201310197139
【公開日】2014年12月3日 申請日期:2013年5月23日 優(yōu)先權(quán)日:2013年5月23日
【發(fā)明者】吳昊, 郝剛, 尤偉, 方會 申請人:三星電子（中國）研發(fā)中心, 三星電子株式會社