專(zhuān)利名稱(chēng)：從視頻中提取關(guān)鍵幀的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻的處理和分析，尤其涉及從視頻中提取關(guān)鍵幀的方法和設(shè)備。
背景技術(shù)：
日常生活中，我們閱讀的較長(zhǎng)的文章往往都提供簡(jiǎn)略的摘要，書(shū)籍一般都提供目錄。隨著信息技術(shù)的不斷發(fā)展，視頻也成為了現(xiàn)代生活中不可或缺的一種媒體。因此，為視頻內(nèi)容制作摘要，以方便用戶(hù)瀏覽和查找就成為了一個(gè)重要工作。對(duì)于部分視頻內(nèi)容(例如，電影)，可以采用人工的方式制作視頻摘要。但是對(duì)于許多視頻內(nèi)容(例如，網(wǎng)絡(luò)分享視頻)而言，人工方式由于需要耗費(fèi)大量的工時(shí)和資金而變得不現(xiàn)實(shí)。對(duì)于這些應(yīng)用，計(jì)算機(jī)自動(dòng)視頻摘要生成技術(shù)十分重要。視頻中視覺(jué)相關(guān)部分是由一系列在時(shí)間上順序排列的幀構(gòu)成的。提取這些幀中最具代表性的關(guān)鍵幀作為視頻摘要是一種直觀而有效的方式?，F(xiàn)有技術(shù)一般都從視頻的各個(gè)鏡頭或者子鏡頭中提取出候選的關(guān)鍵幀。如何從候選幀中選取出整個(gè)視頻的關(guān)鍵幀，使得用戶(hù)瀏覽盡量少的關(guān)鍵幀便可以有效理解視頻的大概內(nèi)容，是自動(dòng)視頻摘要的一種重要技術(shù)。

發(fā)明內(nèi)容
在下文中給出關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念， 以此作為稍后論述的更詳細(xì)描述的前序。本發(fā)明的一個(gè)主要目的在于提供一種從視頻中提取關(guān)鍵幀的方法。根據(jù)本發(fā)明的一個(gè)方面，一種從視頻中提取關(guān)鍵幀的方法包括將視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次；從視頻的一個(gè)非最高層次的各個(gè)視頻段提取非最高層次的候選幀；針對(duì)從非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀；以及輸出最高層次的候選幀作為視頻的關(guān)鍵幀。根據(jù)本發(fā)明的另一方面，一種包括從視頻中提取關(guān)鍵幀的設(shè)備，包括劃分單元， 被配置為將視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次；提取單元，被配置為從視頻的一個(gè)非最高層次的各個(gè)視頻段提取非最高層次的候選幀；選擇單元，被配置為針對(duì)從上述非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀；以及輸出單元，被配置為輸出最高層次的候選幀作為視頻的關(guān)鍵幀。
另外，本發(fā)明的實(shí)施例還提供了用于實(shí)現(xiàn)上述從視頻中提取關(guān)鍵幀的方法的計(jì)算機(jī)程序。此外，本發(fā)明的實(shí)施例還提供了至少計(jì)算機(jī)可讀介質(zhì)形式的計(jì)算機(jī)程序產(chǎn)品，其上記錄有用于實(shí)現(xiàn)上述從視頻中提取關(guān)鍵幀的方法的計(jì)算機(jī)程序代碼。本發(fā)明能夠很好地平衡來(lái)自視頻的不同內(nèi)容單元的關(guān)鍵幀在視頻關(guān)鍵幀列表中所占的比例，以使用盡量少的關(guān)鍵幀實(shí)現(xiàn)有效理解的預(yù)覽效果。


參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說(shuō)明，會(huì)更加容易地理解本發(fā)明的以上和其它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類(lèi)似的技術(shù)特征或部件將采用相同或類(lèi)似的附圖標(biāo)記來(lái)表示。圖1是根據(jù)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的方法的流程圖；圖2是圖1中根據(jù)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的方法中的從下一層次的候選幀中選擇本層次的候選幀的方法的流程圖；圖3是實(shí)現(xiàn)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的一種方法的示意圖；圖4是根據(jù)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的設(shè)備的框圖；以及圖5是可以用于實(shí)施本發(fā)明的從視頻中提取關(guān)鍵幀的方法和設(shè)備的計(jì)算設(shè)備的舉例的結(jié)構(gòu)圖。
具體實(shí)施例方式下面參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說(shuō)明中省略了與本發(fā)明無(wú)關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。下面首先參照?qǐng)D1來(lái)描述根據(jù)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的方法。如圖1所示，在步驟S102中，將視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，所述多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次。例如，可以將視頻劃分為兩個(gè)層次的視頻段，這兩個(gè)層次的視頻段中較低層次的視頻段是鏡頭(shot)或子鏡頭 (sub-shot)，較高層次的視頻段是視頻章節(jié)(chapter)或場(chǎng)景(scene)。在一個(gè)示例中，也可以將視頻劃分為多于兩個(gè)層次的視頻段。例如，可以按照具體需要而將視頻劃分為三個(gè)層次或四個(gè)層次的視頻段。例如，在三個(gè)層次的情況下，第一層次的視頻段可以是子鏡頭， 第二層次的視頻段可以是鏡頭，第三層次的視頻段可以是場(chǎng)景。關(guān)于劃分子鏡頭、鏡頭或場(chǎng)景等是本領(lǐng)域技術(shù)人員可以實(shí)現(xiàn)的，這里不再詳細(xì)描述。在另一個(gè)示例中，可以按照等長(zhǎng)時(shí)間來(lái)劃分第一層次的視頻段。在一個(gè)示例中，最高層次的視頻段可以只有一個(gè)，也就是整個(gè)視頻。每個(gè)候選幀可以代表視頻中的一定數(shù)目的視頻幀。同一層次的所有候選幀所代表的視頻幀數(shù)的總和小于等于視頻的總幀數(shù)。每個(gè)層次的視頻段中可以具有0個(gè)、1個(gè)或多個(gè)該層次的候選幀。例如一個(gè)場(chǎng)景中可以具有0個(gè)、一個(gè)或多個(gè)場(chǎng)景候選幀。在一個(gè)示例中，每個(gè)最低層次的視頻段具有一個(gè)最低層次的候選幀。在一個(gè)示例中，每個(gè)非最低層次的視頻段具有一個(gè)或多個(gè)該非最低層次的候選幀。例如，一個(gè)場(chǎng)景可以具有兩個(gè)場(chǎng)景層次的候選幀。這兩個(gè)場(chǎng)景層次的候選幀分別代表該場(chǎng)景中的一部分幀。這兩個(gè)場(chǎng)景層次的候選幀所代表的幀的總和小于等于該場(chǎng)景的幀的總和。在步驟S104中，從視頻的一個(gè)非最高層次的各個(gè)視頻段提取非最高層次的候選幀。在該步驟中的非最高層次可以是最低層次，也可以不是最低層次。例如，可以選取該非最高層次的視頻段的中間幀、開(kāi)始幀、結(jié)束幀或者隨機(jī)選擇的一個(gè)幀作為該非最高層次的候選幀。在步驟S106中，針對(duì)從步驟S104所述的非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀。由于在步驟S104中，提取了一個(gè)非最高層次的候選幀，在步驟S106中，可以從這些已經(jīng)提取的候選幀中選擇上一層次的候選幀。然后逐層次對(duì)候選幀進(jìn)行進(jìn)一步選擇， 直到獲得最高層次的候選幀。可以采用各種方法來(lái)從下一層次的候選幀中選擇本層次的候選幀。例如，該本層次的視頻段中所包含的本層次的候選幀的數(shù)目可以與本層次的視頻段所包含的下一層次的視頻段的個(gè)數(shù)的數(shù)目基本成正比。具體的，假設(shè)本層次的視頻段是場(chǎng)景，下一層次的視頻段是鏡頭，視頻中共有100個(gè)鏡頭，并且預(yù)定本層次的候選幀為10個(gè)， 則對(duì)與一個(gè)包含10個(gè)鏡頭的場(chǎng)景，要從該場(chǎng)景中選擇1個(gè)該層次的候選幀?？梢詫⒃搱?chǎng)景所包含的下一層次的候選幀(即鏡頭層次的候選幀)中的第一個(gè)、最后一個(gè)、中間一個(gè)或者隨機(jī)選擇的一個(gè)作為該層次的候選幀(即場(chǎng)景層次的候選幀)。在一個(gè)示例中，也可以使該本層次的視頻段中所包含的本層次的候選幀的數(shù)目與本層次的視頻段所包含的幀的數(shù)目基本成正比。對(duì)于不同的層次，可以采用不同的從下一層次的候選幀選擇本層次的候選幀的方法。在步驟S108中，輸出最高層次的候選幀作為視頻的關(guān)鍵幀。通過(guò)逐層次地進(jìn)行候選幀的選擇，可以很好地平衡來(lái)自視頻的不同內(nèi)容單元的關(guān)鍵幀在視頻關(guān)鍵幀列表中所占的比例，以實(shí)現(xiàn)更好的預(yù)覽效果。在本實(shí)施例中，可以預(yù)先確定各個(gè)層次的候選幀的數(shù)目，也可以不預(yù)先確定，也可以對(duì)于一個(gè)或多個(gè)層次預(yù)先確定候選幀的數(shù)目，而對(duì)于其他層次不預(yù)先確定。例如，在鏡頭層次，可以不預(yù)先確定該層次的候選幀的數(shù)目，而是根據(jù)規(guī)定每個(gè)鏡頭中選出一個(gè)候選幀， 這樣鏡頭層次的候選幀的數(shù)目與視頻所包含的鏡頭的數(shù)目相同。又例如，可以根據(jù)視頻的長(zhǎng)度和/或用戶(hù)偏好來(lái)預(yù)先確定關(guān)鍵幀的數(shù)目。以下參照?qǐng)D2來(lái)詳細(xì)描述一個(gè)示例中的從下一層次的候選幀選擇本層次的候選幀的方法。該方法可以稱(chēng)為選舉法。圖2中的方法可以應(yīng)用于一個(gè)層次或者多個(gè)層次，也就是說(shuō)，在圖1的步驟S106中，針對(duì)從非最高層次的上一層次到最高層次中的至少一個(gè)第 M層次，M為大于1的整數(shù)，從每個(gè)第M層次的視頻段所包括的第M-I層次的候選幀中選擇出第M層次的候選幀的步驟可以包括步驟S602至步驟S612?？蛇x地，所述至少一個(gè)第M層次可以包括最高層次。具體地，從第M層為上述非最高層次開(kāi)始，在步驟S602中，針對(duì)每個(gè)第M層次的視頻段，對(duì)該視頻段的第M-I層次的候選幀進(jìn)行去除近似重復(fù)的候選幀的處理。例如可以采用聚類(lèi)或者逐幀比較的方法來(lái)發(fā)現(xiàn)近似重復(fù)的幀，這些方法是本領(lǐng)域的技術(shù)人員可以實(shí)現(xiàn)的，這里不再詳細(xì)描述。在一個(gè)示例中，也可以不執(zhí)行步驟S602。換句話(huà)說(shuō)，可以在不進(jìn)行去除近似重復(fù)的候選幀的處理的情況下，執(zhí)行步驟S604。在步驟S604中，針對(duì)每個(gè)第M層次的視頻段，將該視頻段包括的第M_1層次的候選幀按照其所代表的幀數(shù)從大到小排列。在步驟S606中，對(duì)于每個(gè)第M層次的視頻段，推舉該視頻段的M_1層次的候選幀中尚未被選擇作為第M層次的候選幀且排位最靠前的一個(gè)參選。在步驟S608中，根據(jù)每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)來(lái)計(jì)算每個(gè)參選的候選幀的選票數(shù)，其中每個(gè)參選的候選幀的選票數(shù)與該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀所代表的幀數(shù)總數(shù)之和不大于該參選的候選幀所在的第M層次的視頻段的總幀數(shù)。在步驟S610中，選擇選票數(shù)最多的參選的候選幀作為第M層次的視頻段的候選幀。這里，可以稱(chēng)為一輪選舉完成。在下面的步驟S612中可以判斷是否需要進(jìn)行下一輪選舉。在步驟S612中，判斷所選舉出的第M層次的候選幀的數(shù)目是否已達(dá)到預(yù)定數(shù)目。 在所選舉出的第M層次的候選幀的數(shù)目未達(dá)到預(yù)定數(shù)目的情況下(步驟S612中為否)，進(jìn)行到步驟S606。在所選舉出的第M層次的候選幀的數(shù)目達(dá)到預(yù)定數(shù)目的情況下(步驟S612 中為是)，進(jìn)行到步驟S614。在步驟S614中，判斷當(dāng)前的第M層次是否為最高層次，如果是， 則進(jìn)行到圖1中的步驟S108。如果否，則進(jìn)入步驟S616。在步驟S616，將M遞增1。然后返回步驟S602?？蛇x地，在步驟S608中，計(jì)算參選的候選幀的選票數(shù)的步驟可以包括將每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)加權(quán)相加作為該參選的候選幀的選票數(shù)。 例如，參選的候選幀的選票數(shù)可選地由以下公式?jīng)Q定V = R+S其中，V表示參選的候選幀的選票數(shù)，R為此參選的候選幀所代表的幀數(shù)，S表示參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)，S為非負(fù)值。假設(shè)第M層次是場(chǎng)景層次，則S表示參選的候選幀所在的場(chǎng)景中尚未被確定為場(chǎng)景層次的候選幀的其他的候選幀所支援的選票數(shù)。在上述公式中，參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀所代表的幀數(shù)總數(shù)與V之和不大于該參選的候選幀所在的第M層次的視頻段的總幀數(shù)。假設(shè)第M層次是場(chǎng)景層次，則參選的候選幀所在的場(chǎng)景中的已確定的場(chǎng)景層次的候選幀所代表的幀數(shù)總數(shù)與V之和不大于該參選的候選幀所在的場(chǎng)景的總幀數(shù)。在上述公式中，R和S的權(quán)值都取1，但本發(fā)明的實(shí)施例不限于此。在一個(gè)示例中， 在步驟S608的加權(quán)相加中的權(quán)重可以取決于該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀的數(shù)目與已確定的第M層次的候選幀總數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段的總幀數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的候選幀所代表的幀數(shù)總和之間的關(guān)系。在一個(gè)示例中， 在步驟S608的加權(quán)相加中的權(quán)重可以不小于0且不大于1。
在一個(gè)示例中，假設(shè)X為該參選的候選幀所代表的幀數(shù)占該參選的候選幀所在的第M層次的視頻段的總幀數(shù)的比例，Y為該參選的候選幀所代表的幀數(shù)占該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的候選幀所代表的幀數(shù)總和的比例，Z為該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀的數(shù)目占已確定的第M層次的候選幀總數(shù)的比例，則權(quán)重X和Y都可以作為S的權(quán)重；權(quán)重I-Z 可以作為R或者S的權(quán)重，也可以同時(shí)作為R和S的權(quán)重?？蛇x地，參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)的上限值可以隨著該視頻段中尚未被確定為第M層次的候選幀的其他候選幀所代表的幀數(shù)總和單調(diào)遞增。例如，假設(shè)第M層次是場(chǎng)景層次，則參選的候選幀所在的場(chǎng)景中尚未被確定為場(chǎng)景層次的候選幀的其他候選幀所支援的選票數(shù)的上限值可以隨著該場(chǎng)景中尚未被確定為場(chǎng)景層次的候選幀的其他候選幀所代表的幀數(shù)總和單調(diào)遞增。圖3是實(shí)現(xiàn)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的方法的一個(gè)更具體的示例的示意圖。在該示例中，將視頻劃分為兩個(gè)層次的視頻段。較低層次的視頻段是鏡頭，較高層次的視頻段是場(chǎng)景。如圖3所示，可以將視頻劃分為多個(gè)場(chǎng)景，諸如，場(chǎng)景n-1、場(chǎng)景η和場(chǎng)景η+1等，其中η為整數(shù)。進(jìn)一步地，每個(gè)場(chǎng)景可以包括多個(gè)鏡頭。例如，場(chǎng)景η包括鏡
頭i、鏡頭i+1.....鏡頭j，其中i、j均為整數(shù)且j大于或等于i。從每個(gè)鏡頭中選出可以
代表相應(yīng)鏡頭的幀(即，鏡頭層次候選幀)。對(duì)選自每個(gè)場(chǎng)景的所有鏡頭層次代表幀進(jìn)行去除近似重復(fù)的幀的處理，例如可以利用提取特征并進(jìn)行譜聚類(lèi)的方法進(jìn)行處理以去除近似重復(fù)的幀，此時(shí)也可以稱(chēng)為合并處理。接下來(lái)，利用選舉法從合并后的鏡頭層次候選幀中選舉出場(chǎng)景層次候選幀。由于在本示例中，場(chǎng)景是最高的層次，所以將場(chǎng)景層次候選幀作為視頻的關(guān)鍵幀。以下參照?qǐng)D4來(lái)描述根據(jù)本發(fā)明的實(shí)施例的從視頻中提取關(guān)鍵幀的設(shè)備400。如圖4所示，從視頻中提取關(guān)鍵幀的設(shè)備400可以包括劃分單元402、提取單元 404、選擇單元406和輸出單元408。具體地，劃分單元402可以被配置為將視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，所述多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次。例如，劃分單元402可以將視頻劃分為兩個(gè)層次的視頻段，這兩個(gè)層次的視頻段中較低層次的視頻段是鏡頭或子鏡頭，較高層次的視頻段是視頻章節(jié)或場(chǎng)景。但實(shí)際上，劃分單元402可以將視頻劃分為多于兩個(gè)層次的視頻段。例如，劃分單元402可以按照具體需要而將視頻劃分為三個(gè)層次或四個(gè)層次的視頻段。提取單元404可以被配置為從視頻的一個(gè)非最高層次的各個(gè)視頻段提取非最高層次的候選幀。選擇單元406可以被配置為針對(duì)從上述非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀。輸出單元408可以被配置為輸出最高層次的候選幀作為視頻的關(guān)鍵幀。在一個(gè)示例中，選擇單元406可以包括排列模塊4064和選舉模塊4066。具體地，排列模塊4064可以被配置為針對(duì)從上述非最高層次的上一層次到最高層次的至少一個(gè)第M層次，針對(duì)每個(gè)第M層次的視頻段，將該視頻段的第M-I層次的候選幀按照其所代表的幀數(shù)從大到小排列。可選地，上述至少一個(gè)第M層次可以包括最高層次。選舉模塊4066可以被配置為針對(duì)所述至少一個(gè)第M層次，重復(fù)以下操作，直到選舉出預(yù)定數(shù)目的第M層次的候選幀對(duì)于每個(gè)第M層次的視頻段，推舉該視頻段的第M-I層次的候選幀中尚未被選擇作為第M層次的候選幀且排位最靠前的一個(gè)參選；根據(jù)每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M 層次的候選幀的其他候選幀所支援的選票數(shù)來(lái)計(jì)算每個(gè)參選的候選幀的選票數(shù)，其中每個(gè)參選的候選幀的選票數(shù)與該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀所代表的幀數(shù)總數(shù)之和不大于該參選的候選幀所在的第M層次的視頻段的總幀數(shù)；以及選擇選票數(shù)最多的參選的候選幀作為第M層次的視頻段的候選幀?？蛇x地，選舉模塊4066可以將每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)加權(quán)相加作為該參選的候選幀的選票數(shù)。在一個(gè)示例中，在加權(quán)相加中的權(quán)重可以取決于該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀的數(shù)目與已確定的第M層次的候選幀總數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段的總幀數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的候選幀所代表的幀數(shù)總和之間的關(guān)系。此外，可選地，在選舉模塊4066中，參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)的上限值可以隨著該視頻段中尚未被確定為第M層次的候選幀的其他候選幀所代表的幀數(shù)總和單調(diào)遞增。可選地，選擇單元406還可以包括過(guò)濾模塊4062。過(guò)濾模塊4062可以被配置為針對(duì)所述至少一個(gè)第M層次，對(duì)視頻段的第M-I層次的候選幀進(jìn)行去除近似重復(fù)的候選幀的處理，并將去除了近似重復(fù)的候選幀之后的候選幀發(fā)送給排列模塊4064。在一個(gè)示例中，從視頻中提取關(guān)鍵幀的設(shè)備400還可以包括設(shè)置單元(未示出)。 設(shè)置單元可以被配置為根據(jù)視頻的長(zhǎng)度和/或用戶(hù)偏好來(lái)設(shè)置關(guān)鍵幀的數(shù)目。關(guān)于設(shè)備400的各個(gè)部件的操作的更具體的細(xì)節(jié)可以參考結(jié)合圖1 3描述的本發(fā)明的實(shí)施例，這里不再詳細(xì)描述。通過(guò)本發(fā)明的實(shí)施例，可以很好地平衡來(lái)自視頻的不同內(nèi)容單元的關(guān)鍵幀在視頻關(guān)鍵幀列表中所占的比例，以使用盡量少的關(guān)鍵幀實(shí)現(xiàn)有效理解的預(yù)覽效果。在圖5中，中央處理單元(CPU) 501根據(jù)只讀存儲(chǔ)器(ROM) 502中存儲(chǔ)的程序或從存儲(chǔ)部分508加載到隨機(jī)存取存儲(chǔ)器(RAM) 503的程序執(zhí)行各種處理。在RAM 503中，也根據(jù)需要存儲(chǔ)當(dāng)CPU 501執(zhí)行各種處理等等時(shí)所需的數(shù)據(jù)。CPU 50UROM 502和RAM 503經(jīng)由總線(xiàn)504彼此鏈路。輸入/輸出接口 505也鏈路到總線(xiàn)504。下述部件鏈路到輸入/輸出接口 505 輸入部分506(包括鍵盤(pán)、鼠標(biāo)等等)、輸出部分507(包括顯示器，比如陰極射線(xiàn)管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲(chǔ)部分508(包括硬盤(pán)等)、通信部分509(包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分509經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動(dòng)器510也可鏈路到輸入/輸出接口 505?？刹鹦督橘|(zhì)511比如磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等等根據(jù)需要被安裝在驅(qū)動(dòng)器510上，使得從中讀出的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲(chǔ)部分508中。
在通過(guò)軟件實(shí)現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲(chǔ)介質(zhì)比如可拆卸介質(zhì)511安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲(chǔ)介質(zhì)不局限于圖5所示的其中存儲(chǔ)有程序、與設(shè)備相分離地分發(fā)以向用戶(hù)提供程序的可拆卸介質(zhì)511。可拆卸介質(zhì)511的例子包含磁盤(pán)(包含軟盤(pán)(注冊(cè)商標(biāo)))、光盤(pán)(包含光盤(pán)只讀存儲(chǔ)器(⑶-ROM)和數(shù)字通用盤(pán) (DVD))、磁光盤(pán)(包含迷你盤(pán)(MD)(注冊(cè)商標(biāo)))和半導(dǎo)體存儲(chǔ)器?；蛘?，存儲(chǔ)介質(zhì)可以是 ROM 502、存儲(chǔ)部分508中包含的硬盤(pán)等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶(hù)。本發(fā)明還提出一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品。指令代碼由機(jī)器讀取并執(zhí)行時(shí)，可執(zhí)行上述根據(jù)本發(fā)明實(shí)施例的方法。相應(yīng)地，用于承載上述存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品的存儲(chǔ)介質(zhì)也包括在本發(fā)明的公開(kāi)中。存儲(chǔ)介質(zhì)包括但不限于軟盤(pán)、光盤(pán)、磁光盤(pán)、存儲(chǔ)卡、存儲(chǔ)棒等等。本領(lǐng)域的普通技術(shù)人員應(yīng)理解，在此所例舉的是示例性的，本發(fā)明并不局限于此。在本說(shuō)明書(shū)中，“第一”、“第二”以及“第N個(gè)”等表述是為了將所描述的特征在文字上區(qū)分開(kāi)，以清楚地描述本發(fā)明。因此，不應(yīng)將其視為具有任何限定性的含義。作為一個(gè)示例，上述方法的各個(gè)步驟以及上述設(shè)備的各個(gè)組成模塊和/或單元可以實(shí)施為軟件、固件、硬件或其組合，并作為相應(yīng)設(shè)備中的一部分。上述裝置中各個(gè)組成模塊、單元通過(guò)軟件、固件、硬件或其組合的方式進(jìn)行配置時(shí)可使用的具體手段或方式為本領(lǐng)域技術(shù)人員所熟知，在此不再贅述。作為一個(gè)示例，在通過(guò)軟件或固件實(shí)現(xiàn)的情況下，可以從存儲(chǔ)介質(zhì)或網(wǎng)絡(luò)向具有專(zhuān)用硬件結(jié)構(gòu)的計(jì)算機(jī)(例如圖5所示的通用計(jì)算機(jī)500)安裝構(gòu)成該軟件的程序，該計(jì)算機(jī)在安裝有各種程序時(shí)，能夠執(zhí)行各種功能等。在上面對(duì)本發(fā)明具體實(shí)施例的描述中，針對(duì)一種實(shí)施方式描述和/或示出的特征可以以相同或類(lèi)似的方式在一個(gè)或更多個(gè)其他實(shí)施方式中使用，與其他實(shí)施方式中的特征相組合，或替代其他實(shí)施方式中的特征。應(yīng)該強(qiáng)調(diào)，術(shù)語(yǔ)“包括/包含”在本文使用時(shí)指特征、要素、步驟或組件的存在，但并不排除一個(gè)或更多個(gè)其他特征、要素、步驟或組件的存在或附加。此外，本發(fā)明的方法不限于按照說(shuō)明書(shū)中描述的時(shí)間順序來(lái)執(zhí)行，也可以按照其他的時(shí)間順序地、并行地或獨(dú)立地執(zhí)行。因此，本說(shuō)明書(shū)中描述的方法的執(zhí)行順序不對(duì)本發(fā)明的技術(shù)范圍構(gòu)成限制。盡管上面已經(jīng)通過(guò)對(duì)本發(fā)明的具體實(shí)施例的描述對(duì)本發(fā)明進(jìn)行了披露，但是，應(yīng)該理解，本領(lǐng)域的技術(shù)人員可在所附權(quán)利要求的精神和范圍內(nèi)設(shè)計(jì)對(duì)本發(fā)明的各種修改、 改進(jìn)或者等同物。這些修改、改進(jìn)或者等同物也應(yīng)當(dāng)被認(rèn)為包括在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種從視頻中提取關(guān)鍵幀的方法，包括將所述視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，所述多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次；從所述視頻的一個(gè)非最高層次的各個(gè)視頻段提取所述非最高層次的候選幀； 針對(duì)從所述非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀；以及輸出最高層次的候選幀作為視頻的關(guān)鍵幀。
2.如權(quán)利要求1所述的方法，其中，針對(duì)從所述非最高層次的上一層次到最高層次中的至少一個(gè)第M層次，M為大于1的整數(shù)，從每個(gè)第M層次的視頻段所包括的第M-I層次的候選幀中選擇出第M層次的候選幀的步驟包括針對(duì)每個(gè)第M層次的視頻段，將該視頻段包括的第M-I層次的候選幀按照其所代表的幀數(shù)從大到小排列；重復(fù)以下選舉步驟，直到選舉出預(yù)定數(shù)目的第M層次的候選幀 對(duì)于每個(gè)第M層次的視頻段，推舉該視頻段的M-I層次的候選幀中尚未被選擇作為第 M層次的候選幀且排位最靠前的一個(gè)參選；根據(jù)每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)來(lái)計(jì)算每個(gè)參選的候選幀的選票數(shù)，其中每個(gè)參選的候選幀的選票數(shù)與該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀所代表的幀數(shù)總數(shù)之和不大于該參選的候選幀所在的第M 層次的視頻段的總幀數(shù)；以及選擇選票數(shù)最多的參選的候選幀作為第M層次的視頻段的候選幀。
3.如權(quán)利要求2所述的方法，其中計(jì)算參選的候選幀的選票數(shù)的步驟包括將每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M 層次的候選幀的其他候選幀所支援的選票數(shù)加權(quán)相加作為該參選的候選幀的選票數(shù)。
4.如權(quán)利要求3所述的方法，其中在所述加權(quán)相加中的權(quán)重取決于該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀的數(shù)目與已確定的第M層次的候選幀總數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段的總幀數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的候選幀所代表的幀數(shù)總和之間的關(guān)系。
5.如權(quán)利要求1所述的方法，其中所述多個(gè)層次的視頻段包括兩個(gè)層次的視頻段，并且兩個(gè)層次的視頻段中較低層次的視頻段是鏡頭或子鏡頭，較高層次的視頻段是視頻章節(jié)或場(chǎng)景。
6.如權(quán)利要求2所述的方法，其中在所述至少一個(gè)第M層次中，從每個(gè)第M層次的視頻段所包括的第M-I層次的候選幀中選擇出第M層次的候選幀的步驟還包括在將該視頻段的第M-I層次的候選幀按照其所代表的幀數(shù)從大到小排列之前，對(duì)該視頻段的第M-I層次的候選幀進(jìn)行去除近似重復(fù)的候選幀的處理。
7.如權(quán)利要求2所述的方法，其中參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)的上限值隨著所述尚未被確定為第M 層次的候選幀的其他候選幀所代表的幀數(shù)總和單調(diào)遞增。
8.如權(quán)利要求1所述的方法，還包括根據(jù)所述視頻的長(zhǎng)度和/或用戶(hù)偏好來(lái)設(shè)置關(guān)鍵幀的數(shù)目。
9.如權(quán)利要求2所述的方法，其中所述至少一個(gè)第M層次包括最高層次。
10.一種從視頻中提取關(guān)鍵幀的設(shè)備，包括劃分單元，被配置為將所述視頻劃分為多個(gè)層次的視頻段，其中每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，所述多個(gè)層次包括從第1層次到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次；提取單元，被配置為從所述視頻的一個(gè)非最高層次的各個(gè)視頻段提取所述非最高層次的候選幀；選擇單元，被配置為針對(duì)從所述非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀； 以及輸出單元，被配置為輸出最高層次的候選幀作為視頻的關(guān)鍵幀。
11.如權(quán)利要求10所述的設(shè)備，其中所述選擇單元包括排列模塊，被配置為針對(duì)從所述非最高層次的上一層次到最高層次的至少一個(gè)第M層次，針對(duì)每個(gè)第M層次的視頻段，將該視頻段的第M-I層次的候選幀按照其所代表的幀數(shù)從大到小排列；和選舉模塊，被配置為針對(duì)所述至少一個(gè)第M層次，重復(fù)以下操作，直到選舉出預(yù)定數(shù)目的第M層次的候選幀對(duì)于每個(gè)第M層次的視頻段，推舉該視頻段的第M-I層次的候選幀中尚未被選擇作為第M層次的候選幀且排位最靠前的一個(gè)參選；根據(jù)每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)來(lái)計(jì)算每個(gè)參選的候選幀的選票數(shù)，其中每個(gè)參選的候選幀的選票數(shù)與該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀所代表的幀數(shù)總數(shù)之和不大于該參選的候選幀所在的第M 層次的視頻段的總幀數(shù)；以及選擇選票數(shù)最多的參選的候選幀作為第M層次的視頻段的候選幀。
12.如權(quán)利要求11所述的設(shè)備，其中所述選舉模塊將每個(gè)參選的候選幀所代表的幀數(shù)以及該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)加權(quán)相加作為該參選的候選幀的選票數(shù)。
13.如權(quán)利要求12所述的設(shè)備，其中在所述加權(quán)相加中的權(quán)重取決于該參選的候選幀所在的第M層次的視頻段中的已確定的第M層次的候選幀的數(shù)目與已確定的第M層次的候選幀總數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段的總幀數(shù)之間的關(guān)系和/或該參選的候選幀所代表的幀數(shù)與該參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的候選幀所代表的幀數(shù)總和之間的關(guān)系。
14.如權(quán)利要求10所述的設(shè)備，其中所述多個(gè)層次的視頻段包括兩個(gè)層次的視頻段，并且兩個(gè)層次的視頻段中較低層次的視頻段是鏡頭或子鏡頭，較高層次的視頻段是視頻章節(jié)或場(chǎng)景。
15.如權(quán)利要求11所述的設(shè)備，所述選擇單元還包括過(guò)濾模塊，被配置為針對(duì)所述至少一個(gè)第M層次，對(duì)視頻段的第M-I層次的候選幀進(jìn)行去除近似重復(fù)的候選幀的處理，并將去除了近似重復(fù)的候選幀之后的候選幀發(fā)送給排列模塊。
16.如權(quán)利要求11所述的設(shè)備，在選舉模塊中，參選的候選幀所在的第M層次的視頻段中尚未被確定為第M層次的候選幀的其他候選幀所支援的選票數(shù)的上限值隨著所述尚未被確定為第M層次的候選幀的其他候選幀所代表的幀數(shù)總和單調(diào)遞增。
17.如權(quán)利要求10所述的設(shè)備，還包括設(shè)置單元，被配置為根據(jù)所述視頻的長(zhǎng)度和/或用戶(hù)偏好來(lái)設(shè)置關(guān)鍵幀的數(shù)目。
18.如權(quán)利要求11所述的設(shè)備，其中所述至少一個(gè)第M層次包括最高層次。
全文摘要
本發(fā)明涉及從視頻中提取關(guān)鍵幀的方法和設(shè)備。從視頻中提取關(guān)鍵幀的方法包括將所述視頻劃分為多個(gè)層次的視頻段，每個(gè)非最低層次的視頻段包括一個(gè)或多個(gè)下一層次的視頻段，多個(gè)層次包括第1到第N層次，N為大于1的整數(shù)，第1層次為最低層次，第N層次為最高層次；從視頻的一個(gè)非最高層次的各個(gè)視頻段提取非最高層次的候選幀；針對(duì)從非最高層次的上一層次到最高層次的每個(gè)層次，從每個(gè)該層次的視頻段所包括的下一層次的候選幀中選擇出0個(gè)、1個(gè)或多個(gè)該層次的候選幀；以及輸出最高層次的候選幀作為視頻的關(guān)鍵幀。本發(fā)明可以很好地平衡來(lái)自視頻的不同內(nèi)容單元的關(guān)鍵幀在視頻關(guān)鍵幀列表中所占的比例，以實(shí)現(xiàn)更好的預(yù)覽效果。
文檔編號(hào)H04N7/26GK102402536SQ20101028127
公開(kāi)日2012年4月4日 申請(qǐng)日期2010年9月13日 優(yōu)先權(quán)日2010年9月13日
發(fā)明者劉玉宇, 韓博 申請(qǐng)人:索尼公司