專利名稱：生成視頻摘要的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成至少包括視頻序列的內(nèi)容信號(hào)的視頻摘要的方法。本發(fā)明還涉及一種生成至少包括視頻序列的內(nèi)容信號(hào)的視頻摘要的系統(tǒng)。本發(fā)明還涉及一種對(duì)至少包括視頻序列的內(nèi)容信號(hào)的視頻摘要進(jìn)行編碼的信號(hào)。本發(fā)明還涉及一種計(jì)算機(jī)程序。
背景技術(shù)：
WO 03/060914公開了一種用于使用壓縮域中提取的運(yùn)動(dòng)活動(dòng)的時(shí)間模式對(duì)壓縮 視頻進(jìn)行摘要的系統(tǒng)和方法。時(shí)間模式與音頻特征(具體地說，音頻音量的峰值)的時(shí)間 位置相關(guān)。通過使用十分簡(jiǎn)單的規(guī)則，通過丟棄不關(guān)注的視頻部分并且標(biāo)識(shí)關(guān)注事件來生 成摘要。已知方法的問題在于，只能通過使用于選擇關(guān)注事件的準(zhǔn)則更嚴(yán)格來使摘要較小，結(jié)果是損失了摘要質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種在開始段落中提及的類型的方法、系統(tǒng)、信號(hào)和計(jì)算 機(jī)程序，用于提供關(guān)于其信息內(nèi)容被感覺為相對(duì)高質(zhì)量的相對(duì)緊湊的摘要。該目的通過根據(jù)本發(fā)明的方法而得以實(shí)現(xiàn)，所述方法包括基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類別的分段的至少第 一準(zhǔn)則集合，將視頻序列的分段分類為至少第一類別和第二類別之一，以及通過串接圖像子序列來形成圖像序列，每一子序列至少部分地基于所述第一類別 的相應(yīng)分段，從而在圖像子序列中的至少一個(gè)中，基于所述第一類別的相應(yīng)分段的運(yùn)動(dòng)圖像被顯示 在第一類型窗口中，所述方法還包括使得第二類別分段的表示與圖像序列的至少一些圖像一起在不 同類型窗口中顯示。例如，類型方面的差異可以包括以下任一不同幾何顯示格式、不同目標(biāo)顯示設(shè)備 或不同屏幕位置。通過基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類別分段的至少 第一準(zhǔn)則集合而將視頻序列分段分類為至少第一類別和第二類別之一，視頻序列中的精彩 場(chǎng)面得以檢測(cè)。適當(dāng)選取第一準(zhǔn)則集合確保了它們可以與最有信息的分段對(duì)應(yīng)，而不是與 最有代表性或占優(yōu)的分段。例如，基于用于第一類型分段的分類符的值適當(dāng)選取準(zhǔn)則將確 保選擇體育比賽中得分(精彩場(chǎng)面)時(shí)刻的分段，而不是選擇表示運(yùn)動(dòng)場(chǎng)的分段(占優(yōu)部 分)。通過串接圖像的子序列，每一子序列至少部分地基于第一類別的相應(yīng)分段，確保了由 精彩場(chǎng)面來確定圖像序列的長(zhǎng)度，使得摘要序列相對(duì)緊湊。通過提供將輸入視頻序列的其 余分段分類為至少第二類別，并且通過將第二類別的分段的表示與圖像序列中的至少一些一起顯示，使得對(duì)視頻序列進(jìn)行摘要的圖像序列更有信息。因?yàn)榛诘谝活悇e的相應(yīng)分段 的運(yùn)動(dòng)圖像顯示在第一類型窗口中，并且第二類別分段的表示顯示在不同類型窗口中，所 以對(duì)內(nèi)容信號(hào)進(jìn)行摘要的圖像序列是緊湊并且相對(duì)高質(zhì)量的。觀眾可以區(qū)分精彩場(chǎng)面與其 它類型的摘要元素。在實(shí)施例中，第二類別分段的表示被包括在圖像序列的至少一些中，從而第一類 型窗口視覺上優(yōu)于所述不同類型窗口。因此，相對(duì)緊湊的摘要可以顯示在一個(gè)屏幕上，并且相對(duì)有信息。具體地說，不止 是僅可以顯示精彩場(chǎng)面，而且清楚的是，在已經(jīng)做過摘要的視頻序列中哪些是精彩場(chǎng)面，以 及哪個(gè)表示是具有次級(jí)重要性的分段的表示。此外，因?yàn)榈谝活悇e分段通過子序列確定摘 要的長(zhǎng)度，所以圖像序列的主導(dǎo)部分是連續(xù)的，而所述不同類型窗口無需如此。 在實(shí)施例中，使得位于所述第一類別的兩個(gè)分段之間的所述第二類別分段的表示 與基于跟隨所述第二類別分段的所述第一類別的兩個(gè)分段之一的、圖像子序列中的至少一 些一起顯示。因此，視頻摘要根據(jù)目的在于在摘要中保持與已經(jīng)做過摘要的視頻序列中的時(shí)間 順序?qū)?yīng)的時(shí)間順序的規(guī)則而得以建立。效果在于，避免了混淆的摘要，即演變?yōu)椴⑿酗@示 的兩個(gè)分離摘要。比之任何其它情況，該視頻摘要也是更有信息的，因?yàn)槲挥趦蓚€(gè)第一類別 分段之間的第二類別分段極有可能與這兩個(gè)第一類別分段之一有關(guān)(即，顯示引起在前面 或后面第一類別分段中之前的反應(yīng)或事件)。在實(shí)施例中，所述不同類型窗口疊加在第一類型窗口的一部分上。因此，可以使得第一類型窗口相對(duì)較大，并且至少部分地基于第一類別分段的圖 像子序列可以具有相對(duì)高的分辨率。倘若在適當(dāng)位置疊加所述不同類型窗口，那么第二類 型窗口中所提供的額外信息對(duì)與第一類別分段對(duì)應(yīng)的信息并不帶來實(shí)質(zhì)性的損失。在實(shí)施例中，第二類別分段是基于內(nèi)容信號(hào)的相應(yīng)部分的分析以及用于標(biāo)識(shí)第二 類別分段的至少第二準(zhǔn)則集合而得以標(biāo)識(shí)的。效果在于，可以基于與用于選擇第一類別分段的不同特性來選擇第二類別分段。 具體地說，例如，無需由視頻序列的并非第一類別分段的所有其余部分來形成第二類別分 段。顯然，第二類別分段據(jù)此得以標(biāo)識(shí)以及結(jié)合第二準(zhǔn)則集合而使用的分析無需是與用于 標(biāo)識(shí)第一類別分段的分析相同的類型，盡管它可以是相同類型。在變形方式中，至少部分地基于兩個(gè)第一類別分段中的至少一個(gè)的位置和內(nèi)容中 的至少一個(gè)，在分離這兩個(gè)分段的區(qū)段內(nèi)標(biāo)識(shí)第二類別分段。因此，該方法能夠檢測(cè)顯示對(duì)于最近的第一類別分段中的至少一個(gè)的反應(yīng)或前面 事件的第二類別分段(通常，視頻序列的精彩場(chǎng)面得以進(jìn)行摘要)。在實(shí)施例中，第二類別分段的表示包括基于第二類別分段的圖像序列。效果在于，增加了與所顯示的被進(jìn)行摘要的視頻序列的次級(jí)部分有關(guān)的信息量。變形方式包括將基于所述第二類別分段的圖像序列的長(zhǎng)度調(diào)整為在長(zhǎng)度上短于 或等于基于使得與基于所述第二類別分段的圖像序列一起顯示的所述第一類別的相應(yīng)分 段的圖像子序列的長(zhǎng)度。效果在于，允許第一類別分段確定視頻摘要的長(zhǎng)度，并且在保持時(shí)間順序的同時(shí) 添加信息。
根據(jù)另一方面，根據(jù)本發(fā)明的用于生成至少包括視頻序列的內(nèi)容信號(hào)的視頻摘要 的系統(tǒng)包括輸入，用于接收內(nèi)容信號(hào)； 信號(hào)處理系統(tǒng)，用于基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類 別的分段的至少第一準(zhǔn)則集合，將視頻序列的分段分類為至少第一類別和第二類別之一， 以及用于通過串接圖像子序列來形成圖像序列，每一子序列至少部分地基于所述第一類別 的相應(yīng)分段，從而在圖像子序列中的至少一個(gè)中，基于所述第一類別的相應(yīng)分段的運(yùn)動(dòng)圖像被顯示 在第一類型窗口中，其中，所述系統(tǒng)被布置為使得第二類別分段的表示與圖像序列的至少一些圖像 一起在不同類型窗口中顯示。在實(shí)施例中，所述系統(tǒng)配置為執(zhí)行根據(jù)本發(fā)明的方法。根據(jù)另一方面，根據(jù)本發(fā)明的對(duì)至少包括視頻序列的內(nèi)容信號(hào)的視頻摘要進(jìn)行編 碼的信號(hào)對(duì)圖像子序列的串接進(jìn)行編碼，每一子序列至少部分地基于至少第一類別和第二 類別中的第一類別視頻序列的相應(yīng)分段，所述第一類別分段可通過使用內(nèi)容信號(hào)的相應(yīng)部 分的特性的分析以及用于標(biāo)識(shí)所述第一類別分段的第一準(zhǔn)則集合而標(biāo)識(shí)，以及相應(yīng)子序列中基于所述第一類別分段的運(yùn)動(dòng)圖像顯示在第一類型窗口中，其中，所述信號(hào)包括用于所述第二類別分段的表示在不同類型的窗口中與圖像 的子序列的串接中的至少一些同時(shí)進(jìn)行同步顯示的數(shù)據(jù)。該信號(hào)就其長(zhǎng)度而言是相對(duì)緊湊并且有信息的內(nèi)容信號(hào)的視頻摘要。在實(shí)施例中，可通過執(zhí)行根據(jù)本發(fā)明的方法來獲得所述信號(hào)。根據(jù)本發(fā)明的另一方面，提供一種計(jì)算機(jī)程序，其包括指令集合，當(dāng)并入機(jī)器可讀 介質(zhì)時(shí)能夠使得具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)本發(fā)明的方法。


以下將參照附圖來進(jìn)一步詳細(xì)解釋本發(fā)明，其中圖1示出用于生成并且顯示視頻摘要的系統(tǒng)；圖2是待進(jìn)行摘要的視頻序列的示意圖；圖3是生成摘要的方法的流程圖；以及圖4是視頻摘要中所包括的圖像序列的示意圖。
具體實(shí)施例方式集成接收機(jī)解碼器(IRD)I包括網(wǎng)絡(luò)接口 2、解調(diào)器3以及解碼器4，用于接收數(shù)字 電視廣播、視頻點(diǎn)播服務(wù)等。網(wǎng)絡(luò)接口 2可以是數(shù)字、衛(wèi)星、地面或基于IP的廣播或窄播網(wǎng) 絡(luò)。解碼器的輸出包括一個(gè)或多個(gè)節(jié)目流，其包括(壓縮后的)例如MPEG-2或H. 264或相 似的格式的數(shù)字視聽信號(hào)。與節(jié)目或事件對(duì)應(yīng)的信號(hào)可以存儲(chǔ)在大容量存儲(chǔ)設(shè)備5(例如 硬盤、光盤或固態(tài)存儲(chǔ)器設(shè)備)上。大容量存儲(chǔ)設(shè)備5上存儲(chǔ)的視聽信號(hào)可以由用戶訪問，用于在電視系統(tǒng)(未示出)上進(jìn)行回放。為此，IRD 1配備有用戶接口 6，例如遙控器和在電視系統(tǒng)的屏幕上顯示的圖 形菜單。IRD 1受控于中央處理單元(CPU)7，CPU 7使用主存儲(chǔ)器8執(zhí)行計(jì)算機(jī)程序代碼。 為了回放并且顯示菜單，IRD 1還配備有視頻編碼器9和音頻輸出級(jí)10，用于生成適合于電 視系統(tǒng)的視頻和音頻信號(hào)。CPU 7中的圖形模塊(未示出)生成由IRD 1和電視系統(tǒng)提供 的圖形用戶接口(⑶I)的圖形組件。IRD 1借助IRD 1的本地網(wǎng)絡(luò)接口 12以及便攜式媒體播放器11的本地網(wǎng)絡(luò)接口 13來與便攜式媒體播放器11相接。這允許將IRD 1所生成的視頻摘要流傳送或者以其他 方式下載到便攜式媒體播放器11。便攜式媒體播放器11包括顯示設(shè)備14，例如液晶顯示器(IXD)設(shè)備。其還包括處 理器15和主存儲(chǔ)器16，以及大容量存儲(chǔ)設(shè)備17，例如硬盤單元或固態(tài)存儲(chǔ)器設(shè)備。
IRD 1被布置為生成通過其網(wǎng)絡(luò)接口 2接收到并且存儲(chǔ)在大容量存儲(chǔ)設(shè)備5上的 節(jié)目的視頻摘要。視頻摘要可以下載到便攜式媒體播放器11，以允許移動(dòng)用戶不錯(cuò)失體育 事件的精華。它們也可以用于促進(jìn)借助IRD 1和電視機(jī)而提供的GUI中的瀏覽操作。用于生成這些摘要的技術(shù)是使用體育廣播(例如單獨(dú)體育競(jìng)賽)的示例進(jìn)行解釋 的，但該技術(shù)可應(yīng)用于廣闊范圍的內(nèi)容，例如電影、偵探系列連續(xù)劇等。通常，可以據(jù)此方式 來方便地對(duì)任何類型的內(nèi)容(包括具有初始情況、引起高潮的上升動(dòng)作以及后續(xù)結(jié)局的連 續(xù)情節(jié))進(jìn)行摘要。摘要的目的是呈現(xiàn)關(guān)于特定視聽內(nèi)容的實(shí)質(zhì)信息，同時(shí)以任何方式略去對(duì)于觀 眾較不重要的或意義較小的信息。當(dāng)對(duì)體育進(jìn)行摘要時(shí)，有關(guān)的信息典型地包括該體育事 件中的最重要的精彩場(chǎng)面的集合(足球比賽中的進(jìn)球和錯(cuò)失的機(jī)會(huì)、網(wǎng)球中的盤點(diǎn)或賽點(diǎn) 等)。用戶研究已經(jīng)表明，在自動(dòng)生成的體育摘要中，觀眾不僅愿意看見最重要的精彩場(chǎng)面， 而且還愿意看見事件的另外方面，例如足球比賽中隊(duì)員對(duì)進(jìn)球的反應(yīng)、人群反應(yīng)等。IRD 1通過根據(jù)其摘要中的值以不同方式呈現(xiàn)信息來提供增強(qiáng)的摘要。先前發(fā)生 的較不相關(guān)的部分得以與當(dāng)前示出的實(shí)質(zhì)部分同時(shí)顯示。這樣允許視頻摘要變得緊湊但有 fn息ο參照?qǐng)D2，節(jié)目信號(hào)包括音頻分量和視頻分量，視頻分量包括視頻序列18。視 頻序列18包括第一、第二和第三精彩場(chǎng)面分段19-21。其還包括第一、第二和第三前導(dǎo) (lead-up)分段22-24以及第一、第二和第三響應(yīng)分段25-27、還有與其它內(nèi)容對(duì)應(yīng)的區(qū)段 28-31。參照?qǐng)D3，通過基于這些分段的特性的分析以及用于標(biāo)識(shí)精彩場(chǎng)面分段的至少 第一拭探法(heuristic)來檢測(cè)(步驟32)精彩場(chǎng)面分段19-21而生成視頻摘要。拭探 法表示一種用于解決問題的特定技術(shù)，在此情況下標(biāo)識(shí)與體育事件中精彩場(chǎng)面對(duì)應(yīng)的圖 像序列的分段。其包括分析的方法以及用于確定給定分段是否被認(rèn)為表示精彩場(chǎng)面的準(zhǔn) 貝U。一個(gè)或多個(gè)準(zhǔn)則的第一集合用于標(biāo)識(shí)精彩場(chǎng)面，而一個(gè)或多個(gè)準(zhǔn)則的第二集合為其 它分段類別所滿足。在體育事件的情況下，適合對(duì)能被分類為精彩場(chǎng)面的分段進(jìn)行標(biāo)識(shí) 的技術(shù)在以下文獻(xiàn)中得以描述Ekin，A.M.等人〃 Automatic soccer video analysis and summarization “ ，IEEE Trans. Image Processing, June 2003 ；以及 Cabasson, R.禾口 Divakaran, A. , " Automatic extraction of soccer video highlightsusing a combination of motion and audio features" , Symp. Electronic Imaging :Science andTechnology :Storage andRetrieval for Media Databases, Jan. 2002,5021,pp. 272-276 以及 Nepal, S.等人， "Automatic detection of goal segments inbasketball videos" , Proc. ACM Multimedia，2001，pp.261—269。在下一步驟33 (該步驟可選)中，通過僅選擇前面步驟32中標(biāo)識(shí)出的分段中的特 定分段來使得分類細(xì)化。該步驟33可以包括對(duì)前面步驟32中找到的分段進(jìn)行排序，并且 僅選擇那些排序最高的分段，例如預(yù)定數(shù)量的分段、或具有等于或小于特定最大長(zhǎng)度的總 長(zhǎng)度的多個(gè)分段。注意，僅對(duì)視頻序列18的特定分段(即，使用應(yīng)用于精彩場(chǎng)面的準(zhǔn)則的 集合確定的那些分段)執(zhí)行這種排序。因此，這是一種構(gòu)成比視頻序列18的全部劃分少的 分段集合的排序。
另外的步驟34-36允許檢測(cè)第二類別分段，例如響應(yīng)分段25_27。對(duì)精彩場(chǎng)面的反 應(yīng)典型地包括常常以慢動(dòng)作從多角度重放精彩場(chǎng)面；常常為特寫鏡頭的隊(duì)員的反應(yīng)；以 及人群的反應(yīng)。步驟34-36是基于視頻序列18中分離兩個(gè)精彩場(chǎng)面分段19_21的各部分以及至 少部分地基于兩個(gè)精彩場(chǎng)面分段19-21中的至少一個(gè)精彩場(chǎng)面分段(通常是兩個(gè)精彩場(chǎng)面 分段19-21中的首先出現(xiàn)的那個(gè))的位置和內(nèi)容中的至少一個(gè)而得以執(zhí)行的。例如對(duì)于每 一精彩場(chǎng)面分段19-21找尋響應(yīng)分段25-27的情況下使用位置。特別在步驟35中尋找重 放的情況下使用內(nèi)容。在任何情況下，使用與用于將分段分類為精彩場(chǎng)面分段19-21的拭 探法不同的拭探法來將分段分類為響應(yīng)分段25-27。在此，該方法不同于旨在通過將表示視 頻序列18的全部劃分的分段排序?yàn)楦鶕?jù)分段表示完整視頻序列18的內(nèi)容的程度的分段而 提供視頻序列18的全面摘要的方法。檢測(cè)特寫的步驟34可以使用深度信息。WO 2007/036823中描述了合適的方法?？梢允褂糜糜跈z測(cè)重放分段的多種已知方法中的任何一種來實(shí)現(xiàn)檢測(cè)重放的 步驟35。各示例在以下文獻(xiàn)中得以描述Kobla，V.等人〃 Identification of sports videos using replay, text, and cameramotion features“ ，Proc. SPIE Conference on Storage and Retrievalfor Media Database,3972, Jan. 2000, pp. 332-343 ；Wungt, L.等 人"Generic slow-motion replay detection in sports video" , 2004International Conference on Image Processing(ICIP), pp. 1585-1588 ；以及 Tong, Χ. , " Replay Detection in BroadcastingSports Video “ ，Proc. 3rd Intl. Conf. on Image and GraphicsdCIG' 04)。可以使用例如在 Sadlier, D.禾口 0 ‘ Connor, N.， “ Event detectionbased on generic characteristics of field-sports “ ， IEEE Intl.Conf on Multimedia&Expo (ICME) ,5,2005, pp. 5-17中描述的方法來實(shí)現(xiàn)檢測(cè)人群圖像的步驟36。結(jié)合參照?qǐng)D3和圖4，示出形成視頻摘要的圖像的序列37。其包括基于相應(yīng)的第 一、第二和第三精彩場(chǎng)面分段19-21的第一、第二和第三子序列38-40。就其中包含的圖像 對(duì)應(yīng)于內(nèi)容而言，子序列38-40是基于精彩場(chǎng)面分段19-21的，不過也可以是分段19-21中 的原始圖像的時(shí)間或空間子采樣版本。子序列38-40中的圖像被編碼，以便占滿例如連接 到IRD 1的電視機(jī)或顯示設(shè)備14的屏幕顯示的第一窗口。通常，當(dāng)顯示時(shí)，第一窗口將在 尺寸和形狀上與屏幕格式對(duì)應(yīng)，從而通常填充整個(gè)屏幕。注意到，子序列38-40表示運(yùn)動(dòng)圖 像，而不是單幅縮略圖像。
基于響應(yīng)分段25-27創(chuàng)建(步驟43)用于填充較小格式的屏幕窗口 41，42的圖像。 這些圖像以畫中畫方式疊加(步驟44)在包含精彩場(chǎng)面分段19-21的表示的窗口的一部分 上。因此，基于精彩場(chǎng)面分段19-21的運(yùn)動(dòng)圖像在視覺上優(yōu)于添加至其上的響應(yīng)分段25-27 的表示。在一個(gè)實(shí)施例中，響應(yīng)分段25-27的表示是單一靜態(tài)圖像，例如縮略圖。在該實(shí)施 例中，它們可以例如與所關(guān)注的響應(yīng)分段25-27的關(guān)鍵幀對(duì)應(yīng)。在另一實(shí)施例中，響應(yīng)分段 25-27的表示包括基于響應(yīng)分段25-27的運(yùn)動(dòng)圖像的序列。在實(shí)施例中，它們是子采樣版本 或截?cái)嗟陌姹?，被適配為在長(zhǎng)度上短于或等于它們所添加到的子序列38-40的長(zhǎng)度。結(jié)果， 最多僅有響應(yīng)分段25-27的一個(gè)表示被添加到每一子序列38-40。為了增強(qiáng)摘要序列37的信息內(nèi)容，在一定程度上保持原始視頻序列18的時(shí)間順 序。具體地說，使得位于兩個(gè)連續(xù)精彩場(chǎng)面分段19-21之間的每一響應(yīng)分段25-27的表示與 基于跟隨所關(guān)注的響應(yīng)分段25-27的兩個(gè)精彩場(chǎng)面分段19-21之一的僅圖像子序列38-40 中的至少一些一起顯示。因此，在圖2和圖4所示的示例中，第一響應(yīng)分段25的表示被包括 在圖像的第二子序列39內(nèi)的圖像的第一群組45中的窗口 41中，圖像的第二子序列是基于 第二精彩場(chǎng)面分段20的。窗口 41并不存在于第二子序列39內(nèi)的圖像的第二群組中。第 二響應(yīng)分段26的表示被示出在疊加于圖像的第三子序列40上的窗口 42中，所述第三子序 列40是基于第三精彩場(chǎng)面分段21的。具有疊加的窗口 41，42的子序列38-40在最后步驟 47中被串接，以生成輸出視頻信號(hào)。因此，當(dāng)顯示視頻摘要序列37時(shí)，先前精彩場(chǎng)面的不那 么相關(guān)的信息作為畫中畫與當(dāng)前精彩場(chǎng)面的相關(guān)信息同時(shí)地顯示。
在另一實(shí)施例中，注意到，響應(yīng)分段25-27的表示被顯示在與精彩場(chǎng)面分段19_21 的表示不同的屏幕上。例如，基于精彩場(chǎng)面分段19-21的圖像的子序列可以顯示在連接到 I RD 1的電視機(jī)的屏幕上，而響應(yīng)分段25-27的表示在適當(dāng)?shù)臅r(shí)間被同時(shí)顯示在顯示設(shè)備 14的屏幕上。還注意到，可以同時(shí)將響應(yīng)分段25-27的若干表示疊加在圖像的子序列38_40中 的至少一些上。例如，可能存在用于在檢測(cè)特寫的步驟34中檢測(cè)到的分段的表示的一個(gè)窗 口、用于在檢測(cè)重放的步驟35中檢測(cè)到的分段的表示的另一窗口、以及用于在檢測(cè)人群圖 像的步驟36中檢測(cè)到的分段的表示的又一窗口。在另一實(shí)施例中，窗口 41，42根據(jù)它們所疊加其上的圖像的內(nèi)容而改變位置，從 而不使得有關(guān)信息變得模糊。在又一實(shí)施例中，分段22-24的表示也被包括在形成子序列38-40的圖像中，或者 顯示在它們上疊加的窗口 41，42中。在任何情況下，獲得對(duì)視頻序列18進(jìn)行摘要的緊湊且相對(duì)有信息的序列37，適合 于在具有有限資源的設(shè)備上快速瀏覽或者移動(dòng)觀看。應(yīng)該注意到，上述實(shí)施例說明而非限制本發(fā)明，并且本領(lǐng)域的技術(shù)人員能夠在不 脫離所附權(quán)利要求的范圍的情況下設(shè)計(jì)出許多替代的實(shí)施例。在權(quán)利要求中，任何置于括 號(hào)之間的標(biāo)號(hào)不應(yīng)被解釋為對(duì)該權(quán)利要求進(jìn)行限制。使用動(dòng)詞“包括”及其變體形式并不排 除除了權(quán)利要求中陳述的元件或步驟之外的元件或步驟的存在性。在元件之前的冠詞“一 個(gè)”并不排除多個(gè)這樣的元件的存在。本發(fā)明可以通過包括一些獨(dú)特元件的硬件以及通過 合適地編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了幾個(gè)裝置的設(shè)備權(quán)利要求中，這些裝置中的幾個(gè)可以由同一個(gè)硬件項(xiàng)目來實(shí)施。在相互不同的從屬權(quán)利要求中陳述特定措施的純粹事實(shí)并非 表示這些措施的組合不能被有利地使用。例如，檢測(cè)精彩場(chǎng)面分段19-21和響應(yīng)分段25-27的步驟32_36中的一步或多步 可以是另外或者替代地基于與待進(jìn)行摘要并且被包括在同一內(nèi)容信號(hào)中的視頻序列18同 步的音頻軌道的特性的分析。“計(jì)算 機(jī)程序”應(yīng)理解為表示計(jì)算機(jī)可讀介質(zhì)(例如光盤)上存儲(chǔ)的、可經(jīng)由網(wǎng)絡(luò) (例如因特網(wǎng))下載的、或以任何其它方式市售的任何軟件產(chǎn)品。
權(quán)利要求
生成至少包括視頻序列(18)的內(nèi)容信號(hào)的視頻摘要的方法，包括基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類別的分段(19-21)的至少第一準(zhǔn)則集合，將視頻序列(18)的分段分類為至少第一類別和第二類別之一，以及通過串接圖像子序列(38-40)來形成圖像序列(37)，每一子序列(38-40)至少部分地基于所述第一類別的相應(yīng)分段(19-21)，從而在圖像子序列(38-40)中的至少一個(gè)中，基于所述第一類別的相應(yīng)分段(19-21)的運(yùn)動(dòng)圖像被顯示在第一類型窗口中，所述方法還包括使得第二類別分段(25-27)的表示與圖像序列(37)的至少一些圖像一起在不同類型窗口(41，42)中顯示。
2.根據(jù)權(quán)利要求1的方法，其中，所述第二類別分段(25-27)的表示被包括在圖像序列 (37)中的至少一些中，從而第一類型窗口視覺上優(yōu)于所述不同類型窗口(41，42)。
3.根據(jù)權(quán)利要求1或2的方法，其中，使得位于所述第一類別的兩個(gè)分段(19-21)之間 的所述第二類別分段(25-27)的表示與基于跟隨所述第二類別分段(25-27)的所述第一類 別的兩個(gè)分段(19-21)之一的、圖像子序列(38-40)中的至少一些一起顯示。
4.根據(jù)權(quán)利要求2和3的方法，其中，不同類型窗口(41，42)被疊加在所述第一類型窗 口的一部分上。
5.根據(jù)任一前述權(quán)利要求的方法，其中，基于所述內(nèi)容信號(hào)的相應(yīng)部分的分析以 及用于標(biāo)識(shí)所述第二類別分段(25-27)的至少第二準(zhǔn)則集合來標(biāo)識(shí)所述第二類別分段 (25-27)。
6.根據(jù)權(quán)利要求5的方法，其中，至少部分地基于所述第一類別的兩個(gè)分段(19-21)中 的位置和內(nèi)容的至少一個(gè)，在分離所述兩個(gè)分段的區(qū)段內(nèi)標(biāo)識(shí)所述第二類別分段(25-27)。
7.根據(jù)任一前述權(quán)利要求的方法，其中，所述第二類別分段(25-27)的表示包括基于 所述第二類別分段(25-27)的圖像序列。
8.根據(jù)權(quán)利要求7的方法，包括將基于所述第二類別分段(25-27)的圖像序列的長(zhǎng)度調(diào)整為在長(zhǎng)度上短于或等于基 于使得與基于所述第二類別分段(25-27)的圖像序列一起顯示的所述第一類別的相應(yīng)分 段(19_21)的圖像子序列(38_40)的長(zhǎng)度。
9.生成至少包括視頻序列(18)的內(nèi)容信號(hào)的視頻摘要的系統(tǒng)，包括輸入，用于接收內(nèi)容信號(hào)；信號(hào)處理系統(tǒng)，用于基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類別的 分段(19-21)的至少第一準(zhǔn)則集合，將視頻序列(18)的分段分類為至少第一類別和第二類 別之一，以及用于通過串接圖像子序列(38-40)來形成圖像序列(37)，每一子序列(38-40)至少部分地 基于所述第一類別的相應(yīng)分段(19-21)，從而在圖像子序列中的至少一個(gè)中，基于所述第一類別的相應(yīng)分段(19-21)的運(yùn)動(dòng)圖像被 顯示在第一類型窗口中，其中，所述系統(tǒng)被布置為使得第二類別分段(25-27)的表示與圖像序列(37)的至少 一些圖像一起在不同類型窗口(41，42)中顯示。
10.根據(jù)權(quán)利要求9的系統(tǒng)，被配置為執(zhí)行根據(jù)權(quán)利要求1-8中的任一的方法。
11.對(duì)至少包括視頻序列(18)的內(nèi)容信號(hào)的視頻摘要進(jìn)行編碼的信號(hào)，其中，所述信號(hào)對(duì)圖像子序列(38-40)的串接進(jìn)行編碼，每一子序列(38-40)至少部分 地基于至少第一類別和第二類別中的第一類別視頻序列(18)的相應(yīng)分段，所述第一類別 分段(19-21)可通過使用內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)所述第一類別 分段(19-21)的第一準(zhǔn)則集合而標(biāo)識(shí)，以及相應(yīng)子序列(38-40)中基于所述第一類別分段(19-21)的運(yùn)動(dòng)圖像顯示在第一類型窗 口中，其中，所述信號(hào)包括用于所述第二類別分段(25-27)的表示在不同類型的窗口(41， 42)中與圖像的子序列(38-40)的串接中的至少一些同時(shí)進(jìn)行同步顯示的數(shù)據(jù)。
12.根據(jù)權(quán)利要求11的信號(hào)，能夠通過執(zhí)行根據(jù)權(quán)利要求1-9中的任一的方法而獲得。
13.計(jì)算機(jī)程序，包括指令集合，其當(dāng)并入機(jī)器可讀介質(zhì)中時(shí)能夠使得具有信息處理 能力的系統(tǒng)執(zhí)行根據(jù)權(quán)利要求1-9中的任一的方法。
全文摘要
一種生成至少包括視頻序列(18)的內(nèi)容信號(hào)的視頻摘要的方法，包括基于內(nèi)容信號(hào)的相應(yīng)部分的特性的分析以及用于標(biāo)識(shí)第一類別的分段(19-21)的至少第一準(zhǔn)則集合，將視頻序列(18)的分段分類為至少第一類別和第二類別之一。通過串接圖像子序列(38-40)來形成圖像序列(37)，每一子序列(38-40)至少部分地基于所述第一類別的相應(yīng)分段(19-21)，從而在圖像子序列(38-40)中的至少一個(gè)中，基于所述第一類別的相應(yīng)分段(19-21)的運(yùn)動(dòng)圖像被顯示在第一類型窗口中。使得第二類別分段(25-27)的表示與圖像序列(37)的至少一些圖像一起在不同類型窗口(41，42)中顯示。
文檔編號(hào)H04N5/45GK101868795SQ200880117039
公開日2010年10月20日 申請(qǐng)日期2008年11月14日 優(yōu)先權(quán)日2007年11月22日
發(fā)明者E·L·埃勒斯, M·巴比里, P·方塞卡 申請(qǐng)人:皇家飛利浦電子股份有限公司