同步電影概要的制作方法
【專利摘要】本發(fā)明涉及一種用于提供(104)視聽對象的概要的方法。該方法包括以下步驟：從該視聽對象捕獲(101)信息；識別(102)該視聽對象；確定(103)所捕獲的信息相對于該視聽對象的時間索引；以及提供(104)所識別的視聽對象的一部分的概要，這一部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
【專利說明】同步電影概要

【技術領域】
[0001]本發(fā)明涉及一種用于提供視聽對象的概要的方法。

【背景技術】
[0002]可能發(fā)生以下情況:觀眾錯過正在重放的視聽對象的開始。面對該問題，觀眾想要知道錯過的內容。美國專利申請11/568,122通過以下方式來解決此問題:使用將節(jié)目映射到新段空間的概要功能并根據內容部分是內容流的開始部分、中間部分還是結尾部分來提供針對節(jié)目的內容流的一部分的自動概要。
[0003]本發(fā)明的一個目的是向終端用戶提供更好地適應(tailored to)終端用戶實際錯過的內容的概要。


【發(fā)明內容】

[0004]為了這個目的，本發(fā)明提出了一種用于提供視聽對象的概要的方法，所述方法包括以下步驟:
[0005](i)從所述視聽對象捕獲信息，所述信息允許識別所述視聽對象并允許確定相對于所述視聽對象的時間索引；
[0006](ii)識別所述視聽對象；
[0007](iii)確定所捕獲的信息相對于所述視聽對象的所述時間索引；以及
[0008](iv)提供所識別的視聽對象的一部分的概要，所述部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
[0009]所述時間索引的確定使得能夠準確地評估視聽對象中用戶已經錯過的部分，并生成和提供適應錯過部分的概要。因此，向用戶提供了概要，所述概要包含與用戶錯過的內容有關的并且以所確定的時間索引為界的信息。例如，在所提供的概要中不公開視聽對象的劇透。
[0010]本發(fā)明還涉及一種方法，其中:
[0011]數據庫被提供，所述數據庫包括所識別的視聽對象的編有時間索引的圖像的數據；
[0012]所捕獲的信息是所述視聽對象在所述捕獲時的圖像的數據；以及
[0013]所述時間索引是在所述視聽對象在所述捕獲時的圖像的數據與所述數據庫中的所識別的視聽對象的編有時間索引的圖像的數據之間進行相似性匹配時確定的。
[0014]優(yōu)選地，所述視聽對象的圖像的數據的屬性和所識別的視聽對象的編有時間索引的圖像的數據的屬性是簽名屬性。
[0015]使用簽名的優(yōu)點具體地包括數據變得比原始數據更輕(lighter)，因此允許更快的識別和更快的匹配。
[0016]備選地，本發(fā)明涉及一種方法，其中:
[0017]數據庫被提供，所述數據庫包括所識別的視聽對象的編有時間索引的音頻信號的數據；
[0018]所捕獲的信息是所述視聽對象在所述捕獲時的音頻信號的數據；以及
[0019]所述時間索引是在所述視聽對象在所述捕獲時的音頻信號的數據與所述數據庫中的所識別的視聽對象的編有時間索引的音頻信號的數據之間進行相似性匹配時確定的。
[0020]優(yōu)選地，所述視聽對象的音頻信號的數據的屬性和所識別的視聽對象的編有時間索引的音頻信號的數據的屬性是簽名屬性。
[0021]有利地，所述捕獲步驟是由移動設備執(zhí)行的。
[0022]有利地，所述識別步驟、所述確定步驟和所述提供步驟是在專用服務器上執(zhí)行的。
[0023]以此方式，在捕獲側需要更少的處理功率，并且加速了提供概要的過程。
[0024]為了更好地理解，現(xiàn)在將參考附圖在以下描述中更詳細地解釋本發(fā)明。應當理解的是，本發(fā)明不限于所述的實施例，并且在不脫離由所附權利要求所限定的本發(fā)明的范圍的前提下，還可以適當地組合和/或修改所指定的特征。

【專利附圖】

【附圖說明】
[0025]圖1示出了根據本發(fā)明的方法的示例性流程圖。
[0026]圖2示出了根據本發(fā)明的允許方法的實現(xiàn)的裝置的示例。

【具體實施方式】
[0027]參考圖2，示出了被配置為實現(xiàn)本發(fā)明的方法的示例性裝置。該裝置包括:渲染設備201、捕獲設備202和數據庫204以及可選的專用服務器205。將參考圖1中的流程圖和圖2中的裝置更詳細地解釋本發(fā)明的方法的第一優(yōu)選實施例。
[0028]渲染設備201用于渲染視聽對象。例如，視聽對象是電影，并且渲染設備201是顯示器。然后，由裝配有捕獲裝置的捕獲設備202捕獲101所渲染的視聽對象的信息(例如正在顯示的電影的圖像的數據)。這種設備202是例如裝配有數字攝相頭的移動電話。所捕獲的信息用于識別102視聽對象并確定103相對于該視聽對象的時間索引。隨后，提供104所識別的視聽對象的一部分的概要，其中對象的這一部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
[0029]具體地，經由例如網絡203向數據庫204發(fā)送所捕獲的信息(即電影的圖像的數據)。數據庫204包括所識別的視聽對象(例如在本優(yōu)選實施例中，電影集合)的編有時間索引的圖像的數據。優(yōu)選地，視聽對象的圖像的數據和數據庫中的所識別的視聽對象的編有時間索引的圖像的數據是圖像的簽名。例如，這種簽名可以使用關鍵點描述符(例如SIFT描述符)來提取。然后，在視聽對象在捕獲時的圖像的數據與數據庫204中編有時間索引的圖像的數據之間(即在圖像的簽名之間)進行相似性匹配時，執(zhí)行識別102視聽對象和確定103所捕獲的信息的時間索引的步驟。識別對于視聽對象在捕獲時的圖像在數據庫204中最相似的編有時間索引的圖像，從而允許識別視聽對象并確定所捕獲的信息相對于視聽對象的時間索引。于是，獲得所識別的視聽對象的一部分的概要并將其提供104給用戶，所識別的視聽對象的這一部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
[0030]視聽對象的圖像的數據(例如圖像簽名)可以直接由裝配有捕獲裝置的捕獲設備202或備選地在專用服務器205上捕獲。類似地，識別102視聽對象、確定103所捕獲的信息的時間索引和提供104概要的步驟可以備選地在專用服務器205上執(zhí)行。
[0031]直接在設備202上執(zhí)行圖像簽名捕獲的優(yōu)點是:在存儲器方面，向專用服務器205發(fā)送的數據的重量更輕。
[0032]在專用服務器205上執(zhí)行簽名捕獲的優(yōu)點是:簽名的屬性可以在服務器側控制。因此，視聽對象的圖像的簽名的屬性和數據庫204中編有時間索引的圖像的簽名的屬性是相同的并可以直接進行比較。
[0033]數據庫204可以位于專用服務器205之內。當然，數據庫204也可以位于專用服務器205之外。
[0034]在以上優(yōu)選實施例中，所捕獲的信息是圖像的數據。以更一般的方式，信息可以是能夠由擁有自適應捕獲裝置的捕獲設備202捕獲的任意數據，只要所捕獲的數據能夠實現(xiàn)識別102視聽對象以及確定103所捕獲的信息相對于視聽對象的時間索引。
[0035]在針對本發(fā)明的方法的第二優(yōu)選實施例中，所捕獲的信息是視聽對象在捕獲時的音頻信號的數據。該信息可以由裝配有麥克風或揚聲器的移動設備捕獲。視聽對象的音頻信號的數據可以是音頻信號的簽名，然后將該簽名匹配到與數據庫204中包含的音頻簽名集合中最相似的音頻簽名。因此，相似性匹配用于識別102視聽對象并確定103所捕獲的信息相對于視聽對象的時間索引。隨后，提供104所識別的視聽對象的一部分的概要，其中對象的這一部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
[0036]現(xiàn)在將描述數據庫204和所識別的視聽對象的一部分的概要的示例。在現(xiàn)有和/或公共數據庫的幫助下，執(zhí)行離線處理以生成數據庫204?，F(xiàn)在將解釋用于大量電影集合的示例性數據庫，但本發(fā)明不限于以下描述。
[0037]對于數據庫204的概要數據庫，生成整個電影的臨時同步概要。這例如取決于現(xiàn)有提要，例如可以在因特網電影數據庫(MDB)上得到的那些提要?？梢灾苯痈鶕娪暗拿Q取回這種提要?？梢酝ㄟ^使用例如給定電影的音軌的錄制將給定電影的文本描述與給定電影的視聽對象進行同步，來執(zhí)行同步。于是，執(zhí)行從錄制和文本描述中提取的文字和概念的匹配，從而得到電影的同步提要。當然可以手動地獲得同步提要。
[0038]可選地，還提取額外信息。臉部檢測和集群處理應用于整個電影，從而提供在電影中可見的臉部的集群。每個集群由于對應于相同人物的臉部組成。該集群處理可以使用M.Everingham、J.Sivic 和 A.Zisserman 的““ Hello ! My name is...Buffy，，-Automaticnaming of characters in TV video Proceedings of the 17th British Machine Vis1nConference (BMVC 2006)中詳述的技術進行。然后獲得與關聯(lián)于特定人物的存在的電影時間碼列表相關聯(lián)的人物列表?？梢詫⑺@得的集群與給定電影的IMDB人物列表進行匹配，以獲得更好的集群結果。該匹配過程可以包括手動步驟。
[0039]所獲得的同步提要概要和集群列表被存儲到數據庫204中。數據庫204中的電影被劃分為多個幀，并提取每個幀。然后對電影的幀編索引以便于同步后處理，例如確定103所捕獲的信息相對于電影的時間索引。備選地，替代提取電影的每一幀，通過適當的欠采樣來提取僅一部分幀，以減少要處理的數據量。對于每個所提取的幀，生成圖像簽名，例如基于關鍵點描述的指紋。以高效的方式給那些關鍵點及其相關聯(lián)的描述編索引，這可以使用H.Jegou、M.Douze和C.Schmid在“Hamming embedding and weak geometric consistencyfor large scale image search-ECCV, October 2008”中所描述的技術來完成。然后將與圖像簽名相關聯(lián)的電影的幀存儲到數據庫204中。
[0040]為了獲得所識別的視聽對象(例如電影)的一部分的概要，由捕獲設備202捕獲視聽對象的信息(例如其圖像的數據)。然后向數據庫204發(fā)送該信息，并與數據庫204進行比較以識別視聽對象。例如，在數據庫204中識別與所捕獲的信息相對應的電影的幀。所識別的幀有利于所捕獲的信息與數據庫204中的同步提要概要之間的匹配，從而確定所捕獲的信息相對于電影的時間索引。然后向用戶提供電影的一部分的同步概要，其中電影的這一部分被包括在所識別的電影的開始與所確定的時間索引之間。例如，概要可以通過在移動設備202上顯示并由用戶閱讀來提供?？蛇x地，概要可以包括在電影的這一部分中出現(xiàn)的人物的集群列表。
【權利要求】
1.一種用于提供(104)視聽對象的概要的方法，包括以下步驟: (i)從所述視聽對象捕獲(101)信息，所述信息允許識別所述視聽對象并允許確定相對于所述視聽對象的時間索引； (ii)識別(102)所述視聽對象； (iii)確定(103)所捕獲的信息相對于所述視聽對象的所述時間索引；以及 (iv)提供(104)所識別的視聽對象的一部分的概要，所述部分被包括在所識別的視聽對象的開始與所確定的時間索引之間。
2.根據權利要求1所述的方法，其中: 數據庫(204)被提供，所述數據庫(204)包括所識別的視聽對象的編有時間索引的圖像的數據； 所捕獲的信息是所述視聽對象在所述捕獲時的圖像的數據；以及 所述時間索引是在所述視聽對象在所述捕獲時的圖像的數據與所述數據庫(204)中的所識別的視聽對象的編有時間索引的圖像的數據之間進行相似性匹配時確定的。
3.根據權利要求2所述的方法，其中: 所述視聽對象的圖像的數據的屬性和所識別的視聽對象的編有時間索引的圖像的數據的屬性是簽名屬性。
4.根據權利要求1所述的方法，其中: 數據庫(204)被提供，所述數據庫(204)包括所識別的視聽對象的編有時間索引的音頻信號的數據； 所捕獲的信息是所述視聽對象在所述捕獲時的音頻信號的數據；以及 所述時間索引是在所述視聽對象在所述捕獲時的音頻信號的數據與所述數據庫(204)中的所識別的視聽對象的編有時間索引的音頻信號的數據之間進行相似性匹配時確定的。
5.根據權利要求2所述的方法，其中: 所述視聽對象的音頻信號的數據的屬性和所識別的視聽對象的編有時間索引的音頻信號的數據的屬性是簽名屬性。
6.根據前述權利要求中任一項所述的方法，其中，所述捕獲(101)步驟是由移動設備(202)執(zhí)行的。
7.根據前述權利要求中任一項所述的方法，其中，所述識別(102)步驟、所述確定(103)步驟和所述提供(104)步驟是在專用服務器(205)上執(zhí)行的。
【文檔編號】H04N21/462GK104396262SQ201380033497
【公開日】2015年3月4日 申請日期:2013年6月18日 優(yōu)先權日:2012年6月25日
【發(fā)明者】利昂內爾·瓦瑟, 杰奎因·扎佩達, 路易斯·舍瓦利耶, 帕特里克·佩雷斯, 皮埃爾·赫利爾 申請人:湯姆森許可貿易公司