專利名稱：聯(lián)網(wǎng)電視的視頻片段識(shí)別方法及上下文定向內(nèi)容顯示方法
聯(lián)網(wǎng)電視的視頻片段識(shí)別方法及上下文定向內(nèi)容顯示方法相關(guān)申請的交叉引用本項(xiàng)申請根據(jù)美國臨時(shí)專利申請案《美國法典》第35卷119(e)條的規(guī)定主張2009年5月29日提出的第61/182334號(hào)美國臨時(shí)專利申請案以及2009年12月29日提出的第61/290714號(hào)的利益。
背景技術(shù)：
本發(fā)明大體上涉及電視系統(tǒng)正在播放的視頻片段的識(shí)別系統(tǒng)和方法以及根據(jù)該視頻片段識(shí)別向電視系統(tǒng)提供上下文定向內(nèi)容的系統(tǒng)和方法。在本文中，“電視系統(tǒng)”包括但不限于網(wǎng)絡(luò)電視、聯(lián)網(wǎng)電視等電視以及與電視搭配使用或納入電視的設(shè)備，例如，機(jī)頂盒(STB)、DVD播放器、視頻錄像機(jī)等。在本文中，“電視信號(hào)”包括代表視頻數(shù)據(jù)和音頻數(shù)據(jù)的信號(hào)，視頻數(shù)據(jù)和音頻數(shù)據(jù)一起播送(有/無數(shù)據(jù)元)，形成電視節(jié)目或廣告的圖像和聲音部分。在本文中，“數(shù)據(jù)元”指與電視信號(hào)的音頻/視頻數(shù)據(jù)有關(guān)的數(shù)據(jù)。 近年來，光纖和數(shù)字傳輸技術(shù)的發(fā)展使電視行業(yè)得以提高頻道容量，提供某種程度的互動(dòng)電視服務(wù)。這種技術(shù)進(jìn)步主要得益于電視行業(yè)結(jié)合了強(qiáng)大的計(jì)算機(jī)處理能力(以機(jī)頂盒的形式)以及光纜的大信息容量。電視行業(yè)成功地利用機(jī)頂盒擴(kuò)大了渠道選擇范圍，實(shí)現(xiàn)了某種程度的互動(dòng)。人們開發(fā)互動(dòng)電視(ITV)技術(shù)的目的是使電視(TV)機(jī)成為雙向信息發(fā)送機(jī)構(gòu)。具有各種營銷、娛樂及教育功能的互動(dòng)電視(例如，能讓用戶訂購廣告產(chǎn)品或服務(wù)的互動(dòng)電視)與游戲節(jié)目等競爭節(jié)目形成競爭。一般由機(jī)頂盒執(zhí)行為電視轉(zhuǎn)播編寫的互動(dòng)程序，控制互動(dòng)功能?；?dòng)功能一般顯示在電視屏幕上，包括圖標(biāo)或菜單，供用戶通過遙控器或鍵盤做出選擇。根據(jù)ー項(xiàng)現(xiàn)有技術(shù)，互動(dòng)內(nèi)容可以加入播放流(本文亦稱“頻道/網(wǎng)絡(luò)輸入”)。在本發(fā)明中，“播放流”指電視收到的播放信號(hào)(模擬或數(shù)字信號(hào))，無論信號(hào)傳輸方式，例如，天線、衛(wèi)星、電纜等模擬或數(shù)字信號(hào)傳輸方式。一種確實(shí)將互動(dòng)內(nèi)容加入播放流的現(xiàn)有技術(shù)是在特定節(jié)目的播放流中插入觸發(fā)程序。有時(shí)稱這種插入觸發(fā)程序的節(jié)目內(nèi)容為增強(qiáng)節(jié)目內(nèi)容或增強(qiáng)電視節(jié)目或視頻信號(hào)。觸發(fā)程序可以提醒機(jī)頂盒注意互動(dòng)內(nèi)容的存在。觸發(fā)程序包含可用內(nèi)容信息以及內(nèi)容的內(nèi)存位置信息。觸發(fā)程序還可以包含在屏幕底部等位置顯示的用戶感知文本，提示用戶采取某一行動(dòng)或者在多個(gè)選項(xiàng)中作選擇。聯(lián)網(wǎng)電視是通過觀眾的家庭網(wǎng)絡(luò)(有線或無線)接入互聯(lián)網(wǎng)的電視。聯(lián)網(wǎng)電視運(yùn)行互動(dòng)網(wǎng)絡(luò)型應(yīng)用程序。有幾種相互競爭的聯(lián)網(wǎng)電視平臺(tái)，其中Yahoo是最主要的聯(lián)網(wǎng)電視平臺(tái)(參見“http://connectedtv. yahoo, com/”)。聯(lián)網(wǎng)電視平臺(tái)的基本共同特性包括
(I)與互聯(lián)網(wǎng)的連接；以及(2)在電視顯示器頂部運(yùn)行軟件的能力。目前市場上已經(jīng)有幾種支持上述功能的電視(例如，LG、三星和瑞軒已經(jīng)推出了ー些型號(hào))。不久的將來，會(huì)有更多此類電視進(jìn)入市場。行業(yè)觀察人員預(yù)測，幾年后，所有新電視都會(huì)有這些特性。聯(lián)網(wǎng)電視能運(yùn)行雅虎微件引擎、Flash Lite (參見“http://wwwadobe. com/products/flashlite/”)、Google Android等應(yīng)用平臺(tái)或?qū)Ｓ衅脚_(tái)。一個(gè)開發(fā)者社區(qū)構(gòu)建了在該平臺(tái)上運(yùn)行的微件。微件是圖形用戶界面的元素，圖形用戶界面顯示可供用戶修改的信息整序，例如，窗ロ和文本框。微件引擎是指運(yùn)行微件的操作系統(tǒng)。在本文中，“微件”指在微件引擎上運(yùn)行的代碼。每個(gè)微件各自運(yùn)行自己的系統(tǒng)進(jìn)程，因此關(guān)閉ー個(gè)微件時(shí)不影響其他微件的運(yùn)行。微件引擎可包括名為“底座”的特性，“底座”顯示各可用微件的相應(yīng)圖標(biāo)。電視微件使觀眾能夠通過某種方式，例如請求觀看主題的附加信息，與電視進(jìn)行互動(dòng)，無須將觀眾的背景從觀看電視節(jié)目切換到進(jìn)入應(yīng)用程序。針對上述請求，請求的信息作為微件的部分視覺再現(xiàn)顯示在電視屏幕上。目前，幾乎所有電視(聯(lián)網(wǎng)等)在觀眾正在觀看的內(nèi)容上沒有數(shù)據(jù)元。雖然內(nèi)容輸送管線有ー些位和片段形式的信息，但是當(dāng)節(jié)目到達(dá)屏幕時(shí)，僅剩下視頻和音頻信息。具體而言，電視不知道觀眾在觀看的頻道或節(jié)目，也不知道節(jié)目內(nèi)容。(觀眾在屏幕上看到的頻道和節(jié)目信息有時(shí)候是從不完整的信息嫁接到機(jī)頂盒的信息。)這種障礙乃電視內(nèi)容發(fā)行業(yè)的基本結(jié)構(gòu)所致，限制了互動(dòng)電視的功能范圍，對互動(dòng)電視而言是非常嚴(yán)重的問題。因此，需要改進(jìn)觀眾正在觀看的視頻片段識(shí)別系統(tǒng)和方法。另外還需要改進(jìn)向聯(lián)網(wǎng)電視系統(tǒng)提供上下文定向內(nèi)容的系統(tǒng)和方法。

發(fā)明內(nèi)容
本發(fā)明涉及電視系統(tǒng)正在播放的視頻片段的識(shí)別系統(tǒng)和方法。具體而言，正在觀看的視頻片段的識(shí)別數(shù)據(jù)可用于提取觀眾對于特定視頻片段(廣告等)的反應(yīng)(換頻道等)，并且作為指標(biāo)報(bào)告提取信息。在某些實(shí)施方式中，識(shí)別視頻片段的方法是先對屏幕播放的像素?cái)?shù)據(jù)(或相關(guān)音頻數(shù)據(jù))子集取樣，然后在內(nèi)容數(shù)據(jù)庫中查找類似的像素(或音頻)。在另ー些實(shí)施方式中，視頻片段的識(shí)別方法是先提取與該視頻片段相關(guān)的視頻或圖像數(shù)據(jù)，然后在內(nèi)容數(shù)據(jù)庫查找類似的音頻或圖像數(shù)據(jù)。在一些替代性實(shí)施方式中，視頻片段的識(shí)別方法是利用現(xiàn)有的自動(dòng)語音識(shí)別技術(shù)處理與該視頻片段有關(guān)的音頻數(shù)據(jù)。在另ー些替代性實(shí)施方式中，通過處理與視頻片段相關(guān)的數(shù)據(jù)元識(shí)別該視頻片段。本發(fā)明進(jìn)一步涉及向互動(dòng)電視系統(tǒng)提供上下文定向內(nèi)容的系統(tǒng)和方法。進(jìn)行上下文定向時(shí)，不僅需要識(shí)別播放的視頻片段，還要確定當(dāng)前播放的特定視頻片段具體部分的播放時(shí)間或時(shí)間偏移?！安シ艜r(shí)間”和“時(shí)間偏移”指偏離固定時(shí)間點(diǎn)的時(shí)間，例如，具體電視節(jié)目或廣告的開始時(shí)間，在本文中互換使用。更具體地說，本發(fā)明包含一項(xiàng)能夠檢測聯(lián)網(wǎng)電視當(dāng)前播放內(nèi)容、推斷播放內(nèi)容主題、與觀眾進(jìn)行相應(yīng)互動(dòng)的技木。具體而言，本文公開的技術(shù)解決了互動(dòng)電視的能力限制，以通過互聯(lián)網(wǎng)充分發(fā)揮服務(wù)器的功能，從而實(shí)現(xiàn)多種商業(yè)模式，包括如下應(yīng)用(I)提供附加內(nèi)容(導(dǎo)演評論、人物傳記等)使觀眾更大程度地參與正在觀看的節(jié)目；(2)提供基于具體內(nèi)容的“立即購買”功能(植入式廣告、“購買本首歌曲”功能等)；(3)向觀眾提供網(wǎng)絡(luò)型促銷功能(游戲、競賽等)的訪問途徑。在某些實(shí)施方式中，識(shí)別視頻片段及確定時(shí)間偏移的方法是對屏幕播放的像素?cái)?shù)據(jù)(或音頻數(shù)據(jù))子集進(jìn)行取樣，然后在內(nèi)容數(shù)據(jù)庫中查找類似的像素(或音頻)數(shù)據(jù)。在另ー些實(shí)施方式中，識(shí)別視頻片段及確定時(shí)間偏移的方法是提取與視頻片段有關(guān)的音頻或圖像數(shù)據(jù)，然后在內(nèi)容數(shù)據(jù)庫中查找類似的音頻或圖像數(shù)據(jù)。在一些替代性實(shí)施方式中，識(shí)別視頻片段及確定時(shí)間偏移的方法是利用現(xiàn)有的自動(dòng)語音識(shí)別技術(shù)處理與該視頻片段有關(guān)的音頻數(shù)據(jù)。在另ー些替代性實(shí)施方式中，通過處理與視頻片段有關(guān)的數(shù)據(jù)元識(shí)別視頻片段，確定時(shí)間偏移。如下文所述，聯(lián)網(wǎng)電視的觀看視頻片段識(shí)別軟件可以選擇性地位于包含聯(lián)網(wǎng)電視的電視系統(tǒng)。在一些替代性實(shí)施方式中，視頻片段識(shí)別軟件的一部分位于電視系統(tǒng)，另一部分位于通過互聯(lián)網(wǎng)連接電視系統(tǒng)的服務(wù)器。本發(fā)明的其他方面如下文的說明和權(quán)利要求所述。


圖I為本發(fā)明一個(gè)實(shí)施方式所述的聯(lián)網(wǎng)電視的示意圖。圖2-4顯示了相應(yīng)的示范性微件，可以根據(jù)通過主題關(guān)聯(lián)的視頻片段檢測在聯(lián)網(wǎng) 電視上顯示微件。圖5顯示了一個(gè)示范性彈出窗ロ，點(diǎn)擊相關(guān)字段(顯示在圖4所示的微件上)可顯示彈出窗ロ。圖6-10的方框圖顯示了本發(fā)明其他實(shí)施方式所述的系統(tǒng)。圖A1-A6為附件所述的圖表，公開了利用模糊線索跟蹤視頻傳輸所用的算法。下面結(jié)合附圖進(jìn)行說明，附圖以相同的數(shù)字表示不同附圖中的類似元素。
具體實(shí)施例方式在圖I所示的本發(fā)明的第一個(gè)實(shí)施方式中，系統(tǒng)100包括聯(lián)網(wǎng)電視10。聯(lián)網(wǎng)電視10 一般通過處理器12連接全球計(jì)算機(jī)網(wǎng)絡(luò)20。雖然圖中顯示的處理器12設(shè)在聯(lián)網(wǎng)電視10夕卜，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解處理器12也可以設(shè)在電視內(nèi)。在本文中，“全球計(jì)算機(jī)網(wǎng)絡(luò)”包括互聯(lián)網(wǎng)。雖然圖I沒有顯示電視信號(hào)源，但是應(yīng)該理解聯(lián)網(wǎng)電視10接收的是攜帶程序流的電視信號(hào)。在處理器12上運(yùn)行的內(nèi)容微件包括實(shí)時(shí)識(shí)別聯(lián)網(wǎng)電視10所播視頻片段的計(jì)算機(jī)軟件。作為選擇，內(nèi)容微件還可能包括確定片段開始時(shí)間偏移的計(jì)算機(jī)軟件。片段和偏移合稱“位置”。針對所看視頻片段的識(shí)別，微件通過(可選地)時(shí)間偏移的確定向電視觀眾提供ー個(gè)彈出窗ロ 110形式的微件，彈出窗ロ 110顯示與所看視頻片段最相關(guān)的主題。觀眾能在窗ロ 110中選擇ー個(gè)主題，在處理器12上運(yùn)行的微件能根據(jù)觀眾的選擇，在全球計(jì)算機(jī)網(wǎng)絡(luò)20中檢索與選定主題有關(guān)的更多信息。檢索方式，舉例來說，包括將選定主題輸入搜索引擎、在線百科或定制搜索算法?；蛘咭部梢栽诙ㄖ扑惴ㄖ休斎胛恢?，定制算法根據(jù)節(jié)目的位置顯示規(guī)定內(nèi)容。有幾種內(nèi)容檢測方法可用。在一個(gè)實(shí)施方式中，微件檢查與程序流一起提供的數(shù)據(jù)元，數(shù)據(jù)元說明程序流所述的主題。例如，微件檢查與電視信號(hào)一起發(fā)送的隱藏字幕數(shù)據(jù)。在另一個(gè)實(shí)施方式中，微件使用語音識(shí)別軟件，維護(hù)所測語言在一段時(shí)間內(nèi)的使用次數(shù)統(tǒng)計(jì)表。在另ー個(gè)實(shí)施方式中，微件可以用語音特征檢測或圖像檢測軟件識(shí)別程序流中的播放圖像。在另ー個(gè)實(shí)施方式中，微件將視頻或音頻線索送到進(jìn)行檢測和上下文定向的服務(wù)器(下文將結(jié)合圖10詳細(xì)說明適用的視頻像素線索處理軟件的一個(gè)實(shí)施方式)。有幾種主題相關(guān)性確定方法。
針對所看視頻片段的識(shí)別，微件通過(可選地)時(shí)間偏移的確定檢索確定為與所看視頻片段主題上下文相關(guān)的附加信息。對于被確定為與所看視頻片段主題上下文有關(guān)的附加信息或廣告的檢索過程下文稱為“上下文定向”。現(xiàn)在結(jié)合圖2-5說明上下文定向電視微件。上下文定向電視微件是在聯(lián)網(wǎng)電視10頂部運(yùn)行的軟件。軟件提取足夠的信息，識(shí)別觀眾正在觀看的內(nèi)容，然后根據(jù)提取的信息確定觀眾可能感興趣的主題附加信息。在電視屏幕當(dāng)前顯示的程序頂部屏幕位置顯示附加信息。附加信息從聚合或互聯(lián)網(wǎng) 聚集工具(Wikipedia或Google)進(jìn)入網(wǎng)絡(luò)(一般是互聯(lián)網(wǎng))。一些附加信息作為免費(fèi)附加值提供給用戶，另ー些附加信息為付費(fèi)廣告或促銷優(yōu)惠。為了解釋本發(fā)明所述系統(tǒng)提供的觀眾體驗(yàn)，下面介紹幾個(gè)場景。在圖2所示的第一個(gè)場景中，系統(tǒng)通過獲取關(guān)鍵詞、定向一般信息和廣告詞實(shí)現(xiàn)常規(guī)集成。在該場景中，觀眾正在觀看熱播劇《緋聞少女》。在觀看的某ー時(shí)刻，人物討論前往漢普頓過暑假。上下文定向電視微件檢測關(guān)鍵詞“漢普頓”。針對關(guān)鍵詞的檢測，微件底座閃爍或高亮顯示新的關(guān)鍵詞，如圖2的淡陰影所示。如果觀眾打開微件底座(即，觀眾有興趣與微件互動(dòng))，則觀眾能展開微件。如果觀眾不打開微件底座且希望晚點(diǎn)再看，則保存關(guān)鍵詞。電視觀眾始終能夠滾動(dòng)最后N個(gè)關(guān)鍵詞，其中N是50等整數(shù)。當(dāng)觀眾看到自己感興趣的內(nèi)容時(shí)，可以點(diǎn)擊高亮顯示的關(guān)鍵詞，微件展開為側(cè)欄模式，電視節(jié)目繼續(xù)在背景中運(yùn)行。展開的微件(如圖2所示)顯示有關(guān)漢普頓的定向信息，例如(I)漢普頓概述“漢普頓深受大眾喜愛的海濱度假勝地。對于擁有當(dāng)?shù)囟燃傥莸母蝗硕?，漢普頓的很多地方
是他們的樂園......”；以及(2)顯示漢普頓位置的Google地圖。在本實(shí)施例中，展開的
微件還顯示漢普頓的ー些新聞，例如，“雖然麥當(dāng)娜的助理稱是討厭的狗仔破壞了麥姐在漢
普頓度假屋的周末，但是警官回應(yīng)說......”。如果觀眾點(diǎn)擊顯示的其他字段，則展開的微
件還會(huì)顯示定向廣告，例如漢普頓房地產(chǎn)、紐約旅行、以及富人(如同在漢普頓那樣)聚集的其他海灘目的地度假套餐。在圖3所示的第二個(gè)場景中，系統(tǒng)通過獲取熱門關(guān)鍵詞，利用與亞馬遜等ー鍵式商家的關(guān)系和促銷宣傳實(shí)現(xiàn)較復(fù)雜的集成。在第二場景中，觀眾正在觀看《今夜娛樂》、《每日秀》等直播節(jié)目。在節(jié)目過程中，有些人在討論某一名人的行為，例如，小甜甜布蘭妮。上下文定向電視微件獲取關(guān)鍵詞“布蘭妮”。針對這些關(guān)鍵詞的檢測，微件底座閃爍或高亮顯示新的關(guān)鍵詞，如圖3所示。如果觀眾打開微件底座，則微件側(cè)欄顯示定向信息，例如，(I)
布蘭妮的簡單介紹“......布蘭妮 簡 斯皮爾斯，1981年12月2日出生，是美國歌手兼
藝人。布蘭妮在最暢銷女歌手中排名第8......”; (2)帯“立即購買”按鈕的專輯，包括1999
年的《Buy Now)) ((. . . Baby One More Time》、2000 年的《Oops ! . . . I Did It Again》、2001年的〈〈Britney》、2003年的《In the Zone》、2007年的《Blackout》、及2008年的《Circus》；
(3)布蘭尼的一些新聞(盡可能考慮上ー個(gè)關(guān)鍵詞“漢普頓”)；(4)與布蘭妮的照片或MTV有關(guān)的圖片或You Tube捜索結(jié)果鏈接；以及(5)布蘭妮最新演唱會(huì)的宣傳廣告，設(shè)有互動(dòng)日歷，顯示觀眾的地理區(qū)域和“立即購買”按鈕。觀眾點(diǎn)擊“立即購買”按鈕后打開ー個(gè)屏幕，以供觀眾盡量以最少的部分完成交易(使用亞馬遜ID/密碼組合等)。完成一次購買以后，觀眾在日后購物時(shí)無須重復(fù)輸入個(gè)人信息。在圖4所示的第三個(gè)場景中，系統(tǒng)通過獲取關(guān)鍵詞或特定合作伙伴為了富媒體宣傳活動(dòng)而購買的視頻/音頻片段實(shí)現(xiàn)定制集成。在第三個(gè)場景中，觀眾正在觀看廣告，例如，汽車廣告。在該實(shí)施例中，廣告向觀眾提供了激活微件底座“繼續(xù)展示”的決定權(quán)。上下文定向微件通過預(yù)定標(biāo)記或短語獲取廣告，使廣告成為設(shè)定時(shí)間段的優(yōu)先事件。微件側(cè)欄顯示微型網(wǎng)站，激發(fā)用戶進(jìn)ー步進(jìn)行品牌體驗(yàn)，例如，擴(kuò)展廣告人物和主題的附加webasodes ;規(guī)格或功能比較等附加信息；以及游戲、彩票抽獎(jiǎng)或定制工具等互動(dòng)功能。例如，觀眾點(diǎn)擊“和杰森 包恩一起開MINI”字段后顯示Bourne Conspiracy-MINI微型網(wǎng)站(如圖5所示)。在某些實(shí)施方式中，識(shí)別視頻片段和確定時(shí)間偏移的方法是對屏幕顯示的像素?cái)?shù)據(jù)(或相關(guān)音頻數(shù)據(jù))子集進(jìn)行采樣，然后在內(nèi)容數(shù)據(jù)庫中查找類似的像素(或音頻)數(shù)據(jù)。在另ー些實(shí)施方式中，識(shí)別視頻片段和確定時(shí)間偏移的方法是提取與視頻片段有關(guān)的音頻或圖像數(shù)據(jù)，然后在內(nèi)容數(shù)據(jù)庫中查找類似的音頻或圖像數(shù)據(jù)。在替代性實(shí)施方式中，識(shí)別視頻片段和確定時(shí)間偏移的方法是利用現(xiàn)有的自動(dòng)語音識(shí)別技術(shù)處理與視頻片段相關(guān)的音頻數(shù)據(jù)。在另ー些替代性實(shí)施方式中，通過處理與視頻片段相關(guān)的數(shù)據(jù)元識(shí)別視頻片段，確定時(shí)間偏移。
在另ー些實(shí)施方式中，無須確定時(shí)間偏移，系統(tǒng)只需要對出現(xiàn)的關(guān)鍵詞或短語作出反應(yīng)。例如，圖I所示的能在處理器12上運(yùn)行的一種軟件包括四個(gè)基礎(chǔ)模塊(I)數(shù)據(jù)元采集模塊，采集任意觀看內(nèi)容的數(shù)據(jù)元；(2)主題/關(guān)鍵詞提取模塊，分析采集的數(shù)據(jù)元，提取程序的相關(guān)內(nèi)容；(3)有用信息上下文定向模塊，根據(jù)提取的主題/關(guān)鍵詞采集附加信息，并且向用戶提供該等信息；以及(4)廣告上下文定向模塊，根據(jù)提取的主題/關(guān)鍵詞采集創(chuàng)收信息，并且向用戶提供該等信息(包括“立即購買”按鈕以及關(guān)鍵詞廣告和宣傳活動(dòng))。觀眾正在觀看的內(nèi)容有很多數(shù)據(jù)元來源，包括⑴網(wǎng)絡(luò)/電視臺(tái)或第三方(電視指南等)提供的節(jié)目信息；(2)隱藏字幕輸入；(3)觀看節(jié)目的音頻輸入(通過語音識(shí)別運(yùn)行)；(4)觀看節(jié)目的視頻傳輸(通過圖像識(shí)別運(yùn)行)；(5)觀看節(jié)目音頻或視頻輸入頂部的附加渠道；以及(6)人為加入特定節(jié)目和節(jié)目段落的定制內(nèi)容。在ー個(gè)具體的實(shí)施方式中，處理器12在可行的情況下從觀看節(jié)目的視頻傳輸和隱藏字幕信息組合中采集數(shù)據(jù)元。語音識(shí)別引擎處理視頻流，提取關(guān)鍵詞。小心維護(hù)語音識(shí)別算法的字典語言模型，以有效地提取值得定向的關(guān)鍵詞或短語。例如，對字典加權(quán)，以查找“布蘭妮”、“揚(yáng)基隊(duì)”等正確的名詞，阻止查找“綠色”、“熱”等單詞。對于字幕數(shù)據(jù)，由關(guān)鍵詞/主題分析引擎進(jìn)行流(文本流)處理?，F(xiàn)在介紹數(shù)據(jù)元采集構(gòu)件的四種可用設(shè)置。在圖6所示的實(shí)施方式中，在中心服務(wù)器(通過互聯(lián)網(wǎng)等廣域網(wǎng)連接遠(yuǎn)程電視)上處理數(shù)據(jù)元采集和上下文定向所需的數(shù)據(jù)。在圖7所示的實(shí)施方式中，在電視上處理數(shù)據(jù)元采集所需的數(shù)據(jù)，在中心服務(wù)器(通過廣域網(wǎng)連接遠(yuǎn)程電視)上處理上下文定向所需的數(shù)據(jù)。在圖8所示的實(shí)施方式中，在中心服務(wù)器(通過廣域網(wǎng)連接遠(yuǎn)程電視)上處理上下文定向所需的數(shù)據(jù)，在離線服務(wù)器(通過局域網(wǎng)等連接上下文定向服務(wù)器)上處理數(shù)據(jù)元采集所需的數(shù)據(jù)。請注意，在該實(shí)施方式中，電視客戶端18向服務(wù)器的頻道識(shí)別構(gòu)件26發(fā)送線索，以確定正在觀看的節(jié)目，從而確定適用于該電視的數(shù)據(jù)元。另外還需要注意，雖然圖8使用音頻流作為電視客戶端18的輸入，但同樣也可以使用視頻輸入?；蛘?，在可能的情況下使用結(jié)合上述兩種方法的混合方案。
現(xiàn)在結(jié)合圖6進(jìn)行說明，系統(tǒng)200包括遠(yuǎn)程電視10，遠(yuǎn)程電視10通過廣域網(wǎng)(圖中未顯示)連接中心服務(wù)器220。電視10包括多像素屏幕、處理器及電視信號(hào)接收接ロ。利用包含微件平臺(tái)或引擎14的軟件以及與服務(wù)器220通信的電視客戶端18對電視處理器進(jìn)行編程。微件引擎可以在電視屏幕上顯示多個(gè)微件16中的任意ー個(gè)。服務(wù)器220有一個(gè)或多個(gè)處理器及軟件，包括語音識(shí)別模塊22和上下文定向模塊24。在該實(shí)施方式中，客戶端18接收電視節(jié)目或觀看節(jié)目的音頻流，壓縮該音頻流，并將壓縮的音頻流發(fā)送給服務(wù)器220。電視客戶端18向服務(wù)器220發(fā)送的信息也可以包括字幕流(如有)或其他數(shù)據(jù)元及/或頻道信息。語音識(shí)別模塊22處理壓縮的音頻流，確定正在觀看的渠道。在圖6所示的設(shè)置中，需要為電視操作系統(tǒng)(一般是Linux)構(gòu)建輕型客戶端，視操作系統(tǒng)采集電視10的音頻流、壓縮信號(hào)、并且使信號(hào)通過網(wǎng)絡(luò)流向正在等待的服務(wù)器220。該音頻流附有令牌，以使服務(wù)器關(guān)聯(lián)數(shù)據(jù)流與特定的用戶及/或電視。接著，服務(wù)器在流上運(yùn)行實(shí)時(shí)語音識(shí)別算法22，或者確定字幕捜索，提取關(guān)鍵詞/短語。有幾種適用的語音識(shí)別程序包，例如，名為 Sphinx-4 的(http://cmusphinx, sourceforge, net/sphinx4/)開源包，Sphinx-4是完全使用JAVA編程語言編寫的語音識(shí)別程序。關(guān)鍵詞/短語可附于相關(guān)的用戶/電視，供上下文定向模塊24用于向微件16傳送內(nèi)容(第三方內(nèi)容輸入等)。服 務(wù)器220在永久用戶數(shù)據(jù)庫30中存入用戶信息，包括電視ID號(hào)，在該電視上觀看的節(jié)目、以及利用電視顯示的微件16所做的選擇?，F(xiàn)在結(jié)合圖7進(jìn)行說明，系統(tǒng)300包括遠(yuǎn)程電視10，遠(yuǎn)程電視10通過廣域網(wǎng)(圖中未顯示)連接中心服務(wù)器320。在該設(shè)置中，需要為電視操作系統(tǒng)構(gòu)建較重的(基本仍屬于輕型)客戶端18，電視操作系統(tǒng)將采集數(shù)據(jù)元(包括字幕數(shù)據(jù))或采集電視的音頻流，運(yùn)行較為有限的算法以確定相關(guān)主題，僅向服務(wù)器320發(fā)送提取的關(guān)鍵詞/短語。在ー個(gè)實(shí)施方式中，語音識(shí)別客戶端18查看服務(wù)器320，定期更新其字典語言模塊。有幾種程序包能夠?yàn)橐苿?dòng)設(shè)備和嵌入設(shè)備(沒有強(qiáng)大的CPU，與電視類似)提供輕型語音識(shí)別。相關(guān)實(shí)例包
括上述開源 Sphinx-4 包的移動(dòng)版本-PocketSphinx (http ；//cmusphinx. sourceforge.
net/html/compare. php)。關(guān)鍵詞/短語附于相關(guān)的用戶/電視，供上下文定向模塊24用于向微件16傳送內(nèi)容(第三方內(nèi)容輸入等)。同樣，服務(wù)器320在永久用戶數(shù)據(jù)庫30中存入用戶信息，包括電視ID號(hào)，在該電視上觀看的節(jié)目、以及利用電視顯示的微件16所做的選擇。現(xiàn)在結(jié)合圖8進(jìn)行說明，系統(tǒng)400包括遠(yuǎn)程電視10 (通過廣域網(wǎng)(圖中未顯示)連接中心服務(wù)器420)以及ー個(gè)或多個(gè)離線服務(wù)器410，離線服務(wù)器通過局域網(wǎng)(圖中未顯示)連接服務(wù)器420。服務(wù)器420的軟件包括上下文定向模塊24和頻道識(shí)別模塊26。在圖8所示的配置中，離線服務(wù)器410連續(xù)接收對應(yīng)電視頻道組的輸入內(nèi)容，運(yùn)行較重較強(qiáng)大的算法，為每個(gè)頻道設(shè)置數(shù)據(jù)元標(biāo)記。輕型電視客戶端18(電視操作系統(tǒng)的組成部分)僅向服務(wù)器420輸送足夠的信息，使服務(wù)器420得以識(shí)別正在觀看的頻道。如圖8所示，電視客戶端接收觀看電視節(jié)目的音頻流，提取待發(fā)送給服務(wù)器420的音頻數(shù)據(jù)，使服務(wù)器420以音頻特征檢測或其他方式識(shí)別正在觀看的頻道。或者，電視客戶端18可向服務(wù)器420發(fā)送像素或音頻線索(包括像素或音頻數(shù)據(jù)樣本批)，服務(wù)器420可以利用本文附件公開的技術(shù)處理模糊像素或音頻線索，識(shí)別正在觀看的頻道。例如，電視客戶端18可以向服務(wù)器420發(fā)送像素線索，在這種情況下，頻道識(shí)別模塊26可能包括適當(dāng)?shù)囊纛l像素線索處理軟件，下文將結(jié)合圖10對軟件類型進(jìn)行說明。在另ー個(gè)替代性實(shí)施方式中，電視客戶端18可能接收視頻流，提取待發(fā)給服務(wù)器420的圖像數(shù)據(jù)，使頻道識(shí)別模塊26能夠利用圖像識(shí)別軟件識(shí)別正在觀看的頻道。根據(jù)從電視客戶端收到的信息，服務(wù)器420能方便地識(shí)別正在觀看的視頻片段以及與節(jié)目開始時(shí)間相対的時(shí)間偏移。在線服務(wù)器420匹配觀眾正在觀看的頻道與離線服務(wù)器410標(biāo)記的頻道，向上下文定向模塊24傳輸離線服務(wù)器先前提供的、相應(yīng)的關(guān)鍵詞/短語。關(guān)鍵詞/短語附于相關(guān)的用戶/電視，供上下文定向模塊24用于向微件16傳送內(nèi)容(第三方內(nèi)容輸入等)。離線服務(wù)器沒有必要實(shí)時(shí)運(yùn)行。離線服務(wù)器定期(每小時(shí)或每天)將數(shù)據(jù)元(包括上述關(guān)鍵詞/短語)加載到服務(wù)器420內(nèi)存。此外，雖然離線服務(wù)器410采集的是網(wǎng)絡(luò)直播輸入，但是觀眾可延遲數(shù)小時(shí)或數(shù)天觀看同一內(nèi)容。在線服務(wù)器420對頻道和相應(yīng)的時(shí)間指標(biāo)與節(jié)目(實(shí)時(shí)節(jié)目和以往節(jié)目)作匹配。離線服務(wù)器410和頻道識(shí)別元件26經(jīng)配置在指定時(shí)間內(nèi)(通常為數(shù)日至一周)保存節(jié)目線索和數(shù)據(jù)元。仍然結(jié)合圖8進(jìn)行說明，另外還有ー種設(shè)置是在向離線服務(wù)器410輸送以外(或 者作為代替)，定期將節(jié)目傳輸分批輸入離線服務(wù)器410。離線服務(wù)器410在指定的時(shí)間內(nèi)保存線索和數(shù)據(jù)元，使該設(shè)置形成節(jié)目線索和數(shù)據(jù)元庫，特別有利于在DVR或DVD上觀看內(nèi)容的用戶。請注意，也可以用網(wǎng)絡(luò)輸入中的分批輸入加載節(jié)目。在本發(fā)明的另ー個(gè)方面，可以采用混合方案。合理的設(shè)置必須ー個(gè)混合方案，能在最適合的情況下采用上述每種方法。由于電視配置差異巨大，因此ー個(gè)方案不能滿足所有用戶的要求。對于有可用頻道/網(wǎng)絡(luò)數(shù)據(jù)的觀眾(例如，用戶線上觀看電視或者下載按需服務(wù)的內(nèi)容)或者在音頻輸入識(shí)別為已知頻道的情況下，可優(yōu)先選用離線計(jì)算方法(如圖8所示)。如果沒有寬帶無法形成音頻流，則可以用電視的語音識(shí)別客戶端(參見圖7)處理最熱門的關(guān)鍵詞。對于觀看DVD或者使用DVR的觀眾而言，流向服務(wù)器的傳輸(參見圖6)將提供更好/更深的分析。如頻道檢測或具體節(jié)目設(shè)置可行，則僅將線索發(fā)送到服務(wù)器上進(jìn)行匹配(參見圖8)。系統(tǒng)在各種情況下根據(jù)各種方法的成功率、客戶記錄和廣告商的價(jià)值、可用帶寬或計(jì)算能力等標(biāo)準(zhǔn)選用方法。在圖9所不的本發(fā)明的另ー個(gè)實(shí)施方式中，系統(tǒng)500包括服務(wù)器520,服務(wù)器520維護(hù)與離線上下文定向服務(wù)器510通信的用戶數(shù)據(jù)庫30。離線上下文定向服務(wù)器510接收數(shù)據(jù)庫30的輸入以及頻道或網(wǎng)絡(luò)輸入和內(nèi)容輸入，向服務(wù)器520提供信息，服務(wù)器520據(jù)此將處理過的信息傳給聯(lián)網(wǎng)電視10。具體而言，系統(tǒng)500包括電視10 (帶微件平臺(tái)14和客戶端18)，離線服務(wù)器510 (上下文定向引擎在該服務(wù)器上運(yùn)行)，服務(wù)器520 (包括與模塊530匹配的音頻輸入頻道和語音識(shí)別上下文定向引擎540)以及觀眾數(shù)據(jù)庫30。系統(tǒng)500經(jīng)編程算出觀眾正在觀看的內(nèi)容，已經(jīng)用進(jìn)入電視10的音頻流予以實(shí)現(xiàn)。電視有各種可能的設(shè)置，大多數(shù)設(shè)置會(huì)“損失”最有價(jià)值的數(shù)據(jù)元，例如，隱藏字幕、頻道信息及節(jié)目描述。具體而言，大部分通過HDMI電纜連接電視的分線盒配置數(shù)據(jù)元性能均較差。音頻和視頻輸入是最小公分母，普遍存在于所有設(shè)置。圖9顯示了電視客戶端18和音頻輸入頻道匹配模塊530 (以音頻特征檢測或其他方式用音頻流檢測正在觀看的頻道?；蛘?，電視客戶端18可以向服務(wù)器520發(fā)送像素線索(包括像素?cái)?shù)據(jù)樣本批)，頻道匹配模塊530利用本文附件I公開的技術(shù)處理模糊像素線索，識(shí)別正在觀看的頻道。在圖9所示的具體實(shí)施方式
中，電視客戶端模塊18是電視操作系統(tǒng)的輕型客戶端，電視操作系統(tǒng)采集電視的音頻流、壓縮信號(hào)、通過全球計(jì)算機(jī)網(wǎng)絡(luò)(圖9未顯示)向服務(wù)器52發(fā)送信號(hào)。音頻流附有令自牌，使服務(wù)器520得以關(guān)聯(lián)音頻流和特定電視/觀眾。服務(wù)器520接收電視10的音頻流，與既定的電視/觀眾關(guān)聯(lián)，將音頻流發(fā)給音頻傳入頻道匹配模塊530，如無法發(fā)給模塊530，則發(fā)送給語音識(shí)別上下文定向引擎540用于標(biāo)記。標(biāo)記定向內(nèi)容后，服務(wù)器54將定向內(nèi)容回傳給電視10微件16。服務(wù)器520包括音頻傳入頻道匹配模塊530，該模塊試圖將電視10的音頻流與全國人氣最高的有線電視頻道的數(shù)百個(gè)已知即時(shí)動(dòng)態(tài)集作匹配。如果觀眾在觀看已知頻道，則利用運(yùn)行于離線服務(wù)器510的上下文定向引擎收集的數(shù)據(jù)元進(jìn)行標(biāo)記。未經(jīng)語音識(shí)別上下文定向引擎540處理。語音識(shí)別上下文定向引擎540作為備份選項(xiàng)，不需要監(jiān)控全國的所有頻道。另外，在該連續(xù)過程中，對頻道變化進(jìn)行檢測，添加多個(gè)頻道的主題/關(guān)鍵詞確定增加標(biāo)記數(shù)量。上下文定向引擎是在離線服務(wù)器510上運(yùn)行的軟件?；蛘撸梢允褂枚鄠€(gè)離線服 務(wù)器。離線服務(wù)器510連接全國各地高人氣有線和網(wǎng)絡(luò)頻道的即時(shí)動(dòng)態(tài)?？梢詫?dòng)態(tài)內(nèi)容進(jìn)行配置，以顯示客戶端電視丟失的有用數(shù)據(jù)元。具體而言，隱藏字幕數(shù)據(jù)、節(jié)目說明和頻道類型激活在頻道上標(biāo)記實(shí)時(shí)主題/關(guān)鍵詞信息的上下文定向引擎。由于每個(gè)頻道只需處理一次(而不是每個(gè)客戶端電視一次)，因此可以實(shí)時(shí)運(yùn)行更強(qiáng)大的算法。使用微件的觀眾的實(shí)際響應(yīng)連續(xù)改善過程產(chǎn)生——數(shù)據(jù)元字典。觀眾響應(yīng)從微件16發(fā)送到服務(wù)器520，存入用戶數(shù)據(jù)庫30，發(fā)送給離線服務(wù)器510，如圖9名為“用戶微件反饋”箭頭所示。上下文定向引擎使微件觀眾的互動(dòng)關(guān)鍵詞享有優(yōu)先權(quán)，忽略的內(nèi)容降級。從而使當(dāng)前電視10內(nèi)容的數(shù)據(jù)元字典更為精確。如前所述，服務(wù)器520包括語音識(shí)別上下文定向引擎540。對于調(diào)到未識(shí)別頻道、播放DVD或使用DVR的觀眾，用實(shí)時(shí)語音識(shí)別方案提取主題/關(guān)鍵詞。語音識(shí)別系統(tǒng)只能使用有限的字典，該方案具有可行性的關(guān)鍵是離線服務(wù)器510維護(hù)的簡明主題/關(guān)鍵詞字典，即當(dāng)前電視節(jié)目流行的、微件觀眾已經(jīng)參與的關(guān)鍵詞字典。由于在最近的時(shí)間(很多情況下僅在數(shù)小時(shí)后)錄制播放內(nèi)容，在離線過程中標(biāo)記播放內(nèi)容且利用微件反饋內(nèi)容改善播放內(nèi)容的數(shù)據(jù)元，因此上述系統(tǒng)特別有利于使用DVR的觀眾?，F(xiàn)在仍然結(jié)合圖9進(jìn)行說明，電視10微件16利用上述所有構(gòu)件完成的定向，僅為觀眾實(shí)際觀看系統(tǒng)的組成部分。普通的Konfabulator微件必須定期更新以獲得新的感覺和外觀，與之不同的是，上下文定向微件16能在任意規(guī)定時(shí)間根據(jù)定向內(nèi)容改變呈現(xiàn)形式?，F(xiàn)在說明本發(fā)明的優(yōu)選實(shí)施方式。雖然待公開系統(tǒng)的聯(lián)網(wǎng)電視帶內(nèi)容微件引擎和客戶端軟件(產(chǎn)生像素線索點(diǎn)等)，但是在本發(fā)明范圍內(nèi)，微件引擎和客戶端軟件置于STB、DVR或DVD播放器等向聯(lián)網(wǎng)電視提供電視信號(hào)的配置設(shè)備。另外，雖然待公開系統(tǒng)對像素值進(jìn)行取樣和處理，但取樣、處理的值也可以是音頻值或隱藏字幕等數(shù)據(jù)元。圖10所示的優(yōu)選實(shí)施方式所述系統(tǒng)的主要構(gòu)件包括電視系統(tǒng)52以及通過互聯(lián)網(wǎng)等網(wǎng)絡(luò)通信的第一服務(wù)器54。另外，系統(tǒng)包括第二服務(wù)器56 (以下稱“離線服務(wù)器”)，離線服務(wù)器56通過網(wǎng)絡(luò)，優(yōu)選為局域網(wǎng)(LAN)與第一服務(wù)器54通信。圖10顯示了電視系統(tǒng)52、第一服務(wù)器54和離線服務(wù)器56的功能構(gòu)件。電視系統(tǒng)52包括電視，包括由多像素屏幕(圖10未顯示)以及ー個(gè)以上向電視提供電視信號(hào)的其他構(gòu)件(未顯示)組成的電視。例如,其他電視構(gòu)件包括STB、DVR或DVD播放器。電視系統(tǒng)52還包括處理器(圖10未顯不)。處理器可加入電視或電視系統(tǒng)一個(gè)以上的其他構(gòu)件?，F(xiàn)在仍然結(jié)合圖10進(jìn)行說明，電視系統(tǒng)的處理器用包括微件引擎58和客戶端60的軟件進(jìn)行編程。如前文關(guān)于電視系統(tǒng)過程位置的說明，微件引擎和客戶端軟件可位于電視或電視系統(tǒng)ー個(gè)以上的其他構(gòu)件。應(yīng)該理解的是，微件引擎和客戶端軟件也可以在電視系統(tǒng)52的不同處理器上獨(dú)立運(yùn)行。在任意情況下，客戶端模塊60經(jīng)編程對像素?cái)?shù)據(jù)進(jìn)行采樣，產(chǎn)生HTTP請求，根據(jù)采樣的像素?cái)?shù)據(jù)發(fā)送給服務(wù)器54。HTTP請求包括ー個(gè)時(shí)間標(biāo)記和多個(gè)RGB (或十六進(jìn)制)值串，RGB(或十六進(jìn)制)值串稱為“像素線索點(diǎn)”。姆個(gè)像素線索點(diǎn)包括相應(yīng)的RGB(或十六進(jìn)制)值子集，構(gòu)成電視屏幕播放的視頻片段的相應(yīng)“幀”，詳細(xì)說明參見下文。[事實(shí)上，數(shù)據(jù)視頻沒有幀。本文公開的系統(tǒng)以一定的時(shí)間采樣，例如，在各時(shí)間量T采樣。]
此處需要注意的是服務(wù)器54包括處理器和內(nèi)存(圖10均未顯示)。圖10顯示的 服務(wù)器54至少包括以下軟件構(gòu)件頻道識(shí)別模塊62、上下文定向模塊64及包括索引內(nèi)容庫的數(shù)據(jù)庫66。頻道識(shí)別模塊和上下文定向模塊在服務(wù)器進(jìn)程上運(yùn)行。庫數(shù)據(jù)本身需要一致、可用、可供快速捜索的存儲(chǔ)格式。最簡單的方法是將庫載入服務(wù)器內(nèi)存的數(shù)據(jù)結(jié)構(gòu)。另ー個(gè)方法是將庫的大部分內(nèi)容存盤。頻道識(shí)別模塊62包括點(diǎn)管理子模塊和用戶管理子模塊(圖10未顯示)。點(diǎn)管理子模塊以兩種方式捜索數(shù)據(jù)庫66 : (I)在整個(gè)庫中捜索既定的點(diǎn)集，返回所有可能匹配的內(nèi)容；以及(2)捜索既定的點(diǎn)設(shè)集和既定的可能位置，返回用戶是否真正處于當(dāng)前存儲(chǔ)數(shù)據(jù)所指示的位置。[“用戶”指用全局唯一性ID識(shí)別的唯一電視等設(shè)備。]用戶管理子模塊保留用戶會(huì)話，利用點(diǎn)管理子模塊的結(jié)果匹配位置(位于觀看的視頻片段)與具體用戶。用戶管理子模塊同時(shí)保留用于確定匹配形式及時(shí)間的配置和容差。用戶管理子模塊還包括一個(gè)會(huì)話管理器。用戶管理子模塊根據(jù)從電視客戶端模塊60接收的HTTP請求匹配用戶位置。如果用戶ID已經(jīng)包括會(huì)話數(shù)據(jù)，則HTTP請求路由至?xí)捤降挠脩艄芾碜幽K(會(huì)話持續(xù)性)。用戶管理子模塊查看用戶記錄，決定向點(diǎn)管理子模塊提出的搜索請求(如有)類型。如果用戶位置是可能的內(nèi)容，則調(diào)用點(diǎn)管理子模塊圍繞該位置作強(qiáng)カ搜索。如果不知道用戶位置，則調(diào)用點(diǎn)管理子模塊作概率全局捜索。點(diǎn)管理子模塊將更新位置存入用戶會(huì)話。如圖10標(biāo)為“線索”的箭頭所示，客戶端模塊60向頻道識(shí)別模塊62的用戶管理子模塊發(fā)送含像素線索信息的定期更新。上述通信通過上述HTTP請求完成，像素線索信息發(fā)送“獲取”參數(shù)。上述HTTP請求的實(shí)施例http://SERVER_NAME/index token = TV_ID&time = 5799&cueData = 8-1-0,7-0-0，170-158-51,134-21-16，3-0-6，210-210-212，255-253-251，3-2-0，255-255-244，13-0-0，182-30-25，106-106-40，198-110-103，| 28-5-0，3-0-2，100-79-2，147-31-41，3-0-6，209-209-209，175-29-19，0-0-0，252-249-237，167-168-165，176-25-17，113-113-24，171-27-32，| 38-7-0，2-2-2，99-70-0，116-21-31，6-0-9，210-210-210，179-31-22,31-31-33,162-65-64，10-10-10，184-33-25，105-108-32，169-28-28，1104-86-15，4-4-4，46-18-0，178-112-116，0_0_1，213-213-213，178-31-22，21ト21ト211，
164-62-72,0-0-0，183-32-24，150-149-42，153-27-19，|188-192-43，2-1-6，67-49-0，156-92-95，3-1-2，215-215-215，177-28-19，226-233-53，249-247-247，207-211-21，182-31-23,136-153-47，152-25-18，| 192-118-109，176-181-84,201-201-201,218-172-162,201-200-39，226-226-226,244-244-244，22卜214-212，166-165-170，209-209-209，191-26-36,154-28-20，150-21-15，|0-3-0,0-0-0，156-27-22，16卜28-19，192-192-26，157-26-22，174-29-23，149-23-18，190-34-25，156-27-20，176-27-18，0-0-0，184-30-25, I 159-29-19,9-3-0,16卜26-22，137-22-15，0_4_9，167-26-26,159-28-25, 165-27-24,65-21-13，154-22-19，99-24-11，153-24-20，185-34-28，|153-26-21，
0-0-0，165-25-15，141-24-13，1-1-1，165-25-17，154-27-24，182-32-26，180-31-25,149-25-17，155-21-19，36-12-4，171-29-22，1153-26-21，0-0-0，165-25-15，14ト24-13，
1-1-1，165-25-17，154-27-24，182-32-26，180-31-25,149-25-17，155-21-19，36-12-4，171-29-22，該HTTP請求包含如下參數(shù)參數(shù)“令牌”是電視(或其他設(shè)備)的唯一標(biāo)識(shí)符。生產(chǎn)商向每臺(tái)電視分配全局唯一的ID，該ID發(fā)給頻道識(shí)別模塊62的用戶管理子模塊，如圖10所示。參數(shù)“時(shí)間”是任意時(shí)間標(biāo)記，用于保持請求順序，協(xié)助計(jì)算下文所述的“最可能位置”。一般由電視機(jī)的內(nèi)置時(shí)間提供該參數(shù)。參數(shù)“cueData”是RGB值列表，例如，包括RGB組合的像素值樣本。其格式包括Rl-Gl-Bl、R2-G2-G2、. R3-G3-B3，R4-G4-B4， | 等，其中每個(gè) RX-GX-BX 指示一個(gè)相應(yīng)的RGB位置。RGB位置I、RGB位置2和RGB位置3組成樣本。樣本11樣本2 |樣本3 |等構(gòu)成HTTP請求。[本文所附的權(quán)利要求書將樣本稱為“像素線索點(diǎn)”。]應(yīng)該盡可能對“ RGB位置”作廣泛的解釋，以包含以X坐標(biāo)和Y坐標(biāo)標(biāo)識(shí)的単獨(dú)像素的RGB值集，以及作為陣列(方陣列等)內(nèi)多個(gè)單獨(dú)像素函數(shù)RGB值函數(shù)的RGB值集。在第二種情況下，陣列所有像素的単獨(dú)RGB值集的集合稱為“PatchData”。像素陣列位于電視屏幕的既區(qū)域(方形區(qū)域等。在上述實(shí)施例中，HTTP請求的cueData參數(shù)有10個(gè)樣本,ー個(gè)視頻幀ー個(gè)樣本，每個(gè)樣本包含13個(gè)像素或13個(gè)像素陣列的RGB值，為十個(gè)樣本中的每個(gè)樣本采集相同的像素或像素陣列。但是，每幀像素值的數(shù)量、取樣像素的位置、以及HTTP請求的樣本數(shù)量可以隨著電視客戶端構(gòu)件收到的點(diǎn)采樣指令而變化。在圖10所示的實(shí)施方式中，電視系統(tǒng)52包含提取像素信息的系統(tǒng)級函數(shù)。函數(shù)定期“醒來”，例如，每0. I秒“醒來” 一次，提取各像素?cái)?shù)據(jù)“幀”的N片像素?cái)?shù)據(jù)，其中是N正整數(shù)(例如，13)。各片的像素?cái)?shù)據(jù)減至単一像素樣本，即單ー RGB值集，該單ー像素樣本是相應(yīng)路徑的像素?cái)?shù)據(jù)函數(shù)。函數(shù)可以是平均、加權(quán)平均等適當(dāng)函數(shù)。一系列“幀”(例如10個(gè))的像素樣本累積后發(fā)送給服務(wù)器。例如，電視客戶端定期(例如，每1.0秒一次)向服務(wù)器發(fā)送像素樣本批。下面為示范性API規(guī)格說明文件(以C計(jì)算機(jī)語言編寫)。API是電視客戶端模塊60的一部分，軟件在電視系統(tǒng)的芯片組中運(yùn)行。芯片組實(shí)現(xiàn)以下API規(guī)范定義的具體函數(shù)。
/ *
*TVCaptureAPI. h
木 */
#ifndef TVCAPTUREAPI_H_
#define TVCAPTUREAPI_H_
/**
*A class holding a single pixel
*The pixel can be saved either as an RGB combination oras the hex value.
typedef struct pixel (int red;int green;int blue;
long hexValue;
)Pixel;
/**
*A class representing a rectangular patch of the videoplane
*The rectangle is defined by its top left and bottomright corners
typedef struct patch (
int topLeftX， topLeftY;

int bottomRightX, bottomRightY;
)Patch;
/ *
*A class holding a snapshot in time of the pixel datafor a patch
*pixelData is an array of pixels starting from the topleft corner and going down row by row
*numOfPixels is clearly just for convenience since itis derived from the left and right corners
*/
typedef struct patchData [
int topLeftX, topLeftY;
int bottomRightX, bottomRightY;
int numOfPixels;
Pixel* pixelData;
)PatchData;
/ *
*Returns an array of PatchData objects for therequested patches.
*Each patchData contains a snapshot of the pixeldata for that patch on the video plane at that moment.
*
*Qparam: requestedPatches an array of patches forwhich you want to get back data.
*Qreturn:an array of datar—一 —一.
PatchData* getPatchesFromVideo (Patch *requestedPatches,int numOfPatches);

/ **
*Cleans up the patchData created by getPatchesFromVideo
*You MUST call a cleanup every time you callgetPatchesFromVideo
*
*0param: othe pointer to the PatchData thatwas returned by getPatchesFromVideo
*Qparam: numOfPatches the number of patches*/
void freePatchData (PatchData* o, int numOfPatches);
/ *
*Returns the dimension of a patch covering the entirevideo plane (i. e. a fancy way of saying the dimensionsof the video). Note that this may not be just the screensize depending on where in the pipeline the video iscaptured since video can be stretched to fit etc.
氺
*Qparam reta pointer to the return object.This will get populated with a patch object whose topleft corner is 0, 0 and whose bottom Ieft corner is thebottom left of the video
*
*Qreturn 0 if success. -I if failed.
*/
int getVideoDimensions (Patch *ret);
/ **
*Returns a unique ID for this device. This will be usedto share metadata extracted for this TV with anyequipped widget running on the TV.


*Qparam: buffthe return string buffer.
*0param: max-lenthe maximum length of the ID
本
*Qreturn:the number of characters in the ID if successful.
*If the ID had to get truncated, a negative value of theactual number of characters is returned.
*
*/
int getTVID (char* buff, int max-len);
#endif /* TVCAPTUREAPI_H_ */API文件包括相關(guān)“片”、“PatchData”和“像素”的三個(gè)數(shù)據(jù)結(jié)構(gòu)聲明。電視屏幕像素安排在X、Y平面，每個(gè)像素由X坐標(biāo)和Y坐標(biāo)識(shí)別?！跋袼亍卑ㄈ齻€(gè)整數(shù)(RGB值等)。[或者，可以用十六進(jìn)制值構(gòu)成聲明]?！捌笔请娨暺聊坏姆綁K坐標(biāo)，每個(gè)方塊包括像素陣列?！癙atchData”是屏幕既定方塊中的“像素”集合。句法注意事項(xiàng)在C語言中，“像素*”指“像素”集合。因此，“PixehpixelData; ”指任意命名的“ pixelData”的“像素”集合。函數(shù)PatchData^getPatchesFromVideo(Patch*requestedPatches, intnumOfPatches)；由電視系統(tǒng)的芯片組實(shí)現(xiàn),指函數(shù)“getPatchesFromVideo”返回“PatchData”集
ム
ロ o再次結(jié)合圖10進(jìn)行說明，在優(yōu)選實(shí)施方式中，電視客戶端模塊60經(jīng)編程獲取各陣列(片等)內(nèi)各個(gè)像素的RGB值。然后對各個(gè)像素陣列或片的RGB值的集合進(jìn)行處理，產(chǎn)生各個(gè)像素陣列或片的相應(yīng)RGB值集。換言之，對于3X3的像素陣列，9個(gè)RGB值集合減至單個(gè)RGB值集?？梢杂貌煌臄?shù)學(xué)函數(shù)實(shí)現(xiàn)上述運(yùn)算，例如，平均或加權(quán)平均。電視客戶端60向服務(wù)器54的頻道識(shí)別模塊62發(fā)送的HTTP請求包括各片的RGB值集(三個(gè)整數(shù)等)，不包括各片的全部。電視客戶端模塊60是通過“烘烤”附于電視芯片等設(shè)備的嵌入式代碼段，向頻道識(shí)別模塊62的用戶管理子模塊發(fā)送采集的點(diǎn)?？梢栽诰哂泄碳碌淖侄沃懈码娨暱蛻舳四K。在一個(gè)實(shí)施方式中，電視客戶端模塊60定期向服務(wù)器54請求指令，以確定采樣點(diǎn)數(shù)、頻率、位置等。電視客戶端模塊不需要按采樣速率向服務(wù)器發(fā)送點(diǎn)。在一個(gè)實(shí)施方式中，電視客戶端模塊每秒大約取10次樣，對結(jié)果點(diǎn)進(jìn)行分批，以一定的時(shí)間，例如毎秒，向服務(wù)器發(fā)送點(diǎn)。電視客戶端模塊需要了解具有會(huì)話的用戶管理子模塊構(gòu)件。在初始化過程中(此后定期)，電視客戶端模塊調(diào)用用戶管理會(huì)話管理器獲取用戶管理構(gòu)件的地址。分配給既定電視等設(shè)備的用戶管理構(gòu)件保持用戶的會(huì)話信息。如果沒有分配的用戶管理構(gòu)件可用(如崩潰等)，則會(huì)話管理器指定新的用戶管理構(gòu)件。電視客戶端模塊還需要任意時(shí)間標(biāo)記，以保持請求順序，向點(diǎn)管理子模塊的相關(guān)構(gòu)件發(fā)送定位信息。針對從客戶端模塊10收到的HTTP請求，頻道識(shí)別模塊62實(shí)時(shí)識(shí)別HTTP請求的cueData所取自的視頻片段，以及與片段開始時(shí)間相対的時(shí)間偏移。如前所述，片段和偏移合稱“位置”。頻道識(shí)別模塊62的點(diǎn)管理子模塊用路徑跟蹤算法為存入數(shù)據(jù)庫(最接近HTTP請求收到的像素線索點(diǎn))的像素線索點(diǎn)捜索數(shù)據(jù)庫66。完成方式參見附件《路徑跟蹤問題用任意線索跟蹤視頻傳輸》，該附件的全部內(nèi)容通過引用方式并入本文。圖10所示的PPLEB雙箭頭說明頻道識(shí)別模塊的點(diǎn)管理子模塊與數(shù)據(jù)庫16通信，同時(shí)執(zhí)行路徑跟蹤算法，算法包括平均球概率點(diǎn)位(PPLEB)和高效可能性更新算法。附件詳細(xì)介紹了最可能“位置”的識(shí)別方法，包括數(shù)學(xué)方程式。下文將更明確地介紹搜索方法。附件所述的路徑跟蹤算法使用名為局部敏感哈希的數(shù)學(xué)構(gòu)造。在現(xiàn)有技術(shù)的已知 方法是將每個(gè)數(shù)據(jù)集的各個(gè)點(diǎn)映射到單詞，語詞是哈希值列表，置入排序字典(比較像常用的英語字典)。捜索一個(gè)點(diǎn)以后，算法先構(gòu)建單詞，再返回到字典中最近的編篡匹配項(xiàng)。這需要獨(dú)立計(jì)算單詞的每個(gè)字母，執(zhí)行字典捜索。在附件公開的版本中，先構(gòu)建固定長度的單詞(完全取決于點(diǎn)向量名詞)，然后頻道識(shí)別模塊的點(diǎn)管理子模塊僅在字典中查找完全匹配的單詞。其優(yōu)勢在干，I)分批計(jì)算與點(diǎn)對應(yīng)的單詞，速度遠(yuǎn)遠(yuǎn)超過逐個(gè)字母的計(jì)算速度；2)用傳統(tǒng)的哈希函數(shù)而不是字典進(jìn)行字典捜索能提高速度、簡化過程。需要理解是，位置捜索(即視頻片段加時(shí)間偏移)查找的是最可能的內(nèi)容。路徑跟蹤算法先查找可能的位置，再計(jì)算可能位置的概率分布。更具體地說，向每個(gè)可能位置分配ー個(gè)概率，表示與電視屏幕所播視頻片段的匹配可能性。如果可能位置的概率超過預(yù)定的臨界值，則做出可能位置與所播視頻片段對應(yīng)的決定。否則，在連續(xù)接收的像素線索點(diǎn)被處理時(shí)，路徑跟蹤算法繼續(xù)更新可能位置列表和概率分布。路徑跟蹤算法是ー種概率方法不需要始終完全匹配像素線索點(diǎn)，而是根據(jù)總體證明做出結(jié)果為真的決定。算法始終進(jìn)行實(shí)時(shí)跟蹤，能處理偏離其他像素?cái)?shù)據(jù)點(diǎn)的序列中的斷續(xù)像素線索點(diǎn)。例如，雖然算法也許只能識(shí)別ー個(gè)視頻片段10幀中的7幀，但是仍然能夠識(shí)別大多數(shù)可能位置。算法還對電視觀眾的暫停、換頻道等操作做出快速反應(yīng)。收到電視系統(tǒng)的第一個(gè)像素線索點(diǎn)后，服務(wù)器計(jì)算所有可能位置的概念分布。從同一電視系統(tǒng)收到各個(gè)后續(xù)像素線索點(diǎn)后，更新可能位置列表，針對更新的可能位置計(jì)算更新的概述分布。始終實(shí)時(shí)執(zhí)行該迭代進(jìn)程，密切監(jiān)控用戶的觀看習(xí)慣。從電視接收的各個(gè)像素線索點(diǎn)在處理后予以丟棄。可能位置記錄及其概率分布保存在各個(gè)用戶會(huì)話的內(nèi)存中。但是，如果具體可能位置的可能性降低(例如，概率低于預(yù)定的臨界值下限)，則可以忽略該可能位置，即從存儲(chǔ)記錄中刪除。另外還需要注意的是，各電視系統(tǒng)整個(gè)像素線索庫的捜索效率不高。為了提高搜索效率，將數(shù)據(jù)庫中的像素線索數(shù)據(jù)分成幾個(gè)部分。僅在ー個(gè)部分捜索最近的內(nèi)容。相關(guān)詳細(xì)說明請參見附件。在數(shù)據(jù)庫中識(shí)別最可能的位置以后，上下文定向模塊64可以檢索與該位置關(guān)聯(lián)存入數(shù)據(jù)庫的內(nèi)容(參見圖10)。在優(yōu)選實(shí)施方式中，上下文定向模塊64收到頻道識(shí)別模塊62的節(jié)目ID和最可能位置的時(shí)間偏移(即概率最大的可能位置，但概率超過可預(yù)置的成功臨界值)，然后用該信息在數(shù)據(jù)庫66中檢索相關(guān)強(qiáng)化內(nèi)容。數(shù)據(jù)庫包含視頻片段隱藏字幕，視頻片段的標(biāo)識(shí)符和像素線索點(diǎn)存入數(shù)據(jù)庫。數(shù)據(jù)庫還包含由提取自文件的觸發(fā)程序(即，單個(gè)單詞或簡短的單詞序列以及指示相對明確的具體主題的專有名詞)組成的內(nèi)容百科全書以及與各觸發(fā)程序相關(guān)的相應(yīng)內(nèi)容。百科全書是結(jié)構(gòu)化內(nèi)容數(shù)據(jù)的索引，優(yōu)選為按類別組織。上下文定向模塊包括搜索引擎，搜索引擎搜索與識(shí)別的位置相關(guān)的隱藏字幕(存在數(shù)據(jù)庫)，在相關(guān)隱藏字幕中識(shí)別觸發(fā)程序。參見圖10中標(biāo)有“觸發(fā)程序捜索”的箭頭。然后，上下文定向模塊在數(shù)據(jù)庫中檢索與百科全書中識(shí)別的觸發(fā)程序有關(guān)的內(nèi)容。根據(jù)具體內(nèi)容(具體的電視節(jié)目、廣告、電影等)定制觸發(fā)程序集和捜索配置。例如，識(shí)別籃球比賽等，上下文定向模塊使用包含隊(duì)員/教練姓名等的觸發(fā)程序集。在另ー個(gè)實(shí)施例中，對新聞和時(shí)事節(jié)目進(jìn)行配置，使用強(qiáng)調(diào)政客姓名和時(shí)事流行詞(“醫(yī)療”等)的觸發(fā)程序集。在另ー個(gè)實(shí)施例中，對電視劇和情景喜劇進(jìn)行配置，使用的觸發(fā)程序集包括任意的單詞組合以及在區(qū)域特定位置觸發(fā)活動(dòng)的時(shí)間標(biāo)記，且無須查看對話主題(例如，在區(qū)域特定點(diǎn)后播放、與唱歌對應(yīng)的活動(dòng))。離線服務(wù)器56(參見圖10)接收頻道/網(wǎng)絡(luò)輸入和內(nèi)容輸入，構(gòu)建數(shù)據(jù)庫66。離線服務(wù)器接收輸入內(nèi)容時(shí)持續(xù)更新數(shù)據(jù)庫。 在優(yōu)選實(shí)施方式中，離線服務(wù)器56提供頻道/網(wǎng)絡(luò)輸入的時(shí)間標(biāo)記、像素線索點(diǎn)和隱藏字幕。提取的信息存儲(chǔ)為數(shù)據(jù)庫66的一部分。更具體地說，數(shù)據(jù)庫包含各個(gè)電視節(jié)目、廣告等播放或視頻片段的以下信息(a)各視頻片段的像素線索點(diǎn)列表；(b)相對于某些固定時(shí)間點(diǎn)的偏移，偏移分別與上述像素線索點(diǎn)相關(guān)，從而在像素線索點(diǎn)出現(xiàn)時(shí)指示時(shí)序；以及(3)相關(guān)數(shù)據(jù)元(隱藏字幕等)。在優(yōu)選情況下，離線服務(wù)器對像素?cái)?shù)據(jù)進(jìn)行采樣，采樣速率與電視系統(tǒng)客戶端相同。但是，在采樣同一視頻片段時(shí)，兩種設(shè)備不一定以完全相同的速度采樣。離線服務(wù)器56還提取內(nèi)容輸入的觸發(fā)程序和內(nèi)容。存入內(nèi)存時(shí)，提取的信息構(gòu)成上述百科全書，同樣是數(shù)據(jù)庫16的組成部分。離線服務(wù)器還為特定的電視節(jié)目創(chuàng)建定制索引。離線服務(wù)器56可能包含主源模塊，該模塊對內(nèi)容進(jìn)行索引，并且將內(nèi)容加入點(diǎn)管理子模塊搜索的庫(數(shù)據(jù)庫66等)。主源模塊的構(gòu)件是仿真器集合，除了能在主模式下運(yùn)行外，主源模塊的構(gòu)件其他方面與電視客戶端構(gòu)件相同。在主模式下，向點(diǎn)管理子模塊發(fā)送點(diǎn)的方法與標(biāo)準(zhǔn)模式相同，但是主模式下的點(diǎn)附有數(shù)據(jù)元以及指示點(diǎn)管理子模塊在庫中加入點(diǎn)而不是捜索點(diǎn)的指令。主源模塊有四種運(yùn)行方式(I)批；⑵直播；⑶頻道 '及(4)UGC0在批模式下，內(nèi)容以全整視頻文件的形式遠(yuǎn)遠(yuǎn)早于“播送日期”到達(dá)。電視客戶端仿真器在主模式下播放視頻文件，將點(diǎn)發(fā)送至待加入庫的點(diǎn)管理子模塊。在直播模式下，具體的直播活動(dòng)配置為被索引狀態(tài)(籃球比賽等)。流安排在內(nèi)容檢索時(shí)間前，附于在主模式下運(yùn)行的某ー仿真器。在頻道模式下，仿真器設(shè)置為連續(xù)觀看和檢索既定頻道狀態(tài)。內(nèi)容一般通過機(jī)頂盒進(jìn)入公共分布網(wǎng)。設(shè)置帶采集卡的服務(wù)器，以獲取機(jī)頂盒內(nèi)容，運(yùn)行仿真器。識(shí)別被檢索的節(jié)目時(shí)，還必須訪問電子節(jié)目指南。在UGC模式下，給定電視的電視客戶端模塊等設(shè)備可以在主模式下活動(dòng)，以便將內(nèi)容加入目前正在觀看的設(shè)備庫。主源模塊還包含一個(gè)簡單數(shù)據(jù)庫，其中在唯一內(nèi)容ID上標(biāo)識(shí)基本內(nèi)容數(shù)據(jù)元(名稱、頻道等)。數(shù)據(jù)庫僅列出正在檢索的內(nèi)容。
同樣結(jié)合圖10進(jìn)行說明，上下文定向模塊64為面向用戶的應(yīng)用軟件，軟件通過所觀看內(nèi)容的當(dāng)前片段隱藏字幕流的預(yù)定庫確定內(nèi)容。上下文定向模塊64完全依靠正確的內(nèi)容檢測檢索相關(guān)隱藏字幕信息，因此依靠用戶管理子模塊、點(diǎn)管理子模塊和主源模塊操作。更具體地說，上下文定向模塊64針對在電視系統(tǒng)52的微件引擎58上運(yùn)行的具體微件請求將檢索到的內(nèi)容發(fā)送給該微件。更具體地說，在電視微件引擎(或電視的其他GUI)上運(yùn)行的微件定期向服務(wù)器54發(fā)送節(jié)目信息、數(shù)據(jù)元及上下文定向內(nèi)容請求。請求的詳細(xì)內(nèi)容取決于電視應(yīng)用軟件所需的具體功能。下面介紹服務(wù)器的ー些響應(yīng)實(shí)施例。第一響應(yīng)是服務(wù)器根據(jù)隱藏字幕，針對上下文定向內(nèi)容請求所作的響應(yīng)實(shí)施例
("createdOn": "Sun Nov 22 11: 38: 40 2009", "token": "TV.ID","channel": "The Colbert Report Tue May 19 2009", "channelTime" "34951",
"myContent":[
{
"searchKey": "Walter_Kirn",
"displayName": "Walter Kirn",
"matchFactor": 3.2706767671099999e-06,
"foundin'': "THEN MY GUEST VALTER KIRN SAYS " engineName": "triggerSearch","rank": 3. 2706767671099999e-06,
"matchedText": "waiter kirn"
"searchKey": "Sammy Hagar ",
"displayName": nSammy Hagar"，
"matchFactor": 3.6402208460499996e-05,
"foundin'': "SCOFFLAW SINCE SAMMY HAGAR " engineName": "triggerSearch",
"rank": 3. 6402208460499996e-05,
"matchedText": "sammy hagar"
"searchKey": "Republican_Party_%28United States%29", "displayName": " Republican Party (United States)", "matchFactor": 0.0001940746083739999,
"foundin'1: "REPUBLICANS HAVE FOUND A WAY TO ",
"engineName": "triggerSearch",
"rank": 0. 0001940746083739999,
"matchedText": "republicans"針對HTTP請求所作的第一示范性響應(yīng)包含如下參數(shù)參數(shù)“createdOn”是用戶會(huì)話的創(chuàng)建日期/時(shí)間的時(shí)間標(biāo)記，用于跟蹤用戶看電
視的時(shí)間。
參數(shù)“令牌”與前文所述的電視唯一標(biāo)識(shí)符相同。該ID號(hào)用于聯(lián)系頻道識(shí)別構(gòu)件和上下文定向構(gòu)件。參數(shù)“頻道”按名稱和播送日期識(shí)別觀看節(jié)目。參數(shù)“channelTime”是識(shí)別內(nèi)容段的播放時(shí)間(単位毫秒)?！安シ艜r(shí)間”和“時(shí)間偏移”含義相同，在本文中互換使用。參數(shù)“myContent”是根據(jù)隱藏字幕在節(jié)目的相應(yīng)位置中定向的內(nèi)容列表。該參數(shù)包括三個(gè)示范性內(nèi)容項(xiàng)。各個(gè)內(nèi)容項(xiàng)的參數(shù)如下“searchKey”是特定內(nèi)容項(xiàng)的卩隹ー標(biāo)識(shí)符,displayName”是特定內(nèi)容薦的標(biāo)題；“founding”是與特定內(nèi)容項(xiàng)匹配的隱藏字幕行；“engineName”是使用的內(nèi)部搜索引擎(可以從算法不同、針對不同節(jié)目進(jìn)行優(yōu)化的多個(gè)搜索引擎中選擇的ー個(gè)搜索引擎使用)；“matchedText”是搜索引擎(為具體內(nèi)容項(xiàng)匹配)觸發(fā)的隱藏字幕流的具體文本。
下面是服務(wù)器針對具體節(jié)目定制索引的上下文定向內(nèi)容請求所做出的示范性響應(yīng)
{
"widget": "CNN",
"myContent":[
(
"searchKey": "/2008/07/08/the-us-christian-military/","byLine": "Randi Kaye - AC360 Correspondent",
"displayName": "The U.S. Christian military ",
"startTime": 290000,
"images":[パ.
"/assets/art soldiers pray, jpq"
"engineName": "AC360timeSearch",

丨丨abstract": "Is the United States Military becoming a Christian organization That's what one U.S. soldier tel Is us. I met Army Specialist Jeremy Hal I in Kansas City a few weeks ago. Her s based at Fort Riley, in Junction City，". this isn't happening ",
"endTime": 100000000，
"publishDate": "7/8/2009"
)
( "searchKey": "/2009/11/10/armyqains-wi th-musIim—soldiers—mav-be- lost/'
I丨byLine” "Mark Thompson - Time",
”displayName": "Army gains with Muslim soldiers may be lost", nStartTime": 290000，
"images”[
"fort.hood, shootings/story, memorial, mon. gi. jpgn ]，
"engineName": "AC36Ot imeSearch"
"abstract": "Less than 1% of America's I. 4 mi 11 ion troops are Muslim - and that number is only the military's best guess, since just 4，000 troops have declared …may be impossible. Hasan is in intensive care at a San Antonio hospital, breathing without a respirator. But given his mental state， even he may not know what caused him to kill.",
"endTimen: 100000000,
M publishDateft: " 11/10/2009"
)，
(

"searchKey": "/2 009/11/09/murderhas-no-religion/",
"byLine":丨丨Arsalan Iftikhar - AC360 Contributor",
"displayName": "Murder has no religion",
"startTime": 115000,
"images I丨 [
"/art. prayer. 02. cnn. jpg"
"engineName": "AC360t imeSearch",
"abstract": "Most of the world's I. 57 billion Muslims know that the Holy Quran states quite clearly that, X11Anyone who kills a human being ... it shall be as though …act of mass murder no more makes their criminal act V丨IslamicV1 than a Christian uttering the V1Hail MaryV1 while murdering an abort ion medical provider, or someone chanting \"Onward, Christian .Soldiers\"whiIe bombing a gay nightclub, would make their act \"Christian\" in nature. ",
"endTime": 100000000,
"publishDate": "11/9/2009"針對HTTP請求所作的第二示范性響應(yīng)包含如下參數(shù)參數(shù)“微件”是使用該數(shù)據(jù)源的定制應(yīng)用軟件ID。參數(shù)“myContent”是根據(jù)隱藏字幕等數(shù)據(jù)元在節(jié)目的相應(yīng)位置定向的內(nèi)容列表。參數(shù)“searchKey”是內(nèi)容的卩隹ー標(biāo)識(shí)符。參數(shù)“startTime”和“endTime”將具體內(nèi)容項(xiàng)限制在節(jié)目的特定區(qū)域。參數(shù)“engineName”是使用的內(nèi)部搜索引擎(在此情況下是使用包含AndersonCooper博客條目索引的CNN搜索引擎)。參數(shù)“標(biāo)題下署名行”、“圖像”、“摘要”和“ publishDate”是向用戶顯示的內(nèi)容。根據(jù)向圖10所示系統(tǒng)的電視系統(tǒng)52提供上下文定向內(nèi)容的ー種方法，服務(wù)器54執(zhí)行如下步驟(a)為多個(gè)視頻片段中的各個(gè)視頻片段存儲(chǔ)相應(yīng)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包括識(shí)別相應(yīng)視頻片段的數(shù)據(jù)、從相應(yīng)的視頻片段電視信號(hào)中提取的數(shù)據(jù)點(diǎn)、以及相應(yīng)的時(shí)間偏移數(shù)據(jù)，時(shí)間偏移數(shù)據(jù)指示從相應(yīng)視頻片段的電視信號(hào)中提取的數(shù)據(jù)點(diǎn)的相應(yīng)時(shí)序；(b)在屏幕上顯示視頻片段時(shí)，接收電視系統(tǒng)52的數(shù)據(jù)點(diǎn)；(C)在數(shù)據(jù)庫中檢索與收到的數(shù)據(jù)點(diǎn)最匹配的數(shù)據(jù)點(diǎn)有關(guān)的識(shí)別數(shù)據(jù)和時(shí)間偏移數(shù)據(jù)，其中，識(shí)別數(shù)據(jù)和時(shí)間偏移數(shù)據(jù)ー起識(shí)別屏幕正在播放的視頻片段部分；(d)達(dá)到或超過成功識(shí)別的臨界可能性時(shí)，在數(shù)據(jù)庫中檢索與屏幕所播視頻片段的識(shí)別部分有關(guān)的內(nèi)容；以及(e)向電視系統(tǒng)52發(fā)送檢索到的內(nèi)容。在圖10所示的實(shí)施方式中，數(shù)據(jù)庫66存儲(chǔ)像素線索點(diǎn)和多個(gè)視頻片段的內(nèi)容，服務(wù)器54經(jīng)編程執(zhí)行以下步驟(a)確定數(shù)據(jù)庫66中可能與通過網(wǎng)絡(luò)在電視系統(tǒng)52中檢索的像素線索點(diǎn)匹配的像素線索點(diǎn)；(b)為步驟(a)確定的像素線索點(diǎn)計(jì)算概念分布；(c)在數(shù)據(jù)庫中檢索與檢索像素線索點(diǎn)(確定為最可能與通過網(wǎng)絡(luò)在電視系統(tǒng)中檢索的像素線索點(diǎn)相匹配)有關(guān)的節(jié)目識(shí)別符和播放時(shí)間；(d)在數(shù)據(jù)庫中檢索與步驟(c)檢索的節(jié)目標(biāo)識(shí)符及播放時(shí)間有關(guān)的內(nèi)容 '及(e)通過網(wǎng)絡(luò)向電視系統(tǒng)發(fā)送內(nèi)容。另外，根據(jù)圖10所示的實(shí)施方式的另ー個(gè)方面，電視系統(tǒng)52包括多像素屏幕和處理器系統(tǒng)，處理器系統(tǒng)包括微件引擎和獨(dú)立的客戶端，客戶端經(jīng)編程生成包含像素線索點(diǎn)的請求，各像素線索點(diǎn)包括像素值集，該像素值集于相應(yīng)的時(shí)間在屏幕的預(yù)定像素集中顯 示，預(yù)定像素集是屏幕像素總數(shù)的子集。根據(jù)圖10所述的實(shí)施方式的另ー個(gè)方面，系統(tǒng)包括網(wǎng)絡(luò)、連接網(wǎng)絡(luò)的服務(wù)器54、以及連接網(wǎng)絡(luò)的電視系統(tǒng)52。電視系統(tǒng)52包括多像素屏幕和處理器系統(tǒng)，處理器系統(tǒng)包括微件引擎和客戶端，客戶端經(jīng)編程向服務(wù)器發(fā)送請求，包括像素線索點(diǎn)。服務(wù)器54包括數(shù)據(jù)庫66 (用于存儲(chǔ)像素線索點(diǎn)和多個(gè)視頻片段的內(nèi)容)和處理器系統(tǒng)，該系統(tǒng)經(jīng)編程執(zhí)行如下步驟(a)確定數(shù)據(jù)庫66中可能與通過網(wǎng)絡(luò)在電視系統(tǒng)52中檢索的像素線索點(diǎn)匹配的像素線索點(diǎn)；(b)為步驟(a)確定的像素線索點(diǎn)計(jì)算概念分布；(c)在數(shù)據(jù)庫66中檢索與像素線索點(diǎn)(確定為最可能與通過網(wǎng)絡(luò)在電視系統(tǒng)52中檢索的像素線索點(diǎn)相匹配)有關(guān)的節(jié)目識(shí)別符和播放時(shí)間；(d)在數(shù)據(jù)庫66中檢索與步驟(c)檢索的節(jié)目標(biāo)識(shí)符及播放時(shí)間有關(guān)的內(nèi)容；及(e)通過網(wǎng)絡(luò)向電視系統(tǒng)52發(fā)送內(nèi)容。根據(jù)圖10所示系統(tǒng)的電視系統(tǒng)52多像素屏幕顯示的視頻片段像素值的另ー種自動(dòng)處理方法，服務(wù)器54執(zhí)行如下步驟(a)為多個(gè)視頻片段中的各個(gè)視頻片段存儲(chǔ)相應(yīng)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包括識(shí)別相應(yīng)視頻片段的數(shù)據(jù)以及從相應(yīng)視頻片段提取的數(shù)據(jù)點(diǎn)，各像素線索點(diǎn)包括構(gòu)成相應(yīng)視頻片段相應(yīng)幀的相應(yīng)像素值集的相應(yīng)子集；(b)在多像素屏幕上顯示視頻片段時(shí)，接收電視系統(tǒng)52的像素線索點(diǎn)；(c)確定數(shù)據(jù)庫中可能與接收到的像素線索點(diǎn)匹配的像素線索點(diǎn)；(d)計(jì)算步驟(C)確定的像素線索點(diǎn)的概率分布；以及(e)在數(shù)據(jù)庫66中檢索與像素線索點(diǎn)(確定為最可能與收到的像素線索點(diǎn)相匹配)有關(guān)的識(shí)別數(shù)據(jù)，其中識(shí)別數(shù)據(jù)識(shí)別電視系統(tǒng)52的多像素屏幕所播放的視頻片段。為了執(zhí)行前段所述的方法，服務(wù)器54可能進(jìn)ー步包括指標(biāo)軟件模塊(圖10未顯示)，以收集用戶管理模塊的匹配信息，在數(shù)據(jù)庫66中保存匹配信息，以供日后生成報(bào)告。指標(biāo)模塊不僅能提供系統(tǒng)操作方式方面的有用信息，還能創(chuàng)建增值報(bào)告，增值報(bào)告可出售給需要了解觀眾觀看習(xí)慣的公司。在一個(gè)實(shí)施方式中，指標(biāo)數(shù)據(jù)發(fā)給聚合器，以便將數(shù)據(jù)異步存入、卸出數(shù)據(jù)庫。原始指標(biāo)數(shù)據(jù)先存入數(shù)據(jù)庫，然后進(jìn)行處理，加入各種報(bào)告，例如，指定節(jié)目觀看用戶數(shù)報(bào)告、指定節(jié)目時(shí)移(通過DVR等)觀看用戶數(shù)報(bào)告、指定廣告觀看用戶數(shù)報(bào)告等。雖然已結(jié)合各種實(shí)施方式對本發(fā)明進(jìn)行了說明，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明精神的情況下，本發(fā)明還有各種變化，可以用同等的元件替換本發(fā)明元件。另外，在不脫離本發(fā)明范圍的情況下，還可以對本發(fā)明作各種修改，以適應(yīng)本發(fā)明的特定說明情況。因此，應(yīng)視本文公開的具體實(shí)施方式
為本發(fā)明的最佳實(shí)現(xiàn)方式，不得視其為本發(fā)明的限制條件。在權(quán)利要求書中，“處理器系統(tǒng)”應(yīng)作廣義解釋，包括一個(gè)或多個(gè)處理器。此外，用字母符號(hào)說明的方法步驟并不表示以字母順序執(zhí)行相應(yīng)的方法步驟。附件 路徑跟蹤問題用模糊線索跟蹤視頻傳輸摘要ー種有效的視頻跟蹤方法。由于視頻片段數(shù)量眾多，因此系統(tǒng)必須能夠?qū)崟r(shí)識(shí)別指定查詢視頻輸入所取自的片段以及時(shí)間偏移。片段和偏移合稱位置。該方法稱為視頻跟蹤方法的原因是它必須能夠有效檢測并適應(yīng)暫停、快進(jìn)、回放、突然切換到其他片段及切換 到未知片段。必須先處理數(shù)據(jù)庫才能跟蹤直播視頻。每幾分之一秒獲取幀的視頻線索(少量像素值)，置入專用的數(shù)據(jù)結(jié)構(gòu)。11視頻跟蹤形式是連續(xù)接收輸入視頻的線索，更新當(dāng)前位置的信任值集。每個(gè)線索或與信任值一致或與信任值不一致，經(jīng)調(diào)整反映新的證據(jù)。如果我們相信視頻位置為真且對其有足夠的信心，則視該視頻位置正確。只要跟蹤ー個(gè)小的可能位置集就能有效地完成上述操作。引言本文介紹了ー種視頻跟蹤方法，用抽象的數(shù)學(xué)構(gòu)造作了解釋和研究。引言部分旨在向讀者介紹兩種領(lǐng)域的必需轉(zhuǎn)化工具。視頻信號(hào)包含連續(xù)幀。每幀可視為ー個(gè)靜止的圖像。幀是像素光柵。每個(gè)像素由三個(gè)分別對應(yīng)像素紅、緑、藍(lán)(RGB)色的強(qiáng)度值組成。在本文中，線索是幀內(nèi)像素子集的RGB值列表和對應(yīng)的時(shí)間標(biāo)記。線索的像素?cái)?shù)量遠(yuǎn)遠(yuǎn)小于幀內(nèi)像素?cái)?shù)量，一般為5-15個(gè)像素。線索是標(biāo)量值有序列表，事實(shí)上是ー種向量。該向量亦稱點(diǎn)。雖然點(diǎn)的維度較大，一般在15-150之間，但可以將點(diǎn)設(shè)想為兩個(gè)維度之間的點(diǎn)。事實(shí)上，我們將以ニ維圖的形式提供插圖。試想視頻演進(jìn)及對應(yīng)的線索點(diǎn)。較小的時(shí)間變化導(dǎo)致像素價(jià)值發(fā)生較小的變化?？梢砸曄袼攸c(diǎn)在兩幀之間“移動(dòng)”。繼幀間的微小移動(dòng)后，線索遵循空間路徑，就彎絲上的珠子。在該比喻中，我們在視頻跟蹤中接收珠子的空間位置(線索點(diǎn))，查找珠子遵循的鋼絲(路徑)。但是有兩個(gè)原因?qū)е逻^程變得非常困難，原因I :珠子并不完全遵循鋼絲的路徑，而是與鋼絲保持一段變化的未知距離；原因2 :鋼絲全部繞在一起。詳細(xì)說明請參見第2章。下文所述的算法以兩個(gè)概念步驟予以實(shí)現(xiàn)。收到線索后，在所有非常接近線索點(diǎn)的已知路徑上查找所有點(diǎn)；這些點(diǎn)稱為可能點(diǎn)?？梢杂肞PLEB算法有效地完成上述過程?？赡茳c(diǎn)加入歷史數(shù)據(jù)結(jié)構(gòu)，計(jì)算表示真位置的各個(gè)可能點(diǎn)的概率。該步驟還包括刪除可能性不大的可能位置。記錄更新進(jìn)程一方面能確保僅保存一小部分記錄，另一方面也許從不刪除可能位置。通用算法參見《算法I》和圖Al。
權(quán)利要求
1.一種向包含屏幕的電視系統(tǒng)提供上下文定向內(nèi)容的方法，包括以下步驟 (a)為多個(gè)視頻片段的所有片段存儲(chǔ)相應(yīng)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含相應(yīng)視頻片段的識(shí)別數(shù)據(jù)、從所述的相應(yīng)視頻片段的所述部分的電視信號(hào)導(dǎo)出的數(shù)據(jù)點(diǎn)、以及表示所述相應(yīng)視頻片段的所述部分的相應(yīng)時(shí)間順序的相應(yīng)偏移時(shí)間數(shù)據(jù)； (b)在所述屏幕播放視頻片段期間接收所述電視系統(tǒng)的數(shù)據(jù)點(diǎn)； (C)在所述數(shù)據(jù)庫中檢索與最匹配所述收到數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)有關(guān)的識(shí)別數(shù)據(jù)和偏移時(shí)間數(shù)據(jù)，其中所述識(shí)別數(shù)據(jù)和偏移時(shí)間數(shù)據(jù)共同表明所述屏幕播放的所述視頻片段部分； (d)達(dá)到或超過成功識(shí)別的臨界可能性時(shí)，在數(shù)據(jù)庫中檢索與屏幕所播視頻片段的所述識(shí)別部分有關(guān)的內(nèi)容；以及 (e)向所述電視系統(tǒng)發(fā)送檢索到的內(nèi)容。
2.權(quán)利要求I所述的方法，其特征在于用以下方法確定與所述所收到的數(shù)據(jù)點(diǎn)最匹配的所述數(shù)據(jù)點(diǎn) 確定所述數(shù)據(jù)庫中可能與所述收到的數(shù)據(jù)點(diǎn)匹配的數(shù)據(jù)點(diǎn)； 計(jì)算可能匹配的數(shù)據(jù)點(diǎn)的概率分布；以及 選擇與所述的收到線索點(diǎn)匹配概率最大的所述數(shù)據(jù)點(diǎn)。
3.權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)點(diǎn)為像素線索點(diǎn)，通過提取多個(gè)像素?cái)?shù)據(jù)片導(dǎo)出所述的像素線索點(diǎn)，每個(gè)所述片包括一個(gè)二維像素值集陣列，計(jì)算各陣列像素值集的相應(yīng)平均或加權(quán)平均，所述各片的計(jì)算平均構(gòu)成相應(yīng)的像素線索點(diǎn)。
4.權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)點(diǎn)為音頻線索點(diǎn)，通過提取多個(gè)音頻數(shù)據(jù)樣本集導(dǎo)出音頻線索點(diǎn)，計(jì)算作為相應(yīng)音頻數(shù)據(jù)樣本集函數(shù)的值，各個(gè)音頻數(shù)據(jù)樣本集的所述計(jì)算值構(gòu)成相應(yīng)的音頻線索點(diǎn)。
5.一種系統(tǒng)，包括存儲(chǔ)線索點(diǎn)和多個(gè)視頻片段內(nèi)容的數(shù)據(jù)庫以及經(jīng)編程執(zhí)行下列步驟的第一處理器系統(tǒng) (a)確定所述數(shù)據(jù)庫中可能與通過網(wǎng)絡(luò)接收的電視系統(tǒng)線索點(diǎn)相匹配的線索點(diǎn)； (b)計(jì)算步驟(a)所確定的線索點(diǎn)的概率分布； (C)確定所述的可能匹配線索點(diǎn)中與接收到的所述電視系統(tǒng)的所述線索點(diǎn)匹配概率最大的線索點(diǎn)； (d)在所述數(shù)據(jù)庫中檢索與步驟(C)所確定的線索點(diǎn)有關(guān)的、與收到的所述電視系統(tǒng)的線索點(diǎn)匹配概率最大的節(jié)目標(biāo)識(shí)符和播放時(shí)間。
(e)在所述數(shù)據(jù)庫中檢索與步驟(d)檢索的所述節(jié)目標(biāo)識(shí)符和所述播放時(shí)間有關(guān)的內(nèi)容；以及 (f)通過所述網(wǎng)絡(luò)向所述電視系統(tǒng)發(fā)送所述內(nèi)容。
6.權(quán)利要求5所述的系統(tǒng)，其特征在于所述線索點(diǎn)為像素線索點(diǎn)，通過提取多個(gè)像素線索數(shù)據(jù)片導(dǎo)出每個(gè)所述像素線索點(diǎn)，各所述片包括一個(gè)二維像素值集陣列，計(jì)算各個(gè)陣列的像素值集的相應(yīng)平均或加權(quán)平均，各片的所述計(jì)算平均或加權(quán)平均構(gòu)成相應(yīng)的像素線索點(diǎn)。
7.權(quán)利要求5所述的系統(tǒng)，其特征在于所述線索點(diǎn)為音頻線索點(diǎn)，通過提取多個(gè)音頻數(shù)據(jù)樣本集導(dǎo)出音頻線索點(diǎn)，計(jì)算作為相應(yīng)音頻數(shù)據(jù)樣本集的函數(shù)的值，各個(gè)音頻數(shù)據(jù)樣本集的所述計(jì)算值構(gòu)成相應(yīng)的音頻線索點(diǎn)。
8.權(quán)利要求5所述的系統(tǒng)，進(jìn)一步包括經(jīng)編程構(gòu)建所述數(shù)據(jù)庫的第二處理器系統(tǒng)，構(gòu)建所述數(shù)據(jù)庫的所述步驟包括從播放輸入中提取線索點(diǎn)，從內(nèi)容輸入中提取內(nèi)容，在內(nèi)存中存儲(chǔ)所述提取的線索點(diǎn)和所述提取內(nèi)容，使所述提取內(nèi)容部分與所述線索點(diǎn)的相應(yīng)內(nèi)容相互關(guān)聯(lián)。
9.一種系統(tǒng)，包括網(wǎng)絡(luò)、與所述網(wǎng)絡(luò)連接服務(wù)器、以及與所述網(wǎng)絡(luò)連接的電視系統(tǒng)，其中所述電視系統(tǒng)包括一個(gè)多像素屏幕和第一處理器系統(tǒng)，所述第一處理器系統(tǒng)包括微件引擎以及客戶端，客戶端經(jīng)編程生成發(fā)往所述服務(wù)器、包括線索點(diǎn)的請求，其中所述服務(wù)器包括存儲(chǔ)多個(gè)視頻片段線索點(diǎn)和內(nèi)容的數(shù)據(jù)庫以及第二處理器系統(tǒng)，第二處理器系統(tǒng)經(jīng)編程執(zhí)行以下步驟 (a)確定所述數(shù)據(jù)庫中可能與通過網(wǎng)絡(luò)接收的電視系統(tǒng)線索點(diǎn)相匹配的線索點(diǎn)； (b)計(jì)算步驟(a)所確定的線索點(diǎn)的概率分布； (C)確定所述可能匹配的線索點(diǎn)中與接收的所述電視系統(tǒng)的所述線索點(diǎn)匹配概率最大的線索點(diǎn)； (d)在所述數(shù)據(jù)庫中檢索與步驟(C)所確定的線索點(diǎn)有關(guān)的、與收到的所述電視系統(tǒng)的線索點(diǎn)匹配概率最大的節(jié)目標(biāo)識(shí)符和播放時(shí)間。
(e)在所述數(shù)據(jù)庫中檢索與步驟(d)檢索的所述節(jié)目標(biāo)識(shí)符和所述播放時(shí)間有關(guān)的內(nèi)容；以及 (f)通過所述網(wǎng)絡(luò)向所述電視系統(tǒng)發(fā)送所述內(nèi)容。
10.一種電視系統(tǒng)多像素屏幕所播視頻片段的自動(dòng)識(shí)別方法，包括以下步驟 (a)為多個(gè)視頻片段的所有片段存儲(chǔ)相應(yīng)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含相應(yīng)視頻片段的識(shí)別數(shù)據(jù)，以及從所述的相應(yīng)視頻片段的相應(yīng)部分的電視信號(hào)導(dǎo)出的數(shù)據(jù)點(diǎn)； (b)在所述屏幕播放視頻片段期間接收所述電視系統(tǒng)的數(shù)據(jù)點(diǎn)； (C)在所述數(shù)據(jù)庫中檢索與最匹配所述收到數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)有關(guān)的識(shí)別數(shù)據(jù)，其中所述識(shí)別數(shù)據(jù)表明所述屏幕播放的視頻片段。
11.權(quán)利要求10所述的方法，其特征在于用以下方法確定與所述接收到的數(shù)據(jù)點(diǎn)最匹配的所述數(shù)據(jù)點(diǎn) 確定所述數(shù)據(jù)庫中可能與所述收到的線索點(diǎn)匹配的數(shù)據(jù)點(diǎn)； 計(jì)算可能匹配的數(shù)據(jù)點(diǎn)的概率分布；以及 選擇與所述的收到線索點(diǎn)匹配概率最大的所述數(shù)據(jù)點(diǎn)。
12.權(quán)利要求11所述的方法，其特征在于所述數(shù)據(jù)點(diǎn)為像素線索點(diǎn)，通過提取多個(gè)像素?cái)?shù)據(jù)片導(dǎo)出所述的像素線索點(diǎn)，每個(gè)所述片包括一個(gè)二維像素值集陣列，計(jì)算各陣列像素值集的相應(yīng)平均或加權(quán)平均，所述各片的計(jì)算平均構(gòu)成相應(yīng)的像素線索點(diǎn)。
13.權(quán)利要求11所述的方法，其特征在于所述數(shù)據(jù)點(diǎn)為音頻線索點(diǎn)，通過提取多個(gè)音頻數(shù)據(jù)樣本集導(dǎo)出音頻線索點(diǎn)，計(jì)算作為相應(yīng)音頻數(shù)據(jù)樣本集函數(shù)的值，各個(gè)音頻數(shù)據(jù)樣本集的所述計(jì)算值構(gòu)成相應(yīng)的音頻線索點(diǎn)。
14.權(quán)利要求10所述的方法，進(jìn)一步包括報(bào)告生成步驟，報(bào)告包括屏幕所播所述視頻片段的所述識(shí)別數(shù)據(jù)。
15.一種電視系統(tǒng)屏幕所播視頻片段的自動(dòng)識(shí)別方法，包括如下步驟 (a)為多個(gè)視頻片段的所有片段存儲(chǔ)相應(yīng)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含相應(yīng)視頻片段的識(shí)別數(shù)據(jù)，以及從代表所述相應(yīng)視頻片段的電視信號(hào)導(dǎo)出的線索點(diǎn)； (b)在所述屏幕播放視頻片段期間通過網(wǎng)絡(luò)接收所述電視系統(tǒng)的線索點(diǎn)； (C)確定所述數(shù)據(jù)庫中可能與接收的電視系統(tǒng)線索點(diǎn)匹配的線索點(diǎn)； (d)計(jì)算步驟(C)所確定的線索點(diǎn)的概率分布； (e)確定所述的可能匹配線索中與接收的所述電視系統(tǒng)的線索點(diǎn)匹配概率最大的線索占. (f)在所述數(shù)據(jù)庫中再次檢索與所述接收到的數(shù)據(jù)點(diǎn)最匹配的數(shù)據(jù)點(diǎn)有關(guān)的識(shí)別數(shù)據(jù)，其中所述識(shí)別數(shù)據(jù)表示所述屏幕所播的視頻片段；以及 (g) 生成報(bào)告，報(bào)告內(nèi)容包括所述屏幕播放的所述視頻片段的所述識(shí)別數(shù)據(jù)。
16.權(quán)利要求15所述的方法，其特征在于所述線索點(diǎn)為像素線索點(diǎn)，通過提取多個(gè)像素?cái)?shù)據(jù)片導(dǎo)出各所述像素線索點(diǎn)，各所述片包括一個(gè)二維像素值集陣列，計(jì)算作為各陣列相應(yīng)像素值集函數(shù)的值，各片的所述計(jì)算值構(gòu)成相應(yīng)的像素線索點(diǎn)。
17.權(quán)利要求15所述的方法，其特征在于所述數(shù)據(jù)點(diǎn)為音頻線索點(diǎn)，通過提取多個(gè)音頻數(shù)據(jù)樣本集導(dǎo)出音頻線索點(diǎn)，計(jì)算作為相應(yīng)音頻數(shù)據(jù)樣本集函數(shù)的值，各音頻數(shù)據(jù)樣本集的所述計(jì)算值構(gòu)成相應(yīng)的音頻線索點(diǎn)。
18.—種電視系統(tǒng)屏幕播放視頻片段自動(dòng)識(shí)別系統(tǒng)，包括 存儲(chǔ)多個(gè)視頻片段中所有視頻片段相應(yīng)數(shù)據(jù)集的數(shù)據(jù)庫，各數(shù)據(jù)集包括相應(yīng)視頻片段的識(shí)別數(shù)據(jù)，以及從代表所述相應(yīng)視頻片段的電視信號(hào)中導(dǎo)出的線索點(diǎn)；以及經(jīng)編程執(zhí)行下列步驟的第一處理器系統(tǒng) (a)在所述屏幕播放視頻片段時(shí)通過網(wǎng)絡(luò)接收所述電視系統(tǒng)的線索點(diǎn)； (b)確定所述數(shù)據(jù)庫中可能與接收的所述電視系統(tǒng)的線索點(diǎn)匹配的線索點(diǎn)； (c)計(jì)算步驟(b)所確定的線索點(diǎn)的概率分布； (d)確定所述可能匹配線索點(diǎn)中與接收的所述電視系統(tǒng)的所述線索點(diǎn)匹配概率最大的線牽占. /、、、， (e)在所述數(shù)據(jù)庫中檢索與最匹配所述接收數(shù)據(jù)點(diǎn)的數(shù)據(jù)點(diǎn)有關(guān)的識(shí)別數(shù)據(jù)，其中所述識(shí)別數(shù)據(jù)指示所述屏幕播放的視頻片段；以及 (f)生成報(bào)告，報(bào)告內(nèi)容包括所述屏幕播放的所述視頻片段的識(shí)別數(shù)據(jù)。
19.權(quán)利要求18所述的系統(tǒng)，其特征在于所述線索點(diǎn)為像素線索點(diǎn)，通過提取多個(gè)像素?cái)?shù)據(jù)片導(dǎo)出所述的像素線索點(diǎn)，每個(gè)所述片包括一個(gè)二維像素值集陣列，計(jì)算作為各陣列相應(yīng)像素值集函數(shù)的值，所述各片的計(jì)算值構(gòu)成相應(yīng)的像素線索點(diǎn)。
20.權(quán)利要求18所述的系統(tǒng)，其特征在于所述數(shù)據(jù)點(diǎn)為音頻線索點(diǎn)，通過提取多個(gè)音頻數(shù)據(jù)樣本集導(dǎo)出音頻線索點(diǎn)，計(jì)算作為相應(yīng)音頻數(shù)據(jù)樣本集函數(shù)的值，各音頻數(shù)據(jù)樣本集的所述計(jì)算值構(gòu)成相應(yīng)的音頻線索點(diǎn)。
全文摘要
電視系統(tǒng)播放視頻片段的識(shí)別系統(tǒng)和方法。通過導(dǎo)出電視信號(hào)的數(shù)據(jù)識(shí)別視頻片段，導(dǎo)出數(shù)據(jù)表示屏幕播放的視頻片段。該特性可用于提取觀眾對于特定視頻片段(廣告)的反應(yīng)(換頻道等)，作為指標(biāo)報(bào)告提取信息。系統(tǒng)和方法可進(jìn)一步向電視系統(tǒng)提供上下文定向內(nèi)容。上下文定向不僅需要識(shí)別播放的視頻片段，還需要確定當(dāng)前播放的視頻片段具體部分的播放時(shí)間和偏移時(shí)間。
文檔編號(hào)H04N21/845GK102771115SQ201080064471
公開日2012年11月7日 申請日期2010年11月18日 優(yōu)先權(quán)日2009年12月29日
發(fā)明者澤埃夫·諾伊邁爾, 艾多·利貝爾提 申請人:電視互動(dòng)系統(tǒng)有限公司