專利名稱：一種嵌入于視頻的搜索方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像通信領(lǐng)域，涉及一種嵌入于視頻的搜索方法及其 系統(tǒng)。
背景技術(shù)：
隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和寬帶上網(wǎng)的日益普及，人們可以用 功能強大的基于互聯(lián)網(wǎng)的搜索引擎査詢各種各樣的信息。近年來出現(xiàn)
的互動電視系統(tǒng)，特別是基于互聯(lián)網(wǎng)的電視系統(tǒng)(IPTV),不僅可以讓 觀眾觀看節(jié)目，還可以讓他們與節(jié)目互動。比如觀眾可以通過遙控器 購買節(jié)目中出現(xiàn)的商品，或者查看某體育運動員的資料。但是如果觀 眾想搜索更多的關(guān)于節(jié)目中出現(xiàn)的物體或事件的信息時，現(xiàn)在還沒有 一種技術(shù)可以讓他們在無需中斷節(jié)目觀看的條件下快速便捷地用基 于互聯(lián)網(wǎng)的搜索引擎查詢所需信息。目前觀眾需要中斷節(jié)目或在節(jié)目 結(jié)束后，開啟電腦使用互聯(lián)網(wǎng)搜索。更關(guān)鍵的是，在很多情況下觀眾 不能確切地描述他們在節(jié)目中看到的令他們感興趣的物體或事件，所 以也無法用恰當?shù)年P(guān)鍵詞用搜索引擎進行搜索。
現(xiàn)有電視系統(tǒng)的另一個不足是目前的電視廣告的效果都不是很 好。無論是傳統(tǒng)的插播廣告，疊加在屏幕上的圖片廣告，還是新興的 互動式廣告都不能有效地吸引觀眾的注意力，而且頻繁的廣告會引起 觀眾的反感。

發(fā)明內(nèi)容
本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供一種使視頻和網(wǎng)絡(luò)更 好結(jié)合的嵌入于視頻的搜索方法及其系統(tǒng)。當觀眾對電視節(jié)目中的某 個物體或事件感興趣并想搜索其有關(guān)信息時，他們只需用點擊畫面或 用語音方式選擇搜索目標并觸發(fā)搜索請求，本發(fā)明的嵌入于視頻的搜 索系統(tǒng)會用恰當?shù)乃阉麝P(guān)鍵詞査詢搜索引擎，顯示搜索結(jié)果和針對搜 索目標及搜索關(guān)鍵詞的廣告。本發(fā)明的嵌入于視頻的搜索方法，包括如下步驟
(1) 對要播放的視頻進行預(yù)處理，
(2) 搜索目標選擇觀眾在觀看節(jié)目的過程中選擇搜索目標， 觸發(fā)搜索請求，
(3) 搜索目標確認系統(tǒng)確定觀眾選擇的搜索目標，并在必要 時區(qū)分多個搜索目標，
(4) 系統(tǒng)用恰當?shù)乃阉麝P(guān)鍵詞査詢搜索引擎，顯示搜索結(jié)果和 針對搜索目標及搜索關(guān)鍵詞的廣告。
如上所述的嵌入于視頻的搜索方法，其中，步驟(1)對要播放 的視頻進行預(yù)處理中包括
(1.1) 定義搜索目標，
(1.2) 為搜索目標定義搜索關(guān)鍵詞。 如上所述的嵌入于視頻的搜索方法，其中，步驟(1.1)定義搜
索目標采用基于搜索目標出現(xiàn)在屏幕上的位置的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(1.1)定義搜 索目標采用基于搜索目標在視頻節(jié)目中出現(xiàn)的時段的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(1.1)定義搜 索目標采用基于在屏幕上顯示搜索目標快照的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(1.1)定義搜 索目標采用基于語音識別的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(2)搜索目標 選擇和步驟(3)搜索目標確認采用基于搜索目標出現(xiàn)在屏幕上的位 置的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(2)搜索目標 選擇和步驟(3)搜索目標確認采用基于搜索目標在視頻節(jié)目中出現(xiàn)
的時段的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(2)搜索目標 選擇和步驟(3)搜索目標確認采用基于在屏幕上顯示搜索目標快照 的方式進行。如上所述的嵌入于視頻的搜索方法，其中，步驟(2)搜索目標 選擇和步驟(3)搜索目標確認采用基于語音識別的方式進行。
如上所述的嵌入于視頻的搜索方法，其中，步驟(3)搜索目標 確認采用在屏幕上顯示菜單的方式在必要時對多個搜索目標加以區(qū) 分。
本發(fā)明的嵌入于視頻的搜索系統(tǒng)，包括顯示設(shè)備，輸入設(shè)備和互 動視頻服務(wù)器。互動視頻服務(wù)器中包括視頻處理模塊，數(shù)據(jù)庫模塊， 輸入處理模塊和搜索服務(wù)器模塊；其中視頻處理模塊用于視頻編碼/ 解碼和圖形的形成，形成的圖像信息通過顯示設(shè)備顯示；數(shù)據(jù)庫模塊 用于儲存搜索目標的信息；輸入處理模塊用于處理輸入設(shè)備的輸入信 息；搜索服務(wù)器模塊用于向搜索引擎發(fā)送搜索請求并處理返回的搜索 結(jié)果。
如上所述的嵌入于視頻的搜索系統(tǒng)，其中，輸入處理模塊中還包 括用于處理語音輸入和語音識別的部分。
如上所述的嵌入于視頻的搜索系統(tǒng)，其中，互動視頻服務(wù)器通過 網(wǎng)絡(luò)與搜索引擎連接。
如上所述的嵌入于視頻的搜索系統(tǒng)，其中，互動視頻服務(wù)器通過 網(wǎng)絡(luò)與廣告服務(wù)器連接。
使用本發(fā)明的效果是搜索功能被融入視頻和電視節(jié)目中，允許 觀眾在觀看電視時用搜索引擎搜索節(jié)目中的物體或事件的信息，使觀 眾可以更好的與節(jié)目互動，也可以讓觀眾更方便的進行點播或搜索。


圖1是本發(fā)明提供的嵌入于視頻的搜索系統(tǒng)的結(jié)構(gòu)示意圖2是本發(fā)明提供的嵌入于視頻的搜索方法的流程示意圖3是一個電視節(jié)目中帶有某人物的畫面；
圖4是對圖3中人物進行搜索后帶有顯示結(jié)果的畫面；
圖5是一個帶有搜索結(jié)果的電視節(jié)目畫面；
圖6是一個在左下角帶有可搜索物體快照的電視節(jié)目畫面；
圖7是一個電視節(jié)目中某人物穿著服飾的畫面；圖8是對圖7中出現(xiàn)的服飾進行搜索后帶有顯示結(jié)果的畫面； 圖9是一個帶有多個可搜索物體的電視節(jié)目畫面；
圖io是一個帶有搜索欄和虛擬鍵盤的電視節(jié)目畫面。
圖中l(wèi).顯示設(shè)備、2.輸入設(shè)備、3.互動視頻服務(wù)器、4.搜索引擎、5. 廣告服務(wù)器、6.視頻處理模塊、7.數(shù)據(jù)庫模塊、8.輸入處理模塊、9.
搜索服務(wù)器模塊
具體實施例方式
下面結(jié)合附圖對實施本發(fā)明作進一步詳細描述。 如附圖1所示的含有嵌入式搜索引擎的互動視頻系統(tǒng)，包括一個 顯示設(shè)備l， 一個或多個輸入設(shè)備2和一個互動視頻服務(wù)器3。其中 顯示設(shè)備l可以是一個電視機、電腦顯示器、觸摸屏、或其他任何顯 示監(jiān)控系統(tǒng)，輸入設(shè)備2可以是一個鼠標、遙控器、普通鍵盤或屏幕 上的虛擬鍵盤，與語音識別系統(tǒng)相連接可以接受觀眾語音的話筒，或 是觸摸屏等一體化顯示/輸入設(shè)備，互動視頻服務(wù)器3可以是一個電 腦、數(shù)字機頂盒、數(shù)碼錄像機(DVR)、或其它任何可以處理互動電 視信號的設(shè)備。互動視頻服務(wù)器3通過一個有線或無線網(wǎng)絡(luò)連接到一 個搜索引擎4和一個廣告服務(wù)器5。搜索引擎4可以選擇普通搜索引 擎，例如谷歌(Google)或百度(Baidu)，也可以選擇用于搜索零售 商庫存或發(fā)行商目錄等數(shù)據(jù)庫的特殊搜索引擎。廣告服務(wù)器5的作用 是在搜索到的信息中添加廣告內(nèi)容。廣告服務(wù)器5用于產(chǎn)生需要顯示 在顯示設(shè)備l上的廣告內(nèi)容，它并非本發(fā)明中的一個必需的設(shè)備，因 為像谷歌這樣的大型搜索引擎已經(jīng)具有與高效的廣告服務(wù)器類似的 功能，它能動態(tài)地生成針對搜索關(guān)鍵詞的廣告。當使用谷歌或與其類 似的搜索引擎時，可以直接將它們生成的廣告與搜索結(jié)果一起顯示在 屏幕上，在這種情況下無需專門建立一個廣告服務(wù)器。上述部件可以 組合成一個或多個設(shè)備；比如顯示設(shè)備l，輸入設(shè)備2和互動視頻服 務(wù)器3可以組合成一個設(shè)備，例如多媒體電腦，移動電話或新一代數(shù) 字電視。
如上所述的互動視頻服務(wù)器3至少包括視頻處理模塊6，數(shù)據(jù)庫模塊7，輸入處理模塊8和搜索服務(wù)器模塊9;其中視頻處理模塊6 用于視頻編碼/解碼和圖形的形成；數(shù)據(jù)庫模塊7用于儲存可搜索物 體或事件的信息(本文將可搜索物體或事件統(tǒng)稱為搜索目標)，包括 它們在屏幕上出現(xiàn)的位置，時間，它們對應(yīng)的搜索關(guān)鍵詞和用于語音 識別的同義詞組，以及它們的快照；輸入處理模塊8用于處理觀眾的 輸入信息，當輸入設(shè)備中有語音輸入設(shè)備時輸入處理模塊8還可以包 括用于識別觀眾語音輸入的部分；搜索服務(wù)器模塊9用于向搜索引擎 4發(fā)送搜索請求并處理返回的搜索結(jié)果。視頻處理模塊6是普通電腦， 機頂盒，或數(shù)碼錄像機中的標準部件。數(shù)據(jù)庫模塊7由多個圖像數(shù)據(jù) 庫和文本數(shù)據(jù)庫組成。文本數(shù)據(jù)庫可以是SQL數(shù)據(jù)庫，也可以是純文 本表格。輸入處理模塊8中識別觀眾語音輸入的部分可以使用商業(yè)語 音識別軟件，或者公開源代碼軟件。
如上所述，數(shù)據(jù)庫模塊7用于儲存搜索目標的相關(guān)信息。其中， 圖像數(shù)據(jù)庫存儲搜索目標在屏幕上出現(xiàn)的位置和它們的快照。文本數(shù) 據(jù)庫存儲搜索目標對應(yīng)的搜索關(guān)鍵詞和用于語音識別的同義詞組，以 及搜索目標在屏幕上出現(xiàn)的時間。當觀眾通過某種輸入設(shè)備發(fā)出選擇 搜索目標的命令后，系統(tǒng)會用觀眾的輸入信息査詢數(shù)據(jù)庫模塊7中的 相關(guān)數(shù)據(jù)庫，進而確定觀眾選擇的搜索目標。例如，在基于搜索目標 出現(xiàn)在屏幕上的位置的方法中，當觀眾點擊屏幕后，系統(tǒng)首先確定觀 眾點擊了哪一幀畫面中的哪一個像素，然后查詢存儲搜索目標在屏幕 上位置的數(shù)據(jù)庫，從而確定觀眾選擇的搜索目標；在基于搜索目標在 視頻節(jié)目中出現(xiàn)的時段的方法中，當觀眾點擊屏幕后，系統(tǒng)首先確定 觀眾點擊了哪一幀畫面(既點擊發(fā)生的時間)，然后查詢存儲搜索目 標在屏幕上出現(xiàn)的時間的數(shù)據(jù)庫，從而確定觀眾選擇的搜索目標；在 基于顯示搜索目標快照的方法中，當觀眾點擊了屏幕上的快照后，系 統(tǒng)會査詢存儲搜索目標快照的數(shù)據(jù)庫，從而確定觀眾選擇的搜索目 標；在基于語音識別的方法中，系統(tǒng)首先識別觀眾的語音輸入，然后 査詢存儲用于語音識別的同義詞組的數(shù)據(jù)庫，確定觀眾選擇的搜索目 標。 一旦觀眾選擇的搜索目標被確定，系統(tǒng)會從存儲搜索關(guān)鍵詞的數(shù)據(jù)庫中提取與被選擇目標對應(yīng)的搜索關(guān)鍵詞，進而査詢搜索引擎。
當該系統(tǒng)工作時，會在顯示設(shè)備1上播放視頻內(nèi)容，如圖3所示。 當觀眾想獲得關(guān)于節(jié)目中出現(xiàn)的物體或事件的更多信息時，可以用輸
入設(shè)備2選擇該物體或事件觸發(fā)搜索要求，例如可以用鼠標點擊該物
體，由此觸發(fā)一連串系統(tǒng)反應(yīng)首先，互動視頻服務(wù)器3中的輸入處
理模塊8處理觀眾的輸入，在數(shù)據(jù)庫模塊7中辨認被點擊物體，并從 數(shù)據(jù)庫模塊7中取出與該物體相對應(yīng)的默認搜索關(guān)鍵詞；然后互動視
頻服務(wù)器3通過搜索服務(wù)器模塊9向搜索引擎提交該關(guān)鍵詞進行搜 索；最后，互動視頻服務(wù)器3將搜索結(jié)果以及針對被點擊物體和搜索 關(guān)鍵詞的廣告以疊加方式顯示在當前視頻窗口中或顯示在另一個窗 口中。觀眾可以選擇立即瀏覽搜索結(jié)果或暫時保存搜索結(jié)果以便日后 瀏覽。例如圖3中的人物預(yù)先被定義為一個可搜索物體，當觀眾點擊 該人物時，互動視頻服務(wù)器3會使用預(yù)先設(shè)定的搜索關(guān)鍵詞向搜索引 擎提交搜索請求。圖4顯示了疊加于當前視頻窗口的搜索結(jié)果和廣 告。(本圖和下文圖中顯示的都是從Google網(wǎng)站獲得的英文搜索結(jié)果 和以"Sponsored Links"形式出現(xiàn)的廣告。圖中電視畫面僅為示意目 的。所有電視畫面的版權(quán)，署名權(quán)以及畫面中出現(xiàn)的商標，品牌均屬 于其相應(yīng)的所有者。)
如圖2所示的一種嵌入于視頻的搜索方法，包括如下步驟
(1)對所有要播放的視頻進行預(yù)處理，本步驟又包括
(1.1)定義搜索目標
為了讓觀眾可以在觀看電視時選擇搜索目標進行搜索，在視頻節(jié) 目播放前需要事先對搜索目標進行定義。這種定義可以是由專業(yè)人員 完成，也可以由觀眾自己完成，或者先由專業(yè)人員制作然后由觀眾補 充，也可以通過某些軟件或程序完成。至于何種目標可被搜索并無任 何限制。搜索目標可以是一個實物，比如某演員或產(chǎn)品；或者是一個 非實物，比如事件，菜譜或地理位置；也可以是電視屏幕上并未出現(xiàn) 但在節(jié)目中被提及的事物?？伤阉魇录膶嵗ㄗ匀皇录?比如暴 風(fēng)雪)，體育賽事(比如美式足球超級杯)，或政治事件(比如總統(tǒng)競選)。
定義一個搜索目標的過程包括從視頻節(jié)目中提取該目標的一些
相關(guān)信息，然后把這些信息儲存到圖1中的數(shù)據(jù)庫模塊7中。定義搜 索目標的方法又可以分為如下所述的不同種類。
(l丄O基于搜索目標出現(xiàn)在屏幕上的位置。 一個搜索目標在整 個節(jié)目里的每一幀畫面中出現(xiàn)的位置都需要被記錄下來。具體做法 是每一幀畫面中所有與該搜索目標對應(yīng)的像素被劃歸為一個區(qū)域， 并被儲存到一個圖像數(shù)據(jù)庫中。在處理完畢后，此圖像數(shù)據(jù)庫記錄著 每一個搜索目標在每一幀中對應(yīng)的區(qū)域(像素)。當觀眾點擊某個區(qū)域 中的任何像素時，與其對應(yīng)的搜索目標會被確認為觀眾選擇的目標。
(l丄2)基于搜索目標在視頻節(jié)目中出現(xiàn)的時段。將每一個搜索 目標在節(jié)目中出現(xiàn)的時段記錄下來，并將此信息以該目標在哪些幀中 出現(xiàn)的形式存入一個數(shù)據(jù)庫中。比如一個搜索目標在節(jié)目開始的60 秒鐘內(nèi)一直出現(xiàn)在屏幕上，那末該目標就在第1幀至第1800幀中出 現(xiàn)(假設(shè)電視節(jié)目每秒有30幀)。此方法適用于搜索目標數(shù)量有限， 同一畫面中出現(xiàn)兩個以上搜索目標的可能性較小的節(jié)目。由于此方法 無需記錄搜索目標在屏幕上的位置，觀眾可以搜索在節(jié)目中被提及但 并未出現(xiàn)在屏幕上的搜索目標的信息，也可以搜索許多其它類型的信 息。比如觀眾可以搜索新聞節(jié)目中與某條新聞有關(guān)的背景資料，或搜 索烹飪節(jié)目中被介紹的某菜譜的更多信息，或搜索旅游節(jié)目中被提及 的某景點的更多信息。圖5顯示了一個此類搜索的實例。它是從一個 報道2004年亞洲海嘯的新聞節(jié)目中截取的畫面，該海嘯被定義為一 個搜索目標。圖中顯示了用"Tsunami"(海嘯的名字)做關(guān)鍵詞得到 的搜索結(jié)果和廣告。
(l丄3)基于搜索目標的快照。當電視節(jié)目中的搜索目標很小或 在屏幕上移動得很快，或者屏幕變化很快時，觀眾很難用點擊方式來 跟蹤和點擊搜索目標。 一旦搜索目標從屏幕上消失，觀眾就不能再點 擊。為解決這些問題，本步驟用顯示搜索目標的快照的方式讓觀眾在 觀看視頻節(jié)目過程中的任何時間選擇搜索目標。在視頻節(jié)目制作過程中，搜索目標的快照(快照可以是從節(jié)目中截取的有代表性的一幀畫 面)被集中儲存在一個圖像數(shù)據(jù)庫中。在節(jié)目播放過程中，搜索目標 的快照以及一組與之對應(yīng)的搜索關(guān)鍵詞被顯示在屏幕底部一個小瀏 覽窗口中。觀眾可以用遙控器或鼠標很快地瀏覽所有快照，然后點擊
快照或某個與之對應(yīng)的搜索關(guān)鍵詞搜索相應(yīng)目標。例如圖6是從某電 視劇中截取的一個畫面，圖中的男演員被定義為一個搜索目標。屏幕 左下角的瀏覽窗口顯示了該男演員的快照和與他對應(yīng)的搜索關(guān)鍵詞
"Tony Soprano"(男演員在電視劇中的名字)和"James Gandolfmi"
(扮演"Tony Soprano"的演員的名字)。
(l丄4)基于識別觀眾的語音輸入。本發(fā)明還將語音識別技術(shù)融 入互動電視系統(tǒng)中，讓觀眾用語音命令選擇搜索目標。在節(jié)目制作過 程中，每個搜索目標與一組近義單詞或詞組對應(yīng)起來，儲存在一個數(shù) 據(jù)庫中。比如圖4中的搜索目標"Tony Soprano"(男演員在電視劇中 的名字)對應(yīng)于四個近義詞"Tony S叩rano", "Tony", "S叩rano"，和 "James Gandolfini"(扮演"Tony Soprano"的演員的名字)。當觀眾說 出任何一個單詞或詞組時，如果語音識別引擎可以確認觀眾的語音輸 入是與某個搜索目標對應(yīng)的近義詞，該搜索目標會被確定為觀眾選擇 的目標。
(1.2)為搜索目標定義搜索關(guān)鍵詞
當步驟(1.1)定義搜索目標完成后，還要為每一個搜索目標定 義一組搜索關(guān)鍵詞，并儲存在數(shù)據(jù)庫模塊7中的一個數(shù)據(jù)庫中。不同 觀眾可能想査詢一個搜索目標的不同方面的信息，因此需要為一個搜 索目標定義幾個不同的搜索關(guān)鍵詞，并將其中的一個定義為默認關(guān)鍵 詞。例如在圖7中的搜索目標，前景中的男演員穿的一套西服就有 多個搜索關(guān)鍵詞，包括"男式西服"，"意大利西服"，"訂制的西服"， "黑色西服"，和默認關(guān)鍵詞"Armani西服"。當觀眾選擇該目標后， 系統(tǒng)會用它的默認關(guān)鍵詞"Armani西服"開始搜索。其它搜索關(guān)鍵 詞會以菜單的形式顯示在屏幕上，以便觀眾進行進一步搜索，這種顯 示可以自動地進行，也可以是在觀眾要求下進行的。觀眾也可以在屏幕上的搜索欄中輸入自己的搜索關(guān)鍵詞。互動視頻服務(wù)器3會跟蹤記
錄觀眾選擇的目標、使用的關(guān)鍵詞、以及觀眾輸入的新搜索關(guān)鍵詞。 觀眾輸入的關(guān)鍵詞會被加入到數(shù)據(jù)庫中補充電視節(jié)目預(yù)處理時定義 的初始關(guān)鍵詞庫，使用頻率最高的關(guān)鍵詞會取代初始的默認關(guān)鍵詞。 在基于語音識別的方法中用到的同義詞也可以被加到關(guān)鍵詞數(shù)據(jù)庫 中。
(2)搜索目標選擇
觀眾可以通過某種輸入發(fā)出選擇搜索目標的命令，所述的輸入可 以通過點擊輸入設(shè)備進行，如鼠標，遙控器，或觸摸屏(使用附加設(shè) 備和軟件還可以讓觀眾用激光棒發(fā)出的光點來選擇搜索目標)；也可 以通過語音輸入設(shè)備進行，如話筒。與前類似搜索目標的選擇也有多 個途徑
(2.1) 基于物體出現(xiàn)在屏幕上的位置。觀眾用鼠標或遙控器點 擊可搜索物體，或直接用手指點擊播放節(jié)目的觸摸屏。圖1中的互動 視頻服務(wù)器3會確定哪一幀畫面和畫面中的哪一區(qū)域(像素)被點擊， 由此確定被選中的可搜索物體。在本發(fā)明的實際運用中，當觀眾將鼠 標的光標移到一個可搜索物體上時，系統(tǒng)可將此物體用特殊顏色突出 顯示，并將它的搜索關(guān)鍵詞列于屏幕上。觀眾可點擊該物體或它的任 何一個搜索關(guān)鍵詞觸發(fā)搜索。
(2.2) 基于搜索目標在節(jié)目中出現(xiàn)的時段。觀眾可直接點擊屏 幕來選擇搜索目標?；右曨l服務(wù)器3會確定哪一幀畫面被點擊(也 就是點擊發(fā)生的時段)，進而確定被選中的搜索目標。
(2.3) 用顯示搜索目標的快照的方式讓觀眾選擇搜索目標。觀 眾無需等到搜索目標出現(xiàn)在屏幕上，而可在節(jié)目播放過程中的任何時 間進行選擇。觀眾可用鼠標或遙控器快速瀏覽搜索目標的快照，然后 點擊相應(yīng)快照選擇搜索目標。互動視頻服務(wù)器3會確認該目標。在本 發(fā)明的實際運用中，可將此方法與步驟(2.2)基于搜索目標在節(jié)目 中出現(xiàn)的時段相結(jié)合，在快照瀏覽器窗口顯示當前屏中出現(xiàn)的搜索目 標的快照。這樣，觀眾可以知道當前屏幕上的物體或事件是可搜索目標。
(2.4)基于語音識別。觀眾可在節(jié)目播放過程中的任何時間選
擇搜索目標，而且不需要鼠標或遙控器等點擊設(shè)備。觀眾可說出搜索 目標的名稱或同義詞來啟動搜索。話筒會捕捉觀眾的語音并將語音信
號輸入圖1中的輸入處理模塊8中的語音識別部分。若輸入的語音信
號被識別為某搜索目標的同義詞，該目標即被確認為觀眾做出的選
擇。在本發(fā)明的實際運用中，可將此方法與(2.3)用顯示搜索目標 的快照的方式讓觀眾選擇搜索目標相結(jié)合，在圖片瀏覽器窗口中緩慢 地循環(huán)顯示搜索目標的快照以及它們的搜索關(guān)鍵詞。當觀眾看到感興 趣的搜索目標的快照時，可用語音命令觸發(fā)搜索。
(3) 搜索目標確認，并在必要時區(qū)分多個搜索目標 觀眾選擇了搜索目標后，系統(tǒng)需要確認觀眾選擇的目標，這個過
程已在步驟(2)搜索目標選擇中被詳細描述。在上述基于搜索目標 在節(jié)目中出現(xiàn)的時段的方法下，如果觀眾點擊的畫面中包括兩個或兩 個以上的搜索目標，互動視頻服務(wù)器3無法判斷觀眾選擇的是哪一個 目標。為解決這一問題，互動視頻服務(wù)器3可以顯示所有可能目標的 名稱并提示觀眾點擊所選目標。比如圖9顯示了某電視劇中的一幅畫 面，其中包括了兩個可搜索物體劇中的兩個人物"TonyS叩rano" 和"ChristopherMoltisanti"。當觀眾點擊該畫面時，互動視頻服務(wù)器3 無法判斷觀眾選擇的是哪一個人物，所以在屏幕上同時列出了兩個名 字。觀眾可以點擊其中之一來觸發(fā)搜索。類似的，在基于語音識別的 方法下，當觀眾說出的單詞是兩個或兩個以上搜索目標的同義詞時， 互動視頻服務(wù)器3可以顯示所有可能目標的名稱并提示觀眾讀出所 選目標。另外，互動視頻服務(wù)器3還可以顯示所有可能目標的快照， 方便觀眾指定所選目標。
(4) 查詢搜索引擎和顯示搜索結(jié)果 一旦觀眾選擇的搜索目標被確認，圖1中的搜索服務(wù)器模塊9就
會使用默認搜索關(guān)鍵詞向一個或多個搜索引擎，如谷歌(Google)和 百度(Baidu)，提交搜索請求。默認搜索關(guān)鍵詞會顯示在屏幕上的一個狀態(tài)欄中，表明系統(tǒng)正在進行搜索。搜索結(jié)果和針對搜索目標和搜 索關(guān)鍵詞的廣告可以以多種方式顯示，比如顯示在一個新窗口中，或 顯示在當前視頻窗口里的一個小窗口中，或已半透明方式疊加在當前 視頻窗口中。觀眾可以選擇立即瀏覽搜索結(jié)果和廣告，或保存搜索結(jié) 果和廣告供以后瀏覽。由于觀眾選擇的搜索目標和所用的搜索關(guān)鍵詞 揭示了他們的興趣或意向，因此基于這些搜索目標和關(guān)鍵詞的廣告非 常有針對性，非常有效。而且，此類廣告只在觀眾進行搜索時與搜索 結(jié)果一起顯示，因此它們一般不會引起觀眾的反感。如果被選擇的搜 索目標還有除默認關(guān)鍵詞以外的其它搜索關(guān)鍵詞，這些關(guān)鍵詞可被自 動或經(jīng)觀眾請求后顯示在屏幕上作為搜索建議。觀眾可點擊列出的任 意一個搜索建議進行進一步搜索。系統(tǒng)還可以包括一個搜索欄允許觀
眾使用普通鍵盤或屏幕虛擬鍵盤輸入搜索關(guān)鍵詞，如圖io所示。圖
7顯示了某電視劇中的一幅畫面。畫面中的可搜索物體是前景中角色 所穿的西服。當觀眾點擊該西服時，互動視頻服務(wù)器3會使用默認搜 索關(guān)鍵詞"Armani西服"進行搜索，該關(guān)鍵詞被顯示在屏幕下方的一 個狀態(tài)欄中。相應(yīng)的搜索結(jié)果和廣告以及相關(guān)的搜索建議被顯示在屏 幕上的一個疊加窗口中，如圖8所示。
一個像谷歌(Google)這樣的大型搜索引擎可以搜索包括普通互 聯(lián)網(wǎng)頁，圖像，視頻，新聞，地圖，或產(chǎn)品等多種內(nèi)容。在本發(fā)明的 一種實際運用中，搜索服務(wù)器9可自動搜索多種內(nèi)容并將各種內(nèi)容中 的最佳搜索結(jié)果加以組合(例如，搜索服務(wù)器9可以將每種內(nèi)容中第 一個搜索結(jié)果返回并組合起來作為總的搜索結(jié)果)。在另一種實際運 用中，在步驟(1)視頻預(yù)處理中，所定義的可搜索物體和事件可被 劃分成不同的類型，比如新聞類，位置類，產(chǎn)品類等。搜索服務(wù)器9 會根據(jù)被選擇的物體或事件的類型在谷歌(Google)中搜索相應(yīng)的內(nèi) 容。比如觀眾想搜索與新聞節(jié)目中某條新聞相關(guān)的報道，搜索就會指 向谷歌(Google)新聞。再如觀眾想搜索某節(jié)目中提及的餐廳的位置， 搜索就會指向谷歌(Google)地圖。搜索服務(wù)器9也可以根據(jù)被選擇 的可搜索物體的類型向特殊搜索弓I擎提交査詢。比如觀眾選擇了節(jié)目中提及的某本書籍，搜索服務(wù)器9就可向網(wǎng)上書籍零售商的庫存査詢
系統(tǒng)提交搜索請求'
權(quán)利要求
1.一種嵌入于視頻的搜索方法，包括如下步驟(1)對要播放的視頻進行預(yù)處理，(2)搜索目標選擇觀眾在觀看節(jié)目的過程中選擇搜索目標，觸發(fā)搜索請求，(3)搜索目標確認系統(tǒng)確定觀眾選擇的搜索目標，并在必要時區(qū)分多個搜索目標，(4)系統(tǒng)用恰當?shù)乃阉麝P(guān)鍵詞查詢搜索引擎，顯示搜索結(jié)果和針對搜索目標及搜索關(guān)鍵詞的廣告。
2. 如權(quán)利要求1所述的一種嵌入于視頻的搜索方法，其特征在于 步驟(1)對要播放的視頻進行預(yù)處理中包括(1.1) 定義搜索目標，(1.2) 為搜索目標定義搜索關(guān)鍵詞。
3. 如權(quán)利要求2所述的一種嵌入于視頻的搜索方法，其特征在于 步驟(1.1)定義搜索目標采用基于搜索目標出現(xiàn)在屏幕上的位置的 方式進行。
4. 如權(quán)利要求2所述的一種嵌入于視頻的搜索方法，其特征在于 步驟(1.1)定義搜索目標采用基于搜索目標在視頻節(jié)目中出現(xiàn)的時 段的方式進行。
5. 如權(quán)利要求2所述的一種嵌入于視頻的搜索方法，其特征在于 步驟(1.1)定義搜索目標采用基于在屏幕上顯示搜索目標快照的方 式進行。
6. 如權(quán)利要求2所述的一種嵌入于視頻的搜索方法，其特征在于:步驟(1.1)定義搜索目標采用基于語音識別的方式進行。
7. 如權(quán)利要求1或3所述的一種嵌入于視頻的搜索方法，其特征在于步驟(2)搜索目標選擇和步驟(3)搜索目標確認采用基于搜索目標出現(xiàn)在屏幕上的位置的方式進行。
8. 如權(quán)利要求1或4所述的一種嵌入于視頻的搜索方法，其特征 在于步驟(2)搜索目標選擇和步驟(3)搜索目標確認采用基于搜 索目標在視頻節(jié)目中出現(xiàn)的時段的方式進行。
9. 如權(quán)利要求1或5所述的一種嵌入于視頻的搜索方法，其特征 在于步驟(2)搜索目標選擇和步驟(3)搜索目標確認采用基于在 屏幕上顯示搜索目標快照的方式進行。
10. 如權(quán)利要求1或6所述的一種嵌入于視頻的搜索方法，其特 征在于步驟(2)搜索目標選擇和步驟(3)搜索目標確認采用基于 語音識別的方式進行。
11. 如權(quán)利要求1~10中任意一項權(quán)利要求所述的嵌入于視頻的搜索方法，其特征在于步驟(3)搜索目標確認采用在屏幕上顯示菜單的方式在必要時對多個搜索目標加以區(qū)分。
12. 如權(quán)利要求1所述的嵌入于視頻的搜索方法，其特征在于 步驟(4)中還包括生成針對搜索目標及搜索關(guān)鍵詞的廣告的步驟。
13. 如權(quán)利要求12所述的嵌入于視頻的搜索方法，其特征在于所述的廣告是文字廣告或圖片廣告或動畫廣告或音頻廣告或視頻廣告
14. 一種嵌入于視頻的搜索系統(tǒng)，包括顯示設(shè)備(1)，輸入設(shè)備(2)，其特征在于該系統(tǒng)還包括互動視頻服務(wù)器(3)?；右曨l服務(wù)器(3)中包括視頻處理模塊(6),數(shù)據(jù)庫模塊(7)，輸入處理模 塊(8)和搜索服務(wù)器模塊(9);其中視頻處理模塊(6)用于視頻編 碼/解碼和圖形的形成，形成的圖像信息通過顯示設(shè)備(1)顯示；數(shù) 據(jù)庫模塊(7)用于儲存搜索目標的信息；輸入處理模塊(8)用于處 理輸入設(shè)備(2)的輸入信息；搜索服務(wù)器模塊(9)用于向搜索引擎 (4)發(fā)送搜索請求并處理返回的搜索結(jié)果。
15. 如權(quán)利要求14所述的一種嵌入于視頻的搜索系統(tǒng)，其特征在 于輸入處理模塊(8)中還包括用于處理語音輸入和語音識別的部 分。
16. 如權(quán)利要求14或15所述的一種嵌入于視頻的搜索系統(tǒng)，其特征在于互動視頻服務(wù)器(3)通過網(wǎng)絡(luò)與搜索引擎(4)連接。
17.如權(quán)利要求16所述的一種嵌入于視頻的搜索系統(tǒng)，其特征在于互動視頻服務(wù)器(3)通過網(wǎng)絡(luò)與廣告服務(wù)器(5)連接。
全文摘要
本發(fā)明屬于圖像通信領(lǐng)域，涉及一種嵌入于視頻的搜索方法及其系統(tǒng)。本發(fā)明將搜索功能融入視頻和電視節(jié)目中，允許觀眾在觀看電視時用搜索引擎搜索節(jié)目中的物體或事件的信息。當觀眾對電視節(jié)目中的某個物體或事件感興趣并想搜索其有關(guān)信息時，他們只需用點擊畫面或用語音方式選擇搜索目標并觸發(fā)搜索請求，本發(fā)明的嵌入于視頻的搜索系統(tǒng)會用恰當?shù)乃阉麝P(guān)鍵詞查詢搜索引擎，顯示搜索結(jié)果和針對搜索目標及搜索關(guān)鍵詞的廣告。
文檔編號H04N7/173GK101566990SQ200810094288
公開日2009年10月28日 申請日期2008年4月25日 優(yōu)先權(quán)日2008年4月25日
發(fā)明者奕 李 申請人:奕 李