增強(qiáng)視頻系統(tǒng)及方法
【專利摘要】本發(fā)明提供一種增強(qiáng)視頻系統(tǒng)及方法，該方法用于向至少一用戶提供增強(qiáng)視頻系統(tǒng)。所述方法包括接受第一輸入視頻，接收第一輸入視頻從而獲取與輸入視頻關(guān)聯(lián)的多維信息，該方法還包括獲取基于用戶行為的用戶推薦信息，創(chuàng)建基于關(guān)聯(lián)輸入視頻和用戶推薦的多維信息的增強(qiáng)視頻信息，進(jìn)一步地，該方法還包括關(guān)聯(lián)增強(qiáng)視頻信息和第一輸入視頻，從而創(chuàng)建第一輸入視頻的增強(qiáng)視頻，并向用戶播放該增強(qiáng)視頻。
【專利說明】增強(qiáng)視頻系統(tǒng)及方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻技術(shù)，尤其涉及增強(qiáng)視頻播放技術(shù)及交互系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)在視頻已經(jīng)成為互聯(lián)網(wǎng)的主要交互手段。但是，人們的視頻交互由于視頻結(jié)構(gòu)的復(fù)雜性仍受到很大的限制。圖1所示是利用現(xiàn)有技術(shù)處理視頻的方式，正如圖1所示，視頻結(jié)構(gòu)被劃分成場景，進(jìn)而可以分為鏡頭，再分為幀，幀可進(jìn)一步劃分為對(duì)象。
[0003]但有時(shí)候，上述視頻結(jié)構(gòu)不必然反映視頻的其它信息，例如，標(biāo)題的故事情節(jié)結(jié)構(gòu)有時(shí)候比視頻結(jié)構(gòu)更重要。另外，上述視頻結(jié)構(gòu)往往缺少視頻和觀眾的社會(huì)方面信息。
[0004]本發(fā)明公開的方法和系統(tǒng)是針對(duì)解決一個(gè)或多個(gè)上面所述的問題或者其它問題。

【發(fā)明內(nèi)容】

[0005]鑒于上述現(xiàn)有技術(shù)的不足， 本發(fā)明的目的在于提供增強(qiáng)視頻播放技術(shù)及交互系統(tǒng)，旨在解決目前問題。
[0006]本發(fā)明的技術(shù)方案如下:
本公開一方面包括針對(duì)至少一個(gè)用戶的增強(qiáng)視頻服務(wù)的方法。該方法包括接收第一輸入視頻，處理所接收的第一輸入視頻從而獲取與第一輸入視頻相關(guān)聯(lián)的多維信息。該方法還包括獲取基于用戶行為的用戶推薦信息，創(chuàng)建基于與第一輸入視頻和用戶推薦信息相關(guān)聯(lián)的多維信息的增強(qiáng)視頻信息，進(jìn)一步的，所述方法還包括關(guān)聯(lián)增強(qiáng)視頻信息與第一輸入視頻，創(chuàng)建第一輸入視頻的增強(qiáng)視頻，并向用戶播放增強(qiáng)視頻。
[0007]本公開另一方面包括用于向至少一個(gè)用戶提供增強(qiáng)視頻服務(wù)的增強(qiáng)視頻系統(tǒng)。所述增強(qiáng)視頻系統(tǒng)包括增強(qiáng)視頻處理模塊、推薦模塊、增強(qiáng)視頻發(fā)生器和增強(qiáng)視頻渲染器。增強(qiáng)視頻處理模塊用于接收第一輸入視頻，通過處理所接收的視頻獲取與所述輸入視頻相關(guān)聯(lián)的多維信息。推薦模塊用于獲取基于用戶行為的用戶推薦信息。進(jìn)一步的，增強(qiáng)視頻發(fā)生器用于基于與輸入視頻和用戶推薦信息相關(guān)聯(lián)的多維信息來創(chuàng)建增強(qiáng)視頻信息。也用于關(guān)聯(lián)增強(qiáng)視頻信息與第一輸入視頻來創(chuàng)建第一輸入視頻的增強(qiáng)視頻。增強(qiáng)視頻渲染器用于向用戶播放增強(qiáng)視頻。
[0008]本領(lǐng)域技術(shù)人員可通過公開的說明書、權(quán)利要求書、說明書附圖來理解本公開的其它方面。
【專利附圖】

【附圖說明】
[0009]圖1所示為一現(xiàn)有的視頻處理方法。
[0010]圖2所示的是結(jié)合本發(fā)明實(shí)施例的一典型環(huán)境。
[0011]圖3所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型計(jì)算系統(tǒng)。
[0012]圖4所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型增強(qiáng)視頻系統(tǒng)。
[0013]圖5所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型的增強(qiáng)視頻系統(tǒng)創(chuàng)建過程。[0014]圖6所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型增強(qiáng)視頻使用方案。
[0015]圖7所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的另一典型增強(qiáng)視頻使用方案。
[0016]圖8所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的另一典型增強(qiáng)視頻使用方案。
[0017]圖9所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型增強(qiáng)視頻操作過程。
【具體實(shí)施方式】
[0018]下面將結(jié)合實(shí)施例和附圖對(duì)本發(fā)明進(jìn)行詳細(xì)的說明，在任何可能的情況下，整個(gè)附圖中，相同的附圖標(biāo)記用于指代附圖中相同或相近的部分。
[0019]如圖2所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一個(gè)典型環(huán)境200。如圖2所示，環(huán)境200包括電視機(jī)(TV) 202、終端設(shè)備204、服務(wù)器206、用戶208和通信網(wǎng)絡(luò)210。其它設(shè)備也可能包含其中。
[0020]電視機(jī)202可包括任何適當(dāng)類型的電視機(jī)，例如等離子電視機(jī)、LCD電視機(jī)、背投電視機(jī)、非智能電視機(jī)或智能電視機(jī)。電視機(jī)202還可包括其它計(jì)算系統(tǒng)，例如個(gè)人電腦(PC)、平板電腦或手持電腦或者是智能手機(jī)等。進(jìn)一步地，電視機(jī)202可以是任何適當(dāng)?shù)哪茉谝粋€(gè)或多個(gè)頻道提供多個(gè)節(jié)目的內(nèi)容呈現(xiàn)設(shè)備。
[0021]終端設(shè)備204可包括任何適當(dāng)類型的終端，例如智能手機(jī)、筆記本電腦、平板電腦、個(gè)人計(jì)算機(jī)，或任何有線或無線終端設(shè)備。
[0022]進(jìn)一步地，服務(wù)器206可包括任何適當(dāng)形式的服務(wù)器計(jì)算機(jī)或用于向用戶208提供增強(qiáng)視頻內(nèi)容的多個(gè)服務(wù)器計(jì)算機(jī)。服務(wù)器206也可針對(duì)環(huán)境200中的各組成部分進(jìn)行通信、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理。電視機(jī)202、終端設(shè)備204和服務(wù)器206之間可通過一個(gè)或多個(gè)通信網(wǎng)絡(luò)210進(jìn)行通信連接，例如有限電視網(wǎng)絡(luò)、電話網(wǎng)絡(luò)和/或衛(wèi)星網(wǎng)絡(luò)等。
[0023]用戶208可與電視機(jī)202通過一遙控器進(jìn)行交互，從而觀看各種節(jié)目和執(zhí)行各節(jié)目間的交互，或者如果電視機(jī)202中設(shè)置有運(yùn)動(dòng)傳感器或深度攝像頭，用戶可僅使用手或身體姿勢來控制電視機(jī)202。用戶208可以是單個(gè)用戶或者多個(gè)用戶，例如家庭全體成員一起觀看電視節(jié)目或其它視頻節(jié)目。
[0024]同時(shí)，用戶也可通過對(duì)終端設(shè)備204的訪問或交互來使電視機(jī)202顯示相同或不同的視頻節(jié)目。例如，環(huán)境200可支持多屏幕(N-screen)配置，用戶208可在同一設(shè)備上或不同設(shè)備上訪問多個(gè)屏幕來觀看視頻節(jié)目或與視頻節(jié)目相關(guān)的信息。換言之，電視機(jī)202和終端設(shè)備204僅僅是用來實(shí)現(xiàn)節(jié)目播放功能，只要用戶208能夠訪問多個(gè)設(shè)備進(jìn)行觀看、交互、實(shí)現(xiàn)設(shè)備間的轉(zhuǎn)換，任意數(shù)量的電視機(jī)、電腦或者終端設(shè)備均可用于多屏幕配置。
[0025]電視機(jī)202，終端設(shè)備204和/或服務(wù)器206可在任何適當(dāng)?shù)挠?jì)算平臺(tái)上實(shí)現(xiàn)。圖3所示的是一能執(zhí)行電視機(jī)202、終端設(shè)備204和/或服務(wù)器206功能的典型計(jì)算系統(tǒng)300的框圖。
[0026]如圖3所示，計(jì)算系統(tǒng)300可包括處理器302、存儲(chǔ)介質(zhì)304、顯示器306、通信模塊308、數(shù)據(jù)庫310和外圍設(shè)備312。某些設(shè)備可能被省略，其它設(shè)備也可包含其中。
[0027]處理器302可包括任何適當(dāng)?shù)奶幚砥骰蛱幚砥鹘M。進(jìn)一步地，處理器302可包括用于多線程或并行處理的多個(gè)核心。存儲(chǔ)介質(zhì)304可包括存儲(chǔ)模組，例如ROM，RAM,閃存模組和大容量存儲(chǔ)器，例如CD-ROM和硬盤等等。存儲(chǔ)介質(zhì)304可存儲(chǔ)用于執(zhí)行各種進(jìn)程的計(jì)算機(jī)程序，該計(jì)算機(jī)程序可被處理器302執(zhí)行。[0028]進(jìn)一步地，外圍設(shè)備312可包括各種傳感器和I/O設(shè)備，例如鍵盤和鼠標(biāo)，通信模塊308可包括用以通過通信網(wǎng)絡(luò)建立連接的目標(biāo)網(wǎng)絡(luò)接口設(shè)備。數(shù)據(jù)庫310可包括一個(gè)或多個(gè)用于存儲(chǔ)目標(biāo)數(shù)據(jù)，對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行某些操作的數(shù)據(jù)庫，例如數(shù)據(jù)庫檢索。
[0029]電視機(jī)202、終端設(shè)備204和/或服務(wù)器206可實(shí)現(xiàn)增強(qiáng)視頻系統(tǒng)向用戶208提供個(gè)性化視頻服務(wù)功能，圖4所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型增強(qiáng)視頻系統(tǒng)400。
[0030]如圖4所示，增強(qiáng)視頻系統(tǒng)400包括視頻渲染器402、視頻內(nèi)容數(shù)據(jù)庫404、增強(qiáng)視頻數(shù)據(jù)庫406、增強(qiáng)視頻變換器408、增強(qiáng)視頻渲染器410、增強(qiáng)視頻發(fā)生器412、推薦系統(tǒng)414、用戶行為分析模塊416、眾包系統(tǒng)(Crowdsourcing System) 418、提取和檢測模塊420和識(shí)別和檢索模塊422。某些組件可能被省略，其它組件也可包含其中。
[0031]來自任何適當(dāng)類型視頻資源的一輸入視頻被提供給所述增強(qiáng)視頻系統(tǒng)400。提取和檢測模塊420包括用于從輸入視頻進(jìn)行對(duì)象提取的對(duì)象提取模塊、用于從輸入視頻進(jìn)行集錦提取的集錦提取模塊、用于發(fā)現(xiàn)用戶興趣點(diǎn)的熱點(diǎn)標(biāo)題檢測模塊。
[0032]進(jìn)一步地，識(shí)別和檢索模塊422包括用于處理所述提取和檢測模塊420所提供的信息的某些功能單元。例如，識(shí)別和檢索模塊422可包括對(duì)象識(shí)別單元、圖像檢索單元和信息/廣告檢索單元，所述信息/廣告檢索單元用于執(zhí)行對(duì)象識(shí)別和圖像/消息/廣告檢索從而查找到最匹配的視覺對(duì)象或熱點(diǎn)標(biāo)題。提取和檢測模塊420和識(shí)別和檢索模塊422可被統(tǒng)稱為增強(qiáng)視頻處理模塊，其用于接收輸入視頻并獲取關(guān)于輸入視頻的多維信息。
[0033]為提聞系統(tǒng)的精確性，眾包系統(tǒng)418在檢測/識(shí)別興趣點(diǎn)工作加入質(zhì)量保證(QA)過程。進(jìn)一步地，用戶行為分析模塊416可監(jiān)視用戶間的交互，檢測用戶的情緒，評(píng)估用戶行為模式(例如使用遙控器的模式，上網(wǎng)模式或觀看視頻節(jié)目模式)，從而確定用戶的行為與他/她的偏好之間的關(guān)系，用戶行為分析模塊416的用戶分析結(jié)果可輸出到其它模塊或單元，例如推薦系統(tǒng)414。
[0034]推薦系統(tǒng)414可拼湊所有相關(guān)的與興趣點(diǎn)對(duì)應(yīng)的個(gè)性化推薦信息。進(jìn)一步地，增強(qiáng)視頻發(fā)生器412通過將上述附加信息(即，增強(qiáng)視頻信息)與輸入視頻相關(guān)聯(lián)創(chuàng)建一對(duì)應(yīng)于輸入視頻的增強(qiáng)視頻。這里所述增強(qiáng)視頻涉及一種交互式視頻格式方案，該方案能夠使用戶與視頻在多個(gè)不同維度或方面進(jìn)行交互。例如，增強(qiáng)視頻信息可使用戶在對(duì)象層面、故事線索層面和社交層面的三個(gè)維度進(jìn)行互動(dòng)。用戶、用戶好友和家庭成員在社交層面的互動(dòng)可豐富視頻，使其成為難忘的個(gè)人體驗(yàn)。也就是說，增強(qiáng)視頻使得用戶可訪問、控制和/或調(diào)整在輸入視頻、輸入視頻的故事線索、與輸入視頻關(guān)聯(lián)的個(gè)人與商業(yè)等方面中的對(duì)象。
[0035]增強(qiáng)視頻可經(jīng)由增強(qiáng)視頻渲染器410進(jìn)行播放，增強(qiáng)視頻渲染器也可處理包括多屏幕系統(tǒng)(包含多個(gè)顯示單元的計(jì)算機(jī)系統(tǒng)，例如多屏互動(dòng)系統(tǒng))設(shè)置在內(nèi)的所有場景顯示設(shè)置操作。
[0036]進(jìn)一步地，存儲(chǔ)增強(qiáng)視頻數(shù)據(jù)庫可被增強(qiáng)視頻系統(tǒng)400用于進(jìn)一步增強(qiáng)其它類似輸入視頻。具體的說，視頻內(nèi)容數(shù)據(jù)庫404接收并存儲(chǔ)有來自于各種資源(資源1，資源2......資源n)的視頻。視頻渲染器402可播放視頻內(nèi)容數(shù)據(jù)庫404中的輸入視頻。
[0037]進(jìn)一步地，針對(duì)一輸入視頻，增強(qiáng)視頻變換器408可檢測在增強(qiáng)視頻數(shù)據(jù)庫406中是否已經(jīng)存在與輸入視頻相匹配的相應(yīng)增強(qiáng)視頻。任何適當(dāng)?shù)钠ヅ錁?biāo)準(zhǔn)均可使用。例如，對(duì)增強(qiáng)視頻的視頻部分與輸入視頻間的相似性超過一預(yù)設(shè)閾值時(shí)，或者當(dāng)兩個(gè)視頻的某些指紋類型對(duì)比時(shí)，進(jìn)行匹配度的檢測。進(jìn)一步地，針對(duì)兩個(gè)視頻的匹配可以連續(xù)執(zhí)行，以便從現(xiàn)有的增強(qiáng)視頻中產(chǎn)生相應(yīng)的增強(qiáng)視頻信息。
[0038]上述匹配或部分匹配成功后，增強(qiáng)視頻變換器408可將匹配或部分匹配的增強(qiáng)視頻信息與輸入視頻進(jìn)行關(guān)聯(lián)，從而創(chuàng)建增強(qiáng)視頻并發(fā)送所創(chuàng)建的增強(qiáng)視頻到增強(qiáng)視頻渲染器410中播放帶有增強(qiáng)視頻信息的輸入視頻，即增強(qiáng)輸入視頻。
[0039]在實(shí)際操作中，增強(qiáng)視頻系統(tǒng)400 (例如各種組件，處理器302等等)可執(zhí)行某些進(jìn)程，用以向用戶提供增強(qiáng)視頻服務(wù)。圖5所示的是一典型的增強(qiáng)視頻產(chǎn)生過程500。
[0040]圖5所示的是，開始后，輸入視頻被提供給增強(qiáng)視頻系統(tǒng)400 (S502)，增強(qiáng)視頻系統(tǒng)400 (例如提取與檢測模塊420)處理所接收到的輸入視頻，獲取與該輸入視頻相關(guān)聯(lián)的對(duì)象信息(S504)。具體為，增強(qiáng)視頻系統(tǒng)400使用代表各種類別的訓(xùn)練模型對(duì)輸入視頻進(jìn)行對(duì)象檢測用以檢測受關(guān)注的對(duì)象，例如人臉、汽車、皮包、布料等。
[0041]進(jìn)一步地，系統(tǒng)400對(duì)輸入視頻進(jìn)行對(duì)象識(shí)別，從而識(shí)別所檢測到的對(duì)象。若系統(tǒng)400識(shí)別出所檢測到的對(duì)象，將統(tǒng)一資源定位符URL與所識(shí)別的對(duì)象及對(duì)應(yīng)典型用戶針對(duì)所識(shí)別對(duì)象的需求的信息進(jìn)行關(guān)聯(lián)，該信息包括搜索信息、推薦信息和采購信息等；
若系統(tǒng)400未識(shí)別所檢測到的對(duì)象，系統(tǒng)400使用圖像檢索引擎從數(shù)據(jù)庫或網(wǎng)絡(luò)上查找與所檢測的對(duì)象特征類似的對(duì)象，將所查找到的特征類似對(duì)象與URL及對(duì)應(yīng)該特征類似對(duì)象的信息進(jìn)行關(guān)聯(lián)。另外，系統(tǒng)400也可使用廣告檢索引擎通過關(guān)鍵字匹配等將相關(guān)廣告與所檢測到的對(duì)象建立鏈接。
[0042]進(jìn)一步地，系統(tǒng)400 (例如集錦提取模塊)可提取視頻集錦，所述視頻集錦是一組用戶喜歡或感興趣的視頻片段，即視頻的重要時(shí)刻。這些集錦可在用戶觀看輸入視頻后再次被訪問。視頻集錦可代表輸入視頻的故事線索。
[0043]系統(tǒng)400 (例如熱點(diǎn)標(biāo)題檢測模塊)也可提取熱點(diǎn)標(biāo)題，例如反映視頻字幕中某些話題的主旨。如果視頻字幕不可用，從輸入視頻的圖像序列中進(jìn)行光學(xué)字符識(shí)別(OCR)處理提取內(nèi)嵌字幕，或者進(jìn)行語音檢測和語音文本轉(zhuǎn)換來獲取字幕。
[0044]獲取字幕之后，執(zhí)行自然語言處理(NLP)將語句拆解為字詞，然后字詞經(jīng)過一模板過濾，篩選出關(guān)鍵字，然后將關(guān)鍵字發(fā)送到維基網(wǎng)站(Wikis)或其它信息檢索引擎來比較它們的社會(huì)關(guān)注度或社會(huì)知名度，例如一關(guān)鍵字是否在社會(huì)網(wǎng)絡(luò)環(huán)境中被討論過或廣泛使用過，或者是否存在針對(duì)此關(guān)鍵字創(chuàng)建的維基頁面。最后，篩選出排名最高關(guān)鍵字作為熱點(diǎn)標(biāo)題。系統(tǒng)400也會(huì)從信息檢索引擎獲取相關(guān)聯(lián)的URL。
[0045]同時(shí)，系統(tǒng)400也可獲取用戶行為(S506)。用戶行為包括邏輯運(yùn)算(例如刪除、跨頁面導(dǎo)航)，和物理操作(例如按壓按鈕，切換遙控器)等。用戶行為可反映出用戶的喜好或興趣，系統(tǒng)會(huì)對(duì)用戶行為歷史進(jìn)行深度挖掘以得到興趣點(diǎn)(S508)，因而上述信息可在創(chuàng)建或選擇性呈現(xiàn)增強(qiáng)視頻信息時(shí)加以利用。
[0046]此外，系統(tǒng)400可使用眾包機(jī)制(例如向任意網(wǎng)絡(luò)用戶提交一公開性問題以便某些用戶對(duì)該問題進(jìn)行回答)激勵(lì)網(wǎng)絡(luò)志愿者來幫助加強(qiáng)通過上述方法自動(dòng)產(chǎn)生的增強(qiáng)視頻信息的質(zhì)量保證。眾包系統(tǒng)對(duì)志愿者支付一定的酬勞，從而激勵(lì)志愿者工作。
[0047]基于所獲取的部分或全部信息，例如對(duì)象、關(guān)鍵字、集錦、熱點(diǎn)標(biāo)題和用戶興趣及偏好，系統(tǒng)400可向用戶在輸入視頻上推薦更多的項(xiàng)目(S510).然后，系統(tǒng)400在輸入視頻上生成增強(qiáng)視頻信息。增強(qiáng)視頻信息可包括全部或部分上述信息，例如對(duì)象、關(guān)鍵字、集錦、熱點(diǎn)標(biāo)題和用戶興趣及偏好，和針對(duì)廣告、采購、搜索和社交的推薦項(xiàng)目(S512)。也就是說，增強(qiáng)視頻信息可包括與輸入視頻有關(guān)的，對(duì)象層面的、故事線索層面和/或社交層面的多維信息。
[0048]之后，系統(tǒng)400可將增強(qiáng)視頻信息與輸入視頻關(guān)聯(lián)，從而產(chǎn)生輸入視頻的增強(qiáng)視頻(S514)。
[0049]所提供的輸入視頻的視頻序列用V= (F1, F2,…，F(xiàn)J表示，其中，n是幀的總數(shù)，相應(yīng)的增強(qiáng)視頻可表示為IV，R}。其中增強(qiáng)視頻信息R= (R1, R2,…，RJ，其中每個(gè)&可表示為下列列表中一些或全部的信息:
?對(duì)象類型，對(duì)象邊界框{Lx, Ly, Rx, Ry}，URL ?關(guān)鍵字，URL ?集錦幀部分 ?熱點(diǎn)標(biāo)題 ?推薦項(xiàng)目
因此，增強(qiáng)視頻是輸入視頻的一個(gè)超集，包括能在輸入視頻上直接進(jìn)行交互的附加信息，其是在不改變輸入視頻比特流的情況下，通過在視頻層頂層添加關(guān)聯(lián)信息層來實(shí)現(xiàn)。換言之，增強(qiáng)視頻信息和輸入視頻可被分開存儲(chǔ)，和/或可以在分別的數(shù)據(jù)流中播放。
[0050]進(jìn)一步地，因?yàn)樵撓硬皇芟抻谌魏翁囟ㄝ斎胍曨l或特定用戶，可靈活地包括不同層面不同量的信息，該消息層還是可分級(jí)的。消息層的可分級(jí)性至少表現(xiàn)在以下幾個(gè)方面。
[0051]個(gè)人興趣的可分級(jí)性:為實(shí)現(xiàn)個(gè)性化要求，針對(duì)不同的用戶或用戶群，各種消息的優(yōu)先次序是不同的，因此當(dāng)網(wǎng)絡(luò)帶寬受限時(shí)，系統(tǒng)可向觀眾僅傳送有趣的消息。進(jìn)一步地，基于用戶的興趣層面，信息按漸進(jìn)順序組織從而使個(gè)人興趣可分級(jí)性得以實(shí)現(xiàn)。
[0052]時(shí)效性的可分級(jí)性:從增強(qiáng)視頻的創(chuàng)建來看，有些信息可能通過自動(dòng)進(jìn)程產(chǎn)生，而有些信息則可能通過后期制作產(chǎn)生。因此，時(shí)效性要求高的信息可被及時(shí)的增加、刪除，甚至被改變整個(gè)時(shí)間軸。
[0053]商業(yè)價(jià)值的可分級(jí)性:顧名思義，信息可根據(jù)商業(yè)價(jià)值設(shè)置優(yōu)先級(jí)。
[0054]在推薦進(jìn)程中，推薦項(xiàng)目順序依據(jù)時(shí)效性和商業(yè)價(jià)值處理，從而使數(shù)據(jù)順序組織方式只要是基于漸進(jìn)方式，其可分級(jí)性便可實(shí)現(xiàn)。
[0055]進(jìn)一步地，增強(qiáng)視頻產(chǎn)生后，系統(tǒng)400可將增強(qiáng)視頻儲(chǔ)存在數(shù)據(jù)庫中(S516)。系統(tǒng)400也可向用戶播放該增強(qiáng)視頻。因?yàn)樵鰪?qiáng)視頻包括實(shí)際的視頻和增強(qiáng)視頻信息，如果用戶不進(jìn)行選擇或者不具有偏好操作，系統(tǒng)400可基于用戶配置或默認(rèn)配置確定一特定方式來呈現(xiàn)視頻和增強(qiáng)視頻信息。
[0056]例如，系統(tǒng)400可在電視機(jī)屏幕上播放視頻，同時(shí)在另一單獨(dú)屏幕上顯示相應(yīng)的增強(qiáng)視頻信息，例如一移動(dòng)終端屏幕。即所謂的多畫面播放?；蛘呦到y(tǒng)400可在畫中畫模式或疊加模式中在同一屏幕上播放視頻和顯示增強(qiáng)視頻信息。其它顯示形式也可采用。
[0057]進(jìn)一步地，系統(tǒng)400可分別向用戶呈現(xiàn)視頻和增強(qiáng)視頻信息。例如，系統(tǒng)400可首先向用戶播放視頻，然后向用戶顯示增強(qiáng)視頻信息，或者可先向用戶顯示增強(qiáng)視頻信息，然后播放視頻。任何適當(dāng)方法均可采用。
[0058]播放也可是交互式的，在此交互播放期間，用戶可與處于對(duì)象層面、故事線索層面和/或社交層面的系統(tǒng)400進(jìn)行交互。圖6所示的是一使用場景的增強(qiáng)視頻。[0059]如圖6所示，輸入視頻是左邊圖上一拎著包的模特的場景，增強(qiáng)視頻包括沿時(shí)間軸的3個(gè)連續(xù)幀(F1、F2、F3)，每一幀包含對(duì)象和相關(guān)信息，上下文信息反映故事線索結(jié)構(gòu)，社交評(píng)論和指紋信息(例如帶標(biāo)簽的方框)。
[0060]盡管通過人為處理可獲得篩選后結(jié)果，增強(qiáng)視頻仍通過自動(dòng)進(jìn)程產(chǎn)生，自動(dòng)進(jìn)程可使用前述的方法例如視頻語義對(duì)象提取、視頻集錦提取、關(guān)鍵字和熱點(diǎn)標(biāo)題檢測、人類行為分析、圖像和對(duì)象檢索、新聞和信息檢索和個(gè)性化推薦等等來創(chuàng)建增強(qiáng)視頻。
[0061]圖7所示的是增強(qiáng)視頻的播放方案。如圖7所示的是使用多畫面播放方法，視頻節(jié)目在電視機(jī)上顯示，另一方面，增強(qiáng)視頻信息的消息層在移動(dòng)設(shè)備上顯示，該消息層與電視上顯示的節(jié)目是同步的。 [0062]圖8所示的是另一增強(qiáng)視頻播放方案。如圖8所示，一移動(dòng)設(shè)備在視頻播放結(jié)束后用于獲取增強(qiáng)視頻信息(帶有對(duì)象/信息列表)。在這兩種情況下，所顯示的增強(qiáng)視頻信息給予用戶直接與視頻中對(duì)象交互的機(jī)會(huì)，從而使得用戶能完成對(duì)信息、采購或者社交等的搜尋。
[0063]增強(qiáng)視頻信息創(chuàng)建以后，系統(tǒng)400對(duì)其他類似的視頻使用有效的增強(qiáng)視頻信息。圖9所示的是與本發(fā)明實(shí)施例對(duì)應(yīng)的一典型增強(qiáng)視頻操作過程
如圖9所示，系統(tǒng)400從多個(gè)視頻資源中接收一輸入視頻(S902)。接收到輸入視頻后，系統(tǒng)400確定是否存在與該輸入視頻相對(duì)應(yīng)的增強(qiáng)視頻(S904)。
[0064]內(nèi)容可有多種變化或者拷貝呈現(xiàn)多種顯示方式。例如，視頻標(biāo)題可有許多不同的形式顯示，例如某人錄制的一分辨率甚至可能都不相同的模糊或低質(zhì)量版本視頻，或者中間插有廣告和因?yàn)楦鞣N原因去除一些幀的版本等等，但是，系統(tǒng)400僅執(zhí)行一次增強(qiáng)視頻創(chuàng)建過程，然后將其自動(dòng)部署到全部拷貝/演變版本上并使其適應(yīng)于所有顯示器。即增強(qiáng)視頻變換器。換言之，使用增強(qiáng)視頻變換機(jī)制，一組現(xiàn)有增強(qiáng)視頻的演變版本可自動(dòng)地、實(shí)時(shí)地與現(xiàn)有視頻的拷貝/演變版本匹配，與各種播放條件匹配，代替了原來的針對(duì)每個(gè)拷貝和方案創(chuàng)建增強(qiáng)視頻的方法。
[0065]也就是說，增強(qiáng)視頻變換器用于增強(qiáng)視頻和增強(qiáng)視頻中包含的視頻流的演變版本的同步。具體實(shí)施過程中，系統(tǒng)400進(jìn)行視頻拷貝的檢索，確定輸入視頻是否是現(xiàn)有增強(qiáng)視頻的拷貝或部分拷貝，即復(fù)制視頻。
[0066]若輸入視頻不是現(xiàn)有視頻的拷貝或部分拷貝，系統(tǒng)400創(chuàng)建一針對(duì)輸入視頻的增強(qiáng)視頻，處理完成。另一方面，若輸入視頻是現(xiàn)有視頻的拷貝或部分拷貝，系統(tǒng)400對(duì)輸入視頻與增強(qiáng)視頻進(jìn)行進(jìn)一步匹配，以便增強(qiáng)視頻信息能夠用正確的時(shí)間戳對(duì)應(yīng)等來重新覆蓋該拷貝。
[0067]更為具體的是,基于Needleman-Wunsch算法的TIR1-DCT用于查找現(xiàn)有視頻與復(fù)制視頻之間的對(duì)應(yīng)時(shí)間戳。這里，增強(qiáng)視頻用表示，復(fù)制視頻用…&表示，其中a,.(i=l,…，m)和0-1,…/?)是每個(gè)視頻幀的時(shí)空指紋。視頻幀之間的圖像相似度根據(jù)指紋間的相似度進(jìn)行計(jì)算。并且，部分片段被定義為為和Bj,其是分別包含J 和召的第 i?和 J'個(gè)元素，即，為.=a/?/"? 熱 Bj=IjJjfbj (I ^ I (n and I ^ J ^ /?);定義S{i, j)是為和Bj.數(shù)列中最大值。
[0068]動(dòng)態(tài)規(guī)劃算法排列J和沒如下:
開始:S(i，j)的 0*行:S (O，j) = d X j, J=O，1，2，…，n
S{i, j)的0列:S(i，0) = t/ X i, i=l, 2，…，n
循環(huán)(l〈i < 和 1〈J < ):
S(i，j)=最大值[只1-2，j-1) + 相似度(?, b), Sij，j-1) + d, si1-l，j) +d](1)
在上述說明中，J代表視頻幀與空白幀之間的相似度(即，無視頻幀)，該J可合理設(shè)為0或者一負(fù)值；相似度(a，b)表示七和&指紋之間的相似度(其等于當(dāng)七或沁對(duì)應(yīng)于空白幀時(shí)的V)，相似度(?, b)通過計(jì)算兩指紋向量間的歐幾里德距離得出。
[0069]通過時(shí)間信息代表圖像(temporallyinformative representative image)TIR1-DCT獲取指紋。首先，TIRI圖像通過雙邊濾波器將相鄰幀(時(shí)間域)插入到當(dāng)前幀來產(chǎn)生，然后圖像被劃分成NXN大小的重疊區(qū)塊，其中N是區(qū)塊的尺寸，每個(gè)區(qū)塊使用2D-DCT進(jìn)行處理。將每個(gè)區(qū)塊的主要DCT系數(shù)用向量表示，即可得到當(dāng)前幀的指紋向量。
[0070]當(dāng)增強(qiáng)視頻與復(fù)制視頻間的相似度高于閾值時(shí)，系統(tǒng)400確定增強(qiáng)視頻和復(fù)制視頻匹配或部分匹配(S906，是)，該進(jìn)程繼續(xù)。另一方面，如果輸入視頻與現(xiàn)有的增強(qiáng)視頻完全不匹配(S906，否)，系統(tǒng)400可進(jìn)一步創(chuàng)建一對(duì)應(yīng)于輸入視頻的新的增強(qiáng)視頻(S908)，進(jìn)程完成。
[0071]一旦獲取到相應(yīng)的匹配，針對(duì)信息層用匹配的時(shí)間戳代替原始時(shí)間表，從而為復(fù)制視頻導(dǎo)出增強(qiáng)視頻信息(S910)。導(dǎo)出的增強(qiáng)視頻信息隨之與輸入視頻關(guān)聯(lián)，從而創(chuàng)建輸入視頻的增強(qiáng)視頻(S912)。這樣，增強(qiáng)視頻變換器模塊可從數(shù)據(jù)資源中獲取復(fù)制視頻，并動(dòng)態(tài)產(chǎn)生關(guān)聯(lián)的增強(qiáng)視頻信息層，當(dāng)視頻和信息層在同一顯示器中呈現(xiàn)時(shí)，獲取增強(qiáng)視頻用戶歷史記錄。然后，復(fù)制視頻和關(guān)聯(lián)的增強(qiáng)視頻信息向用戶播放(S914).另外，系統(tǒng)400也可調(diào)整某些增強(qiáng)視頻信息的優(yōu)先級(jí)(S916)。例如，系統(tǒng)400基于使用數(shù)據(jù)及商業(yè)廣告和用戶喜好的因素賦予目標(biāo)源信息更高的優(yōu)先級(jí)。
[0072]通過本發(fā)明公開的系統(tǒng)和方法，可實(shí)現(xiàn)有益的個(gè)性化內(nèi)容傳送及交互應(yīng)用。本發(fā)明的系統(tǒng)和方法提供一增強(qiáng)視頻(豐富的視頻)，一個(gè)新的視頻娛樂體驗(yàn)方案。在增強(qiáng)視頻播放體驗(yàn)過程中，用戶可與視頻內(nèi)容進(jìn)行交互，從而搜索信息，完成買賣交易，獲取服務(wù)體驗(yàn)。另一方面，增強(qiáng)視頻根據(jù)交互過程學(xué)習(xí)了解用戶的喜好，向用戶提供個(gè)性化服務(wù)。因此，進(jìn)行增強(qiáng)視頻創(chuàng)建、部署和適應(yīng)的自動(dòng)化過程可被應(yīng)用到異構(gòu)網(wǎng)絡(luò)與支持增強(qiáng)視頻變換技術(shù)的終端中。針對(duì)眾多視頻內(nèi)容版本，增強(qiáng)視頻創(chuàng)建進(jìn)程只需要其中之一即可，然后利用變化技術(shù)對(duì)創(chuàng)建的增強(qiáng)視頻進(jìn)行轉(zhuǎn)換，使其適應(yīng)于相同視頻內(nèi)容的其他版本。
[0073]本發(fā)明公開的系統(tǒng)和方法可進(jìn)一步擴(kuò)展到其它具有顯示功能的設(shè)備例如手機(jī)、平板電腦、PC機(jī)、手表等上，從而使用戶獲得獨(dú)一無二的交互體驗(yàn)。對(duì)本領(lǐng)域普通技術(shù)人員來說，根據(jù)上述說明加以改進(jìn)或變換，所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.一種向至少一個(gè)用戶提供增強(qiáng)視頻服務(wù)的方法，包括: 接收第一輸入視頻； 處理所接收到的第一輸入視頻，獲取與第一輸入視頻相關(guān)聯(lián)的多維信息； 獲取基于用戶行為的用戶推薦信息； 創(chuàng)建基于所述多維信息的增強(qiáng)視頻信息，所述增強(qiáng)視頻信息與第一輸入視頻以及所述用戶推薦信息相關(guān)聯(lián)； 將增強(qiáng)視頻信息與第一輸入視頻整合成增強(qiáng)視頻，并向用戶播放所述增強(qiáng)視頻。
2.根據(jù)權(quán)利要求1的方法，其中，所述多維信息包括所述第一輸入視頻中的對(duì)象信息、所述第一輸入視頻的故事線索和所述第一輸入視頻的社交信息。
3.根據(jù)權(quán)利要求1的方法，其中，處理所述第一輸入視頻進(jìn)一步包括: 對(duì)所述第一輸入視頻進(jìn)行對(duì)象提取，用以檢測所述第一輸入視頻中的對(duì)象； 對(duì)所檢測到的對(duì)象進(jìn)行對(duì)象識(shí)別； 當(dāng)所檢測到的對(duì)象被 識(shí)別時(shí)，將統(tǒng)一資源定位符URL與所識(shí)別的對(duì)象及對(duì)應(yīng)典型用戶針對(duì)所識(shí)別對(duì)象的需求的信息進(jìn)行關(guān)聯(lián)，該信息包括搜索信息、推薦信息和采購信息； 當(dāng)所檢測到的對(duì)象未被識(shí)別時(shí)，通過網(wǎng)絡(luò)檢索查找與所檢測的對(duì)象特征類似的對(duì)象，將所查找到的特征類似對(duì)象與URL及對(duì)應(yīng)該特征類似對(duì)象的信息進(jìn)行關(guān)聯(lián)。
4.根據(jù)權(quán)利要求3的方法，進(jìn)一步包括: 提取所述第一輸入視頻的視頻集錦來表現(xiàn)所述第一輸入視頻的故事線索。
5.根據(jù)權(quán)利要求4的方法，進(jìn)一步包括: 提取所述第一輸入視頻的標(biāo)題中的關(guān)鍵字； 將所述關(guān)鍵字發(fā)送到信息檢索引擎，比較其社會(huì)關(guān)注度和社會(huì)知名度；選取最高排名的關(guān)鍵字作為所述第一輸入視頻的熱點(diǎn)標(biāo)題。
6.根據(jù)權(quán)利要求5的方法，其中，提取所述第一輸入視頻的標(biāo)題中的關(guān)鍵字進(jìn)一步包括: 當(dāng)所述第一輸入視頻包含字幕時(shí)，從所述第一輸入視頻的字幕中提取第一輸入視頻的關(guān)鍵字； 當(dāng)所述第一輸入視頻不包含字幕時(shí)，通過光學(xué)字符識(shí)別(OCR)處理提取所述第一輸入視頻的內(nèi)嵌字幕，從所述第一輸入視頻的字幕中提取第一輸入視頻的關(guān)鍵字。
7.根據(jù)權(quán)利要求1的方法，其中，創(chuàng)建增強(qiáng)視頻信息進(jìn)一步包括: 按照漸進(jìn)順序組織所述增強(qiáng)視頻信息以便實(shí)現(xiàn)個(gè)人興趣的可分級(jí)性； 在推薦項(xiàng)目的漸進(jìn)順序中依據(jù)時(shí)效性和商業(yè)價(jià)值處理，以便實(shí)現(xiàn)時(shí)效性的可分級(jí)性和商業(yè)價(jià)值的可分級(jí)性。
8.根據(jù)權(quán)利要求1的方法，其中，向用戶播放所述增強(qiáng)視頻進(jìn)一步包括: 在第一屏幕上播放所述第一輸入視頻；在不同于第一屏幕的第二屏幕上顯示與所述第一輸入視頻同步的增強(qiáng)視頻信息。
9.根據(jù)權(quán)利要求1的方法，其中，向用戶播放所述增強(qiáng)視頻進(jìn)一步包括: 在一屏幕上播放所述第一輸入視頻；播放所述第一輸入視頻之后在該屏幕上顯示所述增強(qiáng)視頻信息。
10.根據(jù)權(quán)利要求1的方法，所述方法進(jìn)一步包括:從多個(gè)視頻資源中接收第二輸入視頻； 確定所述第二輸入視頻是否與已創(chuàng)建增強(qiáng)視頻的第一輸入視頻匹配； 當(dāng)確定所述第二輸入視頻與第一輸入視頻匹配或部分匹配時(shí)，從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出所述第二輸入視頻的增強(qiáng)視頻信息；將導(dǎo)出的增強(qiáng)視頻信息與所述第二輸入視頻相關(guān)聯(lián)從而創(chuàng)建一針對(duì)所述第二輸入視頻的增強(qiáng)視頻；并向用戶播放所述第二輸入視頻的增強(qiáng)視頻。
11.根據(jù)權(quán)利要求10的方法，所述方法進(jìn)一步包括: 當(dāng)確定所述第二輸入視頻與第一輸入視頻完全不匹配時(shí)，對(duì)應(yīng)所述第二輸入視頻創(chuàng)建一新的增強(qiáng)視頻。
12.根據(jù)權(quán)利要求10的方法，其中，確定所述第二輸入視頻是否與第一輸入視頻匹配進(jìn)一步包括: 確定所述第二輸入視頻是所述第一輸入視頻的拷貝或部分拷貝；基于所述第二輸入視頻與第一輸入視頻的指紋對(duì)二者進(jìn)行匹配。
13.根據(jù)權(quán)利要求12的方法，其中，從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出所述第二輸入視頻的增強(qiáng)視頻信息進(jìn)一步包括: 在所述第一輸入視頻的增強(qiáng)視頻信息中，使用原始時(shí)間戳替換視頻時(shí)限相匹配的時(shí)間戳，從而從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出所述第二輸入視頻的增強(qiáng)視頻信息。
14.一種向至少一個(gè)用戶提供增強(qiáng)視頻服務(wù)的增強(qiáng)視頻系統(tǒng)，包括: 增強(qiáng)視頻處理模塊，用于接收第一輸入視頻并進(jìn)行處理，獲取與輸入視頻相關(guān)聯(lián)的多維信息； 推薦模塊，用于獲取基于用戶行為的用戶推薦信息； 增強(qiáng)視頻發(fā)生器，用于基于與輸入視頻和用戶推薦信息相關(guān)聯(lián)的多維信息來創(chuàng)建增強(qiáng)視頻信息，同時(shí)用于將所述增強(qiáng)視頻信息與所述第一輸入視頻相關(guān)聯(lián)從而創(chuàng)建第一輸入視頻的增強(qiáng)視頻； 增強(qiáng)視頻渲染器，用于向用戶播放所述增強(qiáng)視頻。
15.根據(jù)權(quán)利要求14所述的增強(qiáng)視頻系統(tǒng)，其中，所述多維信息包括所述第一輸入視頻中的對(duì)象信息、所述第一輸入視頻的故事線索和所述第一輸入視頻的相關(guān)社交信息。
16.根據(jù)權(quán)利要求14所述的增強(qiáng)視頻系統(tǒng)，其中，為處理輸入視頻，所述增強(qiáng)視頻處理模塊進(jìn)一步用于: 對(duì)所述第一輸入視頻進(jìn)行對(duì)象提取，用以檢測所述第一輸入視頻中的對(duì)象； 對(duì)所檢測到的對(duì)象進(jìn)行對(duì)象識(shí)別； 當(dāng)所檢測到的對(duì)象被識(shí)別時(shí)，將統(tǒng)一資源定位符URL與所識(shí)別的對(duì)象及用以迎合對(duì)所識(shí)別對(duì)象的典型用戶需求的相關(guān)信息進(jìn)行關(guān)聯(lián)，所述相關(guān)信息包括搜索信息、推薦信息和采購信息； 當(dāng)所檢測到的對(duì)象未被識(shí)別時(shí)，通過網(wǎng)絡(luò)檢索類似的對(duì)象與URL及所述相關(guān)信息進(jìn)行關(guān)聯(lián)。
17.根據(jù)權(quán)利要求16所述的增強(qiáng)視頻系統(tǒng)，進(jìn)一步包括: 提取所述第一輸入視頻的視頻集錦來表現(xiàn)所述第一輸入視頻的故事線索； 提取所述第一輸入視頻的標(biāo)題中的關(guān)鍵字；；將所述關(guān)鍵字發(fā)送到信息檢索引擎，比較其社會(huì)關(guān)注度和社會(huì)知名度；選取最高排名的關(guān)鍵字作為所述第一輸入視頻的熱點(diǎn)標(biāo)題。
18.根據(jù)權(quán)利要求14所述的增強(qiáng)視頻系統(tǒng)，進(jìn)一步包括: 視頻內(nèi)容模塊，用于從多個(gè)視頻資源中接收第二輸入視頻； 增強(qiáng)視頻變換器，用于確定所述第二輸入視頻是否與已創(chuàng)建增強(qiáng)視頻的第一輸入視頻匹配； 當(dāng)確定所述第二輸入視頻與第一輸入視頻匹配或部分匹配時(shí)，從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出所述第二輸入視頻的增強(qiáng)視頻信息；將導(dǎo)出的增強(qiáng)視頻信息與所述第二輸入視頻相關(guān)聯(lián)從而創(chuàng)建一針對(duì)所述第二輸入視頻的增強(qiáng)視頻；并向用戶播放所述第二輸入視頻的增強(qiáng)視頻。
19.根據(jù)權(quán)利要求18所述的增強(qiáng)視頻系統(tǒng)，其中，所述增強(qiáng)視頻變換器進(jìn)一步用于: 當(dāng)確定所述第二輸入視頻與第一輸入視頻完全不匹配時(shí)，對(duì)應(yīng)所述第二輸入視頻創(chuàng)建一新的增強(qiáng)視頻。
20.根據(jù)權(quán)利要求18所述的增強(qiáng)視頻系統(tǒng)，其中，為確定所述第二輸入視頻是否與第一輸入視頻匹配，所述增強(qiáng)視頻變換器進(jìn)一步用于: 確定所述第二輸入視頻是所述第一輸入視頻的拷貝或部分拷貝；基于所述第二輸入視頻與第一輸入視頻的指紋對(duì)二者進(jìn)行匹配。
21.根據(jù)權(quán)利要求20所述的增強(qiáng)視頻系統(tǒng)，其中，為從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出針對(duì)所述第二輸入視頻的增強(qiáng)視頻信息，所述增強(qiáng)視頻變換器進(jìn)一步用于: 在所述第一輸入視頻的增`強(qiáng)視頻信息中，使用原始時(shí)間戳替換視頻時(shí)限相匹配的時(shí)間戳，從而從所述第一輸入視頻的增強(qiáng)視頻中導(dǎo)出所述第二輸入視頻的增強(qiáng)視頻信息。
【文檔編號(hào)】H04N21/442GK103686344SQ201310569431
【公開日】2014年3月26日 申請(qǐng)日期:2013年11月13日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】汪灝泓 申請(qǐng)人:Tcl集團(tuán)股份有限公司