識(shí)別縮略圖圖像以呈現(xiàn)視頻的制作方法
【專利說明】識(shí)別縮略圖圖像以呈現(xiàn)視頻
【背景技術(shù)】
[0001] 視頻共享網(wǎng)站可以僅示出用于給定視頻的中間幀或某個(gè)其他隨機(jī)選擇幀，作為視 頻的假設(shè)"典型（r印resentative)"幀。這樣的隨機(jī)選擇和縮略圖圖像的呈現(xiàn)可以是用戶 是否觀看視頻的確定因素、以及從用戶體驗(yàn)獲得的其他目標(biāo)的滿意或?qū)崿F(xiàn)的水平。

【發(fā)明內(nèi)容】

[0002] 所公開的技術(shù)提供典型縮略圖圖像幀用于媒體呈現(xiàn)，例如，呈現(xiàn)在視頻共享網(wǎng)站 上的視頻或靜止或流送圖像的其他分組。縮略圖圖像選擇系統(tǒng)包括圖像幀生成工具，該圖 像幀生成工具從媒體呈現(xiàn)生成一個(gè)或多個(gè)圖像幀的集合?？s略圖選擇工具從該圖像幀集合 選擇一個(gè)或多個(gè)候選縮略圖圖像。候選縮略圖排名計(jì)算器相對(duì)于目標(biāo)度量，測(cè)試并且排列 每個(gè)所選候選縮略圖。概率學(xué)習(xí)工具作為所選候選縮略圖的成功排名與由縮略圖選擇工具 選擇的所有縮略圖圖像的成功排名的總和之間的比率的函數(shù)，確定選擇候選縮略圖作為最 佳候選縮略圖的概率。最終，呈現(xiàn)器將最佳候選縮略圖顯示給用戶。
[0003] 實(shí)現(xiàn)可以包括對(duì)應(yīng)系統(tǒng)、裝置和計(jì)算機(jī)程序，其被配置成執(zhí)行方法的動(dòng)作，并且被 編碼在計(jì)算機(jī)存儲(chǔ)設(shè)備上。本
【發(fā)明內(nèi)容】
不旨在引入所要求主題的關(guān)鍵特征或必要特征，而 是僅提供將在【具體實(shí)施方式】中進(jìn)一步描述的思想的選擇。將在以下參考附圖詳細(xì)地描述進(jìn) 一步實(shí)現(xiàn)、特征、和優(yōu)點(diǎn)、以及各種實(shí)現(xiàn)的結(jié)構(gòu)和操作。
【附圖說明】
[0004] 參考附圖描述實(shí)現(xiàn)。在附圖中，類似參考數(shù)字可以指示相同或功能相似元件。元 件首次出現(xiàn)的附圖通常由對(duì)應(yīng)參考數(shù)字中的最左阿拉伯?dāng)?shù)字指示。
[0005] 圖1是圖示根據(jù)本公開的一種實(shí)現(xiàn)的組件的框圖。
[0006] 圖2是圖示根據(jù)本公開的一種實(shí)現(xiàn)的技術(shù)的流程圖。
[0007] 圖3是圖示根據(jù)本公開的另一種實(shí)現(xiàn)的技術(shù)的流程圖。
[0008] 圖4是圖示根據(jù)本公開的又一種實(shí)現(xiàn)的技術(shù)的流程圖。
[0009] 圖5是根據(jù)本公開的一種或多種實(shí)現(xiàn)采用的示例性計(jì)算機(jī)系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0010] 所公開的機(jī)制識(shí)別最佳縮略圖圖像，以表示（to represent)在視頻共享網(wǎng)站上呈 現(xiàn)的視頻，或者識(shí)別最佳縮略圖圖像，以表示靜止或流送圖像的任何分組或集合。最佳縮略 圖圖像是相對(duì)于目標(biāo)度量得到最佳成功排名的圖像，其中，依據(jù)在表示媒體呈現(xiàn)并且實(shí)現(xiàn) 用戶或媒體傳播者的目標(biāo)時(shí)縮略圖多么有用，來測(cè)量成功。
[0011] 所公開的技術(shù)識(shí)別最佳縮略圖圖像，以表示媒體呈現(xiàn)，例如，呈現(xiàn)在視頻共享網(wǎng)站 上的視頻，或者靜止或流送圖像、圖標(biāo)、文本對(duì)象等的一些其他分組或集合。特定縮略圖是 用于表示特定媒體呈現(xiàn)的"最佳"縮略圖的確定包括：用于最佳縮略圖相對(duì)于目標(biāo)度量的分 值與其他候選縮略圖的分值相比的比較。概率學(xué)習(xí)工具使用模擬退火法的形式確定用于給 定媒體呈現(xiàn)、用于特定用戶、用于生成縮略圖（用于縮略圖的源）的特定方法、或用于特定 搜索項(xiàng)、網(wǎng)頁、web信道、或搜索結(jié)果的主題的結(jié)果的最佳縮略圖。由學(xué)習(xí)過程采用的計(jì)算方 法的特征在于，通過用隨機(jī)解決方案替換該解決方案并且相對(duì)于目標(biāo)度量測(cè)量進(jìn)展，迭代 地嘗試改善該方案。如在此使用的隨機(jī)包括偽隨機(jī)，其可以不是100%隨機(jī)，100%的時(shí)間。
[0012] 作為由本公開的實(shí)現(xiàn)完成的一些說明性結(jié)果，當(dāng)與其他候選縮略圖相比較被 測(cè)量時(shí)，來自視頻或靜止或流送圖像的其他分組的所選最佳候選縮略圖圖像產(chǎn)生更高 點(diǎn)擊率（CTR)，或者幫助用戶更好地識(shí)別視頻，由此產(chǎn)生比CTR更高的關(guān)注完成（Watch completion)?？赡苓x擇的典型縮略圖圖像還可以直接綁定到期望參數(shù)，例如，由視頻生成 的收入（revenue)，并且所公開的技術(shù)可以被用于選擇產(chǎn)生最多收入的候選縮略圖圖像?？?以找到特定縮略圖圖像，以吸引更適合于示出更賺錢廣告的用戶的人口。類似地，用于生成 用于特定用戶的縮略圖的方法可以是用于特定用戶的最佳縮略圖源。用于使用用于該用 戶的最佳源生成的縮略圖的排名大于使用用于該用戶的不同源生成的其他縮略圖的排名。 作為一個(gè)實(shí)例，具有名人的臉的縮略圖圖像可以相對(duì)于諸如用于一個(gè)特定用戶的CRT的度 量，實(shí)現(xiàn)更好的結(jié)果，而具有風(fēng)景快照的縮略圖圖像可以相對(duì)于用于不同用戶的相同度量， 實(shí)現(xiàn)更好的結(jié)果。
[0013] 數(shù)字技術(shù)對(duì)媒體節(jié)目的傳播和回放具有顯著影響。首先，數(shù)字技術(shù)允許數(shù)字視頻 錄像機(jī)（DVR)的使用。DVR提供包括直播暫停的多個(gè)有用功能、在回放一個(gè)節(jié)目的同時(shí)記 錄另一個(gè)節(jié)目的能力、以及電子節(jié)目指南與DVR功能的集成（使得媒體節(jié)目的記錄可以很 早預(yù)先被調(diào)度）。第二，技術(shù)還允許媒體節(jié)目經(jīng)由互聯(lián)網(wǎng)的傳播和回放，包括通過視頻共享 網(wǎng)站。通過改善的信號(hào)處理和越來越多的具有高速互聯(lián)網(wǎng)接入（例如，電纜、DSL、光纖、衛(wèi) 星）的家庭，該傳播和回放的方法變得普通。
[0014] 媒體節(jié)目經(jīng)由互聯(lián)網(wǎng)傳播可以通過簡單下載、漸進(jìn)下載或流送發(fā)生。對(duì)于漸進(jìn)下 載，具有媒體節(jié)目的媒體文件使用撥號(hào)、DSL (數(shù)字用戶線）、ADSL (異步數(shù)字用戶線）、電纜 或其他高速互聯(lián)網(wǎng)連接，經(jīng)由互聯(lián)網(wǎng)被下載。簡單下載按照任何方便順序下載多個(gè)字節(jié)的 媒體文件，而漸進(jìn)下載在文件的開始處下載字節(jié)，并且繼續(xù)依序地下載文件，直到最后字節(jié) 為止。在漸進(jìn)下載期間的任何特定時(shí)間，文件的多個(gè)部分不立即可用于回放。在一些情況 下，整個(gè)文件必須在媒體播放器可以開始回放之前首先被下載。在其他情況下，一旦已下載 文件開始的足夠內(nèi)容，媒體播放器就能夠開始回放，然而在回放可以發(fā)生之前，媒體播放器 必須下載足夠信息，以支持某種形式的回放。回放通常由慢互聯(lián)網(wǎng)連接被延遲，并且可能是 波動(dòng)的，并且具有在僅幾秒鐘之后停止的可能性。下載的材料還可以被存儲(chǔ)在終端用戶計(jì) 算機(jī)上。
[0015] 流送將媒體內(nèi)容連續(xù)地傳遞至媒體播放器，并且媒體回放同時(shí)發(fā)生。當(dāng)由內(nèi)容提 供商傳遞時(shí)，終端用戶能夠立即播放媒體。源自諸如視頻共享網(wǎng)站的擁有者的單個(gè)提供商 的傳統(tǒng)流送技術(shù)將數(shù)據(jù)流傳遞至終端用戶集合。要求高帶寬和CPU功率，將單個(gè)流傳遞至 大批聽眾，并且當(dāng)終端用戶的數(shù)量增加時(shí)，提供商的所要求帶寬增加。
[0016] 不像漸進(jìn)下載那樣，流送媒體在點(diǎn)播或直播時(shí)被傳送。其中，漸進(jìn)下載要求下載整 個(gè)文件或者下載整個(gè)文件的足夠內(nèi)容以在開始時(shí)開始回放，流送使得能夠在文件內(nèi)的任何 點(diǎn)處的立即回放。終端用戶可以跳過媒體文件，以開始回放或?qū)⒒胤鸥淖冎撩襟w文件中的 任何點(diǎn)。因此，終端用戶不需要等待文件以漸進(jìn)地下載。通常，從具有高帶寬能力的專用服 務(wù)器傳遞媒體。
[0017] 諸如由視頻共享網(wǎng)站、電影傳遞網(wǎng)絡(luò)等提供的點(diǎn)播流送媒體服務(wù)允許寬頻譜媒體 節(jié)目可用于用戶立即查看。提供點(diǎn)播流送媒體服務(wù)的挑戰(zhàn)之一是給用戶提供接口，該接口 允許用戶有效率地和有效地選擇他們想要查看的媒體節(jié)目。
[0018] 給用戶提供關(guān)于可用媒體節(jié)目的信息的一種方式是使用元數(shù)據(jù)或者摘要數(shù)據(jù)。這 樣的元數(shù)據(jù)可以包括諸如媒體節(jié)目的源、演員、流派（戲劇、戲劇）、目標(biāo)年齡組、和/或媒體 節(jié)目的一個(gè)或多個(gè)縮略圖（媒體節(jié)目的小靜止視頻幀）的因素。然后，使用元數(shù)據(jù)幫助用 戶搜索感興趣的媒體節(jié)目，或者幫助媒體節(jié)目傳播者以便于允許用戶找到感興趣的媒體節(jié) 目的方式組織媒體節(jié)目。
[0019] 可以使用視覺元數(shù)據(jù)（諸如縮略圖）在客戶端設(shè)備上的用戶指南或其他呈現(xiàn)中圖 示或表示媒體節(jié)目。如果縮略圖的選擇不是關(guān)鍵的或者如果提供媒體節(jié)目的一方還提供縮 略圖，則獲得這樣的縮略圖是相對(duì)簡單的事情。然而，在提供大量媒體節(jié)目的媒體傳播范例 中，媒體節(jié)目提供商可能不提供縮略圖，并且縮略圖選擇是關(guān)鍵的，生成縮略圖也不是簡單 的事情。例如，視頻的隨機(jī)選擇幀可以提供關(guān)于媒體節(jié)目的很少信息或不提供該信息，或者 這樣的隨機(jī)幀可能錯(cuò)誤表示節(jié)目的內(nèi)容。點(diǎn)擊這樣的隨機(jī)選擇幀的用戶可能對(duì)所得到的視 頻或靜止或流送圖像的呈現(xiàn)失望。效果可能是很差的用戶體驗(yàn)、以及不及用于視頻或者其 他媒體呈現(xiàn)的提供商的最佳結(jié)果。隨機(jī)選擇的縮略圖還可以包括對(duì)視頻的傳播者希望觸及 的該類型的用戶沒有吸引力的圖像。
[0020] 即使給用戶提供在時(shí)間上通過媒體節(jié)目均勻分布的多個(gè)可能縮略圖，這些縮略圖 也不可能充分表示潛在媒體節(jié)目。而且，雖然可以允許用戶一幀一幀地掃描媒體節(jié)目，以 識(shí)別合適縮略圖，但是當(dāng)識(shí)別縮略圖的實(shí)體是必須處理成百上千個(gè)媒體節(jié)目的媒體傳播者 時(shí)，這是一個(gè)耗時(shí)的過程。需要一種允許快速地和容易地識(shí)別最佳縮略圖的方法和裝置，其 中，從期望目標(biāo)度量的角度看，所選縮略圖提供媒體節(jié)目的有用表示。
[0021] 可以掃描視頻數(shù)據(jù)或其他圖像數(shù)據(jù)，以識(shí)別圖像幀和可能候選縮略圖。然后，使用 多個(gè)不同選擇方法中的任何一個(gè)，從圖像幀或可能候選縮略圖中選擇候選縮略圖。然后，通 過作為選擇的函數(shù)測(cè)量相對(duì)于特定度量獲得的結(jié)果，向所選候選縮略圖給予分值。因?yàn)楸?須關(guān)于特定度量被估計(jì)和評(píng)分以達(dá)到用于特定視頻的最佳縮略圖的可能大量候選縮略圖， 所以元啟發(fā)式學(xué)習(xí)過程可以被應(yīng)用至問題解決方案。元啟發(fā)方法是用于使用不同方法探宄 搜索空間的高級(jí)策略。
[0022] 模擬退火法（SA)是提供明確策略以避免集中于局部明顯最佳值上而不是期望的 全局最佳值上的解決方案。當(dāng)被應(yīng)用至尋找最佳縮略圖的解決方案時(shí)，SA學(xué)習(xí)過程允許后 續(xù)的從一個(gè)可能候選縮略圖至另一個(gè)的隨機(jī)移動(dòng)，可能得到更差質(zhì)量的解決方案（相對(duì)于 度量具有更差分值的縮略圖），由此避免集中在假局部最佳值上。特別是在解決方案過程的 早期，跳至遠(yuǎn)離和/或與在前測(cè)試值不同方向的隨機(jī)值的能力避免了集中在假局部最佳值 上。
[0023] SA學(xué)習(xí)過程允許在固定量時(shí)間內(nèi)確定可接受的良好解決方案，而不是在無限量時(shí) 間內(nèi)確定最佳可能解決方案。SA學(xué)習(xí)過程的每個(gè)步驟都試圖用隨機(jī)解決方案代替當(dāng)前解決 方案（根據(jù)通常被構(gòu)造成接近當(dāng)前解決方案的解決方案的采樣的候選分布被選擇）。然后， 新的解決方案可以被接受，具有取決于當(dāng)前所選解決方案的分值與用于所有先前解決方案 的總分之比、以及全局參數(shù)的概率，其可以在該過程期間逐漸改變。該依賴性使得當(dāng)全局參 數(shù)小于1時(shí)，先前和當(dāng)前解決方案幾乎是隨機(jī)的，但是當(dāng)全局參數(shù)從1增加時(shí)，日益增加地 選擇更好的解決方案。當(dāng)全局參數(shù)小于1時(shí)，對(duì)表面上使解決方案遠(yuǎn)離最佳值的移動(dòng)的允 許可能避免使方法變得堅(jiān)持局部最小值，而不是接近期望的全局最佳解決方案。當(dāng)應(yīng)用至 在一種實(shí)現(xiàn)中尋找用于最佳候選縮略圖的解決方案時(shí)，SA學(xué)習(xí)過程通過以下方程A表示：
[0024] 方程A : (CT指數(shù)）/總計(jì)（用于S中的所有Si的Si~指數(shù)），其中，CT指數(shù)是提 升至指數(shù)的最高得分候選縮略圖的分值，其中，指數(shù)是以上參考的全局參數(shù)。Si~指數(shù)是提 升至用于被選擇和評(píng)分的縮略圖的集合S的每個(gè)成員的指數(shù)的縮略圖得分。通過方程A計(jì) 算示出來自候選縮略圖的集合S的給定候選縮略圖CT的概率。
[0025] 在相對(duì)于特定度量的候選縮略圖的得分CT與從縮略圖集合中選擇候選縮略圖呈 現(xiàn)給用戶的可能性之間的映射可能不是線性的。在本公開的一種可能實(shí)現(xiàn)中，如由應(yīng)用以 上方程A的學(xué)習(xí)過程所示，在計(jì)算選擇和呈現(xiàn)特定縮略圖的概率之前，候選縮略圖的分值 可以具有應(yīng)用至它們的某個(gè)指數(shù)（全局參數(shù)）。
[0026] 指數(shù)>1