專利名稱：用于同步內(nèi)容的數(shù)據(jù)流與元數(shù)據(jù)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過(guò)使用正被再現(xiàn)的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)標(biāo)識(shí)多媒 體內(nèi)容的數(shù)據(jù)流的時(shí)間位置。
背景技術(shù)：
寬帶的流行已經(jīng)導(dǎo)致分發(fā)諸如視頻圖像的多媒體內(nèi)容的服務(wù)的快速增 長(zhǎng)。但是，幾乎沒(méi)有給視覺(jué)和聽(tīng)覺(jué)障礙的人使用的帶有字幕或音頻描述的內(nèi) 容。因?yàn)檫@個(gè)原因，為了改善易用性，很希望為視覺(jué)和聽(tīng)覺(jué)障礙的人提供字 幕或音頻描述，作為在因特網(wǎng)上分發(fā)的視頻圖像內(nèi)容的元數(shù)據(jù)。目前，在很 多情況下，內(nèi)容提供者沒(méi)有配備用于字幕或音頻描述的元數(shù)據(jù)，因此對(duì)建立 允許諸如自愿者的第三方組織提供元數(shù)據(jù)的基礎(chǔ)設(shè)施的需要快速增加。
然而，目前的內(nèi)容播放器不包括解譯由第三方組織提供的元數(shù)據(jù)的結(jié)構(gòu)。 另外，由于使用各種類型的內(nèi)容播放器，因此假設(shè)所有的內(nèi)容播放器都需要 相當(dāng)量的時(shí)間來(lái)完成對(duì)于由第三方組織提供的元數(shù)據(jù)的支持。通常，由于通 過(guò)使用包括內(nèi)容的開(kāi)始點(diǎn)作為原點(diǎn)的時(shí)戳來(lái)使元數(shù)據(jù)與內(nèi)容同步，因此需要 獲得內(nèi)容播放器的回放位置。然而，并不是各種類型的內(nèi)容播放器的所有的 回放位置都可以獲得。由于這個(gè)原因，通過(guò)嘗試由外部應(yīng)用解譯元數(shù)據(jù)來(lái)再 現(xiàn)與內(nèi)容同步的元數(shù)據(jù)并不能充分地解決問(wèn)題。
日本專利申請(qǐng)?zhí)亻_(kāi)No,2005-339038公開(kāi)了基于媒體的特征向量來(lái)確定提 供特定服務(wù)的時(shí)刻的裝置。在此，預(yù)先登記某一特征向量和適合度(提供具 體服務(wù)的適合度)，然后從正被再現(xiàn)的媒體的特征向量中獲得適合度。當(dāng)適合 度大于閾值時(shí)，提供服務(wù)；換句話說(shuō)，確定將要插入廣告等的時(shí)刻。于是， 在日本專利申請(qǐng)?zhí)亻_(kāi)No.2005-339038中公開(kāi)的技術(shù)是要確定是否適合提供服 務(wù)，而不是要指定媒體的時(shí)戳。

發(fā)明內(nèi)容
提供用于通過(guò)使用正被再現(xiàn)的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指定多媒體
內(nèi)容的數(shù)據(jù)流的時(shí)間位置的方法和數(shù)據(jù)。
為了解決上述問(wèn)題，在本發(fā)明中，提出一種通過(guò)使用內(nèi)容數(shù)據(jù)流的特征 向量來(lái)將內(nèi)容數(shù)據(jù)流與元數(shù)據(jù)同步的設(shè)備。該設(shè)備將內(nèi)容數(shù)據(jù)與元數(shù)據(jù)同步，
且包括存儲(chǔ)設(shè)備，具有包括在其中記錄的內(nèi)容數(shù)據(jù)的特征向量的元數(shù)據(jù)； 計(jì)算組件，根據(jù)內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量；搜索組件，基于所計(jì)算的特征向 量，從存儲(chǔ)設(shè)備中搜索對(duì)應(yīng)的元數(shù)據(jù)；以及再現(xiàn)組件，與內(nèi)容數(shù)據(jù)同步地再 現(xiàn)所搜索出的元數(shù)據(jù)。
根據(jù)本發(fā)明的設(shè)備，可以提供元數(shù)據(jù)，并在不處理內(nèi)容數(shù)據(jù)的情況下使 得內(nèi)容數(shù)據(jù)流與元數(shù)據(jù)同步。
雖然到目前為止已經(jīng)作為方法而描述了本發(fā)明的概要，但是可以領(lǐng)會(huì)作 為設(shè)備、程序或程序產(chǎn)品的本發(fā)明。例如，程序產(chǎn)品包括具有在其上存儲(chǔ)的 前述程序的記錄介質(zhì)，或轉(zhuǎn)移該程序的介質(zhì)。
應(yīng)該注意，本發(fā)明的概要未列出本發(fā)明所需的所有特征，而這些構(gòu)成元 素的其他組合或子組合可能成為本發(fā)明。


為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在參考結(jié)合附圖的如下描述。
圖1是本發(fā)明的高級(jí)的系統(tǒng)100的概要圖，該系統(tǒng)通過(guò)使用正被再現(xiàn)的 多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指定多媒體內(nèi)容數(shù)據(jù)流的時(shí)間位置。
圖2是概念地示出通過(guò)使用正被再現(xiàn)的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指 定多媒體內(nèi)容數(shù)據(jù)流的時(shí)間位置的系統(tǒng)的功能塊的示意圖200 。
圖3示出根據(jù)本發(fā)明的處理流程300的示例，該處理通過(guò)使用正被再現(xiàn) 的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指定內(nèi)容數(shù)據(jù)流的時(shí)間位置。
圖4例示了處理流程400,其中，特征向量從原始內(nèi)容數(shù)據(jù)創(chuàng)建，并被 設(shè)置為元數(shù)據(jù)。
圖5例示了處理在內(nèi)容中重復(fù)地出現(xiàn)彼此相似的場(chǎng)景的情況的方法。 圖6例示了處理在使用寬帶網(wǎng)絡(luò)的流廣播中商業(yè)消息(CM)根據(jù)用戶偏好
而不同的情況的方法。
圖7示出了對(duì)于有視覺(jué)和聽(tīng)覺(jué)障礙的人的多媒體瀏覽器應(yīng)用了本發(fā)明的示例。
圖8是示出根據(jù)本發(fā)明的實(shí)施例的、優(yōu)選用于實(shí)現(xiàn)客戶端110、元數(shù)據(jù) 服務(wù)器140和內(nèi)容數(shù)據(jù)服務(wù)器150的信息處理設(shè)備的硬件配置的示例的圖。
具體實(shí)施例方式
圖1是本發(fā)明的高級(jí)的系統(tǒng)100的概要圖，該系統(tǒng)通過(guò)使用正被再現(xiàn)的 多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指定多媒體內(nèi)容數(shù)據(jù)流的時(shí)間位置?？蛻舳?10 經(jīng)由網(wǎng)絡(luò)101下載元數(shù)據(jù)和內(nèi)容數(shù)據(jù)，并再現(xiàn)該數(shù)據(jù)。元服務(wù)器140向客戶 端110提供元數(shù)據(jù)。內(nèi)容服務(wù)器160向客戶端HO提供多媒體內(nèi)容數(shù)據(jù)。應(yīng) 該注意，元服務(wù)器140和內(nèi)容服務(wù)器160的功能可存在于同一服務(wù)器上。
圖2是概念地示出通過(guò)使用正被再現(xiàn)的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指 定多媒體內(nèi)容數(shù)據(jù)流的時(shí)間位置的系統(tǒng)的功能塊的示意圖200?？蛻舳藦脑?服務(wù)器240下載元數(shù)據(jù)到元數(shù)據(jù)DB (存儲(chǔ)設(shè)備)221。另外，客戶端從內(nèi)容 服務(wù)器260下載內(nèi)容數(shù)據(jù)到內(nèi)容數(shù)據(jù)DB (存儲(chǔ)設(shè)備)225。在此，內(nèi)容數(shù)據(jù) 225包括音頻流228和視頻流229，并由內(nèi)容播放器223來(lái)再現(xiàn)。
元數(shù)據(jù)同步系統(tǒng)210包括特征提取器213。特征提取器213根據(jù)音頻流 228和視頻流229的任一或全部來(lái)計(jì)算特征向量。從元數(shù)據(jù)DB 211中，元數(shù) 據(jù)搜索組件215搜索具有與所計(jì)算的特征向量相對(duì)應(yīng)的特征向量的元數(shù)據(jù)。 當(dāng)作為搜索結(jié)果而在元數(shù)據(jù)DB中發(fā)現(xiàn)了對(duì)應(yīng)的特征向量時(shí)，元數(shù)據(jù)再現(xiàn)組 件217再現(xiàn)與該特征向量有關(guān)的元數(shù)據(jù)。在此，由于元數(shù)據(jù)通常包括字幕和 音頻描述，所以元數(shù)據(jù)再現(xiàn)組件217包括字幕再現(xiàn)組件219和音頻描述再現(xiàn) 組件221。所再現(xiàn)的字幕或音頻描述與內(nèi)容數(shù)據(jù)流一起^L分別輸出到揚(yáng)聲器 226和顯示設(shè)備227。應(yīng)該注意，考慮到搜索時(shí)間等，元數(shù)據(jù)同步系統(tǒng)210優(yōu) 選地通過(guò)預(yù)先將數(shù)據(jù)讀入緩沖存儲(chǔ)器來(lái)處理數(shù)據(jù)。
在此， 一次性下載了全部元數(shù)據(jù)和全部?jī)?nèi)容數(shù)據(jù)。然而，可以在像數(shù)據(jù) 流一樣一點(diǎn)一點(diǎn)被下載時(shí)彼此同步元數(shù)據(jù)和內(nèi)容數(shù)據(jù)。
此外，在本發(fā)明的情況下，元數(shù)據(jù)包括如下數(shù)據(jù)時(shí)戳；要被提供為元 數(shù)據(jù)的信息(字幕數(shù)據(jù)、音頻描述數(shù)據(jù)等)；用作特征向量的指針的特征向量 數(shù)據(jù)；以及特征向量的類型(指定特征向量的計(jì)算方法的信息)。如下是元數(shù) 據(jù)的示例。
<metadata type="audio-description"> <time>00:12:23.30</time>
<description>Hiroshi comes joyfully walking down the street
along the river</description>
<feature type="sound-feature">
<data type="base64">MDEyMzQlNjc40TAxMjMONTY30Dk=</data>
</f eatu::e> </metadata>
用〈data type="base 64，、和〈/data〉包圍的字符串是用作特征向量的指針的
數(shù)據(jù)。該字符串是通過(guò)用根據(jù)定項(xiàng)規(guī)則(constant rule )的字符串替換根據(jù)內(nèi) 容計(jì)算的特征向量而獲得的數(shù)據(jù)。
在此，引用使用自動(dòng)唇讀(speechreading)系統(tǒng)的音頻描述的數(shù)據(jù)作為示 例。然而，也可以使用字幕數(shù)據(jù)來(lái)詢用戶提供字幕。
順帶提及，作為多媒體內(nèi)容的數(shù)據(jù)流的特征向量，可想到音頻數(shù)據(jù)的特 征向量和視頻數(shù)據(jù)的特征向量。作為音頻數(shù)據(jù)的特征向量，可以使用梅爾(mel) 頻率倒語(yǔ)系數(shù)(MFCC)，或被用于標(biāo)準(zhǔn)自動(dòng)語(yǔ)音識(shí)別設(shè)備的線性預(yù)測(cè)編碼(LPC) 梅爾倒語(yǔ)，或簡(jiǎn)單的對(duì)數(shù)功率i普(log power spectrum)等。例如，在MFCC的 推導(dǎo)處理中，首先，從輸入的音頻中提取25ms時(shí)間長(zhǎng)度(通常稱為幀)的音 頻信號(hào)，然后對(duì)信號(hào)進(jìn)行頻率分析。接著，通過(guò)具有遵循梅爾刻度(scale)的中 心頻率的24聲道帶通濾波器(BPF)來(lái)進(jìn)行分析。然后，使得到的BPF組的輸 出經(jīng)過(guò)離散余弦變換以獲得MFCC。在此，梅爾刻度是基于人對(duì)高和低音頻 頻率的音高感知的間隔刻度，其值實(shí)質(zhì)上對(duì)應(yīng)于頻率的對(duì)數(shù)值。通過(guò)幀計(jì)算 的MFCC是具有12個(gè)分量的向量(12維向量)。以下是視頻圖像的特征向量 的一些示例指示目標(biāo)的面積或周長(zhǎng)的形狀特征；像素音調(diào)(pixel tone)特征的 時(shí)間變化；以及在屏幕上每個(gè)點(diǎn)的速度向量圖像(光流)。
圖3示出根據(jù)本發(fā)明的處理流程300的示例，該處理通過(guò)使用正被再現(xiàn) 的多媒體內(nèi)容數(shù)據(jù)的特征向量來(lái)指定內(nèi)容數(shù)據(jù)流的時(shí)間位置。處理在步驟301 開(kāi)始。在步驟303，下載內(nèi)容數(shù)據(jù)和元數(shù)據(jù)。在步驟305,獲得內(nèi)容數(shù)據(jù)。在 此，當(dāng)適合時(shí)，可以從內(nèi)容數(shù)據(jù)獲得部分?jǐn)?shù)據(jù)，或可以獲得與正被再現(xiàn)的信 息流有關(guān)的數(shù)據(jù)。在步驟307,根據(jù)內(nèi)容數(shù)據(jù)計(jì)算特征向量。
在步驟309中，通過(guò)使用在步驟307中計(jì)算的特征向量來(lái)搜索元數(shù)據(jù)。 在元數(shù)據(jù)的搜索中，可以使用在步驟307中獲得的特征向量和在元數(shù)據(jù)中的 特征向量之間的歐幾里得距離、或基于概率模型建立的似然比。在步驟311 中，作為步驟309中的搜索的結(jié)果，確定是否檢測(cè)到對(duì)應(yīng)的元數(shù)據(jù)。在步驟
311中，在確定不能檢測(cè)到對(duì)應(yīng)的元數(shù)據(jù)(否)的情況下，處理返回步驟305, 在此重新獲得內(nèi)容數(shù)據(jù)，以重復(fù)元數(shù)據(jù)的搜索。另一方面，在確定在步驟311 中檢測(cè)到元數(shù)據(jù)(是)的情況下，處理前進(jìn)到步驟313。在步驟313中，將 內(nèi)容數(shù)據(jù)和元數(shù)據(jù)彼此同步以再現(xiàn)。在預(yù)先讀取內(nèi)容數(shù)據(jù)的這種情況下，在 同步已經(jīng)讀取的內(nèi)容數(shù)據(jù)時(shí)將要進(jìn)行調(diào)整。
在步驟317中，確定是否已讀取了全部?jī)?nèi)容數(shù)據(jù)。在步驟317中，在確 定還沒(méi)有讀取全部?jī)?nèi)容數(shù)據(jù)(否)的情況下，處理返回步驟305，在此重新 獲得內(nèi)容數(shù)據(jù)，以重復(fù)元數(shù)據(jù)的搜索。另一方面，在步驟317中確定已讀取 了所有內(nèi)容數(shù)據(jù)(是)的情況下，處理前進(jìn)到步驟319，處理結(jié)束。應(yīng)該注 意，除了在確定已讀取所有內(nèi)容數(shù)據(jù)的情況下以外，也可以在步驟317中已 經(jīng)檢測(cè)到所有元數(shù)據(jù)的情況下，將處理配置為前進(jìn)到步驟319并結(jié)束處理。
圖4例示了處理流程400,其中特征向量根據(jù)原始內(nèi)容數(shù)據(jù)而創(chuàng)建，并 被設(shè)置為元數(shù)據(jù)。當(dāng)在內(nèi)容中的多個(gè)位置處找到作為指針(搜索檢索關(guān)鍵字) 的特征向量時(shí)，特征向量不再用作關(guān)于元數(shù)據(jù)的指針。因此，特征向量的計(jì) 算和設(shè)置變得很重要。
處理流程開(kāi)始于步驟401。在步驟403中，部分讀取內(nèi)容數(shù)據(jù)。在步驟 405中，計(jì)算特征向量。在步驟405中，在多個(gè)特征向量計(jì)算方法之間，預(yù) 先選擇多個(gè)特征向量計(jì)算方法中的一個(gè)或一些。在步驟407中，將在步驟405 中計(jì)算的多個(gè)特征向量彼此進(jìn)行比較。
在步驟409中，確定是否存在相似的特征向量，該確定基于步驟407中 的比較結(jié)果。在步驟409中確定存在相似的特征向量(是)的情況下，處理 前進(jìn)到步驟413。在步驟413中，使用替代計(jì)算方法，其中處理返回到步驟 403以重復(fù)特征向量的計(jì)算。替代計(jì)算方法可包括使用不同的計(jì)算公式，或 在用于計(jì)算特征向量的內(nèi)容數(shù)據(jù)的獲取時(shí)間的替代。另一方面，在確定不存 在相似的特征向量(否)的情況下，處理前進(jìn)到步驟411，在此將特征向量 登記為指針(搜索關(guān)鍵字)。然后，處理前進(jìn)到步驟415,結(jié)束處理。
應(yīng)該注意，通過(guò)計(jì)算與整個(gè)視頻圖像的匹配，可以檢查所計(jì)算的特征向 量是否是可用來(lái)唯一指定視頻圖像中的某一場(chǎng)景的那個(gè)特征向量。因此，本 領(lǐng)域技術(shù)人員容易理解，特征向量的唯一性的檢查不限于處理流程400。
圖5例示了處理在內(nèi)容中重復(fù)地出現(xiàn)彼此相似的場(chǎng)景的情況的方法。當(dāng) 偶然創(chuàng)建具有相似背景音樂(lè)的場(chǎng)景的元數(shù)據(jù)時(shí)，對(duì)于包括具有貫穿內(nèi)容的相
似的背景音樂(lè)的場(chǎng)景的內(nèi)容，在應(yīng)用元數(shù)據(jù)時(shí)可能出現(xiàn)匹配失誤。例如，可 能在內(nèi)容中重復(fù)使用相同的聲效或相同的場(chǎng)景，如在每次新聞廣播的開(kāi)始使 用相同的背景音樂(lè)的情況。為支持這樣的內(nèi)容，通過(guò)從以指定場(chǎng)景為中心的 50秒音頻信號(hào)中按比例提取100幀的特征向量、然后組合這些特征向量而獲 得的數(shù)據(jù)被添加到元數(shù)據(jù)，作為用于指定場(chǎng)景的信息。從而，減少在應(yīng)用元 數(shù)據(jù)時(shí)的匹配錯(cuò)誤。另外，加寬幀的間隔導(dǎo)致在元數(shù)據(jù)大小的減少。應(yīng)該根 據(jù)節(jié)目(場(chǎng)景)適當(dāng)?shù)剡x擇用于計(jì)算作為元數(shù)據(jù)的特征向量的間隔、組合多 少幀等等。
圖6例示了處理在使用寬帶網(wǎng)絡(luò)的流廣播中商業(yè)消息(CM)根據(jù)用戶偏好 而不同的情況的方法。當(dāng)包括CM部分的音頻的特征向量被添加到元數(shù)據(jù)時(shí)， 在某些情況下，當(dāng)用戶應(yīng)用該元數(shù)據(jù)時(shí)，特征向量不匹配所記錄的視頻內(nèi)容。 為了避免這種情況，通過(guò)使用CM檢測(cè)技術(shù)、或通過(guò)在創(chuàng)建特征向量的階段 期間在視頻圖像中在CM部分上手動(dòng)添加標(biāo)記，來(lái)選4奪除了 CM部分以外的 特征向量。例如，當(dāng)目標(biāo)場(chǎng)景是CM之前或之后時(shí)，不從以目標(biāo)場(chǎng)景作為中 心的50秒信號(hào)中提取特征向量，而是從緊接在CM之前或之后開(kāi)始的50秒 音頻信號(hào)中提取特征向量。通過(guò)同時(shí)計(jì)算提取元數(shù)據(jù)的位置和目標(biāo)場(chǎng)景相對(duì) 于時(shí)間的位置關(guān)系、然后保留它們作為元數(shù)據(jù)，來(lái)解決CM部分帶來(lái)的問(wèn)題。 對(duì)于緊接在開(kāi)始之后的部分和節(jié)目結(jié)束之前的部分，使用相同的處理。在這 些情況下，優(yōu)選將關(guān)于計(jì)算間隔的關(guān)系的信息一起保留作為元數(shù)據(jù)。
另外，當(dāng)以比在通常自動(dòng)語(yǔ)音識(shí)別系統(tǒng)中使用的時(shí)間間隔更寬的間隔來(lái) 提取所使用的特征向量時(shí)，不能從特征向量恢復(fù)原始數(shù)據(jù)。因此，減少了關(guān) 于版權(quán)的問(wèn)題。具體地，通過(guò)使用所謂的梅爾對(duì)數(shù)譜近似(MLSA),可以根據(jù) 音頻(MFCC的時(shí)序數(shù)據(jù))的特征向量、以人至少可以理解(盡管信號(hào)多少 有點(diǎn)惡化)說(shuō)了什么的質(zhì)量來(lái)恢復(fù)原始音頻信號(hào)。當(dāng)根據(jù)連續(xù)幀計(jì)算要作為 元數(shù)據(jù)添加的音頻的特征向量時(shí)，可能產(chǎn)生問(wèn)題，即，由于可以恢復(fù)音頻信 號(hào)而產(chǎn)生的從版權(quán)角度來(lái)看的未授權(quán)復(fù)制的問(wèn)題。然而，通過(guò)使用如示例所 示的、用恒定間隔提取的特征向量，不能恢復(fù)音頻信號(hào)。因此，可以減少關(guān) 于版權(quán)的問(wèn)題。
圖7示出了對(duì)于有視覺(jué)和聽(tīng)覺(jué)障礙的人的多媒體瀏覽器應(yīng)用了本發(fā)明的 示例。內(nèi)容分發(fā)源730創(chuàng)建諸如節(jié)目等的內(nèi)容數(shù)據(jù)，并向用戶720和第三方 組織710傳送數(shù)據(jù)。第三方組織710從內(nèi)容分發(fā)源獲得許可，或在合法的可
容許范圍內(nèi)創(chuàng)建節(jié)目的元數(shù)據(jù)，然后將數(shù)據(jù)分發(fā)給用戶。第三方組織710從內(nèi)容數(shù)據(jù)選擇場(chǎng)景，提取特征向量，并將量添加到元數(shù)據(jù)。用戶720從內(nèi)容 分發(fā)源730下載內(nèi)容數(shù)據(jù)，并從第三方下載對(duì)應(yīng)于內(nèi)容數(shù)據(jù)的元數(shù)據(jù)。然后， 用戶計(jì)算用于搜索元數(shù)據(jù)的、內(nèi)容數(shù)據(jù)的特征向量。隨后，用戶檢測(cè)與內(nèi)容 數(shù)據(jù)的特征向量相對(duì)應(yīng)的部分元數(shù)據(jù)。因此，將元數(shù)據(jù)應(yīng)用于檢測(cè)到的部分， 以與內(nèi)容數(shù)據(jù)一起再現(xiàn)。
圖8是示出根據(jù)本發(fā)明的實(shí)施例的優(yōu)選地用于實(shí)現(xiàn)客戶端110、元數(shù)據(jù) 服務(wù)器140和內(nèi)容數(shù)據(jù)服務(wù)器150的信息處理設(shè)備的硬件配置的示例的圖。
信息處理設(shè)備包括連接到總線802的CPU (中央處理單元)801和主存 儲(chǔ)器804。諸如硬盤驅(qū)動(dòng)器813和830、 CD-ROM驅(qū)動(dòng)器826和829、軟盤驅(qū) 動(dòng)器820、 MO驅(qū)動(dòng)器828和DVD驅(qū)動(dòng)器831的可拆卸存儲(chǔ)設(shè)備(媒體可交 換外部存儲(chǔ)系統(tǒng))經(jīng)由軟(R)盤控制器819、 IDE控制器825、 SCSI控制器 827等等而連接到總線802。
在可拆卸存儲(chǔ)設(shè)備中插入諸如軟盤、MO盤、CD-ROM盤和DVD-ROM 盤的記錄介質(zhì)?？梢栽谶@些記錄介質(zhì)或硬盤驅(qū)動(dòng)器813或830或ROM 814中 存儲(chǔ)用于通過(guò)向與操作系統(tǒng)協(xié)作的CPU等提供指令來(lái)實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)程 序代碼。計(jì)算機(jī)程序通過(guò)被裝載到主存儲(chǔ)器804上而執(zhí)行?？梢詨嚎s計(jì)算機(jī) 程序，或?qū)⑵鋭澐譃槎鄠€(gè)塊然后存儲(chǔ)在多個(gè)介質(zhì)中。
信息處理設(shè)備經(jīng)由鍵盤/鼠標(biāo)控制器805,從諸如鍵盤806或鼠標(biāo)的輸入 設(shè)備接收輸入。經(jīng)由DAC/LCDC 810將信息處理設(shè)備連接到用于向用戶顯示 視覺(jué)數(shù)據(jù)的顯示設(shè)備811。
信息處理設(shè)備能夠通過(guò)經(jīng)由網(wǎng)絡(luò)適配器818 (以太網(wǎng)(R)卡、或令牌環(huán)卡) 等連接到網(wǎng)絡(luò)，而與另一計(jì)算機(jī)等通信。信息處理設(shè)備還能夠分別經(jīng)由并口 816或串口 815而連接到打印機(jī)或調(diào)制解調(diào)器。
通過(guò)到此所提供的描述，容易理解，由諸如個(gè)人計(jì)算機(jī)、工作站或主機(jī)、 或它們組合之類的通用信息處理設(shè)備來(lái)實(shí)現(xiàn)優(yōu)選地用于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施 例的系統(tǒng)的信息處理設(shè)備。然而，這些設(shè)備的構(gòu)成元件僅僅是示例，不是所 有的構(gòu)成元件都是本發(fā)明的所必需的構(gòu)成元件。
自然，本領(lǐng)域技術(shù)人員可以容易地構(gòu)想包括組合用于本發(fā)明的實(shí)施例中 的信息處理設(shè)備的每個(gè)硬件構(gòu)成元件或多個(gè)機(jī)器的各種修改和其功能的分 配。不用說(shuō)，這種修改是在本發(fā)明的精神包括的概念內(nèi)的。
根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)使用支持圖形用戶界面(GUI)多窗口環(huán)境的操作系統(tǒng)，諸如由微軟公司提供的Windows ( R)操作系統(tǒng)、由蘋果計(jì)算機(jī) 公司提供的MacOS (R)和包括X Window系統(tǒng)(例如，由國(guó)際商業(yè)機(jī)器公 司提供的AIX (R))的Unix (R)系統(tǒng)。根據(jù)到此提供的描述，可以理解，用于本發(fā)明的實(shí)施例的系統(tǒng)不局限于 具體操作系統(tǒng)環(huán)境。具體地，可以使用任何操作系統(tǒng)，只要該操作系統(tǒng)能夠 提供資源管理功能，允許應(yīng)用軟件程序等利用數(shù)據(jù)處理系統(tǒng)的資源。應(yīng)該注 意，資源管理功能可能包括硬件資源管理功能、文件處理功能、假脫機(jī)(spool) 功能、工作管理功能、存儲(chǔ)包括功能、虛擬存儲(chǔ)管理能夠等等。然而，由于 它們?yōu)楸绢I(lǐng)域技術(shù)人員所公知，因此在此省略這些功能的描述。此外，可以通過(guò)硬件組件或軟件組件的組合或硬件和軟件組件的組合來(lái) 實(shí)現(xiàn)本發(fā)明。作為通過(guò)硬件和軟件組合的實(shí)現(xiàn)示例，可以引證由包括預(yù)定程 序的數(shù)據(jù)處理系統(tǒng)的實(shí)現(xiàn)。在這種情況下，程序控制并使得數(shù)據(jù)處理系統(tǒng)執(zhí) 行根據(jù)本發(fā)明的處理。該程序由可以用任意語(yǔ)言、代碼或描述來(lái)描述的命令 集組成。這種命令集允許系統(tǒng)直接執(zhí)行具體功能，或進(jìn)行l(wèi).轉(zhuǎn)換成另一語(yǔ)言、 代碼或描述和2.復(fù)制到另 一介質(zhì)中的任一個(gè)或全部。自然，本發(fā)明不僅包括這種程序本身，還包括具有在本發(fā)明范圍內(nèi)的在 其上記錄的程序的介質(zhì)?？梢栽谌我庥?jì)算機(jī)可讀記錄介質(zhì)，諸如軟盤、MO 盤、CD-ROM盤、DVD盤、硬盤驅(qū)動(dòng)器、ROM、 MRAM或RAM中存儲(chǔ)使 得系統(tǒng)執(zhí)行本發(fā)明的功能的程序。可以從被連接于通信線路的另 一數(shù)據(jù)處理 系統(tǒng)下載這種程序，或可以從用于在記錄介質(zhì)中存儲(chǔ)程序的另 一記錄介質(zhì)復(fù) 制這種程序。另外，可以壓縮這種程序，或?qū)⑵鋭澐譃槎鄠€(gè)塊，然后存儲(chǔ)在 單個(gè)介質(zhì)或多個(gè)記錄介質(zhì)中。另外，應(yīng)該注意，自然，還可以提供以實(shí)現(xiàn)本 發(fā)明的各種形式的計(jì)算機(jī)程序。從所提供的描述來(lái)看，根據(jù)本發(fā)明的實(shí)施例，理解，可以容易地建立在 客戶端上備份網(wǎng)頁(yè)服務(wù)器的資源數(shù)據(jù)并在損害了網(wǎng)頁(yè)服務(wù)器的資源數(shù)據(jù)的情 況下從備份在客戶端中的資源數(shù)據(jù)中恢復(fù)數(shù)據(jù)的系統(tǒng)、如上，已經(jīng)通過(guò)使用實(shí)施例描述了本發(fā)明。然而，本發(fā)明的技術(shù)范圍不 限于上述實(shí)施例。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)明顯的是，可以對(duì)實(shí)施例進(jìn)行各種 修改和改進(jìn)。另外，從本發(fā)明的范圍來(lái)看明顯的是，在本發(fā)明的技術(shù)范圍內(nèi) 包括如此《奮改和改進(jìn)的實(shí)施例。
權(quán)利要求
1.一種同步內(nèi)容數(shù)據(jù)和元數(shù)據(jù)的設(shè)備，包括存儲(chǔ)設(shè)備，具有包括在其中記錄的內(nèi)容數(shù)據(jù)的特征向量的元數(shù)據(jù)；計(jì)算組件，其根據(jù)內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量；搜索組件，其基于所計(jì)算的特征向量，從所述存儲(chǔ)設(shè)備搜索對(duì)應(yīng)的元數(shù)據(jù)；以及再現(xiàn)組件，其與內(nèi)容數(shù)據(jù)同步地再現(xiàn)所搜索出的元數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述元數(shù)據(jù)包括時(shí)戳。
3. 根據(jù)權(quán)利要求1所述的設(shè)備，其中所述元數(shù)據(jù)至少包括以下中的任一 個(gè)字幕數(shù)據(jù)和音頻描述數(shù)據(jù)。
4. 根據(jù)權(quán)利要求1所述的設(shè)備，其中計(jì)算特征向量的所述計(jì)算組件通過(guò) 在再現(xiàn)內(nèi)容數(shù)據(jù)之前讀取內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量。
5. 根據(jù)權(quán)利要求1所述的設(shè)備，其中，避開(kāi)內(nèi)容數(shù)據(jù)的CM部分來(lái)計(jì)算 被包括在元數(shù)據(jù)中的所述特征向量。
6. 根據(jù)權(quán)利要求1所述的設(shè)備，其中被包括在元數(shù)據(jù)的所述特征向量是 以恒定的時(shí)間間隔從內(nèi)容數(shù)據(jù)中提」 又的特征向量。
7. —種用于同步元數(shù)據(jù)與內(nèi)容數(shù)據(jù)的方法，包括步驟 在存儲(chǔ)設(shè)備中存儲(chǔ)包括內(nèi)容數(shù)據(jù)的特征向量的元數(shù)據(jù)； 根據(jù)內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量；基于所計(jì)算的特征向量，從所述存儲(chǔ)設(shè)備中搜索對(duì)應(yīng)的元數(shù)據(jù)；以及 與內(nèi)容數(shù)據(jù)同步地再現(xiàn)所搜索出的元數(shù)據(jù)。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述元數(shù)據(jù)包括時(shí)戳。
9. 根據(jù)權(quán)利要求7所述的方法，其中所述元數(shù)據(jù)至少包括以下中的任一 個(gè)字幕數(shù)據(jù)和音頻描述數(shù)據(jù)。
10. 根據(jù)杈利要求7所述的方法，其中在計(jì)算特征向量的步驟中，通過(guò) 在再現(xiàn)內(nèi)容數(shù)據(jù)之前讀取內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量。
11. 根據(jù)權(quán)利要求7所述的方法，其中避開(kāi)內(nèi)容數(shù)據(jù)的CM部分來(lái)計(jì)算 被包括在元數(shù)據(jù)中的所述特征向量。
12. 根據(jù)權(quán)利要求7所述的方法，其中被包括在元數(shù)據(jù)的所述特征向量 是以恒定的時(shí)間間隔從內(nèi)容數(shù)據(jù)中提取的特征向量。
13. —種用于以使得元數(shù)據(jù)與內(nèi)容數(shù)據(jù)同步的方式來(lái)創(chuàng)建元數(shù)據(jù)的方法，該方法包括步驟通過(guò)使用預(yù)定的特征向量計(jì)算方法，根據(jù)內(nèi)容數(shù)據(jù)來(lái)計(jì)算特征向量； 檢測(cè)內(nèi)容數(shù)據(jù)是否包括與所計(jì)算的特征向量相似的特征向量；以及 響應(yīng)于指示在檢測(cè)步驟中沒(méi)有檢測(cè)到與所計(jì)算的特征向量相似的特征向 量的檢測(cè)結(jié)果，登記所計(jì)算的特征向量，作為元數(shù)據(jù)的搜索關(guān)鍵字。
14. 根據(jù)權(quán)利要求13所述的方法，進(jìn)一步包括步驟響應(yīng)指示在檢測(cè)步 驟中檢測(cè)到與所計(jì)算的特征向量相似的特征向量的^f全測(cè)結(jié)果，將在計(jì)算特征 向量的步驟中使用的特征向量計(jì)算方法改變?yōu)榱?一特征向量計(jì)算方法。
15. 根據(jù)權(quán)利要求13所述的方法，其中所述元數(shù)據(jù)包括時(shí)戳。
16. 根據(jù)權(quán)利要求13所述的方法，其中所述元數(shù)據(jù)至少包括以下中的任 一個(gè)字幕數(shù)據(jù)和音頻描述數(shù)據(jù)。
17. 根據(jù)權(quán)利要求13所述的方法，其中避開(kāi)內(nèi)容數(shù)據(jù)的CM部分來(lái)計(jì)算 被包括在元數(shù)據(jù)中的所述特征向量。
18. 根據(jù)權(quán)利要求13所述的方法，其中被包括在元數(shù)據(jù)的所述特征向量 是以恒定的時(shí)間間隔從內(nèi)容數(shù)據(jù)中提取的特征向量。
19. 一種計(jì)算機(jī)程序，使得計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求7到18中的任一項(xiàng) 所述的方法的每個(gè)步驟。
全文摘要
在本發(fā)明中，提出通過(guò)使用內(nèi)容數(shù)據(jù)流的特征向量來(lái)將內(nèi)容數(shù)據(jù)流與元數(shù)據(jù)同步的設(shè)備。該設(shè)備將內(nèi)容數(shù)據(jù)與元數(shù)據(jù)同步，且包括存儲(chǔ)設(shè)備，具有包括在其中記錄的內(nèi)容數(shù)據(jù)的特征向量的元數(shù)據(jù)；計(jì)算組件，根據(jù)內(nèi)容數(shù)據(jù)計(jì)算特征向量；搜索組件，基于所計(jì)算的特征向量，從所述存儲(chǔ)設(shè)備搜索對(duì)應(yīng)的元數(shù)據(jù)；以及再現(xiàn)組件，與內(nèi)容數(shù)據(jù)同步地再現(xiàn)所搜索出的元數(shù)據(jù)。
文檔編號(hào)H04N7/173GK101212648SQ20071018672
公開(kāi)日2008年7月2日 申請(qǐng)日期2007年11月16日 優(yōu)先權(quán)日2006年12月27日
發(fā)明者佐藤大介, 福田隆 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司