大多數(shù)計(jì)算機(jī)操作涉及兩種類型的數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)具有高度的組織，從而使關(guān)系數(shù)據(jù)庫(kù)中的內(nèi)含物平整并且可容易地由簡(jiǎn)單搜索引擎算法搜索。例如，電子表格包括結(jié)構(gòu)化數(shù)據(jù)，因?yàn)閿?shù)據(jù)駐存在電子表格文件內(nèi)的固定字段，從而提供對(duì)固定字段中的信息的快速且容易的訪問(wèn)。另一方面，非結(jié)構(gòu)化數(shù)據(jù)包括具有內(nèi)部結(jié)構(gòu)的文本和多媒體內(nèi)容，但是缺乏整潔地適合于關(guān)系數(shù)據(jù)庫(kù)中的能力。非結(jié)構(gòu)化數(shù)據(jù)的示例包括電子郵件、文字處理文檔、視頻、照片、音頻文件、演示文稿、網(wǎng)頁(yè)、微博、x射線、等等。

當(dāng)前數(shù)據(jù)挖掘技術(shù)需要大量資源投入來(lái)分析和提取來(lái)自非結(jié)構(gòu)化數(shù)據(jù)的有意義的數(shù)據(jù)元素。例如，用于從非結(jié)構(gòu)化多媒體數(shù)據(jù)中挖掘語(yǔ)義的當(dāng)前數(shù)據(jù)挖掘技術(shù)依賴于可用的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)。帶標(biāo)簽的訓(xùn)練數(shù)據(jù)包括提供與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)的信息的用戶生成的標(biāo)簽、類別、和/或元數(shù)據(jù)。一些語(yǔ)義挖掘方法基于與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)聯(lián)的標(biāo)簽、類別、和/或元數(shù)據(jù)來(lái)識(shí)別語(yǔ)義。其他語(yǔ)義挖掘方法使用與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)聯(lián)的注解來(lái)收集來(lái)自非結(jié)構(gòu)化多媒體數(shù)據(jù)的意義或者通過(guò)使用簇信息和/或非結(jié)構(gòu)化多媒體數(shù)據(jù)的上下文來(lái)識(shí)別語(yǔ)義。最近，來(lái)自搜索引擎的點(diǎn)擊日志已經(jīng)被用于提供生成用于識(shí)別與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)聯(lián)的語(yǔ)義的訓(xùn)練數(shù)據(jù)的有效的方式。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)描述用于根據(jù)在互聯(lián)網(wǎng)上可用的非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的系統(tǒng)和方法。在至少一個(gè)實(shí)施例中，可以接收多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)，其中每個(gè)數(shù)據(jù)項(xiàng)與標(biāo)簽的集合中的標(biāo)簽相關(guān)聯(lián)。多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以被處理以生成與標(biāo)簽的集合相關(guān)聯(lián)的經(jīng)提煉的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。這樣的處理可以包括基于所提取的多媒體特征的相似度來(lái)將多媒體數(shù)據(jù)項(xiàng)布置在簇中并生成相關(guān)特征。在至少一個(gè)實(shí)施例中，簇內(nèi)特征和簇間特征可以被使用。簇內(nèi)特征可以表示在簇中的多媒體數(shù)據(jù)項(xiàng)的配對(duì)之間的成對(duì)距離的分布特性。簇間特征可以表示在與標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的簇和與其他標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的其他簇之間的距離的分布特性。簇內(nèi)特征和簇間特征可以在將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)移除中被使用以生成經(jīng)提煉的語(yǔ)料庫(kù)。經(jīng)提煉的語(yǔ)料庫(kù)可以被用于訓(xùn)練用于識(shí)別標(biāo)簽的模型。

在至少一個(gè)實(shí)施例中，系統(tǒng)和方法可以被配置為識(shí)別多媒體數(shù)據(jù)項(xiàng)的語(yǔ)義。用戶可以將多媒體數(shù)據(jù)項(xiàng)輸入到本文描述的系統(tǒng)中并且指定與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題。系統(tǒng)可以應(yīng)用一個(gè)或多個(gè)模型來(lái)確定與所輸入的多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的標(biāo)簽并且可以將結(jié)果輸出給用戶。輸出給用戶的結(jié)果可以包括通過(guò)應(yīng)用模型來(lái)識(shí)別多媒體數(shù)據(jù)項(xiàng)的語(yǔ)義而確定的標(biāo)簽。

提供本發(fā)明內(nèi)容從而以簡(jiǎn)化的形式介紹下面在具體實(shí)施方式中進(jìn)一步描述的一系列構(gòu)思。本發(fā)明內(nèi)容不旨在確定要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限制要求保護(hù)的主題的范圍。

附圖說(shuō)明

參考附圖闡述具體實(shí)施方式，其中附圖標(biāo)記的最左邊的數(shù)字識(shí)別附圖標(biāo)記首次出現(xiàn)在其中的附圖。在相同的或不同的附圖中對(duì)相同的附圖標(biāo)記的使用指示相似的或相同的項(xiàng)或特征。

圖1是示出用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例系統(tǒng)的示意圖。

圖2是示出用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例系統(tǒng)的額外的組件的示意圖。

圖3圖示了用于根據(jù)多媒體數(shù)據(jù)項(xiàng)來(lái)學(xué)習(xí)話題模型的過(guò)程。

圖4圖示了用于提煉多媒體數(shù)據(jù)項(xiàng)的集合體的過(guò)程。

圖5圖示了用于提煉多媒體數(shù)據(jù)項(xiàng)的集合體的過(guò)程。

圖6圖示了示出用于應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例系統(tǒng)的示意圖。

圖7圖示了用于標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的過(guò)程。

圖8圖示了用于訪問(wèn)標(biāo)注信息的過(guò)程。

具體實(shí)施方式

標(biāo)識(shí)與多媒體數(shù)據(jù)項(xiàng)(例如，照片、視頻、語(yǔ)音、音樂(lè)、等等)相關(guān)聯(lián)的意義(例如，什么、誰(shuí)、在哪里、等等)可以對(duì)包括照片和/或視頻識(shí)別、標(biāo)注、搜索、等等的若干應(yīng)用有用。然而，當(dāng)前數(shù)據(jù)挖掘技術(shù)需要大量資源投入來(lái)分析和提取來(lái)自非結(jié)構(gòu)化數(shù)據(jù)的有意義的數(shù)據(jù)元素。例如，用于從非結(jié)構(gòu)化多媒體數(shù)據(jù)中挖掘語(yǔ)義的當(dāng)前數(shù)據(jù)挖掘技術(shù)依賴于可用的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，例如提供與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)的信息的用戶生成的標(biāo)簽、類別和/或元數(shù)據(jù)。其他語(yǔ)義挖掘方法使用與非結(jié)構(gòu)化多媒體數(shù)據(jù)相關(guān)聯(lián)的注解以收集來(lái)自非結(jié)構(gòu)化多媒體數(shù)據(jù)的意義。當(dāng)前數(shù)據(jù)挖掘技術(shù)缺乏可伸縮性和可擴(kuò)展性。在本公開(kāi)中，公開(kāi)了用于根據(jù)在互聯(lián)網(wǎng)上可用的非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型的系統(tǒng)和方法。額外地，本文中公開(kāi)了用于應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的系統(tǒng)和方法。

本文中描述的系統(tǒng)和方法可以對(duì)識(shí)別與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的意義有用。這樣的語(yǔ)義識(shí)別可以被用于若干應(yīng)用，包括照片和/或視頻識(shí)別、標(biāo)注、搜索、等等。例如，博物館、動(dòng)物園和/或其他名勝可以應(yīng)用本文描述的語(yǔ)義識(shí)別技術(shù)用于通過(guò)名勝的自助游或與名勝相關(guān)的標(biāo)注。在這樣的實(shí)施例中，用戶可以獲取展示品(例如，達(dá)芬奇的蒙娜麗莎)的對(duì)象的照片或視頻，并且本文中描述的系統(tǒng)和方法可以為該用戶識(shí)別該繪畫。語(yǔ)義識(shí)別也可以被用于其他應(yīng)用。

在至少一些實(shí)施例中，可以接收與標(biāo)簽的集合相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)中的每個(gè)多媒體數(shù)據(jù)項(xiàng)可以與標(biāo)簽的集合中的至少一個(gè)標(biāo)簽相關(guān)聯(lián)。多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以被處理以生成與標(biāo)簽的集合相關(guān)聯(lián)的經(jīng)提煉的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。這樣的處理可以包括基于所提取的多媒體特征來(lái)將多媒體數(shù)據(jù)項(xiàng)布置在簇中并生成相關(guān)特征。在至少一個(gè)實(shí)施例中，相關(guān)特征包括簇內(nèi)特征和簇間特征。簇內(nèi)特征可以表示在簇中的多媒體數(shù)據(jù)項(xiàng)的配對(duì)之間的成對(duì)距離的分布特性。簇間特征可以表示在與標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的個(gè)體簇和與其他標(biāo)簽相關(guān)聯(lián)的其他簇之間的距離的分布特性。簇內(nèi)特征和簇間特征可以用于將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)移除以生成經(jīng)提煉的語(yǔ)料庫(kù)。經(jīng)提煉的語(yǔ)料庫(kù)可以被用于話題模型。

在至少一個(gè)實(shí)施例中，用戶可以將多媒體數(shù)據(jù)項(xiàng)輸入到本文中描述的所學(xué)習(xí)的系統(tǒng)中。用戶還可以指定與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題。系統(tǒng)可以應(yīng)用與話題相關(guān)聯(lián)的一個(gè)或多個(gè)模型以確定與所輸入的多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的標(biāo)簽。額外地，系統(tǒng)可以將結(jié)果輸出給用戶。結(jié)果可以包括通過(guò)應(yīng)用一個(gè)或多個(gè)標(biāo)簽來(lái)標(biāo)識(shí)多媒體數(shù)據(jù)項(xiàng)的語(yǔ)義而確定的標(biāo)簽。

非結(jié)構(gòu)化數(shù)據(jù)可以包括非結(jié)構(gòu)化多媒體數(shù)據(jù)。在一些實(shí)施例中，非結(jié)構(gòu)化多媒體數(shù)據(jù)可以包括基于文本的文檔，例如電子郵件、文字處理文檔、等等。在額外的實(shí)施例中，非結(jié)構(gòu)化多媒體數(shù)據(jù)可以包括靜態(tài)圖像(例如，照片)、視頻、動(dòng)畫、等等。在其他實(shí)施例中，非結(jié)構(gòu)化多媒體數(shù)據(jù)還可以包括音頻或語(yǔ)音文件。非結(jié)構(gòu)化多媒體數(shù)據(jù)可以包括演示文稿、網(wǎng)頁(yè)、微博、等等中的文本、視覺(jué)和/或音頻數(shù)據(jù)的組合。

非結(jié)構(gòu)化多媒體數(shù)據(jù)可以在互聯(lián)網(wǎng)上可用。例如，針對(duì)與標(biāo)簽相關(guān)聯(lián)的任何查詢，非結(jié)構(gòu)化多媒體數(shù)據(jù)可以在搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)、數(shù)據(jù)源和/或其他網(wǎng)站或web服務(wù)中從在互聯(lián)網(wǎng)上可用的數(shù)據(jù)中提取。搜索引擎的示例包括Yahoo！等等。社交網(wǎng)絡(luò)服務(wù)的示例包括等等。博客服務(wù)的示例包括Windows Live等等。數(shù)據(jù)源的示例包括(由斯坦福大學(xué)維護(hù)的)ImageNet、(由哈佛大學(xué)維護(hù)的)開(kāi)放視頻標(biāo)注項(xiàng)目、等等。

在一些實(shí)施例中，非結(jié)構(gòu)化多媒體數(shù)據(jù)可以由公眾訪問(wèn)(例如，存儲(chǔ)在搜索引擎中的數(shù)據(jù)、公共圖片、公共圖片、等等)。然而，在其他實(shí)施例中，非結(jié)構(gòu)化多媒體數(shù)據(jù)可以是私人的(例如，私人圖片、私人視頻、等等)并且不可以由公眾查看。在這樣的實(shí)施例中(即，當(dāng)非結(jié)構(gòu)化多媒體數(shù)據(jù)是私人的時(shí))，本文描述的系統(tǒng)和方法在沒(méi)有首先從非結(jié)構(gòu)化多媒體數(shù)據(jù)的作者獲取許可的情況下不可以前進(jìn)以訪問(wèn)非結(jié)構(gòu)化多媒體數(shù)據(jù)。

在其中非結(jié)構(gòu)化多媒體數(shù)據(jù)是私人的或者包括識(shí)別或能夠被用于識(shí)別、聯(lián)系或定位與這種數(shù)據(jù)有關(guān)的某個(gè)人的個(gè)人可識(shí)別信息(PII)的實(shí)施例中，用戶可以被提供有本文中的系統(tǒng)和方法正在收集PII的通知。額外地，在發(fā)起PII數(shù)據(jù)收集之前，用戶可以具有PII數(shù)據(jù)收集的選擇加入或選擇退出的機(jī)會(huì)。例如，用戶可以通過(guò)采取指示他或她同意PII數(shù)據(jù)收集的確認(rèn)動(dòng)作來(lái)選擇加入PII數(shù)據(jù)收集。備選地，用戶可以被呈現(xiàn)有PII數(shù)據(jù)收集的選擇退出的選項(xiàng)。選擇退出選項(xiàng)可能需要PII數(shù)據(jù)收集的選擇退出的確認(rèn)動(dòng)作，并且在缺少選擇退出的確認(rèn)用戶動(dòng)作的情況下，可以隱含地允許PII數(shù)據(jù)收集。

本文中描述的話題可以是與本文中描述的標(biāo)簽分層地相關(guān)的一般概念。在至少一個(gè)實(shí)施例中，標(biāo)簽的集合包括話題。例如，話題可以是一般概念或種類，例如“西雅圖名勝”、“動(dòng)物”、“夏威夷的海洋生物”、等等。

標(biāo)簽可以表示話題的子話題、子概念或子種類。即，標(biāo)簽對(duì)應(yīng)于一個(gè)特定實(shí)體(例如，動(dòng)物、植物、名勝、等等)。標(biāo)簽還可以被稱為實(shí)體。標(biāo)簽可以比話題更具體?？梢耘c話題“西雅圖名勝”相關(guān)聯(lián)的標(biāo)簽的示例包括“太空針?biāo)?、“西雅圖摩天輪”、“鄔蘭公園動(dòng)物園”、“體驗(yàn)音樂(lè)項(xiàng)目博物館”、等等。可以與話題“動(dòng)物”相關(guān)聯(lián)的標(biāo)簽的示例可以包括“長(zhǎng)頸鹿”、“獅子”、“猴子”、“老虎”、等等。

查詢是可以被用于從搜索引擎、社交網(wǎng)絡(luò)、等等收集多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)的文本術(shù)語(yǔ)或詞語(yǔ)。通常，標(biāo)簽對(duì)應(yīng)于特定查詢，但是在一些實(shí)施例中，標(biāo)簽可以對(duì)應(yīng)于多于一次查詢。例如，在這樣的實(shí)施例中，標(biāo)簽“虎鯨”可以對(duì)應(yīng)于諸如“虎鯨”、“殺人鯨”和/或“黑鯨”的查詢。

本文中描述的實(shí)施例提供用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)語(yǔ)義并應(yīng)用所學(xué)習(xí)的模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的系統(tǒng)和方法。在各種實(shí)例中，經(jīng)由根據(jù)模塊或API的編程被配置為執(zhí)行如本文中所描述的技術(shù)的處理單元可以包括中央處理單元(CPU)、圖形處理單元(GPU)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、另一類別的數(shù)字信號(hào)處理器(DSP)或可以在一些實(shí)例中由CPU驅(qū)動(dòng)的其他硬件邏輯組件中的一個(gè)或多個(gè)。例如但不限于，能夠被使用的說(shuō)明性類型的硬件邏輯組件包括專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)、等等。

說(shuō)明性環(huán)境

下面描述的環(huán)境構(gòu)成僅僅一個(gè)示例并且不旨在限制下面描述的系統(tǒng)到任何一個(gè)特定操作環(huán)境的應(yīng)用?？梢栽诓幻撾x要求保護(hù)的主題的精神和范圍的情況下使用其他環(huán)境。本文中描述的各種類型的處理可以被實(shí)施在任何數(shù)量的環(huán)境中，包括但不限于獨(dú)立的計(jì)算系統(tǒng)、網(wǎng)絡(luò)環(huán)境(例如，局域網(wǎng)或廣域網(wǎng))、對(duì)等網(wǎng)絡(luò)環(huán)境、分布式計(jì)算(例如，云計(jì)算)環(huán)境、等等。

圖1圖示了包括可以被實(shí)施在用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型以標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的各種環(huán)境中的各種設(shè)備和組件的示例操作環(huán)境100。更具體地，示例操作環(huán)境100可以包括服務(wù)提供商102、一個(gè)或多個(gè)網(wǎng)絡(luò)104、一個(gè)或多個(gè)用戶106、以及與一個(gè)或多個(gè)用戶106相關(guān)聯(lián)的一個(gè)或多個(gè)用戶設(shè)備108。備選地或另外，本文描述的功能能夠至少部分地由一個(gè)或多個(gè)硬件邏輯組件(例如加速度計(jì))來(lái)執(zhí)行。例如但不限于，可以被使用的說(shuō)明性類型的硬件邏輯組件包括現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)、等等。例如，加速度計(jì)可以表示混合設(shè)備，例如來(lái)自包括被嵌入于FPGA結(jié)構(gòu)中的CPU進(jìn)程的ZYLEX或ALTERA的一個(gè)。

如所示出的，服務(wù)提供商102可以包括一個(gè)或多個(gè)服務(wù)器110，其可以包括一個(gè)或多個(gè)處理單元112和計(jì)算機(jī)可讀介質(zhì)114。在各種實(shí)施例中，服務(wù)提供商102可以根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)語(yǔ)義。服務(wù)提供商102可以接收與標(biāo)簽的集合相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)并且可以從多個(gè)數(shù)據(jù)項(xiàng)中提取多媒體特征。服務(wù)提供商102可以提煉多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)并且可以基于經(jīng)提煉的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型。服務(wù)提供商102可以利用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)由用戶106輸入的新數(shù)據(jù)項(xiàng)的語(yǔ)義。

在一些實(shí)施例中，(多個(gè))網(wǎng)絡(luò)104可以是本領(lǐng)域中已知的任何類型的網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)。此外，用戶106可以以任何方式，例如通過(guò)全局的或局部的有線連接或無(wú)線連接(例如，局域網(wǎng)(LAN)、內(nèi)聯(lián)網(wǎng)、等等)通信地耦合到(多個(gè))網(wǎng)絡(luò)104。(多個(gè))網(wǎng)絡(luò)104可以促進(jìn)在(多個(gè))服務(wù)器110和與用戶106相關(guān)聯(lián)的用戶設(shè)備108之間的通信。

在一些實(shí)施例中，用戶106可以操作對(duì)應(yīng)的用戶設(shè)備108以執(zhí)行與用戶設(shè)備108相關(guān)聯(lián)的各種功能，用戶設(shè)備108可以包括一個(gè)或多個(gè)處理單元、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和顯示器。另外，用戶106可以利用用戶設(shè)備108經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)104與其他用戶106進(jìn)行通信。

(多個(gè))用戶設(shè)備108可以表示各種各樣的設(shè)備類型并且不限于任何特定類型的設(shè)備。(多個(gè))用戶設(shè)備108的示例可以包括但不限于固定計(jì)算機(jī)、移動(dòng)計(jì)算機(jī)、嵌入式計(jì)算機(jī)、或其組合。示例性固定計(jì)算機(jī)可以包括臺(tái)式計(jì)算機(jī)、工作站、個(gè)人計(jì)算機(jī)、瘦客戶端、終端、游戲控制臺(tái)、個(gè)人視頻記錄儀(PVR)、機(jī)頂盒、等等。示例移動(dòng)計(jì)算機(jī)可以包括筆記本計(jì)算機(jī)、平板計(jì)算機(jī)、可穿戴計(jì)算機(jī)、植入式計(jì)算設(shè)備、電信設(shè)備、汽車用計(jì)算機(jī)、個(gè)人數(shù)據(jù)助理(PDA)、便攜式游戲設(shè)備、媒體播放器、相機(jī)、等等。示例嵌入式計(jì)算機(jī)可以包括網(wǎng)絡(luò)使能電視、用于包括在計(jì)算設(shè)備中的集成組件、電器、微控制器、數(shù)字信號(hào)處理器或任何其他種類的處理設(shè)備、等等。

服務(wù)提供商102可以是可以根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型以標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的任何實(shí)體、(多個(gè))服務(wù)器、平臺(tái)、等等。此外，并且如所示出的，服務(wù)提供商102可以包括一個(gè)或多個(gè)服務(wù)器110，其可以包括一個(gè)或多個(gè)處理單元112和計(jì)算機(jī)可讀介質(zhì)114(例如存儲(chǔ)器)。一個(gè)或多個(gè)服務(wù)器110可以包括設(shè)備。

實(shí)施例支持其中可以被包括在一個(gè)或多個(gè)服務(wù)器110中的(多個(gè))設(shè)備可以包括在簇或其他聚類的配置中操作以共享資源、平衡負(fù)載、提高性能、提供故障轉(zhuǎn)移支持或冗余或用于其他目的的一個(gè)或多個(gè)計(jì)算設(shè)備的情形。被包括在一個(gè)或多個(gè)服務(wù)器110中的(多個(gè))設(shè)備可以表示但不限于臺(tái)式計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、web服務(wù)器計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、移動(dòng)計(jì)算機(jī)、筆記本計(jì)算機(jī)、平板計(jì)算機(jī)、可穿戴計(jì)算機(jī)、植入式計(jì)算設(shè)備、電信設(shè)備、汽車用計(jì)算機(jī)、網(wǎng)絡(luò)使能電視、瘦客戶端、終端、個(gè)人數(shù)字助理(PDA)、游戲控制臺(tái)、游戲設(shè)備、工作站、媒體播放器、個(gè)人視頻記錄儀(PVR)、機(jī)頂盒、相機(jī)、用于包括在計(jì)算設(shè)備、電器或任何其他種類的計(jì)算設(shè)備中的集成組件。

可以被包括在一個(gè)或多個(gè)服務(wù)器110中的(多個(gè))設(shè)備可以包括具有例如經(jīng)由總線可操作連接到計(jì)算機(jī)可讀介質(zhì)114的一個(gè)或多個(gè)處理單元112的任何類型的計(jì)算設(shè)備，總線在一些實(shí)例中可以包括系統(tǒng)總線、數(shù)據(jù)總線、地址總線、PCI總線、微型PCI總線和任何各種本地總線、外圍總線和/或獨(dú)立總線中的一個(gè)或多個(gè)。存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)114上的可執(zhí)行指令可以包括例如輸入模塊116、學(xué)習(xí)模塊118和輸出模塊120以及由(多個(gè))處理單元112可加載和可執(zhí)行的其他模塊、程序或應(yīng)用。備選地或另外，本文描述的功能能夠至少部分地由一個(gè)或多個(gè)硬件邏輯組件(例如加速度計(jì))來(lái)執(zhí)行。例如但不限于，可以被使用的說(shuō)明性類型的硬件邏輯組件包括現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)、等等。例如，加速度計(jì)可以表示混合設(shè)備，例如來(lái)自包括被嵌入于FPGA結(jié)構(gòu)中的CPU進(jìn)程的或的一個(gè)。

可以被包括在一個(gè)或多個(gè)服務(wù)器110中的(多個(gè))設(shè)備還可以包括被耦合到總線以允許(多個(gè))設(shè)備與諸如用戶輸入外圍設(shè)備(例如，鍵盤、鼠標(biāo)、筆、游戲控制器、語(yǔ)音輸入設(shè)備、觸摸輸入設(shè)備、手勢(shì)輸入設(shè)備、等等)和/或輸出外圍設(shè)備(例如，顯示器、打印機(jī)、音頻揚(yáng)聲器、觸控輸出、等等)的其他設(shè)備進(jìn)行通信的一個(gè)或多個(gè)輸入/輸出(I/O)接口。可以被包括在一個(gè)或多個(gè)服務(wù)器110中的設(shè)備還可以包括被耦合到總線以使得能夠在計(jì)算設(shè)備與諸如(多個(gè))用戶設(shè)備108的其他網(wǎng)絡(luò)設(shè)備之間進(jìn)行通信的一個(gè)或多個(gè)網(wǎng)絡(luò)接口。(多個(gè))這樣的網(wǎng)絡(luò)接口可以包括用于通過(guò)網(wǎng)絡(luò)發(fā)送和接收通信的一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器(NIC)或其他類型的收發(fā)器設(shè)備。為簡(jiǎn)單起見(jiàn)，從圖示的系統(tǒng)中省略一些組件。

(多個(gè))處理單元112可以表示例如CPU類型處理單元、GPU類型處理單元、現(xiàn)場(chǎng)可編程門陣列(FPGA)、其他類別的數(shù)字信號(hào)處理器(DSP)或可以在一些實(shí)例中由CPU驅(qū)動(dòng)的其他硬件邏輯組件。例如但不限于，能夠被使用的說(shuō)明性類型的硬件邏輯組件包括專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)、等等。在各種實(shí)施例中，(多個(gè))處理單元112可以執(zhí)行一個(gè)或多個(gè)模塊和/或進(jìn)程來(lái)使(多個(gè))服務(wù)器110執(zhí)行如以上所闡述的并且在下面的公開(kāi)中進(jìn)一步詳細(xì)解釋的各種功能。額外地，(多個(gè))處理單元112中的每個(gè)可以具備它自己的本地存儲(chǔ)器，其還可以存儲(chǔ)程序模塊、程序數(shù)據(jù)和/或一個(gè)或多個(gè)操作系統(tǒng)。

在至少一個(gè)配置中，(多個(gè))服務(wù)器110的計(jì)算機(jī)可讀介質(zhì)114可以包括促進(jìn)在服務(wù)提供商102與用戶106之間的交互的組件。例如，計(jì)算機(jī)可讀介質(zhì)114可以包括輸入模塊116、標(biāo)簽?zāi)K118和輸出模塊120。模塊(116、118和120)可以經(jīng)由至少一個(gè)處理單元112被實(shí)施為計(jì)算機(jī)可讀指令、各種數(shù)據(jù)結(jié)構(gòu)、等等以將設(shè)備配置為執(zhí)行指令并執(zhí)行實(shí)施的操作。用于執(zhí)行這些操作的功能可以被包括在多個(gè)設(shè)備或單個(gè)設(shè)備中。

取決于(多個(gè))服務(wù)器110的確切配置和類型，計(jì)算機(jī)存儲(chǔ)介質(zhì)114可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和/或通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的任何方法或技術(shù)來(lái)實(shí)施的易失性存儲(chǔ)器、非易失性存儲(chǔ)器和/或其他永久性計(jì)算機(jī)存儲(chǔ)介質(zhì)和/或輔助計(jì)算機(jī)存儲(chǔ)介質(zhì)、可移除計(jì)算機(jī)存儲(chǔ)介質(zhì)和不可移除計(jì)算機(jī)存儲(chǔ)介質(zhì)。計(jì)算機(jī)存儲(chǔ)器是計(jì)算機(jī)存儲(chǔ)介質(zhì)的示例。因此，計(jì)算機(jī)存儲(chǔ)介質(zhì)包括被包括在作為設(shè)備的部分或在設(shè)備的外部的設(shè)備和/或硬件組件中的有形的和/或物理的形式的介質(zhì)，包括但不限于可以被用于存儲(chǔ)和維護(hù)用于由計(jì)算設(shè)備訪問(wèn)的信息的隨機(jī)存取存儲(chǔ)器(RAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、相位變化存儲(chǔ)器(PRAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多用盤(DVD)、光卡或其他光學(xué)存儲(chǔ)介質(zhì)、微型硬盤驅(qū)動(dòng)器、存儲(chǔ)器卡、磁帶盒、磁帶、磁盤存儲(chǔ)、磁性卡或其他磁性存儲(chǔ)設(shè)備或介質(zhì)、固態(tài)存儲(chǔ)器設(shè)備、存儲(chǔ)陣列、網(wǎng)絡(luò)附接的存儲(chǔ)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)、主控的計(jì)算機(jī)存儲(chǔ)或任何其他存儲(chǔ)存儲(chǔ)器、存儲(chǔ)設(shè)備和/或存儲(chǔ)介質(zhì)。

對(duì)比之下，通信介質(zhì)可以將計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)實(shí)現(xiàn)在諸如載波或其他傳輸機(jī)制的經(jīng)調(diào)制的數(shù)據(jù)信號(hào)中。術(shù)語(yǔ)“經(jīng)調(diào)制的數(shù)據(jù)信號(hào)”意指以使得在信號(hào)中編碼信息的方式設(shè)置或改變其特性中的一個(gè)或多個(gè)的信號(hào)。這樣的信號(hào)或載波、等等可以在諸如有線網(wǎng)絡(luò)或直接有線連接的有線介質(zhì)和/或諸如聲學(xué)、RF、紅外和其他無(wú)線介質(zhì)的無(wú)線介質(zhì)上傳播。如本文中所限定的，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。即，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括本身僅僅包括經(jīng)調(diào)制的數(shù)據(jù)信號(hào)、載波或傳播信號(hào)的通信介質(zhì)。

學(xué)習(xí)多媒體語(yǔ)義

圖2是示出用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例系統(tǒng)200的額外的組件的示意圖。如圖1和圖2所示，系統(tǒng)200可以包括輸入模塊116、標(biāo)簽?zāi)K118和輸出模塊120。

輸入模塊116可以被配置為從一個(gè)或多個(gè)用戶106接收一個(gè)或多個(gè)輸入。用戶106可以經(jīng)由用戶設(shè)備108中的一個(gè)將一個(gè)或多個(gè)多媒體數(shù)據(jù)項(xiàng)輸入到輸入模塊116中。例如，在至少一個(gè)實(shí)施例中，用戶106可以選擇被存儲(chǔ)在他的或她的用戶設(shè)備108上的多媒體數(shù)據(jù)項(xiàng)以用于輸入到輸入模塊116中。在另一實(shí)施例中，用戶106可以經(jīng)由他的或她的用戶設(shè)備108獲取照片或視頻并將多媒體數(shù)據(jù)項(xiàng)輸入到輸入模塊116中。

除了接收多媒體數(shù)據(jù)項(xiàng)作為輸入之外，輸入模塊116可以從一個(gè)或多個(gè)用戶106接收指示與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題的輸入。例如，在至少一個(gè)實(shí)施例中，用戶106可以使用他的或她的用戶設(shè)備108獲取華盛頓州西雅圖的太空針?biāo)恼掌Ｓ脩?06可以將照片輸入到輸入模塊116中。額外地，用戶106可以輸入“西雅圖名勝”作為與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題。作為額外的示例，用戶106可以選擇粉紅尾巴引金魚的照片。因此，粉紅尾巴引金魚的照片可以被輸入到輸入模塊116中。額外地，用戶106可以輸入“夏威夷的海洋生物”作為與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題。

標(biāo)簽?zāi)K118可以被配置為根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型并應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)輸入到輸入模塊116中的新數(shù)據(jù)項(xiàng)的語(yǔ)義。標(biāo)簽?zāi)K118可以包括用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)語(yǔ)義的額外的組件或模塊。在至少一個(gè)實(shí)施例中，標(biāo)簽?zāi)K118可以包括接收組件202、提取組件204、聚類組件206、提煉組件208、學(xué)習(xí)組件210和分類器組件212。

接收組件202可以被配置為接收與標(biāo)簽的集合相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)，該標(biāo)簽的集合與話題相關(guān)聯(lián)。在至少一個(gè)實(shí)施例中，接收組件202可以接收一個(gè)或多個(gè)標(biāo)簽，每個(gè)標(biāo)簽表示與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的語(yǔ)義意義。接收組件202可以生成與一個(gè)或多個(gè)標(biāo)簽的特定標(biāo)簽對(duì)應(yīng)的一個(gè)或多個(gè)查詢。一個(gè)或多個(gè)查詢可以是文本查詢、多媒體數(shù)據(jù)項(xiàng)查詢、等等。例如，一個(gè)或多個(gè)查詢可以包括被用于識(shí)別標(biāo)簽的詞語(yǔ)(例如，“虎鯨”)和相關(guān)的詞語(yǔ)和/或詞匯(例如，“殺人鯨”、“黑鯨”、等等)。在至少一個(gè)實(shí)施例中，用戶可以包括一個(gè)或多個(gè)查詢的任選的修改器。例如，如果用戶想要使用美洲豹作為查詢，則用戶可以將查詢“美洲豹”修改為包括“動(dòng)物”。在這樣的實(shí)施例中，得到的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以包括美洲豹?jiǎng)游锏强梢耘懦荼?。如以上所描述的，接收組件202可以將一個(gè)或多個(gè)查詢發(fā)送到一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)。

與一個(gè)或多個(gè)查詢相關(guān)的多媒體數(shù)據(jù)項(xiàng)可以從一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)被返回到接收組件202。在至少一些實(shí)施例中，已經(jīng)由用戶106在相同的或相關(guān)的查詢之后查看的多媒體數(shù)據(jù)項(xiàng)(例如，來(lái)自搜索引擎的點(diǎn)擊日志的多媒體數(shù)據(jù)項(xiàng))還可以被返回到接收組件202。在一些實(shí)施例中，與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的元數(shù)據(jù)還可以被返回。例如，如果查詢是如以上所描述的“虎鯨”，則與“虎鯨”相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)可以被返回到接收組件202。所返回的多媒體數(shù)據(jù)項(xiàng)可以包括與話題相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。如以上所描述的，與標(biāo)簽的集合中的個(gè)體標(biāo)簽相關(guān)聯(lián)的額外的查詢可以被發(fā)送到一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)，并且對(duì)應(yīng)的多媒體數(shù)據(jù)項(xiàng)可以被返回并被添加到與話題相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。在一些實(shí)施例中，語(yǔ)料庫(kù)可以是有噪聲的，并且可以包括與一個(gè)或多個(gè)查詢不相關(guān)的、具有低質(zhì)量的、等等的多媒體數(shù)據(jù)項(xiàng)。

在至少一些實(shí)施例中，接收組件202可以在接收到與話題相關(guān)聯(lián)的標(biāo)簽的集合之前接收識(shí)別話題的話題查詢。話題查詢可以如以上所描述的被發(fā)送到一個(gè)或多個(gè)搜索引擎、共享站點(diǎn)和/或網(wǎng)站。響應(yīng)于發(fā)送話題查詢，接收組件202可以接收與話題相關(guān)聯(lián)的標(biāo)簽的集合。之后，如以上所描述的，接收組件202可以使用與話題相關(guān)聯(lián)的標(biāo)簽的集合作為用于收集與標(biāo)簽的集合相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)的查詢。

例如，用戶106可能對(duì)學(xué)習(xí)針對(duì)華盛頓州西雅圖的名勝的話題模型感興趣。用戶106可以如以上所描述的將“西雅圖名勝”的話題查詢發(fā)送到一個(gè)或多個(gè)搜索引擎、共享站點(diǎn)、數(shù)據(jù)庫(kù)和/或網(wǎng)站。響應(yīng)于發(fā)送話題查詢，可以返回包括“太空針?biāo)?、“鄔蘭公園動(dòng)物園”、“西雅圖摩天輪”、“西雅圖水族館”、“體驗(yàn)音樂(lè)項(xiàng)目”、“塞弗科體育場(chǎng)”、等等的一個(gè)或多個(gè)標(biāo)簽。之后，接收組件202可以使用所返回的標(biāo)簽的集合中的個(gè)體標(biāo)簽(例如，“西雅圖摩天輪”)來(lái)收集與“西雅圖摩天輪”相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)以用于學(xué)習(xí)與“西雅圖摩天輪”相關(guān)聯(lián)的話題模型。額外地，接收組件202可以使用所返回的標(biāo)簽的集合中的個(gè)體標(biāo)簽中的每個(gè)來(lái)生成與話題“西雅圖名勝”相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。

如以上所描述的，多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以是有噪聲的，并且可以包括與標(biāo)簽和/或話題不相關(guān)的、具有低質(zhì)量的、等等的多媒體數(shù)據(jù)項(xiàng)。因此，多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可能需要被提煉以移除與標(biāo)簽和/或話題不相關(guān)的、具有低質(zhì)量的、等等的多媒體數(shù)據(jù)項(xiàng)。提取組件204、聚類組件206和提煉組件208可以被配置為處理語(yǔ)料庫(kù)以生成與標(biāo)簽和/或話題更相關(guān)的并且具有比經(jīng)預(yù)處理的語(yǔ)料庫(kù)中的多媒體數(shù)據(jù)項(xiàng)更高的質(zhì)量的經(jīng)提煉的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。

在至少一個(gè)實(shí)施例中，提取組件204可以被配置用于從多媒體數(shù)據(jù)項(xiàng)中提取多媒體特征。多媒體特征可以包括視覺(jué)特征、文本特征、運(yùn)動(dòng)特征、頻譜特征、等等。多媒體特征允許用于測(cè)量上下文空間中的兩個(gè)多媒體數(shù)據(jù)項(xiàng)之間的相似度的一般鄰域操作。視覺(jué)特征的范圍可以從簡(jiǎn)單的視覺(jué)特征，例如邊緣和/或角落，到更復(fù)雜的視覺(jué)特征，例如對(duì)象。文本特征包括與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的標(biāo)簽、類別和/或元數(shù)據(jù)。對(duì)于視頻，運(yùn)動(dòng)特征可以被進(jìn)一步生成以描述視頻中的對(duì)象的移動(dòng)。對(duì)于音頻、語(yǔ)音和/或音樂(lè)，可以生成頻譜特征。

多媒體特征提取可以描述識(shí)別多媒體數(shù)據(jù)項(xiàng)的感興趣部分或形狀和提取那些特征以用于額外的處理的過(guò)程。識(shí)別多媒體數(shù)據(jù)項(xiàng)的感興趣部分或形狀的過(guò)程可以被稱為特征提取并且這樣的特征提取可以經(jīng)由諸如SIFT(尺度不變特征變換)或深度神經(jīng)網(wǎng)絡(luò)(DN)特征提取器、等等的常見(jiàn)多媒體特征提取技術(shù)進(jìn)行。在至少一個(gè)實(shí)施例中，多媒體特征提取可以描述將多媒體數(shù)據(jù)(圖像、視頻、音頻/語(yǔ)音/音樂(lè))的片段轉(zhuǎn)變成高維度特征向量。例如，提供的所有信息可以被組織為單個(gè)向量，其通常被稱為特征向量。在至少一個(gè)實(shí)施例中，多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)中的每個(gè)多媒體數(shù)據(jù)項(xiàng)可以具有基于多媒體特征的適當(dāng)?shù)募系膶?duì)應(yīng)的特征向量。之后，基于個(gè)體特征向量，多媒體數(shù)據(jù)項(xiàng)可以被聚類成組并且標(biāo)準(zhǔn)分類方法可以被用于在學(xué)習(xí)組件210中學(xué)習(xí)以識(shí)別標(biāo)簽。

聚類組件206可以被配置用于基于在所提取的特征向量的特征之間的相似度來(lái)將多媒體數(shù)據(jù)項(xiàng)布置在簇中。聚類組件206可以使用包括K均值聚類的向量量化的不同的方法來(lái)布置多媒體數(shù)據(jù)項(xiàng)的簇。在至少一個(gè)實(shí)施例中，多媒體數(shù)據(jù)項(xiàng)的簇被處理以導(dǎo)出針對(duì)每個(gè)簇的相關(guān)特征的集合以將具有高質(zhì)量多媒體數(shù)據(jù)項(xiàng)的相關(guān)簇與不相關(guān)的和/或具有低質(zhì)量的多媒體數(shù)據(jù)項(xiàng)的簇區(qū)分開(kāi)。相關(guān)特征的集合包括簇內(nèi)特征和簇間特征。

簇內(nèi)特征表示基于與標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的簇內(nèi)的多媒體數(shù)據(jù)項(xiàng)的配對(duì)的距離分布特性的簇的相關(guān)特征。簇特性的示例包括在簇中的多媒體數(shù)據(jù)項(xiàng)之間的一致性、簇中的多媒體數(shù)據(jù)項(xiàng)的質(zhì)量、等等。簇內(nèi)特征可以通過(guò)計(jì)算針對(duì)簇中的多媒體數(shù)據(jù)項(xiàng)配對(duì)的成對(duì)距離來(lái)確定。例如，如果特定簇具有n個(gè)多媒體數(shù)據(jù)項(xiàng)，則可適用于簇的距離的總數(shù)量是n*(n+l)/2個(gè)距離。

在簇內(nèi)的多媒體數(shù)據(jù)的特征向量之間的成對(duì)距離被計(jì)算之后，可以計(jì)算簇內(nèi)距離統(tǒng)計(jì)數(shù)字的集合。簇內(nèi)距離統(tǒng)計(jì)數(shù)字可以包括：最小多媒體距離(例如，d_min)、最大多媒體距離(例如，d_max)和/或平均多媒體距離(例如，d_ave)。多媒體距離的標(biāo)準(zhǔn)差(例如，d_std)還可以被用作簇的統(tǒng)計(jì)特征。另外，標(biāo)準(zhǔn)化的多媒體距離分布還可以被用作統(tǒng)計(jì)數(shù)字中的一個(gè)。為了計(jì)算標(biāo)準(zhǔn)化的多媒體距離分布，所有距離可以由d_i表示，其中0≤i<n*(n+l)/2，并且距離可以被標(biāo)準(zhǔn)化為d_i’＝(d_i-d_min{d_i})/(d_max{d_i}-d_min{d_i})。標(biāo)準(zhǔn)化的距離計(jì)算將得到在0與1之間的數(shù)。之后，標(biāo)準(zhǔn)化的距離計(jì)算(例如，[0,1])可以被劃分到K個(gè)分區(qū)(例如，10個(gè)分區(qū)，其是[0,0.1),[0.1,0.2),...[0.9,1])中，并且每個(gè)分區(qū)中的標(biāo)準(zhǔn)化的距離的數(shù)可以被計(jì)數(shù)以形成標(biāo)準(zhǔn)化的距離的直方圖。每個(gè)分區(qū)中的數(shù)可以除以n*(n+l)/2使得數(shù)的總和等于1。標(biāo)準(zhǔn)化的直方圖可以表示標(biāo)準(zhǔn)化的多媒體距離分布。所選擇的簇內(nèi)距離統(tǒng)計(jì)數(shù)字(例如，平均距離、標(biāo)準(zhǔn)差、標(biāo)準(zhǔn)化的直方圖、等等)可以被轉(zhuǎn)換成簇內(nèi)特征向量。

簇間特征表示基于在與標(biāo)簽的集合中的特定標(biāo)簽相關(guān)聯(lián)的簇和與標(biāo)簽的集合中的其他標(biāo)簽相關(guān)聯(lián)的其他簇之間的距離的簇的相關(guān)特征。簇間特征可以指示當(dāng)和與標(biāo)簽的集合中的其他標(biāo)簽相關(guān)聯(lián)的簇進(jìn)行比較時(shí)與特定標(biāo)簽相關(guān)聯(lián)的簇的通用性或特異性的水平。換言之，簇間特征指示在確定由特定標(biāo)簽表示的多媒體數(shù)據(jù)項(xiàng)對(duì)于識(shí)別可能多么容易混淆或困難中使用的值。例如，如果話題具有包括標(biāo)簽A和標(biāo)簽B的標(biāo)簽的集合，并且如果與標(biāo)簽A相關(guān)聯(lián)的簇Al和與標(biāo)簽B相關(guān)聯(lián)的簇Bl是相似的，則標(biāo)簽A和標(biāo)簽B在A1和B1兩者都被用作用于分別對(duì)A和B進(jìn)行建模的訓(xùn)練數(shù)據(jù)的情況下可以對(duì)于識(shí)別而言是困難的和/或容易混淆的。因此，簇間特征可以被用于消除來(lái)自多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)的通用的或共同的簇。

為了計(jì)算簇間特征，可以計(jì)算在兩個(gè)簇之間的距離。簇中心可以被用于表示對(duì)應(yīng)的簇。例如，如果C₀表示與標(biāo)簽(L₀)相關(guān)聯(lián)的特定簇并且其他標(biāo)簽由L₁、L₂、...、L_M-1表示，則在C₀與L₁、L₂、...、L_M-1的所有簇之間的距離可以被計(jì)算以確定簇間特征。

在至少一個(gè)實(shí)施例中，如果距離的總數(shù)量由M個(gè)距離表示，則若干統(tǒng)計(jì)數(shù)字可以被用于計(jì)算簇間特征的特征向量。例如，距離可以通過(guò)確定最小多媒體距離(例如，inter_d_min)、最大多媒體距離(例如，inter_d_max)、和/或平均多媒體距離(例如，inter_d_ave)來(lái)計(jì)算。多媒體距離的標(biāo)準(zhǔn)差(例如，inter_d_std)還可以被使用。額外地或備選地，標(biāo)準(zhǔn)化的多媒體距離分布還可以被計(jì)算。為了計(jì)算標(biāo)準(zhǔn)化的多媒體距離分布，距離可以由d_i表示，其中0≤i<M，并且距離可以被標(biāo)準(zhǔn)化為d_i’＝(d_i-d_min{d_i})/(d_max{d_i}-d_min{d_i})。標(biāo)準(zhǔn)化的距離計(jì)算將得到在0與1之間的數(shù)。之后，標(biāo)準(zhǔn)化的距離計(jì)算(例如，[0,1])可以被劃分到K個(gè)分區(qū)(例如，10個(gè)分區(qū)，其是[0,0.1),[0.1,0.2),...[0.9,1])中，并且每個(gè)分區(qū)中的標(biāo)準(zhǔn)化的距離的數(shù)可以被計(jì)數(shù)以形成距離的直方圖。每個(gè)分區(qū)中的數(shù)可以除以M以使數(shù)的總和等于1。標(biāo)準(zhǔn)化的直方圖可以表示在簇之間的標(biāo)準(zhǔn)化的多媒體距離分布。所選擇的簇間距離統(tǒng)計(jì)數(shù)字(例如，平均距離、標(biāo)準(zhǔn)差、標(biāo)準(zhǔn)化的直方圖、等等)可以被轉(zhuǎn)換成簇間特征向量。

在一些實(shí)施例中，經(jīng)加權(quán)的簇間特征可以被用于將簇的大小映射到權(quán)重，使得簇的大小可以在計(jì)算簇間特征時(shí)被利用。函數(shù)(f(x))可以被用于將簇的大小映射到權(quán)重。如果簇的大小被表示為C₁和C₂以及S₁和S₂，則經(jīng)加權(quán)的距離可以被計(jì)算為d^w_ij＝f(S_i)*f(S_j)*d(C_i,C_j)。例如，如果f(x)等于1，則可以不使用經(jīng)加權(quán)的距離。函數(shù)(f(x))的另一示例可以包括平方根。

提煉組件208可以被配置用于部分地基于簇內(nèi)特征和簇間特征來(lái)將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)中移除。在一些實(shí)施例中，提煉組件208也可以部分地基于在文本特征之間的相似度來(lái)將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)中移除。例如，與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的標(biāo)簽或元數(shù)據(jù)可以被用于生成與兩個(gè)多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的相似度或距離值，該多媒體數(shù)據(jù)項(xiàng)與標(biāo)簽或元數(shù)據(jù)相關(guān)聯(lián)。相似度值可以通過(guò)對(duì)疊加的標(biāo)簽的百分比進(jìn)行計(jì)數(shù)或通過(guò)使用語(yǔ)言模型通過(guò)標(biāo)簽對(duì)多媒體數(shù)據(jù)項(xiàng)進(jìn)行建模并且之后計(jì)算相似度值來(lái)計(jì)算。

在將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)中移除之后，剩余的多媒體數(shù)據(jù)項(xiàng)可以與標(biāo)簽的集合中的個(gè)體標(biāo)簽更相關(guān)和/或具有比經(jīng)預(yù)處理的語(yǔ)料庫(kù)的多媒體數(shù)據(jù)項(xiàng)更高的質(zhì)量。得到的語(yǔ)料庫(kù)可以是被用于訓(xùn)練話題模型以識(shí)別標(biāo)簽的經(jīng)提煉的語(yǔ)料庫(kù)。提煉組件208可以基于如由簇內(nèi)特征和簇間特征確定的相關(guān)性分?jǐn)?shù)來(lái)移除多媒體數(shù)據(jù)項(xiàng)。在至少一個(gè)實(shí)施例中，針對(duì)經(jīng)提煉的語(yǔ)料庫(kù)的相關(guān)性分?jǐn)?shù)可以取決于經(jīng)提煉的語(yǔ)料庫(kù)的意圖的使用而不同。例如，在其中經(jīng)提煉的語(yǔ)料庫(kù)中的多媒體數(shù)據(jù)項(xiàng)可以被用于訓(xùn)練如本文中所描述的話題模型的實(shí)施例中，指示該數(shù)據(jù)相關(guān)且具有高質(zhì)量的相關(guān)性分?jǐn)?shù)可以是優(yōu)選的。然而，在其中經(jīng)提煉的語(yǔ)料庫(kù)中的多媒體數(shù)據(jù)項(xiàng)可以被用于其他處理的實(shí)施例中，指示該數(shù)據(jù)較不相關(guān)和/或具有低質(zhì)量的相關(guān)性分?jǐn)?shù)可以是優(yōu)選的。

在至少一個(gè)實(shí)施例中，在訓(xùn)練話題模型之前，提取組件204可以從經(jīng)提煉的語(yǔ)料庫(kù)中的多媒體數(shù)據(jù)項(xiàng)中提取多媒體特征?？梢詮亩嗝襟w數(shù)據(jù)項(xiàng)中提取的多媒體特征的示例包括詞袋特征、費(fèi)舍爾向量特征、等等。

在提取多媒體特征、將多媒體數(shù)據(jù)項(xiàng)聚類以及提煉語(yǔ)料庫(kù)之后，學(xué)習(xí)組件210可以對(duì)經(jīng)提煉的語(yǔ)料庫(kù)應(yīng)用一個(gè)或多個(gè)學(xué)習(xí)算法以用于學(xué)習(xí)基于所提取的多媒體特征來(lái)識(shí)別與經(jīng)提煉的多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽。例如，諸如快速排序、SVM、推進(jìn)(boosting)、等等的學(xué)習(xí)算法可以被應(yīng)用以學(xué)習(xí)用于識(shí)別標(biāo)簽的集合中的特定標(biāo)簽的模型。學(xué)習(xí)算法可以被存儲(chǔ)為分類器組件212中的模型并且可以被用于識(shí)別新多媒體數(shù)據(jù)項(xiàng)中的語(yǔ)義。根據(jù)與標(biāo)簽的集合相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)來(lái)學(xué)習(xí)的模型的集合可以被稱為話題模型，并且話題模型可以被存儲(chǔ)在分類器組件212中。

在至少一些實(shí)施例中，可以使用多標(biāo)簽學(xué)習(xí)技術(shù)(例如多類別SVM)同時(shí)學(xué)習(xí)所有標(biāo)簽。在其他實(shí)施例中，以上描述的學(xué)習(xí)可以當(dāng)接收到新標(biāo)簽時(shí)被應(yīng)用到新標(biāo)簽并且新模型可以被添加到分類器組件212。

輸出模塊120可以被配置為輸出包括識(shí)別多媒體數(shù)據(jù)項(xiàng)的標(biāo)簽的結(jié)果。在至少一些實(shí)施例中，輸出模塊120可以輸出除了識(shí)別多媒體數(shù)據(jù)項(xiàng)的標(biāo)簽之外的標(biāo)注信息。

示例過(guò)程

圖3-5描述用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型的示例過(guò)程。示例過(guò)程在圖1和圖2的環(huán)境的上下文下進(jìn)行描述但是不限于那些環(huán)境。過(guò)程被圖示為邏輯流程圖，其中的每個(gè)操作表示在圖示的或另外的操作的序列中的可以被實(shí)施在硬件、軟件或其組合中的操作。在軟件的上下文下，操作表示被存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)114上的計(jì)算機(jī)可執(zhí)行指令，其當(dāng)由一個(gè)或多個(gè)處理器112執(zhí)行時(shí)將計(jì)算設(shè)備配置為執(zhí)行所記載的操作?？傮w上，計(jì)算機(jī)可執(zhí)行指令包括將計(jì)算設(shè)備配置為執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類型的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、等等。

計(jì)算機(jī)可讀介質(zhì)114可以包括適合于存儲(chǔ)如以上所描述的電子指令的硬盤驅(qū)動(dòng)器、軟盤、光學(xué)盤、CD-ROM、DVD、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、EPROM、EEPROM、閃存、磁性卡或光學(xué)卡、固態(tài)存儲(chǔ)器設(shè)備或其他類型的存儲(chǔ)介質(zhì)。最終，各操作被描述的順序不旨在被理解為限制，并且任何數(shù)量的所描述的操作可以以任何順序和/或與實(shí)施該過(guò)程并行地來(lái)組合。

圖3圖示了用于根據(jù)非結(jié)構(gòu)化數(shù)據(jù)來(lái)學(xué)習(xí)話題模型的過(guò)程300。

框302圖示了接收多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。如以上所描述的，接收組件202可以將與標(biāo)簽的集合中的個(gè)體標(biāo)簽相關(guān)聯(lián)的一個(gè)或多個(gè)查詢發(fā)送到一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)。與一個(gè)或多個(gè)查詢相關(guān)的和與個(gè)體標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)可以從一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)被返回到接收組件202。如以上所描述的，這可以針對(duì)標(biāo)簽的集合中的個(gè)體標(biāo)簽中的每個(gè)進(jìn)行重復(fù)并且多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以包括從與標(biāo)簽的集合中的個(gè)體標(biāo)簽中的每個(gè)相關(guān)聯(lián)的查詢返回的多媒體數(shù)據(jù)項(xiàng)。

框304圖示了提取多媒體特征。如以上所描述的，多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以是有噪聲的并且可以包括與標(biāo)簽的集合不相關(guān)的、具有低質(zhì)量的、等等的多媒體數(shù)據(jù)項(xiàng)。因此，提取組件204可以被配置用于從多媒體數(shù)據(jù)項(xiàng)中提取多媒體特征以在處理語(yǔ)料庫(kù)中使用。多媒體特征可以包括視覺(jué)特征和文本特征。

框306圖示了處理語(yǔ)料庫(kù)。如以上所描述的，聚類組件206可以被配置用于基于在所提取的多媒體特征的視覺(jué)特征與文本特征之間的相似度來(lái)將多媒體數(shù)據(jù)項(xiàng)布置在簇中。在至少一個(gè)實(shí)施例中，多媒體數(shù)據(jù)項(xiàng)的簇被處理以導(dǎo)出針對(duì)每個(gè)簇的相關(guān)特征的集合以將具有高質(zhì)量多媒體數(shù)據(jù)項(xiàng)的相關(guān)簇與不相關(guān)的和/或具有低質(zhì)量的多媒體數(shù)據(jù)項(xiàng)的簇區(qū)分開(kāi)。相關(guān)特征的集合可以包括簇內(nèi)特征和簇間特征。

框308圖示了訓(xùn)練模型。如以上所描述的，在提取多媒體特征、將多媒體數(shù)據(jù)項(xiàng)聚類以及提煉語(yǔ)料庫(kù)之后，學(xué)習(xí)組件210可以對(duì)經(jīng)提煉的語(yǔ)料庫(kù)應(yīng)用學(xué)習(xí)算法以用于學(xué)習(xí)基于所提取的多媒體特征來(lái)識(shí)別個(gè)體標(biāo)簽。

圖4圖示了用于提煉多媒體數(shù)據(jù)項(xiàng)的集合體的過(guò)程400。

框402圖示了計(jì)算第一相關(guān)特征。如以上所描述的，至少兩個(gè)相關(guān)特征或特征的集合可以被用于處理和提煉多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。簇內(nèi)特征可以表示相關(guān)特征或特征的集合中的一個(gè)。簇內(nèi)特征表示在與標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)的簇內(nèi)的多媒體數(shù)據(jù)項(xiàng)的配對(duì)的距離分布特性。簇特性的示例包括在簇中的多媒體數(shù)據(jù)項(xiàng)之間的一致性、簇中的多媒體數(shù)據(jù)項(xiàng)的質(zhì)量、等等。簇內(nèi)特征可以如以上所描述的通過(guò)計(jì)算針對(duì)簇中的多媒體數(shù)據(jù)項(xiàng)配對(duì)的多媒體距離來(lái)確定。

框404圖示了計(jì)算第二相關(guān)特征。簇間特征可以表示相關(guān)特征或特征的集合中的另一個(gè)。簇間特征表示在與標(biāo)簽相關(guān)聯(lián)的簇和與其他標(biāo)簽相關(guān)聯(lián)的其他簇之間的距離分布特性。簇間特征可以指示當(dāng)和與相同話題相關(guān)聯(lián)的其他標(biāo)簽進(jìn)行比較時(shí)標(biāo)簽的通用性或特異性的水平。為了計(jì)算簇間特征，在與不同標(biāo)簽相關(guān)聯(lián)的兩個(gè)簇之間的距離可以如以上所描述的來(lái)計(jì)算。

簇內(nèi)特征和簇間特征可以被用于提煉語(yǔ)料庫(kù)以產(chǎn)生經(jīng)提煉的語(yǔ)料庫(kù)。經(jīng)提煉的語(yǔ)料庫(kù)可以被用于經(jīng)由如以上所描述的學(xué)習(xí)算法來(lái)訓(xùn)練模型。

圖5圖示了用于提煉多媒體數(shù)據(jù)項(xiàng)的集合體的過(guò)程500。

框502圖示了提取多媒體特征。如以上所描述的，與一個(gè)或多個(gè)查詢相關(guān)的和與標(biāo)簽的集合中的個(gè)體標(biāo)簽相關(guān)聯(lián)的多媒體數(shù)據(jù)項(xiàng)可以從一個(gè)或多個(gè)搜索引擎、社交網(wǎng)絡(luò)服務(wù)、博客服務(wù)和/或其他網(wǎng)站或web服務(wù)被返回到接收組件202。多媒體數(shù)據(jù)項(xiàng)的集合體可以包括語(yǔ)料庫(kù)。多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)可以是有噪聲的，并且可以包括與標(biāo)簽的集合不相關(guān)的、具有低質(zhì)量的、等等的多媒體數(shù)據(jù)項(xiàng)。因此，提取組件204可以被配置用于從多媒體數(shù)據(jù)項(xiàng)中提取多媒體特征以在處理語(yǔ)料庫(kù)中使用。

框504圖示了將多媒體數(shù)據(jù)項(xiàng)布置在簇中。如以上所描述的，聚類組件206可以被配置用于基于在所提取的多媒體特征的視覺(jué)特征與文本特征之間的相似度來(lái)將多媒體數(shù)據(jù)項(xiàng)布置在簇中。在至少一個(gè)實(shí)施例中，多媒體數(shù)據(jù)項(xiàng)的簇被處理以導(dǎo)出針對(duì)每個(gè)簇的特征的集合以將具有高質(zhì)量多媒體數(shù)據(jù)項(xiàng)的相關(guān)簇與不相關(guān)的和/或具有低質(zhì)量的多媒體數(shù)據(jù)項(xiàng)的簇區(qū)分開(kāi)。

框506圖示了計(jì)算第一相關(guān)特征。如以上所描述的，至少兩個(gè)相關(guān)特征或特征的集合可以被用于處理和提煉多媒體數(shù)據(jù)項(xiàng)的語(yǔ)料庫(kù)。簇內(nèi)特征可以表示相關(guān)特征或特征的集合中的一個(gè)。簇內(nèi)特征可以如以上所描述的通過(guò)計(jì)算針對(duì)簇中的多媒體數(shù)據(jù)項(xiàng)配對(duì)的多媒體距離來(lái)確定。

框508圖示了計(jì)算第二相關(guān)特征。簇間特征可以表示相關(guān)特征或特征的集合中的另一個(gè)。簇間特征表示在與標(biāo)簽相關(guān)聯(lián)的簇和與其他標(biāo)簽相關(guān)聯(lián)的其他簇之間的距離分布特性。為了計(jì)算簇間特征，在與不同標(biāo)簽相關(guān)聯(lián)的兩個(gè)簇之間的距離可以如以上所描述的來(lái)計(jì)算。

框510圖示了將一個(gè)或多個(gè)多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)中移除。如以上所描述的，提煉組件208可以被配置用于部分地基于簇內(nèi)特征和簇間特征來(lái)將多媒體數(shù)據(jù)項(xiàng)從語(yǔ)料庫(kù)中移除。因此，剩余的多媒體數(shù)據(jù)項(xiàng)可以與標(biāo)簽的集合更相關(guān)和/或具有比經(jīng)預(yù)處理的語(yǔ)料庫(kù)的多媒體數(shù)據(jù)項(xiàng)更高的質(zhì)量。得到的語(yǔ)料庫(kù)可以是被用于訓(xùn)練模型以識(shí)別標(biāo)簽的集合中的個(gè)體標(biāo)簽的經(jīng)提煉的語(yǔ)料庫(kù)。

如以上所描述的，學(xué)習(xí)過(guò)程可以當(dāng)接收到新標(biāo)簽時(shí)被應(yīng)用到新標(biāo)簽并且可以得到的新模型可以被添加到分類器組件212。額外地，得到的模型可以被添加到現(xiàn)有的數(shù)據(jù)挖掘系統(tǒng)中。

應(yīng)用所學(xué)習(xí)的模型

圖6圖示了示出用于應(yīng)用所學(xué)習(xí)的語(yǔ)義挖掘模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例系統(tǒng)的示意圖。如圖6所示，系統(tǒng)600可以包括輸入模塊116、標(biāo)簽?zāi)K118和輸出模塊120。

輸入模塊116可以被配置為從一個(gè)或多個(gè)用戶106接收輸入。如以上所描述的，用戶106可以經(jīng)由用戶設(shè)備108中的一個(gè)將一個(gè)或多個(gè)多媒體數(shù)據(jù)項(xiàng)作為多媒體數(shù)據(jù)輸入602輸入到輸入模塊116中。多媒體數(shù)據(jù)輸入602可以包括一個(gè)或多個(gè)感興趣區(qū)域。例如，多媒體數(shù)據(jù)輸入602可以包括多個(gè)動(dòng)物(例如，獅子和老虎)或多個(gè)名勝(例如，太空針?biāo)腕w驗(yàn)音樂(lè)項(xiàng)目博物館)。

除了接收多媒體數(shù)據(jù)輸入602，輸入模塊116可以從一個(gè)或多個(gè)用戶106接收指示與多媒體數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的話題的話題輸入604。例如，如果多媒體數(shù)據(jù)輸入602包括用戶106已知為動(dòng)物的對(duì)象，則用戶106可以選擇“動(dòng)物”作為話題輸入604。備選地，如果多媒體數(shù)據(jù)輸入602是用戶106已知為西雅圖的名勝，則用戶106可以選擇“西雅圖名勝”作為話題輸入604。

輸入模塊116還可以被配置為將多媒體數(shù)據(jù)輸出606發(fā)送到標(biāo)簽?zāi)K118。如以上所描述的，標(biāo)簽?zāi)K118可以包括分類器組件212。標(biāo)簽?zāi)K118可以被配置為應(yīng)用與對(duì)應(yīng)的話題模型相關(guān)聯(lián)的、被存儲(chǔ)在分類器組件212中的一個(gè)或多個(gè)模型以確定與多媒體數(shù)據(jù)輸入602相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽608。標(biāo)簽?zāi)K118可以將一個(gè)或多個(gè)標(biāo)簽608提供給輸出模塊120以被并入到結(jié)果610中。

標(biāo)注模塊612可以被配置為從系統(tǒng)600外部的源收集與多媒體數(shù)據(jù)輸出606有關(guān)的信息。在至少一個(gè)實(shí)施例中，標(biāo)注模塊612可以利用包括與多媒體數(shù)據(jù)輸入602相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽608的標(biāo)注查詢來(lái)查詢一個(gè)或多個(gè)搜索引擎、共享站點(diǎn)和/或網(wǎng)站。標(biāo)注模塊612可以接收與標(biāo)注查詢相關(guān)聯(lián)的標(biāo)注信息614并且可以將標(biāo)注信息614呈現(xiàn)給輸出模塊120。輸出模塊120可以將標(biāo)注信息614并入到結(jié)果610中。

輸出模塊120可以包括排序組件616和結(jié)果組件618。排序組件616可以被配置為基于由分類器組件212生成的和輸出的置信度分?jǐn)?shù)來(lái)對(duì)分類標(biāo)簽608進(jìn)行排序。結(jié)果組件618可以被配置為接收和組織一個(gè)或多個(gè)標(biāo)簽608和標(biāo)注信息614以用于作為結(jié)果610呈現(xiàn)給用戶106。在其中多媒體數(shù)據(jù)輸入602包括兩個(gè)或更多個(gè)感興趣區(qū)域的實(shí)施例中，結(jié)果610可以識(shí)別每個(gè)感興趣區(qū)域。例如，如果多媒體數(shù)據(jù)輸入602包括獅子和老虎，則結(jié)果610還可以識(shí)別獅子和老虎。在這樣的實(shí)施例中，結(jié)果610還可以包括與獅子和老虎有關(guān)的標(biāo)注信息614。

示例過(guò)程

圖7-8描述了用于應(yīng)用所學(xué)習(xí)的話題模型來(lái)標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的示例過(guò)程。示例過(guò)程在圖1、圖2和圖6的環(huán)境的上下文下進(jìn)行描述但是不限于那些環(huán)境。過(guò)程被圖示為邏輯流程圖，其中的每個(gè)操作表示在圖示的或另外的操作的序列中的可以被實(shí)施在硬件、軟件或其組合中的操作。在軟件的上下文下，操作表示存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)114上的計(jì)算機(jī)可執(zhí)行指令，其當(dāng)由一個(gè)或多個(gè)處理器112執(zhí)行時(shí)將計(jì)算設(shè)備配置為執(zhí)行所記載的操作。一般地，計(jì)算機(jī)可執(zhí)行指令包括將計(jì)算設(shè)備配置為執(zhí)行特定功能或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類型的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、等等。

計(jì)算機(jī)可讀介質(zhì)114可以包括適合于存儲(chǔ)如以上所描述的電子指令的硬盤驅(qū)動(dòng)器、軟盤、光學(xué)盤、CD-ROM、DVD、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、EPROM、EEPROM、閃存、磁性卡或光學(xué)卡、固態(tài)存儲(chǔ)器設(shè)備或其他類型的存儲(chǔ)介質(zhì)。最終，各操作被描述的順序不旨在被理解為限制，并且任何數(shù)量的所描述的操作可以以任何順序和/或與實(shí)施該過(guò)程并行地來(lái)組合。

圖7圖示了用于標(biāo)識(shí)針對(duì)新數(shù)據(jù)項(xiàng)的語(yǔ)義的過(guò)程700。

框702圖示了接收輸入。如以上所描述的，用戶106可以經(jīng)由用戶設(shè)備108中的一個(gè)將一個(gè)或多個(gè)多媒體數(shù)據(jù)項(xiàng)作為多媒體數(shù)據(jù)輸入602輸入到輸入模塊116中。多媒體數(shù)據(jù)輸入602可以包括一個(gè)或多個(gè)感興趣區(qū)域。除了接收多媒體數(shù)據(jù)輸入602，輸入模塊116可以從一個(gè)或多個(gè)用戶106接收指示與多媒體數(shù)據(jù)輸入相關(guān)聯(lián)的話題的話題輸入604。

框704圖示了應(yīng)用話題模型。如以上所描述的，標(biāo)簽?zāi)K118可以被配置為應(yīng)用與對(duì)應(yīng)的話題模型相關(guān)聯(lián)的并且被存儲(chǔ)在分類器組件212中的一個(gè)或多個(gè)模型以確定與多媒體數(shù)據(jù)輸入相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽608。標(biāo)簽?zāi)K118可以將一個(gè)或多個(gè)標(biāo)簽608提供給輸出模塊120以被并入到結(jié)果610中。

框706圖示了輸出結(jié)果610。如以上所描述的，結(jié)果組件618可以被配置為接收和組織一個(gè)或多個(gè)標(biāo)簽608以用于作為結(jié)果610呈現(xiàn)給用戶106。結(jié)果610可以包括在標(biāo)簽?zāi)K118中識(shí)別的一個(gè)或多個(gè)標(biāo)簽608，并且在一些實(shí)施例中，包括標(biāo)注信息614。

圖8圖示了用于訪問(wèn)要被并入到結(jié)果610中的標(biāo)注信息614的過(guò)程800。如以上所描述的，標(biāo)注模塊612可以被配置為從系統(tǒng)600外部的源收集與多媒體數(shù)據(jù)輸出606有關(guān)的信息。

框802圖示了查詢一個(gè)或多個(gè)搜索引擎。如以上所描述的，標(biāo)注模塊612可以利用包括與多媒體數(shù)據(jù)輸入602相關(guān)聯(lián)的一個(gè)或多個(gè)標(biāo)簽608的標(biāo)注查詢來(lái)查詢一個(gè)或多個(gè)搜索引擎、共享站點(diǎn)和/或網(wǎng)站。

框804圖示了接收與一個(gè)或多個(gè)標(biāo)簽608相關(guān)聯(lián)的標(biāo)注信息614。

框806圖示了將標(biāo)注信息614呈現(xiàn)給輸出模塊。輸出模塊120可以將標(biāo)注信息614并入到結(jié)果610中。

結(jié)論

盡管已經(jīng)以對(duì)結(jié)構(gòu)特征和/或方法動(dòng)作特定的語(yǔ)言描述了本主題，但是應(yīng)理解在隨附權(quán)利要求中限定的主題不必限于所描述的特定特征或動(dòng)作。相反，特定特征和動(dòng)作被描述為實(shí)施權(quán)利要求的說(shuō)明性形式。

除非另行明確陳述，除了其他以外，諸如“能夠(can)”、“能(could)”、“可能(might)”、“可以(may)”等等的條件性語(yǔ)言在本上下文內(nèi)被理解為表示某些實(shí)施例包括而其他實(shí)施例不必包括某些特征、元件和/或步驟。因此，這樣的條件性語(yǔ)言大體不旨在暗示一個(gè)或多個(gè)實(shí)施例以任何方式需要某些特征、元件和/或步驟或者一個(gè)或多個(gè)實(shí)施例必需包括用于在具有或沒(méi)有用戶輸入或提示的情況下決策的邏輯，無(wú)論某些特征、元件和/或步驟是否被包括或者要在任何特定實(shí)施例中被執(zhí)行。除非另行明確陳述，諸如詞語(yǔ)“X、Y或Z中的至少一個(gè)”的連接性語(yǔ)言要被理解為表示項(xiàng)目、術(shù)語(yǔ)、等等可以是X、Y或Z、或其組合。