用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的方法和系統(tǒng)。一種方法包括：從至少一個(gè)社交媒體源獲得多個(gè)圖像；從所述多個(gè)圖像提取至少一個(gè)可視語義概念；區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)所述多個(gè)圖像中的事件；以及檢索與所述事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像以便呈現(xiàn)為所檢測(cè)事件的可視描述。
【專利說明】用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的方法和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的實(shí)施例一般地涉及信息技術(shù)，更具體地說，涉及社交媒體技術(shù)。
【背景技術(shù)】
[0002]在現(xiàn)有方法中，使用支持向量機(jī)(SVM)分類器經(jīng)由基于文本的輸入(例如，基于文本的微博)執(zhí)行社交媒體通道上的事件檢測(cè)，以便從單個(gè)輸入檢測(cè)單個(gè)事件。但是，現(xiàn)有方法不包括用于理解相關(guān)圖像以試圖直觀量化事件特性的機(jī)制。例如，在破壞性事件的情況下，事件特性的量化可以包括物理結(jié)構(gòu)的損壞評(píng)估。
[0003]相應(yīng)地，現(xiàn)有方法僅承載有限的信息并且是語言特定的。因此，需要將非結(jié)構(gòu)化圖像轉(zhuǎn)換為結(jié)構(gòu)化語義，因?yàn)榻Y(jié)構(gòu)化語義隨時(shí)間的變化趨勢(shì)可以用于可訓(xùn)練且可擴(kuò)展的事件檢測(cè)。

【發(fā)明內(nèi)容】

[0004]在本發(fā)明的一個(gè)方面，提供用于社交媒體事件檢測(cè)和基于內(nèi)容的檢索的技術(shù)。一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的示例性計(jì)算機(jī)實(shí)現(xiàn)的方法可以包括以下步驟:從至少一個(gè)社交媒體源獲得多個(gè)圖像；從所述多個(gè)圖像提取至少一個(gè)可視語義概念；區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)所述多個(gè)圖像中的事件；以及檢索與所述事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像以便呈現(xiàn)為所檢測(cè)事件的可視描述。
[0005]在本發(fā)明的另一個(gè)方面，一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的示例性計(jì)算機(jī)實(shí)現(xiàn)的方法可以包括以下步驟:從至少一個(gè)社交媒體源獲得多個(gè)圖像；從所述多個(gè)圖像提取至少一個(gè)可視語義概念；區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)所述多個(gè)圖像中的事件；檢索與所述事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像；將與所述事件語義概念信號(hào)關(guān)聯(lián)的所述一個(gè)或多個(gè)圖像分組；使用用戶反饋?zhàn)⑨尠鲆粋€(gè)或多個(gè)圖像的組；以及將所注釋的包含所述一個(gè)或多個(gè)圖像的組顯示為所檢測(cè)事件的可視描述。
[0006]本發(fā)明的另一個(gè)方面或其元素可以以制品的形式實(shí)現(xiàn)，所述制品有形地包含計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令被執(zhí)行時(shí)，導(dǎo)致計(jì)算機(jī)執(zhí)行在此描述的多個(gè)方法步驟。此外，本發(fā)明的另一個(gè)方面或其元素可以以裝置的形式實(shí)現(xiàn)，所述裝置包括存儲(chǔ)器和至少一個(gè)處理器，所述至少一個(gè)處理器連接到所述存儲(chǔ)器并且可操作以執(zhí)行所述方法步驟。此夕卜，本發(fā)明的另一個(gè)方面或其元素可以以構(gòu)件的形式實(shí)現(xiàn)，所述構(gòu)件用于執(zhí)行在此描述的方法步驟或其元素；所述構(gòu)件可以包括硬件模塊(多個(gè))或硬件和軟件模塊的組合，其中所述軟件模塊存儲(chǔ)在有形的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(或多個(gè)此類介質(zhì))中。
[0007]從以下將結(jié)合附圖閱讀的對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的這些和其它目標(biāo)、特性和優(yōu)點(diǎn)將變得顯而易見。
【專利附圖】

【附圖說明】
[0008]圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成事件概率數(shù)據(jù)的示意圖；[0009]圖2是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像和語義的關(guān)聯(lián)數(shù)據(jù)以便表示事件的示意圖；
[0010]圖3是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的技術(shù)的流程圖；
[0011]圖4是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的技術(shù)的流程圖；以及
[0012]圖5是其中可以實(shí)現(xiàn)本發(fā)明的至少一個(gè)實(shí)施例的示例性計(jì)算機(jī)系統(tǒng)的系統(tǒng)圖?！揪唧w實(shí)施方式】
[0013]如在此描述的，本發(fā)明的一個(gè)方面包括使用時(shí)間解析的圖像語義概念的社交媒體事件檢測(cè)和基于內(nèi)容的檢索。如在此使用的，“事件”可以被視為用戶可能有興趣主動(dòng)檢測(cè)或追溯檢索的未計(jì)劃狀態(tài)更改。本發(fā)明的至少一個(gè)實(shí)施例包括通過觀察圖像語義隨時(shí)間的更改而檢測(cè)大規(guī)模社交事件。此外，本發(fā)明的至少一個(gè)實(shí)施例包括捕獲和檢索與所檢測(cè)事件相關(guān)的圖像。實(shí)例事件可以包括各種活動(dòng)，例如檢閱、地震、龍卷風(fēng)、體育事件等。
[0014]如在此詳述的，本發(fā)明的至少一個(gè)實(shí)施例包括隨時(shí)間監(jiān)視上傳到一個(gè)或多個(gè)社交媒體網(wǎng)站的圖像的語義。在一個(gè)實(shí)例實(shí)施例中，可以將圖像流化到并行系統(tǒng)，所述并行系統(tǒng)實(shí)時(shí)向圖像應(yīng)用一組生成的語義模型(例如，1000個(gè)或更多)。此類語義例如可以包括各種類型的場(chǎng)景、物體、人員以及各種數(shù)量的場(chǎng)景、物體、人員。此外，可以測(cè)量語義信號(hào)的背景水平，并且可以將與背景水平的特定偏差視為事件。與語義關(guān)聯(lián)的圖像(包括特定事件信號(hào))可以進(jìn)一步被分組并呈現(xiàn)為事件的表示。
[0015]如上所述，所監(jiān)視和提取的圖像語義可以包括各種類型的場(chǎng)景、物體和/或人員?？梢韵闰?yàn)提供一組標(biāo)準(zhǔn)語義分類器，或者用戶可以訓(xùn)練他或她的一組專用語義分類器。在本發(fā)明的至少一個(gè)實(shí)施例中，直接從豐富的社交媒體可視數(shù)據(jù)(例如用戶張貼的圖像或視頻)提取此類圖像語義。本發(fā)明的各方面另外使用該信息直接從上傳到社交媒體流的圖像和視頻檢測(cè)大規(guī)模事件?？梢栽诓皇芟拗频臅r(shí)段內(nèi)，從圖像/視頻語義更改檢測(cè)不受限制的區(qū)域(例如城市、地區(qū)、州或國家)的未計(jì)劃狀態(tài)更改(或“事件”，如在此使用的)。
[0016]根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例，可以使用各種技術(shù)執(zhí)行事件檢測(cè)。一種實(shí)例技術(shù)包括在預(yù)定或用戶指定的背景時(shí)間內(nèi)測(cè)量語義的平均差和標(biāo)準(zhǔn)差。用戶還可以針對(duì)事件檢測(cè)設(shè)置異常值(outlier)閾值。例如，用戶可以指定當(dāng)在給定時(shí)間內(nèi)(如果給出背景時(shí)段)上傳的“碎石”照片數(shù)的概率小于5%時(shí)，發(fā)生事件。
[0017]此外，在本發(fā)明的至少一個(gè)實(shí)施例中，用戶可以指定背景時(shí)段和事件時(shí)段。背景時(shí)段可以被視為不包含事件特性的時(shí)段。此類實(shí)施例的一個(gè)附加方面包括學(xué)習(xí)足以將事件與非事件區(qū)別開的區(qū)分性特性圖像語義，從而便于在將來檢測(cè)類似于指定事件的事件。學(xué)習(xí)此類區(qū)分性特性圖像語義例如可以通過以下操作實(shí)現(xiàn):使用所有語義作為從中訓(xùn)練支持向量機(jī)(SVM)分類器的特征，并且將表征事件的圖像作為正例，將未表征事件的圖像作為反例。
[0018]圖1是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的生成事件概率數(shù)據(jù)的示意圖。步驟102包括執(zhí)行圖像分析，例如特征提取、語義分類等。步驟104包括生成語義模型向量數(shù)據(jù)。該步驟可以包括量化圖像(多個(gè))的各種上下文方面，例如示出的綠色植物、水泥和/或浙青的數(shù)量。在本發(fā)明的一個(gè)實(shí)例實(shí)施例中，該步驟還可以包括產(chǎn)生每個(gè)語義的置信度得分。步驟106包括例如通過使用交互式機(jī)器學(xué)習(xí)和/或統(tǒng)計(jì)分析來執(zhí)行事件檢測(cè)。此外，步驟108包括生成事件概率數(shù)據(jù)。
[0019]相應(yīng)地，圖1中所示的技術(shù)包括通過圖像分析系統(tǒng)流化來自一個(gè)或多個(gè)社交媒體網(wǎng)站的圖像以便提取語義內(nèi)容。如步驟104中所述，這可以包括將流化后的數(shù)據(jù)表示為語義模型向量。語義模型向量是所有語義分類器的向量形式的串聯(lián)輸出。例如，可以隨時(shí)間收集來自社交媒體通道的圖像。在未發(fā)生感興趣事件的背景時(shí)段(在此稱為規(guī)則狀態(tài))內(nèi)，圖像和視頻將具有其語義組成(semantic makeup)的一種特定統(tǒng)計(jì)分布。在本發(fā)明的至少一個(gè)實(shí)施例中，可以針對(duì)在時(shí)幀Λ t內(nèi)收集的所有圖像計(jì)算實(shí)例語義模型向量值的平均值。
[0020]當(dāng)發(fā)生感興趣事件(在此稱為不規(guī)則狀態(tài))時(shí)，同樣長的時(shí)段內(nèi)的語義組成將根據(jù)事件特性而更改。在地震的一個(gè)示例性實(shí)例中，在該時(shí)段內(nèi)，可能觀察到更多包含建筑物、浙青和水泥的圖像和視頻。
[0021]還如圖1中所示，本發(fā)明的一個(gè)方面包括通過語義信號(hào)執(zhí)行事件檢測(cè)以便計(jì)算事件發(fā)生概率。本發(fā)明的一個(gè)實(shí)例實(shí)施例可以包括統(tǒng)計(jì)分析。例如，此類分析可能包括測(cè)量背景“規(guī)則狀態(tài)”語義的平均差和標(biāo)準(zhǔn)差，并標(biāo)識(shí)遠(yuǎn)離“規(guī)則狀態(tài)”語義信號(hào)平均值的更改超過閾值數(shù)量的標(biāo)準(zhǔn)差的時(shí)段。
[0022]還如所述的，本發(fā)明的一個(gè)實(shí)例實(shí)施例還可以包括實(shí)現(xiàn)監(jiān)管式機(jī)器學(xué)習(xí)算法。例如，用戶可以突出顯示其中未發(fā)生感興趣事件的時(shí)段，然后突出顯示其中發(fā)生各種感興趣事件的時(shí)段。機(jī)器學(xué)習(xí)算法可以確定每種類型事件語義之間的區(qū)別或確定沒有事件語義，并且能夠在將來根據(jù)該區(qū)別識(shí)別此類事件。同樣，用戶可以指定背景時(shí)段和事件時(shí)段兩者。系統(tǒng)然后可以學(xué)習(xí)足以將事件與非事件區(qū)別開的區(qū)分性特性圖像語義，從而使系統(tǒng)能夠在將來檢測(cè)類似于指定事件的事件。
[0023]此外，本發(fā)明的至少一個(gè)實(shí)施例可以經(jīng)由基于時(shí)間間隔的SVM或k最近鄰(kNN)，或者具有序列對(duì)齊內(nèi)核的SVM來執(zhí)行事件檢測(cè)。這例如可以通過以下操作實(shí)現(xiàn):提供表征事件的圖像作為正例，未表征事件的圖像作為反例。可以從所有圖像提取語義模型向量，并且這些向量可以用作提供給SVM組件以便訓(xùn)練的特征。
[0024]此外，可以考慮時(shí)間信息。并不使用個(gè)體圖像作為實(shí)例，而是可以按時(shí)間順序以多個(gè)串聯(lián)語義模型向量的形式提供圖像組序列，這些序列可以按時(shí)間區(qū)域按組聚合成單個(gè)表示，也可以不聚合。這些表示然后用作正例和反例，并且可以與考慮序列信息的SVM內(nèi)核結(jié)合使用。此類內(nèi)核包括使用動(dòng)態(tài)編程的序列對(duì)齊內(nèi)核或兩部分(b1-partite)匹配內(nèi)核。此夕卜，監(jiān)管式機(jī)器學(xué)習(xí)算法可以與基于文本的事件檢測(cè)技術(shù)結(jié)合實(shí)現(xiàn)，以便改進(jìn)每種方法的穩(wěn)健性。此外，實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的本發(fā)明的一個(gè)實(shí)施例還可以包括將對(duì)事件檢測(cè)的貢獻(xiàn)最顯著的圖像評(píng)估為事件相關(guān)。
[0025]圖2是示出根據(jù)本發(fā)明的一個(gè)實(shí)例實(shí)施例的圖像和語義的關(guān)聯(lián)數(shù)據(jù)以便表示事件的示意圖。舉例來說，圖2示出有關(guān)實(shí)例事件信號(hào)的平均語義組成的數(shù)據(jù)202、有關(guān)是否可以將實(shí)例圖像視為不與事件相關(guān)的數(shù)據(jù)204，以及有關(guān)是否可以將實(shí)例圖像視為與事件相關(guān)的數(shù)據(jù)206。
[0026]相應(yīng)地，如圖2中所示，本發(fā)明的至少一個(gè)實(shí)施例包括聚集和/或組織與語義關(guān)聯(lián)的圖像(當(dāng)展開時(shí)足以表示事件)。這可以例如通過以下操作執(zhí)行:使用訓(xùn)練后的事件模型隨時(shí)間對(duì)圖像組進(jìn)行評(píng)分，并返回或突出顯示產(chǎn)生最高得分(多個(gè))的那些圖像組。例如，這可以包括實(shí)現(xiàn)圖像檢索系統(tǒng)，其中檢索具有類似于事件信號(hào)的語義組成的圖像以便向用戶顯示。呈現(xiàn)可以采取各種形式，例如根據(jù)獲得圖像的位置，將相關(guān)圖像放置在地圖上。該接口可以提供事件的可視特性以及地理信息。可以根據(jù)可視特性，從圖像標(biāo)題和/或圖像定位算法中的全球定位系統(tǒng)(GPS)信息提取地理信息。還可以顯示圖像而沒有地理信息。
[0027]同樣，在本發(fā)明的至少一個(gè)實(shí)施例中，當(dāng)檢測(cè)到事件時(shí)，可以檢索描述該事件的附加相關(guān)圖像和視頻，作為該事件的豐富描述。例如，在地震期間，可能觀察到室外照片(包括街道、損壞的道路、碎石等的照片)數(shù)量增加。可以檢索與表征事件的那些語義關(guān)聯(lián)的圖像，以便提供更詳細(xì)的事件描述。此外，如所述的，如果在元數(shù)據(jù)中使用全球定位系統(tǒng)(GPS)位置信息標(biāo)記圖像，則本發(fā)明的至少一個(gè)實(shí)施例包括將圖像疊加到地圖上，以便提供發(fā)生事件的位置和影響和/或作用的可能范圍的地理空間表示。
[0028]還如在此詳述的，本發(fā)明的至少一個(gè)實(shí)施例包括作為開域運(yùn)行，以便處理社交媒體張貼的圖像或視頻(例如，來自Twitter、Facebook等);即,本發(fā)明的各方面并不限于預(yù)先指定的電視轉(zhuǎn)播事件、位置或時(shí)間。相反，本發(fā)明的各方面包括在不受限制的時(shí)空域中檢測(cè)未計(jì)劃的事件。
[0029]圖3是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的技術(shù)的流程圖。步驟302包括從至少一個(gè)社交媒體源獲得多個(gè)圖像。所述圖像可以包括從照片和視頻輸入(例如，用戶在至少一個(gè)社交媒體源上張貼的圖像或視頻)獲得的圖像。在本發(fā)明的至少一個(gè)實(shí)施例中，獲得步驟包括實(shí)時(shí)流化來自至少一個(gè)社交媒體源的多個(gè)圖像。步驟304包括從多個(gè)圖像提取至少一個(gè)可視語義概念。如在此描述的，可視語義概念表征事件。
[0030]步驟306包括區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)多個(gè)圖像中的事件。區(qū)分步驟例如可以基于將提取的至少一個(gè)可視語義概念中的每個(gè)可視語義概念的信號(hào)強(qiáng)度與預(yù)定異常值閾值相比較。此外，區(qū)分步驟可以包括在用戶指定的背景時(shí)段內(nèi)測(cè)量每個(gè)語義概念的平均差和標(biāo)準(zhǔn)差。
[0031]此外，在本發(fā)明的至少一個(gè)實(shí)施例中，區(qū)分步驟包括使用交互式機(jī)器學(xué)習(xí)算法，以及例如將多個(gè)圖像中對(duì)事件檢測(cè)的貢獻(xiàn)最顯著的圖像評(píng)估為事件相關(guān)。此外，區(qū)分步驟可以包括執(zhí)行統(tǒng)計(jì)分析以便計(jì)算事件發(fā)生概率。
[0032]步驟308包括檢索與事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像以便呈現(xiàn)為所檢測(cè)事件的可視描述。此外，圖3中所示的技術(shù)可以包括隨時(shí)間測(cè)量每個(gè)語義概念的信號(hào)，以及標(biāo)識(shí)表示實(shí)時(shí)事件的一個(gè)或多個(gè)語義概念信號(hào)峰值。
[0033]如在此詳述的，本發(fā)明的至少一個(gè)實(shí)施例還可以包括將使用GPS功能標(biāo)記的圖像疊加到地圖上以便提供事件的地理空間表示。此外，圖3中所示的技術(shù)另外可以包括指定背景時(shí)段和事件時(shí)段，將圖像流化到并行系統(tǒng)，所述并行系統(tǒng)實(shí)時(shí)向圖像應(yīng)用一組生成的語義模型，以及/或者在指定時(shí)段內(nèi)監(jiān)視上傳到一個(gè)或多個(gè)社交媒體網(wǎng)站的圖像的語義。此外，可以檢索與所檢測(cè)事件相關(guān)的附加圖像。
[0034]圖4是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的技術(shù)的流程圖。步驟402包括從至少一個(gè)社交媒體源獲得多個(gè)圖像。步驟404包括從多個(gè)圖像提取至少一個(gè)可視語義概念。步驟406包括區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)多個(gè)圖像中的事件。步驟408包括檢索與事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像。步驟410包括分組與事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像。步驟412包括使用用戶反饋?zhàn)⑨尠鲆粋€(gè)或多個(gè)圖像的組。步驟414包括將所注釋的包含所述一個(gè)或多個(gè)圖像的組顯示為所檢測(cè)事件的可視描述。
[0035]如在此描述的，圖3和圖4中所示的技術(shù)還可以包括提供一種系統(tǒng)，其中所述系統(tǒng)包括不同的軟件模塊，每個(gè)不同軟件模塊包含在有形的計(jì)算機(jī)可讀可記錄存儲(chǔ)介質(zhì)中。例如，所有模塊(或其任何子集)可以在同一介質(zhì)中，或者每個(gè)模塊可以在不同介質(zhì)中。模塊可以包括附圖中示出和/或在此描述的任何或全部組件。在本發(fā)明的一個(gè)方面，模塊例如可以在硬件處理器上運(yùn)行。然后可以使用所述系統(tǒng)的不同軟件模塊(如上所述，在硬件處理器上執(zhí)行)執(zhí)行所述方法步驟。此外，計(jì)算機(jī)程序產(chǎn)品可以包括有形的計(jì)算機(jī)可讀可記錄存儲(chǔ)介質(zhì)，其具有適合于被執(zhí)行的代碼以便執(zhí)行在此描述的至少一個(gè)方法步驟，包括為所述系統(tǒng)提供不同的軟件模塊。
[0036]此外，圖3和圖4中所示的技術(shù)能夠通過可以包括計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)程序產(chǎn)品來實(shí)現(xiàn)，計(jì)算機(jī)可用程序代碼存儲(chǔ)在數(shù)據(jù)處理系統(tǒng)內(nèi)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，并且其中計(jì)算機(jī)可用程序代碼通過網(wǎng)絡(luò)從遠(yuǎn)程數(shù)據(jù)處理系統(tǒng)下載。此外，在本發(fā)明的一個(gè)方面，計(jì)算機(jī)程序產(chǎn)品可以包括存儲(chǔ)在服務(wù)器數(shù)據(jù)處理系統(tǒng)內(nèi)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的計(jì)算機(jī)可用程序代碼，并且其中計(jì)算機(jī)可用程序代碼通過網(wǎng)絡(luò)下載到遠(yuǎn)程數(shù)據(jù)處理系統(tǒng)，以便在遠(yuǎn)程系統(tǒng)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中使用。
[0037]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為在一個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0038]本發(fā)明的一個(gè)方面或其元素可以以裝置的形式實(shí)現(xiàn)，所述裝置包括存儲(chǔ)器和至少一個(gè)處理器，所述至少一個(gè)處理器連接到所述存儲(chǔ)器并且可操作以執(zhí)行示例性方法步驟。
[0039]此外，本發(fā)明的一個(gè)方面可以使用在通用計(jì)算機(jī)或工作站上運(yùn)行的軟件。參考圖5，此類實(shí)現(xiàn)例如可以采用處理器502、存儲(chǔ)器504和輸入/輸出接口(例如，由顯示器506和鍵盤508形成)。術(shù)語“處理器”如在此使用的，旨在包括任何處理設(shè)備，例如包括CPU (中央處理單元)和/或其它形式處理電路的處理設(shè)備。進(jìn)一步，術(shù)語“處理器”可以指多個(gè)單獨(dú)的處理器。術(shù)語“存儲(chǔ)器”旨在包括與處理器或CPU關(guān)聯(lián)的存儲(chǔ)器，例如RAM (隨機(jī)存取存儲(chǔ)器)、ROM (只讀存儲(chǔ)器)、固定存儲(chǔ)器件(例如，硬盤驅(qū)動(dòng)器)、可移動(dòng)存儲(chǔ)器件(例如，軟盤)、閃存等。此外，詞組“輸入/輸出接口 ”如在此使用的，旨在包括例如用于將數(shù)據(jù)輸入到處理單元的機(jī)構(gòu)(例如，鼠標(biāo))，以及用于提供與處理單元關(guān)聯(lián)的結(jié)果的機(jī)構(gòu)(例如，打印機(jī))。處理器502、存儲(chǔ)器504和輸入/輸出接口(例如顯示器506和鍵盤508)例如可以通過總線510互連，作為數(shù)據(jù)處理單元512的一部分。還可以例如通過總線510為網(wǎng)絡(luò)接口514 (例如網(wǎng)卡，其可以用于與計(jì)算機(jī)網(wǎng)絡(luò)連接)以及介質(zhì)接口 516 (例如軟盤或⑶-ROM驅(qū)動(dòng)器，其可以用于與介質(zhì)518連接)提供合適的互連。
[0040]因此，如在此描述的，包括用于執(zhí)行本發(fā)明方法的指令或代碼的計(jì)算機(jī)軟件可以被存儲(chǔ)在關(guān)聯(lián)的存儲(chǔ)器件(例如，ROM、固定或可移動(dòng)存儲(chǔ)器)中，并且當(dāng)準(zhǔn)備使用時(shí)，被部分或全部加載(例如，加載到RAM中)并由CPU執(zhí)行。此類軟件可以包括但不限于固件、駐留軟件、微代碼等。
[0041]適合于存儲(chǔ)和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)將包括至少一個(gè)通過系統(tǒng)總線510直接或間接連接到存儲(chǔ)元件504的處理器502。存儲(chǔ)元件可以包括在程序代碼的實(shí)際執(zhí)行期間采用的本地存儲(chǔ)器、大容量存儲(chǔ)裝置以及提供至少某些程序代碼的臨時(shí)存儲(chǔ)以減少必須在執(zhí)行期間從大容量存儲(chǔ)裝置檢索代碼的次數(shù)的高速緩存存儲(chǔ)器。
[0042]輸入/輸出或I/O設(shè)備(包括但不限于鍵盤508、顯示器506、指點(diǎn)設(shè)備等)可以直接(例如通過總線510)或通過中間I/O控制器(為清楚起見而被省略)與系統(tǒng)相連。
[0043]網(wǎng)絡(luò)適配器(例如網(wǎng)絡(luò)接口 514)也可以被連接到系統(tǒng)以使數(shù)據(jù)處理系統(tǒng)能夠通過中間專用或公共網(wǎng)絡(luò)變得與其它數(shù)據(jù)處理系統(tǒng)或遠(yuǎn)程打印機(jī)或存儲(chǔ)設(shè)備相連。調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器和以太網(wǎng)卡只是當(dāng)前可用的網(wǎng)絡(luò)適配器類型中的少數(shù)幾種。
[0044]如在此(包括權(quán)利要求)使用的，“服務(wù)器”包括運(yùn)行服務(wù)器程序的物理數(shù)據(jù)處理系統(tǒng)(例如，如圖5中所示的系統(tǒng)512)。應(yīng)當(dāng)理解，此類物理服務(wù)器可以包括也可以不包括顯示器和鍵盤。
[0045]如所述的，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。此外，可以采用計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是-但不限于-電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者上述的任意合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本文件中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0046]計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括例如在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了計(jì)算機(jī)可讀的程序代碼。此類傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括-但不限于-電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0047]計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用一種適當(dāng)?shù)慕橘|(zhì)傳輸，包括-但不限于-無線、有線、光纜、RF等等，或者上述的任意合適的組合。
[0048]可以以至少一種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本發(fā)明的各個(gè)方面的操作的計(jì)算機(jī)程序代碼，所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言-諸如Java、Smalltalk、C++等，還包括常規(guī)的過程式程序設(shè)計(jì)語言-諸如“C”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)-包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)-連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0049]在此參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明的各個(gè)方面。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0050]也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，這些指令使得計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備以特定方式工作，從而，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的制品(article of manufacture)。因此,本發(fā)明的一個(gè)方面包括有形地包含計(jì)算機(jī)可讀指令的制品，當(dāng)計(jì)算機(jī)可讀指令執(zhí)行時(shí)，導(dǎo)致計(jì)算機(jī)執(zhí)行在此描述的多個(gè)方法步驟。
[0051]也可以把計(jì)算機(jī)程序指令加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其它設(shè)備上，使得在計(jì)算機(jī)、其它可編程裝置或其它設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，從而使得在計(jì)算機(jī)或其它可編程裝置上執(zhí)行的指令提供實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的過程。
[0052]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的不同實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系結(jié)構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、組件、程序段或代碼的一部分，所述模塊、組件、程序段或代碼的一部分包含至少一個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
[0053]應(yīng)當(dāng)注意，在此描述的任何方法都可以包括提供一種系統(tǒng)的額外步驟，所述系統(tǒng)包括包含在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的不同軟件模塊；所述模塊例如可以包括在此詳述的任何或全部組件。然后可以使用所述系統(tǒng)的不同軟件模塊和/或子模塊(如上所述，在硬件處理器502上執(zhí)行)執(zhí)行所述方法步驟。此外，計(jì)算機(jī)程序產(chǎn)品可以包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其具有適合于被執(zhí)行的代碼以便執(zhí)行在此描述的至少一個(gè)方法步驟，包括為所述系統(tǒng)提供不同的軟件模塊。
[0054]在任何情況下，應(yīng)當(dāng)理解，在此示出的組件可以以各種形式的硬件、軟件或它們的組合來實(shí)現(xiàn)，例如，專用集成電路(多個(gè))(ASIC)、功能電路、具有關(guān)聯(lián)存儲(chǔ)器的經(jīng)過適當(dāng)編程的通用數(shù)字計(jì)算機(jī)等。給予了在此提供的本發(fā)明的教導(dǎo)后，相關(guān)【技術(shù)領(lǐng)域】的技術(shù)人員將能夠構(gòu)想本發(fā)明的組件的其它實(shí)現(xiàn)。
[0055]在此使用的術(shù)語只是為了描述特定的實(shí)施例并且并非旨在作為本發(fā)明的限制。如在此使用的，單數(shù)形式“一”、“一個(gè)”和“該”旨在同樣包括復(fù)數(shù)形式，除非上下文明確地另有所指。還將理解，當(dāng)在此說明書中使用時(shí)，術(shù)語“包括”和/或“包含”指定了聲明的特性、整數(shù)、步驟、操作、元素和/或組件的存在，但是并不排除其它特性、整數(shù)、步驟、操作、元素、組件和/或其組的存在或增加。
[0056]以下的權(quán)利要求中的對(duì)應(yīng)結(jié)構(gòu)、材料、操作以及所有功能性限定的裝置或步驟的等同替換，旨在包括任何用于與在權(quán)利要求中具體指出的其它單元相組合地執(zhí)行該功能的結(jié)構(gòu)、材料或操作。
[0057]本發(fā)明的至少一個(gè)方面可以提供有益的效果，例如區(qū)分從社交媒體內(nèi)容獲得的特性圖像語義以便檢測(cè)事件與非事件。
[0058]出于示例目的給出了對(duì)本發(fā)明的不同實(shí)施例的描述，但所述描述并非旨在是窮舉的或是限于所公開的實(shí)施例。在不偏離所述實(shí)施例的范圍和精神的情況下，對(duì)于所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說許多修改和變化都將是顯而易見的。在此使用的術(shù)語的選擇，旨在最好地解釋實(shí)施例的原理、實(shí)際應(yīng)用或?qū)κ袌?chǎng)中的技術(shù)的技術(shù)改進(jìn)，或者使所屬【技術(shù)領(lǐng)域】的其它普通技術(shù)人員能理解在此所公開的實(shí)施例。
【權(quán)利要求】
1.一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的方法，所述方法包括以下步驟: 從至少一個(gè)社交媒體源獲得多個(gè)圖像； 從所述多個(gè)圖像提取至少一個(gè)可視語義概念； 區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)所述多個(gè)圖像中的事件；以及檢索與所述事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像以便呈現(xiàn)為所檢測(cè)事件的可視描述； 其中由計(jì)算機(jī)設(shè)備執(zhí)行所述步驟中的至少一個(gè)步驟。
2.根據(jù)權(quán)利要求1的方法，其中來自至少一個(gè)社交媒體源的所述多個(gè)圖像包括從照片和/或視頻輸入獲得的圖像。
3.根據(jù)權(quán)利要求2的方法，其中所述照片和/或視頻輸入包括用戶在至少一個(gè)社交媒體源上張貼的圖像和/或視頻。
4.根據(jù)權(quán)利要求1的方法，其中所述獲得包括實(shí)時(shí)流化來自所述至少一個(gè)社交媒體源的多個(gè)圖像。
5.根據(jù)權(quán)利要求1的方法，其中所述至少一個(gè)可視語義概念表征事件。
6.根據(jù)權(quán)利要求1的方法，其中所述區(qū)分基于將所提取的至少一個(gè)可視語義概念中的每個(gè)可視語義概念的觀察到的信號(hào)強(qiáng)度與預(yù)定異常值閾值相比較。
7.根據(jù)權(quán)利要求1的方法，其中所述區(qū)分包括測(cè)量每個(gè)語義概念在用戶指定的背景時(shí)段內(nèi)的平均差和標(biāo)準(zhǔn)差。
8.根據(jù)權(quán)利要求1的方法，其中所述區(qū)分包括使用交互式機(jī)器學(xué)習(xí)算法。
9.根據(jù)權(quán)利要求8的方法，包括: 將所述多個(gè)圖像中對(duì)事件檢測(cè)的貢獻(xiàn)最顯著的圖像評(píng)估為事件相關(guān)。
10.根據(jù)權(quán)利要求1的方法，其中所述區(qū)分包括執(zhí)行統(tǒng)計(jì)分析以便計(jì)算事件發(fā)生概率。
11.根據(jù)權(quán)利要求1的方法，包括: 隨時(shí)間的推移而測(cè)量每個(gè)語義概念信號(hào)。
12.根據(jù)權(quán)利要求1的方法，包括: 標(biāo)識(shí)表示實(shí)時(shí)事件的一個(gè)或多個(gè)語義概念信號(hào)峰值。
13.根據(jù)權(quán)利要求1的方法，包括: 將使用全球定位系統(tǒng)GPS功能注釋的圖像疊加到地圖上以便提供所述事件的地理空間表示。
14.根據(jù)權(quán)利要求1的方法，包括: 檢索與所檢測(cè)事件相關(guān)的一個(gè)或多個(gè)其它圖像。
15.根據(jù)權(quán)利要求1的方法，包括: 在指定時(shí)段內(nèi)監(jiān)視上傳到一個(gè)或多個(gè)社交媒體網(wǎng)站的圖像的語義。
16.根據(jù)權(quán)利要求15的方法,包括: 將圖像流化到并行系統(tǒng)，所述并行系統(tǒng)將一組生成的語義模型實(shí)時(shí)應(yīng)用于所述圖像。
17.根據(jù)權(quán)利要求1的方法，包括: 指定背景時(shí)段和事件時(shí)段。
18.一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的方法，所述方法包括以下步驟: 從至少一個(gè)社交媒體源獲得多個(gè)圖像；從所述多個(gè)圖像提取至少一個(gè)可視語義概念； 區(qū)分事件語義概念信號(hào)與背景語義概念信號(hào)以便檢測(cè)所述多個(gè)圖像中的事件； 檢索與所述事件語義概念信號(hào)關(guān)聯(lián)的一個(gè)或多個(gè)圖像； 將與所述事件語義概念信號(hào)關(guān)聯(lián)的所述一個(gè)或多個(gè)圖像分組； 使用用戶反饋?zhàn)⑨尠鲆粋€(gè)或多個(gè)圖像的組；以及 將所注釋的包含所述一個(gè)或多個(gè)圖像的組顯示為所檢測(cè)事件的可視描述； 其中由計(jì)算機(jī)設(shè)備執(zhí)行所述步驟中的至少一個(gè)步驟。
19.根據(jù)權(quán)利要求18的方法，其中所述區(qū)分基于將所提取的至少一個(gè)可視語義概念中的每個(gè)可視語義概念的信號(hào)強(qiáng)度與預(yù)定異常值閾值相比較。
20.根據(jù)權(quán)利要求18的方法，包括: 將使用全球定位系統(tǒng)GPS功能注釋的圖像疊加到地圖上以便提供所述事件的地理空間表示。
21.一種用于經(jīng)由社交媒體內(nèi)容檢測(cè)事件的系統(tǒng)，所述系統(tǒng)包括被配置為執(zhí)行權(quán)利要求I至20中的任一權(quán)利要求`的方法步驟的裝置。
【文檔編號(hào)】G06T7/00GK103678472SQ201310435453
【公開日】2014年3月26日 申請(qǐng)日期:2013年9月23日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】N·C·科德拉, A·耐特塞夫, J·R·史密斯 申請(qǐng)人:國際商業(yè)機(jī)器公司