一種基于社會媒體平臺的社會事件的跟蹤和演變方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于社會事件挖掘與演變技術(shù)領(lǐng)域，涉及一種基于社會媒體平臺的社會事 件的挖掘和演變方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的快速普及，社交媒體網(wǎng)站（如Flickr，YouTube，F(xiàn)acebook，和谷歌新 聞）的興起，人們能夠在線方便地產(chǎn)生和分享社交多媒體內(nèi)容。網(wǎng)絡(luò)中的社交媒體平臺存 儲著大量的多樣的事件內(nèi)容信息，發(fā)生在我們身邊及世界上的傳播極快的流行事件，和大 量的多模態(tài)數(shù)據(jù)的（如圖像，視頻和文本）社會事件。在實(shí)際應(yīng)用中，由用戶上傳的大部分 的多媒體內(nèi)容都與一些具體的社會事件相關(guān)，人們手動去識別和聚集這些內(nèi)容會十分消耗 時(shí)間。例如，用戶或許想知道整個(gè)"2011英格蘭暴亂"的始末。當(dāng)他們在谷歌新聞利用搜索 引擎使用切確的關(guān)鍵詞獲取最近事件的相關(guān)信息時(shí)，他們通常得到很多雜亂的文檔。尤其 是獲得的所有結(jié)果都是關(guān)于最近的信息，但是與此事件相關(guān)的信息則非常少；進(jìn)一步，對于 用戶來說閱讀如此多的文檔是十分耗時(shí)的，用戶也很難把握住事件的演變趨勢。所以如果 我們能把事件的演變趨勢通過隨時(shí)間變化的主題模式可視化地表現(xiàn)出來，將大大有利于用 戶，這也是我們事件追蹤及演變的目標(biāo)。給定一個(gè)故事用以初始化整個(gè)事件，我們需要識別 出描述同一事件的大量故事信息，并挖掘事件主題模式，從而獲得事件隨時(shí)間演變的過程， 然后自動地可視化這些信息。對于事件"2011英格蘭暴亂"，我們可以獲知在不同城市隨 時(shí)間的主題演變?？偟膩碚f，事件挖掘和演變分析不但要從大量的社交媒體的數(shù)據(jù)中自動 挖掘和識別社會事件，這對于用戶和政府更好地瀏覽搜索和監(jiān)控社會事件十分重要且有幫 助，而且需要獲取社會事件隨時(shí)間的演變趨勢并生成詳盡有效的事件總結(jié)。
[0003] 現(xiàn)有的社會事件的挖掘和演變方法只是使用了單個(gè)平臺的文本信息。在文本信息 理解上，聚類技術(shù)是數(shù)據(jù)挖掘以及模式識別的基本技術(shù)，通過對文本信息進(jìn)行聚類來得到 社會事件的主題。傳統(tǒng)的聚類方法對于社會事件的爆發(fā)性和區(qū)域性等特性，其主題挖掘精 確度不高，很難對一個(gè)完整事件進(jìn)行其語義描述。因?yàn)槌宋谋拘畔?，事件也有其豐富的視 覺信息。對一個(gè)事件來說，其在不同的網(wǎng)站會有不同的用戶評論，然而，這兩個(gè)網(wǎng)站可能有 非常相似的視覺信息，比如，圖像或者視頻，這些信息作為在不同時(shí)間不同地點(diǎn)為構(gòu)建事件 之間的聯(lián)系是非常有用的。例如，事件"2012年美國總統(tǒng)大選"，這個(gè)事件的各個(gè)條目關(guān)于奧 巴馬的圖像是很大地關(guān)聯(lián)的。因此，采用多模態(tài)信息融合更能正確地對社會事件進(jìn)行描述。 許多主題模型方法被提出用以解決社會事件的多模態(tài)主題分析，這些傳統(tǒng)的主題模型方法 僅用到短的文本，基本上都是與分類標(biāo)簽或者圖片中物體標(biāo)簽相關(guān)聯(lián)的。然而在更復(fù)雜的 實(shí)際場景中，伴隨有更為豐富的文本信息，特別是來自谷歌新聞的大部分多模態(tài)的事件文 檔。每個(gè)事件文檔包含了長文本和與之對應(yīng)的圖片，且文本和圖片并不滿足關(guān)聯(lián)的限制。 所以我們不能輕易地直接采用傳統(tǒng)的主題模型方法。實(shí)際上，我們可以發(fā)現(xiàn)奧巴馬和紐約 都能很好地被文字和圖片表述，然而經(jīng)濟(jì)則只能用文本表述。這預(yù)示著奧巴馬和紐約在文 本和圖片模式上存在關(guān)聯(lián)，稱為語義代表性。我們可以把這些包含明確而清晰的視覺對應(yīng) 部分的主題描述看作代表性的視覺-文本主題；另一方面，文字圖像沒有明確對應(yīng)的，如經(jīng) 濟(jì)，政治，選舉等，我們稱為代表性的非視覺主題，這些主題都是能夠被文字信息合理描述， 但很難用圖像表達(dá)的。在對社會媒體文檔進(jìn)行建模中，現(xiàn)有的模型只能獲取視覺代表主題 而放棄非視覺代表主題，并且也忽視了大部分的文本信息。為了解決上述問題，我們提出了 新穎的主題建模方法，即基于事件的多模態(tài)主題模型（multi-modal Event Topic Model， _ETM)，來有效地挖掘多模態(tài)的文本和視覺信息，并且同時(shí)考慮代表性的視覺-文本主題 和代表性的非視覺主題。因此，通過采用新穎的主題建模方法，基于社會媒體平臺的社會事 件的跟蹤和演變方法有效地彌補(bǔ)了傳統(tǒng)方法的不足，實(shí)現(xiàn)了基于多模態(tài)信息語義融合的事 件主題的可視化。

【發(fā)明內(nèi)容】

[0004] (一）要解決的技術(shù)問題
[0005] 本發(fā)明提出了一種基于社會媒體平臺的社會事件的挖掘和演變方法。針對社會媒 體數(shù)據(jù)的多模態(tài)特性，提出了一個(gè)基于事件的多模態(tài)主題模型_ETM，能夠有效地對包含長 文本和與之相關(guān)的圖片的多模態(tài)數(shù)據(jù)挖掘其文本和圖片的聯(lián)系，區(qū)分出代表性的視覺-文 本主題和代表性的非視覺主題。在mmETM模型的基礎(chǔ)上，提出了一個(gè)基于多模態(tài)主題模型 (_ETM)的在線推斷算法，針對時(shí)序性的社會事件挖掘其多模態(tài)的文本和視覺主題，把整個(gè) 事件過程可視化顯示，以一種清晰的、圖形化的界面展示給用戶，讓用戶能夠快速地了解和 分析整個(gè)事件的演變過程。
[0006] (二）技術(shù)方案
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明提供基于社會媒體平臺的社會事件的挖掘和演變框架包 括步驟如下：
[0008] 步驟S1，對各個(gè)社會事件文檔的文本和視覺信息進(jìn)行特征提取，對社會事件的多 模態(tài)信息進(jìn)行語義層次特征提取，從而獲得各個(gè)社會事件文檔的文本和視覺信息的語義描 述；
[0009] 步驟S2,輸入各個(gè)社會事件文檔的多模態(tài)語義描述，使用基于事件的多模態(tài)主題 模型（mmETM)，對多模態(tài)數(shù)據(jù)的社會事件進(jìn)行建模，得到代表性的視覺-文本主題和代表性 的非視覺主題；
[0010] 步驟S3,針對時(shí)序性的社會事件數(shù)據(jù)，利用基于多模態(tài)主題模型（_ETM)的在線 推斷算法，挖掘其多模態(tài)的文本和視覺主題，將整個(gè)事件過程可視化顯示。
[0011] (三）有益效果
[0012] 本發(fā)明采用了文本和視覺信息的語義描述方法一一基于事件的多模態(tài)主題模型 (_ETM)以及其在線推斷算法，提出了基于社會媒體平臺的社會事件的挖掘和演變方法。該 發(fā)明能夠挖掘社會平臺上的多模態(tài)社會事件的語義主題，并且能夠針對時(shí)序性的社會事件 進(jìn)行跟蹤與演變分析，將整個(gè)事件過程可視化顯示，從而使得用戶能夠快速了解和分析整 個(gè)事件的演變過程。
【附圖說明】
[0013] 圖1是本發(fā)明基于社會媒體平臺的社會事件的挖掘和演變方法的流程圖；
[0014] 圖2是社會平臺上對社會事件的文檔描述示意圖；
[0015] 圖3是本發(fā)明中基于事件的多模態(tài)主題模型（mmETM)的示意圖；
[0016] 圖4是社會事件的文本和視覺主題描述的示意圖；
[0017] 圖5是時(shí)序性社會事件的演變的示意圖。
【具體實(shí)施方式】
[0018] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加地清楚明白，以下結(jié)合具體實(shí)施例，并參 照附圖，對本發(fā)明做進(jìn)一步詳細(xì)的說明。
[0019] 圖1是本發(fā)明基于社會媒體平臺的社會事件的挖掘和演變方法的流程圖，使用基 于事件的多模態(tài)主題模型（mmETM)能夠?qū)Χ嗄B(tài)數(shù)據(jù)的社會事件進(jìn)行建模，能夠有效地對 包含長文本和與之相關(guān)的圖片的多模態(tài)數(shù)據(jù)挖掘其文本和圖片的聯(lián)系，區(qū)分出代表性的視 覺-文本主題和代表性的非視覺主題。本發(fā)明還提出了一種在線的推斷算法，該算法可以 在大量的時(shí)序性的社會事件數(shù)據(jù)上挖掘出社會事件的多模態(tài)的文本和視覺主題，并利用統(tǒng) 計(jì)學(xué)習(xí)的方法，知道這個(gè)社會事件的全局態(tài)勢，以一種清晰的、圖形化的界面展示給用戶， 讓用戶能夠快速知道整個(gè)事件的發(fā)展演變過程。本發(fā)明的流程圖如圖1顯示，其包含如下 三個(gè)步驟。
[0020]