發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖及具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。
[0057]本發(fā)明提供了一種一種對大數(shù)據(jù)的數(shù)據(jù)分析結(jié)果進(jìn)行處理的方法,所述方法包括:步驟I,獲取對大數(shù)據(jù)進(jìn)行分析的數(shù)據(jù)分析結(jié)果;步驟2,將每一個所述數(shù)據(jù)分析結(jié)果作為一個關(guān)聯(lián)實(shí)體,得到關(guān)聯(lián)結(jié)果集;步驟3,對關(guān)聯(lián)結(jié)果集內(nèi)的所有關(guān)聯(lián)實(shí)體進(jìn)行預(yù)處理,得到一包括所有關(guān)聯(lián)實(shí)體的支持度和關(guān)聯(lián)實(shí)體之間的置信度的數(shù)組;步驟4,根據(jù)所述置信度得到關(guān)聯(lián)邊的特征;步驟5,根據(jù)所述支持度得到關(guān)聯(lián)實(shí)體的形狀特性;步驟6,根據(jù)關(guān)聯(lián)實(shí)體的形狀特性和關(guān)聯(lián)邊的特征構(gòu)建圖形模型,并可視化顯示。
[0058]具體來說,本發(fā)明提供了一種關(guān)聯(lián)結(jié)果直關(guān)展現(xiàn)的方法。包括對關(guān)聯(lián)結(jié)果集中的所有關(guān)聯(lián)實(shí)體的支持度和關(guān)聯(lián)實(shí)體之間的置信度進(jìn)行預(yù)處理,得到一數(shù)組。利用此數(shù)組得到關(guān)聯(lián)實(shí)體的形狀特性和關(guān)聯(lián)邊的形狀特性,并根據(jù)每個關(guān)聯(lián)實(shí)體和關(guān)聯(lián)邊構(gòu)建圖形模型并進(jìn)行可視化的顯示。本方法,可以將關(guān)聯(lián)結(jié)果的價值以最直接的圖形模型方式展示出來。讓用戶能夠快速的洞察出實(shí)體之間的關(guān)聯(lián)性和內(nèi)在的價值,還可以通過視覺殘留來進(jìn)一步增強(qiáng)思考的時間和質(zhì)量,激發(fā)出用戶對結(jié)果價值更深層次的想象力。
[0059]對關(guān)聯(lián)結(jié)果集內(nèi)所有關(guān)聯(lián)實(shí)體進(jìn)行預(yù)處理,得到一包括所有關(guān)聯(lián)實(shí)體的支持度和關(guān)聯(lián)實(shí)體之間的置信度的數(shù)組步驟具體為:
[0060]對關(guān)聯(lián)結(jié)果集內(nèi)所有關(guān)聯(lián)實(shí)體進(jìn)行編號01至On ;形成一 η階方陣,該方陣每行元素為與該行號對應(yīng)的關(guān)聯(lián)實(shí)體與其他關(guān)聯(lián)實(shí)體之間的置信度,該方陣的對角線上的元素為與該行號對應(yīng)的關(guān)聯(lián)實(shí)體的支持度。
[0061]關(guān)聯(lián)結(jié)果集預(yù)處理結(jié)果數(shù)據(jù)結(jié)構(gòu),為了使得后續(xù)的分析計(jì)算更為方便,首先需要對數(shù)據(jù)進(jìn)行預(yù)處理。形成一 η階方陣,該方陣每行該方陣每行除對角線位置的元素為與該行號對應(yīng)的關(guān)聯(lián)實(shí)體與其他關(guān)聯(lián)實(shí)體之間的置信度,該方陣的對角線上的元素為與該行號對應(yīng)的關(guān)聯(lián)實(shí)體的支持度。參照附圖1所示,舉例來說,每一個不同的關(guān)聯(lián)實(shí)體編號為01、02…0η,把N個實(shí)體的一個關(guān)聯(lián)集群他們的支持度和置信度預(yù)處理成一個N階方陣。此N階方陣中,對角線上的元素代表節(jié)點(diǎn)的支持度,支持度是關(guān)聯(lián)實(shí)體出現(xiàn)的概率,例如Vcil =01出現(xiàn)的次數(shù)/所有關(guān)聯(lián)實(shí)體出現(xiàn)的總次數(shù)。例如,第一行對角線上的元素即為Vcil,第二行對角線上的元素為Vci2,第η行對角線上的元素為VM。Voloj代表Oi關(guān)聯(lián)Oj的置信度,例如元素Vcilci2的值就是01、02的關(guān)聯(lián)置信度,物理意義是Vcilci2 = DPci1,表示在01實(shí)體出現(xiàn)的情況下,02出現(xiàn)的概率,即條件概率。同理,在02出現(xiàn)的情況下01出現(xiàn)的條件概率定義為 Vci2ciI = Pc1Icl2ZPcl2。
[0062]參照圖6所示,條件概率在圖形展示上是有方向性的,Vo2ol表示成一條從02指向01的邊。數(shù)據(jù)關(guān)聯(lián)關(guān)系通常使用支持度和置信度來分析。支持度是無方向的概率,置信度是有方向的條件概率。本發(fā)明提出的方法可以同時適用于關(guān)聯(lián)節(jié)點(diǎn)支持度和置信度的展
/Jn ο
[0063]此N階方陣中,每行元素為與該行號對應(yīng)的關(guān)聯(lián)實(shí)體與其他關(guān)聯(lián)實(shí)體之間的置信度。例如,第一行的除對角線位置的元素為Vcilci2, Volo3, Vcilci4…Vcilcin ;第一行的除對角線位置的元素為 Vo2ol,Vo2o3,Vo2o4*“Vo2on。 其他行的元素以此類推。
[0064]根據(jù)所述支持度得到關(guān)聯(lián)實(shí)體的形狀特性,根據(jù)所述置信度得到關(guān)聯(lián)邊的特征具體為:用節(jié)點(diǎn)表示關(guān)聯(lián)實(shí)體,根據(jù)每一所述關(guān)聯(lián)實(shí)體的支持度的大小得到每一關(guān)聯(lián)實(shí)體對應(yīng)的節(jié)點(diǎn)的大小,每一所述關(guān)聯(lián)實(shí)體的支持度的大小與每一關(guān)聯(lián)實(shí)體對應(yīng)的節(jié)點(diǎn)的大小呈正比關(guān)系;根據(jù)關(guān)聯(lián)實(shí)體之間的置信度得到關(guān)聯(lián)邊的粗細(xì),所述關(guān)聯(lián)邊的粗細(xì)與關(guān)聯(lián)實(shí)體之間的置信度成正比關(guān)系;根據(jù)關(guān)聯(lián)實(shí)體之間的置信度得到關(guān)聯(lián)邊的長度,所述關(guān)聯(lián)邊的長度與關(guān)聯(lián)實(shí)體之間的置信度成反比關(guān)系。
[0065]關(guān)聯(lián)邊的線條粗細(xì)分析,兩個節(jié)點(diǎn)01_>02如果相關(guān),則關(guān)聯(lián)的邊的線條粗細(xì)決定于Vcilc^由于Vcilci2是概率值,取概率值為0.2時,繪制線的粗細(xì)為系統(tǒng)默認(rèn)標(biāo)準(zhǔn)值。當(dāng)Voloj的值大于0.2時,對關(guān)聯(lián)邊的線在標(biāo)準(zhǔn)值粗細(xì)的基礎(chǔ)上加粗;當(dāng)Vcilcij的值小于0.2時,對關(guān)聯(lián)邊的線在標(biāo)準(zhǔn)值粗細(xì)的基礎(chǔ)上進(jìn)行減細(xì)。當(dāng)然也可以選擇取概率值為其他值時作為繪制線粗細(xì)的標(biāo)準(zhǔn)值。節(jié)點(diǎn)01和02的連接線在本系統(tǒng)中表示為E12。利用上述預(yù)處理矩陣得到 E12、E13、E14…Eln ;E21、E23、...E2n;...;E(n_l)n。
[0066]關(guān)聯(lián)邊的長度計(jì)算,Eij計(jì)算結(jié)果取倒數(shù)。得到L12、L13、….、!^!!-丨)!!。長度短的關(guān)聯(lián)邊,表示兩個節(jié)點(diǎn)的關(guān)系比較密切。兩個關(guān)聯(lián)實(shí)體之間的關(guān)聯(lián)邊越短越粗,表示兩個關(guān)聯(lián)實(shí)體之間的關(guān)聯(lián)性越高;兩個關(guān)聯(lián)實(shí)體之間的關(guān)聯(lián)邊越長越細(xì),表示兩個關(guān)聯(lián)實(shí)體之間的關(guān)聯(lián)性越低,用戶可以直觀觀察出兩個關(guān)聯(lián)實(shí)體之間的緊密程度。
[0067]關(guān)聯(lián)實(shí)體大小分析,關(guān)聯(lián)實(shí)體的大小就取節(jié)點(diǎn)的支持度。對于01節(jié)點(diǎn)來說,01的支持度就是01的出現(xiàn)頻度。為了繪制方便,做歸一化處理。
[0068]參照圖5所示,不同填充的?,代表不同的顏色。根據(jù)關(guān)聯(lián)實(shí)體所屬類別的不同渲染不同的顏色,將同一類實(shí)體渲染成同一種顏色。從顏色維度傳遞關(guān)聯(lián)實(shí)體的分布模式,讓用戶能夠直觀的識別出實(shí)體的歸屬關(guān)系。
[0069]關(guān)聯(lián)實(shí)體作為節(jié)點(diǎn)、與關(guān)聯(lián)邊的數(shù)據(jù)集構(gòu)建球棍模型。利用D3.js繪制球棍模型。D3.js是一個用動態(tài)圖形顯示數(shù)據(jù)的JavaScript庫,一個數(shù)據(jù)可視化的工具。兼容W3C標(biāo)準(zhǔn),并且利用廣泛實(shí)現(xiàn)的SVG,JavaScript,和CSS標(biāo)準(zhǔn)。該模型包含展現(xiàn)效果。
[0070]根據(jù)每個關(guān)聯(lián)實(shí)體和關(guān)聯(lián)邊構(gòu)建圖形模型之后還包括步驟:將節(jié)點(diǎn)最大的關(guān)聯(lián)實(shí)體進(jìn)行居中顯示,整個圖形模型按照比例縮放;接收用戶操作信息,按照操作信息對圖形模型進(jìn)行調(diào)整。
[0071]為了使得顯示圖形更方便查看,需要對顯示進(jìn)行優(yōu)化調(diào)整。首先是將最大的節(jié)點(diǎn)居中顯示,然后整體按照比例縮放,讓節(jié)點(diǎn)滿足用戶視圖區(qū)。在節(jié)點(diǎn)非常多的情況下,如果整體都進(jìn)行縮放,會導(dǎo)致節(jié)點(diǎn)很小,不方便查看。具體實(shí)現(xiàn)上可以設(shè)置一個閾值,保證最大的節(jié)點(diǎn)大小不小于默認(rèn)的閾值。
[0072]展示模型響應(yīng)用戶的操作有如下幾個動作。在用戶單擊某個節(jié)點(diǎn)的時候,該節(jié)點(diǎn)會居中顯示,并縮放成比較理想的效果。用戶可以調(diào)整圖形的比例尺,讓圖形整體在一個可控的范圍內(nèi)調(diào)整大小。在視圖區(qū)內(nèi)無法顯示全部節(jié)點(diǎn)的時候,以用戶關(guān)注的核心節(jié)點(diǎn)為中心,距離遠(yuǎn)的節(jié)點(diǎn)從視圖中隱藏,只保留連接線提示用戶后續(xù)還有關(guān)聯(lián)的節(jié)點(diǎn),以實(shí)現(xiàn)大量節(jié)點(diǎn)展示上的局部節(jié)點(diǎn)顯示最優(yōu)化。
[0073]參照圖4所示,詳細(xì)介紹本發(fā)明的流程。步驟100,獲取關(guān)聯(lián)結(jié)果集;步驟110,對關(guān)聯(lián)結(jié)果集進(jìn)行數(shù)據(jù)預(yù)處理,以N階矩陣的方式來保存預(yù)處理結(jié)果;步驟120,關(guān)聯(lián)邊的線條粗細(xì)分析,節(jié)點(diǎn)01和02的連接線表示為E12,利用上述預(yù)處理矩陣的置信度得到Eij,Eij數(shù)值的大小代表了邊的線條粗細(xì);步驟130,關(guān)聯(lián)邊的長度計(jì)算,取計(jì)算結(jié)果Eij的倒數(shù)作為關(guān)聯(lián)邊的長度;步驟140,關(guān)聯(lián)實(shí)體的大小分析,實(shí)體節(jié)點(diǎn)的大小直接取該節(jié)點(diǎn)的支持度數(shù)值;步驟150,根據(jù)實(shí)體對象所屬類別的不同渲染不同的顏色;步驟160,按照頂點(diǎn)和邊的數(shù)據(jù)集構(gòu)建球棍模型;步驟170,根據(jù)用戶的操作,實(shí)現(xiàn)模型旋轉(zhuǎn)將用戶選擇的節(jié)點(diǎn)居中顯示,并且根據(jù)顯示視圖的大小調(diào)整比例,根據(jù)用戶視圖調(diào)整球棍模型的整體比例,使之最適合顯示,在圖形旁邊顯示比例尺,用戶可以操作比例尺來整體調(diào)整節(jié)點(diǎn)大小。本發(fā)明分析各實(shí)體的關(guān)聯(lián)性(實(shí)體的概念可以非常廣泛,諸如新聞事件、某個人或者某臺設(shè)備等都可以作為一個實(shí)體在大數(shù)據(jù)系統(tǒng)中存在),在繁雜的數(shù)據(jù)上進(jìn)行建模,并且利用大數(shù)據(jù)技術(shù)處理手段將數(shù)據(jù)之間的關(guān)聯(lián)性知識提取出來。最終將結(jié)果以交互式圖形進(jìn)行呈現(xiàn)。
[0074]本發(fā)明還提供了本發(fā)明提供了一種對大數(shù)據(jù)的數(shù)據(jù)分析結(jié)果進(jìn)行處理的裝置,所述裝置包括:獲取模塊10,用于獲取對大數(shù)據(jù)進(jìn)行分析的數(shù)據(jù)分析結(jié)果;關(guān)聯(lián)結(jié)果集形成模塊20,用于將每一個所述數(shù)據(jù)分析結(jié)果作為一個關(guān)聯(lián)實(shí)體,得到關(guān)聯(lián)結(jié)果集;預(yù)處理模塊30,用于對關(guān)聯(lián)結(jié)果集內(nèi)的所有關(guān)聯(lián)實(shí)體進(jìn)行預(yù)處理,得到一包括所有關(guān)聯(lián)實(shí)體的支持度和關(guān)聯(lián)實(shí)體之間的置信度的數(shù)組;關(guān)聯(lián)邊確定模塊40,用