度組合分布數(shù)據(jù)與歷史維度組合基準(zhǔn)值分布數(shù)據(jù)進(jìn)行比較得到每個當(dāng)前維度組合分布數(shù)據(jù)相對于對應(yīng)的歷史維度組合基準(zhǔn)值分布數(shù)據(jù)的結(jié)構(gòu)異動,結(jié)構(gòu)異動超過異動閾值的當(dāng)前維度組合分布數(shù)據(jù)為異動維度組合分布數(shù)據(jù),如果有異動一級維度分布數(shù)據(jù)或異動維度組合分布數(shù)據(jù)則進(jìn)行告警。
[0043]在其中一個實施例中,還包括:
[0044]異動定位模塊,用于:將結(jié)構(gòu)異動最高的異動一級維度分布數(shù)據(jù)所對應(yīng)的維度作為關(guān)鍵異動維度,所述異動維度組合分布數(shù)據(jù)所對應(yīng)的維度組合為異動維度組合,所述異動維度組合中包括所述關(guān)鍵異動維度的維度組合為受關(guān)鍵異動維度影響的維度組合,所述受關(guān)鍵異動維度影響的維度組合所包括的除關(guān)鍵異動維度以外的其他維度為受關(guān)鍵異動維度影響的維度,顯示所述關(guān)鍵異動維度以及受關(guān)鍵異動維度影響的維度。
[0045]在其中一個實施例中:
[0046]所述異動判定模塊,具體用于:計算當(dāng)前一級維度分布數(shù)據(jù)與對應(yīng)的歷史一級維度基準(zhǔn)值分布數(shù)據(jù)的卡方值,所述異動一級維度分布數(shù)據(jù)為對應(yīng)的卡方值超過異動閾值的當(dāng)前一級維度分布數(shù)據(jù),計算當(dāng)前維度組合分布數(shù)據(jù)與對應(yīng)的歷史維度組合基準(zhǔn)值分布數(shù)據(jù)的卡方值,所述異動維度組合分布數(shù)據(jù)為對應(yīng)的卡方值超過異動閾值的當(dāng)前維度組合分布數(shù)據(jù);
[0047]所述異動定位模塊,具體用于:結(jié)構(gòu)異動最高的異動一級維度分布數(shù)據(jù)為與最小卡方值對應(yīng)的異動一級維度分布數(shù)據(jù)。
[0048]在其中一個實施例中:
[0049]所述異動判定模塊,具體用于:計算當(dāng)前一級維度分布數(shù)據(jù)與對應(yīng)的歷史一級維度基準(zhǔn)值分布數(shù)據(jù)的卡方值,所述異動一級維度分布數(shù)據(jù)為對應(yīng)的卡方值超過異動閾值的當(dāng)前一級維度分布數(shù)據(jù),計算當(dāng)前維度組合分布數(shù)據(jù)與對應(yīng)的歷史維度組合基準(zhǔn)值分布數(shù)據(jù)的卡方值,所述異動維度組合分布數(shù)據(jù)為對應(yīng)的卡方值超過異動閾值的當(dāng)前維度組合分布數(shù)據(jù);
[0050]所述異動定位模塊,具體用于:選擇與最小卡方值對應(yīng)的異動一級維度分布數(shù)據(jù)為最小異動一級維度分布數(shù)據(jù),從其他的異動一級維度分布數(shù)據(jù)中,選擇對應(yīng)的卡方值與最小卡方值的差值小于差值閾值的異動一級維度分布數(shù)據(jù),與對應(yīng)的歷史一級維度基準(zhǔn)值分布數(shù)據(jù)進(jìn)行擬合優(yōu)度檢驗計算得到可決系數(shù),結(jié)構(gòu)異動最高的異動一級維度分布數(shù)據(jù)為與最小可決系數(shù)對應(yīng)的異動一級維度分布數(shù)據(jù)。
[0051]在其中一個實施例中,所述異動定位模塊,還用于:將關(guān)鍵異動維度所對應(yīng)的異動一級維度分布數(shù)據(jù)作為關(guān)鍵異動一級維度分布數(shù)據(jù),對關(guān)鍵異動一級維度分布數(shù)據(jù)與對應(yīng)的歷史一級維度基準(zhǔn)值分布數(shù)據(jù)的每一數(shù)據(jù)項分別計算差值,將其中差值的絕對值最大的數(shù)據(jù)項作為異動主因,顯示所述異動主因。
[0052]圖3為本發(fā)明最佳實施例的模塊示意圖,包括:
[0053]數(shù)據(jù)準(zhǔn)備模塊310:數(shù)據(jù)準(zhǔn)備模塊的主要功能是對多指標(biāo)多維度數(shù)據(jù)進(jìn)行預(yù)處理。具體包括:
[0054]數(shù)據(jù)輸入子模塊311,用于獲取以日粒度存儲在多維數(shù)據(jù)表里的最新數(shù)據(jù);
[0055]數(shù)據(jù)預(yù)處理子模塊312,就是對最新數(shù)據(jù)進(jìn)行預(yù)處理,對以日粒度存儲在多維數(shù)據(jù)表里的數(shù)據(jù),分別根據(jù)維度或維度交叉后的多級維度,進(jìn)行數(shù)據(jù)聚合、空值列處理、占比小數(shù)據(jù)列處理,從而生成出指標(biāo)在一級維度或維度交叉后的多級維度的分布數(shù)據(jù)。具體來說,以訂單量指標(biāo)為例,分別對省份、訂單類型、支付方式等維度(一級維度)進(jìn)行數(shù)據(jù)預(yù)處理。
[0056]維度交叉子模塊313,對這些維度做全排列組合交叉,生成新的多級維度來進(jìn)行相應(yīng)的數(shù)據(jù)預(yù)處理,如“省份_訂單類型”,“省份_支付方式”,“訂單類型_支付方式”,“省份_訂單類型_支付方式”。這樣,我們不僅能從一級維度的視角去考察數(shù)據(jù)的異動情況,還可以細(xì)化到多級維度來發(fā)掘局部數(shù)據(jù)是否有異動。
[0057]歷史基準(zhǔn)值處理子模塊314,對以日粒度存儲在多維數(shù)據(jù)表里的前期非異動數(shù)據(jù)進(jìn)行處理,加權(quán)平均生成歷史基準(zhǔn)值并存儲為一個多維數(shù)據(jù)表。對這個包含歷史基準(zhǔn)值的多維數(shù)據(jù)表,同樣地通過數(shù)據(jù)預(yù)處理子模塊312和維度交叉子模塊313執(zhí)行相應(yīng)預(yù)處理流程,就能夠得到指標(biāo)在一級維度或維度交叉后的多級維度的歷史基準(zhǔn)值分布數(shù)據(jù)。
[0058]異動判定模塊320:數(shù)據(jù)經(jīng)過數(shù)據(jù)準(zhǔn)備模塊流程預(yù)處理后,能輸出兩組數(shù)據(jù),即一級維度或維度交叉后多級維度上當(dāng)日的分布數(shù)據(jù)和歷史基準(zhǔn)值分布數(shù)據(jù)。異動判定模塊的主要功能是基于假設(shè)檢驗對這兩組數(shù)據(jù)進(jìn)行結(jié)構(gòu)診斷,來發(fā)現(xiàn)兩組數(shù)據(jù)的結(jié)構(gòu)是否一致,不一致則認(rèn)為有異動。假設(shè)檢驗的思想時小概率反證法思想,小概率思想時指小概率事件(如P〈0.01或P〈0.05)在一次試驗中基本不會發(fā)生。異動判定模塊,利用這一思想,就是先假設(shè)兩組數(shù)據(jù)結(jié)構(gòu)保持一致,然后用統(tǒng)計檢驗的方法確定假設(shè)成立的可能性大小,如可能性很小,則假設(shè)不成立,說明兩組數(shù)據(jù)結(jié)構(gòu)有變化,從而得出在這個維度上是有異動的。本模塊包括卡方檢測子模塊321和擬合優(yōu)度子模塊322,采用卡方檢驗和擬合優(yōu)度檢驗的方法,某些場景下,整體數(shù)據(jù)波動較大時,多個維度上卡方檢驗得出的P值可能都近似相等,此時擬合優(yōu)度檢驗計算出來的可決系數(shù)R~2可以用來輔助驗證這些維度上結(jié)構(gòu)變化的大小。當(dāng)出現(xiàn)異動時進(jìn)行告警。
[0059]異動定位模塊330:本模塊的主要功能是從異動判定模塊獲取的所有結(jié)構(gòu)有變化維度中挖掘出關(guān)鍵異動維度,以及受關(guān)鍵異動維度影響的其他各級維度,包括維度定位子模塊331和交叉維度下鉆子模塊332,分別對應(yīng)維度定位算法和交叉維度下鉆算法。維度定位算法,會在一級維度和二級維度里找關(guān)鍵異動維度,即在同級維度里優(yōu)先比較P值的大小并輔助比較R~2值的大小,把最小的認(rèn)為是關(guān)鍵異動維度。然后在該關(guān)鍵異動維度計算當(dāng)日的分布數(shù)據(jù)和歷史基準(zhǔn)值分布數(shù)據(jù)各項的差值并排序,把其中差值絕對值最大的數(shù)據(jù)項認(rèn)為是導(dǎo)致異動的主因。交叉維度下鉆算法是在關(guān)鍵異動維度定位后,把那些維度組合中包含關(guān)鍵異動維度且自身又被判定為異動的維度作為受關(guān)鍵異動維度影響的維度。舉例來說,假如“支付方式”跟其他維度如“省份”、“訂單類型”比較假設(shè)檢驗的結(jié)果,最終“支付方式”被定位為關(guān)鍵異動維度的話,則在“支付方式”維度里比較各項的波動情況,如果其中在線支付數(shù)據(jù)波動最大,則把在線支付數(shù)據(jù)的波動認(rèn)為是異動的主因。最后,就是在包含支付方式這一關(guān)鍵異動維度的交叉維度(即“省份_支付方式”,“訂單類型_支付方式”等)里,找出受關(guān)鍵異動維度影響的維度。最后輸出關(guān)鍵異動維度、受關(guān)鍵異動維度影響的維度和異動的主因。
[0060]以上所述實施例僅表達(dá)了本發(fā)明的幾種實施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項】
1.一種分布數(shù)據(jù)異動判斷定位方法,其特征在于,包括: 分布數(shù)據(jù)準(zhǔn)備步驟,包括:獲取多維度分布數(shù)據(jù),以及多維度基準(zhǔn)值分布數(shù)據(jù),所述多維度基準(zhǔn)值分布數(shù)據(jù)為所述多維度分布數(shù)據(jù)的每個數(shù)據(jù)對應(yīng)的歷史基準(zhǔn)值,由多個維度交叉組合得到多個維度組合,根據(jù)所述多維度分布數(shù)據(jù)分別生成多個關(guān)于一級維度的當(dāng)前一級維度分布數(shù)據(jù),以及多個關(guān)于維度組合的當(dāng)前維度組合分布數(shù)據(jù),根據(jù)所述多維度基準(zhǔn)值分布數(shù)據(jù)分別生成多個關(guān)于一級維度的歷史一級維度基準(zhǔn)值分布數(shù)據(jù),以及多個關(guān)于維度組合的歷史維度組合基準(zhǔn)值分布數(shù)據(jù); 異動判定步驟,包括:將所述當(dāng)前一級維度分布數(shù)據(jù)與對應(yīng)的歷史一級維度基準(zhǔn)值分布數(shù)據(jù)進(jìn)行比較得到每個當(dāng)前一級維度分布數(shù)據(jù)相