本發(fā)明涉及數(shù)據(jù)分析，特別涉及一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分析方法及系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)和相關(guān)服務(wù)業(yè)呈現(xiàn)企穩(wěn)向好發(fā)展的態(tài)勢，所產(chǎn)生的基于互聯(lián)網(wǎng)的服務(wù)任務(wù)也越來越多，服務(wù)任務(wù)的實(shí)現(xiàn)目的是為了提供給用戶更好的服務(wù)體驗(yàn)，但是在任務(wù)執(zhí)行之后只會對任務(wù)產(chǎn)生的結(jié)果按照設(shè)定標(biāo)準(zhǔn)進(jìn)行單一對比判斷來確定存在的缺陷，其判斷方式過于粗略導(dǎo)致不能精準(zhǔn)的確定缺陷級別，進(jìn)而不能對任務(wù)產(chǎn)生的缺陷進(jìn)行合理處理，間接降低服務(wù)體驗(yàn)。

2、因此，本發(fā)明提出一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分析方法及系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分析方法及系統(tǒng)，用以從結(jié)果分析以及邏輯對比分析兩方面來綜合確定每個位置單元的第一標(biāo)簽以及第二標(biāo)簽，進(jìn)而可以精準(zhǔn)的確定出缺陷級別，為后續(xù)對缺陷進(jìn)行合理處理提供基礎(chǔ)，有效保障用戶的服務(wù)體驗(yàn)。

2、本發(fā)明提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分析方法，包括：

3、步驟1：獲取基于互聯(lián)網(wǎng)平臺的目標(biāo)任務(wù)的待分析數(shù)據(jù)，同時(shí)，獲取與所述目標(biāo)任務(wù)匹配的分析指標(biāo)集；

4、步驟2：基于所述分析指標(biāo)集中的每個分析指標(biāo)依次對所述待分析數(shù)據(jù)進(jìn)行結(jié)果分析，得到基于每個分析指標(biāo)的結(jié)果缺陷數(shù)據(jù)；

5、步驟3：調(diào)取所述目標(biāo)任務(wù)的任務(wù)執(zhí)行邏輯，并將所述任務(wù)執(zhí)行邏輯的實(shí)際日志與標(biāo)準(zhǔn)日志進(jìn)行對比分析，得到邏輯異常數(shù)據(jù)；

6、步驟4：依據(jù)每個分析指標(biāo)下的結(jié)果缺陷數(shù)據(jù)在待分析數(shù)據(jù)中的出現(xiàn)位置，向每個位置單元賦予第一標(biāo)簽，同時(shí)，將所述出現(xiàn)位置與邏輯異常數(shù)據(jù)的出現(xiàn)時(shí)刻進(jìn)行映射關(guān)聯(lián)，并向每個位置單元賦予第二標(biāo)簽；

7、步驟5：依據(jù)所有第一標(biāo)簽以及第二標(biāo)簽，對所述待分析數(shù)據(jù)進(jìn)行缺陷級別判定。

8、優(yōu)選的，獲取與所述目標(biāo)任務(wù)匹配的分析指標(biāo)集，包括：

9、從所述互聯(lián)網(wǎng)平臺獲取所述目標(biāo)任務(wù)的唯一任務(wù)標(biāo)識；

10、從標(biāo)識-分析對照表中獲取與所述唯一任務(wù)標(biāo)識匹配的分析指標(biāo)集。

11、優(yōu)選的，基于所述分析指標(biāo)集中的每個分析指標(biāo)依次對所述待分析數(shù)據(jù)進(jìn)行結(jié)果分析，包括：

12、獲取每個分析指標(biāo)的指標(biāo)參數(shù)集，并依據(jù)所述指標(biāo)參數(shù)集與所述待分析數(shù)據(jù)進(jìn)行映射提取，得到對應(yīng)分析指標(biāo)下每個指標(biāo)參數(shù)的實(shí)際分析數(shù)據(jù)；

13、計(jì)算基于每個實(shí)際分析數(shù)據(jù)的基本缺陷比值；

14、;其中，表示對應(yīng)第i個指標(biāo)參數(shù)的實(shí)際分析數(shù)據(jù)的提取值；表示對應(yīng)第i個指標(biāo)參數(shù)的參考值；分別表示對應(yīng)第i個指標(biāo)參數(shù)的左側(cè)調(diào)節(jié)值、右側(cè)調(diào)節(jié)值；min表示最小值符號；ln表示對數(shù)函數(shù)符號；

15、按照基本缺陷比值構(gòu)建基于對應(yīng)分析指標(biāo)的比值序列，并與對應(yīng)分析指標(biāo)的標(biāo)準(zhǔn)序列進(jìn)行對比鎖定異常參數(shù)；

16、獲取與所述異常參數(shù)一致的實(shí)際分析數(shù)據(jù)，作為結(jié)果缺陷數(shù)據(jù)。

17、優(yōu)選的，調(diào)取所述目標(biāo)任務(wù)的任務(wù)執(zhí)行邏輯，包括：

18、基于所述目標(biāo)任務(wù)的唯一任務(wù)標(biāo)識，從標(biāo)識-邏輯對照表中獲取匹配的任務(wù)執(zhí)行邏輯。

19、優(yōu)選的，將所述任務(wù)執(zhí)行邏輯的實(shí)際日志與標(biāo)準(zhǔn)日志進(jìn)行對比分析，包括：

20、將實(shí)際日志輸入到向量構(gòu)建模型中得到實(shí)際指標(biāo)向量以及實(shí)際時(shí)間向量，其中，所述實(shí)際指標(biāo)向量中每個元素代表一個執(zhí)行分析指標(biāo)下涉及到的邏輯執(zhí)行結(jié)果，所述實(shí)際時(shí)間向量中每個元素代表一個邏輯節(jié)點(diǎn)的邏輯執(zhí)行時(shí)長；

21、基于所述標(biāo)準(zhǔn)日志從邏輯日志數(shù)據(jù)庫中調(diào)取與所述任務(wù)執(zhí)行邏輯一致的指標(biāo)閾值向量以及時(shí)間閾值向量；

22、將所述指標(biāo)閾值向量與實(shí)際指標(biāo)向量進(jìn)行對比得到指標(biāo)差異向量；

23、確定所述任務(wù)執(zhí)行邏輯中每個邏輯節(jié)點(diǎn)的邏輯屬性，并從屬性-文件數(shù)據(jù)庫中得到對應(yīng)邏輯節(jié)點(diǎn)的代碼文件；

24、根據(jù)所述代碼文件的文件轉(zhuǎn)換時(shí)間標(biāo)準(zhǔn)得到標(biāo)準(zhǔn)時(shí)間偏量；

25、調(diào)取基于所述代碼文件在不同歷史任務(wù)下的歷史轉(zhuǎn)換時(shí)間得到誤差偏量；

26、;其中，表示基于對應(yīng)代碼文件的誤差偏量；表示對應(yīng)代碼文件在第j3個歷史任務(wù)下的歷史轉(zhuǎn)換時(shí)間；表示對應(yīng)代碼文件的文件轉(zhuǎn)換時(shí)間標(biāo)準(zhǔn)；表示所有中處于正態(tài)分布概率0.8下的數(shù)量；表示歷史任務(wù)的總數(shù)量；表示基于所有的方差；

27、基于所述標(biāo)準(zhǔn)時(shí)間偏量以及誤差偏量對時(shí)間閾值向量進(jìn)行雙向調(diào)整，得到第一閾值向量以及第二閾值向量，并分別與實(shí)際時(shí)間向量進(jìn)行對比分得到時(shí)間差異向量，其中，表示第一閾值向量中第i2個元素的第一閾值；表示第二閾值向量中第i2個元素的第二閾值；m1表示基于時(shí)間的閾值向量中的元素總個數(shù)；表示實(shí)際時(shí)間向量中第i2個元素的邏輯執(zhí)行時(shí)長；表示時(shí)間差異向量中第i2個元素的差異時(shí)長；

28、其中，表示對應(yīng)第i2個元素下的誤差偏量；表示對應(yīng)第i2個元素下的標(biāo)準(zhǔn)時(shí)間偏量；分別表示占比系數(shù)，且;

29、按照指標(biāo)排列原則將所述時(shí)間差異向量與指標(biāo)差異向量進(jìn)行差異映射得到同個排列位置的當(dāng)下差異值，并確定異常指標(biāo)來取得到與異常指標(biāo)匹配的日志數(shù)據(jù)作為邏輯異常數(shù)據(jù)。

30、優(yōu)選的，向每個出現(xiàn)位置賦予第一標(biāo)簽，包括：

31、根據(jù)每個分析指標(biāo)下的結(jié)果缺陷數(shù)據(jù)在待分析數(shù)據(jù)中的出現(xiàn)位置，統(tǒng)計(jì)每個位置單元下涉及到的分析指標(biāo)，并構(gòu)建對應(yīng)位置單元的單元陣列，其中，表示第j1個位置單元涉及到的結(jié)果缺陷數(shù)據(jù)；表示第j1個位置單元下的涉及指標(biāo)的數(shù)量；表示第j1個位置單元的單元排列序號；

32、將單元陣列依次與陣列-標(biāo)簽對照表進(jìn)行匹配，得到對應(yīng)位置單元的第一標(biāo)簽。

33、優(yōu)選的，向每個位置單元賦予第二標(biāo)簽，包括：

34、根據(jù)所述目標(biāo)任務(wù)與任務(wù)執(zhí)行邏輯的標(biāo)準(zhǔn)映射關(guān)系，確定每個位置單元的理論子執(zhí)行邏輯以及所述理論子執(zhí)行邏輯的理論執(zhí)行時(shí)刻；

35、從所述邏輯異常數(shù)據(jù)中提取所述理論子執(zhí)行邏輯的子異常數(shù)據(jù)以及所述子異常數(shù)據(jù)的出現(xiàn)時(shí)刻；

36、將所述理論執(zhí)行時(shí)刻與出現(xiàn)時(shí)刻進(jìn)行時(shí)刻關(guān)聯(lián)，向?qū)?yīng)位置單元賦予第二標(biāo)簽。

37、優(yōu)選的，依據(jù)所有第一標(biāo)簽以及第二標(biāo)簽，對所述待分析數(shù)據(jù)進(jìn)行缺陷級別判定，包括：

38、將每個位置單元的第一標(biāo)簽以及第二標(biāo)簽依次輸入到標(biāo)簽分析模型中獲取得到對應(yīng)位置單元的第一系數(shù)；

39、依據(jù)每個位置單元的第一系數(shù)以及每個位置單元的連續(xù)評判系數(shù)，得到對應(yīng)位置單元的第二系數(shù)；

40、基于所有第二系數(shù)以及位置單元的單元權(quán)重，得到待分析數(shù)據(jù)的缺陷系數(shù)，并與系數(shù)-級別對照表進(jìn)行匹配得到缺陷級別。

41、本發(fā)明提供一種基于互聯(lián)網(wǎng)的大數(shù)據(jù)分析系統(tǒng)，包括：

42、指標(biāo)集獲取模塊，用于獲取基于互聯(lián)網(wǎng)平臺的目標(biāo)任務(wù)的待分析數(shù)據(jù)，同時(shí)，獲取與所述目標(biāo)任務(wù)匹配的分析指標(biāo)集；

43、結(jié)果分析模塊，用于基于所述分析指標(biāo)集中的每個分析指標(biāo)依次對所述待分析數(shù)據(jù)進(jìn)行結(jié)果分析，得到基于每個分析指標(biāo)的結(jié)果缺陷數(shù)據(jù)；

44、邏輯異常獲取模塊，用于調(diào)取所述目標(biāo)任務(wù)的任務(wù)執(zhí)行邏輯，并將所述任務(wù)執(zhí)行邏輯的實(shí)際日志與標(biāo)準(zhǔn)日志進(jìn)行對比分析，得到邏輯異常數(shù)據(jù)；

45、標(biāo)簽賦予模塊，用于依據(jù)每個分析指標(biāo)下的結(jié)果缺陷數(shù)據(jù)在待分析數(shù)據(jù)中的出現(xiàn)位置，向每個位置單元賦予第一標(biāo)簽，同時(shí)，將所述出現(xiàn)位置與邏輯異常數(shù)據(jù)的出現(xiàn)時(shí)刻進(jìn)行映射關(guān)聯(lián)，并向每個位置單元賦予第二標(biāo)簽；

46、級別判定模塊，用于依據(jù)所有第一標(biāo)簽以及第二標(biāo)簽，對所述待分析數(shù)據(jù)進(jìn)行缺陷級別判定。

47、與現(xiàn)有技術(shù)相比，本技術(shù)的有益效果如下：

48、從結(jié)果分析以及邏輯對比分析兩方面來綜合確定每個位置單元的第一標(biāo)簽以及第二標(biāo)簽，進(jìn)而可以精準(zhǔn)的確定出缺陷級別，為后續(xù)對缺陷進(jìn)行合理處理提供基礎(chǔ)，有效保障用戶的服務(wù)體驗(yàn)。

49、本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

50、下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。