本發(fā)明涉及日志分析技術(shù)領(lǐng)域，特別涉及一種智能分析日志數(shù)據(jù)的方法及裝置。

背景技術(shù)：

日志數(shù)據(jù)是故障排除、監(jiān)控、安全、合規(guī)、電子取證等許多安全應(yīng)用的基礎(chǔ)。日志數(shù)據(jù)具有巨大的分析價(jià)值，利用日志數(shù)據(jù)可以分析點(diǎn)擊流、社交媒體、以及以客戶為中心的使用案例中的行為記錄數(shù)據(jù)，如活躍用戶數(shù)、應(yīng)用使用數(shù)量、服務(wù)質(zhì)量、使用偏好等。隨著日志數(shù)據(jù)容量和類型的增長(zhǎng)，日志數(shù)據(jù)已經(jīng)超出了人類的認(rèn)知能力，對(duì)日志數(shù)據(jù)內(nèi)容進(jìn)行分析并追蹤潛在的問題越來越困難，尤其是在多日志數(shù)據(jù)相關(guān)性分析出現(xiàn)之后，需要經(jīng)驗(yàn)豐富的操作人員跟蹤事件鏈、過濾噪音，并最終診斷出問題出現(xiàn)的根本原因。針對(duì)日志數(shù)據(jù)信息的it異常檢測(cè)告警，常常假設(shè)數(shù)據(jù)服從正態(tài)分布，然后根據(jù)3σ原則，認(rèn)定99.7％區(qū)間以外的數(shù)據(jù)屬于異常。

現(xiàn)有技術(shù)中，基于日志數(shù)據(jù)檢測(cè)的告警需要用戶自行配置數(shù)據(jù)，需要用戶具備較高的專業(yè)技能才能夠預(yù)先編寫好查詢語句，設(shè)置查詢頻率，設(shè)定查詢時(shí)間等條件，上述操作為用戶增添繁瑣復(fù)雜的負(fù)擔(dān)，而且出現(xiàn)用戶沒有考慮到的告警情況，將無法及時(shí)獲取告警信息。而且，目前常見的基于正態(tài)分布的告警模式會(huì)帶來兩個(gè)問題：一、永遠(yuǎn)都有0.3％的數(shù)據(jù)被認(rèn)定為異常，而事實(shí)可能是100％正常的數(shù)據(jù)；二、在真實(shí)it環(huán)境中，絕大多數(shù)數(shù)據(jù)并不服從正態(tài)分布，會(huì)導(dǎo)致誤報(bào)增加。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種智能分析日志數(shù)據(jù)的方法及裝置，可無需用戶具備相應(yīng)的知識(shí)儲(chǔ)備來自行配置檢測(cè)數(shù)據(jù)和警告條件。同時(shí)也避免了過度依賴歷史數(shù)據(jù)的弊端，還有效的降低了誤報(bào)出現(xiàn)的概率。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種智能分析日志數(shù)據(jù)的方法，包括：

將接收到日志數(shù)據(jù)劃分為多個(gè)樣本；

生成各個(gè)所述樣本的檢測(cè)組；

分析出各個(gè)所述樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組；

實(shí)時(shí)發(fā)出警告信息到用戶端，所述警告信息包括所述數(shù)據(jù)異常的檢測(cè)組的相關(guān)信息。

在一個(gè)實(shí)施例中，所述將接收到日志數(shù)據(jù)劃分為多個(gè)樣本，包括：

每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合；

計(jì)算出所述待分析集合中的日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商；

將所述待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，其中，所述樣本的數(shù)量為所述商的數(shù)值。

在一個(gè)實(shí)施例中，所述生成各個(gè)所述樣本的檢測(cè)組，包括：

通過機(jī)器學(xué)習(xí)抽取出各個(gè)所述樣本中的日志數(shù)據(jù)的關(guān)鍵字段，所述關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者；

對(duì)各個(gè)所述樣本的日志數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)；

根據(jù)分析統(tǒng)計(jì)的結(jié)果，生成各個(gè)所述樣本的檢測(cè)組。

在一個(gè)實(shí)施例中，所述分析出各個(gè)所述樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組，包括：

分別對(duì)各個(gè)所述樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)；

對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比；

通過組間對(duì)比，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。

在一個(gè)實(shí)施例中，還包括：

根據(jù)所述警告信息，可直接跳轉(zhuǎn)至所述數(shù)據(jù)異常的檢測(cè)組的樣本。

根據(jù)本發(fā)明實(shí)施例的第二方面，提供一種智能分析日志數(shù)據(jù)的裝置，包括：

劃分模塊，用于將接收到日志數(shù)據(jù)劃分為多個(gè)樣本；

生成模塊，用于生成各個(gè)所述樣本的檢測(cè)組；

分析模塊，用于分析出各個(gè)所述樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組；

警告模塊，用于實(shí)時(shí)發(fā)出警告信息到用戶端，所述警告信息包括所述數(shù)據(jù)異常的檢測(cè)組的相關(guān)信息。

在一個(gè)實(shí)施例中，所述劃分模塊，包括：

構(gòu)成子模塊，用于每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合；

計(jì)算子模塊，用于計(jì)算出所述待分析集合中的日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商；

分配子模塊，用于將所述待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，其中，所述樣本的數(shù)量為所述商的數(shù)值。

在一個(gè)實(shí)施例中，所述生成模塊，包括：

抽取子模塊，用于通過機(jī)器學(xué)習(xí)抽取出各個(gè)所述樣本中的日志數(shù)據(jù)的關(guān)鍵字段，所述關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者；

統(tǒng)計(jì)子模塊，用于對(duì)各個(gè)所述樣本的日志數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)；

生成子模塊，用于根據(jù)分析統(tǒng)計(jì)的結(jié)果，生成各個(gè)所述樣本的檢測(cè)組。

在一個(gè)實(shí)施例中，所述分析模塊，包括：

校驗(yàn)子模塊，用于分別對(duì)各個(gè)所述樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)；

對(duì)比子模塊，用于對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比；

確認(rèn)子模塊，用于通過組間對(duì)比，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。

在一個(gè)實(shí)施例中，還包括：

跳轉(zhuǎn)模塊，用于根據(jù)所述警告信息，可直接跳轉(zhuǎn)至所述數(shù)據(jù)異常的檢測(cè)組的樣本。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說明

附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中：

圖1為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法的流程圖；

圖2為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法的步驟s11的流程圖；

圖3為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法的步驟s12的流程圖；

圖4為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法的步驟s13的流程圖；

圖5為本發(fā)明另一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法的流程圖；

圖6為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置的框圖；

圖7為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置的劃分模塊61的框圖；

圖8為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置的生成模塊62的框圖；

圖9為本發(fā)明一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置的分析模塊63的框圖；

圖10為本發(fā)明另一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置的框圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

圖1是根據(jù)一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的方法流程圖，如圖1所示，該智能分析日志數(shù)據(jù)的方法，包括以下步驟s11-s14：

在步驟s11中，將接收到日志數(shù)據(jù)劃分為多個(gè)樣本；

在步驟s12中，生成各個(gè)所述樣本的檢測(cè)組；

在步驟s13中，分析出各個(gè)所述樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組；

在步驟s14中，實(shí)時(shí)發(fā)出警告信息到用戶端，所述警告信息包括所述數(shù)據(jù)異常的檢測(cè)組的相關(guān)信息。

在一個(gè)實(shí)施例中，日志數(shù)據(jù)是故障排除、監(jiān)控、安全、合規(guī)、電子取證等許多安全應(yīng)用的基礎(chǔ)。日志數(shù)據(jù)具有巨大的分析價(jià)值，利用日志數(shù)據(jù)可以分析點(diǎn)擊流、社交媒體、以及以客戶為中心的使用案例中的行為記錄數(shù)據(jù)，如活躍用戶數(shù)、應(yīng)用使用數(shù)量、服務(wù)質(zhì)量、使用偏好等。隨著日志數(shù)據(jù)容量和類型的增長(zhǎng)，日志數(shù)據(jù)已經(jīng)超出了人類的認(rèn)知能力，對(duì)日志數(shù)據(jù)內(nèi)容進(jìn)行分析并追蹤潛在的問題越來越困難，尤其是在多日志數(shù)據(jù)相關(guān)性分析出現(xiàn)之后，需要經(jīng)驗(yàn)豐富的操作人員跟蹤事件鏈、過濾噪音，并最終診斷出問題出現(xiàn)的根本原因。針對(duì)日志數(shù)據(jù)信息的it異常檢測(cè)告警，常常假設(shè)數(shù)據(jù)服從正態(tài)分布，然后根據(jù)3σ原則，認(rèn)定99.7％區(qū)間以外的數(shù)據(jù)屬于異常。

現(xiàn)有技術(shù)中，基于日志數(shù)據(jù)檢測(cè)的告警需要用戶自行配置數(shù)據(jù)，需要用戶具備較高的專業(yè)技能才能夠預(yù)先編寫好查詢語句，設(shè)置查詢頻率，設(shè)定查詢時(shí)間等條件，上述操作為用戶增添繁瑣復(fù)雜的負(fù)擔(dān)，而且出現(xiàn)用戶沒有考慮到的告警情況，將無法及時(shí)獲取告警信息。而且，目前常見的基于正態(tài)分布的告警模式會(huì)帶來兩個(gè)問題：一、永遠(yuǎn)都有0.3％的數(shù)據(jù)被認(rèn)定為異常，而事實(shí)可能是100％正常的數(shù)據(jù)；二、在真實(shí)it環(huán)境中，絕大多數(shù)數(shù)據(jù)并不服從正態(tài)分布，會(huì)導(dǎo)致誤報(bào)增加。本實(shí)施例中的技術(shù)方案可妥善的解決上述問題。

首先將接收到日志數(shù)據(jù)劃分為多個(gè)樣本。進(jìn)一步的，每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合；計(jì)算出該待分析集合中的日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商；將該待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，其中，該樣本的數(shù)量為該商的數(shù)值。

然后生成各個(gè)該樣本的檢測(cè)組。進(jìn)一步的，通過機(jī)器學(xué)習(xí)抽取出各個(gè)該樣本中的日志數(shù)據(jù)的關(guān)鍵字段，該關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者；對(duì)各個(gè)該樣本的日志數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)；根據(jù)分析統(tǒng)計(jì)的結(jié)果，生成各個(gè)該樣本的檢測(cè)組。

接著分析出各個(gè)該樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組，進(jìn)一步的，分別對(duì)各個(gè)該樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)；對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比；通過組間對(duì)比，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。

最后實(shí)時(shí)發(fā)出警告信息到用戶端，該警告信息包括該數(shù)據(jù)異常的檢測(cè)組的相關(guān)信息。

采用本實(shí)施例中的技術(shù)方案可無需用戶具備相應(yīng)的知識(shí)儲(chǔ)備來自行配置檢測(cè)數(shù)據(jù)和警告條件，系統(tǒng)可自動(dòng)的分析出異常的日志數(shù)據(jù)。同時(shí)也避免了過度依賴歷史數(shù)據(jù)的弊端，還有效的降低了誤報(bào)出現(xiàn)的概率。

在一個(gè)實(shí)施例中，如圖2所示，步驟s11包括如下步驟s21-s23：

在步驟s21中，每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合；

在步驟s22中，計(jì)算出所述待分析集合中的日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商；

在步驟s23中，將所述待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，其中，所述樣本的數(shù)量為所述商的數(shù)值。

在一個(gè)實(shí)施例中，每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，該執(zhí)行時(shí)間周期用戶可以自行指定，還可以根據(jù)日志數(shù)據(jù)高峰期設(shè)置較小的執(zhí)行時(shí)間周期，在日志數(shù)據(jù)低谷期設(shè)置較大的執(zhí)行時(shí)間周期。將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合，即為樣本的母本。系統(tǒng)中預(yù)設(shè)的第一數(shù)量閾值為一個(gè)樣本中包含的日志數(shù)據(jù)的數(shù)量，通過計(jì)算可得出該待分析結(jié)合中日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商，該商的數(shù)值大小代表著樣本的組數(shù)，如果存在余數(shù)則舍棄該余數(shù)。將待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，各個(gè)樣本中的日志數(shù)據(jù)的數(shù)量都是一致的，且都是預(yù)設(shè)的第一數(shù)量閾值的數(shù)值；樣本的組數(shù)就是商的數(shù)值。

例如，一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期為5分鐘，預(yù)設(shè)的第一數(shù)量的閾值為10000，在該預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)獲取到的日志數(shù)據(jù)為121911個(gè)日志數(shù)據(jù)(既待分析集合中的日志數(shù)據(jù)為121911個(gè))，計(jì)算出待分析集合中的日志數(shù)據(jù)的數(shù)量(121911)與預(yù)設(shè)的第一數(shù)量閾值(10000)的商，可計(jì)算出該商為12，余數(shù)為1911，舍棄該余數(shù)?？傻玫?2個(gè)樣本，每個(gè)樣本中的日志數(shù)據(jù)量為10000。

在一個(gè)實(shí)施例中，如圖3所示，步驟s12包括如下步驟s31-s33：

在步驟s31中，通過機(jī)器學(xué)習(xí)抽取出各個(gè)所述樣本中的日志數(shù)據(jù)的關(guān)鍵字段，所述關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者；

在步驟s32中，對(duì)各個(gè)所述樣本的日志數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)；

在步驟s33中，根據(jù)分析統(tǒng)計(jì)的結(jié)果，生成各個(gè)所述樣本的檢測(cè)組。

在一個(gè)實(shí)施例中，通過機(jī)器學(xué)習(xí)(machinelearning，ml)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。本實(shí)施例中的機(jī)器學(xué)習(xí)可以不斷的豐富對(duì)日志數(shù)據(jù)的分析能力，其中包括對(duì)日志數(shù)據(jù)中關(guān)鍵字段的分析能力，該關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者。然后對(duì)各個(gè)樣本中的日子數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)。根據(jù)分析統(tǒng)計(jì)的結(jié)果來生成各個(gè)樣本的檢測(cè)組。

在一個(gè)實(shí)施例中，如圖4所示，步驟s13包括如下步驟s41-s43：

在步驟s41中，分別對(duì)各個(gè)所述樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)；

在步驟s42中，對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比；

在步驟s43中，通過組間對(duì)比，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。

在一個(gè)實(shí)施例中，分別對(duì)各個(gè)樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)，該非參數(shù)分布校驗(yàn)包括ks統(tǒng)計(jì)量檢驗(yàn)(kolmogorov-smirnovtest，柯爾莫可洛夫-斯米洛夫檢驗(yàn))、w統(tǒng)計(jì)量檢驗(yàn)(shapiro-wilktest)和l統(tǒng)計(jì)量統(tǒng)計(jì)(lillieforstest)。因?yàn)閷?duì)于大數(shù)據(jù)的分布是具有一定的穩(wěn)定性，對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比，其中，組的檢驗(yàn)結(jié)果的期望值是一致的。通過組間對(duì)比，根據(jù)預(yù)設(shè)的檢測(cè)對(duì)比規(guī)則，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。采用非參數(shù)分布校驗(yàn)和組間對(duì)比，無需根據(jù)歷史數(shù)據(jù)進(jìn)行校驗(yàn)，可避免傳統(tǒng)的縱向檢測(cè)過分依賴歷史數(shù)據(jù)。其中，類型為發(fā)展過程中會(huì)發(fā)生較大變化的日志數(shù)據(jù)，若采用了縱向檢測(cè)法，其歷史數(shù)據(jù)將帶來的負(fù)面影響。

在一個(gè)實(shí)施例中，如圖5所示，還包括如下步驟s51：

在步驟s51中，根據(jù)所述警告信息，可直接跳轉(zhuǎn)至所述數(shù)據(jù)異常的檢測(cè)組的樣本。

在一個(gè)實(shí)施例中，用戶可通過客戶端來直接點(diǎn)擊發(fā)送來的警告信息，進(jìn)行點(diǎn)擊操作之后將直接跳轉(zhuǎn)到數(shù)據(jù)異常的檢測(cè)組的樣本。從而方便用戶查看樣本內(nèi)的具體的日志數(shù)據(jù)，從而有助于用戶進(jìn)行下一步的操作。

在一個(gè)實(shí)施例中，圖6是根據(jù)一示例性實(shí)施例示出的一種智能分析日志數(shù)據(jù)的裝置框圖。如圖6示，該裝置包括劃分模塊61、生成模塊62、分析模塊63和警告模塊64。

該劃分模塊61，用于將接收到日志數(shù)據(jù)劃分為多個(gè)樣本；

該生成模塊62，用于生成各個(gè)所述樣本的檢測(cè)組；

該分析模塊63，用于分析出各個(gè)所述樣本的檢測(cè)組中數(shù)據(jù)異常的檢測(cè)組；

該警告模塊64，用于實(shí)時(shí)發(fā)出警告信息到用戶端，所述警告信息包括所述數(shù)據(jù)異常的檢測(cè)組的相關(guān)信息。

如圖7所示，該劃分模塊61包括構(gòu)成子模塊71、計(jì)算子模塊72和分配子模塊73。

該構(gòu)成子模塊71，用于每間隔一個(gè)預(yù)設(shè)的執(zhí)行時(shí)間周期，將預(yù)設(shè)的執(zhí)行時(shí)間周期內(nèi)接收到的全部的日志數(shù)據(jù)構(gòu)成待分析集合；

該計(jì)算子模塊72，用于計(jì)算出所述待分析集合中的日志數(shù)據(jù)的數(shù)量與預(yù)設(shè)的第一數(shù)量閾值的商；

該分配子模塊73，用于將所述待分析集合中的日志數(shù)據(jù)分配到各個(gè)樣本中，其中，所述樣本的數(shù)量為所述商的數(shù)值。

如圖8所示，生成模塊62包括抽取子模塊81、統(tǒng)計(jì)子模塊82和生成子模塊83。

該抽取子模塊81，用于通過機(jī)器學(xué)習(xí)抽取出各個(gè)所述樣本中的日志數(shù)據(jù)的關(guān)鍵字段，所述關(guān)鍵字段包括訪問數(shù)量、權(quán)限更改和錯(cuò)誤信息中的任一者或多者；

該統(tǒng)計(jì)子模塊82，用于對(duì)各個(gè)所述樣本的日志數(shù)據(jù)的關(guān)鍵字段進(jìn)行分析統(tǒng)計(jì)；

該生成子模塊83，用于根據(jù)分析統(tǒng)計(jì)的結(jié)果，生成各個(gè)所述樣本的檢測(cè)組。

如圖9所示，該分析模塊63包括校驗(yàn)子模塊91、對(duì)比子模塊92和確認(rèn)子模塊93。

該校驗(yàn)子模塊91，用于分別對(duì)各個(gè)所述樣本的檢測(cè)組進(jìn)行非參數(shù)分布校驗(yàn)；

該對(duì)比子模塊92，用于對(duì)非參數(shù)分布校驗(yàn)的檢驗(yàn)結(jié)果進(jìn)行組間對(duì)比；

該確認(rèn)子模塊93，用于通過組間對(duì)比，確認(rèn)出數(shù)據(jù)異常的檢測(cè)組。

如圖10所示，還包括跳轉(zhuǎn)模塊101。

該跳轉(zhuǎn)模塊101，用于根據(jù)所述警告信息，可直接跳轉(zhuǎn)至所述數(shù)據(jù)異常的檢測(cè)組的樣本。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。