一種基于回歸的信息安全異常檢測(cè)的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及信息安全應(yīng)用技術(shù)領(lǐng)域，尤其設(shè)及諸如SNMP、syslog等上報(bào)的海量告 警的異常檢測(cè)方法與系統(tǒng)。
【背景技術(shù)】
[0002] 本發(fā)明中包含的英文簡(jiǎn)稱如下： SMA:Simple Moving Average簡(jiǎn)單移動(dòng)平均線 ACF:Autocorrelation F^mction自動(dòng)關(guān)聯(lián)函數(shù) MAD:Median Absolute Deviation 中位絕對(duì)偏差 LR： linear regression 線性回歸 0LS：ordinary least squares 最小二乘法 MA:moving average 移動(dòng)平均 WMA:wei曲ted moving average加權(quán)移動(dòng)平均 EWMA: exponential wei曲ted moving average指數(shù)加權(quán)移動(dòng)平均 AR：autoregressive 自回歸 ARMA:auto regressive moving average自回歸移動(dòng)平均 ARIMA: integrated ARIA集成自回歸移動(dòng)平均 CUSUM:Cumulative Sum Test累積和檢驗(yàn) SOC: Security Operation Center安全管理中屯、 IDS: Intrusion Detection Systems入侵檢測(cè)系統(tǒng) SNMP: Simple 化twork Management Protocol簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議 皿FS:Hadoop Distribute File SystemHadoop分布式文件系統(tǒng) MQ:Message如eue消息隊(duì)列 安全生產(chǎn)歷來(lái)是保障各項(xiàng)工作有序開(kāi)展的前提，也是考核各級(jí)領(lǐng)導(dǎo)干部的否決指標(biāo)。 網(wǎng)絡(luò)及信息安全運(yùn)維體系是各類(lèi)企業(yè)安全生產(chǎn)工作的重要組成部分。保障網(wǎng)絡(luò)高效穩(wěn)定地 運(yùn)行，是企業(yè)一切市場(chǎng)經(jīng)營(yíng)活動(dòng)和正常運(yùn)作的基礎(chǔ)。
[0003] 隨著各類(lèi)企業(yè)信息系統(tǒng)的建設(shè)和完善，有效地提高了勞動(dòng)生產(chǎn)率，降低了運(yùn)營(yíng)成 本。一旦企業(yè)各業(yè)務(wù)系統(tǒng)出現(xiàn)安全事件、或發(fā)生故障、或形成性能瓶頸，不能及時(shí)發(fā)現(xiàn)、及時(shí) 處理、及時(shí)恢復(fù)，勢(shì)必直接導(dǎo)致承載在其上所有業(yè)務(wù)的運(yùn)行，影響企業(yè)的正常運(yùn)營(yíng)秩序，企 業(yè)業(yè)務(wù)不能正常開(kāi)展。因此，對(duì)于政府和企業(yè)IT基礎(chǔ)實(shí)施的安全保障就顯得格外重要。
[0004] 隨著政府和企業(yè)信息化程度不斷提高。各業(yè)務(wù)系統(tǒng)間聯(lián)系越來(lái)越密切，數(shù)據(jù)交換 越來(lái)越頻繁，各系統(tǒng)有著復(fù)雜網(wǎng)絡(luò)或邏輯連接，存在大量數(shù)據(jù)交換，甚至一個(gè)故障可W引發(fā) 成為企業(yè)全網(wǎng)故障，一點(diǎn)或一種業(yè)務(wù)系統(tǒng)出現(xiàn)漏桐感染病毒或受到攻擊，將迅速波及其它 業(yè)務(wù)系統(tǒng)及網(wǎng)絡(luò)，甚至導(dǎo)致企業(yè)全網(wǎng)擁痕。
[0005] 企業(yè)IT系統(tǒng)產(chǎn)生了大量的告警，隨著存儲(chǔ)設(shè)備成本的降低，沒(méi)有理由丟棄運(yùn)些數(shù) 據(jù)，然而，目前，還沒(méi)有相應(yīng)的方法及其分析工具，能夠從運(yùn)些海量告警中，預(yù)防或發(fā)現(xiàn)安全 攻擊，溯源或找到故障的根源;還不能夠幫助信息安全工程師盡快恢復(fù)IT業(yè)務(wù)。
[0006] 為此，如何利用信息化手段提高企業(yè)安全管理運(yùn)維效益，優(yōu)化企業(yè)信息安全管理 運(yùn)維服務(wù)，使得它能夠?yàn)楦黝?lèi)企業(yè)提供專(zhuān)業(yè)的和高性能的信息安全運(yùn)維管理服務(wù)，即成為 尤其是信息安全管理運(yùn)維設(shè)計(jì)上必須要解決的一個(gè)重要課題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明在分析了上述各類(lèi)企業(yè)信息安全管理運(yùn)維服務(wù)平臺(tái)的缺陷和不足之后，提 出了一種基于回歸的信息安全異常檢測(cè)的方法及系統(tǒng)。
[0008] 本發(fā)明的核屯、思想是：構(gòu)建一個(gè)用于安全異常檢測(cè)的基于回歸的方法及系統(tǒng)。所 述方法及系統(tǒng)能夠通過(guò)告警時(shí)間序列建立安全異常檢測(cè)模型，所述模型是W離線方式建立 的，并為在線安全異常檢測(cè)系統(tǒng)提供方法指南。
[0009] 進(jìn)一步地，所述方法及系統(tǒng)，包括實(shí)時(shí)告警模塊、歷史告警模塊、離線異常檢測(cè)建 模模塊、在線異常檢測(cè)模塊，W及知識(shí)庫(kù)。
[0010] 所述實(shí)時(shí)告警模塊，實(shí)時(shí)地接收來(lái)自各種安全設(shè)備通過(guò)挪MP、syslog等上報(bào)的告 警，并分別發(fā)送給歷史告警模塊和基于回歸的異常在線檢測(cè)模型模塊。
[0011] 所述歷史告警模塊，可W作為告警時(shí)間序列的備份，也可W為離線安全攻擊異常 檢測(cè)建模模塊提供告警數(shù)據(jù)。
[0012] 所述離線異常檢測(cè)建模模塊，對(duì)所述告警時(shí)間序列建模，并提供基于口限的異常 檢測(cè)方法、基于回歸的異常檢測(cè)方法和基于分布的異常檢測(cè)方法的指南。所述基于回歸的 異常檢測(cè)方法，通過(guò)實(shí)時(shí)計(jì)算中位數(shù)m、四分位距iqr、事件間隔k和周期T情況，來(lái)決定是否 選擇基于回歸的信息安全異常檢測(cè)方法，并且實(shí)時(shí)反饋給在線基于回歸的異常檢測(cè)模塊。
[0013] 所述在線異常檢測(cè)模塊，采用基于回歸的方法，實(shí)時(shí)在線地檢測(cè)實(shí)時(shí)告警模塊所 上報(bào)告警時(shí)間序列的異常，并且，將檢測(cè)結(jié)果上報(bào)給相關(guān)顯示模塊或安全分析師作進(jìn)一步 地處理。
[0014] 所述知識(shí)庫(kù)，存儲(chǔ)各種統(tǒng)計(jì)參數(shù)、異常檢測(cè)方法及其應(yīng)用場(chǎng)景等。
[001引優(yōu)選地，所述中位數(shù)m、四分位距iqr、事件間隔k和周期T情況，當(dāng)滿足5判，而且 k~i和Τ!=0時(shí)，則采用基于回歸的安全異常檢測(cè)方法。
[0016] 本發(fā)明針對(duì)異構(gòu)和動(dòng)態(tài)的IT企業(yè)網(wǎng)絡(luò)設(shè)備產(chǎn)生的海量安全告警，能夠檢測(cè)到安全 攻擊事件，能夠溯源或回放事件，能夠發(fā)現(xiàn)故障的根源或源頭，能夠幫助IT企業(yè)快速恢復(fù)業(yè) 務(wù)，保證其正常運(yùn)營(yíng)。
【附圖說(shuō)明】
[0017] 圖1為本發(fā)明所述的離線異常檢測(cè)建模模塊內(nèi)部流程示意圖； 圖2為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的實(shí)際檢測(cè)告警百分比實(shí)施 例； 圖3為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的巧巾告警(有線木馬、wifi木 馬和外部木馬）的實(shí)施例(每小時(shí)告警時(shí)間序列）； 圖4為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的告警統(tǒng)計(jì)分布盒圖實(shí)施例； 圖5為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的統(tǒng)計(jì)方差系數(shù)實(shí)施例； 圖6為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的巧巾告警時(shí)序依賴實(shí)施例； 圖7為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的描述性統(tǒng)計(jì)穩(wěn)定性示意圖； 圖8為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的穩(wěn)定指數(shù)值示意圖； 圖9為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的選擇異常檢測(cè)方法示意圖； 圖10為本發(fā)明所述的一種基于回歸的信息安全異常檢測(cè)的示意圖。
【具體實(shí)施方式】
[0018] 下面是根據(jù)附圖和實(shí)例對(duì)本發(fā)明的進(jìn)一步詳細(xì)說(shuō)明： 圖1為本發(fā)明所述的離線異常檢測(cè)建模模塊內(nèi)部流程示意圖，包括:①預(yù)處理和分組； ②基于時(shí)間的分割;③描述性統(tǒng)計(jì);④描述性統(tǒng)計(jì)分析;⑤可能的重新組合。雙圓圈表示離 線安全異常檢測(cè)的輸入和輸出。原始的輸入是來(lái)自安全設(shè)備的告警(例如，防火墻、入侵檢 測(cè)設(shè)備和路由器等設(shè)備）。最終輸出是選擇安全異常檢測(cè)的算法指南?；疑蚴怯砂踩治?師輸入的參數(shù)，不同的參數(shù)能夠適應(yīng)不同的應(yīng)用場(chǎng)景和安全分析的目的。應(yīng)用場(chǎng)景決定了 安全分析所需的告警數(shù)量(例如，1年的告警）、網(wǎng)絡(luò)拓?fù)?例如，節(jié)點(diǎn)、子網(wǎng)）、節(jié)點(diǎn)數(shù)量(因?yàn)?主機(jī)和網(wǎng)絡(luò)設(shè)備數(shù)量越多，則告警數(shù)量越大）。
[0019] 所述①預(yù)處理和分組，對(duì)于如何分組主要取決于網(wǎng)絡(luò)的拓?fù)浜桶踩治鰩煹哪?的，例如，只需要對(duì)某一個(gè)子網(wǎng)或某一類(lèi)告警進(jìn)行監(jiān)控。如果告警是由不同的安全設(shè)備產(chǎn)生 的，則需要做安全告警屬性的標(biāo)準(zhǔn)化，W及初步的告警相關(guān)性分析。
[0020] 所述②基于時(shí)間的分割，計(jì)算告警時(shí)間序列和基于時(shí)間分割(例如，將一天分成白 天和晚上）。
[0021] 所述③描述性統(tǒng)計(jì)，抽取每一個(gè)告警時(shí)間序列的分布和時(shí)序依賴的描述性統(tǒng)計(jì)。 所述分布通過(guò)集中趨勢(shì)（均值、中位數(shù)）和數(shù)據(jù)的離散度(方差，四分位數(shù)，方差系數(shù))來(lái)表 示。再者，也能評(píng)估告警分布統(tǒng)計(jì)的穩(wěn)定性。如果告警時(shí)間序列形成趨勢(shì)、具有周期性、季節(jié) 性或可被預(yù)測(cè)，則它表現(xiàn)出時(shí)序依賴性。因此，時(shí)序依賴性可W表示為告警時(shí)間序列的可預(yù) 測(cè)性和/或周期性。
[0022] 所述④描述性統(tǒng)計(jì)分析，分析所提取的描述性統(tǒng)計(jì)來(lái)推斷異常檢測(cè)算法的適用性 和有效性。
[0023] 所述⑤可能的重新組合，對(duì)安全分析師建議告警時(shí)間序列可能的重新組合，W建 立更加有效的安全異常檢測(cè)算法。例如，如果告警數(shù)量依賴于工作時(shí)間，則可抽取不同時(shí)間 分布的描述性統(tǒng)計(jì)(例如，白天、晚上）。此時(shí)可W決定時(shí)序依賴的異常檢測(cè)的口限。
[0024] 進(jìn)一步地，所述①預(yù)處理和分組模塊，該模塊所接收到的告警，可W是任何類(lèi)型的 告警，例如，安全設(shè)備上報(bào)的原始告警、超級(jí)告警、或元告警。為不失一般性，本發(fā)明主要考 慮原始告警。
[0025] 所述預(yù)處理，即告警信息標(biāo)準(zhǔn)化，且消除重復(fù)告警等。告警分組通過(guò)設(shè)置初始組合 參數(shù)學(xué)而實(shí)現(xiàn)。不同分組方法取決于安全分析師的目標(biāo)。例如： (1)告警源:告警的源地址； 間告警類(lèi)型:既可W是通常告警類(lèi)型，也可W是超級(jí)告警類(lèi)型。
[0026] 所述(1)告警源，告警源既可W是內(nèi)部告警，也可W是外部告警。內(nèi)部告警主要展示 在工作時(shí)間內(nèi)的行為和用戶行為，而外部告警主要是變化和噪聲。內(nèi)部告警更細(xì)粒度的組 合可w基于網(wǎng)絡(luò)拓?fù)浜桶踩治龅哪康?。例如，安全分析師可w基于不同的網(wǎng)絡(luò)和防火墻 策略進(jìn)行分組，諸如不同的子網(wǎng)、組織部口和有線或無(wú)線。
[0027]所述間告警類(lèi)型，基于不同告警類(lèi)型來(lái)掲示不同的行為，否則，考慮到一個(gè)組的所 有警報(bào)