網(wǎng)絡(luò)數(shù)據(jù)包的分析方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)數(shù)據(jù)包領(lǐng)域，特別涉及一種網(wǎng)絡(luò)數(shù)據(jù)包的分析方法及系統(tǒng)。
【背景技術(shù)】
[0002]數(shù)據(jù)包分析，通常也被稱為數(shù)據(jù)包嗅探或協(xié)議分析，指的是捕獲和解析網(wǎng)絡(luò)上在線傳輸數(shù)據(jù)的過程，通常目的是為了能更好地了解網(wǎng)絡(luò)上正在發(fā)生的事情。數(shù)據(jù)包分析技術(shù)可以通過以下方法來達(dá)到目標(biāo):了解網(wǎng)絡(luò)特征、查看網(wǎng)絡(luò)上的通信主體、確認(rèn)誰或是哪些應(yīng)用在占用網(wǎng)絡(luò)帶寬、識別網(wǎng)絡(luò)使用的高峰時間、識別可能的攻擊或惡意活動、尋找不安全以及濫用網(wǎng)絡(luò)資源的應(yīng)用。
[0003]隨著企業(yè)的發(fā)展和企業(yè)規(guī)模的擴(kuò)大，企業(yè)網(wǎng)絡(luò)流量也隨之?dāng)U大，傳統(tǒng)的網(wǎng)絡(luò)分析設(shè)備已經(jīng)無法滿足大規(guī)模內(nèi)網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)的分析需求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中無法滿足大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)的分析需求的缺陷，提供一種能夠擴(kuò)展的、分布式的網(wǎng)絡(luò)數(shù)據(jù)包的分析方法及系統(tǒng)。
[0005]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的:
[0006]—種網(wǎng)絡(luò)數(shù)據(jù)包的分析方法，其特點在于，包括以下步驟:
[0007]S1、獲取網(wǎng)絡(luò)數(shù)據(jù)包；
[0008]S2、根據(jù)解析對象將該網(wǎng)絡(luò)數(shù)據(jù)包的分析內(nèi)容劃分為多個任務(wù)，并確定該多個任務(wù)的執(zhí)行順序；
[0009]S3、創(chuàng)建與該多個任務(wù)一一對應(yīng)的多個消息隊列和多個計算節(jié)點組，其中，每個計算節(jié)點組包括至少一個計算節(jié)點；
[0010]S4、將該網(wǎng)絡(luò)數(shù)據(jù)包緩存至與該多個任務(wù)中的起始任務(wù)對應(yīng)的消息隊列；
[0011]S5、根據(jù)該執(zhí)行順序每個計算節(jié)點組依次執(zhí)行以下動作直至最后一個任務(wù)被執(zhí)行:獲取與計算節(jié)點組自身對應(yīng)的消息隊列中的所有數(shù)據(jù)，并執(zhí)行與該計算節(jié)點組對應(yīng)的任務(wù)，以及將執(zhí)行的結(jié)果發(fā)送至下一個任務(wù)對應(yīng)的消息隊列。
[0012]本方案中，根據(jù)解析對象將網(wǎng)絡(luò)數(shù)據(jù)包的分析內(nèi)容劃分為多個任務(wù)實質(zhì)上是將分析內(nèi)容根據(jù)解析對象進(jìn)行歸類，根據(jù)不同的解析對象可以將分析內(nèi)容劃分為相同或不同的任務(wù)，例如可以將解析IP(Internet Protocol，網(wǎng)絡(luò)協(xié)議)地址劃分為一個任務(wù)，將解析端口信息和協(xié)議類型劃分為另一個任務(wù)。其中，一個任務(wù)分別對應(yīng)一個消息隊列和一個計算節(jié)點組。按照預(yù)先確定的執(zhí)行順序，每個計算節(jié)點組執(zhí)行一個任務(wù)并將執(zhí)行的結(jié)果追加至下一個消息隊列中。
[0013]其中，一個計算節(jié)點組可以包括一個計算節(jié)點，即由一臺計算機(jī)來執(zhí)行一個任務(wù)。當(dāng)執(zhí)行一個任務(wù)超過一個計算節(jié)點的處理能力時或者為了提高處理速度，一個計算節(jié)點組可以包括多個計算節(jié)點，即由多臺計算機(jī)共同執(zhí)行同一個任務(wù)。
[0014]本方案中，網(wǎng)絡(luò)數(shù)據(jù)包的分析內(nèi)容被拆分為多個任務(wù)，并將其分發(fā)至不同的計算節(jié)點組進(jìn)行處理，大大地提高了處理能力，同時還可以實現(xiàn)水平擴(kuò)展，即計算節(jié)點組中計算節(jié)點的數(shù)量可以根據(jù)網(wǎng)絡(luò)數(shù)據(jù)包中不同任務(wù)的數(shù)據(jù)量進(jìn)行擴(kuò)展。另外，每個計算節(jié)點在執(zhí)行任務(wù)時都是從與其對應(yīng)的消息隊列中獲取數(shù)據(jù)，減少了不同計算節(jié)點之間的耦合性。
[0015]較佳地，當(dāng)最后一個任務(wù)被執(zhí)行完時，與該最后一個任務(wù)對應(yīng)的計算節(jié)點組將執(zhí)行的結(jié)果發(fā)送至與該計算節(jié)點組對應(yīng)的消息隊列。
[0016]本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，當(dāng)與最后一個任務(wù)對應(yīng)的計算節(jié)點組將執(zhí)行的結(jié)果發(fā)送至與其對應(yīng)的消息隊列中時，與最后一個任務(wù)對應(yīng)的消息隊列中包含所有任務(wù)的執(zhí)行結(jié)果，方便其它系統(tǒng)從該消息隊列中獲取數(shù)據(jù)。
[0017]另外，當(dāng)計算節(jié)點組執(zhí)行完最后一個任務(wù)時，也可以不將執(zhí)行的結(jié)果發(fā)送至消息隊列，而是將執(zhí)行的結(jié)果直接保存。
[0018]較佳地，該解析對象包括IP地址、端口、網(wǎng)絡(luò)協(xié)議和URL(Uniform ResourceLocator，統(tǒng)一資源定位器)地址。本方案中的解析對象不限于上述四種，可以為網(wǎng)絡(luò)數(shù)據(jù)包的其它解析對象。
[0019]較佳地，所有的消息隊列屬于一個集群，所有的計算節(jié)點組屬于另一個集群。
[0020]本發(fā)明還提供一種網(wǎng)絡(luò)數(shù)據(jù)包的分析系統(tǒng)，其特點在于，包括一主機(jī)、一第一集群以及一第二集群，
[0021]該主機(jī)用于獲取網(wǎng)絡(luò)數(shù)據(jù)包，并根據(jù)解析對象將該網(wǎng)絡(luò)數(shù)據(jù)包的分析內(nèi)容劃分為多個任務(wù)，以及確定該多個任務(wù)的執(zhí)行順序；
[0022]該第一集群包括與該多個任務(wù)一一對應(yīng)的多個消息隊列；
[0023]該第二集群包括與該多個任務(wù)一一對應(yīng)的多個計算節(jié)點組，其中，每個計算節(jié)點組包括至少一個計算節(jié)點；
[0024]該主機(jī)還用于將該網(wǎng)絡(luò)數(shù)據(jù)包緩存至與該多個任務(wù)中的起始任務(wù)對應(yīng)的消息隊列中；
[0025]每個計算節(jié)點組用于根據(jù)該執(zhí)行順序依次執(zhí)行以下動作直至最后一個任務(wù)被執(zhí)行:獲取與計算節(jié)點組自身對應(yīng)的消息隊列中的所有數(shù)據(jù)，并執(zhí)行與該計算節(jié)點組對應(yīng)的任務(wù)，以及將執(zhí)行的結(jié)果發(fā)送至下一個任務(wù)對應(yīng)的消息隊列。
[0026]較佳地，與最后一個任務(wù)對應(yīng)的計算節(jié)點組用于將執(zhí)行的結(jié)果發(fā)送至與該計算節(jié)點組對應(yīng)的消息隊列。
[0027]較佳地，該解析對象包括IP地址、端口、網(wǎng)絡(luò)協(xié)議和/或URL地址。
[0028]在符合本領(lǐng)域常識的基礎(chǔ)上，上述各優(yōu)選條件，可任意組合，即得本發(fā)明各較佳實例。
[0029]本發(fā)明的積極進(jìn)步效果在于:與現(xiàn)有技術(shù)相比，本發(fā)明中網(wǎng)絡(luò)數(shù)據(jù)包的分析內(nèi)容被拆分為多個任務(wù)，并將其分發(fā)至不同的計算節(jié)點組，以消息隊列為核心進(jìn)行分布式地處理，大大地提高了處理能力，減少了不同計算節(jié)點之間的耦合性。同時，還可以實現(xiàn)水平擴(kuò)展，在硬件資源豐富的情況下可以無限制擴(kuò)展。
【附圖說明】
[0030]圖1為本發(fā)明實施例的網(wǎng)絡(luò)數(shù)據(jù)包的分析系統(tǒng)的結(jié)構(gòu)框圖。
[0031]圖2為本發(fā)明實施例的網(wǎng)絡(luò)數(shù)據(jù)包的分析方法的流程圖。
【具體實施方式】
[0032]下面通過實施例的方式進(jìn)一步說明本發(fā)明，但并不因此將本發(fā)明限制在所述的實施例范圍之中。
[0033]—種網(wǎng)絡(luò)數(shù)據(jù)包的分析系統(tǒng)，如圖1所示，包括主機(jī)11、第一集群12以及第二集群13，
[0034]主機(jī)11用于獲取網(wǎng)絡(luò)數(shù)據(jù)包，并根據(jù)解析對象將該網(wǎng)絡(luò)數(shù)據(jù)包的分析