以大數(shù)據(jù)流式技術實現(xiàn)網(wǎng)絡數(shù)據(jù)包的分析方法及系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及大數(shù)據(jù)流式技術領域，具體涉及以大數(shù)據(jù)流式技術實現(xiàn)網(wǎng)絡數(shù)據(jù)包的分析方法及系統(tǒng)，特別是利用大數(shù)據(jù)計算框架Spark的流式技術用于實時計算，來構建基于集群分布式的、低延遲的網(wǎng)絡數(shù)據(jù)包分析系統(tǒng)。
【背景技術】
[0002]隨著大數(shù)據(jù)的發(fā)展，人們對大數(shù)據(jù)的處理要求也越來越高，原有的批處理框架MapReduce適合離線計算，卻無法滿足實時性要求較高的業(yè)務，如實時推薦、用戶行為分析等。Spark Streaming是建立在Spark上的實時計算框架，通過它提供的豐富的AP1、基于內(nèi)存的高速執(zhí)行引擎，用戶可以結合流式、批處理和交互試查詢應用。其中，Spark是UCBerkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架。
[0003]現(xiàn)市場上的網(wǎng)絡流量分析系統(tǒng)大多數(shù)是實時監(jiān)測用戶網(wǎng)絡七層結構中各層的流量分布，進行協(xié)議、流量的綜合分析。隨著網(wǎng)絡應用越來越廣泛、網(wǎng)絡規(guī)模日漸增大，網(wǎng)絡中承載的業(yè)務也越來越豐富，所以網(wǎng)絡流量分析的處理量是非常巨大的，傳統(tǒng)的技術不能滿足于此類超大數(shù)據(jù)處理，而且系統(tǒng)的架構也決定了容量擴展的能力也是一種瓶頸。
[0004]經(jīng)對現(xiàn)有技術進行檢索，發(fā)現(xiàn)如下相關檢索結果。
[0005]相關檢索結果1:
[0006]申請?zhí)?200810171806.1
[0007]名稱:基于應用層業(yè)務分析的網(wǎng)絡流量分析方法
[0008]該專利文獻公開了一種應用于網(wǎng)絡流量分析的方法，是將互聯(lián)網(wǎng)業(yè)務進行會話跟蹤分析，提取每一個會話的流量、業(yè)務服務質量(QoS)、會話狀態(tài)信息等，這些信息形成業(yè)務會話統(tǒng)計信息數(shù)據(jù)庫。該專利文獻基于統(tǒng)計學理論，解決了當前網(wǎng)絡應用業(yè)務飛速發(fā)展更新頻繁情況下，通過對應用層業(yè)務數(shù)據(jù)的完整分析，避免了傳統(tǒng)基于Ci sco Netflow技術只能分析TCP/IP的第四層協(xié)議以下信息的弊端，避免NetFlow基于抽樣統(tǒng)計的數(shù)據(jù)采樣技術的信息失真，在網(wǎng)絡流量分析、業(yè)務服務質量測量、異常流量識別方面，具有非常重要的意義。本發(fā)明基于應用層業(yè)務檢測技術和流量統(tǒng)計測試技術，統(tǒng)計結果準確，便于復雜網(wǎng)絡環(huán)境下的網(wǎng)絡維護、安全定位、業(yè)務質量控制等。
[0009]技術要點比較:
[0010]該專利文獻只探測網(wǎng)絡應用層面的流量、異常流量、業(yè)務服務質量之類的指標，對于具體業(yè)務方面的監(jiān)控幾乎沒有涉及，所以只是普通網(wǎng)絡應用層面通用指標監(jiān)控，對于需要重點監(jiān)控的具體業(yè)務端口的監(jiān)控能力就顯得不足，具體業(yè)務的異常指標無法全面展現(xiàn)。異常告警方面也比較簡單，沒有重點提示和完整展現(xiàn)。
[0011]本發(fā)明提供了業(yè)務端口層面的網(wǎng)絡監(jiān)控，不但有網(wǎng)絡流量的監(jiān)控，還有監(jiān)控具體業(yè)務網(wǎng)絡端口上的指標如0窗口、TCP重傳、應用延時、客戶端延時、網(wǎng)絡延時。而且在告警方面提供多維度的告警視圖，能及時的全面了解網(wǎng)絡和業(yè)務異常情況，幫助定位和解決異常提供及時、可靠、準確的參考依據(jù)。
[0012]相關檢索結果2:
[0013]申請?zhí)?201310749557.0
[0014]名稱:一種基于分布式的網(wǎng)絡流量分析系統(tǒng)及方法
[0015]該專利文獻公開了一種基于分布式的網(wǎng)絡流量分析系統(tǒng)及方法。該專利文獻運用分布式技術，構建了可用于大規(guī)模網(wǎng)絡流量數(shù)據(jù)分析的網(wǎng)絡流量分析系統(tǒng)。所述系統(tǒng)包括:Web服務器、流量分析系統(tǒng)集群和文件服務器。所述系統(tǒng)首先通過流量采集模塊采集網(wǎng)絡中流量信息，然后提取出所述原始流量信息中的網(wǎng)絡層、傳輸層和應用層信息，再通過對所述網(wǎng)絡層、傳輸層和應用層信息進行分析處理，主要對總流量情況、IP到IP流量數(shù)據(jù)、IP層網(wǎng)絡數(shù)據(jù)信息以及應用層協(xié)議信息進行分析，為企事業(yè)用戶提供方便、快捷和安全的網(wǎng)絡在線服務。
[0016]技術要點比較:
[0017]該專利文獻雖然采用了分布式的架構，但還是存在單點故障、系統(tǒng)擴展方面的不足。對于網(wǎng)絡流量數(shù)據(jù)的統(tǒng)計和展現(xiàn)方面也有明顯不足，過于單一，無具體網(wǎng)絡指標如重傳、延時的分析。
[0018]本發(fā)明采用集群架構，對于系統(tǒng)的擴展性、健壯性有著明顯優(yōu)勢。網(wǎng)絡發(fā)展非常快速，流量增長也是幾何級別增長，所以采用與大數(shù)據(jù)結合的集群架構可以很好解決系統(tǒng)容量的無限擴展。分析指標更具針對性，如0窗口、TCP重傳、延時等。
[0019]綜上所述，現(xiàn)有技術顯然存在著不足之處，但隨著大數(shù)據(jù)技術的出現(xiàn)，并且不斷的成熟，可以考慮結合它的優(yōu)點應用于系統(tǒng)中，從而能夠很好的改進系統(tǒng)。

【發(fā)明內(nèi)容】

[0020]針對現(xiàn)有技術中的缺陷，本發(fā)明的目的是提供一種以大數(shù)據(jù)流式技術實現(xiàn)網(wǎng)絡數(shù)據(jù)包的分析方法及系統(tǒng)。
[0021]根據(jù)本發(fā)明提供的一種以大數(shù)據(jù)流式技術實現(xiàn)網(wǎng)絡數(shù)據(jù)包的分析方法，包括重傳指標分析步驟和/或延時指標分析步驟；
[0022]所述重傳指標分析步驟，包括如下步驟:
[0023]步驟A:得到各個TCP報文的特征字符串，具體為:
[0024]將TCP報文頭信息中的報文序號seq、確認號ack、源IP、目的IP以字符串形式組成特征字符串，其中，源IP表示TCP/IP協(xié)議中發(fā)送方IP，目的IP表示TCP/IP協(xié)議中接收方IP ;
[0025]步驟B:統(tǒng)計相同的特征字符串的數(shù)量，將所述相同的特征字符串的數(shù)量作為TCP重傳報文數(shù)量；
[0026]所述延時指標分析步驟，包括如下步驟:
[0027]步驟1:將數(shù)據(jù)流按時間T為時間間隔進行分片；
[0028]步驟2:通過Spark Streaming實時計算框架的滑動窗口操作將分片得到的連續(xù)數(shù)據(jù)作為一次計算處理的數(shù)據(jù)轉換成時間T的DStream數(shù)據(jù)集；
[0029]步驟3:將時間T的DStream數(shù)據(jù)集進行map轉換得到報文集合map，然后將報文集合map進行一次groupByKey操作，產(chǎn)生key值唯一的報文集合map ;其中，key表示報文集合map中的鍵；
[0030]步驟4:將從key值唯一的報文集合map中提取出的報文數(shù)量大于2的報文集合map，組成一個新報文集合map ；
[0031]步驟5:對所述新報文集合map進行遍歷，計算出所述新報文集合map中的值之間的時間間隔，即:
[0032]Ta= T2-T!,
[0033]Tb=T3_T2，
[0034]Tc= T3-T1；
[0035]其中，1；表示應用延時時間值，Τ #示客戶端延時時間值，Τ。表示網(wǎng)絡延時時間值，!\表示第一次握手報文時間戳，1~2表示第二次握手報文時間戳，1~3表示第三次握手報文時間戳；
[0036]步驟6:將時間Τ內(nèi)的所有Ta、Tb、T。分別計算出平均值和最大值作為網(wǎng)絡延時指標。
[0037]優(yōu)選地，在報文集合map中:
[0038]客戶端發(fā)送的SYN = 1、ACK = 0的握手報文的key的計算公式為:
[0039]key =源IP+源端口 +目的IP+目的端口 +報文序號seq ；
[0040]服務端回復的SYN = 1，ACK = 1的確認報文的key的計算公式為:
[0041 ] key =目的IP+目的端口 +源IP+源端口 + (報文確認號ack_l)；
[0042]其他報文的key的計算公式為:
[0043]key =源IP+源端口 +目的IP+目的端口 + (報文序號seq_l)。
[0044]根據(jù)本發(fā)明提供的一種以大數(shù)據(jù)流式技術實現(xiàn)網(wǎng)絡數(shù)據(jù)包的網(wǎng)絡指標計算裝置，包括重傳指標分析裝置和/或延時指標分析裝置；
[0045]所述重傳指標分析裝置，包括如下裝置:
[0046]獲取裝置:用于得到各個TCP報文的特征字符串，具體為:
[0047]將TCP報文頭信息中的報文序號seq、確認號ack、源IP、目的IP以字符串形式組成特征字符串，其中，源IP表示TCP/IP協(xié)議中發(fā)送方IP，目的IP表示TCP/IP協(xié)議中接收方IP ;
[0048]統(tǒng)計裝置:用于統(tǒng)計相同的特征字符串的數(shù)量，將所述相同的特征字符串的數(shù)量作為TCP重傳報文數(shù)量；
[0049]所述延時指標分析裝置，包括如下裝置:
[0050]分片裝置:用于將數(shù)據(jù)流按時間T為時間間隔進行分片；
[0051]第一轉換裝置:用于通過Spark Streaming實時計算框架的滑動窗口操作將分片得到的連續(xù)數(shù)據(jù)轉換成時間T的DStream數(shù)據(jù)集；
[0052]第二轉換裝置:用于將時間T的DStream數(shù)據(jù)集進行map轉換得到報文集合map，然后將報文集合map進行一次groupByKey操作，產(chǎn)生key值唯一的報文集合map ;其中，key表示報文集合map中的鍵；
[0053]提取裝置:用于將從key值唯一的報文集合map中提取出的報文數(shù)量大于2的報文集合map，組成一個新報文集合map ；
[0054]計算裝置:用于對所述新報文集合map進行遍歷，計算出所述新報文集合map中的值之間的時間間隔，即:
[0055]m
[0056]Tb=T3_T2，
[0057]Tc= T3-T1；
[0058]其中，1；表示應用延時時間值，Tb表示客戶端延時時間值，T。表示網(wǎng)絡延時時間值，!\表示第一次握手報文時間戳，T 2表示第二次握手報文時間戳，T 3表示第三次握手報文時間戳；
[0059]處理裝置:用于將時間T內(nèi)的所有Ta