流量數(shù)據(jù)分析方法及流量數(shù)據(jù)分析系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及網絡技術，更具體地，涉及對網絡環(huán)境中進出應用系統(tǒng)的流量數(shù)據(jù)的分析。
【背景技術】
[0002]隨著互聯(lián)網應用的快速發(fā)展，基于云架構的web類的應用系統(tǒng)逐漸增多；加之繁雜的業(yè)務功能、千差萬別的客戶訪問路徑、高并發(fā)的訪問需求，導致數(shù)據(jù)中心在web類系統(tǒng)的運營與維護成為了一個難點和重點。
[0003]在國內開展web類系統(tǒng)運維的單位很多，但基本都是通過日志收集的方式進行分析。存在的主要問題是:基于日志的分析，非常依賴于應用系統(tǒng)記錄日志的準確性和完整性。為了保證準確性，就必須充分要求應用代碼保證邏輯的正確性；為了保證完整性，就必須要求將盡量多的信息輸出到日志里面。
[0004]基于日志的這種分析方式，其與應用系統(tǒng)本身存在較高的關聯(lián)性。日志記錄不詳細，不足以確保完整性，日志記錄太詳細將會給應用程序的性能及主機的磁盤空間帶來相當大的消耗。
[0005]當對應用系統(tǒng)變更監(jiān)控或業(yè)務需求時，應用系統(tǒng)本身及日志采集分析系統(tǒng)都需要適應性的進行調整，所額外產生的成本是比較大的，并且不夠靈活。

【發(fā)明內容】

[0006]本發(fā)明意在提供一種流量數(shù)據(jù)分析方法，用于分析被監(jiān)測的應用系統(tǒng)的流量數(shù)據(jù)，其包括:對于被監(jiān)測的應用系統(tǒng)，將進出其的流量鏡像到流量服務器的網絡連接設備；基于預設參數(shù)，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數(shù)相關的數(shù)據(jù)，并將所獲取的數(shù)據(jù)形成為第一格式的文件；將所形成的第一格式的文件按順序發(fā)送到第一消息中間件的與該文件對應的第一管道；自所述第一管道取出所接收的第一格式的文件時，并自其獲取所需信息，將所獲取的信息轉換成第二格式的文件；將第二格式的文件逐個發(fā)送給第二消息中間件的第二管道；在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數(shù)據(jù)庫中。
[0007]根據(jù)本發(fā)明的示例，優(yōu)選地，將進出其的流量鏡像到流量服務器的網絡連接設備是基于SPAN (Switched Port Analyzer)技術將流量鏡像到流量服務器的網絡連接設備。
[0008]根據(jù)本發(fā)明的示例，優(yōu)選地，所述網絡連接設備是網卡。
[0009]根據(jù)本發(fā)明的示例，優(yōu)選地，將所形成的第一格式的文件按順序發(fā)送到第一消息中間件是按照所述第一格式文件形成的時間順序發(fā)送所述第一格式的文件到第一消息中間件。
[0010]根據(jù)本發(fā)明的示例，優(yōu)選地，將第二格式的文件逐個發(fā)送給第二信息中間件的第二管道中是按照第二格式的文件形成的時間順序逐個地將第二格式的文件發(fā)送給第二信息中間件的第二管道。
[0011]根據(jù)本發(fā)明的示例，優(yōu)選地，在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數(shù)據(jù)庫中包括:a)監(jiān)測所述第二管道，在其接收到第二格式的文件時，解析構成該文件的每個分包，進行相關的請求與響應；以及b)根據(jù)不同的協(xié)議，分析所進行的相關的請求與響應，將所得到的信息存儲到建立的數(shù)據(jù)庫中。
[0012]根據(jù)本發(fā)明的示例，優(yōu)選地，所述抓包工具為TCPDUMP，所述第一格式為PCAP(Packet Capture)格式,所述第一管道為PCAP包隊列管道,所述第二格式為XML格式,所述第二管道為組包管道，以及所述步驟a)中，解析構成該文件的每個分包是解析該文件中的每個TCP分包，解析TCP鏈路的請求和響應，所述步驟b)中，根據(jù)不同的協(xié)議，分析所解析出的TCP鏈路的請求和響應，將所得到的信息存儲到建立的數(shù)據(jù)庫中。
[0013]本發(fā)明還提供一種流量數(shù)據(jù)分析系統(tǒng)，用于分析被監(jiān)測的應用系統(tǒng)的流量數(shù)據(jù)，其包括:鏡像模塊，其用于針對被監(jiān)測的應用系統(tǒng)，將進出其的流量鏡像到流量服務器的網絡連接設備；抓包模塊，其用于基于預設參數(shù)，從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數(shù)相關的數(shù)據(jù)，并將所獲取的數(shù)據(jù)形成為第一格式的文件；第一存儲模塊，其用于存儲第一格式的文件；第一發(fā)送模塊，其用于將所述第一格式的文件按照順序發(fā)送到第一消息中間件的與該文件對應的第一管道；第一監(jiān)測處理模塊，其用于監(jiān)測所述第一管道，且在監(jiān)測到所述第一管道接收到第一格式的文件時，取出所接收的文件，自其獲取所需信息，并將所獲取的信息轉換成第二格式的文件；第二發(fā)送模塊，其用于將第二格式的文件逐個發(fā)送給第二消息中間件的第二管道中；第二監(jiān)測處理模塊，其用于監(jiān)測所述第二管道，并在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數(shù)據(jù)庫中。
[0014]根據(jù)本發(fā)明的流量數(shù)據(jù)分析系統(tǒng)，優(yōu)選地，所述鏡像模塊基于SPAN技術將流量鏡像到流量服務器的網絡連接設備。
[0015]根據(jù)本發(fā)明的流量數(shù)據(jù)分析系統(tǒng)，優(yōu)選地，所述網絡連接設備是網卡。
[0016]根據(jù)本發(fā)明的流量數(shù)據(jù)分析系統(tǒng)，優(yōu)選地，所述第一發(fā)送模塊設置成按照所述第一格式文件形成的時間順序發(fā)送所述第一格式的文件。
[0017]根據(jù)本發(fā)明的流量數(shù)據(jù)分析系統(tǒng)，優(yōu)選地，所述第二發(fā)送模塊按照第二格式的文件形成的時間順序逐個地發(fā)送第二格式的文件。
[0018]根據(jù)本發(fā)明的流量數(shù)據(jù)分析系統(tǒng)，優(yōu)選地，所述抓包工具為TCPDUMP，所述第一格式為PCAP格式，所述第一管道為PCAP包隊列管道，所述第二格式為XML格式，所述第二管道為組包管道。
【附圖說明】
[0019]圖1是根據(jù)本發(fā)明示例的流量數(shù)據(jù)分析方法的流程圖。
[0020]圖2是根據(jù)本發(fā)明示例的流量數(shù)據(jù)分析系統(tǒng)的結構示意圖。
【具體實施方式】
[0021 ] 現(xiàn)在參照附圖描述本發(fā)明的示意性示例，相同的附圖標號表示相同的元件。下文描述的各實施例有助于本領域技術人員透徹理解本發(fā)明，且意在示例而非限制。圖中各元件、部件、單元、裝置的圖示不一定按比例繪制，僅示意性表明這些元件、部件、模塊、裝置之間的相對關系。
[0022]圖1是根據(jù)本發(fā)明示例的流量數(shù)據(jù)分析方法的流程圖。示例而非限制地，在本文下文的描述中，該分析方法用于分析被監(jiān)測的應用系統(tǒng)的流量數(shù)據(jù)。此外，在本文如下的所有的示例中，該應用系統(tǒng)示例為基于云架構的web類應用系統(tǒng)但并不以此為限制。其它非web類的應用系統(tǒng)同樣可采用根據(jù)本發(fā)明所述的流量數(shù)據(jù)分析方法以及圖2中示意的流量數(shù)據(jù)分析系統(tǒng)。
[0023]如圖1所示，在步驟100，對于被監(jiān)測的應用系統(tǒng)，將進出其的流量鏡像到測試環(huán)境中的流量服務器的網絡連接設備。舉例來說，通過SPAN技術將進出該應用環(huán)境的流量鏡像到流量服務器的網卡。進出該應用環(huán)境的流量至少可包括對該應用環(huán)境的訪問以及該應用環(huán)境所作的響應。測試環(huán)境的流量服務器可通過電纜等與應用環(huán)境的相關設備電連接，以便實現(xiàn)如本步驟所述的將進出其的流量鏡像到測試環(huán)境中的流量服務器的網絡連接設備。作為示例而非限制，流量服務器可以包括兩塊網卡，一塊用于管理登錄使用，一塊用于接收所鏡像的流量。
[0024]在步驟102，基于預設參數(shù)，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數(shù)相關的數(shù)據(jù)，并將所獲取的數(shù)據(jù)形成為第一格式的文件，所形成的第一格式的文件可進而被存儲。例如，通過網絡抓包命令TCPDUMP來從被鏡像到流量服務器的網卡上的流量中，基于IP地址、端口等預設參數(shù)，將與預設的IP地址、端口有關的數(shù)據(jù)形成為PCAP的格式的文件，可將所形成的PCAP格式的文件存儲在硬盤中，該硬盤可以是流量服務器的硬盤，也可是流量服務器的外設硬盤。除了 TCPDUM