多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)，所述方法包括：采集流量數(shù)據(jù)；在所述采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流，其中所述五元組包括：源IP、目的IP、源接口、目的接口、服務(wù)類型標(biāo)記TOS隊(duì)列；獲取與所述匯聚出的流對應(yīng)的流量信息，其中所述流量信息包括：源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房；將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫；通過所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。通過采用本發(fā)明可以通過支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫更為高效地多維度查詢海量流量數(shù)據(jù)。
【專利說明】多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，更為具體而言，涉及多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)業(yè)務(wù)規(guī)模的擴(kuò)大，機(jī)構(gòu)內(nèi)部流量傳輸越來越多，不規(guī)范的流量傳輸會(huì)導(dǎo)致跨機(jī)房流量擁塞，最終導(dǎo)致業(yè)務(wù)訪問受損，影響業(yè)務(wù)的正常訪問。因此對于網(wǎng)絡(luò)管理人員需要快速對海量流量數(shù)據(jù)進(jìn)行多維度的查詢，以掌握網(wǎng)絡(luò)流量的實(shí)時(shí)狀況，網(wǎng)內(nèi)應(yīng)用及不同業(yè)務(wù)在不同時(shí)間段的使用情況，快速展示某個(gè)時(shí)間段內(nèi)的流量概況，掌握跨機(jī)房網(wǎng)絡(luò)負(fù)載狀況，以及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的不合理，快速定位擁塞流量歸屬，避免網(wǎng)絡(luò)帶寬和服務(wù)器瓶頸問題。然而，在現(xiàn)有技術(shù)中通常使用關(guān)系型數(shù)據(jù)庫進(jìn)行多維度查詢，但是對于大規(guī)模的流量數(shù)據(jù)的查詢關(guān)系型數(shù)據(jù)庫難以支持，另外對于多種維度的聯(lián)合查詢來說，包括分布式數(shù)據(jù)庫在內(nèi)也難以滿足需求。


【發(fā)明內(nèi)容】

[0003]為有效地解決上述技術(shù)問題，本發(fā)明提供了一種多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)。
[0004]一方面，本發(fā)明的實(shí)施方式提供了一種多維度查詢流量數(shù)據(jù)的方法，所述方法包括:
[0005]采集流量數(shù)據(jù)；
[0006]在所述采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流，其中所述五元組包括:源IP、目的IP、源接口、目的接口、TOS隊(duì)列；
[0007]獲取與所述匯聚出的流對應(yīng)的流量信息，其中所述流量信息包括:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房；
[0008]將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫；
[0009]通過所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
[0010]另一方面，本發(fā)明的實(shí)施方式提供了一種多維度查詢流量數(shù)據(jù)的系統(tǒng)，所述系統(tǒng)包括:
[0011]采集模塊，用于采集流量數(shù)據(jù)；
[0012]匯聚模塊，用于在所述采集模塊所采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流，其中所述五元組包括:源IP、目的IP、源接口、目的接口、TOS隊(duì)列；
[0013]獲取模塊，用于獲取與所述匯聚模塊所匯聚出的流對應(yīng)的流量信息，其中所述流量信息包括:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房；
[0014]存儲(chǔ)模塊，用于將所述獲取模塊所獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫；
[0015]多維度查詢模塊，用于通過所述存儲(chǔ)模塊所存儲(chǔ)至的支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
[0016]實(shí)施本發(fā)明提供的多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)通過使用支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫可以更為高效地多維度查詢海量流量數(shù)據(jù)。

【專利附圖】

【附圖說明】
[0017]圖1是根據(jù)本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的方法的流程圖；
[0018]圖2示出了圖1所示的步驟S130的一種實(shí)施方式；
[0019]圖3示出了圖1所示的步驟S140的一種實(shí)施方式；
[0020]圖4示出了本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的框架圖；
[0021]圖5是根據(jù)本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0022]為使本發(fā)明的實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明作進(jìn)一步地詳細(xì)描述。
[0023]圖1是根據(jù)本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的方法的流程圖。參見圖1，該方法包括:
[0024]SllO:采集流量數(shù)據(jù)。
[0025]其中，在本發(fā)明的實(shí)施方式中，可以通過基于網(wǎng)絡(luò)流信息的統(tǒng)計(jì)技術(shù)采集所述流量數(shù)據(jù)，例如通過Netstream(提供報(bào)文統(tǒng)計(jì)功能，它根據(jù)報(bào)文的目的ip地址、目的端口號、源ip地址、源端口號、協(xié)議號和TOS(三層數(shù)據(jù)包的服務(wù)類型標(biāo)記)來區(qū)分流信息，并針對不同的流信息進(jìn)行獨(dú)立的數(shù)據(jù)統(tǒng)計(jì))板卡進(jìn)行采集。
[0026]S120:在所述采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流，其中所述五元組包括:源IP、目的IP、源接口、目的接口、TOS隊(duì)列。其中流又稱為網(wǎng)絡(luò)流，指在一段時(shí)間內(nèi)，一個(gè)源IP地址和目的IP地址之間傳輸?shù)膯蜗驁?bào)文流，所有報(bào)文具有相同的源端口號、目的端口號、協(xié)議號和源、目的IP地址，即五元組內(nèi)容相同。
[0027]S130:獲取與所述匯聚出的流對應(yīng)的流量信息，其中所述流量信息可以包括，但不限于:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房。
[0028]其中，如圖2所示，在本發(fā)明的實(shí)施方式中可以通過以下方式實(shí)現(xiàn)步驟S130:
[0029]S131:根據(jù)所述流的源IP，獲取所述源網(wǎng)段；
[0030]S132:根據(jù)所述獲取到的源網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述源機(jī)房；
[0031]S133:根據(jù)所述源IP以及業(yè)務(wù)元數(shù)據(jù)，獲取所述源產(chǎn)品線；
[0032]S134:根據(jù)所述流的目的IP，獲取所述目的網(wǎng)段；
[0033]S135:根據(jù)所述獲取到的目的網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述目的機(jī)房；
[0034]S136:根據(jù)所述目的IP以及業(yè)務(wù)元數(shù)據(jù)，獲取所述目的產(chǎn)品線。
[0035]當(dāng)然，上述的實(shí)現(xiàn)過程僅是示例性的，對于獲取源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房的順利可以根據(jù)需要進(jìn)行相應(yīng)的變化。
[0036]并且，在本發(fā)明的實(shí)施方式中，上述流量信息還可以包括流量值。因此該步驟S130的具體實(shí)現(xiàn)中還可以包括:在執(zhí)行步驟S120后，對含有相同五元組的流量數(shù)據(jù)進(jìn)行累加，并將所述累加的結(jié)果作為所述流的流量值。
[0037]S140:將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫。
[0038]其中，在本發(fā)明的實(shí)施方式中，示例性地，該支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫例如可以是Palo數(shù)據(jù)庫，其為一款百度公司的面向分析的大規(guī)模數(shù)據(jù)庫系統(tǒng)，其主要用于支撐穩(wěn)定的、在線的、交互式的數(shù)據(jù)報(bào)表和0LAP(0n_Line Analytical Processing，聯(lián)機(jī)分析處理)服務(wù)(聯(lián)機(jī)分析處理是共享多維信息的，針對特定問題的聯(lián)機(jī)處理訪問和分析的快速軟件技術(shù)，它通過對信息的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。決策數(shù)據(jù)是多維數(shù)據(jù)，多維數(shù)據(jù)就是決策的主要內(nèi)容)，Palo數(shù)據(jù)庫的一個(gè)很大的特色是:滿足報(bào)表和OLAP分析這兩類不同的需求。Palo底層實(shí)現(xiàn)基于HDFS文件系統(tǒng)。
[0039]并且，為提高多維度查詢的效率，在本發(fā)明的一種優(yōu)選的實(shí)施方式中，在執(zhí)行所述步驟S140之前，可以根據(jù)查詢特點(diǎn)，獲取查詢字段組合；根據(jù)所述獲取到的查詢字段組合建立上卷表。其中上卷表是對某些常用的維度組合建立的聚合表，可以減少數(shù)據(jù)量并提高對常用維度數(shù)據(jù)的查詢效率。
[0040]如圖3所示，在本發(fā)明的實(shí)施方式中，該步驟S140具體地可以通過以下方式實(shí)現(xiàn):
[0041]S141:將所述獲取到的流量信息與所述流的五元組對應(yīng)的保存至文本文件，并將所述文本文件導(dǎo)入到Hadoop (Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，Hadoop的框架最核心的設(shè)計(jì)就是:HDFS(Hadoop Distributed File System,一種分布式文件系統(tǒng))和Map Reduce (—種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算)。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則Map Reduce為海量的數(shù)據(jù)提供了計(jì)算)；
[0042]S142:該Hadoop對所述文本文件進(jìn)行拆分并加載到Palo數(shù)據(jù)庫的不同節(jié)點(diǎn)。
[0043]其中，在本發(fā)明的實(shí)施方式中，例如可以通過哈希算法(可以依據(jù)所述節(jié)點(diǎn)的數(shù)量)對所述文本文件進(jìn)行拆分。
[0044]S150:通過所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
[0045]以下結(jié)合具體的例子對本發(fā)明的實(shí)施方式進(jìn)行具體說明。
[0046]圖4示出了本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的框架圖。參見圖4，本發(fā)明的具體流程如下:
[0047]I)將網(wǎng)絡(luò)核心交換機(jī)端口流量數(shù)據(jù)通過netstream板卡鏡像出來，以高效地對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行收集，其自定義配置采樣比與網(wǎng)絡(luò)流相關(guān)參數(shù)，并以netf low ( 一種數(shù)據(jù)交換方式，其工作原理是:流的第一個(gè)IP包數(shù)據(jù)，生成netflow緩存，隨后同樣的數(shù)據(jù)基于緩存信息在同一個(gè)數(shù)據(jù)流中進(jìn)行傳輸，不再匹配相關(guān)的訪問控制等策略，netflow緩存同時(shí)包含了隨后數(shù)據(jù)流的統(tǒng)計(jì)信息)v9協(xié)議形式進(jìn)行傳輸，其中可以根據(jù)核心交換機(jī)的數(shù)量配置netstream板卡，以獲取良好的擴(kuò)展性，支持更大規(guī)模的流量數(shù)據(jù)的處理；
[0048]2)netflow接收模塊flowagent (netflow流量數(shù)據(jù)接收模塊，用于接收解析網(wǎng)絡(luò)設(shè)備netflow流數(shù)據(jù))接收netstream板卡數(shù)據(jù)，解析netflow報(bào)文，按照五元組將流量數(shù)據(jù)匯聚成流，可以按照分鐘粒度進(jìn)行匯聚并把相同五元組的流量數(shù)據(jù)進(jìn)行累加以獲取數(shù)據(jù)量，并對netstream采樣數(shù)據(jù)根據(jù)采樣比進(jìn)行還原，并保存成DI文件，并傳輸?shù)綌?shù)據(jù)預(yù)處理模塊；
[0049]3)數(shù)據(jù)預(yù)處理模塊將接收到的流量數(shù)據(jù)結(jié)合網(wǎng)絡(luò)元數(shù)據(jù)(用于獲取網(wǎng)段(默認(rèn)為段I？地址)與機(jī)房的對應(yīng)關(guān)系)與業(yè)務(wù)元數(shù)據(jù)(用于獲取I？地址與產(chǎn)品線信息的對應(yīng)關(guān)系)，得到流對應(yīng)的源、目的產(chǎn)品線信息，源、目的網(wǎng)段信息，源、目的機(jī)房信息，并保存成文本文件(該文本文件具體記錄各個(gè)流的五元組以及流對應(yīng)的源、目的產(chǎn)品線信息，源、目的網(wǎng)段信息，源、目的機(jī)房信息，數(shù)據(jù)量以及五元組的時(shí)間等信息)，將該文本文件導(dǎo)入到
[0050]4) ^(1001)對該文本文件進(jìn)行運(yùn)算拆分(可以通過哈希算法進(jìn)行拆分)后加載到數(shù)據(jù)庫的不同節(jié)點(diǎn)，其中？00數(shù)據(jù)庫可以預(yù)先根據(jù)上層應(yīng)用的查詢特點(diǎn)建立上卷表
(選取經(jīng)常查詢的字段組合建立)，可以實(shí)現(xiàn)十余種維度的關(guān)聯(lián)查詢，有效地提高查詢效率；
[0051]5)^^10節(jié)點(diǎn)加載數(shù)據(jù)后，按照3嘰協(xié)議形式提供對海量數(shù)據(jù)的并發(fā)實(shí)時(shí)查詢；
[0052]6)數(shù)據(jù)查詢方案采用110八0^1:8八?688，統(tǒng)一數(shù)據(jù)訪問接口)，對所有的查詢生成唯一的匕“主鍵)，并將結(jié)果緩存在—種高性能的1^67-^1116數(shù)據(jù)庫)里面，其生存時(shí)間設(shè)置為36008。
[0053]由于？00數(shù)據(jù)庫采用高效分布式數(shù)據(jù)導(dǎo)入，底層采用他如叩進(jìn)行數(shù)據(jù)預(yù)處理，因此相對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或分布式關(guān)系數(shù)據(jù)庫來說能夠?qū)崿F(xiàn)大規(guī)模數(shù)據(jù)查詢，同時(shí)還可以進(jìn)行多維度統(tǒng)計(jì)分析，計(jì)算多種統(tǒng)計(jì)指標(biāo)，以更為深入的了解網(wǎng)絡(luò)流量分布。基于此可以進(jìn)一步提供流量審計(jì)、網(wǎng)絡(luò)成本分?jǐn)?、業(yè)務(wù)部署規(guī)劃、網(wǎng)絡(luò)基礎(chǔ)設(shè)施擴(kuò)建、業(yè)務(wù)流量監(jiān)控，全方位對網(wǎng)絡(luò)流量進(jìn)行分析和管理。
[0054]圖5是根據(jù)本發(fā)明實(shí)施方式的多維度查詢流量數(shù)據(jù)的系統(tǒng)的結(jié)構(gòu)示意圖。參見圖5，該系統(tǒng)100包括:
[0055]采集模塊110，用于采集流量數(shù)據(jù)。
[0056]其中，在本發(fā)明的實(shí)施方式中，該采集模塊110可以包括:統(tǒng)計(jì)技術(shù)采集單元，用于通過基于網(wǎng)絡(luò)流信息的統(tǒng)計(jì)技術(shù)采集所述流量數(shù)據(jù)，具體地，該統(tǒng)計(jì)技術(shù)采集單元例如可以采用上述的1161:81:1~6肅板卡。
[0057]匯聚模塊120，用于在所述采集模塊110所采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流，其中所述五元組包括:源I？、目的I？、源接口、目的接口、103隊(duì)列，其中，該匯聚模塊120例如可以采用上述的界接收模塊？10冊86111^
[0058]獲取模塊130，用于獲取與所述匯聚模塊120所匯聚出的流對應(yīng)的流量信息，其中所述流量信息包括:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房、目的機(jī)房。
[0059]其中，在本發(fā)明的實(shí)施方式中，該獲取模塊130可以包括，但不限于:
[0060]源網(wǎng)段獲取單元，用于根據(jù)所述流的源I？，獲取所述源網(wǎng)段；
[0061]源機(jī)房獲取單元，用于根據(jù)所述源網(wǎng)段獲取單元獲取到的源網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述源機(jī)房；
[0062]源產(chǎn)品線獲取單元，用于根據(jù)所述源I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述源產(chǎn)品線；
[0063]目的網(wǎng)段獲取單元，用于根據(jù)所述流的目的I？，獲取所述目的網(wǎng)段；
[0064]目的機(jī)房獲取單元，用于根據(jù)所述目的網(wǎng)段獲取單元獲取到的目的網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述目的機(jī)房；
[0065]目的產(chǎn)品線獲取單元，用于根據(jù)所述目的I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述目的產(chǎn)品線。
[0066]并且，在本發(fā)明的實(shí)施方式中，上述流量信息還可以包括流量值。因此該獲取模塊130還可以包括:流量值獲取單元，用于對含有相同五元組的流量數(shù)據(jù)進(jìn)行累加，將所述累加的結(jié)果作為所述流的流量值。
[0067]存儲(chǔ)模塊140，用于將所述獲取模塊130所獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫。
[0068]其中，在本發(fā)明的實(shí)施方式中，示例性地該支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫例如可以是？00數(shù)據(jù)庫。
[0069]并且，在發(fā)明的實(shí)施方式中，該存儲(chǔ)模塊140可以包括，但不限于:
[0070]保存單元，用于將所述獲取到的流量信息與所述流的五元組對應(yīng)的保存至文本文件；
[0071]加載單元，用于對所述保存單元所保存至的文本文件進(jìn)行拆分并加載到所述數(shù)據(jù)庫的不同節(jié)點(diǎn)，其中該加載單元可以包括:哈希拆分組件，用于通過哈希算法對所述文本文件進(jìn)行拆分。
[0072]多維度查詢模塊150，用于通過所述存儲(chǔ)模塊140所存儲(chǔ)至的支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
[0073]為提高多維度查詢的效率，在本發(fā)明的一種優(yōu)選的實(shí)施方式中，該系統(tǒng)100還可以包括:
[0074]查詢字段組合獲取模塊，用于根據(jù)查詢特點(diǎn)，獲取查詢字段組合；
[0075]上卷表建立模塊，用于根據(jù)所述查詢字段組合獲取模塊獲取到的查詢字段組合建立上卷表。
[0076]以上僅是本發(fā)明實(shí)施方式的一個(gè)示例，本發(fā)明不限于此，在不脫離本發(fā)明的保護(hù)范圍的前提下，所述系統(tǒng)100的各個(gè)模塊可以各種方式進(jìn)行組合或合并，合并后的模塊統(tǒng)一實(shí)現(xiàn)合并前的各個(gè)模塊各自的功能，例如可以該獲取模塊130以及存儲(chǔ)模塊140合并為上述的數(shù)據(jù)預(yù)處理模塊。
[0077]實(shí)施本發(fā)明提供的多維度查詢流量數(shù)據(jù)的方法及系統(tǒng)可以通過支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫更為高效地多維度查詢海量流量數(shù)據(jù)。
[0078]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件結(jié)合硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以全部通過硬件來實(shí)施?；谶@樣的理解，本發(fā)明的技術(shù)方案對【背景技術(shù)】做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在存儲(chǔ)介質(zhì)中，如801/狀1、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，智能手機(jī)或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0079]本發(fā)明說明書中使用的術(shù)語和措辭僅僅為了舉例說明，并不意味構(gòu)成限定。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離所公開的實(shí)施方式的基本原理的前提下，對上述實(shí)施方式中的各細(xì)節(jié)可進(jìn)行各種變化。因此，本發(fā)明的范圍只由權(quán)利要求確定，在權(quán)利要求中，除非另有說明，所有的術(shù)語應(yīng)按最寬泛合理的意思進(jìn)行理解。
【權(quán)利要求】
1.一種多維度查詢流量數(shù)據(jù)的方法，其特征在于，所述方法包括: 采集流量數(shù)據(jù)； 在所述采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流； 獲取與所述匯聚出的流對應(yīng)的流量信息； 將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫； 通過所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
2.如權(quán)利要求1所述的方法，其特征在于， 所述五元組包括:源I？、目的I？、源接口、目的接口以及服務(wù)類型標(biāo)記丁03隊(duì)列。
3.如權(quán)利要求1所述的方法，其特征在于， 所述流量信息包括:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房以及目的機(jī)房。
4.如權(quán)利要求1所述的方法，其特征在于，所述采集流量數(shù)據(jù)包括: 通過基于網(wǎng)絡(luò)流信息的統(tǒng)計(jì)技術(shù)采集所述流量數(shù)據(jù)。
5.如權(quán)利要求2所述的方法，其特征在于，獲取與所述匯聚出的流對應(yīng)的流量信息包括: 根據(jù)所述流的源I？，獲取所述源網(wǎng)段； 根據(jù)所述獲取到的源網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述源機(jī)房； 根據(jù)所述源I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述源產(chǎn)品線； 根據(jù)所述流的目的I？，獲取所述目的網(wǎng)段； 根據(jù)所述獲取到的目的網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述目的機(jī)房； 根據(jù)所述目的I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述目的產(chǎn)品線。
6.如權(quán)利要求3所述的方法，其特征在于， 所述流量信息還包括流量值。
7.如權(quán)利要求6所述的方法，其特征在于，獲取與所述匯聚出的流對應(yīng)的流量信息還包括: 在執(zhí)行所述將含有相同五元組的流量數(shù)據(jù)匯聚成流后，對含有相同五元組的流量數(shù)據(jù)進(jìn)行累加， 將所述累加的結(jié)果作為所述流的流量值。
8.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 在執(zhí)行所述將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫之前，根據(jù)查詢特點(diǎn)，獲取查詢字段組合； 根據(jù)所述獲取到的查詢字段組合建立上卷表。
9.如權(quán)利要求1?8中任意一項(xiàng)所述的方法，其特征在于， 所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫包括數(shù)據(jù)庫。
10.如權(quán)利要求9所述的方法，其特征在于，將所述獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫包括: 將所述獲取到的流量信息與所述流的五元組對應(yīng)的保存至文本文件； 對所述文本文件進(jìn)行拆分并加載到數(shù)據(jù)庫的不同節(jié)點(diǎn)。
11.如權(quán)利要求10所述的方法，其特征在于，對所述文本文件進(jìn)行拆分包括: 通過哈希算法對所述文本文件進(jìn)行拆分。
12.—種多維度查詢流量數(shù)據(jù)的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 采集模塊，用于采集流量數(shù)據(jù)； 匯聚模塊，用于在所述采集模塊所采集到的流量數(shù)據(jù)中，將含有相同五元組的流量數(shù)據(jù)匯聚成流； 獲取模塊，用于獲取與所述匯聚模塊所匯聚出的流對應(yīng)的流量信息； 存儲(chǔ)模塊，用于將所述獲取模塊所獲取到的流量信息與所述流的五元組對應(yīng)地存儲(chǔ)至支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫； 多維度查詢模塊，用于通過所述存儲(chǔ)模塊所存儲(chǔ)至的支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫對所述流量數(shù)據(jù)進(jìn)行多維度查詢。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于， 所述五元組包括:源I？、目的I？、源接口、目的接口以及服務(wù)類型標(biāo)記丁03隊(duì)列。
14.如權(quán)利要求12所述的系統(tǒng)，其特征在于， 所述流量信息包括:源產(chǎn)品線、目的產(chǎn)品線、源網(wǎng)段、目的網(wǎng)段、源機(jī)房以及目的機(jī)房。
15.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述采集模塊包括: 統(tǒng)計(jì)技術(shù)采集單元，用于通過基于網(wǎng)絡(luò)流信息的統(tǒng)計(jì)技術(shù)采集所述流量數(shù)據(jù)。
16.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述獲取模塊包括: 源網(wǎng)段獲取單元，用于根據(jù)所述流的源I？，獲取所述源網(wǎng)段； 源機(jī)房獲取單元，用于根據(jù)所述源網(wǎng)段獲取單元獲取到的源網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述源機(jī)房； 源產(chǎn)品線獲取單元，用于根據(jù)所述源I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述源產(chǎn)品線； 目的網(wǎng)段獲取單元，用于根據(jù)所述流的目的I？，獲取所述目的網(wǎng)段； 目的機(jī)房獲取單元，用于根據(jù)所述目的網(wǎng)段獲取單元獲取到的目的網(wǎng)段以及網(wǎng)絡(luò)元數(shù)據(jù)，獲取所述目的機(jī)房； 目的產(chǎn)品線獲取單元，用于根據(jù)所述目的I？以及業(yè)務(wù)元數(shù)據(jù)，獲取所述目的產(chǎn)品線。
17.如權(quán)利要求14所述的系統(tǒng)，其特征在于， 所述流量信息還包括流量值。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述獲取模塊還包括: 流量值獲取單元，用于對含有相同五元組的流量數(shù)據(jù)進(jìn)行累加，將所述累加的結(jié)果作為所述流的流量值。
19.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 查詢字段組合獲取模塊，用于根據(jù)查詢特點(diǎn)，獲取查詢字段組合； 上卷表建立模塊，用于根據(jù)所述查詢字段組合獲取模塊獲取到的查詢字段組合建立上卷表。
20.如權(quán)利要求12?19中任意一項(xiàng)所述的系統(tǒng)，其特征在于， 所述支持聯(lián)機(jī)分析處理的數(shù)據(jù)庫包括數(shù)據(jù)庫。
21.如權(quán)利要求20所述的系統(tǒng)，其特征在于，所述存儲(chǔ)模塊包括: 保存單元，用于將所述獲取到的流量信息與所述流的五元組對應(yīng)的保存至文本文件； 加載單元，用于對所述保存單元所保存至的文本文件進(jìn)行拆分并加載到所述？00數(shù)據(jù)庫的不同節(jié)點(diǎn)。
22.如權(quán)利要求21所述的系統(tǒng)，其特征在于，所述加載單元包括: 哈希拆分組件，用于通過哈希算法對所述文本文件進(jìn)行拆分。
【文檔編號】H04L12/26GK104486116SQ201410767486
【公開日】2015年4月1日 申請日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】謝瑞俊, 王志, 陳云飛, 熊亞軍 申請人:北京百度網(wǎng)訊科技有限公司