一種面向深度包檢測產品的評估系統(tǒng)及評估方法
【技術領域】
[0001] 本發(fā)明涉及一種面向深度包檢測產品的評估系統(tǒng)及評估方法，屬于計算機應用技 術領域。
【背景技術】
[0002] 目前，市場上存在眾多的面向深度包檢測（DPI)產品，但運營商對于這些DPI產品 的具體性能尚缺乏客觀而具體的評估方法和體系，主要仍然依賴廠家對其產品的描述，無 法自動化的對其進行量化評估。
[0003] DPI識別規(guī)則屬于DPI系統(tǒng)廠家的核心競爭力，廠家不愿免費提供完整的明文DPI 規(guī)則，只愿意提供識別服務，但是該服務難以量化驗證準確性。同時，集團下發(fā)的DPI規(guī)則 庫和各廠家提供的規(guī)則之間沖突嚴重，各DPI系統(tǒng)提供商均稱其自身規(guī)則識別率高，其他 來源的規(guī)則識別率差，也不兼容其他來源的規(guī)則，無法制定準確性的驗證方案。
[0004] 因此，運營商實際面臨如下的具體需求：
[0005] 如何實時準確評估DPI特征庫的準確性；
[0006] 如何評估DPI對應用識別的覆蓋率；
[0007] 如何對廠家進行量化考核評比。

【發(fā)明內容】

[0008] 本發(fā)明解決的技術問題是：提出一種能夠實施DPI產品測試評估指標相關項目， 可滿足運營商實時準確評估DPI特征庫的準確性、評估DPI對應用識別的覆蓋率、對廠家進 行量化考核評比，為DPI產品的量化打分提供基礎的面向深度包檢測產品的評估系統(tǒng)及評 估方法。
[0009] 為了解決上述技術問題，本發(fā)明提出的技術方案是：一種面向深度包檢測產品的 評估系統(tǒng)，包括自動撥測模塊、樣本流量采集模塊、深度包檢測DPI引擎模塊、DPI業(yè)務規(guī)則 配置模塊以及DPI產品評估模塊；
[0010] 所述樣本流量采集模塊是指采集移動互聯(lián)網上某種APP應用的純凈流量并保存 為PCAP文件；
[0011] 所述深度包檢測DPI引擎模塊是不同廠家的DPI系統(tǒng)，執(zhí)行DPI算法，檢測和識別 網絡業(yè)務；
[0012] 所述DPI業(yè)務規(guī)則配置模塊是由廠家將其所獲得的業(yè)務流量特征配置到規(guī)則庫 中，由DPI系統(tǒng)根據該規(guī)則對樣本流量進行識別；
[0013] 所述DPI產品評估模塊是指對樣本流量根據評估指標模型和評估算法的基礎上 實施評估并將結果反饋給用戶。
[0014] 進一步的，所述流量撥測工具是指自動點擊某APP應用所有可能的操作以盡可能 的產生其所有可能的網絡流量。
[0015] 進一步的，所述純凈流量采集模塊是指在多種移動操作系統(tǒng)平臺下采集某移動互 聯(lián)網應用的純凈流量。
[0016] 為了解決上述另一技術問題，本發(fā)明提出的技術方案是：包括以下步驟：
[0017] 步驟1 :建立DPI產品評估指標模型；
[0018] 步驟2 :通過樣本流量采集模塊獲取移動互聯(lián)網純凈樣本流量；
[0019] 步驟3 :DPI業(yè)務識別規(guī)則進行配置，指定對該樣本流量實施的業(yè)務規(guī)則；
[0020] 步驟4 :將樣本流量輸入到DPI產品評估模塊中，該評估模塊調用DPI引擎對網絡 流量類型進行識別；
[0021] 步驟5 :統(tǒng)計DPI引擎在特定業(yè)務規(guī)則的情況下的統(tǒng)計輸出結果，并與樣本流量數(shù) 據進行比較，統(tǒng)計得出評估模型中的具體的量化指標。
[0022] 進一步的，所述DPI系統(tǒng)的主要評估指標模型，包括識別誤判率、識別漏判率、識 別率、識別準確率、識別延時、特征發(fā)現(xiàn)時間、特征更新周期；
[0023] 所述采集的網絡業(yè)務流量樣本為N mb，所述流量樣本中，類型為Xi的業(yè)務所占流 量分別為Hii MbQ = 1，2, 3…，η)，其中1?+!?+…+mn= N，所述識別是指網絡流量經過DPI分 析后得出的該網絡流量的具體業(yè)務類型；
[0024] (1)所述識別誤判率是指某業(yè)務類型為yi被識別為其它業(yè)務類型y」的網絡流量 占網絡業(yè)務流量樣本的比例，其可用如下公式所示：
[0025]
【主權項】
1. 一種面向深度包檢測產品的評估系統(tǒng)，其特征在于：包括流量撥測模塊、樣本流量 采集模塊、深度包檢測DPI引擎模塊、DPI業(yè)務規(guī)則配置模塊W及DPI產品評估模塊； 所述樣本流量采集模塊是指采集移動互聯(lián)網上某種APP應用的純凈流量并保存為PCAP文件； 所述深度包檢測DPI引擎模塊是不同廠家的DPI系統(tǒng)，執(zhí)行DPI算法，檢測和識別網絡 業(yè)務； 所述DPI業(yè)務規(guī)則配置模塊是由廠家將其所獲得的業(yè)務流量特征配置到規(guī)則庫中，由DPI系統(tǒng)根據該規(guī)則對樣本流量進行識別； 所述DPI產品評估模塊是指對樣本流量根據評估指標模型和評估算法的基礎上實施 評估并將結果反饋給用戶。
2. 根據權利要求1所述的面向深度包檢測產品的評估系統(tǒng)，其特征在于：所述流量撥 測工具是指自動點擊某APP應用所有可能的操作W盡可能的產生其所有的網絡流量。
3. 根據權利要求1所述的面向深度包檢測產品的評估系統(tǒng)，其特征在于：所述純凈流 量采集模塊是指在多種移動操作系統(tǒng)平臺下采集某移動互聯(lián)網應用的純凈流量。
4. 一種基于權利要求1所述的面向深度包檢測產品的評估方法，其特征在于：包括W 下步驟： 步驟1 ;建立DPI產品評估指標模型； 步驟2 ;通過樣本流量采集模塊獲取移動互聯(lián)網純凈樣本流量； 步驟3 ;DPI業(yè)務識別規(guī)則進行配置，指定對該樣本流量實施的業(yè)務規(guī)則； 步驟4 ;將樣本流量輸入到DPI產品評估模塊中，該評估模塊調用DPI引擎對網絡流量 類型進行識別； 步驟5 ;統(tǒng)計DPI引擎在特定業(yè)務規(guī)則的情況下的統(tǒng)計輸出結果，并與樣本流量數(shù)據進 行比較，統(tǒng)計得出評估模型中的具體的量化指標。
5. 根據權利要求4所述的面向深度包檢測產品評估方法，其特征在于： 所述DPI系統(tǒng)的DPI產品評估指標模型，包括識別誤判率、識別漏判率、識別率、識別準 確率、識別延時、特征發(fā)現(xiàn)時間、特征更新周期； 所述采集的網絡業(yè)務流量樣本為Nmb,所述流量樣本中，類型為Xi的業(yè)務所占流量分 別為叫Mb(i= 1，2, 3…，n)，其中mi+m2+'''+mn=N，所述業(yè)務識別是指網絡流量經過DPI分 析后得出的該網絡流量的具體業(yè)務類型； (1) 所述識別誤判率是指某業(yè)務類型為y;被識別為其它業(yè)務類型yJ的網絡流量占網 絡業(yè)務流量樣本的比例，其可用如下公式所示：
(2) 所述識別漏判率是指網絡業(yè)務流量樣本中，未被進行識別的流量，用如下公式所 示，假設未識別的業(yè)務流量用U表示： L=U/N (3) 所述識別率是指網絡業(yè)務流量樣本中，識別出的所對應的業(yè)務類型的網絡流量在 樣本中的比率，假設識別出的業(yè)務流量分別用I。12,13表示：
根據似和做的定義，L+I= 1 (4) 所述識別準確率是指網絡業(yè)務流量樣本中，正確識別出的所對應的業(yè)務類型的網 絡流量在樣本中的比率，假設正確識別出的業(yè)務流量分別用Cl,C2,C3表示：
根據做和（4)的定義，具有性質；C< =I (5) 所述識別延時是指從開始對流量樣本進行處理ti到識別出流量樣本中所有流量業(yè) 務類型t。所花費的時間，因此識別延時d=ti-t。； (6) 所述特征發(fā)現(xiàn)時間是指將網絡業(yè)務數(shù)據流樣本作為某特征發(fā)現(xiàn)算法的輸入，執(zhí)行 該算法后，得出業(yè)務特征的時間稱為特征發(fā)現(xiàn)時間； (7) 所述特征更新周期是指DPI系統(tǒng)的規(guī)則庫隨著業(yè)務應用變化而進行更新的頻率， 所述頻率可定義為從某網絡業(yè)務應用特征需要被識別的時間到該業(yè)務特征被發(fā)現(xiàn)并且在 驗證后保存到規(guī)則庫的時間，還可W在此基礎上定義平均特征更新周期，它是指某段時間 內所有的業(yè)務特征更新周期的平均值。
6. 根據權利要求4所述的面向深度包檢測產品的評估方法，其特征在于： 所述識別率的具體算法；將流量樣本文件通過回放工具傳輸?shù)骄W絡上，DPI設備對該 流量進行識別處理，設流量樣本中有X種類型業(yè)務，DPI設備識別出該X種類類業(yè)務中的Y 種類型業(yè)務，則識別率=Y/X; 所述誤判率的具體算法：設輸入的純樣本流量為M，其類型為i，經過DPI設備分析后， 輸出的業(yè)務類型i的流量為Ni，未知的流量為U，則識別誤判率=(M-Ni-U)/M;對于混合樣 本流量M，假設類型為i的流量分別為Ni，經過DPI設備分析后，輸出的業(yè)務類型i的流量為 Xi，則各個業(yè)務的識別誤判率為Xi/Ni，而對于樣本流量而言，其識別誤判率=max找i/Nj; 所述識別漏判率的具體算法；設輸入的樣本流量為M，在經過DPI算法被識別出來后各 種業(yè)務流量之和為N，則漏判率L= (M-N)/M; 所述準確率的具體算法：設輸入的純樣本流量為M，即該流量中為某應用i的網絡流 量。當經過DPI識別后，識別出為業(yè)務類型i的流量為Ni，則識別準確率=Ni/M;對于混合 樣本流量M，假設類型為i的流量分別為Ni，經過DPI設備分析后，輸出的業(yè)務類型i的流 量為Xi，則各個業(yè)務的識別準確率為Xi/Ni，而對于樣本流量而言，其識別準確率=min找i/ Njo
7. 根據權利要求4所述的面向深度包檢測產品的評估方法，其特征在于：具體實施方 法為；通過DPI評估系統(tǒng)將樣本流量作為參數(shù)，調用系統(tǒng)提供商的API,并根據API反饋回 的識別結果進行計算并將評估結果返回給用戶。
【專利摘要】本發(fā)明涉及一種面向深度包檢測產品的評估系統(tǒng)和評估方法，屬于計算機應用技術領域。該評估系統(tǒng)包括樣本流量采集模塊、深度包檢測DPI引擎模塊、DPI業(yè)務規(guī)則配置模塊以及DPI產品評估模塊。該評估方法，包括以下步驟：通過樣本流量采集模塊獲取移動互聯(lián)網純凈樣本流量；DPI業(yè)務識別規(guī)則進行配置，指定對該樣本流量實施的業(yè)務規(guī)則；將樣本流量輸入到DPI產品評估模塊中，該評估模塊調用DPI引擎對網絡流量類型進行識別；統(tǒng)計DPI引擎在特定業(yè)務規(guī)則的情況下的統(tǒng)計輸出結果，并與樣本流量數(shù)據進行比較，統(tǒng)計得出量化指標。本發(fā)明能夠實施DPI產品測試評估指標相關項目，為DPI產品的量化打分提供基礎。
【IPC分類】H04L12-26, H04L12-24
【公開號】CN104796282
【申請?zhí)枴緾N201510110226
【發(fā)明人】李養(yǎng)群, 周梅
【申請人】南京郵電大學
【公開日】2015年7月22日
【申請日】2015年3月12日