專(zhuān)利名稱(chēng)：一種基于半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)安全技術(shù)領(lǐng)域，特別涉及一種基于半監(jiān)瞀學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法及系統(tǒng)。
背景技術(shù)：
網(wǎng)絡(luò)應(yīng)用層協(xié)議識(shí)別技術(shù)，簡(jiǎn)稱(chēng)協(xié)議識(shí)別，是Deep Inspection Firewall (深度檢測(cè)防火墻)、NIDS/NIPS(網(wǎng)絡(luò)入侵檢測(cè)/防御系統(tǒng))、UTM(統(tǒng)ー威脅管理)等安全網(wǎng)關(guān)系統(tǒng)的關(guān)鍵組成部分和核心技術(shù)所在，也是運(yùn)營(yíng)商進(jìn)行流量統(tǒng)計(jì)和計(jì)費(fèi)管理的基礎(chǔ)技木。協(xié)議識(shí)別技術(shù)，主要依靠通過(guò)網(wǎng)絡(luò)流量的某種特征來(lái)進(jìn)行識(shí)別判斷，推測(cè)出流量所屬的協(xié)議類(lèi)型。其核心技術(shù)點(diǎn)包括識(shí)別所采用特征的選取，以及利用特征進(jìn)行識(shí)別的方法。目前エ業(yè)界所采用的方法主要有兩種基于協(xié)議端ロ和基于深度包檢測(cè)技木。 基于協(xié)議端ロ的識(shí)別，往往適用于傳統(tǒng)的網(wǎng)絡(luò)協(xié)議。其原理是網(wǎng)絡(luò)協(xié)議有在IANACThe Internet Assigned Numbers Authority,互聯(lián)網(wǎng)數(shù)字分配機(jī)構(gòu))注冊(cè) 的固定的傳輸層端ロ 號(hào)碼。例如FTP(File Transfer Protocol，文件傳輸協(xié)議)協(xié)議的注冊(cè)傳輸層端口號(hào)為20 和21。這類(lèi)方法僅僅檢測(cè)傳輸層端ロ，識(shí)別速度特別快。但由于很多協(xié)議并沒(méi)有固定的傳輸層端ロ號(hào)碼，某些新的協(xié)議甚至采用動(dòng)態(tài)端ロ或者偽裝端ロ技木，基于端ロ的識(shí)別方法準(zhǔn)確率不能滿(mǎn)足當(dāng)前的需求。另ー類(lèi)方法為基于深度包檢測(cè)技木，即事先生成好某些協(xié)議的特征字符串(包括精確串、正則表達(dá)式或語(yǔ)義串等)規(guī)則集合，通過(guò)在網(wǎng)包載荷中進(jìn)行特征字符串探測(cè)，來(lái)進(jìn)行協(xié)議識(shí)別。這種方法的效果依賴(lài)于事先生成的特征字符串規(guī)則集合。 通過(guò)提取精確的特征字符串可以達(dá)到較準(zhǔn)確的識(shí)別效果，但一方面對(duì)多種協(xié)議提取精確的特征字符串十分困難，需要消耗大量人力物力，另ー方面，對(duì)網(wǎng)包載荷進(jìn)行匹配識(shí)別需要很高的計(jì)算代價(jià)，造成識(shí)別速度慢。同時(shí)，某些新出現(xiàn)的協(xié)議如Skype，可能對(duì)載荷內(nèi)容進(jìn)行加密，這種情況下，基于深度包檢測(cè)技術(shù)的協(xié)議識(shí)別無(wú)法正常工作。而在學(xué)術(shù)界，采用機(jī)器學(xué)習(xí)方法進(jìn)行協(xié)議識(shí)別的研究非常熱門(mén)，代表性的方法如 基于PCA (Principal Component Analysis,主成分分析)的方法,基于最近鄰的方法,基于貝葉斯分類(lèi)器的方法，基于期望最大化方法等。這些方法或者采用了非監(jiān)瞀機(jī)器學(xué)習(xí)，或者采取了監(jiān)瞀機(jī)器學(xué)習(xí)，要么無(wú)法準(zhǔn)確分類(lèi)，要么依賴(lài)大量標(biāo)定的數(shù)據(jù)集。但是目前沒(méi)有ー種已公開(kāi)的方法可以滿(mǎn)足所有的實(shí)用需求。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問(wèn)題本發(fā)明要解決的技術(shù)問(wèn)題是如何提供一種基于半監(jiān)瞀學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法及系統(tǒng)，以同時(shí)具有較高的識(shí)別準(zhǔn)確率和較快的識(shí)別速度，不依賴(lài)大量的標(biāo)定數(shù)據(jù)集，并且可以識(shí)別加密協(xié)議。( ニ)技術(shù)方案
為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于半監(jiān)瞀學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法，其包括步驟A :基于半監(jiān)瞀學(xué)習(xí)方法訓(xùn)練多個(gè)分類(lèi)器；B :對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，并對(duì)分流處理得到的待識(shí)別單流進(jìn)行統(tǒng)計(jì)， 得到每個(gè)待識(shí)別單流中預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；C :根據(jù)所述待識(shí)別單流中所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息，利用所述分類(lèi)器，對(duì)所述待識(shí)別單流進(jìn)行協(xié)議識(shí)別。優(yōu)選地,所述步驟A具體包括步驟Al :對(duì)第一預(yù)定量的第一單流進(jìn)行協(xié)議識(shí)別并標(biāo)定，標(biāo)定的結(jié)果包括每個(gè)所述第一單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息，以及每個(gè)所述第一單流的協(xié)議類(lèi)型；A2 :采集第二預(yù)定量的第二單流的流量信息，所述流量信息包括每個(gè)所述第二單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；所述第二預(yù)定量大于所述第一預(yù)定量；A3:根據(jù)所述第一單流的標(biāo)定結(jié)果和所述第二單流的流量信息，進(jìn)行半監(jiān)瞀機(jī)器學(xué)習(xí)的訓(xùn)練，得到多個(gè)所述分類(lèi)器。優(yōu)選地，所述第二預(yù)定量是所述第一預(yù)定量的5倍至10倍。優(yōu)選地，所述分類(lèi)器的形式為R = wx+b，每個(gè)所述分類(lèi)器用于區(qū)分兩種網(wǎng)絡(luò)協(xié)議， 任意兩種待區(qū)分的網(wǎng)絡(luò)協(xié)議均對(duì)應(yīng)ー個(gè)所述分類(lèi)器；其中，X是所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息構(gòu)成的長(zhǎng)度向量;w是所述分類(lèi)器的第一參數(shù)，b是所述分類(lèi)器的第二參數(shù)，W和b根據(jù)待區(qū)分的兩種網(wǎng)絡(luò)協(xié)議確定；R表示對(duì)應(yīng)所述分類(lèi)器的分類(lèi)結(jié)果。優(yōu)選地,所述步驟B具體包括步驟BI :對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，將包頭中的源IP地址、目標(biāo)IP地址、源端 ロ、目標(biāo)端ロ、三層協(xié)議均相同的網(wǎng)包劃分到一個(gè)待識(shí)別單流中；B2:對(duì)分流處理得到的所述待識(shí)別單流進(jìn)行統(tǒng)計(jì)，得到每個(gè)所述待識(shí)別單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息。優(yōu)選地，所述步驟C具體包括步驟Cl :將所述待識(shí)別單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息分別代入每個(gè)所述分類(lèi)器中，得到分類(lèi)結(jié)果；C2:根據(jù)所述分類(lèi)結(jié)果，對(duì)每種待區(qū)分網(wǎng)絡(luò)協(xié)議進(jìn)行投票處理，得到所述待識(shí)別單流的協(xié)議識(shí)別結(jié)果。優(yōu)選地，所述方法在所述步驟C之后還包步驟D :根據(jù)每個(gè)所述分類(lèi)器的參數(shù)和每個(gè)所述分類(lèi)器對(duì)應(yīng)的所述分類(lèi)結(jié)果，計(jì)算所述協(xié)議識(shí)別結(jié)果的可信度參數(shù)；E :判斷所述可信度參數(shù)是否大于預(yù)定閾值，如果是，輸出所述協(xié)議識(shí)別結(jié)果；否則，采用第二協(xié)議識(shí)別方法進(jìn)行識(shí)別后輸出第二協(xié)議識(shí)別結(jié)果。優(yōu)選地，所述可信度參數(shù)的計(jì)算公式如下
權(quán)利要求
1.一種基于半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法，其特征在于，包括步驟A :基于半監(jiān)督學(xué)習(xí)方法訓(xùn)練多個(gè)分類(lèi)器；B:對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，并對(duì)分流處理得到的待識(shí)別單流進(jìn)行統(tǒng)計(jì)，得到每個(gè)待識(shí)別單流中預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；C :根據(jù)所述待識(shí)別單流中所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息，利用所述分類(lèi)器，對(duì)所述待識(shí)別單流進(jìn)行協(xié)議識(shí)別。
2.如權(quán)利要求I所述的方法，其特征在于，所述步驟A具體包括步驟Al :對(duì)第一預(yù)定量的第一單流進(jìn)行協(xié)議識(shí)別并標(biāo)定，標(biāo)定的結(jié)果包括每個(gè)所述第一單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息，以及每個(gè)所述第一單流的協(xié)議類(lèi)型；A2 :采集第二預(yù)定量的第二單流的流量信息，所述流量信息包括每個(gè)所述第二單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；所述第二預(yù)定量大于所述第一預(yù)定量；A3 :根據(jù)所述第一單流的標(biāo)定結(jié)果和所述第二單流的流量信息，進(jìn)行半監(jiān)督機(jī)器學(xué)習(xí)的訓(xùn)練，得到多個(gè)所述分類(lèi)器。
3.如權(quán)利要求2所述的方法，其特征在于，所述第二預(yù)定量是所述第一預(yù)定量的5倍至 10倍。
4.如權(quán)利要求2所述的方法，其特征在于，所述分類(lèi)器的形式為R= wx+b,每個(gè)所述分類(lèi)器用于區(qū)分兩種網(wǎng)絡(luò)協(xié)議，任意兩種待區(qū)分的網(wǎng)絡(luò)協(xié)議均對(duì)應(yīng)一個(gè)所述分類(lèi)器；其中，X 是所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息構(gòu)成的長(zhǎng)度向量;w是所述分類(lèi)器的第一參數(shù)，b是所述分類(lèi)器的第二參數(shù)，w和b根據(jù)待區(qū)分的兩種網(wǎng)絡(luò)協(xié)議確定；R表示對(duì)應(yīng)所述分類(lèi)器的分類(lèi)結(jié)果O
5.如權(quán)利要求I所述的方法，其特征在于，所述步驟B具體包括步驟BI :對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，將包頭中的源IP地址、目標(biāo)IP地址、源端口、目標(biāo)端口、三層協(xié)議均相同的網(wǎng)包劃分到一個(gè)待識(shí)別單流中；B2:對(duì)分流處理得到的所述待識(shí)別單流進(jìn)行統(tǒng)計(jì)，得到每個(gè)所述待識(shí)別單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息。
6.如權(quán)利要求I所述的方法，其特征在于，所述步驟C具體包括步驟Cl :將所述待識(shí)別單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息分別代入每個(gè)所述分類(lèi)器中，得到分類(lèi)結(jié)果；C2 :根據(jù)所述分類(lèi)結(jié)果，對(duì)每種待區(qū)分網(wǎng)絡(luò)協(xié)議進(jìn)行投票處理，得到所述待識(shí)別單流的協(xié)議識(shí)別結(jié)果。
7.如權(quán)利要求6所述的方法，其特征在于，所述方法在所述步驟C之后還包步驟D :根據(jù)每個(gè)所述分類(lèi)器的參數(shù)和每個(gè)所述分類(lèi)器對(duì)應(yīng)的所述分類(lèi)結(jié)果，計(jì)算所述協(xié)議識(shí)別結(jié)果的可信度參數(shù)；E :判斷所述可信度參數(shù)是否大于預(yù)定閾值，如果是，輸出所述協(xié)議識(shí)別結(jié)果；否則，采用第二協(xié)議識(shí)別方法進(jìn)行識(shí)別后輸出第二協(xié)議識(shí)別結(jié)果。
8.如權(quán)利要求7所述的方法，其特征在于，所述可信度參數(shù)的計(jì)算公式如下
9.一種權(quán)利要求I至8中任一項(xiàng)所述的基于半監(jiān)瞀學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法對(duì)應(yīng)的系統(tǒng)，其特征在于，所述系統(tǒng)包括分類(lèi)器模塊、流量統(tǒng)計(jì)模塊、協(xié)議識(shí)別模塊；所述分類(lèi)器模塊，用于基于半監(jiān)瞀學(xué)習(xí)方法訓(xùn)練多個(gè)分類(lèi)器；所述流量統(tǒng)計(jì)模塊，用于對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，并對(duì)分流處理得到的待識(shí)別單流進(jìn)行統(tǒng)計(jì)，得到每個(gè)待識(shí)別單流的前部的預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；所述協(xié)議識(shí)別模塊，用于將所述待識(shí)別單流的前部的所述預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息分別代入每個(gè)所述分類(lèi)器中，得到分類(lèi)結(jié)果，井根據(jù)所述分類(lèi)結(jié)果，對(duì)每種待區(qū)分網(wǎng)絡(luò)協(xié)議進(jìn)行投票處理，得到所述待識(shí)別單流的協(xié)議識(shí)別結(jié)果。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括可信度計(jì)算模塊、可信度判斷模塊和第二協(xié)議識(shí)別模塊；所述可信度計(jì)算模塊，用于根據(jù)每個(gè)所述分類(lèi)器的參數(shù)和每個(gè)所述分類(lèi)器對(duì)應(yīng)的所述分類(lèi)結(jié)果，計(jì)算所述協(xié)議識(shí)別結(jié)果的可信度參數(shù)；所述可信度判斷模塊，用于判斷所述可信度參數(shù)是否大于預(yù)定閾值，如果是，輸出所述協(xié)議識(shí)別結(jié)果；否則，通知所述第二協(xié)議識(shí)別模塊；所述第二協(xié)議識(shí)別模塊，用于采用第二協(xié)議識(shí)別方法對(duì)所述待識(shí)別單流進(jìn)行協(xié)議識(shí)別，并輸出第二協(xié)議識(shí)別結(jié)果。
全文摘要
本發(fā)明公開(kāi)了一種基于半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法及系統(tǒng)，涉及網(wǎng)絡(luò)安全技術(shù)領(lǐng)域。所述方法包括步驟基于半監(jiān)督學(xué)習(xí)方法訓(xùn)練多個(gè)分類(lèi)器；對(duì)待識(shí)別網(wǎng)絡(luò)流量進(jìn)行分流處理，并對(duì)分流處理得到的待識(shí)別單流進(jìn)行統(tǒng)計(jì)，得到每個(gè)待識(shí)別單流中預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息；根據(jù)待識(shí)別單流中預(yù)定值個(gè)網(wǎng)包的長(zhǎng)度信息，利用分類(lèi)器，對(duì)待識(shí)別單流進(jìn)行協(xié)議識(shí)別。本發(fā)明所述基于半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)協(xié)議識(shí)別方法及系統(tǒng)，將半監(jiān)督機(jī)器學(xué)習(xí)的方法引入到協(xié)議識(shí)別中，即采用了少量的標(biāo)定樣本信息，又充分利用了大量的未標(biāo)記信息，實(shí)現(xiàn)了分類(lèi)性能和實(shí)用擴(kuò)展性的同時(shí)滿(mǎn)足，同時(shí)具有較高的識(shí)別準(zhǔn)確率和較快的識(shí)別速度，不依賴(lài)大量的標(biāo)定數(shù)據(jù)集，并且可以識(shí)別加密協(xié)議。
文檔編號(hào)H04L29/06GK102611706SQ20121007592
公開(kāi)日2012年7月25日 申請(qǐng)日期2012年3月21日 優(yōu)先權(quán)日2012年3月21日
發(fā)明者李軍, 楊保華 申請(qǐng)人:清華大學(xué)