一種自適應(yīng)的突發(fā)流量檢測裝置及其檢測方法
【專利摘要】一種自適應(yīng)的突發(fā)流量檢測裝置和檢測方法，該檢測裝置是由順序連接的三個模塊：數(shù)據(jù)收集模塊、數(shù)據(jù)處理與存儲模塊和流量檢測模塊所組成，其中數(shù)據(jù)收集模塊負責(zé)采集網(wǎng)絡(luò)中的數(shù)據(jù)傳輸速率信息，提供給數(shù)據(jù)處理和存儲模塊進行處理和存儲，并作為流量檢測模塊中對突發(fā)流量進行檢測的依據(jù)。該突發(fā)流量檢測裝置的檢測方法是：根據(jù)網(wǎng)絡(luò)歷史的和當(dāng)前的傳輸速率數(shù)據(jù)，分別維護一個最大空間長度為N的存儲窗口隊列Q和一個用于檢測突發(fā)流量的自適應(yīng)調(diào)整的檢測閾值變量θ，利用該兩個參數(shù)實現(xiàn)對網(wǎng)絡(luò)負載和網(wǎng)絡(luò)狀態(tài)的免配置，既能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)的變化，又能自動產(chǎn)生自適應(yīng)的檢測閾值，從而實現(xiàn)網(wǎng)絡(luò)突發(fā)流量的自適應(yīng)檢測，具有很好的推廣應(yīng)用前景。
【專利說明】一種自適應(yīng)的突發(fā)流量檢測裝置及其檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種自適應(yīng)的突發(fā)流量檢測裝置及其檢測方法，屬于計算機網(wǎng)絡(luò)的【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著計算機網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)帶寬和設(shè)備的傳輸速度也越來越高。因此，網(wǎng)絡(luò)傳輸速度變得越來越快，這樣就顯得負載均衡技術(shù)越發(fā)顯示出其重要性。一般來說，負載均衡技術(shù)可以使得網(wǎng)絡(luò)運轉(zhuǎn)良好。但是，當(dāng)傳輸失敗的事件發(fā)生時，網(wǎng)絡(luò)很可能會變得擁塞，甚至影響整個網(wǎng)絡(luò)的正常工作。所謂突發(fā)事件，是指在某個維度上(包括時間、空間等)聚集了大量的事件。突發(fā)流量總是伴隨著系統(tǒng)或網(wǎng)絡(luò)存在著潛在的問題。所以突發(fā)流量檢測方法作為保證網(wǎng)絡(luò)正常工作的方法之一，顯得尤為重要。
[0003]目前，突發(fā)流量檢測方法大多是基于變長窗口數(shù)據(jù)聚合等自適應(yīng)技術(shù)。這類方法可以較好地處理突發(fā)流量檢測問題，但是，其大都使用固定的閾值，使得方法本身不具有普遍性。于是產(chǎn)生了基于自適應(yīng)閾值的自適應(yīng)突發(fā)流量檢測方法。
[0004]下面介紹兩種現(xiàn)有技術(shù)的自適應(yīng)突發(fā)流量檢測方法:
[0005]第一種是基于遷移小波變換樹的突發(fā)流量檢測:文獻《Efficient Elastic BurstDetection in Data Streams))(刊于 SIGKDD2003, Washington, D.C, USA(2003), pp.336 -345)提出了用遷移小波變換樹來檢測突發(fā)流量的方法。該方法基于滑動窗口的聚集檢測方法，對原有的成型的小波樹結(jié)構(gòu)進行改進，加入了與小波樹結(jié)構(gòu)相同的冗余部分。該方法利用這種遷移小波變換樹來索引不同窗口長度的數(shù)據(jù)聚集結(jié)果。當(dāng)數(shù)據(jù)流中產(chǎn)生了一次數(shù)據(jù)聚集，并超過了預(yù)先設(shè)定的該層的最小閾值，則需要檢測遷移小波變換樹的對應(yīng)的下層窗口直到找到發(fā)生的位置，以此判斷突發(fā)流量是否產(chǎn)生。
[0006]第一種方法雖然解決了小波變換樹僅有最頂層包含所有信息，然而不便于檢測任意子序列的問題進行改進，得到了遷移小波變換樹。但是，由于該方案基于經(jīng)驗數(shù)據(jù)，適合于網(wǎng)絡(luò)參數(shù)恒定的網(wǎng)絡(luò)。當(dāng)網(wǎng)絡(luò)環(huán)境急劇變化或者網(wǎng)絡(luò)負載變化極大時，該方法不再簡便聞效。
[0007]第二種是基于歷史情況的突發(fā)流量檢測:文獻《Research on Auto-adaptiveTraffic-aware Abnormal Detection Method))(干丨J 于 IEEC2009, TernopiI, Ukraine,PP.445-449)提出了通過聚集函數(shù)對突發(fā)流量進行檢測的方法。通過變長窗口數(shù)據(jù)聚合的形式，累積一定時間長度的初始數(shù)據(jù)，填充到根據(jù)初始數(shù)據(jù)時間長度決定的窗口中，作為突發(fā)檢測的基礎(chǔ)狀態(tài)。當(dāng)有新數(shù)據(jù)到來時，利用新到達的數(shù)據(jù)更新原有窗口中的數(shù)據(jù)并使窗口長度保持不變。此時，根據(jù)聚集的窗口數(shù)據(jù)對突發(fā)狀態(tài)進行檢測。在檢測中，用到的閾值參數(shù)等，通過實驗和經(jīng)驗得到。
[0008]第二種方法與本發(fā)明申請的突發(fā)流量檢測部分較為接近，在窗口中累積了設(shè)定時間長度的數(shù)據(jù)后，通過新來的數(shù)據(jù)更新窗口并檢測突發(fā)。但是，其在檢測過程中使用的閾值等參數(shù)，決定于根據(jù)實際測試的網(wǎng)絡(luò)環(huán)境中得到的數(shù)據(jù)流量，不能自適應(yīng)改變；且在使用之前，需要事先設(shè)置一個固定的閾值，所以不能靈活地適應(yīng)于網(wǎng)絡(luò)參數(shù)變動劇烈的情況。

【發(fā)明內(nèi)容】

[0009]有鑒于此，本發(fā)明的目的是提供一種自適應(yīng)的突發(fā)流量裝置及其檢測方法，本發(fā)明很好地解決了上述現(xiàn)有技術(shù)的兩種缺陷:第一種方案基于經(jīng)驗數(shù)據(jù)而只適宜網(wǎng)絡(luò)參數(shù)恒定的網(wǎng)絡(luò)，但若網(wǎng)絡(luò)環(huán)境急劇變化或負載變化極大時，該技術(shù)就暴露其較大缺陷:檢測數(shù)值很不準(zhǔn)確。第二種方案的檢測閾值等參數(shù)也不能自適應(yīng)改變，且在使用之前就要事先設(shè)置固定閾值，不能靈活地適應(yīng)于網(wǎng)絡(luò)參數(shù)變動劇烈的情況。而且，本發(fā)明裝置的結(jié)構(gòu)簡單、實用。檢測方法簡便和計算工作量少、能夠?qū)崟r對網(wǎng)絡(luò)變化作出快速反應(yīng)和容易實現(xiàn)?？傊?，本發(fā)明能實現(xiàn)下述發(fā)明目的:
[0010](A)無需設(shè)定網(wǎng)絡(luò)參數(shù)，免配置:本發(fā)明是根據(jù)網(wǎng)絡(luò)狀況自動累積網(wǎng)絡(luò)數(shù)據(jù)，并使用對累積的速率數(shù)據(jù)進行檢測處理，再將檢測結(jié)果作為判斷網(wǎng)絡(luò)是否存在突發(fā)流量的依據(jù)。
[0011](B)本發(fā)明能夠工作于在負載變化大、網(wǎng)絡(luò)參數(shù)變化劇烈的網(wǎng)絡(luò)環(huán)境中，快速、高效地檢測突發(fā)流量。還可以根據(jù)網(wǎng)絡(luò)狀況自動設(shè)置檢測閾值，且在網(wǎng)絡(luò)參數(shù)變化劇烈時，也可根據(jù)當(dāng)前網(wǎng)絡(luò)狀況的變化，對檢測閾值進行自適應(yīng)地調(diào)整，實現(xiàn)高效的突發(fā)流量檢測。
[0012]為了達到上述目的，本發(fā)明提供了一種自適應(yīng)的突發(fā)流量檢測裝置，其特征在于:該裝置設(shè)有順序連接的三個模塊:數(shù)據(jù)收集模塊、數(shù)據(jù)處理與存儲模塊和流量檢測模塊，其中:
[0013]數(shù)據(jù)收集模塊，作為該裝置的數(shù)據(jù)流入口，負責(zé)在整個突發(fā)流量監(jiān)測過程中采集網(wǎng)絡(luò)傳輸?shù)乃俾蕯?shù)據(jù):每隔設(shè)定的時間間隔自動對網(wǎng)絡(luò)當(dāng)前的數(shù)據(jù)傳輸速率進行采樣，由設(shè)置的速率計算單元按照傳輸?shù)臄?shù)據(jù)總量除以時間間隔之商的方法求解速率數(shù)據(jù)；再把該速率數(shù)據(jù)傳送給數(shù)據(jù)處理與存儲模塊；所采集的多個速率數(shù)據(jù)形成的數(shù)據(jù)流，作為分析當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的基礎(chǔ)數(shù)據(jù)，也是網(wǎng)絡(luò)參數(shù)免手動配置和自適應(yīng)調(diào)整檢測閾值的依據(jù)；即使在負載變化大，網(wǎng)絡(luò)參數(shù)變化劇烈的網(wǎng)絡(luò)環(huán)境中，也能根據(jù)網(wǎng)絡(luò)實時狀況自動地自行適配；
[0014]數(shù)據(jù)處理與存儲模塊，設(shè)有順序連接的窗口隊列維護、變化率計算和閾值自適應(yīng)共三個單元；負責(zé)先接收數(shù)據(jù)收集模塊傳送來的當(dāng)前網(wǎng)絡(luò)的實時速率數(shù)據(jù)，并使用自適應(yīng)的突發(fā)流量檢測方法對該速率數(shù)據(jù)進行處理后存儲備用，同時計算自適應(yīng)檢測閾值，再將該檢測閾值提供給流量檢測模塊，用作判斷當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的依據(jù)；
[0015]流量檢測模塊，當(dāng)該模塊得到來自數(shù)據(jù)處理和存儲模塊的自適應(yīng)檢測閾值，且數(shù)據(jù)存儲窗口隊列中的數(shù)據(jù)也已經(jīng)更新完成時，由該模塊配置的流量檢測單元負責(zé)對該速率數(shù)據(jù)進行突發(fā)流量的檢測:每隔設(shè)定的時間周期依次對數(shù)據(jù)處理與存儲模塊中數(shù)據(jù)存儲窗口隊列的數(shù)據(jù)進行掃描，使用自適應(yīng)突發(fā)流量方法檢測當(dāng)前網(wǎng)絡(luò)中是否存在突發(fā)流量；若存在，則輸出突發(fā)流量信息并繼續(xù)進行檢測；否則，直接繼續(xù)檢測。
[0016]為了達到上述目的，本發(fā)明還提供了一種采用上述自適應(yīng)的突發(fā)流量檢測裝置的檢測方法，其特征在于:該方法是通過根據(jù)網(wǎng)絡(luò)歷史的和當(dāng)前的傳輸速率數(shù)據(jù)，分別維護一個最大空間長度為N的存儲窗口隊列Q和一個用于檢測突發(fā)流量的自適應(yīng)調(diào)整的檢測閾值變量Θ，再利用該兩個參數(shù)實現(xiàn)了對網(wǎng)絡(luò)負載和網(wǎng)絡(luò)狀態(tài)的免配置，既能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)的變化，又能自動產(chǎn)生自適應(yīng)的檢測閾值，從而實現(xiàn)網(wǎng)絡(luò)突發(fā)流量的自適應(yīng)檢測；所述方法包括下列操作步驟:
[0017](I)數(shù)據(jù)收集模塊采集速率數(shù)據(jù):數(shù)據(jù)收集模塊中的速率收集單元按照設(shè)定的時間間隔對網(wǎng)絡(luò)數(shù)據(jù)進行傳輸速率的采樣收集，即將兩次采集間隔期間所流經(jīng)的數(shù)據(jù)總量和間隔時間的比值作為速率數(shù)據(jù)的采樣值，再將得到的每個速率數(shù)據(jù)傳遞給數(shù)據(jù)處理與存儲模塊進行處理；
[0018](2)維護窗口隊列中的數(shù)據(jù):數(shù)據(jù)處理與存儲模塊的窗口隊列維護單元接收到第一個速率數(shù)據(jù)后，先填入窗口隊列的最后端窗口 ；再次收到后續(xù)新的速率數(shù)據(jù)時，則分別計算窗口隊列中每個窗口的數(shù)據(jù)加上該新的速率數(shù)據(jù)之和，并以每個窗口的計算結(jié)果分別改寫其相應(yīng)窗口的數(shù)值；且在窗口隊列的各個窗口都充滿數(shù)據(jù)、又接收到傳來的新速率數(shù)據(jù)時，仍然繼續(xù)執(zhí)行上述操作，不斷地以新的速率數(shù)據(jù)分別更新窗口隊列中的每個窗口 ；
[0019](3)計算窗口隊列中數(shù)據(jù)的平均變化率τ:數(shù)據(jù)處理與存儲模塊的變化率計算單元計算窗口隊列中窗口之間的數(shù)據(jù)變化率C (i)，并根據(jù)這些數(shù)據(jù)變化率組成的序列值，計算得到其平均變化率τ ；
[0020](4)根據(jù)二次指數(shù)平滑法計算自適應(yīng)調(diào)整的檢測閾值:數(shù)據(jù)處理和存儲模塊中的閾值自適應(yīng)單元得到平均變化率τ后，根據(jù)二次指數(shù)平滑法計算得到新的檢測閾值作為流量檢測模塊中的檢測閾值；同時，每當(dāng)有新速率數(shù)據(jù)更新窗口隊列時，也要相應(yīng)地實時對檢測閾值進行更新；
[0021](5)根據(jù)自適應(yīng)調(diào)整的檢測閾值執(zhí)行突發(fā)流量的檢測:流量檢測模塊中的流量檢測單元依據(jù)步驟(2)得到的窗口隊列數(shù)據(jù)和步驟(4)得到的自適應(yīng)調(diào)整的檢測閾值。因該檢測閾值是自適應(yīng)調(diào)整的，故檢測步驟的操作是傳統(tǒng)的，且對網(wǎng)絡(luò)狀況也沒有特殊要求。
[0022]本發(fā)明的主要創(chuàng)新技術(shù)是:本發(fā)明是一種不需要經(jīng)驗數(shù)據(jù)的自適應(yīng)突發(fā)流量檢測裝置及其檢測方法，其擺脫了傳統(tǒng)的檢測網(wǎng)絡(luò)的突發(fā)流量要受到設(shè)定參數(shù)的限制，不需要設(shè)定和手動配置網(wǎng)絡(luò)參數(shù)，而是基于網(wǎng)絡(luò)中動態(tài)采樣的網(wǎng)絡(luò)速率數(shù)據(jù)，對采集到的網(wǎng)絡(luò)速率數(shù)據(jù)自動進行處理，以實現(xiàn)對網(wǎng)絡(luò)狀態(tài)的自適應(yīng)調(diào)整，使得網(wǎng)絡(luò)環(huán)境急劇變化或網(wǎng)絡(luò)負載變化極大的時候，都依然能夠使用本發(fā)明方法。
[0023]與現(xiàn)有技術(shù)的第二方案相比，兩者的檢測突發(fā)流量的具體方法雖然相似，但是本發(fā)明提出一種檢測閾值參數(shù)可以根據(jù)網(wǎng)絡(luò)的實時狀態(tài)進行自動調(diào)整的方法。傳統(tǒng)檢測方法在網(wǎng)絡(luò)環(huán)境變化后，使用原來的檢測閾值會造成檢測的準(zhǔn)確率急劇下降，必須重新手動評估網(wǎng)絡(luò)狀況和設(shè)定檢測閾值。本發(fā)明使得檢測和閾值的更新過程都是自動執(zhí)行的，并基于歷史和當(dāng)前的網(wǎng)絡(luò)狀態(tài)，提高了突發(fā)流量檢測方法的易用性和準(zhǔn)確性。
【專利附圖】

【附圖說明】
[0024]圖1是本發(fā)明自適應(yīng)網(wǎng)絡(luò)突發(fā)流量檢測裝置的結(jié)構(gòu)組成示意圖。
[0025]圖2是新數(shù)據(jù)到來時的窗口滑動示例圖。
[0026]圖3是新數(shù)據(jù)到來時的C (i)使用的窗口數(shù)據(jù)示例圖。
[0027]圖4是本發(fā)明自適應(yīng)網(wǎng)絡(luò)突發(fā)流量檢測裝置的檢測方法流程圖。
【具體實施方式】[0028]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。
[0029]參見圖1，介紹本發(fā)明自適應(yīng)的突發(fā)流量檢測裝置的結(jié)構(gòu)組成:設(shè)有順序連接的三個模塊:數(shù)據(jù)收集模塊、數(shù)據(jù)處理與存儲模塊和流量檢測模塊，數(shù)據(jù)收集模塊負責(zé)對數(shù)據(jù)進行采樣和收集，提供給數(shù)據(jù)處理和存儲模塊進行處理和存儲，并作為流量檢測模塊中對突發(fā)流量檢測的依據(jù)。其中:
[0030]數(shù)據(jù)收集模塊，作為該裝置的數(shù)據(jù)流入口，負責(zé)在整個突發(fā)流量監(jiān)測過程中為該檢測裝置采集網(wǎng)絡(luò)傳輸?shù)乃俾蕯?shù)據(jù):每隔設(shè)定的時間間隔自動對網(wǎng)絡(luò)當(dāng)前的數(shù)據(jù)傳輸速率進行一次采樣，由設(shè)置的速率計算單元按照傳輸?shù)臄?shù)據(jù)總量除以時間間隔之商的方法求解速率數(shù)據(jù)；然后把該速率數(shù)據(jù)傳送給數(shù)據(jù)處理與存儲模塊。所采集的多個速率數(shù)據(jù)形成的數(shù)據(jù)流，作為分析當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的基礎(chǔ)數(shù)據(jù)，也是網(wǎng)絡(luò)參數(shù)免手動配置和自適應(yīng)調(diào)整檢測閾值的依據(jù)；即使在負載變化大，網(wǎng)絡(luò)參數(shù)變化劇烈的網(wǎng)絡(luò)環(huán)境中，也能根據(jù)網(wǎng)絡(luò)實時狀況自動地自行適配。
[0031]數(shù)據(jù)處理與存儲模塊，設(shè)有順序連接的窗口隊列維護、變化率計算和閾值自適應(yīng)共三個單元；負責(zé)先接收數(shù)據(jù)收集模塊傳送來的當(dāng)前網(wǎng)絡(luò)的實時速率數(shù)據(jù)，并使用自適應(yīng)的突發(fā)流量檢測方法對該速率數(shù)據(jù)進行處理后存儲備用；同時計算自適應(yīng)檢測閾值，再將該檢測閾值提供給流量檢測模塊，用作判斷當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的依據(jù)。該數(shù)據(jù)處理與存儲模塊中的各個單元功能如下:
[0032]窗口隊列維護單元:用于接收數(shù)據(jù)收集模塊傳遞來的實時速率數(shù)據(jù)，并按照設(shè)定方法在該單元中維護一個存儲數(shù)據(jù)的窗口隊列，將先后接收到的各個速率數(shù)據(jù)依次進行相應(yīng)處理后，分別存入該窗口隊列的各個窗口中；
[0033]變化率計算單元:負責(zé)按照設(shè)定方法計算窗口隊列中的速率數(shù)據(jù)的變化率，再將計算得到的速率變化率序列提供給閾值自適應(yīng)單元；
[0034]閾值自適應(yīng)單元:用于根據(jù)所得到的速率變化率序列，使用設(shè)定方法并結(jié)合網(wǎng)絡(luò)中實時速率數(shù)據(jù)得到的平均變化率，再根據(jù)二次指數(shù)平滑法計算得到的當(dāng)前網(wǎng)絡(luò)系統(tǒng)自動生成的自適應(yīng)調(diào)整的檢測閾值，實現(xiàn)對網(wǎng)絡(luò)參數(shù)的免配置。
[0035]數(shù)據(jù)處理與存儲模塊在處理數(shù)據(jù)過程中，數(shù)據(jù)存儲窗口隊列存儲數(shù)據(jù)的方式如下:每個窗口分別利用每個周期送來的速率數(shù)據(jù)相應(yīng)更新各自窗口當(dāng)前存儲的數(shù)據(jù)；且為了自動維持存儲窗口隊列的長度不變，當(dāng)數(shù)據(jù)存儲窗口充滿之后，新來的速率數(shù)據(jù)將用于更新當(dāng)前已經(jīng)被存儲的數(shù)據(jù)，再將從存儲窗口隊列中刪除最前端的部分?jǐn)?shù)據(jù)，自動維護數(shù)據(jù)窗口隊列空間長度，并使用二次指數(shù)平滑法計算檢測閾值，用于對突發(fā)流量執(zhí)行自適應(yīng)的檢測；同時，以此實現(xiàn)對網(wǎng)絡(luò)參數(shù)的免配置。其中使用的二次指數(shù)平滑法是布朗(RobertG.Brown)提出的一種適用于預(yù)測具有線性趨勢的數(shù)據(jù)序列的方法。
[0036]流量檢測模塊，當(dāng)該模塊得到來自數(shù)據(jù)處理和存儲模塊的自適應(yīng)檢測閾值，且數(shù)據(jù)存儲窗口隊列中的數(shù)據(jù)也已經(jīng)更新完成(即已經(jīng)累積了作為突發(fā)流量檢測所需要的基礎(chǔ)數(shù)據(jù))時，由該模塊配置的流量檢測單元負責(zé)對該速率數(shù)據(jù)進行突發(fā)流量的檢測:每隔設(shè)定的時間周期(與數(shù)據(jù)收集模塊對網(wǎng)絡(luò)速率收集時間間隔相同，即數(shù)據(jù)收集模塊收集了一個周期的數(shù)據(jù)并由數(shù)據(jù)處理與存儲模塊利用該周期數(shù)據(jù)對數(shù)據(jù)存儲窗口中的數(shù)據(jù)進行一次更新后)依次對數(shù)據(jù)處理與存儲模塊中數(shù)據(jù)存儲窗口隊列的數(shù)據(jù)進行一次掃描，使用自適應(yīng)突發(fā)流量方法檢測當(dāng)前網(wǎng)絡(luò)中是否存在突發(fā)流量；若存在，則輸出突發(fā)流量信息并繼續(xù)進行檢測；否則，直接繼續(xù)檢測。
[0037]流量檢測模塊對數(shù)據(jù)處理與存儲模塊中數(shù)據(jù)存儲窗口的數(shù)據(jù)進行每次掃描的設(shè)定時間周期應(yīng)與數(shù)據(jù)收集模塊采集網(wǎng)絡(luò)傳輸速率數(shù)據(jù)的時間間隔相同，即數(shù)據(jù)收集模塊每次收集一個周期的數(shù)據(jù)，并由數(shù)據(jù)處理與存儲模塊利用該周期采集的速率數(shù)據(jù)對數(shù)據(jù)存儲窗口隊列中各個窗口的數(shù)據(jù)進行一次更新，然后由流量檢測模塊使用該數(shù)據(jù)窗口隊列的數(shù)據(jù)進行突發(fā)流量檢測。
[0038]本發(fā)明自適應(yīng)的突發(fā)流量檢測裝置的檢測方法是:根據(jù)網(wǎng)絡(luò)歷史的和當(dāng)前的傳輸速率數(shù)據(jù)，分別維護一個最大空間長度為N的存儲窗口隊列Q和一個用于檢測突發(fā)流量的自適應(yīng)調(diào)整的檢測閾值變量Θ，利用該兩個參數(shù)實現(xiàn)對網(wǎng)絡(luò)負載和網(wǎng)絡(luò)狀態(tài)的免配置，既能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)的變化，又能自動產(chǎn)生自適應(yīng)的檢測閾值，從而實現(xiàn)網(wǎng)絡(luò)突發(fā)流量的自動計算和自適應(yīng)檢測。
[0039]本發(fā)明方法包括下列具體操作步驟:
[0040]步驟1，數(shù)據(jù)收集模塊采集速率數(shù)據(jù):數(shù)據(jù)收集模塊中的速率收集單元按照設(shè)定的時間間隔對網(wǎng)絡(luò)數(shù)據(jù)進行傳輸速率的采樣收集，即將兩次采集間隔期間所流經(jīng)的數(shù)據(jù)總量和間隔時間的比值作為速率數(shù)據(jù)的采樣值，再將得到的每個速率數(shù)據(jù)傳遞給數(shù)據(jù)處理與存儲模塊進行處理。
[0041]步驟2，維護窗口隊列中的數(shù)據(jù):數(shù)據(jù)處理與存儲模塊的窗口隊列維護單元接收到第一個速率數(shù)據(jù)后，先填入窗口隊列的最后端窗口 ；再次收到后續(xù)新的速率數(shù)據(jù)時，則分別計算窗口隊列中每個窗口的數(shù)據(jù)加上該新的速率數(shù)據(jù)之和，并以每個窗口的計算結(jié)果分別改寫其相應(yīng)窗口的數(shù)值；且在窗口隊列的各個窗口都充滿數(shù)據(jù)、又接收到傳來的新速率數(shù)據(jù)時，仍然繼續(xù)執(zhí)行上述操作，不斷地以新的速率數(shù)據(jù)分別更新窗口隊列中的每個窗口。
[0042]該步驟在維護窗口隊列Q的過程中，根據(jù)窗口隊列是否已經(jīng)存滿速率數(shù)據(jù)的兩種不同情況，分別執(zhí)行下列操作內(nèi)容(參見圖2所示):
[0043](2A)若窗口隊列未存滿數(shù)據(jù)時，則先分別計算當(dāng)前時刻得到的速率數(shù)據(jù)X與此前原來位于窗口隊列中的每個窗口內(nèi)的所有數(shù)據(jù)之和S，再將該數(shù)據(jù)和s分別填充到各自對應(yīng)的窗口 ；同時將該新速率數(shù)據(jù)X插入到窗口隊列的最末端窗口后側(cè)。
[0044](2B)若窗口隊列已經(jīng)存滿數(shù)據(jù)，又有新的速率數(shù)據(jù)X到來時，將每個窗口的數(shù)據(jù)和s分別與該新速率數(shù)據(jù)X相加，再將得到的各個數(shù)據(jù)之和分別作為每個對應(yīng)窗口存儲的新數(shù)據(jù)；同時將該新速率數(shù)據(jù)X插入到窗口隊列的最末端窗口后側(cè)(假設(shè)I為窗口隊列最末端，N為窗口隊列最前端)。因要保持窗口隊列的空間長度不變而刪除位于隊首的窗口后，就使得該新速率數(shù)據(jù)X成為新的窗口隊列中的最末端窗口。
[0045]圖2形象展示了上述過程，圖中淺灰色陰影的框格為新到達的速率數(shù)據(jù)，“ X ”表示刪除的窗口隊首數(shù)據(jù)。
[0046]步驟3，計算窗口隊列中數(shù)據(jù)的平均變化率τ:每當(dāng)新數(shù)據(jù)到來的時候，數(shù)據(jù)處理與存儲模塊的變化率計算單元都要計算窗口隊列中窗口之間的數(shù)據(jù)變化率C( i )，并根據(jù)這些數(shù)據(jù)變化率組成的序列值，計算得到其平均變化率τ。
[0047]該步驟中，變化率計算單元執(zhí)行的操作包括下列內(nèi)容(參見圖3所示):
[0048]( 31)計算窗口隊列中窗口數(shù)據(jù)之間的變化率:根據(jù)窗口隊列Q中第i個窗口數(shù)據(jù)Si與第2i個窗口數(shù)據(jù)S2i計算兩者之間的變化率，
【權(quán)利要求】
1.一種自適應(yīng)的突發(fā)流量檢測裝置，其特征在于:該裝置設(shè)有順序連接的三個模塊:數(shù)據(jù)收集模塊、數(shù)據(jù)處理與存儲模塊和流量檢測模塊，其中: 數(shù)據(jù)收集模塊，作為該裝置的數(shù)據(jù)流入口，負責(zé)在整個突發(fā)流量監(jiān)測過程中采集網(wǎng)絡(luò)傳輸?shù)乃俾蕯?shù)據(jù):每隔設(shè)定的時間間隔自動對網(wǎng)絡(luò)當(dāng)前的數(shù)據(jù)傳輸速率進行采樣，由設(shè)置的速率計算單元按照傳輸?shù)臄?shù)據(jù)總量除以時間間隔之商的方法求解速率數(shù)據(jù)；再把該速率數(shù)據(jù)傳送給數(shù)據(jù)處理與存儲模塊；所采集的多個速率數(shù)據(jù)形成的數(shù)據(jù)流，作為分析當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的基礎(chǔ)數(shù)據(jù)，也是網(wǎng)絡(luò)參數(shù)免手動配置和自適應(yīng)調(diào)整檢測閾值的依據(jù)；即使在負載變化大，網(wǎng)絡(luò)參數(shù)變化劇烈的網(wǎng)絡(luò)環(huán)境中，也能根據(jù)網(wǎng)絡(luò)實時狀況自動地自行適配； 數(shù)據(jù)處理與存儲模塊，設(shè)有順序連接的窗口隊列維護、變化率計算和閾值自適應(yīng)共三個單元；負責(zé)先接收數(shù)據(jù)收集模塊傳送來的當(dāng)前網(wǎng)絡(luò)的實時速率數(shù)據(jù)，并使用自適應(yīng)的突發(fā)流量檢測方法對該速率數(shù)據(jù)進行處理后存儲備用，同時計算自適應(yīng)檢測閾值，再將該檢測閾值提供給流量檢測模塊，用作判斷當(dāng)前網(wǎng)絡(luò)是否存在突發(fā)流量的依據(jù)； 流量檢測模塊，當(dāng)該模塊得到來自數(shù)據(jù)處理和存儲模塊的自適應(yīng)檢測閾值，且數(shù)據(jù)存儲窗口隊列中的數(shù)據(jù)也已經(jīng)更新完成時，由該模塊配置的流量檢測單元負責(zé)對該速率數(shù)據(jù)進行突發(fā)流量的檢測:每隔設(shè)定的時間周期依次對數(shù)據(jù)處理與存儲模塊中數(shù)據(jù)存儲窗口隊列的數(shù)據(jù)進行掃描，使用自適應(yīng)突發(fā)流量方法檢測當(dāng)前網(wǎng)絡(luò)中是否存在突發(fā)流量；若存在，則輸出突發(fā)流量信息并繼續(xù)進行檢測；否則，直接繼續(xù)檢測。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于:所述數(shù)據(jù)處理與存儲模塊中的各個單元功能如下: 窗口隊列維護單元，用于接收數(shù)據(jù)收集模塊傳遞來的實時速率數(shù)據(jù)，并按照設(shè)定方法在該單元中維護一個存儲數(shù)據(jù)的窗口隊列，將先后接收到的各個速率數(shù)據(jù)依次進行相應(yīng)處理后，分別存入該窗口隊列的各個窗口中； 變化率計算單元，負責(zé)按照設(shè)定方法計算窗口隊列中的速率數(shù)據(jù)的變化率，再將計算得到的速率變化率序列提供給閾值自適應(yīng)單元； 閾值自適應(yīng)單元，用于根據(jù)所得到的速率變化率序列，使用設(shè)定方法并結(jié)合網(wǎng)絡(luò)中實時速率數(shù)據(jù)得到的平均變化率，再根據(jù)二次指數(shù)平滑法計算得到的當(dāng)前網(wǎng)絡(luò)系統(tǒng)自動生成的自適應(yīng)調(diào)整的檢測閾值，實現(xiàn)對網(wǎng)絡(luò)參數(shù)的免配置。
3.根據(jù)權(quán)利要求1所述的裝置，其特征在于:所述數(shù)據(jù)處理與存儲模塊在處理數(shù)據(jù)過程中，數(shù)據(jù)存儲窗口隊列存儲數(shù)據(jù)的方式如下:每個窗口分別利用每個周期送來的速率數(shù)據(jù)相應(yīng)更新各自窗口當(dāng)前存儲的數(shù)據(jù)；且為了自動維持存儲窗口隊列的長度不變，將從存儲窗口隊列中刪除部分?jǐn)?shù)據(jù)，并使用二次指數(shù)平滑法計算檢測閾值，用于對突發(fā)流量執(zhí)行自適應(yīng)的檢測；同時，以此實現(xiàn)對網(wǎng)絡(luò)參數(shù)的免配置；所述二次指數(shù)平滑法是布朗(RobertG.Brown)提出的一種適用于預(yù)測具有線性趨勢的數(shù)據(jù)序列的方法。
4.根據(jù)權(quán)利要求1所述的裝置，其特征在于:所述流量檢測模塊對數(shù)據(jù)處理與存儲模塊中數(shù)據(jù)存儲窗口的數(shù)據(jù)進行每次掃描的設(shè)定時間周期應(yīng)與數(shù)據(jù)收集模塊采集網(wǎng)絡(luò)傳輸速率數(shù)據(jù)的時間間隔相同，即數(shù)據(jù)收集模塊每次收集一個周期的數(shù)據(jù)，并由數(shù)據(jù)處理與存儲模塊利用該周期采集的速率數(shù)據(jù)對數(shù)據(jù)存儲窗口隊列中各個窗口的數(shù)據(jù)進行一次更新，然后由流量檢測模塊使用該數(shù)據(jù)窗口隊列的數(shù)據(jù)進行突發(fā)流量檢測。
5.一種采用權(quán)利要求1所述的自適應(yīng)的突發(fā)流量檢測裝置的檢測方法，其特征在于:該方法是通過根據(jù)網(wǎng)絡(luò)歷史的和當(dāng)前的傳輸速率數(shù)據(jù)，分別維護一個最大空間長度為N的存儲窗口隊列Q和一個用于檢測突發(fā)流量的自適應(yīng)調(diào)整的檢測閾值變量Θ，再利用該兩個參數(shù)實現(xiàn)了對網(wǎng)絡(luò)負載和網(wǎng)絡(luò)狀態(tài)的免配置，既能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)的變化，又能自動產(chǎn)生自適應(yīng)的檢測閾值，從而實現(xiàn)網(wǎng)絡(luò)突發(fā)流量的自動計算和自適應(yīng)檢測；所述方法包括下列操作步驟: (1)數(shù)據(jù)收集模塊采集速率數(shù)據(jù):數(shù)據(jù)收集模塊中的速率收集單元按照設(shè)定的時間間隔對網(wǎng)絡(luò)數(shù)據(jù)進行傳輸速率的采樣收集，即將兩次采集間隔期間所流經(jīng)的數(shù)據(jù)總量和間隔時間的比值作為速率數(shù)據(jù)的采樣值，再將得到的每個速率數(shù)據(jù)傳遞給數(shù)據(jù)處理與存儲模塊進行處理； (2)維護窗口隊列中的數(shù)據(jù):數(shù)據(jù)處理與存儲模塊的窗口隊列維護單元接收到第一個速率數(shù)據(jù)后，先填入窗口隊列的最后端窗口 ；再次收到后續(xù)新的速率數(shù)據(jù)時，則分別計算窗口隊列中每個窗口的數(shù)據(jù)加上該新的速率數(shù)據(jù)之和，并以每個窗口的計算結(jié)果分別改寫其相應(yīng)窗口的數(shù)值；且在窗口隊列的各個窗口都充滿數(shù)據(jù)、又接收到傳來的新速率數(shù)據(jù)時，仍然繼續(xù)執(zhí)行上述操作，不斷地以新的速率數(shù)據(jù)分別更新窗口隊列中的每個窗口 ； (3)計算窗口隊列中數(shù)據(jù)的平均變化率τ:數(shù)據(jù)處理與存儲模塊的變化率計算單元計算窗口隊列中窗口之間的數(shù)據(jù)變化率C (i )，并根據(jù)這些數(shù)據(jù)變化率組成的序列值，計算得到其平均變化率τ ； (4)根據(jù)二次指數(shù)平滑法計算自適應(yīng)調(diào)整的檢測閾值:數(shù)據(jù)處理和存儲模塊中的閾值自適應(yīng)單元得到平均變化率τ后，根據(jù)二次指數(shù)平滑法計算得到新的檢測閾值作為流量檢測模塊中的檢測閾值；同時，每當(dāng)有新速率數(shù)據(jù)更新窗口隊列時，也要相應(yīng)地實時對檢測閾值進行更新； (5)根據(jù)自適應(yīng)調(diào)整的檢測 閾值執(zhí)行突發(fā)流量的檢測:流量檢測模塊中的流量檢測單元依據(jù)步驟(2)得到的窗口隊列數(shù)據(jù)和步驟(4)得到的自適應(yīng)調(diào)整的檢測閾值。因該檢測閾值是自適應(yīng)調(diào)整的，故檢測步驟的操作是傳統(tǒng)的，且對網(wǎng)絡(luò)狀況也沒有特殊要求。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述步驟(2)在維護窗口隊列Q的過程中，根據(jù)窗口隊列是否已經(jīng)存滿速率數(shù)據(jù)的兩種不同情況，分別執(zhí)行下列操作內(nèi)容: (2Α)若窗口隊列未存滿數(shù)據(jù)時，則先分別計算當(dāng)前時刻得到的速率數(shù)據(jù)X與此前原來位于窗口隊列中的每個窗口內(nèi)的所有數(shù)據(jù)之和S，再將該數(shù)據(jù)和s分別填充到各自對應(yīng)的窗口 ；同時將該新速率數(shù)據(jù)X插入到窗口隊列的最末端窗口后側(cè)； (2Β)若窗口隊列已經(jīng)存滿數(shù)據(jù)，又有新的速率數(shù)據(jù)X到來時，將每個窗口的數(shù)據(jù)和s分別與該新速率數(shù)據(jù)X相加，再將得到的各個數(shù)據(jù)之和分別作為每個對應(yīng)窗口存儲的新數(shù)據(jù)；同時將該新速率數(shù)據(jù)X插入到窗口隊列的最末端窗口后側(cè)；因要保持窗口隊列的空間長度不變而刪除位于隊首的窗口后，就使得該新速率數(shù)據(jù)X成為新的窗口隊列中的最末端窗P。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述步驟(3)中，變化率計算單元執(zhí)行的操作包括下列內(nèi)容: (31)計算窗口隊列中窗口數(shù)據(jù) 之間的變化率:根據(jù)窗口隊列Q中第i個窗口數(shù)據(jù)Si與第2i個窗口數(shù)據(jù)s2i計算兩者之間的變化率
8.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述步驟(4)的二次指數(shù)平滑法的計算過程包括下列操作內(nèi)容: (41)先設(shè)定初始參數(shù)、即初始平均變化率Ttl:數(shù)據(jù)處理和存儲模塊采用慢啟動方式，將依據(jù)公式M=k.Ν計算接收到M個速率數(shù)據(jù)后得到的平均變化率作為初始平均變化率τ 0,式中，^的下標(biāo)O表示該參數(shù)為初始值，系數(shù)k為自然數(shù)，M為窗口隊列長度N的整數(shù)倍； (42)以初始時刻作為該裝置準(zhǔn)備開始工作的第O時刻，再根據(jù)第t時刻的平均變化

率Tt和二次指數(shù)平滑法，按照計算公式
9.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述步驟(5)包括下列操作內(nèi)容: (51)流量檢測模塊中的流量檢測單元計算和判斷窗口隊列Q中兩個窗口的數(shù)據(jù)Si和s2i之間的變化率是否超過步驟(4)得到的新檢測閾值et+1，若是，則判斷在第i個號窗口位置檢測到了突發(fā)流量，執(zhí)行后續(xù)步驟(52);否則，跳轉(zhuǎn)執(zhí)行步驟(53)； (52)流量檢測單元對外發(fā)出發(fā)生突發(fā)流量的警示，并采取相應(yīng)措施； (53)返回執(zhí)行步驟(51)，繼續(xù)對下一窗口的數(shù)據(jù)si+1和S2(i+n進行檢測，以判斷當(dāng)前的窗口隊列中是否產(chǎn)生了突發(fā)流量；直至完成對窗口隊列中的第I個窗口到第*個的窗口數(shù)據(jù)的遍歷計算和判斷，結(jié)束全部操作。
【文檔編號】H04L12/24GK103888315SQ201410109575
【公開日】2014年6月25日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】趙耀, 丁偉偉, 林榮恒, 徐若晨, 閆丹鳳, 鄒華 申請人:北京郵電大學(xué)