專利名稱：快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及，具體地，涉及XX的控制方法以及相應(yīng)的控制裝置。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越的企業(yè)級采用B/S構(gòu)架，或者C/S構(gòu)架，或者企業(yè)服務(wù)總線構(gòu)架等基于網(wǎng)絡(luò)的業(yè)務(wù)系統(tǒng)和支撐系統(tǒng)，而基于互聯(lián)網(wǎng)網(wǎng)絡(luò)的系統(tǒng)和服務(wù)也越來越多，越來越成為主流。因此，網(wǎng)絡(luò)分析和監(jiān)控，例如網(wǎng)絡(luò)流量分析，網(wǎng)絡(luò)性能分析，網(wǎng)絡(luò)故障告警，網(wǎng)絡(luò)故障排查等，有著越來越多的需求。而目前網(wǎng)絡(luò)分析和監(jiān)控系統(tǒng)主要采用基于網(wǎng)絡(luò)采集，通過捕獲數(shù)據(jù)包，然后分析 數(shù)據(jù)包的方法。該方法需要在被分析和監(jiān)控的目標網(wǎng)絡(luò)中，根據(jù)網(wǎng)絡(luò)拓撲情況，設(shè)置捕獲點，然后在捕獲點利用交換機等的鏡像功能，或者其他具有鏡像功能的設(shè)備，將網(wǎng)絡(luò)中的正常通信流量復制和導出到采集設(shè)備上，由采集設(shè)備捕獲和存儲之后，再交給分析和監(jiān)控系統(tǒng)處理，進行分析和監(jiān)控。這種系統(tǒng)可以稱作網(wǎng)絡(luò)采集和分析監(jiān)控系統(tǒng)。通常的采集設(shè)備可以同時采集的輸入端口是有限的，多為4 口，8 口，12 口等。而現(xiàn)在很多企業(yè)(尤其是金融，保險，證券，運營商等)，都采用大型的三層網(wǎng)絡(luò)構(gòu)架，而其網(wǎng)絡(luò)上運行的業(yè)務(wù)又多達幾十個甚至上百個，而且，很多系統(tǒng)都有數(shù)量龐大的外聯(lián)線路(例如某銀行到其他各個銀行、某數(shù)據(jù)中心到省市各級中心、或者交易所到各個券商等)，因此，需要監(jiān)控的網(wǎng)段遠遠多于采集設(shè)備的端口數(shù)。采集設(shè)備一般比較昂貴。因此從成本的角度考慮，實際部署的網(wǎng)絡(luò)采集系統(tǒng)中，會采用大量的匯聚設(shè)備，將多個網(wǎng)段的流量匯聚到一個物理采集點上，進行采集和分析。同時，網(wǎng)絡(luò)中的存在很多中轉(zhuǎn)設(shè)備，例如網(wǎng)關(guān)，負載均衡，和防火墻等。對于這些設(shè)備前后兩個網(wǎng)段中的數(shù)據(jù)包而言，它們的IP地址相同，端口地址相同，協(xié)議相同，內(nèi)容也相同。不相同的僅僅是物理層(或者數(shù)據(jù)鏈路層)的封裝數(shù)據(jù)和TTL信息。有些防火墻設(shè)備會修改TCP序號或TCP應(yīng)答序號,從而這些信息也可能不相同。這樣，在復雜網(wǎng)絡(luò)中，由于鏡像和匯聚，一個物理采集點上采集到重復數(shù)據(jù)包是不可避免的現(xiàn)象。重復數(shù)據(jù)包的出現(xiàn)，只是工程實踐問題，并不說明網(wǎng)絡(luò)問題或者網(wǎng)絡(luò)故障，而良好的網(wǎng)絡(luò)規(guī)劃可以在一定范圍內(nèi)減少重復數(shù)據(jù)包現(xiàn)象。但是重復數(shù)據(jù)包卻帶來了很嚴重的數(shù)據(jù)分析問題(1)重復很容易被誤判成重傳數(shù)據(jù)包，而重傳數(shù)據(jù)包則是一種網(wǎng)絡(luò)故障的表現(xiàn)，是關(guān)鍵的統(tǒng)計指標；(2)重復數(shù)據(jù)包的存在，使得對某一網(wǎng)段的通信(或者交易)的筆數(shù)翻倍，從而出現(xiàn)錯誤；(3)重復數(shù)據(jù)包的存在，使得成功失敗率的計算出現(xiàn)錯誤；(4)重復數(shù)據(jù)包的存在，對于響應(yīng)時間和處理時間等的計算都造成了非常大的系統(tǒng)誤差。目前，重復數(shù)據(jù)包的去除沒有明確的方法，一般是在工程實踐中采用如下幾種方法來盡量減少重復數(shù)據(jù)包的出現(xiàn)(1)優(yōu)化網(wǎng)絡(luò)規(guī)劃，更改網(wǎng)絡(luò)拓撲；(2)增加采集設(shè)備，增加物理采集點，減少匯聚；(3)縮小監(jiān)控范圍，減少監(jiān)控網(wǎng)段。這幾種方法都很不靈活，適用范圍受限，而且前兩種方法實施的成本比較高，最后一種方法使得分析和監(jiān)控有比較多的盲區(qū)，分析和監(jiān)控的效果比較差。同時，在實際網(wǎng)絡(luò)中，有時由于網(wǎng)絡(luò)過于復雜，例如存在回路等情況，即使采用了上述方法，也不能避免重復數(shù)據(jù)包的出現(xiàn)。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，主要解決如何在鏡像環(huán)境中，去除重復數(shù)據(jù)包對網(wǎng)絡(luò)性能分析、故障分析等造成的不良影響(簡稱為去重)。在不改變網(wǎng)絡(luò)拓撲的情況下，在網(wǎng)絡(luò)采集和分析監(jiān)控系統(tǒng)中，即使物理采集點捕獲的數(shù)據(jù)包中存在重復數(shù)據(jù)包，通過使用本發(fā)明也可以快速有效地去除重復數(shù)據(jù)包的影響，從而不會造成重傳的誤判，能夠準確得到交易筆數(shù)、成功失敗率、響應(yīng)時間和處理時間等重要網(wǎng)絡(luò)指標。根據(jù)本發(fā)明的一個方面，提供一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，包括如下步驟 步驟A :加載去重配置，根據(jù)所述去重配置建立TTL去重列表；步驟B :提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。優(yōu)選地，所述步驟A包括如下任一個或任多個步驟-載入直接輸出的去重配置，根據(jù)所述直接輸出的去重配置建立直接輸出的TTL去重列表；-載入直接丟棄的去重配置，根據(jù)所述直接丟棄的去重配置建立直接丟棄的TTL去重列表；-載入有附加信息的去重配置，根據(jù)所述有附加信息的去重配置建立有附加信息的TTL去重列表。優(yōu)選地，所述附加信息用于區(qū)別重復數(shù)據(jù)包。優(yōu)選地，所述步驟B包括如下任一個或任多個步驟-若數(shù)據(jù)包的TTL與所述直接輸出的TTL去重列表相匹配，則輸出該數(shù)據(jù)包到正常輸出；-若數(shù)據(jù)包的TTL與所述直接丟棄的TTL去重列表相匹配，則不輸出該數(shù)據(jù)包；-若數(shù)據(jù)包的TTL與所述有附加信息的TTL去重列表相匹配，則輸出去重后的數(shù)據(jù)包和所述附加信息。 優(yōu)選地，所述步驟B還包括如下步驟若數(shù)據(jù)包不與任何TTL去重列表相匹配，則對該數(shù)據(jù)包執(zhí)行缺省操作。根據(jù)本發(fā)明的另一個方面，還提供一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，包括如下裝置去重配置裝置，用于加載去重配置，并根據(jù)所述去重配置建立TTL去重列表；去重操作裝置，用于提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。優(yōu)選地，所述去重配置裝置包括如下任一個或任多個裝置-第一配置裝置，用于載入直接輸出的去重配置，根據(jù)所述直接輸出的去重配置建立直接輸出的TTL去重列表；-第二配置裝置，用于載入直接丟棄的去重配置，根據(jù)所述直接丟棄的去重配置建立直接丟棄的TTL去重列表；
-第三配置裝置，用于載入有附加信息的去重配置，根據(jù)所述有附加信息的去重配置建立有附加信息的TTL去重列表。優(yōu)選地，所述附加信息用于區(qū)別重復數(shù)據(jù)包。優(yōu)選地，所述去重操作裝置包括如下任一個或任多個裝置-第一操作裝置，用于當數(shù)據(jù)包的TTL與所述直接輸出的TTL去重列表相匹配時， 輸出該數(shù)據(jù)包到正常輸出；-第二操作裝置，用于當數(shù)據(jù)包的TTL與所述直接丟棄的TTL去重列表相匹配時，不輸出該數(shù)據(jù)包；-第三操作裝置，用于當數(shù)據(jù)包的TTL與所述有附加信息的TTL去重列表相匹配，輸出去重后的數(shù)據(jù)包和所述附加信息。優(yōu)選地，所述去重操作裝置還包括如下裝置缺省操作裝置，用于當數(shù)據(jù)包不與任何TTL去重列表相匹配時，對該數(shù)據(jù)包執(zhí)行缺省操作。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果(I)適用范圍廣。本發(fā)明可以適用于各種網(wǎng)絡(luò)環(huán)境，各種鏡像環(huán)境，分析和監(jiān)控大量網(wǎng)段，并且不需要修改網(wǎng)絡(luò)拓撲。(2)低成本。本發(fā)明適用于通過匯聚手段，復用物理采集點，因此不需要部署多套采集系統(tǒng)，或部署大量物理采集點。(3)高性能。本發(fā)明通過TTL匹配來實現(xiàn)，可以采用各種高效的匹配算法，例如哈希等，也可采用硬件加速，因此可以提供非常高速的性能。對于大流量系統(tǒng)有非常好的適應(yīng)性。根據(jù)本發(fā)明提供的方法流程的步驟及相應(yīng)的功能模塊清晰，整體上也可以利用硬件實現(xiàn)，以達到更高的處理性能。(4)方便靈活。本發(fā)明主要通過配置文件修改來適應(yīng)系統(tǒng)，而不需要修改物理連接。對于網(wǎng)絡(luò)發(fā)生拓撲變化的情況，或者業(yè)務(wù)物理服務(wù)發(fā)生變化的情況，只需要修改配置文件中相應(yīng)TTL就能重新適用，而不需要重新部署本發(fā)明。


通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯圖I為根據(jù)本發(fā)明第一實施例提供的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法的流程示意圖；圖2為本發(fā)明中配置加載階段的流程圖；圖3為本發(fā)明中執(zhí)行階段的流程圖。
具體實施例方式下面結(jié)合具體實施例對本發(fā)明進行詳細說明。以下實施例將有助于本領(lǐng)域的技術(shù)人員進一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進。這些都屬于本發(fā)明的保護范圍。
首先對本發(fā)明涉及到的名詞作出說明和解釋。數(shù)據(jù)包(或者數(shù)據(jù)報文)網(wǎng)絡(luò)上傳輸?shù)淖钚?shù)據(jù)單元。同時數(shù)據(jù)包也是網(wǎng)絡(luò)采集設(shè)備(或者網(wǎng)絡(luò)抓包，或者數(shù)據(jù)包捕獲設(shè)備)采集(或者抓包，或者捕獲)網(wǎng)絡(luò)數(shù)據(jù)的最小單
J Li ο鏡像環(huán)境一般交換機都有鏡像功能，即將收到的數(shù)據(jù)包，除了發(fā)送到正常的輸出上，同時復制并發(fā)送到多個不同的其他輸出上。此外，也有具有鏡像功能的專業(yè)網(wǎng)絡(luò)設(shè)備，可以插入到網(wǎng)段中，將流量復制導出。鏡像配置是網(wǎng)絡(luò)采集系統(tǒng)常用的一種方法 。存在這種鏡像配置的網(wǎng)絡(luò)環(huán)境，也就是鏡像環(huán)境。網(wǎng)段是指一個計算機網(wǎng)絡(luò)中使用同一物理層直接通訊的那一部分。網(wǎng)絡(luò)采集系統(tǒng)(或者數(shù)據(jù)包捕獲系統(tǒng))部署在網(wǎng)絡(luò)中，不參與該網(wǎng)絡(luò)的通信和業(yè)務(wù)，通過鏡像和匯聚等方法，將業(yè)務(wù)流量導出和存貯，為網(wǎng)絡(luò)分析和監(jiān)控系統(tǒng)提供數(shù)據(jù)源。采集點(或者捕獲點)網(wǎng)絡(luò)采集系統(tǒng)(或者數(shù)據(jù)包捕獲系統(tǒng))進行采集(或者抓包)時，部署探針的位置。邏輯上，采集點是每個網(wǎng)段獨立，但實際上，由于網(wǎng)絡(luò)環(huán)境比較復雜，有大量的網(wǎng)段需要監(jiān)控，而采集設(shè)備資源有限，一個物理采集點是多個網(wǎng)段數(shù)據(jù)的匯聚，也就是同時對應(yīng)多個邏輯采集點。網(wǎng)絡(luò)采集和分析監(jiān)控系統(tǒng)網(wǎng)絡(luò)采集系統(tǒng)以及網(wǎng)絡(luò)分析和監(jiān)控系統(tǒng)的總稱。數(shù)據(jù)包重傳(或者重傳數(shù)據(jù)包)一個網(wǎng)段中，由于掉包，造成該數(shù)據(jù)包應(yīng)用層數(shù)據(jù)被重新傳送的情況。一般由傳輸控制層來發(fā)起和控制，對上層應(yīng)用透明。數(shù)據(jù)包重傳直接導致交易響應(yīng)延遲增大，處理時間增多，網(wǎng)絡(luò)負荷增大等網(wǎng)絡(luò)問題。因此，這是非常重要的統(tǒng)計指標。重傳率也是關(guān)鍵的網(wǎng)絡(luò)性能指標。重復數(shù)據(jù)包在一個物理采集點上，同時抓到多個網(wǎng)段的IP地址相同，端口地址相同，協(xié)議相同，內(nèi)容相同的數(shù)據(jù)包。不同于重傳數(shù)據(jù)包，這不是網(wǎng)絡(luò)問題，而是由于網(wǎng)絡(luò)復雜造成的，特別是鏡像環(huán)境中容易發(fā)生。重復數(shù)據(jù)包的TTL是不相同的，而且，有些防火墻設(shè)備會使得重復數(shù)據(jù)包的TCP序號和應(yīng)答也不相同。去重去除一個物理采集點上的重復數(shù)據(jù)包以進行有效的網(wǎng)絡(luò)性能分析和監(jiān)控。應(yīng)用層，網(wǎng)絡(luò)層，傳輸控制層網(wǎng)絡(luò)分層模型中的不同層。應(yīng)用層是上層，真正處理網(wǎng)絡(luò)中通信的業(yè)務(wù)數(shù)據(jù)。網(wǎng)絡(luò)層屬于下層，負責數(shù)據(jù)包路由等。傳輸控制層位于應(yīng)用層和網(wǎng)絡(luò)層之前，起到控制作用。同時，該模型中還存在會話層，表示層，物理層等其他層次。TTL =Time To Live,生存時間。用于標識數(shù)據(jù)包有效性的標志，防止由于路由環(huán)路等造成的數(shù)據(jù)包無限次傳輸。IPv4協(xié)議中，TTL可以是8比特計數(shù)器。TTL在產(chǎn)生后，每經(jīng)過一個網(wǎng)絡(luò)設(shè)備，計數(shù)值減1，減到O后，自動被網(wǎng)絡(luò)設(shè)備丟棄。本發(fā)明通過可配置的TTL來去除重復數(shù)據(jù)包。雖然鏡像環(huán)境會造成重復數(shù)據(jù)包，并且造成重復數(shù)據(jù)包情況可能千差萬別，但無論哪種情況，對應(yīng)的重復數(shù)據(jù)包的TTL都會有區(qū)別。本發(fā)明正是基于這個特性來實現(xiàn)快速去重。本發(fā)明可作為網(wǎng)絡(luò)采集、以及分析監(jiān)控系統(tǒng)的組成部分，可以使用軟件或者硬件來實現(xiàn)。本發(fā)明分為配置加載和去重執(zhí)行兩個階段。本發(fā)明在配置加載階段，讀取各種TTL去重配置，建立多個TTL去重列表，每個TTL去重列表對應(yīng)不同的去重操作；然后在數(shù)據(jù)包采集和分析階段，對每個數(shù)據(jù)包，執(zhí)行本發(fā)明提供的方法，提取數(shù)據(jù)包中的TTL，來匹配本發(fā)明的TTL去重列表，進行各種去重操作。
根據(jù)本發(fā)明提供的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，包括步驟步驟A :力口載去重配置，根據(jù)所述去重配置建立TTL去重列表；步驟B :提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。在所述步驟A中，所述去重配置的定義方法可以有很多種，例如文件、數(shù)據(jù)庫、月艮務(wù)調(diào)用等，但去重配置載入后，都可以建立TTL去重列表的形式來應(yīng)用該去重配置，從而使得匹配操作就是快速而簡單地查看是否數(shù)據(jù)包的TTL存在于TTL去重列表中。具體地，所述去重配置包括直接輸出的去重配置、直接丟棄的去重配置、以及有附加信息的去重配置。若數(shù)據(jù)包均不滿足這三種去重配置，則會采用缺省操作。
本發(fā)明的執(zhí)行流程嵌套在網(wǎng)絡(luò)采集和分析監(jiān)控系統(tǒng)的執(zhí)行過程的循環(huán)中，針對每一個數(shù)據(jù)包，反復執(zhí)行。嵌套位置可以是采集子系統(tǒng)中，也可以是分析和監(jiān)控子系統(tǒng)中。因為本發(fā)明采用TTL列表進行匹配，不但取值快速，而且可以采用多種算法，例如兩分法、哈希等以提高執(zhí)行速度，還可以采用硬件加速。因此可以獲得非常高的執(zhí)行速度和效率。執(zhí)行后，從系統(tǒng)角度看，去重完成。圖I示出根據(jù)本發(fā)明第一實施例提供的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法的流程示意圖。在本實施例中，系統(tǒng)包括采集子系統(tǒng)和分析監(jiān)控子系統(tǒng)。首先執(zhí)行步驟S20，系統(tǒng)初始化。接下來執(zhí)行步驟S21，配置加載階段，即加載去重配置，根據(jù)所述去重配置建立TTL去重列表。根據(jù)實際網(wǎng)絡(luò)中的TTL情況，對本發(fā)明進行配置，從而決定本發(fā)明的執(zhí)行。接下來執(zhí)行步驟S22，采集子系統(tǒng)導入數(shù)據(jù)包。采集子系統(tǒng)對監(jiān)控網(wǎng)絡(luò)進行數(shù)據(jù)包采集，采集到的數(shù)據(jù)包中存在重復數(shù)據(jù)包。接下來執(zhí)行步驟S23，采集子系統(tǒng)存儲數(shù)據(jù)包。然后執(zhí)行步驟S24，去重操作階段，S卩提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。執(zhí)行過程根據(jù)TTL去重配置，對數(shù)據(jù)包進行處理，去除重復的數(shù)據(jù)包。本步驟的輸入是采集后存在重復的數(shù)據(jù)包，輸出為經(jīng)過本發(fā)明去除重復的數(shù)據(jù)包和附加息。接下來執(zhí)行步驟S25，根據(jù)實際需求直接存儲包含重復數(shù)據(jù)包的原始采集數(shù)據(jù)。最后執(zhí)行步驟S26，分析監(jiān)控子系統(tǒng)的執(zhí)行。本步驟是分析監(jiān)控子系統(tǒng)使用去重后的數(shù)據(jù)包進行分析和監(jiān)控。在本實施例中，本發(fā)明的配置加載階段(步驟S21)和去重操作階段(步驟S24)是在分析監(jiān)控子系統(tǒng)執(zhí)行前實現(xiàn)的，而在一個變化例中，本發(fā)明的配置加載階段和去重操作階段可以包含在步驟S26中予以執(zhí)行。圖2為本發(fā)明中配置加載階段的流程圖。本發(fā)明的配置可以叫做去重配置。配置可以來源于配置文件，可以來源于數(shù)據(jù)庫，也可以通過其他服務(wù)或者調(diào)用得到。具體地，執(zhí)行如下步驟步驟S211，判斷是否有直接輸出的去重配置。若是，則通過步驟S212載入并建立直接輸出的TTL列表；否則進入步驟S213。步驟S214，判斷是否有直接丟棄的去重配置。若是，則通過步驟S214載入并建立直接丟棄的TTL列表；否則進入步驟S215.步驟S215，判斷是否還有其他去重配置。若是，則通過步驟S216載入并建立該配置的TTL列表，然后通過步驟S217載入該配置的去重操作，其中，在該配置情況下，載入該配置的特殊去重操作，特殊的去重操作可以根據(jù)實際需要來定義，譬如輸出為后續(xù)處理提供參考的附加信息，或者輸出到正常的輸出之外的其他輸出，同時該去重操作也可包括是否在正常輸出中輸出該數(shù)據(jù)包；否則進入步驟S218，載入缺省去重操作。缺省操作可以是輸出，丟棄，或者類似于步驟S217的特殊操作。圖3為本發(fā)明中執(zhí)行階段的流程圖。此流程嵌套在網(wǎng)絡(luò)采集和分析監(jiān)控系統(tǒng)的執(zhí)行過程的循環(huán)中，反復執(zhí)行。每次執(zhí)行此流程輸入是采集后存在重復的數(shù)據(jù)包，輸出為經(jīng)過本發(fā)明去除重復的數(shù)據(jù)包或者附加信息。在丟棄的情況下，沒有數(shù)據(jù)包被輸出到正常輸出。具體地，包括如下步驟步驟S241，從輸入數(shù)據(jù)包中提取TTL。本步驟可以通過協(xié)議解碼等方法實現(xiàn)。步驟S242，判斷該TTL是否匹配直接輸出的TTL去重列表。若是，則通過步驟S243輸出該數(shù)據(jù)包，步驟S243輸出該數(shù)據(jù)包到正常輸出，此時從系統(tǒng)角度看，重復數(shù)據(jù)包情況已經(jīng)被處理了 ；否則進入步驟S242。 步驟S242，判斷該TTL是否匹配直接丟棄的TTL去重列表。若是，則結(jié)束本流程；否則進入步驟S245。步驟S245，判斷是否還有其他TTL去重列表。若是，則通過步驟S247取得一個TTL配置列表和相應(yīng)去重操作，然后進入步驟S248 ;否則通過步驟S246執(zhí)行缺省去重操作，輸出相應(yīng)信息。步驟S246執(zhí)行缺省的去重操作，數(shù)據(jù)包可能被輸出到正常輸出，也可能不被輸出；同時，數(shù)據(jù)包也可能被輸出到其他輸出上；同時，也可能有附加信息輸出。無論是執(zhí)行那種處理或者哪幾種處理，此時從系統(tǒng)角度看，已經(jīng)去重。步驟S248，判斷該TTL是否有匹配該TTL去重列表。若是，則通過步驟S249執(zhí)行相應(yīng)的去重操作，輸出相應(yīng)去重信息；否則返回步驟S245繼續(xù)執(zhí)行。在步驟S249中，數(shù)據(jù)包可能被輸出到正常輸出，也可能不被輸出；同時，數(shù)據(jù)包也可能被輸出到其他輸出上；同時，也可能有附加信息輸出。無論是執(zhí)行那種處理或者哪幾種處理，此時從系統(tǒng)角度看，已
經(jīng)去重。舉例來說，某種交易的在請求發(fā)起(例如靠近客戶端)的網(wǎng)段中，請求初始TTL是128，響應(yīng)TTL是54，而經(jīng)過一個中間網(wǎng)段，在響應(yīng)發(fā)起的(例如靠近服務(wù)器端)的網(wǎng)段中，請求的TTL會是126，而響應(yīng)的初始TTL是56。因此，雖然鏡像環(huán)境會造成重復數(shù)據(jù)包，并且造成重復數(shù)據(jù)包情況可能千差萬別，但無論哪種情況，對應(yīng)的重復數(shù)據(jù)包的TTL都會有區(qū)別重復一次的話，會有兩種不同的TTL，重復兩次的話，會有三種不同的TTL。所以如果上述舉例中，兩個網(wǎng)段的數(shù)據(jù)包同時被一個物理采集點采集了，通過TTL，我們也能正確進行區(qū)分和關(guān)聯(lián)TTL值為128和54的數(shù)據(jù)包應(yīng)該(看作一組)關(guān)聯(lián)在一起計算各項指標，而TTL值為126和56的數(shù)據(jù)包應(yīng)該(看作另一組)關(guān)聯(lián)在一起進行計算。而且，如果其中一組是意義不大的，那么可以直接丟棄丟棄TTL值為126和56的數(shù)據(jù)包，只保留TTL值為128和54的數(shù)據(jù)包進行計算。本發(fā)明正是利用了鏡像環(huán)境，重復數(shù)據(jù)包TTL也不相同的特性來進行去重。上述舉例的重復數(shù)據(jù)包情況，可以通過三種配置方案來實現(xiàn)去重配置本發(fā)明的直接輸出TTL列表為128和54，同時配置缺省操作為丟棄。配置本發(fā)明的直接丟棄TTL列表為126和56，同時配置缺省操作為輸出。
配置本發(fā)明的一個其他TTL列表為128和54，操作為輸出，同時附加信息“組I”。再配置第二個其他TTL列表為126和56，操作為輸出，同時附加信息“組2”。配置方案(I)和(2)效果相同，僅處理TTL為128和54的數(shù)據(jù)包，丟棄TTL為126和56的數(shù)據(jù)包，從而達到去重的目的；而配置方案(3)則附加了信息，可以將重復數(shù)據(jù)包分成兩組分別處理以達到去重的目的。以上對本發(fā)明的具體實施例進行了描述。需要理解的是，本發(fā)明并不局限于上述特定實施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影 響本發(fā)明的實質(zhì)內(nèi)容。
權(quán)利要求
1.一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，其特征在于，包括如下步驟 步驟A :加載去重配置，根據(jù)所述去重配置建立TTL去重列表； 步驟B :提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。
2.根據(jù)權(quán)利要求I所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，其特征在于，所述步驟A包括如下任一個或任多個步驟 -載入直接輸出的去重配置，根據(jù)所述直接輸出的去重配置建立直接輸出的TTL去重列表； -載入直接丟棄的去重配置，根據(jù)所述直接丟棄的去重配置建立直接丟棄的TTL去重列表； -載入有附加信息的去重配置，根據(jù)所述有附加信息的去重配置建立有附加信息的TTL去重列表。
3.根據(jù)權(quán)利要求2所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，其特征在于，所述附加信息用于區(qū)別重復數(shù)據(jù)包。
4.根據(jù)權(quán)利要求2所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，其特征在于，所述步驟B包括如下任一個或任多個步驟 -若數(shù)據(jù)包的TTL與所述直接輸出的TTL去重列表相匹配，則輸出該數(shù)據(jù)包到正常輸出； -若數(shù)據(jù)包的TTL與所述直接丟棄的TTL去重列表相匹配，則不輸出該數(shù)據(jù)包； -若數(shù)據(jù)包的TTL與所述有附加信息的TTL去重列表相匹配，則輸出去重后的數(shù)據(jù)包和所述附加信息。
5.根據(jù)權(quán)利要求4所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，其特征在于，所述步驟B還包括如下步驟 若數(shù)據(jù)包不與任何TTL去重列表相匹配，則對該數(shù)據(jù)包執(zhí)行缺省操作。
6.一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，其特征在于，包括如下裝置 去重配置裝置，用于加載去重配置，并根據(jù)所述去重配置建立TTL去重列表； 去重操作裝置，用于提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。
7.根據(jù)權(quán)利要求6所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，其特征在于，所述去重配置裝置包括如下任一個或任多個裝置 -第一配置裝置，用于載入直接輸出的去重配置，根據(jù)所述直接輸出的去重配置建立直接輸出的TTL去重列表； -第二配置裝置，用于載入直接丟棄的去重配置，根據(jù)所述直接丟棄的去重配置建立直接丟棄的TTL去重列表； -第三配置裝置，用于載入有附加信息的去重配置，根據(jù)所述有附加信息的去重配置建立有附加 目息的TTL去重列表。
8.根據(jù)權(quán)利要求7所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，其特征在于，所述附加信息用于區(qū)別重復數(shù)據(jù)包。
9.根據(jù)權(quán)利要求7所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，其特征在于，所述去重操作裝置包括如下任一個或任多個裝置-第一操作裝置，用于當數(shù)據(jù)包的TTL與所述直接輸出的TTL去重列表相匹配時，輸出該數(shù)據(jù)包到正常輸出； -第二操作裝置，用于當數(shù)據(jù)包的TTL與所述直接丟棄的TTL去重列表相匹配時，不輸出該數(shù)據(jù)包； -第三操作裝置，用于當數(shù)據(jù)包的TTL與所述有附加信息的TTL去重列表相匹配，輸出去重后的數(shù)據(jù)包和所述附加信息。
10.根據(jù)權(quán)利要求9所述的快速去除鏡像環(huán)境中重復數(shù)據(jù)包的系統(tǒng)，其特征在于，所述去重操作裝置還包括如下裝置 缺省操作裝置，用于當數(shù)據(jù)包不與任何TTL去重列表相匹配時，對該數(shù)據(jù)包執(zhí)行缺省操作。
全文摘要
本發(fā)明提供了一種快速去除鏡像環(huán)境中重復數(shù)據(jù)包的方法，包括步驟步驟A加載去重配置，根據(jù)所述去重配置建立TTL去重列表；步驟B提取數(shù)據(jù)包中的生存時間TTL來匹配所述TTL去重列表進行去重操作。還提供相應(yīng)的系統(tǒng)。與現(xiàn)有技術(shù)相比，本發(fā)明可以適用于各種網(wǎng)絡(luò)環(huán)境，各種鏡像環(huán)境，分析和監(jiān)控大量網(wǎng)段，并且不需要修改網(wǎng)絡(luò)拓撲，通過匯聚手段，復用物理采集點，因此不需要部署多套采集系統(tǒng)，或部署大量物理采集點，還具有高性能和方便靈活的優(yōu)點。本發(fā)明可以通過執(zhí)行計算機程序?qū)崿F(xiàn)，也可以利用硬件實現(xiàn)。
文檔編號H04L12/24GK102970220SQ20121050045
公開日2013年3月13日 申請日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者蔡曉華 申請人:上海天旦網(wǎng)絡(luò)科技發(fā)展有限公司