專利名稱：網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，特別是涉及一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)。
背景技術(shù)：
隨著網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展，越來(lái)越多的高帶寬網(wǎng)絡(luò)為用戶提供高速網(wǎng)絡(luò)服務(wù)，然而，由于網(wǎng)絡(luò)用戶的激增和占用高帶寬的應(yīng)用越來(lái)越多，例如，多媒體應(yīng)用等，使得網(wǎng)絡(luò)帶寬資源越來(lái)越緊缺，為增加網(wǎng)絡(luò)帶寬而產(chǎn)生的成本也越來(lái)越高。為了避免網(wǎng)絡(luò)帶寬需求而產(chǎn)生的成本無(wú)限制地增加，各種減少網(wǎng)絡(luò)流量的技術(shù)被應(yīng)用于網(wǎng)絡(luò)服務(wù)中，其中，最為有效的減少網(wǎng)絡(luò)流量的新技術(shù)為網(wǎng)絡(luò)冗余刪除技術(shù)，網(wǎng)絡(luò)冗余刪除技術(shù)的原理是對(duì)傳輸?shù)臄?shù)據(jù)按一定的規(guī)則進(jìn)行分塊，并計(jì)算數(shù)據(jù)分塊的指紋，雙方 網(wǎng)絡(luò)設(shè)備保存首次經(jīng)過(guò)的數(shù)據(jù)塊和指紋到雙方的字典中，待發(fā)現(xiàn)重復(fù)的數(shù)據(jù)塊就使用字典中的指紋來(lái)來(lái)代替重復(fù)數(shù)據(jù)塊的傳輸，當(dāng)數(shù)據(jù)到達(dá)接收端后，接收端根據(jù)指紋信息從接收端的字典中恢復(fù)出相應(yīng)的數(shù)據(jù)塊即可，指紋信息的長(zhǎng)度遠(yuǎn)小于數(shù)據(jù)塊的長(zhǎng)度，從而減少傳輸?shù)臄?shù)據(jù)量，達(dá)到減少網(wǎng)絡(luò)帶寬消耗目的。但是，網(wǎng)絡(luò)冗余刪除技術(shù)識(shí)別重復(fù)數(shù)據(jù)塊計(jì)算量非常大，需要耗費(fèi)較大的計(jì)算開(kāi)銷，同時(shí)對(duì)內(nèi)存、存儲(chǔ)空間、IO訪問(wèn)等方面有較大的處理開(kāi)銷需求。

發(fā)明內(nèi)容
基于此，有必要提供一種能降低計(jì)算開(kāi)銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法。此外，還用必要提供一種能降低計(jì)算開(kāi)銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)。一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，包括如下步驟通過(guò)數(shù)據(jù)發(fā)送端判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息，若否，則采用網(wǎng)絡(luò)冗余刪除處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息；通過(guò)數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)；匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟為對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到所述網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊；計(jì)算所述數(shù)據(jù)塊的指紋信息；判斷所述數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將所述數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸。在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟還包括若判斷到數(shù)據(jù)塊的指紋信息不存在于數(shù)據(jù)發(fā)送端的字典中，則將所述數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入數(shù)據(jù)發(fā)送端的字典中，并傳輸所述數(shù)據(jù)塊。在其中一個(gè)實(shí)施例中，所述采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息的步驟包括判斷所述網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則提取所述標(biāo)識(shí)信息，并向所述數(shù)據(jù)接收端傳輸所述標(biāo)識(shí)信息。在其中一個(gè)實(shí)施例中，所述根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)的步驟包括 從數(shù)據(jù)接收端緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與所述接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)信息；從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將所述提取得到的數(shù)據(jù)塊匯聚恢復(fù)成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。一種網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，包括數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端，所述數(shù)據(jù)發(fā)送端包括類型判斷模塊，用于判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則通知網(wǎng)絡(luò)代理緩存模塊，若否，則通知冗余刪除處理模塊；所述網(wǎng)絡(luò)代理緩存模塊用于采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息；所述冗余刪除處理模塊用于采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息；所述數(shù)據(jù)接收端包括數(shù)據(jù)恢復(fù)模塊，用于通過(guò)數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)；匯聚模塊，用于匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。在其中一個(gè)實(shí)施例中，所述冗余刪除處理模塊包括分塊單元，用于對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到所述網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊；指紋計(jì)算單元，用于計(jì)算所述數(shù)據(jù)塊的指紋信息；數(shù)據(jù)塊處理單元，用于判斷所述數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將所述數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸。在其中一個(gè)實(shí)施例中，所述數(shù)據(jù)塊處理單元還用于若判斷到數(shù)據(jù)塊的指紋信息不存在于數(shù)據(jù)發(fā)送端的字典中，則將所述數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入數(shù)據(jù)發(fā)送端的字典中，并傳輸所述數(shù)據(jù)塊。在其中一個(gè)實(shí)施例中，所述網(wǎng)絡(luò)代理緩存模塊還用于判斷所述網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則提取所述標(biāo)識(shí)信息，并向所述數(shù)據(jù)接收端傳輸所述標(biāo)識(shí)信息。在其中一個(gè)實(shí)施例中，所述數(shù)據(jù)恢復(fù)模塊包括
緩存提取單元，用于從數(shù)據(jù)接收端中緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與所述接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)；冗余恢復(fù)單元，用于從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將所述提取得到的數(shù)據(jù)塊形成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。上述網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)，在對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸?shù)倪^(guò)程中，首先對(duì)與預(yù)設(shè)的網(wǎng)絡(luò)流量類型相符的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行代理緩存處理后傳輸，而與預(yù)設(shè)的網(wǎng)絡(luò)流量類型并不相符的網(wǎng)絡(luò)數(shù)據(jù)，則通過(guò)網(wǎng)絡(luò)冗余刪除處理進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的壓縮，而在數(shù)據(jù)接收端只需要根據(jù)接收的緩存處理后標(biāo)識(shí)信息和冗余刪除處理后的指紋信息進(jìn)行數(shù)據(jù)恢復(fù)即可，由于對(duì)部分網(wǎng)絡(luò)數(shù)據(jù)只需要進(jìn)行標(biāo)識(shí)信息的傳輸，而不需要進(jìn)行冗余刪除處理，因此減少了需要進(jìn)行冗余刪除處理的數(shù)據(jù)量，從而降低網(wǎng)絡(luò)流量的基礎(chǔ)上降低計(jì)算開(kāi)銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率。


圖1為一個(gè)實(shí)施例中網(wǎng)絡(luò)數(shù)據(jù)壓縮方法的流程圖；圖2為一個(gè)實(shí)施例中采用網(wǎng)絡(luò)冗余刪除處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸指紋信息的方法流程圖；圖3為一個(gè)實(shí)施例中根據(jù)標(biāo)識(shí)信息提取曾緩存于數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，并根據(jù)指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)的方法流程圖；圖4為一個(gè)實(shí)施例中網(wǎng)絡(luò)數(shù)據(jù)壓縮方法的應(yīng)用示意圖；圖5為一個(gè)實(shí)施例中網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)的結(jié)構(gòu)示意圖；圖6為圖5中冗余刪除處理模塊的結(jié)構(gòu)示意圖。
具體實(shí)施例方式如圖1所示，在一個(gè)實(shí)施例中，一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，包括如下步驟步驟S110，通過(guò)數(shù)據(jù)發(fā)送端判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則進(jìn)入步驟S130，若否，則進(jìn)入步驟S150。本實(shí)施例中，在進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的傳輸之前，將首先進(jìn)行該網(wǎng)絡(luò)數(shù)據(jù)所屬的網(wǎng)絡(luò)流量類型的判斷，以方便根據(jù)不同的網(wǎng)絡(luò)流量類型選取適當(dāng)?shù)木W(wǎng)絡(luò)數(shù)據(jù)壓縮方法，以提高網(wǎng)絡(luò)數(shù)據(jù)的壓縮效率，進(jìn)而大大地降低花費(fèi)的網(wǎng)絡(luò)帶寬。在一個(gè)實(shí)施例中，網(wǎng)絡(luò)數(shù)據(jù)可包括靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)、動(dòng)態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)以及視頻數(shù)據(jù)等，而預(yù)設(shè)的網(wǎng)絡(luò)流量類型將包括了靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)等，若數(shù)據(jù)發(fā)送端判斷到網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的類型是為靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)，則進(jìn)入步驟S130中對(duì)該網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)代理緩存處理，若判斷到網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的類型為并不是預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則進(jìn)入步驟S150對(duì)該網(wǎng)絡(luò)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)冗余刪除處理的方式進(jìn)行壓縮，以降低花費(fèi)的網(wǎng)絡(luò)流量。步驟S130，采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸標(biāo)識(shí)信息。本實(shí)施例中，若判斷到數(shù)據(jù)發(fā)送端所發(fā)送的網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則應(yīng)用網(wǎng)絡(luò)代理緩存對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行壓縮。
網(wǎng)絡(luò)代理緩存用于減少網(wǎng)絡(luò)流量，是將用戶訪問(wèn)過(guò)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，存放于一個(gè)副本中，當(dāng)該網(wǎng)絡(luò)數(shù)據(jù)再次被訪問(wèn)時(shí)，直接從緩存的網(wǎng)絡(luò)數(shù)據(jù)中獲取所訪問(wèn)的網(wǎng)絡(luò)數(shù)據(jù)。若網(wǎng)絡(luò)數(shù)據(jù)屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，為靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端均會(huì)對(duì)首次經(jīng)過(guò)的 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，在優(yōu)選的實(shí)施例中，以標(biāo)識(shí)信息為索引對(duì)首次經(jīng)過(guò)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存。該標(biāo)識(shí)信息可以是網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的網(wǎng)絡(luò)地址或者指紋信息，但并不僅限于此。對(duì)靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，以待再次傳輸該網(wǎng)絡(luò)數(shù)據(jù)時(shí)，只需要在數(shù)據(jù)發(fā)送端中判斷該網(wǎng)絡(luò)數(shù)據(jù)是否已被緩存，若是，則說(shuō)明該網(wǎng)絡(luò)數(shù)據(jù)也被緩存于數(shù)據(jù)接收端中，因此，只需要提取該網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸即可，而不需要再進(jìn)行該網(wǎng)絡(luò)數(shù)據(jù)的傳輸，進(jìn)而減少了網(wǎng)絡(luò)流量的耗費(fèi)。進(jìn)一步的，在進(jìn)行傳輸之前，還將對(duì)傳輸?shù)臉?biāo)識(shí)信息通過(guò)標(biāo)準(zhǔn)壓縮方法進(jìn)行壓縮，以進(jìn)一步降低耗費(fèi)的網(wǎng)絡(luò)流量。在一個(gè)實(shí)施例中，上述步驟S130的具體過(guò)程為判斷網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則提取標(biāo)識(shí)信息，并向數(shù)據(jù)接收端傳輸標(biāo)識(shí)信息，若否，則將緩存所述標(biāo)識(shí)信息。本實(shí)施例中，判斷網(wǎng)絡(luò)數(shù)據(jù)中記錄的標(biāo)識(shí)信息是否在于到數(shù)據(jù)發(fā)送端緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則說(shuō)明數(shù)據(jù)發(fā)送端也緩存了這一網(wǎng)絡(luò)數(shù)據(jù)，因此不需要對(duì)這一網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸，只需要傳輸相應(yīng)的標(biāo)識(shí)信息即可。若判斷到網(wǎng)絡(luò)數(shù)據(jù)中記錄的標(biāo)識(shí)信息并未存儲(chǔ)于數(shù)據(jù)發(fā)送端緩存的網(wǎng)絡(luò)數(shù)據(jù)中，則說(shuō)明該網(wǎng)絡(luò)數(shù)據(jù)是首次進(jìn)行傳輸，因此，需要對(duì)標(biāo)識(shí)信息進(jìn)行緩存。在優(yōu)選的實(shí)施例中，對(duì)于首次傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)，可在數(shù)據(jù)發(fā)送端進(jìn)行標(biāo)識(shí)信息的緩存，在數(shù)據(jù)接收端進(jìn)行標(biāo)識(shí)信息和網(wǎng)絡(luò)數(shù)據(jù)的緩存，以節(jié)省存儲(chǔ)空間，降低存儲(chǔ)所耗費(fèi)的成本。步驟S150，采用網(wǎng)絡(luò)冗余刪除處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸指紋信息。本實(shí)施例中，應(yīng)用網(wǎng)絡(luò)冗余刪除技術(shù)對(duì)未與預(yù)設(shè)的網(wǎng)絡(luò)流量類型相符的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行壓縮，并將完成了網(wǎng)絡(luò)冗余刪除處理的網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的指紋信息由數(shù)據(jù)發(fā)送端傳輸至數(shù)據(jù)接收端。進(jìn)一步的，在進(jìn)行傳輸之前，網(wǎng)絡(luò)冗余刪除處理后的網(wǎng)絡(luò)數(shù)據(jù)還將通過(guò)標(biāo)準(zhǔn)壓縮方法進(jìn)行壓縮，進(jìn)而將經(jīng)過(guò)標(biāo)準(zhǔn)壓縮方法所得到的網(wǎng)絡(luò)數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)絡(luò)傳輸至數(shù)據(jù)接收端。其中，標(biāo)準(zhǔn)壓縮方法即為無(wú)損數(shù)據(jù)壓縮方法，主要包括游程編碼、Huffman編碼、算術(shù)編碼和LZ系列壓縮等，可根據(jù)實(shí)際的運(yùn)營(yíng)情況靈活地進(jìn)行選取。如圖2所示，在一個(gè)實(shí)施例中，上述步驟S150的具體過(guò)程為步驟S151，對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊。本實(shí)施例中，對(duì)待傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊，以得到網(wǎng)絡(luò)數(shù)據(jù)中包含的若干個(gè)數(shù)據(jù)塊。步驟S152，計(jì)算數(shù)據(jù)塊的指紋信息。
本實(shí)施例中，指紋信息用于指定數(shù)據(jù)塊中的內(nèi)容信息，即對(duì)數(shù)據(jù)塊進(jìn)行唯一標(biāo)識(shí)，進(jìn)而可通過(guò)計(jì)算得到的指紋信息區(qū)分每一數(shù)據(jù)塊。步驟S153，判斷數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則進(jìn)入步驟S154，若否，則進(jìn)入步驟S155。本實(shí)施例中，數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端均會(huì)保存首次經(jīng)過(guò)的數(shù)據(jù)塊和該數(shù)據(jù)塊所對(duì)應(yīng)的指紋信息。在優(yōu)選的實(shí)施例中，數(shù)據(jù)塊和指紋信息在數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端將被存儲(chǔ)于字典中，以通過(guò)字典實(shí)現(xiàn)快速地查找。對(duì)字典中存儲(chǔ)的指紋信息進(jìn)行查找，判斷是否存在與該數(shù)據(jù)塊的指紋信息相一致的指紋信息，若是，則說(shuō)明該數(shù)塊 曾經(jīng)進(jìn)行傳輸，并且已經(jīng)被存儲(chǔ)于數(shù)據(jù)接收端的字典中，此時(shí)，只需要將該數(shù)據(jù)塊替換為相應(yīng)的指紋信息，并傳輸替換的指紋信息即可，不再需要對(duì)該數(shù)據(jù)塊進(jìn)行傳輸。由于指紋信息的長(zhǎng)度遠(yuǎn)小于數(shù)據(jù)塊的長(zhǎng)度，因此，將數(shù)據(jù)塊替換成指紋信息進(jìn)行傳輸將大大降低了網(wǎng)絡(luò)流量，進(jìn)而降低帶寬成本。步驟S154，將數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代理數(shù)據(jù)塊代替數(shù)據(jù)塊傳輸。步驟S155，將數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入字典中，并傳輸數(shù)據(jù)塊。本實(shí)施例中，若判斷到數(shù)據(jù)塊的指紋信息并未存儲(chǔ)于字典中，則該數(shù)據(jù)塊是首次經(jīng)由數(shù)據(jù)發(fā)送端進(jìn)行傳輸，因此，應(yīng)當(dāng)將該數(shù)據(jù)塊和對(duì)應(yīng)的指紋信息關(guān)聯(lián)存入字典中，以方便再次傳輸該數(shù)據(jù)塊時(shí)進(jìn)行查找。步驟S170，通過(guò)數(shù)據(jù)接收端接收指紋信息和標(biāo)識(shí)信息，并根據(jù)標(biāo)識(shí)信息提取曾緩存于數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，并根據(jù)指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，在數(shù)據(jù)接收端接收到網(wǎng)絡(luò)冗余刪除處理后的數(shù)據(jù)和標(biāo)識(shí)信息之后，將提取緩存的網(wǎng)絡(luò)數(shù)據(jù)，并對(duì)網(wǎng)絡(luò)冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)根據(jù)指紋信息進(jìn)行恢復(fù)。進(jìn)一步的，在數(shù)據(jù)接收端根據(jù)接收到的指紋信息和標(biāo)識(shí)信息根據(jù)標(biāo)準(zhǔn)解壓縮方法進(jìn)行解壓。如圖3所示，在一個(gè)實(shí)施例中，上述根據(jù)標(biāo)識(shí)信息提取曾緩存于數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，并根據(jù)指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)的具體過(guò)程為步驟S171，從數(shù)據(jù)接收端緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)信息。步驟S173，從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將提取得到的數(shù)據(jù)塊形成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，在數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息進(jìn)行查找以得到與該指紋信息對(duì)應(yīng)的數(shù)據(jù)塊，而若干個(gè)數(shù)據(jù)塊組合在一起將組成了傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)。步驟S190，匯聚恢復(fù)的網(wǎng)絡(luò)數(shù)據(jù)和提取的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，對(duì)恢復(fù)后的網(wǎng)絡(luò)數(shù)據(jù)和經(jīng)由代理緩存壓縮之后進(jìn)行傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行匯聚，以得到傳輸?shù)乃芯W(wǎng)絡(luò)數(shù)據(jù)。下面結(jié)合一個(gè)具體的實(shí)施例來(lái)詳細(xì)闡述上述網(wǎng)絡(luò)數(shù)據(jù)壓縮方法。該實(shí)施例中，如圖4所示，通過(guò)數(shù)據(jù)發(fā)送端所發(fā)送的數(shù)據(jù)為原始數(shù)據(jù)，原始數(shù)據(jù)通過(guò)調(diào)度器進(jìn)行類型判斷，以獲知該原始數(shù)據(jù)是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若該原始數(shù)據(jù)屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則對(duì)其時(shí)行網(wǎng)絡(luò)代理緩存的方式進(jìn)行傳輸，處理，即將原始數(shù)據(jù)的標(biāo)識(shí)信息在進(jìn)行標(biāo)準(zhǔn)壓縮之后通過(guò)互聯(lián)網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)接收端。數(shù)據(jù)接收端在接收到標(biāo)識(shí)信息之后解壓縮，并根據(jù)解壓縮得到的標(biāo)識(shí)信息提取對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)，該提取得到的網(wǎng)絡(luò)數(shù)據(jù)即為原始數(shù)據(jù)。若該原始數(shù)據(jù)不屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則進(jìn)行網(wǎng)絡(luò)冗余刪除處理得到相應(yīng)的指紋信息；并將得到的指紋信息經(jīng)過(guò)標(biāo)準(zhǔn)壓縮之后通過(guò)互聯(lián)網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)接收端。在數(shù)據(jù)接收端接收到指紋信息并解壓縮之后，將根據(jù)指紋信息在數(shù)據(jù)接收端所存儲(chǔ)的字典中進(jìn)行查找，以判斷是否查找得到與接收到的指紋信息對(duì)應(yīng)的數(shù)據(jù)塊，若是，則提取數(shù)據(jù)塊，進(jìn)而恢復(fù)出原始數(shù)據(jù)。上述網(wǎng)絡(luò)數(shù)據(jù)壓縮方法根據(jù)網(wǎng)絡(luò)數(shù)據(jù)所屬的不同網(wǎng)絡(luò)流量類型選用不同的方式減少網(wǎng)絡(luò)流量，由于代理緩存的方式無(wú)法對(duì)動(dòng)態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)或視頻數(shù)據(jù)產(chǎn)生較好的壓縮效果，因此，在判斷該網(wǎng)絡(luò)數(shù)據(jù)為動(dòng)態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)或視頻數(shù)據(jù)時(shí)，將進(jìn) 行冗余刪除處理，以保證很好的壓縮效果。如圖5所示，在一個(gè)實(shí)施例中，一種網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，包括數(shù)據(jù)發(fā)送端10和數(shù)據(jù)接收端30。數(shù)據(jù)發(fā)送端10包括類型判斷模塊110、網(wǎng)絡(luò)代理緩存模塊130和冗余刪除處理模塊 130。類型判斷模塊110，用于判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則通知網(wǎng)絡(luò)代理緩存模塊130，若否，則通知冗余刪除處理模塊150。本實(shí)施例中，在進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的傳輸之前，類型判斷模塊110將首先進(jìn)行該網(wǎng)絡(luò)數(shù)據(jù)所屬的網(wǎng)絡(luò)流量類型的判斷，以方便根據(jù)不同的網(wǎng)絡(luò)流量類型選取適當(dāng)?shù)木W(wǎng)絡(luò)數(shù)據(jù)壓縮方法，以提高網(wǎng)絡(luò)數(shù)據(jù)的壓縮效率，進(jìn)而大大地降低花費(fèi)的網(wǎng)絡(luò)流量。在一個(gè)實(shí)施例中，網(wǎng)絡(luò)數(shù)據(jù)可包括靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)、動(dòng)態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)以及視頻數(shù)據(jù)等，而預(yù)設(shè)的網(wǎng)絡(luò)流量類型將包括了靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)等，若類型判斷模塊110判斷到網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的類型是為靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)，則通知網(wǎng)絡(luò)代理緩存模塊130對(duì)該網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)代理緩存處理，若判斷到網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的類型并不是預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則通知冗余刪除處理模塊150對(duì)該網(wǎng)絡(luò)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)冗余刪除處理的方式進(jìn)行壓縮，以降低花費(fèi)的網(wǎng)絡(luò)流量。網(wǎng)絡(luò)代理緩存模塊130，用于采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸標(biāo)識(shí)信息。本實(shí)施例中，若類型判斷模塊110判斷到數(shù)據(jù)發(fā)送端所發(fā)送的網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，則網(wǎng)絡(luò)代理緩存模塊130應(yīng)用網(wǎng)絡(luò)代理緩存對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行壓縮。網(wǎng)絡(luò)代理緩存用于減少網(wǎng)絡(luò)流量，網(wǎng)絡(luò)代理緩存模塊130將用戶訪問(wèn)過(guò)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，存放于一個(gè)副本中，當(dāng)該網(wǎng)絡(luò)數(shù)據(jù)再次被訪問(wèn)時(shí)，直接從緩存的網(wǎng)絡(luò)數(shù)據(jù)中獲取所訪問(wèn)的網(wǎng)絡(luò)數(shù)據(jù)。若網(wǎng)絡(luò)數(shù)據(jù)屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，為靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端均會(huì)對(duì)首次經(jīng)過(guò)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，在優(yōu)選的實(shí)施例中，以標(biāo)識(shí)信息為索引對(duì)首次經(jīng)過(guò)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存。該標(biāo)識(shí)信息可以是網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的網(wǎng)絡(luò)地址或者指紋信息，但并不僅限于此。
對(duì)靜態(tài)網(wǎng)頁(yè)所對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行緩存，以待再次傳輸該網(wǎng)絡(luò)數(shù)據(jù)時(shí)，只需要網(wǎng)絡(luò)代理緩存模塊130在數(shù)據(jù)發(fā)送端中判斷該網(wǎng)絡(luò)數(shù)據(jù)是否已被緩存，若是，則說(shuō)明該網(wǎng)絡(luò)數(shù)據(jù)也被緩存于數(shù)據(jù)接收端中，因此，只需要提取該網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸即可，而不需要再進(jìn)行該網(wǎng)絡(luò)數(shù)據(jù)的傳輸，進(jìn)而減少了網(wǎng)絡(luò)流量的耗費(fèi)。進(jìn)一步的，在進(jìn)行傳輸之前，還將對(duì)傳輸?shù)臉?biāo)識(shí)信息通過(guò)標(biāo)準(zhǔn)壓縮方法進(jìn)行壓縮，以進(jìn)一步降低耗費(fèi)的網(wǎng)絡(luò)流量。在一個(gè)實(shí)施例中，網(wǎng)絡(luò)代理緩存模塊130還用于判斷網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則提取標(biāo)識(shí)信息，并向數(shù)據(jù)接收端傳輸標(biāo)識(shí)信息，若否，則將緩存所述標(biāo)識(shí)信息。本實(shí)施例中，網(wǎng)絡(luò)代理緩存模塊130判斷網(wǎng)絡(luò)數(shù)據(jù)中記錄的標(biāo)識(shí)信息是否在于到數(shù)據(jù)發(fā)送端緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則說(shuō)明數(shù)據(jù)發(fā)送端也緩存了這一網(wǎng)絡(luò)數(shù)據(jù)，因此不需 要對(duì)這一網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸，只需要傳輸相應(yīng)的標(biāo)識(shí)信息即可。若網(wǎng)絡(luò)代理緩存模塊130判斷到網(wǎng)絡(luò)數(shù)據(jù)中記錄的標(biāo)識(shí)信息并未存儲(chǔ)于數(shù)據(jù)發(fā)送端緩存的網(wǎng)絡(luò)數(shù)據(jù)中，則說(shuō)明該網(wǎng)絡(luò)數(shù)據(jù)是首次進(jìn)行傳輸，因此，需要對(duì)標(biāo)識(shí)信息進(jìn)行緩存。在優(yōu)選的實(shí)施例中，對(duì)于首次傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)，網(wǎng)絡(luò)代理緩存模塊130可在數(shù)據(jù)發(fā)送端進(jìn)行標(biāo)識(shí)信息的緩存，在數(shù)據(jù)接收端進(jìn)行標(biāo)識(shí)信息和網(wǎng)絡(luò)數(shù)據(jù)的緩存，以節(jié)省存儲(chǔ)空間，降低存儲(chǔ)所耗費(fèi)的成本。冗余刪除處理模塊150，用于采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息。本實(shí)施例中，冗余刪除處理模塊150應(yīng)用網(wǎng)絡(luò)冗余刪除技術(shù)對(duì)與預(yù)設(shè)的網(wǎng)絡(luò)流量類型相符的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行壓縮，并將完成了網(wǎng)絡(luò)冗余刪除處理的網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的指紋信息由數(shù)據(jù)發(fā)送端傳輸至數(shù)據(jù)接收端。進(jìn)一步的，在進(jìn)行傳輸之前，網(wǎng)絡(luò)冗余刪除處理后的網(wǎng)絡(luò)數(shù)據(jù)還將通過(guò)標(biāo)準(zhǔn)壓縮方法進(jìn)行壓縮，進(jìn)而將經(jīng)過(guò)標(biāo)準(zhǔn)壓縮方法所得到的網(wǎng)絡(luò)數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)絡(luò)傳輸至數(shù)據(jù)接收端。其中，標(biāo)準(zhǔn)壓縮方法即為無(wú)損數(shù)據(jù)壓縮方法，主要包括游程編碼、Huffman編碼、算術(shù)編碼和LZ系列壓縮等，可根據(jù)實(shí)際的運(yùn)營(yíng)情況靈活地進(jìn)行選取。如圖6所示，上述冗余刪除處理模塊150包括分塊單元151、指紋計(jì)算單元153和數(shù)據(jù)塊處理單元155。分塊單元151，用于對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊。本實(shí)施例中，分塊單元151對(duì)待傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊，以得到網(wǎng)絡(luò)數(shù)據(jù)中包含的若干個(gè)數(shù)據(jù)塊。指紋計(jì)算單元153，用于計(jì)算數(shù)據(jù)塊的指紋信息。數(shù)據(jù)塊處理單元155，用于判斷數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸，若否，則將數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入字典中，并傳輸數(shù)據(jù)塊。本實(shí)施例中，數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端均會(huì)保存首次經(jīng)過(guò)的數(shù)據(jù)塊和該數(shù)據(jù)塊所對(duì)應(yīng)的指紋信息。在優(yōu)選的實(shí)施例中，數(shù)據(jù)塊和指紋信息在數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端將被存儲(chǔ)于字典中，以通過(guò)字典實(shí)現(xiàn)快速地查找。數(shù)據(jù)塊處理單元155對(duì)字典中存儲(chǔ)的指紋信息進(jìn)行查找，判斷是否存在與該數(shù)據(jù)塊的指紋信息相一致的指紋信息，若是，則說(shuō)明該數(shù)塊曾經(jīng)進(jìn)行傳輸，并且已經(jīng)被存儲(chǔ)于數(shù)據(jù)接收端的字典中，此時(shí)，只需要將該數(shù)據(jù)塊替換為相應(yīng)的指紋信息，并傳輸替換的指紋信息即可，不再需要對(duì)該數(shù)據(jù)塊進(jìn)行傳輸。由于指紋信息的長(zhǎng)度遠(yuǎn)小于數(shù)據(jù)塊的長(zhǎng)度，因此，將數(shù)據(jù)塊替換成指紋信息進(jìn)行傳輸將大大降低了網(wǎng)絡(luò)流量，進(jìn)而降低帶寬成本。若數(shù)據(jù)塊處理單元155判斷到數(shù)據(jù)塊的指紋信息并未存儲(chǔ)于字典中，則該數(shù)據(jù)塊是首次經(jīng)由數(shù)據(jù)發(fā)送端進(jìn)行傳輸，因此，應(yīng)當(dāng)將該數(shù)據(jù)塊和對(duì)應(yīng)的指紋信息關(guān)聯(lián)存入字典中，以方便再次傳輸該數(shù)據(jù)塊時(shí)進(jìn)行查找。數(shù)據(jù)接收端30包括數(shù)據(jù)恢復(fù)模塊310和匯聚模塊330。 數(shù)據(jù)恢復(fù)模塊310，用于通過(guò)數(shù)據(jù)接收端接收指紋信息和標(biāo)識(shí)信息，并根據(jù)標(biāo)識(shí)信息提取曾緩存于數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，在數(shù)據(jù)接收端接收到網(wǎng)絡(luò)冗余刪除處理后的數(shù)據(jù)和標(biāo)識(shí)信息之后，數(shù)據(jù)恢復(fù)模塊310將提取緩存的網(wǎng)絡(luò)數(shù)據(jù)，并對(duì)網(wǎng)絡(luò)冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)根據(jù)指紋信息進(jìn)行恢復(fù)。進(jìn)一步的，在數(shù)據(jù)接收端根據(jù)接收到的指紋信息和標(biāo)識(shí)信息根據(jù)標(biāo)準(zhǔn)解壓縮方法進(jìn)行解壓。在一個(gè)實(shí)施例中，上述數(shù)據(jù)恢復(fù)模塊310包括緩存提取單元和冗余恢復(fù)單元。緩存提取單元，用于從數(shù)據(jù)接收端中緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)信息。冗余恢復(fù)單元，用于從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將提取得到的數(shù)據(jù)塊形成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，冗余恢復(fù)單元在數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息進(jìn)行查找以得到與該指紋信息對(duì)應(yīng)的數(shù)據(jù)塊，而若干個(gè)數(shù)據(jù)塊組合在一起將組成了傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)匯聚模塊330，用于匯聚標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。本實(shí)施例中，匯聚模塊330對(duì)恢復(fù)后的網(wǎng)絡(luò)數(shù)據(jù)和經(jīng)由代理緩存壓縮之后進(jìn)行傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行匯聚，以得到傳輸?shù)乃芯W(wǎng)絡(luò)數(shù)據(jù)。上述網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和和系統(tǒng)，在對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行傳輸?shù)倪^(guò)程中，首先對(duì)與預(yù)設(shè)的網(wǎng)絡(luò)流量類型相符的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行代理緩存處理后傳輸，而與預(yù)設(shè)的網(wǎng)絡(luò)流量類型并不相符的網(wǎng)絡(luò)數(shù)據(jù)，則通過(guò)網(wǎng)絡(luò)冗余刪除處理進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的壓縮，而在數(shù)據(jù)接收端只需要根據(jù)接收代理緩存處理后的標(biāo)識(shí)信息和網(wǎng)絡(luò)冗余刪除處理后的指紋信息進(jìn)行數(shù)據(jù)恢復(fù)即可，由于對(duì)部分網(wǎng)絡(luò)數(shù)據(jù)只需要進(jìn)行標(biāo)識(shí)信息的傳輸，而不需要進(jìn)行冗余刪除處理，因此減少了需要進(jìn)行冗余刪除處理的數(shù)據(jù)量，從而降低網(wǎng)絡(luò)流量的基礎(chǔ)上降低了計(jì)算開(kāi)銷。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random AccessMemory, RAM)等。以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
1.一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，包括如下步驟 通過(guò)數(shù)據(jù)發(fā)送端判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息， 若否，則采用網(wǎng)絡(luò)冗余刪除處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息； 通過(guò)數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)； 匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，其特征在于，所述采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟為 對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到所述網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊； 計(jì)算所述數(shù)據(jù)塊的指紋信息； 判斷所述數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將所述數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸。
3.根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，其特征在于，所述采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息的步驟還包括 若判斷到數(shù)據(jù)塊的指紋信息不存在于數(shù)據(jù)發(fā)送端的字典中，則將所述數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入數(shù)據(jù)發(fā)送端的字典中，并傳輸所述數(shù)據(jù)塊。
4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，其特征在于，所述采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息的步驟包括 判斷所述網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則 提取所述標(biāo)識(shí)信息，并向所述數(shù)據(jù)接收端傳輸所述標(biāo)識(shí)信息。
5.根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮方法，其特征在于，所述根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)的步驟包括 從數(shù)據(jù)接收端緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與所述接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)信息； 從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將所述提取得到的數(shù)據(jù)塊形成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。
6.一種網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，其特征在于，包括數(shù)據(jù)發(fā)送端和數(shù)據(jù)接收端，所述數(shù)據(jù)發(fā)送端包括 類型判斷模塊，用于判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則通知網(wǎng)絡(luò)代理緩存模塊，若否，則通知冗余刪除處理模塊； 所述網(wǎng)絡(luò)代理緩存模塊用于采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息； 所述冗余刪除處理模塊用于采用網(wǎng)絡(luò)冗余處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息； 所述數(shù)據(jù)接收端包括數(shù)據(jù)恢復(fù)模塊，用于通過(guò)數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)； 匯聚模塊，用于匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述冗余刪除處理模塊包括 分塊單元，用于對(duì)所述網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊得到所述網(wǎng)絡(luò)數(shù)據(jù)包含的數(shù)據(jù)塊； 指紋計(jì)算單元，用于計(jì)算所述數(shù)據(jù)塊的指紋信息； 數(shù)據(jù)塊處理單元，用于判斷所述數(shù)據(jù)塊的指紋信息是否存在于數(shù)據(jù)發(fā)送端的字典中，若是，則將所述數(shù)據(jù)塊對(duì)應(yīng)的指紋信息代替數(shù)據(jù)塊傳輸。
8.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述數(shù)據(jù)塊處理單元還用于若判斷到數(shù)據(jù)塊的指紋信息不存在于數(shù)據(jù)發(fā)送端的字典中，則將所述數(shù)據(jù)塊和指紋信息關(guān)聯(lián)存入數(shù)據(jù)發(fā)送端的字典中，并傳輸所述數(shù)據(jù)塊。
9.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述網(wǎng)絡(luò)代理緩存模塊還用于判斷所述網(wǎng)絡(luò)數(shù)據(jù)所對(duì)應(yīng)的標(biāo)識(shí)信息是否存在于緩存的網(wǎng)絡(luò)數(shù)據(jù)中，若是，則提取所述標(biāo)識(shí)信息，并向所述數(shù)據(jù)接收端傳輸所述標(biāo)識(shí)信息。
10.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述數(shù)據(jù)恢復(fù)模塊包括 緩存提取單元，用于從數(shù)據(jù)接收端中緩存的網(wǎng)絡(luò)數(shù)據(jù)中提取與所述接收到的標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)； 冗余恢復(fù)單元，用于從數(shù)據(jù)接收端的字典中根據(jù)接收到的指紋信息提取相應(yīng)的數(shù)據(jù)塊，將所述提取得到的數(shù)據(jù)塊形成冗余刪除處理前的網(wǎng)絡(luò)數(shù)據(jù)。
全文摘要
采用本發(fā)明提供了一種網(wǎng)絡(luò)數(shù)據(jù)壓縮方法和系統(tǒng)。所述方法包括通過(guò)數(shù)據(jù)發(fā)送端判斷網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的類型是否屬于預(yù)設(shè)的網(wǎng)絡(luò)流量類型，若是，則采用網(wǎng)絡(luò)代理緩存實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的標(biāo)識(shí)信息，并傳輸所述標(biāo)識(shí)信息，若否，則采用網(wǎng)絡(luò)冗余刪除處理來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的壓縮得到所述網(wǎng)絡(luò)數(shù)據(jù)對(duì)應(yīng)的指紋信息，并傳輸所述指紋信息；通過(guò)數(shù)據(jù)接收端接收所述指紋信息和標(biāo)識(shí)信息，并根據(jù)所述標(biāo)識(shí)信息提取曾緩存于所述數(shù)據(jù)接收端的網(wǎng)絡(luò)數(shù)據(jù)，根據(jù)所述指紋信息恢復(fù)網(wǎng)絡(luò)冗余處理前的網(wǎng)絡(luò)數(shù)據(jù)；匯聚所述標(biāo)識(shí)信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)和指紋信息對(duì)應(yīng)的網(wǎng)絡(luò)數(shù)據(jù)。采用本發(fā)明能降低計(jì)算開(kāi)銷同時(shí)不減少網(wǎng)絡(luò)數(shù)據(jù)去冗率。
文檔編號(hào)H04L12/801GK103023796SQ201210572738
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年12月25日 優(yōu)先權(quán)日2012年12月25日
發(fā)明者劉進(jìn), 須成忠, 邱健聰, 陳凱, 閆茜, 彭賢斌, 向潔 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院