專利名稱：支持跨idc域功能的數(shù)據(jù)中心鏡像分發(fā)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)科學(xué)中廣域網(wǎng)范圍的因特網(wǎng)數(shù)據(jù)中心的系統(tǒng)鏡像或文件的分發(fā)技術(shù)，特別是適用于對虛擬機(jī)系統(tǒng)鏡像或單個大型文件的大量分發(fā)。
背景技術(shù)：
因特網(wǎng)數(shù)據(jù)中心(Internet Data Center, IDC)是整個因特網(wǎng)的數(shù)據(jù)和服務(wù)的最主要支持者，它們往往分布在相距較遠(yuǎn)的不同地域內(nèi)，彼此之間的網(wǎng)絡(luò)連接帶寬有限且成本高昂?；ヂ?lián)網(wǎng)企業(yè)或軟件服務(wù)公司的服務(wù)或應(yīng)用一般都會部署在多個不同的IDC中，通過購買網(wǎng)絡(luò)連接帶寬實(shí)現(xiàn)不同IDC域之間應(yīng)用的數(shù)據(jù)通信，帶寬小則影響數(shù)據(jù)通信性能，帶寬大則成本負(fù)擔(dān)太重。尤其是隨著虛擬化技術(shù)和數(shù)據(jù)中心技術(shù)的結(jié)合，IDC已廣泛采用虛擬機(jī)代替?zhèn)鹘y(tǒng)的物理機(jī)，在IDC域之間部署和傳輸虛擬機(jī)鏡像文件的需求逐漸上升。傳統(tǒng)方式的文件傳輸技術(shù)，比如ftp、http等，已根本無法有效解決上述需求問題。除了傳統(tǒng)的Client-Server方式的文件和數(shù)據(jù)傳輸技術(shù)外，對等網(wǎng)絡(luò)(Peer toPeer，P2P)方式早已成為整個互聯(lián)網(wǎng)使用最廣泛的文件、媒體等傳輸技術(shù)。P2P技術(shù)是一種面向應(yīng)用的組網(wǎng)方式，其中的Peer端即為通常意義的客戶端，具有文件、網(wǎng)絡(luò)帶寬、磁盤存儲等資源，同時也具有文件等數(shù)據(jù)資源的傳輸需求。此外，在一些類型的P2P技術(shù)實(shí)現(xiàn)中還會包括tracker端,它是一個保存信息并對這些信息的請求進(jìn)行響應(yīng)的中心節(jié)點(diǎn)，負(fù)責(zé)發(fā)布資源信息。P2P網(wǎng)絡(luò)技術(shù)的主要目標(biāo)是讓所有的客戶端(即Peer)都能提供資源，包括帶寬、存儲空間和計算能力，所以，當(dāng)有更多的Peer加入且系統(tǒng)請求更多時，整個P2P網(wǎng)絡(luò)系統(tǒng)的容量也就更大。這是Client-Server結(jié)構(gòu)的固定服務(wù)器方式所不能夠?qū)崿F(xiàn)，因?yàn)樵谶@種結(jié)構(gòu)中，客戶端的增加只會導(dǎo)致每個用戶的數(shù)據(jù)傳輸都變慢。傳統(tǒng)的P2P客戶端軟件都具有復(fù)雜的界面操作，僅適用于獨(dú)立用戶進(jìn)行電影等資源的下載；而IDC域中的鏡像或文件分發(fā)系統(tǒng)與其目的不同，不能使用圖形界面，只能使用后臺進(jìn)程運(yùn)行的形式，并且接受遠(yuǎn)程管理和控制。在分發(fā)系統(tǒng)中，功能和效率才是核心，并且不能占用太多的系統(tǒng)資源。同時，由于IDC域之間的網(wǎng)絡(luò)帶寬成本高昂，必須采用一定的措施減少帶寬資源的浪費(fèi)，提高IDC域間網(wǎng)絡(luò)帶寬的有效利用率。

發(fā)明內(nèi)容
本發(fā)明以實(shí)現(xiàn)跨IDC域的快速鏡像分發(fā)為目標(biāo)，設(shè)計了一套支持跨IDC域功能的鏡像分發(fā)系統(tǒng)，該系統(tǒng)除采用了基本的P2P網(wǎng)絡(luò)技術(shù)外，其設(shè)計重點(diǎn)包括了“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)，用以避免跨IDC域的重復(fù)數(shù)據(jù)流量，提高IDC域間的網(wǎng)絡(luò)帶寬效率，還包括了一個獨(dú)立的集中管理和控制功能節(jié)點(diǎn)，用以實(shí)現(xiàn)對分發(fā)系統(tǒng)中所有的節(jié)點(diǎn)的有效管理和控制。具體內(nèi)容包括:1.“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)在系統(tǒng)中，待分發(fā)的系統(tǒng)鏡像或文件被稱為資源，本系統(tǒng)對特定資源的分發(fā)使用了 “橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)。在該模式的P2P網(wǎng)絡(luò)中，每個IDC域內(nèi)的Peer節(jié)點(diǎn)都處在同一個層次的P2P網(wǎng)絡(luò)中，它們互相可見，可以進(jìn)行資源分片的傳輸；在每個IDC域中設(shè)置了若干具有公網(wǎng)IP地址的Peer節(jié)點(diǎn)，這些Peer節(jié)點(diǎn)稱為本IDC域的“橋頭堡”節(jié)點(diǎn)，只有“橋頭堡”節(jié)點(diǎn)可以進(jìn)行IDC域間的資源分片傳輸。不同的資源具有不同的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)，每個資源在單個IDC域中只有一個“橋頭堡”節(jié)點(diǎn)。2.集中管理和控制功能除Peer節(jié)點(diǎn)和Tracker節(jié)點(diǎn)外，整個分發(fā)系統(tǒng)還設(shè)置有唯一的集中管理和控制功能節(jié)點(diǎn)，該節(jié)點(diǎn)與其它所有的Peer節(jié)點(diǎn)和Tracker節(jié)點(diǎn)通過http消息進(jìn)行通信。集中管理和控制節(jié)點(diǎn)具有這樣的功能:查看Tracker和所有Peer節(jié)點(diǎn)的狀態(tài)信息JfPeer節(jié)點(diǎn)發(fā)出長傳或下載資源的控制指令，并且對Peer和Tracker節(jié)點(diǎn)進(jìn)行管理配置；實(shí)時監(jiān)視整個P2P網(wǎng)絡(luò)的運(yùn)行狀況。雖然P2P網(wǎng)絡(luò)技術(shù)已經(jīng)很成熟，但是其在IDC領(lǐng)域中的應(yīng)用還非常少，尤其是在云計算和虛擬化技術(shù)的背景下，本系統(tǒng)所具有的創(chuàng)新點(diǎn)在于:(I)適用于IDC場景，支持虛擬機(jī)系統(tǒng)鏡像或文件的高效傳輸；(2)對特定分發(fā)目標(biāo)資源，具有“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)的特征，能夠消除IDC域間可能的重復(fù)數(shù)據(jù)流量；(3)具有全局統(tǒng)一的集中管理和控制節(jié)點(diǎn)，負(fù)責(zé)對整個跨越多個IDC域的分發(fā)系統(tǒng)的方便控制和管理。


圖1鏡像分發(fā)系統(tǒng)組成結(jié)構(gòu)2鏡像分發(fā)系統(tǒng)部署3 “橋頭堡”模式雙層P2P網(wǎng)絡(luò)示意4 “橋頭堡”模式鏡像分發(fā)過程示意圖
具體實(shí)施例方式如圖1所示,鏡像分發(fā)系統(tǒng)是由大量Peer節(jié)點(diǎn)、一個Tracker節(jié)點(diǎn)和一個集中管理和控制節(jié)點(diǎn)構(gòu)成，系統(tǒng)管理員可以通過管理和控制節(jié)點(diǎn)完成對整個分發(fā)系統(tǒng)的有效管理和控制。Peer節(jié)點(diǎn)是分發(fā)系統(tǒng)的功能主體，具有查詢特定資源的Peer列表、上傳和下載資源的功能；Tracker節(jié)點(diǎn)負(fù)責(zé)記錄所有的Peer節(jié)點(diǎn)、實(shí)時記錄每個Peer節(jié)點(diǎn)正在上傳或下載的資源、維護(hù)特定資源的Peer列表、響應(yīng)Peer節(jié)點(diǎn)的資源請求并返回資源Peer列表、管理IDC域等功能；集中管理和控制節(jié)點(diǎn)則負(fù)責(zé)查看Tracker和所有Peer節(jié)點(diǎn)的狀態(tài)信息，對Peer節(jié)點(diǎn)發(fā)出上傳或下載資源的控制指令,并且對Peer和Tracker節(jié)點(diǎn)進(jìn)行管理配置，實(shí)時監(jiān)視整個P2P網(wǎng)絡(luò)的運(yùn)行狀況。其中，只有管理和控制節(jié)點(diǎn)具有Web圖形管理界面，其它每個節(jié)點(diǎn)的功能都以系統(tǒng)后臺進(jìn)程形式運(yùn)行，所有節(jié)點(diǎn)之間都通過http消息進(jìn)行通信。鏡像分發(fā)系統(tǒng)在跨IDC域的現(xiàn)實(shí)環(huán)境中的實(shí)際部署則如圖2所示=Peer節(jié)點(diǎn)分布部署在眾多的IDC域(圖示中IDC1-4)中，同一個IDC域內(nèi)的Peer節(jié)點(diǎn)可以自由進(jìn)行消息通信和資源分片傳輸，其中大部分都是不可以跨越IDC域的普通Peer節(jié)點(diǎn)，只有少量的“橋頭堡”Peer節(jié)點(diǎn)可以進(jìn)行IDC域間的消息通信和資源分片傳輸；Tracker節(jié)點(diǎn)是全局唯一的，它可以與所有Peer節(jié)點(diǎn)的進(jìn)行消息傳遞，響應(yīng)所有Peer節(jié)點(diǎn)的資源列表請求，返回對應(yīng)資源的Peer列表；集中管理和控制節(jié)點(diǎn)則處在整個鏡像分發(fā)系統(tǒng)的邊緣，其部署位置可靈活確定，受系統(tǒng)管理的直接操作和控制，與所有的Peer節(jié)點(diǎn)以及Tracker節(jié)點(diǎn)進(jìn)行消息通信，負(fù)責(zé)將系統(tǒng)管理員的所有控制操作通過系統(tǒng)定義的http消息發(fā)送給Tracker節(jié)點(diǎn)或?qū)?yīng)的Peer節(jié)點(diǎn)?！皹蝾^堡”Peer節(jié)點(diǎn)要具有公網(wǎng)IP地址，從而能夠接收和處理其它任意Peer節(jié)點(diǎn)的連接請求。實(shí)現(xiàn)IDC域間網(wǎng)絡(luò)連接帶寬的高效利用和減少重復(fù)數(shù)據(jù)流量的關(guān)鍵在于本系統(tǒng)獨(dú)特的“橋頭堡”模式，該模式是雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)。通過將單層扁平化的P2P網(wǎng)絡(luò)劃分層次，限制了 IDC域間可能引發(fā)的重復(fù)數(shù)據(jù)流量，提高了有限網(wǎng)絡(luò)帶寬的利用率?！皹蝾^堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，第一層P2P網(wǎng)絡(luò)是由虛線云圖所包括的Peer節(jié)點(diǎn)(圓形示意)構(gòu)成，每個Peer節(jié)點(diǎn)都可以是“橋頭堡”Peer節(jié)點(diǎn)，第一層P2P網(wǎng)絡(luò)跨越所有的IDC域；第二層P2P網(wǎng)絡(luò)則限制在單個IDC域內(nèi)，它是由實(shí)線云圖所包括的所有Peer節(jié)點(diǎn)構(gòu)成，Peer節(jié)點(diǎn)包括了 IDC域內(nèi)的所有普通Peer節(jié)點(diǎn)和“橋頭堡"Peer節(jié)點(diǎn)，圖中示意了 IDCA-D共四個二層P2P網(wǎng)絡(luò)。每個第二層P2P網(wǎng)絡(luò)中的普通Peer節(jié)點(diǎn)只能夠與本IDC域內(nèi)的所有節(jié)點(diǎn)進(jìn)行消息通信和資源分片傳輸，每個第一層P2P網(wǎng)絡(luò)中的“橋頭堡”節(jié)點(diǎn)都可以與其它所有“橋頭堡”節(jié)點(diǎn)進(jìn)行跨IDC域的資源分片傳輸。這樣，就把所有的跨IDC域的資源數(shù)據(jù)流量局限在了 “橋頭堡”Peer節(jié)點(diǎn)之間。“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)中的Peer節(jié)點(diǎn)并沒有實(shí)際的層次屬性劃分，其所處層次也不是固定不變的。對于每個Peer節(jié)點(diǎn)，它在雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)中的層次位置既與它的IP地址相關(guān)，更直接取決于它對特定資源的Peer列表請求的返回結(jié)果。只有具備公網(wǎng)IP地址的Peer節(jié)點(diǎn)才有可能成為該IDC域的“橋頭堡”Peer節(jié)點(diǎn)，而能否最終成為“橋頭堡”節(jié)點(diǎn)則由Tracker的Peer列表返回結(jié)果所決定。一個資源的分發(fā)過程，對應(yīng)一個不同的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)視圖，在該視圖的每個IDC域中只有一個“橋頭堡"Peer節(jié)點(diǎn)。如圖4所示，以某個位于Al節(jié)點(diǎn)的具體文件資源的分發(fā)過程為例說明:首先該文件資源存儲在Al節(jié)點(diǎn)，Al節(jié)點(diǎn)會向Tracker節(jié)點(diǎn)通告上傳文件資源，Tracker節(jié)點(diǎn)生成對應(yīng)的信息；管理員通過集中管理和控制節(jié)點(diǎn)的操作通知A2、A3、A4、B2、B3、B4、C3、C4、C5、D3、D5和D6節(jié)點(diǎn)，上述所有節(jié)點(diǎn)向Tracker發(fā)送該文件資源的Peer列表請求，同時管理和控制節(jié)點(diǎn)與Tracker節(jié)點(diǎn)共同將A5、B5、C7和D7作為第一層P2P網(wǎng)絡(luò)節(jié)點(diǎn)納入到文件資源的下載過程中，Tracker節(jié)點(diǎn)對不同層次的Peer返回對應(yīng)的Peer列表結(jié)果。對于A2節(jié)點(diǎn)，它的Peer列表請求結(jié)果包括了 Al、A3、A4和A5節(jié)點(diǎn)；對于B5節(jié)點(diǎn)，它的Peer列表請求結(jié)果包括了A5、C7和D7節(jié)點(diǎn)。這種動態(tài)非固定化的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)，可以提高整個鏡像分發(fā)系統(tǒng)的效率，避免靜態(tài)的固定式“橋頭堡”Peer節(jié)點(diǎn)可能引起的性能瓶頸問題。
權(quán)利要求
1.一種在多個因特網(wǎng)數(shù)據(jù)中心(IDC)環(huán)境中部署的基于P2P技術(shù)的鏡像分發(fā)系統(tǒng)，包括Peer節(jié)點(diǎn)、Tracker節(jié)點(diǎn)與集中管理和控制節(jié)點(diǎn),其特征在于: (1)大量的Peer節(jié)點(diǎn)分布在多個IDC域環(huán)境中，每個Peer節(jié)點(diǎn)既可作為資源的上傳者，也可作為資源的下載者，都以系統(tǒng)后臺進(jìn)程形式運(yùn)行，無圖形化操作界面； (2)全局唯一的Tracker節(jié)點(diǎn)用于記錄系統(tǒng)中的所有Peer節(jié)點(diǎn)的信息、所有正在上傳和下載的資源信息、響應(yīng)Peer節(jié)點(diǎn)對特定資源的Peer列表請求，以系統(tǒng)后臺進(jìn)程形式運(yùn)行，無圖形化操作界面； (3)全局唯一的集中管理和控制節(jié)點(diǎn)具有整個分發(fā)系統(tǒng)的圖形化管理和控制界面，由系統(tǒng)管理員進(jìn)行控制操作向Peer節(jié)點(diǎn)和Tracker節(jié)點(diǎn)發(fā)送管理和控制命令消息； (4)所有系統(tǒng)節(jié)點(diǎn)都是用http消息進(jìn)行通信。
2.如權(quán)利要求1所述的方法，其特征在于，所述大量的Peer節(jié)點(diǎn)構(gòu)成“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)，每個IDC域中都設(shè)置有具有公網(wǎng)IP地址的Peer節(jié)點(diǎn)，這些分布在不同IDC域中具有公網(wǎng)IP地址的所有Peer節(jié)點(diǎn)構(gòu)成第一層P2P網(wǎng)絡(luò)，該第一層P2P網(wǎng)絡(luò)內(nèi)的Peer節(jié)點(diǎn)被稱為“橋頭堡”節(jié)點(diǎn)，每個IDC域中的所有Peer節(jié)點(diǎn)分別構(gòu)成第二層P2P網(wǎng)絡(luò)，第一層P2P網(wǎng)絡(luò)跨越所有的IDC域，第二層P2P網(wǎng)絡(luò)則局限在單個IDC域內(nèi)；在資源傳輸方面，每個IDC域內(nèi)只有“橋頭堡”節(jié)點(diǎn)可以與其它“橋頭堡”節(jié)點(diǎn)進(jìn)行跨IDC域的資源分片傳輸，第二層P2P網(wǎng)絡(luò)中所有節(jié)點(diǎn)都可以進(jìn)行IDC域內(nèi)的資源分片傳輸。
3.如權(quán)利要求2所述的方法，其特征在于，“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)是動態(tài)非固定化的。
4.如權(quán)利要求1所述的方法，其特征在于，集中管理和控制節(jié)點(diǎn)的功能包括:查看Tracker和所有Peer節(jié)點(diǎn)的狀態(tài)信息；對Peer節(jié)點(diǎn)發(fā)出長傳或下載資源的控制指令,并且對Peer和Tracker節(jié)點(diǎn)進(jìn)行管理配置；實(shí)時監(jiān)視整個P2P網(wǎng)絡(luò)的運(yùn)行狀況。
5.如權(quán)利要求1所述的方法，其特征在于，系統(tǒng)可支持Linux和Windows操作系統(tǒng)。
全文摘要
一種部署在多個IDC域上的基于P2P技術(shù)的鏡像分發(fā)系統(tǒng)，支持虛擬機(jī)系統(tǒng)鏡像或文件的大規(guī)模分發(fā)部署，包括大量Peer節(jié)點(diǎn)、一個Tracker節(jié)點(diǎn)和一個集中管理和控制節(jié)點(diǎn)，具有“橋頭堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)。Peer節(jié)點(diǎn)主要負(fù)責(zé)資源上傳和下載等；Tracker節(jié)點(diǎn)負(fù)責(zé)記錄Peer節(jié)點(diǎn)信息、資源的上傳和下載情況、響應(yīng)Peer端的Peer列表請求等；集中管理和控制節(jié)點(diǎn)是整個鏡像分發(fā)系統(tǒng)的圖形化管理和控制界面，由系統(tǒng)管理員操作對Peer節(jié)點(diǎn)和Tracker節(jié)點(diǎn)通過http消息發(fā)送控制指令?！皹蝾^堡”模式的雙層P2P網(wǎng)絡(luò)結(jié)構(gòu)是支持跨IDC域特征的關(guān)鍵，它能夠通過減少IDC域間的重復(fù)數(shù)據(jù)流量來提高網(wǎng)絡(luò)連接帶寬的有效利用率。
文檔編號H04L29/08GK103078957SQ201310042619
公開日2013年5月1日 申請日期2013年2月1日 優(yōu)先權(quán)日2013年2月1日
發(fā)明者白躍彬, 呂多, 馬耀, 彭遠(yuǎn)峰, 王忠釗, 畢重光, 程琨, 賈楊梅 申請人:北京航空航天大學(xué)