專利名稱：一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種存儲系統(tǒng)，特別涉及一種適用于云計算中大規(guī)模虛擬機集群的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)。
背景技術(shù)：
虛擬化技術(shù)在云計算的發(fā)展和推廣中起著非常重要的作用，虛擬機是虛擬化技術(shù)應(yīng)用于云計算中的典型。虛擬機降低了運營成本、提高了應(yīng)用兼容性、提高了應(yīng)用可用性、提升了資源利用率、加快了應(yīng)用部署速度、降低了能源消耗。隨著云計算的不斷推廣，一個云池中的虛擬機數(shù)據(jù)在不斷增長，有的云池甚至多達萬級或十萬級的虛擬機臺數(shù)。盡管目前已經(jīng)有很多大容量、高可靠、高可擴展的存儲系統(tǒng)和方法，但是還沒有一種特別針對云計算環(huán)境下這種超大規(guī)模的虛擬機集群的存儲系統(tǒng)和方法，而存儲系統(tǒng)的綜合性能直接影響著整個虛擬機集群的性能和正常運行。面對這種超大規(guī)模的虛擬機集群數(shù)據(jù)存儲和服務(wù)性能的應(yīng)用要求，我們需要一種有系統(tǒng)的、有針對性的解決方案，在存儲容量、數(shù)據(jù)訪問性能、 數(shù)據(jù)傳輸性能、數(shù)據(jù)管理、存儲擴展等方面做出新的改進，使得整個集群系統(tǒng)的性能和穩(wěn)定性得到更好保障。在虛擬機技術(shù)的發(fā)展和應(yīng)用過程中，虛擬機存儲系統(tǒng)和方法經(jīng)歷了三個不同的發(fā)展時期最初，虛擬機主要是處在單臺物理機這樣一個相對封閉的環(huán)境中，虛擬機的數(shù)據(jù)存儲、備份、恢復(fù)、鏡像等等都是在物理機本地磁盤上完成的。目前，這樣的方法主要多見于小型的實驗或生產(chǎn)環(huán)中。隨后，隨著虛擬機數(shù)量的增加，單臺虛擬機所需求和產(chǎn)出的數(shù)據(jù)量的增加，物理機本地的存儲系統(tǒng)已經(jīng)很難滿足虛擬機對存儲容量和存取速度的需要，更重要的是，一旦物理機本地磁盤出現(xiàn)問題，將會導(dǎo)致整個虛擬機群生產(chǎn)環(huán)境的中斷，造成損失。因此，在這樣的背景下，虛擬機群開始使用如NAS或SAN以及磁盤陣列等外部存儲設(shè)備來存取數(shù)據(jù)。雖然這樣的系統(tǒng)和方法較好的解決了第一種存儲方法所具有的問題，但是長遠的看，這種方法也是具有很大的局限性的，尤其是對于萬級或者十萬級甚至百萬級的虛擬機集群而言。目前，人們開始探尋新的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)和方法。云計算的彈性部署、快速部署和按需使用，要求虛擬機池中的虛擬機集群本身具備彈性部署和快速部署。這要求虛擬機能夠快速的部署、快速的啟動、快速的恢復(fù)以及動態(tài)的遷移。在虛擬機集群中，有很多的數(shù)據(jù)是相同的，但是這些數(shù)據(jù)在現(xiàn)有系統(tǒng)中是被重復(fù)存放的。每臺虛擬機的全部數(shù)據(jù)大概在20-60GB，可以想象，對于萬級或者十萬級的超大規(guī)模虛擬機集群來說，這要占用多么大的存儲資源，而事實上，這些數(shù)據(jù)中有很多是一樣的(大約有90%的數(shù)據(jù)是相同的)。而現(xiàn)有的存儲系統(tǒng)和方法還無法很好的解決數(shù)據(jù)重復(fù)存放問題。因此，針對上述問題，特別需要一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，以解決上述現(xiàn)有存在的問題
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，對現(xiàn)有技術(shù)的不足，可以更好的提升虛擬機的性能、穩(wěn)定性、安全性，時，提升存儲資源利用率，節(jié)約存儲成本。本發(fā)明所解決的技術(shù)問題可以采用以下技術(shù)方案來實現(xiàn)一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，它包括虛擬機集群緩存系統(tǒng)，通過緩存算法將用戶最近經(jīng)常訪問的數(shù)據(jù)存放在快速存儲設(shè)備中；虛擬機集群鏡像存儲系統(tǒng)，將虛擬機集群的模板鏡像數(shù)據(jù)和鏡像增量數(shù)據(jù)分開存儲； 虛擬機集群I/O監(jiān)控處理系統(tǒng)，監(jiān)控每個虛擬機集群管理器中的I/O類型、負載等狀態(tài)，隨后將得到的狀態(tài)匯總并將監(jiān)控到的虛擬機子集群I/o特征進行綜合處理，根據(jù)設(shè) 定好的策略從I/o負載過重的虛擬機集群中將部分虛擬機遷往I/O負載輕的虛擬機集群，進而平衡整個虛擬機集群的I/o負載，提升虛擬機集群服務(wù)質(zhì)量；及分布式存儲系統(tǒng)，負責(zé)存儲整個虛擬機集群中的用戶數(shù)據(jù)以及備份數(shù)據(jù)；所述虛擬機集群緩存系統(tǒng)分別與所述虛擬機集群鏡像存儲系統(tǒng)、虛擬機集群I/O監(jiān)控處理系統(tǒng)和分布式存儲系統(tǒng)互相連接。在本發(fā)明的一個實施例中，所述虛擬機集群緩存系統(tǒng)包括若干集群緩存模塊。在本發(fā)明的一個實施例中，所述虛擬機集群鏡像存儲系統(tǒng)包括位于固態(tài)硬盤中的虛擬機鏡像模板存儲模塊和虛擬機鏡像增量數(shù)據(jù)存儲模塊，所述虛擬機鏡像模板存儲模塊和所述虛擬機鏡像增量數(shù)據(jù)存儲模塊互相連接。在本發(fā)明的一個實施例中，所述虛擬機集群I/O監(jiān)控處理系統(tǒng)包括I狀態(tài)監(jiān)控模塊和I/o信息處理及虛擬機調(diào)度模塊，所述I/O狀態(tài)監(jiān)控模塊與所述I/O信息處理及虛擬機調(diào)度模塊互相連接。在本發(fā)明的一個實施例中，所述分布式存儲系統(tǒng)包括用戶數(shù)據(jù)模塊、鏡像增量數(shù)據(jù)備份模塊和鏡像模板數(shù)據(jù)備份模塊。本發(fā)明的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，與現(xiàn)有技術(shù)相比，具有較廣的云計算虛擬機存儲范圍，增強虛擬機存儲的存取性能和系統(tǒng)穩(wěn)定性，使云計算提供商能夠更快的進行部署，進行按需服務(wù)，通過合理的結(jié)合共享存儲和獨享存儲方式，其存儲架構(gòu)和存儲方式將被動式存儲轉(zhuǎn)變?yōu)橹鲃邮酱鎯Γ岣吡朔?wù)質(zhì)量，節(jié)約了資源和能源，實現(xiàn)本發(fā)明的目的。本發(fā)明的特點可參閱本案圖式及以下較好實施方式的詳細說明而獲得清楚地了解。


圖I為本發(fā)明的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)的結(jié)構(gòu)示意圖；圖2為本發(fā)明的虛擬機集群緩存系統(tǒng)的結(jié)構(gòu)示意圖；圖3為本發(fā)明的虛擬機集群鏡像存儲系統(tǒng)的結(jié)構(gòu)示意圖；圖4為本發(fā)明的虛擬機集群I/O監(jiān)控處理模塊的結(jié)構(gòu)示意圖；圖5為本發(fā)明的分布式存儲系統(tǒng)的結(jié)構(gòu)示意圖6為本發(fā)明的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)的流程示意圖。
具體實施例方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明了解，下面結(jié)合具體圖示，進一步闡述本發(fā)明。如圖I所示，本發(fā)明的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，它包括虛擬機集群緩存系統(tǒng)100，通過緩存算法將用戶最近經(jīng)常訪問的數(shù)據(jù)存放在快速存儲設(shè)備中；虛擬機集群鏡像存儲系統(tǒng)200，將虛擬機集群的模板鏡像數(shù)據(jù)和鏡像增量數(shù)據(jù)分開存儲；虛擬機集群I/O監(jiān)控處理系統(tǒng)300，監(jiān)控每個虛擬機集群管理器中的I/O類型、負 載等狀態(tài)，隨后將得到的狀態(tài)匯總并將監(jiān)控到的虛擬機子集群I/o特征進行綜合處理，根據(jù)設(shè)定好的策略從I/o負載過重的虛擬機集群中將部分虛擬機遷往I/O負載輕的虛擬機集群，進而平衡整個虛擬機集群的I/o負載，提升虛擬機集群服務(wù)質(zhì)量；及分布式存儲系統(tǒng)400，負責(zé)存儲整個虛擬機集群中的用戶數(shù)據(jù)以及備份數(shù)據(jù)；所述虛擬機集群緩存系統(tǒng)100分別與所述虛擬機集群鏡像存儲系統(tǒng)200、虛擬機集群I/o監(jiān)控處理系統(tǒng)300和分布式存儲系統(tǒng)400互相連接。在本發(fā)明中，所述虛擬機集群緩存系統(tǒng)100包括若干集群緩存模塊110。在本發(fā)明中，所述虛擬機集群鏡像存儲系統(tǒng)200包括位于固態(tài)硬盤中的虛擬機鏡像模板存儲模塊210和虛擬機鏡像增量數(shù)據(jù)存儲模塊220，所述虛擬機鏡像模板存儲模塊210和所述虛擬機鏡像增量數(shù)據(jù)存儲模塊220互相連接。在本發(fā)明中，所述虛擬機集群I/O監(jiān)控處理系統(tǒng)300包括I/O狀態(tài)監(jiān)控模塊310和I/o信息處理及虛擬機調(diào)度模塊320，所述I/O狀態(tài)監(jiān)控模塊310與所述I/O信息處理及虛擬機調(diào)度模塊320互相連接。在本發(fā)明中，所述分布式存儲系統(tǒng)400包括用戶數(shù)據(jù)模塊410、鏡像量數(shù)據(jù)備份模塊420和鏡像模板數(shù)據(jù)備份模塊430。如圖2所示，所述虛擬機集群緩存系統(tǒng)100中，一級緩存根據(jù)緩存算法以及基于機器學(xué)習(xí)的預(yù)測算法，負責(zé)將用戶最近以及不久要訪問的數(shù)據(jù)存儲在高速存儲設(shè)備中，以供用戶快速訪問。具有擴展元數(shù)據(jù)的海量分布式存儲負責(zé)存放大數(shù)據(jù)或者用戶最近不會用到的數(shù)據(jù)。如圖3所示，所述虛擬機集群鏡像存儲系統(tǒng)200包括位于固態(tài)硬盤中的虛擬機鏡像模板存儲模塊210和虛擬機鏡像增量數(shù)據(jù)存儲模塊220 ;其中，虛擬機鏡像模板存儲模塊210為所有虛擬機子集群共享，虛擬機鏡像增量數(shù)據(jù)存儲模塊220為每個虛擬機子集群共享，位于本地存儲設(shè)備中。虛擬機鏡像模板存儲模塊210負責(zé)存放不同類型操作系統(tǒng)和相同類型不同配置參數(shù)的操作系統(tǒng)文件，為了節(jié)省存儲資源，所有虛擬機子集群共享該模塊，同時，為了增加虛擬機啟動和初始化速度，和防止啟動風(fēng)暴，同時考慮到固態(tài)硬盤讀速度快、寫次數(shù)有限讀次數(shù)不限等特點，采用了固態(tài)硬盤來存儲。虛擬機鏡像增量數(shù)據(jù)存儲模塊220負責(zé)存儲用戶在對模板鏡像進行配置后的增量數(shù)據(jù)，考慮到虛擬機遷移速度問題，以及增量數(shù)據(jù)數(shù)據(jù)量不大等特點，采用了本地存儲來存儲模板增量數(shù)據(jù)。如圖4所示，虛擬機集群I/O監(jiān)控處理系統(tǒng)300包括I/O狀態(tài)監(jiān)控模塊310和I/O信息處理及虛擬機調(diào)度模塊320 ；1/0狀態(tài)監(jiān)控模塊310從虛擬機監(jiān)視器中獲得每個虛擬機的I/o特征，并以虛擬機子集群為單元，將捕獲的數(shù)據(jù)提交給I/O信息處理及虛擬機調(diào)度模塊320，判斷是否需要調(diào)度虛擬機以平衡虛擬機子集群的I/O負載，以此提升虛擬機服務(wù)質(zhì)量。I/O狀態(tài)監(jiān)控模塊310位于虛擬機子集群管理監(jiān)視器中，負責(zé)從位于擬機管理監(jiān)視器中的I/o中捕獲虛擬機I/O特征。I/O信息處理及虛擬機度模塊320負責(zé)接收每個虛擬機子集群中的I/O狀態(tài)監(jiān)控子模塊提交的虛擬機I/O特征，將接收的信息進行綜合處理，并跟進預(yù)先定好的策略，結(jié)合CPU、內(nèi)存使用情況，對需要調(diào)度的虛擬機進行遷移，減輕I/O壓力過大的虛擬機子集群。 如圖5所示，分布式存儲系統(tǒng)400包括用戶數(shù)據(jù)模塊410、鏡像增量數(shù)據(jù)備份模塊420和鏡像模板數(shù)據(jù)備份模塊430。擴展元數(shù)據(jù)服務(wù)器存放的是上層文件的擴展后的元數(shù)據(jù)，對存儲服務(wù)器中存放的數(shù)據(jù)賦予了更多實際意義，使得對數(shù)據(jù)的其它如歸檔、重復(fù)數(shù)據(jù)刪除等操作變得更為高效。同時，采用分布式存儲系統(tǒng)，使得存儲容量更大、可靠性更高、可擴展性更強。通過光纖通道(FibreChannel, FC)、因特網(wǎng)小型計算機系統(tǒng)接口(Internet Small ComputerSystemlnterface, ISCSI )、以太網(wǎng)光纖通道(Fibre Channel over Ethernet, FCOE)以及網(wǎng)絡(luò)文件系統(tǒng)或者通用網(wǎng)絡(luò)文件系統(tǒng)提供擴展元數(shù)據(jù)接口。如圖6所示，為本發(fā)明的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)的流程。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)，本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。
權(quán)利要求
1.一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，它包括 虛擬機集群緩存系統(tǒng)，通過緩存算法將用戶最近經(jīng)常訪問的數(shù)據(jù)存放在快速存儲設(shè)備中；虛擬機集群鏡像存儲系統(tǒng)，將虛擬機集群的模板鏡像數(shù)據(jù)和鏡像增量數(shù)據(jù)分開存儲；虛擬機集群I/o監(jiān)控處理系統(tǒng)，監(jiān)控每個虛擬機集群管理器中的I/O類型、負載等狀態(tài)，隨后將得到的狀態(tài)匯總并將監(jiān)控到的虛擬機子集群I/o特征進行綜合處理，根據(jù)設(shè)定好的策略從I/o負載過重的虛擬機集群中將部分虛擬機遷往I/O負載輕的虛擬機集群，進而平衡整個虛擬機集群的I/o負載，提升虛擬機集群服務(wù)質(zhì)量；及 分布式存儲系統(tǒng)，負責(zé)存儲整個虛擬機集群中的用戶數(shù)據(jù)以及備份數(shù)據(jù)； 所述虛擬機集群緩存系統(tǒng)分別與所述虛擬機集群鏡像存儲系統(tǒng)、虛擬機集群I/o監(jiān)控處理系統(tǒng)和分布式存儲系統(tǒng)互相連接。
2.如權(quán)利要求I所述的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，所述虛擬機集群緩存系統(tǒng)包括若干集群緩存模塊。
3.如權(quán)利要求I所述的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，所述虛擬機集群鏡像存儲系統(tǒng)包括位于固態(tài)硬盤中的虛擬機鏡像模板存儲模塊和虛擬機鏡像增量數(shù)據(jù)存儲模塊，所述虛擬機鏡像模板存儲模塊和所述虛擬機鏡像增量數(shù)據(jù)存儲模塊互相連接。
4.如權(quán)利要求I所述的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，所述虛擬機集群I/O監(jiān)控處理系統(tǒng)包括I/O狀態(tài)監(jiān)控模塊和I/O信處理及虛擬機調(diào)度模塊，所述I/O狀態(tài)監(jiān)控模塊與所述I/O信息處理及虛機調(diào)度模塊互相連接。
5.如權(quán)利要求I所述的針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，其特征在于，所述分布式存儲系統(tǒng)包括用戶數(shù)據(jù)模塊、鏡像增量數(shù)據(jù)備份模塊和鏡像模板數(shù)據(jù)備份模塊。
全文摘要
本發(fā)明的目的在于公開一種針對超大規(guī)模虛擬機集群的存儲系統(tǒng)，它包括虛擬機集群緩存系統(tǒng)、虛擬機集群鏡像存儲系統(tǒng)、虛擬機集群I/O監(jiān)控處理系統(tǒng)及分布式存儲系統(tǒng)；與現(xiàn)有技術(shù)相比，具有較廣的云計算虛擬機存儲范圍，增強虛擬機存儲的存取性能和系統(tǒng)穩(wěn)定性，使云計算提供商能夠更快的進行部署，進行按需服務(wù)，通過合理的結(jié)合共享存儲和獨享存儲方式，其存儲架構(gòu)和存儲方式將被動式存儲轉(zhuǎn)變?yōu)橹鲃邮酱鎯?，提高了服?wù)質(zhì)量，節(jié)約了資源和能源，實現(xiàn)本發(fā)明的目的。
文檔編號G06F3/06GK102841759SQ20121014389
公開日2012年12月26日 申請日期2012年5月10日 優(yōu)先權(quán)日2012年5月10日
發(fā)明者劉曉軍, 諶偉, 李陽 申請人:天津兆民云計算科技有限公司