一種基于云計算的nosql集群自動配置系統(tǒng)及自動配置方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)的管理與存儲技術(shù)領(lǐng)域，涉及一種基于云計算的nosql集群自動配置系統(tǒng)，還涉及上述基于云計算的nosql集群的自動配置方法。
【背景技術(shù)】
[0002]隨著云計算、新型互聯(lián)網(wǎng)等技術(shù)的發(fā)展，對大數(shù)據(jù)的存儲與管理提出了更高的要求。云計算作為一種新型的IT發(fā)布模式，催生出大量新型互聯(lián)網(wǎng)服務(wù)的同時，對云數(shù)據(jù)的存儲管理系統(tǒng)也提出了新的需求，如大容量、高并發(fā)、可擴(kuò)展性強(qiáng)、動態(tài)可伸縮等特點。用戶可以借助云平臺提供的虛擬機(jī)資源部署自己的應(yīng)用系統(tǒng)。目前，已有數(shù)據(jù)庫系統(tǒng)支持動態(tài)增減云計算中虛擬機(jī)節(jié)點，從而滿足大數(shù)據(jù)的可擴(kuò)展性需求。隨著云計算中數(shù)據(jù)資源規(guī)模的擴(kuò)增，手動及人工管理數(shù)目龐大的資源集群已經(jīng)變的非常不現(xiàn)實。如今，更需要一種自動化的資源管理技術(shù)，動態(tài)響應(yīng)負(fù)載情況變化，并減輕管理人員的負(fù)擔(dān)，提高系統(tǒng)資源的利用率。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種基于云計算的nosql集群自動配置系統(tǒng)，解決了現(xiàn)有技術(shù)中大數(shù)據(jù)存儲與管理時高并發(fā)、可擴(kuò)展性、動態(tài)可伸縮性性能低下及管理人員負(fù)擔(dān)重的技術(shù)問題。
[0004]本發(fā)明的另一目的是提供上述基于云計算的nosql集群自動配置系統(tǒng)的自動配置方法。
[0005]本發(fā)明所采用的第一技術(shù)方案是，一種基于云計算的nosql集群自動配置系統(tǒng)包括:云平臺，集群監(jiān)控模塊，決策分析模塊，云通信模塊，nosql管理模塊；
[0006]云平臺用于創(chuàng)建虛擬機(jī)，并在虛擬機(jī)上部署nosql集群，來承載云計算中大數(shù)據(jù)的管理與存儲服務(wù)；
[0007]決策分析模塊用于決策分析，輸出添加、刪除或保持不變的nosql節(jié)點的命令；
[0008]云通信模塊用于根據(jù)決策分析模塊輸出的添加、刪除或保持不變的nosql節(jié)點的命令，向云平臺申請或釋放一定數(shù)量的虛擬機(jī)節(jié)點，并發(fā)出nosql集群同步配置命令；
[0009]nosql管理模塊用于根據(jù)nosql集群同步配置命令，配置虛擬機(jī)節(jié)點，形成nosql集群，并發(fā)送對nosql集群進(jìn)行集群監(jiān)控同步配置命令；
[0010]集群監(jiān)控模塊用于根據(jù)集群監(jiān)控同步配置命令對nosql集群進(jìn)行監(jiān)控配置，實時監(jiān)控nosql集群的運行狀態(tài)。
[0011]本發(fā)明所采用的另一技術(shù)方案是，一種基于云計算的nosql集群自動配置方法，采用基于云計算的nosql集群自動配置系統(tǒng)，其包括:云平臺，集群監(jiān)控模塊，決策分析模塊，云通信模塊，nosql管理模塊；
[0012]nosql集群自動配置方法包括以下步驟:
[0013]步驟1:啟動基于云計算的nosql集群自動配置系統(tǒng)，根據(jù)用戶設(shè)定的初始運行的nosql節(jié)點數(shù)量，決策分析模塊向云通信模塊發(fā)送添加初始數(shù)量的nosql節(jié)點命令；
[0014]步驟2:云通信模塊收到添加初始數(shù)量的nosql節(jié)點命令后，采用云管理工具euca2ools向云平臺申請一定數(shù)量的虛擬機(jī)節(jié)點，并向nosql管理模塊發(fā)送集群同步配置命令；
[0015]步驟3:nosql管理模塊收到云通信模塊的集群同步配置命令后，對步驟2中的虛擬機(jī)節(jié)點進(jìn)行nosql集群同步配置工作，配置完成后形成nosql集群，之后向集群監(jiān)控模塊發(fā)送集群監(jiān)控同步配置命令；
[0016]步驟4:集群監(jiān)控模塊收到集群監(jiān)控同步配置命令后對nosql集群進(jìn)行集群監(jiān)控同步配置工作；
[0017]步驟5:對nosql集群的監(jiān)控同步配置工作完成后，集群監(jiān)控模塊開始實時監(jiān)控nosql集群每個nosql節(jié)點的運行狀態(tài)，得到實時的監(jiān)控數(shù)據(jù)，并通過網(wǎng)絡(luò)將實時的監(jiān)控數(shù)據(jù)傳送到?jīng)Q策分析模塊；
[0018]步驟6:決策分析模塊接收集群監(jiān)控模塊傳遞的監(jiān)控數(shù)據(jù)，調(diào)用自動配置技術(shù)，決策分析監(jiān)控數(shù)據(jù)，根據(jù)分析結(jié)果向云通信模塊輸出添加、刪除或保持不變nosql節(jié)點的命令；
[0019]步驟7:云通信模塊收到命令后，采用云管理工具euca2ools向云平臺申請或釋放一定數(shù)量的虛擬機(jī)資源，并向nosql管理模塊發(fā)出nosql集群同步配置命令；
[0020]步驟8:nosql管理模塊接收云通信模塊的nosql集群同步配置命令，進(jìn)行nosql集群同步配置，形成資源調(diào)整后的虛擬nosql集群，若是添加了 nosql節(jié)點，則在nosql集群同步配置后，向集群監(jiān)控模塊發(fā)送對添加nosql節(jié)點的集群監(jiān)控同步配置命令，集群監(jiān)控模塊收到命令后對添加的nosql節(jié)點進(jìn)行集群監(jiān)控同步配置；
[0021]步驟9:至此，經(jīng)過資源調(diào)整后的nosql虛擬集群繼續(xù)為用戶提供服務(wù)，返回步驟5循環(huán)執(zhí)行，隨著工作負(fù)載的不斷變化，實現(xiàn)對nosql集群的自動配置。
[0022]本發(fā)明另一技術(shù)方案的特點還在于，
[0023]集群監(jiān)控同步配置方法如下:采用腳本化的工作流方式把模板文件夾下客戶端監(jiān)控程序配置文件gmond.conf自動注入到nosql集群中的nosql節(jié)點。
[0024]步驟5中的集群監(jiān)控模塊得到實時的監(jiān)控數(shù)據(jù)的具體過程如下:客戶端進(jìn)程gmond搜集nosql節(jié)點的運行狀態(tài)參數(shù)，包括CPU利用率、內(nèi)存利用率、磁盤利用率、網(wǎng)絡(luò)帶寬與用戶負(fù)載請求，每隔一定時間向集群監(jiān)控模塊發(fā)送每個nosql節(jié)點的監(jiān)控數(shù)據(jù)。
[0025]步驟6中的決策分析監(jiān)控數(shù)據(jù)的具體步驟如下:首先設(shè)置每個nosql節(jié)點的CPU利用率、內(nèi)存利用率、磁盤利用率、網(wǎng)絡(luò)帶寬與用戶負(fù)載請求的性能指標(biāo)相對應(yīng)的閾值區(qū)間；當(dāng)存在nosql節(jié)點的上述性能指標(biāo)均超過了各自設(shè)置的閾值區(qū)間的上限時，就輸出添加節(jié)點的命令，當(dāng)所有nosql節(jié)點的上述性能指標(biāo)都低于各自設(shè)置的閾值區(qū)間的下限時，就輸出刪除節(jié)點的命令，當(dāng)不滿足上述兩種情況時，不輸出命令，nosql集群中的nosql節(jié)點數(shù)量保持不變。
[0026]步驟7的具體步驟如下:云通信模塊采用云管理工具euca2ools向云平臺申請或釋放一定數(shù)量的虛擬機(jī)資源:當(dāng)收到添加虛擬機(jī)的命令后，云通信模塊首先向云平臺申請、創(chuàng)建并運行新虛擬機(jī)，再向nosql管理模塊發(fā)送nosql節(jié)點添加同步配置命令；當(dāng)收到刪除nosql節(jié)點的命令后，云通信模塊首先向nosql管理模塊發(fā)送nosql節(jié)點刪除同步配置命令，再向云平臺申請終止并釋放運行的虛擬機(jī)。
[0027]nosql集群同步配置的方法如下:對于添加的虛擬機(jī)，采用遠(yuǎn)程注入的方式自動把模板文件夾下的nosql數(shù)據(jù)庫配置文件復(fù)制到每個虛擬機(jī)中，并啟動nosql客戶端進(jìn)程；對于即將刪除的nosql節(jié)點，根據(jù)每個nosql引擎設(shè)置的replicat1n值，自動把數(shù)據(jù)備份到其它nosql節(jié)點，并進(jìn)行負(fù)載均衡，保證刪除nosql節(jié)點后，集群正常向用戶提供服務(wù)。
[0028]本發(fā)明的有益效果在于，本發(fā)明的基于云計算的nosql集群自動配置系統(tǒng)采用云計算中nosql集群的自動配置管理技術(shù)，可以隨負(fù)載的動態(tài)變化以及虛擬機(jī)資源的資源運行狀況，自動分析決策，動態(tài)擴(kuò)展或釋放nosql集群資源，有效滿足用戶負(fù)載需求，提高nosql數(shù)據(jù)庫集群的整體資源利用率，減輕了管理人員的負(fù)擔(dān)。另外，本發(fā)明的基于云計算的nosql集群自動配置系統(tǒng)能夠與不同的nosql數(shù)據(jù)庫系統(tǒng)以及云平臺如openstack、eucalyptus、亞馬遜EC2廣泛集成，實現(xiàn)了從云平臺中申請?zhí)摂M機(jī)到創(chuàng)建虛擬機(jī)，再到部署nosql數(shù)據(jù)庫系統(tǒng)等一系列自動化工作流程，保證了 nosql數(shù)據(jù)庫集群的自動擴(kuò)展和動態(tài)可伸縮，提供了業(yè)務(wù)邏輯、通信、不同的nosql引擎、云平臺接口等，有效降低開發(fā)成本，減小了編碼工作量，節(jié)省開發(fā)時間。
【附圖說明】
[0029]圖1是本發(fā)明的基于云計算的nosql集群自