一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法
【專利摘要】一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法,屬于分布式存儲【技術(shù)領(lǐng)域】。在分布式集群環(huán)境中,針對客戶端的寫文件請求,元數(shù)據(jù)管理服務(wù)器在選擇數(shù)據(jù)存儲服務(wù)器時,綜合考慮存儲服務(wù)器的節(jié)點狀態(tài),包括存儲空間空閑率、內(nèi)存使用率和CPU使用率,動態(tài)評價當(dāng)前服務(wù)器的整體性能,作為數(shù)據(jù)存儲服務(wù)器選擇方法的評價依據(jù),避免因為存儲空間不足、服務(wù)器CPU、內(nèi)存這些屬性的滿載節(jié)點而導(dǎo)致數(shù)據(jù)存儲任務(wù)的延遲以及失敗,提高分布式文件系統(tǒng)存儲任務(wù)的效率。
【專利說明】一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式存儲【技術(shù)領(lǐng)域】,更確切的說,是一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法。
【背景技術(shù)】
[0002]隨著云計算迅速發(fā)展,IT界進(jìn)入“云”時代,云計算中會產(chǎn)生海量的數(shù)據(jù)存儲,傳統(tǒng)的文件系統(tǒng)已不能滿足其性能要求,作為云存儲的核心基礎(chǔ)平臺,分布式文件系統(tǒng)的重要性日益凸顯。分布式文件系統(tǒng)是將分布于不同服務(wù)器上的文件組合為單一的名稱空間,并使得在網(wǎng)絡(luò)上建立一個單一的、層次化的文件系統(tǒng)。
[0003]分布式文件系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),可以實現(xiàn)冗余存儲、文件同步、系統(tǒng)容錯、故障恢復(fù)等原本需要人工手動才能實現(xiàn)的功能,大大降低維護(hù)難度,不但提高了系統(tǒng)的可靠性、可用性和存取效率,更易于擴(kuò)展,可以有效存儲并管理利用海量數(shù)據(jù)。
[0004]分布式文件系統(tǒng)主要采用的是主從式服務(wù)器架構(gòu),將文件數(shù)據(jù)分成固定大小文件塊分散存儲在多臺通過網(wǎng)絡(luò)連接起來的計算機(jī)節(jié)點上,這種模式存在一些節(jié)點分配的文件塊過多,而另外一些節(jié)點卻是空閑的,導(dǎo)致系統(tǒng)的數(shù)據(jù)存儲服務(wù)器之間數(shù)據(jù)塊分配不均衡問題。數(shù)據(jù)存儲服務(wù)器選擇方法是分布式文件系統(tǒng)的研究核心之一,是否有好的數(shù)據(jù)存儲服務(wù)器選擇方法直接影響系統(tǒng)的性能。
[0005]現(xiàn)有的應(yīng)用 在分布式文件系統(tǒng)的存儲服務(wù)器選擇方法,當(dāng)系統(tǒng)進(jìn)行寫文件操作選擇存儲服務(wù)器時,對存儲服務(wù)器性能的評價標(biāo)準(zhǔn)較為單一,無法綜合反映當(dāng)前存儲服務(wù)器的性能。申請?zhí)枮?01110259333.2、發(fā)明名稱為【一種分布式系統(tǒng)的服務(wù)負(fù)載均衡方法及裝置】的發(fā)明專利,公開了一種分布式系統(tǒng)的服務(wù)負(fù)載均衡方法,在進(jìn)行負(fù)載均衡時考慮了服務(wù)器的負(fù)荷情況和對應(yīng)的各網(wǎng)口流量,但是沒有考慮存儲服務(wù)器的存儲空間利用率,針對分布式存儲問題,不能保證存儲容量大小對存儲節(jié)點選擇的影響。其他已有的分布式文件系統(tǒng)架構(gòu),考慮了存儲服務(wù)器的存儲空間,卻沒有考慮服務(wù)器的負(fù)荷性能,在進(jìn)行分布式存儲處理時不能綜合考量服務(wù)器性能。
【發(fā)明內(nèi)容】
[0006]針對以上缺陷和不足,本發(fā)明提出了一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法,以解決在分布式文件系統(tǒng)中存儲服務(wù)器選擇方法評價標(biāo)準(zhǔn)較為單一的問題。
[0007]為了達(dá)到上述目的,本發(fā)明采用如下的技術(shù)方案:
[0008]—種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法,在分布式集群環(huán)境中,針對客戶端的寫文件請求,元數(shù)據(jù)管理服務(wù)器在選擇數(shù)據(jù)存儲服務(wù)器時,綜合考慮存儲服務(wù)器的節(jié)點狀態(tài),包括存儲空間空閑率、內(nèi)存使用率和CPU使用率,采用線性評價函數(shù)模型計算存儲器性能權(quán)值,動態(tài)評價當(dāng)前服務(wù)器的整體性能,作為數(shù)據(jù)存儲服務(wù)器選擇方法的評價依據(jù),該方法步驟如下:
[0009](I)為數(shù)據(jù)存儲服務(wù)器的性能評價值Ci賦初值[0010]C1初始值為大于O小于I的隨機(jī)數(shù),當(dāng)客戶端發(fā)起寫文件請求時,元數(shù)據(jù)管理服務(wù)器對數(shù)據(jù)存儲服務(wù)器進(jìn)行輪詢,選擇評價值CiM的數(shù)據(jù)存儲服務(wù)器進(jìn)行寫文件操作,當(dāng)評價值CiM的數(shù)據(jù)存儲服務(wù)器個數(shù)小于所需文件副本數(shù)時,則根據(jù)存儲服務(wù)器的性能權(quán)重值Wi更新存儲服務(wù)器的性能評價值Ci ;
[0011](2)計算存儲服務(wù)器的性能權(quán)重值Wi
[0012]綜合考慮服務(wù)器的性能評價標(biāo)準(zhǔn),存儲服務(wù)器的性能權(quán)重用以下幾個指標(biāo)綜合量度:存儲空間空閑率Si,內(nèi)存利用率Hiemi, CPU利用率Cpui,采用線性加權(quán)評價函數(shù)模型,存儲服務(wù)器的性能權(quán)值Wi可以表示為:
[0013]Wi = Ii1 X Sjk2(1-Hiemi)+Ii3(1-Cpui)
[0014]其中,存儲空間空閑率
【權(quán)利要求】
1.一種應(yīng)用于分布式文件系統(tǒng)的存儲服務(wù)器選擇方法,在分布式集群環(huán)境中,針對客戶端的寫文件請求,元數(shù)據(jù)管理服務(wù)器在選擇數(shù)據(jù)存儲服務(wù)器時,綜合考慮存儲服務(wù)器的節(jié)點狀態(tài),包括存儲空間空閑率、內(nèi)存使用率和CPU使用率,采用線性評價函數(shù)模型計算存儲器性能權(quán)值,動態(tài)評價當(dāng)前服務(wù)器的整體性能,作為數(shù)據(jù)存儲服務(wù)器選擇方法的評價依據(jù),該方法步驟如下: (1)為數(shù)據(jù)存儲服務(wù)器的性能評價值Ci賦初值 Ci初始值為大于O小于I的隨機(jī)數(shù),當(dāng)客戶端發(fā)起寫文件請求時,元數(shù)據(jù)管理服務(wù)器對數(shù)據(jù)存儲服務(wù)器進(jìn)行輪詢,選擇評價值CiM的數(shù)據(jù)存儲服務(wù)器進(jìn)行寫文件操作,當(dāng)評價值CiM的數(shù)據(jù)存儲服務(wù)器個數(shù)小于所需文件副本數(shù)時,則根據(jù)存儲服務(wù)器的性能權(quán)重值Wi更新存儲服務(wù)器的性能評價值Ci ; (2)計算存儲服務(wù)器的性能權(quán)重值Wi 綜合考慮服務(wù)器的性能評價標(biāo)準(zhǔn),存儲服務(wù)器的性能權(quán)重用以下幾個指標(biāo)綜合量度:存儲空間空閑率Si,內(nèi)存利用率Hiemi, CPU利用率Cpui,采用線性加權(quán)評價函數(shù)模型,存儲服務(wù)器的性能權(quán)值K可以表示為:
Wi = Ii1 X Sfk2 (Inemi)+k3 (1-Cpui)其中,存儲空間空閑率
【文檔編號】H04L29/08GK104023088SQ201410301901
【公開日】2014年9月3日 申請日期:2014年6月28日 優(yōu)先權(quán)日:2014年6月28日
【發(fā)明者】袁東風(fēng), 劉亞 申請人:山東大學(xué)