專利名稱：一種分布式文件系統(tǒng)及其建立副本的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云計算云存儲領(lǐng)域，具體為一種分布式文件系統(tǒng)及其建立副本的方法。
背景技術(shù)：
云存儲是在云計算(cloud computing)基礎(chǔ)上延伸和發(fā)展出來的一個新概念，是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)和分布式文件系統(tǒng)等技術(shù)，將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備進行整合利用，形成統(tǒng)一的存儲池對外提供存儲服務(wù)。分布式文件系統(tǒng)作為云存儲的核心組成部分在近幾年中有了長足的發(fā)展。在分布式文件系統(tǒng)中如何放置副本是一個很關(guān)鍵的問題。為了提高分布式文件系統(tǒng)數(shù)據(jù)可用性， 寫入數(shù)據(jù)過程需要選擇一定數(shù)目的存儲節(jié)點建立副本；當(dāng)系統(tǒng)數(shù)據(jù)的有效副本不足時，需要重新選擇存儲節(jié)點重建副本，維持一定的副本冗余水平。副本放置算法主要解決存儲節(jié)點的選擇問題。影響存儲節(jié)點選擇的因素很多，包括容量、I0PS、吞吐量、可用性等。而目前急需提出一種分布式文件系統(tǒng)的副本建立方案。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是，提供一種分布式文件系統(tǒng)及其建立副本的方法， 能夠解決多節(jié)點信息交換的不可靠的問題。為了解決上述技術(shù)問題，本發(fā)明公開了一種分布式文件系統(tǒng)建立副本的方法，包括在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于 1的存儲節(jié)點的個數(shù)availcnt，若統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù)demand，則根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù) carry的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，則在所統(tǒng)計出的存儲節(jié)點上建立副本，其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值小于1。較佳地，上述方法中，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值。較佳地，上述方法中，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值?；蛘撸鲜龇椒ㄖ?，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值指存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。較佳地，上述方法還包括根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，則將carry的值大于1的存儲節(jié)點按照carry的值從大至小排列，選擇前 demand個存儲節(jié)點為建立副本的存儲節(jié)點。較佳地，上述方法還包括；在存儲節(jié)點上建立副本后，將建立有副本的存儲節(jié)點的carry的值更新為carry =carry-10本發(fā)明還公開了一種分布式文件系統(tǒng)，包括統(tǒng)計單元，在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry 的值大于1的存儲節(jié)點的個數(shù)availcnt ；更新單元，統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù) demand時，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry 的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值小于1 ；副本建立單元，在所統(tǒng)計出的存儲節(jié)點上建立副本。較佳地，上述系統(tǒng)中，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值；或者存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值。較佳地，上述系統(tǒng)中，所述更新單元，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值時，存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。較佳地，上述系統(tǒng)中，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，所述副本建立單元還將carry的值大于1的存儲節(jié)點按照carry的值從大至小排列，選擇前demand個存儲節(jié)點為建立副本的存儲節(jié)點。較佳地，上述系統(tǒng)中，所述更新單元，在存儲節(jié)點上建立副本后，還將建立有副本的存儲節(jié)點的carry的值更新為carry = carry—1。本申請技術(shù)方案以存儲容量為指標(biāo)進行存儲節(jié)點選擇，以建立副本。本申請的技術(shù)方案有利于保持整個分布式文件系統(tǒng)負(fù)載均衡。即空間容量大的存儲節(jié)點得到副本的頻率較高，空間容量小的存儲節(jié)點得到副本的頻率較低。且保證了大空間容量存儲節(jié)點得到充分利用，又能避免小空間容量存儲節(jié)點長期處于空閑狀態(tài)。
具體實施例方式

圖1為本實施例1中分布式文件系統(tǒng)建立副本的流程示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下文將結(jié)合附圖對本發(fā)明技術(shù)方案作進一步詳細(xì)說明。需要說明的是，在不沖突的情況下，本申請的實施例和實施例中的特征可以任意相互組合。
實施例1申請人:考慮到，在建立副本時，要考慮到整個分布式文件系統(tǒng)的負(fù)載均衡，故可以各節(jié)點的存儲容量為指標(biāo)進行存儲節(jié)點選擇以建立副本。其中，在空間容量大的存儲節(jié)點上建立副本的頻率應(yīng)該相對高一些，對應(yīng)地，在空間容量小的存儲節(jié)點上建立副本的頻率應(yīng)該相對低一些。并且，在提高大空間容量存儲節(jié)點的利用率的同時，也要避免小空間容量存儲節(jié)點長期處于空閑狀態(tài)。本實施例基于上述思想，提供一種分布式文件系統(tǒng)建立副本的方法，該方法是基于存儲容量所提出的，其核心思想就是每輪循環(huán)中每個存儲節(jié)點的副本選擇可行性參數(shù) carry的值累加本存儲節(jié)點的存儲權(quán)重值w，直到carry值大于等于1的存儲節(jié)點個數(shù)滿足副本數(shù)為止。由此可看出存儲權(quán)重值w大的存儲節(jié)點更容易累加到carry的值大于1。而每次沒有被選中的存儲節(jié)點其carry值維持不變，供下一次選擇時使用。具體地，該方法如圖1所示，包括如下步驟步驟100，在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry 的值大于1的存儲節(jié)點的個數(shù)availcnt ；步驟200，在統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù) demand時，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry 的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand ；其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值是在系統(tǒng)啟動時被初始化的，其為一個大于0小于1的隨機數(shù)。這樣以carry值為基礎(chǔ)再結(jié)合存儲權(quán)重值來選擇可建立副本的存儲節(jié)點，就可以避免總是選擇存儲空間大，即存儲權(quán)重值大的存儲節(jié)點上建立副本，以保證整個分布式文件系統(tǒng)的負(fù)載均衡。而步驟200中根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值指存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。步驟300，在所統(tǒng)計出的存儲節(jié)點上建立副本。上述流程中，存儲節(jié)點的存儲權(quán)重值w可有多種確定方式，例如存儲權(quán)重值w為存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值；或者存儲權(quán)重值w為存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值。當(dāng)存儲權(quán)重值w為存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值時，使得存儲空間容量大的存儲節(jié)點的w值更大，其副本選擇可行性參數(shù)carry的值也更容易大于1，即更容易被選中為建立副本的存儲節(jié)點。但，由于每次沒有被選中的存儲節(jié)點其carry值是維持不變，供下一次選擇時使用，這樣還能保證了存儲容量空間小的存儲節(jié)點不會被長期閑置。而當(dāng)存儲權(quán)重值w為存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值時，這樣， 空閑的存儲節(jié)點的w值就更大，其副本選擇可行性參數(shù)carry的值也更容易大于1，也就可以更合理地利用那些空閑的存儲節(jié)點，即合理利用系統(tǒng)資源。
還有一些優(yōu)選方案中，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，則將carry的值大于1的存儲節(jié)點按照carry的值從大至小排列，選擇前demand個存儲節(jié)點為建立副本的存儲節(jié)點?？紤]到分布式文件系統(tǒng)負(fù)載均衡，避免那些建立有副本的存儲節(jié)點總是被建立副本，以及使此次操作中未選中的存儲節(jié)點也可以得到建立副本的機會，故有些方案中還提出，在存儲節(jié)點上建立副本后，還需要將建立有副本的存儲節(jié)點的carry的值更新為carry =carry—I。實施例2本實施例介紹一種分布式文件系統(tǒng)，可實現(xiàn)上述實施例1的方法。該系統(tǒng)包括統(tǒng)計單元、更新單元以及副本建立單元，其中統(tǒng)計單元，在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry 的值大于1的存儲節(jié)點的個數(shù)availcnt ；更新單元，統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù) demand時，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry 的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值小于1 ；具體地，更新單元，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值時，存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。副本建立單元，在所統(tǒng)計出的存儲節(jié)點上建立副本。其中，上述的存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值；或者存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值。在一些優(yōu)選的方案中，上述系統(tǒng)，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，所述副本建立單元還將carry的值大于1 的存儲節(jié)點按照carry的值從大至小排列，選擇前demand個存儲節(jié)點為建立副本的存儲節(jié)
點ο還有一些方案，還考慮到分布式文件系統(tǒng)負(fù)載均衡，為了避免那些建立有副本的存儲節(jié)點總是被建立副本，以及使此次操作中未選中的存儲節(jié)點也可以得到建立副本的機會，因此在存儲節(jié)點上建立副本后，更新單元還需要將建立有副本的存儲節(jié)點的carry的值進行更新，即更新的carry = carry-1。本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關(guān)硬件完成，所述程序可以存儲于計算機可讀存儲介質(zhì)中，如只讀存儲器、磁盤或光盤等?？蛇x地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現(xiàn)。相應(yīng)地，上述實施例中的各模塊/單元可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。本申請不限制于任何特定形式的硬件和軟件的結(jié)合。
以上所述，僅為本發(fā)明的較佳實例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種分布式文件系統(tǒng)建立副本的方法，其特征在于，該方法包括在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)availcnt，若統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù)demand，則根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù) carry的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，則在所統(tǒng)計出的存儲節(jié)點上建立副本，其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值小于1。
2.如權(quán)利要求1所述的方法，其特征在于，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值。
3.如權(quán)利要求1所述的方法，其特征在于，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值。
4.如權(quán)利要求1、2或3所述的方法，其特征在于，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值指存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。
5.如權(quán)利要求4所述的方法，其特征在于，該方法還包括根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，則將carry的值大于1的存儲節(jié)點按照carry的值從大至小排列，選擇前demand 個存儲節(jié)點為建立副本的存儲節(jié)點。
6.如權(quán)利要求5所述的方法，其特征在于，該方法還包括；在存儲節(jié)點上建立副本后，將建立有副本的存儲節(jié)點的carry的值更新為carry = carry-10
7.一種分布式文件系統(tǒng)，其特征在于，該系統(tǒng)包括統(tǒng)計單元，在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)availcnt ；更新單元，統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù)demand時， 根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值，直到分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，其中，各存儲節(jié)點的副本選擇可行性參數(shù)carry的初始值小于1 ；副本建立單元，在所統(tǒng)計出的存儲節(jié)點上建立副本。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述存儲節(jié)點的存儲權(quán)重值w指存儲節(jié)點的存儲空間大小與分布式文件系統(tǒng)總的存儲空間大小的比值；或者存儲節(jié)點的可用空間與存儲節(jié)點的總空間的比值。
9.如權(quán)利要求7或8所述的系統(tǒng)，其特征在于，所述更新單元，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值時，存儲節(jié)點的副本選擇可行性參數(shù)carry等于存儲節(jié)點的上次副本選擇可行性參數(shù)與存儲節(jié)點的存儲權(quán)重值w的和。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的副本選擇可行性參數(shù)carry的值后，若副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)超過當(dāng)前需要建立的副本數(shù)demand，所述副本建立單元還將carry的值大于1的存儲節(jié)點按照carry的值從大至小排列，選擇前demand個存儲節(jié)點為建立副本的存儲節(jié)點。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述更新單元，在存儲節(jié)點上建立副本后，還將建立有副本的存儲節(jié)點的carry的值更新為 carry = carry-10
全文摘要
本發(fā)明公開了一種分布式文件系統(tǒng)及其建立副本的方法，涉及云計算云存儲領(lǐng)域。本發(fā)明公開的方法包括在需要建立副本時，統(tǒng)計分布式文件系統(tǒng)中副本選擇可行性參數(shù)carry的值大于1的存儲節(jié)點的個數(shù)availcnt，若統(tǒng)計出的存儲節(jié)點的個數(shù)availcnt小于當(dāng)前需要建立的副本數(shù)demand，則根據(jù)各存儲節(jié)點的存儲權(quán)重值w更新各存儲節(jié)點的carry的值，直到分布式文件系統(tǒng)中carry的值大于1的存儲節(jié)點的個數(shù)達到當(dāng)前所要建立的副本數(shù)demand，則在所統(tǒng)計出的存儲節(jié)點上建立副本，其中，各存儲節(jié)點的carry的初始值小于1。本發(fā)明的技術(shù)方案有利于保持整個分布式文件系統(tǒng)負(fù)載均衡。
文檔編號H04L29/08GK102375893SQ20111036544
公開日2012年3月14日 申請日期2011年11月17日 優(yōu)先權(quán)日2011年11月17日
發(fā)明者張明富, 顏秉珩 申請人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司