一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法
【專利摘要】本發(fā)明涉及一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法,基于傳統(tǒng)數(shù)據(jù)副本放置方法做出改進(jìn)，利用統(tǒng)計(jì)學(xué)上的方法計(jì)算出數(shù)據(jù)節(jié)點(diǎn)的性能值，基于數(shù)據(jù)節(jié)點(diǎn)的性能值來(lái)選擇放置數(shù)據(jù)副本的數(shù)據(jù)節(jié)點(diǎn)，并且分別考慮數(shù)據(jù)副本的放置，既提高了數(shù)據(jù)存儲(chǔ)與讀取可靠性，又保證了系統(tǒng)的性能。
【專利說(shuō)明】
一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，屬于云存儲(chǔ)和數(shù)據(jù)副本放 置技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的發(fā)展，云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新概念， 云存儲(chǔ)是一種新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù)，它是指通過(guò)集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等 功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外 提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)，云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì) 算系統(tǒng)。
[0003] HDFS: (Hadoop Distributed File System)分布式文件系統(tǒng)，是一種云存儲(chǔ)的方 法。它提供高吞吐量的應(yīng)用程序數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，對(duì)外部客戶機(jī) 而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在 低廉的物理機(jī)上，而且它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集 的應(yīng)用程序。HDFS架構(gòu)基于一組特定的節(jié)點(diǎn)構(gòu)建的，包括一個(gè)NameNode，在HDFS內(nèi)部提供元 數(shù)據(jù)服務(wù)，多個(gè)DataNode，它為HDFS提供存儲(chǔ)塊。
[0004] 存儲(chǔ)在HDFS中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)數(shù)據(jù)節(jié)點(diǎn)中，塊的大小 和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。文件系統(tǒng)不可避免的會(huì)產(chǎn)生故障和錯(cuò)誤，文 件系統(tǒng)采用副本技術(shù)不會(huì)導(dǎo)致無(wú)法訪問(wèn)的情況，并且機(jī)架故障的幾率遠(yuǎn)小于節(jié)點(diǎn)故障，從 而提高了系統(tǒng)的可靠性。傳統(tǒng)的副本放置方法是:一般的副本系數(shù)是3,將第一個(gè)副本放在 本地節(jié)點(diǎn)，將第二個(gè)副本放到本地機(jī)架上的另外一個(gè)節(jié)點(diǎn)，而將第三個(gè)副本放到不同機(jī)架 上隨機(jī)選擇的數(shù)據(jù)節(jié)點(diǎn)。HDFS系統(tǒng)中有個(gè)叫均衡器的守護(hù)進(jìn)程，它會(huì)將數(shù)據(jù)塊從負(fù)載較高 的節(jié)點(diǎn)移動(dòng)到負(fù)載較低的節(jié)點(diǎn)上，從而達(dá)到數(shù)據(jù)塊重新分配的目的，最終使得整個(gè)集群分 布均衡，但是傳統(tǒng)的方法對(duì)于集群數(shù)據(jù)塊均衡的調(diào)節(jié)具有滯后性，并且均衡器的調(diào)節(jié)和數(shù) 據(jù)塊的移動(dòng)都需要一定的資源消耗，會(huì)造成整個(gè)系統(tǒng)性能的下降。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種綜合考慮系統(tǒng)性能影響因素，能夠有效提 高數(shù)據(jù)讀取可靠性，以及保證系統(tǒng)性能的面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法。
[0006] 本發(fā)明為了解決上述技術(shù)問(wèn)題采用以下技術(shù)方案:本發(fā)明設(shè)計(jì)了一種面向云存儲(chǔ) 的數(shù)據(jù)副本初始放置方法，用于針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)任意一個(gè)數(shù)據(jù)塊的至少兩個(gè)數(shù)據(jù) 副本實(shí)現(xiàn)云存儲(chǔ)，包括如下方法：
[0007] 步驟001.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)一個(gè)數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù) 據(jù)副本存儲(chǔ)于本地?cái)?shù)據(jù)節(jié)點(diǎn)上，然后進(jìn)入步驟〇〇2;
[0008] 步驟002.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié) 點(diǎn)，分別獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載、當(dāng)前網(wǎng)絡(luò)帶寬、當(dāng)前平均服務(wù)時(shí)間和當(dāng)前訪 問(wèn)故障概率，并且根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四種屬 性預(yù)設(shè)、相加之和為一的各個(gè)權(quán)重值，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，并進(jìn)入步驟003;
[0009] 步驟003.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié) 點(diǎn)，獲得其中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ) 一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值，再判斷該預(yù)測(cè)性能值是否大于預(yù)設(shè)數(shù)據(jù)節(jié)點(diǎn)性能值下限， 是則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù)據(jù)副本存儲(chǔ)于該預(yù) 測(cè)性能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟004;否則進(jìn)入步驟005;
[0010] 步驟004.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則進(jìn)入步驟 005;否則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束；
[0011] 步驟005.獲得以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié) 點(diǎn)所在機(jī)架之外的其余各個(gè)機(jī)架，分別針對(duì)該各個(gè)機(jī)架，根據(jù)步驟002中的方法獲得機(jī)架中 各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，獲得該機(jī)架中所有數(shù)據(jù)節(jié)點(diǎn)的平均當(dāng)前性能值，作為該機(jī)架 的平均當(dāng)前性能值，進(jìn)而分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入步驟006;
[0012] 步驟006.針對(duì)以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié) 點(diǎn)所在機(jī)架之外的其余各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，作為待選擇機(jī) 架，然后進(jìn)入步驟007;
[0013] 步驟007.獲得待選擇機(jī)架中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得 若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值，再判斷該預(yù)測(cè)性能值是否大于預(yù)設(shè) 數(shù)據(jù)節(jié)點(diǎn)性能值下限，是則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一 個(gè)數(shù)據(jù)副本存儲(chǔ)于該預(yù)測(cè)性能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟010;否則進(jìn)入步驟008;
[0014] 步驟008.獲得以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心，內(nèi)徑為R、外徑為A · R的圓圈范圍 內(nèi)的各個(gè)機(jī)架，根據(jù)步驟004中的方法，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入 步驟009;其中，A大于1;
[0015] 步驟009.針對(duì)以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心，內(nèi)徑為R、外徑為A · R的圓圈范圍 內(nèi)的各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，更新作為待選擇機(jī)架，再用A · R的 值針對(duì)R進(jìn)行更新，并返回步驟007;
[0016] 步驟010.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則返回步驟 008;否則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束。
[0017] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟002具體包括如下：
[0018] 針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié)點(diǎn)，分別 獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load、當(dāng)前網(wǎng)絡(luò)帶寬BW、當(dāng)前平均服務(wù)時(shí)間ST和當(dāng)前 訪問(wèn)故障概率FP，并且根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四 種屬性預(yù)設(shè)的權(quán)重值α、權(quán)重值β、權(quán)重值γ、權(quán)重值δ，按如下公式，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的 當(dāng)前性能值P，
[0019] ^_ L J CfVoarf 4· + +
[0020] 其中，α+β+γ+δ = 1。
[0021] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load 通過(guò)如下公式獲得，
[0022] Load=ffi*10+ff2*SIZE
[0023] 其中，IO表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)I/O負(fù)載，SIZE表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)空間負(fù) 載，Wi和W2分別表示針對(duì)磁盤(pán)I/O負(fù)載和磁盤(pán)空間負(fù)載預(yù)設(shè)的權(quán)重值，且W1+W2= 1。
[0024] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前平均服務(wù)時(shí)間 ST通過(guò)如下公式獲得，
[0025]
[0026] 其中，N表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)周期內(nèi)的任務(wù)個(gè)數(shù)，STn表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)周 期內(nèi)第η個(gè)的服務(wù)時(shí)間。
[0027] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前訪問(wèn)故障概率 FP通過(guò)如下公忒益徨.
[0028]
[0029] 其中，unsuccess表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)未成功的次數(shù)，success表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)成 功的次數(shù)。
[0030] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟003和步驟007中，通過(guò)如下方法，預(yù)測(cè) 獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值P n?:
[0031] 根據(jù)云計(jì)算系統(tǒng)中的全局日志文件，獲得該數(shù)據(jù)節(jié)點(diǎn)上當(dāng)前已存儲(chǔ)數(shù)據(jù)塊的個(gè)數(shù) L，再結(jié)合該教抿書(shū)?的卑前性能值P，通過(guò)如下公式：
[0032]
[0033]獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Ρ_。
[0034] 作為本發(fā)明的一種優(yōu)選技術(shù)方案:所述步驟006中，以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓 心、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架之外的其余各個(gè)機(jī)架中，若最大平均當(dāng)前 性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2，則根據(jù)該各個(gè)機(jī)架的平均當(dāng)前性能值，分別獲得該各 個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大平均當(dāng)前性能值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇 最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架，作為待選擇機(jī)架；
[0035] 以及所述步驟009中，以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心，內(nèi)徑為R、外徑為A · R的圓 圈范圍內(nèi)的各個(gè)機(jī)架，若最大平均當(dāng)前性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2，則根據(jù)該各個(gè) 機(jī)架的平均當(dāng)前性能值，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大平 均當(dāng)前性能值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架，作 為待選擇機(jī)架。
[0036] 本發(fā)明所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法采用以上技術(shù)方案與現(xiàn)有 技術(shù)相比，具有以下技術(shù)效果:本發(fā)明所設(shè)計(jì)面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，基于傳 統(tǒng)數(shù)據(jù)副本放置方法做出改進(jìn)，利用統(tǒng)計(jì)學(xué)上的方法計(jì)算出數(shù)據(jù)節(jié)點(diǎn)的性能值，基于數(shù)據(jù) 節(jié)點(diǎn)的性能值來(lái)選擇放置數(shù)據(jù)副本的數(shù)據(jù)節(jié)點(diǎn)，并且分別考慮數(shù)據(jù)副本的放置，既提高了 數(shù)據(jù)存儲(chǔ)與讀取可靠性，又保證了系統(tǒng)的性能。
【附圖說(shuō)明】
[0037] 圖1是本發(fā)明設(shè)計(jì)的面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法的流程示意圖。
【具體實(shí)施方式】
[0038] 下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步詳細(xì)的說(shuō)明。
[0039] 如圖1所示，本發(fā)明所設(shè)計(jì)一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法在實(shí)際應(yīng)用 過(guò)程當(dāng)中，用于針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)任意一個(gè)數(shù)據(jù)塊的至少兩個(gè)數(shù)據(jù)副本實(shí)現(xiàn)云存 儲(chǔ)，具體包括如下方法：
[0040] 步驟001.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)一個(gè)數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù) 據(jù)副本存儲(chǔ)于本地?cái)?shù)據(jù)節(jié)點(diǎn)上，然后進(jìn)入步驟〇〇2。
[0041 ]步驟002.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié) 點(diǎn)，分別獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載、當(dāng)前網(wǎng)絡(luò)帶寬、當(dāng)前平均服務(wù)時(shí)間和當(dāng)前訪 問(wèn)故障概率，并且根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四種屬 性預(yù)設(shè)、相加之和為一的各個(gè)權(quán)重值，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，并進(jìn)入步驟003。 [0042] 其中，步驟002具體包括如下：
[0043] 針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié)點(diǎn)，分別 獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load、當(dāng)前網(wǎng)絡(luò)帶寬BW、當(dāng)前平均服務(wù)時(shí)間ST和當(dāng)前 訪問(wèn)故障概率FP，其中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load通過(guò)如下公式獲得，
[0044] Load=ffi*IO+ff2*SIZE
[0045] 其中，IO表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)I/O負(fù)載，SIZE表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)空間負(fù) 載，Wi和W2分別表示針對(duì)磁盤(pán)I/O負(fù)載和磁盤(pán)空間負(fù)載預(yù)設(shè)的權(quán)重值，且W1+W2= 1。
[0046] 數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前平均服務(wù)時(shí)間ST通過(guò)如下公式獲得，
[0047]
[0048] 其中，N表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)周期內(nèi)的任務(wù)個(gè)數(shù)，STn表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)周 期內(nèi)第η個(gè)的服務(wù)時(shí)間。
[0049] 數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前訪問(wèn)故障概率FP通過(guò)如下公式獲得，
[0050]
[0051] 其中，unsuccess表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)未成功的次數(shù)，success表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)成 功的次數(shù)。
[0052] 然后根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四種屬性 預(yù)設(shè)的權(quán)重值α、權(quán)重值β、權(quán)重值γ、權(quán)重值δ，按如下公式，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性 能值Ρ，
[0053]
[0054] 其中，α+β+γ+δ = 1。
[0055] 步驟003 .針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié) 點(diǎn)，獲得其中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ) 一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Ρ_，再判斷該預(yù)測(cè)性能值Pr-是否大于預(yù)設(shè)數(shù)據(jù)節(jié)點(diǎn)性能值 下限，是則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù)據(jù)副本存儲(chǔ) 于該預(yù)測(cè)性能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟004;否則進(jìn)入步驟005。
[0056] 上述步驟003中，根據(jù)云計(jì)算系統(tǒng)中的全局日志文件，獲得該數(shù)據(jù)節(jié)點(diǎn)上當(dāng)前已存 儲(chǔ)數(shù)據(jù)塊的個(gè)數(shù)L，再結(jié)合該數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值P，通過(guò)如下公式：
[0057]
[0058] 獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Pne3W。
[0059] 步驟004.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則進(jìn)入步驟 005;否則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束。
[0060] 步驟005.獲得以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié) 點(diǎn)所在機(jī)架之外的其余各個(gè)機(jī)架，分別針對(duì)該各個(gè)機(jī)架，根據(jù)步驟002中的方法獲得機(jī)架中 各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，獲得該機(jī)架中所有數(shù)據(jù)節(jié)點(diǎn)的平均當(dāng)前性能值，作為該機(jī)架 的平均當(dāng)前性能值，進(jìn)而分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入步驟006。
[0061] 步驟006.針對(duì)以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié) 點(diǎn)所在機(jī)架之外的其余各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，作為待選擇機(jī) 架，其中，若最大平均當(dāng)前性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2，則根據(jù)該各個(gè)機(jī)架的平均 當(dāng)前性能值，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大平均當(dāng)前性能 值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架，作為待選擇機(jī) 架，然后進(jìn)入步驟007。
[0062]步驟007.獲得待選擇機(jī)架中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得 若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Pnm再判斷該預(yù)測(cè)性能值Pn?是否大 于預(yù)設(shè)數(shù)據(jù)節(jié)點(diǎn)性能值下限，是則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī) 選擇一個(gè)數(shù)據(jù)副本存儲(chǔ)于該預(yù)測(cè)性能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟010;否則進(jìn)入步 驟008 〇
[0063]上述步驟007中，根據(jù)云計(jì)算系統(tǒng)中的全局日志文件，獲得該數(shù)據(jù)節(jié)點(diǎn)上當(dāng)前已存 儲(chǔ)數(shù)據(jù)塊的個(gè)數(shù)L，再結(jié)合該數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值P，通過(guò)如下公式：
[0064]
[0065] 獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Ρ_。
[0066] 步驟008.獲得以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心，內(nèi)徑為R、外徑為|·Λ的圓圈范圍 內(nèi)的各個(gè)機(jī)架，根據(jù)步驟004中的方法，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入 步驟009。
[0067] 步驟009.針對(duì)以本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓心，內(nèi)徑為R、外徑為A · R的圓圈范圍 內(nèi)的各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，更新作為待選擇機(jī)架，再用A · R的 值針對(duì)R進(jìn)行更新，其中，若最大平均當(dāng)前性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2,則根據(jù)該各 個(gè)機(jī)架的平均當(dāng)前性能值，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大 平均當(dāng)前性能值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架， 作為待選擇機(jī)架，再用A · R的值針對(duì)R進(jìn)行更新，并返回步驟007。
[0068] 步驟010.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則返回步驟 008;否則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束。
[0069] 本發(fā)明所設(shè)計(jì)面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，基于傳統(tǒng)數(shù)據(jù)副本放置方法 做出改進(jìn)，利用統(tǒng)計(jì)學(xué)上的方法計(jì)算出數(shù)據(jù)節(jié)點(diǎn)的性能值，基于數(shù)據(jù)節(jié)點(diǎn)的性能值來(lái)選擇 放置數(shù)據(jù)副本的數(shù)據(jù)節(jié)點(diǎn)，并且分別考慮數(shù)據(jù)副本的放置，既提高了數(shù)據(jù)存儲(chǔ)與讀取可靠 性，又保證了系統(tǒng)的性能。
[0070] 上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明并不限于上述實(shí)施 方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下 做出各種變化。
【主權(quán)項(xiàng)】
1. 一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，用于針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)任意一個(gè) 數(shù)據(jù)塊的至少兩個(gè)數(shù)據(jù)副本實(shí)現(xiàn)云存儲(chǔ)，其特征在于，包括如下方法： 步驟001.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上對(duì)應(yīng)一個(gè)數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù)據(jù)副 本存儲(chǔ)于本地?cái)?shù)據(jù)節(jié)點(diǎn)上，然后進(jìn)入步驟002; 步驟002.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié)點(diǎn)， 分別獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載、當(dāng)前網(wǎng)絡(luò)帶寬、當(dāng)前平均服務(wù)時(shí)間和當(dāng)前訪問(wèn) 故障概率，并且根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四種屬性 預(yù)設(shè)、相加之和為一的各個(gè)權(quán)重值，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，并進(jìn)入步驟003; 步驟003.針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié)點(diǎn)， 獲得其中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè) 數(shù)據(jù)副本后的預(yù)測(cè)性能值，再判斷該預(yù)測(cè)性能值是否大于預(yù)設(shè)數(shù)據(jù)節(jié)點(diǎn)性能值下限，是則 針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù)據(jù)副本存儲(chǔ)于該預(yù)測(cè)性 能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟004;否則進(jìn)入步驟005; 步驟004.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則進(jìn)入步驟005;否 則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束； 步驟005.獲得W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié)點(diǎn)所 在機(jī)架之外的其余各個(gè)機(jī)架，分別針對(duì)該各個(gè)機(jī)架，根據(jù)步驟002中的方法獲得機(jī)架中各個(gè) 數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值，獲得該機(jī)架中所有數(shù)據(jù)節(jié)點(diǎn)的平均當(dāng)前性能值，作為該機(jī)架的平 均當(dāng)前性能值，進(jìn)而分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入步驟006; 步驟006.針對(duì)W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié)點(diǎn)所 在機(jī)架之外的其余各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，作為待選擇機(jī)架，然 后進(jìn)入步驟007; 步驟007.獲得待選擇機(jī)架中最大當(dāng)前性能值所對(duì)應(yīng)的一個(gè)數(shù)據(jù)節(jié)點(diǎn)，并預(yù)測(cè)獲得若該 數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值，再判斷該預(yù)測(cè)性能值是否大于預(yù)設(shè)數(shù)據(jù) 節(jié)點(diǎn)性能值下限，是則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)中未分配存儲(chǔ)的各個(gè)數(shù)據(jù)副本，隨機(jī)選擇一個(gè)數(shù) 據(jù)副本存儲(chǔ)于該預(yù)測(cè)性能值所對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)上，并進(jìn)入步驟OlO;否則進(jìn)入步驟008; 步驟008.獲得W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、，內(nèi)徑為R、外徑為A ? R的圓圈范圍內(nèi)的 各個(gè)機(jī)架，根據(jù)步驟004中的方法，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值，然后進(jìn)入步驟 009;其中，A大于1; 步驟009.針對(duì)W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、，內(nèi)徑為R、外徑為A ? R的圓圈范圍內(nèi)的 各個(gè)機(jī)架，獲得最大平均當(dāng)前性能值所對(duì)應(yīng)的機(jī)架，更新作為待選擇機(jī)架，再用A ? R的值針 對(duì)R進(jìn)行更新，并返回步驟007; 步驟010.判斷本地?cái)?shù)據(jù)節(jié)點(diǎn)中是否存在未分配存儲(chǔ)的數(shù)據(jù)副本，是則返回步驟008;否 則針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)上該數(shù)據(jù)塊的各個(gè)數(shù)據(jù)副本的云存儲(chǔ)方法結(jié)束。2. 根據(jù)權(quán)利要求1所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于:所述步 驟002具體包括如下： 針對(duì)本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架中、除本地?cái)?shù)據(jù)節(jié)點(diǎn)之外的其余各個(gè)數(shù)據(jù)節(jié)點(diǎn)，分別獲得 該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load、當(dāng)前網(wǎng)絡(luò)帶寬BW、當(dāng)前平均服務(wù)時(shí)間ST和當(dāng)前訪問(wèn) 故障概率FP，并且根據(jù)分別針對(duì)磁盤(pán)負(fù)載、網(wǎng)絡(luò)帶寬、平均服務(wù)時(shí)間和訪問(wèn)故障概率四種屬 性預(yù)設(shè)的權(quán)重值a、權(quán)重值e、權(quán)重值丫、權(quán)重值8,按如下公式，獲得該各個(gè)數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前 性能值P， 其中，日+0+丫+5 = 1。3. 根據(jù)權(quán)利要求1或2所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于:所 述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)負(fù)載Load通過(guò)如下公式獲得， Load=Wi*I0+W2*SIZE 其中，IO表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)I/O負(fù)載，SI ZE表示數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前磁盤(pán)空間負(fù)載，Wi 和W2分別表示針對(duì)磁盤(pán)I/O負(fù)載和磁盤(pán)空間負(fù)載預(yù)設(shè)的權(quán)重值，且W1+W2 = 1。4. 根據(jù)權(quán)利要求1或2所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于:所 述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前平挽服各時(shí)間ST誦討血下公式獲得，其中，N表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)罔期內(nèi)W仕努/廣甄，STn表示數(shù)據(jù)節(jié)點(diǎn)對(duì)應(yīng)統(tǒng)計(jì)周期內(nèi)第 n個(gè)的服務(wù)時(shí)間。5. 根據(jù)權(quán)利要求1或2所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于:所 述步驟002中，數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前訪問(wèn)故障概率FP通過(guò)如下公式獲得，其中，unsuccess表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)未成功的次數(shù)，success表示數(shù)據(jù)節(jié)點(diǎn)訪問(wèn)成功的 次數(shù)。6. 根據(jù)權(quán)利要求1所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于，所述步 驟003和步驟007中，通過(guò)如下方法，預(yù)測(cè)獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù) 測(cè)性能值Pnew: 根據(jù)云計(jì)算系統(tǒng)中的全局日志文件，獲得該數(shù)據(jù)節(jié)點(diǎn)上當(dāng)前已存儲(chǔ)數(shù)據(jù)塊的個(gè)數(shù)L，再 結(jié)合該數(shù)據(jù)節(jié)點(diǎn)的當(dāng)前性能值P，通巧化下公式：獲得若該數(shù)據(jù)節(jié)點(diǎn)增加存儲(chǔ)一個(gè)數(shù)據(jù)副本后的預(yù)測(cè)性能值Pnew。 7 .根據(jù)權(quán)利要求1所述一種面向云存儲(chǔ)的數(shù)據(jù)副本初始放置方法，其特征在于，所述步 驟006中，W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、、預(yù)設(shè)半徑R范圍內(nèi)，除本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架之 外的其余各個(gè)機(jī)架中，若最大平均當(dāng)前性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2,則根據(jù)該各個(gè) 機(jī)架的平均當(dāng)前性能值，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大平 均當(dāng)前性能值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架，作 為待選擇機(jī)架； W及所述步驟009中，W本地?cái)?shù)據(jù)節(jié)點(diǎn)所在機(jī)架為圓屯、，內(nèi)徑為R、外徑為A ? R的圓圈范 圍內(nèi)的各個(gè)機(jī)架，若最大平均當(dāng)前性能值所對(duì)應(yīng)機(jī)架的個(gè)數(shù)大于等于2，則根據(jù)該各個(gè)機(jī)架 的平均當(dāng)前性能值，分別獲得該各個(gè)機(jī)架的平均當(dāng)前性能值標(biāo)準(zhǔn)平方差，針對(duì)最大平均當(dāng) 前性能值所對(duì)應(yīng)的各個(gè)機(jī)架，選擇最大平均當(dāng)前性能值標(biāo)準(zhǔn)平方差所對(duì)應(yīng)的機(jī)架，作為待 選擇機(jī)架。
【文檔編號(hào)】H04L29/08GK105915626SQ201610365538
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2016年5月27日
【發(fā)明人】付雄, 趙玉杰, 鄧松, 程春玲, 王俊昌, 王秀翠
【申請(qǐng)人】南京郵電大學(xué)