一種高io吞吐量的云存儲讀寫方法
【專利摘要】本發(fā)明公開了一種高IO吞吐量的云存儲讀寫方法，解決了現(xiàn)有技術(shù)中整個讀寫請求過程中吞吐量低，所以速度慢，性能低的問題。該云存儲讀寫方法，包括以下步驟：用戶向客戶端發(fā)送請求；客戶端接收到上述請求后，向元數(shù)據(jù)服務器發(fā)送請求數(shù)據(jù)塊；元數(shù)據(jù)服務器接收到請求數(shù)據(jù)塊后，在磁盤中讀出請求數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點的地址信息，并將讀出的請求數(shù)據(jù)塊的地址信息發(fā)送回客戶端；將數(shù)據(jù)塊切片成為數(shù)據(jù)頁；將數(shù)據(jù)條帶分別發(fā)送給不同的數(shù)據(jù)節(jié)點；各數(shù)據(jù)節(jié)點接受完自己所屬的數(shù)據(jù)條帶后，對客戶端返回寫入成功；數(shù)據(jù)節(jié)點自行進行數(shù)據(jù)片的備份復制工作，其備份數(shù)量為除該數(shù)據(jù)節(jié)點以外的數(shù)據(jù)節(jié)點數(shù)量；數(shù)據(jù)節(jié)點將復制的數(shù)據(jù)片分別備份至其余數(shù)據(jù)節(jié)點。
【專利說明】-種高10吞吐量的云存儲讀寫方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云存儲【技術(shù)領(lǐng)域】，具體的說，是涉及一種高10吞吐量的云存儲讀寫方 法。

【背景技術(shù)】
[0002] 近年來，隨著云計算的興起，云存儲成為信息存儲領(lǐng)域的一個研究熱點。與傳統(tǒng) 的存儲設(shè)備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡設(shè)備、存儲設(shè)備、服務器、應用軟 件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的系統(tǒng)。云存儲提供的是存儲服 務，存儲服務通過網(wǎng)絡將本地數(shù)據(jù)存放在存儲服務提供商（SSP)提供的在線存儲空間。需 要存儲服務的用戶不再需要建立自己的數(shù)據(jù)中心，只需向SSP申請存儲服務，從而避免了 存儲平臺的重復建設(shè)，節(jié)約了昂貴的軟硬件基礎(chǔ)設(shè)施投資。
[0003] I0PS (Input/Output Per Second)即每秒的輸入輸出量（或讀寫次數(shù)），是衡量 磁盤性能的主要指標之一。I0PS是指單位時間內(nèi)系統(tǒng)能處理的I/O請求數(shù)量，一般以每秒 處理的I/O請求數(shù)量為單位，I/O請求通常為讀或?qū)憯?shù)據(jù)操作請求。隨機讀寫頻繁的應用， 如OLTP (Online Transaction Processing), I0PS是關(guān)鍵衡量指標。另一個重要指標是數(shù) 據(jù)吞吐量（Throughput)，指單位時間內(nèi)可以成功傳輸?shù)臄?shù)據(jù)數(shù)量。對于大量順序讀寫的應 用，如V0D (Video On Demand),則更關(guān)注吞吐量指標。
[0004] 傳統(tǒng)磁盤本質(zhì)上一種機械裝置，如FC, SAS, SATA磁盤，轉(zhuǎn)速通常為 5400/7200/10K/15K rpm不等。影響磁盤的關(guān)鍵因素是磁盤服務時間，即磁盤完成一個1/0 請求所花費的時間，它由尋道時間、旋轉(zhuǎn)延遲和數(shù)據(jù)傳輸時間三部分構(gòu)成。
[0005] 普通云存儲中，一個數(shù)據(jù)至少有三個備份，有寫入請求時，必須要完成三份數(shù)據(jù)的 寫入。當用戶向客戶端發(fā)送請求，客戶端向元數(shù)據(jù)服務器發(fā)送讀寫請求數(shù)據(jù)塊，元數(shù)據(jù)服務 器接收到請求數(shù)據(jù)塊，在磁盤中讀出這三份請求數(shù)據(jù)塊的地址信息，請求數(shù)據(jù)塊所在的數(shù) 據(jù)節(jié)點為：01、02、03。然后將此地址信息返回給客戶端，客戶端收到地址信息后，直接訪問 數(shù)據(jù)節(jié)點中的地址，先訪問D1數(shù)據(jù)節(jié)點完成寫入。完成D1中的數(shù)據(jù)寫入后再去D2中寫入 備份數(shù)據(jù)，等D2數(shù)據(jù)節(jié)點完成寫入后再去D3中寫入數(shù)據(jù)。當D1、D2、D3中的數(shù)據(jù)都寫入完 成，返回成功。如圖1所示，整個讀寫請求過程中，磁盤I0PS是瓶頸，吞吐量低，所以速度 慢，性能低。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服上述缺陷，提供一種10吞吐量高、數(shù)據(jù)處理速度快、性能 大幅度提1?的1? 10吞吐量的z?存儲讀與方法。
[0007] 為了實現(xiàn)上述目的，本發(fā)明采用了技術(shù)方案如下： 一種高10吞吐量的云存儲讀寫方法，包括以下步驟： (1) 用戶向客戶端發(fā)送請求； (2) 客戶端接收到上述請求后，向元數(shù)據(jù)服務器發(fā)送請求數(shù)據(jù)塊； (3) 元數(shù)據(jù)服務器接收到請求數(shù)據(jù)塊后，在磁盤中讀出請求數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點的 地址信息，并將讀出的請求數(shù)據(jù)塊的地址信息發(fā)送回客戶端； (4) 將數(shù)據(jù)塊切片成為數(shù)據(jù)頁，根據(jù)數(shù)據(jù)節(jié)點數(shù)量，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條 帶，每個數(shù)據(jù)條帶包含多個數(shù)據(jù)頁； (5) 將數(shù)據(jù)條帶分別發(fā)送給不同的數(shù)據(jù)節(jié)點； (6 )各數(shù)據(jù)節(jié)點接受完自己所屬的數(shù)據(jù)條帶后，對客戶端返回寫入成功； (7) 數(shù)據(jù)節(jié)點自行進行數(shù)據(jù)片的備份復制工作，其備份數(shù)量為除該數(shù)據(jù)節(jié)點以外的數(shù) 據(jù)節(jié)點數(shù)量； (8) 數(shù)據(jù)節(jié)點將復制的數(shù)據(jù)片分別備份至其余數(shù)據(jù)節(jié)點。
[0008] 其中，所述步驟（4)中，數(shù)據(jù)塊的切片方式如下：數(shù)據(jù)存放在虛擬磁盤上，虛擬磁 盤分為多塊數(shù)據(jù)塊，每塊數(shù)據(jù)塊由多片數(shù)據(jù)頁組成，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條帶并 分散到多個不同的數(shù)據(jù)節(jié)點中。
[0009] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于： 本發(fā)明相較于現(xiàn)有技術(shù)而言，其數(shù)據(jù)處理性能大幅度提高、數(shù)據(jù)處理速度快、10吞吐量 高。為其大范圍了推廣應用，奠定了堅實的基礎(chǔ)。

【專利附圖】

【附圖說明】
[0010] 圖1為現(xiàn)有技術(shù)。
[0011] 圖2為本發(fā)明的工作原理示意圖。

【具體實施方式】
[0012] 下面結(jié)合實施例對本發(fā)明作進一步說明。本發(fā)明的實施方式包括但不限于下列實 施例。 實施例
[0013] 本實施例提供了一種高10吞吐量的云存儲讀寫方法，包括以下步驟：（1)用戶向 客戶端發(fā)送請求；（2)客戶端接收到上述請求后，向元數(shù)據(jù)服務器發(fā)送請求數(shù)據(jù)塊；（3)元 數(shù)據(jù)服務器接收到請求數(shù)據(jù)塊后，在磁盤中讀出請求數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點的地址信息， 并將讀出的請求數(shù)據(jù)塊的地址信息發(fā)送回客戶端；（4)將數(shù)據(jù)塊切片成為數(shù)據(jù)頁，根據(jù)數(shù) 據(jù)節(jié)點數(shù)量，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條帶，每個數(shù)據(jù)條帶包含多個數(shù)據(jù)頁；（5)將數(shù) 據(jù)條帶分別發(fā)送給不同的數(shù)據(jù)節(jié)點；（6)各數(shù)據(jù)節(jié)點接受完自己所屬的數(shù)據(jù)條帶后，對客 戶端返回寫入成功；（7)數(shù)據(jù)節(jié)點自行進行數(shù)據(jù)片的備份復制工作，其備份數(shù)量為除該數(shù) 據(jù)節(jié)點以外的數(shù)據(jù)節(jié)點數(shù)量；（8)數(shù)據(jù)節(jié)點將復制的數(shù)據(jù)片分別備份至其余數(shù)據(jù)節(jié)點。
[0014] 其中，所述步驟（4)中，數(shù)據(jù)塊的切片方式如下：數(shù)據(jù)存放在虛擬磁盤上，虛擬磁 盤分為多塊數(shù)據(jù)塊，每塊數(shù)據(jù)塊由多片數(shù)據(jù)頁組成，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條帶并 分散到多個不同的數(shù)據(jù)節(jié)點中。
[0015] 為了使得本領(lǐng)域技術(shù)人員對本發(fā)明有更清晰的了解和認識，下面對數(shù)據(jù)塊的切片 及數(shù)據(jù)片的備份進行舉例說明： 元數(shù)據(jù)服務器接收到請求數(shù)據(jù)塊后，在磁盤中讀出請求數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點的地址 信息D1、D2、D3,將讀出的請求數(shù)據(jù)塊的地址信息發(fā)送回客戶端，客戶端收到地址信息后，將 數(shù)據(jù)塊切為三片SI、S2、S3,然后，將三片數(shù)據(jù)塊切片分發(fā)給三個數(shù)據(jù)節(jié)點Dl、D2、D3 ;D1、 D2、D3接收完數(shù)據(jù)后，直接返回客戶端，寫入完成。其中，所述的數(shù)據(jù)塊切片即構(gòu)成上述的 數(shù)據(jù)條帶，當有若干數(shù)據(jù)頁時，則根據(jù)數(shù)據(jù)節(jié)點的個數(shù)，對數(shù)據(jù)頁整列劃分為與數(shù)據(jù)節(jié)點個 數(shù)對應的數(shù)據(jù)條帶，每個數(shù)據(jù)條帶內(nèi)含有多個數(shù)據(jù)頁，如數(shù)據(jù)節(jié)點有3個，數(shù)據(jù)頁有12個， 則可以將每4個數(shù)據(jù)頁劃分為1 一個數(shù)據(jù)條帶，構(gòu)成3個數(shù)據(jù)條帶后，再分別發(fā)送至各數(shù)據(jù) 節(jié)點。
[0016] D1、D2、D3數(shù)據(jù)節(jié)點在內(nèi)部自行進行后續(xù)數(shù)據(jù)頁S1、S2、S3的備份復制工作：1、數(shù) 據(jù)節(jié)點D1將S1切片復制兩份備份至D2、D3 ;2、數(shù)據(jù)節(jié)點D2將S2切片復制兩份備份至D1、 D3 ;3、數(shù)據(jù)節(jié)點D3將S3切片復制兩份備份至D1、D2。
[0017] 按照上述實施例，便可很好地實現(xiàn)本發(fā)明。值得說明的是，基于上述設(shè)計原理的前 提下，為解決同樣的技術(shù)問題，即使在本發(fā)明所公開的結(jié)構(gòu)基礎(chǔ)上做出的一些無實質(zhì)性的 改動或潤色，所采用的技術(shù)方案的實質(zhì)仍然與本發(fā)明一樣，故其也應當在本發(fā)明的保護范 圍內(nèi)。
【權(quán)利要求】
1. 一種高10吞吐量的云存儲讀寫方法，其特征在于，包括以下步驟： (1) 用戶向客戶端發(fā)送請求； (2) 客戶端接收到上述請求后，向元數(shù)據(jù)服務器發(fā)送請求數(shù)據(jù)塊； (3) 元數(shù)據(jù)服務器接收到請求數(shù)據(jù)塊后，在磁盤中讀出請求數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點的 地址信息，并將讀出的請求數(shù)據(jù)塊的地址信息發(fā)送回客戶端； (4) 將數(shù)據(jù)塊切片成為數(shù)據(jù)頁，根據(jù)數(shù)據(jù)節(jié)點數(shù)量，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條 帶，每個數(shù)據(jù)條帶包含多個數(shù)據(jù)頁； (5) 將數(shù)據(jù)條帶分別發(fā)送給不同的數(shù)據(jù)節(jié)點； (6 )各數(shù)據(jù)節(jié)點接受完自己所屬的數(shù)據(jù)條帶后，對客戶端返回寫入成功； (7) 數(shù)據(jù)節(jié)點自行進行數(shù)據(jù)片的備份復制工作，其備份數(shù)量為除該數(shù)據(jù)節(jié)點以外的數(shù) 據(jù)節(jié)點數(shù)量； (8) 數(shù)據(jù)節(jié)點將復制的數(shù)據(jù)片分別備份至其余數(shù)據(jù)節(jié)點。
2. 根據(jù)權(quán)利要求1所述的一種高10吞吐量的云存儲讀寫方法，其特征在于，所述步驟 (4)中，數(shù)據(jù)塊的切片方式如下：數(shù)據(jù)存放在虛擬磁盤上，虛擬磁盤分為多塊數(shù)據(jù)塊，每塊數(shù) 據(jù)塊由多片數(shù)據(jù)頁組成，將數(shù)據(jù)頁整列劃分為多個數(shù)據(jù)條帶并分散到多個不同的數(shù)據(jù)節(jié)點 中。
【文檔編號】G06F3/06GK104125285SQ201410376145
【公開日】2014年10月29日 申請日期:2014年8月2日 優(yōu)先權(quán)日:2014年8月2日
【發(fā)明者】黃睿 申請人:成都致云科技有限公司