專利名稱：一種云存儲系統(tǒng)及其實現(xiàn)方法
技術領域：
本發(fā)明涉及計算機以及網絡信息技術領域，具體涉及一種云存儲系統(tǒng)及其實現(xiàn)方法。
背景技術：
云存儲系統(tǒng)一般都基于松耦合架構，元數(shù)據(jù)與數(shù)據(jù)分開存儲，元數(shù)據(jù)存放在元數(shù) 據(jù)節(jié)點，數(shù)據(jù)分布存儲在多個數(shù)據(jù)節(jié)點上。目前的云存儲系統(tǒng)較多的存在IO訪問延遲高 的缺點，延遲的原因是多方面的，首先數(shù)據(jù)傳輸不少是基于通用的HTTP協(xié)議，而HTTP協(xié)議 相比TCP及定制的集群通訊協(xié)議不可避免的存在高延遲的特點；其次，沒有有效的數(shù)據(jù)預 取機制，導致無論是在首次訪問云存儲數(shù)據(jù)還是持續(xù)性數(shù)據(jù)訪問的時候延遲參數(shù)無任何改 變。在目前的使用中，云存儲系統(tǒng)以及集群存儲系統(tǒng)已能在一定程度上識別前端訪問 的應用類型，如分布式數(shù)據(jù)庫、普通文件共享、音視頻媒體播放等，也可以識別前端訪問的 客戶端類型，如手持終端、桌面電腦、計算服務器。如果不能識別前端訪問的應用類型或者 客戶端類型，那么云存儲系統(tǒng)以及集群存儲系統(tǒng)將把此訪問歸屬于普通文件共享訪問?；谠拼鎯ο到y(tǒng)以及集群存儲系統(tǒng)對普通文件共享訪問、應用訪問、客戶端訪問 的識別及歸類，提出本發(fā)明。

發(fā)明內容
本發(fā)明所要解決的技術問題是，如何提高云存儲系統(tǒng)的數(shù)據(jù)提取效率，因此提供 一種云存儲系統(tǒng)及其實現(xiàn)方法。為了解決上述技術問題，本發(fā)明公開了一種云存儲系統(tǒng)，該系統(tǒng)包括訪問特征數(shù) 據(jù)庫、位于元數(shù)據(jù)節(jié)點的訪問特征分析與調度模塊以及位于各數(shù)據(jù)節(jié)點的數(shù)據(jù)預取模塊， 其中所述訪問特征數(shù)據(jù)庫，記錄各類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù) 據(jù)預取策略；所述特征分析與調度模塊，接收客戶端發(fā)起的訪問請求，確定該訪問請求的類型， 從所述訪問特征數(shù)據(jù)庫中查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預 取策略，根據(jù)所查詢到的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并向所確 定的數(shù)據(jù)節(jié)點上的數(shù)據(jù)預取模塊發(fā)起數(shù)據(jù)預取指令，其中，所發(fā)起的數(shù)據(jù)預取指令中包括 所查詢到的數(shù)據(jù)預取策略；所述數(shù)據(jù)預取模塊，接收所述數(shù)據(jù)預取指令，根據(jù)所述數(shù)據(jù)預取指令進行預取操作。較佳地，上述云存儲系統(tǒng)中，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為普通 文件訪問時，所記錄的對應的數(shù)據(jù)關聯(lián)訪問特征為，普通文件訪問時被關聯(lián)訪問的文件的 標識信息，所記錄的對應的數(shù)據(jù)預取策略是，對被關聯(lián)訪問的文件進行數(shù)據(jù)預取。
較佳地，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為應用訪問時，所記錄的對 應的數(shù)據(jù)關聯(lián)訪問特征為應用訪問時被關聯(lián)訪問的文件的標識信息，所記錄的對應的數(shù)據(jù) 預取策略是，對應用關聯(lián)訪問的文件進行數(shù)據(jù)預取。較佳地，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為客戶端訪問時，所記錄的 對應的數(shù)據(jù)關聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文件的標識信息，所記錄的對應的 數(shù)據(jù)預取策略是，對客戶端關聯(lián)訪問的文件進行數(shù)據(jù)預取。本發(fā)明還公開了一種云存儲系統(tǒng)的實現(xiàn)方法，包括所述云存儲系統(tǒng)中元數(shù)據(jù)節(jié)點接收到客戶端發(fā)起的訪問請求時，確定該訪問請求 的類型，查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策略，根據(jù)所查 詢到的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并控制所確定的數(shù)據(jù)節(jié)點 按照所查詢到的數(shù)據(jù)預取策略進行數(shù)據(jù)預取操作。較佳地，上述方法中，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的 類型為普通文件訪問時，查詢該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為，普通文件訪 問時被關聯(lián)訪問的文件的標識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對被 關聯(lián)訪問的文件進行數(shù)據(jù)預取。較佳地，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為應用訪 問時，查詢該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為應用訪問時被關聯(lián)訪問的文件的 標識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對應用關聯(lián)訪問的文件進行數(shù) 據(jù)預取。較佳地，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為客戶端 訪問時，查詢該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文 件的標識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對客戶端關聯(lián)訪問的文件 進行數(shù)據(jù)預取。與現(xiàn)有技術相比，本發(fā)明的實施例具有如下優(yōu)越性適用于云存儲系統(tǒng)及普通的集群存儲，在無需增加硬件成本的前提下，有效提高 存儲系統(tǒng)性能，降低持續(xù)數(shù)據(jù)訪問存在的延遲?？筛鶕?jù)所收到的訪問請求的數(shù)據(jù)關聯(lián)訪問特征進行持續(xù)優(yōu)化，例如，可以為特定 應用(如分布式數(shù)據(jù)庫、普通文件共享、音視頻媒體播放)、特定客戶端(如手持終端、桌面 電腦、計算服務器)進行優(yōu)化，有效保障特定存儲服務的質量。


圖1為本發(fā)明實施例1的云存儲系統(tǒng)結構示意圖。
具體實施例方式下面結合附圖及具體實施例對本發(fā)明技術方案做進一步詳細說明。需要說明的 是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。實施例1本申請的發(fā)明人考慮不同類型的訪問請求的數(shù)據(jù)關聯(lián)訪問特征不同，而針對不同 的數(shù)據(jù)關聯(lián)訪問特征可采用不同的數(shù)據(jù)預取操作，以提高云存儲系統(tǒng)的性能。
基于上述發(fā)明人的思想，本實施例提供一種云存儲系統(tǒng)，如圖1所示，至少包括位 于元數(shù)據(jù)節(jié)點上的訪問特征數(shù)據(jù)庫、位于元數(shù)據(jù)節(jié)點上的訪問特征分析與調度模塊以及位 于各數(shù)據(jù)節(jié)點的數(shù)據(jù)預取模塊。訪問特征數(shù)據(jù)庫，記錄各類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預 取策略；具體地，訪問特征數(shù)據(jù)庫可以采用傳統(tǒng)的關系型數(shù)據(jù)庫，也可以采用分布式數(shù)據(jù)。 除了在本實施例中訪問特征數(shù)據(jù)庫位于元數(shù)據(jù)節(jié)點外，在其他場景中，訪問特征數(shù)據(jù)庫也 可以位于數(shù)據(jù)節(jié)點，也可以存儲在一個獨立的設備上。其中，訪問特征數(shù)據(jù)庫所記錄的各類訪問請求包括普通文件訪問(無法辨別是應 用類型，也無法辨別客戶端類型的訪問請求即可認為是普通文件訪問請求)、應用訪問以及 客戶端訪問等。其中，不同類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征如下1)當訪問請求的類型為普通文件訪問時，假設被訪問的文件是文件A，一般文件A 被訪問的同時，云存儲系統(tǒng)中的其他文件可能被關聯(lián)訪問，而當文件A再次被訪問時，這些 其他文件仍可能被關聯(lián)訪問，這些其他文件可稱為普通關聯(lián)訪問文件。因此，訪問特征數(shù)據(jù) 庫中記錄文件訪問對應的數(shù)據(jù)關聯(lián)訪問特征為普通文件被訪問時被關聯(lián)訪問的文件的標 識信息，對應的數(shù)據(jù)預取策略為對普通文件訪問關聯(lián)文件進行數(shù)據(jù)預取操作；2)當訪問請求的類型為應用訪問時，也可能會關聯(lián)地訪問一些特定的文件，這些 文件也可以稱為應用關聯(lián)訪問文件。因此，訪問特征數(shù)據(jù)庫中記錄應用訪問對應的數(shù)據(jù)關 聯(lián)訪問特征為應用訪問時被關聯(lián)訪問的文件的標識信息，對應的數(shù)據(jù)預取策略為對應 用關聯(lián)訪問文件進行數(shù)據(jù)預取操作；3)當訪問請求的類型為客戶端訪問時，也可能會關聯(lián)訪問一些特定的文件，這些 文件也可以成為客戶端關聯(lián)訪問文件。因此，訪問特征數(shù)據(jù)庫中記錄客戶端訪問對應的數(shù) 據(jù)關聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文件的標識信息，對應的數(shù)據(jù)預取策略為 對客戶端關聯(lián)訪問文件進行數(shù)據(jù)預取操作；特征分析與調度模塊，主要負責接收客戶端發(fā)起的訪問請求，確定該訪問請求的 類型，從所述訪問特征數(shù)據(jù)庫中查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù) 據(jù)預取策略，根據(jù)所查詢到的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并向 所確定的數(shù)據(jù)節(jié)點上的數(shù)據(jù)預取模塊發(fā)起數(shù)據(jù)預取指令，其中，所發(fā)起的數(shù)據(jù)預取指令中 包括所查詢到的數(shù)據(jù)預取策略；數(shù)據(jù)預取模塊，接收所述數(shù)據(jù)預取指令，根據(jù)所述數(shù)據(jù)預取指令進行預取操作。在上述云存儲系統(tǒng)中，當發(fā)生數(shù)據(jù)訪問的時候，將執(zhí)行如下操作步驟特征分析與調度模塊接收到訪問請求時，如果首次收到該訪問請求時，創(chuàng)建該訪 問請求的數(shù)據(jù)關聯(lián)訪問特征及預取策略。即記錄該訪問請求的類型，并記錄該訪問請求要 關聯(lián)訪問的文件的標識信息以及對應的預取策略。如果并非首次收到該訪問請求，則說明 已記錄該訪問請求的數(shù)據(jù)關聯(lián)訪問特征，因此，確定該訪問請求的類型，從所記錄的數(shù)據(jù)關 聯(lián)訪問特征中查詢該類訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征以及預取策略。從而對所要關聯(lián) 訪問的文件進行預取操作，以提高云存儲系統(tǒng)的性能。還有一些優(yōu)選實施例中，如果普通文件共享/應用/客戶端進行持續(xù)數(shù)據(jù)訪問，云
6存儲系統(tǒng)還可以記錄此特征記錄的關聯(lián)信息，包含訪問頻次，訪問順序等參數(shù)。例如，某應 用在單位時間內多次訪問某文件(即訪問頻次達到一定值)，則認為此文件對用戶很重要， 因此將持續(xù)的提升此文件的預取等級，即訪問請求關聯(lián)到此文件時，一定對該文件采取預 取操作，以提高應用響應性能。而訪問順序，可以理解為應用在訪問系統(tǒng)的時候可能總是要 先查看某些數(shù)據(jù)然后才進行其他操作。實施例2本實施例介紹實施例1中的云存儲系統(tǒng)的實現(xiàn)方法，包括云存儲系統(tǒng)中元數(shù)據(jù)節(jié)點接收到客戶端發(fā)起的訪問請求時，確定該訪問請求的類型，查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策略，根據(jù)所查詢到 的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并控制所確定的數(shù)據(jù)節(jié)點按照 所查詢到的數(shù)據(jù)預取策略進行數(shù)據(jù)預取操作。其中，云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為普通文件訪問時，查詢該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為，普通文件訪問時被關聯(lián)訪問的文 件的標識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對被關聯(lián)訪問的文件進行 數(shù)據(jù)預取；云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為應用訪問時，查詢該 類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為應用訪問時被關聯(lián)訪問的文件的標識信息，查 詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對應用關聯(lián)訪問的文件進行數(shù)據(jù)預取；云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為客戶端訪問時，查詢 該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文件的標識信 息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對客戶端關聯(lián)訪問的文件進行數(shù)據(jù)預 取。從上述實施例可以看出，本發(fā)明的實施例基于不同類型的訪問請求的數(shù)據(jù)關聯(lián)訪問特征進行相應的數(shù)據(jù)預取操作，從而在不增加硬件成本的同時，有效降低云存儲系統(tǒng)持 續(xù)數(shù)據(jù)訪問延遲時間，改善云存儲終端用戶體驗。以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修 改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種云存儲系統(tǒng)，其特征在于，該系統(tǒng)包括訪問特征數(shù)據(jù)庫、位于元數(shù)據(jù)節(jié)點的訪問 特征分析與調度模塊以及位于各數(shù)據(jù)節(jié)點的數(shù)據(jù)預取模塊，其中所述訪問特征數(shù)據(jù)庫，記錄各類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預 取策略；所述特征分析與調度模塊，接收客戶端發(fā)起的訪問請求，確定該訪問請求的類型，從所 述訪問特征數(shù)據(jù)庫中查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策 略，根據(jù)所查詢到的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并向所確定的 數(shù)據(jù)節(jié)點上的數(shù)據(jù)預取模塊發(fā)起數(shù)據(jù)預取指令，其中，所發(fā)起的數(shù)據(jù)預取指令中包括所查 詢到的數(shù)據(jù)預取策略；所述數(shù)據(jù)預取模塊，接收所述數(shù)據(jù)預取指令，根據(jù)所述數(shù)據(jù)預取指令進行預取操作。
2.如權利要求1所述的云存儲系統(tǒng)，其特征在于，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為普通文件訪問時，所記錄的對應的數(shù)據(jù) 關聯(lián)訪問特征為，普通文件訪問時被關聯(lián)訪問的文件的標識信息，所記錄的對應的數(shù)據(jù)預 取策略是，對被關聯(lián)訪問的文件進行數(shù)據(jù)預取。
3.如權利要求1或2所述的云存儲系統(tǒng)，其特征在于，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為應用訪問時，所記錄的對應的數(shù)據(jù)關聯(lián) 訪問特征為應用訪問時被關聯(lián)訪問的文件的標識信息，所記錄的對應的數(shù)據(jù)預取策略是， 對應用關聯(lián)訪問的文件進行數(shù)據(jù)預取。
4.如權利要求3所述的云存儲系統(tǒng)，其特征在于，所述訪問特征數(shù)據(jù)庫中記錄訪問請求的類型為客戶端訪問時，所記錄的對應的數(shù)據(jù)關 聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文件的標識信息，所記錄的對應的數(shù)據(jù)預取策略 是，對客戶端關聯(lián)訪問的文件進行數(shù)據(jù)預取。
5.一種云存儲系統(tǒng)的實現(xiàn)方法，其特征在于，該方法包括所述云存儲系統(tǒng)中元數(shù)據(jù)節(jié)點接收到客戶端發(fā)起的訪問請求時，確定該訪問請求的類 型，查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策略，根據(jù)所查詢到 的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并控制所確定的數(shù)據(jù)節(jié)點按照 所查詢到的數(shù)據(jù)預取策略進行數(shù)據(jù)預取操作。
6.如權利要求5所述的方法，其特征在于，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為普通文件訪問時，查 詢該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為，普通文件訪問時被關聯(lián)訪問的文件的標 識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對被關聯(lián)訪問的文件進行數(shù)據(jù)預 取。
7.如權利要求5或6所述的方法，其特征在于，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為應用訪問時，查詢該 類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為應用訪問時被關聯(lián)訪問的文件的標識信息，查 詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對應用關聯(lián)訪問的文件進行數(shù)據(jù)預取。
8.如權利要求7所述的方法，其特征在于，所述云存儲系統(tǒng)的元數(shù)據(jù)節(jié)點確定所接收到的訪問請求的類型為客戶端訪問時，查詢 該類型的訪問請求對應的數(shù)據(jù)關聯(lián)訪問特征為客戶端訪問時被關聯(lián)訪問的文件的標識信息，查詢該類型的訪問請求對應的數(shù)據(jù)預取策略是，對客戶端關聯(lián)訪問的文件進行數(shù)據(jù)預 取。
全文摘要
本發(fā)明公開了一種云存儲系統(tǒng)及其實現(xiàn)方法，涉及計算機以及網絡信息技術領域。本發(fā)明公開的云存儲系統(tǒng)，包括訪問特征數(shù)據(jù)庫，記錄各類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策略；特征分析與調度模塊，接收客戶端發(fā)起的訪問請求，確定該訪問請求的類型，從訪問特征數(shù)據(jù)庫中查詢該類型的訪問請求所對應的數(shù)據(jù)關聯(lián)訪問特征以及數(shù)據(jù)預取策略，根據(jù)所查詢到的數(shù)據(jù)關聯(lián)訪問特征，確定執(zhí)行數(shù)據(jù)預取策略的數(shù)據(jù)節(jié)點，并向所確定的數(shù)據(jù)節(jié)點上的數(shù)據(jù)預取模塊發(fā)起數(shù)據(jù)預取指令；數(shù)據(jù)預取模塊，接收數(shù)據(jù)預取指令，根據(jù)數(shù)據(jù)預取指令進行預取操作。本發(fā)明的實施例有效提高存儲系統(tǒng)性能，降低持續(xù)數(shù)據(jù)訪問存在的延遲。
文檔編號H04L29/08GK102148870SQ20111005449
公開日2011年8月10日 申請日期2011年3月7日 優(yōu)先權日2011年3月7日
發(fā)明者張立強 申請人:浪潮(北京)電子信息產業(yè)有限公司