一種大數(shù)據(jù)歸檔存儲系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)歸檔存儲系統(tǒng),由數(shù)據(jù)源、標準接口、云數(shù)據(jù)庫、管理模塊、可伸縮管理架構、操作系統(tǒng)、存儲介質依次連接構成，其特征在于標準接口與云數(shù)據(jù)庫之間連有監(jiān)聽器模塊?？缮炜s管理架構與操作系統(tǒng)之間還連有訪問分組模塊?？缮炜s管理架構還與RAID條帶優(yōu)化模塊相連。本發(fā)明在一個基礎的歸檔系統(tǒng)架構上架設新的模塊，保證歸檔系統(tǒng)對云計算的支持，同時能夠處理來自客戶端的大量IO（input/output輸入/輸出）操作，保證低延時的數(shù)據(jù)訪問，在錯誤檢測方面針對HDD（Hard?Disk?Drive硬盤驅動器）的檢錯機制進行優(yōu)化從而提高RAID系統(tǒng)的檢錯效率，通過以上三個層面提升歸檔系統(tǒng)的數(shù)據(jù)吞吐量，保證系統(tǒng)能應對大數(shù)據(jù)歸檔的挑戰(zhàn)。
【專利說明】一種大數(shù)據(jù)歸檔存儲系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲領域，特別是一種大數(shù)據(jù)歸檔存儲系統(tǒng)。
【背景技術】
[0002]大數(shù)據(jù)環(huán)境下云計算技術已趨于成熟，大型的IT企業(yè)正在推進云存儲的部署，各種智能云存儲系統(tǒng)應運而生，CSS(Cloud Storage System)云存儲系統(tǒng)也面向可運營的云備份系統(tǒng)，備份與歸檔正朝著融合的方向邁進。傳統(tǒng)的歸檔技術面臨新的挑戰(zhàn)，云計算環(huán)境下的數(shù)據(jù)庫與池化的軟硬資源需要歸檔系統(tǒng)為其擴展新的接口，不再是簡單的數(shù)據(jù)攝取與接入。海量長期的數(shù)據(jù)歸檔需要考慮數(shù)據(jù)檢索的效率，分級存儲管理是較理想的歸檔模式。磁帶的使用方式通常是用來對基本上很少使用的數(shù)據(jù)進行歸檔的介質(write-once, read-never or maybe, —旦寫入,從不使用或者很少使用)，磁盤則可以用來歸檔預期可能檢索的數(shù)據(jù)，在擴展云計算環(huán)境的歸檔系統(tǒng)中下層需要部署用來進行分級的歸檔模塊，需要具有數(shù)據(jù)檢索的預測功能，同時對歸檔數(shù)據(jù)進行歷史檢索的分析，及時的采取分級存儲，這類似于計算機存儲系統(tǒng)，從底層的硬盤到CPU的高性能cache (緩存)，容量在降低，存取速度卻在升級。分級的管理同時涉及介質遷移，遷移需要同時考慮歸檔數(shù)據(jù)與介質的特性，保證數(shù)據(jù)遷移與介質遷移的數(shù)據(jù)持有性，介質穩(wěn)定性。
[0003]應對信息化的公共管理與企事業(yè)電子化運作，高能效的歸檔系統(tǒng)勢必成為支撐數(shù)據(jù)立體式增長的重要保障。在基于信息生命周期管理的思想上，歸檔一直是不被重視的一個環(huán)節(jié)，主要是基于磁帶技術的歸檔模式正在被云時代、大數(shù)據(jù)沖擊。過去，研究者們會把目光集中在數(shù)據(jù)存儲上，這主要來自于傳感器等資源的數(shù)據(jù)采集能力給存儲系統(tǒng)帶來的壓力，經過長期的研究與實踐，分布式的存儲系統(tǒng)、云存儲逐漸實現(xiàn)了大數(shù)據(jù)的有效存儲，研究的熱點將轉移到新的計算環(huán)境下的歸檔系統(tǒng)。
[0004]全息存儲介質、有機金屬復合薄膜、突破性的DNA(Deoxyribonucleic acid脫氧核糖核酸，染色體的主要化學成分)與石英玻璃板有望突破磁帶與光盤為主的長期歸檔介質，在工業(yè)標準的存儲接口未出現(xiàn)前，歸檔仍主要依靠以硬盤為第一級存儲介質的歸檔系統(tǒng)。國內外有很多歸檔系統(tǒng)的研究與設計，You等人提出了一個深度的歸檔存儲系統(tǒng)，采用一個虛擬的content-addressable (內容尋址)存儲框架與多方式的inter_file(中間文件)和intra-file (內部文件)壓縮機制，有效地解決了數(shù)據(jù)依賴變化下數(shù)據(jù)壓縮，測量內容和元數(shù)據(jù)存儲的效率，展示需要變化級別的復制模型并提供了存儲性能的初步結果，在其框架中，采用MD5 (Message Digest Algorithm MD5消息摘要算法第五版)或SHA-1 (Secure Hash Algorithm-1—種安全散列算法)為每個文件計算出虛擬目錄地址的主要部分，在大數(shù)據(jù)環(huán)境下，為每個文件計算一個哈希值會為系統(tǒng)增加負荷。
[0005]傳感技術使得流數(shù)據(jù)無處不在，產生源源不斷的流數(shù)據(jù)，這考驗著當下企業(yè)存儲與歸檔的能力，Abe等人提出了操作合并的機制來歸檔流數(shù)據(jù)，大多數(shù)操作時訪問或者修改操作，對訪問者來說可能存在高度的延時，訪問者不能訪問到邏輯上已經寫入的數(shù)據(jù)，需要控制合并操作的時間域。Wildani等人采用語義部署歸檔數(shù)據(jù)，根據(jù)訪問的歷史記錄的語義，用索引器建立基于語義的訪問目錄，在重復訪問與語義邏輯相悖時索引器面臨巨大挑戰(zhàn)。
[0006]目前現(xiàn)有技術中還沒有將云存儲的存儲現(xiàn)狀作為大數(shù)據(jù)歸檔的重難點，歸檔系統(tǒng)的設計缺乏與云數(shù)據(jù)庫的無縫接合，數(shù)據(jù)的遷移往往直接從數(shù)據(jù)源攝取到了歸檔介質中，給后期的數(shù)據(jù)訪問增加了壓力，爆發(fā)式的訪問會給系統(tǒng)帶來超大負荷，應對這訪問集中與多發(fā)的機制還是停留在依靠緩存的解決方法，而在歸檔磁盤的檢錯問題上，Klein雖然從RAID (Redundant Arrays of Independent Disks 磁盤陣列，RAID)的系統(tǒng)的角度提出了改進歸檔的方案，在檢錯順序上提出采用最遠距離單元塊優(yōu)先檢錯的機制，籠統(tǒng)的認為最遠單元塊的錯誤概率較大，缺乏理論依據(jù)，優(yōu)化條帶上沒有具體的方法。

【發(fā)明內容】

[0007]為解決上述技術問題，本發(fā)明所采用的技術方案如下:
[0008]一種大數(shù)據(jù)歸檔存儲系統(tǒng)，由數(shù)據(jù)源、云數(shù)據(jù)庫、管理模塊、可伸縮管理架構、操作系統(tǒng)、存儲介質依次連接構成，其特征在于數(shù)據(jù)源與云數(shù)據(jù)庫之間連有監(jiān)聽器模塊，監(jiān)聽器與云數(shù)據(jù)庫相連，記錄數(shù)據(jù)庫的訪問情況，根據(jù)訪問情況制定不同的歸檔策略，將云數(shù)據(jù)庫中的數(shù)據(jù)傳輸?shù)较聦拥臍w檔存儲系統(tǒng)中；可伸縮管理架構與操作系統(tǒng)之間還連有訪問分組模塊，訪問分組模塊采用語義本體對SVM支持向量機訓練，基于語義本體進行訪問的分組，降低磁盤旋轉的次數(shù)；可伸縮管理架構還與RAID條帶優(yōu)化模塊相連，RAID條帶優(yōu)化模塊采用更換條帶區(qū)域的方法把條帶上的錯誤塊與訪問量最低的其他條帶上的塊互換，以此提高磁盤數(shù)據(jù)的保護作用。
[0009]可伸縮管理架構用于協(xié)調各功能模塊的并發(fā)操作。
[0010]管理模塊包括索引和元數(shù)據(jù)查詢、策略管理以及元數(shù)據(jù)生成。
[0011]存儲介質為磁盤或磁帶。
[0012]本發(fā)明在一個基礎的歸檔系統(tǒng)架構上架設新的模塊，保證歸檔系統(tǒng)對云計算的支持，同時能夠處理來自客戶端的大量10(input/output輸入/輸出)操作，保證低延時的數(shù)據(jù)訪問，在錯誤檢測方面針對HDD (Hard Disk Drive硬盤驅動器)的檢錯機制進行優(yōu)化從而提高RAID系統(tǒng)的檢錯效率，通過以上三個層面提升歸檔系統(tǒng)的數(shù)據(jù)吞吐量，保證系統(tǒng)能應對大數(shù)據(jù)歸檔的挑戰(zhàn)。
【專利附圖】

【附圖說明】
[0013]圖1 一種大數(shù)據(jù)歸檔存儲系統(tǒng)整體框架示意圖。
[0014]圖2云端數(shù)據(jù)庫監(jiān)聽原理圖。
[0015]圖3基于本體的訪問分組方法圖。
[0016]圖4RAID條帶優(yōu)化示意圖。
【具體實施方式】
[0017]下面結合附圖，對技術方案做進一步具體說明。
[0018]圖1是一種大數(shù)據(jù)歸檔存儲系統(tǒng)整體框架，由數(shù)據(jù)源、標準接口、云數(shù)據(jù)庫、管理模塊、可伸縮管理架構、操作系統(tǒng)、存儲介質依次連接構成；[0019]I)數(shù)據(jù)源，數(shù)據(jù)源主要是需要進行歸檔服務的存儲系統(tǒng)和用戶管理程序，由標準的接口將所有異構數(shù)據(jù)存儲到云數(shù)據(jù)庫中，并且可以實時訪問云數(shù)據(jù)庫中的數(shù)據(jù)。
[0020]2)標準接口:標準接口主要用于提取和訪問歸檔數(shù)據(jù)，整合硬件技術和軟件技術，用于歸檔系統(tǒng)與上層存儲與用戶進行交互。本系統(tǒng)支持多工業(yè)標準接口和應用程序接口(API),—種接口用于文檔的攝取，一種用于文檔的檢索,例如Extensible AccessMethod (XAM)是支持復雜數(shù)據(jù)類型和語義的數(shù)據(jù)接口。
[0021]3)監(jiān)聽器模塊:記錄云端數(shù)據(jù)庫的新進數(shù)據(jù)并且建立基于塊的訪問記錄，數(shù)據(jù)的攝取和訪問都會喚醒云數(shù)據(jù)外圍的監(jiān)聽器，監(jiān)聽器模塊記錄下新數(shù)據(jù)的存儲位置與訪問數(shù)據(jù)的累計訪問量，當數(shù)據(jù)訪問量低于閾值并且滿足數(shù)據(jù)歸檔策略時被遷移到下層的歸檔系統(tǒng)中
[0022]監(jiān)聽器模塊的功能:1)讀取云數(shù)據(jù)庫的設置，在沒有數(shù)據(jù)分類或數(shù)據(jù)分塊的云數(shù)據(jù)庫上有策略的劃分虛擬塊；2)根據(jù)公有云還是私有云進行劃分，私有云可以直接與目標歸檔層交互，而公有云還需要建立與目標歸檔系統(tǒng)對接，實現(xiàn)企業(yè)數(shù)據(jù)的獨立歸檔；3)監(jiān)聽數(shù)據(jù)庫的訪問情況，設定閾值，對規(guī)定時間段訪問及修改值低于閾值的數(shù)據(jù)庫自動將數(shù)據(jù)經重復刪除后通過網絡端口遷移到歸檔系統(tǒng)中。
[0023]圖3是公有云下的代理歸檔方案，數(shù)據(jù)可能被隨機的存到多個云數(shù)據(jù)庫中，如圖3中的云數(shù)據(jù)庫I/云數(shù)據(jù)庫/2云數(shù)據(jù)庫3，圖中的監(jiān)聽器通過網絡與云數(shù)據(jù)庫相連，通過記錄數(shù)據(jù)塊的訪問情況與定義的歸檔策略，監(jiān)聽器將云數(shù)據(jù)庫中的數(shù)據(jù)通過網絡傳輸?shù)较聦拥臍w檔存儲系統(tǒng)中。上圖的歸檔系統(tǒng)用了云計算的思想，小型企業(yè)在存儲資源有限的情況下，借助公有云，數(shù)據(jù)根據(jù)歸檔系統(tǒng)的索引器進行存儲，緩存也能加快客戶端的訪問速度。
[0024]4)云數(shù)據(jù)庫:云端被監(jiān)聽的數(shù)據(jù)庫；
[0025]5)索引和元數(shù)據(jù)查詢:用于為歸檔的數(shù)據(jù)建立索引并提供查詢通道；
[0026]6)策略管理和審計:提供歸檔的策略和日志審計功能；
[0027]7)元數(shù)據(jù)的生成和發(fā)現(xiàn)服務:用于為歸檔數(shù)據(jù)生成相應的元數(shù)據(jù)，結合數(shù)據(jù)本身進行定位查找服務；
[0028]索引和元數(shù)據(jù)查詢、策略管理以及元數(shù)據(jù)生成是并行的管理模塊，索引和元數(shù)據(jù)查詢用于建立歸檔數(shù)據(jù)集的索引，完成快速的查詢服務，元數(shù)據(jù)生成模塊生成數(shù)據(jù)的數(shù)據(jù)，配合索引與元數(shù)據(jù)查詢模塊實現(xiàn)歸檔數(shù)據(jù)的存儲。策略管理模塊用于歸檔系統(tǒng)管理者以特定要求的數(shù)據(jù)管理規(guī)約約束歸檔系統(tǒng)，管理員通過策略管理模塊的標準入口進行策略的更新、刪除與監(jiān)控。模塊之間都有通信，策略管理模塊主要向索引和元數(shù)據(jù)查詢模塊與元數(shù)據(jù)生成模塊發(fā)送策略包，接收到策略包后，索引和元數(shù)據(jù)查詢與元數(shù)據(jù)生成模塊會依照新的策略整理歸檔數(shù)據(jù)。
[0029]8)可伸縮的存儲架構:具有核心的歸檔數(shù)據(jù)管理能力，用于協(xié)調各功能模塊的并發(fā)操作，支持系統(tǒng)的擴展，訪問分組和RAID條帶優(yōu)化模塊可見附圖3與附圖4中，操作系統(tǒng)模塊是硬件與軟件的連接層，由各種硬件的操作系統(tǒng)組合完成的大規(guī)模基礎的資源管理模塊，管理者磁盤、光盤磁帶等存儲介質。
[0030]9)訪問分組模塊:采用語義本體對SVM(Support Vector Machine, SVM)支持向量機訓練，基于語義本體進行訪問的分組，降低磁盤旋轉的次數(shù)；
[0031]在訪問分組的模塊上采用語義本體對SVM支持向量機訓練，索引器需要有生成語義本體的能力，語義本體代表一類型的資源，該類資源的特征是存放的物理位置集中，具有語義相關性，訪問群經過語義訓練，就會被分類到訪問組中，每個訪問組對應一類的語義本體，如圖3所示，在系統(tǒng)目錄發(fā)生目標比例變化的時，需要生成新的語義本體來訓練SVM。
[0032]具體的語義本體對SVM支持向量機訓練的實現(xiàn)方法簡述如下:(I)由圖3中的索引服務模塊中的目錄生成若干本體庫，如圖3中的本體庫I/本體庫2/本體庫3 ；(2)在每個本體庫中隨機選取等分的樣本集訓練SVM分類器，如圖3中的SVM分類器；(3)進入索引服務的IO查詢訪問集的關鍵詞或字進入分類器進行分類，得到圖3中的訪問組I/訪問組2/訪問組3 ; (3)在索引目錄發(fā)生較大變化后，進行步驟(I)以獲得新的本體和分類器。
[0033]語義本體常用作數(shù)據(jù)庫的建模，數(shù)據(jù)成為本體的實例被吸附到相應的本體庫中，采用語義本體的方法，配合文件索引服務器實現(xiàn)存取IO操作的分類、負載均衡，數(shù)據(jù)集的級數(shù)倍增長帶來數(shù)據(jù)訪問量的增加，在歸檔系統(tǒng)需要管理如此多數(shù)據(jù)的同時還要保證訪問的快速響應，就必須優(yōu)化數(shù)據(jù)在磁盤上的存儲模式，使得磁盤在每次旋轉時處理更多的訪問。
[0034]歸檔數(shù)據(jù)只有小部分是活躍的，圖3是基于索引器與存取的語義特征生成若干語義本體，實現(xiàn)的訪問分組，采用SVM方法對指定時間間隔內的訪問分類，可描述為3個階段，索引器的目錄生成語義本體庫，經訓練的SVM根據(jù)本體庫對存取IO操作分類，本體庫能夠隨著訪問量與訪問的語義復雜程度動態(tài)快速定位目標本體指向的磁盤，提高處理效率。
[0035]10) RAID條帶優(yōu)化模塊:調整固定單元的檢測順序和調整多錯誤條帶區(qū)域。
[0036]考慮系統(tǒng)擴展性，數(shù)據(jù)的長期存儲需要沒有與歸檔前大數(shù)據(jù)存儲融合，比如HDFS(Hadooop Distributed File System一種分布式文件系統(tǒng))的存儲的解決方案，盡管IT巨頭的存儲解決方案能夠幫助企業(yè)進行數(shù)據(jù)的備份與歸檔，包括分級的存儲，介質的輪轉、重復利用，面對大數(shù)據(jù)的歸檔，它的性能還是未知的。迫切需要系統(tǒng)對云數(shù)據(jù)庫的支持，拓展介質的存儲能力，在系統(tǒng)訪問量增多與錯誤檢測上也要有應對大數(shù)據(jù)的機制。
[0037]磁盤仍是歸檔系統(tǒng)的第一存儲介質，位于介質分級的第一級，可以假定為歸檔系統(tǒng)的Cache，優(yōu)化磁盤存儲技術，及時的檢測磁盤錯誤與修復對可以避免錯誤數(shù)據(jù)被輪轉到其他存取能力差的介質中，進而降低系統(tǒng)負載。
[0038]優(yōu)化的RIAD系統(tǒng)可以有效的降低磁盤出錯，采用分層的監(jiān)測模型監(jiān)測整個RAID系統(tǒng)，定位故障，防止數(shù)據(jù)丟失，的各種性能指標。分層的模型旨在從RAID控制器的頂端開始，每一層代表的是實際的數(shù)據(jù)而不是不同的介質，因為RAID技術本身對磁帶這樣的介質是無效的，出現(xiàn)錯誤的和擦洗過正在進行冗余檢查的需要單獨存儲起來，矯正錯誤的能力依賴于每個碼的冗余信息，通過改變RAID的布局和條帶長度擴大一倍的方法來糾正錯誤。
[0039]在錯誤檢查方面，HDD的錯誤檢測是將每個盤劃分成固定長度的區(qū)域，再在該區(qū)域內劃分更細小的單元，區(qū)域大小128M，單元大小為1M，檢測過程中首先檢測每個區(qū)域的固定單元，如此循環(huán)。在優(yōu)化的RAID系統(tǒng)中對到達生命期邊緣的磁盤進行連續(xù)的擦洗，對未到達生命期的磁盤在每次的循檢測中，選擇離上一輪檢測中該區(qū)域內相距最遠的作為有優(yōu)先檢測權的單元，因為在檢測無誤的單元附近的錯誤概率遠低于離其較遠的單元。在RAID條帶上，當發(fā)現(xiàn)條帶上有多個錯誤區(qū)域時，選取其它訪問量較小的條帶對應的區(qū)域更換。
[0040]圖4顯示的是一張條帶檢錯得到的映射表，這是一張RAID條帶上區(qū)域交換的重映射虛擬表，一共有磁盤O、磁盤I磁盤2三個磁盤，區(qū)域i j表示第i+Ι個條帶上的第j+Ι個區(qū)域，例如區(qū)域11表示第2個(條帶I)條帶上的第二個區(qū)域，上斜線區(qū)域為故障區(qū)域，豎線區(qū)域為健康區(qū)域，當一個條帶上多個區(qū)域具有關聯(lián)的故障時，為防止交叉錯誤引起新的錯誤，對出現(xiàn)故障較多的條帶調整，使條帶上的錯誤區(qū)域降到最低數(shù)量，原方法沒有設計區(qū)域交換的法則，無規(guī)律性的交換不一定能降低錯誤的發(fā)生，用aij來標記了各區(qū)域的時間段無故障檢測參數(shù)，調整的方法采用標記區(qū)域無故障的檢測次數(shù)為依據(jù)，定義如下:
[0041]定義1:a[ij]記錄條帶i上磁盤j區(qū)域的無故障訪問數(shù)；
[0042]定義2:S[i] = max{a[ij]}，得到條帶i上的最大訪問值；
[0043]定義3:T(ij) = min{S[0], ---St1-1], S[i+1], ---StnJI,計算出需要交換的區(qū)域region ij的目的條帶,在優(yōu)化結束后，a[ij]全部清零。
[0044]采用對比健康檢測情況的方法上調整錯誤區(qū)域較多的條帶可以避免未知的交叉錯誤，將錯誤區(qū)域遷移到訪問量最小的條帶上進一步降低未知錯誤的概率。
[0045]11)分級存儲、介質管理與備份。
[0046]分級存儲模塊的主要功能是完成數(shù)據(jù)的存儲分級、介質輪轉，依據(jù)歸檔磁盤中數(shù)據(jù)的被訪問情況和存儲策略，采取不同的存儲方式分別將數(shù)據(jù)存儲到性能不同的存儲設備上，實現(xiàn)數(shù)據(jù)在存儲設備之間的自動遷移。介質管理主要用于管理介質持中的各種介質資源，完成介質的性能評估、動態(tài)增加、刪除等管理目標。備份模塊用于創(chuàng)建數(shù)據(jù)副本，以防系統(tǒng)的硬件或存儲媒體發(fā)生故障。
【權利要求】
1.一種大數(shù)據(jù)歸檔存儲系統(tǒng)，由數(shù)據(jù)源、云數(shù)據(jù)庫、管理模塊、可伸縮管理架構、操作系統(tǒng)、存儲介質依次連接構成，其特征在于數(shù)據(jù)源與云數(shù)據(jù)庫之間連有監(jiān)聽器模塊，監(jiān)聽器與云數(shù)據(jù)庫相連，記錄數(shù)據(jù)庫的訪問情況，根據(jù)訪問情況制定不同的歸檔策略，將云數(shù)據(jù)庫中的數(shù)據(jù)傳輸?shù)较聦拥臍w檔存儲系統(tǒng)中；可伸縮管理架構與操作系統(tǒng)之間還連有訪問分組模塊，訪問分組模塊采用語義本體對SVM支持向量機訓練，基于語義本體進行訪問的分組，降低磁盤旋轉的次數(shù)；可伸縮管理架構還與RAID條帶優(yōu)化模塊相連，RAID條帶優(yōu)化模塊采用更換條帶區(qū)域的方法把條帶上的錯誤塊與訪問量最低的其他條帶上的塊互換，以此提高磁盤數(shù)據(jù)的保護作用。
2.根據(jù)權利要求1所說的一種大數(shù)據(jù)歸檔存儲系統(tǒng)，其特征在于可伸縮管理架構用于協(xié)調各功能模塊的并發(fā)操作。
3.根據(jù)權利要求1所說的一種大數(shù)據(jù)歸檔存儲系統(tǒng)，其特征在于管理模塊包括索引和元數(shù)據(jù)查詢、策略管理以及元數(shù)據(jù)生成。
4.根據(jù)權利要求1所說的一種大數(shù)據(jù)歸檔存儲系統(tǒng)，其特征在于存儲介質為磁盤或磁帶。
【文檔編號】G06F3/06GK103916459SQ201410077302
【公開日】2014年7月9日 申請日期:2014年3月4日 優(yōu)先權日:2014年3月4日
【發(fā)明者】孫知信, 胡燕平, 宮婧, 王攀 申請人:南京郵電大學