專利名稱：一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)的制作方法
—種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)。
背景技術(shù)：
隨著云計(jì)算技術(shù)在國內(nèi)外的高速發(fā)展，基于Hadoop分布式文件系統(tǒng)(HDFS)的云存儲(chǔ)技術(shù)得到了廣泛的應(yīng)用。通過利舊和新增PC服務(wù)器的方式建立規(guī)模龐大的HDFS集群， 利用PC服務(wù)器上的本地磁盤提供高性能、高性價(jià)比、可彈性擴(kuò)展的分布式云存儲(chǔ)服務(wù)。
由于組成HDFS集群的服務(wù)器節(jié)點(diǎn)的差異性，集群中節(jié)點(diǎn)很有可能具有不同的存儲(chǔ)性能和存儲(chǔ)容量。因此，如何充分考慮節(jié)點(diǎn)間的差異性，最優(yōu)化存儲(chǔ)資源的分配是構(gòu)建基于Hadoop的分布式云存儲(chǔ)系統(tǒng)亟待解決的問題。發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系 統(tǒng)，實(shí)現(xiàn)自動(dòng)數(shù)據(jù)分級(jí)管理，提高存儲(chǔ)資源利用率。
為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采取如下技術(shù)方案
提供一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括節(jié)點(diǎn)服務(wù)器和中心服務(wù)器，所述節(jié)點(diǎn)服務(wù)器采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并將所采集的消息發(fā)送到所述中心服務(wù)器的數(shù)據(jù)分級(jí)管理模塊。
所述節(jié)點(diǎn)服務(wù)器包括服務(wù)器信息采集模塊、數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊；所述服務(wù)器信息采集模塊和數(shù)據(jù)溫度采集模塊分別采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并分別將采集的消息發(fā)送到所述數(shù)據(jù)分級(jí)管理模塊。
所述服務(wù)器信息采集模塊部署在HDFS集群的數(shù)據(jù)節(jié)點(diǎn)上，所述數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊部署在所述HDFS集群的名字節(jié)點(diǎn)上，所述數(shù)據(jù)分級(jí)管理模塊部署在所述中心服務(wù)器上。
所述服務(wù)器狀態(tài)消息包含數(shù)據(jù)節(jié)點(diǎn)的硬件配置和運(yùn)行狀態(tài)信息，所述數(shù)據(jù)溫度分布消息包含數(shù)據(jù)溫度消息和數(shù)據(jù)分布消息。
所述消息均包括消息頭和消息體，所述消息頭包括中心服務(wù)器名稱、IP地址、節(jié)點(diǎn) ID、加密方法、校驗(yàn)和時(shí)間戳；所述消息體包括經(jīng)消息頭指定加密方法加密后的節(jié)點(diǎn)硬件配置、節(jié)點(diǎn)運(yùn)行狀態(tài)、數(shù)據(jù)溫度和數(shù)據(jù)分布。
所述數(shù)據(jù)分級(jí)代理模塊接收帶外數(shù)據(jù)分級(jí)命令，解析所述帶外數(shù)據(jù)分級(jí)命令獲取需要移動(dòng)數(shù)據(jù)塊信息，并將所獲取信息告知名字節(jié)點(diǎn)，所述名字節(jié)點(diǎn)接收信息的同時(shí)復(fù)制目標(biāo)數(shù)據(jù)塊到目標(biāo)節(jié)點(diǎn)，并刪除源數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)塊，需要移動(dòng)數(shù)據(jù)塊消息全部獲取結(jié)束后，名字節(jié)點(diǎn)向數(shù)據(jù)分級(jí)代理模塊發(fā)送成功消息，所述數(shù)據(jù)分級(jí)代理模塊向數(shù)據(jù)分級(jí)管理模塊發(fā)送確認(rèn)消息。
所述需要移動(dòng)數(shù)據(jù)塊信息包括需要移動(dòng)的目標(biāo)數(shù)據(jù)塊ID、源數(shù)據(jù)節(jié)點(diǎn)ID和目的節(jié)點(diǎn)ID。所述中心服務(wù)器包括消息接收模塊、信息持久化模塊、信息緩存模塊、數(shù)據(jù)分級(jí)管理模塊、指令加工模塊、指令發(fā)送模塊、分析引擎模塊節(jié)點(diǎn)和注冊(cè)模塊。所述消息接收模塊接收來自數(shù)據(jù)節(jié)點(diǎn)和名字節(jié)點(diǎn)分別發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，對(duì)消息進(jìn)行解析并送往所述數(shù)據(jù)分級(jí)管理模塊；所述數(shù)據(jù)分級(jí)管理模塊生成帶外數(shù)據(jù)分級(jí)命令，并周期性發(fā)送給名字節(jié)點(diǎn)；所述信息緩存模塊接收來自消息接收模塊的消息，經(jīng)過處理形成有效信息存入信息緩存區(qū)，同時(shí)管理和維護(hù)信息緩存區(qū)內(nèi)容，并將信息分類后發(fā)送給數(shù)據(jù)分級(jí)管理模塊，所述信息緩存區(qū)內(nèi)容包括信息的創(chuàng)建、更新和刪除；
信息緩存區(qū)超出容量或時(shí)間計(jì)數(shù)器結(jié)束或服務(wù)停止時(shí)，所述信息持久化模塊對(duì)經(jīng)過信息緩存模塊處理后的消息寫入到磁盤，數(shù)據(jù)分級(jí)管理模塊從磁盤讀取信息，送入信息緩存區(qū)；所述分析引擎模塊信息緩存模塊發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，形成數(shù)據(jù)溫度分布式矢量圖，并維護(hù)數(shù)據(jù)溫度分布矢量圖的狀態(tài)更新；根據(jù)數(shù)據(jù)溫度分布式矢量圖形成帶外數(shù)據(jù)分級(jí)指令，發(fā)送給指令加工模塊；所述指令加工模塊根據(jù)分析弓I擎模塊輸出的內(nèi)容,加工形成可以由指令發(fā)送模塊發(fā)送給特定節(jié)點(diǎn)的指令編碼；所述指令發(fā)送模塊接收來自所述數(shù)據(jù)分級(jí)管理模塊生成的帶外數(shù)據(jù)分級(jí)命令，并根據(jù)所接收指令向目標(biāo)節(jié)點(diǎn)發(fā)送指令；所述節(jié)點(diǎn)注冊(cè)模塊接收來自信息緩存區(qū)的注冊(cè)信息，并注冊(cè)或更新指定節(jié)點(diǎn)的信肩、O與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于1、不同于其他分層存儲(chǔ)方法將數(shù)據(jù)分布在不同的存儲(chǔ)介質(zhì)(內(nèi)存、固態(tài)磁盤、磁盤、SAN網(wǎng)絡(luò)、磁帶)上，本發(fā)明提供的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)利用X86服務(wù)器的本地磁盤(SATA接口、SCSI接口)存儲(chǔ)數(shù)據(jù)的情況；通過節(jié)點(diǎn)服務(wù)器配置信息對(duì)比磁盤容量、數(shù)量、接口類型、讀寫速率等靜態(tài)信息進(jìn)行比對(duì)，結(jié)合服務(wù)器運(yùn)行狀態(tài)消息(磁盤容量、CPU、網(wǎng)絡(luò)帶寬等動(dòng)態(tài)信息)和數(shù)據(jù)溫度分布消息息(數(shù)據(jù)被訪問的次數(shù)、時(shí)間、頻率)，實(shí)現(xiàn)在不同性能的服務(wù)器上存放不同溫度數(shù)據(jù)，達(dá)到服務(wù)器存儲(chǔ)資源的最優(yōu)化使用。2、不是在數(shù)據(jù)存儲(chǔ)之初考慮數(shù)據(jù)塊的合理分布，本發(fā)明使用的是離線的數(shù)據(jù)塊再分布策略，即通過發(fā)送帶外數(shù)據(jù)分層指令，在整個(gè)HDFS集群負(fù)載最輕或最合適的時(shí)間進(jìn)行數(shù)據(jù)塊的移動(dòng)，從而更為合理地計(jì)算出數(shù)據(jù)的溫度信息，同時(shí)減少對(duì)存儲(chǔ)正常使用的影響。3、本發(fā)明與所指的Hadoop分布式文件系統(tǒng)是松耦合狀態(tài)，設(shè)計(jì)過程中僅在兩處需要對(duì)HDFS進(jìn)行修改，可很快移植到其它采用分布式文件系統(tǒng)(元數(shù)據(jù)集中管理)的云存儲(chǔ)平臺(tái)上，提供數(shù)據(jù)分級(jí)存儲(chǔ)方案，具有較強(qiáng)的可移植性。


圖1是基于Hadoop的分布式云存儲(chǔ)的數(shù)據(jù)管理流程圖；圖2是基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)邏輯架構(gòu)示意圖3是中心服務(wù)器組成模塊示意圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
如圖1和圖2，提供一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括節(jié)點(diǎn)服務(wù)器和中心服務(wù)器，所述節(jié)點(diǎn)服務(wù)器采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并將所采集的消息發(fā)送到所述中心服務(wù)器的數(shù)據(jù)分級(jí)管理模塊。
所述節(jié)點(diǎn)服務(wù)器包括服務(wù)器信息采集模塊、數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊；
所述服務(wù)器信息采集模塊將收集數(shù)據(jù)節(jié)點(diǎn)的硬件配置信息(包含CPU、內(nèi)存、硬盤、 網(wǎng)絡(luò)等配置情況的靜態(tài)信息)，生成服務(wù)器狀態(tài)消息后發(fā)送給中心服務(wù)器；之后，該服務(wù)將周期性地采集數(shù)據(jù)節(jié)點(diǎn)的運(yùn)行狀態(tài)消息(包含CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)等使用情況的動(dòng)態(tài)信息)，經(jīng)分析處理后形成服務(wù)器狀態(tài)消息發(fā)送給中心服務(wù)器。
所述數(shù)據(jù)溫度采集模塊將記錄數(shù)據(jù)被訪問的次數(shù)和頻率(可通過修改HDFS集群中名字節(jié)點(diǎn)源代碼的直接方式，或在分布式云存儲(chǔ)系統(tǒng)客戶端讀請(qǐng)求消息中嵌入更新計(jì)數(shù)的間接方式)，計(jì)算得出存儲(chǔ)中每個(gè)數(shù)據(jù)(以文件形式存在)的溫度信息；通過解析名字節(jié)點(diǎn)上的元數(shù)據(jù)信息，獲取文件的分布信息；周期性地將上述有更新地信息合成數(shù)據(jù)溫度分布消息發(fā)送給中心服務(wù)器。
所述服務(wù)器信息采集模塊部署在HDFS集群的數(shù)據(jù)節(jié)點(diǎn)上，所述數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊部署在所述HDFS集群的名字節(jié)點(diǎn)上，所述數(shù)據(jù)分級(jí)管理模塊部署在所述中心服務(wù)器上。
所述服務(wù)器狀態(tài)消息包含數(shù)據(jù)節(jié)點(diǎn)的硬件配置和運(yùn)行狀態(tài)信息，所述數(shù)據(jù)溫度分布消息包含數(shù)據(jù)溫度消息和 數(shù)據(jù)分布消息。
所述消息均包括消息頭和消息體，所述消息頭包括中心服務(wù)器名稱、IP地址、節(jié)點(diǎn) ID、加密方法、校驗(yàn)和時(shí)間戳；所述消息體包括經(jīng)消息頭指定加密方法加密后的節(jié)點(diǎn)硬件配置、節(jié)點(diǎn)運(yùn)行狀態(tài)、數(shù)據(jù)溫度和數(shù)據(jù)分布。
所述數(shù)據(jù)分級(jí)代理模塊接收帶外數(shù)據(jù)分級(jí)命令，解析所述帶外數(shù)據(jù)分級(jí)命令獲取需要移動(dòng)數(shù)據(jù)塊信息，并將所獲取信息告知名字節(jié)點(diǎn)，所述名字節(jié)點(diǎn)接收信息的同時(shí)復(fù)制目標(biāo)數(shù)據(jù)塊到目標(biāo)節(jié)點(diǎn)，并刪除源數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)塊，需要移動(dòng)數(shù)據(jù)塊消息全部獲取結(jié)束后，名字節(jié)點(diǎn)向數(shù)據(jù)分級(jí)代理模塊發(fā)送成功消息，所述數(shù)據(jù)分級(jí)代理模塊向數(shù)據(jù)分級(jí)管理模塊發(fā)送確認(rèn)消息。
所述需要移動(dòng)數(shù)據(jù)塊信息包括需要移動(dòng)的目標(biāo)數(shù)據(jù)塊ID、源數(shù)據(jù)節(jié)點(diǎn)ID和目的節(jié)點(diǎn)ID。
如圖3，所述中心服務(wù)器包括消息接收模塊、信息持久化模塊、信息緩存模塊、數(shù)據(jù)分級(jí)管理模塊、指令加工模塊、指令發(fā)送模塊、分析引擎模塊節(jié)點(diǎn)和注冊(cè)模塊。
所述消息接收模塊接收來自數(shù)據(jù)節(jié)點(diǎn)和名字節(jié)點(diǎn)分別發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，對(duì)消息進(jìn)行解析并送往所述數(shù)據(jù)分級(jí)管理模塊；
所述數(shù)據(jù)分級(jí)管理模塊生成帶外數(shù)據(jù)分級(jí)命令，并周期性發(fā)送給名字節(jié)點(diǎn)；
所述信息緩存模塊接收來自消息接收模塊的消息，經(jīng)過處理形成有效信息存入信息緩存區(qū)，同時(shí)管理和維護(hù)信息緩存區(qū)內(nèi)容，并將信息分類后發(fā)送給數(shù)據(jù)分級(jí)管理模塊，所述信息緩存區(qū)內(nèi)容包括信息的創(chuàng)建、更新和刪除；
信息緩存區(qū)超出容量或時(shí)間計(jì)數(shù)器結(jié)束或服務(wù)停止時(shí)，所述信息持久化模塊對(duì)經(jīng)過信息緩存模塊處理后的消息寫入到磁盤，數(shù)據(jù)分級(jí)管理模塊從磁盤讀取信息，送入信息緩存區(qū)；
所述分析引擎模塊信息緩存模塊發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，形成數(shù)據(jù)溫度分布式矢量圖，并維護(hù)數(shù)據(jù)溫度分布矢量圖的狀態(tài)更新；根據(jù)數(shù)據(jù)溫度分布式矢量圖形成帶外數(shù)據(jù)分級(jí)指令，發(fā)送給指令加工模塊；
所述指令加工模塊根據(jù)分析引擎模塊輸出的內(nèi)容，加工形成可以由指令發(fā)送模塊發(fā)送給特定節(jié)點(diǎn)的指令編碼；
所述指令發(fā)送模塊接收來自所述數(shù)據(jù)分級(jí)管理模塊生成的帶外數(shù)據(jù)分級(jí)命令，并根據(jù)所接收指令向目標(biāo)節(jié)點(diǎn)發(fā)送指令；
所述節(jié)點(diǎn)注冊(cè)模塊接收來自信息緩存區(qū)的注冊(cè)信息，并注冊(cè)或更新指定節(jié)點(diǎn)的信息(形成節(jié)點(diǎn)的ID，供分析引擎完成狀態(tài)信息和數(shù)據(jù)溫度分布信息解析、節(jié)點(diǎn)標(biāo)識(shí)、生成指令等操作)。
最后應(yīng)當(dāng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā) 明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng),其特征在于所述系統(tǒng)包括節(jié)點(diǎn)服務(wù)器和中心服務(wù)器，所述節(jié)點(diǎn)服務(wù)器采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并將所采集的消息發(fā)送到所述中心服務(wù)器的數(shù)據(jù)分級(jí)管理模塊。
2.根據(jù)權(quán)利要求1所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述節(jié)點(diǎn)服務(wù)器包括服務(wù)器信息采集模塊、數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊；所述服務(wù)器信息采集模塊和數(shù)據(jù)溫度采集模塊分別采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并分別將采集的消息發(fā)送到所述數(shù)據(jù)分級(jí)管理模塊。
3.根據(jù)權(quán)利要求2所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述服務(wù)器信息采集模塊部署在HDFS集群的數(shù)據(jù)節(jié)點(diǎn)上，所述數(shù)據(jù)溫度采集模塊和數(shù)據(jù)分級(jí)代理模塊部署在所述HDFS集群的名字節(jié)點(diǎn)上，所述數(shù)據(jù)分級(jí)管理模塊部署在所述中心服務(wù)器上。
4.根據(jù)權(quán)利要求2所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述服務(wù)器狀態(tài)消息包含數(shù)據(jù)節(jié)點(diǎn)的硬件配置和運(yùn)行狀態(tài)信息，所述數(shù)據(jù)溫度分布消息包含數(shù)據(jù)溫度消息和數(shù)據(jù)分布消息。
5.根據(jù)權(quán)利要求1所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述消息均包括消息頭和消息體，所述消息頭包括中心服務(wù)器名稱、IP地址、節(jié)點(diǎn)ID、加密方法、校驗(yàn)和時(shí)間戳；所述消息體包括經(jīng)消息頭指定加密方法加密后的節(jié)點(diǎn)硬件配置、節(jié)點(diǎn)運(yùn)行狀態(tài)、數(shù)據(jù)溫度和數(shù)據(jù)分布。
6.根據(jù)權(quán)利要求1所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述數(shù)據(jù)分級(jí)代理模塊接收帶外數(shù)據(jù)分級(jí)命令，解析所述帶外數(shù)據(jù)分級(jí)命令獲取需要移動(dòng)數(shù)據(jù)塊信息，并將所獲取信息告知名字節(jié)點(diǎn)，所述名字節(jié)點(diǎn)接收信息的同時(shí)復(fù)制目標(biāo)數(shù)據(jù)塊到目標(biāo)節(jié)點(diǎn)，并刪除源數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)塊，需要移動(dòng)數(shù)據(jù)塊消息全部獲取結(jié)束后，名字節(jié)點(diǎn)向數(shù)據(jù)分級(jí)代理模塊發(fā)送成功消息，所述數(shù)據(jù)分級(jí)代理模塊向數(shù)據(jù)分級(jí)管理模塊發(fā)送確認(rèn)消息。
7.根據(jù)權(quán)利要求6所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述需要移動(dòng)數(shù)據(jù)塊信息包括需要移動(dòng)的目標(biāo)數(shù)據(jù)塊ID、源數(shù)據(jù)節(jié)點(diǎn)ID和目的節(jié)點(diǎn)ID0
8.根據(jù)權(quán)利要求1-3任一所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述中心服務(wù)器包括消息接收模塊、信息持久化模塊、信息緩存模塊、數(shù)據(jù)分級(jí)管理模塊、指令加工模塊、指令發(fā)送模塊、分析引擎模塊節(jié)點(diǎn)和注冊(cè)模塊。
9.根據(jù)權(quán)利要求8任一所述的基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，其特征在于所述消息接收模塊接收來自數(shù)據(jù)節(jié)點(diǎn)和名字節(jié)點(diǎn)分別發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，對(duì)消息進(jìn)行解析并送往所述數(shù)據(jù)分級(jí)管理模塊； 所述數(shù)據(jù)分級(jí)管理模塊生成帶外數(shù)據(jù)分級(jí)命令，并周期性發(fā)送給名字節(jié)點(diǎn)； 所述信息緩存模塊接收來自消息接收模塊的消息，經(jīng)過處理形成有效信息存入信息緩存區(qū)，同時(shí)管理和維護(hù)信息緩存區(qū)內(nèi)容，并將信息分類后發(fā)送給數(shù)據(jù)分級(jí)管理模塊，所述信息緩存區(qū)內(nèi)容包括信息的創(chuàng)建、更新和刪除； 當(dāng)信息緩存區(qū)超出容量或時(shí)間計(jì)數(shù)器結(jié)束或服務(wù)停止時(shí)，所述信息持久化模塊對(duì)經(jīng)過信息緩存模塊處理后的消息寫入到磁盤，數(shù)據(jù)分級(jí)管理模塊從磁盤讀取信息，送入信息緩存區(qū)； 所述分析引擎模塊信息緩存模塊發(fā)送的服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，形成數(shù)據(jù)溫度分布式矢量圖，并維護(hù)數(shù)據(jù)溫度分布矢量圖的狀態(tài)更新；根據(jù)數(shù)據(jù)溫度分布式矢量圖形 成帶外數(shù)據(jù)分級(jí)指令，發(fā)送給指令加工模塊； 所述指令加工模塊根據(jù)分析引擎模塊輸出的內(nèi)容，加工形成可以由指令發(fā)送模塊發(fā)送給特定節(jié)點(diǎn)的指令編碼； 所述指令發(fā)送模塊接收來自所述數(shù)據(jù)分級(jí)管理模塊生成的帶外數(shù)據(jù)分級(jí)命令，并根據(jù)所接收指令向目標(biāo)節(jié)點(diǎn)發(fā)送指令； 所述節(jié)點(diǎn)注冊(cè)模塊接收來自信息緩存區(qū)的注冊(cè)信息，并注冊(cè)或更新指定節(jié)點(diǎn)的信息。
全文摘要
本發(fā)明提供一種基于Hadoop的分布式云存儲(chǔ)自動(dòng)分級(jí)數(shù)據(jù)管理系統(tǒng)，包括節(jié)點(diǎn)服務(wù)器和中心服務(wù)器，所述節(jié)點(diǎn)服務(wù)器采集服務(wù)器狀態(tài)消息和數(shù)據(jù)溫度分布消息，并將所采集的消息發(fā)送到所述中心服務(wù)器的數(shù)據(jù)分級(jí)管理模塊。本發(fā)明通過在中心服務(wù)器上部署數(shù)據(jù)分級(jí)管理模塊，統(tǒng)一接收來自HDFS集群中數(shù)據(jù)節(jié)點(diǎn)和名字節(jié)點(diǎn)發(fā)送的消息，經(jīng)處理后形成帶外數(shù)據(jù)分級(jí)指令，并發(fā)送給HDFS集群中的名字節(jié)點(diǎn)負(fù)責(zé)最終的數(shù)據(jù)塊再分布，從而實(shí)現(xiàn)基于Hadoop的分布式云存儲(chǔ)系統(tǒng)的自動(dòng)數(shù)據(jù)分級(jí)管理，提高存儲(chǔ)資源的利用率。
文檔編號(hào)G06F17/30GK103023995SQ20121049941
公開日2013年4月3日 申請(qǐng)日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者張大華, 羅志明, 周里濤 申請(qǐng)人:中國電力科學(xué)研究院, 四川省電力公司, 國家電網(wǎng)公司