數(shù)據(jù)存儲處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種數(shù)據(jù)存儲處理方法及裝置。
【背景技術(shù)】
[0002]Hadoop，是一種開源的大數(shù)據(jù)存儲和分析平臺，已成為業(yè)界處理大數(shù)據(jù)的事實標(biāo)準(zhǔn)。Hadoop平臺包含分布式文件系統(tǒng)(Hadoop Distributed File System,簡稱為HDFS)和MapRedUce(并行計算框架)兩個重要的子系統(tǒng)，其中HDFS為海量的數(shù)據(jù)提供存儲，MapReduce為海量的數(shù)據(jù)提供計算。
[0003]Hadoop 存儲
[0004]Hadoop是一個高度容錯的多副本的分布式系統(tǒng)，適用于部署在廉價的機器上，并且Hadoop支持機器上多塊硬盤的并行數(shù)據(jù)寫入和讀取。
[0005]因此隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)量急劇增加，企業(yè)為了減少成本采用Hadoop平臺部署在廉價的PC服務(wù)器(Server)上，Hadoop采用多副本存儲文件，保證了在廉價的設(shè)備上文件的可靠性。
[0006]HBASE
[0007]HBASE是一個分布式、面向列的開源數(shù)據(jù)庫，是基于HDFS之上，提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的數(shù)據(jù)庫系統(tǒng)。HBASE是大數(shù)據(jù)分析平臺Hadoop平臺生態(tài)系統(tǒng)中重要的組成部分，并在業(yè)界獲得了廣泛的應(yīng)用。HBASE在HDFS上存儲的模式采用以列為主模式進行存儲，每一列對應(yīng)一個或多個存儲文件。下面針對HBASE對數(shù)據(jù)的存儲進行說明。
[0008]在HBASE數(shù)據(jù)庫中創(chuàng)建表時，HBASE的處理方案是:創(chuàng)建HBASE表時，系統(tǒng)對于所有列數(shù)據(jù)采用同樣副本數(shù)的進行存儲，同時副本數(shù)不允許用戶創(chuàng)建表時設(shè)置，只能依賴HBASE系統(tǒng)默認設(shè)置的3副本。即表數(shù)據(jù)中所有列全部采用3副本存儲。
[0009]從以上技術(shù)方案可以看出，相關(guān)技術(shù)中的HBASE處理表數(shù)據(jù)存儲的方案存在以下缺點:硬件成本高:對于所有存儲在HBASE的表數(shù)據(jù)采用同一種存儲副本，對于重要數(shù)據(jù)和非重要數(shù)據(jù)，存儲副本相同，大大占用了硬件成本。數(shù)據(jù)不能差異化處理:對于熱點數(shù)據(jù)列，希望多副本，以提高讀取速度，現(xiàn)在無法實現(xiàn)差異化針對單獨數(shù)據(jù)列進行設(shè)置存儲副本。
[0010]因此，在相關(guān)技術(shù)中，對于HBASE處理表數(shù)據(jù)存儲時，無法對數(shù)據(jù)進行差異化存儲處理，不僅存在存儲資源的浪費，而且對于數(shù)據(jù)的讀取效率也低的問題。

【發(fā)明內(nèi)容】

[0011]本發(fā)明提供了一種數(shù)據(jù)存儲處理方法及裝置，以至少解決相關(guān)技術(shù)中，對于HBASE處理表數(shù)據(jù)存儲時，無法對數(shù)據(jù)進行差異化存儲處理，不僅存在存儲資源的浪費，而且對于數(shù)據(jù)的讀取效率也低的問題。
[0012]根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)存儲處理方法，包括:獲取用于存儲數(shù)據(jù)的分布式數(shù)據(jù)庫HBASE表中列族的存儲數(shù)據(jù)副本的副本數(shù)，其中，所述HBASE表中各個列族存儲數(shù)據(jù)副本的副本數(shù)不同；依據(jù)獲取的所述副本數(shù)生成對所述數(shù)據(jù)的存儲副本。
[0013]優(yōu)選地，在獲取用于存儲數(shù)據(jù)的所述HBASE表中列族的存儲數(shù)據(jù)副本的所述副本數(shù)之前，還包括:在建立所述HBASE表時，通過Ruby散列屬性值創(chuàng)建所述HBASE表中各個列族對應(yīng)的副本數(shù)屬性，依據(jù)所述Ruby散列屬性值對應(yīng)的副本數(shù)屬性獲取用于存儲數(shù)據(jù)的所述HBASE表中列族的存儲數(shù)據(jù)副本的所述副本數(shù)。
[0014]優(yōu)選地，在獲取用于存儲數(shù)據(jù)的所述HBASE表中列族的存儲數(shù)據(jù)副本的所述副本數(shù)之前，還包括:接收到動態(tài)輸入的所述副本數(shù)。
[0015]優(yōu)選地，通過以下方式至少之一，獲取用于存儲數(shù)據(jù)的所述HBASE表中列族的存儲數(shù)據(jù)副本的所述副本數(shù):接收攜帶所述副本數(shù)的命令；接收攜帶所述副本數(shù)的Web頁面信息。
[0016]優(yōu)選地，依據(jù)獲取的所述副本數(shù)生成對所述數(shù)據(jù)的所述存儲副本包括:在數(shù)據(jù)寫入時，將所述副本數(shù)傳遞到HBASE數(shù)據(jù)寫入文件類；依據(jù)傳遞到所述HBASE數(shù)據(jù)寫入文件類中的所述副本數(shù)生成對應(yīng)的所述存儲副本。
[0017]優(yōu)選地，在依據(jù)獲取的所述副本數(shù)生成對所述數(shù)據(jù)的所述存儲副本之后，還包括:讀取依據(jù)所述副本數(shù)單獨加載的所述存儲副本。
[0018]根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)存儲處理裝置，包括:獲取模塊，用于獲取用于存儲數(shù)據(jù)的分布式數(shù)據(jù)庫HBASE表中列族的存儲數(shù)據(jù)副本的副本數(shù)，其中，所述HBASE表中各個列族存儲數(shù)據(jù)副本的副本數(shù)不同；生成模塊，用于依據(jù)獲取的所述副本數(shù)生成對所述數(shù)據(jù)的存儲副本。
[0019]優(yōu)選地，該裝置還包括:創(chuàng)建模塊，用于在建立所述HBASE表時，通過Ruby散列屬性值創(chuàng)建所述HBASE表中各個列族對應(yīng)的副本數(shù)屬性，依據(jù)所述Ruby散列屬性值對應(yīng)的副本數(shù)屬性獲取用于存儲數(shù)據(jù)的所述HBASE表中列族的存儲數(shù)據(jù)副本的所述副本數(shù)。
[0020]優(yōu)選地，該裝置還包括:接收模塊，用于接收到動態(tài)輸入的所述副本數(shù)。
[0021]優(yōu)選地，所述獲取模塊包括以下至少之一:第一接收單元，用于接收攜帶所述副本數(shù)的命令；第二接收單元，用于接收攜帶所述副本數(shù)的Web頁面信息。
[0022]優(yōu)選地，所述生成模塊包括:傳遞單元，用于在數(shù)據(jù)寫入時，將所述副本數(shù)傳遞到HBASE數(shù)據(jù)寫入文件類；生成單元，用于依據(jù)傳遞到所述HBASE數(shù)據(jù)寫入文件類中的所述副本數(shù)生成對應(yīng)的所述存儲副本。
[0023]優(yōu)選地，該裝置還包括:讀取模塊，用于讀取依據(jù)所述副本數(shù)單獨加載的所述存儲副本。
[0024]通過本發(fā)明，采用獲取用于存儲數(shù)據(jù)的分布式數(shù)據(jù)庫HBASE表中列族的存儲數(shù)據(jù)副本的副本數(shù)，其中，所述HBASE表中各個列族存儲數(shù)據(jù)副本的副本數(shù)不同；依據(jù)獲取的所述副本數(shù)生成對所述數(shù)據(jù)的存儲副本，不僅解決了相關(guān)技術(shù)中，對于HBASE處理表數(shù)據(jù)存儲時，無法對數(shù)據(jù)進行差異化存儲處理，不僅存在存儲資源的浪費，而且對于數(shù)據(jù)的讀取效率也低的問題，進而達到了對HBASE的列族設(shè)置了不同的副本數(shù)，實現(xiàn)了對數(shù)據(jù)有區(qū)別地存儲，在不降低數(shù)據(jù)寫入讀取的前提下，能夠有效降低存儲成本的效果。
【附圖說明】
[0025]此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0026]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理方法的流程圖；
[0027]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置的結(jié)構(gòu)框圖；
[0028]圖3是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置的優(yōu)選結(jié)構(gòu)框圖一；
[0029]圖4是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置的優(yōu)選結(jié)構(gòu)框圖二 ；
[0030]圖5是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置中獲取模塊22的優(yōu)選結(jié)構(gòu)框圖；
[0031]圖6是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置中生成模塊24的優(yōu)選結(jié)構(gòu)框圖；
[0032]圖7是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理裝置的優(yōu)選結(jié)構(gòu)框圖三；
[0033]圖8是根據(jù)本發(fā)明實施方式的HBASE存儲結(jié)構(gòu)示意圖；
[0034]圖9是根據(jù)本發(fā)明實施方式的HBASE數(shù)據(jù)邏輯視圖；
[0035]圖10是根據(jù)本發(fā)明優(yōu)選實施方式的動態(tài)創(chuàng)建HBASE多副本的流程圖。
【具體實施方式】
[0036]下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0037]在本實施例中提供了一種數(shù)據(jù)存儲處理方法，圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲處理方法的流程圖，如圖1所示，該流程包括如下步驟: