數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)及方法
【專(zhuān)利摘要】本發(fā)明揭示了一種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)及方法，所述系統(tǒng)包括節(jié)點(diǎn)集群模塊、數(shù)據(jù)導(dǎo)入模塊、存儲(chǔ)模塊；節(jié)點(diǎn)集群模塊用以將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié)點(diǎn)；數(shù)據(jù)導(dǎo)入模塊用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存，內(nèi)存中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)數(shù)據(jù)節(jié)點(diǎn)；存儲(chǔ)模塊用以在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，數(shù)據(jù)節(jié)點(diǎn)輸出日志至硬盤(pán)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò)則將數(shù)據(jù)重新組織，壓縮后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。本發(fā)明可以實(shí)現(xiàn)加速基于內(nèi)存計(jì)算能力的集群；可提高對(duì)大規(guī)模數(shù)據(jù)的實(shí)時(shí)加載與處理能力，提升系統(tǒng)的響應(yīng)時(shí)間。
【專(zhuān)利說(shuō)明】數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)庫(kù)存儲(chǔ)【技術(shù)領(lǐng)域】，涉及一種分布式存儲(chǔ)系統(tǒng)，尤其涉及一種數(shù)據(jù) 分布式存儲(chǔ)系統(tǒng)；同時(shí)，本發(fā)明還涉及一種數(shù)據(jù)分布式存儲(chǔ)方法。

【背景技術(shù)】
[0002] 目前，數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)方式有：1.單機(jī)數(shù)據(jù)存儲(chǔ)方式；2.主從備份存儲(chǔ)方式； 3.利用分布式文件系統(tǒng)的存儲(chǔ)方式。然而，無(wú)論采用以上哪種方式，都存在著一定的不足。
[0003] 單機(jī)數(shù)據(jù)存儲(chǔ)方式雖然便于管理和使用，但是可擴(kuò)展性存在嚴(yán)重缺陷難以滿(mǎn)足當(dāng) 今海量數(shù)據(jù)的存取需要，數(shù)據(jù)的安全性也存在問(wèn)題。主從備份存儲(chǔ)方式只解決了安全性問(wèn) 題，其他問(wèn)題依然存在。利用分布式文件系統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)方式，雖然解決了數(shù)據(jù)的安全性 和海量數(shù)據(jù)的存取需求，但是并不適合那些要求低延遲的數(shù)據(jù)訪(fǎng)問(wèn)和處理。
[0004] 有鑒于此，如今迫切需要設(shè)計(jì)一種新的針對(duì)數(shù)據(jù)庫(kù)的分布式存儲(chǔ)系統(tǒng)和方法，以 便解決現(xiàn)有存儲(chǔ)系統(tǒng)的上述缺陷。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問(wèn)題是：提供一種針對(duì)數(shù)據(jù)庫(kù)的分布式存儲(chǔ)系統(tǒng)，可實(shí)現(xiàn) 基于加速內(nèi)存計(jì)算能力的集群以及提升對(duì)大規(guī)模數(shù)據(jù)實(shí)時(shí)加載和處理能力，加快整個(gè)系統(tǒng) 的響應(yīng)時(shí)間。
[0006] 此外，本發(fā)明還提供一種數(shù)據(jù)分布式存儲(chǔ)方法，可實(shí)現(xiàn)基于加速內(nèi)存計(jì)算能力的 集群以及提升對(duì)大規(guī)模數(shù)據(jù)實(shí)時(shí)加載和處理能力，加快整個(gè)系統(tǒng)的響應(yīng)時(shí)間。
[0007] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用如下技術(shù)方案：
[0008] -種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，所述系統(tǒng)包括：
[0009] 注冊(cè)模塊，用以通過(guò)客戶(hù)端將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)注冊(cè)到管理節(jié)點(diǎn)；
[0010] 數(shù)據(jù)導(dǎo)入模塊，用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存， 內(nèi)存中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)； 所述數(shù)據(jù)導(dǎo)入模塊具體包括數(shù)據(jù)掃描單元、數(shù)據(jù)分組規(guī)則匹配單元、數(shù)據(jù)分組單元、數(shù)據(jù)發(fā) 送單元；所述數(shù)據(jù)掃描單元以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存， 并用以按照數(shù)據(jù)特征值對(duì)數(shù)據(jù)進(jìn)行切分并按照特征值生成一個(gè)整型數(shù)值作為數(shù)據(jù)的標(biāo)識(shí) 碼；所述數(shù)據(jù)分組規(guī)則匹配單元用以根據(jù)不同數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)碼將該標(biāo)識(shí)碼按照分組規(guī)則 對(duì)其分組；所述數(shù)據(jù)分組單元用以將內(nèi)存中經(jīng)過(guò)掃描的設(shè)定大小數(shù)據(jù)塊按照數(shù)據(jù)的特征值 進(jìn)行分組；所述數(shù)據(jù)發(fā)送單元將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)；
[0011]存儲(chǔ)模塊，用以在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，判斷是 否需要將該數(shù)據(jù)備份到其它數(shù)據(jù)節(jié)點(diǎn)，如需要?jiǎng)t通過(guò)備份模塊進(jìn)行備份；數(shù)據(jù)節(jié)點(diǎn)輸出日 志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò) 則將數(shù)據(jù)按照元數(shù)據(jù)特征進(jìn)行歸類(lèi)，經(jīng)過(guò)數(shù)據(jù)的重新組織后，再進(jìn)行壓縮；對(duì)數(shù)據(jù)的重新組 織的方式主要是按照數(shù)據(jù)的特征值，以及數(shù)據(jù)間的相似度進(jìn)行排序，使得最大相似度的數(shù) 據(jù)會(huì)連續(xù)存放，為下一步的數(shù)據(jù)壓縮存儲(chǔ)做準(zhǔn)備；經(jīng)過(guò)數(shù)據(jù)的重新組織以后，由于相似的數(shù) 據(jù)會(huì)存放在一起，采用LZAM算法對(duì)其壓縮，以取得較高的壓縮率，然后再后寫(xiě)入硬盤(pán)，并刪 除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件；
[0012] 備份模塊，用以在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù) 目進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上；
[0013] 檢索模塊,用以在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索；檢索模 塊具體包括定位單元、失效判斷單元、請(qǐng)求分發(fā)單元、檢索單元、結(jié)果合并單元；管理節(jié)點(diǎn)通 過(guò)定位單元定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；管理節(jié)點(diǎn)通過(guò)失效判斷單元采用Lease 機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗信息，若有效，管理節(jié)點(diǎn)通過(guò)請(qǐng) 求分發(fā)單元分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，通過(guò)檢索單元對(duì)相應(yīng)數(shù) 據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端；客戶(hù)端利用結(jié)果合并單元將接收到的結(jié)果進(jìn)行合并。
[0014] -種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，所述系統(tǒng)包括：
[0015] 節(jié)點(diǎn)集群模塊，用以將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié)點(diǎn)；
[0016] 數(shù)據(jù)導(dǎo)入模塊，用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存， 內(nèi)存中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)；
[0017] 存儲(chǔ)模塊，用以在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，數(shù)據(jù)節(jié) 點(diǎn)輸出日志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥 值，如超過(guò)則將數(shù)據(jù)重新組織，壓縮后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文 件。
[0018] 作為本發(fā)明的一種優(yōu)選方案，所述數(shù)據(jù)導(dǎo)入模塊具體包括數(shù)據(jù)切分單元、文件掃 描單元、數(shù)據(jù)分組規(guī)則匹配單元、數(shù)據(jù)分組單元、數(shù)據(jù)發(fā)送單元；
[0019] 所述數(shù)據(jù)切分單元用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi) 存；所述數(shù)據(jù)分組規(guī)則匹配單元用以根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同的規(guī)則計(jì)算數(shù)據(jù)的特征 值；所述數(shù)據(jù)分組單元用以將經(jīng)過(guò)掃描的設(shè)定大小的數(shù)據(jù)塊按照數(shù)據(jù)的特征進(jìn)行分組；所 述數(shù)據(jù)發(fā)送單元將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0020] 作為本發(fā)明的一種優(yōu)選方案，所述系統(tǒng)還包括備份模塊，用以在數(shù)據(jù)傳輸?shù)较鄳?yīng) 的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù)目進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù) 據(jù)節(jié)點(diǎn)上。
[0021] 作為本發(fā)明的一種優(yōu)選方案，所述系統(tǒng)還包括檢索模塊，用以在管理節(jié)點(diǎn)收到數(shù) 據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索；
[0022] 所述檢索模塊具體包括定位單元、失效判斷單元、請(qǐng)求分發(fā)單元、檢索單元、結(jié)果 合并單兀；
[0023] 管理節(jié)點(diǎn)通過(guò)定位單元定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；管理節(jié)點(diǎn)通過(guò)失效 判斷單元采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗信息，若 有效，管理節(jié)點(diǎn)通過(guò)請(qǐng)求分發(fā)單元分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，通 過(guò)檢索單元對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端；客戶(hù)端利用結(jié)果合并單元將接收到 的結(jié)果進(jìn)行合并。
[0024] -種數(shù)據(jù)分布式存儲(chǔ)方法，所述方法包括如下步驟：
[0025] 節(jié)點(diǎn)集群步驟：將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié)點(diǎn)；
[0026] 數(shù)據(jù)導(dǎo)入步驟：對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存，內(nèi)存 中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)；
[0027] 存儲(chǔ)步驟：在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，數(shù)據(jù)節(jié)點(diǎn)輸 出日志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如 超過(guò)則將數(shù)據(jù)重新組織，壓縮后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。
[0028] 作為本發(fā)明的一種優(yōu)選方案，所述數(shù)據(jù)導(dǎo)入步驟包括：
[0029] 數(shù)據(jù)掃描步驟，對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存；
[0030] 數(shù)據(jù)分組規(guī)則匹配步驟，根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同的規(guī)則計(jì)算數(shù)據(jù)的特征 值；
[0031] 數(shù)據(jù)分組步驟，將經(jīng)過(guò)掃描的設(shè)定大小的數(shù)據(jù)塊按照數(shù)據(jù)的特征進(jìn)行分組；
[0032] 數(shù)據(jù)發(fā)送步驟，將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0033] 作為本發(fā)明的一種優(yōu)選方案，所述方法還包括備份步驟：在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù) 據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù)目進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié) 點(diǎn)上。
[0034] 作為本發(fā)明的一種優(yōu)選方案，所述方法還包括檢索步驟，在管理節(jié)點(diǎn)收到數(shù)據(jù)檢 索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索；
[0035] 所述檢索步驟具體包括：
[0036] 管理節(jié)點(diǎn)定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；
[0037] 管理節(jié)點(diǎn)采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗 信息，若有效，管理節(jié)點(diǎn)分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；
[0038] 數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端；
[0039] 客戶(hù)端將接收到的結(jié)果進(jìn)行合并。
[0040] 本發(fā)明的有益效果在于：本發(fā)明提出的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)及方法，可以實(shí)現(xiàn)基 于內(nèi)存計(jì)算的集群；可實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的實(shí)時(shí)事務(wù)處理，提升系統(tǒng)的響應(yīng)時(shí)間。在每一個(gè) 數(shù)據(jù)節(jié)點(diǎn)上，內(nèi)存數(shù)據(jù)都在磁盤(pán)上進(jìn)行備份，保證單機(jī)數(shù)據(jù)的安全；同時(shí)系統(tǒng)采用冗余化設(shè) 計(jì)，每一份數(shù)據(jù)都在不同節(jié)點(diǎn)上有冗余備份，任何節(jié)點(diǎn)的宕機(jī)不影響數(shù)據(jù)完整和系統(tǒng)可用 性。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0041] 圖1為本發(fā)明數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的組成示意圖。
[0042] 圖2為本發(fā)明數(shù)據(jù)分布式存儲(chǔ)方法中導(dǎo)入數(shù)據(jù)的流程圖。
[0043] 圖3為本發(fā)明系統(tǒng)的數(shù)據(jù)導(dǎo)入模塊的組成示意圖。
[0044] 圖4為本發(fā)明數(shù)據(jù)分布式存儲(chǔ)方法中數(shù)據(jù)存儲(chǔ)的流程圖。
[0045] 圖5為本發(fā)明數(shù)據(jù)分布式存儲(chǔ)方法中數(shù)據(jù)檢索的流程圖。

【具體實(shí)施方式】
[0046] 下面結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施例。
[0047] 實(shí)施例一
[0048] 請(qǐng)參閱圖1，本發(fā)明揭示了一種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，所述系統(tǒng)包括：注冊(cè)模塊1 (也可以稱(chēng)為"節(jié)點(diǎn)集群模塊")、數(shù)據(jù)導(dǎo)入模塊2、存儲(chǔ)模塊3、備份模塊、檢索模塊4。
[0049] 注冊(cè)模塊1用以通過(guò)客戶(hù)端將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)注冊(cè)到管理節(jié)點(diǎn)；
[0050] 數(shù)據(jù)導(dǎo)入模塊2用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存， 內(nèi)存中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0051] 具體地，請(qǐng)參閱圖3,本實(shí)施例中，所述數(shù)據(jù)導(dǎo)入模塊具體包括數(shù)據(jù)切分單元、文件 掃描單元、數(shù)據(jù)分組規(guī)則匹配單元、數(shù)據(jù)分組單元、數(shù)據(jù)發(fā)送單元。
[0052] 所述數(shù)據(jù)切分單元用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi) 存；所述數(shù)據(jù)分組規(guī)則匹配單元用以根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同的規(guī)則計(jì)算數(shù)據(jù)的特征 值；所述數(shù)據(jù)分組單元用以將內(nèi)存中經(jīng)過(guò)掃描的設(shè)定大小數(shù)據(jù)塊按照數(shù)據(jù)的特征值進(jìn)行分 組；所述數(shù)據(jù)發(fā)送單元將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0053] 存儲(chǔ)模塊3用以在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，判斷是 否需要將該數(shù)據(jù)備份到其它數(shù)據(jù)節(jié)點(diǎn)，如需要?jiǎng)t通過(guò)備份模塊進(jìn)行備份。備份模塊用以在 數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù)目進(jìn)行備份，備份的數(shù)據(jù)將 被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上。數(shù)據(jù)節(jié)點(diǎn)輸出日志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中 的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò)則將數(shù)據(jù)重新組織，再進(jìn)行壓縮；對(duì)數(shù)據(jù)的重新 組織的方式主要是按照數(shù)據(jù)的特征值，以及數(shù)據(jù)間的相似度進(jìn)行排序，使得最大相似度的 數(shù)據(jù)會(huì)連續(xù)存放，為下一步的數(shù)據(jù)壓縮存儲(chǔ)做準(zhǔn)備；經(jīng)過(guò)數(shù)據(jù)的重新組織以后，由于相似的 數(shù)據(jù)會(huì)存放在一起，采用LZAM算法對(duì)其壓縮，以取得較高的壓縮率，然后再后寫(xiě)入硬盤(pán)，并 刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。
[0054] 檢索模塊4用以在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索。檢索模 塊具體包括定位單元、失效判斷單元、請(qǐng)求分發(fā)單元、檢索單元、結(jié)果合并單元。
[0055] 具體地,管理節(jié)點(diǎn)通過(guò)定位單元定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；管理節(jié)點(diǎn) 通過(guò)失效判斷單元采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗 信息，若有效，管理節(jié)點(diǎn)通過(guò)請(qǐng)求分發(fā)單元分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng) 求后，通過(guò)檢索單元對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端；客戶(hù)端利用結(jié)果合并單元 將接收到的結(jié)果進(jìn)行合并。
[0056] 以上介紹了本發(fā)明數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)的組成，本發(fā)明在揭示上述系統(tǒng)的同時(shí)， 還揭示一種數(shù)據(jù)分布式存儲(chǔ)方法；請(qǐng)參閱圖2、圖4,所述方法包括如下步驟：
[0057] 【步驟S1】節(jié)點(diǎn)集群步驟（即注冊(cè)步驟）：將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié) 點(diǎn)，可以通過(guò)注冊(cè)的方式完成連接，如客戶(hù)端發(fā)送注冊(cè)信息，將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)注冊(cè)到管 理節(jié)點(diǎn)上。
[0058] 【步驟S2】數(shù)據(jù)導(dǎo)入步驟：對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi) 存，內(nèi)存中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié) 點(diǎn)。結(jié)合圖3,所述數(shù)據(jù)導(dǎo)入步驟具體包括：
[0059] 步驟S21、數(shù)據(jù)掃描步驟，對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi) 存；
[0060] 步驟S22、數(shù)據(jù)分組規(guī)則匹配步驟，根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同的規(guī)則計(jì)算數(shù)據(jù) 的特征值；
[0061] 步驟S23、數(shù)據(jù)分組步驟，將經(jīng)過(guò)掃描的設(shè)定大小的數(shù)據(jù)塊按照數(shù)據(jù)的特征進(jìn)行分 組；
[0062] 步驟S24、數(shù)據(jù)發(fā)送步驟，將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
[0063]【步驟S3】存儲(chǔ)步驟：如圖4所示，在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留 在內(nèi)存中，判斷是否需要將該數(shù)據(jù)備份到其它數(shù)據(jù)節(jié)點(diǎn)，如需要?jiǎng)t進(jìn)行備份。
[0064] 備份步驟包括在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù)目 進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上。數(shù)據(jù)節(jié)點(diǎn)輸出日志至硬盤(pán)，用于數(shù)據(jù)內(nèi) 存數(shù)據(jù)恢復(fù)。
[0065] 判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò)則將數(shù)據(jù)重新組織，再進(jìn) 行壓縮；對(duì)數(shù)據(jù)的重新組織的方式主要是按照數(shù)據(jù)的特征值，以及數(shù)據(jù)間的相似度進(jìn)行排 序，使得最大相似度的數(shù)據(jù)會(huì)連續(xù)存放，為下一步的數(shù)據(jù)壓縮存儲(chǔ)做準(zhǔn)備；經(jīng)過(guò)數(shù)據(jù)的重新 組織以后，由于相似的數(shù)據(jù)會(huì)存放在一起，采用LZAM算法對(duì)其壓縮，以取得較高的壓縮率， 然后再后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。
[0066]【步驟S4】檢索步驟，在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索。請(qǐng) 參閱圖5,所述檢索步驟具體包括：
[0067] 步驟S40、客戶(hù)端將數(shù)據(jù)檢索的請(qǐng)求發(fā)送到數(shù)據(jù)管理的節(jié)點(diǎn)上；
[0068] 步驟S41、管理節(jié)點(diǎn)定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；
[0069] 步驟S42、管理節(jié)點(diǎn)采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回 請(qǐng)求失敗信息，若有效，管理節(jié)點(diǎn)分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；
[0070] 步驟S43、數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù) 端；
[0071] 步驟S44、客戶(hù)端將接收到的結(jié)果進(jìn)行合并。
[0072] 綜上所述，本發(fā)明提出的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)及方法，可以實(shí)現(xiàn)基于內(nèi)存計(jì)算的 集群；可實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的實(shí)時(shí)事務(wù)處理，提升系統(tǒng)的響應(yīng)時(shí)間。在每一個(gè)數(shù)據(jù)節(jié)點(diǎn)上， 內(nèi)存數(shù)據(jù)都在磁盤(pán)上進(jìn)行備份，保證單機(jī)數(shù)據(jù)的安全；同時(shí)系統(tǒng)采用冗余化設(shè)計(jì)，每一份數(shù) 據(jù)都在不同節(jié)點(diǎn)上有冗余備份，任何節(jié)點(diǎn)的宕機(jī)不影響數(shù)據(jù)完整和系統(tǒng)可用性。
[0073] 這里本發(fā)明的描述和應(yīng)用是說(shuō)明性的，并非想將本發(fā)明的范圍限制在上述實(shí)施例 中。這里所披露的實(shí)施例的變形和改變是可能的，對(duì)于那些本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)實(shí) 施例的替換和等效的各種部件是公知的。本領(lǐng)域技術(shù)人員應(yīng)該清楚的是，在不脫離本發(fā)明 的精神或本質(zhì)特征的情況下，本發(fā)明可以以其它形式、結(jié)構(gòu)、布置、比例，以及用其它組件、 材料和部件來(lái)實(shí)現(xiàn)。在不脫離本發(fā)明范圍和精神的情況下，可以對(duì)這里所披露的實(shí)施例進(jìn) 行其它變形和改變。
【權(quán)利要求】
1. 一種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于，所述系統(tǒng)包括： 注冊(cè)模塊，用以通過(guò)客戶(hù)端將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)注冊(cè)到管理節(jié)點(diǎn)； 數(shù)據(jù)導(dǎo)入模塊，用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存，內(nèi)存 中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)；所述 數(shù)據(jù)導(dǎo)入模塊具體包括數(shù)據(jù)切分單元、數(shù)據(jù)掃描單元、數(shù)據(jù)分組規(guī)則匹配單元、數(shù)據(jù)分組單 元、數(shù)據(jù)發(fā)送單元；所述數(shù)據(jù)切分單元用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描 并載入內(nèi)存；所述數(shù)據(jù)分組規(guī)則匹配單元用以根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同規(guī)則計(jì)算數(shù)據(jù) 的特征值；所述數(shù)據(jù)分組單元用以將內(nèi)存中經(jīng)過(guò)掃描的設(shè)定大小數(shù)據(jù)塊按照數(shù)據(jù)的特征值 進(jìn)行分組；所述數(shù)據(jù)發(fā)送單元將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)； 存儲(chǔ)模塊，用以在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，判斷是否需 要將該數(shù)據(jù)備份到其它數(shù)據(jù)節(jié)點(diǎn)，如需要?jiǎng)t通過(guò)備份模塊進(jìn)行備份；數(shù)據(jù)節(jié)點(diǎn)輸出日志至 硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò)則將 數(shù)據(jù)按照元數(shù)據(jù)特征進(jìn)行歸類(lèi)，經(jīng)過(guò)數(shù)據(jù)的重新組織后，再進(jìn)行壓縮；對(duì)數(shù)據(jù)的重新組織的 方式主要是按照數(shù)據(jù)的特征值，以及數(shù)據(jù)間的相似度進(jìn)行排序，使得最大相似度的數(shù)據(jù)會(huì) 連續(xù)存放，為下一步的數(shù)據(jù)壓縮存儲(chǔ)做準(zhǔn)備；經(jīng)過(guò)數(shù)據(jù)的重新組織以后，由于相似的數(shù)據(jù)會(huì) 存放在一起，采用LZAM算法對(duì)其壓縮，以取得較高的壓縮率，然后再后寫(xiě)入硬盤(pán)，并刪除對(duì) 應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件； 備份模塊，用以在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的備份數(shù)目進(jìn) 行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上； 檢索模塊，用以在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索；檢索模塊具 體包括定位單元、失效判斷單元、請(qǐng)求分發(fā)單元、檢索單元、結(jié)果合并單元；管理節(jié)點(diǎn)通過(guò)定 位單元定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；管理節(jié)點(diǎn)通過(guò)失效判斷單元采用Lease機(jī)制 確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗信息，若有效，管理節(jié)點(diǎn)通過(guò)請(qǐng)求分 發(fā)單元分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，通過(guò)檢索單元對(duì)相應(yīng)數(shù)據(jù)進(jìn) 行檢索后返回結(jié)果到客戶(hù)端；客戶(hù)端利用結(jié)果合并單元將接收到的結(jié)果進(jìn)行合并。
2. -種數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于，所述系統(tǒng)包括： 節(jié)點(diǎn)集群模塊，用以將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié)點(diǎn)； 數(shù)據(jù)導(dǎo)入模塊，用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存，內(nèi)存 中的數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)； 存儲(chǔ)模塊，用以在數(shù)據(jù)節(jié)點(diǎn)接收到數(shù)據(jù)分片后將數(shù)據(jù)分片保留在內(nèi)存中，數(shù)據(jù)節(jié)點(diǎn)輸 出日志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如 超過(guò)則將數(shù)據(jù)重新組織，壓縮后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。
3. 根據(jù)權(quán)利要求2所述的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于： 所述數(shù)據(jù)導(dǎo)入模塊具體包括數(shù)據(jù)切分單元、文件掃描單元、數(shù)據(jù)分組規(guī)則匹配單元、數(shù) 據(jù)分組單元、數(shù)據(jù)發(fā)送單元； 所述數(shù)據(jù)切分單元用以對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存；所 述數(shù)據(jù)分組規(guī)則匹配單元用以根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同規(guī)則計(jì)算數(shù)據(jù)的特征值；所述 數(shù)據(jù)分組單元用以將經(jīng)過(guò)掃描的設(shè)定大小的數(shù)據(jù)塊按照數(shù)據(jù)的特征進(jìn)行分組；所述數(shù)據(jù)發(fā) 送單元將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
4. 根據(jù)權(quán)利要求2所述的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于： 所述系統(tǒng)還包括備份模塊，用以在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè) 定的備份數(shù)目進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上。
5. 根據(jù)權(quán)利要求2所述的數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，其特征在于： 所述系統(tǒng)還包括檢索模塊，用以在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢 索； 所述檢索模塊具體包括定位單元、失效判斷單元、請(qǐng)求分發(fā)單元、檢索單元、結(jié)果合并 單元； 管理節(jié)點(diǎn)通過(guò)定位單元定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)；管理節(jié)點(diǎn)通過(guò)失效判斷 單元采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗信息，若有效， 管理節(jié)點(diǎn)通過(guò)請(qǐng)求分發(fā)單元分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)；數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，通過(guò)檢 索單元對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端；客戶(hù)端利用結(jié)果合并單元將接收到的結(jié) 果進(jìn)行合并。
6. -種數(shù)據(jù)分布式存儲(chǔ)方法，其特征在于，所述方法包括如下步驟： 節(jié)點(diǎn)集群步驟：將集群內(nèi)的數(shù)據(jù)節(jié)點(diǎn)連接對(duì)應(yīng)的管理節(jié)點(diǎn)； 數(shù)據(jù)導(dǎo)入步驟：對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存，內(nèi)存中的 數(shù)據(jù)按照數(shù)據(jù)的特征值將其分組，而后將分組后的數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)； 存儲(chǔ)步驟：在數(shù)據(jù)節(jié)點(diǎn)接收到文件分片后將數(shù)據(jù)分片保留在內(nèi)存中，數(shù)據(jù)節(jié)點(diǎn)輸出日 志至硬盤(pán)，用于數(shù)據(jù)內(nèi)存數(shù)據(jù)恢復(fù)；判斷內(nèi)存中的數(shù)據(jù)大小是否超過(guò)所設(shè)定的閥值，如超過(guò) 則將數(shù)據(jù)重新組織，壓縮后寫(xiě)入硬盤(pán)，并刪除對(duì)應(yīng)的用戶(hù)內(nèi)存數(shù)據(jù)恢復(fù)的日志文件。
7. 根據(jù)權(quán)利要求6所述的數(shù)據(jù)分布式存儲(chǔ)方法，其特征在于： 所述數(shù)據(jù)導(dǎo)入步驟包括： 數(shù)據(jù)掃描步驟，對(duì)輸入的數(shù)據(jù)按照設(shè)定大小的數(shù)據(jù)塊進(jìn)行掃描并載入內(nèi)存； 數(shù)據(jù)分組規(guī)則匹配步驟，根據(jù)不同的數(shù)據(jù)類(lèi)型設(shè)定不同的規(guī)則計(jì)算數(shù)據(jù)的特征值； 數(shù)據(jù)分組步驟，將經(jīng)過(guò)掃描的設(shè)定大小的數(shù)據(jù)塊按照數(shù)據(jù)的特征進(jìn)行分組； 數(shù)據(jù)發(fā)送步驟，將分組后的數(shù)據(jù)發(fā)送至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。
8. 根據(jù)權(quán)利要求6所述的數(shù)據(jù)分布式存儲(chǔ)方法，其特征在于： 所述方法還包括備份步驟：在數(shù)據(jù)傳輸?shù)较鄳?yīng)的數(shù)據(jù)節(jié)點(diǎn)上后，對(duì)該數(shù)據(jù)按照設(shè)定的 備份數(shù)目進(jìn)行備份，備份的數(shù)據(jù)將被分發(fā)到其它數(shù)據(jù)節(jié)點(diǎn)上。
9. 根據(jù)權(quán)利要求6所述的數(shù)據(jù)分布式存儲(chǔ)方法，其特征在于： 所述方法還包括檢索步驟，在管理節(jié)點(diǎn)收到數(shù)據(jù)檢索的請(qǐng)求后對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索； 所述檢索步驟具體包括： 管理節(jié)點(diǎn)定位數(shù)據(jù)檢索請(qǐng)求所涉及的數(shù)據(jù)節(jié)點(diǎn)； 管理節(jié)點(diǎn)采用Lease機(jī)制確定該數(shù)據(jù)節(jié)點(diǎn)是否失效，如失效則直接返回請(qǐng)求失敗信 息，若有效，管理節(jié)點(diǎn)分發(fā)請(qǐng)求到相應(yīng)節(jié)點(diǎn)； 數(shù)據(jù)節(jié)點(diǎn)接收數(shù)據(jù)檢索請(qǐng)求后，對(duì)相應(yīng)數(shù)據(jù)進(jìn)行檢索后返回結(jié)果到客戶(hù)端； 客戶(hù)端將接收到的結(jié)果進(jìn)行合并。
【文檔編號(hào)】G06F17/30GK104123300SQ201310150539
【公開(kāi)日】2014年10月29日 申請(qǐng)日期:2013年4月26日 優(yōu)先權(quán)日:2013年4月26日
【發(fā)明者】吳朱華, 潘志銘 申請(qǐng)人:上海云人信息科技有限公司