快查找的速度。為每個(gè)數(shù)據(jù)塊計(jì)算指紋，然后以指紋為關(guān)鍵字進(jìn)行Hash查找，匹配則表示該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊。
[0050]步驟S204:如果是，則將標(biāo)識(shí)所述重復(fù)數(shù)據(jù)塊存儲(chǔ)位置的指針信息進(jìn)行存儲(chǔ)；如果否，則將所述數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)存儲(chǔ)池中；
[0051]當(dāng)數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊時(shí)，僅存儲(chǔ)數(shù)據(jù)塊的索引號(hào)，否則表示該數(shù)據(jù)塊是一個(gè)新的唯一塊，將對(duì)比后的唯一數(shù)據(jù)保存在第一數(shù)據(jù)存儲(chǔ)池中并創(chuàng)建相關(guān)元信息。該存儲(chǔ)池中除了保存了唯一性的實(shí)體數(shù)據(jù)外，還有大量的原數(shù)據(jù)和指針。
[0052]步驟S205:將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)同步或按照預(yù)定周期異步備份至第二數(shù)據(jù)存儲(chǔ)池中。
[0053]正常情況下，備份數(shù)據(jù)直接保存到第一數(shù)據(jù)存儲(chǔ)池，當(dāng)然也可以同步在第二數(shù)據(jù)存儲(chǔ)池中，或者選取備份任務(wù)在空閑時(shí)段，再?gòu)牡谝粩?shù)據(jù)存儲(chǔ)池拷貝到第二數(shù)據(jù)存儲(chǔ)池。
[0054]第二數(shù)據(jù)存儲(chǔ)池作為第一數(shù)據(jù)存儲(chǔ)池的互備存儲(chǔ)池，當(dāng)?shù)谝粩?shù)據(jù)存儲(chǔ)池發(fā)生故障時(shí)，可以自動(dòng)切換到第二數(shù)據(jù)存儲(chǔ)池中，先進(jìn)行備份數(shù)據(jù)的保存，再備份到第一數(shù)據(jù)存儲(chǔ)池中。
[0055]在本實(shí)施例中，通過指紋為關(guān)鍵字進(jìn)行Hash查找，匹配則表示該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，僅存儲(chǔ)數(shù)據(jù)塊的索引號(hào)，否則表示該數(shù)據(jù)塊是一個(gè)新的唯一塊，對(duì)數(shù)據(jù)塊進(jìn)行存儲(chǔ)并創(chuàng)建相關(guān)元信息。這樣，一個(gè)物理文件在存儲(chǔ)系統(tǒng)就對(duì)應(yīng)一個(gè)邏輯表示，由一組FP (指紋點(diǎn))組成的元數(shù)據(jù)。當(dāng)進(jìn)行讀取文件時(shí)，先讀取邏輯文件，然后根據(jù)FP序列，從存儲(chǔ)系統(tǒng)中取出相應(yīng)數(shù)據(jù)塊，還原物理文件副本。在完成數(shù)據(jù)備份到唯一數(shù)據(jù)的第一數(shù)據(jù)存儲(chǔ)池后，再將該存儲(chǔ)池作依次到第二數(shù)據(jù)存儲(chǔ)池的備份，這個(gè)備份會(huì)在上一次備份的時(shí)間戳上進(jìn)行，可人工選擇進(jìn)行差分?jǐn)?shù)據(jù)同步，或全盤拷貝兩種方式。
[0056]重刪的目的是節(jié)約存儲(chǔ)空間，而本發(fā)明準(zhǔn)備了兩個(gè)存儲(chǔ)池，在一定意義上反而增大了存儲(chǔ)成本，但這種觀點(diǎn)是相當(dāng)狹隘的。隨著切塊技術(shù)的發(fā)展，切塊越精細(xì)，重復(fù)數(shù)據(jù)塊會(huì)越多，這樣重刪比就越大。特別對(duì)于重復(fù)數(shù)據(jù)文件特別多的用戶，增加一倍的存儲(chǔ)空間而有力的進(jìn)行了重刪并保證了重刪的安全性，是十分必要的。
[0057]重復(fù)數(shù)據(jù)刪除是目前主流且非常熱門的存儲(chǔ)技術(shù)，可對(duì)存儲(chǔ)容量進(jìn)行有效優(yōu)化。通過刪除重復(fù)的數(shù)據(jù)只保留其中一份，從而消除冗余數(shù)據(jù)，這種技術(shù)可以很大程度上減少對(duì)物理存儲(chǔ)空間的需求，從而滿足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。而本發(fā)明通過互備存儲(chǔ)池的設(shè)計(jì)，增加了對(duì)唯一數(shù)據(jù)的保護(hù)，增強(qiáng)了數(shù)據(jù)的安全性，可以有效保護(hù)唯一數(shù)據(jù)存儲(chǔ)池因硬件或軟件錯(cuò)誤導(dǎo)致的數(shù)據(jù)丟失，適合中小企業(yè)內(nèi)部的備份，能夠有效地減少重復(fù)數(shù)據(jù)傳輸所占用的帶寬及存儲(chǔ)空間，降低存儲(chǔ)成本，具有廣泛的實(shí)際應(yīng)用性。
[0058]本發(fā)明所提供的數(shù)據(jù)備份裝置的一種【具體實(shí)施方式】的結(jié)構(gòu)框圖如圖3所示，該裝置包括:
[0059]計(jì)算模塊100，用于將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋；
[0060]判斷模塊200，用于通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；
[0061]存儲(chǔ)模塊300，用于當(dāng)所述數(shù)據(jù)塊是重復(fù)數(shù)據(jù)塊時(shí)，則將標(biāo)識(shí)所述重復(fù)數(shù)據(jù)塊存儲(chǔ)位置的指針信息進(jìn)行存儲(chǔ)；當(dāng)所述數(shù)據(jù)塊不是重復(fù)數(shù)據(jù)塊時(shí)，則將所述數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)存儲(chǔ)池中；
[0062]備份模塊400，用于將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲(chǔ)池中，所述第二數(shù)據(jù)存儲(chǔ)池與所述第一數(shù)據(jù)存儲(chǔ)池互為鏡像。
[0063]本發(fā)明所提供的數(shù)據(jù)備份裝置，通過將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，計(jì)算出該數(shù)據(jù)塊的數(shù)據(jù)指紋。根據(jù)該數(shù)據(jù)指紋判斷其是否為重復(fù)數(shù)據(jù)塊；如果是，則僅存儲(chǔ)數(shù)據(jù)塊的指針信息，如果否，則將該數(shù)據(jù)塊存儲(chǔ)在第一數(shù)據(jù)存儲(chǔ)池上；并在另外一個(gè)物理隔離的第二數(shù)據(jù)存儲(chǔ)池上，對(duì)該數(shù)據(jù)塊進(jìn)行備份。其中，第二數(shù)據(jù)存儲(chǔ)池與第一數(shù)據(jù)存儲(chǔ)池互為鏡像，在一方故障后，可以直接切換到另外一方，從而保護(hù)了數(shù)據(jù)的安全性?？梢姡景l(fā)明能夠有效提高重復(fù)數(shù)據(jù)刪除應(yīng)用中對(duì)重復(fù)刪除之后的數(shù)據(jù)的保護(hù)。
[0064]本發(fā)明所提供的數(shù)據(jù)備份裝置與上述方法相對(duì)應(yīng)，在此不再贅述。
[0065]綜上所示，本發(fā)明所提供的數(shù)據(jù)備份方法及裝置，能夠有效保護(hù)唯一數(shù)據(jù)，為存儲(chǔ)數(shù)據(jù)提供雙重保護(hù)鎖；同時(shí)有效控制了數(shù)據(jù)的急劇增長(zhǎng)；減少了存儲(chǔ)空間，提高了存儲(chǔ)效率；還能夠節(jié)省存儲(chǔ)總成本和管理成本；節(jié)省數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)帶寬。
[0066]本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似部分互相參見即可。
[0067]對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。
【主權(quán)項(xiàng)】
1.一種數(shù)據(jù)備份方法，其特征在于，包括: 將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋； 通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊； 如果是，則將標(biāo)識(shí)所述重復(fù)數(shù)據(jù)塊存儲(chǔ)位置的指針信息進(jìn)行存儲(chǔ)；如果否，則將所述數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)存儲(chǔ)池中； 將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲(chǔ)池中，所述第二數(shù)據(jù)存儲(chǔ)池與所述第一數(shù)據(jù)存儲(chǔ)池互為鏡像。2.如權(quán)利要求1所述的數(shù)據(jù)備份方法，其特征在于，所述將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊包括: 按照定長(zhǎng)分塊算法或者滑動(dòng)塊切分的方法將所述數(shù)據(jù)文件分割成一組數(shù)據(jù)塊。3.如權(quán)利要求2所述的數(shù)據(jù)備份方法，其特征在于，所述為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋包括: 通過MD5或HASH算法為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋。4.如權(quán)利要求3所述的數(shù)據(jù)備份方法，其特征在于，所述通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊包括: 根據(jù)預(yù)先建立的哈希表，以所述數(shù)據(jù)指紋為關(guān)鍵字進(jìn)行哈希查找，判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊。5.如權(quán)利要求1至4任一項(xiàng)所述的數(shù)據(jù)備份方法，其特征在于，所述將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲(chǔ)池中包括: 將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)同步或按照預(yù)定周期異步備份至所述第二數(shù)據(jù)存儲(chǔ)池中。6.如權(quán)利要求5所述的數(shù)據(jù)備份方法，其特征在于，所述將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至所述第二數(shù)據(jù)存儲(chǔ)池中包括: 當(dāng)前備份在上一次備份的時(shí)間戳上進(jìn)行。7.一種數(shù)據(jù)備份裝置，其特征在于，包括: 計(jì)算模塊，用于將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋； 判斷模塊，用于通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊； 存儲(chǔ)模塊，用于當(dāng)所述數(shù)據(jù)塊是重復(fù)數(shù)據(jù)塊時(shí)，則將標(biāo)識(shí)所述重復(fù)數(shù)據(jù)塊存儲(chǔ)位置的指針信息進(jìn)行存儲(chǔ)；當(dāng)所述數(shù)據(jù)塊不是重復(fù)數(shù)據(jù)塊時(shí)，則將所述數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)存儲(chǔ)池中； 備份模塊，用于將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲(chǔ)池中，所述第二數(shù)據(jù)存儲(chǔ)池與所述第一數(shù)據(jù)存儲(chǔ)池互為鏡像。8.如權(quán)利要求7所述的數(shù)據(jù)備份裝置，其特征在于，所述計(jì)算模塊通過MD5或HASH算法為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋。9.如權(quán)利要求8所述的數(shù)據(jù)備份裝置，其特征在于，所述判斷模塊具體用于根據(jù)預(yù)先建立的哈希表，以所述數(shù)據(jù)指紋為關(guān)鍵字進(jìn)行哈希查找，判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊。10.如權(quán)利要求7至9任一項(xiàng)所述的數(shù)據(jù)備份裝置，其特征在于，所述備份模塊具體用于將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)同步或按照預(yù)定周期異步備份至第二數(shù)據(jù)存儲(chǔ)池中。
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)備份方法，包括：將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計(jì)算數(shù)據(jù)指紋；通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲(chǔ)的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；如果是，則將標(biāo)識(shí)所述重復(fù)數(shù)據(jù)塊存儲(chǔ)位置的指針信息進(jìn)行存儲(chǔ)；如果否，則將所述數(shù)據(jù)塊存儲(chǔ)于第一數(shù)據(jù)存儲(chǔ)池中；將存儲(chǔ)于所述第一數(shù)據(jù)存儲(chǔ)池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲(chǔ)池中，所述第二數(shù)據(jù)存儲(chǔ)池與所述第一數(shù)據(jù)存儲(chǔ)池互為鏡像。在一方故障后，可以直接切換到另外一方，從而保護(hù)了數(shù)據(jù)的安全性。可見，本發(fā)明能夠有效提高重復(fù)數(shù)據(jù)刪除應(yīng)用中對(duì)重復(fù)刪除之后的數(shù)據(jù)的保護(hù)。
【IPC分類】G06F11/14
【公開號(hào)】CN105095027
【申請(qǐng)?zhí)枴緾N201510578142
【發(fā)明人】付麗莉, 于建彬
【申請(qǐng)人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司
【公開日】2015年11月25日
【申請(qǐng)日】2015年9月11日