一種數(shù)據(jù)備份方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)備份方法及裝置。
【背景技術(shù)】
[0002]近年來，磁盤備份設(shè)備的容量已經(jīng)趨于飽和，在數(shù)據(jù)中心已經(jīng)沒有足夠的空間來備份PT級的數(shù)據(jù)。在這種情況下，當(dāng)希望將備份數(shù)據(jù)保存一個月時，卻只能保存兩到三天。
[0003]我們發(fā)現(xiàn)備份設(shè)備中總是充斥著大量的冗余數(shù)據(jù)，因此為了節(jié)省更多空間，重復(fù)刪除技術(shù)便順理成章成為人們所關(guān)注的焦點。通過對備份數(shù)據(jù)中的重復(fù)數(shù)據(jù)進行刪除，能夠大比例縮減需要存儲的數(shù)據(jù)量，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存更長的時間，減少了數(shù)據(jù)中心的消耗，降低了成本，而且還可以節(jié)約離線存儲時所需的大量的帶寬。
[0004]存在于數(shù)據(jù)重復(fù)刪除中較大的風(fēng)險是來自硬件故障的災(zāi)難性的數(shù)據(jù)損失，這是由于任何特定的備份工作的數(shù)據(jù)被切成塊，分散在整個重復(fù)數(shù)據(jù)刪除設(shè)備中。如果在重復(fù)刪除設(shè)備中損失了一個RAID設(shè)置，就會損失很多數(shù)據(jù)。
[0005]因此，提供一種數(shù)據(jù)備份方法及裝置，來對唯一數(shù)據(jù)進行保護是非常有必要的。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種數(shù)據(jù)備份方法及裝置，目的在于提高重復(fù)數(shù)據(jù)刪除應(yīng)用中對唯一數(shù)據(jù)的保護。
[0007]為解決上述技術(shù)問題，本發(fā)明提供一種數(shù)據(jù)備份方法，包括:
[0008]將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋；
[0009]通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；
[0010]如果是，則將標(biāo)識所述重復(fù)數(shù)據(jù)塊存儲位置的指針信息進行存儲；如果否，則將所述數(shù)據(jù)塊存儲于第一數(shù)據(jù)存儲池中；
[0011]將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲池中，所述第二數(shù)據(jù)存儲池與所述第一數(shù)據(jù)存儲池互為鏡像。
[0012]可選地，所述將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊包括:
[0013]按照定長分塊算法或者滑動塊切分的方法將所述數(shù)據(jù)文件分割成一組數(shù)據(jù)塊。
[0014]可選地，所述為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋包括:
[0015]通過MD5或HASH算法為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋。
[0016]可選地，所述通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊包括:
[0017]根據(jù)預(yù)先建立的哈希表，以所述數(shù)據(jù)指紋為關(guān)鍵字進行哈希查找，判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊。
[0018]可選地，所述將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲池中包括:
[0019]將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)同步或按照預(yù)定周期異步備份至所述第二數(shù)據(jù)存儲池中。
[0020]可選地，所述將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)備份至所述第二數(shù)據(jù)存儲池中包括:
[0021]當(dāng)前備份在上一次備份的時間戳上進行。
[0022]本發(fā)明還提供了一種數(shù)據(jù)備份裝置，包括:
[0023]計算模塊，用于將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋；
[0024]判斷模塊，用于通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；
[0025]存儲模塊，用于當(dāng)所述數(shù)據(jù)塊是重復(fù)數(shù)據(jù)塊時，則將標(biāo)識所述重復(fù)數(shù)據(jù)塊存儲位置的指針信息進行存儲；當(dāng)所述數(shù)據(jù)塊不是重復(fù)數(shù)據(jù)塊時，則將所述數(shù)據(jù)塊存儲于第一數(shù)據(jù)存儲池中；
[0026]備份模塊，用于將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲池中，所述第二數(shù)據(jù)存儲池與所述第一數(shù)據(jù)存儲池互為鏡像。
[0027]可選地，所述計算模塊通過MD5或HASH算法為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋。
[0028]可選地，所述判斷模塊具體用于根據(jù)預(yù)先建立的哈希表，以所述數(shù)據(jù)指紋為關(guān)鍵字進行哈希查找，判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊。
[0029]可選地，所述備份模塊具體用于將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)同步或按照預(yù)定周期異步備份至第二數(shù)據(jù)存儲池中。
[0030]本發(fā)明所提供的數(shù)據(jù)備份方法及裝置，通過將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，計算出該數(shù)據(jù)塊的數(shù)據(jù)指紋。根據(jù)該數(shù)據(jù)指紋判斷其是否為重復(fù)數(shù)據(jù)塊；如果是，則僅存儲數(shù)據(jù)塊的指針信息，如果否，則將該數(shù)據(jù)塊存儲在第一數(shù)據(jù)存儲池上；并在另外一個物理隔離的第二數(shù)據(jù)存儲池上，對該數(shù)據(jù)塊進行備份。其中，第二數(shù)據(jù)存儲池與第一數(shù)據(jù)存儲池互為鏡像，在一方故障后，可以直接切換到另外一方，從而保護了數(shù)據(jù)的安全性。可見，本發(fā)明能夠有效提高重復(fù)數(shù)據(jù)刪除應(yīng)用中對重復(fù)刪除之后的數(shù)據(jù)的保護。
【附圖說明】
[0031]圖1為本發(fā)明所提供的數(shù)據(jù)備份方法的一種具體實施方法的流程圖；
[0032]圖2為本發(fā)明所提供的數(shù)據(jù)備份方法的另一種具體實施方法的流程圖；
[0033]圖3為本發(fā)明所提供的數(shù)據(jù)備份裝置的一種具體實施方法的結(jié)構(gòu)框圖。
【具體實施方式】
[0034]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0035]本發(fā)明所提供的數(shù)據(jù)備份方法的一種【具體實施方式】的流程圖如圖1所示，該方法包括:
[0036]步驟SlOl:將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋；
[0037]步驟S102:通過所述數(shù)據(jù)指紋判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；
[0038]步驟S103:如果是，則將標(biāo)識所述重復(fù)數(shù)據(jù)塊存儲位置的指針信息進行存儲；如果否，則將所述數(shù)據(jù)塊存儲于第一數(shù)據(jù)存儲池中；
[0039]步驟S104:將存儲于所述第一數(shù)據(jù)存儲池中的數(shù)據(jù)備份至第二數(shù)據(jù)存儲池中，所述第二數(shù)據(jù)存儲池與所述第一數(shù)據(jù)存儲池互為鏡像。
[0040]本發(fā)明所提供的數(shù)據(jù)備份方法，通過將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，計算出該數(shù)據(jù)塊的數(shù)據(jù)指紋。根據(jù)該數(shù)據(jù)指紋判斷其是否為重復(fù)數(shù)據(jù)塊；如果是，則僅存儲數(shù)據(jù)塊的指針信息，如果否，則將該數(shù)據(jù)塊存儲在第一數(shù)據(jù)存儲池上；并在另外一個物理隔離的第二數(shù)據(jù)存儲池上，對該數(shù)據(jù)塊進行備份。其中，第二數(shù)據(jù)存儲池與第一數(shù)據(jù)存儲池互為鏡像，在一方故障后，可以直接切換到另外一方，從而保護了數(shù)據(jù)的安全性?？梢姡景l(fā)明所提供的數(shù)據(jù)備份方法，能夠有效提高重復(fù)數(shù)據(jù)刪除應(yīng)用中對重復(fù)刪除之后的數(shù)據(jù)的保護。
[0041]本發(fā)明所提供的數(shù)據(jù)備份方法的另一種具體實施方法的流程圖如圖2所示，該方法包括:
[0042]步驟S201:按照定長分塊算法或者滑動塊切分的方法將所述數(shù)據(jù)文件分割成一組數(shù)據(jù)塊；
[0043]Dedupe按照消重的粒度可以分為文件級和數(shù)據(jù)塊級。其中，主流的dedupe產(chǎn)品都是數(shù)據(jù)塊級的。
[0044]在本實施例中，具體采用定長分塊算法或者滑動塊切分的方法將數(shù)據(jù)文件進行分害J。其中，定長分塊算法的優(yōu)點是簡單、性能高，但其對數(shù)據(jù)插入和刪除非常敏感，處理十分低效，不能根據(jù)內(nèi)容變化作調(diào)整和優(yōu)化。滑動塊切分的優(yōu)點是重刪的力度增強，可以發(fā)現(xiàn)更多的重刪數(shù)據(jù)塊，但也增加了計算量。當(dāng)然，對文件進行分割還可以采用其他方法，這均不影響本發(fā)明的實現(xiàn)。
[0045]步驟S202:通過MD5或HASH算法為所述數(shù)據(jù)塊計算數(shù)據(jù)指紋；
[0046]數(shù)據(jù)指紋是數(shù)據(jù)塊的本質(zhì)特征，理想狀態(tài)是每個唯一數(shù)據(jù)塊具有唯一的數(shù)據(jù)指紋，不同的數(shù)據(jù)塊具有不同的數(shù)據(jù)指紋。數(shù)據(jù)塊本身往往較大，因此數(shù)據(jù)指紋的目標(biāo)是期望以較小的數(shù)據(jù)表示(如16、32、64、128字節(jié))來區(qū)別不同數(shù)據(jù)塊。數(shù)據(jù)指紋通常是對數(shù)據(jù)塊內(nèi)容進行相關(guān)數(shù)學(xué)運算獲得，MD5和SHA系列HASH函數(shù)具有非常低的碰撞發(fā)生概率，因此通常被采用作為指紋計算方法，還可以同時使用多種Hash算法來為數(shù)據(jù)塊計算指紋。
[0047]需要指出的是，本發(fā)明并不限于上述提到的計算數(shù)據(jù)指紋的方法，其他能夠計算得到數(shù)據(jù)指紋的方法均可。
[0048]步驟S203:根據(jù)預(yù)先建立的哈希表，以所述數(shù)據(jù)指紋為關(guān)鍵字進行哈希查找，判斷所述數(shù)據(jù)塊是否為與已存儲的數(shù)據(jù)塊所重復(fù)的重復(fù)數(shù)據(jù)塊；
[0049]哈希表，即散列表，是根據(jù)關(guān)鍵碼值(Key value)而直接進行訪問的數(shù)據(jù)結(jié)構(gòu)。通過把關(guān)鍵碼值映射到表中一個位置來訪問記錄，能夠加