一種安全云計(jì)算的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于云計(jì)算，特別涉及一種云存儲(chǔ)系統(tǒng)安全備份的方法。
【背景技術(shù)】
[0002]云計(jì)算作為一種新型計(jì)算模式，其相對(duì)無(wú)限的計(jì)算和存儲(chǔ)資源可以靈活配置、動(dòng)態(tài)伸縮，并且以實(shí)際資源消耗量為依據(jù)進(jìn)行計(jì)費(fèi)。因此云存儲(chǔ)資源比本地資源具有更高的性價(jià)比。在數(shù)據(jù)備份應(yīng)用場(chǎng)景中，多數(shù)的恢復(fù)請(qǐng)求都是恢復(fù)到離當(dāng)前時(shí)刻較近的某個(gè)時(shí)間點(diǎn)，很少需要讀取較舊版本的數(shù)據(jù)。對(duì)于這類數(shù)據(jù)，如果采用本地存儲(chǔ)資源容納，將導(dǎo)致嚴(yán)重的資源浪費(fèi)。云存儲(chǔ)資源則非常適用于存儲(chǔ)這類海量備份數(shù)據(jù)，可以達(dá)到很低廉的備份成本。然而，云計(jì)算的數(shù)據(jù)備份面臨以下幾個(gè)問(wèn)題，(I)如何兼容各類云存儲(chǔ)平臺(tái)。對(duì)于云存儲(chǔ)后端，由于云存儲(chǔ)平臺(tái)接口各不相同，很難實(shí)現(xiàn)最大的兼容性，在選擇云存儲(chǔ)提供商時(shí)受限。(2)在云存儲(chǔ)模式下備份和恢復(fù)成本較高。然而云存儲(chǔ)的計(jì)費(fèi)模型比本地存儲(chǔ)更加復(fù)雜。(3)云存儲(chǔ)的低帶寬高延遲缺陷將顯著影響備份系統(tǒng)的恢復(fù)速度。
[0003]因此，針對(duì)相關(guān)技術(shù)中所存在的上述問(wèn)題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0004]為解決上述現(xiàn)有技術(shù)所存在的問(wèn)題，本發(fā)明提出了一種安全云計(jì)算的方法，包括:
[0005]云平臺(tái)通過(guò)數(shù)據(jù)去重處理進(jìn)行備份數(shù)據(jù)的壓縮，根據(jù)客戶的數(shù)據(jù)恢復(fù)請(qǐng)求查詢并讀取數(shù)據(jù)對(duì)應(yīng)的版本信息，將數(shù)據(jù)段進(jìn)行合成之后，傳輸給客戶系統(tǒng)供其寫入。
[0006]優(yōu)選地，所述備份數(shù)據(jù)的壓縮進(jìn)一步包括:
[0007]在數(shù)據(jù)保護(hù)模式下，所述云平臺(tái)業(yè)務(wù)接口不斷從客戶系統(tǒng)接收寫操作流數(shù)據(jù)段，客戶將自身驅(qū)動(dòng)層的所有段寫入請(qǐng)求發(fā)送給業(yè)務(wù)接口；
[0008]把接收到的每一個(gè)請(qǐng)求都切分成若干個(gè)四元組<Client_ID，LA，Timestamp, Seg_Data〉，每個(gè)元組表示對(duì)某個(gè)段的一次寫操作；其中Client_ID表示客戶的編號(hào)；LA表示目標(biāo)段的邏輯段號(hào)；TimeStamp表示寫請(qǐng)求發(fā)生的時(shí)間戳；Seg_Data表示新寫入的段數(shù)據(jù)；
[0009]將每個(gè)段的寫操作的Seg_Data傳遞給云平臺(tái)的數(shù)據(jù)去重模塊，計(jì)算出Seg_Data_ID即Seg_Data的標(biāo)識(shí)符進(jìn)行去重；
[0010]將新段的寫操作傳遞給云平臺(tái)的版本索引模塊，記錄相應(yīng)的版本信息，在索引更新粒度上采用定期更新策略，每次索引更新時(shí)，讀取當(dāng)前的一級(jí)索引，將內(nèi)存cache內(nèi)每個(gè)段的新版本記錄追加到該段的一級(jí)索引記錄區(qū)末尾，二級(jí)索引是一個(gè)固定長(zhǎng)度的結(jié)構(gòu)，在新的一級(jí)索引生成之后進(jìn)行原地更新，在索引更新開始前，一個(gè)新的內(nèi)存cache會(huì)被生成，以容納新的記錄，而已有的cache則在更新操作完成之后被釋放；
[0011]根據(jù)數(shù)據(jù)去重模塊的結(jié)果更新元數(shù)據(jù)信息，對(duì)新的Seg_Data建立新的元組并賦初始值，對(duì)重復(fù)的Seg_Data則更新其引用計(jì)數(shù)；
[0012]將每一個(gè)新段的寫操作信息傳遞給云平臺(tái)的磁盤緩存模塊，僅將磁盤緩存內(nèi)不存在的Seg_Data寫入磁盤，同步更新所有Seg_Data在磁盤緩存中的位置和引用計(jì)數(shù)信息；
[0013]利用云平臺(tái)中的數(shù)據(jù)歸檔模塊，從去重得到所有的去重結(jié)果批量存儲(chǔ)到云端，同時(shí)更新其云端位置信息。
[0014]優(yōu)選地，所述數(shù)據(jù)恢復(fù)進(jìn)一步包括:
[0015]當(dāng)業(yè)務(wù)接口從客戶系統(tǒng)接收到一個(gè)數(shù)據(jù)恢復(fù)請(qǐng)求時(shí)將啟動(dòng)數(shù)據(jù)恢復(fù)進(jìn)程，首先啟動(dòng)工作線程，包括一個(gè)版本查詢線程、多個(gè)數(shù)據(jù)讀取線程和一個(gè)數(shù)據(jù)合成線程，上述工作線程并發(fā)工作，形成一個(gè)數(shù)據(jù)恢復(fù)流水線；
[0016]對(duì)于每個(gè)數(shù)據(jù)段，版本查詢線程會(huì)從版本索引中查找到時(shí)間戳不晚于待恢復(fù)時(shí)間戳的最新的版本信息，對(duì)于第i號(hào)段，首先查詢內(nèi)存cache，如存在查詢結(jié)果則直接返回，否則查詢線程從二級(jí)索引中讀取該段的信息<A’ Ti, Bi)以及Ai+1，其中Ai表示第i號(hào)段的版本信息在一級(jí)索引中的起始位置，Ti, Bi則表示該段最新版本的時(shí)間戳和Seg_Data_ID，
[0017]如果Ti滿足條件，則直接返回B i，否則繼續(xù)在一級(jí)索引中，根據(jù)AjP A i+1指明的起止位置，采用二分搜索算法查找到滿足條件的結(jié)果；
[0018]將查找到的每個(gè)段的待恢復(fù)版本的Seg_Data_ID傳遞給數(shù)據(jù)讀取線程和數(shù)據(jù)合成線程，數(shù)據(jù)合成線程在內(nèi)存中維護(hù)一個(gè)隊(duì)列結(jié)構(gòu)作為滑動(dòng)恢復(fù)窗口，每個(gè)隊(duì)列元素依次表示一個(gè)連續(xù)待恢復(fù)區(qū)域內(nèi)的某個(gè)段，對(duì)于某個(gè)需讀取的Seg_Data_ID，合成線程首先檢查內(nèi)存緩存，如果緩存命中則直接讀取，否則查找其元數(shù)據(jù)信息，如果其大于0，則根據(jù)該Seg_Data的存儲(chǔ)位置從磁盤讀取，否則根據(jù)該Seg_Data的存儲(chǔ)位置從云端讀?。?br>[0019]讀取操作由數(shù)據(jù)讀取線程并發(fā)執(zhí)行，對(duì)于每個(gè)讀取到的Seg_Data，合成線程將其數(shù)據(jù)復(fù)制到當(dāng)前滑動(dòng)恢復(fù)窗口內(nèi)所有其出現(xiàn)的位置，隨后，滑動(dòng)恢復(fù)窗口前部已讀取的段數(shù)據(jù)被批量傳輸給客戶系統(tǒng)供其寫入，恢復(fù)窗口則繼續(xù)向后滑動(dòng)，直至完成所有段的恢復(fù)操作。
[0020]優(yōu)選地，所述云平臺(tái)的版本索引模塊為每個(gè)客戶都維護(hù)獨(dú)立的版本索引，保存該客戶所有段的所有版本信息；版本索引在邏輯上存儲(chǔ)的是從二元組〈LA，Timestamp)到Seg_Data的映射關(guān)系；版本索引由存儲(chǔ)在磁盤上的兩級(jí)索引和在內(nèi)存cache組成；磁盤索引定期進(jìn)行更新操作，而內(nèi)存cache則存儲(chǔ)上次磁盤索引更新之后直至當(dāng)前的新增的段版本信息，磁盤索引分為一級(jí)索引和二級(jí)索引，一級(jí)索引由固定長(zhǎng)度的二元組順序組成，Tijj, Bi,」分別表示對(duì)第i號(hào)段的第j次寫入操作的時(shí)間戳和Seg_Data_ID ;二級(jí)索引由固定長(zhǎng)度的三元組〈化，Ti, 順序組成，其中Ai表示第i號(hào)段的版本信息在一級(jí)索引中的起始位置，Ti, Bi則表示該段最新版本的時(shí)間戳和Seg_Data_ID ;內(nèi)存cache使用一個(gè)散列表結(jié)構(gòu)來(lái)存儲(chǔ)若干對(duì)段號(hào)和指針，每個(gè)指針指向一個(gè)隊(duì)列，指明上次磁盤索引更新后發(fā)生的對(duì)某個(gè)段的新寫入信息，cache內(nèi)的信息被同步寫入到一個(gè)磁盤日志中，以便系統(tǒng)異常重啟之后可以恢復(fù)這些信息。
[0021]優(yōu)選地，所述云平臺(tái)包括數(shù)據(jù)歸檔模塊，用于將經(jīng)過(guò)去重的所有Seg_Data存儲(chǔ)到云端，并在數(shù)據(jù)恢復(fù)時(shí)從云端讀?。?br>[0022]所述云平臺(tái)包括數(shù)據(jù)恢復(fù)模塊，用于根據(jù)客戶傳遞的數(shù)據(jù)恢復(fù)請(qǐng)求，查詢并獲取相應(yīng)的版本數(shù)據(jù)，進(jìn)行合成之后批量傳輸給客戶系統(tǒng)供其寫入。
[0023]優(yōu)選地，所述對(duì)備份數(shù)據(jù)存儲(chǔ)到云端之前還包括對(duì)數(shù)據(jù)進(jìn)行加密，其采用以下加密過(guò)程:
[0024]根據(jù)預(yù)置時(shí)間段內(nèi)預(yù)期存儲(chǔ)到云平臺(tái)的備份數(shù)據(jù)量X，本地存儲(chǔ)空間占用比例R以及數(shù)據(jù)安全級(jí)別Z計(jì)算出應(yīng)生成隨機(jī)種子的大小H ;根據(jù)每次待加密明文數(shù)據(jù)量Y計(jì)算出對(duì)隨機(jī)種子進(jìn)行隨機(jī)數(shù)據(jù)采集的次數(shù)t ;所述H = X/R-8X/Z其中Z = Y/t，且Z>8R ;生成并存儲(chǔ)H大小的隨機(jī)種子；按所述次數(shù)t從所述隨機(jī)種子中多次采集數(shù)據(jù)，將每次采集的數(shù)據(jù)級(jí)聯(lián)成不小于明文長(zhǎng)度的0、1值隨機(jī)序列；利用所述隨機(jī)序列生成明文加密位標(biāo)識(shí)數(shù)據(jù)串；利用所述明文加密位標(biāo)識(shí)數(shù)據(jù)串選擇一半以上明文數(shù)據(jù)加密，從首位數(shù)據(jù)起，將所述明文加密位標(biāo)識(shí)隨機(jī)序列及明文數(shù)據(jù)--對(duì)應(yīng)排列；選取與所述明文加密位標(biāo)識(shí)隨機(jī)序列中
I對(duì)應(yīng)的明文數(shù)據(jù)進(jìn)行加密，將所述加密數(shù)據(jù)與未加密數(shù)據(jù)按所在明文位置排列形成密文。
[0025]優(yōu)選地，所述加密過(guò)程按所述次數(shù)t從所述隨機(jī)種子中多次隨機(jī)采集數(shù)據(jù)每次采集的起始位置與采集長(zhǎng)度都是隨機(jī)的，當(dāng)所述隨機(jī)序列的長(zhǎng)度大于明文長(zhǎng)度時(shí)，對(duì)所述隨機(jī)序列多次進(jìn)行數(shù)據(jù)采集生成不小于明文長(zhǎng)度的新隨機(jī)序列；并且
[0026]所述利用所述隨機(jī)序列生成明文加密位標(biāo)識(shí)數(shù)據(jù)串的步驟具體包括:<