對(duì)數(shù)據(jù)進(jìn)行壓縮的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)庫(kù)領(lǐng)域，特別是指一種對(duì)數(shù)據(jù)進(jìn)行壓縮方法和的裝置。
【背景技術(shù)】
[0002] 隨著長(zhǎng)時(shí)間的累積，一些關(guān)鍵的業(yè)務(wù)系統(tǒng)，積累了大量的歷史交易數(shù)據(jù)。該些歷史 數(shù)據(jù)使得系統(tǒng)變得越來(lái)越鹿大，并且在維護(hù)上也越來(lái)越復(fù)雜。數(shù)據(jù)量的快速增長(zhǎng)已經(jīng)成為 了所有的IT管理部口所面對(duì)的最難于解決的問(wèn)題之一，因?yàn)閿?shù)據(jù)量的增長(zhǎng)已經(jīng)嚴(yán)重降低 了應(yīng)用程序的性能，降低了應(yīng)用程序的穩(wěn)定性，并且消耗了大量的投資。對(duì)于日益增長(zhǎng)的數(shù) 據(jù)，數(shù)據(jù)壓縮是不得不采取的措施。
[0003] 在數(shù)據(jù)庫(kù)中，通過(guò)對(duì)表進(jìn)行壓縮操作，再進(jìn)行存儲(chǔ)，能夠降低存儲(chǔ)成本，減少各種 類(lèi)型數(shù)據(jù)對(duì)磁盤(pán)空間的需求。傳統(tǒng)的壓縮技術(shù)多采用如gzip等，原始表的數(shù)據(jù)壓縮比一般 是3:1或者5:1。W數(shù)據(jù)庫(kù)中某一大表TABLE_A為例，壓縮前數(shù)據(jù)為280GB，經(jīng)過(guò)傳統(tǒng)壓縮 技術(shù)壓縮后為128GB。
[0004] 另外，傳統(tǒng)的數(shù)據(jù)壓縮存儲(chǔ)方式，在數(shù)據(jù)訪問(wèn)時(shí)，必須首先把壓縮數(shù)據(jù)解壓后抽取 出來(lái)。
[0005] 原始表的數(shù)據(jù)壓縮比一般是3:1或者5:1壓縮，把此壓縮數(shù)據(jù)抽取出來(lái)，如果解壓 存放或者傳輸，那么無(wú)疑會(huì)加大網(wǎng)絡(luò)和存儲(chǔ)的負(fù)擔(dān)。而且，傳統(tǒng)的數(shù)據(jù)壓縮存儲(chǔ)方式，在進(jìn) 行數(shù)據(jù)訪問(wèn)和操作時(shí)，其訪問(wèn)速度會(huì)降低，同時(shí)，需要消耗更多的CPU資源。
[0006] 現(xiàn)有的數(shù)據(jù)壓縮存儲(chǔ)技術(shù)存在如下缺陷：
[0007] 1、數(shù)據(jù)的壓縮比不理想，一般只有3:1~5 ;1左右；
[0008]2、對(duì)壓縮過(guò)的數(shù)據(jù)進(jìn)行訪問(wèn)時(shí)，首先需要解壓縮抽取數(shù)據(jù)，數(shù)據(jù)操作完成后，再進(jìn) 行重新壓縮，整個(gè)過(guò)程比較復(fù)雜，無(wú)法快速訪問(wèn)其中的數(shù)據(jù)行。
[0009] 3、數(shù)據(jù)解壓縮、抽取、執(zhí)行操作，重新壓縮，需要消耗更多的CPU、內(nèi)存。
[0010] W oracle中傳統(tǒng)的壓縮方式為例，T油le經(jīng)過(guò)了壓縮之后，雖然存儲(chǔ)體積得到了 減小，但如果要對(duì)其數(shù)據(jù)進(jìn)行操作，那么首先需要將其數(shù)據(jù)行從壓縮塊中解壓縮出來(lái)，進(jìn)行 相應(yīng)的DML (數(shù)據(jù)操縱語(yǔ)言)，操作完成后，再重新壓縮進(jìn)入壓縮塊之中。如果DML頻繁，將 帶來(lái)不可估量的CPU消耗。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明提供一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法和裝置，能夠提高單元格內(nèi)容相同程度高 的數(shù)據(jù)庫(kù)的壓縮比。
[0012] 一方面，提供一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法，包括：
[0013] 獲取待壓縮數(shù)據(jù)庫(kù)；
[0014] 在所述待壓縮數(shù)據(jù)庫(kù)的各列數(shù)據(jù)中，查找內(nèi)容相同的單元格；
[0015] 根據(jù)所述單元格的內(nèi)容、所述單元格的行號(hào)W及所述單元格的列號(hào)，生成壓縮包 數(shù)據(jù)，所述壓縮包數(shù)據(jù)記錄有：內(nèi)容相同的同列單元格的行號(hào)與單元格內(nèi)容之間的對(duì)應(yīng)關(guān) 系w及同列單元格的列號(hào)。
[0016] 所述在所述待壓縮數(shù)據(jù)庫(kù)的各列數(shù)據(jù)中，查找內(nèi)容相同的單元格的步驟之前，所 述方法還包括：
[0017] 選擇一列數(shù)據(jù)；
[001引 W選擇的所述一列數(shù)據(jù)的單元格內(nèi)容為排序依據(jù)，對(duì)所述數(shù)據(jù)庫(kù)進(jìn)行排序。
[0019] 所述的方法，還包括：
[0020] 對(duì)壓縮后的數(shù)據(jù)進(jìn)行再次壓縮。
[002。 所述壓縮包數(shù)據(jù)包括；內(nèi)容相同的同列單元格的各個(gè)行號(hào)、單元格內(nèi)容、W及同列 單元格的列號(hào)；或者；
[0022] 當(dāng)內(nèi)容相同的同列單元格相鄰時(shí)，所述壓縮包數(shù)據(jù)包括：內(nèi)容相同的同列單元格 的起始行號(hào)和終止序號(hào)、單元格內(nèi)容W及同列單元格的列號(hào)；或者
[0023] 當(dāng)內(nèi)容相同的同列單元格相鄰時(shí)，所述壓縮包數(shù)據(jù)包括：內(nèi)容相同的同列單元格 的起始行號(hào)、相鄰的內(nèi)容相同的同列單元格的數(shù)量、單元格內(nèi)容、W及同列單元格的列號(hào)。
[0024] 所述的方法，還包括：
[0025]當(dāng)在所述待壓縮數(shù)據(jù)庫(kù)搜索數(shù)據(jù)時(shí)，在所述壓縮包數(shù)據(jù)中搜索。
[0026] 另一方面，提供一種對(duì)數(shù)據(jù)進(jìn)行壓縮的裝置，包括：
[0027] 獲取單元，獲取待壓縮數(shù)據(jù)庫(kù)；
[0028] 查找單元，在所述待壓縮數(shù)據(jù)庫(kù)的各列數(shù)據(jù)中，查找內(nèi)容相同的單元格；
[0029] 第一壓縮單元，根據(jù)所述單元格的內(nèi)容、所述單元格的行號(hào)W及所述單元格的列 號(hào)，生成壓縮包數(shù)據(jù)，所述壓縮包數(shù)據(jù)記錄有；內(nèi)容相同的同列單元格的行號(hào)與單元格內(nèi)容 之間的對(duì)應(yīng)關(guān)系W及同列單元格的列號(hào)。
[0030] 所述的裝置，還包括：
[0031] 選擇單元，選擇一列數(shù)據(jù)；
[0032] 排序單元，W選擇的所述一列數(shù)據(jù)的單元格內(nèi)容為排序依據(jù)，對(duì)所述數(shù)據(jù)庫(kù)進(jìn)行 排序。
[0033] 所述的裝置，還包括：
[0034] 第二壓縮單元，對(duì)壓縮后的數(shù)據(jù)進(jìn)行再次壓縮。
[003引所述壓縮包數(shù)據(jù)包括；內(nèi)容相同的同列單元格的各個(gè)行號(hào)、單元格內(nèi)容、W及同列 單元格的列號(hào)；或者；
[0036] 當(dāng)內(nèi)容相同的同列單元格相鄰時(shí)，所述壓縮包數(shù)據(jù)包括：內(nèi)容相同的同列單元格 的起始行號(hào)和終止序號(hào)、單元格內(nèi)容W及同列單元格的列號(hào)；或者
[0037] 當(dāng)內(nèi)容相同的同列單元格相鄰時(shí)，所述壓縮包數(shù)據(jù)包括：內(nèi)容相同的同列單元格 的起始行號(hào)、相鄰的內(nèi)容相同的同列單元格的數(shù)量、單元格內(nèi)容、W及同列單元格的列號(hào)。
[0038] 所述的裝置，還包括：
[0039] 搜索單元，當(dāng)在所述待壓縮數(shù)據(jù)庫(kù)搜索數(shù)據(jù)時(shí)，在所述壓縮包數(shù)據(jù)中搜索。
[0040] 本發(fā)明的有益效果如下：
[0041] 本發(fā)明對(duì)數(shù)據(jù)庫(kù)進(jìn)行壓縮時(shí)，W列為單元進(jìn)行壓縮，在每列中，內(nèi)容相同的單元格 的內(nèi)容只需要被記錄一次，因此，能夠提高單元格內(nèi)容相同程度高的數(shù)據(jù)庫(kù)的壓縮比。
【附圖說(shuō)明】
[0042] 圖1為本發(fā)明所述的一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法的一實(shí)施例的流程示意圖；
[0043] 圖2為本發(fā)明所述的一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法的另一實(shí)施例的流程示意圖；
[0044] 圖3為本發(fā)明所述的一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法的應(yīng)用場(chǎng)景中壓縮包的數(shù)據(jù)格 式W意圖；
[0045] 圖4為本發(fā)明所述的一種對(duì)數(shù)據(jù)進(jìn)行壓縮的裝置的連接示意圖。
【具體實(shí)施方式】
[0046]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 的附圖，對(duì)本發(fā)明實(shí)施例的技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例是本發(fā) 明的一部分實(shí)施例，而不是全部的實(shí)施例?；谒枋龅谋景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù) 人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0047] 如圖1所示，為本發(fā)明所述的一種對(duì)數(shù)據(jù)進(jìn)行壓縮的方法的一實(shí)施例，包括：
[0048] 步驟11，獲取待壓縮數(shù)據(jù)庫(kù)；例如，下面為簡(jiǎn)單的數(shù)據(jù)庫(kù)：
[0049]
[0050] 步驟12,在所述待壓縮數(shù)據(jù)庫(kù)的各列數(shù)據(jù)中，查找內(nèi)容相同的單元格；在該步驟 中，W列為單元分別進(jìn)行查找。例如，第四列中，第一行、第二行、第H行的單元格的內(nèi)容相 同。
[0051] 步驟13,根據(jù)所述單元格的內(nèi)容、所述單元格的行號(hào)W及所述單元格的列號(hào)，生成 壓縮包數(shù)據(jù)，所述壓縮包數(shù)據(jù)記錄有：內(nèi)容相同的同列單元格的行號(hào)與單元格內(nèi)容之間的 對(duì)應(yīng)關(guān)系W及同列單元格的列號(hào)。例如，W對(duì)第4列壓縮為例，壓縮包需要記錄；內(nèi)容相同 的同列單元格的行號(hào)（1，2,3)與單元格內(nèi)容(工商銀行)之間的對(duì)應(yīng)關(guān)系W及同列單元格的 列號(hào)（4)。
[005引所述壓縮包數(shù)據(jù)包括；內(nèi)容相同的同列單元格的各個(gè)行號(hào)、單元格內(nèi)容、W及同列 單元格的列號(hào)。例如，所述壓縮包數(shù)據(jù)包括；內(nèi)容相同的同列單元格的各個(gè)行號(hào)（1，2, 3)、 單元格內(nèi)容(工商銀行)、W及同列單元格的列號(hào)（4)