專利名稱：一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)以及網(wǎng)絡(luò)信息技術(shù)領(lǐng)域，具體涉及一種提高文件系統(tǒng)有效存儲(chǔ)
容量的方法及裝置。
背景技術(shù)：
隨著技術(shù)的進(jìn)步，文件系統(tǒng)的存儲(chǔ)容量越來(lái)越大，但是需要存儲(chǔ)的數(shù)據(jù)量增長(zhǎng)卻更快。因此文件系統(tǒng)普遍具備壓縮技術(shù)。 傳統(tǒng)支持壓縮的文件系統(tǒng)架構(gòu)如圖1所示，但是這種普通的壓縮技術(shù)對(duì)所有的數(shù)據(jù)都進(jìn)行壓縮，反而可能導(dǎo)致系統(tǒng)性能的下降。而數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)不僅需要增加額外的硬件設(shè)備及配套軟件工具，還可能導(dǎo)致數(shù)據(jù)在各級(jí)存儲(chǔ)介質(zhì)上頻繁的移動(dòng)，且并未解決有效存儲(chǔ)容量的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是，提出一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法及裝置，對(duì)數(shù)據(jù)進(jìn)行針對(duì)性的壓縮，在不損失文件系統(tǒng)性能的情況下，有效提高文件系統(tǒng)存儲(chǔ)容 為了解決上述技術(shù)問(wèn)題，本發(fā)明提出了一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法，包括 監(jiān)控文件系統(tǒng)數(shù)據(jù)的存取特征； 將文件系統(tǒng)數(shù)據(jù)的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，根據(jù)匹配出的數(shù)據(jù)壓縮策略對(duì)文件系統(tǒng)數(shù)據(jù)進(jìn)行壓縮處理。 進(jìn)一步地，上述方法還可具有以下特點(diǎn) 所述存取特征至少包括文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度。 進(jìn)一步地，上述方法還可具有以下特點(diǎn) 所述數(shù)據(jù)壓縮策略是壓縮比例和/或壓縮算法。 進(jìn)一步地，上述方法還可具有以下特點(diǎn) 所述數(shù)據(jù)壓縮策略是壓縮比例； 所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系是，存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓縮比例。 進(jìn)一步地，上述方法還可具有以下特點(diǎn) 所述提高文件系統(tǒng)有效存儲(chǔ)容量的方法適用于集群文件系統(tǒng)，以及普通文件系統(tǒng)。 為了解決上述技術(shù)問(wèn)題，本發(fā)明還提出了一種提高文件系統(tǒng)有效存儲(chǔ)容量的裝置，包括數(shù)據(jù)存取特征監(jiān)控模塊和動(dòng)態(tài)調(diào)度模塊，其中 所述數(shù)據(jù)存取特征監(jiān)控模塊，用以監(jiān)測(cè)文件系統(tǒng)數(shù)據(jù)的存取特征； 所述動(dòng)態(tài)調(diào)度模塊，用以將所述數(shù)據(jù)存取特征監(jiān)控模塊監(jiān)測(cè)到的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，得到一數(shù)據(jù)壓縮策略。
進(jìn)一步地，上述裝置還可具有以下特點(diǎn) 所述存取特征至少包括文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度。
進(jìn)一步地，上述裝置還可具有以下特點(diǎn) 所述數(shù)據(jù)壓縮策略是壓縮比例和/或壓縮算法。
進(jìn)一步地，上述裝置還可具有以下特點(diǎn) 所述數(shù)據(jù)壓縮策略是壓縮比例； 所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系是，存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓縮比例。
進(jìn)一步地，上述裝置還可具有以下特點(diǎn)
還包括數(shù)據(jù)壓縮模塊和數(shù)據(jù)解壓縮模塊，其中 所述數(shù)據(jù)壓縮模塊，用以根據(jù)所述動(dòng)態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略進(jìn)行數(shù)據(jù)壓縮處理，將壓縮后的數(shù)據(jù)塊寫(xiě)入物理存儲(chǔ)介質(zhì)，并擦除原始數(shù)據(jù)； 所述數(shù)據(jù)解壓縮模塊，用以根據(jù)所述動(dòng)態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略，對(duì)采
用該數(shù)據(jù)壓縮策略壓縮后的數(shù)據(jù)進(jìn)行解壓縮處理后提供給上層文件系統(tǒng)。 本發(fā)明提出的一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法及裝置，在傳統(tǒng)文件系統(tǒng)壓
縮技術(shù)的基礎(chǔ)上進(jìn)行了改進(jìn)，與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn) 無(wú)需增加硬件購(gòu)置成本，即可大大提高現(xiàn)有物理介質(zhì)的有效存儲(chǔ)容量；
根據(jù)存取特征進(jìn)行數(shù)據(jù)壓縮，在提高有效存儲(chǔ)容量的同時(shí)，也保證了文件系統(tǒng)的響應(yīng)性能； 可以根據(jù)用戶設(shè)定策略，動(dòng)態(tài)改變壓縮比例。


圖1是傳統(tǒng)支持壓縮的文件系統(tǒng)架構(gòu)示意 圖2是本發(fā)明實(shí)施例一種提高文件系統(tǒng)有效存儲(chǔ)容
圖3是本發(fā)明實(shí)施例一種提高文件系統(tǒng)有效存儲(chǔ)容
圖4是本發(fā)明實(shí)施例一種提高文件系統(tǒng)有效存儲(chǔ)容
具體實(shí)施例方式
下面將結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明實(shí)施方案。
參見(jiàn)圖2，該圖示出了本發(fā)明實(shí)施例一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法，包括如下步驟 步驟S201 :監(jiān)控文件系統(tǒng)數(shù)據(jù)的存取特征； 所述存取特征可以是，文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度，例如一周之內(nèi)存
取的次數(shù)。所述存取特征也可以是單位時(shí)間內(nèi)的存儲(chǔ)頻度與應(yīng)用條件的結(jié)合等。
步驟S202 :將文件系統(tǒng)數(shù)據(jù)的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的
對(duì)應(yīng)關(guān)系進(jìn)行匹配，根據(jù)匹配出的數(shù)據(jù)壓縮策略對(duì)文件系統(tǒng)數(shù)據(jù)進(jìn)行壓縮處理。
所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系可以根據(jù)用戶需要設(shè)定。例如，
所述存取特征可以是單位時(shí)間內(nèi)的存儲(chǔ)頻度，所述數(shù)據(jù)壓縮策略可以是壓縮比例，所述預(yù)
量的方法流程圖；量的裝置方框圖；量的文件系統(tǒng)架構(gòu)示意圖。設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系可以設(shè)置為存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓 縮比例，這樣，根據(jù)存儲(chǔ)頻度可以對(duì)長(zhǎng)期不用的數(shù)據(jù)進(jìn)行高壓縮比的壓縮，而對(duì)頻繁存取的 數(shù)據(jù)則可不予以壓縮處理等。再例如，所述存取特征是單位時(shí)間內(nèi)的存儲(chǔ)頻度與應(yīng)用條件 的結(jié)合，所述數(shù)據(jù)壓縮策略可以是壓縮算法。 在對(duì)數(shù)據(jù)進(jìn)行壓縮處理之后，將其寫(xiě)入物理存儲(chǔ)介質(zhì)，同時(shí)擦除原始數(shù)據(jù)。 上述方法既適用于集群文件系統(tǒng)，也適用于普通文件系統(tǒng)。用戶可以根據(jù)其對(duì)性
能和存儲(chǔ)空間的需求，動(dòng)態(tài)配置和調(diào)度數(shù)據(jù)壓縮策略，使文件系統(tǒng)在滿足用戶性能需求的
情況下，盡可能的提高壓縮比例，提高物理存儲(chǔ)空間利用率。 為了實(shí)現(xiàn)上述方法，本發(fā)明實(shí)施例還提供了一種提高文件系統(tǒng)有效存儲(chǔ)容量的裝 置，如圖3所示，包括數(shù)據(jù)壓縮模塊、數(shù)據(jù)解壓縮模塊、數(shù)據(jù)存取特征監(jiān)控模塊、動(dòng)態(tài)調(diào)度模 塊，其中 所述數(shù)據(jù)存取特征監(jiān)控模塊，用以監(jiān)測(cè)文件系統(tǒng)數(shù)據(jù)的存取特征。所述存取特征
可以是，文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度，例如一周之內(nèi)存取的次數(shù)，或者，也可以
是單位時(shí)間內(nèi)的存儲(chǔ)頻度與應(yīng)用條件的結(jié)合等。其為動(dòng)態(tài)調(diào)度模塊提供決策支持。 所述動(dòng)態(tài)調(diào)度模塊，用以將所述數(shù)據(jù)存取特征監(jiān)控模塊監(jiān)測(cè)到的存取特征與一預(yù)
設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，得到一數(shù)據(jù)壓縮策略； 所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系可以根據(jù)用戶需要設(shè)定。例如，
所述存取特征可以是單位時(shí)間內(nèi)的存儲(chǔ)頻度，所述數(shù)據(jù)壓縮策略可以是壓縮比例，所述預(yù)
設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系可以設(shè)置為存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓
縮比例，這樣，根據(jù)存儲(chǔ)頻度可以對(duì)長(zhǎng)期不用的數(shù)據(jù)進(jìn)行高壓縮比的壓縮，而對(duì)頻繁存取的
數(shù)據(jù)則可不予以壓縮處理等。再例如，所述存取特征是單位時(shí)間內(nèi)的存儲(chǔ)頻度與應(yīng)用條件
的結(jié)合，所述數(shù)據(jù)壓縮策略可以是壓縮算法。 所述數(shù)據(jù)壓縮模塊，用以對(duì)上層文件系統(tǒng)提供標(biāo)準(zhǔn)的數(shù)據(jù)寫(xiě)接口 ，并根據(jù)所述動(dòng) 態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略進(jìn)行數(shù)據(jù)壓縮處理，將壓縮后的數(shù)據(jù)塊寫(xiě)入物理存儲(chǔ)介 質(zhì)，并擦除原始數(shù)據(jù)。 所述數(shù)據(jù)解壓縮模塊，用以對(duì)上層文件系統(tǒng)提供標(biāo)準(zhǔn)的數(shù)據(jù)讀接口 ，根據(jù)所述動(dòng) 態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略，將采用該數(shù)據(jù)壓縮策略壓縮后的數(shù)據(jù)進(jìn)行解壓縮處 理，將其還原為正常數(shù)據(jù)后提供給上層文件系統(tǒng)。 參見(jiàn)圖4，該圖示出了本發(fā)明實(shí)施例一種提高文件系統(tǒng)有效存儲(chǔ)容量的文件系統(tǒng) 架構(gòu)，其與圖1示出的統(tǒng)支持壓縮的文件系統(tǒng)架構(gòu)的主要區(qū)別在于，增加了數(shù)據(jù)存取特征 監(jiān)控模塊和動(dòng)態(tài)調(diào)度模塊，動(dòng)態(tài)調(diào)度模塊提供用戶設(shè)置接口 ，用戶可根據(jù)需要對(duì)其設(shè)置，由 數(shù)據(jù)存取特征監(jiān)控模塊監(jiān)測(cè)文件系統(tǒng)數(shù)據(jù)的存取特征，由動(dòng)態(tài)調(diào)度模塊根據(jù)文件系統(tǒng)數(shù)據(jù) 的存取特征，進(jìn)行靈活調(diào)度，對(duì)具有不同存取特征的數(shù)據(jù)采用不同的壓縮處理手段，使文件 系統(tǒng)在滿足用戶性能需求的情況下，盡可能的提高壓縮比例，提高物理存儲(chǔ)空間利用率。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技 術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法，其特征在于，包括監(jiān)控文件系統(tǒng)數(shù)據(jù)的存取特征；將文件系統(tǒng)數(shù)據(jù)的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，根據(jù)匹配出的數(shù)據(jù)壓縮策略對(duì)文件系統(tǒng)數(shù)據(jù)進(jìn)行壓縮處理。
2. 如權(quán)利要求1所述的方法，其特征在于所述存取特征至少包括文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度。
3. 如權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)壓縮策略是壓縮比例和/或壓縮算法。
4. 如權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)壓縮策略是壓縮比例；所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系是，存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓縮比例。
5. 如權(quán)利要求1所述的方法，其特征在于所述提高文件系統(tǒng)有效存儲(chǔ)容量的方法適用于集群文件系統(tǒng)，以及普通文件系統(tǒng)。
6. —種提高文件系統(tǒng)有效存儲(chǔ)容量的裝置，其特征在于，包括數(shù)據(jù)存取特征監(jiān)控模塊和動(dòng)態(tài)調(diào)度模塊，其中所述數(shù)據(jù)存取特征監(jiān)控模塊，用以監(jiān)測(cè)文件系統(tǒng)數(shù)據(jù)的存取特征；所述動(dòng)態(tài)調(diào)度模塊，用以將所述數(shù)據(jù)存取特征監(jiān)控模塊監(jiān)測(cè)到的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，得到一數(shù)據(jù)壓縮策略。
7. 如權(quán)利要求6所述的裝置，其特征在于所述存取特征至少包括文件系統(tǒng)數(shù)據(jù)在單位時(shí)間內(nèi)的存取頻度。
8. 如權(quán)利要求7所述的裝置，其特征在于所述數(shù)據(jù)壓縮策略是壓縮比例和/或壓縮算法。
9. 如權(quán)利要求7所述的裝置，其特征在于所述數(shù)據(jù)壓縮策略是壓縮比例；所述預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系是，存儲(chǔ)頻度越低的數(shù)據(jù)對(duì)應(yīng)越高的壓縮比例。
10. 如權(quán)利要求6-9中任何一項(xiàng)所述的裝置，其特征在于，還包括數(shù)據(jù)壓縮模塊和數(shù)據(jù)解壓縮模塊，其中所述數(shù)據(jù)壓縮模塊，用以根據(jù)所述動(dòng)態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略進(jìn)行數(shù)據(jù)壓縮處理，將壓縮后的數(shù)據(jù)塊寫(xiě)入物理存儲(chǔ)介質(zhì)，并擦除原始數(shù)據(jù)；所述數(shù)據(jù)解壓縮模塊，用以根據(jù)所述動(dòng)態(tài)調(diào)度模塊匹配出的數(shù)據(jù)壓縮策略，對(duì)采用該數(shù)據(jù)壓縮策略壓縮后的數(shù)據(jù)進(jìn)行解壓縮處理后提供給上層文件系統(tǒng)。
全文摘要
本發(fā)明提出了一種提高文件系統(tǒng)有效存儲(chǔ)容量的方法及裝置，該方法包括監(jiān)控文件系統(tǒng)數(shù)據(jù)的存取特征；將文件系統(tǒng)數(shù)據(jù)的存取特征與一預(yù)設(shè)的存取特征與數(shù)據(jù)壓縮策略的對(duì)應(yīng)關(guān)系進(jìn)行匹配，根據(jù)匹配出的數(shù)據(jù)壓縮策略對(duì)文件系統(tǒng)數(shù)據(jù)進(jìn)行壓縮處理。該方法能夠在不損失文件系統(tǒng)性能的情況下，有效提高文件系統(tǒng)存儲(chǔ)容量。
文檔編號(hào)G06F17/30GK101789016SQ20101010918
公開(kāi)日2010年7月28日 申請(qǐng)日期2010年2月8日 優(yōu)先權(quán)日2010年2月8日
發(fā)明者張立強(qiáng) 申請(qǐng)人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司