一種提升海量存儲(chǔ)后端性能的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及服務(wù)器數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種提升海量存儲(chǔ)后端性能的方法。
【背景技術(shù)】
[0002]在各種應(yīng)用系統(tǒng)的存儲(chǔ)設(shè)備上，信息正以數(shù)據(jù)存儲(chǔ)的方式高速增長(zhǎng)著，不斷推進(jìn)著全球信息化的進(jìn)程。隨之而來(lái)的是海量信息存儲(chǔ)的需求不斷增加。雖然文件服務(wù)器和數(shù)據(jù)庫(kù)服務(wù)器的存儲(chǔ)容量在不斷擴(kuò)充，可還是會(huì)碰到空間雖在成倍增長(zhǎng)，用戶仍會(huì)抱怨容量不足的情況，也正是用戶對(duì)存儲(chǔ)空間需求的不斷增加，推動(dòng)海量信息存儲(chǔ)技術(shù)的不斷變化。
[0003]在存儲(chǔ)設(shè)備發(fā)展越來(lái)越快的今天，存儲(chǔ)系統(tǒng)單盤對(duì)外提供的性能要求越來(lái)越高，磁盤可長(zhǎng)時(shí)間持續(xù)提供高性能的寫入和讀出能力也越來(lái)越高；而現(xiàn)階段所使用的方案，是在底層直接使用文件系統(tǒng)存儲(chǔ)數(shù)據(jù)，當(dāng)前方案主要有存儲(chǔ)性能利用率低，長(zhǎng)時(shí)間運(yùn)行產(chǎn)生文件碎片的問(wèn)題。這幾個(gè)問(wèn)題影響整體系統(tǒng)的對(duì)外吞吐及長(zhǎng)時(shí)間穩(wěn)定性。
[0004]為了現(xiàn)有技術(shù)解決存儲(chǔ)性能利用率低，長(zhǎng)時(shí)間運(yùn)行產(chǎn)生文件碎片等問(wèn)題，本發(fā)明提出了一種提升海量存儲(chǔ)后端性能的方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種簡(jiǎn)單有效的提升海量存儲(chǔ)后端性能的方法。
[0006]本發(fā)明是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的:
一種提升海量存儲(chǔ)后端性能的方法，其特征在于:包括命令接收模塊、緩存管理模塊、寫入及讀取模塊、實(shí)際物理存儲(chǔ)模塊，所述命令接收模塊接收其他服務(wù)的數(shù)據(jù)操作請(qǐng)求，并根據(jù)命令類型分別發(fā)送給所述緩存管理模塊和寫入及讀取模塊；實(shí)際的數(shù)據(jù)寫入及讀取請(qǐng)求直接發(fā)送給緩存管理模塊進(jìn)行數(shù)據(jù)讀取及寫入，數(shù)據(jù)刪除操作直接發(fā)送給寫入及讀取模塊。
[0007]所述命令接收模塊接收的數(shù)據(jù)操作請(qǐng)求，包括數(shù)據(jù)寫入、數(shù)據(jù)讀取和數(shù)據(jù)刪除。
[0008]所述緩存管理模塊用于管理所有的數(shù)據(jù)緩存，當(dāng)有新的數(shù)據(jù)寫入時(shí)，根據(jù)緩存情況看直接分配新的緩存塊或者使用已有的緩存塊；同時(shí)，定時(shí)檢查所有數(shù)據(jù)緩存，當(dāng)緩存塊使用分配時(shí)間達(dá)到預(yù)設(shè)上限時(shí)，把該數(shù)據(jù)傳入寫入及讀取模塊；當(dāng)接收到數(shù)據(jù)讀取請(qǐng)求時(shí)，通過(guò)寫入及讀取模塊進(jìn)行數(shù)據(jù)讀取，并緩存到內(nèi)存緩存中。
[0009]所述緩存管理模塊，在內(nèi)部統(tǒng)一管理所有的緩存，而且管理所有緩存的創(chuàng)建時(shí)間及修改時(shí)間，當(dāng)?shù)谝淮涡薷臅r(shí)間超過(guò)一定闕值后，通過(guò)提交給寫入及讀出模塊的方式提交任務(wù)，讓寫入及讀出模塊刷新到磁盤。這個(gè)機(jī)制可以保證提交任務(wù)的順序性及連續(xù)性，充分利用寫入及讀取模塊性能，并且提高數(shù)據(jù)的連續(xù)性。
[0010]所述寫入及讀取模塊用于對(duì)數(shù)據(jù)塊進(jìn)行實(shí)際物理管理，管理物理塊整體狀態(tài)；接收上層下發(fā)的數(shù)據(jù)塊管理命令，刪除數(shù)據(jù)塊、創(chuàng)建數(shù)據(jù)塊等；同時(shí)把實(shí)際數(shù)據(jù)讀取及寫入命令透?jìng)鹘o實(shí)際物理存儲(chǔ)；管理所有的寫入及讀取命令，保證磁盤發(fā)揮出最大能力；另外，還管理所有數(shù)據(jù)寫入順序，保證磁盤碎片最小化。
[0011]寫入及讀取模塊每次寫入數(shù)據(jù)時(shí)按照整塊進(jìn)行寫入，當(dāng)數(shù)據(jù)不滿一塊時(shí)其他數(shù)據(jù)按照O填充，充分保證硬盤數(shù)據(jù)的連續(xù)性，減少碎片的產(chǎn)生。寫入和讀取數(shù)據(jù)任務(wù)按照隊(duì)列方式提交，保證數(shù)據(jù)的順序性。
[0012]實(shí)際物理存儲(chǔ)模塊封裝所有文件系統(tǒng)的對(duì)外接口，使得整體發(fā)明對(duì)所有文件系統(tǒng)透明，增加發(fā)明適用性。
[0013]本發(fā)明的有益效果是:該提升海量存儲(chǔ)后端性能的方法，不僅可以保證提交任務(wù)的順序性及連續(xù)性，還能充分利用寫入及讀取模塊性能，提高數(shù)據(jù)的連續(xù)性，保證磁盤發(fā)揮出最大能力，保證磁盤碎片最小化，進(jìn)而實(shí)現(xiàn)了海量存儲(chǔ)整體系統(tǒng)對(duì)外吞吐及長(zhǎng)時(shí)間的穩(wěn)定性。
【附圖說(shuō)明】
[0014]附圖1為本發(fā)明中海量存儲(chǔ)整體系統(tǒng)模塊結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0015]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0016]該提升海量存儲(chǔ)后端性能的方法，包括命令接收模塊、緩存管理模塊、寫入及讀取模塊、實(shí)際物理存儲(chǔ)模塊，所述命令接收模塊接收其他服務(wù)的數(shù)據(jù)操作請(qǐng)求，并根據(jù)命令類型分別發(fā)送給所述緩存管理模塊和寫入及讀取模塊；實(shí)際的數(shù)據(jù)寫入及讀取請(qǐng)求直接發(fā)送給緩存管理模塊進(jìn)行數(shù)據(jù)讀取及寫入，數(shù)據(jù)刪除操作直接發(fā)送給寫入及讀取模塊。
[0017]所述命令接收模塊接收的數(shù)據(jù)操作請(qǐng)求，包括數(shù)據(jù)寫入、數(shù)據(jù)讀取和數(shù)據(jù)刪除。
[0018]所述緩存管理模塊用于管理所有的數(shù)據(jù)緩存，當(dāng)有新的數(shù)據(jù)寫入時(shí)，根據(jù)緩存情況看直接分配新的緩存塊或者使用已有的緩存塊；同時(shí)，定時(shí)檢查所有數(shù)據(jù)緩存，當(dāng)緩存塊使用分配時(shí)間達(dá)到預(yù)設(shè)上限時(shí)，把該數(shù)據(jù)傳入寫入及讀取模塊；當(dāng)接收到數(shù)據(jù)讀取請(qǐng)求時(shí)，通過(guò)寫入及讀取模塊進(jìn)行數(shù)據(jù)讀取，并緩存到內(nèi)存緩存中。
[0019]所述緩存管理模塊，在內(nèi)部統(tǒng)一管理所有的緩存，而且管理所有緩存的創(chuàng)建時(shí)間及修改時(shí)間，當(dāng)?shù)谝淮涡薷臅r(shí)間超過(guò)一定闕值后，通過(guò)提交給寫入及讀出模塊的方式提交任務(wù)，讓寫入及讀出模塊刷新到磁盤。這個(gè)機(jī)制可以保證提交任務(wù)的順序性及連續(xù)性，充分利用寫入及讀取模塊性能，并且提高數(shù)據(jù)的連續(xù)性。
[0020]所述寫入及讀取模塊用于對(duì)數(shù)據(jù)塊進(jìn)行實(shí)際物理管理，管理物理塊整體狀態(tài)；接收上層下發(fā)的數(shù)據(jù)塊管理命令，刪除數(shù)據(jù)塊、創(chuàng)建數(shù)據(jù)塊等；同時(shí)把實(shí)際數(shù)據(jù)讀取及寫入命令透?jìng)鹘o實(shí)際物理存儲(chǔ)；管理所有的寫入及讀取命令，保證磁盤發(fā)揮出最大能力；另外，還管理所有數(shù)據(jù)寫入順序，保證磁盤碎片最小化。
[0021]寫入及讀取模塊每次寫入數(shù)據(jù)時(shí)按照整塊進(jìn)行寫入，當(dāng)數(shù)據(jù)不滿一塊時(shí)其他數(shù)據(jù)按照O填充，充分保證硬盤數(shù)據(jù)的連續(xù)性，減少碎片的產(chǎn)生。寫入和讀取數(shù)據(jù)任務(wù)按照隊(duì)列方式提交，保證數(shù)據(jù)的順序性。
[0022]實(shí)際物理存儲(chǔ)模塊封裝所有文件系統(tǒng)的對(duì)外接口，使得整體發(fā)明對(duì)所有文件系統(tǒng)透明，增加發(fā)明適用性。
【主權(quán)項(xiàng)】
1.一種提升海量存儲(chǔ)后端性能的方法，其特征在于:包括命令接收模塊、緩存管理模塊、寫入及讀取模塊、實(shí)際物理存儲(chǔ)模塊，所述命令接收模塊接收其他服務(wù)的數(shù)據(jù)操作請(qǐng)求，并根據(jù)命令類型分別發(fā)送給所述緩存管理模塊和寫入及讀取模塊；實(shí)際的數(shù)據(jù)寫入及讀取請(qǐng)求直接發(fā)送給緩存管理模塊進(jìn)行數(shù)據(jù)讀取及寫入，數(shù)據(jù)刪除操作直接發(fā)送給寫入及讀取模塊。
2.根據(jù)權(quán)利要求1所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:所述命令接收模塊接收的數(shù)據(jù)操作請(qǐng)求，包括數(shù)據(jù)寫入、數(shù)據(jù)讀取和數(shù)據(jù)刪除。
3.根據(jù)權(quán)利要求1所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:所述緩存管理模塊用于管理所有的數(shù)據(jù)緩存，當(dāng)有新的數(shù)據(jù)寫入時(shí)，根據(jù)緩存情況看直接分配新的緩存塊或者使用已有的緩存塊；同時(shí)，定時(shí)檢查所有數(shù)據(jù)緩存，當(dāng)緩存塊使用分配時(shí)間達(dá)到預(yù)設(shè)上限時(shí)，把該數(shù)據(jù)傳入寫入及讀取模塊；當(dāng)接收到數(shù)據(jù)讀取請(qǐng)求時(shí)，通過(guò)寫入及讀取模塊進(jìn)行數(shù)據(jù)讀取，并緩存到內(nèi)存緩存中。
4.根據(jù)權(quán)利要求3所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:所述緩存管理模塊，在內(nèi)部統(tǒng)一管理所有的緩存，而且管理所有緩存的創(chuàng)建時(shí)間及修改時(shí)間，當(dāng)?shù)谝淮涡薷臅r(shí)間超過(guò)一定闕值后，通過(guò)提交給寫入及讀出模塊的方式提交任務(wù)，讓寫入及讀出模塊刷新到磁盤。
5.根據(jù)權(quán)利要求1所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:所述寫入及讀取模塊用于對(duì)數(shù)據(jù)塊進(jìn)行實(shí)際物理管理，管理物理塊整體狀態(tài)；接收上層下發(fā)的數(shù)據(jù)塊管理命令，刪除數(shù)據(jù)塊、創(chuàng)建數(shù)據(jù)塊等；同時(shí)把實(shí)際數(shù)據(jù)讀取及寫入命令透?jìng)鹘o實(shí)際物理存儲(chǔ)；管理所有的寫入及讀取命令，保證磁盤發(fā)揮出最大能力；另外，還管理所有數(shù)據(jù)寫入順序，保證磁盤碎片最小化。
6.根據(jù)權(quán)利要求5所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:寫入及讀取模塊每次寫入數(shù)據(jù)時(shí)按照整塊進(jìn)行寫入，當(dāng)數(shù)據(jù)不滿一塊時(shí)其他數(shù)據(jù)按照O填充，充分保證硬盤數(shù)據(jù)的連續(xù)性，減少碎片的產(chǎn)生。
7.根據(jù)權(quán)利要求1所述的提升海量存儲(chǔ)后端性能的方法，其特征在于:實(shí)際物理存儲(chǔ)模塊封裝所有文件系統(tǒng)的對(duì)外接口，使得整體發(fā)明對(duì)所有文件系統(tǒng)透明，增加發(fā)明適用性。
【專利摘要】本發(fā)明特別涉及一種提升海量存儲(chǔ)后端性能的方法。該提升海量存儲(chǔ)后端性能的方法，包括命令接收模塊、緩存管理模塊、寫入及讀取模塊、實(shí)際物理存儲(chǔ)模塊，所述命令接收模塊接收其他服務(wù)的數(shù)據(jù)操作請(qǐng)求，并根據(jù)命令類型分別發(fā)送給所述緩存管理模塊和寫入及讀取模塊；實(shí)際的數(shù)據(jù)寫入及讀取請(qǐng)求直接發(fā)送給緩存管理模塊進(jìn)行數(shù)據(jù)讀取及寫入，數(shù)據(jù)刪除操作直接發(fā)送給寫入及讀取模塊。該提升海量存儲(chǔ)后端性能的方法，不僅可以保證提交任務(wù)的順序性及連續(xù)性，還能充分利用寫入及讀取模塊性能，提高數(shù)據(jù)的連續(xù)性，保證磁盤發(fā)揮出最大能力，保證磁盤碎片最小化，進(jìn)而實(shí)現(xiàn)了海量存儲(chǔ)整體系統(tǒng)對(duì)外吞吐及長(zhǎng)時(shí)間的穩(wěn)定性。
【IPC分類】G06F3-06
【公開(kāi)號(hào)】CN104679449
【申請(qǐng)?zhí)枴緾N201510108084
【發(fā)明人】何營(yíng)
【申請(qǐng)人】浪潮集團(tuán)有限公司
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年3月12日