專利名稱：一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機應用技術(shù)領(lǐng)域，具體涉及一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件的方法。
背景技術(shù)：
進入21世紀以來，隨著信息時代的加速，企業(yè)數(shù)據(jù)呈現(xiàn)出爆炸性增長的趨勢，特別是移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計算的發(fā)展更加劇了數(shù)據(jù)的爆炸式增長。IDC報告指出，全球數(shù)據(jù)量每年以60%的速度遞增，2010年全球數(shù)據(jù)量達1.8ZB，2015年將達到8ZB，2020年將達到35ZB，標志著“大數(shù)據(jù)”時代的到來。數(shù)據(jù)增長帶來如下巨大的問題:成本急劇增加、帶寬壓力大、耗能問題嚴重、設(shè)備空間占用巨大、靠增加設(shè)備無法徹底解決數(shù)據(jù)量激增的問題等問題，同時，世界所面臨的能源問題日益嚴峻，在高科技的IT領(lǐng)域能源浪費和環(huán)保更加引人注目?；ヂ?lián)網(wǎng)的廣泛使用讓大型企業(yè)、政府機關(guān)、金融機構(gòu)的信息中心規(guī)模日益膨脹，數(shù)據(jù)交換增加，設(shè)備堆積成山，占地面積越來越多，耗電量屢創(chuàng)新高。為實現(xiàn)信息和管理優(yōu)化，在構(gòu)建企業(yè)信息架構(gòu)時，更加呼吁綠色的節(jié)能技術(shù)。節(jié)約能源，減少電力消耗，降低系統(tǒng)成本，急需研究面向新興應用的新型綠色存儲技術(shù)。在這個大趨勢下，重復數(shù)據(jù)刪除技術(shù)蘊育而生，重復數(shù)據(jù)刪除技術(shù)能夠有效地減少用戶存儲系統(tǒng)中的重復數(shù)據(jù)，從而為用戶節(jié)省了存儲容量，降低存儲成本和管理難度?，F(xiàn)有的查找具有同一重復數(shù)據(jù)刪除標識的所有鏈接文件方法都必須逐次遍歷整個文件系統(tǒng)目錄樹，并對每一個查找到的文件，獲取其標識并進行比較，對于十億級別文件目錄的遍歷將耗費大量的時間和資源，在數(shù)據(jù)重刪技術(shù)中，按照重刪的方法可以分為:文件級重刪和塊級重刪。在文件級的重刪方案中，需要對內(nèi)容重復的文件保存一個副本，并在重復文件所在的路徑處建立到這個副本的鏈接(包含證明文件內(nèi)容一致的重復數(shù)據(jù)刪除標識，一般是文件內(nèi)容的哈希值)。當需要快速恢復具有同一文件內(nèi)容的多個路徑下的文件時，如何快速查找到具有相同內(nèi)容的所有文件鏈接路徑的方法就極為重要。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件的方法?，F(xiàn)有的查找具有同一重復數(shù)據(jù)刪除標識的所有鏈接文件方法都必須逐次遍歷整個文件系統(tǒng)目錄樹，并對每一個查找到的文件，獲取其標識并進行比較，對于十億級別文件目錄的遍歷將耗費大量的時間和資源。本發(fā)明的目的是按以下方式實現(xiàn)的:
本發(fā)明的結(jié)構(gòu)是高性能高并發(fā)數(shù)據(jù)庫為中心的方法，該系統(tǒng)體系結(jié)構(gòu)包括:高性能高并發(fā)數(shù)據(jù)庫(1)，內(nèi)核鉤子模塊(2)、遍歷接口模塊(3)、冗余查找模塊(4)，內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊支持高并發(fā)的多進程多線程操作，從而提高系統(tǒng)的整體性能，其中:
高性能高并發(fā)數(shù)據(jù)庫(I)是體系結(jié)構(gòu)的核心，負責存放大量的硬鏈接信息，并支持多進程、多線程高并發(fā)訪問；
內(nèi)核鉤子模塊(2)主要負責建立鏈接文件時的信息收集及信息存放，支持多線程并
發(fā)；
遍歷接口模塊(3)為上層應用程序遍歷系統(tǒng)提供調(diào)用接口 ；
冗余查找模塊(4)的作用為在高性能高并發(fā)數(shù)據(jù)庫(I)中沒有所需要的信息時，遍歷整個存儲系統(tǒng)，進行冗余查找，并將查找到的信息放入高性能高并發(fā)數(shù)據(jù)庫(I)中。本發(fā)明的有益效果是:內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊支持高并發(fā)的多進程多線程操作，從而提高系統(tǒng)的整體性能。冗余查找模塊提供了冗余配置，從而提高系統(tǒng)的高可用性。很少需要遍歷整個文件系統(tǒng)目錄樹進行查找，極為高效。


圖1是傳統(tǒng)的查找具有同一標識的所有硬鏈接路徑拓撲 圖2是快速查找具有相同重復數(shù)據(jù)文件標識的所有鏈接文件流程示意圖。
具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細地說明。正如發(fā)明內(nèi)容中所描述的，本發(fā)明體系結(jié)構(gòu)主要包括:高性能高并發(fā)數(shù)據(jù)庫(I),內(nèi)核鉤子模塊(2 )、遍歷接口模塊(3 )、冗余查找模塊(4 )。我們提出的基于高性能高并發(fā)數(shù)據(jù)庫的快速查找具有一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件方法以高性能高并發(fā)數(shù)據(jù)庫為核心，其特征在于在方法中，內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊支持高并發(fā)的多進程多線程操作，從而提高系統(tǒng)的整體性能。內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊進行冗余配置，從而提高系統(tǒng)的高可用性。如圖2所示，本系統(tǒng)體系結(jié)構(gòu)主要包括:高性能高并發(fā)數(shù)據(jù)庫(1)，內(nèi)核鉤子模塊(2)、遍歷接口模塊(3)、冗余查找模塊(4)。高性能高并發(fā)數(shù)據(jù)庫作為此方法的核心，起到信息存儲和高速并發(fā)查找等作用。內(nèi)核鉤子模塊注冊進內(nèi)核，建立鏈接文件的函數(shù)轉(zhuǎn)入內(nèi)核執(zhí)行時,使用內(nèi)核鉤子程序，將文件路徑及重復數(shù)據(jù)刪除標識等信息存放入高性能高并發(fā)數(shù)據(jù)庫，并將重復數(shù)據(jù)刪除標識寫入鏈接文件。遍歷接口模塊提供遍歷調(diào)用的接口，是各種查找函數(shù)的入口，查找時，首先進入高性能高并發(fā)數(shù)據(jù)庫進行查找，如果能夠找到數(shù)據(jù)庫鍵值與查找的標識匹配，則將該鍵值對應的內(nèi)容返回給調(diào)用函數(shù)，否則進入冗余查找模塊進行查找。冗余查找模塊將以深度遍歷或廣度遍歷方法遍歷整個文件系統(tǒng)目錄樹，對每個文件獲取其標識并和查找關(guān)鍵字對比，直到遍歷完整個文件系統(tǒng)目錄樹，將得到的結(jié)果返回。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
權(quán)利要求
1.一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件的方法，其特征在于，以高性能高并發(fā)數(shù)據(jù)庫為核心，通過整合遍歷接口、內(nèi)核鉤子模塊和冗余查找模塊，使該查找方法達到比較高的效率，該方法的模塊結(jié)構(gòu)包括:高性能高并發(fā)數(shù)據(jù)庫(1)，內(nèi)核鉤子模塊(2)、遍歷接口模塊(3)、冗余查找模塊(4)其中: 高性能高并發(fā)數(shù)據(jù)庫(I)是結(jié)構(gòu)的核心，負責存放大量的鏈接文件路徑信息，并支持多進程、多線程高并發(fā)訪問； 內(nèi)核鉤子模塊(2)主要負責建立鏈接文件時的信息收集及信息存放，支持多線程并發(fā)； 遍歷接口模塊(3)為上層應用程序遍歷系統(tǒng)提供調(diào)用接口 ； 冗余查找模塊(4)的作用為在高性能高并發(fā)數(shù)據(jù)庫(I)中沒有所需要的信息時，遍歷整個存儲系統(tǒng)，進行冗余查找，并將查找到的信息放入高性能高并發(fā)數(shù)據(jù)庫(I)中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊支持高并發(fā)的多進程多線程操作，從而提高系統(tǒng)的整體性能。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于冗余查找模塊提供了方法的冗余配置，從而提聞系統(tǒng)的聞可用性。
全文摘要
本發(fā)明提供一種快速查找具有相同重復數(shù)據(jù)刪除標識的所有鏈接文件的方法，是以高性能高并發(fā)數(shù)據(jù)庫為核心，通過整合遍歷接口、內(nèi)核鉤子模塊和冗余查找模塊，使該查找方法達到比較高的效率，該方法的模塊結(jié)構(gòu)包括高性能高并發(fā)數(shù)據(jù)庫(1)，內(nèi)核鉤子模塊(2)、遍歷接口模塊(3)、冗余查找模塊(4)內(nèi)核鉤子模塊、遍歷接口模塊、冗余查找模塊支持高并發(fā)的多進程多線程操作，從而提高系統(tǒng)的整體性能。冗余查找模塊提供了冗余配置，從而提高系統(tǒng)的高可用性。很少需要遍歷整個文件系統(tǒng)目錄樹進行查找，極為高效。
文檔編號G06F9/38GK103198119SQ20131011212
公開日2013年7月10日 申請日期2013年4月2日 優(yōu)先權(quán)日2013年4月2日
發(fā)明者王通, 郭鵬 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司