本發(fā)明屬于計算機(jī)應(yīng)用技術(shù)領(lǐng)域,尤其涉及一種分布式文件系統(tǒng)的調(diào)度方法及系統(tǒng)。
背景技術(shù):
分布式文件系統(tǒng)(distributedfilesystem)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上,而是通過計算機(jī)網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)的設(shè)計基于客戶機(jī)/服務(wù)器模式。一個典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。另外,對等特性允許一些系統(tǒng)扮演客戶機(jī)和服務(wù)器的雙重角色。
綜上所述,現(xiàn)有技術(shù)存在的問題是:現(xiàn)有的分布式文件系統(tǒng)存在存儲設(shè)備能耗較大,名字節(jié)點namenode的負(fù)擔(dān)、海量小文件存儲訪問效率低,分布式文件系統(tǒng)中獨立認(rèn)證模塊的開發(fā)人力和財力資源成本高。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有技術(shù)存在的問題,本發(fā)明提供了一種分布式文件系統(tǒng)的調(diào)度方法及系統(tǒng)。
本發(fā)明是這樣實現(xiàn)的,一種分布式文件系統(tǒng)的調(diào)度系統(tǒng),所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)包括:
分布式文件系統(tǒng)的調(diào)度系統(tǒng),其特征在于,所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)統(tǒng)包括:
集群負(fù)載信息獲取模塊,用于按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息;
所述集群負(fù)載信息獲取模塊對跳頻混合信號時頻域矩陣
第一步,對
第二步,找出p時刻(p=0,1,2,…p-1)非零的時頻域數(shù)據(jù),用
確定調(diào)度策略模塊,用于根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表,并根據(jù)查詢種類確定最終調(diào)度策略;根據(jù)所述的最終調(diào)度策略,為所述查詢計劃樹中各個結(jié)點選擇執(zhí)行節(jié)點以完成并行查詢執(zhí)行調(diào)度;
數(shù)據(jù)存儲模塊,用于將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池,且建立了存儲單元與虛擬資源池的映射關(guān)系,存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù),使得在虛擬資源池上線時,由虛擬資源池為分布式文件系統(tǒng)客戶端提供服務(wù);
小文件存儲模塊,用于通過建立相應(yīng)的本地索引和小文件處理機(jī)制,來有效地完成小文件的合并、映射、預(yù)取,在寫入或讀取文件之前,先判斷該文件是否是小文件,如果是,則先交給小文件服務(wù)器處理,否則直接交給原h(huán)dfs系統(tǒng)處理;
認(rèn)證模塊,用于在分布式文件系統(tǒng)中部署ldap服務(wù)器和cas服務(wù)器,使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù);用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時,檢查該用戶的會話是否存在,如果不存在則重新定向到cas服務(wù)器端,檢查tgt,若tgt不存在或者tgt錯誤則需要用戶重新登錄,用戶輸入了用戶名和密碼后,在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點登錄;ldap認(rèn)證完成后,cas返回給用戶合法的tgt和st,根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中;分布式文件系統(tǒng)接收到返回的st,還要由cas服務(wù)器認(rèn)證st的合法有效性,如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源;當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后,當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時,用戶訪問進(jìn)程只需提供st,被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器,驗證合法性和是否過期,若st不存在或者st過期,則返回校驗tgt,如果tgt合法則cas重新授予用戶一張st;
路徑解析模塊,用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織,并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令,將實現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中,使該分布式文件系統(tǒng)可以完成全路徑解析;
處理器,與確定調(diào)度策略模塊、數(shù)據(jù)存儲模塊、小文件存儲模塊、認(rèn)證模塊、路徑解析模塊連接,用于實現(xiàn)確定調(diào)度策略模塊、數(shù)據(jù)存儲模塊、小文件存儲模塊、認(rèn)證模塊、路徑解析模塊傳輸信息的處理;
所述處理器對m路離散時域混合信號進(jìn)行重疊加窗短時傅里葉變換,得到m個混合信號的時頻域矩陣
(p,q)表示時頻索引,具體的時頻值為
本發(fā)明的另一目的在于提供一種所述分布式文件系統(tǒng)的調(diào)度系統(tǒng)的分布式文件系統(tǒng)的調(diào)度方法,所述分布式文件系統(tǒng)的調(diào)度方法包括:
按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息;根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表,并根據(jù)查詢種類確定最終調(diào)度策略;根據(jù)所述的最終調(diào)度策略,為所述查詢計劃樹中各個結(jié)點選擇執(zhí)行節(jié)點以完成并行查詢執(zhí)行調(diào)度;
將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池,且建立了存儲單元與虛擬資源池的映射關(guān)系,存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù),使得在虛擬資源池上線時;
通過建立相應(yīng)的本地索引和小文件處理機(jī)制,來有效地完成小文件的合并、映射、預(yù)取,在寫入或讀取文件之前,先判斷該文件是否是小文件,如果是,則先交給小文件服務(wù)器處理,否則直接交給原h(huán)dfs系統(tǒng)處理;
在分布式文件系統(tǒng)中部署ldap服務(wù)器和cas服務(wù)器,使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù);用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時,檢查該用戶的會話是否存在,如果不存在則重新定向到cas服務(wù)器端,檢查tgt,若tgt不存在或者tgt錯誤則需要用戶重新登錄,用戶輸入了用戶名和密碼后,在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點登錄;ldap認(rèn)證完成后,cas返回給用戶合法的tgt和st,根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中;分布式文件系統(tǒng)接收到返回的st,還要由cas服務(wù)器認(rèn)證st的合法有效性,如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源;當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后,當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時,用戶訪問進(jìn)程只需提供st,被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器,驗證合法性和是否過期,若st不存在或者st過期,則返回校驗tgt,如果tgt合法則cas重新授予用戶一張st;
通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織,并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令,將實現(xiàn)新lookup操作的模塊植入內(nèi)存的核心空間中,使該分布式文件系統(tǒng)可以完成全路徑解析。
進(jìn)一步,所述用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織,并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令,將實現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中,使該分布式文件系統(tǒng)可以完成全路徑解析具體包括:
1)首先構(gòu)造一個全路徑名解析的二進(jìn)制模塊;
2)用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令將具有全路徑解析功能的模塊植入客戶端計算機(jī)系統(tǒng)內(nèi)部存儲器的核心空間;
3)用該模塊中具有全路徑名解析功能的函數(shù)替換原操作系統(tǒng)中的路徑名解析函數(shù),在全路徑名解析函數(shù)中,對于沒有提供全路徑名解析的文件系統(tǒng),仍按原函數(shù)的流程執(zhí)行;
4)對于提供全路徑名解析的分布式文件系統(tǒng),獲取需要解析的文件的全路徑名,作為參數(shù)提供給分布式文件系統(tǒng)的客戶端核心模塊;
5)分布式文件系統(tǒng)的客戶端核心模塊將路徑解析請求和全路徑名發(fā)給服務(wù)器進(jìn)行處理,并對服務(wù)器返回解析的結(jié)果進(jìn)行處理;
6)在分布式文件系統(tǒng)服務(wù)器端,相應(yīng)地提供全路徑名解析的函數(shù),可以使用全路徑名查找文件并返回結(jié)果,提供本方法適用于所有基于客戶一服務(wù)器模型的分布式文件系統(tǒng)。
本發(fā)明的優(yōu)點及積極效果為:設(shè)置有數(shù)據(jù)存儲模塊充分利用了各個客戶端的存儲能力,且能夠達(dá)到降低存儲設(shè)備能耗的作用;設(shè)置有小文件存儲模塊達(dá)到減輕名字節(jié)點namenode的負(fù)擔(dān)、海量小文件存儲訪問效率高的目的,同時保證了系統(tǒng)的通用性;設(shè)置有認(rèn)證模塊,能夠?qū)崿F(xiàn)分布式文件系統(tǒng)下多業(yè)務(wù)域的統(tǒng)一權(quán)限管理,即當(dāng)用戶登錄到某一業(yè)務(wù)系統(tǒng)后,再使用其他業(yè)務(wù)系統(tǒng)的文件資源時,無需進(jìn)行再次認(rèn)證,統(tǒng)一認(rèn)證模塊的實現(xiàn),減少分布式文件系統(tǒng)中獨立認(rèn)證模塊的開發(fā),節(jié)省人力和財力資源;采取ldap服務(wù)器和cas服務(wù)器相結(jié)合的方式,可大大降低數(shù)據(jù)存儲的重復(fù)性和減少占用網(wǎng)絡(luò)資源;設(shè)置有路徑解析模塊通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織,并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令,將實現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中,使該分布式文件系統(tǒng)可以完成全路徑解析。
附圖說明
圖1是本發(fā)明實施例提供的分布式文件系統(tǒng)的調(diào)度系統(tǒng)結(jié)構(gòu)示意圖;
圖中:1、群負(fù)載信息獲取模塊;2、確定調(diào)度策略模塊;3、數(shù)據(jù)存儲模塊;4、小文件存儲模塊;5、認(rèn)證模塊;6、路徑解析模塊;7、處理器。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白,以下結(jié)合實施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
下面結(jié)合附圖對本發(fā)明的應(yīng)用原理作詳細(xì)的描述。
如圖1所示,本發(fā)明實施例提供的分布式文件系統(tǒng)的調(diào)度系統(tǒng)包括:群負(fù)載信息獲取模塊1、確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6、處理器7。
集群負(fù)載信息獲取模塊1,用于按照預(yù)設(shè)的時間周期定期獲取所述分布式文件系統(tǒng)的集群負(fù)載信息;
確定調(diào)度策略模塊2,用于根據(jù)查詢語句構(gòu)建查詢計劃樹、確定查詢種類和需要查詢的數(shù)據(jù)表,并根據(jù)查詢種類確定最終調(diào)度策略;根據(jù)所述的最終調(diào)度策略,為所述查詢計劃樹中各個結(jié)點選擇執(zhí)行節(jié)點以完成并行查詢執(zhí)行調(diào)度;
數(shù)據(jù)存儲模塊3,用于將分布式文件系統(tǒng)客戶端聚類成為虛擬資源池,且建立了存儲單元與虛擬資源池的映射關(guān)系,存儲單元與其對應(yīng)的虛擬資源池中存儲相同的數(shù)據(jù),使得在虛擬資源池上線時,可以由虛擬資源池為分布式文件系統(tǒng)客戶端提供服務(wù),僅以可以使與其對應(yīng)的存儲單元處于休眠狀態(tài),充分利用了各個客戶端的存儲能力,且能夠達(dá)到降低存儲設(shè)備能耗的作用。
小文件存儲模塊4,用于通過建立相應(yīng)的本地索引和小文件處理機(jī)制,來有效地完成小文件的合并、映射、預(yù)取,在寫入或讀取文件之前,先判斷該文件是否是小文件,如果是,則先交給小文件服務(wù)器處理,否則直接交給原h(huán)dfs系統(tǒng)處理。達(dá)到減輕名字節(jié)點namenode的負(fù)擔(dān)、海量小文件存儲訪問效率高的目的,同時保證了系統(tǒng)的通用性。
認(rèn)證模塊5,用于在分布式文件系統(tǒng)中部署ldap(lightweightdirectoryaccessprotocol輕量級目錄訪問協(xié)議)服務(wù)器和cas(centralauthenticationservice中心認(rèn)證服務(wù))服務(wù)器,使cas服務(wù)器和ldap服務(wù)器能夠雙向讀取和存儲數(shù)據(jù);用戶通過web應(yīng)用服務(wù)進(jìn)程訪問分布式文件系統(tǒng)時,檢查該用戶的會話是否存在,如果不存在則重新定向到cas服務(wù)器端,檢查tgt(ticketgrantingticket用戶身份認(rèn)證憑證票據(jù)),若tgt不存在或者tgt錯誤則需要用戶重新登錄,用戶輸入了用戶名和密碼后,在ldap服務(wù)器進(jìn)行統(tǒng)一認(rèn)證單點登錄;ldap認(rèn)證完成后,cas返回給用戶合法的tgt和st(serviceticket服務(wù)許可憑證票據(jù)),根據(jù)用戶的當(dāng)前的web應(yīng)用服務(wù)進(jìn)程重新定向到分布式文件系統(tǒng)中。分布式文件系統(tǒng)接收到返回的st,還要由cas服務(wù)器認(rèn)證st的合法有效性,如果合法有效則確認(rèn)用戶可以訪問該分布式文件系統(tǒng)中資源;當(dāng)用戶獲得訪問分布式文件系統(tǒng)中一個業(yè)務(wù)系統(tǒng)的權(quán)限后,當(dāng)該用戶訪問其他業(yè)務(wù)系統(tǒng)的文件資源時,用戶訪問進(jìn)程只需提供st,被訪問的業(yè)務(wù)系統(tǒng)把接收到的st重定向到cas服務(wù)器,驗證合法性和是否過期,若st不存在或者st過期,則返回校驗tgt,如果tgt合法則cas重新授予用戶一張st。
路徑解析模塊6,用于通過對元數(shù)據(jù)服務(wù)器按照一定結(jié)構(gòu)進(jìn)行組織,并利用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令,將實現(xiàn)了新lookup操作的模塊植入內(nèi)存的核心空間中,使該分布式文件系統(tǒng)可以完成全路徑解析。
處理器7,與確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6連接,用于實現(xiàn)確定調(diào)度策略模塊2、數(shù)據(jù)存儲模塊3、小文件存儲模塊4、認(rèn)證模塊5、路徑解析模塊6傳輸信息的處理。
所述集群負(fù)載信息獲取模塊對跳頻混合信號時頻域矩陣
第一步,對
第二步,找出p時刻(p=0,1,2,…p-1)非零的時頻域數(shù)據(jù),用
所述處理器對m路離散時域混合信號進(jìn)行重疊加窗短時傅里葉變換,得到m個混合信號的時頻域矩陣
(p,q)表示時頻索引,具體的時頻值為
路徑解析模塊6具體包括:
1)首先構(gòu)造一個全路徑名解析的二進(jìn)制模塊;
2)用計算機(jī)系統(tǒng)提供的向內(nèi)部存儲器核心空間裝載二進(jìn)制代碼的指令將具有全路徑解析功能的模塊植入客戶端計算機(jī)系統(tǒng)內(nèi)部存儲器的核心空間;
3)用該模塊中具有全路徑名解析功能的函數(shù)替換原操作系統(tǒng)中的路徑名解析函數(shù),在全路徑名解析函數(shù)中,對于沒有提供全路徑名解析的文件系統(tǒng),仍按原函數(shù)的流程執(zhí)行;
4)對于提供全路徑名解析的分布式文件系統(tǒng),獲取需要解析的文件的全路徑名,作為參數(shù)提供給分布式文件系統(tǒng)的客戶端核心模塊;
5)分布式文件系統(tǒng)的客戶端核心模塊將路徑解析請求和全路徑名發(fā)給服務(wù)器進(jìn)行處理,并對服務(wù)器返回解析的結(jié)果進(jìn)行處理;
6)在分布式文件系統(tǒng)服務(wù)器端,相應(yīng)地提供全路徑名解析的函數(shù),可以使用全路徑名查找文件并返回結(jié)果,提供本方法適用于所有基于客戶一服務(wù)器模型的分布式文件系統(tǒng)。
以上所述僅為本發(fā)明的較佳實施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。