專利名稱:一種分布式計算文件管理方法、系統及其裝置的制作方法
技術領域:
本發(fā)明涉及網絡技術領域,特別是涉及一種分布式計算文件管理方法、 系統及其裝置。
背景技術:
隨著互聯網技術的飛速發(fā)展,對于互聯網上存在海量信息的處理就成為 了難題。如果要在單機上處理這些數據量非常龐大的信息,就需要有很強的 處理能力和端口能力,然而一方面這種高性能單機價格不菲,而且這種依靠 單機的處理模式也是有限度的。因此人們提出了分布式計算的概念,利用互 聯網上有很多互連計算機的空閑資源來處理互聯網上的海量信息。而在分布式計算中比較重要方面就是分布式存儲,由于數據量的不斷增加,單機已經不能滿足存儲的需要,需要專門的設備來存儲數據;同時數據 的使用已經不僅僅局限于一個地方, 一種系統的應用,而是對多個用戶,多 個系統的共享。因此分布式存儲既能存儲大容量的數據信息,又能滿足對多 系統、多用戶的實時共享?,F有技術是將文件存儲在專門的高速存儲設備上,系統提供訪問文件的 接口。用戶通過這些系統提供的接口來訪問文件,通過高速的、可靠的存儲 設備來達到快速對文件的讀、寫操作。但是如果文件非常大,以及文件讀寫 非常頻繁,效率就纟艮低。這是為了通用而犧牲了性能。現有技術還提出一種針對特定場合的分布式文件處理方法,將文件按照 塊的方式保存在分布式節(jié)點機器上,通過一臺主控機器保存文件元數據信息 (文件包含多少塊,各個塊分別分布在哪個節(jié)點上)來進行分布式計算文件 的存儲。當用戶讀取文件時,先從主控機器上讀取文件的塊信息,然后根據 塊信息從分布式節(jié)點中讀取文件數據;用戶寫入文件時,先從主控機器上讀 取文件信息,然后根據負載均衡,選擇一個文件存放的節(jié)點;最后用戶將文件數據寫入到分布式節(jié)點中。但是這種方法只能允許用戶順序的讀寫,并且 用戶還根據文件各個塊的分布情況編寫相應的分布式代碼,對用戶來說是十 分煩瑣的,因此增加了用戶的工作量。發(fā)明內容本發(fā)明要解決的問題是提供一種分布式計算文件管理方法、系統及其裝 置,降^f氐分布式計算的復雜度,減輕用戶的工作量。為達到上述目的,本發(fā)明的實施例的技術方案提出一種分布式計算文件管理方法,包括以下步驟向主服務器的全局文件注冊;當需要對所述全局 文件進行處理時,從所述主服務器調取所述全局文件的元數據;根據所述全其中,在所述將全局文件包含的文件從各個節(jié)點取回后,還包括以下步 驟將所述從各個分布式節(jié)點取回的文件合并。其中,所述全局文件的元數據具體包括全局文件包含的文件及所述文件與分布式節(jié)點的對應關系。其中,所述從主服務器調取全局文件的元數據具體包括以下步驟向所述主服務器發(fā)送讀取所述全局文件的請求;所述服務器根據所述請求將所述 全局文件的元數據取出后下發(fā)。其中,所述向主服務器的全局文件注冊,具體包括以下步驟各個分布 式節(jié)點將所述分布式節(jié)點上的本地文件向所述主服務器注冊;所述主服務器 才艮據所述分布式節(jié)點上的本地文件注冊信息4I"改所述全局文件元數據。本發(fā)明的實施例的技術方案還提出一種分布式計算文件管理系統,包括 客戶端、主服務器和分布式節(jié)點,所述主服務器,用于對全局文件的元數據 進行管理,并在所述客戶端需要對所述全局文件進行處理時,將所述全局文 件的元數據信息下發(fā)給所述客戶端;所述分布式節(jié)點,用于將所述分布式節(jié) 點上的本地文件注冊到所述主服務器的全局文件上,并在接收所述客戶端請 求后將所述本地文件下發(fā)給所述客戶端。其中,所述主服務器包括全局文件管理模塊和全局文件下發(fā)模塊,所述全局文件管理模塊用于對全局文件的元數據進行管理;所述全局文件下發(fā)模 塊用于在所述客戶端需要對所述全局文件進行處理時,將所述全局文件管理 模塊中的全局文件元數據信息下發(fā)給所述客戶端其中,所述主服務器還包括注冊接收模塊,用于接收所述分布式節(jié)點向 所述主服務器發(fā)送的注冊信息,并將所述注冊信息傳給所述全局文件管理模 塊。其中,所述分布式節(jié)點包括注冊上報模塊和文件數據下發(fā)模塊,所述注 冊上報模塊用于將所述分布式節(jié)點上的本地文件注冊到所述主服務器的全局 文件上;所述文件數據下發(fā)模塊用于在接收所述客戶端請求后將所述本地文 件下發(fā)給所述客戶端。其中,在所述向主服務器的全局文件注冊之前,還包括以下步驟設定 各個分布式節(jié)點上的本地文件與全局文件的對應關系。本發(fā)明的實施例的技術方案還提出一種主服務器,包括全局文件管理模 塊和全局文件下發(fā)模塊,所述全局文件管理模塊用于對全局文件的元數據進 行管理;所述全局文件下發(fā)模塊用于在所述客戶端需要對所述全局文件進行 處理時,將所述全局文件管理模塊中的全局文件元數據信息下發(fā)給所述客戶其中,主服務器還包括注冊接收模塊,用于接收所述分布式節(jié)點向所述 主服務器發(fā)送的注冊信息,并將所述注冊信息傳給所述全局文件管理模塊。本發(fā)明實施例的技術方案實現了用戶只對全局文件進行操作,而不需要 編寫分布式的相關代碼,又可以利用多臺機器的分布式來提高文件讀取的性能的分布式計算文件管理方法。通過該管理方法,用戶只需要知道一個全局 文件,而不需要知道這個全局文件有哪些文件構成,又保存在哪些分布式節(jié) 點上,對于用戶來說,則降低了分布式計算的復雜度,減輕了用戶的工作量。
圖l為本發(fā)明實施例分布式計算文件管理系統結構圖;圖2為本發(fā)明實施例另一種分布式計算文件管理系統的結構圖;圖3為本發(fā)明實施例分布式計算文件管理方法的流程圖;圖4為本發(fā)明實施例以網站日志處理系統為例的分布式計算文件管理方法的流程圖;圖5為本發(fā)明實施例對分布式計算文件修改的流程圖;圖6為本發(fā)明實施例一種在分布式節(jié)點上對分布式計算文件修改的流程圖。
具體實施方式
下面結合附圖和實施例,對本發(fā)明的具體實施方式
作進一步詳細描述 本發(fā)明核心思想在于通過定義一種全局文件,該全局文件由很多分布 在各個分布式節(jié)點上的本地文件構成。該全局文件的信息儲存在主服務器 上的全局文件的元數據中,全局文件的信息包括全局文件的名稱、全局 文件包含哪些文件,及包含的這些文件與各個分布式節(jié)點的對應關系。并 且該全局文件包含的文件是由分布式節(jié)點自動向主服務器注冊形成的,用 戶只知道該全局文件是用來干什么或處理什么數據的,而不用知道該全局 文件中包含哪些文件等細節(jié)問題。因此通過該全局文件可以隱藏分布式處 理的文件處理細節(jié),并在讀取文件時利用分布式系統的多個分布式節(jié)點并 行處理的優(yōu)點提高訪問速度。如圖l所示,為本發(fā)明實施例分布式計算文件管理系統結構圖, 該分布式計算文件管理系統包括主服務器1、分布式節(jié)點2和客戶端3, 主服務器1用于對全局文件的元數據進行管理,并在客戶端3需要對全局文 件進行處理時,將全局文件的元數據信息下發(fā)給客戶端3;分布式節(jié)點2用于 將分布式節(jié)點2上的本地文件注冊到主服務器1上的全局文件,并在接^)t^ 戶端3請求后將分布式節(jié)點2上的本地文件下發(fā)給客戶端3。針對上述分布式計算文件管理系統分布式文件管理過程如下,首先分布 式節(jié)點2調用注冊接口,依據預先設定的對應關系通過TCP/IP協議將本地文 件注冊到一個全局文件上,該預先設定的對應關系可以由用戶根據需要設定, 并且分布式節(jié)點2上的本地文件可以對應多個全局文件;主服務器1管理各個分布式節(jié)點2上本地文件的注冊信息,即全局文件的元數據,該元數據包 括全局文件包含哪些文件,這些文件與其存在的分布式節(jié)點2的對應關系; 當客戶端3需要調取全局文件進行處理時,則調用讀取文件接口向主服務器1 發(fā)送查詢某個全局文件元數據的請求;主服務器1根據客戶端3請求查詢的 全局文件名稱,通過TCP/IP協議將該全局文件的元數據下發(fā)給客戶端3;客 戶端3根據傳回的全局文件的元數據信息從各個分布式節(jié)點2將該全局文件 包含的文件全部取回并合并,組合成一個全局文件。其中,主服務器1包括全局文件下發(fā)模塊11、全局文件管理模塊12和注 冊接收模塊13,全局文件管理模塊12用于對全局文件的元數據進行管理;全 局文件下發(fā)模塊11用于在客戶端3需要對全局文件進行處理時,將全局文件 管理模塊12中的全局文件元數據信息下發(fā)給客戶端3;注冊接收模塊13,用 于接收分布式節(jié)點2向主服務器1發(fā)送的注冊信息,并將該注冊信息傳給全 局文件管理模塊12。其中,分布式節(jié)點2包括注冊上才艮模塊21和文件數據下發(fā)^^塊22,注冊 上報模塊21用于將分布式節(jié)點2上的本地文件注冊到主服務器1上的全局文 件;文件數據下發(fā)模塊22用于在接收客戶端3請求后將本地文件下發(fā)給客戶 ^fii/ 3 。如圖2所示,為本發(fā)明實施例另一種分布式計算文件管理系統的結構圖, 該系統將上述實施例中客戶端3也視為分布式節(jié)點2。該分布式計算文件管理系統包括主服務器1和分布式節(jié)點2,主服務器1 用于對全局文件的元數據進行管理,并當需要對全局文件進行處理時,將全 局文件的元數據信息下發(fā)給分布式節(jié)點2;分布式節(jié)點2用于將分布式節(jié)點2 上的本地文件注冊到主服務器1上的全局文件;文件數據下發(fā)模塊22用于在 接收其它分布式節(jié)點2請求后將本地文件下發(fā)。針對上述分布式計算文件管理系統分布式文件管理過程如下,首先分布 式節(jié)點2調用注冊接口,依據預先設定的對應關系通過TCP/IP協議將本地文 件注冊到一個全局文件上,該預先設定的對應關系可以由用戶根據需要設定, 并且分布式節(jié)點2上的本地文件可以對應多個全局文件;主服務器1管理各個分布式節(jié)點2上本地文件的注冊信息,即全局文件的元數據,該元數據包 括全局文件包含哪些文件,這些文件與其存在的分布式節(jié)點2的對應關系;當需要調取全局文件進行處理時,則調用讀取文件接口向主服務器1發(fā)送奎 詢某個全局文件元數據的請求;主服務器1根據請求查詢的全局文件名稱, 通過TCP/IP協議將該全局文件的元數據下發(fā)給分布式節(jié)點2;分布式節(jié)點2 根據傳回的全局文件的元數據信息從各個分布式節(jié)點2將該全局文件包含的 文件全部取回并合并,組合成一個全局文件。其中,主服務器1包括全局文件下發(fā)模塊11、全局文件管理模塊12和注 冊接收模塊13,全局文件管理模塊12用于對全局文件的元數據進行管理;全 局文件下發(fā)模塊11用于在需要對全局文件進行處理時,將全局文件管理模塊 12中的全局文件元數據信息下發(fā);注冊接收模塊13,用于接收分布式節(jié)點2 向主服務器1發(fā)送的注冊信息,并將該注冊信息傳給全局文件管理模塊12。其中,分布式節(jié)點2包括注冊上報模塊21和文件數據下發(fā)模塊22,注冊 上報模塊21用于將分布式節(jié)點2上的本地文件注冊到主服務器1上的全局文 件;文件數據下發(fā)模塊22用于在接收其它分布式節(jié)點2請求后將本地文件下 發(fā)。如圖3所示,為本發(fā)明實施例分布式計算文件管理方法的流程圖,包括 以下步驟步驟S301,向主服務器的全局文件注冊;分布式節(jié)點調用注冊接口,服務器根據注冊信息修改全局文件的元數據;該預先設定的對應關系可以 由用戶根據需要設定,并且分布式節(jié)點上的本地文件可以對應多個全局文 件;例如假設整個分布式系統有2個分布式節(jié)點, 一個主服務器。分布 式節(jié)點m上有本地文件al, a2共2個文件,分布式節(jié)點2有本地文件bl, b2 共2個文件;用戶根據需要將分布式節(jié)點1上的本地文件al設為與全局文 件filel和全局文件file2對應;將分布式節(jié)點m上的本地文件a2設為與 全局文件fUel對應;將分布式節(jié)點n上的本地文件bl也設為與全局文件 filel對應,并將分布式節(jié)點n上的本地文件b2設為與全局文件file2對應,根據上述預設的對應關系,分布式節(jié)點m調用注冊接口通過TCP/IP 協議,向主服務器發(fā)送注冊指令,將al文件注冊為全局文件filel,并將 al文件注冊為全局文件file2,將a2文件注冊為全局文件f ilel;同時, 分布式節(jié)點n調用注冊接口通過TCP/IP協議,向主服務器發(fā)送注冊指令, 將bl文件注冊為全局文件f ilel,并將b2文件注冊為全局文件f ile2。通 過上述注冊過程,目前主服務器上存在2個全局文件分別為filel和 f ile2,其中全局文件f ilel包括分布式節(jié)點m上的al和a2以及分布式節(jié) 點2上的bl,全局文件file2包括分布式節(jié)點m上的al和分布式節(jié)點n 上的b2。主服務器管理各個分布式節(jié)點上本地文件的注冊信息,即全局文件 的元數據,該元數據包括全局文件包含哪些文件,這些文件與其存在的分布 式節(jié)點的對應關系;對于上述實施例,全局文件filel的元數據包括al、 a2 和bl,以及al、 a2和bl與分布式節(jié)點的對應關系。步驟S302,當需要對全局文件進行處理時,從主服務器調取全局文件的 元數據。當客戶端需要調取全局文件進行處理時,則調用讀取文件接口,向 主服務器發(fā)送查詢某個全局文件元數據的請求;主服務器根據請求查詢的全 局文件名稱,通過TCP/IP協議將該全局文件的元數據下發(fā)。其中,注冊全局 文件的客戶端和讀取全局文件的客戶端可以不是同一個客戶端,并且客戶 端在讀取全局文件時并不知道全局文件包括什么,只有在主服務器將全局 文件的元數據下發(fā)后,客戶端才根據全局文件的元數據知道全局文件包括 哪些文件。步驟S303,根據全局文件的元數據將全局文件包含的文件從各個分布式 節(jié)點取回;對于上述實施例,則將al、 a2從分布式節(jié)點m上取回,將bl 從分布式節(jié)點n上取回。如圖4所示,為本發(fā)明實施例以網站日志處理系統為例的分布式計算 文件管理方法的流程圖,包括以下步驟步驟S401,根據需要設定分布式節(jié)點上的本地文件與全局文件的對應 關系,例如對于網站日志處理系統則需要分布式節(jié)點 一上的本地文件 news, log (新聞日志),節(jié)點二上的本地文件club, log (倶樂部日志),節(jié)點三上的本i也文件bbs. log ( i侖壇日志),節(jié)點四上的本i也文件search, log (搜索日志),以及節(jié)點五上的本地文件blog. log (博客日志),這些各個 節(jié)點上的本地文件共同構成了該網站日志處理所需要的全局文件 cookie.log。步驟S402,依據上述步驟設定的對應關系各個分布式節(jié)點向主服務器 的全局文件注冊,例如分布式節(jié)點一發(fā)現本地文件有news, log存在,則調 用注冊接口并通過TCP/IP協議將本地文件news, log向主服務器注冊,主 服務器根據上述步驟設定的對應關系將news, log注冊到全局文件 cookie.log; 貝寸以》匕類4,分另'j將club, log 、 bbs. log、 search.log和 blog. log向主服務器注冊,主服務器根據上述步驟設定的對應關系將上述 本地文件向全局文件cookie, log注冊。這樣對于使用者來說只要知道全局 文件cookie, log是處理網站日志的文件就可以了 ,而不需要知道全局文件 cookie, log究竟包括什么文件、以及這些文件與分布式節(jié)點的對應關系。步驟S403,如果用戶在分布式系統客戶端上需要對上述網絡日志進行 統計處理,則調用讀取文件接口,向主服務器發(fā)送查詢全局文件cookie, log 元數據的請求;主服務器根據請求查詢的全局文件cookie, log,通過TCP/IP 協議將該全局文件的元數據下發(fā)給客戶端,即將全局文件cookie, log包含的 文件news, log、 club, log、 bbs. log、 search, log和blog. log, 以及這些 文件與分布式節(jié)點的對應關系下發(fā)給客戶端。其中,注冊全局文件的客戶端和讀取全局文件的客戶端可以不是同一個客戶端,并且客戶端在讀取全 局文件時并不知道全局文件包括什么,只有在主服務器將全局文件的元數步驟S404,客戶端根據上述下發(fā)的全局文件的元數據信息,從其它節(jié) 點上將全局文件cookie, log包含的文件news, log、 club, log、 bbs. log、 search, log和blog. log取回后合并。例如通過TCP/IP協議從分布式節(jié)點 一上取回news, log(新聞日志),從節(jié)點二上取回club, log(倶樂部日志), 并以此類推。這樣用戶需要的處理網絡日志的所有文件都集中到了用戶所 使用的客戶端上以供用戶使用。如圖5所示,為本發(fā)明實施例對分布式計算文件修改的流程圖,以圖4 實施例為例對全局文件cookie, log進4亍修改,包括以下步驟步驟S501,根據需要設定分布式節(jié)點上的本地文件與全局文件的對應 關系。步驟S502,依據上述步驟設定的對應關系,各個分布式節(jié)點向主服務 器的全局文件注冊。分布式節(jié)點一發(fā)現本地文件有news, log存在,則調用 注冊接口并通過TCP/IP協議將本地文件news, log向主服務器注冊,主服 務器根據上述步驟設定的對應關系將news, log注冊到全局文件 cookie.log;貝'J以jt匕類才,分另'J將club, log 、 bbs. log、 search.log和 blog. log向主服務器注冊,主服務器根據上述步驟設定的對應關系將上述 本地文件向全局文件cookie, log注冊。這樣對于4吏用者來i兌只要知道全局 文件cookie, log是處理網站日志的文件就可以了 ,而不需要知道全局文件 cookie, log究竟包括什么文件、以及這些文件與分布式節(jié)點的對應關系。步驟S503,如果用戶在分布式節(jié)點上需要對全局文件cookie, log進 行修改,則調用讀取文件接口,向主服務器發(fā)送查詢全局文件cookie, log 元數據的請求;主服務器根據請求查詢的全局文件cookie, log,通過TCP/IP 協議將該全局文件的元數據下發(fā)給客戶端,即將全局文件cookie, log包含的 文件news, log、 club, log、 bbs. log、 search, log和blog. log, 以及這些 文件與分布式節(jié)點的對應關系下發(fā)給客戶端。步驟S504,分布式節(jié)點根據步驟S503下發(fā)的全局文件的元數據信息, 從其它節(jié)點上將全局文件cookie, log包含的文件news, log、 club, log、 bbs. log、 search, log和blog. log取回后合并。例如通過TCP/IP協議從 分布式節(jié)點一上取回news, log(新聞日志),從節(jié)點二上取回club, log(倶 樂部日志),并以此類推。步驟S505,在分布式節(jié)點上對全局文件cookie, log進行修改。 步驟S506,根據預先設定的對應關系,將全局文件cookie, log作為 該分布式節(jié)點上的本地文件向主服務器上的與cookie.log對應的全局文 件進行注冊。如圖6所示,為本發(fā)明實施例一種在分布式節(jié)點上對分布式計算文件 《奮改的流程圖,以圖4實施例為例對全局文件cookie, log中存在與分布式 節(jié)點一上的本地文件news, log (新聞日志)在分布式節(jié)點一上進行修改, 包括以下步驟步驟S601,根據需要設定分布式節(jié)點上的本地文件與全局文件的對應 關系。步驟S602,依據上述步驟設定的對應關系向主服務器的全局文件注 冊。分布式節(jié)點一發(fā)現本地文件有news, log存在,則調用注冊接口并通過 TCP/IP協議將本地文件news, log向主服務器注冊,主服務器根據上述步 驟i殳定的對應關系將news, log注冊到全局文件cookie, log;則以此類推 分另'J將club, log、 bbs. log、 search, log和blog. log向主月l務器;;主冊,主 服務器根據上述步驟設定的對應關系將上述本地文件向全局文件 cookie, log注冊。這樣對于使用者來說只要知道全局文件cookie, log是 處理網站日志的文件就可以了 ,而不需要知道全局文件cookie, log究竟包 括什么文件、以及這些文件與分布式節(jié)點的對應關系。步驟S603,對分布式節(jié)點一上的news, log進行修改。 步驟S604,分布式節(jié)點一重新向主服務器的全局文件注冊。 本發(fā)明實施例通過為用戶設定的全局文件實現了用戶只對全局文件進行 操作,而不需要編寫分布式的相關代碼,又可以利用多臺機器的分布式來提高文件讀取的性能的分布式計算文件管理方法。通過該管理方法,用戶只需 要知道一個全局文件,而不需要知道這個全局文件有哪些文件構成,又保存 在哪些分布式節(jié)點上。對于用戶來說,則降低了分布式計算的復雜度,減輕 了用戶的工作量。以上所述僅是本發(fā)明的優(yōu)選實施方式,應當指出,對于本技術領域的 普通技術人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進 和潤飾,這些改進和潤飾也應視為本發(fā)明的保護范圍。
權利要求
1. 一種分布式計算文件管理方法,其特征在于,包括以下步驟向主服務器的全局文件注冊;當需要對所述全局文件進行處理時,從所述主服務器調取所述全局文件的元數據;根據所述全局文件的元數據將所述全局文件包含的文件從各個分布式節(jié)點取回。
2、 如權利要求1所述分布式計算文件管理方法,其特征在于,在所述將 全局文件包含的文件從各個節(jié)點取回后,還包括以下步驟將所述從各個分布式節(jié)點取回的文件合并。
3、 如權利要求1所述分布式計算文件管理方法,其特征在于,所述全局 文件的元數據具體包括全局文件包含的文件及所述文件與分布式節(jié)點的對 應關系。
4、 如權利要求1所述分布式計算文件管理方法,其特征在于,所述從主 服務器調取全局文件的元數據具體包括以下步驟向所述主服務器發(fā)送讀取所述全局文件的請求; 所述服務器根據所述請求將所述全局文件的元數據取出后下發(fā)。
5、 如權利要求1所述分布式計算文件管理方法,其特征在于,所述向主 服務器的全局文件注冊,具體包括以下步驟各個分布式節(jié)點將所述分布式節(jié)點上的本地文件向所述主服務器注冊; 所述主服務器根據所述分布式節(jié)點上的本地文件的注冊信息修改所述全 局文件元數據。
6、 如權利要求l所述分布式計算文件管理方法,其特征在于,在所述向 主服務器的全局文件注冊之前,還包括以下步驟設定各個分布式節(jié)點上的本地文件與全局文件的對應關系。
7、 一種分布式計算文件管理系統,包括客戶端,其特征在于,還包括主服務器和分布式節(jié)點,所述主服務器,用于對全局文件的元數據進行管理,并在所迷客戶端需要對所述全局文件進行處理時,將所述全局文件的元數據信息下發(fā)給所述客戶端;所述分布式節(jié)點,用于將所述分布式節(jié)點上的本地文件注冊到所述主服 務器的全局文件上,并在接收所述客戶端請求后將所述本地文件下發(fā)給所述 客戶端。
8、 如權利要求7所述分布式計算文件管理系統,其特征在于,所迷主服務器包括全局文件管理模塊和全局文件下發(fā)模塊,所述全局文件管理模塊用于對全局文件的元數據進行管理; 所述全局文件下發(fā)模塊用于在所述客戶端需要對所述全局文件進行處理 時,將所述全局文件管理模塊中的全局文件元數據信息下發(fā)給所述客戶端
9、 如權利要求8所迷分布式計算文件管理系統,其特征在于,所述主服 務器還包括注冊接收模塊,用于接收所述分布式節(jié)點向所述主服務器發(fā)送的 注冊信息,并將所述注冊信息傳給所述全局文件管理;f莫塊。
10、 如權利要求7所述分布式計算文件管理系統,其特征在于,所述分 布式節(jié)點包括注冊上報模塊和文件數據下發(fā)模塊,所述注冊上才M^莫塊用于將所述分布式節(jié)點上的本地文件注冊到所述主服 務器的全局文件上;所述文件數據下發(fā)模塊用于在接收所述客戶端請求后將所述本地文件下 發(fā)給所述客戶端。
11、 一種主服務器,其特征在于,包括全局文件管理模塊和全局文件下 發(fā)模塊,所述全局文件管理^^塊用于對全局文件的元數據進行管理; 所述全局文件下發(fā)模塊用于在所述客戶端需要對所迷全局文件進行處理 時,將所述全局文件管理模塊中的全局文件元數據信息下發(fā)給所述客戶端
12、 如權利要求ll所述主服務器,其特征在于,還包括注冊接收模塊, 用于接收所述分布式節(jié)點向所述主服務器發(fā)送的注冊信息,并將所述注冊信 息傳給所述全局文件管理模塊。
全文摘要
本發(fā)明公開了一種分布式計算文件管理方法,包括以下步驟向主服務器的全局文件注冊;當需要對所述全局文件進行處理時,從所述主服務器調取所述全局文件的元數據;根據所述全局文件的元數據將所述全局文件包含的文件從各個分布式節(jié)點取回。通過該管理方法,用戶只需要知道一個全局文件,而不需要知道這個全局文件有哪些文件構成,又保存在哪些分布式節(jié)點上,降低了分布式計算的復雜度,減輕了用戶的工作量。
文檔編號G06F17/30GK101271458SQ20071008714
公開日2008年9月24日 申請日期2007年3月22日 優(yōu)先權日2007年3月22日
發(fā)明者吳偉勛, 李江華, 松 陳 申請人:阿里巴巴公司