專利名稱：一種分布式處理方法、系統(tǒng)及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種分布式數(shù)據(jù)的處理和實(shí)現(xiàn)。
技術(shù)背景隨著互聯(lián)網(wǎng)的高速發(fā)展，大量涉及海量數(shù)據(jù)分析，計(jì)算，統(tǒng)計(jì)的需求需要人們?nèi)ソ鉀Q，例如WEB訪問日志的分析，特別是一些大型網(wǎng)站的每天的日 志量已經(jīng)達(dá)到T級(jí)別，這些海量數(shù)據(jù)的處理任務(wù)是不可能依靠一臺(tái)機(jī)器來完 成的。并且當(dāng)系統(tǒng)處理能力不夠需要升級(jí)的時(shí)候，也不能有效的實(shí)現(xiàn)平滑過 渡，而要撤換整臺(tái)機(jī)器，造成資源浪費(fèi)。因此人們提出了分布式計(jì)算的概念， 通過多臺(tái)相對(duì)低性能的機(jī)器來分布式分析，計(jì)算和統(tǒng)計(jì)的話，可以大量的節(jié) 約成本和計(jì)算的時(shí)間?，F(xiàn)有4支術(shù)對(duì)于分布式處理采用不同的分布式節(jié)點(diǎn)處理不同的業(yè)務(wù)類型的 方法，借此實(shí)現(xiàn)分布式數(shù)據(jù)的處理。例如對(duì)于日志分析，根據(jù)業(yè)務(wù)配置情況 分配不同的分布式節(jié)點(diǎn)來處理，例如某網(wǎng)站有以下幾個(gè)業(yè)務(wù)類型，拍賣，"i侖 壇，新聞。在日志分析的時(shí)候，就將上述三項(xiàng)業(yè)務(wù)類型產(chǎn)生的日志分別指定 三個(gè)分布式節(jié)點(diǎn)來處理，各個(gè)分布式節(jié)點(diǎn)只處理一項(xiàng)業(yè)務(wù)類型，例如對(duì)于分 布式節(jié)點(diǎn)智能處理拍賣產(chǎn)生的日志，而對(duì)于論壇和新聞產(chǎn)生的日志則其無權(quán) 處理。現(xiàn)有技術(shù)的缺點(diǎn)是 一、原本有邏輯的訪問日志被人為的切分開了，例 如某用戶先訪問論壇，再瀏覽新聞，這樣的情況就不能在結(jié)果中體現(xiàn)。二、 分布式節(jié)點(diǎn)完全和業(yè)務(wù)類型相關(guān)，切分不靈活，如果新增加一分布式節(jié)點(diǎn)， 則必須根據(jù)業(yè)務(wù)類型對(duì)該分布式節(jié)點(diǎn)進(jìn)行配置，不能有效的利用，并且各個(gè)業(yè)務(wù)類型的訪問量可能有很大差別。三、配置復(fù)雜，每臺(tái)機(jī)器的日志分析程 序都要進(jìn)行配置。四、原來的分布式處理只是針對(duì)網(wǎng)站日志處理的，不能推 廣到其他應(yīng)用上面。

發(fā)明內(nèi)容
本發(fā)明要解決的問題是提供一種分布式處理方法、系統(tǒng)及其裝置以提高 編寫分布式應(yīng)用的效率。
為達(dá)到上述目的，本發(fā)明實(shí)施例的技術(shù)方案提出一種分布式數(shù)據(jù)處理方
法，包括以下步驟在分布式服務(wù)器上部署分布式應(yīng)用文件；分布式服務(wù)器將 所述分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)；所述分布式節(jié)點(diǎn)執(zhí)行所述分布
回。其中，在所述分布式節(jié)點(diǎn)將文件取回之后，還包括以下步驟所述分布 式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器。
其中，在所述分布式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還 包括以下步驟所述分布式服務(wù)器將各個(gè)分布式節(jié)點(diǎn)返回的處理結(jié)果合并。
其中，在所述分布式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還 包括以下步驟判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成
理結(jié)果合并。
其中，所述分布式節(jié)點(diǎn)將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處 理的數(shù)據(jù)取回，具體包括以下步驟如果所述分布式應(yīng)用文件分配給所述分 布式節(jié)點(diǎn)處理的數(shù)據(jù)在共享資源上，則所述分布式節(jié)點(diǎn)向所述分布式服務(wù)器 申請(qǐng)資源；所述分布式服務(wù)器將所述共享資源鎖定，只能由所述申請(qǐng)的分布 式節(jié)點(diǎn)使用；所述分布式節(jié)點(diǎn)在將所述文件取回后通知所述分布式服務(wù)器釋 放所述共享資源。
其中，在所述分布式節(jié)點(diǎn)將文件從所述共享資源取回前，還包括以下步 驟所述分布式服務(wù)器根據(jù)所述配置信息設(shè)置全局文件；在所述分布式節(jié)點(diǎn) 將文件從所述共享資源取回之后，還包括，所述分布式節(jié)點(diǎn)將從所述共享資所
述分布式節(jié)點(diǎn)向所述分布式服務(wù)器發(fā)送請(qǐng)求獲取所述全局文件；根據(jù)所述全 局文件將所述全局文件包含的所有文件取回。
其中，在所述分布式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之前，還
包括以下步驟所述分布式服務(wù)器建立與所述分布式應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫 表。
其中，在所述分布式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還 包括以下步驟所述各個(gè)分布式節(jié)點(diǎn)完成分布式計(jì)算任務(wù)后自動(dòng)將計(jì)算結(jié)果 信息插入所述數(shù)據(jù)庫表；所述分布式服務(wù)器將所述數(shù)據(jù)庫表中的數(shù)據(jù)合并。
為達(dá)到上述目的，本發(fā)明實(shí)施例的技術(shù)方案還提出一種分布式數(shù)據(jù)處理 系統(tǒng)，包括至少一個(gè)分布式節(jié)點(diǎn)和至少一個(gè)分布式服務(wù)器，所述分布式服務(wù) 器用于接受用戶的分布式應(yīng)用文件并對(duì)與所述分布式服務(wù)器連接的所述分布 式節(jié)點(diǎn)進(jìn)行管理，所述分布式節(jié)點(diǎn)用于接收并執(zhí)行所述分布式服務(wù)器下發(fā)的 分布式應(yīng)用文件，并將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù) 據(jù)取回。其中，所述分布式服務(wù)器包括任務(wù)分配執(zhí)行模塊，用于將分布式應(yīng) 用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。
其中，所述分布式節(jié)點(diǎn)包括文件處理模塊，用于執(zhí)行所述分布式應(yīng)用文 件，并將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回。
其中，所述任務(wù)分配執(zhí)行模塊還包括線程組管理子模塊，用于管理所述 各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn) 是否全部完成了處理任務(wù)。
其中，所述任務(wù)分配執(zhí)行模塊還包括多線程管理子模塊，用于當(dāng)所述分 布式系統(tǒng)同時(shí)處理多個(gè)所述分布式應(yīng)用文件時(shí)，針對(duì)所述不同的分布式應(yīng)用 文件管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到同 一分布式應(yīng)用文件 的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。
其中，所述分布式服務(wù)器還包括資源鎖管理模塊，用于管理共享資源， 當(dāng)所述分布式節(jié)點(diǎn)向所述分布式服務(wù)器申請(qǐng)資源時(shí)，將所述共享資源鎖定只 能由所述申請(qǐng)的分布式節(jié)點(diǎn)使用；并在所述分布式節(jié)點(diǎn)將所述文件取回后釋;故所述共享資源。
其中，所述分布式服務(wù)器還包括分布式文件處理模塊，用于根據(jù)所述分 布式應(yīng)用文件生成全局文件，所述全局文件由所述各個(gè)分布式節(jié)點(diǎn)上的本地 文件構(gòu)成，所述分布式節(jié)點(diǎn)將所述分布式節(jié)點(diǎn)上的本地文件向所述分布式服 務(wù)器上的全局文件注冊(cè)，并通過所述全局文件讀寫所述全局文件包含的所有 文件。
其中，所述分布式服務(wù)器還包括數(shù)據(jù)合并模塊，用于建立與所述分布式 應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫表，并在所述各個(gè)分布式節(jié)點(diǎn)自動(dòng)將計(jì)算結(jié)果信息插 入所述數(shù)據(jù)庫表后將所述數(shù)據(jù)庫表中的數(shù)據(jù)合并。
本發(fā)明實(shí)施例的技術(shù)方案還提出一種分布式服務(wù)器，包括任務(wù)分配執(zhí)行 -溪塊，用于將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。
其中，所述任務(wù)分配執(zhí)行模塊還包括線程組管理子模塊，用于管理所述 各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn) 是否全部完成了處理任務(wù)。
其中，所述任務(wù)分配執(zhí)行模塊還包括多線程管理子模塊，用于當(dāng)所述分 布式系統(tǒng)同時(shí)處理多個(gè)所述分布式應(yīng)用文件時(shí)，針對(duì)所述不同的分布式應(yīng)用 文件管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到同一分布式應(yīng)用文件 的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。
其中，分布式服務(wù)器還包括資源鎖管理模塊，用于管理共享資源，當(dāng)所 述分布式節(jié)點(diǎn)向所述分布式服務(wù)器申請(qǐng)資源時(shí)，將所述共享資源鎖定只能由 所述申請(qǐng)的分布式節(jié)點(diǎn)使用；并在所述分布式節(jié)點(diǎn)將所述文件取回后釋放所 述共享資源。
其中，分布式服務(wù)器還包括分布式文件處理模塊，用于根據(jù)所述分布式 應(yīng)用文件生成全局文件，所述全局文件由所述各個(gè)分布式節(jié)點(diǎn)上的本地文件 構(gòu)成，所述分布式節(jié)點(diǎn)將所述分布式節(jié)點(diǎn)上的本地文件向所述分布式服務(wù)器 上的全局文件注冊(cè)，并通過所述全局文件讀寫所述全局文件包含的所有文件。
其中，分布式服務(wù)器還包括數(shù)據(jù)合并模塊，用于建立與所述分布式應(yīng)用 文件對(duì)應(yīng)的數(shù)據(jù)庫表，并在所述各個(gè)分布式節(jié)點(diǎn)自動(dòng)將計(jì)算結(jié)果信息插入所述數(shù)據(jù)庫表后將所述數(shù)據(jù)庫表中的數(shù)據(jù)合并。本發(fā)明實(shí)施例的技術(shù)方案還提出一種分布式節(jié)點(diǎn)，包括文件處理模塊， 用于執(zhí)行所述分布式應(yīng)用文件，并將所述分布式應(yīng)用文件分配給所述分布式 節(jié)點(diǎn)處理的數(shù)據(jù)取回。通過本發(fā)明實(shí)施例，用戶只需要編寫分布式應(yīng)用的代碼，而不需要考慮 分布式應(yīng)用的細(xì)節(jié)，因此用戶編寫分布式應(yīng)用的效率大大提高。在用戶編寫 完分布式應(yīng)用后，只需要在分布式服務(wù)器上就可完成部署和發(fā)布。


圖1為本發(fā)明實(shí)施例分布式數(shù)據(jù)處理系統(tǒng)結(jié)構(gòu)圖； 圖2為本發(fā)明實(shí)施例分布式數(shù)據(jù)處理方法流程圖； 圖3為本發(fā)明實(shí)施例另一種分布式數(shù)據(jù)處理方法流程圖； 圖4為本發(fā)明實(shí)施例的另一種分布式數(shù)據(jù)處理方法流程圖； 圖5為本發(fā)明實(shí)施例的在分布式服務(wù)器上設(shè)置全局文件的分布式數(shù)據(jù) 處理方法流程圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述 如圖l所示，為本發(fā)明實(shí)施例分布式數(shù)據(jù)處理系統(tǒng)結(jié)構(gòu)圖。 該分布式數(shù)據(jù)處理系統(tǒng)包括至少一個(gè)分布式服務(wù)器1和至少一個(gè)分布 式節(jié)點(diǎn)2,其中，分布式服務(wù)器1用于接受用戶部署的分布式應(yīng)用文件并 對(duì)與分布式服務(wù)器i連接的分布式節(jié)點(diǎn)2進(jìn)行管理，該分布式應(yīng)用文件包 括流程控制部分和邏輯計(jì)算部分，流程控制部分用于對(duì)分布式計(jì)算的流程 進(jìn)行控制，例如開始分布式任務(wù)、執(zhí)行邏輯計(jì)算部分中的一個(gè)或多個(gè)邏輯 計(jì)算任務(wù)、結(jié)束該分布式計(jì)算任務(wù)并根據(jù)分布式應(yīng)用文件合并結(jié)果。分布式 節(jié)點(diǎn)2用于接收分布式服務(wù)器1下發(fā)的分布式應(yīng)用文件并執(zhí)行該分布式應(yīng)用 文件，將該分布式應(yīng)用文件分配給分布式節(jié)點(diǎn)2處理的數(shù)據(jù)取回，并將處理 結(jié)果返回給分布式服務(wù)器1;分布式服務(wù)器1在判斷該分布式應(yīng)用文件所分配的所有分布式節(jié)點(diǎn)2均完成處理任務(wù)后，執(zhí)行數(shù)據(jù)合并操作，得到最終的處 理結(jié)果，并釋放資源清除任務(wù)。其中，分布式服務(wù)器1包括任務(wù)分配執(zhí)行模塊13、資源鎖管理才莫塊ll、分布式文件處理模塊12和數(shù)據(jù)合并模塊14。任務(wù)分配執(zhí)行模塊13用于將用 戶部署的分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)，并對(duì)各個(gè)分布式節(jié)點(diǎn)進(jìn)行 管理；資源鎖管理模塊11用于管理共享資源，當(dāng)分布式節(jié)點(diǎn)2向分布式服務(wù) 器1申請(qǐng)資源時(shí)，將共享資源鎖定只能由申請(qǐng)的分布式節(jié)點(diǎn)2使用，并在分 布式節(jié)點(diǎn)2將文件取回后釋放該共享資源；分布式文件處理模塊12,用于根 據(jù)用戶部署的分布式應(yīng)用文件生成全局文件，該全局文件由各個(gè)分布式節(jié)點(diǎn)2 上的本地文件構(gòu)成，分布式節(jié)點(diǎn)2將分布式節(jié)點(diǎn)2上的本地文件向分布式服 務(wù)器1上的全局文件注冊(cè)，可以通過全局文件讀寫該全局文件包含的所有文 件；數(shù)據(jù)合并模塊14，用于建立與用戶部署的分布式應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫 表，并在各個(gè)分布式節(jié)點(diǎn)2自動(dòng)將計(jì)算結(jié)果信息插入該數(shù)據(jù)庫表后將該數(shù)據(jù) 庫表中的數(shù)據(jù)合并。其中，分布式節(jié)點(diǎn)2包括文件處理模塊，用于執(zhí)行分布式服務(wù)器1下發(fā) 的分布式應(yīng)用文件，并將該分布式應(yīng)用文件分配給分布式節(jié)點(diǎn)處理的數(shù)據(jù)取 回。其中，分布式服務(wù)器1中的任務(wù)分配執(zhí)行模塊13包括命令解析子模塊 131、網(wǎng)絡(luò)傳輸子模塊132、線程組管理子模塊133和多線程管理子模塊134。 命令解析子沖莫塊131用于將向分布式節(jié)點(diǎn)2發(fā)送的分布式應(yīng)用文件進(jìn)行打包， 生成可以在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)，交由網(wǎng)絡(luò)傳輸子模塊132通過TCP/IP協(xié)議發(fā) 送給分布式節(jié)點(diǎn)2,還可通過自定義的傳輸應(yīng)用層協(xié)議，該協(xié)議包括字頭+ 長度+地址+保留字+序列號(hào)+命令字+數(shù)據(jù)，其中數(shù)據(jù)采用了 Base64的編碼； 線程組管理子模塊133用于管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配子模塊134用于當(dāng)所述分布式系統(tǒng)同時(shí)處理多個(gè)所述分布式應(yīng)用文件時(shí)，針 對(duì)不同的分布式應(yīng)用文件管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到 同一分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。其中，分布式服務(wù)器1還包括分布式應(yīng)用文件模塊15和日志管理模塊16, 分布式應(yīng)用文件模塊15用于對(duì)分布式應(yīng)用文件的讀寫，分布式服務(wù)器1中的 其它模塊通過分布式應(yīng)用文件模塊15來得到本系統(tǒng)的配置信息，例如端口號(hào)； 日志管理模塊16用于記錄本系統(tǒng)運(yùn)行的日志信息，并根據(jù)記錄的日志信息分 析平臺(tái)的運(yùn)行情況。
如圖2所示，為本發(fā)明實(shí)施例分布式數(shù)據(jù)處理方法流程圖，包括以下步
驟
步驟201，在分布式服務(wù)器上部署分布式應(yīng)用文件。該分布式應(yīng)用文件 包括流程控制部分和邏輯計(jì)算部分，流程控制部分用于對(duì)分布式計(jì)算的流 程進(jìn)行控制，例如開始分布式任務(wù)、執(zhí)行邏輯計(jì)算部分中的一個(gè)或多個(gè)邏 輯計(jì)算任務(wù)、結(jié)束該分布式計(jì)算任務(wù)并根據(jù)分布式應(yīng)用文件合并結(jié)果。通過 分布式應(yīng)用文件的流程控制部分在分布式服務(wù)器上創(chuàng)建一個(gè)任務(wù)，并給該任 務(wù)分配任務(wù)號(hào)、網(wǎng)絡(luò)連接等資源，以便該分布式服務(wù)器可以同時(shí)處理多個(gè)任 務(wù)，而保證這些任務(wù)之間不會(huì)相互沖突。分布式服務(wù)器初始化該任務(wù)的信息， 包括初始化該任務(wù)的工作目錄，將部署的分布式應(yīng)用文件存入該工作目泉中。
步驟202，分布式服務(wù)器將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。
點(diǎn)，分布式節(jié)點(diǎn)根據(jù)收到的分布式應(yīng)用文件在該分布式節(jié)點(diǎn)上重建針對(duì)該任 務(wù)的工作目錄。其中分布式節(jié)點(diǎn)接收到的分布式應(yīng)用文件也包括流程控制部 分和邏輯計(jì)算部分，這樣分布式節(jié)點(diǎn)就知道了自己分配的任務(wù)以及需要進(jìn)行 的邏輯計(jì)算，因此該分布式節(jié)點(diǎn)就可以才艮據(jù)分布式應(yīng)用文件進(jìn)行分布式計(jì)算。 分布式服務(wù)器還將該系統(tǒng)內(nèi)的分布式服務(wù)器及各個(gè)分布式節(jié)點(diǎn)的信息發(fā)送給 本系統(tǒng)的各個(gè)分布式節(jié)點(diǎn)，包括分布式節(jié)點(diǎn)的數(shù)量、編號(hào)等，分布式節(jié)點(diǎn)將 這些信息設(shè)置為環(huán)境變量。
步驟203，分布式節(jié)點(diǎn)執(zhí)行分布式服務(wù)器下發(fā)的分布式應(yīng)用文件，如果分 配給分布式節(jié)點(diǎn)處理的數(shù)據(jù)不在該分布式節(jié)點(diǎn)上，則該分布式節(jié)點(diǎn)需要從其 它分布式節(jié)點(diǎn)或系統(tǒng)的共享資源中將該文件取回，其中該共享資源包括凝:據(jù)將文件取回。步驟204,分布式節(jié)點(diǎn)將執(zhí)行后的結(jié)果返回給分布式服務(wù)器。分布式服務(wù) 器在判斷所有分配到分布式應(yīng)用文件的分布式節(jié)點(diǎn)全部完成了處理任務(wù)后。 自動(dòng)將各個(gè)分布式節(jié)點(diǎn)返回的執(zhí)行結(jié)果合并，并釋放資源，清除在分布式服 務(wù)器上創(chuàng)建的任務(wù)。如圖3所示，為本發(fā)明實(shí)施例另一種分布式數(shù)據(jù)處理方法流程圖，為了 實(shí)現(xiàn)任務(wù)之間的同步和互斥，分布式服務(wù)器對(duì)本系統(tǒng)的共享資源進(jìn)行管理， 包括以下步驟步驟301,在分布式服務(wù)器上部署分布式應(yīng)用文件。該分布式應(yīng)用文件 包括流程控制部分和邏輯計(jì)算部分，流程控制部分用于對(duì)分布式計(jì)算的流 程進(jìn)行控制，例如開始分布式任務(wù)、執(zhí)行邏輯計(jì)算部分中的一個(gè)或多個(gè)邏 輯計(jì)算任務(wù)、結(jié)束該分布式計(jì)算任務(wù)并根據(jù)分布式應(yīng)用文件合并結(jié)果。通過 分布式應(yīng)用文件的流程控制部分在分布式服務(wù)器上創(chuàng)建一個(gè)任務(wù)，并給該任 務(wù)分配任務(wù)號(hào)、網(wǎng)絡(luò)連接等資源，以便該分布式服務(wù)器可以同時(shí)處理多個(gè)任 務(wù)，而保證這些任務(wù)之間不會(huì)相互沖突。分布式服務(wù)器初始化該任務(wù)的信息， 包括初始化該任務(wù)的工作目錄，將部署的分布式應(yīng)用文件存入該工作目錄中。步驟302，分布式服務(wù)器將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。分布式服務(wù)器將該工作目錄中的分布式應(yīng)用文件打包發(fā)送給分布式節(jié) 點(diǎn)，分布式節(jié)點(diǎn)根據(jù)收到的分布式應(yīng)用文件在該分布式節(jié)點(diǎn)上重建針對(duì)該任 務(wù)的工作目錄。其中分布式節(jié)點(diǎn)接收到的分布式應(yīng)用文件也包括流程控制部 分和邏輯計(jì)算部分，這樣分布式節(jié)點(diǎn)就知道了自己分配的任務(wù)以及需要進(jìn)行 的邏輯計(jì)算，因此該分布式節(jié)點(diǎn)就可以自己根據(jù)分布式應(yīng)用文件進(jìn)行分布式 計(jì)算。分布式服務(wù)器還將該系統(tǒng)內(nèi)的分布式服務(wù)器及各個(gè)分布式節(jié)點(diǎn)的信息 發(fā)送給本系統(tǒng)的各個(gè)分布式節(jié)點(diǎn)，包括分布式節(jié)點(diǎn)的數(shù)量、編號(hào)等，分布式 節(jié)點(diǎn)將這些信息設(shè)置為環(huán)境變量。步驟303,分布式節(jié)點(diǎn)執(zhí)行分布式應(yīng)用文件，并將分布式應(yīng)用文件分配給 分布式節(jié)點(diǎn)處理的數(shù)據(jù)從共享資源中取回。分布式節(jié)點(diǎn)執(zhí)行收到的分布式應(yīng)用文件并根據(jù)該分布式應(yīng)用文件分配的需要將由本分布式節(jié)點(diǎn)處理的數(shù)據(jù)從其它分布式節(jié)點(diǎn)或本系統(tǒng)的共享資源中
取回，其中，該共享資源包括數(shù)據(jù)庫等；為了實(shí)現(xiàn)任務(wù)之間的同步和互斥， 因此分布式服務(wù)器需要對(duì)本系統(tǒng)的共享資源進(jìn)行管理。如果該文件在本系統(tǒng) 的共享資源中，則分布式節(jié)點(diǎn)首先向分布式服務(wù)器申請(qǐng)資源，分布式服務(wù)器 就會(huì)給該任務(wù)的該分布式節(jié)點(diǎn)分配一個(gè)資源鎖，將共享資源鎖定，例如將數(shù) 據(jù)庫鎖定，不允許其它的分布式節(jié)點(diǎn)使用；當(dāng)分布式節(jié)點(diǎn)使用完共享資源后 通知分布式服務(wù)器釋放該共享資源，允許其它的分布式節(jié)點(diǎn)使用。
步驟304，分布式節(jié)點(diǎn)將執(zhí)行后的結(jié)果返回給分布式服務(wù)器。分布式服務(wù) 器在判斷所有分配到分布式應(yīng)用文件的分布式節(jié)點(diǎn)全部完成了處理任務(wù)后。
自動(dòng)將各個(gè)分布式節(jié)點(diǎn)返回的執(zhí)行結(jié)果合并，并釋放資源，清除在分布式服 務(wù)器上創(chuàng)建的任務(wù)。
如圖4所示，為本發(fā)明實(shí)施例的另一種分布式數(shù)據(jù)處理方法流程圖， 該實(shí)施例將各個(gè)分布式節(jié)點(diǎn)處理后代局部結(jié)果纟艮據(jù)配置信息合并成一個(gè)全局 結(jié)果，包括以下步驟
步驟401，在分布式服務(wù)器上部署分布式應(yīng)用文件。該分布式應(yīng)用文件 包括流程控制部分和邏輯計(jì)算部分，流程控制部分用于對(duì)分布式計(jì)算的流 程進(jìn)行控制，例如開始分布式任務(wù)、執(zhí)行邏輯計(jì)算部分中的一個(gè)或多個(gè)邏 輯計(jì)算任務(wù)、結(jié)束該分布式計(jì)算任務(wù)并根據(jù)分布式應(yīng)用文件合并結(jié)果。通過 分布式應(yīng)用文件的流程控制部分在分布式服務(wù)器上創(chuàng)建一個(gè)任務(wù)，并給該任 務(wù)分配任務(wù)號(hào)、網(wǎng)絡(luò)連接等資源，以便該分布式服務(wù)器可以同時(shí)處理多個(gè)任 務(wù)，而保證這些任務(wù)之間不會(huì)相互沖突。分布式服務(wù)器初始化該任務(wù)的信息， 包括初始化該任務(wù)的工作目錄，將部署的分布式應(yīng)用文件存入該工作目錄中。
步驟402,分布式服務(wù)器將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。
點(diǎn)，分布式節(jié)點(diǎn)根據(jù)收到的分布式應(yīng)用文件在該分布式節(jié)點(diǎn)上重建針對(duì)該任 務(wù)的工作目錄。其中分布式節(jié)點(diǎn)接收到的分布式應(yīng)用文件也包括流程控制部 分和邏輯計(jì)算部分，這樣分布式節(jié)點(diǎn)就知道了自己分配的任務(wù)以及需要進(jìn)行 的邏輯計(jì)算，因此該分布式節(jié)點(diǎn)就可以自己才艮據(jù)分布式應(yīng)用文件進(jìn)行分布式計(jì)算。分布式服務(wù)器還將該系統(tǒng)內(nèi)的分布式服務(wù)器及各個(gè)分布式節(jié)點(diǎn)的信息 發(fā)送給本系統(tǒng)的各個(gè)分布式節(jié)點(diǎn)，包括分布式節(jié)點(diǎn)的數(shù)量、編號(hào)等，分布式 節(jié)點(diǎn)將這些信息設(shè)置為環(huán)境變量。步驟403,分布式節(jié)點(diǎn)執(zhí)行收到的分布式應(yīng)用文件，并將分布式應(yīng)用文件 分配給分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回。分布式節(jié)點(diǎn)執(zhí)行收到的分布式應(yīng)用文件， 并根據(jù)該分布式應(yīng)用文件分配的需要由本分布式節(jié)點(diǎn)處理的數(shù)據(jù)從其它分布 式節(jié)點(diǎn)或本系統(tǒng)的共享資源中取回，其中，該共享資源包括數(shù)據(jù)庫等；為了 實(shí)現(xiàn)任務(wù)之間的同步和互斥，因此分布式服務(wù)器需要對(duì)本系統(tǒng)的共享資源進(jìn) 行管理。如果該文件在本系統(tǒng)的共享資源中，則分布式節(jié)點(diǎn)首先向分布式服 務(wù)器申請(qǐng)資源，分布式服務(wù)器就會(huì)給該任務(wù)的該分布式節(jié)點(diǎn)分配一個(gè)資源鎖， 將共享資源鎖定，例如將數(shù)據(jù)庫鎖定，不允許其它的分布式節(jié)點(diǎn)使用；當(dāng)分 布式節(jié)點(diǎn)使用完共享資源后通知分布式服務(wù)器釋放該共享資源，允許其它的 分布式節(jié)點(diǎn)使用。步驟404，分布式服務(wù)器建立根據(jù)用戶部署的分布式應(yīng)用文件設(shè)置對(duì)應(yīng)的 數(shù)據(jù)庫表。步驟405,各個(gè)分布式節(jié)點(diǎn)在完成分布式計(jì)算任務(wù)后自動(dòng)將計(jì)算結(jié)泉信息 插入該數(shù)據(jù)庫表中；分布式服務(wù)器在判斷所有分配到分布式應(yīng)用文件的分布 式節(jié)點(diǎn)全部完成了處理任務(wù)后，自動(dòng)將該數(shù)據(jù)庫表中的數(shù)據(jù)合并，并釋放資 源，清除在分布式服務(wù)器上創(chuàng)建的任務(wù)。這樣本系統(tǒng)可以自動(dòng)進(jìn)行數(shù)據(jù)的合 并，隱藏了分布式計(jì)算中的數(shù)據(jù)合并細(xì)節(jié)，減輕了用戶的工作量。如圖5所示，為本發(fā)明實(shí)施例的在分布式服務(wù)器上設(shè)置全局文件的分 布式數(shù)據(jù)處理方法流程圖，在分布式服務(wù)器上設(shè)置全局文件，各個(gè)分布式節(jié) 點(diǎn)自動(dòng)將分布式節(jié)點(diǎn)上的本地文件向該全局文件注冊(cè)，這樣用戶只需要知道 一個(gè)全局文件，而不需要知道這個(gè)全局文件由哪些文件構(gòu)成，又保存在哪些 分布式節(jié)點(diǎn)上，降低了分布式計(jì)算的復(fù)雜度，減輕了用戶的工作量。該實(shí)施 例包括以下步驟步驟501,在分布式服務(wù)器上部署分布式應(yīng)用文件。該分布式應(yīng)用文件 包括流程控制部分和邏輯計(jì)算部分，流程控制部分用于對(duì)分布式計(jì)算的流程進(jìn)行控制，例如開始分布式任務(wù)、執(zhí)行邏輯計(jì)算部分中的一個(gè)或多個(gè)邏 輯計(jì)算任務(wù)、結(jié)束該分布式計(jì)算任務(wù)并根據(jù)分布式應(yīng)用文件合并結(jié)果。通過 分布式應(yīng)用文件的流程控制部分在分布式服務(wù)器上創(chuàng)建一個(gè)任務(wù)，并給該任 務(wù)分配任務(wù)號(hào)、網(wǎng)絡(luò)連接等資源，以便該分布式服務(wù)器可以同時(shí)處理多個(gè)任 務(wù)，而保證這些任務(wù)之間不會(huì)相互沖突。分布式服務(wù)器初始化該任務(wù)的信息， 包括初始化該任務(wù)的工作目錄，將部署的分布式應(yīng)用文件存入該工作目錄中。步驟502,根據(jù)該分布式應(yīng)用文件在分布式服務(wù)器上生成全局文件，該全局文件由分布在各個(gè)分布式節(jié)點(diǎn)上的本地文件構(gòu)成。步驟503，分布式服務(wù)器將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。 分布式服務(wù)器將該工作目錄中的分布式應(yīng)用文件打包發(fā)送給分布式節(jié) 點(diǎn)，分布式節(jié)點(diǎn)根據(jù)收到的分布式應(yīng)用文件在該分布式節(jié)點(diǎn)上重建針對(duì)該任 務(wù)的工作目錄。其中分布式節(jié)點(diǎn)接收到的分布式應(yīng)用文件也包括流程控制部 分和邏輯計(jì)算部分，以及在分布式服務(wù)器上生成的全局文件信息，這樣分 布式節(jié)點(diǎn)就知道了自己分配的任務(wù)以及需要進(jìn)行的邏輯計(jì)算，因此該分布式 節(jié)點(diǎn)就可以自己根據(jù)分布式應(yīng)用文件進(jìn)行分布式計(jì)算。分布式服務(wù)器還將該 系統(tǒng)內(nèi)的分布式服務(wù)器及各個(gè)分布式節(jié)點(diǎn)的信息發(fā)送給本系統(tǒng)的各個(gè)分布式 節(jié)點(diǎn)，包括分布式節(jié)點(diǎn)的數(shù)量、編號(hào)等，分布式節(jié)點(diǎn)將這些信息設(shè)置為環(huán)境 變量。步驟504,分布式節(jié)點(diǎn)根據(jù)下發(fā)的全局文件的信息將分布式節(jié)點(diǎn)上的本地 文件向全局文件注冊(cè)，分布式節(jié)點(diǎn)也可將從共享資源取回的文件作為本地文 件自動(dòng)向分布式服務(wù)器上的全局文件注冊(cè)。這樣用戶只需要知道一個(gè)全局文 件，而不需要知道這個(gè)全局文件由哪些文件構(gòu)成，又保存在哪些分布式節(jié)點(diǎn) 上，降低了分布式計(jì)算的復(fù)雜度，減輕了用戶的工作量。步驟505，分布式節(jié)點(diǎn)執(zhí)行收到的分布式應(yīng)用文件，并將分布式應(yīng)用文件 分配給分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回，其中分配給分布式節(jié)點(diǎn)處理的數(shù)據(jù)也包 括分布式服務(wù)器上的全局文件，因此分布式節(jié)點(diǎn)也需要將該全局文件從分布 式服務(wù)器上取回，并將該全局文件包括的其它文件從其它分布式節(jié)點(diǎn)或共享 資源中取回，為了實(shí)現(xiàn)任務(wù)之間的同步和互斥，分布式服務(wù)器需要對(duì)本系統(tǒng)的共享資源進(jìn)行管理。如果該文件在本系統(tǒng)的共享資源中，則分布式節(jié)點(diǎn)首 先向分布式服務(wù)器申請(qǐng)資源，分布式服務(wù)器就會(huì)給該任務(wù)的該分布式節(jié)點(diǎn)分 配一個(gè)資源鎖，將共享資源鎖定，例如將數(shù)據(jù)庫鎖定，不允許其它的分布式
節(jié)點(diǎn)使用；當(dāng)分布式節(jié)點(diǎn)使用完共享資源后通知分布式服務(wù)器釋放該共享資 源，允許其它的分布式節(jié)點(diǎn)使用。
步驟506，分布式節(jié)點(diǎn)將執(zhí)行后的結(jié)果返回給分布式服務(wù)器。分布式服務(wù) 器在判斷所有分配到分布式應(yīng)用文件的分布式節(jié)點(diǎn)全部完成了處理任務(wù)后。 自動(dòng)將各個(gè)分布式節(jié)點(diǎn)返回的執(zhí)行結(jié)果合并，并釋放資源，清除在分布式服 務(wù)器上創(chuàng)建的任務(wù)。
通過本發(fā)明實(shí)施例，用戶只需要編寫分布式應(yīng)用的代碼，而不需要考慮 分布式應(yīng)用的細(xì)節(jié)，因此用戶編寫分布式應(yīng)用的效率大大提高。在用戶編寫 完分布式應(yīng)用后，只需要在分布式服務(wù)器上就可完成部署和發(fā)布。特別是分 布式節(jié)點(diǎn)與業(yè)務(wù)類型完全不相關(guān)，解決了原本有邏輯的訪問日志被人為的切 分開的問題，并且分布式節(jié)點(diǎn)可以隨時(shí)增減而不影響整個(gè)系統(tǒng)的運(yùn)行。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的 普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn) 和潤飾，這些改進(jìn)和潤飾也應(yīng)3見為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種分布式數(shù)據(jù)處理方法，其特征在于，包括以下步驟在分布式服務(wù)器上部署分布式應(yīng)用文件；分布式服務(wù)器將所述分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)；所述分布式節(jié)點(diǎn)執(zhí)行所述分布式應(yīng)用文件并將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回。
2、 如權(quán)利要求l所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式 節(jié)點(diǎn)將文件取回之后，還包括以下步驟所述分布式節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器。
3、 如權(quán)利要求2所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式 節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還包括以下步驟所述分布式服務(wù)器將各個(gè)分布式節(jié)點(diǎn)返回的處理結(jié)果合并。
4、 如權(quán)利要求2所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式 節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還包括以下步驟判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)；如果全部完成則所述分布式服務(wù)器將各個(gè)分布式節(jié)點(diǎn)返回的處理結(jié)果合并。
5、 如權(quán)利要求1所述分布式數(shù)據(jù)處理方法，其特征在于，所述分布式節(jié) 點(diǎn)將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回，具體包括 以下步驟如果所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)在共享資源 上，則所述分布式節(jié)點(diǎn)向所述分布式服務(wù)器申請(qǐng)資源；所述分布式服務(wù)器將所述共享資源鎖定，只能由所述申請(qǐng)的分布式節(jié)點(diǎn) 使用；所述分布式節(jié)點(diǎn)在將所述文件取回后通知所述分布式服務(wù)器釋放所述共 享資源。
6、 如權(quán)利要求5所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式節(jié)點(diǎn)將文件從所述共享資源取回前，還包括以下步驟所述分布式服務(wù)器根據(jù)所述配置信息設(shè)置全局文件；在所述分布式節(jié)點(diǎn)將文件從所述共享資源取回之后，還包括，所述分布 式節(jié)點(diǎn)將從所述共享資源取回的文件作為本地文件向所述分布式服務(wù)器上的所述全局文件注冊(cè)；所述分布式節(jié)點(diǎn)向所述分布式服務(wù)器發(fā)送請(qǐng)求獲取所述全局文件； 根據(jù)所述全局文件將所述全局文件包含的所有文件取回。
7、 如權(quán)利要求2所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式 節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之前，還包括以下步驟所述分布式服務(wù)器建立與所述分布式應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫表。
8、 如權(quán)利要求2所述分布式數(shù)據(jù)處理方法，其特征在于，在所述分布式 節(jié)點(diǎn)將處理結(jié)果返回給所述分布式服務(wù)器之后，還包括以下步驟所述各個(gè)分布式節(jié)點(diǎn)完成分布式計(jì)算任務(wù)后自動(dòng)將計(jì)算結(jié)果信息插入所 述數(shù)據(jù)庫表；所述分布式服務(wù)器將所述數(shù)據(jù)庫表中的數(shù)據(jù)合并。
9、 一種分布式數(shù)據(jù)處理系統(tǒng)，包括至少一個(gè)分布式節(jié)點(diǎn)和至少一個(gè)分布 式服務(wù)器，其特征在于，所述分布式服務(wù)器用于接受用戶的分布式應(yīng)用文件 并對(duì)與所述分布式服務(wù)器連接的所述分布式節(jié)點(diǎn)進(jìn)行管理，所述分布式節(jié)點(diǎn)應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回。
10、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式 服務(wù)器包括任務(wù)分配執(zhí)行模塊，用于將分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié) 點(diǎn)。
11、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式 節(jié)點(diǎn)包括文件處理模塊，用于執(zhí)行所述分布式應(yīng)用文件，并將所述分布式應(yīng) 用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回。
12、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述任務(wù)分 配執(zhí)行模塊還包括線程組管理模塊，用于管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。
13、 如權(quán)利要求12所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述任務(wù)分 配執(zhí)行模塊還包括多線程管理子模塊，用于當(dāng)所述分布式系統(tǒng)同時(shí)處理多個(gè) 所述分布式應(yīng)用文件時(shí)，針對(duì)所述不同的分布式應(yīng)用文件管理所述各個(gè)分布 式節(jié)點(diǎn)的執(zhí)行情況，判斷分配到同一分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部 完成了處理任務(wù)。
14、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式 服務(wù)器還包括資源鎖管理模塊，用于管理共享資源，當(dāng)所述分布式節(jié)點(diǎn)向所 述分布式服務(wù)器申請(qǐng)資源時(shí)，將所述共享資源鎖定只能由所述申請(qǐng)的分布式 節(jié)點(diǎn)使用；并在所述分布式節(jié)點(diǎn)將所述文件取回后釋放所述共享資源。
15、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式 服務(wù)器還包括分布式文件處理模塊，用于根據(jù)所述分布式應(yīng)用文件生成全局 文件，所述全局文件由所述各個(gè)分布式節(jié)點(diǎn)上的本地文件構(gòu)成，所述分布式 節(jié)點(diǎn)將所述分布式節(jié)點(diǎn)上的本地文件向所述分布式服務(wù)器上的全局文件注 冊(cè)，并通過所述全局文件讀寫所述全局文件包含的所有文件。
16、 如權(quán)利要求9所述分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，所述分布式 服務(wù)器還包括數(shù)據(jù)合并模塊，用于建立與所述分布式應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫 表，并在所述各個(gè)分布式節(jié)點(diǎn)自動(dòng)將計(jì)算結(jié)果信息插入所述數(shù)據(jù)庫表后將所 述數(shù)據(jù)庫表中的數(shù)據(jù)合并。
17、 一種分布式服務(wù)器，其特征在于，包括任務(wù)分配執(zhí)行模塊，用于將 分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)。
18、 如權(quán)利要求17所述分布式服務(wù)器，其特征在于，所述任務(wù)分配執(zhí)行 模塊還包括線程組管理子模塊，用于管理所述各個(gè)分布式節(jié)點(diǎn)的執(zhí)行情況， 判斷分配到所述分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。
19、 如權(quán)利要求18所述分布式服務(wù)器，其特征在于，所述任務(wù)分配執(zhí)行 模塊還包括多線程管理子模塊，用于當(dāng)所述分布式系統(tǒng)同時(shí)處理多個(gè)所述分的執(zhí)行情況，判斷分配到同一分布式應(yīng)用文件的分布式節(jié)點(diǎn)是否全部完成了處理任務(wù)。
20、 如權(quán)利要求17所述分布式服務(wù)器，其特征在于，還包括資源鎖管理 模塊，用于管理共享資源，當(dāng)所述分布式節(jié)點(diǎn)向所述分布式服務(wù)器申請(qǐng)資源 時(shí)，將所述共享資源鎖定只能由所述申請(qǐng)的分布式節(jié)點(diǎn)使用；并在所述分布 式節(jié)點(diǎn)將所述文件取回后釋^:所述共享資源。
21、 如權(quán)利要求17所述分布式服務(wù)器，其特征在于，還包括分布式文件 處理模塊，用于根據(jù)所述分布式應(yīng)用文件生成全局文件，所述全局文件由所 述各個(gè)分布式節(jié)點(diǎn)上的本地文件構(gòu)成，所述分布式節(jié)點(diǎn)將所述分布式節(jié)點(diǎn)上的本地文件向所述分布式服務(wù)器上的全局文件注冊(cè)，并通過所述全局文件讀 寫所述全局文件包含的所有文件。
22、 如權(quán)利要求17所述分布式服務(wù)器，其特征在于，還包括數(shù)據(jù)合并模 塊，用于建立與所述分布式應(yīng)用文件對(duì)應(yīng)的數(shù)據(jù)庫表，并在所述各個(gè)分布式 節(jié)點(diǎn)自動(dòng)將計(jì)算結(jié)果信息插入所述數(shù)據(jù)庫表后將所述數(shù)據(jù)庫表中的數(shù)據(jù)合 并。
23、 一種分布式節(jié)點(diǎn)，其特征在于，包括文件處理模塊，用于執(zhí)行所述 分布式應(yīng)用文件，并將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù) 據(jù)取回。
全文摘要
本發(fā)明公開了一種分布式數(shù)據(jù)處理方法，包括以下步驟在分布式服務(wù)器上部署分布式應(yīng)用文件；分布式服務(wù)器將所述分布式應(yīng)用文件下發(fā)給各個(gè)分布式節(jié)點(diǎn)；所述分布式節(jié)點(diǎn)執(zhí)行所述分布式應(yīng)用文件，并將所述分布式應(yīng)用文件分配給所述分布式節(jié)點(diǎn)處理的數(shù)據(jù)取回后計(jì)算，并將計(jì)算結(jié)果返回給分布式服務(wù)器，分布式服務(wù)器將返回結(jié)果合并成最終結(jié)果。通過本發(fā)明實(shí)施例，用戶只需要編寫分布式應(yīng)用的代碼，而不需要考慮分布式應(yīng)用的細(xì)節(jié)，因此用戶編寫分布式應(yīng)用的效率大大提高。在用戶編寫完分布式應(yīng)用后，只需要在分布式服務(wù)器上就可完成部署和發(fā)布。
文檔編號(hào)H04L12/24GK101291245SQ200710090149
公開日2008年10月22日 申請(qǐng)日期2007年4月16日 優(yōu)先權(quán)日2007年4月16日
發(fā)明者吳偉勛, 李江華, 松 陳 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司