本發(fā)明實施例涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種分布式調(diào)度系統(tǒng)、方法。

背景技術(shù)：

ETL(Extract-Transform-Load，數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)處理)是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，是指用戶從數(shù)據(jù)源抽取(extract)出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換(transform)，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載(load)到數(shù)據(jù)倉庫中去的過程。

在離線ETL中，通常按照各個數(shù)據(jù)倉庫模型架構(gòu)，開發(fā)各個層的ETL任務(wù)，而這些任務(wù)通常是發(fā)布到ETL任務(wù)調(diào)度系統(tǒng)進(jìn)行運行，需要一個高可用的調(diào)度系統(tǒng)，來保證任務(wù)及時，準(zhǔn)確的運行。

現(xiàn)有調(diào)度系統(tǒng)實現(xiàn)方法通常包括兩種，一是集中式的，另一個是單master/slave(主/從)結(jié)構(gòu)。集中式調(diào)度系統(tǒng)是一個大型的中央系統(tǒng)，其終端是客戶機(jī)，所有的調(diào)度任務(wù)都由該大型的中央系統(tǒng)完成，終端只是用來輸入和輸出。然而，發(fā)明人在實現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，集中式調(diào)度的缺陷在于，一方面，數(shù)據(jù)處理任務(wù)調(diào)度信息集中匯總到中央系統(tǒng)這一管理節(jié)點上，導(dǎo)致信息流擁擠；另一方面，管理節(jié)點發(fā)生故障會影響整個調(diào)度系統(tǒng)的正常工作。

在master/slave(主/從)結(jié)構(gòu)的調(diào)度系統(tǒng)中，Master提供web接口讓用戶來管理job(作為一個單元處理的作業(yè))和slave，job可以運行在master本機(jī)或者被分配到slave上運行。一個master可以關(guān)聯(lián)多個slave用來為不同的job或相同的job的不同配置來服務(wù)。發(fā)明人在實現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，單master/slave(主/從)結(jié)構(gòu)會存在master擴(kuò)展性問題和單點故障問題，這些問題同樣會影響調(diào)度系統(tǒng)的任務(wù)處理的及時性與正確性。

因此，一種新的分布式調(diào)度系統(tǒng)亟待提出。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種分布式調(diào)度系統(tǒng)、方法，用以解決現(xiàn)有技術(shù)中調(diào)度系統(tǒng)數(shù)據(jù)處理任務(wù)的及時性與正確性無法保障的缺陷，實現(xiàn)了調(diào)度系統(tǒng)的高可用，保證了調(diào)度任務(wù)及時，準(zhǔn)確的運行。

本發(fā)明實施例提供一種分布式調(diào)度系統(tǒng)，包括：

所述前端層，包含至少一個調(diào)度前端，所述調(diào)度前端用于開發(fā)前端數(shù)據(jù)處理任務(wù)，向所述中心層申請上線所述數(shù)據(jù)處理任務(wù)；在接收所述中心層的上線允許之后上線并展示所述數(shù)據(jù)處理任務(wù)；

所述中心層，包含至少一個調(diào)度中心，所述調(diào)度中心用于在接收到所述調(diào)度前端發(fā)出的上線請求時判斷是否允許所述數(shù)據(jù)處理任務(wù)上線，并根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組；

所述運行層，包含至少一個所述運行分組，所述運行分組用于執(zhí)行所述調(diào)度中心分發(fā)的所述數(shù)據(jù)處理任務(wù)。

本發(fā)明實施例提供一種分布式調(diào)度方法，包括：

調(diào)用前端層的調(diào)度前端開發(fā)前端數(shù)據(jù)處理任務(wù)并向中心層申請上線所述數(shù)據(jù)處理任務(wù)；

調(diào)用所述中心層的調(diào)度中心判斷是否允許所述數(shù)據(jù)處理任務(wù)上線；

在接收所述調(diào)度中心的上線允許后，調(diào)用所述調(diào)度中心根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組；

調(diào)用所述調(diào)度前端，上線并展示所述數(shù)據(jù)處理任務(wù)；

調(diào)用運行層的所述運行分組執(zhí)行所述調(diào)度中心分發(fā)的所述數(shù)據(jù)處理任務(wù)。

本發(fā)明實施例提供的分布式調(diào)度系統(tǒng)、方法，通過將調(diào)度系統(tǒng)進(jìn)行分層，并在每一層中采用分布式的方式進(jìn)行部署，為調(diào)度系統(tǒng)實現(xiàn)了無限擴(kuò)展的可能性；中心層包含至少一個調(diào)度中心，調(diào)度中心的分布式設(shè)計，改變了現(xiàn)有技術(shù)中進(jìn)行分布式調(diào)度時，信息流擁擠、擴(kuò)展性差以及單點故障導(dǎo)致的調(diào)度系統(tǒng)無法保障數(shù)據(jù)處理任務(wù)的及時性與正確性的缺陷，現(xiàn)了調(diào)度系統(tǒng)的高可用，保證了調(diào)度任務(wù)及時，準(zhǔn)確的運行；與此同時，運行層采用不同的分組方式，每一分組對應(yīng)不同的用戶，做到了各個用戶之間的數(shù)據(jù)處理任務(wù)互不影響，提高了調(diào)度任務(wù)處理的準(zhǔn)確性以及穩(wěn)定性。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請實施例分布式調(diào)度系統(tǒng)的架構(gòu)示意圖；

圖2為申請實施例的分布式調(diào)度方法位于前端層的技術(shù)流程圖；

圖3為申請實施例的分布式調(diào)度方法位于中心層的技術(shù)流程圖；

圖4為申請實施例的分布式調(diào)度方法位于運行層的技術(shù)流程圖；

圖5為申請實施例的分布式調(diào)度方法整體的技術(shù)流程圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

圖1是本申請實施提供的一種分布式調(diào)度系統(tǒng)的架構(gòu)示意圖，系統(tǒng)包括三層：前端層10、中心層20以及運行層30。其中，所述前端層包含至少一個調(diào)度前端11，所述中心層包含至少一個調(diào)度中心21，所述運行層包含至少一個運行分組31，每個運行分組中包含至少一個運行節(jié)點311。本申請實施例中，調(diào)度系統(tǒng)的每一層都是分布式架構(gòu)，從而保證了調(diào)度系統(tǒng)的高可用性。

其中，所述調(diào)度前端11用于開發(fā)前端數(shù)據(jù)處理任務(wù)，向所述中心層申請上線所述數(shù)據(jù)處理任務(wù)；在接收所述中心層的上線允許之后上線并展示所述數(shù)據(jù)處理任務(wù)；

具體地，當(dāng)所述前端層10包含至少一個所述調(diào)度前端11時，每一所述調(diào)度端11可以分別用于開發(fā)不同的前端數(shù)據(jù)處理任務(wù)，如SQL(結(jié)構(gòu)化查詢語言(Structured Query Language))任務(wù)、Shell腳本任務(wù)、Hive(基于Hadoop的一個數(shù)據(jù)倉庫工具)任務(wù)等等。多個調(diào)度前端的并行開發(fā)，在數(shù)據(jù)處理任務(wù)量大或某一調(diào)度前端故障時，不會造成任務(wù)開發(fā)需求的堆積，提高了調(diào)度系統(tǒng)的效率；與此同時，針對不同類型的數(shù)據(jù)處理任務(wù)，分別由不同的調(diào)度前端來開發(fā)，進(jìn)一步保證了數(shù)據(jù)處理任務(wù)的開發(fā)質(zhì)量。進(jìn)一步地，所述調(diào)度前端11還用于，在上線展示所述數(shù)據(jù)處理任務(wù)的同時監(jiān)控所述前端層的展示狀態(tài)，從而根據(jù)所述展示狀態(tài)實時預(yù)警。所述前端層有一個顯示界面，用于展示所有數(shù)據(jù)處理任務(wù)的當(dāng)前狀態(tài)，用戶可以通過這一顯示界面進(jìn)行實時地觀察。在展示的同時，所述調(diào)度前端啟用一個線程監(jiān)控所述前端層的展示狀態(tài)，當(dāng)發(fā)現(xiàn)所述展示狀態(tài)有異常時(例如，數(shù)據(jù)處理超時、數(shù)據(jù)處理失敗等等)，啟動預(yù)警，所述預(yù)警可以包括，重啟所述數(shù)據(jù)處理任務(wù)、向所述中心層申請更換運行分組或通過預(yù)設(shè)的郵件或者消息發(fā)送地址向調(diào)度系統(tǒng)管理員發(fā)出故障通知。

所述調(diào)度中心21用于在接收到所述調(diào)度前端發(fā)出的上線請求時判斷是否允許所述數(shù)據(jù)處理任務(wù)上線，并根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組；

所述中心層20包含有多個所述調(diào)度中心21，多個所述調(diào)度中心21之間采用分布式的架構(gòu)進(jìn)行數(shù)據(jù)處理任務(wù)的調(diào)度，不受任務(wù)量的限制，所述中心層20可以無限擴(kuò)展保證實現(xiàn)調(diào)度系統(tǒng)的高可用。

進(jìn)一步地，所述調(diào)度中心21還用于，在上線展示所述數(shù)據(jù)處理任務(wù)后監(jiān)控所述數(shù)據(jù)處理任務(wù)的所述處理狀態(tài)，當(dāng)監(jiān)測到所述處理狀態(tài)出現(xiàn)異常，則啟動同一所述運行分組的任一其他所述運行節(jié)點作為備用運行節(jié)點繼續(xù)執(zhí)行所述數(shù)據(jù)處理任務(wù)。

本申請實施例中，所述中心層20采用quartz集群方式實現(xiàn)，每一所述調(diào)度中心相當(dāng)于quartz集群中的一個節(jié)點，是一個獨立的quartz應(yīng)用。在執(zhí)行數(shù)據(jù)處理任務(wù)調(diào)度的過程中，如果當(dāng)前調(diào)度中心執(zhí)行失敗或出現(xiàn)故障，則根據(jù)quartz集群的特性，所述數(shù)據(jù)處理任務(wù)的調(diào)度將會自動被分配到另一調(diào)度中心來處理。在每一所述調(diào)度中心執(zhí)行任務(wù)調(diào)度的同時，所述中心層會自動檢查失效的定時調(diào)度，并在發(fā)現(xiàn)未成功的定時調(diào)度之后，由其他調(diào)度中心立刻接續(xù)完成定時調(diào)度任務(wù)。所述中心層20在整個調(diào)度系統(tǒng)中承上啟下，在上與所述前端層10連接，并接受所述前端層發(fā)送的數(shù)據(jù)處理任務(wù)的上線請求。接收到所述上線請求后，需對所述上線請求進(jìn)行審批，判斷是否允許上線。在允許上線之后，根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源選擇執(zhí)行所述數(shù)據(jù)處理任務(wù)的執(zhí)行環(huán)境。在本申請實施例中，所述運行層的運行節(jié)點是分組的，每一分組的的執(zhí)行環(huán)境不同，以滿足不同來源用戶不同的數(shù)據(jù)處理需求。

根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組，有如下兩種可行的方法：其一，預(yù)設(shè)所述用戶來源與所述運行分組的對應(yīng)關(guān)系表；當(dāng)所述調(diào)度中心允許所述調(diào)度前端發(fā)送的上線請求時，所述調(diào)度中心獲取所述數(shù)據(jù)處理任務(wù)的用戶來源，并查詢所述對應(yīng)關(guān)系表，根據(jù)查表的結(jié)果將所述數(shù)據(jù)處理任務(wù)分發(fā)至相應(yīng)的運行分組。

其二，可以通過查詢訪問權(quán)限來控制每一所述用戶來源與所述運行分組的對應(yīng)關(guān)系。例如，當(dāng)所述數(shù)據(jù)處理任務(wù)來源于用戶A時，獲取用戶A對所述運行分組的訪問權(quán)限，假設(shè)本實施例中，用戶A對運行分組A1以及運行分組A2具有訪問權(quán)限，則所述調(diào)度中心根據(jù)可將所述數(shù)據(jù)處理任務(wù)分發(fā)至運行分組A1或運行分組A2執(zhí)行。

所述運行分組31用于執(zhí)行所述調(diào)度中心21分發(fā)的所述數(shù)據(jù)處理任務(wù)。在所述運行層30中，包含至少一個所述運行分組31，每一所述運行分組31中包含至少一個運行節(jié)點311；所述運行節(jié)點，用于提供執(zhí)行所述數(shù)據(jù)處理任務(wù)的執(zhí)行環(huán)境、執(zhí)行所述數(shù)據(jù)處理任務(wù)并匯報所述數(shù)據(jù)處理任務(wù)的處理狀態(tài)。

需要說明的是，本申請實施例中，當(dāng)所述運行層包含兩個及兩個以上的所述運行分組時，每一所述運行分組之間在執(zhí)行所述數(shù)據(jù)處理任務(wù)時是相互獨立的，互不影響。例如，運行分組A中的運行節(jié)點A0宕機(jī)，那么這一故障對運行分組B是毫無影響的。這種情況下，調(diào)度中心會將A0上正在執(zhí)行的數(shù)據(jù)處理任務(wù)分發(fā)至運行分組中其他的運行節(jié)點來執(zhí)行。

本實施例中，通過將調(diào)度系統(tǒng)進(jìn)行分層，并在每一層中采用分布式的方式進(jìn)行部署，為調(diào)度系統(tǒng)實現(xiàn)了無限擴(kuò)展的可能性；中心層包含至少一個調(diào)度中心，調(diào)度中心的分布式設(shè)計，改變了現(xiàn)有技術(shù)中進(jìn)行分布式調(diào)度時，信息流擁擠、擴(kuò)展性差以及單點故障導(dǎo)致的調(diào)度系統(tǒng)無法保障數(shù)據(jù)處理任務(wù)的及時性與正確性的缺陷，現(xiàn)了調(diào)度系統(tǒng)的高可用，保證了調(diào)度任務(wù)及時，準(zhǔn)確的運行；與此同時，運行層采用不同的分組方式，每一分組對應(yīng)不同的用戶，做到了各個用戶之間的數(shù)據(jù)處理任務(wù)互不影響，提高了調(diào)度任務(wù)處理的準(zhǔn)確性以及穩(wěn)定性。圖2是本申請實施例一種分布式調(diào)度方法的技術(shù)流程圖，在前端層，包括如下可行的步驟：

步驟S210、開發(fā)前端數(shù)據(jù)處理任務(wù)并向調(diào)度中心申請上線所述數(shù)據(jù)處理任務(wù)；

步驟S220、在接收所述調(diào)度中心的上線允許之后，上線并展示所述數(shù)據(jù)處理任務(wù)；

步驟S230、在上線展示所述數(shù)據(jù)處理任務(wù)的同時監(jiān)控所述前端層的展示狀態(tài)，從而根據(jù)所述展示狀態(tài)實時預(yù)警。

具體的，在步驟S220中，展示所述數(shù)據(jù)處理任務(wù)，包括展示所述數(shù)據(jù)處理任務(wù)的內(nèi)容、處理狀態(tài)以及執(zhí)行所述數(shù)據(jù)處理任務(wù)的運行分組甚至具體至執(zhí)行所述數(shù)據(jù)處理任務(wù)的運行節(jié)點。用戶可以通過前端層的展示獲取到所述數(shù)據(jù)處理任務(wù)的當(dāng)前狀態(tài)。

具體的，在步驟S230中，所述前端層在展示所述數(shù)據(jù)處理任務(wù)的同時，啟用一個線程監(jiān)控所述前端層的展示狀態(tài)，當(dāng)發(fā)現(xiàn)所述展示狀態(tài)有異常時(例如，數(shù)據(jù)處理超時、數(shù)據(jù)處理失敗等等)，根據(jù)異常分類啟動預(yù)警，所述預(yù)警可以包括，重啟所述數(shù)據(jù)處理任務(wù)、向所述中心層申請更換運行分組或通過預(yù)設(shè)的郵件或者消息發(fā)送地址向調(diào)度系統(tǒng)管理員發(fā)出故障通知。例如，當(dāng)所述展示狀態(tài)的異常為數(shù)據(jù)處理超時，可重啟所述數(shù)據(jù)處理任務(wù)；當(dāng)所述展示狀態(tài)的異常為數(shù)據(jù)處理失敗時，可以向所述中心層申請更換運行分組。

本實施例提供的分布式調(diào)度方法，在前端層部署多個所述調(diào)度前端，多個調(diào)度前端的并行開發(fā)，在數(shù)據(jù)處理任務(wù)量大或某一調(diào)度前端故障時，不會造成任務(wù)開發(fā)需求的堆積，提高了調(diào)度系統(tǒng)的效率；與此同時，針對不同類型的數(shù)據(jù)處理任務(wù)，分別由不同的調(diào)度前端來開發(fā)，進(jìn)一步保證了數(shù)據(jù)處理任務(wù)的開發(fā)質(zhì)量。

圖3是本申請實施例一種分布式調(diào)度方法的技術(shù)流程圖，在中心層，包括如下可行的步驟：

步驟S310、在接收到所述調(diào)度前端發(fā)出上線請求時判斷是否允許上線；

步驟S320、根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組；

步驟S330、監(jiān)控所述數(shù)據(jù)處理任務(wù)的所述處理狀態(tài)。

具體的，在步驟S320中，根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組，有如下兩種可行的方法：其一，預(yù)設(shè)所述用戶來源與所述運行分組的對應(yīng)關(guān)系表；當(dāng)所述調(diào)度中心允許所述調(diào)度前端發(fā)送的上線請求時，所述調(diào)度中心獲取所述數(shù)據(jù)處理任務(wù)的用戶來源，并查詢所述對應(yīng)關(guān)系表，根據(jù)查表的結(jié)果將所述數(shù)據(jù)處理任務(wù)分發(fā)至相應(yīng)的運行分組。

其二，可以通過查詢訪問權(quán)限來控制每一所述用戶來源與所述運行分組的對應(yīng)關(guān)系。例如，當(dāng)所述數(shù)據(jù)處理任務(wù)來源于用戶A時，獲取用戶A對所述運行分組的訪問權(quán)限，假設(shè)本實施例中，用戶A對運行分組A1以及運行分組A2具有訪問權(quán)限，則所述調(diào)度中心根據(jù)可將所述數(shù)據(jù)處理任務(wù)分發(fā)至運行分組A1或運行分組A2執(zhí)行。

具體的，在步驟S330中，監(jiān)測所述處理狀態(tài)，具體可以通過對運行層的運行日志進(jìn)行分析實現(xiàn)，或者，接收運行層發(fā)送的所述數(shù)據(jù)處理任務(wù)的執(zhí)行狀態(tài)，對所述執(zhí)行狀態(tài)進(jìn)行分析實現(xiàn)所述處理狀態(tài)的監(jiān)控。當(dāng)監(jiān)測到所述處理狀態(tài)出現(xiàn)異常時，啟動同一所述運行分組的任一其他所述運行節(jié)點作為備用運行節(jié)點繼續(xù)執(zhí)行所述數(shù)據(jù)處理任務(wù)。

本實施例提供的分布式調(diào)度方法，在中心層包含至少一個所述調(diào)度中心，所述調(diào)度中心的分布式設(shè)計，改變了現(xiàn)有技術(shù)中進(jìn)行分布式調(diào)度時，信息流擁擠、擴(kuò)展性差以及單點故障導(dǎo)致的調(diào)度系統(tǒng)無法保障數(shù)據(jù)處理任務(wù)的及時性與正確性的缺陷，現(xiàn)了調(diào)度系統(tǒng)的高可用，保證了調(diào)度任務(wù)及時，準(zhǔn)確的運行。

圖4是本申請實施例一種分布式調(diào)度方法的技術(shù)流程圖，在運行層，包括如下可行的步驟：

步驟S410、根據(jù)分組類型創(chuàng)建相應(yīng)的運行環(huán)境；

步驟S420、接收調(diào)度中心分發(fā)的數(shù)據(jù)處理任務(wù)并執(zhí)行所述數(shù)據(jù)處理任務(wù)；

步驟S430、寫所述數(shù)據(jù)處理任務(wù)的運行日志并向所述調(diào)度中心匯報所述數(shù)據(jù)處理任務(wù)的執(zhí)行狀態(tài)。

具體的，在步驟410中，需要說明的是，針對不同類型的或不同用戶來源的數(shù)據(jù)處理任務(wù)，執(zhí)行時，運行節(jié)點需要的運行環(huán)境有所不同。預(yù)先根據(jù)分組類型創(chuàng)建相應(yīng)的運行環(huán)境，當(dāng)有多個分組類型時，調(diào)度系統(tǒng)中將包含多個不同的運行環(huán)境，進(jìn)一步提升了調(diào)度系統(tǒng)的可用性。

本實施例提供的分布式調(diào)度方法，運行層采用不同的分組方式，每一分組對應(yīng)不同的用戶，做到了各個用戶之間的數(shù)據(jù)處理任務(wù)互不影響，提高了調(diào)度任務(wù)處理的準(zhǔn)確性以及穩(wěn)定性。

圖5是本申請實施例一種分布式調(diào)度方法的技術(shù)流程圖，在整個調(diào)度系統(tǒng)運行的角度進(jìn)一步描述本申請實施例技術(shù)方案的執(zhí)行過程，主要包括如下的步驟：

步驟S510、所述運行分組根據(jù)分組類型創(chuàng)建相應(yīng)的運行環(huán)境；

步驟S520、調(diào)度前端開發(fā)前端數(shù)據(jù)處理任務(wù)并向中心層申請上線所述數(shù)據(jù)處理任務(wù)；

步驟S530、調(diào)度中心在接收到所述調(diào)度前端發(fā)出上線請求時判斷是否允許上線；

步驟S540、所述調(diào)度中心根據(jù)所述數(shù)據(jù)處理任務(wù)的用戶來源分發(fā)所述數(shù)據(jù)處理任務(wù)至相應(yīng)的運行分組；

步驟S550、所述調(diào)度前端在接收所述調(diào)度中心的上線允許之后，上線并展示所述數(shù)據(jù)處理任務(wù)；

所述調(diào)度前端在上線展示所述數(shù)據(jù)處理任務(wù)的同時監(jiān)控所述前端層的展示狀態(tài)，從而根據(jù)所述展示狀態(tài)實時預(yù)警。

步驟S560、所述運行分組接收調(diào)度中心分發(fā)的數(shù)據(jù)處理任務(wù)并執(zhí)行所述數(shù)據(jù)處理任務(wù)；

步驟S570、所述調(diào)度中心監(jiān)控所述數(shù)據(jù)處理任務(wù)的所述處理狀態(tài)。

當(dāng)監(jiān)測到所述處理狀態(tài)出現(xiàn)異常，則啟動同一所述運行分組的任一其他所述運行節(jié)點作為備用運行節(jié)點繼續(xù)執(zhí)行所述數(shù)據(jù)處理任務(wù)。本實施例提供的分布式調(diào)度方法，通過將調(diào)度系統(tǒng)進(jìn)行分層，并在每一層中采用分布式的方式進(jìn)行部署，為調(diào)度系統(tǒng)實現(xiàn)了無限擴(kuò)展的可能性；中心層包含至少一個調(diào)度中心，調(diào)度中心的分布式設(shè)計，改變了現(xiàn)有技術(shù)中進(jìn)行分布式調(diào)度時，信息流擁擠、擴(kuò)展性差以及單點故障導(dǎo)致的調(diào)度系統(tǒng)無法保障數(shù)據(jù)處理任務(wù)的及時性與正確性的缺陷，現(xiàn)了調(diào)度系統(tǒng)的高可用，保證了調(diào)度任務(wù)及時，準(zhǔn)確的運行；與此同時，運行層采用不同的分組方式，每一分組對應(yīng)不同的用戶，做到了各個用戶之間的數(shù)據(jù)處理任務(wù)互不影響，提高了調(diào)度任務(wù)處理的準(zhǔn)確性以及穩(wěn)定性。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品可以存儲在計算機(jī)可讀存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

最后應(yīng)說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。