基于hive任務(wù)的任務(wù)調(diào)度方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于HIVE任務(wù)的任務(wù)調(diào)度方法及裝 置。
【背景技術(shù)】
[0002] 隨著現(xiàn)在計(jì)算機(jī)技術(shù)的快速發(fā)展，為了執(zhí)行任務(wù)，服務(wù)器在不同時(shí)刻均需要對任 務(wù)進(jìn)行調(diào)度，特別是在基于HIVE任務(wù)的調(diào)度領(lǐng)域。其中，HIVE是基于Hadoop的一個(gè)數(shù)據(jù) 倉庫工具，而Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件架構(gòu)，因而通過HIVE 任務(wù)可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL (Structured Query Language，結(jié)構(gòu)化查詢語言）查詢功能，可以將SQL語句轉(zhuǎn)換為Map (映射）和Reduce (化 簡）的任務(wù)進(jìn)行運(yùn)行。由于服務(wù)器對任務(wù)進(jìn)行調(diào)度影響到后續(xù)任務(wù)執(zhí)行效率。因此，如何 基于HIVE任務(wù)進(jìn)行任務(wù)調(diào)度是提高任務(wù)執(zhí)行效率的關(guān)鍵。
[0003] 相關(guān)技術(shù)中提供了一種基于HIVE任務(wù)的任務(wù)調(diào)度方法，在該方法中，預(yù)先確定某 一時(shí)刻需要調(diào)度的任務(wù)，若當(dāng)前時(shí)間到了調(diào)度該任務(wù)的時(shí)刻，則對該任務(wù)進(jìn)行調(diào)度。該任務(wù) 調(diào)度完成后，由相關(guān)工作人員根據(jù)該任務(wù)的調(diào)度結(jié)果確定該任務(wù)調(diào)度完畢后需要調(diào)度的下 一個(gè)任務(wù)，并確定下一個(gè)任務(wù)的調(diào)度時(shí)刻。從而由相關(guān)工作人員通過手動控制對每個(gè)任務(wù) 進(jìn)行調(diào)度。
[0004] 在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)上述方法至少存在以下問題：
[0005] 由于每次調(diào)度任務(wù)之前，需要由相關(guān)工作人員根據(jù)上一個(gè)調(diào)度的任務(wù)的調(diào)度結(jié)果 確定下一個(gè)需要調(diào)度的任務(wù)后，才能對任務(wù)進(jìn)行調(diào)度。當(dāng)任務(wù)較多時(shí)候，則需要手動對每個(gè) 任務(wù)進(jìn)行控制，任務(wù)調(diào)度過程比較繁瑣。因此，調(diào)度任務(wù)的效率較低。

【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)的問題，本發(fā)明實(shí)施例提供了一種基于HIVE任務(wù)的任務(wù)調(diào)度 方法及裝置。所述技術(shù)方案如下：
[0007] 第一方面，提供了一種基于HIVE任務(wù)的任務(wù)調(diào)度方法，所述方法包括：
[0008] 確定需要進(jìn)行調(diào)度的多個(gè)任務(wù)，并確定各個(gè)任務(wù)之間的依賴關(guān)系；
[0009] 根據(jù)所述依賴關(guān)系確定各個(gè)任務(wù)的前置依賴任務(wù)及后置依賴任務(wù)；
[0010] 在所有需要進(jìn)行調(diào)度的任務(wù)中選擇當(dāng)前需要調(diào)度的任務(wù)，得到被選任務(wù)；
[0011] 根據(jù)所述被選任務(wù)的前置依賴任務(wù)的調(diào)度結(jié)果對所述被選任務(wù)進(jìn)行調(diào)度；
[0012] 按照選擇所述被選任務(wù)的方式及調(diào)度所述被選任務(wù)的方式處理所述被選任務(wù)的 后置依賴任務(wù)及所有未調(diào)度的任務(wù)，直至調(diào)度完所有需要進(jìn)行調(diào)度的任務(wù)。
[0013] 結(jié)合第一方面，在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述在所有需要進(jìn)行調(diào) 度的任務(wù)中選擇當(dāng)前需要調(diào)度的任務(wù)，包括 ：
[0014] 在所有需要進(jìn)行調(diào)度的任務(wù)中選擇滿足調(diào)度條件的任務(wù)作為當(dāng)前需要調(diào)度的任 務(wù)；其中，所述調(diào)度條件為所有前置依賴任務(wù)全部調(diào)度完畢。
[0015] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式 中，所述在所有需要進(jìn)行調(diào)度的任務(wù)中選擇滿足調(diào)度條件的任務(wù)作為當(dāng)前需要調(diào)度的任 務(wù)，包括：
[0016] 如果有多個(gè)滿足調(diào)度條件的任務(wù)，將所述多個(gè)滿足調(diào)度條件的任務(wù)均作為當(dāng)前需 要調(diào)度的任務(wù)，或者，按照優(yōu)先級在所述多個(gè)滿足調(diào)度條件的任務(wù)中選擇一個(gè)任務(wù)作為當(dāng) 前需要調(diào)度的任務(wù)。
[0017] 結(jié)合第一方面，在第一方面的第三種可能的實(shí)現(xiàn)方式中，每個(gè)需要進(jìn)行調(diào)度的任 務(wù)均對應(yīng)一個(gè)調(diào)度周期；所述根據(jù)所述被選任務(wù)的前置依賴任務(wù)的調(diào)度結(jié)果對所述被選任 務(wù)進(jìn)行調(diào)度，包括：
[0018] 獲取所述被選任務(wù)的前置依賴任務(wù)按照其對應(yīng)的調(diào)度周期被調(diào)度之后得到的前 一至多個(gè)調(diào)度結(jié)果，根據(jù)獲取到的調(diào)度結(jié)果對所述被選任務(wù)進(jìn)行調(diào)度。
[0019] 結(jié)合第一方面、第一方面的第一種可能的實(shí)現(xiàn)方式、第二種可能的實(shí)現(xiàn)方式及第 三種可能的實(shí)現(xiàn)方式中的任一種可能的實(shí)現(xiàn)方式，在第一方面的第四種可能的實(shí)現(xiàn)方式 中，所述根據(jù)所述依賴關(guān)系確定各個(gè)任務(wù)的前置依賴任務(wù)及后置依賴任務(wù)，包括：
[0020] 對需要進(jìn)行調(diào)度的任一任務(wù)，將與所述任一任務(wù)存在依賴關(guān)系的任務(wù)中被所述任 一任務(wù)依賴調(diào)度結(jié)果的任務(wù)確定為所述任一任務(wù)的前置依賴任務(wù)，并將依賴所述任一任務(wù) 的調(diào)度結(jié)果的任務(wù)確定為所述任一任務(wù)的后置依賴任務(wù)。
[0021] 第二方面，提供了一種基于HIVE任務(wù)的任務(wù)調(diào)度裝置，所述裝置包括：
[0022] 第一確定模塊，用于確定需要進(jìn)行調(diào)度的多個(gè)任務(wù)，并確定各個(gè)任務(wù)之間的依賴 關(guān)系；
[0023] 第二確定模塊，用于根據(jù)所述依賴關(guān)系確定各個(gè)任務(wù)的前置依賴任務(wù)及后置依賴 任務(wù)；
[0024] 選擇模塊，用于在所有需要進(jìn)行調(diào)度的任務(wù)中選擇當(dāng)前需要調(diào)度的任務(wù)，得到被 選任務(wù)；
[0025] 調(diào)度模塊，根據(jù)所述被選任務(wù)的前置依賴任務(wù)的調(diào)度結(jié)果對所述被選任務(wù)進(jìn)行調(diào) 度；
[0026] 處理模塊，用于按照選擇所述被選任務(wù)的方式及調(diào)度所述被選任務(wù)的方式處理所 述被選任務(wù)的后置依賴任務(wù)及所有未調(diào)度的任務(wù)，直至調(diào)度完所有需要進(jìn)行調(diào)度的任務(wù)。
[0027] 結(jié)合第二方面，在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述選擇模塊，用于在所 有需要進(jìn)行調(diào)度的任務(wù)中選擇滿足調(diào)度條件的任務(wù)作為當(dāng)前需要調(diào)度的任務(wù)；其中，所述 調(diào)度條件為所有前置依賴任務(wù)全部調(diào)度完畢。
[0028] 結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的實(shí)現(xiàn)方式 中，所述選擇模塊，用于當(dāng)有多個(gè)滿足調(diào)度條件的任務(wù)時(shí)，將所述多個(gè)滿足調(diào)度條件的任務(wù) 均作為當(dāng)前需要調(diào)度的任務(wù)，或者，按照優(yōu)先級在所述多個(gè)滿足調(diào)度條件的任務(wù)中選擇一 個(gè)任務(wù)作為當(dāng)前需要調(diào)度的任務(wù)。
[0029] 結(jié)合第二方面，在第二方面的第三種可能的實(shí)現(xiàn)方式中，每個(gè)需要進(jìn)行調(diào)度的任 務(wù)均對應(yīng)一個(gè)調(diào)度周期；所述調(diào)度模塊，包括：
[0030] 獲取單元，用于獲取所述被選任務(wù)的前置依賴任務(wù)按照其對應(yīng)的調(diào)度周期被調(diào)度 之后得到的前一至多個(gè)調(diào)度結(jié)果；
[0031] 調(diào)度單元，用于根據(jù)獲取到的調(diào)度結(jié)果對所述被選任務(wù)進(jìn)行調(diào)度。
[0032] 結(jié)合第二方面、第二方面的第一種可能的實(shí)現(xiàn)方式、第二種可能的實(shí)現(xiàn)方式及第 三種可能的實(shí)現(xiàn)方式中的任一種可能的實(shí)現(xiàn)方式，在第二方面的第四種可能的實(shí)現(xiàn)方式 中，所述第二確定模塊，用于對需要進(jìn)行調(diào)度的任一任務(wù)，將與所述任一任務(wù)存在依賴關(guān)系 的任務(wù)中被所述任一任務(wù)依賴調(diào)度結(jié)果的任務(wù)確定為所述任一任務(wù)的前置依賴任務(wù)，并將 依賴所述任一任務(wù)的調(diào)度結(jié)果的任務(wù)確定為所述任一任務(wù)的后置依賴任務(wù)。
[0033] 本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果是：
[0034] 通過確定需要進(jìn)行調(diào)度的各個(gè)任務(wù)之間的依賴關(guān)系，并根據(jù)依賴關(guān)系確定各個(gè)任 務(wù)的前置依賴任務(wù)及后置依賴任務(wù)后，根據(jù)滿足調(diào)度條件的被選任務(wù)的前置依賴任務(wù)的調(diào) 度結(jié)果對被選任務(wù)進(jìn)行任務(wù)調(diào)度，并依此調(diào)度其他未調(diào)度的任務(wù)，從而使得任務(wù)調(diào)度過程 比較簡單，并能夠保證任務(wù)有序執(zhí)行。因此，調(diào)度任務(wù)的效率較高。
【附圖說明】
[0035] 為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使 用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于 本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0036] 圖1是本發(fā)明一實(shí)施例提供的一種基于HIVE任務(wù)的任務(wù)調(diào)度方法的流程圖；
[0037] 圖2是本發(fā)明另一實(shí)施例提供的一種基于HIVE任務(wù)的任務(wù)調(diào)度方法的流程圖；
[0038] 圖3是本發(fā)明另一實(shí)施例提供的一種各個(gè)任務(wù)之間的依賴關(guān)系示意圖；
[0039] 圖4是本發(fā)明另一實(shí)施例提供的一種基于HIVE任務(wù)的任務(wù)調(diào)度裝置的結(jié)構(gòu)示意 圖；
[0040] 圖5是本發(fā)明另一實(shí)施例提供的一種調(diào)度模塊的結(jié)構(gòu)示意圖；
[0041] 圖6是本發(fā)明另一實(shí)施例提供的一種服務(wù)器的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0042] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明實(shí)施方 式作進(jìn)一步地詳細(xì)描述。
[0043] 由于相關(guān)技術(shù)在每次調(diào)度任務(wù)之前，需要由相關(guān)工作人員根據(jù)上一個(gè)調(diào)度的任務(wù) 的調(diào)度結(jié)果確定下一個(gè)需要調(diào)度的任務(wù)后，才能對任務(wù)進(jìn)行調(diào)度。當(dāng)任務(wù)較多的時(shí)候，通過 手動對每個(gè)任務(wù)進(jìn)行調(diào)度控制，導(dǎo)致任務(wù)調(diào)度過程比較繁瑣。因此，調(diào)度任務(wù)的效率較低。
[0044] 為了預(yù)防上述情況，提高調(diào)度任務(wù)時(shí)的效率。本發(fā)明實(shí)施例提供了一種基于HIVE 任務(wù)的任務(wù)調(diào)度方法，參見圖1，本實(shí)施例提供的方法流程包括：
[0045] 101:確定需要進(jìn)行調(diào)度的多個(gè)任務(wù)，并確定各個(gè)任務(wù)之間的依賴關(guān)系；
[0046] 102:根據(jù)依賴關(guān)系確定各個(gè)任務(wù)的前置依賴任務(wù)及后置依賴任務(wù)；
[0047] 作為一種可選實(shí)施例，根據(jù)依賴關(guān)系確定各個(gè)任務(wù)的前置依賴任務(wù)及后置依賴任 務(wù)，包括：
[0048] 對需要進(jìn)行調(diào)度的任一任務(wù)，將與任一任務(wù)存在依賴關(guān)系的任務(wù)中被任一任務(wù)依 賴調(diào)度結(jié)果的任務(wù)確定為任一任務(wù)的前置依賴任務(wù)，并將依賴任一任務(wù)的調(diào)度結(jié)果的任務(wù) 確定為任一任務(wù)的后置依賴任務(wù)。
[0049] 103:在所有需要進(jìn)行調(diào)度的任務(wù)中選擇當(dāng)前需要調(diào)度的任務(wù)，得到被選任務(wù)；
[0050] 作為一種可選實(shí)施例，在所有需要進(jìn)行調(diào)度的任務(wù)中選擇當(dāng)前需要調(diào)度的任務(wù)， 包括：
[0051] 在所有需要進(jìn)行調(diào)度的任務(wù)中選擇滿足調(diào)度條件的任務(wù)作為當(dāng)前需要調(diào)度的任 務(wù)；其中，調(diào)度條件為所有前置依賴任務(wù)全部調(diào)度完畢。
[0052] 作為一種可選實(shí)施例，在所有需要進(jìn)行調(diào)度的任務(wù)中選擇滿足調(diào)度條件的任務(wù)作 為當(dāng)前需要調(diào)度的任務(wù)，包括 ：
[0053] 如果有多個(gè)滿足調(diào)度條件的任務(wù)，將多個(gè)滿足調(diào)度條件的任務(wù)均作為當(dāng)前需要調(diào) 度的任務(wù)，或者，按照優(yōu)先級在多個(gè)滿足調(diào)度條件的任務(wù)中選擇一個(gè)任務(wù)作為當(dāng)前需要調(diào) 度的任務(wù)。
[0054] 104:根據(jù)被選任務(wù)的前置依賴任務(wù)的調(diào)度結(jié)果對被選任務(wù)進(jìn)行調(diào)度；<