本申請涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種任務(wù)處理方法、裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、當(dāng)前在利用spark任務(wù)實現(xiàn)大規(guī)模數(shù)據(jù)量處理時，需要充分調(diào)用及應(yīng)用大規(guī)模集群的計算資源來完成數(shù)據(jù)處理，因而當(dāng)前大多通過依賴集群的調(diào)度管理器對集群中的多個任務(wù)處理節(jié)點進(jìn)行調(diào)用及將數(shù)據(jù)分配至多個任務(wù)處理節(jié)點，實現(xiàn)計算資源的分配，但目前大多通過任務(wù)處理節(jié)點上的可用資源是否足夠作為分配原則，分配方式較為單一；并且目前的分配方式在任務(wù)處理節(jié)點變更處理的任務(wù)類型時容易出現(xiàn)變更失敗的情況，從而導(dǎo)致spark任務(wù)的處理效率低。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┮环N任務(wù)處理方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)，旨在提升處理spark任務(wù)的效率及靈活性。

2、第一方面，本申請?zhí)峁┮环N任務(wù)處理方法，所述任務(wù)處理方法包括以下步驟：

3、接收spark任務(wù)的任務(wù)處理信息，所述任務(wù)處理信息包括任務(wù)處理節(jié)點黑名單；

4、根據(jù)所述任務(wù)處理信息確定處理所述spark任務(wù)所需的多個第一任務(wù)處理節(jié)點；

5、基于所述任務(wù)處理節(jié)點黑名單對各所述第一任務(wù)處理節(jié)點進(jìn)行校驗；

6、將通過校驗的第一任務(wù)處理節(jié)點確定為第二任務(wù)處理節(jié)點，并根據(jù)所述任務(wù)處理信息確定與所述第二任務(wù)處理節(jié)點對應(yīng)的任務(wù)進(jìn)程；

7、基于所述第二任務(wù)處理節(jié)點執(zhí)行所述任務(wù)進(jìn)程。

8、第二方面，本申請還提供一種任務(wù)處理裝置，所述任務(wù)處理裝置包括：

9、任務(wù)接收模塊，用于接收spark任務(wù)的任務(wù)處理信息，所述任務(wù)處理信息包括任務(wù)處理節(jié)點黑名單；

10、第一節(jié)點確定模塊，用于根據(jù)所述任務(wù)處理信息確定處理所述spark任務(wù)所需的多個第一任務(wù)處理節(jié)點；

11、節(jié)點校驗?zāi)K，用于基于所述任務(wù)處理節(jié)點黑名單對各所述第一任務(wù)處理節(jié)點進(jìn)行校驗；

12、第二節(jié)點確定模塊，用于將通過校驗的第一任務(wù)處理節(jié)點確定為第二任務(wù)處理節(jié)點，并根據(jù)所述任務(wù)處理信息確定與所述第二任務(wù)處理節(jié)點對應(yīng)的任務(wù)進(jìn)程；

13、任務(wù)處理模塊，用于基于所述第二任務(wù)處理節(jié)點執(zhí)行所述任務(wù)進(jìn)程。

14、第三方面，本申請還提供一種計算機(jī)設(shè)備，所述計算機(jī)設(shè)備包括處理器、存儲器、以及存儲在所述存儲器上并可被所述處理器執(zhí)行的計算機(jī)程序，其中所述計算機(jī)程序被所述處理器執(zhí)行時，實現(xiàn)如上述的任務(wù)處理方法的步驟。

15、第四方面，本申請還提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，其中所述計算機(jī)程序被處理器執(zhí)行時，實現(xiàn)如上述的任務(wù)處理方法的步驟。

16、本申請?zhí)峁┮环N任務(wù)處理方法、裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)，本申請通過根據(jù)任務(wù)處理信息確定多個第一任務(wù)處理節(jié)點后，基于任務(wù)處理節(jié)點黑名單對各個第一任務(wù)處理節(jié)點進(jìn)行校驗，將通過校驗的第一任務(wù)處理節(jié)點確定為第二任務(wù)處理節(jié)點，并根據(jù)第二任務(wù)處理節(jié)點確定與第二任務(wù)處理節(jié)點對應(yīng)的任務(wù)進(jìn)程，基于第二任務(wù)處理節(jié)點執(zhí)行任務(wù)進(jìn)程，以完成spark任務(wù)的處理，從而實現(xiàn)了任務(wù)處理節(jié)點的自定義，提升spark任務(wù)資源調(diào)動的靈活性，并且能夠避免將spark任務(wù)的任務(wù)進(jìn)程分配至需要變更處理任務(wù)的任務(wù)處理節(jié)點而導(dǎo)致任務(wù)處理節(jié)點出現(xiàn)錯誤，進(jìn)而提升了調(diào)用任務(wù)處理節(jié)點的靈活性及spark任務(wù)的處理效率。

技術(shù)特征：

1.一種任務(wù)處理方法，其特征在于，包括：

2.如權(quán)利要求1所述的任務(wù)處理方法，其特征在于，所述基于所述任務(wù)處理節(jié)點黑名單對各所述第一任務(wù)處理節(jié)點進(jìn)行校驗，包括：

3.如權(quán)利要求2所述的任務(wù)處理方法，其特征在于，所述方法還包括：

4.如權(quán)利要求2所述的任務(wù)處理方法，其特征在于，所述根據(jù)所述任務(wù)處理信息確定處理所述spark任務(wù)所需的多個第一任務(wù)處理節(jié)點，包括：

5.如權(quán)利要求4所述的任務(wù)處理方法，其特征在于，所述方法還包括：

6.如權(quán)利要求1-5任一項所述的任務(wù)處理方法，其特征在于，所述方法還包括：

7.如權(quán)利要求6所述的任務(wù)處理方法，其特征在于，所述方法還包括：

8.一種任務(wù)處理裝置，其特征在于，所述任務(wù)處理裝置包括：

9.一種計算機(jī)設(shè)備，其特征在于，所述計算機(jī)設(shè)備包括處理器、存儲器、以及存儲在所述存儲器上并可被所述處理器執(zhí)行的計算機(jī)程序，其中所述計算機(jī)程序被所述處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至7中任一項所述的任務(wù)處理方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序，其中所述計算機(jī)程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至7中任一項所述的任務(wù)處理方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N任務(wù)處理方法、裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)，該方法包括：接收Spark任務(wù)的任務(wù)處理信息，任務(wù)處理信息包括任務(wù)處理節(jié)點黑名單；根據(jù)任務(wù)處理信息確定處理Spark任務(wù)所需的多個第一任務(wù)處理節(jié)點；基于任務(wù)處理節(jié)點黑名單對各第一任務(wù)處理節(jié)點進(jìn)行校驗；將通過校驗的第一任務(wù)處理節(jié)點確定為第二任務(wù)處理節(jié)點，并根據(jù)任務(wù)處理信息確定與第二任務(wù)處理節(jié)點對應(yīng)的任務(wù)進(jìn)程；基于第二任務(wù)處理節(jié)點執(zhí)行任務(wù)進(jìn)程。本申請?zhí)嵘巳蝿?wù)處理節(jié)點的調(diào)用靈活性及Spark任務(wù)的處理效率。

技術(shù)研發(fā)人員：余偉,萬書武
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17