本發(fā)明屬于互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)領(lǐng)域，更具體地，涉及一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法及系統(tǒng)。

背景技術(shù)：

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，每天產(chǎn)生大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)等解決方案無(wú)法存儲(chǔ)和處理如此規(guī)模的數(shù)據(jù)量，于是mapreduce編程模型產(chǎn)生。yarn(yetanotherresourcenegotiator)作為一種資源管理平臺(tái)，以其高可靠性，高容錯(cuò)性，支持多種計(jì)算框架而得到廣泛應(yīng)用。

由于yarn管理資源只包括了cpu和內(nèi)存，沒(méi)有包含節(jié)點(diǎn)的網(wǎng)絡(luò)流量信息，而mapreduce應(yīng)用非本地性的map任務(wù)需要到其他節(jié)點(diǎn)上去取數(shù)據(jù)，reduce任務(wù)需要到每個(gè)map任務(wù)所在的節(jié)點(diǎn)去取它需要處理的數(shù)據(jù)，這兩種任務(wù)都需要占用網(wǎng)絡(luò)資源。yarn調(diào)度器缺乏對(duì)整個(gè)集群中網(wǎng)絡(luò)資源的感知，極易將reduce任務(wù)聚集在某些節(jié)點(diǎn)上，導(dǎo)致這些節(jié)點(diǎn)上的網(wǎng)絡(luò)負(fù)載高于其他節(jié)點(diǎn)，延長(zhǎng)作業(yè)的執(zhí)行時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明的目的在于提供了一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法及系統(tǒng)，由此解決現(xiàn)有技術(shù)中yarn調(diào)度器缺乏對(duì)整個(gè)集群中網(wǎng)絡(luò)資源的感知，極易將reduce任務(wù)聚集在某些節(jié)點(diǎn)上，導(dǎo)致這些節(jié)點(diǎn)上的網(wǎng)絡(luò)負(fù)載高于其他節(jié)點(diǎn)，延長(zhǎng)作業(yè)的執(zhí)行時(shí)間的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法，包括：

s1、應(yīng)用程序在向yarn資源管理器申請(qǐng)container時(shí)設(shè)置container的類型；

s2、集群中的每個(gè)節(jié)點(diǎn)采集節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在心跳時(shí)向資源管理器匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

s3、資源管理器記錄每個(gè)節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在收到節(jié)點(diǎn)匯報(bào)的更新值時(shí)，對(duì)記錄的相應(yīng)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息進(jìn)行更新，和/或在節(jié)點(diǎn)移除時(shí)，刪除記錄的移除節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

s4、當(dāng)前節(jié)點(diǎn)向資源管理器發(fā)送心跳信息時(shí)，若當(dāng)前節(jié)點(diǎn)上存在可用資源，則根據(jù)記錄的各節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息以及當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息，選擇合適的應(yīng)用程序的container分配資源。

優(yōu)選地，步驟s2具體包括如下子步驟：

s2.1、對(duì)集群中的每個(gè)節(jié)點(diǎn)，使用nload命令將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息重定向到文件中；

s2.2、從文件中讀取對(duì)應(yīng)的字段，獲取節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

s2.3、將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息賦給nodestatus的networkflow字段；

s2.4、向資源管理器發(fā)送心跳信息匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息。

優(yōu)選地，步驟s4具體包括如下子步驟：

s4.1、根據(jù)記錄的每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息和當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型；

s4.2、若當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型是normal，則進(jìn)入步驟s4.3，否則，依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，判斷是否存在container的類型與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container，若存在，則將當(dāng)前節(jié)點(diǎn)的資源分配給與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container，否則進(jìn)入步驟s4.3；

s4.3、依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，將當(dāng)前節(jié)點(diǎn)的資源分配給優(yōu)先級(jí)最高的container。

優(yōu)選地，步驟s4.1具體包括如下子步驟：

s4.1.1、若集群中每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量均小于預(yù)設(shè)閾值，則認(rèn)為當(dāng)前集群沒(méi)有網(wǎng)絡(luò)任務(wù)在執(zhí)行，直接返回normal；

s4.1.2、計(jì)算出集群中所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和；

s4.1.3、用所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和除以集群中節(jié)點(diǎn)的數(shù)量得到網(wǎng)絡(luò)流量平均值；

s4.1.4、若當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量大于網(wǎng)絡(luò)流量平均值，則確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為map，否則確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為reduce。

按照本發(fā)明的另一方面，提供了一種感知網(wǎng)絡(luò)流量的yarn調(diào)度系統(tǒng)，包括：

容器類型設(shè)置模塊，用于在應(yīng)用程序向yarn資源管理器申請(qǐng)container時(shí)設(shè)置container的類型；

流量信息收集模塊，用于由集群中的每個(gè)節(jié)點(diǎn)采集節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在心跳時(shí)向資源管理器匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

流量信息更新模塊，用于由資源管理器記錄每個(gè)節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在收到節(jié)點(diǎn)匯報(bào)的更新值時(shí)，對(duì)記錄的相應(yīng)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息進(jìn)行更新，和/或在節(jié)點(diǎn)移除時(shí)，刪除記錄的移除節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

資源調(diào)度模塊，用于在當(dāng)前節(jié)點(diǎn)向資源管理器發(fā)送心跳信息時(shí)，若當(dāng)前節(jié)點(diǎn)上存在可用資源，則根據(jù)記錄的各節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息以及當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息，選擇合適的應(yīng)用程序的container分配資源。

優(yōu)選地，所述流量信息收集模塊包括：

重定向模塊，用于對(duì)集群中的每個(gè)節(jié)點(diǎn)，使用nload命令將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息重定向到文件中；

流量信息獲取模塊，用于從文件中讀取對(duì)應(yīng)的字段，獲取節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息賦給nodestatus的networkflow字段；

發(fā)送模塊，用于向資源管理器發(fā)送心跳信息匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息。

優(yōu)選地，所述資源調(diào)度模塊包括：

確定模塊，用于根據(jù)記錄的每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息和當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型；

第一調(diào)度模塊，用于在當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型不是normal時(shí)，依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，判斷是否存在container的類型與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container，若存在，則將當(dāng)前節(jié)點(diǎn)的資源分配給與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container；

第二調(diào)度模塊，用于在當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型是normal時(shí)，或者，在不存在container的類型與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container時(shí)，依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，將當(dāng)前節(jié)點(diǎn)的資源分配給優(yōu)先級(jí)最高的container。

優(yōu)選地，所述確定模塊包括：

第一確定子模塊，用于在集群中每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量均小于預(yù)設(shè)閾值時(shí)，認(rèn)為當(dāng)前集群沒(méi)有網(wǎng)絡(luò)任務(wù)在執(zhí)行，直接返回normal；

第一計(jì)算模塊，用于計(jì)算出集群中所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和；

第二計(jì)算模塊，用于用所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和除以集群中節(jié)點(diǎn)的數(shù)量得到網(wǎng)絡(luò)流量平均值；

第二確定子模塊，用于在當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量大于網(wǎng)絡(luò)流量平均值時(shí)，確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為map，否則確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為reduce。

總體而言，本發(fā)明方法與現(xiàn)有技術(shù)方案相比，能夠取得下列有益效果：

(1)每臺(tái)節(jié)點(diǎn)上的網(wǎng)絡(luò)資源利用的更加均勻，資源管理器能感知每臺(tái)節(jié)點(diǎn)上面的實(shí)時(shí)網(wǎng)絡(luò)流量值，根據(jù)這個(gè)值來(lái)分配任務(wù)，可以有效地避免集群節(jié)點(diǎn)網(wǎng)絡(luò)使用不均勻的情況。

(2)本發(fā)明提出的基于網(wǎng)絡(luò)流量的調(diào)度方法與yarn自帶的fifo，fair，capacity調(diào)度算法相比，在運(yùn)行不同類型的mapreduce應(yīng)用時(shí)，能使每個(gè)節(jié)點(diǎn)上面的網(wǎng)絡(luò)流量負(fù)載比較均勻，達(dá)到減少作業(yè)完成時(shí)間的目的，而任務(wù)的更快完成有利于更快地釋放container，提升了集群的資源利用率。

(3)雖然節(jié)點(diǎn)采集網(wǎng)絡(luò)流量以及根據(jù)節(jié)點(diǎn)需要的任務(wù)類型來(lái)遍歷應(yīng)用程序選擇container會(huì)產(chǎn)生一定開(kāi)銷，但這種開(kāi)銷基本上可以忽略不計(jì)。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例公開(kāi)的一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法的整體架構(gòu)圖；

圖2為本發(fā)明實(shí)施例公開(kāi)的一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法的流程示意圖；

圖3為本發(fā)明實(shí)施例公開(kāi)的一種檢測(cè)節(jié)點(diǎn)網(wǎng)絡(luò)流量并向資源管理器報(bào)告流量的方法流程示意圖；

圖4為本發(fā)明實(shí)施例公開(kāi)的一種資源調(diào)度方法的流程示意圖；

圖5為本發(fā)明實(shí)施例公開(kāi)的一種任務(wù)類型判斷方法的流程示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

以下首先就本發(fā)明所涉及的技術(shù)術(shù)語(yǔ)進(jìn)行解釋和說(shuō)明：

mapreduce：由google提出的編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算；

yarn：yetanotherresourcenegotiator，一種通用資源管理系統(tǒng)；

container：cpu和內(nèi)存的封裝，應(yīng)用程序申請(qǐng)資源的基本單位；

applicationmaster：管理一個(gè)在yarn內(nèi)運(yùn)行的應(yīng)用程序的實(shí)例，applicationmaster負(fù)責(zé)向resourcemanager申請(qǐng)container，并向nodemanager通信啟動(dòng)container；

mrappmaster：mapreduce應(yīng)用的applicationmaster，yarn自帶的，編程人員無(wú)需再為mapreduce應(yīng)用編寫(xiě)applicationmaster；

resourcemanager：控制整個(gè)集群并管理應(yīng)用程序向基礎(chǔ)計(jì)算資源的分配，管理整個(gè)集群中的container與應(yīng)用程序；

nodemanager：集群中每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器，監(jiān)控container的生命周期，也會(huì)跟蹤節(jié)點(diǎn)健康狀況；

調(diào)度器：yarn為應(yīng)用程序分配資源的方式，按照一定的方式選擇應(yīng)用程序的container為它分配資源；

nload：一款輕量級(jí)的linux網(wǎng)絡(luò)流量監(jiān)控工具，可以很方便地獲取節(jié)點(diǎn)上的當(dāng)前網(wǎng)絡(luò)流量，平均網(wǎng)絡(luò)流量等信息。

以下結(jié)合具體實(shí)施例和附圖對(duì)本發(fā)明所提供的感知網(wǎng)絡(luò)流量的yarn調(diào)度方法做進(jìn)一步說(shuō)明。

本發(fā)明提供的感知網(wǎng)絡(luò)流量的yarn調(diào)度方法，其目的在于解決了yarn沒(méi)有對(duì)網(wǎng)絡(luò)進(jìn)行管理，可能會(huì)使mapreduce應(yīng)用的占用網(wǎng)絡(luò)的任務(wù)堆積在同一個(gè)節(jié)點(diǎn)上，導(dǎo)致作業(yè)完成時(shí)間增長(zhǎng)的問(wèn)題；采用基于網(wǎng)絡(luò)流量的調(diào)度方案，可以實(shí)時(shí)感知到每個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)流量，在為節(jié)點(diǎn)分配任務(wù)時(shí)，根據(jù)節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載，選擇合適的任務(wù)分配到這個(gè)節(jié)點(diǎn)上運(yùn)行，使得每個(gè)節(jié)點(diǎn)上面的網(wǎng)絡(luò)負(fù)載比較均衡，最終減少mapreduce應(yīng)用的完成時(shí)間，提升集群的資源利用率。

如圖1所示是本發(fā)明實(shí)施例提供的基于網(wǎng)絡(luò)流量的調(diào)度器的整體架構(gòu)，調(diào)度方案修改了mrappmaster，nodemanager和resourcemanager。因?yàn)閥arn上面可以運(yùn)行多種計(jì)算框架，而不僅僅是mapreduce應(yīng)用，于是無(wú)法對(duì)mapreduce應(yīng)用的任務(wù)做出專門的調(diào)度。因此在mrappmaster端增加了任務(wù)類型(map和reduce)，以便資源管理器能感知。yarn自身沒(méi)有對(duì)網(wǎng)絡(luò)進(jìn)行管理，所以需要節(jié)點(diǎn)檢測(cè)網(wǎng)絡(luò)流量之后向資源管理器匯報(bào)。mrscheduler會(huì)根據(jù)集群的網(wǎng)絡(luò)流量信息對(duì)任務(wù)進(jìn)行調(diào)度。

如圖2所示是本發(fā)明實(shí)施例公開(kāi)的一種感知網(wǎng)絡(luò)流量的yarn調(diào)度方法的流程示意圖，在圖2所示的方法中，具體包括如下步驟：

s1、應(yīng)用程序在向yarn資源管理器申請(qǐng)container時(shí)設(shè)置container的類型(例如map和reduce)；

s2、集群中的每個(gè)節(jié)點(diǎn)采集節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在心跳時(shí)向資源管理器匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

s3、資源管理器記錄每個(gè)節(jié)點(diǎn)上的實(shí)時(shí)網(wǎng)絡(luò)流量信息，并在收到節(jié)點(diǎn)匯報(bào)的更新值時(shí)，對(duì)記錄的相應(yīng)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息進(jìn)行更新，和/或在節(jié)點(diǎn)移除時(shí)，刪除記錄的移除節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

例如，資源管理器維護(hù)一個(gè)hashmap來(lái)記錄每一個(gè)節(jié)點(diǎn)上的網(wǎng)絡(luò)流量信息，在收到nodemanager的心跳時(shí)更新該值，在收到節(jié)點(diǎn)移出集群的消息時(shí)刪除對(duì)應(yīng)的記錄。

s4、當(dāng)前節(jié)點(diǎn)向資源管理器發(fā)送心跳信息時(shí)，若當(dāng)前節(jié)點(diǎn)上存在可用資源，則根據(jù)記錄的各節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息以及當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息，選擇合適的應(yīng)用程序的container分配資源。

如圖3所示為上述步驟s2的具體實(shí)施方式流程示意圖，包括以下步驟：

s2.1、對(duì)集群中的每個(gè)節(jié)點(diǎn)，使用nload命令將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息重定向到文件中；

s2.2、從文件中讀取對(duì)應(yīng)的字段，獲取節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息；

s2.3、將節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息賦給nodestatus的networkflow字段；

s2.4、向資源管理器發(fā)送心跳信息匯報(bào)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息。

如圖4所示為上述步驟s4的具體實(shí)施方式流程示意圖，包括以下步驟：

s4.1、根據(jù)記錄的每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息和當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量信息確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型；

s4.2、若當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型是normal，則進(jìn)入步驟s4.3，否則，依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，判斷是否存在container的類型與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container，若存在，則將當(dāng)前節(jié)點(diǎn)的資源分配給與當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型一致的container，否則進(jìn)入步驟s4.3；

s4.3、依次選擇fifo中的應(yīng)用程序，再按照container的優(yōu)先級(jí)遍歷所選的應(yīng)用程序中的所有container，將當(dāng)前節(jié)點(diǎn)的資源分配給優(yōu)先級(jí)最高的container。

如圖5所示為上述步驟s4.1的具體實(shí)施方式流程示意圖，包括以下步驟：

s4.1.1、若集群中每個(gè)節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量均小于預(yù)設(shè)閾值，則認(rèn)為當(dāng)前集群沒(méi)有網(wǎng)絡(luò)任務(wù)在執(zhí)行，直接返回normal；其中，預(yù)設(shè)閾值可以根據(jù)實(shí)際需要進(jìn)行確定。

s4.1.2、計(jì)算出集群中所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和；

s4.1.3、用所有節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量總和除以集群中節(jié)點(diǎn)的數(shù)量得到網(wǎng)絡(luò)流量平均值；

s4.1.4、若當(dāng)前節(jié)點(diǎn)的實(shí)時(shí)網(wǎng)絡(luò)流量大于網(wǎng)絡(luò)流量平均值，則確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為map，否則確定當(dāng)前節(jié)點(diǎn)需要的任務(wù)類型為reduce。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。