分布式并行任務(wù)處理的方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明實施例公開了一種分布式并行任務(wù)處理的方法、裝置及系統(tǒng)，涉及計算機【技術(shù)領(lǐng)域】，解決了現(xiàn)有技術(shù)中的分布式并行任務(wù)處理系統(tǒng)的復(fù)雜度較高，分布式并行任務(wù)處理的速度較慢的問題。所述方法包括：接收待處理的數(shù)據(jù)；將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片；將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理；接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)；將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。本發(fā)明適用于大數(shù)據(jù)量的數(shù)據(jù)的并行處理。
【專利說明】分布式并行任務(wù)處理的方法、裝置及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，尤其涉及一種分布式并行任務(wù)處理的方法、裝置及 系統(tǒng)。

【背景技術(shù)】
[0002] 當(dāng)前，隨著計算機技術(shù)的發(fā)展，計算機等設(shè)備需要處理的數(shù)據(jù)的數(shù)量也越來越大。 目前，可以通過多臺計算機等設(shè)備進行數(shù)據(jù)量較大的數(shù)據(jù)的并行處理。一般情況下，在進行 數(shù)據(jù)量較大的數(shù)據(jù)的快速處理時，需要應(yīng)用到分布式并行任務(wù)處理系統(tǒng)。分布式并行任務(wù) 處理系統(tǒng)是一種將不同地點的、具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡(luò) 連接起來，通過統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)的計算機系統(tǒng)。
[0003] 當(dāng)前的分布式并行任務(wù)處理系統(tǒng)一般具有控制節(jié)點和多個處理節(jié)點，控制節(jié)點接 收待處理數(shù)據(jù)，并將待處理數(shù)據(jù)首先進行分組、排序操作，之后再將分組、排序后的待處理 數(shù)據(jù)分給多個處理節(jié)點進行處理。在現(xiàn)有技術(shù)的分布式并行任務(wù)處理中，均需要對待處理 數(shù)據(jù)進行分組、排序操作，增加了整個分布式并行任務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行 任務(wù)處理的速度較慢。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的實施例提供一種分布式并行任務(wù)處理的方法、裝置及系統(tǒng)，能夠解決現(xiàn) 有技術(shù)中的分布式并行任務(wù)處理系統(tǒng)的復(fù)雜度較高，分布式并行任務(wù)處理的速度較慢的問 題。
[0005] 第一方面，本發(fā)明實施例提供一種分布式并行任務(wù)處理的方法，包括：
[0006] 接收待處理的數(shù)據(jù)；
[0007] 將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片；
[0008] 將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理；
[0009] 接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)；
[0010] 將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0011] 第二方面，本發(fā)明實施例提供一種分布式并行任務(wù)處理的方法，包括：
[0012] 接收控制節(jié)點發(fā)送的數(shù)據(jù)分片；其中，所述數(shù)據(jù)分片是所述控制節(jié)點切分待處理 的數(shù)據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排序；
[0013] 將所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子結(jié)果數(shù)據(jù)；
[0014] 將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
[0015] 第三方面，本發(fā)明實施例提供一種控制節(jié)點，包括：
[0016] 接收單元，用于接收待處理的數(shù)據(jù)；
[0017] 切分單元，用于將所述接收單元接收的所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片；
[0018] 分配單元，用于將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理；
[0019] 所述接收單元，還用于接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)；
[0020] 合并單元，用于將所述接收單元接收的所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0021] 第四方面，本發(fā)明實施例提供一種處理節(jié)點，包括：
[0022] 接收單元，用于接收控制節(jié)點發(fā)送的數(shù)據(jù)分片；其中，所述數(shù)據(jù)分片是所述控制節(jié) 點切分待處理的數(shù)據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排序；
[0023] 處理單元，用于將接收單元接收的所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子結(jié)果 數(shù)據(jù)；
[0024] 發(fā)送單元，用于將所述處理單元形成的子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
[0025] 第五方面，本發(fā)明實施例提供一種分布式并行任務(wù)處理的系統(tǒng)，包括控制節(jié)點和 多個處理節(jié)點，其中，
[0026] 所述控制節(jié)點，用于接收待處理的數(shù)據(jù)，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分 片，將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理；
[0027] 所述處理節(jié)點，用于接收所述控制節(jié)點發(fā)送的數(shù)據(jù)分片，將所述數(shù)據(jù)分片中的數(shù) 據(jù)進行處理，形成子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點；
[0028] 所述控制節(jié)點，還用于接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，將所述子結(jié)果數(shù) 據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0029] 本發(fā)明提供的分布式并行任務(wù)處理的方法、裝置及系統(tǒng)，控制節(jié)點接收待處理的 數(shù)據(jù)，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片，將所述多個數(shù)據(jù)分片分別分配給多個處 理節(jié)點進行處理，并接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，將所述子結(jié)果數(shù)據(jù)進行合并， 形成結(jié)果數(shù)據(jù)。而在現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù) 進行分組和排序，在一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布 式并行任務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分 布式并行任務(wù)處理的方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行 任務(wù)處理系統(tǒng)的復(fù)雜度，可以提升分布式并行任務(wù)處理的速度。

【專利附圖】

【附圖說明】
[0030] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0031] 圖1為本發(fā)明實施例提供的分布式并行任務(wù)處理的方法的流程圖一；
[0032] 圖2為本發(fā)明實施例提供的分布式并行任務(wù)處理的方法的流程圖二；
[0033] 圖3為本發(fā)明又一實施例提供的分布式并行任務(wù)處理的方法的流程圖；
[0034] 圖4為本發(fā)明實施例提供的控制節(jié)點的結(jié)構(gòu)示意圖一；
[0035] 圖5為本發(fā)明實施例提供的控制節(jié)點的結(jié)構(gòu)示意圖二；
[0036] 圖6為本發(fā)明實施例提供的處理節(jié)點的結(jié)構(gòu)示意圖；
[0037] 圖7為本發(fā)明實施例提供的分布式并行任務(wù)處理的系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0038] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。
[0039] 為使本發(fā)明技術(shù)方案的優(yōu)點更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作詳細(xì)說 明。
[0040] 如圖1所示，本發(fā)明實施例提供的分布式并行任務(wù)處理的方法，從控制節(jié)點側(cè)進 行闡述，所述方法包括：
[0041] 101、接收待處理的數(shù)據(jù)。
[0042] 在分布式并行任務(wù)中，所述待處理的數(shù)據(jù)的數(shù)據(jù)量一般較大，數(shù)據(jù)量的大小一般 在1萬億字節(jié)（Terabyte，簡稱TB)以上，但不僅局限于此。
[0043] 102、將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片。
[0044] 其中，所述待處理的數(shù)據(jù)可以按照所述處理節(jié)點的數(shù)量進行切分為數(shù)據(jù)分片，所 述數(shù)據(jù)分片的數(shù)量與所述處理節(jié)點的數(shù)量相同，且各個數(shù)據(jù)分片存儲的數(shù)據(jù)的大小可以相 同，但不僅局限于此。
[0045] 103、將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理。
[0046] 將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理可以是按照各個處理節(jié) 點的負(fù)載信息來分配，在每次分配時將多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片分配給負(fù)載最低的 處理節(jié)點；另外，還可以將所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片隨機分配給一個未獲取到 數(shù)據(jù)分片的處理節(jié)點，但不僅局限于此，將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進 行處理還可以有其他多種方式，此處不再一一列舉。
[0047] 104、接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)。
[0048] 其中，所述子結(jié)果數(shù)據(jù)是所述處理節(jié)點處理后形成的，所述處理節(jié)點可以對其獲 取到的數(shù)據(jù)分片進行逐行讀取并處理，每行的數(shù)據(jù)之間獨立無關(guān)，使得在處理節(jié)點上進行 的運算邏輯能夠在多行數(shù)據(jù)上同時執(zhí)行。
[0049] 105、將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0050] 其中，所述控制節(jié)點可以將各個處理節(jié)點返回的子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果 數(shù)據(jù)。所述結(jié)果數(shù)據(jù)可以存儲數(shù)據(jù)庫等，以供后續(xù)的數(shù)據(jù)分析應(yīng)用。
[0051] 本發(fā)明實施例提供的分布式并行任務(wù)處理的方法，控制節(jié)點接收待處理的數(shù)據(jù)， 將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片，將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點 進行處理，并接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié) 果數(shù)據(jù)。而在現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù)進行分 組和排序，在一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布式并行 任務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分布式并 行任務(wù)處理的方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行任務(wù)處 理系統(tǒng)的復(fù)雜度，提升了分布式并行任務(wù)處理的速度。
[0052] 與控制節(jié)點對應(yīng)的另一側(cè)為處理節(jié)點側(cè)，如圖2所示，本發(fā)明實施例提供的分布 式并行任務(wù)處理的方法，從處理節(jié)點側(cè)進行闡述，包括：
[0053] 201、接收控制節(jié)點發(fā)送的數(shù)據(jù)分片。
[0054] 所述數(shù)據(jù)分片的來源是控制節(jié)點接收到的待處理的數(shù)據(jù)。所述待處理的數(shù)據(jù)未經(jīng) 過控制節(jié)點的分組和排序，直接被所述控制節(jié)點進行切分而形成了所述數(shù)據(jù)分片。
[0055] 202、將所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子結(jié)果數(shù)據(jù)。
[0056] 所述處理節(jié)點可以對其獲取到的數(shù)據(jù)分片進行逐行讀取并處理，每行的數(shù)據(jù)之間 獨立無關(guān)，使得在處理節(jié)點上進行的運算邏輯能夠在多行數(shù)據(jù)上同時執(zhí)行。
[0057] 203、將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
[0058] 上述步驟203的目的是在各個處理節(jié)點處理數(shù)據(jù)分片后的子結(jié)果數(shù)據(jù)均到達(dá)控 制節(jié)點后，由所述控制節(jié)點進行合并，形成結(jié)果數(shù)據(jù)。
[0059] 本發(fā)明實施例提供的分布式并行任務(wù)處理的方法，處理節(jié)點接收數(shù)據(jù)分片，其中， 所述數(shù)據(jù)分片是所述控制節(jié)點切分待處理的數(shù)據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排 序，所述處理節(jié)點對數(shù)據(jù)分片進行處理形成子結(jié)果數(shù)據(jù)，再將子結(jié)果數(shù)據(jù)發(fā)送給所述控制 節(jié)點。而在現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù)進行分組 和排序，在一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布式并行任 務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分布式并行 任務(wù)處理的方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行任務(wù)處理 系統(tǒng)的復(fù)雜度，可以提升分布式并行任務(wù)處理的速度。
[0060] 下面針對圖1或圖2所示的方法進行詳細(xì)說明及進一步擴展：
[0061] 如圖3所示，本發(fā)明又一實施例提供的分布式并行任務(wù)處理的方法，包括：
[0062] 301、控制節(jié)點接收待處理的數(shù)據(jù)。
[0063] 在分布式并行任務(wù)中，所述待處理的數(shù)據(jù)的數(shù)據(jù)量一般較大，數(shù)據(jù)量的大小一般 在1萬億字節(jié)（Terabyte，簡稱TB)以上，但不僅局限于此。例如，所述待處理的數(shù)據(jù)可以是 某應(yīng)用程序在一天內(nèi)的登陸信息，所述登陸信息中包括該應(yīng)用程序下的賬戶的上線時間， 下線時間等，但不僅局限于此。
[0064] 302、所述控制節(jié)點根據(jù)所述處理節(jié)點的數(shù)量，將所述待處理的數(shù)據(jù)切分為多個數(shù) 據(jù)分片。在步驟302之后，可以執(zhí)行步驟303或者步驟304。
[0065] 其中，所述待處理的數(shù)據(jù)可以按照所述處理節(jié)點的數(shù)量進行切分為數(shù)據(jù)分片，所 述數(shù)據(jù)分片的數(shù)量與所述處理節(jié)點的數(shù)量相同，且各個數(shù)據(jù)分片存儲的數(shù)據(jù)的大小可以相 同，但不僅局限于此。
[0066] 303、控制節(jié)點將所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片隨機分配給一個未獲取到 數(shù)據(jù)分片的處理節(jié)點，直到多個數(shù)據(jù)分片分配完畢。之后，繼續(xù)執(zhí)行步驟308。
[0067] 為了保證每個處理節(jié)點的負(fù)載不會過大，需要對所述數(shù)據(jù)分片進行合理分配，具 體可以對數(shù)據(jù)分片進行隨機分配，并在處理節(jié)點已經(jīng)接受到數(shù)據(jù)分片后，將不會再次接受 到該待處理數(shù)據(jù)的數(shù)據(jù)分片。
[0068] 304、處理節(jié)點將其自身的負(fù)載信息發(fā)送給控制節(jié)點。之后執(zhí)行步驟305-306。
[0069] 同樣的，為了能夠合理分配所述數(shù)據(jù)分片，還可以根據(jù)各個處理節(jié)點的負(fù)載的大 小來進行分配。所述負(fù)載信息中即攜帶有處理節(jié)點處的負(fù)載。
[0070] 305、控制節(jié)點根據(jù)接收到的各個處理節(jié)點的負(fù)載信息，根據(jù)所述負(fù)載信息確定負(fù) 載最低的處理節(jié)點。
[0071] 具體的，在所述控制節(jié)點獲取到各個處理節(jié)點的負(fù)載信息后，由于所述負(fù)載信息 中攜帶有處理節(jié)點的負(fù)載，因此能夠獲知到負(fù)載最低的處理節(jié)點。
[0072] 306、控制節(jié)點將所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片分配給所述負(fù)載最低的處 理節(jié)點。繼續(xù)執(zhí)行步驟307。
[0073] 這樣，在多個數(shù)據(jù)分片中的每個數(shù)據(jù)分片進行分配時，均能夠分配給負(fù)載最低的 處理節(jié)點，使得數(shù)據(jù)分片的分配較為均衡，保證了處理節(jié)點的負(fù)載均衡。
[0074] 307、控制節(jié)點判斷所述多個數(shù)據(jù)分片是否分配完畢。若所述數(shù)據(jù)分片分配完畢， 執(zhí)行步驟308,否則返回執(zhí)行步驟304。
[0075] 308、處理節(jié)點對所述數(shù)據(jù)分片中的多行數(shù)據(jù)進行逐行處理，形成子結(jié)果數(shù)據(jù)。
[0076] 所述處理節(jié)點可以對其獲取到的數(shù)據(jù)分片進行逐行讀取并處理，每行的數(shù)據(jù)之間 獨立無關(guān)，使得在處理節(jié)點上進行的運算邏輯能夠在多行數(shù)據(jù)上同時執(zhí)行。
[0077] 以上述的待處理的數(shù)據(jù)是某應(yīng)用程序在一天內(nèi)的登陸信息為例，若需要篩選出某 一時刻的在線賬戶，則所述登陸信息可以被所述控制節(jié)點切分為數(shù)據(jù)分片，由各個處理節(jié) 點繼續(xù)處理，根據(jù)登陸信息中的各個賬戶的上線時間和下線時間，篩選出在某一時刻在線 的賬戶。由于多個處理節(jié)點同時進行篩選，篩選出某一時刻的在線賬戶的速度也較快。
[0078] 309、處理節(jié)點將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
[0079] 310、控制節(jié)點將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0080] 值得說明的是，本發(fā)明實施例中的控制節(jié)點和處理節(jié)點均可以是計算機等具有運 算能力的電子設(shè)備。
[0081] 本發(fā)明又一實施例提供的分布式并行任務(wù)處理的方法，控制節(jié)點接收待處理的數(shù) 據(jù)，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片，并將所述多個數(shù)據(jù)分片分別分配給多個處 理節(jié)點進行處理，并接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)進行合 并，形成結(jié)果數(shù)據(jù)。而在現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的 數(shù)據(jù)進行分組和排序，在一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個 分布式并行任務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供 的分布式并行任務(wù)處理的方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式 并行任務(wù)處理系統(tǒng)的復(fù)雜度，可以提升分布式并行任務(wù)處理的速度。
[0082] 參考上述圖1及圖3所示的方法的實現(xiàn)，如圖4所示，本發(fā)明實施例提供的控制節(jié) 點，包括：
[0083] 接收單元41，用于接收待處理的數(shù)據(jù)。
[0084] 切分單元42,用于將所述接收單元41接收的所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù) 分片。
[0085] 分配單元43,用于將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理。
[0086] 所述接收單元41，還用于接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)。
[0087] 合并單元44,用于將所述接收單元41接收的所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果 數(shù)據(jù)。
[0088] 具體的，如圖5所示，所述切分單元42,用于：
[0089] 根據(jù)所述處理節(jié)點的數(shù)量，將所述接收單元41接收的所述待處理的數(shù)據(jù)切分為 多個數(shù)據(jù)分片。
[0090] 其中，所述數(shù)據(jù)分片的數(shù)量與所述處理節(jié)點的數(shù)量相同。
[0091] 進一步的，如圖5所示，所述分配單元43,還用于：
[0092] 將所述切分單元42切分后的所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片隨機分配給一 個未獲取到數(shù)據(jù)分片的處理節(jié)點。
[0093] 進一步的，如圖5所示，所述控制節(jié)點還包括：確定單元45。
[0094] 所述接收單元41，還用于接收各處理節(jié)點的負(fù)載信息。
[0095] 所述確定單元45,用于根據(jù)所述接收單元41接收的負(fù)載信息，確定負(fù)載最低的處 理節(jié)點。
[0096] 所述分配單元43,還用于將所述切分單元42切分后的多個數(shù)據(jù)分片中的一個數(shù) 據(jù)分片分配給所述負(fù)載最低的處理節(jié)點。
[0097] 值得說明的是，本發(fā)明實施例提供的控制節(jié)點的具體實現(xiàn)方式可以參見圖3中的 分布式并行任務(wù)處理的方法的具體實現(xiàn)方式，此處不再贅述。所述控制節(jié)點可以是計算機 等具有運算能力的電子設(shè)備。
[0098] 本發(fā)明實施例提供的控制節(jié)點，控制節(jié)點接收待處理的數(shù)據(jù)，將所述待處理的數(shù) 據(jù)切分為多個數(shù)據(jù)分片，并將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理，并接 收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。而在 現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù)進行分組和排序，在 一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布式并行任務(wù)處理系統(tǒng) 的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分布式并行任務(wù)處理的 方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行任務(wù)處理系統(tǒng)的復(fù)雜 度，可以提升分布式并行任務(wù)處理的速度。
[0099] 參考上述圖2及圖3所示的方法的實現(xiàn)，如圖6所示，本發(fā)明實施例提供的處理節(jié) 點，包括：
[0100] 接收單元51，用于接收控制節(jié)點發(fā)送的數(shù)據(jù)分片。
[0101] 其中，所述數(shù)據(jù)分片是所述控制節(jié)點切分待處理的數(shù)據(jù)而得，所述待處理的數(shù)據(jù) 未被分組和排序。
[0102] 處理單元52,用于將接收單元51接收的所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子 結(jié)果數(shù)據(jù)。
[0103] 發(fā)送單元53,用于將所述處理單元52形成的子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
[0104] 值得說明的是，所述數(shù)據(jù)分片包括多行數(shù)據(jù)。
[0105] 如圖6所示，所述處理單元52,具體用于：
[0106] 對所述數(shù)據(jù)分片中的多行數(shù)據(jù)進行逐行處理。
[0107] 具體的，如圖6所示，所述發(fā)送單元53，還用于：
[0108] 向所述控制節(jié)點發(fā)送負(fù)載信息。其中，所述負(fù)載信息攜帶有處理節(jié)點的負(fù)載。
[0109] 值得說明的是，本發(fā)明實施例提供的處理節(jié)點的具體實現(xiàn)方式可以參見圖3中的 分布式并行任務(wù)處理的方法的具體實現(xiàn)方式，此處不再贅述。所述處理節(jié)點可以是計算機 等具有運算能力的電子設(shè)備。
[0110] 本發(fā)明實施例提供的處理節(jié)點，處理節(jié)點接收數(shù)據(jù)分片，其中，所述數(shù)據(jù)分片是所 述控制節(jié)點切分待處理的數(shù)據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排序，所述處理節(jié)點對 數(shù)據(jù)分片進行處理形成子結(jié)果數(shù)據(jù)，再將子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。而在現(xiàn)有技術(shù) 中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù)進行分組和排序，在一些不需 要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布式并行任務(wù)處理系統(tǒng)的復(fù)雜 度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分布式并行任務(wù)處理的方式無 需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行任務(wù)處理系統(tǒng)的復(fù)雜度，可 以提升分布式并行任務(wù)處理的速度。
[0111] 如圖7所示，本發(fā)明實施例提供的分布式并行任務(wù)處理的系統(tǒng)，包括控制節(jié)點61 和多個處理節(jié)點62,其中，
[0112] 所述控制節(jié)點61，用于接收待處理的數(shù)據(jù)，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù) 分片，將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點62進行處理；
[0113] 所述處理節(jié)點62,用于接收所述控制節(jié)點61發(fā)送的數(shù)據(jù)分片，將所述數(shù)據(jù)分片中 的數(shù)據(jù)進行處理，形成子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點61 ;
[0114] 所述控制節(jié)點61，還用于接收各個處理節(jié)點62處理后的子結(jié)果數(shù)據(jù)，將所述子結(jié) 果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
[0115] 值得說明的是，本發(fā)明實施例提供的分布式并行任務(wù)處理的系統(tǒng)的具體實現(xiàn)方式 可以參見圖3中的分布式并行任務(wù)處理的方法的具體實現(xiàn)方式，此處不再贅述。
[0116] 本發(fā)明實施例提供的分布式并行任務(wù)處理的系統(tǒng)，控制節(jié)點接收待處理的數(shù)據(jù)， 將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片，并將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié) 點進行處理，并接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)進行合并，形 成結(jié)果數(shù)據(jù)。而在現(xiàn)有技術(shù)中，控制節(jié)點在接收到待處理的數(shù)據(jù)，需要先對待處理的數(shù)據(jù)進 行分組和排序，在一些不需要數(shù)據(jù)分組排序的場景下，現(xiàn)有技術(shù)的方式增加了整個分布式 并行任務(wù)處理系統(tǒng)的復(fù)雜度，使得分布式并行任務(wù)處理的速度較慢。而本發(fā)明提供的分布 式并行任務(wù)處理的方式無需對待處理的數(shù)據(jù)進行分組和排序，能夠降低整個分布式并行任 務(wù)處理系統(tǒng)的復(fù)雜度，可以提升分布式并行任務(wù)處理的速度。
[0117] 通過以上的實施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借 助軟件加必需的通用硬件的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳 的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部 分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在可讀取的存儲介質(zhì)中，如計 算機的軟盤，硬盤或光盤等，包括若干指令用以使得一臺計算機設(shè)備（可以是個人計算機， 服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等）執(zhí)行本發(fā)明各個實施例所述的方法。
[0118] 以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何 熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵 蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準(zhǔn)。
【權(quán)利要求】
1. 一種分布式并行任務(wù)處理的方法，其特征在于，包括： 接收待處理的數(shù)據(jù)； 將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片； 將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理； 接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)； 將所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的分布式并行任務(wù)處理的方法，其特征在于，所述將所述待處 理的數(shù)據(jù)切分為多個數(shù)據(jù)分片的步驟，包括： 根據(jù)所述處理節(jié)點的數(shù)量，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片；其中，所述數(shù)據(jù) 分片的數(shù)量與所述處理節(jié)點的數(shù)量相同。
3. 根據(jù)權(quán)利要求2所述的分布式并行任務(wù)處理的方法，其特征在于，所述將所述多個 數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理的步驟，包括： 將所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片隨機分配給一個未獲取到數(shù)據(jù)分片的處理節(jié) 點。
4. 根據(jù)權(quán)利要求2所述的分布式并行任務(wù)處理的方法，其特征在于，所述將所述多個 數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理的步驟，包括： 接收各處理節(jié)點的負(fù)載信息； 根據(jù)所述負(fù)載信息確定負(fù)載最低的處理節(jié)點； 將所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片分配給所述負(fù)載最低的處理節(jié)點。
5. -種分布式并行任務(wù)處理的方法，其特征在于，包括： 接收控制節(jié)點發(fā)送的數(shù)據(jù)分片；其中，所述數(shù)據(jù)分片是所述控制節(jié)點切分待處理的數(shù) 據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排序； 將所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子結(jié)果數(shù)據(jù)； 將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
6. 根據(jù)權(quán)利要求5所述的分布式并行任務(wù)處理的方法，其特征在于，所述數(shù)據(jù)分片包 括多行數(shù)據(jù)。
7. 根據(jù)權(quán)利要求6所述的分布式并行任務(wù)處理的方法，其特征在于，所述將所述數(shù)據(jù) 分片中的數(shù)據(jù)進行處理，形成子結(jié)果數(shù)據(jù)的步驟，包括： 對所述數(shù)據(jù)分片中的多行數(shù)據(jù)進行逐行處理。
8. 根據(jù)權(quán)利要求5所述的分布式并行任務(wù)處理的方法，其特征在于，所述方法還包括： 向所述控制節(jié)點發(fā)送自身的負(fù)載信息；其中，所述負(fù)載信息攜帶有處理節(jié)點的負(fù)載。
9. 一種控制節(jié)點，其特征在于，包括： 接收單元，用于接收待處理的數(shù)據(jù)； 切分單元，用于將所述接收單元接收的所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片； 分配單元，用于將所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理； 所述接收單元，還用于接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)； 合并單元，用于將所述接收單元接收的所述子結(jié)果數(shù)據(jù)進行合并，形成結(jié)果數(shù)據(jù)。
10. 根據(jù)權(quán)利要求9所述的控制節(jié)點，其特征在于，所述切分單元，用于： 根據(jù)所述處理節(jié)點的數(shù)量，將所述接收單元接收的所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù) 分片；其中，所述數(shù)據(jù)分片的數(shù)量與所述處理節(jié)點的數(shù)量相同。
11. 根據(jù)權(quán)利要求10所述的控制節(jié)點，其特征在于，所述分配單元，還用于： 將所述切分單元切分后的所述多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片隨機分配給一個未獲 取到數(shù)據(jù)分片的處理節(jié)點。
12. 根據(jù)權(quán)利要求10所述的控制節(jié)點，其特征在于，所述控制節(jié)點還包括：確定單元； 所述接收單元，還用于接收各處理節(jié)點的負(fù)載信息； 所述確定單元，用于根據(jù)所述接收單元接收的負(fù)載信息，確定負(fù)載最低的處理節(jié)點； 所述分配單元，還用于將所述切分單元切分后的多個數(shù)據(jù)分片中的一個數(shù)據(jù)分片分配 給所述負(fù)載最低的處理節(jié)點。
13. -種處理節(jié)點，其特征在于，包括： 接收單元，用于接收控制節(jié)點發(fā)送的數(shù)據(jù)分片；其中，所述數(shù)據(jù)分片是所述控制節(jié)點切 分待處理的數(shù)據(jù)而得，所述待處理的數(shù)據(jù)未被分組和排序； 處理單元，用于將接收單元接收的所述數(shù)據(jù)分片中的數(shù)據(jù)進行處理，形成子結(jié)果數(shù) 據(jù)； 發(fā)送單元，用于將所述處理單元形成的子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點。
14. 根據(jù)權(quán)利要求13所述的控制節(jié)點，其特征在于，所述數(shù)據(jù)分片包括多行數(shù)據(jù)。
15. 根據(jù)權(quán)利要求14所述的控制節(jié)點，其特征在于，所述處理單元，用于： 對所述數(shù)據(jù)分片中的多行數(shù)據(jù)進行逐行處理。
16. 根據(jù)權(quán)利要求13所述的控制節(jié)點，其特征在于，所述發(fā)送單元，還用于： 向所述控制節(jié)點發(fā)送自身的負(fù)載信息；其中，所述負(fù)載信息攜帶有處理節(jié)點的負(fù)載。
17. -種分布式并行任務(wù)處理的系統(tǒng)，其特征在于，包括控制節(jié)點和多個處理節(jié)點，其 中， 所述控制節(jié)點，用于接收待處理的數(shù)據(jù)，將所述待處理的數(shù)據(jù)切分為多個數(shù)據(jù)分片，將 所述多個數(shù)據(jù)分片分別分配給多個處理節(jié)點進行處理； 所述處理節(jié)點，用于接收所述控制節(jié)點發(fā)送的數(shù)據(jù)分片，將所述數(shù)據(jù)分片中的數(shù)據(jù)進 行處理，形成子結(jié)果數(shù)據(jù)，并將所述子結(jié)果數(shù)據(jù)發(fā)送給所述控制節(jié)點； 所述控制節(jié)點，還用于接收各個處理節(jié)點處理后的子結(jié)果數(shù)據(jù)，將所述子結(jié)果數(shù)據(jù)進 行合并，形成結(jié)果數(shù)據(jù)。
【文檔編號】G06F9/38GK104102475SQ201310125254
【公開日】2014年10月15日 申請日期:2013年4月11日 優(yōu)先權(quán)日:2013年4月11日
【發(fā)明者】廖龍, 秦曉強, 答治茜, 羅建國 申請人:騰訊科技（深圳）有限公司