本發(fā)明涉及資源管理技術領域，特別是涉及一種作業(yè)的調度方法及裝置。

背景技術：

隨著分布式計算系統(tǒng)的廣泛應用，如何對作業(yè)進行合適的調度，以提高工作效率是一個比較現(xiàn)實的問題。

為了對作業(yè)進行合適的調度，目前使用的作業(yè)調度系統(tǒng)的工作方式為：根據當前個分布式節(jié)點的資源情況和作業(yè)所需的資源情況，選擇出滿足作業(yè)要求的分布式節(jié)點，再將作業(yè)調度至該分布式節(jié)點。

現(xiàn)有技術僅考慮了當前時刻各個分布式節(jié)點的計算資源量的情況，可能會把需要較強計算能力分布式節(jié)點的作業(yè)調度至計算能力比較差的分布式節(jié)點，導致當前作業(yè)所需的運行時間較長，速度慢。

技術實現(xiàn)要素：

本發(fā)明實施例的目的在于提供一種作業(yè)的調度方法及裝置，以提高作業(yè)的運行速度。具體技術方案如下：

為達到上述目的，本發(fā)明實施例提供了一種作業(yè)的調度方法，應用于分布式計算系統(tǒng)的任務管理器，所述方法包括：

獲得當前作業(yè)所需的計算資源；

獲得當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源；

根據當前作業(yè)所需的計算資源和當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源，確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長；

將所述作業(yè)在運行該作業(yè)耗時最短的時刻調度至對應的分布式節(jié)點；

將作業(yè)隊列中，當前作業(yè)的下一作業(yè)確定為當前作業(yè)，并返回執(zhí)行所述獲得當前作業(yè)所需的計算資源的步驟。

可選的，所述獲得當前作業(yè)所需的計算資源，包括：

獲得用戶針對所述當前作業(yè)設定的計算資源；或，

根據所述當前作業(yè)確定出需要的計算資源。

可選的，所述分布式節(jié)點，為：

一個分布式節(jié)點服務器或包括至少兩個分布式節(jié)點服務器的服務器組。

可選的，所述獲得當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源，為：

針對當前時刻的未來預設時長內每一時刻，排除所述作業(yè)隊列中，所述當前作業(yè)之前的其他作業(yè)需要占用的計算資源后，根據各個分布式節(jié)點的硬件配置確定出在該時刻各個分布式節(jié)點的能夠提供的計算資源。

可選的，所述將所述作業(yè)在運行該作業(yè)耗時最短的時刻調度至對應的分布式節(jié)點，包括：

從所述當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長中，選擇出所述當前作業(yè)所需時長與該作業(yè)等待時長之和最短的第一時刻；

在所述第一時刻，將所述當前作業(yè)調度至所述第一時刻對應的分布式節(jié)點。

為達到上述目的，本發(fā)明實施例還提供了一種作業(yè)的調度裝置，應用于分布式計算系統(tǒng)的任務管理器，所述裝置包括：第一獲得模塊、第二獲得模塊、第一確定模塊、調度模塊和第二確定模塊，其中，

所述第一獲得模塊，用于獲得當前作業(yè)所需的計算資源；

所述第二獲得模塊，用于獲得當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源；

所述第一確定模塊，用于根據當前作業(yè)所需的計算資源和當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源，確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長；

所述調度模塊，用于將所述作業(yè)在運行該作業(yè)耗時最短的時刻調度至對應的分布式節(jié)點；

所述第二確定模塊，用于將作業(yè)隊列中，當前作業(yè)的下一作業(yè)確定為當前作業(yè)，并觸發(fā)第一獲得模塊。

可選的，所述第一獲得模塊，具體用于：

獲得用戶針對所述當前作業(yè)設定的計算資源；或，

根據所述當前作業(yè)確定出需要的計算資源。

可選的，所述分布式節(jié)點，為：

一個分布式節(jié)點服務器或包括至少兩個分布式節(jié)點服務器的服務器組。

可選的，所述第二獲得模塊，具體用于：

針對當前時刻的未來預設時長內每一時刻，排除所述作業(yè)隊列中，所述當前作業(yè)之前的其他作業(yè)需要占用的計算資源后，根據各個分布式節(jié)點的硬件配置確定出在該時刻各個分布式節(jié)點的能夠提供的計算資源。

可選的，所述調度模塊，具體用于：

從所述當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長中，選擇出所述當前作業(yè)所需時長與該作業(yè)等待時長之和最短的第一時刻；

在所述第一時刻，將所述當前作業(yè)調度至所述第一時刻對應的分布式節(jié)點。

本發(fā)明實施例提供的一種作業(yè)的調度方法及裝置，應用于分布式計算系統(tǒng)的任務管理器，所述方法包括：根據當前作業(yè)所需的計算資源的大小和當前時刻的未來預設時長內每一時刻各個分布式節(jié)點的計算能力，確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點計算完成該作業(yè)所需時長；將所述作業(yè)在計算完成該作業(yè)耗時最短的時刻調度至對應節(jié)點；將作業(yè)隊列中，當前作業(yè)的下一作業(yè)確定為當前作業(yè)，并返回執(zhí)行所述確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點計算完成該作業(yè)所需時長的步驟。

應用本發(fā)明實施例，綜合各個分布式節(jié)點提供的計算資源量和計算性能，并在未來預設時長內運行當前作業(yè)所需時間最短的時刻，將當前作業(yè)調度至對應的分布式節(jié)點，減少了運行當前作業(yè)的時間，提高了作業(yè)的運行速度。當然，實施本發(fā)明的任一產品或方法并不一定需要同時達到以上所述的所有優(yōu)點。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種作業(yè)的調度方法的流程示意圖；

圖2為本發(fā)明實施例提供的一種作業(yè)的調度裝置的結構示意圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

為解決現(xiàn)有技術問題，本發(fā)明實施例提供的一種作業(yè)的調度方法及裝置，下面首先就本發(fā)明實施例提供的一種作業(yè)的調度方法進行介紹。

需要說明的是，本發(fā)明實施例提供的一種作業(yè)的調度方法及裝置優(yōu)選適用于分布式計算系統(tǒng)的任務管理器。

圖1為本發(fā)明實施例提供的一種作業(yè)的調度方法的流程示意圖；如圖1所示，該方法包括：

s101：獲得當前作業(yè)所需的計算資源。

具體的，可以獲得用戶針對所述當前作業(yè)設定的計算資源；或，

根據所述當前作業(yè)確定出需要的計算資源。

在實際應用中，用戶可以設定運行當前作業(yè)y所需的內存為1gb，或者任務管理器根據當前作業(yè)的計算量確定出運行當前作業(yè)y所需的內存為1gb。

需要說明的是，計算資源包括但不僅限于內存大小、cpu計算能力、顯存、顯卡處理能力或者硬盤大小及其組合。

s102：獲得當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源。

具體的，分布式節(jié)點可以為：一個分布式節(jié)點服務器或包括至少兩個分布式節(jié)點服務器的服務器組。

具體的，還可以針對當前時刻的未來預設時長內每一時刻，排除所述作業(yè)隊列中，所述當前作業(yè)之前的其他作業(yè)需要占用的計算資源后，根據各個分布式節(jié)點的硬件配置確定出在該時刻各個分布式節(jié)點的能夠提供的計算資源。

在實際應用中，任務管理器接收用戶發(fā)送過來的作業(yè)后，會根據接收作業(yè)的先后順序形成一個作業(yè)隊列，假設作業(yè)隊列中含有作業(yè)x、y、z,其中作業(yè)x已經被調度至b。預設每隔2秒為一個時刻。任務管理器獲得當前時刻0:00:00的未來6秒內的3個時刻的分布式節(jié)點a、分布式節(jié)點c能夠提供的內存大小和排除運行作業(yè)x所需的計算資源后分布式節(jié)點b能夠提供的內存大小。

例如，分布式節(jié)點a在0:00:02時刻提供的是大小為0.3gb、運行速度為2mb/s的內存，在0:00:04時刻提供的是大小為0.8gb、運行速度為1mb/s的內存、在0:00:06時刻提供的是大小為1.5gb、運行速度為1mb/s的內存；

分布式節(jié)點b在排除運行作業(yè)x所需的內存后在0:00:02時刻提供的是大小為0.4gb、運行速度為1mb/s的內存，在0:00:04時刻提供的是大小為1gb、運行速度為2mb/s的內存，在0:00:06時刻提供的是大小為2gb，運行速度為2mb/s的內存；

分布式節(jié)點c在0:00:02時刻提供的是大小為8gb、運行速度為1mb/s的內存，在0:00:04時刻提供的是大小為1.2gb、運行速度為2mb/s的內存，在0:00:06時刻提供的是大小為10gb、運行速度為2mb/s的內存。

需要強調的是，可以將至少兩個分布式節(jié)點組成服務器組用于運行各個作業(yè)。

s103：根據當前作業(yè)所需的計算資源和當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源，確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長。

具體的，根據分布式節(jié)點a、b、c在0:00:02時刻、0:00:04時刻、0:00:06時刻能夠提供的內存的大小和當前作業(yè)y所需的內存，確定出當前時刻0:00:00的未來1分鐘內的3個時刻各個分布式節(jié)點運行當前作業(yè)y所需的時長。

例如，在運行當前作業(yè)y需要1gb內存，分布式節(jié)點a在0:00:02時刻運行當前作業(yè)y所需時長為1/(0.3*2)＝1.67秒、在0:00:04時刻運行當前作業(yè)y所需時長為1/(0.8*1)＝1.25秒、在0:00:06時刻運行當前作業(yè)y所需時長為1/(1.5*1)＝0.67秒；

分布式節(jié)點b在排除運行作業(yè)x所需的內存后在0:00:02時刻運行當前作業(yè)y所需時長為1/(0.4*1)＝2.5秒、在0:00:04時刻運行當前作業(yè)y所需時長為1/(1*2)＝0.5秒、在0:00:06時刻運行當前作業(yè)y所需時長為1/(2*2)＝0.25秒；

分布式節(jié)點c在0:00:02時刻運行當前作業(yè)y所需時長為1/(8*1)＝0.125秒、在0:00:04時刻運行當前作業(yè)y所需時長為1/(1.2*2)＝0.42秒、在0:00:06時刻運行當前作業(yè)y所需時長為1/(10*2)＝0.05秒。

需要說明的是，用戶預先可以通過對分布式節(jié)點進行壓力測試，得到分布式節(jié)點的各項性能指標，包括但不限于硬盤讀取速度、內存讀取速度、cpu運行速度、網絡傳輸速度。另外，通常情況下，分布式節(jié)點運行當前作業(yè)所需時間可以包括但不僅限于作業(yè)讀取的時間、作業(yè)運行的時間和運行結果存儲的時間。

示例性的，分布式節(jié)點在運行當前作業(yè)的過程，包括將作業(yè)從硬盤讀取到內存的步驟、cpu運行當前作業(yè)的步驟和運行結果的存儲步驟。分布式節(jié)點可以根據測試結果和當前作業(yè)的數(shù)據量確定出將當前作業(yè)從硬盤讀取到內存的步驟耗時為t1；cpu運行當前作業(yè)的步驟耗時為t2；運行結果的存儲步驟耗時為t3，則分布式節(jié)點運行當前作業(yè)所需的時間＝t1+t2+t3。

需要強調的是，相鄰兩個時刻之間的時間間隔包括但不僅限于2秒。

s104：將所述作業(yè)在運行該作業(yè)耗時最短的時刻調度至對應的分布式節(jié)點。

具體的，可以從所述當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長中，選擇出所述當前作業(yè)所需時長與該作業(yè)等待時長之和最短的第一時刻；

在所述第一時刻，將所述當前作業(yè)調度至所述第一時刻對應的分布式節(jié)點。

在實際應用中，確定出的各個分布式節(jié)點運行當前作業(yè)所需時長與該作業(yè)等待時長之和如下：

分布式節(jié)點a在0:00:02時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為2+1.67＝3.67秒、在0:00:04時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為4+1.25＝5.25秒、在0:00:06時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為6+0.67＝6.67秒；

分布式節(jié)點b在排除運行作業(yè)x所需的內存后在0:00:02時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為2+2.5＝4.5秒、在0:00:04時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為4+0.5＝4.5秒、在0:00:06時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為6+0.25＝6.25秒；

分布式節(jié)點c在0:00:02時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為2+0.125＝2.125秒、在0:00:04時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為4+0.42＝4.42秒、在0:00:06時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和為6+0.05＝6.05秒。

由以上結果可以確定出分布式節(jié)點c在0:00:02時刻運行當前作業(yè)y所需時長與該作業(yè)等待時長之和最短。在0:00:02時刻將當前作業(yè)y調度至分布式節(jié)點c運行。

需要說明時，當前時刻的未來預設時長內每一時刻可以包括當前時刻。

s105：將作業(yè)隊列中，當前作業(yè)的下一作業(yè)確定為當前作業(yè)，并返回執(zhí)行所述獲得當前作業(yè)所需的計算資源的步驟。

具體的，將當前作業(yè)y的下一作業(yè)z確定為當前作業(yè)，并返回執(zhí)行s101步驟。

應用本發(fā)明圖1所示實施例，綜合各個分布式節(jié)點提供的計算資源量和計算性能，并在未來預設時長內運行當前作業(yè)所需時間最短的時刻，將當前作業(yè)調度至對應的分布式節(jié)點，減少了運行當前作業(yè)的時間，提高了作業(yè)的運行速度。

與圖1所示實施例相對應，本發(fā)明實施例還提供了那個了一種作業(yè)的調度裝置

圖2為本發(fā)明實施例提供的一種作業(yè)的調度裝置的結構示意圖，如圖2所示，該裝置包括：第一獲得模塊201、第二獲得模塊202、第一確定模塊203、調度模塊204和第二確定模塊205，其中，

第一獲得模塊201，用于獲得當前作業(yè)所需的計算資源。

具體的，第一獲得模塊201，具體用于：獲得用戶針對所述當前作業(yè)設定的計算資源；或，根據所述當前作業(yè)確定出需要的計算資源。

第二獲得模塊202，用于獲得當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源。

具體的，分布式節(jié)點，可以為：

一個分布式節(jié)點服務器或包括至少兩個分布式節(jié)點服務器的服務器組。

在實際應用中，第二獲得模塊202，具體還用于：

針對當前時刻的未來預設時長內每一時刻，排除所述作業(yè)隊列中，所述當前作業(yè)之前的其他作業(yè)需要占用的計算資源后，根據各個分布式節(jié)點的硬件配置確定出在該時刻各個分布式節(jié)點的能夠提供的計算資源。

第一確定模塊203，用于根據當前作業(yè)所需的計算資源和當前時刻的未來預設時長內每一時刻各個分布式節(jié)點能夠提供的計算資源，確定出當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長。

調度模塊204，用于將所述作業(yè)在運行該作業(yè)耗時最短的時刻調度至對應的分布式節(jié)點。

具體的，調度模塊204，具體用于：

從所述當前時刻的未來預設時長內每一時刻各個分布式節(jié)點運行該作業(yè)所需時長中，選擇出所述當前作業(yè)所需時長與該作業(yè)等待時長之和最短的第一時刻；

在所述第一時刻，將所述當前作業(yè)調度至所述第一時刻對應的分布式節(jié)點。

第二確定模塊205，用于將作業(yè)隊列中，當前作業(yè)的下一作業(yè)確定為當前作業(yè)，并觸發(fā)第一獲得模塊201。

應用本發(fā)明圖2所示實施例，綜合各個分布式節(jié)點提供的計算資源量和計算性能，并在未來預設時長內運行當前作業(yè)所需時間最短的時刻，將當前作業(yè)調度至對應的分布式節(jié)點，減少了運行當前作業(yè)的時間，提高了作業(yè)的運行速度。

需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本說明書中的各個實施例均采用相關的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統(tǒng)實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換、改進等，均包含在本發(fā)明的保護范圍內。