專利名稱：一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明屬于分布式計(jì)算領(lǐng)域，具體涉及一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法。
背景技術(shù)：
近年來，隨著互聯(lián)網(wǎng)的普及和Web 2. O技術(shù)的推動，許多應(yīng)用都涉及大規(guī)模圖狀數(shù)據(jù)處理，比如交通路線圖，科學(xué)文獻(xiàn)引用關(guān)系圖和社交網(wǎng)絡(luò)等(請參考G.Malewicz，Μ. H. Austern. A. J. Bik, J. C. Dehnert,1. Horn, N. Leiser, and G. Czajkowsk1. " Pregel a system for large-scale graph processing, " SIGMOD ' 10, pp. 135-146,2010.和 R. Chen, X. ffeng, B. He, and M. Yang. " Large graphprocessing in the cloud.SIGMOD ; 10，" pp. 1123-1126,2010)。由于圖規(guī)模的不斷增大，對計(jì)算能力的需求遠(yuǎn) 遠(yuǎn)超出本地數(shù)據(jù)中心的處理能力。這時需要不斷加大本地數(shù)據(jù)中心的基礎(chǔ)設(shè)施投入來擴(kuò)展現(xiàn)有系統(tǒng)。然而，擴(kuò)展本地數(shù)據(jù)中心存在利用率低、配置成本高、維護(hù)困難等問題，越來越多的公司選擇在云計(jì)算環(huán)境下處理大型圖狀數(shù)據(jù)。云計(jì)算是分布式計(jì)算、網(wǎng)格計(jì)算和效用計(jì)算的進(jìn)一步發(fā)展，是以網(wǎng)絡(luò)為載體，以虛擬化技術(shù)為基礎(chǔ)，根據(jù)用戶需求動態(tài)配置資源的新興計(jì)算模式(請參考M. Armbrust, Fox, A.，Giffith, R.，Joseph, A. D.，Katz, R. H. , Konwinski, A. Lee, G. , Patterson, D. A. , Rabkin, A and Stoica, I, " Abovethe clouds Aberkeley view of cloud computing, " EEC S Department, Universityof California, Berkeley, Technical. Report. UCB/EECS-2009-28,2009.和 R. Buyya，Yeo, C. S. Venugopal, S.Broberg, J. Brandic,1. , " Cloud computing and emergingIT platforms Vision, hype, and reality for delivering computing as the 5thutility, " FutureGeneration Computer Systems, 25 (6) pp. 599-616. 2009.) 其主要優(yōu)勢包括(1)海量圖數(shù)據(jù)存儲能力(2)強(qiáng)大的計(jì)算處理能力(3)良好的可伸縮性和靈活性。如何利用云計(jì)算的優(yōu)勢，高效調(diào)度大規(guī)模圖狀數(shù)據(jù)處理任務(wù)是當(dāng)前一個研究重點(diǎn)問題?！銇碚f，大規(guī)模圖狀數(shù)據(jù)處理任務(wù)采用有向無環(huán)圖(DirectedAcyclicGraph, DAG)來表示，圖中的節(jié)點(diǎn)表示一個處理任務(wù)，邊表示節(jié)點(diǎn)之間的的前驅(qū)后繼關(guān)系。針對此模型最小化任務(wù)調(diào)度時間的問題在絕大多數(shù)情況下是NP完全問題(請參考 J.D. Ullman, " NP-Complete Scheduling Problems, " Journal of ComputerandSystems Sciences,10 (3)pp.498-500.1975.)。 文獻(xiàn)(H.Topcuoglu, S.Hariri,andM.ffu, " Performance-effective and low-complexity task schedulingforheterogeneous computing, " Parallel and Distributed Systems, IEEETransactions on, 13 (3)pp. 260-274. 2002)利用圖中節(jié)點(diǎn)的計(jì)算負(fù)載和傳輸負(fù)載計(jì)算節(jié)點(diǎn)的優(yōu)先級，并排序構(gòu)建調(diào)度列表，根據(jù)優(yōu)先級大小，將調(diào)度任務(wù)到最小任務(wù)完成時間的機(jī)器上執(zhí)行° 文獻(xiàn) I (D. Bozda, F. zgner, and U. V. Catalyurek, " Compaction ofschedulesand a two-stage approach for duplication-based dag scheduling, " ParallelandDistributed Systems, IEEE Transactions on, 20 (6) pp. 857-871. 2008)利用任務(wù)復(fù)制技術(shù)，根據(jù)處理器當(dāng)前的空閑時間，重復(fù)映射任務(wù)圖中的一些前驅(qū)任務(wù)，減少節(jié)點(diǎn)之間的傳輸開銷。文獻(xiàn) 2 (T. Yang, A. Gerasoulis, DSC :Scheduling ParallelTasks on an UnboundedNumber of Processors. Parallel and Distributed Systems, IEEE Transactions on,5(9)，pp. 951-967，1994)利用圖中節(jié)點(diǎn)的計(jì)算負(fù)載和傳輸負(fù)載動態(tài)跟蹤圖的關(guān)鍵路徑，將關(guān)鍵路徑上的節(jié)點(diǎn)進(jìn)行聚簇在同一處理器上執(zhí)行。以上這些方法均將最小化任務(wù)的執(zhí)行時間即調(diào)度長度作為算法的目標(biāo)函數(shù)。然而，云計(jì)算即付即用的計(jì)費(fèi)模式，使得處理這些任務(wù)所帶來的資源租賃開銷成為必須要考慮的因素。文獻(xiàn)3(Jian Li, Sen Su, Xiang Cheng,Qingjia Huang, Zhongbao Zhang, " Cost-Conscious Scheduling for Large GraphProcessing in theCloud," In Processings of the 13th International Conference onHigh PerformanceComputing and Communications, Banff, Canada, Sep. 2-4, pp808_813,2011)針對此問題，建立云計(jì)算環(huán)境下大規(guī)模圖狀數(shù)據(jù)處理任務(wù)的調(diào)度模型，并設(shè)計(jì)了降低成本的任務(wù)調(diào)度算法，但其仍存在以下問題算法降低資 源租賃開銷的同時延長了任務(wù)的調(diào)度長度，而且得到的映射方案并不是最優(yōu)解，其求解質(zhì)量仍存在較大的提升空間。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，是一種實(shí)用的基于粒子群優(yōu)化的大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度算法，其結(jié)合云計(jì)算環(huán)境下資源按需租賃的特點(diǎn)，以降低圖狀數(shù)據(jù)處理任務(wù)的調(diào)度長度和資源租賃成本為目標(biāo)，建立大規(guī)模圖狀數(shù)據(jù)處理的任務(wù)調(diào)度模型，并借鑒元啟發(fā)式優(yōu)化技術(shù)。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，包括以下步驟步驟1:讀入大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖，按照圖狀結(jié)構(gòu)任務(wù)的層次關(guān)系對所述大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖進(jìn)行遍歷，按照層次進(jìn)行任務(wù)序號標(biāo)記，并計(jì)算任務(wù)的總數(shù)η ；步驟2 :讀入當(dāng)前云計(jì)算環(huán)境的虛擬機(jī)的性能和計(jì)價模式；步驟3 :初始化m個粒子的編碼以及各個粒子的位置Xi和飛行速度\，設(shè)最大迭代次數(shù)設(shè)為T ；步驟4 :根據(jù)粒子的當(dāng)前的編碼利用下面的適應(yīng)度函數(shù)計(jì)算所有粒子的適應(yīng)度函數(shù)值f (Xi)
Tt — T.C-C-mill Ot --——l· (I—oc) ·-——
τ —f -C
max ττι πmaxmin其中T’表示當(dāng)前策略的任務(wù)調(diào)度長度，C’表示當(dāng)前策略的資源租賃成本，Tfflin和Tniax分別表示當(dāng)前解集中最小和最大的任務(wù)調(diào)度長度，Cniin和Cniax分別表示當(dāng)前解集中最小和最大的資源租賃成本，系數(shù)α用以反應(yīng)調(diào)度長度和資源租賃成本之間均衡關(guān)系，a e
；α值變小將得到資源租賃成本較小但調(diào)度長度延長的調(diào)度方案；通過迭代式搜索不同的α值構(gòu)造Pareto最優(yōu)解集；在上述迭代過程中，將當(dāng)前值和上一次結(jié)果進(jìn)行比較獲得個體極值Xpb，選取個體極值中最小的作為全局極值Xgb ；步驟5 :根據(jù)粒子的適應(yīng)度函數(shù)值f (Xi)進(jìn)行速度更新和位置更新；
步驟6 :對每個粒子，將其適應(yīng)度函數(shù)值f (Xi)與步驟4得到的個體極值Xpb進(jìn)行比較，然后將兩者中較小的值作為新的個體極值；將其適應(yīng)度函數(shù)值f (Xi)與步驟4得到的全局極值Xgb進(jìn)行比較，然后將兩者中較小的值作為新的全局極值，則更新當(dāng)前的全局極值；步驟7 :判斷是否達(dá)到最大迭代次數(shù)T，如果是，則停止計(jì)算，轉(zhuǎn)入步驟8 ;如果否，則返回步驟5;步驟8 :輸出大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度方案。所述步驟3中所述粒子的位置對應(yīng)于待解決問題的一個潛在解，粒子的速度指導(dǎo)其在迭代過程中向最優(yōu)解運(yùn)動的方向。所述步驟5具體如下利用下式進(jìn)行速度更新 V{t + l) = RV(t) P, (X ΘΧ (O) θ E1 (X ΘΧ (t))
I A,ph/3gbI其中，t表示迭代次數(shù)，Xi (t)表示粒子第t次迭代時所處的位置，Vi⑴為對應(yīng)第t次迭代時所處的位置的飛行速度，P1是粒子取當(dāng)前速度的概率，P2是粒子取局部最優(yōu)速度的概率，P3是粒子取全局最優(yōu)速度的概率，且PJPJP3 = I ；利用下式進(jìn)行位置更新，位置更新中隨機(jī)選取云計(jì)算中候選虛擬機(jī)列表(用在式(12)中的 X(t+1)處)X' (/■ + I) = ( )③ V. ( + 1)其中，Θ用于計(jì)算兩種映射方案的差異性，如果映射方案Xi和&在同一維上具有相同的值，則差值的結(jié)果為1，否則為O ;^用于粒子更新過程中，通過跟蹤自身最優(yōu)位置和全局最優(yōu)位置來更新自身的速度，即在粒子的對應(yīng)維度上以Pi的概率按照Vi各維度的值更新和以P」的概率按照 ' 各維度的值更新；ig)用于粒子根據(jù)當(dāng)前速度更新位置，即當(dāng)前位置Xi按照Nj的策略對當(dāng)前大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度策略進(jìn)行調(diào)整。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是本發(fā)明方法能夠在云計(jì)算環(huán)境下調(diào)度大規(guī)模圖狀數(shù)據(jù)處理任務(wù)過程中達(dá)到滿足性能需求的前提下降低資源租賃成本。


圖1是高斯消去法對五維矩陣的處理模型。圖2是隨機(jī)200個任務(wù)調(diào)度長度比較圖。圖3是隨機(jī)400個任務(wù)調(diào)度長度比較圖。圖4是高斯100個任務(wù)調(diào)度長度比較圖。圖5是高斯200個任務(wù)調(diào)度長度比較圖。圖6是隨機(jī)200個任務(wù)調(diào)度長度和資源成本比較圖。圖7是隨機(jī)400個任務(wù)調(diào)度長度和資源成本比較圖。圖8是高斯100個任務(wù)調(diào)度長度和資源成本比較圖。圖9是高斯200個任務(wù)調(diào)度長度和資源成本比較圖。圖10是實(shí)施例中的圖狀數(shù)據(jù)處理任務(wù)模型。
圖11是實(shí)施例中利用本發(fā)明方法得到的數(shù)據(jù)處理任務(wù)調(diào)度結(jié)果圖。圖12是本發(fā)明云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法的步驟框圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述本發(fā)明針對云計(jì)算強(qiáng)大的計(jì)算能力和彈性的計(jì)價模式，建立大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度模型，并且根據(jù)帕勒托最優(yōu)理論設(shè)計(jì)執(zhí)行時間和資源租賃成本的多目標(biāo)優(yōu)化函數(shù)，然后提出一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，其是新的基于粒子群優(yōu)化的大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度方法(Large GraphProcessing Based on ParticleSwarm Optimization in the Cloud,簡稱 LGPPSO (就是本發(fā)明方法的簡稱)。大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度問題的形式化描述如下 (I)云計(jì)算虛擬資源計(jì)費(fèi)模型云計(jì)算底層提供商根據(jù)應(yīng)用請求需求的不同，提供不同性能和計(jì)價模式的虛擬機(jī)VMitl每一臺虛擬機(jī)具有的屬性為計(jì)算能力Ci與計(jì)價模式Pi0任意兩臺虛擬機(jī)VMi和VM^之間計(jì)算能力(Ci, CP和計(jì)價模式(Pi, Pp的關(guān)系可以用指
數(shù)關(guān)系式
權(quán)利要求
1.一種云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，其特征在于所述方法包括以下步驟 步驟1:讀入大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖，按照圖狀結(jié)構(gòu)任務(wù)的層次關(guān)系對所述大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖進(jìn)行遍歷，按照層次進(jìn)行任務(wù)序號標(biāo)記，并計(jì)算任務(wù)的總數(shù)n ； 步驟2 :讀入當(dāng)前云計(jì)算環(huán)境的虛擬機(jī)的性能和計(jì)價模式； 步驟3 :初始化m個粒子的編碼以及各個粒子的位置Xi和飛行速度\，設(shè)最大迭代次數(shù)設(shè)為T ; 步驟4 :根據(jù)粒子的當(dāng)前的編碼利用下面的適應(yīng)度函數(shù)計(jì)算所有粒子的適應(yīng)度函數(shù)值
2.根據(jù)權(quán)利要求1所述的云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，其特征在于所述步驟3中所述粒子的位置對應(yīng)于待解決問題的一個潛在解，粒子的速度指導(dǎo)其在迭代過程中向最優(yōu)解運(yùn)動的方向。
3.根據(jù)權(quán)利要求1所述的云環(huán)境下收益驅(qū)動的大規(guī)模處理任務(wù)調(diào)度方法，其特征在于所述步驟5具體如下 利用下式進(jìn)行速度更新
全文摘要
本發(fā)明提供了一種云計(jì)算環(huán)境下資源成本驅(qū)動的大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度方法，屬于分布式計(jì)算領(lǐng)域。所述方法包括步驟1讀入大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖，按照圖狀結(jié)構(gòu)任務(wù)的層次關(guān)系對所述大規(guī)模圖狀數(shù)據(jù)處理任務(wù)圖進(jìn)行遍歷，按照層次進(jìn)行任務(wù)序號標(biāo)記，并計(jì)算任務(wù)的總數(shù)n；步驟2讀入當(dāng)前云計(jì)算環(huán)境的虛擬機(jī)的性能和計(jì)價模式；步驟3初始化m個粒子的編碼以及各個粒子的位置Xi和飛行速度Vi，設(shè)最大迭代次數(shù)設(shè)為T；步驟4根據(jù)粒子的當(dāng)前的編碼利用下面的適應(yīng)度函數(shù)計(jì)算所有粒子的適應(yīng)度函數(shù)值f(Xi)步驟5根據(jù)粒子的適應(yīng)度函數(shù)值進(jìn)行速度更新和位置更新。
文檔編號G06F9/46GK103019822SQ201210525859
公開日2013年4月3日 申請日期2012年12月7日 優(yōu)先權(quán)日2012年12月7日
發(fā)明者蘇森, 雙鍇, 李健, 徐鵬, 王玉龍 申請人:北京郵電大學(xué)