一種結(jié)合Docker技術(shù)的資源按需動(dòng)態(tài)分配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種結(jié)合Docker技術(shù)的資源按需動(dòng)態(tài)分配方法。
【背景技術(shù)】
[0002] 隨著信息技術(shù)的發(fā)展以及互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，大數(shù)據(jù)的計(jì)算以及分布式平臺(tái) 不斷涌現(xiàn)新的技術(shù)，一方面為海量數(shù)據(jù)的計(jì)算提供更好的平臺(tái)工具，另一方面解決分布式 系統(tǒng)資源利用率不足的問(wèn)題。在限定資源下，結(jié)合Docker技術(shù)的資源按需動(dòng)態(tài)分配方法， 能確保資源的合理配置，并按照用戶(hù)的需求進(jìn)行有效分配。
[0003] Docker是一個(gè)開(kāi)源的引擎，可以輕松的為任何應(yīng)用創(chuàng)建一個(gè)輕量級(jí)的、可移植的、 相互隔離的容器。開(kāi)發(fā)者在筆記本上編譯測(cè)試通過(guò)的容器可以批量地在生產(chǎn)環(huán)境中部署， 包括VMs (虛擬機(jī)）、0penStack集群和其他的基礎(chǔ)應(yīng)用平臺(tái)。作為一種新興的虛擬化方式， Docker跟傳統(tǒng)的虛擬化方式相比具有眾多的優(yōu)勢(shì)，如更快速的交付和部署、更高效的虛擬 化、更輕松的迀移和擴(kuò)展以及更簡(jiǎn)單的管理。目前Docker技術(shù)是基于Linux 64位系統(tǒng)的， 暫不能在其他其他系統(tǒng)環(huán)境下使用。
[0004] Docker核心解決的問(wèn)題是利用LXC來(lái)實(shí)現(xiàn)類(lèi)似VM的功能，從而利用更加節(jié)省的硬 件資源供給用戶(hù)更多的計(jì)算機(jī)資源。每個(gè)用戶(hù)實(shí)例之間可以提供其所需要的計(jì)算資源，所 使用的資源可以被計(jì)量，并且主要利用控制組（cgroups)來(lái)控制資源。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種結(jié)合Docker技術(shù)的資源按需動(dòng)態(tài)分配方法，能夠合理 建立資源動(dòng)態(tài)分配模型，提高計(jì)算機(jī)資源利用率，避免資源浪費(fèi)。
[0006] -種結(jié)合Docker技術(shù)的資源按需動(dòng)態(tài)分配方法，其特別之處在于，包括如下步 驟：使用Docker技術(shù)的分布式平臺(tái)利用集群管理器進(jìn)行監(jiān)控和資源調(diào)整，針對(duì)虛擬機(jī)環(huán)境 的按需動(dòng)態(tài)資源分配要求，先將系統(tǒng)資源分塊，每塊資源份額固定，然后進(jìn)行管理和分配系 統(tǒng)資源。
[0007] 具體包括如下步驟：
[0008] 第一階段，用戶(hù)進(jìn)行容器初始化，資源根據(jù)用戶(hù)需求進(jìn)行初始分配，分配完成后用 戶(hù)的容器只能使用當(dāng)前分配的有限物理機(jī)資源，并且資源份額為M的倍數(shù)，空閑的資源作 為用戶(hù)需求的備用資源；
[0009] 第二階段，具體如下：
[0010] a.用戶(hù)提出新的資源分配請(qǐng)求，需要分配的資源份額表示為nM ;
[0011] b.調(diào)度中心根據(jù)用戶(hù)請(qǐng)求的資源情況，向資源池申請(qǐng)資源，通過(guò)資源分配算法，找 到滿(mǎn)足用戶(hù)需求的資源份額分配給用戶(hù)；
[0012] c.系統(tǒng)更新資源池，并通過(guò)集群管理工具對(duì)系統(tǒng)進(jìn)行監(jiān)控，檢測(cè)各個(gè)容器的資源 使用情況和負(fù)載滿(mǎn)足情況，計(jì)算資源利用率；
[0013] d.建立一個(gè)先驗(yàn)知識(shí)庫(kù)，并基于資源利用率，通過(guò)如下的樸素貝葉斯算法進(jìn)行 用戶(hù)優(yōu)先級(jí)分類(lèi)，資源利用率越高的用戶(hù)，其優(yōu)先級(jí)越高，其中用戶(hù)優(yōu)先級(jí)分別表示為 r2，…，r;，用戶(hù)節(jié)點(diǎn)分別表不SN^N2，…，Nj:
[0015] 公式中，P Cri I Nj)表示給定節(jié)點(diǎn)Nj,分類(lèi)為1^的概率；P (Njri)表示給定!Ti等級(jí)下 節(jié)點(diǎn)Nj出現(xiàn)的概率；P (r J表示&的先驗(yàn)概率，P(N j)表示為節(jié)點(diǎn)Nj出現(xiàn)的概率；
[0016] f.重復(fù)步驟a至步驟d，不斷完善貝葉斯優(yōu)先級(jí)分類(lèi)模型；
[0017] 第三階段，具體如下：
[0018] a.用戶(hù)提出新的資源分配請(qǐng)求，需要分配的資源份額表示為nM ;
[0019] b.調(diào)度中心根據(jù)用戶(hù)請(qǐng)求的資源情況，向資源池申請(qǐng)資源，在同一時(shí)間段內(nèi)多個(gè) 用戶(hù)申請(qǐng)資源，優(yōu)先級(jí)較高的用戶(hù)優(yōu)先獲得分配，其調(diào)度算法與第二階段一致，找到滿(mǎn)足用 戶(hù)需求的資源份額分配給用戶(hù)；
[0020] c.系統(tǒng)更新資源池，并通過(guò)集群管理工具對(duì)系統(tǒng)進(jìn)行監(jiān)控，檢測(cè)各個(gè)容器的資源 使用情況和負(fù)載滿(mǎn)足情況，計(jì)算資源利用率；
[0021] d.繼續(xù)更新先驗(yàn)知識(shí)庫(kù)的情況，不斷更新用戶(hù)的優(yōu)先級(jí)評(píng)定；
[0022] 第三階段的資源分配結(jié)束后，繼續(xù)由Docker技術(shù)的集群管理工具進(jìn)行資源的監(jiān) 控，并計(jì)算本時(shí)間段資源的利用率，并將結(jié)果反饋到先驗(yàn)知識(shí)庫(kù)中，不斷更新先驗(yàn)知識(shí)庫(kù)。
[0023] 其中第二階段中的資源分配算法實(shí)現(xiàn)如下：
[0024] 將總的物理機(jī)資源份額表示為S，虛擬節(jié)點(diǎn)集合表示為G，各個(gè)虛擬節(jié)點(diǎn)分別表示 為N1, N2，…，N,，…，第q時(shí)間段上N,節(jié)點(diǎn)實(shí)際分配的資源份額表示為A(N ,，q)，下一時(shí)間 段用戶(hù)需要的資源份額為E(NyC^l)，剩余資源量為S' =S-EA(N^q);
[0025] 對(duì)于用戶(hù)所需資源量小于或者等于當(dāng)前分配資源份額的節(jié)點(diǎn)，即 E(Npcm)彡A (Npq)的節(jié)點(diǎn)，分配方法為：將E(Npcm)分配給N,節(jié)點(diǎn)，并更新剩余資源量 S' 為 S' +A(Npq) - E (Nj, q+1);
[0026] 而對(duì)于用戶(hù)所需資源量大于當(dāng)前分配資源份額的節(jié)點(diǎn)，即E(Npcm) >々(％，(!）的 節(jié)點(diǎn)，再細(xì)分如下：
[0027] a.當(dāng)剩余資源量S'大于E% q+1)時(shí)，分配方法為：將E% q+1)分配給N,節(jié)點(diǎn)， 并更新剩余資源量S'為S' +A% q) - E% q+1);
[0028] b.當(dāng)剩余資源量S'小于E(Npcm)時(shí)，分配方法為：將S'全部分配給N,節(jié)點(diǎn)，并 更新剩余資源量S'為0。
[0029] 其中在第三階段中加入優(yōu)先級(jí)，其算法如下：
[0030] 將總的物理機(jī)資源份額表示為S，虛擬節(jié)點(diǎn)集合表示為G，各個(gè)虛擬節(jié)點(diǎn)分別表示 為N1, N2，…，N,，…，第q時(shí)間段上N,節(jié)點(diǎn)實(shí)際分配的資源份額表示為A(N ,，q)，下一時(shí)間 段用戶(hù)需要的資源份額為E(NyC^l)，剩余資源量為S' =S-EA(N^q);
[0031] 下一時(shí)間段，對(duì)于申請(qǐng)資源的用戶(hù)，判定其優(yōu)先級(jí)，優(yōu)先級(jí)較高的用戶(hù)進(jìn)入資源分 配階段，優(yōu)先級(jí)較低的用戶(hù)進(jìn)行排隊(duì)等候，當(dāng)優(yōu)先級(jí)一樣時(shí)，優(yōu)先分配申請(qǐng)資源較小的用 戶(hù)，分配過(guò)程如下：
[0032] 對(duì)于用戶(hù)所需資源量小于或者等于當(dāng)前分配資源份額的節(jié)點(diǎn)，即 E(Npcm)彡A (Npq)的節(jié)點(diǎn)，分配方法為：將E(Npcm)分配給N,節(jié)點(diǎn)，并更新剩余資源量 S' 為 S' +A(Npq) - E (Nj, q+1);
[0033] 而對(duì)于用戶(hù)所需資源量大于當(dāng)前分配資源份額的節(jié)點(diǎn)，即E(NpC^l) >々(％，(!）的 節(jié)點(diǎn)，再細(xì)分如下：
[0034] a.當(dāng)剩余資源量S'大于E% q+1)時(shí)，分配方法為：將E% q+1)分配給N,節(jié)點(diǎn)， 并更新剩余資源量S'為S' +A% q) - E% q+1);
[0035] b.當(dāng)剩余資源量S'小于E(Npcm)時(shí)，分配方法為：將S'全部分配給N,節(jié)點(diǎn)，并 更新剩余資源量S'為0。
[0036] 本發(fā)明的分配方法通過(guò)對(duì)資源分配過(guò)程進(jìn)行建模，合理分配計(jì)算機(jī)資源，并通過(guò) 結(jié)合Docker技術(shù)，針對(duì)Docker技術(shù)中容器之間互相隔離的特點(diǎn)，并按照用戶(hù)對(duì)資源份額的 需要，制定相應(yīng)的資源動(dòng)態(tài)分配方案，確保計(jì)算機(jī)系統(tǒng)正常有序運(yùn)行，有效避免資源浪費(fèi)。
【附圖說(shuō)明】
[0037] 附圖1為本發(fā)明方法第一階段的資源分配示意圖；
[0038] 附圖2為本發(fā)明方法第二階段的資源分配示意圖；
[0039] 附圖3為本發(fā)明方法第三階段的資源分配示意圖；
[0040] 附圖4為本發(fā)明方法中資源按需動(dòng)態(tài)分配示意圖。
【具體實(shí)施方式】
[0041] 本發(fā)明是這樣實(shí)現(xiàn)的：
[0042] 用戶(hù)的應(yīng)用程序及進(jìn)程在Docker技術(shù)中都是以容器的形式存在的，容器之間彼 此隔離，互不可見(jiàn)，使用Docker技術(shù)的分布式平臺(tái)利用特殊的集群管理器進(jìn)行監(jiān)控和資源 調(diào)整。針對(duì)虛擬機(jī)環(huán)境的按需動(dòng)態(tài)資源分配要求，先將系統(tǒng)資源分塊，每塊資源份額固定為 M，有利于管理和分配系統(tǒng)資源。
[0043] 1.第一階段，用戶(hù)進(jìn)行容器初始化，資源根據(jù)用戶(hù)需求進(jìn)行初始分配，分配完成后 用戶(hù)的容器只能使用當(dāng)前分配的有限物理機(jī)資源，并且資源份額為M的倍數(shù)，空閑的資源 作為用戶(hù)需求的備用資源。
[0044] 2.第二階段，分為幾個(gè)小的部分，分別為：
[0045] a.用戶(hù)提出新的資源分配請(qǐng)求，需要分配的資源份額表示為nM。
[0046] b.調(diào)度中心根據(jù)用戶(hù)請(qǐng)求的資源情況，向資源池申請(qǐng)資源，通過(guò)下述（五）的具體 調(diào)度算法，找到滿(mǎn)足用戶(hù)需求的資源份額分配給用戶(hù)。
[0047] c.系統(tǒng)更新資源池，并通過(guò)集群管理工具對(duì)系統(tǒng)進(jìn)行監(jiān)控，檢測(cè)各個(gè)容器的資源 使用情況和負(fù)載滿(mǎn)足情況，計(jì)算資源利用率。
[0048] d.建立一個(gè)先驗(yàn)知識(shí)庫(kù)，并基于資源利用率，通過(guò)如下的樸素貝葉斯算法進(jìn)行用 戶(hù)優(yōu)先級(jí)分類(lèi)，資源利用率越高的用戶(hù)，其優(yōu)先級(jí)越高。其中用戶(hù)優(yōu)先級(jí)分別表示為 r2，…，r;，用戶(hù)節(jié)點(diǎn)分別表不SN^N2，…，Nj:
[0050] 公式中，P Cri I Nj)表示給定節(jié)點(diǎn)Nj,分類(lèi)為!Ti的概率，這個(gè)概率可以通過(guò)上述的貝 葉斯公式，計(jì)算另外三個(gè)可計(jì)算的量來(lái)求出。P(NjIri)表示給定!T i等級(jí)下節(jié)點(diǎn)N 出現(xiàn)的概 率；P(A)表示ri的先驗(yàn)概率，P(N j)表示為節(jié)點(diǎn)Nj出現(xiàn)的概率。
[0051] f.重復(fù)a-d，不斷完善貝葉斯優(yōu)先級(jí)分類(lèi)模型。
[0052] 3.第三階段，與第二階段類(lèi)似，但是在資源分配部分加入了優(yōu)先級(jí)的評(píng)定，優(yōu)先級(jí) 較高的用戶(hù)先獲得資源的分配，其他保持不變，幾個(gè)部分分別如下：
[0053] a.用戶(hù)提出新的資源分配請(qǐng)求，需要分配的資源份額表示為nM。
[0054] b.調(diào)度中心根據(jù)用戶(hù)請(qǐng)求的資源情況，向資源池申請(qǐng)資源，在同一時(shí)間段內(nèi)多個(gè) 用戶(hù)申請(qǐng)資源，優(yōu)先級(jí)較高的用戶(hù)優(yōu)先獲得分配，其調(diào)度算法與第二階段一致，找到滿(mǎn)足用 戶(hù)需求的資源份額分配給用戶(hù)。
[0055] c.系統(tǒng)更新資源池，并通過(guò)集群管理工具對(duì)系統(tǒng)進(jìn)行監(jiān)