本發(fā)明屬于計(jì)算機(jī)，尤其涉及一種基于負(fù)載時(shí)序預(yù)測的集群彈性伸縮方法。

背景技術(shù)：

1、近年來，隨著云計(jì)算的不斷發(fā)展，海量服務(wù)系統(tǒng)被部署到了云端。當(dāng)云端面臨服務(wù)請求負(fù)載出現(xiàn)波動(dòng)變化時(shí)，處理負(fù)載的容器集群能夠隨之進(jìn)行自動(dòng)地彈性伸縮，以保持穩(wěn)定的服務(wù)性能并為運(yùn)營商節(jié)省硬件及能耗資源。

2、盡管容器技術(shù)在輕量化、快速啟停等方面優(yōu)于傳統(tǒng)的虛擬機(jī)技術(shù)，但是由于容器冷啟動(dòng)需要加載微服務(wù)功能代碼和依賴，因此容器化運(yùn)行環(huán)境中的冷啟動(dòng)問題仍舊存在。云計(jì)算的核心競爭力之一便是依托輕量化的容器技術(shù)，能夠?qū)崿F(xiàn)計(jì)算資源的快速供給與回收，體現(xiàn)在容器集群上便是集群的彈性伸縮能力。

3、到目前為止，容器集群彈性伸縮方法在針對不同類型工作負(fù)載請求的周期性處理方面已經(jīng)有了較多研究。但由于云計(jì)算場景中存在的容器冷啟動(dòng)和突發(fā)場景流量問題，現(xiàn)有的容器集群彈性伸縮方法仍存在一定的局限性，主要表現(xiàn)為以下三點(diǎn)：

4、(1)面向負(fù)載變化的響應(yīng)速度較低。對于周期性數(shù)據(jù)而言，沒有完全挖掘負(fù)載的周期性規(guī)律，現(xiàn)有的預(yù)測算法針對長時(shí)間序列的處理速度和準(zhǔn)確性不足，致使對容器集群的提前部署不到位，進(jìn)而導(dǎo)致在負(fù)載流量變化時(shí)難以給出較快的響應(yīng)速度，在面向突發(fā)場景流量時(shí)可能出現(xiàn)請求違規(guī)率提高的現(xiàn)象。

5、(2)容器集群資源利用率較低。傳統(tǒng)伸縮方法由于對負(fù)載時(shí)序特征無法掌握以及響應(yīng)速度較低的問題，為保證應(yīng)對突發(fā)場景流量會進(jìn)行資源預(yù)留，導(dǎo)致了整體資源利用率的降低。

6、(3)針對不同類型負(fù)載的泛化能力差。傳統(tǒng)伸縮方法一般以規(guī)則或指標(biāo)驅(qū)動(dòng)為主，通過配置監(jiān)控閾值進(jìn)行資源調(diào)整。由于不同類型負(fù)載對不同資源敏感度不同，因此傳統(tǒng)伸縮方法一般需要針對場景進(jìn)行定制，缺乏自主學(xué)習(xí)能力與不同場景下的泛化能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于提供一種基于負(fù)載時(shí)序預(yù)測的集群彈性伸縮方法,通過對周期性負(fù)載數(shù)據(jù)進(jìn)行時(shí)間序列預(yù)測。實(shí)現(xiàn)預(yù)先伸縮決策的目標(biāo)，進(jìn)而改善容器集群彈性伸縮的決策效果和響應(yīng)速度；本發(fā)明包含基于長短時(shí)記憶lstm編解碼網(wǎng)絡(luò)的時(shí)序預(yù)測模塊以及基于價(jià)值導(dǎo)向的深度強(qiáng)化學(xué)習(xí)算法dqn的伸縮決策模塊。針對原始lstm編解碼網(wǎng)絡(luò)處理長時(shí)間序列性能退化的問題，時(shí)序預(yù)測模塊結(jié)合稀疏注意力機(jī)制對lstm進(jìn)行改進(jìn)，從而提升模塊處理長時(shí)間序列的預(yù)測精度；伸縮決策模塊針對彈性伸縮決策響應(yīng)速度慢的問題，結(jié)合時(shí)序預(yù)測模塊的預(yù)測結(jié)果改進(jìn)dqn決策模塊的狀態(tài)空間，實(shí)現(xiàn)預(yù)先伸縮決策的目標(biāo)，進(jìn)而改善集群彈性伸縮的決策效果和響應(yīng)速度。以解決現(xiàn)有技術(shù)中容器集群彈性伸縮方法面向負(fù)載變化的響應(yīng)速度較低、容器集群資源利用率較低、針對不同類型負(fù)載的泛化能力差的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提出的一種基于負(fù)載時(shí)序預(yù)測的集群彈性伸縮方法，包括如下步驟：

3、步驟s1：在lstm網(wǎng)絡(luò)輸入層和輸出層之間引入稀疏注意力機(jī)制，構(gòu)建基于稀疏注意力機(jī)制的lstm編解碼負(fù)載時(shí)序預(yù)測模塊；

4、步驟s2：構(gòu)建基于強(qiáng)化學(xué)習(xí)的集群彈性伸縮決策智能體；

5、步驟s3：構(gòu)建基于dqn算法的價(jià)值導(dǎo)向強(qiáng)化學(xué)習(xí)算法；

6、步驟s4：構(gòu)建基于負(fù)載時(shí)序預(yù)測的容器集群彈性伸縮決策框架，輸出容器集群彈性伸縮策略。

7、進(jìn)一步地，步驟s1中，對每個(gè)預(yù)測時(shí)刻t，輸出層第i個(gè)解碼器lstm單元的注意力權(quán)重計(jì)算如下所示：

8、

9、其中，代表解碼器lstm單元前一時(shí)刻的隱藏狀態(tài)，hi代表編碼器lstm單元當(dāng)前時(shí)刻的隱藏狀態(tài)，代表解碼器lstm單元前一時(shí)刻的細(xì)胞狀態(tài)；x代表輸入的工作負(fù)載時(shí)序數(shù)據(jù)，是注意力機(jī)制中的值向量矩陣，wl與ul代表注意力機(jī)制中的權(quán)重矩陣，分別對應(yīng)前一時(shí)刻隱藏狀態(tài)的注意力權(quán)重矩陣以及當(dāng)前時(shí)刻的注意力權(quán)重矩陣，wl和ul為可學(xué)習(xí)參數(shù)；

10、編碼器第i個(gè)編碼器lstm單元隱藏狀態(tài)的注意力權(quán)重計(jì)算如下所示：

11、

12、為編碼器第i個(gè)編碼器lstm單元隱藏狀態(tài)hi的注意力權(quán)重，并且代表編碼器狀態(tài)特征集合范圍，fenc代表編碼器lstm單元隱藏狀態(tài)特征維度；

13、預(yù)測時(shí)刻t的上下文向量ct為根據(jù)注意力機(jī)制計(jì)算得到的隱藏狀態(tài)注意力權(quán)重與編碼器lstm單元隱藏狀態(tài)的乘積累加和：

14、

15、計(jì)算得到上下文向量ct后，使用和將其映射為解碼器t時(shí)刻lstm單元的輸入。

16、

17、其中，代表編碼器lstm長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對輸入時(shí)間序列經(jīng)過訓(xùn)練后擬合得到的映射權(quán)重矩陣以及偏移量矩陣，均為可學(xué)習(xí)參數(shù)。

18、利用輸入前一時(shí)刻的隱藏狀態(tài)以及細(xì)胞狀態(tài)對t時(shí)刻解碼器隱藏狀態(tài)進(jìn)行更新；最后，結(jié)合和上下文向量ct產(chǎn)生t時(shí)刻預(yù)測值

19、

20、

21、其中，wy、by分別代表解碼器lstm長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對輸入時(shí)間序列經(jīng)過訓(xùn)練后擬合得到的映射權(quán)重矩陣以及偏移量矩陣；和為可學(xué)習(xí)參數(shù)；代表特征集合，fdec代表解碼器lstm單元隱藏狀態(tài)特征維度。

22、進(jìn)一步地，步驟s2中，集群彈性伸縮決策智能體包括<s，a，p，r，y>構(gòu)成的五元組；智能體狀態(tài)空間s包括工作負(fù)載信息和容器集群資源狀態(tài)信息；

23、工作負(fù)載信息主要包含請求負(fù)載的種類、時(shí)間戳、slo等級以及所需要cpu和內(nèi)存資源，如下公式所示：

24、[s1＝[type1,time1,slo1,cpu1,mem1],...,[typen,timen,slon,cpun,memn]]

25、其中，n表示工作負(fù)載信息向量維度；

26、集群資源狀態(tài)信息主要包含當(dāng)前容器集群的cpu和內(nèi)存資源量，如下公式所示：

27、[s2＝[cpu1,mem1],[cpu2,mem2],...,[cpum,memm]]

28、其中，m表示集群資源狀態(tài)信息向量維度；

29、狀態(tài)空間s定義為所有可能的工作負(fù)載信息向量和容器集群資源狀態(tài)信息向量的笛卡爾積，如下公式所示：

30、

31、其中，表示工作負(fù)載信息向量維度集合，表示集群資源狀態(tài)信息向量維度集合。

32、進(jìn)一步地，智能體動(dòng)作空間包括動(dòng)作a1為集群彈性擴(kuò)容操作，動(dòng)作a2為集群彈性縮容操作，動(dòng)作a3為配置調(diào)整操作，動(dòng)作a4為啟動(dòng)/停止操作。

33、進(jìn)一步地，智能體獎(jiǎng)勵(lì)包括資源利用率獎(jiǎng)勵(lì)rresource和slo違規(guī)率獎(jiǎng)勵(lì)rslo，如下公式所示：

34、r＝rresource+rslo

35、

36、其中，xt為容器集群在第t個(gè)時(shí)刻的容器數(shù)量，fr(xt)表示工作容器資源消耗量，fp(xt)表示空閑容器資源消耗量；

37、

38、其中，slov為服務(wù)等級目標(biāo)違規(guī)率。

39、進(jìn)一步地，步驟s3中，基于dqn強(qiáng)化學(xué)習(xí)方法的更新公式為：

40、q(st,at)＝q(st,at)+a(rt+γmaxq(st+1,at+1)-q(st,at))

41、其中，st表示當(dāng)前狀態(tài)，at表示采取的動(dòng)作，rt表示獲得的獎(jiǎng)勵(lì)，st+1表示下一個(gè)狀態(tài)，at+1表示下一個(gè)狀態(tài)st+1下所有可能動(dòng)作，q(st,at)表示在狀態(tài)st下采取動(dòng)作at所得到的動(dòng)作值函數(shù)；q(st+1,at+1)表示目標(biāo)網(wǎng)絡(luò)估計(jì)的下一個(gè)狀態(tài)st+1下所有可能動(dòng)作at+1的動(dòng)作值函數(shù)；γ為折扣因子。

42、進(jìn)一步地，步驟s4中，將工作負(fù)載信息和容器集群狀態(tài)信息作為輸入的環(huán)境狀態(tài)，負(fù)載時(shí)序預(yù)測模塊通過基于稀疏注意力機(jī)制進(jìn)行改進(jìn)的lstm編解碼網(wǎng)絡(luò)進(jìn)行時(shí)間序列預(yù)測，得到未來時(shí)刻的負(fù)載預(yù)測結(jié)果；伸縮決策模塊基于負(fù)載預(yù)測結(jié)果根據(jù)基于dqn算法的價(jià)值導(dǎo)向強(qiáng)化學(xué)習(xí)算法的策略網(wǎng)絡(luò)做出動(dòng)作，同時(shí)基于dqn算法的價(jià)值導(dǎo)向強(qiáng)化學(xué)習(xí)算法的價(jià)值網(wǎng)絡(luò)基于網(wǎng)絡(luò)反饋為集群伸縮動(dòng)作打分，最終輸出使獎(jiǎng)勵(lì)值累加和大的容器集群彈性伸縮策略。

43、相對于現(xiàn)有技術(shù)，本發(fā)明具有以下有益技術(shù)效果：

44、1)本發(fā)明將稀疏注意力機(jī)制運(yùn)用于lstm編解碼網(wǎng)絡(luò)中，降低了lstm編解碼網(wǎng)絡(luò)的計(jì)算復(fù)雜度，改善了網(wǎng)絡(luò)處理長時(shí)間序列的響應(yīng)速度和計(jì)算精度。

45、2)本發(fā)明將時(shí)序預(yù)測結(jié)果用于改善dqn算法的狀態(tài)空間，將狀態(tài)空間中的工作負(fù)載信息向量用時(shí)序預(yù)測模塊的預(yù)測輸出進(jìn)行替代，從而使得彈性伸縮決策算法能夠提前進(jìn)行彈性伸縮決策操作，并通過實(shí)時(shí)環(huán)境狀態(tài)計(jì)算得到的獎(jiǎng)勵(lì)，對實(shí)際的狀態(tài)空間信息進(jìn)行把握，從而提前適應(yīng)即將到來的流量高峰或低谷，實(shí)現(xiàn)集群在復(fù)雜負(fù)載場景下的高效彈性伸縮。

46、3)本發(fā)明通過歷史負(fù)載時(shí)間序列數(shù)據(jù)進(jìn)行負(fù)載預(yù)測，并根據(jù)預(yù)測結(jié)果改進(jìn)決策場景的強(qiáng)化學(xué)習(xí)狀態(tài)空間，實(shí)現(xiàn)了容器集群在面向復(fù)雜負(fù)載場景時(shí)安全高效的彈性伸縮能力。

47、4)本發(fā)明的基于時(shí)序預(yù)測的集群彈性伸縮方法，相比于其他伸縮決策算法，降低了集群控制響應(yīng)時(shí)間，在保證用戶可用性的前提下提高了資源利用率，擁有更好的彈性伸縮效果。