專利名稱：一種基于向量自回歸的云計算中虛擬機監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明是一種云計算中虛擬機的資源監(jiān)控方法，本方法基于向量自回歸模型來預(yù)測資源變化情況，解決了云計算中虛擬機資源監(jiān)控時如何決定輪詢時間的問題，本發(fā)明屬于分布式計算和云計算技術(shù)領(lǐng)域。
背景技術(shù)：
云計算是一種新的互聯(lián)網(wǎng)計算模式，通過該模式實現(xiàn)網(wǎng)絡(luò)中軟硬件資源和信息的
按需共享。人們普遍認為，云計算是繼大型計算機到客戶端-服務(wù)器計算模式的大轉(zhuǎn)變滯后的又一種巨變。用戶不再需要了解“云”中基礎(chǔ)設(shè)施的細節(jié)，無需直接進行控制。云計算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展而且經(jīng)常是虛擬化的資源。云計算可以認為包括以下幾個層次的服務(wù)基礎(chǔ)設(shè)施即服務(wù)(IaaS)，平臺即服務(wù)(PaaS)和軟件即服務(wù)(SaaS)。當今云計算最主要特點是虛擬化，應(yīng)用最廣的云計算層次IaaS主要基于虛擬化技術(shù)。云計算將計算作為一種服務(wù)，用戶關(guān)心的不是技術(shù)而是服務(wù)，即我能享有什么服務(wù)。在云計算中只要你能通過互聯(lián)網(wǎng)接入云端，你就可以享受云計算帶來的便捷。云計算是多樣的，是依照用戶的需求來發(fā)展，而用戶想得到這樣的服務(wù)卻不需要用戶去安裝復(fù)雜的軟件，配置太多的參數(shù)，從而充分利用資源。而虛擬機是實現(xiàn)云計算中虛擬化特性非常重要的方式，其一虛多一級多虛一的特點是實現(xiàn)云計算中計算資源池化的重要手段。云計算中的資源管理地位就顯的尤為重要，而云計算中資源監(jiān)控就轉(zhuǎn)變?yōu)閷μ摂M機資源的監(jiān)控與管理。這種虛擬機的監(jiān)控，首先是監(jiān)控的信息量比以往更大，不僅僅監(jiān)控物理節(jié)點的資源，還包括物理節(jié)點上的虛擬機資源，系統(tǒng)需要這些監(jiān)控信息來做到虛擬機的智能遷移，傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控采用的都是一種“推”的監(jiān)控方式，即被監(jiān)控對象只要運行就會定期的將自己的監(jiān)控數(shù)據(jù)發(fā)送給監(jiān)控模塊，這種方式極度的浪費資源，實時性也比較差，特別是在虛擬機的這種數(shù)據(jù)量極大的監(jiān)控中，更顯得這種方式的不足之處。然而在實際環(huán)境中，有些資源使用效率是比較高的，資源狀態(tài)的小幅度改變并不會對虛擬機產(chǎn)生影響，這樣的狀態(tài)改變是完全可以忽略不計的。如果周期性地去獲取所有資源信息，必然會造成對云系統(tǒng)資源開銷的巨大浪費，尤其是對一些使用率較低的設(shè)備，在沒有使用的情況下還要對其進行定時掃描，浪費大量的監(jiān)控資源。目前一些組織已經(jīng)開發(fā)了虛擬機監(jiān)控系統(tǒng)，比如VMware，Xen等。但這些資源監(jiān)控系統(tǒng)都是采用固定周期的輪詢策略采集資源的性能數(shù)據(jù)。這樣就會存在之前所敘述的問題。因此研究一種新型云計算中虛擬機資源監(jiān)控方法具有重要意義。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的主要目的是提供一種基于向量自回歸的云計算中虛擬機監(jiān)控方法，與過去使用的監(jiān)控方法不同，因為虛擬機的監(jiān)控本身數(shù)據(jù)量就非常大，傳統(tǒng)的采用輪詢周期的監(jiān)控，輪詢周期過密會收集大量的冗余信息，使系統(tǒng)的性能下降，輪詢周期過疏不能快速的反應(yīng)云計算中有意義的資源波動信息即實時性不強等問題。技術(shù)方案本發(fā)明的是一種基于向量自回歸(VAR)的云計算中虛擬機監(jiān)控方法，通過弓IA VAR預(yù)測思想而提出的，其原理是首先以固定輪詢時間間隔監(jiān)測物理節(jié)點的多個性能數(shù)據(jù)作為樣本數(shù)據(jù),通過一段時間的樣本,基于VAR進行平穩(wěn)性分析，考慮各個性能數(shù)據(jù)之間的因果關(guān)系，得到各個性能數(shù)據(jù)各自的回歸函數(shù)，然后根據(jù)最近一段時間的樣本進 行回歸函數(shù)計算，得到下一個時間段的性能數(shù)據(jù)預(yù)測值，以判斷下一次的監(jiān)控時間點。通過該方法解決云計算中虛擬機監(jiān)控系統(tǒng)中由于固定周期性監(jiān)控過密所引起的高負荷，系統(tǒng)開銷以及固定周期性監(jiān)控過疏引起的實時性不強等問題。本發(fā)明的基于向量自回歸的云計算中虛擬機監(jiān)控方法所包含的步驟為
步驟I)每個被監(jiān)控的物理節(jié)點都有一個采集器，主要負責該物理節(jié)點監(jiān)控數(shù)據(jù)的采集，包括主機名、處理器、內(nèi)存、CPU利用率、時鐘速度、物理內(nèi)存總量、虛擬內(nèi)存和可用磁盤空間，以及運行在該物理節(jié)點上的多個虛擬機的資源等信息；
步驟2)各個物理節(jié)點的采集器將監(jiān)控到的數(shù)據(jù)交給監(jiān)控模塊的信息收集器，信息收集器對接收到的數(shù)據(jù)進行一定的格式化處理，并提取出物理節(jié)點的數(shù)據(jù)發(fā)送給VAR控制器模塊，其中VAR指的是向量自回歸模型，其它的虛擬機信息直接交給反饋模塊；
步驟3) 定義一個最小監(jiān)控信息采集周期
作為時間序列中最短的時間間隔，在定義一個rTffisx =w X Tmi, w為正整數(shù)，"Tms為最大的監(jiān)控信息采集周期，按照T■周期采集樣本性能信息，把資源的利用率作為評價網(wǎng)格監(jiān)控事件的參數(shù)，包括cpu利用率，帶寬利用率，內(nèi)存利用率，i/o利用率；
步驟4)定義一個存儲最初采集監(jiān)控數(shù)據(jù)的樣本的二維數(shù)組= { Xlij, X2ij, X3ij,x4iJ\ , i=l. . . n, j=0. . . m, n代表監(jiān)控節(jié)點的個數(shù)，m大于100 ;其中i代表集群中監(jiān)控節(jié)點的序號，J代表樣本時間點，集合中的四個子項，代表CPU使用率、x2ij代表內(nèi)存使用率、
代表I/O使用率、代表帶寬使用率,樣本(Xw，x2ij，x3ij，x4i)表示一個時間點&機器i監(jiān)測到的性能數(shù)據(jù)，形成一段時間的樣本，時間點之間的間隔為Iibi ;并定義安全計時器;和最大監(jiān)控間隔時間Imk =WX Tffiai’其中W為正整數(shù)；
步驟5) 接下來對這些樣本數(shù)據(jù)歸一化處理，即對每個時間點的X[l...n]進行處理，x[l...n]表示每個監(jiān)控節(jié)點上的當前時間的所有數(shù)據(jù)，處理如下
= ( 一 U)/(Xlmjs - XbaJ, ^她代表在j時刻n個節(jié)點%值的最小值，Iibk代表最大
值；同樣求出x2ij，X3ij,X4u的值，分別代表歸一化后的數(shù)據(jù)，將= { Xlijr X2ijr X3ij, X4Js處理后變?yōu)閄 [/ ] [i ] = \xw, X2iJ, x3ij，X4ij }，X [/] [i ]代表數(shù)據(jù)歸一化處理后的樣本數(shù)組；
步驟6)將樣本均值處理，將每一個時間點內(nèi)的數(shù)據(jù)XQ/] [I]至XL/] [n]，進行均值處
n ，
理，并保存到一個中間數(shù)組Yt [I... 4]中(4個檢量)，Yf [4]= LOgY-,k=l, 2, 3,4,
i=i nt=l. . . m, n代表監(jiān)控節(jié)點個數(shù)，t代表時間點,每個時間點都進行如此處理(取對數(shù)主要是為了消除異方差)，最后將每個時間點內(nèi)經(jīng)過均值處理得到的4個數(shù)賦值給X[(] [I]，作為最終的輸入樣本。步驟7) 采用PP (Phillips-Perron test)單位根檢驗法對每一個時間序列檢驗是否存在單位根，若這些時間序列不服從一介單整，則對時間序列進行差分處理，采用迭代相乘法就出各個參數(shù)的值，將經(jīng)過差分處理的新的時間序列再次進行單位根檢驗，若仍然存在單位根，將進一步差分處理，直到不存在單位根，即序列平穩(wěn)位置，若超過三次差分則重新選擇樣本；
步驟8)確定CPU使用率、內(nèi)存使用率、I/O使用率、帶寬使用率為VAR模型的內(nèi)生變量，且輸入樣本為乙[1...4]數(shù)組，t=l...m。四個時間序列分別用
Lcpu(t)、Lram⑴、(t)、^bw(t)
表示；建立如下方程模型VAR(P)
權(quán)利要求
1. 一種基于向量自回歸的云計算中虛擬機監(jiān)控方法，其特征在于該方法所包含的步驟為 步驟I)每個被監(jiān)控的物理節(jié)點都有一個采集器，主要負責該物理節(jié)點監(jiān)控數(shù)據(jù)的采集，包括主機名、處理器、內(nèi)存、CPU利用率、時鐘速度、物理內(nèi)存總量、虛擬內(nèi)存和可用磁盤空間，以及運行在該物理節(jié)點上的多個虛擬機的資源等信息； 步驟2)各個物理節(jié)點的采集器將監(jiān)控到的數(shù)據(jù)交給監(jiān)控模塊的信息收集器，信息收集器對接收到的數(shù)據(jù)進行一定的格式化處理，并提取出物理節(jié)點的數(shù)據(jù)發(fā)送給VAR控制器模塊，其中VAR指的是向量自回歸模型，其它的虛擬機信息直接交給反饋模塊； 步驟3) 定義一個最小監(jiān)控信息采集周期 T臟 ,作為時間序列中最短的時間間隔，在定義一個Tffiax =w X Tirth, w為正整數(shù)，Yiujx為最大的監(jiān)控信息采集周期，按照1^周期采集樣本性能信息，把資源的利用率作為評價網(wǎng)格監(jiān)控事件的參數(shù)，包括cpu利用率，帶寬利用率，內(nèi)存利用率，i/o利用率； 步驟4)定義一個存儲最初采集監(jiān)控數(shù)據(jù)的樣本的二維數(shù)組x[/ld = { Xlir X2ir X3irx4iJ }, i=l. . . n, j=0. . . m, n代表監(jiān)控節(jié)點的個數(shù)，m大于100 ;其中i代表集群中監(jiān)控節(jié)點的序號，J代表樣本時間點，集合中的四個子項，代表CPU使用率、x2ij代表內(nèi)存使用率、七,7代表I/O使用率、代表帶寬使用率，樣本(xw，x2ij，x3ij，x4i)表示一個時間點&機器i監(jiān)測到的性能數(shù)據(jù)，形成一段時間的樣本，時間點之間的間隔為Tmii ;并定義安全計時器rTs和最大監(jiān)控間隔時間Iawx =wX Tam,其中W為正整數(shù)； 步驟5) 接下來對這些樣本數(shù)據(jù)歸一化處理，即對每個時間點的x[l...n]進行處理，x[l...n]表示每個監(jiān)控節(jié)點上的當前時間的所有數(shù)據(jù)，處理如下 = (. -代表在j時刻n個節(jié)值的最小值，^^代表最大值；同樣求出x2ij，X3ijr X4ij的值，分別代表歸一化后的數(shù)據(jù),將(/Il] = { Xlijr X2ij’ X3ij, X4ij}處理后變?yōu)閤[/][i] = { Xnj, X2iJ, X3iJ, X4ij }，X[/][i]代表數(shù)據(jù)歸一化處理后的樣本數(shù)組； 步驟6) 將樣本均值處理，將每一個時間點內(nèi)的數(shù)據(jù)XQ/] [I]至XL/] [n]，進行均值 Ii處理，并保存到一個中間數(shù)組Yt [I. 4]中(4個檢量)，Yf [4] = Log^-, k=l, 2, 3,4,11t=l. . . m, n代表監(jiān)控節(jié)點個數(shù)，t代表時間點,每個時間點都進行如此處理(取對數(shù)主要是為了消除異方差)，最后將每個時間點內(nèi)經(jīng)過均值處理得到的4個數(shù)賦值給X[(] [I]，作為最終的輸入樣本； 步驟7)采用PP (Phillips-Perron test)單位根檢驗法對每一個時間序列檢驗是否存在單位根，若這些時間序列不服從一介單整，則對時間序列進行差分處理，采用迭代相乘法就出各個參數(shù)的值，將經(jīng)過差分處理的新的時間序列再次進行單位根檢驗，若仍然存在單位根，將進一步差分處理，直到不存在單位根，即序列平穩(wěn)位置，若超過三次差分則重新選擇樣本； 步驟8)確定CPU使用率、內(nèi)存使用率、I/O使用率、帶寬使用率為VAR模型的內(nèi)生變量，且輸入樣本為Yt [I... 4]數(shù)組，t=l. ..m；四個時間序列分別用 Lcpu(t)、Lram(t)、Lj_0(t)、Lbw(t)表示；建立如下方程模型VAR(p)
全文摘要
一種基于向量自回歸的云計算中虛擬機監(jiān)控方法是一種新型的監(jiān)控方法。由于云計算中虛擬機監(jiān)控的特殊性監(jiān)控的數(shù)據(jù)量較為龐大，采用周期性監(jiān)控會對監(jiān)控系統(tǒng)造成巨大的壓力，我們采用更節(jié)省資源的“拉”模式的監(jiān)控，但是具體什么時候采集數(shù)據(jù)，需要智能的判斷，不但增加了實時性，而且也減少系通的資源壓力，基于VAR的云計算中虛擬機監(jiān)控，即做到實時性的監(jiān)控，又提高了資源的利用率。該模型能夠根據(jù)以往的數(shù)據(jù)模型建立新的回歸方程，來對下一個周期的資源數(shù)據(jù)做出預(yù)測，根據(jù)這些預(yù)測值配合“拉”模式進行模擬數(shù)據(jù)的采集。這種算法增加了資源監(jiān)控的自適應(yīng)性和實時性。
文檔編號G06F9/455GK102799512SQ20121022896
公開日2012年11月28日 申請日期2012年7月4日 優(yōu)先權(quán)日2012年7月4日
發(fā)明者付雄, 朱鑫鑫, 王汝傳, 孫力娟, 韓志杰, 季一木, 戴華 申請人:南京郵電大學(xué)