數(shù)據(jù)采集方法、數(shù)據(jù)采集器和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種數(shù)據(jù)采集方法、數(shù)據(jù)采集器和系統(tǒng)。其中，數(shù)據(jù)采集方法包括：采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令；采集器在接收到采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)；采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及采集器將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)。通過(guò)本發(fā)明，解決了現(xiàn)有技術(shù)中數(shù)據(jù)采集方法容易造成網(wǎng)絡(luò)服務(wù)器穩(wěn)定性下降的問(wèn)題，進(jìn)而達(dá)到了提高服務(wù)器穩(wěn)定性的效果。
【專利說(shuō)明】數(shù)據(jù)采集方法、數(shù)據(jù)采集器和系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種數(shù)據(jù)采集方法、數(shù)據(jù)采集器和系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中服務(wù)器Server對(duì)來(lái)自各個(gè)采集器Collector的采集數(shù)據(jù)一般采用輪詢控制的方式進(jìn)行處理及存儲(chǔ)，如圖1所示，服務(wù)器在輪詢控制方式下對(duì)采集數(shù)據(jù)進(jìn)行緩存處理后將數(shù)據(jù)存入DB數(shù)據(jù)庫(kù)中，這種采集模型實(shí)現(xiàn)簡(jiǎn)單，在少量采集數(shù)據(jù)的情況下該模型是可用的，但是在該模型中服務(wù)器承載了采集調(diào)度、DB數(shù)據(jù)庫(kù)存儲(chǔ)調(diào)度以及未擁塞數(shù)據(jù)的簡(jiǎn)單緩存，所以此種采集模型對(duì)服務(wù)器的要求很高，在現(xiàn)網(wǎng)環(huán)境中是存在嚴(yán)重的性能瓶頸的，會(huì)導(dǎo)致如下幾個(gè)方面的性能擁塞:
[0003]UServer的資源是有限的,輪詢控制會(huì)使用Server的線程CPU和內(nèi)存資源,這會(huì)導(dǎo)致Server線程、CPU、內(nèi)存等資源相對(duì)緊張的時(shí)候會(huì)出現(xiàn)Server處理的性能瓶頸，增大服務(wù)器的數(shù)據(jù)處理壓力，降低服務(wù)器穩(wěn)定性。
[0004]2、由于現(xiàn)有的數(shù)據(jù)采集模型中Server與Collector是一對(duì)多的關(guān)系，Collector在取得數(shù)據(jù)之后如果不做任何處理直接返回給Server，由Server負(fù)責(zé)原始數(shù)據(jù)到對(duì)象數(shù)據(jù)的轉(zhuǎn)換，這種架構(gòu)不對(duì)等的數(shù)據(jù)采集模型使得Collector的多個(gè)處理核心沒(méi)有充分利用，而Server的這個(gè)處理核心負(fù)擔(dān)特別大，當(dāng)Collector足夠多的時(shí)候Server的這個(gè)I個(gè)處理核心是無(wú)法負(fù)擔(dān)的，同樣造成數(shù)據(jù)采集模型存在潛在的性能瓶頸，增大服務(wù)器的數(shù)據(jù)處理壓力，降低服務(wù)器穩(wěn)定性。
[0005]3、DB數(shù)據(jù)庫(kù)的存儲(chǔ)是一個(gè)慢速過(guò)程,如果Collector返回?cái)?shù)據(jù)的時(shí)機(jī)處理不好，例如Server沒(méi)有處理好發(fā)起采集的時(shí)間點(diǎn)，導(dǎo)致Collector返回?cái)?shù)據(jù)過(guò)于集中，而Server又不能將大量的數(shù)據(jù)存放到DB數(shù)據(jù)庫(kù)之中，這樣就會(huì)導(dǎo)致這些返回?cái)?shù)據(jù)在Server的緩存隊(duì)列中發(fā)生擁塞，極端情況下會(huì)用光Server有限的內(nèi)存資源,導(dǎo)致Server的崩潰。
[0006]4、現(xiàn)有的數(shù)據(jù)采集模型中服務(wù)器中的其他數(shù)據(jù)處理模塊同樣會(huì)來(lái)爭(zhēng)搶Server的系統(tǒng)資源，這種情況會(huì)更加增大服務(wù)器的處理壓力。
[0007]針對(duì)相關(guān)技術(shù)中數(shù)據(jù)采集方法容易造成網(wǎng)絡(luò)服務(wù)器穩(wěn)定性下降的問(wèn)題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的主要目的在于提供一種數(shù)據(jù)采集方法、數(shù)據(jù)采集器和系統(tǒng)，以解決現(xiàn)有技術(shù)中數(shù)據(jù)采集方法容易造成網(wǎng)絡(luò)服務(wù)器穩(wěn)定性下降的問(wèn)題。
[0009]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種數(shù)據(jù)采集方法，包括:采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令；采集器在接收到采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)；采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及采集器將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)。[0010]進(jìn)一步地，采集器包括多個(gè)采集器，采集器將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)包括:第一采集器發(fā)送線程請(qǐng)求指令至服務(wù)器，其中，服務(wù)器通過(guò)不同的數(shù)據(jù)傳輸線程接收來(lái)自多個(gè)采集器的反饋數(shù)據(jù)，服務(wù)器還用于在接收到線程請(qǐng)求指令后反饋空閑數(shù)據(jù)傳輸線程至第一采集器，第一采集器為多個(gè)采集器中的任一采集器；以及第一采集器通過(guò)第一數(shù)據(jù)傳輸線程將第一反饋數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行存儲(chǔ)，其中，第一反饋數(shù)據(jù)為第一采集器對(duì)采集到的目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理后得到的反饋數(shù)據(jù)，第一數(shù)據(jù)傳輸線程為服務(wù)器反饋的空閑數(shù)據(jù)傳輸線程。
[0011]進(jìn)一步地，在第一采集器通過(guò)第一數(shù)據(jù)傳輸線程將第一反饋數(shù)據(jù)發(fā)送至服務(wù)器之后，數(shù)據(jù)采集方法還包括:服務(wù)器通過(guò)第一數(shù)據(jù)傳輸線程接收第一反饋數(shù)據(jù)；以及服務(wù)器通過(guò)第一 DB通道將第一反饋數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù)，其中，服務(wù)器還用于通過(guò)不同的DB通道將第一反饋數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù)，第一 DB通道為與第一數(shù)據(jù)傳輸線程相對(duì)應(yīng)的DB通道。
[0012]進(jìn)一步地，在第一采集器發(fā)送線程請(qǐng)求指令至服務(wù)器之前，數(shù)據(jù)采集方法還包括:比較各個(gè)采集器的反饋數(shù)據(jù)的優(yōu)先級(jí)；以及確定各個(gè)采集器發(fā)送線程請(qǐng)求指令的順序與比較出的優(yōu)先級(jí)順序相對(duì)應(yīng)。
[0013]進(jìn)一步地，通過(guò)比較各個(gè)采集器的目標(biāo)數(shù)據(jù)的COS標(biāo)記來(lái)比較反饋數(shù)據(jù)的優(yōu)先級(jí)。
[0014]進(jìn)一步地，采集器包括多個(gè)采集器，在采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令之后，并且在采集器對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集之前，數(shù)據(jù)采集方法還包括:第一采集器啟動(dòng)第一調(diào)度線程，其中，第一采集器為多個(gè)采集器中的任一采集器；以及在第一調(diào)度線程進(jìn)行數(shù)據(jù)采集時(shí)，從采集線程池中獲取采集線程資源，其中，采集線程池為池化后的SNMP采集線程資源，其中，在獲取到采集線程資源之后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集。
[0015]進(jìn)一步地，預(yù)處理包括以下處理方式中的任意一種或多種:差量運(yùn)算、百分比運(yùn)算和總量運(yùn)算。
[0016]進(jìn)一步地，數(shù)據(jù)采集方法還包括:采集器接收來(lái)自服務(wù)器的參數(shù)修改命令；以及采集器在當(dāng)前數(shù)據(jù)采集結(jié)束后按照參數(shù)修改命令更新采集參數(shù)。
[0017]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)采集器，包括:接收單元，用于接收來(lái)自服務(wù)器的采集啟動(dòng)命令；采集單元，用于在接收到采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)；處理單元，用于對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及反饋單元，用于將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)。
[0018]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)采集系統(tǒng)，包括:月艮務(wù)器；以及本發(fā)明上述內(nèi)容所提供的數(shù)據(jù)采集器。
[0019]通過(guò)本發(fā)明，采用采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令；采集器在接收到采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)；采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及采集器將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)。通過(guò)在接收到服務(wù)器發(fā)起的采集啟動(dòng)命令后，由采集器對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，并對(duì)采集到的目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理后再反饋給服務(wù)器，此種通過(guò)采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理的方式，直接使用了采集器的處理核心，避免占用服務(wù)器Server的線程CPU和內(nèi)存資源，降低了服務(wù)器的數(shù)據(jù)處理壓力，解決了現(xiàn)有技術(shù)中數(shù)據(jù)采集方法容易造成網(wǎng)絡(luò)服務(wù)器穩(wěn)定性下降的問(wèn)題，進(jìn)而達(dá)到了提高服務(wù)器穩(wěn)定性的效果?！緦＠綀D】

【附圖說(shuō)明】
[0020]構(gòu)成本申請(qǐng)的一部分的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0021]圖1是根據(jù)相關(guān)技術(shù)的數(shù)據(jù)采集系統(tǒng)的示意圖；
[0022]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)采集方法的流程圖；
[0023]圖3是采用本發(fā)明實(shí)施例的數(shù)據(jù)采集方法進(jìn)行數(shù)據(jù)保存的示意圖；
[0024]圖4是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)采集器的示意圖；以及
[0025]圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)采集系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0026]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。
[0027]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集方法，以下對(duì)本發(fā)明實(shí)施例所提供的數(shù)據(jù)采集方法進(jìn)行具體介紹:
[0028]圖2是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)采集方法的流程圖，如圖2所示，該方法包括如下的步驟S202至步驟S208:
[0029]S202:采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令，即，在采集調(diào)度工作啟動(dòng)時(shí)，由服務(wù)器Server向采集器Collector發(fā)送采集調(diào)度啟動(dòng)命令。
[0030]S204:采集器在接收到采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)；具體地，采集器在接收到采集啟動(dòng)命令后，啟動(dòng)一個(gè)不退出的調(diào)度線程，由該調(diào)度線程負(fù)責(zé)監(jiān)視采集狀態(tài)，并根據(jù)采集啟動(dòng)命令中的采集參數(shù)來(lái)發(fā)起具體的采集工作。
[0031]S206:采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)，其中，對(duì)于不同性質(zhì)屬性的目標(biāo)數(shù)據(jù)所采用的具體預(yù)處理方法可以不相同。
[0032]S208:采集器將反饋數(shù)據(jù)反饋至服務(wù)器進(jìn)行存儲(chǔ)。
[0033]本發(fā)明實(shí)施例的數(shù)據(jù)采集方法通過(guò)在服務(wù)器發(fā)起的采集啟動(dòng)命令后，由采集器對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，并對(duì)采集到的目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理后再反饋給服務(wù)器，此種通過(guò)采集器對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理的方式，直接使用了采集器的處理核心，避免占用服務(wù)器Server的線程CPU和內(nèi)存資源，降低了服務(wù)器的數(shù)據(jù)處理壓力，解決了現(xiàn)有技術(shù)中數(shù)據(jù)采集方法容易造成網(wǎng)絡(luò)服務(wù)器穩(wěn)定性下降的問(wèn)題，進(jìn)而達(dá)到了提高服務(wù)器穩(wěn)定性的效果。
[0034]進(jìn)一步地，在由服務(wù)器和采集器構(gòu)成的數(shù)據(jù)采集系統(tǒng)中，一般情況下一臺(tái)服務(wù)器對(duì)應(yīng)著多臺(tái)采集器，其中，每一臺(tái)采集器對(duì)其所監(jiān)控目標(biāo)設(shè)備的采集方法均與本發(fā)明上述實(shí)施例所提供的采集方法相同。以下以兩臺(tái)采集器(第一采集器和第二采集器)為例更進(jìn)一步地詳細(xì)介紹本發(fā)明實(shí)施例的數(shù)據(jù)采集方法:
[0035]具體地，當(dāng)服務(wù)器下發(fā)采集調(diào)度啟動(dòng)命令至第一采集器和第二采集器后，第一采集器和第二采集器均會(huì)啟動(dòng)一個(gè)不退出的調(diào)度線程，所謂不退出的調(diào)度線程是為了監(jiān)控采集器的采集狀態(tài)，并在采集調(diào)度啟動(dòng)命令中所包括的采集參數(shù)達(dá)到采集時(shí)刻時(shí)，調(diào)度線程會(huì)發(fā)起采集過(guò)程，以第一采集器為例，第一采集器接收到采集啟動(dòng)命令后啟動(dòng)第一調(diào)度線程，當(dāng)?shù)谝徽{(diào)度線程需要進(jìn)行數(shù)據(jù)采集時(shí)，從采集線程池中獲取采集線程資源，所謂采集線程資源是指池化后的簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(Simple NetworkManagement Protocol,簡(jiǎn)稱SNMP)采集線程資源，正是由于網(wǎng)絡(luò)資源是有限的，所以當(dāng)多個(gè)采集器的調(diào)度線程同時(shí)發(fā)起數(shù)據(jù)采集時(shí)，或造成同時(shí)發(fā)起的SNMP請(qǐng)求過(guò)多，導(dǎo)致網(wǎng)絡(luò)擁塞，所以需要對(duì)采集器Collector端的網(wǎng)絡(luò)訪問(wèn)資源進(jìn)行限制，采取的方式是將采集線程資源進(jìn)行池化，每一個(gè)采集線程對(duì)網(wǎng)絡(luò)的訪問(wèn)是可控的，基本保障了 Collector的網(wǎng)絡(luò)訪問(wèn)量。當(dāng)?shù)谝徽{(diào)度線程需要發(fā)起一次新的采集的時(shí)候，首先去采集線程池中申請(qǐng)采集線程資源，如果池中已經(jīng)沒(méi)有剩余資源的時(shí)，則發(fā)起數(shù)據(jù)采集的調(diào)度線程及該線程對(duì)應(yīng)的采集器就需要等待，如果線程池中有資源，則第一采集器在獲取到采集線程資源之后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集。當(dāng)然，當(dāng)?shù)谝徽{(diào)度線程完成其數(shù)據(jù)采集過(guò)程時(shí)，則需要將獲取到的采集線程資源放回采集線程池內(nèi)，這個(gè)時(shí)候第二調(diào)度線程(假設(shè)當(dāng)?shù)诙杉鹘邮盏讲杉瘑?dòng)命令后啟動(dòng)第二調(diào)度線程后，在第二調(diào)度線程進(jìn)行數(shù)據(jù)采集請(qǐng)求時(shí)需要進(jìn)行等到)就能獲取還給池中的采集線程資源，從而發(fā)起一個(gè)新的采集過(guò)程。
[0036]在各個(gè)采集器完成各自對(duì)目標(biāo)設(shè)備的采集和對(duì)數(shù)據(jù)的預(yù)處理之后，在將反饋數(shù)據(jù)反饋至服務(wù)器的過(guò)程中還包括向服務(wù)器請(qǐng)求數(shù)據(jù)傳輸線程的過(guò)程，具體地，仍然以第一采集器為例，當(dāng)?shù)谝徊杉魍瓿蓴?shù)據(jù)預(yù)處理得到第一反饋數(shù)據(jù)后，第一采集器首先會(huì)發(fā)送線程請(qǐng)求指令至服務(wù)器，服務(wù)器在接收到線程請(qǐng)求指令后將空閑的數(shù)據(jù)傳輸線程的PID信息發(fā)送至第一采集器，第一采集器得到反饋過(guò)來(lái)信息后即得到數(shù)據(jù)傳輸線程，最后通過(guò)這個(gè)數(shù)據(jù)傳輸線程將第一反饋數(shù)據(jù)發(fā)送至服務(wù)器中進(jìn)行存儲(chǔ)；而對(duì)于服務(wù)器這一側(cè)，由于在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)為避免DB數(shù)據(jù)庫(kù)連接沖突導(dǎo)致向DB數(shù)據(jù)庫(kù)傳輸數(shù)據(jù)的現(xiàn)成發(fā)生擁塞，服務(wù)器Server端將DB數(shù)據(jù)庫(kù)的存儲(chǔ)通道線程池，在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)，合理的調(diào)整通道個(gè)數(shù)和DB連接池個(gè)數(shù)，做到一個(gè)通道一個(gè)DB連接池，每一個(gè)投遞過(guò)來(lái)的消息都能有一套線程和DB連接來(lái)獨(dú)立處理。所以，當(dāng)服務(wù)器通過(guò)某個(gè)數(shù)據(jù)傳輸線程接收到反饋數(shù)據(jù)后，會(huì)通過(guò)與這個(gè)數(shù)據(jù)傳輸線程相對(duì)應(yīng)的DB通道將反饋數(shù)據(jù)存儲(chǔ)至DB數(shù)據(jù)庫(kù)，其中，采集器與服務(wù)器之間的進(jìn)行數(shù)據(jù)存儲(chǔ)的通訊示意圖在圖3中示出。
[0037]進(jìn)一步地，當(dāng)各個(gè)采集器均向服務(wù)器反饋反饋數(shù)據(jù)時(shí)，此時(shí)各個(gè)采集器之間會(huì)進(jìn)行一個(gè)數(shù)據(jù)優(yōu)先級(jí)的比較，然后按照比較出的優(yōu)先級(jí)順序確定優(yōu)先級(jí)高的數(shù)據(jù)對(duì)應(yīng)的采集器先向服務(wù)器發(fā)送線程請(qǐng)求指令，最后在輪到優(yōu)先級(jí)低的數(shù)據(jù)對(duì)應(yīng)的采集器向服務(wù)器發(fā)送線程請(qǐng)求指令。其中，可以通過(guò)比較各個(gè)采集器的目標(biāo)數(shù)據(jù)的Cos標(biāo)記來(lái)比較反饋數(shù)據(jù)的優(yōu)先級(jí)，Cos標(biāo)記主要解決的是實(shí)時(shí)性能采集和歷史性能采集，各個(gè)性能指標(biāo)對(duì)采集實(shí)時(shí)要求不同帶來(lái)的管理需求。例如實(shí)時(shí)性能采集要求需要實(shí)時(shí)處理，擁有較高的投遞優(yōu)先級(jí)，在發(fā)生擁塞的時(shí)候不會(huì)影響到用戶實(shí)時(shí)查看的頁(yè)面的流暢程度。而歷史性能只會(huì)做后臺(tái)處理，展現(xiàn)給用戶的頁(yè)面效果不是實(shí)時(shí)變化的，在發(fā)生擁塞的時(shí)候稍微等等也不會(huì)帶來(lái)不好的用戶體驗(yàn)，所以可以給歷史性能打上較低的優(yōu)先級(jí)。例如CPU利用率和并發(fā)數(shù)類(lèi)型的采集指標(biāo)，變化較快，必須擁有較快的處理速度，可以打上較高的優(yōu)先級(jí)標(biāo)簽，而網(wǎng)絡(luò)傳輸速率這樣一些值，統(tǒng)計(jì)時(shí)間長(zhǎng)點(diǎn)或者短點(diǎn)，并不影響最后的分析結(jié)果，查看歷史性能的時(shí)候多一個(gè)點(diǎn)少一個(gè)點(diǎn)關(guān)系不大，而后期處理還是可以補(bǔ)上的，這樣的數(shù)據(jù)就可以打上較低的優(yōu)先級(jí)標(biāo)簽。Collector會(huì)根據(jù)優(yōu)先級(jí)標(biāo)簽將原始數(shù)據(jù)歸納到不同的處理隊(duì)列中,在Server返回的狀態(tài)為有空閑的時(shí)候，優(yōu)先投遞優(yōu)先級(jí)高的隊(duì)列中堆積的原始數(shù)據(jù)。
[0038]進(jìn)一步地，在對(duì)目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理時(shí)，由于不同的性能值有不同的特征，對(duì)每種數(shù)據(jù)類(lèi)型需要執(zhí)行不同的運(yùn)算規(guī)則，在本發(fā)明實(shí)施例所提供的數(shù)據(jù)采集方法中，對(duì)目標(biāo)數(shù)據(jù)的預(yù)處理方式包括:
[0039]1、差量運(yùn)算:在處理例如速率、包數(shù)等數(shù)據(jù)的時(shí)候設(shè)備側(cè)通常是使用一個(gè)計(jì)數(shù)器來(lái)統(tǒng)計(jì)一個(gè)累積量，性能采集過(guò)程中這種累計(jì)量本身是沒(méi)有意義的，它需要和上一次采集到的計(jì)數(shù)器值進(jìn)行一個(gè)差值運(yùn)算才能運(yùn)算出這兩次采集之間有多少流量或包數(shù)。這樣的運(yùn)算過(guò)程是需要進(jìn)行數(shù)據(jù)緩存的。Collector支持上一輪采集數(shù)據(jù)的緩存，只需要指定采集指標(biāo)的類(lèi)型為差量，就可以通過(guò)Collector自己預(yù)處理成為兩次差量的數(shù)據(jù)，避免在Server端通過(guò)頻繁的DB操作才能運(yùn)算出需要的值。
[0040]2、百分比運(yùn)算:在處理CPU、內(nèi)存利用率等最后需要形成百分比值的性能數(shù)據(jù)時(shí)，需要對(duì)采集到的多個(gè)值進(jìn)行多次算術(shù)運(yùn)算才能有意義。Collector支持在同一輪采集中的多個(gè)采集值進(jìn)行組合運(yùn)算，從而計(jì)算出一個(gè)百分比值。避免Server端通過(guò)DB操作才能運(yùn)算出需要的值。
[0041]3、總量運(yùn)算:有些性能指標(biāo)需要進(jìn)行網(wǎng)管側(cè)加和統(tǒng)計(jì)，例如并發(fā)數(shù)統(tǒng)計(jì)。這就需要將之前一段時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行加和運(yùn)算，這樣的運(yùn)算過(guò)程也是需要進(jìn)行數(shù)據(jù)緩存，Collector支持保持一個(gè)計(jì)數(shù)器，只需要指定采集指標(biāo)類(lèi)型是總量運(yùn)算，就可以使用這個(gè)計(jì)數(shù)器進(jìn)行累加運(yùn)算，避免在Server端通過(guò)頻繁的DB操作才能運(yùn)算出需要的值。
[0042]由于數(shù)據(jù)存入DB數(shù)據(jù)庫(kù)中時(shí)，磁盤(pán)存儲(chǔ)的吞吐量與搭建整個(gè)系統(tǒng)的硬件結(jié)構(gòu)有關(guān)，而提供這個(gè)磁盤(pán)存儲(chǔ)吞吐量的成本是非常高的，在成本控制要求很高的前提下，磁盤(pán)存儲(chǔ)的吞吐量實(shí)際上是比較固定的與選用的硬件總線類(lèi)型是直接相關(guān)的，肯定是很難趕上服務(wù)器以及采集器的CPU和內(nèi)存的處理速度。這就導(dǎo)致了一個(gè)不均衡，CPU處理很快，處理完了很多原始數(shù)據(jù)，但是一直在等待磁盤(pán)的10，導(dǎo)致處理完的原始數(shù)據(jù)存不進(jìn)DB，導(dǎo)致了內(nèi)存的堆積，當(dāng)這個(gè)過(guò)程持續(xù)時(shí)間較長(zhǎng)，堆積數(shù)據(jù)過(guò)多的時(shí)候就帶來(lái)了系統(tǒng)的不穩(wěn)定因素。本發(fā)明實(shí)施例的數(shù)據(jù)采集方法通過(guò)對(duì)采集到的數(shù)據(jù)進(jìn)行預(yù)處理，并通過(guò)優(yōu)先級(jí)排序依次上傳給服務(wù)器，實(shí)現(xiàn)了既不會(huì)減慢磁盤(pán)存儲(chǔ)的速度，又可以避免大量數(shù)據(jù)都擁堵上DB存儲(chǔ)通道上。其中，未采用本發(fā)明實(shí)施 例的數(shù)據(jù)采集方法時(shí)數(shù)據(jù)采集系統(tǒng)中各組成單元的處理速度的順序如表1所示，采用本發(fā)明實(shí)施例的數(shù)據(jù)采集方法時(shí)各單元的處理速度的順序如表2所示:
[0043]表1
【權(quán)利要求】
1.一種數(shù)據(jù)采集方法，其特征在于，包括: 采集器接收來(lái)自服務(wù)器的采集啟動(dòng)命令； 所述采集器在接收到所述采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)； 所述采集器對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及 所述采集器將所述反饋數(shù)據(jù)反饋至所述服務(wù)器進(jìn)行存儲(chǔ)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，所述采集器包括多個(gè)采集器，所述采集器將所述反饋數(shù)據(jù)反饋至所述服務(wù)器進(jìn)行存儲(chǔ)包括: 第一采集器發(fā)送線程請(qǐng)求指令至所述服務(wù)器，其中，所述服務(wù)器通過(guò)不同的數(shù)據(jù)傳輸線程接收來(lái)自所述多個(gè)采集器的反饋數(shù)據(jù)，所述服務(wù)器還用于在接收到所述線程請(qǐng)求指令后反饋空閑數(shù)據(jù)傳輸線程至所述第一采集器，所述第一采集器為所述多個(gè)采集器中的任一采集器；以及 所述第一采集器通過(guò)第一數(shù)據(jù)傳輸線程將第一反饋數(shù)據(jù)發(fā)送至所述服務(wù)器進(jìn)行存儲(chǔ)，其中，所述第一反饋數(shù)據(jù)為所述第一采集器對(duì)采集到的目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理后得到的反饋數(shù)據(jù)，所述第一數(shù)據(jù)傳輸線程為所述服務(wù)器反饋的空閑數(shù)據(jù)傳輸線程。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于，在所述第一采集器通過(guò)第一數(shù)據(jù)傳輸線程將第一反饋數(shù)據(jù)發(fā)送至所述服務(wù)器之后，所述數(shù)據(jù)采集方法還包括: 所述服務(wù)器通過(guò)所述第一數(shù)據(jù)傳輸線程接收所述第一反饋數(shù)據(jù)；以及 所述服務(wù)器通過(guò)第一 DB通道將所述第一反饋數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)庫(kù)，其中，所述服務(wù)器還用于通過(guò)不同的DB通道將所述第一反饋數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)庫(kù)，所述第一 DB通道為與所述第一數(shù)據(jù)傳輸線程相對(duì)應(yīng)的DB通道。
4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集方法，其特征在于，在所述第一采集器發(fā)送線程請(qǐng)求指令至所述服務(wù)器之前，所述數(shù)據(jù)采集方法還包括: 比較各個(gè)采集器的反饋數(shù)據(jù)的優(yōu)先級(jí)；以及 確定所述各個(gè)采集器發(fā)送所述線程請(qǐng)求指令的順序與比較出的優(yōu)先級(jí)順序相對(duì)應(yīng)。
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)采集方法，其特征在于，通過(guò)比較所述各個(gè)采集器的目標(biāo)數(shù)據(jù)的COS標(biāo)記來(lái)比較所述反饋數(shù)據(jù)的優(yōu)先級(jí)。
6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，所述采集器包括多個(gè)采集器，在所述采集器接收來(lái)自所述服務(wù)器的采集啟動(dòng)命令之后，并且在所述采集器對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集之前，所述數(shù)據(jù)采集方法還包括: 第一采集器啟動(dòng)第一調(diào)度線程，其中，所述第一采集器為所述多個(gè)采集器中的任一采集器；以及 在所述第一調(diào)度線程進(jìn)行數(shù)據(jù)采集時(shí)，從采集線程池中獲取采集線程資源，其中，所述采集線程池為池化后的SNMP采集線程資源， 其中，在獲取到所述采集線程資源之后對(duì)所述目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集。
7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，所述預(yù)處理包括以下處理方式中的任意一種或多種: 差量運(yùn)算、百分比運(yùn)算和總量運(yùn)算。
8.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集方法，其特征在于，所述數(shù)據(jù)采集方法還包括: 所述采集器接收來(lái)自所述服務(wù)器的參數(shù)修改命令；以及所述采集器在當(dāng)前數(shù)據(jù)采集結(jié)束后按照所述參數(shù)修改命令更新采集參數(shù)。
9.一種數(shù)據(jù)采集器，其特征在于，包括: 接收單元，用于接收來(lái)自所述服務(wù)器的采集啟動(dòng)命令； 采集單元，用于在接收到所述采集啟動(dòng)命令后對(duì)目標(biāo)設(shè)備進(jìn)行數(shù)據(jù)采集，得到目標(biāo)數(shù)據(jù)； 處理單元，用于對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行預(yù)處理，得到反饋數(shù)據(jù)；以及 反饋單元，用于將所述反饋數(shù)據(jù)反饋至所述服務(wù)器進(jìn)行存儲(chǔ)。
10.一種數(shù)據(jù)采集系統(tǒng)，其特征在于，包括: 服務(wù)器；以及 數(shù)據(jù)采集器，其中，所述數(shù) 據(jù)采集器為權(quán)利要求9中所述的數(shù)據(jù)采集器。
【文檔編號(hào)】H04L12/861GK103795647SQ201210431036
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2012年11月1日 優(yōu)先權(quán)日:2012年11月1日
【發(fā)明者】胡江昳, 李永成 申請(qǐng)人:鼎點(diǎn)視訊科技有限公司