日志文件處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于日志處理領(lǐng)域，特別是涉及一種日志文件處理方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，手持設(shè)備、桌面終端等諸多互聯(lián)網(wǎng)終端被大量使用，同時(shí)也產(chǎn)生了海量的信息。海量信息背后的“大數(shù)據(jù)”隱藏著人們自主行為意識(shí)，可以產(chǎn)生很多商業(yè)行為的潛在價(jià)值導(dǎo)向，因而這些海量數(shù)據(jù)的快速處理和分析技術(shù)的需求就日益緊迫。
[0003]現(xiàn)有技術(shù)中，CDN服務(wù)提供商是通過大量的節(jié)點(diǎn)(邊緣)服務(wù)器來為客戶提供加速服務(wù)的。其中，CDN網(wǎng)絡(luò)中各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件數(shù)量是巨大的。面對(duì)海量的日志文件信息，如何合理高效地對(duì)對(duì)海量日志文件快速分析、篩選、提煉，已成為亟待解決的問題。
[0004]現(xiàn)有技術(shù)中，⑶N網(wǎng)絡(luò)中的節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分發(fā)到各個(gè)處理線程進(jìn)行處理，存在著浪費(fèi)資源，日志文件處理效率低的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例解決的問題是節(jié)約處理線程的資源，提高日志文件的處理效率。
[0006]為解決上述問題，本發(fā)明實(shí)施例提供了一種日志文件處理方法，所述方法包括:
[0007]建立各個(gè)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系；
[0008]將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理。
[0009]可選地，所述方法還包括:當(dāng)滿足預(yù)設(shè)的條件時(shí)，對(duì)所述映射關(guān)系進(jìn)行調(diào)整，直至各個(gè)處理線程之間達(dá)到負(fù)載均衡。
[0010]可選地，所述預(yù)設(shè)的條件包括:第一處理線程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值，其中，所述第一處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最大負(fù)載量的處理線程，所述第二處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最小負(fù)載量的處理線程。
[0011]可選地，所述當(dāng)滿足預(yù)設(shè)的條件時(shí)，對(duì)所述映射關(guān)系進(jìn)行調(diào)整，直至各個(gè)處理線程之間達(dá)到負(fù)載均衡，包括:
[0012]當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于所述第一閾值時(shí)，分別獲取第一處理線程和第二處理線程對(duì)應(yīng)的節(jié)點(diǎn)服務(wù)器在所述預(yù)設(shè)時(shí)間段內(nèi)的日志文件增量；
[0013]按照日志文件增量從小到大的順序遍歷所述第一處理線程對(duì)應(yīng)的各個(gè)節(jié)點(diǎn)服務(wù)器，將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，并將所述第一處理線程與所述第二處理線程的負(fù)載量差值與所述第一閾值進(jìn)行比較；
[0014]當(dāng)確定所述第一處理線程與所述第二處理線程之間的負(fù)載量差值大于所述第一閾值時(shí)，則將下一位序的節(jié)點(diǎn)服務(wù)器映射至所述第二處理線程，直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值；
[0015]當(dāng)確定將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，所述第二處理線程與所述第一處理線程的負(fù)載量差值大于所述第一閾值時(shí)，則舍棄當(dāng)前位序的節(jié)點(diǎn)服務(wù)器，將下一位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值。
[0016]可選地，所述建立所述節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系，包括:通過將各個(gè)節(jié)點(diǎn)服務(wù)器循環(huán)映射至各個(gè)處理線程，建立各個(gè)節(jié)點(diǎn)服務(wù)器與各個(gè)處理線程之間的映射關(guān)系O
[0017]可選地，在將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理之后，還包括:
[0018]當(dāng)有新節(jié)點(diǎn)服務(wù)器加入時(shí)，獲取所述的各個(gè)節(jié)點(diǎn)服務(wù)器中最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程；
[0019]將所述新加入的節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程。
[0020]本發(fā)明實(shí)施例還提供了一種日志文件處理裝置，所述裝置包括:
[0021]建立單元，適于建立各個(gè)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系；
[0022]分發(fā)單元，適于將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理。
[0023]可選地，所述裝置還包括:負(fù)載均衡單元，適于當(dāng)滿足預(yù)設(shè)的條件時(shí)，對(duì)所述映射關(guān)系進(jìn)行調(diào)整，直至各個(gè)處理線程之間達(dá)到負(fù)載均衡。
[0024]可選地，所述預(yù)設(shè)的條件包括:第一處理線程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值，其中，所述第一處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最大負(fù)載量的處理線程，所述第二處理線程為在所述預(yù)設(shè)時(shí)間段內(nèi)具有最小負(fù)載量的處理線程。
[0025]可選地，所述負(fù)載均衡單元適于:當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于所述第一閾值時(shí)，分別獲取第一處理線程和第二處理線程對(duì)應(yīng)的節(jié)點(diǎn)服務(wù)器在所述預(yù)設(shè)時(shí)間段內(nèi)的日志文件增量；按照日志文件增量從小到大的順序遍歷所述第一處理線程對(duì)應(yīng)的各個(gè)節(jié)點(diǎn)服務(wù)器，將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，并將所述第一處理線程與所述第二處理線程的負(fù)載量差值與所述第一閾值進(jìn)行比較；當(dāng)確定所述第一處理線程與所述第二處理線程之間的負(fù)載量差值大于所述第一閾值時(shí)，則將下一位序的節(jié)點(diǎn)服務(wù)器映射至所述第二處理線程，直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值；當(dāng)確定將當(dāng)前位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，所述第二處理線程與所述第一處理線程的負(fù)載量差值大于所述第一閾值時(shí)，則舍棄當(dāng)前位序的節(jié)點(diǎn)服務(wù)器，將下一位序的節(jié)點(diǎn)服務(wù)器重新映射至所述第二處理線程，直至所述第一處理線程與所述第二處理線程的負(fù)載量差值小于所述第一閾值。
[0026]可選地，所述建立單元適于通過將各個(gè)節(jié)點(diǎn)服務(wù)器循環(huán)映射至各個(gè)處理線程，建立各個(gè)節(jié)點(diǎn)服務(wù)器與各個(gè)處理線程之間的映射關(guān)系。
[0027]可選地，所述建立單元還適于:在將各個(gè)節(jié)點(diǎn)服務(wù)器的日志文件按照所述映射關(guān)系分發(fā)至對(duì)應(yīng)的處理線程進(jìn)行處理之后，當(dāng)有新節(jié)點(diǎn)服務(wù)器加入時(shí)，獲取所述的各個(gè)節(jié)點(diǎn)服務(wù)器中最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程；將所述新加入的節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程。
[0028]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例的技術(shù)方案具有以下的優(yōu)點(diǎn):
[0029]通過將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件按照預(yù)設(shè)的映射關(guān)系分配至相應(yīng)的處理線程進(jìn)行處理，與將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分配給相應(yīng)的處理線程相比，可以避免將同一節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件重復(fù)分發(fā)給不同的處理線程進(jìn)行處理，因此，可以節(jié)約處理線程的處理資源，提高日志文件處理的效率。
[0030]進(jìn)一步地，當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值大于預(yù)設(shè)的第一閾值時(shí)，對(duì)節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系進(jìn)行調(diào)整，直至第一處理線程和第二處理線程的負(fù)載量差值小于預(yù)設(shè)的第一閾值，當(dāng)?shù)谝惶幚砭€程和第二處理線程的負(fù)載量差值小于預(yù)設(shè)的第一差值閾值時(shí)，各個(gè)處理線程之間達(dá)到負(fù)載均衡，可以快速及時(shí)地對(duì)各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件進(jìn)行處理，因此，可以進(jìn)一步提升日志文件的處理效率。
[0031]進(jìn)一步地，當(dāng)所述有新節(jié)點(diǎn)服務(wù)器加入時(shí)，將所述新節(jié)點(diǎn)服務(wù)器映射至所述最后一個(gè)節(jié)點(diǎn)服務(wù)器對(duì)應(yīng)的處理線程的下一處理線程，可以不受節(jié)點(diǎn)服務(wù)器個(gè)數(shù)的限制，因此，可以提高日志處理的靈活性。
【附圖說明】
[0032]圖1是本發(fā)明實(shí)施例中一種的日志文件處理方法的流程圖；
[0033]圖2是本發(fā)明實(shí)施例中另一種的日志文件處理方法的流程圖；
[0034]圖3是本發(fā)明實(shí)施例中的負(fù)載均衡的流程圖；
[0035]圖4是本發(fā)明實(shí)施例中的一種日志文件處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0036]現(xiàn)有技術(shù)中，⑶N網(wǎng)絡(luò)中的節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件隨機(jī)分發(fā)到各個(gè)處理線程進(jìn)行處理，存在著浪費(fèi)資源，日志文件處理效率低的問題。
[0037]為解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明實(shí)施例采用的技術(shù)方案通過將各個(gè)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件按照預(yù)設(shè)的映射關(guān)系分配至相應(yīng)的處理線程進(jìn)行處理，可以避免將同一節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件文件重復(fù)分發(fā)給不同的處理線程進(jìn)行處理，可以節(jié)約處理線程的處理資源，提高日志文件處理的效率。
[0038]為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更為明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施例做詳細(xì)的說明。
[0039]圖1是本發(fā)明實(shí)施例中的一種日志文件處理方法的流程圖。如圖1所示的日志文件處理方法，可以包括:
[0040]步驟SlOl:建立節(jié)點(diǎn)服務(wù)器和處理線程之間的映射關(guān)系。
[0041]在具體實(shí)施中，CDN網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)服務(wù)器可以將其緩存的源站的資源文件按照就近原則提供給相應(yīng)的用戶。其中，節(jié)點(diǎn)服務(wù)器在運(yùn)行過程中會(huì)產(chǎn)生相應(yīng)的日志文件。對(duì)節(jié)點(diǎn)服務(wù)器產(chǎn)生的日志文件的分析，可以獲取相應(yīng)的商業(yè)信息。
[0042]在具體實(shí)施中，處理線程可以對(duì)節(jié)點(diǎn)服務(wù)器的日志文件進(jìn)