日志管理系統(tǒng)和實現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別涉及日志管理系統(tǒng)和實現(xiàn)方法。
【背景技術(shù)】
[0002]在計算機通信技術(shù)中，為了記錄應(yīng)用訪問者的訪問行為，在網(wǎng)絡(luò)側(cè)會產(chǎn)生大量的日志。網(wǎng)絡(luò)側(cè)會將這些日志保存起來，以便后續(xù)查詢。
[0003]目前，對日志進行管理的方法包括:應(yīng)用運行節(jié)點根據(jù)應(yīng)用訪問者的訪問行為產(chǎn)生日志，并在自身中保存日志；后續(xù)，當(dāng)需要查詢?nèi)罩緯r，獲取對應(yīng)的應(yīng)用運行節(jié)點的IP地址，從該應(yīng)用運行節(jié)點上查詢?nèi)罩尽?br>[0004]由以上描述可以看出，在現(xiàn)有技術(shù)中，日志是分散保存在各個應(yīng)用運行節(jié)點上的，也就是說，不同應(yīng)用運行節(jié)點產(chǎn)生的日志分散保存，由于應(yīng)用運行節(jié)點數(shù)量眾多且IP地址不同，這樣，用戶查詢?nèi)罩緯r，不易獲取具體需要查詢的應(yīng)用運行節(jié)點的IP地址。進一步地，由于日志分散保存，不易對日志進行綜合管理，降低了業(yè)務(wù)實現(xiàn)的靈活性。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供日志管理系統(tǒng)和方法，解決日志分散管理的問題。
[0006]第一種日志管理系統(tǒng)，包括:
[0007]日志推送單元，用于保存預(yù)定義的日志格式，將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照所述日志格式推送到日志收集單元；
[0008]日志收集單元，收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給日志存儲單元，并監(jiān)測日志是否已存儲到日志存儲單元，如果是，則刪除所緩存的日志；
[0009]日志存儲單元，存儲所接收到的日志；
[0010]日志計算分析單元，根據(jù)分析計算規(guī)則對日志存儲單元中存儲的日志進行分析和計算，接收到日志服務(wù)控制單元發(fā)來的查詢請求后，訪問日志存儲單元，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元；
[0011]日志服務(wù)控制單元，向日志計算分析單元發(fā)送分析計算規(guī)則，以及發(fā)送查詢請求，向用戶提供接收到的日志。
[0012]所述日志計算分析單元以流的形式訪問所述日志存儲單元中的數(shù)據(jù)。
[0013]第二種日志管理系統(tǒng)，包括:
[0014]日志推送引擎，位于paas平臺的一個以上應(yīng)用運行節(jié)點中，用于保存預(yù)定義的日志格式，將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照所述日志格式推送到flume節(jié)點；
[0015]flume節(jié)點，用于收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給HDFS，并監(jiān)測日志是否已存儲到HDFS，如果是，則刪除所緩存的日志；
[0016]HDFS,存儲所接收到的日志；
[0017]impala節(jié)點，根據(jù)分析計算規(guī)則對HDFS中存儲的日志進行分析和計算，接收到日志服務(wù)控制單元發(fā)來的查詢請求后，訪問HDFS，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元;
[0018]日志服務(wù)控制單元，向impala節(jié)點發(fā)送分析計算規(guī)則以及發(fā)送查詢請求，向用戶提供接收到的日志。
[0019]第二種日志管理系統(tǒng)中，所述impala節(jié)點以流的形式訪問所述HDFS中的數(shù)據(jù)。
[0020]第二種日志管理系統(tǒng)中，所述impala節(jié)點進一步提供SQL語義，以查詢所述HDFS中的數(shù)據(jù)。
[0021]一種日志管理方法，應(yīng)用于上述第一種日志管理系統(tǒng)的任意一種結(jié)構(gòu)中，該方法包括:
[0022]一個以上的日志推送單元將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照預(yù)設(shè)日志格式推送到日志收集單元；
[0023]日志收集單元收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給日志存儲單元，
[0024]日志存儲單元存儲所接收到的日志；
[0025]日志收集單元監(jiān)測日志是否已存儲到日志存儲單元，如果是，則刪除所緩存的日志；
[0026]日志計算分析單元根據(jù)日志服務(wù)控制單元發(fā)來的分析計算規(guī)則對日志存儲單元中存儲的日志進行分析和計算；
[0027]日志計算分析單元接收到日志服務(wù)控制單元發(fā)來的查詢請求后，訪問日志存儲單元，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元；
[0028]日志服務(wù)控制單元向用戶提供接收到的日志。
[0029]一種日志管理方法，應(yīng)用于上述第二種日志管理系統(tǒng)的任意一種結(jié)構(gòu)中，該方法包括:
[0030]日志推送引擎將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照所述日志格式推送到flume節(jié)點；
[0031 ] flume節(jié)點收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給HDFS，并監(jiān)測日志是否已存儲到HDFS，如果是，則刪除所緩存的日志；
[0032]日志服務(wù)控制單元向impala節(jié)點發(fā)送分析計算規(guī)則，impala節(jié)點根據(jù)分析計算規(guī)則對HDFS中存儲的日志進行分析和計算；
[0033]日志服務(wù)控制單元向impala節(jié)點發(fā)送日志查詢請求，impala節(jié)點訪問HDFS，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元；
[0034]日志服務(wù)控制單元向用戶提供接收到的日志。
[0035]所述impala節(jié)點訪問HDFS包括:所述impala節(jié)點以流的形式訪問所述HDFS中的數(shù)據(jù)。
[0036]進一步包括:所述impala節(jié)點進一步提供SQL語義，以查詢所述HDFS中的數(shù)據(jù)。
[0037]本發(fā)明實施例提供了一種日志管理系統(tǒng)和方法，利用日志推送單元、日志收集單元、日志存儲單元、日志計算分析單元和日志服務(wù)控制單元的配合操作，能夠?qū)崿F(xiàn)日志的統(tǒng)一收集、存儲、管理和查詢，從而解決了日志分散管理的問題，比如，由于統(tǒng)一查詢?nèi)罩荆虼耸褂媒y(tǒng)一的地址進行查詢，避免了現(xiàn)有技術(shù)中用戶查詢?nèi)罩緯r，不易獲取具體需要查詢的應(yīng)用運行節(jié)點的IP地址。再如，由于日志集中保存，可以對日志進行綜合管理，提高了業(yè)務(wù)實現(xiàn)的靈活性。
[0038]進一步地，本發(fā)明實施例提供的一種分布式日志管理系統(tǒng)實現(xiàn)方法，可以解決在paas平臺中多租戶的應(yīng)用日志分散存放不便查看的問題；解決日志分散存放不便管理的問題；解決將這些日志數(shù)據(jù)收集到一起，供后續(xù)分析使用這一技術(shù)難題。同時，通過HDFS存儲服務(wù)，既可以支撐海量日志數(shù)據(jù)的快速存儲，又可以通過impala技術(shù)實現(xiàn)日志數(shù)據(jù)的快速分析查詢。本發(fā)明實施例有多節(jié)點日志數(shù)據(jù)統(tǒng)一維護管理、海量日志數(shù)據(jù)快速存儲查詢、使用簡便、降低配置難度、降低運維管理難度等特點，具有很好的推廣使用價值。
【附圖說明】
[0039]圖1是本發(fā)明一個實施例中日志管理系統(tǒng)的結(jié)構(gòu)示意圖。
[0040]圖2是本發(fā)明另一個實施例中日志管理系統(tǒng)的結(jié)構(gòu)示意圖。
[0041]圖3是本發(fā)明一個實施例中日志管理方法的流程圖。
[0042]圖4是本發(fā)明另一個實施例中日志管理方法的流程圖。
【具體實施方式】
[0043]本發(fā)明一個實施例提出了一種日志管理系統(tǒng)，參見圖1，該系統(tǒng)包括:
[0044]日志推送單元101，用于保存預(yù)定義的日志格式，將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照所述日志格式推送到日志收集單元102 ;
[0045]日志收集單元102，收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給日志存儲單元103，并監(jiān)測日志是否已存儲到日志存儲單元103，如果是，則刪除所緩存的日志；
[0046]日志存儲單元103，存儲所接收到的日志；
[0047]日志計算分析單元104，根據(jù)分析計算規(guī)則對日志存儲單元103中存儲的日志進行分析和計算，接收到日志服務(wù)控制單元105發(fā)來的查詢請求后，訪問日志存儲單元103，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元105 ;
[0048]日志服務(wù)控制單元105，向日志計算分析單元104發(fā)送分析計算規(guī)則，以及發(fā)送查詢請求，向用戶提供接收到的日志。
[0049]本發(fā)明另一個實施例提出了另一種日志管理系統(tǒng)，參見圖2，該系統(tǒng)尤其適用于paas平臺中多租戶的應(yīng)用日志的管理，并且，可以基于flume技術(shù)搜集日志、HDFS技術(shù)存儲日志和impala技術(shù)進行日志分析查詢，基于這些技術(shù)的聯(lián)合使用可以更好的對日志進行管理?；诖饲闆r的本發(fā)明實施例的系統(tǒng)結(jié)構(gòu)圖可以參見圖2所示，包括:
[0050]日志推送引擎201，位于paas平臺的一個以上應(yīng)用運行節(jié)點中，用于保存預(yù)定義的日志格式，將一個以上應(yīng)用運行節(jié)點產(chǎn)生的日志按照所述日志格式推送到flume節(jié)點202 ；
[0051]flume節(jié)點202，用于收集接收到的日志，對日志進行緩存，將日志以事件形式發(fā)送給HDFS 203，并監(jiān)測日志是否已存儲到HDFS 203，如果是，則刪除所緩存的日志；
[0052]HDFS 203，存儲所接收到的日志；
[0053]impala節(jié)點204，根據(jù)分析計算規(guī)則對HDFS 203中存儲的日志進行分析和計算，接收到日志服務(wù)控制單元205發(fā)來的查詢請求后，訪問HDFS 203，獲取相應(yīng)的日志，返回給日志服務(wù)控制單元205 ;
[0054]日志服務(wù)控制單元205，向impala節(jié)點204發(fā)送分析計算規(guī)則以及發(fā)送查詢請求，向用戶提供接收到的日志。
[0055]基于圖2所示系統(tǒng)，在本發(fā)明的一些實施例中，impala節(jié)點204以流的形式訪問所述HDFS 203中的數(shù)據(jù)。
[0056]基于圖2所示系統(tǒng)，在本發(fā)明的一些實施例中，impala節(jié)點204進一步提供SQL語義，以查詢所述HDFS 203中的數(shù)據(jù)。
[0057]基于圖2所示系統(tǒng)，在本發(fā)明的一些實施例中，日志推送引擎201通過Log