日志處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別是涉及一種日志處理方法和裝置。
【背景技術(shù)】
[0002]目前，基于互聯(lián)網(wǎng)技術(shù)的公司的各種業(yè)務(wù)每天會產(chǎn)生大量的日志，正如技術(shù)人員所熟知的對這些日志進行分析具有很大的價值，如通過產(chǎn)生的日志可以獲得QPS (QueryPer Second，每秒查詢率)，各個時間粒度上的統(tǒng)計指標(biāo)，對出現(xiàn)的問題及時報警以及對一個域上的值進行過濾等等。而對日志進行分析前，需要查詢相關(guān)日志。而業(yè)務(wù)每天產(chǎn)生的日志的數(shù)據(jù)量巨大，從這些數(shù)量巨大的日志中查詢出分析所需的日志需要花費很長的時間。
[0003]現(xiàn)有的對日志查詢的技術(shù)主要包括對近期日志進行查詢分析的技術(shù)以及對時間間隔較大的日志進行查詢分析的技術(shù)。
[0004]現(xiàn)有的對近期日志進行查詢的技術(shù)包括:開源的ElasticSearch，商用的Splunk。其中，ElasticSearch是一個基于Lucene的搜索服務(wù)器，Splunk是機器數(shù)據(jù)的引擎，二者均通過對日志建索引，來提高所需日志的查詢速度。但由于日志的數(shù)據(jù)量巨大，而為日志建立的索引大小比日志還要大，因此，為了節(jié)省資源，提高日志查詢的響應(yīng)速度，現(xiàn)有的這兩種日志查詢工具只能支持對近期的日志進行快速查詢。而對于時間間隔較大的查詢，目前常見的查詢方式是通過MR(MapReduce，批處理任務(wù))對日志進行處理，但通過MR對日志進行查詢的方式，日志查詢花費的時間長。
[0005]可見，現(xiàn)有的日志查詢方式無法滿足對時間間隔較大的日志、進行快速查詢的需求。

【發(fā)明內(nèi)容】

[0006]鑒于上述現(xiàn)有的日志查詢方法無法滿足對時間間隔較大的日志、進行快速查詢的需求的問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的日志處理方法和裝置。
[0007]依據(jù)本發(fā)明的一個方面，提供了日志處理方法，包括:實時接收日志流，并對接收的日志流中的各條日志進行格式化，以從格式化的日志中獲取有效信息；待滿足當(dāng)前時間粒度條件的全部日志的有效信息均提取完成后，根據(jù)預(yù)處理規(guī)則對提取出的各條日志的有效信息進行預(yù)處理，生成預(yù)處理結(jié)果；將所述預(yù)處理結(jié)果存儲至開源列存儲數(shù)據(jù)庫中與所述當(dāng)前時間粒度對應(yīng)的數(shù)據(jù)表中。
[0008]可選地，所述方法還包括:按照設(shè)定時間間隔，將存儲在所述開源列存儲數(shù)據(jù)庫中的、同級別時間粒度對應(yīng)的數(shù)據(jù)表整合成一個高一級別對應(yīng)的數(shù)據(jù)表，其中，時間粒度級別由高至低依次為:天、小時、分鐘以及秒。
[0009]可選地，所述方法還包括:接收對日志的查詢請求；從所述開源列存儲數(shù)據(jù)庫中查詢與所述查詢請求匹配的記錄；依據(jù)所述匹配的記錄生成查詢結(jié)果并發(fā)送。
[0010]可選地，所述查詢請求中攜帶有設(shè)置的時間粒度以及待查詢內(nèi)容；所述從所述開源列存儲數(shù)據(jù)庫中查詢與所述查詢請求匹配的記錄的步驟包括:確定所述設(shè)置的時間粒度所屬的級別；從所述開源列存儲數(shù)據(jù)庫中確定與所述級別匹配的時間粒度對應(yīng)的數(shù)據(jù)表；從確定的所述數(shù)據(jù)表中確定與所述設(shè)置的時間粒度相匹配的數(shù)據(jù)表；依據(jù)所述待查詢內(nèi)容從與所述設(shè)置的時間粒度相匹配的數(shù)據(jù)表中查詢相關(guān)記錄。
[0011]可選地，所述預(yù)處理規(guī)則包括以下至少之一:統(tǒng)計總次數(shù)、統(tǒng)計最大值、統(tǒng)計最小值、統(tǒng)計平均值、統(tǒng)計每個值的百分比以及報錯的日志。
[0012]依據(jù)本發(fā)明的另一個方面，提供了一種日志處理裝置，包括:格式化模塊，用于實時接收日志流，并對接收的日志流中的各條日志進行格式化，以從格式化的日志中獲取有效信息；預(yù)處理模塊，用于待滿足當(dāng)前時間粒度條件的全部日志的有效信息均提取完成后，根據(jù)預(yù)處理規(guī)則對提取出的各條日志的有效信息進行預(yù)處理，生成預(yù)處理結(jié)果；存儲模塊，用于將所述預(yù)處理結(jié)果存儲至開源列存儲數(shù)據(jù)庫中與所述當(dāng)前時間粒度對應(yīng)的數(shù)據(jù)表中。
[0013]可選地，所述裝置還包括:整合模塊，用于按照設(shè)定時間間隔，將存儲在所述開源列存儲數(shù)據(jù)庫中的、同級別時間粒度對應(yīng)的數(shù)據(jù)表整合成一個高一級別對應(yīng)的數(shù)據(jù)表，其中，時間粒度級別由高至低依次為:天、小時、分鐘以及秒。
[0014]可選地，所述裝置還包括:請求接收模塊，用于接收對日志的查詢請求；查詢模塊，用于從所述開源列存儲數(shù)據(jù)庫中查詢與所述查詢請求匹配的記錄；生成模塊，用于依據(jù)所述匹配的記錄生成查詢結(jié)果并發(fā)送。
[0015]可選地，所述查詢請求中攜帶有設(shè)置的時間粒度以及待查詢內(nèi)容；查詢模塊包括:級別確定子模塊，用于確定所述設(shè)置的時間粒度所屬的級別；第一匹配子模塊，用于從所述開源列存儲數(shù)據(jù)庫中確定與所述級別匹配的時間粒度對應(yīng)的數(shù)據(jù)表；第二匹配子模塊，用于從確定的所述數(shù)據(jù)表中確定與所述設(shè)置的時間粒度相匹配的數(shù)據(jù)表；記錄查詢子模塊，用于依據(jù)所述待查詢內(nèi)容從與所述設(shè)置的時間粒度相匹配的數(shù)據(jù)表中查詢相關(guān)記錄。
[0016]可選地，所述預(yù)處理規(guī)則包括以下至少之一:統(tǒng)計總次數(shù)、統(tǒng)計最大值、統(tǒng)計最小值、統(tǒng)計平均值、統(tǒng)計每個值的百分比以及報錯的日志。
[0017]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點:
[0018]本發(fā)明實施例提供的日志處理方案，將接收到的日志流進行預(yù)處理，然后按照設(shè)定的時間粒度將預(yù)處理后的結(jié)果存儲至開源列存儲數(shù)據(jù)庫中。當(dāng)需要查詢?nèi)罩緯r，直接確定查詢的日志對應(yīng)的時間粒度、然后從對應(yīng)時間粒度下查詢?nèi)罩炯纯?。本發(fā)明實施例提供的日志處理方案，相較于現(xiàn)有的對時間間隔較大的日志的處理方案只是盲目地從存儲的所有日志中查詢?nèi)罩?，能夠縮短日志的查詢時間，從而提升日志的查詢效率。
[0019]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【附圖說明】
[0020]通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0021]圖1是根據(jù)本發(fā)明實施例一的一種日志處理方法的步驟流程圖；
[0022]圖2是根據(jù)本發(fā)明實施例二的一種日志處理方法的步驟流程圖；
[0023]圖3是采用實施例二中所示的日志處理方法進行日志處理的流程示意圖；
[0024]圖4是根據(jù)本發(fā)明實施例三的一種日志處理裝置的結(jié)構(gòu)框圖。
【具體實施方式】
[0025]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。
[0026]實施例一
[0027]參照圖1，示出了本發(fā)明實施例一的一種日志處理方法的步驟流程圖。
[0028]本發(fā)明實施例的日志處理方法包括以下步驟: