專利名稱：日志存儲與處理的方法及日志服務(wù)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及日志管理技術(shù)領(lǐng)域，尤其涉及一種日志存儲與處理的方法及日志服務(wù)器。
背景技術(shù)：
日志是網(wǎng)絡(luò)設(shè)備、系統(tǒng)及服務(wù)程序等在運(yùn)行時(shí)產(chǎn)生的一個(gè)叫l(wèi)og的事件記錄；每一行日志都記載著日期、時(shí)間、使用者及動作等相關(guān)操作的描述信息。日志記錄了系統(tǒng)的生命周期，通過查閱日志，可以了解到系統(tǒng)在某個(gè)時(shí)刻所處的狀態(tài)；通過對日志的分析，收集 有用的數(shù)據(jù)，可以得到用戶的使用信息和訪問統(tǒng)計(jì)，為服務(wù)系統(tǒng)的優(yōu)化和網(wǎng)絡(luò)安全問題預(yù)防等提供依據(jù)。日志的存儲與處理分析，是一個(gè)成熟的服務(wù)系統(tǒng)必不可少的。圖I為現(xiàn)有技術(shù)中日志存儲和處理的過程流程圖，包括1)應(yīng)用程序通過調(diào)用syslogO函數(shù)，產(chǎn)生日志數(shù)據(jù)，并發(fā)送到syslog服務(wù)程序；2)sysl0g服務(wù)程序?qū)⑷罩緮?shù)據(jù)重定向到日志服務(wù)器(日志數(shù)據(jù)實(shí)質(zhì)是通過udp報(bào)文的方式發(fā)送到日志服務(wù)器的53端口)；3)日志服務(wù)器的syslog-ng服務(wù)程序收到日志后，將日志存儲到本地磁盤中；4)日志服務(wù)器上的日志處理程序，對保存在本地的日志數(shù)據(jù)進(jìn)行處理，得到關(guān)鍵信息。云存儲和大數(shù)據(jù)背景下，面對海量的存儲數(shù)據(jù)，現(xiàn)有的日志存儲和處理方法存在如下幾方面不足1)日志服務(wù)器的存儲空間是有限的，使得日志存儲的空間也是有限的；2)日志沒有經(jīng)過壓縮處理，直接存儲到磁盤，浪費(fèi)很多存儲空間；3)日志存儲沒有做備份處理，很容易做成日志的大量丟失；4)單臺的服務(wù)器對日志進(jìn)行處理，性能有限，處理時(shí)間長，無法很好的對大數(shù)據(jù)進(jìn)行處理。針對以上問題，本方案提出了一種分布式日志存儲與處理的方法。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種日志存儲與處理的方法及日志服務(wù)器，通過分布式文件系統(tǒng)存儲日志數(shù)據(jù)，使得系統(tǒng)的存儲空間可動態(tài)擴(kuò)展，分布式文件系統(tǒng)通過文件備份，能夠?qū)崿F(xiàn)安全存儲；同時(shí)，分布式處理很好的解決了大數(shù)據(jù)處理難的問題。為達(dá)到上述目的，本發(fā)明是通過以下技術(shù)方案來實(shí)現(xiàn)的一種日志存儲的方法，包括日志服務(wù)器將接收到的日志數(shù)據(jù)存儲到當(dāng)前本地文件；判斷所述當(dāng)前本地文件的屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則，如否，繼續(xù)向所述當(dāng)前本地文件存儲日志數(shù)據(jù)；如是，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲并更新當(dāng)前本地文件的存儲名稱；讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮；調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)。一種日志處理的方法，基于分布式存儲系統(tǒng)實(shí)現(xiàn)，包括步驟，
主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器；從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息；主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。一種日志服務(wù)器，所述日志存儲模塊包括創(chuàng)建單元、判斷單元、跳轉(zhuǎn)單元、更新單元、壓縮單元和發(fā)送單元，所述日志處理模塊包括分配單元、關(guān)鍵信息提取單元和關(guān)鍵信息統(tǒng)計(jì)合并單元，所述創(chuàng)建單元，與判斷單元連接，用于創(chuàng)建當(dāng)前本地文件并存儲接收到的日志數(shù) 據(jù)；所述判斷單元，分別與創(chuàng)建單元和跳轉(zhuǎn)單元連接，用于判斷當(dāng)前本地文件屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則；所述跳轉(zhuǎn)單元，分別與判斷單元、更新單元和壓縮單元連接，用于在當(dāng)前本地文件的屬性符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則時(shí)，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲；所述更新單元，分別與跳轉(zhuǎn)單元和創(chuàng)建單元連接，用于更新當(dāng)前本地文件的存儲名稱；所述壓縮單元，分別與跳轉(zhuǎn)單元和發(fā)送單元連接，用于讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮；所述發(fā)送單元，與壓縮單元連接，用于調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)；所述分配單元，與關(guān)鍵信息提取單元連接，用于主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器；所述關(guān)鍵信息提取單元，分別與關(guān)鍵信息統(tǒng)計(jì)合并單元和分配單元連接，用于從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息；所述關(guān)鍵信息統(tǒng)計(jì)合并單元，與關(guān)鍵信息提取單元連接，用于主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。本發(fā)明的技術(shù)方案，先將日志數(shù)據(jù)存儲成文件，并對文件進(jìn)行壓縮后上傳至分布式文件系統(tǒng)，該方法先壓縮后存儲，減少了存儲空間的占用；分布式存儲使得日志的存儲容量可以動態(tài)擴(kuò)展；副本備份上傳，保證了數(shù)據(jù)能夠安全存儲；分布式處理數(shù)據(jù)時(shí)，能夠?qū)Χ鄠€(gè)數(shù)據(jù)塊進(jìn)行同步處理，提高了大數(shù)據(jù)處理的能力，提高了系統(tǒng)性能。


圖I為現(xiàn)有技術(shù)中日志存儲和處理的過程流程圖；圖2為本發(fā)明實(shí)施例的日志存儲的方法流程圖；圖3為本發(fā)明實(shí)施例一提供的日志存儲的具體方法流程圖；圖4為本發(fā)明實(shí)施例的日志處理的方法流程圖；圖5為本發(fā)明實(shí)施例的日志服務(wù)器的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明。圖2為本發(fā)明實(shí)施例的日志存儲的方法流程圖。如圖2所示，該方法包括，
步驟201 :日志服務(wù)器將接收到的日志數(shù)據(jù)存儲到當(dāng)前本地文件；日志存儲程序接收日志數(shù)據(jù)，并分析日志數(shù)據(jù)來源的ip地址，把收到的日志數(shù)據(jù)保存到本地文件中，所述文件存儲名稱命名如下{/opt/log/ip地址/日期/時(shí)間}。步驟202 :判斷所述當(dāng)前本地文件的屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則；所述當(dāng)前本地文件的屬性包括文件大小和當(dāng)前時(shí)間，預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則包括判斷當(dāng)前本地文件大小是否超過預(yù)設(shè)的文件大小閾值或者判斷當(dāng)前時(shí)間與文件生成時(shí)間是否不屬于同一個(gè)預(yù)設(shè)的存儲時(shí)間周期。
步驟203 :如否，繼續(xù)向所述當(dāng)前本地文件存儲日志數(shù)據(jù)；如是，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲并更新當(dāng)前本地文件的存儲名稱；所述跳轉(zhuǎn)存儲包括，將標(biāo)識當(dāng)前本地文件的文件名稱壓入到存儲隊(duì)列，所述存儲隊(duì)列為一系列地址連續(xù)的存儲空間，可以按照先入先出的規(guī)則進(jìn)行數(shù)據(jù)存儲。步驟204 :讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮；日志存儲程序利用另一進(jìn)程讀取被跳轉(zhuǎn)存儲的文件名，即將存儲隊(duì)列中已存儲的標(biāo)識本地文件的文件名稱進(jìn)行出隊(duì)，采用Ioz算法將該文件名存儲的本地文件壓縮成二進(jìn)制文件，所述本地文件以文本形式進(jìn)行存儲。步驟205 :調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)。文件上傳的目錄名稱與本地文件的名稱結(jié)構(gòu)相同。該方法還包括定時(shí)執(zhí)行的步驟，所述定時(shí)執(zhí)行步驟為在預(yù)定時(shí)間對前一個(gè)存儲時(shí)間周期內(nèi)的被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件進(jìn)行上傳情況檢查，如有未上傳的本地文件，進(jìn)行本地文件壓縮后補(bǔ)上傳，并刪除所述前一個(gè)存儲時(shí)間周期之前的日志數(shù)據(jù)。分布式存儲系統(tǒng)，將待存儲數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。開源項(xiàng)目hadoop提供了對分布式存儲與分布式處理的基礎(chǔ)接口。hadoop的hdfs提供分布式存儲能力,hdfs是將一個(gè)大文件分成若干塊，每塊將有若干個(gè)副本，每個(gè)副本存儲在不同的服務(wù)器上，這樣便將一個(gè)大文件存儲到多臺服務(wù)器上，并實(shí)現(xiàn)了安全的文件備份(多個(gè)副本)。圖3為本發(fā)明實(shí)施例一提供的日志存儲的方法流程圖。具體流程包括如下步驟步驟301 :應(yīng)用程序通過調(diào)用syslog程序(syslog,—個(gè)Iinux服務(wù)器的日志處理程序)記錄日志數(shù)據(jù)，服務(wù)器通過系統(tǒng)的syslog程序，將日志數(shù)據(jù)發(fā)往日志服務(wù)器，假定應(yīng)用服務(wù)器的ip地址為192. 168. I. 100。步驟302 日志服務(wù)器中的日志存儲程序接收日志數(shù)據(jù)，并分析日志數(shù)據(jù)來源的ip地址，假定為192. 168. I. 100，程序把收到的日志數(shù)據(jù)保存到創(chuàng)建的本地文件{/opt/log/ip地址/日期/時(shí)間}中，其中ip地址為192. 168. I. 100,時(shí)間則為文件首次寫入時(shí)的時(shí)分秒值，例如“/opt/log/192. 168. I. 100/2012-09-01/12-50-55”。所述日志數(shù)據(jù)以文本形式存儲。步驟303 日志存儲程序向當(dāng)前本地文件寫入日志數(shù)據(jù)后，預(yù)設(shè)文件大小的存儲閾值(如50M、100M等)和存儲時(shí)間周期(如一天、一周、一個(gè)月等),判斷當(dāng)前本地文件的大小和當(dāng)前時(shí)間，若當(dāng)前本地文件大小超過預(yù)設(shè)的文件大小閥值或當(dāng)前時(shí)間與文件生成的時(shí)間不屬于同一個(gè)預(yù)設(shè)的存儲時(shí)間周期(如將存儲時(shí)間周期設(shè)為一天，則當(dāng)前時(shí)間與文件生成的時(shí)間不屬于同一天)，便把標(biāo)識當(dāng)前本地文件的文件名稱壓入存儲隊(duì)列并更新當(dāng)前本地文件的保存名稱，更新后的本地文件保存名稱為{/opt/log/ip地址/當(dāng)前時(shí)間}，當(dāng)下一個(gè)日志數(shù)據(jù)被寫入時(shí)，會默認(rèn)寫入到更新后的本地文件中。步驟304 :日志存儲程序的另一個(gè)線程將步驟303中壓入存儲隊(duì)列的標(biāo)識舊的本地文件的文件名稱出隊(duì)，并通過Izo算法將文本文件壓縮成二進(jìn)制文件。Lzo (Lempel-Ziv-Oberhumer) 是致力于解壓速度的一種數(shù)據(jù)壓縮算法，能夠?qū)崿F(xiàn)最快的壓縮/解壓，在進(jìn)行日志處理時(shí)，還支持直接以Izo的格式輸入數(shù)據(jù)提取關(guān)鍵信
肩、O步驟305 :程序通過調(diào)用分布式文件系統(tǒng)接口，將壓縮后的文件上傳上分布式文件系統(tǒng)(Hadoop Distributed File System, hdfs),上傳的文件目錄名稱為{/log/ip 址 /日期/時(shí)間}，與本地文件的存儲名稱結(jié)構(gòu)相同，如“/log/192. 168. I. 100/2012-09-01/12-50-55· lzo。 ”所述壓縮文件上傳分兩步進(jìn)行先獲取壓縮文件的下一個(gè)塊(默認(rèn)塊大小為64M)，并向分布式文件存儲系統(tǒng)的主服務(wù)器(master)申請一個(gè)塊的空間，主服務(wù)器返回η(η為系統(tǒng)設(shè)定的副本數(shù)，默認(rèn)為3)個(gè)從服務(wù)器(slave)的地址；程序?qū)K的η個(gè)副本，分別保存到從服務(wù)器上。通過上述兩個(gè)步驟循環(huán)執(zhí)行，直到執(zhí)行到壓縮文件末尾的一個(gè)塊。這樣，壓縮文件便成功保存到分布式的文件系統(tǒng)上了，而文件在分布式文件系統(tǒng)的目錄保存在主服務(wù)器上。該方法還包括一個(gè)定時(shí)執(zhí)行的步驟，所述定時(shí)執(zhí)行的步驟包括，定時(shí)執(zhí)行程序在預(yù)定時(shí)間(如凌晨3點(diǎn))執(zhí)行，對前一個(gè)存儲時(shí)間周期內(nèi)的被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的 本地文件進(jìn)行上傳情況檢查，如有未上傳的本地文件，進(jìn)行本地文件壓縮后補(bǔ)上傳，并刪除所述前一個(gè)存儲時(shí)間周期之前的日志數(shù)據(jù)。。分布式日志存儲首先將日志存儲成文件，再壓縮成更小的文件，再將壓縮后的文件存儲到分布式存儲系統(tǒng)，該方法減少了存儲空間的占用，使得系統(tǒng)的存儲空間可以動態(tài)擴(kuò)展，同時(shí)文件的備份處理，實(shí)現(xiàn)了安全存儲的目的。圖4為本發(fā)明實(shí)施例的日志處理的方法流程圖。如圖4所示，該方法包括，步驟401 :主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器；步驟402 :從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息；該步驟可以通過輸入Ioz格式的數(shù)據(jù)提取關(guān)鍵信息。步驟403 :主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。分布式處理是將數(shù)據(jù)處理任務(wù)分散到不同的設(shè)備上同時(shí)運(yùn)行處理。基于hdfs的mapreduce程序(一種編程模型)提供了對大數(shù)據(jù)進(jìn)行分布式處理的功能。分布式的日志處理程序首先由主服務(wù)器將要處理的數(shù)據(jù)分成若干份，并分派到若干個(gè)從服務(wù)器，MapReduce分布式處理的過程分兩個(gè)階段進(jìn)行map階段從每行的日志記錄中提取關(guān)鍵信息，并提交到執(zhí)行reduce任務(wù)的機(jī)器feduce階段根據(jù)所述關(guān)鍵信息對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并，并把輸出結(jié)果保存到分布式文件系統(tǒng)。分布式處理以分布式存儲為基礎(chǔ)，很好地解決了大數(shù)據(jù)難以處理的問題。先將數(shù)據(jù)分析的工作分成多個(gè)小的任務(wù)，分派給不同的從服務(wù)器完成，并把統(tǒng)計(jì)結(jié)果匯總到主服務(wù)器，能夠?qū)崿F(xiàn)同步處理的效果。圖5為本發(fā)明實(shí)施例的日志服務(wù)器的結(jié)構(gòu)示意圖。如圖5所示，所述服務(wù)器包括日志存儲模塊50和日志處理模塊51，所述日志存儲模塊50包括創(chuàng)建單元501、判斷單元502、跳轉(zhuǎn)單元503、更新單元504、壓縮單元505和發(fā)送單元506，所述日志處理模塊51包括分配單元511、關(guān)鍵信息提取單元512和關(guān)鍵信息統(tǒng)計(jì)合并單元513，所述創(chuàng)建單元501，與判斷單元502連接，用于創(chuàng)建當(dāng)前本地文件并存儲接收到的日志數(shù)據(jù)；所述判斷單元502，分別與創(chuàng)建單元501和跳轉(zhuǎn)單元503連接，用于判斷當(dāng)前本地文件屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則；所述跳轉(zhuǎn)單元503，分別與判斷單元502、更新單元504和壓縮單元505連接，用于在當(dāng)前本地文件的屬性符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則時(shí)，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲；所述更新單元504，分別與跳轉(zhuǎn)單元503和創(chuàng)建單元501連接，用于更新當(dāng)前本地文件的存儲名稱；所述壓縮單元505，分別與跳轉(zhuǎn)單元503和發(fā)送單元506連接，用于讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮；
所述發(fā)送單元506，與壓縮單元505連接，用于調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)；所述分配單元511，與關(guān)鍵信息提取單元512連接，用于主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器；所述關(guān)鍵信息提取單元512，分別與關(guān)鍵信息統(tǒng)計(jì)合并單元513和分配單元511連接，用于從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息；所述關(guān)鍵信息統(tǒng)計(jì)合并單元513，與關(guān)鍵信息提取單元512連接，用于主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。此外，所述日志存儲模塊還包括定時(shí)執(zhí)行單元507，分別與跳轉(zhuǎn)單元503和壓縮單元505連接，用于在預(yù)定時(shí)間對前一個(gè)存儲時(shí)間周期內(nèi)的被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件進(jìn)行上傳情況檢查，如有未上傳的本地文件，進(jìn)行本地文件壓縮后補(bǔ)上傳，并刪除所述前一個(gè)存儲時(shí)間周期之前的日志數(shù)據(jù)。本發(fā)明的技術(shù)方案，先將日志數(shù)據(jù)存儲成文件，并對文件進(jìn)行壓縮后上傳至分布式文件系統(tǒng)，該方法減少了存儲空間的占用；分布式存儲系統(tǒng)使得日志的存儲容量可以動態(tài)擴(kuò)展；副本備份上傳，保證了數(shù)據(jù)能夠安全存儲；分布式處理數(shù)據(jù)時(shí)，能夠?qū)Χ鄠€(gè)數(shù)據(jù)塊進(jìn)行同步處理，提高了大數(shù)據(jù)處理的能力，提高了系統(tǒng)性能。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，所述的存儲介質(zhì)，如R0M/RAM、磁碟、光盤等。上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.一種日志存儲的方法，其特征在于，包括 日志服務(wù)器將接收到的日志數(shù)據(jù)存儲到當(dāng)前本地文件； 判斷所述當(dāng)前本地文件的屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則； 如否，繼續(xù)向所述當(dāng)前本地文件存儲日志數(shù)據(jù)；如是，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲并更新當(dāng)前本地文件的存儲名稱； 讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮； 調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)。
2.根據(jù)權(quán)利要求I所述的日志存儲方法，其特征在于，所述當(dāng)前本地文件的屬性包括文件大小和當(dāng)前時(shí)間，預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則包括 判斷當(dāng)前本地文件大小是否超過預(yù)設(shè)的文件大小閾值或者判斷當(dāng)前時(shí)間與文件生成時(shí)間是否不屬于同一個(gè)預(yù)設(shè)的存儲時(shí)間周期。
3.根據(jù)權(quán)利要求I所述的日志存儲方法，其特征在于，所述“對文件進(jìn)行壓縮”包括，采用Ioz算法將本地文件壓縮成二進(jìn)制文件。
4.根據(jù)權(quán)利要求2所述的日志存儲方法，其特征在于，所述方法還包括定時(shí)執(zhí)行步驟，所述定時(shí)執(zhí)行步驟為在預(yù)定時(shí)間對前一個(gè)存儲時(shí)間周期內(nèi)的被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件進(jìn)行上傳情況檢查，如有未上傳的本地文件，進(jìn)行本地文件壓縮后補(bǔ)上傳，并刪除所述前一個(gè)存儲時(shí)間周期之前的日志數(shù)據(jù)。
5.一種日志處理的方法，基于分布式存儲系統(tǒng)實(shí)現(xiàn)，其特征在于，包括步驟， 主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器； 從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息； 主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。
6.根據(jù)權(quán)利要求5所述的日志處理的方法，其特征在于，所述“從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息”包括，通過輸入Ioz格式的數(shù)據(jù)提取關(guān)鍵信息。
7.—種日志服務(wù)器，所述服務(wù)器包括日志存儲模塊和日志處理模塊，其特征在于，所述日志存儲模塊包括創(chuàng)建單元、判斷單元、跳轉(zhuǎn)單元、更新單元、壓縮單元和發(fā)送單元，所述日志處理模塊包括分配單元、關(guān)鍵信息提取單元和關(guān)鍵信息統(tǒng)計(jì)合并單元， 所述創(chuàng)建單元，與判斷單元連接，用于創(chuàng)建當(dāng)前本地文件并存儲接收到的日志數(shù)據(jù)；所述判斷單元，分別與創(chuàng)建單元和跳轉(zhuǎn)單元連接，用于判斷當(dāng)前本地文件屬性是否符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則； 所述跳轉(zhuǎn)單元，分別與判斷單元、更新單元和壓縮單元連接，用于在當(dāng)前本地文件的屬性符合預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則時(shí)，將標(biāo)識當(dāng)前本地文件的文件名稱進(jìn)行跳轉(zhuǎn)存儲； 所述更新單元，分別與跳轉(zhuǎn)單元和創(chuàng)建單元連接，用于更新當(dāng)前本地文件的存儲名稱； 所述壓縮單元，分別與跳轉(zhuǎn)單元和發(fā)送單元連接，用于讀取被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件并對所述本地文件進(jìn)行壓縮； 所述發(fā)送單元，與壓縮單元連接，用于調(diào)用分布式文件系統(tǒng)接口將壓縮文件上傳至分布式文件系統(tǒng)； 所述分配單元，與關(guān)鍵信息提取單元連接，用于主服務(wù)器將待處理的日志數(shù)據(jù)分塊，分配給從服務(wù)器；所述關(guān)鍵信息提取單元，分別與關(guān)鍵信息統(tǒng)計(jì)合并單元和分配單元連接，用于從服務(wù)器從日志數(shù)據(jù)中提取關(guān)鍵信息； 所述關(guān)鍵信息統(tǒng)計(jì)合并單元，與關(guān)鍵信息提取單元連接，用于主服務(wù)器根據(jù)所述關(guān)鍵信息對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)合并。
8.根據(jù)權(quán)利要求7所述的日志服務(wù)器，其特征在于，所述當(dāng)前本地文件的屬性包括文件大小和當(dāng)前時(shí)間，預(yù)設(shè)的跳轉(zhuǎn)處理規(guī)則包括 判斷當(dāng)前本地文件大小是否超過預(yù)設(shè)的文件大小閾值或者判斷當(dāng)前時(shí)間與文件生成時(shí)間是否不屬于同一個(gè)預(yù)設(shè)的存儲時(shí)間周期。
9.根據(jù)權(quán)利要求7所述的日志服務(wù)器，其特征在于，所述壓縮單元采用Ioz算法將本地文件壓縮成二進(jìn)制文件。
10.根據(jù)權(quán)利要求7所述的日志服務(wù)器，其特征在于，所述日志存儲模塊還包括定時(shí)執(zhí)行單元，分別與跳轉(zhuǎn)單元和壓縮單元連接，用于在預(yù)定時(shí)間對前一個(gè)存儲時(shí)間周期內(nèi)的被跳轉(zhuǎn)存儲的文件名稱所標(biāo)識的本地文件進(jìn)行上傳情況檢查，如有未上傳的本地文件，進(jìn)行本地文件壓縮后補(bǔ)上傳，并刪除所述前一個(gè)存儲時(shí)間周期之前的日志數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種日志存儲與處理的方法及日志服務(wù)器，先將日志數(shù)據(jù)存儲成文件，并對文件進(jìn)行壓縮后上傳至分布式文件系統(tǒng)，該方法先壓縮后存儲，減少了存儲空間的占用；分布式存儲使得日志的存儲容量可以動態(tài)擴(kuò)展；副本備份上傳，保證了數(shù)據(jù)能夠安全存儲；分布式處理數(shù)據(jù)時(shí)，能夠?qū)Χ鄠€(gè)數(shù)據(jù)塊進(jìn)行同步處理，提高了大數(shù)據(jù)處理的能力，提高了系統(tǒng)性能。
文檔編號H04L12/24GK102970158SQ20121043725
公開日2013年3月13日 申請日期2012年11月5日 優(yōu)先權(quán)日2012年11月5日
發(fā)明者何作祥, 閔宇, 史偉, 麥劍 申請人:廣東睿江科技有限公司