專利名稱：一種并行搜索it日志的檢索方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機領(lǐng)域，特別是涉及一種搜索海量IT日志的快速檢索方法、 裝置及系統(tǒng)。
背景技術(shù)：
隨著行業(yè)用戶的網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，業(yè)務(wù)的集中帶動數(shù)據(jù)和應(yīng)用的集中，各級數(shù)據(jù)中心應(yīng)用系統(tǒng)越來越龐大，管理復(fù)雜度越來越高。對于安全管理人員來說，需要定期分析大量網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、數(shù)據(jù)庫、主機等產(chǎn)生的海量日志，這樣不可避免地需要檢索這些海量的IT日志。目前，一般采用兩種方式進行IT日志檢索一種是將IT日志存儲在關(guān)系型數(shù)據(jù)庫，從而進行檢索，但在海量IT日志情況下，關(guān)系型數(shù)據(jù)庫的結(jié)構(gòu)化存儲無法滿足用戶要求的檢索性能；另一種是使用分布式并行全文檢索，此種方式在對IT日志完成索引之后， 有較好的查詢性能，但無法滿足用戶對于IT日志的精確檢索，從而降低安全管理人員及運維人員工作效率。所以，有必要提供一種新的檢索技術(shù)，以確保在海量IT日志環(huán)境中，在保證檢索性能的同時，可以實現(xiàn)日志的全文檢索與精確檢索，提高日志信息查詢的性能與高效性，保證安全管理人員及運維人員能夠?qū)T日志精確檢索，提高安全管理人員及運維人員的工作效率。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種并行搜索IT日志的檢索方法、裝置及系統(tǒng)，可以確保用戶在海量IT日志環(huán)境中，實現(xiàn)IT日志的全文檢索與精確檢索，提高日志信息查詢的性能與高效性，以及用戶的工作效率。為解決以上技術(shù)問題，本發(fā)明提供一種并行搜索IT日志的檢索方法，包括，管理員登錄管理平臺模塊，設(shè)置預(yù)處理規(guī)則和日志檢索域；管理平臺根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池；用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，并根據(jù)檢索條件檢索IT
日志ο進一步地，所述方法進一步包括日志預(yù)處理模塊根據(jù)管理平臺下發(fā)的預(yù)處理規(guī)則對采集到的IT日志進行預(yù)處理后存儲。進一步地，所述方法進一步包括日志索引模塊定期對預(yù)處理后的IT日志文件進行索引。進一步地，所述用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，并根據(jù)檢索條件檢索IT日志，具體包括用戶根據(jù)檢索條件輸入檢索值，系統(tǒng)根據(jù)建立的索引及用戶IT日志檢索域進行檢索操作，將檢索結(jié)果返回。為解決以上技術(shù)問題，本發(fā)明還提供一種并行搜索IT日志的檢索裝置，包括管理平臺模塊、日志預(yù)處理模塊、日志檢索模塊，所述管理平臺模塊，用于設(shè)置并管理預(yù)處理規(guī)則，并將預(yù)處理規(guī)則下發(fā)至日志預(yù)處理模塊，以及，將預(yù)處理規(guī)則轉(zhuǎn)換為IT日志檢索條件，形成檢索條件池；所述日志預(yù)處理模塊，用于根據(jù)管理平臺模塊下發(fā)的預(yù)處理規(guī)則對采集的原始IT 日志進行預(yù)處理，形成預(yù)處理后的IT日志；所述日志檢索模塊，用于用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系， 根據(jù)檢索條件檢索IT日志。進一步地，所述裝置進一步包括日志存儲模塊，用于存儲采集到的原始IT日志， 以及日志預(yù)處理模塊20預(yù)處理后的IT日志。進一步地，所述裝置進一步包括日志檢索域控制模塊，用于結(jié)合用戶、用戶組、組織結(jié)構(gòu)、權(quán)限信息，實現(xiàn)用戶檢索IT日志的分權(quán)分域。進一步地，所述裝置進一步包括日志索引模塊，對原始的IT日志及預(yù)處理后的 IT日志建立索引，再將索引分發(fā)到日志存儲模塊。為解決以上技術(shù)問題，本發(fā)明還提供一種并行搜索IT日志的檢索系統(tǒng)，包括日志檢索裝置、日志采集器，所述日志采集器，用于采集IT日志，形成原始IT日志；所述日志檢索裝置，用于根據(jù)預(yù)處理規(guī)則對日志采集器采集的原始IT日志進行預(yù)處理，以及，根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池，供用戶從檢索條件池選取檢索條件并建立組合關(guān)系，進行檢索。與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種并行搜索IT日志的檢索方法、裝置及系統(tǒng)， 使用戶在海量IT日志情況下，根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池，從檢索條件池選取檢索條件并建立組合關(guān)系，實現(xiàn)IT日志的全文檢索與精確檢索，提高日志信息查詢的性能與高效性，以及為安全管理人員與運維人員的日常管理、問題分析、故障排查提供準確有效的方法與途徑，提高工作效率；通過日志檢索域設(shè)置，實現(xiàn)日志檢索的分權(quán)分域，確保 IT日志的數(shù)據(jù)安全性；此外，還為外部各類安全管理平臺提供通用的IT日志查詢接口，提升各平臺構(gòu)建速度，降低開發(fā)成本。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中圖1是本發(fā)明提供的一種基于分布式并行搜索的海量IT日志檢索系統(tǒng)的結(jié)構(gòu)示意圖；圖2是本發(fā)明提供的一種基于分布式并行搜索的海量IT日志檢索裝置的結(jié)構(gòu)示意圖；圖3是本發(fā)明提供的一種基于分布式并行搜索的海量IT日志檢索方法的流程圖。
具體實施例方式為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖1所示，本發(fā)明提供一種基于分布式并行搜索的海量IT日志檢索系統(tǒng)，該系統(tǒng)包括日志采集器10、日志檢索裝置20，其中，日志采集器10，用于采集IT日志，形成原始IT日志；日志檢索裝置20，用于根據(jù)預(yù)處理規(guī)則對日志采集器10采集的原始IT日志進行預(yù)處理，形成預(yù)處理后的IT日志，以及，根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池，供用戶從檢索條件池選取檢索條件并建立組合關(guān)系，實現(xiàn)精確檢索。如圖2所示，本發(fā)明提供一種基于分布式并行搜索的海量IT日志檢索裝置，該裝置20包括日志預(yù)處理模塊21、日志存儲模塊22、日志索引模塊23、管理平臺模塊對、日志檢索域控制模塊25、日志檢索模塊沈。其中，日志預(yù)處理模塊21，根據(jù)管理平臺模塊M下發(fā)的預(yù)處理規(guī)則對日志采集器10采集的原始IT日志進行預(yù)處理，抽取用戶關(guān)心的日志屬性，并按照規(guī)則重新將抽取的日志屬性歸檔，形成預(yù)處理后的IT日志，如sip = 10. 16. 107. 10，sport = 80，dip = 222. 10. 20. 30，dport = 8080，logdetail =χχχχχχχχχsip = 10. 16. 107. 11，sport = 80，dip = 222. 10. 20. 31, dport = 8080, logdetail =χχχχχχχχχsip = 10. 16. 107. 11，sport = 80，dip = 222. 10. 20. 32，dport = 8080，logdetail =χχχχχχχχχ日志存儲模塊22，用于存儲采集到的原始IT日志，以及日志預(yù)處理模塊21預(yù)處理后的IT日志；日志檢索域控制模塊25，用于結(jié)合用戶、用戶組、組織結(jié)構(gòu)、權(quán)限信息，實現(xiàn)用戶檢索日志存儲模塊22存儲的IT日志的分權(quán)分域，只有具有相關(guān)權(quán)限的用戶才能查到與其相對應(yīng)的IT日志，確保數(shù)據(jù)安全性。日志索引模塊23，使用Mapper/Reducer (映射器/縮減器)對原始的IT日志及預(yù)處理后的IT日志建立索引，再將索引從HDFS (Hadoop Distributed File System，分布式文件系統(tǒng))分發(fā)到日志存儲模塊22的各存儲單元LSI、LS2、. . . LSn0其中，對索引的更新分為兩種刪除和添加。刪除和添加步驟可按不同定時策略來實現(xiàn)。a)刪除在HDFS上刪除索引，將生成的del文件分發(fā)到所有的日志索引模塊或者對HDFS 索引目錄刪除索引再分發(fā)到對應(yīng)的日志索引模塊。b)添加新添加的數(shù)據(jù)用另一臺服務(wù)器來生成。日志檢索模塊沈，用戶可以使用管理平臺模塊M中的自定義日志檢索條件檢索日志存儲模塊22中的IT日志?？蛻舳穗S機選擇一組日志檢索模塊組，將檢索條件同時發(fā)
5給該組日志檢索模塊組里的N臺檢索器LQ，日志檢索模塊將檢索結(jié)果返回。管理平臺模塊對，用于設(shè)置并管理預(yù)處理規(guī)則，并將預(yù)處理規(guī)則下發(fā)至日志預(yù)處理模塊，以及，將預(yù)處理規(guī)則轉(zhuǎn)換為IT日志檢索條件，形成檢索條件池，從而實現(xiàn)用戶管理、用戶分組管理、組織機構(gòu)管理、權(quán)限管理、日志預(yù)處理規(guī)則管理、檢索條件池管理、檢索條件管理、檢索界面功能。暗送秋波包括用戶管理對管理平臺用戶進行增刪改查，當與安全管理平臺集成時，可以通過接口將用戶雙向或單向同步。用戶分組管理對管理平臺用戶進行分組管理，當與安全管理平臺集成時，可以通過接口將用戶分組雙向或單向同步。組織機構(gòu)管理對管理平臺組織機構(gòu)進行管理，當與安全管理平臺集成時，可以通過接口將組織機構(gòu)雙向或單向同步。權(quán)限管理對管理平臺使用權(quán)限及日志檢索域進行管理，當與安全管理平臺集成時，可以通過接口將權(quán)限雙向或單向同步。日志預(yù)處理規(guī)則管理對日志預(yù)處理模塊使用到的日志預(yù)處理規(guī)則進行設(shè)置和管理，并將預(yù)處理規(guī)則下發(fā)至日志預(yù)處理模塊，在下發(fā)預(yù)處理規(guī)則的同時，將預(yù)處理規(guī)則轉(zhuǎn)換為IT日志檢索條件，形成檢索條件池。檢索條件池管理對檢索條件池中的檢索條件進行管理。檢索條件管理用戶可以對自己的檢索條件進行管理。管理平臺用戶根據(jù)自身需求從檢索條件池中選取IT日志檢索條件。檢索界面根據(jù)用戶自定義檢索條件，生成IT日志檢索界面。上述安全管理平臺是指的是SOC(安全總控中心)、SAAS (安全審計分析系統(tǒng))之類的安全管理軟件。本發(fā)明的日志檢索系統(tǒng)為安全管理平臺提供標準的SQL查詢接口，從而快速實現(xiàn)各安全管理平臺的海量IT日志檢索功能，可以使得新建平臺快速接入，降低已有平臺改造工作量、改造風(fēng)險，節(jié)省改造成本。如圖3所示，本發(fā)明提供一種基于分布式并行搜索的海量IT日志檢索方法，包括步驟1 通過日志采集器對IT日志進行采集；步驟2 管理員登錄管理平臺模塊，設(shè)置預(yù)處理規(guī)則并下發(fā)，下發(fā)同時，管理平臺自動生成檢索條件池；以及，設(shè)置平臺用戶使用權(quán)限及日志檢索域；步驟3 日志預(yù)處理模塊根據(jù)管理平臺下發(fā)的預(yù)處理規(guī)則對采集的IT日志進行預(yù)處理后存儲在日志存儲模塊中，同時，日志存儲模塊還存儲原始日志文件；步驟4 日志索引模塊定期對原始日志文件與預(yù)處理后的日志文件進行索引；步驟5 用戶登錄管理平臺模塊，從檢索條件池選取檢索條件，建立條件組合關(guān)系；步驟6 用戶進入管理平臺模塊的檢索界面，選擇全文檢索或精確檢索，當選擇精確檢索時，界面顯示用戶自定義檢索條件，用戶輸入檢索值，系統(tǒng)根據(jù)建立的索引及用戶IT 日志檢索域模塊進行檢索操作，將檢索結(jié)果返回到檢索界面。本發(fā)明提供的一種分布式并行搜索的海量IT日志的快速檢索方法、裝置及系統(tǒng)， 其特點是在海量日志環(huán)境中，用戶根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池，從檢索條件池選取檢索條件并建立組合關(guān)系，實現(xiàn)IT日志的全文檢索與精確檢索，提高日志信息查詢的性能與高效性，以及為安全管理人員與運維人員的日常管理、問題分析、故障排查提供準確有效的方法與途徑，提高工作效率；通過日志檢索域設(shè)置，實現(xiàn)日志檢索的分權(quán)分域，確保IT日志的數(shù)據(jù)安全性；此外，還為外部各類安全管理平臺提供通用的IT日志查詢接口，提升各平臺構(gòu)建速度，降低開發(fā)成本。 上述說明示出并描述了本發(fā)明的一個優(yōu)選實施例，但如前所述，應(yīng)當理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對其他實施例的排除，而可用于各種其他組合、 修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識進行改動。而本領(lǐng)域人員所進行的改動和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護范圍內(nèi)。
權(quán)利要求
1.一種并行搜索IT日志的檢索方法，其特征在于，包括，管理員登錄管理平臺模塊，設(shè)置預(yù)處理規(guī)則和日志檢索域；管理平臺根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池；用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，并根據(jù)檢索條件檢索IT日志。
2.如權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括日志預(yù)處理模塊根據(jù)管理平臺下發(fā)的預(yù)處理規(guī)則對采集到的IT日志進行預(yù)處理后存儲。
3.如權(quán)利要求2所述的方法，其特征在于，所述方法進一步包括日志索引模塊定期對預(yù)處理后的IT日志文件進行索引。
4.如權(quán)利要求3所述的方法，其特征在于，所述用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，并根據(jù)檢索條件檢索IT日志，具體包括用戶根據(jù)檢索條件輸入檢索值， 系統(tǒng)根據(jù)建立的索引及用戶IT日志檢索域進行檢索操作，將檢索結(jié)果返回。
5.一種并行搜索IT日志的檢索裝置，其特征在于，包括管理平臺模塊、日志預(yù)處理模塊、日志檢索模塊，所述管理平臺模塊，用于設(shè)置并管理預(yù)處理規(guī)則，并將預(yù)處理規(guī)則下發(fā)至日志預(yù)處理模塊，以及，將預(yù)處理規(guī)則轉(zhuǎn)換為IT日志檢索條件，形成檢索條件池；所述日志預(yù)處理模塊，用于根據(jù)管理平臺模塊下發(fā)的預(yù)處理規(guī)則對采集的原始IT日志進行預(yù)處理，形成預(yù)處理后的IT日志；所述日志檢索模塊，用于用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，根據(jù)檢索條件檢索IT日志。
6.如權(quán)利要求5所述的裝置，其特征在于，所述裝置進一步包括日志存儲模塊，用于存儲采集到的原始IT日志，以及日志預(yù)處理模塊20預(yù)處理后的IT日志。
7.如權(quán)利要求5所述的裝置，其特征在于，所述裝置進一步包括日志檢索域控制模塊，用于結(jié)合用戶、用戶組、組織結(jié)構(gòu)、權(quán)限信息，實現(xiàn)用戶檢索IT日志的分權(quán)分域。
8.如權(quán)利要求5所述的裝置，其特征在于，所述裝置進一步包括日志索引模塊，對原始的IT日志及預(yù)處理后的IT日志建立索引，再將索引分發(fā)到日志存儲模塊。
9.一種并行搜索IT日志的檢索系統(tǒng)，其特征在于，包括如權(quán)利要求5所述的日志檢索裝置、日志采集器，所述日志采集器，用于采集IT日志，形成原始IT日志；所述日志檢索裝置，用于根據(jù)預(yù)處理規(guī)則對日志采集器采集的原始IT日志進行預(yù)處理，以及，根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池，供用戶從檢索條件池選取檢索條件并建立組合關(guān)系，進行檢索。
全文摘要
本發(fā)明提供一種并行搜索IT日志的檢索方法，包括管理員登錄管理平臺模塊，設(shè)置預(yù)處理規(guī)則和日志檢索域；管理平臺根據(jù)預(yù)處理規(guī)則自動生成IT日志檢索條件池；用戶從檢索條件池選取檢索條件并建立條件組合關(guān)系，并根據(jù)檢索條件檢索IT日志。本發(fā)明還提供一種并行搜索IT日志的檢索裝置及系統(tǒng)。通過本發(fā)明提供一種并行搜索IT日志的檢索方法、裝置及系統(tǒng)，可以確保用戶在海量IT日志環(huán)境中，實現(xiàn)IT日志的全文檢索與精確檢索，提高日志信息查詢的性能與高效性，以及用戶的工作效率。
文檔編號G06F17/30GK102279891SQ201110259178
公開日2011年12月14日 申請日期2011年9月2日 優(yōu)先權(quán)日2011年9月2日
發(fā)明者張捃 申請人:深圳中興網(wǎng)信科技有限公司