數(shù)據(jù)實時分析方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)實時分析方法和一種數(shù)據(jù)實時分析系統(tǒng)。
【背景技術(shù)】
[0002]目前在歷史數(shù)據(jù)審計領(lǐng)域，分析工具主要采用的是SQL (Structured QueryLanguage，結(jié)構(gòu)化查詢語言)數(shù)據(jù)庫，或者 NOSQL (Not Only Structured Query Language，不僅僅是結(jié)構(gòu)化查詢語言)數(shù)據(jù)庫兩種技術(shù)。
[0003]SQL數(shù)據(jù)庫在數(shù)據(jù)量較大(比如，TB級別，萬億字節(jié)級別)時，讀寫和計算存在性能瓶頸；N0SQL雖然可以處理較大數(shù)據(jù)量，但分析粒度較大，在處理時間窗口較小時(比如，毫秒級)，易造成結(jié)果不精確的現(xiàn)象。
[0004]在實時分析領(lǐng)域，實時分析技術(shù)比較有代表性的是Storm(內(nèi)存級計算，數(shù)據(jù)直接通過網(wǎng)絡(luò)導(dǎo)入內(nèi)存)，一個針對在線業(yè)務(wù)而存在的計算平臺，但是在處理歷史數(shù)據(jù)方面不擅長。
[0005]因此，需要一種新的技術(shù)方案，可以實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。

【發(fā)明內(nèi)容】

[0006]本發(fā)明正是基于上述問題，提出了一種新的技術(shù)方案，可以實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。
[0007]有鑒于此，本發(fā)明提出了一種數(shù)據(jù)實時分析方法，包括:通過搜索引擎獲取搜索結(jié)果，并將所述搜索結(jié)果按第一預(yù)設(shè)規(guī)則排序后發(fā)送至實時分析引擎；通過所述實時分析引擎判斷所述搜索結(jié)果中是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果。
[0008]在該技術(shù)方案中，通過搜索引擎獲取搜索結(jié)果，并將搜索結(jié)果按第一規(guī)則排序后發(fā)送至實時分析引擎進行實時分析，在實時分析的過程中模擬重現(xiàn)搜索結(jié)果，即判斷是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果，以根據(jù)判斷結(jié)果確定是否對目標搜索結(jié)果進行存儲和/或展示，如此，通過搜索引擎和實時分析引擎配合，可以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)，進而有效地實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。
[0009]同時，通過與搜索引擎配合，可以對第二預(yù)設(shè)規(guī)則進行動態(tài)配置，具體地，根據(jù)應(yīng)用行業(yè)的不同進行具體配置，而且第二預(yù)設(shè)規(guī)則是預(yù)先注冊在該實時分析引擎中的。
[0010]在上述技術(shù)方案中，優(yōu)選地，將所述搜索結(jié)果按所述第一預(yù)設(shè)規(guī)則排序后發(fā)送至所述實時分析引擎，具體包括:將所述搜索結(jié)果按時間字段排序后發(fā)送至所述實時分析引擎。
[0011 ] 在上述技術(shù)方案中，優(yōu)選地，還包括:將所述時間字段設(shè)置為所述實時分析引擎的外部時鐘，以使所述實時分析引擎根據(jù)所述外部時鐘進行判斷。
[0012]在該技術(shù)方案中，通過按時間字段(第一預(yù)設(shè)規(guī)則)將搜索結(jié)果排序后發(fā)送至實時分析引擎，并將該搜索結(jié)果的時間字段設(shè)置為實時分析引擎的外部時鐘，一方面可以按照時間字段準確地模擬和重現(xiàn)歷史數(shù)據(jù)，另一方面可以有效地避免實時分析引擎的時鐘被干擾，進而提高實時分析的效率以及結(jié)果的精準性，例如，可以將時間粒度從只能?；椒昼娞嵘秊榱；?00ms。
[0013]在上述技術(shù)方案中，優(yōu)選地，還包括:根據(jù)所述第二預(yù)設(shè)規(guī)則配置EQL語句，以及根據(jù)所述EQL語句分析所述搜索結(jié)果，以判斷是否存在所述目標搜索結(jié)果。
[0014]在該技術(shù)方案中，通過根據(jù)預(yù)設(shè)規(guī)則配置可固定的EQL查詢語句，對搜索結(jié)果進行遍歷重現(xiàn)，從而判斷是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果，如此，可以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)，進而有效地實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析。
[0015]在上述技術(shù)方案中，優(yōu)選地，當判定存在所述目標搜索結(jié)果時，對所述目標搜索結(jié)果進行存儲和/或展示，否則，對所述搜索結(jié)果進行下一步的分析。
[0016]在該技術(shù)方案中，當判定存在目標搜索結(jié)果時，對該目標搜索結(jié)果進行存儲和/或展示，以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)；當判定不存在與預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果時，可以對來自搜索引擎的搜索結(jié)果進行下一步地分析，可以有效地避免獲取搜索結(jié)果，進而提高實時分析的效率，并有效地節(jié)省實時分析時間。
[0017]在上述技術(shù)方案中，優(yōu)選地，在通過所述搜索引擎獲取所述搜索結(jié)果前，將數(shù)據(jù)進行處理后注入所述搜索引擎中。
[0018]在該技術(shù)方案中，在通過搜索引擎獲取搜索結(jié)果前，可對數(shù)據(jù)進行格式化或半格式化處理，以提高搜索的效率。
[0019]根據(jù)本發(fā)明的另一方面，還提出了一種數(shù)據(jù)實時分析系統(tǒng)，包括:搜索引擎，用于獲取搜索結(jié)果，并將所述搜索結(jié)果按第一預(yù)設(shè)規(guī)則排序后發(fā)送至實時分析引擎；所述實時分析引擎，用于判斷所述搜索結(jié)果中是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果。
[0020]在該技術(shù)方案中，通過搜索引擎獲取搜索結(jié)果，并將搜索結(jié)果按第一規(guī)則排序后發(fā)送至實時分析引擎進行實時分析，在實時分析的過程中模擬重現(xiàn)搜索結(jié)果，即判斷是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果，以根據(jù)判斷結(jié)果確定是否對目標搜索結(jié)果進行存儲和/或展示，如此，通過搜索引擎和實時分析引擎配合，可以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)，進而有效地實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。
[0021]同時，通過與搜索引擎配合，可以對第二預(yù)設(shè)規(guī)則進行動態(tài)配置，具體地，根據(jù)應(yīng)用行業(yè)的不同進行具體配置，而且第二預(yù)設(shè)規(guī)則是預(yù)先注冊在該實時分析引擎中的。
[0022]在上述技術(shù)方案中，優(yōu)選地，所述實時分析引擎具體用于:將所述搜索結(jié)果按時間字段排序后發(fā)送至所述實時分析引擎。
[0023]在上述技術(shù)方案中，優(yōu)選地，還包括:設(shè)置單元，用于將所述時間字段設(shè)置為所述實時分析引擎的外部時鐘，以使所述實時分析引擎根據(jù)所述外部時鐘進行判斷。
[0024]在該技術(shù)方案中，通過按時間字段(第一預(yù)設(shè)規(guī)則)將搜索結(jié)果排序后發(fā)送至實時分析引擎，并將該搜索結(jié)果的時間字段設(shè)置為實時分析引擎的外部時鐘，一方面可以按照時間字段準確地模擬和重現(xiàn)歷史數(shù)據(jù)，另一方面可以有效地避免實時分析引擎的時鐘被干擾，進而提高實時分析的效率以及結(jié)果的精準性，例如，可以將時間粒度從只能?；椒昼娞嵘秊榱；?00ms。
[0025]在上述技術(shù)方案中，優(yōu)選地，所述實時分析引擎還用于:根據(jù)所述第二預(yù)設(shè)規(guī)則配置EQL語句，以及根據(jù)所述EQL語句分析所述搜索結(jié)果，以判斷是否存在所述目標搜索結(jié)果O
[0026]在該技術(shù)方案中，通過根據(jù)預(yù)設(shè)規(guī)則配置可固定的EQL查詢語句，對搜索結(jié)果進行遍歷重現(xiàn)，從而判斷是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果，如此，可以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)，進而有效地實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析。
[0027]在上述技術(shù)方案中，優(yōu)選地，所述實時分析引擎還用于:當判定存在所述目標搜索結(jié)果時，對所述目標搜索結(jié)果進行存儲和/或展示，否則，對所述搜索結(jié)果進行下一步的分析。
[0028]在該技術(shù)方案中，當判定存在目標搜索結(jié)果時，對該目標搜索結(jié)果進行存儲和/或展示，以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)；當判定不存在與預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果時，可以對來自搜索引擎的搜索結(jié)果進行下一步地分析，可以有效地避免獲取搜索結(jié)果，進而提高實時分析的效率，并有效地節(jié)省實時分析時間。
[0029]在上述技術(shù)方案中，優(yōu)選地，還包括:處理單元，用于在通過所述搜索引擎獲取所述搜索結(jié)果前，將數(shù)據(jù)進行處理后注入所述搜索引擎中。
[0030]在該技術(shù)方案中，在通過搜索引擎獲取搜索結(jié)果前，可對數(shù)據(jù)進行格式化或半格式化處理，以提高搜索的效率。
[0031]通過以上技術(shù)方案，可以實現(xiàn)對歷史數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。
【附圖說明】
[0032]圖1示出了根據(jù)本發(fā)明的一個實施例的數(shù)據(jù)實時分析方法的流程示意圖；
[0033]圖2示出了根據(jù)本發(fā)明的一個實施例的數(shù)據(jù)實時分析系統(tǒng)的框圖；
[0034]圖3示出了根據(jù)本發(fā)明的另一個實施例的數(shù)據(jù)實時分析方法的流程示意圖；
[0035]圖4示出了根據(jù)本發(fā)明的一個實施例的實時分析引擎對數(shù)據(jù)進行實時分析的流程不意圖。
【具體實施方式】
[0036]為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點，下面結(jié)合附圖和【具體實施方式】對本發(fā)明進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。
[0037]在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實施，因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。
[0038]圖1示出了根據(jù)本發(fā)明的一個實施例的數(shù)據(jù)實時分析方法的流程示意圖。
[0039]如圖1所示，根據(jù)本發(fā)明的一個實施例的數(shù)據(jù)實時分析方法，包括:步驟102，通過搜索引擎獲取搜索結(jié)果，并將所述搜索結(jié)果按第一預(yù)設(shè)規(guī)則排序后發(fā)送至實時分析引擎；步驟104，通過所述實時分析引擎判斷所述搜索結(jié)果中是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果。
[0040]在該技術(shù)方案中，通過搜索引擎獲取搜索結(jié)果，并將搜索結(jié)果按第一規(guī)則排序后發(fā)送至實時分析引擎進行實時分析，在實時分析的過程中模擬重現(xiàn)搜索結(jié)果，即判斷是否存在與第二預(yù)設(shè)規(guī)則匹配的目標搜索結(jié)果，以根據(jù)判斷結(jié)果確定是否對目標搜索結(jié)果進行存儲和/或展示，如此，通過搜索引擎和實時分析引擎配合，可以完成對歷史大數(shù)據(jù)的快速提取和模擬實時重現(xiàn)，進而有效地實現(xiàn)對歷史大數(shù)據(jù)的實時且精準地分析，并及時地反映數(shù)據(jù)的價值和意義。
[0041]同時，通過與搜索引擎配合，可以對第二預(yù)設(shè)規(guī)則進行動態(tài)配置，具體地，根據(jù)應(yīng)用行業(yè)的不同進行具體配置，而且第二預(yù)設(shè)規(guī)則是預(yù)先注冊在該實時分析引擎中的。