數(shù)據(jù)分析系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理，更具體地，涉及一種數(shù)據(jù)分析系統(tǒng)和方法。
【背景技術(shù)】
[0002]隨著信息技術(shù)的發(fā)展，企業(yè)信息系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)。如何從這些海量數(shù)據(jù)中提取對企業(yè)決策分析有用的信息成為企業(yè)決策管理人員所面臨的重要難題。如何在企業(yè)數(shù)據(jù)倉庫的基礎(chǔ)上解決可視化靈活分析查詢的問題隨之而來。
[0003]傳統(tǒng)上，所有的數(shù)據(jù)分析需求都須提交給數(shù)據(jù)部門，數(shù)據(jù)部門通過執(zhí)行hadoop的map/reduce程序，快則I小時，慢則幾天，才能將結(jié)果提供給業(yè)務(wù)部門。業(yè)務(wù)部門在獲取數(shù)據(jù)后需要借助于辦公軟件或其他第三方軟件進行數(shù)據(jù)分析，最終形成分析結(jié)果。隨著需求的不斷變化，往往業(yè)務(wù)部門需要多次這樣反復(fù)這樣的工作，時效性很差，很難滿足業(yè)務(wù)需要。
[0004]這種傳統(tǒng)的數(shù)據(jù)分析方案時間周期長且不可控，缺乏有效的系統(tǒng)化管理。針對需求變化，這種方案需有較長的響應(yīng)時間。此外，缺乏可視化的數(shù)據(jù)分析系統(tǒng)，用戶體驗不佳。
[0005]因此，需要一種改進的數(shù)據(jù)分析方案。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種數(shù)據(jù)分析系統(tǒng)和方法，能夠在企業(yè)級數(shù)據(jù)架構(gòu)(例如hadoop)的基礎(chǔ)上，提供用戶高效的(例如，秒級)的靈活可拖拽、可鉆取的企業(yè)級數(shù)據(jù)分析方案。
[0007]根據(jù)本發(fā)明的第一方面，提供了一種數(shù)據(jù)分析系統(tǒng)，包括:調(diào)度器，用于分發(fā)以數(shù)據(jù)庫查詢語言描述的任務(wù)信息；數(shù)據(jù)分析引擎，用于將任務(wù)信息轉(zhuǎn)換為分布式語法，以對數(shù)據(jù)建立索引；數(shù)據(jù)倉庫，用于存儲具有所建立的索引的數(shù)據(jù)；分析數(shù)據(jù)庫，與數(shù)據(jù)倉庫同步具有所建立的索引的數(shù)據(jù)；查詢模塊，用于接收與針對所述數(shù)據(jù)的至少一部分的查詢相關(guān)聯(lián)的元數(shù)據(jù)；以及配置模塊，用于將元數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)分析引擎能夠識別的第一語法。所述數(shù)據(jù)分析引擎被配置為將以第一語法描述的元數(shù)據(jù)轉(zhuǎn)換為分析數(shù)據(jù)庫能夠識別的第二語法，所述分析數(shù)據(jù)庫被配置為基于以第二語法描述的元數(shù)據(jù)來執(zhí)行所述查詢。
[0008]在一實施例中，所述數(shù)據(jù)庫查詢語言是HQL查詢語言。
[0009]在一實施例中，所述分布式語法基于Map/Reduce模型，所述索引是Iucence索引。
[0010]在一實施例中，所述第一語法基于HQL查詢語言，所述第二語法基于solr應(yīng)用服務(wù)器。
[0011 ] 在一實施例中，所述查詢模塊包括用戶接口，用于從用戶接收元數(shù)據(jù)。
[0012]在一實施例中，所述數(shù)據(jù)分析引擎還被配置為從分析數(shù)據(jù)庫接收查詢結(jié)果，并將查詢結(jié)果發(fā)送給配置模塊，所述配置模塊還被配置為將查詢結(jié)果發(fā)送給查詢模塊，以及所述查詢模塊還被配置為向用戶呈現(xiàn)查詢結(jié)果。
[0013]根據(jù)本發(fā)明的第二方面，提供了一種數(shù)據(jù)分析方法，包括:向數(shù)據(jù)分析引擎分發(fā)以數(shù)據(jù)庫查詢語言描述的任務(wù)信息；數(shù)據(jù)分析引擎將任務(wù)信息轉(zhuǎn)換為分布式語法，以對數(shù)據(jù)建立索引；將具有所建立的索引的數(shù)據(jù)存儲在數(shù)據(jù)倉庫中；將數(shù)據(jù)倉庫中存儲的具有所建立的索引的數(shù)據(jù)同步至分析數(shù)據(jù)庫；接收與針對所述數(shù)據(jù)的至少一部分的查詢相關(guān)聯(lián)的元數(shù)據(jù)；將元數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)分析引擎能夠識別的第一語法；數(shù)據(jù)分析引擎將以第一語法描述的元數(shù)據(jù)轉(zhuǎn)換為分析數(shù)據(jù)庫能夠識別的第二語法；以及分析數(shù)據(jù)庫基于以第二語法描述的元數(shù)據(jù)來執(zhí)行所述查詢。
[0014]上述第一方面的實施例也適用于第二方面。
[0015]根據(jù)本發(fā)明的實施例，能夠能夠在企業(yè)級數(shù)據(jù)架構(gòu)的基礎(chǔ)上，提供用戶高效的的靈活可拖拽、可鉆取的企業(yè)級數(shù)據(jù)分析方案。
【附圖說明】
[0016]通過下面結(jié)合【附圖說明】本發(fā)明的優(yōu)選實施例，將使本發(fā)明的上述及其它目的、特征和優(yōu)點更加清楚，其中:
[0017]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)分析系統(tǒng)的框圖；
[0018]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)分析方法的流程圖。
【具體實施方式】
[0019]以下將結(jié)合附圖和具體實施例，對本發(fā)明的實施例進行詳細闡述。應(yīng)當注意，本發(fā)明不應(yīng)局限于下文所述的具體實施例。另外，為了簡便起見，省略了對與本發(fā)明沒有直接關(guān)聯(lián)的公知技術(shù)的詳細描述，以防止對本發(fā)明的理解造成混淆。
[0020]圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)分析系統(tǒng)100的框圖。如圖所示，數(shù)據(jù)分析系統(tǒng)100包括調(diào)度器110，數(shù)據(jù)分析引擎120，數(shù)據(jù)倉庫130，分析數(shù)據(jù)庫140，查詢模塊150和配置模塊160。
[0021]調(diào)度器110用于分發(fā)以數(shù)據(jù)庫查詢語言(例如HQL查詢語言)描述的任務(wù)信息。在一個示例中，調(diào)度器110基于Hadoop，可以實時監(jiān)控任務(wù)并進行任務(wù)的調(diào)度。如果任務(wù)周期及時間滿足預(yù)定調(diào)度條件，調(diào)度器110將以HQL查詢語言描述的任務(wù)信息發(fā)給數(shù)據(jù)分析引擎120。任務(wù)信息可以指示對特定數(shù)據(jù)進行抽取，抽取的范圍可以通過HQL進行描述，降低用戶使用門檻。
[0022]數(shù)據(jù)分析引擎120用于將任務(wù)信息轉(zhuǎn)換為分布式語法，以對數(shù)據(jù)建立索引。具體地，這里分布式語法可以基于Map/Reduce模型，索引可以是Iucence索引。在一個示例中，數(shù)據(jù)分析引擎120管理基于Hadoop的數(shù)據(jù)存儲優(yōu)化、抽取及外部服務(wù)，并作為數(shù)據(jù)倉庫130和分析數(shù)據(jù)庫140對外的接口。
[0023]數(shù)據(jù)倉庫130用于存儲具有所建立的索引的數(shù)據(jù)。在一個示例中，數(shù)據(jù)倉庫130可以是企業(yè)數(shù)據(jù)倉庫，包括企業(yè)原始數(shù)據(jù)存儲，并且存儲具有所建立的索引的數(shù)據(jù)。
[0024]分析數(shù)據(jù)庫140與數(shù)據(jù)倉庫130同步具有所建立的索引的數(shù)據(jù)。在一個示例中，分析數(shù)據(jù)庫140負責數(shù)據(jù)的調(diào)度與服務(wù)。
[0025]查詢模塊150用于接收與針對具有所建立的索引的數(shù)據(jù)的至少一部分的查詢相關(guān)聯(lián)的元數(shù)據(jù)。查詢模塊150包括用戶接口，用于從用戶接收元數(shù)據(jù)。這里，元數(shù)據(jù)可以包括與查詢相關(guān)的信息，如查詢的條目，并且可以是以與用戶接口向適應(yīng)的格式或語言來描述的。在一個示例中，查詢模塊150基于海量數(shù)據(jù)的聯(lián)機分析處理(OLAP)系統(tǒng)，提供所見即所得的數(shù)據(jù)分析界面，支持用戶靈活拖拽、鉆取等功能，并支持最終用戶進行動態(tài)多維分析，其中包括跨維、在不同層次之間跨成員的計算。既滿足了常用的OLAP需求，又基于數(shù)據(jù)分析引擎120解決了海量數(shù)據(jù)的性能問題，對應(yīng)億級別數(shù)據(jù)達到秒級響應(yīng)速度。
[0026]配置模塊160用于將元數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)分析引擎120能夠識別的第一語法。這里，第一語法可以基于HQL查詢語言。
[0027]然后，數(shù)據(jù)分析引擎120將以第一語法描述的元數(shù)據(jù)轉(zhuǎn)換為分析數(shù)據(jù)庫140能夠識別的第二語法。這里，第二語法可以基于solr應(yīng)用服務(wù)器。然后，分析數(shù)據(jù)庫140基于以第二語法描述的元數(shù)據(jù)來執(zhí)行查詢。
[