專利名稱：數(shù)據(jù)處理方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法及系統(tǒng)。
背景技術(shù)：
ETL即數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換CTransform)、裝載(Load)的過程。它是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。通常，用戶的數(shù)據(jù)源分布在各個子系統(tǒng)和節(jié)點中，利用ETL將各個子系統(tǒng)上的數(shù)據(jù)，通過自動化或手動控制傳到服務(wù)器上，進行抽取、清洗和轉(zhuǎn)化處理，然后加載到數(shù)據(jù)倉庫。因為現(xiàn)有業(yè)務(wù)數(shù)據(jù)源多，保證數(shù)據(jù)的一致性，真正理解數(shù)據(jù)的業(yè)務(wù)含義，跨越多平臺、多數(shù)據(jù)源、多系統(tǒng)整合數(shù)據(jù)，最大可能提高數(shù)據(jù)的質(zhì)量，迎合業(yè)務(wù)需求不斷變化的特性，是ETL 技術(shù)處理的關(guān)鍵?，F(xiàn)有的ETL工具通常有以下兩種處理方式(1)使用WINDOWS圖形化界面在可視化界面下點擊界面的配置將各個流程以及操作環(huán)節(jié)記錄下來，例如將數(shù)據(jù)源、轉(zhuǎn)換規(guī)則、入庫等記錄到一個文件中，后臺啟動解析器和調(diào)度器解析該文件并調(diào)度起來，整個過程只需要ETL開發(fā)人員熟悉開發(fā)流程和數(shù)據(jù)庫知識即可，不需要ETL開發(fā)人員具備編程技術(shù)，但在非圖形化的系統(tǒng)中應(yīng)用會受到局限。(2)腳本語言處理將各個ETL任務(wù)的各個環(huán)節(jié)例如數(shù)據(jù)源、轉(zhuǎn)換規(guī)則、入庫等用不同腳本描述出來， 并將這些腳本集合在腳本文件方案中，后臺調(diào)度后用腳本解析器去解析。這種方式需要ETL 開發(fā)人員具備腳本編寫能力，而且處理效率低。

發(fā)明內(nèi)容
本發(fā)明提供一種數(shù)據(jù)處理方法及系統(tǒng)，可以在非可視化系統(tǒng)和可視化系統(tǒng)中實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，提高處理效率。為此，本發(fā)明實施例提供如下技術(shù)方案一種數(shù)據(jù)處理方法，包括將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的 ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。優(yōu)選地，所述ETL規(guī)則和所述動態(tài)庫文件的信息是用戶設(shè)置并發(fā)布的?？蛇x地，所述ETL規(guī)則包括以下任意一項或多項取數(shù)規(guī)則，數(shù)據(jù)拆分規(guī)則，數(shù)據(jù)轉(zhuǎn)換規(guī)則，數(shù)據(jù)合并規(guī)則，數(shù)據(jù)排序規(guī)則，數(shù)據(jù)匯總規(guī)則，數(shù)據(jù)網(wǎng)絡(luò)采集規(guī)則，數(shù)據(jù)入庫規(guī)則，數(shù)據(jù)配置規(guī)則。可選地，所述動態(tài)庫文件的信息包括以下任意一項或多項每個任務(wù)的啟動時間，啟動周期，重做標識，任務(wù)類型標識，任務(wù)描述，任務(wù)標識，是否可用，是否具有子任務(wù)。優(yōu)選地，所述對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL 處理包括對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從數(shù)據(jù)源中提取源數(shù)據(jù)；將獲取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)；將所述目標數(shù)據(jù)存儲到目標庫中。優(yōu)選地，通過后臺多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)。一種數(shù)據(jù)處理系統(tǒng)，包括規(guī)則封裝單元，用于將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；調(diào)度單元，用于掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL 規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。優(yōu)選地，所述系統(tǒng)還包括規(guī)則設(shè)置單元，用于獲取用戶設(shè)置并發(fā)布的所述ETL規(guī)則和所述動態(tài)庫文件的信肩、ο優(yōu)選地，所述調(diào)度單元包括提取子單元，用于對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從生產(chǎn)庫中提取源數(shù)據(jù)；轉(zhuǎn)換子單元，用于將所述提取子單元提取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)；存儲單元，用于將所述轉(zhuǎn)換子單元轉(zhuǎn)換后的目標數(shù)據(jù)存儲到目標庫中。優(yōu)選地，所述調(diào)度單元，具體用于通過多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)。本發(fā)明提供的數(shù)據(jù)處理方法及系統(tǒng)，將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。無需用戶具備編程技術(shù)，即可實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，不僅處理效率高，而且不受系統(tǒng)環(huán)境影響，可適用于非可視化系統(tǒng)和可視化系統(tǒng)中。


為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實施例數(shù)據(jù)處理方法的流程圖；圖2是本發(fā)明實施例數(shù)據(jù)處理系統(tǒng)的一種結(jié)構(gòu)示意圖。
具體實施例方式為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實施例的方案，下面結(jié)合附圖和實施方式對本發(fā)明實施例作進一步的詳細說明。本發(fā)明提供的數(shù)據(jù)處理方法及系統(tǒng)，將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。從而無需用戶具備編程技術(shù)，即可實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，不僅處理效率高，而且不受系統(tǒng)環(huán)境影響，可適用于非可視化系統(tǒng)和可視化系統(tǒng)中。如圖1所示，是本發(fā)明實施例數(shù)據(jù)處理方法的流程圖，包括以下步驟步驟101，將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中。在實際應(yīng)用中，上述ETL規(guī)則和動態(tài)庫文件的信息可以是用戶自定義并發(fā)布到服務(wù)器的。所述ETL規(guī)則可以包含ETL開發(fā)使用的各種規(guī)則，如取數(shù)規(guī)則，數(shù)據(jù)拆分規(guī)則，數(shù)據(jù)轉(zhuǎn)換規(guī)則，數(shù)據(jù)合并規(guī)則，數(shù)據(jù)排序規(guī)則，數(shù)據(jù)匯總規(guī)則，數(shù)據(jù)網(wǎng)絡(luò)采集規(guī)則，數(shù)據(jù)入庫規(guī)則，數(shù)據(jù)配置規(guī)則等。 在上述步驟101中，可以由服務(wù)器將這些ETL規(guī)則封裝為動態(tài)庫文件的形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中。所述動態(tài)庫文件的信息可以包括以下任意一項或多項啟動時間，啟動周期，重做標識，任務(wù)類型標識，任務(wù)描述，任務(wù)標識，是否可用，是否具有子任務(wù)。這些信息可以是用戶自已定義的，在發(fā)布ETL規(guī)則時同時發(fā)布到所述服務(wù)器上。上述啟動時間是描述該任務(wù)什么時間點被觸發(fā)調(diào)度，上述任務(wù)的描述是為了增強可讀性，說明該任務(wù)是用于做什么的，上述啟動周期用于指示多久啟動一次任務(wù)，上述任務(wù)的標識是該任務(wù)的唯一標識。為了方便ETL開發(fā)人員的開發(fā)和任務(wù)的統(tǒng)一管理，還可以提供統(tǒng)一的ETL處理 API (Application Programming Interface,應(yīng)用程序編程接口 )，當然，ETL 處理 API 還可以是跨平臺的，以使ETL開發(fā)人員在不同的系統(tǒng)平臺上都可以進行ETL開發(fā)，例如使用 SRC_TABLE、DES_TABLE等工具宏API，其中，SRC_TABLE是用于操作源數(shù)據(jù)的API宏，而DES_ TABLE是用于操作目標數(shù)據(jù)的宏API。步驟102，掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。上述掃描過程和ETL規(guī)則封裝登記過程可以由不同的平臺來完成，比如，由調(diào)度器掃描(比如周期性地或者定時掃描)所述任務(wù)表，按照所述動態(tài)庫文件的信息調(diào)度所述任務(wù)表中的任務(wù)，具體地，調(diào)度器可以通過后臺多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)。上述調(diào)度器對所述任務(wù)表中的每個任務(wù)的處理過程大致如下調(diào)度器對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從數(shù)據(jù)源(比如生產(chǎn)庫)中提取源數(shù)據(jù)，將獲取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)，將所述目標數(shù)據(jù)存儲到目標庫中。在上述過程中，還可進一步包括對轉(zhuǎn)換后的目標數(shù)據(jù)進行排序和匯總，然后再將匯總后的數(shù)據(jù)存儲到目標庫中。為了方便開發(fā)人員的使用，還可以提供一系列的API (應(yīng)用程序接口)，這些API 可以由開發(fā)人員來定義，調(diào)度器調(diào)用這些接口來實現(xiàn)上述處理過程。比如，可以提供以下 API 1.取數(shù)API，用于提取源數(shù)據(jù)，包括網(wǎng)絡(luò)取數(shù)API、數(shù)據(jù)庫取數(shù)API、Excel取數(shù) API、Acess 取數(shù) API 等等。
2.合并API，用于對數(shù)據(jù)進行合并。3.數(shù)據(jù)拆分API，用于對數(shù)據(jù)進行拆分。4.轉(zhuǎn)換API，用于對數(shù)據(jù)進行轉(zhuǎn)換，比如，可以進行縱表轉(zhuǎn)橫表等?？梢允褂肧RC_ TABLE、DES_TABLE 等宏處理 API。5.匯總API，用于對數(shù)據(jù)進行匯總，比如，使用該類型API可以按索引匯總、按行或者列匯總。6.索引API，用于對大數(shù)據(jù)量查找，使用行索引技術(shù)，也就是把行號作為索引放進共享內(nèi)存中。7.日志接口，用于將每個接口的調(diào)用情況記錄日志，以便維護和將系統(tǒng)當前狀況顯示給用戶。當然，上述各API可以由用戶根據(jù)實際需要選用，對此本發(fā)明實施例不做限定?？梢姡景l(fā)明提供的數(shù)據(jù)處理方法，將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個 ETL規(guī)則。從而無需用戶具備編程技術(shù)，即可實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，不僅處理效率高，而且不受系統(tǒng)環(huán)境影響，可適用于非可視化系統(tǒng)和可視化系統(tǒng)中，比如，能夠應(yīng)用在 Linux、Aix、Solaris、Windows 等系統(tǒng)平臺上。相應(yīng)地，本發(fā)明實施例還提供一種數(shù)據(jù)處理系統(tǒng)，如圖2所示，是該系統(tǒng)的一種結(jié)構(gòu)示意圖。在該實施例中，所述系統(tǒng)包括規(guī)則封裝單元201，用于將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中。調(diào)度單元202，用于掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的 ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。在實際應(yīng)用中，上述ETL規(guī)則和動態(tài)庫文件的信息可以是用戶自定義并發(fā)布到服務(wù)器的。所述ETL規(guī)則可以包含ETL開發(fā)使用的各種規(guī)則，如取數(shù)規(guī)則，數(shù)據(jù)拆分規(guī)則，數(shù)據(jù)轉(zhuǎn)換規(guī)則，數(shù)據(jù)合并規(guī)則，數(shù)據(jù)排序規(guī)則，數(shù)據(jù)匯總規(guī)則，數(shù)據(jù)網(wǎng)絡(luò)采集規(guī)則，數(shù)據(jù)入庫規(guī)則，數(shù)據(jù)配置規(guī)則等。為此，在本發(fā)明實施例中，所述系統(tǒng)還可進一步包括規(guī)則設(shè)置單元203，用于獲取用戶設(shè)置并發(fā)布的所述ETL規(guī)則和所述動態(tài)庫文件的信息。相應(yīng)地，規(guī)則封裝單元201將這些ETL規(guī)則封裝為動態(tài)庫文件的形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中。所述動態(tài)庫文件的信息可以包括以下任意一項或多項啟動時間，啟動周期，重做標識，任務(wù)類型標識，任務(wù)描述，任務(wù)標識，是否可用，是否具有子任務(wù)。這些信息可以是用戶自已定義的，在發(fā)布ETL規(guī)則時同時發(fā)布到所述服務(wù)器上。在該實施例中，上述調(diào)度單元102可以有多種方式實現(xiàn)，該調(diào)度單元102的一種具體結(jié)構(gòu)包括提取子單元，轉(zhuǎn)換子單元和存儲子單元，其中所述提取子單元，用于對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從生產(chǎn)庫中提取源數(shù)據(jù)；
所述轉(zhuǎn)換子單元，用于將所述提取子單元提取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)；所述存儲子單元，用于將所述轉(zhuǎn)換子單元轉(zhuǎn)換后的目標數(shù)據(jù)存儲到目標庫中。當然，在實際應(yīng)用中，上述調(diào)度單元102還可進一步包括其它功能單元，比如，用于對所述轉(zhuǎn)換子單元轉(zhuǎn)換后的目標數(shù)據(jù)進行排序、匯總等處理的功能單元。為了進一步提高對大數(shù)據(jù)量的處理效率，上述調(diào)度單元102可以優(yōu)選通過多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)?？梢?，本發(fā)明提供的數(shù)據(jù)處理系統(tǒng)，將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個 ETL規(guī)則。從而無需用戶具備編程技術(shù)，即可實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，不僅處理效率高，而且不受系統(tǒng)環(huán)境影響，可適用于非可視化系統(tǒng)和可視化系統(tǒng)中，比如，能夠應(yīng)用在 Linux、Aix、Solaris、Windows 等系統(tǒng)平臺上。需要說明的是，本發(fā)明實施例數(shù)據(jù)處理系統(tǒng)中和不同單元可以集成在一臺設(shè)備 (比如計算機)上，也可以分布于不同的設(shè)備上。下面舉例進一步詳細說明本發(fā)明實施例的方法及系統(tǒng)對處理的處理過程。比如，針對移動業(yè)務(wù)的報表平臺，由于移動用戶的數(shù)量龐大，幾億手機用戶業(yè)務(wù)處理后報表平臺能產(chǎn)生達到上億的業(yè)務(wù)記錄，而處理這些業(yè)務(wù)記錄需要一個能處理大數(shù)據(jù)量的ETL工具。利用本發(fā)明實施例提供的方法及系統(tǒng)，可以搭建一個報表數(shù)據(jù)庫，在數(shù)據(jù)庫表中配置不同的報表任務(wù)，不同的任務(wù)具有不同的ETL規(guī)則，這些不同的ETL規(guī)則都可以隱藏在統(tǒng)一的接口下。服務(wù)器將這些ETL規(guī)則調(diào)度起來，實現(xiàn)對所述業(yè)務(wù)記錄的處理，有效地提高了處理效率。本說明書中的各個實施例均采用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對于系統(tǒng)實施例而言，由于其基本相似于方法實施例，所以描述得比較簡單，相關(guān)之處參見方法實施例的部分說明即可。以上所描述的系統(tǒng)實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。以上對本發(fā)明實施例進行了詳細介紹，本文中應(yīng)用了具體實施方式
對本發(fā)明進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及設(shè)備；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
1.一種數(shù)據(jù)處理方法，其特征在于，包括將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL 處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述ETL規(guī)則和所述動態(tài)庫文件的信息是用戶設(shè)置并發(fā)布的。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述ETL規(guī)則包括以下任意一項或多項 取數(shù)規(guī)則，數(shù)據(jù)拆分規(guī)則，數(shù)據(jù)轉(zhuǎn)換規(guī)則，數(shù)據(jù)合并規(guī)則，數(shù)據(jù)排序規(guī)則，數(shù)據(jù)匯總規(guī)則，數(shù)據(jù)網(wǎng)絡(luò)采集規(guī)則，數(shù)據(jù)入庫規(guī)則，數(shù)據(jù)配置規(guī)則。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述動態(tài)庫文件的信息包括以下任意一項或多項每個任務(wù)的啟動時間，啟動周期，重做標識，任務(wù)類型標識，任務(wù)描述，任務(wù)標識， 是否可用，是否具有子任務(wù)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理包括對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從數(shù)據(jù)源中提取源數(shù)據(jù)；將獲取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)；將所述目標數(shù)據(jù)存儲到目標庫中。
6.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，通過后臺多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)。
7.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括規(guī)則封裝單元，用于將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；調(diào)度單元，用于掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，還包括規(guī)則設(shè)置單元，用于獲取用戶設(shè)置并發(fā)布的所述ETL規(guī)則和所述動態(tài)庫文件的信息。
9.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述調(diào)度單元包括提取子單元，用于對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則從生產(chǎn)庫中提取源數(shù)據(jù)；轉(zhuǎn)換子單元，用于將所述提取子單元提取的源數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的目標數(shù)據(jù)；存儲單元，用于將所述轉(zhuǎn)換子單元轉(zhuǎn)換后的目標數(shù)據(jù)存儲到目標庫中。
10.根據(jù)權(quán)利要求6至9任一項所述的系統(tǒng)，其特征在于，所述調(diào)度單元，具體用于通過多進程并發(fā)機制調(diào)度所述任務(wù)表中的任務(wù)。
全文摘要
本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，公開了一種數(shù)據(jù)處理方法及系統(tǒng)，該方法包括將ETL規(guī)則封裝為動態(tài)庫文件形式，并將該動態(tài)庫文件的信息登記到后臺的數(shù)據(jù)庫的任務(wù)表中；掃描所述任務(wù)表，對所述任務(wù)表中的每個任務(wù)按照其對應(yīng)的ETL規(guī)則實現(xiàn)數(shù)據(jù)的ETL處理，所述任務(wù)表中的每個任務(wù)對應(yīng)了一個ETL規(guī)則。利用本發(fā)明，可以在非可視化系統(tǒng)和可視化系統(tǒng)中實現(xiàn)大數(shù)據(jù)量、多數(shù)據(jù)源的處理，提高處理效率。
文檔編號G06F17/30GK102508919SQ201110370530
公開日2012年6月20日 申請日期2011年11月18日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者鐘國南 申請人:廣州從興電子開發(fā)有限公司