根據(jù)數(shù)據(jù)分析方面的最新見(jiàn)解，在提取、轉(zhuǎn)換和加載(etl)操作之后，極大地降低了對(duì)大數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換的需求。一般而言，etl是將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)組合到被加載到數(shù)據(jù)倉(cāng)庫(kù)或其他目標(biāo)系統(tǒng)中的單個(gè)一致的數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)集成處理。etl處理為數(shù)據(jù)分析和機(jī)器學(xué)習(xí)工作流提供了基礎(chǔ)。通過(guò)一系列邏輯規(guī)則，etl處理清洗并組織數(shù)據(jù)，不僅滿(mǎn)足了特定的智能需求，而且還可以處理更高級(jí)的分析，從而可以改進(jìn)后端處理或終端用戶(hù)體驗(yàn)。

背景技術(shù)：

技術(shù)實(shí)現(xiàn)思路

1、本文公開(kāi)了系統(tǒng)以及相關(guān)方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀介質(zhì)。例如，在一些實(shí)施方案中，一種由處理設(shè)備執(zhí)行的用于etl處理的方法包括從數(shù)據(jù)目錄接收應(yīng)用程序數(shù)據(jù)與目標(biāo)模式之間的字段映射；從etl處理隊(duì)列接收信號(hào)，該信號(hào)包括元數(shù)據(jù)并且指示與應(yīng)用程序數(shù)據(jù)相關(guān)的記錄或數(shù)據(jù)文件準(zhǔn)備好進(jìn)行處理；通過(guò)處理元數(shù)據(jù)以識(shí)別記錄或數(shù)據(jù)文件的位置并從所識(shí)別的位置檢索記錄或數(shù)據(jù)文件來(lái)確定源數(shù)據(jù)；以及向根據(jù)目標(biāo)模式定義的大數(shù)據(jù)表提供源數(shù)據(jù)。

技術(shù)特征：

1.一種由處理設(shè)備執(zhí)行的用于提取、轉(zhuǎn)換和加載(etl)處理的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中所述字段映射由應(yīng)用程序或服務(wù)器存儲(chǔ)到所述數(shù)據(jù)目錄。

3.根據(jù)權(quán)利要求2所述的方法，其中所述應(yīng)用程序被配置為使用所述應(yīng)用程序數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其中所述應(yīng)用程序被配置為在可用時(shí)將新記錄或新源數(shù)據(jù)文件注冊(cè)到所述數(shù)據(jù)目錄。

5.根據(jù)權(quán)利要求2所述的方法，其中所述記錄或所述數(shù)據(jù)文件被注冊(cè)到所述數(shù)據(jù)目錄，準(zhǔn)備好由所述應(yīng)用程序進(jìn)行處理。

6.根據(jù)權(quán)利要求5所述的方法，其中所述記錄或所述數(shù)據(jù)文件通過(guò)所述數(shù)據(jù)目錄而與所述目標(biāo)模式對(duì)齊。

7.根據(jù)權(quán)利要求5所述的方法，其中所述信號(hào)由所述數(shù)據(jù)目錄插入到所述etl處理隊(duì)列中。

8.根據(jù)權(quán)利要求7所述的方法，其中所述字段映射是根據(jù)所述應(yīng)用程序數(shù)據(jù)的類(lèi)型定義的。

9.根據(jù)權(quán)利要求8所述的方法，其中所述信號(hào)由所述數(shù)據(jù)目錄基于與所述應(yīng)用程序數(shù)據(jù)的類(lèi)型相匹配的所述記錄或所述數(shù)據(jù)文件的類(lèi)型來(lái)插入。

10.根據(jù)權(quán)利要求1所述的方法，其中所述目標(biāo)模式被部署到所述數(shù)據(jù)目錄中的目標(biāo)表。

11.根據(jù)權(quán)利要求1所述的方法，其中所述記錄或所述數(shù)據(jù)文件是新的或更新的。

12.根據(jù)權(quán)利要求1所述的方法，其中所述信號(hào)包括所述記錄或所述數(shù)據(jù)文件的所述位置。

13.根據(jù)權(quán)利要求1所述的方法，其中當(dāng)所述記錄或所述數(shù)據(jù)文件不與先前提供的模式相關(guān)聯(lián)時(shí)，所述數(shù)據(jù)目錄提供所述應(yīng)用程序數(shù)據(jù)與所述目標(biāo)模式之間的所述字段映射。

14.根據(jù)權(quán)利要求1所述的方法，其中使用由所述數(shù)據(jù)目錄提供的元數(shù)據(jù)將所述源數(shù)據(jù)提供給所述表。

15.根據(jù)權(quán)利要求1所述的方法，其中所述源數(shù)據(jù)包括第一源數(shù)據(jù)，并且所述目標(biāo)模式包括第一目標(biāo)模式，并且其中所述方法還包括：

16.根據(jù)權(quán)利要求1所述的方法，其中所述源數(shù)據(jù)包括第一源數(shù)據(jù)，并且所述目標(biāo)模式包括第一目標(biāo)模式，并且其中所述方法還包括：

17.一種系統(tǒng)，所述系統(tǒng)包括：

18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述字段映射由應(yīng)用程序或服務(wù)器存儲(chǔ)到所述數(shù)據(jù)目錄。

19.一種包括可執(zhí)行指令的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述可執(zhí)行指令使電子處理器：

20.根據(jù)權(quán)利要求19所述的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述字段映射由應(yīng)用程序或服務(wù)器存儲(chǔ)到所述數(shù)據(jù)目錄。

技術(shù)總結(jié)
靈活提取、轉(zhuǎn)換和加載(ETL)處理。本文公開(kāi)了系統(tǒng)、方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀介質(zhì)。例如，在一些實(shí)施方案中，一種由處理設(shè)備執(zhí)行的用于提取、轉(zhuǎn)換和加載(ETL)處理的方法，該方法包括：從數(shù)據(jù)目錄接收應(yīng)用程序數(shù)據(jù)與目標(biāo)模式之間的字段映射；從ETL處理隊(duì)列接收信號(hào)，該信號(hào)包括元數(shù)據(jù)并且指示與應(yīng)用程序數(shù)據(jù)相關(guān)的記錄或數(shù)據(jù)文件準(zhǔn)備好進(jìn)行處理；通過(guò)處理元數(shù)據(jù)以識(shí)別記錄或數(shù)據(jù)文件的位置并從所識(shí)別的位置檢索記錄或數(shù)據(jù)文件來(lái)確定源數(shù)據(jù)；以及向根據(jù)目標(biāo)模式定義的表提供源數(shù)據(jù)。

技術(shù)研發(fā)人員：M·雷斯勒,S·德什潘德,M·坎普,D·胡梅尼克,M·科諾卡
受保護(hù)的技術(shù)使用者：熱電北美有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/26