本發(fā)明屬于數(shù)據(jù)處理
技術(shù)領(lǐng)域：
：，更具體的說，尤其涉及一種數(shù)據(jù)處理方法及數(shù)據(jù)處理平臺(tái)。
背景技術(shù)：
：：數(shù)據(jù)庫(kù)(database)是按照預(yù)設(shè)的數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)，目前數(shù)據(jù)庫(kù)有很多種類型，從最簡(jiǎn)單的存儲(chǔ)有各種數(shù)據(jù)的表格到能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)都在各個(gè)方面得到了廣泛的應(yīng)用。眾所周知不論是簡(jiǎn)單的存儲(chǔ)有各種數(shù)據(jù)的表格還是能夠進(jìn)行海量數(shù)據(jù)存儲(chǔ)的大型數(shù)據(jù)庫(kù)系統(tǒng)來說，都有自己的數(shù)據(jù)屬性管理方式，以關(guān)系型數(shù)據(jù)庫(kù)mysql為例：mysql中showdatabases可以統(tǒng)計(jì)出mysql中所有的數(shù)據(jù)庫(kù)；mysql中sshowtablesfromdb_name可以列出指定數(shù)據(jù)庫(kù)的所有表；mysql中showtablestatusfromdb_name可以查看表的描述性信息；mysql中showcreatetabletbl_name可以查看表的數(shù)據(jù)庫(kù)模式定義語(yǔ)言(ddl，datadefinitionlanguage)；mysql中showcolumnsfromtbl_name可以查看列信息；mysql中showindexfromtbl_name可以查看索引信息。同樣的，數(shù)據(jù)庫(kù)oracle、db2和mssql等都有不同于mysql的數(shù)據(jù)屬性管理方式，因此在采用數(shù)據(jù)處理平臺(tái)來處理不同類型的數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，需要數(shù)據(jù)處理平臺(tái)能夠統(tǒng)一維護(hù)不同類型的數(shù)據(jù)庫(kù)的數(shù)據(jù)屬性信息，并提供數(shù)據(jù)校驗(yàn)功能，這樣才能對(duì)數(shù)據(jù)處理平臺(tái)的存量數(shù)據(jù)和增量數(shù)據(jù)進(jìn)行統(tǒng)一監(jiān)控，其中存量數(shù)據(jù)是數(shù)據(jù)處理平臺(tái)已經(jīng)獲取到的各種數(shù)據(jù)，增量數(shù)據(jù)則是數(shù)據(jù)處理平臺(tái)將來會(huì)獲取到的各種數(shù)據(jù)。技術(shù)實(shí)現(xiàn)要素：有鑒于此，本發(fā)明的目的在于提供一種數(shù)據(jù)處理方法及數(shù)據(jù)處理平臺(tái)，用于分類存儲(chǔ)元數(shù)據(jù)下的數(shù)據(jù)，并對(duì)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，以使得數(shù)據(jù)處理平臺(tái)具有質(zhì)量校驗(yàn)功能，進(jìn)而實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的統(tǒng)一監(jiān)控。本發(fā)明提供一種數(shù)據(jù)處理方法，所述方法包括：通過數(shù)據(jù)處理平臺(tái)從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)和所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)，所述元數(shù)據(jù)用于指示所述數(shù)據(jù)庫(kù)中對(duì)應(yīng)字段的屬性信息；根據(jù)所述元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定所述元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中所屬層次以及在所屬層次下的所屬分類，所述數(shù)據(jù)處理平臺(tái)以數(shù)據(jù)倉(cāng)庫(kù)的形式存儲(chǔ)數(shù)據(jù)，所述數(shù)據(jù)倉(cāng)庫(kù)基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)置的數(shù)據(jù)劃分規(guī)則劃分成多個(gè)層次，且每個(gè)層次劃分有多個(gè)分類，每個(gè)分類下對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)表，所述數(shù)據(jù)庫(kù)表用于存儲(chǔ)一個(gè)元數(shù)據(jù)下的數(shù)據(jù)；將所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式，并將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)。優(yōu)選的，所述基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，至少包括：基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的完整性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行完整性校驗(yàn)；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的準(zhǔn)確性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行準(zhǔn)確性校驗(yàn)；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的有效性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行有效性校驗(yàn)；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的重復(fù)性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行重復(fù)性校驗(yàn)；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的及時(shí)性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行及時(shí)性校驗(yàn)；基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的分布性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行分布性校驗(yàn)。優(yōu)選的，所述方法還包括：當(dāng)對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)結(jié)果指示所述數(shù)據(jù)質(zhì)量超出所述數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍時(shí)，輸出告警信息。優(yōu)選的，所述方法還包括：對(duì)所述至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表。優(yōu)選的，所述方法還包括：根據(jù)元數(shù)據(jù)的用途確定元數(shù)據(jù)的對(duì)象類型，并將不同對(duì)象類型的元數(shù)據(jù)的屬性和不同對(duì)象類型的元數(shù)據(jù)的行為設(shè)置為配置表中的配置項(xiàng)。本發(fā)明還提供一種數(shù)據(jù)處理平臺(tái)，所述平臺(tái)包括：采集單元，用于從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)和所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)，其中元數(shù)據(jù)用于指示數(shù)據(jù)庫(kù)中對(duì)應(yīng)字段的屬性信息，數(shù)據(jù)處理平臺(tái)以數(shù)據(jù)倉(cāng)庫(kù)的形式存儲(chǔ)采集到的數(shù)據(jù)，所述數(shù)據(jù)倉(cāng)庫(kù)基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)置的數(shù)據(jù)劃分規(guī)則劃分成多個(gè)層次，且每個(gè)層次劃分有多個(gè)分類，每個(gè)分類下對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)表，所述數(shù)據(jù)庫(kù)表用于存儲(chǔ)一個(gè)元數(shù)據(jù)下的數(shù)據(jù)；確定單元，用于根據(jù)所述元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在所述數(shù)據(jù)倉(cāng)庫(kù)中的所屬層次以及在所屬層次下的所屬分類；轉(zhuǎn)換單元，用于將所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式；存儲(chǔ)單元，用于將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中；校驗(yàn)單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)。優(yōu)選的，所述校驗(yàn)單元，至少包括：完整性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的完整性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行完整性校驗(yàn)；準(zhǔn)確性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的準(zhǔn)確性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行準(zhǔn)確性校驗(yàn)；有效性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的有效性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行有效性校驗(yàn)；重復(fù)性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的重復(fù)性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行重復(fù)性校驗(yàn)；及時(shí)性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的及時(shí)性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行及時(shí)性校驗(yàn)；分布性校驗(yàn)子單元，用于基于所述數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的分布性監(jiān)控規(guī)則，對(duì)所述至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行分布性校驗(yàn)。優(yōu)選的，所述平臺(tái)還包括：輸出單元，用于當(dāng)對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)結(jié)果指示所述數(shù)據(jù)質(zhì)量超出所述數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍時(shí)，輸出告警信息。優(yōu)選的，所述平臺(tái)還包括：分類單元，用于對(duì)所述至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表。優(yōu)選的，所述平臺(tái)還包括：配置單元，用于根據(jù)元數(shù)據(jù)的用途確定元數(shù)據(jù)的對(duì)象類型，并將不同對(duì)象類型的元數(shù)據(jù)的屬性和不同對(duì)象類型的元數(shù)據(jù)的行為設(shè)置為配置表中的配置項(xiàng)。與現(xiàn)有技術(shù)相比，本發(fā)明提供的上述技術(shù)方案具有如下優(yōu)點(diǎn)：從上述技術(shù)方案可知，本發(fā)明提供的數(shù)據(jù)處理方法可以從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)，并根據(jù)元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中所屬層次以及在所屬層次下的所屬分類，這樣在采集到元數(shù)據(jù)下的數(shù)據(jù)后，可以將至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式，并將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中，而數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)元數(shù)據(jù)對(duì)應(yīng)字段的屬性信息，因此可根據(jù)元數(shù)據(jù)將元數(shù)據(jù)下的數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，實(shí)現(xiàn)數(shù)據(jù)的分類存儲(chǔ)，以有利于對(duì)每個(gè)分類下數(shù)據(jù)統(tǒng)一管理。并且本發(fā)明提供的數(shù)據(jù)處理方法還可以基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，以使得數(shù)據(jù)處理平臺(tái)具有質(zhì)量校驗(yàn)功能，進(jìn)而實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的統(tǒng)一監(jiān)控。附圖說明為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法的一種流程圖；圖2是本發(fā)明實(shí)施例提供的數(shù)據(jù)倉(cāng)庫(kù)的示意圖；圖3是對(duì)圖2所示數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行橫向劃分后的示意圖；圖4是對(duì)圖2所示數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行縱向劃分后的示意圖；圖5是本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法進(jìn)行質(zhì)量校驗(yàn)的流程圖；圖6是本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法的另一種流程圖；圖7是本發(fā)明實(shí)施例提供的數(shù)據(jù)處理平臺(tái)的一種結(jié)構(gòu)示意圖；圖8是圖7所示數(shù)據(jù)處理平臺(tái)中校驗(yàn)單元的結(jié)構(gòu)示意圖；圖9是本發(fā)明實(shí)施例提供的數(shù)據(jù)處理平臺(tái)的另一種結(jié)構(gòu)示意圖。具體實(shí)施方式目前不同數(shù)據(jù)庫(kù)的數(shù)據(jù)屬性管理方式不同，在采用數(shù)據(jù)處理平臺(tái)來處理不同類型的數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，需要數(shù)據(jù)處理平臺(tái)能夠統(tǒng)一維護(hù)不同類型的數(shù)據(jù)庫(kù)的元數(shù)據(jù)，并提供數(shù)據(jù)校驗(yàn)功能，這樣才能對(duì)數(shù)據(jù)處理平臺(tái)的存量數(shù)據(jù)和增量數(shù)據(jù)進(jìn)行統(tǒng)一監(jiān)控，本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及數(shù)據(jù)處理平臺(tái)，以使數(shù)據(jù)處理平臺(tái)可以統(tǒng)一維護(hù)不同類型的數(shù)據(jù)庫(kù)的元數(shù)據(jù)，以及對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的統(tǒng)一監(jiān)控，其中元數(shù)據(jù)用于指示數(shù)據(jù)庫(kù)中對(duì)應(yīng)字段的屬性信息。為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。請(qǐng)參閱圖1，其示出了本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法的一種流程圖，可以包括以下步驟：101：通過數(shù)據(jù)處理平臺(tái)從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)和至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)，元數(shù)據(jù)用于指示數(shù)據(jù)庫(kù)中對(duì)應(yīng)字段的屬性信息。以下述表1所示，表1為一個(gè)數(shù)據(jù)庫(kù)包含的各個(gè)字段以及各個(gè)字段的屬性信息，則一個(gè)字段的屬性信息可以視為一個(gè)元數(shù)據(jù)。表1數(shù)據(jù)庫(kù)包含的各個(gè)字段以及各個(gè)字段的屬性信息列名中文名類型dbname數(shù)據(jù)庫(kù)名稱varchar(18)cnname中文名varchar(50)dbtype數(shù)據(jù)庫(kù)類型varchar(32)dbver驅(qū)動(dòng)程序varchar(4)jndinamejndi名稱varchar(60)localalias本地別名varchar(32)username用戶名varchar(32)password密碼varchar(64)jdbc_drivernamejdbc驅(qū)動(dòng)名varchar(128)jdbc_dbnamejdbc數(shù)據(jù)庫(kù)名varchar(128)jdbc_jdbcurljdbc的url名varchar(128)在獲取到任意一個(gè)數(shù)據(jù)庫(kù)后，從任意一個(gè)數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)，得到數(shù)據(jù)庫(kù)中的所有元數(shù)據(jù)，而元數(shù)據(jù)下的數(shù)據(jù)是指數(shù)據(jù)庫(kù)中在對(duì)應(yīng)字段下實(shí)際記錄的數(shù)據(jù)。102：根據(jù)元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中所屬層次以及在所屬層次下的所屬分類，其中數(shù)據(jù)處理平臺(tái)以數(shù)據(jù)倉(cāng)庫(kù)的形式存儲(chǔ)數(shù)據(jù)?？梢岳斫獾氖牵簲?shù)據(jù)倉(cāng)庫(kù)一般情況下存儲(chǔ)的數(shù)據(jù)量較大，因此采用數(shù)據(jù)倉(cāng)庫(kù)可以實(shí)現(xiàn)pb(petabyte，數(shù)據(jù)存儲(chǔ)單位)級(jí)數(shù)據(jù)存儲(chǔ)。并且為能夠?qū)?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行管理，首先需要對(duì)數(shù)據(jù)進(jìn)行歸納分類，歸納分類作為認(rèn)識(shí)和理解一個(gè)復(fù)雜對(duì)象的最有效的辦法，本發(fā)明實(shí)施例對(duì)數(shù)據(jù)管理采用分層和分類的方式，即數(shù)據(jù)倉(cāng)庫(kù)基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)置的數(shù)據(jù)劃分規(guī)則劃分成多個(gè)層次，且每個(gè)層次劃分有多個(gè)分類，每個(gè)分類下對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)表，數(shù)據(jù)庫(kù)表用于存儲(chǔ)一個(gè)元數(shù)據(jù)下的數(shù)據(jù)。也就是說，每個(gè)分類下的數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)元數(shù)據(jù)，使得元數(shù)據(jù)和分類具有一定對(duì)應(yīng)關(guān)系，這樣根據(jù)這一對(duì)應(yīng)關(guān)系可以確定元數(shù)據(jù)所屬層次和所屬層次下的分類，而不同元數(shù)據(jù)指示不同的屬性信息，因此通過元數(shù)據(jù)可以獲知數(shù)據(jù)庫(kù)表結(jié)構(gòu)，如表2所示。表2數(shù)據(jù)庫(kù)表結(jié)構(gòu)數(shù)據(jù)庫(kù)名表名字段名字段中文名字段類型字段長(zhǎng)度oracled_aac_acct_bkng_transcity_id地市編碼string4oracled_aac_acct_bkng_transn_acct_id劃入賬戶編碼long20oracled_aac_acct_bkng_transout_acct_id劃出賬戶編碼long20oracled_aac_acct_bkng_transcreate_date創(chuàng)建日期datetime(null)oracled_aac_acct_bkng_transord_trans預(yù)約轉(zhuǎn)移時(shí)間datetime(null)oracled_aac_acct_bkng_transin_brand_id劃入品牌編碼long20oracled_aac_acct_bkng_transp_city分區(qū)_地市string6oracled_aac_acct_bkng_transout_city_id劃出地市編碼string4oracled_aac_acct_bkng_transstate狀態(tài)string4oracled_aac_acct_bkng_transord_id預(yù)約編號(hào)long20oracled_aac_acct_bkng_transstate_date狀態(tài)時(shí)間datetime(null)在采集到數(shù)據(jù)庫(kù)的各個(gè)元數(shù)據(jù)和元數(shù)據(jù)下的數(shù)據(jù)后，將元數(shù)據(jù)下的數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，例如一個(gè)數(shù)據(jù)庫(kù)中記錄有活動(dòng)信息、用戶信息和客戶信息，這些信息在數(shù)據(jù)庫(kù)中的屬性信息不同，即這些信息對(duì)應(yīng)不同的元數(shù)據(jù)，根據(jù)元數(shù)據(jù)可以將數(shù)據(jù)庫(kù)中的數(shù)據(jù)記錄到對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中。而對(duì)于數(shù)據(jù)庫(kù)中的至少一個(gè)元數(shù)據(jù)來說，本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法還可以包括：對(duì)至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表，即一個(gè)元數(shù)據(jù)表下記錄不同數(shù)據(jù)庫(kù)的一個(gè)相同的元數(shù)據(jù)，實(shí)現(xiàn)的元數(shù)據(jù)的分類匯總，這樣通過元數(shù)據(jù)表則可以確定哪些數(shù)據(jù)庫(kù)中含有相同的元數(shù)據(jù)，以便于在獲取某些元數(shù)據(jù)下的數(shù)據(jù)時(shí)，通過元數(shù)據(jù)表可以獲知要獲取的數(shù)據(jù)存儲(chǔ)在哪些數(shù)據(jù)庫(kù)中，進(jìn)而從這些數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)。而從數(shù)據(jù)庫(kù)中采集哪些元數(shù)據(jù)可以根據(jù)數(shù)據(jù)處理平臺(tái)中預(yù)設(shè)采集規(guī)則來確定需采集的元數(shù)據(jù)，并將采集到的元數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的元數(shù)據(jù)表中，其中數(shù)據(jù)處理平臺(tái)中預(yù)設(shè)采集規(guī)則是根據(jù)用戶的業(yè)務(wù)需求而預(yù)設(shè)設(shè)定的，具體預(yù)設(shè)采集規(guī)則的具體內(nèi)容以及采集哪些元數(shù)據(jù)可以根據(jù)實(shí)際應(yīng)用而定，對(duì)此本發(fā)明實(shí)施例不再闡述。在本發(fā)明實(shí)施例中，預(yù)設(shè)采集規(guī)則可以是根據(jù)元數(shù)據(jù)的數(shù)據(jù)來源、元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期和元數(shù)據(jù)的用途，對(duì)至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表。比如根據(jù)元數(shù)據(jù)的數(shù)據(jù)來源對(duì)至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，如下表3所示。表3根據(jù)元數(shù)據(jù)的數(shù)據(jù)來源分類根據(jù)元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期進(jìn)行分類，其中數(shù)據(jù)存儲(chǔ)周期指元數(shù)據(jù)在數(shù)據(jù)處理平臺(tái)中存儲(chǔ)的期限，對(duì)于元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期可以根據(jù)實(shí)際應(yīng)用而定，比如通話記錄的元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期為一個(gè)月，短信的元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期數(shù)據(jù)為一周，超過期限的元數(shù)據(jù)的處理方式包括但不限于：刪除、歸檔和規(guī)則轉(zhuǎn)移中的至少一種。其中根據(jù)元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期對(duì)元數(shù)據(jù)進(jìn)行分類匯總?cè)绫?所示。表4根據(jù)元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期進(jìn)行分類根據(jù)元數(shù)據(jù)的用途，數(shù)據(jù)處理平臺(tái)把元數(shù)據(jù)分成不同的數(shù)據(jù)類型，如表、接口、接口、指標(biāo)和應(yīng)用等，對(duì)于不同對(duì)象類型的元數(shù)據(jù)來說，將不同對(duì)象類型的元數(shù)據(jù)的屬性和不同對(duì)象類型的元數(shù)據(jù)的行為設(shè)置為配置表中的配置項(xiàng)，實(shí)現(xiàn)對(duì)元數(shù)據(jù)的動(dòng)態(tài)配置，這樣對(duì)于元數(shù)據(jù)的處理方式中除屬性和行為之外的其他參數(shù)可以在配置表中進(jìn)行配置，實(shí)現(xiàn)數(shù)據(jù)處理平臺(tái)的靈活性和擴(kuò)展性，并且不同對(duì)象的元數(shù)據(jù)的行為不同，降低各種類型數(shù)據(jù)之間的耦合。在本發(fā)明實(shí)施例中，根據(jù)元數(shù)據(jù)的用途對(duì)元數(shù)據(jù)進(jìn)行分類如表5所示，其中表5中的數(shù)據(jù)類型指示的是某種元數(shù)據(jù)，中文名是根據(jù)元數(shù)據(jù)的用途得到的對(duì)象類型。表5根據(jù)元數(shù)據(jù)的用途分類數(shù)據(jù)類型處理方式中文名序號(hào)備注intermeta-prcoss-inte接口2(null)tabmeta-catalog-tab表3(null)procmeta-prcoss-proc程序4(null)dimmeta-catalog-dim維度表6(null)zbmeta-catalog-zb指標(biāo)5(null)meta-appmeta-app應(yīng)用類模型4(null)dataflowmeta-dataflow數(shù)據(jù)流程8(null)mindermeta-app-minder腦圖(null)(null)viewmeta-catalog-vir視圖(null)(null)topicmeta-catalog-top主題(null)(null)而對(duì)于不同對(duì)象類型的元數(shù)據(jù)來說，為其分配的屬性和行為等如表6所示配置表，這種采用配置表把各種對(duì)象類型的元數(shù)據(jù)的屬性和行為設(shè)置為配置表中的配置項(xiàng)可以實(shí)現(xiàn)對(duì)元數(shù)據(jù)的動(dòng)態(tài)配置，這樣在增加一種對(duì)象類型的元數(shù)據(jù)后，只需要編寫對(duì)象類型的元數(shù)據(jù)的具體行為，其他的屬性都可以通過配置表來實(shí)現(xiàn)，對(duì)于不同對(duì)象類型的元數(shù)據(jù)，其具體行為以及屬性根據(jù)實(shí)際應(yīng)用而定。表6配置表的格式在本發(fā)明實(shí)施例中，數(shù)據(jù)倉(cāng)庫(kù)至少包括五層層次，如圖5所示分別是：應(yīng)用層、中心區(qū)、匯總層、基礎(chǔ)層和公共區(qū)，其中公共區(qū)存儲(chǔ)各層處理共用的參數(shù)表；應(yīng)用層存儲(chǔ)應(yīng)用程序?qū)?yīng)的數(shù)據(jù)；中心區(qū)和匯總層用于存儲(chǔ)與分類相關(guān)的數(shù)據(jù)，具體的中心區(qū)是跨類匯總，不同類下的數(shù)據(jù)具有一定聯(lián)系，匯總層則是類內(nèi)匯總，數(shù)據(jù)彼此不存在聯(lián)系；基礎(chǔ)層存儲(chǔ)一些基礎(chǔ)細(xì)粒度數(shù)據(jù)，如所分類可以是客戶類、賬戶類、資源類和交互辦理等。以數(shù)據(jù)倉(cāng)庫(kù)的上述五層層次，基于某個(gè)數(shù)據(jù)劃分規(guī)則橫向劃分的劃分結(jié)果如圖3所示，其中圖3中未示出中心區(qū)，信息子層和匯總層對(duì)應(yīng)圖2中的匯總層、基礎(chǔ)層和存儲(chǔ)層則對(duì)應(yīng)圖2中的基礎(chǔ)層。具體的，應(yīng)用層存儲(chǔ)應(yīng)用個(gè)性數(shù)據(jù)；信息子層為每類整合的數(shù)據(jù)層，存儲(chǔ)有供每類使用的分類表以及整合的數(shù)據(jù)表；匯總層用來匯總相應(yīng)類內(nèi)的數(shù)據(jù)；基礎(chǔ)層可以視為轉(zhuǎn)換后的數(shù)據(jù)層，用于處理類內(nèi)的數(shù)據(jù)；存儲(chǔ)層可以視為操作數(shù)據(jù)層，和現(xiàn)有boss(業(yè)務(wù)操作支撐系統(tǒng))的數(shù)據(jù)結(jié)構(gòu)相同，用來增加層的定義，但是不進(jìn)行數(shù)據(jù)的處理。若以主題作為一種分類方式進(jìn)行縱向劃分，會(huì)使得各個(gè)主題下的數(shù)據(jù)橫跨多個(gè)層次，其劃分結(jié)果如圖4所示，其中圖4中未示出中心區(qū)，信息子層和匯總層對(duì)應(yīng)圖2中的匯總層、基礎(chǔ)層和數(shù)據(jù)層則對(duì)應(yīng)圖2中的基礎(chǔ)層，并且從圖4可知，每個(gè)主題均橫跨多個(gè)層次，且圖4右半部分為本發(fā)明實(shí)施例提供的主題名稱。這里需要說明的一點(diǎn)是：上述層次可以視為其下所屬主題的父級(jí)主題，而數(shù)據(jù)劃分規(guī)則可以根據(jù)實(shí)際應(yīng)用來確定，本發(fā)明實(shí)施例并不限定具體采用哪種規(guī)則進(jìn)行劃分。并且數(shù)據(jù)倉(cāng)庫(kù)中不同數(shù)據(jù)具有一定的存儲(chǔ)周期，若上述橫跨多個(gè)層次下的數(shù)據(jù)具有不同的存儲(chǔ)周期，則會(huì)按照每條數(shù)據(jù)各自的存儲(chǔ)周期進(jìn)行更新。103：將至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式，并將轉(zhuǎn)換后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中。其中預(yù)先設(shè)定的格式是數(shù)據(jù)處理平臺(tái)為使從不同數(shù)據(jù)源系統(tǒng)和接口文件采集到的元數(shù)據(jù)下的數(shù)據(jù)具有統(tǒng)一的格式而設(shè)定，本發(fā)明實(shí)施例并不具體限定采用何種格式。并且上述每個(gè)分類下對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)表，每個(gè)數(shù)據(jù)庫(kù)表均設(shè)置有對(duì)應(yīng)的數(shù)據(jù)屬性信息，轉(zhuǎn)換后的數(shù)據(jù)可以存儲(chǔ)到自身對(duì)應(yīng)的分類下，這樣存儲(chǔ)到同一分類下數(shù)據(jù)庫(kù)表中的數(shù)據(jù)具有相同的數(shù)據(jù)屬性信息，使得數(shù)據(jù)處理平臺(tái)可以對(duì)不同分類下的數(shù)據(jù)屬性信息進(jìn)行分類的統(tǒng)一管理。104：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)。其中數(shù)據(jù)監(jiān)控規(guī)則是本發(fā)明實(shí)施例進(jìn)行質(zhì)量校驗(yàn)的關(guān)鍵部分，是識(shí)別數(shù)據(jù)質(zhì)量問題的主要判斷標(biāo)準(zhǔn)，在本發(fā)明實(shí)施例中數(shù)據(jù)監(jiān)控規(guī)則的屬性信息如表7所示，但不限于表7所示，在實(shí)際使用中可以根據(jù)實(shí)際情況來設(shè)定數(shù)據(jù)監(jiān)控規(guī)則的屬性信息。表7數(shù)據(jù)監(jiān)控規(guī)則的屬性信息對(duì)上表中各個(gè)字段的說明如下：監(jiān)控對(duì)象標(biāo)識(shí)：所監(jiān)控的數(shù)據(jù)的標(biāo)識(shí)(id)；監(jiān)控對(duì)象名稱：所監(jiān)控的數(shù)據(jù)名稱，如客戶信息匯總表；監(jiān)控對(duì)象類型：數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的分類，包括接口文件、數(shù)據(jù)庫(kù)表、抽取-轉(zhuǎn)換-加載(etl，extract-transform-load)作業(yè)和指標(biāo)等；監(jiān)控對(duì)象維度：監(jiān)控對(duì)象的數(shù)據(jù)維度，如地域維度、品牌維度等；規(guī)則編碼：規(guī)則的唯一標(biāo)識(shí)，可以由數(shù)字序列構(gòu)成，如347011；規(guī)則名稱：規(guī)則的具體名稱，如客戶發(fā)展波動(dòng)檢查；監(jiān)控規(guī)則類型：根據(jù)監(jiān)控?cái)?shù)據(jù)質(zhì)量屬性進(jìn)行劃分，如在本發(fā)明實(shí)施例中，至少?gòu)耐暾浴⒂行?、及時(shí)性、重復(fù)性、準(zhǔn)確性和分布性這六個(gè)規(guī)則進(jìn)行質(zhì)量校驗(yàn)，具體有哪些類型視實(shí)際情況而定；監(jiān)控規(guī)則算法：對(duì)應(yīng)監(jiān)控規(guī)則類型的具體算法，即實(shí)現(xiàn)方式；算法描述：對(duì)監(jiān)控規(guī)則算法的描述說明；規(guī)則閾值：監(jiān)控規(guī)則計(jì)算的對(duì)比值，如波動(dòng)率的允許范圍為±5％；規(guī)則描述：監(jiān)控規(guī)則的其他注釋信息。在本發(fā)明實(shí)施例中，上述完整性、有效性、及時(shí)性、重復(fù)性、準(zhǔn)確性和分布性這六個(gè)規(guī)則的描述如表8所示。表8監(jiān)控規(guī)則描述規(guī)則類型描述完整性檢查數(shù)據(jù)是否完整的記錄了其所表示的真實(shí)實(shí)體或事件信息的方法準(zhǔn)確性檢查數(shù)據(jù)與真實(shí)對(duì)象的一致程度的方法有效性檢查數(shù)據(jù)符合其值域或業(yè)務(wù)規(guī)則定義的程度的方法重復(fù)性檢查數(shù)據(jù)記錄與其所表示的真實(shí)實(shí)體或事件是否一一對(duì)應(yīng)的方法及時(shí)性檢查數(shù)據(jù)是否滿足所需的更新頻率的方法分布性檢查數(shù)據(jù)在值域上的分布狀況的方法相對(duì)應(yīng)的，基于上述完整性、有效性、及時(shí)性、重復(fù)性、準(zhǔn)確性和分布性這六個(gè)規(guī)則進(jìn)行質(zhì)量校驗(yàn)的過程如圖5所示，可以包括以下步驟：1041：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的完整性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行完整性校驗(yàn)。在本發(fā)明實(shí)施例中完整性校驗(yàn)可以參照表9所示，也就是說完整性監(jiān)控規(guī)則至少包括：從關(guān)鍵屬性空值檢查和外鍵引用檢查，并且從表9的算法描述和算法說明中可知，當(dāng)關(guān)鍵屬性為空值時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)不符合完整性要求；當(dāng)關(guān)鍵屬性不為空值時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)符合完整性要求。當(dāng)外鍵關(guān)聯(lián)不滿足引用完整性的規(guī)則時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)不符合完整性要求；當(dāng)外鍵關(guān)聯(lián)滿足引用完整性的規(guī)則時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)符合完整性要求。在基于關(guān)鍵屬性空值檢查和外鍵引用檢查這兩個(gè)方面校驗(yàn)完整性的情況下，需要關(guān)鍵屬性不為空值且外鍵關(guān)聯(lián)滿足引用完整性的規(guī)則時(shí)，至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)才滿足完整性要求。其中引用完整性的規(guī)則是指外鍵存在于數(shù)據(jù)所在數(shù)據(jù)表之外的其他數(shù)據(jù)表中，且外鍵必須是主鍵。表9完整性校驗(yàn)描述1042：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的準(zhǔn)確性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行準(zhǔn)確性校驗(yàn)。在本發(fā)明實(shí)施例中準(zhǔn)確性校驗(yàn)可以參照表10所示，也就是說準(zhǔn)確性監(jiān)控規(guī)則至少包括：同比波動(dòng)檢查、環(huán)比波動(dòng)檢查、均值波動(dòng)檢查、加權(quán)波動(dòng)檢查、數(shù)值檢查和平衡規(guī)則這六個(gè)方面，并且可以參照算法描述中給出的公式進(jìn)行準(zhǔn)確性校驗(yàn)。在實(shí)際應(yīng)用中，可以從表10中的選取至少一種算法進(jìn)行準(zhǔn)確性校驗(yàn)，并根據(jù)數(shù)據(jù)的分類，為所選取的算法設(shè)置閾值，當(dāng)根據(jù)所選取的算法對(duì)數(shù)據(jù)進(jìn)行準(zhǔn)確性校驗(yàn)得到的計(jì)算結(jié)果在閾值范圍內(nèi)時(shí)，表明數(shù)據(jù)符合準(zhǔn)確性校驗(yàn)，否則表明數(shù)據(jù)不符合準(zhǔn)確性校驗(yàn)。表10準(zhǔn)確性校驗(yàn)描述1043：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的有效性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行有效性校驗(yàn)。在本發(fā)明實(shí)施例中有效性校驗(yàn)可以參照表11所示，也就是說有效性監(jiān)控規(guī)則至少包括：關(guān)聯(lián)檢查、閾值檢查和業(yè)務(wù)主鍵唯一性檢查，并且可以參照算法描述中的描述進(jìn)行有效性校驗(yàn)。比如對(duì)于關(guān)聯(lián)檢查來說，根據(jù)數(shù)據(jù)的分類為對(duì)應(yīng)類型的數(shù)據(jù)設(shè)置閾值，當(dāng)根據(jù)關(guān)聯(lián)檢查對(duì)數(shù)據(jù)進(jìn)行有效性校驗(yàn)得到的計(jì)算結(jié)果在閾值范圍內(nèi)時(shí)，表明數(shù)據(jù)符合有效性校驗(yàn)，否則表明數(shù)據(jù)不符合有效性校驗(yàn)；而對(duì)于值域檢查來說，則需要檢查特定字段的取值是否在預(yù)定的取值范圍之內(nèi)，若是則表明數(shù)據(jù)符合有效性校驗(yàn)，否則表明數(shù)據(jù)不符合有效性校驗(yàn)。表11有效性校驗(yàn)描述1044：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的重復(fù)性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行重復(fù)性校驗(yàn)。在本發(fā)明實(shí)施例中重復(fù)性校驗(yàn)可以參照表12所示，也就是說重復(fù)性監(jiān)控規(guī)則至少包括：數(shù)值重復(fù)檢查，并且從表12的算法描述和算法說明可知，當(dāng)數(shù)據(jù)存在違反業(yè)務(wù)定義的重復(fù)檢查時(shí)，說明檢查的數(shù)據(jù)記錄與其表示的真實(shí)實(shí)體或時(shí)間不一一對(duì)應(yīng)，此時(shí)可以確定數(shù)據(jù)不滿足重復(fù)性要求；當(dāng)數(shù)據(jù)不存在違反業(yè)務(wù)定義的重復(fù)檢查時(shí)，說明檢查的數(shù)據(jù)記錄與其表示的真實(shí)實(shí)體或時(shí)間一一對(duì)應(yīng)，此時(shí)可以確定數(shù)據(jù)滿足重復(fù)性要求。表12重復(fù)性校驗(yàn)描述1045：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的及時(shí)性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行及時(shí)性校驗(yàn)。在本發(fā)明實(shí)施例中及時(shí)性校驗(yàn)可以參照表13所示，也就是說及時(shí)性監(jiān)控規(guī)則至少包括：數(shù)值重復(fù)檢查，并且從表13的算法描述和算法說明可知，當(dāng)當(dāng)前時(shí)間與基準(zhǔn)時(shí)間的差值到達(dá)預(yù)設(shè)時(shí)間時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)滿足及時(shí)性要求；當(dāng)前時(shí)間與基準(zhǔn)時(shí)間的差值未到達(dá)預(yù)設(shè)時(shí)間時(shí)，說明至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)不滿足及時(shí)性要求。表13及時(shí)性校驗(yàn)描述1046：基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的分布性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行分布性校驗(yàn)。分布性監(jiān)控規(guī)則用于設(shè)置數(shù)據(jù)的分布情況，比如中國(guó)共有56個(gè)民族，那么每個(gè)中國(guó)人就必須是其中的一個(gè)民族，若采集的數(shù)據(jù)不在這56個(gè)民族之中，那么表明數(shù)據(jù)不符合分布性校驗(yàn)，否則表明數(shù)據(jù)符合分布性校驗(yàn)。從上述技術(shù)方案可知，本發(fā)明提供的數(shù)據(jù)處理方法可以從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)，并根據(jù)元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中所屬層次以及在所屬層次下的所屬分類，這樣在采集到元數(shù)據(jù)下的數(shù)據(jù)后，可以將至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式，并將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中，而數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)元數(shù)據(jù)對(duì)應(yīng)字段的屬性信息，因此可根據(jù)元數(shù)據(jù)將元數(shù)據(jù)下的數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，實(shí)現(xiàn)數(shù)據(jù)的分類存儲(chǔ)，以有利于對(duì)每個(gè)分類下數(shù)據(jù)統(tǒng)一管理。并且本發(fā)明提供的數(shù)據(jù)處理方法還可以基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，以使得數(shù)據(jù)處理平臺(tái)具有質(zhì)量校驗(yàn)功能，進(jìn)而實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的統(tǒng)一監(jiān)控。在本發(fā)明實(shí)施例中，上述數(shù)據(jù)處理方法還可以進(jìn)行告警監(jiān)控，如圖6所示，在圖1基礎(chǔ)上還可以包括以下步驟：105：當(dāng)對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)結(jié)果指示數(shù)據(jù)質(zhì)量超出數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍時(shí)，輸出告警信息。其中數(shù)據(jù)質(zhì)量超出數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍可以是：在采用數(shù)據(jù)監(jiān)控規(guī)則對(duì)采集到的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)時(shí)，采集到的數(shù)據(jù)超出數(shù)據(jù)監(jiān)控規(guī)則允許范圍，當(dāng)采集到的數(shù)據(jù)超出數(shù)據(jù)監(jiān)控規(guī)則允許范圍時(shí)，輸出告警信息。以上述完整性監(jiān)控規(guī)則中關(guān)鍵屬性空值檢查為例，當(dāng)采集到的數(shù)據(jù)的關(guān)鍵屬性為空值時(shí)，說明采集到的數(shù)據(jù)不符合完整性要求，這樣就表示采集到的數(shù)據(jù)超出完整性監(jiān)控規(guī)則允許范圍；而對(duì)于具有一些閾值的數(shù)據(jù)監(jiān)控規(guī)則來說，若采集到的數(shù)據(jù)的校驗(yàn)結(jié)果指示超過閾值，則說明超出對(duì)應(yīng)的數(shù)據(jù)監(jiān)控規(guī)則允許范圍。對(duì)于前述的各方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā)明，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。與上述方法實(shí)施例相對(duì)應(yīng)，本發(fā)明實(shí)施例還提供一種數(shù)據(jù)處理平臺(tái)，其結(jié)構(gòu)示意圖如圖7所示，可以包括：采集單元11、確定單元12、轉(zhuǎn)換單元13、存儲(chǔ)單元14和校驗(yàn)單元15。采集單元11，用于從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)和至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)，元數(shù)據(jù)用于指示數(shù)據(jù)庫(kù)中對(duì)應(yīng)字段的屬性信息，如表1所示數(shù)據(jù)庫(kù)表中各個(gè)字段的屬性信息，這樣就可以將一個(gè)字段的屬性信息視為一個(gè)元數(shù)據(jù)。確定單元12，用于根據(jù)元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中的所屬層次以及在所屬層次下的所屬分類。其中數(shù)據(jù)處理平臺(tái)以數(shù)據(jù)倉(cāng)庫(kù)的形式存儲(chǔ)采集到的數(shù)據(jù)，可以理解的是：數(shù)據(jù)倉(cāng)庫(kù)一般情況下存儲(chǔ)的數(shù)據(jù)量較大，因此采用數(shù)據(jù)倉(cāng)庫(kù)可以實(shí)現(xiàn)pb級(jí)數(shù)據(jù)存儲(chǔ)。并且為能夠?qū)?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行管理，首先需要對(duì)數(shù)據(jù)進(jìn)行歸納分類，歸納分類作為認(rèn)識(shí)和理解一個(gè)復(fù)雜對(duì)象的最有效的辦法，本發(fā)明實(shí)施例對(duì)數(shù)據(jù)管理采用分層和分類的方式。即數(shù)據(jù)倉(cāng)庫(kù)基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)置的數(shù)據(jù)劃分規(guī)則劃分成多個(gè)層次，且每個(gè)層次劃分有多個(gè)分類，，每個(gè)分類下對(duì)應(yīng)一個(gè)數(shù)據(jù)庫(kù)表，數(shù)據(jù)庫(kù)表用于存儲(chǔ)一個(gè)元數(shù)據(jù)下的數(shù)據(jù)。也就是說，每個(gè)分類下的數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)元數(shù)據(jù)，使得元數(shù)據(jù)和分類具有一定對(duì)應(yīng)關(guān)系，這樣根據(jù)這一對(duì)應(yīng)關(guān)系可以確定元數(shù)據(jù)所屬層次和所屬層次下的分類。轉(zhuǎn)換單元13，用于將至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式。其中預(yù)先設(shè)定的格式是數(shù)據(jù)處理平臺(tái)為使從不同數(shù)據(jù)源系統(tǒng)和接口文件采集到的至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)具有統(tǒng)一的格式而設(shè)定，本發(fā)明實(shí)施例并不具體限定采用何種格式。存儲(chǔ)單元14，用于將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中。在本發(fā)明實(shí)施例中，為數(shù)據(jù)的每個(gè)分類均設(shè)置有對(duì)應(yīng)的數(shù)據(jù)屬性信息，轉(zhuǎn)換后的數(shù)據(jù)可以存儲(chǔ)到自身對(duì)應(yīng)的分類下，這樣存儲(chǔ)到同一分類下的數(shù)據(jù)具有相同的數(shù)據(jù)屬性信息，使得數(shù)據(jù)處理平臺(tái)可以對(duì)不同分類下的數(shù)據(jù)屬性信息進(jìn)行分類的統(tǒng)一管理。校驗(yàn)單元15，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)。其中數(shù)據(jù)監(jiān)控規(guī)則是本發(fā)明實(shí)施例進(jìn)行質(zhì)量校驗(yàn)的關(guān)鍵部分，是識(shí)別數(shù)據(jù)質(zhì)量問題的主要判斷標(biāo)準(zhǔn)，在本發(fā)明實(shí)施例中數(shù)據(jù)監(jiān)控規(guī)則的屬性信息方法實(shí)施例中相關(guān)說明，對(duì)此本發(fā)明實(shí)施例不再闡述。并且數(shù)據(jù)監(jiān)控規(guī)則至少包括完整性、有效性、及時(shí)性、重復(fù)性、準(zhǔn)確性和分布性這六個(gè)規(guī)則，這六個(gè)規(guī)則的描述如上述表8所示，至此本發(fā)明實(shí)施例需要對(duì)存儲(chǔ)的數(shù)據(jù)至少進(jìn)行完整性、有效性、及時(shí)性、重復(fù)性、準(zhǔn)確性和分布性這六個(gè)方面的校驗(yàn)，相對(duì)應(yīng)的，上述校驗(yàn)單元15的結(jié)構(gòu)示意圖如圖9所示，至少可以包括：完整性校驗(yàn)子單元151、準(zhǔn)確性校驗(yàn)子單元152、有效性校驗(yàn)子單元153、重復(fù)性校驗(yàn)子單元154、及時(shí)性校驗(yàn)子單元155和分布性校驗(yàn)子單元156。完整性校驗(yàn)子單元151，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的完整性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行完整性校驗(yàn)。準(zhǔn)確性校驗(yàn)子單元152，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的準(zhǔn)確性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行準(zhǔn)確性校驗(yàn)。有效性校驗(yàn)子單元153，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的有效性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行有效性校驗(yàn)。重復(fù)性校驗(yàn)子單元154，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的重復(fù)性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行重復(fù)性校驗(yàn)。及時(shí)性校驗(yàn)子單元155，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的及時(shí)性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行及時(shí)性校驗(yàn)。分布性校驗(yàn)子單元156，用于基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的分布性監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行分布性校驗(yàn)。對(duì)于圖9中完整性校驗(yàn)子單元151、準(zhǔn)確性校驗(yàn)子單元152、有效性校驗(yàn)子單元153、重復(fù)性校驗(yàn)子單元154、及時(shí)性校驗(yàn)子單元155和分布性校驗(yàn)子單元156的執(zhí)行過程請(qǐng)參閱方法實(shí)施例部分的相關(guān)說明，對(duì)此本發(fā)明實(shí)施例不再闡述。從上述技術(shù)方案可知，本發(fā)明提供的數(shù)據(jù)處理平臺(tái)可以從數(shù)據(jù)庫(kù)中采集至少一個(gè)元數(shù)據(jù)，并根據(jù)元數(shù)據(jù)指示的對(duì)應(yīng)字段的屬性信息，確定元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中所屬層次以及在所屬層次下的所屬分類，這樣在采集到元數(shù)據(jù)下的數(shù)據(jù)后，可以將至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)的格式轉(zhuǎn)換為數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的格式，并將轉(zhuǎn)換格式后的數(shù)據(jù)存儲(chǔ)到所確定的所屬層次下的所屬分類下的數(shù)據(jù)庫(kù)表中，而數(shù)據(jù)庫(kù)表對(duì)應(yīng)一個(gè)元數(shù)據(jù)對(duì)應(yīng)字段的屬性信息，因此可根據(jù)元數(shù)據(jù)將元數(shù)據(jù)下的數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的數(shù)據(jù)庫(kù)表中，實(shí)現(xiàn)數(shù)據(jù)的分類存儲(chǔ)，以有利于對(duì)每個(gè)分類下數(shù)據(jù)統(tǒng)一管理。并且本發(fā)明提供的數(shù)據(jù)處理平臺(tái)還可以基于數(shù)據(jù)處理平臺(tái)預(yù)先設(shè)定的數(shù)據(jù)監(jiān)控規(guī)則，對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，以使得數(shù)據(jù)處理平臺(tái)具有質(zhì)量校驗(yàn)功能，進(jìn)而實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的統(tǒng)一監(jiān)控。在本發(fā)明實(shí)施例中，上述數(shù)據(jù)處理平臺(tái)還可以進(jìn)行告警監(jiān)控，如圖9所示，在圖8基礎(chǔ)上還可以包括：輸出單元16，用于當(dāng)對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)的校驗(yàn)結(jié)果指示數(shù)據(jù)質(zhì)量超出數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍時(shí)，輸出告警信息。其中數(shù)據(jù)質(zhì)量超出數(shù)據(jù)處理平臺(tái)的預(yù)設(shè)質(zhì)量范圍可以是：在采用數(shù)據(jù)監(jiān)控規(guī)則對(duì)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)時(shí)，至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)超出數(shù)據(jù)監(jiān)控規(guī)則允許范圍，當(dāng)至少一個(gè)元數(shù)據(jù)下的數(shù)據(jù)超出數(shù)據(jù)監(jiān)控規(guī)則允許范圍時(shí)，輸出告警信息。而對(duì)于數(shù)據(jù)庫(kù)中的至少一個(gè)元數(shù)據(jù)來說，本發(fā)明實(shí)施例提供的數(shù)據(jù)處理平臺(tái)還可以包括：分類單元和配置單元。分類單元，用于對(duì)至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表，即一個(gè)元數(shù)據(jù)表下記錄不同數(shù)據(jù)庫(kù)的一個(gè)相同的元數(shù)據(jù)，實(shí)現(xiàn)的元數(shù)據(jù)的分類匯總，這樣通過元數(shù)據(jù)表則可以確定哪些數(shù)據(jù)庫(kù)中含有相同的元數(shù)據(jù)，以便于在獲取某些元數(shù)據(jù)下的數(shù)據(jù)時(shí)，通過元數(shù)據(jù)表可以獲知要獲取的數(shù)據(jù)存儲(chǔ)在哪些數(shù)據(jù)庫(kù)中，進(jìn)而從這些數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)。而從數(shù)據(jù)庫(kù)中采集哪些元數(shù)據(jù)可以根據(jù)數(shù)據(jù)處理平臺(tái)中預(yù)設(shè)采集規(guī)則來確定需采集的元數(shù)據(jù)，并將采集到的元數(shù)據(jù)存儲(chǔ)到對(duì)應(yīng)的元數(shù)據(jù)表中，其中數(shù)據(jù)處理平臺(tái)中預(yù)設(shè)采集規(guī)則是根據(jù)用戶的業(yè)務(wù)需求而預(yù)設(shè)設(shè)定的，具體預(yù)設(shè)采集規(guī)則的具體內(nèi)容以及采集哪些元數(shù)據(jù)可以根據(jù)實(shí)際應(yīng)用而定，對(duì)此本發(fā)明實(shí)施例不再闡述。在本發(fā)明實(shí)施例中，預(yù)設(shè)采集規(guī)則可以是根據(jù)元數(shù)據(jù)的數(shù)據(jù)來源、元數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)周期和元數(shù)據(jù)的用途，對(duì)至少一個(gè)元數(shù)據(jù)進(jìn)行分類匯總，得到記錄相同元數(shù)據(jù)的元數(shù)據(jù)表。配置單元，用于根據(jù)元數(shù)據(jù)的用途確定元數(shù)據(jù)的對(duì)象類型，并將不同對(duì)象類型的元數(shù)據(jù)的屬性和不同對(duì)象類型的元數(shù)據(jù)的行為設(shè)置為配置表中的配置項(xiàng)。根據(jù)元數(shù)據(jù)的用途，配置單元把元數(shù)據(jù)分成不同的數(shù)據(jù)類型，如表、接口、接口、指標(biāo)和應(yīng)用等，對(duì)于不同對(duì)象類型的元數(shù)據(jù)來說，將不同對(duì)象類型的元數(shù)據(jù)的屬性和不同對(duì)象類型的元數(shù)據(jù)的行為設(shè)置為配置表中的配置項(xiàng)，實(shí)現(xiàn)對(duì)元數(shù)據(jù)的動(dòng)態(tài)配置，這樣對(duì)于元數(shù)據(jù)的處理方式中除屬性和行為之外的其他參數(shù)可以在配置表中進(jìn)行配置，實(shí)現(xiàn)數(shù)據(jù)處理平臺(tái)的靈活性和擴(kuò)展性，并且不同對(duì)象的元數(shù)據(jù)的行為不同，降低各種類型數(shù)據(jù)之間的耦合。需要說明的是，本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于裝置類實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說明即可。最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本
技術(shù)領(lǐng)域：
：的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12