中間表更新方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及中間表更新方法及裝置。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)與移動(dòng)互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，各種數(shù)據(jù)呈爆炸式增長(zhǎng)。一些設(shè) 備每天需要處理的數(shù)據(jù)量可以達(dá)到T(10的12次方）級(jí)別，甚至P級(jí)別（10的15次方）。 在現(xiàn)有的數(shù)據(jù)處理模式中，原始數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，通常均會(huì)被存儲(chǔ)在基礎(chǔ)表中。但是，在 后續(xù)基于基礎(chǔ)數(shù)據(jù)執(zhí)行相關(guān)業(yè)務(wù)處理的過(guò)程中，往往需要先對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行聚合等處理操 作，以提取出基礎(chǔ)數(shù)據(jù)中所隱含的為后續(xù)業(yè)務(wù)處理所需的數(shù)據(jù)，進(jìn)而再處理產(chǎn)生業(yè)務(wù)數(shù)據(jù)。 一般情況下，提取基礎(chǔ)數(shù)據(jù)或中間數(shù)據(jù)，再產(chǎn)生一項(xiàng)業(yè)務(wù)數(shù)據(jù)的過(guò)程由一個(gè)業(yè)務(wù)數(shù)據(jù)處理 任務(wù)實(shí)現(xiàn)。
[0003] 隨著業(yè)務(wù)數(shù)據(jù)需求的增多，業(yè)務(wù)數(shù)據(jù)處理任務(wù)也越來(lái)越多，如果所有的業(yè)務(wù)數(shù)據(jù) 處理任務(wù)都以基礎(chǔ)表作為數(shù)據(jù)源，從其中所存儲(chǔ)的基礎(chǔ)數(shù)據(jù)開(kāi)始計(jì)算，那么在計(jì)算過(guò)程中， 將會(huì)消耗很大的帶寬和資源。為此，現(xiàn)有技術(shù)預(yù)先對(duì)基礎(chǔ)表中的基礎(chǔ)數(shù)據(jù)進(jìn)行了某種程度 上的聚合，產(chǎn)生了一些中間表（DATAMART)，直接供下游的業(yè)務(wù)數(shù)據(jù)處理任務(wù)進(jìn)行處理以得 到業(yè)務(wù)數(shù)據(jù)，從而減少對(duì)原始數(shù)據(jù)的讀取和計(jì)算操作，節(jié)省帶寬和資源。其中，中間表中的 數(shù)據(jù)包括從基礎(chǔ)表中提取的部分?jǐn)?shù)據(jù)，或者對(duì)所提取的部分?jǐn)?shù)據(jù)進(jìn)行處理生成的中間數(shù) 據(jù)。
[0004] 然而，如果中間表中涵蓋的數(shù)據(jù)量少，則會(huì)無(wú)法有效滿足業(yè)務(wù)數(shù)據(jù)處理任務(wù)的提 取需求；如果中間表涵蓋的數(shù)據(jù)量大，又會(huì)使得中間表的規(guī)模過(guò)大，既占用存儲(chǔ)空間，也無(wú) 法有效提高數(shù)據(jù)的處理效率。為得到合適的中間表，現(xiàn)有技術(shù)主要依靠人工經(jīng)驗(yàn)來(lái)設(shè)計(jì)中 間表，但由于數(shù)據(jù)量巨大，所以中間表的調(diào)整周期過(guò)長(zhǎng)，不及時(shí)、準(zhǔn)確率不高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供一種中間表更新方法及裝置，以提高中間表調(diào)整的及時(shí)性和準(zhǔn) 確性。
[0006] -方面，本發(fā)明實(shí)施例提供了一種中間表更新方法，該方法包括：
[0007] 獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取記錄；
[0008] 根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所述中間表的表項(xiàng)調(diào)整方案；
[0009] 根據(jù)所述表項(xiàng)調(diào)整方案更新所述中間表的表項(xiàng)。
[0010] 另一方面，本發(fā)明實(shí)施例還提供了一種中間表更新裝置，該裝置包括：
[0011] 提取記錄獲取單元，用于獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的 提取記錄；
[0012] 表項(xiàng)調(diào)整方案確定單元，用于根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所述中間表 的表項(xiàng)調(diào)整方案；
[0013] 中間表項(xiàng)更新單元，用于根據(jù)所述表項(xiàng)調(diào)整方案更新所述中間表的表項(xiàng)。
[0014] 本發(fā)明實(shí)施例提供的技術(shù)方案，以智能的方式，來(lái)獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ) 表和/或中間表中數(shù)據(jù)的提取情況，并據(jù)此動(dòng)態(tài)調(diào)整中間表中的表項(xiàng)，使得中間表的表項(xiàng) 和規(guī)模可以達(dá)到較佳的平衡點(diǎn)，從而提高了中間表調(diào)整的及時(shí)性和準(zhǔn)確性。
【附圖說(shuō)明】
[0015] 圖1是本發(fā)明實(shí)施例一提供的一種中間表更新方法的流程示意圖；
[0016] 圖2是本發(fā)明實(shí)施例三提供的一種中間表更新方法的流程示意圖；
[0017] 圖3是本發(fā)明實(shí)施例三提供的中間表更新方法所適用的網(wǎng)絡(luò)架構(gòu)示意圖；
[0018] 圖4是本發(fā)明實(shí)施例四提供的一種中間表更新裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖?，此處所描 述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便 于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0020] 實(shí)施例一
[0021] 圖1是本發(fā)明實(shí)施例一提供的一種中間表更新方法的流程示意圖。本實(shí)施例可應(yīng) 用于由用于存儲(chǔ)基礎(chǔ)表和中間表的物理設(shè)備，以及執(zhí)行業(yè)務(wù)數(shù)據(jù)處理任務(wù)的物理設(shè)備所構(gòu) 成的數(shù)據(jù)處理系統(tǒng)。其中，對(duì)于基礎(chǔ)表和中間表而言，其可以以數(shù)據(jù)庫(kù)的形式，被存儲(chǔ)在同 一臺(tái)物理設(shè)備中，也可被存儲(chǔ)在不同物理設(shè)備中；業(yè)務(wù)數(shù)據(jù)處理任務(wù)可以是由并列的不同 類(lèi)型的業(yè)務(wù)數(shù)據(jù)處理子任務(wù)組成，且每種業(yè)務(wù)數(shù)據(jù)處理子任務(wù)的個(gè)數(shù)為至少一個(gè)，不同的 業(yè)務(wù)數(shù)據(jù)處理子任務(wù)可由不同的物理設(shè)備（例如，服務(wù)器）所負(fù)責(zé)執(zhí)行。每個(gè)業(yè)務(wù)數(shù)據(jù)處 理子任務(wù)，用于從基礎(chǔ)表和中間表中提取數(shù)據(jù)并進(jìn)行處理得到相應(yīng)的業(yè)務(wù)數(shù)據(jù)。
[0022] 本實(shí)施例提供的中間表更新方法，可由中間表更新裝置執(zhí)行，所述裝置由軟件實(shí) 現(xiàn)。其中，中間表更新裝置可作為獨(dú)立的軟件產(chǎn)品，而被設(shè)置在位于上述數(shù)據(jù)處理系統(tǒng)之外 的第三方物理設(shè)備上，通過(guò)與數(shù)據(jù)處理系統(tǒng)之間的數(shù)據(jù)交互，實(shí)現(xiàn)對(duì)數(shù)據(jù)處理系統(tǒng)中中間 表的更新。或者，中間表更新裝置作為上述數(shù)據(jù)處理系統(tǒng)內(nèi)的一部分軟件模塊，而被內(nèi)置在 數(shù)據(jù)處理系統(tǒng)內(nèi)的一臺(tái)物理設(shè)備中，以實(shí)現(xiàn)對(duì)數(shù)據(jù)處理系統(tǒng)中中間表的更新。參見(jiàn)圖1，本 實(shí)施例提供的中間表更新方法具體包括如下：
[0023] S110、獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取記錄。
[0024] 在本實(shí)施例中，基礎(chǔ)表和中間表均可包含有多條數(shù)據(jù)記錄，每條數(shù)據(jù)記錄可被視 為一個(gè)鍵值對(duì)，其中鍵值對(duì)中鍵（key)為表項(xiàng)名稱(chēng)，值（value)為表項(xiàng)上的數(shù)值。中間表中 的數(shù)據(jù)包括從基礎(chǔ)表中提取的部分?jǐn)?shù)據(jù)，或者對(duì)所提取的部分?jǐn)?shù)據(jù)進(jìn)行處理生成的中間數(shù) 據(jù)。
[0025] 例如，下表1給出了 一種基礎(chǔ)表：
[0026]表1
【主權(quán)項(xiàng)】
1. 一種中間表更新方法，其特征在于，包括： 獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取記錄； 根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所述中間表的表項(xiàng)調(diào)整方案； 根據(jù)所述表項(xiàng)調(diào)整方案更新所述中間表的表項(xiàng)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所 述中間表的表項(xiàng)調(diào)整方案，包括： 根據(jù)所述提取記錄，統(tǒng)計(jì)所述基礎(chǔ)表中表項(xiàng)的提取頻次； 將提取頻次達(dá)到第一預(yù)設(shè)值的表項(xiàng)，作為所述中間表的待添加表項(xiàng)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所 述中間表的表項(xiàng)調(diào)整方案，包括： 根據(jù)所述提取記錄，統(tǒng)計(jì)所述中間表中表項(xiàng)的提取頻次； 將所述提取頻次低于第二預(yù)設(shè)值的表項(xiàng)，作為所述中間表的待刪除表項(xiàng)。
4. 根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，在根據(jù)所述提取記錄，按照設(shè) 定規(guī)則確定所述中間表的表項(xiàng)調(diào)整方案之后，還包括： 根據(jù)所述表項(xiàng)調(diào)整方案，預(yù)算調(diào)整后新中間表的容量大??； 如果所述容量大小超出表容量預(yù)設(shè)值，則修改所述表項(xiàng)調(diào)整方案，直至預(yù)算的新中間 表容量大小低于表容量預(yù)設(shè)值。
5. 根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，還包括： 監(jiān)測(cè)所述業(yè)務(wù)數(shù)據(jù)處理任務(wù)從所述基礎(chǔ)表和所述中間表中提取數(shù)據(jù)并進(jìn)行處理得到 業(yè)務(wù)數(shù)據(jù)所耗費(fèi)的時(shí)間； 根據(jù)所監(jiān)測(cè)到的時(shí)間，產(chǎn)生中間表調(diào)整建議或所述設(shè)定規(guī)則的調(diào)整建議。
6. 根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述提取記錄包括下述至少 一項(xiàng)記錄： 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求，在所述基礎(chǔ)表中查詢并獲取基礎(chǔ)數(shù)據(jù)的記錄； 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求，在所述中間表中查詢并獲取中間數(shù)據(jù)的記錄； 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求查詢所述中間表，如果所述中間表不存在滿足所述提 取需求的中間數(shù)據(jù)，則根據(jù)所述提取需求在所述基礎(chǔ)表中查詢并獲取基礎(chǔ)數(shù)據(jù)的記錄； 所述業(yè)務(wù)數(shù)據(jù)處理任務(wù)至少包括如下兩種類(lèi)型的任務(wù)： 用于根據(jù)單次的業(yè)務(wù)數(shù)據(jù)處理需求，從基礎(chǔ)表和/或中間表進(jìn)行數(shù)據(jù)提取和處理的第 一種業(yè)務(wù)數(shù)據(jù)處理子任務(wù)； 用于按照設(shè)定周期和/或設(shè)定業(yè)務(wù)數(shù)據(jù)處理需求，從基礎(chǔ)表和/或中間表進(jìn)行數(shù)據(jù)提 取和處理的第二種業(yè)務(wù)數(shù)據(jù)處理子任務(wù)。
7. -種中間表更新裝置，其特征在于，包括： 提取記錄獲取單元，用于獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取 記錄； 表項(xiàng)調(diào)整方案確定單元，用于根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所述中間表的表 項(xiàng)調(diào)整方案； 中間表項(xiàng)更新單元，用于根據(jù)所述表項(xiàng)調(diào)整方案更新所述中間表的表項(xiàng)。
8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述表項(xiàng)調(diào)整方案確定單元包括待添加 項(xiàng)確定子單元，用于： 根據(jù)所述提取記錄，統(tǒng)計(jì)所述基礎(chǔ)表中表項(xiàng)的提取頻次； 將提取頻次達(dá)到第一預(yù)設(shè)值的表項(xiàng)，作為所述中間表的待添加表項(xiàng)。
9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述表項(xiàng)調(diào)整方案確定單元包括待刪除 項(xiàng)確定子單元，用于： 根據(jù)所述提取記錄，統(tǒng)計(jì)所述中間表中表項(xiàng)的提取頻次； 將所述提取頻次低于第二預(yù)設(shè)值的表項(xiàng)，作為所述中間表的待刪除表項(xiàng)。
10. 根據(jù)權(quán)利要求7-9中任一項(xiàng)所述的裝置，其特征在于，還包括表項(xiàng)調(diào)整方案修改單 元，用于： 根據(jù)所述表項(xiàng)調(diào)整方案確定單元得到的表項(xiàng)調(diào)整方案，預(yù)算調(diào)整后新中間表的容量大 小； 如果所述容量大小超出表容量預(yù)設(shè)值，則修改所述表項(xiàng)調(diào)整方案，直至預(yù)算的新中間 表容量大小低于表容量預(yù)設(shè)值。
11. 根據(jù)權(quán)利要求7-9中任一項(xiàng)所述的裝置，其特征在于，還包括調(diào)整建議生成單元， 用于： 監(jiān)測(cè)所述業(yè)務(wù)數(shù)據(jù)處理任務(wù)從所述基礎(chǔ)表和所述中間表中提取數(shù)據(jù)并進(jìn)行處理得到 業(yè)務(wù)數(shù)據(jù)所耗費(fèi)的時(shí)間； 根據(jù)所監(jiān)測(cè)到的時(shí)間，產(chǎn)生中間表調(diào)整建議或所述設(shè)定規(guī)則的調(diào)整建議。
12. 根據(jù)權(quán)利要求7-9中任一項(xiàng)所述的裝置，其特征在于，所述提取記錄包括下述至少 一項(xiàng)記錄： 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求，在所述基礎(chǔ)表中查詢并獲取基礎(chǔ)數(shù)據(jù)的記錄； 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求，在所述中間表中查詢并獲取中間數(shù)據(jù)的記錄； 業(yè)務(wù)數(shù)據(jù)處理任務(wù)根據(jù)提取需求查詢所述中間表，如果所述中間表不存在滿足所述提 取需求的中間數(shù)據(jù)，則根據(jù)所述提取需求在所述基礎(chǔ)表中查詢并獲取基礎(chǔ)數(shù)據(jù)的記錄； 所述業(yè)務(wù)數(shù)據(jù)處理任務(wù)至少包括如下兩種類(lèi)型的任務(wù)： 用于根據(jù)單次的業(yè)務(wù)數(shù)據(jù)處理需求，從基礎(chǔ)表和/或中間表進(jìn)行數(shù)據(jù)提取和處理的第 一種業(yè)務(wù)數(shù)據(jù)處理子任務(wù)； 用于按照設(shè)定周期和/或設(shè)定業(yè)務(wù)數(shù)據(jù)處理需求，從基礎(chǔ)表和/或中間表進(jìn)行數(shù)據(jù)提 取和處理的第二種業(yè)務(wù)數(shù)據(jù)處理子任務(wù)。
【專(zhuān)利摘要】本發(fā)明實(shí)施例公開(kāi)了一種中間表更新方法及裝置。其中，所述方法包括：獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取記錄；根據(jù)所述提取記錄，按照設(shè)定規(guī)則確定所述中間表的表項(xiàng)調(diào)整方案；根據(jù)所述表項(xiàng)調(diào)整方案更新所述中間表的表項(xiàng)。本發(fā)明實(shí)施例提供的技術(shù)方案，以智能的方式，來(lái)獲取業(yè)務(wù)數(shù)據(jù)處理任務(wù)對(duì)基礎(chǔ)表和/或中間表中數(shù)據(jù)的提取情況，并據(jù)此動(dòng)態(tài)調(diào)整中間表中的表項(xiàng)，使得中間表的表項(xiàng)和規(guī)?？梢赃_(dá)到較佳的平衡點(diǎn)，從而提高了中間表調(diào)整的及時(shí)性和準(zhǔn)確性。
【IPC分類(lèi)】G06F17-30
【公開(kāi)號(hào)】CN104615763
【申請(qǐng)?zhí)枴緾N201510080692
【發(fā)明人】董銘, 孫勇義, 劉生
【申請(qǐng)人】百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
【公開(kāi)日】2015年5月13日
【申請(qǐng)日】2015年2月13日