本發(fā)明涉數(shù)據(jù)處理的，尤其涉及一種數(shù)據(jù)處理方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、由于業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)產(chǎn)生的時(shí)間不一致，業(yè)務(wù)數(shù)據(jù)通常采用逐條錄入數(shù)據(jù)庫的方式進(jìn)行存儲(chǔ)，隨著時(shí)間推移，數(shù)據(jù)庫中存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)逐漸增多，導(dǎo)致服務(wù)器存儲(chǔ)壓力變大。當(dāng)用戶查詢部分指標(biāo)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)時(shí)，服務(wù)器需要對(duì)數(shù)據(jù)庫中所有業(yè)務(wù)數(shù)據(jù)的所有數(shù)據(jù)指標(biāo)和數(shù)據(jù)值進(jìn)行遍歷查找，查詢壓力較大。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種數(shù)據(jù)處理方法、裝置、服務(wù)器及存儲(chǔ)介質(zhì)，其主要目的在于提供一種減少數(shù)據(jù)庫存儲(chǔ)數(shù)據(jù)量并提高數(shù)據(jù)庫查詢效率的方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)處理方法，所述方法包括：

3、從數(shù)據(jù)庫獲取預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)，從所述業(yè)務(wù)數(shù)據(jù)中提取預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)，所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)包括業(yè)務(wù)員編碼、業(yè)務(wù)指標(biāo)、指標(biāo)數(shù)據(jù)量、業(yè)務(wù)場(chǎng)景和業(yè)務(wù)產(chǎn)生時(shí)間；

4、根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，從所述業(yè)務(wù)數(shù)據(jù)中提取出所述關(guān)鍵詞表中的每個(gè)關(guān)鍵詞對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)記錄，對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄進(jìn)行聚合，生成以關(guān)鍵詞為主鍵索引的聚合數(shù)據(jù)表；

5、將所述聚合數(shù)據(jù)表存儲(chǔ)至所述數(shù)據(jù)庫，從所述數(shù)據(jù)庫中刪除所述預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)。

6、可選地，所述數(shù)據(jù)處理方法還包括：

7、接收客戶端對(duì)所述數(shù)據(jù)庫的數(shù)據(jù)查詢指令，提取所述數(shù)據(jù)查詢指令中的關(guān)鍵詞字段和時(shí)間字段；

8、以所述關(guān)鍵詞字段包含的關(guān)鍵詞為主鍵索引從所述數(shù)據(jù)庫存儲(chǔ)的聚合數(shù)據(jù)表中查詢出所述時(shí)間字段對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，反饋給所述客戶端。

9、可選地，所述數(shù)據(jù)處理方法還包括：

10、若從所述聚合數(shù)據(jù)表未查詢到所述時(shí)間字段對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，則判斷所述時(shí)間字段對(duì)應(yīng)的時(shí)間是否在所述預(yù)設(shè)時(shí)間段內(nèi)；

11、若否，則根據(jù)所述關(guān)鍵詞字段和所述時(shí)間字段從所述數(shù)據(jù)庫中聚合數(shù)據(jù)表以外的業(yè)務(wù)數(shù)據(jù)中查詢對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，反饋給所述客戶端。

12、可選地，所述根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，包括：

13、獲取所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)中業(yè)務(wù)指標(biāo)的字段和業(yè)務(wù)場(chǎng)景的字段；

14、將所述業(yè)務(wù)指標(biāo)的字段和所述業(yè)務(wù)場(chǎng)景的字段作為關(guān)鍵詞構(gòu)建關(guān)鍵詞表。

15、可選地，在將所述業(yè)務(wù)指標(biāo)的字段和所述業(yè)務(wù)場(chǎng)景的字段作為關(guān)鍵詞構(gòu)建關(guān)鍵詞表之后，還包括：

16、獲取所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)中業(yè)務(wù)指標(biāo)的新增字段和業(yè)務(wù)場(chǎng)景的新增字段；

17、將所述業(yè)務(wù)指標(biāo)的新增字段和所述業(yè)務(wù)場(chǎng)景的新增字段作為新增關(guān)鍵詞更新至所述關(guān)鍵詞表。

18、可選地，所述根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，包括：

19、獲取所述數(shù)據(jù)庫的歷史查詢數(shù)據(jù)；

20、統(tǒng)計(jì)所述歷史查詢數(shù)據(jù)中各個(gè)查詢字段的出現(xiàn)次數(shù)得到高頻查詢字段；

21、將屬于所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)的高頻查詢字段作為關(guān)鍵詞構(gòu)建關(guān)鍵詞表。

22、可選地，所述對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄進(jìn)行聚合，生成以關(guān)鍵詞為主鍵索引的聚合數(shù)據(jù)表，包括：

23、對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄按照業(yè)務(wù)數(shù)據(jù)產(chǎn)生時(shí)間進(jìn)行統(tǒng)計(jì)得到日期和月份；

24、將業(yè)務(wù)數(shù)據(jù)產(chǎn)生時(shí)間相同的業(yè)務(wù)數(shù)據(jù)記錄的業(yè)務(wù)員編碼進(jìn)行聚合得到業(yè)務(wù)員編碼合集；

25、將業(yè)務(wù)數(shù)據(jù)產(chǎn)生時(shí)間相同的業(yè)務(wù)數(shù)據(jù)記錄的業(yè)務(wù)員編碼和指標(biāo)數(shù)據(jù)量進(jìn)行聚合得到業(yè)務(wù)數(shù)據(jù)序列；

26、根據(jù)所述關(guān)鍵詞、所述業(yè)務(wù)員編碼合集、所述業(yè)務(wù)數(shù)據(jù)序列、所述日期和所述月份，生成以所述關(guān)鍵詞作為主鍵索引的聚合數(shù)據(jù)表。

27、為了解決上述問題，本發(fā)明還提供一種數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置包括：

28、數(shù)據(jù)獲取模塊，用于從數(shù)據(jù)庫獲取預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)，從所述業(yè)務(wù)數(shù)據(jù)中提取預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)，所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)包括業(yè)務(wù)員編碼、業(yè)務(wù)指標(biāo)、指標(biāo)數(shù)據(jù)量、業(yè)務(wù)場(chǎng)景和業(yè)務(wù)產(chǎn)生時(shí)間；

29、數(shù)據(jù)聚合模塊，用于根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，從所述業(yè)務(wù)數(shù)據(jù)中提取出所述關(guān)鍵詞表中的每個(gè)關(guān)鍵詞對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)記錄，對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄進(jìn)行聚合，生成以關(guān)鍵詞為主鍵索引的聚合數(shù)據(jù)表；

30、數(shù)據(jù)更新模塊，用于將所述聚合數(shù)據(jù)表存儲(chǔ)至所述數(shù)據(jù)庫，從所述數(shù)據(jù)庫中刪除所述預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)。

31、為了解決上述問題，本發(fā)明還提供一種服務(wù)器，所述服務(wù)器包括：

32、至少一個(gè)處理器；以及，

33、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

34、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的數(shù)據(jù)處理方法。

35、為了解決上述問題，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述的數(shù)據(jù)處理方法。

36、本發(fā)明通過將業(yè)務(wù)系統(tǒng)查詢頻率較高的業(yè)務(wù)指標(biāo)和業(yè)務(wù)場(chǎng)景作為關(guān)鍵詞，以關(guān)鍵詞作為主鍵索引進(jìn)行業(yè)務(wù)數(shù)據(jù)聚合構(gòu)建聚合數(shù)據(jù)表，減少了數(shù)據(jù)查詢時(shí)關(guān)鍵詞對(duì)應(yīng)的數(shù)據(jù)條數(shù)，提高了數(shù)據(jù)查詢效率，聚合數(shù)據(jù)表相較于未處理的業(yè)務(wù)數(shù)據(jù)降低了存儲(chǔ)數(shù)據(jù)量，減少了數(shù)據(jù)庫所在的服務(wù)器的存儲(chǔ)壓力和查詢壓力，提高了服務(wù)器性能。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理方法還包括：

3.如權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理方法還包括：

4.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，包括：

5.如權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，在將所述業(yè)務(wù)指標(biāo)的字段和所述業(yè)務(wù)場(chǎng)景的字段作為關(guān)鍵詞構(gòu)建關(guān)鍵詞表之后，還包括：

6.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，包括：

7.如權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄進(jìn)行聚合，生成以關(guān)鍵詞為主鍵索引的聚合數(shù)據(jù)表，包括：

8.一種數(shù)據(jù)處理裝置，其特征在于，所述數(shù)據(jù)處理裝置包括：

9.一種服務(wù)器，其特征在于，所述服務(wù)器包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，提供了一種數(shù)據(jù)處理方法，包括：從數(shù)據(jù)庫獲取預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)，從業(yè)務(wù)數(shù)據(jù)中提取預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)；根據(jù)預(yù)設(shè)業(yè)務(wù)的相關(guān)參數(shù)構(gòu)建關(guān)鍵詞表，從業(yè)務(wù)數(shù)據(jù)中提取出關(guān)鍵詞表中的每個(gè)關(guān)鍵詞對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)記錄，對(duì)每個(gè)關(guān)鍵詞對(duì)應(yīng)的所有業(yè)務(wù)數(shù)據(jù)記錄進(jìn)行聚合，生成以關(guān)鍵詞為主鍵索引的聚合數(shù)據(jù)表；將聚合數(shù)據(jù)表存儲(chǔ)至數(shù)據(jù)庫，從數(shù)據(jù)庫中刪除預(yù)設(shè)時(shí)間段的業(yè)務(wù)數(shù)據(jù)。本發(fā)明的數(shù)據(jù)處理方法減少了數(shù)據(jù)查詢時(shí)關(guān)鍵詞對(duì)應(yīng)的數(shù)據(jù)條數(shù)，提高了數(shù)據(jù)查詢效率，降低了存儲(chǔ)數(shù)據(jù)量，減少了數(shù)據(jù)庫所在的服務(wù)器的存儲(chǔ)壓力和查詢壓力，提高了服務(wù)器性能。

技術(shù)研發(fā)人員：牛煜超
受保護(hù)的技術(shù)使用者：平安銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5