本技術(shù)涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種面向代理模型的推理查詢重優(yōu)化方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)：

1、近年來，隨著大數(shù)據(jù)和人工智能技術(shù)的飛速發(fā)展，數(shù)據(jù)規(guī)模不斷增長，數(shù)據(jù)分析的過程也變的越來越復(fù)雜，通常涉及到復(fù)雜的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)，從而從海量數(shù)據(jù)中挖掘出知識。數(shù)據(jù)分析的過程以查詢的形式體現(xiàn)，而復(fù)雜的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型被封裝在用戶自定義函數(shù)（user-defined?functions，udfs）中。

2、傳統(tǒng)的推理查詢方法，往往只規(guī)劃一次查詢計(jì)劃。而在查詢開始之前生成的固定查詢計(jì)劃，很可能會隨著時間的變化而產(chǎn)生性能衰減。為此，需要引入重優(yōu)化機(jī)制。在大規(guī)模數(shù)據(jù)上，處理復(fù)雜的機(jī)器學(xué)習(xí)udf查詢通常非常耗時，因此傳統(tǒng)的查詢優(yōu)化方法通常只能在有限程度上優(yōu)化udf過濾查詢的執(zhí)行。比如，謂詞下推（predicate?pushdown）方法只能將查詢謂詞下推到生成相應(yīng)標(biāo)簽列的機(jī)器學(xué)習(xí)udf之后，機(jī)器學(xué)習(xí)udf依然需要處理全部輸入數(shù)據(jù)，因?yàn)檫^濾器需要機(jī)器學(xué)習(xí)udf生成相應(yīng)的類別標(biāo)簽，從而選擇相應(yīng)的類別。重排（reordering）技術(shù)根據(jù)機(jī)器學(xué)習(xí)udf的執(zhí)行代價（cost）以及選擇率（selectivity）找到最優(yōu)的順序，但是第一個udf依然需要處理所有輸入數(shù)據(jù)。

3、近年來，為了優(yōu)化udf過濾查詢的執(zhí)行，相關(guān)技術(shù)在耗時的udf之前級聯(lián)兩種輕量級的模型，稱之為代理模型，從而降低后序耗時的udf需要處理的數(shù)據(jù)量，降低整個查詢需要處理的時間。為了降低整個查詢處理的時間，更細(xì)粒度地為每個udf過濾器都訓(xùn)練一個輕量級的代理模型，并且將這些輕量級的代理模型級聯(lián)在第一個udf之前。為了能夠充分利用不同udf過濾器之間的相關(guān)性，重新訓(xùn)練代理模型。但是，代理模型重訓(xùn)練會帶來較大計(jì)算開銷。

4、目前，針對相關(guān)技術(shù)中，面向代理模型的推理查詢重優(yōu)化方法存在較大計(jì)算開銷的問題，還未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠降低計(jì)算開銷的面向代理模型的推理查詢重優(yōu)化方法、裝置、設(shè)備和介質(zhì)。

2、第一方面，本技術(shù)提供了一種面向代理模型的推理查詢重優(yōu)化方法，包括：

3、基于第一查詢計(jì)劃，將當(dāng)前批次數(shù)據(jù)輸入至推理模型進(jìn)行處理，得到所需查詢的數(shù)據(jù)；其中，所述推理模型包括代理模型和機(jī)器學(xué)習(xí)模型；

4、在執(zhí)行所述第一查詢計(jì)劃的過程中，監(jiān)測統(tǒng)計(jì)信息；其中，所述統(tǒng)計(jì)信息包括系統(tǒng)資源或者查詢計(jì)劃選擇率；

5、在監(jiān)測到所述統(tǒng)計(jì)信息的變化超出閾值的情況下，基于第二查詢計(jì)劃，將歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練；其中，所述歷史數(shù)據(jù)包括在當(dāng)前批次數(shù)據(jù)之前輸入至所述推理模型處理后攜帶上標(biāo)簽的數(shù)據(jù)。

6、在其中一個實(shí)施例中，在監(jiān)測到所述統(tǒng)計(jì)信息的變化超出閾值的情況下，基于第二查詢計(jì)劃，將歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練，包括：

7、在監(jiān)測到所述系統(tǒng)資源的變化超出閾值的情況下，將所述歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練。

8、在其中一個實(shí)施例中，在監(jiān)測到所述統(tǒng)計(jì)信息的變化超出閾值的情況下，基于第二查詢計(jì)劃，將歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練，包括：

9、在監(jiān)測到所述查詢計(jì)劃選擇率的變化超出閾值的情況下，在所述歷史數(shù)據(jù)中選擇與所述當(dāng)前批次數(shù)據(jù)相似的目標(biāo)數(shù)據(jù)；

10、將所述目標(biāo)數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練。

11、在其中一個實(shí)施例中，將所述目標(biāo)數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練，包括：

12、若所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)量小于所述當(dāng)前批次數(shù)據(jù)的數(shù)據(jù)量，則在所述當(dāng)前批次數(shù)據(jù)中讀取部分?jǐn)?shù)據(jù)至所述目標(biāo)數(shù)據(jù)中，使得所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)量不低于所述當(dāng)前批次數(shù)據(jù)的數(shù)據(jù)量。

13、在其中一個實(shí)施例中，在監(jiān)測到所述系統(tǒng)資源的變化超出閾值的情況下，將所述歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練，包括：

14、基于所述第二查詢計(jì)劃中的目標(biāo)準(zhǔn)確率確定多個精度組合；其中，各所述精度組合包含多個所述代理模型的精度值；

15、獲取由待重訓(xùn)練的多個第一代理模型的精度值組合得到的第一精度組合，并判斷是否存在與所述第一精度組合具有公共前綴的第二精度組合；其中，所述第二精度組合由已經(jīng)重訓(xùn)練的多個第二代理模型的精度值組合得到，所述公共前綴包括至少一個相同的精度；

16、在判斷到存在與所述第一精度組合具有公共前綴的第二精度組合的情況下，將對應(yīng)于所述公共前綴部分的第一代理模型替換為相應(yīng)的所述第二代理模型，并將所述歷史數(shù)據(jù)輸入至其余的所述第一代理模型進(jìn)行重訓(xùn)練。

17、在其中一個實(shí)施例中，在監(jiān)測到所述統(tǒng)計(jì)信息的變化超出閾值的情況下，所述方法還包括：

18、將多個候選查詢計(jì)劃輸入至深度學(xué)習(xí)模型，基于所述深度學(xué)習(xí)模型預(yù)估各所述候選查詢計(jì)劃在所述當(dāng)前批次數(shù)據(jù)上的執(zhí)行時間，并從中確定最短執(zhí)行時間的候選查詢計(jì)劃為所述第二查詢計(jì)劃。

19、在其中一個實(shí)施例中，在將當(dāng)前批次數(shù)據(jù)輸入至推理模型之前，所述方法還包括：

20、基于不同的搜索路徑、不同批次數(shù)據(jù)、不同系統(tǒng)資源，確定多個預(yù)設(shè)查詢計(jì)劃；

21、執(zhí)行所述預(yù)設(shè)查詢計(jì)劃，獲取執(zhí)行結(jié)果；其中，所述執(zhí)行結(jié)果包括以下至少之一：準(zhǔn)確率、選擇率、篩掉率、時間代價；

22、基于所述預(yù)設(shè)查詢計(jì)劃和所述執(zhí)行結(jié)果，生成訓(xùn)練數(shù)據(jù)；

23、基于所述訓(xùn)練數(shù)據(jù)訓(xùn)練所述深度學(xué)習(xí)模型。

24、第二方面，本技術(shù)還提供了一種面向代理模型的推理查詢重優(yōu)化裝置，所述裝置包括：

25、查詢模塊，用于基于第一查詢計(jì)劃，將當(dāng)前批次數(shù)據(jù)輸入至推理模型進(jìn)行處理，得到所需查詢的數(shù)據(jù)；其中，所述推理模型包括代理模型和機(jī)器學(xué)習(xí)模型；

26、監(jiān)測模塊，用于在執(zhí)行所述第一查詢計(jì)劃的過程中，監(jiān)測統(tǒng)計(jì)信息；其中，所述統(tǒng)計(jì)信息包括系統(tǒng)資源或者查詢計(jì)劃選擇率；

27、重優(yōu)化模塊，用于在監(jiān)測到所述統(tǒng)計(jì)信息的變化超出閾值的情況下，基于第二查詢計(jì)劃，將歷史數(shù)據(jù)輸入至所述代理模型進(jìn)行重訓(xùn)練；其中，所述歷史數(shù)據(jù)包括在當(dāng)前批次數(shù)據(jù)之前輸入至所述推理模型處理后攜帶上標(biāo)簽的數(shù)據(jù)。

28、第三方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)上述第一方面所述的方法的步驟。

29、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述第一方面所述的方法的步驟。

30、上述面向代理模型的推理查詢重優(yōu)化方法、裝置、設(shè)備和介質(zhì)，通過在執(zhí)行查詢計(jì)劃的過程中，以系統(tǒng)資源或者查詢計(jì)劃選擇率作為統(tǒng)計(jì)信息，并監(jiān)測統(tǒng)計(jì)信息，在監(jiān)測到統(tǒng)計(jì)信息突變的情況下，基于新的查詢計(jì)劃重訓(xùn)練代理模型，使得查詢計(jì)劃能夠隨著查詢涉及的數(shù)據(jù)分布、系統(tǒng)資源等因素的變化做出調(diào)整，避免傳統(tǒng)技術(shù)中只規(guī)劃一次查詢計(jì)劃的方法的弊端；同時，在重訓(xùn)練代理模型的過程中復(fù)用歷史數(shù)據(jù)，這樣可以避免使用機(jī)器學(xué)習(xí)模型對數(shù)據(jù)重新打標(biāo)所導(dǎo)致的重優(yōu)化開銷，從而降低重訓(xùn)練代理模型產(chǎn)生的計(jì)算開銷，提升重訓(xùn)練效率。