本申請涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種預(yù)測模型的質(zhì)量評價(jià)方法；相應(yīng)于上述方法，本申請同時(shí)涉及一種預(yù)測模型的質(zhì)量評價(jià)裝置以及電子設(shè)備，以及另外三種預(yù)測模型的質(zhì)量評價(jià)方法和裝置。

背景技術(shù)：

隨著機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展與普及，越來越多的領(lǐng)域采用通過機(jī)器學(xué)習(xí)算法生成的預(yù)測模型對具體業(yè)務(wù)的實(shí)施進(jìn)行指導(dǎo)，即：采用數(shù)據(jù)化運(yùn)營方式替代人工運(yùn)行方式做決策。例如，通過商品審核模型確定哪些商品能夠參加聚劃算活動、通過商品庫存的預(yù)測模型對某個(gè)商品在各個(gè)倉庫的配備比例進(jìn)行指導(dǎo)等。區(qū)別于傳統(tǒng)的人工運(yùn)營方式，數(shù)據(jù)化運(yùn)營通過預(yù)測模型對業(yè)務(wù)進(jìn)行指導(dǎo)，從而實(shí)現(xiàn)全程無人工干預(yù)的高效運(yùn)行方式。

預(yù)測模型都是基于一些預(yù)測算法結(jié)合歷史相關(guān)數(shù)據(jù)訓(xùn)練得到的，預(yù)測模型的質(zhì)量將對業(yè)務(wù)實(shí)施的效果產(chǎn)生極大影響。具體而言，高質(zhì)量的預(yù)測模型能夠準(zhǔn)確的對業(yè)務(wù)進(jìn)行指導(dǎo)，反之，質(zhì)量較差的預(yù)測模型對業(yè)務(wù)的指導(dǎo)可能是完全錯(cuò)誤的。可見，預(yù)測模型的質(zhì)量評測是一個(gè)需要解決的問題，即：如果評估預(yù)測模型的實(shí)施效果。一個(gè)有效的預(yù)測模型質(zhì)量評測方法，既能夠?qū)︻A(yù)測模型的質(zhì)量進(jìn)行評測，還能夠?qū)︻A(yù)測模型的調(diào)整進(jìn)行指導(dǎo)。

現(xiàn)有的預(yù)測模型評測方法一般都是通過觀察實(shí)際業(yè)務(wù)效果(即：業(yè)務(wù)上線效果)來評判預(yù)測模型的。在實(shí)際業(yè)務(wù)效果與預(yù)測模型具有直接對應(yīng)關(guān)系的前提下，從模型實(shí)施到最終看到實(shí)際業(yè)務(wù)效果通常需要等待一段漫長的時(shí)間。因此，現(xiàn)有預(yù)測模型評測方法存在無法在模型實(shí)施前即可對其進(jìn)行質(zhì)量評價(jià)的問題。

技術(shù)實(shí)現(xiàn)要素：

本申請?zhí)峁┮环N預(yù)測模型的質(zhì)量評價(jià)方法，以解決現(xiàn)有技術(shù)下無法在模型 實(shí)施前對其進(jìn)行質(zhì)量評價(jià)的問題。本申請另外提供一種預(yù)測模型的質(zhì)量評價(jià)裝置以及電子設(shè)備，以及另外三種預(yù)測模型的質(zhì)量評價(jià)方法和裝置。

本申請?zhí)峁┮环N預(yù)測模型的質(zhì)量評價(jià)方法，包括：

獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集；

根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種所述基于歷史數(shù)據(jù)的模型評測算法分別對待評價(jià)模型的評測結(jié)果；

根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果；

將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

可選的，所述基于歷史數(shù)據(jù)的模型評測算法包括：

獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集；

根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度；

針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集；

根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值；

根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評測結(jié)果。

可選的，所述基于歷史數(shù)據(jù)的模型評測算法包括：

針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)；

以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序， 獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表；

通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序列表的相似度；

根據(jù)所述相似度，確定所述待評價(jià)模型的評測結(jié)果。

可選的，所述基于歷史數(shù)據(jù)的模型評測算法包括：

針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為基準(zhǔn)模型的輸入，通過所述基準(zhǔn)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷史業(yè)務(wù)對象集；

生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集；

根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值；

根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述基準(zhǔn)模型的評價(jià)得分；

根據(jù)所述待評價(jià)模型的評價(jià)得分和所述基準(zhǔn)模型的評價(jià)得分，確定所述待評價(jià)模型的評測結(jié)果。

可選的，所述預(yù)設(shè)決策算法采用投票決策算法、統(tǒng)計(jì)值決策算法、或加權(quán)決策算法。

可選的，所述投票決策算法包括：

通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分；

根據(jù)所述各個(gè)評測結(jié)果的歸一化得分和與各個(gè)所述模型評測算法分別對應(yīng)的預(yù)設(shè)的最小歸一化得分閾值，獲取通過質(zhì)量評測的結(jié)果數(shù)量；

若所述結(jié)果數(shù)量大于最小投票數(shù)閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

可選的，所述統(tǒng)計(jì)值決策算法包括：

通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分；

若所述歸一化得分的統(tǒng)計(jì)值大于最小統(tǒng)計(jì)值閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

可選的，所述統(tǒng)計(jì)值包括平均值。

可選的，所述加權(quán)決策算法包括：

通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分；

根據(jù)為各個(gè)所述模型評測算法得到的評測結(jié)果分別預(yù)設(shè)的權(quán)重，生成所述歸一化得分的綜合得分；

若所述綜合得分大于最小綜合得分閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

可選的，所述基于歷史數(shù)據(jù)的預(yù)設(shè)評測算法包括為所述待評價(jià)模型定制的特定評測算法。

可選的，所述至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法是可配置的。

可選的，還包括：

設(shè)置所述方法應(yīng)用的所述至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法。

可選的，所述預(yù)設(shè)決策算法是可配置的。

相對應(yīng)的，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：

歷史數(shù)據(jù)獲取單元，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集；

評測單元，用于根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種所述基于歷史數(shù)據(jù)的模型評測算法分別對待評價(jià)模型的評測結(jié)果；

決策單元，用于根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果；

判定單元，用于將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

相對應(yīng)的，本申請還提供一種電子設(shè)備，包括：

顯示器；

處理器；以及

存儲器，用于存儲實(shí)現(xiàn)預(yù)測模型的質(zhì)量評價(jià)方法的程序，該設(shè)備通電并運(yùn)行該預(yù)測模型的質(zhì)量評價(jià)方法的程序后，執(zhí)行下述步驟：獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集；根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種所述基于歷史數(shù)據(jù)的模型評測算法分別對待評價(jià)模型的評測結(jié)果；根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果；將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

此外，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)方法，包括：

獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；

針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)；

以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表；

通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序列表的相似度；

根據(jù)所述相似度，確定所述待評價(jià)模型的評價(jià)結(jié)果。

相對應(yīng)的，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：

歷史數(shù)據(jù)獲取單元，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；

模型預(yù)測單元，用于針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)；

排序單元，用于以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表；

相似度計(jì)算單元，用于通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序列表的相似度；

評價(jià)結(jié)果判定單元，用于根據(jù)所述相似度，確定所述待評價(jià)模型的評價(jià)結(jié)果。

此外，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)方法，包括：

獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集；以及獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，作為歷史業(yè)務(wù)對象集；

根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度；

針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集；

根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值；

根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評價(jià)結(jié)果。

相對應(yīng)的，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：

數(shù)據(jù)獲取單元，用于獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集；以及獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，作為歷史業(yè)務(wù)對象集；

相似度計(jì)算單元，用于根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度；

映射單元，用于針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集；

平均實(shí)施效果數(shù)據(jù)計(jì)算單元，用于根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值；

評價(jià)結(jié)果判定單元，用于根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評價(jià)結(jié)果。

此外，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)方法，包括：

獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；

針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第一待評價(jià)模型的輸入，通過所述第一待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第二待評價(jià)模型的輸入，通過所述第二待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷史業(yè)務(wù)對象集；

生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集；

根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值；

根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第一待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第二待評價(jià)模型的評價(jià)得分；

根據(jù)所述評價(jià)得分，按預(yù)設(shè)選取規(guī)則確定預(yù)測用模型。

可選的，所述預(yù)設(shè)選取規(guī)則包括：

將所述評價(jià)得分大的待評價(jià)模型作為預(yù)測用模型。

可選的，所述統(tǒng)計(jì)值包括平均值。

相對應(yīng)的，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：

歷史數(shù)據(jù)獲取單元，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；

模型預(yù)測單元，用于針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第一待評價(jià)模型的輸入，通過所述第一待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第二待評價(jià)模型的輸入，通過所述第二待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷史業(yè)務(wù)對象集；

相對補(bǔ)集生成單元，用于生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集；

統(tǒng)計(jì)值計(jì)算單元，用于根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值；

評價(jià)得分獲取單元，用于根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第一待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第二待評價(jià)模型的評價(jià)得分；

模型選取單元，用于根據(jù)所述評價(jià)得分，按預(yù)設(shè)選取規(guī)則確定預(yù)測用模型。

與現(xiàn)有技術(shù)相比，本申請?zhí)峁┑念A(yù)測模型的質(zhì)量評價(jià)方法，根據(jù)具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的評測算法，獲取各個(gè)基于歷史數(shù)據(jù)的評測算法分別對待評價(jià)模型的評測結(jié)果，然后，根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取待評價(jià)模型的決策結(jié)果，再將決策結(jié)果作為待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

使用本申請?zhí)峁┑念A(yù)測模型的質(zhì)量評價(jià)方法，能夠在待評價(jià)模型實(shí)施前，根據(jù)具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象對待評價(jià)模型進(jìn)行質(zhì)量評價(jià)，從而達(dá)到提高運(yùn)營效率的效果。

附圖說明

圖1是本申請?zhí)峁┑囊环N預(yù)測模型的質(zhì)量評價(jià)方法的實(shí)施例的流程圖；

圖2是本申請?zhí)峁┑囊环N預(yù)測模型的質(zhì)量評價(jià)裝置的實(shí)施例的示意圖；

圖3是本申請?zhí)峁┑囊环N電子設(shè)備的實(shí)施例的示意圖；

圖4是本申請?zhí)峁┑牡诙N預(yù)測模型的質(zhì)量評價(jià)方法的實(shí)施例的流程圖；

圖5是本申請?zhí)峁┑牡诙N預(yù)測模型的質(zhì)量評價(jià)裝置的實(shí)施例的示意圖；

圖6是本申請?zhí)峁┑牡谌N預(yù)測模型的質(zhì)量評價(jià)方法的實(shí)施例的流程圖；

圖7是本申請?zhí)峁┑牡谌N預(yù)測模型的質(zhì)量評價(jià)裝置的實(shí)施例的示意圖；

圖8是本申請?zhí)峁┑牡谒姆N預(yù)測模型的質(zhì)量評價(jià)方法的實(shí)施例的流程圖；

圖9是本申請?zhí)峁┑牡谒姆N預(yù)測模型的質(zhì)量評價(jià)裝置的實(shí)施例的示意圖。

具體實(shí)施方式

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本申請。但是本申請能夠以很多不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本申請內(nèi)涵的情況下做類似推廣，因此本申請不受下面公開的具體實(shí)施的限制。

在本申請中，分別提供了一種預(yù)測模型的質(zhì)量評價(jià)方法、裝置及電子設(shè)備，以及另外三種預(yù)測模型的質(zhì)量評價(jià)方法和裝置，在下面的實(shí)施例中逐一進(jìn)行詳細(xì)說明。

本申請?zhí)峁┑牡谝环N預(yù)測模型的質(zhì)量評價(jià)方法，其核心的基本思想為：根據(jù)具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各個(gè)模型評測算法分別對待評價(jià)模型的評測結(jié)果；然后，根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取待評價(jià)模型的決策結(jié)果，該決策結(jié)果作為待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

請參考圖1，其為本申請?zhí)峁┑囊环N預(yù)測模型的質(zhì)量評價(jià)方法的實(shí)施例的流 程圖。所述方法包括如下步驟：

步驟s101：獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集。

本申請?zhí)峁┑念A(yù)測模型的質(zhì)量評價(jià)方法，在待評價(jià)模型實(shí)際實(shí)施前，根據(jù)具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象對待評價(jià)模型進(jìn)行質(zhì)量評價(jià)。

所述的待評價(jià)模型是指，通過機(jī)器學(xué)習(xí)算法從歷史業(yè)務(wù)數(shù)據(jù)中學(xué)習(xí)獲得的預(yù)測模型，例如，聚劃算競拍業(yè)務(wù)應(yīng)用的商品審核模型，該模型根據(jù)報(bào)名參加聚劃算競拍業(yè)務(wù)的商品的特征數(shù)據(jù)對商品進(jìn)行審核，通過對商品的單坑產(chǎn)出進(jìn)行預(yù)測以確定最終能夠參加聚劃算活動的商品。

所述的具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象是指，已經(jīng)通過歷史審核、并實(shí)際實(shí)施過的業(yè)務(wù)對象。例如，在聚劃算競拍業(yè)務(wù)中，通過人工或歷史版本的商品審核模型審核的商品，這些商品已經(jīng)實(shí)際參與了聚劃算活動，并已有實(shí)際產(chǎn)出數(shù)據(jù)(如：該商品參與聚劃算活動期間產(chǎn)生的銷售額)，這樣的商品即為所述具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，其中所述實(shí)際實(shí)施效果數(shù)據(jù)即為商品參與聚劃算活動期間產(chǎn)生的銷售額等。

所述的具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象通常存儲在數(shù)據(jù)庫中。本步驟具體的實(shí)施方式可以為：從相關(guān)業(yè)務(wù)數(shù)據(jù)庫中查詢獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，根據(jù)獲取到的具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集。

需要注意的是，在實(shí)際應(yīng)用中，需要考慮所述歷史業(yè)務(wù)對象的時(shí)效性。為了保證評價(jià)結(jié)果的準(zhǔn)確性，需要對具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象進(jìn)行選取，例如，可選取在預(yù)設(shè)時(shí)間范圍內(nèi)(如7天內(nèi))產(chǎn)生實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象。此外，為了減少執(zhí)行本申請的方法對運(yùn)算等資源的消耗，還可從歷史業(yè)務(wù)對象的數(shù)量上進(jìn)行控制。

步驟s103：根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各個(gè)所述基于歷史數(shù)據(jù)的模型評測算法分別對待評價(jià)模型的評測結(jié)果。

通過上一步驟獲取到所述歷史業(yè)務(wù)對象后，本步驟根據(jù)這些歷史業(yè)務(wù)對象，采用多種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種模型評測算法分別對待評價(jià)模型的評測結(jié)果。

下面給出三種可通用的模型評測算法，在實(shí)際應(yīng)用中，可將這些算法任意組合，以對待評價(jià)模型進(jìn)行綜合評測。

1)評測算法一

該算法的核心思想為：使用待評價(jià)模型對未實(shí)際實(shí)施過的業(yè)務(wù)對象進(jìn)行模擬審核(預(yù)測)，對于審核通過但未實(shí)際實(shí)施過的業(yè)務(wù)對象，通過找到這些業(yè)務(wù)對象與具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象的映射關(guān)系(根據(jù)相似度形成映射關(guān)系)，用歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)，評估審核通過但未實(shí)際實(shí)施過的業(yè)務(wù)對象的實(shí)施效果。

以上述聚劃算競拍業(yè)務(wù)應(yīng)用的商品審核模型為例，首先使用該模型對已報(bào)名商品進(jìn)行模擬審核，對于審核通過但未實(shí)際開團(tuán)的商品，通過找到與線上真實(shí)開團(tuán)商品的映射關(guān)系，用線上開團(tuán)商品的實(shí)際單坑產(chǎn)出，評估審核通過的未開團(tuán)商品的產(chǎn)出效果。

該算法在具體實(shí)施時(shí)可包括如下步驟：

步驟s201：獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集。

所述的通過待評價(jià)模型審核的業(yè)務(wù)對象包括當(dāng)不限于：還未實(shí)際實(shí)施過的業(yè)務(wù)對象(即：還不具有實(shí)際實(shí)施效果數(shù)據(jù)的業(yè)務(wù)對象)。

獲取通過待評價(jià)模型審核的業(yè)務(wù)對象的過程可如下所述：首先根據(jù)預(yù)設(shè)的選取規(guī)則選取未實(shí)際實(shí)施過的業(yè)務(wù)對象，然后通過待評價(jià)模型對選取的各個(gè)業(yè)務(wù)對象分別進(jìn)行審核，最終可獲取所述的通過待評價(jià)模型審核的業(yè)務(wù)對象。

以上述聚劃算競拍業(yè)務(wù)應(yīng)用的商品審核模型為例，在上述獲取通過待評價(jià)模型審核的業(yè)務(wù)對象的過程中，所述的未實(shí)際實(shí)施過的業(yè)務(wù)對象可為已報(bào)名參加聚劃算競拍業(yè)務(wù)的商品。所述的預(yù)設(shè)的選取規(guī)則可包括與業(yè)務(wù)對象的時(shí)間相關(guān)的選取規(guī)則，或者與選取的業(yè)務(wù)對象的數(shù)量相關(guān)的選取規(guī)則，例如，選取規(guī)則為最近一周報(bào)名的100個(gè)商品等。

步驟s203：根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度。

通過上一步驟獲取到通過待評價(jià)模型審核的業(yè)務(wù)對象后，對于通過審核的每一個(gè)業(yè)務(wù)對象，根據(jù)業(yè)務(wù)對象的特征數(shù)據(jù)，計(jì)算該業(yè)務(wù)對象與步驟s101獲取 的每一個(gè)歷史業(yè)務(wù)對象之間的相似度。其中，所述相似度根據(jù)業(yè)務(wù)對象的特征數(shù)據(jù)計(jì)算獲取。

所述的業(yè)務(wù)對象的特征數(shù)據(jù)是指，對業(yè)務(wù)對象的審核結(jié)果產(chǎn)生影響的業(yè)務(wù)對象的屬性，例如，衡量一個(gè)商品是否能夠參加聚劃算活動的商品特征數(shù)據(jù)包括該商品的質(zhì)量、銷售該商品的商家信譽(yù)等與商品有關(guān)的數(shù)據(jù)。

所述的相似度是指兩個(gè)業(yè)務(wù)對象之間的相似程度，相似度度量的值越小，說明個(gè)體間相似度越小，差異越大?？蓱?yīng)用的相似度算法包括但不限于：向量空間余弦相似度、皮爾森相關(guān)系數(shù)或jaccard相似系數(shù)等算法。

步驟s205：針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集。

通過上一步驟獲取到每一個(gè)通過模型審核的業(yè)務(wù)對象與每一個(gè)歷史業(yè)務(wù)對象之間的相似度。本步驟根據(jù)計(jì)算獲得的相似度，從歷史業(yè)務(wù)對象集內(nèi)選取與通過模型審核的各個(gè)業(yè)務(wù)對象最為相似(即相似度值最大)的歷史業(yè)務(wù)對象，形成與通過模型審核的業(yè)務(wù)對象集相對應(yīng)的業(yè)務(wù)對象映射集。

在具體實(shí)施時(shí)，歷史業(yè)務(wù)對象集包括的業(yè)務(wù)對象數(shù)量通常大于通過模型審核的業(yè)務(wù)對象集包括的業(yè)務(wù)對象數(shù)量，以保證評測結(jié)果的準(zhǔn)確度。

步驟s207：根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值。

本算法的核心思想是用歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)，評估審核通過但未實(shí)際實(shí)施過的業(yè)務(wù)對象的實(shí)施效果。本步驟即根據(jù)上一步驟生成的業(yè)務(wù)對象映射集包括的各個(gè)歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)，計(jì)算獲取該業(yè)務(wù)對象映射集包括的各個(gè)歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)的平均值。

步驟s209：根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評測結(jié)果。

由于業(yè)務(wù)對象映射集包括的歷史業(yè)務(wù)對象與通過模型審核的業(yè)務(wù)對象集包括的業(yè)務(wù)對象最為相似，因此，可用所述的業(yè)務(wù)對象映射集對應(yīng)的實(shí)際實(shí)施效果數(shù)據(jù)的平均值，評估所述的通過模型審核的業(yè)務(wù)對象集對應(yīng)的實(shí)施效果。

本步驟根據(jù)上一步驟獲得的實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成待評價(jià)模型的評測結(jié)果。

在具體實(shí)施時(shí)，可采用如下公式生成待評價(jià)模型的評測結(jié)果：

其中，score為待評價(jià)模型的評測得分，即評測結(jié)果；v為所述的業(yè)務(wù)對象映射集對應(yīng)的實(shí)際實(shí)施效果數(shù)據(jù)的平均值，vbtm為預(yù)設(shè)的最小平均值閾值，vave為預(yù)設(shè)的平均值的期望值。所述預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值均可根據(jù)經(jīng)驗(yàn)設(shè)定。

由上述公式可見，如果所述的業(yè)務(wù)對象映射集對應(yīng)的實(shí)際實(shí)施效果數(shù)據(jù)的平均值小于預(yù)設(shè)的最小平均值閾值，則表示通過模型審核的業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)的平均值過小，該模型不可用，評測得分為0；如果所述的業(yè)務(wù)對象映射集對應(yīng)的實(shí)際實(shí)施效果數(shù)據(jù)的平均值大于預(yù)設(shè)的最小平均值閾值、且小于預(yù)設(shè)的平均值的期望值，則表示該模型可用，評測得分的計(jì)算公式如上述公式所示；如果所述的業(yè)務(wù)對象映射集對應(yīng)的實(shí)際實(shí)施效果數(shù)據(jù)的平均值大于預(yù)設(shè)的平均值的期望值，則表示通過模型審核的業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)的平均值很大，該模型可用，評測得分為100。

2)評測算法二

該算法的核心思想為：對于已具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，通過待評價(jià)模型獲取這些業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)，然后將預(yù)測實(shí)施效果數(shù)據(jù)和實(shí)際實(shí)施效果數(shù)據(jù)做對比，越接近則代表待評價(jià)模型越準(zhǔn)確。

在具體實(shí)施時(shí)，該算法可包括如下步驟：

步驟s301：針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)。

本步驟針對步驟s101獲取到的各個(gè)歷史業(yè)務(wù)對象，將歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)。

步驟s303：以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象 進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表。

通過待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)后，以預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以實(shí)際實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表。

所述的預(yù)設(shè)排序標(biāo)準(zhǔn)包括以實(shí)施效果數(shù)據(jù)的升序?yàn)榕判驑?biāo)準(zhǔn)、或者以實(shí)施效果數(shù)據(jù)的降序?yàn)榕判驑?biāo)準(zhǔn)。需要注意的是，形成第一排序列表和第二排序列表時(shí)所依據(jù)的排序標(biāo)準(zhǔn)應(yīng)該是一致的。

步驟s305：通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序列表的相似度。

本步驟通過預(yù)設(shè)相似度算法，獲取第一排序列表和第二排序列表的相似度，該相似度值能夠?qū)?shí)際實(shí)施效果數(shù)據(jù)和預(yù)測實(shí)施效果數(shù)據(jù)的相似性進(jìn)行衡量。

所述的預(yù)設(shè)相似度算法包括向量空間余弦相似度、皮爾森相關(guān)系數(shù)或jaccard相似系數(shù)等算法。在實(shí)際應(yīng)用中，可根據(jù)具體需求，任意選取其中一種相似度算法計(jì)算第一排序列表和第二排序列表的相似度。

在具體實(shí)施時(shí)，可采用如下公式計(jì)算第一排序列表和第二排序列表的相似度：

其中，r為第一排序列表和第二排序列表的相似度；x為第二排序列表包括的業(yè)務(wù)對象，y為第一排序列表包括的業(yè)務(wù)對象，x在第二排序列表中的排序位置與y在第一排序列表中的排序位置相同，n為業(yè)務(wù)對象數(shù)量。需要說明的是，第一排序列表包括的業(yè)務(wù)對象數(shù)量與第二排序列表包括的業(yè)務(wù)對象數(shù)量是相同的。

步驟s307：根據(jù)所述相似度，確定所述待評價(jià)模型的評測結(jié)果。

通過上一步驟獲得相似度后，即可根據(jù)相似度確定待評價(jià)模型的評測結(jié)果， 相似度值越小，說明待評價(jià)模型預(yù)測準(zhǔn)確度越低，待評價(jià)模型的質(zhì)量越差。

3)評測算法三

該算法的核心思想為：將待評價(jià)模型與其舊版本的模型(也稱為：基準(zhǔn)模型)作對比，兩個(gè)模型的優(yōu)劣取決于通過兩個(gè)模型分別對業(yè)務(wù)對象進(jìn)行預(yù)測所獲得預(yù)測結(jié)果的差異部分。通過本算法評測后，若評測結(jié)果為待評價(jià)模型更優(yōu)于基準(zhǔn)模型，則表示待評價(jià)模型通過了質(zhì)量評測，反之，則表示待評價(jià)模型未通過質(zhì)量評測。

在具體實(shí)施時(shí)，該算法可包括如下步驟：

步驟s401：針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為基準(zhǔn)模型的輸入，通過所述基準(zhǔn)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷史業(yè)務(wù)對象集。

本步驟針對步驟s101獲取到的各個(gè)歷史業(yè)務(wù)對象，分別通過待評價(jià)模型和基準(zhǔn)模型對所述歷史業(yè)務(wù)對象進(jìn)行審核，并根據(jù)各個(gè)模型預(yù)測得到的預(yù)測實(shí)施效果數(shù)據(jù)，獲取通過待評價(jià)模型審核的第一通過模型審核的歷史業(yè)務(wù)對象集、和通過基準(zhǔn)模型審核的第二通過模型審核的歷史業(yè)務(wù)對象集。

步驟s403：生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集。

獲取到上述第一通過模型審核的歷史業(yè)務(wù)對象集、和第二通過模型審核的歷史業(yè)務(wù)對象集后，生成第二通過模型審核的歷史業(yè)務(wù)對象集在第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集，以及生成第一通過模型審核的歷史業(yè)務(wù)對象集在第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集。

所述的第一相對補(bǔ)集包括的業(yè)務(wù)對象屬于所述第一通過模型審核的歷史業(yè)務(wù)對象集，但不屬于所述第二通過模型審核的歷史業(yè)務(wù)對象集；所述的第二相對補(bǔ)集包括的業(yè)務(wù)對象屬于所述第二通過模型審核的歷史業(yè)務(wù)對象集，但不屬于所述第一通過模型審核的歷史業(yè)務(wù)對象集。

步驟s405：根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值。

對于上一步驟生成的兩個(gè)相對補(bǔ)集，根據(jù)歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)，分別獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、和所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值。

所述的統(tǒng)計(jì)值包括但不限于平均值，還可以是其它能夠表征相對補(bǔ)集之差異的統(tǒng)計(jì)值。

步驟s407：根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述基準(zhǔn)模型的評價(jià)得分。

本步驟根據(jù)上述兩個(gè)相對補(bǔ)集反映出的實(shí)際實(shí)施效果的得分情況(即：第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值)，將兩個(gè)相對補(bǔ)集的得分情況分別與步驟s101選取的所有歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值進(jìn)行對比，從而獲取兩個(gè)模型的評價(jià)得分。

在具體實(shí)施時(shí)，可采用如下公式計(jì)算兩個(gè)模型的評價(jià)得分：

score＝50+50*(vave1-vave)/vave

其中，score為模型的評價(jià)得分，該得分的取值范圍為[0,100]，vave1為相對補(bǔ)集的平均實(shí)際實(shí)施效果數(shù)據(jù)，vave為選取的所有歷史業(yè)務(wù)對象的平均實(shí)際實(shí)施效果數(shù)據(jù)。

步驟s409：根據(jù)所述待評價(jià)模型的評價(jià)得分和所述基準(zhǔn)模型的評價(jià)得分，確定所述待評價(jià)模型的評測結(jié)果。

最后，根據(jù)待評價(jià)模型的評價(jià)得分和基準(zhǔn)模型的評價(jià)得分，可按預(yù)設(shè)選取規(guī)則確定所述待評價(jià)模型是否優(yōu)于基準(zhǔn)模型，進(jìn)而確定待評價(jià)模型的評測結(jié)果。預(yù)設(shè)選取規(guī)則包括但不限于：所述評價(jià)得分高的模型效果更優(yōu)。如果判定待評價(jià)模型的優(yōu)于基準(zhǔn)模型，可將上一步驟獲取到的待評價(jià)模型的評價(jià)得分作為待評價(jià)模型的評測結(jié)果。

以上述聚劃算競拍業(yè)務(wù)應(yīng)用的商品審核模型為例，兩個(gè)待比較的模型為： 當(dāng)前使用的商品審核模型(作為基準(zhǔn)模型)、和已生成的新版本的商品審核模型(作為待評價(jià)模型)；使用上述兩個(gè)版本的商品審核模型分別對相同的已具有坑位產(chǎn)出的商品(如100個(gè)商品)進(jìn)行模擬審核；假設(shè)通過待評價(jià)模型審核通過70個(gè)商品(第一通過模型審核的歷史業(yè)務(wù)對象集)，通過基準(zhǔn)模型審核通過60個(gè)商品(第二通過模型審核的歷史業(yè)務(wù)對象集)；根據(jù)第一通過模型審核的歷史業(yè)務(wù)對象集和第二通過模型審核的歷史業(yè)務(wù)對象集，生成第一相對補(bǔ)集，第一相對補(bǔ)集包括屬于上述70個(gè)商品、但不屬于上述60個(gè)商品的商品，以及生成第二相對補(bǔ)集，第二相對補(bǔ)集包括屬于上述60個(gè)商品、但不屬于上述70個(gè)商品的商品；然后，根據(jù)這些商品的實(shí)際坑位產(chǎn)出，計(jì)算獲取基準(zhǔn)模型的評價(jià)得分和待評價(jià)模型的評價(jià)得分，最終，對比這兩個(gè)得分以確定待評價(jià)模型的評測結(jié)果。

以上對三種基于歷史數(shù)據(jù)的預(yù)設(shè)評測算法進(jìn)行了說明，上述各種預(yù)設(shè)評測算法均屬于可通用的模型評測算法。需要說明的是，由于不同待評價(jià)模型具有各自不同的特點(diǎn)，預(yù)設(shè)評測算法還包括為待評價(jià)模型定制的特定評測算法。

在具體實(shí)施時(shí)，可為待評價(jià)模型的質(zhì)量評價(jià)過程配置至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法。因此，本申請?zhí)峁┑姆椒ㄟ€包括：設(shè)置所述至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法的步驟。

步驟s105：根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果。

對上一步驟獲取到的多個(gè)評測結(jié)果，需要將這些結(jié)果歸一化到統(tǒng)一的輸出。通過本步驟可綜合這些評測結(jié)果，獲取歸一化的評測結(jié)果，從而產(chǎn)生最終的模型裁定結(jié)果。

下面給出三種可用的模型決策算法，在實(shí)際應(yīng)用中，可選取這些算法的任意一種對評測結(jié)果進(jìn)行綜合決策。

1)決策算法一、投票決策算法。

該算法的核心思想為：通過投票決策方式對多個(gè)評測結(jié)果進(jìn)行裁定。例如，將大于一半的相同評測結(jié)果作為最終的有效結(jié)果。

在具體實(shí)施時(shí)，該算法可包括如下步驟：

步驟s401：通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分。

不同模型評測算法得到的評測結(jié)果的得分范圍可能不同，不同得分范圍的評測結(jié)果不具有可比性。因此，本算法對于不同得分范圍的評測結(jié)果，首先需要通過與模型評測算法對應(yīng)的評測結(jié)果歸一化算法，為各個(gè)評測結(jié)果生成歸一化的得分，以使得各個(gè)評測結(jié)果具有可比性。

以上述評測算法二為例，由于該評測算法最終得到的相似度的取值范圍是：[-1,1]，因此，需要將該值歸一化到[0,100]的范圍。具體可采用線性映射的方式實(shí)現(xiàn)歸一化，以保證歸一化的結(jié)果完全忠實(shí)于相似度的趨勢結(jié)果，映射公式可以為：y＝50*x+50，其中，x為相似度，y為待評價(jià)模型的歸一化的評測得分。

步驟s403：根據(jù)所述各個(gè)評測結(jié)果的歸一化得分和與各個(gè)所述模型評測算法分別對應(yīng)的預(yù)設(shè)的最小歸一化得分閾值，獲取通過質(zhì)量評測的結(jié)果數(shù)量。

通過上一步驟生成各個(gè)評測結(jié)果的歸一化得分后，可根據(jù)為各個(gè)模型評測算法分別預(yù)設(shè)的最小歸一化得分閾值，確定待評價(jià)模型通過質(zhì)量評測的結(jié)果數(shù)量。例如，上述評測算法二可規(guī)定：若該算法獲得的歸一化得分大于60分，則表示待評價(jià)模型通過質(zhì)量評測。在具體實(shí)施時(shí)，為不同模型評測算法分別預(yù)設(shè)的最小歸一化得分閾值可以相同，也可以不同。

步驟s405：若所述結(jié)果數(shù)量大于最小投票數(shù)閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

本步驟對上一步驟獲取到的通過質(zhì)量評測的結(jié)果數(shù)量進(jìn)行衡量，如果結(jié)果數(shù)量大于最小投票數(shù)閾值，則判定決策結(jié)果為待評價(jià)模型通過質(zhì)量決策。

2)決策算法二、統(tǒng)計(jì)值決策算法。

該算法的核心思想為：對多個(gè)評測得分進(jìn)行統(tǒng)計(jì)后生成統(tǒng)計(jì)值，根據(jù)統(tǒng)計(jì)值確定決策結(jié)果。例如，對多個(gè)評測得分進(jìn)行平均，如果平均分超過一定的分值(比如60分)，則判定待評測模型可用。

在具體實(shí)施時(shí)，該算法可包括如下步驟：1)通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分；2)若所述歸一化得分的統(tǒng)計(jì)值大于最小統(tǒng)計(jì)值閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

與投票決策算法相同，應(yīng)用本算法也需要首先將各種評測得分強(qiáng)制歸一化為相同的取值范圍，例如，強(qiáng)制歸一化至0-100分。

所述統(tǒng)計(jì)值包括但不限于平均值，所述最小統(tǒng)計(jì)值閾值可根據(jù)經(jīng)驗(yàn)確定。以各個(gè)評測結(jié)果的歸一化得分的平均值為例，如果歸一化得分在0-100分范圍內(nèi)，則平均分為50分可表示待評測模型的預(yù)測效果與當(dāng)前使用模型的預(yù)測效果一致，小于50分時(shí)，平均分越小表示待評測模型預(yù)測效果越差，大于50分時(shí)，平均分越大表示待評測模型預(yù)測效果越好。

3)決策算法三、加權(quán)決策算法。

該算法的核心思想為：自定義每個(gè)評測結(jié)果的得分權(quán)值和最后的通過得分閾值，用戶可以根據(jù)自己的模型目標(biāo)調(diào)整決策過程。

在具體實(shí)施時(shí)，該算法可包括如下步驟：1)通過與各個(gè)所述模型評測算法分別對應(yīng)的評測結(jié)果歸一化算法，生成各個(gè)評測結(jié)果的歸一化得分；2)根據(jù)為各個(gè)所述模型評測算法得到的評測結(jié)果分別預(yù)設(shè)的權(quán)重，生成所述歸一化得分的綜合得分；3)若所述綜合得分大于最小綜合得分閾值，則判定所述決策結(jié)果為所述待評價(jià)模型通過質(zhì)量決策。

以上對三種預(yù)設(shè)決策算法進(jìn)行了說明，上述各種預(yù)設(shè)決策算法均屬于可通用的決策算法。需要說明的是，在具體實(shí)施時(shí)，可為待評價(jià)模型的評價(jià)過程配置所應(yīng)用的預(yù)設(shè)決策算法。

步驟s107：將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

最后，將通過預(yù)設(shè)決策算法獲取的待評價(jià)模型的決策結(jié)果作為待評價(jià)模型的質(zhì)量評價(jià)結(jié)果，該結(jié)果最終可作為待評價(jià)模型是否可實(shí)際應(yīng)用的依據(jù)，以實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營。

在上述的實(shí)施例中，提供了一種預(yù)測模型的質(zhì)量評價(jià)方法，與之相對應(yīng)的，本申請還提供一種預(yù)測模型的質(zhì)量評價(jià)裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖2，其為本申請的預(yù)測模型的質(zhì)量評價(jià)裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的一種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：歷史數(shù)據(jù)獲取單元101，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集；評測單元103，用于根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種所述基于歷史數(shù)據(jù)的模型評測算法分 別對待評價(jià)模型的評測結(jié)果；決策單元105，用于根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果；判定單元107，用于將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

請參考圖3，其為本申請的電子設(shè)備實(shí)施例的示意圖。由于設(shè)備實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的設(shè)備實(shí)施例僅僅是示意性的。

本實(shí)施例的一種電子設(shè)備，該電子設(shè)備包括：顯示器101；處理器102；以及存儲器103，用于存儲實(shí)現(xiàn)預(yù)測模型的質(zhì)量評價(jià)方法的程序，該設(shè)備通電并運(yùn)行該預(yù)測模型的質(zhì)量評價(jià)方法的程序后，執(zhí)行下述步驟：獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，形成用于模型評價(jià)的歷史業(yè)務(wù)對象集；根據(jù)所述歷史業(yè)務(wù)對象集，通過至少兩種預(yù)設(shè)的基于歷史數(shù)據(jù)的模型評測算法，獲取各種所述基于歷史數(shù)據(jù)的模型評測算法分別對待評價(jià)模型的評測結(jié)果；根據(jù)獲取的各個(gè)評測結(jié)果，通過預(yù)設(shè)決策算法獲取所述待評價(jià)模型的決策結(jié)果；將所述決策結(jié)果作為所述待評價(jià)模型的質(zhì)量評價(jià)結(jié)果。

與上述的預(yù)測模型的質(zhì)量評價(jià)方法相對應(yīng)，本申請還提供第二種預(yù)測模型的質(zhì)量評價(jià)方法。

請參考圖4，其為本申請?zhí)峁┑牡诙N預(yù)測模型的質(zhì)量評價(jià)方法實(shí)施例的流程圖。由于本實(shí)施例已在上述方法實(shí)施例一中進(jìn)行了詳細(xì)說明，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例一中的相應(yīng)部分(見評測算法二)即可。下述描述的方法實(shí)施例僅僅是示意性的。

本申請?zhí)峁┑牡诙N預(yù)測模型的質(zhì)量評價(jià)方法包括：

步驟s101：獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象。

步驟s103：針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)。

步驟s105：以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表。

步驟s107：通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序 列表的相似度。

步驟s109：根據(jù)所述相似度，確定所述待評價(jià)模型的評價(jià)結(jié)果。

本方法中的步驟s101與上述方法實(shí)施例一中步驟s101相同，本方法中的步驟s103至步驟s109的詳細(xì)說明見上述實(shí)施例一中的評測算法二部分。

在上述的實(shí)施例中，提供了第二種預(yù)測模型的質(zhì)量評價(jià)方法，與之相對應(yīng)的，本申請還提供第二種預(yù)測模型的質(zhì)量評價(jià)裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖5，其為本申請的第二種預(yù)測模型的質(zhì)量評價(jià)裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的第二種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：歷史數(shù)據(jù)獲取單元101，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；模型預(yù)測單元103，用于針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為待評價(jià)模型的輸入，通過所述待評價(jià)模型計(jì)算獲取各個(gè)歷史業(yè)務(wù)對象的預(yù)測實(shí)施效果數(shù)據(jù)；排序單元105，用于以所述預(yù)測實(shí)施效果數(shù)據(jù)的預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第一排序列表；以及以所述實(shí)際實(shí)施效果數(shù)據(jù)的所述預(yù)設(shè)排序標(biāo)準(zhǔn)對各個(gè)歷史業(yè)務(wù)對象進(jìn)行排序，獲取各個(gè)歷史業(yè)務(wù)對象的第二排序列表；相似度計(jì)算單元107，用于通過預(yù)設(shè)相似度算法，獲取所述第一排序列表和所述第二排序列表的相似度；評價(jià)結(jié)果判定單元109，用于根據(jù)所述相似度，確定所述待評價(jià)模型的評價(jià)結(jié)果。

與上述的預(yù)測模型的質(zhì)量評價(jià)方法相對應(yīng)，本申請還提供第三種預(yù)測模型的質(zhì)量評價(jià)方法。

請參考圖6，其為本申請?zhí)峁┑牡谌N預(yù)測模型的質(zhì)量評價(jià)方法實(shí)施例的流程圖。由于本實(shí)施例已在上述方法實(shí)施例一中進(jìn)行了詳細(xì)說明，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例一中的相應(yīng)部分(見評測算法一)即可。本申請?zhí)峁┑牡谌N預(yù)測模型的質(zhì)量評價(jià)方法包括：

步驟s101：獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集；以及獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，作為歷史業(yè)務(wù)對象集。

步驟s103：根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述 通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度。

步驟s105：針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集。

步驟s107：根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值。

步驟s109：根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評價(jià)結(jié)果。

本方法中的步驟s101獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象的步驟與上述方法實(shí)施例一中步驟s101相同，本方法中的步驟s101獲取通過待評價(jià)模型審核的業(yè)務(wù)對象的步驟、步驟s103至步驟s109的詳細(xì)說明見上述實(shí)施例一中的評測算法一部分。

在上述的實(shí)施例中，提供了第三種預(yù)測模型的質(zhì)量評價(jià)方法，與之相對應(yīng)的，本申請還提供第三種預(yù)測模型的質(zhì)量評價(jià)裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖7，其為本申請的第三種預(yù)測模型的質(zhì)量評價(jià)裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的第三種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：數(shù)據(jù)獲取單元101，用于獲取通過待評價(jià)模型審核的業(yè)務(wù)對象，形成通過模型審核的業(yè)務(wù)對象集；以及獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象，作為歷史業(yè)務(wù)對象集；相似度計(jì)算單元103，用于根據(jù)所述業(yè)務(wù)對象的特征數(shù)據(jù)，通過預(yù)設(shè)相似度算法獲取所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象分別與所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的相似度；映射單元105，用于針對所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象，根據(jù)所述相似度從所述歷史業(yè)務(wù)對象集內(nèi)選取與所述通過模型審核的業(yè)務(wù)對象集包括的各個(gè)業(yè)務(wù)對象最相似的歷史業(yè)務(wù)對象，形成與所述通過模型審核的業(yè)務(wù)對象集對應(yīng)的業(yè)務(wù)對象映射集；平均實(shí) 施效果數(shù)據(jù)計(jì)算單元107，用于根據(jù)所述歷史業(yè)務(wù)對象集包括的各個(gè)歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述業(yè)務(wù)對象映射集包括的所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值；評價(jià)結(jié)果判定單元109，用于根據(jù)所述實(shí)際實(shí)施效果數(shù)據(jù)的平均值、預(yù)設(shè)的最小平均值閾值和預(yù)設(shè)的平均值的期望值，生成所述待評價(jià)模型的評價(jià)結(jié)果。

此外，本申請還提供第四種預(yù)測模型的質(zhì)量評價(jià)方法。應(yīng)用第四種預(yù)測模型的質(zhì)量評價(jià)方法，能夠?qū)蓚€(gè)待評價(jià)模型進(jìn)行對比，從而確定預(yù)測效果更優(yōu)的模型。該方法的核心思想為：兩個(gè)模型的優(yōu)劣取決于通過兩個(gè)模型分別對業(yè)務(wù)對象進(jìn)行預(yù)測所獲得預(yù)測結(jié)果的差異部分。

請參考圖8，其為本申請?zhí)峁┑牡谒姆N預(yù)測模型的質(zhì)量評價(jià)方法實(shí)施例的流程圖，本實(shí)施例與第一實(shí)施例內(nèi)容相同的部分不再贅述，請參見實(shí)施例一中的相應(yīng)部分。本申請?zhí)峁┑牡谒姆N預(yù)測模型的質(zhì)量評價(jià)方法包括：

步驟s101：獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象。

本步驟與上述方法實(shí)施例一中步驟s101相同，此處不再贅述。

步驟s103：針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第一待評價(jià)模型的輸入，通過所述第一待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第二待評價(jià)模型的輸入，通過所述第二待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷史業(yè)務(wù)對象集。

本步驟針對步驟s101獲取到的各個(gè)歷史業(yè)務(wù)對象，分別通過第一待評價(jià)模型和第二待評價(jià)模型對所述歷史業(yè)務(wù)對象進(jìn)行審核，并根據(jù)各個(gè)模型預(yù)測得到的預(yù)測實(shí)施效果數(shù)據(jù)，獲取通過第一待評價(jià)模型審核的第一通過模型審核的歷史業(yè)務(wù)對象集、和通過第二待評價(jià)模型審核的第二通過模型審核的歷史業(yè)務(wù)對象集。

步驟s105：生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集。

獲取到上述第一通過模型審核的歷史業(yè)務(wù)對象集、和第二通過模型審核的 歷史業(yè)務(wù)對象集后，生成第二通過模型審核的歷史業(yè)務(wù)對象集在第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集，以及生成第一通過模型審核的歷史業(yè)務(wù)對象集在第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集。

所述的第一相對補(bǔ)集包括的業(yè)務(wù)對象屬于所述第一通過模型審核的歷史業(yè)務(wù)對象集，但不屬于所述第二通過模型審核的歷史業(yè)務(wù)對象集；所述的第二相對補(bǔ)集包括的業(yè)務(wù)對象屬于所述第二通過模型審核的歷史業(yè)務(wù)對象集，但不屬于所述第一通過模型審核的歷史業(yè)務(wù)對象集。

步驟s107：根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值。

對于上一步驟生成的兩個(gè)相對補(bǔ)集，根據(jù)歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)，分別獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、和所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值。

所述的統(tǒng)計(jì)值包括但不限于平均值，還可以是其它能夠表征相對補(bǔ)集之差異的統(tǒng)計(jì)值。

步驟s109：根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第一待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第二待評價(jià)模型的評價(jià)得分。

本步驟根據(jù)上述兩個(gè)相對補(bǔ)集反映出的實(shí)際實(shí)施效果的得分情況(即：第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值)，將兩個(gè)相對補(bǔ)集的得分情況分別與步驟s101選取的所有歷史業(yè)務(wù)對象的實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值進(jìn)行對比，從而獲取兩個(gè)模型的評價(jià)得分。

在具體實(shí)施時(shí)，可采用如下公式計(jì)算兩個(gè)待評價(jià)模型的評價(jià)得分：

score＝50+50*(vave1-vave)/vave

其中，score為待評價(jià)模型的評價(jià)得分，該得分的取值范圍為[0,100]，vave1為相對補(bǔ)集的平均實(shí)際實(shí)施效果數(shù)據(jù)，vave為選取的所有歷史業(yè)務(wù)對象的平均實(shí)際實(shí)施效果數(shù)據(jù)。

步驟s110：根據(jù)所述評價(jià)得分，按預(yù)設(shè)選取規(guī)則確定預(yù)測用模型。

最后，根據(jù)第一待評價(jià)模型的評價(jià)得分和第二待評價(jià)模型的評價(jià)得分，按預(yù)設(shè)選取規(guī)則確定預(yù)測效果更優(yōu)的一個(gè)模型，作為預(yù)測用模型。所述的預(yù)設(shè)選取規(guī)則包括但不限于：將所述評價(jià)得分大的待評價(jià)模型作為預(yù)測用模型。

以上述聚劃算競拍業(yè)務(wù)應(yīng)用的商品審核模型為例，兩個(gè)待比較的模型為：當(dāng)前使用的商品審核模型、和已生成的新版本的商品審核模型；使用上述兩個(gè)版本的商品審核模型分別對相同的已具有坑位產(chǎn)出的商品(如100個(gè)商品)進(jìn)行模擬審核；假設(shè)當(dāng)前使用的商品審核模型審核通過70個(gè)商品(第一通過模型審核的歷史業(yè)務(wù)對象集)，新版本的商品審核模型審核通過60個(gè)商品(第二通過模型審核的歷史業(yè)務(wù)對象集)；根據(jù)第一通過模型審核的歷史業(yè)務(wù)對象集和第二通過模型審核的歷史業(yè)務(wù)對象集，生成第一相對補(bǔ)集，第一相對補(bǔ)集包括屬于上述70個(gè)商品、但不屬于上述60個(gè)商品的商品，以及生成第二相對補(bǔ)集，第二相對補(bǔ)集包括屬于上述60個(gè)商品、但不屬于上述70個(gè)商品的商品；然后，根據(jù)這些商品的實(shí)際坑位產(chǎn)出，計(jì)算獲取當(dāng)前使用的商品審核模型的評價(jià)得分和新版本的商品審核模型的評價(jià)得分，最終，將得分高的模型作為最終應(yīng)用的模型。

在上述的實(shí)施例中，提供了第四種預(yù)測模型的質(zhì)量評價(jià)方法，與之相對應(yīng)的，本申請還提供第四種預(yù)測模型的質(zhì)量評價(jià)裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖9，其為本申請的第四種預(yù)測模型的質(zhì)量評價(jià)裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的第四種預(yù)測模型的質(zhì)量評價(jià)裝置，包括：歷史數(shù)據(jù)獲取單元101，用于獲取具有實(shí)際實(shí)施效果數(shù)據(jù)的歷史業(yè)務(wù)對象；模型預(yù)測單元103，用于針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第一待評價(jià)模型的輸入，通過所述第一待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第一預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第一預(yù)測實(shí)施效果數(shù)據(jù)，獲取第一通過模型審核的歷史業(yè)務(wù)對象集；以及，針對各個(gè)歷史業(yè)務(wù)對象，將所述歷史業(yè)務(wù)對象的特征數(shù)據(jù)作為第二待評價(jià)模型的輸入，通過所述第二待評價(jià)模型獲取各個(gè)歷史業(yè)務(wù)對象的第二預(yù)測實(shí)施效果數(shù)據(jù)，并根據(jù)所述第二預(yù)測實(shí)施效果數(shù)據(jù)，獲取第二通過模型審核的歷 史業(yè)務(wù)對象集；相對補(bǔ)集生成單元105，用于生成所述第二通過模型審核的歷史業(yè)務(wù)對象集在所述第一通過模型審核的歷史業(yè)務(wù)對象集中的第一相對補(bǔ)集、及所述第一通過模型審核的歷史業(yè)務(wù)對象集在所述第二通過模型審核的歷史業(yè)務(wù)對象集中的第二相對補(bǔ)集；統(tǒng)計(jì)值計(jì)算單元107，用于根據(jù)所述歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)，獲取所述第一相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、及所述第二相對補(bǔ)集包括的歷史業(yè)務(wù)對象的第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值；評價(jià)得分獲取單元109，用于根據(jù)所述第一實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第一待評價(jià)模型的評價(jià)得分；以及，根據(jù)所述第二實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值、所述選取的所有歷史業(yè)務(wù)對象的所述實(shí)際實(shí)施效果數(shù)據(jù)之統(tǒng)計(jì)值，獲取所述第二待評價(jià)模型的評價(jià)得分；模型選取單元110，用于根據(jù)所述評價(jià)得分，按預(yù)設(shè)選取規(guī)則確定預(yù)測用模型。

本申請雖然以較佳實(shí)施例公開如上，但其并不是用來限定本申請，任何本領(lǐng)域技術(shù)人員在不脫離本申請的精神和范圍內(nèi)，都可以做出可能的變動和修改，因此本申請的保護(hù)范圍應(yīng)當(dāng)以本申請權(quán)利要求所界定的范圍為準(zhǔn)。

在一個(gè)典型的配置中，計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲器，隨機(jī)存取存儲器(ram)和/或非易失性內(nèi)存等形式，如只讀存儲器(rom)或閃存(flashram)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

1、計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(pram)、靜態(tài)隨機(jī)存取存儲器(sram)、動態(tài)隨機(jī)存取存儲器(dram)、其他類型的隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號和載波。

2、本領(lǐng)域技術(shù)人員應(yīng)明白，本申請的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。