一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法及裝置，用以解決通過(guò)機(jī)器學(xué)習(xí)方法學(xué)習(xí)數(shù)學(xué)模型時(shí)，學(xué)習(xí)的數(shù)學(xué)模型不精確問(wèn)題。該方法根據(jù)在學(xué)習(xí)該原數(shù)學(xué)模型的過(guò)程中的機(jī)器的硬件資源消耗量確定的硬件資源消耗量函數(shù)，硬件資源消耗量包括：機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量中的一種或幾種，確定目標(biāo)數(shù)學(xué)模型，從而確定目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)。本發(fā)明實(shí)施例考慮了在學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的機(jī)器的硬件資源消耗量，將該硬件資源消耗量函數(shù)和原數(shù)學(xué)模型的參數(shù)作為一個(gè)整體來(lái)綜合學(xué)習(xí)，提高學(xué)習(xí)到的數(shù)學(xué)模型的精確度，并且可在數(shù)學(xué)模型的學(xué)習(xí)過(guò)程中節(jié)省大量的硬件資源。
【專利說(shuō)明】—種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)【技術(shù)領(lǐng)域】，尤其涉及一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法及 裝置。
【背景技術(shù)】
[0002]機(jī)器學(xué)習(xí)方法可以廣泛的應(yīng)用在網(wǎng)絡(luò)資源的排序、推薦和對(duì)推薦的產(chǎn)品的預(yù)測(cè)上，機(jī)器學(xué)習(xí)得到的相應(yīng)的數(shù)學(xué)模型可以應(yīng)用在互聯(lián)網(wǎng)中，用于向用戶提供各種服務(wù)。
[0003]機(jī)器學(xué)習(xí)確定數(shù)學(xué)模型的過(guò)程中使用的數(shù)據(jù)量非常的大，基于這些數(shù)據(jù)在進(jìn)行模擬擬合計(jì)算時(shí)，復(fù)雜度非常的高，對(duì)資源的消耗非常的大。而現(xiàn)有技術(shù)在通過(guò)機(jī)器學(xué)習(xí)確定數(shù)學(xué)模型時(shí)，只考慮數(shù)學(xué)模型帶來(lái)的效果，例如線上的收益效果等，從來(lái)沒(méi)有考慮過(guò)數(shù)學(xué)模型學(xué)習(xí)的過(guò)程中帶來(lái)的資源消耗，很可能在通過(guò)機(jī)器學(xué)習(xí)數(shù)學(xué)模型的過(guò)程中浪費(fèi)了大量的資源，但學(xué)習(xí)到的數(shù)學(xué)模型應(yīng)用到具體的業(yè)務(wù)中后帶來(lái)的效果非常的不理想。而且數(shù)學(xué)模型應(yīng)用到具體場(chǎng)景的過(guò)程中實(shí)際上也會(huì)存在資源消耗，但現(xiàn)有技術(shù)在整個(gè)的數(shù)學(xué)模型的學(xué)習(xí)過(guò)程中并沒(méi)有考慮這部分資源消耗的因素，因此很可能最后通過(guò)機(jī)器學(xué)習(xí)到的數(shù)學(xué)模型不夠精確，影響最終上線后的效果。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法及裝置，用以解決現(xiàn)有技術(shù)在通過(guò)機(jī)器學(xué)習(xí)方法學(xué)習(xí)數(shù)學(xué)模型時(shí)，學(xué)習(xí)的數(shù)學(xué)模型不夠精確的問(wèn)題。
[0005]本發(fā)明實(shí)施例提供了一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法，所述方法包括:
[0006]根據(jù)機(jī)器學(xué)習(xí)方法，確定待學(xué)習(xí)的原數(shù)學(xué)模型；
[0007]根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的過(guò)程中機(jī)器的硬件資源消耗量，確定硬件資源消耗量函數(shù)，其中所述硬件資源消耗量包括:機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量中的一種或幾種；
[0008]根據(jù)確定的原數(shù)學(xué)模型及硬件資源消耗量函數(shù)，確定目標(biāo)數(shù)學(xué)模型；
[0009]根據(jù)機(jī)器學(xué)習(xí)的方法，確定所述目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)。
[0010]較佳地，為了更加精確的確定數(shù)學(xué)模型，當(dāng)所述機(jī)器的硬件資源消耗量包括機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量時(shí)，所述確定硬件資源消耗量函數(shù)包括:
[0011]根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的該機(jī)器CPU的核數(shù)，確定CPU的第一消耗量；
[0012]根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)CPU的占用率，確定CUP的第二消耗量；
[0013]根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)內(nèi)存的占用，確定內(nèi)存消耗量；
[0014]根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)網(wǎng)絡(luò)IO占用，確定網(wǎng)絡(luò)IO消耗量；
[0015]根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)磁盤的占用，確定磁盤消耗量；
[0016]根據(jù)確定的CPU的第一消耗量和CUP的第二消耗量的積，確定CPU消耗量；
[0017]根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的時(shí)間，及確定的CPU消耗量、內(nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
[0018]較佳地，為了更加精確的確定數(shù)學(xué)模型，所述確定硬件資源消耗量函數(shù)包括:
[0019]按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)CPU的占用率，將采集到的當(dāng)前CPU的占用率，確定為該時(shí)間間隔內(nèi)CUP的第二消耗量；
[0020]按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)內(nèi)存的占用，將采集到的當(dāng)前對(duì)內(nèi)存的占用，確定為該時(shí)間間隔內(nèi)內(nèi)存消耗量；
[0021]按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)網(wǎng)絡(luò)IO的占用，將采集到的當(dāng)前對(duì)網(wǎng)絡(luò)IO的占用，確定為該時(shí)間間隔內(nèi)網(wǎng)絡(luò)IO消耗量；
[0022]按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)磁盤的占用，將采集到的當(dāng)前對(duì)磁盤的占用，確定為該時(shí)間間隔內(nèi)對(duì)的磁盤消耗量；
[0023]根據(jù)確定的每個(gè)時(shí)間間隔，及每個(gè)時(shí)間間隔內(nèi)CPU消耗量?jī)?nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
[0024]較佳地，為了更加精確的確定數(shù)學(xué)模型，所述根據(jù)機(jī)器學(xué)習(xí)的方法，確定所述目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)包括:
[0025]確定機(jī)器對(duì)該目標(biāo)數(shù)學(xué)模型學(xué)習(xí)的過(guò)程中，該目標(biāo)數(shù)學(xué)模型的最小值；
[0026]將該目標(biāo)數(shù)學(xué)模型的最小值時(shí)，該目標(biāo)數(shù)學(xué)模型的參數(shù)的值，確定學(xué)習(xí)到該目標(biāo)數(shù)學(xué)模型的參數(shù)的值。
[0027]較佳地，為了更加精確的確定數(shù)學(xué)模型，所述基于保存的廣告的歷史展現(xiàn)點(diǎn)擊信息，確定待學(xué)習(xí)的確定廣告點(diǎn)擊率的原數(shù)學(xué)模型包括:
[0028]基于保存的廣告的歷史展現(xiàn)點(diǎn)擊信息，確定待學(xué)習(xí)的廣告點(diǎn)擊率的原數(shù)學(xué)模型
【權(quán)利要求】
1.一種基于硬件資源消耗的機(jī)器學(xué)習(xí)方法，其特征在于，所述方法包括: 根據(jù)機(jī)器學(xué)習(xí)方法，基于網(wǎng)絡(luò)資源確定待學(xué)習(xí)的原數(shù)學(xué)模型； 根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的過(guò)程中機(jī)器的硬件資源消耗量，確定硬件資源消耗量函數(shù)，其中所述硬件資源消耗量包括:機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量中的一種或幾種； 根據(jù)確定的原數(shù)學(xué)模型及硬件資源消耗量函數(shù)，確定目標(biāo)數(shù)學(xué)模型； 根據(jù)機(jī)器學(xué)習(xí)的方法，確定所述目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)； 根據(jù)確定的所述相應(yīng)參數(shù)，采用所述原數(shù)學(xué)模型應(yīng)用在所述網(wǎng)絡(luò)資源中。
2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)所述機(jī)器的硬件資源消耗量包括機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量時(shí)，所述確定硬件資源消耗量函數(shù)包括: 根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的該機(jī)器CPU的核數(shù)，確定CPU的第一消耗量； 根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)CPU的占用率，確定CUP的第二消耗量； 根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)內(nèi)存的占用，確定內(nèi)存消耗量； 根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)網(wǎng)絡(luò)IO占用，確定網(wǎng)絡(luò)IO消耗量； 根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)磁盤的占用，確定磁盤消耗量； 根據(jù)確定的CPU的第一消耗量和CUP的第二消耗量的積，確定CPU消耗量； 根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的時(shí)間，`及確定的CPU消耗量、內(nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
3.如權(quán)利要求2所述的方法，其特征在于，所述確定硬件資源消耗量函數(shù)包括: 按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)CPU的占用率，將采集到的當(dāng)前CPU的占用率，確定為該時(shí)間間隔內(nèi)CUP的第二消耗量； 按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)內(nèi)存的占用，將采集到的當(dāng)前對(duì)內(nèi)存的占用，確定為該時(shí)間間隔內(nèi)內(nèi)存消耗量； 按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)網(wǎng)絡(luò)IO的占用，將采集到的當(dāng)前對(duì)網(wǎng)絡(luò)IO的占用，確定為該時(shí)間間隔內(nèi)網(wǎng)絡(luò)IO消耗量； 按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)磁盤的占用，將采集到的當(dāng)前對(duì)磁盤的占用，確定為該時(shí)間間隔內(nèi)對(duì)的磁盤消耗量； 根據(jù)確定的每個(gè)時(shí)間間隔，及每個(gè)時(shí)間間隔內(nèi)CPU消耗量?jī)?nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)機(jī)器學(xué)習(xí)的方法，確定所述目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)包括: 確定機(jī)器對(duì)該目標(biāo)數(shù)學(xué)模型學(xué)習(xí)的過(guò)程中，該目標(biāo)數(shù)學(xué)模型的最小值； 將該目標(biāo)數(shù)學(xué)模型的最小值時(shí)，該目標(biāo)數(shù)學(xué)模型的參數(shù)的值，確定學(xué)習(xí)到該目標(biāo)數(shù)學(xué)模型的參數(shù)的值。
5.如權(quán)利要求1所述的方法，其特征在于，所述基于網(wǎng)絡(luò)資源確定待學(xué)習(xí)的原數(shù)學(xué)模型包括:基于網(wǎng)頁(yè)中包含的信息，確定待學(xué)習(xí)的確定每個(gè)網(wǎng)頁(yè)權(quán)重的原數(shù)學(xué)模型；或 基于數(shù)據(jù)庫(kù)中記錄的每個(gè)用戶的操作行為，確定待學(xué)習(xí)的推薦系統(tǒng)的原數(shù)學(xué)模型；或 基于搜索到的語(yǔ)音信息，確定待學(xué)習(xí)的語(yǔ)音識(shí)別方法的原數(shù)學(xué)模型；或 基于搜索到的文本信息，確定待學(xué)習(xí)的文本分析方法的原數(shù)學(xué)模型；或 基于保存的每個(gè)用戶的朋友圈的信息，確定待學(xué)習(xí)的確定用戶社交網(wǎng)絡(luò)的原數(shù)學(xué)模 型；或 基于保存的廣告的歷史展現(xiàn)點(diǎn)擊信息，確定待學(xué)習(xí)的確定廣告點(diǎn)擊率的原數(shù)學(xué)模型。
6.如權(quán)利要求5所述的方法，其特征在于，所述基于保存的廣告的歷史展現(xiàn)點(diǎn)擊信息，確定待學(xué)習(xí)的確定廣告點(diǎn)擊率的原數(shù)學(xué)模型包括: 基于保存的廣告的歷史展現(xiàn)點(diǎn)擊信息，確定待學(xué)習(xí)的廣告點(diǎn)擊率的原數(shù)學(xué)模型
7.一種基于硬件資源消耗的機(jī)器學(xué)習(xí)裝置，其特征在于，所述裝置包括: 第一模型建立模塊，用于根據(jù)機(jī)器學(xué)習(xí)方法，基于網(wǎng)絡(luò)資源確定待學(xué)習(xí)的原數(shù)學(xué)模型； 第二模型建立模塊，用于根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的過(guò)程中機(jī)器的硬件資源消耗量，確定硬件資源消耗量函數(shù)，其中所述硬件資源消耗量包括:機(jī)器的CPU的消耗量、機(jī)器的內(nèi)存消耗量、機(jī)器的網(wǎng)絡(luò)IO消耗量以及機(jī)器的磁盤消耗量中的一種或幾種；根據(jù)確定的原數(shù)學(xué)模型及硬件資源消耗量函數(shù)，確定目標(biāo)數(shù)學(xué)模型； 學(xué)習(xí)確定模塊，用于根據(jù)機(jī)器學(xué)習(xí)的方法，確定所述目標(biāo)數(shù)學(xué)模型中的相應(yīng)參數(shù)，根據(jù)確定的所述相應(yīng)參數(shù)，采用所述原數(shù)學(xué)模型應(yīng)用在所述網(wǎng)絡(luò)資源中。
8.如權(quán)利要求7所述的裝置，其特征在于，所述第二模型建立模塊，具體用于當(dāng)所述硬件資源消耗量函數(shù)中包括CPU的消耗量、內(nèi)存消耗量、網(wǎng)絡(luò)IO消耗量以及磁盤消耗量時(shí)，根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的該機(jī)器CPU的核數(shù)，確定CPU的第一消耗量；根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)CPU的占用率，確定CUP的第二消耗量；根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)內(nèi)存的占用，確定內(nèi)存消耗量；根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)網(wǎng)絡(luò)IO占用，確定網(wǎng)絡(luò)IO消耗量；根據(jù)機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型對(duì)磁盤的占用，確定磁盤消耗量；根據(jù)確定的CPU的第一消耗量和CUP的第二消耗量的積，確定CPU消耗量；根據(jù)學(xué)習(xí)該原數(shù)學(xué)模型的時(shí)間，及確定的CPU消耗量、內(nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
9.如權(quán)利要求8所述的裝置，其特征在于，所述第二模型建立模塊，具體用于按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)CPU的占用率，將采集到的當(dāng)前CPU的占用率，確定為該時(shí)間間隔內(nèi)CUP的第二消耗量；按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)內(nèi)存的占用，將采集到的當(dāng)前對(duì)內(nèi)存的占用，確定為該時(shí)間間隔內(nèi)內(nèi)存消耗量；按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)網(wǎng)絡(luò)IO的占用，將采集到的當(dāng)前對(duì)網(wǎng)絡(luò)IO的占用，確定為該時(shí)間間隔內(nèi)網(wǎng)絡(luò)IO消耗量；按照設(shè)定的時(shí)間間隔，采集機(jī)器學(xué)習(xí)該原數(shù)學(xué)模型時(shí)對(duì)磁盤的占用，將采集到的當(dāng)前對(duì)磁盤的占用，確定為該時(shí)間間隔內(nèi)對(duì)的磁盤消耗量；根據(jù)確定的每個(gè)時(shí)間間隔，及每個(gè)時(shí)間間隔內(nèi)CPU消耗量?jī)?nèi)存消耗量、網(wǎng)絡(luò)IO消耗量、磁盤消耗量和設(shè)置的每個(gè)消耗量對(duì)應(yīng)的權(quán)值，確定學(xué)習(xí)原數(shù)學(xué)模型的過(guò)程中的硬件資源消耗量函數(shù)，其中每個(gè)消耗量對(duì)應(yīng)的權(quán)值大于等于零。
10.如權(quán)利要求7所述的裝置，其特征在于，所述學(xué)習(xí)模塊，具體用于確定機(jī)器對(duì)該目標(biāo)數(shù)學(xué)模型學(xué)習(xí)的過(guò)程中，該目標(biāo)數(shù)學(xué)模型的最小值；將該目標(biāo)數(shù)學(xué)模型的最小值時(shí)，該目標(biāo)數(shù)學(xué)模型的參數(shù)的值， 確定學(xué)習(xí)到該目標(biāo)數(shù)學(xué)模型的參數(shù)的值。
【文檔編號(hào)】G06F15/18GK103617146SQ201310659387
【公開(kāi)日】2014年3月5日 申請(qǐng)日期:2013年12月6日 優(yōu)先權(quán)日:2013年12月6日
【發(fā)明者】白明 申請(qǐng)人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司