訓練精煉的機器學習模型的制作方法
【技術領域】
[0001] 本說明書涉及訓練機器學習模型。
【背景技術】
[0002] 機器學習模型接收輸入并基于所接收的輸入和模型的參數(shù)值生成輸出。例如，機 器學習模型可接收圖像并生成針對每個分類集合的分數(shù)，針對給定分類的分數(shù)表示該圖像 中包含屬于該分類的對象的圖像的概率。
[0003] 機器學習模型可由例如線性或非線性操作的單個級別組成或者可為深度網(wǎng)絡，即 由多個級別組成的機器學習模型，其中的一個或多個可為非線性操作的層。深度網(wǎng)絡的一 個示例是具有一個或多個隱藏層的神經(jīng)網(wǎng)絡。

【發(fā)明內(nèi)容】

[0004] 總的來說，本說明書描述了用于使用繁冗的機器學習模型訓練精煉的機器學習模 型的技術。
[0005] 可實施本說明書中描述的主題的特定實施例以便實現(xiàn)一個或多個下述優(yōu)點。精煉 的機器學習模型相對于繁冗的機器學習模型，更易于部署，即，因為它比繁冗的機器學習模 型需要更少的計算、存儲或者兩者兼有，從而在運行時間生成輸出，該精煉的機器學習模型 可使用已被訓練的繁冗的神經(jīng)網(wǎng)絡進行有效的訓練。一旦使用繁冗的機器學習模型進行了 訓練，精煉的機器學習模型能夠生成精度不顯著低于通過繁冗的機器學習模型生成的輸出 的輸出，盡管它比繁冗的機器學習模型更易于部署或者使用更少的計算資源。
[0006] 包括一個或多個全機器學習模型和一個或多個專業(yè)機器學習模型的集成模型可 更精確地生成分數(shù)以對所接收的輸入進行分類。特別地，通過在集成模型中包括專業(yè)機器 學習模型，可更精確地生成針對頻繁地被全機器學習模型預測為在一起或者混淆的分類的 分數(shù)。
[0007] 在附圖和下文的描述中提出本說明書的主題的一個或多個實施例的細節(jié)。通過該 描述、附圖以及權利要求，主題的其他特征、方面和優(yōu)點將變得顯而易見。
【附圖說明】
[0008] 圖1示出了一種精煉的機器學習模型訓練系統(tǒng)的示例。
[0009] 圖2是使用已被訓練的繁冗的機器學習模型訓練精煉的機器學習模型的示例過 程的流程圖。
[0010] 圖3示出了一種示例機器學習模型系統(tǒng)。
[0011] 圖4是使用包括一個或多個全機器學習模型和一個或多個專業(yè)機器學習模型的 集成機器學習模型進行輸入處理的示例過程的流程圖。
[0012] 不同的附圖中相同的附圖標記和名稱表示相同的元素。
【具體實施方式】
[0013] 圖1是用于訓練精煉的機器學習模型120的示例精煉的機器學習模型訓練系統(tǒng) 100的框圖。精煉的機器學習模型訓練系統(tǒng)100是作為在一個或多個位置中的一個或多個 計算機上的計算機程序所實施的系統(tǒng)的示例，其中實施了下文描述的系統(tǒng)、組件和技術。
[0014] 該精煉的機器學習模型訓練系統(tǒng)100使用經(jīng)訓練的繁冗的機器學習模型110訓練 精煉的機器學習模型120。一般來說，機器學習模型接收輸入并基于所接收的輸入和該模型 的參數(shù)值生成輸出。
[0015] 特別地，精煉的機器學習模型120和經(jīng)訓練的繁冗的機器學習模型110兩者都是 已被配置為接收輸入并處理所接收的輸入以生成針對預定分類集合中的每一分類的相應 的分數(shù)的機器學習模型。一般來說，精煉的機器學習模型120是具有與繁冗的機器學習模 型110不同架構的模型，這使其相對于繁冗的機器學習模型110更易于部署，例如，由于精 煉的機器學習模型120比繁冗的機器學習模型110需要更少的計算、存儲或兩者兼有，來在 運行時間生成輸出。例如，精煉的機器學習模型120可比繁冗的機器學習模型110具有更 少的層、更少的參數(shù)或者兩者兼有。
[0016] 經(jīng)訓練的繁冗的機器學習模型110已經(jīng)在訓練輸入集合上使用傳統(tǒng)機器學習訓 練技術進行了訓練，以確定繁冗的機器學習模型Iio的經(jīng)訓練的參數(shù)值。特別地，經(jīng)訓練的 繁冗的機器學習模型110已被訓練，使得由經(jīng)訓練的繁冗的機器學習模型110針對給定輸 入的給定分類所生成的分數(shù)表示該分類是該輸入的精確分類的概率。
[0017] 例如，如果繁冗的機器學習模型110的輸入是圖像，針對給定分類的分數(shù)可表示 該輸入圖像包含屬于該分類的對象的圖像的概率。作為另一示例，如果繁冗的機器學習模 型Iio的輸入是文字片段，該分類可為主題，并且針對給定主題的分數(shù)可表示輸入的文字 片段涉及該主題的概率。
[0018] 在某些情況下，繁冗的機器學習模型110是單個機器學習模型。在某些其他情況 下，繁冗的機器學習模型110是集成機器學習模型，它是多個已分別經(jīng)訓練的單獨機器學 習模型的匯編，其中將單獨機器學習模型的輸出組合從而生成該繁冗的機器學習模型110 的輸出。進一步地，在某些情況下，集成機器學習模型中的模型包括生成針對每個分類的分 數(shù)的一個或多個全模型以及僅生成針對相應的分類子集的分數(shù)的一個或多個專業(yè)模型。下 文參考圖3和4更具體地描述包括一個或多個全模型和一個或多個專業(yè)模型的集成機器學 習模型。
[0019] 模型訓練系統(tǒng)100在訓練輸入集合上訓練精煉的機器學習模型120以便確定精煉 的機器學習模型120的經(jīng)訓練的參數(shù)值，使得由精煉的機器學習模型120針對給定輸入的 給定分類生成的分數(shù)同樣表示該分類是該輸入的精確分類的概率。
[0020] 特別地，為了訓練精煉的機器學習模型120,模型訓練系統(tǒng)100同時配置精煉的機 器學習模型120和繁冗的機器學習模型110以在精煉的機器學習模型120的訓練期間從訓 練的輸入生成軟輸出。
[0021] 機器學習模型針對給定輸入的軟輸出包括由機器學習模型的最后層生成的每個 分類相應的軟分數(shù)。該軟分數(shù)定義了比在已經(jīng)訓練機器學習模型后針對該輸入由機器學習 模型生成的分數(shù)更軟的在分類集合上的分數(shù)分布。
[0022] 特別地，在一些實施方式中，精煉的機器學習模型120和繁冗的機器學習模型110 兩者的最后層是softmax層，它生成針對給定分類i的分數(shù)qi，其滿足如下等式：
[0023] J
[0024] 其中21是由最后層所接收的針對分類i的機器學習模型的前一層的輸出的加權 組合，j的范圍從1到分類的總數(shù)，并且T是溫度常數(shù)。在這些實施方式中，通過將T設置 為比在機器學習模型已被訓練后用于生成分數(shù)的T的值更高的值，模型訓練系統(tǒng)100同時 配置精煉的機器學習模型120和繁冗的機器學習模型110以生成軟輸出。例如，在訓練后， 用于精煉的機器學習模型120的T的值可設置為等于1，而在訓練過程中，T的值可設置為 等于20。繁冗的機器學習模型110和精煉的機器學習模型120使用相同值的T以在精煉的 機器學習模型120的訓練期間生成軟輸出。
[0025] 因此，機器學習模型的軟輸出是使用參數(shù)的當前值的模型的輸出，只不過是該模 型的最后層的T的值被增大至比在該模型已被訓練后用于生成輸出的值更高的值，例如， 增大為大于1的值。
[0026] 在訓練期間，模型訓練系統(tǒng)100使用繁冗的機器學習模型110處理每個訓練輸入， 例如，