數(shù)學問題求解模型的訓練方法和裝置、推理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實施例涉及自然語言處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)學問題求解模型的訓 練方法和裝置、推理方法和裝置。
【背景技術(shù)】
[0002] 對自然語言描述的數(shù)學問題的自動求解是教育產(chǎn)業(yè)的應(yīng)用熱點。目前，在這個方 向上已經(jīng)陸續(xù)有成型的產(chǎn)品推出。但是，已經(jīng)推出的產(chǎn)品普遍存在著對文本的理解能力不 強，應(yīng)用效果不好的缺陷。
[0003] Kushman等人針對現(xiàn)有技術(shù)的上述缺陷，提出了一種專門用于理解數(shù)學問題的描 述文本，并求取數(shù)學問題的解的模型。參見圖1，通過對輸入文本的理解，可以將輸入文本描 述的數(shù)學問題對應(yīng)至一個公式模板，然后，通過將所述輸入文本中已知量、未知量以及名詞 對齊至所述公式模板中的各個槽位（slot)，可以將公式模板實例化為一個具體的公式。然 后，通過對公式的求解就可以得到所述數(shù)學問題的解。
[0004] 如果將上述選取模板、實例化及求解的全過程稱為一次推導(dǎo)，則可以定義一次推 導(dǎo)y相對于問題X的條件概率是：
[0006] 其中，巾（X，y)表示問題X與推導(dǎo)y之間的特征函數(shù)，0表示權(quán)重參數(shù)。
[0007] 將式（1)取對數(shù)，并對不同的推導(dǎo)y進行求和，即得到最大似然估計的目標函數(shù)：
[0009] 假定對于問題X的特征向量是確定的，那么，運用最大似然估計的理念，使得上述 式（2)的取值為最大的權(quán)重向量0對應(yīng)的模型即是求解文本描述的數(shù)學問題的最優(yōu)的模 型。
[0010] 這種方案雖然提供了文本描述的數(shù)學問題的一種理論上可行的方法。但是，求解 上述模型的時候，備選求解公式模板及對齊方式的數(shù)目太多，造成需要搜索的搜索空間太 大，算法復(fù)雜度太高。并且，這種解決方案還存在著局部收斂的問題。

【發(fā)明內(nèi)容】

[0011] 針對上述技術(shù)問題，本發(fā)明實施例提供了一種數(shù)學問題自動求解模型的訓練方法 和裝置、推理方法和裝置，以縮小搜索空間，降低運算量。
[0012] 第一方面，本發(fā)明實施例提供了一種數(shù)學問題求解模型的訓練方法，所述方法包 括：
[0013] 確定針對訓練文本的簡化的公式模板庫，所述公式模板庫包含用于解決所述數(shù)學 問題的公式模板；
[0014] 提取所述訓練文本的特征向量；
[0015] 通過求解由最大化正確解與錯誤解之間的邊際而規(guī)約得到的二次規(guī)劃問題，確定 所述數(shù)學問題求解模型的權(quán)重向量。
[0016] 第二方面，本發(fā)明實施例提供了一種數(shù)學問題求解模型的訓練裝置，所述裝置包 括：
[0017] 模板庫確定模塊，用于確定針對訓練文本的簡化的公式模板庫，所述公式模板庫 包含用于解決所述數(shù)學問題的公式模板；
[0018] 特征向量提取模塊，用于提取所述訓練文本的特征向量；
[0019] 模型確定模塊，用于通過求解由最大化正確解與錯誤解之間的邊際而規(guī)約得到的 二次規(guī)劃問題，確定所述數(shù)學問題求解模型的權(quán)重向量。
[0020] 第三方面，本發(fā)明實施例提供了一種數(shù)學問題求解模型的推理方法，所述方法包 括：
[0021] 利用所述數(shù)學問題求解模型提取用于描述數(shù)學問題的輸入文本的特征向量，其 中，所述數(shù)學問題求解模型是根據(jù)用于解決數(shù)學問題的簡化的公式模板，并根據(jù)二次規(guī)劃 方法構(gòu)建的求解模型；
[0022] 利用所述數(shù)學問題求解模型，根據(jù)所述特征向量獲取所述數(shù)學問題的最優(yōu)解。
[0023] 第四方面，本發(fā)明實施例還提供了一種數(shù)學問題求解模型的推理裝置，所述裝置 包括：
[0024] 特征提取模塊，用于利用所述數(shù)學問題求解模型提取用于描述數(shù)學問題的輸入文 本的特征向量，其中，所述數(shù)學問題求解模型是根據(jù)用于解決數(shù)學問題的簡化的公式模板， 并根據(jù)二次規(guī)劃方法構(gòu)建的求解模型；
[0025] 求解模塊，用于利用所述數(shù)學問題求解模型，根據(jù)所述特征向量獲取所述數(shù)學問 題的最優(yōu)解。
[0026] 本發(fā)明實施例提供的數(shù)學問題自動求解模型的訓練方法和裝置通過確定針對訓 練文本的簡化的公式模板庫，提取所述訓練文本的特征向量，以及通過求解由最大化正確 解與錯誤解之間的邊際而規(guī)約得到的二次規(guī)劃問題，確定所述數(shù)學問題求解模型的權(quán)重向 量，從而有效地縮小了解決模型訓練時的搜索空間，降低了運算量。
【附圖說明】
[0027] 圖1是現(xiàn)有技術(shù)提供的數(shù)學問題自動求解過程的示意圖；
[0028] 圖2是本發(fā)明第一實施例提供的數(shù)學問題求解模型的訓練方法的流程圖；
[0029] 圖3是本發(fā)明第一實施例提供的簡化的公式模板及簡化前的公式模板的比較示 意圖；
[0030] 圖4是簡化前的公式模板產(chǎn)生的陽性樣本與假陽性樣本的比較示意圖；
[0031] 圖5是本發(fā)明第二實施例提供的數(shù)學問題求解模型的訓練方法中特征向量提取 操作的流程圖；
[0032] 圖6是本發(fā)明第二實施例提供的特征向量提取的效果示意圖；
[0033] 圖7是本發(fā)明第三實施例提供的數(shù)學問題求解模型的訓練方法中特征向量提取 操作的流程圖；
[0034] 圖8是本發(fā)明第四實施例提供的數(shù)學問題求解模型的推理方法的流程圖；
[0035] 圖9是本發(fā)明第五實施例提供的實現(xiàn)數(shù)學問題自動求解過程的流程示意圖；
[0036] 圖10是本發(fā)明第五實施例提供的生成的數(shù)學問題的解答過程的示意圖；
[0037] 圖11是本發(fā)明第六實施例提供的數(shù)學問題求解模型的訓練裝置的結(jié)構(gòu)圖；
[0038] 圖12是本發(fā)明第七實施例提供的數(shù)學問題求解模型的推理裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0039] 下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明?？梢岳斫獾氖?，此處所描 述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便 于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0040] 第一實施例
[0041] 本實施例提供了數(shù)學問題求解模型的訓練方法的一種技術(shù)方案。
[0042] 參見圖2,所述數(shù)學問題求解模型的訓練方法包括：
[0043] S21，確定針對訓練文本的簡化的公式模板庫，所述公式模板庫包含用于解決所述 數(shù)學問題的經(jīng)過簡化的公式模板。
[0044] 在本發(fā)明中，對Kushman等人提出的公式模板進行了簡化。簡化以后的公式模板 被稱為簡化的公式模板，所有簡化的公式模板的集合被稱為簡化的公式模板庫。
[0045] 參見圖3,在本發(fā)明中，簡化的公式模板不再像Kushman等人提出的公式模板那 樣，不僅包含未知量的系數(shù)，還包括未知量本身。公式模板中的未知量的系數(shù)對應(yīng)于訓練文 本中的數(shù)字，而未知量本身對應(yīng)于訓練文本中的名詞。不再包含未知量本身，意味著在參數(shù) 對齊時，僅需要將文本中數(shù)字與所述簡化的公式模板中的系數(shù)槽位進行對齊，而不再需要 將文本中的名詞代表的未知量與所述簡化的公式模板中的槽位進行對齊。因為如果在公式 模板中考慮未知量本身的不同，樣本空間中樣本的數(shù)量會呈指數(shù)增長，所以，不再考慮未知 量以后，每個公式模板對應(yīng)的樣本數(shù)量會大大減小。
[0046] 另外，參見圖4，Kushman等人提出的公式模板容易產(chǎn)生假陽性樣本。這是因為，當 公式模板的系數(shù)正確填充后，公式未知數(shù)的對齊并不影響計算結(jié)果。因此，錯誤的未知數(shù)的 對齊也可能產(chǎn)生正確的結(jié)果。這些假陽性樣本將影響訓練結(jié)果。需要說明的是，為了凸顯 未知量對齊所產(chǎn)生的假陽性樣本，圖4中并未示出對文本中不同系數(shù)的對齊方案。
[0047] 在Kushman等人提出的方法中，對未知量的分析有助于將文本中的數(shù)字最優(yōu)的對 齊至所述公式模板中的系數(shù)槽位上。在本實施例提供的方法中，由于公式模板中不再考慮 未知量本身，轉(zhuǎn)而通過針對訓練文本中的數(shù)字與疑問句之間關(guān)系設(shè)計合適的特征向量而完 成數(shù)字對系數(shù)槽位的最優(yōu)對齊。
[0048] 參見圖4,由于簡化的公式模板不再考慮未知量本身，