本發(fā)明涉及一種注射成形系統(tǒng)，特別是涉及一種不需要操作員的調(diào)整而能夠計(jì)算出最佳的操作條件的注射成形系統(tǒng)。

背景技術(shù)：

在制作用于成形新成形品的金屬模具的情況下，在開始基于該金屬模具進(jìn)行成形品的批量生產(chǎn)之前，需要計(jì)算出包含成形條件的操作條件的最佳的值。操作員在計(jì)算出注射成形機(jī)的最佳的操作條件的操作條件提取作業(yè)中，需要根據(jù)經(jīng)驗(yàn)大致設(shè)定成為其基準(zhǔn)的操作條件而進(jìn)行成形作業(yè)，同時(shí)上述操作員參照工序監(jiān)視數(shù)據(jù)、成形品重量計(jì)測(cè)，目視檢查成形品等來(lái)確認(rèn)成形狀態(tài)的同時(shí)調(diào)整各種操作條件，調(diào)整為最佳的操作條件。因此，操作員需要將各種操作條件的調(diào)整、在各操作條件下成形的成形品進(jìn)行比較，同時(shí)花費(fèi)時(shí)間來(lái)計(jì)算出最佳的操作條件。

另一方面，作為輔助上述操作員進(jìn)行成形條件的設(shè)定作業(yè)的現(xiàn)有技術(shù)，公開了將成形條件、成形數(shù)據(jù)存儲(chǔ)在非易失性存儲(chǔ)器中進(jìn)行比較顯示的技術(shù)、根據(jù)上述操作員的請(qǐng)求來(lái)讀出過(guò)去的成形條件而使用的技術(shù)等(例如參照日本特開平06-039889號(hào)公報(bào)、日本特開平11-333899號(hào)公報(bào)等)。

在上述操作員進(jìn)行的操作條件提取作業(yè)中，由于進(jìn)行作業(yè)的操作員的技能不同，直到計(jì)算出最佳的操作條件為止費(fèi)時(shí)或由于操作員不同而最佳的操作條件的水平(質(zhì)量)出現(xiàn)差別，從而存在難以每次以相同的基準(zhǔn)來(lái)計(jì)算出操作條件這種問題。

另外，在上述操作條件提取作業(yè)中，根據(jù)批量生產(chǎn)時(shí)的成形品的制造成本的觀點(diǎn)，導(dǎo)出能夠抑制成形時(shí)的消耗電力的操作條件也是重要的觀點(diǎn)。但是，存在導(dǎo)出將成形品的質(zhì)量保持得高的同時(shí)抑制消耗電力而成形的操作條件即使是熟練的操作員也較困難這種問題。

而且，關(guān)于這種問題，如日本特開平06-039889號(hào)公報(bào)、日本特開平11-333899號(hào)公報(bào)所公開那樣，僅存儲(chǔ)成形條件的歷史記錄而利用無(wú)法解決。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明的目的在于提供一種能夠在短時(shí)間內(nèi)進(jìn)行包括成形條件的操作條件的調(diào)整并且能夠在消耗電力更小的條件下進(jìn)行成形的注射成形系統(tǒng)。

本發(fā)明的注射成形系統(tǒng)至少具有一個(gè)注射成形機(jī)，具有進(jìn)行機(jī)械學(xué)習(xí)的人工智能，該注射成形系統(tǒng)具備：狀態(tài)觀測(cè)部，其在執(zhí)行由上述注射成形機(jī)進(jìn)行的注射成形時(shí)，對(duì)與執(zhí)行中的注射成形有關(guān)的物理量進(jìn)行觀測(cè)；物理量數(shù)據(jù)存儲(chǔ)部，其存儲(chǔ)由上述狀態(tài)觀測(cè)部觀測(cè)到的物理量數(shù)據(jù)；回報(bào)條件設(shè)定部，其設(shè)定上述機(jī)械學(xué)習(xí)中的回報(bào)條件；回報(bào)計(jì)算部，其根據(jù)由上述狀態(tài)觀測(cè)部觀測(cè)到的上述物理量數(shù)據(jù)和在上述回報(bào)條件設(shè)定部中設(shè)定的上述回報(bào)條件來(lái)計(jì)算回報(bào)；操作條件調(diào)整學(xué)習(xí)部，其根據(jù)由上述回報(bào)計(jì)算部計(jì)算出的上述回報(bào)、在上述注射成形系統(tǒng)中設(shè)定的操作條件和上述物理量數(shù)據(jù)，進(jìn)行操作條件調(diào)整的機(jī)械學(xué)習(xí)；學(xué)習(xí)結(jié)果存儲(chǔ)部，其存儲(chǔ)由上述操作條件調(diào)整學(xué)習(xí)部進(jìn)行機(jī)械學(xué)習(xí)的學(xué)習(xí)結(jié)果；以及操作條件調(diào)整量輸出部，其根據(jù)由上述操作條件調(diào)整學(xué)習(xí)部進(jìn)行的學(xué)習(xí)結(jié)果，決定操作條件調(diào)整的對(duì)象和調(diào)整量并輸出。

也可以是，上述注射成形系統(tǒng)將存儲(chǔ)在上述學(xué)習(xí)結(jié)果存儲(chǔ)部中的學(xué)習(xí)結(jié)果用于上述操作條件調(diào)整學(xué)習(xí)部的學(xué)習(xí)。

也可以是，在上述注射成形系統(tǒng)中，還具備計(jì)測(cè)單元，由上述狀態(tài)觀測(cè)部觀測(cè)的上述物理量數(shù)據(jù)包含由上述計(jì)測(cè)單元計(jì)測(cè)到的成形品的重量、尺寸、根據(jù)成形品的圖像數(shù)據(jù)計(jì)算出的外觀、長(zhǎng)度、角度、面積、體積、光學(xué)成形品的光學(xué)檢查結(jié)果、成形品強(qiáng)度計(jì)測(cè)結(jié)果中的至少一個(gè)，與其它上述物理量數(shù)據(jù)一起在上述物理量數(shù)據(jù)存儲(chǔ)部中作為一個(gè)成形品的物理量數(shù)據(jù)而存儲(chǔ)。

也可以是，在上述注射成形系統(tǒng)中，能夠從上述注射成形機(jī)所具備的顯示器向上述回報(bào)條件設(shè)定部輸入回報(bào)條件。

也可以是，在上述注射成形系統(tǒng)中，當(dāng)有助于物理量數(shù)據(jù)的穩(wěn)定化、周期縮短、節(jié)能化中的至少一個(gè)時(shí)，上述回報(bào)計(jì)算部根據(jù)其程度賦予正的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，如果產(chǎn)生物理量數(shù)據(jù)不穩(wěn)定、周期延長(zhǎng)、消耗能量增大中的至少一個(gè)現(xiàn)象，則上述回報(bào)計(jì)算部根據(jù)其程度賦予負(fù)的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，針對(duì)上述物理量數(shù)據(jù)預(yù)先設(shè)定允許值，當(dāng)上述物理量數(shù)據(jù)在上述允許值內(nèi)時(shí)，上述回報(bào)計(jì)算部賦予正的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，針對(duì)上述物理量數(shù)據(jù)預(yù)先設(shè)定允許值，當(dāng)上述物理量數(shù)據(jù)從上述允許值偏離時(shí)，上述回報(bào)計(jì)算部根據(jù)其偏離量來(lái)賦予負(fù)的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，針對(duì)上述物理量數(shù)據(jù)預(yù)先設(shè)定目標(biāo)值，當(dāng)上述物理量數(shù)據(jù)接近上述目標(biāo)值時(shí)，上述回報(bào)計(jì)算部根據(jù)上述目標(biāo)值與上述物理量數(shù)據(jù)的偏離量來(lái)賦予正的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，針對(duì)上述物理量數(shù)據(jù)預(yù)先設(shè)定目標(biāo)值，當(dāng)上述物理量數(shù)據(jù)偏離上述目標(biāo)值時(shí)，上述回報(bào)計(jì)算部根據(jù)上述目標(biāo)值與上述物理量數(shù)據(jù)的偏離量來(lái)賦予負(fù)的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，如果產(chǎn)生表示成形缺陷的狀態(tài)，則上述回報(bào)計(jì)算部根據(jù)其程度來(lái)賦予負(fù)的回報(bào)。

也可以是，在上述注射成形系統(tǒng)中，上述成形缺陷為毛刺、氣孔、翹曲、氣泡、縮痕(short)、流痕、熔接痕、銀紋、顏色不均勻、變色、碳化、雜質(zhì)混入、透鏡成形品的光軸向允許值外的偏離、成形品厚度缺陷中的至少一個(gè)。

也可以是，在上述注射成形系統(tǒng)中，上述操作條件調(diào)整學(xué)習(xí)部進(jìn)行機(jī)械學(xué)習(xí)的操作條件為合模條件、頂出條件、注射保壓條件、計(jì)量條件、溫度條件、噴嘴接觸條件、樹脂供給條件、模厚條件、成形品取出條件、熱流道條件中的至少一個(gè)。

也可以是，在上述注射成形系統(tǒng)中，還具備設(shè)定上述成形品取出條件的作為成形品取出單元的機(jī)器人。

也可以是，在上述注射成形系統(tǒng)中，使上述操作條件中的至少一個(gè)在預(yù)定范圍內(nèi)變動(dòng)而使上述操作條件調(diào)整學(xué)習(xí)部學(xué)習(xí)。

也可以是，在上述注射成形系統(tǒng)中，多個(gè)上述注射成形系統(tǒng)還分別具備與外部的通信單元，將收發(fā)各上述物理量數(shù)據(jù)存儲(chǔ)部存儲(chǔ)的物理量數(shù)據(jù)、學(xué)習(xí)結(jié)果存儲(chǔ)部存儲(chǔ)的學(xué)習(xí)結(jié)果進(jìn)行共享。

而且，本發(fā)明的機(jī)械學(xué)習(xí)器，對(duì)注射成形機(jī)的操作條件調(diào)整進(jìn)行機(jī)械學(xué)習(xí)，該機(jī)械學(xué)習(xí)器具備：學(xué)習(xí)結(jié)果存儲(chǔ)部，其存儲(chǔ)上述操作條件調(diào)整的學(xué)習(xí)結(jié)果；狀態(tài)觀測(cè)部，其在執(zhí)行由上述注射成形機(jī)進(jìn)行的注射成形時(shí)，對(duì)與執(zhí)行中的注射成形有關(guān)的物理量進(jìn)行觀測(cè)；以及操作條件調(diào)整量輸出部，其根據(jù)存儲(chǔ)在上述學(xué)習(xí)結(jié)果存儲(chǔ)部中的學(xué)習(xí)結(jié)果來(lái)決定操作條件調(diào)整的對(duì)象和調(diào)整量并輸出。

在本發(fā)明中，通過(guò)在最佳的操作條件的計(jì)算中采用機(jī)械學(xué)習(xí)，在短時(shí)間內(nèi)進(jìn)行各種操作條件調(diào)整、能夠進(jìn)行更穩(wěn)定的成形。另外，能夠在消耗電力更小的條件下進(jìn)行成形。并且，將多個(gè)注射成形系統(tǒng)中的調(diào)整過(guò)程中的成形數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)共享并用于機(jī)械學(xué)習(xí)，由此能夠按注射成形系統(tǒng)來(lái)實(shí)現(xiàn)得到更好的結(jié)果的機(jī)械學(xué)習(xí)。

附圖說(shuō)明

通過(guò)與附圖關(guān)聯(lián)的以下的實(shí)施例的說(shuō)明，能夠更加明確本發(fā)明的上述和其它目的以及特征。在這些圖中：

圖1是說(shuō)明強(qiáng)化學(xué)習(xí)算法的基本的概念的圖。

圖2是本發(fā)明的實(shí)施方式中的注射成形系統(tǒng)的概要結(jié)構(gòu)圖。

圖3是將一次發(fā)射期間的注射保壓壓力數(shù)據(jù)作為壓力波形而顯示的示例。

具體實(shí)施方式

以下，根據(jù)附圖說(shuō)明本發(fā)明的實(shí)施方式。

在本發(fā)明中，對(duì)注射成形系統(tǒng)導(dǎo)入成為人工智能的機(jī)械學(xué)習(xí)器，進(jìn)行與關(guān)于注射成形的操作條件有關(guān)的機(jī)械學(xué)習(xí)，由此進(jìn)行注射成形中的各種操作條件的調(diào)整。由此，提出一種能夠在短期間內(nèi)計(jì)算出最佳的操作條件并使成形更穩(wěn)定化或更有助于節(jié)能的注射成形系統(tǒng)。

<1.機(jī)械學(xué)習(xí)>

通常，在機(jī)械學(xué)習(xí)中，有教師學(xué)習(xí)、無(wú)教師學(xué)習(xí)等根據(jù)其目的、條件分類為各種算法。在本發(fā)明中，以針對(duì)金屬模具的操作條件提取作業(yè)的學(xué)習(xí)為目的?？紤]到在上述注射成形系統(tǒng)中存在無(wú)法在注射環(huán)境下直接進(jìn)行測(cè)量的參數(shù)等以及難以明確表示對(duì)注射的結(jié)果即成形品的狀態(tài)進(jìn)行什么樣的行動(dòng)(操作條件的調(diào)整)是正確的，而采用通過(guò)僅賦予回報(bào)，機(jī)械學(xué)習(xí)器自動(dòng)地學(xué)習(xí)為了達(dá)到目標(biāo)的上述行動(dòng)的強(qiáng)化學(xué)習(xí)的算法。

圖1是說(shuō)明強(qiáng)化學(xué)習(xí)算法的基本的概念的圖。在強(qiáng)化學(xué)習(xí)中，通過(guò)將成為學(xué)習(xí)主體的智能體(機(jī)械學(xué)習(xí)器)與成為控制對(duì)象的環(huán)境(控制對(duì)象系統(tǒng))進(jìn)行交換，推進(jìn)智能體學(xué)習(xí)和行動(dòng)。更具體地說(shuō)，(1)智能體觀測(cè)某一時(shí)間點(diǎn)的環(huán)境的狀態(tài)s_t；(2)根據(jù)觀測(cè)結(jié)果和過(guò)去的學(xué)習(xí)來(lái)選擇自己能夠采取的行動(dòng)a_t而執(zhí)行行動(dòng)a_t；(3)通過(guò)執(zhí)行行動(dòng)a_t而環(huán)境的狀態(tài)s_t向下一狀態(tài)s_t+1變化；(4)智能體根據(jù)作為行動(dòng)a_t的結(jié)果的狀態(tài)的變化來(lái)接受回報(bào)r_t+1；以及(5)智能體根據(jù)狀態(tài)s_t、行動(dòng)a_t、回報(bào)r_t+1和過(guò)去的學(xué)習(xí)的結(jié)果來(lái)推進(jìn)學(xué)習(xí)這種交換在智能體與環(huán)境之間進(jìn)行。

在上述(5)的學(xué)習(xí)中，作為用于判斷將來(lái)能夠獲取的回報(bào)的量的基準(zhǔn)的信息，智能體獲得觀測(cè)到的狀態(tài)s_t、行動(dòng)a_t、回報(bào)r_t+1的映射(mapping)。例如當(dāng)將各時(shí)刻中取得的狀態(tài)的個(gè)數(shù)設(shè)為m、將取得的行動(dòng)的個(gè)數(shù)設(shè)為n時(shí)，通過(guò)反復(fù)行動(dòng)得到存儲(chǔ)對(duì)狀態(tài)s_t與行動(dòng)a_t的組的回報(bào)r_t+1的m×n的二維排列。

然后，使用根據(jù)上述得到的映射，表示當(dāng)前的狀態(tài)、行動(dòng)好到什么程度的函數(shù)即價(jià)值函數(shù)(評(píng)價(jià)函數(shù))，在反復(fù)行動(dòng)的過(guò)程中更新價(jià)值函數(shù)(評(píng)價(jià)函數(shù))，由此學(xué)習(xí)針對(duì)狀態(tài)的最佳行動(dòng)。

狀態(tài)價(jià)值函數(shù)為表示某一狀態(tài)s_t為好到什么程度的狀態(tài)的價(jià)值函數(shù)。狀態(tài)價(jià)值函數(shù)表現(xiàn)為以狀態(tài)為自變量的函數(shù)，在反復(fù)行動(dòng)的過(guò)程中的學(xué)習(xí)中，根據(jù)對(duì)某一狀態(tài)下的行動(dòng)得到的回報(bào)、通過(guò)該行動(dòng)而轉(zhuǎn)變的未來(lái)的狀態(tài)的價(jià)值等進(jìn)行更新。狀態(tài)價(jià)值函數(shù)的更新式根據(jù)強(qiáng)化學(xué)習(xí)的算法來(lái)定義，例如在強(qiáng)化學(xué)習(xí)算法之一的TD學(xué)習(xí)中，狀態(tài)價(jià)值函數(shù)用以下式1來(lái)定義。此外，在式1中，α被稱為學(xué)習(xí)系數(shù)，γ被稱為折扣率，在0<α≤1、0<γ≤1的范圍內(nèi)進(jìn)行定義。

[式1]

V(s_t)←V(s_t)+α[r_t+1+γV(s_t+1)-V(s_t)]

另外，行動(dòng)價(jià)值函數(shù)為表示在某一狀態(tài)s_t下行動(dòng)a_t為好到什么程度的行動(dòng)的價(jià)值函數(shù)。行動(dòng)價(jià)值函數(shù)表現(xiàn)為將狀態(tài)和行動(dòng)設(shè)為自變量的函數(shù)，在反復(fù)行動(dòng)過(guò)程中的學(xué)習(xí)中，根據(jù)對(duì)某一狀態(tài)下的行動(dòng)得到的回報(bào)、通過(guò)該行動(dòng)而轉(zhuǎn)變的未來(lái)狀態(tài)下的行動(dòng)的價(jià)值等進(jìn)行更新。行動(dòng)價(jià)值函數(shù)的更新式根據(jù)強(qiáng)化學(xué)習(xí)的算法而定義，例如在代表性強(qiáng)化學(xué)習(xí)算法之一的Q學(xué)習(xí)中，行動(dòng)價(jià)值函數(shù)用以下式2來(lái)定義。此外，在式2中，α被稱為學(xué)習(xí)系數(shù)，γ被稱為折扣率，在0<α≤1、0<γ≤1的范圍內(nèi)定義。

[式2]

此外，作為存儲(chǔ)該價(jià)值函數(shù)(評(píng)價(jià)函數(shù))的方法，除了使用近似函數(shù)的方法、使用排列的方法以外，也可以使用例如在狀態(tài)s采用很多的狀態(tài)的情況下將狀態(tài)s_t、行動(dòng)a_t作為輸入而輸出價(jià)值(評(píng)價(jià))的多值輸出的SVM、神經(jīng)網(wǎng)絡(luò)等有教師學(xué)習(xí)器。

而且，在上述(2)中的行動(dòng)的選擇中，使用通過(guò)過(guò)去的學(xué)習(xí)制作的價(jià)值函數(shù)(評(píng)價(jià)函數(shù))，選擇在當(dāng)前的狀態(tài)s_t下將來(lái)回報(bào)(r_t+1+r_t+2+…)變得最大的行動(dòng)a_t(在使用狀態(tài)價(jià)值函數(shù)的情況下，用于轉(zhuǎn)變?yōu)閮r(jià)值最高的狀態(tài)的行動(dòng)、在使用行動(dòng)價(jià)值函數(shù)的情況下在該狀態(tài)下價(jià)值最高的行動(dòng))。此外，在智能體的學(xué)習(xí)中以學(xué)習(xí)的進(jìn)展為目的在(2)中的行動(dòng)的選擇中還以一定的概率來(lái)選擇隨機(jī)的行動(dòng)(ε貪心法)。

這樣，通過(guò)反復(fù)(1)～(5)來(lái)推進(jìn)學(xué)習(xí)。在某一環(huán)境下結(jié)束學(xué)習(xí)之后，即使放置在新的環(huán)境的情況下也進(jìn)行追加的學(xué)習(xí)，由此能夠以適應(yīng)于該環(huán)境的方式推進(jìn)學(xué)習(xí)。因而，如本發(fā)明那樣通過(guò)應(yīng)用于操作條件提取作業(yè)，即使在新制作成形品的金屬模具時(shí)，也在過(guò)去的操作條件提取作業(yè)的學(xué)習(xí)中，進(jìn)行將新成形品的金屬模具設(shè)為新環(huán)境的追加的操作條件提取作業(yè)的學(xué)習(xí)，由此能夠在短時(shí)間內(nèi)進(jìn)行各種條件調(diào)整。

另外，在強(qiáng)化學(xué)習(xí)中，設(shè)為將多個(gè)智能體經(jīng)由網(wǎng)絡(luò)等進(jìn)行連接的系統(tǒng)，在智能體之間共享狀態(tài)s、行動(dòng)a、回報(bào)r等信息并使用于各自的學(xué)習(xí)，由此各智能體進(jìn)行還考慮其它智能體的環(huán)境來(lái)進(jìn)行學(xué)習(xí)的分散強(qiáng)化學(xué)習(xí)，由此能夠進(jìn)行有效的學(xué)習(xí)。在本發(fā)明中，在控制多個(gè)環(huán)境(成為控制對(duì)象的注射成形機(jī))的多個(gè)智能體(機(jī)械學(xué)習(xí)器)經(jīng)由網(wǎng)絡(luò)等進(jìn)行連接的狀態(tài)下進(jìn)行分散強(qiáng)化學(xué)習(xí)，能夠有效地進(jìn)行對(duì)金屬模具的操作條件提取作業(yè)的學(xué)習(xí)。

此外，作為強(qiáng)化學(xué)習(xí)的算法，Q學(xué)習(xí)、SARSA法、TD學(xué)習(xí)、AC法等各種方法是公知的，但是作為應(yīng)用于本發(fā)明的方法也可以采用任意的強(qiáng)化學(xué)習(xí)算法。此外，各強(qiáng)化學(xué)習(xí)算法是公知的，因此省略本說(shuō)明書中的各算法的詳細(xì)說(shuō)明。

以下，根據(jù)具體的實(shí)施方式說(shuō)明導(dǎo)入了機(jī)械學(xué)習(xí)器的本發(fā)明的注射成形系統(tǒng)。

<2.實(shí)施方式>

圖2是表示本發(fā)明的一個(gè)實(shí)施方式中的注射成形系統(tǒng)的概要結(jié)構(gòu)的圖。本實(shí)施方式的注射成形系統(tǒng)1由注射成形機(jī)2、金屬模具3、其它外圍裝置等控制對(duì)象、進(jìn)行機(jī)械學(xué)習(xí)的人工智能的機(jī)械學(xué)習(xí)器20等構(gòu)成。當(dāng)將圖2示出的結(jié)構(gòu)與圖1示出的強(qiáng)化學(xué)習(xí)中的要素進(jìn)行對(duì)比時(shí)，機(jī)械學(xué)習(xí)器20與智能體對(duì)應(yīng)，包括注射成形機(jī)2、金屬模具3、其它外圍裝置等控制對(duì)象的整體與環(huán)境對(duì)應(yīng)。

注射成形系統(tǒng)1由各種裝置構(gòu)成，有時(shí)分別具備控制裝置、傳感器等。

作為注射成形機(jī)2所具備的控制裝置，除了合模力控制裝置7、用于對(duì)模開閉、模厚調(diào)整、頂出、螺桿旋轉(zhuǎn)、螺桿前進(jìn)后退、注射單元前進(jìn)后退等進(jìn)行驅(qū)動(dòng)的控制裝置9、控制用于供給適量的供給裝置的旋轉(zhuǎn)量的注射單元關(guān)系裝置的控制裝置10以外，還存在噴嘴、缸、料斗下部的溫度控制裝置、壓力控制裝置、噴嘴接觸力控制裝置等。

在金屬模具3關(guān)系中，存在金屬模具溫度控制裝置、熱流道溫度和噴嘴開閉控制裝置、注射壓縮用可動(dòng)部件控制裝置、芯安裝和芯拔出控制裝置、多色成形等的滑動(dòng)臺(tái)和轉(zhuǎn)臺(tái)用控制裝置、多色成形用材料流路切換裝置、金屬模具振動(dòng)裝置等。

作為外圍裝置，除了由控制裝置8進(jìn)行控制的成形品取出裝置(機(jī)器人)5以外，還存在嵌入物插入裝置、模具鑲塊插入裝置、模內(nèi)成形的送箔裝置、環(huán)箍成形用環(huán)箍進(jìn)給裝置、氣體輔助成形用注氣裝置、使用超臨界流體的發(fā)泡成形用注氣裝置、長(zhǎng)纖維注入裝置、LIM成形用兩種材料混合裝置、成形品的去毛刺裝置、流道切斷裝置、成形品重量計(jì)、成形品強(qiáng)度測(cè)試機(jī)、成形品的光學(xué)檢查裝置、成形品攝像裝置和圖像處理裝置、成形品搬運(yùn)用機(jī)器人等。

在這些裝置中還存在具備傳感器并進(jìn)行閉環(huán)的反饋控制、前饋控制的控制裝置。另外，還存在僅輸出數(shù)據(jù)的裝置。

另外，進(jìn)行機(jī)械學(xué)習(xí)的機(jī)械學(xué)習(xí)器20具備狀態(tài)觀測(cè)部21、物理量數(shù)據(jù)存儲(chǔ)部22、回報(bào)條件設(shè)定部23、回報(bào)計(jì)算部24、操作條件調(diào)整學(xué)習(xí)部25、學(xué)習(xí)結(jié)果存儲(chǔ)部26以及操作條件調(diào)整量輸出部27。上述機(jī)械學(xué)習(xí)器20即可以設(shè)置于注射成形機(jī)2內(nèi)，也可以設(shè)置于注射成形機(jī)2外的個(gè)人計(jì)算機(jī)等。

狀態(tài)觀測(cè)部21是對(duì)從上述注射成形系統(tǒng)1的各裝置輸出的與注射成形有關(guān)的物理量數(shù)據(jù)進(jìn)行觀測(cè)并在機(jī)械學(xué)習(xí)器20內(nèi)獲取的功能單元。作為物理量數(shù)據(jù)，存在溫度、位置、速度、加速度、電流、電壓、壓力、時(shí)間、圖像數(shù)據(jù)、圖像分析數(shù)據(jù)、扭矩、力、變形、消耗電力、開模量、回流量、連接桿變形量、加熱器加熱率、成形品的重量、成形品的強(qiáng)度、成形品的尺寸、根據(jù)成形品的圖像數(shù)據(jù)計(jì)算出的外觀、成形品各部的長(zhǎng)度、角度、面積、體積、光學(xué)成形品的光學(xué)檢查結(jié)果、成形品強(qiáng)度計(jì)測(cè)結(jié)果、透明成形品的光軸偏離量、以及將各物理量進(jìn)行運(yùn)算處理而計(jì)算出的計(jì)算值等。根據(jù)這些物理量數(shù)據(jù)的組，對(duì)用于機(jī)械學(xué)習(xí)的環(huán)境的狀態(tài)s進(jìn)行定義。

物理量數(shù)據(jù)存儲(chǔ)部22是輸入并存儲(chǔ)物理量數(shù)據(jù)并將所存儲(chǔ)的該物理量數(shù)據(jù)輸出到回報(bào)計(jì)算部24、操作條件調(diào)整學(xué)習(xí)部25的功能單元。物理量數(shù)據(jù)存儲(chǔ)部22將在注射成形時(shí)，由狀態(tài)觀測(cè)部21觀測(cè)的物理量數(shù)據(jù)作為通過(guò)上述注射成形而成形的一個(gè)成形品的物理量數(shù)據(jù)而進(jìn)行存儲(chǔ)。被輸入的物理量數(shù)據(jù)可以是通過(guò)最新的成形運(yùn)轉(zhuǎn)而獲取的數(shù)據(jù)，也可以是通過(guò)過(guò)去的成形運(yùn)轉(zhuǎn)而獲取的數(shù)據(jù)。另外，還能夠輸入并存儲(chǔ)或輸出在其它注射成形系統(tǒng)1、集中管理系統(tǒng)30中存儲(chǔ)的物理量數(shù)據(jù)。

回報(bào)條件設(shè)定部23是在機(jī)械學(xué)習(xí)中用于設(shè)定賦予回報(bào)的條件的功能單元。在回報(bào)中存在正的回報(bào)和負(fù)的回報(bào)，能夠適當(dāng)?shù)剡M(jìn)行設(shè)定。并且，向回報(bào)條件設(shè)定部23的輸入也可以從在集中管理系統(tǒng)中使用的個(gè)人計(jì)算機(jī)、平板終端等進(jìn)行，但是能夠經(jīng)由注射成形機(jī)2所具備的顯示器6來(lái)輸入，由此能夠更簡(jiǎn)單地進(jìn)行設(shè)定。

回報(bào)計(jì)算部24根據(jù)由回報(bào)條件設(shè)定部23設(shè)定的條件，對(duì)從狀態(tài)觀測(cè)部21或物理量數(shù)據(jù)存儲(chǔ)部22輸入的物理量數(shù)據(jù)進(jìn)行分析，將計(jì)算得到的回報(bào)輸出到操作條件調(diào)整學(xué)習(xí)部25?；貓?bào)計(jì)算部24所輸出的回報(bào)相當(dāng)于用于機(jī)械學(xué)習(xí)的回報(bào)r。

以下，示出本實(shí)施方式中的回報(bào)條件設(shè)定部23所設(shè)定的回報(bào)條件的示例。

[回報(bào)1：當(dāng)有助于物理量數(shù)據(jù)的穩(wěn)定化、周期縮短、節(jié)能化中的至少一個(gè)時(shí)賦予正的回報(bào)的事例]

關(guān)于物理量數(shù)據(jù)的穩(wěn)定化的判斷，對(duì)物理量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理的結(jié)果是，在有助于偏差降低的情況下，也可以根據(jù)其程度賦予正的回報(bào)。作為波動(dòng)的指標(biāo)，通常使用標(biāo)準(zhǔn)偏差。

關(guān)于周期縮短的判斷，在周期縮短的情況下，根據(jù)其程度賦予正的回報(bào)。

關(guān)于節(jié)能化，將注射成形機(jī)單體的消耗電力、注射成形系統(tǒng)整體的消耗電力、多個(gè)注射成形系統(tǒng)的全部消耗電力等作為指標(biāo)，在這些指標(biāo)消減的情況下，根據(jù)其程度賦予正的回報(bào)。

相反，在物理量數(shù)據(jù)的不穩(wěn)定、周期延長(zhǎng)、消耗能量增大的情況下，根據(jù)其程度賦予負(fù)的回報(bào)。

[回報(bào)2：針對(duì)物理量數(shù)據(jù)預(yù)先設(shè)定允許值，當(dāng)物理量數(shù)據(jù)在允許值內(nèi)時(shí)，回報(bào)計(jì)算部賦予正的回報(bào)的事例]

在已知當(dāng)最大注射壓力超過(guò)200MPa時(shí)成形品產(chǎn)生毛刺并當(dāng)?shù)陀?90MPa時(shí)成形品產(chǎn)生縮痕(short)的情況下等，將注射工序中的注射壓力設(shè)定為最大200MPa且最小190MPa的允許值，在物理量數(shù)據(jù)在允許值內(nèi)的情況下，賦予正的回報(bào)。另外，在偏離上述允許值的情況下，也可以根據(jù)其偏離量來(lái)賦予偏離量越大則越大的負(fù)的回報(bào)。

另外，如圖3所示，具有在注射成形機(jī)的畫面上以橫軸(時(shí)間或螺桿位置)、縱軸(壓力)的壓力波形來(lái)顯示一次發(fā)射期間的注射保壓壓力數(shù)據(jù)的功能，已知在該壓力波形的多個(gè)區(qū)間設(shè)置上限、下限，并在波形偏離這些上限和下限的情況下顯示報(bào)警消息或辨別好壞的功能。還能夠?qū)⒃O(shè)定于該壓力波形的上限和下限作為由上述回報(bào)條件設(shè)定部23設(shè)定的允許值，對(duì)壓力波形賦予回報(bào)。

[回報(bào)3：針對(duì)物理量數(shù)據(jù)預(yù)先設(shè)定目標(biāo)值，當(dāng)物理量數(shù)據(jù)接近目標(biāo)值時(shí)回報(bào)計(jì)算部根據(jù)目標(biāo)值與物理量數(shù)據(jù)的偏離量來(lái)賦予正的回報(bào)的事例]

也可以在成形品重量中根據(jù)金屬模具設(shè)計(jì)和樹脂選定來(lái)設(shè)定目標(biāo)值，賦予越接近目標(biāo)值則越大的正的回報(bào)。

相反地，當(dāng)物理量數(shù)據(jù)偏離目標(biāo)值時(shí)也可以根據(jù)上述目標(biāo)值與上述物理量數(shù)據(jù)的偏離量來(lái)賦予負(fù)的回報(bào)。另外，當(dāng)在偏離量的變化率增加的情況下根據(jù)該變化率來(lái)進(jìn)一步賦予負(fù)的回報(bào)時(shí)，在偏離量以加速度地增加的情況下能夠賦予更大的負(fù)的回報(bào)。

另外，也可以將上述回報(bào)2的允許值的設(shè)定與回報(bào)3的目標(biāo)值的設(shè)定進(jìn)行組合，將目標(biāo)值設(shè)定為允許值內(nèi)的上限附近。注射成形使用的樹脂具有即使是同一等級(jí)也由于批次不同而分子量分布、熔融時(shí)的粘度發(fā)生變動(dòng)的因素，因此即使在允許值內(nèi)進(jìn)行成形有時(shí)在允許值的下限附近發(fā)生縮痕概率也增加。在避免這種風(fēng)險(xiǎn)的情況下，將目標(biāo)值設(shè)定為允許值的上限以下且上限附近。由此，在允許值范圍內(nèi)且允許值的上限附近成形變得穩(wěn)定，能夠降低縮痕發(fā)生概率。這樣還能夠組合使用多個(gè)回報(bào)條件。

[回報(bào)4：如果產(chǎn)生表示成形缺陷的狀態(tài)則賦予負(fù)的回報(bào)的事例]

如果產(chǎn)生拍攝成形品而獲取的圖像或?qū)D像進(jìn)行分析而得到的圖像分析數(shù)據(jù)、由光學(xué)檢查裝置等檢測(cè)出的毛刺、氣孔、翹曲、氣泡、縮痕、流痕、熔接痕、銀紋、顏色不均勻、變色、碳化、雜質(zhì)的混入、透鏡成形品的光軸向允許值外的偏離、成形品厚度缺陷等成形缺陷，則賦予負(fù)的回報(bào)。

另外，也可以根據(jù)這些缺陷的程度來(lái)使負(fù)的回報(bào)的大小變化。例如在顏色發(fā)生變化的情況下，根據(jù)色差計(jì)、拍攝得到的圖像的圖像分析等使變色的程度數(shù)值化，根據(jù)其變色的程度使負(fù)的回報(bào)的大小變化。

返回至圖2，操作條件調(diào)整學(xué)習(xí)部25根據(jù)物理量數(shù)據(jù)以及自己進(jìn)行的包括注射成形系統(tǒng)的成形條件的操作條件的調(diào)整和由上述回報(bào)計(jì)算部24計(jì)算出的回報(bào)來(lái)進(jìn)行機(jī)械學(xué)習(xí)(強(qiáng)化學(xué)習(xí))。另外，此時(shí)也可以使用在后述的學(xué)習(xí)結(jié)果存儲(chǔ)部26中存儲(chǔ)的學(xué)習(xí)結(jié)果來(lái)進(jìn)行機(jī)械學(xué)習(xí)(強(qiáng)化學(xué)習(xí))。

而且，后述的操作條件調(diào)整量輸出部27根據(jù)操作條件調(diào)整學(xué)習(xí)部25的學(xué)習(xí)結(jié)果，輸出合模條件、頂出條件、注射保壓條件、計(jì)量條件、溫度條件、噴嘴接觸條件、樹脂供給條件、模厚條件、成形品取出條件、熱流道條件、各外圍裝置的控制裝置等的設(shè)定條件等注射成形系統(tǒng)的操作條件的調(diào)整量。在此所指的操作條件的調(diào)整相當(dāng)于用于機(jī)械學(xué)習(xí)的行動(dòng)a。

在此，在操作條件調(diào)整學(xué)習(xí)部25所進(jìn)行的機(jī)械學(xué)習(xí)中，根據(jù)某一時(shí)刻t的物理量數(shù)據(jù)的組合來(lái)定義狀態(tài)s_t，將對(duì)定義的狀態(tài)s_t進(jìn)行的注射成形系統(tǒng)的操作條件進(jìn)行調(diào)整并通過(guò)后述的操作條件調(diào)整量輸出部27輸出該調(diào)整結(jié)果這一情況成為行動(dòng)a_t，而且，上述回報(bào)計(jì)算部24根據(jù)作為基于調(diào)整結(jié)果進(jìn)行注射成形的結(jié)果而得到的數(shù)據(jù)計(jì)算出的值成為回報(bào)r_t+1。根據(jù)所應(yīng)用的學(xué)習(xí)算法來(lái)決定用于學(xué)習(xí)的價(jià)值函數(shù)。例如在使用Q學(xué)習(xí)的情況下，按照上述式2來(lái)更新行動(dòng)價(jià)值函數(shù)Q(s_t，a_t)而推進(jìn)學(xué)習(xí)即可。

另外，在學(xué)習(xí)時(shí)，也可以將各操作條件預(yù)先決定為初始值之后，在預(yù)定的范圍內(nèi)使至少一個(gè)操作條件變動(dòng)，由此進(jìn)行學(xué)習(xí)。例如捕捉使計(jì)量時(shí)的螺桿旋轉(zhuǎn)數(shù)從初始值100rpm每次10rpm地自動(dòng)上升而進(jìn)行成形或使背壓從初始值5MPa每次1MPa地自動(dòng)上升而進(jìn)行成形時(shí)的各物理量來(lái)進(jìn)行學(xué)習(xí)，由此在不會(huì)產(chǎn)生成形缺陷而能夠使合格品穩(wěn)定成形的范圍內(nèi)，能夠?qū)W習(xí)使消耗電力最小的螺桿轉(zhuǎn)速與背壓的組合。

并且，也可以采用上述ε貪心法，以預(yù)定的概率選擇隨機(jī)的行動(dòng)來(lái)實(shí)現(xiàn)學(xué)習(xí)的進(jìn)展。

此外，也可以將設(shè)定了上述成形品取出條件的成形品取出裝置5設(shè)為多關(guān)節(jié)機(jī)器人。在金屬粉末成形等成形品(生坯體)非常脆弱的情況下，無(wú)法通過(guò)一般的取出機(jī)取出成形品，因此通過(guò)機(jī)器人將把持力抑制為所需最低限度而以低速進(jìn)行取出即可。然而，成形品取出速度周期地帶來(lái)大影響，因此以在不會(huì)損壞成形品的范圍內(nèi)盡可能提高速度而進(jìn)行成形品取出的方式進(jìn)行學(xué)習(xí)即可。成形品有無(wú)損壞，通過(guò)成形品重量計(jì)測(cè)、圖像分析等能夠作為物理量數(shù)據(jù)而輸出和判斷。

學(xué)習(xí)結(jié)果存儲(chǔ)部26存儲(chǔ)由上述操作條件調(diào)整學(xué)習(xí)部25學(xué)習(xí)的結(jié)果。另外，在操作條件調(diào)整學(xué)習(xí)部25再次使用學(xué)習(xí)結(jié)果時(shí)，將所存儲(chǔ)的學(xué)習(xí)結(jié)果輸出到操作條件調(diào)整學(xué)習(xí)部25。在學(xué)習(xí)結(jié)果的存儲(chǔ)中，如上所述，通過(guò)近似函數(shù)、排列或多值輸出的SVM、神經(jīng)網(wǎng)絡(luò)等有教師學(xué)習(xí)器等來(lái)存儲(chǔ)與所使用的機(jī)械學(xué)習(xí)算法相應(yīng)的價(jià)值函數(shù)即可。

此外，還能夠在學(xué)習(xí)結(jié)果存儲(chǔ)部26中輸入并存儲(chǔ)由其它注射成形系統(tǒng)1、集中管理系統(tǒng)30存儲(chǔ)的學(xué)習(xí)結(jié)果或?qū)⒂蓪W(xué)習(xí)結(jié)果存儲(chǔ)部26存儲(chǔ)的學(xué)習(xí)結(jié)果輸出到其它注射成形系統(tǒng)1、集中管理系統(tǒng)30。

操作條件調(diào)整量輸出部27根據(jù)由上述操作條件調(diào)整學(xué)習(xí)部25學(xué)習(xí)的操作條件的學(xué)習(xí)結(jié)果來(lái)決定并輸出操作條件調(diào)整的對(duì)象和調(diào)整量。在調(diào)整量的決定中，例如關(guān)于在當(dāng)前狀態(tài)下取得的操作條件調(diào)整的對(duì)象與調(diào)整量的組合，根據(jù)操作條件調(diào)整學(xué)習(xí)部25的學(xué)習(xí)，通過(guò)評(píng)價(jià)函數(shù)進(jìn)行評(píng)價(jià)，決定評(píng)價(jià)最高的操作條件調(diào)整的對(duì)象與調(diào)整量的組。然后，在操作條件調(diào)整量輸出部27輸出調(diào)整量之后，再次使用被輸入到上述狀態(tài)觀測(cè)部21的物理量數(shù)據(jù)來(lái)反復(fù)進(jìn)行學(xué)習(xí)，由此能夠得到更佳的學(xué)習(xí)結(jié)果。另外，也可以如上所述以預(yù)定的概率選擇隨機(jī)的行動(dòng)來(lái)實(shí)現(xiàn)學(xué)習(xí)的進(jìn)展。

另外，為了回報(bào)變得最大能夠使用以自變量表現(xiàn)物理量數(shù)據(jù)和操作的評(píng)價(jià)函數(shù)來(lái)進(jìn)行機(jī)械學(xué)習(xí)。機(jī)械學(xué)習(xí)可以一邊獲取最新成形的物理量數(shù)據(jù)一邊實(shí)施，也可以通過(guò)由物理量數(shù)據(jù)存儲(chǔ)部存儲(chǔ)的已獲取的物理量數(shù)據(jù)來(lái)實(shí)施。

在進(jìn)行機(jī)械學(xué)習(xí)時(shí)，能夠使上述操作條件中的至少一個(gè)在預(yù)定的范圍內(nèi)變動(dòng)而使上述操作條件調(diào)整學(xué)習(xí)部25進(jìn)行學(xué)習(xí)。預(yù)期地附加變動(dòng)而使其進(jìn)行學(xué)習(xí)，由此能夠高效率地實(shí)施對(duì)變動(dòng)的影響的學(xué)習(xí)。

另外，當(dāng)多個(gè)上述注射成形系統(tǒng)1還分別具備與外部的通信單元時(shí)，能夠收發(fā)并共享各物理量數(shù)據(jù)存儲(chǔ)部22存儲(chǔ)的物理量數(shù)據(jù)、學(xué)習(xí)結(jié)果存儲(chǔ)部26存儲(chǔ)的學(xué)習(xí)結(jié)果，能夠更高效率地進(jìn)行機(jī)械學(xué)習(xí)。例如在預(yù)定的范圍內(nèi)使操作條件變動(dòng)來(lái)進(jìn)行學(xué)習(xí)時(shí)，在多個(gè)注射成形系統(tǒng)1中使不同的操作條件在預(yù)定的范圍內(nèi)分別變動(dòng)而成形的同時(shí)，在各注射成形系統(tǒng)1之間交換物理量數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)而并行地推進(jìn)學(xué)習(xí)，由此能夠有效地進(jìn)行學(xué)習(xí)。

此外，在多個(gè)注射成形系統(tǒng)1之間交換時(shí)，通信即使經(jīng)由集中管理系統(tǒng)30等主計(jì)算機(jī)，也可以直接在注射成形系統(tǒng)1之間進(jìn)行通信，也可以使用云端，但是有時(shí)處理大量的數(shù)據(jù)，因此優(yōu)選使用通信速度盡可能快的通信單元。

以上，說(shuō)明了本發(fā)明的實(shí)施方式，但是本發(fā)明并不限定于上述實(shí)施方式的示例，通過(guò)施加適當(dāng)?shù)淖兏軌蛞愿鞣N方式實(shí)施。