本發(fā)明涉及一種實施在上位管理控制器中計劃好的生產(chǎn)計劃的生產(chǎn)系統(tǒng)。

背景技術(shù)：

過去，在組裝線等上，為了制造產(chǎn)品，操作多個種類的多個部件。圖8為現(xiàn)有技術(shù)中的生產(chǎn)系統(tǒng)的框圖。在圖8中，單元400包括多個機械r1～r2、以及控制機械r1～r2的多個機械控制裝置rc1～rc2。設(shè)為在單元400中多個機械r1～r2單獨或相互協(xié)作地制造產(chǎn)品。并且，作為生產(chǎn)計劃裝置的上位管理控制器200通過通信部410可通信地與單元400連接。

這里，將制造一個產(chǎn)品所需要的部件的種類及各個部件的數(shù)量作為產(chǎn)品信息s0，包含于上位管理控制器200中。上位管理控制器200向單元400供給根據(jù)產(chǎn)品信息s0確定的數(shù)量的多個種類的部件。

另外，在日本特開2013-016087號公報中公開了生產(chǎn)計劃裝置基于多個種類的部件的庫存或部件的數(shù)量信息來提高生產(chǎn)性的技術(shù)。

技術(shù)實現(xiàn)要素：

然而，在圖8所示的生產(chǎn)系統(tǒng)中，當(dāng)單元400的機械r1～r2發(fā)生了故障，或者操作者誤操作了上位管理控制器200的情況下，有時不會按照上位管理控制器200所設(shè)定的生產(chǎn)計劃制造產(chǎn)品。

具體來說，有以下的情況。

(1)由于機械r1～r2中的至少一個發(fā)生了故障，因此制造能力顯著下降。

(2)雖然上位管理控制器200的監(jiān)督范圍較廣，但是響應(yīng)性低下。因此，部件的供給較慢，從而機械r1～r2成為等待部件的狀態(tài)，產(chǎn)生時間損失。此時，無法適當(dāng)制造產(chǎn)品。

(3)對上位管理控制器200的輸入有誤，部件供給產(chǎn)生過剩與不足。

在未迅速檢測出這些問題點的情況下，隨著時間經(jīng)過，生產(chǎn)系統(tǒng)的制造效率下降。此外，在日本特開2013-016087號公報中，未公開迅速檢測上述問題點的技術(shù)。

本發(fā)明是鑒于這種情況而完成的，其目的在于，提供一種可以迅速檢測出機械發(fā)生了故障等并有效地動作的生產(chǎn)系統(tǒng)。

為了實現(xiàn)上述目的，根據(jù)第1發(fā)明，提供一種生產(chǎn)系統(tǒng)，具備：至少一個單元，其包括制造產(chǎn)品的多個機械和對該多個機械進(jìn)行控制的多個機械控制裝置；單元控制裝置，其可通信地與該至少一個單元連接來控制所述單元；以及上位管理控制器，其可通信地與該單元控制裝置連接，且包括產(chǎn)品信息，所述產(chǎn)品信息包括用于制造一個所述產(chǎn)品的多個種類的部件和所述多個種類中各種部件的數(shù)量，所述單元控制裝置具備：產(chǎn)品信息監(jiān)視部，其監(jiān)視所述產(chǎn)品信息；部件供給狀態(tài)監(jiān)視部，其監(jiān)視供給至所述至少一個單元的所述多個種類的部件及所述多個種類中各種部件的數(shù)量；以及通知部，其在由該部件供給狀態(tài)監(jiān)視部監(jiān)視到的所述多個種類中各種部件的數(shù)量不在根據(jù)所述多個種類中各種部件確定的預(yù)定范圍內(nèi)的情況下，向所述上位管理控制器進(jìn)行通知。

根據(jù)第2發(fā)明，在第1發(fā)明中，所述單元控制裝置包括：產(chǎn)品監(jiān)視部，其監(jiān)視在所述單元中實際制造的所述產(chǎn)品的數(shù)量，當(dāng)根據(jù)由所述部件供給狀態(tài)監(jiān)視部監(jiān)視到的所述多個種類的部件及所述多個種類中各種部件的數(shù)量確定的、在所述單元中應(yīng)制造的所述產(chǎn)品的數(shù)量小于由所述產(chǎn)品監(jiān)視部監(jiān)視到的、在所述單元中實際制造的所述產(chǎn)品的數(shù)量時，所述通知部向所述上位管理控制器進(jìn)行通知。

根據(jù)第3發(fā)明，在第1發(fā)明中，所述單元控制裝置包括：產(chǎn)品監(jiān)視部，其監(jiān)視在所述單元中實際制造的所述產(chǎn)品的數(shù)量，當(dāng)根據(jù)由所述部件供給狀態(tài)監(jiān)視部監(jiān)視到的所述多個種類的部件及所述多個種類中各種部件的數(shù)量確定的、在所述單元中應(yīng)制造的所述產(chǎn)品的數(shù)量與由所述產(chǎn)品監(jiān)視部監(jiān)視到的、在所述單元中實際制造的所述產(chǎn)品的數(shù)量相同，并且在所述單元中應(yīng)制造的所述產(chǎn)品的數(shù)量小于所希望的所述產(chǎn)品的數(shù)量時，所述通知部向所述上位管理控制器進(jìn)行通知。

根據(jù)第4發(fā)明，在第1至第3中的任一個發(fā)明中，所述生產(chǎn)系統(tǒng)具備：機械學(xué)習(xí)裝置，其學(xué)習(xí)該生產(chǎn)系統(tǒng)的生產(chǎn)數(shù)據(jù)，該機械學(xué)習(xí)裝置具備：狀態(tài)量觀測部，其觀測所述生產(chǎn)系統(tǒng)的狀態(tài)量；動作結(jié)果取得部，其取得所述生產(chǎn)系統(tǒng)中所述產(chǎn)品的制造結(jié)果；學(xué)習(xí)部，其接收來自所述狀態(tài)量觀測部的輸出以及來自所述動作結(jié)果取得部的輸出，將所述生產(chǎn)數(shù)據(jù)與所述生產(chǎn)系統(tǒng)的所述狀態(tài)量及所述制造結(jié)果關(guān)聯(lián)起來進(jìn)行學(xué)習(xí)；以及意圖決定部，其參照所述機械學(xué)習(xí)裝置學(xué)習(xí)到的所述生產(chǎn)數(shù)據(jù)，輸出生產(chǎn)數(shù)據(jù)。

根據(jù)第5發(fā)明，在第4發(fā)明中，所述單元控制裝置包括：產(chǎn)品監(jiān)視部，其監(jiān)視在所述單元中實際制造的所述產(chǎn)品的數(shù)量，所述狀態(tài)量觀測部觀測的狀態(tài)量包括以下狀態(tài)量中的至少一個：所希望的產(chǎn)品的數(shù)量、由所述產(chǎn)品信息監(jiān)視部監(jiān)視的所述產(chǎn)品信息、由所述部件供給狀態(tài)監(jiān)視部監(jiān)視到的所述多個種類的部件及所述多個種類中各種部件的數(shù)量、由所述產(chǎn)品監(jiān)視部監(jiān)視到的實際制造的所述產(chǎn)品的數(shù)量、以及所述單元所包含的所述多個機械各自的設(shè)定。

根據(jù)第6發(fā)明，在第4或第5發(fā)明中，所述意圖決定部輸出的生產(chǎn)數(shù)據(jù)包括以下數(shù)據(jù)中的至少一個：應(yīng)供給至所述至少一個單元的所述多個種類中各種部件的數(shù)量、以及所述至少一個單元所包含的所述多個機械的設(shè)定。

根據(jù)第7發(fā)明，在第4發(fā)明中，所述機械學(xué)習(xí)裝置具備：學(xué)習(xí)模型，其學(xué)習(xí)生產(chǎn)數(shù)據(jù)，該機械學(xué)習(xí)裝置具備：誤差計算部，其計算所述動作結(jié)果取得部取得的所述制造結(jié)果與預(yù)先設(shè)定的目標(biāo)之間的誤差；以及學(xué)習(xí)模型更新部，其根據(jù)所述誤差來更新所述學(xué)習(xí)模型。

根據(jù)第8發(fā)明，在第4發(fā)明中，所述機械學(xué)習(xí)裝置具有確定生產(chǎn)數(shù)據(jù)的價值的價值函數(shù)，所述機械學(xué)習(xí)裝置還具備：回報計算部，其在所述動作結(jié)果取得部取得的所述制造結(jié)果與預(yù)先設(shè)定的目標(biāo)之間的差異小的情況下，根據(jù)該差異給予正的回報，在所述差異大的情況下，根據(jù)該差異給予負(fù)的回報；以及價值函數(shù)更新部，其根據(jù)所述回報來更新所述價值函數(shù)。

根據(jù)附圖所示的本發(fā)明的典型的實施方式的詳細(xì)說明，使本發(fā)明的這些目的、特征及優(yōu)點以及其他目的、特征及優(yōu)點變得更加明確。

附圖說明

圖1是基于本發(fā)明的生產(chǎn)系統(tǒng)的框圖。

圖2是表示產(chǎn)品信息的例子的圖。

圖3是表示基于本發(fā)明的生產(chǎn)系統(tǒng)的動作的流程圖。

圖4是表示機械學(xué)習(xí)裝置的一例的圖。

圖5是表示機械學(xué)習(xí)裝置的另一個例子的圖。

圖6是示意性地表示神經(jīng)元模型的圖。

圖7是示意性地表示對圖6所示的神經(jīng)元進(jìn)行組合而構(gòu)成的3層神經(jīng)網(wǎng)絡(luò)的圖。

圖8是現(xiàn)有技術(shù)中的生產(chǎn)系統(tǒng)的框圖。

具體實施方式

下面，參照附圖對本發(fā)明的實施方式進(jìn)行說明。在下面的附圖中，對相同的部件標(biāo)注相同的參照符號。為了容易理解，在這些附圖中適當(dāng)變更比例尺。

圖1是基于本發(fā)明的生產(chǎn)系統(tǒng)的框圖。生產(chǎn)系統(tǒng)10具備：單元40，其包括至少1個，優(yōu)選多個(圖示例中為兩個)機械r1、r2、以及對機械r1、r2進(jìn)行控制的至少1個(通常是與機械相同的數(shù)量)的機械控制裝置(數(shù)值控制裝置)rc1、rc2；單元控制裝置(單元控制器)30，其構(gòu)成為能夠與各個機械控制裝置rc1、rc2通信；以及作為生產(chǎn)計劃裝置的上位管理控制器20，其能夠與單元控制裝置30通信。這些機械r1、r2單獨或相互協(xié)作地由多個種類的部件制造產(chǎn)品。機械控制裝置rc1、rc2分別進(jìn)行機械r1、r2的動作控制，并且將在各個機械中測定的數(shù)據(jù)發(fā)送至單元控制裝置30。

單元40為用于實施預(yù)先確定的作業(yè)的多個機械的集合。另外，機械r1、r2例如為機床、多關(guān)節(jié)機器人、并聯(lián)型機器人、制造機械、產(chǎn)業(yè)機械等，各機械彼此可以相同也可以不同。并且，同樣結(jié)構(gòu)的單元40’、40”被連接至單元控制裝置30。

在圖1中，分別在機械r1、r2上安裝有傳感器s1、s2。這些傳感器s1、s對機械r1、r2的速度、加減速度、加減速時間中的至少一個進(jìn)行檢測。并且，單元40中具備對已制造的產(chǎn)品的各種質(zhì)量進(jìn)行檢測的傳感器s3。

此外，在本發(fā)明中，單元40、40’、40”可設(shè)置于制造產(chǎn)品的工廠等內(nèi)，與此相對，單元控制裝置30及上位管理控制器20可設(shè)置在與工廠不同的建筑物等內(nèi)。這種情況下，單元控制裝置30和機械控制裝置rc1、rc2可以經(jīng)由內(nèi)部網(wǎng)等網(wǎng)絡(luò)(第一通信部41)連接。另外，上位管理控制器20可設(shè)置于遠(yuǎn)離工廠的辦公室等內(nèi)。這種情況下，上位管理控制器20可以經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)(第二通信部42)，與單元控制裝置30可通信地連接。但是這是一個例子，第一通信部41只要可通信地連接單元控制裝置30與機械控制裝置rc1、rc2則任何形式都可以，另外，第二通信部42只要可通信地連接單元控制裝置30與上位管理控制器20則任何形式都可以。

上位管理控制器20例如為個人計算機，作為制造生產(chǎn)系統(tǒng)10的生產(chǎn)計劃并向單元控制裝置30傳遞的生產(chǎn)計劃裝置而發(fā)揮作用。如圖1所示，上位管理控制器20包括產(chǎn)品信息s0。

圖2為表示產(chǎn)品信息s0的例子的圖。產(chǎn)品信息s0通過圖表(map)的形式表示制造一個產(chǎn)品所需要的部件的種類及各個部件的數(shù)量。在圖2所示的例子中，一個產(chǎn)品由三種部件a～c構(gòu)成。并且，使用na0個數(shù)量的部件a、nb0個數(shù)量的部件b及nc0個數(shù)量的部件c來制造一個產(chǎn)品。

操作者使用輸入部等將所希望的產(chǎn)品的數(shù)量n0輸入至上位管理控制器20。上位管理控制器20基于來自單元控制裝置30的反饋及所希望的產(chǎn)品的數(shù)量n0，來控制將多個種類的部件a～c供給至單元40、40’、40”。此外，產(chǎn)品信息s0也可以包含所希望的產(chǎn)品的數(shù)量n0。

單元控制裝置30構(gòu)成為對單元40、40’、40”進(jìn)行控制，具體來說，可以向機械控制裝置rc1、rc2發(fā)送各種指令，或者從機械控制裝置rc1、rc2取得各個機械r1、r2的運行狀態(tài)等數(shù)據(jù)。

如圖1所示，單元控制裝置30包括：產(chǎn)品信息監(jiān)視部31，其監(jiān)視產(chǎn)品信息s0；部件供給狀態(tài)監(jiān)視部32，其監(jiān)視供給至單元40等的多個種類的部件及多個種類中各種部件的數(shù)量；以及產(chǎn)品監(jiān)視部33，其監(jiān)視在單元40、40’、40”中實際制造的產(chǎn)品的數(shù)量。并且，單元控制裝置30包括在引起預(yù)定狀況時作為問題向上位管理控制器20進(jìn)行通知的通知部34。并且，單元控制裝置30包括后述的機械學(xué)習(xí)裝置50。機械學(xué)習(xí)裝置50也可以包含于上位管理控制器20中。另外，機械學(xué)習(xí)裝置50也可以外置地連接于單元控制裝置30或上位管理控制器20。

圖3是表示基于本發(fā)明的生產(chǎn)系統(tǒng)的動作的流程圖。下面，參照這些附圖，對生產(chǎn)系統(tǒng)10的動作進(jìn)行說明。圖3所示的內(nèi)容是在生產(chǎn)系統(tǒng)10運行時，按預(yù)定的控制周期重復(fù)實施的內(nèi)容。此外，在下面的例子中，以簡潔為目的，設(shè)為僅在單元40中制造產(chǎn)品。要注意也可以在單元40’、40”中進(jìn)行大致同樣的控制。

首先，在步驟s11中，單元控制裝置30的產(chǎn)品信息監(jiān)視部31取得上位管理控制器20的產(chǎn)品信息s0及所希望的產(chǎn)品的數(shù)量n0。接著，在步驟s12中，單元控制裝置30的部件供給狀態(tài)監(jiān)視部32監(jiān)視部件a～c的供給狀態(tài)。換句話說，部件供給狀態(tài)監(jiān)視部32取得供給至單元40的多個種類的部件a～c及多個種類中各種部件a～c的數(shù)量na1、nb1、nc1。

接著，在步驟s13中，判定各個部件a～c是否被適當(dāng)?shù)毓┙o至單元40。針對各個部件a～c，設(shè)定可以在單元40中適當(dāng)加工的上限數(shù)及下限數(shù)。在步驟s13中，判定部件a～c的數(shù)量na1～nc1是否處于所對應(yīng)的上限數(shù)與下限數(shù)之間。

然后，例如在部件a的數(shù)量na1比所對應(yīng)的上限數(shù)大，或者比所對應(yīng)的下限數(shù)小的情況下，轉(zhuǎn)入步驟s15。在步驟s15中，判斷部件a的供給數(shù)量為過剩還是不足，通知部34將該信息通知給上位管理控制器20。對于其他部件b、c也進(jìn)行同樣的處理。

如上所述，為了制造一個產(chǎn)品，需要多個種類的所有部件a～c。因此，在判斷為多個種類的部件a～c中的至少一個部件的數(shù)量為過?；虿蛔銜r，無法良好地制造產(chǎn)品，通知部34向上位管理控制器20進(jìn)行通知。

在這種情況下，上位管理控制器20對過?；虿蛔愕牟考～c的數(shù)量例如增加或減少預(yù)定數(shù)量。因此，可以使生產(chǎn)系統(tǒng)10有效地動作。

此外，在步驟s13中，當(dāng)判定為部件a～c的數(shù)量na1～nc1處于所對應(yīng)的上限數(shù)和下限數(shù)之間時，可以判斷為能夠使用部件a～c適當(dāng)?shù)刂圃飚a(chǎn)品。因此，此時，轉(zhuǎn)入步驟s14，繼續(xù)進(jìn)行產(chǎn)品的制造。

接著，在步驟s16中，計算能夠由單元40制造的產(chǎn)品的數(shù)量n1。根據(jù)步驟s11中取得的產(chǎn)品信息s0、以及步驟s12中取得的部件a～c的數(shù)量na1～nc1來確定能夠由單元40制造的產(chǎn)品的數(shù)量n1。

接下來，在步驟s17中，單元控制裝置30的產(chǎn)品監(jiān)視部33取得由單元40實際制造的產(chǎn)品的數(shù)量n2。并且，在步驟s18中，判定能夠由單元40制造的產(chǎn)品的數(shù)量n1是否小于實際制造的產(chǎn)品的數(shù)量n2、以及能夠由單元40制造的產(chǎn)品的數(shù)量n1是否大于實際制造的產(chǎn)品的數(shù)量n2。

當(dāng)在步驟s18中判定為能夠由單元40制造的產(chǎn)品的數(shù)量n1小于實際制造的產(chǎn)品的數(shù)量n2時，可以判斷為單元40內(nèi)的多個機械r1、r2中的至少一個發(fā)生了故障。因此，通知部34在步驟s19中向上位管理控制器20通知該情況。接著，上位管理控制器20例如以相同的比例減少多個種類的部件的數(shù)量，由此，使生產(chǎn)系統(tǒng)10有效地動作。

另外，能夠由單元40制造的產(chǎn)品的數(shù)量n1大于實際制造的產(chǎn)品的數(shù)量n2的情況，實際上不會被引起。因此，在步驟s18中，在如上所述進(jìn)行判定的情況下，通知部34向上位管理控制器20通知可能在單元40中發(fā)生了異常(步驟s19)。

另外，當(dāng)在步驟s18中判定為能夠由單元40制造的產(chǎn)品的數(shù)量n1與實際制造的產(chǎn)品的數(shù)量n2相等時，可以判斷為在單元40沒有發(fā)生異常。此時，在步驟s20中取得所希望的產(chǎn)品的數(shù)量n0，在步驟s21中判定能夠由單元40制造的產(chǎn)品的數(shù)量n1是否小于所希望的產(chǎn)品的數(shù)量n0。此外，也可以省略步驟s20的處理。

在能夠由單元40制造的產(chǎn)品的數(shù)量n1與實際制造的產(chǎn)品的數(shù)量n2相等，然而能夠由單元40制造的產(chǎn)品的數(shù)量n1小于所希望的產(chǎn)品的數(shù)量n0時，可以判斷為供給至單元40的部件a～c的數(shù)量少。因此，通知部34向上位管理控制器20通知該情況。接著，上位管理控制器20例如以預(yù)定比例增加多個種類的部件的a～c的數(shù)量，由此，使生產(chǎn)系統(tǒng)10有效地動作。

這樣，本發(fā)明的單元控制裝置30使用產(chǎn)品信息監(jiān)視部31、部件供給狀態(tài)監(jiān)視部32、產(chǎn)品監(jiān)視部33，從上位管理控制器20及單元40取得各種信息。然后，單元控制裝置30基于各種信息來判斷是否發(fā)生異常，當(dāng)存在異常時，向上位管理控制器20進(jìn)行通知。由于，在本發(fā)明中能夠迅速消除異常，因此，使生產(chǎn)系統(tǒng)10有效地動作。

另外，圖4是表示機械學(xué)習(xí)裝置的一例的圖。在本發(fā)明中，使用來自產(chǎn)品信息監(jiān)視部31、部件供給狀態(tài)監(jiān)視部32及產(chǎn)品監(jiān)視部33的信息使機械學(xué)習(xí)裝置50進(jìn)行學(xué)習(xí)。機械學(xué)習(xí)裝置50具備狀態(tài)量觀測部11、動作結(jié)果取得部12、學(xué)習(xí)部13、以及意圖決定部14。

機械學(xué)習(xí)裝置50的學(xué)習(xí)部13接受來自對生產(chǎn)系統(tǒng)10的狀態(tài)量進(jìn)行觀測的狀態(tài)量觀測部11的輸出、以及來自取得生產(chǎn)系統(tǒng)10中的加工結(jié)果的動作結(jié)果取得部12的輸出(產(chǎn)品的制造結(jié)果)，將生產(chǎn)數(shù)據(jù)與生產(chǎn)系統(tǒng)10的狀態(tài)量及制造結(jié)果相關(guān)聯(lián)起來進(jìn)行學(xué)習(xí)。并且，意圖決定部14參照學(xué)習(xí)部13學(xué)習(xí)到的生產(chǎn)數(shù)據(jù)，來決定生產(chǎn)數(shù)據(jù)并向單元控制裝置30輸出。

這里，狀態(tài)量觀測部11所觀測的狀態(tài)量包括所希望的產(chǎn)品的數(shù)量n0、由產(chǎn)品信息監(jiān)視部31監(jiān)視的產(chǎn)品信息s0、由部件供給狀態(tài)監(jiān)視部32監(jiān)視的多個種類的部件a～c及多個種類中各種部件的數(shù)量na1～nc1、由產(chǎn)品監(jiān)視部33監(jiān)視的實際制造的產(chǎn)品的數(shù)量n2、以及單元40中包含的多個機械r1、r2的各自的設(shè)定中的至少一個。此外，多個機械r1、r2的設(shè)定包括機械r1、r2的動作速度、加減速度、加減速時間等。

另外，意圖決定部14輸出的生產(chǎn)數(shù)據(jù)包含應(yīng)供給到至少一個單元40的多個種類中各種部件的數(shù)量na2～nc2、以及至少一個單元40中包含的多個機械r1、r2的設(shè)定中的至少一個。

學(xué)習(xí)部13具備學(xué)習(xí)不同生產(chǎn)數(shù)據(jù)的學(xué)習(xí)模型。并且，學(xué)習(xí)部13具備：誤差計算部15，其計算動作結(jié)果取得部12所取得的制造結(jié)果，例如產(chǎn)品的數(shù)量、產(chǎn)品的各種質(zhì)量等，與預(yù)先設(shè)定的目標(biāo)之間的誤差；以及學(xué)習(xí)模型更新部16，其根據(jù)誤差來更新學(xué)習(xí)模型。

在基于某個生產(chǎn)數(shù)據(jù)來制造產(chǎn)品的過程中，若作為來自動作結(jié)果取得部12的輸出的一種而接收的產(chǎn)品質(zhì)量超過預(yù)定閾值，則誤差計算部15輸出假設(shè)在生產(chǎn)數(shù)據(jù)的制造結(jié)果中產(chǎn)生了預(yù)定誤差的計算結(jié)果。并且，學(xué)習(xí)模型更新部16根據(jù)該計算結(jié)果來更新學(xué)習(xí)模型。

另外，圖5是表示機械學(xué)習(xí)裝置的其他例子的圖。圖5所示的學(xué)習(xí)部13具備：回報計算部18、以及根據(jù)回報來更新價值函數(shù)的價值函數(shù)更新部19。并且，圖5所示的機械學(xué)習(xí)裝置50不具備附帶結(jié)果(標(biāo)簽)的數(shù)據(jù)記錄部17。根據(jù)產(chǎn)品的制造結(jié)果的內(nèi)容，按各個生產(chǎn)數(shù)據(jù)以不同的內(nèi)容具備確定生產(chǎn)數(shù)據(jù)的價值的價值函數(shù)。

回報計算部18在動作結(jié)果取得部12取得的產(chǎn)品質(zhì)量與目標(biāo)質(zhì)量之間的差異小的情況下，根據(jù)該小的程度給予正的回報，在差異大的情況下，根據(jù)該大的程度給予負(fù)的回報。

另外，此時，優(yōu)選在以某個生產(chǎn)數(shù)據(jù)來制造產(chǎn)品的過程中，若作為來自動作結(jié)果取得部12的輸出的一種而接收到的產(chǎn)品質(zhì)量超過預(yù)定閾值，則回報計算部18給予預(yù)定的負(fù)回報，價值函數(shù)更新部19根據(jù)預(yù)定的負(fù)回報來更新價值函數(shù)。

最后，對機械學(xué)習(xí)裝置50的學(xué)習(xí)方法進(jìn)行敘述。機械學(xué)習(xí)裝置50具備如下功能：通過解析來提取輸入至機械學(xué)習(xí)裝置50的數(shù)據(jù)集合中的有用的規(guī)則、規(guī)范、知識表現(xiàn)、判斷基準(zhǔn)等，輸出該判斷結(jié)果，并且進(jìn)行知識的學(xué)習(xí)。

在機械學(xué)習(xí)中包括有教師學(xué)習(xí)、無教師學(xué)習(xí)、強化學(xué)習(xí)等算法，并且，在實現(xiàn)這些方法的基礎(chǔ)上，具有學(xué)習(xí)特征量其本身的提取的、稱為“深層學(xué)習(xí)(deeplearning)”的方法。

有教師學(xué)習(xí)是如下方法：通過向機械學(xué)習(xí)裝置50大量提供某輸入和結(jié)果(標(biāo)簽)的數(shù)據(jù)的組，學(xué)習(xí)這些數(shù)據(jù)集中的特征，通過歸納獲得根據(jù)輸入推定結(jié)果的模型，即其關(guān)系性。有教師學(xué)習(xí)通過提供用于學(xué)習(xí)的適當(dāng)?shù)妮斎霐?shù)據(jù)與輸出數(shù)據(jù)的對，可以較容易地推進(jìn)學(xué)習(xí)。

無教師學(xué)習(xí)是如下方法：通過向?qū)W習(xí)裝置僅大量提供輸入數(shù)據(jù)，學(xué)習(xí)輸入數(shù)據(jù)如何分布，即使不提供對應(yīng)的教師輸出數(shù)據(jù)，也能夠通過對輸入數(shù)據(jù)進(jìn)行壓縮、分類、整形等的裝置進(jìn)行學(xué)習(xí)。在未預(yù)先決定“應(yīng)輸出的內(nèi)容”這方面，與有教師學(xué)習(xí)不同?？梢杂糜谔崛〈嬖谟跀?shù)據(jù)背后的本質(zhì)上的構(gòu)造。

強化學(xué)習(xí)是如下方法：除判定或分類外，通過對行為進(jìn)行學(xué)習(xí)，立足于對環(huán)境給予行為的相互作用來學(xué)習(xí)適當(dāng)?shù)男袨?，即對用于使將來能得到的回報最大的學(xué)習(xí)方法進(jìn)行學(xué)習(xí)。在強化學(xué)習(xí)中，雖然從完全不知道行為所引起的結(jié)果、或者不完全知道的狀態(tài)開始學(xué)習(xí)，但是也可以通過有教師學(xué)習(xí)事先進(jìn)行學(xué)習(xí)，以事先學(xué)習(xí)的狀態(tài)為初始狀態(tài)，從條件優(yōu)良的開始地點開始強化學(xué)習(xí)。強化學(xué)習(xí)具有能夠平衡地選擇開拓未知的學(xué)習(xí)區(qū)域的行為與利用已知的學(xué)習(xí)區(qū)域來進(jìn)行的行為的特征，可能在過去完全不知道的條件區(qū)域中進(jìn)一步發(fā)現(xiàn)作為目的的適當(dāng)?shù)纳a(chǎn)條件。另外，因生產(chǎn)數(shù)據(jù)的輸出，機械或產(chǎn)品的溫度等變化，即行為對環(huán)境造成影響，因此認(rèn)為應(yīng)用強化學(xué)習(xí)是有意義的。

圖4表示有教師學(xué)習(xí)的機械學(xué)習(xí)裝置50的例子，圖5表示強化學(xué)習(xí)的機械學(xué)習(xí)裝置50的例子。

首先，對基于有教師學(xué)習(xí)的學(xué)習(xí)方法進(jìn)行敘述。在有教師學(xué)習(xí)中，提供用于學(xué)習(xí)的恰當(dāng)?shù)妮斎霐?shù)據(jù)與輸出數(shù)據(jù)的對，生成對輸入數(shù)據(jù)和應(yīng)與之對應(yīng)的輸出數(shù)據(jù)進(jìn)行映射的函數(shù)(學(xué)習(xí)模型)。

進(jìn)行有教師學(xué)習(xí)的機械學(xué)習(xí)器的動作具有學(xué)習(xí)階段和預(yù)測階段這2個階段。進(jìn)行有教師學(xué)習(xí)的機械學(xué)習(xí)器在學(xué)習(xí)階段中，若提供包含用作輸入數(shù)據(jù)的狀態(tài)變量(說明變量)的值和用作輸出數(shù)據(jù)的目的變量的值的教師數(shù)據(jù)，則在輸入狀態(tài)變量的值時，對輸出目的變量的值的情況進(jìn)行學(xué)習(xí)，通過提供幾個這種教師數(shù)據(jù)，來構(gòu)筑用于輸出與狀態(tài)變量值對應(yīng)的目的變量值的預(yù)測模型。并且，進(jìn)行有教師學(xué)習(xí)的機械學(xué)習(xí)器在預(yù)測階段，當(dāng)提供新的輸入數(shù)據(jù)(狀態(tài)變量)時，按照學(xué)習(xí)結(jié)果(已構(gòu)筑的預(yù)測模型)，預(yù)測并輸出輸出數(shù)據(jù)(目的變量)。這里，附帶結(jié)果(標(biāo)簽)的數(shù)據(jù)記錄部17可以保持至此得到的附帶結(jié)果(標(biāo)簽)的數(shù)據(jù)，并將附帶結(jié)果(標(biāo)簽)的數(shù)據(jù)提供給誤差計算部15。或者，也可以通過存儲卡或通信線路等，將單元控制裝置30的附帶結(jié)果(標(biāo)簽)的數(shù)據(jù)提供給該單元控制裝置30的誤差計算部15。

作為進(jìn)行有教師學(xué)習(xí)的機械學(xué)習(xí)器的學(xué)習(xí)的一例，例如在設(shè)定以下的式(1)所示的預(yù)測模型的回歸式，并將在學(xué)習(xí)過程中各狀態(tài)變量x1，x2，x3，…所取的值代入回歸式時，通過調(diào)整各系數(shù)a0，a1，a2，a3，…的值來推進(jìn)學(xué)習(xí)，以便得到目的變量y的值。此外，學(xué)習(xí)方法并不局限于此，按有教師學(xué)習(xí)的算法而不同。

y＝a0+a1x1+a2x2+a3x3+…+anxn

作為有教師學(xué)習(xí)的算法，公知有神經(jīng)網(wǎng)絡(luò)、最小二乘法、逐步法(stepwisemethod)等各種方法，作為應(yīng)用于本發(fā)明的方法，也可以采用任一種有教師學(xué)習(xí)算法。此外，由于各個有教師學(xué)習(xí)算法是公知的，因此省略本說明書中的各算法的詳細(xì)說明。

接著，對基于強化學(xué)習(xí)的學(xué)習(xí)方法進(jìn)行敘述。作為強化學(xué)習(xí)的問題設(shè)定，按如下方式進(jìn)行思考。

·學(xué)習(xí)部13對包含單元40的狀態(tài)的環(huán)境狀態(tài)進(jìn)行觀測，來決定行為(生產(chǎn)數(shù)據(jù)的輸出)。

·環(huán)境按照某種規(guī)則變化，并且，有時行為也會對環(huán)境產(chǎn)生變化。

·每次實施行為時，返回回報信號。

·想要最大化的是將來的回報的合計。

·從完全不知道或不完全知道行為引起的結(jié)果的狀態(tài)起開始學(xué)習(xí)。

作為強化學(xué)習(xí)的代表性方法，已知q學(xué)習(xí)或td學(xué)習(xí)。下面，在q學(xué)習(xí)的情況下進(jìn)行說明，但是也并不局限于q學(xué)習(xí)。

q學(xué)習(xí)是在某環(huán)境狀態(tài)s下學(xué)習(xí)用于選擇行為a的價值q(s，a)的方法，在某狀態(tài)s時，將價值q(s，a)最高的行為a選擇為最佳行為即可。但是，最初，對于狀態(tài)s和行為a的組合，并不知道價值q(s，a)的正確值，因此智能體(行為主體)在某狀態(tài)s下選擇各種行為a，針對此時的行為a提供回報。由此，智能體選擇更佳的行為，即學(xué)習(xí)正確的價值q(s，a)。

并且，行為的結(jié)果，想要使將來得到的回報的合計最大化，因此以最終q(s，a)＝e[σ(γ^t)rt]為目標(biāo)。在此，e[]表示期待值，t為時刻，γ為后述的稱為折扣率的參數(shù)，rt為時刻t的回報，σ為時刻t的合計。該式中的期待值是按照最佳的行為發(fā)生狀態(tài)變化時所取的值，不知道該值，因此一邊探索一邊學(xué)習(xí)。例如，可以通過下式(1)表示這樣的價值q(s，a)的更新式。

即，價值函數(shù)更新部21使用下式(2)來更新價值函數(shù)q(st，at)。

其中，st表示時刻t的環(huán)境狀態(tài)，at表示時刻t的行為。通過行為at，狀態(tài)變化為st+1。rt+1表示根據(jù)該狀態(tài)變化得到的回報。此外，附有max的項為在狀態(tài)st+1下選擇此時獲知的q值最高的行為a時的q值乘上γ而得的項。在此，γ為0＜γ≤1的參數(shù)，稱為折扣率。此外，α為學(xué)習(xí)系數(shù)，設(shè)為0＜α≤1的范圍。

上述的式(2)表示如下方法：根據(jù)嘗試at的結(jié)果而返回的回報rt+1，更新狀態(tài)st下的行為at的評價值q(st，at)。即，表示若基于回報rt+1和行為a的下個狀態(tài)下的最佳行為maxa的評價值q(st+1，maxat+1)的合計大于狀態(tài)s下的行為a的評價值q(st，at)，則將q(st，at)設(shè)為較大，相反，若小于狀態(tài)s下的行為a的評價值q(st，at)，則將q(st，at)設(shè)為較小。換句話說，使某狀態(tài)下的某行為的價值接近基于作為結(jié)果而立即返回的回報和該行為的下個狀態(tài)下的最佳行為的價值。

在此，q(s，a)的計算機上的表現(xiàn)方法有：對于所有狀態(tài)行為對(s，a)，將其值作為行為價值表而保持的方法；以及準(zhǔn)備近似q(s，a)的函數(shù)的方法。在后者的方法中，能夠通過概率梯度下降法等方法來調(diào)整近似函數(shù)的參數(shù)，由此能夠?qū)崿F(xiàn)上述式(2)。另外，作為近似函數(shù)，可以使用神經(jīng)網(wǎng)絡(luò)。

如上所述，作為有教師學(xué)習(xí)的學(xué)習(xí)算法、強化學(xué)習(xí)中的價值函數(shù)的近似算法，可以使用神經(jīng)網(wǎng)絡(luò)，因此優(yōu)選機械學(xué)習(xí)裝置50具有神經(jīng)網(wǎng)絡(luò)。

圖6是示意性地表示神經(jīng)元模型的圖，圖7是示意性地表示將圖6所示的神經(jīng)元進(jìn)行組合而構(gòu)成的三層神經(jīng)網(wǎng)絡(luò)的圖。神經(jīng)網(wǎng)絡(luò)由模擬圖6所示的神經(jīng)元的模型的運算裝置及存儲器等構(gòu)成。神經(jīng)元輸出針對多個輸入x的輸出(結(jié)果)y。對各輸入x(x1～x3)乘以與該輸入x相對應(yīng)的權(quán)重w(w1～w3)，神經(jīng)元輸出由以下的式(3)表現(xiàn)的結(jié)果y。此外，輸入x、結(jié)果y及權(quán)重w均為向量。

其中，θ為偏置，fk為激活函數(shù)。

如圖7所示，從神經(jīng)網(wǎng)絡(luò)的左側(cè)輸入多個輸入x(x1～x3)，從右側(cè)輸出結(jié)果y(y1～y3)。輸入x1～x3被乘以對應(yīng)的權(quán)重后輸入到3個神經(jīng)元n11～n13的各個神經(jīng)元。對這些輸入相乘的權(quán)重統(tǒng)一表述為w1。

神經(jīng)元n11～n13分別輸出z11～z13。在圖7中，將這些z11～z13統(tǒng)一表述為特征向量z1，可以視作提取了輸入向量的特征量而得的向量。該特征向量z1為權(quán)重w1與權(quán)重w2之間的特征向量。z11～z13被乘以相對應(yīng)的權(quán)重后分別輸入到2個神經(jīng)元n21及n22的各個神經(jīng)元。將這些對特征向量乘以的權(quán)重統(tǒng)一表述為w2。神經(jīng)元n21，n22分別輸出z21，z22。在圖7中，將這些z21，z22統(tǒng)一表述為特征向量z2。該特征向量z2為權(quán)重w2與權(quán)重w3之間的特征向量。z21，z22乘以相對應(yīng)的權(quán)重后分別輸入到3個神經(jīng)元n31～n33的各個神經(jīng)元。將這些對特征向量乘以的權(quán)重統(tǒng)一表述為w3。

最后，神經(jīng)元n31～n33分別輸出結(jié)果y1～結(jié)果y3。神經(jīng)網(wǎng)絡(luò)的動作中，存在學(xué)習(xí)模式和價值預(yù)測模式，在學(xué)習(xí)模式中，使用學(xué)習(xí)數(shù)據(jù)集來學(xué)習(xí)權(quán)重w，在預(yù)測模式中使用其參數(shù)判斷輸出生產(chǎn)數(shù)據(jù)的行為。在此，能夠進(jìn)行在線學(xué)習(xí)和批學(xué)習(xí)，其中，在線學(xué)習(xí)為即時學(xué)習(xí)在預(yù)測模式下實際進(jìn)行生產(chǎn)數(shù)據(jù)的輸出而得到的數(shù)據(jù)，并反映到下個行為；批學(xué)習(xí)是使用預(yù)先收集的數(shù)據(jù)群進(jìn)行統(tǒng)一學(xué)習(xí)，以后一直用該參數(shù)進(jìn)行檢測模式。每當(dāng)一定程度的數(shù)據(jù)積壓時也可以插入學(xué)習(xí)模式。

另外，可以通過誤差反向傳播法(backpropagation)學(xué)習(xí)權(quán)重w1～w3。此外，誤差信息從右側(cè)進(jìn)入并流向左側(cè)。誤差反向傳播法是如下的方法：針對各神經(jīng)元，調(diào)整(學(xué)習(xí))各個權(quán)重以使輸入了輸入x時的輸出y與真正的輸出y(教師)的差值變小。

雖然圖7的神經(jīng)網(wǎng)絡(luò)的中間層(隱層)為一層，但也可以設(shè)為2層以上，將中間層為2層以上的情況稱為深層學(xué)習(xí)。

以上，對有教師學(xué)習(xí)和強化學(xué)習(xí)的學(xué)習(xí)方法進(jìn)行了簡單的敘述，但是應(yīng)用于本發(fā)明的機械學(xué)習(xí)方法并不局限于這些方法，也可以應(yīng)用能夠在機械學(xué)習(xí)裝置10中使用的方法即“有教師學(xué)習(xí)”、“無教師學(xué)習(xí)”、“半有教師學(xué)習(xí)”及“強化學(xué)習(xí)”等各種方法。

這樣的機械學(xué)習(xí)裝置50基于來自產(chǎn)品信息監(jiān)視部31、部件供給狀態(tài)監(jiān)視部32及產(chǎn)品監(jiān)視部33的信息來進(jìn)行學(xué)習(xí)，推測制造的每個產(chǎn)品的多個種類的部件a～c的數(shù)量。根據(jù)部件a～c的推測值來計算出能夠由單元40制造的產(chǎn)品的數(shù)量n1，將其與實際制造的產(chǎn)品的數(shù)量n2相比較。并且，與上述內(nèi)容同樣地，可以推測機械r1、r2中某一個發(fā)生了故障等。

并且，機械學(xué)習(xí)裝置50對來自部件供給狀態(tài)監(jiān)視部32的多個種類的各個部件a～c的數(shù)量na1、nb1、nc1、以及來自產(chǎn)品監(jiān)視部33的產(chǎn)品的數(shù)量n2的時間推移進(jìn)行學(xué)習(xí)，來推測單元40的狀況。并且，當(dāng)用盡供給至單元40的部件a～c時，推測為部件的供給停滯。另外，無論所供給的部件的數(shù)量是否充足，當(dāng)實際制造的產(chǎn)品的數(shù)量n2較小時，可以進(jìn)行機械r1、r2中的某一個發(fā)生了故障等的推測。

機械學(xué)習(xí)裝置50在實時性方面優(yōu)異，并且監(jiān)督范圍為局部性，因此可以提高上述異常的檢測精度。

此外，上述實施方式的生產(chǎn)系統(tǒng)10如圖1所示，對1個生產(chǎn)系統(tǒng)10具備1個機械學(xué)習(xí)裝置50。但是，在本發(fā)明中，生產(chǎn)系統(tǒng)10及機械學(xué)習(xí)裝置50各自的數(shù)量并不局限于1個。優(yōu)選，存在多個生產(chǎn)系統(tǒng)10，按生產(chǎn)系統(tǒng)10分別設(shè)置的多個機械學(xué)習(xí)裝置50經(jīng)由通信介質(zhì)，相互共享或交換數(shù)據(jù)。通過共享各生產(chǎn)系統(tǒng)10所取得的包含學(xué)習(xí)結(jié)果的數(shù)據(jù)，能夠在更短的時間內(nèi)得到高精度的學(xué)習(xí)效果，能夠輸出更合適的生產(chǎn)數(shù)據(jù)。

并且，機械學(xué)習(xí)裝置50可以存在于生產(chǎn)系統(tǒng)10內(nèi)，可以存在于生產(chǎn)系統(tǒng)10外。另外，也可以經(jīng)由通信介質(zhì)，在多個生產(chǎn)系統(tǒng)10中共享單一的機械學(xué)習(xí)裝置50。并且，機械學(xué)習(xí)裝置50還可以存在于云服務(wù)器上。

其結(jié)果是，不僅可以共享學(xué)習(xí)效果，還可以對數(shù)據(jù)進(jìn)行集中管理，并且利用大規(guī)模高性能處理器來進(jìn)行學(xué)習(xí)。因此，學(xué)習(xí)速度、學(xué)習(xí)的精度提高，能夠輸出更合適的生產(chǎn)數(shù)據(jù)。另外，也能夠縮短決定要輸出的生產(chǎn)數(shù)據(jù)所需要的時間。這些機械學(xué)習(xí)裝置50中雖然也可以使用通用的計算機或者處理器，但是若應(yīng)用gpgpu(general-purposecomputingongraphicsprocessingunits，通用計算圖形處理器)或大規(guī)模pc集群等，則可以更高速地進(jìn)行處理。

在第1發(fā)明中，當(dāng)多個種類的各個部件的數(shù)量不在各自的預(yù)定范圍內(nèi)時，可以判斷為供給至單元的多個種類的部件中的至少一個過?；虿蛔恪Ｒ虼?，向上位管理控制器通知該情況，上位管理控制器適當(dāng)變更過?；虿蛔愕牟考臄?shù)量，由此，使生產(chǎn)系統(tǒng)有效地動作。

在第2發(fā)明中，能夠根據(jù)供給至單元的多個種類的部件的數(shù)量來確定可由單元制造的產(chǎn)品的數(shù)量。并且，在能夠由單元制造的產(chǎn)品的數(shù)量小于由產(chǎn)品監(jiān)視部監(jiān)視的實際制造的產(chǎn)品的數(shù)量時，可以判斷為單元內(nèi)的多個機械中的至少一個發(fā)生了故障。因此，向上位管理控制器通知該情況，上位管理控制器以相同比例減少多個種類的部件的數(shù)量，由此，使生產(chǎn)系統(tǒng)有效地動作。

在第3發(fā)明中，即使能夠由單元制造的產(chǎn)品的數(shù)量與由產(chǎn)品監(jiān)視部監(jiān)視的實際制造的產(chǎn)品的數(shù)量相同，在能夠由單元制造的產(chǎn)品的數(shù)量小于所希望的產(chǎn)品的數(shù)量時，能夠判斷為供給至單元的多個種類的部件的數(shù)量不足。因此，向上位管理控制器通知該情況，上位管理控制器增加多個種類的部件的數(shù)量，由此，使生產(chǎn)系統(tǒng)有效地動作。

在第4至第8的發(fā)明中，可以提高生產(chǎn)系統(tǒng)中的異常的檢測精度。

使用典型的實施方式來說明了本發(fā)明，但是，如果是本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的范圍的條件下，可以進(jìn)行上述變更及各種其他變更、省略、追加。