本發(fā)明涉及一種決定至少一個電弧焊接條件的機械學習裝置、電弧焊接控制裝置、電弧焊接機器人系統(tǒng)以及焊接系統(tǒng)。

背景技術：

一般，在使用機器人對工件進行電弧焊接的系統(tǒng)中，通過預先生成的程序中記載的焊接條件來執(zhí)行電弧焊接。這些焊接條件的決定幾乎是根據(jù)操作者的經(jīng)驗和直覺來進行的。并且，提高電弧焊接的質(zhì)量以及操作性在很大程度上依賴于操作者的焊接技術相關的知識。所以，進行焊接條件的調(diào)整的操作者的技術水平會左右電弧焊接的質(zhì)量、操作性。

另一方面，近年來，在電弧焊接的現(xiàn)場，對電弧焊接技術熟練的操作者不足。在無法確保電弧焊接的技術者的現(xiàn)場，也有即使導入了電弧焊接機器人系統(tǒng)也無法確保充分的質(zhì)量和操作性的情況。

針對這樣的狀況，提出了幾個用于自動調(diào)整焊接條件的方案。在日本特開2000-351071號公報中公開以下技術：將通過紅外線攝像機拍攝到的熔融池進行圖像處理后得到的實際測量值與預先生成的目標值進行比較，操作至少一個焊接條件。在專利第3200102號公報中公開一種通過神經(jīng)網(wǎng)絡決定焊接速度、電弧電流、電弧電壓這樣的焊接條件的方法。

技術實現(xiàn)要素：

日本特開2000-351071號公報中的目標值是在預先進行理想的焊接時形成的熔融池的特征數(shù)據(jù)。換句話說，在日本特開2000-351071號公報中需要預先進行理想的焊接。為了進行理想的焊接需要熟練的操作者，因此，會發(fā)生無法在希望的時候生成目標值的情況。另外，在專利第3200102號公報中，通過學習而構成神經(jīng)網(wǎng)絡時需要對多個板厚度預先求出最佳的熱輸入以及焊接速度，需要焊接相關的專業(yè)知識。

本發(fā)明是鑒于這樣的情況而作出的，其目的在于，提供一種不需要熟練的操作者或?qū)I(yè)知識地，能夠自動生成最佳的焊接條件的機械學習裝置、電弧焊接控制裝置、電弧焊接機器人系統(tǒng)以及焊接系統(tǒng)。

為了達成上述目的，根據(jù)第一個發(fā)明提供一種機械學習裝置，在學習決定至少一個電弧焊接條件的機械學習裝置中，具備：狀態(tài)觀測部，其觀測狀態(tài)變量，該狀態(tài)變量由在電弧焊接執(zhí)行中或電弧焊接執(zhí)行后的至少一方中與電弧焊接相關的至少一個物理量、和上述至少一個電弧焊接條件構成；以及學習部，其將通過上述狀態(tài)觀測部觀測到的至少一個物理量的變化與上述至少一個電弧焊接條件關聯(lián)起來進行學習。

根據(jù)第二個發(fā)明，在第一個發(fā)明中，上述學習部包括：回報計算部，其根據(jù)通過上述狀態(tài)觀測部觀測到的上述至少一個物理量來計算回報；以及函數(shù)更新部，其根據(jù)通過該回報計算部計算出的回報，更新從當前的上述函數(shù)變量決定上述至少一個電弧焊接條件的函數(shù)。

根據(jù)第三個發(fā)明，在第二個發(fā)明中，上述回報計算部包括設定回報條件的回報條件設定部，上述回報計算部根據(jù)通過上述回報條件設定部設定的回報條件來計算回報。

根據(jù)第四個發(fā)明，在第三個發(fā)明中，上述學習部以使通過上述回報計算部計算出的回報成為最大的方式將上述至少一個物理量的變化與上述至少一個電弧焊接條件關聯(lián)起來進行機械學習。

根據(jù)第五個發(fā)明，在第二個至第四個發(fā)明中的任意一個發(fā)明中，上述學習部還包括：學習結果存儲部，其存儲由上述函數(shù)更新部進行了學習的結果。

根據(jù)第六個發(fā)明，提供一種電弧焊接控制裝置，其具備：根據(jù)第一個至第五個發(fā)明中的任意一個的機械學習裝置；以及意圖決定部，其根據(jù)上述學習部的學習結果，根據(jù)當前的上述狀態(tài)變量來決定上述至少一個電弧焊接條件和該至少一個電弧焊接條件的最佳調(diào)整量。

根據(jù)第七個發(fā)明，在第六個發(fā)明中，上述學習部在電弧焊接執(zhí)行中學習或重復學習上述至少一個電弧焊接條件的調(diào)整。

根據(jù)第八個發(fā)明，在第六個或第七個發(fā)明中，還具備執(zhí)行部，其根據(jù)通過上述機械學習裝置輸出的結果執(zhí)行電弧焊接。

根據(jù)第九個發(fā)明，提供一種電弧焊接機器人系統(tǒng)，其具備：機器人，其執(zhí)行電弧焊接；物理量測量部，其在基于該機器人的電弧焊接的執(zhí)行中或執(zhí)行后的至少一方測量與電弧焊接相關的至少一個物理量；以及第六個至第八個發(fā)明中的任意一個的電弧焊接控制裝置。

根據(jù)第十個發(fā)明，在第九個發(fā)明中，上述電弧焊接機器人系統(tǒng)還包括變更應該焊接的工件的姿勢的定位器(轉動換位器、位置控制器)，上述機器人以及定位器一邊進行協(xié)同動作一邊執(zhí)行電弧焊接。

根據(jù)第十一個發(fā)明，提供一種焊接系統(tǒng)，其具備：第九個或第十個發(fā)明的多個電弧焊接機器人系統(tǒng)以及相互連接該多個電弧焊接機器人系統(tǒng)的通信部，上述通信部在上述多個電弧焊接機器人系統(tǒng)之間發(fā)送接收通過至少一個上述狀態(tài)觀測部觀測到的至少一個物理量和通過至少一個上述學習結果存儲部存儲的學習結果中的至少一個。

根據(jù)第十二個發(fā)明，在第十一個發(fā)明中，還具備與上述通信部連接的上位計算機，通過至少一個上述狀態(tài)觀測部觀測到的至少一個物理量和通過至少一個上述學習結果存儲部存儲的學習結果中的至少一個被保存到上述上位計算機中。

根據(jù)附圖所示的本發(fā)明典型的實施方式的詳細說明，能夠更加了解本發(fā)明的這些目的、特征以及優(yōu)點還有其他目的、特征以及優(yōu)點。

附圖說明

圖1是包括本發(fā)明一個實施方式的電弧焊接機器人系統(tǒng)的正面圖以及右側視圖的圖。

圖2是擴大地表示機械學習器等的圖。

圖3是表示機械學習器的動作的流程圖。

圖4是焊接系統(tǒng)的概略圖。

具體實施方式

以下，參照附圖說明本發(fā)明的實施方式。在以下的附圖中對相同的部件賦予相同的參照標記。為了容易理解，適當變更這些附圖的比例尺。

圖1是包括本發(fā)明一個實施方式的電弧焊接機器人系統(tǒng)的正面圖以及右側視圖的圖。如圖1所示，本實施方式的電弧焊接機器人系統(tǒng)5主要包括：機器人10，其具備針對應該焊接的工件(未圖示)進行電弧焊接的焊槍18；保持工件來變更其姿勢的定位器19；以及控制這些的控制裝置20。另外，也可以為如下結構：定位器19上具備焊槍18，電弧焊接機器人10把持工件。

機器人10例如是垂直多關節(jié)型機器人。定位器19能夠在將工件固定在其上面的同時，能夠圍繞與設置面G平行的第一軸線12旋轉地并能夠圍繞與第一軸線12垂直的第二軸線14旋轉地定位工件。另外，作為機器人10的附加軸，來控制圍繞第一軸線12以及第二軸線14的旋轉運動。因此，包括機器人10以及定位器19的電弧焊接機器人系統(tǒng)5整體的控制變得更加簡單。設機器人10以及定位器19一邊進行協(xié)同動作一邊執(zhí)行電弧焊接。

控制裝置20是數(shù)字計算機，包括物理量測量部21，其在基于機器人的電弧焊接的執(zhí)行中或執(zhí)行后的至少一個中測量與電弧焊接相關的至少一個物理量。

與電弧焊接相關的物理量包括：例如從電弧焊接機器人系統(tǒng)5的電流電壓測量部得到的焊接電流波形、焊接電壓波形。此外，與電弧焊接相關的物理量包括：例如通過攝像部拍攝到的焊接部位的攝像數(shù)據(jù)以及通過處理攝像數(shù)據(jù)而得到的焊接焊縫的外觀、焊縫的堆高高度、焊縫寬度、濺射產(chǎn)生量。另外，能夠根據(jù)在焊接時在工件上形成的濺射痕取得濺射產(chǎn)生量。此外，與電弧焊接相關的物理量包括：例如從熔透測量裝置得到的熔透量、從聲音收集裝置得到的電弧音波形。這些物理量是通過變更至少一個電弧焊接條件而發(fā)生變化的物理量。

另外，電弧焊接條件包括：例如焊接方法、焊接電流、焊接電壓、焊接線進給速度、焊接速度、焊接波形調(diào)整量、(焊絲)外伸長度、焊槍的前進角/后退角、瞄準角、瞄準位置、保護氣體流量、(橫向)擺動條件、電弧傳感器條件、多層焊縫焊接時的焊接位置偏移量中的至少一個。分別通過預定的測量單元測量這些物理量。另外，通過后述的機械學習器30來決定這些電弧焊接條件的各自的調(diào)整量。另外，電弧焊接條件有時也包括在與電弧焊接相關的物理量中。

如圖1所示，控制裝置20還包括機械學習器30。該機械學習機30也可以作為機械學習裝置外接于控制裝置20上。參照擴大表示機械學習器的圖2時，則機械學習器30包括觀測狀態(tài)變量的狀態(tài)觀測部31，該狀態(tài)變量由在電弧焊接執(zhí)行中或電弧焊接執(zhí)行后的至少一方中與電弧焊接相關的至少一個物理量、和至少一個電弧焊接條件構成。

狀態(tài)觀測部31將這樣的物理量和電弧焊接條件與保護氣體種類、接頭形狀、板厚度、母材姿勢、間隙量、焊接線種類、焊接線徑(直徑)中的至少一個焊接施工條件以及觀測到的時間一起進行存儲。

進一步地，機械學習器30還包括學習部35，該學習部35將通過狀態(tài)觀測部31觀測到的至少一個物理量的變化與至少一個電弧焊接條件關聯(lián)起來進行學習。

這里，學習部35可以進行有教師學習、無教師學習、半有教師學習、強化學習、轉導(Transduction)、多任務學習等各種機械學習。以下，學習部35作為通過Q學習(Q-learning)進行強化學習的單元繼續(xù)說明。

這里，參照圖2可知，機械學習器30相當于強化學習中的智能體。另外，狀態(tài)觀測部31檢測環(huán)境的狀態(tài)。

進行強化學習的學習部35包括：回報條件設定部39，其設定回報條件；回報計算部32，其根據(jù)通過狀態(tài)觀測部31觀測到的至少一個物理量和回報條件來計算回報；以及函數(shù)更新部33(人工智能)，其根據(jù)通過回報計算部32計算出的回報，更新從當前的狀態(tài)變量決定至少一個電弧焊接條件的函數(shù)、例如行為價值函數(shù)(行為價值表)。當然，函數(shù)更新部33也可以更新其他的函數(shù)。進一步地，學習部35還包括存儲有由函數(shù)更新部33進行了學習的結果的學習結果存儲部38。

例如根據(jù)物理量的穩(wěn)定度、周期時間、濺射產(chǎn)生量、焊接質(zhì)量、焊接線消耗量、能量消耗量的程度來決定通過回報條件設定部39設定的回報條件。例如，如果判斷為物理量穩(wěn)定即物理量的變動小，則回報增加，如果不是的話則回報減少。進而，如果周期時間長則回報減少，如果周期時間短則回報增加。進而，如果濺射產(chǎn)生量少則回報增加，如果濺射產(chǎn)生量多則回報減少。如果焊接質(zhì)量高則回報增加，如果焊接質(zhì)量低則回報減少。進而，如果焊接線消耗量和/或能量消耗量多則回報減少，如果消耗量少則增加。針對這樣的判定，設置取得各個數(shù)據(jù)的單元，針對各個數(shù)據(jù)預先設定各自的閾值等。

進一步地，機械學習器30還包括意圖決定部34，其根據(jù)學習部35的學習結果，根據(jù)當前的狀態(tài)變量來決定至少一個電弧焊接條件、和該至少一個電弧焊接條件的最佳調(diào)整量。意圖決定部34學習更佳的行為的選擇(意圖決定)。另外，意圖決定部34可以不包括在機械學習器30中而包括在控制裝置20中。進一步地，機械學習器30還包括根據(jù)通過機械學習裝置輸出的結果來執(zhí)行電弧焊接的電弧焊接執(zhí)行部37。

圖3是表示機械學習器的動作的流程圖。以下，一邊參照圖1～圖3一邊說明機械學習器30的動作。每次在機器人10進行電弧焊接時實施圖3所示的動作。

首先，在圖3的步驟S11中，選擇至少一個電弧焊接條件以及其內(nèi)容(值等)。從各自的預定范圍中隨機地選擇至少一個電弧焊接條件的內(nèi)容。

或者，可以針對某個電弧焊接條件，首先選擇該預定范圍內(nèi)的最小值，接著，在下一個周期時選擇增加了少量后的值。關于其他的電弧焊接條件也一樣。可以重復圖3的處理，以便選擇所有的電弧焊接條件的所有組合。

接著，在步驟S12中，選擇至少一個物理量，對該物理量檢測連續(xù)的多個數(shù)據(jù)，并判定這些多個數(shù)據(jù)的變動是否大。在變動小的情況下、即物理量穩(wěn)定的情況下，在步驟S13中回報增加。與此相對地，當變動大時，判斷為物理量不穩(wěn)定，在步驟S20中回報減少或保持原樣。

接著，在步驟S14中，檢測出周期時間和/或濺射產(chǎn)生量，將這些與各自的規(guī)定值進行比較。然后，當周期時間和/或濺射產(chǎn)生量小于各自的規(guī)定值時，在步驟S15中回報增加，當周期時間和/或濺射產(chǎn)生量不小于各自的規(guī)定值時，在步驟S20中回報減少或保持原樣。

接著，在步驟S16中，判定焊接質(zhì)量是否高。然后，當焊接質(zhì)量高時，在步驟S17中回報增加，當焊接質(zhì)量不高時，在步驟S20中回報減少或保持原樣。

另外，可以通過焊接的圖像等判斷焊接質(zhì)量是否高。或者，可以通過有無焊接不良來判斷焊接質(zhì)量是否高。當焊接的圖像包括例如坑、燒穿、咬邊、焊瘤(overlap)、焊縫寬度不均勻、焊縫曲折、預先設定的要求焊腳長度不足、預先設定的堆高高度的不足、超過預先設定的容許變形等時，判斷為焊接不良。

接著，在步驟S18中，檢測出焊接線消耗量和/或能量消耗量，將這些與各自的規(guī)定值進行比較。然后，當焊接線消耗量和/或能量消耗量小于各自的規(guī)定值時，在步驟S19中回報增加，當焊接線消耗量和/或能量消耗量不小于各自的規(guī)定值時，在步驟S20中回報減少或保持原樣。

通過回報計算部32計算出這樣的回報的增減。另外，關于回報增減的量，可以設定為該值根據(jù)步驟而不同。另外，也能夠省略步驟S12、S14、S16、S18中的至少一個判定步驟以及相關聯(lián)的回報增加的步驟。

之后，在步驟S21中，函數(shù)更新部33更新行為價值函數(shù)。這里，學習部35所實施的Q學習是，在某個環(huán)境狀態(tài)s下學習選擇行為a的價值(行為的價值)Q(s、a)的方法。并且，在Q學習中，在某個狀態(tài)s時，選擇Q(s、a)最高的行為a。在Q學習中，通過試錯，在某個狀態(tài)s下采取各種行為a，使用此時的回報來學習正確的Q(s、a)。通過以下式(1)表示行為價值函數(shù)Q(s、a)的更新式。

這里，s_t、a_t表示時刻t的環(huán)境和行為。通過行為a_t，環(huán)境變化為s_t+1，根據(jù)該環(huán)境的變化來計算回報r_t+1。另外，帶有max的項是，在環(huán)境s_t+1下使選擇了(此時了解到的)Q值最高的行為a時的Q值乘以γ后的項。這里γ是0<γ≤1(通常是0.9～0.99)的折扣率，α是0<α≤1(通常是0.1左右)的學習系數(shù)。

該更新式表示，如果基于a的下一個環(huán)境狀態(tài)的最佳行為的評價值Q(s_t+1、max a_t+1)大于狀態(tài)s的行為a的評價值Q(s_t、a_t)，則增大Q(s_t、a_t)，相反如果小于，則減小Q(s_t、a_t)。即，使某個狀態(tài)的某行為的價值接近基于其的下一個狀態(tài)的最佳行為的價值。換句話說，學習部35更新最適合于執(zhí)行電弧焊接的狀態(tài)，即至少一個最佳的電弧焊接條件。

這樣，在步驟S21中，函數(shù)更新部33使用上述式(1)來更新行為價值函數(shù)。然后，返回到步驟S11，選擇至少一個電弧焊接條件的其他內(nèi)容，同樣地更新行為價值函數(shù)。另外，也可以代替行為價值函數(shù)而更新行為價值表。

在強化學習中，作為智能體的學習部35根據(jù)環(huán)境的狀況來決定行為。該情況下的行為是指，意圖決定部34選擇至少一個電弧焊接條件及其內(nèi)容(值等)，電弧焊接執(zhí)行部37按照該內(nèi)容使機器人10等進行動作。并且，圖2所示的環(huán)境，例如物理量的穩(wěn)定度、周期時間等，根據(jù)由這些內(nèi)容進行調(diào)整后的至少一個電弧焊接條件而發(fā)生變化。隨著這樣的環(huán)境變化，如上述那樣對機械學習器30賦予回報，機械學習器30的意圖決定部34例如為了得到更高的回報而學習更佳的行為的選擇(意志決定)。在學習結果存儲部38中如上述那樣存儲上述學習結果。

因此，多次地重復進行圖3所示的處理，從而提高行為價值函數(shù)的可靠度。并且，在步驟S11中，根據(jù)可靠性高的行為價值函數(shù)，例如能夠更合適地決定至少一個電弧焊接條件的內(nèi)容，從而使得Q值變高。

這樣，能夠?qū)⑼ㄟ^本發(fā)明的機械學習部30的函數(shù)更新部33進行更新后的內(nèi)容自動決定為執(zhí)行電弧焊接時的更合適的電弧焊接條件的內(nèi)容。并且，通過將這樣的機械學習部30導入電弧焊接機器人系統(tǒng)5和/或其控制裝置20中，能夠自動生成最佳的焊接條件。其結果是提高了生產(chǎn)效率。

通過機械學習器30決定的物理量中可以包括定位器19圍繞第一軸線12以及第二軸線14的移動量。此時，機械學習器30最佳地決定了定位器19的移動量，所以能夠更合適地進行基于機器人10和定位器19的電弧焊接的協(xié)同動作。

圖4是焊接系統(tǒng)1的概略圖。如圖4所示的焊接系統(tǒng)1包括多個電弧焊接機器人系統(tǒng)5、5a～5n。各個電弧焊接機器人系統(tǒng)5、5a～5n分別包括機械學習器30、30a～30n，各機械學習器30、30a～30n與上述情況同樣地分別包括狀態(tài)觀測部31、31a～31n以及學習結果存儲部38、38a～38n等。從圖4可知，這些的各電弧焊接機器人系統(tǒng)5、5a～5n通過通信部40而相互連接。通信部40是網(wǎng)絡，可以是有線或無線的任一種。

通過重復實施機械學習，在電弧焊接機器人系統(tǒng)5的狀態(tài)觀測部31中存儲有各種物理量和各種電弧焊接條件。同樣，在電弧焊接機器人系統(tǒng)5的學習結果存儲部38中存儲有機械學習器30的學習結果。

因此，即使是在例如另一個電弧焊接機器人系統(tǒng)5a的機械學習器30a沒有進行機械學習的情況下，也能夠通過通信部40將電弧焊接機器人系統(tǒng)5的狀態(tài)觀測部31和學習結果存儲部38的存儲內(nèi)容組入到另一個電弧焊接機器人系統(tǒng)5a的狀態(tài)觀測部31a和學習結果存儲部38a中。因此，電弧焊接機器人系統(tǒng)5a的機械學習器30a能夠不實際進行機械學習，而使用可靠性高的學習結果等。其他的電弧焊接機器人系統(tǒng)5n等也同樣。

進而，圖4中具備存儲部51的上位計算機50例如服務器通過有線或無線與通信部40連接。另外，上位計算機50例如也可以與一個電弧焊接機器人系統(tǒng)5直接連接。

并且，也可以通過通信部40將電弧焊接機器人系統(tǒng)5的狀態(tài)觀測部31中存儲的物理量等以及電弧焊接機器人系統(tǒng)5的學習結果存儲部38中存儲的學習結果存儲到上位計算機50的存儲部51中。此時，另一個電弧焊接機器人系統(tǒng)5a訪問上位計算機50的存儲部51，將上述的物理量等以及學習結果分別組入到狀態(tài)觀測部31a和學習結果存儲部38a中。即，可知，即使在一個電弧焊接機器人系統(tǒng)5暫時脫離網(wǎng)絡的情況下，另一個電弧焊接機器人系統(tǒng)5a也能夠取得上述物理量等以及學習結果。

發(fā)明的效果

在第一個至第五個發(fā)明中，能夠提供一種能夠自動決定更佳的至少一個電弧焊接條件的機械學習裝置。

在第六個至第十個發(fā)明中，由于將機械學習導入到電弧焊接控制裝置或電弧焊接機器人系統(tǒng)，因此能夠自動決定更佳的至少一個電弧焊接條件。因此不需要預先進行理想的焊接來決定目標值。

在第十一個至第十二個發(fā)明中，能夠經(jīng)由上位計算機和/或通信部將通過某個機械學習裝置得到的學習結果組入其他的機械學習裝置中，能夠利用可靠性高的學習結果等。

使用典型的實施方式說明了本發(fā)明，但是如果是本領域技術人員則能夠理解在不脫離本發(fā)明的范圍的情況下可以進行上述變更以及各種其他的變更、省略、追加。