自動操作系統(tǒng)及操作自動化方法
【專利摘要】提供一種不必改造裝置本身就能夠?qū)θ我獾难b置進(jìn)行自動操作的自動操作系統(tǒng)。該自動操作系統(tǒng)對制造裝置(50)自動執(zhí)行一系列的操作命令，具備：操作順序制作部(101)，其生成一系列的操作命令；操作順序執(zhí)行部(102)，其執(zhí)行一系列的操作命令；操作信號輸出部(103)，其基于所執(zhí)行的操作命令，將與制造裝置(50)的輸入裝置的操作信號相應(yīng)的信號發(fā)送給制造裝置(50)；畫面信息取得部(104)，其基于所執(zhí)行的操作命令，取得在制造裝置(50)的顯示裝置(52)上顯示的畫面的信息，并進(jìn)行圖像識別；以及操作初始設(shè)定部(105)，其取得生成一系列的操作命令時所需的制造裝置(50)的信息，并對各個操作命令的設(shè)定所需的信息賦予ID并進(jìn)行登錄。
【專利說明】自動操作系統(tǒng)及操作自動化方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及自動操作系統(tǒng)及操作自動化方法。

【背景技術(shù)】
[0002]在工廠等生產(chǎn)現(xiàn)場，運(yùn)行著多種多樣的制造裝置，操作者對各個裝置進(jìn)行操作。為了減輕這樣的操作者的作業(yè)負(fù)擔(dān)，采用了將操作的一部分或整體自動化的系統(tǒng)(例如專利文獻(xiàn)I)。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2011-203954號公報
[0006]發(fā)明的概要
[0007]發(fā)明所要解決的課題
[0008]但是，為了將操作自動化，需要對制造裝置本身實施一些改造。為了對裝置本身進(jìn)行改造，需要該裝置的知識，特別是在型號較老的裝置的情況下很難應(yīng)對。此外，一般來說，若對裝置本身進(jìn)行改造，則還存在裝置制造商不再保修的問題。
[0009]此外，自動化系統(tǒng)的開發(fā)需要掌握程序開發(fā)知識，但是希望具備裝置操作相關(guān)知識的操作者即便沒有程序開發(fā)知識也能夠簡單地開發(fā)自動化系統(tǒng)。


【發(fā)明內(nèi)容】

[0010]于是，本發(fā)明的目的在于，提供一種不進(jìn)行裝置本身的改造，就能夠?qū)θ我庋b置進(jìn)行自動操作的自動操作系統(tǒng)。
[0011]此外，本發(fā)明的目的在于，提供一種即便沒有系統(tǒng)程序開發(fā)的知識，也能夠簡單地制作對任意裝置進(jìn)行自動操作的系統(tǒng)的自動操作系統(tǒng)。
[0012]解決課題所采用的技術(shù)手段
[0013]本發(fā)明的自動操作系統(tǒng)是對于操作對象裝置自動執(zhí)行一系列的操作命令的自動操作系統(tǒng)，具備:操作順序制作部，其生成所述一系列的操作命令；操作順序執(zhí)行部，其執(zhí)行所述一系列的操作命令；操作信號輸出部，其基于所執(zhí)行的所述操作命令，將與所述操作對象裝置的輸入裝置的操作信號相應(yīng)的信號發(fā)送給所述操作對象裝置；以及畫面信息取得部，其基于所執(zhí)行的所述操作命令，取得在所述操作對象裝置的顯示裝置上顯示的畫面的信息，并進(jìn)行圖像識別。
[0014]根據(jù)本發(fā)明，能夠提供一種不必改造裝置本身就能夠?qū)θ我獾难b置進(jìn)行自動操作的自動操作系統(tǒng)。
[0015]此外，優(yōu)選為，具備操作初始設(shè)定部，其取得生成所述一系列的操作命令時所需的所述操作對象裝置的信息，對各個操作命令的設(shè)定所需的信息賦予ID并登錄。
[0016]由此，能夠提供一種即便沒有系統(tǒng)程序開發(fā)知識也能夠簡單地制作對任意裝置進(jìn)行自動操作的系統(tǒng)。
[0017]此外，優(yōu)選為，所述操作初始設(shè)定部取得所述操作對象裝置的全部操作畫面，對于在操作的過程中需要的顯示信息的位置信息賦予ID，并與圖像數(shù)據(jù)一起登錄。
[0018]此外，優(yōu)選為，所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行鍵盤輸入的區(qū)域的位置信息賦予ID，并與所輸入的文本數(shù)據(jù)一起登錄。
[0019]此外，優(yōu)選為，所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行了鼠標(biāo)操作的位置的位置信息賦予ID，并與鼠標(biāo)操作的內(nèi)容一起登錄。
[0020]此外，優(yōu)選為，所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行了手寫筆操作的位置的位置信息賦予ID，并與手寫筆操作的內(nèi)容一起登錄。
[0021]此外，優(yōu)選為，所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上需要識別在畫面上顯示的顏色的區(qū)域的位置信息賦予ID，并與圖像數(shù)據(jù)及顏色信息一起登錄。
[0022]此外，優(yōu)選為，所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上顯示的字符中的、需要作為文字?jǐn)?shù)據(jù)識別的字符賦予ID，并與字符的圖像數(shù)據(jù)一起登錄。
[0023]此外，優(yōu)選為，所述操作順序制作部使用由所述操作初始設(shè)定部賦予ID并登錄的信息來生成操作命令。
[0024]此外，優(yōu)選為，所述操作順序制作部具備:圖表制作部，其用于制作概念圖表，該概念圖表具有用于表示特定的系統(tǒng)的概念的概念構(gòu)件和為了實現(xiàn)所述概念而按照功能的流程構(gòu)成的實現(xiàn)構(gòu)件；以及圖表變換部，其將由所述圖表制作部制作的概念圖表變換為控制程序，所述圖表制作部基于由操作者經(jīng)由輸入部輸入的操作，將包含構(gòu)成所述概念圖表的所述概念構(gòu)件及所述實現(xiàn)構(gòu)件在內(nèi)的多個構(gòu)件顯示在顯示部上，并且將與所述構(gòu)件的每一個相關(guān)的信息和規(guī)定所述構(gòu)件彼此的關(guān)系的信息顯示在所述顯示部上。
[0025]此外，優(yōu)選為，所述操作信號輸出部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將所述操作對象裝置的鍵盤、鼠標(biāo)或手寫筆的操作信號發(fā)送給所述操作對象裝置。
[0026]此外，優(yōu)選為，所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的圖像和由所述操作初始設(shè)定部賦予ID并登錄的圖像數(shù)據(jù)進(jìn)行對照。
[0027]此外，優(yōu)選為，所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的顏色和由所述操作初始設(shè)定部賦予ID并登錄的顏色數(shù)據(jù)進(jìn)行對照。
[0028]此外，優(yōu)選為，所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的字符和由所述操作初始設(shè)定部賦予ID并登錄的文字?jǐn)?shù)據(jù)進(jìn)行匹配。
[0029]此外，優(yōu)選為，具備:模擬部，其使用所述操作對象裝置的模擬器執(zhí)行由所述操作順序制作部生成的操作命令的實驗；以及模擬器生成部，其生成所述操作對象裝置的模擬器。
[0030]此外，優(yōu)選為，所述模擬器生成部使用由所述操作初始設(shè)定部賦予ID并登錄的信息來生成模擬器。
[0031]此外，優(yōu)選為，所述一系列的操作命令是用于使所述操作對象裝置正常停止的一系列的操作，所述操作順序執(zhí)行部對多個操作對象裝置一并執(zhí)行正常停止的操作。
[0032]本發(fā)明的操作自動化方法是對操作對象裝置自動執(zhí)行一系列的操作命令的操作自動化方法，包括:生成所述一系列的操作命令的步驟；以及執(zhí)行所述一系列的操作命令的步驟，在執(zhí)行所述一系列的操作命令的步驟中，基于所執(zhí)行的所述操作命令，將與所述操作對象裝置的輸入裝置的操作信號相應(yīng)的信號發(fā)送給所述操作對象裝置，基于所執(zhí)行的所述操作命令，取得在所述操作對象裝置的顯示裝置上顯示的畫面的信息，并進(jìn)行圖像識別。
[0033]根據(jù)本發(fā)明，能夠提供一種不必改造裝置本身就能夠?qū)θ我獾难b置進(jìn)行自動操作的操作自動化方法。
[0034]發(fā)明的效果
[0035]根據(jù)本發(fā)明，能夠提供一種不必進(jìn)行裝置本身的改造，就能夠?qū)θ我獾难b置進(jìn)行自動操作的自動操作系統(tǒng)。
[0036]此外，根據(jù)本發(fā)明，能夠提供一種即便沒有系統(tǒng)程序開發(fā)知識，也能夠簡單地制作對任意裝置進(jìn)行自動操作的系統(tǒng)的自動操作系統(tǒng)。

【專利附圖】

【附圖說明】
[0037]圖1是表示本發(fā)明的實施方式I的自動操作系統(tǒng)的構(gòu)成的框圖。
[0038]圖2是表示本發(fā)明的實施方式I的制造裝置的操作自動化的順序的概略的流程圖。
[0039]圖3是表示本發(fā)明的實施方式I的在制造裝置的顯示裝置上顯示的操作畫面的圖。
[0040]圖4是表示本發(fā)明的實施方式I的概念圖表制作畫面的圖。
[0041]圖5是表示在本發(fā)明的實施方式I的概念圖表制作畫面上粘貼構(gòu)成概念圖表的構(gòu)件的狀態(tài)的圖。
[0042]圖6是表示顯示了本發(fā)明的實施方式I的與構(gòu)成概念圖表的構(gòu)件相關(guān)的信息的狀態(tài)的圖。
[0043]圖7是表示在本發(fā)明的實施方式I的概念圖表制作畫面上粘貼了構(gòu)成概念圖表的多個構(gòu)件的狀態(tài)的圖。
[0044]圖8是表示將本發(fā)明的實施方式I的規(guī)定構(gòu)成概念圖表的構(gòu)件的相互關(guān)系的信息予以表示的狀態(tài)的圖。
[0045]圖9是表不本發(fā)明的實施方式I的概念圖表的一例的圖。
[0046]圖10是表示本發(fā)明的實施方式2的自動操作系統(tǒng)的構(gòu)成的框圖。
[0047]圖11是表示本發(fā)明的實施方式2的制造裝置的操作自動化的順序的概略的流程圖。
[0048]圖12是表示本發(fā)明的實施例的緊急時一并停止系統(tǒng)的構(gòu)成的框圖。

【具體實施方式】
[0049]實施方式1.
[0050]接下來參照附圖詳細(xì)說明用于實施本發(fā)明的方式。
[0051]圖1是表示本發(fā)明的實施方式I的自動操作系統(tǒng)10的構(gòu)成的框圖。如圖所示，自動操作系統(tǒng)10具備:輸入裝置11、顯示裝置12、操作順序制作部101、操作順序執(zhí)行部102、操作信號輸出部103、畫面信息取得部104、操作初始設(shè)定部105、操作順序存儲部106、初始設(shè)定存儲部107。
[0052]自動操作系統(tǒng)10能夠使用專用或通用的計算機(jī)，該計算機(jī)具備CPU、R0M及RAM等存儲器、存放各種信息的外部存儲裝置、輸入接口、輸出接口、通信接口、以及連接它們的總線。另外，自動操作系統(tǒng)10可以由單一的計算機(jī)構(gòu)成，也可以由經(jīng)由通信線路相互連接的多個計算機(jī)構(gòu)成。
[0053]操作順序制作部101、操作順序執(zhí)行部102、操作信號輸出部103、畫面信息取得部104、操作初始設(shè)定部105相當(dāng)于通過由CPU執(zhí)行存放在ROM等中的規(guī)定的程序而實現(xiàn)的功能模塊。操作順序存儲部106、初始設(shè)定存儲部107通過外部存儲裝置安裝。
[0054]輸入裝置11是包含鼠標(biāo)和鍵盤等的各種指位設(shè)備，在操作者對自動操作系統(tǒng)10進(jìn)行各種信息的輸入時使用。
[0055]顯示裝置12是顯示器等顯示裝置，其接受從自動操作系統(tǒng)10的CPU輸出的圖像信號來顯示各種圖像。
[0056]如圖1所示，自動操作系統(tǒng)10經(jīng)由通信線路與成為操作對象的制造裝置50連接。制造裝置50具有操作用的輸入裝置51和顯示裝置52。輸入裝置51是操作者為了操作制造裝置50而進(jìn)行各種輸入或設(shè)定的接口，例如包括鍵盤、鼠標(biāo)、手寫筆。顯示裝置52是顯示制造裝置50的菜單畫面或各種設(shè)定畫面等的顯示器。
[0057]對自動操作系統(tǒng)10的各部的功能進(jìn)行說明。
[0058]操作順序制作部101具有生成針對制造裝置50的一系列的操作命令的功能。操作順序制作部101通過采用概念圖表，使得沒有系統(tǒng)開發(fā)知識的作業(yè)者能夠進(jìn)行程序開發(fā)。另外，概念圖表是表現(xiàn)特定的系統(tǒng)概念、并且用于實現(xiàn)該概念的圖表(chart),由包括表現(xiàn)概念本身的概念構(gòu)件、表現(xiàn)構(gòu)成概念的多個子概念的多個子概念構(gòu)件、用于實現(xiàn)概念及子概念的實現(xiàn)構(gòu)件在內(nèi)的多個構(gòu)件構(gòu)成。操作順序制作部101具備圖表制作部1011和圖表變換部1012。
[0059]操作順序執(zhí)行部102具有對制造裝置50執(zhí)行由操作順序制作部101生成的一系列的操作命令(概念圖表)的功能。
[0060]操作信號輸出部103基于對制造裝置50執(zhí)行的操作命令，將與制造裝置50的輸入裝置51的操作信號相當(dāng)?shù)男盘柊l(fā)送給制造裝置50。即，操作信號輸出部103將信號發(fā)送給制造裝置50，該信號相當(dāng)于人對輸入裝置51 (鍵盤.鼠標(biāo).手寫筆等)進(jìn)行了操作時發(fā)送給制造裝置50的信號。
[0061]畫面信息取得部104基于對制造裝置50執(zhí)行的操作命令，取得在制造裝置50的顯示裝置52上顯示的畫面的信息。此外，畫面信息取得部104對所取得的圖像信息進(jìn)行圖案匹配、色彩匹配、文字識別等圖像識別處理。
[0062]操作初始設(shè)定部105取得生成一系列的操作命令時所需要的制造裝置50的信息，進(jìn)行各種操作命令的初始設(shè)定。操作初始設(shè)定部105具備:圖案識別信息設(shè)定部1051、鍵盤信息設(shè)定部1052、鼠標(biāo)信息設(shè)定部1053、手寫筆信息設(shè)定部1054、文字識別信息設(shè)定部1055。
[0063]操作順序存儲部106存儲針對由操作順序制作部101生成的制造裝置50的一系列的操作命令。具體地，存儲有概念圖表和變換了概念圖表的控制程序。
[0064]初始設(shè)定存儲部107存儲由操作初始設(shè)定部105制作的初始設(shè)定信息。具體地，存儲有關(guān)于制造裝置50的畫面信息、鍵盤信息、鼠標(biāo)信息、手寫筆信息、文字識別信息中的每一個的初始設(shè)定信息。
[0065]接著，說明自動操作系統(tǒng)10的詳細(xì)動作和制造裝置50的操作自動化方法。圖2是表示制造裝置50的操作自動化簡要順序的流程圖。首先，操作者使用輸入裝置11決定想要使操作自動化的制造裝置50(步驟SI)。決定制造裝置50，例如能夠通過在顯示裝置12上顯示成為對象的全部制造裝置并在畫面上選擇來進(jìn)行。
[0066]接著，操作者使用輸入裝置11進(jìn)行制造裝置50的初始設(shè)定(步驟S2)。初始設(shè)定是針對畫面信息、鍵盤信息、鼠標(biāo)信息、手寫筆信息、文字識別信息中的每一個進(jìn)行的。操作初始設(shè)定部105根據(jù)操作者的操作來制作初始設(shè)定信息，并登錄在初始設(shè)定存儲部107中。
[0067]首先，使用圖3說明制造裝置50的畫面信息的初始設(shè)定。
[0068]圖3表示在制造裝置50的顯示裝置52上顯示的I個操作畫面(畫面A)。操作者使用輸入裝置11使顯示裝置12顯示畫面A。圖案識別信息設(shè)定部1051從制造裝置50取得畫面A的圖像數(shù)據(jù)，并顯示在顯示裝置上12。這時，圖案識別信息設(shè)定部1051根據(jù)制造裝置50的顯示裝置52的特性，來調(diào)整取得圖像數(shù)據(jù)時的頻率及分辨率，取得清晰的圖像。進(jìn)而，圖案識別信息設(shè)定部1051對所取得的圖像數(shù)據(jù)賦予圖像ID，并登錄到初始設(shè)定存儲部107中。操作者對于與制造裝置50的操作有關(guān)的全部畫面進(jìn)行登錄。
[0069]進(jìn)而，操作者對于與操作有關(guān)的各畫面，對在操作的過程中所需要的顯示信息賦予圖案ID并登錄顯示內(nèi)容(圖像)和顯示位置(坐標(biāo))。例如，對于圖3的畫面A，為了在制造裝置50的一系列的操作中確認(rèn)所顯示的畫面是畫面A這一情況，需要確認(rèn)在圖中的區(qū)域Rl中顯示的內(nèi)容(畫面標(biāo)題)是“畫面A”。因此，操作者使用輸入裝置11指定區(qū)域R1，并作為圖像圖案來登錄。圖案識別信息設(shè)定部1051對區(qū)域Rl的圖像數(shù)據(jù)賦予圖案ID，并與區(qū)域Rl的位置信息(例如點P的(X，Y)坐標(biāo)和X方向及Y方向上的長度)一起登錄到初始設(shè)定存儲部107。操作者對于與制造裝置50的操作有關(guān)的全部畫面，登錄操作的過程中所需要的顯示信息這樣，對于在操作的過程中需要識別顯示內(nèi)容的區(qū)域，通過將圖像圖案和位置信息一起登錄并賦予ID，從而僅指定ID就能夠指定特定的圖像信息。
[0070]進(jìn)而，操作者進(jìn)行用于識別在制造裝置50的畫面上顯示的顏色的初始設(shè)定。例如，在圖3的畫面A中，操作的過程中需要確認(rèn)在區(qū)域R2上顯示的顏色是“藍(lán)色”。因此，操作者使用輸入裝置11來指定顯示有藍(lán)色的狀態(tài)的區(qū)域R2，并作為藍(lán)色圖案來登錄。圖案識別信息設(shè)定部1051對區(qū)域R2的圖像數(shù)據(jù)賦予圖案ID，并與顏色信息(藍(lán)色)及區(qū)域R2的位置信息一起登錄到初始設(shè)定存儲部107。操作者對于與制造裝置50的操作有關(guān)的全部畫面，登錄在操作的過程中需要判定所顯示的顏色的圖案。
[0071]這樣，對于需要識別在操作的過程中顯示的顏色的區(qū)域，根據(jù)將圖像圖案、顏色信息及位置信息一起登錄，能夠根據(jù)與登錄的圖像進(jìn)行比較，來判定在實際的操作中在區(qū)域R2上顯示的顏色是否為“藍(lán)色”。一般來說，根據(jù)制造裝置50的顯示裝置52的特性及使用年限、或者同一裝置中顯示器上的位置等，實際顯示的顏色即便同為藍(lán)色，也會有微小的差異。因此，通過預(yù)先將在規(guī)定的區(qū)域顯示的顏色作為該裝置的該區(qū)域的“藍(lán)色”進(jìn)行初始登錄，從而能夠可靠地判定所顯示的顏色。
[0072]接著，說明與制造裝置50的鍵盤操作有關(guān)的初始設(shè)定。
[0073]操作者經(jīng)由輸入裝置11取得制造裝置50的畫面(在操作過程中進(jìn)行了鍵盤輸入的畫面)，并在顯示裝置12上顯示。操作者在取得的畫面上按照實際的操作進(jìn)行鍵盤輸入。例如，在圖3所示的畫面A中，進(jìn)行向文本框R3輸入“ABCABC”的動作。鍵盤信息設(shè)定部1052對進(jìn)行了鍵盤輸入的區(qū)域(文本框R3)的位置信息賦予鍵盤輸入位置ID，并與所輸入的文本數(shù)據(jù)(“ABCABC”)一起登錄在初始設(shè)定存儲部107中。此外，這時鍵盤信息設(shè)定部1052根據(jù)制造裝置50的特性，調(diào)整向制造裝置50發(fā)送鍵盤操作信號的速度和發(fā)送間隔，并登錄在初始設(shè)定存儲部107中。操作者對于與制造裝置50的操作有關(guān)的全部畫面，登錄在操作的過程中需要鍵盤輸入的位置和輸入內(nèi)容。
[0074]接下來，說明與制造裝置50的鼠標(biāo)操作有關(guān)的初始設(shè)定。
[0075]操作者經(jīng)由輸入裝置11取得制造裝置50的畫面(在操作過程中進(jìn)行了鼠標(biāo)操作的畫面)，并使顯示裝置12顯示。操作者在所取得的畫面上按照實際的操作進(jìn)行鼠標(biāo)操作。例如，在圖3所示的畫面A中，進(jìn)行點擊按鈕B的動作。鼠標(biāo)信息設(shè)定部1053對進(jìn)行了鼠標(biāo)操作的區(qū)域(按鈕B)的位置信息賦予鼠標(biāo)移動位置ID，并與操作內(nèi)容(點擊次數(shù)等)一起登錄在初始設(shè)定存儲部107中。此外，這時鼠標(biāo)信息設(shè)定部1053根據(jù)制造裝置50的特性進(jìn)行鼠標(biāo)的點擊動作的速度和鼠標(biāo)的移動速度的初始設(shè)定，并登錄在初始設(shè)定存儲部107中。操作者對于與制造裝置50的操作有關(guān)的全部畫面，登錄在操作的過程中需要鼠標(biāo)操作的位置和操作內(nèi)容。
[0076]接下來，說明與制造裝置50的手寫筆操作有關(guān)的初始設(shè)定。
[0077]操作者經(jīng)由輸入裝置11取得制造裝置50的畫面(在操作過程中通過手寫筆進(jìn)行了輸入的畫面)，并在顯示裝置12上顯示。操作者在所取得的畫面上按照實際的操作通過手寫筆進(jìn)行輸入。例如，在圖3所示的畫面A中，通過手寫筆選中復(fù)選框R4。手寫筆信息設(shè)定部1054對進(jìn)行了手寫筆操作的區(qū)域(復(fù)選框R4)的位置信息賦予手寫筆移動位置ID，并與操作內(nèi)容一起登錄在初始設(shè)定存儲部107中。此外，這時手寫筆信息設(shè)定部1054根據(jù)制造裝置50的特性，調(diào)整向制造裝置50發(fā)送手寫筆操作信號的速度，并登錄在初始設(shè)定存儲部107中。操作者對于與制造裝置50的操作有關(guān)的全部畫面，登錄在操作的過程中需要手寫筆操作的位置和操作內(nèi)容。
[0078]接下來，說明與制造裝置50的文字識別功能有關(guān)的初始設(shè)定。
[0079]操作者對于在制造裝置50的畫面上顯示的字符中的、在操作的過程中需要作為文字?jǐn)?shù)據(jù)來識別的部分進(jìn)行初始設(shè)定。例如，在圖3的畫面A中，有時在操作過程中需要將在區(qū)域R5上顯示的字符“P51”作為“P51”這一文字?jǐn)?shù)據(jù)來發(fā)送給制造裝置50的上位設(shè)備(管理服務(wù)器等)。操作者首先使用輸入裝置11將在區(qū)域R5上顯示的“P”字符指定為“P”文字?jǐn)?shù)據(jù)。文字識別信息設(shè)定部1055將在區(qū)域R5上顯示的“P”圖像數(shù)據(jù)作為制造裝置50中的“P”文字登錄在初始設(shè)定存儲部107中。接下來，操作者對于“5”和“I”也同樣作為“5”和“I”文字?jǐn)?shù)據(jù)來予以登錄。
[0080]這樣，對于在操作的過程中需要作為文字?jǐn)?shù)據(jù)識別的文字，將實際顯示的字符的圖像預(yù)先作為文字?jǐn)?shù)據(jù)登錄，從而能夠通過將實際操作中顯示的字符與所登錄的文字進(jìn)行比較，來進(jìn)行文字識別。在OCR (Optical Character Recognit1n)這樣的一般的文字識別技術(shù)中，能夠準(zhǔn)確地識別清晰的字符，但是受到裝置的特性或逐年老化等影響，不非只顯示清晰的文字。因此，通過預(yù)先將實際顯示的字符作為該裝置的文字?jǐn)?shù)據(jù)進(jìn)行初始登錄，從而能夠可靠地識別所顯示的文字。
[0081]通過以上的作業(yè)，制造裝置50的初始設(shè)定大體結(jié)束后，接下來操作者使用輸入裝置11制作制造裝置50的操作命令(步驟S3)。操作順序制作部101根據(jù)操作者的操作來制作操作命令，并登錄在操作順序存儲部106中。
[0082]使用圖4?圖8說明制造裝置50的操作命令的制作。
[0083]首先，操作者從在如圖4所示的顯示裝置12的顯示部30上顯示的工具條31 (與構(gòu)成概念圖表的構(gòu)件對應(yīng)的按鈕組)中，使用輸入裝置11選擇想要粘貼的構(gòu)件的按鈕。例如，若操作者使用輸入裝置11(鼠標(biāo))點擊工具條31中的“開始構(gòu)件”按鈕，則接受了該輸入信號的圖表制作部1011在顯示部30的下部顯示“構(gòu)件選擇模式:開始構(gòu)件”這樣的文字。在這樣的“構(gòu)件選擇模式”狀態(tài)下，若操作者使用輸入裝置11 (鼠標(biāo))點擊位于顯示部30的中央部的圖表制作畫面32，則如圖5所示，接受到該輸入信號的圖表制作部1011在圖表制作畫面32上粘貼開始構(gòu)件S (進(jìn)行顯示)。在該時點，“構(gòu)件選擇模式”被解除。
[0084]接下來，若操作者點擊顯示部30的圖表制作畫面32上粘貼(已被顯示的)的開始構(gòu)件S，則如圖6所示，接受到該輸入信號的圖表制作部1011在位于圖表制作畫面32的右側(cè)的屬性畫面33上顯示開始構(gòu)件S的屬性列表。操作者使用輸入裝置11向該屬性列表輸入開始構(gòu)件S的屬性。例如，若操作者使用輸入裝置11 (鍵盤)在屬性列表的“概要”欄輸入“程序開始”，則如圖6所示，接受到該輸入信號的輸入裝置11在圖表制作畫面32的開始構(gòu)件S的上方顯示“程序開始”。
[0085]操作者按照與上述順序相同的順序，如圖7所示，能夠在顯示部30的圖表制作畫面32上粘貼其他構(gòu)件(例如概念構(gòu)件Cl)。然后，操作者使用輸入裝置11 (鼠標(biāo))將開始構(gòu)件S和概念構(gòu)件Cl用線連結(jié)。具體地，操作者在將鼠標(biāo)指針配置于圖表制作畫面32的開始構(gòu)件S之上的狀態(tài)下按壓鼠標(biāo)的左鍵，保持按壓的狀態(tài)使鼠標(biāo)指針向概念構(gòu)件Cl移動之后松開左鍵。如圖8所示，接受到這樣的輸入信號的圖表制作部1011顯示將開始構(gòu)件S和概念構(gòu)件Cl連結(jié)的線L。以下，可以按照同樣的順序制作概念圖表。
[0086]按以上方式制作概念圖表之后，操作者使用輸入裝置11進(jìn)行用于將概念圖表變換為規(guī)定的控制程序的輸入操作。接受到相應(yīng)的輸入操作的圖表變換部1012參照概念圖表和FA控制語言的對應(yīng)表，將所制作的概念圖表變換為用FA控制語言記述的控制程序。進(jìn)而，圖表變換部1012參照FA控制語言和C語言的對應(yīng)表，將用FA控制語言記述的控制程序變換為用C語言記述的控制程序。FA控制語言指的是介于概念圖表和C語言之間并能夠以日語理解的新的編程語言。圖表變換部1012按這樣方式得到用C語言記述的控制程序之后，使用C語言編譯器將控制程序變換為對象文件，最終制作執(zhí)行文件。所制作的概念圖表、控制程序及執(zhí)行文件存儲在操作順序存儲部106中。
[0087]圖9是表示概念圖表的一例的圖。
[0088]根據(jù)圖9的概念圖表，按照在畫面01中確認(rèn)區(qū)域Rl的圖案(概念構(gòu)件Cl)、在畫面01中用鍵盤向文本框Tl輸入“123123” (概念構(gòu)件C2)、在畫面01中將鼠標(biāo)移動到按鈕BI并實施點擊操作(概念構(gòu)件C3)這樣的流程來進(jìn)行操作。
[0089]在畫面01中進(jìn)行區(qū)域Rl的圖案確認(rèn)時，通過利用預(yù)先登錄到初始設(shè)定存儲部107中的模塊ID，不進(jìn)行復(fù)雜的坐標(biāo)指定等也能夠簡單地設(shè)定期望的操作。此外，在初始設(shè)定的階段，取得按照每個制造裝置50的顯示裝置的性能調(diào)整的圖像的頻率和分辨率也在此反映。
[0090]關(guān)于向文本框Tl的鍵盤輸入，在初始設(shè)定的階段，預(yù)先對鍵盤輸入位置和輸入內(nèi)容賦予ID并進(jìn)行登錄，所以僅指定ID，就能夠簡單地設(shè)定期望的操作。此外，在初始設(shè)定的階段，根據(jù)制造裝置50的性能調(diào)整的操作信號的發(fā)送間隔也在此反映。
[0091]關(guān)于鼠標(biāo)操作，也在初始設(shè)定的階段對鼠標(biāo)移動位置和操作內(nèi)容賦予ID并登錄，所以僅指定ID，就能夠簡單地設(shè)定期望的操作。此外，在初始設(shè)定的階段，根據(jù)制造裝置50的性能調(diào)整的鼠標(biāo)的移動速度和點擊速度也在此反映。
[0092]同樣地，對于手寫筆操作，也在初始設(shè)定的階段對手寫筆移動位置和操作內(nèi)容賦予ID并登錄，所以僅指定ID，就能夠簡單地設(shè)定期望的操作。此外，在初始設(shè)定的階段，根據(jù)制造裝置50的性能調(diào)整的手寫筆的操作信號的發(fā)送間隔也在此反映。
[0093]此外，對于確認(rèn)特定的顯示區(qū)域的顏色的操作，也預(yù)先對于對象區(qū)域的圖像數(shù)據(jù)和顏色信息賦予ID并進(jìn)行登錄，所以僅指定ID，就能夠簡單地設(shè)定色彩匹配操作。
[0094]此外，對于識別所顯示的文字的操作，也預(yù)先對于對象文字的圖像數(shù)據(jù)和文字信息賦予ID并登錄，所以僅指定ID，就能夠簡單地設(shè)定文字識別的操作。
[0095]像這樣，預(yù)先通過操作初始設(shè)定部105進(jìn)行各操作的初始設(shè)定，從而不需要坐標(biāo)指定等復(fù)雜的作業(yè)，由此即便沒有程序開發(fā)的知識，也能夠簡單地制作概念圖表。
[0096]接下來，使用由操作順序制作部101制作的操作命令，執(zhí)行制造裝置50的自動操作(步驟S4)。
[0097]若操作者使用輸入裝置11開始制造裝置50的自動操作，則操作順序執(zhí)行部102執(zhí)行存儲在操作順序存儲部106中的操作命令的執(zhí)行文件(編譯對概念圖表進(jìn)行變換的控制程序而得的執(zhí)行文件)，進(jìn)行制造裝置50的自動操作。
[0098]操作信號輸出部103基于由操作順序執(zhí)行部102執(zhí)行的操作命令，將輸入裝置51的鍵盤、鼠標(biāo)及手寫筆的操作信號發(fā)送給制造裝置50。在執(zhí)行了鍵盤操作的情況下，如人用鍵盤輸入文字那樣，在輸入裝置51的顯示裝置52的顯示畫面的相應(yīng)的輸入?yún)^(qū)域(文本框等)自動地顯示文本。另外，在通過操作初始設(shè)定部105進(jìn)行初始設(shè)定的階段調(diào)整過的操作信號的發(fā)送間隔反映于操作命令，操作信號輸出部103按照該設(shè)定發(fā)送信號，所以不會發(fā)生所發(fā)送的操作信號在制造裝置50側(cè)未被正確接收這樣的問題。
[0099]執(zhí)行鼠標(biāo)操作的情況下，在顯示裝置52的顯示畫面上鼠標(biāo)的光標(biāo)移動至指定部位，進(jìn)行指定的操作(點擊等)。另外，在初始設(shè)定的階段調(diào)整過的鼠標(biāo)的移動速度和點擊速度反映于操作命令，操作信號輸出部103按照該設(shè)定發(fā)送信號，所以不會發(fā)生所發(fā)送的操作信號在制造裝置50側(cè)未被正確地接收這樣的問題。
[0100]執(zhí)行了手寫筆操作的情況下，在顯示裝置52的顯示畫面上的指定部位自動執(zhí)行與人實際用手寫筆進(jìn)行了操作的情況同樣的動作。另外，在由操作初始設(shè)定部105進(jìn)行初始設(shè)定的階段調(diào)整國的操作信號的發(fā)送速度被反映于操作命令，操作信號輸出部103按照該設(shè)定發(fā)送信號，所以不會發(fā)生所發(fā)送的操作信號在制造裝置50側(cè)未被正確接收這樣的問題。
[0101]畫面信息取得部104基于由操作順序執(zhí)行部102執(zhí)行的操作命令，取得在顯示裝置52上顯示的畫面的顯示信息，進(jìn)行圖案匹配、色彩匹配、文字識別等。另外，在由操作初始設(shè)定部105進(jìn)行初始設(shè)定的階段，根據(jù)每個制造裝置50的顯示裝置的性能來調(diào)整取得圖像的頻率和分辨率，所以不會發(fā)生所取得的畫面的分辨率差、將圖像無法正確識別這樣的問題。
[0102]執(zhí)行了模塊匹配的操作命令的情況下，將所取得的顯示畫面上的指定區(qū)域的圖像與賦予ID并登錄在初始設(shè)定存儲部107中的對應(yīng)區(qū)域的圖像數(shù)據(jù)進(jìn)行比較。畫面信息取得部104在判斷為相同圖像的情況下繼續(xù)處理，沒有判斷為相同圖像的情況下進(jìn)行結(jié)束處理等動作。
[0103]執(zhí)行了色彩匹配的操作命令的情況下，將所取得的顯示畫面上的指定區(qū)域的圖像與賦予ID并登錄在初始設(shè)定存儲部107中的對應(yīng)區(qū)域的顏色數(shù)據(jù)(圖像數(shù)據(jù))進(jìn)行比較。畫面信息取得部104在判斷為相同顏色的情況下繼續(xù)處理，沒有判斷為相同的情況下進(jìn)行結(jié)束處理等動作。
[0104]執(zhí)行了文字識別的操作命令的情況下，將所取得的顯示畫面上的特定的文字與賦予ID并登錄在初始設(shè)定存儲部107中的文字?jǐn)?shù)據(jù)(圖像數(shù)據(jù))進(jìn)行比較。畫面信息取得部104在判斷為相同文字的情況下繼續(xù)處理，沒有判斷為相同的情況下進(jìn)行結(jié)束處理等動作。
[0105]如上所述，根據(jù)本實施方式，通過從自動操作系統(tǒng)10向制造裝置50提供與人操作制造裝置的情況下產(chǎn)生的操作信號(鍵盤信號、鼠標(biāo)信號、手寫筆信號)相應(yīng)的信號，從而能夠代替人的操作而自動操作制造裝置。此外，取得在制造裝置的顯示裝置上顯示的圖像信息，并自動進(jìn)行模塊匹配等圖像識別，所以能夠代替人一邊確認(rèn)畫面一邊進(jìn)行操作這樣地方式而自動進(jìn)行。
[0106]此外，由于使向制造裝置發(fā)送操作信號的處理和取得從制造裝置輸出的圖像信號的處理自動化，所以不需要改造制造裝置本身，即便針對年代或制造商不同的裝置，也能夠同樣地應(yīng)用。此外，由于不改造制造裝置，所以還能夠避免制造商不再保修等問題。
[0107]此外，在制作操作命令時能夠使用能夠可視且直觀地理解算法的概念圖表，所以即便沒有程序開發(fā)知識，也能夠簡單地制作針對任意制造裝置的操作命令。結(jié)果，能夠以低成本在短時間內(nèi)使運(yùn)行著多種多樣的制造裝置的工廠實現(xiàn)完全的自動化。
[0108]進(jìn)而，對操作命令的生成所需的制造裝置的信息進(jìn)行初始設(shè)定，并且對于各項目賦予ID并進(jìn)行了登錄，所以省略原本在制作操作命令時需要進(jìn)行的復(fù)雜的參數(shù)設(shè)定，僅指定ID就能夠?qū)?yīng)。因此，能夠更加簡化自動化處理。
[0109]此外，能夠一邊確認(rèn)實際從制造裝置取得的畫面的變動一邊進(jìn)行初始設(shè)定作業(yè)，所以即便沒有程序開發(fā)知識，也能夠簡單且準(zhǔn)確地進(jìn)行初始設(shè)定。
[0110]實施方式2.
[0111]圖10是表示本發(fā)明實施方式2的自動操作系統(tǒng)20的結(jié)構(gòu)的框圖。與圖1相同的附圖標(biāo)記表示對應(yīng)的構(gòu)成要素。如圖10所示，自動操作系統(tǒng)20除了具備實施方式I的自動操作系統(tǒng)10的構(gòu)成要素之外，還具備模擬部108、模擬器生成部109及模擬器存儲部110。模擬部108及模擬器生成部109相當(dāng)于通過由自動操作系統(tǒng)20的CPU執(zhí)行存放在ROM等中的規(guī)定程序來實現(xiàn)的功能的模塊。模擬器存儲部110由外部存儲裝置來安裝。
[0112]模擬部108具有使用制造裝置的模擬器來執(zhí)行由操作順序制作部101生成的操作命令的實驗的功能。模擬器生成部109具有自動生成制造裝置的模擬器的功能。模擬器存儲部110存儲由模擬器生成部109制作的模擬器。關(guān)于其他各結(jié)構(gòu)的功能，與實施方式I相同。
[0113]圖11是表示制造裝置50的操作自動化順序的概要的流程圖。步驟
[0114]Sll?步驟S13與實施方式I的處理(圖2:步驟SI?步驟S3)相同。在步驟S14中，操作者使用輸入裝置11生成用于進(jìn)行在步驟S13制作的操作命令的實驗的模擬器。模擬器生成部109根據(jù)操作者的操作制作模擬器，并存儲在模擬器存儲部110中。
[0115]操作者使用輸入裝置11，取出登錄在初始設(shè)定存儲部107中的用于制造裝置50的操作的全部畫面數(shù)據(jù)，并在顯示裝置12上顯示。進(jìn)而，操作者使用輸入裝置11，與操作實際的制造裝置時的畫面變動同樣地連結(jié)所顯示的全部畫面。模擬器生成部109生成使畫面按照操作者連結(jié)的順序變動的模擬器，并存儲到模擬器存儲部110中。操作者能夠在顯示裝置12上使制作的模擬器實際運(yùn)行，從而確認(rèn)是否正確地制作了畫面變動。
[0116]模擬器的制作和動作確認(rèn)結(jié)束后，執(zhí)行操作命令的實驗(步驟S15)。
[0117]操作者使用輸入裝置11開始執(zhí)行實驗后，模擬部108使用存儲在模擬器存儲部110中的模擬器執(zhí)行操作順序存儲在存儲部106中的操作命令的執(zhí)行文件。操作者能夠在顯示裝置12上確認(rèn)模擬器的動作，從而確認(rèn)操作命令是否正確地制作。操作命令的驗證結(jié)束后，執(zhí)行制造裝置50的自動操作(步驟S16)。
[0118]如上所述，根據(jù)本實施方式，為了進(jìn)行所制作的操作命令的實驗而制作制造裝置的模擬器，從而能夠進(jìn)行操作命令的動作確認(rèn)。將實際在生產(chǎn)線上運(yùn)行的制造裝置用于操作命令的實驗的情況下，為了不妨礙生產(chǎn)，實驗的時間非常有限。另一方面，如本實施方式這樣能夠使用模擬器進(jìn)行實驗，從而不必停止生產(chǎn)線，能夠利用充足的時間進(jìn)行實驗。
[0119]此外，根據(jù)本實施方式，能夠利用在初始設(shè)定中登錄過的制造裝置的畫面數(shù)據(jù)來簡單地制作模擬器，所以沒有程序開發(fā)知識的用戶也能夠自己制作模擬器并進(jìn)行操作命令的實驗。
[0120]實施例
[0121]作為本發(fā)明的實施例，示出在地震發(fā)生時等緊急狀況下使生產(chǎn)線的全部裝置自動地一并停止的系統(tǒng)的例子。在地震等災(zāi)害發(fā)生時，優(yōu)先考慮人的生命，所以在使裝置運(yùn)行的狀況下直接避難。但是，有些裝置使用有毒物質(zhì)或可燃物質(zhì)，如果在運(yùn)行狀態(tài)下直接放置，則存在放出有毒物質(zhì)或引起火災(zāi)的危險。此外，如果不按照正確的停止順序進(jìn)行停止，則在重新使裝置運(yùn)行時需要進(jìn)行校正作業(yè)，從而花費很多的作業(yè)時間和成本。因此，作為本發(fā)明的實施例，提出了一種在發(fā)生緊急事態(tài)時通過一個按鈕操作來工作的緊急時一并停止系統(tǒng)70。
[0122]圖12是表示本發(fā)明的實施例的緊急時一并停止系統(tǒng)70的構(gòu)成的框圖。如圖所示，緊急時一并停止系統(tǒng)70經(jīng)由通信線路與生產(chǎn)線上的全部制造裝置50A、50B、50C、50D連接。制造裝置50A、50B、50C、50D分別具有鍵盤或鼠標(biāo)等輸入裝置51A、51B、51C、51D。
[0123]緊急時一并停止系統(tǒng)70保持分別使制造裝置50A、50B、50C、50D按照正確的順序停止的操作命令。在發(fā)生了地震等緊急事態(tài)時，操作者使用緊急時一并停止系統(tǒng)70的輸入裝置開始執(zhí)行一并停止。另外，開始執(zhí)行一并停止是可以通過使用遙控器等的遠(yuǎn)程操作來進(jìn)行的，也可以從位于遠(yuǎn)離的地方的、通過線路(有線或無線)連接在緊急時一并停止系統(tǒng)70的其他計算機(jī)進(jìn)行操作。
[0124]執(zhí)行一并停止后，從緊急時一并停止系統(tǒng)70對制造裝置50A、50B、50C、50D執(zhí)行一并停止的操作命令。即，與通常由人使用輸入裝置51A、51B、51C、51D進(jìn)行的正常的停止操作相應(yīng)的操作的信號被發(fā)送給制造裝置50A、50B、50C、50D。
[0125]如上所述，根據(jù)本實施例，在緊急事態(tài)發(fā)生時，能夠通過最小限度的所需操作將全部裝置正常地一并停止。其結(jié)果，能夠防止二次災(zāi)害，并且還能夠減輕裝置恢復(fù)作業(yè)的負(fù)擔(dān)。
[0126]符號說明
[0127]10,20-自動操作系統(tǒng)；11_輸入裝置；12_顯示裝置；30_顯示部；31_工具條；32-圖表制作畫面；50-制造裝置;50A、50B、50C、50D-制造裝置;51_輸入裝置；51A、51B、51C、51D-輸入裝置；52_顯示裝置；70_緊急時一并停止系統(tǒng)；101_操作順序制作部；102-操作順序執(zhí)行部；103_操作信號輸出部；104_畫面信息取得部；105_操作初始設(shè)定部；106_操作順序存儲部；107_初始設(shè)定存儲部；108_模擬部；109_模擬器生成部；110-模擬器存儲部；1011_圖表制作部；1012_圖表變換部；1051_圖案識別信息設(shè)定部；1052-鍵盤信息設(shè)定部；1053_鼠標(biāo)信息設(shè)定部；1054-手寫筆信息設(shè)定部；1055-文字識別信息設(shè)定部。
【權(quán)利要求】
1.一種自動操作系統(tǒng)，其對于操作對象裝置自動執(zhí)行一系列的操作命令，該自動操作系統(tǒng)具備: 操作順序制作部，其生成所述一系列的操作命令； 操作順序執(zhí)行部，其執(zhí)行所述一系列的操作命令； 操作信號輸出部，其基于所執(zhí)行的所述操作命令，將與所述操作對象裝置的輸入裝置的操作信號相應(yīng)的信號發(fā)送給所述操作對象裝置；以及 畫面信息取得部，其基于所執(zhí)行的所述操作命令，取得在所述操作對象裝置的顯示裝置上顯示的畫面的信息，并進(jìn)行圖像識別。
2.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 具備操作初始設(shè)定部，該操作初始設(shè)定部取得生成所述一系列的操作命令時所需的所述操作對象裝置的信息，對各個操作命令的設(shè)定所需的信息賦予ID并登錄。
3.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部取得所述操作對象裝置的全部操作畫面，對于在操作的過程中需要的顯示信息的位置信息賦予ID，并與圖像數(shù)據(jù)一起登錄。
4.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行了鍵盤輸入的區(qū)域的位置信息賦予ID，并與所輸入的文本數(shù)據(jù)一起登錄。
5.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行了鼠標(biāo)操作的位置的位置信息賦予ID，并與鼠標(biāo)操作的內(nèi)容一起登錄。
6.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上進(jìn)行了手寫筆操作的位置的位置信息賦予ID，并與手寫筆操作的內(nèi)容一起登錄。
7.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上需要識別在畫面上顯示的顏色的區(qū)域的位置信息賦予ID，并與圖像數(shù)據(jù)及顏色信息一起登錄。
8.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作初始設(shè)定部對于在所述操作對象裝置的操作畫面上顯示的字符中的、需要作為文字來數(shù)據(jù)識別的字符賦予ID，并與字符的圖像數(shù)據(jù)一起登錄。
9.如權(quán)利要求2所述的自動操作系統(tǒng)，其中， 所述操作順序制作部使用由所述操作初始設(shè)定部賦予ID并登錄的信息來生成操作命令。
10.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 所述操作順序制作部具備: 圖表制作部，其用于制作概念圖表，該概念圖表具有用于表示特定的系統(tǒng)的概念的概念構(gòu)件和為了實現(xiàn)所述概念而按照功能的流程構(gòu)成的實現(xiàn)構(gòu)件；以及 圖表變換部，其將由所述圖表制作部制作的概念圖表變換為控制程序， 所述圖表制作部基于由操作者經(jīng)由輸入部輸入的操作，將包含構(gòu)成所述概念圖表的所述概念構(gòu)件及所述實現(xiàn)構(gòu)件在內(nèi)的多個構(gòu)件顯示在顯示部上，并且將與所述構(gòu)件的每一個相關(guān)的信息和規(guī)定所述構(gòu)件彼此的關(guān)系的信息顯示在所述顯示部上。
11.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 所述操作信號輸出部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將所述操作對象裝置的鍵盤、鼠標(biāo)或手寫筆的操作信號發(fā)送給所述操作對象裝置。
12.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的圖像和由所述操作初始設(shè)定部賦予ID并登錄的圖像數(shù)據(jù)進(jìn)行對照。
13.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的顏色和由所述操作初始設(shè)定部賦予ID并登錄的顏色數(shù)據(jù)進(jìn)行對照。
14.如權(quán)利要求1所述的自動操作系統(tǒng)，其中， 所述畫面信息取得部基于由所述操作順序執(zhí)行部執(zhí)行的操作命令，將在所述操作對象裝置的顯示裝置上顯示的字符和由所述操作初始設(shè)定部賦予ID并登錄的字符數(shù)據(jù)進(jìn)行匹配。
15.如權(quán)利要求1所述的自動操作系統(tǒng)，其中，具備: 模擬部，其使用所述操作對象裝置的模擬器執(zhí)行由所述操作順序制作部生成的操作命令的實驗；以及 模擬器生成部，其生成所述操作對象裝置的模擬器。
16.如權(quán)利要求15所述的自動操作系統(tǒng)，其中， 所述模擬器生成部使用由所述操作初始設(shè)定部賦予ID并登錄的信息來生成模擬器。
17.如權(quán)利要求1所述的自動操作系統(tǒng)，其中 所述一系列的操作命令是用于使所述操作對象裝置正常停止的一系列的操作， 所述操作順序執(zhí)行部對多個操作對象裝置一并執(zhí)行正常停止的操作。
18.一種操作自動化方法，在該操作自動化方法中對操作對象裝置自動執(zhí)行一系列的操作命令，該操作自動化方法包括: 生成所述一系列的操作命令的步驟；以及 執(zhí)行所述一系列的操作命令的步驟， 在執(zhí)行所述一系列的操作命令的步驟中， 基于所執(zhí)行的所述操作命令，將與所述操作對象裝置的輸入裝置的操作信號相應(yīng)的信號發(fā)送給所述操作對象裝置， 基于所執(zhí)行的所述操作命令，取得在所述操作對象裝置的顯示裝置上顯示的畫面的信息，并進(jìn)行圖像識別。
19.如權(quán)利要求18所述的操作自動化方法，其中，具備: 取得生成所述一系列的操作命令時所需的所述操作對象裝置的信息，并對設(shè)定各個操作命令時所需的信息賦予ID并登錄的步驟。
20.如權(quán)利要求19所述的操作自動化方法，其中， 在生成所述一系列的操作命令的步驟中，使用賦予了所述ID并登錄過的信息來生成操作命令。
21.如權(quán)利要求18所述的操作自動化方法，其中，具備: 生成所述操作對象裝置的模擬器的步驟；以及 執(zhí)行使用所述模擬器生成的所述操作命令的實驗的步驟。
【文檔編號】G05B19/042GK104395843SQ201280074049
【公開日】2015年3月4日 申請日期:2012年9月10日 優(yōu)先權(quán)日:2012年6月19日
【發(fā)明者】藪崎弘芳, 石川亨 申請人:日本電能株式會社