基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法
【專利摘要】本發(fā)明公開一種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，包括：控制模式設(shè)計(jì)、網(wǎng)絡(luò)協(xié)議選擇、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)、虛擬現(xiàn)實(shí)控制四個(gè)步驟，目的是通過互聯(lián)網(wǎng)對(duì)流水生產(chǎn)線上的工業(yè)機(jī)器人進(jìn)行遠(yuǎn)程控制，使其完成相關(guān)的生產(chǎn)任務(wù)。該發(fā)明采用客戶機(jī)和服務(wù)器C/S控制模式，選擇面向連接的傳輸控制協(xié)議TCP傳輸客戶機(jī)和服務(wù)器之間的遠(yuǎn)程控制命令，以及利用無連接的用戶數(shù)據(jù)報(bào)協(xié)議UDP實(shí)現(xiàn)圖像傳輸；同時(shí)通過網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)(時(shí)間驅(qū)動(dòng)、事件驅(qū)動(dòng)、預(yù)測(cè)顯示等)工業(yè)機(jī)器人完成相關(guān)作業(yè)；并且利用虛擬現(xiàn)實(shí)控制對(duì)工業(yè)機(jī)器人進(jìn)行仿真建模，將控制命令序列通過互聯(lián)網(wǎng)傳給遠(yuǎn)程的工業(yè)機(jī)器人執(zhí)行，再將返回的實(shí)際執(zhí)行結(jié)果信息通過虛擬的工業(yè)機(jī)器人仿真模型反映出來。
【專利說明】
基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及工業(yè)機(jī)器人控制的技術(shù)領(lǐng)域，特別設(shè)及一種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人 遠(yuǎn)程控制方法。
【背景技術(shù)】
[0002] 工業(yè)機(jī)器人是一種能在3D空間內(nèi)完成生產(chǎn)作業(yè)的機(jī)電一體化自動(dòng)化生產(chǎn)設(shè)備，特 別適合于多品種、變批量的柔性生產(chǎn)過程，它對(duì)于穩(wěn)定地提高產(chǎn)品質(zhì)量、生產(chǎn)效率、更新?lián)Q 代，W及改善勞動(dòng)條件等起著十分重要的作用。工業(yè)機(jī)器人經(jīng)過50多年的發(fā)展已經(jīng)日趨成 熟，一批著名的工業(yè)機(jī)器人公司，例如，瑞典ABB RobotiCS，日本FANUC、化skawa，德國KUKA Roboter、美國Adept Technology、American Robot、Emerson Industrial Automation、S-T Robotics、意大利COMAU、英國AutoTech Robotics、加拿大Jed International Robotics, W色列Robogroup Tek公司等已經(jīng)開發(fā)出了噴漆、弧焊、點(diǎn)焊、裝配、搬運(yùn)等許多種類型或序 列的工業(yè)機(jī)器人，并且已經(jīng)廣泛地應(yīng)用于沖壓、壓鑄、鍛造、加工、焊接、熱處理、噴涂、上料、 裝配、檢測(cè)、堆煤等作業(yè)中。
[0003] 目前，工業(yè)機(jī)器人產(chǎn)業(yè)增長(zhǎng)勢(shì)頭非常強(qiáng)勁，工業(yè)機(jī)器人技術(shù)也正朝著結(jié)構(gòu)模塊化 和可重構(gòu)化、控制技術(shù)開放化和PC化及網(wǎng)絡(luò)化、伺服驅(qū)動(dòng)技術(shù)數(shù)字化和分散化、多傳感器融 合技術(shù)實(shí)用化、工作環(huán)境設(shè)計(jì)優(yōu)化、作業(yè)柔性化等智能化、模塊化、網(wǎng)絡(luò)化和系統(tǒng)化方向發(fā) 展。其中，工業(yè)機(jī)器人的網(wǎng)絡(luò)化是一個(gè)重點(diǎn)方向發(fā)展。傳統(tǒng)的工業(yè)機(jī)器人遠(yuǎn)程控制技術(shù)非常 復(fù)雜，需要建立特殊的操作臺(tái)，鋪設(shè)專用的通信線路，因?yàn)橛布O(shè)備極其昂貴，故使得其沒 法有效地推廣應(yīng)用。隨著IT技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)己經(jīng)成為世界上信息資源最豐富的計(jì) 算機(jī)公共網(wǎng)絡(luò)。1993年，由Ken Gol化erg等連接到互聯(lián)網(wǎng)上的Mercury Project機(jī)器人是全 世界第一個(gè)基于Web瀏覽器的機(jī)器人遠(yuǎn)程控制系統(tǒng)。此后，基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控 制方法成為了重要的研究方向?；诨ヂ?lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法將互聯(lián)網(wǎng)作為通信 媒介，不僅可W對(duì)流水生產(chǎn)線上的每臺(tái)工業(yè)機(jī)器人進(jìn)行遠(yuǎn)程控制，而且還可W擺脫原來的 那種專人專機(jī)遠(yuǎn)程控制的束縛及降低成本，運(yùn)非常有利于工業(yè)機(jī)器人的推廣和應(yīng)用及普 及。
[0004] 互聯(lián)網(wǎng)的飛速發(fā)展給工業(yè)機(jī)器人遠(yuǎn)程控制提供了廣闊的應(yīng)用空間，使得對(duì)工業(yè)機(jī) 器人的直接操作轉(zhuǎn)化為遠(yuǎn)程控制。鑒于工業(yè)機(jī)器人遠(yuǎn)程控制具有重大的現(xiàn)實(shí)意義和廣闊的 應(yīng)用前景，美國、日本和歐州等發(fā)達(dá)各國競(jìng)相開發(fā)相關(guān)的技術(shù)。但是，基于互聯(lián)網(wǎng)的工業(yè)機(jī) 器人遠(yuǎn)程控制存在時(shí)延、穩(wěn)定、丟包、調(diào)度、同步、安全、驅(qū)動(dòng)、仿真、控制等眾多問題，急需要 有效的互聯(lián)網(wǎng)控制模式、協(xié)議選擇、網(wǎng)絡(luò)驅(qū)動(dòng)、虛擬現(xiàn)實(shí)等關(guān)鍵技術(shù)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器 人遠(yuǎn)程控制方法。
[0006] 本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn)：
[0007] -種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，所述遠(yuǎn)程控制方法包括：
[0008] 步驟S1、控制模式設(shè)計(jì)，采用客戶機(jī)和服務(wù)器的(VS控制模式，用戶登錄客戶端軟 件，通過互聯(lián)網(wǎng)與服務(wù)器端通信，并通過服務(wù)器端軟件控制服務(wù)器端的工業(yè)機(jī)器人；
[0009] 步驟S2、網(wǎng)絡(luò)協(xié)議選擇，選擇面向連接的傳輸控制協(xié)議TCP傳輸客戶機(jī)和服務(wù)器之 間的遠(yuǎn)程控制命令，W及利用無連接的用戶數(shù)據(jù)報(bào)協(xié)議UDP實(shí)現(xiàn)圖像傳輸；
[0010] 步驟S3、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)，通過時(shí)間驅(qū)動(dòng)方式、事件驅(qū)動(dòng)方式、預(yù)測(cè)顯示方式讓工業(yè) 機(jī)器人的相關(guān)組成部分完成相關(guān)作業(yè)；
[0011] 步驟S4、虛擬現(xiàn)實(shí)控制，利用虛擬現(xiàn)實(shí)控制對(duì)工業(yè)機(jī)器人進(jìn)行仿真建模，將控制命 令序列通過互聯(lián)網(wǎng)傳給遠(yuǎn)程的工業(yè)機(jī)器人執(zhí)行，再將返回的實(shí)際執(zhí)行結(jié)果信息通過虛擬的 工業(yè)機(jī)器人仿真模型反映出來。
[0012] 進(jìn)一步地，所述步驟S1、控制模式設(shè)計(jì)的C/S控制模式采用兩層結(jié)構(gòu)系統(tǒng)，其中第 一層是在客戶機(jī)上結(jié)合了表示與業(yè)務(wù)邏輯，第二層是通過網(wǎng)絡(luò)結(jié)合數(shù)據(jù)庫服務(wù)器，C/S控制 模式將多個(gè)復(fù)雜網(wǎng)絡(luò)應(yīng)用的用戶交互界面GUI、業(yè)務(wù)應(yīng)用處理和數(shù)據(jù)庫訪問及處理相分離， 服務(wù)器與客戶機(jī)之間通過消息傳遞機(jī)制進(jìn)行對(duì)話，由客戶端發(fā)出請(qǐng)求給服務(wù)器，服務(wù)器進(jìn) 行相應(yīng)處理后，經(jīng)傳遞機(jī)制送回客戶端。
[0013] 進(jìn)一步地，所述步步驟S2、網(wǎng)絡(luò)協(xié)議選擇具體為:在發(fā)送客戶機(jī)和服務(wù)器之間的遠(yuǎn) 程控制命令和狀態(tài)反饋時(shí)均采用面向連接的TCP協(xié)議進(jìn)行傳輸，服務(wù)器通過CC時(shí)暴象機(jī)獲得 工業(yè)機(jī)器人作業(yè)現(xiàn)場(chǎng)的視頻圖像，經(jīng)由視頻采集卡將PAL制式圖像轉(zhuǎn)化為24位的帖彩色位 圖圖像，然后將圖像送入視頻編碼解碼器，再對(duì)圖像進(jìn)行壓縮后傳輸，并且采用無連接的 UDP協(xié)議實(shí)現(xiàn)圖像傳輸。
[0014] 進(jìn)一步地，所述步驟S3、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)具體為:工業(yè)機(jī)器人的傳感器采用時(shí)間驅(qū)動(dòng) 方式工作，工業(yè)機(jī)器人的執(zhí)行器和控制器采用事件驅(qū)動(dòng)方式工作，并且采用隨機(jī)預(yù)測(cè)顯示 方式預(yù)測(cè)環(huán)境和工業(yè)機(jī)器人的狀態(tài)，并且顯示在操作者的監(jiān)視器上，操作者通過虛擬現(xiàn)實(shí) 技術(shù)來觀察工業(yè)機(jī)器人的運(yùn)動(dòng)行為。
[0015] 進(jìn)一步地，所述步驟S4、虛擬現(xiàn)實(shí)控制具體為:采用預(yù)測(cè)顯示方式進(jìn)行工業(yè)機(jī)器人 遠(yuǎn)程控制，利用通過虛擬現(xiàn)實(shí)技術(shù)來對(duì)工業(yè)機(jī)器人進(jìn)行建模，并仿真實(shí)際工業(yè)機(jī)器人的運(yùn) 行，驗(yàn)證無誤后再將控制命令序列傳給實(shí)體工業(yè)機(jī)器人執(zhí)行，并將返回的實(shí)際執(zhí)行信息通 過虛擬的工業(yè)機(jī)器人模型反映出來。
[0016] 進(jìn)一步地，所述工業(yè)機(jī)器人遠(yuǎn)程控制方法的操作方式包括單關(guān)節(jié)控制和整體控 審IJ，其中，在所述單關(guān)節(jié)控制的操作方式中，操作者先通過操作控制端選定仿真模型或?qū)嶓w 工業(yè)機(jī)器人的某個(gè)關(guān)節(jié)，并使用該操作控制端調(diào)整選定關(guān)節(jié)的旋轉(zhuǎn)角度，通過對(duì)一組關(guān)節(jié) 的旋轉(zhuǎn)角度逐個(gè)調(diào)整，操作者得W控制工業(yè)機(jī)器人完成某個(gè)特定的任務(wù);在所述整體控制 的操作方式中，操作者針對(duì)工業(yè)機(jī)器人的機(jī)械手進(jìn)行控制，操作者通過控制機(jī)械手向上、向 下、伸出、縮回、正向平移、逆向平移六個(gè)方向移動(dòng)來驅(qū)動(dòng)工業(yè)機(jī)器人完成指定的動(dòng)作，此控 制方式中各個(gè)關(guān)節(jié)的參數(shù)均通過逆向運(yùn)動(dòng)學(xué)方程計(jì)算得到，其中，單關(guān)節(jié)控制和整體控制 在操作過程中支持實(shí)時(shí)切換。
[0017] 進(jìn)一步地，所述工業(yè)機(jī)器人遠(yuǎn)程控制方法包括本地仿真模式和遠(yuǎn)程控制模式，在 所述本地仿真模式下，客戶端未連接到服務(wù)器，通過本地仿真模式對(duì)模擬器中的工業(yè)機(jī)器 人進(jìn)行模擬控制，W練習(xí)對(duì)工業(yè)機(jī)器人的各種操作，所述本地仿真模式下的各種行為和實(shí) 體工業(yè)機(jī)器人完全相同，所有對(duì)本地工業(yè)機(jī)器人進(jìn)行的各種操作可直接應(yīng)用于實(shí)體工業(yè)機(jī) 器人之上；
[0018] 在所述遠(yuǎn)程控制模式下，客戶端連接至服務(wù)器，通過互聯(lián)網(wǎng)對(duì)服務(wù)器端的工業(yè)機(jī) 器人進(jìn)行遠(yuǎn)程控制，用戶所有的操作均通過互聯(lián)網(wǎng)傳送到服務(wù)器端，本地工業(yè)機(jī)器人仿真 模型的狀態(tài)從實(shí)體工業(yè)機(jī)器人中實(shí)時(shí)讀取，并從服務(wù)器傳回客戶端。
[0019] 進(jìn)一步地，所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持操作過程錄制與播放，在選擇錄制 軌跡功能之后，操作者可W將操作過程中工業(yè)機(jī)器人的運(yùn)動(dòng)軌跡保存下來，在后繼的操作 中將保存下來的運(yùn)動(dòng)軌跡播放出來，并重復(fù)執(zhí)行先前保存的對(duì)工業(yè)機(jī)器人各種操作，操作 者同時(shí)可W選擇將操作軌跡保存到文件W待下次執(zhí)行應(yīng)用程序時(shí)再重新從文件調(diào)入。
[0020] 進(jìn)一步地，所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持實(shí)時(shí)視頻反饋，在遠(yuǎn)程控制模式中 連接到服務(wù)器主機(jī)上的CO)攝像頭會(huì)將工業(yè)機(jī)器人的實(shí)時(shí)視頻信息通過互聯(lián)網(wǎng)傳送至客戶 端界面；
[0021 ]所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持視頻/仿真窗口切換，在遠(yuǎn)程控制模式的初始 界面中，操作者通過對(duì)仿真模型的狀態(tài)反饋來實(shí)時(shí)監(jiān)控工業(yè)機(jī)器人的當(dāng)前狀態(tài)，此時(shí)視頻 窗口起輔助監(jiān)控作用，用戶可W通過窗口切換功能將視頻窗口切換為主要觀測(cè)界面，此時(shí) 仿真模型窗口起輔助觀測(cè)作用；
[0022] 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持仿真模型視角切換，通過仿真模型的觀察視角 切換功能，操作者可在操作中從不同角度觀察工業(yè)機(jī)器人狀態(tài)。
[0023] 進(jìn)一步地，所述客戶機(jī)和服務(wù)器的(VS控制模式采用基于套接字sockets的通信， 支持?jǐn)?shù)據(jù)的收發(fā)，在網(wǎng)絡(luò)的每一端都建立一個(gè)sockets,兩個(gè)sockets之間可W建立連接，也 可W無連接，并通過對(duì)sockets的讀、寫操作實(shí)現(xiàn)網(wǎng)絡(luò)通信功能。
[0024] 本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：
[0025] 本發(fā)明的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法適用于各類勞動(dòng)密集型生產(chǎn)制 造企業(yè)，24小時(shí)不停地在有毒、有害、易發(fā)生職業(yè)病的環(huán)境中取代技術(shù)含量低和重復(fù)性的簡(jiǎn) 單工作，從而提高企業(yè)的生產(chǎn)效率，降低企業(yè)的工傷事故，減少企業(yè)的成本負(fù)擔(dān)。
【附圖說明】
[00%] 圖1(a)是基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人組網(wǎng)工作示意圖；
[0027] 圖1(b)是基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法流程圖；
[0028] 圖2是(VS控制模式原理圖；
[0029] 圖3是面向連接的TCP通信流程；
[0030] 圖4是面向無連接的UDP通信流程；
[0031] 圖5是基于(VS控制模式的遠(yuǎn)程控制系統(tǒng)功能結(jié)構(gòu)圖；
[0032] 圖6是客戶端主界面；
[0033] 圖7是服務(wù)器端主界面；
[0034] 圖8是建立服務(wù)器界面；
[0035] 圖9是工業(yè)機(jī)器人本地控制界面；
[0036] 圖10是單個(gè)工業(yè)機(jī)器人遠(yuǎn)程控制網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0037] 圖11是工業(yè)機(jī)器人夾住小鋼棒；
[0038] 圖12是工業(yè)機(jī)器人要將鋼棒放到棒套中；
[0039] 圖13是工業(yè)機(jī)器人機(jī)械手末端坐標(biāo)變化圖；
[0040] 圖14是工業(yè)機(jī)器人關(guān)節(jié)角度變化圖；
[0041 ]圖15是多工業(yè)機(jī)器人遠(yuǎn)程控制的網(wǎng)絡(luò)結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0042] 為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，W下參照附圖并舉實(shí)施例對(duì) 本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并不用 于限定本發(fā)明。
[0043] 實(shí)施例一
[0044] 本實(shí)施例提供了一種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，旨在對(duì)流水生產(chǎn)線 上的每臺(tái)工業(yè)機(jī)器人進(jìn)行遠(yuǎn)程控制，使它們能夠完成相關(guān)的生產(chǎn)任務(wù)。解決上述技術(shù)問題 的技術(shù)方案如圖1(a)和圖1(b)所示，該技術(shù)方案利用互聯(lián)網(wǎng)來實(shí)現(xiàn)對(duì)每臺(tái)工業(yè)機(jī)器人進(jìn)行 遠(yuǎn)程控制。本發(fā)明專利所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法包括:控制模式設(shè)計(jì)、 網(wǎng)絡(luò)協(xié)議選擇、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)、虛擬現(xiàn)實(shí)控制等四個(gè)步驟。下面結(jié)合附圖與【具體實(shí)施方式】對(duì) 本專利申請(qǐng)所述基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法所設(shè)及的四個(gè)步驟作進(jìn)一步的詳 細(xì)描述。
[0045] 步驟S1、控制模式設(shè)計(jì)。
[0046] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法必須要設(shè)計(jì)出高效的和可靠的控制模式， 為此采用C/S控制模式，如圖2所示。由于基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)需要采用 基于狀態(tài)反饋和實(shí)時(shí)仿真方法來解決遠(yuǎn)程控制中的時(shí)延問題，所W所述系統(tǒng)需要在客戶端 將服務(wù)器端的工業(yè)機(jī)器人場(chǎng)景虛擬仿真出來，而且還要實(shí)現(xiàn)客戶端的離線仿真控制功能， 需要在客戶端做大量的數(shù)據(jù)處理，而運(yùn)正是(VS控制模式的優(yōu)勢(shì)所在。在(VS控制模式中，用 戶登錄客戶端軟件，通過互聯(lián)網(wǎng)與服務(wù)器端通信，并通過服務(wù)器端軟件控制服務(wù)器端的工 業(yè)機(jī)器人。C/S控制模式是一種兩層結(jié)構(gòu)系統(tǒng)：第一層是在客戶機(jī)上結(jié)合了表示與業(yè)務(wù)邏 輯;第二層是通過網(wǎng)絡(luò)結(jié)合了數(shù)據(jù)庫服務(wù)器。它將多個(gè)復(fù)雜網(wǎng)絡(luò)應(yīng)用的用戶交互界面GUI、 業(yè)務(wù)應(yīng)用處理和數(shù)據(jù)庫訪問及處理相分離，服務(wù)器與客戶機(jī)之間通過消息傳遞機(jī)制進(jìn)行對(duì) 話，由客戶端發(fā)出請(qǐng)求給服務(wù)器，服務(wù)器進(jìn)行相應(yīng)處理后，經(jīng)傳遞機(jī)制送回客戶機(jī)。運(yùn)種結(jié) 構(gòu)充分地利用客戶端強(qiáng)大的處理能力，將大部分業(yè)務(wù)邏輯都集中在客戶端實(shí)現(xiàn)，減輕服務(wù) 器端的工作負(fù)荷。
[0047] 步驟S2、網(wǎng)絡(luò)協(xié)議選擇。
[0048] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)必須要選擇高效的和可靠的網(wǎng)絡(luò)協(xié)議，W 保證所述系統(tǒng)的遠(yuǎn)程控制命令和視頻圖像反饋正確的傳輸。所述系統(tǒng)選擇TCP/IP進(jìn)行遠(yuǎn)程 控制命令和視頻圖像反饋傳輸。實(shí)際上，TCP/IP中網(wǎng)絡(luò)層的傳輸協(xié)議包括傳輸控制協(xié)議TCP 和用戶數(shù)據(jù)報(bào)協(xié)議UDP。其中，TCP是面向連接的和提供可靠的連接，而UDP則是提供無連接 服務(wù)，而且可靠性沒有保證。由于工業(yè)機(jī)器人的遠(yuǎn)程控制命令傳輸要求可靠、準(zhǔn)確、及時(shí)，且 控制命令本身占用極小的網(wǎng)絡(luò)帶寬，所W為保證控制命令正確傳輸，在發(fā)送控制命令和狀 態(tài)反饋時(shí)均采用TCP進(jìn)行傳輸，W保證傳輸?shù)目煽啃院筒僮鞯陌踩?而服務(wù)器獲取的圖像 數(shù)據(jù)等視頻反饋是通過CO)攝象機(jī)獲得的工作現(xiàn)場(chǎng)圖像，經(jīng)由視頻采集卡將PAL制式圖像轉(zhuǎn) 化為24位帖彩色位圖圖像，然后將圖像送入視頻編碼解碼器對(duì)圖像進(jìn)行壓縮。即使圖像即 使丟失幾帖也沒什么大礙，所W采用UDP進(jìn)行視頻反饋傳輸。因?yàn)榛谔捉幼郑╯ockets)的 C/S控制模式應(yīng)用設(shè)計(jì)有兩種通信服務(wù)類型：一種是面向連接的TCP,另一種是無連接的 UDP，所W所述系統(tǒng)的遠(yuǎn)程通信都是通過socket來具體實(shí)現(xiàn)。Socket通信分為面向連接的通 信(TCP)和面向無連接的通信(UDP)，通信流程分別如圖3和圖4所示。
[0049] 步驟S3、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)。
[0050] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)需要采用時(shí)間驅(qū)動(dòng)和事件驅(qū)動(dòng)兩種節(jié)點(diǎn) 驅(qū)動(dòng)方式。時(shí)間驅(qū)動(dòng)是指所述系統(tǒng)在固定時(shí)鐘下定時(shí)采樣信號(hào)，驅(qū)動(dòng)節(jié)點(diǎn)工作和進(jìn)行數(shù)據(jù) 處理。運(yùn)種方式對(duì)所述系統(tǒng)各個(gè)部分的時(shí)間同步性要求高。事件驅(qū)動(dòng)則是節(jié)點(diǎn)根據(jù)相應(yīng)的 事件信號(hào)觸發(fā)驅(qū)動(dòng)完成工作，實(shí)時(shí)性較強(qiáng)。所述系統(tǒng)的傳感器采用時(shí)間驅(qū)動(dòng)，執(zhí)行器和控制 器采用事件驅(qū)動(dòng)方式下作。在所述系統(tǒng)中，關(guān)節(jié)部件采用事件驅(qū)動(dòng)串行接受控制指令，傳感 器反饋通道多采用時(shí)間驅(qū)動(dòng)采樣。本專利申請(qǐng)公開的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系 統(tǒng)采用預(yù)測(cè)顯示控制方式，也即采用隨機(jī)預(yù)測(cè)方式預(yù)測(cè)環(huán)境和工業(yè)機(jī)器人狀態(tài)并顯示在操 作者的監(jiān)視器上。操作者通過虛擬現(xiàn)實(shí)技術(shù)建造模擬仿真環(huán)境觀察工業(yè)機(jī)器人的運(yùn)動(dòng)，W 保證實(shí)體工業(yè)機(jī)器人實(shí)際動(dòng)作的準(zhǔn)確性。
[0051 ] 步驟S4、虛擬現(xiàn)實(shí)控制。
[0052] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)需要采用預(yù)測(cè)顯示方式進(jìn)行工業(yè)機(jī)器人 遠(yuǎn)程控制，需要通過虛擬現(xiàn)實(shí)技術(shù)來對(duì)工業(yè)機(jī)器人進(jìn)行建模，并仿真實(shí)際工業(yè)機(jī)器人的運(yùn) 行，驗(yàn)證無誤后再將控制命令序列傳給實(shí)體工業(yè)機(jī)器人執(zhí)行，并將返回的實(shí)際執(zhí)行信息通 過虛擬的工業(yè)機(jī)器人模型反映出來。對(duì)于采用遠(yuǎn)程編程方式控制工業(yè)機(jī)器人，虛擬現(xiàn)實(shí)技 術(shù)是絕對(duì)必要的。操作者所面對(duì)的是一個(gè)虛擬環(huán)境，操作僅僅是工業(yè)機(jī)器人的仿真模型，得 到的所有感覺反饋也直接來自虛擬環(huán)境。在工業(yè)機(jī)器人側(cè)，真實(shí)的工業(yè)機(jī)器人接到遠(yuǎn)程控 制命令后，自動(dòng)解釋并執(zhí)行該命令，工業(yè)機(jī)器人控制器接收所有來自運(yùn)行現(xiàn)場(chǎng)的視頻反饋 信息。操作端與工業(yè)機(jī)器人之間只有很少的信息交互。但是，將非結(jié)構(gòu)化環(huán)境納入虛擬現(xiàn)實(shí) 環(huán)境中還存在很大的困難?；谕渡涫教摂M現(xiàn)實(shí)技術(shù)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)，是一個(gè) 完全基于虛擬現(xiàn)實(shí)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)。操作者所有操作都在虛擬現(xiàn)實(shí)環(huán)境中，由 虛擬現(xiàn)實(shí)環(huán)境和真實(shí)的工業(yè)機(jī)器人及其運(yùn)行環(huán)境交互，可W說操作者被虛擬現(xiàn)實(shí)環(huán)境包裹 而完全與真實(shí)世界隔絕。
[0053] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)的功能結(jié)構(gòu)圖如圖5所示，主要包括客戶 端功能和服務(wù)器端功能兩大部分。客戶端主要負(fù)互責(zé)對(duì)工業(yè)機(jī)器人進(jìn)行仿真控制和遠(yuǎn)程控 審IJ，服務(wù)器端主要負(fù)責(zé)為客戶端提供工業(yè)機(jī)器人本地控制代理。服務(wù)器端也同時(shí)提供部分 工業(yè)機(jī)器人本地控制功能。
[0054] (1)客戶端主要功能
[0055] ①客戶端操作控制臺(tái)，圖6所示為客戶端操作控制臺(tái)，也就是客戶端進(jìn)行仿真控 審IJ、遠(yuǎn)程控制及示教的操作控制臺(tái)。
[0056] ②單關(guān)節(jié)操作方式和整體操作方式。工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)使用通用的游戲手 柄作為工業(yè)機(jī)器人操作控制端，它采用DirectI噸ut封裝模塊對(duì)輸入進(jìn)行處理?；诨ヂ?lián)網(wǎng) 的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)采用單關(guān)節(jié)控制和整體控制兩種操作方式對(duì)仿真模型和實(shí)體 工業(yè)機(jī)器人進(jìn)行控制。在單關(guān)節(jié)操作方式中，操作者先通過操作控制端選定仿真模型或?qū)?體工業(yè)機(jī)器人的某個(gè)關(guān)節(jié)，并使用該操作控制端調(diào)整選定關(guān)節(jié)的旋轉(zhuǎn)角度。通過對(duì)一組關(guān) 節(jié)的旋轉(zhuǎn)角度逐個(gè)調(diào)整，操作者得W控制工業(yè)機(jī)器人完成某個(gè)特定的任務(wù)。在整體控制方 式中，操作者只針對(duì)工業(yè)機(jī)器人的機(jī)械手(比如，氣動(dòng)手爪)進(jìn)行控制。操作者通過控制機(jī)械 手向上、向下、伸出、縮回、正向平移、逆向平移六個(gè)方向移動(dòng)來驅(qū)動(dòng)工業(yè)機(jī)器人完成指定的 動(dòng)作，比如，移動(dòng)機(jī)械手到某位置并抓取物件。在運(yùn)種控制方式中，各個(gè)關(guān)節(jié)的參數(shù)均通過 逆向運(yùn)動(dòng)學(xué)方程計(jì)算得到。關(guān)節(jié)操作和整體操作兩種方式可W在操作過程中實(shí)時(shí)切換，W 便對(duì)工業(yè)機(jī)器人進(jìn)行更靈活的操控。
[0057] ③本地仿真模式和遠(yuǎn)程控制模式?？蛻舳嗽谖催B接到服務(wù)器時(shí)，可W通過本地仿 真模式對(duì)模擬器中的工業(yè)機(jī)器人進(jìn)行模擬控制，W練習(xí)對(duì)工業(yè)機(jī)器人的各種操作。連接至 服務(wù)器后，可W通過互聯(lián)網(wǎng)對(duì)服務(wù)器端的工業(yè)機(jī)器人進(jìn)行遠(yuǎn)程控制。在本地仿真模式下，操 作者發(fā)出的指令只對(duì)本地工業(yè)機(jī)器人仿真模型產(chǎn)生影響。本地仿真模型的各種行為和實(shí)體 工業(yè)機(jī)器人完全相同，所有對(duì)本地工業(yè)機(jī)器人進(jìn)行的各種操作可W直接應(yīng)用于實(shí)體工業(yè)機(jī) 器人之上。用戶可W通過操作控制端選擇關(guān)節(jié)控制模式或整體控制模式，分別對(duì)仿真器中 的工業(yè)機(jī)器人進(jìn)行單關(guān)節(jié)控制或整體模式對(duì)工業(yè)機(jī)器人進(jìn)行控制。在切換至遠(yuǎn)程控制模式 并連接到服務(wù)器后，用戶所有的操作均通過互聯(lián)網(wǎng)傳送到服務(wù)器端。本地工業(yè)機(jī)器人仿真 模型的狀態(tài)從實(shí)體工業(yè)機(jī)器人中實(shí)時(shí)讀取，并從服務(wù)器傳回客戶端。
[0058] ④操作過程錄制與播放。在選擇錄制軌跡功能之后，操作者可W將操作過程中工 業(yè)機(jī)器人的運(yùn)動(dòng)軌跡保存下來。在后來的操作中可W將保存下來的運(yùn)動(dòng)軌跡播放出來，系 統(tǒng)將重復(fù)執(zhí)行先前保存的對(duì)工業(yè)機(jī)器人各種操作。操作者同時(shí)可W選擇將操作軌跡保存到 文件W待下次執(zhí)行應(yīng)用程序時(shí)再重新從文件調(diào)入。運(yùn)種控制方式又稱為工業(yè)機(jī)器人的示教 與重現(xiàn)。操作者可W通過仿真練習(xí)對(duì)工業(yè)機(jī)器人執(zhí)行任務(wù)時(shí)的各種操作，并選擇一組最佳 的控制序列并保存下來。運(yùn)樣在W后再執(zhí)行相同的任務(wù)時(shí)便不需要再重復(fù)先前的一步步摸 索，而是直接調(diào)入錄制好的控制序列W縮短實(shí)際控制所需的時(shí)間。
[0059] ⑤客戶端其它功能:a)實(shí)時(shí)視頻反饋。在遠(yuǎn)程控制模式中，有時(shí)單憑仿真窗口仍無 法完全確定工業(yè)機(jī)器人的某個(gè)操作，運(yùn)時(shí)可W通過和視頻結(jié)合來保證操作過程中萬無一 失。連接到服務(wù)器主機(jī)上的CC時(shí)暴像頭會(huì)將工業(yè)機(jī)器人的實(shí)時(shí)視頻信息通過互聯(lián)網(wǎng)傳送至 客戶端界面。操作者可W通過視頻窗口觀察工業(yè)機(jī)器人的視頻畫面，W保證仿真過程的正 確性。b)視頻/仿真窗口切換。在遠(yuǎn)程控制模式的初始界面中，操作者主要通過對(duì)仿真模型 的狀態(tài)反饋來實(shí)時(shí)監(jiān)控工業(yè)機(jī)器人的當(dāng)前狀態(tài)，此時(shí)視頻窗口主要起輔助監(jiān)控作用。用戶 可W通過窗口切換功能將視頻窗口切換為主要觀測(cè)界面，此時(shí)仿真模型窗口起輔助觀測(cè)作 用。C)仿真模型視角切換。仿真模型的缺省狀態(tài)為正面視圖，運(yùn)在進(jìn)行工業(yè)機(jī)器人平移操作 時(shí)顯得不夠直觀。所述系統(tǒng)提供仿真模型的觀察視角切換功能，操作者可在操作中從不同 角度觀察工業(yè)機(jī)器人狀態(tài)，從而能更加準(zhǔn)確地控制工業(yè)機(jī)器人。
[0060] (2)服務(wù)器端主要功能
[0061] 服務(wù)器端如圖7所示，服務(wù)器端主機(jī)通過串口與實(shí)際工業(yè)機(jī)器人相連，其主要功能 是用來提供客戶端操作命令的本地代理。同時(shí)服務(wù)器端也負(fù)責(zé)將工業(yè)機(jī)器人當(dāng)前的狀態(tài)數(shù) 據(jù)和視頻數(shù)據(jù)返回客戶端。除此之外，服務(wù)器端還提供對(duì)工業(yè)機(jī)器人進(jìn)行本地控制等輔助 功能。
[0062] 服務(wù)器端主要功能是：
[0063] ①建立服務(wù)器。服務(wù)器端需要建立服務(wù)器W開始接受客戶端的連接請(qǐng)求，建立服 務(wù)器如圖8所示?？蛻舳诉B接建立W后，服務(wù)器端開始代理客戶端發(fā)來的控制命令W及返回 工業(yè)機(jī)器人當(dāng)前的狀態(tài)數(shù)據(jù)和視頻圖像。服務(wù)器端可W通過控制界面隨時(shí)啟動(dòng)或者停止代 理服務(wù)。
[0064] ②工業(yè)機(jī)器人本地操作。服務(wù)器端可W通過本地操作功能在本地對(duì)工業(yè)機(jī)器人發(fā) 起各種命令，主要是控制工業(yè)機(jī)器人各關(guān)節(jié)進(jìn)行運(yùn)動(dòng)，工業(yè)機(jī)器人本地控制界面如圖9所 示。服務(wù)器管理員可W通過位置模式、速度模式和微調(diào)模式運(yùn)Ξ種模式來控制本地工業(yè)機(jī) 器人各個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)。在位置模式中操作者可W通過設(shè)置某個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)目標(biāo)角度來控制 工業(yè)機(jī)器人轉(zhuǎn)動(dòng)至某個(gè)位置。在速度模式中操作者可W設(shè)定工業(yè)機(jī)器人某個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)速 度，啟動(dòng)后相應(yīng)關(guān)節(jié)會(huì)一直轉(zhuǎn)動(dòng)直到操作者按下停止按鈕或達(dá)到關(guān)節(jié)轉(zhuǎn)動(dòng)極限。微調(diào)模式 中，操作者可W自己設(shè)置微調(diào)的角度對(duì)工業(yè)機(jī)器人進(jìn)行精細(xì)控制。
[0065] ③工業(yè)機(jī)器人復(fù)位。操作者可W使用復(fù)位功能對(duì)工業(yè)機(jī)器人進(jìn)行復(fù)位。通過工業(yè) 機(jī)器人復(fù)位功能可W使工業(yè)機(jī)器人恢復(fù)到原始狀態(tài)。工業(yè)機(jī)器人每執(zhí)行完一系列動(dòng)作之 后，在執(zhí)行下系列動(dòng)作之前一般需要通過復(fù)位功能讓工業(yè)機(jī)器人恢復(fù)到初始狀態(tài)，W確保 下一系列動(dòng)作的準(zhǔn)確性。
[0066] ④工業(yè)機(jī)器人急停。在工業(yè)機(jī)器人操作過程中可能會(huì)遇到不可預(yù)計(jì)的緊急情況， 此時(shí)操作者可W通過緊急停止功能使工業(yè)機(jī)器人強(qiáng)行停止運(yùn)動(dòng)。
[0067] (3)網(wǎng)絡(luò)通信流程實(shí)現(xiàn)
[0068] 由于基于套接字(sockets)的(VS控制模式應(yīng)用設(shè)計(jì)有兩種通信服務(wù)類型:一種是 面向連接的TCP,另一種是無連接的UDP，所W基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)的通 信都通過socket來具體實(shí)現(xiàn)。Socket是一個(gè)連接的雙向端點(diǎn)，通過它可W發(fā)送數(shù)據(jù)，也可W 接收數(shù)據(jù)。它有Ξ個(gè)屬性:①網(wǎng)絡(luò)地址(TCP^P中的IP地址）；②端口號(hào)(port number):表示 不同主機(jī)上的不同進(jìn)程;③Socket類型：sockets是支持TCP/IP的網(wǎng)絡(luò)通信基本操作單元。 可W將sockets看作是不同主機(jī)間的進(jìn)程進(jìn)行雙向通信的端點(diǎn)。它構(gòu)成了在單個(gè)主機(jī)內(nèi)及 整個(gè)網(wǎng)際間的編程界面。一般來說，跨機(jī)應(yīng)用進(jìn)程之間要在網(wǎng)絡(luò)環(huán)境下進(jìn)行通信，必須要在 網(wǎng)絡(luò)的每一端都要建立一個(gè)sockets,兩個(gè)sockets之間可W建立連接，也可W無連接，并通 過對(duì)sockets的"讀"、"寫"操作實(shí)現(xiàn)網(wǎng)絡(luò)通信功能。
[0069] 根據(jù)傳輸數(shù)據(jù)類型不同，sockets可分為面向連接的字節(jié)流sockets(stream sockets)、無連接的數(shù)據(jù)報(bào)sockets(da1:agram sockets)和原始式sockets(raw socket)^ 種類型：（a)字節(jié)流套接字。字節(jié)流不按記錄定界，在TCP/IP簇中對(duì)應(yīng)TCP,它是一個(gè)提供給 用戶進(jìn)程可靠全雙工的面向連接協(xié)議，大多數(shù)互聯(lián)網(wǎng)應(yīng)用程序如ftp、telnet都使用TCP。通 信端點(diǎn)使用TCP對(duì)應(yīng)的互聯(lián)網(wǎng)地址互相連接，可保證按正確的順序及單一和可靠的地址傳 輸。由于它是字節(jié)流，所W包長(zhǎng)包短沒有限制，信包傳輸也不重復(fù)，因而數(shù)據(jù)流套接字提供 了雙向的、有序的、無重復(fù)并且無記錄邊界的數(shù)據(jù)流服務(wù)，也是一種常用的套接字類型。其 特點(diǎn)是通信可靠，對(duì)數(shù)據(jù)有校驗(yàn)和重發(fā)的機(jī)制。（b)數(shù)據(jù)報(bào)套接字。數(shù)據(jù)報(bào)對(duì)應(yīng)記錄型數(shù)據(jù) 流，在TCP/IP簇中對(duì)應(yīng)UDP，利用數(shù)據(jù)報(bào)服務(wù)可實(shí)現(xiàn)一些簡(jiǎn)單的網(wǎng)絡(luò)服務(wù)，如網(wǎng)點(diǎn)檢測(cè)程序 PING。由于不建立連接，UDP比TCP快。但不能保證所有數(shù)據(jù)都準(zhǔn)確有序地到達(dá)目的地，不保 證順序性、可靠性和無重復(fù)性。它是無連接的服務(wù)，W獨(dú)立的信包進(jìn)行傳輸，通信點(diǎn)使用UDP 對(duì)應(yīng)的互聯(lián)網(wǎng)地址。雙方不需要互連，按固定的最大長(zhǎng)度進(jìn)行傳輸，因而適用于單個(gè)報(bào)文傳 輸，或較小文件傳輸。（C)原始式套接字（raw socket)，該接口允許對(duì)較低層協(xié)議，如IP、 ICMP直接訪問，主要用于檢驗(yàn)新協(xié)議實(shí)現(xiàn)或訪問現(xiàn)有服務(wù)中配置的新設(shè)備。Socket通信分 為面向連接的通信(TCP)和面向無連接的通信(UDP)，通信流程如圖3和圖4所示。
[0070] (4)虛擬現(xiàn)實(shí)控制實(shí)現(xiàn)
[0071] 基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制系統(tǒng)具有雙向遠(yuǎn)程控制的特點(diǎn)，運(yùn)就決定了其 對(duì)虛擬現(xiàn)實(shí)技術(shù)有特殊關(guān)系和自然需要。虛擬現(xiàn)實(shí)技術(shù)對(duì)于工業(yè)機(jī)器人遠(yuǎn)程控制的意義在 于，它提供了一種解決(確切的說是屏蔽)通信延遲的方法和進(jìn)行系統(tǒng)仿真的手段。實(shí)際上， 虛擬現(xiàn)實(shí)技術(shù)的起源和發(fā)展都得益于許多機(jī)器人技術(shù)，例如傳感器技術(shù)等，反過來虛擬現(xiàn) 實(shí)技術(shù)又為機(jī)器人領(lǐng)域提供了一個(gè)強(qiáng)有力的技術(shù)手段?；诨ヂ?lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制 系統(tǒng)的雙向遠(yuǎn)程控制理想狀態(tài)是，操作者遠(yuǎn)離工業(yè)機(jī)器人所在地，通過操作端來控制工業(yè) 機(jī)器人完成指定任務(wù)，同時(shí)操作者還應(yīng)具有逼真的臨場(chǎng)感覺(虛擬現(xiàn)實(shí)），為操作者做出決 定提供幫助。運(yùn)既是所謂的虛擬現(xiàn)實(shí)技術(shù)(臨場(chǎng)感技術(shù)或遠(yuǎn)距離存在技術(shù)），臨場(chǎng)感技術(shù)可 W看作是虛擬現(xiàn)實(shí)技術(shù)的初步實(shí)現(xiàn)。臨場(chǎng)感技術(shù)要求將現(xiàn)場(chǎng)的信息傳回操作端，使操作者 可W感受到現(xiàn)場(chǎng)的狀態(tài)，而在操作端一側(cè)，需要相應(yīng)的裝置將傳回來的信息W適當(dāng)形式表 現(xiàn)給操作者，大多數(shù)臨場(chǎng)感技術(shù)都要求至少返饋視覺信息和力覺信息，并將運(yùn)些信息W視 覺和力覺形式施加給操作者。
[0072] 實(shí)施例二
[0073] 該實(shí)施例W遠(yuǎn)程控制單個(gè)工業(yè)機(jī)器人進(jìn)行實(shí)驗(yàn)(Peg-in-Hole實(shí)驗(yàn)）。
[0074] 本實(shí)施例中應(yīng)用的硬件包括:兩臺(tái)6自由度工業(yè)機(jī)器人、用來運(yùn)行客戶端控制程序 的普通PC-臺(tái)、用來運(yùn)行服務(wù)器端控制程序、裝由工業(yè)機(jī)器人控制驅(qū)動(dòng)卡的兩臺(tái)PC機(jī)，如圖 10所示。本實(shí)驗(yàn)所使用的軟件包括：用VC++、0pen化和3DS MAX開發(fā)的客戶端控制軟件 RobotTelecontrol、用VC++開發(fā)的服務(wù)器端控制軟件RobotControl ePeg-in-Hole實(shí)驗(yàn)內(nèi)容 是控制單個(gè)工業(yè)機(jī)器人或協(xié)調(diào)控制兩個(gè)工業(yè)機(jī)器人，將實(shí)驗(yàn)臺(tái)上小鋼棒夾起，然后將其準(zhǔn) 確地放到實(shí)驗(yàn)臺(tái)另外一邊棒套中。實(shí)驗(yàn)在兩個(gè)不同的網(wǎng)段之間進(jìn)行，客戶端與服務(wù)器端通 過網(wǎng)絡(luò)進(jìn)行連接，中間有一個(gè)路由器隔開?？蛻舳耸且慌_(tái)裝有客戶端控制軟件的普通PC，并 與網(wǎng)絡(luò)連接;服務(wù)器端包括一臺(tái)6自由度工業(yè)機(jī)器人和一臺(tái)裝有服務(wù)器端控制軟件的普通 PC，工業(yè)機(jī)器人通過控制驅(qū)動(dòng)卡與PC連接，而服務(wù)器PC又與網(wǎng)絡(luò)連接。本實(shí)驗(yàn)是利用互聯(lián)網(wǎng) 遠(yuǎn)程控制單個(gè)工業(yè)機(jī)器人實(shí)現(xiàn)化g-in-Hole實(shí)驗(yàn)。
[0075] 首先啟動(dòng)服務(wù)器端程序，設(shè)置通信的端口號(hào)，然后建立服務(wù)器等待客戶端連接，并 且啟動(dòng)與服務(wù)器相連的工業(yè)機(jī)器人，初始化工業(yè)機(jī)器人的各種設(shè)置;然后啟動(dòng)客戶端程序， 并與服務(wù)器端建立連接。操作者通過遠(yuǎn)程控制平臺(tái)，選擇控制模式，并通過實(shí)時(shí)仿真和視覺 反饋及時(shí)地確定下一步操作，必要時(shí)還可W將遠(yuǎn)程控制模式切換到本地自主控制，進(jìn)行更 精確的控制，直到完成整個(gè)任務(wù)。實(shí)時(shí)仿真的同步效果見圖11和圖12所示。作業(yè)模式下實(shí)時(shí) 反饋工業(yè)機(jī)器人的機(jī)械手末端坐標(biāo)和各關(guān)節(jié)角度(第4關(guān)節(jié)和第6關(guān)節(jié)沒有轉(zhuǎn)動(dòng)過，一直是0 度，所W未畫出）隨時(shí)間變化見圖13和圖14所示。
[0076] 為了驗(yàn)證實(shí)時(shí)仿真在解決網(wǎng)絡(luò)控制問題的有效性，W及離線示教仿真練習(xí)/在線 控制、遠(yuǎn)程控制/本地自主控制、單命令模式/作業(yè)模式等控制模式相結(jié)合在控制網(wǎng)絡(luò)時(shí)延 和保證系統(tǒng)穩(wěn)定性和安全性上的作用，共進(jìn)行四類分組實(shí)驗(yàn)，每組實(shí)驗(yàn)分別進(jìn)行了 10次，記 下每組實(shí)驗(yàn)的平均操作時(shí)間和成功完成的次數(shù)(所謂成功完成是控制工業(yè)機(jī)器人成功地將 實(shí)驗(yàn)臺(tái)上一邊的小鋼棒夾起來然后準(zhǔn)確地放到另一邊的棒套里，沒能準(zhǔn)確地放進(jìn)去則算失 敗)：
[0077] ①有無開啟實(shí)時(shí)仿真。有啟動(dòng)實(shí)時(shí)仿真時(shí)，可W直接根據(jù)實(shí)時(shí)仿真迅速地采取下 一步操作;無啟動(dòng)實(shí)時(shí)仿真則全部依靠視覺反饋進(jìn)行控制。該組實(shí)驗(yàn)在單命令模式下進(jìn)行， 其結(jié)果見表1所示。
[0078] 表1.單命令模式下有無實(shí)時(shí)仿真的仿真結(jié)果
[0079]
[0080] ②在線控制前有無先進(jìn)行離線示教仿真練習(xí)。下面兩組實(shí)驗(yàn)都在有開通實(shí)時(shí)仿真 的單命令模式前提下進(jìn)行，見表2所示。
[0081 ]表2.單命令模式下有無先進(jìn)行離線示教仿真練習(xí)的仿真結(jié)果
[0082]
[0083]
[0084] ③有無進(jìn)行遠(yuǎn)程控制與本地自主控制的模式切換。有模式切換是當(dāng)小鋼棒很靠近 棒套時(shí)，進(jìn)行模式切換，改成本地自主控制，通過服務(wù)器端控制平臺(tái)完成最后部分控制。無 模式切換則是整個(gè)任務(wù)全部通過遠(yuǎn)程控制來完成。下面兩組仿真都是在有實(shí)時(shí)仿真和單命 令模式的前提下進(jìn)行，見表3所示。
[0085] 表3.進(jìn)行遠(yuǎn)程控制與本地自主控制的模式切換下的仿真結(jié)果
[0086] ___
'[0087]~④采用單命令模式還是作業(yè)模式。下面兩組實(shí)驗(yàn)都是在有實(shí)時(shí)仿真和事先進(jìn)行離I 線示教仿真練習(xí)的前提下進(jìn)行的。見表4所示。
[0088]表4.采用單命令模式還是作業(yè)模式的仿真結(jié)果 「noRol
[0090]~從實(shí)驗(yàn)①的結(jié)果可W看出有實(shí)時(shí)仿真比單靠視覺反饋少用了 195秒，并且單靠視 覺反饋的失敗率很高，運(yùn)是由于視頻反饋時(shí)需要傳送大量的視頻信息，容易引起網(wǎng)絡(luò)時(shí)延， 并且由于網(wǎng)絡(luò)時(shí)延造成的視頻嚴(yán)重滯后，不能反映現(xiàn)場(chǎng)的真實(shí)情況，并且視覺反饋不能像 仿真那樣旋轉(zhuǎn)物體從各個(gè)角度進(jìn)行仔細(xì)的觀察而準(zhǔn)確地判斷物體的位置，所W容易造成錯(cuò) 誤操作，產(chǎn)生安全性問題。運(yùn)說明實(shí)時(shí)仿真在解決網(wǎng)絡(luò)時(shí)延的有效性，并且還可W提高遠(yuǎn)程 控制的穩(wěn)定性和安全性。實(shí)驗(yàn)②的結(jié)果表明有先用離線示教仿真練習(xí)比沒有平均少用了 98 秒，而且成功率更高，運(yùn)是因?yàn)橥ㄟ^離線示教仿真練習(xí)，操作者能事先熟悉各種操作，而且 能借此確定工業(yè)機(jī)器人移動(dòng)的最佳路徑。運(yùn)說明離線示教仿真能有效地縮短在線控制操作 時(shí)間，還能在一定程度上提高操作安全性。實(shí)驗(yàn)③的結(jié)果表明有模式切換比沒有模式切換 的平均操作時(shí)間稍微少一些，而且操作的準(zhǔn)確性更高一些。運(yùn)是由于本地自主操作沒有時(shí) 延，而且可W避免仿真可能出現(xiàn)的微小誤差。運(yùn)說明模式切換能夠有效的保證操作準(zhǔn)確性 和安全性。實(shí)驗(yàn)④的結(jié)果顯示單命令的平均操作時(shí)間要比作業(yè)模式長(zhǎng)很多，但作業(yè)模式的 成功率卻沒有單命令的高。運(yùn)是因?yàn)閱蚊钅Ｊ降拿坎街g多了思考下一步采取何種控制 策略的時(shí)間，所W所用的時(shí)間會(huì)相應(yīng)的變長(zhǎng)，但也正是由于有了每一步的及時(shí)調(diào)整，所W更 能保證操作的準(zhǔn)確性和安全性。運(yùn)說明在保證操作準(zhǔn)確性的前提下，作業(yè)模式能進(jìn)一步的 縮短遠(yuǎn)程控制的操作時(shí)間。
[0091 ] 實(shí)施例Ξ
[0092] 該實(shí)施例W遠(yuǎn)程控制多工業(yè)機(jī)器人進(jìn)行實(shí)驗(yàn)。
[0093] 實(shí)驗(yàn)在兩個(gè)不同的網(wǎng)段之間進(jìn)行，客戶端與服務(wù)器端通過網(wǎng)絡(luò)進(jìn)行連接，中間有 一個(gè)路由器隔開?？蛻舳耸且慌_(tái)裝有客戶端控制軟件的普通PC，并與網(wǎng)絡(luò)連接;服務(wù)器端包 括兩臺(tái)6自由度的工業(yè)機(jī)器人和兩臺(tái)裝有服務(wù)器端控制軟件的普通PC，工業(yè)機(jī)器人通過控 制驅(qū)動(dòng)卡與PC連接，而服務(wù)器PC又與網(wǎng)絡(luò)連接。本實(shí)驗(yàn)是利用網(wǎng)絡(luò)遠(yuǎn)程控制兩個(gè)工業(yè)機(jī)器 人協(xié)調(diào)合作完成化g-in-化le實(shí)驗(yàn)。首先分別啟動(dòng)兩個(gè)服務(wù)器端的控制程序，設(shè)置好服務(wù)器 端各自的通信端口號(hào)，然后各自建立服務(wù)器，等待客戶端的連接，并啟動(dòng)與服務(wù)器相連的工 業(yè)機(jī)器人，初始化工業(yè)機(jī)器人的各種設(shè)置;然后啟動(dòng)客戶端程序，分別設(shè)置對(duì)應(yīng)的端口號(hào)并 與對(duì)應(yīng)的服務(wù)器端建立連接。最后，操作者通過遠(yuǎn)程控制平臺(tái)，選擇控制模式，并通過實(shí)時(shí) 仿真和視覺反饋協(xié)調(diào)控制兩臺(tái)工業(yè)機(jī)器人，必要時(shí)還可W將遠(yuǎn)程控制模式切換到本地自主 控制，進(jìn)行更精確的控制，直到完成整個(gè)任務(wù)。
[0094] 綜上所述，上述基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法采用客戶機(jī)和服務(wù)器 (ClienVServer，C/S)控制模式，選擇面向連接的傳輸控制協(xié)議（Transmission Conhol Protocol,TCP)傳輸客戶機(jī)和服務(wù)器之間的遠(yuǎn)程控制命令，W及利用無連接的用戶數(shù)據(jù)報(bào) 協(xié)議化ser化tagram Protocol，UDP)實(shí)現(xiàn)圖像傳輸；同時(shí)通過網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)（時(shí)間驅(qū)動(dòng)、事 件驅(qū)動(dòng)、預(yù)測(cè)顯示等)工業(yè)機(jī)器人完成相關(guān)作業(yè);并且利用虛擬現(xiàn)實(shí)控制對(duì)工業(yè)機(jī)器人進(jìn)行 仿真建模，將控制命令序列通過互聯(lián)網(wǎng)傳給遠(yuǎn)程的工業(yè)機(jī)器人執(zhí)行，再將返回的實(shí)際執(zhí)行 結(jié)果信息通過虛擬的工業(yè)機(jī)器人仿真模型反映出來。本發(fā)明的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn) 程控制方法適用于各類勞動(dòng)密集型生產(chǎn)制造企業(yè)，24小時(shí)不停地在有毒、有害、易發(fā)生職業(yè) 病的環(huán)境中取代技術(shù)含量低和重復(fù)性的簡(jiǎn)單工作，從而提高企業(yè)的生產(chǎn)效率，降低企業(yè)的 工傷事故，減少企業(yè)的成本負(fù)擔(dān)。
[0095] 上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的 限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化， 均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于，所述遠(yuǎn)程控制方法包括： 步驟S1、控制模式設(shè)計(jì)，采用客戶機(jī)和服務(wù)器的C/S控制模式，用戶登錄客戶端軟件，通 過互聯(lián)網(wǎng)與服務(wù)器端通信，并通過服務(wù)器端軟件控制服務(wù)器端的工業(yè)機(jī)器人； 步驟S2、網(wǎng)絡(luò)協(xié)議選擇，選擇面向連接的傳輸控制協(xié)議TCP傳輸客戶機(jī)和服務(wù)器之間的 遠(yuǎn)程控制命令，以及利用無連接的用戶數(shù)據(jù)報(bào)協(xié)議UDP實(shí)現(xiàn)圖像傳輸； 步驟S3、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)，通過時(shí)間驅(qū)動(dòng)方式、事件驅(qū)動(dòng)方式、預(yù)測(cè)顯示方式讓工業(yè)機(jī)器 人的相關(guān)組成部分完成相關(guān)作業(yè)； 步驟S4、虛擬現(xiàn)實(shí)控制，利用虛擬現(xiàn)實(shí)控制對(duì)工業(yè)機(jī)器人進(jìn)行仿真建模，將控制命令序 列通過互聯(lián)網(wǎng)傳給遠(yuǎn)程的工業(yè)機(jī)器人執(zhí)行，再將返回的實(shí)際執(zhí)行結(jié)果信息通過虛擬的工業(yè) 機(jī)器人仿真模型反映出來。2. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述步驟S1、控制模式設(shè)計(jì)的C/S控制模式采用兩層結(jié)構(gòu)系統(tǒng)，其中第一層是在客戶機(jī) 上結(jié)合了表示與業(yè)務(wù)邏輯，第二層是通過網(wǎng)絡(luò)結(jié)合數(shù)據(jù)庫服務(wù)器，C/S控制模式將多個(gè)復(fù)雜 網(wǎng)絡(luò)應(yīng)用的用戶交互界面GUI、業(yè)務(wù)應(yīng)用處理和數(shù)據(jù)庫訪問及處理相分離，服務(wù)器與客戶機(jī) 之間通過消息傳遞機(jī)制進(jìn)行對(duì)話，由客戶端發(fā)出請(qǐng)求給服務(wù)器，服務(wù)器進(jìn)行相應(yīng)處理后，經(jīng) 傳遞機(jī)制送回客戶端。3. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述步驟S2、網(wǎng)絡(luò)協(xié)議選擇具體為:在發(fā)送客戶機(jī)和服務(wù)器之間的遠(yuǎn)程控制命令和狀 態(tài)反饋時(shí)均采用面向連接的TCP協(xié)議進(jìn)行傳輸，服務(wù)器通過CCD攝象機(jī)獲得工業(yè)機(jī)器人作業(yè) 現(xiàn)場(chǎng)的視頻圖像，經(jīng)由視頻采集卡將PAL制式圖像轉(zhuǎn)化為24位的幀彩色位圖圖像，然后將圖 像送入視頻編碼解碼器，再對(duì)圖像進(jìn)行壓縮后傳輸，并且采用無連接的UDP協(xié)議實(shí)現(xiàn)圖像傳 輸。4. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述步驟S3、網(wǎng)絡(luò)遠(yuǎn)程驅(qū)動(dòng)具體為:工業(yè)機(jī)器人的傳感器采用時(shí)間驅(qū)動(dòng)方式工作，工業(yè) 機(jī)器人的執(zhí)行器和控制器采用事件驅(qū)動(dòng)方式工作，并且采用隨機(jī)預(yù)測(cè)顯示方式預(yù)測(cè)環(huán)境和 工業(yè)機(jī)器人的狀態(tài)，并且顯示在操作者的監(jiān)視器上，操作者通過虛擬現(xiàn)實(shí)技術(shù)來觀察工業(yè) 機(jī)器人的運(yùn)動(dòng)行為。5. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述步驟S4、虛擬現(xiàn)實(shí)控制具體為:采用預(yù)測(cè)顯示方式進(jìn)行工業(yè)機(jī)器人遠(yuǎn)程控制，利用 通過虛擬現(xiàn)實(shí)技術(shù)來對(duì)工業(yè)機(jī)器人進(jìn)行建模，并仿真實(shí)際工業(yè)機(jī)器人的運(yùn)行，驗(yàn)證無誤后 再將控制命令序列傳給實(shí)體工業(yè)機(jī)器人執(zhí)行，并將返回的實(shí)際執(zhí)行信息通過虛擬的工業(yè)機(jī) 器人模型反映出來。6. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法的操作方式包括單關(guān)節(jié)控制和整體控制，其中，在所述 單關(guān)節(jié)控制的操作方式中，操作者先通過操作控制端選定仿真模型或?qū)嶓w工業(yè)機(jī)器人的某 個(gè)關(guān)節(jié)，并使用該操作控制端調(diào)整選定關(guān)節(jié)的旋轉(zhuǎn)角度，通過對(duì)一組關(guān)節(jié)的旋轉(zhuǎn)角度逐個(gè) 調(diào)整，操作者得以控制工業(yè)機(jī)器人完成某個(gè)特定的任務(wù);在所述整體控制的操作方式中，操 作者針對(duì)工業(yè)機(jī)器人的機(jī)械手進(jìn)行控制，操作者通過控制機(jī)械手向上、向下、伸出、縮回、正 向平移、逆向平移六個(gè)方向移動(dòng)來驅(qū)動(dòng)工業(yè)機(jī)器人完成指定的動(dòng)作，此控制方式中各個(gè)關(guān) 節(jié)的參數(shù)均通過逆向運(yùn)動(dòng)學(xué)方程計(jì)算得到，其中，單關(guān)節(jié)控制和整體控制在操作過程中支 持實(shí)時(shí)切換。7. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法包括本地仿真模式和遠(yuǎn)程控制模式，在所述本地仿真模 式下，客戶端未連接到服務(wù)器，通過本地仿真模式對(duì)模擬器中的工業(yè)機(jī)器人進(jìn)行模擬控制， 以練習(xí)對(duì)工業(yè)機(jī)器人的各種操作，所述本地仿真模式下的各種行為和實(shí)體工業(yè)機(jī)器人完全 相同，所有對(duì)本地工業(yè)機(jī)器人進(jìn)行的各種操作可直接應(yīng)用于實(shí)體工業(yè)機(jī)器人之上； 在所述遠(yuǎn)程控制模式下，客戶端連接至服務(wù)器，通過互聯(lián)網(wǎng)對(duì)服務(wù)器端的工業(yè)機(jī)器人 進(jìn)行遠(yuǎn)程控制，用戶所有的操作均通過互聯(lián)網(wǎng)傳送到服務(wù)器端，本地工業(yè)機(jī)器人仿真模型 的狀態(tài)從實(shí)體工業(yè)機(jī)器人中實(shí)時(shí)讀取，并從服務(wù)器傳回客戶端。8. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持操作過程錄制與播放，在選擇錄制軌跡功能之后， 操作者可以將操作過程中工業(yè)機(jī)器人的運(yùn)動(dòng)軌跡保存下來，在后繼的操作中將保存下來的 運(yùn)動(dòng)軌跡播放出來，并重復(fù)執(zhí)行先前保存的對(duì)工業(yè)機(jī)器人各種操作，操作者同時(shí)可以選擇 將操作軌跡保存到文件以待下次執(zhí)行應(yīng)用程序時(shí)再重新從文件調(diào)入。9. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持實(shí)時(shí)視頻反饋，在遠(yuǎn)程控制模式中連接到服務(wù)器主 機(jī)上的CCD攝像頭會(huì)將工業(yè)機(jī)器人的實(shí)時(shí)視頻信息通過互聯(lián)網(wǎng)傳送至客戶端界面； 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持視頻/仿真窗口切換，在遠(yuǎn)程控制模式的初始界面 中，操作者通過對(duì)仿真模型的狀態(tài)反饋來實(shí)時(shí)監(jiān)控工業(yè)機(jī)器人的當(dāng)前狀態(tài)，此時(shí)視頻窗口 起輔助監(jiān)控作用，用戶可以通過窗口切換功能將視頻窗口切換為主要觀測(cè)界面，此時(shí)仿真 模型窗口起輔助觀測(cè)作用； 所述工業(yè)機(jī)器人遠(yuǎn)程控制方法支持仿真模型視角切換，通過仿真模型的觀察視角切換 功能，操作者可在操作中從不同角度觀察工業(yè)機(jī)器人狀態(tài)。10. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的工業(yè)機(jī)器人遠(yuǎn)程控制方法，其特征在于， 所述客戶機(jī)和服務(wù)器的C/S控制模式采用基于套接字sockets的通信，支持?jǐn)?shù)據(jù)的收 發(fā)，在網(wǎng)絡(luò)的每一端都建立一個(gè)sockets，兩個(gè)sockets之間可以建立連接，也可以無連接， 并通過對(duì)sockets的讀、寫操作實(shí)現(xiàn)網(wǎng)絡(luò)通信功能。
【文檔編號(hào)】H04L29/08GK106060058SQ201610444195
【公開日】2016年10月26日
【申請(qǐng)日】2016年6月16日
【發(fā)明人】江文輝, 肖南峰
【申請(qǐng)人】華南理工大學(xué)