本發(fā)明主要涉及機(jī)械臂應(yīng)用與人機(jī)交互技術(shù)領(lǐng)域，具體是一種通過機(jī)器視覺捕捉環(huán)境動(dòng)態(tài)及人體運(yùn)動(dòng)因素并控制機(jī)械臂機(jī)械運(yùn)動(dòng)的實(shí)時(shí)交互運(yùn)動(dòng)系統(tǒng)。

背景技術(shù)：

機(jī)械臂目前仍然廣泛的應(yīng)用于工業(yè)制造領(lǐng)域，通過預(yù)設(shè)式的編程和流水線式的工作模式使機(jī)械臂高速準(zhǔn)確的重復(fù)固定的加工動(dòng)作及工序。本發(fā)明探索一種智能化的人機(jī)交互機(jī)制，通過視覺相機(jī)捕捉環(huán)境中人和事物的動(dòng)態(tài)信息，然后運(yùn)用參數(shù)化算法轉(zhuǎn)移成為工業(yè)機(jī)械臂的運(yùn)動(dòng)指令。本項(xiàng)技術(shù)突破了傳統(tǒng)的機(jī)器人工業(yè)化控制方法，使機(jī)械臂具備視覺觀察與判斷機(jī)制，增強(qiáng)了人機(jī)協(xié)作的可行性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種建立機(jī)器人運(yùn)動(dòng)路徑與視覺相機(jī)的實(shí)時(shí)通訊機(jī)制，使相機(jī)捕捉的環(huán)境動(dòng)態(tài)圖像信息與機(jī)器人在空間中的運(yùn)動(dòng)相關(guān)聯(lián)，實(shí)現(xiàn)機(jī)械臂可以根據(jù)環(huán)境的變化以及人的運(yùn)動(dòng)進(jìn)行相關(guān)聯(lián)運(yùn)動(dòng)的基于計(jì)算機(jī)視覺與人機(jī)實(shí)時(shí)交互的機(jī)械臂運(yùn)動(dòng)系統(tǒng)。

本發(fā)明的技術(shù)解決方案是：

一種基于計(jì)算機(jī)視覺與人機(jī)實(shí)時(shí)交互的機(jī)械臂運(yùn)動(dòng)系統(tǒng)，其特征是：包括一臺(tái)機(jī)械臂，一臺(tái)相機(jī)以及一臺(tái)電腦工作站；視覺相機(jī)固定在以捕捉運(yùn)動(dòng)物體為圓心的三米半徑圓周內(nèi)，并與電腦工作站通過USB3.0數(shù)據(jù)線連接；機(jī)器人控制機(jī)柜通過工業(yè)以太網(wǎng)以TCP數(shù)據(jù)傳輸形式連接電腦工作站，機(jī)械臂控制面板進(jìn)入外部控制模式并實(shí)時(shí)監(jiān)聽外部的運(yùn)動(dòng)指令，基于Java語言的數(shù)字化運(yùn)算平臺(tái)實(shí)時(shí)處理數(shù)據(jù)的交互；

工作過程：將機(jī)械臂的實(shí)時(shí)運(yùn)動(dòng)狀態(tài)通過網(wǎng)線以XML數(shù)據(jù)形式由機(jī)械臂控制機(jī)柜傳送到電腦工作器的服務(wù)器上，基于Java語言的數(shù)字化運(yùn)算平臺(tái)實(shí)時(shí)分析機(jī)器人的狀態(tài)，并處理視覺相機(jī)捕捉的物體運(yùn)動(dòng)信息，將運(yùn)動(dòng)數(shù)據(jù)通過JavaScript編程轉(zhuǎn)化為實(shí)時(shí)的機(jī)械臂運(yùn)動(dòng)路徑，同時(shí)運(yùn)行逆向動(dòng)力學(xué)檢查工具比較機(jī)械臂的實(shí)際空間坐標(biāo)與視覺攝像機(jī)轉(zhuǎn)化的即時(shí)移動(dòng)數(shù)據(jù)的匹配性，排除限位的軌跡以及糾正可能發(fā)生的碰撞軌跡，生成安全可靠的機(jī)器人運(yùn)動(dòng)語言，再通過TCP數(shù)據(jù)協(xié)議寫入處于外部控制狀態(tài)的機(jī)器人控制面板中，生成機(jī)械臂運(yùn)動(dòng)的運(yùn)行程序，并以不斷循環(huán)的方式指揮機(jī)械臂在空間中的實(shí)時(shí)交互運(yùn)動(dòng)。

所述在空間中的實(shí)時(shí)交互運(yùn)動(dòng)包括移動(dòng)，加速，減速，停止以及軸部旋轉(zhuǎn)，循環(huán)周期在20ms。

視覺相機(jī)放在以捕捉物體為中心的三米半徑圓周內(nèi)，高度設(shè)置在2.5米高； 視覺相機(jī)通過USB 3.0接口數(shù)據(jù)線將物體運(yùn)動(dòng)的灰度圖像通過網(wǎng)絡(luò)終端發(fā)送到計(jì)算機(jī)的Socket上。

視覺相機(jī)通過光學(xué)動(dòng)作實(shí)時(shí)捕捉、記錄物體在真實(shí)三維空間中的運(yùn)動(dòng)軌跡或姿態(tài)，并在虛擬三維空間中重建運(yùn)動(dòng)物體每一時(shí)刻運(yùn)動(dòng)狀態(tài)，這些空間坐標(biāo)通過以太網(wǎng)XML數(shù)據(jù)監(jiān)聽協(xié)議,以20ms的速率被實(shí)時(shí)傳送到電腦工作站的服務(wù)器；這些實(shí)時(shí)數(shù)據(jù)通過java語言轉(zhuǎn)譯為機(jī)械臂的實(shí)時(shí)世界坐標(biāo)的三維向量信息以X，Y，Z和A，B，C 6組數(shù)值不斷傳送給機(jī)械臂的控制中心，其中XYZ表示為機(jī)器人工具坐標(biāo)中心距離世界坐標(biāo)原點(diǎn)在三個(gè)維度上的位移，而A,B,C則是該坐標(biāo)的向量分別相對(duì)于X,Y,Z軸旋轉(zhuǎn)的角度。

本發(fā)明建立機(jī)器人運(yùn)動(dòng)路徑與視覺相機(jī)的實(shí)時(shí)通訊機(jī)制，使相機(jī)捕捉的環(huán)境動(dòng)態(tài)圖像信息與機(jī)器人在空間中的運(yùn)動(dòng)相關(guān)聯(lián)，實(shí)現(xiàn)機(jī)械臂可以根據(jù)環(huán)境的變化以及人的運(yùn)動(dòng)進(jìn)行相關(guān)聯(lián)的運(yùn)動(dòng)，比如移動(dòng)，加速，減速，停止以及軸部旋轉(zhuǎn)等。這種關(guān)聯(lián)是建立在機(jī)械臂與視覺相機(jī)數(shù)據(jù)交互的實(shí)時(shí)關(guān)聯(lián)的數(shù)學(xué)機(jī)制之上的，因此具有普適性，也可以拓展于機(jī)械裝置在虛擬現(xiàn)實(shí)及工業(yè)智能化中人機(jī)交互方面的技術(shù)應(yīng)用。

附圖說明

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。

圖1是本發(fā)明一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

圖1標(biāo)號(hào)：1為視覺攝像機(jī)；2為計(jì)算機(jī)通訊終端；3為基于JAVA語言的機(jī)器人路徑計(jì)算程序；4為機(jī)器人控制設(shè)備；5和6為人機(jī)交互通訊端口；7為機(jī)械臂本體。

具體實(shí)施方式

一種基于計(jì)算機(jī)視覺與人機(jī)實(shí)時(shí)交互的機(jī)械臂運(yùn)動(dòng)系統(tǒng)，包括一臺(tái)機(jī)械臂，一臺(tái)相機(jī)以及一臺(tái)電腦工作站；視覺相機(jī)固定在以捕捉運(yùn)動(dòng)物體為圓心的三米半徑圓周內(nèi)，并與電腦工作站通過USB3.0數(shù)據(jù)線連接；機(jī)器人控制機(jī)柜通過工業(yè)以太網(wǎng)以TCP數(shù)據(jù)傳輸形式連接電腦工作站，機(jī)械臂控制面板進(jìn)入外部控制模式并實(shí)時(shí)監(jiān)聽外部的運(yùn)動(dòng)指令，基于Java語言的數(shù)字化運(yùn)算平臺(tái)實(shí)時(shí)處理數(shù)據(jù)的交互；

工作過程：將機(jī)械臂的實(shí)時(shí)運(yùn)動(dòng)狀態(tài)通過網(wǎng)線以XML數(shù)據(jù)形式由機(jī)械臂控制機(jī)柜傳送到電腦工作器的服務(wù)器上，基于Java語言的數(shù)字化運(yùn)算平臺(tái)實(shí)時(shí)分析機(jī)器人的狀態(tài)，并處理視覺相機(jī)捕捉的物體運(yùn)動(dòng)信息，將運(yùn)動(dòng)數(shù)據(jù)通過JavaScript編程轉(zhuǎn)化為實(shí)時(shí)的機(jī)械臂運(yùn)動(dòng)路徑，同時(shí)運(yùn)行逆向動(dòng)力學(xué)檢查工具比較機(jī)械臂的實(shí)際空間坐標(biāo)與視覺攝像機(jī)轉(zhuǎn)化的即時(shí)移動(dòng)數(shù)據(jù)的匹配性，排除限位的軌跡以及糾正可能發(fā)生的碰撞軌跡，生成安全可靠的機(jī)器人運(yùn)動(dòng)語言，再通過TCP數(shù)據(jù)協(xié)議寫入處于外部控制狀態(tài)的機(jī)器人控制面板中，生成機(jī)械臂運(yùn)動(dòng)的運(yùn)行程序，并以不斷循環(huán)的方式指揮機(jī)械臂在空間中的實(shí)時(shí)交互運(yùn)動(dòng)。

所述在空間中的實(shí)時(shí)交互運(yùn)動(dòng)包括移動(dòng)，加速，減速，停止以及軸部旋轉(zhuǎn)，循環(huán)周期在20ms。

視覺相機(jī)放在以捕捉物體為中心的三米半徑圓周內(nèi)，高度設(shè)置在2.5米高； 視覺相機(jī)通過USB 3.0接口數(shù)據(jù)線將物體運(yùn)動(dòng)的灰度圖像通過網(wǎng)絡(luò)終端發(fā)送到計(jì)算機(jī)的Socket上。

視覺相機(jī)通過光學(xué)動(dòng)作實(shí)時(shí)捕捉、記錄物體在真實(shí)三維空間中的運(yùn)動(dòng)軌跡或姿態(tài)，并在虛擬三維空間中重建運(yùn)動(dòng)物體每一時(shí)刻運(yùn)動(dòng)狀態(tài)，這些空間坐標(biāo)通過以太網(wǎng)XML數(shù)據(jù)監(jiān)聽協(xié)議,以20ms的速率被實(shí)時(shí)傳送到電腦工作站的服務(wù)器；這些實(shí)時(shí)數(shù)據(jù)通過java語言轉(zhuǎn)譯為機(jī)械臂的實(shí)時(shí)世界坐標(biāo)的三維向量信息以X，Y，Z和A，B，C 6組數(shù)值不斷傳送給機(jī)械臂的控制中心，其中XYZ表示為機(jī)器人工具坐標(biāo)中心距離世界坐標(biāo)原點(diǎn)在三個(gè)維度上的位移，而A,B,C則是該坐標(biāo)的向量分別相對(duì)于X,Y,Z軸旋轉(zhuǎn)的角度。