基于三維模型與機器視覺的自動焊接方法及焊接裝置制造方法
【專利摘要】本發(fā)明涉及焊接【技術(shù)領(lǐng)域】內(nèi)的一種基于三維模型與機器視覺的自動焊接方法及焊接裝置，采用工業(yè)相機采集待焊接工件圖像，根據(jù)工件的三維模型進行三維匹配、定位待焊接工件并根據(jù)三維模型中的焊縫信息定位焊縫，再利用結(jié)構(gòu)光傳感器精確定位焊縫，然后根據(jù)焊縫的精確位置對焊槍的運動軌跡進行調(diào)整，使其精確地對焊縫進行跟蹤、焊接。本發(fā)明能夠?qū)崿F(xiàn)焊縫的自動定位和跟蹤功能，并且提高焊縫跟蹤的可靠性和跟蹤精度。對于焊接過程中由于熱變形引起的工件翹曲等影響焊接精度的問題，本發(fā)明能夠很好地進行調(diào)節(jié)和適應(yīng)，提高焊接的質(zhì)量。
【專利說明】基于三維模型與機器視覺的自動焊接方法及焊接裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種焊接裝置及焊接方法，屬于焊接【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，國內(nèi)外所使用的焊接機器人多屬于智能水平較低的示教再現(xiàn)和少量的離線編程機器人。這兩種形式的焊接機器人都不具有實時調(diào)整控制的功能，無法適應(yīng)工件加工和裝配的誤差及焊接引起的熱變形(參見“許燕玲，基于視覺及電弧傳感技術(shù)的機器人GTAW三維焊縫實時跟蹤控制技術(shù)研究，上海，上海交通大學(xué)博士論文，2013年出版”)。目前，已研究出具有實時跟蹤功能的智能化焊接系統(tǒng)，但是這些系統(tǒng)都需要將焊槍移動到焊縫起始點附件進行初始化，不具備大范圍自動尋找焊縫位置的功能(參見“吳林，陳善本，智能化焊接技術(shù)，國防工業(yè)出版社，2000年出版”)。
[0003]目前的焊縫視覺跟蹤技術(shù)，存在的一大缺陷是需要將焊槍位置進行人工干預(yù)初始化，使其在焊接起始點附近。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的之一在于提供一種基于三維模型與機器視覺的自動焊接方法，使得焊槍能夠自動找到焊縫的初始位置，并能根據(jù)焊縫位置進行自動焊接。
[0005]本發(fā)明的目的是這樣實現(xiàn)的:一種基于三維模型與機器視覺的自動焊接方法，包括如下步驟:
1)將工件三維模型導(dǎo)入視覺處理軟件，將工件三維模型生成與其對應(yīng)的二維匹配圖像庫；所述二維匹配圖像庫包括以一個虛擬相機按照相對于χ、γ、ζ軸以設(shè)定的偏轉(zhuǎn)角度范圍獲取工件的多個投影圖形；所述投影圖形與工件三維模型在虛擬相機坐標系中的位姿信息一一對應(yīng)，所述位姿信息包含工件在虛擬相機坐標系中的三維坐標位置和工件相對于虛擬相機坐標系X、Y、Z軸的偏轉(zhuǎn)角度；
2)以工業(yè)相機采集工件的實時圖像，再將工件的實時圖像與所述二維圖像匹配庫進行匹配，以確定工件在工業(yè)相機坐標系中的位姿信息；
3)根據(jù)標定的工業(yè)相機與機械臂之間的位姿信息和工件在工業(yè)相機坐標系中的位姿信息，通過坐標變換，確定工件在機械臂坐標系中的位姿信息；再結(jié)合焊縫在工件上的位姿信息確定焊縫在機械臂坐標系中的位姿信息；
4)根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂進行路徑規(guī)劃，使其能夠無碰撞跟蹤焊縫；
5)機械臂帶動焊槍按照規(guī)劃的路徑進行焊接作業(yè)，利用在焊槍前面的結(jié)構(gòu)光傳感器沿著焊縫軌跡對焊縫進行精確定位，并將焊縫的精確位置反饋給計算機，對機械臂的運動路徑進行調(diào)整，使機械臂所帶焊槍精確對焊縫進行焊接，直至完成焊接。
[0006]上述步驟I)中工件三維模型為solidworks模型,工件三維模型導(dǎo)入視覺處理軟件halcon,使用halcon中的函數(shù)inspect_object_model_3d程序?qū)⒐ぜ娜S模型生成對應(yīng)的二維匹配圖像庫。
[0007]上述步驟2)中工業(yè)相機采集工件的實時圖像時，使用halcon函數(shù)find_shape_model_3d將工件的實時圖像與步驟I)中生成的二維圖像匹配庫進行匹配，以確定工件在工業(yè)相機坐標系中的位置與姿態(tài)。
[0008]本發(fā)明的突出特點是采用工業(yè)相機采集工件圖像，通過將采集的圖像與工件的三維模型生成的二維匹配庫進行匹配，確定工件的位置，再確定焊縫位姿信息，通過機械臂帶動焊槍沿焊縫進行焊接。與現(xiàn)有技術(shù)相比，本發(fā)明能自動找到焊縫的位置進行自動焊接，其對焊縫定位準確，焊接質(zhì)量好，降低了人為設(shè)定焊縫初始位置時的不確定性，保證焊縫質(zhì)量好，定位速度快。該裝置尤其適用于對多個工件進行自動焊接。對于焊接過程中由于熱變形引起的工件翹曲等影響焊接精度的問題，本發(fā)明能夠很好地進行調(diào)節(jié)和適應(yīng)，提高焊接的質(zhì)量。
[0009]本發(fā)明的目的之二是提供一種基于三維模型與機器視覺的自動焊接裝置，使其可以利用上述方法，對工件進行自動焊接。
[0010]為此，本發(fā)明提供的一種基于三維模型與機器視覺的自動焊接裝置，包括帶有六個自由度的機械臂，機械臂上夾持有焊槍，機械臂端部設(shè)有結(jié)構(gòu)光傳感器，還包括有工業(yè)相機，工業(yè)相機采集的工件圖像信號傳遞給控制計算機，控制計算機根據(jù)工件三維模型轉(zhuǎn)換成的平面圖形與工業(yè)相機采集的圖像信號進行比對，得到工件在工業(yè)相機坐標系中的位姿信息，再根據(jù)該位姿信息確定工件在機械臂坐標系中的位姿信息；并進一步確定焊縫在機械臂坐標系中的位姿信息；計算機根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂進行路徑規(guī)劃后，對焊縫進行焊接；所述結(jié)構(gòu)光傳感器將焊縫位置實時反饋給控制計算機，控制計算機對機械臂的運動路徑進行調(diào)整，使機械臂所帶焊槍精確對焊縫進行焊接。
[0011]作為本發(fā)明的進一步改進在于，所述工業(yè)相機設(shè)置在工件正上方或斜上方。
[0012]作為本發(fā)明的進一步改進在于所述工業(yè)相機、結(jié)構(gòu)光傳感器、機械臂與控制計算機之間均通過接口電路相連。
[0013]本發(fā)明不需要對機械臂進行示教，也不需要將焊槍移動到焊接起始點附近進行焊位初始化，能夠在較大空間中自動定位焊縫，并進行跟蹤；本發(fā)明采用工業(yè)相機和結(jié)構(gòu)光傳感器相結(jié)合的方法，既能提高焊縫定位的自動化程度，又能對焊縫實時精確的位置檢測，克服工件的加工和裝配的誤差及焊接引起的熱變形，實現(xiàn)高精度的焊接作業(yè)。

【專利附圖】

【附圖說明】
[0014]圖1為本發(fā)明的方法流程圖。
[0015]圖2為本發(fā)明的結(jié)構(gòu)示意圖。
[0016]其中，I工業(yè)相機，2結(jié)構(gòu)光傳感器，3焊槍，4機械臂，5控制計算機，6接口電路。

【具體實施方式】
[0017]如圖2所示，為一種基于三維模型與機器視覺的自動焊接裝置，其結(jié)構(gòu)主要包括帶有六個自由度的機械臂4，該六個自由度分別為X、Y、Z軸方向上的直線運動，以及繞Χ、Υ、Z軸的旋轉(zhuǎn)運動；機械臂4上夾持有焊槍3，機械臂4端部設(shè)有結(jié)構(gòu)光傳感器2，該裝置還包括有工業(yè)相機1，工業(yè)相機I采集的工件圖像信號傳遞給控制計算機5，控制計算機5根據(jù)工件三維模型轉(zhuǎn)換成的平面圖形與工業(yè)相機采集的圖像信號進行比對，得到工件在工業(yè)相機坐標系中的位姿信息，再根據(jù)該位姿信息確定工件在機械臂坐標系中的位姿信息；并進一步確定焊縫在機械臂坐標系中的位姿信息；控制計算機5根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂4進行路徑規(guī)劃后，對焊縫進行焊接；結(jié)構(gòu)光傳感器2將焊縫位置實時反饋給控制計算機5，控制計算機5對機械臂4的運動路徑進行調(diào)整，使機械臂所帶焊槍3精確對焊縫進行焊接。工業(yè)相機I設(shè)置在工件正上方或斜上方，工業(yè)相機I安裝于天花板上，其視野覆蓋待焊接工件。工業(yè)相機1、結(jié)構(gòu)光傳感器2、機械臂4與控制計算機之間通過接口電路6相連。
[0018]機械臂4選用ESTUN ER-16-1600，結(jié)構(gòu)光傳感器2選用Meta SLS50LR,工業(yè)相機I選用Manta G-125B,控制計算機5選用無風(fēng)扇工控機Neousys Novo-1300af。
[0019]上述裝置在進行工作時，按如下步驟進行:
1)將利用計算機制圖獲得的工件三維軟件模型導(dǎo)入視覺處理軟件，使工件三維模型生成與其對應(yīng)的二維匹配圖像庫；所述工件三維軟件模型包含工件上各個位置點在設(shè)定的三維坐標系X、Y、Z軸方向上的位置信息，同時也包括焊縫所在位置信息；工件三維軟件模型是工件焊接完成后的虛擬圖像，例如將A工件和B工件進行焊接時，工件三維軟件模型是指焊接在一起的A工件和B工件整體的模型；所述二維匹配圖像庫包括以一個虛擬相機相對于X、Y、Z軸在設(shè)定偏轉(zhuǎn)角度范圍內(nèi)獲得的工件的多個投影圖形；所述投影圖形與工件三維模型的位姿信息一一對應(yīng)，所述位姿信息包含工件在虛擬相機坐標系中的三維坐標位置和工件相對于虛擬相機坐標系Χ、Υ、Ζ軸的偏轉(zhuǎn)角度；該工件三維模型為solidworks模型，工件三維模型導(dǎo)入視覺處理軟件halcon,使用halcon中的函數(shù)inspect_ob ject_model_3d程序?qū)⒐ぜ娜S模型生成對應(yīng)的二維匹配圖像庫；偏轉(zhuǎn)角度是人為設(shè)定的角度，例如角度設(shè)置在一 30°?30°范圍內(nèi)，采樣精度設(shè)置在1/100°，工件實際焊接時，其位置可能與給定的坐標軸之間存在一定的角度偏轉(zhuǎn)，因此，給出多個角度相對應(yīng)的二維投影圖形，在隨后的匹配中才可以找到最接近的實時圖形；上述角度和采樣精度以X軸為例，其含義表示為:工件在空間中的位姿固定不動，虛擬相機中心與工件質(zhì)心的連線以工件質(zhì)心為固定點繞X軸從一 30°向+30°角度進行旋轉(zhuǎn)，每旋轉(zhuǎn)1/100°，虛擬相機則會獲得工件的一幅二維平面投影圖；Y軸、Z軸可依此類推；虛擬相機同時可繞X、Y、Z軸偏轉(zhuǎn)，因此，上述二維匹配圖像庫形成的是虛擬相機繞X、Y、Z軸偏轉(zhuǎn)±30°角度范圍內(nèi)所獲取的工件的所有二維投影圖像的結(jié)合，各二維投影圖像均帶有位置信息和角度信息；
2)以工業(yè)相機采集工件的實時圖像，再將工件的實時圖像與所述二維圖像匹配庫進行匹配，以確定工件在工業(yè)相機坐標系中的位姿信息；匹配時，使用halcon函數(shù)find_shape_model_3d將工件的實時圖像與步驟I)中生成的二維圖像匹配庫進行匹配，匹配時，通過圖形的比對，在二維匹配圖像庫中找到最接近的二維投影圖形，該二維圖形圖所對應(yīng)的位置和姿態(tài)就是工件在工業(yè)相機坐標系中的位置與姿態(tài)；
3)根據(jù)標定的工業(yè)相機與機械臂之間的位姿信息和工件在工業(yè)相機坐標系中的位姿信息，通過坐標變換，確定工件在機械臂坐標系中的位姿信息；再結(jié)合焊縫在工件上的位姿信息確定焊縫在機械臂坐標系中的位姿信息；
4)根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂進行路徑規(guī)劃，使其能夠無碰撞跟蹤焊縫； 5)機械臂帶動焊槍按照規(guī)劃的路徑進行焊接作業(yè)，利用在焊槍前面的結(jié)構(gòu)光傳感器沿著焊縫軌跡對焊縫進行精確定位，并將焊縫的精確位置反饋給計算機，對機械臂的運動路徑進行調(diào)整，使機械臂所帶焊槍精確對焊縫進行焊接，直至完成焊接。
[0020]經(jīng)實際應(yīng)用證明，本發(fā)明自動化程度高，能夠自動實現(xiàn)對焊縫的定位與跟蹤，可以滿足小批量多型號的工件自動焊接的需要。
[0021]本發(fā)明并不局限于上述實施例，在本發(fā)明公開的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域的技術(shù)人員根據(jù)所公開的技術(shù)內(nèi)容，不需要創(chuàng)造性的勞動就可以對其中的一些技術(shù)特征作出一些替換和變形，這些替換和變形均在本發(fā)明的保護范圍內(nèi)。
【權(quán)利要求】
1.一種基于三維模型與機器視覺的自動焊接方法，其特征在于包括如下步驟: 1)將工件三維模型導(dǎo)入視覺處理軟件，將工件三維模型生成與其對應(yīng)的二維匹配圖像庫；所述二維匹配圖像庫包括以一個虛擬相機按照相對于χ、γ、ζ軸以設(shè)定的偏轉(zhuǎn)角度范圍獲取工件的多個投影圖形；所述投影圖形與工件三維模型在虛擬相機坐標系中的位姿信息一一對應(yīng)，所述位姿信息包含工件在虛擬相機坐標系中的三維坐標位置和工件相對于虛擬相機坐標系X、Y、Z軸的偏轉(zhuǎn)角度； 2)以工業(yè)相機采集工件的實時圖像，再將工件的實時圖像與所述二維圖像匹配庫進行匹配，以確定工件在工業(yè)相機坐標系中的位姿信息； 3)根據(jù)標定的工業(yè)相機與機械臂之間的位姿信息和工件在工業(yè)相機坐標系中的位姿信息，通過坐標變換，確定工件在機械臂坐標系中的位姿信息；再結(jié)合焊縫在工件上的位姿信息確定焊縫在機械臂坐標系中的位姿信息； 4)根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂進行路徑規(guī)劃，使其能夠無碰撞跟蹤焊縫； 5)機械臂帶動焊槍按照規(guī)劃的路徑進行焊接作業(yè)，利用在焊槍前面的結(jié)構(gòu)光傳感器沿著焊縫軌跡對焊縫進行精確定位，并將焊縫的精確位置反饋給計算機，對機械臂的運動路徑進行調(diào)整，使機械臂所帶焊槍精確對焊縫進行焊接，直至完成焊接。
2.根據(jù)權(quán)利要求1所述的基于三維模型與機器視覺的自動焊接方法，其特征在于:步驟I)中工件三維模型為solidworks模型,工件三維模型導(dǎo)入視覺處理軟件halcon,使用halcon中的函數(shù)inspect_object_model_3d程序?qū)⒐ぜ娜S模型生成對應(yīng)的二維匹配圖像庫。
3.根據(jù)權(quán)利要求1或2所述的基于三維模型與機器視覺的自動焊接方法，其特征在于:步驟2)中工業(yè)相機采集工件的實時圖像時,使用halcon函數(shù)find_shape_model_3d將工件的實時圖像與步驟I)中生成的二維圖像匹配庫進行匹配，以確定工件在工業(yè)相機坐標系中的位置與姿態(tài)。
4.一種基于三維模型與機器視覺的自動焊接裝置，其特征在于:包括帶有六個自由度的機械臂，機械臂上夾持有焊槍，機械臂端部設(shè)有結(jié)構(gòu)光傳感器，還包括有工業(yè)相機，工業(yè)相機采集的工件圖像信號傳遞給控制計算機，控制計算機根據(jù)工件三維模型轉(zhuǎn)換成的平面圖形與工業(yè)相機采集的圖像信號進行比對，得到工件在工業(yè)相機坐標系中的位姿信息，再根據(jù)該位姿信息確定工件在機械臂坐標系中的位姿信息；并進一步確定焊縫在機械臂坐標系中的位姿信息；計算機根據(jù)焊縫在機械臂坐標系中的位姿信息對機械臂進行路徑規(guī)劃后，對焊縫進行焊接；所述結(jié)構(gòu)光傳感器將焊縫位置實時反饋給控制計算機，控制計算機對機械臂的運動路徑進行調(diào)整，使機械臂所帶焊槍精確對焊縫進行焊接。
5.根據(jù)權(quán)利要求4所述的基于三維模型與機器視覺的自動焊接裝置，其特征在于:所述工業(yè)相機設(shè)置在工件正上方或斜上方。
6.根據(jù)權(quán)利要求4或5所述的基于三維模型與機器視覺的自動焊接裝置，其特征在于:所述工業(yè)相機、結(jié)構(gòu)光傳感器、機械臂與控制計算機之間通過接口電路相連。
【文檔編號】G06F17/50GK104384765SQ201410540251
【公開日】2015年3月4日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】朱文俊, 董遠強, 王鵬, 李福東, 李林, 劉志強 申請人:江蘇湃銳自動化科技有限公司