專利名稱：一種焊接機(jī)器人線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種焊接機(jī)器人智能化技術(shù)領(lǐng)域的系統(tǒng)和方法，特別是一種用于 焊接機(jī)器人的線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)和方法。
背景技術(shù)：
機(jī)器人離線編程技術(shù)和信息傳感技術(shù)是機(jī)器人焊接智能化的兩個(gè)重要組成部分。為了滿足焊接生產(chǎn)日益復(fù)雜的需求，產(chǎn)生了焊接機(jī)器人離線編程技術(shù)以代替早期 的現(xiàn)場(chǎng)示教方法，特別與焊接設(shè)計(jì)CAD技術(shù)相結(jié)合后，機(jī)器人的編程效率大為提高。但是為 了保證最終的焊接效果，在具體實(shí)施中要求具有嚴(yán)格穩(wěn)定的焊接作業(yè)現(xiàn)場(chǎng)條件，因此焊接 時(shí)缺乏“柔性”，表現(xiàn)出明顯的缺點(diǎn)。但是在實(shí)際弧焊過程中，焊接條件是經(jīng)常變化的，如加 工和裝配上的誤差會(huì)造成焊縫位置和尺寸的變化，焊接過程中工件受熱及散熱條件改變會(huì) 造成焊道變形等。為了克服機(jī)器人焊接過程中各種不確定性因素對(duì)焊接質(zhì)量的影響，智能 化信息傳感技術(shù)在現(xiàn)代焊接中的地位日益提升。激光視覺傳感器因其更接近于焊接操作員最為頻繁使用的“視覺感知”而被引 入到焊接檢測(cè)領(lǐng)域中來，可用于在線焊縫軌跡提取、焊接質(zhì)量控制、初始焊縫搜索等多種 焊接應(yīng)用場(chǎng)合。但是與早期的現(xiàn)場(chǎng)示教型機(jī)器人所遇到的問題相似，絕大多數(shù)激光視覺 傳感器系統(tǒng)都是屬于現(xiàn)場(chǎng)編程型的，即需要通過現(xiàn)場(chǎng)與機(jī)器人配合調(diào)試才能夠滿足任務(wù) 要求，如譚民等人在中國專利(200410009931.4,2004-12-2)所介紹的“一種基于激光結(jié) 構(gòu)光的焊縫跟蹤視覺傳感器”，L. Marc Dufour等人在美國專利(4859829，1989-8-22)所 介紹的"Adaptive welding control vision head，，，V. D. Gorbach 等人在《Lasers for Measurments and Information Transfer))(2003,Proc. of SPIE Vol. 5381，110-118)所介 紹的"Technical Vision System for Arc Welding Process Automatic Control Systems in Shipbuiding”，同樣具有占用視覺設(shè)備、現(xiàn)場(chǎng)編程調(diào)試效率低等缺點(diǎn)，而且當(dāng)前的傳 感器往往只適用于有限的幾種類型的焊縫特征提取，如趙相賓等人在《焊接學(xué)報(bào)》(2006， vol27,N0. 12 42-44)發(fā)表的“激光視覺焊縫跟蹤系統(tǒng)圖像處理”中所述方法僅適用于V型 坡口，李原等人在《傳感技術(shù)學(xué)報(bào)》(2006，V0L19, N0. 6 =2676-2681)發(fā)表的“焊縫跟蹤視覺 傳感器中圖像多類型特征選擇與提取”中所述的方法是針對(duì)預(yù)留坡口對(duì)接類，無坡口直接 對(duì)接類和左、右搭接3種類型的焊縫。然而，在當(dāng)前小批量，多樣化的現(xiàn)代制造業(yè)發(fā)展趨勢(shì) 下，越來越多的復(fù)雜焊縫特征需要被檢測(cè)。另外現(xiàn)場(chǎng)示教型傳感器系統(tǒng)與機(jī)器人離線編程 技術(shù)的不兼容使得機(jī)器人離線編程技術(shù)難以發(fā)揮優(yōu)勢(shì)，這直接影響了焊接機(jī)器人智能技術(shù) 的協(xié)同發(fā)展與應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明針對(duì)上述問題，發(fā)明了一種用于焊接機(jī)器人的線結(jié)構(gòu)光視覺傳感器離線編 程系統(tǒng)和方法。本發(fā)明克服現(xiàn)有技術(shù)的不足，設(shè)計(jì)出了一種適用于檢測(cè)任意焊縫特征的焊接機(jī)器
4人的線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)，所述系統(tǒng)主要包括傳感器模型、機(jī)器人模型、工藝控制規(guī)則庫、圖形編輯界面、檢 測(cè)序列記錄和回放以及編程信息輸出5大模塊。其中傳感器模型具有對(duì)傳感器獲取成像信號(hào)的過程進(jìn)行仿真的功能，通過提取仿真 的激光信號(hào)在工件表面所獲得的輪廓，并經(jīng)由攝像機(jī)針孔模型投射至圖像平面，以獲得最 終的工件表面成像輪廓信號(hào)。另外通過將圖像平面反投至激光平面獲得了傳感器外部的檢 測(cè)視野，進(jìn)一步通過3D造型將檢測(cè)視野實(shí)體化，以達(dá)到方便用戶圖形編程的目的，傳感頭 本身的實(shí)體模型將作為碰撞檢測(cè)的基礎(chǔ)。機(jī)器人模型主要通過建立了機(jī)器人運(yùn)動(dòng)學(xué)模型完成機(jī)器人單點(diǎn)運(yùn)動(dòng)下的機(jī)械手 末端與各關(guān)節(jié)角的同步，同時(shí)還可以完成關(guān)節(jié)角限位檢測(cè)。另外其針對(duì)不同的機(jī)器人類型 包含了不同的用于連接傳感器輸入信號(hào)的通信接口信息。工藝控制規(guī)則庫主要包含了用于不同焊接任務(wù)的工藝特征提取規(guī)則和不同的機(jī) 器人用于該類工藝的控制命令相關(guān)信息。圖形編輯界面是系統(tǒng)與用戶交互的圖形化界面，其不僅可以提供給用戶用鼠標(biāo) 與鍵盤對(duì)當(dāng)前仿真場(chǎng)景中的各實(shí)體元素的操作與配置，還可以在仿真的時(shí)候顯示出各系統(tǒng) 當(dāng)前的運(yùn)行狀態(tài)。檢測(cè)序列模塊主要是在用戶圖形編輯的時(shí)候保存任務(wù)中的關(guān)鍵檢測(cè)結(jié)點(diǎn)處的信 息，該類信息包括了單點(diǎn)運(yùn)動(dòng)命令、工藝補(bǔ)償控制命令、工藝特征提取規(guī)則以及成像信號(hào)模 型信息。而依次運(yùn)行整個(gè)操作序列被稱為“回放”，這將提供給用戶對(duì)整個(gè)任務(wù)的校驗(yàn)的基 石出。編程信息輸出主要是針對(duì)具體的機(jī)器人類型和傳感器系統(tǒng)類型調(diào)用相應(yīng)的轉(zhuǎn)換 模塊，將操作序列轉(zhuǎn)換為符合機(jī)器人編程命令語法的程序文本以及傳感器系統(tǒng)配置信息語 法類型的文本供實(shí)際系統(tǒng)運(yùn)行。應(yīng)用上述系統(tǒng)的編程方法如下1.仿真場(chǎng)景建立將傳感頭模型、待測(cè)工件、機(jī)器人及其工具的三維實(shí)體模型共同導(dǎo)入離線編程仿 真軟件環(huán)境中，如果還未建立傳感頭模型，則需要建立傳感頭模型。2.傳感頭建模導(dǎo)入傳感頭外殼的三維實(shí)體模型和傳感頭配置文件，系統(tǒng)將在傳感頭內(nèi)部建立 投影參數(shù)模型，同時(shí)在外殼的三維實(shí)體模型上完成傳感頭觀測(cè)視野(F0V——Field Of Vision)的三維可視化生成。3.待測(cè)工藝特征指定進(jìn)行某項(xiàng)工藝控制時(shí)，需要提取工件某個(gè)面或者某個(gè)邊的特征作為該工藝控制的 特征參數(shù)量，而這個(gè)時(shí)候就需要進(jìn)行待測(cè)工藝特征指定。當(dāng)用戶導(dǎo)入待測(cè)工件后，首先要求 用戶選擇所需要工藝提取規(guī)則，然后進(jìn)一步需要指定X」所關(guān)聯(lián)的工件基元特征。該工藝特 征提取規(guī)則在一次性實(shí)際檢測(cè)任務(wù)的整個(gè)周期中都有效，并一次性檢測(cè)任務(wù)中可以同時(shí)存 在多個(gè)工藝提取規(guī)則。4.檢測(cè)結(jié)點(diǎn)圖形編程用戶通過圖形編輯界面，設(shè)定傳感頭相對(duì)于工件的不同的檢測(cè)位姿，并最終獲得滿足檢測(cè)任務(wù)要求的檢測(cè)序列，要求每個(gè)檢測(cè)結(jié)點(diǎn)滿足“感興趣的目標(biāo)工件特征處于傳感 頭F0V范圍內(nèi)”和“機(jī)器人工具手滿足相關(guān)工藝要求”的雙重約束。5.檢測(cè)編程命令序列保存當(dāng)用戶已經(jīng)確定一個(gè)檢測(cè)結(jié)點(diǎn)后要求通知系統(tǒng)，系統(tǒng)則會(huì)自動(dòng)完成一次傳感頭的 成像過程仿真，將傳感頭成像信號(hào)視圖模型、工藝特征的成像信號(hào)標(biāo)識(shí)號(hào)以及傳感頭檢測(cè) 位姿作為一個(gè)檢測(cè)結(jié)點(diǎn)被保存。6.檢測(cè)編程命令序列仿真運(yùn)行檢測(cè)序列進(jìn)行仿真，并可以選擇進(jìn)行機(jī)器人關(guān)節(jié)限位與碰撞測(cè)試的檢查，如 果出現(xiàn)問題或者不滿足要求，用戶可以重新返回步驟4做進(jìn)一步的調(diào)整。7.編程結(jié)果輸出將檢測(cè)編程命令序列通過命令轉(zhuǎn)換模塊輸出為視覺處理配置文件和機(jī)器人程序 文件，并分別由用戶導(dǎo)入至視覺處理器和機(jī)器人控制器中，機(jī)器人與傳感器將運(yùn)行各自文 件以共同協(xié)作完成實(shí)際檢測(cè)任務(wù)。本發(fā)明的有益效果是，可以使得用戶通過圖形編輯界面指定線結(jié)構(gòu)光視覺傳感器的檢測(cè)結(jié)點(diǎn)；在模擬傳感器檢測(cè)過程直觀地顯示出對(duì)焊件特征的檢測(cè)狀況；在任意姿態(tài)下提取以傳感器視點(diǎn)為主的焊件特征成像信號(hào)作為傳感器實(shí)際檢測(cè) 時(shí)所必須的視覺先驗(yàn)?zāi)Ｐ?，擴(kuò)大了傳感器適用對(duì)象的范圍；指定工藝特征，以便焊縫特征提取與焊接工藝控制能夠匹配使用；通過仿真回放，使得用戶觀察傳感器與機(jī)器人的配合運(yùn)行狀況，并且在仿真中同 樣可以進(jìn)行機(jī)器人限位與碰撞干涉檢查，這樣將及早地預(yù)見實(shí)際編程的缺陷，為編程調(diào)整 及優(yōu)化提供有效依據(jù)，節(jié)省人力、物力、時(shí)間與成本。


圖1線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)模塊圖；圖2線結(jié)構(gòu)光視覺傳感器離線編程方法流程圖；圖3線結(jié)構(gòu)光傳感器模型示意圖；圖4傳感頭模型外觀示意圖；圖5傳感器視野相交直線段輪廓提取示意圖；圖6傳感器視野相交曲線段輪廓提取示意圖；
圖7傳感器輪廓提取攝像機(jī)消隱示意圖。
具體實(shí)施例方式下面結(jié)合附圖與具體實(shí)施方式
對(duì)本發(fā)明進(jìn)一步說明本例采用基于PC和Windows的操作系統(tǒng)上運(yùn)行的solidworks作為軟件開發(fā)平 臺(tái)，其中仿真場(chǎng)景是建立在solidworks裝配空間中(對(duì)應(yīng)sldasm文件)，而各實(shí)體模型 也是為solidworks中的3D實(shí)體(對(duì)應(yīng)sldprt)。1.仿真場(chǎng)景搭建打開一空仿真環(huán)境場(chǎng)景文件，將傳感頭模型、待測(cè)工件、機(jī)器人及其工具的三維實(shí)體模型共同導(dǎo)入進(jìn)來，并完成必要的裝配。其中攝像機(jī)坐標(biāo)系與工具手坐標(biāo)系之間的相關(guān) 姿態(tài)關(guān)系，待測(cè)工件與機(jī)器人基坐標(biāo)系之間的相關(guān)姿態(tài)關(guān)系應(yīng)該是在對(duì)任務(wù)方案的早期設(shè) 計(jì)時(shí)已經(jīng)確定。仿真場(chǎng)景搭接完畢后即可進(jìn)入離線編程階段，這時(shí)系統(tǒng)將在內(nèi)部新建一個(gè)空的任 務(wù)命令序列Task = {D，R}，其中D為檢測(cè)結(jié)點(diǎn)序列，其中一個(gè)檢測(cè)結(jié)點(diǎn)包含一個(gè)檢測(cè)位姿 和該位姿下所需檢測(cè)的對(duì)象視圖模型，R為該任務(wù)的工藝控制規(guī)則集。2.待測(cè)工藝特征指定一般檢測(cè)的目的需要為當(dāng)前任務(wù)中的某項(xiàng)工藝控制提供所需要的工藝特征量，而 不同工藝控制往往要求不同的工藝特征量，如焊接時(shí)的焊縫跟蹤控制，需要在線地提取焊 縫左右兩側(cè)的輔助面在焊縫根部處的交線作為焊縫跟蹤軌跡，其中“焊縫根部處交線”就是 需要檢測(cè)的工藝特征量，而“焊縫跟蹤”則是工藝控制；又如焊接時(shí)的焊絲填充量控制中，需 要在線地計(jì)算焊縫左右兩接觸面所包含的空間體積段，其中“空間體積段”就是需要檢測(cè)的 工藝特征量，“焊絲填充量控制”則是工藝控制。因此工藝控制可以表示為controlih，. . . Cl，. . . cH)，其中contrc^表示為用戶 所選擇的第i種工藝控制方式，cx表示為工藝特征量的分量值，如檢測(cè)到的點(diǎn)位置x、y、z分 量，或者偏差向量的各分量等。而對(duì)于第i種工藝控制方式control所需要的工藝特征量 的提取過程可以表示為[Cp . . . cx, . . . cH] = rule^Xi, . . . x」，...xM)，其中rulei表示為對(duì) 應(yīng)于controli的工藝特征量提取規(guī)則，該規(guī)則可以根據(jù)工藝控制的工藝特征量及與其相關(guān) 工件基元特征之間的運(yùn)算關(guān)系進(jìn)行編寫，Xj表示工件的基元特征參數(shù)，這里工件基元特征 包含了工件的面和邊基元。當(dāng)用戶導(dǎo)入待測(cè)工件后，首先要求用戶從工藝特征控制規(guī)則庫中選擇所需要的工 藝控制方式control, (Cl， 。，而每種工藝控制方式還需要用戶指定所支持的通 信方式以及通信參數(shù)為機(jī)器人控制器接受檢測(cè)到的工藝特征量(Cl，. . . Cl，. . . cH)提供響應(yīng) 接口，這里具體僅實(shí)現(xiàn)對(duì)KUKA機(jī)器人的接口通信設(shè)置，其中通信方式可以包含RS232串口 通信與模數(shù)1/0通信，其中通信參數(shù)包括端口號(hào)，波特率設(shè)置等。另外用戶還需要為工藝控 制controli選擇一個(gè)對(duì)應(yīng)的工藝提取規(guī)則rulei (Xl，. . Xj, . . . xM)，選定好規(guī)則后則可以在 該規(guī)則的提示下進(jìn)一步指定所需要的工件基元特征\，具體實(shí)施時(shí)用戶只需要通過鼠標(biāo)點(diǎn) 選工件實(shí)體模型的各基元并通過界面確認(rèn)即可完成。該工藝特征提取規(guī)則在當(dāng)前檢測(cè)任務(wù) 的整個(gè)周期中都有效，并在一個(gè)檢測(cè)任務(wù)中可以同時(shí)存在多個(gè)工藝提取規(guī)則，即最終對(duì)應(yīng) 于當(dāng)前任務(wù)的工藝控制集為R = {(control^ rulei)，i = 1. . . G}。3.傳感頭建模傳感頭檢測(cè)視野(F0V——Field Of Vision)是傳感頭能夠檢測(cè)工件實(shí)體特征的 有效空間區(qū)域范圍，因此將其實(shí)體化將有助于用戶進(jìn)行圖形編程。1)、傳感頭視野建模如圖3所示，設(shè)世界坐標(biāo)系為W，工件坐標(biāo)系為0，工具坐標(biāo)系為H，線結(jié)構(gòu)光傳感頭 中的攝像機(jī)坐標(biāo)系為c，對(duì)應(yīng)的像素坐標(biāo)系為I。因?yàn)榧す馄魉渡涑龅募す饷鎛在攝像機(jī) 坐標(biāo)系c的位姿相對(duì)固定，則n可以描述為aGeX+bGy+CGz+d = 0，其中a、b、c、d為坐標(biāo)系C 下的激光平面參數(shù)。為了能夠?qū)鞲蓄^的成像原理進(jìn)行模擬(具體方法在第5節(jié)中進(jìn)行描 述)，需要在激光面上設(shè)定一激光坐標(biāo)系L 取攝像機(jī)光軸(ez = 0)與激光面n的交點(diǎn)為L(zhǎng)
其中s為透視成像所引入的任意一比例因子，A為攝像機(jī)內(nèi)參數(shù)，Th_為單應(yīng)關(guān)系。 設(shè)CXD像素矩形區(qū)域的4個(gè)頂點(diǎn)為1FOV = (1A, 1B, 1C, 1Dj，那么通過單應(yīng)關(guān)系Th_可以獲得 在激光平面上所對(duì)應(yīng)的1FOV = IxA, %，Υ，…}，該模型將在傳感器成像信號(hào)提取過程發(fā)揮重 要作用(具體見第5節(jié))。2)、檢測(cè)視野實(shí)體化通過攝像機(jī)標(biāo)定方法“Implicit and explicit camera calibration. " (G. Wei and S. Ma, Theory and experiments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16 (5) =469-480,1994.) ”獲得為攝像機(jī)內(nèi)參數(shù)Α,激光平面參數(shù)向 量[a, b, c, d] ο上述參數(shù)和1FOV的具體值在傳感頭標(biāo)定結(jié)束后可由手工將其記錄在一傳感頭參 數(shù)配置文件中。而用戶在仿真環(huán)境下導(dǎo)入傳感頭外殼實(shí)體和傳感頭參數(shù)配置文件后系統(tǒng)將 會(huì)自動(dòng)計(jì)算lF0V，并通過3D造型技術(shù)將檢測(cè)視野l(fā)FOV實(shí)體化，效果如圖4所示。4.檢測(cè)結(jié)點(diǎn)圖形編程用戶通過“圖形編輯界面”模塊可以與仿真環(huán)境進(jìn)行交互，通過設(shè)定并記錄下傳感 頭相對(duì)于工件的不同檢測(cè)位姿Tk，最終獲得滿足整個(gè)檢測(cè)任務(wù)要求的檢測(cè)序列T = {Tk，k =1. · · N}。在指定檢測(cè)位姿時(shí)，務(wù)必需要滿足以下兩個(gè)必要約束(1)機(jī)器人工具手滿足相關(guān)工藝要求。(2)感興趣的目標(biāo)工件特征處于傳感頭視野LFOV范圍內(nèi)。
的原點(diǎn)，即(0，0，-(1/(^，另外取1^的2軸與激光面垂直，則2軸向量為％=( ,6，￡0 ’ 而L的X軸取為C坐標(biāo)系的X軸沿?cái)z像機(jī)光軸向激光面的投影獲得，BPc^ =(l,0,-fl/c)T， 最后1^的7軸則可通過右手準(zhǔn)則獲得°^ = (^_><(^=(-&斤4 + /^-6)，進(jìn)一步
通過歸一化可獲得各軸的單位向量e茍、e艿、e《，因此坐標(biāo)系L與C之間的關(guān)系為
，=(cm、). 設(shè)激光面上的一點(diǎn)在坐標(biāo)系L的坐標(biāo)為屮=[Lx Ly lz 1]τ，像素平面上的一點(diǎn)為 1P= [1u 1v 1]τ，則點(diǎn)1P和Lp之間將構(gòu)成如下的單應(yīng)關(guān)系(homography)
χ
y
ο ι
K
X
y
1Z
AclT
U V
wo Vo 1
尸人O Λ O O
8
其中條件(1)可以根據(jù)任務(wù)的工藝要求，由用戶或者系統(tǒng)自動(dòng)分析來指定工具手 的工藝姿態(tài)。條件(2)的滿足需要由用戶通過觀察圖形界面中的傳感頭與工件之間的關(guān)系 來保證。如果條件(1)和條件(2)無法同時(shí)滿足，那么需要考慮選擇另一參數(shù)的傳感頭或 者是本傳感頭不適合當(dāng)前的任務(wù)。另外對(duì)于一個(gè)檢測(cè)位姿Tk，當(dāng)前離線編程系統(tǒng)只適用機(jī)器人運(yùn)行單點(diǎn)運(yùn)動(dòng)(PTP) 的情況。5.檢測(cè)結(jié)點(diǎn)命令保存將dk = (Tk，Pk)作為檢測(cè)結(jié)點(diǎn)序列D中的一個(gè)檢測(cè)結(jié)點(diǎn)，用戶每確定一個(gè)檢測(cè)結(jié) 點(diǎn)，都將其存入檢測(cè)序列存儲(chǔ)結(jié)構(gòu)中，即D = {dk，k = 1. . . N}。另外每個(gè)檢測(cè)位姿Tk被保 存前，系統(tǒng)會(huì)在將傳感頭移動(dòng)至Tk處并自動(dòng)完成一次傳感頭的成像過程仿真，隨后記錄下 該傳感頭成像信號(hào)Pk，其中Pk為激光面與工件相交的橫截面輪廓在圖像上的投影。其中Tk 位姿下的傳感頭成像模擬原理如下a)獲得待測(cè)工件上所有實(shí)體面集合F = {fs，s = 1. . . S}(工件坐標(biāo)系0上描述)， 并且將其分為平面和非平面。b)對(duì)于工件表面fs為平面類型的情況下，獲取其處于傳感頭觀測(cè)視野Lfov內(nèi)的 交線輪廓0P1":如圖4所不，延長(zhǎng)AC和BD可得以交點(diǎn)E，其觀測(cè)視野l(fā)FOV = {A，B, C，D}。第1步判斷EC、ED和⑶與平面fs是否有交點(diǎn)。方法為由點(diǎn)E向平面沿EC方 向做投影，如有投影點(diǎn)P，并且EP的距離小于EC，則說明EC與平面fs有交點(diǎn)，同理可以判 斷ED和⑶與平面fs是否有交點(diǎn)。第2步求出EC、ED和⑶與平面fs共有幾個(gè)交點(diǎn)n，交點(diǎn)的個(gè)數(shù)可能為0、l、2。第3步如果η為2，即EC、ED和CD與平面fs有兩個(gè)交點(diǎn)，則把這兩個(gè)點(diǎn)作為fs 與激光平面的交線的起點(diǎn)和終點(diǎn)。最后判斷平面fs是否有孔存在，如果有孔則判斷此孔與 激光平面是否相交，如果相交，則將交線中不存在的部分刪除。第4步如果η為1，即EC、ED和⑶與平面fs有一個(gè)交點(diǎn)，則求出交線的另一端 點(diǎn)，還需要判斷平面fs上是否有孔的存在。如果有孔還需要根據(jù)孔與激光平面是否相交修 正交線。第5步如果η為0，即EC、ED和⑶與平面沒有交點(diǎn)，則需要判斷平面fs與激光 平面有交線或者是沒有交線，如果有交線，則求出交線。c)對(duì)于工件表面fs為曲面類型的情況下，獲取其處于傳感頭觀測(cè)視野1FOV內(nèi)的 交線輪廓^巧“同樣如圖5所示，對(duì)于任意一曲線，因?yàn)榍骖愋偷娜我庑?，直接利用搜索的方?求交線，找到CD的η等分點(diǎn)，ml、m2到mn等，連接Eml，Em2等，直接計(jì)算Eml，Em2與非平面 fs的交點(diǎn)，通過這些交點(diǎn)來擬合成曲線。d)將^々"和c^P2"按從左(靠近AC處)到右(靠近BD處)合并成統(tǒng)一輪廓交線0對(duì)° 〃丨進(jìn)行激光投射光線消隱后得°P〃 首先對(duì)于輪廓°P" ’進(jìn)行離散化，連接每個(gè)離散點(diǎn)與點(diǎn)E，如果此直線上還與 °P"‘相交，則認(rèn)為此點(diǎn)是不可見的，其將被刪除，最終所有未被刪除的°p"‘的部分將被認(rèn)為是°P"。f)進(jìn)行攝像機(jī)入射光線消隱后得° '如圖7所示，首先對(duì)于輪廓°P"進(jìn)行離散化，取其中的一點(diǎn)M，設(shè)攝像機(jī)的原點(diǎn)為 e0，則M所對(duì)應(yīng)的輪廓段所在的工件表面的法向?yàn)?由內(nèi)朝外)，如果的夾角 θ小于最大反射角度Θ，并且線段·之間沒有場(chǎng)景中其他物體存在，那么保留該點(diǎn)，°Ρ" 中最終所有被保留的部分被認(rèn)為是°Ρ'。g)將輪廓°Ρ'轉(zhuǎn)換至激光坐標(biāo)系L中得中‘，進(jìn)一步屮‘的x_y數(shù)據(jù)并通過單應(yīng) 關(guān)系Th_反投至圖像獲得最終的成像信號(hào)P。如果當(dāng)前任務(wù)中已確定了工藝特征提取的話，那么對(duì)于第i個(gè)工藝特征提取規(guī)則 rulei = 1...N(Xl，..Xj，...XM)而言，則在每次成像過程仿真后可得Pk = {Ls,k，s = 1...D}，其 中Ls, k為某個(gè)輪廓段，如果總a c Xj，則表示該輪廓段屬于工件的某個(gè)基元特征，那么需要 建立起基元特征的\與輪廓段Ls,k之間的對(duì)應(yīng)Ls,k — \，這樣在實(shí)際檢測(cè)時(shí)，每個(gè)被檢測(cè)到 的輪廓段Ls, k可以通過對(duì)應(yīng)性Ls, k — Xj輸入到當(dāng)前的工藝特征提取規(guī)則rulei中。6.編程序列仿真回放
系統(tǒng)可以按照已經(jīng)保存的檢測(cè)任務(wù)Task= {D，R}中的檢測(cè)結(jié)點(diǎn)序列D運(yùn)行，同時(shí) 用戶可以通過圖形顯示界面觀察傳感器與機(jī)器人的配合運(yùn)行狀況，另外在仿真同時(shí)可以開 啟機(jī)器人關(guān)節(jié)限位檢查和碰撞測(cè)試，如果出現(xiàn)問題或者不滿足要求，用戶可以重新返回步 驟4做進(jìn)一步的調(diào)整。7.編程結(jié)果輸出對(duì)于一個(gè)檢測(cè)任務(wù)Task = {(Tk，Pk)，k = 1. · · N，(rule” Controli)，i = 1. . . G}， 其編程結(jié)果{Tk，k= 1...N, rule,, i = 1. . . G}將通過線結(jié)構(gòu)光視覺處理命令轉(zhuǎn)換模塊輸 出成一個(gè)視覺處理配置文件，而該視覺處理配置文件只能使用于與本發(fā)明配套的線結(jié)構(gòu)光 視覺檢測(cè)系統(tǒng)。對(duì)于編程結(jié)果{P，k = 1. . . N, controls i = 1. . . G}，需要為其選定對(duì)應(yīng)的 具體類型的機(jī)器人編程語言，當(dāng)前本系統(tǒng)只適用于KUKA的KRL編程語言，然后通過機(jī)器人 編程語言轉(zhuǎn)換模塊，輸出相應(yīng)機(jī)器人的程序文件，并由用戶導(dǎo)入至運(yùn)行該類型語言的對(duì)應(yīng) 型號(hào)的機(jī)器人控制器中，機(jī)器人與傳感器將運(yùn)行各自文件以共同協(xié)作完成實(shí)際檢測(cè)任務(wù)。
權(quán)利要求
一種焊接機(jī)器人線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)，本系統(tǒng)是在計(jì)算機(jī)三維設(shè)計(jì)軟件中的裝配體空間中建立的仿真場(chǎng)景，包括傳感器模型、機(jī)器人模型、工藝控制規(guī)則庫、圖形編輯界面、操作序列記錄和回放以及編程信息輸出；所述傳感器模型，是對(duì)傳感器獲取成像信號(hào)的過程進(jìn)行仿真，通過提取仿真的激光信號(hào)在工件表面所獲得的輪廓，并經(jīng)由攝像機(jī)針孔模型投射至圖像平面，以獲得最終的工件表面成像輪廓信號(hào)；通過將圖像平面反投至激光平面獲得傳感器外部的檢測(cè)視野，進(jìn)一步通過3D造型將檢測(cè)視野實(shí)體化，傳感器的傳感頭本身的實(shí)體模型也作為碰撞檢測(cè)的基礎(chǔ)；機(jī)器人模型包括運(yùn)動(dòng)學(xué)模型和實(shí)體模型；機(jī)器人模型是通過建立了機(jī)器人運(yùn)動(dòng)學(xué)模型完成機(jī)器人單點(diǎn)運(yùn)動(dòng)下的機(jī)械手末端與各關(guān)節(jié)角的同步，同時(shí)還可以完成關(guān)節(jié)角限位檢測(cè)；針對(duì)不同類型的機(jī)器人模型，設(shè)有相應(yīng)的用于連接傳感器輸入信號(hào)的通信接口信息；工藝控制規(guī)則庫包含了用于各種工件模型的焊接任務(wù)的工藝特征提取規(guī)則和各種機(jī)器人用于該類工藝的控制命令相關(guān)信息；圖形編輯界面是人機(jī)交互的圖形化界面，提供給用戶用鼠標(biāo)與鍵盤對(duì)當(dāng)前仿真場(chǎng)景中的各實(shí)體元素的操作與配置，并在仿真的時(shí)候顯示出各仿真對(duì)象當(dāng)前的運(yùn)行狀態(tài)；檢測(cè)序列模塊是在用戶圖形編輯的時(shí)候保存任務(wù)中的關(guān)鍵檢測(cè)點(diǎn)的信息，并仿真運(yùn)行整個(gè)操作序列，提供給用戶對(duì)整個(gè)任務(wù)校驗(yàn)的基礎(chǔ)；編程信息輸出，是針對(duì)具體的機(jī)器人和傳感器類型，將操作序列轉(zhuǎn)換為符合機(jī)器人編程命令語法的程序文本以及傳感器配置信息語法類型的程序文本供實(shí)際系統(tǒng)運(yùn)行。
2.根據(jù)權(quán)利要求1所述的焊接機(jī)器人線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)，其特征是所 述關(guān)鍵檢測(cè)點(diǎn)的信息包括單點(diǎn)運(yùn)動(dòng)命令、工藝補(bǔ)償控制命令、工藝特征提取規(guī)則以及成像 信號(hào)模型信息；所述操作序列包括單點(diǎn)運(yùn)動(dòng)命令、工藝補(bǔ)償控制命令、工藝特征提取規(guī)則和 成像信號(hào)模型；所述單點(diǎn)運(yùn)動(dòng)命令是由所述機(jī)器人模型單點(diǎn)運(yùn)動(dòng)仿真得到；工藝補(bǔ)償控制命令是由機(jī)器人模型中的各種機(jī)器人模型以及工藝特征規(guī)則庫中相應(yīng) 機(jī)器人用于相應(yīng)工藝的控制命令相關(guān)信息得到；所述工藝特征提取規(guī)則由工藝特征規(guī)則庫中相應(yīng)種工件模型的焊接任務(wù)的工藝特征 提取規(guī)則得到；所述成像信號(hào)模型由所述最終的工件表面成像輪廓信號(hào)得到 符合機(jī)器人編程命令語法的程序文本是由操作序列中的單點(diǎn)運(yùn)動(dòng)命令和工藝補(bǔ)償控 制命令轉(zhuǎn)換得到；傳感器配置信息語法類型的程序文本是由操作序列中的工藝特征提取規(guī) 則和成像信號(hào)模型轉(zhuǎn)換得到。
3.—種權(quán)利要求1所述焊接機(jī)器人線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)的編程方法，其 特征是步驟包括1)判斷是否建立仿真場(chǎng)景如果已經(jīng)建立仿真場(chǎng)景，則進(jìn)入步驟2)；如果沒有建立，則建立仿真場(chǎng)景，并保存仿真 場(chǎng)景，再進(jìn)入步驟2)仿真場(chǎng)景建立是在三維計(jì)算機(jī)輔助設(shè)計(jì)軟件中的裝配空間中建立的，將傳感頭模型、待測(cè)工件、機(jī)器人及其工具的三維實(shí)體模型共同導(dǎo)入該裝配空間；如果還未建立傳感頭模型，則需要建立傳感頭模型；傳感頭建模是在仿真場(chǎng)景中導(dǎo)入 傳感頭外殼的三維實(shí)體模型和傳感頭配置文件，系統(tǒng)在傳感頭內(nèi)部得到投影參數(shù)模型，同 時(shí)在傳感頭外殼的三維實(shí)體模型上完成傳感頭觀測(cè)視野F0V的三維可視化生成；2)待測(cè)工藝特征指定在導(dǎo)入待測(cè)工件后，首先要選擇所需工藝提取規(guī)則，然后進(jìn)一步需要指定表示工件的 基元特征參數(shù) 所關(guān)聯(lián)的工件基元特征；該工藝特征提取規(guī)則在一次性實(shí)際檢測(cè)任務(wù)的整 個(gè)周期中都有效，并一次性檢測(cè)任務(wù)中可以同時(shí)存在多個(gè)工藝提取規(guī)則；3)檢測(cè)點(diǎn)圖形編程用戶通過圖形編輯界面，設(shè)定傳感頭相對(duì)于工件不同的檢測(cè)位姿，并最終獲得滿足檢 測(cè)任務(wù)要求的檢測(cè)序列，此時(shí)，要求每個(gè)檢測(cè)點(diǎn)滿足“感興趣的目標(biāo)工件特征處于傳感頭 F0V范圍內(nèi)”和“機(jī)器人工具手滿足相關(guān)工藝要求”的雙重約束；4)檢測(cè)編程命令序列保存當(dāng)用戶已經(jīng)確定一個(gè)檢測(cè)點(diǎn)后要求通知系統(tǒng)，系統(tǒng)自動(dòng)完成一次傳感頭的成像過程仿 真，將傳感頭成像信號(hào)視圖模型、工藝特征的成像信號(hào)標(biāo)識(shí)號(hào)以及傳感頭檢測(cè)位姿作為一 個(gè)檢測(cè)點(diǎn)來保存；5)檢測(cè)編程命令序列仿真運(yùn)行檢測(cè)序列進(jìn)行仿真，并可以選擇進(jìn)行機(jī)器人關(guān)節(jié)限位與碰撞測(cè)試的檢查，如果出 現(xiàn)問題或者不滿足要求，用戶可以重新返回步驟3)做進(jìn)一步的調(diào)整。6)編程結(jié)果輸出將檢測(cè)編程命令序列將通過命令轉(zhuǎn)換模塊輸出成視覺處理配置文件和機(jī)器人程序文 件，并分別由用戶導(dǎo)入至視覺處理器和機(jī)器人控制器中，機(jī)器人與傳感器將運(yùn)行各自文件 以共同協(xié)作完成實(shí)際檢測(cè)任務(wù)。
4.根據(jù)權(quán)利要求3所述的編程方法，其特征是所述步驟3)中的兩個(gè)必要約束機(jī)器人工具手滿足相關(guān)工藝要求，是可以根據(jù)任務(wù)的工藝要求，由用戶或者系統(tǒng)自動(dòng) 分析來指定工具手的工藝姿態(tài)；感興趣的目標(biāo)工件特征處于傳感頭視野F0V范圍內(nèi)，是需要由用戶通過觀察圖形界面 中的傳感頭檢測(cè)視野實(shí)體與待測(cè)工件之間的關(guān)系來保證；如果兩個(gè)條件無法同時(shí)滿足，那么需要選擇另一款配置參數(shù)的傳感頭或者是當(dāng)前認(rèn)定 當(dāng)前所選擇的傳感頭不適合當(dāng)前的任務(wù)。
全文摘要
一種焊接機(jī)器人線結(jié)構(gòu)光視覺傳感器離線編程系統(tǒng)和方法，所述系統(tǒng)包括傳感器模型，用于模擬傳感器成像過程以獲取視圖模型，同時(shí)完成檢測(cè)視野實(shí)體化，以方便用戶圖形編程；機(jī)器人模型，用于模擬機(jī)器人單點(diǎn)運(yùn)動(dòng)，并提供連接傳感器輸入信號(hào)的通信接口信息；工藝控制規(guī)則庫，用于提供用于不同焊接任務(wù)的工藝特征提取規(guī)則和工藝的控制命令相關(guān)信息；圖形編輯界面，用于用戶與系統(tǒng)交互式圖形編程；操作序列模塊，用于保存一系列檢測(cè)點(diǎn)的信息，該信息包括了單點(diǎn)運(yùn)動(dòng)命令、工藝補(bǔ)償控制命令、工藝特征提取規(guī)則以及成像信號(hào)模型信息；編程信息輸出，用于輸出機(jī)器人程序文本以及傳感器系統(tǒng)配置信息文本。
文檔編號(hào)B25J13/00GK101973032SQ201010266460
公開日2011年2月16日 申請(qǐng)日期2010年8月30日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者戴先中, 李新德, 程祥根, 龔燁飛 申請(qǐng)人:東南大學(xué)