一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法
【專利摘要】本發(fā)明涉及一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,包括以下步驟,步驟一:對目標(biāo)物體所在的環(huán)境進行圖像采集;步驟二:建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系;步驟三:獲取目標(biāo)物體在像素坐標(biāo)系中的像素單元尺度的多個點的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點的坐標(biāo)值;步驟四:根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值,建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系;步驟五:獲取在像素鄰域內(nèi)的點所在像素坐標(biāo)系的坐標(biāo)值;根據(jù)映射關(guān)系,計算其世界坐標(biāo)系的坐標(biāo)值;步驟六:重復(fù)步驟三到步驟五,直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
【專利說明】一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于先進制造及機器人控制領(lǐng)域,具體涉及一種視覺智能數(shù)控系統(tǒng)數(shù)據(jù)融合方法。
【背景技術(shù)】
[0002]機器視覺系統(tǒng)與數(shù)控系統(tǒng)相結(jié)合,并應(yīng)用于機器人和數(shù)控裝備形成智能機器人及智能數(shù)控裝備。根據(jù)現(xiàn)場需要,機器視覺系統(tǒng)(智能相機)將采集的像素坐標(biāo)進行處理轉(zhuǎn)換為世界坐標(biāo)系下物點坐標(biāo)。一般通過采用多臺智能相機對視野范圍內(nèi)移動物體進行定位測量,常見于傳送帶輸送工件的加工處理,采用機器人或者數(shù)控裝備實現(xiàn)工件分揀或加工。
[0003]采用與機器人有關(guān)聯(lián)的機器視覺系統(tǒng)對目標(biāo)工件進行拍攝,結(jié)合機器人、固定工作環(huán)境參數(shù)和視覺系統(tǒng)內(nèi)、外參數(shù),分別進行攝像機標(biāo)定和目標(biāo)工件標(biāo)定,用以確認工件位姿,采用立體視覺的方法,從工件特征點二維定位信息獲取三維空間位姿信息。無論是固定于機器人末端手-眼模式(單臺)還是固定于工作環(huán)境某點(多臺)的視覺系統(tǒng),對目標(biāo)工件的定位(標(biāo)定)包含:視覺系統(tǒng)安裝關(guān)系標(biāo)定、視覺系統(tǒng)標(biāo)定,用以完成工件空間位姿標(biāo)定,為后續(xù)機器人加工提供基準(zhǔn)坐標(biāo)系。
[0004]請參閱圖1,其為拍攝圖像的畸變圖。相機鏡頭產(chǎn)生的線性和非線性畸變,目前已知影響透視與畸變原因包括焦距f、攝像機角度Θ、攝像機架設(shè)位置等。相機近距離拍攝直線結(jié)構(gòu)時,例如建筑物或樹木,就會產(chǎn)生失真。在拍攝時將照相機稍稍向上對準(zhǔn),就可以近距離把整個物體拍攝下來。但是由于失真,平行的線條會不平行而有逐漸聚攏的趨勢導(dǎo)致建筑物或樹木在圖像中向前傾,這種失真現(xiàn)象被稱為線性畸變。這種近大遠小的感覺也稱為透視感。鏡頭的非線性畸變可分為徑向畸變、離心畸變與薄棱鏡畸變。其中后兩類畸變既產(chǎn)生徑向畸變也產(chǎn)生切向畸變,光學(xué)鏡頭徑向曲率的變化是產(chǎn)生徑向畸變的主要成因。鏡頭的徑向畸變有兩種趨勢:一是像點的畸變呈離開中心的趨勢,稱為鞍形畸變;另一種是像點的畸變朝中心聚縮,稱為桶形畸變。離心畸變是指由于裝配原因,組成光學(xué)系統(tǒng)的多個光學(xué)鏡頭的光軸不可能完全共線弓I起的畸變。這種畸變是由徑向畸變分量和切向畸變分量共同構(gòu)成。薄棱鏡畸變是指由于光學(xué)鏡頭制作造成的誤差和成像敏感陣列制作造成的誤差產(chǎn)生的圖像變形,這種畸變也由徑向畸變分量和切向畸變分量共同構(gòu)成。
[0005]現(xiàn)有技術(shù)中,通過在視覺系統(tǒng)自身標(biāo)定需要建立相機系統(tǒng)成像幾何模型,同時需要精確估計出相機模型中的各種參數(shù),這種相機建模及標(biāo)定過程已有多種文獻公開方法;視覺系統(tǒng)坐標(biāo)系與其安裝末端軸坐標(biāo)系之間的關(guān)系同樣需要標(biāo)定獲得,用來間接獲取視覺系統(tǒng)在所處坐標(biāo)系中的位姿數(shù)據(jù)。為獲得精確的目標(biāo)位置數(shù)據(jù),需要大量標(biāo)定運算,采用目前文獻公開的方法,可實現(xiàn)較精確的理論求解。
[0006]然而,常用的視覺系統(tǒng)集成于機器人或數(shù)控裝備的方式是采用相互獨立的子系統(tǒng),以通信線路連接實現(xiàn)信息交互,而視覺系統(tǒng)內(nèi)部坐標(biāo)與世界坐標(biāo)系坐標(biāo)的轉(zhuǎn)換處理依賴于相機內(nèi)、外參數(shù),參數(shù)矩陣計算繁雜,且存在無解可能。
[0007]同時,在這種方式下,無論單目還是多目相機處理起來,受相機本身、工作環(huán)境等約束較大,造成應(yīng)用推廣難度大。開發(fā)過程所涉及建模、求解、轉(zhuǎn)換、輸出等環(huán)節(jié)沒有標(biāo)準(zhǔn)模式,需依賴控制對象訂制開發(fā),一旦對象構(gòu)型、參數(shù)、位姿、配置等發(fā)生改變,則需重新進行標(biāo)定,甚至處理算法也會做出相應(yīng)調(diào)整。經(jīng)典的攝影測量方法一般采用基于多目攝像機的交匯測量、基于單目攝像機對已知若干特征的合作物體進行估計,這些方法雖定位精度高,但較復(fù)雜且計算時間長,難以在現(xiàn)場應(yīng)用。
【發(fā)明內(nèi)容】
[0008]本發(fā)明在于克服現(xiàn)有技術(shù)的缺點與不足,提供一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法。
[0009]本發(fā)明是通過以下的技術(shù)方案實現(xiàn)的:一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,包括以下步驟:
[0010]步驟一:對目標(biāo)物體所在的環(huán)境進行圖像采集;
[0011]步驟二:對圖像中的目標(biāo)物體進行識別,并建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系;
[0012]步驟三:獲取目標(biāo)物體在像素坐標(biāo)系中的一像素單元的多個點的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點的坐標(biāo)值;
[0013]步驟四:根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值,建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系;
[0014]步驟五:在該像素單元的鄰域內(nèi),獲取在該鄰域內(nèi)的點所在像素坐標(biāo)系的坐標(biāo)值;根據(jù)映射關(guān)系,計算其世界坐標(biāo)系的坐標(biāo)值;
[0015]步驟六:重復(fù)步驟三到步驟五,直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
[0016]相比于現(xiàn)有技術(shù),本發(fā)明適用于采用智能相機對目標(biāo)工件的平面位置測定。將多臺視覺子系統(tǒng)拍攝的坐標(biāo)數(shù)據(jù)與拍攝目標(biāo)實際的位置信息融合處理,從而獲得已知目標(biāo)鄰域附近的目標(biāo)物坐標(biāo)信息。本發(fā)明前期運算完成物-相兩方映射關(guān)系對應(yīng),逐點算得目標(biāo)物體位置數(shù)據(jù),將積累的融合估算結(jié)果——“偽已知點”充滿物方區(qū)域和相方區(qū)域的分格點。后期可停止數(shù)據(jù)融合估算,采用直接查表的方法實現(xiàn)各相機采集相點所對應(yīng)的物點位置數(shù)據(jù),各相機估算結(jié)果采用加權(quán)平均處理。本發(fā)明有效避開相機標(biāo)定過程中內(nèi)外參數(shù)計算,數(shù)據(jù)融合過程簡潔,處理精度較好,可應(yīng)用于視覺與數(shù)控聯(lián)合開發(fā)過程,適合多行業(yè)數(shù)控裝備和機器人應(yīng)用。
[0017]作為本發(fā)明的進一步改進,在完成步驟六后,還包括步驟:建立像素坐標(biāo)系與世界坐標(biāo)系的映射列表,該映射列表中包括像素坐標(biāo)系中的所有點的坐標(biāo)值,以及與其對應(yīng)的世界坐標(biāo)系中的所有點的坐標(biāo)值。
[0018]作為本發(fā)明的進一步改進,在步驟一中,通過多個相機對目標(biāo)物體進行圖像采集;在步驟二中,所述像素坐標(biāo)系在該相機中形成,通過網(wǎng)格劃分,且在該像素坐標(biāo)系中的點為相點,其坐標(biāo)設(shè)為;世界坐標(biāo)系通過網(wǎng)格劃分,與該像素坐標(biāo)系相對應(yīng),世界坐標(biāo)系中的點為物點,其坐標(biāo)設(shè)為(χο,Υο)。
[0019]作為本發(fā)明的進一步改進,所述步驟五中在獲取像素單元的坐標(biāo)值時,包括以下步驟:通過多臺相機對目標(biāo)物體的點進行采集,并將所采集的相點的坐標(biāo)值進行加權(quán)平均,并作為在像素坐標(biāo)系中的坐標(biāo)值。
[0020]作為本發(fā)明的進一步改進,根據(jù)映射列表查找目標(biāo)物體的實際位置時,包括步驟:通過多臺相機對目標(biāo)物體的點進行采集,并將所采集的相點的坐標(biāo)值進行加權(quán)平均;根據(jù)加權(quán)平均后的坐標(biāo)值,查找出對應(yīng)的物點的坐標(biāo)值。
[0021]作為本發(fā)明的進一步改進,所述像素單元的領(lǐng)域為該像素單元所在像素坐標(biāo)系中相鄰的網(wǎng)格。
[0022]作為本發(fā)明的進一步改進,在所述步驟四中,在建立映射關(guān)系時,包括步驟:
[0023]構(gòu)建一階函數(shù),其為 ,
【權(quán)利要求】
1.一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于,包括以下步驟: 步驟一:對目標(biāo)物體所在的環(huán)境進行圖像采集; 步驟二:對圖像中的目標(biāo)物體進行識別,并建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系; 步驟三:獲取目標(biāo)物體在像素坐標(biāo)系中的像素單元尺度的若干個點的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點的坐標(biāo)值; 步驟四:根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值,建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系; 步驟五:在該像素單元的鄰域內(nèi),獲取在該鄰域內(nèi)的點在像素坐標(biāo)系中的坐標(biāo)值;根據(jù)映射關(guān)系,計算其在世界坐標(biāo)系中的坐標(biāo)值; 步驟六:重復(fù)步驟三到步驟五,直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
2.根據(jù)權(quán)利要求1所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:在完成步驟六后,還包括步驟:建立像素坐標(biāo)系與世界坐標(biāo)系的映射列表,該映射列表中包括像素坐標(biāo)系中的所有點的坐標(biāo)值,以及與其對應(yīng)的世界坐標(biāo)系中的所有點的坐標(biāo)值。
3.根據(jù)權(quán)利要求2所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:在步驟一中,通過多個相機對目標(biāo)物體進行圖像采集;在步驟二中,所述像素坐標(biāo)系在該相機中形成,通過網(wǎng)格劃分,且在該像素坐標(biāo)系中的點為相點,其坐標(biāo)設(shè)為(1?,%);世界坐標(biāo)系通過網(wǎng)格劃分,與該像素坐標(biāo)系相對應(yīng),世界坐標(biāo)系中的點為物點,其坐標(biāo)設(shè)為(X(l,yQ)。
4.根據(jù)權(quán)利要求3所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:所述步驟五中在獲取像素單元的坐標(biāo)值時,包括以下步驟:通過多臺相機對目標(biāo)物體的點進行采集,并將所采集的相點的坐標(biāo)值進行加權(quán)平均,并作為在像素坐標(biāo)系中的坐標(biāo)值。
5.根據(jù)權(quán)利要求3所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:根據(jù)映射列表查找目標(biāo)物體的實際位置時,包括步驟:通過多臺相機對目標(biāo)物體的點進行采集,并將所采集的相點的坐標(biāo)值進行加權(quán)平均;根據(jù)加權(quán)平均后的坐標(biāo)值,查找出對應(yīng)的物點的坐標(biāo)值。
6.根據(jù)權(quán)利要求3-5任意一項所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:所述像素單元的領(lǐng)域為該像素單元所在像素坐標(biāo)系中相鄰的網(wǎng)格。
7.根據(jù)權(quán)利要求2所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法,其特征在于:在所述步驟四中,在建立映射關(guān)系時,包括步驟:
構(gòu)建三階函數(shù),其為:
,其中,(Xi,Yi)為物點坐標(biāo),(Utl, V0)為相點坐標(biāo),Bi和bi為常數(shù); 選取最合適的函數(shù)作為像素坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系式; 將所對應(yīng)的相點(UpVi)和物點(Xi,yi)分別代入上述方程,求解對應(yīng)的函數(shù)關(guān)系式;其中i為正整數(shù)。
【文檔編號】G06T7/00GK104200469SQ201410436174
【公開日】2014年12月10日 申請日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】王高, 柳寧, 葉文生, 蘇啟林 申請人:暨南大學(xué)韶關(guān)研究院