基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器視覺(jué)定位技術(shù)領(lǐng)域，特別是一種基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí) 時(shí)定位系統(tǒng)和方法。
【背景技術(shù)】
[0002] 基于機(jī)器視覺(jué)的目標(biāo)產(chǎn)品的定位技術(shù)以光學(xué)為基礎(chǔ)，融入了圖像處理技術(shù)、光電 子學(xué)、計(jì)算機(jī)技術(shù)等現(xiàn)代科學(xué)技術(shù)。現(xiàn)在，基于機(jī)器視覺(jué)的目標(biāo)定位技術(shù)主要分為兩類，雙 目視覺(jué)結(jié)構(gòu)系統(tǒng)和單目視覺(jué)結(jié)構(gòu)系統(tǒng)。運(yùn)用較為廣泛的雙目視覺(jué)系統(tǒng)精度較高，但系統(tǒng)復(fù) 雜；與之相比，單目視覺(jué)結(jié)構(gòu)系統(tǒng)雖精度不如雙目視覺(jué)系統(tǒng)，但勝在系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，因此在 工業(yè)生產(chǎn)以其低成本，操作簡(jiǎn)單而也被廣泛應(yīng)用。
[0003] 在定位過(guò)程中，對(duì)產(chǎn)品的識(shí)別尤為重要，傳統(tǒng)的目標(biāo)識(shí)別主要使用特征提取和匹 配，但要識(shí)別出一個(gè)產(chǎn)品，必須知道這個(gè)產(chǎn)品在圖像中體現(xiàn)出的特征，但在實(shí)際成產(chǎn)狀態(tài) 中，產(chǎn)品的特征的種類繁多，選取較為麻煩，而且還有可能這些特征點(diǎn)在平面定位不能作為 產(chǎn)品定位點(diǎn)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位 系統(tǒng)和方法，可以克服現(xiàn)有技術(shù)中采用特征提取定位方式的不足，實(shí)現(xiàn)產(chǎn)品在傳送帶上的 精確定位。
[0005] 為解決上述技術(shù)問(wèn)題，本發(fā)明所采用的技術(shù)方案是：基于單目視覺(jué)的傳送帶上產(chǎn) 品實(shí)時(shí)定位系統(tǒng)，包括攝像機(jī)，在傳送帶首端上方設(shè)有一個(gè)攝像機(jī)，攝像機(jī)與計(jì)算機(jī)連接。
[0006] 在靜止的傳送帶的定位區(qū)域內(nèi)放置有標(biāo)定板。
[0007] 一種采用上述的基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)進(jìn)行產(chǎn)品定位的方 法，包括以下步驟： 一、 計(jì)算攝像機(jī)的內(nèi)參數(shù)，建立世界坐標(biāo)系得到外參數(shù)和基礎(chǔ)矩陣； 二、 測(cè)量出攝像機(jī)的在傳送帶平面上的投影點(diǎn)的世界坐標(biāo)； 三、 根據(jù)定位要求，產(chǎn)生一個(gè)四邊形二值化的圖片，作為取景框圖片； 四、 對(duì)圖片進(jìn)行邊緣檢測(cè)，并和取景框圖片進(jìn)行與運(yùn)算，得到只有產(chǎn)品的邊緣的圖片； 五、 運(yùn)用行掃描方式，自動(dòng)分離產(chǎn)品； 六、 對(duì)圖片中單個(gè)產(chǎn)品進(jìn)行列掃描得到產(chǎn)品的下邊界； 七、 計(jì)算出圖片中下邊界各點(diǎn)的世界坐標(biāo)，計(jì)算出世界坐標(biāo)系各點(diǎn)沿傳送帶至投影點(diǎn) 的距離，找出最近的一點(diǎn)和距離，該最近的一點(diǎn)即為定位點(diǎn)和定位距離； 通過(guò)以上步驟實(shí)現(xiàn)產(chǎn)品實(shí)時(shí)定位。
[0008] 優(yōu)選的方案中，傳送帶啟動(dòng)前，固定攝像機(jī)，在靜止的傳送帶平面上，在要求的定 位范圍內(nèi)放置一個(gè)標(biāo)定板，通過(guò)攝像機(jī)獲取多張含有各個(gè)角度的標(biāo)定板清晰成像的圖片， 運(yùn)用matlab工具箱toolbox_calib計(jì)算得到攝像機(jī)的內(nèi)參數(shù)； 并且以選取標(biāo)定板一個(gè)格點(diǎn)為坐標(biāo)原點(diǎn)O點(diǎn)，建立世界坐標(biāo)系OXYZ，其中X軸平行于傳 送帶運(yùn)動(dòng)方向，Y軸垂直于傳送帶運(yùn)動(dòng)方向，Z軸垂直于傳送帶平面，在后續(xù)過(guò)程中保持?jǐn)z 像機(jī)的位置不變； 測(cè)量出攝像機(jī)投影在傳送帶平面上點(diǎn)的世界坐標(biāo)（X。，Y。，0)。
[0009] 優(yōu)選的方案中，對(duì)攝像機(jī)獲取的圖像分幀處理，分離含有標(biāo)定板的圖片和含有 傳送帶的圖片并保存下來(lái)，結(jié)合第二步中建立的世界坐標(biāo)系，再次利用matlab工具箱 toolbox_calib計(jì)算出攝像機(jī)外參數(shù)和基礎(chǔ)矩陣：
【主權(quán)項(xiàng)】
1. 基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)，包括攝像機(jī)（I)，其特征是：在傳送帶 (5 )首端上方設(shè)有一個(gè)攝像機(jī)（1)，攝像機(jī)（1)與計(jì)算機(jī)（2 )連接。
2. 根據(jù)權(quán)利要求1所述的基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)，其特征是：在 靜止的傳送帶（5)的定位區(qū)域（4)內(nèi)放置有標(biāo)定板。
3. -種采用權(quán)利要求1~2任一項(xiàng)所述的基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng) 進(jìn)行產(chǎn)品定位的方法，其特征是包括以下步驟： 一、 計(jì)算攝像機(jī)的內(nèi)參數(shù)，建立世界坐標(biāo)系得到外參數(shù)和基礎(chǔ)矩陣； 二、 測(cè)量出攝像機(jī)的在傳送帶平面上的投影點(diǎn)（C)的世界坐標(biāo)； 三、 根據(jù)定位要求，產(chǎn)生一個(gè)四邊形（abed)二值化的圖片，作為取景框圖片； 四、 對(duì)圖片進(jìn)行邊緣檢測(cè)，并和取景框圖片進(jìn)行與運(yùn)算，得到只有產(chǎn)品的邊緣的圖片； 五、 運(yùn)用行掃描方式，自動(dòng)分離產(chǎn)品； 六、 對(duì)圖片中單個(gè)產(chǎn)品進(jìn)行列掃描得到產(chǎn)品的下邊界； 七、 計(jì)算出圖片中下邊界各點(diǎn)的世界坐標(biāo)，計(jì)算出世界坐標(biāo)系各點(diǎn)沿傳送帶至投影點(diǎn) (C)的距離，找出最近的一點(diǎn)和距離，該最近的一點(diǎn)即為定位點(diǎn)和定位距離； 通過(guò)以上步驟實(shí)現(xiàn)產(chǎn)品實(shí)時(shí)定位。
4. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：傳送帶啟動(dòng)前，固定攝像 機(jī)，在靜止的傳送帶平面上，在要求的定位范圍內(nèi)放置一個(gè)標(biāo)定板，通過(guò)攝像機(jī)獲取多張含 有各個(gè)角度的標(biāo)定板清晰成像的圖片，運(yùn)用matlab工具箱toolbox_calib計(jì)算得到攝像機(jī) 的內(nèi)參數(shù)； 并且以選取標(biāo)定板一個(gè)格點(diǎn)為坐標(biāo)原點(diǎn)O點(diǎn)，建立世界坐標(biāo)系OXYZ，其中X軸平行于傳 送帶運(yùn)動(dòng)方向，Y軸垂直于傳送帶運(yùn)動(dòng)方向，Z軸垂直于傳送帶平面，在后續(xù)過(guò)程中保持?jǐn)z 像機(jī)的位置不變； 測(cè)量出攝像機(jī)投影在傳送帶平面上（C)點(diǎn)的世界坐標(biāo)（X。，Y。，0)。
5. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：對(duì)攝像機(jī)獲取的圖像分幀 處理，分離含有標(biāo)定板的圖片和含有傳送帶的圖片并保存下來(lái)，結(jié)合第二步中建立的世界 坐標(biāo)系，再次利用matlab工具箱toolbox_calib計(jì)算出攝像機(jī)外參數(shù)和基礎(chǔ)矩陣：
6. 根據(jù)權(quán)利要求3所述的一種產(chǎn)品定位的方法，其特征是：在含有傳送帶的圖片中，確 定出一個(gè)四邊形（abed)框，僅使圖片中的傳送帶平面盡可能落在四邊形（abed)內(nèi)，記錄四 邊形的四個(gè)角的像素坐標(biāo)，運(yùn)用matlab中的roipoly函數(shù)產(chǎn)生一個(gè)（abed)四邊形二值化 的圖片，作為取景框圖片。
7. 根據(jù)權(quán)利要求6所述的一種產(chǎn)品定位的方法，其特征是：取走標(biāo)定板，啟動(dòng)傳送帶， 通過(guò)攝像機(jī)獲取含有產(chǎn)品（3)的圖片，進(jìn)行分幀處理； 利用canny算子，設(shè)置合適的閾值對(duì)攝像機(jī)中含有產(chǎn)品（3)的每一幀圖片進(jìn)行邊緣檢 測(cè)，得到含有產(chǎn)品邊緣的二值化圖片； 處理后的含有產(chǎn)品邊緣的二值化圖片分別和取景框圖片進(jìn)行與運(yùn)算，得到只含有產(chǎn)品 的邊緣的圖片。
8. 根據(jù)權(quán)利要求7所述的一種產(chǎn)品定位的方法，其特征是：運(yùn)用find函數(shù)找出含有產(chǎn) 品的邊緣的圖片中所有白色點(diǎn)的像素坐標(biāo)（X，y)，從而確定出了 y的最大值j和最小值i ; 然后在含有產(chǎn)品的邊緣的圖片運(yùn)用find函數(shù)以第i-Ι行為起始點(diǎn)開(kāi)始向下逐行掃描， 第一個(gè)掃描到有白點(diǎn)的一行，是第一個(gè)產(chǎn)品所在區(qū)域的起始行，然后向下繼續(xù)掃描，直到第 k行以及在第k行到第k+5行之間均沒(méi)有白點(diǎn)時(shí)，則k-Ι是第一個(gè)產(chǎn)品所在區(qū)域的終止行， 第一產(chǎn)品所在區(qū)域是第i行到第k-Ι行；然后以第k+5行為起始點(diǎn)掃描確定出第二個(gè)產(chǎn)品 的起始行，終止行和所在區(qū)域，依次下去可以逐個(gè)確定圖片所有產(chǎn)品的區(qū)域，最后根據(jù)第m (m=l，2, 3...)個(gè)區(qū)域的起始行和終止行，運(yùn)用find函數(shù)從坐標(biāo)（X，y)中找出該區(qū)域中所有 白點(diǎn)的像素坐標(biāo)，這就是第m個(gè)產(chǎn)品所有點(diǎn)像素坐標(biāo)，通過(guò)上述逐行掃描實(shí)現(xiàn)自動(dòng)化分離 廣品； 確定出第m個(gè)產(chǎn)品所有點(diǎn)像素 X軸坐標(biāo)的最大值s和最小值t，在第m個(gè)區(qū)域范圍內(nèi)運(yùn) 用find函數(shù)從t列到s列進(jìn)行逐列掃描，找出該區(qū)域中每一列中所有白點(diǎn)像素 y軸坐標(biāo)值 最大的一點(diǎn)，即邊界點(diǎn)（u，V)，這些邊界點(diǎn)構(gòu)成第m個(gè)產(chǎn)品下邊界。
9. 根據(jù)權(quán)利要求8所述的一種產(chǎn)品定位的方法，其特征是：運(yùn)用攝像機(jī)的基礎(chǔ)矩陣計(jì) 算出第m個(gè)產(chǎn)品的下邊界中各點(diǎn)世界坐標(biāo)，根據(jù)由空間三維坐標(biāo)到攝像機(jī)平面二維坐標(biāo)映 射關(guān)系，取Z=O后，得到攝像機(jī)成像平面二維坐標(biāo)到空間傳送帶平面中二維坐標(biāo)映射關(guān)系：
其中u，V分別是圖像中第m個(gè)產(chǎn)品下邊界各點(diǎn)像素坐標(biāo)；是縮放因子；H是基礎(chǔ)矩陣； X、Y是圖像中該點(diǎn)對(duì)應(yīng)在傳送帶平面上世界坐標(biāo)。
10. 根據(jù)權(quán)利要求9所述的一種產(chǎn)品定位的方法，其特征是：根據(jù)所求出的第m個(gè)產(chǎn)品 所有下邊界點(diǎn)的世界坐標(biāo)系中X軸坐標(biāo)中，運(yùn)用matlab中min函數(shù)求出最小的X軸坐標(biāo) Xmin，計(jì)算出攝像機(jī)和產(chǎn)品沿傳送帶的定位距離L，即可實(shí)現(xiàn)傳送帶上產(chǎn)品的實(shí)時(shí)定位： L = Ixaja-Xt I 其中Xc是攝像機(jī)的在傳送帶平面上的投影點(diǎn)（C)的X軸坐標(biāo)。
【專利摘要】基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)，包括攝像機(jī)，在傳送帶首端上方設(shè)有一個(gè)攝像機(jī)，攝像機(jī)與計(jì)算機(jī)連接。在靜止的傳送帶的定位區(qū)域內(nèi)放置有標(biāo)定板。一種基于單目視覺(jué)的傳送帶上產(chǎn)品實(shí)時(shí)定位系統(tǒng)進(jìn)行產(chǎn)品定位的方法，包括以下步驟：建立世界坐標(biāo)系；測(cè)量出攝像機(jī)的在傳送帶平面上的投影點(diǎn)的世界坐標(biāo)；產(chǎn)生一個(gè)取景框圖片；對(duì)圖片進(jìn)行邊緣檢測(cè)，得到只有產(chǎn)品的邊緣的圖片；運(yùn)用行掃描方式分離產(chǎn)品；對(duì)圖片中單個(gè)產(chǎn)品進(jìn)行列掃描得到產(chǎn)品的下邊界；計(jì)算出圖片中下邊界各點(diǎn)的世界坐標(biāo)，計(jì)算出世界坐標(biāo)系各點(diǎn)沿傳送帶至投影點(diǎn)的距離，找出最近的一點(diǎn)和距離，該最近的一點(diǎn)即為定位點(diǎn)和定位距離；通過(guò)以上步驟實(shí)現(xiàn)基于單目視覺(jué)的產(chǎn)品實(shí)時(shí)定位。
【IPC分類】B65G43-00
【公開(kāi)號(hào)】CN104760812
【申請(qǐng)?zhí)枴緾N201510087650
【發(fā)明人】曾曙光, 吳磊, 黎濤, 陶雄, 葉劍飛
【申請(qǐng)人】三峽大學(xué)
【公開(kāi)日】2015年7月8日
【申請(qǐng)日】2015年2月26日