專利名稱：基于全方位視覺傳感器的智能集裝箱吊具的制作方法
技術領域：
本發(fā)明屬于全方位視覺傳感器的應用，尤其是一種全方位計算機傳感器技術、 圖像識別技術和控制技術在集裝箱吊具方面的應用。
背景技術：
集裝箱吊具在對集裝箱船舶裝卸、對集裝箱車輛的裝卸過程中是一個關鍵設 備，由于集裝箱船舶的大型化，對集裝箱起重設備提出了更新更高的要求，比如 吊裝的高速化，外伸距、起升高度增大，額定起重量和效率提高。因此改進集裝 箱吊具運行功能已經成為燃眉之急。
集裝箱吊具通常釆用高強度鋼制作，從結構上看像一個鋼制框架，四角配備 扭鎖和導向裝置，上部則配備鋼索，大多以液壓驅動，由駕駛室遙控。大量的實 驗數(shù)據(jù)表明，集裝箱碼頭的設備再先進，其運行效率都取決于集裝箱吊具。其中 最難的操作工作就是將集裝箱吊具上的四角旋鎖對準集裝箱的角孔。目前都是靠 高技術工人用手動控制的方式來完成這項高難度的工作的，著名的許振超團隊創(chuàng) 造的"顯新穿針"的絕活，就是趙顯新帶著工人們練的就是從16層樓高的橋吊 上，把一根筷子粗細的鋼針在40秒內插入地面上的啤酒瓶中。
但是，完全要靠人工來實現(xiàn)這樣的高技能的工作，存在著幾個方面的問題 1)對操作人員的基本要求高，培養(yǎng)這樣一種高技能工人需要較長的培養(yǎng)時間和 培養(yǎng)成本，同時也不能保證所有受培訓的工人都能勝任這項工作；2)對人在操 作過程中要求高，即使能勝任這項工作，由于在工作過程中要花費操作人員的大 量體力與注意力；3)集裝箱的角孔視角不可見，隨著起升高度增大，操作人員 無法看見集裝箱的角孔，完全要憑駕駛員自己的感覺。
中國發(fā)明專利公開號為CN1978306A公開了一種集裝箱吊具，該吊具包括吊具主體、安裝在吊具主體上的導向板、安裝在主體下方且與集裝箱的鎖孔對應 的扭鎖，它還包括監(jiān)控扭鎖與鎖孔位置關系的攝像頭以及與攝像頭電連接的顯示 屏。在起吊作業(yè)過程中，攝像頭監(jiān)視鎖孔與扭鎖的對準情況，操作人員可通過顯 示器觀察，從而實現(xiàn)吊具與集裝箱的迅速、準確定位。該發(fā)明中將攝像頭安置在 吊具主體的外側，攝像頭本身容易與其他物體相碰而造成損壞；另外，攝像頭視 野只是一個集裝箱的鎖 L，而實際上需要四個旋鎖都對準鎖孔；由于無法檢測集 裝箱上的四角旋鎖是否對準集裝箱的鎖孔，要真正實現(xiàn)自動控制吊具非常困難。
發(fā)明內容
為了克服巳有的集裝箱吊具的對操作人員要求高、吊裝過程費時費力、自動 化水平低、操作安全性低、吊裝效率低的不足，本發(fā)明提供一種能夠輔助操作人 員操作、降低操作難度、提高操作安全性、增加工作效率的基于全方位視覺傳感 器的智能集裝箱吊具。
本發(fā)明解決其技術問題所采用的技術方案是
一種基于全方位視覺傳感器的智能集裝箱吊具，包括微處理器、用于視頻測 量集裝箱吊具的扭鎖與集裝箱的鎖孔之間偏差的視覺傳感器、用于控制吊機的臂 架伸縮、俯仰以及吊具的伸縮、回轉的執(zhí)行模塊和用于吊裝集裝箱的吊具，所述 視覺傳感器與微處理器連接，所述微處理器與執(zhí)行模塊連接，所述微處理器安裝 在吊機的控制室內，所述視覺傳感器為全方位視覺傳感器，所述全方位視覺傳感 器安裝在所述吊具的中下部，所述全方位視覺傳感器包括一次折反射鏡面、二次 折反射鏡面、透明外罩和攝像部件，所述一次折反射鏡面和二次折反射鏡面安裝 在透明外罩上，所述攝像部件位于一次折反射鏡面后面的視點上，所述二次折反 射鏡面位于一次折反射鏡面的前面，所述一次折反射鏡面和二次折反射鏡面上均 開有一個小孔，所述二次折反射鏡面內嵌入廣角鏡頭，所述攝像部件鏡頭、廣角 鏡頭、 一次折反射鏡和二次折反射鏡的中心軸配置在同一軸心線上；所述微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信 息；虛擬外形輪廓定制模塊，用于設定與釆集的集裝箱外形輪廓圖像進行比對的 標準輪廓；邊緣檢測模塊，用于對所讀取全景視頻圖像進行邊緣檢測處理，得到 集裝箱外形邊緣輪廓；檢測與控制模塊，用于將邊緣檢測模塊中所得到的集裝箱 外形邊緣輪廓與虛擬外形輪廓定制模塊所定制的虛擬外形輪廓進行比對，計算出 偏移量，然后根據(jù)所計算出的偏移量，向所述執(zhí)行模塊發(fā)出控制指令；所述的檢 測與控制模塊中包括，旋轉的角度e的檢測與控制單元，用于檢測虛擬外形輪廓 圖像上的對角線是否與集裝箱外形輪廓圖像上對角線平行，當檢測結果是不平行
時，將吊具旋轉的一個角度差e ，角度差e的計算方法是
<formula>formula see original document page 11</formula>
式中，(xl， ，yl，)、 (x2' ,y2，)是虛擬外形輪廓圖像上對角線上的兩個點的坐標； .(xl,yl)、 (x2,y2)是集裝箱外形輪廓圖像上對角線上的兩個點的坐標； 平移距離的檢測與控制單元，用于檢測虛擬外形輪廓圖像上的中心點是否與集裝 箱外形輪廓圖像上的中心點是否出現(xiàn)偏離，當檢測結果存在偏離時，獲得集裝箱 吊具的平移距離，通過計算兩條對角線的中點之間的距離來獲得吊具所需要平移 的距離AX、 AY，首先移動AX、 AY的距離計算，計算公式由(19)所示， -- ^"2) (19)
需要移動AX距離，AX計算公式由(20)所示，
<formula>formula see original document page 11</formula>
將吊具平移一個偏移值，使虛擬外形輪廓圖像上的中心點與集裝箱外形輪廓圖像上的中心點重合-
吊具的下放距離的檢測與控制單元，用于檢測吊具上的扭鎖離插入到集裝箱的鎖 孔內所需的距離AZ，計算吊具所需要的下放距離AZ，通過計算虛擬外形輪廓圖 像上的對角線與集裝箱外形輪廓圖像上對角線的長度比來獲得吊具的下放距離， 首先要計算兩者縮放的比例N，計算公式用(21)表示，
<formula>formula see original document page 12</formula>
式中，N表示虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線的長 度比，N越大表示吊具離集裝箱的頂部距離越遠，反之越近，當N為1時表示吊 具上的扭鎖己準確地插入集裝箱的鎖孔位置；采用下放距離AZ標定回歸的方式 來確定吊具的下放距離AZ與縮放的比例N之間的關系，即AZ^f(N)，從(21) 所求得的縮放的比例N根據(jù)A Z^f(N)的函數(shù)關系得到下放距離A Z。
作為優(yōu)選的一種方案所述一次折反射鏡面和二次折反射鏡面的曲線是按照 平均角分辨率方式進行設計，具體有
一次入射光線VI與折反射主軸Z的夾角為①， 一次反射光線V2與折反射主 軸Z的夾角為《，過《點",^)的切線與^軸的夾角為"，法線與Z軸的夾角為s;
二次反射光線V3與折反射主軸Z的夾角為《，過A點(",^)的切線與f軸的夾 角為cr，法線與Z軸的夾角為&，基于上述關系可以得到公式(1): o" = 1800 -e (1)<formula>formula see original document page 12</formula>
式中，i^是一次折反射鏡面曲線，《是二次折反射鏡面曲線； 利用三角關系并進行簡化整理，得到公式(2)、 (3):<formula>formula see original document page 13</formula>
上式中，
<formula>formula see original document page 13</formula>
解公式(2)、 (3)可以得到公式(4)、 (5);
<formula>formula see original document page 13</formula>
式中《為A曲線的微分，《為《曲線的微分；
建立一種像素點尸到Z軸距離與入射角^之間的線性關系，用公式(6)來表
示，
<formula>formula see original document page 13</formula>
式中"o、 ^)是任意參數(shù)，
將攝像單元的焦距作為y， P為像素到z軸的距離，在二次反射鏡面上的反
射點A，《)；則根據(jù)成像原理，P由公式(7)表示
<formula>formula see original document page 13</formula>
將式(7)代入式(6)，可得公式(8)， —"。*(/*備)+ 6。 (8)
根據(jù)折反射原理公式(8)用公式(9)表示
<formula>formula see original document page 13</formula>利用公式(2)、 (3)、 (9)，利用4階Runge-Kutta算法求和《的數(shù)字解，計算得到一次折反射鏡面和二次折反射鏡面的曲線。
作為優(yōu)選的另一種方案通過一次折反射鏡上的圓孔在廣角鏡頭與攝像部件 鏡頭之間成像，稱為第一成像點，第一成像點通過攝像部件鏡頭在視點處成像， 將攝像部件鏡頭的焦點距離作為fl、廣角鏡頭的焦點距離作為f2、攝像部件鏡 頭與攝像部件鏡頭的焦點的距離作為Sl、從攝像部件鏡頭到第一成像點的焦點 距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的
距離作為S4，根據(jù)鏡頭的成像公式可以得到以下關系式:
<formula>formula see original document page 14</formula> (12)
從第一折反射鏡面后的攝像部件鏡頭距離為d的地方配置廣角鏡頭，將攝像 部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，通過設計廣角鏡頭的 焦點距離f2來滿足公式(12)的要求；
對于將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭，其焦距f由下式來表
示
<formula>formula see original document page 14</formula>
另外，將合成鏡頭的直徑作為D，其放大倍數(shù)由下式來表示 "2 (14)
<formula>formula see original document page 14</formula>
在設計合成鏡頭時滿足以下公式<formula>formula see original document page 15</formula>
(15)
式中，《^是二次反射光線V3與折反射主軸Z的最大夾角。
進一步，在所述的邊緣檢測模塊中，采用邊緣檢測算法對所讀取全景視頻
圖像進行加工，得到集裝箱外形邊緣輪廓；所述的邊緣檢測算法分為以下四個 步驟
① 濾波:邊緣檢測算法主要是基于圖像強度的一階導數(shù)和二階導數(shù)，使用濾波器 來改善與噪聲有關的邊緣檢測方法的性能；
② 增強:增強邊緣的基礎是確定圖像中各點鄰域強度的變化值；
③ 檢測:在圖像中有許多點的梯度幅值比較大，邊緣檢測判據(jù)采用梯度幅值A值；
④ 定位:確定邊緣所在的像素，在子像素分辨率上估計邊緣位置，邊緣的方向也 被估計出來；
采用索貝爾，即Sobel算子作為邊緣檢測算法，Sobel算子采用3*3大小的
模板，Sobel算子用下式計算偏導數(shù)
& = (a2 +ca3 +a4) —(a0 +ca7 +a6) (16)
公式中常數(shù)c為2 ， Sobel算子用以下巻積模板來實現(xiàn)
<formula>formula see original document page 15</formula>
再進一步，確定吊具的下放距離AZ與縮放的比例N之間的關系的過程為
采用分別測量吊具離集裝箱的頂部距離為lOOmm、 200mm、 500mm、 lOOOmm、 2000mm時計算得到不同的N值，然后采用回歸的方法計算出下放距離與縮放的比例N之間的關系曲線。
所述透明外罩呈半圓體，用于保護和支撐折反射鏡面。
所述的攝像頭是模擬式攝像裝置，所述的連接單元包括連線與視頻卡，視 頻卡插入在微處理器機箱內。
或者是所述的攝像頭是數(shù)字式攝像裝置，所述的連接單元是符合通信標
準的無線網卡，所述的微處理器包括與所述無線網卡配合的TCP/IP協(xié)議、無線
網絡接口，通信協(xié)議標準為正EE802.11b。
本發(fā)明的技術構思為圖像處理與計算機視覺是一個不斷發(fā)展的新技術，原
則上采用計算機視覺進行觀測有四個目的，即預處理、最底層的特征提取、中級
特征的辯識以及通過圖像對高級情景的解釋。 一般來說，計算機視覺包括主要特
征、圖像處理以及圖像理解。圖像是人類視覺的延伸。通過機器視覺，可以幫助
操作人員立即準確地把握集裝箱上方四個孔的位置。圖像檢測快速性的基礎是視
覺所接受的信息以光為傳播媒介；而圖像信息的豐富和直觀，是其它目前各種探
測技術均不能提供如此豐富和直觀的信息。
近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為 實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360 度)，能把一個半球視野中的信息壓縮成一幅圖像， 一幅圖像的信息量更大；獲 取一個場景圖像時，ODVS在場景中的安放位置更加自由；監(jiān)視環(huán)境時ODVS 不用瞄準目標；檢測和跟蹤監(jiān)視范圍內的運動物體時算法更加簡單；可以獲得場 景的實時圖像。因此基于ODVS的全方位視覺系統(tǒng)近幾年迅速發(fā)展，正成為計 算機視覺研究中的重要領域，正EE從2000年開始舉辦每年一次的全方位視覺的 專門研討會(IEEE workshop on Omni-directional vision)。由于在集裝箱上方四個 孔的檢測至少要覆蓋整個集裝箱頂視面積，因此利用全方位視覺傳感器可以非常 方便的檢測集裝箱頂視面積，只要將全方位視覺傳感器安裝在集裝箱吊具的中間就非常容易地把握整個要吊裝的集裝箱頂視平面以及周圍的狀況，目前還沒有檢 索到將全方位視覺傳感器運用到集裝箱吊具領域的論文與專利。
因此，采用全方位視覺傳感器ODVS并利用數(shù)字圖像處理技術，結合集裝箱 上孔的分布以及集裝箱的一些特征，檢測集裝箱上的四角旋鎖是否對準集裝箱的 角孔，計算出其偏移值，根據(jù)該偏移值自動控制集裝箱吊具旋轉以及集裝箱起重 設備的移動，給集裝箱起重設備配備一雙智能化的慧眼。
本發(fā)明的有益效果主要表現(xiàn)在1)提高了操作的安全性，能對方位在200
米直徑以內的空間進行檢測，在檢測吊具上的扭鎖與集裝箱的鎖孔之間的偏差的
同時，也能幫助駕駛人員擴展視野，避免吊具與其他物體的碰撞；2)降低了操作
的難度，駕駛人員通過在駕駛室內屏幕上顯示的由全方位視覺傳感器所獲得的視
頻圖像，駕駛人員根據(jù)屏幕上的提示快速地將吊具上的扭鎖準確地插入集裝箱的
鎖孔位置；3)提高了吊具自動化程度和吊機的工作效率，計算機通過圖像檢測，
得到吊具與鎖孔的偏差量，根據(jù)該偏離狀態(tài)計算機輸出相關的控制量經電液比例
控制技術實現(xiàn)臂架的伸縮、俯仰以及吊具的伸縮、回轉等動作來實現(xiàn)吊具上的扭
鎖準確插入集裝箱的鎖孔；4)應用范圍廣，不僅適用于吊運機，也適用于龍門吊，
可以在港口、鐵路集裝箱中轉等場合得到廣泛的應用。
圖l為無死角的全方位視覺傳感器的結構示意圖； 圖2為全方位視覺傳感器所拍攝的視頻圖像示意圖》 圖3為攝像部件鏡頭與廣角鏡頭進行組合的光學原理圖； 圖4為按二次折反射原理以及水平方向平均分辨率來設計的0DVS說明圖5為按水平方向平均分辨率來設計的成像平面投影原理圖6為利用4階Runge-Kutta算法求Fl和F2的數(shù)字解的折反射鏡面曲線圖； 圖7為吊具上安裝全方位視覺傳感器的位置說明圖；圖8為吊具的扭鎖與集裝箱的鎖孔之間的位置偏差示意圖9為圖8的位置偏差上糾正了角度e偏差后的示意圖10為圖9的位置偏差上糾正了Y方向上的偏差后的示意圖11為圖10的位置偏差上糾正了X方向上的偏差后的示意圖12為吊具上的扭鎖已準確地插入集裝箱的鎖孔位置時的示意圖13為吊具的下放距離與縮放的比例N之間的關系圖14為基于全方位視覺傳感器的智能集裝箱吊具工作原理框圖。
具體實施例方式
下面結合附圖對本發(fā)明作進一步描述。 實施例1
參照圖1 圖14，本實施例將全方位視覺傳感器9安裝在吊具8的中下部， 如圖7所示，安裝要求是全方位視覺傳感器能捕捉到整個集裝箱以及周圍的視 頻圖像，并且要求所獲得的視頻圖像中心與吊具中心位置重合；全方位視覺傳 感器9通過連線和視頻卡與駕駛室內的微處理機相連接，微處理機讀取全方位視 覺傳感器獲得的視頻圖像，通過軟件檢測和計算吊具8的扭鎖與集裝箱7的鎖孔 的偏離度，根據(jù)偏離狀態(tài)計算機輸出相關的控制量經D/A轉換控制電液比例閥， 實現(xiàn)臂架的平移以及吊具的伸縮、回轉等動作，最終將吊具上的扭鎖自動準確地 插入集裝箱的鎖孔；
首先，本發(fā)明提出采用全方位視覺傳感器來獲得集裝箱頂視視頻圖像，希望 所獲得的視頻圖像在水平方向上不變形，因此需要進行水平方向平均分辨率設計， 以滿足集裝箱頂視視頻圖像不變形要求；所以在O D V S設計上可以歸結于折反 射鏡面曲線的設計，如附圖4所示，空間上的一個光源點P的入射光V1在主反射
鏡面(tl，巧)點上進行反射，反射光V2反射到次反射鏡面(t2， F0點上再 進行反射，反射光V3以角度9 1進入攝像裝置的鏡頭，在攝像單元(CCD或者CMOS)上成像。
根據(jù)成像原理， 一次入射光線V1與折反射主軸Z的夾角為①， 一次反射光線 V2與折反射主軸Z的夾角為《，過Pi點("，巧)的切線與^軸的夾角為^，法線與 Z軸的夾角為、二次反射光線V3與折反射主軸Z的夾角為《，過^點("，《)的 切線與^軸的夾角為"，法線與Z軸的夾角為^，基于上述關系可以得到公式(1):
c = 1800 -s (1) 2s = ^ _《 q =180。"^ 2s尸《_《
tan - =-^-, tan S, = ~^~~, tan Q = i
其中 《-《 F2
式中，《是一次折反射鏡面曲線，《是二次折反射鏡面曲線；
利用三角關系并進行簡化整理，得到公式(2)、 (3):
巧 _ 2ai^ —1 = 0 (2) F2'2 _2,2,-1 = 0 (3) 上式中，
解公式(2)、 (3)可以得到公式(4)、 (5);
《=a±V 2 +1 (4) (_ (5)
式中 <為巧曲線的微分，《為A曲線的微分；所述的成像平面上的點與水平面上的點之間的關系來說具有某種線性關系， 與視點S的距離為C并與Z軸相垂直的水平面L上的任意點P，在成像平面上的 有一個對應的像素點p，如附圖4所示，將水平面上的坐標用極坐標表示，這時
水平面L上的任意點P(r， z)可以用以下公式來表示，<formula>formula see original document page 20</formula> (6)
為了設計水平面上具有平均分辨率ODVS，即水平方向不變形的ODVS，在水平 面L上的任意點P與Z軸相垂直方向的坐標r和像素點p與Z軸的距離,2 /巧A) 之間要保證具有線性關系。使得以下公式能成立，<formula>formula see original document page 20</formula> (7)
根據(jù)成像原理有以下關系成立，入射角用公式(8)表示，<formula>formula see original document page 20</formula>(8)
將公式(6)、 (8)代入公式(7)并整理，得到在水平方向不變形的條件，用
公式(9)表示，<formula>formula see original document page 20</formula>
滿足公式(9)的鏡面曲線設計符合水平方向平均分辨率要求；
更進一步，通過對公式(2)、 (3)、 (9)利用4階Runge-KuUa算法求巧和《 的數(shù)字解，這樣計算得到的一次折反射鏡面和二次折反射鏡面曲線能實現(xiàn)水平方
向平均分辨率；圖6是利用4階Rimge-Kutta算法求^和《的數(shù)字解的折反射鏡 面曲線進一步，設計透明外罩2，為了使得透明外罩2不會產生內壁的反射干擾光， 如圖1所示。具體做法是將透明外罩設計成碗狀，即設計成半圓球，這樣能避免 在透明外罩2發(fā)生反射干擾光，0DVS的結構如圖1所示；更進一步，在一次折反射鏡面的頂部留出一個小孔，攝像機3通過該小孔能 拍攝到一次折反射鏡面后面的圖像信息，但是通過該小孔能拍攝到一次折反射鏡 面后面的圖像信息的大部分二次折反射鏡面上所折反射的圖像，仍然有一些空間 圖像信息被二次折反射鏡面所遮擋；本發(fā)明中將廣角鏡頭配置在二次折反射鏡面 上，設計廣角鏡頭以及確定廣角鏡頭的位置是本發(fā)明的一個任務。圖3是攝像部 件鏡頭與廣角鏡頭的位置關系圖。在圖3中將廣角鏡頭配置在一次折反射鏡的前 方和二次折反射鏡面上，攝像部件鏡頭、廣角鏡頭、 一次折反射鏡和二次折反射 鏡的中心軸配置在同一軸心線上；通過一次折反射鏡上的圓孔在廣角鏡頭與攝像 部件鏡頭之間成像，稱為第一成像點，該成像點通過攝像部件鏡頭在視點處成像。 這里將攝像部件鏡頭的焦點距離作為fl、廣角鏡頭的焦點距離作為f2、攝像部件 鏡頭與攝像部件鏡頭的焦點的距離作為Sl、從攝像部件鏡頭到第一成像點的焦點 距離作為S2、從廣角鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的距 離作為S4，根據(jù)鏡頭的成像公式可以得到以下關系式
丄=丄+丄 (10) /1 一 SI
丄=丄+丄 (11) /2 — S3 S4
要使公式(12)成立的話，也就是將圖3中的從第一折反射鏡面后的攝像部 件鏡頭距離為d的地方配置廣角鏡頭的話，就可以得到圖2中圖像中部所顯示的 廣角成像圖；但是本發(fā)明中是將廣角鏡頭配置在第二折反射鏡面上，因此將攝像 部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，只有通過設計廣角鏡頭 的焦點距離f2來滿足公式(12)的要求；
進一步，對于圖3中將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭來考慮的話，其焦距f可以由下式來表示
<formula>formula see original document page 22</formula> (13)
另外，將合成鏡頭的直徑作為D，其放大倍數(shù)可以由下式來表示
<formula>formula see original document page 22</formula>
為了將合成鏡頭的視場與ODVS的死角部分相吻合，在設計合成鏡頭時需要滿
足以下公式
Z) (15)
<formula>formula see original document page 22</formula>
式中，《皿是二次反射光線V3與折反射主軸Z的最大夾角；經過上述設計 的ODVS拍攝出來的圖像效果圖如圖2所示，從單個ODVS來說消除了原來ODVS
的死角部分，并且通過攝像部件鏡頭與廣角鏡頭的組合方式加上第一折反射鏡面
以及第二折反射鏡面的設計，能有效地覆蓋原來的ODVS的死角部分。
所述的第一折反射鏡面、第一折反射鏡面上的小孔、攝像機、透明外罩、第 二折反射鏡面、廣角鏡頭在同一中心軸線上；攝像機的鏡頭安置在第一折反射鏡 面后部的視點位置上，如圖1所示；
.所述的透明外罩，主要用于支撐第一折反射鏡面、第二折反射鏡面、廣角鏡 頭以及保護第一折反射鏡面和第二折反射鏡面不受到外界粉塵的污染而影響折反 射的質量，但是透明外罩本身也會受到外界粉塵等污染而影響圖像質量，在透明 外罩的外邊涂上一層薄膜，薄膜材料的主要成分是二氧化鈦的納米材料；
ODVS與吊具的裝配的方案，ODVS安置在吊具的中下部，并且ODVS的中心與 吊具的中心重合，如附圖7所示，ODVS的視角部分正朝下使得ODVS能捕獲到整 個集裝箱頂部視圖；由于ODVS固定在吊具的中下部，這樣就決定了吊具的外形尺寸在ODVS成像平面上的大小，如附圖8中所示，用實線矩形框表示集裝箱的外形 尺寸在ODVS成像平面上投影大??；用虛線矩形框表示的吊具外形尺寸在ODVS成 像平面上投影大??；由于集裝箱的外形尺寸以及集裝箱上的鎖孔位置是按照規(guī)范 進行制造的，吊具的扭鎖之間的尺寸也是按照規(guī)范進行制造的，因此可以將鎖孔 與扭鎖的對準問題簡化為集裝箱的外形輪廓與吊具的外形輪廓的對準問題，也就 是說，只要將附圖8中的虛線矩形框與實線矩形框完全重疊就表示了吊具的扭鎖 對準了集裝箱的鎖孔；
對于沒有明顯的吊具的外形輪廓的吊具，可以采用學習方法獲得虛擬外形輪 廓，具體做法是將吊具的扭鎖對準集裝箱的鎖孔狀態(tài)下的集裝箱外形輪廓圖像保 存在計算機中，作為虛擬外形輪廓，因此可以將鎖孔與扭鎖的對準問題簡化為集 裝箱的外形輪廓與虛擬外形輪廓的對準問題，在后面的吊裝操作過程中只要判斷 存放在計算機中的虛擬外形輪廓與實時采集到的集裝箱外形輪廓圖像是否對齊 就行了；因此下面的主要任務可以認為是集裝箱外形邊緣輪廓的檢測問題；
在吊具投入使用前，首先需要在微處理機上為吊具定制虛擬外形輪廓，定制 虛擬外形輪廓的大小與實際的吊具尺寸相吻合，如果更換、拆卸全方位視覺傳感 器后需要重新定制虛擬外形輪廓，定制的結果保存在微處理機的存儲單元中，微 處理機啟動后自動將所定制虛擬外形輪廓讀入到內存中并自動顯示該虛擬外形輪 廓；
集裝箱的邊界是描述集裝箱特征的一類非常重要的描述子，這些邊界可能在 成像過程中產生邊緣信息。邊緣是指在其周圍像素灰度有明顯變化的那些像素的 組合。邊緣是具有幅值和方向的矢量，其在圖像中表現(xiàn)為灰度的突變。邊緣檢測 就是要檢測出圖像中這種灰度的非連續(xù)性。
目前對邊緣檢測有幾種方法可以選擇，由于在本專利中期望得到的是集裝箱 的邊緣，而對邊緣輪轂的完整性以及光滑性要求不高，因此我們采用其中的計算簡單、運算速度快的經典邊緣檢測方法-微分算子法，該方法依靠對圖像進行微分 運算求得梯度來進行邊緣檢測，主要從邊緣點往往對應于一階微分幅值大的點， 同時也對應于二階微分的零交叉點出發(fā)，設計一些一階或二階微分算子，求得其 梯度或二階導數(shù)過零點，再選擇一定的閾值提取邊界。 所述的邊緣檢測方法大致上可以分為以下四個步驟
① 濾波:邊緣檢測算法主要是基于圖像強度的一階導數(shù)和二階導數(shù)，但導數(shù)的
計算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關的邊緣檢測方法的性 能。需要指出，大多數(shù)濾波器在降低噪聲的同時也導致了邊緣強度的損失。因此 邊緣增強和降低圖像噪聲之間需要取得一種平衡。
② 增強:增強邊緣的基礎是確定圖像中各點鄰域強度的變化值。增強算法可以 突出鄰域強度值有顯著變化的點。邊緣增強一般是通過計算梯度幅值來完成的。
③ 檢測:在圖像中有許多點的梯度幅值比較大，而這些點在特定的情況下并不 一定都是邊緣，所以應該用某種方法來確定那些點是邊緣點。最簡單的邊緣檢測 判據(jù)是梯度幅值A值判據(jù)。
④ 定位:確定邊緣所在的像素，如果要更精確的確定邊緣位置，也可以在子像 素分辨率上來估計邊緣位置，邊緣的方向也可以被估計出來。
在本發(fā)明中采用索貝爾(Sobel)算子作為邊緣檢測算法，Sobel算子采用3*3
大小的模板，這樣就避免了在像素之間的內插點上計算梯度。Sobel算子用下式
計算偏導數(shù)
<formula>formula see original document page 24</formula>
(16)
公式中常數(shù)c為2 ， Sobel算子可用以下巻積模板來實現(xiàn)
<formula>formula see original document page 24</formula>在實際吊裝過程中，由于吊具離集裝箱的相對位置不同，在ODVS成像平面上的集裝箱外形輪廓圖像的大小尺寸都會小于虛擬外形輪廓圖像的大小尺寸，在將 吊具的扭鎖對準了集裝箱的鎖孔并插入時，這兩者的大小尺寸相等；從圖像處理
角度來看，可以歸結為旋轉、平移、縮放過程；從吊具的控制角度來看，可以歸 結為旋轉控制、平移控制、上下控制；為了圖像處理方便，我們分別在集裝箱外 形輪廓圖像和虛擬外形輪廓圖像上作對角線，兩條對角線之間的夾角就是所需要 旋轉的角度e ，旋轉的中心是虛擬外形輪廓圖像上的對角線的中點，即顯示圖像的 中心；兩條對角線的中點之間的距離就是所需要平移的距離AX、 AY，兩條對角 線的長度比就是要縮放的比例N;
要實現(xiàn)吊具的自動控制，首先要計算出偏移量，然后根據(jù)所計算出的偏移量， 通過D/A轉換輸出相應的控制電壓量，驅動電液比例閥控制臂架的伸縮、俯仰以 及吊具的伸縮、回轉等，使得吊具上的扭鎖準確地插入集裝箱的鎖孔；這些功能
是在檢測與控制模塊中實現(xiàn)的，所述的檢測與控制模塊中包括，旋轉的角度e的
檢測與控制單元，平移距離的檢測與控制單元，吊具的下放距離的檢測與控制單 元；
所述的旋轉的角度e的檢測與控制單元，用于檢測虛擬外形輪廓圖像上的對
角線是否與集裝箱外形輪廓圖像上對角線平行，如果檢測結果是不平行的話，需
要將吊具旋轉的一個角度差e，使得兩條對角線平行；因此首先要計算所需要旋 轉的角度e ，如附圖8所示，旋轉角度e的計算方法是，
。 jl'-y2'、 ，yl-y2、 (18)
6* = arctan(~^-r) _ arctan(-)
xl _ x2 xl - x2
式中，(xl， ，yl' )、 (x2' ，y2，)是虛擬外形輪廓圖像上對角線上的兩個點 的坐標；(xl，yl)、 (x2，y2)是集裝箱外形輪廓圖像上對角線上的兩個點的坐標； 吊具旋轉角度e后的圖像如附圖9所示，從圖中可以看出經過旋轉角度e后的吊 具、即虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線平行；所述的平移距離的檢測與控制單元，用于檢測虛擬外形輪廓圖像上的中心點 是否與集裝箱外形輪廓圖像上的中心點是否出現(xiàn)偏離，如果檢測結果存在偏離的
話，需要將吊具平移一個偏移值，使得虛擬外形輪廓圖像上的中心點是否與集裝 箱外形輪廓圖像上的中心點重合；因此首先要獲得集裝箱吊具的平移距離，我們 通過計算兩條對角線的中點之間的距離來獲得吊具所需要平移的距離AX、 AY， 首先移動AX、 AY的距離計算，計算公式由(19)所示， —yl + y2) (19)
吊具移動AY后的圖像如附圖IO所示，從圖中可以看出經過移動吊具AY后， 吊具位置已經與集裝箱平行；
更進一步，為了使得吊具的中心位置與集裝箱的中心位置完全重合，還需要 移動AX距離，AX計算公式由(20)所示，
, ,xl' _ x2' _ xl + x2、 Ax = ("-^-)
2 (20)
通過移動AX距離后，如附圖ll所示，吊具的中心位置與集裝箱的中心位置 完全重合；在檢測到虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角 線平行，且吊具的中心位置與集裝箱的中心位置完全重合情況下，接下來的是吊 具的下放動作，使得吊具上的扭鎖準確地插入集裝箱的鎖孔中；
所述的吊具的下放距離的檢測與控制單元，用于檢測吊具上的扭鎖離插入到 集裝箱的鎖孔內所需的距離AZ，并控制吊具的下放AZ的距離，使得吊具上的 扭鎖插入到集裝箱的鎖孔內；因此首先需要計算吊具所需要的下放距離AZ;我 們可以通過計算虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線 的長度比來獲得吊具的下放距離，因此首先要計算兩者縮放的比例N，計算公式 用(21)表示，如-x2)2 +01-y2)2 (21)
式中，N表示虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線 的長度比，N越大表示吊具離集裝箱的頂部距離越遠，反之越近，當N為1時表 示吊具上的扭鎖已準確地插入集裝箱的鎖孔位置，為了獲得實際吊具的下放距 離，可以采用標定的方式來確定吊具的下放距離與縮放的比例N之間的關系，比 如我們可以采用分別測量吊具離集裝箱的頂部距離為100mm、 200腿、500mm、 1000mm、 2000腿時計算得到不同的N值，然后采用回歸的方法計算出下放距離與 縮放的比例N之間的關系曲線，用附圖13表示；實際使用中根據(jù)計算所得到的縮 放的比例N值的大小，通過圖13所示的圖表得到實際所需要的吊具的下放距離A Z，根據(jù)該AZ值輸出相對應的控制電壓值，驅動電液比例闊控制吊具的下降， 使得吊具上的扭鎖完全插入集裝箱的鎖孔內；接著在吊具上的扭鎖完全插入集裝 箱的鎖孔內后，控制吊具上的扭鎖旋轉90°角度，使得吊具上的扭鎖緊扣在集 裝箱的鎖孔內，最后就可以實現(xiàn)起吊工作。
下面對目前的RSC45-5M型集裝箱正面吊運機的自動化吊裝技術改造為例，說 明基于全方位視覺傳感器的智能集裝箱吊具工作原理，系統(tǒng)的基本組成由附圖14 給出，液壓系統(tǒng)為開式系統(tǒng)回路，2臺主油泵采用結構緊湊、工作壓力高、對液 壓油污染不敏感的恒壓恒流量柱塞泵，安裝在液力變矩器取力口上，由柴油發(fā)動 機驅動，柱塞泵l通過轉向器和流量放大器優(yōu)先為轉向系統(tǒng)提供壓力油，與柱塞 泵2合流經主閥后供油給臂架系統(tǒng)，齒輪泵與柱塞泵1同軸驅動，單獨供油給剎 車系統(tǒng)，吊具系統(tǒng)直接由柱塞泵2供油；主閥用于控制主液壓系統(tǒng)，釆用負載適 應控制，根據(jù)工況的變化自行調節(jié)主油泵的輸出流量，達到節(jié)能效果；由電液比 例控制技術實現(xiàn)對閥門的控制，實現(xiàn)控制操縱臂架的伸縮、俯仰以及吊具的伸縮、 回轉等功能；目前的技術，如圖中所示的閥門是由駕駛人員操作駕駛室內的手柄來實現(xiàn)臂架的伸縮、俯仰以及吊具的伸縮、回轉等動作；本發(fā)明提出的方案是，1) 輔助駕駛人員操作，使得在駕駛人員通過肉眼看不見或者看不清楚集裝箱頂部上 的鎖孔情況下，通過全方位視覺傳感器所獲得的視頻圖像，幫助駕駛人員快速地 將吊具上的扭鎖準確地插入集裝箱的鎖孔位置；2)完全實現(xiàn)自動化操作，通過 全方位視覺傳感器所獲得的視頻圖像，檢測吊具的扭鎖與集裝箱的鎖孔的偏離， 根據(jù)偏離狀態(tài)計算機輸出相關的控制量經電液比例控制技術實現(xiàn)臂架的伸縮、俯 仰以及吊具的伸縮、回轉等動作來實現(xiàn)吊具上的扭鎖準確插入集裝箱的鎖孔；偏
移量的計算是通過公式(18)、 (19)、 (20)得到的，吊具的伸縮控制量是通過公 式(21)的計算來得到的。
全方位視覺傳感器通過視頻卡與PC機相連接，在PC機中實現(xiàn)上述的算法， 計算后的偏差通過D/A接口控制電液比例閥，實現(xiàn)對臂架的伸縮、俯仰以及吊具 的伸縮、回轉等控制，本實施例中的實現(xiàn)算法是由Java語言實現(xiàn)的。
實施例2
參照圖1-圖14，本實施例的全方位視覺傳感器與PC機之間采用無線通信的
方式，將集裝箱頂部周圍的視頻圖像通過無線的方式傳輸給計算機，計算機根據(jù)
所給定的算法計算吊具上的扭鎖與集裝箱的鎖孔之間的偏差，然后根據(jù)該偏離狀 態(tài)計算機輸出相關的控制量經電液比例控制技術實現(xiàn)臂架的伸縮、俯仰以及吊具
的伸縮、回轉等動作來實現(xiàn)吊具上的扭鎖準確插入集裝箱的鎖孔。 其余結構和工作過程與實施例1相同。 實施例3
參照圖1-圖14，本實施例是駕駛人員通過在駕駛室內屏幕上顯示的由全方 位視覺傳感器所獲得的視頻圖像，駕駛人員根據(jù)屏幕上的提示快速地將吊具上的 扭鎖準確地插入集裝箱的鎖孔位置。
其余結構和工作過程與實施例1相同。
權利要求
1、一種基于全方位視覺傳感器的智能集裝箱吊具，包括微處理器、用于視頻測量集裝箱吊具的扭鎖與集裝箱的鎖孔之間偏差的視覺傳感器、用于控制吊機的臂架伸縮、俯仰以及吊具的伸縮、回轉的執(zhí)行模塊和用于吊裝集裝箱的吊具，所述視覺傳感器與微處理器連接，所述微處理器與執(zhí)行模塊連接，所述微處理器安裝在吊機的控制室內，其特征在于所述視覺傳感器為全方位視覺傳感器，所述全方位視覺傳感器安裝在所述吊具的中下部，所述全方位視覺傳感器包括一次折反射鏡面、二次折反射鏡面、透明外罩和攝像部件，所述一次折反射鏡面和二次折反射鏡面安裝在透明外罩上，所述攝像部件位于一次折反射鏡面后面的視點上，所述二次折反射鏡面位于一次折反射鏡面的前面，所述一次折反射鏡面和二次折反射鏡面上均開有一個小孔，所述二次折反射鏡面內嵌入廣角鏡頭，所述攝像部件鏡頭、廣角鏡頭、一次折反射鏡和二次折反射鏡的中心軸配置在同一軸心線上；所述微處理器包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；虛擬外形輪廓定制模塊，用于設定與采集的集裝箱外形輪廓圖像進行比對的標準輪廓；邊緣檢測模塊，用于對所讀取全景視頻圖像進行邊緣檢測處理，得到集裝箱外形邊緣輪廓；檢測與控制模塊，用于將邊緣檢測模塊中所得到的集裝箱外形邊緣輪廓與虛擬外形輪廓定制模塊所定制的虛擬外形輪廓進行比對，計算出偏移量，然后根據(jù)所計算出的偏移量，向所述執(zhí)行模塊發(fā)出控制指令；所述的檢測與控制模塊中包括，旋轉的角度θ的檢測與控制單元，用于檢測虛擬外形輪廓圖像上的對角線是否與集裝箱外形輪廓圖像上對角線平行，當檢測結果是不平行時，將吊具旋轉的一個角度差θ，角度差θ的計算方法是<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>θ</mi><mo>=</mo><mi>arctan</mi><mrow> <mo>(</mo> <mfrac><mrow> <msup><mrow> <mi>y</mi> <mn>1</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <msup><mrow> <mi>y</mi> <mn>2</mn></mrow><mo>′</mo> </msup></mrow><mrow> <msup><mrow> <mi>x</mi> <mn>1</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <msup><mrow> <mi>x</mi> <mn>2</mn></mrow><mo>′</mo> </msup></mrow> </mfrac> <mo>)</mo></mrow><mo>-</mo><mi>arctan</mi><mrow> <mo>(</mo> <mfrac><mrow> <mi>y</mi> <mn>1</mn> <mo>-</mo> <mi>y</mi> <mn>2</mn></mrow><mrow> <mi>x</mi> <mn>1</mn> <mo>-</mo> <mi>x</mi> <mn>2</mn></mrow> </mfrac> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo></mrow> </mrow>]]></math></maths>式中，(x1’，y1’)、(x2’，y2’)是虛擬外形輪廓圖像上對角線上的兩個點的坐標；(x1，y1)、(x2，y2)是集裝箱外形輪廓圖像上對角線上的兩個點的坐標；平移距離的檢測與控制單元，用于檢測虛擬外形輪廓圖像上的中心點是否與集裝箱外形輪廓圖像上的中心點是否出現(xiàn)偏離，當檢測結果存在偏離時，獲得集裝箱吊具的平移距離，通過計算兩條對角線的中點之間的距離來獲得吊具所需要平移的距離ΔX、ΔY，首先移動ΔX、ΔY的距離計算，計算公式由(19)所示，<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><mi>Δy</mi><mo>=</mo><mrow> <mo>(</mo> <mfrac><mrow> <msup><mrow> <mi>y</mi> <mn>1</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <msup><mrow> <mi>y</mi> <mn>2</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <mi>y</mi> <mn>1</mn> <mo>+</mo> <mi>y</mi> <mn>2</mn></mrow><mn>2</mn> </mfrac> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>19</mn> <mo>)</mo></mrow> </mrow>]]></math></maths>需要移動ΔX距離，ΔX計算公式由(20)所示，<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><mi>Δx</mi><mo>=</mo><mrow> <mo>(</mo> <mfrac><mrow> <msup><mrow> <mi>x</mi> <mn>1</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <msup><mrow> <mi>x</mi> <mn>2</mn></mrow><mo>′</mo> </msup> <mo>-</mo> <mi>x</mi> <mn>1</mn> <mo>+</mo> <mi>x</mi> <mn>2</mn></mrow><mn>2</mn> </mfrac> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo></mrow><mo>;</mo> </mrow>]]></math></maths>將吊具平移一個偏移值，使虛擬外形輪廓圖像上的中心點與集裝箱外形輪廓圖像上的中心點重合吊具的下放距離的檢測與控制單元，用于檢測吊具上的扭鎖離插入到集裝箱的鎖孔內所需的距離ΔZ，計算吊具所需要的下放距離ΔZ，通過計算虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線的長度比來獲得吊具的下放距離，首先要計算兩者縮放的比例N，計算公式用(21)表示，<maths id="math0004" num="0004" ><math><![CDATA[ <mrow><mi>N</mi><mo>=</mo><mfrac> <msqrt><msup> <mrow><mo>(</mo><msup> <mrow><mi>x</mi><mn>1</mn> </mrow> <mo>′</mo></msup><mo>-</mo><msup> <mrow><mi>x</mi><mn>2</mn> </mrow> <mo>′</mo></msup><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><msup> <mrow><mi>y</mi><mn>1</mn> </mrow> <mo>′</mo></msup><mo>-</mo><msup> <mrow><mi>y</mi><mn>2</mn> </mrow> <mo>′</mo></msup><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt> <msqrt><msup> <mrow><mo>(</mo><mi>x</mi><mn>1</mn><mo>-</mo><mi>x</mi><mn>2</mn><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><mi>y</mi><mn>1</mn><mo>-</mo><mi>y</mi><mn>2</mn><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>21</mn> <mo>)</mo></mrow> </mrow>]]></math></maths>式中，N表示虛擬外形輪廓圖像上的對角線與集裝箱外形輪廓圖像上對角線的長度比，N越大表示吊具離集裝箱的頂部距離越遠，反之越近，當N為1時表示吊具上的扭鎖已準確地插入集裝箱的鎖孔位置；采用下放距離ΔZ標定回歸的方式來確定吊具的下放距離ΔZ與縮放的比例N之間的關系，即ΔZ＝f(N)，從(21)所求得的縮放的比例N根據(jù)ΔZ＝f(N)的函數(shù)關系得到下放距離ΔZ。
2、如權利要求l所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在于所述一次折反射鏡面和二次折反射鏡面的曲線是按照平均角分辨率方式進行設 計，具體有一次入射光線VI與折反射主軸Z的夾角為①， 一次反射光線V2與折反射主 軸Z的夾角為《，過S點(^FJ的切線與^軸的夾角為^，法線與Z軸的夾角為s;二次反射光線V3與折反射主軸Z的夾角為《，過A點(q,^)的切線與^軸的夾 角為"，法線與Z軸的夾角為&，基于上述關系可以得到公式(1):<formula>formula see original document page 4</formula>式中，巧是一次折反射鏡面曲線，《是二次折反射鏡面曲線； 利用三角關系并進行簡化整理，得到公式(2)、 (3):<formula>formula see original document page 4</formula>上式中，解公式(2)、 (3)可以得到公式(4)、 (5);<formula>formula see original document page 5</formula>(4)<formula>formula see original document page 5</formula>(5)式中《為A曲線的微分，《為《曲線的微分；建立一種像素點P到Z軸距離與入射角^之間的線性關系，用公式(6)來表示，<formula>formula see original document page 5</formula> (6)式中"。、^是任意參數(shù)，將攝像單元的焦距作為,，戶為像素到z軸的距離，在二次反射鏡面上的反射點^，巧)；則根據(jù)成像原理，P由公式(7)表示<formula>formula see original document page 5</formula>(7) 將式(7)代入式(6)，可得公式(8)，<formula>formula see original document page 5</formula>根據(jù)折反射原理公式(8)用公式(9)表示<formula>formula see original document page 5</formula>利用公式(2)、 (3)、 (9)，利用4階Runge-Kutta算法求和^的《數(shù)字解，計算得到一次折反射鏡面和二次折反射鏡面的曲線。
3、如權利要求1或2所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在 于通過一次折反射鏡上的圓孔在廣角鏡頭與攝像部件鏡頭之間成像，稱為第 一成像點，第一成像點通過攝像部件鏡頭在視點處成像，將攝像部件鏡頭的焦 點距離作為fl、廣角鏡頭的焦點距離作為f2、攝像部件鏡頭與攝像部件鏡頭的 焦點的距離作為S1、從攝像部件鏡頭到第一成像點的焦點距離作為S2、從廣角 鏡頭到第一成像點的距離作為S3、從廣角鏡頭到實物點的距離作為S4，根據(jù)鏡 頭的成像公式可以得到以下關系式<formula>formula see original document page 6</formula><formula>formula see original document page 6</formula>(11)<formula>formula see original document page 6</formula>(12)從第一折反射鏡面后的攝像部件鏡頭距離為d的地方配置廣角鏡頭，將攝像 部件鏡頭與廣角鏡頭的之間的距離d作為一個約束條件，通過設計廣角鏡頭的 焦點距離f2來滿足公式(12)的要求；對于將攝像部件鏡頭與廣角鏡頭作為一個組合鏡頭，其焦距f由下式來表示<formula>formula see original document page 6</formula>(13)另外，將合成鏡頭的直徑作為D，其放大倍數(shù)由下式來表示 <formula>formula see original document page 6</formula>(14)在設計合成鏡頭時滿足以下公式<formula>formula see original document page 6</formula>(15)式中，《皿是二次反射光線V3與折反射主軸Z的最大夾角。
4、如權利要求1或2所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在 于在所述的邊緣檢測模塊中，采用邊緣檢測算法對所讀取全景視頻圖像進行加 工，得到集裝箱外形邊緣輪廓；所述的邊緣檢測算法分為以下四個步驟 ①濾波:邊緣檢測算法主要是基于圖像強度的一階導數(shù)和二階導數(shù)，使用濾波器來改善與噪聲有關的邊緣檢測方法的性能；② 增強:增強邊緣的基礎是確定圖像中各點鄰域強度的變化值；③ 檢測:在圖像中有許多點的梯度幅值比較大，邊緣檢測判據(jù)采用梯度幅值A值;④ 定位:確定邊緣所在的像素，在子像素分辨率上估計邊緣位置，邊緣的方向也 被估計出來； ，采用索貝爾，即Sobel算子作為邊緣檢測算法，Sobel算子采用3傘3大小的 模板，Sobel算子用下式計算偏導數(shù)<formula>formula see original document page 7</formula> (16)<formula>formula see original document page 7</formula>公式中常數(shù)c為2 ， Sobel算子用以下巻積模板來實現(xiàn)<formula>formula see original document page 7</formula>
5、 如權利要求3所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在于 確定吊具的下放距離AZ與縮放的比例N之間的關系的過程為采用分別測量吊具離集裝箱的頂部距離為lOOmm、 200mm、 500mm、 lOOOmm、 2000mm時計算得到不同的N值，然后采用回歸的方法計算出下放距離與縮放的比例N之間的關 系曲線。
6、 如權利要求5所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在于 所述的透明外罩的外形設計滿足曲線可微分條件以減少干擾光對折反射成像的影 響，將透明外罩設計成半球狀，在透明外罩的外邊涂上一層薄膜，薄膜材料的主 要成分是二氧化鈦的納米材料。
7、 如權利要求3所述的基于全方位視覺傳感器的智能集裝箱吊具，其特征在于所述的攝像頭是模擬式攝像裝置，所述的連接單元包括連線與視頻卡，視頻卡 插入在微處理器機箱內。
8、如權利要求3所述的一種基于全方位視覺傳感器的智能集裝箱吊具，其特征在 于所述的攝像頭是數(shù)字式攝像裝置，所述的連接單元是符合通信標準的無線 網卡，所述的微處理器包括與所述無線網卡配合的TCP/IP協(xié)議、無線網絡接口， 通信協(xié)議標準為正EE802.11b。
全文摘要
一種基于全方位視覺傳感器的智能集裝箱吊具，包括微處理器、用于視頻測量集裝箱吊具的扭鎖與集裝箱的鎖孔之間偏差的視覺傳感器、用于控制吊機的臂架伸縮、俯仰以及吊具的伸縮、回轉的執(zhí)行模塊和吊具，視覺傳感器與微處理器連接，微處理器與執(zhí)行模塊連接，微處理器安裝在吊機的控制室內，視覺傳感器為全方位視覺傳感器，全方位視覺傳感器安裝在吊具的中下部，微處理器包括圖像數(shù)據(jù)讀取模塊、虛擬外形輪廓定制模塊、邊緣檢測模塊和檢測與控制模塊，檢測與控制模塊包括旋轉的角度θ的檢測與控制單元、平移距離的檢測與控制單元和吊具的下放距離的檢測與控制單元。本發(fā)明能夠輔助操作人員操作、降低操作難度、提高操作安全性、增加工作效率。
文檔編號B66C13/16GK101289156SQ20081006212
公開日2008年10月22日 申請日期2008年5月30日 優(yōu)先權日2008年5月30日
發(fā)明者楊冠寶, 湯一平 申請人:浙江工業(yè)大學