專利名稱：藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于液體藥品中的可見(jiàn)異物的智能機(jī)器視覺(jué)檢測(cè)技術(shù)領(lǐng)域，涉及一種藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法。
背景技術(shù)：
醫(yī)用大輸液、安瓿瓶、西林瓶等液體藥品在生產(chǎn)過(guò)程中由于生產(chǎn)工藝和封裝工藝的缺陷，藥液中可能含有毛發(fā)、纖維、固體不溶物、玻璃碎屑等可見(jiàn)異物，一旦進(jìn)入病人血管將嚴(yán)重威脅病人的生命安全，因此藥品出廠前需要逐瓶進(jìn)行可見(jiàn)異物檢測(cè)，俗稱“燈檢”，剔除含有異物的次品。基于機(jī)器視覺(jué)的藥液異物檢測(cè)設(shè)備采用視覺(jué)傳感、圖像處理、模式識(shí)別等技術(shù)，實(shí)現(xiàn)藥液異物在線檢測(cè)。在藥液異物檢測(cè)設(shè)備單機(jī)系統(tǒng)中，由夾持裝置帶動(dòng)藥瓶高速旋轉(zhuǎn)一定時(shí)間后急停，當(dāng)整個(gè)機(jī)械裝置恢復(fù)靜止?fàn)顟B(tài)時(shí)，瓶?jī)?nèi)液體由于慣性繼續(xù)旋轉(zhuǎn)流動(dòng)，用CCD工業(yè)相機(jī)拍攝5 10幀連續(xù)圖像，對(duì)所獲取的圖像進(jìn)行相鄰幀間差分，去掉靜止的背景，保留運(yùn)動(dòng)的可見(jiàn)異物，根據(jù)異物的灰度和面積等信息將其判斷為正品或次品，目前藥液異物檢測(cè)設(shè)備單機(jī)已經(jīng)在藥品質(zhì)量檢測(cè)部門的抽樣檢查中得到廣泛應(yīng)用。液體藥品生產(chǎn)廠家需要在生產(chǎn)線上完成液體藥品的全自動(dòng)無(wú)人值守?zé)魴z，在從單機(jī)到全自動(dòng)生產(chǎn)線的遷移過(guò)程中，為了在線模擬單機(jī)的檢測(cè)環(huán)境，通常采用凸輪間歇式系統(tǒng)或伺服跟蹤式系統(tǒng)，以保證在圖像獲取階段夾持裝置和瓶體等背景與CCD工業(yè)相機(jī)保持相對(duì)靜止。在凸輪間歇式系統(tǒng)中，工業(yè)相機(jī)和光源等光學(xué)成像部件固定，瓶體夾持在主輪盤上，采用機(jī)械凸輪或者電子凸輪帶動(dòng)主輪盤作“加速旋轉(zhuǎn)-勻速旋轉(zhuǎn)-減速旋轉(zhuǎn)-靜止”的間歇式周期運(yùn)動(dòng)，每個(gè)周期主輪盤旋轉(zhuǎn)整數(shù)個(gè)檢測(cè)工位，在主輪盤靜止階段獲取圖像。在伺服跟蹤式系統(tǒng)中，瓶體夾持在主輪盤上隨主輪盤勻速運(yùn)動(dòng)，工業(yè)相機(jī)和光源等光學(xué)成像部件固定在從輪盤上，用伺服電機(jī)帶動(dòng)從輪盤作“正向加速-正向勻速跟蹤-正向減速-反向加速-反向減速”的周期擺動(dòng)，在從輪盤運(yùn)動(dòng)一個(gè)周期時(shí)間內(nèi)，主輪盤旋轉(zhuǎn)整數(shù)個(gè)工位，當(dāng)從輪盤處于正向勻速跟蹤階段時(shí)，主輪盤和從輪盤的角速度相同，保持相對(duì)靜止，工業(yè)相機(jī)獲取圖像。但是在實(shí)際的全自動(dòng)高速生產(chǎn)線上面臨以下主要技術(shù)難題(1)由于機(jī)械加工及裝配誤差，在系統(tǒng)高速運(yùn)行時(shí)，系統(tǒng)振動(dòng)不可避免，并且隨著機(jī)械運(yùn)行速度的提高，振動(dòng)幅度急劇上升；(2)凸輪間歇式系統(tǒng)在主輪盤靜止階段，瓶體與工業(yè)相機(jī)之間仍有一定程度的抖動(dòng)；伺服跟蹤式系統(tǒng)在從輪盤正向勻速跟蹤階段，瓶體與相機(jī)之間不能保證絕對(duì)同步；(3)伺服電機(jī)的離散編碼器導(dǎo)致電氣傳動(dòng)部分在跟蹤或者停止時(shí)總會(huì)有一定程度的抖動(dòng)。以上問(wèn)題導(dǎo)致圖像獲取階段CXD工業(yè)相機(jī)與機(jī)械裝置和瓶體之間不能保持理想的相對(duì)靜止?fàn)顟B(tài)，使得傳統(tǒng)的幀間差分算法不能去掉夾持裝置和瓶體等背景的干擾，無(wú)法區(qū)分背景與可見(jiàn)異物，致使檢測(cè)失效(如

圖12. b所示)，并且隨著系統(tǒng)運(yùn)行速度的提高，干擾急劇增強(qiáng)，成為制約檢測(cè)速度提高的關(guān)鍵瓶頸。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，本發(fā)明的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法能有效的消除機(jī)電系統(tǒng)的振動(dòng)干擾，魯棒性強(qiáng)，降低了系統(tǒng)對(duì)機(jī)械加工及裝配精度和伺服電機(jī)編碼器精度、跟蹤精度的要求，降低藥液異物檢測(cè)設(shè)備的設(shè)計(jì)制造成本。本發(fā)明的技術(shù)構(gòu)思如下在將藥液異物檢測(cè)設(shè)備從單機(jī)到全自動(dòng)生產(chǎn)線的遷移過(guò)程中，因?yàn)閬?lái)自機(jī)電系統(tǒng)的振動(dòng)干擾導(dǎo)致傳統(tǒng)的幀間差分檢測(cè)方法失效，本發(fā)明采用相位相關(guān)的圖像匹配方法對(duì)所獲取的原圖像進(jìn)行預(yù)處理。實(shí)驗(yàn)證明，僅對(duì)原圖像進(jìn)行像素級(jí)精度的匹配處理不能有效消除振動(dòng)干擾(如圖12. c所示)。因此需要進(jìn)行亞像素級(jí)精度的匹配預(yù)處理?；谙辔幌嚓P(guān)的亞像素級(jí)的圖像匹配常規(guī)算法為了實(shí)現(xiàn)精度為1/s個(gè)像素的亞像素圖像匹配，需要進(jìn)行上采樣，通常的步驟為(1)對(duì)原圖像I“X，y)和I2(x, y)(大小為NXM)進(jìn)行快速傅里葉變換得到F1 (u, ν)和F2 (u，ν)，計(jì)算非歸一化互功率譜，P\u,v) = Fl(u,v)F*(u,v) ^⑴其中冗為F2的復(fù)共軛；(2)將P ‘ (U，ν)嵌入到大小為sNX sM的零矩陣中央，得到戶伊，巧，其中 μ ,ν e
；(3)對(duì)戶伊作快速傅里葉逆變換得到上采樣的互相關(guān)矩陣歹(^7)，大小也為 sNXsM，其中諷-l]，i7e
，尋找Rty)的峰值位置 Um，ym)，貝U (xm/s,ym/s)即為在精度1/s個(gè)像素下兩幅圖像的亞像素級(jí)偏移量。上述步驟中Ρ( , V)和歹(J, y)通常會(huì)占據(jù)大量?jī)?nèi)存，計(jì)算歹^ y)的復(fù)雜度為 OWVM[l0gf + d0gf]}(A^M)，隨著計(jì)算精度的提高，計(jì)算復(fù)雜度和存儲(chǔ)量需求劇增，例如對(duì)于兩幅IOMX IOM大小的圖像，要計(jì)算1/20像素精度偏移量時(shí)，按照double型數(shù)據(jù)占8字節(jié)計(jì)算，需要10MX10MX20X20X8字節(jié)，即3. 125G的存儲(chǔ)空間，而且計(jì)算量太大，無(wú)法滿足實(shí)時(shí)性要求，因此本發(fā)明采用基于快速爬山搜索的相位相關(guān)亞像素圖像匹配算法，在不降低匹配精度的前提下大大降低計(jì)算的時(shí)間復(fù)雜度和空間復(fù)雜度，具體推導(dǎo)如下考慮到戶伊，中大部分?jǐn)?shù)據(jù)都為零，如果采用快速傅里葉變換會(huì)造出很大的浪費(fèi)，本發(fā)明對(duì)原始的二維傅里葉逆變換式(2)進(jìn)行化簡(jiǎn)，= sN sM (2) 其中茫，^^隊(duì)諷-巧，歹，^^隊(duì)說(shuō)-!]。只考慮戶間 Γ)中的嵌入非零數(shù)據(jù)P' (u，v)， 將式⑵中_換為^^ + “ u e
，_換為°"_。1聊+乂 ν e
，得到
-ηrI，DΠ‘
權(quán)利要求
1.一種藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，包括以下步驟步驟1 圖像獲取夾持裝置帶動(dòng)瓶體高速旋轉(zhuǎn)后急停，當(dāng)瓶體與CCD工業(yè)相機(jī)保持相對(duì)靜止時(shí)，用CXD工業(yè)相機(jī)對(duì)瓶體拍照，連續(xù)獲取多幀灰度圖像；步驟2 圖像匹配采用基于爬山搜索的相位相關(guān)亞像素圖像匹配算法對(duì)相鄰幀灰度圖像進(jìn)行匹配預(yù)處理；步驟3 幀間差分對(duì)匹配后的相鄰幀灰度圖像進(jìn)行差分，以去掉靜止的背景信息，保留運(yùn)動(dòng)的異物信息；步驟4 目標(biāo)檢測(cè)對(duì)幀間差分操作后得到的圖像進(jìn)行二值化分割和連通域搜索，計(jì)算出各個(gè)異物區(qū)域的面積，并找出最大的異物面積；步驟5 決策判斷根據(jù)最大的異物面積是否超標(biāo)判斷當(dāng)前產(chǎn)品是否為次品，檢測(cè)過(guò)程結(jié)束。
2.根據(jù)權(quán)利要求1所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述的基于爬山搜索的相位相關(guān)亞像素圖像匹配算法的偏移量計(jì)算方法步驟為(1)對(duì)相鄰的2幀灰度圖像I1(Xjy)和I2(x,y)進(jìn)行快速傅里葉變換分別得到F1(U5V) 和F2 (u, ν)，計(jì)算非歸一化互功率譜廣(Kν) = Fl(^v)F;(u,ν)，為F2的復(fù)共軛，對(duì)P' (u, ν) 進(jìn)行快速傅里葉逆變換，得到δ (x,y) =F_i(P' (u，v))，找到δ (x,y)中的最大值的坐標(biāo) ( ，y0)，即為2幀灰度圖像之間偏移量的像素級(jí)粗估計(jì)；(2)采用爬山搜索進(jìn)一步求兩原圖像之間的亞像素級(jí)偏移量，包括以下具體步驟A.初始化j = 1，中心點(diǎn)= ，砂。)，其中整數(shù)s為上采樣系數(shù)，即亞像素匹配精度；}2π (>y_l)(無(wú)+y) ux vyB·用布3) = ^ 1 -1,,作2計(jì)算中心點(diǎn)廣~、的8鄰域s NM M=O ν=0A1 (χ, y)中未知 ms(x, y)，其中茫 e - i，+!] ,ye [先-1,兄 +1]；C.尋找8鄰域4僅37)中的最大值元(巧，37;)，如果元(巧，37;)>歹(^;)，則以(5，37;)為新的中心點(diǎn)( ) = (^)，j = ]_+1，跳轉(zhuǎn)到8;如果元(巧,巧)《歹(‘先.)，循環(huán)終止，跳轉(zhuǎn)到 D ；D.兄)即為所要找的峰值點(diǎn)，閃令，兄Λ)為精度1/S個(gè)像素的亞像素偏移量，將該偏移量記為(ΔΧ，Ay)；基于爬山搜索的相位相關(guān)的亞像素圖像匹配的偏移量計(jì)算歸納為(Δχ，Ay)= REG(Ik, Ik+1，s)，其中ΔΧ為圖像的水平偏移、Ay為圖像的垂直偏移，函數(shù)REG(·)表示偏移量計(jì)算函數(shù)，s為整數(shù)，表示上采樣系數(shù)，偏移量的計(jì)算精度為1/s個(gè)像素，Ik和Ik+1為輸入的兩幀原圖像；亞像素圖像匹配算法的反偏移重構(gòu)方法為按照偏移量(Δχ，Ay)對(duì)輸出圖像I進(jìn)行反向平移重構(gòu)Ir =REC(IMAy) = F' [e N M F(u,v)], 其中F(u，ν)表示輸入圖像I的傅里葉變換，ΓΥ ·)表示傅里葉逆變換，Ir表示平移后的輸出圖像，REC(·)為重構(gòu)函數(shù)的簡(jiǎn)化表示。
3.根據(jù)權(quán)利要求2所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，獲取像素級(jí)的偏移向量(χο，y。)的過(guò)程為(1)對(duì)相鄰的2幀灰度圖像I1(x, y)和I2 (x, y)進(jìn)行快速傅里葉變換得到F1 (u, ν)和 F2 (u, ν)；(2)計(jì)算非歸一化互功率譜V) = ^(W5V)F; ν). (3)對(duì)P'(U, V)進(jìn)行快速傅里葉逆變換得到相位相關(guān)矩陣δ (χ, y)；(4)尋找δ(x,y)中的最大值δω(Χ(|，％)，(x0, y0)即為兩原圖像之間的像素級(jí)偏移向量。
4.根據(jù)權(quán)利要求3所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述步驟2中的圖像匹配包括粗略匹配和精細(xì)匹配兩個(gè)步驟A 粗略匹配在計(jì)算粗略偏移向量(Δ\，Ayr)之前需要對(duì)待檢測(cè)區(qū)域內(nèi)的異物進(jìn)行模糊化，即采用15X15的均值平滑模板W1作為低通濾波器，對(duì)Ik中待檢測(cè)區(qū)域?yàn)V波，得到 Iwk，然后調(diào)用偏移量計(jì)算函數(shù)REG(·)計(jì)算Iwk、IwM2間的偏移向量(Δ^，Δ[)，再調(diào)用重構(gòu)函數(shù)REC( ·)對(duì)原圖像Ik+1按照(Δ&，Ayr)的反方向進(jìn)行反偏移重構(gòu)，得到11^+1，完成第k幀圖像與第k+Ι幀圖像之間的粗略匹配，即圖像Ik與Irk+1 ；B.精細(xì)匹配選取粗略匹配的圖像Ik與Irk+1中對(duì)應(yīng)點(diǎn)的較小灰度值作為公共背景，用于替換粗略匹配的圖像Ik與IiV1的待檢測(cè)區(qū)域，從而避免待檢測(cè)區(qū)內(nèi)的運(yùn)動(dòng)異物影響精細(xì)偏移向量的計(jì)算，然后調(diào)用偏移量計(jì)算函數(shù)REG(·)計(jì)算精細(xì)偏移向量(AXa，Aya)，再調(diào)用重構(gòu)函數(shù)REC(·)按照(Axa，Aya)的反方向?qū)rw進(jìn)行反偏移重構(gòu)得到hk+1，完成第 k幀圖像與第k+Ι幀圖像之間的精細(xì)匹配，即圖像Ik和Iiik+1。
5.根據(jù)權(quán)利要求4所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述步驟3具體操作為在精細(xì)匹配后的相鄰幀圖像Ik和Iak+1中選取待檢測(cè)區(qū)域1 和Isak+1進(jìn)行差分，并取絕對(duì)值，即D(k,k+1) = abs (Isk-Isak+1)，去掉靜止的背景信息，得到運(yùn)動(dòng)的異物圖像 D(k,k+1)，其中 D(k,k+1) e
。
6.根據(jù)權(quán)利要求5所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述步驟4具體操作為用中心增強(qiáng)平滑模板W2對(duì)差分后得到的異物圖像D(k,k+1)進(jìn)行濾波，得到濾波后的圖像Df(k,k+1)；再對(duì)Df(k,k+1)進(jìn)行二值化分割得到二值圖像B(k,k+1)，在B(k,k+1)中進(jìn)行連通域搜索，計(jì)算出各個(gè)異物區(qū)域的面積，并找出最大的異物面積SmaX(k,k+1)。
7.根據(jù)權(quán)利要求6所述的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，其特征在于，所述步驟5具體操作為如果對(duì)當(dāng)前液體藥品拍攝的多幀圖像中的任意兩幀圖像計(jì)算得到的最大異物面積SmaX(k,k+1)超標(biāo)，則判斷當(dāng)前液體藥品為次品。
全文摘要
本發(fā)明公開(kāi)了一種藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法，包括以下步驟步驟1圖像獲?。徊襟E2圖像匹配采用基于爬山搜索的相位相關(guān)亞像素圖像匹配算法對(duì)相鄰幀灰度圖像進(jìn)行匹配預(yù)處理；步驟3幀間差分對(duì)匹配后的相鄰幀灰度圖像進(jìn)行差分，去掉靜止的背景信息，保留運(yùn)動(dòng)的異物信息；步驟4目標(biāo)檢測(cè)對(duì)幀間差分操作后得到的圖像進(jìn)行二值化分割和連通域搜索，計(jì)算出各個(gè)異物區(qū)域的面積，并找出最大的異物面積；步驟5決策判斷根據(jù)最大的異物面積是否超標(biāo)判斷當(dāng)前產(chǎn)品是否為次品，檢測(cè)過(guò)程結(jié)束。本發(fā)明的藥液異物的抗振動(dòng)機(jī)器視覺(jué)檢測(cè)方法能有效的消除機(jī)電系統(tǒng)的振動(dòng)干擾，魯棒性強(qiáng)，大幅度削減了藥液異物檢測(cè)設(shè)備的設(shè)計(jì)制造成本。
文檔編號(hào)G01N21/90GK102519984SQ20111036417
公開(kāi)日2012年6月27日 申請(qǐng)日期2011年11月16日 優(yōu)先權(quán)日2011年11月16日
發(fā)明者吳成中, 張輝, 毛建旭, 王耀南, 葛繼, 陳俊 申請(qǐng)人:湖南大學(xué)