基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，該方法包括以下步驟：使用工業(yè)電子CCD攝像頭，連接光學(xué)顯微鏡，通過光學(xué)顯微鏡對(duì)載物臺(tái)上的散落的大量電子元件進(jìn)行拍攝，得到整幅圖片；切割所述整幅圖片，提取出其中的單個(gè)電子元件圖片；對(duì)切割得到的各單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng)；依據(jù)上述步驟三圖像增強(qiáng)的各單個(gè)電子元件圖片，實(shí)現(xiàn)電子元件識(shí)別，重復(fù)步驟三、四，直至所有電子元件均完成識(shí)別定位。與現(xiàn)有技術(shù)相比，本發(fā)明能夠極大地提高微小電子元件定位識(shí)別的效率，并且識(shí)別結(jié)果具有極好的穩(wěn)定性和精度；同時(shí)，所使用的圖像增強(qiáng)處理對(duì)顯微鏡采集的電子元件圖像有明顯的辨別度提升，能夠幫助識(shí)別算法更好地界定邊界。
【專利說明】基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子元件工業(yè)識(shí)別技術(shù)，特別是涉及一種基于顯微鏡和工業(yè)攝像技術(shù)的元件定位識(shí)別方法。
【背景技術(shù)】
[0002]隨著高新技術(shù)的發(fā)展，尤其是電子產(chǎn)業(yè)的飛速發(fā)展、質(zhì)量規(guī)格標(biāo)準(zhǔn)化進(jìn)程加速以及相關(guān)質(zhì)量控制體系的完善，現(xiàn)代電子企業(yè)對(duì)于電子元件的幾何尺寸和形狀位置的檢測(cè)精度、速度和效益提出了越來越高的要求。
[0003]對(duì)于電子元件生成廠商，如三星、Intel、京瓷、飛思卡爾等，每天都會(huì)產(chǎn)出上千萬數(shù)量級(jí)的電子元件，而這些元件的良品率是對(duì)該電子元件生產(chǎn)線評(píng)價(jià)的重要標(biāo)準(zhǔn)，同時(shí)物理尺寸又是良品率的一個(gè)重要參考項(xiàng)。如何對(duì)超大量的電子元件更高效、更準(zhǔn)確的進(jìn)行物理識(shí)別成為了現(xiàn)代企業(yè)質(zhì)量控制的關(guān)鍵環(huán)節(jié)。
[0004]目前大多數(shù)企業(yè)仍然在采用傳統(tǒng)的識(shí)別方式，也就是人工進(jìn)行識(shí)別的方式，通過千分尺和螺旋測(cè)微計(jì)進(jìn)行識(shí)別。然而傳統(tǒng)的人工識(shí)別有著極大的弊端:
[0005]1、識(shí)別效率低下
[0006]現(xiàn)今電子元件多是微小部件，人工拿放尚不易，操作對(duì)其的識(shí)別更是困難。對(duì)于越是尺寸小的電子元件，識(shí)別的速度就越慢。經(jīng)調(diào)查，在實(shí)際生成過程中，需要進(jìn)行尺寸識(shí)別的最小元件是長(zhǎng)400um，寬約200um，高約200um的元件，人工采用螺旋測(cè)微器進(jìn)行識(shí)別，每測(cè)I個(gè)元件，熟練的員工大概需要2分鐘時(shí)間，一個(gè)人工作8小時(shí)每天，全時(shí)段高效工作，一天能識(shí)別240個(gè)此類零件，這樣的數(shù)量對(duì)于上千萬的電子元件的日產(chǎn)能，質(zhì)量檢測(cè)的效率太過低下。目前大多數(shù)廠商的應(yīng)對(duì)方法都是增加人工以及減少抽樣比，然而增加人工必定導(dǎo)致企業(yè)成本的迅速增長(zhǎng)，減少抽樣比會(huì)使得產(chǎn)品的品質(zhì)得不到保障，所以這是目前大多數(shù)電子元件生產(chǎn)廠商面臨的最為嚴(yán)峻的問題。
[0007]2、識(shí)別過程的人員差異性大，難以將識(shí)別標(biāo)準(zhǔn)化
[0008]由于識(shí)別效率比較低下，所以通常對(duì)于電子元件的尺寸識(shí)別都是由大量工作人員進(jìn)行。同時(shí)由于采用的是千分尺以及螺旋測(cè)微器此類機(jī)械識(shí)別工具，操作過程很難進(jìn)行標(biāo)準(zhǔn)化，每個(gè)人對(duì)于機(jī)械工具擰到位的認(rèn)知不同，并且很大程度依賴于自己的主管觸覺，這樣的操作方式就導(dǎo)致了同樣的一個(gè)元件，同樣的識(shí)別工具給不同的工作人員進(jìn)行識(shí)別仍然會(huì)出現(xiàn)很大的差異。同時(shí)由于電子制造業(yè)的工作不穩(wěn)定性，工作人員經(jīng)常變動(dòng)，所以人員識(shí)別過程的差異性極大地影響了識(shí)別的可靠性。
[0009]3、識(shí)別設(shè)備容易產(chǎn)生損耗
[0010]傳統(tǒng)識(shí)別過程采用的是千分尺以及螺旋測(cè)微器這類機(jī)械設(shè)備，在識(shí)別使用過程中，由于每次識(shí)別都需要與電子元件進(jìn)行物理接觸，所以非常容易造成識(shí)別工具的磨損，并影響識(shí)別結(jié)果。目前企業(yè)常用的應(yīng)對(duì)方式就是加快識(shí)別設(shè)備的校準(zhǔn)頻率，然而這樣的方式必然影響識(shí)別效率，同時(shí)也并沒有從根本上解決問題。
[0011]4、識(shí)別容易被雜質(zhì)影響[0012]傳統(tǒng)人工識(shí)別方式，識(shí)別過程電子元件必定會(huì)接觸人手，人手上的雜質(zhì)非常容易粘到電子元件上，雖然雜質(zhì)都很微小，但是相對(duì)于微小的電子元件來說，這樣的誤差是很嚴(yán)重的。同時(shí)雜質(zhì)有在識(shí)別過程中粘到識(shí)別工具的可能性，這樣將對(duì)后續(xù)的所有識(shí)別都有影響。目前企業(yè)產(chǎn)用的解決方案是，定期使用如酒精的液體擦拭識(shí)別工具，以保證識(shí)別工具的潔凈，然而這樣的方式同樣也會(huì)影響識(shí)別效率，同時(shí)解決不了太大的問題。
[0013]所以，目前對(duì)于微小電子元件的高效的、準(zhǔn)確的、標(biāo)準(zhǔn)化的識(shí)別成為了工業(yè)識(shí)別領(lǐng)域一個(gè)亟待解決的問題，同時(shí)也是有著極大應(yīng)用前景的技術(shù)。
[0014]現(xiàn)代視覺理論和技術(shù)的發(fā)展，不僅在于模擬人眼能完成的功能，更重要的是它能完成人眼所不能勝任的工作，所以計(jì)算機(jī)視覺識(shí)別技術(shù)作為當(dāng)今最新技術(shù)，在電子、光學(xué)和計(jì)算機(jī)等技術(shù)不斷成熟和完善的基礎(chǔ)上得到了突飛猛進(jìn)的發(fā)展。與計(jì)算機(jī)視覺側(cè)重研究視覺模式識(shí)別、視覺理解等內(nèi)容不同，計(jì)算機(jī)視覺識(shí)別技術(shù)重點(diǎn)研究物體的幾何尺寸及物體的位置識(shí)別。
[0015]同時(shí)，基于計(jì)算機(jī) 視覺的識(shí)別技術(shù)有以下幾方面的優(yōu)勢(shì):
[0016]I)提高效率；使用計(jì)算機(jī)視覺技術(shù)，通?？梢栽谝环鶊D像中批量處理多個(gè)元件，從而極大提高了效率，并且計(jì)算機(jī)處理不需要對(duì)過小元件進(jìn)行物理操作，能夠加快操作流程。
[0017]2)消除差異性；機(jī)器容易標(biāo)準(zhǔn)化，容易消除不同個(gè)體帶來的差異。
[0018]3)無識(shí)別損耗；
[0019]4)無需接觸人體，不易受人體雜質(zhì)影響。
[0020]參考文獻(xiàn):
[0021][I]Breu H，Gil Jj Kirkpatrick Djet al.Linear time Euclidean distancetransform algorithms [J].Pattern Analysis and Machine Intelligence，IEEETransactions on, 1995，17 (5):529-533.[0022][2] Beucher S.The watershed transformation applied to imagesegmentation[J].SCANNING MICROSCOPY-SUPPLEMENT-，1992:299-299.[0023][3]Zheng-hu Z H U.0ptimized Research on Assembly Quality of MLCC[J].Electronics Process Technology, 2008，6:003.[0024][4]Van der HeijdenF.1mage based measurement systems:object recognitionand parameter estimation [J].1994.[0025][5] Baird H S，Jones S E，F(xiàn)ortune S J.1mage segmentation by shape-directedcovers[C]//Pattern Recognition, 1990.Proceedings.，10th International Conferenceon.1EEE, 1990，1:820-825.[0026][6]Nikolaidis A，Pitas 1.Region-based image watermarking [J].1EEETransactions on image processing, 2001，10 (11): 1726-1740.[0027][7]Wang Jj Mei A.1ndustrial monitoring and controlling system for anintegrated single-chip computer with a linear CCD image sensor [C].NondestructiveEvaluation Techniques for Aging Infrastructures&Manufacturing.1nternationalSociety for Optics and Photonics, 1999:84-92.[0028][8]Sankowski D，Strzecha K，Jezewski S，et al.Computerized device withCCD camera for measurement of surface tension and wetting angle in solid-liquidsystems [C].1nstrumentation and Measurement Technology Conference, 1999.1MTC/99.Proceedings of thel6th IEEE.1EEE, 1999，1:164-168.[0029][9]張業(yè)鵬，何濤.機(jī)器視覺在工業(yè)識(shí)別中的應(yīng)用與研究[J].光學(xué)精密工程，2001，9(4):324-329.[0030][10]席斌，錢峰.機(jī)器視覺識(shí)別系統(tǒng)在工業(yè)在線檢測(cè)中的應(yīng)用[J].工業(yè)控制計(jì)算機(jī)，2006，18(11):75-76.[0031][11]李慶利.尺寸識(shí)別中的邊緣檢測(cè)算法研究[J].計(jì)算機(jī)識(shí)別與控制，2004，12(4):334-337.
【發(fā)明內(nèi)容】

[0032]為了克服上述現(xiàn)有技術(shù)存在的問題，本發(fā)明提出一種基于顯微鏡以及計(jì)算機(jī)視覺的微小元件定位識(shí)別方法，通過顯微鏡以及工業(yè)數(shù)字?jǐn)z像頭獲取待識(shí)別工業(yè)元件圖像，并使用圖像分割、圖像增強(qiáng)、圖像識(shí)別等相應(yīng)圖像處理方式進(jìn)行組合，實(shí)現(xiàn)全自動(dòng)大批量的工業(yè)元件定位識(shí)別。
[0033]本發(fā)明提出了一種基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，該方法包括以下步驟:
[0034]步驟一、使用工業(yè)電子CXD攝像頭，連接光學(xué)顯微鏡，通過光學(xué)顯微鏡對(duì)載物臺(tái)上的散落的大量電子元件進(jìn)行拍攝，得到整幅圖片；
[0035]步驟二、切割所述整幅圖片，提取出其中的單個(gè)電子元件圖片；
[0036]步驟三、對(duì)切割得到的各單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng)；
[0037]步驟四、依據(jù)上述步驟三圖像增強(qiáng)的各單個(gè)電子元件圖片，實(shí)現(xiàn)電子元件識(shí)別；
[0038]對(duì)切割得到的下一單個(gè)電子元件重復(fù)步驟三、四，直至整幅圖片中所有電子元件均完成識(shí)別定位。
[0039]所述步驟二的切割所述整幅圖片，提取出其中的單個(gè)電子元件圖片，還包括以下處理:
[0040]對(duì)所述的整幅圖片進(jìn)行二值化操作，得到二值化圖像，進(jìn)行前景、后景標(biāo)記；
[0041]對(duì)上述的二值化圖像進(jìn)行距離變換，得到灰度圖像；
[0042]將灰度圖像進(jìn)行歸一化處理并二值化，得到區(qū)域掩碼(Mask)灰度圖像；
[0043]以區(qū)域掩碼(Mask)作為分水嶺算法的各初始區(qū)域，依據(jù)分水嶺算法進(jìn)行所述整幅圖片切割，最終得到各單個(gè)電子元件的位置和輪廓，提取出單個(gè)電子元件圖片。
[0044]所述步驟三的對(duì)切割得到的各單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng)，還包括以下處理:
[0045]獲取某單個(gè)電子元件圖片，計(jì)算其灰度直方圖；
[0046]記錄下其主要集中分布區(qū)間，即找到直方圖中灰度集中部分的最小點(diǎn)與最大點(diǎn)，分別為Si與IDi ;
[0047]將單個(gè)電子元件圖片進(jìn)行灰度壓縮，將主要分布區(qū)間以外的灰度值都設(shè)置成相應(yīng)的主要分布區(qū)間邊界；即遍歷所有像素點(diǎn)，對(duì)于灰度值小于％的將其灰度值設(shè)置為％，對(duì)于灰度值大于h的將其灰度值設(shè)置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中；
[0048]歸一化圖像，進(jìn)行灰度空間拉伸恢復(fù)，使得圖像的灰度空間再度擴(kuò)充到0-255之間，增強(qiáng)電子元件的邊緣圖像細(xì)節(jié)，使得邊緣部分的灰度變化更加細(xì)致，具階梯化。
[0049]所述步驟四的對(duì)經(jīng)圖像增強(qiáng)的各單個(gè)電子元件圖片，實(shí)現(xiàn)電子元件識(shí)別，還包括以下處理:
[0050]對(duì)經(jīng)圖像增強(qiáng)的各單個(gè)電子元件圖片從圖像中點(diǎn)進(jìn)行漫水填充，使得圖像變成電子元件為前景，其余為背景的二值圖像；
[0051]使用連通區(qū)域標(biāo)記，尋找最大連通區(qū)域，也就是電子元件的所在；
[0052]使用最小面積外包絡(luò)矩形算法計(jì)算出電子元件的長(zhǎng)與寬。
[0053]與現(xiàn)有技術(shù)相比，本發(fā)明的實(shí)驗(yàn)結(jié)果標(biāo)明:提出的圖像增強(qiáng)方法對(duì)顯微鏡采集的電子元件圖像有明顯的辨別度提升，能夠幫助識(shí)別算法更好地界定邊界。同時(shí)本發(fā)明的整套識(shí)別框架能夠極大地提高微小元件的識(shí)別效率，并且識(shí)別結(jié)果具有極好的穩(wěn)定性和精度。
【專利附圖】

【附圖說明】
[0054]圖1為本發(fā)明的基于顯微鏡以及計(jì)算機(jī)視覺的微小元件定位識(shí)別方法整體流程圖；
[0055]圖2為本發(fā)明的實(shí)施例的識(shí)別設(shè)備結(jié)構(gòu)示意框圖；
[0056]圖3為微小元件切割標(biāo)記流程圖；
[0057]圖4為微小元件切割標(biāo)記示例效果圖；
[0058]圖5為對(duì)微小元件邊緣圖像增強(qiáng)示例效果圖；
[0059]圖6為多尺寸MLCC識(shí)別，與人工識(shí)別對(duì)比圖。
【具體實(shí)施方式】
[0060]首先，使用工業(yè)電子CXD攝像頭，連接光學(xué)顯微鏡采集系統(tǒng)，由測(cè)試人員在PC端控制攝像頭拍攝包括散落在顯微鏡的載物臺(tái)上的電子元件的整幅圖片；之后，通過圖像分割算法(距離變換和分水嶺分割的方法)將元件輪廓提取分割出來；然后，通過對(duì)圖像進(jìn)行灰度空間壓縮以及歸一化操作增加圖片，加強(qiáng)邊緣灰度變化細(xì)節(jié)；最后，將加強(qiáng)的圖片使用漫水填充以及最小包圍矩形算法識(shí)別電子元件的長(zhǎng)和寬的物理信息，將單個(gè)元件定位并把其圖像片段提取出來，使用自主創(chuàng)新的方法對(duì)圖片進(jìn)行增強(qiáng)，最后進(jìn)行圖像識(shí)別。
[0061]下面將結(jié)合附圖對(duì)本發(fā)明【具體實(shí)施方式】作進(jìn)一步地詳細(xì)描述。
[0062]第一步:架設(shè)光學(xué)顯微鏡，由測(cè)試人員在PC端控制工業(yè)電子CXD攝像頭通過光學(xué)顯微鏡對(duì)載物臺(tái)上的散落的大量電子元件的進(jìn)行拍攝，得到整幅圖片I，將圖片I傳輸?shù)接?jì)算機(jī)上。
[0063]在電子元件散落過程，如果采用人工擺放的方式將每個(gè)元件放置到預(yù)先設(shè)置的位置，達(dá)到某給定區(qū)域僅有此一元件，這樣的擺放方式將極大方便后繼的圖像處理識(shí)別過程，然而這樣的擺放方式極度耗時(shí)耗力，嚴(yán)重影響識(shí)別的效率。所以，本發(fā)明的解決方案僅需要測(cè)試工作人員隨意灑落在顯微鏡的載物臺(tái)上(沒有遮擋即可)，并通過圖片切割的處理方法將單個(gè)元件提取出來。[0064]第二步:切割圖片，對(duì)單個(gè)電子元件進(jìn)行定位和提取。
[0065]2.1、對(duì)圖片I選擇合適閾值或者采用自適應(yīng)閾值進(jìn)行二值化操作，得到二值化圖像圖片Ibin，進(jìn)行前景、后景標(biāo)記；
[0066]2.2、對(duì)二值化圖像Ibin進(jìn)行距離變換，得到灰度圖像Idistancs ；
[0067]將前景的每個(gè)像素到其最近的后景像素的距離記錄下來，用此距離作為結(jié)果圖片的距離變換值
[0068]D(p) = min{d(p, q) | q e Q}
[0069]其中p表示前景的某一點(diǎn)，D(p)表示該點(diǎn)在結(jié)果圖片的值，Q表示背景的所有點(diǎn)，q e Q表示對(duì)背景的所有點(diǎn)進(jìn)行遍歷，d(p，q)表示兩像素的距離。
[0070]2.3、將灰度圖像Idistams歸一化并二值化，得到區(qū)域掩碼(Mask)灰度圖像Imask ;通過標(biāo)記確定好切割區(qū)域邊界的連通區(qū)域，另一方面，將各不連通區(qū)域用不同的標(biāo)號(hào)和背景標(biāo)記出來，得到一個(gè)標(biāo)記好不同區(qū)域掩碼(Mask)。
[0071]2.4、進(jìn)行分水嶺分割，標(biāo)記各區(qū)域，并提取相應(yīng)的小圖片集合{IJ。
[0072]上述切割圖片的處理方法主要可以描述為以下幾個(gè)步驟:
[0073](I)對(duì)圖片進(jìn)行距離變換；首先對(duì)圖片的圖像選擇合適閾值或者采用自適應(yīng)閾值進(jìn)行二值化操作，得到的二值圖像進(jìn)行前景、后景標(biāo)記，距離變換就是將前景的每個(gè)像素到其最近的后景像素的距離記錄下來，用此距離作為結(jié)果圖片的距離變換值。
[0074]D(p) = min{d(p, q) | q e Q}
[0075]其中p表示前景的某一點(diǎn)，D(p)表示該點(diǎn)在結(jié)果圖片的值，Q表示背景的所有點(diǎn)，q e Q表示對(duì)背景的所有點(diǎn)進(jìn)行遍歷，d(p，q)表示兩像素的距離；(請(qǐng)補(bǔ)充Q表示的含義)。
[0076](2)、確定切割區(qū)域邊界；對(duì)得到的圖片的距離變換值D(p)進(jìn)行歸一化處理，然后通過選擇合適閾值或者采用自適應(yīng)閾值確定切割區(qū)域邊界(也是采用二值化處理)。
[0077](3)、做切割區(qū)域標(biāo)記；通過連通區(qū)域標(biāo)記方式，將確定好切割區(qū)域邊界的各不連通區(qū)域用不同的標(biāo)號(hào)標(biāo)記出來，同時(shí)也將背景標(biāo)記出來，此時(shí)將得到一個(gè)標(biāo)記好不同區(qū)域掩碼(Mask)。
[0078](4)、使用分水嶺算法進(jìn)行圖像切割；通過步驟(2)得到的掩碼(Mask)作為分水嶺算法的各初始區(qū)域，進(jìn)行基于模擬浸水(Flooding)的分水嶺切割，將得到最終各電子元件的位置，以及可提取出單個(gè)元件圖片。
[0079]正如現(xiàn)有技術(shù)的記載:在該算法中，可將灰度圖看做是地勢(shì)圖，也可叫做等高線圖，每個(gè)像素的灰度值就可以看做該地點(diǎn)的高度?；谀M浸水(Flooding)的分水嶺切割設(shè)想此地形中的最低點(diǎn)(種子點(diǎn))即盆地，當(dāng)水從盆地底不斷的浸入其中，則該地形由谷底向上將逐漸的被淹沒，當(dāng)兩個(gè)集水盆地的水將要匯合時(shí)，可在匯合處建立堤壩，直到整個(gè)地形都被淹沒，從而就得到了各個(gè)堤壩(分水嶺)和一個(gè)個(gè)被堤壩分開的盆地(目標(biāo)物體)。分水嶺算法的優(yōu)點(diǎn)在于它可以得到單一像素寬度的連續(xù)的邊界，能檢測(cè)出圖像中粘連物體的微弱的邊緣。
[0080]基于模擬浸水(Flooding)的分水嶺變換算法分為3步:
[0081]a)按灰度值的遞增順序給像素排序并存儲(chǔ)，以便于直接快速訪問相關(guān)像素；
[0082]b)使用區(qū)域掩碼(Mask)作為各目標(biāo)物體的已有區(qū)域，并分別賦予相應(yīng)的不同的盆地標(biāo)號(hào)；[0083]c)模擬浸水(Flooding)過程，步驟如下:①設(shè)置閾值h，對(duì)于所有未被標(biāo)記的灰度值為h+Ι的像素，尋找其四連通區(qū)域像素，如其中有I個(gè)像素具有盆地標(biāo)號(hào)，則將該灰度值為h+Ι的像素標(biāo)記為對(duì)應(yīng)的盆地標(biāo)號(hào)，如果其中2個(gè)或以上的像素具有盆地標(biāo)號(hào)，則將灰度值為h+Ι的像素標(biāo)記為分水嶺(也就是物體邊界)，如果沒有盆地標(biāo)號(hào)則先不處理；②接著對(duì)h+2的像素進(jìn)行如①的掃描過程，直到達(dá)到圖像的最高灰度值，循環(huán)處理；③如果尚有沒標(biāo)記的像素，則將該像素設(shè)置為閾值，再進(jìn)行①，②，③的處理。
[0084]第三步:對(duì)切割得到的各單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng):
[0085]3.1、獲取某單個(gè)元件圖片Ii，計(jì)算其灰度直方圖1iisti ；
[0086]3.2、記錄下其主要集中分布區(qū)間，即找到直方圖中灰度集中部分的最小點(diǎn)與最大點(diǎn)，分別為Si與IDi ;
[0087]3.3、將單個(gè)元件圖片進(jìn)行灰度壓縮，將主要分布區(qū)間以外的灰度值都設(shè)置成相應(yīng)的主要分布區(qū)間邊界；即遍歷所有像素點(diǎn)，對(duì)于灰度值小于％的將其灰度值設(shè)置為％，對(duì)于灰度值大于h的將其灰度值設(shè)置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中；
[0088]3.4、歸一化圖像，進(jìn)行灰度空間拉伸恢復(fù)，使得圖像的灰度空間再度擴(kuò)充到0-255之間，增強(qiáng)電子元件的邊緣圖像細(xì)節(jié)，使得邊緣部分的灰度變化更加細(xì)致，具階梯化。
[0089]未經(jīng)過圖像增強(qiáng)的單個(gè)電子元件圖片邊緣信息很模糊，如果直接將其應(yīng)用到圖像識(shí)別中將對(duì)識(shí)別結(jié)果的準(zhǔn)確性產(chǎn)生不良影響，同時(shí)也易造成識(shí)別結(jié)果的不穩(wěn)定。所以，本解決方案在測(cè)試了大量圖像增強(qiáng)，邊緣定位，以及亞像素邊緣提取等方案后，因此上述圖像增強(qiáng)是本發(fā)明自主創(chuàng)新的一種應(yīng)用于電子元件識(shí)別效果很好的圖像增強(qiáng)方法。
[0090]第四步:對(duì)單個(gè)元件圖片進(jìn)行圖像識(shí)別:
[0091]4.1、對(duì)上述已經(jīng)增強(qiáng)處理的電子元件圖片從圖像中點(diǎn)進(jìn)行漫水填充，使得圖像變成元件為前景，其余為背景的二值圖像；
[0092]4.2、使用連通區(qū)域標(biāo)記，尋找最大連通區(qū)域，也就是元件的所在；
[0093]4.3、使用最小面積外包絡(luò)矩形算法計(jì)算出電子元件的長(zhǎng)與寬。
[0094]實(shí)施效果驗(yàn)證，包括以下兩個(gè)方面的驗(yàn)證結(jié)果:
[0095]與人工識(shí)別結(jié)果準(zhǔn)確性比對(duì)驗(yàn)證:
[0096]使用對(duì)比試驗(yàn)的方法驗(yàn)證本發(fā)明的識(shí)別準(zhǔn)確性。隨機(jī)各挑選出20個(gè)0402，0603以及1005尺寸的MLCC電子元件，將電子元件編號(hào)保存。第一組使用本發(fā)明的方法進(jìn)行識(shí)另O，并記錄下識(shí)別結(jié)果以及相應(yīng)編號(hào)；第二組將同一批電子元件采用人工進(jìn)行識(shí)別，讓同一熟練工人使用全新識(shí)別設(shè)備進(jìn)行識(shí)別，并且每次識(shí)別完一個(gè)零件均使用酒精清洗識(shí)別設(shè)備以保證測(cè)試準(zhǔn)確性。
[0097]最終結(jié)果表明，本發(fā)明的識(shí)別結(jié)果與人工相比較，0402元件在±4um之間，0603元件在±5um之間，1005元件在±6um之間。具有很高的準(zhǔn)確性。
[0098]表1:對(duì)于MLCC的0402尺寸多個(gè)元件識(shí)別，與人工識(shí)別準(zhǔn)確度對(duì)比表
[0099]
【權(quán)利要求】
1.一種基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，其特征在于，該方法包括以下步驟: 步驟一、使用工業(yè)電子CXD攝像頭，連接光學(xué)顯微鏡，通過光學(xué)顯微鏡對(duì)載物臺(tái)上的散落的大量電子元件進(jìn)行拍攝，得到整幅圖片； 步驟二、切割所述整幅圖片，提取出其中的單個(gè)電子元件圖片； 步驟三、對(duì)切割得到的單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng)； 步驟四、依據(jù)上述步驟三圖像增強(qiáng)的單個(gè)電子元件圖片，實(shí)現(xiàn)電子元件識(shí)別， 對(duì)切割得到的下一單個(gè)電子元件重復(fù)步驟三、四，直至整幅圖片中所有電子元件均完成識(shí)別定位。
2.如權(quán)利要求1所述的基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，其特征在于，所述步驟二的切割所述整幅圖片，提取出其中的單個(gè)電子元件圖片，還包括以下處理: 對(duì)所述的整幅圖片進(jìn)行二值化操作，得到二值化圖像，進(jìn)行前景、后景標(biāo)記； 對(duì)上述的二值化圖像進(jìn)行距離變換，得到灰度圖像； 將灰度圖像進(jìn)行歸一化處理并二值化，得到區(qū)域掩碼灰度圖像； 以區(qū)域掩碼作為分水嶺算法的各初始區(qū)域，依據(jù)分水嶺算法進(jìn)行所述整幅圖片切割，最終得到各單個(gè)電子元件的位置和輪廓，提取出單個(gè)電子元件圖片。
3.如權(quán)利要求1所述的基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，其特征在于，所述步驟三的對(duì)切割得到的各單個(gè)電子元件圖片進(jìn)行圖像增強(qiáng)，還包括以下處理: 獲取某單個(gè)電子元件圖片，計(jì)算其灰度直方圖； 記錄下其主要集中分布區(qū)間，即找到直方圖中灰度集中部分的最小點(diǎn)與最大點(diǎn)，分別為Si與IDi ; 將單個(gè)電子元件圖片進(jìn)行灰度壓縮，將主要分布區(qū)間以外的灰度值都設(shè)置成相應(yīng)的主要分布區(qū)間邊界；即遍歷所有像素點(diǎn)，對(duì)于灰度值小于％的將其灰度值設(shè)置為ai;對(duì)于灰度值大于4的將其灰度值設(shè)置為bi;以此將原灰度0-255的變化空間，壓縮至a1-bi的空間中； 歸一化圖像，進(jìn)行灰度空間拉伸恢復(fù)，使得圖像的灰度空間再度擴(kuò)充到0-255之間，增強(qiáng)電子元件的邊緣圖像細(xì)節(jié)，使得邊緣部分的灰度變化更加細(xì)致，具階梯化。
4.如權(quán)利要求1所述的基于顯微鏡以及計(jì)算機(jī)視覺的微小電子元件定位識(shí)別方法，其特征在于，所述步驟四的對(duì)經(jīng)圖像增強(qiáng)的各單個(gè)電子元件圖片，實(shí)現(xiàn)電子元件識(shí)別，還包括以下處理: 對(duì)經(jīng)圖像增強(qiáng)的各單個(gè)電子元件圖片從圖像中點(diǎn)進(jìn)行漫水填充，使得圖像變成電子元件為前景，其余為背景的二值圖像； 使用連通區(qū)域標(biāo)記，尋找最大連通區(qū)域，也就是電子元件的所在； 使用最小面積外包絡(luò)矩形算法計(jì)算出電子元件的長(zhǎng)與寬。
【文檔編號(hào)】G01B11/00GK103994718SQ201410232006
【公開日】2014年8月20日 申請(qǐng)日期:2014年5月27日 優(yōu)先權(quán)日:2014年5月27日
【發(fā)明者】王建榮, 楊亞龍 申請(qǐng)人:天津大學(xué)