專利名稱：一種灰度和深度信息融合的表面缺陷檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種物體表面缺陷在線檢測(cè)方法以及實(shí)現(xiàn)該方法的裝置，尤其對(duì)于形狀或表面狀況比較復(fù)雜的產(chǎn)品表面檢測(cè)，可以提高缺陷檢測(cè)的準(zhǔn)確率。
背景技術(shù)：
表面缺陷自動(dòng)檢測(cè)技術(shù)始于20世紀(jì)70年代，到20世紀(jì)末，德國(guó)、美國(guó)、日本等發(fā)達(dá)國(guó)家已經(jīng)開發(fā)了具有實(shí)用價(jià)值的機(jī)器視覺表面在線檢測(cè)系統(tǒng)。機(jī)器視覺檢測(cè)技術(shù)按其所處理的數(shù)據(jù)類型劃分，可以分為基于二值圖像、灰度圖像、彩色圖像以及深度圖像的檢測(cè)， 目前的表面檢測(cè)系統(tǒng)一般采用灰度圖像檢測(cè)方法?；叶葓D像檢測(cè)方法通過攝像機(jī)采集物體表面灰度圖像，根據(jù)缺陷區(qū)域在灰度上的變化，對(duì)灰度圖像進(jìn)行處理，并利用缺陷的灰度特征對(duì)缺陷進(jìn)行檢測(cè)與識(shí)別。這種灰度檢測(cè)方法存在著以下幾個(gè)問題(1)灰度圖像檢測(cè)方法適用于背景單一的物體表面檢測(cè)，對(duì)于背景復(fù)雜的表面，由于難以通過灰度信息從背景中判斷缺陷所在的區(qū)域，因此會(huì)產(chǎn)生大量的漏檢與誤檢，影響檢測(cè)結(jié)果的可靠性。(2)灰度圖像檢測(cè)方法適用于平面物體的表面檢測(cè)，對(duì)于表面為規(guī)則或非規(guī)則曲面的物體，采用灰度圖像檢測(cè)方法會(huì)造成陰影甚至遮擋現(xiàn)象，影響檢測(cè)效果，產(chǎn)生漏檢。(3)表面缺陷的深度不僅是表征缺陷嚴(yán)重程度重要指標(biāo)，而且也是進(jìn)行缺陷檢測(cè)與識(shí)別的重要參數(shù)。采用灰度圖像檢測(cè)方法無法獲取缺陷深度的量化信息，會(huì)對(duì)缺陷的準(zhǔn)確識(shí)別以及表面質(zhì)量的正確評(píng)估造成影響。通過深度圖像可以獲取表面深度信息，并且通過深度圖像檢測(cè)缺陷不受物體表面背景狀況以及物體形狀的影響，從而解決灰度圖像檢測(cè)存在的問題，但是深度圖像檢測(cè)方法在表面檢測(cè)中的應(yīng)用也存在著以下問題(1)通過深度圖像檢測(cè)缺陷只適用于有深度變化的缺陷，對(duì)于一些沒有深度的缺陷，如斑類缺陷，無法通過深度圖像進(jìn)行檢測(cè)。(2)物體表面的一些干擾物質(zhì)也會(huì)造成表面深度上的變化，采用深度圖像檢測(cè)方法會(huì)將這些干擾物體識(shí)別成缺陷，造成誤識(shí)。(3)目前的深度圖像獲取方法無法達(dá)到高的分辨率，因此，很難通過深度圖像檢測(cè)一些細(xì)小的缺陷，如裂紋、壓印等。因此，單純采用深度圖像檢測(cè)方法也無法實(shí)現(xiàn)表面缺陷的可靠檢測(cè)。將灰度圖像檢測(cè)方法與深度圖像檢測(cè)方法結(jié)合起來，通過灰度信息與深度信息的融合，可以結(jié)合兩種方法的優(yōu)點(diǎn)，從而提高缺陷檢測(cè)的可靠性。傳統(tǒng)的信息融合往往指多傳感器的信息融合，如果分別通過單獨(dú)的攝像機(jī)獲取灰度信息和深度信息，不僅需要增加攝像機(jī)的數(shù)量，而且還需要對(duì)不同攝像機(jī)采集到的圖像進(jìn)行配準(zhǔn)，增加了系統(tǒng)的復(fù)雜性。本發(fā)明通過單臺(tái)彩色攝像機(jī)與多臺(tái)不同顏色光源的組合， 實(shí)現(xiàn)了單臺(tái)攝像機(jī)同時(shí)獲取物體表面的灰度圖像與深度圖像，不僅減少了攝像機(jī)的數(shù)量， 而且灰度圖像與深度圖像對(duì)應(yīng)的是物體表面的同一區(qū)域，無需進(jìn)行圖像的配準(zhǔn)，降低了信息融合的難度。

發(fā)明內(nèi)容
本發(fā)明利用單臺(tái)攝像機(jī)同時(shí)獲取物體表面的灰度圖像與深度圖像，通過灰度信息與深度信息的融合檢測(cè)缺陷的區(qū)域，并對(duì)缺陷進(jìn)行識(shí)別，從而提高缺陷檢測(cè)與識(shí)別的準(zhǔn)確率。本發(fā)明是這樣實(shí)現(xiàn)的本發(fā)明通過單臺(tái)彩色面陣CXD攝像機(jī)與藍(lán)光或紅光照明光源的組合采集物體表面的灰度圖像與深度圖像，所述的藍(lán)光或紅光照明光源照射物體的同一區(qū)域，所述的深度圖像是通過面結(jié)構(gòu)光方式得到，面結(jié)構(gòu)光的光源用綠光，所述灰度圖像的照明光源用藍(lán)光或紅光，從采集到的彩色圖像中分離出藍(lán)光或紅光與綠光的圖像，其中藍(lán)光或紅光圖像就是表面灰度圖像，綠光圖像就是面結(jié)構(gòu)光投影圖像；通過深度圖像與灰度圖像的像素級(jí)融合進(jìn)行圖像的分割和缺陷邊緣提取，從而可以更準(zhǔn)確地檢測(cè)缺陷所在的區(qū)域，根據(jù)檢測(cè)到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進(jìn)行特征級(jí)融合，將融合后的特征量作為分類器的輸入進(jìn)行缺陷的分類識(shí)別。本發(fā)明的另一個(gè)技術(shù)方案是上述的特征級(jí)融合是通過深度圖像與灰度圖像的融合進(jìn)行圖像的分割和缺陷邊緣提取，由于表面缺陷造成了物體表面深度的變化，因此在深度圖像中尋找深度發(fā)生突變的點(diǎn)，根據(jù)這些深度突變點(diǎn)對(duì)圖像進(jìn)行分割，由于灰度圖像的分辨率比深度圖像高，因此可以在灰度圖像中根據(jù)深度圖像的分割結(jié)果進(jìn)行缺陷的邊緣， 從而得到缺陷的精確邊緣。本發(fā)明的另一個(gè)技術(shù)方案是上述的缺陷的分類識(shí)別是通過深度圖像與灰度圖像的特征級(jí)融合，從灰度圖像中提取缺陷灰度特征、紋理特征以及二維幾何特征，所述的缺陷灰度特征包括灰度的平均值、方差、歪度、峭度、能量、熵；所述的紋理特征包括紋理的二階矩、熵、對(duì)比度和均勻性；所述的二維幾何特征包括簡(jiǎn)單描述符、形狀描述符和不變矩等，所述的從深度圖像中提取缺陷的三維幾何特征，包括不變矩和傅里葉描述子。本發(fā)明主要通過以下兩個(gè)方面提高缺陷檢測(cè)與識(shí)別的可靠性(1)在進(jìn)行灰度信息與深度信息的像素級(jí)融合過程中，利用表面的深度信息對(duì)灰度圖像進(jìn)行分割，并提取缺陷的邊緣，這樣可以提高灰度圖像分割和缺陷邊緣提取的準(zhǔn)確性。圖像分割的難點(diǎn)在于灰度信息的不確定性，也就是將空間三維物體投射成二維圖像，喪失了很多的信息。利用深度信息進(jìn)行灰度圖像分割則提高了分割的準(zhǔn)確性以及分割算法的效率。邊緣提取也是圖像處理中的難點(diǎn)，由于缺陷的邊緣處會(huì)產(chǎn)生陰影或光照不均現(xiàn)象，很難準(zhǔn)確提取到完整的缺陷邊緣。提高圖像分割的準(zhǔn)確性可降低缺陷的漏檢，而提高缺陷邊緣提取的準(zhǔn)確性則可為缺陷特征的準(zhǔn)確提取提供基礎(chǔ)，從而減少缺陷的誤檢。(2)將傳統(tǒng)的基于灰度圖像的缺陷特征，如灰度特征、紋理特征、二維幾何特征等與通過深度信息提取的缺陷三維幾何特征融合，可提高缺陷分類的準(zhǔn)確性，降低缺陷的誤識(shí)。與此同時(shí)，將灰度信息用于面結(jié)構(gòu)光投影圖像的條紋邊緣提取也可提高條紋邊緣提取的可靠性、精度和效率，從而提高深度信息提取的準(zhǔn)確性和效率。
采用藍(lán)光作為灰度圖像照明光源的目的是藍(lán)光的波長(zhǎng)短，對(duì)于微小的缺陷將有更好的檢測(cè)效果。采用綠光作為面結(jié)構(gòu)光光源的目的是用于高溫物體的照明時(shí)，由于高溫物體輻射的紅光及紅外光與照明光源的綠光存在著波段的不同，可以將綠光從輻射光中提取出來，從而避免背景光的影響。對(duì)于一些需要明、暗場(chǎng)結(jié)合進(jìn)行檢測(cè)的表面，可以將藍(lán)色漫射光作為明場(chǎng)照明的光源，紅色平行光作為暗場(chǎng)照明的光源，攝像機(jī)采集到的B和R通道分別是明場(chǎng)圖像和暗場(chǎng)圖像，兩種圖像反映的都是表面的灰度信息。同時(shí)結(jié)合G通道得到的深度信息檢測(cè)缺陷，會(huì)進(jìn)一步提高缺陷檢測(cè)的準(zhǔn)確性。本發(fā)明的有益效果是通過灰度與深度信息的融合，不僅可以提高缺陷檢測(cè)的準(zhǔn)確率，而且可以提高算法的效率，滿足在線檢測(cè)的要求。


圖1為獲取表面灰度圖像與深度圖像的裝置。圖1中1為待檢測(cè)的物體，2為彩色面陣CCD攝像機(jī)，3為藍(lán)色漫射光光源，4為綠色面結(jié)構(gòu)光光源。圖2為灰度信息與深度信息融合的表面缺陷檢測(cè)方法流程圖。
具體實(shí)施例方式圖1中，藍(lán)色漫射光光源3與綠色面結(jié)構(gòu)光光源4照射到待檢測(cè)物體1表面的同一區(qū)域，彩色面陣CCD攝像機(jī)2采集待檢測(cè)物體1表面光照區(qū)域的圖像。在攝像機(jī)2采集到的彩色圖像中，藍(lán)色通道(即B通道)就是光源3照射到物體1表面的反射光圖像，綠色通道(G通道)就是光源4照射到物體1表面的反射光圖像。由于光源3發(fā)射的是漫射光， 因此B通道圖像是物體1的表面灰度圖像。由于光源3發(fā)射的是面結(jié)構(gòu)光，因此G通道圖像是物體1表面的面結(jié)構(gòu)光圖像。面結(jié)構(gòu)光投影圖像還需進(jìn)行深度提取步驟，才能轉(zhuǎn)換成表面的深度圖像。其步驟如下(1)提取面結(jié)構(gòu)光投影圖像條紋邊緣坐標(biāo)，該坐標(biāo)是條紋邊緣在兩維圖像平面內(nèi)的圖像坐標(biāo)。(2)根據(jù)式1計(jì)算條紋邊緣的三維空間坐標(biāo)
權(quán)利要求
1.一種灰度和深度信息融合的表面缺陷檢測(cè)方法，其特征在于通過單臺(tái)彩色面陣 CXD攝像機(jī)與藍(lán)光或紅光照明光源的組合采集物體表面的灰度圖像與深度圖像，所述的藍(lán)光或紅光照明光源照射物體的同一區(qū)域，所述的深度圖像是通過面結(jié)構(gòu)光方式得到，面結(jié)構(gòu)光的光源用綠光，所述灰度圖像的照明光源用藍(lán)光或紅光，從采集到的彩色圖像中分離出藍(lán)光或紅光與綠光的圖像，其中藍(lán)光或紅光圖像就是表面灰度圖像，綠光圖像就是面結(jié)構(gòu)光投影圖像；通過深度圖像與灰度圖像的像素級(jí)融合進(jìn)行圖像的分割和缺陷邊緣提取， 從而可以更準(zhǔn)確地檢測(cè)缺陷所在的區(qū)域，根據(jù)檢測(cè)到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進(jìn)行特征級(jí)融合，將融合后的特征量作為分類器的輸入進(jìn)行缺陷的分類識(shí)別。
2.如權(quán)利要求1所述的一種灰度和深度信息融合的表面缺陷檢測(cè)方法，其特征在于 所述的特征級(jí)融合是通過深度圖像與灰度圖像的融合進(jìn)行圖像的分割和缺陷邊緣提取，由于表面缺陷造成了物體表面深度的變化，因此在深度圖像中尋找深度發(fā)生突變的點(diǎn)，根據(jù)這些深度突變點(diǎn)對(duì)圖像進(jìn)行分割，由于灰度圖像的分辨率比深度圖像高，因此可以在灰度圖像中根據(jù)深度圖像的分割結(jié)果進(jìn)行缺陷的邊緣，從而得到缺陷的精確邊緣。
3.如權(quán)利要求1所述的一種灰度和深度信息融合的表面缺陷檢測(cè)方法，其特征在于 所述的缺陷的分類識(shí)別是通過深度圖像與灰度圖像的特征級(jí)融合，從灰度圖像中提取缺陷灰度特征、紋理特征以及二維幾何特征，所述的缺陷灰度特征包括灰度的平均值、方差、歪度、峭度、能量、熵；所述的紋理特征包括紋理的二階矩、熵、對(duì)比度和均勻性；所述的二維幾何特征包括簡(jiǎn)單描述符、形狀描述符和不變矩等，所述的從深度圖像中提取缺陷的三維幾何特征，包括不變矩和傅里葉描述子。
全文摘要
本發(fā)明涉及一種物體表面缺陷在線檢測(cè)方法以及實(shí)現(xiàn)該方法的裝置，通過灰度與深度信息的融合提高缺陷檢測(cè)與識(shí)別的準(zhǔn)確率，并可應(yīng)用于復(fù)雜形狀和復(fù)雜表面的物體檢測(cè)。利用單臺(tái)彩色面陣CCD攝像機(jī)與多臺(tái)不同顏色光源的組合采集物體表面的灰度圖像與深度圖像，其中深度信息的獲取通過面結(jié)構(gòu)光方式得到。通過深度圖像與灰度圖像的像素級(jí)融合進(jìn)行圖像的分割和缺陷邊緣提取，從而可以更準(zhǔn)確地檢測(cè)缺陷所在的區(qū)域。根據(jù)檢測(cè)到的缺陷區(qū)域，從灰度圖像中提取缺陷的灰度特征、紋理特征以及二維幾何特征，從深度圖像中提取缺陷的三維幾何特征，并進(jìn)行特征級(jí)的融合，將融合后的特征量作為分類器的輸入進(jìn)行缺陷的分類，從而實(shí)現(xiàn)缺陷的識(shí)別。
文檔編號(hào)G01N21/88GK102288613SQ201110121520
公開日2011年12月21日 申請(qǐng)日期2011年5月11日 優(yōu)先權(quán)日2011年5月11日
發(fā)明者周鵬, 徐科, 徐金梧, 楊朝霖 申請(qǐng)人:北京科技大學(xué)