本發(fā)明涉及焊接形態(tài)識別領(lǐng)域，尤其涉及一種金屬焊點形態(tài)檢測方法和焊點焊后質(zhì)量檢測識別系統(tǒng)。

背景技術(shù)：

1、隨著現(xiàn)代工業(yè)的智能化焊接技術(shù)的普及，對于焊接過后焊接點的形態(tài)識別和質(zhì)量評估提出了新的要求。近年來，隨著三維點云建模技術(shù)和機(jī)器學(xué)習(xí)視覺模型的快速發(fā)展，各類機(jī)器學(xué)習(xí)模型和算法，尤其是視覺領(lǐng)域被廣泛的應(yīng)用于智能焊接領(lǐng)域。通過三維傳感器的建模收集焊點的建模數(shù)據(jù)，分析各種缺陷的視覺特點，構(gòu)建合適的機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練以形成對銅激光焊接焊后焊點形態(tài)和質(zhì)量識別、評估的模型。

2、由于銅焊接的物理過程和化學(xué)過程較為復(fù)雜，所以焊后焊點的形態(tài)也較為復(fù)雜。傳統(tǒng)的三維傳感器構(gòu)建焊點的點云模型，由于焊接場地具有復(fù)雜的環(huán)境，焊點的高反光和光噪聲對點云建模的效果有較大的影響，從而影響整個系統(tǒng)的識別精度。因此獲取高精度的點云對系統(tǒng)精度有很高的影響。

3、論文“deep?residual?learning?for?image?recognition.arxiv:1512.03385[cs](december?2015).”中，kaiming?he使用了一種殘差學(xué)習(xí)框架來進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。直接使用殘差神經(jīng)網(wǎng)絡(luò)訓(xùn)練焊點點云文件，整個訓(xùn)練過程復(fù)雜且效率較低。

4、在現(xiàn)有技術(shù)中，傳統(tǒng)的焊點檢測往往通過人工識別、或者基于二維圖片的計算機(jī)視覺識別。但是人工識別效率較低、二維圖片的拍攝受到周圍環(huán)境光的影響較大，影響識別的精度?，F(xiàn)在一些研究人員再把點云相關(guān)技術(shù)引入到智能焊接領(lǐng)域，但是點云算法建模時候也會收到一定的環(huán)境光影響導(dǎo)致數(shù)據(jù)的隨機(jī)缺失，而且點云的傳統(tǒng)計算速度過慢，讓其使用場景較為局限。

5、因此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種金屬焊點形態(tài)檢測方法和焊點焊后質(zhì)量檢測識別系統(tǒng)，以提高采集效率，提升算法效率，同時提高識別效率和準(zhǔn)確率。

技術(shù)實現(xiàn)思路

1、有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是傳統(tǒng)點云識別精度低、效率低，點云融合算法速率慢、效率低以及點云文件不能直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行識別而導(dǎo)致的效率低下。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種金屬焊點形態(tài)檢測方法，包括以下步驟：

3、步驟1、構(gòu)建焊點的多角度遞進(jìn)的采樣系統(tǒng)，支持多角度采集焊點點云；

4、所述的待檢測樣本是金屬材質(zhì)、具有反光特性的焊點或其他物件表面；所述焊點或物件的表面正投影近似長方形，有較高的反光屬性；

5、所述的多角度遞進(jìn)的采樣系統(tǒng)包括：一個結(jié)構(gòu)光建模的3d傳感器和一個可以使所述3d傳感器在球面空間內(nèi)移動的支架，所述待檢測樣本位于球面空間的球心附近，通過所述3d傳感器的移動將所述3d傳感器置于預(yù)設(shè)的位置，獲取各角度拍攝的點云，避免視覺遮擋；

6、所述的采樣過程為：首先所述傳感器位于所述待檢測樣本正上方，所述待檢測樣本與鏡頭連線的直線垂直于鏡頭，此角度拍攝點云作為主點云；之后根據(jù)算法判斷主點云數(shù)據(jù)是否完整，若主點云數(shù)據(jù)不能達(dá)到要求則進(jìn)行輔點云的采集，即沿著所述待檢測樣本與鏡頭連線的直線向任意位置偏轉(zhuǎn)30度并在球面作與該直線垂直的圓環(huán)作為傳感器移動軌跡，沿著所述圓環(huán)每隔90度再次對所述待檢測樣本進(jìn)行30度角度的側(cè)面拍攝，根據(jù)所述主點云的數(shù)據(jù)密度選擇執(zhí)行1-4次，此步驟生成的點云作為輔點云，其中同一個角度可以拍攝多張來避免噪聲干擾，整個采樣過程要根據(jù)待檢測目標(biāo)限制傳感器的建模區(qū)域，讓所述待檢測樣本可以被完整建模，非目標(biāo)物體盡量不被建模；

7、所述待檢測樣本由主點云文件和輔點云文件組成，每個文件均支持多次重復(fù)采樣；

8、步驟2、根據(jù)所述待檢測樣本的集合特征，設(shè)計快速的3d點云融合方案，具體操作如下：

9、步驟2.1、信號預(yù)處理，將所述待檢測樣本目標(biāo)進(jìn)行特定分離，得到預(yù)處理后的單獨的焊點點云信息；

10、步驟2.2、將所述待檢測樣本目標(biāo)進(jìn)行位姿矯正，此步驟處理后，從不同視角拍攝的同一個待檢測樣本目標(biāo)將在坐標(biāo)系內(nèi)具有相近的坐標(biāo)數(shù)值，初始值的具有高度的近似性有利于后續(xù)點云算法融合的速度提升；

11、步驟2.3、將所述待檢測樣本目標(biāo)進(jìn)行特定特征點提取，使用較少的數(shù)據(jù)集來表示原有點云集，就可進(jìn)行快速的點云融合，其中融合前的點云是步驟(1)建模的主點云或主點云和各視角下建模的輔點云，具有視覺信息互補性，融合后獲取到更豐富、更全面反應(yīng)所述待檢測樣本形貌的點云數(shù)據(jù)；

12、步驟2.4、對同一目標(biāo)物不同視角的點云圖像進(jìn)行融合；

13、步驟3、進(jìn)行機(jī)器學(xué)習(xí)的訓(xùn)練，將融合后的點云數(shù)據(jù)x∈r3，投影到xy平面生成灰度圖像，作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，卷積神經(jīng)網(wǎng)絡(luò)最后使用多層感知機(jī)進(jìn)行分類判斷，輸出該焊點的形態(tài)描述，其數(shù)學(xué)表達(dá)式如下：

14、k(x),p(x)＝class(img(x))；

15、其中img(x)是灰度圖轉(zhuǎn)換函數(shù)，class()是卷積神經(jīng)網(wǎng)絡(luò)，k(x)返回是焊點形狀的類別，p(x)是焊點的合格的概率，如果認(rèn)為p(x)>0.5則系統(tǒng)認(rèn)為是合格的焊點。

16、進(jìn)一步地，所述步驟1中所述的重復(fù)采樣是指：為了避免傳感器的噪聲和環(huán)境光干擾，所述主點云和所述輔點云均可以進(jìn)行多次采樣，采樣過程選擇添加額外的點光源或線光源，即在同一角度獨立獲取多個點云文件。

17、進(jìn)一步地，所述步驟2.1具體包括以下步驟：

18、步驟2.1.1、去除離群噪點，環(huán)境光、噪聲、電磁波擾動等干擾會使原始點云有離群點集合采用基于局部統(tǒng)計信息的濾波算法去除離群噪點，計算步驟為：

19、計算給定點xn的k個鄰居點到xn的距離l1,l2,...,ln并擬合高斯分布n(nk,mk2)，把偏離在均值nk的p*mk2之外的點作為離群噪聲點去除，表示如下：

20、若lm∈[nk-p*mk2，nk+p*mk2](m＝1,2,...n)則留下點xm，否則將xm剔除，其中nk是所擬合的高斯分布的均值，mk2是高斯分布的方差，p是系統(tǒng)預(yù)設(shè)閾值；

21、步驟2.1.2、篩選出焊點點云數(shù)據(jù)，根據(jù)待檢測目標(biāo)的特點，點云主要分為兩個區(qū)域：焊點表面的點云模型數(shù)據(jù)z1和未覆熔區(qū)z2，其中z2區(qū)域的點云平面是與標(biāo)記法向量相垂直，根據(jù)法線方向進(jìn)行篩選剔除點云模型中非焊點的數(shù)據(jù)，表示如下：

22、若cos<(a,b,c),l>∈[-0.1,0.1]，則刪除xn，其中(a,b,c)是點xn法向量，l是系統(tǒng)預(yù)設(shè)金屬表面的法向量；

23、步驟2.1.3、對焊點進(jìn)行分割，對所述步驟2.2處理后的點云數(shù)據(jù)，采用基于無監(jiān)督密度聚類實現(xiàn)有效實現(xiàn)對焊點的初步分割提取，其中聚在同一個類別的點集合認(rèn)為是同一個焊點，并計算最小包圍長方體進(jìn)行調(diào)整，此后根據(jù)點云的空間最小包圍盒，使用切片法對分割后的焊點進(jìn)行進(jìn)一步校準(zhǔn)，經(jīng)過此步驟后可以獲得單獨的焊點點云陣列。

24、進(jìn)一步地，所述步驟2.3還包括：

25、步驟2.3.1、將經(jīng)過位姿矯正后的主點云和輔點云，沿著z軸向xy平面做投影，將投影面做灰度圖變換，并計算灰度圖的二維特征點；

26、步驟2.3.2、根據(jù)二位灰度圖和點云的對應(yīng)關(guān)系，將計算出的二維特征點前n個最具特征點，再點云中標(biāo)記出來最為點云融合的輸入數(shù)據(jù)。

27、進(jìn)一步地，在所述步驟1中的采樣過程中，所述待檢測樣本距離在合適的掃描區(qū)域時，傳感器開始在樣本正上方開始建立主點云，之后根據(jù)主點云的密度檢測算法對主點云的判定再決定是否繼續(xù)掃描建立輔助點云，當(dāng)主點云和輔點云建模完成后本次采集過程完成。

28、進(jìn)一步地，所述的主點云的密度檢測算法，具體執(zhí)行方式是：把所述主點云的主投影面進(jìn)行分割成4塊區(qū)域計算每個區(qū)域的點云密度，即求解點數(shù)n和區(qū)域面積s的比值n/s，若所述點云密度低于預(yù)設(shè)的閾值則需要確定輔點云角度和數(shù)量并進(jìn)行輔點云拍攝。

29、進(jìn)一步地，所述的待檢測樣本是銅焊接的焊點，其中覆熔區(qū)為矩形正對著傳感器，未覆熔區(qū)是條狀的支架其表面與覆熔區(qū)相垂直，且在傳感器建模的視角內(nèi)只有焊點和標(biāo)記平面，沒有其他物體被掃描到點云文件內(nèi)。

30、進(jìn)一步地，所述步驟3中的所述的待檢測樣本的形態(tài)描述是采用卷積神經(jīng)網(wǎng)絡(luò)根據(jù)生成的點云灰度圖來提取特征，所述的卷積神經(jīng)網(wǎng)絡(luò)的模型是resnet-152，包含第一卷積層組、第二卷積層組、第三卷積層組、1個完全連接層和1個softmax層。

31、進(jìn)一步地，所述步驟3中的焊點形態(tài)描述輸出是預(yù)設(shè)的焊點模型的幾種類別之一。

32、本發(fā)明還提供了一種焊點焊后質(zhì)量檢測的識別系統(tǒng)，使用如前所述的金屬焊點形態(tài)檢測方法，所述焊點焊后質(zhì)量檢測的識別系統(tǒng)將所述步驟3中計算出焊點表面的尺寸大小、焊點高度差信息、表面孔洞信息與標(biāo)準(zhǔn)的合格焊點相關(guān)參數(shù)進(jìn)行匹配，實時給出焊點的質(zhì)量評估結(jié)果。

33、本發(fā)明從點云的處理和機(jī)器學(xué)習(xí)算法兩個角度入手，對基于機(jī)器學(xué)習(xí)的點云識別模型進(jìn)行特定的優(yōu)化。構(gòu)建合適的數(shù)據(jù)集并搭建合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，來提升訓(xùn)練機(jī)器學(xué)習(xí)模型的識別精度和訓(xùn)練效率。

34、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益技術(shù)效果：

35、1.在點云識別方面，本發(fā)明采用了移動單攝像頭進(jìn)行多視角點云拍攝，避免特定視角下光照或遮擋造成的點云缺失。通過對局部點云密度的計算，自動判斷當(dāng)前視角點云是否存在缺失。計算缺失的位置，缺失的會重新選擇合適視角進(jìn)行二次拍攝采集，并進(jìn)行多視角點云融合。

36、相較于傳統(tǒng)的點云識別算法，本發(fā)明采用多角度的采樣系統(tǒng)，從多角度提取具有互補信息的焊點點云。本發(fā)明極大的增加了點云數(shù)據(jù)采集的完整性，其動態(tài)的檢測過程只在必要時候進(jìn)行多次采集，提升了算法效率。只需要一個傳感器，從而減少了成本。

37、2.對點云進(jìn)行特征計算，提煉出可以代表整個點云的特征點。同時，只針對特征點進(jìn)行變換矩陣的計算。根據(jù)點云特征點的計算方法，對每個點進(jìn)行特征計算并排序。保留特征點最大的前10％作為整個點云的代表數(shù)據(jù)。可以提升整個點云融合的速度，并提升點云的精度。

38、本發(fā)明率先在焊點點云融合領(lǐng)域使用fpfh算法進(jìn)行點云融合加速，用較少的點集集合代替原始點云進(jìn)行計算點云空間變換矩陣，降低了計算次數(shù)和數(shù)據(jù)規(guī)模，提升系統(tǒng)整體的點云融合速度。

39、3.本發(fā)明設(shè)計了獨有的點云-圖像轉(zhuǎn)換算法，使得點云可以轉(zhuǎn)成2d圖，并盡可能保留所需要的特征。根據(jù)待檢測目標(biāo)物的空間姿態(tài)，自動生成焊接面的投影算法，生成帶高度信息的特征圖，成功把點云文件和神經(jīng)網(wǎng)絡(luò)相結(jié)合，有效排除傳統(tǒng)rgb相機(jī)無法排除污漬、環(huán)境光噪聲的影響，識別效率可以達(dá)到98％以上，提高了識別的效率。

40、通過與焊點使用濾波和點云融合算法，有效保留最多的、最真實的焊點表面的高度曲面，轉(zhuǎn)化成高度灰度圖，將灰度圖用于卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練好的機(jī)器學(xué)習(xí)模型就可以有效獲取焊點的特征并用于形態(tài)識別和質(zhì)量檢測。

41、本發(fā)明著重提升殘差網(wǎng)絡(luò)在焊點點云識別的效率，根據(jù)對輸入數(shù)據(jù)的預(yù)處理和待檢測目標(biāo)的特點，設(shè)計合適的殘差神經(jīng)網(wǎng)絡(luò)的層數(shù)和參數(shù)，不僅提升了整個網(wǎng)絡(luò)的訓(xùn)練效率，由于輸入的點云經(jīng)過互補信息的融合具有更全面的數(shù)據(jù)，此網(wǎng)絡(luò)更能高效的學(xué)習(xí)點云焊點的局部性信息和全局性信息，在焊點形狀描述上有很好的性能和識別效果，有效填補了業(yè)內(nèi)空白。

42、以下將結(jié)合附圖對本發(fā)明的構(gòu)思、具體結(jié)構(gòu)及產(chǎn)生的技術(shù)效果作進(jìn)一步說明，以充分地了解本發(fā)明的目的、特征和效果。