本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種多相材料圖像分割方法及系統(tǒng)。

背景技術(shù)：

1、目前，灌注式瀝青混凝土多相材料在不斷的研究和發(fā)展中，其材料組成與細(xì)觀結(jié)構(gòu)的強(qiáng)度之間的分析勢(shì)在必行。對(duì)灌注式瀝青混凝土多相材料進(jìn)行圖像分割方面是一個(gè)難點(diǎn)，對(duì)后續(xù)進(jìn)一步研究具有重大意義。傳統(tǒng)的二值化圖像分割方法只適用于包括較少相、材料顏色特征差異較大的數(shù)字圖像，在面對(duì)紋理特征復(fù)雜且包含多種復(fù)雜組成部分的灌注式瀝青混凝土多相材料數(shù)字圖像時(shí)，需要手動(dòng)選擇合適的閾值來分割圖像，將圖像分為黑白二色會(huì)導(dǎo)致原始數(shù)字圖像中的灰度信息丟失，難以取得較好的效果?；谡Z(yǔ)義分割的深度學(xué)習(xí)方法在識(shí)別多相材料方面具有較好的表現(xiàn)，但是深度學(xué)習(xí)模型的訓(xùn)練需要使用到大量的數(shù)據(jù)集以及高性能的計(jì)算機(jī)進(jìn)行大量的迭代運(yùn)算，需要較高的人力物力成本，而且對(duì)于提取色差較小、梯度變化較弱的灌注式瀝青混凝土多相材料數(shù)字圖像中的邊緣信息時(shí)，難以取得較好的效果，常常出現(xiàn)誤檢測(cè)的情況。以上方法均不利于在工程實(shí)際中大規(guī)模推廣使用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種多相材料圖像分割方法及系統(tǒng)，可以有效解決現(xiàn)有深度學(xué)習(xí)訓(xùn)練量大的問題，以及有效解決在面對(duì)截面特征復(fù)雜的多相材料原始圖像時(shí)，傳統(tǒng)的圖像分割方法對(duì)材料信息分割不準(zhǔn)確以及語(yǔ)義分割的深度學(xué)習(xí)方法中邊緣信息模糊的問題。

2、本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種多相材料圖像分割方法，包括以下步驟：

3、s1，利用改進(jìn)的基于語(yǔ)義分割的深度學(xué)習(xí)方法建立預(yù)測(cè)模型；

4、s2，獲取待分割的多相材料原始圖像，并采用雙邊濾波方法對(duì)所述多相材料原始圖像進(jìn)行卷積濾波，得到濾波圖像；

5、s3，使用形態(tài)學(xué)方法對(duì)所述濾波圖像進(jìn)行腐蝕和膨脹操作，得到邊緣信息圖像；

6、s4，利用改進(jìn)的區(qū)域生長(zhǎng)方法對(duì)所述邊緣信息圖像進(jìn)行封閉區(qū)域像素信息搜索，得到封閉區(qū)域像素信息圖像；

7、s5，將所述多相材料原始圖像和所述封閉區(qū)域像素信息圖像輸入所述預(yù)測(cè)模型，將所述封閉區(qū)域像素信息圖像作為掩碼引導(dǎo)所述預(yù)測(cè)模型對(duì)所述多相材料原始圖像進(jìn)行預(yù)測(cè)，得到圖像分割結(jié)果。

8、在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

9、進(jìn)一步，所述s1具體為：

10、s11，獲取多個(gè)多相材料樣本原始圖像并制作成數(shù)據(jù)集，且按預(yù)設(shè)比例將所述數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；

11、s12，利用基于語(yǔ)義分割的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)所述訓(xùn)練集中的標(biāo)注分割圖像進(jìn)行底層特征提取，得到底層特征圖；

12、s13，利用全局信息嵌入網(wǎng)絡(luò)從多個(gè)層級(jí)和尺度上捕獲所述底層特征圖的全局信息；在各層級(jí)和尺度上，根據(jù)所述全局信息動(dòng)態(tài)調(diào)整各通道的權(quán)重，并根據(jù)各通道的權(quán)重計(jì)算出各通道的特征信息，且將所有通道的特征信息進(jìn)行拼接，得到全局信息拼接圖；將所有層級(jí)和尺度上的全局信息拼接圖進(jìn)行拼接，得到拼接特征圖；

13、s14，利用解碼網(wǎng)絡(luò)恢復(fù)所述拼接特征圖的分辨率，并將恢復(fù)了分辨率的所述拼接特征圖與所述底層特征圖進(jìn)行融合，得到初始預(yù)測(cè)模型；

14、s15，利用所述測(cè)試集評(píng)估所述初始預(yù)測(cè)模型的性能，以優(yōu)化所述初始預(yù)測(cè)模型的模型參數(shù)和超參數(shù)，得到所述預(yù)測(cè)模型。

15、進(jìn)一步，在所述s11中，將多個(gè)多相材料樣本原始圖像制作成數(shù)據(jù)集具體為：

16、通過在各個(gè)多相材料樣本原始圖像的各個(gè)像素上人工標(biāo)注出對(duì)應(yīng)的材料標(biāo)簽，以將各個(gè)多相材料樣本原始圖像分割成由不同材料構(gòu)成的多個(gè)區(qū)域，得到與各個(gè)多相材料樣本原始圖像對(duì)應(yīng)的標(biāo)注分割圖像；所有所述標(biāo)注分割圖像構(gòu)成所述數(shù)據(jù)集。

17、進(jìn)一步，在所述s13中，所述全局信息嵌入網(wǎng)絡(luò)包括：

18、第一卷積層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

19、第二卷積層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

20、第三卷積層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

21、第四卷積層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

22、平均池化層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

23、第一全局信息嵌入層，輸入端連接所述第一卷積層的輸出端；

24、第二全局信息嵌入層，輸入端連接所述第二卷積層的輸出端；

25、第三全局信息嵌入層，輸入端連接所述第三卷積層的輸出端；

26、第四全局信息嵌入層，輸入端連接所述第四卷積層的輸出端；

27、第五全局信息嵌入層，輸入端連接所述平均池化層的輸出端；

28、第一拼接層，輸入端分別連接所述第一全局信息嵌入層、所述第二全局信息嵌入層、所述第三全局信息嵌入層、所述第四全局信息嵌入層以及所述第五全局信息嵌入層的輸出端；

29、第五卷積層，輸入端連接所述第一拼接層的輸出端。

30、進(jìn)一步，所述第一卷積層以及所述第五卷積層均具體為1×1卷積層，所述第二卷積層具體是膨脹因子為6的3×3卷積層，所述第三卷積層具體是膨脹因子為12的3×3卷積層，所述第四卷積層具體是膨脹因子為18的3×3卷積層。

31、進(jìn)一步，所述第一全局信息嵌入層、所述第二全局信息嵌入層、所述第三全局信息嵌入層、所述第四全局信息嵌入層以及所述第五全局信息嵌入層的結(jié)構(gòu)相同，且均包括：

32、全局平均池化層，其用于對(duì)所述底層特征圖的全局信息進(jìn)行壓縮，得到全局信息壓縮圖；

33、第一全連接層，與所述全局平均池化層連接，用于對(duì)所述全局信息壓縮圖中的所有通道進(jìn)行壓縮，得到通道壓縮圖；

34、非線性激活層，與所述第一全連接層連接，用于通過學(xué)習(xí)通道間的關(guān)系來動(dòng)態(tài)調(diào)整各通道的重要性，以刻畫出所述通道壓縮圖中各通道的權(quán)重；并將所述通道壓縮圖中各通道的權(quán)重與所述通道壓縮圖作乘積處理，得到所述通道壓縮圖中各通道的特征信息；且將所述通道壓縮圖中所有通道的特征信息進(jìn)行拼接，得到通道壓縮全局信息拼接圖；

35、第二全連接層，與所述非線性激活層連接，用于恢復(fù)所述通道壓縮全局信息拼接圖的通道數(shù)，得到所述全局信息拼接圖。

36、進(jìn)一步，在所述s14中，所述解碼網(wǎng)絡(luò)包括：

37、第一下采樣層，輸入端連接所述第五卷積層的輸出端；

38、第六卷積層，輸入端連接所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸出端；

39、第二拼接層，輸入端分別連接所述第一下采樣層以及所述第六卷積層的輸出端；

40、第七卷積層，輸入端連接所述第二拼接層的輸出端；

41、第二下采樣層，輸入端連接所述第七卷積層；

42、其中，所述第六卷積層均具體為1×1卷積層，所述第七卷積層具體為3×3卷積層，所述第一下采樣層和所述第二下采樣層均具體為4倍下采樣層。

43、進(jìn)一步，所述s3具體為：

44、s31，使用形態(tài)學(xué)方法對(duì)所述濾波圖像進(jìn)行腐蝕處理，得到腐蝕圖像；

45、s32，使用形態(tài)學(xué)方法對(duì)所述濾波圖像進(jìn)行膨脹處理，得到膨脹圖像；

46、s33，將所述腐蝕圖像與所述膨脹圖像進(jìn)行取差集處理，得到所述邊緣信息圖像。

47、進(jìn)一步，所述s4具體為：

48、s41，在所述邊緣信息圖像中選擇非邊緣且未被標(biāo)記的區(qū)域隨機(jī)投放一個(gè)種子像素；

49、s42，從被投放的種子像素開始，搜索與其相鄰的非邊緣像素，并將與其相鄰的非邊緣像素作為新的種子像素繼續(xù)向四周生長(zhǎng)，直到碰到邊緣像素后停止生長(zhǎng)，形成封閉區(qū)域并標(biāo)記；

50、s43，循環(huán)執(zhí)行所述s41和所述s42，直至所述邊緣信息圖像中的所有封閉區(qū)域被全部標(biāo)記，結(jié)束循環(huán)，得到所述封閉區(qū)域像素信息圖像。

51、基于上述一種多相材料圖像分割方法，本發(fā)明還提供一種多相材料圖像分割系統(tǒng)。

52、一種多相材料圖像分割系統(tǒng)，應(yīng)用于如上述所述的多相材料圖像分割方法，包括圖像處理裝置以及搭載在所述圖像處理裝置中的預(yù)測(cè)模型；所述預(yù)測(cè)模型由改進(jìn)的基于語(yǔ)義分割的深度學(xué)習(xí)方法建成；

53、所述圖像處理裝置用于采用雙邊濾波方法對(duì)獲取的待分割的多相材料原始圖像進(jìn)行卷積濾波，得到濾波圖像；并使用形態(tài)學(xué)方法對(duì)所述濾波圖像進(jìn)行腐蝕和膨脹操作，得到邊緣信息圖像；且利用改進(jìn)的區(qū)域生長(zhǎng)方法對(duì)所述邊緣信息圖像進(jìn)行封閉區(qū)域像素信息搜索，得到封閉區(qū)域像素信息圖像；

54、所述預(yù)測(cè)模型用于在所述封閉區(qū)域像素信息圖像作為掩碼的引導(dǎo)下對(duì)所述多相材料原始圖像進(jìn)行預(yù)測(cè)，得到圖像分割結(jié)果。

55、本發(fā)明的有益效果是：本發(fā)明一種多相材料圖像分割方法及系統(tǒng)使用改進(jìn)的基于語(yǔ)義分割的深度學(xué)習(xí)方法構(gòu)建預(yù)測(cè)模型，該改進(jìn)的基于語(yǔ)義分割的深度學(xué)習(xí)方法是在基于語(yǔ)義分割的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中引入全局信息嵌入網(wǎng)絡(luò)，增強(qiáng)算法對(duì)材料特征信息的關(guān)注，從而提高語(yǔ)義分割任務(wù)的準(zhǔn)確性和性能，可以使用較少樣本量的數(shù)據(jù)集實(shí)現(xiàn)較高的準(zhǔn)確率，減少了深度學(xué)習(xí)的訓(xùn)練量；同時(shí)，本發(fā)明利用改進(jìn)的區(qū)域生長(zhǎng)方法進(jìn)行封閉區(qū)域像素信息搜索，可以高效精確的分割出圖像中由不同邊緣組成的封閉區(qū)域；另外，本發(fā)明將封閉區(qū)域像素信息圖像作為掩碼引導(dǎo)預(yù)測(cè)模型對(duì)多相材料原始圖像進(jìn)行預(yù)測(cè)，預(yù)測(cè)模型利用這些信息可以更好地理解多相材料原始圖像中各封閉區(qū)域的語(yǔ)義內(nèi)容，將注意力集中在各個(gè)封閉區(qū)域中，將同一封閉區(qū)域內(nèi)的像素標(biāo)記為同一種材料類型，得到精確的圖像分割結(jié)果；綜上，本發(fā)明不僅減少了基于語(yǔ)義分割的深度學(xué)習(xí)的訓(xùn)練量，更能避免誤檢測(cè)帶來的錯(cuò)誤信息，進(jìn)一步提高了圖像分割的準(zhǔn)確性，具有較高的普適性，為進(jìn)一步建立真實(shí)骨料形狀的細(xì)觀模型以及研究多相材料的性質(zhì)提供可靠的數(shù)據(jù)支持，具有顯著的經(jīng)濟(jì)與環(huán)境效益。