本技術(shù)涉及圖像處理領(lǐng)域，具體而言，涉及一種圖像語(yǔ)義分割方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前相關(guān)技術(shù)中的圖像語(yǔ)義分割方法通常都是基于深度卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)的，但是通過(guò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)雖然可以實(shí)現(xiàn)圖像語(yǔ)義分割，但是對(duì)設(shè)備的配置要求高，對(duì)于實(shí)際應(yīng)用場(chǎng)景中的手機(jī)、無(wú)人機(jī)等小型且配置受限的設(shè)備中，由于算力不足，導(dǎo)致無(wú)法直接在常見設(shè)備中使用基于深度卷積神經(jīng)網(wǎng)絡(luò)模型來(lái)完成圖像語(yǔ)義分割。

2、針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種圖像語(yǔ)義分割方法、裝置、電子設(shè)備及非易失性存儲(chǔ)介質(zhì)，以至少解決由于相關(guān)技術(shù)中在進(jìn)行圖像語(yǔ)義分割時(shí)對(duì)硬件設(shè)備的配置要求過(guò)高造成的無(wú)法在小型移動(dòng)設(shè)備中實(shí)現(xiàn)圖像語(yǔ)義分割方法的技術(shù)問(wèn)題。

2、根據(jù)本技術(shù)實(shí)施例的一個(gè)方面，提供了一種圖像語(yǔ)義分割方法，包括：重復(fù)執(zhí)行第一預(yù)設(shè)數(shù)量次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)中的第一分支和第二分支提取第一待處理圖像的特征圖的步驟，得到特征圖集合，其中，首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理圖像為原始圖像，非首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理特征圖為對(duì)上一次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖進(jìn)行下采樣后得到的圖像，第一分支包括串聯(lián)的第一卷積核和第二卷積核，第二分支包括多個(gè)空洞卷積核，特征圖集合中包括每次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖；重復(fù)執(zhí)行第二預(yù)設(shè)數(shù)量次對(duì)第二待處理圖像上采樣并與第二待處理圖像的上文特征圖融合的步驟，并在每次融合后，通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)中的第三分支和第四分支提取融合得到的融合特征圖的特征圖，從而得到目標(biāo)特征圖，其中，首次上采樣的第二待處理圖像為特征圖集合中分辨率最小的特征圖，非首次上采樣的第二待處理圖像為上一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，目標(biāo)特征圖為最后一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，第三分支包括串聯(lián)的第三卷積核和第四卷積核，第四分支包括多個(gè)空洞卷積核；依據(jù)目標(biāo)特征圖確定原始圖像的語(yǔ)義分割結(jié)果。

3、可選地，第一預(yù)設(shè)卷積網(wǎng)絡(luò)中還包括第五卷積核，通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)中的第一分支和第二分支提取第一待處理圖像的特征圖的步驟包括：通過(guò)第五卷積核對(duì)第一待處理圖像進(jìn)行降維卷積處理，得到第一中間特征圖；通過(guò)第一分支中的第一卷積核和第二卷積核對(duì)第一中間特征圖連續(xù)卷積，得到第一卷積結(jié)果；通過(guò)第二分支中的多個(gè)空洞卷積核對(duì)第一中間特征圖進(jìn)行多次空洞卷積，得到第二卷積結(jié)果；融合第一待處理圖像，第一卷積結(jié)果和第二卷積結(jié)果，得到下采樣后得到的圖像對(duì)應(yīng)的特征圖。

4、可選地，第二分支中包括第一空洞卷積核，第二空洞卷積核和第三空洞卷積核；通過(guò)第二分支中的多個(gè)空洞卷積核對(duì)下采樣后得到的圖像進(jìn)行多次空洞卷積，得到第二卷積結(jié)果的步驟包括：采用第一空洞卷積核對(duì)第一中間特征圖進(jìn)行第一次空洞卷積處理，得到第一空洞卷積結(jié)果；采用第二空洞卷積核對(duì)第一中間特征圖進(jìn)行卷積處理，并合并第一空洞卷積結(jié)果，得到第二空洞卷積結(jié)果；采用第三空洞卷積核對(duì)第一中間特征圖進(jìn)行卷積處理，并合并第二卷積結(jié)果，得到第三空洞卷積結(jié)果，其中，第二卷積結(jié)果中包括第一空洞卷積結(jié)果，第二空洞卷積結(jié)果和第三空洞卷積結(jié)果。

5、可選地，融合第一待處理圖像，第一卷積結(jié)果和第二卷積結(jié)果，得到下采樣后得到的圖像對(duì)應(yīng)的特征圖的步驟包括：對(duì)第一卷積結(jié)果和第二卷積結(jié)果進(jìn)行通道拼接處理，得到第二中間特征圖；確定第二中間特征圖中的各個(gè)通道之間的依賴關(guān)系，并依據(jù)依賴關(guān)系調(diào)整各個(gè)通道的特征響應(yīng)值；融合調(diào)整特征響應(yīng)值后的第二中間特征圖和第一待處理圖像，得到第一待處理圖像對(duì)應(yīng)的特征圖。

6、可選地，對(duì)第二待處理圖像上采樣并與第二待處理圖像的上文特征圖融合包括：通過(guò)空間注意力網(wǎng)絡(luò)確定上文特征圖中的感興趣區(qū)域；依據(jù)上文特征圖中的感興趣區(qū)域，調(diào)整上文特征圖中的各個(gè)通道的融合權(quán)重。

7、可選地，第二預(yù)設(shè)卷積網(wǎng)絡(luò)中還包括第六卷積核，通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)中的第三分支和第四分支提取融合得到的融合特征圖的特征圖的步驟包括：通過(guò)第六卷積核對(duì)融合特征圖進(jìn)行降維卷積處理，得到第三中間特征圖；通過(guò)第三分支中的第二卷積核和第三卷積核對(duì)第三中間特征圖連續(xù)卷積，得到第三卷積結(jié)果；通過(guò)第四分支中的多個(gè)空洞卷積核對(duì)第三中間特征圖進(jìn)行多次空洞卷積，得到第四卷積結(jié)果；合并融合特征圖，第三卷積結(jié)果和第四卷積結(jié)果，得到融合特征圖對(duì)應(yīng)的特征圖。

8、可選地，第四分支中包括第四空洞卷積核，第五空洞卷積核和第六空洞卷積核；通過(guò)第四分支中的多個(gè)空洞卷積核對(duì)下采樣后得到的圖像進(jìn)行多次空洞卷積，得到第四卷積結(jié)果的步驟包括：采用第四空洞卷積核對(duì)第三中間特征圖進(jìn)行第一次空洞卷積處理，得到第四空洞卷積結(jié)果；采用第五空洞卷積核對(duì)第三中間特征圖進(jìn)行卷積處理，并合并第四空洞卷積結(jié)果，得到第五空洞卷積結(jié)果；采用第六空洞卷積核對(duì)第三中間特征圖進(jìn)行卷積處理，并合并第五空洞卷積結(jié)果，得到第六空洞卷積結(jié)果，其中，第四卷積結(jié)果中包括第四空洞卷積結(jié)果，第五空洞卷積結(jié)果和第六空洞卷積結(jié)果。

9、可選地，合并融合特征圖、第三卷積結(jié)果和第四卷積結(jié)果，得到融合特征圖對(duì)應(yīng)的特征圖的步驟包括：對(duì)第三卷積結(jié)果和第四卷積結(jié)果進(jìn)行通道拼接處理，得到第四中間特征圖；確定第四中間特征圖中的各個(gè)通道之間的依賴關(guān)系，并依據(jù)依賴關(guān)系調(diào)整各個(gè)通道的特征響應(yīng)值；融合調(diào)整特征響應(yīng)值后的第四中間特征圖和融合特征圖，得到融合特征圖對(duì)應(yīng)的特征圖。

10、可選地，特征圖集合中包括淺層特征圖，中層特征圖，深層特征圖和底層特征圖，其中，淺層特征圖的分辨率等于待處理圖像的分辨率，中層特征圖的分辨率小于待處理圖像的分辨率，深層特征圖的分辨率小于中層特征圖的分辨率，底層特征圖的分辨率小于深層特征圖的分辨率。

11、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種圖像語(yǔ)義分割模型訓(xùn)練方法，包括：獲取訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中包括樣本圖像和樣本圖像對(duì)應(yīng)的標(biāo)簽信息；將訓(xùn)練數(shù)據(jù)集輸入到待訓(xùn)練圖像語(yǔ)義分割模型中，并獲取待訓(xùn)練圖像語(yǔ)義分割模型輸出的預(yù)測(cè)分割結(jié)果，其中，待訓(xùn)練圖像語(yǔ)義分割模型中包括編碼模塊和解碼模塊，編碼模塊中包括多個(gè)第一預(yù)設(shè)卷積網(wǎng)絡(luò)，解碼模塊中包括多個(gè)第二預(yù)設(shè)卷積網(wǎng)絡(luò)，第一預(yù)設(shè)卷積網(wǎng)絡(luò)中包括第一分支和第二分支，第一分支包括串聯(lián)的第一卷積核和第二卷積核，第二分支包括多個(gè)空洞卷積核，第二預(yù)設(shè)卷積網(wǎng)絡(luò)包括第三分支和第四分支，第三分支包括串聯(lián)的第三卷積核和第四卷積核，第二分支包括多個(gè)空洞卷積核；在每次獲取預(yù)測(cè)分割結(jié)果后，比較預(yù)測(cè)分割結(jié)果和標(biāo)簽信息，并依據(jù)比較結(jié)果調(diào)整待訓(xùn)練圖像語(yǔ)義分割模型的模型參數(shù)，直到比較結(jié)果符合預(yù)設(shè)要求；確定最后一次調(diào)整參數(shù)的待訓(xùn)練圖像語(yǔ)義分割模型為訓(xùn)練完成的圖像語(yǔ)義分割模型。

12、可選地，待訓(xùn)練圖像語(yǔ)義分割模型還包括空間注意力模塊，特征融合模塊，上采樣模塊，下采樣模塊，其中，空間注意力模塊，用于確定輸入空間注意力模塊的圖像中的感興趣區(qū)域，并依據(jù)感興趣區(qū)域調(diào)整輸入空間注意力模塊的圖像中的通道的融合權(quán)重；特征融合模塊，用于融合輸入到特征融合模塊的圖像；上采樣模塊，用于對(duì)輸入到上采樣模塊的圖像進(jìn)行上采樣處理；下采樣模塊，用于對(duì)輸入到下采樣模塊的圖像進(jìn)行下采樣處理。

13、可選地，第一預(yù)設(shè)卷積網(wǎng)絡(luò)中還包括第一降維卷積核和第一拼接模塊，第二卷積網(wǎng)絡(luò)中還包括第二降維卷積核和第二拼接模塊，其中，第一降維卷積核，用于對(duì)輸入到第一卷積網(wǎng)絡(luò)中的圖像進(jìn)行降維卷積處理；第二降維卷積核，用于對(duì)輸入到第二卷積網(wǎng)絡(luò)中的圖像進(jìn)行降維卷積處理；第一拼接模塊，用于融合第一分支輸出的結(jié)果，第二分支中的各個(gè)空洞分支輸出的結(jié)果，以及輸入第一預(yù)設(shè)卷積網(wǎng)絡(luò)的圖像，得到第一預(yù)設(shè)卷積網(wǎng)絡(luò)輸出的特征圖；第二拼接模塊，用于融合第三分支輸出的結(jié)果，第四分支中的各個(gè)空洞分支輸出的結(jié)果，以及輸入到第二預(yù)設(shè)卷積網(wǎng)絡(luò)的圖像，得到第二預(yù)設(shè)卷積網(wǎng)絡(luò)輸出的特征圖。

14、可選地，第一拼接模塊和第二拼接模塊中還包括通道注意力模塊，用于依據(jù)輸入通道注意力模塊的圖像中的通道間的依賴關(guān)系，調(diào)整輸入通道注意力模塊的圖像中的通道的響應(yīng)特征值。

15、可選地，第二分支，包括第一空洞分支，第二空洞分支，第三空洞卷分支，其中，第一空洞分支用于對(duì)第一降維卷積核輸出的圖像進(jìn)行空洞卷積處理并輸出，第二空洞分支用于對(duì)第一降維卷積核輸出的圖像進(jìn)行空洞卷積處理，并將處理后的圖像與第一空洞分支的輸出結(jié)果融合后輸出，第三空洞分支用于對(duì)第一降維卷積核輸出的圖像進(jìn)行空洞卷積處理，并將處理后的圖像與第二空洞分支的輸出結(jié)果融合后輸出；第四分支，包括第四空洞分支，第五空洞分支，第六空洞卷分支，其中，第四空洞分支用于對(duì)第二降維卷積核輸出的圖像進(jìn)行空洞卷積處理并輸出，第五空洞分支用于對(duì)第二降維卷積核輸出的圖像進(jìn)行空洞卷積處理，并將處理后的圖像與第四空洞分支的輸出結(jié)果融合后輸出，第六空洞分支用于對(duì)第二降維卷積核輸出的圖像進(jìn)行空洞卷積處理，并將處理后的圖像與第五空洞分支的輸出結(jié)果融合后輸出。

16、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種圖像語(yǔ)義分割方法，包括：獲取原始圖像；重復(fù)執(zhí)行第一預(yù)設(shè)數(shù)量次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)中的第一分支和第二分支提取第一待處理圖像的特征圖的步驟，得到特征圖集合，其中，首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理圖像為原始圖像，非首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理圖像為對(duì)上一次通過(guò)預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖進(jìn)行下采樣后得到的圖像，第一分支包括串聯(lián)的第一卷積核和第二卷積核，第二分支包括多個(gè)空洞卷積核，特征圖集合中包括每次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖；重復(fù)執(zhí)行第二預(yù)設(shè)數(shù)量次對(duì)第二待處理圖像上采樣并與第二待處理圖像的上文特征圖融合的步驟，并在每次融合后，通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)中的第三分支和第四分支提取融合得到的融合特征圖的特征圖，從而得到目標(biāo)特征圖，其中，首次上采樣的第二待處理圖像為特征圖集合中分辨率最小的特征圖，非首次上采樣的第二待處理圖像為上一次上采樣過(guò)程中通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，目標(biāo)特征圖為最后一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，第三分支包括串聯(lián)的第一卷積核和第二卷積核，第四分支包括多個(gè)空洞卷積核；依據(jù)目標(biāo)特征圖確定原始圖像的語(yǔ)義分割結(jié)果。

17、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種圖像語(yǔ)義分割裝置，包括：第一處理模塊，用于重復(fù)執(zhí)行第一預(yù)設(shè)數(shù)量次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)中的第一分支和第二分支提取第一待處理圖像的特征圖的步驟，得到特征圖集合，其中，首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理圖像為原始圖像，非首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理特征圖為對(duì)上一次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖進(jìn)行下采樣后得到的圖像，第一分支包括串聯(lián)的第一卷積核和第二卷積核，第二分支包括多個(gè)空洞卷積核，特征圖集合中包括每次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖；第二處理模塊，用于重復(fù)執(zhí)行第二預(yù)設(shè)數(shù)量次對(duì)第二待處理圖像上采樣并與第二待處理圖像的上文特征圖融合的步驟，并在每次融合后，通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)中的第三分支和第四分支提取融合得到的融合特征圖的特征圖，從而得到目標(biāo)特征圖，其中，首次上采樣的第二待處理圖像為特征圖集合中分辨率最小的特征圖，非首次上采樣的第二待處理圖像為上一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，目標(biāo)特征圖為最后一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，第三分支包括串聯(lián)的第三卷積核和第四卷積核，第四分支包括多個(gè)空洞卷積核；第三處理模塊，用于依據(jù)目標(biāo)特征圖確定原始圖像的語(yǔ)義分割結(jié)果。

18、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種非易失性存儲(chǔ)介質(zhì)，非易失性存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，其中，在程序運(yùn)行時(shí)控制非易失性存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行圖像語(yǔ)義分割方法或圖像語(yǔ)義分割模型訓(xùn)練方法。

19、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器，處理器用于運(yùn)行存儲(chǔ)在存儲(chǔ)器中的程序，其中，程序運(yùn)行時(shí)執(zhí)行圖像語(yǔ)義分割方法和圖像語(yǔ)義分割模型訓(xùn)練方法。

20、在本技術(shù)實(shí)施例中，采用重復(fù)執(zhí)行第一預(yù)設(shè)數(shù)量次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)中的第一分支和第二分支提取第一待處理圖像的特征圖的步驟，得到特征圖集合，其中，首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理圖像為原始圖像，非首次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取特征圖的第一待處理特征圖為對(duì)上一次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖進(jìn)行下采樣后得到的圖像，第一分支包括串聯(lián)的第一卷積核和第二卷積核，第二分支包括多個(gè)空洞卷積核，特征圖集合中包括每次通過(guò)第一預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖；重復(fù)執(zhí)行第二預(yù)設(shè)數(shù)量次對(duì)第二待處理圖像上采樣并與第二待處理圖像的上文特征圖融合的步驟，并在每次融合后，通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)中的第三分支和第四分支提取融合得到的融合特征圖的特征圖，從而得到目標(biāo)特征圖，其中，首次上采樣的第二待處理圖像為特征圖集合中分辨率最小的特征圖，非首次上采樣的第二待處理圖像為上一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，目標(biāo)特征圖為最后一次上采樣后通過(guò)第二預(yù)設(shè)卷積網(wǎng)絡(luò)提取的特征圖，第三分支包括串聯(lián)的第三卷積核和第四卷積核，第四分支包括多個(gè)空洞卷積核；依據(jù)目標(biāo)特征圖確定原始圖像的語(yǔ)義分割結(jié)果的方式，通過(guò)在特征提取和特征融合的步驟中采用空洞深度可分離卷積的方式，達(dá)到了降低卷積過(guò)程的計(jì)算量的目的，進(jìn)而解決了由于相關(guān)技術(shù)中在進(jìn)行圖像語(yǔ)義分割時(shí)對(duì)硬件設(shè)備的配置要求過(guò)高造成的無(wú)法在小型移動(dòng)設(shè)備中實(shí)現(xiàn)圖像語(yǔ)義分割方法技術(shù)問(wèn)題。