本發(fā)明屬于計算機(jī)科學(xué)和醫(yī)學(xué)成像領(lǐng)域,更具體地,涉及一種基于多軸注意力的醫(yī)學(xué)圖像分割方法和系統(tǒng)。
背景技術(shù):
1、醫(yī)學(xué)圖像分割在醫(yī)學(xué)影像領(lǐng)域中扮演著至關(guān)重要的角色,可以幫助醫(yī)生準(zhǔn)確地定位和分割圖像中的異常區(qū)域,如腫瘤、病灶、血管等。通過精確地刻畫出病變區(qū)域,醫(yī)生能夠更準(zhǔn)確地進(jìn)行疾病診斷和治療規(guī)劃。在手術(shù)過程中,醫(yī)學(xué)圖像分割可以為醫(yī)生提供實時的、高分辨率的圖像信息,輔助醫(yī)生更好地導(dǎo)航和定位手術(shù)目標(biāo),有助于提高手術(shù)的精確性和安全性。
2、常用的醫(yī)學(xué)圖像分割模型包括兩種,第一種是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural?network,簡稱cnn)的模型,比如u-net及其變體、deeplab系列、全卷積網(wǎng)絡(luò)(fullyconvolutional?network,簡稱fcn),第二種是基于transformer結(jié)構(gòu)的模型,如transunet、swinunet、segformer等。由于基于transformer結(jié)構(gòu)的分割模型具有較高的復(fù)雜度,且結(jié)構(gòu)更加復(fù)雜,現(xiàn)有的醫(yī)學(xué)圖像分割框架仍集中于卷積神經(jīng)網(wǎng)絡(luò)模型,而這些模型中u-net及其變體因其較好的性能及直觀的結(jié)構(gòu)仍是常用的分割首選。
3、在考慮改進(jìn)u-net結(jié)構(gòu)時,如何引入較小且高效的模塊是改進(jìn)的關(guān)鍵,通過引入通道時域注意力模塊(convolutional?block?attention?module,簡稱cbam)能夠部分解決該問題。
4、然而,目前基于cbam的u-net醫(yī)學(xué)圖像分割方法仍存在一些不可忽視的缺陷:
5、第一、u-net模型對于某些復(fù)雜結(jié)構(gòu)和小目標(biāo)會由于對感興趣區(qū)域缺乏足夠關(guān)注度而存在過度分割或信息丟失的問題;此外,u-net模型中的跳躍連接直接將低級特征與高級特征拼接,這會導(dǎo)致諸如信息冗余、過擬合等問題;
6、第二、引入的cbam注意力機(jī)制提升模型表達(dá)力有限;
7、第三、在醫(yī)學(xué)圖像這種樣本少、數(shù)據(jù)分布不均的數(shù)據(jù)集上,通過引入cbam過度地疊加計算單元,會導(dǎo)致模型過擬合。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種基于多軸注意力的醫(yī)學(xué)圖像分割方法和系統(tǒng),其目的在于,解決現(xiàn)有基于cbam的u-net醫(yī)學(xué)圖像分割方法中u-net模型對于某些復(fù)雜結(jié)構(gòu)和小目標(biāo)會由于對感興趣區(qū)域缺乏足夠關(guān)注度而存在過度分割或信息丟失的技術(shù)問題,以及u-net模型中的跳躍連接直接將低級特征與高級特征拼接,從而導(dǎo)致諸如信息冗余、過擬合的技術(shù)問題,以及引入的cbam注意力機(jī)制提升模型表達(dá)力有限的技術(shù)問題,以及在醫(yī)學(xué)圖像這種樣本少、數(shù)據(jù)分布不均的數(shù)據(jù)集上,通過引入cbam過度地疊加計算單元會導(dǎo)致模型過擬合的技術(shù)問題。
2、為實現(xiàn)上述目的,按照本發(fā)明的一個方面,提供了一種基于多軸注意力的醫(yī)學(xué)圖像分割方法,包括以下步驟:
3、(1)獲取醫(yī)學(xué)圖像,并對該醫(yī)學(xué)圖像進(jìn)行預(yù)處理,以獲取預(yù)處理后的醫(yī)學(xué)圖像;
4、(2)將步驟(1)預(yù)處理后的醫(yī)學(xué)圖像輸入預(yù)先訓(xùn)練好的基于多軸注意力的醫(yī)學(xué)圖像分割模型中,以獲取最終的病灶分割預(yù)測結(jié)果。
5、優(yōu)選地,醫(yī)學(xué)圖像是二維的靜態(tài)圖像,其可以是通過超聲設(shè)備獲取的腫瘤圖像,也可以是皮膚鏡圖像;
6、步驟(1)中的預(yù)處理過程,首先是根據(jù)預(yù)先設(shè)置的分割標(biāo)簽中病灶的具體位置從醫(yī)學(xué)圖像中提取感興趣區(qū)域,然后,將提取的感興趣區(qū)域轉(zhuǎn)換為256×256大小、jpg格式的醫(yī)學(xué)圖像,作為預(yù)處理后的醫(yī)學(xué)圖像;
7、步驟(2)中的病灶分割結(jié)果是一個和步驟(1)獲取的醫(yī)學(xué)圖像相對應(yīng)的二值化圖片,其中黑色為背景,白色為前景(即病灶)。
8、基于多軸注意力的醫(yī)學(xué)圖像分割模型包括主特征保留模塊、編碼器、解碼器、以及連接在主特征保留模塊與解碼器間的多軸注意力模塊。
9、主特征保留模塊的輸入為預(yù)處理后的醫(yī)學(xué)圖像,輸出為大小為256×256、通道數(shù)為64的特征圖;
10、編碼器包含四個緊湊分離注意力模塊,編碼器的輸入為主特征保留模塊輸出的大小為256×256、通道數(shù)為64的特征圖,其輸出為中間特征圖;
11、多軸注意力模塊包括通道軸注意力模塊、高度軸注意力模塊和寬度軸注意力模塊,多軸注意力模塊的輸入為主特征保留模塊輸出的大小為256×256、通道數(shù)為64的特征圖,輸出為與輸入的特征圖大小一致的多軸注意力特征圖。
12、解碼器包含四個緊湊分離注意力模塊,解碼器的輸入為編碼器中第三緊湊分離注意力模塊輸出的大小為32×32、通道數(shù)為512的特征圖、第四緊湊分離注意力模塊輸出的大小為16×16、通道數(shù)為512的中間特征圖、以及多軸注意力模塊輸出的多軸注意力特征圖,輸出為最終的病灶分割預(yù)測結(jié)果。
13、優(yōu)選地,主特征保留模塊首先使用一個7×7的卷積核對預(yù)處理后的醫(yī)學(xué)圖像進(jìn)行卷積處理,該卷積核具有in_ch個輸入通道和out_ch個輸出通道,隨后,使用relu函數(shù)對卷積后的醫(yī)學(xué)圖像進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后的特征,隨后,使用另外一個大小為7×7的卷積核對歸一化后的特征進(jìn)行卷積處理,隨后,使用relu函數(shù)對卷積后的特征進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后的中間特征圖,其后,使用一個大小為1×1、無填充的卷積核對歸一化后的中間特征圖進(jìn)行卷積處理,隨后,使用relu函數(shù)對卷積后的特征進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后大小為256×256、通道數(shù)為64的特征圖;
14、編碼器首先將主特征保留模塊輸出的特征圖輸入最大池化層,以得到大小為128×128、通道數(shù)為64的特征圖。接著,編碼器將該特征圖輸入第一緊湊分離注意力模塊,以得到大小為128×128、通道數(shù)為128的特征圖;然后,將經(jīng)過第一緊湊分離注意力模塊力模塊所得到的大小為128×128、通道數(shù)為128的特征圖輸入最大池化層,使得特征圖的高度和寬度減半,通道數(shù)不變,實現(xiàn)空間下采樣,從而得到下采樣后的大小為64×64、通道數(shù)為128的特征圖;隨后,將下采樣后的大小為64×64、通道數(shù)為128的特征圖輸入至第二緊湊分離注意力模塊,得到輸出大小為64×64、通道數(shù)為256的特征圖,再將該特征圖輸入至最大池化層,進(jìn)而得到下采樣后的大小為32×32、通道數(shù)為256的特征圖;然后,將下采樣后的256通道特征圖輸入第三緊湊分離注意力模塊,以得到輸出大小為32×32、通道數(shù)為512的特征圖,以得到下采樣后的大小為16×16、通道數(shù)為512特征圖;最后,將該512通道的特征圖輸入第四緊湊分離注意力模塊,進(jìn)而獲得大小為16×16、通道數(shù)為512的中間特征圖。
15、優(yōu)選地,通道軸注意力模塊首先使用通道維度上的平均池化和最大值池化獲得兩個通道維度信息,然后,將兩個通道維度信息分別輸入雙卷積模塊中,以得到兩個大小為1×1、通道數(shù)為64的通道注意力圖,其后,將兩個通道注意力圖進(jìn)行疊加,并輸入sigmoid激活函數(shù),以得到最終的通道注意力圖fc,接著,將fc與主特征保留模塊輸出的大小為256×256、通道數(shù)為64的特征圖進(jìn)行點對應(yīng)乘積操作,以得到特征圖f′c;隨后,對得到的特征圖f′c在通道維度上分別進(jìn)行最大值池化和平均池化操作,以分別得到最大池化特征圖和平均池化特征圖隨后將二者進(jìn)行通道拼接,以得到拼接后的大小為256×256、維度為2的特征圖,然后,利用大小為7×7、輸出通道數(shù)為1的卷積層對拼接后的特征圖進(jìn)行提取,以生成一個尺寸與拼接后的特征圖相同、通道數(shù)為1的空間注意力圖;隨后,采用sigmoid激活函數(shù)對該空間注意力圖進(jìn)行0到1之間的歸一化,以得到最終的空間注意力圖隨后,將空間注意力圖與特征圖f″c進(jìn)行乘法操作,以得到最終的輸出特征圖fc″如下:
16、
17、隨后,將輸出特征圖f″c分別輸入高度軸注意力模塊和寬度軸注意力模塊進(jìn)行高度軸特征圖提取和寬度軸特征圖提取,以分別得到特征圖f″h和f″w;
18、最后,多軸注意力模塊將最終的高度軸特征圖f″h和最終的寬度軸特征圖f″w進(jìn)行疊加,從而得到多軸注意力特征圖f:
19、f=f″h+f″w。
20、優(yōu)選地,解碼器首先將第四緊湊分離注意力模塊輸出的16×16、通道數(shù)為512的中間特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,得到大小為32×32、通道數(shù)為512的特征圖,然后將該特征圖與第三緊湊分離注意力模塊輸出的大小為32×32、通道數(shù)為512的特征圖進(jìn)行通道維度拼接,以得到大小為32×32、通道數(shù)為1024的拼接特征圖;然后,將該拼接特征圖輸入第五緊湊分離注意力模塊,以得到大小為32×32、通道數(shù)為256的特征圖;隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,以得到大小為64×64、通道數(shù)為256的特征圖,隨后,將該特征圖與第二緊湊分離注意力模塊輸出的大小為64×64、通道數(shù)為256的特征圖進(jìn)行通道維度的拼接,以得到大小為64×64、通道數(shù)為512的特征圖;之后,將該特征圖輸入第六緊湊分離注意力模塊,以得到大小為64×64、通道數(shù)為128的特征圖,隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,并將得到的特征圖與第一緊湊分離注意力模塊輸出的大小為128×128、通道數(shù)為128的特征圖進(jìn)行通道維度拼接,以得到大小為128×128、通道數(shù)為256的拼接特征圖,然后,將該拼接特征圖輸入第七緊湊分離注意力模塊,以得到大小為128×128、通道數(shù)為64的特征圖;隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,以得到大小為256×256、維度為64的特征圖;隨后,將該特征圖與多軸注意力模塊輸出的多軸注意力特征圖拼接為大小為256×256、通道數(shù)為128的特征圖;隨后,將該特征圖輸入第八緊湊分離注意力模塊,以得到大小為256×256、通道數(shù)為64的特征圖;其后,通過一個1×1卷積層將該特征圖的通道數(shù)減少到兩通道,進(jìn)而得到腫瘤位置的概率分布矩陣;隨后,通過softmax函數(shù)將概率分布矩陣映射到[0,1]區(qū)間;最后,在第一通道的概率分布矩陣上,將概率分布矩陣中概率值大于0.5的元素值設(shè)為1,即背景(即認(rèn)為該位置是背景,即無病灶),其他元素值設(shè)為0;在第二通道上,將概率分布矩陣中概率值大于0.5的元素值設(shè)為1,即前景(即認(rèn)為該位置是前景,即病灶),其他元素值設(shè)為0;最后,將二值化后的概率分布矩陣保存為二值化圖片,即為最終的病灶分割預(yù)測結(jié)果。
21、優(yōu)選地,基于多軸注意力的醫(yī)學(xué)圖像分割模型是通過以下步驟得到的:
22、(2-1)獲取醫(yī)學(xué)圖像數(shù)據(jù)集,對該醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行預(yù)處理,以得到預(yù)處理后的醫(yī)學(xué)圖像數(shù)據(jù)集,并按照8:2的比例將預(yù)處理后的醫(yī)學(xué)圖像數(shù)據(jù)集劃分為訓(xùn)練集和測試集。
23、(2-2)設(shè)置訓(xùn)練過程的迭代總次數(shù)epoch,并初始化本發(fā)明基于多軸注意力的醫(yī)學(xué)圖像分割模型的學(xué)習(xí)率η;其中迭代總次數(shù)epoch的取值范圍是100到300之間,學(xué)習(xí)率η的取值范圍為0到1之間。
24、(2-3)針對步驟(2-1)得到的訓(xùn)練集中的每張醫(yī)學(xué)圖像而言,將該醫(yī)學(xué)圖像輸入主特征保留模塊,以獲取該醫(yī)學(xué)圖像對應(yīng)的、大小為256×256、通道數(shù)為64的特征圖。
25、(2-4)針對步驟(2-1)得到的訓(xùn)練集中的每張醫(yī)學(xué)圖像而言,將步驟(2-3)得到的該醫(yī)學(xué)圖像對應(yīng)的特征圖輸入編碼器,以得到該醫(yī)學(xué)圖像對應(yīng)的中間特征圖。
26、(2-5)針對步驟(2-1)得到的訓(xùn)練集中的每張醫(yī)學(xué)圖像而言,將步驟(2-3)得到的該醫(yī)學(xué)圖像對應(yīng)的特征圖輸入多軸注意力模塊,以得到該醫(yī)學(xué)圖像對應(yīng)的多軸注意力特征圖。
27、(2-6)針對步驟(2-1)得到的訓(xùn)練集中的每張醫(yī)學(xué)圖像而言,將步驟(2-4)得到的該醫(yī)學(xué)圖像對應(yīng)的中間特征圖及步驟(2-5)得到的該醫(yī)學(xué)圖像對應(yīng)的多軸注意力特征圖輸入解碼器,以獲取與該醫(yī)學(xué)圖像對應(yīng)的、最終的病灶分割預(yù)測結(jié)果fpred;
28、(2-7)針對步驟(2-1)得到的訓(xùn)練集中的每張醫(yī)學(xué)圖像而言,根據(jù)步驟(2-6)得到的該醫(yī)學(xué)圖像對應(yīng)的病灶分割預(yù)測結(jié)果fpred計算損失函數(shù),利用該損失函數(shù)對多軸注意力醫(yī)學(xué)圖像分割模型進(jìn)行迭代訓(xùn)練,從而得到初步訓(xùn)練好的多軸注意力醫(yī)學(xué)圖像分割模型wk,并使用步驟(2-1)得到的測試集對初步訓(xùn)練好的醫(yī)學(xué)圖像分割模型進(jìn)行驗證,以得到測試集的分割精度。
29、(2-8)重復(fù)執(zhí)行上述步驟(2-3)到(2-7),直到達(dá)到步驟(2-2)中設(shè)定的迭代總次數(shù)epoch,或者測試集上的分割精度達(dá)到最優(yōu)為止,從而得到訓(xùn)練好的基于多軸注意力的醫(yī)學(xué)圖像分割模型。
30、優(yōu)選地,步驟(2-3)具體為,首先,主特征保留模塊使用一個7×7的卷積核對預(yù)處理后的醫(yī)學(xué)圖像進(jìn)行卷積處理,該卷積核具有in_ch個輸入通道和out_ch個輸出通道,隨后,使用relu函數(shù)對卷積后的醫(yī)學(xué)圖像進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后的特征,隨后,使用另外一個大小為7×7的卷積核對歸一化后的特征進(jìn)行卷積處理,隨后,使用relu函數(shù)對卷積后的特征進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后的中間特征圖,其后,使用一個大小為1×1、無填充的卷積核對歸一化后的中間特征圖進(jìn)行卷積處理,隨后,使用relu函數(shù)對卷積后的特征進(jìn)行修正處理,以得到修正后的特征,之后,對修正后的特征進(jìn)行批歸一化處理,以得到歸一化后大小為256×256、通道數(shù)為64的特征圖。
31、步驟(2-4)具體為,編碼器首先將主特征保留模塊輸出的特征圖輸入最大池化層,以得到大小為128×128、通道數(shù)為64的特征圖。接著,編碼器將該特征圖輸入第一緊湊分離注意力模塊,以得到大小為128×128、通道數(shù)為128的特征圖;然后,將經(jīng)過第一緊湊分離注意力模塊力模塊所得到的大小為128×128、通道數(shù)為128的特征圖輸入最大池化層,使得特征圖的高度和寬度減半,通道數(shù)不變,實現(xiàn)空間下采樣,從而得到下采樣后的大小為64×64、通道數(shù)為128的特征圖;隨后,將下采樣后的大小為64×64、通道數(shù)為128的特征圖輸入至第二緊湊分離注意力模塊,得到輸出大小為64×64、通道數(shù)為256的特征圖,再將該特征圖輸入至最大池化層,進(jìn)而得到下采樣后的大小為32×32、通道數(shù)為256的特征圖;然后,將下采樣后的256通道特征圖輸入第三緊湊分離注意力模塊,以得到輸出大小為32×32、通道數(shù)為512的特征圖;隨后,再將該特征圖輸入最大池化層,以得到下采樣后的大小為16×16、通道數(shù)為512特征圖;最后,將該512通道的特征圖輸入第四緊湊分離注意力模塊,進(jìn)而獲得大小為16×16、通道數(shù)為512的中間特征圖。
32、優(yōu)選地,步驟(2-5)具體為,首先,通道軸注意力模塊使用通道維度上的平均池化和最大值池化獲得兩個通道維度信息,然后,將兩個通道維度信息分別輸入雙卷積模塊中,以得到兩個大小為1×1、通道數(shù)為64的通道注意力圖,其后,將兩個通道注意力圖進(jìn)行疊加,并輸入sigmoid激活函數(shù),以得到最終的通道注意力圖fc,接著,將fc與主特征保留模塊輸出的大小為256×256、通道數(shù)為64的特征圖進(jìn)行點對應(yīng)乘積操作,以得到特征圖f′c;隨后,對得到的特征圖f′c在通道維度上分別進(jìn)行最大值池化和平均池化操作,以分別得到最大池化特征圖和平均池化特征圖隨后將二者進(jìn)行通道拼接,以得到拼接后的大小為256×256、維度為2的特征圖,然后,利用大小為7×7、輸出通道數(shù)為1的卷積層對拼接后的特征圖進(jìn)行提取,以生成一個尺寸與拼接后的特征圖相同、通道數(shù)為1的空間注意力圖;隨后,采用sigmoid激活函數(shù)對該空間注意力圖進(jìn)行0到1之間的歸一化,以得到最終的空間注意力圖隨后,將空間注意力圖與特征圖f″c進(jìn)行乘法操作,以得到最終的輸出特征圖fc″如下:
33、
34、隨后,將輸出特征圖f″c分別輸入高度軸注意力模塊和寬度軸注意力模塊進(jìn)行高度軸特征圖提取和寬度軸特征圖提取,以分別得到特征圖f″h和f″w;
35、最后,多軸注意力模塊將最終的高度軸特征圖f″h和最終的寬度軸特征圖f″w進(jìn)行疊加,從而得到多軸注意力特征圖f:
36、f=f″h+f″w
37、其中將輸出特征圖f″c分別輸入高度軸注意力模塊和寬度軸注意力模塊進(jìn)行高度軸特征圖提取和寬度軸特征圖提取,以分別得到特征圖f″h和f″w這一過程具體為:
38、首先,高度軸注意力模塊將通道軸注意力模塊輸出的特征圖f″c進(jìn)行高度軸與通道軸對調(diào),使得高度軸成為新的通道軸,而原始通道軸則轉(zhuǎn)變?yōu)楦叨容S,以得到大小為64×256、通道數(shù)為256的高度軸特征圖;接著高度軸注意力模塊使用通道維度上的平均池化和最大值池化獲得兩個通道維度信息,然后,將兩個通道維度信息分別輸入雙卷積模塊中,以得到兩個大小為1×1、通道數(shù)為256的通道注意力圖,其后,將兩個通道注意力圖進(jìn)行疊加,并輸入sigmoid激活函數(shù),以得到最終的通道注意力圖fh,接著,將fh與大小為64×256、通道數(shù)為256的高度軸特征圖進(jìn)行點對應(yīng)乘積操作,以得到特征圖f′h;隨后,對得到的特征圖f′h在通道維度上分別進(jìn)行最大值池化和平均池化操作,以分別得到最大池化特征圖和平均池化特征圖隨后將二者進(jìn)行通道拼接,以得到拼接后的大小為64×256、維度為2的特征圖,然后,利用大小為7×7、輸出通道數(shù)為1的卷積層對拼接后的特征圖進(jìn)行提取,以生成一個尺寸與拼接后的特征圖相同、通道數(shù)為1的空間注意力圖;隨后,采用sigmoid激活函數(shù)對該空間注意力圖進(jìn)行0到1之間的歸一化,以得到最終的空間注意力圖隨后,將空間注意力圖與特征圖f′h進(jìn)行乘法操作,以得到特征圖f″h如下:
39、
40、然后,高度軸注意力模塊再次對得到的高度軸特征圖進(jìn)行高度軸和通道軸的對調(diào),以得到最終的大小為256×256、通道數(shù)為64的高度軸特征圖f″h。
41、同時,寬度軸注意力模塊首先將通道軸注意力模塊輸出的特征圖f″c進(jìn)行寬度軸與通道軸對調(diào),使得寬度軸成為新的通道軸,而原始通道軸則轉(zhuǎn)變?yōu)閷挾容S,以得到大小為256×64、通道數(shù)為256的寬度軸特征圖;接著寬度軸注意力模塊使用通道維度上的平均池化和最大值池化獲得兩個通道維度信息,然后,將兩個通道維度信息分別輸入雙卷積模塊中,以得到兩個大小為1×1、通道數(shù)為256的通道注意力圖,其后,將兩個通道注意力圖進(jìn)行疊加,并輸入sigmoid激活函數(shù),以得到最終的通道注意力圖fw,接著,將fw與大小為256×64、通道數(shù)為256的寬度軸特征圖進(jìn)行點對應(yīng)乘積操作,以得到特征圖f′w;隨后,對得到的特征圖f′w在通道維度上分別進(jìn)行最大值池化和平均池化操作,以分別得到最大池化特征圖和平均池化特征圖隨后將二者進(jìn)行通道拼接,以得到拼接后的大小為256×64、維度為2的特征圖,然后,利用大小為7×7、輸出通道數(shù)為1的卷積層對拼接后的特征圖進(jìn)行提取,以生成一個尺寸與拼接后的特征圖相同、通道數(shù)為1的空間注意力圖;隨后,采用sigmoid激活函數(shù)對該空間注意力圖進(jìn)行0到1之間的歸一化,以得到最終的空間注意力圖隨后,將空間注意力圖與特征圖f′w進(jìn)行乘法操作,以得到特征圖f″w如下:
42、
43、然后,寬度軸注意力模塊再次對得到的寬度軸特征圖進(jìn)行寬度軸和通道軸的對調(diào),以得到最終大小為256×256、通道數(shù)為64的寬度軸特征圖f″w。
44、優(yōu)選地,步驟(2-6)具體為,解碼器首先將第四緊湊分離注意力模塊輸出的16×16、通道數(shù)為512的中間特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,得到大小為32×32、通道數(shù)為512的特征圖,然后將該特征圖與第三緊湊分離注意力模塊輸出的大小為32×32、通道數(shù)為512的特征圖進(jìn)行通道維度拼接,以得到大小為32×32、通道數(shù)為1024的拼接特征圖;然后,將該拼接特征圖輸入第五緊湊分離注意力模塊,以得到大小為32×32、通道數(shù)為256的特征圖;隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,以得到大小為64×64、通道數(shù)為256的特征圖,隨后,將該特征圖與第二緊湊分離注意力模塊輸出的大小為64×64、通道數(shù)為256的特征圖進(jìn)行通道維度的拼接,以得到大小為64×64、通道數(shù)為512的特征圖;之后,將該特征圖輸入第六緊湊分離注意力模塊,以得到大小為64×64、通道數(shù)為128的特征圖,隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,并將得到的特征圖與第一緊湊分離注意力模塊輸出的大小為128×128、通道數(shù)為128的特征圖進(jìn)行通道維度拼接,以得到大小為128×128、通道數(shù)為256的拼接特征圖,然后,將該拼接特征圖輸入第七緊湊分離注意力模塊,以得到大小為128×128、通道數(shù)為64的特征圖;隨后,對該特征圖進(jìn)行步長為2*2、步幅為2的上采樣操作,以得到大小為256×256、維度為64的特征圖;隨后,將該特征圖與多軸注意力模塊輸出的多軸注意力特征圖拼接為大小為256×256、通道數(shù)為128的特征圖;隨后,將該特征圖輸入第八緊湊分離注意力模塊,以得到大小為256×256、通道數(shù)為64的特征圖;之后,通過一個1×1卷積層將該特征圖的通道數(shù)減少到兩通道,進(jìn)而得到腫瘤位置的概率分布矩陣;隨后,通過softmax函數(shù)將概率分布矩陣映射到[0,1]區(qū)間;最后,在第一通道的概率分布矩陣上,將概率分布矩陣中概率值大于0.5的元素值設(shè)為1,即背景(即認(rèn)為該位置是背景,即無病灶),其他元素值設(shè)為0;在第二通道上,將概率分布矩陣中概率值大于0.5的元素值設(shè)為1,即前景,其他元素值設(shè)為0;最后,將二值化后的概率分布矩陣保存為二值化圖片,即為最終的病灶分割預(yù)測結(jié)果;
45、步驟(2-7)中的損失函數(shù)為綜合函數(shù),其由focal損失函數(shù)和dice損失函數(shù)相加組成,具體計算公式為:
46、l=λ1·lfocal+λ2·ldice
47、
48、
49、其中,λ1和λ2為兩項損失的加權(quán)值,均設(shè)置為0.5,α和γ為focal損失的內(nèi)置權(quán)重,分別設(shè)置為0.25和2,∈為常數(shù),其取值為1*10-8,用于防止分母為0的情況,表示步驟(2-1)得到的訓(xùn)練集中第i張醫(yī)學(xué)圖像的病灶分割真實結(jié)果,表示步驟(2-1)得到的訓(xùn)練集中第i張醫(yī)學(xué)圖像的病灶分割預(yù)測結(jié)果,i∈[1,n],n表示步驟(2-1)得到的訓(xùn)練集中醫(yī)學(xué)圖像的總數(shù)。
50、按照本發(fā)明的另一方面,提供了一種基于多軸注意力的醫(yī)學(xué)圖像分割系統(tǒng),包括:
51、第一模塊,用于獲取醫(yī)學(xué)圖像,并對該醫(yī)學(xué)圖像進(jìn)行預(yù)處理,以獲取預(yù)處理后的醫(yī)學(xué)圖像;
52、第二模塊,用于將第一模塊預(yù)處理后的醫(yī)學(xué)圖像輸入預(yù)先訓(xùn)練好的基于多軸注意力的醫(yī)學(xué)圖像分割模型中,以獲取最終的病灶分割預(yù)測結(jié)果。
53、總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,能夠取得下列有益效果:
54、1、本發(fā)明由于采用了步驟(2-1)至(2-6),其通過保留醫(yī)學(xué)圖像的主要特征,能夠有效提升圖像信息的利用,因此,能夠解決現(xiàn)有u-net模型對于某些復(fù)雜結(jié)構(gòu)和小目標(biāo)存在過度分割或信息丟失的技術(shù)問題。
55、2、本發(fā)明由于采用了步驟(2-1)至(2-6),其通過將跳躍連接中的低級特征進(jìn)行特征優(yōu)化,能夠有效彌補(bǔ)低級特征與高級特征間的信息差異,因此,能夠解決現(xiàn)有u-net模型由于跳躍連接直接將低級特征與高級特征拼接,導(dǎo)致諸如信息冗余、過擬合的技術(shù)問題。
56、3、本發(fā)明由于采用了步驟(2-1)至(2-6),其通過多軸注意力模塊改進(jìn)原始cbam注意力模塊僅從通道軸考慮特征而忽視高度軸和寬度軸方向潛在的特征信息問題,本發(fā)明提出的多軸注意力模塊通過增加高度軸和寬度軸方向的注意力模塊以提升注意力模塊的表達(dá)能力,因此,能夠解決原始引入的cbam注意力機(jī)制提升模型表達(dá)力有限的技術(shù)問題。
57、4、本發(fā)明由于采用了步驟(2-1)至(2-6),其通過提出采用緊湊分離注意力替代傳統(tǒng)u-net編碼器中特征提取模塊以增強(qiáng)u-net的特征提取能力,在解碼器中采用緊湊分離注意力以增強(qiáng)u-net的特征表示能力以全方位提升模型性能,因此,能夠解決原始u-net模型性能不足問題。
58、5、本發(fā)明由于采用了步驟(2-1)至(2-6),其通過更加關(guān)注重要的通道,而忽略對分割任務(wù)不太有益的通道,使模型能提取更多的有益空間信息,而更多的空間信息有助于模型通過后續(xù)特征提取模塊提取更多語義信息。最終,多軸注意力機(jī)制能以較小的計算開銷提升模型在其它任務(wù)上的整體表現(xiàn)。
59、6、本發(fā)明提出的適用于小規(guī)模醫(yī)學(xué)影像、基于多軸注意力的醫(yī)學(xué)圖像分割方法,能在數(shù)據(jù)集受限時有效提高模型的性能和準(zhǔn)確性,為醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)分析和診斷提供可靠高效的工具和方法。