本發(fā)明涉及人工智能模型,尤其涉及一種基于多尺度特征的阿爾茲海默癥病程預(yù)測方法及系統(tǒng)。
背景技術(shù):
1、阿爾茲海默癥是一種起病隱匿的進(jìn)行性發(fā)展的神經(jīng)系統(tǒng)退行性疾病。人工智能技術(shù)可以通過對大量神經(jīng)影像數(shù)據(jù)的分析和學(xué)習(xí),識別出微小的變化和模式,從而幫助醫(yī)生更準(zhǔn)確地診斷阿爾茲海默癥。相比傳統(tǒng)的診斷方法,人工智能能夠更快速、更準(zhǔn)確地發(fā)現(xiàn)潛在的病變跡象。由于阿爾茲海默癥的病理是復(fù)雜的,不同的病人其可能的病理區(qū)域不同,而且在不同的病理區(qū)域病變的程度也不盡相同。所以在設(shè)計輔助診斷算法時考慮不同尺度的特征可能有助于模型捕獲不同尺度的病理區(qū)域。同時注意力機(jī)制類似于人類的視覺機(jī)制,在計算機(jī)視覺領(lǐng)域中通常表現(xiàn)為能夠主動的關(guān)注圖像中重要的區(qū)域,忽略那些不重要的區(qū)域,這提升了模型的可解釋性。在醫(yī)療領(lǐng)域,模型的解釋性以及準(zhǔn)確性對于醫(yī)生和患者來說是至關(guān)重要的。公開號為cn114820524a的中國專利申請公開了一種mri圖像中阿爾茨海默癥的3d特征識別方法,該方法在每個resnet塊中添加一個3d非對稱卷積塊,3d非對稱卷積塊提取出3d?mri圖像中判別性特征;在每個resnet塊后設(shè)置一個注意特征融合添加模塊以融合局部和全局特征上下文,進(jìn)行多尺度通道注意力特征融合;在多個resnet塊的特征提取后,使用自適應(yīng)平均池化模塊和全連接模塊輸出最終獲得識別結(jié)果。該技術(shù)方案既防止了特征信息的丟失,又提升了提取更多的判別性特征,還結(jié)合阿爾茨海默癥圖像mri的特點(diǎn),更好地在注意力機(jī)制中融合具有各種語義和尺度的特征,提升了3d特征的融合,這使得阿爾茨海默癥的特征識別準(zhǔn)確率進(jìn)一步提升。然而該方法在模型中使用的非對稱卷積對大尺度特征提取能力上稍顯不足,導(dǎo)致準(zhǔn)確率提升有限,且模型的計算成本以及參數(shù)數(shù)量都較高,可能限制了其在臨床中的廣泛使用。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于解決現(xiàn)有技術(shù)中識別阿爾茲海默癥病程存在準(zhǔn)確率不足且計算成本高的問題。
2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:提供一種基于多尺度特征的阿爾茲海默癥病程預(yù)測方法,包括以下步驟:
3、獲取原始腦部影像并進(jìn)行預(yù)處理,獲得三維全腦圖像作為待預(yù)測圖像;
4、將待預(yù)測圖像輸入阿爾茨海默癥3d特征提取模型,實(shí)現(xiàn)病程預(yù)測;
5、所述阿爾茨海默癥3d特征提取模型包括輸入層、多個依次排列的改進(jìn)resnet塊、平均池化模塊和全連接模塊;輸入層接收待預(yù)測圖像,提取初步特征;初步特征依次輸入多個改進(jìn)resnet塊,進(jìn)行多次特征提取與融合,輸出融合特征;融合特征輸入平均池化模塊和全連接模塊,獲得病程預(yù)測結(jié)果;所述改進(jìn)resnet塊采用3d空洞卷積進(jìn)行不同尺度的特征提取,采用注意力機(jī)制進(jìn)多尺度特征融合。
6、優(yōu)選的,所述改進(jìn)resnet塊包括3×3×3卷積層和一個多尺度特征模塊,所述多尺度特征模塊提取并融合多尺度特征的過程包括以下步驟:
7、采用不同空洞率的3d空洞卷積提取輸入特征中不同尺度的特征;
8、采用注意力機(jī)制對不同尺度的特征進(jìn)行多尺度通道注意力特征融合,獲得融合特征。
9、優(yōu)選的,所述采用不同空洞率的3d空洞卷積提取輸入特征中不同尺度的特征,包括以下步驟:
10、對輸入特征使用一個1×1×1卷積層進(jìn)行降維操作,得到c、h、w、d表示x的通道數(shù)、高度、寬度和深度;
11、將f分別輸入到一個1×1×1卷積和若干個不同空洞率的空洞卷積中,獲得不同尺度的特征圖。
12、優(yōu)選的,所述將f分別輸入到一個1×1×1卷積和若干個不同空洞率的空洞卷積中,具體為:
13、將f分別輸入到一個1×1×1卷積和三個空洞率分別為1、2和3的空洞卷積中,獲得四個不同尺度的特征圖。
14、優(yōu)選的,所述采用注意力機(jī)制對不同尺度的特征進(jìn)行多尺度通道注意力特征融合,對同一尺度的特征進(jìn)行重要性排序以獲得初始權(quán)重,對所有的特征進(jìn)行重要性排序以獲得不同尺度的特征的對應(yīng)權(quán)重。
15、優(yōu)選的,所述采用注意力機(jī)制對不同尺度的特征進(jìn)行多尺度通道注意力特征融合,包括以下步驟:
16、利用池化操作計算不同尺度的特征的初始權(quán)重;
17、對初始權(quán)重進(jìn)行拼接后,送入到一個1×1×1卷積中,并使用sigmoid函數(shù)得到每一個通道的重要性,表示為:
18、
19、其中,wn特征mn對應(yīng)的初始權(quán)重,表示1×1×1卷積操作,n表示特征數(shù)量;
20、對重要性w′進(jìn)行分割獲得不同尺度的特征的對應(yīng)權(quán)重wn′;
21、利用對應(yīng)權(quán)重對不同尺度的特征進(jìn)行加權(quán),然后對所有的加權(quán)結(jié)果執(zhí)行逐元素相加得到融合特征y,表示為:
22、
23、其中,wn′和mn表示一組對應(yīng)的權(quán)重和特征,⊙表示加權(quán)操作。
24、優(yōu)選的,所述利用池化操作計算不同尺度的特征的初始權(quán)重,采用兩個處理通道接收特征mn,兩個處理通道的輸出再使用sigmoid函數(shù)得到對應(yīng)特征mn的初始權(quán)重wn;兩個處理通道包括:
25、第一處理通道,包括依次連接的全局平均池化層、1×1×1卷積層、relu激活層和1×1×1卷積層;
26、第二處理通道,包括依次連接的全局最大池化層、1×1×1卷積層、relu激活層和1×1×1卷積層。
27、優(yōu)選的,所述融合特征進(jìn)入下一個多尺度特征模塊或者平均池化模塊之前還進(jìn)行池化操作,精煉判別性特征。
28、優(yōu)選的,所述融合特征進(jìn)入平均池化模塊之前還經(jīng)過兩個殘差層,每個殘差層包含兩個3×3×3卷積。
29、本發(fā)明還提供一種基于多尺度特征的阿爾茲海默癥病程預(yù)測系統(tǒng),包括:
30、圖像獲取模塊,獲取原始腦部影像并進(jìn)行預(yù)處理,獲得三維全腦圖像作為待預(yù)測圖像;
31、圖像預(yù)測模塊,將待預(yù)測圖像輸入阿爾茨海默癥3d特征提取模型,實(shí)現(xiàn)病程預(yù)測;
32、所述阿爾茨海默癥3d特征提取模型包括輸入層、多個依次排列的改進(jìn)resnet塊、平均池化模塊和全連接模塊;輸入層接收待預(yù)測圖像,提取初步特征;初步特征依次輸入多個改進(jìn)resnet塊,進(jìn)行多次特征提取與融合,輸出融合特征;融合特征輸入平均池化模塊和全連接模塊,獲得病程預(yù)測結(jié)果;所述改進(jìn)resnet塊采用3d空洞卷積進(jìn)行不同尺度的特征提取,采用注意力機(jī)制進(jìn)多尺度特征融合。
33、本發(fā)明具有如下有益效果:
34、(1)本發(fā)明針對三維腦部影像數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,能有效地標(biāo)準(zhǔn)化腦部影像數(shù)據(jù);將三維全腦圖像輸入模型中使用不同空洞率的空洞卷積提取判別性特征,既提取了更多判別性特征,又考慮到阿爾茲海默癥腦影像的空間關(guān)系,能夠更加準(zhǔn)確的捕獲到疾病的重要病理特征,提高了定位病理區(qū)域的準(zhǔn)確性;
35、(2)本發(fā)明使用注意力機(jī)制融合不同特征時,不僅在單個尺度特征圖上獲取了注意力權(quán)重,還在不同尺度特征上使用了注意力機(jī)制進(jìn)行融合,精煉判別性特征,提升模型診斷精度;
36、(3)本發(fā)明通過多尺度特征融合方法不同尺度的腦影像特征,能夠更好的強(qiáng)化重要特征的表達(dá)同時抑制無關(guān)的信息,從而有效地診斷阿爾茲海默癥病程狀態(tài);
37、(4)本發(fā)明使用空洞卷積,相較于其他卷積可以在不減小感受野的同時減少參數(shù)量;本發(fā)明使用多尺度特征模塊代替原有resnet第三個模塊,然后將網(wǎng)絡(luò)的通道數(shù)減半從而達(dá)到輕量級的目的;使用輕量級網(wǎng)絡(luò)可以減少模型復(fù)雜性與計算成本,在計算資源匱乏的環(huán)境中使用,作為輔助阿爾茲海默癥疾病預(yù)測的重要指標(biāo),提高醫(yī)生對病情的把控從而及早地制定診斷方案;與此同時,本發(fā)明能夠保證穩(wěn)定的性能。
38、以下結(jié)合附圖及實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)說明,但本發(fā)明不局限于實(shí)施例。