本發(fā)明涉及圖像處理，具體涉及超聲內(nèi)鏡下病變評估系統(tǒng)、方法及存儲介質(zhì)。

背景技術(shù)：

1、?超聲內(nèi)鏡（endoscopic?ultrasound,?eus）是現(xiàn)代醫(yī)學(xué)中重要的成像技術(shù)之一，廣泛應(yīng)用于消化道疾病的診斷和治療。特別是在粘膜下腫物病變的評估中，eus圖像能夠提供詳細(xì)的腫物信息，如大小、形態(tài)和回聲特征。然而，傳統(tǒng)的eus圖像在分辨率和清晰度方面存在一定的局限，且依賴于醫(yī)生的經(jīng)驗進(jìn)行評估，容易出現(xiàn)主觀偏差和診斷誤差。

2、現(xiàn)有智能化的技術(shù)中，通常使用多個算法來執(zhí)行不同任務(wù)，來對eus圖像進(jìn)行評估分析，但仍存在分割精度不高、多個模型直接無法建立關(guān)聯(lián)性信息的缺點，若實現(xiàn)多模型關(guān)聯(lián)則會導(dǎo)致關(guān)聯(lián)系統(tǒng)復(fù)雜度很高且穩(wěn)定性較差。因此，亟需研發(fā)一種超聲內(nèi)鏡下病變評估系統(tǒng)、方法及存儲介質(zhì)。

技術(shù)實現(xiàn)思路

1、鑒于現(xiàn)有技術(shù)中不具有系統(tǒng)復(fù)雜度較低、穩(wěn)定性好、能夠準(zhǔn)確評估粘膜下腫物范圍、起源層次、回聲水平和病種類型的系統(tǒng)的問題，本發(fā)明提供超聲內(nèi)鏡下病變評估系統(tǒng)、方法及存儲介質(zhì)，能夠準(zhǔn)確且全面的評估病變，同時兼顧了系統(tǒng)穩(wěn)定性和較低的系統(tǒng)復(fù)雜度。

2、本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案如下：

3、第一方面，本發(fā)明提供超聲內(nèi)鏡下病變評估系統(tǒng)，包括：

4、超聲內(nèi)鏡目標(biāo)識別模塊，用于利用目標(biāo)檢測模型對超聲內(nèi)鏡圖像進(jìn)行目標(biāo)自動檢測，得到第一目標(biāo)圖像；

5、特征提取模塊，用于對第一目標(biāo)圖像進(jìn)行逐層特征提取，得到多個主干特征圖；

6、特征聚合模塊，用于對相鄰次序的主干特征圖進(jìn)行融合得到多個聚合特征圖；

7、解碼分割模塊，用于基于聚合特征圖進(jìn)行多次解碼操作，得到分割預(yù)測圖；

8、多組類別預(yù)測模塊，用于根據(jù)聚合特征圖進(jìn)行運算得到起源層次分類概率結(jié)果、回聲水平分類概率結(jié)果、疾病分類概率結(jié)果，計算起源層次分類概率結(jié)果、回聲水平分類概率結(jié)果和疾病分類概率結(jié)果的聯(lián)合概率并據(jù)此構(gòu)建三維的聚合概率矩陣；根據(jù)預(yù)設(shè)的常量矩陣校正所述聚合概率矩陣，得到校正后的起源層次分類概率結(jié)果、校正后的回聲水平分類概率結(jié)果、校正后的疾病分類概率結(jié)果。

9、在一個優(yōu)選的實施例中，所述超聲內(nèi)鏡目標(biāo)識別模塊具體用于：利用目標(biāo)檢測模型對超聲內(nèi)鏡圖像進(jìn)行目標(biāo)自動檢測得到第一檢測結(jié)果，對第一檢測結(jié)果進(jìn)行膨脹得到第一目標(biāo)圖像。

10、在一個優(yōu)選的實施例中，所述第一檢測結(jié)果為超聲內(nèi)鏡下腫瘤區(qū)域坐標(biāo)，所述第一目標(biāo)圖像為超聲內(nèi)鏡圖像中腫瘤及其周邊區(qū)域的圖像。

11、在一個優(yōu)選的實施例中，所述特征提取模塊包括順次設(shè)置的5組transformer網(wǎng)絡(luò)單元，第一組transformer網(wǎng)絡(luò)單元用于對第一目標(biāo)圖像通過卷積操作實現(xiàn)特征提取得到第一主干特征圖，第二組transformer網(wǎng)絡(luò)單元用于對第一主干特征圖通過卷積操作實現(xiàn)特征提取得到第二主干特征圖，第三組transformer網(wǎng)絡(luò)單元用于對第二主干特征圖通過卷積操作實現(xiàn)特征提取得到第三主干特征圖，第四組transformer網(wǎng)絡(luò)單元用于對第三主干特征圖通過卷積操作實現(xiàn)特征提取得到第四主干特征圖，第五組transformer網(wǎng)絡(luò)單元用于對第四主干特征圖通過卷積操作實現(xiàn)特征提取得到第五主干特征圖。

12、在一個優(yōu)選的實施例中，所述特征聚合模塊用于對所述第五主干特征圖、第四主干特征圖、第三主干特征圖、第二主干特征圖、第一主干特征圖按照每兩個相鄰次序的主干特征圖進(jìn)行特征融合的方式操作，順次得到第四聚合特征圖、第三聚合特征圖、第二聚合特征圖和第一聚合特征圖；進(jìn)行所述特征融合包括順次進(jìn)行上采樣與拼接操作、自注意力模塊加權(quán)運算操作和relu激活函數(shù)激活操作。

13、在一個優(yōu)選的實施例中，所述解碼分割模塊具體用于：對第三聚合特征圖和上采樣后的第四聚合特征圖進(jìn)行融合拼接，融合拼接后進(jìn)行特征解碼得到第三解碼特征圖；對第二聚合特征圖和上采樣后的第三解碼特征圖進(jìn)行融合拼接，融合拼接后進(jìn)行特征解碼得到第二解碼特征圖；對第一聚合特征圖和上采樣后的第二解碼特征圖進(jìn)行融合拼接，融合拼接后進(jìn)行特征解碼得到第一解碼特征圖；對所述第一解碼特征圖進(jìn)行上采樣操作以恢復(fù)到第一目標(biāo)圖像的尺寸，再經(jīng)過激活函數(shù)激活，得到分割預(yù)測圖。

14、在一個優(yōu)選的實施例中，所述解碼分割模塊包括多組解碼器單元以及1組分割預(yù)測單元，所述解碼器單元包括：1個位置編碼層，用于為每個輸入特征塊提供空間位置信息；1個自注意力機制層，用于捕獲輸入特征塊之間的全局和局部特征交互；1個前饋神經(jīng)網(wǎng)絡(luò)層，用于對自注意力機制層輸出的特征進(jìn)行非線性變換，輸出解碼特征圖；所述分割預(yù)測單元，用于對對n-2次解碼操作的結(jié)果進(jìn)行上采樣操作，恢復(fù)到與第一目標(biāo)圖像相同的尺寸，再經(jīng)過激活函數(shù)激活，得到分割預(yù)測圖。

15、在一個優(yōu)選的實施例中，所述多組類別預(yù)測模塊包括：

16、特征融合單元，用于融合拼接聚合特征圖并對聚合特征圖進(jìn)行加權(quán)得到第一融合編碼特征圖；

17、第一決策網(wǎng)絡(luò)分支，用于根據(jù)第一融合編碼特征圖進(jìn)行起源層次的決策分類，得到起源層次分類概率結(jié)果；

18、第二決策網(wǎng)絡(luò)分支，用于根據(jù)第一融合編碼特征圖進(jìn)行回聲水平的決策分類，得到回聲水平分類概率結(jié)果；

19、第三決策網(wǎng)絡(luò)分支，用于根據(jù)第一融合編碼特征圖進(jìn)行疾病的決策分類，得到疾病分類概率結(jié)果；

20、概率矩陣聚合單元，用于利用起源層次分類概率結(jié)果、回聲水平分類概率結(jié)果和疾病分類概率結(jié)果作為維度構(gòu)建三維的聚合概率矩陣；聚合概率矩陣的單元表示該單元對應(yīng)的起源層次分類結(jié)果的分類概率、回聲水平分類結(jié)果的分類概率和疾病分類結(jié)果的分類概率的聯(lián)合概率；

21、常量矩陣校正單元，用于將聚合概率矩陣與預(yù)設(shè)的常量矩陣進(jìn)行加權(quán)融合運算，得到校正后的起源層次分類概率結(jié)果、校正后的回聲水平分類概率結(jié)果、校正后的疾病分類概率結(jié)果。

22、在一個優(yōu)選的實施例中，所述特征融合單元具體用于通過雙線性插值操作對齊若干聚合特征圖維度，對齊后進(jìn)行融合拼接操作得到聚合特征圖一，將聚合特征圖一輸入到自注意力機制加權(quán)層得到第一融合編碼特征圖；

23、所述第一決策網(wǎng)絡(luò)分支、第二決策網(wǎng)絡(luò)分支和第三決策網(wǎng)絡(luò)分支均包括：三組transformer編碼層，輸入為所述第一融合編碼特征圖，用于連續(xù)提取和深化全局上下文信息以及關(guān)鍵特征表示，得到特征圖一；1個全連接層，用于將所述特征圖一轉(zhuǎn)換為一維特征向量；1個概率輸出層，用于將所述一維特征向量轉(zhuǎn)換為類別概率表示，輸出分類概率結(jié)果。

24、在一個優(yōu)選的實施例中，所述聯(lián)合概率為概率之和；所述常量矩陣的單元為根據(jù)臨床經(jīng)驗中起源層次分類結(jié)果、回聲水平分類和疾病分類結(jié)果組合的出現(xiàn)概率所確定的加權(quán)值。

25、第二方面，本發(fā)明提供超聲內(nèi)鏡下病變評估方法，包括：

26、利用目標(biāo)檢測模型對超聲內(nèi)鏡圖像進(jìn)行目標(biāo)自動檢測，得到第一目標(biāo)圖像；

27、對第一目標(biāo)圖像進(jìn)行逐層特征提取，得到多個主干特征圖；

28、對相鄰次序的主干特征圖進(jìn)行融合得到多個聚合特征圖；

29、基于聚合特征圖進(jìn)行多次解碼操作，得到分割預(yù)測圖；

30、根據(jù)聚合特征圖進(jìn)行運算得到起源層次分類概率結(jié)果、回聲水平分類概率結(jié)果、疾病分類概率結(jié)果；

31、計算起源層次分類概率結(jié)果、回聲水平分類概率結(jié)果和疾病分類概率結(jié)果的聯(lián)合概率并據(jù)此構(gòu)建三維的聚合概率矩陣；

32、根據(jù)預(yù)設(shè)的常量矩陣校正所述聚合概率矩陣，得到校正后的起源層次分類概率結(jié)果、校正后的回聲水平分類概率結(jié)果、校正后的疾病分類概率結(jié)果。

33、第三方面，本發(fā)明提供一種存儲介質(zhì)，存儲有計算機程序，其特征在于，計算機程序被處理器執(zhí)行時，實現(xiàn)第二方面所述超聲內(nèi)鏡下病變評估方法的步驟。

34、本發(fā)明提供超聲內(nèi)鏡下病變評估系統(tǒng)、方法及存儲介質(zhì)，能夠?qū)us圖像進(jìn)行特征提取、特征聚合，并通過多次分割以解決分割精度不高的問題，精準(zhǔn)分割出粘膜下病變（腫物）的輪廓范圍，并能夠評估其起源層次、回聲水平、疾病類型，通過聚合概率矩陣和常量矩陣的校正，簡化了系統(tǒng)復(fù)雜度、提高了系統(tǒng)穩(wěn)定性，且進(jìn)一步提高病變評估的準(zhǔn)確性和可靠性。通過本發(fā)明，可以一次性地、準(zhǔn)確地獲得病變分割結(jié)果、起源層次、回聲水平和疾病類型。