本發(fā)明涉及一種聯(lián)合深度學(xué)習(xí)技術(shù)對(duì)醫(yī)療圖像進(jìn)行自動(dòng)檢測(cè)的系統(tǒng)和方法，具體涉及運(yùn)用包括深度學(xué)習(xí)技術(shù)在內(nèi)的單個(gè)或融合檢測(cè)模型對(duì)醫(yī)學(xué)圖像(如乳腺X光圖像)中的可疑病變進(jìn)行檢測(cè)和評(píng)估的系統(tǒng)及方法。

背景技術(shù)：

乳腺癌是威脅婦女健康的最常見的一種癌癥。防治乳腺癌的關(guān)鍵是早發(fā)現(xiàn)、早診斷、早治療。乳腺健康檢查常見的方式包括X光、超聲和核磁共振成像(MRI)。其中，乳腺X光檢查被認(rèn)為是最準(zhǔn)確的檢測(cè)方法，因?yàn)樗梢园l(fā)現(xiàn)早期細(xì)小的各種可疑病變(如腫塊、微鈣化、結(jié)構(gòu)紊亂等)。目前乳腺X光圖像診斷主要是由醫(yī)生通過目視完成的，診斷的質(zhì)量依賴于醫(yī)生的經(jīng)驗(yàn)和細(xì)致的觀察。當(dāng)醫(yī)生缺乏經(jīng)驗(yàn)、受時(shí)間限制而沒有仔細(xì)查看或者疲憊疏忽時(shí)，就會(huì)影響診斷效果，造成乳腺病變的漏診和誤診。

采用乳腺計(jì)算機(jī)輔助檢測(cè)和診斷系統(tǒng)(CADe/CADx)，在臨床實(shí)踐中可以幫助醫(yī)生提高檢測(cè)靈敏度、降低工作強(qiáng)度。傳統(tǒng)的乳腺計(jì)算機(jī)輔助檢測(cè)和診斷系統(tǒng)通常包括三個(gè)主要步驟：特征提取、特征選擇和病變分類。這三個(gè)步驟需要分開處理，然后再整合在一起實(shí)現(xiàn)整體系統(tǒng)的性能調(diào)優(yōu)。上述工作中，針對(duì)各個(gè)病癥實(shí)現(xiàn)有效地特征提取是最重要的一個(gè)環(huán)節(jié)，這部分工作的質(zhì)量決定了后續(xù)的特征選擇和病變分類的效果。特征選擇通常使用一些弱分類器作為標(biāo)準(zhǔn)，從一整套提取的特征中有針對(duì)性地選擇一些有效特征。然后在病變分類步驟，通過使用一些基于機(jī)器學(xué)習(xí)的分類器如人工神經(jīng)網(wǎng)絡(luò)(ANN)、支持向量機(jī)(SVM)等，來進(jìn)一步強(qiáng)化對(duì)不同病變與正常組織之間的判別能力。然而，由于在特征選擇中使用的分類器與在病變分類中使用的分類器通常是不同的，在特征選擇步驟所選的“有效”特征可能不是在病變分類中真正有效的特征；此外，特征提取的質(zhì)量取決于在圖像預(yù)處理(包括圖像增強(qiáng)、圖像分割等)過程中每個(gè)中間結(jié)果的質(zhì)量，需要采用人工干預(yù)進(jìn)行參數(shù)調(diào)整、手工優(yōu)化、方案選擇等，經(jīng)過仔細(xì)設(shè)計(jì)和反復(fù)試驗(yàn)去找到滿意的中間結(jié)果。所有這些因素都會(huì)影響診斷系統(tǒng)最終的性能，使得設(shè)計(jì)和優(yōu)化傳統(tǒng)的乳腺計(jì)算機(jī)輔助診斷系統(tǒng)困難重重。

運(yùn)用深度學(xué)習(xí)的技術(shù)，可以改變傳統(tǒng)的乳腺計(jì)算機(jī)輔助診斷系統(tǒng)的設(shè)計(jì)范式，并具有以下三個(gè)明顯的優(yōu)勢(shì)：首先，深度學(xué)習(xí)可以從大量的訓(xùn)練數(shù)據(jù)中直接發(fā)現(xiàn)有效特征，因而顯著緩解以往在特征提取過程中需要進(jìn)行的許多有明確針對(duì)性的工作，深度學(xué)習(xí)可以補(bǔ)充甚至超越傳統(tǒng)的特征提取方法的特征識(shí)別能力。第二，深度學(xué)習(xí)提供的深層神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)，可以方便地實(shí)現(xiàn)特征交互和繼承的層次架構(gòu)，這樣使得特征選擇的過程大大簡(jiǎn)化。第三，以往的特征提取、特征選擇和病變分類這三個(gè)步驟，現(xiàn)在可以放在同一個(gè)深度學(xué)習(xí)的體系結(jié)構(gòu)來實(shí)施，這樣的設(shè)計(jì)使得整體性能的優(yōu)化可以按照系統(tǒng)化的方式進(jìn)行，變得更方便了。

但是用深度學(xué)習(xí)技術(shù)完全來替代傳統(tǒng)的計(jì)算機(jī)輔助檢測(cè)技術(shù)也有其不足之處。如果采用單一深度學(xué)習(xí)策略實(shí)現(xiàn)計(jì)算機(jī)輔助診斷，就缺少能夠?qū)鹘y(tǒng)的各種計(jì)算機(jī)輔助檢測(cè)模型以及多種檢測(cè)模型聯(lián)合運(yùn)用的綜合考慮，不一定就是最優(yōu)的檢測(cè)模型的方案。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種聯(lián)合深度學(xué)習(xí)技術(shù)的多模型融合自動(dòng)檢測(cè)醫(yī)學(xué)圖像中病變的系統(tǒng)及方法。

為達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案，以乳腺病變檢測(cè)為例：

實(shí)現(xiàn)對(duì)乳腺醫(yī)學(xué)圖像進(jìn)行智能病變檢測(cè)的系統(tǒng)包括以下五個(gè)部分：

1)用于獲取數(shù)字或數(shù)字化的乳房影像的圖像輸入模塊，該模塊在影像輸入時(shí)通過識(shí)別乳頭、皮膚、胸壁肌肉實(shí)現(xiàn)對(duì)乳腺興趣區(qū)的分割；

2)包含乳腺病變檢測(cè)處理器和一個(gè)或多個(gè)配置文件的智能診斷模塊，乳腺病變檢測(cè)處理器對(duì)乳腺圖像(是指分割乳腺興趣區(qū)并下采樣后的乳房影像)進(jìn)行空間轉(zhuǎn)換、對(duì)比度和外觀歸一化處理，通過調(diào)用乳腺檢測(cè)模型實(shí)現(xiàn)特征提取、特征選擇和病變分類；

3)包含深度學(xué)習(xí)模型、傳統(tǒng)的CAD模型、專家決策系統(tǒng)和其他各種模式識(shí)別和機(jī)器學(xué)習(xí)技術(shù)構(gòu)建的乳腺檢測(cè)模型；

4)用于存儲(chǔ)和查詢患者的病歷檔案庫和包含各種病變的病理特征的病理數(shù)據(jù)庫；病歷檔案庫用于了解患者的病史以便對(duì)現(xiàn)狀和未來發(fā)展進(jìn)行評(píng)估，病理數(shù)據(jù)庫有助于根據(jù)已有的病理特征信息發(fā)現(xiàn)類似的病變并進(jìn)行預(yù)警；

5)用于顯示乳腺圖像和病變相關(guān)特征的圖像顯示模塊。

根據(jù)乳腺醫(yī)學(xué)成像數(shù)據(jù)進(jìn)行病變檢測(cè)和診斷的方法，包括以下步驟：

1)分析圖像數(shù)據(jù)，識(shí)別乳腺組織、乳頭和胸??；

2)把原始圖像數(shù)據(jù)按照標(biāo)準(zhǔn)空間轉(zhuǎn)換成對(duì)齊的圖像數(shù)據(jù)；

3)把對(duì)齊的圖像數(shù)據(jù)采用對(duì)比度歸一化處理；

4)對(duì)不同設(shè)備或廠商提供的乳腺圖像進(jìn)行外觀歸一化處理，如膠片、通用電氣、西門子、豪洛捷(Hologic)、柯達(dá)CR/DR等；

5)在乳腺圖像中檢測(cè)可疑的乳腺病變興趣區(qū)(ROI)；

6)建立和應(yīng)用集成了卷積層和完全連接層的深度神經(jīng)網(wǎng)絡(luò)模型，降低假陽性；

7)建立包含深度學(xué)習(xí)模型、傳統(tǒng)的CAD模型、專家決策系統(tǒng)和其他各種模式識(shí)別和機(jī)器學(xué)習(xí)技術(shù)構(gòu)建的乳腺檢測(cè)模型的模型庫，并按需提供智能檢測(cè)服務(wù)：如病變類型選擇(腫塊檢測(cè)、微鈣化檢測(cè)、結(jié)構(gòu)紊亂檢測(cè))、臨床服務(wù)選擇(快速篩查服務(wù)、精準(zhǔn)檢測(cè)服務(wù)，快速篩查通過犧牲一定的精準(zhǔn)度而達(dá)到快速檢測(cè)目的)；

8)在乳腺圖像上注釋和顯示乳腺病變的位置和輪廓。

上述的系統(tǒng)或方法中，均涉及一種新的用于乳腺健康診斷的系統(tǒng)架構(gòu)，包括：

1)利用各種模式識(shí)別和機(jī)器學(xué)習(xí)技術(shù)構(gòu)建的乳腺檢測(cè)模型庫；

2)從一個(gè)獨(dú)立的算法檢測(cè)空間獲得的檢測(cè)分值映射到標(biāo)準(zhǔn)檢測(cè)空間的映射方法；

3)可以選擇出一組最優(yōu)的算法，使得其融合后的檢測(cè)分值反映出系統(tǒng)具有最優(yōu)的性能。

本發(fā)明的有益效果體現(xiàn)在：

本發(fā)明一方面通過引入深度學(xué)習(xí)技術(shù)，克服了傳統(tǒng)計(jì)算機(jī)輔助診斷系統(tǒng)的不足，可以將以前分開的特征提取、特征選擇和病變分類聯(lián)系起來，放在一個(gè)一體化的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型里處理，實(shí)現(xiàn)整體系統(tǒng)高效和智能地運(yùn)作，方便了系統(tǒng)調(diào)試和優(yōu)化，另一方面，通過融合傳統(tǒng)的CAD模型、專家決策系統(tǒng)和其他各種模式識(shí)別和機(jī)器學(xué)習(xí)技術(shù)，構(gòu)成檢測(cè)模型庫，并采用最優(yōu)的檢測(cè)模型方案進(jìn)行檢測(cè)。據(jù)此，本發(fā)明可以提高從醫(yī)學(xué)圖像中發(fā)現(xiàn)和檢測(cè)病變的準(zhǔn)確率，幫助醫(yī)生提高診斷效果，具有較大的理論價(jià)值和經(jīng)濟(jì)效益。

附圖說明

圖1是傳統(tǒng)的乳腺計(jì)算機(jī)輔助診斷系統(tǒng)的工作流程圖。

圖2是本發(fā)明一實(shí)施例的顯示基于深度學(xué)習(xí)的乳腺診斷系統(tǒng)的工作流程圖。

圖2A是本發(fā)明一實(shí)施例的實(shí)現(xiàn)圖2中乳腺興趣區(qū)(ROI)空間轉(zhuǎn)換的示意圖。

圖2B是本發(fā)明一實(shí)施例的實(shí)現(xiàn)圖2中乳房組織外觀歸一化的示意圖。

圖2C是本發(fā)明一實(shí)施例的檢測(cè)和提取可疑病變ROI的示意圖。

圖3是本發(fā)明一實(shí)施例的典型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3A是本發(fā)明一實(shí)施例的用于生成特征向量的卷積層的工作流程圖。

圖3B是圖3A的卷積層使用濾波器組生成多波特征圖像的示意圖。

圖3B1是本發(fā)明一實(shí)施例的說明從圖3A的卷積層提取樣本特征的示意圖。

圖3C是本發(fā)明一實(shí)施例的說明從圖3A的卷積層進(jìn)行池化操作的示意圖。

圖3D是本發(fā)明一實(shí)施例的說明深度學(xué)習(xí)模型實(shí)施各種特征層面融合的方法的示意圖。

圖3E是本發(fā)明一實(shí)施例的說明深度學(xué)習(xí)模型與傳統(tǒng)的CAD模型實(shí)施特征層面融合的示意圖。

圖3F是本發(fā)明一實(shí)施例的說明在深度學(xué)習(xí)模型、傳統(tǒng)的CAD模型以及諸如專家決策系統(tǒng)等其他模型中實(shí)施分值層面融合的方法的示意圖。

圖3G是本發(fā)明一實(shí)施例的說明在分值層面融合時(shí)實(shí)現(xiàn)分值歸一化的方法的示意圖。

圖4是本發(fā)明一實(shí)施例的說明乳腺醫(yī)學(xué)圖像診斷系統(tǒng)各個(gè)組成部分的示意圖。

圖5是本發(fā)明一實(shí)施例的用于輸入各種圖像處理參數(shù)實(shí)現(xiàn)人機(jī)交互的界面示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明，所述實(shí)施例是對(duì)本發(fā)明的解釋，而不是限定。

現(xiàn)有的乳腺CAD診斷系統(tǒng)的工作流程參見圖1，圖中每個(gè)列出的步驟在多數(shù)情況下是分別進(jìn)行了優(yōu)化，每一步都是把結(jié)果作為輸入?yún)?shù)傳遞給后續(xù)步驟，幾乎沒有反饋信息。如果前面的步驟出錯(cuò)了，它仍然會(huì)傳遞給后續(xù)的步驟直到得出最終的結(jié)果。一般來講，乳腺X光圖像101需要先經(jīng)過乳腺輪廓分割102、乳腺興趣區(qū)預(yù)處理103，并檢測(cè)出可疑病灶(病變)候選者104，這之后的處理，例如，特征提取和選擇105對(duì)于整個(gè)系統(tǒng)的性能(敏感性和特異性)起著最為重要的作用。它需要進(jìn)行大量的計(jì)算，因此通常需要使用一些優(yōu)化假設(shè)和弱分類器(易于計(jì)算)來輔助。在此之后，所選擇的最優(yōu)特征子集將被輸入到一些更強(qiáng)大的機(jī)器學(xué)習(xí)模型，如人工神經(jīng)網(wǎng)絡(luò)(ANN)，來去除假陽性107，提高其判別不同目標(biāo)類的能力。然而，由于在特征提取和選擇105使用的弱分類器和諸如在ANN模型訓(xùn)練106中使用的強(qiáng)分類器存在差異性，所以很難保證弱分類器得出的最優(yōu)特征子集在使用強(qiáng)分類器的機(jī)器學(xué)習(xí)中達(dá)到效果最好。

本發(fā)明一實(shí)施例中基于深度學(xué)習(xí)的乳腺診斷系統(tǒng)的工作流程參見圖2。乳腺圖像數(shù)據(jù)可以通過掃描x光膠片、CR系統(tǒng)或DR系統(tǒng)獲得。乳腺圖像包括頭尾位(CC位)、內(nèi)外斜位(MLO位)視圖，均以相同方式處理。圖像分割步驟用于確定乳腺輪廓、乳頭和胸肌的位置。以乳腺X光圖像201為例，分割乳腺組織、乳頭及胸壁肌肉202有多種方法。一種實(shí)施方法是在CC位視圖通過估算皮膚線的位置來確定乳腺的輪廓，在MLO視圖則通過胸肌加上乳腺組織來確定。由皮膚線和胸肌圍起來的區(qū)域就是乳腺興趣區(qū)(ROI)。通過對(duì)乳腺興趣區(qū)進(jìn)行空間轉(zhuǎn)換203的方法可以將不同設(shè)備供應(yīng)商來源的乳腺圖像數(shù)據(jù)對(duì)應(yīng)到標(biāo)準(zhǔn)化的乳腺空間?？臻g轉(zhuǎn)換有多種方法。一種實(shí)施方法是由乳頭和胸壁或胸肌組成的內(nèi)部軸來確定空間的轉(zhuǎn)換位置。舉個(gè)例子，圖2A顯示了一個(gè)輸入的乳房圖像(左CC視圖)進(jìn)行空間轉(zhuǎn)換的方法。輸入圖像21根據(jù)相對(duì)應(yīng)的標(biāo)記位置(乳頭和胸壁中點(diǎn))，與參考圖像22比照進(jìn)行轉(zhuǎn)換，得出對(duì)齊后的圖像23。值得注意的是，輸入圖像21和參考圖像22展示的乳房大小存在明顯的差異，對(duì)齊后的圖像23比原始輸入圖像21在結(jié)構(gòu)上可以顯示出更多的細(xì)節(jié)。對(duì)對(duì)齊后的圖像23進(jìn)行乳腺興趣區(qū)對(duì)比度歸一化處理204，以歸一化的方式提高了輸入圖像的對(duì)比度。對(duì)比度歸一化有多種方法。一種實(shí)施方法是使用色調(diào)曲線轉(zhuǎn)換方法，把輸入的原始組織衰減線性空間轉(zhuǎn)換成以增強(qiáng)乳腺興趣區(qū)為目的的非線性灰度空間。另一種實(shí)施方法是使用基于直方圖匹配的全局性密度轉(zhuǎn)換方法，把輸入圖像的對(duì)比度增強(qiáng)，使得所有輸入圖像中密度相似的乳腺組織具有相似的密度值。然后通過乳腺組織外觀歸一化處理205進(jìn)一步糾正由不同供應(yīng)商提供的乳腺圖片存在的差異。外觀歸一化在圖像處理、計(jì)算機(jī)視覺藝術(shù)等領(lǐng)域有很多種方法。一種實(shí)施方法是使用基于圖像碎片的深度機(jī)器學(xué)習(xí)外觀模型，把廠家提供的對(duì)比度歸一化了的圖像非線性轉(zhuǎn)換到一個(gè)標(biāo)準(zhǔn)的外觀空間37。例如，參見圖2B，對(duì)于供應(yīng)商1、供應(yīng)商2和供應(yīng)商3提供的對(duì)比度歸一化圖像，分別構(gòu)建獨(dú)立的外觀轉(zhuǎn)換模型(外觀歸一化模型1、2、3)。在本發(fā)明中，使用外觀轉(zhuǎn)換模型作為驅(qū)動(dòng)模塊實(shí)現(xiàn)了對(duì)不同供應(yīng)商提供的圖像的支持，可以方便地不斷擴(kuò)大供應(yīng)商列表。檢測(cè)可疑病變候選者206步驟用于發(fā)現(xiàn)乳腺興趣區(qū)內(nèi)潛在的病變。可疑病變檢測(cè)技術(shù)有多種方法。一種實(shí)施方法如圖2C所示，輸入圖像分別由4個(gè)帶通濾波器和1個(gè)均值濾波來創(chuàng)建第5個(gè)帶狀圖像進(jìn)行增強(qiáng)。候選者(峰值)通過從這4個(gè)帶通濾波器的帶狀圖像中選擇最大值得出，并搜索不同的角度來估算峰值的大小。然后從第5個(gè)帶狀圖像選出一個(gè)峰值。上述所有5個(gè)帶狀圖像產(chǎn)生的峰值合并后再根據(jù)預(yù)先定義的候選者數(shù)量限制進(jìn)行縮減。一些峰值的大小和位置需要根據(jù)從原始圖像中分割出來的興趣區(qū)(ROI)來進(jìn)行糾正。興趣區(qū)以外的峰值將被刪除。峰值的大小和位置將依據(jù)第5個(gè)帶狀圖像的峰值進(jìn)行更新。

下面是基于深度學(xué)習(xí)的機(jī)器學(xué)習(xí)步驟，我們稱之為“乳腺神經(jīng)網(wǎng)絡(luò)”(MammoNet)。MammoNet主要使用的是卷積神經(jīng)網(wǎng)絡(luò)(CNN)技術(shù)，其原理部分是受人類視覺處理機(jī)制的啟發(fā)而產(chǎn)生的，即通過多層次的濾波器內(nèi)核去學(xué)習(xí)，在每一層創(chuàng)建表達(dá)比上一層更抽象的數(shù)據(jù)。深度一詞通常是指非線性函數(shù)的多層次嵌套。實(shí)踐證明，深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分析領(lǐng)域具有出色的表現(xiàn)。它的角色類似于一個(gè)虛擬的放射科醫(yī)師，通過學(xué)習(xí)乳腺病例大數(shù)據(jù)積累的知識(shí)和經(jīng)驗(yàn)，即訓(xùn)練CNN模型207，來判別當(dāng)前圖像是否存在乳腺病變，并標(biāo)識(shí)出病變的位置和病變區(qū)域的輪廓。

MammoNet的架構(gòu)大致包括卷積層、池化層(pooling)和全連接層。每一個(gè)卷積層的結(jié)果會(huì)生成一個(gè)特征圖，然后在池化層進(jìn)行下采樣(down-sample)。池化層一般采用最大池化方法，即在特征圖中相鄰的區(qū)域里選取最大值。池化層的缺點(diǎn)是在數(shù)據(jù)轉(zhuǎn)換時(shí)有可能引入誤差，在下采樣時(shí)隨著數(shù)據(jù)的減少可能導(dǎo)致定位精度降低。全連接層可以增加整個(gè)系統(tǒng)架構(gòu)的性能。

用表示第L層的第k個(gè)特征圖，是由卷積核根據(jù)下式計(jì)算出的：

其中*表示卷積算子，f代表非線性激活函數(shù)，b是一個(gè)偏差項(xiàng)，Y_L-1是第L-1層的特征圖。為了克服梯度消失，使用修正線性單元ReLU函數(shù)代替?zhèn)鹘y(tǒng)的sigmoid函數(shù)來表示a的激活函數(shù)：

f(a)＝max(0,a)

實(shí)踐表明這個(gè)激活函數(shù)更易于訓(xùn)練。CNN模型的參數(shù)Θ通常使用最大似然法來估算：

其中h(X|Θ)是樣本X的后驗(yàn)概率函數(shù)，N是總層數(shù)。為了便于計(jì)算，對(duì)它取負(fù)對(duì)數(shù)轉(zhuǎn)為以下求最小值的公式，即熵?fù)p失：

這里y代表類標(biāo)簽。這樣可以使用梯度下降優(yōu)化方法。對(duì)于大數(shù)據(jù)集，在內(nèi)存不足或數(shù)據(jù)存在許多冗余樣本時(shí)，通常使用小批量隨機(jī)梯度下降法(SGD)。這樣就不是對(duì)整個(gè)數(shù)據(jù)集進(jìn)行梯度計(jì)算，而是分為若干個(gè)小批量進(jìn)行梯度計(jì)算。隨后使用標(biāo)準(zhǔn)的反向傳播法來調(diào)整所有層的權(quán)重系數(shù)。

本發(fā)明一實(shí)施例的典型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)(就是所述的“乳腺神經(jīng)網(wǎng)絡(luò)”)參見圖3，這個(gè)基于CNN的網(wǎng)絡(luò)結(jié)構(gòu)包括五個(gè)卷積層(卷積層1～卷積層5)301、303、305、306、307，三個(gè)池化層(池化層1、池化層2、池化層5)302、304、308和三個(gè)全連接層(全連接層6～全連接層8)309、310、311，包含大約6000萬個(gè)自由參數(shù)。此外，一些重要的訓(xùn)練參數(shù)，如：內(nèi)核數(shù)目、步幅大小和間隔大小，也顯示在圖中。

本發(fā)明一實(shí)施例的用于生成特征向量的卷積層工作流程參見圖3A(圖3中的卷積層1、2和卷積層5)。池化層生成的特征向量會(huì)傳遞到后續(xù)的全連接層。

圖3A的卷積層使用濾波器組生成多波特征圖像的過程參見圖3B。濾波器組是用來捕獲具有不同屬性的信號(hào)。閾值和激活用來消除嘈音或無用的信號(hào)。從圖3A的卷積層提取樣本的具有不同屬性的特征如圖3B1所示。

圖3A的卷積層進(jìn)行池化的過程參見圖3C。池化和歸一化是用來生成低分辨率的有意義的特征圖。經(jīng)過這樣的一些卷積層處理后，一組簡(jiǎn)潔而有效的特征就可以提取出來，在隨后的全連接層，通過進(jìn)一步增強(qiáng)判別能力就可以取得更好的分類效果。

在本發(fā)明中，所有卷積過濾器的內(nèi)核元素都是通過學(xué)習(xí)標(biāo)記過的樣本，在有指導(dǎo)的方式下完成訓(xùn)練的。這比起傳統(tǒng)的計(jì)算機(jī)輔助檢測(cè)(CADe)方法具有更大的優(yōu)勢(shì)，因?yàn)閭鹘y(tǒng)的CADe方法需要人為選擇特性，依賴于人的設(shè)計(jì)經(jīng)驗(yàn)。MammoNet比傳統(tǒng)人工訓(xùn)練的系統(tǒng)有更好的機(jī)會(huì)捕捉到影像的“核心”數(shù)據(jù)。此外,類似MammoNet的系統(tǒng)無需人工干預(yù)，就可以從隨機(jī)的初始模型或預(yù)處理的模型參數(shù)中訓(xùn)練，生成的模型可檢測(cè)各種不同類型的病變或癌癥。這樣的操作使得MammoNet可以學(xué)習(xí)在圖像中空間位置保持不變的特征。這些特征經(jīng)過卷積層后輸入本地連接層(類似于卷積層但是沒有共享權(quán)重系數(shù))，然后在全連接的神經(jīng)網(wǎng)絡(luò)層進(jìn)行分類。在MammoNet里卷積層的維度越深，就可以編碼越高階的圖像特征。這個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)會(huì)自我學(xué)習(xí)和處理特征并進(jìn)行分類，最后為每個(gè)輸入的圖像提供病變分類及概率估算。

上述架構(gòu)雖然功能強(qiáng)大，對(duì)如旋轉(zhuǎn)和放縮等幾何變換需要進(jìn)行數(shù)據(jù)調(diào)整。在深度學(xué)習(xí)的背景下，數(shù)據(jù)調(diào)整技術(shù)通常用于從已經(jīng)存在的數(shù)據(jù)產(chǎn)生新的樣本，以解決數(shù)據(jù)匱乏和過度擬合的問題。對(duì)于乳腺x光檢查，主要的挑戰(zhàn)來自于圖像旋轉(zhuǎn)、圖像放縮、圖像轉(zhuǎn)換以及組織重疊的數(shù)量。

在本發(fā)明中，為了增加訓(xùn)練數(shù)據(jù)的多樣性，避免過度擬合，為每個(gè)病變興趣區(qū)引入了多個(gè)觀測(cè)維度是必要的。每個(gè)病變興趣區(qū)可以在二維空間沿著一個(gè)隨機(jī)向量轉(zhuǎn)換N_t次。此外，每個(gè)病變興趣區(qū)可以圍繞中心按一個(gè)隨機(jī)角度α＝[0,...,180]旋轉(zhuǎn)N_r次。這些轉(zhuǎn)換和旋轉(zhuǎn)后的病變興趣區(qū)再按照不同的縮放尺度計(jì)算N_s次。這個(gè)過程會(huì)為每個(gè)病變興趣區(qū)生成N＝N_s×N_t×N_r個(gè)隨機(jī)的觀測(cè)維度。這樣訓(xùn)練和測(cè)試數(shù)據(jù)集可以擴(kuò)展到更大的量級(jí)上,這將增強(qiáng)系統(tǒng)的普遍性和可訓(xùn)練性。根據(jù)MammoNet模型，可以簡(jiǎn)單預(yù)測(cè)對(duì)于每個(gè)病變興趣區(qū)這些N個(gè)隨機(jī)觀測(cè)維度{P₁(x),...,P_N(x)}計(jì)算出來得到候選者的概率是：

這里，P_i(x)是MammoNet為每個(gè)單獨(dú)的圖像碎片計(jì)算的分類概率值。在理論上，可以使用更復(fù)雜的計(jì)算方法，例如，對(duì)圖像碎片進(jìn)行平移和鏡像等操作，但是在實(shí)踐中發(fā)現(xiàn)簡(jiǎn)單平均值就很有效了。這個(gè)隨機(jī)采樣的方法可以簡(jiǎn)單而有效地提高訓(xùn)練數(shù)據(jù)的數(shù)量。上述計(jì)算方法通過對(duì)隨機(jī)的觀測(cè)維度進(jìn)行平均值計(jì)算，可以進(jìn)一步增加MammoNet系統(tǒng)的魯棒性和穩(wěn)定性。

在本發(fā)明中，檢測(cè)可疑病變候選者206時(shí)，所述的候選者所在的病變興趣區(qū)可以形狀大小各異，但是在CNN訓(xùn)練時(shí)病變興趣區(qū)的大小是固定的。如果病變興趣區(qū)太小，圖像分析就會(huì)缺乏足夠的信息；如果太大，那么計(jì)算成本會(huì)增加，定位的精度也可能降低。因此，在深度CNN訓(xùn)練中，采用非均勻采樣的效果會(huì)優(yōu)于均勻采樣。

假設(shè)P_i,j是圖像I中在像素(i,j)附近一個(gè)n×n大小的非均勻采樣的病變興趣區(qū)，則有：

其中，a和b是從病變興趣區(qū)的中心偏移間隔范圍內(nèi)的整數(shù)，l和m是圖像I中對(duì)應(yīng)像素的偏移量，計(jì)算為：

其中α是一個(gè)控制量，表示病變興趣區(qū)擴(kuò)展的程度：α＝0表示均勻采樣的病變興趣區(qū)。當(dāng)遠(yuǎn)離圖像碎片的中心(a和b的絕對(duì)值增加)時(shí)，需要采樣的像素的x軸和y軸偏移量(l和m)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。這意味著在中心進(jìn)行密集采樣，到外圍采樣的密度降低。

乳腺模型庫優(yōu)化208主要包括卷積神經(jīng)網(wǎng)絡(luò)的融合、深度學(xué)習(xí)與其他檢測(cè)模型的融合以及各檢測(cè)模型打分結(jié)果的融合。

本發(fā)明一實(shí)施例的說明在不同的深度學(xué)習(xí)模型(即CNN網(wǎng)絡(luò))中各種實(shí)施特征層面融合的方法，如圖3D所示。假設(shè)有兩個(gè)CNN網(wǎng)絡(luò)，矩陣和是從每個(gè)CNN網(wǎng)絡(luò)最后一個(gè)卷積層提取的特征集，M和N是特征圖的數(shù)量，d是特征圖的大小，a_i和b_i是矩陣A和B的第i列元素，分別對(duì)應(yīng)一個(gè)特征圖。融合C的輸出是：

串聯(lián)(圖3D中的基準(zhǔn)A)：其中∪是并集(連接)操作符；

組合(圖3D中的基準(zhǔn)B)：

其中∪是并集(連接)操作符，α和β是每個(gè)特征圖的權(quán)重系數(shù)，γ和δ是偏置量。

多維融合(圖3D中的基準(zhǔn)C)：

其中，⊙代表元素乘積，γ和δ是偏置量，α和β為每個(gè)特征圖的權(quán)重系數(shù)，是可學(xué)習(xí)的參數(shù)。上述方法也可以擴(kuò)展到全連接層的融合。與卷積層不同，對(duì)于全連接層d＝1，所以A和B的維度分別是1×M和1×N。

這里α和β在每個(gè)網(wǎng)絡(luò)扮演著重要角色，它們對(duì)重要的特征賦予較高的權(quán)重，可用于預(yù)測(cè)。K是唯一的超參數(shù)(hyper-parameter)，它的大小代表著融合網(wǎng)絡(luò)的容量大小。注意，這個(gè)方法支持網(wǎng)絡(luò)數(shù)量的擴(kuò)展，因?yàn)槿诤暇W(wǎng)絡(luò)的大小取決于K，而不是網(wǎng)絡(luò)的數(shù)量。

融合層用標(biāo)準(zhǔn)的反向傳播和隨機(jī)梯度下降法進(jìn)行訓(xùn)練。融合層的結(jié)果可以很容易地接入到許多流行的CNN軟件平臺(tái)，如Caffe。

本發(fā)明一實(shí)施例的說明深度學(xué)習(xí)與傳統(tǒng)的CAD模型實(shí)施特征層面融合，可以采用的融合方法包括在模式識(shí)別/機(jī)器學(xué)習(xí)中的常見技術(shù)，如串聯(lián)、主成分分析(PCA)、線性判別分析(LDA，linear discriminant analysis)等技術(shù)。圖3E中顯示的是從CNN模型深度學(xué)習(xí)生成的特征(CNN特征31)與傳統(tǒng)的乳腺CAD模型經(jīng)過人工干預(yù)產(chǎn)生的特征(人工選擇的特征32)進(jìn)行融合。特征融合33可以是簡(jiǎn)單的串聯(lián)，或按權(quán)重系數(shù)進(jìn)行串聯(lián)，然后進(jìn)行PCA和LDA，PCA將減少連接特征向量的維數(shù)，LDA會(huì)增強(qiáng)特征判別能力并進(jìn)一步降低維度。融合后的特征將被輸入到傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(ANN34)。這樣生成的ANN模型將受益于CNN和人工指導(dǎo)的經(jīng)驗(yàn)，從而取得更優(yōu)的乳腺檢測(cè)效果。

本發(fā)明一實(shí)施例的說明在多種深度學(xué)習(xí)模型、傳統(tǒng)的CAD模型以及諸如專家決策系統(tǒng)等其他模型中實(shí)施分值層面融合的方法，參見圖3F。從不同的檢測(cè)算法得出的分值，如：基于若干個(gè)CNN(CNN1分值331、CNN2分值332，等等)和若干個(gè)ANN(ANN1分值334、ANN2分值335，等等)的分值，首先轉(zhuǎn)換為如圖3G所示的標(biāo)準(zhǔn)檢測(cè)空間(目標(biāo)曲線323)，然后使用各種融合函數(shù)，如線性或非線性的、有或沒有權(quán)重的、有或沒有分值補(bǔ)償?shù)?，進(jìn)行分值融合337，生成最終檢測(cè)分值，據(jù)此進(jìn)行分類得到檢測(cè)結(jié)果338(病變或非病變組織)。

本發(fā)明一實(shí)施例的在檢測(cè)分值層面融合時(shí)實(shí)現(xiàn)分值規(guī)范化，參見圖3G，它提供了從各種不同的檢測(cè)算法(無論是基于CNN、ANN或其他機(jī)器學(xué)習(xí)的模型)獲得的檢測(cè)分值的融合。它提供了一個(gè)高級(jí)別的校正每個(gè)檢測(cè)算法檢測(cè)結(jié)果的方法，假設(shè)每個(gè)算法得出的檢測(cè)分值是互補(bǔ)的，可以得出最終的最優(yōu)檢測(cè)結(jié)果。由于從各個(gè)算法得出的檢測(cè)分值有不同的意義，它們需要先轉(zhuǎn)化到一個(gè)規(guī)范化的空間，以便相互可以比較。通常采用誤判率(FAR)曲線321來進(jìn)行歸一化轉(zhuǎn)換，在模式識(shí)別領(lǐng)域在-log10空間的FAR曲線322比原始的FAR曲線更有意義。

假設(shè)FAR曲線在–log10空間表示為：其中是在-log10空間的FAR曲線322上的分值(score)，而是-log10空間的FAR曲線322上的-log10(FAR)，n是曲線上所有的點(diǎn)的總數(shù)。設(shè)是的一階導(dǎo)數(shù)，計(jì)算為：樣條系數(shù)和可以從和計(jì)算出來?；跇訔l插值的分值歸一化可以用霍納氏法則(Horner’s rule)得出：

mappedScore_i＝y(tǒng)_i+dx×(y1_i+dx×(y2_i+dx×y₃))

其中x₁≤u≤x_i+1，dx＝rawScore_i-x_i.rawScore_i是初始分值。

圖3F中，對(duì)角線就是檢測(cè)算法在-log10空間經(jīng)過歸一化處理轉(zhuǎn)換得到的目標(biāo)曲線323

使用分值融合的方法有助于構(gòu)建可伸縮的智能診斷系統(tǒng)。它有助于最大化當(dāng)前的檢測(cè)算法庫并獲得最佳的檢測(cè)性能。此外，如果未來有新技術(shù)出現(xiàn)得到更好的算法，那么也可以無縫集成到本系統(tǒng)中，這將有助于提高乳腺智能診斷系統(tǒng)的性能。本方法使得乳腺智能診斷系統(tǒng)的設(shè)計(jì)和擴(kuò)展達(dá)到一個(gè)更高水平，即重點(diǎn)是建立最優(yōu)算法庫，而不是放在具體改進(jìn)某個(gè)檢測(cè)算法上面。

本發(fā)明一實(shí)施例的乳腺醫(yī)學(xué)圖像智能診斷系統(tǒng)的結(jié)構(gòu)，參見圖4。本發(fā)明實(shí)現(xiàn)對(duì)乳腺醫(yī)學(xué)圖像進(jìn)行智能診斷的系統(tǒng)包括以下五個(gè)部分：圖像輸入模塊44、智能診斷模塊40、乳腺檢測(cè)模型庫41、病歷檔案庫和病理數(shù)據(jù)庫38以及圖像顯示模塊46。數(shù)字圖像或數(shù)字化圖像42經(jīng)過圖像輸入模塊44傳達(dá)到智能診斷模塊40，該模塊包含乳腺病變檢測(cè)處理器，提供控制邏輯、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)功能，可對(duì)乳腺圖像進(jìn)行空間轉(zhuǎn)換、對(duì)比度歸一化和外觀歸一化處理，通過調(diào)用乳腺檢測(cè)模型實(shí)現(xiàn)特征提取、選擇和分類，并把自動(dòng)檢測(cè)的結(jié)果輸出到圖像顯示模塊46。乳腺檢測(cè)模型庫41包含深度學(xué)習(xí)模型、傳統(tǒng)的CAD模型、專家決策系統(tǒng)和其他各種模式識(shí)別和機(jī)器學(xué)習(xí)技術(shù)構(gòu)建的乳腺檢測(cè)模型，數(shù)字圖像包括從膠片掃描、CR或DR設(shè)備獲取的圖像。智能診斷模塊40包括一個(gè)或多個(gè)配置文件，用于存儲(chǔ)參數(shù)值在不同條件下使用，并據(jù)此提供進(jìn)一步的圖像處理和分析功能執(zhí)行圖2所示的基于深度學(xué)習(xí)的乳腺診斷系統(tǒng)的工作流程。病歷檔案庫和病理數(shù)據(jù)庫38可以存儲(chǔ)和查詢患者的病歷檔案(如年齡、家族史和病史)以及各種病變的病理特征信息，以便對(duì)患者罹患的風(fēng)險(xiǎn)和未來發(fā)展進(jìn)行評(píng)估和預(yù)警。用戶在控制臺(tái)39通過圖像顯示模塊46的操作界面可輸入指令、進(jìn)行配置和調(diào)整參數(shù)。

本發(fā)明一實(shí)施例的用于輸入?yún)?shù)實(shí)現(xiàn)人機(jī)交互的界面，參見圖5。常用的圖像處理參數(shù)包括圖像數(shù)據(jù)的調(diào)節(jié)，初始數(shù)據(jù)的定義和特征圖的生成參數(shù)。選項(xiàng)卡30用來選擇一組合適的參數(shù)進(jìn)行輸入或顯示。圖5的例子列出的典型參數(shù)包括高通濾波器的初始值，如調(diào)整模糊濾波器的σ、寬度和高度值；用于生成定位區(qū)域的參數(shù)，包括伽柏濾波器(Gabor filter)的σ、τ、寬度和高度值以及庫的大??；以及用于圖像平滑處理的參數(shù)，如定位區(qū)域的平滑處理和特征圖的平滑處理。除了控制參數(shù)外，用戶還可以使用選項(xiàng)卡30查看中間結(jié)果(特征圖)和最終結(jié)果。

至此，本發(fā)明的上述實(shí)施例實(shí)現(xiàn)的乳腺病變檢測(cè)和診斷209，并通過構(gòu)造上述系統(tǒng)，完成檢測(cè)結(jié)果的標(biāo)記/可視化/診斷報(bào)告210。診斷結(jié)果包括顯示識(shí)別的一種或多種乳腺病變的相對(duì)風(fēng)險(xiǎn)指標(biāo)。