本發(fā)明屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域。具體來(lái)說，涉及一種以分割出腦部核磁共振成像(mri)中的腫瘤為目的的基于全卷積網(wǎng)絡(luò)的腦部mri腫瘤分割方法。

背景技術(shù)：

腦腫瘤是患病率和死亡率最高的腫瘤之一。mri是一種在臨床上評(píng)估腦腫瘤特別有效的手段。對(duì)腦腫瘤和腫瘤內(nèi)部結(jié)構(gòu)的精確分割不僅對(duì)輔助醫(yī)生的治療計(jì)劃十分重要，而且也對(duì)接下來(lái)的隨訪評(píng)估十分重要。然而，人工分割方法是十分耗時(shí)的，而且容易受到主觀因素的影響導(dǎo)致誤分割。因此，尋找一種精確的腦部腫瘤分割方法是必需的。然而，由于腫瘤區(qū)域的形狀、結(jié)構(gòu)和位置都是高度可變的，此外，由于成像器件和環(huán)境等原因，導(dǎo)致mri圖像本身質(zhì)量也存在一些問題，如同一患者在不同儀器設(shè)備上成像的灰度分布不一致等。所以找到一種高精度的腫瘤分割方法十分困難。

當(dāng)前，有些學(xué)者提出了一系列概率模型用于腦腫瘤分割領(lǐng)域。這些模型通常包含一個(gè)與觀測(cè)數(shù)據(jù)和先驗(yàn)?zāi)Ｐ鸵恢碌乃迫缓瘮?shù)。受到形狀和連續(xù)性的約束，有學(xué)者將腫瘤區(qū)域看成是一種異常區(qū)域，從而將它從正常區(qū)域中分割出來(lái)。用馬爾科夫隨機(jī)場(chǎng)結(jié)合腫瘤區(qū)域附近的區(qū)域也可以實(shí)現(xiàn)光滑的圖像分割。如zhang等人提出了一種基于馬爾科夫隨機(jī)場(chǎng)的分割方法，先利用基于直方圖的似然函數(shù)估計(jì)法初步分割，然后利用基于馬爾科夫隨機(jī)場(chǎng)的分割方法再次分割。根據(jù)menze等人的調(diào)查，生成模型對(duì)潛在數(shù)據(jù)也有較好的生成效果，但是它不能很好地將先驗(yàn)知識(shí)應(yīng)用到適當(dāng)?shù)母怕誓Ｐ椭小?/p>

另一類分割方法直接從已有數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)分布，這類方法不依賴與某種特定的模型。這類方法認(rèn)為圖像中的像素點(diǎn)都是獨(dú)立同分布的，而且像素間的信息也會(huì)被作為特征進(jìn)行訓(xùn)練。所以，一些孤立的像素點(diǎn)和一些很小的類簇會(huì)被錯(cuò)誤分類。為了解決這個(gè)問題，一些學(xué)者在條件隨機(jī)場(chǎng)中加入了一個(gè)概率性預(yù)測(cè)。近年來(lái)，隨機(jī)森林被成功地應(yīng)用到腦腫瘤分割當(dāng)中。由于隨機(jī)森林比較適合處理多分類問題和大特征向量，所以它被廣泛應(yīng)用于分割問題。tustison等人提出了一種基于隨機(jī)森林的二階分割框架，用第一階段的分割器的輸出結(jié)果來(lái)提高第二階段的分割結(jié)果。geremia等人提出了一種空間自適應(yīng)的隨機(jī)森林模型用來(lái)分割腦部腫瘤。深度學(xué)習(xí)自2006年由hinton等人提出以來(lái)，在很多研究領(lǐng)域得到了成功的應(yīng)用。深度學(xué)習(xí)技術(shù)源于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)技術(shù)，神經(jīng)網(wǎng)絡(luò)技術(shù)通過模擬人腦的運(yùn)行模式來(lái)建立學(xué)習(xí)結(jié)構(gòu)和模型。雖然神經(jīng)網(wǎng)絡(luò)有很多缺點(diǎn)，但是hinton等一批人堅(jiān)持了他們的研究，提出了許多新的方法解決深度網(wǎng)絡(luò)難以訓(xùn)練，容易過擬合的問題。如采用新的線性修正單元(relu)激活函數(shù)、數(shù)據(jù)池化處理、丟棄(dropout)訓(xùn)練法等，這些新的方法有效的解決了深度神經(jīng)網(wǎng)絡(luò)容易過擬合的問題，在語(yǔ)音識(shí)別、圖像識(shí)別等領(lǐng)域取得了成功的應(yīng)用。pereira等人在2015年提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)腦部mri圖像進(jìn)行腫瘤分割，將圖像分割問題轉(zhuǎn)換為對(duì)像素點(diǎn)的分類，并且取得了比一般方法更好的分割效果。jonathanlong等人在2015年提出了全卷積網(wǎng)絡(luò)用于圖像語(yǔ)義分割，這是一種端對(duì)端的分割模型，是深度學(xué)習(xí)用于圖像分割領(lǐng)域的一個(gè)重大突破。本發(fā)明將全卷積網(wǎng)絡(luò)用于腦部mri腫瘤分割。

技術(shù)實(shí)現(xiàn)要素：

為了對(duì)腦部腫瘤區(qū)域和腫瘤內(nèi)部結(jié)構(gòu)進(jìn)行精確分割，本發(fā)明設(shè)計(jì)了一種腦部腫瘤分割方法，將腦部腫瘤分割這個(gè)任務(wù)分成兩步，訓(xùn)練兩個(gè)全卷積網(wǎng)絡(luò)，第一個(gè)網(wǎng)絡(luò)用于對(duì)腦部腫瘤圖像進(jìn)行初步分割，檢測(cè)腦部腫瘤所在區(qū)域，第二個(gè)網(wǎng)絡(luò)用來(lái)對(duì)腦部腫瘤區(qū)域的內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割。實(shí)驗(yàn)表明，這種分割方法有較好的分割效果。該方法包括：

訓(xùn)練粗分割全卷積網(wǎng)絡(luò)模型，用于檢測(cè)原始mri圖像中的腫瘤區(qū)域；

訓(xùn)練精細(xì)分割全卷積網(wǎng)絡(luò)模型，用于對(duì)腫瘤區(qū)域的內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割；

利用訓(xùn)練好的兩個(gè)全卷積網(wǎng)絡(luò)模型對(duì)輸入腦部mri圖像進(jìn)行分割。

其中，根據(jù)所述用處理過的訓(xùn)練樣本訓(xùn)練粗分割全卷積網(wǎng)絡(luò)模型，包括：

對(duì)腦部mri圖像數(shù)據(jù)集進(jìn)行“去黑色背景”預(yù)處理；

設(shè)計(jì)粗分割全卷積網(wǎng)絡(luò)結(jié)構(gòu)：為了充分學(xué)習(xí)腦部mri圖像的腫瘤特征，本網(wǎng)絡(luò)采用五層池化結(jié)構(gòu)，池化層1、2的前面各有兩層卷積層，池化層3、4、5的前面各有三層卷積層，池化層5后面有三層卷積層；原始圖像經(jīng)過五層池化處理之后，尺寸變?yōu)樵瓉?lái)的1/32，此時(shí)得到的是包含高維特征的熱圖，經(jīng)過32倍上采樣(反卷積)和裁剪處理得到與原始圖像尺寸大小相同圖像，再與標(biāo)簽圖像進(jìn)行比較計(jì)算出損失值，最后通過反向傳播調(diào)整各層之間的權(quán)值與偏置參數(shù)，這個(gè)網(wǎng)絡(luò)稱作fcn-32s；直接進(jìn)行32倍上采樣得到的結(jié)果往往非常粗糙，為了得到更加精細(xì)的分割效果，結(jié)合池化層3和池化層4的特征圖譜，將五層池化處理后的熱圖進(jìn)行2倍上采樣，與四層池化處理后的熱圖進(jìn)行求和，再經(jīng)過16倍上采樣就得到與原始圖像尺寸大小相同的圖像，最后經(jīng)過反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)，這個(gè)網(wǎng)絡(luò)稱作fcn-16s；同理，將上一步求和后的熱圖進(jìn)行2倍上采樣與三層池化處理后的熱圖進(jìn)行求和，再經(jīng)過8倍上采樣就得到與原始圖像尺寸大小相同的圖像，最后經(jīng)過反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)，這個(gè)網(wǎng)絡(luò)稱作fcn-8s；

用預(yù)處理后的腦部mri圖像作為訓(xùn)練集訓(xùn)練粗分割全卷積網(wǎng)絡(luò)模型，先訓(xùn)練fcn-32s網(wǎng)絡(luò)，再用訓(xùn)練好的參數(shù)去初始化并訓(xùn)練fcn-16s網(wǎng)絡(luò)，最后用訓(xùn)練好的參數(shù)去初始化并訓(xùn)練fcn-8s網(wǎng)絡(luò)。

其中，根據(jù)所述用檢測(cè)出的腫瘤區(qū)域作為訓(xùn)練樣本訓(xùn)練精細(xì)分割全卷積網(wǎng)絡(luò)模型，包括：

根據(jù)專家分割模板提取原始數(shù)據(jù)集中的腫瘤區(qū)域；

設(shè)計(jì)精細(xì)分割全卷積網(wǎng)絡(luò)結(jié)構(gòu)，將粗分割全卷積網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，由于腫瘤區(qū)域尺寸較小，這里采用兩層池化結(jié)構(gòu)就能取得較好的分割效果，在未分類的特征圖譜之前的每層卷積層之后都加了一個(gè)規(guī)范化層和歸一化層，用來(lái)消除不同腫瘤圖像之間的灰度差異性；

用提取出的腫瘤區(qū)域作為訓(xùn)練集訓(xùn)練精細(xì)分割全卷積網(wǎng)絡(luò)模型。

其中，根據(jù)所述用訓(xùn)練好的全卷積網(wǎng)絡(luò)模型對(duì)輸入腦部mri圖像進(jìn)行分割，包括：

對(duì)輸入腦部mri圖像進(jìn)行“去黑色背景”預(yù)處理；

用訓(xùn)練好的粗分割全卷積網(wǎng)絡(luò)模型對(duì)輸入腦部mri圖像進(jìn)行粗分割，檢測(cè)出腫瘤區(qū)域；

用訓(xùn)練好的精細(xì)分割全卷積網(wǎng)絡(luò)模型對(duì)腫瘤區(qū)域內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割。

附圖說明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1基于全卷積網(wǎng)絡(luò)的腦部mri腫瘤分割方法流程圖；

圖2圖像預(yù)處理示意圖；

圖3fcn-32s網(wǎng)絡(luò)結(jié)構(gòu)；

圖4fcn-16s網(wǎng)絡(luò)結(jié)構(gòu)；

圖5fcn-8s網(wǎng)絡(luò)結(jié)構(gòu)；

圖6粗分割結(jié)果；

圖7腫瘤區(qū)域提取過程示意圖；

圖8精細(xì)分割網(wǎng)絡(luò)結(jié)構(gòu)；

圖9精細(xì)分割結(jié)果；

圖10將分割出的腫瘤區(qū)域還原到原始圖像中的結(jié)果；

圖11其他實(shí)施例的分割結(jié)果。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。

本申請(qǐng)實(shí)施例的基于全卷積網(wǎng)絡(luò)的腦部mri腫瘤分割方法，用于腦部mri腫瘤分割。

如圖1所示，本申請(qǐng)實(shí)施例的基于全卷積網(wǎng)絡(luò)的腦部mri腫瘤分割方法，主要包括以下步驟：

步驟1訓(xùn)練粗分割全卷積網(wǎng)絡(luò)模型，用于檢測(cè)原始圖像中的腫瘤區(qū)域；

步驟2訓(xùn)練精細(xì)分割全卷積網(wǎng)絡(luò)模型，用于對(duì)腫瘤區(qū)域的內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割；

步驟3利用訓(xùn)練好的兩個(gè)全卷積網(wǎng)絡(luò)模型對(duì)輸入腦部mri圖像進(jìn)行分割。

本申請(qǐng)實(shí)施例中，根據(jù)所述對(duì)腦部mri圖像數(shù)據(jù)集進(jìn)行預(yù)處理。本實(shí)施例用到的數(shù)據(jù)集來(lái)自brats2015數(shù)據(jù)庫(kù)(https://www.smir.ch/brats/start2015)，數(shù)據(jù)庫(kù)中的腦部mri圖像分為四個(gè)模態(tài)，分別是t1、t1c、t2和flair，本實(shí)施例用t2模態(tài)的圖像進(jìn)行訓(xùn)練和測(cè)試。原始數(shù)據(jù)集中的圖像四周有較大的黑色背景區(qū)域，而這些區(qū)域中并不包含有用信息，我們將其去掉可以減少圖像尺寸，從而提高全卷積網(wǎng)絡(luò)的運(yùn)算速度。

如圖2所示，我們可以確定腦組織的上下左右邊界，從而可以將腦組織部分提取出來(lái)，去除原始圖像周圍的黑色邊框。

本申請(qǐng)實(shí)施例中，根據(jù)所述訓(xùn)練粗分割全卷積網(wǎng)絡(luò)模型，用于對(duì)腦部腫瘤區(qū)域的初步分割，確定腫瘤區(qū)域在原始mri圖像中的大致位置和初始輪廓。粗分割全卷積網(wǎng)絡(luò)用預(yù)處理后的mri圖像作為訓(xùn)練樣本。粗分割全卷積網(wǎng)絡(luò)分為三個(gè)訓(xùn)練階段，即先訓(xùn)練fcn-32s，再訓(xùn)練fcn-16s，最后訓(xùn)練fcn-8s。網(wǎng)絡(luò)結(jié)構(gòu)如圖3，圖4和圖5所示。

具體訓(xùn)練步驟是：先用vgg16的參數(shù)微調(diào)訓(xùn)練fcn-32s網(wǎng)絡(luò)；再用訓(xùn)練好的fcn-32s參數(shù)初始化fcn-16s網(wǎng)絡(luò)，進(jìn)行微調(diào)訓(xùn)練；最后用訓(xùn)練好的fcn-16s參數(shù)初始化fcn-8s網(wǎng)絡(luò)，進(jìn)行微調(diào)訓(xùn)練。此時(shí)fcn-8s訓(xùn)練出來(lái)的網(wǎng)絡(luò)模型就是最終的粗分割全卷積網(wǎng)絡(luò)模型，用來(lái)對(duì)輸入腦部mri圖像進(jìn)行粗分割。粗分割的結(jié)果如圖6所示。

本申請(qǐng)實(shí)施例中，根據(jù)所述訓(xùn)練精細(xì)分割全卷積網(wǎng)絡(luò)模型，用于對(duì)上一步檢測(cè)出的腫瘤區(qū)域內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割。此網(wǎng)絡(luò)是用原始腦部mri圖像中的腫瘤區(qū)域作為訓(xùn)練樣本。提取腫瘤區(qū)域的方法和圖像預(yù)處理的方法類似，先找出手工分割模板中腫瘤區(qū)域的上下左右邊界，將腫瘤區(qū)域提取出來(lái)，然后將原始mri圖像中對(duì)應(yīng)區(qū)域提取出來(lái)。提取過程如圖7所示。由于腫瘤區(qū)域尺寸較小，所以在粗分割網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了修改，將池化層由五層改為兩層，另外在卷積層之后加上規(guī)范化層和歸一化層，網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本申請(qǐng)實(shí)施例中，根據(jù)所述利用訓(xùn)練好的全卷積網(wǎng)絡(luò)模型對(duì)輸入圖像進(jìn)行分割。先對(duì)輸入腦部mri圖像進(jìn)行預(yù)處理，去除黑色背景區(qū)域；然后利用粗分割全卷積網(wǎng)絡(luò)模型對(duì)腦部腫瘤區(qū)域進(jìn)行初步分割，檢測(cè)原始圖像中腫瘤區(qū)域，將腫瘤區(qū)域提取出來(lái)；再利用精細(xì)分割全卷積網(wǎng)絡(luò)模型對(duì)提取出來(lái)的腫瘤區(qū)域內(nèi)部結(jié)構(gòu)進(jìn)行精細(xì)分割，最后將分割出的腫瘤區(qū)域還原到原始mri圖像中。精細(xì)分割的結(jié)果如圖9所示，將分割出的腫瘤區(qū)域還原到原始mri圖像中的結(jié)果如圖10所示。本發(fā)明對(duì)其他實(shí)施例的分割效果如圖11所示。

為了檢驗(yàn)本發(fā)明對(duì)腦部mri腫瘤區(qū)域的分割精度，下面分別對(duì)腫瘤區(qū)域的三個(gè)區(qū)域用三個(gè)評(píng)價(jià)指標(biāo)進(jìn)行分析，并與其他分割方法進(jìn)行比較。本發(fā)明采的數(shù)據(jù)集中的腦部mri腫瘤圖像中的腫瘤分為四種類型，分別是水腫、壞死、未增強(qiáng)腫瘤和增強(qiáng)腫瘤。在說明書附圖中我們分別對(duì)這四種類型分別用綠、紅、藍(lán)和黃色進(jìn)行區(qū)分。在計(jì)算評(píng)價(jià)指標(biāo)時(shí)將這四種類型分為三個(gè)區(qū)域：全部區(qū)域(包括所有四種類型)、核心區(qū)域(包括壞死，未增強(qiáng)和增強(qiáng)腫瘤)、增強(qiáng)腫瘤區(qū)域。評(píng)價(jià)指標(biāo)采用骰子相似系數(shù)(dsc，dicesimilaritycoefficient)，積極預(yù)測(cè)值(ppv，positivepredictivevalue)和敏感度(sensitivity)。其中dsc定義為：

ppv定義為：

sensitivity定義為：

其中，tp代表本發(fā)明分割出的區(qū)域與專家手工分割模板的重疊區(qū)域，fp代表本發(fā)明未分割出的專家手工分割模板中的區(qū)域，fn代表本發(fā)明分割出的多余部分。與其他分割方法的比較如表1所示。

表1本發(fā)明與其他分割方法的評(píng)價(jià)指標(biāo)對(duì)比

通過對(duì)比，證明本發(fā)明有較好的分割效果，并且本發(fā)明對(duì)增強(qiáng)區(qū)域的分割效果最好，另外，本發(fā)明對(duì)所有區(qū)域的dsc參數(shù)指標(biāo)都有最好效果。