本發(fā)明屬于肺部CT影像檢測篩選技術(shù)領(lǐng)域，更為具體地講，涉及一種基于3D卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，簡稱CNN)的肺部結(jié)節(jié)自動檢測方法。

背景技術(shù)：

目前，由于長期吸煙、空氣污染等原因造成了肺癌病例在全世界范圍內(nèi)呈現(xiàn)迅猛增長態(tài)勢的現(xiàn)象。肺癌在世界上屬于一種發(fā)病率和死亡率較高的癌癥類型。有數(shù)據(jù)顯示，在全球范圍內(nèi)肺癌平均5年生存率僅為16％，而在早期階段(I期)肺癌5年生存率可達(dá)65％，而不幸的是僅有10％的患者能夠在肺癌早期階段發(fā)現(xiàn)患病并采取相應(yīng)治療。有證據(jù)表明，對肺癌高危人群每年按時(shí)進(jìn)行肺部計(jì)算機(jī)斷層掃描(CT)來篩查肺部健康狀況，可以降低20％的肺癌死亡率。

肺部的結(jié)節(jié)往往與肺癌有著一定的聯(lián)系。當(dāng)在肺部CT影像中發(fā)現(xiàn)存在結(jié)節(jié)時(shí)，需要引起被檢測者的注意，并給予充分的重視并積極進(jìn)行進(jìn)一步檢測、治療。同時(shí)，及早發(fā)現(xiàn)肺部的結(jié)節(jié)可以極大提高治愈的可能性，因此，通過CT影像檢測肺部結(jié)節(jié)的存在情況對于肺癌的早期篩查有著重大的意義。

現(xiàn)行的臨床方法對于肺部結(jié)節(jié)的檢測多是利用CT機(jī)來獲得整個(gè)肺部的平面灰度斷層影像即CT影像，再通過專業(yè)的醫(yī)療人員人工完成肺部結(jié)節(jié)的檢測工作，篩選出肺部結(jié)節(jié)影像。這樣的傳統(tǒng)方法多存在工作量大、耗時(shí)長、易出錯(cuò)遺漏等問題，篩選的結(jié)果也多依賴于醫(yī)療人員個(gè)人的專業(yè)技術(shù)水平。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法，以降低醫(yī)療人員的工作量，節(jié)約醫(yī)療人員的工作時(shí)間，使得肺部結(jié)節(jié)的檢測更加便捷高效，同時(shí)提高檢測準(zhǔn)確率。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法，其特征在于，包括以下步驟：

(1)、構(gòu)建并訓(xùn)練一個(gè)用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)

1.1)、構(gòu)建候選肺部結(jié)節(jié)檢測的3D CNN訓(xùn)練集

收集一定數(shù)量的尺寸大小為16x16x10的肺部局部CT影像作為訓(xùn)練集，其中包含正常的肺部組織，也包含了含有結(jié)節(jié)的異常肺部組織，包含正常肺部組織的CT影像記作‘0’，含有結(jié)節(jié)的異常肺部組織CT影像記作‘1’；

對訓(xùn)練集中的所有CT影像進(jìn)行歸一化處理：

其中x為CT影像中的像素點(diǎn)像素值，x_min為CT影像像素點(diǎn)中的最小像素值，x_max為CT影像像素點(diǎn)中的最大像素值，CT影像中所有像素點(diǎn)都經(jīng)過公式(1)的處理后，得到歸一化的CT影像；

1.2)、構(gòu)建用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)

第1層為卷積層(記作C1層)，使用64個(gè)大小為5x5x3的卷積核，以步長為1做卷積；C1層輸入數(shù)據(jù)為16x16x10大小的CT影像，則C1層輸出數(shù)據(jù)為64個(gè)12x12x8大小的特征圖；

第2層為池化層(記作M1層)，對C1層輸出數(shù)據(jù)以步長為2，非重疊地做2x2x2的最大池化操作；M1層輸入數(shù)據(jù)為64個(gè)12x12x8大小的特征圖，則M1層輸出數(shù)據(jù)為64個(gè)6x6x4大小的特征圖；

第3層為卷積層(記作C2層)，使用64個(gè)大小為3x3x3的卷積核，以步長為1對M1層輸出數(shù)據(jù)做卷積；C2層輸入數(shù)據(jù)為64個(gè)6x6x4大小的特征圖，則C2層輸出數(shù)據(jù)為64個(gè)4x4x2大小的特征圖；

第4層為卷積層(記作C3層)，使用64個(gè)大小為3x3x1的卷積核，以步長為1對C2層輸出數(shù)據(jù)做卷積，C3層輸入數(shù)據(jù)為64個(gè)4x4x2大小的特征圖，則C3層輸出數(shù)據(jù)為64個(gè)2x2x2大小的特征圖；

在C1、C2以及C3層中，采用的激活函數(shù)為修正線性單元ReLu：

其中，y表示激活函數(shù)的輸入，Relu(y)為激活函數(shù)的輸出；

第5層為全連接層(記作FC1層)，共有150個(gè)神經(jīng)元，每個(gè)神經(jīng)元與C3層輸出的64個(gè)2x2x2大小的特征圖進(jìn)行全連接；FC1層輸入數(shù)據(jù)為64個(gè)2x2x2大小的特征圖，則FC1層輸出數(shù)據(jù)為一個(gè)150維大小的向量；其中，采用的激活函數(shù)為tanh函數(shù)：

其中，z表示激活函數(shù)的輸入，tanh(z)為激活函數(shù)的輸出；

第6層為全連接層(記作FC2層)，共有2個(gè)神經(jīng)元(即0或者1)，每個(gè)神經(jīng)元與FC1層輸出的150維大小的向量進(jìn)行全連接；FC2層輸入數(shù)據(jù)為一個(gè)150維大小的向量，則FC2層輸出數(shù)據(jù)為一個(gè)2維大小的向量，分別表示屬于類別0的概率和屬于類別1的概率；其中，采用的激活函數(shù)為sigmoid函數(shù)：

其中，u表示激活函數(shù)的輸入，sigmoid(u)為激活函數(shù)的輸出；

1.3)、訓(xùn)練用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)

將步驟1.1)得到的歸一化后的3D CNN訓(xùn)練集中的CT影像作為步驟1.2)構(gòu)建的用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，對其進(jìn)行訓(xùn)練；

(2)、構(gòu)建并訓(xùn)練一個(gè)用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)

2.1)、構(gòu)建假陽性肺部結(jié)節(jié)篩除的3D CNN訓(xùn)練集

訓(xùn)練集主要由兩部分組成：一部分是尺寸大小為16x16x10的含有結(jié)節(jié)的異常肺部組織的CT影像，標(biāo)記為“1”；另一部分是尺寸大小為16x16x10的包含正常肺部組織的CT影像經(jīng)過步驟(1)構(gòu)建并訓(xùn)練得到的用于候選結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)的檢測，被判斷為含有結(jié)節(jié)的異常肺部組織的CT影像，并標(biāo)記為“0”；

同樣，按照步驟1.1)的方法，對訓(xùn)練集中的所有CT影像進(jìn)行歸一化處理；

2.2)、構(gòu)建用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)

第1層為卷積層(記作C1層)，使用32個(gè)大小為5x5x3的卷積核，以步長為1做卷積；C1層輸入數(shù)據(jù)為16x16x10大小的CT影像，則C1層輸出數(shù)據(jù)為32個(gè)12x12x8大小的特征圖；

第2層為池化層(記作M1層)，對C1層輸出數(shù)據(jù)以步長為2，非重疊地做2x2x2的最大池化操作；M1層輸入數(shù)據(jù)為32個(gè)12x12x8大小的特征圖，則M1層輸出數(shù)據(jù)為32個(gè)6x6x4大小的特征圖；

第3層為卷積層(記作C2層)，使用64個(gè)大小為3x3x3的卷積核，以步長為1對M1層輸出數(shù)據(jù)做卷積；C2層輸入數(shù)據(jù)為32個(gè)6x6x4大小的特征圖，則C2層輸出數(shù)據(jù)為64個(gè)4x4x2大小的特征圖；

在C1、C2層中，采用的激活函數(shù)為修正線性單元ReLu：

其中，y表示激活函數(shù)的輸入，Relu(y)為激活函數(shù)的輸出；

第4層為全連接層(記作FC1層)，共有500個(gè)神經(jīng)元，每個(gè)神經(jīng)元與C2層輸出的64個(gè)2x2x2大小的特征圖進(jìn)行全連接，F(xiàn)C1層輸入數(shù)據(jù)為64個(gè)2x2x2大小的特征圖，則FC1層輸出數(shù)據(jù)為一個(gè)500維大小的向量；

第5層為全連接層(記作FC2層)，共有100個(gè)神經(jīng)元，每個(gè)神經(jīng)元與FC1層輸出的500維的向量進(jìn)行全連接；FC2層輸入數(shù)據(jù)為一個(gè)500維大小的向量，則FC2層輸出數(shù)據(jù)為一個(gè)100維大小的向量；

在FC1、FC2層中，采用的激活函數(shù)為tanh函數(shù)：

其中，z表示激活函數(shù)的輸入，tanh(z)為激活函數(shù)的輸出；

第6層為全連接層(記作FC3層)，共有2個(gè)神經(jīng)元(即0或者1)，每個(gè)神經(jīng)元與FC2層輸出的100維大小的向量進(jìn)行全連接；FC3層輸入數(shù)據(jù)為一個(gè)100維大小的向量，則FC3層輸出數(shù)據(jù)為一個(gè)2維大小的向量，分別表示屬于類別0的概率和屬于類別1的概率；其中，采用的激活函數(shù)為sigmoid函數(shù)：

2.3)、訓(xùn)練用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)

將步驟2.1)得到的歸一化后的3D CNN訓(xùn)練集中的CT影像作為步驟2.2)構(gòu)建的用于假陽性肺部結(jié)節(jié)篩選的3D卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，對其進(jìn)行訓(xùn)練；

(3)、肺部結(jié)節(jié)自動檢測

將整幅肺部CT影像以步長為1，分割成尺寸為16x16x10的肺部局部CT影像，送入步驟(1)訓(xùn)練好的用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)中，檢測完成后記錄下輸出的每個(gè)肺部局部CT影像屬于類別1概率，得到一個(gè)三維概率矩陣；設(shè)定閾值Thr1，閾值的范圍為0.6到0.7，找出三維概率矩陣中所有大于閾值Thr1的位置點(diǎn)，則該位置點(diǎn)對應(yīng)的肺部局部CT影像被判定為疑似肺部結(jié)節(jié)，作為候選肺部結(jié)節(jié)CT影像記錄下來；

將候選肺部結(jié)節(jié)CT影像送入步驟(2)訓(xùn)練好的用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)中，篩選完成后記錄下輸出的每個(gè)候選肺部結(jié)節(jié)CT影像屬于類別1概率；設(shè)定閾值Thr2，閾值的范圍為0.6到0.7，如果候選肺部結(jié)節(jié)CT影像屬于類別1概率大于閾值Thr2，則認(rèn)為對應(yīng)位置點(diǎn)存在肺部結(jié)節(jié)，否則認(rèn)為為正常的肺部組織。

本發(fā)明的目的是這樣實(shí)現(xiàn)的。

本發(fā)明提出了一種基于3D卷積神經(jīng)網(wǎng)絡(luò)(簡稱：3D CNN)的肺部結(jié)節(jié)自動檢測方法，本發(fā)明創(chuàng)新性地將檢測分為兩大階段：(1)候選肺部結(jié)節(jié)檢測階段和(2)假陽性肺部結(jié)節(jié)篩除階段，同時(shí)，每個(gè)階段都會構(gòu)建并訓(xùn)練出一個(gè)獨(dú)特的3D CNN，以適用肺部結(jié)節(jié)的檢測和篩除；通過第一階段的3D CNN可以初步檢測出疑似肺部結(jié)節(jié)的候選肺部結(jié)節(jié)位置，再利用第二階段的3D CNN濾除掉候選結(jié)節(jié)中的假陽性肺部(即被判定為異常結(jié)節(jié)，但實(shí)際上是正常的肺部組織)結(jié)節(jié)，最終找出整幅肺部CT影像中所有存在的結(jié)節(jié)位置。

利用本發(fā)明可以自動地檢測出一副肺部CT影像中結(jié)節(jié)的存在情況，與傳統(tǒng)的依賴人工的結(jié)節(jié)檢測方法相比較，本發(fā)明具有檢測準(zhǔn)確率高、健壯性強(qiáng)、高效、耗時(shí)短等特點(diǎn)。同時(shí)，可以降低醫(yī)療人員的工作量，節(jié)約醫(yī)療人員的工作時(shí)間，使得肺部結(jié)節(jié)的檢測更加便捷、有效。

附圖說明

圖1是本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法檢測流程示意圖；

圖2是本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法中第一階段中構(gòu)建的3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖3是經(jīng)過第一階段即候選肺部結(jié)節(jié)檢測后得到其中的四張肺部CT影像中候選肺部結(jié)節(jié)位置圖；

圖4是本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法中第二階段中構(gòu)建的3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖5是經(jīng)過第二階段即假陽性肺部結(jié)節(jié)篩出后得到其中的四張肺部CT影像中肺部結(jié)節(jié)位置圖；

圖6是第一階段檢測結(jié)果、第二階段篩選結(jié)果對比圖。

具體實(shí)施方式

下面結(jié)合附圖對本發(fā)明的具體實(shí)施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。

本發(fā)明的主要目的在于利用當(dāng)前先進(jìn)的深度學(xué)習(xí)技術(shù)，提供一種準(zhǔn)確的在肺部CT影像中自動檢測并找到結(jié)節(jié)的位置，使得計(jì)算機(jī)輔助診斷可以在肺部結(jié)節(jié)檢測中發(fā)揮重要的作用。

圖1是本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法檢測流程示意圖。

本發(fā)明通過級聯(lián)的兩個(gè)階段來實(shí)現(xiàn)高效、準(zhǔn)確地檢測肺部結(jié)節(jié)。在本實(shí)施例中，如圖1所示，本發(fā)明基于3D卷積神經(jīng)網(wǎng)絡(luò)的肺部結(jié)節(jié)自動檢測方法包括兩個(gè)階段分別為：(1)候選肺部結(jié)節(jié)檢測階段和(2)假陽性肺部結(jié)節(jié)篩除階段。下面對兩個(gè)階段進(jìn)行詳細(xì)說明。

一、候選肺部結(jié)節(jié)檢測階段

為了實(shí)現(xiàn)候選肺部結(jié)節(jié)檢測，需要構(gòu)建并訓(xùn)練一個(gè)用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)。為此，首先需要構(gòu)建一個(gè)訓(xùn)練集。收集一定數(shù)量的尺寸大小為16x16x10的肺部局部的CT影像作為訓(xùn)練集，其中包含正常的肺部組織，也包含了含有結(jié)節(jié)的異常肺部組織，包含正常肺部組織的CT影像記作‘0’，含有結(jié)節(jié)的異常肺部組織CT影像記作‘1’。

對訓(xùn)練集中的所有CT影像進(jìn)行歸一化處理，得到歸一化的CT影像。

選取的肺部局部CT影像的尺寸大小為16x16x10，一方面是適用于肺部結(jié)節(jié)的自動檢測，另一方面也適用于后續(xù)的3D CNN。

其次，需要構(gòu)建一個(gè)用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)，該3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如表1所示，其結(jié)構(gòu)圖如圖2所示。

表1

最后，需要對構(gòu)建的用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。將歸一化后的3D CNN訓(xùn)練集中的CT影像作為構(gòu)建的用于假陽性肺部結(jié)節(jié)篩選的3D卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，對其進(jìn)行訓(xùn)練。訓(xùn)練完成后，得到該3D卷積神經(jīng)網(wǎng)絡(luò)的各項(xiàng)參數(shù)。

在本實(shí)施例中，將尺寸大小為512x512x148整幅肺部CT影像即148張512x512的CT影像以步長為1，分割成尺寸為16x16x10的肺部局部CT影像，送入訓(xùn)練好的用于候選肺部結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)中，檢測完成后記錄下輸出的每個(gè)肺部局部CT影像屬于類別1概率，得到一個(gè)尺寸大小為497x497x139的三維概率矩陣。

設(shè)定閾值Thr1為0.65，找出三維概率矩陣中所有大于閾值Thr1的位置點(diǎn)，則該位置點(diǎn)對應(yīng)(映射)的肺部局部CT影像被判定為疑似肺部結(jié)節(jié)，并作為候選肺部結(jié)節(jié)CT影像記錄下來。在本實(shí)施例中，如圖3所示，四張即(a)、(b)、(c)、(d)肺部CT影像中白色小方塊處為候選肺部結(jié)節(jié)位置。

二、假陽性肺部結(jié)節(jié)篩除階段

為了實(shí)現(xiàn)假陽性肺部結(jié)節(jié)篩除，需要構(gòu)建并訓(xùn)練一個(gè)用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)。為此，首先需要再構(gòu)建一個(gè)訓(xùn)練集。訓(xùn)練集主要由兩部分組成：一部分是尺寸大小為16x16x10的含有結(jié)節(jié)的異常肺部組織的CT影像，標(biāo)記為“1”；另一部分是尺寸大小為16x16x10的包含正常肺部組織的CT影像經(jīng)過構(gòu)建并訓(xùn)練得到的用于候選結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡(luò)的檢測，被判斷為含有結(jié)節(jié)的異常肺部組織的CT影像，并標(biāo)記為“0”。同樣，需要對訓(xùn)練集中的所有CT影像進(jìn)行歸一化處理。

其次，需要構(gòu)建一個(gè)用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)，該3D卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如表2所示，其結(jié)構(gòu)圖如圖4所示。

表2

最后，需要對構(gòu)建的用于假陽性肺部結(jié)節(jié)篩除的3D卷積神經(jīng)網(wǎng)絡(luò)。將得到的歸一化后的3D CNN訓(xùn)練集中的CT影像作為構(gòu)建的用于假陽性肺部結(jié)節(jié)篩選的3D卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，對其進(jìn)行訓(xùn)練。訓(xùn)練完成后，得到該3D卷積神經(jīng)網(wǎng)絡(luò)的各項(xiàng)參數(shù)。

將第一階段計(jì)算得到的大小為16x16x10的候選肺部結(jié)節(jié)CT影像送入第二階段訓(xùn)練好的用于假陽性肺部結(jié)節(jié)篩選的3D卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過該3D卷積神經(jīng)網(wǎng)絡(luò)篩選，輸出每個(gè)候選肺部結(jié)節(jié)CT影像的最終判定結(jié)果，即排除掉候選結(jié)節(jié)位置中假陽性的結(jié)節(jié)位置。在本實(shí)施例中，如圖5所示，四張即(a)、(b)、(c)、(d)肺部CT影像中白色小方塊處為肺部結(jié)節(jié)位置。在本實(shí)施例中，閾值Thr2＝0.65。

圖6是第一階段檢測結(jié)果、第二階段篩選結(jié)果對比圖。其中，第一行四張肺部CT影像為第一階段檢測出的候選肺部結(jié)節(jié)位置，第二行四張肺部CT影像為同樣第二階段假陽性肺部結(jié)節(jié)后的最終結(jié)果即位置。從圖6中，我們可以看出，最終結(jié)果比候選肺部結(jié)節(jié)少，其中第一張少了5個(gè)(從6個(gè)減少到1個(gè))、第二張少了2個(gè)(從3個(gè)減少到1個(gè))、第三張少了4個(gè)(從5個(gè)減少到1個(gè))、第四張少了5個(gè)(從6個(gè)減少到1個(gè))。

本發(fā)明采用3D卷積神經(jīng)網(wǎng)絡(luò)，通過級聯(lián)在一起的兩大步驟：(1)候選肺部結(jié)節(jié)檢測和(2)假陽性肺部結(jié)節(jié)篩除，來自動檢測肺部存在結(jié)節(jié)的位置，具有高效性、準(zhǔn)確性、健壯性的特點(diǎn)。本發(fā)明所提出的通過級聯(lián)的兩個(gè)階段來完成結(jié)節(jié)的檢測又進(jìn)一步提升了檢測結(jié)節(jié)的準(zhǔn)確性。整個(gè)自動檢測具有高度的準(zhǔn)確性，使得將計(jì)算機(jī)用于醫(yī)療影像領(lǐng)域做輔助檢測成為可能。不但提高了診斷的準(zhǔn)確性，又降低了醫(yī)護(hù)人員的工作量。具有較高的現(xiàn)實(shí)意義和社會價(jià)值。

盡管上面對本發(fā)明說明性的具體實(shí)施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實(shí)施方式的范圍，對本技術(shù)領(lǐng)域的普通技術(shù)人員來講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。