本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,具體涉及一種基于vcg16的前列腺癌圖像診斷方法及系統(tǒng)。
背景技術(shù):
醫(yī)學(xué)影像是臨床醫(yī)學(xué)中發(fā)展最快的學(xué)科之一,它發(fā)展速度快,更新周期短,每1-2年更新一項(xiàng)新技術(shù)。由于醫(yī)學(xué)影像設(shè)備的不斷發(fā)展,醫(yī)學(xué)影像技術(shù)的日新月異,醫(yī)學(xué)影像學(xué)的ct、mr、介入、普放,超聲和核醫(yī)學(xué)等學(xué)科逐漸建立,醫(yī)學(xué)影像技術(shù)學(xué)科也逐漸形成。
以放射科為例,放射科的工作由兩部分完成。第一部分是患者在放射科拍攝影像片(x線片、ct、mri等),這一過程是由放射科技師操作各類機(jī)器完成,包括參數(shù)設(shè)定、掃描、圖像處理等。第二部分是影像判讀,診斷醫(yī)生在醫(yī)用豎屏顯示器上調(diào)閱影像圖片,逐幅觀察圖片(一般情況,一名患者的圖片在80幅-320幅之間,如果是該院多次就診患者,還需要調(diào)閱既往影像圖片作出對(duì)比,圖片量倍增),尋找并發(fā)現(xiàn)問題;然后按照要求進(jìn)行描述,哪些結(jié)構(gòu)正常,哪些結(jié)構(gòu)異常,如何異常;之后結(jié)合檢查申請(qǐng)單上的臨床癥狀作出“影像診斷”。
目前,每年都有大量的人走進(jìn)放射科,然而目前放射科的醫(yī)生增長(zhǎng)速度遠(yuǎn)遠(yuǎn)沒有趕上檢測(cè)人數(shù)的增長(zhǎng)速度,放射醫(yī)生診斷1名患者的ct掃描圖像需要10~20分鐘,寫診斷報(bào)告需要10分鐘左右,對(duì)于影像識(shí)別機(jī)構(gòu)來說,缺乏足夠的醫(yī)生來進(jìn)行影像判讀的工作,從而導(dǎo)致影像識(shí)別的效率較低。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種基于vcg16的前列腺癌圖像診斷方法及系統(tǒng),能夠提高影響識(shí)別的效率。
為實(shí)現(xiàn)上述目的,本發(fā)明提供一種基于vcg16的前列腺癌圖像診斷方法,所述方法包括:獲取前列腺mri圖像數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理;基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征;將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck;在vgg16預(yù)訓(xùn)練權(quán)重與bottleneck權(quán)重的基礎(chǔ)上,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練;利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率。
進(jìn)一步地,對(duì)前列腺mri圖像數(shù)據(jù)進(jìn)行預(yù)處理包括:利用開源工具3dslicer將所述前列腺mri圖像數(shù)據(jù)處理為2d圖像,并對(duì)所得的圖片數(shù)據(jù)通過翻轉(zhuǎn)、平移操作進(jìn)行數(shù)據(jù)增強(qiáng)。
進(jìn)一步地,基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征包括:搭建vgg16卷積層框架,并利用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;將預(yù)處理后的前列腺mri圖像數(shù)據(jù)輸入初始化后的卷積層框架中,所述初始化后的卷積層框架輸出的結(jié)果即為提取的圖像特征。
進(jìn)一步地,將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck包括:搭建兩個(gè)全連接網(wǎng)絡(luò)框架,并設(shè)置優(yōu)化器rmsprop,使用提取的圖像特征訓(xùn)練模型bottleneck,以得到bottleneck權(quán)重。
進(jìn)一步地,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練包括:搭建vgg16卷積層框架并使用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;構(gòu)建vgg16的全連接層結(jié)構(gòu)并使用所述bottleneck權(quán)重對(duì)所述全連接層結(jié)構(gòu)進(jìn)行初始化;凍結(jié)所述全連接層結(jié)構(gòu)中的convblock1至convblock3間的所有層,使被凍結(jié)的層不參與優(yōu)化訓(xùn)練;基于全部圖像數(shù)據(jù),利用優(yōu)化器sgd對(duì)vgg16全連接層結(jié)構(gòu)中的convblock4、convblock5以及全連接層進(jìn)行訓(xùn)練,以更新所述bottleneck權(quán)重。
進(jìn)一步地,利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率包括:對(duì)新輸入的前列腺mri圖像進(jìn)行預(yù)處理;利用所述優(yōu)化訓(xùn)練得到的vgg16模型對(duì)預(yù)處理后的新輸入的前列腺mri圖像進(jìn)行預(yù)測(cè),以獲取概率值;當(dāng)獲取的概率值大于或者等于預(yù)設(shè)閾值時(shí),判定所述新輸入的前列腺mri圖像是表征前列腺癌的圖像。
本申請(qǐng)還提供一種基于vcg16的前列腺癌圖像診斷系統(tǒng),所述系統(tǒng)包括:樣本圖像預(yù)處理單元,用于獲取前列腺mri圖像數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理;圖像特征提取單元,用于基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征;訓(xùn)練單元,用于將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck;優(yōu)化單元,用于在vgg16預(yù)訓(xùn)練權(quán)重與bottleneck權(quán)重的基礎(chǔ)上,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練;概率確定單元,用于利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率。
進(jìn)一步地,所述樣本圖像預(yù)處理單元包括:數(shù)據(jù)增強(qiáng)模塊,用于利用開源工具3dslicer將所述前列腺mri圖像數(shù)據(jù)處理為2d圖像,并對(duì)所得的圖片數(shù)據(jù)通過翻轉(zhuǎn)、平移操作進(jìn)行數(shù)據(jù)增強(qiáng)。
進(jìn)一步地,所述圖像特征提取單元包括:框架初始化模塊,用于搭建vgg16卷積層框架,并利用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;圖像數(shù)據(jù)輸入模塊,用于將預(yù)處理后的前列腺mri圖像數(shù)據(jù)輸入初始化后的卷積層框架中,所述初始化后的卷積層框架輸出的結(jié)果即為提取的圖像特征。
進(jìn)一步地,所述訓(xùn)練單元包括:模型訓(xùn)練模塊,用于搭建兩個(gè)全連接網(wǎng)絡(luò)框架,并設(shè)置優(yōu)化器rmsprop,使用提取的圖像特征訓(xùn)練模型bottleneck,以得到bottleneck權(quán)重。
本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)效果:
(1)本發(fā)明采用深度學(xué)習(xí)框架對(duì)前列腺癌mri圖像進(jìn)行診斷,降低了人工判別癌癥患病可能性的成本。因?yàn)楸痉椒ú捎脭?shù)據(jù)分析的方法對(duì)前列腺癌進(jìn)行預(yù)測(cè)與識(shí)別,從而避免了人工判別疾病的高昂的費(fèi)用,只需要模型搭建,然后利用模型檢測(cè)是否存在患癌風(fēng)險(xiǎn),且患癌概率大小。
(2)本發(fā)明的方法提高了根據(jù)醫(yī)學(xué)圖像診斷是否患有前列腺癌的效率,傳統(tǒng)的醫(yī)療診斷方式是醫(yī)生憑自身經(jīng)驗(yàn)對(duì)多張掃描圖像進(jìn)行分析,若一個(gè)病患在同一醫(yī)院復(fù)診則需要更多的醫(yī)學(xué)影像給醫(yī)生診斷,評(píng)估手段復(fù)雜而費(fèi)時(shí)。本發(fā)發(fā)明則通過統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型進(jìn)行評(píng)估,不僅節(jié)約成本而且方便有效。
(3)本發(fā)明診斷前列腺癌得準(zhǔn)確率高。傳統(tǒng)的人工診療技術(shù)是憑借醫(yī)生的經(jīng)驗(yàn)作出診斷,且很可能會(huì)因?yàn)槿藶橐蛩匕l(fā)生誤診或者漏診的問題。而采用基于機(jī)器學(xué)習(xí)的統(tǒng)計(jì)模型檢測(cè),可以大大提升診斷的準(zhǔn)確率同時(shí)能夠防止外接因素的干擾。
附圖說明
圖1為本發(fā)明中基于vcg16的前列腺癌圖像診斷方法的流程圖;
圖2為本發(fā)明中基于vcg16的前列腺癌圖像診斷系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本申請(qǐng)中的技術(shù)方案,下面將結(jié)合本申請(qǐng)實(shí)施方式中的附圖,對(duì)本申請(qǐng)實(shí)施方式中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施方式僅僅是本申請(qǐng)一部分實(shí)施方式,而不是全部的實(shí)施方式?;诒旧暾?qǐng)中的實(shí)施方式,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施方式,都應(yīng)當(dāng)屬于本申請(qǐng)保護(hù)的范圍。
請(qǐng)參閱圖1,本申請(qǐng)實(shí)施方式提供一種基于vcg16的前列腺癌圖像診斷方法,所述方法包括:
獲取前列腺mri圖像數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理;
1、基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征;
2、將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck;
3、在vgg16預(yù)訓(xùn)練權(quán)重與bottleneck權(quán)重的基礎(chǔ)上,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練;
4、利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率。
在本實(shí)施方式中,對(duì)前列腺mri圖像數(shù)據(jù)進(jìn)行預(yù)處理包括:
利用開源工具3dslicer將所述前列腺mri圖像數(shù)據(jù)處理為2d圖像,并對(duì)所得的圖片數(shù)據(jù)通過翻轉(zhuǎn)、平移操作進(jìn)行數(shù)據(jù)增強(qiáng)。
在本實(shí)施方式中,基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征包括:
搭建vgg16卷積層框架,并利用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;
將預(yù)處理后的前列腺mri圖像數(shù)據(jù)輸入初始化后的卷積層框架中,所述初始化后的卷積層框架輸出的結(jié)果即為提取的圖像特征。
在本實(shí)施方式中,將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck包括:
搭建兩個(gè)全連接網(wǎng)絡(luò)框架,并設(shè)置優(yōu)化器rmsprop,使用提取的圖像特征訓(xùn)練模型bottleneck,以得到bottleneck權(quán)重。
在本實(shí)施方式中,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練包括:
搭建vgg16卷積層框架并使用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;
構(gòu)建vgg16的全連接層結(jié)構(gòu)并使用所述bottleneck權(quán)重對(duì)所述全連接層結(jié)構(gòu)進(jìn)行初始化;
凍結(jié)所述全連接層結(jié)構(gòu)中的convblock1至convblock3間的所有層,使被凍結(jié)的層不參與優(yōu)化訓(xùn)練;
基于全部圖像數(shù)據(jù),利用優(yōu)化器sgd對(duì)vgg16全連接層結(jié)構(gòu)中的convblock4、convblock5以及全連接層進(jìn)行訓(xùn)練,以更新所述bottleneck權(quán)重。
在本實(shí)施方式中,利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率包括:
對(duì)新輸入的前列腺mri圖像進(jìn)行預(yù)處理;
利用所述優(yōu)化訓(xùn)練得到的vgg16模型對(duì)預(yù)處理后的新輸入的前列腺mri圖像進(jìn)行預(yù)測(cè),以獲取概率值;
當(dāng)獲取的概率值大于或者等于預(yù)設(shè)閾值時(shí),判定所述新輸入的前列腺mri圖像是表征前列腺癌的圖像。
具體地,在本申請(qǐng)一個(gè)實(shí)際應(yīng)用場(chǎng)景中,詳細(xì)步驟可以為:
第一步,對(duì)前列腺mri圖像數(shù)據(jù)利用開源工具3dslicer將原始dicom格式轉(zhuǎn)變?yōu)閚rrd格式,并對(duì)圖像加以bias,correction,histogrammatching處理,然后以病灶區(qū)為中心將圖像剪切成32*32像素大小的圖片,通過翻轉(zhuǎn)平移等方法進(jìn)行數(shù)據(jù)增強(qiáng);第二步,對(duì)預(yù)處理后的前列腺mri圖像利用vgg16網(wǎng)絡(luò)的卷積層及其公開的卷積層權(quán)重提取圖像特征;第三步,將提取的圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck;第四步,在vgg16預(yù)訓(xùn)練權(quán)重與bottleneck權(quán)重的基礎(chǔ)上,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練,訓(xùn)練數(shù)據(jù)為全部圖像數(shù)據(jù);第五步,利用訓(xùn)練好的vgg16模型,預(yù)測(cè)新用戶是前列腺癌患者的概率。
請(qǐng)參閱圖2,本申請(qǐng)還提供一種基于vcg16的前列腺癌圖像診斷系統(tǒng),所述系統(tǒng)包括:
樣本圖像預(yù)處理單元100,用于獲取前列腺mri圖像數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理;
圖像特征提取單元200,用于基于vgg16的卷積層中公開的預(yù)訓(xùn)練權(quán)重提取預(yù)處理后的前列腺mri圖像的圖像特征;
訓(xùn)練單元300,用于將提取的所述圖像特征作為訓(xùn)練數(shù)據(jù),利用rmsprop優(yōu)化器訓(xùn)練全連接模型bottleneck;
優(yōu)化單元400,用于在vgg16預(yù)訓(xùn)練權(quán)重與bottleneck權(quán)重的基礎(chǔ)上,對(duì)vgg16的convblock4和convblock5以及全連接層使用sgd優(yōu)化器進(jìn)行全局優(yōu)化訓(xùn)練;
概率確定單元500,用于利用優(yōu)化訓(xùn)練得到的vgg16模型,確定新輸入的前列腺mri圖像表征前列腺癌的概率。
在本實(shí)施方式中,所述樣本圖像預(yù)處理單元包括:
數(shù)據(jù)增強(qiáng)模塊,用于利用開源工具3dslicer將所述前列腺mri圖像數(shù)據(jù)處理為2d圖像,并對(duì)所得的圖片數(shù)據(jù)通過翻轉(zhuǎn)、平移操作進(jìn)行數(shù)據(jù)增強(qiáng)。
在本實(shí)施方式中,所述圖像特征提取單元包括:
框架初始化模塊,用于搭建vgg16卷積層框架,并利用公開的預(yù)訓(xùn)練權(quán)重初始化所述卷積層框架;
圖像數(shù)據(jù)輸入模塊,用于將預(yù)處理后的前列腺mri圖像數(shù)據(jù)輸入初始化后的卷積層框架中,所述初始化后的卷積層框架輸出的結(jié)果即為提取的圖像特征。
在本實(shí)施方式中,所述訓(xùn)練單元包括:
模型訓(xùn)練模塊,用于搭建兩個(gè)全連接網(wǎng)絡(luò)框架,并設(shè)置優(yōu)化器rmsprop,使用提取的圖像特征訓(xùn)練模型bottleneck,以得到bottleneck權(quán)重。
本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)效果:
(1)本發(fā)明采用深度學(xué)習(xí)框架對(duì)前列腺癌mri圖像進(jìn)行診斷,降低了人工判別癌癥患病可能性的成本。因?yàn)楸痉椒ú捎脭?shù)據(jù)分析的方法對(duì)前列腺癌進(jìn)行預(yù)測(cè)與識(shí)別,從而避免了人工判別疾病的高昂的費(fèi)用,只需要模型搭建,然后利用模型檢測(cè)是否存在患癌風(fēng)險(xiǎn),且患癌概率大小。
(2)本發(fā)明的方法提高了根據(jù)醫(yī)學(xué)圖像診斷是否患有前列腺癌的效率,傳統(tǒng)的醫(yī)療診斷方式是醫(yī)生憑自身經(jīng)驗(yàn)對(duì)多張掃描圖像進(jìn)行分析,若一個(gè)病患在同一醫(yī)院復(fù)診則需要更多的醫(yī)學(xué)影像給醫(yī)生診斷,評(píng)估手段復(fù)雜而費(fèi)時(shí)。本發(fā)發(fā)明則通過統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型進(jìn)行評(píng)估,不僅節(jié)約成本而且方便有效。
(3)本發(fā)明診斷前列腺癌得準(zhǔn)確率高。傳統(tǒng)的人工診療技術(shù)是憑借醫(yī)生的經(jīng)驗(yàn)作出診斷,且很可能會(huì)因?yàn)槿藶橐蛩匕l(fā)生誤診或者漏診的問題。而采用基于機(jī)器學(xué)習(xí)的統(tǒng)計(jì)模型檢測(cè),可以大大提升診斷的準(zhǔn)確率同時(shí)能夠防止外接因素的干擾。
上面對(duì)本申請(qǐng)的各種實(shí)施方式的描述以描述的目的提供給本領(lǐng)域技術(shù)人員。其不旨在是窮舉的、或者不旨在將本申請(qǐng)限制于單個(gè)公開的實(shí)施方式。如上所述,本申請(qǐng)的各種替代和變化對(duì)于上述技術(shù)所屬領(lǐng)域技術(shù)人員而言將是顯而易見的。因此,雖然已經(jīng)具體討論了一些另選的實(shí)施方式,但是其它實(shí)施方式將是顯而易見的,或者本領(lǐng)域技術(shù)人員相對(duì)容易得出。本申請(qǐng)旨在包括在此已經(jīng)討論過的本申請(qǐng)的所有替代、修改、和變化,以及落在上述申請(qǐng)的精神和范圍內(nèi)的其它實(shí)施方式。
本說明書中的各個(gè)實(shí)施方式均采用遞進(jìn)的方式描述,各個(gè)實(shí)施方式之間相同相似的部分互相參見即可,每個(gè)實(shí)施方式重點(diǎn)說明的都是與其他實(shí)施方式的不同之處。
雖然通過實(shí)施方式描繪了本申請(qǐng),本領(lǐng)域普通技術(shù)人員知道,本申請(qǐng)有許多變形和變化而不脫離本申請(qǐng)的精神,希望所附的權(quán)利要求包括這些變形和變化而不脫離本申請(qǐng)的精神。