本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤指一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)、其訓(xùn)練方法及表現(xiàn)生成方法。

背景技術(shù)：

為了提高疾病診斷的準(zhǔn)確率，出現(xiàn)了各種用于表現(xiàn)人體影像的技術(shù)，例如核磁共振、電子計(jì)算機(jī)斷層掃描(computedtomography,ct)、x光掃描和b超(b-scanultrasonography)掃描等，使得通過這些技術(shù)可以精確地獲得一些關(guān)鍵信息，從而提高疾病確診的準(zhǔn)確率。然而，隨著每年的醫(yī)學(xué)影像數(shù)據(jù)的大幅度增加，讀片醫(yī)師的工作也變得異常繁重，并且由于每年的醫(yī)學(xué)影像數(shù)據(jù)的增長(zhǎng)量遠(yuǎn)遠(yuǎn)超過影像科醫(yī)生的增長(zhǎng)量，使得每名讀片醫(yī)師每天要讀取近千張醫(yī)學(xué)影像，超負(fù)荷的工作使得對(duì)疾病誤診的幾率大大增加。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)、其訓(xùn)練方法及表現(xiàn)生成方法，用以提高對(duì)醫(yī)學(xué)影像的讀片速度和信息讀取的準(zhǔn)確率，降低誤診的幾率。

本發(fā)明實(shí)施例提供了一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)，包括：醫(yī)學(xué)影像獲取單元、卷積神經(jīng)網(wǎng)絡(luò)單元、循環(huán)神經(jīng)網(wǎng)絡(luò)單元和表現(xiàn)輸出單元；其中，

所述醫(yī)學(xué)影像獲取單元，用于獲取二維的醫(yī)學(xué)影像；

所述卷積神經(jīng)網(wǎng)絡(luò)單元，用于提取所述醫(yī)學(xué)影像的圖像特征，并將所述圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；

所述循環(huán)神經(jīng)網(wǎng)絡(luò)單元，用于根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與所述圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；

所述表現(xiàn)輸出單元，用于將與所述圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，所述循環(huán)神經(jīng)網(wǎng)絡(luò)單元，具體用于在確定所述第一向量空間中與所述圖像特征向量位置相同或相近的預(yù)先建立的圖像特征向量后，根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，將確定出的與預(yù)先建立的圖像特征向量對(duì)應(yīng)的語義特征向量，確定為所述圖像特征向量對(duì)應(yīng)的語義特征向量，并根據(jù)預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的各所述語義特征向量依次輸出。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，所述表現(xiàn)輸出單元為解碼器。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，還包括：預(yù)處理單元，用于對(duì)獲取到的所述醫(yī)學(xué)影像進(jìn)行縮放裁剪處理、顏色增強(qiáng)處理和/或復(fù)制處理，并輸出至所述卷積神經(jīng)網(wǎng)絡(luò)單元。

本發(fā)明實(shí)施例還提供了一種如本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)的表現(xiàn)生成方法，包括：

獲取二維的醫(yī)學(xué)影像；

提取所述醫(yī)學(xué)影像的圖像特征，并將所述圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；

根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與所述圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；

將與所述圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法中，所述根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與所述圖像特征向量對(duì)應(yīng)的語義特征向量并輸出，具體包括：

在確定所述第一向量空間中與所述圖像特征向量位置相同或相近的預(yù)先建立的圖像特征向量后，根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，將確定出的與預(yù)先建立的圖像特征向量對(duì)應(yīng)的語義特征向量，確定為所述圖像特征向量對(duì)應(yīng)的語義特征向量，并根據(jù)預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的各所述語義特征向量依次輸出。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法中，還包括：

對(duì)獲取到的所述醫(yī)學(xué)影像進(jìn)行縮放裁剪處理、顏色增強(qiáng)處理和/或復(fù)制處理。

本發(fā)明實(shí)施例還提供了一種如本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)的訓(xùn)練方法，包括：

對(duì)所述表現(xiàn)生成系統(tǒng)輸入多個(gè)二維的醫(yī)學(xué)影像和包含有與所述醫(yī)學(xué)影像匹配的語義特征的表現(xiàn)文檔；

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述醫(yī)學(xué)影像進(jìn)行預(yù)處理后，提取所述醫(yī)學(xué)影像的圖像特征，生成對(duì)應(yīng)的圖像特征向量，并輸出至預(yù)先建立的第一向量空間；

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述表現(xiàn)文檔進(jìn)行預(yù)處理后，提取所述表現(xiàn)文檔的語義特征，生成對(duì)應(yīng)的語義特征向量，并輸出至預(yù)先建立的第二向量空間；

所述表現(xiàn)生成系統(tǒng)根據(jù)各所述圖像特征向量和匹配的各語義特征向量，調(diào)整各所述圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，以確定各所述圖像特征向量和匹配的各語義特征向量之間的對(duì)應(yīng)關(guān)系。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中，所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述醫(yī)學(xué)影像進(jìn)行預(yù)處理，具體包括以下處理方式中的一種或多種：

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述醫(yī)學(xué)影像進(jìn)行縮放裁剪處理；

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述醫(yī)學(xué)影像進(jìn)行顏色增強(qiáng)處理；

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述醫(yī)學(xué)影像進(jìn)行復(fù)制處理。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中，所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述表現(xiàn)文檔進(jìn)行預(yù)處理，具體包括：

所述表現(xiàn)生成系統(tǒng)對(duì)輸入的所述表現(xiàn)文檔進(jìn)行分詞處理。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中，所述表現(xiàn)生成系統(tǒng)根據(jù)各所述圖像特征向量和匹配的各語義特征向量，調(diào)整各所述圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，具體包括：

所述表現(xiàn)生成系統(tǒng)根據(jù)匹配的各語義特征向量和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度，調(diào)整各所述圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，直至匹配的各語義特征向量和采用本次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度屬于預(yù)設(shè)范圍為止。

在一種可能的實(shí)施方式中，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中，所述根據(jù)匹配的各語義特征向量和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度，具體包括：

根據(jù)如下公式計(jì)算出的匹配的各語義特征向量s和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量y之間的損失度l(s,y)：

其中，n表示所述表現(xiàn)生成系統(tǒng)中循環(huán)神經(jīng)網(wǎng)絡(luò)單元包括的子單元的數(shù)量，yt表示第t個(gè)子單元采用上一次調(diào)整后的映射參數(shù)確定出的語義特征向量，st表示所述圖像特征向量匹配的第t個(gè)語義特征向量，rnn(st＝y(tǒng)t)表示所述圖像特征向量匹配的第t個(gè)語義特征向量st和所述第t個(gè)子單元采用上一次調(diào)整后的映射參數(shù)確定出的語義特征向量yt相同，i表示各所述圖像特征向量，cnn(i)表示各所述圖像特征向量的集合。

本發(fā)明有益效果如下：

本發(fā)明實(shí)施例提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)、其訓(xùn)練方法及表現(xiàn)生成方法，該表現(xiàn)生成系統(tǒng)包括：醫(yī)學(xué)影像獲取單元、卷積神經(jīng)網(wǎng)絡(luò)單元、循環(huán)神經(jīng)網(wǎng)絡(luò)單元和表現(xiàn)輸出單元；其中，在醫(yī)學(xué)影像獲取單元獲取到二維的醫(yī)學(xué)影像后，卷積神經(jīng)網(wǎng)絡(luò)單元?jiǎng)t提取醫(yī)學(xué)影像的圖像特征，并將圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；接著，循環(huán)神經(jīng)網(wǎng)絡(luò)單元會(huì)根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；最后，表現(xiàn)輸出單元將與圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出，最終將醫(yī)學(xué)影像轉(zhuǎn)換成對(duì)應(yīng)的自然語言，便于醫(yī)生對(duì)疾病的診斷；因此，該表現(xiàn)生成系統(tǒng)基于深度學(xué)習(xí)技術(shù)，并結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)，使得對(duì)醫(yī)學(xué)影像的讀取和分析變得簡(jiǎn)單和容易，在提高了讀片的效率的同時(shí)，還提高了讀片的質(zhì)量，大大地降低了誤診的幾率。

附圖說明

圖1和圖2分別為本發(fā)明實(shí)施例中提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為本發(fā)明實(shí)施例中提供的一種循環(huán)神經(jīng)網(wǎng)絡(luò)單元的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施例中提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)的表現(xiàn)生成方法的流程圖；

圖5為本發(fā)明實(shí)施例中提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)的訓(xùn)練方法的流程圖。

具體實(shí)施方式

下面將結(jié)合附圖，對(duì)本發(fā)明實(shí)施例提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)、其訓(xùn)練方法及表現(xiàn)生成方法的具體實(shí)施方式進(jìn)行詳細(xì)地說明。需要說明的是，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

需要說明的是，本發(fā)明實(shí)施例提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)，僅僅適用于對(duì)二維的醫(yī)學(xué)影像的處理，例如x光片，而對(duì)于三維的醫(yī)學(xué)影像的處理在本發(fā)明中并不適用；因此，下面就主要針對(duì)本發(fā)明實(shí)施例提供的一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)對(duì)二維的醫(yī)學(xué)影像的處理進(jìn)行詳細(xì)描述。

本發(fā)明實(shí)施例提供了一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)，如圖1所示，可以包括：醫(yī)學(xué)影像獲取單元101、卷積神經(jīng)網(wǎng)絡(luò)單元102、循環(huán)神經(jīng)網(wǎng)絡(luò)單元103和表現(xiàn)輸出單元104；其中，

醫(yī)學(xué)影像獲取單元101，用于獲取二維的醫(yī)學(xué)影像；

卷積神經(jīng)網(wǎng)絡(luò)單元102，用于提取醫(yī)學(xué)影像的圖像特征，并將圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；

循環(huán)神經(jīng)網(wǎng)絡(luò)單元103，用于根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；

表現(xiàn)輸出單元104，用于將與圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出。

本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)，是基于深度學(xué)習(xí)技術(shù)，結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)，使得通過該表現(xiàn)生成系統(tǒng)可以自動(dòng)地將二維的醫(yī)學(xué)影像轉(zhuǎn)換成對(duì)應(yīng)的自然語言，以便于醫(yī)生對(duì)疾病的進(jìn)一步診斷，使得對(duì)醫(yī)學(xué)影像的讀取和分析變得簡(jiǎn)單和容易，在提高了讀片的效率的同時(shí)，還提高了讀片的質(zhì)量，大大地降低了誤診的幾率。

在具體實(shí)施時(shí)，為了使不同醫(yī)院設(shè)備得到的醫(yī)學(xué)影像的質(zhì)量統(tǒng)一，提高本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)對(duì)質(zhì)量較差的醫(yī)學(xué)影像的識(shí)別精度，需要對(duì)醫(yī)學(xué)影像進(jìn)行預(yù)處理，以便于表現(xiàn)生成系統(tǒng)的處理；因此，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，如圖2所示，還可以包括：預(yù)處理單元105，用于對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行縮放裁剪處理、顏色增強(qiáng)處理和/或復(fù)制處理，并輸出至卷積神經(jīng)網(wǎng)絡(luò)單元102。

具體地，對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行的預(yù)處理過程，又可以稱為擴(kuò)充處理，對(duì)識(shí)別性能和泛化能力都有著非常重要的作用；此外，在進(jìn)行預(yù)處理時(shí)，可以對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行縮放裁剪處理、顏色增強(qiáng)處理和復(fù)制處理中的一種或多種，當(dāng)然并不限于上述三種處理方式，還可以是其他的處理方式，只要可以使獲取到的醫(yī)學(xué)影像在進(jìn)行處理后，滿足表現(xiàn)生成系統(tǒng)對(duì)醫(yī)學(xué)影像的質(zhì)量要求即可，在此不作限定。

進(jìn)一步地，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行的顏色增強(qiáng)處理，可以包括色彩的飽和度處理、亮度和對(duì)比度的處理等，只要能夠使顏色增強(qiáng)處理后的醫(yī)學(xué)影像，滿足表現(xiàn)生成系統(tǒng)對(duì)醫(yī)學(xué)影像的質(zhì)量要求即可，并不限于上述處理方式。

進(jìn)一步地，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行的復(fù)制處理，主要是由于醫(yī)療數(shù)據(jù)的高度不平衡，因此需要使用復(fù)制處理等方式將特殊癥狀的案例數(shù)量增多，以提高醫(yī)學(xué)影像讀取的準(zhǔn)確性。

當(dāng)然，當(dāng)獲取到的二維的醫(yī)學(xué)影像滿足表現(xiàn)生成系統(tǒng)的圖像質(zhì)量要求時(shí)，則無需再對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行預(yù)處理，可以將醫(yī)學(xué)影像獲取單元101獲取到的醫(yī)學(xué)影像直接輸入至卷積神經(jīng)網(wǎng)絡(luò)單元102即可，在此不作限定。

一般地，在向量空間中，具有相似意義的兩個(gè)向量在向量空間中的位置非常相近，相應(yīng)地，在預(yù)先建立的第一向量空間中，相似的兩個(gè)圖像特征所對(duì)應(yīng)的向量在向量空間中的位置同樣會(huì)非常相近，所以，可以根據(jù)這一特點(diǎn)，首先在預(yù)先建立的第一向量空間中，尋找與圖像特征向量位置相同或相近的預(yù)先建立的圖像特征向量，然后根據(jù)預(yù)先建立的圖像特征向量與第二向量空間中的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量；因此，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，循環(huán)神經(jīng)網(wǎng)絡(luò)單元103，具體用于在確定第一向量空間中與圖像特征向量位置相同或相近的預(yù)先建立的圖像特征向量后，根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，將確定出的與預(yù)先建立的圖像特征向量對(duì)應(yīng)的語義特征向量，確定為圖像特征向量對(duì)應(yīng)的語義特征向量，并根據(jù)預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的各語義特征向量依次輸出。

具體地，預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，是在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)建立完成之后，采用大量的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)之后確定的(具體的訓(xùn)練過程會(huì)在下面的描述中作詳細(xì)介紹)，因此，可以保證經(jīng)過本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)處理得到的與醫(yī)學(xué)影像對(duì)應(yīng)的自然語言信息是比較準(zhǔn)確的，可以作為醫(yī)生在診斷病情時(shí)的有益參考。

具體地，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，在根據(jù)預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的各語義特征向量依次輸出時(shí)，預(yù)設(shè)的各語義特征向量的輸出順序，一般是根據(jù)讀片醫(yī)師在人工讀取醫(yī)學(xué)影像時(shí)常采用的描述順序而確定的，但并不限于此，還可以是特定的順序，以便于醫(yī)生更好的理解，在此不作限定。

具體地，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，循環(huán)神經(jīng)網(wǎng)絡(luò)單元103在根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出時(shí)，循環(huán)神經(jīng)網(wǎng)絡(luò)單元103內(nèi)部的結(jié)構(gòu)采用現(xiàn)有技術(shù)中的結(jié)構(gòu)設(shè)置，如圖3所示，循環(huán)神經(jīng)網(wǎng)絡(luò)單元103包括多個(gè)級(jí)聯(lián)的子單元，因一個(gè)子單元只能輸出一個(gè)語義特征向量，因此子單元的設(shè)置數(shù)量一般是在對(duì)表現(xiàn)生成系統(tǒng)訓(xùn)練過程中，根據(jù)用于訓(xùn)練的語義特征向量的個(gè)數(shù)而設(shè)定的，當(dāng)然，設(shè)置的子單元數(shù)量可以大于或等于用于訓(xùn)練的語義特征向量的個(gè)數(shù)；同時(shí)，每個(gè)子單元不僅輸入時(shí)序的各語義特征向量301(如圖3中所示的虛線)，還輸入各圖像特征向量302(如圖3中所示的實(shí)線)。

進(jìn)一步地，如圖3所示，第一級(jí)子單元303在接收到預(yù)設(shè)的起始符向量304后，開始工作，根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，以及預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的語義特征向量中的第一個(gè)語義特征向量305輸出；同時(shí)，第一級(jí)子單元303不僅將輸出的第一個(gè)語義特征向量305傳遞至第二級(jí)子單元306，還將處理結(jié)果傳遞給至第二級(jí)子單元306；第二級(jí)子單元306在接收到第一級(jí)子單元303傳遞的信息后，將確定出的第二個(gè)語義特征向量307輸出；同時(shí)，第二級(jí)子單元306將輸出的第二個(gè)語義特征向量307傳遞至第三級(jí)子單元308，還將處理結(jié)果傳遞給至第三級(jí)子單元308；以此類推，直至第n-1級(jí)子單元309將確定出的第n-1個(gè)語義特征向量310輸出，第n-1級(jí)子單元309同樣地將第n-1個(gè)語義特征向量310和處理結(jié)果傳遞給至第n級(jí)子單元311，此時(shí)，第n級(jí)子單元311輸出預(yù)設(shè)的終止符向量312，表示語義特征向量確定結(jié)束；當(dāng)然，除第一級(jí)子單元303之外，每級(jí)子單元還可以將本級(jí)處理的結(jié)果傳遞至上一級(jí)子單元,在此不作限定。

在具體實(shí)施時(shí)，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)中，表現(xiàn)輸出單元104為解碼器，負(fù)責(zé)將循環(huán)神經(jīng)網(wǎng)絡(luò)單元103輸出的各語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言，而一個(gè)語義特征向量可以對(duì)應(yīng)一個(gè)詞，還可以對(duì)應(yīng)一個(gè)短語，將轉(zhuǎn)換后的自然語言組合便得到了醫(yī)學(xué)影像的分析結(jié)果，可以大大提高醫(yī)學(xué)影像讀取和分析的效率。

基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例還提供了一種如本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)的表現(xiàn)生成方法，由于該表現(xiàn)生成方法解決問題的原理與前述一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)相似，故該方法的實(shí)施可以參見前述系統(tǒng)的實(shí)施，重復(fù)之處不在贅述。

具體地，本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法，如圖4所示，可以包括：

s401、獲取二維的醫(yī)學(xué)影像；

s402、提取醫(yī)學(xué)影像的圖像特征，并將圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；

s403、根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；

s404、將與圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出。

本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法，是基于深度學(xué)習(xí)技術(shù)，并結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)，使得通過該表現(xiàn)生成方法可以自動(dòng)地將二維的醫(yī)學(xué)影像轉(zhuǎn)換成對(duì)應(yīng)的自然語言，以便于醫(yī)生對(duì)疾病的進(jìn)一步診斷，使得對(duì)醫(yī)學(xué)影像的讀取和分析變得簡(jiǎn)單和容易，在提高了讀片的效率的同時(shí)，還提高了讀片的質(zhì)量，大大地降低了誤診的幾率。

在具體實(shí)施時(shí)，為了確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法中的步驟s403根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出，可以具體包括：

在確定第一向量空間中與圖像特征向量位置相同或相近的預(yù)先建立的圖像特征向量后，根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，將確定出的與預(yù)先建立的圖像特征向量對(duì)應(yīng)的語義特征向量，確定為圖像特征向量對(duì)應(yīng)的語義特征向量，并根據(jù)預(yù)設(shè)的各語義特征向量的輸出順序，將確定出的各語義特征向量依次輸出。

在具體實(shí)施時(shí)，在本發(fā)明實(shí)施例提供的上述表現(xiàn)生成方法中，還可以包括：對(duì)獲取到的醫(yī)學(xué)影像進(jìn)行縮放裁剪處理、顏色增強(qiáng)處理和/或復(fù)制處理。

基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例還提供了一種如本發(fā)明實(shí)施例提供的上述表現(xiàn)生成系統(tǒng)的訓(xùn)練方法，如圖5所示，可以包括：

s501、對(duì)表現(xiàn)生成系統(tǒng)輸入多個(gè)二維的醫(yī)學(xué)影像；

s502、表現(xiàn)生成系統(tǒng)對(duì)輸入的醫(yī)學(xué)影像進(jìn)行預(yù)處理后，提取醫(yī)學(xué)影像的圖像特征，生成對(duì)應(yīng)的圖像特征向量，并輸出至預(yù)先建立的第一向量空間；執(zhí)行步驟s505；

s503、對(duì)表現(xiàn)生成系統(tǒng)輸入包含有與醫(yī)學(xué)影像匹配的語義特征的表現(xiàn)文檔；

s504、表現(xiàn)生成系統(tǒng)對(duì)輸入的表現(xiàn)文檔進(jìn)行預(yù)處理后，提取表現(xiàn)文檔的語義特征，生成對(duì)應(yīng)的語義特征向量，并輸出至預(yù)先建立的第二向量空間；

s505、表現(xiàn)生成系統(tǒng)根據(jù)各圖像特征向量和匹配的各語義特征向量，調(diào)整各圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，以確定各圖像特征向量和匹配的各語義特征向量之間的對(duì)應(yīng)關(guān)系。

在具體實(shí)施時(shí)，為了便于表現(xiàn)生成系統(tǒng)對(duì)獲取的醫(yī)學(xué)影像進(jìn)行處理，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中的步驟s502表現(xiàn)生成系統(tǒng)對(duì)輸入的醫(yī)學(xué)影像進(jìn)行預(yù)處理，可以具體包括以下處理方式中的一種或多種：

表現(xiàn)生成系統(tǒng)對(duì)輸入的醫(yī)學(xué)影像進(jìn)行縮放裁剪處理；

表現(xiàn)生成系統(tǒng)對(duì)輸入的醫(yī)學(xué)影像進(jìn)行顏色增強(qiáng)處理；

表現(xiàn)生成系統(tǒng)對(duì)輸入的醫(yī)學(xué)影像進(jìn)行復(fù)制處理。

具體地，在對(duì)輸入的醫(yī)學(xué)影像進(jìn)行預(yù)處理之后，將醫(yī)學(xué)影像輸出至表現(xiàn)生成系統(tǒng)中的卷積神經(jīng)網(wǎng)絡(luò)單元，以使卷積神經(jīng)網(wǎng)絡(luò)單元對(duì)預(yù)處理后的醫(yī)學(xué)影像進(jìn)行圖像特征提取，并將提取的圖像特征轉(zhuǎn)換成對(duì)應(yīng)的圖像特征向量，并輸出至預(yù)先建立的第一向量空間中，以便于循環(huán)神經(jīng)網(wǎng)絡(luò)單元確定與圖像特征向量匹配的語義特征向量。

進(jìn)一步地，可以采用現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,cnn)模型對(duì)卷積神經(jīng)網(wǎng)絡(luò)單元進(jìn)行訓(xùn)練，例如初始?xì)埐罹W(wǎng)絡(luò)(inception-resnet)或谷歌網(wǎng)絡(luò)結(jié)構(gòu)(googlenetv3)等最新的cnn模型；還可以根據(jù)其工作原理自行搭建cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練；此外，在卷積神經(jīng)網(wǎng)絡(luò)單元的訓(xùn)練過程中，cnn網(wǎng)絡(luò)的初始參數(shù)可以設(shè)置為imagenet等已標(biāo)注圖像數(shù)據(jù)庫的訓(xùn)練好的參數(shù)，以使表現(xiàn)生成系統(tǒng)正常的工作。

在具體實(shí)施時(shí)，為了能夠獲取到輸入的表現(xiàn)文檔中的各語義特征，需要對(duì)表現(xiàn)文檔進(jìn)行預(yù)處理；因此，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中的步驟s503表現(xiàn)生成系統(tǒng)對(duì)輸入的表現(xiàn)文檔進(jìn)行預(yù)處理，可以具體包括：

表現(xiàn)生成系統(tǒng)對(duì)輸入的表現(xiàn)文檔進(jìn)行分詞處理。

具體地，因不同醫(yī)生對(duì)相似的醫(yī)學(xué)影像有著不同的表述和解讀，為了確保最后生成的自然語言的一致性，在對(duì)表述文檔進(jìn)行分詞處理后，提取各語義特征，并轉(zhuǎn)換成對(duì)應(yīng)的語義特征向量，輸出至預(yù)先建立的第二向量空間；在這一步驟的訓(xùn)練過程中，可以采用詞嵌入(wordembedding)的方式將醫(yī)學(xué)術(shù)語與表述的語義特征轉(zhuǎn)換成向量，使得具有相似意義的語義特征向量在第二向量空間中的位置相近。

在具體實(shí)施時(shí)，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中的步驟s504表現(xiàn)生成系統(tǒng)根據(jù)各圖像特征向量和匹配的各語義特征向量，調(diào)整各圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，可以具體包括：

表現(xiàn)生成系統(tǒng)根據(jù)匹配的各語義特征向量和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度，調(diào)整各圖像特征向量和匹配的各語義特征向量之間的映射參數(shù)，直至匹配的各語義特征向量和采用本次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度屬于預(yù)設(shè)范圍為止。

具體地，為了確定匹配的各語義特征向量和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量之間的損失度，在本發(fā)明實(shí)施例提供的上述訓(xùn)練方法中，可以具體包括：

根據(jù)如下公式計(jì)算出的匹配的各語義特征向量s和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量y之間的損失度l(s,y)：

其中，n表示表現(xiàn)生成系統(tǒng)中循環(huán)神經(jīng)網(wǎng)絡(luò)單元包括的子單元的數(shù)量，yt表示第t個(gè)子單元采用上一次調(diào)整后的映射參數(shù)確定出的語義特征向量，st表示圖像特征向量匹配的第t個(gè)語義特征向量，rnn(st＝y(tǒng)t)表示圖像特征向量匹配的第t個(gè)語義特征向量st和第t個(gè)子單元采用上一次調(diào)整后的映射參數(shù)確定出的語義特征向量yt相同，i表示各圖像特征向量，cnn(i)表示各圖像特征向量的集合。

具體地，在計(jì)算匹配的各語義特征向量s和采用上一次調(diào)整后的映射參數(shù)確定出的各語義特征向量y之間的損失度l(s,y)時(shí)，采用的公式為損失函數(shù)公式，當(dāng)然上述公式只是損失函數(shù)中的一種，且在計(jì)算時(shí)并不限于只是使用上述損失函數(shù)公式來計(jì)算損失度l(s,y)，在此不作限定；并且，上述損失函數(shù)可以作為對(duì)表現(xiàn)生成系統(tǒng)的訓(xùn)練結(jié)果的評(píng)判標(biāo)準(zhǔn)，當(dāng)計(jì)算得到的損失度l(s,y)越小，表明對(duì)表現(xiàn)生成系統(tǒng)的訓(xùn)練就越好，利用該訓(xùn)練后的表現(xiàn)生成系統(tǒng)，在對(duì)醫(yī)學(xué)影像進(jìn)行處理后得到的自然語言也就越準(zhǔn)確。

具體地，在對(duì)表現(xiàn)生成系統(tǒng)中的循環(huán)神經(jīng)網(wǎng)絡(luò)單元進(jìn)行訓(xùn)練時(shí)，可以采用現(xiàn)有技術(shù)中的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork,rnn)模型中適合自然語言生成的模型進(jìn)行訓(xùn)練，例如時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)(longshort-termmemory,lstm)和柵循環(huán)單元(gatedrecurrentunit,gru)等；當(dāng)然，還可以在現(xiàn)有技術(shù)上根據(jù)表現(xiàn)生成系統(tǒng)的需要進(jìn)行搭建和改進(jìn)，只要能夠使表現(xiàn)生成系統(tǒng)完成對(duì)醫(yī)學(xué)影像的讀取即可，在此不作限定。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器和光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

本發(fā)明實(shí)施例提供了一種醫(yī)學(xué)影像的表現(xiàn)生成系統(tǒng)、其訓(xùn)練方法及表現(xiàn)生成方法，該表現(xiàn)生成系統(tǒng)包括：醫(yī)學(xué)影像獲取單元、卷積神經(jīng)網(wǎng)絡(luò)單元、循環(huán)神經(jīng)網(wǎng)絡(luò)單元和表現(xiàn)輸出單元；其中，在醫(yī)學(xué)影像獲取單元獲取到二維的醫(yī)學(xué)影像后，卷積神經(jīng)網(wǎng)絡(luò)單元?jiǎng)t提取醫(yī)學(xué)影像的圖像特征，并將圖像特征轉(zhuǎn)換成圖像特征向量后輸出至預(yù)先建立的第一向量空間；接著，循環(huán)神經(jīng)網(wǎng)絡(luò)單元會(huì)根據(jù)預(yù)先建立的第一向量空間中包含的圖像特征向量與第二向量空間中包含的匹配的語義特征向量之間的對(duì)應(yīng)關(guān)系，確定與圖像特征向量對(duì)應(yīng)的語義特征向量并輸出；最后，表現(xiàn)輸出單元將與圖像特征向量匹配的語義特征向量轉(zhuǎn)換成對(duì)應(yīng)的自然語言并輸出，最終將醫(yī)學(xué)影像轉(zhuǎn)換成對(duì)應(yīng)的自然語言，便于醫(yī)生對(duì)疾病的診斷；因此，該表現(xiàn)生成系統(tǒng)基于深度學(xué)習(xí)技術(shù)，并結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)，使得對(duì)醫(yī)學(xué)影像的讀取和分析變得簡(jiǎn)單和容易，在提高了讀片的效率的同時(shí)，還提高了讀片的質(zhì)量，大大地降低了誤診的幾率。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。