本公開總體上涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域以及涉及這種網(wǎng)絡(luò)用于圖像分析和對象檢測的用途。更具體地但不是限制性地，本公開涉及用于訓練生成式對抗網(wǎng)絡(luò)的系統(tǒng)和方法以及使用該生成式對抗網(wǎng)絡(luò)的計算機實現(xiàn)的系統(tǒng)和方法。本文公開的系統(tǒng)、方法和經(jīng)訓練的神經(jīng)網(wǎng)絡(luò)可用于各種應(yīng)用和視覺系統(tǒng)，例如得益于精確的目標檢測能力的醫(yī)學圖像分析和系統(tǒng)。

背景技術(shù)：

1、在許多對象檢測系統(tǒng)中，對象是在圖像中檢測到的。感興趣對象可以是人、地點或事物。在諸如醫(yī)學圖像分析和診斷的應(yīng)用中，對對象的定位也很重要。然而，利用圖像分類器的計算機實現(xiàn)的系統(tǒng)通常不能識別或提供檢測到的對象的位置。因此，僅使用圖像分類器的現(xiàn)有系統(tǒng)并不是非常有用。

2、此外，用于對象檢測的訓練技術(shù)將依賴于手動注釋的訓練集。當被訓練的檢測網(wǎng)絡(luò)是基于邊界框(例如yolo(you?only?look?once)架構(gòu)、單鏡頭檢測器(single?shotdetector，ssd)架構(gòu)等)的網(wǎng)絡(luò)時，這種注釋是耗時的。因此，大數(shù)據(jù)集很難為訓練進行注釋，這通常產(chǎn)生針對較小數(shù)據(jù)集進行訓練的神經(jīng)網(wǎng)絡(luò)，這降低了精確度。對于計算機實現(xiàn)的系統(tǒng)，現(xiàn)有的醫(yī)學成像通常建立在單一的探測器網(wǎng)絡(luò)上。因此，一旦進行了檢測，網(wǎng)絡(luò)就簡單地將檢測結(jié)果例如輸出給醫(yī)生或其他專業(yè)護理人員。然而，這種檢測結(jié)果可能是假陽性，例如內(nèi)窺鏡檢查等中的非息肉。這種系統(tǒng)并不提供用于區(qū)分假陽性和真陽性的單獨網(wǎng)絡(luò)。

3、此外，基于神經(jīng)網(wǎng)絡(luò)的對象檢測器通常將由神經(jīng)網(wǎng)絡(luò)識別的特征饋送到檢測器中，該檢測器可以包括第二神經(jīng)網(wǎng)絡(luò)。然而，這種網(wǎng)絡(luò)通常是不精確的，因為特征檢測是由通用網(wǎng)絡(luò)來執(zhí)行的，而只有檢測器部分是專用的。

4、最后，許多現(xiàn)有的對象探測器在延時下工作。例如，醫(yī)學圖像將在分析之前被捕獲和存儲。然而，一些醫(yī)學過程，如內(nèi)窺鏡檢查，是基于實時診斷的。因此，這些系統(tǒng)通常難以以需求的實時方式進行應(yīng)用。

技術(shù)實現(xiàn)思路

1、鑒于前面所述，本公開的實施例提供了用于訓練生成式對抗網(wǎng)絡(luò)并將其用于諸如醫(yī)學圖像分析的應(yīng)用的計算機實現(xiàn)的系統(tǒng)和方法。本公開的系統(tǒng)和方法提供了優(yōu)于現(xiàn)有系統(tǒng)和技術(shù)的益處，包括改進的對象檢測和位置信息。

2、根據(jù)一些實施例，提供了計算機實現(xiàn)的系統(tǒng)，該系統(tǒng)包括識別感興趣特征(即，異?；蚋信d趣對象)及其位置的對象檢測器網(wǎng)絡(luò)，以及區(qū)分真陽性和假陽性的對抗網(wǎng)絡(luò)。此外，本公開的實施例提供用于訓練對象檢測器網(wǎng)絡(luò)的兩循環(huán)(two-loop)技術(shù)。該訓練過程基于檢查檢測來使用注釋，使得手動注釋可以發(fā)生得更快，并因此具有更大的數(shù)據(jù)集。此外，該過程可用于訓練生成式對抗網(wǎng)絡(luò)，以區(qū)分假陽性和真陽性。

3、此外，提供了將對象檢測器網(wǎng)絡(luò)與生成式對抗網(wǎng)絡(luò)組合的公開系統(tǒng)。通過將這些網(wǎng)絡(luò)組合，可以區(qū)分假陽性和真陽性，從而提供更精確的輸出。通過減少假陽性，由于提高的精確性，醫(yī)生或其他專業(yè)醫(yī)護人員將會更加關(guān)注來自網(wǎng)絡(luò)的輸出。

4、此外，本公開的實施例包括這樣的神經(jīng)網(wǎng)絡(luò)：其不使用通過與專用檢測器組合的一個神經(jīng)網(wǎng)絡(luò)進行的通用特征識別。相反，針對對象檢測器部分訓練單個無縫式神經(jīng)網(wǎng)絡(luò)，這產(chǎn)生更好的專門化以及更高的精確度和效率。

5、最后，本公開的實施例被配置成在單個顯示器上顯示實時視頻(例如內(nèi)窺鏡視頻或其他醫(yī)學圖像)以及對象檢測。因此，本公開的實施例提供了視頻旁路，以使來自對象檢測器的錯誤和其他潛在缺點的潛在問題最小化。此外，可以以特別設(shè)計的方式顯示對象檢測，以更好地引起醫(yī)生或其他專業(yè)護理人員的注意。

6、在一個實施例中，一種用于利用包括感興趣特征的表示的圖像來訓練生成式對抗網(wǎng)絡(luò)的系統(tǒng)可以包括：至少一個存儲器和至少一個處理器，所述存儲器被配置成存儲指令，所述處理器被配置成執(zhí)行所述指令以進行操作。所述操作可以包括：提供第一多個圖像，所述第一多個圖像包括所述感興趣特征的表示以及所述第一多個圖像的圖像中的所述感興趣特征的位置的指示符；并且利用所述第一多個圖像和所述感興趣特征的指示符來訓練對象檢測網(wǎng)絡(luò)，以檢測所述感興趣特征。所述操作還可以包括：提供包括所述感興趣特征的表示的第二多個圖像，以及將經(jīng)訓練的對象檢測網(wǎng)絡(luò)應(yīng)用于所述第二多個圖像，以產(chǎn)生所述感興趣特征的第一多個檢測。所述第二多個圖像可以包括比第一多個圖像中包括的圖像的數(shù)量更多的圖像。所述操作還可以包括：提供關(guān)于第一多個檢測對真陽性和假陽性的手動設(shè)置的驗證；利用關(guān)于第一多個檢測對真陽性和假陽性的驗證來訓練生成式對抗網(wǎng)絡(luò)；以及利用至少另一組圖像和所述感興趣特征的檢測以及關(guān)于所述感興趣特征的進一步檢測對真陽性和假陽性的進一步手動設(shè)置的驗證來重新訓練生成式對抗網(wǎng)絡(luò)。

7、在一些實施例中，所述至少一個處理器還可以被配置成：通過提供針對兩個或更多個圖像中的感興趣特征的遺漏的檢測(missed?detection)的假陰性的驗證來重新訓練所述生成式對抗網(wǎng)絡(luò)。

8、在任何實施例中，對象檢測網(wǎng)絡(luò)可以是卷積神經(jīng)網(wǎng)絡(luò)。

9、在任何實施例中，所述第二多個圖像中的圖像的數(shù)量可以比所述第一多個圖像中所包括的圖像的數(shù)量多至少100倍。

10、在任何實施例中，所述第一多個圖像和所述第二多個圖像可以包括醫(yī)學圖像。例如，所述醫(yī)學圖像可以包括胃腸器官的圖像。

11、在任何實施例中，所述第一多個圖像和所述第二多個圖像中的至少一者包括來自內(nèi)窺鏡設(shè)備的圖像。額外地或可替代地，所述第一多個圖像和所述第二多個圖像中的至少一者包括來自成像設(shè)備的圖像，所述成像設(shè)備是在胃鏡檢查、結(jié)腸鏡檢查、腸鏡檢查、或上消化道內(nèi)窺鏡檢查(例如食道內(nèi)窺鏡檢查)中的至少一者期間使用的成像設(shè)備。

12、在任何實施例中，所述感興趣特征可以是異常。例如，所述異?？梢园ㄈ梭w組織從一種類型的細胞到另一種類型的細胞的變化。額外地或可替代地，所述異?？梢园ㄈ梭w組織從預(yù)期人體組織的位置處的缺失。額外地或可替代地，所述異?？梢园ㄈ梭w組織上的形成或人體組織的形成。

13、在任何實施例中，所述異?？砂ú∽儭＠?，所述病變可以包括息肉狀病變或非息肉狀病變。

14、在一個實施例中，一種用于訓練神經(jīng)網(wǎng)絡(luò)系統(tǒng)以檢測人體器官的圖像中的異常的方法，該方法可以包括：將包括異常的表示的多個視頻存儲在數(shù)據(jù)庫中；選擇所述多個視頻的第一子集；以及將對象檢測網(wǎng)絡(luò)的感知分支應(yīng)用于多個視頻的第一子集的幀，以產(chǎn)生對異常的第一多個檢測。所述方法還可以包括：選擇所述多個視頻的第二子集；以及利用第一多個檢測和來自所述多個視頻的所述第二子集的幀來訓練生成器網(wǎng)絡(luò)，以生成異常的多個偽表示(artificial?representation)。所述多個偽表示可以是通過殘差學習(residuallearning)來生成的。該方法還可以包括：訓練鑒別器網(wǎng)絡(luò)的對抗分支，以區(qū)分異常的偽表示和異常的真表示；將鑒別器網(wǎng)絡(luò)的對抗分支應(yīng)用于多個偽表示，以產(chǎn)生被包括在所述多個視頻的所述第二子集的幀中的所述異常的偽表示與所述異常的真表示之間的差異指示符；將所述鑒別器網(wǎng)絡(luò)的感知分支應(yīng)用于所述偽表示，以產(chǎn)生所述異常的第二多個檢測；以及基于所述差異指示符和所述第二多個檢測來重新訓練所述感知分支。這些步驟可以由至少一個處理器執(zhí)行。

15、在一些實施例中，所述異?？梢园ㄈ梭w組織從一種類型的細胞到另一種類型的細胞的變化。額外地或可替代地，所述異常可以包括人體組織從預(yù)期人體組織的位置處的缺失。額外地或可替代地，所述異?？梢园ㄈ梭w組織上的形成或人體組織的形成。

16、在任何實施例中，異?？砂ú∽?。例如，病變可以包括息肉狀病變或非息肉狀病變。

17、在任何實施例中，每個所述偽表示可以提供與所述異常的真表示高度相似的異常的假表示。

18、在任何實施例中，所述生成器網(wǎng)絡(luò)可以包括生成式對抗網(wǎng)絡(luò)。

19、在任何實施例中，所述鑒別器網(wǎng)絡(luò)可以包括卷積神經(jīng)網(wǎng)絡(luò)。

20、在一個實施例中，一種用于檢測人體器官的圖像中的感興趣特征的系統(tǒng)可以包括：存儲指令的至少一個存儲器以及被配置成執(zhí)行所述指令以進行操作的至少一個處理器。所述操作可以包括：從人體器官的視頻中選擇幀；對幀應(yīng)用經(jīng)訓練的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，以產(chǎn)生感興趣特征的至少一個檢測；在其中一個幀上生成所述至少一個檢測的位置的指示符；將幀重新編碼成視頻；以及輸出帶有指示符的重新編碼的視頻?？梢愿鶕?jù)上述任何實施例來訓練該神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

21、本公開的額外目的和優(yōu)點將在下面的詳細描述中部分地闡述，并且部分地將從描述中變得明了，或者可以通過本公開的實踐來學習。本公開的目的和優(yōu)點將通過在所附權(quán)利要求中特別指出的元素和組合來實現(xiàn)和獲得。

22、應(yīng)當理解，前面總體上的描述和以下詳細描述僅是示例性和解釋性的，而不是對所公開的實施例進行限制。