背景技術：

1、在醫(yī)療程序期間捕獲的基于光的圖像數據在此類程序期間和之后具有許多用途。例如，在醫(yī)療程序期間可以顯示來自內窺鏡的醫(yī)療圖像數據，以幫助醫(yī)療人員執(zhí)行該程序。作為另一個示例，在醫(yī)療程序期間捕獲的醫(yī)療圖像數據可以用作計算機輔助醫(yī)療系統的控制信號。作為另一個示例，在醫(yī)療程序期間捕獲的醫(yī)療圖像數據也可以在醫(yī)療程序之后用于術后評估、診斷、指導等。

2、各種照射和圖像感測技術已被用于捕獲醫(yī)療程序的圖像。可見光譜發(fā)光源和圖像傳感器已被用于捕獲醫(yī)療程序的彩色(白光)圖像。不可見光譜圖像傳感器，有時與不可見光譜發(fā)光源配對，已被用于捕獲醫(yī)療程序的不可見光譜圖像。

技術實現思路

1、以下描述呈現了本文所述系統和方法的一個或多個方面的簡化
技術實現要素：
。本發(fā)明內容不是對所有預期方面的廣泛概述，并且既不旨在識別所有方面的關鍵或重要元件/元素(element)，也不旨在勾勒任何或所有方面的范圍。其唯一目的是呈現本文所述系統和方法的一個或多個方面，作為下文呈現的具體實施方式的前奏。

2、一種說明性系統包括：存儲指令的存儲器；和一個或多個處理器，其通信地耦合到存儲器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項的過程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場景的照射；以及使用機器學習模塊處理第一圖像序列和第二圖像序列。

3、另一個說明性系統包括：存儲指令的存儲器；和一個或多個處理器，其通信地耦合到存儲器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項的過程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出，對第一圖像序列執(zhí)行操作。

4、另一個說明性系統包括：存儲指令的存儲器；和一個或多個處理器，其通信地耦合到存儲器，并被配置為執(zhí)行所述指令以執(zhí)行包括以下項的過程：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于通過可見光譜光的與醫(yī)療程序相關聯的場景的照射；將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出生成預測。

5、一種說明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場景的照射；以及使用機器學習模塊處理第一圖像序列和第二圖像序列。

6、另一個說明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；以及將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出，對第一圖像序列執(zhí)行操作。

7、另一個說明性方法包括：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出生成預測。

8、一種說明性非瞬態(tài)計算機可讀介質可以存儲指令，所述指令在執(zhí)行時指導計算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場景的照射；以及使用機器學習模塊處理第一圖像序列和第二圖像序列。

9、另一個說明性非瞬態(tài)計算機可讀介質可以存儲指令，所述指令在執(zhí)行時指導計算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；以及將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出，對第一圖像序列執(zhí)行操作。

10、另一個說明性非瞬態(tài)計算機可讀介質可以存儲指令，所述指令在執(zhí)行時指導計算裝置的處理器：訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；將第一圖像提供給經訓練機器學習模型，其中經訓練機器學習模型已經使用包括第二圖像的第二圖像序列進行了訓練；以及基于機器學習模型的輸出生成預測

技術特征：

1.一種系統，包括：

2.根據權利要求1所述的系統，其中所述第二圖像基于紅外光的感測。

3.根據權利要求2所述的系統，其中所述紅外光包括由被照射的熒光團發(fā)射的光。

4.根據權利要求1所述的系統，其中所述機器學習模塊包括機器學習算法，并且其中所述處理包括通過所述機器學習算法基于所述第一圖像序列和所述第二圖像序列訓練機器學習模型。

5.根據權利要求1所述的系統，其中所述機器學習模塊包括經訓練機器學習模型，并且其中所述處理包括通過所述經訓練機器學習模型基于所述第一圖像序列和所述第二圖像序列生成預測。

6.根據權利要求5所述的系統，其中所述預測包括以下中的一個或多個：預測圖像、指示所述第一圖像序列或所述第二圖像序列中的一個或多個中的特征的預測標簽、圖像分割、醫(yī)療程序的預測階段或與所述場景對應的預測幾何形狀。

7.根據權利要求5所述的系統，所述過程還包括將所述預測提供給基于所述預測執(zhí)行操作的計算機輔助醫(yī)療系統。

8.根據權利要求1所述的系統，其中所述處理包括基于所述第二圖像序列為所述第一圖像序列生成標簽。

9.根據權利要求8所述的系統，其中所述處理還包括基于所述第一圖像序列和所述標簽訓練機器學習模型。

10.一種系統，包括：

11.根據權利要求10所述的系統，所述過程還包括基于所述機器學習模型的所述輸出，生成用于與計算機輔助醫(yī)療系統一起使用的預測。

12.根據權利要求11所述的系統，所述過程還包括基于所述預測，通過所述計算機輔助醫(yī)療系統的顯示器顯示用戶接口。

13.根據權利要求11所述的系統，所述過程還包括基于所述預測，控制所述計算機輔助醫(yī)療系統的部件的移動。

14.根據權利要求10所述的系統，其中所述輸出包括所述第一圖像中的圖像的修改版本，并且其中所述操作包括顯示所述圖像的所述修改版本。

15.根據權利要求14所述的系統，其中所述圖像的所述修改版本包括所述圖像的分割。

16.根據權利要求10所述的系統，其中所述操作包括以下中的一個或多個：分割所述第一圖像中的圖像、標記所述圖像、對所述圖像進行分類、重建所述場景的幾何形狀或度量，或識別所述圖像中描繪的特征。

17.根據權利要求16所述的系統，其中所述輸出包括與所述圖像相關聯的標簽，并且其中所述標簽包括組織的類型、器官的識別中的至少一個的指示或對象的類型的指示。

18.根據權利要求10所述的系統，其中所述操作包括以下中的一個或多個：在所述第一圖像中的圖像中標記解剖特征或增強所述圖像中的解剖特征。

19.根據權利要求10所述的系統，其中所述操作包括確定與第一圖像相關聯的類別。

20.根據權利要求19所述的系統，其中所述類別包括所述醫(yī)療程序的階段。

21.根據權利要求10所述的系統，所述過程還包括：

22.根據權利要求10所述的系統，其中所述第二圖像基于使用不可見光譜光的所述場景的照射。

23.根據權利要求10所述的系統，其中所述第二圖像基于使用不可見光譜光的與不同醫(yī)療程序相關聯的場景的照射。

24.根據權利要求10所述的系統，其中所述第二圖像包括具有基于不可見光圖像生成的標簽的可見光圖像。

25.一種系統，包括：

26.根據權利要求25所述的系統，其中所述預測被提供給計算機輔助醫(yī)療系統。

27.根據權利要求26所述的系統，其中所述計算機輔助醫(yī)療系統基于所述預測執(zhí)行操作。

28.根據權利要求25所述的系統，其中所述過程還包括基于所述預測對計算機輔助醫(yī)療系統執(zhí)行操作。

29.根據權利要求28所述的系統，其中執(zhí)行所述操作包括以下中的一個或多個：通過所述計算機輔助醫(yī)療系統的顯示器顯示圖形用戶接口，通過所述計算機輔助醫(yī)療系統的所述顯示器顯示被包括在所述第一圖像中的圖像，或者控制所述計算機輔助醫(yī)療系統的部件的移動。

30.根據權利要求25所述的系統，其中所述預測被提供給被配置為生成的增強現實系統。

31.根據權利要求25所述的系統，其中所述預測包括以下中的一個或多個：解剖標簽、第一圖像的分割、組織內解剖特征的記號或增強的第一圖像。

32.根據權利要求25所述的系統，其中所述經訓練機器學習模型包括回歸模型、決策樹模型、隨機森林模型、邏輯回歸模型、支持向量機模型、樸素貝葉斯分類器模型、線性回歸模型或神經網絡模型。

33.根據權利要求25所述的系統，還包括基于所述預測，修改或標記被包括在所述第一圖像中的圖像。

34.根據權利要求33所述的系統，其中所修改或標記的圖像被提供給計算機輔助醫(yī)療系統。

35.根據權利要求25所述的系統，其中所述第二圖像基于使用不可見光譜光的所述場景的照射。

36.根據權利要求25所述的系統，其中所述第二圖像基于使用不可見光譜光的與不同醫(yī)療程序相關聯的場景的照射。

37.根據權利要求25所述的系統，其中所述第二圖像包括具有基于不可見光圖像生成的標簽的可見光圖像。

38.一種由一個或多個計算裝置執(zhí)行的方法，所述方法包括：

39.一種由一個或多個計算裝置執(zhí)行的方法，所述方法包括：

40.一種由一個或多個計算裝置執(zhí)行的方法，所述方法包括：

41.一種存儲指令的非瞬態(tài)計算機可讀介質，所述指令在執(zhí)行時指導計算裝置的處理器：

42.一種存儲指令的非瞬態(tài)計算機可讀介質，所述指令在執(zhí)行時指導計算裝置的處理器：

43.一種存儲指令的非瞬態(tài)計算機可讀介質，所述指令在執(zhí)行時指導計算裝置的處理器：

技術總結
說明性系統可以訪問在醫(yī)療程序期間由成像裝置捕獲的第一圖像序列，第一圖像序列包括第一圖像，第一圖像基于使用可見光譜光的與醫(yī)療程序相關聯的場景的照射；訪問在醫(yī)療程序期間由成像裝置捕獲的第二圖像序列，第二圖像序列包括第二圖像，第二圖像基于使用不可見光譜光的場景的照射；并將第一圖像序列和第二圖像序列提供給機器學習模塊。

技術研發(fā)人員：A·M·扎克,T·W·羅杰斯
受保護的技術使用者：直觀外科手術操作公司
技術研發(fā)日：
技術公布日：2025/1/28