本技術涉及計算機領域，尤其是一種圖像處理方法、控制裝置、可移動機器人及介質。

背景技術：

1、隨著計算機視覺與深度學習技術的快速發(fā)展，越來越多的應用場景需要執(zhí)行復雜的圖像處理任務，例如目標檢測、關鍵點檢測和語義/實例分割等。這些任務通常使用不同的專門針對特定問題領域訓練過的深度學習模型來完成。然而，在很多情況下，如移動機器人、無人機和智能監(jiān)控系統(tǒng)等領域，終端設備的資源有限，包括但不限于計算能力、內存容量和電源。因此，在這些場景中，高效地利用有限的硬件資源變得尤為重要。

2、在多模型并行處理的情況下，資源消耗顯著增加，尤其當輸入數(shù)據以較高幀率提供的情況下，單個或多個模型可能無法及時處理所有輸入幀。此外，實時應用對延遲和準確性的要求很高，如果不能滿足這些要求，則會影響整個系統(tǒng)的性能。因此，需要一種方法來解決這些挑戰(zhàn)，使得在有限資源條件下，也能實現(xiàn)高效的實時圖像處理。

技術實現(xiàn)思路

1、本技術實施例提供了一種圖像處理方法、控制裝置、可移動機器人及介質，能夠在滿足實時性要求的同時，提高分割模型輸出的利用率。

2、第一方面，本技術實施例提供了一種圖像處理方法，包括：

3、獲取視頻流的基準幀和待匹配幀，并獲取所述基準幀經過預設的分割模型處理后輸出的分割信息；

4、對所述基準幀和所述待匹配幀進行光流點匹配，得到匹配點集；

5、根據所述匹配點集確定單應矩陣；

6、基于所述單應矩陣將所述分割信息映射至所述待匹配幀，得到目標圖像。

7、根據本技術第一方面實施例的圖像處理方法，至少有如下有益效果：本技術實施例獲取視頻流的基準幀和待匹配幀，并獲取基準幀經過預設的分割模型處理后輸出的分割信息，再對基準幀和待匹配幀進行光流點匹配，得到匹配點集，之后，根據匹配點集確定單應矩陣，最后基于單應矩陣將分割信息映射至待匹配幀，得到目標圖像。本技術實施例首先計算基準幀和待匹配幀之間的單應矩陣，利用單應矩陣可以直接從視頻流中提取和傳播特征，從而能夠將基準幀上的分割模型結果傳播到待匹配幀，并且本技術實施例只需計算單應矩陣即可實現(xiàn)對視頻流中幀的匹配，無需多模型并行處理，能夠減少資源消耗，從而能夠在有限資源條件下，實現(xiàn)更高幀率的實時應用，提高整個系統(tǒng)的穩(wěn)定性和準確性。

8、本技術的一些實施例中，所述獲取視頻流的基準幀和待匹配幀，包括：

9、當所述分割模型未被調用，將所述視頻流的當前幀作為基準幀；

10、當所述分割模型被調用，將所述視頻流的當前幀作為待匹配幀。

11、在上述技術方案中，通過判斷當前分割模型是否能夠處理視頻流中的圖像幀，實現(xiàn)對基準幀和匹配幀的區(qū)分。

12、本技術的一些實施例中，所述基于所述單應矩陣將所述分割信息映射至所述待匹配幀，得到目標圖像，包括：

13、對于所述基準幀上的每個像素點，確定所述像素點的像素坐標，并將所述像素坐標轉換為齊次坐標；

14、通過所述單應矩陣對所述齊次坐標進行映射，并對映射后的齊次坐標進行坐標轉換，得到目標坐標；

15、將所述目標坐標和所述分割信息融合至所述待匹配幀，得到目標圖像。

16、在上述技術方案中，在待匹配幀上使用目標坐標，并保留基準幀的分割信息，得到映射后的分割結果，再將映射后的分割結果與待匹配幀進行融合，從而能夠保持不同幀之間的空間一致性。

17、本技術的一些實施例中，所述對所述基準幀和所述待匹配幀進行光流點匹配，得到匹配點集，包括：

18、確定所述基準幀的特征點，并在所述待匹配幀上確定與所述特征點對應的位置，得到光流場；

19、基于所述光流場在所述待匹配幀中確定與所述特征點對應的匹配點，得到匹配點集。

20、在上述技術方案中，在光流場中執(zhí)行光流點匹配，即基于光流場在待匹配幀中確定與特征點對應的匹配點，得到匹配點集，從而能夠得到基準幀和待匹配幀之間的對應關系。

21、本技術的一些實施例中，所述根據所述匹配點集確定單應矩陣，包括：

22、基于預設的迭代算法在所述匹配點集中確定測試點集；

23、根據所述測試點集對所述基準幀和所述待匹配幀進行平面投影，得到單應矩陣。

24、在上述技術方案中，根據測試點集對基準幀和待匹配幀進行平面投影，提高點匹配的精度，得到單應矩陣，從而能夠確定基準幀到待匹配幀的平面投影關系。

25、本技術的一些實施例中，所述根據所述測試點集對所述基準幀和所述待匹配幀進行平面投影，得到單應矩陣，包括：

26、對所述測試點集進行擬合，得到測試矩陣；

27、基于所述測試矩陣對所述匹配點集中的所有匹配點進行投影，得到內點集合；

28、根據所述內點集合迭代擬合所述測試矩陣，得到單應矩陣。

29、在上述技術方案中，根據內點集合中的內點數(shù)量迭代擬合測試矩陣，得到效果最佳的單應矩陣，便于后續(xù)通過單應矩陣將基準幀中的點映射到待匹配幀中，能夠在保持像素點的共線性和共面性的同時將已處理幀上的深度學習模型結果傳播到未處理幀。

30、本技術的一些實施例中，所述基于所述光流場在所述待匹配幀中確定與所述特征點對應的匹配點，得到匹配點集，包括：

31、在所述待匹配幀中確定與所述特征點對應的匹配點，得到多組匹配點對；

32、對所述匹配點對進行篩選；

33、根據篩選后的匹配點對生成匹配點集。

34、在上述技術方案中，本技術實施例還需要對匹配點對進行篩選，實現(xiàn)對匹配點的驗證，避免出現(xiàn)匹配點錯誤配對等情況，再根據篩選后的匹配點對生成匹配點集，從而減少像素點錯誤匹配的情況，提高匹配的準確性，便于后續(xù)圖像的融合。

35、本技術的一些實施例中，所述基于所述測試矩陣對所述匹配點集中的所有匹配點進行投影，得到內點集合，包括：

36、對于所述匹配點集中的每個匹配點，根據所述測試矩陣對所述匹配點進行投影，得到所述匹配點的測試誤差；

37、將所述測試誤差與預設的誤差閾值進行對比；

38、篩選出所述測試誤差小于所述誤差閾值的所有內點，得到內點集合。

39、在上述技術方案中，篩選出測試誤差小于誤差閾值的所有內點，得到內點集合，從而提高擬合精準度。

40、本技術的一些實施例中，在對所述基準幀和所述待匹配幀進行光流點匹配，得到匹配點集之前，所述方法還包括：

41、對所述基準幀和所述待匹配幀進行畸變校正；

42、對畸變校正后的基準幀和待匹配幀進行灰度化處理。

43、在上述技術方案中，通過對基準幀和待匹配幀進行畸變校正消除設備的鏡頭畸變引入的誤差，提高基準幀和待匹配幀的圖像質量，便于后續(xù)提高光流點匹配準確性。并且通過進行灰度化處理能夠降低計算復雜度。

44、第二方面，本技術實施例還提供了一種控制裝置，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如第一方面所述的圖像處理方法。

45、第三方面，本技術實施例還提供了一種可移動機器人，包括如第二方面所述的控制裝置。

46、第四方面，本技術實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令用于使計算機執(zhí)行如第一方面所述的圖像處理方法。

47、本技術的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本技術而了解。本技術的目的和其他優(yōu)點可通過在說明書以及附圖中所特別指出的結構來實現(xiàn)和獲得。