本技術涉及車輛與環(huán)境感知交叉，特別涉及一種基于深度學習的汽車列車鉸接角度視覺估計方法及裝置。

背景技術：

1、汽車列車，作為一種新型的自動軌道交通模式，逐漸在中國越來越多的都市成為了一種重要且日常的交通工具。與傳統(tǒng)乘用車相比，汽車列車由多個車輛單元通過鉸鏈連接而成，因此在運輸效率上具有優(yōu)勢。作為一個明顯更復雜的動態(tài)系統(tǒng)，汽車列車更容易出現(xiàn)不穩(wěn)定的運動，在實際使用過程中，汽車列車面臨著更多的挑戰(zhàn)。其中，鉸接角度始終是自動駕駛系統(tǒng)的必要和不可避免的變量，鉸接角度構成了汽車列車與乘用車動態(tài)特性最顯著和決定性的區(qū)別，鉸接角度在確定汽車列車的運動中起著重要作用。所以，測量或估計鉸接角度的重要性不言而喻。

2、相關技術中，鉸接角度多是使用角度傳感器測量的，例如激光測距儀等高精度測量設備。通常將角度傳感器安裝在鉸接點附近，以實現(xiàn)實時測量鉸接角度的功能。

3、然而，相關技術中使用角度傳感器進行鉸接角度測量，角度傳感器容易受到物理損壞，定期更換十分不便，且因為汽車列車的耦合和解耦過程十分繁重，角度傳感器由于耦合和解耦的不便性，在實際使用過程中也十分不便，亟待解決。

技術實現(xiàn)思路

1、本技術提供一種基于深度學習的汽車列車鉸接角度視覺估計方法及裝置，以解決相關技術中使用角度傳感器進行鉸接角度測量，角度傳感器容易受到物理損壞，定期更換十分不便，且因為汽車列車的耦合和解耦過程十分繁重，角度傳感器由于耦合和解耦的不便性，在實際使用過程中也十分不便等問題。

2、本技術第一方面實施例提供一種基于深度學習的汽車列車鉸接角度視覺估計方法，包括以下步驟：獲取設置在汽車列車上的全景環(huán)視系統(tǒng)所捕捉的視覺圖像和所述汽車列車的兩個車輛單元之間的角度真實值；構建目標神經(jīng)網(wǎng)絡，計算所述角度真實值在所述視覺圖像的對應時間點上的空間姿態(tài)真實值，以利用所述空間姿態(tài)真實值構建目標損失函數(shù)，利用所述目標損失函數(shù)訓練所述目標神經(jīng)網(wǎng)絡，以得到訓練后的神經(jīng)網(wǎng)絡，其中，所述空間姿態(tài)真實值包括旋轉矩陣和平移向量；將所述視覺圖像輸入到所述訓練后的神經(jīng)網(wǎng)絡，提取所述汽車列車的兩個車輛單元之間相對空間姿態(tài)的特征，通過convlstm補償所述特征的時間依賴性，得到編碼后的特征，以從所述編碼后的特征解碼目標的空間姿態(tài)；將所述空間姿態(tài)的旋轉矩陣分解為歐拉角，以估計所述汽車列車的車輛鉸接角度。

3、可選地，在本技術的一個實施例中，在計算所述角度真實值在所述視覺圖像對應時間點上的空間姿態(tài)真實值之前，還包括：獲取所述汽車列車的兩個車輛單元之間的第一夾角和第二夾角，其中，所述第一夾角為兩個車輛單元之間的夾角小于180°的一側，所述第二夾角為兩個車輛單元之間的夾角大于180°的一側；基于所述第一夾角和所述第二夾角，確定所述角度真實值。

4、可選地，在本技術的一個實施例中，所述計算所述角度真實值在所述視覺圖像的對應時間點上的空間姿態(tài)真實值，包括：補償所述全景環(huán)視系統(tǒng)的安裝角度，使所述全景環(huán)視系統(tǒng)的采集平面旋轉到所述汽車列車的運動平面，以計算所述角度真實值在所述視覺圖像的對應時間點上的空間姿態(tài)真實值。

5、可選地，在本技術的一個實施例中，所述空間姿態(tài)真實值中的旋轉矩陣為：

6、

7、其中，為t時刻在所述空間姿態(tài)真實值中的旋轉矩陣，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻在車輛的運動平面上圍繞y軸旋轉θ角度的旋轉矩陣，使相機坐標系到相鄰相機坐標系的旋轉變換，θ是鉸接角度，xri(γ)表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，其中，

8、

9、

10、可選地，在本技術的一個實施例中，所述空間姿態(tài)真實值中的平移向量為：

11、

12、其中，表示t時刻在所述空間姿態(tài)真實值中的平移向量，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻在車輛的運動平面上圍繞y軸旋轉θ角度的旋轉矩陣，使相機坐標系到相鄰相機坐標系的旋轉變換，θ是鉸接角度，tw表示同一車輛一側到另一側的橫向位移，tw＝[0，0，sw]t，sw表示車輛寬度，tl表示從相機安裝點到車輛鉸接點的縱向位移，tl＝[sl，0，0]t，sl表示從相機安裝點到車輛鉸接點的縱向側向距離。

13、可選地，在本技術的一個實施例中，所述目標神經(jīng)網(wǎng)絡的網(wǎng)絡結構、輸入和輸出分別為：

14、

15、h(t)＝convlstm(h(t-1)，c(t-1)，x(t))，

16、

17、其中，表示相鄰相機坐標系的相機cj在時間t捕獲的圖像，表示相機坐標系的相機ci在時間t捕獲的圖像，x(t)表示輸入層在時間t得到的特征圖，penc表示姿態(tài)編碼器，convlstm表示深度學習模型的單層convlstm，h(t)表示在時間t單層convlstm的隱藏狀態(tài)，h(t-1)表示在前一時間的隱藏狀態(tài)，c(t-1)表示在前一時間的單元狀態(tài)，表示在時間t從相機坐標系到相鄰相機坐標系的第一空間姿態(tài)估計結果，pdec表示姿態(tài)解碼器。

18、可選地，在本技術的一個實施例中，所述利用所述目標損失函數(shù)訓練所述目標神經(jīng)網(wǎng)絡的表達式為：

19、

20、

21、

22、

23、其中，表示第一空間姿態(tài)估計結果的轉置結果，xri(γ)表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣的轉置結果，表示空間鉸接姿態(tài)的估計結果，表示第一平移向量的估計結果，表示在t時刻所述空間姿態(tài)真實值中的平移向量，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻的損失函數(shù)，frob表示frobenius范數(shù)，λ表示權重系數(shù)，i是單位矩陣，表示目標損失函數(shù)，t表示網(wǎng)絡輸入的圖像序列時間長度，表示某一鉸接角度θ對應的概率密度，tw＝[0，0，sw]t，sw表示車輛寬度，tl表示從相機安裝點到車輛鉸接點的縱向位移，tl＝[sl，0，0]t，sl表示從相機安裝點到車輛鉸接點的縱向側向距離，為t時刻在所述空間姿態(tài)真實值中的旋轉矩陣。

24、本技術第二方面實施例提供一種基于深度學習的汽車列車鉸接角度視覺估計裝置，包括：獲取模塊，用于獲取設置在汽車列車上的全景環(huán)視系統(tǒng)所捕捉的視覺圖像和所述汽車列車的兩個車輛單元之間的角度真實值；計算模塊，用于構建目標神經(jīng)網(wǎng)絡，計算所述角度真實值在所述視覺圖像的對應時間點上的空間姿態(tài)真實值，以利用所述空間姿態(tài)真實值構建目標損失函數(shù)，利用所述目標損失函數(shù)訓練所述目標神經(jīng)網(wǎng)絡，以得到訓練后的神經(jīng)網(wǎng)絡，其中，所述空間姿態(tài)真實值包括旋轉矩陣和平移向量；解碼模塊，用于將所述視覺圖像輸入到所述訓練后的神經(jīng)網(wǎng)絡，提取所述汽車列車的兩個車輛單元之間相對空間姿態(tài)的特征，通過convlstm補償所述特征的時間依賴性，得到編碼后的特征，以從所述編碼后的特征解碼目標的空間姿態(tài)；估計模塊，用于將所述空間姿態(tài)的旋轉矩陣分解為歐拉角，以估計所述汽車列車的車輛鉸接角度。

25、可選地，在本技術的一個實施例中，還包括：獲取模塊，用于在計算所述角度真實值在所述視覺圖像對應時間點上的空間姿態(tài)真實值之前，獲取所述汽車列車的兩個車輛單元之間的第一夾角和第二夾角，其中，所述第一夾角為兩個車輛單元之間的夾角小于180°的一側，所述第二夾角為兩個車輛單元之間的夾角大于180°的一側；確定模塊，用于基于所述第一夾角和所述第二夾角，確定所述角度真實值。

26、可選地，在本技術的一個實施例中，所述計算模塊，包括：補償單元，用于補償所述全景環(huán)視系統(tǒng)的安裝角度，使所述全景環(huán)視系統(tǒng)的采集平面旋轉到所述汽車列車的運動平面，以計算所述角度真實值在所述視覺圖像的對應時間點上的空間姿態(tài)真實值。

27、可選地，在本技術的一個實施例中，所述空間姿態(tài)真實值中的旋轉矩陣為：

28、

29、其中，為t時刻在所述空間姿態(tài)真實值中的旋轉矩陣，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻在車輛的運動平面上圍繞y軸旋轉θ角度的旋轉矩陣，使相機坐標系到相鄰相機坐標系的旋轉變換，θ是鉸接角度，xri(γ)表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，其中，

30、

31、

32、可選地，在本技術的一個實施例中，所述空間姿態(tài)真實值中的平移向量為：

33、

34、其中，表示t時刻在所述空間姿態(tài)真實值中的平移向量，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻在車輛的運動平面上圍繞y軸旋轉θ角度的旋轉矩陣，使相機坐標系到相鄰相機坐標系的旋轉變換，θ是鉸接角度，tw表示同一車輛一側到另一側的橫向位移，tw＝[0，0，sw]t，sw表示車輛寬度，tl表示從相機安裝點到車輛鉸接點的縱向位移，tl＝[sl，0，0]t，sl表示從相機安裝點到車輛鉸接點的縱向側向距離。

35、可選地，在本技術的一個實施例中，所述目標神經(jīng)網(wǎng)絡的網(wǎng)絡結構、輸入和輸出分別為：

36、

37、h(t)＝convlstm(h(t-1)，c(t-1)，x(t))，

38、

39、其中，表示相鄰相機坐標系的相機cj在時間t捕獲的圖像，表示相機坐標系的相機ci在時間t捕獲的圖像，x(t)表示輸入層在時間t得到的特征圖，penc表示姿態(tài)編碼器，convlstm表示深度學習模型的單層convlstm，h(t)表示在時間t單層convlstm的隱藏狀態(tài)，h(t-1)表示在前一時間的隱藏狀態(tài)，c(t-1)表示在前一時間的單元狀態(tài)，表示在時間t從相機坐標系到相鄰相機坐標系的第一空間姿態(tài)估計結果，pdec表示姿態(tài)解碼器。

40、可選地，在本技術的一個實施例中，所述利用所述目標損失函數(shù)訓練所述目標神經(jīng)網(wǎng)絡的表達式為：

41、

42、

43、

44、

45、其中，表示第一空間姿態(tài)估計結果的轉置結果，xri(γ)表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示圍繞相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣的轉置結果，表示空間鉸接姿態(tài)的估計結果，表示第一平移向量的估計結果，表示在t時刻所述空間姿態(tài)真實值中的平移向量，表示圍繞相鄰相機坐標系的x軸旋轉π/2-γ角度的旋轉矩陣，表示t時刻的損失函數(shù)，frob表示frobenius范數(shù)，λ表示權重系數(shù)，i是單位矩陣，表示所述目標損失函數(shù)，t表示網(wǎng)絡輸入的圖像序列時間長度，表示某一鉸接角度θ對應的概率密度，tw＝[0，0，sw]t，sw表示車輛寬度，tl表示從相機安裝點到車輛鉸接點的縱向位移，tl＝[sl，0，0]t，sl表示從相機安裝點到車輛鉸接點的縱向側向距離，為t時刻在所述空間姿態(tài)真實值中的旋轉矩陣。

46、本技術第三方面實施例提供一種電子設備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述程序，以實現(xiàn)如上述實施例所述的基于深度學習的汽車列車鉸接角度視覺估計方法。

47、本技術第四方面實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如上的基于深度學習的汽車列車鉸接角度視覺估計方法。

48、本技術第五方面實施例提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被執(zhí)行時，以用于實現(xiàn)如上的基于深度學習的汽車列車鉸接角度視覺估計方法。

49、本技術實施例可以通過獲取全景系統(tǒng)捕獲的視覺圖像和角度真實值提取車輛單元之間相對空間姿態(tài)的特征，再通過姿態(tài)解碼器從編碼后的特征中解碼出目標的空間姿態(tài)信息，最后將空間姿態(tài)的旋轉矩陣分解為歐拉角來估計出汽車列車的車輛鉸接角度。由此，實現(xiàn)了僅利用安裝在汽車列車上的全景環(huán)視系統(tǒng)所捕捉的視覺圖像和角度真實值，對車輛鉸接角度進行估計，避免了角度傳感器易受物理損傷的風險，減少了因物理損傷導致的傳感器故障風險，為角度傳感器提供了熱備冗余，提高了系統(tǒng)的可靠性和耐用性，并且不會對汽車列車的耦合和解耦過程造成干擾，降低了成本并簡化了安裝和維護過程。由此，解決了相關技術中使用角度傳感器進行鉸接角度測量，角度傳感器容易受到物理損壞，定期更換十分不便，且因為汽車列車的耦合和解耦過程十分繁重，角度傳感器由于耦合和解耦的不便性，在實際使用過程中也十分不便等問題。

50、本技術附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術的實踐了解到。