本技術(shù)涉及車輛故障診斷，具體涉及一種車輛故障診斷模型及其訓練和使用方法、裝置及介質(zhì)。

背景技術(shù)：

1、隨著人們生活水平的不斷提高，越來越多的家庭都購買汽車作為代步工具。然而汽車在使用過程中可能會出現(xiàn)各種故障，特別是在汽車的行駛過程中出現(xiàn)的故障需要及時發(fā)現(xiàn)和處理，以保證行駛安全性。

2、隨著新能源汽車技術(shù)的不斷發(fā)展，越來越多的汽車都可以聯(lián)網(wǎng)云平臺，在車輛發(fā)生故障時，故障反饋機制會將故障信號和故障數(shù)據(jù)上傳至云平臺，以供運維人員查看和分析故障。目前云平臺也有采用機器學習的方式對故障信息和故障數(shù)據(jù)進行分析，以識別故障類型和解決措施，然而該機器學習方式只能診斷單一類型的故障，其他類型的故障識別精度較低，對于不同類型的故障則需要重新構(gòu)建和訓練模型，這樣就會導致較大的時間成本和經(jīng)濟成本。

3、因此，亟需構(gòu)建一種針對多種類型的故障可以進行高效和高精度識別、診斷的模型。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，提出了本技術(shù)。本技術(shù)的實施例提供了一種車輛故障診斷模型及其訓練和使用方法、裝置及介質(zhì)。

2、根據(jù)本技術(shù)的一個方面，提供了一種車輛故障診斷模型的訓練方法，包括：獲取故障數(shù)據(jù)；其中，所述故障數(shù)據(jù)包括故障信號、故障描述文本和真實故障類型，所述故障信號和所述故障描述文本均包括時間特征和空間特征；根據(jù)所述故障信號，獲得故障圖片；其中，所述故障圖片由所述故障信號進行時頻域轉(zhuǎn)化獲得；根據(jù)所述故障圖片、所述故障描述文本和初始模型，獲得與所述故障圖片和所述故障描述文本所對應的預測故障類型；其中，所述初始模型包括知識交融模塊和分類模塊，所述知識交融模塊用于基于所述時間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征獲得所述預測故障類型；調(diào)整所述初始模型的模型參數(shù)，以減少所述真實故障類型和所述預測故障類型之間的損失，獲得所述車輛故障診斷模型。

3、在一實施例中，所述調(diào)整所述初始模型的模型參數(shù)，以減少所述真實故障類型和所述預測故障類型之間的損失，獲得所述車輛故障診斷模型，包括：基于所述故障圖片和所述故障描述文本，計算所述初始模型的空間損失函數(shù)；基于所述故障圖片和所述故障描述文本，計算所述初始模型的時間損失函數(shù)；基于所述空間損失函數(shù)和所述時間損失函數(shù)，計算所述初始模型的損失函數(shù)；基于所述初始模型的損失函數(shù)，調(diào)整所述初始模型的模型參數(shù)，以實現(xiàn)所述真實故障類型和所述預測故障類型之間的損失小于預設的損失閾值，獲得所述車輛故障診斷模型。

4、在一實施例中，所述基于所述故障圖片和所述故障描述文本，計算所述初始模型的空間損失函數(shù)，包括：所述知識交融模塊包括多個前向反饋層，采用多個所述前向反饋層分別對所述故障圖片和所述故障描述文本進行特征識別，得到多個特征對；其中，每個特征對包括同一個故障對應的圖片特征和文本特征；基于多個所述特征對，計算所述空間損失函數(shù)。

5、在一實施例中，所述采用多個所述前向反饋層分別對所述故障圖片和所述故障描述文本進行特征識別，得到多個特征對，包括：計算每個所述前向反饋層識別所述故障圖片和所述故障描述文本的概率；按照所述概率由大至小選取預定數(shù)量的所述前向反饋層對所述故障圖片和所述故障描述文本進行特征識別，得到多個所述特征對。

6、在一實施例中，所述基于多個所述特征對，計算所述空間損失函數(shù)，包括：計算每個所述特征對中所述故障圖片和所述故障描述文本的全局損失函數(shù)和局部損失函數(shù)；基于所有所述特征對對應的所述全局損失函數(shù)和所述局部損失函數(shù)，計算所述空間損失函數(shù)。

7、在一實施例中，所述基于所述故障圖片和所述故障描述文本，計算所述初始模型的時間損失函數(shù)，包括：計算所述故障圖片和所述故障描述文本在時間維度的偏差；基于所述故障圖片和所述故障描述文本在時間維度的偏差，計算所述時間損失函數(shù)。

8、在一實施例中，所述基于所述時間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，包括：計算所述故障圖片和所述故障描述文本之間的時間偏差、所述故障圖片和所述故障描述文本之間的空間位置偏差；融合所述時間偏差小于預設時間閾值且所述空間位置偏差小于預設距離閾值的所述故障圖片和所述故障描述文本以得到所述圖片特征和所述文本特征。

9、根據(jù)本技術(shù)的另一個方面，提供了一種車輛故障診斷模型，包括：知識交融模塊和分類模塊，所述知識交融模塊用于基于時間特征和空間特征融合故障圖片和故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征得到車輛故障類型；其中，所述車輛故障診斷模型采用上述任一項所述的車輛故障診斷模型的訓練方法得到。

10、在一實施例中，所述知識交融模塊包括多個前向反饋層，多個所述前向反饋層分別對所述故障圖片和所述故障描述文本進行特征識別，得到多個特征對；其中，每個特征對包括同一個故障對應的圖片特征和文本特征。

11、根據(jù)本技術(shù)的另一個方面，提供了一種車輛故障診斷模型的使用方法，包括：獲取目標車輛的故障數(shù)據(jù)；其中，所述目標車輛的故障數(shù)據(jù)包括所述目標車輛的故障信號和故障描述文本；將所述目標車輛的故障信號和故障描述文本輸入車輛故障診斷模型，得到所述目標車輛的故障類型；其中，所述車輛故障診斷模型采用上述任一項所述的車輛故障診斷模型的訓練方法得到。

12、根據(jù)本技術(shù)的另一個方面，提供了一種車輛故障診斷模型的訓練裝置，包括：故障數(shù)據(jù)獲取模塊，用于獲取故障數(shù)據(jù)；其中，所述故障數(shù)據(jù)包括故障信號、故障描述文本和真實故障類型，所述故障信號和所述故障描述文本均包括時間特征和空間特征；故障圖片獲取模塊，用于根據(jù)所述故障信號，獲得故障圖片；其中，所述故障圖片由所述故障信號進行時頻域轉(zhuǎn)化獲得；預測類型識別模塊，用于根據(jù)所述故障圖片、所述故障描述文本和初始模型，獲得與所述故障圖片和所述故障描述文本所對應的預測故障類型，其中，所述初始模型包括知識交融模塊和分類模塊，所述知識交融模塊用于基于所述時間特征和所述空間特征融合所述故障圖片和所述故障描述文本以得到所述故障圖片的圖片特征和所述故障描述文本的文本特征，所述分類模塊用于基于所述圖片特征和所述文本特征獲得所述預測故障類型；模型參數(shù)調(diào)整模塊，用于調(diào)整所述初始模型的模型參數(shù)，以減少所述真實故障類型和所述預測故障類型之間的損失，獲得所述車輛故障診斷模型。

13、根據(jù)本技術(shù)的另一個方面，提供了一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序用于執(zhí)行上述任一所述的車輛故障診斷模型的訓練方法、和/或上述的車輛故障診斷模型的使用方法。

14、本技術(shù)提供的一種車輛故障診斷模型及其訓練和使用方法、裝置及介質(zhì)，通過獲取故障數(shù)據(jù)；其中，故障數(shù)據(jù)包括故障信號、故障描述文本和真實故障類型，故障信號和故障描述文本均包括時間特征和空間特征；根據(jù)故障信號，獲得故障圖片；其中，故障圖片由故障信號進行時頻域轉(zhuǎn)化獲得；根據(jù)故障圖片、故障描述文本和初始模型，獲得與故障圖片和故障描述文本所對應的預測故障類型；其中，初始模型包括知識交融模塊和分類模塊，知識交融模塊用于基于時間特征和空間特征融合故障圖片和故障描述文本以得到故障圖片的圖片特征和故障描述文本的文本特征，分類模塊用于基于圖片特征和文本特征獲得預測故障類型；調(diào)整初始模型的模型參數(shù)，以減少真實故障類型和預測故障類型之間的損失，獲得車輛故障診斷模型；即通過獲取故障信號、故障描述文本和真實故障類型以獲知故障的時間特征和空間特征以及不同類型的故障之間的關(guān)聯(lián)性，從而可以實現(xiàn)多種類型的故障診斷，并且將故障信號轉(zhuǎn)換為故障圖片以降低故障信號中的噪聲信號，基于時間特征和空間特征融合故障圖片和故障描述文本以得到故障圖片的圖片特征和故障描述文本的文本特征，并基于圖片特征和文本特征以獲得預測故障類型，以融合多模態(tài)特征提高診斷精度，且從時間和空間兩個維度匹配圖片特征和文本特征，以進一步提高模型的診斷精度和準確性。