本發(fā)明涉及智能故障識別，特別涉及一種基于跨域transformer的智能機械故障診斷方法。

背景技術(shù)：

1、遷移學(xué)習(xí)利用從一種環(huán)境中獲得的知識來幫助理解新環(huán)境中的學(xué)習(xí)任務(wù)，有效緩解由數(shù)據(jù)分布變化引起的領(lǐng)域偏移問題，這提供了克服傳統(tǒng)智能故障診斷模型局限性的潛力。遷移學(xué)習(xí)與深度學(xué)習(xí)的結(jié)合促進(jìn)了深度遷移故障診斷方法的發(fā)展，使模型能夠更好地處理復(fù)雜的故障診斷任務(wù)。常用的深度傳遞故障診斷方法大致可分為兩種方法：基于最大均值差異(mmd)的方法和基于對抗訓(xùn)練的方法。但這兩種方法都存在一些缺陷：

2、1)mmd的可靠性取決于適當(dāng)核函數(shù)的選擇，并且可能難以準(zhǔn)確表示分布之間的差異，特別是在處理有限的樣本量或高維數(shù)據(jù)時。

3、2)對抗性學(xué)習(xí)方法經(jīng)常遇到訓(xùn)練困難，因為它們需要大量的計算資源以及生成器和判別器之間的平衡，這使得它們難以實現(xiàn)和穩(wěn)定。

4、此外，這兩種方法都有一個共同的缺點，即對噪聲和異常值敏感。在現(xiàn)有的利用mmd和對抗性訓(xùn)練進(jìn)行源域和目標(biāo)域之間的類別級特征對齊方法中，大多數(shù)技術(shù)需要目標(biāo)域數(shù)據(jù)的偽標(biāo)簽信息。這種標(biāo)記過程很容易出錯，并且使用這些方法時，包含錯誤標(biāo)記的目標(biāo)數(shù)據(jù)會顯著降低特征對齊的性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種基于跨域transformer的智能機械故障診斷方法，以解決利用mmd和對抗性訓(xùn)練進(jìn)行源域和目標(biāo)域之間的類別級特征對齊方法中，標(biāo)記過程容易出錯，包含錯誤標(biāo)記的目標(biāo)數(shù)據(jù)會顯著降低特征對齊的性能，降低故障識別的準(zhǔn)確率的問題。

2、本發(fā)明實施例提供一種基于跨域transformer的智能機械故障診斷方法，包括以下步驟：

3、獲取旋轉(zhuǎn)設(shè)備的運行數(shù)據(jù)；

4、將所述運行數(shù)據(jù)作為目標(biāo)域數(shù)據(jù)輸入預(yù)先訓(xùn)練好的故障識別網(wǎng)絡(luò)進(jìn)行識別，得到所述旋轉(zhuǎn)設(shè)備的故障類型；其中，所述故障識別網(wǎng)絡(luò)由主網(wǎng)絡(luò)和子網(wǎng)絡(luò)組成，主網(wǎng)絡(luò)包括三個分支：源分支、交叉分支和目標(biāo)分支，源分支、交叉分支和目標(biāo)分支的網(wǎng)絡(luò)結(jié)構(gòu)均為vit網(wǎng)絡(luò)結(jié)構(gòu)，主網(wǎng)絡(luò)的源分支和目標(biāo)分支的輸入端口分別接收具有匹配標(biāo)簽信息的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，交叉分支用于促進(jìn)來源于源分支和目標(biāo)分支的特征的深度融合，在輸出端，主網(wǎng)絡(luò)擁有三個輸出端口，每個輸出端口分別對應(yīng)于源分支、目標(biāo)分支和交叉分支的輸出，用于為配對的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)提供預(yù)測標(biāo)簽信息，源分支和目標(biāo)分支使用自注意力機制來處理各自的輸入特征，交叉分支利用交叉—注意力機制處理來自源分支和目標(biāo)分支的輸入特征；子網(wǎng)絡(luò)與主網(wǎng)絡(luò)的目標(biāo)分支結(jié)構(gòu)相同，輸入端口接收目標(biāo)域數(shù)據(jù)，輸出端口輸出目標(biāo)域數(shù)據(jù)的標(biāo)簽信息，在每次更新主網(wǎng)絡(luò)參數(shù)之前，主網(wǎng)絡(luò)目標(biāo)分支的參數(shù)被轉(zhuǎn)移到子網(wǎng)絡(luò)中，通過子網(wǎng)絡(luò)預(yù)測目標(biāo)域數(shù)據(jù)的標(biāo)簽信息。

5、可選地，在本發(fā)明的一個實施例中，在主網(wǎng)絡(luò)中，源分支和目標(biāo)分支的輸入數(shù)據(jù)為配對的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，其中，源域數(shù)據(jù)為有標(biāo)簽數(shù)據(jù)，目標(biāo)域數(shù)據(jù)為無標(biāo)簽數(shù)據(jù)，目標(biāo)域數(shù)據(jù)的標(biāo)簽信息通過子網(wǎng)絡(luò)進(jìn)行預(yù)測，將源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)進(jìn)行配對包括以下步驟：

6、利用子網(wǎng)絡(luò)n預(yù)測目標(biāo)域數(shù)據(jù)的標(biāo)簽信息：

7、

8、其中，為子網(wǎng)絡(luò)預(yù)測的第i個目標(biāo)域數(shù)據(jù)的類別標(biāo)簽向量，表示第i個目標(biāo)域數(shù)據(jù)屬于類別k的預(yù)測概率；

9、在目標(biāo)域數(shù)據(jù)的標(biāo)簽信息預(yù)測結(jié)果中選擇具有高標(biāo)簽置信度的目標(biāo)域數(shù)據(jù)構(gòu)建數(shù)據(jù)集其中，為目標(biāo)域數(shù)據(jù)的標(biāo)簽信息預(yù)測結(jié)果，nrt小于目標(biāo)域數(shù)據(jù)的總數(shù)nt，

10、將所選擇的具有高標(biāo)簽置信度的目標(biāo)域數(shù)據(jù)與對應(yīng)的同一類別的源域數(shù)據(jù)進(jìn)行配對，從源域數(shù)據(jù)集得到的配對的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)表示為其中，為源域數(shù)據(jù)的標(biāo)簽信息。

11、可選地，在本發(fā)明的一個實施例中，在目標(biāo)域數(shù)據(jù)的標(biāo)簽信息預(yù)測結(jié)果中選擇具有高標(biāo)簽置信度的目標(biāo)域數(shù)據(jù)構(gòu)建數(shù)據(jù)集包括：

12、從預(yù)測的類別標(biāo)簽向量中選擇最高預(yù)測概率，表示為如果恰好是向量中的最大值，設(shè)置并將第i個目標(biāo)域數(shù)據(jù)的預(yù)測標(biāo)簽視為k；

13、從類別標(biāo)簽向量中刪除最高的預(yù)測概率并從剩余的預(yù)測概率中選擇下一個最高的預(yù)測概率，將其標(biāo)記為

14、判斷最高預(yù)測概率與次高預(yù)測概率的差值是否大于預(yù)設(shè)閾值，若大于預(yù)設(shè)閾值，則子網(wǎng)絡(luò)對第i個目標(biāo)域數(shù)據(jù)屬于類別k的預(yù)測有效，認(rèn)為子網(wǎng)絡(luò)對第i個目標(biāo)域數(shù)據(jù)的標(biāo)簽預(yù)測具有高標(biāo)簽置信度，保留第i個目標(biāo)域數(shù)據(jù)及其對應(yīng)的預(yù)測標(biāo)簽信息；若不大于預(yù)設(shè)閾值，則子網(wǎng)絡(luò)對于第i個目標(biāo)域數(shù)據(jù)的標(biāo)簽置信度不足，丟棄第i個目標(biāo)域數(shù)據(jù)及其對應(yīng)的預(yù)測標(biāo)簽信息，根據(jù)保留的目標(biāo)域數(shù)據(jù)構(gòu)建數(shù)據(jù)集

15、可選地，在本發(fā)明的一個實施例中，以第i對源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)為例，主網(wǎng)絡(luò)m的輸入輸出關(guān)系為：

16、

17、其中，是由主網(wǎng)絡(luò)的源分支、交叉分支和目標(biāo)分支預(yù)測的第i個成對的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的預(yù)測類標(biāo)簽向量；

18、對于源分支的輸出，采用以下優(yōu)化目標(biāo)：

19、

20、其中，θm為主網(wǎng)絡(luò)的三個分支的參數(shù)，lc表示交叉熵?fù)p失函數(shù)，交叉熵用于約束預(yù)測結(jié)果與已知標(biāo)簽信息之間的差距；

21、對于目標(biāo)分支的輸出，采用交叉熵進(jìn)行約束，優(yōu)化目標(biāo)為：

22、

23、利用從交叉分支獲得的軟標(biāo)簽來指導(dǎo)目標(biāo)分支中的參數(shù)更新，采用的優(yōu)化目標(biāo)為：

24、

25、其中，kldiv表示kullback-leibler散度，和表示兩個分支的平滑輸出，t是蒸餾溫度，grd_fix表示梯度固定操作；

26、主網(wǎng)絡(luò)參數(shù)更新的總體優(yōu)化目標(biāo)為：

27、l(θm)＝ls(θm)+α·ls(θm)+β·lkd(θm)

28、其中，0<α<1和0<β<1表示用于平衡每個組件的優(yōu)化目標(biāo)的超參數(shù)。

29、可選地，在本發(fā)明的一個實施例中，在故障識別網(wǎng)絡(luò)更新時，僅更新主網(wǎng)絡(luò)參數(shù)，主網(wǎng)絡(luò)參數(shù)更新完成后，將主網(wǎng)絡(luò)的目標(biāo)分支參數(shù)傳遞子網(wǎng)絡(luò)。

30、可選地，在本發(fā)明的一個實施例中，源分支、交叉分支和目標(biāo)分支的vit網(wǎng)絡(luò)由位置編碼器、多頭自注意力、殘差鏈接、歸一化層和多層感知機組成，分類模塊采用三層全連接神經(jīng)網(wǎng)絡(luò)，源分支和目標(biāo)分支的輸入端口分別接收具有匹配標(biāo)簽信息的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，交叉分支同時接收源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，對所接收數(shù)據(jù)進(jìn)行位置編碼，源分支和目標(biāo)分支使用自注意力機制來處理各自的輸入特征，交叉分支利用交叉—注意力機制處理來自源分支和目標(biāo)分支的輸入特征，交叉分支利用源分支的qs和目標(biāo)分支的kt和vt作為交叉分支中交叉注意力機制的q、k、v，實現(xiàn)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的特征融合。

31、本發(fā)明實施例的基于跨域transformer的智能機械故障診斷方法，首先，通過交叉注意力機制，實現(xiàn)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的特征融合，從而減少它們之間的特征分布差異。其次，引入了一種配對策略，將有標(biāo)簽的源域數(shù)據(jù)與無標(biāo)簽的目標(biāo)域數(shù)據(jù)匹配，從而實現(xiàn)交叉注意力方法。此外，設(shè)計由主網(wǎng)絡(luò)和子網(wǎng)絡(luò)組成的雙網(wǎng)絡(luò)架構(gòu)，以解決目標(biāo)域數(shù)據(jù)標(biāo)簽預(yù)測的挑戰(zhàn)。最終在軸承故障診斷案例中，與對比方法相比有最高的預(yù)測準(zhǔn)確度，經(jīng)過驗證，該方法有效地抵抗了噪聲輸入樣本的影響，并減輕了錯誤配對樣本對診斷模型識別能力的影響。工業(yè)生產(chǎn)過程中包含大量旋轉(zhuǎn)機械設(shè)備，它們在運行過程中產(chǎn)生大量監(jiān)測數(shù)據(jù)，對采集到的監(jiān)測數(shù)據(jù)進(jìn)行人工標(biāo)記太難，利用所提方法，可以顯著降低人工標(biāo)記的需求，有效緩解相近工況下監(jiān)測數(shù)據(jù)標(biāo)記問題，提高診斷的效率和準(zhǔn)確性，提高對工業(yè)旋轉(zhuǎn)機械設(shè)備故障的早期發(fā)現(xiàn)能力，減少因設(shè)備故障導(dǎo)致的停機時間，降低維護(hù)成本，并提高生產(chǎn)效率。

32、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。