本發(fā)明涉及人工智能與機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種多域特征融合網(wǎng)絡(luò)解碼方法。

背景技術(shù)：

1、在精細(xì)動(dòng)作運(yùn)動(dòng)想象領(lǐng)域，當(dāng)前技術(shù)廣泛采用lstm、gru、cnn等深度學(xué)習(xí)模型，結(jié)合csp、psd、de等特征提取方法，以及svm、lda等分類(lèi)器，實(shí)現(xiàn)運(yùn)動(dòng)想象的解碼與分類(lèi)。eegnet作為一種專(zhuān)為eeg信號(hào)設(shè)計(jì)的緊湊型網(wǎng)絡(luò)，通過(guò)不同卷積塊有效提取腦電信號(hào)特征。此外，集成學(xué)習(xí)策略也被用于整合多通道信息，提升解碼性能。盡管技術(shù)多樣且取得一定成果，但當(dāng)前技術(shù)未能充分利用各特征域蘊(yùn)含的豐富信息，導(dǎo)致精細(xì)動(dòng)作運(yùn)動(dòng)想象的解碼精度難以達(dá)到理想狀態(tài)。各技術(shù)間缺乏有效融合與互補(bǔ)，限制了整體性能的提升。因此現(xiàn)有方法沒(méi)有利用到全部特征信息以及沒(méi)有對(duì)特征信息進(jìn)行增強(qiáng)導(dǎo)致同一上肢精細(xì)動(dòng)作解碼效果低的問(wèn)題，仍是亟待解決的問(wèn)題。

2、例如，一種在中國(guó)專(zhuān)利文獻(xiàn)上公開(kāi)的“基于時(shí)頻空注意力解耦的認(rèn)知信號(hào)解碼方法”，其公告號(hào)cn118228771a，包括首先構(gòu)建由基于多視野注意力的頻域特征提取模塊、基于動(dòng)態(tài)腦連接圖注意力的空間域特征提取模塊、融合模塊、基于局部時(shí)間滑窗注意力的時(shí)域特征提取模塊、聚合模塊構(gòu)成的基于時(shí)頻空注意力解耦的認(rèn)知信號(hào)解碼系統(tǒng)，然后準(zhǔn)備訓(xùn)練解碼系統(tǒng)所需的數(shù)據(jù)集，采用數(shù)據(jù)集中的訓(xùn)練集對(duì)解碼系統(tǒng)進(jìn)行訓(xùn)練，得到訓(xùn)練后的解碼系統(tǒng)。最后采用訓(xùn)練后的解碼系統(tǒng)對(duì)輸入的腦認(rèn)知數(shù)據(jù)集開(kāi)展認(rèn)知分類(lèi)任務(wù)，得到認(rèn)知分類(lèi)結(jié)果。能夠一定程度上解決全局特征利用率低以及不同域特征提取互相干擾導(dǎo)致解碼準(zhǔn)確率低的問(wèn)題，然而其計(jì)算較為復(fù)雜、泛化能力待驗(yàn)證，需進(jìn)一步優(yōu)化以提升實(shí)用性能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明主要解決現(xiàn)有技術(shù)中因特征信息利用不充分導(dǎo)致精細(xì)動(dòng)作解碼效果差的問(wèn)題；提供一種多域特征融合網(wǎng)絡(luò)解碼方法，通過(guò)構(gòu)建mffnca模型，集成lstm/gru、cnn、csp及時(shí)頻分析psd和de等多種技術(shù)，分別提取eeg信號(hào)的時(shí)域、空域和頻域特征。模型分為兩通道處理，一通道結(jié)合通道注意力、殘差模塊、gru和cnn增強(qiáng)時(shí)空特征；另一通道獨(dú)立處理頻域特征。通過(guò)特征融合與全連接層，實(shí)現(xiàn)高精度分類(lèi)預(yù)測(cè)，有效解決了多域特征提取與融合的挑戰(zhàn)，提升了eeg信號(hào)解碼的準(zhǔn)確性和魯棒性。

2、本發(fā)明的上述技術(shù)問(wèn)題主要是通過(guò)下述技術(shù)方案得以解決的：

3、本發(fā)明包括：時(shí)域、空域和頻域特征提取網(wǎng)絡(luò)構(gòu)成的多域特征融合網(wǎng)絡(luò)，基于多域特征融合網(wǎng)絡(luò)中的各個(gè)特征提取網(wǎng)絡(luò)分別解碼eeg信號(hào)；從每個(gè)特征提取網(wǎng)絡(luò)中分別選取一種解碼效果結(jié)合得到mffnca網(wǎng)絡(luò)；mffnca網(wǎng)絡(luò)設(shè)置兩路并行前向的通道，通道一提取時(shí)域特征和空域特征，通道二單獨(dú)提取頻域特征，融合兩路通道的特征提取結(jié)果并通過(guò)全連接層與sigmoid函數(shù)完成分類(lèi)預(yù)測(cè)。多域特征融合網(wǎng)絡(luò)(mffnca)通過(guò)時(shí)域、空域、頻域特征提取網(wǎng)絡(luò)結(jié)合，能更全面充分地解碼eeg信號(hào)。

4、作為優(yōu)選，所述的通道一中引入增強(qiáng)空域信息的注意力模塊獲取通道關(guān)注度，基于輸入數(shù)據(jù)及其維度，引入殘差模塊還原時(shí)域信息，得到空域和時(shí)域的特征提取結(jié)果；通道二中直接利用de對(duì)輸入數(shù)據(jù)提取頻域特征；將兩路通道對(duì)于特征提取結(jié)果的輸出展平化處理，合并得到融合后的特征維度。通過(guò)引入注意力與殘差模塊增強(qiáng)空時(shí)特征，直接de提取頻域特征，融合后提升特征全面性，增強(qiáng)解碼精度與穩(wěn)定性。

5、作為優(yōu)選，所述的注意力模塊通過(guò)分析輸入數(shù)據(jù)的通道間關(guān)系，計(jì)算得到每個(gè)通道的權(quán)值矩陣，權(quán)值矩陣反映不同通道對(duì)于最終特征的貢獻(xiàn)度，基于權(quán)值對(duì)輸入數(shù)據(jù)進(jìn)行加權(quán)處理，增強(qiáng)重要通道的信息并抑制次要通道的信息。注意力模塊通過(guò)動(dòng)態(tài)調(diào)整通道權(quán)重，增強(qiáng)關(guān)鍵信息，抑制冗余，提升特征表達(dá)能力和模型性能。

6、作為優(yōu)選，所述的提取空域特征前對(duì)輸入數(shù)據(jù)提升通道維度使其滿(mǎn)足cnn要求，提升通道維度后利用cnn提取空域特征，設(shè)置四個(gè)卷積層，重新計(jì)算并還原空域特征維度后輸出，能夠增強(qiáng)特征表達(dá)能力，提高模型對(duì)復(fù)雜空域特征的捕捉能力作為優(yōu)選，所述的全連接神經(jīng)網(wǎng)絡(luò)的大小設(shè)置為維度和分類(lèi)數(shù)目組成的數(shù)組；sigmod函數(shù)負(fù)責(zé)將數(shù)值壓縮到0-1，設(shè)定該函數(shù)滿(mǎn)足對(duì)第1至與分類(lèi)數(shù)目相同個(gè)數(shù)為標(biāo)號(hào)的全連接神經(jīng)網(wǎng)絡(luò)的輸出數(shù)值求和，使其等于1。全連接層配合sigmoid，確保輸出和為1，實(shí)現(xiàn)概率化分類(lèi)，提升分類(lèi)決策的合理性和準(zhǔn)確性。

7、作為優(yōu)選，還包括對(duì)數(shù)據(jù)集進(jìn)行可視化處理以評(píng)估分類(lèi)效果步驟：使用t-sne算法將特征提取后的數(shù)據(jù)映射到二維空間，并繪制散點(diǎn)圖以直觀展示樣本的分類(lèi)效果；對(duì)比特征提取前后的樣本分布，驗(yàn)證特征提取對(duì)于提高分類(lèi)準(zhǔn)確性和區(qū)分度的有效性。能夠觀展示分類(lèi)效果，驗(yàn)證特征提取對(duì)分類(lèi)的改善，提升模型理解與優(yōu)化方向。

8、作為優(yōu)選，所述的分別利用lstm和gru作為候選時(shí)域特征提取網(wǎng)絡(luò)，cnn和csp作為候選空域特征提取網(wǎng)絡(luò)，psd和de作為候選頻域特征提取網(wǎng)絡(luò)，對(duì)eeg信號(hào)進(jìn)行解碼；在構(gòu)建mffnca網(wǎng)絡(luò)的模型時(shí)，引入殘差模塊通過(guò)添加一個(gè)恒等映射輔助特征提取。多候選網(wǎng)絡(luò)篩選最優(yōu)，殘差模塊增強(qiáng)特征提取，mffnca模型解碼更精準(zhǔn)，提升eeg信號(hào)分析能力。

9、作為優(yōu)選，直接利用離散能量分析方法對(duì)輸入數(shù)據(jù)進(jìn)行處理，de方法通過(guò)計(jì)算輸入數(shù)據(jù)在頻域上的能量分布，識(shí)別出信號(hào)中的關(guān)鍵頻率成分，從而提取出具有代表性的頻域特征。de方法直接分析頻域能量，高效提取關(guān)鍵頻率特征，簡(jiǎn)化頻域特征提取過(guò)程，提高特征代表性和分類(lèi)精度。

10、作為優(yōu)選，所述的注意力模塊通過(guò)計(jì)算通道的權(quán)值矩陣得到通道關(guān)注度；設(shè)注意力模塊的輸出結(jié)果與輸入數(shù)據(jù)維度相同。注意力模塊同維輸出能夠確保通道權(quán)重直接應(yīng)用于輸入，精準(zhǔn)增強(qiáng)關(guān)鍵通道信息，提升特征質(zhì)量。

11、作為優(yōu)選，對(duì)兩路通道提取的特征展平化處理，將多維特征矩陣轉(zhuǎn)換為一維特征向量，將特征向量逐一首尾相連合并得到兩路通道多域的所有特征。展平并合并特征，實(shí)現(xiàn)多維到一維的有效轉(zhuǎn)換，融合多域信息，提升模型綜合特征表示能力。

12、本發(fā)明的有益效果是：

13、1.本發(fā)明的一種多域特征融合網(wǎng)絡(luò)解碼方法，通過(guò)構(gòu)建多域特征融合網(wǎng)絡(luò)(mffnca)，將時(shí)域、頻域和空域特征進(jìn)行有效融合，顯著提升了精細(xì)動(dòng)作腦機(jī)接口的解碼準(zhǔn)確率；相較于單一域特征提取方法，mffnca能夠捕捉更全面的信號(hào)特征，避免了單域特征信息不足的問(wèn)題；實(shí)驗(yàn)結(jié)果表明，mffnca在mi-2數(shù)據(jù)集上達(dá)到了70.13％的平均準(zhǔn)確率，優(yōu)于其他對(duì)比方法，證明了多域特征融合在提高解碼性能方面的優(yōu)越性。

14、2.本發(fā)明的一種多域特征融合網(wǎng)絡(luò)解碼方法，mffnca網(wǎng)絡(luò)設(shè)計(jì)靈活，能夠兼容不同的特征提取模塊，如lstm、gru用于時(shí)域特征提取，cnn、csp用于空域特征提取，以及psd、de用于頻域特征提取。這種設(shè)計(jì)不僅使得mffnca能夠根據(jù)不同應(yīng)用場(chǎng)景和需求進(jìn)行定制優(yōu)化，還增強(qiáng)了其泛化能力；通過(guò)引入殘差模塊和注意力機(jī)制等深度學(xué)習(xí)技術(shù)，mffnca進(jìn)一步提升了特征提取的效率和效果，為精細(xì)動(dòng)作腦機(jī)接口技術(shù)的發(fā)展提供了有力支持。

技術(shù)特征：

1.一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，包括時(shí)域、空域和頻域特征提取網(wǎng)絡(luò)構(gòu)成的多域特征融合網(wǎng)絡(luò)，具體包括：

2.根據(jù)權(quán)利要求1所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

3.根據(jù)權(quán)利要求2所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

4.根據(jù)權(quán)利要求2所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

5.根據(jù)權(quán)利要求2所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

6.根據(jù)權(quán)利要求1或2或3或4或5所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，還包括s3：對(duì)數(shù)據(jù)集進(jìn)行可視化處理以評(píng)估分類(lèi)效果步驟：s3.1：使用t-sne算法將特征提取后的數(shù)據(jù)映射到二維空間，并繪制散點(diǎn)圖以直觀展示樣本的分類(lèi)效果；s3.2：對(duì)比特征提取前后的樣本分布，驗(yàn)證特征提取對(duì)于提高分類(lèi)準(zhǔn)確性和區(qū)分度的有效性。

7.根據(jù)權(quán)利要求1所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

8.根據(jù)權(quán)利要求2所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

9.根據(jù)權(quán)利要求2或4所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

10.根據(jù)權(quán)利要求2所述的一種多域特征融合網(wǎng)絡(luò)解碼方法，其特征在于，

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種多域特征融合網(wǎng)絡(luò)解碼方法。為了克服現(xiàn)有技術(shù)中因特征信息利用不充分導(dǎo)致精細(xì)動(dòng)作解碼效果差的問(wèn)題，本發(fā)明包括：基于多域特征融合網(wǎng)絡(luò)中的各個(gè)特征提取網(wǎng)絡(luò)分別解碼EEG信號(hào)；從每個(gè)特征提取網(wǎng)絡(luò)中分別選取一種解碼效果結(jié)合得到MFFNCA網(wǎng)絡(luò)；MFFNCA網(wǎng)絡(luò)設(shè)置兩路并行前向的通道，通道一提取時(shí)域特征和空域特征，通道二單獨(dú)提取頻域特征，融合兩路通道的特征提取結(jié)果并通過(guò)全連接層與Sigmoid函數(shù)完成分類(lèi)預(yù)測(cè)。分別提取EEG信號(hào)的時(shí)域、空域和頻域特征，一通道結(jié)合通道注意力、殘差模塊、GRU和CNN增強(qiáng)時(shí)空特征；另一通道獨(dú)立處理頻域特征；有效解決了多域特征提取與融合的挑戰(zhàn)。

技術(shù)研發(fā)人員：祝磊,袁杰,李雨,黃愛(ài)愛(ài)
受保護(hù)的技術(shù)使用者：杭州電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10