技術(shù)特征：

1.基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：?jiǎn)畏逄卣髟鰪?qiáng)模塊ufem的工作過程包括：

3.如權(quán)利要求2所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：注意力機(jī)制模塊cbam包括通道注意力模塊和空間注意力模塊；注意力機(jī)制模塊cbam對(duì)全局多模態(tài)嵌入sg的處理過程包括：

4.如權(quán)利要求1述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：稀疏相控變壓器spt處理得到各模態(tài)最終特征的表達(dá)式為：

5.如權(quán)利要求1所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：s2的多任務(wù)學(xué)習(xí)中，單模態(tài)學(xué)習(xí)中的單模態(tài)預(yù)測(cè)標(biāo)簽的生成過程包括：

6.如權(quán)利要求5所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：s2的混合對(duì)比學(xué)習(xí)中，無監(jiān)督對(duì)比學(xué)習(xí)的損失函數(shù)為：

7.如權(quán)利要求6所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：s2的混合對(duì)比學(xué)習(xí)中，有監(jiān)督對(duì)比學(xué)習(xí)的損失函數(shù)的計(jì)算式為：

8.如權(quán)利要求7所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：s2中對(duì)多模態(tài)情感分析模型進(jìn)行訓(xùn)練時(shí)，整體損失函數(shù)的表達(dá)式為：

9.如權(quán)利要求8所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：?jiǎn)文B(tài)標(biāo)簽生成模塊ulgm生成單模態(tài)標(biāo)簽ys的表達(dá)式為：

10.如權(quán)利要求9所述的基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法，其特征在于：direction的計(jì)算式為：

技術(shù)總結(jié)
本發(fā)明屬于多模態(tài)情感分析技術(shù)領(lǐng)域，具體涉及基于混合對(duì)比學(xué)習(xí)及多任務(wù)學(xué)習(xí)的多模態(tài)情感分析方法。本方法首先通過單峰特征增強(qiáng)模塊UFEM優(yōu)化從預(yù)訓(xùn)練模型中提取的單模態(tài)特征，然后使用這些優(yōu)化后的特征聯(lián)合訓(xùn)練多模態(tài)和單模態(tài)任務(wù)；此外，本方法使用混合對(duì)比學(xué)習(xí)策略來促進(jìn)多模態(tài)數(shù)據(jù)的學(xué)習(xí)表示，通過無監(jiān)督對(duì)比學(xué)習(xí)增強(qiáng)多模態(tài)融合的表示能力，并通過有監(jiān)督對(duì)比學(xué)習(xí)提升模型在缺乏單模態(tài)注釋時(shí)的性能；最后，基于無監(jiān)督對(duì)比學(xué)習(xí)的特性，本方法提出了一種新的單峰標(biāo)簽生成模塊ULGM，它能夠在較短的訓(xùn)練周期內(nèi)穩(wěn)定生成單模態(tài)標(biāo)簽。本方法可以更好的學(xué)習(xí)單模態(tài)特征表示、優(yōu)化多模態(tài)特征表示，從而提升多模態(tài)情感分析結(jié)果的有效性。

技術(shù)研發(fā)人員：傅由甲,傅俊松,薛會(huì)霞,徐梓浩
受保護(hù)的技術(shù)使用者：重慶理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/14