本發(fā)明屬于自然語言處理，具體涉及一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法和裝置。

背景技術(shù)：

1、金融市場(chǎng)構(gòu)成一個(gè)復(fù)雜且充滿不確定性的體系，受到宏觀經(jīng)濟(jì)環(huán)境、公司績(jī)效、政策法規(guī)以及投資者情緒等多種因素的影響。其中，投資者情緒被認(rèn)為是影響資產(chǎn)價(jià)格波動(dòng)的重要因素之一，投資者的情緒和期望直接影響其對(duì)風(fēng)險(xiǎn)的態(tài)度和決策，從而影響資產(chǎn)的需求和定價(jià)。財(cái)經(jīng)新聞是主要的金融信息傳播渠道之一，在塑造投資者情緒和決策方面發(fā)揮著重要作用。新聞報(bào)道不僅傳遞事實(shí)信息，還賦予信息情感色彩和主觀解讀，因此影響投資者對(duì)信息的感知和反應(yīng)。積極的新聞報(bào)道通常會(huì)提升投資者信心，而消極的報(bào)道可能引發(fā)恐慌情緒。情感分析的目標(biāo)是自動(dòng)識(shí)別和量化文本中的主觀觀點(diǎn)、情感傾向和情緒狀態(tài)，通過對(duì)財(cái)經(jīng)新聞進(jìn)行情感分析，能夠洞察市場(chǎng)情緒走向，發(fā)現(xiàn)被忽視的投資機(jī)會(huì)，并為量化投資模型提供情緒信號(hào)等輔助信息。

2、如公開號(hào)為cn110298403a的中國(guó)專利申請(qǐng)?zhí)峁┝艘环N財(cái)經(jīng)新聞中企業(yè)主體的情感分析方法和系統(tǒng)，基于文本表示模型bert和雙存儲(chǔ)結(jié)構(gòu)的記憶網(wǎng)絡(luò)模型設(shè)計(jì)而得，用于對(duì)待分類的新聞數(shù)據(jù)中的企業(yè)主體的情感標(biāo)簽進(jìn)行分類預(yù)測(cè)。公開號(hào)為cn112860853a的中國(guó)專利申請(qǐng)?zhí)峁┝艘环N基于bert和var模型的財(cái)經(jīng)新聞情感分析方法，通過訓(xùn)練和微調(diào)bert訓(xùn)練模型得到財(cái)經(jīng)新聞情感分類器用于提取財(cái)經(jīng)新聞的情感信息，結(jié)合情感信息和個(gè)股市場(chǎng)表現(xiàn)進(jìn)行相關(guān)性分析，構(gòu)建計(jì)量經(jīng)濟(jì)學(xué)var模型，進(jìn)行時(shí)間序列分析并對(duì)金融市場(chǎng)收益表現(xiàn)進(jìn)行預(yù)測(cè)。但現(xiàn)有方法對(duì)于上下文語義信息的理解能力仍有待提升，并且存在模型較為復(fù)雜的問題。

3、與傳統(tǒng)基于詞典或機(jī)器學(xué)習(xí)的情感分析方法相比，基于大語言模型的方法已經(jīng)展現(xiàn)出明顯優(yōu)勢(shì)，傳統(tǒng)方法通常依賴于預(yù)定義的情感詞典或有限的標(biāo)注數(shù)據(jù)，無法充分捕捉復(fù)雜的語義和上下文信息，而大語言模型能夠有效捕捉長(zhǎng)距離的上下文依賴關(guān)系，更好地理解新聞報(bào)道的全貌。然而，大語言模型通常具有龐大的參數(shù)量和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，這使得它們?cè)趯?shí)際應(yīng)用中存在一定的效率和部署問題。因此，迫切需要一種方法，能夠?qū)⒋笳Z言模型的情感分析能力遷移到訓(xùn)練硬件需求較小、更易部署、計(jì)算效率較高的bert模型上。通過利用微調(diào)bert模型和使用知識(shí)蒸餾的方式學(xué)習(xí)到大語言模型在財(cái)經(jīng)新聞情感分析任務(wù)上積累的豐富知識(shí)，從而能夠?yàn)橥顿Y決策提供可靠的情緒信號(hào)，同時(shí)降低計(jì)算資源需求。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述，本發(fā)明的目的是提供一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法和裝置，能夠?qū)⒋笳Z言模型的情感分析能力遷移到訓(xùn)練硬件需求更小、更易部署、計(jì)算效率更高的bert模型上，提高財(cái)經(jīng)新聞情感分析的效率和準(zhǔn)確性，為用戶提供更有價(jià)值的情感分析結(jié)果。

2、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的技術(shù)方案如下：

3、本發(fā)明實(shí)施例提供的一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法，包括以下步驟：

4、利用大語言模型對(duì)財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要得到情感感知摘要數(shù)據(jù)集；

5、利用財(cái)經(jīng)新聞?wù)Z料對(duì)bert模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練；

6、構(gòu)建包括預(yù)訓(xùn)練后的bert模型、雙向gru網(wǎng)絡(luò)和基于注意力機(jī)制的指針網(wǎng)絡(luò)的情緒語句摘要任務(wù)模型，輸入財(cái)經(jīng)新聞?wù)Z料并基于情感感知摘要數(shù)據(jù)集對(duì)情感語句摘要任務(wù)模型進(jìn)行微調(diào)并輸出摘要后的情緒語句；

7、基于大語言模型對(duì)情感感知摘要數(shù)據(jù)集中的情感句子的情感類別分析結(jié)果和基于預(yù)訓(xùn)練后的bert模型對(duì)情感語句摘要任務(wù)模型輸出的情緒語句的情感類別分析結(jié)果，利用大語言模型對(duì)預(yù)訓(xùn)練后的bert模型進(jìn)行知識(shí)蒸餾，將大語言模型的情感分析能力遷移到預(yù)訓(xùn)練后的bert模型；

8、利用微調(diào)后的情感語句摘要任務(wù)模型對(duì)新的財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要，并利用知識(shí)蒸餾后的bert模型對(duì)摘要得到的情緒語句進(jìn)行情感類別分析。

9、優(yōu)選地，所述利用大語言模型對(duì)財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要得到情感感知摘要數(shù)據(jù)集，包括：

10、獲取金融領(lǐng)域的財(cái)經(jīng)新聞報(bào)道語料，語料中包括新聞編號(hào)、新聞標(biāo)題、發(fā)布時(shí)間和新聞?wù)?，并?duì)新聞?wù)倪M(jìn)行預(yù)處理，構(gòu)建為財(cái)經(jīng)新聞?wù)Z料庫(kù)；

11、利用大語言模型對(duì)預(yù)處理后的新聞?wù)倪M(jìn)行摘要提取出情感句子，根據(jù)新聞?wù)暮颓楦芯渥拥膶?duì)應(yīng)關(guān)系構(gòu)建情感感知摘要數(shù)據(jù)集。

12、優(yōu)選地，所述利用財(cái)經(jīng)新聞?wù)Z料對(duì)bert模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練，包括：

13、進(jìn)行基于掩碼語言模型任務(wù)的自適應(yīng)預(yù)訓(xùn)練，包括：將財(cái)經(jīng)新聞?wù)Z料輸入序列中的部分內(nèi)容進(jìn)行隨機(jī)掩碼處理，bert模型根據(jù)上下文學(xué)習(xí)預(yù)測(cè)這些被掩碼內(nèi)容；

14、進(jìn)行基于下一句預(yù)測(cè)任務(wù)的自適應(yīng)預(yù)訓(xùn)練，包括：輸入財(cái)經(jīng)新聞?wù)Z料中的兩個(gè)句子，bert模型預(yù)測(cè)這兩個(gè)句子是否在原文中相鄰。

15、優(yōu)選地，雙向gru網(wǎng)絡(luò)包括正向gru和反向gru，預(yù)訓(xùn)練后的bert模型根據(jù)輸入的財(cái)經(jīng)新聞?wù)Z料輸出每個(gè)時(shí)刻的上下文向量，這些向量輸入到雙向gru網(wǎng)絡(luò)中，其中正向gru按順序讀取輸入的向量并生成時(shí)刻的正向隱藏狀態(tài)，而反向gru按逆序讀取輸入的向量并生成反向隱藏狀態(tài)，然后二者連接起來生成總時(shí)刻中的當(dāng)前時(shí)刻的雙向gru層輸出隱藏狀態(tài)。

16、優(yōu)選地，基于注意力機(jī)制的指針網(wǎng)絡(luò)包括gru循環(huán)神經(jīng)網(wǎng)絡(luò)、多頭注意力層和復(fù)制指針層，預(yù)訓(xùn)練后的bert模型將每個(gè)時(shí)刻的生成詞向量經(jīng)gru循環(huán)神經(jīng)網(wǎng)絡(luò)得到輸出時(shí)間步的隱藏狀態(tài)，在多頭注意力層通過計(jì)算隱藏狀態(tài)和雙向gru網(wǎng)絡(luò)輸出隱藏狀態(tài)之間的相似度來獲得注意力得分并進(jìn)一步使用softmax函數(shù)將注意力得分轉(zhuǎn)化為標(biāo)準(zhǔn)化的注意力權(quán)重，在復(fù)制指針層通過計(jì)算每個(gè)向量對(duì)應(yīng)的注意力權(quán)重之和作為輸出時(shí)間步對(duì)上下文向量中位置的關(guān)注程度的概率，選擇最大概率值對(duì)應(yīng)的位置所指向的詞作為當(dāng)前時(shí)刻的預(yù)測(cè)詞用于構(gòu)建初步情緒語句，生成的初步情緒語句將繼續(xù)經(jīng)過bert模型輸出生成詞向量，通過逐詞生成得到摘要后的情緒語句。

17、優(yōu)選地，由大語言模型對(duì)情感感知摘要數(shù)據(jù)集中的情感句子的情感類別分析，以及由預(yù)訓(xùn)練后的bert模型對(duì)情感語句摘要任務(wù)模型輸出的情緒語句的情感類別分析，包括：

18、基于大語言模型對(duì)情感感知摘要數(shù)據(jù)集中的情感句子進(jìn)行情感類別分析，得到每個(gè)情感類別的概率分布并對(duì)其進(jìn)行溫度參數(shù)調(diào)節(jié)后作為軟標(biāo)簽，定義為：

19、，

20、其中，為大語言模型輸出的第個(gè)情感類別的概率，為溫度參數(shù)調(diào)節(jié)后的第個(gè)情感類別的概率，和均為情感類別的索引，，為情感類別總數(shù)， t為溫度參數(shù)，并選取概率最大的類別作為硬標(biāo)簽；

21、基于預(yù)訓(xùn)練后的bert模型對(duì)情感語句摘要任務(wù)模型輸出的情緒語句進(jìn)行情感類別分析，其中在預(yù)訓(xùn)練后的bert模型最后增加邏輯單元和softmax激活層，由邏輯單元對(duì)預(yù)訓(xùn)練后的bert模型的輸出進(jìn)行線性分類后，再由softmax激活層輸出情感分類概率分布并對(duì)其進(jìn)行溫度參數(shù)調(diào)節(jié)得到預(yù)測(cè)概率分布，定義為：

22、，

23、其中，為預(yù)訓(xùn)練后的bert模型輸出的第個(gè)情感類別的概率，為邏輯單元輸出的第類的邏輯單元值， t為溫度參數(shù)。

24、優(yōu)選地，情感類別包括消極、較消極、中性、較積極和積極。

25、優(yōu)選地，在利用大語言模型對(duì)預(yù)訓(xùn)練后的bert模型進(jìn)行知識(shí)蒸餾時(shí)，采用的知識(shí)蒸餾總損失函數(shù)包括分類任務(wù)損失和蒸餾損失；

26、計(jì)算分類任務(wù)損失如下：

27、，

28、其中，為大語言模型生成的對(duì)應(yīng)第類別的硬標(biāo)簽的獨(dú)熱編碼；

29、計(jì)算蒸餾損失如下：

30、，

31、最終的知識(shí)蒸餾總損失函數(shù)是分類任務(wù)損失和蒸餾損失的加權(quán)和：

32、，

33、其中，超參數(shù)用于控制蒸餾損失相對(duì)于分類任務(wù)損失的權(quán)重。

34、優(yōu)選地，在利用知識(shí)蒸餾后的bert模型對(duì)摘要得到的情緒語句進(jìn)行情感類別分析后，得到對(duì)每個(gè)情緒語句的情感類別的概率分布，通過對(duì)每個(gè)情感類別的概率賦予對(duì)應(yīng)的權(quán)重后進(jìn)行求和得到每個(gè)情緒語句情感得分，再將每個(gè)情緒語句情感得分進(jìn)行求和平均得到每篇財(cái)經(jīng)新聞?wù)Z料的情感得分，根據(jù)一段時(shí)間內(nèi)得到的財(cái)經(jīng)新聞?wù)Z料的情感得分繪制情緒指數(shù)曲線，能夠?qū)@段時(shí)間內(nèi)財(cái)經(jīng)新聞情感進(jìn)行動(dòng)態(tài)分析。

35、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明實(shí)施例還提供了一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析裝置，包括：摘要數(shù)據(jù)集構(gòu)建模塊、bert模型預(yù)訓(xùn)練模塊、情感語句摘要任務(wù)模型微調(diào)模塊、bert模型知識(shí)蒸餾模塊和bert模型情感分析模塊；

36、所述摘要數(shù)據(jù)集構(gòu)建模塊用于利用大語言模型對(duì)財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要得到情感感知摘要數(shù)據(jù)集；

37、所述bert模型預(yù)訓(xùn)練模塊用于利用財(cái)經(jīng)新聞?wù)Z料對(duì)bert模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練；

38、所述情感語句摘要任務(wù)模型微調(diào)模塊用于構(gòu)建包括預(yù)訓(xùn)練后的bert模型、雙向gru網(wǎng)絡(luò)和基于注意力機(jī)制的指針網(wǎng)絡(luò)的情緒語句摘要任務(wù)模型，輸入財(cái)經(jīng)新聞?wù)Z料并基于情感感知摘要數(shù)據(jù)集對(duì)情感語句摘要任務(wù)模型進(jìn)行微調(diào)并輸出摘要后的情緒語句；

39、所述bert模型知識(shí)蒸餾模塊用于基于大語言模型對(duì)情感感知摘要數(shù)據(jù)集中的情感句子的情感類別分析結(jié)果和基于預(yù)訓(xùn)練后的bert模型對(duì)情感語句摘要任務(wù)模型輸出的情緒語句的情感類別分析結(jié)果，利用大語言模型對(duì)預(yù)訓(xùn)練后的bert模型進(jìn)行知識(shí)蒸餾，將大語言模型的情感分析能力遷移到預(yù)訓(xùn)練后的bert模型；

40、所述bert模型情感分析模塊用于利用微調(diào)后的情感語句摘要任務(wù)模型對(duì)新的財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要，并利用知識(shí)蒸餾后的bert模型對(duì)摘要得到的情緒語句進(jìn)行情感類別分析。

41、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果至少包括：

42、本發(fā)明中采用逐句情感判別策略，通過識(shí)別情感相關(guān)句子并剔除與情感無關(guān)的內(nèi)容，來準(zhǔn)確分析每個(gè)句子的情感表達(dá)。通過引入雙向gru網(wǎng)絡(luò)以提升對(duì)文本上下文的理解能力，并結(jié)合注意力機(jī)制的指針網(wǎng)絡(luò)和微調(diào)預(yù)訓(xùn)練后的bert模型構(gòu)建情緒語句摘要任務(wù)模型，確保其能夠有效學(xué)習(xí)和遷移大語言模型在情感句子摘要方面的能力。同時(shí)，利用知識(shí)蒸餾技術(shù)，將大語言模型作為教師模型的情感分析能力轉(zhuǎn)移到更適合部署的學(xué)生模型bert上，能夠在保留高質(zhì)量的情感分析能力的同時(shí)，顯著減少計(jì)算資源的需求。此外，經(jīng)過知識(shí)蒸餾后的bert模型對(duì)新聞?wù)倪M(jìn)行情感摘要，計(jì)算每篇新聞的情感得分，以生成情緒指數(shù)曲線，能夠?yàn)橛脩籼峁┯袃r(jià)值的情感分析結(jié)果。