本發(fā)明屬于自然語言處理和計算機視覺，尤其是一種基于大模型和混合專家的增強感知命名實體識別方法。

背景技術(shù)：

1、命名實體識別技術(shù)近年來受到了廣泛的關(guān)注，是統(tǒng)一數(shù)據(jù)管理系統(tǒng)中最基礎(chǔ)的領(lǐng)域之一；盡管現(xiàn)有的命名實體識別相關(guān)工作取得了顯著的性能，但是在統(tǒng)一數(shù)據(jù)管理系統(tǒng)中往往存在以下缺陷：

2、一、單一模態(tài)的局限性使得我們無法從文本信息中獲取足夠的上下文來準(zhǔn)確識別實體。

3、例如，在沒有具體上下文的情況下，“apple”這個詞既可以指代一種水果，也可以指代一家科技公司，這就造成了詞義歧義問題。

4、二、文本信息本身可能并不完整，缺乏必要的視覺線索，這對于理解某些文本內(nèi)容至關(guān)重要。

5、比如，由于語言和文化差異，同一文本描述可能對應(yīng)不同的場景；再如，描述一場比賽時，文本可能不會詳細到每個運動員的具體動作或場景，導(dǎo)致信息缺失。

6、三、噪音和非結(jié)構(gòu)化數(shù)據(jù)也是一大難題。

7、不同來源和傳播途徑的文本，如個人發(fā)布的社交媒體內(nèi)容、官方文件、紙質(zhì)書籍或網(wǎng)頁等，這些文本往往是非結(jié)構(gòu)化的，并且可能包含不同程度的錯別字、語法錯誤或語義傳遞錯誤，這對傳統(tǒng)命名實體識別模型的理解能力提出了挑戰(zhàn)。

8、同時，多樣化的表達方式也增加了實體識別的難度，因為同一個實體可能有多種稱呼或?qū)懛?，而不同的實體可能在文本中表現(xiàn)出一定的相似性。

9、四、語言依賴性也是一個不容忽視的問題。

10、傳統(tǒng)的命名實體識別模型通常針對單一語言進行訓(xùn)練和優(yōu)化，這使得它們難以處理多語言或跨語言的實體識別任務(wù)。

11、上述問題共同構(gòu)成了命名實體識別任務(wù)中的復(fù)雜挑戰(zhàn)，需要研發(fā)出更加靈活和智能的方法來解決。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供一種基于大模型和混合專家的增強感知命名實體識別方法，通過四個任務(wù)單元架構(gòu)的獨創(chuàng)設(shè)計，充分利用了多模態(tài)信息，更好地進行命名實體識別；在數(shù)據(jù)增強階段，采用圖文檢索方法，對生成數(shù)據(jù)進行進一步的相似內(nèi)容抽取，在最后的命名實體識別部分引入大模型和混合專家模型，更好地處理多模態(tài)信息，提高模型的訓(xùn)練效果和泛化能力，從而提升模型在命名實體識別任務(wù)中的表現(xiàn)。

2、一種基于大模型和混合專家的增強感知命名實體識別方法，設(shè)計有四個任務(wù)單元架構(gòu)，包括：基于文生圖模型的數(shù)據(jù)增強任務(wù)、圖文檢索任務(wù)、基于混合專家模型的多模態(tài)信息融合任務(wù)以及基于大模型的生成式命名實體識別任務(wù)，其中：

3、①所述基于文生圖模型的數(shù)據(jù)增強任務(wù)：

4、用于加強命名實體識別任務(wù)效果，通過引入圖像信息，使得文本信息和所述圖像信息可以相互驗證，減少了單一模態(tài)下的信息缺失及誤識別風(fēng)險；文生圖模型能構(gòu)造出與文本語義更加匹配、噪聲信息更少的圖像，該方法生成的圖文對作為數(shù)據(jù)庫；

5、作為一種舉例說明，提取來自所述文本信息和圖像信息混合的高級特征，可以有效地加強實體細節(jié)與圖像信息和文本信息的對齊關(guān)系，從而提升命名實體識別任務(wù)的性能。

6、②所述圖文檢索任務(wù)：

7、對當(dāng)前輸入的目標(biāo)圖文對樣本的圖像信息和文本信息進行特征計算，得到相應(yīng)圖像特征和文本特征，隨后遍歷數(shù)據(jù)庫中的每一對圖文對，分別計算其圖像信息和文本信息的特征，然后分別計算其與目標(biāo)圖文對樣本的圖像特征和文本特征之間的余弦相似度，并取加權(quán)平均值作為最終得到的圖文對相似度；

8、作為一種舉例說明，通過對所述數(shù)據(jù)庫的檢索，抽取相似度最高的k個圖文對，進一步提升相關(guān)圖文特征的信息完備性。

9、作為一種舉例說明，所述檢索的相似度最高的k個圖文對，作為知識增強樣本。

10、③所述基于混合專家模型的多模態(tài)信息融合任務(wù)：

11、用于確保每個輸入的文本信息和圖像信息的特征都能得到最優(yōu)處理，以增強對圖文特征的處理；將輸入的圖文特征通過交叉注意力機制處理后得到混合特征，然后經(jīng)過路由器的一個或多個線性層，得到各專家分?jǐn)?shù)，再路由到各個混合專家模型進一步處理；

12、作為一種舉例說明，基于所述混合專家模型的多模態(tài)信息融合任務(wù)在多模態(tài)特征融合階段引入了混合專家機制，通過所述路由器將混合特征按計算分?jǐn)?shù)分發(fā)給各混合專家模型，以擴展參數(shù)規(guī)模，提高所述多模態(tài)信息融合模型的魯棒性，使其能夠更好地應(yīng)對噪聲干擾。

13、作為一種舉例說明，所述圖文檢索任務(wù)以及基于混合專家模型的多模態(tài)信息融合任務(wù)均是基于多模態(tài)模型open-flamingo進行改進，通過clip模型對文本信息和圖像信息對進行特征提取，進而與所述數(shù)據(jù)庫中的其它圖文對進行相似度檢索。

14、④所述基于大模型的生成式命名實體識別任務(wù)：

15、首先，對于知識增強樣本，通過vision?encoder和language?encoder分別進行編碼，并與目標(biāo)圖文對樣本的圖像信息和文本信息進行組合，其中文本信息需要與指令進行拼接后再進行編碼，分別編碼及組合后得到的圖文特征輸入到多模態(tài)信息融合模型中進行處理；

16、然后，將傳統(tǒng)的命名實體識別分類任務(wù)改進為生成任務(wù)，利用所述基于混合專家模型的多模態(tài)信息融合任務(wù)與大模型的解碼進行結(jié)合；對于每層解碼層，先將輸入的圖文特征經(jīng)過第三單元架構(gòu)進行處理，隨后由解碼層進一步處理；

17、最后，對所述圖文特征進行實體生成，以最小化語言模型損失l為目標(biāo)訓(xùn)練模型。

18、作為一種舉例說明，引入所述大模型對傳統(tǒng)命名實體識別任務(wù)的輸出方式進行了改進，通過所述生成式的輸出方式，優(yōu)化多模態(tài)命名實體識別模型在為可見類上的泛化能力，深化多模態(tài)命名實體識別模型的知識基礎(chǔ)。

19、本發(fā)明的有益效果：

20、本發(fā)明設(shè)計架構(gòu)科學(xué)可靠，增強了改進命名實體識別的效果。利用大模型本身豐富的知識，為命名實體識別提供額外知識，增強外部信息，從而輔助命名實體識別效果。

21、本發(fā)明充分利用圖像知識，并利用混合專家模型篩選重要信息，去除干擾信息，增強命名實體識別的魯棒性。

22、本發(fā)明利用圖文檢索方法檢索相似的命名實體識別例子，為目標(biāo)樣本識別提供增強的知識，增強實體識別性能，與現(xiàn)有技術(shù)相比，本發(fā)明提出的方法具有良好的性能和魯棒性。

技術(shù)特征：

1.一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，設(shè)計有四個任務(wù)單元架構(gòu)，包括：基于文生圖模型的數(shù)據(jù)增強任務(wù)、圖文檢索任務(wù)、基于混合專家模型的多模態(tài)信息融合任務(wù)以及基于大模型的生成式命名實體識別任務(wù)，其中：

2.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，提取來自所述文本信息和圖像信息混合的高級特征，可以增強所述文生圖模型對復(fù)雜實體的理解。

3.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，所述余弦相似度，其公式設(shè)計為：

4.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，通過對所述數(shù)據(jù)庫的檢索，抽取相似度最高的k個圖文對，用以提升相關(guān)圖文特征的信息完備性。

5.根據(jù)權(quán)利要求4所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，所述相似度最高的k個圖文對，作為知識增強樣本。

6.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，基于所述混合專家模型的多模態(tài)信息融合任務(wù)在多模態(tài)特征融合階段引入了混合專家機制，通過所述路由器將混合特征按計算分?jǐn)?shù)分發(fā)給各混合專家模型，以擴展參數(shù)規(guī)模，提高所述多模態(tài)信息融合模型的魯棒性，使其能夠更好地應(yīng)對噪聲干擾。

7.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，所述圖文檢索任務(wù)以及基于混合專家模型的多模態(tài)信息融合任務(wù)均是基于多模態(tài)模型open-flamingo進行改進，通過clip模型對文本信息和圖像信息對進行特征提取，進而與所述數(shù)據(jù)庫中的其它圖文對進行相似度檢索。

8.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，引入所述大模型對傳統(tǒng)命名實體識別任務(wù)的輸出方式進行了改進，通過所述生成式的輸出方式，優(yōu)化多模態(tài)命名實體識別模型在為可見類上的泛化能力，深化多模態(tài)命名實體識別模型的知識基礎(chǔ)。

9.根據(jù)權(quán)利要求1所述的一種基于大模型和混合專家的增強感知命名實體識別方法，其特征在于，所述最小化語言模型損失l，其公式設(shè)計為：

技術(shù)總結(jié)
本發(fā)明提供一種基于大模型和混合專家的增強感知命名實體識別方法，設(shè)計有四個任務(wù)單元架構(gòu)，包括：基于文生圖模型的數(shù)據(jù)增強任務(wù)、圖文檢索任務(wù)、基于混合專家模型的多模態(tài)信息融合任務(wù)以及基于大模型的生成式命名實體識別任務(wù)，本發(fā)明設(shè)計架構(gòu)科學(xué)可靠，增強了改進命名實體識別的效果，利用大模型本身豐富的知識，為命名實體識別提供額外知識，增強外部信息，從而輔助命名實體識別效果；充分利用圖像知識，并利用混合專家模型篩選重要信息，去除干擾信息，增強命名實體識別的魯棒性；利用檢索模型檢索相似的命名實體識別例子，為目標(biāo)樣本識別提供增強的知識，增強實體識別性能，與現(xiàn)有技術(shù)相比，本發(fā)明提出的方法具有良好的性能。

技術(shù)研發(fā)人員：趙彥濤,劉娜,崔凌瀟,胡慧云,孔竣達,肖波,范富嶺,徐寧,戴娜娜,范明陽,姚圣平,張凱,張海濤
受保護的技術(shù)使用者：國網(wǎng)山東省電力公司德州供電公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19