本發(fā)明涉及計算機(jī)，特別是涉及一種基于多模態(tài)大模型的困境兒童依戀狀態(tài)評估方法、裝置。

背景技術(shù)：

1、依戀理論(attachment?theory)是解析兒童及其成年后社會與情感發(fā)展的核心理論。該理論強(qiáng)調(diào)兒童與照護(hù)者之間的早期情感聯(lián)系對其長期心理健康和行為發(fā)展具有決定性影響。研究顯示，穩(wěn)固的依戀關(guān)系能夠促進(jìn)兒童的正向自我認(rèn)知、社會適應(yīng)力和情感調(diào)節(jié)能力的發(fā)展，而依戀關(guān)系的缺失或問題可能導(dǎo)致焦慮、抑郁及行為問題等心理健康挑戰(zhàn)。

2、傳統(tǒng)上，評估兒童的依戀狀態(tài)主要依賴于調(diào)查問卷、半結(jié)構(gòu)化訪談和投射式測驗(yàn)等方法。這些方法盡管為理解兒童依戀提供了路徑，但各有局限。例如，調(diào)查問卷雖然操作簡便，但其結(jié)果高度依賴于參與者的主觀感受，可能無法真實(shí)反映兒童的依戀狀態(tài)。半結(jié)構(gòu)化訪談和投射式測驗(yàn)?zāi)軌蛏钊胩接憙和那楦袪顟B(tài)，但需要長時間的專業(yè)分析，并且其解釋存在主觀性。近年來，一些研究開始探索基于多模態(tài)數(shù)據(jù)的自動化偵測方法，如在處理抑郁癥和自閉癥評估中的應(yīng)用。這些方法通過分析語言、語音和面部表情等多種數(shù)據(jù)類型，試圖構(gòu)建更為全面的心理狀態(tài)評估模型。然而，這些技術(shù)在依戀狀態(tài)的評估上應(yīng)用還較少；相關(guān)研究也廣泛存在不足：如很多方法使用的是基于人為設(shè)計、人工篩選的特征進(jìn)行預(yù)測的，在特征提取、特征篩選的過程中，不僅需要大量的人力，還會丟失掉數(shù)據(jù)隱含的信息；此外，很多方法未能充分考慮到檢測過程中交互過程對受試者的影響，例如咨詢師與兒童在訪談中的互動影響，如缺乏對訪談對話過程的有效建模。

3、現(xiàn)有的依戀狀態(tài)評估方法存在若干顯著的缺點(diǎn)。對于傳統(tǒng)的依戀狀態(tài)檢測方法：使用問卷調(diào)查會使得結(jié)果依賴于受試者的主觀表達(dá)意愿；基于半結(jié)構(gòu)化訪談和投射式測試等傳統(tǒng)方法則不僅需要大量的人力進(jìn)行評估，還會引入評估者的主觀判斷，這可能導(dǎo)致評估結(jié)果的可靠性和一致性受到影響。在基于多模態(tài)數(shù)據(jù)的自動化異常精神與心理狀態(tài)的檢測研究中，目標(biāo)群體是困境兒童，檢測目標(biāo)關(guān)注依戀狀態(tài)的檢測很少；在這些僅存的依戀檢測的研究中，其往往關(guān)注人為設(shè)計、人工篩選的特征，會丟失部分隱含信息。同時這些基于多模態(tài)數(shù)據(jù)的異常精神與心理狀態(tài)的檢測方法，沒有考慮到數(shù)據(jù)采集過程中交互過程對受試者的影響，比如醫(yī)生或咨詢師對目標(biāo)兒童的影響，缺乏對訪談多輪次對話的有效建模，這不僅限制了方法的標(biāo)準(zhǔn)化和結(jié)果的一致性，也對評估的準(zhǔn)確性造成了負(fù)面影響。

4、針對上述問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種基于多模態(tài)大模型的困境兒童依戀狀態(tài)評估方法、裝置。本發(fā)明通過自動化的評估手段減少對困境兒童依戀狀態(tài)進(jìn)行評估所需要的人力資源，從而提升了評估效率，并且使用基于序列計算架構(gòu)的依戀狀態(tài)評估模型對多輪次對話過程進(jìn)行建模，提升了依戀評估的準(zhǔn)確性與魯棒性。

2、根據(jù)本發(fā)明的第一方面，提供了一種基于多模態(tài)大模型的困境兒童依戀狀態(tài)預(yù)測方法，包括：

3、對話輪次切分步驟，通過自動化識別方法，對困境兒童與醫(yī)生之間的對話輪次進(jìn)行切分；

4、特征提取步驟，從單輪對話數(shù)據(jù)中提取表情、動作、聲學(xué)、語言通道，并通過大語言模型進(jìn)行數(shù)據(jù)融合，獲得基于單輪對話的多模態(tài)融合特征或困境兒童的依戀狀態(tài)；

5、依戀狀態(tài)預(yù)測步驟，將多個從單輪對話數(shù)據(jù)獲得的多模態(tài)融合特征或困境兒童的依戀狀態(tài)，輸入基于多輪對話的困境兒童依戀狀態(tài)評估模型中預(yù)測困境兒童依戀狀態(tài)。

6、在一些實(shí)施例中，所述從單輪對話數(shù)據(jù)中提取表情、動作、聲學(xué)、語言通道，并通過大語言模型進(jìn)行數(shù)據(jù)融合，獲得基于單輪對話的多模態(tài)融合特征或困境兒童的依戀狀態(tài)，包括：

7、從單輪對話數(shù)據(jù)中提取表情、動作和聲學(xué)通道作為輸入，并由預(yù)訓(xùn)練模型的隱藏層輸出作為深度特征，將深度特征投射到大語言模型所使用的詞嵌入空間中形成詞嵌入空間數(shù)據(jù)；

8、對于語言通道，通過語音識別模型獲得當(dāng)前輪次對話中的文本特征；

9、將所述詞嵌入空間數(shù)據(jù)、所述文本特征、當(dāng)前輪次對話的元數(shù)據(jù)以及要求大語言模型預(yù)測依戀狀態(tài)的提示詞，輸入大語言模型，提取大語言模型的隱藏層特征作為單輪對話的多模態(tài)融合特征，輸出結(jié)果作為單輪對話的困境兒童的依戀狀態(tài)。

10、在一些實(shí)施例中，所述基于多輪對話的困境兒童依戀狀態(tài)評估模型的構(gòu)建方法為：

11、通過基于序列計算架構(gòu)的依戀狀態(tài)評估模型捕捉多輪次對話中的長期依賴關(guān)系，從而對多輪對話的內(nèi)容進(jìn)行建模。

12、在一些實(shí)施例中，所述預(yù)訓(xùn)練模型，包括：對于表情通道，使用的synface；對于動作通道，使用的openmm的c3d；對于聲學(xué)通道，使用的hubert。

13、在一些實(shí)施例中，所述將深度特征投射到大語言模型所使用的詞嵌入空間中形成詞嵌入空間數(shù)據(jù)，包括：通過q-former和多層感知機(jī)組成的神經(jīng)網(wǎng)絡(luò)，將深度特征投射到大語言模型所使用的詞嵌入空間中形成詞嵌入空間數(shù)據(jù)。

14、在一些實(shí)施例中，所述q-former和多層感知機(jī)組成的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法為：通過使用(i,t)帶有標(biāo)簽的數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，(i,t)的內(nèi)容為關(guān)于困境兒童的依戀的，從而將輸入信息投射至依戀相關(guān)的詞嵌入?yún)^(qū)域中，將i輸入到所使用的預(yù)訓(xùn)練模型中，并通過q-former和多層感知機(jī)組成的神經(jīng)網(wǎng)絡(luò)輸入到大語言模型中生成文本；再通過文本生成誤差ltxt-gen更新q-former和多層感知機(jī)組成的神經(jīng)網(wǎng)絡(luò)的參數(shù)，更新公式為：

15、argminθltxt-gen(llm(p,θ(pt_model(i))),t)

16、其中，i代表數(shù)據(jù)中的視頻或音頻輸入，t為文字描述，θ代表q-former和多層感知機(jī)組成的神經(jīng)網(wǎng)絡(luò)，llm代表所使用的大語言模型，p為訓(xùn)練所使用的提示詞，pt_model代表當(dāng)前通道提取特征所使用的預(yù)訓(xùn)練模型。

17、在一些實(shí)施例中，所述語音識別模型為whisper。

18、根據(jù)本發(fā)明的第二方面，提供了一種基于多模態(tài)大模型的困境兒童依戀狀態(tài)預(yù)測裝置，包括：

19、對話輪次切分模塊，用于通過自動化識別方法，對困境兒童與醫(yī)生之間的對話輪次進(jìn)行切分；

20、特征提取模塊，用于從單輪對話數(shù)據(jù)中提取表情、動作、聲學(xué)、語言通道，并通過大語言模型進(jìn)行數(shù)據(jù)融合，獲得基于單輪對話的多模態(tài)融合特征或困境兒童的依戀狀態(tài)；

21、依戀狀態(tài)預(yù)測模塊，用于將多個從單輪對話數(shù)據(jù)獲得的多模態(tài)融合特征或困境兒童的依戀狀態(tài)，輸入基于多輪對話的困境兒童依戀狀態(tài)評估模型中預(yù)測困境兒童依戀狀態(tài)。

22、根據(jù)本發(fā)明的第三方面，提供了一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，處理器執(zhí)行計算機(jī)程序時實(shí)現(xiàn)上述任一實(shí)施例方法的步驟。

23、根據(jù)本發(fā)明的第四方面，提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述任一實(shí)施例方法的步驟。

24、基于上述技術(shù)方案，本發(fā)明至少具有以下有益效果：

25、1.在依戀自動化評估領(lǐng)域引入基于預(yù)訓(xùn)練模型多模態(tài)特征提取-大語言模型多模態(tài)融合理解的多模態(tài)特征提取與融合方法，有效彌補(bǔ)了在現(xiàn)存依戀評估傳統(tǒng)方法可能引入評估者主觀因素的問題，提升了評估效率和一致性，解決了現(xiàn)存自動化依戀評估方法中人為設(shè)定、人工篩選特征時所遺漏的隱含信息，提升了評估方法的穩(wěn)定性。

26、2.使用了一種受依戀狀態(tài)評估與檢測約束的通道特征投射方法，其能夠在特征投射的過程中約束特征至依戀相關(guān)的詞嵌入中。該方法能夠保證基于通用大規(guī)模語料庫預(yù)訓(xùn)練的大語言模型能夠有效提取與依戀相關(guān)的多模態(tài)信息特征，提高評估模型的準(zhǔn)確率。

27、3.引入了基于對話輪次的依戀狀態(tài)自動化評估流程框架。其能夠?qū)σ缿僭u估過程中的交互過程進(jìn)行有效建模，在輸出評估結(jié)果時充分考慮到在進(jìn)行依戀相關(guān)訪談問答時，醫(yī)生或咨詢師進(jìn)行問詢時的變量對困境兒童回答反饋的關(guān)系，從而提高評估方法的準(zhǔn)確性和魯棒性。