1.一種多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，當(dāng)至少兩種模態(tài)數(shù)據(jù)包含文本和圖像時，對至少兩種模態(tài)數(shù)據(jù)分別進行特征提取和嵌入映射，得到初始的不同模態(tài)嵌入表示，包括：
3.根據(jù)權(quán)利要求2所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，在embedding層使用跨模態(tài)注意力對初始的不同模態(tài)嵌入表示進行交互融合，得到跨模態(tài)融合特征，包括：
4.根據(jù)權(quán)利要求3所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，在transformer編碼器的每一層中使用跨模態(tài)注意力對所述跨模態(tài)融合特征進行融合，得到多層次跨模態(tài)融合特征，包括：
5.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，根據(jù)所述多層次跨模態(tài)融合特征和當(dāng)前解碼隱藏狀態(tài)，動態(tài)預(yù)測不同模態(tài)在當(dāng)前時間步的重要性權(quán)重，并利用所述重要性權(quán)重結(jié)合所述多層次跨模態(tài)融合特征，得到自適應(yīng)多模態(tài)融合特征，包括：
6.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，通過最小化不同模態(tài)特征之間的對比損失，包括：
7.根據(jù)權(quán)利要求1所述的多模態(tài)數(shù)據(jù)融合控制方法，其特征在于，實時評估生成內(nèi)容與其中一種模態(tài)數(shù)據(jù)之間的相關(guān)性，包括：
8.一種多模態(tài)數(shù)據(jù)融合控制裝置，其特征在于，所述裝置包括：
9.一種多模態(tài)數(shù)據(jù)融合控制設(shè)備，其特征在于，所述設(shè)備包括：
10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述的多模態(tài)數(shù)據(jù)融合控制方法的步驟。