1.一種基于雙特征融合的微表情識別方法,其特征在于,包括以下步驟:
2.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,所述微表情數(shù)據(jù)包括表情發(fā)生幀和峰值幀。
3.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s1中,用于訓練的微表情數(shù)據(jù)包括一段完整的包含n-1幀的微表情視頻,定義為,有效的微表情數(shù)據(jù)為:,其中為視頻的第一幀,為表情的發(fā)生幀,為表情峰值幀,為視頻的最后一幀。
4.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s2中,所述微表情圖像特征提取器包含多個單層殘差卷積操作,將有效的微表情數(shù)據(jù)作為特征提取器的輸入獲取單幀特征用于后續(xù)的特征學習;其中為表情的發(fā)生幀、為表情峰值幀;
5.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s3中,獲取表情發(fā)生幀特征與峰值幀特征之間的梯度特征,具體為:
6.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s4中,獲取表情發(fā)生幀與峰值幀之間的運動特征,具體為:
7.根據(jù)權利要求6所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s41中,利用特征提取器獲得的圖像原始特征從不同的角度補充整體特征。
8.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s5中,獲取以可學習參數(shù)加權融合后的梯度特征和運動特征,作為完整的微表情特征,計算公式為:
9.根據(jù)權利要求1所述的一種基于雙特征融合的微表情識別方法,其特征在于,步驟s5中,聯(lián)合目標損失函數(shù)包括梯度特征的標準交叉熵損失、運動特征的標準交叉熵損失和正交性約束損失,其中梯度特征的標準交叉熵損失、運動特征的標準交叉熵損失分別對應兩個結構相同但不共享權重的分類器的分類;
10.實現(xiàn)權利要求1~9任一項所述的一種基于雙特征融合的微表情識別方法的系統(tǒng),其特征在于,包括: