1.一種基于人臉圖像和眼動注視信息的心理測試方法,其特征在于,包括以下步驟:
步驟1、訓練并建立用戶特征模型,用戶特征模型包括表情識別模型、手部狀態(tài)識別模型、頭部狀態(tài)識別模型、心理特征識別模型;
步驟2、使用圖像識別技術提取人臉彩色圖像特征并進行表情、手部以及頭部狀態(tài)識別;
步驟3、利用眼動儀獲取用戶眼動注視位置,對用戶眼動注視點進行圖像映射,獲取左右眼在屏幕上的坐標;然后使用同步分配算法,實現(xiàn)在每秒預定數(shù)量幀的速度下,對每一幀圖像眼動注視位置與表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)的同步記錄;
步驟4、利用同步后的眼動注視狀態(tài)以及表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)特征,建立有時間維度的特征狀態(tài)流;使用遞歸神經(jīng)網(wǎng)絡算法和心理特征識別算法,與訓練好的心理特征識別模型進行匹配,實現(xiàn)在每秒預定數(shù)量幀的速度下,對每一幀圖像心理狀態(tài)識別分析的同步記錄。
2.根據(jù)權利要求1 所述基于人臉圖像和眼動注視信息的心理測試方法,其特征在于,所述訓練并建立用戶特征模型的步驟如下:
S101:搜集用戶心理數(shù)據(jù)樣本和彩色圖像數(shù)據(jù)樣本并進行標注;
S102:建立表情特征識別模型:利用深度神經(jīng)網(wǎng)絡特征學習算法和表情分類算法,對標注后的圖像數(shù)據(jù)樣本進行學習,建立表情特征識別模型;
S103:建立手部狀態(tài)識別模型:利用深度神經(jīng)網(wǎng)絡特征學習算法和手部動作分類算法,對標注后的圖像數(shù)據(jù)樣本進行學習,建立手部狀態(tài)特征識別模型;
S104:建立頭部狀態(tài)識別模型:利用深度神經(jīng)網(wǎng)絡特征學習算法和頭部動作分類算法,對標注后的圖像數(shù)據(jù)樣本進行學習,建立頭部狀態(tài)特征識別模型;
S105:建立心理特征識別模型:利用遞歸深度神經(jīng)網(wǎng)絡特征學習算法和心理特征分類算法,對標注后心理數(shù)據(jù)樣本的行為狀態(tài)特征與心理特征進行學習,建立心理特征識別模型。
3.根據(jù)權利要求1或2 所述基于人臉圖像和眼動注視信息的心理測試方法,其特征在于,所述使用圖像識別技術提取人臉圖像特征并進行狀態(tài)識別的步驟具體如下:
S201:利用單幀視頻序列初始化背景模型;
S202:利用背景模型進行前景檢測,并利用生命周期閾值調(diào)整背景模型的更新速度,完成前景檢測;
S203:通過團塊檢測提取運動區(qū)域,并從運動區(qū)域中獲取人臉、頭部和手部的區(qū)域;
S204:利用深度神經(jīng)網(wǎng)絡分別計算人臉、頭部和手部的每一個區(qū)域的狀態(tài)特征,利用識別算法實現(xiàn)人臉、頭部和手部的狀態(tài)識別。
4.根據(jù)權利要求3 所述基于人臉圖像和眼動注視信息的心理測試方法,其特征在于,每一個區(qū)域的狀態(tài)特征為2*2個梯度特征,分布于區(qū)域的4個頂角,通過在每個頂角截取一幅32*32的圖像而形成。