提出一種基于心電和呼吸信號同步性特征的情緒檢測方法。涉及可用于臨床情緒障礙疾病的診斷及療效評價、情緒神經反饋調節(jié)的情緒狀態(tài)識別方法。
背景技術：
：情緒(emotion)是人對客觀事物是否滿足自身需要而產生的綜合狀態(tài)。它作為人腦的高級功能，保證著有機體的生存和適應，不同程度上影響著人的學習、記憶與決策。在人們的日常工作和生活中，情緒的作用無處不在。負性情緒會影響我們的身心健康，降低工作質量與效率，嚴重者會引發(fā)心理疾病(比如抑郁癥、自閉癥等)，也會造成嚴重的工作失誤。有研究證明，負性情緒的長期積累，會損害免疫系統的功能，使人們更容易受到周圍病毒的感染。所以，適時地發(fā)現負性情緒并給予適當的干預與調控十分必要，尤其是對司機，航天員等一些特殊工作者。另一方面，在人機交互系統里，如果系統能夠捕捉到人的情緒狀態(tài)，那么人機交互就會變得更加友好，自然與高效。情緒的分析與識別已經成為神經科學、心理學、認知科學、計算機科學和人工智能等領域學科交叉的一項重要的研究課題。情緒識別的方法目前多采用主觀報告法、面部表情、語音信號以及生理信號測量法。主觀報告法、面部表情以及語音信號測量法簡單直觀，測量方便，但是其結果一般受被試和主試的主觀因素影響，容易偽裝，有時無法測量到真實、可靠的內部情緒狀態(tài)。而生理信號的變化只受人的自主神經系統和內分泌系統支配，不受人的主觀控制,因而應用所得數據更客觀敏感，相對精確。目前，常用的生理信號有腦電信號(EEG)，心電信號(ECG)，皮電信號，呼吸信號(RSP)，肌電信號(EMG),脈搏信號等，但是目前的研究都是基于以上生理信號單獨或者兩種以上信號的簡單融合進行情緒識別，正確率仍有待提高。腦電信號雖然信息豐富，但是極易受到外界的干擾。有研究表明，心肺活動與情緒密切相關[1]，而且心肺信號在不同的情緒狀態(tài)下具有不同的耦合性，兩者相互依賴。所以采用心電信號和呼吸信號這兩種生理參數有效融合來進行情緒識別在實際應用中具有優(yōu)越性。技術實現要素：本發(fā)明的主旨是提出一種基于心電和呼吸信號有效融合的多參數情緒檢測方法。通過計算心電信號與呼吸信號的同步性特征，時域同步性特征，頻域同步性特征以及相位同步性特征融合作為情緒識別的特征矩陣，利用Fisher可分性分析評估每個特征的可分性，并依此進行特征權重的調整，最后通過支持向量機構建情緒識別模型，從而準確、客觀的進行情緒識別。本發(fā)明的技術方案如下：一種基于心電和呼吸信號同步性特征的情緒檢測方法，包括下列步驟：(1)采集心電ECG信號和呼吸信號；(2)對采集到的心電ECG信號和呼吸RSP信號進行預處理，從ECG信號中提取HRV信號(3)特征提取1)時域同步性特征截取ECG信號與呼吸信號，分別記為{x1,x2,…,xk,…,xL},{y1,y2,…,yk,…,yL},L為信號的總段數，然后計算對應時間內{xk(i)}，{yk(i)}的互相關函數,i＝1,2,…,N,Ckxy=1N-τΣi=1N-τ(xk(i)-xk‾σx)(yk(i+τ)-yk‾σy)---(1)]]>式中，分別表示{xk(i)}，{yk(i)}序列的均值；σx，σy表示方差；τ表示兩信號的時差，τ＝0，得到第一個特征向量，F1＝(C1xy,C2xy,…,Ckxy,…,CLxy)’；2)頻域同步性特征求HRV信號VLF(0.03-0.04Hz)、LF(0.04-0.15Hz)、HF(0.15-0.4)與RSP信號的相干系數，步驟如下：(1)分別截取HRV信號與RSP信號，記為x,y，(2)采用Welch算法計算HRV信號、RSP信號的功率譜密度以及兩者的互功率譜密度，分別記為Pxx(f),Pyy(f),Pxy(f1f2)；Pxx(f)=1NUΣi=1L|Σn=0N-1xMid2(n)e-j2πfn|2---(2)]]>Pyy(f)=1NUΣi=1L|Σn=0N-1yMid2(n)e-j2πfn|2---(3)]]>Pxy(f1f2)=1KΣi=1KXi(f1)Yi(f2)---(4)]]>其中U是歸一化因子，d2(n)是高斯窗函數，M為數據長度，K為將該段數據所分段數，N為每段的長度；(3)用改進的相干函數計算HRV信號與呼吸信號的相干系數,表示HRV信號在頻率分量為f1，呼吸信號在頻率分量為f2處的分量振幅乘積的標準化均值，取值在[0,1]區(qū)間：Cohxy(f1f2)=|Pxy(f1f2)|2Pxx(f1)Pyy(f2)---(5)]]>然后分別計算f1在[0.03,0.04],[0.04,0.15],[0.15-0.4],f2在[0.01,0.4]范圍內的平均相干系數，作為HRV信號與呼吸信號的極低頻相干系數CohVLF，低頻相干系數CohLF以及高頻段相干系數CohHF：CohVLF=1n1Σi=1n1Cohxy(f1f2),0.03≤f1≤0.04,0.01≤f2≤0.4---(6)]]>CohLF=1n2Σi=1n2Cohxy(f1f2)0.04≤f1≤0.15,0.01≤f2≤0.4---(7)]]>CohHF=1n3Σi=1n3Cohxy(f1f2)0.15≤f1≤0.4,0.01≤f2≤0.4---(8)]]>其中，n1為0.03≤f1≤0.04，0.01≤f2≤0.4范圍內Cohxy(f1f2)的點數，n2為0.04≤f1≤0.15，0.01≤f2≤0.4范圍內Cohxy(f1f2)的點數，n3為0.15≤f1≤0.4，0.01≤f2≤0.4范圍內Cohxy(f1f2)的點數；為第d個樣本的CohVLF值，為第d個樣本的CohLF值，為第d個樣本的CohHF值；由此，得到三個特征向量F2,F3,F4，且3)相位鎖定值首先，通過希爾伯特變換計算HRV信號x和RSP信號y的相位值和x~i(t)=1πPV∫-∞∞xi(τ)t-τdτ---(9)]]>y~i(t)=1πPV∫-∞∞yi(τ)t-τdτ---(10)]]>PV表示積分是在柯西主值上進行的，然后分別計算此兩個信號的瞬時相位φi(t)和ηi(t)，得到兩個信號的相位差Δφ，最后，計算相位鎖定值PLV：PLV=|1NΣn=1NeiΔφ|---(13)]]>即某個時間窗內所有eiΔφ在時間上的平均，N為時間窗內eiΔφ的個數，當相位差為定值即相位同步時，PLV＝1；當相位差在[0,2π]之間隨機分布時，PLV＝0；由此，得到第5個特征向量F5＝(PLV1,PLV2,…,PLVL)’；最后，得到最終的同步性特征矩陣：FFL,5=(F1,F2,F3,F4,F5)=C1xyCohVLF1CohLF1CohHF1PLV1...............CkxyCohVLFkCohLFkCohHFkPLVk...............CLxyCohVLFLCohLFLCohHFLPLVL---(14)]]>(4)特征權重調整采用Fisher判別率評估每個特征的可分性，通過計算最終得到5個特征的FDR值，根據FDR值的大小，給每個特征分配相應的權重值wi；(5)使用支持向量機SVM建立情緒識別模型，識別用戶當前的情緒狀態(tài)。本發(fā)明通過采集用戶心電以及呼吸兩種生理信號，提取兩者的同步性特征(時域、頻域以及相位同步性特征)構成情緒特征矩陣，然后通過Fisher可分性分析評估每個特征的可分性，并依此進行特征權重的調整，最后通過支持向量機構建情緒識別模型，從而進行準確、實時地情緒監(jiān)測。附圖說明圖1本發(fā)明的技術方案流程圖具體實施方式本發(fā)明首先對ECG，RSP進行信號預處理，并從ECG信號中提取出HRV信號，然后計算ECG與RSP信號的時域同步性特征和相位同步性特征，HRV與RSP的頻域同步性特征，將這些特征融合在一起構成情緒特征矩陣，利用Fisher可分性分析評估每個特征的可分性，并依此進行特征權重的調整，最后通過支持向量機構建情緒識別模型，從而準確、客觀的進行情緒識別。圖1是本發(fā)明方法的流程圖，下面分別說明本發(fā)明基于心電和呼吸信號同步性的情緒狀態(tài)識別方法的5個階段。(1)數據采集階段：數據采集階段采集的是不同情緒狀態(tài)下(積極、中性、消極)的心電信號和呼吸信號心電信號和呼吸信號采集裝置為BIOPACMP150無線多生理采集系統，心電信號采集電極分別置于左大腿，右大腿和右小臂。呼吸信號采集電極置于胸部以下小腹以上的部位，如圖1所示，有一個彈性繃帶。采樣頻率為1000Hz。(2)數據預處理：對采集到的心電信號和呼吸信號進行預處理，包括基線漂移校正，濾波去除肌電干擾和工頻干擾，降采樣，以及從ECG信號中提取HRV信號采集到的心電和呼吸信號干擾成分主要有基線漂移，肌電干擾和工頻干擾。對采集到的兩種信號進行預處理，包括基線漂移校正，去除肌電干擾和工頻干擾，降采樣到100Hz，以及從ECG信號中提取HRV信號。本發(fā)明采用函數擬合法去除ECG和RSP信號的基線漂移，小波變換法去除信號中的肌電干擾，巴特沃茲逼近法設計IIR型工頻陷波器去除工頻干擾。對于提取HRV信號，本發(fā)明使用研究非常成熟的小波變換法實現對QRS波群的檢測，從而準確提取出HRV信號。(3)特征提取1)時域同步性特征互相關函數是時域兩變量的相關程度的一個度量，表示的是兩信號之間的線性同步性。首先，截取ECG信號與呼吸信號，每100s為一段，分別記為{x1,x2,…,xk,…,xL},{y1,y2,…,yk,…,yL},L為信號的總段數。然后計算對應時間內{xk(i)}，{yk(i)}的互相關函數,i＝1,2,…,N,Ckxy=1N-τΣi=1N-τ(xk(i)-xk‾σx)(yk(i+τ)-yk‾σy)---(1)]]>式中，分別表示{xk(i)}，{yk(i)}序列的均值；σx，σy表示方差；τ表示兩信號的時差，在本發(fā)明中，τ＝0。Ckxy∈[0,1],0表示不同步，1表示有最大的同步性。Ckxy越大，代表同步性越好。由此，得到第一個特征向量，F1＝(C1xy,C2xy,…,Ckxy,…,CLxy)’。2)頻域同步性特征互相關給出了時域兩變量間的相關程度的一個度量，而相干分析是在頻域上描述兩個信號相關程度的實值函數。頻域相干性是對兩個信號在不同頻率下的相位一致性的量度,當兩者的某一頻率成分fi相位一致時,趨于1,所以可以用它來判斷兩個信號是否在某一頻率發(fā)生了固定相位的振蕩。但是該評價參數存在一個很大的局限性就在于它只能計算某一相同頻段的相干系數。為了克服這種局限性，本發(fā)明采用改進的相干性評價參數，其定義為：Cohxy(f1f2)=|Pxy(f1f2)|2Pxx(f1)Pyy(f2)---(2)]]>它表示HRV信號在頻率分量為f1，呼吸信號在頻率分量為f2處的分量振幅乘積的標準化均值,其取值區(qū)間為[0,1],反映了2個信號的同步性。相干譜越接近1,表明2個信號在該頻率處越同步。相干系數為1,表明2個信號之間高度相關,且一個信號是另一個信號的倍數；相干系數為0,表明2個信號完全不相關。本發(fā)明中，求HRV信號VLF(0.03-0.04Hz)、LF(0.04-0.15Hz)、HF(0.15-0.4)與RSP的相干系數，步驟如下：(4)同樣地，分別截取100s的HRV信號與RSP信號，記為x,y。(5)采用Welch算法計算HRV、RSP的功率譜密度以及兩者的互功率譜密度，分別記為Pxx(f),Pyy(f),Pxy(f)。Pxx(f)=1NUΣi=1L|Σn=0N-1xMid2(n)e-j2πfn|2---(3)]]>Pyy(f)=1NUΣi=1L|Σn=0N-1yMid2(n)e-j2πfn|2---(4)]]>Pxy(f1f2)=1KΣi=1KXi(f1)Yi(f2)---(5)]]>其中U是歸一化因子，d2(n)是高斯窗函數，M為數據長度，K為將該段數據所分段數，N為每段的長度。(6)用改進的相干函數計算HRV信號與呼吸信號的相干系數Cohxy(f1f2)=|Pxy(f1f2)|2Pxx(f1)Pyy(f2)---(6)]]>然后分別計算f1在[0.03,0.04],[0.04,0.15],[0.15-0.4],f2在[0.01,0.4]范圍內的平均相干系數，作為HRV極低頻，低頻以及高頻段與呼吸信號的相干系數。CohVLF=1n1Σi=1n1Cohxy(f1f2),0.03≤f1≤0.04,0.01≤f2≤0.4---(7)]]>CohLF=1n2Σi=1n2Cohxy(f1f2)0.04≤f1≤0.15,0.01≤f2≤0.4---(8)]]>CohHF=1n3Σi=1n3Cohxy(f1f2)0.15≤f1≤0.4,0.01≤f2≤0.4---(9)]]>其中，n1,為0.03≤f1≤0.040.01≤f2≤0.4范圍內Cohxy(f1f2)的點數，n2為0.04≤f1≤0.15，0.01≤f2≤0.4范圍內Cohxy(f1f2)的點數，n3為0.15≤f1≤0.4，0.01≤f2≤0.4范圍內Cohxy(f1f2)的點數。設L為樣本數，為第d個樣本的CohVLF值，為第d個樣本的CohLF值，為第d個樣本的CohHF值。由此，得到三個特征向量F2,F3,F4，且3)相位鎖定值相位鎖定值(phase-lockingvalue,PLV)是用來研究兩個信號在相位上的同步性關系，有效彌補了時域和頻域特征的不足。相位值是通過希爾伯特變換計算的，它的定義為：x~i(t)=1πPV∫-∞∞xi(τ)t-τdτ---(10)]]>PV表示積分是在柯西主值上進行的，瞬時相位計算如下：φi(t)=arctanx~i(t)xi(t)---(11)]]>同理，計算心電信號y的瞬時相位ηi(t)，故相位差Δφ＝φi(t)-ηi(t)，PLV可以通過下式計算：PLV=|1NΣn=1NeiΔφ|---(12)]]>即某個時間窗內所有eiΔφ在時間上的平均。當相位差為定值時(即相位同步)，PLV＝1；當相位差在[0,2π]之間隨機分布時，PLV＝0。由此，得到第5個特征向量F5＝(PLV1,PLV2,…,PLVL)’。最后，得到同步性特征矩陣：FFL,5=(F1,F2,F3,F4,F5)=C1xyCohVLF1CohLF1CohHF1PLV1...............CkxyCohVLFkCohLFkCohHFkPLVk...............CLxyCohVLFLCohLFLCohHFLPLVL---(13)]]>(4)特征權重調整可分性分析主要用來評價特征參數在不同類別樣本中的分布是否具有明顯差異，因為差異度越大的特征越適合作為樣本分類的特征，在構建分類器的時候應給予相對較大的權重值。Fisher判別率(FisherDiscriminantRatio,FDR)可衡量兩類或多類樣本間的差異性，計算公式如下：FDRk=Σi=1NΣj=i+1N(μki-μkj)2(σki)2+(σkj)2---(14)]]>其中，N是情緒類別數，即多少種情緒；是第i類中第k個特征(某一導聯在某個頻段的功率譜值)所有樣本的均值；是第i類中第k個特征所有樣本的標準差。FDR值越大，說明該特征在不同類別間的差異性越大，可分性越強。在本發(fā)明中，最終得到5個特征的FDR值，根據FDR值的大小，給每個特征分配相應的權重值wi。(5)情緒識別模型的建立得到特征矩陣后，使用支持向量機(SupportVectorMachine，SVM)[2]建立情緒識別模型，識別用戶當前的情緒狀態(tài)。建立分類器之前，首先需要對數據分別進行列歸一化，歸一化到[-1.1],得到特征矩陣PPL*5,PPL*5=PP1,1PP1,2PP1,3PP1,4PP1,5...............PPk,1PPk,2PPk,3PPk,4Pk,5...............PPL,1PPL,2PPL,3PPL,4PPL,5---(15)]]>PPi,j＝(ymax-ymin)*(Fi,j-Fjmin)/(Fjmax-Fjmin)+ymin,(16)其中，ymax＝1,ymin＝-1；Fi,j為原始特征矩陣FFL,5的第i行第j列的特征；Fjmin為降維后的特征矩陣FFL*5的第j列的最小值，同理，Fjmax為特征矩陣FFL*5的第j列的最大值。歸一化后，配合上一步驟中的每個特征的權重值，利用SVM分類器建立情緒識別模型。本發(fā)明通過提取心電信號與呼吸信號的同步性特征，時域、頻域以及相位同步性特征，然后利用Fisher判別法評估每個特征的重要程度并據此調整構建分類器時的權重值，最后建立準確的情緒識別模型，客觀、準確、實時地對用戶進行情緒識別。該發(fā)明有望在人-機情感交互、日常心理/生理健康管理、社交平臺情緒/健康分享等應用場景下為提高用戶體驗發(fā)揮重要作用，也可用于臨床情緒障礙疾病的診斷及療效評價、情緒神經反饋調節(jié)的情緒狀態(tài)識別方法，帶來可觀的社會和經濟效益。當前第1頁1 2 3