一種基于注意和情感信息融合的抑郁癥診斷系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理、生物特征提取、模式識別技術(shù)領(lǐng)域，特別設(shè)及一種基于注意 和情感信息融合的抑郁癥診斷系統(tǒng)及方法。
【背景技術(shù)】
[0002] 目前抑郁癥最廣泛的診斷標(biāo)準(zhǔn)是美國精神疾病診斷和統(tǒng)計手冊第四版值SM-IV)， 并且抑郁癥診斷局限于W臨床癥狀為主，其診斷主要依據(jù)精神科醫(yī)生的經(jīng)驗和相關(guān)的抑郁 癥量表，但是抑郁癥量表的評分結(jié)果不能準(zhǔn)確的反映患者的屯、理狀況，患者可能存在主觀 隱瞞的情況，診斷結(jié)果往往會受到醫(yī)生自身主觀因素和實際臨床經(jīng)驗的影響，并且在抑郁 癥診斷方面缺少量化的診斷指標(biāo)和可靠、高效的診斷系統(tǒng)，診斷效率低、誤診率高、資源耗 費(fèi)大的情況一直得不到解決。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種基于注意和情感信息融合的抑郁癥診斷系統(tǒng)及方法，該 系統(tǒng)利用注視點中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶寬和面部表情特征，可W全面、系 統(tǒng)、定量的對抑郁癥進(jìn)行識別。
[0004] 為實現(xiàn)上述目的，本發(fā)明一方面提供一種基于注意和情感信息融合的抑郁癥診斷 系統(tǒng)，包括：情緒刺激模塊，用于設(shè)置多個情緒刺激任務(wù)并W預(yù)設(shè)順序?qū)⑺龆鄠€情緒刺激 任務(wù)提供至受測者，W誘發(fā)所述受測者的情緒；圖像采集模塊，用于采集所述受測者在進(jìn)行 所述情緒刺激任務(wù)時的眼部圖像和面部圖像；數(shù)據(jù)傳輸模塊，用于獲取并發(fā)送所述眼部圖 像和面部圖像；數(shù)據(jù)預(yù)處理模塊，用于接收來自所述數(shù)據(jù)傳輸模塊的眼部圖像和面部圖像， 并對所述眼部圖像和面部圖像進(jìn)行預(yù)處理；數(shù)據(jù)處理模塊，用于對所述預(yù)處理后的眼部圖 像進(jìn)行分析，計算所述受測者的注視點位置和瞳孔直徑；特征提取模塊，用于提取反映所述 受測者的注意力的注意類特征和反映所述受測者的情感狀態(tài)的情感類特征；識別反饋模 塊，用于對所述注意類特征和所述情感類特征進(jìn)行融合W對所述受測者進(jìn)行抑郁癥診斷識 別。
[0005] 根據(jù)本發(fā)明的一個方面，所述多個情緒刺激任務(wù)至少包括：一段正性情緒刺激視 頻、一段中性情緒刺激視頻、一段負(fù)性情緒刺激視頻、同時提供的一段正性情緒刺激視頻和 中性刺激視頻、同時提供的一段負(fù)性情緒刺激視頻和中性刺激視頻，其中，所述正性情緒刺 激視頻用于對所述受測者產(chǎn)生正性情緒刺激，所述中性情緒刺激視頻用于對所述受測者產(chǎn) 生中性情緒刺激，負(fù)性情緒刺激視頻用于對所述受測者產(chǎn)生負(fù)性情緒刺激。
[0006] 根據(jù)本發(fā)明的一個方面，所述圖像采集模塊包括：
[0007] 第一攝像機(jī)，所述第一攝像機(jī)設(shè)置于所述受測者眼睛的鄰近處，用于采集所述受 測者在進(jìn)行所述情緒刺激任務(wù)時的眼部視頻；
[0008] 眼部圖像采集單元，所述眼部圖像采集單元的輸入端與所述第一攝像機(jī)相連，所 述眼部圖像采集單元的輸出端與所述數(shù)據(jù)傳輸模塊相連，用于接收所述眼部視頻并從所述 眼部視頻中采集所述受測者的眼部圖像，將所述眼部圖像發(fā)送至數(shù)據(jù)傳輸模塊；
[0009] 第二攝像機(jī)，所述第二攝像機(jī)設(shè)置于所述受測者面部的鄰近處，用于采集所述受 測者在進(jìn)行所述情緒刺激任務(wù)時的面部視頻；
[0010] 面部圖像采集單元，所述面部圖像采集單元的輸入端與所述第二攝像機(jī)相連，所 述面部圖像采集單元的輸出端與所述數(shù)據(jù)傳輸模塊相連，用于接收所述面部視頻并從所述 面部視頻中采集所述受測者的面部圖像，將所述面部圖像發(fā)送至數(shù)據(jù)傳輸模塊。
[0011] 根據(jù)本發(fā)明的一個方面，所述數(shù)據(jù)預(yù)處理模塊包括：
[0012] 眼部圖像預(yù)處理單元，用于對所述眼部圖像進(jìn)行預(yù)處理，得到預(yù)處理后的眼部圖 像；
[0013] 面部圖像預(yù)處理單元，用于對所述面部圖像進(jìn)行預(yù)處理，得到預(yù)處理后的面部圖 像。
[0014] 根據(jù)本發(fā)明的一個方面，所述眼部圖像預(yù)處理單元對所述眼部圖像進(jìn)行預(yù)處理， 包括：對所述眼部圖像進(jìn)行歸一化處理，再將歸一化處理后的眼部圖像進(jìn)行灰度轉(zhuǎn)換W生 成眼部灰度圖像，對所述眼部灰度圖像進(jìn)行直方圖均衡化處理和二值化處理，將二值化處 理后的眼部圖像進(jìn)行圖像膨脹處理和圖像腐蝕處理，得到預(yù)處理后的眼部圖像。
[0015] 根據(jù)本發(fā)明的一個方面，所述面部圖像預(yù)處理單元對所述面部圖像進(jìn)行預(yù)處理， 包括：對所述面部圖像進(jìn)行歸一化處理，再將歸一化處理后的面部圖像進(jìn)行灰度轉(zhuǎn)換W生 成面部灰度圖像，對所述面部灰度圖像進(jìn)行拉伸變換和去噪，得到預(yù)處理后的面部圖像。
[0016] 根據(jù)本發(fā)明的一個方面，所述數(shù)據(jù)處理模塊包括：注視點位置計算單元，用于根據(jù) 所述預(yù)處理后的眼部圖像，計算所述受測者在進(jìn)行所述情緒刺激任務(wù)時的注視點位置；瞳 孔直徑計算單元，用于根據(jù)所述預(yù)處理后的眼部圖像，計算所述受測者在進(jìn)行所述情緒刺 激任務(wù)時的瞳孔直徑。
[0017] 根據(jù)本發(fā)明的一個方面，所述注視點位置計算單元計算所述受測者在進(jìn)行所述情 緒刺激任務(wù)時的注視點位置，包括：
[0018] 首先，建立所述受測者在頭部位置固定情況下的視線映射函數(shù)模型：
[0020] 其中為注視點坐標(biāo)，（Xi，Yi)為所述受測者在觀看屏幕固 定點坐標(biāo)時的瞳孔中屯、坐標(biāo)，曰。、曰1、曰2、曰3、曰4、曰5、6。、131、62、63、64和6 5為系數(shù)，其中，曰。、曰1、 曰2、曰3、曰4、曰5、b。、bi、bz、bs、b4和b述過預(yù)先讓所述受測者觀看6個預(yù)設(shè)屏幕上固定點坐標(biāo) 和觀看固定點時計算得到的6組瞳孔中屯、坐標(biāo)組成的12個方程計算得到；
[0021] 然后，獲取所述受測者在觀看屏幕固定點時瞳孔中屯、的坐標(biāo)值（X,，y,)，根據(jù)所述 視線映射函數(shù)模型和瞳孔中屯、的坐標(biāo)值（x，，y,)，得到所述受測者的視線在屏幕上落點坐標(biāo)
[0022] 根據(jù)本發(fā)明的一個方面，所述注視點位置計算單元獲取所述受測者在觀看屏幕固 定點時瞳孔中屯、的坐標(biāo)值（X，，y,)，包括如下步驟：對所述預(yù)處理后的眼部圖像進(jìn)行邊緣檢 ，得到瞳孔邊界點，采用最小二乘圓擬合法得到所述受測者在觀看屏幕固定點時瞳孔中 屯、的坐標(biāo)值（Xj，yj)。
[0023] 根據(jù)本發(fā)明的一個方面，所述瞳孔直徑計算單元計算所述受測者在進(jìn)行所述情緒 刺激任務(wù)時的瞳孔直徑，包括：
[0024] 對所述預(yù)處理后的眼部圖像進(jìn)行邊緣檢測，得到瞳孔邊界點，采用最小二乘圓擬 合法對瞳孔區(qū)域進(jìn)行擬合，得到受測者觀看每個情緒刺激任務(wù)時采集到的每帖圖像的瞳孔 直徑值。
[0025] 根據(jù)本發(fā)明的一個方面，所述瞳孔直徑計算單元計算在進(jìn)行每個情緒刺激任務(wù)時 采集到的每帖圖像的瞳孔直徑值，包括：所述受測者觀看正性情緒刺激視頻時每帖圖像的 瞳孔直徑值所述受測者觀看中性情緒刺激視頻時每帖圖像的瞳孔直徑值和所述 、 受測者觀看負(fù)性情緒刺激視頻時每帖圖像的瞳孔直徑值《t。
[0026] 根據(jù)本發(fā)明的一個方面，所述注意類特征包括：所述受測者的注視點中屯、距特征 和注意偏向分?jǐn)?shù)特征；所述情感類特征包括所述受測者的情感帶寬特征和面部表情特征。
[0027] 根據(jù)本發(fā)明的一個方面，所述特征提取模塊提取所述受測者的注視點中屯、距特征 包括：
[0028] 首先，計算所述受測者在進(jìn)行每個所述情緒刺激任務(wù)時的注視點位置 和視頻位置的中屯、點坐標(biāo)（X。，y。）的歐式距離，得到所述受測者的 注視點中屯、距dj，
[0030] 然后，將計算得到的注視點中屯、距特征存入矩陣Xi，
[00；31] Xi= (di'dz'ds，…，dn)T;
[003引其中Xi為注視點中屯、距特征矩陣，n為特征個數(shù)。
[0033] 根據(jù)本發(fā)明的一個方面，所述特征提取模塊提取所述受測者的注意偏向分?jǐn)?shù)特征 包括：首先，計算所述受測者的正性注意偏向分?jǐn)?shù)特征和負(fù)性注意偏向分 數(shù)特征姓德窩?
[0034] 然后，將計算得到的正性注意偏向分?jǐn)?shù)特征和負(fù)性注意偏向分?jǐn)?shù)特征存入矩陣 X2:
[00；35] 又2= (fixation 1正性偏向，…，fixationn正性偏向，fixationi巧性偏向，…，fixationn巧性 偏向)T，
[0036] 其中，X2是一個2*i維的特征矩陣，表示所述受測者的注意偏向分?jǐn)?shù)特征，i為正 性注意偏向分?jǐn)?shù)特征或負(fù)性注意偏向分?jǐn)?shù)特征個數(shù)，i = 1，2, 3,…，n。
[0037] 根據(jù)本發(fā)明的一個方面，所述受測者的正性注意偏向分?jǐn)?shù)特征自 如下：
[0038]
[003引其中fka餘為落在正性視頻區(qū)域內(nèi)注視點個數(shù)，fk;施辯為落在中性視頻 區(qū)域內(nèi)注視點個數(shù)，自為計算得到的正性注意偏向分?jǐn)?shù)特征；
[0040] 所述受測者的負(fù)性注意偏向分?jǐn)?shù)特征如下：
[0041]
[004引其中敵絨!觸5受為落在負(fù)性視頻區(qū)域內(nèi)注視點個數(shù)，轉(zhuǎn)微tk)鳴為落在中性視頻 區(qū)域內(nèi)注視點個數(shù)，帛為計算得到的負(fù)性注意偏向分?jǐn)?shù)特征。
[0043] 根據(jù)本發(fā)明的一個方面，所述特征提取模塊提取所述受測者的情感帶寬特征包 括：
[0044] 首先，根據(jù)所述受測者觀看正性情緒刺激視頻時每帖圖像的瞳孔直徑值和觀 ?V 看中性情緒刺激視頻時每帖圖像的瞳孔直徑值計算所述受測者的正性情感帶寬特 9 征：
[004引璋嫌雜(孩)-4-C;
[0046] 根據(jù)所述受測者觀看中性情緒刺激視頻時每帖圖像的瞳孔直徑值(4和觀看負(fù)性 情緒刺激視頻時每帖圖像的瞳孔直徑值結(jié)^ ,計算所述受測者的負(fù)性情感帶寬特征：
[0047] %繩W 泌艱…隸^..
[0048] 然后，將計算得到所述受測者的正性情感帶寬特征和負(fù)性情感帶寬特征存入矩陣 又3:
[0049] 苦， W f巧玄 巧度 《:議 巧i 《茲 《沒 、 瓜3 "…、。護(hù)城從，部嫌W* ，識線W,。賊拠 f , %嫌微子…％嫌W
[0050] 其中，X3是一個2*i維的特征矩陣，表示所述受測者的情感帶寬，i為圖像序列的 帖數(shù)，i = 1，2, 3，…，n。
[0051] 根據(jù)本發(fā)明的一個方面，所述特征提取模塊提取所述受測者的面部表情特征包 括：
[0052] 首先，根據(jù)預(yù)處理后的面部圖像分別提取所述受測者觀看所述正性情緒刺激 視頻、中性情緒刺激視頻和負(fù)性情緒刺激視頻時的面部表情圖像的表情特征點向量 《重 ^￡健3取銭和澈錠. '、 ，
[0053] 然后，根據(jù)^￡穩(wěn) 康和分別計算正性差分表情特征向量念和負(fù)性 差分表情特征向量A
[0054] 最后，將計算得到的正性差分表情特征向量A Sjg和負(fù)性差分表情特征向量 琴存入矩陣X"其中，
[00 巧] , . . <. T % ? C .怒霉f .念S金.S 、'、"，'惠送苗.，念S苗f滋S每f…A SL J
[0056] 其中，X4是一個2*i維的特征向量，表示所述受測者的面部特征點運(yùn)動情況，i為 圖像序列的帖數(shù)，i = l，2, 3，…，n。
[0057] 根據(jù)本發(fā)明的一個方面，所述正性差分表情特征向量送為： ^ Sj臣綾? $若健所述負(fù)性差分表情特征向量忿送為：'^ S苗穩(wěn)淺 ； 筑 。
[0058] 根據(jù)本發(fā)明的一個方面，所述識別反饋模塊對所述注意類特征和所述情感類特征 進(jìn)行融合W對所述受測者進(jìn)行抑郁癥診斷識別，包括：將所述特征提取模塊提取的所述受 測者的注視點中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶寬特征和面部表情特征輸入至訓(xùn)練 完成的支持向量機(jī)分類模型中進(jìn)行識別診斷，并W符號函數(shù)形式輸出診斷結(jié)果。
[0059] 本發(fā)明實施例提供的基于注意和情感信息融合的抑郁癥診斷系統(tǒng)，對抑郁癥的診 斷采用了四項注意和情感類反應(yīng)指標(biāo)，利用注視點中屯、距特征、注意偏向分?jǐn)?shù)特征、情感帶 寬和面部表情特征四項注意和情感類特征進(jìn)行模式分類，實現(xiàn)全面、系統(tǒng)、定量的對抑郁癥 進(jìn)行識別，從而達(dá)到對抑郁癥的準(zhǔn)確、高效識別、低成本的特點，具有廣闊的醫(yī)用前景。
[0060] 本發(fā)明