專(zhuān)利名稱(chēng)：一種從人臉圖像序列中識(shí)別臉部表情的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種從人臉圖像序列中識(shí)別臉部表情的方法，屬于人臉表情分析與識(shí) 別技術(shù)領(lǐng)域。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，自動(dòng)的人臉表情分析與識(shí)別技術(shù)將使臉部表情成為 人機(jī)交互的一個(gè)新渠道(channel)，并且讓交互過(guò)程變得更為自然和有效。臉部表情分析 與識(shí)別包含三個(gè)基本問(wèn)題①如何在圖像中發(fā)現(xiàn)并定位人臉；②如何從檢測(cè)到的臉部圖像 或臉部圖像序列中提取有效的表情特征；③如何設(shè)計(jì)恰當(dāng)?shù)姆诸?lèi)方法來(lái)識(shí)別表情種類(lèi)。近 年來(lái)，有很多研究工作致力于從圖像序列中識(shí)別人臉表情=Cohn等在文獻(xiàn)《Feature-Point Tracking by Optical FlowDiscriminates Subtle Differences in Facial Expression》 (Int’ 1 Conf. Automatic Face and Gesture Recognition, pp. 396-401 (1998))中提出 了一種基于光流的方法來(lái)識(shí)別臉部表情中的細(xì)微變化。Laj evardi等人在文獻(xiàn)《Facial expression recognition from image sequences using optimizedfeature selection)) (IVCNZ 2008, New Zealand, Page (s) : 1-6 (2008))中公開(kāi)了一種通過(guò)優(yōu)化的特征選取過(guò)程， 使用樸素貝葉斯(NB)分類(lèi)器來(lái)識(shí)別人臉表情的方法。孫正興等在文獻(xiàn)《面向視頻序列表情 分類(lèi)的LSVM算法》(計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).第21卷，第4期(2009))中公開(kāi)了一 種采用基于點(diǎn)跟蹤的活動(dòng)形狀模型(ASM)從視頻人臉中提取表情幾何特征，并使用局部支 撐向量機(jī)(LSVM)分類(lèi)器對(duì)表情進(jìn)行分類(lèi)的方法。這些方法的缺點(diǎn)是其僅僅從峰值表情幀 中提取特征，忽略了表情產(chǎn)生過(guò)程包含的重要時(shí)域動(dòng)態(tài)信息，因此其識(shí)別的準(zhǔn)確率不高。另 夕卜，《Active and Dynamic Information Fusion for Facial ExpressionUnderstanding from Image Sequences》 (IEEE TRANSACTIONS ON PATTERNANALYSIS AND MACHINE INTELLIGENCE，VOL 27，NO. 5，MAY 2005)、《Manifoldbased analysis of facial expression)) (Image and Vision Computing 24 (2006) 605-614)、 《Facial expression recognition from video sequences temporal and static modeling》(Computer Vision and Image Understanding91 (2003) 160-187)等文獻(xiàn)提出的 方法雖然使用了表情產(chǎn)生過(guò)程包含的時(shí)域動(dòng)態(tài)信息，但其計(jì)算復(fù)雜、計(jì)算開(kāi)銷(xiāo)大。本發(fā)明使用到的重要一項(xiàng)已有技術(shù)是典型相關(guān)分析(CanonicalCorrelation Analysis, CCA)。典型相關(guān)分析是統(tǒng)計(jì)分析中的經(jīng)典工具，它可以用于測(cè)量?jī)蓚€(gè)或多個(gè)數(shù)據(jù)集之間 的線性關(guān)系。典型相關(guān)系數(shù)定義為兩個(gè)d維線性子空間L1和L2之間主角91的余弦值COSOj = max Uj7Vj(l<i<d)-,
U1 EL] ,VjEL2其中Uj Uj = V, V, = 1，Ui Uj = Vj Vj = 0(/ 本 j)；參數(shù)d表示線性子空間維度。
近年來(lái)典型相關(guān)分析技術(shù)已被成功地應(yīng)用于圖像集匹配、人臉或物體識(shí)別等領(lǐng) 域，因此將典型相關(guān)分析技術(shù)用于解決表情識(shí)別問(wèn)題從理論上講是一個(gè)簡(jiǎn)單而有效的方 法。但是，在表情識(shí)別問(wèn)題中，同一個(gè)人不同表情的臉部圖像差異并不大，即使兩個(gè)相反的 表情的圖像差異也不是很大，所以簡(jiǎn)單的將典型相關(guān)分析技術(shù)應(yīng)用于表情識(shí)別中，不能取 得較好的效果。目前為止，還未查找到將典型相關(guān)分析技術(shù)用于人臉表情識(shí)別中的相關(guān)文 獻(xiàn)及實(shí)際應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服已有技術(shù)存在的不足，提出了一種從人臉圖像序列中識(shí) 別臉部表情的方法。本發(fā)明使用臉部特征點(diǎn)跟蹤的方法針對(duì)表情圖像序列中的每一幀圖像 依次提取歸一化的臉部關(guān)鍵點(diǎn)位移量和特定幾何特征的長(zhǎng)度，將這些數(shù)據(jù)組成一個(gè)特征列 向量；序列中的所有特征列向量按次序排列形成一個(gè)特征矩陣，每個(gè)特征矩陣代表一個(gè)臉 部表情圖像序列；然后利用典型相關(guān)分析方法比較特征矩陣之間的相似性，從而將待識(shí)別 人臉圖像確定為六種基本表情(高興、悲傷、恐懼、厭惡、驚訝和生氣)之一。本發(fā)明的目的是通過(guò)下述技術(shù)方案實(shí)現(xiàn)的。一種從人臉圖像序列中識(shí)別臉部表情的方法，其具體操作步驟為步驟一、選擇圖像序列從臉部表情數(shù)據(jù)庫(kù)中選出代表高興、悲傷、恐懼、厭惡、驚訝和生氣等六種基本 表情的圖像序列，每種基本表情的圖像序列的數(shù)量多于20 ；從每個(gè)表情圖像序列中選取
10，且m為正整數(shù))幀圖像，且每個(gè)表情圖像序列從中性表情圖像開(kāi)始，到峰值表情 圖像結(jié)束。步驟二、標(biāo)識(shí)臉部特征點(diǎn)在步驟一的基礎(chǔ)上，標(biāo)識(shí)臉部特征點(diǎn)；具體為第1步依次在每個(gè)表情圖像序列中的第一幀圖像中標(biāo)識(shí)出20個(gè)臉部特征點(diǎn)；其 中，第1、2特征點(diǎn)分別位于右邊眉毛和左邊眉毛的眉頭位置；第3、4特征點(diǎn)分別位于右邊 眉毛和左邊眉毛的眉尾位置；第5、6特征點(diǎn)分別位于右邊眼睛和左邊眼睛的內(nèi)眼角位置； 第7、8特征點(diǎn)分別位于右邊眼睛和左邊眼睛的最低點(diǎn)；第9、10特征點(diǎn)分別位于右邊眼睛 和左邊眼睛的外眼角位置；第11、12特征點(diǎn)分別位于右邊眼睛和左邊眼睛的最高點(diǎn)；第13、 14特征點(diǎn)分別位于鼻翼的最右側(cè)位置和鼻翼的最左側(cè)位置；第15特征點(diǎn)位于鼻尖位置；第 16、17特征點(diǎn)分別位于嘴角的最右側(cè)位置和嘴角的最左側(cè)位置；第18、19特征點(diǎn)分別位于 唇部中心線與唇部輪廓線相交的最高點(diǎn)和最低點(diǎn)；第20特征點(diǎn)位于臉部中心線與臉部輪 廓線相交的最低點(diǎn)。所述標(biāo)識(shí)20個(gè)臉部特征點(diǎn)的方法包括但不限于①人工手動(dòng)標(biāo)識(shí)；②采用 Vukdadinovic 等人在文獻(xiàn)〈〈Fully automatic facial feature point detectionusing gabor feature based boosted classifiers)) (Proc. IEEE Int' 1 Conf. on Systems, Man and Cybernetics, pp. 1692-1698(2005))中提出的基于Gabor特征的增強(qiáng)分類(lèi)器方法實(shí)現(xiàn) 對(duì)20個(gè)臉部特征點(diǎn)的自動(dòng)定位。第 2 步根據(jù) Farkas 在文獻(xiàn)〈〈Anthropometry of the Head and Face)) (NewYork Raven Press (1994))中提出的人的眼睛和臉頰、鼻子和臉頰空間關(guān)系的統(tǒng)計(jì)數(shù)據(jù)，計(jì)算出每個(gè)表情圖像序列中的第一幀圖像中的第21、22特征點(diǎn)的位置；第21、22特征點(diǎn)分別位于 右側(cè)臉頰和左側(cè)臉頰的顴骨位置。第3 步采用 Patras 等人在文獻(xiàn)《Particle filtering with factorizedlikeIihoods for tracking facial features)) (Proc. Int' 1 Conf. AutomaticFace & Gesture Recognition, pp. 97-102 (2004))中提出的基于似然函數(shù)可因 式分解的粒子濾波跟蹤方法，根據(jù)每個(gè)表情圖像序列中的第一幀圖像中的22個(gè)特征點(diǎn)的 位置，跟蹤每個(gè)表情圖像序列中的后續(xù)幀圖像中的22個(gè)臉部特征點(diǎn)。第4步采用仿射變換方法調(diào)整圖像中人臉的位置和大小，使同一個(gè)圖像序列中 人臉的大小相等且位置保持一致。具體為首先使每一個(gè)圖像序列中的第一幀圖像中的兩個(gè)內(nèi)眼角點(diǎn)的連線保持水平 ’然 后，根據(jù)所在圖像序列中的第一幀圖像中的兩個(gè)內(nèi)眼角點(diǎn)和人中的最上部點(diǎn)這3個(gè)點(diǎn)的位 置，對(duì)余下各幀中的22個(gè)臉部特征點(diǎn)做映射和歸一化處理；經(jīng)過(guò)仿射變換處理后，同一個(gè) 圖像序列中所有圖像的人臉大小相等且兩個(gè)內(nèi)眼角點(diǎn)和人中的最上部點(diǎn)這3個(gè)點(diǎn)的位置 與第一幀中該3個(gè)點(diǎn)的位置一致。步驟三、提取臉部表情特征在步驟二操作的基礎(chǔ)上，依次從每張圖像中提取臉部表情特征；具體為第1步建立Xb-Yb坐標(biāo)系，該坐標(biāo)系以每張圖像的左下角為原點(diǎn)，水平向右方向 為Xb軸，豎直向上方向?yàn)閅b軸；根據(jù)每張圖像上22個(gè)特征點(diǎn)所在像素的位置依次得到每 張圖像上基于Xb-Yb坐標(biāo)系的22個(gè)特征點(diǎn)的坐標(biāo)值(Xbi^bi)以及每張圖像的人臉人中的 最上部點(diǎn)的坐標(biāo)值(x。rigin，y。rigin)，其中，i = 1 22，且i為正整數(shù)；第2步建立X-Y坐標(biāo)系，該坐標(biāo)系以每張圖像的人臉人中的最上部點(diǎn)為原點(diǎn)，水 平向右方向?yàn)閄軸，豎直向上方向?yàn)閅軸；通過(guò)公式1和公式2得到每張圖像上的基于X-Y 坐標(biāo)系的22個(gè)特征點(diǎn)的坐標(biāo)值(Xi，Yi)；Xi = Xbi-Xorigin(1)y, = Ybi-Yorigin(2)第3步通過(guò)公式3和公式4獲得每張圖像的22個(gè)特征點(diǎn)的橫坐標(biāo)位移量Δχ;、縱
坐標(biāo)位移量Ay:.；
Axi = Xi - X1( 3 )
Ay:=兄一兄(4)其中，孓、歹,分別為該圖像所在圖像序列中的第一幀圖像的對(duì)應(yīng)特征點(diǎn)的橫坐標(biāo) 值和縱坐標(biāo)值。第4步通過(guò)公式5和公式6依次得到每張圖像的22個(gè)特征點(diǎn)歸一化后的橫坐標(biāo) 位移量Δ Xi、縱坐標(biāo)位移量Ayi ；
=/ Xbase(5)其中，Xbase = χ6-χ5，ybase = y6-y5 ；χ5和χ6分別為該圖像的第5、6特征點(diǎn)的橫坐標(biāo) 和y6分別為該圖像的第5、6特征點(diǎn)的縱坐標(biāo)值。
第5步獲得每張圖像中的10個(gè)幾何距離特征HlfV1 HlfVltl ；具體為 根據(jù)公式7獲得眼睛張開(kāi)程度值HIfv1 Iiifv1 = ((yn-y7) + (y12-y8))/2(7)
其中，^^^工^口分別為該圖像的第了^口特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式8獲得眼睛寬度值HlfV2
mfv2 = ((x5-x9)+ (X10-X6))/2(8)
其中，x5, x6, x9, X10分別為該圖像的第5、6、9、10特征點(diǎn)的橫坐標(biāo)值。
根據(jù)公式9獲得眉頭高度值HlfV3
Iiifv3 = (yi+y2) /2(9)
其中，Y1^y2分別為該圖像的第1、2特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式10獲得眉尾高度值HlfV4
mf v4 = (y3+y4) /2(10)
其中，y3、y4分別為該圖像的第3、4特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式11獲得眉毛寬度值Hlfv5
mfV5 = ((X1-X3)+ (X4-X2))/2(11)
其中，χι、χ2、χ3、χ4分別為該圖像的第1、2、3、4特征點(diǎn)的橫坐標(biāo)值。 根據(jù)公式12獲得嘴張開(kāi)程度值Hifv6
Hifv6 = Yi8-Yi9(12)
其中，y18、Y19分別為該圖像的第18、19特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式13獲得嘴寬度值Hifv7
mfv7 = X17-X16(13)
其中，x16、X17分別為該圖像的第16、17特征點(diǎn)的橫坐標(biāo)值。
根據(jù)公式14獲得鼻尖-嘴角距離值Hifv8
mfv8 = ((Y15-Y16) + (Y15-Yi7)) /2(14)
其中，y15、y16、y17分別為該圖像的第15、16、17特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式15獲得眼睛-臉頰距離值HIfv9
mfv9 = (((Yn+Y7) /2-y21) + ((y12+y8) /2-y22)) /2(15)
其中，Y21> Y22分別為該圖像的第21、22特征點(diǎn)的縱坐標(biāo)值。
根據(jù)公式16獲得鼻尖-下巴距離值Hifvltl
mfv1(i = y15_y2。(16)
其中，y15、I20分別為該圖像的第15、20特征點(diǎn)的縱坐標(biāo)值。
第6步通過(guò)公式17對(duì)每張圖像中的10個(gè)幾何距離特征HIfv1 HifVltl進(jìn)行歸一
mjv = mfv / mfv
(17)
9
其中，j = 1 10，且j為正整數(shù)；該圖像所在圖像序列中的第一幀圖像中 對(duì)應(yīng)的幾何距離特征。第7步分別用每張圖像的10個(gè)幾何距離特征Hifv1 mfv1Q以及每幅圖像的22 個(gè)特征點(diǎn)歸一化處理后得到的橫坐標(biāo)位移量△&、縱坐標(biāo)位移量Ayi構(gòu)成表示一幅臉部圖 像表情信息的54維列向量Zk ；其中zk e R54,1彡k彡m，R表示實(shí)數(shù))；第8步使用特征矩陣Z = Iz1, Z2,..., zj e R54xm表示一個(gè)表情圖像序列；其中 Z1表示中性表情，Zffl表示峰值表情。步驟四、對(duì)待測(cè)試圖像序列進(jìn)行分類(lèi)；在步驟三的基礎(chǔ)上，采用典型相關(guān)分析對(duì)待測(cè)試圖像序列進(jìn)行分類(lèi)；具體為第1步將步驟一中選取的每種基本表情的圖像序列隨機(jī)分成2部分，一部分作為 訓(xùn)練數(shù)據(jù)，一部分作為測(cè)試數(shù)據(jù)；訓(xùn)練數(shù)據(jù)的數(shù)量為Q，Q > 20，且Q為正整數(shù)；一條訓(xùn)練數(shù) 據(jù)是一個(gè)表情圖像序列；一條測(cè)試數(shù)據(jù)也是一個(gè)表情圖像序列。第2步針對(duì)第1步得到的訓(xùn)練數(shù)據(jù)，采用T. -K. Kim等人在文獻(xiàn)《Discriminative Learning and Recognition of Image Set Classes UsingCanonical Correlations)) (IEEE Transactions On Pattern Analysis AndMachine Intelligence,Vol. 29,No. 6(2007))中 提出的典型相關(guān)判別分析方法進(jìn)行處理，得到變換矩陣τ e R54xn, η < 54，且η為正整數(shù)； 然后使用變換矩陣T對(duì)步驟一中選取的全部表情圖像序列中的圖像(包括訓(xùn)練數(shù)據(jù)和測(cè)試 數(shù)據(jù))的特征矩陣Z進(jìn)行轉(zhuǎn)換，得到Z' =TtZ0第3步從第1步中所述的測(cè)試數(shù)據(jù)中隨機(jī)選取一個(gè)表情圖像序列，計(jì)算該表情圖 像序列的特征矩陣Z'與每一個(gè)訓(xùn)練數(shù)據(jù)的特征矩陣Z'的典型相關(guān)系數(shù)和。第4步在第3步結(jié)果的基礎(chǔ)上，分別計(jì)算該表情圖像序列與每種基本表情的典型 相關(guān)系數(shù)和的平均值；選取6個(gè)平均值中的最小值對(duì)應(yīng)的表情，作為分類(lèi)結(jié)果。經(jīng)過(guò)上述步驟，即可完成對(duì)待測(cè)試圖像序列的表情識(shí)別。有益效果與已有識(shí)別方法相比，本發(fā)明的一種從人臉圖像序列中識(shí)別臉部表情的方法將典 型相關(guān)分析方法成功運(yùn)用到人臉表情識(shí)別中，有效地利用了表情產(chǎn)生過(guò)程中的動(dòng)態(tài)信息， 并獲取了較高的識(shí)別率和較少的CPU運(yùn)算時(shí)間。


圖1為本發(fā)明的具體實(shí)施方式
中的某個(gè)15幀圖像序列中的7幀圖像；圖2為本發(fā)明的具體實(shí)施方式
中人臉圖像中的特征點(diǎn)及Xb-Yb坐標(biāo)系、X-Y坐標(biāo) 系示意圖；圖3為本發(fā)明方法的總體結(jié)構(gòu)框架示意圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。本實(shí)施例中使用Cohn-Kanade臉部表情數(shù)據(jù)庫(kù)，從中選出代表高興、悲傷、恐懼、 厭惡、驚訝和生氣等六種基本表情的50個(gè)人的212個(gè)圖像序列。從每個(gè)表情圖像序列中各 選取15幀圖像，從中性表情圖像開(kāi)始，到峰值表情圖像結(jié)束。圖1所示為其中某個(gè)15幀圖
10像序列中的7幀。每個(gè)人臉圖像中的22個(gè)特征點(diǎn)及Xb-Yb坐標(biāo)系、X-Y坐標(biāo)系如圖2所示。 選擇其中35個(gè)人的圖像序列作為訓(xùn)練集，剩余的圖像序列作為測(cè)試集，以此來(lái)保證與個(gè)體 無(wú)關(guān)的人臉表情分類(lèi)效果。每個(gè)測(cè)試均使用隨機(jī)選取的測(cè)試和訓(xùn)練集執(zhí)行5次，計(jì)算其平 均結(jié)果。在學(xué)習(xí)和分類(lèi)過(guò)程中，表示線性子空間維度的參數(shù)d設(shè)為10，表示變換矩陣T維度 的參數(shù)η設(shè)為20。本發(fā)明方法的總體結(jié)構(gòu)框架示意圖如圖3所示。應(yīng)用本發(fā)明方法，識(shí)別結(jié)果的混 淆矩陣如表1所示。矩陣的對(duì)角元是臉部表情被正確分類(lèi)的百分比，非對(duì)角元對(duì)應(yīng)于錯(cuò)誤 分類(lèi)的百分比。本文方法的平均準(zhǔn)確率超過(guò)了 90%。表1本文方法識(shí)別結(jié)果的混淆矩陣(％ ) 為說(shuō)明本發(fā)明效果，使用相同的數(shù)據(jù)，分別采用優(yōu)化特征選擇方法和LSVM方法進(jìn) 行試驗(yàn)，其結(jié)果如表2所示。表2不同方法識(shí)別率的比較(％ ) 試驗(yàn)表明本發(fā)明方法具有更高的準(zhǔn)確率，并且從本發(fā)明方法的操作步驟中，可以 看出本發(fā)明方法簡(jiǎn)單易行。 以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人 員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)，或者對(duì)其中部分技術(shù)特征進(jìn) 行等同替換，這些改進(jìn)和替換也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種從人臉圖像序列中識(shí)別臉部表情的方法，其特征在于其具體操作步驟為步驟一、選擇圖像序列從臉部表情數(shù)據(jù)庫(kù)中選出代表高興、悲傷、恐懼、厭惡、驚訝和生氣等六種基本表情的圖像序列，每種基本表情的圖像序列的數(shù)量多于20；從每個(gè)表情圖像序列中選取m幀圖像，其中m≥10，且m為正整數(shù)；且每個(gè)表情圖像序列從中性表情圖像開(kāi)始，到峰值表情圖像結(jié)束；步驟二、標(biāo)識(shí)臉部特征點(diǎn)在步驟一的基礎(chǔ)上，標(biāo)識(shí)臉部特征點(diǎn)；具體為第1步依次在每個(gè)表情圖像序列中的第一幀圖像中標(biāo)識(shí)出20個(gè)臉部特征點(diǎn)；其中，第1、2特征點(diǎn)分別位于右邊眉毛和左邊眉毛的眉頭位置；第3、4特征點(diǎn)分別位于右邊眉毛和左邊眉毛的眉尾位置；第5、6特征點(diǎn)分別位于右邊眼睛和左邊眼睛的內(nèi)眼角位置；第7、8特征點(diǎn)分別位于右邊眼睛和左邊眼睛的最低點(diǎn)；第9、10特征點(diǎn)分別位于右邊眼睛和左邊眼睛的外眼角位置；第11、12特征點(diǎn)分別位于右邊眼睛和左邊眼睛的最高點(diǎn)；第13、14特征點(diǎn)分別位于鼻翼的最右側(cè)位置和鼻翼的最左側(cè)位置；第15特征點(diǎn)位于鼻尖位置；第16、17特征點(diǎn)分別位于嘴角的最右側(cè)位置和嘴角的最左側(cè)位置；第18、19特征點(diǎn)分別位于唇部中心線與唇部輪廓線相交的最高點(diǎn)和最低點(diǎn)；第20特征點(diǎn)位于臉部中心線與臉部輪廓線相交的最低點(diǎn)；第2步根據(jù)Farkas在文獻(xiàn)《Anthropometry of the Head and Face》中提出的人的眼睛和臉頰、鼻子和臉頰空間關(guān)系的統(tǒng)計(jì)數(shù)據(jù)，計(jì)算出每個(gè)表情圖像序列中的第一幀圖像中的第21、22特征點(diǎn)的位置；第21、22特征點(diǎn)分別位于右側(cè)臉頰和左側(cè)臉頰的顴骨位置；第3步采用Patras等人在文獻(xiàn)《Particle filtering with factorizedlikelihoods for tracking facial features》中提出的基于似然函數(shù)可因式分解的粒子濾波跟蹤方法，根據(jù)每個(gè)表情圖像序列中的第一幀圖像中的22個(gè)特征點(diǎn)的位置，跟蹤每個(gè)表情圖像序列中的后續(xù)幀圖像中的22個(gè)臉部特征點(diǎn)；第4步采用仿射變換方法調(diào)整圖像中人臉的位置和大小，使同一個(gè)圖像序列中人臉的大小相等且位置保持一致；步驟三、提取臉部表情特征在步驟二操作的基礎(chǔ)上，依次從每張圖像中提取臉部表情特征；具體為第1步建立Xb Yb坐標(biāo)系，該坐標(biāo)系以每張圖像的左下角為原點(diǎn)，水平向右方向?yàn)閄b軸，豎直向上方向?yàn)閅b軸；根據(jù)每張圖像上22個(gè)特征點(diǎn)所在像素的位置依次得到每張圖像上基于Xb Yb坐標(biāo)系的22個(gè)特征點(diǎn)的坐標(biāo)值(xbi，ybi)以及每張圖像的人臉人中的最上部點(diǎn)的坐標(biāo)值(xorigin，yorigin)，其中，i＝1～22，且i為正整數(shù)；第2步建立X Y坐標(biāo)系，該坐標(biāo)系以每張圖像的人臉人中的最上部點(diǎn)為原點(diǎn)，水平向右方向?yàn)閄軸，豎直向上方向?yàn)閅軸；通過(guò)公式1和公式2得到每張圖像上的基于X Y坐標(biāo)系的22個(gè)特征點(diǎn)的坐標(biāo)值(xi，yi)；xi＝xbi xorigin(1)yi＝y(tǒng)bi yorigin(2)第3步通過(guò)公式3和公式4獲得每張圖像的22個(gè)特征點(diǎn)的橫坐標(biāo)位移量縱坐標(biāo)位移量 <mrow><msubsup> <mi>&Delta;x</mi> <mi>i</mi> <mo>&prime;</mo></msubsup><mo>=</mo><msub> <mi>x</mi> <mi>i</mi></msub><mo>-</mo><msub> <mover><mi>x</mi><mo>&OverBar;</mo> </mover> <mi>i</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo></mrow> </mrow> <mrow><msubsup> <mi>&Delta;y</mi> <mi>i</mi> <mo>&prime;</mo></msubsup><mo>=</mo><msub> <mi>y</mi> <mi>i</mi></msub><mo>-</mo><msub> <mover><mi>y</mi><mo>&OverBar;</mo> </mover> <mi>i</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo></mrow> </mrow>其中，分別為該圖像所在圖像序列中的第一幀圖像的對(duì)應(yīng)特征點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值；第4步通過(guò)公式5和公式6依次得到每張圖像的22個(gè)特征點(diǎn)歸一化后的橫坐標(biāo)位移量Δxi、縱坐標(biāo)位移量Δyi； <mrow><msub> <mi>&Delta;x</mi> <mi>i</mi></msub><mo>=</mo><msubsup> <mi>&Delta;x</mi> <mi>i</mi> <mo>&prime;</mo></msubsup><mo>/</mo><msub> <mi>x</mi> <mi>base</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo></mrow> </mrow> <mrow><msub> <mi>&Delta;y</mi> <mi>i</mi></msub><mo>=</mo><msubsup> <mi>&Delta;y</mi> <mi>i</mi> <mo>&prime;</mo></msubsup><mo>/</mo><msub> <mi>y</mi> <mi>base</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo></mrow> </mrow>其中，xbase＝x6 x5，ybase＝y(tǒng)6 y5；x5和x6分別為該圖像的第5、6特征點(diǎn)的橫坐標(biāo)值；y5和y6分別為該圖像的第5、6特征點(diǎn)的縱坐標(biāo)值；第5步獲得每張圖像中的10個(gè)幾何距離特征mfv1～mfv10；具體為根據(jù)公式7獲得眼睛張開(kāi)程度值mfv1mfv1＝((y11 y7)+(y12 y8))/2(7)其中，y7、y8、y11、y12分別為該圖像的第7、8、11、12特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式8獲得眼睛寬度值mfv2mfv2＝((x5 x9)+(x10 x6))/2 (8)其中，x5、x6、x9、x10分別為該圖像的第5、6、9、10特征點(diǎn)的橫坐標(biāo)值；根據(jù)公式9獲得眉頭高度值mfv3mfv3＝(y1+y2)/2(9)其中，y1、y2分別為該圖像的第1、2特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式10獲得眉尾高度值mfv4mfv4＝(y3+y4)/2(10)其中，y3、y4分別為該圖像的第3、4特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式11獲得眉毛寬度值mfv5mfv5＝((x1 x3)+(x4 x2))/2 (11)其中，x1、x2、x3、x4分別為該圖像的第1、2、3、4特征點(diǎn)的橫坐標(biāo)值；根據(jù)公式12獲得嘴張開(kāi)程度值mfv6mfv6＝y(tǒng)18 y19 (12)其中，y18、y19分別為該圖像的第18、19特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式13獲得嘴寬度值mfv7mfv7＝x17 x16(13)其中，x16、x17分別為該圖像的第16、17特征點(diǎn)的橫坐標(biāo)值；根據(jù)公式14獲得鼻尖 嘴角距離值mfv8mfv8＝((y15 y16)+(y15 y17))/2(14)其中，y15、y16、y17分別為該圖像的第15、16、17特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式15獲得眼睛 臉頰距離值mfv9；mfv9＝(((y11+y7)/2 y21)+((y12+y8)/2 y22))/2 (15)其中，y21、y22分別為該圖像的第21、22特征點(diǎn)的縱坐標(biāo)值；根據(jù)公式16獲得鼻尖 下巴距離值mfv10mfv10＝y(tǒng)15 y20 (16)其中，y15、y20分別為該圖像的第15、20特征點(diǎn)的縱坐標(biāo)值；第6步通過(guò)公式17對(duì)每張圖像中的10個(gè)幾何距離特征mfv1～mfv10進(jìn)行歸一化處理； <mrow><msub> <mi>mfv</mi> <mi>j</mi></msub><mo>=</mo><msub> <mi>mfv</mi> <mi>j</mi></msub><mo>/</mo><msub> <mover><mi>mfv</mi><mo>&OverBar;</mo> </mover> <mi>j</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo></mrow> </mrow>其中，j＝1～10，且j為正整數(shù)；為該圖像所在圖像序列中的第一幀圖像中對(duì)應(yīng)的幾何距離特征；第7步分別用每張圖像的10個(gè)幾何距離特征mfv1～mfv10以及每幅圖像的22個(gè)特征點(diǎn)歸一化處理后得到的橫坐標(biāo)位移量Δxi、縱坐標(biāo)位移量Δyi構(gòu)成表示一幅臉部圖像表情信息的54維列向量zk；其中zk∈R54，1≤k≤m，R表示實(shí)數(shù))；第8步使用特征矩陣Z＝{z1，z2，...，zm}∈R54×m表示一個(gè)表情圖像序列；其中z1表示中性表情，zm表示峰值表情；步驟四、對(duì)待測(cè)試圖像序列進(jìn)行分類(lèi)在步驟三的基礎(chǔ)上，采用典型相關(guān)分析對(duì)待測(cè)試圖像序列進(jìn)行分類(lèi)；具體為第1步將步驟一中選取的每種基本表情的圖像序列隨機(jī)分成2部分，一部分作為訓(xùn)練數(shù)據(jù)，一部分作為測(cè)試數(shù)據(jù)；訓(xùn)練數(shù)據(jù)的數(shù)量為Q，Q≥20，且Q為正整數(shù)；一條訓(xùn)練數(shù)據(jù)是一個(gè)表情圖像序列；一條測(cè)試數(shù)據(jù)也是一個(gè)表情圖像序列；第2步針對(duì)第1步得到的訓(xùn)練數(shù)據(jù)，采用T. K.Kim等人在文獻(xiàn)《Discriminative Learning and Recognition of Image Set Classes UsingCanoni cal Correlations》中提出的典型相關(guān)判別分析方法進(jìn)行處理，得到變換矩陣T∈R54×n，n＜54，且n為正整數(shù)；然后使用變換矩陣T對(duì)步驟一中選取的全部表情圖像序列中的圖像的特征矩陣Z進(jìn)行轉(zhuǎn)換，得到Z′＝TTZ；第3步從第1步中所述的測(cè)試數(shù)據(jù)中隨機(jī)選取一個(gè)表情圖像序列，計(jì)算該表情圖像序列的特征矩陣Z′與每一個(gè)訓(xùn)練數(shù)據(jù)的特征矩陣Z′的典型相關(guān)系數(shù)和；第4步在第3步結(jié)果的基礎(chǔ)上，分別計(jì)算該表情圖像序列與每種基本表情的典型相關(guān)系數(shù)和的平均值；選取6個(gè)平均值中的最小值對(duì)應(yīng)的表情，作為分類(lèi)結(jié)果；經(jīng)過(guò)上述步驟，即可完成對(duì)待測(cè)試圖像序列的表情識(shí)別。FSA00000172012800021.tif,FSA00000172012800022.tif,FSA00000172012800025.tif,FSA00000172012800042.tif
2.如權(quán)利要求1所述的一種從人臉圖像序列中識(shí)別臉部表情的方法，其特征在于 步驟二第1步中所述在每個(gè)表情圖像序列中的第一幀圖像中標(biāo)識(shí)20個(gè)臉部特征點(diǎn)的方 法包括但不限于①人工手動(dòng)標(biāo)識(shí)；②采用Vukdadinovic等人在文獻(xiàn)《Fully automatic facial feature point detection using gaborfeature based boosted classifiers》中 提出的基于Gabor特征的增強(qiáng)分類(lèi)器方法實(shí)現(xiàn)對(duì)20個(gè)臉部特征點(diǎn)的自動(dòng)定位。
3.如權(quán)利要求1所述的一種從人臉圖像序列中識(shí)別臉部表情的方法，其特征在于步 驟二第4步中所述采用仿射變換方法調(diào)整圖像中人臉的位置和大小，使同一個(gè)圖像序列中 人臉的大小相等且位置保持一致，具體為首先使每一個(gè)圖像序列中的第一幀圖像中的兩個(gè)內(nèi)眼角點(diǎn)的連線保持水平；然后，根據(jù)所在圖像序列中的第一幀圖像中的兩個(gè)內(nèi)眼角點(diǎn)和人中的最上部點(diǎn)這3個(gè)點(diǎn)的位置，對(duì) 余下各幀中的22個(gè)臉部特征點(diǎn)做映射和歸一化處理；經(jīng)過(guò)仿射變換處理后，同一個(gè)圖像序 列中所有圖像的人臉大小相等且兩個(gè)內(nèi)眼角點(diǎn)和人中的最上部點(diǎn)這3個(gè)點(diǎn)的位置與第一 幀中該3個(gè)點(diǎn)的位置一致。
全文摘要
本發(fā)明涉及一種從人臉圖像序列中識(shí)別臉部表情的方法，屬于人臉表情分析與識(shí)別技術(shù)領(lǐng)域。本發(fā)明使用臉部特征點(diǎn)跟蹤的方法針對(duì)表情圖像序列中的每一幀圖像依次提取歸一化的臉部關(guān)鍵點(diǎn)位移量和特定幾何特征的長(zhǎng)度，將這些數(shù)據(jù)組成一個(gè)特征列向量；序列中的所有特征列向量按次序排列形成一個(gè)特征矩陣，每個(gè)特征矩陣代表一個(gè)臉部表情圖像序列；然后利用典型相關(guān)分析方法比較特征矩陣之間的相似性，從而將待識(shí)別人臉圖像確定為高興、悲傷、恐懼、厭惡、驚訝和生氣基本表情之一。本發(fā)明將典型相關(guān)分析方法成功運(yùn)用到人臉表情識(shí)別中，有效地利用了表情產(chǎn)生過(guò)程中的動(dòng)態(tài)信息，并獲取了較高的識(shí)別率和較少的CPU運(yùn)算時(shí)間。
文檔編號(hào)G06K9/64GK101908149SQ20101021854
公開(kāi)日2010年12月8日 申請(qǐng)日期2010年7月6日 優(yōu)先權(quán)日2010年7月6日
發(fā)明者呂坤, 張欣 申請(qǐng)人:北京理工大學(xué)