本發(fā)明屬于模式識(shí)別與圖像處理領(lǐng)域,涉及一種采用全新有效的非線性姿態(tài)歸一化解決方案應(yīng)用于非正面人臉表情識(shí)別的方法,特別涉及待識(shí)別對(duì)象的人臉?biāo)叫D(zhuǎn)角度在-45°和45°之間的人臉表情圖像。
背景技術(shù):表情是情緒和情感的外部表現(xiàn),按基本情緒模型可將表情分為六類:生氣、厭惡、恐懼、高興、悲傷、驚訝。人臉表情識(shí)別一直以來(lái)都具非常重要的研究意義,在人機(jī)交互、公共安全、智能影視等多個(gè)領(lǐng)域有著巨大的市場(chǎng)價(jià)值。傳統(tǒng)表情識(shí)別方法大多以正面或近似正面的人臉圖像為研究對(duì)象。然而統(tǒng)計(jì)結(jié)果表明,現(xiàn)實(shí)生活中由于圖像獲取的隨意性,75%的人臉圖像都是非正面的。如果只采用傳統(tǒng)方法對(duì)這些非正面人臉圖像進(jìn)行分析,往往無(wú)法得到令人滿意的結(jié)果。因此本發(fā)明主要針對(duì)如何有效進(jìn)行非正面人臉表情識(shí)別這一實(shí)際問(wèn)題。相對(duì)于正面人臉表情圖像,非正面人臉表情圖像大多存在部分人臉被遮擋,從而造成一定表情信息的缺失;同時(shí),人臉姿態(tài)變化的多樣性也勢(shì)必會(huì)給表情分類引入更大的類內(nèi)差異;此外,尋找獨(dú)立于人臉姿態(tài)的表情特征十分困難,按傳統(tǒng)正面表情識(shí)別方法提取的特征會(huì)引入含姿態(tài)變化在內(nèi)的許多冗余信息。因此,非正面人臉表情識(shí)別主要需解決由非正面姿態(tài)所帶來(lái)的部分表情被遮擋,表情類內(nèi)差異大,特征提取針對(duì)性弱等新問(wèn)題,使得人臉表情識(shí)別系統(tǒng)更具實(shí)用性。
技術(shù)實(shí)現(xiàn)要素:技術(shù)問(wèn)題:本發(fā)明提供了一種簡(jiǎn)單有效,實(shí)時(shí)性好,并可以在一定程度上解決人臉姿態(tài)變化造成表情類內(nèi)差異影響的非正面人臉表情識(shí)別方法。技術(shù)方案:本發(fā)明的姿態(tài)歸一化的非正面人臉表情識(shí)別方法,首先對(duì)訓(xùn)練樣本集中的圖像通過(guò)非線性回歸模型學(xué)習(xí),得到非正面人臉特征點(diǎn)到正面人臉特征點(diǎn)的映射函數(shù);然后對(duì)待測(cè)試的非正面人臉圖像進(jìn)行姿態(tài)估計(jì)和特征點(diǎn)定位,通過(guò)相應(yīng)姿態(tài)的映射函數(shù)將非正面人臉的特征點(diǎn)歸一化到正面姿態(tài);最后使用支持向量機(jī)對(duì)正面人臉特征點(diǎn)的幾何位置進(jìn)行表情分類,該方法的具體步驟為:1)采用三對(duì)點(diǎn)法將訓(xùn)練樣本集中的人臉圖像在不同姿態(tài)下進(jìn)行人臉特征點(diǎn)對(duì)齊。由于鼻尖點(diǎn)和兩個(gè)內(nèi)側(cè)眼角點(diǎn)不易受人臉表情的影響,因此固定這三點(diǎn)求取相應(yīng)的仿射變換,通過(guò)仿射變換可以在不同姿態(tài)下將人臉特征點(diǎn)對(duì)齊到相應(yīng)的標(biāo)準(zhǔn)人臉,盡可能的消除不同人臉形狀對(duì)于人臉表情識(shí)別的影響。2)將訓(xùn)練樣本集中非正面姿態(tài)k的人臉圖像通過(guò)步驟1)對(duì)齊人臉后,使用高斯過(guò)程回歸模型學(xué)習(xí)得到姿態(tài)k到正面姿態(tài)的映射函數(shù)f(k),不同的姿態(tài)k可以學(xué)習(xí)得到不同的f(k),通過(guò)相應(yīng)的f(k)就可將姿態(tài)k的人臉特征點(diǎn)位置進(jìn)行姿態(tài)歸一化,實(shí)現(xiàn)非正面人臉特征點(diǎn)位置到正面人臉特征點(diǎn)位置的映射,從而將非正面人臉表情轉(zhuǎn)化到正面人臉姿態(tài)來(lái)進(jìn)行識(shí)別。3)對(duì)訓(xùn)練樣本集中不同姿態(tài)人臉訓(xùn)練對(duì)應(yīng)姿態(tài)的主動(dòng)表觀模型(ActiveAppearanceModel,AAM),得到不同姿態(tài)下的AAM模板,使用多模板AAM法可在估計(jì)人臉姿態(tài)的同時(shí)實(shí)現(xiàn)人臉特征點(diǎn)定位。4)對(duì)輸入的測(cè)試人臉表情圖像,通過(guò)所述步驟3)估計(jì)得到人臉姿態(tài)k并實(shí)現(xiàn)人臉特征點(diǎn)的定位,然后通過(guò)所述步驟2)將非正面人臉姿態(tài)的特征點(diǎn)歸一化到正面人臉姿態(tài),得到其在正面姿態(tài)的人臉特征點(diǎn)位置。5)使用基于徑向基核函數(shù)的支持向量機(jī),將所述步驟4)中得到的正面人臉特征點(diǎn)的幾何位置作為特征進(jìn)行表情分類,得到表情識(shí)別結(jié)果。本發(fā)明中,步驟2)中由于人臉?biāo)叫D(zhuǎn)超過(guò)45°時(shí),部分人臉器官上的特征點(diǎn)(如眼睛、眉毛)會(huì)因姿態(tài)的變化過(guò)大而被遮擋,因此可用于姿態(tài)歸一化的人臉對(duì)象主要指-45°~45°水平旋轉(zhuǎn)范圍內(nèi)的非正面人臉表情圖像。為體現(xiàn)高斯過(guò)程回歸在識(shí)別性能上的優(yōu)勢(shì),本發(fā)明還與另一...