專利名稱：人臉表情識別方法及系統(tǒng)、表情分類器的訓練方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別技術(shù)領(lǐng)域，特別是涉及一種人臉表情識別方法及系統(tǒng)、一種 人臉表情分類器的訓練方法及系統(tǒng)。
背景技術(shù)：
人臉表情是人類視覺中最為普遍的模式，人臉表情識別(FER，facialexpression recognition)研究目的就是如何自動、可靠、高效地利用人臉表情所傳達的信息。人臉表情識別是人機自然交互、計算機視覺、情感計算和圖像處理等研究的一個 熱點課題，在人機交互、遠程教育、安全領(lǐng)域、智能機器人研制、醫(yī)療、動畫制作等領(lǐng)域有著 廣泛的應(yīng)用。如果計算機也能夠象人類那樣具有理解和表達情感的能力，自主適應(yīng)環(huán)境，將 從根本上改變?nèi)伺c計算機之間的關(guān)系，使計算機更好地為人類服務(wù)。這也正是研究人臉表 情識別并賦予計算機具有情感理解和情感表達課題的重要意義?，F(xiàn)有的人臉表情識別，通常首先基于美國心理學家艾克曼提出的六種基本情感 (分別為高興、驚訝、憤怒、恐懼、厭惡和悲傷)獲得比較夸張的表情，作為人臉表情庫，然 后，通過對該人臉表情庫中部分樣本的訓練，識別出數(shù)據(jù)庫中另一部分夸張表情。然而人在自發(fā)狀態(tài)下出現(xiàn)的表情是連續(xù)的，即由中性到夸張，目前對具體的表情， 如高興、驚訝、憤怒、恐懼、厭惡和悲傷六種表情的研究，都是對具體的靜態(tài)庫進行訓練和測 試。采用這樣的模板得到的表情識別結(jié)果，實際上是離散的，跳躍式的。例如，在制作動畫 時，往往需要導入識別出的圖片序列，然后對這些圖片序列進行合成，不僅工作量大，而且 經(jīng)常出現(xiàn)動畫表情不自然順暢，口型和對話情景相差懸殊的問題?？傊?，需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是如何能夠提供一種人 臉表情識別方法，用以克服現(xiàn)有表情識別結(jié)果離散、跳躍、不自然的缺點。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種人臉表情識別方法及系統(tǒng)、一種人臉表情 分類器的訓練方法及系統(tǒng)，用以克服現(xiàn)有表情識別結(jié)果離散、跳躍、不自然的缺點。為了解決上述問題，本發(fā)明公開了一種人臉表情識別方法，包括對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取， 獲得特征序列；將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀測序列所屬的表 情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾 可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。優(yōu)選的，在所述特征提取步驟前，所述方法還包括針對輸入視頻圖像，獲取其中的人臉圖像；對所述人臉圖像進行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作；
從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。優(yōu)選的，所述人臉表情分類器為通過以下步驟獲得的分類器獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所 述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場的特征提 取，獲得特征序列；將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱小表情序 列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。本發(fā)明還公開了一種人臉表情分類器的訓練方法，包括獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所 述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場的特征提 取，獲得特征序列；將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱小表情序 列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。優(yōu)選的，所述二值圖像序列的特征提取步驟包括對輸入表情圖像序列進行二值化，得到二值圖像序列；對所述二值圖像序列采用H-S光流方法計算運動場，獲得二值圖像運動場；對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征部位；對所述二值化特征部位進行動作方向提取，得到各個二值化特征部位的運動方向 信息，作為特征序列。優(yōu)選的，所述灰度圖像序列的光流運動場的特征提取步驟包括對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像序列；對所述灰度圖像序列采用H-S光流方法計算運動場，獲得灰度圖像運動場；對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位；對所述灰度特征部位進行動作方向和強度提取，得到各個灰度特征部位的運動方 向信息和強度信息，作為特征序列。優(yōu)選的，所述組合各種表情的隱馬爾可夫模型，形成人臉表情分類器的步驟包 括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對所述弱分類器進行選擇和訓練，獲得人臉表情分類器。優(yōu)選的，在所述特征提取步驟前，所述方法還包括對所述人臉表情樣本進行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作；從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。本發(fā)明還公開了一種人臉表情識別系統(tǒng)，包括特征提取模塊，用于針對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取，獲得特征序列；識別模塊，用于將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀 測序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得 到的，所述隱馬爾可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。優(yōu)選的，所述系統(tǒng)還包括圖像校準模塊，所述圖像校準模塊包括獲取子模塊，用于針對輸入視頻圖像，獲取其中的人臉圖像；眼睛定位子模塊，用于對所述人臉圖像進行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作；割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。本發(fā)明還公開了一種人臉表情分類器訓練系統(tǒng)，包括獲取模塊，用于獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表 情序列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊，用于針對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列 的光流運動場的特征提取，獲得特征序列；訓練模塊，用于將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序 列和弱小表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。優(yōu)選的，所述特征提取模塊包括二值化子模塊，用于對輸入表情圖像序列進行二值化，得到二值圖像序列；第一計算子模塊，用于對所述二值圖像序列采用H-S光流方法計算運動場，獲得 二值圖像運動場；剪切子模塊，用于對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征 部位；方向提取子模塊，用于對所述二值化特征部位進行動作方向提取，得到各個二值 化特征部位的運動方向信息，作為特征序列。優(yōu)選的，所述特征提取模塊包括灰度圖像獲取子模塊，用于對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像 序列；第二計算子模塊，用于對所述灰度圖像序列采用H-S光流方法計算運動場，獲得 灰度圖像運動場；濾波子模塊，用于對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位；方向和強度提取子模塊，用于對所述灰度特征部位進行動作方向和強度提取，得 到各個灰度特征部位的運動方向信息和強度信息，作為特征序列。優(yōu)選的，所述系統(tǒng)還包括預(yù)處理模塊，所述預(yù)處理模塊包括眼睛定位子模塊，對所述人臉表情樣本進行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作；割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點本發(fā)明將弱小的表情變化作為整個表情序列從發(fā)生到結(jié)束整個序列的前奏。具體而言，在提取得到作為觀測序列的特征序列后，對人臉表情樣本中的中性表情序列和弱小 表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型，然后組合各種表情的隱馬爾 可夫模型，形成人臉表情分類器；由于所述訓練過程通過隱馬爾可夫模型的前向?qū)W習，對某 個觀測序列的概率進行評估，也即，某種表情的隱馬爾可夫模型具有判別某個觀測序列是 否為該表情的能力；同時，由于所述訓練過程是針對人臉表情樣本中的中性表情序列和弱 小表情序列進行的，因而該人臉表情分類器可預(yù)測出人臉表情的變化趨勢；再者，在輸入視頻圖像只包含中性表情、弱小表情時，本發(fā)明即可將所述輸入視頻 圖像中的弱小表情識別出來；因此，相對于現(xiàn)有技術(shù)，只考慮夸張表情，在表情已經(jīng)積累到 明顯的表情后，才開始進行識別，本發(fā)明可以實現(xiàn)對弱小表情的識別；這樣，獲得的弱小表 情能夠與后面的夸張表情相連接，進而獲得較為完整的連續(xù)表情序列。


圖1是本發(fā)明一種人臉表情分類器訓練方法實施例的流程圖；圖2是本發(fā)明一種眼睛定位的示意圖；圖3是本發(fā)明一種高興表情序列的示意；圖4是本發(fā)明一種人臉表情識別方法實施例的流程圖；圖5是本發(fā)明一種人臉表情分類器訓練系統(tǒng)實施例的結(jié)構(gòu)圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實 施方式對本發(fā)明作進一步詳細的說明。人在自發(fā)狀態(tài)下出現(xiàn)的表情是連續(xù)的，即由中性到夸張，而各種表情的正常表現(xiàn) 經(jīng)常是比較弱小的，因此，解決從弱小表情到強烈的夸張表情的序列識別是表情識別實用 化、自然化的關(guān)鍵。本發(fā)明實施例的核心構(gòu)思之一在于，將弱小的表情變化作為整個表情序列從發(fā)生 到結(jié)束整個序列的前奏。具體而言，基于學習的方法，對連續(xù)人臉表情庫進行訓練，由于連 續(xù)人臉表情序列包括中性表情序列、弱小表情序列和夸張表情序列，在學習過程中，如果只 對庫中的中性表情序列和弱小表情序列進行訓練，獲得人臉表情分類器；那么，在對人臉表 情進行識別時，在夸張表情出現(xiàn)之前，即可實現(xiàn)對弱小表情的識別。這樣，獲得的弱小表情 能夠與后面的夸張表情相連接，進而獲得較為完整的連續(xù)表情序列。參照圖1，示出了本發(fā)明一種人臉表情分類器訓練方法實施例的流程圖，具體可以 包括步驟101、獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列 樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；在實際中，所述人臉表情樣本可以存在于連續(xù)人臉表情庫中，所述各種表情可以 包括六種基本表情高興、驚訝、憤怒、恐懼、厭惡和悲傷，也可以對所述六種表情進行進一 步分類，如高興表情可以進一步包括smile(微笑)、laugh(大笑)和sneer(冷笑)；憤怒 表情可進一步包括impatience (急躁)、anger (氣憤)和fury (狂怒)；驚訝表情可進一 步包括doubt (疑惑)、curiousness (好奇)、surprise (吃驚)和gape (目瞪口呆)；恐懼表情可進一步包括fear (害怕)和shyness (膽怯)；厭惡表情可進一步包括disgust (憎 惡)和contempt (蔑視)；悲傷表情可進一步包括despair (絕望)和sadness (悲傷)等。在實際中，由于經(jīng)過人臉檢測后的人臉表情樣本大小、位置和灰度各不相同，為保 證獲得較好的識別效果，在本發(fā)明的一種優(yōu)選實施例中，對所有人臉表情樣本的尺寸、位置 和灰度進行預(yù)處理，使不同的人臉樣本圖像的尺寸、灰度保持一致。所述預(yù)處理步驟具體可以通過以下子步驟實現(xiàn)子步驟A1、對所述人臉表情樣本進行眼睛定位，得到眼睛位置；在具體實現(xiàn)中，可以采用統(tǒng)計模式識別方法，將采集并分割獲得的正面人臉圖像 中的雙眼區(qū)域圖像和非雙眼區(qū)域圖像作為訓練樣本，訓練得到雙眼區(qū)域檢測器。例如，采用 自適應(yīng)增強(Adaboost，adaptive boosting)算法對10000張24X 16的雙眼區(qū)域圖像和非 雙眼區(qū)域圖像進行訓練，得到雙眼區(qū)域檢測器。在進行眼睛定位時，可以采用所述雙眼區(qū)域檢測器在人臉圖像內(nèi)搜索雙眼區(qū)域位 置，確定雙眼區(qū)域位置后，在所述雙眼區(qū)域位置內(nèi)定位左眼位置和右眼位置。參考圖2示出 了一種眼睛定位的示意圖，其中2a為雙眼區(qū)域檢測器搜索到的眼睛矩形區(qū)域位置，2b所示 的矩形中心即為眼睛位置。子步驟A2、根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作；在具體實現(xiàn)中，所述歸一化操作可以包括尺寸歸一化和灰度歸一化操作。其中，尺 寸歸一化的操作可以為將樣本圖像旋轉(zhuǎn)，使每個人臉的雙眼之間的連線為水平方向，然后 按照雙眼中心距離固定的原則，比例縮放旋轉(zhuǎn)后的圖像，根據(jù)雙眼距離固定、雙眼中心連線 中點到人臉圖像上矩形框距離固定的原則裁剪圖像，即得到了尺寸歸一化后的圖像?；叶葰w一化的操作可以采取對尺寸歸一化后的圖像進行灰度拉伸，以改善圖像的 對比度；或者，采用直方圖均衡化等直方圖修正技術(shù)使圖像具有相近的統(tǒng)計意義上的均值 和方差，以部分消除光照的影響，本發(fā)明對具體的操作方式不加以限制。子步驟A3、從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。例如，從歸一化后的人臉樣本中截取出64X64的裸臉圖像。經(jīng)過這些預(yù)處理后，相同表情序列樣本在某些特征上才會具有一定的相似性，而 不同表情序列樣本之間才會具有一定的差異，此時才可以采用統(tǒng)計模式識別算法進行人臉 表情分類器的訓練。步驟102、對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場 的特征提取，獲得特征序列；由于通常采用的經(jīng)過歸一化后的人臉表情樣本，仍然具有很高的維數(shù)(例如 64 X 64，128 X 128)，直接在人臉表情樣本的灰度特征基礎(chǔ)上進行處理，一方面信息冗余，另 一方面復雜度很高，對計算機的硬件性能是一個挑戰(zhàn)，因此，特征提取成為圖像識別領(lǐng)域中 最基本的問題之一，能否提取出有效的分類特征是解決該問題的關(guān)鍵。常用特征提取方法 的基本思想是將原始樣本映射到某一低維特征空間，得到最能反映樣本本質(zhì)的低維樣本特 征，這樣能夠有效地減少樣本的存儲量和處理速度，實現(xiàn)人臉的自動分類。常用的特征方法有提取幾何特征、統(tǒng)計特征、頻率域特征和運動特征等。由于能夠 反映表情變化的實質(zhì)，受光照不均性影響較小，運動特征提取在人連表情識別中得到廣泛 應(yīng)用。
9
而在眾多運動特征提取方法中，光流算法主要應(yīng)用于基于視頻圖像的系統(tǒng)中，光 流能夠表示點的運動，而表清發(fā)生時主要表現(xiàn)在各點眼睛、眉毛、嘴巴等的上下、彎曲等變 化。利用光流來表示表情發(fā)生過程中不同表情特征點的運動。通過計算視頻圖像中表情特 征點的光流來得到各特征點的運動，并以此作為表情特征。此外，二值圖像占用空間小，且輪廓描述能力強；而灰度圖像具有一定的細節(jié)描述 能力，因此，本發(fā)明進行融合二值圖像和灰度圖像序列的光流運動場的特征提取。在具體實現(xiàn)中，所述二值圖像序列的的特征提取步驟可以包括子步驟B1、對輸入表情圖像序列進行二值化，得到二值圖像序列；子步驟B2、對所述二值圖像序列采用H-S光流方法計算運動場，獲得二值圖像運 動場；H-S(Horn & Schunck)方法是光流計算中的經(jīng)典方法之一，其主要思想是圖像中 兩點間的灰度變化被假定為線性。子步驟B3、對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征部位；子步驟B4、對所述二值化特征部位進行動作方向提取，得到各個二值化特征部位 的運動方向信息，作為特征序列。由于二值圖像序列運動場通過面部輪廓剪裁后，保留了特征部位的運動方向，那 么，分別統(tǒng)計各個特征部位邊界向上和向下運動的像素點數(shù)目，采取其比值判斷該特征部 位動作的方向，如向上向下等，即可得到特征序列。所述灰度圖像序列的光流運動場的特征提取可以通過以下子步驟來實現(xiàn)子步驟C1、對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像序列；子步驟C2、對所述灰度圖像序列采用H-S光流方法計算運動場，獲得灰度圖像運 動場；子步驟C3、對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位；子步驟C4、對所述灰度特征部位進行動作方向和強度提取，得到各個灰度特征部 位的運動方向信息和強度信息，作為特征序列。通過高通濾波后，灰度圖像序列運動場，保留了特征部位運動較強的矢量；在此基 礎(chǔ)上，可以統(tǒng)計各個特征部位邊界上像素點的數(shù)目判斷該特征部位動作的強度。經(jīng)過上述二值和灰度圖像序列的特征抽取后，可以獲得眉毛的動作方向、鼻子的 動作方向、嘴巴的動作方向、眉毛與鼻子的動作強度之比以及眉毛與嘴巴的動作強度之比， 共5維特征序列。步驟103、將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱 小表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；在人臉表情識別的分類器設(shè)計和選擇階段，主要有線性分類器、神經(jīng)網(wǎng)絡(luò)分類 器、支持向量機、隱馬爾可夫模型等分類識別方法。其中，隱馬爾可夫模型(HMM，Hidden Markov Model)作為一種統(tǒng)計分析模型，具有健壯的數(shù)學結(jié)構(gòu)，適用于動態(tài)過程時間序列建 模，且具有強大的模式分類能力，因此，本發(fā)明采用HMM方法，以精確地描繪表情的變化本 質(zhì)和動態(tài)性能。人臉面部表情動作變化可以看成是一個隨機過程，以高興、驚訝、憤怒、恐懼、厭惡 和悲傷6種基本表情為例，每種表情對應(yīng)一個HMM模型，其中，每個HMM模型具有6種狀態(tài)，每個HMM模型的觀測序列也即步驟102提取的特征序列，其轉(zhuǎn)移概率也即從某一種表情轉(zhuǎn) 變到另一種表情的概率，輸出概率是某一觀測序列呈現(xiàn)出某一種表情的概率，初始分布是 各種表情的概率，具體到本發(fā)明，也即人臉表情樣本。因此，本步驟將所述特征序列作為觀測序列，對人臉表情樣本進行訓練，為各種表 情建立相應(yīng)的隱馬爾可夫模型。訓練過程為，通過時間序列分析，學習人臉表情樣本中的夸 張表情，記憶特征序列變化和表情之間的關(guān)系。由于所述訓練過程通過HMM模型的前向?qū)W 習，對某個觀測序列的概率進行評估，因而，本發(fā)明通過統(tǒng)計隨機過程發(fā)生的特點建立反映 該過程特點的概率模型，也即，某種表情的HMM模型具有判別某個觀測序列是否為該表情 的能力；這樣，當輸入表情特征序列時，該HMM模型可預(yù)測出人臉表情的變化趨勢。參考圖3，示出了本發(fā)明一種高興表情序列。在一個連續(xù)表情序列中，中性表情一 弱小表情一夸張表情，是一個漸進的過程。圖中，中性表情(13-16幀)，弱小表情(17-22 幀)，夸張表情(23-34幀)。本發(fā)明將弱小的表情變化作為整個表情序列從發(fā)生到結(jié)束整個 序列的前奏，也即，訓練操作只針對人臉表情樣本中的中性表情序列和弱小表情序列進行。 例如，一種訓練示例可以為，通過對13幀-20幀的處理，來建立該高興表情的HMM模型，即 可預(yù)測出該高興表情的變化趨勢。當然，上述訓練圖像幀的選取只是作為示例，本領(lǐng)域技術(shù)人員可以根據(jù)經(jīng)驗進行 所述訓練圖像幀的選取，本發(fā)明對此不加以限制。步驟104、組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。盡管HMM具有較好的統(tǒng)計特性，但各種表情中有些面部特征部位的動作是非常接 近的，如恐懼和高興時，嘴巴都是張開，且嘴角都向兩側(cè)拉伸；悲傷和憤怒時，鼻子都微微塌 下去等等。針對上述問題，本發(fā)明可以采用自適應(yīng)增強(Adaboost，adaptiveboosting)方 法，加大分類錯誤樣本的權(quán)值，提高連續(xù)表情分類器的性能。Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器 (弱分類器)，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器(強分類器)。 其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓練集之中每個樣本的分類是否正 確，以及上次的總體分類的準確率，來確定每個樣本的權(quán)值。將修改過權(quán)值的新數(shù)據(jù)集送給 下層分類器進行訓練，最后將每次訓練得到的分類器最后融合起來，作為最后的決策分類 器。使用Adaboost分類器可以排除一些不必要的訓練數(shù)據(jù)特征，并將關(guān)鍵放在關(guān)鍵的訓練 數(shù)據(jù)上面。因此，所述組合步驟可以包括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對所述弱分類器進行選擇和訓練，獲得人臉表情分類器。參照圖4，示出了本發(fā)明一種人臉表情識別方法實施例的流程圖，具體可以包括步驟401、對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運動場的特 征提取，獲得特征序列；在實際中，所述輸入視頻圖像一般通過攝像頭或攝像機采集得到，所以其中的幀 圖像中可能不存在人臉，或者，即使存在人臉，所述人臉的大小、位置和灰度也各不相同。為 保證獲得較好的識別效果，在特征提取前，本發(fā)明可以采用如下圖像校準步驟，具體可以包括子步驟D1、針對輸入視頻圖像，獲取其中的人臉圖像；在實際中，可采用人臉追蹤算法等人臉檢測方法，獲取輸入視頻圖像中的人臉區(qū) 域所在位置，從而獲取得到其中的人臉圖像。子步驟D2、對所述人臉圖像進行眼睛定位，得到眼睛位置；子步驟D3、根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作；子步驟D4、從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。步驟402、將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀測序列 所屬的表情類別。在具體實現(xiàn)中，所述人臉表情分類器可以通過以下訓練步驟獲得步驟E1、獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列 樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；步驟E2、對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場 的特征提取，獲得特征序列；步驟E3、將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱 小表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；步驟E4、組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。對于上述訓練步驟而言，由于其與圖1所示的訓練方法實施例的實現(xiàn)過程相似， 這里就不一一贅述。由于訓練獲得的人臉表情分類器為組合各種表情的HMM模型得到的， 所述HMM模型具有判別觀測序列是否為某種表情的能力，因此，所述識別過程可以為，將輸入的特征序列作為觀測序列，判別該觀測序列所屬的表情類別。例如，訓練獲得的人臉表情分類器將人臉表情分為高興、驚訝、憤怒、恐懼、厭惡和 悲傷6種基本表情，那么，當輸入特征序列時，該人臉表情分類器可以輸出所述特征序列所 屬的表情類別。此外，由于訓練是針對人臉表情樣本中的中性表情序列和弱小表情序列進行的， 因而該人臉表情分類器可預(yù)測出人臉表情的變化趨勢。這樣，在所述輸入視頻圖像只包含 中性表情和弱小表情時，本發(fā)明即可將所述輸入視頻圖像中的弱小表情識別出來。因此，相 對于現(xiàn)有技術(shù)，只考慮夸張表情，在表情已經(jīng)積累到明顯的表情后，才開始進行識別，本發(fā) 明可以實現(xiàn)對弱小表情的識別。這樣，獲得的弱小表情能夠與后面的夸張表情相連接，進而 獲得較為完整的連續(xù)表情序列。由于本發(fā)明能夠通過識別獲得較為完整的連續(xù)表情序列，在制作動畫時，就能夠 避免出現(xiàn)動畫表情不自然順暢，口型和對話情景相差懸殊的問題。對于識別方法實施例而言，由于其訓練步驟與圖1所示的訓練方法實施例基本相 似，所以描述的比較簡單，相關(guān)之處參見訓練方法實施例的部分說明即可。需要說明的是，對于方法實施例，為了簡單描述，故將其都表述為一系列的動作組 合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動作順序的限制，因為依據(jù)本發(fā) 明，某些步驟可以采用其他順序或者同時進行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書 中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是本發(fā)明所必須的。參考圖5，示出了本發(fā)明一種人臉表情分類器訓練系統(tǒng)實施例的結(jié)構(gòu)圖，具體可以包括獲取模塊501，用于獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種 表情序列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊502，用于針對所述人臉表情樣本，進行融合二值圖像和灰度圖像序 列的光流運動場的特征提取，獲得特征序列；訓練模塊503，用于將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情 序列和弱小表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊504，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。 在具體實現(xiàn)中，步驟可以包括子步驟Bi、對輸入表情圖像序列進行二值化，得到二值圖像序列；子步驟B2、對所述二值圖像序列采用H-S光流方法計算運動場，獲得二值圖像運 動場；H-S (Horn & Schimck)方法是光流計算中的經(jīng)典方法之一，其主要思想是圖像中 兩點間的灰度變化被假定為線性。對應(yīng)于所述二值圖像序列的的特征提取，所述特征提取 模塊可以進一步包括二值化子模塊，用于對輸入表情圖像序列進行二值化，得到二值圖像序列；第一計算子模塊，用于對所述二值圖像序列采用H-S光流方法計算運動場，獲得 二值圖像運動場；剪切子模塊，用于對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征 部位；方向提取子模塊，用于對所述二值化特征部位進行動作方向提取，得到各個二值 化特征部位的運動方向信息，作為特征序列。對應(yīng)于所述灰度圖像序列的的特征提取，所述特征提取模塊的結(jié)構(gòu)可以為灰度圖像獲取子模塊，用于對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像 序列；第二計算子模塊，用于對所述灰度圖像序列采用H-S光流方法計算運動場，獲得 灰度圖像運動場；濾波子模塊，用于對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位；方向和強度提取子模塊，用于對所述灰度特征部位進行動作方向和強度提取，得 到各個灰度特征部位的運動方向信息和強度信息，作為特征序列。在實際中，由于經(jīng)過人臉檢測后的人臉表情樣本大小、位置和灰度各不相同，為保 證獲得較好的識別效果，在本發(fā)明的一種優(yōu)選實施例中，對所有人臉表情樣本的尺寸、位置 和灰度進行預(yù)處理，使不同的人臉樣本圖像的尺寸、灰度保持一致，此時，所述系統(tǒng)還可以 包括預(yù)處理模塊，所述預(yù)處理模塊可以進一步包括眼睛定位子模塊，對所述人臉表情樣本進行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作；割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。對于系統(tǒng)實施例而言，由于其與圖1所示的方法實施例基本相似，所以描述的比 較簡單，相關(guān)之處參見系統(tǒng)實施例的部分說明即可。
本發(fā)明還公開了一種人臉表情識別系統(tǒng)實施例，具體可以包括特征提取模塊，用于針對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光 流運動場的特征提取，獲得特征序列；識別模塊，用于將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀 測序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得 到的，所述隱馬爾可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。在實際中，所述輸入視頻圖像一般通過攝像頭或攝像機采集得到，所以其中的幀 圖像中可能不存在人臉，或者，即使存在人臉，所述人臉的大小、位置和灰度也各不相同。為 保證獲得較好的識別效果，在特征提取前，所述系統(tǒng)還可以包括圖像校準模塊，所述圖像校 準模塊可以進一步包括獲取子模塊，用于針對輸入視頻圖像，獲取其中的人臉圖像；眼睛定位子模塊，用于對所述人臉圖像進行眼睛定位，得到眼睛位置；歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作；割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。對于系統(tǒng)實施例而言，由于其與圖4所示的方法實施例基本相似，所以描述的比 較簡單，相關(guān)之處參見方法實施例的部分說明即可。本發(fā)明可用于視頻電話、視頻數(shù)字娛樂領(lǐng)域，例如，用于制作人臉動畫，獲取人臉 動作等。以上對本發(fā)明所提供的一種人臉表情識別方法及系統(tǒng)、一種人臉表情分類器的訓 練方法及系統(tǒng)，進行了詳細介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行 了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng) 域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍上均會有改變之處，綜 上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
一種人臉表情識別方法，其特征在于，包括對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取，獲得特征序列；將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀測序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。
2.如權(quán)利要求1所述的方法，其特征在于，在所述特征提取步驟前，還包括 針對輸入視頻圖像，獲取其中的人臉圖像；對所述人臉圖像進行眼睛定位，得到眼睛位置； 根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作； 從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。
3.如權(quán)利要求1所述的方法，其特征在于，所述人臉表情分類器為通過以下步驟獲得 的分類器獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所述各 種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取， 獲得特征序列；將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱小表情序列進 行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
4.一種人臉表情分類器的訓練方法，其特征在于，包括獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序列樣本，所述各 種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取， 獲得特征序列；將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和弱小表情序列進 行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
5.如權(quán)利要求4所述的方法，其特征在于，所述二值圖像序列的特征提取步驟包括 對輸入表情圖像序列進行二值化，得到二值圖像序列；對所述二值圖像序列采用H-S光流方法計算運動場，獲得二值圖像運動場； 對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征部位； 對所述二值化特征部位進行動作方向提取，得到各個二值化特征部位的運動方向信 息，作為特征序列。
6.如權(quán)利要求4所述的方法，其特征在于，所述灰度圖像序列的光流運動場的特征提 取步驟包括對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像序列； 對所述灰度圖像序列采用H-S光流方法計算運動場，獲得灰度圖像運動場； 對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位；對所述灰度特征部位進行動作方向和強度提取，得到各個灰度特征部位的運動方向信 息和強度信息，作為特征序列。
7.如權(quán)利要求4所述的方法，其特征在于，所述組合各種表情的隱馬爾可夫模型，形成 人臉表情分類器的步驟包括將每一種表情的隱馬爾可夫模型的輸出作為弱分類器；采用Adaboost算法對所述弱分類器進行選擇和訓練，獲得人臉表情分類器。
8.如權(quán)利要求4所述的方法，其特征在于，在所述特征提取步驟前，還包括 對所述人臉表情樣本進行眼睛定位，得到眼睛位置；根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作； 從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。
9.一種人臉表情識別系統(tǒng)，其特征在于，包括特征提取模塊，用于針對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運 動場的特征提取，獲得特征序列；識別模塊，用于將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀測序 列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的， 所述隱馬爾可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，還包括圖像校準模塊，所述圖像校準模塊 包括獲取子模塊，用于針對輸入視頻圖像，獲取其中的人臉圖像； 眼睛定位子模塊，用于對所述人臉圖像進行眼睛定位，得到眼睛位置； 歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉圖像進行歸一化操作； 割取子模塊，用于從所述歸一化后的人臉圖像中割取預(yù)設(shè)大小的圖像。
11.一種人臉表情分類器訓練系統(tǒng)，其特征在于，包括獲取模塊，用于獲得人臉檢測后的人臉表情樣本，所述人臉表情樣本包括各種表情序 列樣本，所述各種表情序列包括中性表情序列、弱小表情序列和夸張表情序列；特征提取模塊，用于針對所述人臉表情樣本，進行融合二值圖像和灰度圖像序列的光 流運動場的特征提取，獲得特征序列；訓練模塊，用于將所述特征序列作為觀測序列，對人臉表情樣本中的中性表情序列和 弱小表情序列進行訓練，為各種表情建立相應(yīng)的隱馬爾可夫模型；組合模塊，用于組合各種表情的隱馬爾可夫模型，形成人臉表情分類器。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述特征提取模塊包括 二值化子模塊，用于對輸入表情圖像序列進行二值化，得到二值圖像序列；第一計算子模塊，用于對所述二值圖像序列采用H-S光流方法計算運動場，獲得二值 圖像運動場；剪切子模塊，用于對所述二值化圖像運動場進行面部輪廓剪切，獲取二值化特征部位；方向提取子模塊，用于對所述二值化特征部位進行動作方向提取，得到各個二值化特 征部位的運動方向信息，作為特征序列。
13.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述特征提取模塊包括灰度圖像獲取子模塊，用于對輸入表情圖像序列進行灰度預(yù)處理，得到灰度圖像序列；第二計算子模塊，用于對所述灰度圖像序列采用H-S光流方法計算運動場，獲得灰度 圖像運動場；濾波子模塊，用于對所述灰度圖像運動場進行高通濾波，獲取灰度特征部位； 方向和強度提取子模塊，用于對所述灰度特征部位進行動作方向和強度提取，得到各 個灰度特征部位的運動方向信息和強度信息，作為特征序列。
14.如權(quán)利要求11所述的系統(tǒng)，其特征在于，還包括預(yù)處理模塊，所述預(yù)處理模塊包括眼睛定位子模塊，對所述人臉表情樣本進行眼睛定位，得到眼睛位置； 歸一化子模塊，用于根據(jù)所述眼睛位置，對所述人臉表情樣本進行歸一化操作； 割取子模塊，用于從所述歸一化后的人臉表情樣本中割取預(yù)設(shè)大小的圖像。
全文摘要
本發(fā)明提供了一種人臉表情識別方法及系統(tǒng)、一種人臉表情分類器的訓練方法及系統(tǒng)。其中的人臉表情識別方法具體包括對輸入視頻圖像，進行融合二值圖像和灰度圖像序列的光流運動場的特征提取，獲得特征序列；將輸入的特征序列作為觀測序列，根據(jù)人臉表情分類器判別該觀測序列所屬的表情類別；其中，所述人臉表情分類器為組合各種表情的隱馬爾可夫模型得到的，所述隱馬爾可夫模型經(jīng)訓練人臉表情樣本中的中性表情序列和弱小表情序列得到。本發(fā)明用以克服現(xiàn)有表情識別結(jié)果離散、跳躍、不自然的缺點。
文檔編號G06K9/62GK101877056SQ20091024341
公開日2010年11月3日 申請日期2009年12月21日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者崔國勤 申請人:北京中星微電子有限公司