一種基于深度學習的人臉表情識別方法
【專利摘要】本發(fā)明公開了一種基于深度學習的人臉表情識別方法，包含如下步驟：從人臉表情數據庫中提取人臉表情圖像；對人臉表情圖像進行預處理；將預處理后的全部圖像分為訓練樣本和測試樣本兩部分；將訓練樣本用于深度信念網絡的訓練；將深度信念網絡的訓練結果用于多層感知器的初始化；將測試樣本輸送到初始化后的多層感知器進行識別測試，實現人臉表情識別結果的輸出；本發(fā)明的有益效果是：對于表情特征的提取，直接采用了表情圖像的原始像素特征信息；將深度信念網絡與多層感知器相融合，從而實現深度信念網絡的分類功能；充分利用深度信念網絡較強的無監(jiān)督特征學習能力，提供一種高性能的基于深度學習的人臉表情識別方法。
【專利說明】一種基于深度學習的人臉表情識別方法
【技術領域】
[0001]本發(fā)明涉及圖像處理、模式識別、人工智能領域，特別是涉及一種基于深度信念網絡的人臉表情識別方法。
【背景技術】
[0002]人臉表情識別是指從給定的表情圖像中分析檢測出特定的人臉表情狀態(tài)，從而確定出被識別對象的心理情緒，比如生氣、高興、悲傷、害怕等。該研究已被廣泛應用于人機交互、人工智能等方面，是當前模式識別和計算機視覺等領域的熱點課題。
[0003]對表情圖像進行特征提取是人臉表情識別中的關鍵問題，特征的有效性決定著人臉表情識別性能的高低?，F有的人臉表情特征提取方法主要有幾何特征提取方法、外貌特征提取方法、特征點跟蹤法、彈性圖匹配法等。這些特征提取方法，計算都比較復雜，實際使用時一般都需要靠人工手動操作才能完成。此外，這種人工特征提取的方法容易導致部分表情特征表述信息的丟失，使得所取得的識別性能不太令人滿意，有待進一步提高。
[0004]再介紹深度學習技術。
[0005]深度學習(見文獻:YuD, Deng L.Deep learning and its applicationsto signal and inf ormat ion processing.1EEE Signal ProcessingMagazine, 2011，28 (I): 145-154)作為一種新的機器學習理論，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋圖像、聲音和文本等數據。深度學習的本質是通過組合低層特征形成更加抽象的高層表示屬性特征，以發(fā)現數據的分布式特征表示。所以，深度學習也被稱為無監(jiān)督特征學習。Hinton等人提出一種由多個受限玻爾茲曼機(RBM)疊加而成的深度信念網絡(DBN)的深度學習方法(見文獻:Hinton GE, OsinderoS，Teh Y_lk fast learning algorithm for deep belief nets.Neural computation, 2006，18(7):1527-1554),開啟了深度學習在學術界和工業(yè)界的新浪潮。當前，深度信念網絡(DBN)已成為一種代表性的深度學習技術，被廣泛應用于信號處理和計算機視覺等領域。
[0006]目前，在已有的人臉表情識別研究文獻中，對于采用深度學習用于人臉表情識別方面的相關報道甚少。本發(fā)明利用深度學習所具有的較強的無監(jiān)督特征學習能力，提供一種基于深度學習的人臉表情識別方法。

【發(fā)明內容】

[0007]本發(fā)明的目的就是為了克服上述現有人臉表情識別技術的不足，提供一種基于深度學習的人臉表情識別方法，以便進一步提聞人臉表情識別的性能。
[0008]本發(fā)明所采用的技術方案是:
[0009]一種基于深度學習的人臉表情識別方法，該方法包含以下技術步驟:
[0010]步驟1、從人臉表情數據庫中提取人臉表情圖像；
[0011]步驟2、對人臉表情圖像進行預處理；
[0012]步驟3、將預處理后的全部圖像分為訓練樣本和測試樣本兩部分；[0013]步驟4、將訓練樣本用于深度信念網絡(DBN)的訓練；
[0014]步驟5、將深度信念網絡(DBN)的訓練結果用于多層感知器(MLP)的初始化；
[0015]步驟6、將測試樣本輸送到初始化后的多層感知器(MLP)進行識別測試，實現人臉表情識別結果的輸出。
[0016]其中，
[0017](I)人臉表情圖像的預處理，包括:
[0018]對人臉表情數據庫中的每一幅表情圖像進行采樣，以便降低表情圖像的特征維數，并將表情圖像的每個像素值歸一化到方差為I和均值為O。
[0019](2)深度信念網絡(DBN)的訓練，包括:
[0020]預訓練(pre-training)和調優(yōu)(fine-tuning)兩個步驟。訓練過程中采用的圖像樣本來源于人臉表情數據庫中的訓練樣本。
[0021](2-1)深度信念網絡(DBN)的預訓練(pre-training)，包括:
[0022]采用自下而上的無監(jiān)督學習方式進行預訓練，即使用無標簽(unlabeled)的樣本數據，從底層開始，一層一層的往頂層進行訓練。
[0023]深度信念網絡(DBN)的預訓練具體過程如下:
[0024]由于RBM是一種能量模型，它的可視層和隱層之間關系可以用能量函數表示為
【權利要求】
1.一種基于深度學習的人臉表情識別方法，其特征在于，該方法包含如下步驟: 步驟1、從人臉表情數據庫中提取人臉表情圖像； 步驟2、對人臉表情圖像進行預處理； 步驟3、將預處理后的全部圖像分為訓練樣本和測試樣本兩部分； 步驟4、將訓練樣本用于深度信念網絡(DBN)的訓練； 步驟5、將深度信念網絡(DBN)的訓練結果用于多層感知器(MLP)的初始化； 步驟6、將測試樣本輸送到初始化后的多層感知器(MLP)進行識別測試，實現人臉表情識別結果的輸出； 其中， (1)人臉表情圖像的預處理，包括: 對人臉表情數據庫中的每一幅表情圖像進行采樣，以便降低表情圖像的特征維數，并將表情圖像的每個像素值歸一化到方差為I和均值為O ; (2)深度信念網絡(DBN)的訓練，包括: 深度信念網絡(DBN)的預訓練(pre-training)和深度信念網絡(DBN)的調優(yōu)(fine-tuning)兩個步驟。訓練過程中采用的圖像樣本來源于人臉表情數據庫中的訓練樣本； (3)多層感知器(MLP)的初始化，包括:` 首先建立一個在隱層層數、隱層節(jié)點數上與深度信念網絡(DBN)完全一樣的多層感知器(MLP)模型。然后，將訓練好之后的深度信念網絡(DBN)模型中的每一層隱層的網絡權重值，直接輸入給多層感知器(MLP)模型中相應的每一層隱層網絡當中，從而使得多層感知器(MLP)模型與訓練好之后的深度信念網絡(DBN)模型，在隱層層數、隱層節(jié)點數、以及每一層隱層的網絡權重值三個方面上都保持一樣； (4)人臉表情識別結果的輸出，包括: 對于人臉表情數據庫中的測試樣本，采用初始化之后的多層感知器(MLP)模型進行人臉表情圖像樣本的識別測試，輸出人臉表情識別結果。人臉表情識別測試時，采用5次交叉驗證方法，即將全部表情圖像樣本平均分成5份，每次使用其中的4份數據作為訓練樣本用于訓練，剩下的1份數據作為測試樣本用于識別測試。這樣的識別實驗相應重復5次，最后取5次的平均值作為識別結果。
2.根據權利要求1所述的基于深度學習的人臉表情識別方法，其特征在于: 所述深度信念網絡(DBN)的預訓練(pre-training),包括:采用自下而上的無監(jiān)督學習方式進行預訓練，即使用無標簽(unlabeled)的樣本數據，從底層開始，一層一層的往頂層進行訓練。深度信念網絡(DBN)的預訓練具體過程如下:由于RBM是一種能量模型，它的可視層和隱層之間關系可以用能量函數表示為
VHVH ￡(ν，Λ;60 = -ΣΣ%νΑ -Σμ(式 O
/=1 /=1 /=1 /=1 其中，Vi, hj分別代表可視層節(jié)點和隱層節(jié)點的狀態(tài)，一般取O或I ;a]和bi表示對應的偏置，Wij表示它們之間的連接權重。模型產生可視層矢量的聯合概率為 Μν4) = Σ^'Λ?/ΣΣ,ηΛ>(式 2)
hu h可視層和隱層之間的條件概率計算如下:
3.根據權利要求1所述的基于深度學習的人臉表情識別方法，其特征在于: 所述深度信念網絡(DBN)的調優(yōu)(fine-tuning)，包括: 采用自頂向下的監(jiān)督學習學習方式進行調優(yōu)，即使用標簽(labeled)的樣本數據進行訓練，誤差自頂向下傳輸，對網絡進行調優(yōu)。通過調優(yōu)之后，使得深度信念網絡(DBN)模型中的每一層隱層的網絡權重值都能夠達到最優(yōu)值。深度信念網絡(DBN)的調優(yōu)具體過程如下: 根據輸入數據和重構數據的誤差函數，利用反向傳播(BP)算法重新調整網絡的參數，最終使網絡達到全局最優(yōu)的過程。輸入數據和重構數據的誤差函數為
【文檔編號】G06N3/08GK103793718SQ201310676648
【公開日】2014年5月14日 申請日期:2013年12月11日 優(yōu)先權日:2013年12月11日
【發(fā)明者】張石清, 趙小明 申請人:臺州學院, 張石清, 趙小明