基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法及系統(tǒng)，其中方法包括以下步驟：構造表情圖像庫，并對表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像；提取表情圖像的局部二值化直方圖特征和梯度直方圖描述子；分別根據(jù)表情圖像和局部二值化直方圖特征以及表情圖像和梯度直方圖描述子構造第一分類器和第二分類器；以及對第一分類器的分類結果和第二分類器的分類結果進行融合以識別表情圖像的表情。根據(jù)本發(fā)明實施例的方法，通過表情圖像的二值化直方圖特征和梯度直方圖描述子構造兩個分類器，并對兩個分類器的分類結果進行融合對表情圖像進行精確的識別，提高了識別的準確率和魯棒性，同時識別結果的融合增加了識別的可擴展性。
【專利說明】基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及圖像識別【技術領域】，特別涉及一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法及系統(tǒng)。
【背景技術】
[0002]人臉表情識別技術能夠讓計算機做到看人的臉色行事，從而營造真正和諧的人機環(huán)境。表情識別方法主要包含兩個步驟:特征提取和分類器構建。常用的特征提取方法為:Haar特征、LBP特征、Gabor特征、SIF。常用的分類器構建方法為:神經(jīng)網(wǎng)絡、支持向量機、Adaboost、主成分分析、隱馬爾科夫模型。傳統(tǒng)的表情識別方法在人臉表情識別中得到了廣泛的應用，尤其在識別干凈人臉圖像時可以達到非常好的效果。但是在實際的識別過程中人臉表情圖像可能存在遮擋和噪聲，例如，在照相的過程中后排人臉很容易被前排人的肩膀或者手部分遮擋；相機在采集人臉圖像由于受到光學設備影響會產(chǎn)生馬賽克等噪聲。因此研究出一種魯棒的人臉表情識別方法成為一個難題。近年來，針對這一難題有許多的文獻和專利提出了魯棒的表情分類方法，其主要流程為對人臉表情圖像進行分區(qū)，對每個小的分區(qū)提取常用特征，然后將這些局部特征與傳統(tǒng)的分類方法結合構成新的表情識別方法，由于提取了大量的面部局部特征，傳統(tǒng)的分類器能夠通過人臉中非遮擋部位的特征信息對表情進行分類，因此對遮擋具有一定的魯棒性。但是這一流程仍然只是傳統(tǒng)模式識別方法的一種擴展，并且存在以下兩種缺陷:(I)局部特征提取的方法非常多樣且缺乏理論依據(jù)；(2)傳統(tǒng)的模式識別方法依賴局部特征提供的信息達到對遮擋的魯棒，而其本身并不能夠?qū)φ趽鹾驮肼曯敯簟?br> [0003]由于人眼的視覺神經(jīng)系統(tǒng)能夠非常輕易的消除表情識別中的遮擋與噪聲的影響，因此模擬生物視覺系統(tǒng)的表情識別方法不但提出了一種有別于傳統(tǒng)表情識別方法的理論框架，而且解決了一些經(jīng)典模式識別方法中容易受到噪聲和遮擋影響的固有缺陷，提出了一套解決表情識別中能夠?qū)φ趽鹾驮肼暤聂敯舻男路椒ê托录夹g。輻射編碼模型為模擬生物對刺激圖像的視網(wǎng)膜到視覺皮層的映射過程，因此采用輻射編碼模型來提取人臉表情圖像的局部特征解決了傳統(tǒng)魯棒表情識別方法中局部特征提取方法缺乏理論依據(jù)的缺陷；而基于稀疏編碼的分類方法是一種模擬生物視覺感知系統(tǒng)的分類器，稀疏編碼認為每幅圖像都可以看成是多個基函數(shù)的線性組合，當圖像在某一頻率和方向上有最明顯的特征時，與之對應的神經(jīng)元會有最大的響應，因此基于稀疏編碼的分類方法具有人眼視覺系統(tǒng)的特性能夠?qū)Σ糠终趽豸敯簟?br>
【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的旨在至少解決上述的技術缺陷之一。
[0005]為此，本發(fā)明的一個目的在于提出一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法。所述人臉表情識別方法具有識別的準確率高的優(yōu)點。
[0006]本發(fā)明的另一目的在于提出一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)。
[0007]為達到上述目的，本發(fā)明一方面的實施例提出一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，包括以下步驟:構造表情圖像庫，并對所述表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像；提取所述表情圖像的局部二值化直方圖特征和梯度直方圖描述子；分別根據(jù)所述表情圖像和所述局部二值化直方圖特征以及所述表情圖像和所述梯度直方圖描述子構造第一分類器和第二分類器；以及對所述第一分類器的分類結果和所述第二分類器的分類結果進行融合以識別所述表情圖像的表情。
[0008]根據(jù)本發(fā)明實施例的方法，通過表情圖像的二值化直方圖特征和梯度直方圖描述子構造兩個分類器，并對兩個分類器的分類結果進行融合對表情圖像進行精確的識別，提高了識別的準確率和魯棒性，同時識別結果的融合增加了識別的可擴展性。
[0009]在本發(fā)明的一個實施例中，所述提取所述表情圖像的局部二值化直方圖特征，具體包括:通過二值化算子計算所述表情圖像的二值化特征；將所述表情圖像分割成多個圖像塊，并使相鄰圖像塊部分重疊；以及連接所述多個圖像塊的二值化特征，以獲得局部二值化直方圖特征。
[0010]在本發(fā)明的一個實施例中，所述提取所述表情圖像的梯度直方圖描述子，具體包括:將所述表情圖像轉(zhuǎn)化為灰度圖，并計算所述灰度圖的梯度；將所述灰度圖分割成多個單元格，并選擇在單元格梯度投影中梯度直方圖的方向，其中，所述多個單元格的相鄰單元格部分重疊；以及對所述多個單元格的梯度進行歸一化，并根據(jù)所述梯度直方圖的方向獲得梯度直方圖描述子。
[0011]在本發(fā)明的一個實施例中，所述第一分類器和第二分類器分別根據(jù)稀疏編碼系數(shù)對所述表情圖像進行分類。
[0012]在本發(fā)明的一個實施例中，所述表情圖像的表情包括:憤怒、厭惡、恐懼、高興、悲傷和驚訝。
[0013]為達到上述目的，本發(fā)明的實施例另一方面提出一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，包括:歸一化模塊，用于構造表情圖像庫，并對所述表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像；提取模塊，用于提取所述表情圖像的局部二值化直方圖特征和梯度直方圖描述子；構造模塊，用于分別根據(jù)所述表情圖像和所述局部二值化直方圖特征以及所述表情圖像和所述梯度直方圖描述子構造第一分類器和第二分類器；以及識別模塊，用于對所述第一分類器的分類結果和所述第二分類器的分類結果進行融合以識別所述表情圖像的表情。
[0014]在本發(fā)明的一個實施例中，所述提取模塊進一步包括:計算單元，用于通過二值化算子計算所述表情圖像的二值化特征；第一分割單元，用于將所述表情圖像分割成多個圖像塊，并使相鄰圖像塊部分重疊；以及第一獲取單元，用于連接所述多個圖像塊的二值化特征，以獲得局部二值化直方圖特征。
[0015]根據(jù)本發(fā)明實施例的系統(tǒng)，通過表情圖像的二值化直方圖特征和梯度直方圖描述子構造兩個分類器，并對兩個分類器的分類結果進行融合對表情圖像進行精確的識別，提高了識別的準確率和魯棒性，同時識別結果的融合增加了識別的可擴展性。
[0016]在本發(fā)明的一個實施例中，所述提取模塊進一步還包括:轉(zhuǎn)化單元，用于將所述表情圖像轉(zhuǎn)化為灰度圖，并計算所述灰度圖的梯度；第二分割單元，用于將所述灰度圖分割成多個單元格，并選擇在單元格梯度投影中梯度直方圖的方向，其中，所述多個單元格的相鄰單元格部分重疊；以及第二獲取單元，用于對所述多個單元格的梯度進行歸一化，并根據(jù)所述梯度直方圖的方向獲得梯度直方圖描述子。
[0017]在本發(fā)明的一個實施例中，所述構造模塊還用于根據(jù)稀疏編碼系數(shù)對所述表情圖像進行分類。
[0018]在本發(fā)明的一個實施例中，所述表情圖像的表情包括:憤怒、厭惡、恐懼、高興、悲傷和驚訝。
[0019]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【專利附圖】

【附圖說明】
[0020]本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0021]圖1為根據(jù)本發(fā)明一個實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法的流程圖；
[0022]圖2為根據(jù)本發(fā)明一個實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別的示意圖；
[0023]圖3為根據(jù)本發(fā)明一個實施例的通過輻射編碼模型和稀疏編碼模擬生物視覺處理表情圖像的不意圖；
[0024]圖4為根據(jù)本發(fā)明一個實施例的提取表情圖像LBP特征所采用的LBP算子的示意圖；以及
[0025]圖5為根據(jù)本發(fā)明一個實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)結構框圖。
【具體實施方式】
[0026]下面詳細描述本發(fā)明的實施例，實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0027]在本發(fā)明的描述中，需要理解的是，術語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。
[0028]在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通。對于本領域的普通技術人員而言，可以具體情況理解上述術語在本發(fā)明中的具體含義。[0029]圖1為根據(jù)本發(fā)明一個實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法的流程圖。圖2為根據(jù)本發(fā)明一個實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別的示意圖。如圖1和圖2所示，根據(jù)本發(fā)明實施例的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法包括以下步驟:
[0030]步驟101，構造表情圖像庫，并對表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像。
[0031]在本發(fā)明的一個實施例中，由于亞洲人的表情比較內(nèi)斂而歐美人的表情比較夸張，因此對于亞洲人采用JAFFE表情圖像庫，對于歐美人采用Cohn-Kanade表情圖像庫。
[0032]步驟102，提取表情圖像的局部二值化直方圖特征和梯度直方圖描述子。
[0033]在本發(fā)明的一個實施例中，首先通過二值化算子計算表情圖像的二值化特征。然后將表情圖像分割成多個圖像塊，并使相鄰圖像塊部分重疊。之后連接多個圖像塊的二值化特征，以獲得局部二值化直方圖特征。
[0034]圖3為根據(jù)本發(fā)明一個實施例的通過輻射編碼模型和稀疏編碼模擬生物視覺處理表情圖像的示意圖。通過對表情圖像進行處理以提取表情圖像的LBP特征(即二值化特征)。逐行掃描表情圖像庫的原始人臉圖像，并采用LBP算子對圖像中的每一個像素點進行計算二值化圖像，即以該點的灰度作為閾值，對其周圍3X 3的8鄰域進行二值化，按照一定的順序?qū)⒍祷慕Y果組成一個8位二進制數(shù)，并以該二進制數(shù)的值作為該點的響應。其中，所選取的LBP算子如圖4所示。
[0035]使用LBP算子計算后得到的LBP特征(即二值化特征)作為表情圖像的一階統(tǒng)計特征。由于一階統(tǒng)計特征無法描述圖像的結構信息，而圖像各個區(qū)域的局部特征往往差異較大，如果僅對整個圖像生成一個LBP直方圖，這些局部的差異信息就會丟失。因此，需要采用輻射編碼模型提取局部分區(qū)的LBP特征。具體地，將圖像分割成4X4的小塊，并將相鄰小塊之間具有25%的重疊，并對每個小塊統(tǒng)計其灰度直方圖，最后再將所有塊的二值化直方圖特征鏈接成一個復合的特征向量作為代表整個圖像的LBP直方圖特征。
[0036]在本發(fā)明的一個實施例中，將表情圖像轉(zhuǎn)化為灰度圖，并計算灰度圖的梯度。之后將灰度圖分割成多個單元格，并選擇在單元格梯度投影中梯度直方圖的方向，其中，多個單元格的相鄰單元格部分重疊。再對多個單元格的梯度進行歸一化，并根據(jù)梯度直方圖的方向獲得梯度直方圖描述子。
[0037]具體地，提取HOG特征主要包括以下幾步:
[0038]第一步，標準化Gamma空間和顏色空間。
[0039]為了減少光照因素的影響，首先需要將整個圖像進行規(guī)范化。在圖像的紋理強度中，局部的表層曝光貢獻的比重較大，所以，這種壓縮處理能夠有效地降低圖像局部的陰影和光照變化。因為顏色信息作用不大，通常先轉(zhuǎn)化為灰度圖。Gamma壓縮公式為，I (X，y)=I (χ, y)gamma，其中，I (x, y)為圖像中位于x，y位置處的灰度值，x, y分別為圖像的橫坐標和縱坐標，單位為像素，gamma為一個系數(shù)可以按照需求設定。
[0040]第二步，計算梯度。
[0041]在這里我們采用3X3的Sobel算子來計算梯度。Sobel算子是一階導數(shù)的邊緣檢測算子，在算法實現(xiàn)過程中，通過3X3模板作為該圖像中的每個像素點做卷積和運算，然后選取合適的閾值以提取邊緣。[0042]Sobel算子主要包含兩組3X3的矩陣，分辨為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。如果以A表示原始圖像，G5^P Gy分別表示經(jīng)橫向及縱向邊緣檢測的圖像，其公式如下:
【權利要求】
1.一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，其特征在于，包括以下步驟: 構造表情圖像庫，并對所述表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像； 提取所述表情圖像的局部二值化直方圖特征和梯度直方圖描述子； 分別根據(jù)所述表情圖像和所述局部二值化直方圖特征以及所述表情圖像和所述梯度直方圖描述子構造第一分類器和第二分類器；以及 對所述第一分類器的分類結果和所述第二分類器的分類結果進行融合以識別所述表情圖像的表情。
2. 如權利要求1所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，其特征在于，所述提取所述表情圖像的局部二值化直方圖特征，具體包括: 通過二值化算子計算所述表情圖像的二值化特征； 將所述表情圖像分割成多個圖像塊，并使相鄰圖像塊部分重疊；以及 連接所述多個圖像塊的二值化特征，以獲得局部二值化直方圖特征。
3.如權利要求1所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，其特征在于，所述提取所述表情圖像的梯度直方圖描述子，具體包括: 將所述表情圖像轉(zhuǎn)化為灰度圖，并計算所述灰度圖的梯度； 將所述灰度圖分割成多個單元格，并選擇在單元格梯度投影中梯度直方圖的方向，其中，所述多個單元格的相鄰單元格部分重疊；以及 對所述多個單元格的梯度進行歸一化，并根據(jù)所述梯度直方圖的方向獲得梯度直方圖描述子。
4.如權利要求1所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，其特征在于，所述第一分類器和第二分類器分別根據(jù)稀疏編碼系數(shù)對所述表情圖像進行分類。
5.如權利要求1所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別方法，其特征在于，所述表情圖像的表情包括:憤怒、厭惡、恐懼、高興、悲傷和驚訝。
6.一種基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，其特征在于，包括: 歸一化模塊，用于構造表情圖像庫，并對所述表情圖像庫中的原始人臉圖像進行歸一化以得到表情圖像； 提取模塊，用于提取所述表情圖像的局部二值化直方圖特征和梯度直方圖描述子； 構造模塊，用于分別根據(jù)所述表情圖像和所述局部二值化直方圖特征以及所述表情圖像和所述梯度直方圖描述子構造第一分類器和第二分類器；以及 識別模塊，用于對所述第一分類器的分類結果和所述第二分類器的分類結果進行融合以識別所述表情圖像的表情。
7.如權利要求6所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，其特征在于，所述提取模塊進一步包括: 計算單元，用于通過二值化算子計算所述表情圖像的二值化特征； 第一分割單元，用于將所述表情圖像分割成多個圖像塊，并使相鄰圖像塊部分重疊；以及 第一獲取單元，用于連接所述多個圖像塊的二值化特征，以獲得局部二值化直方圖特征。
8.如權利要求6所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，其特征在于，所述提取模塊進一步還包括: 轉(zhuǎn)化單元，用于將所述表情圖像轉(zhuǎn)化為灰度圖，并計算所述灰度圖的梯度； 第二分割單元，用于將所述灰度圖分割成多個單元格，并選擇在單元格梯度投影中梯度直方圖的方向，其中，所述多個單元格的相鄰單元格部分重疊；以及 第二獲取單元，用于對所述多個單元格的梯度進行歸一化，并根據(jù)所述梯度直方圖的方向獲得梯度直方圖描述子。
9.如權利要求6所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，其特征在于，所述構造模塊還用于根據(jù)稀疏編碼系數(shù)對所述表情圖像進行分類。
10.如權利要求6所述的基于模擬生物視覺神經(jīng)網(wǎng)絡的人臉表情識別系統(tǒng)，其特征在于，所述表情圖像的表情包括`:憤怒、厭惡、恐懼、高興、悲傷和驚訝。
【文檔編號】G06K9/00GK103488974SQ201310419079
【公開日】2014年1月1日 申請日期:2013年9月13日 優(yōu)先權日:2013年9月13日
【發(fā)明者】桑農(nóng), 歐陽琰, 高常鑫 申請人:南京華圖信息技術有限公司