對(duì)人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理及模式識(shí)別的技術(shù)領(lǐng)域，具體地涉及一種對(duì)人體面部微笑表 情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法。
【背景技術(shù)】
[0002] 作為人類情感表達(dá)的重要方式之一，微笑常常代表著人們快樂、歡喜、滿意等情 緒。人們能夠一眼看出其他人的快樂心情，如果計(jì)算機(jī)也能自動(dòng)解讀人的情緒，計(jì)算機(jī)將會(huì) 為人類提供更全面的服務(wù)。近年來，微笑自動(dòng)檢測技術(shù)逐漸得到研究人員和服務(wù)行業(yè)的關(guān) 注，并滲透于人們?nèi)粘Ｉ畹母鱾€(gè)技術(shù)領(lǐng)域。例如，2013年，巴塞羅那一家喜劇倶樂部 Teatreneu利用平板電腦通過識(shí)別人臉表情實(shí)行"按微笑收費(fèi)"，這種創(chuàng)新實(shí)效的舉措贏得 了用戶的青睞，并使得倶樂部的收入飆漲。再如，2007年，在索尼公司的S0NYT200數(shù)碼相機(jī) 中，提供了由索尼和歐姆龍公司合作開發(fā)出來"微笑快門"用來捕捉剎那間笑容。此后，索尼 愛立信將該功能引入到Cyber-shot系列手機(jī)W61S。但是，一般來說"微笑快門"靈敏度尚不 理想。
[0003] 目前，人們對(duì)微笑表情識(shí)別方法開始考慮遮擋和噪聲的影響，比如身份、年齡、性 另IJ、姿態(tài)、光照、遮擋、拍攝環(huán)境、圖像質(zhì)量等因素。由于面部微笑表情易受多種客觀因素影 響，使得微笑表情特征復(fù)雜多變，難以人為的設(shè)計(jì)特征，因此，微笑表情識(shí)別成為一項(xiàng)具有 挑戰(zhàn)性的研究課題。
[0004] 現(xiàn)有人臉表情識(shí)別多是對(duì)人臉正面成像的圖像進(jìn)行分析，用一種或多種特征融合 的方法識(shí)別人臉表情，因此特征提取和選擇算法不可避免的損失了部分信息，且易受人臉 角度姿態(tài)、尺度變化和噪聲干擾。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的缺點(diǎn)，提供一種設(shè)計(jì)特征簡單、 全面、檢測準(zhǔn)確率高、檢測速度快的對(duì)人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法。
[0006] 解決上述技術(shù)問題所采用的技術(shù)方案它是由訓(xùn)練步驟和測試步驟組成，本發(fā)明的 訓(xùn)練步驟為：
[0007] (1)對(duì)訓(xùn)練樣本圖像進(jìn)行預(yù)處理
[0008] 包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調(diào)節(jié)步驟；
[0009] 圖像灰度化:用（1)式對(duì)被訓(xùn)練的樣本圖像進(jìn)行灰度化處理，將彩色圖像轉(zhuǎn)為灰度 圖像：
[0010] I=ffrXR+ffgXG+ffbXB (1)
[0011] 式中I為灰度化后的亮度，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為 彩色圖像的藍(lán)色分量，Wr為彩色圖像的紅色分量的權(quán)重，Wg為彩色圖像的綠色分量的權(quán)重， Wb為彩色圖像的藍(lán)色分量的權(quán)重。
[0012] 嘴巴子圖定位:用五個(gè)關(guān)鍵點(diǎn)橫坐標(biāo)的平均值作為中心點(diǎn)的橫坐標(biāo)X，用五個(gè)關(guān)鍵 點(diǎn)縱坐標(biāo)的平均值作為中心點(diǎn)的縱坐標(biāo)y，用歐式距離或曼哈頓距離或棋盤距離計(jì)算五個(gè) 關(guān)鍵點(diǎn)到中心點(diǎn)的距離;計(jì)算上述五個(gè)距離的最大距離D或平均距離D或最小距離D，以（（X-(0.75~0.77)0)，7)為左上角，裁剪成寬為（1.5~1.58)0、高為（1.7~1.78)0的矩形，得到 嘴巴子圖。
[0013] 嘴巴子圖大小歸一化:將上述嘴巴子圖用雙三次插值法或B樣條插值法或三次樣 條插值法或等距插值法或四次樣條插值法或拉格朗日插值法，歸一化為32 X 32嘴巴子圖， 像素總個(gè)數(shù)為322。
[0014] 對(duì)嘴巴子圖進(jìn)行亮度調(diào)節(jié):采用自適應(yīng)亮度調(diào)節(jié)法或分段線性拉伸法或直方圖均 衡化算法，獲得亮度調(diào)節(jié)后的嘴巴子圖。
[0015] 自適應(yīng)亮度調(diào)節(jié)法，用(4)式計(jì)算32X32嘴巴子圖的直方圖h(x)累加和與像素總 個(gè)數(shù)的比值cdf (X):
[0016]
(4)
[0017] 式中xe [0,255]，在cdf (X)中尋找第一個(gè)大于0.01的索引值i low和第一個(gè)大于 0.99的索引值ihigh。
[0018] 用（5)式得到亮度范圍[low，high]:
[0019] low= (i low-1 )/255, high = (ihigh-1 )/255 (5)
[0020] 用(6)式計(jì)算調(diào)節(jié)后的亮度值J
[0021] J= (tmp-low)/(high-low) (6)
[0022] 式中1：11^1=11^1(1〇￥，111；[11(11丨811，1))，1為灰度化后的亮度，得到32\32標(biāo)準(zhǔn)嘴巴圖 像。
[0023] (2)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)
[0024] 將訓(xùn)練樣本預(yù)處理后得到的32X32標(biāo)準(zhǔn)嘴巴圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)前向傳播 和反向傳播兩個(gè)步驟反復(fù)循環(huán)至達(dá)到設(shè)定的最大迭代次數(shù)，得到卷積神經(jīng)網(wǎng)絡(luò)和訓(xùn)練樣本 的多尺度特征。
[0025] (3)訓(xùn)練支持向量機(jī)分類器
[0026] 把多尺度特征輸入支持向量機(jī)，支持向量機(jī)根據(jù)多尺度特征尋找最優(yōu)分類超平 面，得到支持向量機(jī)分類器，該分類器的輸出是1或〇，1為微笑，0為不微笑。
[0027] 本發(fā)明的測試步驟為：
[0028] (1)對(duì)測試樣本圖像進(jìn)行預(yù)處理
[0029]測試樣本圖像的預(yù)處理與對(duì)訓(xùn)練樣本圖像進(jìn)行預(yù)處理步驟(1)相同。
[0030] (2)用預(yù)處理后的測試樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中，提取測試樣本的多尺度特征。
[0031] (3)將多尺度特征輸入到支持向量機(jī)分類器中，得到檢測結(jié)果，即是否微笑。
[0032]本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為:輸入層是32X32的標(biāo)準(zhǔn)嘴巴圖像;C1層是第一 個(gè)卷積層，有10個(gè)28X28的特征圖，每個(gè)特征圖中的1個(gè)像素點(diǎn)與輸入層的1個(gè)5X5區(qū)域相 連接，共（5X5+1 )X 10 = 260個(gè)訓(xùn)練參數(shù);S2層是下2采樣層，有10個(gè)14X14特征圖，每個(gè)特 征圖中的1個(gè)像素點(diǎn)與C1層相應(yīng)特征圖的1個(gè)2X2區(qū)域相連接，共IX 10個(gè)偏置參數(shù);C3層是 第二個(gè)卷積層，有12個(gè)10 X 10的特征圖，每個(gè)特征圖中的1個(gè)像素點(diǎn)與S2層相應(yīng)的1個(gè)5 X 5 區(qū)域相連接，共（5X5+1 )X 10X12 = 3120個(gè)參數(shù);S4層為第二個(gè)下2采樣層，有12個(gè)5X5的 特征圖，共IX 12個(gè)偏置參數(shù);F5層是S4中12個(gè)5X5的特征圖以列序?yàn)橹餍蛞来闻帕猩傻?1個(gè)300維的多尺度特征;輸出層由2個(gè)結(jié)點(diǎn)1和0組成，F(xiàn)5層與輸出層之間全連接，共300X2 = 600個(gè)參數(shù);該深度卷積神經(jīng)網(wǎng)絡(luò)共260+10+3120+12+600 = 4002個(gè)參數(shù)，通過前向傳播和 反向傳播反復(fù)循環(huán)至達(dá)到設(shè)定的最大迭代次數(shù)，確定網(wǎng)絡(luò)參數(shù)。
[0033]本發(fā)明的支持向量機(jī)為：支持向量機(jī)的核函數(shù)選擇徑向基函數(shù)，其參數(shù)gamma = 0.05,支持向量機(jī)的輸入是從卷積神經(jīng)網(wǎng)絡(luò)得到的多尺度特征，輸出是1或0，1為微笑，0為 不微笑。
[0034]本發(fā)明的多尺度特征的生成過程為:將32X32的標(biāo)準(zhǔn)嘴巴圖像輸入到卷積神經(jīng)網(wǎng) 絡(luò)的輸入層中，經(jīng)C1層、S2層、C3層和S4層的2次卷積和下2采樣，得到12個(gè)5X5的特征圖，以 列序?yàn)橹餍蛞来闻帕猩傻?個(gè)300維的多尺度特征。
[0035] 本發(fā)明針對(duì)真實(shí)場景下拍攝的不同姿態(tài)、光照和胡須等干擾的人臉圖像，采用卷 積神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)能力，從大量樣本圖像中自動(dòng)地提取微笑特征，避免了人工設(shè)計(jì)特 征的復(fù)雜性和片面性，再利用支持向量機(jī)分類器進(jìn)行微笑檢測，提高了檢測的準(zhǔn)確率，可用 于新產(chǎn)品用戶體驗(yàn)評(píng)價(jià)、服務(wù)人員微笑服務(wù)評(píng)價(jià)、相機(jī)微笑快門控制及照片選擇等。
【附圖說明】
[0036] 圖1是本發(fā)明實(shí)施例1對(duì)人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法流程圖。 [0037]圖2是圖1中測試步驟的流程圖。
[0038]圖3是經(jīng)過預(yù)處理后部分32X32的標(biāo)準(zhǔn)嘴巴圖像。
[0039] 圖4是深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。
[0040] 圖5是非正面成像的測試樣本人體面部微笑表情的檢測結(jié)果圖。
[0041] 圖6是人體面部有胡須的測試樣本微笑表情的檢測結(jié)果圖。
【具體實(shí)施方式】
[0042]下面結(jié)合具體附圖和實(shí)例對(duì)本發(fā)明進(jìn)行進(jìn)一步的說明，但本發(fā)明不限于下述實(shí) 例。
[0043] 實(shí)施例1
[0044] 本實(shí)施例的人臉圖像來自多任務(wù)人臉標(biāo)注(the Multi-Task Facial Landmark， MTFL)數(shù)據(jù)庫，該庫包括12995幅人臉圖像，其中10000幅圖像為訓(xùn)練樣本，2995幅圖像為測 試樣本。
[0045] 本實(shí)施例微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法由訓(xùn)練步驟和測試步驟組成，訓(xùn) 練步驟如下：
[0046] 1、對(duì)10000幅訓(xùn)練樣本圖像進(jìn)行預(yù)處理
[0047]包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調(diào)節(jié)步驟；
[0048] 10000幅圖像灰度化：用（1)式對(duì)被訓(xùn)練的樣本圖像進(jìn)行灰度化處理，將彩色圖像 轉(zhuǎn)為灰度圖像：
[0049] I = 0.2989 XR+0.5870 XG+0.1140 XB (1)
[0050] 式中I為灰度化后的亮度，