本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測方法、裝置及識別系統(tǒng)。

背景技術(shù)：

面部特征點(diǎn)是人機(jī)交互、人臉識別、表情分析的基礎(chǔ)，是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一。但是由于光照、頭部姿勢、復(fù)雜背景等因素的影響，導(dǎo)致面部特征點(diǎn)的檢測精度較低。目前，常用的特征點(diǎn)檢測方法大致可以分為兩大類：基于模型的方法和基于回歸的方法。

基于模型的方法首先訓(xùn)練一個參數(shù)模型，然后利用該模型匹配測試圖像。經(jīng)過多次迭代優(yōu)化模型參數(shù)，直至滿足特征點(diǎn)匹配要求，迭代停止。主動表觀模型(Active Appearance Model，AAM)作為一種經(jīng)典的基于模型的方法，充分利用了全局的形狀和紋理信息，成為國內(nèi)外研究人員廣泛使用的面部特征點(diǎn)定位算法。但是為得到較好的結(jié)果，基于模型的方法需要多次迭代過程，增加了處理時間。

與基于模型的方法相比，基于回歸的方法將特征點(diǎn)檢測視為一項(xiàng)回歸任務(wù)，無需迭代過程，常用的回歸估計(jì)算法包括：卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)，RF以及支持向量機(jī)(Support Vector Machine，SVM)等。其中，為得到較好的效果，RF和SVM等分類方法的輸入數(shù)據(jù)首先需要進(jìn)行特征提取，而CNN無需構(gòu)造人工特征，具有自主學(xué)習(xí)深層特征的能力。CNN級聯(lián)結(jié)構(gòu)采用整體到局部的優(yōu)化策略，第一級網(wǎng)絡(luò)初步定位所有特征點(diǎn)位置，之后各級并行網(wǎng)絡(luò)分別檢測局部區(qū)域內(nèi)的特征點(diǎn)。

眼睛作為人臉最顯著的特征，是疲勞檢測、眼動分析、人機(jī)交互等研究關(guān)注的重點(diǎn)。在這些應(yīng)用中往往需要更高的檢測精度和更快的處理速度，面部特征點(diǎn)檢測中基于模型與基于回歸的方法同樣適用于眼部特征點(diǎn)檢測。而CNN級聯(lián)結(jié)構(gòu)有較強(qiáng)的魯棒性，在特征點(diǎn)檢測上取得了較好的效果。然而級聯(lián)結(jié)構(gòu)降低了處理速度，無法滿足實(shí)時檢測的需求，特別是局部區(qū)域檢測過程無法利用特征點(diǎn)間的幾何關(guān)系這一重要信息。

技術(shù)實(shí)現(xiàn)要素：

針對上述問題，本發(fā)明的目的在于提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測方法、裝置及識別系統(tǒng)，可實(shí)現(xiàn)快速、準(zhǔn)確的特征點(diǎn)檢測。

本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測方法，包括如下步驟：

接收待檢測的眼部圖像；

基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的特征點(diǎn)進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；其中，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本的特征點(diǎn)根據(jù)預(yù)設(shè)的幾何約束關(guān)系進(jìn)行標(biāo)定；

輸出包含有提取到的所述特征點(diǎn)的眼部圖像。

優(yōu)選地，所述特征點(diǎn)包括外眼角點(diǎn)、內(nèi)眼角點(diǎn)、上眼瞼中心點(diǎn)及下眼瞼中心點(diǎn)。

優(yōu)選地，所述幾何約束關(guān)系為：

上眼瞼中心點(diǎn)與下眼瞼中心點(diǎn)位于眼瞼邊緣上，且上眼瞼中心點(diǎn)與下眼瞼中心點(diǎn)的連線通過外眼角點(diǎn)與內(nèi)眼角點(diǎn)的連線中點(diǎn)，并垂直于水平線。

優(yōu)選地，所述幾何約束關(guān)系為：

上眼瞼中心點(diǎn)與下眼瞼中心點(diǎn)位于眼瞼邊緣上，且上眼瞼中心點(diǎn)與下眼瞼中心點(diǎn)的連線為外眼角點(diǎn)與內(nèi)眼角點(diǎn)的連線的垂直平分線。

優(yōu)選地，還包括：

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，根據(jù)為每個特征點(diǎn)配置的局部區(qū)域的尺寸，對標(biāo)定的特征點(diǎn)的坐標(biāo)進(jìn)行局部歸一化。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)的數(shù)目為一個。

本發(fā)明還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測裝置，包括：

輸入模塊，用于接收待檢測的眼部圖像

特征點(diǎn)提取模塊，用于基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的特征點(diǎn)進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；其中，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本的特征點(diǎn)根據(jù)預(yù)設(shè)的幾何約束關(guān)系進(jìn)行標(biāo)定；

輸出模塊，用于輸出包含有提取到的所述特征點(diǎn)的眼部圖像。

優(yōu)選地，還包括：

局部歸一化模塊，用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，根據(jù)為每個特征點(diǎn)配置的局部區(qū)域的尺寸，對標(biāo)定出的特征點(diǎn)的坐標(biāo)進(jìn)行局部歸一化。

優(yōu)選地，所述特征點(diǎn)提取模塊具體用于，基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的左眼的特征點(diǎn)和右眼的特征點(diǎn)同時進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；

則所述眼部特征檢測裝置還包括：

擴(kuò)充模塊，用于將左眼圖像擴(kuò)充到右眼圖像數(shù)據(jù)中。

本發(fā)明還提供了一種識別系統(tǒng)，包括采集單元、識別單元以及上述的眼部特征檢測裝置；其中：

所述采集單元，用于采集目標(biāo)對象的N幀連續(xù)的面部圖像，并提取每幀面部圖像中的眼部圖像；其中，N為大于2的整數(shù)；

所述眼部特征檢測裝置，用于提取每幀眼部圖像中的特征點(diǎn)，生成N幀包含有特征點(diǎn)的眼部圖像；

所述識別單元，用于根據(jù)生成的N幀包含有特征點(diǎn)的眼部圖像，獲得所述目標(biāo)對象在每幀眼部圖像中的眼部狀態(tài)變化，并根據(jù)所述目標(biāo)對象的眼部狀態(tài)變化情況，識別所述目標(biāo)對象的疲勞度。

本發(fā)明提供的基于CNN的眼部特征點(diǎn)檢測方法、裝置及識別系統(tǒng)，根據(jù)特征點(diǎn)之間幾何關(guān)系約束對特征點(diǎn)進(jìn)行標(biāo)定，并基于標(biāo)定的特征點(diǎn)進(jìn)行訓(xùn)練學(xué)習(xí)，實(shí)驗(yàn)結(jié)果證明CNN對特征點(diǎn)間的明確幾何約束關(guān)系有較強(qiáng)的學(xué)習(xí)能力，且能顯著提高檢測的正確率。

附圖說明

為了更清楚地說明本發(fā)明的技術(shù)方案，下面將對實(shí)施方式中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測方法的流程示意圖；

圖2是本發(fā)明實(shí)施提供的一種卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖3是本發(fā)明實(shí)施例提供的訓(xùn)練樣本的特征點(diǎn)標(biāo)定示意圖；

圖4是本發(fā)明實(shí)施例提供的一種標(biāo)定方式的示意圖；

圖5是本發(fā)明實(shí)施例提供的另一種標(biāo)定方式的示意圖；

圖6(a)和圖6(b)是不同誤差標(biāo)準(zhǔn)下三種標(biāo)定方式的檢測正確率示意圖；

圖7是VM-points和PB-points的檢測/檢驗(yàn)正確率與檢測/檢驗(yàn)誤差關(guān)系示意圖；

圖8是發(fā)明與其他系統(tǒng)平均檢測正確率的對比示意圖；

圖9是不同誤差標(biāo)準(zhǔn)下采用全局歸一化和局部歸一化的平均檢測正確率示意圖；

圖10是檢測誤差為5％時，不同標(biāo)定方式下，全局歸一化和局部歸一化的檢測結(jié)果對比示意圖；

圖11是本發(fā)明實(shí)施例提供的基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測裝置的結(jié)構(gòu)示意圖；

圖12本發(fā)明實(shí)施例提供的識別系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1，本發(fā)明實(shí)施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測方法，其至少包括如下步驟：

S101，接收待檢測的眼部圖像。

在本發(fā)明實(shí)施例中，所述待檢測的眼部圖像可從面部圖像上提取出來，例如，可采用adaboost人眼檢測算法從面部圖像中裁剪得到待檢測的眼部圖像。

S102，基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的特征點(diǎn)進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；其中，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本的特征點(diǎn)根據(jù)預(yù)設(shè)的幾何約束關(guān)系進(jìn)行標(biāo)定。

S103，輸出包含有提取到的所述特征點(diǎn)的眼部圖像。

在本發(fā)明實(shí)施例中，上述步驟可通過一個卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)來實(shí)現(xiàn)。CNN主要由輸入層(Input layer)、卷積層(Convolutional layer)、池化層(Pooling layer)、全連接層(Full Connection layer)和輸出層(Output layer)組成。卷積層又稱為特征提取層，其在經(jīng)過訓(xùn)練后，可以得到輸入圖像的特定特征點(diǎn)的估計(jì)，其輸出為原圖的特征映射(圖像特征點(diǎn)歸一化后的坐標(biāo)值)。像素級或淺層特征主要由低層結(jié)構(gòu)獲得，并傳送到高層結(jié)構(gòu)。經(jīng)過多次卷積后，低級特征組合映射為高級特征，從而更好地揭示了輸入與輸出之間的深層關(guān)系。

如圖2所示，本發(fā)明實(shí)施例提供了一個包含3個卷積層和2個池化層的深層網(wǎng)絡(luò)。表1列出了網(wǎng)絡(luò)結(jié)構(gòu)中各層映射圖的大小及個數(shù)、卷積核及池化區(qū)域的大小等詳細(xì)參數(shù)(眼部圖像尺寸為40*20)，當(dāng)然，應(yīng)當(dāng)理解的是，在本發(fā)明的其他實(shí)施例中，可以根據(jù)實(shí)際需要更改卷積層和池化層的數(shù)量，此外，表1中的各個參數(shù)也可根據(jù)圖像的大小進(jìn)行相應(yīng)調(diào)整，本發(fā)明不做具體限定。

表1網(wǎng)絡(luò)的詳細(xì)參數(shù)

在本發(fā)明實(shí)施中，為了提高網(wǎng)絡(luò)的非線性映射能力，每個卷積層的輸出都經(jīng)過激活函數(shù)處理。目前已有多種類型的激活函數(shù)用于分類或回歸等問題，如tanh函數(shù)、Sigmoid函數(shù)、ReLu(Rectified Linear Units)函數(shù)、Maxout函數(shù)、PReLU(Parametric Rectified Linear Unit)函數(shù)等。針對人眼特征點(diǎn)檢測，在自建數(shù)據(jù)庫中經(jīng)多次實(shí)驗(yàn)發(fā)現(xiàn)Sigmoid函數(shù)在輸入圖像未經(jīng)任何處理的情況下可以取得較好的效果。因此在本發(fā)明實(shí)施例中將Sigmoid函數(shù)作為激活函數(shù)，則卷積層的最終輸出為：

其中，sigm(x)＝1/(1+e^-x)，x^t-1和y^t為第t個卷積層的輸入和輸出。h_t和w_t是卷積核K的高和寬。c_t為上一層的輸出特征圖數(shù)目，k代表當(dāng)前卷積層的第k個輸出特征圖，b_k為偏置項(xiàng)。

池化操作主要用于縮減特征圖的維度，防止過擬合。本發(fā)明實(shí)施例采用了最大池化法，池化層的輸出可表示為：

其中d是池化區(qū)域的大小。這里采用不重疊池化，因此池化步長也為d。在最大池化中，局部最大值用來表示該池化區(qū)域的特征。與平均池化相比，最大池化能更好地表示像素級別的特征，有利于特征點(diǎn)檢測。多次實(shí)驗(yàn)表明，對于眼部特征點(diǎn)檢測，最大池化的效果要優(yōu)于平均池化。

在本發(fā)明實(shí)施例中，在采用CNN進(jìn)行特征點(diǎn)檢測前需先利用訓(xùn)練樣本進(jìn)行訓(xùn)練學(xué)習(xí)。其中，訓(xùn)練樣本為各種類型的眼部圖像，包括對不同人在不同注視方向、不同開閉狀態(tài)、不同環(huán)境背景，不同光照條件采集的眼部圖像，并且允許頭部有小幅度轉(zhuǎn)動。

在本發(fā)明實(shí)施例中，在CNN對訓(xùn)練樣本進(jìn)行訓(xùn)練前，需先標(biāo)定出每張訓(xùn)練樣本中的特征點(diǎn)。如圖3所示，本發(fā)明實(shí)施例定義的眼部的特征點(diǎn)包括外眼角點(diǎn)B、內(nèi)眼角點(diǎn)A、上眼瞼中心點(diǎn)C及下眼瞼中心點(diǎn)D。其中，內(nèi)眼角點(diǎn)A和外眼角點(diǎn)B有比較明顯的特征，相對易于標(biāo)定。但是上眼瞼中心點(diǎn)C及下眼瞼中心點(diǎn)D相對模糊，不易標(biāo)定。而特征點(diǎn)的標(biāo)定是否準(zhǔn)確以及是否具有一致性將影響到最終檢測的精度，因此，本發(fā)明實(shí)施例根據(jù)預(yù)設(shè)的幾何約束關(guān)系對上眼瞼中心點(diǎn)C及下眼瞼中心點(diǎn)D進(jìn)行標(biāo)定，以提高標(biāo)定的準(zhǔn)確性。

在一種標(biāo)定方式(WL-points)中，所述幾何約束關(guān)系為：上下眼瞼的中心點(diǎn)C和D的連線是上下眼瞼的最大距離。

如圖4所示，在一種標(biāo)定方式(VM-points)中，所述幾何約束關(guān)系為：上眼瞼中心點(diǎn)C與下眼瞼中心點(diǎn)D位于眼瞼邊緣上，且上眼瞼中心點(diǎn)C與下眼瞼中心點(diǎn)D的連線通過外眼角點(diǎn)B與內(nèi)眼角點(diǎn)A的連線中點(diǎn)，并垂直于水平線。

如圖5所示，在一種標(biāo)定方式(PB-points)中，所述幾何約束關(guān)系為：上眼瞼中心點(diǎn)C與下眼瞼中心點(diǎn)D位于眼瞼邊緣上，且上眼瞼中心點(diǎn)C與下眼瞼中心點(diǎn)D的連線為外眼角點(diǎn)B與內(nèi)眼角點(diǎn)A的連線的垂直平分線。

其中，上述的眼瞼邊緣定義為眼瞼與虹膜(或鞏膜)的交界線。

可以看出，在WL-points標(biāo)定方式中，上眼瞼中心點(diǎn)C、下眼瞼中心點(diǎn)D和內(nèi)眼角點(diǎn)A、外眼角點(diǎn)B之間不存在任何幾何約束關(guān)系，而在VM-points和PB-points中，四個特征點(diǎn)之間有較為明確的幾何約束關(guān)系。

下面將對上述三種標(biāo)定方式對網(wǎng)絡(luò)性能的影響進(jìn)行分析。

其中，網(wǎng)絡(luò)性能由檢測誤差、檢測正確率或檢測錯誤率估計(jì)，以歸一化的歐氏距離為標(biāo)準(zhǔn)衡量誤差，檢測誤差定義為：

其中，(x,y)和(x′,y′)分別為標(biāo)定坐標(biāo)和檢測坐標(biāo)，w和h為圖像的寬和高。如果一次檢測中，檢測誤差小于預(yù)定義值，則認(rèn)為這次檢測正確，否則視為錯誤。檢測正確率表示為檢測正確的樣本數(shù)與總樣本數(shù)的比值。在未做特殊說明的情況下，本發(fā)明實(shí)施例提到的檢測正確率均是檢測誤差為5％時的結(jié)果。

圖6(a)展示了四個特征點(diǎn)的檢測正確率與檢測誤差之間的關(guān)系。圖6(a)為內(nèi)外眼角點(diǎn)檢測結(jié)果，從圖中可以看出三種標(biāo)定方式的檢測正確率幾乎相同，說明不同標(biāo)定方式對內(nèi)外眼角點(diǎn)的檢測正確率沒有影響。另外，外眼角點(diǎn)B的檢測正確率明顯地低于內(nèi)眼角點(diǎn)A的正確率，這主要因?yàn)橥庋劢屈c(diǎn)B的位置相對模糊，在標(biāo)定階段就存在相對較大的誤差。

然而，圖6(b)所示的上眼瞼中心點(diǎn)C和下眼瞼中心點(diǎn)D的檢測正確率卻有明顯的不同，VM-points和PB-points的檢測正確率要遠(yuǎn)高于WL-points，高約5％。這證明明確的幾何約束關(guān)系顯著提高了網(wǎng)絡(luò)性能。原因主要有兩個方面，首先明確的幾何約束關(guān)系保證了標(biāo)定的一致性，使每個特征點(diǎn)對應(yīng)圖像中相同的特征位置。尤其是針對較難確定的上眼瞼中心點(diǎn)C和下眼瞼中心點(diǎn)D，必要的幾何約束關(guān)系不僅給出了其標(biāo)定標(biāo)準(zhǔn)還能盡量確保特征點(diǎn)標(biāo)定在每個樣本中處于相同位置處，從而保證了網(wǎng)絡(luò)能夠?qū)W習(xí)到每個特征點(diǎn)最有效的特征信息，提高了網(wǎng)絡(luò)特征選擇能力及其性能；其次，網(wǎng)絡(luò)可以學(xué)到四個特征點(diǎn)之間的位置關(guān)系，相對穩(wěn)定的內(nèi)外眼角點(diǎn)為上下眼瞼點(diǎn)的檢測提供了很好的引導(dǎo)作用，并且這種幾何約束關(guān)系促使網(wǎng)絡(luò)在輸出時盡可能保證這種固定關(guān)系。與WL-points相比，VM-points的垂直中線和PB-points的垂直平分線都對上下眼瞼的位置起到明確的約束作用，從而提高了上下眼瞼點(diǎn)的檢測正確率。

為驗(yàn)證神經(jīng)網(wǎng)絡(luò)對特征點(diǎn)之間幾何約束關(guān)系的學(xué)習(xí)能力，本發(fā)明假設(shè)檢測結(jié)果作為真值，對比了特征點(diǎn)的檢測坐標(biāo)與檢驗(yàn)坐標(biāo)之間的位置差異，其中檢驗(yàn)坐標(biāo)為利用三個特征點(diǎn)的檢測坐標(biāo)及特征點(diǎn)間的幾何關(guān)系計(jì)算得到的另一個特征點(diǎn)的坐標(biāo)。網(wǎng)絡(luò)對特征點(diǎn)間幾何關(guān)系的學(xué)習(xí)能力由檢驗(yàn)誤差和檢驗(yàn)正確率衡量，檢驗(yàn)誤差定義為：

其中，(x′,y′)和(x″,y″)分別為檢測坐標(biāo)與檢驗(yàn)坐標(biāo)，w和h為圖像的寬和高。如果檢驗(yàn)誤差小于預(yù)定義值，則認(rèn)為這次檢測到的點(diǎn)之間存在確定的幾何關(guān)系，否則視為不存在。檢驗(yàn)正確率則定義為檢測點(diǎn)間幾何約束關(guān)系存在的樣本數(shù)與總樣本數(shù)的比值。

在VM-points和PB-points標(biāo)定方法中，四個標(biāo)定的特征點(diǎn)之間有著明確的幾何約束關(guān)系，使用檢測到的上下眼瞼中心點(diǎn)與外眼角點(diǎn)(或內(nèi)眼角點(diǎn))可計(jì)算出內(nèi)眼角點(diǎn)(或外眼角點(diǎn))的檢驗(yàn)坐標(biāo)，稱之為眼角-檢驗(yàn)坐標(biāo)。在VM-points標(biāo)定方法中上下眼瞼點(diǎn)在同一條垂線上，可以得到其眼瞼-檢驗(yàn)坐標(biāo)。由于采用VM-points標(biāo)定方法時，四個特征點(diǎn)之間只有水平方向上有幾何約束，因此只能計(jì)算出其檢驗(yàn)坐標(biāo)的水平分量。為保證公式(4)的形式不變，假設(shè)VM-points檢驗(yàn)坐標(biāo)的垂直分量與其檢測坐標(biāo)相同。

實(shí)驗(yàn)結(jié)果如圖7所示，從圖7中可以看出，VM-points和PB-points都有較高的檢驗(yàn)正確率，其中在檢驗(yàn)誤差分別為2％和5.5％時已達(dá)到了100％。VM-points的檢驗(yàn)正確率要遠(yuǎn)高于PB-points的檢驗(yàn)正確率，主要是由于VM-points只計(jì)算了水平坐標(biāo)的誤差，沒有考慮垂直坐標(biāo)的影響，而PB-points計(jì)算了兩個坐標(biāo)方向的誤差。從圖7中也可看出，各種標(biāo)定方式中不同特征點(diǎn)的檢驗(yàn)正確率要明顯高于檢測正確率，這證明網(wǎng)絡(luò)很好地學(xué)習(xí)到了特征點(diǎn)之間的幾何關(guān)系。在訓(xùn)練學(xué)習(xí)中，每次的誤差反向傳播使網(wǎng)絡(luò)向真實(shí)值收斂的同時，也是網(wǎng)絡(luò)學(xué)習(xí)這些特征點(diǎn)之間幾何關(guān)系的過程，經(jīng)多次迭代后網(wǎng)絡(luò)不僅學(xué)習(xí)了特征點(diǎn)的灰度及位置信息，也學(xué)習(xí)到了特征點(diǎn)之間的幾何約束關(guān)系。因此，在每次檢測過程中，網(wǎng)絡(luò)尋找每個特征點(diǎn)位置的同時也盡可能地保證了檢測點(diǎn)之間的幾何約束關(guān)系，實(shí)驗(yàn)結(jié)果也證明了增加幾何約束關(guān)系不僅能夠提供明確的標(biāo)定標(biāo)準(zhǔn)，還明顯提高了檢測結(jié)果。分析輸出錯誤樣例可發(fā)現(xiàn)雖然檢測到的點(diǎn)位置相對于標(biāo)定點(diǎn)有較大差異，但檢測點(diǎn)間的相對關(guān)系仍然固定，進(jìn)一步說明了明確的位置關(guān)系對基于卷積網(wǎng)絡(luò)的特征點(diǎn)檢測的重要性。

為驗(yàn)證本發(fā)明實(shí)施例的性能，這里進(jìn)一步提供了本發(fā)明實(shí)施例與Face++和LuxandFaceSDK兩個比較成熟的檢測系統(tǒng)的比較。

圖8給出了本發(fā)明與這兩種檢測系統(tǒng)對三個特征點(diǎn)的平均檢測正確率(考慮到本發(fā)明采用的實(shí)驗(yàn)數(shù)據(jù)對外眼角點(diǎn)的標(biāo)定與上述系統(tǒng)可能不同，這種差異對這兩種方法的外眼角檢測結(jié)果帶來很大的影響，因此將外眼角點(diǎn)B除外)。從圖8中可看出本發(fā)明實(shí)施例在三種標(biāo)定方式中的檢測結(jié)果都優(yōu)于這兩種系統(tǒng)。本發(fā)明實(shí)施例對WL-points的檢測正確率較低為93.4％，但仍遠(yuǎn)高于這兩個系統(tǒng)中最好的結(jié)果81.1％(Face++的WL-points)，這表明本發(fā)明實(shí)施例的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)合理有效。PB-points和VM-points的平均正確率均高于WL-points，進(jìn)一步說明了采用嚴(yán)格的幾何約束可以大幅提高CNN的性能。

綜上所述，本發(fā)明實(shí)施例提供的基于CNN的眼部特征點(diǎn)檢測方法，根據(jù)特征點(diǎn)之間幾何關(guān)系約束對特征點(diǎn)進(jìn)行標(biāo)定，并基于標(biāo)定的特征點(diǎn)進(jìn)行訓(xùn)練學(xué)習(xí)，實(shí)驗(yàn)結(jié)果證明CNN對特征點(diǎn)間的明確幾何約束關(guān)系有較強(qiáng)的學(xué)習(xí)能力，且能顯著提高檢測的正確率。實(shí)驗(yàn)結(jié)果表明明確的幾何約束關(guān)系使上下眼瞼中心點(diǎn)的檢測正確率提高了約5％。

為了便于對本發(fā)明的理解，下面將對本發(fā)明的一些優(yōu)選實(shí)施例做更進(jìn)一步的描述。

第一個優(yōu)選實(shí)施例：

基于梯度下降的優(yōu)化算法(Gradient Descent，GD)常被用于優(yōu)化CNN模型。常用的GD主要有批梯度下降法(Batch Gradient Descent，BGD)、隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)及小批量梯度下降法(Mini-Batch Gradient Descent,MBGD)等。BGD算法每次迭代使用整個數(shù)據(jù)集中的所有樣本計(jì)算梯度下降方向，保證了每次迭代都是全局最優(yōu)解。但當(dāng)數(shù)據(jù)集較大時，其需要大量的計(jì)算成本。SGD算法每次迭代中使用一個樣本對模型參數(shù)調(diào)整，有較快的收斂速度。但是無法保證每次下降的方向是最優(yōu)的，容易陷入局部極小。綜合考慮BGD與SGD算法的優(yōu)缺點(diǎn)，MBGD算法隨機(jī)選取訓(xùn)練樣本集中的一個子集計(jì)算梯度下降方向。相對于BGD減少了計(jì)算成本，與SGD相比保證收斂方向更接近全局最優(yōu)。本優(yōu)選實(shí)施例采用MBGD算法優(yōu)化CNN模型參數(shù)，其中訓(xùn)練子集設(shè)為50個。

第二個優(yōu)選實(shí)施例：

優(yōu)選地，步驟S102具體為：

基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的左眼的特征點(diǎn)和右眼的特征點(diǎn)同時進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；

則在步驟S103之前，還包括：

將左眼圖像擴(kuò)充到右眼圖像數(shù)據(jù)中。

本優(yōu)選實(shí)施例中，由于左右眼有高度的相似對稱性，為提高處理速度，本優(yōu)選實(shí)施例使用一個網(wǎng)絡(luò)同時檢測左右眼的特征點(diǎn)。同時，根據(jù)雙眼的對稱性特點(diǎn)，將左眼圖像擴(kuò)充到右眼圖像數(shù)據(jù)中，增加數(shù)據(jù)量，防止過擬合。

第三個優(yōu)選實(shí)施例：

優(yōu)選地，還包括：

S104，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，根據(jù)為每個特征點(diǎn)配置的局部區(qū)域的尺寸，對標(biāo)定的特征點(diǎn)的坐標(biāo)進(jìn)行局部歸一化。

網(wǎng)絡(luò)的最終輸出采用Sigmoid函數(shù)作為回歸函數(shù)，訓(xùn)練時需要對標(biāo)定點(diǎn)歸一化。一般情況下，將標(biāo)定點(diǎn)的橫縱坐標(biāo)除以輸入圖像的寬和高進(jìn)行歸一化，即整體歸一化(Global Normalization，GN)。然而，大部分特征點(diǎn)只可能出現(xiàn)在圖像某個局部小區(qū)域內(nèi)，使用整幅圖像歸一化，特征點(diǎn)只能映射到[0,1]范圍內(nèi)的某個小區(qū)間，未能充分利用Sigmoid函數(shù)的映射空間。本優(yōu)選實(shí)施例提出根據(jù)先驗(yàn)知識粗略地判斷各個特征點(diǎn)可能出現(xiàn)在圖像中的位置，然后采用局部歸一化(Local Normalization，LN)方法擴(kuò)大特征點(diǎn)在Sigmoid函數(shù)上的映射范圍，拉大相近點(diǎn)在映射空間中的距離，提高映射能力。

具體地，考慮到上下眼瞼中心點(diǎn)、左右眼角點(diǎn)在眼部圖像上的位置，分別為四個特征點(diǎn)定義了一個局部區(qū)域用于歸一化坐標(biāo)。上眼瞼中心點(diǎn)C和下眼瞼中心點(diǎn)D分別位于圖像的上3/5部分和下3/5部分，內(nèi)眼角點(diǎn)A和外眼角點(diǎn)B分別位于圖像左1/2部分和右1/2部分。如果輸入圖像大小為40×20，則內(nèi)眼角點(diǎn)A的坐標(biāo)定義在大小為20×20的右半部分局部圖像中，并且使用20×20局部歸一化坐標(biāo)。歸一化時局部圖像的大小根據(jù)先驗(yàn)知識確定。

如圖9所示，圖9給出了兩種歸一化方法下，四個特征點(diǎn)的平均檢測正確率與檢測誤差之間的關(guān)系，從圖中可以看出，僅檢測誤差為7.5％時，WL-points的GN方法檢測正確率比LN方法高0.15％，其余檢測誤差下，三種標(biāo)定方式中LN方法的檢測正確率都高于GN方法。與GN方法相比，三種標(biāo)定方法的檢測正確率均提高約1％。

為進(jìn)一步對比GN和LN方法的效果，圖10給出了三種標(biāo)定方式下，兩種歸一化方式在檢測誤差為5％時的檢測錯誤率。從圖中可看出LN方法在四個特征點(diǎn)上的錯誤率都低于GN方法，其中WL-points標(biāo)定方式在外眼角點(diǎn)上的檢測錯誤率有了最大幅度的下降，降低了4.1％。實(shí)驗(yàn)結(jié)果表明，相對于GN方法，LN方法將特征點(diǎn)坐標(biāo)映射到Sigmoid函數(shù)輸出空間時，可以拉大相近點(diǎn)在輸出空間之間的距離，較大的輸出空間可以減小映射誤差，使輸出坐標(biāo)對輸入空間內(nèi)特征點(diǎn)位置的變換更敏感，從而使其有更強(qiáng)的映射能力。實(shí)驗(yàn)結(jié)果也證實(shí)了LN方法的檢測錯誤率要低于GN方法。

本優(yōu)選實(shí)施例中，考慮到不同特征點(diǎn)在眼部的位置不同，采用局部區(qū)域歸一化方法，擴(kuò)大映射空間，減小映射誤差，提高檢測精度。相對于GN方法，LN方法使特征點(diǎn)檢測的錯誤率最高下降了4.1％。結(jié)合幾何約束關(guān)系與LN方法，對上下眼瞼中心點(diǎn)的平均檢測正確率提高了7.1％(VM-points)，對眼角點(diǎn)的檢測正確率最高達(dá)到了95.65％(PB-points內(nèi)眼角點(diǎn))，比Face++和LuxandFaceSDK高12％以上，本優(yōu)選實(shí)施例通過采用明確的幾何關(guān)系約束及局部坐標(biāo)歸一化方法顯著提高了網(wǎng)絡(luò)性能。

第四個優(yōu)選實(shí)施例：

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)的數(shù)目為一個。

在本優(yōu)選實(shí)施例中，CNN級聯(lián)結(jié)構(gòu)有較強(qiáng)的魯棒性，在特征點(diǎn)檢測上取得了較好的效果，然而級聯(lián)結(jié)構(gòu)降低了處理速度，難以滿足實(shí)時檢測的需求。本優(yōu)選實(shí)施例采用單個卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，從而大大提升檢測速度，雖然單個卷積神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確率上有所不足，但是結(jié)合本發(fā)明實(shí)施例的特征點(diǎn)標(biāo)定方法，可在不影響檢測準(zhǔn)確率的基礎(chǔ)上大大提升檢測速度(檢測速度可達(dá)1.5毫秒)，從而達(dá)到實(shí)時檢測的效果。

請參閱圖11，本發(fā)明實(shí)施例還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的眼部特征檢測裝置100，包括：

輸入模塊10，用于接收待檢測的眼部圖像。

特征點(diǎn)提取模塊20，用于基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的特征點(diǎn)進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；其中，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本的特征點(diǎn)根據(jù)預(yù)設(shè)的幾何約束關(guān)系進(jìn)行標(biāo)定。

輸出模塊30，用于輸出包含有提取到的所述特征點(diǎn)的眼部圖像。

優(yōu)選地，還包括：

局部歸一化模塊，用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，根據(jù)為每個特征點(diǎn)配置的局部區(qū)域的尺寸，對標(biāo)定出的特征點(diǎn)的坐標(biāo)進(jìn)行局部歸一化。

優(yōu)選地，所述特征點(diǎn)提取模塊20具體用于，基于神經(jīng)網(wǎng)絡(luò)對所述眼部圖像上的左眼的特征點(diǎn)和右眼的特征點(diǎn)同時進(jìn)行估計(jì)，以從所述眼部圖像中提取出所需的特定點(diǎn)；

則所述眼部特征檢測裝置100還包括：

擴(kuò)充模塊，用于將左眼圖像擴(kuò)充到右眼圖像數(shù)據(jù)中。

本發(fā)明提供的基于CNN的眼部特征點(diǎn)檢測裝置，根據(jù)特征點(diǎn)之間幾何關(guān)系約束對特征點(diǎn)進(jìn)行標(biāo)定，并基于標(biāo)定的特征點(diǎn)進(jìn)行訓(xùn)練學(xué)習(xí)，實(shí)驗(yàn)結(jié)果證明CNN對特征點(diǎn)間的明確幾何約束關(guān)系有較強(qiáng)的學(xué)習(xí)能力，且能顯著提高檢測的正確率。

請一并參閱圖12，本發(fā)明實(shí)施例還提供了一種識別系統(tǒng)，包括采集單元200、識別單元300以及上述任一實(shí)施例所述的眼部特征檢測裝置100；其中：

所述采集單元200，用于采集目標(biāo)對象的N幀連續(xù)的面部圖像，并提取每幀面部圖像中的眼部圖像；其中，N為大于2的整數(shù)。

所述眼部特征檢測裝置100，用于提取每幀眼部圖像中的特征點(diǎn)，生成N幀包含有特征點(diǎn)的眼部圖像；

所述識別單元300，用于根據(jù)生成的N幀包含有特征點(diǎn)的眼部圖像，獲得所述目標(biāo)對象在每幀眼部圖像中的眼部狀態(tài)變化，并根據(jù)所述目標(biāo)對象的眼部狀態(tài)變化情況，識別所述目標(biāo)對象的疲勞度。

在本發(fā)明實(shí)施例中，所述眼部狀態(tài)變化可包括眼睛張開度和注視方向。下面以眼睛張開度為例對本發(fā)明實(shí)施例做進(jìn)一步的詳細(xì)說明。

在一個應(yīng)用場景中，例如，若要檢測處于駕駛中的司機(jī)是否疲勞駕駛，則所述采集單元200可拍攝處于駕駛過程中的司機(jī)(即目標(biāo)對象)的N幀連續(xù)的面部圖像，提取每幀面部圖像中的眼部圖像，并將這N幀眼部圖像發(fā)送給所述眼部特征檢測裝置100。所述眼部特征檢測裝置100提取每幀眼部圖像中的特征點(diǎn)(如上所述，上眼瞼中心點(diǎn)C和下眼瞼中心點(diǎn)D)，生成N幀包含有特征點(diǎn)的眼部圖像。所述識別單元300接收這N幀包含有特征點(diǎn)的眼部圖像，并計(jì)算所述目標(biāo)對象在每幀眼部圖像中的眼睛張開度。

其中，為了獲得眼睛張開度，需先獲得這N幀圖像中的CD線段的最大值CD_max，然后將每幀眼部圖像的CD線段的長度除以CD_max，即得到每幀眼部圖像的眼睛張開度S，即S＝CD/CD_max。若S小于預(yù)設(shè)的閾值(如S<0.5)，則認(rèn)為在這幀圖像中，該司機(jī)處于閉眼狀態(tài)。統(tǒng)計(jì)這N幀圖像中處于閉眼狀態(tài)的幀數(shù)，如果幀數(shù)與總幀數(shù)N的比例大于預(yù)設(shè)的比值(如大于0.5)，則認(rèn)為該司機(jī)處于疲勞狀態(tài)下，其可能在疲勞駕駛。

在另一個應(yīng)用場景下，基于本識別系統(tǒng)也可檢測員工是否疲勞工作。同樣的，所述采集單元200可拍攝處于工作中的員工(即目標(biāo)對象)的N幀連續(xù)的面部圖像，提取每幀面部圖像中的眼部圖像，并將這N幀眼部圖像發(fā)送給所述眼部特征檢測裝置100。所述眼部特征檢測裝置100提取每幀眼部圖像中的特征點(diǎn)(如上所述，上眼瞼中心點(diǎn)C和下眼瞼中心點(diǎn)D)，生成N幀包含有特征點(diǎn)的眼部圖像。所述識別單元300接收這N幀包含有特征點(diǎn)的眼部圖像，獲得所述目標(biāo)對象在每幀眼部圖像中的眼睛張開度。

與上述應(yīng)用場景不同的是，本應(yīng)用場景中，CD_max可預(yù)先存儲好，例如，通過數(shù)據(jù)庫存儲每個員工在清醒狀態(tài)下的CD線段的長度作為CD_max。在計(jì)算眼睛張開度時，可從所述數(shù)據(jù)庫中查詢所述員工的CD_max，然后將每幀眼部圖像的CD長度除以CD_max，即得到每幀的眼睛張開度S，即S＝CD/CD_max。若S小于預(yù)設(shè)的閾值(如S<0.5)，則認(rèn)為在當(dāng)前幀該員工處于閉眼狀態(tài)。統(tǒng)計(jì)這N幀中處于閉眼狀態(tài)的幀數(shù)，如果幀數(shù)與總幀數(shù)N的比例大于預(yù)設(shè)的比值(如大于0.5)，則認(rèn)為該員工處于疲勞狀態(tài)下，其可能在疲勞工作。

需要說明的是，在本發(fā)明的其他實(shí)施例中，還可用于識別疲勞閱讀等，本發(fā)明不做具體的限定。

本發(fā)明實(shí)施例提供的識別系統(tǒng)，通過準(zhǔn)確快速的檢測眼部圖像的特征點(diǎn)，進(jìn)而通過特征點(diǎn)識別得到目標(biāo)對象的疲勞度，從而可以及時對處于疲勞狀態(tài)下的目標(biāo)對象進(jìn)行處理，避免過度疲勞可能產(chǎn)生的危害。例如，可避免因疲勞駕駛產(chǎn)生的車禍或因疲勞工作導(dǎo)致的誤操作產(chǎn)生的工傷或誘發(fā)疾病等。

以上所揭露的僅為本發(fā)明一種較佳實(shí)施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。