基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法
【專利摘要】基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，包括以下步驟：1)利用智能相機(jī)對(duì)被檢測(cè)對(duì)象進(jìn)行面部圖像采集，并將采集到的圖像保存在智能相機(jī)中；2)根據(jù)不同的被測(cè)對(duì)象，從多幅獲取的面部圖像中制作各個(gè)眼動(dòng)狀態(tài)模板；3)正式檢測(cè)開(kāi)始，簡(jiǎn)單進(jìn)行圖像預(yù)處理后，從面部圖像中快速定位眼部感興趣區(qū)域；4)然后對(duì)感興趣區(qū)域進(jìn)行特征匹配，采用基于灰度變換和幾何變換的最小二乘匹配法依次匹配各眼動(dòng)狀態(tài)，求出準(zhǔn)確的識(shí)別結(jié)果；以及5)將原圖與識(shí)別結(jié)果關(guān)聯(lián)后輸出至交互觸摸屏，顯示當(dāng)前眼動(dòng)的狀態(tài)。該方法可用于識(shí)別眼動(dòng)的方向和面部?jī)A斜角度，具有較高的實(shí)時(shí)性和可靠性。
【專利說(shuō)明】基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種眼動(dòng)識(shí)別檢測(cè)，特別涉及一種基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法。
【背景技術(shù)】
[0002]視覺(jué)雖為人類五感之一，獲得的信息量卻占到了五感總信息量的80%至90%。這些信息影響著人類的行為和意識(shí)，同時(shí)人類的心理和意識(shí)也實(shí)時(shí)反饋在眼球的狀態(tài)變化中。如眨眼、瞳孔直徑改變、注視點(diǎn)跳動(dòng)(移動(dòng))、眼動(dòng)速度和頻率等等。
[0003]人類的眼動(dòng)結(jié)構(gòu)精密而又靈活，比人類的雙手更為靈動(dòng)和敏捷。因此，通過(guò)對(duì)人眼的識(shí)別和檢測(cè)來(lái)了解人類心理變化，或是通過(guò)人眼特性來(lái)設(shè)計(jì)開(kāi)發(fā)實(shí)時(shí)交互系統(tǒng)和產(chǎn)品設(shè)備具有極大的意義，但是這些的根本就是實(shí)時(shí)眼動(dòng)識(shí)別技術(shù)。
[0004]當(dāng)前眼動(dòng)識(shí)別的方法主要分為接觸式和非接觸式。接觸式的例如電流記錄法和電磁感應(yīng)法，雖然精度較高，但是對(duì)人體有一定傷害且操作復(fù)雜。因此非接觸式的眼動(dòng)識(shí)別方法是目前研究的主流。為了能夠得到理想的眼動(dòng)圖像通常在封閉環(huán)境中使用紅外光源進(jìn)行檢測(cè)，紅外光源作為熱射線會(huì)造成眼球干澀，商業(yè)價(jià)值較低。在國(guó)外的眼動(dòng)識(shí)別系統(tǒng)主要有佩戴型和桌面型兩種，產(chǎn)品已初步商業(yè)化，雖然采集識(shí)別設(shè)備體積小巧，但需要通過(guò)計(jì)算機(jī)來(lái)進(jìn)行眼動(dòng)分析。
[0005]同時(shí)，非接觸式的眼動(dòng)識(shí)別技術(shù)是一種基于機(jī)器視覺(jué)的識(shí)別方法，若是在自然光線下進(jìn)行檢測(cè)，需要考慮對(duì)比度、亮度和魯棒性。當(dāng)光照強(qiáng)度不足時(shí)，圖像的信噪比會(huì)降低，也會(huì)導(dǎo)致圖像的對(duì)比度的不足；若通過(guò)增大光圈來(lái)補(bǔ)充光照，又會(huì)使得景深變小，導(dǎo)致圖像虛化；而過(guò)亮的光照也會(huì)使得圖像過(guò)飽和和失真。另外，檢測(cè)精度與獲取圖像的質(zhì)量密切相關(guān)，高像素的圖像保留更多眼動(dòng)信息，卻給圖像處理造成負(fù)擔(dān)。并且，在眼睛自由轉(zhuǎn)動(dòng)和移動(dòng)的過(guò)程中常伴隨著頭部無(wú)意識(shí)的轉(zhuǎn)動(dòng)、傾斜和遠(yuǎn)近移動(dòng)，從而導(dǎo)致眼部感興趣區(qū)域形變、灰度變化甚至缺失；檢測(cè)時(shí)也可能發(fā)生眼部感興趣區(qū)域被鏡框、頭發(fā)、手等遮擋，以及眨眼的情況。
[0006]因此，綜合考慮商業(yè)價(jià)值、人性化設(shè)計(jì)以及應(yīng)用領(lǐng)域，一種能夠在普通光照環(huán)境下，基于嵌入式機(jī)器視覺(jué)系統(tǒng)的眼動(dòng)識(shí)別方法將是眼動(dòng)識(shí)別的研究重點(diǎn)，如何平衡眼動(dòng)識(shí)別的效率、準(zhǔn)確率和穩(wěn)定性則是該技術(shù)的難點(diǎn)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供一種基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其能夠克服現(xiàn)有技術(shù)中的某個(gè)或某些缺陷。
[0008]根據(jù)本發(fā)明的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，包括眼動(dòng)狀態(tài)匹配、匹配相似度和傾斜角度的識(shí)別，該方法具體步驟為:
[0009]I)利用智能相機(jī)對(duì)被檢測(cè)對(duì)象進(jìn)行面部圖像采集，并將采集到的圖像保存在智能相機(jī)中；[0010]2)根據(jù)不同的被測(cè)對(duì)象，從多幅獲取的面部圖像中制作各個(gè)眼動(dòng)狀態(tài)模板；
[0011]3)正式檢測(cè)開(kāi)始，簡(jiǎn)單進(jìn)行圖像預(yù)處理后，從面部圖像中快速定位眼部感興趣區(qū)域；
[0012]4)然后對(duì)感興趣區(qū)域進(jìn)行特征匹配，采用基于灰度變換和幾何變換的最小二乘匹配法依次匹配各眼動(dòng)狀態(tài)，求出準(zhǔn)確的識(shí)別結(jié)果；以及
[0013]5)將原圖與識(shí)別結(jié)果關(guān)聯(lián)后輸出至交互觸摸屏，顯示當(dāng)前眼動(dòng)的狀態(tài)。
[0014]在本發(fā)明的一個(gè)具體實(shí)施例中，其中步驟I)中所述的智能相機(jī)采用單色數(shù)字面陣CCD傳感器，CCD傳感器設(shè)置在智能相機(jī)的嵌入式視覺(jué)系統(tǒng)中；檢測(cè)前，根據(jù)當(dāng)前檢測(cè)環(huán)境，調(diào)整智能相機(jī)參數(shù)，包括焦距、曝光、光圈、增益。
[0015]在本發(fā)明的又一個(gè)具體實(shí)施例中，其中步驟2)中所述的制作各個(gè)眼動(dòng)狀態(tài)的模板包括單眼的正視、左視以及右視模板。
[0016]在本發(fā)明的再一個(gè)具體實(shí)施例中，其中步驟3)中所述的圖像預(yù)處理中，對(duì)獲取的圖像進(jìn)行均衡和補(bǔ)償，以改善圖像的對(duì)比度。
[0017]在本發(fā)明的又一個(gè)具體實(shí)施例中，其中步驟3)中所述的快速定位眼部區(qū)域，采用抽樣的相關(guān)系數(shù)匹配算法，進(jìn)行快速定位感興趣區(qū)域，通過(guò)誤差范圍內(nèi)坐標(biāo)點(diǎn)的計(jì)算修正匹配的感興趣區(qū)域。
[0018]在本發(fā)明的又一個(gè)具體實(shí)施例中，其中步驟4)中所述的最小二乘匹配法識(shí)別眼動(dòng)信息采用結(jié)合了灰度變換和幾何變換的殘差平方和作為度量參考，依次序與各個(gè)眼動(dòng)狀態(tài)模板進(jìn)行模板匹配，確定準(zhǔn)確的眼動(dòng)狀態(tài)信息。
[0019]本發(fā)明的方法與現(xiàn)有技術(shù)相比，以智能相機(jī)取代工業(yè)計(jì)算機(jī)，集成程度高、結(jié)構(gòu)緊湊適應(yīng)于更多場(chǎng)合；可獨(dú)立完成圖像采集、處理和結(jié)果輸出三個(gè)功能；檢測(cè)過(guò)程中除被測(cè)者無(wú)需他人進(jìn)行維護(hù)，既省人力又保證了檢測(cè)的高效率。識(shí)別效果上，本發(fā)明的方法檢測(cè)的準(zhǔn)確度平均在九成以上，速度每百幀識(shí)別需要約4s，每幀僅需要40ms，受光線等干擾影響小穩(wěn)定性好，適用于實(shí)時(shí)眼動(dòng)識(shí)別檢測(cè)。
【專利附圖】

【附圖說(shuō)明】
[0020]圖1為本發(fā)明基于智能相機(jī)的實(shí)時(shí)眼動(dòng)識(shí)別檢測(cè)方法原理圖；以及
[0021]圖2為本發(fā)明基于智能相機(jī)的實(shí)時(shí)眼動(dòng)識(shí)別檢測(cè)方法流程圖。
【具體實(shí)施方式】
[0022]下面結(jié)合附圖詳細(xì)描述根據(jù)本發(fā)明的基于智能相機(jī)的實(shí)時(shí)眼動(dòng)識(shí)別檢測(cè)方法。
[0023]如圖1示出了根據(jù)本發(fā)明的基于智能相機(jī)的實(shí)時(shí)眼動(dòng)識(shí)別監(jiān)測(cè)方法的原理圖。采用嵌入式智能相機(jī)3，配有單色CXD圖像傳感器4(分辨率640x480，最大可用幀速率114fps，1.6GHz處理器)。交互觸摸屏8基于Windows CE系統(tǒng)，用于控制智能相機(jī)3進(jìn)行識(shí)別。安裝在智能相機(jī)3上的圖像傳感器4獲取待測(cè)圖像，經(jīng)眼動(dòng)識(shí)別模塊對(duì)圖像進(jìn)行預(yù)處理、眼部區(qū)域識(shí)別5快速識(shí)別出眼部感興趣區(qū)域、眼動(dòng)狀態(tài)匹配6識(shí)別計(jì)算當(dāng)前眼動(dòng)信息，并通過(guò)以太網(wǎng)將識(shí)別結(jié)果包括圖像和參數(shù)信息從智能相機(jī)3的網(wǎng)口 7，輸出至交互觸摸屏8進(jìn)行顯示。如果沒(méi)有匹配到合適的眼動(dòng)狀態(tài)，則反饋當(dāng)前原圖和“超出檢測(cè)范圍”的文本信息。檢測(cè)為連續(xù)檢測(cè)，直到用戶停止對(duì)被測(cè)對(duì)象的檢測(cè)為止，電源I為各個(gè)部件提供所需的電壓。[0024]本方法硬件簡(jiǎn)單，即使是在較小的工作空間和較惡劣的工作環(huán)境中也不需要支架等固定，只需要使被測(cè)對(duì)象的面部區(qū)域位于相機(jī)的測(cè)量平面內(nèi)。
[0025]本方法中的應(yīng)用程序是存放在智能相機(jī)3中的。在上位機(jī)2中建立一個(gè)工程，添加設(shè)備智能相機(jī)3與交互觸摸屏8,然后通過(guò)專業(yè)的VBAI (Vision Builder for AutomatedInspection)開(kāi)發(fā)識(shí)別程序，并轉(zhuǎn)換為應(yīng)用程序，添加于工程中，并為其在智能相機(jī)3內(nèi)部存儲(chǔ)空間中生成一個(gè)進(jìn)行遠(yuǎn)程控制的網(wǎng)頁(yè)，配置智能相機(jī)3與交互觸摸屏8的網(wǎng)絡(luò)地址使兩個(gè)設(shè)備處于同一子網(wǎng)，并可脫離上位機(jī)2單獨(dú)運(yùn)行。
[0026]檢測(cè)前，先根據(jù)當(dāng)前使用環(huán)境及條件對(duì)智能相機(jī)3進(jìn)行參數(shù)調(diào)節(jié)，包括焦距、光圈、曝光、增M等。
[0027]參見(jiàn)圖2，本發(fā)明的方法具體實(shí)施步驟如下:
[0028]I)利用單色面陣CCD對(duì)被檢測(cè)對(duì)象進(jìn)行面部圖像采集，并將采集到的圖像保存在智能相機(jī)3中。
[0029]2)在檢測(cè)前預(yù)先，根據(jù)不同的被測(cè)對(duì)象制作眼部區(qū)域的模板，從多幅獲取的面部圖像中制作各眼動(dòng)狀態(tài)模板，考慮人眼具有雙眼旋轉(zhuǎn)運(yùn)動(dòng)協(xié)調(diào)的特性采用單眼模板進(jìn)行被測(cè)對(duì)象的眼動(dòng)識(shí)別。
[0030]3)正式檢測(cè)開(kāi)始，簡(jiǎn)單進(jìn)行圖像預(yù)處理后，從面部圖像中快速定位眼部感興趣區(qū)域。運(yùn)用模板匹配的方法在當(dāng)前幀圖像中檢測(cè)出可能為眼部的區(qū)域，設(shè)置相似度的度量值，考慮到模板和實(shí)際檢測(cè)時(shí)光照條件不完全相同，還可能存在圖像的幾何形變，根據(jù)測(cè)試通常將最小閾值設(shè)定在滿量程的六成左右最佳。在抽樣快速定位感興趣區(qū)域后，通過(guò)誤差范圍計(jì)算修正匹配的感興趣區(qū) 域。
[0031]4)然后采用最小二乘匹配法對(duì)感興趣區(qū)域進(jìn)行特征匹配，先后對(duì)感興趣區(qū)域依次匹配黑眼球特征模板，默認(rèn)常態(tài)下眼睛處于前視狀態(tài)故先匹配前視模板，若不匹配則再嘗試匹配左視和右視模板。在三個(gè)模板的匹配范圍內(nèi)都不符合時(shí)，記錄為“超出檢測(cè)范圍”。最小二乘匹配法識(shí)別眼動(dòng)信息采用結(jié)合了灰度變換和幾何變換的殘差平方和作為度量參考，能夠處理眼動(dòng)狀態(tài)識(shí)別過(guò)程中的光線影響和人為影響。
[0032]5)將原圖與識(shí)別結(jié)果關(guān)聯(lián)后以網(wǎng)頁(yè)交互方式在觸摸屏中顯示當(dāng)前眼動(dòng)狀態(tài)和識(shí)別信息。所述的關(guān)聯(lián)原圖與識(shí)別結(jié)果是指在原圖上建立一圖層，通過(guò)坐標(biāo)對(duì)應(yīng)原圖，以紅框標(biāo)識(shí)出匹配區(qū)域，十字坐標(biāo)標(biāo)識(shí)黑眼球中心及傾斜的角度；在圖的右側(cè)以“PASS”或“ FALSE ”提示是否成功匹配，以“ CENTER”、“ LEFT ”、“ RIGHT ”提示識(shí)別到的狀態(tài)，以列表顯示數(shù)值參數(shù)信息，包括眼睛傾斜角度、與模板的相似度、當(dāng)前運(yùn)行的總時(shí)間。所述的輸出顯示識(shí)別結(jié)果是經(jīng)過(guò)將上述得到的原圖與識(shí)別結(jié)果關(guān)聯(lián)后的圖像通過(guò)網(wǎng)線傳輸至交互觸摸屏進(jìn)行顯示。
[0033]其中步驟4)中所述最小二乘匹配法識(shí)別眼動(dòng)信息的原理為:眼部模板為T(mén)(uT，ντ)，其對(duì)應(yīng)被檢測(cè)人臉圖像的部分圖像為I Oi1, V1)，那么，假定最小二乘匹配法對(duì)兩個(gè)圖像
【權(quán)利要求】
1.一種基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，包括以下步驟: 1)利用智能相機(jī)對(duì)被檢測(cè)對(duì)象進(jìn)行面部圖像采集，并將采集到的圖像保存在智能相機(jī)中； 2)根據(jù)不同的被測(cè)對(duì)象，從多幅獲取的面部圖像中制作各個(gè)眼動(dòng)狀態(tài)模板； 3)正式檢測(cè)開(kāi)始，簡(jiǎn)單進(jìn)行圖像預(yù)處理后，從面部圖像中快速定位眼部感興趣區(qū)域； 4)然后對(duì)感興趣區(qū)域進(jìn)行特征匹配，采用基于灰度變換和幾何變換的最小二乘匹配法依次匹配各眼動(dòng)狀態(tài)，求出準(zhǔn)確的識(shí)別結(jié)果；以及 5)將原圖與識(shí)別結(jié)果關(guān)聯(lián)后輸出至交互觸摸屏，顯示當(dāng)前眼動(dòng)的狀態(tài)。
2.根據(jù)權(quán)利要求1所述的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其中步驟I)中所述的智能相機(jī)采用單色數(shù)字面陣CCD傳感器，CCD傳感器設(shè)置在智能相機(jī)的嵌入式視覺(jué)系統(tǒng)中；檢測(cè)前，根據(jù)當(dāng)前檢測(cè)環(huán)境，調(diào)整智能相機(jī)參數(shù)，包括焦距、曝光、光圈、增益。
3.根據(jù)權(quán)利要求1所述的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其中步驟2)中所述的制作各個(gè)眼動(dòng)狀態(tài)的模板包括單眼的正視、左視以及右視模板。
4.根據(jù)權(quán)利要求1所述的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其中步驟3)中所述的圖像預(yù)處理中，對(duì)獲取的圖像進(jìn)行均衡和補(bǔ)償，以改善圖像的對(duì)比度。
5.根據(jù)權(quán)利要求1所述的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其中步驟3)中所述的快速定位眼部區(qū)域，采用抽樣的相關(guān)系數(shù)匹配算法，進(jìn)行快速定位感興趣區(qū)域，通過(guò)誤差范圍內(nèi)坐標(biāo)點(diǎn)的計(jì)算修正匹配的感興趣區(qū)域。
6.根據(jù)權(quán)利要求1所述的基于智能相機(jī)的非接觸式實(shí)時(shí)眼動(dòng)識(shí)別方法，其中步驟4)中所述的最小二乘匹配法識(shí)別眼動(dòng)信息采用結(jié)合了灰度變換和幾何變換的殘差平方和作為度量參考，依次序與各個(gè)眼動(dòng)狀態(tài)模板進(jìn)行模板匹配，確定準(zhǔn)確的眼動(dòng)狀態(tài)信息。
【文檔編號(hào)】G06K9/00GK103870814SQ201410101123
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2014年3月18日 優(yōu)先權(quán)日:2014年3月18日
【發(fā)明者】倪怡雯, 穆平安, 戴曙光, 施曄卿 申請(qǐng)人:上海理工大學(xué)