一種基于標(biāo)準(zhǔn)化眼睛圖像的視線追蹤系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種基于標(biāo)準(zhǔn)化眼睛圖像的視線追蹤系 統(tǒng)及方法。
【背景技術(shù)】
[0002] 視線是用眼睛看東西時(shí)，眼睛和物體之間的假想直線，它反映了人與環(huán)境的交互 情況。視點(diǎn)是視線落點(diǎn)的位置，它在視網(wǎng)膜中央凹（視網(wǎng)膜中視覺(jué)最敏銳的區(qū)域）成像。視 線追蹤是利用眼動(dòng)測(cè)量設(shè)備測(cè)量眼睛的運(yùn)動(dòng)情況估計(jì)視線方向或者視點(diǎn)位置的技術(shù)。視線 追蹤在人機(jī)交互、虛擬現(xiàn)實(shí)、醫(yī)學(xué)診斷、廣告分析和駕駛員安全監(jiān)控等領(lǐng)域有廣泛的應(yīng)用。
[0003] 現(xiàn)有的視線追蹤方法按照是否需要在眼睛及其周邊區(qū)域附著輔助設(shè)備分為侵入 式和非侵入式兩種?；谘劬D像信息的視線追蹤方法是非侵入式的視線追蹤方法，該方 法是通過(guò)外置攝像機(jī)捕捉人眼區(qū)域的圖像，并根據(jù)該圖像信息估計(jì)視線?；谘劬D像信 息的視線追蹤方法不需要在眼睛及周邊區(qū)域附著任何輔助設(shè)備，用戶體驗(yàn)更好，同時(shí)，該方 法對(duì)硬件復(fù)雜度的要求相對(duì)較低，因此被廣泛使用。
[0004] 現(xiàn)有的基于眼睛圖像信息的視線追蹤算法主要是基于特征的方法[1-8]，此外還 有一些其他方法，如：基于外觀的方法[9]?；谔卣鞯囊暰€追蹤算法常用的特征主要包 括：瞳孔輪廓、瞳孔中心、虹膜輪廓、虹膜中心、眼角以及外界光源（一般為紅外光源）在 角膜上的反射點(diǎn)（第一普金野圖像，普爾欽斑）?；谔卣鞯囊暰€估計(jì)算法有角膜反射法 [1-7]和虹膜-鞏膜邊緣法[8]。基于角膜反射點(diǎn)的視線追蹤方法主要有：瞳孔中心與角膜 反射向量法[1-4]、交比不變性方法[5]、基于眼球三維模型的視線估計(jì)方法[6]和雙普金 野法[7]。瞳孔中心與角膜反射向量法[1-3]是采用多項(xiàng)式擬合方法，將瞳孔中心與角膜反 射向量與屏幕中的視點(diǎn)進(jìn)行對(duì)應(yīng)。該方法計(jì)算簡(jiǎn)單，但頭動(dòng)對(duì)視線追蹤效果影響較大，雖然 有一些補(bǔ)償算法[4]，但較好的補(bǔ)償算法往往需要大量的標(biāo)定點(diǎn)。利用交比不變性的視線追 蹤算法[5]是利用射影幾何中交比不變的特點(diǎn)進(jìn)行視線估計(jì)。該方法可以解決頭部上下、 左右移動(dòng)下的視線追蹤不準(zhǔn)的問(wèn)題，但當(dāng)頭部前后運(yùn)動(dòng)時(shí)視線追蹤仍然不夠準(zhǔn)確。而且該 算法需要四個(gè)角膜反射點(diǎn)，硬件系統(tǒng)較為復(fù)雜，同時(shí)，引入四個(gè)角膜反射點(diǎn)也增加了圖像處 理工作的復(fù)雜性?；谘矍蛉S模型的視線估計(jì)方法[6]是對(duì)人眼的物理結(jié)構(gòu)進(jìn)行建模， 根據(jù)模型計(jì)算視線的三維向量從而進(jìn)行視線估計(jì)。該方法需要計(jì)算角膜中心、瞳孔中心的 空間位置并通過(guò)已標(biāo)定的光軸和視軸夾角來(lái)計(jì)算視線，在計(jì)算角膜中心和瞳孔中心時(shí)需要 確定角膜曲率半徑、眼球中心到角膜中心的距離、房水與角膜之間的折射率等參數(shù)，這些參 數(shù)也是通過(guò)標(biāo)定計(jì)算后得到的。因此，標(biāo)定過(guò)程的計(jì)算量非常大，也需要復(fù)雜、精準(zhǔn)的硬件 裝置。雙普金野法[7]是利用光線進(jìn)入眼后，在空氣與角膜交界面、晶狀體和玻璃體交界面 分別形成的兩個(gè)普金野圖像（反射點(diǎn)）之間的位置關(guān)系進(jìn)行視線估計(jì)。由于第二個(gè)普金野 圖像非常微弱，需要專業(yè)的攝像機(jī)才能捕捉到該圖像。因此該方法需要昂貴、復(fù)雜的硬件裝 置。虹膜-鞏膜邊緣法[8]是通過(guò)檢測(cè)虹膜和鞏膜交界的圓在攝像機(jī)拍攝的圖片中呈現(xiàn)的 大小和橢圓形狀，來(lái)估計(jì)視線方向。由于虹膜-鞏膜邊緣的圖像處理對(duì)視線估計(jì)的準(zhǔn)確性 影響很大，而虹膜和鞏膜交界的圓的上半部分和下半部分分別被上眼皮和下眼皮遮擋，因 此圖像中虹膜和鞏膜交界圓的準(zhǔn)確檢測(cè)較為困難?；谕庥^的方法[9]對(duì)眼睛的整體圖片 進(jìn)行處理，通過(guò)訓(xùn)練得到整個(gè)眼睛圖像與視點(diǎn)的對(duì)應(yīng)關(guān)系，進(jìn)而估計(jì)視線方向，這種方法往 往需要非常大的訓(xùn)練樣本，也就是需要大量標(biāo)定點(diǎn)，這給用戶使用帶來(lái)不便。
[0005] 綜上所述，現(xiàn)有的基于眼睛圖像信息的視線追蹤算法的主要問(wèn)題有：（1)頭部移 動(dòng)帶來(lái)的視線追蹤不準(zhǔn)確；（2)需要復(fù)雜的硬件裝置；(3)需要較多的標(biāo)定點(diǎn)。
[0006] [1]. Gale A. A note on the remote oculometer technique forrecording eye movements[J]Vision Research，1982,22(I) :201-202.
[0007] [2] · Hutchinson T，White K，Martin W，Reichert K，F(xiàn)rey L. Human-computer interaction using eye-gaze input[J]. IEEE Transactions on Systems，Man，and Cybernetics，1989,19(6) :1527-1534.
[0008] [3]. Morimoto C，Mimica M. Eye gaze tracking techniques for interactive applications[J]Computer Visionand Image Understanding，2005,98 :4-24.
[0009] [4]. Brolly X，Mulligan J. Implicit calibration of a remote gaze tracker[C]. Proceedings of Conference on Computer Vision and Pattern Recognition Workshop. Washington, DC ：IEEE Computer Society，2004 :134.
[0010] [5]· Yoo D，Kim J，Lee B，Chung M. N on-contact eye gaze tracking system by mapping of corneal reflections[C]. Proceedings of IEEE International Conference on Automatic Face and Gesture Recognition. Washington，DC :IEEE Computer Society， 2002 :94-99.
[0011] [6]. Guestrin E，Eizenman M. General theory of remote gaze estimation using the pupil center and corneal reflections[J]IEEE Transactions on Biomedical Engineering，2006,53(6) :1124-1133.
[0012] [7]. Crane H，Steele C. Generation-V dual-Purkinje-image eyetracker[J] Applied Optics，1985,24(4) :527-537.
[0013] [8]· Wang J，Sung E, Venkateswarlu R. Estimating the eye gaze from one eye[J]. Computer Vision and Image Understanding,2005,98(I) :83-103.
[0014] [9] · Tan K，Kriegman D，Ahuja N. Appearance-based eye gaze estimation[C]. Proceedings of IEEE Workshop on Applications of Computer Vision. Orlando ：IEEE Computer Society, 2002 ： 191-195.

【發(fā)明內(nèi)容】

[0015] 本發(fā)明的目的在于提供一種基于標(biāo)準(zhǔn)化眼睛圖像的視線追蹤系統(tǒng)及方法，從而解 決現(xiàn)有技術(shù)中存在的前述問(wèn)題。
[0016] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：
[0017] -種基于標(biāo)準(zhǔn)化眼睛圖像的視線追蹤系統(tǒng)，包括設(shè)置于欲確定視點(diǎn)位置的目標(biāo)屏 幕周圍朝向使用者眼睛方向能夠在使用者眼角膜上形成k個(gè)不共線角膜反射光斑的k個(gè)光 源，和設(shè)置于所述目標(biāo)屏幕周圍任一點(diǎn)用于捕獲使用者眼睛圖像的攝像機(jī)，以及圖像變換 與分析裝置，所述圖像變換與分析裝置與所述攝像機(jī)連接；
[0018] 其中k是大于或等于3的整數(shù)。
[0019] 優(yōu)選的，所述k等于3,所述攝像機(jī)設(shè)置于所述目標(biāo)屏幕下方。
[0020] 優(yōu)選的，所述光源為紅外光源，所述攝像機(jī)為紅外攝像機(jī)。
[0021] 一種基于標(biāo)準(zhǔn)化眼睛圖像的視線追蹤方法，包括以下步驟：