專利名稱：視線追蹤系統(tǒng)中基于瞳孔-角膜反射的視線估計(jì)方法
技術(shù)領(lǐng)域：
視線追蹤系統(tǒng)中的基于瞳孔-角膜反射(PCCR)的視線估計(jì)方法，屬于人機(jī)交互領(lǐng) 域。
背景技術(shù)：
視線追蹤技術(shù)是利用機(jī)械、電子、光學(xué)等各種檢測(cè)手段獲取受試者當(dāng)前“注視方 向”的技術(shù)，按照系統(tǒng)構(gòu)成和采用的檢測(cè)方法可以粗略劃分為侵入式和非侵入式兩種。在人 機(jī)交互和疾病診斷兩個(gè)領(lǐng)域有著廣泛的應(yīng)用，如助殘，虛擬現(xiàn)實(shí)，認(rèn)知障礙診斷，車輛輔助 駕駛，人因分析等。用于診斷的視線追蹤系統(tǒng)可以采用侵入式以達(dá)到更高的精度。用于交 互的視線追蹤系統(tǒng)除了對(duì)精度，魯棒性，實(shí)時(shí)性的要求以外，需要最大程度的減少或消除對(duì) 使用者的干擾。隨著數(shù)字化技術(shù)、計(jì)算機(jī)視覺(jué)、人工智能技術(shù)的迅速發(fā)展，基于數(shù)字視頻分 析(VideoOculographicJOG)的非侵入式視線追蹤技術(shù)成為當(dāng)前熱點(diǎn)研究方向。視線追蹤技術(shù)利用眼球轉(zhuǎn)動(dòng)時(shí)相對(duì)位置不變的某些眼部結(jié)構(gòu)和特征作為參照，在 位置變化特征和這些不變特征之間提取視線變化參數(shù)，然后通過(guò)幾何模型或映射模型獲取 視線方向。因此，基于VOG的視線追蹤技術(shù)分為視線特征參數(shù)提取和視線估計(jì)模型建立兩 個(gè)組成部分。隨著系統(tǒng)硬件和視線估計(jì)模型不同，基于VOG的視線追蹤方法可分為如下幾 類(a)瞳孔-角膜反射法采用紅外光源產(chǎn)生角膜反射，通過(guò)計(jì)算瞳孔中心與角膜反 射之間的向量來(lái)估計(jì)視線方向。視線估計(jì)模型可以采用映射模型(通常為非線性多項(xiàng)式模 型)，也可以采用幾何模型。(b)角膜反射矩陣法多紅外光源在角膜上產(chǎn)生多個(gè)角膜反射形成角膜反射矩 陣。通過(guò)計(jì)算角膜反射與瞳孔中心的位置特征估計(jì)視線方向，視線估計(jì)模型使用投影平面 不變的交比值。(c)橢圓法線方向法通過(guò)記錄高分辨率眼睛圖像，計(jì)算虹膜邊界圈的法線方向 估計(jì)視線方向。在可見(jiàn)光下追蹤高分辨率的眼睛圖像并通過(guò)基本的投影幾何關(guān)系計(jì)算橢圓 虹膜圈的法線方向并視其為視線方向。VOG系統(tǒng)普遍使用瞳孔-角膜反射方法，如

圖1所示。基于瞳孔角膜反射的視線追 蹤系統(tǒng)，其精確性與穩(wěn)定性可以通過(guò)設(shè)置與攝像機(jī)鏡頭同軸的近紅外(IR)光源進(jìn)一步提 高，其產(chǎn)生的“亮瞳”現(xiàn)象如圖2所示。由于采用亮暗瞳差分方案，瞳孔特征相對(duì)突出，便于 在整幅臉部圖像中快速捕捉眼睛和在眼部圖像中精細(xì)準(zhǔn)確的分割瞳孔。亮暗瞳差分方案一 般過(guò)程如下控制光源交替亮暗，產(chǎn)生亮瞳和暗瞳隔幀交替出現(xiàn)的視頻序列。利用相鄰亮瞳 和暗瞳圖像做差分消除背景的影響，在閾值化后的差分圖像中檢測(cè)瞳孔。在此基礎(chǔ)上，為了 提高檢測(cè)的穩(wěn)定性，通過(guò)動(dòng)態(tài)設(shè)置閾值等方法，對(duì)亮暗瞳差分方案做出了改進(jìn)，以排除頭部 隨機(jī)運(yùn)動(dòng)產(chǎn)生的干擾區(qū)域。在初始幀中對(duì)瞳孔進(jìn)行定位以后，需要在接下來(lái)的視頻序列中 對(duì)瞳孔進(jìn)行跟蹤?？柭鼮V波，均值漂移，組合卡爾曼濾波與均值漂移，相繼被用于瞳孔跟
蹤ο
大部分基于瞳孔-角膜反射技術(shù)的視線估計(jì)可分為兩類基于二維映射模型的視 線估計(jì)方法和直接的三維視線估計(jì)方法。對(duì)于直接的三維視線估計(jì)方法，首先要估計(jì)三維的視線方向，然后通過(guò)視線方向 和屏幕的交點(diǎn)即可得到盯視點(diǎn)。用以三維視線方向的估計(jì)方法，使用一個(gè)單校準(zhǔn)攝像機(jī)和 至少兩個(gè)光源。首先，使用至少三個(gè)光源測(cè)量每個(gè)使用者的眼球角膜半徑。一系列高階多 項(xiàng)式方程用來(lái)計(jì)算角膜的半徑和中心，但是它們的解不是唯一的。因此，如何從這些解中找 到正確的答案仍然是個(gè)問(wèn)題。此外，還沒(méi)有用這種技術(shù)建立起相應(yīng)的實(shí)用系統(tǒng)。三維視線估計(jì)方法有以下幾個(gè)缺點(diǎn)(a)在現(xiàn)存的三維視線估計(jì)方法中，要么需 要關(guān)于用戶眼球參數(shù)的獨(dú)立信息，要么需要至少兩攝像機(jī)和兩個(gè)光源的復(fù)雜硬件配置。否 則就不能解決頭動(dòng)問(wèn)題。但是使用者眼球的獨(dú)立信息，如角膜半徑和瞳孔與角膜中心的距 離，是非常小的(一般小于10mm)。因此，在不借助其它儀器的情況下，準(zhǔn)確的間接估計(jì)眼球 獨(dú)立參數(shù)是很難實(shí)現(xiàn)的。(b)即使采用一個(gè)攝像機(jī)和兩個(gè)光源配以使用者眼睛獨(dú)立參數(shù)的 方案，在系統(tǒng)標(biāo)定過(guò)程中也要使用至少兩個(gè)攝像機(jī)。(c)因?yàn)樾枰烙?jì)角膜球面中心的空間 位置，而角膜球面中心不可見(jiàn)，需要至少兩個(gè)光源的像去估計(jì)角膜球面中心的空間位置，所 以至少需要兩個(gè)光源。(d)需要進(jìn)行相機(jī)標(biāo)定，光源位置標(biāo)定和屏幕位置標(biāo)定，并且三維視 線估計(jì)對(duì)以上位置非常敏感，相機(jī)發(fā)生變化不僅要對(duì)自身重新進(jìn)行標(biāo)定，而且要對(duì)光源和 屏幕重新進(jìn)行標(biāo)定，光源和屏幕發(fā)生變化要對(duì)自身重新進(jìn)行標(biāo)定?；诙S映射模型的視線估計(jì)方法，通過(guò)一個(gè)經(jīng)過(guò)校準(zhǔn)的視線映射函數(shù)來(lái)估計(jì)視 線方向，映射函數(shù)的輸入是從眼睛圖像提取的一系列二維眼動(dòng)特征，輸出是視線方向或注 視點(diǎn)。二維映射模型不需要估計(jì)三維的視線方向，所以不需要使用立體視覺(jué)系統(tǒng)，不需要進(jìn) 行相機(jī)的標(biāo)定，不需要進(jìn)行光源和屏幕三維位置的標(biāo)定，為低硬件配置條件下的視線估計(jì) 提供了有效的解決方案。提取的二維眼動(dòng)特征隨視線而變化，使它們之間的關(guān)系可以由一個(gè)視線映射函數(shù) 來(lái)表示。為了得到視線映射函數(shù)，需要對(duì)每個(gè)使用者進(jìn)行在線校準(zhǔn)。但是，二維眼動(dòng)特征隨 著頭部位置的變化而顯著變化，因此，校準(zhǔn)的視線映射函數(shù)對(duì)頭部位置非常的敏感。因此， 為了得到準(zhǔn)確的注視點(diǎn)，使用者需要保持頭部靜止。如果使用者保持其頭部固定，或通過(guò) 支架限制其頭部活動(dòng)，眼睛注視點(diǎn)跟蹤的結(jié)果可以達(dá)到非常高的精度。平均誤差可以小于 1° (對(duì)應(yīng)在計(jì)算機(jī)屏幕上少于10毫米)。但是如果頭部離開(kāi)使用者校準(zhǔn)時(shí)的位置，視線跟 蹤系統(tǒng)的準(zhǔn)確性將顯著下降。二維視線估計(jì)方法有以下幾個(gè)缺點(diǎn)(a) 二維視線估計(jì)依賴于標(biāo)定位置，視線估 計(jì)的精度隨著使用者頭部遠(yuǎn)離標(biāo)定位置而迅速下降，所以使用者需要保持頭部靜止。(b)需 要依靠標(biāo)定確定眼睛特征參數(shù)與視線的映射函數(shù)，所以標(biāo)定點(diǎn)數(shù)較多?？偫▉?lái)說(shuō)，理想的視線估計(jì)方法需要滿足以下幾點(diǎn)要求(a)準(zhǔn)確的，例如，精確 到分；(b)可靠的，結(jié)果可重復(fù)；(c)魯棒的，可以在各種條件下正常工作，例如室內(nèi)/室外， 帶眼鏡，帶隱形眼鏡；(d)非接觸式的，對(duì)用戶無(wú)害，舒適的；(e)允許自由的頭部運(yùn)動(dòng)；(f) 盡可能少的初始校準(zhǔn)；(g)實(shí)時(shí)的；(h)硬件配置簡(jiǎn)單低廉。而現(xiàn)有的視線估計(jì)方法都不能 完全滿足上述要求。直接的三維視線估計(jì)方法都存在兩個(gè)共同的缺點(diǎn)第一，至少需要兩攝 像機(jī)(已標(biāo)定)和兩個(gè)光源的復(fù)雜硬件配置；第二，繁雜的系統(tǒng)標(biāo)定過(guò)程?，F(xiàn)有的基于二維 映射模型的估計(jì)方法都存在兩個(gè)共同的缺點(diǎn)第一，用戶使用前都需要進(jìn)行多點(diǎn)個(gè)體標(biāo)定；第二，用戶需要保持頭部靜止。

發(fā)明內(nèi)容
理想的視線估計(jì)方法需要滿足以下幾點(diǎn)要求(a)準(zhǔn)確的，例如，精確到分；(b)可 靠的，結(jié)果可重復(fù)；(c)魯棒的，可以在各種條件下正常工作，例如室內(nèi)/室外，帶眼鏡，帶隱 形眼鏡；(d)非接觸式的，對(duì)用戶無(wú)害，舒適的；(e)允許自由的頭部運(yùn)動(dòng)；(f)盡可能少的 初始校準(zhǔn)；(g)實(shí)時(shí)的；(h)硬件配置簡(jiǎn)單低廉。為滿足上述要求，并針對(duì)現(xiàn)有視線估計(jì)方法的不足，本發(fā)明提出一種可適應(yīng)自然 頭動(dòng)的視線估計(jì)方法(GEMHSS0)。在單相機(jī)單光源條件下實(shí)現(xiàn)了頭動(dòng)對(duì)視線參數(shù)影響的解 析補(bǔ)償，使精確視線估計(jì)的最小硬件要求降低到單相機(jī)(未標(biāo)定)單光源，既不需要繁雜的 系統(tǒng)標(biāo)定，又實(shí)現(xiàn)了自然頭動(dòng)視線估計(jì)，并且簡(jiǎn)化用戶標(biāo)定為單點(diǎn)標(biāo)定。本發(fā)明的具體步驟包括第一步，多項(xiàng)式模型，完整的視線映射函數(shù)((;x，Gy)= F(Ax, Δγ)是一個(gè)復(fù)雜的非線性函數(shù)，本步驟討論的是使用者和頭部位置固定情況下的視 線映射函數(shù)((ix，Gy) =f(AX，Ay)。第二步，個(gè)體差異補(bǔ)償，為了補(bǔ)償個(gè)體差異對(duì)視線估計(jì) 的影響，提出一種新的視線特征向量個(gè)體差異補(bǔ)償方法。第三步，頭部位置補(bǔ)償，為了解決 使用者頭部位置改變對(duì)視線估計(jì)精度的影響，本發(fā)明通過(guò)分析頭動(dòng)后眼部特征和頭部位置 變化的關(guān)系，提出了頭部位置補(bǔ)償方法。第四步，通過(guò)使用者和頭部位置固定情況下得到新 的視線映射函數(shù)((ix，Gy) = f(Ax"，Ay")，本發(fā)明的整個(gè)方法流程如圖3所示。上述步驟中，使用者和頭部位置固定情況下的視線映射函數(shù)(Gx，Gy) = f(Ax, Δ y),其中 Gx = B^a2 Δ x+a3 Δ y+a4 Δ χ Δ y，Gy = Vb2 Δ y+b3 Δ x+b4 Ay2, (Αχ, Ay)為瞳 孔中心到角膜反射的向量，為了覆蓋屏幕落點(diǎn)的各個(gè)區(qū)域，本發(fā)明通過(guò)9點(diǎn)標(biāo)定，即在進(jìn) 行視線估計(jì)的時(shí)候，使用者依次盯著屏幕的9個(gè)點(diǎn)，當(dāng)使用者盯著其中一點(diǎn)時(shí)，由圖像處 理方法計(jì)算出(<\,Gj，其中(η = 1，2，···，9)。用 Gln =O^tJ2Axij+ α3Δ_ν + α4Δχ Δ_ν ， Gyn = +、Δχ +、Δ} 2對(duì) 8 個(gè)未知數(shù) a1; a2，a3，a4，b1 b2，b3，b4 進(jìn)行多項(xiàng)式回歸。上述步驟中，本發(fā)明提出一種新的視線特征向量個(gè)體差異補(bǔ)償方法。通過(guò)單點(diǎn)標(biāo) 定確定使用者的角膜半徑比例系數(shù)k和視線偏角λ，補(bǔ)償方法如下(ΔΧ' , Ay')= (Δχ, Δγ) Xk(cosA+isinA), (Δχ'，Δγ')為補(bǔ)償以后的瞳孔中心到普爾欽斑向量。
補(bǔ)償以后的視線特征向量L'
權(quán)利要求
1.視線追蹤系統(tǒng)中基于瞳孔-角膜反射的視線估計(jì)方法，其特征在于步驟一多項(xiàng)式模型初始化，使用者和頭部位置固定情況下的視線映射函數(shù)
2.如權(quán)利要求1所述的估計(jì)方法，其特征在于使用者和頭部位置固定情況下 的視線映射函數(shù)(Gx, Gy) = f(Ax，Ay)，其中 Gx = a1+a2Ax+a3Ay+a4AxAy, Gy = b1+b2Ay+b3Ax+b4Ay2, (Δχ, Δ y)為瞳孔中心到角膜反射的向量，為了覆蓋屏幕落點(diǎn)的 各個(gè)區(qū)域，本發(fā)明通過(guò)9點(diǎn)標(biāo)定，在進(jìn)行視線估計(jì)的時(shí)候，使用者依次盯著屏幕的9個(gè)點(diǎn)，當(dāng)使用者盯著其中一點(diǎn)時(shí)，由圖像處理方法計(jì)算出(<^,\)，其中(n= 1,2, ...，9)；用
3.如權(quán)利要求1所述的估計(jì)方法，其特征在于所述的個(gè)體差異補(bǔ)償是通過(guò)單 點(diǎn)標(biāo)定確定使用者的角膜半徑比例系數(shù)k和視線偏角λ，(Δχ' , Ay' ) = (Δχ, Δ y) Xk (cos λ +isin λ), (Δχ ‘，Δ y ')為補(bǔ)償以后的瞳孔中心到普爾欽斑向 量，(Δχ, Ay)為瞳孔中心到角膜反射的向量，補(bǔ)償以后的視線特征向量L',為
4.如權(quán)利要求1所述的估計(jì)方法，其特征在于所述的頭部位置補(bǔ)償是當(dāng)用戶在兩個(gè) 位置盯視同一屏幕點(diǎn)S時(shí)，根據(jù)三角形OSO1, OSO2的幾何比例關(guān)系及成像原理得到
全文摘要
本發(fā)明提出一種視線追蹤系統(tǒng)中基于瞳孔-角膜反射的視線估計(jì)方法，屬于人機(jī)交互領(lǐng)域。針對(duì)現(xiàn)有PCCR存在的主要問(wèn)題限制使用者頭部運(yùn)動(dòng)和個(gè)體標(biāo)定問(wèn)題，提出了一種單相機(jī)單光源條件下頭部位置的補(bǔ)償方法，實(shí)現(xiàn)了頭部位置變化對(duì)瞳孔角膜向量影響的解析補(bǔ)償，并建立一種個(gè)體差異的轉(zhuǎn)化模型，進(jìn)而簡(jiǎn)化標(biāo)定過(guò)程為單點(diǎn)標(biāo)定。以此為基礎(chǔ)形成一種新的視線估計(jì)方法，本方法使精確視線估計(jì)的最小硬件要求降低到單相機(jī)(未標(biāo)定)單光源，既不需要繁雜的系統(tǒng)標(biāo)定，又實(shí)現(xiàn)了自然頭動(dòng)視線估計(jì)，并且簡(jiǎn)化用戶標(biāo)定為單點(diǎn)標(biāo)定。該方法的各個(gè)環(huán)節(jié)都滿足實(shí)時(shí)性要求，為面向人機(jī)交互的視線追蹤系統(tǒng)提供了有效的解決方案。
文檔編號(hào)A61B3/113GK102125422SQ201010033780
公開(kāi)日2011年7月20日 申請(qǐng)日期2010年1月12日 優(yōu)先權(quán)日2010年1月12日
發(fā)明者常寧, 張瓊, 張闖, 張鵬翼, 王志良, 遲健男 申請(qǐng)人:北京科技大學(xué)