專利名稱：眼睛跟蹤器設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及確定眼睛的— 見線方向。
背景技術(shù)：
可使用人的視線方向來選擇計算機(jī)屏幕上顯示的選項。因而，可 使用提供有關(guān)視線方向的信息的眼睛跟蹤器設(shè)備，來作為例如替代計 算機(jī)鼠標(biāo)的定點和選擇設(shè)備。當(dāng)光刺射到眼睛上時，在晶狀體、角膜和視網(wǎng)膜的邊界上發(fā)生若干反射。這些反射提供了稱為浦肯野像(Purkinje images)的反射斑 點。來自角膜外表面的反射提供了也被稱為反光點(glint)的第一浦 肯野像?？苫谙鄬τ诘谝黄挚弦跋竦奈恢玫耐椎奈恢脕泶_定眼睛 的朝向。美國專利4836670公開了一種眼睛移動檢測器，其利用共軸地安 裝在紅外敏感的照相機(jī)的透鏡前面的紅外發(fā)光二極管，用于獲取眼睛 的圖像。反射光引起來自角膜表面的反光點。分析眼睛的圖像來確定 瞳孔中心位置和反光點相對于彼此的位置，以及使用此信息來確定視 線方向。發(fā)明內(nèi)容本發(fā)明的目的在于提供用于確定視線方向的方法。本發(fā)明的目的 也在于提供用于確定視線方向的眼睛跟蹤器設(shè)備。本發(fā)明的進(jìn)一步目 的是提供包括眼睛跟蹤器設(shè)備的便攜設(shè)備。本發(fā)明的目的也在于提供 實現(xiàn)所述方法的計算機(jī)程序產(chǎn)品。根據(jù)本發(fā)明的第一方面，具有用于檢測眼睛的視線方向的設(shè)備， 所述設(shè)備包括至少-成像單元，用來獲取所述眼睛的圖像，-至少一個照明單元，用來提供第一基本上校準(zhǔn)的光束以及第二 基本上校準(zhǔn)的光束，所述校準(zhǔn)的光束具有相對于所述設(shè)備的不同的方 向，這樣，當(dāng)從眼睛表面反射光時，所述第一校準(zhǔn)的光束提供了第一 反射斑點，以及當(dāng)從眼睛表面反射光時，所述第二校準(zhǔn)的光束提供了 第二反射斑點，所述反射斑點出現(xiàn)在所述圖像中，以及-數(shù)據(jù)處理單元，用來基于所述圖像中所述第一反射斑點的位置， 基于所述圖像中所述第二反射斑點的位置，基于所述圖像中眼睛的瞳 孔和/或虹膜的位置，以及基于所述校準(zhǔn)的光束的方向，確定眼睛相對 于所述設(shè)備的視線方向。根據(jù)本發(fā)明的第二方面，具有用于檢測眼睛的視線方向的方法，所述方法包4舌至少-使第一基本上校準(zhǔn)的光束瞄準(zhǔn)眼睛，以便當(dāng)從眼睛表面反射光 時，提供第一反射斑點，-使第二基本上校準(zhǔn)的光束瞄準(zhǔn)眼睛，以便當(dāng)從眼睛表面反射光 時，提供第二反射斑點，所述第二校準(zhǔn)的光束具有不同于所述第一校 準(zhǔn)的光束的方向的方向，-通過成像單元獲取眼睛的圖像，-基于所述圖像中所述第一反射斑點的位置，基于所述圖像中所 述第二反射斑點的位置，基于所述圖像中眼睛的瞳孔和/或虹膜的位 置，以及基于所述校準(zhǔn)的光束的方向，確定眼睛相對于所述成像單元 的牙見線方向。根據(jù)本發(fā)明的第三方面，具有包括用于檢測眼睛的視線方向的 眼睛跟蹤設(shè)備的便攜設(shè)備，所述跟蹤設(shè)備包括至少 -成像單元，用來獲取所述眼睛的圖像，-至少一個照明單元，用來提供第一基本上校準(zhǔn)的光束以及第二 基本上校準(zhǔn)的光束，所述校準(zhǔn)的光束具有相對于所述設(shè)備的不同的方 向，這樣，當(dāng)從眼睛表面反射光時，所述第一校準(zhǔn)的光束提供了第一 反射斑點，以及當(dāng)從眼睛表面反射光時，所述第二校準(zhǔn)的光束提供了第二反射斑點，所述反射斑點出現(xiàn)在所述圖像中，以及-數(shù)據(jù)處理單元，用來基于所述圖像中所述第一反射斑點的位置，基于所述圖像中所述第二反射斑點的位置，基于所述圖像中眼睛的瞳孔和/或虹膜的位置，以及基于所述校準(zhǔn)的光束的方向，確定眼睛相對于所述跟蹤設(shè)備的纟見線方向。根據(jù)本發(fā)明的第四方面，具有基于由系統(tǒng)提供的數(shù)據(jù)用來確定眼睛的視線方向的計算機(jī)程序產(chǎn)品，所述系統(tǒng)包括-成像單元，用來獲取所述眼睛的圖像，以及-照明裝置，用來提供第一基本上校準(zhǔn)的光束以及第二基本上校 準(zhǔn)的光束，所述校準(zhǔn)的光束具有相對于所述成像單元的不同的方向， 這樣，當(dāng)從眼睛表面反射光時，所述第一校準(zhǔn)的光束提供了第一反射 斑點，以及當(dāng)從眼睛表面反射光時，所述第二校準(zhǔn)的光束提供了第二 反射斑點，所述反射斑點出現(xiàn)在所述圖像中，所述計算機(jī)程序產(chǎn)品包括存儲在可讀介質(zhì)中的計算機(jī)程序代碼 段，當(dāng)由處理器執(zhí)行時，其用來基于所述圖像中所述第一反射斑點的 位置，基于所述圖像中所述第二反射斑點的位置，基于所述圖像中的 眼睛的瞳孔和/或虹膜的位置，以及基于所述校準(zhǔn)的光束的方向，確定 所述眼睛相對于所述成l象單元的一見線方向。對碎見線方向的確定充分獨立于眼睛和跟蹤設(shè)備之間的距離。所述 確定也充分獨立于眼睛的橫向移動和眼睛的大小。因而，眼睛可在較 大區(qū)域內(nèi)移動，即，跟蹤器設(shè)備的位置無需相對于觀察者的頭而固定。通過下面給出的描述和示例，以及也通過所附的權(quán)利要求，本發(fā) 明的實施方式及其益處對本領(lǐng)域技術(shù)人員將變得顯然。


在下面的示例中，將通過參考附圖更詳細(xì)地描述本發(fā)明的實施方 式，其中圖1示意性地示出了相對于參考坐標(biāo)系統(tǒng)的視線方向， 圖2示意性地示出了用于確定視線方向的眼睛跟蹤設(shè)備，圖3示意性地示出了光線通過成像光學(xué)系統(tǒng)的傳播， 圖4示意性地示出了來自角膜表面的光線反射， 圖5a示意性地示出了眼睛的圖像，所述圖像包括兩個反射斑點， 圖5b示意性地示出了反射點和瞳孔中心的角位置， 圖6是示出了從角膜表面朝向成像單元的光線反射的示意圖， 圖7是示出了關(guān)于確定視線方向的三角關(guān)系的示意圖， 圖8是示出了在一般的三維情況下，關(guān)于確定視線方向的矢量的 示意圖，圖9示意性地示出了包括兩個基于校準(zhǔn)透鏡的照明單元的眼睛跟 蹤設(shè)備，圖10示意性地示出了包括一個基于校準(zhǔn)透鏡的照明單元的眼睛 跟蹤設(shè)備，圖11示意性地示出了包括衍射擴(kuò)束器和IR發(fā)射器的照明單元， 圖12示意性地示出了包括衍射擴(kuò)束器和兩個IR發(fā)射器的照明單元，圖13示意性地示出了包括衍射擴(kuò)束器的虛擬顯示單元， 圖14是包括衍射擴(kuò)束器的虛擬顯示單元的示意性三維視圖， 圖15示意性地示出了包括虛擬顯示器的眼睛跟蹤設(shè)備， 圖16是包括虛擬顯示器的眼睛跟蹤設(shè)備的示意性三維視圖， 圖17示意性地示出了通過出口光闌(exit aperture)查看的虛像， 圖18示意性地示出了包括另外的IR發(fā)射器的虛擬顯示單元， 圖19通過舉例的方式示出了 IR發(fā)射器相對于微顯示器的位置， 圖20示意性地示出了包括另外的IR發(fā)射器和半透明反射鏡的虛 擬顯示單元，圖21示意性地示出了光學(xué)引擎和照明單元對于衍射擴(kuò)束器的耦合，圖22示意性地示出了兩個堆疊的衍射擴(kuò)束器， 一個顯示虛像， 以及另一個提供IR射束，圖23示意性地示出了適合于通過衍射擴(kuò)束器監(jiān)視眼睛的成像單元，圖24示意性地示出了包括虛擬顯示器、衍射擴(kuò)束器和半透明反 射鏡的眼睛跟蹤設(shè)備，圖25示意性地示出了包括虛擬顯示器和半透明反射鏡的眼睛跟 蹤設(shè)備，圖26示意性地示出了包括半透明反射鏡的眼睛跟蹤設(shè)備，從所 述半透明反射鏡查看遠(yuǎn)端顯示器，圖27示意性地示出了包括半透明反射鏡的眼睛跟蹤設(shè)備，從所 述半透明顯示器查看實際物體，圖28示意性地示出了包括眼睛跟蹤設(shè)備的便攜設(shè)備，以及圖29是被用作桌面設(shè)備的眼睛跟蹤設(shè)備的示意性的三維視圖。
具體實施方式
參看圖1，可通過相對于參考坐標(biāo)系統(tǒng)方向SZ的水平視角a3和 垂直視角|33來定義眼睛100的視線方向GZD。方向SY定義了參考 坐標(biāo)系統(tǒng)的垂直方向，以及方向S X定義了參考坐標(biāo)系統(tǒng)的水平方向。眼睛100的實際形狀略微的非球形，但角膜的形狀是接近于球形 表面。這里，眼睛100的中心O代表最佳擬合球體的中心，所述球體 與角膜表面相切合。這里，眼睛100的半徑R代表所述最佳擬合球體 的半徑。由通過眼睛100的中心O和瞳孔120的最佳擬合中心的線來定義 視線方向GZD。瞳孔120被虹膜IIO所環(huán)繞。也可以部分地或完全地 基于虹膜110的位置來確定對瞳孔的最佳擬合中心的確定。參考線REF平行于參考坐標(biāo)系統(tǒng)的方向SZ。眼睛100的位置可 以在方向SX、 SY和/或SZ上移動。參考線REF—般不通過眼睛100 的中心0。物體1002、 1003位于離眼睛100的相當(dāng)大的距離或無窮遠(yuǎn)的距 離處。物體1002、 1003可以是物體(例如，身體)，在遠(yuǎn)端顯示器 屏幕上顯示的圖像，或由虛擬顯示器顯示的虛像。假設(shè)物體1002和1003相對于參考線REF上的點C的角坐標(biāo)是 已知的，以及當(dāng)與點C和眼睛中心O之間的距離相比較時，眼睛100 和物體1002、 1003之間的距離是非常大的。距離的比值可以是例如 大于10或等于10。因而，物體1002、 1003可以與視線方向相關(guān)聯(lián)。 因此，通過獲知一見角a3和P3,可以確定眼睛100正在注一見哪個物體， 即，眼睛100正在注視星形1002還是六邊形1003。參看圖2，由眼睛跟蹤器設(shè)備700確定視角a3和|33，其包括一 個或更多的照明單元300和一個成像單元200 (在圖2中僅示出了水 平角a3)。照明單元300提供了至少兩個基本上校準(zhǔn)的光束LB1、 LB2,其瞄準(zhǔn)眼睛100，以及射束LB1、 LB2具有不同的方向。成像 單元200提供眼睛100的圖像?？捎缮涫鳯B1和參考線REF之間的水平角al和垂直角(31來標(biāo) 識第一校準(zhǔn)的射束LB1的方向。可由射束LB2和參考線REF之間的 水平角a2和P2來標(biāo)識第二校準(zhǔn)的射束LB2的方向(垂直角|31和|32 在圖2中未示出)。L2指示成像單元200和眼睛IOO之間的距離。參看圖3,成像單元200包括成像光學(xué)系統(tǒng)220和圖像傳感器210, 其可以是例如電荷耦合設(shè)備(CCD)。成像光學(xué)系統(tǒng)220和圖像傳感 器210之間的距離dl是已知的，以及因而，圖像傳感器210的像素 可以與各自的特征的角位置相關(guān)聯(lián)。例如，將瞳孔中心P投影到具有 水平坐標(biāo)X3的像素?？苫诟髯韵袼氐淖鴺?biāo)X3確定線REF和從瞳 孔中心P到成像光學(xué)系統(tǒng)220的投影中心(principal point) C的線PC 之間的角cp3。成像單元200可包括用于自動對焦的裝置。成像光學(xué)系統(tǒng)220的 非理想的屬性可引起圖像201的幾何失真?？梢怨鈱W(xué)地和/或通過信號 處理來校正失真。參看圖4，從提供了多個反射光線的角膜表面反射的光束LBl, 其中反射光線以多個不同的方向傳播。從成像單元200的光闌接收反 射光線的窄扇面。這里由單一射線NC來表達(dá)所述扇面，單一射線 NC是所述扇面的加權(quán)平均。射線NC是從眼睛100表面的反射點N向成像光學(xué)系統(tǒng)220的投影中心C反射的。光束LB2也是從角膜表面朝向成像單元200反射(在圖4中未示 出，請參看圖6)。由單一射線MC代表所反射的射線，其是從眼睛 IOO表面的反射點M向成像光學(xué)系統(tǒng)220的投影中心C反射的。圖5a示出了由成像單元200獲取的眼睛100的圖像201。第一校 準(zhǔn)的光束LB1瞄準(zhǔn)眼睛100,這樣，第一光束LB1的反射提供了呈現(xiàn) 在圖像201中的第 一反射斑點Gl 。第二校準(zhǔn)的光束LB2瞄準(zhǔn)眼睛100， 這樣第二射束LB2的反射提供了呈現(xiàn)在圖像201中的第二反射斑點 G2?？梢詰?yīng)用圖像分析算法來確定圖像201中的瞳孔P的坐標(biāo)X3， Y3,以及反射斑點G1、 G2的坐標(biāo)X1， Yl， X2, Y2。反射斑點G1、 G2,即，第一浦肯野像，應(yīng)當(dāng)與從源于眼睛100內(nèi)部的其他浦肯野圖 像有所區(qū)分。當(dāng)改變^見線方向時，瞳孔120相對于反射斑點Gl、 G2移動。 參看圖5b,可基于坐標(biāo)X1，Y1，X2,Y2，X3，Y3 (圖5a),根據(jù)在圖3中示出的原理，來計算眼睛lOO表面上的第一反射點N的角位置cpl、 51,第二反射點M的角位置q>2、 S2,以及瞳孔中心P的角位置cp3、 53?，F(xiàn)在，首先使用簡單的二維方式來描述用于確定視線方向的算 法。參看圖6，光束LB1從點N反射，以及所反射的射線NC刺射在 成像單元200的光學(xué)系統(tǒng)的投影中心C。射束LB1相對于曲面法線 Nl的入射角yl等于光射線NC相對于曲面法線Nl的反射角yl。能 夠發(fā)現(xiàn)<formula>formula see original document page 14</formula>(1)2以及<formula>formula see original document page 14</formula> (2)從點M反射光束LB2,以及被反射的射線MC刺射在成Y象單元 200的投影中心C。射束LB2相對于曲面法線N2的入射角等于光 線MC相對于曲面法線N2的反射角y2。能夠發(fā)現(xiàn)以及"督-^ (4)在圖6中，可標(biāo)識兩個角，即角ONC和角OMC。這些角具有公 共邊OC,以及邊ON和OM的長度等于眼睛100的半徑R?，F(xiàn)在可以使用三角法(例如，正弦規(guī)則)或矢量計算來基于角Tl和T2確定眼睛中心O的角位置cp7。參看圖7，可以標(biāo)識三個角OPC、 ONC和OMC。當(dāng)已知角cpl， cp2和(p7時，可以計算角cp5和(p6。點P是瞳孑L 120的中心?，F(xiàn)在， 可基于角t1和cp5計算角a5。角OPC和ONC具有公共邊OC，以及 邊ON和OP的長度等于眼睛100的半徑R。現(xiàn)在，可使用三角法(例 如，正弦規(guī)則)或矢量計算，基于角t1和T3計算角a4。現(xiàn)在，可使 用角a4和眼睛中心0的角位置cp7計算水平^L角a3。參看圖8，可通過使用矢量計算在普通的三維情況中確定對應(yīng)于 眼睛100的視角a3和(33的矢量OP。第一校準(zhǔn)的射束LB1從點N反射到成像光學(xué)系統(tǒng)200的投影中 心C。第二校準(zhǔn)的射束LB2從點M反射到投影中心C。在點N,曲 面法線是Nl,而在點M,曲面法線是N2。第一曲面法線N1的方向 矢量是第一校準(zhǔn)的射束LB1的方向矢量和線CN的方向矢量的平均 (average)。第二曲面法線N2的方向矢量是第二校準(zhǔn)的射束LB2的 方向矢量和線CM的方向矢量的平均。由于測量不精確，以及由于角膜的略微非球形，很可能曲面法線 Nl、 N2不相交。在此情況下，可確定輔助矢量GH來找到用于眼睛 中心O的估計。輔助矢量GH是連接表面法線N1、 N2的最短可能矢 量。輔助矢量GH垂直于矢量NG和MH。輔助矢量GH平行于矢量 NG和MG的叉積?？?吏用輔助矢量GH的中點作為對眼睛中心O的 估計?？墒褂幂o助矢量GH的長度作為對測量精度的指示?，F(xiàn)在，知曉了矢量CN、 NG、 GH、 HM和MC的方向。也已經(jīng)知曉了矢量NG和HM的長度，其長度等于眼睛100的半徑R?？苫?矢量方程解出余下的三個未知量，即矢量CN、 GH和MC的長度， 矢量方程表明五個矢量形成封閉路徑CN + NG + GH + HM + MC = 0. ( 5 )將方程(5)寫作一組三個線性方程，所述組的一個方程對應(yīng)于 方向SX (圖1 )上的矢量分量， 一個對應(yīng)于方向SY上的矢量分量， 以及一個對應(yīng)于方向SZ上的矢量分量。有三個位置量和三個方程， 從中能夠計算出這些未知量。現(xiàn)在，根據(jù)眼睛半徑R而獲知了矢量CN、 NG、 GH、 HM和MC 的方向和長度。眼睛中心O的位置近似處在矢量GH的中點。眼睛中心O的位置 也可以接近于在矢量GH上的點。眼睛中心O的位置也可以接近于矢 量GH鄰近的點。接下來，計算線CP在何處與眼睛100的表面相交，眼睛100具 有中心O和半徑R。計算提供了兩個解。選擇對應(yīng)于矢量CP的較短 長度的解，因為另一個解對應(yīng)于在眼睛100后側(cè)的位置?，F(xiàn)在，知曉了眼睛中心O和瞳孔中心P的位置，以及矢量OP的 方向直接給出了一見線方向。綜上，視線方向的確定包括下列步驟-通過成像單元200獲取的圖像201中反射斑點Gl、 G2的坐標(biāo)， 確定在眼睛IOO表面的反射點N, M的角位置，-基于校準(zhǔn)的光束LB1、 LB2的方向和矢量CN和CM的方向， 計算所述反射點N、 M的表面法線N1、 N2的方向，-通過計算所述表面法線Nl、 N2的方向矢量的叉積來確定輔助 矢量GH的方向，-計算矢量CN、 CM和GH的長度，-通過所述輔助矢量GH的中點，近似估計眼睛中心O的位置， -基于圖像201中的睡孔和/或虹膜的坐標(biāo)確定矢量CP的方向， -計算瞳孔中心P的位置，以及-計算矢量OP的方向，所述方向是視線方向。參看圖9，眼睛跟蹤設(shè)備700可包括兩個照明單元300來提供 基本上校準(zhǔn)的光束LB1、 LB2。由瞄準(zhǔn)眼睛100的4交準(zhǔn)光學(xué)系統(tǒng)330 校準(zhǔn)紅外光(IR)發(fā)射器321、 322發(fā)出的不可見光。照明單元300的^f交準(zhǔn)光學(xué)系統(tǒng)330可以是優(yōu)化的組合透#;。才交 準(zhǔn)光學(xué)系統(tǒng)330可包括菲涅爾透鏡。照明單元300的朝向相對于成像 單元200可以是固定的或可變的。所發(fā)射的光可以是處于可見的波長， 但經(jīng)脈沖化使其基本上不可見。所發(fā)射的光可以是在UV (紫外)區(qū) 域，從而其不可見。參看圖10,眼睛跟蹤設(shè)備700也可包括僅一個照明單元300但 有兩個發(fā)射器321、 322來提供基本上校準(zhǔn)的光束LB1、 LB2。參看圖11，可由衍射擴(kuò)束器400來擴(kuò)展由校準(zhǔn)單元310提供的 校準(zhǔn)的光束的寬度WjN。輸入光柵410耦合光來在波導(dǎo)基片405中傳 播。輸出光柵420將光從基片405耦合輸出，來提供校準(zhǔn)的光束LB1。輸出光束的寬度WouT可以基本上大于初始寬度Win。例如，在美國專利US6580529中描述了衍射擴(kuò)束器。校準(zhǔn)單元310包括一個或多個 發(fā)射器321以及校準(zhǔn)光學(xué)系統(tǒng)330。參看圖12，可使用單個衍射擴(kuò)束器400來提供兩個校準(zhǔn)的光束 LB1、 LB2。參看圖13，虛擬顯示單元500可包括光學(xué)引擎520和衍射擴(kuò)束 器400。光學(xué)引擎520包括微顯示器510和察看(viewing)光學(xué)系統(tǒng) 530。通過將光學(xué)引擎520耦合到衍射擴(kuò)束器400來相當(dāng)大地增加察 看光闌的寬度。微顯示器510可以是發(fā)光二極管(LED)陣列、液晶陣列(LCD) 或微機(jī)械反射鏡設(shè)備(MEMS )。將由微顯示器510的像素形成的實像通過察看光學(xué)系統(tǒng)530轉(zhuǎn) 換為虛像。微顯示器510的每個點對應(yīng)于從輸出光柵420傳送的校準(zhǔn) 的光束。因而，觀察者的眼睛IOO看到在相當(dāng)遠(yuǎn)或在無窮遠(yuǎn)處的虛像。虛擬顯示單元500也可以表現(xiàn)為照明單元300?？墒褂煤顯示器的預(yù)定像素501 、 502來提供基本上校準(zhǔn)的和調(diào)制的光束LB1 、LB2。 可以調(diào)制像素501、 502，使得可以從其他光中區(qū)分這些光束的光。像 素501、 502可以是IR發(fā)射。參看圖14,衍射擴(kuò)束器典型地包括三個光柵410、 415和420。 輸入光柵410將光耦合到波導(dǎo)基片405。中間光柵415提供了在第一 方向SX的擴(kuò)束。輸出光柵420提供了在第二方向SY的擴(kuò)束，以及 將光束LB1、 LB2從衍射擴(kuò)束器400耦合輸出。輸出光柵420也作為 用于光學(xué)引擎520顯示虛像的察看光闌。當(dāng)使用平面衍射光柵410、 420時，在無限遠(yuǎn)處形成虛像。然而， 虛像和觀察者之間的距離也可以短于無限遠(yuǎn)。所述距離可以是例如在 1到2米的距離內(nèi)?？墒褂脤＠暾圥CT/IB2004/004094中公開的彎 曲衍射擴(kuò)束器實現(xiàn)距離短于無限遠(yuǎn)。所述衍射擴(kuò)束器包括至少一個具 有有限曲率半徑的非平面衍射元件。參看圖15,眼睛跟蹤設(shè)備700可包括- 照明單元300,用來提供基本上校準(zhǔn)的光束LB1、 LB2，- 虛擬顯示單元500， 畫成像單元200,- 數(shù)據(jù)處理單元600，畫命令接口 610,以及- 通信單元620。命令接口 610可以是按鍵設(shè)備、操縱桿或鍵盤，其允許用戶向 設(shè)備700發(fā)送命令。命令接口 610也可以是語音命令設(shè)備或手勢識別 設(shè)備。通信單元620可以是用于與計算機(jī)或移動設(shè)備通信的接口模塊。 通信單元620也可以是光學(xué)或射頻發(fā)射機(jī)/接收機(jī)，其允許經(jīng)由因特網(wǎng) 或射頻網(wǎng)絡(luò)的通信。參看圖16,眼睛跟蹤設(shè)備700可以是緊湊的、便攜的和較輕的設(shè)備。參看圖17，用戶的眼睛IOO可以通過虛擬顯示器的輸出光闌察 看所顯示的虛像IOOO,例如，通過衍射擴(kuò)束器的輸出光柵420。虛像1000可以包括所顯示的物體1002、 1003、 1004、 1005, 例如星形1002、六邊形1003、符號"OK"1005和問號"？ " 1004。虛像1000的物體或位置有利地與視線方向相關(guān)聯(lián)。因而，當(dāng)眼 睛100注視著由用戶確定的物體或位置時，能夠基于一見線方向確定眼 睛正注纟見著哪個物體或位置。進(jìn)一步地，每個物體或位置可與選項相 關(guān)聯(lián)，以及用戶可通過注:f見著分別的物體或位置而選才奪一個選項。用 戶可以通過按下命令接口 610 (圖15和16)的鍵來確認(rèn)選擇。用戶 也可以通過眨眼，或通過盯住預(yù)定物體或位置一^:延長的時間來確認(rèn) 選擇。例如，用戶可以通過指引他的視線，來在由物體1002 (星形) 或物體1003 (六邊形)所代表的選項之間選擇。如果選擇了六邊形 1003，其可以在選擇之后，通過閃爍提供可視的反饋。用戶可通過例 如注視著符號"OK"來確認(rèn)選擇。但是，用戶可通過注視問號"？"來請 求進(jìn)一步的信息。在軟件中，和/或在硬件水平，例如通過將物體的像素坐標(biāo)轉(zhuǎn)換 為角坐標(biāo)可將虛像1000的物體1002、 1003、 1004、 1005與^見線方向 相關(guān)聯(lián)?？蓪⑺@示的物體的角坐標(biāo)與視線方向作比較，來確定用戶 是否正注視著所述物體?？蓪⒖梢娀虿豢梢姽鈽?biāo)1001適用于在虛像1000上跟隨著所確 定的眼睛100的視線方向而移動。光標(biāo)1001幫助用戶來理解跟蹤設(shè) 備700實際上正跟隨著其視線。換句話說，光標(biāo)1001提供了向用戶的可視反饋?？赏ㄟ^例如在虛像1000上移動閃爍的光標(biāo)1001，以及請用戶 注一見著光標(biāo)1001來核準(zhǔn)所;險測的一見線方向。進(jìn)一步地，當(dāng)用戶實際 上正注視著光標(biāo)1001時，可請求他按下命令接口 610的按4建。參看圖18和19，可將兩個或更多的紅外(IR)光發(fā)射器321、 322貼附在接近于虛擬顯示單元500的孩吏顯示器510。因而，虛擬顯 示單元500也可以表現(xiàn)為照明單元300, 4是供兩個或多個基本上校準(zhǔn) 的光束LB1、 LB2。通過舉例的方式，圖19示出了 IR發(fā)射器321、 322、 323、 324 相對于微顯示器510的框架511的位置。通過使用此布置，照明單元 300可提供3個、4個或更多的基本上校準(zhǔn)的光束，其在不同方向傳 播。第三光束和進(jìn)一步的光束在由第一光束LB1和第二光束LB2的 方向定義的平面向外的方向中傳播。使用三個或更多光束可提供改進(jìn) 的精度。曲率，即，眼睛100的半徑，在垂直方向和水平方向上可以 不同。因而，使用三個或更多的光束可以允許對由于眼睛IOO的非球 形所引起錯誤的糾正。參看圖20，可用半透明反射鏡350將來自紅外(IR)光發(fā)射器 321、 322的光與自微顯示器510所發(fā)出的光相組合。半透明反射鏡 350可以是分色鏡，其傳輸可見光并反射IR。半透明反射鏡350可以 是半透明鏡或極化反射鏡。參看圖21,光學(xué)引擎520和校準(zhǔn)單元310邊對邊地耦合到同一 個衍射擴(kuò)束器400。參看圖22，可以堆疊衍射擴(kuò)束器400,這樣通過第二至少部分 地透明的擴(kuò)展器來傳送由第一擴(kuò)展器發(fā)射的光。第一擴(kuò)展器可以發(fā)射 可見光，而第二擴(kuò)展器可發(fā)射IR光。參看圖23，衍射擴(kuò)束器400可以是部分地透明。可將成像單元 200適用于通過衍射擴(kuò)束器400來監(jiān)視眼睛100。參看圖24,眼睛跟蹤器設(shè)備700可以包括半透明反射鏡350, 來將由虛擬顯示單元500發(fā)射的光和由 一個或多個照明單元300提供 的光束LB1、 LB2相組合。虛擬顯示單元500可包括衍射擴(kuò)束器400。 而且照明單元300可包括衍射擴(kuò)束器400。跟蹤設(shè)備700可進(jìn)一步地 包括數(shù)據(jù)處理單元，命令接口 610和通信單元620。參看圖25，眼睛跟蹤器設(shè)備700可包括半透明反射鏡350來將 由虛擬顯示單元500發(fā)射的光與校準(zhǔn)的光束LB1、 LB2組合?？蓛H使 用透鏡光學(xué)系統(tǒng)530、 220、 330,即，不使用衍射擴(kuò)束器，來提供虛 像和校準(zhǔn)的光束LB1、 LB2。參看圖26，用戶也可以注視遠(yuǎn)端屏幕900?？墒褂冒胪该鞣瓷溏R350將由遠(yuǎn)端屏幕900發(fā)射的光與校準(zhǔn)的光束LB1、 LB2組合。眼 睛跟蹤器設(shè)備700可進(jìn)一步包括數(shù)據(jù)處理單元，命令接口 610和通信 單元620。跟蹤設(shè)備700的位置相對于遠(yuǎn)端屏幕900可以是固定的。
可選地，跟蹤設(shè)備700可進(jìn)一步包括成像單元250,來監(jiān)視遠(yuǎn) 端屏幕900相對于跟蹤設(shè)備700的角位置。需要此信息來將視線方向 與遠(yuǎn)端屏幕900的位置相關(guān)聯(lián)。也可以將進(jìn)一步成像單元250適用于監(jiān)視在屏幕900上顯示的 物體相對于跟蹤設(shè)備700的角位置。
替代半透明反射鏡，用戶也可以通過擴(kuò)束器注視屏幕900,擴(kuò) 束器400在可見的波長范圍內(nèi)是透明的。
參看圖27，用戶也可以通過半透明反射鏡350察看物體1002 (房屋)、1003 (汽車)。跟蹤器設(shè)備700的位置相對于物體可以是 固定的，或者其可以包括另外的成像單元250來監(jiān)視物體相對于跟蹤 器設(shè)備700的角位置。因而，可將物體、物體的位置和/或風(fēng)景 (landscape)的特征與視線方向相關(guān)聯(lián)。例如，可確定用戶是否正注 視著房屋1002或汽車1003。進(jìn)一步地，可將物體1002、 1003與選項 相關(guān)聯(lián)，這樣可通過注視分別的物體而選擇選項。參看圖28，便攜設(shè)備750可包括眼睛跟蹤器設(shè)備700。
眼睛100和跟蹤器設(shè)備700之間的距離可小于或等于0.2m。校 準(zhǔn)的光束LB1、 LB2的寬度可大于或等于20mm,以允許跟蹤器設(shè)備 700相對于眼睛100自由移動。校準(zhǔn)的光束LB1、 LB2的寬度也可以 大于或等于10cm。衍射擴(kuò)束器允許實現(xiàn)寬光束，而無需考慮增加設(shè) 備700的尺寸和重量。
參看圖29，眼睛跟蹤器設(shè)備700可以用作桌面設(shè)備。可將眼睛 跟蹤器設(shè)備700適用于在一定距離監(jiān)視眼睛100，距離例如是在離眼 睛0.5到1米的范圍內(nèi)。用戶可注視著物體1002、 1003，其可以是顯 示屏900上顯示的圖像或?qū)嶋H物體。
當(dāng)將視線方向信息與眼睛IOO相對于跟蹤器設(shè)備700的位置組 合時，所確定的視線方向可與物體1002、 1003之一相關(guān)聯(lián)。僅基于視線方向無法作出此關(guān)聯(lián)，除非當(dāng)與眼睛100和跟蹤器設(shè)備700之間 的距離作比較時，是遠(yuǎn)離物體1002、 1003的。也需要眼睛100的位 置，以便作出此關(guān)聯(lián)?？赏ㄟ^使用由距離監(jiān)視器260提供的距離信息， 并分析由成像單元200提供的圖像，來確定眼睛的水平位置和垂直位 置，以及眼睛100到跟蹤器設(shè)備700的距離。距離監(jiān)視器可以是例如 光學(xué)測距4義。也可以通過使用兩個成像單元，以及通過確定距離、水 平位置和垂直位置，由三角測量，基于由所述成像單元獲取的眼睛的 圖像來荻得位置信息。用戶的眼睛100可察看物體1002、 1003之一。使用視線方向信 息連同物體的像素坐標(biāo)和眼睛100的位置來確定用戶正注視著哪個物 體，例如，用戶是否正注視著在屏幕900上顯示的星形1002或六邊 形1003。當(dāng)作為桌面設(shè)備使用時，跟蹤器設(shè)備700可包括一個或多個擴(kuò) 束器400，擴(kuò)束器400具有較大的輸出光闌，以便允許用戶足夠自由 地移動其頭部。可選地，跟蹤器設(shè)備700可包括改變校準(zhǔn)的光束LB1、 LB2的方向的裝置，這樣當(dāng)用戶移動其頭部時，校準(zhǔn)的光束LB1、 LB2 刺射在用戶的眼睛100上。可通過例如分析由成像單元200提供的圖 像來獲得為跟隨頭部的移動所需要的信息。眼睛跟蹤器設(shè)備700可以是從下列列表中選擇的設(shè)備，或其一 部分，或者連同從下列列表中選擇的設(shè)備的組合而使用便攜設(shè)備、 具有無線電信能力的設(shè)備、成像設(shè)備、圖像傳感器、數(shù)字照相機(jī)、移 動電話、游戲設(shè)備、音樂記錄/播放設(shè)備(基于例如MP3格式)、遠(yuǎn) 程控制發(fā)射機(jī)或接收機(jī)、手表、指南針、心跳監(jiān)視設(shè)備、醫(yī)療儀器、 用于殘疾人的器械、測量儀器、工業(yè)測量儀器、過程控制設(shè)備、目標(biāo) 查找設(shè)備、瞄準(zhǔn)設(shè)備、導(dǎo)航設(shè)備、個人數(shù)字助理(PDA)、通訊器、 便攜因特網(wǎng)器械以及手持計算機(jī)。眼睛跟蹤器設(shè)備700可包括電池、 電信單元、音頻設(shè)備和/或數(shù)據(jù)存儲單元。可將眼睛跟蹤器設(shè)備700 附著在頭飾、帽子或頭盔上。也可以通過使用計算機(jī)程序產(chǎn)品來實現(xiàn)根據(jù)本發(fā)明的方法?？捎砂ǔ上駟卧?00和用來提供校準(zhǔn)的光束LB1 、 LB2的裝置的系統(tǒng) 來提供原始數(shù)據(jù)。原始數(shù)據(jù)可包括眼睛100的整個圖像201或僅有反 射斑點G1、 G2和曖孔P的坐標(biāo)。計算才幾程序產(chǎn)品包括存卞者在可讀介 質(zhì)中的計算機(jī)程序代碼段，當(dāng)由處理器600執(zhí)行時，其基于數(shù)據(jù)和光 束LB1、 LB2的方向來確定一見線方向。計算機(jī)程序產(chǎn)品可以是包括所述程序的例如CD-ROM盤，或存 儲器卡。產(chǎn)品的計算機(jī)程序代碼段是從因特網(wǎng)網(wǎng)站可下載的?？蓪⒂?算機(jī)程序代安裝在例如連接到成像單元200的便攜計算機(jī)中。視線方向的跟蹤。用戶可通過指引其視線而以高速率給出命令。例如， 可通過視線選擇所顯示的字母、單詞或整句來寫入和處理文本。當(dāng)將跟蹤器設(shè)備700附著在頭飾上時，可將視線方向信息與有 關(guān)頭相對于環(huán)境的位置和/或朝向的進(jìn)一步的信息加以組合?？赏ㄟ^例 如使用GPS (全球定位系統(tǒng))導(dǎo)航系統(tǒng)、指南針和/或適合于發(fā)送超 聲波、紅外或射頻跟蹤信號的參考信標(biāo)來確定頭部相對于環(huán)境的位 置?？蓪⒀劬Ω櫰髟O(shè)備700適用于顯示虛像，這樣用戶可基本上 同時地察看所顯示的虛像，以及實際物體?？蓪⑦@種跟蹤器設(shè)備700 用作所討論的現(xiàn)實系統(tǒng)(reality system)的部分?？蓪⒀劬Ω櫰髟O(shè)備700耦合到遠(yuǎn)程計算機(jī)?？稍谶h(yuǎn)程計算機(jī) 或數(shù)據(jù)處理單元執(zhí)行與確定視線方向相關(guān)聯(lián)的信號處理?？墒褂锰摂M顯示單元來顯示運動或靜止圖像，例如，電影、照 片、網(wǎng)頁(www-page)、圖表和/或文本。也可使用例如激光器的光源實現(xiàn)照明單元300，其固有地發(fā)射 才交準(zhǔn)的光束。擴(kuò)束器可基于衍射光學(xué)系統(tǒng)、基于鏡頭組合、基于堆疊的棱鏡 和/或基于堆疊的半透明反射鏡?？墒褂弥芷谛员砻嫫鸱鼒D樣(surface relief patterns )實現(xiàn)衍射 擴(kuò)束器400。衍射擴(kuò)束器400也可以是全息衍射擴(kuò)束器，其包括折射率的周期性變化，由全息加工技術(shù)實現(xiàn)。專利申請US2004/0062502公開了 一種擴(kuò)束器具有一個或多個 表面接口用來提高擴(kuò)束器的顏色均一性，例如，當(dāng)擴(kuò)展時，對紅、綠和藍(lán)光束同時擴(kuò)展。專利申請PCT/FI2003/000948公開了分裂的(split)衍射光柵元 件，用來均衡相對于入射角的變化的衍射效果?？梢栽谘苌鋽U(kuò)束器400 中使用所述元件。微顯示器510可以是反射、發(fā)射或傳輸二維光調(diào)制陣列 (transmissive two-dimensional light-modulation array。 微顯示器510 可以是發(fā)光二極管(LED，有機(jī)發(fā)光二極管，Organic Light Emitting Diode)陣歹'J，樣爻才幾才成反射4竟(micromechanical mirrors ) ( MEMS顯 示器)，或液晶單元(硅液晶)的陣列。也可以使用光機(jī)械掃描光束 (opto陽mechanically scanned light beams )實現(xiàn)孩吏顯示器510， 例如, 使用經(jīng)調(diào)制的光束，通過旋轉(zhuǎn)反射鏡來使其偏轉(zhuǎn)或移動。眼睛跟蹤器設(shè)備700可包括兩個相鄰的虛擬顯示器， 一個用于 左眼， 一個用于右眼?？梢苑謩e地控制虛擬顯示器來顯示三維虛像。 當(dāng)人正注視著所顯示的三維圖像時，可使用左眼視線方向和右眼視線 方向之間的差來提供關(guān)于所述圖像的距離信息?？梢詫⒀劬Ω櫰髟O(shè)備700適用于分別監(jiān)控左眼和右眼的視線 方向。當(dāng)用戶正注視著遠(yuǎn)端物體時，可使用在左眼的視線方向和右眼 的視線方向之間的差來提供關(guān)于所述物體的距離信息。可在所討論的 實際應(yīng)用中使用此實施方式。對于本領(lǐng)域技術(shù)人員，應(yīng)理解根據(jù)本發(fā)明對于所述設(shè)備和方法 的調(diào)整和變化是可知的。上述參考附圖所描述的特定實施方式僅為示 例性的，且并非意在限制本發(fā)明的范圍，該范圍由所附的權(quán)利要求書 力口以定義。
權(quán)利要求
1.一種用于檢測眼睛(100)的視線方向(α3，β3)的設(shè)備(700)，所述設(shè)備(700)包括至少-第一成像單元(200)，用來獲取所述眼睛100的圖像(201)，-至少一個照明單元(300)，用來提供第一基本上校準(zhǔn)的光束(LB 1)以及第二基本上校準(zhǔn)的光束(LB2)，所述校準(zhǔn)的光束(LB1，LB2)具有相對于所述設(shè)備(700)的不同的方向，使得當(dāng)從所述眼睛(100)的表面反射光時，所述第一校準(zhǔn)的光束(LB1)提供第一反射斑點(G1)，以及當(dāng)從所述眼睛(100)的表面反射光時，所述第二校準(zhǔn)的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(G1，G2)呈現(xiàn)在所述圖像(201)中，以及-數(shù)據(jù)處理單元(600)，用來基于所述圖像(201)中所述第一反射斑點(G1)的位置、所述圖像(201)中所述第二反射斑點(G2)的位置、所述圖像(201)中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置以及所述校準(zhǔn)的光束(LB1，LB2)的方向，確定所述眼睛100相對于所述設(shè)備(700)的視線方向(α3，β3)。
2. 根據(jù)權(quán)利要求1所述的設(shè)備(700)，進(jìn)一步包括至少一個擴(kuò) 束器，用來擴(kuò)展校準(zhǔn)的光束(LB1、 LB2)的寬度(WouT)。
3. 根據(jù)權(quán)利要求2所述的設(shè)備(700),其中所述擴(kuò)束器是衍射 擴(kuò)束器(400)。
4. 根據(jù)權(quán)利要求2或3所述的設(shè)備(700),其中所述第一成像 單元(200)適用于通過所述擴(kuò)束器(400)來查看所述眼睛(100)， 所述擴(kuò)束器(400)至少部分地對所述校準(zhǔn)的光束(LB1, LB2)的波長透明。
5. 根據(jù)前述權(quán)利要求1到4中任一項所述的設(shè)備(700)，其中 所述第一校準(zhǔn)的光束(LB1 )的所述寬度(Wout)大于或等于20mm。
6. 根據(jù)前述權(quán)利要求1到5中任一項所述的設(shè)備(700),其中 所述照明單元(300)包括至少一個半導(dǎo)體器件(321、 322)來發(fā)射不可見紅外光。
7. 根據(jù)前述權(quán)利要求1到6中任一項所述的設(shè)備(700),進(jìn)一 步包括虛擬顯示單元(500)來顯示虛像(1000)。
8. 根據(jù)前述權(quán)利要求1到7中任一項所述的設(shè)備(700)，適用 于將物體(1002、 1003 )或位置與^L線方向相關(guān)聯(lián)。
9. 根據(jù)權(quán)利要求8所述的設(shè)備(700),進(jìn)一步包括半透明反射 鏡(350)，適用于向所述眼睛(IOO)反射或傳送所述校準(zhǔn)的光束(LBI， LB2),其中所述眼睛(100)可以經(jīng)由所述半透明反射鏡(350)查 看所述物體(1002、 1003 )和/或所述位置。
10. 根據(jù)權(quán)利要求8或9所述的設(shè)備(700)，包括另外的成像單 元(250 )來監(jiān)視所述物體(1002， 1003 )或位置相對于所述設(shè)備(700 ) 的所述角位置。
11. 根據(jù)前述權(quán)利要求1到10中任一項所述的設(shè)備(700)，進(jìn) 一步包括命令接口 (610)來向數(shù)據(jù)處理單元(600)發(fā)送命令，以便 確認(rèn)對與所述確定的纟見線方向(a3, |33 )相關(guān)聯(lián)的選項的選擇。
12. 根據(jù)前述權(quán)利要求1到11中任一項所述的設(shè)備(700)，進(jìn) 一步包括用于確定所述眼睛(100)和所述第一成像單元(200)之間 距離(L2)的裝置(260)。
13. 根據(jù)前述權(quán)利要求1到12中任一項的所述設(shè)備(700),進(jìn) 一步包括用來改變相對于所述設(shè)備(700 )的所述第一校準(zhǔn)的光束(LB1)的方向和/或所述第二校準(zhǔn)的光束(LB2)的方向的裝置。
14. 一種用于4企測眼睛(100)的^見線方向(a3， (33)的方法，所 述方法包括至少-使第一基本上校準(zhǔn)的光束(LB1)瞄準(zhǔn)眼睛(100)，以便當(dāng)從 所述眼睛(100)的表面反射光時，提供第一反射斑點(Gl)，-使第二基本上校準(zhǔn)的光束(LB2)瞄準(zhǔn)眼睛(100),以便當(dāng)從 眼睛(100)的表面反射光時，提供第二反射斑點(G2),所述第二 校準(zhǔn)的光束(LB2)具有不同于所述第一校準(zhǔn)的光束(LB1)的方向 的方向，-通過第一成像單元(200)獲取所述眼睛(100)的圖像(201 )， -基于所述圖像(201)中所述第一反射斑點(Gl)的位置，基 于所述圖像(201)中所述第二反射斑點(G2)的位置，基于所述圖 像(201 )中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置， 以及基于所述校準(zhǔn)的光束(LB1， LB2)的方向，確定所述眼睛(IOO) 相對于所述第一成像單元(200)的視線方向(a3， P3)。
15. 根據(jù)權(quán)利要求14所述的方法，其中使用一個或多個衍射擴(kuò)束 器(400)提供所述校準(zhǔn)的光束(LB1、 LB2)的至少一個。
16. 根據(jù)權(quán)利要求14或15所述的方法，其中所述校準(zhǔn)的光束 (LB1、 LB2)的寬度(WouT)大于等于20mm。
17. 根據(jù)前述權(quán)利要求14到16中任一項所述的方法，其中所述 第一成像單元(200)和所述眼睛(100)之間的距離(L2)小于或等 于0.2m。
18. 根據(jù)前述權(quán)利要求14到17中任一項所述的方法，進(jìn)一步包 括將物體(1002、 1003 )或位置與視線方向(a3, (33)相關(guān)聯(lián)。
19. 根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括基于由另外的成像 單元(250)獲取的所述物體或位置的圖像而確定所述物體(1002、 1003 )或所述位置相對于所述第一成像單元(200)的角位置。
20. 根據(jù)前述權(quán)利要求14到19中任一項所述的方法，進(jìn)一步包括-顯示虛像(1000),以及-將所述虛像(1000)的位置與視線方向相關(guān)聯(lián)。
21. 根據(jù)前述權(quán)利要求14到20中任一項所述的方法，進(jìn)一步包 括基于所檢測的所述眼睛(100)的視線方向(a3， p3)，選擇選項 或目標(biāo)。
22. 根據(jù)前述權(quán)利要求14到21中任一項所述的方法，進(jìn)一步包 括改變所述第一校準(zhǔn)的光束(LB1 )的方向和/或所述第二校準(zhǔn)的光束(UB2)的方向。
23. 根據(jù)前述權(quán)利要求14到22中任一項所述的方法，其中使用微顯示器(510)的像素(501、 502)提供所述第一校準(zhǔn)的光束(LB1 ) 和所述第二校準(zhǔn)的光束(LB2)。
24. 根據(jù)前述權(quán)利要求14到23中任一項所述的方法，其中使用 發(fā)光半導(dǎo)體器件(321、 322 )提供所述第一校準(zhǔn)的光束(LB1)和所 述第二校準(zhǔn)的光束(LB2)。
25. 根據(jù)前述權(quán)利要求14到24中任一項所述的方法，進(jìn)一步包 括向遠(yuǎn)端數(shù)據(jù)處理單元(600)發(fā)送圖像數(shù)據(jù)，以及在所述遠(yuǎn)端數(shù)據(jù) 處理單元(600)中執(zhí)行所述確定。
26. —種包括用于^:測眼睛(100)的4見線方向(a3， (33)的眼睛 跟蹤設(shè)備的便攜設(shè)備(750)，所述跟蹤設(shè)備(700)包括至少-第一成像單元(200),用來獲取所述眼睛100的圖像(201), -至少一個照明單元(300 )，用來提供第一基本上校準(zhǔn)的光束 (LB1 )以及第二基本上校準(zhǔn)的光束(LB2)，所述校準(zhǔn)的光束(LB1， LB2)具有相對于所述設(shè)備(700)的不同的方向，使得當(dāng)從所述眼睛 (100)的表面反射光時，所述第一校準(zhǔn)的光束(LB1 )提供第一反射 斑點(Gl),以及當(dāng)從所述眼睛(100)的表面反射光時，所述第二 校準(zhǔn)的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(Gl、 G2)呈現(xiàn)在所述圖像(210)中，以及-數(shù)據(jù)處理單元(600),用來基于所述圖像(201)中所述第一 反射斑點(Gl)的位置，基于所述圖像(201)中所述第二反射斑點 (G2)的位置，基于所述圖像(201 )中所述眼睛(100)的瞳孔(120) 和/或虹膜(110)的位置，以及基于所述校準(zhǔn)的光束(LB1， LB2) 的方向，確定所述眼睛100相對于所述跟蹤設(shè)備(700)的視線方向 U3， P3)。
27. 根據(jù)權(quán)利要求26所述的便攜設(shè)備(750),進(jìn)一步包括無線 通信能力。
28. —種基于系統(tǒng)提供的數(shù)據(jù)用于確定眼睛(100)的視線方向 (a3, (33)的計算機(jī)程序產(chǎn)品，所述系統(tǒng)包括-第一成像單元(200),用來獲取所述眼睛(100)的圖像(201),以及-照明裝置，用來提供第一基本上校準(zhǔn)的光束(LB1)以及第二 基本上校準(zhǔn)的光束(LB2),所述校準(zhǔn)的光束(LB1, LB2)具有相 對于所述成像單元(200)的不同的方向，使得當(dāng)從所述眼睛(100) 的表面反射光時，所述第一校準(zhǔn)的光束(LB1)提供第一反射斑點 (Gl),以及當(dāng)從所述眼睛(100)的表面反射光時，所述第二校準(zhǔn) 的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(Gl、 G2) 呈現(xiàn)在所述圖像(201 )中，所述計算機(jī)程序產(chǎn)品包括存儲在可讀介質(zhì)中的計算機(jī)程序代碼 段，當(dāng)由處理器(600)執(zhí)行時，其用于基于所述圖像(201 )中所述 第一反射斑點(Gl)的位置、基于所述圖像(201)中所述第二反射 斑點(G2)的位置、基于所述圖像(201 )中所述眼睛(100)的瞳孔 (120)和/或虹膜(110)的位置、以及基于所述校準(zhǔn)的光束(LB1、 LB2)的方向，確定所述眼睛(100)相對于所述成像單元(200)的 視線方向(a3， (33)。
29.根據(jù)權(quán)利要求28所述的計算機(jī)程序產(chǎn)品，其中所述計算機(jī)代 碼段是用于-基于所述兩個反射斑點(Gl、 G2)的坐標(biāo)，確定眼睛(100) 的表面上的第一反射點(N)的角位置和第二反射點(M)的角位置，畫基于所述校準(zhǔn)的光束(LB1、 LB2)的方向和第一矢量(CN) 和第二矢量(CM)的方向，確定所述第一反射點(N)的第一表面法 線(Nl)和所述第二反射點(M)的第二表面法線(N2)，由所述 成像單元(200)的投影中心(C)和所述第一反射點(N)指定所述 第一矢量(CN),以及由所述成像單元(200)的投影中心(C)和 所述第二反射點(M)指定所述第二矢量(CM)，-確定第三矢量(GH),其基本上垂直于所述表面法線(Nl, N2)，-確定所述第一矢量(CN)、第二矢量(CM)和第三矢量(GH) 的長度，曙由在所述第三矢量(GH)上的點(O)近似估計眼睛中心的位 置，所述點優(yōu)選地是所述第三矢量(GH)的中點，-基于所述圖像(201)中的瞳孔和/或虹膜的坐標(biāo)確定第四矢量 (CP)的方向，所述第四矢量(CP)是由所述成像單元(200)的投 影中心(C)和瞳孔中心(P)所指定的，-確定瞳孔中心(P)的位置，以及-基于所述近似估計的眼睛中心(0)和所述瞳孔中心(P)的位 置，提供所述視線方向(a3, |33)。
全文摘要
將兩個校準(zhǔn)的光束(LB1、LB2)瞄準(zhǔn)眼睛(100)來提供兩個反射斑點(G1、G2)。有利地，通過衍射擴(kuò)束器(400)提供校準(zhǔn)的光束(LB1、LB2)。由成像單元(200)監(jiān)視眼睛(100)的反射斑點(G1、G2)和瞳孔(120)。校準(zhǔn)的光束(LB1、LB2)相對于成像單元(200)處在不同的角(α1、α2)。基于所述角(α1、α2)、反射斑點(G1、G2)的位置、以及瞳孔(120)的位置來確定視線方向(α3)。由于使用兩個校準(zhǔn)的光束(LB1、LB2)，所檢測的視線方向基本上獨立于眼睛(100)的尺寸，獨立于眼睛(100)的橫向位置，也獨立于在成像單元(200)和眼睛(100)之間的距離(L2)?？墒褂盟鶛z測的視角，在虛擬顯示器(500)顯示的選項之間進(jìn)行選擇。
文檔編號G06F3/00GK101336089SQ200680051822
公開日2008年12月31日 申請日期2006年1月26日 優(yōu)先權(quán)日2006年1月26日
發(fā)明者V·尼默拉 申請人:諾基亞公司