眼睛跟蹤校準(zhǔn)系統(tǒng)及方法
【專利說(shuō)明】眼睛跟蹤校準(zhǔn)系統(tǒng)及方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2013年2月14日提交的申請(qǐng)?zhí)枮?1/764939，名稱為“眼睛跟蹤校準(zhǔn)系統(tǒng)和方法”的美國(guó)臨時(shí)申請(qǐng)的優(yōu)先權(quán)，該臨時(shí)申請(qǐng)的全部?jī)?nèi)容通過(guò)引用并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明一般涉及眼睛跟蹤控制，更具體地，涉及便于眼睛跟蹤控制校準(zhǔn)的系統(tǒng)和方法。
【背景技術(shù)】
[0004]采用眼睛跟蹤技術(shù)可確定用戶的視線，根據(jù)視線被追蹤的特定用戶可校準(zhǔn)所述眼睛跟蹤技術(shù)。眼睛跟蹤技術(shù)的校準(zhǔn)包括在顯示器上顯示校準(zhǔn)點(diǎn)。在所述校準(zhǔn)過(guò)程中，用戶可注視該校準(zhǔn)點(diǎn)，基于所述校準(zhǔn)點(diǎn)的已知位置和通過(guò)在校準(zhǔn)過(guò)程中捕獲的圖像呈現(xiàn)的眼睛信息校準(zhǔn)所述眼睛跟蹤技術(shù)。
[0005]哈欽森在美國(guó)專利4950069中描述了校準(zhǔn)技術(shù)的一個(gè)實(shí)施例，該實(shí)施例記載了在顯示器的已知位置上顯示的一系列校準(zhǔn)點(diǎn)。用戶注視每個(gè)校準(zhǔn)點(diǎn)，同時(shí)該系統(tǒng)收集與用戶瞳孔中心和閃爍中心有關(guān)的信息。一旦校準(zhǔn)過(guò)程完成，該系統(tǒng)計(jì)算一組線性方程的系數(shù)，所述線性方程將瞳孔-閃爍(pupil-glint)位移映射到屏幕的坐標(biāo)上。
[0006]這種校準(zhǔn)技術(shù)提高了眼睛跟蹤技術(shù)的準(zhǔn)確性，但是它們明確涉及用戶的參與，這可能復(fù)雜和費(fèi)時(shí)。另外，如果校準(zhǔn)丟失(例如，由于環(huán)境中照明的改變)，用戶需要停止當(dāng)前的活動(dòng)重新運(yùn)行校準(zhǔn)過(guò)程調(diào)整校準(zhǔn)參數(shù)。
【附圖說(shuō)明】
[0007]通過(guò)舉例的方式說(shuō)明某些實(shí)施例但不限于附圖。
[0008]圖1為與對(duì)接裝置耦合的計(jì)算裝置的一個(gè)實(shí)施例的裝置示意圖，所述對(duì)接裝置能便于眼睛跟蹤控制；
[0009]圖2為與對(duì)接裝置耦合的計(jì)算裝置的另一個(gè)實(shí)施例的裝置示意圖，所述對(duì)接裝置能便于眼睛跟蹤控制；
[0010]圖3A-3C為計(jì)算裝置的實(shí)施例的裝置示意圖，所述計(jì)算裝置能便于眼睛跟蹤控制。
[0011]圖4為便于眼睛跟蹤控制的軟件架構(gòu)(software architecture)的一個(gè)實(shí)施例的框圖。
[0012]圖5為便于眼睛跟蹤控制的數(shù)據(jù)流的一個(gè)實(shí)施例的框圖。
[0013]圖6A-6C為界面示意圖，該示意圖描述了顯示了對(duì)象的用戶界面的實(shí)施例，該用戶界面便于眼睛跟蹤校準(zhǔn)。
[0014]圖7為在輸入個(gè)人識(shí)別號(hào)碼的過(guò)程中，便于眼睛跟蹤校準(zhǔn)的方法的一個(gè)實(shí)施例的流程圖。
[0015]圖8A和8B為便于眼睛跟蹤校準(zhǔn)的方法的實(shí)施例的流程圖。
[0016]圖9為計(jì)算系統(tǒng)形式的機(jī)器的框圖，該計(jì)算系統(tǒng)中的一組指令用于使該機(jī)器執(zhí)行在此討論的一個(gè)或多個(gè)方法。

【發(fā)明內(nèi)容】

[0017]對(duì)便于眼睛跟蹤控制校準(zhǔn)的系統(tǒng)和方法的實(shí)施例進(jìn)行了說(shuō)明。在下面的描述中，出于解釋的目的，詳細(xì)描述了許多具體的細(xì)節(jié)以便充分理解實(shí)施例。然而，很明顯，無(wú)需這些具體的細(xì)節(jié)本領(lǐng)域技術(shù)人員也可實(shí)施本技術(shù)。
[0018]計(jì)算裝置的用戶可與對(duì)象交互和控制對(duì)象，且通過(guò)用戶的眼睛運(yùn)動(dòng)，應(yīng)用顯示在所述計(jì)算裝置上。由所述計(jì)算裝置或與所述計(jì)算裝置耦合的對(duì)接裝置上的相機(jī)捕獲的用戶的眼睛和/或面部圖像可采用計(jì)算機(jī)視覺(jué)算法如眼睛跟蹤和視線檢測(cè)算法分析。例如，捕獲的圖像可被處理以提取與用戶的眼睛和/或面部特征有關(guān)的信息。然后，所述計(jì)算裝置使用提取的信息確定用戶眼睛的位置并估算與用戶有關(guān)的視線信息。用戶的視線信息可估算用戶正在觀看的地方并包括如用戶視線、注視信息的點(diǎn)(如，用戶正在觀看的在所述顯示器上的位置)、用戶注視的方向等信息。例如，所述計(jì)算裝置能估算用戶正在觀看的顯示器上的圖標(biāo)。對(duì)用戶正在觀看的估算可用于指示一個(gè)或多個(gè)對(duì)象、應(yīng)用程序等，以執(zhí)行特定操作。例如，根據(jù)用戶正在觀看的位于所述計(jì)算裝置的所述顯示器上的地方，用戶可指示和控制所述顯示器上的對(duì)象的運(yùn)動(dòng)，包括控制滾動(dòng)功能、虛擬游戲中對(duì)象的運(yùn)動(dòng)、控制指針和光標(biāo)的位置等。對(duì)用戶正在觀看的估算還可用于分析顯示在吸引用戶注意力的屏幕上的區(qū)域或?qū)ο?，或者，所述估算還可用于研究用戶注視的圖形用戶界面上的對(duì)象。例如，通過(guò)吸引用戶注意力的眼睛跟蹤信息指示區(qū)域或?qū)ο罂筛倪M(jìn)應(yīng)用程序用戶界面的設(shè)計(jì)，因而當(dāng)與應(yīng)用程序交互時(shí)，用戶有更好的經(jīng)驗(yàn)。
[0019]當(dāng)用戶開(kāi)始使用所述計(jì)算裝置時(shí)，可進(jìn)行校準(zhǔn)過(guò)程，以計(jì)算與所述用戶有關(guān)的校準(zhǔn)參數(shù)。可考慮這些校準(zhǔn)參數(shù)以準(zhǔn)確地確定使用者眼睛的位置并估算用戶正在觀看的所述顯示器上的位置。還可考慮所述校準(zhǔn)參數(shù)以確定三維(3-D)空間(如，視線)中用戶眼睛視線的方向。當(dāng)調(diào)節(jié)與用戶有關(guān)的獨(dú)特的特性時(shí)，通過(guò)顯示所述顯示器上的已知位置上的一系列一個(gè)或多個(gè)顯示對(duì)象，所述計(jì)算裝置可校準(zhǔn)眼睛控制計(jì)算并確定用戶正在觀看的所述顯示器上的位置。該校準(zhǔn)過(guò)程可以用戶不知道正在校準(zhǔn)的方式執(zhí)行。例如，用戶可以玩包括顯示游戲?qū)ο蟮挠螒?，因而它們可在所述?jì)算裝置的所述顯示器上移動(dòng)。所述游戲?qū)ο罂捎糜陔[蔽地校準(zhǔn)所述眼睛控制計(jì)算，以更準(zhǔn)確地反映用戶的眼睛特性。該系統(tǒng)的這種校準(zhǔn)是連續(xù)的，且可發(fā)生在所述用戶以不被用戶發(fā)覺(jué)的校準(zhǔn)的方式玩游戲的時(shí)候。在應(yīng)用程序不直接由用戶控制的情況下(如，當(dāng)廣告在屏幕上顯示時(shí)收集視線數(shù)據(jù))，所述校準(zhǔn)參數(shù)可基于檢測(cè)到的所述眼睛運(yùn)動(dòng)模式離線計(jì)算。
具體實(shí)施例
[0020]圖1為計(jì)算裝置102的一個(gè)實(shí)施例的裝置示意圖100，所述計(jì)算裝置102與對(duì)接裝置104耦合，所述對(duì)接裝置104能方便眼睛跟蹤控制。所述計(jì)算裝置102可以是任何類型的計(jì)算裝置，包括但不限于智能電話、掌上電腦(PDA)、移動(dòng)電話、平板電腦、電子閱讀器、電視機(jī)、筆記本電腦、臺(tái)式計(jì)算機(jī)、顯示裝置、頭盔式顯示器等。在眼睛跟蹤控制的過(guò)程中，用戶可用一只手、兩只手握住所述計(jì)算裝置102并使用所述計(jì)算裝置102，或當(dāng)所述計(jì)算裝置102放置在支架上或支撐在表面上時(shí)，用戶可使用所述計(jì)算裝置102。
[0021]對(duì)接裝置104可與所述計(jì)算裝置102以任何方式耦合，例如通過(guò)所述計(jì)算裝置102上的通用串行總線(USB)接口、所述計(jì)算裝置102上的微型USB接口等。雖然圖1中的所述對(duì)接裝置104設(shè)置在所述計(jì)算裝置102的底部，但是本領(lǐng)域技術(shù)人員可理解所述對(duì)接裝置104可位于與所述計(jì)算裝置102相關(guān)的任何合適位置上。所述對(duì)接裝置104可包括相機(jī)模塊108和一個(gè)或多個(gè)發(fā)光二極管(LED) 106。出于解釋的目的，整個(gè)本發(fā)明描述和記載了發(fā)光二極管106。然而，本領(lǐng)域的普通技術(shù)人員可理解可使用任何合適的發(fā)光源(例如，紅外線激光器)。另外，雖然本發(fā)明描述了一個(gè)或多個(gè)LED，但是本領(lǐng)域的普通技術(shù)人員能理解沒(méi)有LED也可以實(shí)現(xiàn)眼睛跟蹤功能。
[0022]所述對(duì)接裝置104包括任何數(shù)量的紅外線LED 106，所述紅外線LED可以任何方式放置在所述對(duì)接裝置104中的合適位置(例如，傾斜一定的角度使它指向用戶的面部)。在一個(gè)具體的實(shí)施方案中，一個(gè)或多個(gè)LED 106與一個(gè)或多個(gè)相機(jī)同步。當(dāng)一個(gè)或多個(gè)相機(jī)抓幀時(shí)，一個(gè)或多個(gè)LED打開(kāi)，否則關(guān)閉。在某些實(shí)施例中，如果沒(méi)有檢測(cè)到運(yùn)動(dòng)或者如果所述對(duì)接設(shè)備104和/或計(jì)算設(shè)備102進(jìn)入睡眠模式，可關(guān)閉LED。
[0023]在某些實(shí)施例中，所述對(duì)接裝置104還包括適合類型的紅外通過(guò)濾光片(infrared pass filter)(例如，有源、機(jī)械、高通、帶通等)。在某些實(shí)施例中使用了能阻止800nm以下的光并允許800nm以上的光通過(guò)的高通濾光片。在某些實(shí)施例中，所述紅外帶通濾光片只能允許800-900nm之間的光進(jìn)入所述相機(jī)模塊108的一個(gè)或多個(gè)相機(jī)中。
[0024]所述相機(jī)模塊108包括一個(gè)或多個(gè)面向前的相機(jī)，所述相機(jī)以任何方式設(shè)置在所述對(duì)接裝置104(如，傾斜一定的角度以指向用戶的面部)中的任何合適位置，且用于捕獲用戶的眼睛和/或面部圖像。一個(gè)或多個(gè)相機(jī)與LED 106以適當(dāng)?shù)木嚯x設(shè)置，以優(yōu)化紅外光的適當(dāng)捕獲。在某些實(shí)施例中，所述計(jì)算裝置102上的相機(jī)與立體聲模式的相機(jī)模塊108結(jié)合使用。在某些實(shí)施例中，所述相機(jī)模塊108包括以下中任何一個(gè)或多個(gè):以合適的每秒幀速度(frame-per-second rate)(如，每秒30幀的高清)運(yùn)行的黑白(例如，單色)或彩色(例如，RGB)的互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器、無(wú)紅外阻斷濾光片且具有適當(dāng)視野(如，約35。)和景深(depth of field)的鏡頭(如，約30_80cm的移動(dòng)設(shè)備和約2_5m的電視機(jī))等。所述相機(jī)模塊108中的一個(gè)或多個(gè)相機(jī)傾斜朝向用戶的面部。
[0025]相機(jī)捕獲的圖像可以旋轉(zhuǎn)。所述眼睛跟蹤軟件可使用所述計(jì)算裝置102 (如，加速度計(jì)、磁力計(jì)等)上的傳感器檢測(cè)所述計(jì)算裝置102的朝向并使所述圖像相應(yīng)地旋轉(zhuǎn)，從而使它能夠被適當(dāng)?shù)靥幚怼?br>[0026]LED 106發(fā)出的光可朝向用戶的眼睛聚焦并集中。來(lái)自LED 106的紅外光在瞳孔中和用戶的眼角膜上反射并由所述相機(jī)模塊108中的相機(jī)記錄。在某些實(shí)施例中，所述LED106與一個(gè)或多個(gè)相機(jī)同步，因而當(dāng)一個(gè)或多個(gè)相機(jī)抓取圖像時(shí)，所述LED 106只是打開(kāi)。在某些實(shí)施例中，為了提高圖像的質(zhì)量，采用紅外通過(guò)濾光片過(guò)濾掉800nm以下的可見(jiàn)光。所述相機(jī)模塊108中的一個(gè)或多個(gè)相機(jī)的鏡頭的視野和景深允許用戶走來(lái)走去，從而適應(yīng)用戶的頭部姿勢(shì)變化。所述眼睛跟蹤控制軟件可以分析所述相機(jī)模塊108捕獲的圖像，以提供用戶正在觀看的所述計(jì)算裝置102的所述顯示器上的位置的屏幕坐標(biāo)(x，y)。這些坐標(biāo)可用于很多應(yīng)用(如，滾動(dòng)、移動(dòng)對(duì)象、選擇圖標(biāo)、玩游戲等)。
[0027]LED 106和相機(jī)模塊108可以任何方式打開(kāi)和/或關(guān)閉，例如通過(guò)利用外部滑塊、所述計(jì)算裝置102或所述對(duì)接裝置104的側(cè)面或背后上的專用開(kāi)關(guān)按鈕，或由屏幕上的應(yīng)用程序或數(shù)字按鈕控制、由所述計(jì)算裝置102和/或所述對(duì)接裝置104的運(yùn)動(dòng)或震動(dòng)控制、由語(yǔ)音命令、屏幕上的電容式按鈕、觸摸板、生物信號(hào)(例如，EMG、EEG等)、遠(yuǎn)程控制、手勢(shì)和/或人物姿勢(shì)控制等。這樣，在某些實(shí)施例中，只有當(dāng)LED和所述相機(jī)打開(kāi)時(shí)(例如，當(dāng)用戶正在使用眼睛跟蹤功能時(shí))，所述眼睛跟蹤組件才會(huì)消耗功率。
[0028]在某些實(shí)施例中，當(dāng)所述相機(jī)位于所述計(jì)算裝置102(如，與用戶的視角有關(guān))的底部時(shí)，所述眼睛跟蹤功能被優(yōu)化。用戶可使與所述對(duì)接裝置104耦合的所述計(jì)算裝置102旋轉(zhuǎn)以正確地定向所述相機(jī)模塊108，因此其位于所述計(jì)算裝置102的底部。在某些實(shí)施方案中，通過(guò)采用所述計(jì)算裝置102的所