頭部和眼睛跟蹤的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般設(shè)及用于處理對確定視動性眼震（optokineticnystagmus)和頭部運 動有用的視頻信息的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 幼兒視覺功能的準(zhǔn)確評估尤其具有挑戰(zhàn)性。存在幾種可用的方法，但是沒有一種 特別適于被沒有對小兒眼科、驗光學(xué)和/或視覺電生理學(xué)進行過廣泛培訓(xùn)的衛(wèi)生保健提供 者使用。
[0003] 視動性眼震（OKN)是由連續(xù)移動的圖案或刺激觸發(fā)的不自主的眼睛運動現(xiàn)象，并 且可W被用來評估視覺功能。OKN是眼睛移動W平滑地追尋視覺刺激中的目標(biāo)然后是其中 眼睛固定到新刺激目標(biāo)的重置事件（掃視）的重復(fù)。圖1(b)示出了隨時間推移的眼睛位 移的圖，示出了作為OKN眼睛運動的特點的銀齒OKN曲線圖。
[0004]OKN的存在或不存在是視覺性能的客觀指示并且也會對評估神經(jīng)障礙有用。在人 的一生中視力問題的早期檢測對于顯著改善繼續(xù)治療的結(jié)果也是已知的。
[0005]OKN視覺刺激由具有可修改的屬性，包括對比度、頻率或相干性，的線或點的排列 組成。操縱運些參數(shù)允許測量OKN在其不再存在的闊值。運個闊值是視覺性能的量度。
[0006]引起OKN的一種方法是使用具有視覺刺激的手持轉(zhuǎn)鼓。臨床醫(yī)生觀察眼睛運動， W做出關(guān)于OKN存在或不存在的決定。
[0007] 檢測OKN的另一種方法被稱為眼電圖法。放在眼睛周圍的電極在眼睛（強偶極 子）響應(yīng)于視覺刺激而移動時測量電勢的變化。由電極產(chǎn)生的信號被分析，W確定OKN的 存在或不存在。
[0008] 檢測OKN的另一種方法是使用視頻眼震圖技術(shù)。眼睛的位置通過檢查觀察直播 或錄制的視頻來跟蹤。視頻眼震圖是有吸引力的，因為它是非侵入性的并且可W利用低成 本和基本的視頻硬件來實現(xiàn)。美國專利7, 380, 938描述了一種視頻眼震圖技術(shù)，其中眼睛 的視頻錄像被記錄，眼睛的垂直和水平運動被隔離并且眼睛在水平和垂直方向的位移被測 量。位移測量可W被分析，W確定OKN圖案的存在或不存在。
[0009] 視頻眼震圖技術(shù)的一個缺點是它們要求在相機與眼睛之間的固定位置關(guān)系，W便 消除由頭部運動引入的性能誤差。為了防止頭部運動，常常需要受試者將他們的頭部放在 固定的腮托中或者佩戴頭戴式裝備，諸如相機和照明裝備，W改善視頻記錄。幼兒和嬰兒不 能忍受頭部固定或頭戴式裝置（gear)，運阻礙了利用視頻眼震圖技術(shù)對其視覺功能的客觀 評估。
[0010] 本發(fā)明的目標(biāo)設(shè)及克服或至少改善一些上述缺點或者至少為公眾提供有用選擇 的評估視動性眼震的途徑。
[0011]在本說明書中，其中對外部信息源，包括專利說明書和其它文件，進行的引用，運 一般而言是為了給討論本發(fā)明的特征提供背景。除非另有說明，否則對運些信息源的引用 在任何司法管轄范圍中都不應(yīng)當(dāng)被解釋為承認(rèn)運些信息源是現(xiàn)有技術(shù)或者構(gòu)成本領(lǐng)域的 公知常識的一部分。

【發(fā)明內(nèi)容】

[0012] 在一個廣泛的方面，本發(fā)明包括從具有多個帖的視頻錄像提取眼睛速度信息的方 法，包括在視頻錄像的至少兩帖中檢測眼睛的至少一部分，對視頻錄像的所述至少兩帖應(yīng) 用光流算法W提取像素速度信息，W及從所檢測的眼睛的所述至少一部分內(nèi)的像素速度信 息確定統(tǒng)計測量。
[0013] 在另一個廣泛的方面，本發(fā)明包括眼睛跟蹤系統(tǒng)，包括布置為捕獲眼睛的錄像的 相機、被配置為接收眼睛的錄像并且執(zhí)行W下步驟的控制器：在錄像的至少兩帖中檢測眼 睛的至少一部分、對該錄像應(yīng)用光流算法W從而確定錄像的所述至少兩帖之間的像素速度 信息、W及從所檢測的眼睛的所述至少一部分內(nèi)的像素速度信息確定統(tǒng)計測量。
[0014] 在另一個廣泛的方面，本發(fā)明包括被編程為執(zhí)行W下步驟的控制器設(shè)備：在錄像 的至少兩帖中檢測眼睛的至少一部分、對該錄像應(yīng)用光流算法W從而確定錄像的所述至少 兩帖之間的像素速度信息、W及從被檢測的眼睛的至少一部分內(nèi)的像素速度信息確定統(tǒng)計 測量。
[0015] 一些實施例還包括一個或多個步驟（W任何次序）：
[0016] 從速度信息確定眼睛的至少一部分的速度量值W及方向、從速度信息確定任何速 度最大值和最小值、比較任何最大值或最小值與下速度闊值并且丟棄低于該闊值的任何最 大值或最小值、比較任何最大值或最小值與上速度闊值并且丟棄高于該闊值的任何最大值 或最小值、比較相鄰的最大值或最小值之間的帖間距離與帖闊值并且丟棄低于該帖闊值的 任何最大值或最小值、確定速度信息中的任何單獨的最大值或單獨的最小值并且丟棄單獨 的最大值或單獨的最小值、將最大值或最小值速度量值求平均、和/或規(guī)格化最大值或最 小值速度量值。
[0017] 在一些實施例中，像素速度信息的統(tǒng)計測量是平均像素速度。
[0018] 在一些實施例中，眼睛的至少一部分是眼睛的對比度不連續(xù)的區(qū)域。
[0019] 在一些實施例中，眼睛的至少一部分是眼睛的角膜緣部分。
[0020] 一些實施例還包括為視頻錄像中每個連續(xù)的帖生成像素速度平均值的列表。
[0021] 一些實施例還包括比較所確定的速度信息與健康速度信息，W確定眼睛和/或視 覺通路的健康狀況。
[0022] -些實施例還包括比較所確定的速度信息與健康速度信息，W確定OKN的存在性 和/或強度。
[0023] 在一些實施例中，眼睛的角膜緣部分由邊緣檢測算法確定。
[0024] 在一些實施例中，邊緣檢測通過Prewitt算子的應(yīng)用來執(zhí)行。
[00巧]在一些實施例中，光流算法是Lucas-Kanade光流算法。
[0026] 在一些實施例中，光流算法被用來確定對應(yīng)于若干重置事件的一定長度的視頻錄 像的連續(xù)帖之間的像素速度信息。
[0027] -些實施例還包括布置在眼睛前面的視覺刺激，該刺激可操作為引起視動性眼 震。
[0028] 一些實施例還包括比較平均速度信息與已知的視動性眼震速度信息，W響應(yīng)于刺 激而確定眼睛的健康狀況。
[0029] 在一些實施例中，視頻錄像是從觀看刺激的受試者獲得的。
[0030] 在一些實施例中，刺激是屏幕。
[0031] 在一些實施例中，相機和屏幕被包含在外殼內(nèi)。
[0032] 在一些實施例中，相機、屏幕和控制器集成在外殼內(nèi)。
[0033] 在一些實施例中，外殼是智能電話、平板電腦或便攜式計算設(shè)備當(dāng)中任何一個或 多個。
[0034] 在一些實施例中，檢測眼睛的至少一部分不包括眼睛的特征的檢測。
[0035] 在另一個廣泛的方面，本發(fā)明包括改善受試者對眼睛跟蹤的關(guān)注的方法，包括操 作至少一個顯示器顯示具有獲得觀看者的關(guān)注的功能的視頻的視頻、操作至少一個顯示器 W示出OKN刺激視頻、W及利用相機記錄觀看OKN刺激視頻的眼睛。
[0036] 在一些實施例中，具有獲得觀看者的關(guān)注的功能的視頻是動畫視頻。
[0037] 在一些實施例中，該方法還包括根據(jù)權(quán)利要求1的從眼睛的記錄提取眼睛速度信 息的方法。
[0038] 在一些實施例中，統(tǒng)計測量被用來確定與人的行為、人對廣告的響應(yīng)、安全目的、 或消費者關(guān)注當(dāng)中一個或多個相關(guān)的信息。
[0039] 一些實施例還包括通過一種方法從視頻錄像提取頭部圖像軌跡信息，該方法包 括：在視頻錄像的至少兩帖中檢測頭部的面部區(qū)域的至少一部分、確定在所述至少兩帖之 間的面部區(qū)域的所述至少一部分的運動的測量、W及從運動的測量確定變換映射圖。
[0040] -些實施例還包括確定變換映射圖的逆、將變換的逆應(yīng)用到視頻錄像中的每一 帖，使得帖內(nèi)面部區(qū)域基本保持恒定。
[0041] 一些實施例還包括利用Viola-Jones算法從視頻錄像的帖內(nèi)檢測面部區(qū)域。
[0042] 一些實施例還包括利用Harris角點檢測算法在帖內(nèi)檢測面部區(qū)域的一個或多個 特定部分。
[0043] -些實施例還包括利用KanadeLucasTomasi化11')點跟蹤器確定連續(xù)視頻帖之 間的面部區(qū)域或面部區(qū)域的一個或多個特定部分的運動的測量。
[0044] 在一些實施例中，運動的測量包括旋轉(zhuǎn)、縮放和/或平移運動當(dāng)中一個或多個。
[0045] 在一些實施例中，變換映射圖是從運動信息創(chuàng)建的。
[0046] -些實施例還包括應(yīng)用逆相似性變換來偏移視頻錄像中每一帖，使得帖內(nèi)的面部 區(qū)域關(guān)于每一帖基本上保持恒定。
[0047] -些實施例還包括應(yīng)用逆相似性變換來修剪視頻錄像中每一帖W生成新的帖，使 得帖內(nèi)的面部區(qū)域關(guān)于每一帖基本上保持恒定。
[0048] 在一些實施例中，頭部軌跡信息被用來改善眼睛速度信息。
[0049] 在一些實施例中，頭部軌跡信息相對于眼睛跟蹤信息偏移，W基本上除去由頭部 運動造成的眼睛速度信息。
[0050] 在另一個廣泛的方面，本發(fā)明包括處理具有多個帖的視頻錄像W確定OKN的存在 性的方法，該方法包括：通過一種方法提取頭部軌跡信息，該方法包括：在視頻錄像的至少 兩帖中檢測頭部圖像的面部區(qū)域的至少一部分、確定所述至少兩帖之間的面部區(qū)域的所述 至少一部分的運動的測量W及從運動的測量確定變換映射圖、W及通過一種方法提取眼睛 速度信息，該方法包括：在視頻錄像的至少兩帖中檢測眼睛的至少一部分、對視頻錄像的所 述至少兩帖應(yīng)用光流算法W提取像素速度信息、W及從所檢測的眼睛的所述至少一部分內(nèi) 的像素速度信息確定統(tǒng)計測量。
[0051] 在一些實施例中，頭部軌跡信息相對于眼睛跟蹤信息偏移，W基本上除去由頭部 運動造成的眼睛速度信息。
[0052] 在另一個廣泛的方面，本發(fā)明包括從具有多個帖的視頻錄像中提取頭部圖像軌跡 信息的方法，該方法包括：在視頻錄像的至少兩帖中檢測頭部圖像的面部區(qū)域的至少一部 分、確定在所述至少兩帖之間的面部區(qū)域的所述至少一部分的運動的測量、W及從運動的 測量確定變換映射圖。
[0053] 在另一方面，本發(fā)明包括從具有多個帖的視頻錄像中提取頭部圖像軌跡信息的方 法，該方法包括：在視頻錄像的至少兩帖中檢測頭部圖像的面部區(qū)域的至少一部分、確定