人眼跟蹤方法及裝置制造方法
【專利摘要】本發(fā)明涉及信息【技術領域】，具體而言，涉及人眼跟蹤方法及裝置。該人眼跟蹤方法，包括：根據眼睛在當前幀圖像中的位置，利用構造的卡爾曼Kalman濾波器預測下一幀圖像中眼睛的位置，得到眼睛位置預測值；當所述下一幀圖像成為當前幀圖像時，利用所述眼睛位置預測值在該當前幀圖像中進行搜索，得到與目標模板亮度分布匹配的潛在目標，其中所述目標模板基于初始模板獲取，所述初始模板根據接收的初始幀圖像構造；將所述潛在目標作為眼睛的跟蹤目標實現眼睛的跟蹤。本發(fā)明提供的人眼跟蹤方法及裝置，不易受照明條件的影響，魯棒性較好，更能滿足人眼追蹤的實際需求。
【專利說明】人眼跟蹤方法及裝置
【技術領域】
[0001]本發(fā)明涉及信息【技術領域】，具體而言，涉及人眼跟蹤方法及裝置。
【背景技術】
[0002]人眼跟蹤是在視頻或圖像序列中確定人眼的運動軌跡及大小變化的過程。人眼跟蹤是人臉跟蹤中的重要一部分，其在圖像分析與識別、圖像監(jiān)控與檢索等領域具有重大意義，成為大量學者關注的焦點，許多行之有效的算法相繼出現。
[0003]例如，采用AdaBoost迭代算法實現人眼追蹤，但該算法在屏幕旋轉角度大或人臉旋轉角度大時無法準確捕捉到人臉，而且利用該算法只能定位人臉無法捕捉到眼睛。現有的其他人眼追蹤方法對于光照等比較敏感，魯棒性比較差，例如在通過亮瞳孔實現眼睛的跟蹤算法中，需要穩(wěn)定紅外照明條件才能對眼睛進行追蹤。
[0004]由此看出現有的人眼追蹤方法容易受照明條件的影響，魯棒性較差，不滿足人眼追蹤的實際需求。

【發(fā)明內容】

[0005]本發(fā)明的目的在于提供人眼跟蹤方法及裝置，以解決上述的問題。
[0006]在本發(fā)明的實施例中提供了人眼跟蹤方法，包括:
[0007]根據眼睛在當前幀圖像中的位置，利用構造的卡爾曼Kalman濾波器預測下一幀圖像中眼睛的位置，得到眼睛位置預測值；
[0008]當所述下一幀圖像成為當前幀圖像時，利用所述眼睛位置預測值在該當前幀圖像中進行搜索，得到與目標模板亮度分布匹配的潛在目標，其中所述目標模板基于初始模板獲取，所述初始模板根據接收的初始幀圖像構造；
[0009]將所述潛在目標作為眼睛的跟蹤目標實現眼睛的跟蹤。
[0010]優(yōu)選地，該方法還包括根據接收的初始幀圖像構造眼睛的初始模板，包括:
[0011]在所述初始幀圖像中進行人臉檢測，獲取人臉檢測圖像；
[0012]對所述人臉檢測圖像進行灰度處理，得到人臉灰度圖；
[0013]對所述人臉灰度圖進行垂直灰度投影，得到垂直灰度投影圖；
[0014]根據所述垂直灰度投影圖中的垂直灰度投影曲線中凸峰的左右邊界確定人臉的左右邊界；
[0015]根據所述人臉的左右邊界對所述垂直灰度投影圖進行裁剪，得到新的人臉灰度圖；
[0016]對所述新的人臉灰度圖進行水平灰度投影，得到水平灰度投影圖；
[0017]根據所述水平灰度投影圖中的水平灰度投影曲線確定頭頂及鼻中部形成的上下邊界，根據所述上下邊界確定眉眼區(qū)域；
[0018]運用索貝爾SOBEL算子求出所述眉眼區(qū)域的邊界值，并進行邊緣分組，定位出眼睛的位置并得到所述初始模板；[0019]其中所述初始模板為預測第二幀圖像中眼睛的位置的目標模板。
[0020]優(yōu)選地，該方法還包括當獲取到所述跟蹤目標時，利用所述跟蹤目標對當前的所述目標模板更新；利用得到的新的目標模板預測下一幀圖像中眼睛的位置。
[0021]優(yōu)選地，該方法還包括構造Kalman濾波器，其中包括:確定接收的圖像序列的狀態(tài)模型及測量模型；所述確定圖像序列的狀態(tài)模型包括:采用算法Xt+1= Θ xt+wt表示所述狀態(tài)模型；
[0022]其中設定(ct, rt)為t時刻眼睛的質心位置，(ut, vt)為t時刻眼睛在c方向和r方向的速度，則t時刻眼睛的狀態(tài)向量為xt=(c_t, r_t, u_t, v_t)T,wt為系統(tǒng)噪聲；假定眼睛在連續(xù)的兩幀圖像之間的位移趨于零，且為勻速運動，運動時間為At，則狀態(tài)轉移矩陣為
【權利要求】
1.人眼跟蹤方法，其特征在于，包括: 根據眼睛在當前幀圖像中的位置，利用構造的卡爾曼Kalman濾波器預測下一幀圖像中眼睛的位置，得到眼睛位置預測值； 當所述下一幀圖像成為當前幀圖像時，利用所述眼睛位置預測值在該當前幀圖像中進行搜索，得到與目標模板亮度分布匹配的潛在目標，其中所述目標模板基于初始模板獲取，所述初始模板根據接收的初始幀圖像構造； 將所述潛在目標作為眼睛的跟蹤目標實現眼睛的跟蹤。
2.根據權利要求1所述的方法，其特征在于，該方法還包括根據接收的初始幀圖像構造眼睛的初始模板，包括: 在所述初始幀圖像中進行人臉檢測，獲取人臉檢測圖像； 對所述人臉檢測圖像進行灰度處理，得到人臉灰度圖；
對所述人臉灰度圖進 行垂直灰度投影，得到垂直灰度投影圖； 根據所述垂直灰度投影圖中的垂直灰度投影曲線中凸峰的左右邊界確定人臉的左右邊界； 根據所述人臉的左右邊界對所述垂直灰度投影圖進行裁剪，得到新的人臉灰度圖； 對所述新的人臉灰度圖進行水平灰度投影，得到水平灰度投影圖； 根據所述水平灰度投影圖中的水平灰度投影曲線確定頭頂及鼻中部形成的上下邊界，根據所述上下邊界確定眉眼區(qū)域； 運用索貝爾SOBEL算子求出所述眉眼區(qū)域的邊界值，并進行邊緣分組，定位出眼睛的位置并得到所述初始模板； 其中所述初始模板為預測第二幀圖像中眼睛的位置的目標模板。
3.根據權利要求2所述的方法，其特征在于，該方法還包括當獲取到所述跟蹤目標時，利用所述跟蹤目標對當前的所述目標模板更新； 利用得到的新的目標模板預測下一幀圖像中眼睛的位置。
4.根據權利要求2所述的方法，其特征在于，該方法還包括構造Kalman濾波器，其中包括:確定接收的圖像序列的狀態(tài)模型及測量模型； 所述確定圖像序列的狀態(tài)模型包括:采用算法xt+1= Θ xt+wt表示所述狀態(tài)模型； 其中設定(ct, rt)為t時刻眼睛的質心位置，(ut, vt)為t時刻眼睛在c方向和r方向的速度，則t時刻眼睛的狀態(tài)向量為xt=(c_t, r_t, u_t, v_t)T, wt為系統(tǒng)噪聲；假定眼睛在連續(xù)的兩幀圖像之間的位移趨于零，且為勻速運動，運動時間為At，則狀態(tài)轉移矩陣為
5.根據權利要求3所述的方法，其特征在于，所述利用所述眼睛位置預測值在該當前幀圖像中進行搜索，得到與目標模板亮度分布匹配的潛在目標，包括:采用Mean Shift算法，將所述眼睛位置預測值作為所述Mean Shift算法的初始值進行迭代運算； 根據迭代運算的結果在該當前幀圖像中搜素出與目標模板亮度相似度最大的潛在目標，其中所述目標模板與所述潛在目標之間的相似程度用巴氏距離Bhattacharyya距離值度量。
6.根據權利要求5所述的方法，其特征在于，采用Bhattacharyya距離值度量所述目標模板與所述潛在目標之間的相似程度，包括: 利用算法
7.根據權利要求5所述的方法，其特征在于，所述在該當前幀圖像中搜素出與目標模板亮度相似度最大的潛在目標，包括: 所述Kalman濾波器預測出的所述眼睛位置預測值在當前幀圖像中的位置設定為.V0 ； 以.?起始點在所述當前幀圖像中進行目標搜索，包括計算當前幀圖像中位置為j>u的潛在目標的顏色概率，根據所述顏色概率最小化亮度差距d以及最大化Bhattacharyya距離； 根據亮度差距d最小化以及Bhattacharyya距離最大化的結果得到與所述目標模板亮度相似度最大的潛在目標。
8.根據權利要求7所述的方法，其特征在于，所述根據所述顏色概率最小化亮度差距d以及最大化Bhattacharyya距離，包括: a、根據j\)初始化當前幀圖像中潛在目標的位置，并計算所述潛在目標的顏色概率Ptl(Vn)并得到 Bhattacharyya 距離
9.人眼跟蹤裝置，其特征在于，包括: 預測模塊，用于根據眼睛在當前幀圖像中的位置，利用構造的Kalman濾波器預測下一幀圖像中眼睛的位置，得到眼睛位置預測值； 搜索模塊，用于當所述下一幀圖像成為當前幀圖像時，利用所述眼睛位置預測值在該當前幀圖像中進行搜索，得到與目標模板亮度分布匹配的潛在目標，其中所述目標模板基于初始模板獲取，所述初始模板根據接收的初始幀圖像構造； 跟蹤模塊，用于將所述潛在目標作為眼睛的跟蹤目標實現眼睛的跟蹤。
【文檔編號】G06K9/00GK103942542SQ201410160852
【公開日】2014年7月23日 申請日期:2014年4月18日 優(yōu)先權日:2014年4月18日
【發(fā)明者】沈威, 張濤, 張春光, 李春, 俞能海, 楊柳 申請人:重慶卓美華視光電有限公司