本發(fā)明涉及視線跟蹤及空間幾何量測(cè)量領(lǐng)域。

背景技術(shù)：

視線跟蹤技術(shù)在人機(jī)交互、虛擬現(xiàn)實(shí)等領(lǐng)域有著重要的使用價(jià)值，能夠極大地?cái)U(kuò)展使用者的作業(yè)能力?；跈C(jī)器視覺的非接觸式視線跟蹤技術(shù)包括兩部分內(nèi)容：(1)視線特征參數(shù)提取，即在圖像中眼睛的位置，通常用瞳孔或虹膜中心表征；(2)視線方向建模，即由檢測(cè)到的眼睛特征參數(shù)跟蹤測(cè)量視線方向。視線特征參數(shù)提取通過圖像處理從眼睛圖像中提取瞳孔、虹膜和角膜反射斑等表征眼動(dòng)的參數(shù)。其中，瞳孔跟蹤是視線特征參數(shù)檢測(cè)的重要步驟。建立視線方向跟蹤模型，主要有基于二維和三維兩種形式，其中三維的又包括3D視線直接跟蹤方法和基于3D模型的視線跟蹤方法。

目前國(guó)內(nèi)外的頭戴式視線跟蹤裝置主要采用瞳孔-角膜反射向量法。通過固定眼攝像機(jī)獲取眼球圖像,利用亮瞳孔和暗瞳孔的原理,提取出眼球圖像內(nèi)的瞳孔,利用角膜反射法校正眼攝像機(jī)與眼球的相對(duì)位置,把角膜反射點(diǎn)數(shù)據(jù)作為眼攝像機(jī)和眼球的相對(duì)位置的基點(diǎn),瞳孔中心位置坐標(biāo)就表示視線的位置。該類裝置已經(jīng)可以獲得較高的視線跟蹤精度，但將人眼約束在固定空間內(nèi)，難以做到自由空間的視線跟蹤。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種改進(jìn)視線跟蹤技術(shù)，提供一種可以實(shí)現(xiàn)自由空間視線跟蹤的方法，并在此基礎(chǔ)上給出利用自由空間視線凝視點(diǎn)測(cè)量的空間幾何量測(cè)量方法。本發(fā)明利用雙目立體視覺的自由空間視線跟蹤方法，以兩對(duì)攝像機(jī)實(shí)時(shí)獲取雙眼圖像并實(shí)時(shí)解算雙眼視線方向及視線交匯點(diǎn)坐標(biāo)，結(jié)合姿態(tài)傳感器和GPS設(shè)備，即實(shí)時(shí)獲取雙眼視線在大地坐標(biāo)系中的空間方程，解算凝視點(diǎn)的空間坐標(biāo)，在凝視點(diǎn)空間坐標(biāo)的計(jì)算基礎(chǔ)上綜合場(chǎng)景攝相機(jī)的圖像，完成被凝視物體的空間幾何量測(cè)量。本發(fā)明的技術(shù)方案如下：

一種利用自由空間視線凝視點(diǎn)測(cè)量的空間幾何量測(cè)量方法，所采用的測(cè)量系統(tǒng)包括帶有左眼框架和右眼框架的眼鏡式框架、固定在眼鏡式框架上的兩個(gè)半透半反鏡、雙目立體視覺視線跟蹤攝像機(jī)、至少一個(gè)場(chǎng)景攝相機(jī)和位姿測(cè)量組件，其中，雙目立體視覺視線跟蹤攝像機(jī)包括兩組視線跟蹤雙目攝相機(jī)，兩個(gè)半透半反鏡分別固定在左眼框架和右眼框架內(nèi)，在每個(gè)半透半反鏡旁各設(shè)置組所述的視線跟蹤雙目攝相機(jī)，用以通過反光面對(duì)眼睛成像；所述的場(chǎng)景攝相機(jī)固定在眼鏡式框架上，用于對(duì)場(chǎng)景成像；所述的位姿測(cè)量組件包括三軸陀螺儀和傾角儀組成的位姿測(cè)量傳感器和GPS模塊，位姿測(cè)量傳感器配合GPS模塊實(shí)時(shí)測(cè)量使用者頭部空間位姿；空間幾何量測(cè)量方法為：

1)利用場(chǎng)景攝相機(jī)獲取被測(cè)物體的圖像；

2)對(duì)于每一組視線跟蹤雙目攝相機(jī)，根據(jù)相機(jī)參數(shù)，建立雙目立體視覺測(cè)量模型；將其采集到的眼睛圖像中提取出瞳孔邊緣，通過提取瞳孔邊緣的特征點(diǎn)，確定瞳孔所在空間平面方程系數(shù)，得到瞳孔所在平面方程，計(jì)算瞳孔中心點(diǎn)成像坐標(biāo)；計(jì)算瞳孔中心的空間坐標(biāo)；

3)定義過瞳孔中心的瞳孔所在平面的法線方向?yàn)橐暰€方向，對(duì)于左眼和右眼，分別確定的視線方向表達(dá)式；

4)得到凝視點(diǎn)的坐標(biāo)；

5)根據(jù)凝視點(diǎn)在被測(cè)空間大地坐標(biāo)系的坐標(biāo)不變的特性，通過位姿測(cè)量組件的實(shí)時(shí)位姿轉(zhuǎn)換，得到不變的凝視點(diǎn)的大地坐標(biāo)；

6)對(duì)被測(cè)物體進(jìn)行多次凝視操作后，取得形體表面若干點(diǎn)的空間坐標(biāo)，分別計(jì)算每個(gè)點(diǎn)之間的距離，并結(jié)合場(chǎng)景攝像機(jī)的圖像，完成對(duì)該被測(cè)物的空間幾何量測(cè)量。

綜上所述，利用視線跟蹤測(cè)量和頭部位姿測(cè)量得到空間中某個(gè)被凝視物體表面某點(diǎn)的空間坐標(biāo)，并將所有該類凝視點(diǎn)所在坐標(biāo)系的空間坐標(biāo)統(tǒng)一起來，可以獲得該被凝視物體表面的幾何尺寸，完成空間幾何量測(cè)量的工作。該方法能夠?qū)崿F(xiàn)被測(cè)物空間幾何量的非接觸測(cè)量，且不需要復(fù)雜的光源等環(huán)境設(shè)置，具備更好的通用性和使用便捷性，同時(shí)將被測(cè)物圖像與空間幾何尺寸有效地結(jié)合起來，創(chuàng)造了一種新型空間幾何量測(cè)量方式。

附圖說明

圖1系統(tǒng)結(jié)構(gòu)示意圖

圖2空間凝視點(diǎn)測(cè)量方法示意圖

圖3測(cè)量系統(tǒng)最佳實(shí)施方式示意圖

附圖標(biāo)記說明如下：

1 眼鏡式框架；2左眼框架；3右眼框架；4半透半反鏡；5場(chǎng)景攝相機(jī)；

6 視線跟蹤雙目攝相機(jī)；7GPS模塊8位姿測(cè)量傳感器。

具體實(shí)施方式

圖1為本發(fā)明采用的測(cè)量系統(tǒng)結(jié)構(gòu)示意圖，整個(gè)測(cè)量系統(tǒng)包括帶有左眼框架和右眼框架的眼鏡式框架、固定在眼鏡式框架上的兩個(gè)半透半反鏡、雙目立體視覺視線跟蹤攝像機(jī)、至少一個(gè)場(chǎng)景攝相機(jī)和位姿測(cè)量組件，其中，雙目立體視覺視線跟蹤攝像機(jī)包括兩組視線跟蹤雙目攝相機(jī)，兩個(gè)半透半反鏡分別固定在左眼框架和右眼框架內(nèi)，在每個(gè)半透半反鏡旁各設(shè)置組所述的視線跟蹤雙目攝相機(jī)，用以通過反光面對(duì)眼睛成像；所述的場(chǎng)景攝相機(jī)固定在眼鏡式框架上，用于對(duì)場(chǎng)景成像；所述的位姿測(cè)量組件包括三軸陀螺儀和傾角儀組成的位姿測(cè)量傳感器和GPS模塊，位姿測(cè)量傳感器配合GPS模塊實(shí)時(shí)測(cè)量使用者頭部空間位姿。

具體實(shí)現(xiàn)方法如下：

1、在雙目攝相機(jī)所采集到的眼睛圖像中提取出瞳孔邊緣，通過提取瞳孔邊緣的特征點(diǎn)(X_li,Y_li,Z_li),i＝0,1,…n-1，用這些特征點(diǎn)確定瞳孔所在空間平面方程系數(shù)(A_l,B_l,C_l,D_l)，得到瞳孔所在平面方程。經(jīng)擬合的瞳孔邊緣近似成圓形態(tài)，可計(jì)算圓中心坐標(biāo)，并視其為瞳孔中心點(diǎn)成像坐標(biāo)(u_l0,v_l0),采用雙目立體視覺測(cè)量模型計(jì)算瞳孔中心的空間坐標(biāo)(X_l0,Y_l0,Z_l0)，由空間幾何可知，瞳孔所在平面的法向量為則過瞳孔中心的瞳孔所在平面的法線方向表達(dá)式如下：

上式為瞳孔邊緣所構(gòu)成圓平面的中心點(diǎn)的法線方向表達(dá)式，即測(cè)量系統(tǒng)定義的視線方向。同樣可以得到右眼的視線方向表達(dá)式為：

通過聯(lián)立左右眼視線方程(1)和(2)，即可得到凝視點(diǎn)的坐標(biāo)(X_n,Y_n,Z_n)。

2、視線凝視點(diǎn)空間坐標(biāo)測(cè)量方法如圖2。視線所在移動(dòng)工作坐標(biāo)系下的坐標(biāo)，在剛性連接(由頭戴式裝置保證)的情況下，當(dāng)頭部位姿發(fā)生變化時(shí)，雙目視線跟蹤立體視覺測(cè)量系統(tǒng)與頭部位姿測(cè)量組件之間的相對(duì)位置不變，凝視點(diǎn)與雙目視線跟蹤立體視覺測(cè)量系統(tǒng)的相對(duì)位置是發(fā)生變化的，但是凝視點(diǎn)在被測(cè)空間大地坐標(biāo)系的坐標(biāo)不變，所以雖然凝視點(diǎn)在雙目視線跟蹤立體視覺測(cè)量系統(tǒng)基準(zhǔn)坐標(biāo)系的坐標(biāo)變化，但是通過頭部位姿測(cè)量組件的實(shí)時(shí)位姿轉(zhuǎn)換，可以得到不變的凝視點(diǎn)的大地坐標(biāo)。

其中(X_W,Y_W,Z_W)表示頭部位姿變換前的凝視點(diǎn)的大地坐標(biāo)，(X_W',Y_W',Z_W')表示頭部位姿變換后的凝視點(diǎn)的大地坐標(biāo)，ΔR_W,ΔT_W表示頭部的位姿變換，由頭部位姿測(cè)量組件獲得位姿補(bǔ)償信息。

利用自由空間視線凝視點(diǎn)測(cè)量的空間幾何量測(cè)量方法可由如圖3所示的系統(tǒng)實(shí)現(xiàn)：在半透半反鏡上方，采用兩對(duì)微型CMOS相機(jī)，通過反光面對(duì)眼睛成像；在半透半反鏡下方每一邊放置一個(gè)微型CMOS場(chǎng)景攝相機(jī)，通過反光面對(duì)場(chǎng)景成像；人眼通過半透半反鏡和頭罩窗口觀察場(chǎng)景。上述系統(tǒng)布局可實(shí)現(xiàn)既不妨礙人眼對(duì)場(chǎng)景的觀察，又覆蓋場(chǎng)景攝像機(jī)的拍攝范圍，將光線反射入場(chǎng)景攝像機(jī)，同時(shí)雙目攝相機(jī)可采集到清晰的眼睛圖像。該布局能夠準(zhǔn)確捕捉眼睛視線方向，當(dāng)對(duì)空間凝視點(diǎn)測(cè)量時(shí)可同時(shí)監(jiān)測(cè)雙眼形成視線空間交匯產(chǎn)生凝視點(diǎn)。位姿測(cè)量傳感器由三軸陀螺儀和傾角儀組成，配合雙頻差分GPS實(shí)時(shí)測(cè)量使用者頭部空間位姿。頭部位姿測(cè)量組件與視線跟蹤系統(tǒng)剛性聯(lián)接，組成完整的視線跟蹤及空間幾何量測(cè)量系統(tǒng)。兩對(duì)視線跟蹤攝像機(jī)跟蹤視線方向，解算出凝視點(diǎn)相對(duì)于人眼的空間坐標(biāo)，再結(jié)合GPS與姿態(tài)傳感器的頭部位姿數(shù)據(jù)得到凝視點(diǎn)在大地坐標(biāo)系中的空間坐標(biāo)。對(duì)被測(cè)物體進(jìn)行多次凝視操作后，取得形體表面若干點(diǎn)的空間坐標(biāo)，分別計(jì)算每個(gè)點(diǎn)之間的距離，并結(jié)合場(chǎng)景攝像機(jī)的圖像，完成對(duì)該被測(cè)物的空間幾何量測(cè)量。