在此描述的示例性實(shí)施例一般涉及飛行器或移動(dòng)運(yùn)載工具操作,并且更特別地涉及以對前庭眼球反射(VOR)響應(yīng)進(jìn)行校正的方式顯示對象的圖像。
背景技術(shù):
對于飛行員而言有益的是通過在查看駕駛員座艙窗口外部的同時(shí)仍然監(jiān)測飛行器操作狀態(tài)來知曉周圍環(huán)境。更一般地,在任何類型的運(yùn)載工具操作中,對于操作者而言有益的是具有增強(qiáng)的處境認(rèn)知。返回到飛行器操作的示例,傳統(tǒng)地,飛行員已經(jīng)依賴于固定在相對于飛行員的座位的位置和朝向的駕駛員座艙顯示屏幕。即使在允許飛行員向上看同時(shí)仍然從航空電子設(shè)備顯示單元接收電子信息的最新的平視顯示(HUD)航空電子設(shè)備的情況下,當(dāng)飛行員把他的/她的頭部從航空電子設(shè)備顯示單元的位置轉(zhuǎn)開時(shí),飛行信息也并未被針對他們的注意而提供。更一般地,在其中操作者注意需要集中在顯示單元上的任何運(yùn)載工具操作中,即使是頭部從該顯示器遠(yuǎn)離的瞬間移動(dòng)都可能造成錯(cuò)過的信息。
隨著運(yùn)載工具的操作變得更復(fù)雜,諸如前述的飛機(jī)的示例,可取的是運(yùn)載工具操作者(例如飛行機(jī)組人員)是專注的并且以及時(shí)的并且便攜的方式接收信息以確保適當(dāng)?shù)牟僮?。一種用于提供便攜的信息的裝置是頭戴式顯示(HMD)系統(tǒng)。頭戴式顯示系統(tǒng)是一種頭部穿著的顯示系統(tǒng)的類型,其使用臉盔(visor)、頭盔(helmet)、護(hù)目鏡(goggle)或其它的頭部穿著安裝以將顯示器放置在一只或兩只眼睛前面。典型地,頭戴式顯示器包括在其上呈現(xiàn)顯示符號的半透明光學(xué)組合元件。符號的源可以是液晶顯示器(LCD)、硅上液晶(LCoS)顯示器,或者有機(jī)發(fā)光二極管(OLED)顯示器。組合元件允許呈現(xiàn)在HMD顯示器上的信息重疊在可見場景上并且隨著運(yùn)載工具操作者使他的/她的頭部四處移動(dòng)而改變。因?yàn)樵揌MD系統(tǒng)是頭部穿著的,因此存在被可取地處置的一些不同的人體和視覺系統(tǒng)耦合特性。那些中的一個(gè)是人類前庭眼球反射(VOR)。
正常的VOR響應(yīng)是一種補(bǔ)償性的眼睛移動(dòng),其在人類神經(jīng)系統(tǒng)檢測到頭部在空間中的運(yùn)動(dòng)時(shí)與頭部移動(dòng)逆向移動(dòng)(counter)。例如,在水平平面上將頭部旋轉(zhuǎn)到右邊將引發(fā)眼睛相對于頭部坐標(biāo)框架向左邊旋轉(zhuǎn),以穩(wěn)定注視的視覺軸并在頭部運(yùn)動(dòng)期間將圖像保持為固定在視網(wǎng)膜上。此外,由于VOR所致的該眼睛運(yùn)動(dòng)由于來自神經(jīng)傳感器的動(dòng)態(tài)效應(yīng)和動(dòng)眼核響應(yīng)的原因而并不是頭部運(yùn)動(dòng)的精確反轉(zhuǎn)。
在利用合成視覺圖像處理的HMD設(shè)備的當(dāng)前實(shí)踐中,通常在沒有眼睛VOR效應(yīng)的動(dòng)態(tài)補(bǔ)償?shù)那闆r下針對所感測的頭部運(yùn)動(dòng)對圖像進(jìn)行補(bǔ)償。也就是,偏移所顯示的圖像,以在頭部移動(dòng)時(shí)反映眼睛注視正在改變方向,并且在HMD設(shè)計(jì)的當(dāng)前實(shí)踐中通常假設(shè)眼睛注視被對準(zhǔn)為與頭部面向的方向相同。實(shí)際上,由于非主動(dòng)的前庭眼球反射所致的眼睛運(yùn)動(dòng)并不與頭部運(yùn)動(dòng)對準(zhǔn),其也不與頭部運(yùn)動(dòng)的純粹反轉(zhuǎn)對準(zhǔn)。在不動(dòng)態(tài)地補(bǔ)償眼睛VOR效應(yīng)的情況下,所得到的圖像在振動(dòng)環(huán)境(諸如在不平坦地形上的運(yùn)載工具的操作,或者在湍流環(huán)境中的飛行器的操作)中對于人類操作者來說可能是不可讀的。
因此,可能想要的是合并眼睛VOR補(bǔ)償以增強(qiáng)在HMD設(shè)備上的圖像穩(wěn)定和跟蹤設(shè)計(jì)的性能,尤其是在高振動(dòng)環(huán)境中使用時(shí)。更進(jìn)一步地,根據(jù)結(jié)合隨附附圖和前面的技術(shù)領(lǐng)域和背景技術(shù)所做的隨后的詳細(xì)描述和所附權(quán)利要求,示例性實(shí)施例的其它的想要的特征和特性將變得顯而易見。因此,將領(lǐng)會(huì)的是,即使本公開中的利用VOR補(bǔ)償?shù)氖纠詰?yīng)用涉及頭戴式顯示系統(tǒng),本公開也能夠通過在圖像處理中合并VOR補(bǔ)償以增強(qiáng)顯示信息的認(rèn)知從而應(yīng)用于在高振動(dòng)或改變的環(huán)境中使用的任何圖像顯示系統(tǒng)。
技術(shù)實(shí)現(xiàn)要素:
一種用于在頭戴式顯示(HMD)設(shè)備上顯示圖像的方法,該頭戴式顯示(HMD)設(shè)備針對用戶的前庭眼球反射(VOR)響應(yīng)進(jìn)行補(bǔ)償,該方法包括如下的步驟:生成第一圖像并且在HMD顯示設(shè)備上顯示該第一圖像;感測HMD顯示設(shè)備的角向運(yùn)動(dòng);以及基于所感測的HMD顯示設(shè)備的角向運(yùn)動(dòng),估計(jì)用戶的眼睛的角向運(yùn)動(dòng)。估計(jì)步驟包括:使用眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型,生成由于VOR效應(yīng)所致的預(yù)測的眼睛位置,以及使用眼睛角向位置跟蹤數(shù)學(xué)模型,在頭部運(yùn)動(dòng)已經(jīng)平息(subside)之后校正所預(yù)測的眼睛位置。進(jìn)一步地,該方法包括:基于第一圖像并基于被校正的所預(yù)測的眼睛位置生成作為連續(xù)的圖像流的一部分的后續(xù)的第二圖像,以及在HMD顯示設(shè)備上顯示第二圖像。
提供該簡要概括來以簡化的形式介紹下面在詳細(xì)描述中被進(jìn)一步描述的概念的選擇。該概括并非意圖標(biāo)識要求保護(hù)的主題事項(xiàng)的關(guān)鍵特征或比不可少的特征,其也不意圖被用作為幫助確定要求保護(hù)的主題事項(xiàng)的范圍。
附圖說明
在下文中將結(jié)合以下的繪制的各圖來描述本公開,在各圖中同樣的數(shù)字表明同樣的元件,并且
圖1是飛行顯示系統(tǒng)的功能框圖;
圖2是HMD系統(tǒng)的示例性實(shí)施例;
圖3是圖2的HMD系統(tǒng)的功能框圖;
圖4提供參照坐標(biāo)系統(tǒng);
圖5圖解沿一個(gè)軸的示例性眼睛角向VOR運(yùn)動(dòng)預(yù)測模型;
圖6圖解沿一個(gè)軸的示例性眼睛角向位置跟蹤模型;和
圖7圖解沿三個(gè)軸的圖5和圖6的模型的兩者的集成方法。
具體實(shí)施方式
下面的詳細(xì)描述本質(zhì)上僅僅是說明性的,并且不意圖限制主題事項(xiàng)或申請的實(shí)施例以及這樣的實(shí)施例的用途。在此被描述為示例性的任何實(shí)現(xiàn)未必要被解釋為較之其它實(shí)現(xiàn)是優(yōu)選的或有利的。更進(jìn)一步地,不存在要由在前面的技術(shù)領(lǐng)域、背景技術(shù)、發(fā)明內(nèi)容或以下的詳細(xì)描述中提出的任何明確的或暗示的理論來約束的意圖。
介紹
本公開寬泛地提供了對于針對在頭戴式顯示設(shè)備中使用的合成視覺或其它圖像呈現(xiàn)補(bǔ)償VOR效應(yīng)的解決方案。更寬泛地,如上面最初表明的那樣,本公開不限于使用在HMD設(shè)備中,而是相反地將通過在圖像處理中合并VOR補(bǔ)償以增強(qiáng)顯示信息的認(rèn)知來在使用于高振動(dòng)或改變的環(huán)境中的任何圖像顯示系統(tǒng)中找到應(yīng)用。
更具體地,本公開提供用以預(yù)測由于角向VOR效應(yīng)所致的眼睛旋轉(zhuǎn)運(yùn)動(dòng)的算法并且使得眼睛運(yùn)動(dòng)能夠在頭部運(yùn)動(dòng)已經(jīng)停止之后跟蹤顯示在HMD設(shè)備上的靜止圖像。除了其它方面之外,本公開的架構(gòu)還包括:1)眼睛角向VOR(aVOR)運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型,和2)(在頭部坐標(biāo)框架中定義的)眼睛角向位置跟蹤數(shù)學(xué)模型,以在VOR已經(jīng)發(fā)生并且頭部運(yùn)動(dòng)已經(jīng)平息之后將眼睛位置與反向(即,從面向于頭部位置的視角)的頭部位置對準(zhǔn)。
在以下的幾個(gè)段落中提供元件1)和2)中的每個(gè)的簡要概述,跟在此后的是HMD系統(tǒng)的描述以及如在各圖中闡述的隨同于該描述的元件1)和2)的實(shí)現(xiàn)。首先,關(guān)于元件1),眼睛角向VOR運(yùn)動(dòng)預(yù)測模型,利用可調(diào)諧時(shí)間延遲和可調(diào)諧正向增益來發(fā)展動(dòng)態(tài)偽反轉(zhuǎn)傳遞函數(shù)以表示人眼眼球運(yùn)動(dòng)機(jī)制和在頭部運(yùn)動(dòng)期間的逆向移動(dòng)反射。具有眼睛角向位置反饋環(huán)路的反饋控制器被設(shè)計(jì)成減輕眼睛位置從頭部位置的漂移。該模型將三個(gè)角向速率和頭部運(yùn)動(dòng)的位置利用于三軸角向眼睛VOR運(yùn)動(dòng)。該模型的輸出是由VOR引發(fā)的在頭部坐標(biāo)中定義的所預(yù)測的眼睛角向位置。然后,由于VOR所致的δ(delta)眼睛(角向)位置被生成為在由于VOR所致的所預(yù)測的眼睛角向位置和反向頭部位置之間的差值。
第二,關(guān)于元件2),眼睛角向位置跟蹤模型使得能夠在VOR效應(yīng)減弱之后進(jìn)行頭部位置的眼睛跟蹤。設(shè)計(jì)的是在檢測到相對靜止的頭部運(yùn)動(dòng)之后將δ眼睛位置減小至零。因此,在頭部的運(yùn)動(dòng)停止之后,最終的眼睛位置與頭部位置對準(zhǔn)。等同地,該跟蹤特征使得眼睛運(yùn)動(dòng)能夠隨著所顯示的圖像被與反向頭部位置偏移而跟蹤靜止圖像。該跟蹤模型還被設(shè)計(jì)為具有用以排斥控制器噪聲抖動(dòng)的邏輯。此外,該模型允許通過特定的人類操作者來調(diào)諧VOR增益和延遲效應(yīng),并且因此由于VOR所致的所預(yù)測的眼睛運(yùn)動(dòng)可以被調(diào)整并且因此與頭部和眼睛運(yùn)動(dòng)動(dòng)態(tài)地相關(guān)聯(lián)以用于不同的人類VOR響應(yīng)。
關(guān)于所公開的顯示系統(tǒng)中的VOR補(bǔ)償,技術(shù)和工藝可以在此被按照功能和/或邏輯框組件、并且參照可以由各種計(jì)算組件或設(shè)備執(zhí)行的操作、處理任務(wù)和功能的符號表示來進(jìn)行描述。這樣的操作、任務(wù)和功能可以被稱為由計(jì)算機(jī)執(zhí)行、被計(jì)算機(jī)化、被軟件實(shí)現(xiàn)或被計(jì)算機(jī)實(shí)現(xiàn)。在實(shí)踐中,一個(gè)或多個(gè)處理器設(shè)備能夠通過操縱表示在系統(tǒng)存儲(chǔ)器中的存儲(chǔ)器位置處的數(shù)據(jù)比特的電信號以及其它的信號處理,來執(zhí)行所描述的操作、任務(wù)和功能。雖然示例性實(shí)施例的方法和系統(tǒng)可以被使用在任何類型的移動(dòng)運(yùn)載工具(例如汽車、輪船和重型機(jī)械)中,但是任何類型的非運(yùn)載工具應(yīng)用(例如外科手術(shù)、機(jī)械和建筑物維護(hù)、遠(yuǎn)程機(jī)器人以及其它遠(yuǎn)程觀察)、以及任何類型的空間應(yīng)用(包括運(yùn)載工具和安裝套組(suit mounted)、在飛行器系統(tǒng)中的使用)被描述為示例。
一般地,在此描述的示例性實(shí)施例包括頭戴式顯示設(shè)備,其允許運(yùn)載工具的操作者(諸如飛行器的飛行員)在空中時(shí)或在地面上時(shí)看到運(yùn)載工具或飛行器外部的實(shí)際圖像的適形視頻圖像。HMD頭部跟蹤系統(tǒng)提供用于視覺掃描的從左至右的運(yùn)動(dòng)范圍(例如360度)。為了顯示而生成的圖形跟蹤至飛行員的頭部移動(dòng)。來自例如裝有萬向接頭的頭部跟蹤攝像機(jī)、固定傳感器的陣列、或者從數(shù)據(jù)創(chuàng)建的虛擬的或合成的環(huán)境的輸入給予操作者/飛行員用以掃描天空、地形、或者用于對象的跑道/滑行道的能力。運(yùn)載工具的姿勢(朝向)可以從慣性傳感器、加速度計(jì)、羅盤和空氣數(shù)據(jù)傳感器確定。例如,HMD系統(tǒng)處理由攝像機(jī)、傳感器創(chuàng)建的或者從所存儲(chǔ)的數(shù)據(jù)合成地創(chuàng)建的實(shí)際視頻圖像。
參照圖1,一般化的示例性顯示系統(tǒng)100包括用戶接口102、處理器104、傳感器112、外部數(shù)據(jù)源114、以及一個(gè)或多個(gè)顯示設(shè)備116(包括隨后更詳細(xì)地討論的HMD系統(tǒng)117)。用戶接口102處于與處理器104的可操作的通信,并且被配置為從操作者109接收輸入,以及響應(yīng)于用戶輸入,將命令信號供給至處理器104。在所描繪的實(shí)施例中,處理器104包括板載RAM(隨機(jī)存取存儲(chǔ)器)103和板載ROM(只讀存儲(chǔ)器)105??刂铺幚砥?04的程序指令可以被存儲(chǔ)在RAM 103或ROM 105中或者被存儲(chǔ)在RAM 103和ROM 105這兩者中。不管處理器104是如何具體地實(shí)現(xiàn)的,其都處于與顯示設(shè)備116的可操作的通信,并且被耦接以接收來自傳感器112的各種類型的運(yùn)動(dòng)數(shù)據(jù)以及來自外部數(shù)據(jù)源114的各種其它的運(yùn)載工具數(shù)據(jù)。處理器104被配置為將適當(dāng)?shù)娘@示命令供給至顯示設(shè)備116。顯示設(shè)備116響應(yīng)于顯示命令,選擇性地渲染各種類型的文本的、圖形的和/或圖標(biāo)的信息。傳感器112可以使用現(xiàn)在已知的或在將來開發(fā)的各種類型的慣性傳感器、系統(tǒng)和或子系統(tǒng)來實(shí)現(xiàn),以用于供給例如,表示運(yùn)載工具的狀態(tài)(包括運(yùn)載工具速度、航向、海拔和姿勢)的各種類型的運(yùn)動(dòng)數(shù)據(jù)。
將領(lǐng)會(huì)的是,顯示設(shè)備116可以使用適合于以由操作者109可查看的格式渲染文本的、圖形的和/或圖標(biāo)的信息的大量已知的顯示設(shè)備中的任何一個(gè)來實(shí)現(xiàn)。這樣的顯示設(shè)備的非限制性示例包括各種平坦面板顯示器(諸如各種類型的LCD(液晶顯示器)、TFT(薄膜晶體管)顯示器、以及投影顯示LCD光引擎)。顯示設(shè)備116可以附加地被實(shí)現(xiàn)為安裝有面板的顯示器、或者大量已知的技術(shù)中的任何一種。
如先前表明的那樣,顯示設(shè)備116包括HMD顯示系統(tǒng)117。存在許多已知的HMD系統(tǒng)。一種已知的示例性實(shí)施例被描述在共同受讓的美國專利8,552,850中,該美國專利被通過引用而在其整體上合并于此。在該申請的圖2中示出的實(shí)施例包括穿著HMD顯示系統(tǒng)117的運(yùn)載工具的操作者109(諸如飛行器的飛行機(jī)組人員成員)。HMD顯示系統(tǒng)117包括耦接至HMD顯示器208的頭帶206,其優(yōu)選地是半透明的。當(dāng)由操作者109正確地穿著時(shí),HMD顯示器208被以距右眼210預(yù)先確定的距離放置在右眼210的視線放置。以此方式,信息可以在HMD顯示器208上被呈現(xiàn)給操作者109,HMD顯示器208被重疊在例如超出控制的可見場景以及駕駛員座艙內(nèi)的其它物品和/或透過駕駛員座艙的窗口的外部景色上。發(fā)光二極管(LED)214被定位在頭帶206的部分212上以在時(shí)間上的任何點(diǎn)處感測操作者109的頭部正面向的方向(例如,抬起、低下、朝著駕駛員座艙的一部分或者另外的部分),以便在HMD顯示器208上呈現(xiàn)適當(dāng)?shù)男畔?。用于跟蹤頭部移動(dòng)的其它系統(tǒng)包括頭帶上的攝像機(jī)或發(fā)射器,或者跟蹤系統(tǒng)可以是磁性的或慣性的而不是光學(xué)的。以此方式,在時(shí)間上的任何點(diǎn)處的操作者的頭部方向可以被感測以用于在HMD顯示器208上生成和呈現(xiàn)適當(dāng)?shù)耐该饕晥D(包括適形的圖形和/或其它信息)。HMD顯示系統(tǒng)117的配置并不限于圖2中示出的設(shè)備。例如,雖然HMD顯示系統(tǒng)117是單眼HMD顯示系統(tǒng),但是在本實(shí)施例中也可以采用雙眼HMD顯示系統(tǒng)。
圖3描繪根據(jù)本實(shí)施例的用于運(yùn)載工具操作的系統(tǒng)的框圖。HMD顯示系統(tǒng)117包括HMD顯示器208、HMD傳感器301、HMD跟蹤控制器302和可選的慣性測量單元(IMU)303。HMD跟蹤控制器302從HMD傳感器301(諸如攝像機(jī)(未示出))接收信號,并生成被提供到HMD顯示器208的信號。該信號在HMD顯示器208上呈現(xiàn)適當(dāng)?shù)男畔⒁杂糜谏蛇m形圖形的視圖或用于呈現(xiàn)給操作者109的其它信息。
響應(yīng)于由HMD傳感器301監(jiān)測到的信息,HMD跟蹤控制器302還生成與操作者109的頭部的方向?qū)?yīng)的聚焦數(shù)據(jù)。這樣的信息可以包括操作者109的頭部是否朝著窗戶向外(未示出),以及操作者109的頭部是否沿該方向轉(zhuǎn)到運(yùn)載工具內(nèi)的顯示器306,或者操作者109的頭部是否轉(zhuǎn)到一些其它感興趣的點(diǎn)。HMD跟蹤控制器302耦接至控制器304以用于提供與操作者109的頭部方向?qū)?yīng)的聚焦數(shù)據(jù)。聚焦數(shù)據(jù)(例如,從監(jiān)測HMD顯示系統(tǒng)117的位置和朝向而得到的操作者頭部跟蹤數(shù)據(jù))被控制器304利用于呈現(xiàn)適形圖像。參照背景地形,加載適形圖像并顯示實(shí)際環(huán)境。其它信息(諸如運(yùn)載工具導(dǎo)航和性能信息)在顯示器上是靜止的而不管穿著HMD顯示系統(tǒng)117的操作者轉(zhuǎn)到的方向如何。
眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型
如先前表明的那樣,針對眼睛角向VOR運(yùn)動(dòng)預(yù)測模型,利用可調(diào)諧時(shí)間延遲和可調(diào)諧正向增益來發(fā)展動(dòng)態(tài)偽反轉(zhuǎn)傳遞函數(shù)731以表示人眼眼球運(yùn)動(dòng)機(jī)制和在頭部運(yùn)動(dòng)期間的逆向移動(dòng)反射。具有作為反饋信號的眼睛角向位置的反饋控制器730被設(shè)計(jì)成減輕眼睛位置從頭部位置的漂移。其把三個(gè)角向速率和頭部運(yùn)動(dòng)的位置利用于三軸角向眼睛VOR運(yùn)動(dòng)。該模型的輸出是由VOR引發(fā)的在頭部坐標(biāo)中定義的所預(yù)測的眼睛角向位置。然后,由于VOR所致的δ眼睛(角向)位置被生成為在由于VOR所致的所預(yù)測的眼睛角向位置和反向頭部位置之間的差值。這種類型的模型的背景理解可以從如下獲取:T.Shibata等,“Biomimetic Gaze Stabilization based on Feedback-Error-Learning with Nonparametric Regression Networks”,Neural Networks,2001年3月,第2期,卷12,第201-216頁,其內(nèi)容被通過引用而在其整體上合并在此。
該模型沿所有三個(gè)移動(dòng)軸(即x軸、y軸和z軸)操作。因此適當(dāng)?shù)氖窃诖藭r(shí)介紹圖4,圖4提供關(guān)于用戶的頭部的這三個(gè)軸的圖解,用于在(如在下面更詳細(xì)地闡述的)眼睛角向VOR運(yùn)動(dòng)預(yù)測模型和眼睛角向位置跟蹤模型的討論中進(jìn)行參照。如圖4所示,z軸垂直地行進(jìn)通過用戶的頭部,y軸行進(jìn)通過用戶的頭部的側(cè)面,并且x軸行進(jìn)通過用戶的頭部的前面和后面。將基于該坐標(biāo)框架來提供關(guān)于下面描述的相應(yīng)的模型的角向加速度、速率和頭部位置以及眼睛位置。例如,俯仰平面被限定成繞y軸旋轉(zhuǎn);其對應(yīng)的頭部旋轉(zhuǎn)速率信號在圖7中被叫作輸入信號H_Ry_rate 702y。
眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型700被圖解在圖5中。為了簡單,圖5顯示僅用于一個(gè)軸的數(shù)學(xué)模型。然而,應(yīng)當(dāng)注意的是,使用相同的基本模型(但具有不同的數(shù)值參數(shù)),該模型被擴(kuò)展到所有三個(gè)軸上,如將在下面更詳細(xì)地描述的那樣并且如在圖7中更特別地闡述的那樣。
眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型作為其輸入而使用用戶的頭部位置701(被沿三個(gè)軸中的每個(gè)軸定義,雖然如上面表明的圖5示出僅用于一個(gè)軸的輸入)、用戶的頭部速率702(被沿三個(gè)軸中的每個(gè)軸定義)、以及被稱為調(diào)諧“旋鈕(knob)”703的調(diào)諧參數(shù)(再次地,被沿三個(gè)軸中的每個(gè)軸定義)。還被提供的是用于沿三個(gè)軸中的每個(gè)軸的每個(gè)旋轉(zhuǎn)方向(711,712)的VOR速度增益。這是用于VOR校正效應(yīng)的用以衰減所感測的頭部角向速率的增益。每個(gè)軸具有用于不同的頭部旋轉(zhuǎn)方向(711,712)的不同的VOR速度增益基線。在一個(gè)實(shí)施例中,僅僅作為一個(gè)非限制性的示例,基線VOR速度增益可以是大約0.97上仰和大約1.10下俯。每個(gè)增益可以具有由調(diào)諧旋鈕703控制的可調(diào)諧偏置。在一個(gè)實(shí)施例中,僅僅作為一個(gè)非限制性示例,該偏置可以是大約+/-0.09。下面描述的對增益進(jìn)行調(diào)諧的旋鈕的效應(yīng),對于每個(gè)軸而言并且對于沿每個(gè)軸的每個(gè)旋轉(zhuǎn)方向而言:旋鈕的范圍被針對每個(gè)軸不同地標(biāo)定(scale)。在一個(gè)非限制性的示例中,旋鈕調(diào)諧的最大值被解釋為對于俯仰軸而言的大約0.09偏置,但是對于偏航軸和滾動(dòng)軸而言的大約0.07偏置。當(dāng)旋鈕被居中于零時(shí),使用基線增益和默認(rèn)的延遲值。當(dāng)旋鈕被右轉(zhuǎn)時(shí),利用距基線的正偏置來增加增益,并且結(jié)果是從基線減少延遲時(shí)間。替換地,當(dāng)旋鈕被轉(zhuǎn)向左時(shí),利用距基線的負(fù)偏置來減少增益并且從基線增加延遲時(shí)間。提供可調(diào)諧增益以對按不同的人而變化的不同的VOR響應(yīng)進(jìn)行補(bǔ)償。
眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型作為其輸出而產(chǎn)生沿三個(gè)軸中的每個(gè)軸的所預(yù)測的眼睛位置720,如針對一個(gè)軸的圖5所示。這些輸出被用作為用于(如下面更詳細(xì)地描述的)眼睛角向位置跟蹤數(shù)學(xué)模型的輸入中的一個(gè)。
眼睛角向位置跟蹤數(shù)學(xué)模型
如先前表明的那樣,眼睛角向位置跟蹤模型使得能夠在VOR效應(yīng)減弱之后進(jìn)行眼睛跟蹤頭部位置。設(shè)計(jì)的是在檢測到靜止的頭部運(yùn)動(dòng)之后將δ眼睛位置減小至零。因此,在頭部運(yùn)動(dòng)停止之后,最終的眼睛位置與頭部位置對準(zhǔn)。等同地,該跟蹤特征使得眼睛運(yùn)動(dòng)能夠隨著眼睛角向位置被與頭部位置對準(zhǔn)而跟蹤靜止圖像。該跟蹤模型還被設(shè)計(jì)為具有用以排斥控制器和傳感器噪聲的邏輯。
眼睛角向位置跟蹤數(shù)學(xué)模型800被圖解在圖6中。為了簡單,圖6顯示了僅用于一個(gè)軸的數(shù)學(xué)模型。然而,應(yīng)當(dāng)注意的是,使用相同的基本模型(但具有不同的數(shù)值參數(shù)),該模型被擴(kuò)展到所有三個(gè)軸上,如將在下面更詳細(xì)地描述的那樣并且如在圖7中更具體地闡述的那樣。
眼睛角向位置跟蹤數(shù)學(xué)模型作為其輸入而使用用戶的頭部位置701(被沿三個(gè)軸中的每個(gè)軸定義,雖然如上面表明的圖6示出僅用于一個(gè)軸的輸入)、用戶的頭部速率702(被沿三個(gè)軸中的每個(gè)軸定義)、以及來自眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型的所預(yù)測的眼睛位置720(再次地,被沿三個(gè)軸中的每個(gè)軸定義)。如進(jìn)一步圖解的那樣,參數(shù)801是用于檢測靜止的頭部運(yùn)動(dòng)的參數(shù),其中假設(shè)的是小于預(yù)先確定(基于特定的實(shí)現(xiàn))的度數(shù)每秒的速率意味著頭部運(yùn)動(dòng)已經(jīng)停止。
如在圖5的情況下那樣,圖6中示出的模型包括眼球運(yùn)動(dòng)工廠設(shè)計(jì)參數(shù)732,具有用于靜止運(yùn)動(dòng)條件的被設(shè)置為“0”(802)的δ輸入的反饋控制環(huán)路。此外,模型800包含控制參數(shù)811以減輕運(yùn)動(dòng)抖動(dòng)的效應(yīng)。例如,如上面表明的那樣,在真實(shí)的振動(dòng)環(huán)境中的IMU信號包含如下的噪聲:該噪聲甚至在頭部運(yùn)動(dòng)減慢或者停止之后引起快速的圖像改變。然后,由于非意圖的信號噪聲(其通常為高的頻率并且為小的量值)的原因,HMD系統(tǒng)將所測量的信號錯(cuò)誤地解釋為實(shí)際的頭部運(yùn)動(dòng),并且相應(yīng)地調(diào)整顯示圖像,造成圖像抖動(dòng)。如果快速移動(dòng)(加速)的量值低于閾值,則適形的圖像是靜止的,由此防止將從在頭部移動(dòng)期間接收的實(shí)際視頻圖像生成的該適形的圖像的急動(dòng)或抖動(dòng)運(yùn)動(dòng),并且可以在快速的頭部移動(dòng)被檢測為具有小的量值時(shí)被停止。可以如想要的那樣選擇任何閾值值803,其在非限制性的、所圖解的實(shí)施例中為大約0.02。
眼睛角向位置跟蹤數(shù)學(xué)模型作為其輸出產(chǎn)生在眼睛位置810上的改變(“δ”)以如在圖5中確定的那樣減少眼睛位置?;谠趫D5和圖6中示出的模型的輸出的集成的數(shù)學(xué)模型產(chǎn)生最終的結(jié)果,該結(jié)果允許HMD系統(tǒng)針對VOR效應(yīng)來校正顯示圖像,如下面在圖7中描述的那樣。
數(shù)學(xué)模型的集成
圖7圖解數(shù)學(xué)模型,該數(shù)學(xué)模型示出圖5的眼睛角向VOR運(yùn)動(dòng)預(yù)測數(shù)學(xué)模型700和圖6的眼睛角向位置跟蹤數(shù)學(xué)模型800的組合的交互工作。在圖7中,圖解了三個(gè)軸中的每個(gè)軸,具有用于頭部位置的輸入701x、701y、701z以及用于頭部速率的輸入702x、702y、702z。還圖解了調(diào)諧旋鈕703x、703y、703z。結(jié)果是所預(yù)測的VOR眼睛位置720x、720y、720z,其被δ眼睛位置810x、810y、810z校正以用于最終確定的眼睛位置,該最終確定的眼睛位置被用于更新HMD顯示。
雖然在前述的詳細(xì)描述中已經(jīng)提出了至少一個(gè)示例性實(shí)施例,但是應(yīng)當(dāng)領(lǐng)會(huì)的是存在大量的變化。還應(yīng)當(dāng)領(lǐng)會(huì)的是,一個(gè)或多個(gè)示例性實(shí)施例僅僅是示例,并且不意圖以任何方式限制范圍、應(yīng)用性或配置。相反,前述的詳細(xì)描述將為本領(lǐng)域技術(shù)人員提供用于實(shí)現(xiàn)示例性實(shí)施例的方便的路線圖,理解的是可以在不脫離如在所附權(quán)利要求中闡述的范圍的情況下作出在示例性實(shí)施例中描述的元件的功能和布置上的各種改變。