眼睛位置的校準的制作方法
【專利說明】眼睛位置的校準
[0001]
[0002]諸如頭戴式顯示器之類的近眼顯示系統(tǒng)向用戶的眼睛呈現(xiàn)虛擬內(nèi)容。為了提供現(xiàn)實虛擬圖像或全息圖，虛擬內(nèi)容可從每只眼睛的視點被立體地渲染。為了確定每只眼睛的視點，用戶的每只眼睛的估計的位置可被確定。在一個示例中，用戶的瞳孔間距離(IPD)和/或關(guān)于眼睛相對于顯示器的位置的一個或多個假設(shè)可被假設(shè)或查明。
[0003]然而，使用iro來確定用戶的眼睛的估計的位置可具有各種挑戰(zhàn)。例如，取決于用戶的年紀、性別和其他特性，IPD的范圍可從40mm(毫米)或更小到73_或更多。因此，使用假設(shè)的iro將不確定性引入到對應的估計的位置的準確性中。此外，直接測量用戶的IPD通常涉及眼科專家使用毫米尺或角膜反射瞳孔測試儀來測量用戶的IPD。拜訪這樣的專家來獲取iro測量可對近眼顯示器的用戶施加極大的不便性以及附加的開銷。
[0004]附加地，可以理解，iro值提供每只眼睛的瞳孔之間的距離，而不參考每只眼睛相對于實際近眼顯示器的位置。由此，單單使用iro值來估計用戶的眼睛位置提供關(guān)于每只眼睛相對于顯示器的實際位置的有限的信息。
[0005]概述
[0006]本文中公開了涉及在頭戴式顯示器中校準預先確定的眼睛位置的各個實施例。例如，一個公開的實施例提供了在頭戴式顯示器中的一種方法，該方法包括顯示在對準情況下在視覺上可與真實世界目標對準的虛擬標記，并且在該對準情況下，獲取圖像數(shù)據(jù)來確定真實世界目標的位置。該方法還包括，從圖像數(shù)據(jù)中確定相對于頭戴式顯示器的位置的估計的眼睛位置?；谠摴烙嫷难劬ξ恢茫A先確定的眼睛位置被校準。
[0007]提供該概述以便以簡化形式介紹概念的選集，所述概念在以下詳細描述中被進一步描述。本概述并不旨在標識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。而且，所要求保護的主題不限于解決該公開的任一部分中所注的任何或全部缺點的實現(xiàn)方式。
[0008]附圖簡沐
[0009]圖1示出了頭戴式顯示器的示例實施例。
[0010]圖2示出了圖1的頭戴式顯示器的框圖。
[0011]圖3示出了與真實世界目標以及圖1的頭戴式顯示器所顯示的虛擬標記對準的平面的一示例實施例的示意圖。
[0012]圖4示出了圖3的示意圖的示意性俯視圖，其示出相對于平面、目標、虛擬標記以及頭戴式顯示器的透鏡的用戶的眼睛。
[0013]圖5示出與一只眼睛對準的虛擬標記和真實世界目標的一示例實施例的示意性視圖。
[0014]圖6示出了描繪用于校準預先確定的眼睛位置的方法的一示例實施例的流程圖。
[0015]圖7示出了計算系統(tǒng)的一示例實施例的框圖。
[0016]詳細描沐
[0017]如以上提到的，各種類型的近眼顯示器可使用預先確定的或測量的IPD以及一個或多個關(guān)于用戶的眼睛相對于顯示器的位置的其他假設(shè)來估計用戶的眼睛的位置。近眼顯示器的一個示例實施例在圖1和2中被示出為具有頭戴式顯示器(HMD) 10形式的可穿戴計算系統(tǒng)。通過使用HMD 10，透過該HMD的真實世界場景的視圖可通過經(jīng)由透視顯示子系統(tǒng)14所顯示的虛擬圖像來增強。
[0018]透視顯示子系統(tǒng)14可被配置成向透過該HMD查看物理環(huán)境的用戶在視覺上增強該物理環(huán)境的外觀。例如，物理環(huán)境的外觀可以由經(jīng)由透視顯示子系統(tǒng)14呈現(xiàn)的圖形內(nèi)容(例如，一個或多個像素，每一像素具有相應色彩和亮度)來增強。透視顯示子系統(tǒng)可用任意合適的方式來顯示圖像。作為另一非限制示例，顯示子系統(tǒng)14可包括在透鏡18邊緣上的光調(diào)制器。在這一示例中，透鏡18可以擔當光導以供將光從光調(diào)制器遞送到用戶的眼睛。這樣的光導可以使用戶能夠感覺位于用戶正在查看的物理環(huán)境內(nèi)的3D虛擬圖像，這還允許用戶查看物理環(huán)境中的物理對象。
[0019]HMD 10還包括計算設(shè)備38，該計算設(shè)備38具有邏輯子系統(tǒng)42、與透視顯示子系統(tǒng)14通信的存儲子系統(tǒng)34以及一個或多個傳感器。存儲子系統(tǒng)34包括存儲在其上的指令，該指令可被邏輯子系統(tǒng)42執(zhí)行以例如接收來自(諸)面向外的圖像傳感器22的圖像數(shù)據(jù)、來自GPS系統(tǒng)46的位置數(shù)據(jù)、來自一個或多個話筒30的音頻信息以及來自一個或多個運動傳感器50的運動數(shù)據(jù)。
[0020]如以上提到的，相對于HDM顯示器來校準用戶的眼睛的位置可例如幫助現(xiàn)實立體圖像的顯示。由此，為了幫助這樣的校準，HMD 10可包括存儲在其上的可被執(zhí)行來執(zhí)行校準過程的指令，在校準過程中，顯示一虛擬標記，用戶可通過移動該用戶的頭部來將該虛擬標記對準物理真實世界目標。當虛擬標記與真實世界目標對準時(“對準情況”)，一個或多個面向外的圖像傳感器22可獲取真實世界目標的圖像數(shù)據(jù)，并且眼睛位置校準程序26可從該圖像數(shù)據(jù)中確定真實世界目標的相對位置。關(guān)于真實世界目標位置的信息與虛擬標記的已知位置相組合可允許眼睛位置校準程序26確定估計的眼睛位置并使用該位置來校準預先確定的眼睛位置。
[0021]面向外的圖像傳感器22可包括任意合適類型的一個或多個圖像傳感器。例如，面向外的圖像傳感器22可包括深度相機、可見光相機、紅外光相機和/或位置跟蹤相機。在一些示例中，面向外的圖像傳感器22可包括用于觀察來自物理環(huán)境中的真實世界光照條件的可見光譜和/或紅外光的一個或多個光學傳感器。這樣的傳感器可包括例如，電荷耦合的設(shè)備圖像傳感器和/或CMOS傳感器。將理解，面向外的圖像傳感器22可以具有任意適當數(shù)量和布置的光源和圖像傳感器。
[0022]將理解，在一些實施例中，HMD 10可不包括眼睛跟蹤或注視跟蹤能力或相關(guān)傳感器系統(tǒng)。有利地并且如以下更加詳細描述的，所公開的實施例可實現(xiàn)眼睛位置的校準，同時避免眼睛跟蹤或注視跟蹤系統(tǒng)的附加的設(shè)計復雜性和相關(guān)的花費。還將理解，在其他實施例中，HMD 10可包括利用例如一個或多個面向內(nèi)的(即，面向用戶的)傳感器的眼睛跟蹤或注視跟蹤系統(tǒng)。
[0023]HMD 10還可包括一個或多個話筒30，該一個或多個話筒30被配置成檢測聲音，諸如來自用戶的語音命令。HMD 10還可包括全球定位(GPS)系統(tǒng)46以允許HMD 10的位置被確定。HMD 10還可以包括一個或多個運動傳感器50，以在用戶戴著HMD 10時檢測用戶的頭部的移動。運動傳感器50以及(諸)話筒30還可被采用為用戶輸入設(shè)備，使得用戶可經(jīng)由眼睛、頸部和/或頭部的姿勢以及經(jīng)由口頭命令來與透視顯示子系統(tǒng)14和/或眼睛位置校準程序26交互。HMD 10還可包括被配置成向佩戴該HMD的用戶提供音頻內(nèi)容的一個或多個揚聲器54。
[0024]能夠理解，所描繪的HMD 10是以舉例方式提供的，并且不旨在為限制性的。因此，可以理解，HMD 10可以包括除示出的那些之外未偏離本公開文本范疇的附加和/或替代的傳感器、相機、話筒、輸入設(shè)備、輸出設(shè)備等。此外，HMD的物理配置及其各種傳感器和子組件可以采取不偏離本公開文本范疇的各種不同形式。
[0025]還將理解，被配置成在HMD中校準眼睛位置的計算系統(tǒng)可采取除在HMD10內(nèi)集成的以外的任何合適形式，包括但不限于大型計算機、服務器計算機、臺式計算機、膝上型計算機、平板計算機、家庭娛樂計算機、網(wǎng)絡計算設(shè)備、游戲設(shè)備、移動計算設(shè)備、移動通信設(shè)備(例如，智能電話)、其他可穿戴計算機等。附加地，以上描述的方法和過程可被實現(xiàn)為計算機應用程序或服務、應用編程接口(API)、庫和/或其他計算機程序產(chǎn)品。
[0026]圖3顯示其中用戶302佩戴HMD (諸如HMD 10)的示例使用情況。圖4顯示用戶的左眼402和右眼460相對于HMD 10的透鏡18的示意性俯視圖?？梢岳斫?，圖3和4是示意性的說明，其中距離、取向、大小和其他參數(shù)可針對描述性目的來更改。在這個示例中并且針對用戶302的左眼402和右眼406中的每一個，HMD 10可訪問或計算預先確定的眼睛位置。例如，可相對于HMD10上的固定位置414來計算左眼預先確定的位置410。左眼預先確定的位置410和固定位置414可用任意合適的方式來表示，諸如經(jīng)由x-z軸或x-y-z軸上的坐標。右眼預先確定的位置418可被類似地訪問或相對于固定位置414來計算。
[0027]在一些示例中，可使用一個或多個假設(shè)的距離(諸如iro和/或眼睛離開HMD的透鏡18的距離(例如，良視距(eye relief)距離))來估計左眼預先確定的位置410和右眼預先確定的位置418。在一個示例中，假設(shè)的IH)可以是65mm(毫米)并且假設(shè)的良視距距離可以是20