具有透過型hmd的信息顯示系統(tǒng)以及顯示控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息顯示系統(tǒng)以及顯示控制方法，特別涉及具有透過型HMD的信息顯示系統(tǒng)以及控制透過型HMD的顯示的顯示控制方法。
【背景技術(shù)】
[0002]近年來，隨著傳感器等設(shè)備的小型化發(fā)展，被稱為智能眼鏡(Smart Glass)等的可穿戴的透過型HMD (Head Mounted Display:頭戴式顯示器)的開發(fā)活躍化。一般，在使用了透過型HMD的信息顯示系統(tǒng)中，通過在透過型的假想屏幕(眼鏡的鏡片、太陽鏡、護(hù)目鏡的前表面的玻璃、塑料等)上投影顯示信息，佩戴者(用戶)能夠在觀察背景的同時確認(rèn)信息。即，透過型HMD的特征之一在于，能夠使信息重疊到作為周圍環(huán)境的背景上而顯示(重疊顯示)。
[0003]但是，在以往的透過型HMD中，作為由于進(jìn)行該重疊顯示而引起的課題，存在根據(jù)用戶的視線位置，顯示在假想屏幕上的信息成為佩戴者(用戶)的視野的障礙這樣的問題，并且提出了用于避免該問題的技術(shù)。
[0004]雖然并非與可穿戴的透過型HMD有關(guān)的技術(shù)，但作為在透過型的假想屏幕上投影顯示信息的技術(shù)，例如，在下述專利文獻(xiàn)I中，公開了如下的車輛的顯示裝置:檢測駕駛員的視線方向，并且關(guān)于駕駛員應(yīng)認(rèn)知的信息，判定是規(guī)定的種類的信息還是規(guī)定種類以外的信息，根據(jù)該判定出的信息類別和檢測出的駕駛員的視線方向，在獲得了上述規(guī)定的種類的信息(針對駕駛員的警報(bào)信息和進(jìn)行車輛控制的意思的車輛控制信息)時，將基于顯示單元的該信息的顯示位置設(shè)定為擋風(fēng)玻璃上的駕駛員的視線方向的軸上或者其附近位置，在獲得了上述規(guī)定的種類以外的信息(警報(bào)信息以及車輛控制信息以外的與信息提供有關(guān)的信息)時，將該信息的顯示位置設(shè)定為上述擋風(fēng)玻璃上的預(yù)先決定的基本顯示位置。
[0005]專利文獻(xiàn)I日本專利第04698002號

【發(fā)明內(nèi)容】

[0006]但是，在該以往技術(shù)中，根據(jù)信息的種類將假想屏幕上的信息的顯示位置設(shè)定在視線位置附近或者基本顯示位置中的某一個，并且基本顯示位置是被固定的。進(jìn)行這樣的控制是因?yàn)?，該以往技術(shù)設(shè)想車輛中的HUDOfead Up Display:平視顯示器)用途，作為前提條件而隱含地包含了基本顯示位置不成為駕駛員的視野的障礙。因此，在例如用戶希望參照比顯示在假想屏幕上的基本顯示位置的信息更深的背景的情況下，無法防止該信息的顯示成為視野的障礙。
[0007]針對這樣的問題，考慮使重疊在視線位置上的信息在假想屏幕上移動的方法，但如果僅僅使重疊在視線位置上的信息在假想屏幕上移動，則有時成為違反用戶的意圖的結(jié)果O
[0008]例如，在用戶注視著比假想屏幕上的信息更遠(yuǎn)的背景(周邊環(huán)境)時，所顯示的信息成為視野的障礙，但在用戶注視著假想屏幕上的信息時，如果使信息的顯示位置移動，則難以確認(rèn)信息。即，需要根據(jù)用戶注視著何處，來判斷是否使假想屏幕上的信息移動。因此，在不進(jìn)行這樣的判斷而一律地使信息移動的控制中，無法在確保用戶的視野同時適當(dāng)?shù)仫@不?目息。
[0009]另外，在顯示有與背景無(低)關(guān)聯(lián)性的信息的情況下，可以認(rèn)為即使使該信息的顯示位置移動也不會產(chǎn)生問題，但在顯示有意圖重合到背景上的信息的情況下，如果使該信息的顯示位置移動，則信息的價值將消失。即，需要根據(jù)所顯示的信息是什么樣的信息，而判斷是否使假想屏幕上的信息移動。因此，在不進(jìn)行這樣的判斷而一律地使信息移動的控制中，無法在確保用戶的視野的同時適當(dāng)?shù)仫@示信息。
[0010]本發(fā)明是鑒于上述問題而完成的，其主要目的在于，提供一種具有透過型HMD的信息顯示系統(tǒng)以及顯示控制方法，能夠在確保用戶的視野的同時適當(dāng)?shù)仫@示信息。
[0011]本發(fā)明的一個側(cè)面為一種信息顯示系統(tǒng)，具有:透過型頭戴式顯示器，具備用于在假想屏幕上與背景重疊地顯示對象的顯示/投影部、和對使用者的雙眼進(jìn)行攝像的攝像部；以及控制部，控制所述透過型頭戴式顯示器，所述信息顯示系統(tǒng)的特征在于，所述控制部具備:注視點(diǎn)檢測部，根據(jù)所述攝像部進(jìn)行攝像而得到的所述使用者的雙眼的攝像數(shù)據(jù)，檢測所述使用者的注視點(diǎn)；第一判定部，根據(jù)所述注視點(diǎn)，判定所述使用者注視著所述假想屏幕上、還是注視著比所述假想屏幕更遠(yuǎn)的背景；第二判定部，判定將所述使用者的雙眼的中間點(diǎn)和所述注視點(diǎn)連結(jié)起來的直線與所述假想屏幕交叉的點(diǎn)附近的視線區(qū)域、與所述假想屏幕上的所述對象的顯示位置是否重疊；以及顯示控制部，在所述注視點(diǎn)移動了的情況下，根據(jù)所述第一判定部以及所述第二判定部的判定結(jié)果，變更所述對象的顯示位置和/或顯示方式。
[0012]本發(fā)明的一個側(cè)面為一種顯示控制方法，是具備用于在假想屏幕上與背景重疊地顯示對象的顯示/投影部、和對使用者的雙眼進(jìn)行攝像的攝像部的透過型頭戴式顯示器的顯示控制方法，其特征在于，執(zhí)行:注視點(diǎn)檢測步驟，根據(jù)從所述攝像部取得的所述使用者的雙眼的攝像數(shù)據(jù)，檢測所述使用者的注視點(diǎn)；第一判定步驟，根據(jù)所述注視點(diǎn)，判定所述使用者注視著所述假想屏幕上、還是注視著比所述假想屏幕更遠(yuǎn)的背景；第二判定步驟，判定將所述使用者的雙眼的中間點(diǎn)和所述注視點(diǎn)連結(jié)起來的直線與所述假想屏幕交叉的點(diǎn)附近的視線區(qū)域、與所述假想屏幕上的所述對象的顯示位置是否重疊；以及顯示控制步驟，在所述注視點(diǎn)移動了的情況下，根據(jù)所述第一判定步驟以及所述第二判定步驟的判定結(jié)果，變更所述對象的顯示位置和/或顯示方式。
[0013]根據(jù)本發(fā)明的具有透過型HMD的信息顯示系統(tǒng)以及透過型HMD的顯示控制方法，能夠在確保用戶的視野的同時適當(dāng)?shù)仫@示信息。
[0014]其理由在于，控制透過型HMD的控制部(顯示控制方法)進(jìn)行如下控制的緣故，即根據(jù)對用戶的雙眼進(jìn)行攝像而得到的攝像數(shù)據(jù)，檢測用戶的注視點(diǎn)，根據(jù)所檢測出的注視點(diǎn)，判定用戶注視著假想屏幕上、還是注視著比假想屏幕更遠(yuǎn)的背景，并且判定用戶的視線是否與假想屏幕上的對象重疊，根據(jù)雙方的判定結(jié)果，變更對象的顯示位置和/或顯示方式。
[0015]另外，其理由還在于，控制透過型HMD的控制部(顯示控制方法)還進(jìn)行如下控制的緣故，即判定重疊在用戶的視線上的對象的屬性，根據(jù)其判定結(jié)果，變更對象的顯示位置和/或顯示方式。
【附圖說明】
[0016]圖1是示意地示出本發(fā)明的一個實(shí)施例的信息顯示系統(tǒng)的結(jié)構(gòu)的圖1A、1B、1C。
[0017]圖2是示出本發(fā)明的一個實(shí)施例的信息顯示系統(tǒng)(透過型HMD)的結(jié)構(gòu)的框圖2A、2B0
[0018]圖3是說明本發(fā)明的一個實(shí)施例的透過型HMD的設(shè)定條件的圖。
[0019]圖4是說明本發(fā)明的一個實(shí)施例的透過型HMD中的注視點(diǎn)的圖4A、4B。
[0020]圖5是本發(fā)明的一個實(shí)施例的對象屬性的定義的一個例子。
[0021]圖6是本發(fā)明的一個實(shí)施例的對象屬性表格的一個例子。
[0022]圖7是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作的流程圖。
[0023]圖8是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示變更處理)的流程圖。
[0024]圖9是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示透過率變更處理)的流程圖。
[0025]圖10是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示位置變更處理)的流程圖。
[0026]圖11是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的透過率的變更例的圖1lAUlB0
[0027]圖12是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的透過率的其他變更例的圖12A、12B。
[0028]圖13是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的透過率的其他變更例的圖13A、13B。
[0029]圖14是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的顯示位置的變更例的圖14A、14B。
[0030]圖15是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的顯示位置的其他變更例的圖15A、15B。
[0031]圖16是示意地示出本發(fā)明的一個實(shí)施例的透過型HMD中顯示的對象的顯示位置的其他變更例的圖16A、16B。
[0032]圖17是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示復(fù)原處理)的流程圖。
[0033]圖18是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示透過率復(fù)原處理)的流程圖。
[0034]圖19是示出本發(fā)明的一個實(shí)施例的透過型HMD的動作(對象顯示位置復(fù)原處理)的流程圖。
[0035]符號說明
[0036]10:透過型HMD ；11:控制部；lla:注視點(diǎn)檢測部；llb:第一判定部；llc:第二判定部；lld:第三判定部；lle:顯示控制部；12:CPU ；13:R0M ；14 =RAM ； 15:存儲部；16:通信I/F部；17:攝像部；18:顯示/投影部；20:通信終端；30:計(jì)算機(jī)裝置；40:圖像形成裝置；50:服務(wù)器；60:因特網(wǎng)；70:計(jì)算機(jī)裝置。
【具體實(shí)施方式】
[0037]如【背景技術(shù)】所示，在可穿戴的透過型HMD中，在假想屏幕上顯示信息，通過疊加顯示(重疊顯示)到作為周圍環(huán)境的背景上，從而佩戴者(用戶)能夠在觀察背景的同時確認(rèn)各種信息。但是，在使用了以往的透過型HMD的信息顯示系統(tǒng)中，根據(jù)用戶所意圖的視線位置，顯示在假想屏幕上的信息有時會妨礙用戶的視野。例如，存在如下問題:在用戶注視著比假想屏幕更深的背景、并且假想屏幕上的信息位于其視線上的情況下，由于該信息的顯示而妨礙用戶的視野。
[0038]另一方面，顯示在假想屏幕上的信息是各種各樣的，也有根據(jù)信息顯示系統(tǒng)的特征而意圖重疊顯示在背景上的信息，關(guān)于該信息，如果變更顯示位置則作為信息的價值損失。例如,通過CG(Computer Graphics:計(jì)算機(jī)圖形)合成等意圖假想地重疊顯示到背景(實(shí)際空間上)的某個特定的位置而制作出的信息等相當(dāng)于此。在這樣的信息的情況下，雖說成為用戶的視野的障礙，但也有時不優(yōu)選單純地變更信息的顯示位