用于在增強(qiáng)現(xiàn)實(shí)環(huán)境中的用戶交互的頭戴式顯示裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]〈相關(guān)申請(qǐng)的交叉引用〉
[0002]本本申請(qǐng)要求2013年3月21日提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP2013-058858的權(quán)益，其中的全部?jī)?nèi)容通過(guò)引用并入本文。
[0003]本發(fā)明涉及信息處理設(shè)備、操作控制方法和程序。
【背景技術(shù)】
[0004]過(guò)去，提出了下述種技術(shù)，在該技術(shù)中，用于將操作為操作對(duì)象的用戶接口(用戶接口)顯示所布置的屏幕上，使得進(jìn)入用戶的視野，使設(shè)備能夠通過(guò)顯示的UI操作。例如，下面描述的PTL I公開(kāi)了操作在頭戴式顯示器中觀看的設(shè)備的用戶通過(guò)手勢(shì)對(duì)與設(shè)備相關(guān)的UI或設(shè)備給予(例如，手勢(shì)觸摸設(shè)備)。
[0005]引用列表
[0006]專(zhuān)利文獻(xiàn)
[0007][PTL I]JP 2012-181809A

【發(fā)明內(nèi)容】

[0008]然而，在PTL I中所公開(kāi)的方案，屏幕區(qū)域接受手勢(shì)輸入受限于顯示區(qū)域或用于設(shè)備的虛擬UI ο這限制了手勢(shì)輸入的自由度，并且對(duì)于手勢(shì)的準(zhǔn)確要求(例如，準(zhǔn)確地指點(diǎn)該設(shè)備)可能對(duì)用戶被施加負(fù)擔(dān)。
[0009]因此，期望提供下述系統(tǒng)，其中，對(duì)于手勢(shì)可以更自由地使用可用的屏幕區(qū)域。
[0010]問(wèn)題的解決方案
[0011]在第一方面中，信息處理設(shè)備包括電路，電路被配置成提供用戶接口，以控制多個(gè)可控制對(duì)象。用戶接口與由傳感器的預(yù)定檢測(cè)區(qū)域所限定的手勢(shì)識(shí)別區(qū)域相關(guān)聯(lián)。基于要由用戶接口所控制的可控制對(duì)象的數(shù)量手勢(shì)識(shí)別區(qū)域被分割為多個(gè)手勢(shì)識(shí)別子區(qū)域。電路還被配置檢測(cè)在預(yù)定檢測(cè)區(qū)域內(nèi)的預(yù)定手勢(shì)，確定在其中檢測(cè)到預(yù)定手勢(shì)的手勢(shì)識(shí)別子區(qū)域，以及基于所檢測(cè)到的預(yù)定手勢(shì)和在其中檢測(cè)到預(yù)定手勢(shì)的所確定的手勢(shì)識(shí)別子區(qū)域，對(duì)可控制對(duì)象中的一個(gè)可控制對(duì)象執(zhí)行操作。
[0012]在另一方面中，信息處理設(shè)包括電路，電路被配置成，提供用戶接口，以控制多個(gè)可控制對(duì)象。用戶接口與由傳感器的預(yù)定檢測(cè)區(qū)域所限定的手勢(shì)識(shí)別區(qū)域相關(guān)聯(lián)?；谝捎脩艚涌谒刂频目煽刂茖?duì)象的數(shù)量手勢(shì)識(shí)別區(qū)域被分割為多個(gè)手勢(shì)識(shí)別子區(qū)域。電路還被配置檢測(cè)在預(yù)定檢測(cè)區(qū)域內(nèi)的預(yù)定手勢(shì)，確定在其中檢測(cè)到預(yù)定手勢(shì)的手勢(shì)識(shí)別子區(qū)域，以及基于所檢測(cè)到的預(yù)定手勢(shì)和在其中檢測(cè)到預(yù)定手勢(shì)的所確定的手勢(shì)識(shí)別子區(qū)域，對(duì)可控制對(duì)象中的一個(gè)可控制對(duì)象執(zhí)行操作。
[0013]在另一方面中，一種信息處理設(shè)備的方法，信息處理設(shè)備用于控制多個(gè)可控制對(duì)象。方法包括通過(guò)信息處理設(shè)備的電路，提供用戶接口，以控制多個(gè)可控制對(duì)象。用戶接口與由傳感器的預(yù)定檢測(cè)區(qū)域所限定的手勢(shì)識(shí)別區(qū)域相關(guān)聯(lián)?；谝捎脩艚涌谒刂频目煽刂茖?duì)象的數(shù)量手勢(shì)識(shí)別區(qū)域被分割為多個(gè)手勢(shì)識(shí)別子區(qū)域。檢測(cè)在預(yù)定檢測(cè)區(qū)域內(nèi)的預(yù)定手勢(shì)。確定在其中檢測(cè)到預(yù)定手勢(shì)的手勢(shì)識(shí)別子區(qū)域。此外，信息處理設(shè)備的電路基于所檢測(cè)的預(yù)定手勢(shì)和在其中檢測(cè)到預(yù)定的手勢(shì)的所確定的手勢(shì)識(shí)別子區(qū)域執(zhí)行對(duì)可控制對(duì)象中之一的操作。
[0014]在又一方面中，一種存儲(chǔ)有指令的非易失性解釋解釋可讀存儲(chǔ)介質(zhì)，當(dāng)指令由計(jì)算機(jī)執(zhí)行時(shí)，指令使得計(jì)算機(jī)執(zhí)行用于控制多個(gè)可控制對(duì)象。方法包括通過(guò)計(jì)算機(jī)，提供用戶接口，以控制多個(gè)可控制對(duì)象。用戶接口與由傳感器的預(yù)定檢測(cè)區(qū)域所限定的手勢(shì)識(shí)別區(qū)域相關(guān)聯(lián)?；谝捎脩艚涌谒刂频目煽刂茖?duì)象的數(shù)量手勢(shì)識(shí)別區(qū)域被分割為多個(gè)手勢(shì)識(shí)別子區(qū)域。檢測(cè)在預(yù)定檢測(cè)區(qū)域內(nèi)的預(yù)定手勢(shì)，確定在其中檢測(cè)到預(yù)定手勢(shì)的手勢(shì)識(shí)別子區(qū)域，以及通過(guò)計(jì)算機(jī)基于所檢測(cè)到的預(yù)定手勢(shì)和在其中檢測(cè)到預(yù)定手勢(shì)的所確定的手勢(shì)識(shí)別子區(qū)域，對(duì)可控制對(duì)象中的一個(gè)可控制對(duì)象執(zhí)行操作。檢測(cè)預(yù)定檢測(cè)區(qū)域內(nèi)的預(yù)定手勢(shì)。確定在其中檢測(cè)到預(yù)定手勢(shì)的手勢(shì)識(shí)別子區(qū)域。此外，計(jì)算機(jī)基于所檢測(cè)的預(yù)定手勢(shì)和在其中檢測(cè)到預(yù)定的手勢(shì)的所確定的手勢(shì)識(shí)別子區(qū)域執(zhí)行對(duì)可控制對(duì)象中之一的操作。
[0015]本發(fā)明的有益效果
[0016]明書(shū)中所公開(kāi)的一個(gè)或更多個(gè)實(shí)施例，對(duì)于手勢(shì)可以更自由地使用可用的屏幕區(qū)域。
【附圖說(shuō)明】
[0017]圖1是說(shuō)明了設(shè)備概況的示圖。
[0018]圖2是說(shuō)明了一個(gè)操作對(duì)象和現(xiàn)有手勢(shì)接口的示例的示圖。
[0019]圖3是操作對(duì)象的另一個(gè)示例的示圖。
[0020]圖4是操作對(duì)象的另一個(gè)示例的示圖。
[0021]圖5示出了根據(jù)本實(shí)施例的信息處理設(shè)備的硬件配置的示例的框圖。
[0022]圖6示出了根據(jù)本實(shí)施例的信息處理設(shè)備的邏輯配置的示例的框圖。
[0023]圖7A是說(shuō)明了可識(shí)別手勢(shì)的第一示例的示圖。
[0024]圖7B是說(shuō)明了可識(shí)別手勢(shì)的第二示例的示圖。
[0025]圖7C是說(shuō)明了可識(shí)別手勢(shì)的第二不例的不圖。
[0026]圖7D是說(shuō)明了可識(shí)別手勢(shì)的第四示例的示圖。
[0027]圖7E是說(shuō)明了可識(shí)別手勢(shì)的第五示例的示圖。
[0028]圖7F是說(shuō)明了可識(shí)別手勢(shì)的第六示例的示圖。
[0029]圖8是在操作對(duì)象是真實(shí)對(duì)象的情況下參考位置示例的示圖。
[0030]圖9是在操作對(duì)象是真實(shí)對(duì)象的情況下參考位置另一個(gè)示例的示圖。
[0031]圖10是在操作對(duì)象是顯示物的情況下參考位置示例的示圖。
[0032]圖11是說(shuō)明顯示物的參考位置跟隨一個(gè)操作主體的行動(dòng)的示例的示圖。
[0033]圖12是說(shuō)明可以設(shè)置為只有單獨(dú)一個(gè)操作對(duì)象存在的狀態(tài)的手勢(shì)區(qū)域的示圖。
[0034]圖13A是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的第一個(gè)設(shè)計(jì)的第一個(gè)示圖。
[0035]圖13B是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的第一個(gè)設(shè)計(jì)的第二個(gè)示圖。
[0036]圖14是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的第二個(gè)設(shè)計(jì)的示圖。
[0037]圖15是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的第三個(gè)設(shè)計(jì)的第一個(gè)示圖。
[0038]圖16是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的第四個(gè)設(shè)計(jì)的第二個(gè)示圖。
[0039]圖17是說(shuō)明多個(gè)操作對(duì)象的手勢(shì)區(qū)域設(shè)置的其他設(shè)計(jì)的示圖。
[0040]圖18A是說(shuō)明手勢(shì)區(qū)域合并的第一個(gè)示圖。
[0041]圖18B是說(shuō)明手勢(shì)區(qū)域合并的第二個(gè)示圖。
[0042]圖19是說(shuō)明標(biāo)示手勢(shì)接口的幾個(gè)示例的示圖。
[0043]圖20是說(shuō)明標(biāo)示手勢(shì)接口的另外幾個(gè)示例的示圖。
[0044]圖21是說(shuō)明手勢(shì)輸入至菜單的示例的示圖。
[0045]圖22是示出根據(jù)本實(shí)施例的操作控制處理的綜合流程的流程圖。
[0046]圖23是示出圖22中步驟S180的處理的細(xì)節(jié)流程示例的流程圖。
[0047]圖24是說(shuō)明多個(gè)設(shè)備間協(xié)作的示圖。
【具體實(shí)施方式】
[0048]下文中，將參考附圖對(duì)本公開(kāi)的優(yōu)選實(shí)施例給予說(shuō)明。在說(shuō)明書(shū)和附圖中，具有基本上相同的功能結(jié)構(gòu)的組件，用相同的符號(hào)來(lái)表示省略重復(fù)的解釋。
[0049]按照下面順序進(jìn)行說(shuō)明
[0050]1.概述
[0051]2.根據(jù)本實(shí)施例的信息處理設(shè)備
[0052]2-1硬件配置
[0053]2-2邏輯配置
[0054]2-3手勢(shì)示例
[0055]2-4參考位置示例
[0056]2-5手勢(shì)區(qū)域設(shè)置示例
[0057]2-6手勢(shì)區(qū)域合并
[0058]2-7手勢(shì)接口的標(biāo)示
[0059]3.處理流程示例
[0060]3-1 一般流程
[0061]3-2操作的執(zhí)行
[0062]4.多個(gè)設(shè)備間的協(xié)作
[0063]5.結(jié)論
[0064]〈1.概述〉
[0065]本公開(kāi)的技術(shù)適用于各種形式的設(shè)備。圖1用于示出本公開(kāi)的技術(shù)適用于該設(shè)備的概述的圖。在例圖1中，信息處理設(shè)備100是頭戴式顯示器(HMD)。HMD是要由用戶佩戴在他/她的頭上，并且具有看穿或非看穿屏幕，其設(shè)置為以便位于用戶眼鏡的一個(gè)或兩者之前。信息處理設(shè)備100還包括攝像裝置101。該相機(jī)101設(shè)置成這樣，其光軸與用戶的視線近似平行，并用于對(duì)圖像成像以疊加在用戶的視野中。信息處理設(shè)備100的底盤(pán)包括支撐的屏幕的框架和位于用戶的顳葉部的所謂的鏡腿。鏡腿可以有存儲(chǔ)在其中不同的模塊以用于信息處理和通信。底盤(pán)可能有操作主體，諸如在其表面上所設(shè)置的觸摸傳感器、按鈕、開(kāi)關(guān)或輪。
[0066]在圖1中，用戶被定位在真實(shí)空間I中。在真實(shí)的空間I中，存在真實(shí)對(duì)象Rol、Ro20真實(shí)對(duì)象Rpl是電視裝置。真實(shí)對(duì)象R02是掛在墻上的地圖。用戶可以在信息處理設(shè)備100的屏幕上看見(jiàn)真實(shí)對(duì)象Rol和Ro2。用戶可以看見(jiàn)在屏幕上顯示的對(duì)象，可以由信息處理設(shè)備100顯示的這些真實(shí)對(duì)象之外的對(duì)象。
[0067]雖然用戶看見(jiàn)信息處理設(shè)備100的屏幕，用戶的手不受限制。因此，用戶可以允許相機(jī)101通過(guò)他/她的手或其他操作主體(例如，手所握的真實(shí)對(duì)象，腿等)對(duì)各種手勢(shì)成像。因此，在現(xiàn)有的方案中提出了利用這樣的手勢(shì)的手勢(shì)接口。
[0068]圖2是用于示出操作對(duì)象和現(xiàn)有的手勢(shì)接口的示意圖。參考圖2，真實(shí)對(duì)象Rol顯示在信息處理設(shè)備100的屏幕上。此外，用于操作的真實(shí)對(duì)象Rol用戶接口 UIl疊加在屏幕上。用戶接口 UIl是虛擬的菜單，并且包括菜單項(xiàng)Ulla，Ullb，UIlc，Ulld，和Ulle。如果用戶觸摸任何菜單項(xiàng)，例如，使用操作主體Hl，真實(shí)對(duì)象ROl執(zhí)行對(duì)應(yīng)的觸摸菜單的功能(例如，信道變化或音量的變化)。
[0069]圖3是用于示出操作對(duì)象的另一個(gè)示例的說(shuō)明圖。參考圖3，真實(shí)對(duì)象Ro2顯示在信息處理設(shè)備100的屏幕上。在此，假設(shè)真實(shí)對(duì)象Ro2虛擬操作是預(yù)先定義的。虛擬操作可以是放大或縮小地圖的顯示，例如。如果用戶，例如，使用操作主體Hl捏合放大真實(shí)對(duì)象Ro2，則用于渲染放大地圖的地圖數(shù)據(jù)動(dòng)態(tài)地獲取，并且基于獲取的地圖數(shù)據(jù)放大的地圖顯示在屏幕上。
[0070]圖4是用于說(shuō)明操作對(duì)象的其他示例的說(shuō)明圖。參考圖4，顯示對(duì)象Vo3顯示在信息處理設(shè)備100的屏幕上。顯示對(duì)象Vo3是具有滾動(dòng)條的因特網(wǎng)瀏覽器。如果用戶，例如，使用操作主體Hl向下滾動(dòng)滾動(dòng)條，則在顯示對(duì)象Vo3中的內(nèi)容也滾動(dòng)。
[0071]如上，在手勢(shì)接口中，接受手勢(shì)輸入的屏幕區(qū)域被限定為特定的對(duì)象區(qū)域或虛擬UI區(qū)域。為了這個(gè)原因，用戶必須準(zhǔn)確地指出這些區(qū)域，然后作出預(yù)定的手勢(shì)。在接受手勢(shì)輸入的屏幕區(qū)域窄的情況下，手勢(shì)輸入的自由度也受到限制。因此，難以說(shuō)，現(xiàn)有的方案充分帶來(lái)了方便的手勢(shì)接口。在此，將給出下述系統(tǒng)的說(shuō)明，在該系統(tǒng)中，可用的屏幕區(qū)域可以更自由地使用以用于從下一節(jié)開(kāi)始的手勢(shì)。
[0072]在此，本公開(kāi)的技術(shù)并不僅限于上述的HMD的示例，并且適用于基于用戶的手勢(shì)操作任何操作對(duì)象的各種系統(tǒng)。例如，本公開(kāi)的技術(shù)可應(yīng)用于操作輔助系統(tǒng)，該操作系統(tǒng)具有一個(gè)屏幕，該系統(tǒng)具有屏幕，該屏幕設(shè)置在操作員的前面，以協(xié)助操作員操作車(chē)輛或其他機(jī)器。在這種情況下，各種輔助功能是通過(guò)操作者的手勢(shì)進(jìn)行的。該屏幕可能不一定是由用戶或操作員佩戴，例如，可能是諸如智能手機(jī)或便攜式導(dǎo)航設(shè)備的信息終端的屏幕。
[0