信息處理裝置、信息處理方法及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本公開內(nèi)容涉及信息處理裝置、信息處理方法及程序。
[0002]本公開內(nèi)容包含與2012年12月27日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2012-285025中公開的主題有關(guān)的主題，該日本優(yōu)先權(quán)專利申請的全部內(nèi)容通過引用并入在本文中。
【背景技術(shù)】
[0003]近年來，已經(jīng)提出了經(jīng)由來自攝像機的圖像來接收用戶輸入的用戶界面(UI)。
[0004]作為一個示例，JP 2002-196855A公開了一種方法，該方法將用于Π目的的目標圖像疊加在用戶的鏡像圖像所出現(xiàn)的圖像上，并且執(zhí)行與用戶手的運動所選擇的目標圖像關(guān)聯(lián)的應用處理。JP 2005-216061A同時公開了一種方法，該方法通過確定在輸入圖像中的用戶的頭和手的位置并且自動地在所確定的位置附近顯示目標圖像，來消除在使用攝像機圖像的Π中進行初始設置(例如設置攝像機角度)的困難。
[0005]引用列表
[0006]專利文獻
[0007]PTL I:JP 2002-196855A
[0008]PTL 2:JP 2005-216061A

【發(fā)明內(nèi)容】

[0009]技術(shù)問題
[0010]然而，在用戶的頭或手的附近的屏幕區(qū)域是有限的。這意味著使用JP2005-216061A中公開的方法，當在Π中提供大量的可選擇對象時，屏幕變得擠滿了這些對象，這反過來使得可用性降低。
[0011]因此，期望的是實現(xiàn)即使當提供大量可選擇對象時也能夠避免由于屏幕擁擠而引起可用性降低的改進的UI。
[0012]問題的解決方案
[0013]根據(jù)一個方面，描述了一種信息處理系統(tǒng)，該信息處理系統(tǒng)包括:處理電路，所述處理電路被配置為響應于對用戶啟動的操作對象的識別來控制顯示屏幕上的Π對象從識別前位置向識別后位置的移動，其中，所述識別后位置在空間上與預定顯示特征的顯示位置有關(guān)，其中，所述預定顯示特征是從攝像機捕獲圖像得到的圖像。
[0014]根據(jù)另一個方面，描述了一種信息處理方法，該信息處理方法包括:使用處理電路響應于對用戶啟動的操作對象的識別來控制顯示屏幕上的Π對象從識別前位置向識別后位置的移動，其中，識別后位置在空間上與預定顯示特征的顯示位置有關(guān)，以及預定顯示特征是從攝像機捕獲圖像得到的圖像。
[0015]根據(jù)又一方面，描述了一種具有計算機可讀指令的非暫態(tài)計算機可讀介質(zhì)，該計算機可讀指令在被處理電路執(zhí)行時執(zhí)行方法，該方法包括:使用該處理電路響應于對用戶啟動的操作對象的識別來控制顯示屏幕上的Π對象從識別前位置向識別后位置的移動，其中，識別后位置在空間上與預定顯示特征的顯示位置有關(guān)，以及預定顯示特征是從攝像機捕獲圖像得到的圖像。
[0016]發(fā)明的有益效果
[0017]根據(jù)本公開內(nèi)容的以上實施方式，實現(xiàn)了下述Π ??該UI即使當提供大量可選擇對象時也能夠避免由于屏幕的擁擠而引起的可用性降低。
【附圖說明】
[0018][圖1]圖1是有助于解釋根據(jù)本公開內(nèi)容的第一實施方式的信息處理裝置的概述的圖。
[0019][圖2]圖2是有助于解釋根據(jù)本公開內(nèi)容的第二實施方式的信息處理裝置的概述的圖。
[0020][圖3]圖3是示出了根據(jù)第一實施方式的信息處理裝置的示例硬件配置的框圖。
[0021][圖4]圖4是示出了根據(jù)第一實施方式的信息處理裝置的邏輯功能的示例配置的框圖。
[0022][圖5]圖5是有助于解釋圖像識別結(jié)果的一個示例的圖。
[0023][圖6]圖6是有助于解釋可以被識別的另一姿勢的第一示例的圖。
[0024][圖7]圖7是有助于解釋可以被識別的另一姿勢的第二示例的圖。
[0025][圖8]圖8是有助于解釋可以被識別的另一姿勢的第三示例的圖。
[0026][圖9]圖9是有助于解釋可以被識別的另一姿勢的第四示例的圖。
[0027][圖10]圖10是有助于解釋可以被識別的另一姿勢的第五示例的圖。
[0028][圖11]圖11是有助于解釋可以被識別的另一姿勢的第六示例的圖。
[0029][圖12]圖12是有助于解釋可以被識別的另一姿勢的第七示例的圖。
[0030][圖13]圖13是有助于解釋Π對象的第一示例的圖。
[0031][圖14]圖14是有助于解釋Π對象的第二示例的圖。
[0032][圖15]圖15是有助于解釋Π對象朝向用戶靠近的模式的第一示例的圖。
[0033][圖16]圖16是有助于解釋Π對象朝向用戶靠近的模式的第二示例的圖。
[0034][圖17]圖17是有助于解釋UI對象朝向用戶靠近的模式的第三示例的圖。
[0035][圖18]圖18是有助于解釋UI對象朝向用戶靠近的模式的第四示例的圖。
[0036][圖19]圖19是有助于解釋與在圖17中所示的示例對應的優(yōu)先級數(shù)據(jù)的示例的圖。
[0037][圖20]圖20是有助于解釋與在圖18中所示的示例對應的優(yōu)先級數(shù)據(jù)的示例的圖。
[0038][圖21]圖21是有助于解釋Π對象朝向用戶靠近的模式的第五示例的圖。
[0039][圖22]圖22是有助于解釋操作事件的第一示例的圖。
[0040][圖23]圖23是有助于解釋操作事件的第二示例的圖。
[0041][圖24]圖24是有助于解釋操作事件的第二不例和第四不例的圖。
[0042][圖25]圖25是有助于解釋操作事件的第五示例的圖。
[0043][圖26]圖26是有助于解釋操作事件的第六示例的圖。
[0044][圖27]圖27是有助于解釋操作事件的第七示例和第八示例的圖。
[0045][圖28]圖28是有助于解釋操作事件的第九示例的圖。
[0046][圖29]圖29是有助于解釋包含多個操作對象的操作場景的第一示例的圖。
[0047][圖30]圖30是有助于解釋包含多個操作對象的操作場景的第二示例的圖。
[0048][圖31]圖31是有助于解釋包含多個操作對象的操作場景的第三示例的圖。
[0049][圖32]圖32是有助于解釋輸出圖像的窗口組成的第一示例的圖。
[0050][圖33]圖33是有助于解釋輸出圖像的窗口組成的第二示例的圖。
[0051][圖34]圖34是示出了根據(jù)第一實施方式的處理流程的示例的前半部分流程圖。
[0052][圖35]圖35是示出了根據(jù)第一實施方式的處理流程的示例的后半部分流程圖。
[0053][圖36]圖36示出了根據(jù)第二實施方式的信息處理裝置的示例硬件配置的框圖。
[0054][圖37]圖37是有助于解釋在第二實施方式中的操作場景的示例的圖。
【具體實施方式】
[0055]在下文中，將參照附圖詳細地描述本公開內(nèi)容的優(yōu)選實施方式。要注意的是，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的附圖標記來標示，并且省略了這些結(jié)構(gòu)元件的重復解釋。
[0056]按以下指示的順序給出下面的描述。
[0057]1.概述
[0058]2.第一實施方式
[0059]2-1.示例硬件配置
[0060]2-2.示例功能配置
[0061]2-3.UI對象的靠近模式
[0062]2-4.操作事件的各種示例
[0063]2-5.多個操作對象的結(jié)合
[0064]2-6.示例窗口組成
[0065]2-7.不例處理流程
[0066]3.第二實施方式
[0067]4.結(jié)論
[0068]〈1.概述〉
[0069]首先，將參照圖1和圖2描述可以應用根據(jù)本公開內(nèi)容的實施方式的技術(shù)的信息處理裝置的概述。根據(jù)本公開內(nèi)容的實施方式的技術(shù)可以應用于使用以下圖像的多種裝置和系統(tǒng):在該圖像中用戶出現(xiàn)，作為用戶界面的一部分。作為示例，根據(jù)本公開內(nèi)容的實施方式的技術(shù)可以應用于數(shù)字家用電器，例如電視裝置。根據(jù)本公開內(nèi)容的實施方式的技術(shù)也可以應用于終端裝置，例如PC(個人計算機)、智能電話、PDA(個人數(shù)字助理)或游戲控制臺。根據(jù)本公開內(nèi)容的實施方式的技術(shù)也可以應用于特殊用途的裝置，例如娛樂裝置。
[0070]圖1是有助于解釋根據(jù)本公開內(nèi)容的第一實施方式的信息處理裝置100的概述的圖。如在圖1中所示，信息處理裝置100是電視裝置。信息處理裝置100包括攝像機101、麥克風102以及顯示器108。攝像機101收集正在看著信息處理裝置100的顯示器108的用戶的圖像。麥克風102收集由這樣的用戶產(chǎn)生的語音樣本。顯示器108顯示由信息處理裝置100生成的圖像。由顯示器108顯示的圖像除了內(nèi)容圖像之外還可以包括用戶界面(UI) O在圖1的示例中，用戶Ua和Ub正在看著顯示器108。在顯示器108上，顯示Π圖像WOlo使用由攝像機101收集的收集圖像來生成Π圖像W01，并且Π圖像WOl實現(xiàn)了所謂的“鏡像圖像”顯示。多個Π對象Obj疊加在Π圖像WOl上。用戶Ua和Ub可以通過經(jīng)由使用他們身體的各種姿勢操作UI對象Obj來與圖像處理裝置100進行交互。經(jīng)由麥克風102輸入至信息處理裝置100的語音命令也可以用來實現(xiàn)與信息處理裝置100的交互。
[0071]圖2是有助于解釋根據(jù)本公開內(nèi)容的第二實施方式的信息處理裝置200的概述的圖。如在圖2中所示，信息處理裝置200是平板PC。信息處理裝置200包括攝像機201、麥克風202以及顯示器208。攝像機201收集正在看著信息處理裝置200的顯示器208的用戶的圖像。麥克風202收集由這樣的用戶產(chǎn)生的語音樣本。顯示器208顯示由信息處理裝置200生成的圖像。由顯示器208顯示的圖像除了內(nèi)容圖像之外還可以包括用戶界面(UI)圖像。在圖2的示例中，用戶Uc正在看著顯示器208。在顯示器208上，顯示Π圖像W02。使用由攝像機201收集的收集圖像來生成UI圖像W02，并且UI圖像W02實現(xiàn)了所謂的“鏡像圖像”顯示。多個Π對象Obj也疊加在Π圖像W02上。用戶Uc可以通過經(jīng)由使用身體的各種姿勢操作UI對象Obj來與圖像處理裝置200進行交互。
[0072]根據(jù)現(xiàn)有的方法，由用戶操作的Π對象可以自動地布置在圖像中用戶的頭或手的附近。然而，由于在用戶的頭或手附近的屏幕區(qū)域是有限的，因此當提供多個Π對象時，存在著這些Π對象擁擠在用戶附近的風險。如果Π對象擁擠在有限的屏幕區(qū)域，選擇單個Π對象就變得困難，這反過來可以使得可用性降低。由于這個原因，信息處理裝置100和信息處理裝置200根據(jù)在下面部分詳細描述的框架來避免這樣的可用性降低。
[0073]<2.第一實施方式>
[0074]<2-1.示例硬件配置〉
[0075]圖3示出了信息處理裝置100的示例硬件配置的框圖。如在圖3中所示，信息處理裝置100包括攝像機101、麥克風102、輸入設備103、通信接口(I/F) 104、存儲器105、調(diào)諧器106、解碼器107、顯示器108、揚聲器109、遠程控制I/F 110、總線111以及處理器112。
[0076](I)攝像機
[0077]攝像機101包括圖像收集元件，例如CXD (電荷耦合器件)或CMOS (互補金屬氧化物半導體)，并且收集圖像。由攝像機101收集的圖像(構(gòu)成視頻的幀)被當作由信息處理裝置100處理的輸入圖像。
[0078](2)麥克風
[0079]麥克風102收集由用戶產(chǎn)生的語音樣本并且生成語音信號。由麥克風102生成的語音信號可以被當作要由信息處理裝置100進行語音識別的輸入語音。麥克風102可以是全方向的麥克風，或具有固定方向或可變方向的麥克風。
[0080](3)輸入設備
[0081]輸入設備103是由用戶使用以直接操作信息處理裝置100的設備。作為示例，輸入設備103可以包括設置在信息處理裝置100的殼體上的按鈕、開關(guān)、刻度盤等。當檢測到用戶輸入時，輸入設備103生成與所檢測到的用戶輸入對應的輸入信號。
[0082](4)通信接口
[0083]通信I/F 104用作為信息處理裝置100與其它裝置之間的通信的媒介。通信I/F104支持任意無線通信協(xié)議或有線通信協(xié)議，并且與其他裝置建立通信連接。
[0084](5)存儲器
[0085]存儲器105由存儲介質(zhì)(例如半導體存儲器或硬盤驅(qū)動器)構(gòu)成，并且存儲由信息處理裝置100處理的程序和數(shù)據(jù)以及內(nèi)容數(shù)據(jù)。作為一個示例，由存儲器105存儲的數(shù)據(jù)可以包括用于后面描述的圖像識別和語音識別的特征數(shù)據(jù)。要注意的是，在本說明書中描述的一些程序和數(shù)據(jù)或所有程序和數(shù)據(jù)可以不由存儲器105存儲，以及作為替代可以從外部數(shù)據(jù)源(作為示例，數(shù)據(jù)服務器、網(wǎng)絡存儲裝置或外部附接的存儲器)獲取。
[0086](6)調(diào)諧器
[0087]調(diào)諧器106從經(jīng)由天線(沒有示出)接收的廣播信號的期望頻道上提取內(nèi)容信號，并且將內(nèi)容信號解調(diào)。調(diào)諧器106然后將解調(diào)的內(nèi)容信號輸出至解碼器107。
[0088](7)解碼器
[0089]解碼器107對來自從調(diào)諧器106輸入的內(nèi)容信號的內(nèi)容數(shù)據(jù)進行解碼。解碼器107可以對來自經(jīng)由通信I/F 104接收的內(nèi)容信號的內(nèi)容數(shù)據(jù)進行解碼。內(nèi)容圖像可以基于由解碼器107解碼的內(nèi)容數(shù)據(jù)來生成。
[0090]⑶顯示器
[0091]顯示器108具有由IXD(液晶顯示屏)、OLED(有機發(fā)光二極管)、CRT(陰極射線管)等構(gòu)成的屏幕，并且顯示器108顯示由信息處理裝置100生成的圖像。作為示例，參照圖1和圖2描述的內(nèi)容圖像和UI圖像可以顯示在顯示器108的屏幕上。
[0092](9)揚聲器
[0093]揚聲器109具有膜片和電路元件例如放大器，并且基于由信息處理裝置100生成的輸出語音信號來輸出音頻。揚聲器109的音量是可變的。
[0094](10)遠程控制接口
[0095]遠程控制I/F 110是接收從用戶使用的遠程控制器發(fā)送的遠