輸出圖像的窗口組成的示例。在這樣的圖中，由顯示器108顯示Π窗口 Wui和應用窗口 WΑΡΡ。Π窗口 Wui顯示由操作控制單元172生成的UI圖像。應用窗口 Wapp顯示從應用單元140輸入的應用圖像(例如，內(nèi)容圖像)。在圖32的第一示例中，應用窗口 Wapp合并在Π窗口 Wui的右下角處。在圖33的第二示例中，Π窗口 Wui與應用窗口 Wapp的一部分混合。通過使用這樣的窗口組成，作為一個示例，甚至當用戶手邊沒有遙控器時，用戶也可以經(jīng)由Π對象來控制信息處理裝置100的功能，同時觀看內(nèi)容圖像。
[0248]<2-7.示例處理流程>
[0249]圖34和35中的流程圖示出了根據(jù)本實施方式的可以由信息處理裝置100執(zhí)行的處理的流程的示例。在本文中描述的處理針對一系列幀中的每個幀進行重復，其中該一系列幀構(gòu)成攝像機101收集的視頻。
[0250]如在圖34中所示，第一圖像獲取單元120獲取由攝像機101收集的圖像作為輸入圖像(步驟S100)。圖像獲取單元120然后將所獲取的輸入圖像輸出至識別單元150以及控制單元170。
[0251]接下來，圖像識別單元152對出現(xiàn)在從圖像獲取單元120輸入的輸入圖像中的操作對象進行識別(步驟S105)。在這里假定操作對象是用戶的手。例如，圖像識別單元152識別輸入圖像中的手區(qū)域，并且將示出這樣識別的手區(qū)域的位置的位置數(shù)據(jù)輸出至控制單元170。圖像識別單元152也基于手區(qū)域的運動來識別用戶姿勢。此外，也可以由語音識別單元154基于輸入語音來識別語音命令。
[0252]接下來，操作控制單元172基于從圖像識別單元152輸入的圖像識別結(jié)果以及基于根據(jù)需要可以從語音識別單元154輸入的語音識別結(jié)果來確定操作事件(步驟S110)。隨后的處理根據(jù)在這里確定的操作事件來分支。
[0253]在步驟S115中，操作控制單元172確定是否要顯示新的一組Π對象(步驟S115)。作為示例，如果Π圖像要被重新顯示，或者如果已檢測到參照圖26或圖28描述的操作事件，操作控制單元172確定要顯示新的一組UI對象。如果在這里確定不顯示新的一組UI對象，則保持在先前幀中顯示的UI對象，并且處理進行至步驟S120。同時，如果在這里確定要顯示新的一組Π對象，則處理進行至步驟S135。
[0254]在步驟S120中，操作控制單元172確定Π對象中的任一個是否被選擇(步驟S120)。作為一個示例，如果檢測到參照圖22、圖23、圖27或圖31描述的操作事件，則操作控制單元172確定UI對象已經(jīng)被選擇。如果在這里確定UI對象被選擇，處理進行至步驟S125。如果不是，則處理進行至步驟S145。
[0255]在步驟S125中，響應于選擇Π對象的操作事件，操作控制單元172使得應用單元140執(zhí)行與選擇的Π對象關(guān)聯(lián)的處理(步驟S125)。例如，通過增加所選擇的Π對象的操作頻率，優(yōu)先級設置單元174然后更新優(yōu)先級數(shù)據(jù)(步驟S130)。在這之后，處理返回至步驟 SlOO0
[0256]在步驟S135中，操作控制單元172建立新的一組UI對象(步驟S135)。作為一個示例，操作控制單元172指定屬于與先前幀中顯示的一組Π對象不同分類的一組Π對象。操作控制單元172然后在默認顯示位置布置新的一組中包括的Π對象(步驟S140)。在這之后，處理進行至步驟S145。
[0257]在步驟S145中，操作控制單元172確定操作對象是否被重新識別(步驟S145)。作為示例，如果檢測到參照圖15至圖18描述的姿勢G0，操作控制單元172確定操作對象被重新識別。在這里，如果確定操作對象被重新識別，處理進行至步驟S150。如果不是，則跳過在步驟S150中的處理。
[0258]在步驟S150中，操作控制單元172設置Π對象的靠近速度和其他屬性(步驟S150)。作為一個示例，操作控制單元172可以將具有較高優(yōu)先級的對象朝向用戶的靠近速度設置為較高的速度。操作控制單元172也可以將具有較高優(yōu)先級的對象的顯示大小設置為較大的大小。
[0259]如圖35上部所示，操作控制單元172然后確定UI對象的顯示位置是否應被更新(步驟S155)。作為一個示例，如果檢測到參照圖24描述的姿勢G2，操作控制單元172確定顯示位置的更新不是必須的。在這里，如果確定Π對象的顯示位置應被更新，處理進行至步驟S160。如果不是，則跳過在步驟S160和步驟S165中的處理。
[0260]在步驟S160中，操作控制單元172對與特殊事件有關(guān)的UI對象的顯示位置進行更新(步驟S160)。作為一個示例，如果操作控制單元172檢測到參照圖25描述的操作事件，則指定的UI對象的顯示位置被移動遠離用戶。此外，如果檢測到參照圖24描述的姿勢G3a，則操作控制單元172旋轉(zhuǎn)Π對象的顯示位置。
[0261]操作控制單元172然后基于其他Π對象的靠近速度來更新其他Π對象的顯示位置(步驟S165)。作為一個示例，具有較快靠近速度的UI對象的顯示位置可以被移動得更接近用戶。
[0262]在這之后，操作控制單元172根據(jù)經(jīng)由到目前為止的處理所決定的顯示位置和屬性，在輸入圖像上疊加至少一個UI對象，從而來生成UI圖像(步驟S170)。操作控制單元172將包含生成的UI圖像的輸出圖像顯示在顯示器108的屏幕上(步驟S175)。在這之后，處理返回至步驟S100。
[0263]<3.第二實施方式〉
[0264]如在前面所述，根據(jù)本公開內(nèi)容的實施方式的技術(shù)不限于電視裝置，并且可以應用于不同類型的裝置。由于這個原因，現(xiàn)在將描述根據(jù)本公開內(nèi)容的實施方式的技術(shù)被應用到包括因特網(wǎng)的信息處理裝置200的示例，作為第二實施方式。如參照圖2所述，信息處理裝置200是平板PC。
[0265](I)示例硬件配置
[0266]圖36示出了信息處理裝置200的示例硬件配置的框圖。如在圖36中所示，信息處理裝置200包括攝像機201、麥克風202、輸入設備203、通信I/F 204、存儲器205、顯示器208、揚聲器209、總線211以及處理器212。
[0267]攝像機201包括圖像收集元件，例如CXD或CMOS，并且收集圖像。由攝像機201收集的圖像(構(gòu)成視頻的幀)被當作是由信息處理裝置200處理的輸入圖像。
[0268]傳感器202可以包括各種傳感器，例如測量傳感器、加速度傳感器以及陀螺儀傳感器。由傳感器202生成的傳感器數(shù)據(jù)可以由信息處理裝置200的應用功能來使用。
[0269]輸入設備203是由用戶使用以直接操作信息處理裝置200或?qū)π畔⑻幚硌b置200輸入信息的設備。作為一個示例，輸入設備103可以包括觸摸板、按鈕、開關(guān)等。當檢測到用戶輸入時，輸入設備203生成與所檢測到的用戶輸入對應的輸入信號。
[0270]通信I/F 204用作為在信息處理裝置200與其他裝置之間進行通信的媒介。通信I/F 204支持任意無線通信協(xié)議或有線通信協(xié)議，并且與其他裝置建立通信連接。
[0271]存儲器205由存儲介質(zhì)(例如半導體存儲器或硬盤驅(qū)動器)構(gòu)成，并且存儲由信息處理裝置200處理的程序和數(shù)據(jù)以及內(nèi)容數(shù)據(jù)。要注意的是，一些程序和數(shù)據(jù)或所有程序和數(shù)據(jù)可以不由存儲器205存儲，作為替代，可以從外部數(shù)據(jù)源(作為示例，數(shù)據(jù)服務器、網(wǎng)絡存儲裝置或外部附接的存儲器)獲取。
[0272]顯示器208具有由IXD、0LED等構(gòu)成的屏幕，并且顯示由信息處理裝置200生成的圖像。作為一個示例，與在第一實施方式中描述的UI圖像相同的UI圖像可以顯示在顯示器208的屏幕上。
[0273]揚聲器209具有膜片和電路元件例如放大器，并且基于由信息處理裝置200生成的輸出音頻信號來輸出音頻。揚聲器209的音量是可變的。
[0274]總線211使攝像機201、麥克風202、輸入設備203、通信I/F 204、存儲器205、顯示器208、揚聲器209、以及處理器212互相連接。
[0275]作為示例，處理器112可以是CPU或DSP。通過執(zhí)行存儲在存儲器205中的程序或在其他存儲介質(zhì)上的程序，用與根據(jù)第一實施方式的信息處理裝置100的處理器112相同的方式，處理器212使得信息處理裝置200以多種方式運行。除了在應用功能上的不同，由信息處理裝置200的存儲器205和處理器212實現(xiàn)的邏輯功能的配置可以與在圖4中所示的信息處理裝置100的配置相同。
[0276](2)示例操作場景
[0277]圖37是有助于解釋第二實施方式的操作場景的示例的圖。在圖37中，沿著時間軸示出了四個輸出圖像ST91至ST94。在該場景中，各個輸出圖像由在左半邊的因特網(wǎng)瀏覽器的應用圖像Wapp和在右半邊的Π圖像Wui組成。
[0278]在輸出圖像ST91中，應用圖像Wapp包括網(wǎng)頁中所寫的文本。在圖37中，從網(wǎng)頁的文本提取的三個關(guān)鍵字“XXX計算機娛樂有限公司”、“游戲臺”以及“圣誕節(jié)”被矩形框包圍。用戶Ud出現(xiàn)在Π圖像WUI中，并且實現(xiàn)了鏡像圖像顯示。
[0279]例如，可以在作為操作對象的用戶Ud的手被識別之后顯示下一個輸出圖像ST92。在輸出圖像ST92中，Π對象B71至Π對象B73被疊加在Π圖像上。Π對象B71與關(guān)鍵字“XXX計算機娛樂有限公司”關(guān)聯(lián)。Π對象B72與關(guān)鍵字“游戲臺”關(guān)聯(lián)。Π對象B73與關(guān)鍵字“圣誕節(jié)”關(guān)聯(lián)。
[0280]在下一個輸出圖像ST93中，用戶Ud的手與Π對象B72重合。在UI圖像中設置了三個屏幕區(qū)R41、R42及R43。屏幕區(qū)R41與網(wǎng)絡搜索(文本搜索)處理關(guān)聯(lián)。屏幕區(qū)R42與圖像搜索處理關(guān)聯(lián)。屏幕區(qū)R43與影片搜索處理關(guān)聯(lián)。
[0281]在下一個輸出圖像ST94中，Π對象B72移動以便跟蹤用戶Ud的手的運動，并且移動到與屏幕區(qū)R41重合的位置。響應于這樣的操作事件，信息處理裝置200的操作控制單元172使得應用單元140執(zhí)行使用對象B72所示的關(guān)鍵字“游戲臺”的網(wǎng)絡搜索功能。
[0282]<4.結(jié)論〉
[0283]到目前為止參照圖1至圖37詳細地描述了本公開內(nèi)容的實施方式。根據(jù)上述實施方式，多個UI對象顯示在UI圖像中，其中該UI圖像顯示用戶的鏡像圖像，并且在基于圖像識別結(jié)果來控制Π對象的操作的Π中，在操作對象(例如用戶的手)被識別之前所顯示的Π對象的顯示位置在該操作對象被識別之后朝向用戶靠近。因此，因為在用戶附近的有限屏幕區(qū)域沒有被少量Π對象填滿，所以可以避免由于屏幕擁擠引起的可用性的降低。
[0284]并且，根據(jù)上述實施方式，Π對象朝向用戶靠近的模式可以根據(jù)針對各個Π對象設置的優(yōu)先級而變化。因此，用戶能夠快速地操作具有較高優(yōu)先級的Π對象(例如，以更高頻率操作的UI對象或被確定為適合于用戶的UI對象)。
[0285]根據(jù)上述實施方式，可以實現(xiàn)由用戶姿勢觸發(fā)的各種操作事件。因此，甚至當用戶沒有遙控器或其他物理操作設備時，用戶也能夠使用靠近用戶附近的Π對象來靈活地操作信息設備。
[0286]要注意的是，由本公開內(nèi)容的實施方式所描述的各種裝置執(zhí)行的一系列處理通常使用軟件來實現(xiàn)。作為一個示例，構(gòu)成實現(xiàn)此一系列處理的軟件的程序預先存儲在存儲介質(zhì)(非暫態(tài)介質(zhì))上，其中該存儲介質(zhì)被設置在這樣的裝置的內(nèi)部或外部。作為一個示例，在執(zhí)行期間，這樣的程序然后被寫進RAM(隨機存取存儲器)并且由處理器例如CPU來執(zhí)行。
[0287]盡管參照附圖詳細地描述了本公開內(nèi)容的優(yōu)選實施方式，但本公開內(nèi)容的技術(shù)范圍不限于此。本領(lǐng)域普通技術(shù)人員應理解，可以根據(jù)設計需求和其他因素進行各種修改、組合、子組合以及替選，只要其在所附權(quán)利要求或其等同物的范圍內(nèi)。
[0288]此外，本技術(shù)也可以被配置如下:
[0289](I)
[0290]一種信息處理系統(tǒng)，包括:
[0291]處理電路，所述處理電路被配置為
[0292]響應于對用戶啟動的操作對象的識別，控制顯示屏幕上的UI對象從識別前位置向識別后位置的移動，其中，所述識別后位置在空間上與預定顯示特征的顯示位置有關(guān)，以及其中，所述預定顯示特征是從攝像機捕獲圖像得到的圖像。
[0293](2)
[0294]根據(jù)(I)所述的信息處理系統(tǒng)，其中，
[0295]所述處理電路被配置成根據(jù)與所述Π對象有關(guān)的參數(shù)來改變所述Π對象的靠近模式。
[0296](3)
[0297]根據(jù)⑵所述的信息處理系統(tǒng)，其中，
[0298]所述靠近模式對于顯示對象和其他顯示對象是不統(tǒng)一的，使得不同顯示對象的相應靠近速度是不同的。
[0299](4)
[0300]根據(jù)(2)所述的信息處理系統(tǒng)，其中，
[0301]所述參數(shù)是優(yōu)先級。
[0302](5)根據(jù)(4)所述的信息處理系統(tǒng)，其中，所述優(yōu)先級基于操作頻率或推薦。
[0303](6)
[0304]根據(jù)(2)所述的信息處理系統(tǒng)，其中，
[0305]所述靠近模式對于顯示對象和其他顯示對象是不統(tǒng)一的，使得不同顯示對象的相應識別后顯示位置是不同的。
[0306](7)
[0307]根據(jù)(2)所述的信息處理系統(tǒng)，其中，
[0308]對于顯示對象和另一顯示對象的移動的觸發(fā)條件是不同的。
[0309](8)
[0310]根據(jù)(J)所述的信息處理系統(tǒng)，其中，
[0311]第一檢測姿勢觸發(fā)所述顯示對象的移動，并且第二檢測姿勢觸發(fā)所述另一顯示對象的移動。
[0312](9)
[0313]根據(jù)(J)所述的信息處理系統(tǒng)，其中，
[0314]所述顯示對象與所述另一顯示對象被顯示在圍繞所述操作對象的環(huán)中。
[0315](10)
[0316]根據(jù)(I)所述的信息處理系統(tǒng)，其中，所述處理電路被配置成控制多個Π對象的移動。
[0317](11)
[0318]根據(jù)⑴所述的信息處理系統(tǒng)，其中，
[0319]對于所述UI對象和不同的UI對象，UI對象的識別后位置是不同的。
[0320](12)
[0321]根據(jù)(11)所述的信息處理系統(tǒng)，其中，
[0322]當所述Π對象被