輔助顯示器的懸停敏感控制的制作方法
【專利摘要】示例裝置和方法涉及具有觸摸和懸停敏感顯示器的第一設(shè)備(200；例如電話、平板)。第一設(shè)備可檢測具有第二顯示器(210)的第二設(shè)備(例如電視機(jī)、監(jiān)視器)。在第一和第二設(shè)備之間建立通信鏈路和上下文之后，第一設(shè)備可提供要在第二設(shè)備上顯示的第一輸出(例如電影、游戲)。響應(yīng)于標(biāo)識在與第一設(shè)備相關(guān)聯(lián)的懸停空間中產(chǎn)生的懸停點(202)，該第一設(shè)備可提供用于在該第二顯示器上顯示的第二輸出(212、220；例如，用戶界面元素、光標(biāo))。第二輸出可以基于該上下文以及與該懸停點相關(guān)聯(lián)的懸停動作。該用戶隨后可通過使用與該光標(biāo)(212)有關(guān)的第二輸出來與該第二顯示器交互來引起控制事件被生成。
【專利說明】輔助顯示器的懸停敏感控制
[0001 ] 背景
[0002]用戶熟悉其電視機(jī)、其DVD(數(shù)字多功能盤)播放機(jī)、其游戲控制臺和其它設(shè)備的遙控器。這些遙控器傾向于將固定的物理按鈕映射到預(yù)定義的控制動作。例如，電視機(jī)遙控器上的開/關(guān)(on/off)按鈕可能總是在相同位置并執(zhí)行相同的功能。類似地，游戲控制器上的“右扳機(jī)鍵(right trigger)”和“左扳機(jī)鍵(Ieft trigger)”按鈕可能總是在相同位置且可能總是被映射到針對應(yīng)用(例如游戲)的相同控制動作。傳統(tǒng)設(shè)備控制器(例如，游戲控制器(game controller)、鍵盤、游戲控件(game control))具有物理按鈕，所述物理按鈕向用戶提供幫助用戶做出期望的輸入而無需向下看控制器的物理觸摸點。這些傳統(tǒng)控制器沒有它們自己的顯示器且僅對于其預(yù)期的專用用途是有用的。
[0003]觸摸敏感設(shè)備(例如智能電話、平板)的流行向用戶已經(jīng)擁擠的日常生活增加了又一件電子裝備。已經(jīng)嘗試用觸摸敏感設(shè)備來取代傳統(tǒng)的、專用的、以按鈕為中心的控制器。然而，智能電話、平板和其它觸摸敏感設(shè)備不具有處于熟悉位置的熟悉按鈕且因此尚未帶來可接受的結(jié)果。使用具有其自己的顯示器(例如，電話、平板)的觸摸敏感設(shè)備的傳統(tǒng)嘗試遵循以下模型:其中控件被顯示在觸摸敏感設(shè)備上。例如，對于DVD播放機(jī)控制，電話可在該電話上顯示DVD控件。這導(dǎo)致“低頭”操作，其中用戶的焦點被定向到手持觸摸敏感設(shè)備而非輔助顯示器。即使在對應(yīng)控件被顯示在輔助顯示器和觸摸敏感設(shè)備兩者上時，相應(yīng)控件傾向于在手持設(shè)備和輔助顯示器之間緊密耦合，且從而用戶傾向于將其焦點切換到手持觸摸敏感設(shè)備以確保他們正在按下期望的按鈕。
[0004]概述
[0005]提供本概述是為了以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。
[0006]示例方法和裝置涉及產(chǎn)生抬頭式交互，其中在使用懸停敏感設(shè)備(hover-sensitive device)(例如，電話，平板)作為其輸出被顯示在輔助顯示器上的應(yīng)用的控制器時，用戶將其注意力保持在輔助顯示器(例如電視機(jī))上。從傳統(tǒng)的相應(yīng)控制模型的脫離促進(jìn)了產(chǎn)生抬頭式交互。與在電話上顯示控件的傳統(tǒng)系統(tǒng)不同，示例方法和裝置可不在電話上顯示控件。相反，控件可被顯示在輔助顯示器上且通過電話的懸停交互可被用來移動輔助顯示器上的光標(biāo)。當(dāng)光標(biāo)如用戶所期望地在輔助顯示器上定位(例如，在控件上方)時，則電話上的觸摸交互可激活該控件。因為電話上沒有要看的東西，所以用戶的注意力留在輔助顯示器上。示例裝置和方法使用觸摸和懸停敏感設(shè)備上的懸停和觸摸交互來提供輔助顯示器上的視覺反饋并作為物理按鈕的代理。
[0007]—些實施例可包括對觸摸和懸停兩種動作敏感的電容性輸入/輸出(1/0)接口。電容性1/0接口可以檢測觸摸屏幕的對象(例如，手指、拇指、指示筆)。電容性1/0接口也可以檢測不正在觸摸屏幕，但位于與屏幕相關(guān)聯(lián)的三維體積(例如，懸?？臻g)中的對象(例如，手指、拇指、指示筆)。電容性1/0接口可能能夠同時檢測觸摸動作和懸停動作。電容性1/0接口可以能夠檢測多個同時的觸摸動作和多個同時的懸停動作。第一設(shè)備(例如電話)可建立上下文，第一設(shè)備將通過該上下文與輔助設(shè)備(例如，電視機(jī)、計算機(jī)監(jiān)視器、游戲監(jiān)視器)交互。第一設(shè)備可提供懸停接口，該懸停接口促成在輔助設(shè)備上移動光標(biāo)。第一設(shè)備還可提供來自在第一設(shè)備上運行的應(yīng)用的輸出。例如，電話可屏幕播放(screencast)游戲到游戲監(jiān)視器并允許用戶使用電話上的懸停動作在游戲監(jiān)視器上四處移動光標(biāo)。
[0008]附圖簡述
[0009]附圖示出本文所述的各種示例裝置、方法和其他實施例。將理解到附圖中所示的元素邊界(如框、框組、或其他形狀)表示邊界的一個示例。在某些示例中，一個元素可被設(shè)計成多個元素，或者多個元素可被設(shè)計成一個元素。在某些示例中，示為另一元素的內(nèi)部組件的某一元素可被實現(xiàn)為外部組件，且反之亦然。此外，元素可不被按比例繪制。
[0010]圖1示出了示例觸摸和懸停敏感設(shè)備。
[0011]圖2示出與輔助顯示器交互的示例觸摸和懸停敏感設(shè)備。
[0012]圖3示出被配置成執(zhí)行對輔助顯示器的懸停敏感控制的示例觸摸和懸停敏感設(shè)備的一部分。
[0013]圖4示出被配置成執(zhí)行對輔助顯示器的懸停敏感控制的示例觸摸和懸停敏感設(shè)備的一部分。
[0014]圖5示出與執(zhí)行對輔助顯示器的懸停敏感控制相關(guān)聯(lián)的示例方法。
[0015]圖6示出與執(zhí)行對輔助顯示器的懸停敏感控制相關(guān)聯(lián)的示例方法。
[0016]圖7示出示例云操作環(huán)境，在其中觸摸和懸停敏感接口可提供對輔助顯示器的懸停敏感控制。
[0017]圖8是描繪配置有被配置有執(zhí)行對輔助顯示器的懸停敏感控制的觸摸和懸停敏感接口的示例性移動通信設(shè)備的系統(tǒng)圖。
[00? 8]圖9示出與提供對輔助顯示器的懸停敏感控制的示例裝置。
[0019]圖10示出與輔助顯示器交互的示例懸停敏感設(shè)備。
[0020]詳細(xì)描述
[0021]隨著如電話和平板等設(shè)備變得更加普及，用戶關(guān)于應(yīng)當(dāng)由其“電話”執(zhí)行的功能的期望急劇提高。從而，這些設(shè)備已開始點亮外部顯示器(例如電視機(jī)、游戲監(jiān)視器)上的體驗。然而，作為控制器的設(shè)備通常帶來低頭式體驗，其中難以(即使可能的話)控制對輔助顯示器上所顯示的內(nèi)容或?qū)υ搶υ搩?nèi)容提供輸入。由必須低頭看電話或平板所帶來的低頭式體驗確保了用戶正在觸摸“正確”的位置。示例裝置和方法檢測由觸摸第一設(shè)備(例如電話、平板)上的I/o接口的對象執(zhí)行的觸摸動作。示例裝置和方法還檢測由對象在與I/O接口相關(guān)聯(lián)的懸?？臻g中執(zhí)行的懸停動作。示例裝置和方法使用在第一設(shè)備上的I/o接口處執(zhí)行的觸摸動作和懸停動作來控制“抬頭式”體驗中與輔助顯示器的顯示和交互。
[0022]示例裝置和方法可允許作為控件操作的用戶界面元素被顯示在輔助顯示器上。與將觸摸設(shè)備(例如，電話、平板)上的用戶界面元素與輔助顯示器上的用戶界面元素緊密耦合的傳統(tǒng)系統(tǒng)不同，示例裝置和方法可解耦或至少較不緊密地耦合這些用戶界面元素來產(chǎn)生抬頭式體驗?？申P(guān)于與懸停敏感設(shè)備(例如電話、平板)相關(guān)聯(lián)的懸?？臻g中的指頭(例如拇指)建立懸停點。懸停點可被用來控制輔助顯示器上顯示的光標(biāo)的存在、位置、外觀和功能。例如，當(dāng)用戶在懸?？臻g中在x、y或z方向上移動其拇指時，光標(biāo)可在輔助顯示器上四處移動。在一個實施例中，懸停敏感設(shè)備的表面可被映射到輔助顯示器的表面。但是在另一實施例中，懸停敏感設(shè)備的表面可不被映射到輔助顯示器的表面且懸停移動可獨立于懸停點在懸?？臻g中所處的位置來定位光標(biāo)。懸停移動可引起與軌跡球所提供的輸入類似的輸入。盡管術(shù)語“光標(biāo)”被用來指代呈現(xiàn)在輔助顯示器上的項，然而更一般而言，懸停點或其它視覺指示符可被呈現(xiàn)在輔助顯示器上以指示該點正被懸停敏感設(shè)備上的懸?？臻g中的懸停點在輔助顯示器上控制。
[0023]示例裝置和方法還可為輔助顯示器提供“害羞的”(例如，根據(jù)需要的)控件。例如，當(dāng)用戶正觀看電影時，可能不需要在輔助顯示器上顯示用于類似DVD的界面的控件。但是用戶可能想要能夠暫停電影。示例裝置和方法可檢測到輔助顯示器正在播放電影并且將懸停敏感設(shè)備配置成根據(jù)需要向輔助顯示器提供類似DVD的界面。例如，懸停敏感設(shè)備可被配置成當(dāng)懸停敏感設(shè)備檢測到懸停動作時引起類似DVD界面被顯示。懸停點可被用來控制輔助顯示器上的虛擬控制元件的存在、位置、外觀和功能。例如，當(dāng)用戶將拇指放到懸停空間中時，類似DVD的界面可被疊加在電影上且光標(biāo)被顯示在輔助顯示器上。用戶隨后可做出重新定位光標(biāo)的懸停動作，并且可最終做出引起光標(biāo)下的按鈕被“按下”的觸摸動作。在一個實施例中，類似DVD的界面可以部分透明。
[0024]通過不將懸停敏感設(shè)備上的位置直接映射到輔助顯示器，示例裝置和方法可允許懸停敏感設(shè)備更像控制器一樣而更不像輔助顯示器的縮小版那樣運作。在一個實施例中，光標(biāo)可初始地被定位在輔助顯示器的中心，而不管懸停點在何處被建立。因為用戶知道無論他們在懸停敏感設(shè)備上的什么地方建立懸停點光標(biāo)都將出現(xiàn)在輔助顯示器的中心，所以用戶沒有動機(jī)去看懸停敏感設(shè)備。在另一實施例中，光標(biāo)可被定位在輔助顯示器上最有可能被使用的控件上方，而不管懸停點在懸停敏感設(shè)備上的何處被建立。同樣，因為用戶知道光標(biāo)將出現(xiàn)在預(yù)定義位置，該預(yù)定義位置與在觸摸敏感設(shè)備上懸停點在何處被建立無關(guān)，所以沒有動機(jī)向下看懸停敏感設(shè)備，這提升了抬頭式體驗。在一個實施例中，光標(biāo)可初始地基于懸停點的位置被放置。因為控件被顯示在輔助設(shè)備上，所以用戶看懸停敏感設(shè)備是不需要或者甚至無用的。當(dāng)用戶在懸?？臻g中四處移動其拇指時，光標(biāo)可移動。最終，用戶可決定通過觸摸懸停和觸摸敏感設(shè)備來“按下”輔助顯示器上的按鈕。用戶觸摸懸停和觸摸敏感設(shè)備上的何處可能不重要，可能唯一重要的是在懸停和觸摸敏感設(shè)備正向輔助顯示器提供光標(biāo)和類似DVD的界面時用戶觸摸了懸停和觸摸敏感設(shè)備。
[0025]考慮以下場景:其中用戶正使用具有將屏幕從其電話“屏幕播放”到輔助屏幕的電話。例如，電話可以能夠向輔助屏幕無線播放(Miracast)。輔助屏幕可能已經(jīng)通過其電話或通過另一設(shè)備或進(jìn)程被啟動。示例裝置和方法向電話提供了能夠提供“在輔助顯示器上懸?！惫δ艿哪芰ΑＴ谳o助顯示器上懸停功能可允許用戶在其電話上運行游戲，在輔助顯示器上顯示該游戲，并使用電話作為游戲的懸停控制器。電話所提供的懸停控件可允許游戲控件或系統(tǒng)級控件被顯示在輔助顯示器上的游戲上。電話所提供的懸停控件還可允許將用戶的手指(例如拇指)的表示顯示在輔助顯示器上。
[0026]在一個實施例中，電話可識別出存在可用的第二顯示器并且可因此在第二顯示器上啟動“懸停觸摸點”。例如，在玩游戲時，用戶可在其電話上和在輔助顯示器上看到相同圖像，但是第二顯示器可突出顯示電話所產(chǎn)生的(一個或多個)懸停點。輔助顯示器(例如電視機(jī)、游戲監(jiān)視器)可顯示表示用戶的手指的位置的圖標(biāo)(例如，半透明圓圈)。圖標(biāo)的大小、形狀、顏色或其它屬性可基于用戶的手指和電話之間的z距離而改變。例如，當(dāng)手指更靠近電話時，圖標(biāo)可以小且亮，而當(dāng)手指更遠(yuǎn)離電話時，圖標(biāo)可以大且暗。當(dāng)用戶觸摸屏幕時，圖標(biāo)可改變顏色或形狀。
[0027]盡管游戲和電影是兩個用例，然而與在輔助屏幕上懸停功能相關(guān)聯(lián)的懸停觸摸點也可在生產(chǎn)力場景中被使用。例如，用戶可能正顯示文檔以用于協(xié)作編輯。當(dāng)用戶在懸停敏感設(shè)備上懸停手指時可向用戶呈現(xiàn)虛擬鍵盤或編輯菜單。可不在懸停敏感設(shè)備上顯示相應(yīng)的鍵盤或菜單并且從而沒有動機(jī)來向下看懸停敏感設(shè)備。
[0028]在另一示例中，用戶可能正演示幻燈片并使用其電話作為控制器。電話可提供“激光指示器”功能，該功能允許用戶指出或突出顯示幻燈片上的項，并且還可提供下一/前一功能，該功能允許用戶移動到下一幻燈片或前一幻燈片。因為懸停交互可不依賴于電話上的任何控件的位置，所以用戶將沒有理由看電話，這促進(jìn)了保持焦點在幻燈片上。
[0029]盡管目前已描述了具有單一電話的單一用戶，然而示例裝置和方法可為共享單一輔助顯示器或者甚至多個輔助顯示器的多個用戶或多個電話提供在輔助顯示器上的懸停觸摸點。例如，玩足球游戲的兩個用戶可各自被提供光標(biāo)，該光標(biāo)可被用來控制顯示在輔助顯示器上的玩家。或者，正在面向團(tuán)隊的視頻游戲中協(xié)作的多個用戶可各自具有顯示在團(tuán)體輔助顯示器上的光標(biāo)以促成與虛擬控件以及與彼此的交互。
[0030]使用觸摸技術(shù)來檢測觸摸觸摸敏感屏幕的對象?！坝|摸技術(shù)”和“觸摸敏感”是指感應(yīng)觸摸I /0接口的對象。I /0接口可以是，例如，電容性接口。由電容傳感器感測到的電容可能受不同的介電性質(zhì)的影響，并影響觸摸屏幕的對象的電容。例如，手指的介電性質(zhì)不同于空氣的介電性質(zhì)。類似地，指示筆的介電性質(zhì)也不同于空氣的介電性質(zhì)。如此，當(dāng)手指或者指示筆觸摸電容性I/o接口時，可以感測到電容變化，并將其用于標(biāo)識輸入動作。盡管描述了電容性I/o接口，但是，更一般而言，可以使用觸摸敏感I/O接口。
[0031 ]使用懸停技術(shù)來檢測懸停空間中的對象。“懸停技術(shù)”和“懸停敏感”是指感測與電子設(shè)備中的顯示器分隔開(例如，不觸摸)但卻與其非?？拷膶ο蟆！胺浅？拷笨梢员硎?，例如，超出Imm(毫米)但是在Icm(厘米)內(nèi)，超出.Imm但是在1cm內(nèi)，或其他的范圍組合。非?？拷ㄔ卩徑葯z測器(例如，電容傳感器)可以檢測并表征懸?？臻g中的對象的范圍內(nèi)。設(shè)備可以是，例如，電話、平板計算機(jī)、計算機(jī)，或其他設(shè)備/附件。懸停技術(shù)可以取決于與懸停敏感的設(shè)備相關(guān)聯(lián)的鄰近度檢測器。示例裝置可包括鄰近度檢測器。
[0032]圖1示出了既是觸摸敏感又是懸停敏感的示例設(shè)備100。設(shè)備100包括輸入/輸出(I/O)接口 110。I/O接口 110既是觸摸敏感的，又是懸停敏感的。I/O接口 110可以顯示一組項，包括，例如，虛擬鍵盤140，更一般地，用戶界面元素120?？梢允褂糜脩艚缑嬖貋盹@示信息并接收用戶交互。傳統(tǒng)上，用戶交互通過觸摸I/O接口 110或者通過在懸停空間150中懸停來執(zhí)行。示例裝置促成標(biāo)識使用觸摸動作或懸停動作或兩者的輸入動作并對所述輸入動作做出響應(yīng)以向位于設(shè)備100外的輔助顯示器170提供內(nèi)容190或用戶界面元素180。懸停動作可被用來在輔助顯示器170上定位或移動光標(biāo)，而觸摸動作可被用來激活位于輔助顯示器170上的光標(biāo)的影響區(qū)域中的用戶界面元素180。
[0033]設(shè)備100或I/O接口 110可存儲關(guān)于用戶界面元素120、虛擬鍵盤140、內(nèi)容190、用戶界面元素180、輔助顯示器170或其它項的狀態(tài)130。用戶界面元素120或用戶界面元素180的狀態(tài)130可以取決于觸摸和懸停動作發(fā)生的順序、觸摸和懸停動作的數(shù)量、觸摸和懸停動作是靜態(tài)的還是動態(tài)的、組合的懸停和觸摸動作是否描述手勢，或取決于觸摸和懸停動作的其他屬性。狀態(tài)130可包括，例如，觸摸動作的位置、懸停動作的位置、與觸摸動作相關(guān)聯(lián)的手勢、與懸停動作相關(guān)聯(lián)的手勢，或其他信息。
[0034]設(shè)備100可包括檢測對象(例如，手指、帶有電容性筆尖的指示筆)何時正在觸摸I/O接口 110的觸摸檢測器。觸摸檢測器可報告關(guān)于觸摸I/O接口 110的對象的位置(x，y)，輔助顯示器170上的光標(biāo)的位置，在輔助顯示器170上激活的用戶界面元素，或其它信息。觸摸檢測器也可以報告對象移動的方向、對象移動的速度、對象是否執(zhí)行了輕擊、雙擊、三輕擊或其他輕擊動作、對象是否執(zhí)行了可識別的手勢、或其他信息。
[0035]設(shè)備100也可以包括檢測對象(例如，手指、鉛筆，帶有電容性筆尖的指示筆)何時接近于但不觸摸I/O接口 110的鄰近度檢測器。鄰近度檢測器可標(biāo)識對象160在三維懸?？臻g150中的位置(x，y，z)，其中X和y彼此正交且在平行于接口 110的表面的平面中而z垂直于接口 110的表面。鄰近度檢測器也可以標(biāo)識對象160的其他屬性，包括，例如，對象160在懸停空間150中的移動速度、對象160相對于懸?？臻g150的朝向(例如，俯仰、滾轉(zhuǎn)、偏航)，對象160相對于懸?？臻g150或設(shè)備100移動的方向、由對象160作出的手勢，或?qū)ο?60的其他屬性。盡管示出了單個對象160，鄰近度檢測器可以檢測懸?？臻g150中的一個以上的對象。
[0036]在不同的示例中，觸摸檢測器可以使用有源或無源的系統(tǒng)。類似地，在不同的示例中，鄰近度檢測器可以使用有源或無源的系統(tǒng)。在一個實施例中，單個裝置可以執(zhí)行觸摸檢測器和鄰近度檢測器兩者的功能。組合的檢測器可以使用感測技術(shù)，包括，但不僅限于，電容性，電場、感應(yīng)、霍耳效應(yīng)、Reed效應(yīng)、渦流電流、磁阻、光學(xué)陰影、光學(xué)可見光、光學(xué)紅外線(IR)、光學(xué)顏色識別、超聲波、聲輻射、雷達(dá)、熱量、聲納、導(dǎo)電，以及電阻性的技術(shù)。有源系統(tǒng)可包括，除了其他系統(tǒng)之外，紅外線或超聲波系統(tǒng)。無源的系統(tǒng)可包括，除了其他系統(tǒng)之外，電容性或光學(xué)陰影儀系統(tǒng)。在一個實施例中，當(dāng)組合的檢測器使用電容性技術(shù)時，檢測器可包括一組電容性感測節(jié)點以檢測懸停空間150中或I/O接口 110上的電容變化。電容變化可以，例如，由觸摸電容性感測節(jié)點或進(jìn)入電容性感測節(jié)點的檢測范圍內(nèi)的手指(例如，手指、拇指)或其他對象(例如，筆，電容性指示筆)導(dǎo)致。
[0037]—般而言，鄰近度檢測器包括在I/O接口 110上以及在與I/O接口 110相關(guān)聯(lián)的懸?？臻g150中生成一組感測場的一組鄰近度傳感器。當(dāng)對象觸摸I/O接口 110時，觸摸檢測器生成信號，當(dāng)在懸?？臻g150中檢測到對象時，鄰近度檢測器生成信號。在一個實施例中，可以將單個檢測器用于觸摸檢測和鄰近度檢測兩者，如此，單個信號可以報告組合的觸摸和懸停事件。
[0038]在一個實施例中，表征觸摸包括從由設(shè)備所提供的觸摸檢測系統(tǒng)(例如，觸摸檢測器)接收信號。觸摸檢測系統(tǒng)可以是有源檢測系統(tǒng)(例如，紅外線，超聲波)，無源檢測系統(tǒng)(例如，電容性)，或系統(tǒng)的組合。表征懸停也可以包括從由設(shè)備所提供的懸停檢測系統(tǒng)(例如，懸停檢測器)接收信號。懸停檢測系統(tǒng)也可以是有源檢測系統(tǒng)(例如，紅外線，超聲波)，無源檢測系統(tǒng)(例如，電容性)，或系統(tǒng)的組合。表征組合的觸摸和懸停事件也可以包括從被包括到設(shè)備中的有源檢測系統(tǒng)或無源檢測系統(tǒng)接收信號。信號可以是，例如，電壓、電流、中斷、計算機(jī)信號、電子信號，或檢測器可以通過其提供有關(guān)檢測器檢測到的事件的信息的其他有形的信號。在一個實施例中，觸摸檢測系統(tǒng)和懸停檢測系統(tǒng)可以是同一個系統(tǒng)。在一個實施例中，觸摸檢測系統(tǒng)和懸停檢測系統(tǒng)可以被包括到設(shè)備中或由設(shè)備提供。
[0039]圖2示出了正與輔助顯示器210(例如電視機(jī))交互的懸停敏感設(shè)備200(例如，電話、平板)。懸停敏感設(shè)備200可與輔助顯示器210建立通信鏈路。一旦建立了通信，則在設(shè)備200上產(chǎn)生懸停點202的懸停動作還可在輔助顯示器210上產(chǎn)生動作。例如，控件220的集合可被顯示在輔助顯示器210上且虛線圈212可作為光標(biāo)或作為用戶的手指的位置的表示被顯示在輔助顯示器210上。哪些控件220被顯示可取決于向顯示器210提供內(nèi)容230(例如，電影、文檔、游戲)的應(yīng)用。光標(biāo)212的大小、形狀、外觀或其它屬性也可取決于應(yīng)用。用戶隨后可移動懸停點202來重新定位光標(biāo)212。如果用戶將光標(biāo)212定位在控件220的一元件上方并隨后觸摸懸停敏感設(shè)備200，則可看上去控件220的該元件被按下且與控件220的該元件相關(guān)聯(lián)的相應(yīng)動作可被生成。例如，按下暫停按鈕可暫停內(nèi)容230的呈現(xiàn)。動作可控制正向顯示器210提供內(nèi)容的應(yīng)用。
[0040]圖10示出正運行應(yīng)用1000的第一設(shè)備1010。第一設(shè)備1010具有懸?？臻g1020，可檢測該懸?？臻g中的懸停動作。第一設(shè)備1010可檢測到具有輔助顯示器的第二設(shè)備1040。第一設(shè)備1010可與第二設(shè)備1040協(xié)商或建立上下文1030。例如，第一設(shè)備1010和第二設(shè)備1040可決定第一設(shè)備1010將提供哪個應(yīng)用的內(nèi)容給第二設(shè)備1040以供顯示。這些設(shè)備還可決定當(dāng)在懸?？臻g1020中發(fā)生懸停動作時哪些控件(如果存在)要被顯示在第二設(shè)備1040上。這些設(shè)備還可決定當(dāng)由懸停空間1020中的懸停事件控制但是被顯示在第二設(shè)備1040上的光標(biāo)與顯示在第二設(shè)備1040上的控件交互時哪些控制事件(如果存在)要被生成。來自應(yīng)用1000的內(nèi)容可作為第一輸出流1060被提供到第二設(shè)備1040。不是應(yīng)用1000所生成的內(nèi)容的光標(biāo)、控件或其它項也可作為第二輸出流1070被提供給第二設(shè)備1040。第一輸出流1060和第二輸出流1070可通過通信信道1050被提供。通信信道1050可以是有線或無線的。
[0041]圖3示出了觸摸敏感和懸停敏感的I/O接口300。線320表示與懸停敏感的I/O接口300相關(guān)聯(lián)的懸?？臻g的外部界限。線320被定位在與I/O接口 300相隔一距離330處。距離330以及這樣的線320可以對于不同的裝置具有不同的尺寸和位置，這取決于例如由支持I/O接口 300的設(shè)備所使用的鄰近度檢測技術(shù)。
[0042]示例裝置和方法可以標(biāo)識位于由I/O接口300和線320包圍的懸?？臻g中的對象。示例裝置和方法也可以標(biāo)識正在觸摸I/o接口 300的對象。例如，設(shè)備300可以在時間Tl在對象310觸摸I/O接口 300時檢測對象310。小實心點31可被顯示在輔助顯示器350上以提供對象310與I/O接口 300接觸的視覺反饋。由于對象312既不觸摸I/O接口 310也不在I/O接口 300的懸停區(qū)域中，因此，在時間Tl，可能檢測不到對象312。但是，在時間T2，對象312可以進(jìn)入懸?？臻g并被檢測到。大虛線圈32可被顯示在輔助顯示器350上以提供對象312在懸停空間中且已針對對象312建立了懸停點的視覺反饋。
[0043]圖4示出了觸摸敏感和懸停敏感的I/O接口400。線420描繪了與I/O接口 400相關(guān)聯(lián)的懸停空間的界限。線420被定位在與I/O接口 400相隔一距離430處。在I/O接口 400和線420之間可以存在懸?？臻g。盡管示出了直線，但是，懸?？臻g可以在大小和形狀方面變化。
[0044]圖4示出了對象410觸摸I/O接口 400和對象412觸摸I/O接口 400。另外，圖4還示出了對象414懸停在懸停空間，對象416懸停在懸停空間。對象416可被定位得比對象414更遠(yuǎn)離I/O接口 400。在一個實施例中，對象416可簡單地懸停在I/O接口 400上方，而在I/O接口400上不顯示用戶界面元素。盡管某些觸摸和懸停動作可以涉及首先觸摸I/O接口 400并且隨后執(zhí)行懸停動作(例如，鍵入)，但是，某些觸摸和懸停動作可以涉及首先在I/O接口 400上方懸停并且隨后執(zhí)行觸摸。由于I/O接口 400可以檢測到多個觸摸事件和多個懸停事件，以及事件發(fā)生的順序，以及事件的組合，因此，豐富的用戶界面交互集合是可能的。對象410、412、414和416可引起懸停光標(biāo)被顯示在輔助顯示器440上。例如，與I/O接口 400相關(guān)聯(lián)的設(shè)備可能正運行偶爾想要接受多個選擇輸入的應(yīng)用。從而，當(dāng)對象進(jìn)入懸?？臻g時，虛擬的多個選擇按鈕450、452、454、456和458可被呈現(xiàn)在輔助顯示器440上。對象410、412、414和416的位置的光標(biāo)或其它指示符也可被顯示在輔助顯示器440上。小實心閃爍點460和462可指示對象410和412正觸摸I/O接口 400。更大的虛線圈464和466可指示對象414和416正懸停在I/O接口 400上方。當(dāng)對象414和416在懸停空間中四處移動時，虛線圈464和466也可四處移動并改變大小、形狀、顏色或其它顯示屬性。
[0045]下文的詳細(xì)描述的某些部分是按照算法和對存儲器內(nèi)的數(shù)據(jù)位的運算的符號表示來給出的。這些算法描述和表示被本領(lǐng)域技術(shù)人員使用來將其作品的實質(zhì)傳達(dá)給其他人。算法被認(rèn)為是產(chǎn)生結(jié)果的運算序列。運算可包括創(chuàng)建和操縱采用電子值的形式的物理量。創(chuàng)建或操縱采用電子值形式的物理量產(chǎn)生了具體的、有形的、有用的、真實世界結(jié)果。
[0046]原則上出于常見用法的原因?qū)⑦@些信號稱作位、值、元素、符號、字符、項、數(shù)字以及其它術(shù)語被證明有時是方便的。然而，應(yīng)當(dāng)記住，這些和類似術(shù)語都應(yīng)與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)并且僅僅是應(yīng)用于這些量的方便標(biāo)簽。除非另外具體聲明，否則應(yīng)理解貫穿本說明書，包括處理、計算以及確定在內(nèi)的術(shù)語指的是計算機(jī)系統(tǒng)、邏輯、處理器或操縱和變換被表示為物理量的數(shù)據(jù)(如電子值)的類似電子設(shè)備的動作和過程。
[0047]參考流程圖可更好地理解示例方法。出于簡化，所示的方法被示出并描述為一系列框。然而，各方法不受框的次序的限制，因為在一些實施例中，各框可以與本文中所顯示和描述的不同次序發(fā)生。而且，為了實現(xiàn)某一示例方法，可能要求比全部所示框少的框?？蚩杀唤M合或分成多個組件。此外，附加的或替代的方法可采用附加的、未示出的框。
[0048]圖5示出與執(zhí)行對輔助顯示器的懸停敏感控制相關(guān)聯(lián)的示例方法500。方法500可被用來控制具有懸停敏感和觸摸敏感接口的第一設(shè)備(例如，電話、平板、計算機(jī))。方法500可控制第一設(shè)備來向第二設(shè)備上的顯示器提供內(nèi)容、光標(biāo)、控件或其它信息。從而，方法500可包括:在510，檢測具有第二顯示器的第二設(shè)備。第二設(shè)備可以例如是電視機(jī)、監(jiān)視器、計算機(jī)、或其它設(shè)備。
[0049]方法500包括:在520，控制第一設(shè)備以在第一設(shè)備和第二設(shè)備之間建立通信鏈路。建立通信鏈路可包括例如建立有線鏈路或無線鏈路。有線鏈路可使用例如HDMI (高清晰度多媒體接口)接口、U S B (通用串行總線)接口或其它接口來建立。無線鏈路可使用例如Miracast接口、藍(lán)牙接口、NFC(近場通信)接口、或其它接口來建立Jiracast接口促成使用WiFi直接連接建立點對點無線屏幕播放連接。藍(lán)牙接口促成使用I SM(工業(yè)、科學(xué)及醫(yī)療)頻帶中的短波長微波傳送在短距離上交換數(shù)據(jù)。
[0050]方法500還包括:在530，控制第一設(shè)備以建立用于第一設(shè)備和第二設(shè)備之間的交互的上下文。在一個實施例中，在530建立上下文可包括標(biāo)識將產(chǎn)生要在第二顯示器上顯示的內(nèi)容的應(yīng)用。該應(yīng)用例如可以是電影呈現(xiàn)應(yīng)用、電視呈現(xiàn)應(yīng)用、視頻游戲、生產(chǎn)力應(yīng)用、幻燈片應(yīng)用、或產(chǎn)生可被查看的內(nèi)容的其它應(yīng)用。在530建立上下文還可包括標(biāo)識可被第一設(shè)備顯示在第二顯示器上的用戶界面元素。特定用戶界面元素對于特定應(yīng)用是有意義的。例如，類似DVD或VCR的控件對于電影或電視呈現(xiàn)應(yīng)用是有意義的，但是可能對視頻游戲則沒有意義。促成在虛擬世界內(nèi)四處移動角色的用戶界面元素可能更適合視頻游戲。從而，可被顯示的用戶界面元素集合可作為建立上下文的一部分被選擇。在530建立上下文還可包括標(biāo)識可被第一設(shè)備顯示在第二顯示器上的光標(biāo)。不同光標(biāo)可能對于不同應(yīng)用是合適的。例如，十字線可能對于其中涉及瞄準(zhǔn)的應(yīng)用是合適的，但是一對剪刀或畫筆可能對于藝術(shù)和工藝應(yīng)用是合適的。
[0051]在530建立上下文還可包括標(biāo)識光標(biāo)位置或移動是否將獨立于懸停點的位置。與將觸摸敏感設(shè)備上的位置直接映射到輔助顯示器上的位置且將顯示在第一設(shè)備上的控件映射到顯示在第二設(shè)備上的控件的傳統(tǒng)應(yīng)用不同，方法500可將這種一一對應(yīng)關(guān)系解耦，以允許懸停敏感設(shè)備產(chǎn)生不依賴于懸停敏感設(shè)備上方的位置而是依賴于懸停敏感設(shè)備上方的移動的移動。用戶熟悉類似軌跡球的移動，并且熟悉其中例如鼠標(biāo)從左向右移動、拾取并向左移回、放下并再次從左向右移動等的移動。這些類型的移動即使可能也通常難以用在傳統(tǒng)低頭式方法中使用的觸摸敏感設(shè)備實現(xiàn)的，其中在傳統(tǒng)低頭式方法中，觸摸敏感屏幕位置被直接映射到輔助顯示器位置。然而，這些類型的移動用懸停交互則是可能的。
[0052]在530建立上下文還可包括標(biāo)識可響應(yīng)于在第一設(shè)備上執(zhí)行的觸摸事件生成的控制事件。同樣，不同的控制事件對于不同應(yīng)用是合適的。對于具有類似DVD控件的電影應(yīng)用，按下控制事件可能是有用的。然而，對于視頻游戲應(yīng)用，包括按下、輕擊、雙輕擊、拖動和其它控制事件在內(nèi)的控制事件可能是有用的。類似地，在繪圖應(yīng)用中，如拖放、拉伸、捏和其它事件等控制事件可能是有用的。
[0053]方法500還包括在540控制第一設(shè)備以提供要在第二顯示器上顯示的第一輸出。第一輸出可與來自與第一設(shè)備相關(guān)聯(lián)的應(yīng)用的內(nèi)容相關(guān)聯(lián)。例如，對于電影應(yīng)用，第一輸出是電影(例如，場景流)，而對于視頻游戲，第一輸出是游戲屏幕，且對于文字處理應(yīng)用，內(nèi)容是正被文字處理的文檔。在一個實施例中，應(yīng)用可在第一設(shè)備上運行。在另一實施例中，應(yīng)用可能正在第三設(shè)備上運行或在云中運行，且該內(nèi)容可通過第一設(shè)備被流傳輸。
[0054]方法500還包括:在550，響應(yīng)于標(biāo)識在與第一設(shè)備相關(guān)聯(lián)的懸?？臻g中產(chǎn)生的懸停點，控制第一設(shè)備以提供要被顯示在第二顯示器上的第二輸出。第二輸出可包括被配置成控制應(yīng)用的操作的用戶界面元素。第二輸出也可包括光標(biāo)。在其中懸停敏感設(shè)備正如虛擬激光指示器那樣被使用的實施例中，第二輸出可以僅是光標(biāo)。在其中懸停敏感設(shè)備正被用來提供用戶可與其交互的控件的另一實施例中，第二輸出可包括控件和光標(biāo)。例如，第二輸出可包括類似DVD的控件和可被定位在類似DVD的控件上方或附近的光標(biāo)。
[0055]第二輸出的性質(zhì)可至少部分基于上下文以及基于與懸停點相關(guān)聯(lián)的懸停動作。例如，第二輸出的大小、形狀、顏色或其它外觀可基于哪些應(yīng)用正在運行且發(fā)生了什么類型的懸停動作。在懸停點被首先建立的情況下，對于懸停輸入事件，大的暗光標(biāo)可被建立在輔助顯示器上。在使懸停點更靠近懸停敏感設(shè)備的懸停移動事件時，更小、更亮的光標(biāo)可被呈現(xiàn)在輔助顯示器上。從而，方法500可包括基于懸停點的z距離(例如，生成懸停事件的對象距懸停敏感接口的距離)控制光標(biāo)的外觀(例如，大小、形狀、顏色)?；貞浺幌拢谝惠敵鍪莵碜栽搼?yīng)用的內(nèi)容(例如，電影、游戲屏幕、正被編輯的文檔)而第二輸出不是來自該應(yīng)用的內(nèi)容。第二輸出可促成與該應(yīng)用或第一輸出一起工作或操縱該應(yīng)用或第一輸出。
[0056]盡管已結(jié)合單一第一設(shè)備描述了方法500，然而方法500可不受此限制。在一個實施例中，懸停動作可在兩個或更多個懸停敏感設(shè)備上被檢測。從而，方法5000可包括:響應(yīng)于標(biāo)識在與第三設(shè)備相關(guān)聯(lián)的附加懸?？臻g中產(chǎn)生的附加懸停點，提供要被顯示在第二顯示器上的附加輸出。該附加輸出可至少部分基于上下文以及基于與附加懸停點相關(guān)聯(lián)的附加懸停動作。例如，兩個玩家可能正在玩足球游戲。第一個玩家可能具有一種顏色的與其隊伍相關(guān)聯(lián)的第一光標(biāo)，而第二玩家可能具有另一顏色的與其隊伍相關(guān)聯(lián)的第二光標(biāo)。這兩個光標(biāo)可被顯示在共享游戲顯示器上，足球游戲正在該顯示器上被顯示。
[0057]圖6示出方法500的另一實施例。此實施例還包括附加動作。例如，此實施例包括:在542，確定要在輔助顯示器上顯示的光標(biāo)的初始位置是否將獨立于懸停點的位置。如果在542的確定為是，則方法500在546繼續(xù)以獨立于懸停點的位置來確定該初始位置。例如，初始位置可以在輔助顯示器的中心、在最可能被使用的控件上或附近、等距地在兩個控件之間、在一組控件的中心、或在不依賴于懸停點的位置的另一位置。當(dāng)光標(biāo)的位置不依賴懸停點的位置時，沒有理由低頭看懸停敏感的設(shè)備，這促進(jìn)了抬頭式操作。如果在544的確定為否，則方法500在544繼續(xù)以基于懸停點的位置來確定該初始位置。
[0058]類似于初始點可獨立于懸停點的位置，光標(biāo)移動的方式也可被綁定到懸?？臻g中的位置或者從懸?？臻g中的特定位置解耦而反而由在懸?？臻g中的移動來確定。從而，在不同實施例中，方法500可基于懸停點的移動或基于懸停點的位置來控制光標(biāo)的后續(xù)位置。
[0059]方法500的此實施例還可包括:在560，根據(jù)當(dāng)在第一設(shè)備上檢測到觸摸事件時光標(biāo)在第二顯示器上的位置來控制該應(yīng)用。例如，如果在光標(biāo)在第一控件(例如停止)上方、在第二按鈕(例如播放)上方、或完全不在控件上方時，可進(jìn)行不同動作。同樣要注意，動作可依賴于第二顯示器上的視覺提示和信息而不依賴于第一設(shè)備中懸停點的位置。
[0060]盡管圖5和6示出了串行地發(fā)生的各種動作，但是，應(yīng)該理解，圖5和6中所示出的各種動作可以基本上并行地發(fā)生。作為例示，第一進(jìn)程可控制要顯示的內(nèi)容，第二進(jìn)程可控制要顯示的光標(biāo)和控件，而第三進(jìn)程可生成或處理控制事件。盡管描述了三個進(jìn)程，但是要理解可采用更多或更少數(shù)量的進(jìn)程，以及可采用輕量進(jìn)程、常規(guī)進(jìn)程、線程以及其他方法。
[0061]在一個示例中，方法可被實現(xiàn)為計算機(jī)可執(zhí)行指令。從而，在一個示例中，計算機(jī)可讀存儲介質(zhì)可存儲計算機(jī)可執(zhí)行指令，如果由機(jī)器(如計算機(jī))執(zhí)行，計算機(jī)可執(zhí)行指令使得機(jī)器執(zhí)行本文所述或要求保護(hù)的方法，如方法500或600。盡管與所列方法相關(guān)聯(lián)的可執(zhí)行指令被描述為存儲在計算機(jī)可讀存儲介質(zhì)上，但是要理解與本文所述或要求保護(hù)的其他示例方法相關(guān)聯(lián)的可執(zhí)行指令也可被存儲在計算機(jī)可讀存儲介質(zhì)上。在不同實施例中，本文所述的示例方法可以不同方式被觸發(fā)。在一個實施例中，一種方法可由用戶手動觸發(fā)。在另一不例中，一種方法可被自動觸發(fā)。
[0062]圖7示出示例云操作環(huán)境700。云操作環(huán)境700支持將計算、處理、存儲、數(shù)據(jù)管理、應(yīng)用、以及其他功能作為抽象服務(wù)而不是作為獨立產(chǎn)品來提供。服務(wù)可由可被實現(xiàn)為一個或多個計算設(shè)備上的一個或多個進(jìn)程的虛擬服務(wù)器來提供。在某些實施例中，進(jìn)程可在服務(wù)器之間迀移而不中斷云服務(wù)。在云中，共享資源(如計算、存儲)可通過網(wǎng)絡(luò)被提供給包括服務(wù)器、客戶機(jī)、以及移動設(shè)備的計算機(jī)。不同的網(wǎng)絡(luò)(如以太網(wǎng)、W1-F1、802.x、蜂窩)可被用于訪問云服務(wù)。與云交互的用戶可能不需要知道實際上正在提供服務(wù)(如計算、存儲)的設(shè)備的細(xì)節(jié)(如位置、名稱、服務(wù)器、數(shù)據(jù)庫)。用戶可經(jīng)例如web瀏覽器、瘦客戶端、移動應(yīng)用、或以其他方式來訪問云服務(wù)。
[0063]圖7示出駐留在云700中的示例懸停點控制服務(wù)760。懸停點控制服務(wù)760可依賴于服務(wù)器702或服務(wù)704來執(zhí)行處理，且可依賴于數(shù)據(jù)存儲706或數(shù)據(jù)庫708來存儲數(shù)據(jù)。盡管解說單個服務(wù)器702、單個服務(wù)704、單個數(shù)據(jù)存儲706以及單個數(shù)據(jù)庫708，但是服務(wù)器、月艮務(wù)、數(shù)據(jù)存儲以及數(shù)據(jù)庫的多個實例可駐留在云700中，并可因此被懸停點控制服務(wù)760所使用。
[0064]圖7示出訪問云700中的懸停點控制服務(wù)760的各種設(shè)備。設(shè)備包括計算機(jī)710、平板720、膝上型計算機(jī)730、臺式監(jiān)視器770、電視機(jī)760、個人數(shù)字助理740、以及移動設(shè)備(如蜂窩電話、衛(wèi)星電話)750。在不同位置處使用不同設(shè)備的不同用戶就可能通過不同的網(wǎng)絡(luò)或接口來訪問懸停點控制服務(wù)760。在一個示例中，懸停點控制服務(wù)760可由移動設(shè)備750訪問。在另一示例中，懸停點控制服務(wù)760的某些部分可駐留在移動設(shè)備750上。懸停點控制服務(wù)760可執(zhí)行動作，所述動作包括:舉例而言，在輔助顯示器上呈現(xiàn)懸停光標(biāo)、在輔助顯示器上呈現(xiàn)控件、響應(yīng)于懸停光標(biāo)和輔助顯示器上的控件之間的交互生成控制事件、或其它服務(wù)。在一個實施例中，懸停點控制服務(wù)760可以執(zhí)行此處所描述的方法的各部分(例如，方法500、方法600)。
[0065]圖8是描繪示例性移動設(shè)備800的系統(tǒng)圖，該移動設(shè)備包括各種可選的硬件和軟件組件，總地示于802處。移動設(shè)備800中的組件802可與其它組件通信，但出于容易例示的目的而未示出所有連接。該移動設(shè)備800可以是各種計算設(shè)備(例如，蜂窩電話、智能電話、手持式計算機(jī)、個人數(shù)字助理(PDA)等)，并且可允許與諸如蜂窩或衛(wèi)星網(wǎng)絡(luò)的一個或多個移動通信網(wǎng)絡(luò)804進(jìn)行無線雙向通信。
[0066]移動設(shè)備800可包括控制器或處理器810(例如，信號處理器、微處理器、專用集成電路(ASIC)，或其他控制和處理邏輯電路)，用于執(zhí)行任務(wù)，包括觸摸檢測、懸停檢測、輔助顯示器上的懸停點控制、信號編碼、數(shù)據(jù)處理、輸入/輸出處理、功率控制，或其他功能。操作系統(tǒng)812可控制對組件802的分配和使用，并支持應(yīng)用程序814。應(yīng)用程序814可包括移動計算應(yīng)用(例如，電子郵件應(yīng)用、日歷、聯(lián)系人管理器、web瀏覽器、消息收發(fā)應(yīng)用)、視頻游戲、電影播放器、電視播放器、生產(chǎn)力應(yīng)用、或其他計算應(yīng)用。
[0067]移動設(shè)備800可包括存儲器820。存儲器820可包括不可移動存儲器822或可移動存儲器824。不可移動存儲器822可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(R0M)、閃存、硬盤、或其它存儲器存儲技術(shù)?？梢苿哟鎯ζ?24可包括閃存或訂戶身份模塊(SHO卡，其在GSM通信系統(tǒng)中是公知的，或者其它存儲器存儲技術(shù)，諸如“智能卡”。存儲器820可被用于存儲數(shù)據(jù)或用于運行操作系統(tǒng)812和應(yīng)用814的代碼。示例數(shù)據(jù)可包括觸摸動作數(shù)據(jù)、懸停動作數(shù)據(jù)、組合觸摸和懸停動作數(shù)據(jù)、用戶界面元素狀態(tài)、光標(biāo)數(shù)據(jù)、懸?？刂茢?shù)據(jù)、懸停動作數(shù)據(jù)、控制事件數(shù)據(jù)、網(wǎng)頁、文本、圖像、聲音文件、視頻數(shù)據(jù)，或通過一個或多個有線或無線網(wǎng)絡(luò)被發(fā)送到一個或多個網(wǎng)絡(luò)服務(wù)器或其他設(shè)備或從它們接收到的其他數(shù)據(jù)集。存儲器820可存儲諸如國際移動訂戶身份(IMSI)等訂戶標(biāo)識符，以及諸如國際移動設(shè)備標(biāo)識符(IMEI)等設(shè)備標(biāo)識符?？蓪⑺鰳?biāo)識符傳送給網(wǎng)絡(luò)服務(wù)器以標(biāo)識用戶或設(shè)備。
[0068]移動設(shè)備800可以支持一個或多個輸入設(shè)備830，包括，但不僅限于，既是觸摸敏感又是懸停敏感的屏幕832、麥克風(fēng)834、相機(jī)836、物理鍵盤838，或軌跡球840。移動設(shè)備800還可支持輸出設(shè)備850，包括但不限于:揚聲器852以及顯示器854。顯示器854可以被包括到觸摸敏感和懸停敏感的I/0接口中。其它可能的輸入設(shè)備(未示出)包括加速度計(例如，一維、二維、三維)。其他可能的輸出設(shè)備(未示出)可以包括壓電或其他觸覺輸出設(shè)備。一些設(shè)備可以用于多于一個輸入/輸出功能。輸入設(shè)備830可以包括自然用戶界面(NUI)t3NUI是使得用戶能夠以“自然”方式與設(shè)備交互而不受由諸如鼠標(biāo)、鍵盤、遙控器及其它等輸入設(shè)備強加的人為約束的接口技術(shù)。NUI方法的示例包括依賴于語音識別、觸摸和指示筆識別、(屏幕上和屏幕附近的)姿勢識別、空中姿勢、頭部和眼睛跟蹤、嗓音和語音、視覺、觸摸、姿勢、以及機(jī)器智能的那些方法。NUI的其它示例包括使用加速計/陀螺儀、臉部識別、三維(3D)顯示、頭、眼以及凝視跟蹤、身臨其境的增強現(xiàn)實和虛擬現(xiàn)實系統(tǒng)的運動姿勢檢測(所有這些都提供更為自然的接口)，以及用于通過使用電場感測電極(腦電波圖(EEG)和相關(guān)方法)感測腦部活動的技術(shù)。因此，在一個具體示例中，操作系統(tǒng)812或應(yīng)用814可以包括語音識別軟件作為語音用戶界面的一部分，該語音用戶界面允許用戶經(jīng)由語音命令來操作設(shè)備800。進(jìn)一步，設(shè)備800可包括輸入設(shè)備和允許通過用戶的空間手勢來進(jìn)行用戶交互的軟件，諸如檢測并解釋與控制輔助顯示器上的輸出動作相關(guān)聯(lián)的觸摸和懸停手勢。
[0069]無線調(diào)制解調(diào)器860可耦合至天線891。在一些示例中，射頻(RF)濾波器被使用且處理器810不需要針對所選頻帶選擇天線配置。無線調(diào)制解調(diào)器860可支持處理器810和具有輔助顯示器的外部設(shè)備之間的雙向通信，該輔助顯示器的內(nèi)容或控件元素可至少部分被懸停點控制邏輯899控制。調(diào)制解調(diào)器860被一般示出，并且可以包括用于與移動通信網(wǎng)絡(luò)804通信的蜂窩調(diào)制解調(diào)器和/或其他基于無線電的調(diào)制解調(diào)器(例如，藍(lán)牙864或W1-Fi862)。無線調(diào)制解調(diào)器860可被配置用于與一個或多個蜂窩網(wǎng)絡(luò)(諸如，用于在單個蜂窩網(wǎng)絡(luò)內(nèi)、蜂窩網(wǎng)絡(luò)之間、或移動設(shè)備與公共交換電話網(wǎng)絡(luò)(PSTN)之間的數(shù)據(jù)和語音通信的全球移動通信系統(tǒng)(GSM)網(wǎng)絡(luò))進(jìn)行通信。移動設(shè)備800還可使用例如近場通信(NFC)元素892來本地地通信。
[0070]移動設(shè)備800可包括至少一個輸入/輸出端口 880、電源882、諸如全球定位系統(tǒng)(GPS)接收機(jī)之類的衛(wèi)星導(dǎo)航系統(tǒng)接收機(jī)884、加速度計886、或物理連接器890，該物理連接器可以是通用串行總線(USB)端口、IEEE 1394(火線)端口、RS-232端口、或其它端口。所示組件802不是必需的或窮舉的，因為其它組件可被刪除或添加。
[0071]移動設(shè)備800可包括懸停點控制邏輯899，該邏輯被配置成為移動設(shè)備800提供功能并用于控制移動設(shè)備800正與其交互的輔助顯示器上顯示的內(nèi)容或控件。例如，懸停點控制邏輯899可提供用于與服務(wù)(例如服務(wù)760，圖7)交互的客戶端。此處描述的示例方法的各部分可由懸停點控制邏輯899執(zhí)行。類似地，懸停點控制邏輯899可實現(xiàn)本文描述的裝置的各部分。
[0072]圖9示出了提供懸停點控制接口的裝置900。在一個示例中，裝置900包括被配置成連接處理器910、存儲器920、邏輯集合930、鄰近度檢測器960、觸摸檢測器965、以及觸摸敏感和懸停敏感I/O接口 950的接口 940。邏輯集合930可被配置成為與一不同的第二裝置相關(guān)聯(lián)的輔助顯示器提供懸停點控制。在一個實施例中，鄰近度檢測器960和觸摸檢測器965可共享一組電容感測節(jié)點，該組節(jié)點為輸入/輸出接口提供觸摸靈敏度和懸停靈敏度。裝置900的各元素可被配置來彼此通信，但為了說明的簡要而未示出所有連接。
[0073]觸摸檢測器965可檢測對象975何時觸摸I/O接口950。鄰近度檢測器960可檢測與裝置900相關(guān)聯(lián)的懸停空間970中的對象980。懸?？臻g970可以例如是被設(shè)置為接近I/O接口 950并位于鄰近度檢測器960可訪問的區(qū)域中的三維體。懸?？臻g970具有有限的邊界。因此，鄰近度檢測器960可能檢測不到位于懸停空間970外的對象999。
[0074]裝置900可包括第一邏輯932，該第一邏輯被配置成提供要被顯示在輔助顯示器上的內(nèi)容。該內(nèi)容可以例如由至少部分在裝置900上運行的應(yīng)用產(chǎn)生。該應(yīng)用例如可以是電影呈現(xiàn)應(yīng)用、電視呈現(xiàn)應(yīng)用、生產(chǎn)力應(yīng)用(例如文字處理程序、電子表格)、視頻游戲、或具有要被查看的內(nèi)容的其它應(yīng)用。該應(yīng)用可部分或完全在裝置900上運行。當(dāng)例如一些處理在另一裝置上或在云中被執(zhí)行時，該應(yīng)用可部分在裝置900上運行。
[0075]裝置900可包括第二邏輯934，該第二邏輯被配置成提供要被顯示在輔助顯示器上的覆蓋材料。在第一邏輯932所提供的內(nèi)容和第二邏輯934所提供的內(nèi)容之間存在區(qū)別。第二邏輯934所提供的覆蓋材料不是由該應(yīng)用產(chǎn)生的內(nèi)容?？紤]視頻游戲。第一邏輯932所提供的“內(nèi)容”可以是游戲地圖、化身、武器、爆炸、以及與游戲相關(guān)聯(lián)的其它圖像。第二邏輯934所提供的覆蓋材料可以例如是控制按鈕、導(dǎo)航工具、用于與控制按鈕交互的光標(biāo)、或并非游戲的一部分的其它圖像，即使它們可在玩游戲時被涉及。考慮電影。第一邏輯932所提供的“內(nèi)容”是來自電影的場景。第二邏輯934所提供的覆蓋材料可以是用于選擇要查看哪些場景的虛擬DVD控件(例如，播放、暫停、倒帶、快進(jìn))。
[0076]在一個實施例中，覆蓋材料可包括位置指示符(例如，光標(biāo))。在此實施例中，第二邏輯934可被配置成響應(yīng)于在由輸入/輸出接口 950所產(chǎn)生的懸?？臻g970中檢測到懸停點而提供位置指示符。在一個實施例中，覆蓋材料還可包括被配置成控制該應(yīng)用的用戶界面元素。在此實施例中，第二邏輯934可被配置成響應(yīng)于在懸?？臻g970中檢測到懸停點而提供用戶界面元素。該用戶界面元素可以例如是用戶可通過定位光標(biāo)以及觸摸輸入/輸出接口 950來激活的按鈕或其它控件。
[0077]在一個實施例中，覆蓋材料可至少部分基于在裝置900上運行的應(yīng)用來選擇。例如，光標(biāo)的大小、形狀、顏色或其它外觀可由哪個應(yīng)用正在運行來確定。類似地，哪些控件要被顯示以及通過與所述控件交互可生成的控制事件可由哪個應(yīng)用正在運行來確定。例如，當(dāng)正在播放電影時，控件可包括停止、前進(jìn)、以及倒帶控件且光標(biāo)可以是一桶爆米花。但是當(dāng)正在玩第一人稱射擊游戲時，控件可包括射擊和裝彈而光標(biāo)可以是靶心符號。可采用其它光標(biāo)和其它控件。
[0078]第二邏輯934可做出關(guān)于當(dāng)建立懸停點時將光標(biāo)初始地定位在何處的決定。不是如由傳統(tǒng)的基于觸摸的系統(tǒng)所做的那樣將光標(biāo)定位在與懸停點相對應(yīng)的位置處，第二邏輯934可尋求優(yōu)化用戶體驗，例如通過最小化用戶必須移動光標(biāo)以實現(xiàn)一效果的距離。從而，初始位置可獨立于懸停點關(guān)于輸入/輸出接口950的位置。因此，在一個實施例中，第二邏輯934可被配置成例如基于用戶界面元素的位置來確定位置指示符的初始位置。初始位置可以例如在輔助顯示器的中心、在最可能被使用的控件上方或附近、等距地位于兩個控件中間、或在通過上下文而不是通過懸停點在懸停空間970中的位置所確定的其它位置。
[0079]裝置900可包括第三邏輯936，該邏輯被配置成選擇性地控制應(yīng)用?？刂瓶芍辽俨糠只谂c覆蓋材料相關(guān)聯(lián)的動作。例如，通過在懸停空間970中做出懸停動作來將光標(biāo)移動到輔助顯示器的一側(cè)或另一側(cè)可引起內(nèi)容在由光標(biāo)的位置所確定的方向上滾動。在另一示例中，在裝置900所提供并在輔助顯示器上顯示的用戶控件元素上方或附近移動光標(biāo)可引起動作發(fā)生。在一個實施例中，第三邏輯936可被配置成在檢測到輸入/輸出接口 950上的觸摸時產(chǎn)生控制動作。在此實施例中，用戶可引起光標(biāo)和控件響應(yīng)于在懸?？臻g970中的懸停動作而被顯示在輔助顯示器上，可使用在懸?？臻g970中的懸停動作定位光標(biāo)，并可隨后通過觸摸輸入/輸出接口 950來引起控制事件。在一個實施例中，懸?？臻g970中的懸停動作可模仿與虛擬懸停軌跡球的交互。
[0080]在一個實施例中，第三邏輯936所產(chǎn)生的控制動作可至少部分取決于位置指示符的位置和用戶界面元素的位置。例如，顯示在輔助顯示器上的光標(biāo)和游戲控制按鈕之間的關(guān)系可確定該動作而不是用戶的手指在懸?？臻g970中的位置。從而，控制動作可獨立于懸停點的位置。
[0081 ] 裝置900可以包括存儲器920。存儲器920可包括不可移動存儲器或可移動存儲器。不可移動存儲器可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、閃存、硬盤、或其它存儲器存儲技術(shù)。可移動存儲器可包括閃存，或其它存儲器存儲技術(shù)，諸如“智能卡”。存儲器920可被配置成存儲用戶界面狀態(tài)信息、表征數(shù)據(jù)、對象數(shù)據(jù)或其它數(shù)據(jù)。
[0082]裝置900可以包括處理器910。處理器910可以是，例如，信號處理器、微處理器、專用集成電路(ASIC)、或用于執(zhí)行包括信號編碼、數(shù)據(jù)處理、輸入/輸出處理、電力控制、或其它功能的任務(wù)的其它控制和處理邏輯電路。處理器910可被配置成與提供懸停點控制處理的邏輯930交互。
[0083]在一個實施例中，裝置900可以是已通過包含邏輯集合930而被轉(zhuǎn)換成專用計算機(jī)的通用計算機(jī)。邏輯集合930可被配置成提供懸停點控制。裝置900可通過例如計算機(jī)網(wǎng)絡(luò)與其他裝置、過程和服務(wù)交互。
[0084]下文包括本文所采用的所選項目的定義。這些定義包括落在某一術(shù)語的范圍內(nèi)且可被用于實現(xiàn)的組件的各種示例或形式。示例不旨在是限制性的。單數(shù)和復(fù)數(shù)形式的術(shù)語兩者可都在定義的范圍內(nèi)。
[0085]對“一個實施例”、“一實施例”、“一個示例”、“一示例”的引用指示出如此所述的實施例或示例可包括某一特征、結(jié)構(gòu)、特性、屬性、元素或限制，但并非每一個實施例或示例必然包括該特征、結(jié)構(gòu)、特性、屬性、元素或限制。此外，對短語“在一個實施例中”的重復(fù)使用不必涉及同一實施例，但是它可涉及同一實施例。
[0086]如本文所使用的，“計算機(jī)可讀存儲介質(zhì)”指的是存儲指令或數(shù)據(jù)的介質(zhì)。“計算機(jī)可讀存儲介質(zhì)”不指代傳播信號。計算機(jī)可讀存儲介質(zhì)可以采取包括但不限于非易失性介質(zhì)以及易失性的形式。非易失性介質(zhì)可包括例如光盤、磁盤、磁帶、以及其他介質(zhì)。易失性介質(zhì)可包括例如半導(dǎo)體存儲器、動態(tài)存儲器、以及其他介質(zhì)。常規(guī)形式的計算機(jī)可讀存儲介質(zhì)可包括但不限于軟盤(floppy disk)、軟磁盤(flexible disk)、硬盤、磁帶、其他磁介質(zhì)、專用集成電路(ASIC)、緊致盤(CD)、其他光學(xué)介質(zhì)、隨機(jī)存儲存儲器(RAM)、只讀存儲器(ROM)、存儲器芯片或卡、存儲棒、以及計算機(jī)、處理器或其他電子設(shè)備可以讀取的其他介質(zhì)。
[0087]如本文所使用的“數(shù)據(jù)存儲”指的是可存儲數(shù)據(jù)的物理或邏輯實體。數(shù)據(jù)存儲可以是例如數(shù)據(jù)庫、表、文件、列表、隊列、堆、存儲器、寄存器、或其他物理儲存庫。在不同示例中，數(shù)據(jù)存儲可駐留在一個邏輯或物理實體中，或可分布在兩個或更多個邏輯或物理實體之間。
[0088]如本文所使用的“邏輯”包括但不限于機(jī)器上執(zhí)行的硬件、固件、軟件，或各自的組合來執(zhí)行功能或動作或引起來自另一邏輯、方法或系統(tǒng)的功能或動作。邏輯可包括軟件控制的微處理器、分立邏輯(如ASIC)、模擬電路、數(shù)字電路、編程的邏輯設(shè)備、包含指令的存儲器設(shè)備、以及其他類型的物理設(shè)備。邏輯可包括一個或多個門、門的組合、或其他電路組件。在描述多個邏輯邏輯時，可能的是將該多個邏輯邏輯合并成一個物理邏輯。類似地，在描述單個邏輯邏輯的情況下，可能的是將該單個邏輯化的邏輯分布在多個物理對象之間。
[0089]就在詳細(xì)描述或權(quán)利要求書中使用術(shù)語“包括”而言，這一術(shù)語旨在以與術(shù)語“包含”在被用作權(quán)利要求書中的過渡詞時所解釋的相似的方式為包含性的。
[0090]就在詳細(xì)描述或權(quán)利要求書中使用術(shù)語“或”而言(如A或B)，意圖意味著“A或B或兩者” O當(dāng)
【申請人】意圖執(zhí)行“只有A或B而不是兩者”時，于是將采用術(shù)語“只有A或B而不是兩者”。從而，本文對術(shù)語“或”的使用是包含性的而非排他性的使用。見Bryan A.Garner現(xiàn)代法律用途字典624(A Dict1nary of Modern Legal Usage 624) (1995年第2版)。
[0091]盡管用對結(jié)構(gòu)特征或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
【主權(quán)項】
1.一種用于控制具有懸停敏感和觸摸敏感顯示器的第一設(shè)備的方法，包括: 檢測具有第二顯示器的第二設(shè)備； 控制所述第一設(shè)備以在所述第一設(shè)備和所述第二設(shè)備之間建立通信鏈路； 控制所述第一設(shè)備以建立所述第一設(shè)備和所述第二設(shè)備之間的交互的上下文； 控制所述第一設(shè)備以提供要在所述第二顯示器上顯示的第一輸出，其中所述第一輸出與來自與所述第一設(shè)備相關(guān)聯(lián)的應(yīng)用的內(nèi)容相關(guān)聯(lián);以及 響應(yīng)于標(biāo)識在與所述第一設(shè)備相關(guān)聯(lián)的懸停空間中產(chǎn)生的懸停點，控制所述第一設(shè)備以提供要在所述第二顯示器上顯示的第二輸出，其中所述第二輸出至少部分基于所述上下文以及與所述懸停點相關(guān)聯(lián)的懸停動作，且其中所述第二輸出不是來自所述應(yīng)用的內(nèi)容。2.如權(quán)利要求1所述的方法，其特征在于，所述第二輸出是被配置成控制所述應(yīng)用的操作的用戶界面元素。3.如權(quán)利要求1所述的方法，其特征在于，所述第二輸出是光標(biāo)。4.如權(quán)利要求3所述的方法，其特征在于，包括基于所述上下文或所述懸停點的z距離來控制所述光標(biāo)的外觀。5.如權(quán)利要求3所述的方法，其特征在于，包括基于所述懸停點的位置來控制所述光標(biāo)的初始位置。6.如權(quán)利要求3所述的方法，其特征在于，包括獨立于所述懸停點的位置來控制所述光標(biāo)的初始位置。7.如權(quán)利要求6所述的方法，其特征在于，包括基于所述懸停點的移動來控制所述光標(biāo)的后續(xù)位置。8.如權(quán)利要求1所述的方法，其特征在于，包括:在所述第一設(shè)備上檢測到觸摸事件時，根據(jù)所述光標(biāo)在所述第二顯示器上的位置來控制所述應(yīng)用。9.如權(quán)利要求1所述的方法，其特征在于，建立通信鏈路包括建立有線鏈路或無線鏈路。10.如權(quán)利要求1所述的方法，其特征在于，所述應(yīng)用正在所述第一設(shè)備上運行或所述應(yīng)用正在第三設(shè)備上運行。11.如權(quán)利要求1所述的方法，其特征在于，包括: 響應(yīng)于標(biāo)識在與第三設(shè)備相關(guān)聯(lián)的附加懸停空間中產(chǎn)生的附加懸停點，具有懸停敏感和觸摸敏感接口的所述第三設(shè)備提供要在所述第二顯示器上顯示的附加輸出，其中所述附加輸出至少部分基于所述上下文以及與所述附加懸停點相關(guān)聯(lián)的附加懸停動作。12.如權(quán)利要求1所述的方法，其特征在于，建立上下文包括: 標(biāo)識將產(chǎn)生要在所述第二顯示器上顯示的內(nèi)容的應(yīng)用； 標(biāo)識可由所述第一設(shè)備在所述第二顯示器上顯示的用戶界面元素； 標(biāo)識可由所述第一設(shè)備在所述第二顯示器上顯示的光標(biāo)； 標(biāo)識光標(biāo)位置或移動是否將獨立于所述懸停點的位置；以及 標(biāo)識能夠響應(yīng)于在所述第一設(shè)備上執(zhí)行的觸摸事件而被生成的控制事件。13.—種裝置，包括: 處理器； 存儲器； 輸入/輸出接口，所述輸入/輸出接口既是觸摸敏感的又是懸停敏感的； 為與一不同的第二裝置相關(guān)聯(lián)的輔助顯示器提供懸停點控制的邏輯集合，以及 連接所述處理器、所述存儲器和所述邏輯集合的接口， 所述邏輯集合包括: 第一邏輯，所述第一邏輯提供要在所述輔助顯示器上顯示的內(nèi)容，其中所述內(nèi)容由至少部分在所述裝置上運行的應(yīng)用產(chǎn)生； 第二邏輯，所述第二邏輯提供要在所述輔助顯示器上顯示的覆蓋材料，其中所述覆蓋材料是并非由所述應(yīng)用產(chǎn)生的內(nèi)容；以及 第三邏輯，所述第三邏輯至少部分基于與所述覆蓋材料相關(guān)聯(lián)的動作來控制所述應(yīng)用。14.如權(quán)利要求13所述的裝置，其特征在于，所述覆蓋材料是位置指示符，且其中所述第二邏輯響應(yīng)于在由所述輸入/輸出接口所產(chǎn)生的懸?？臻g中檢測到懸停點而提供所述位置指示符，或者 其中所述覆蓋材料是被配置成控制所述應(yīng)用的用戶界面元素，且其中所述第二邏輯響應(yīng)于在所述懸?？臻g中檢測到所述懸停點而提供所述用戶界面元素。15.如權(quán)利要求14所述的裝置，其特征在于，所述第二邏輯確定所述位置指示符的初始位置，其中所述初始位置至少部分基于所述用戶界面元素的位置，且其中所述初始位置獨立于所述懸停點相對于所述輸入/輸出接口的位置；以及 其中所述第三邏輯在檢測到所述輸入/輸出接口上的觸摸時產(chǎn)生控制動作，其中由所述第三邏輯產(chǎn)生的所述控制動作至少部分基于所述位置指示符的位置以及所述用戶界面元素的位置，且其中所述控制動作獨立于所述懸停點的位置。
【文檔編號】G06F3/14GK105900056SQ201580004266
【公開日】2016年8月24日
【申請日】2015年1月7日
【發(fā)明人】P·米科拉, D·黃
【申請人】微軟技術(shù)許可有限責(zé)任公司