本申請為申請日是2015年11月30日、申請?zhí)柺?01510854499.7、發(fā)明名稱是“遙控裝置及方法、電子裝置”的發(fā)明專利申請的分案申請。

本發(fā)明涉及智能設備交互領域，特別涉及一種能夠與外部設備實現多媒體交互的手機。

背景技術：

計算機、智能電視、移動電話之類的電子裝置通常包括一內置的顯示屏，該顯示屏用來顯示由電子裝置產生或存儲于電子裝置上的內容。在某些情況下，可能需要通過一電子裝置遙控另一電子裝置。例如，用戶可能希望將移動電話作為遙控器，通過智能電視玩游戲。

參閱圖1，圖1是第一電子裝置和第二電子裝置交互示意圖。第一電子裝置100具有一第一顯示屏110，第二電子裝置200具有一第二顯示屏210。用戶希望將第一顯示屏110上的部分或全部內容推送至第二顯示屏210上，以通過第一電子裝置100控制第二電子裝置200上顯示的內容。如圖1所示，第一電子裝置可以是手機，第二顯示裝置可以是智能電視。由于當前少有專門針對智能電視開發(fā)的應用程序，通常將應用于其他智能終端的應用程序直接應用在智能電視中。因此，智能電視中顯示有一游戲應用程序，該游戲應用程序具有一些可交互控件。

為滿足上述需要，蘋果公司的ios操作系統(tǒng)提供了airplay技術，能夠實現兩個顯示屏的內容鏡像。airplay技術是蘋果公司推出的無線通訊技術，能夠通過無線把播放的音樂、視頻甚至整個畫面?zhèn)魉偷浇邮赵O備再播放出來。但是，采用airplay技術在兩個顯示屏(例如，移動電話顯示屏和電視顯示屏)之間推送顯示的內容，存在以下缺陷：

一方面，由于airplay技術是將整個顯示畫面在兩個顯示屏之間推送，其傳輸的數據非常大，嚴重占用網絡帶寬。以顯示屏分辨率為1920×1080的移動電話為例，若顯示畫面的幀率為24fps(由于人類眼睛的特殊生理結構，所看畫面之幀率高于24時，就會認為是連貫的)，則傳輸該顯示畫面所需的帶寬為1920×1080×32÷8÷1024²×24＝189.8m。在某些對網絡帶寬要求較高的情形下，例如前述用戶將移動電話作為遙控器，通過智能電視玩游戲的場景中，傳輸顯示畫面占用較多的帶寬可能影響智能電視顯示屏對用戶操作的響應速度，降低用戶體驗。

另一方面，采用airplay技術在第一顯示屏和第二顯示屏之間推送顯示畫面，當第一顯示屏中的畫面放大，第二顯示屏中的畫面也會相應地放大。對于前述用戶將移動電話作為遙控器，通過智能電視玩游戲的場景中，若將作為遙控器的移動電話顯示屏的局部顯示畫面(通常是操作按件集中的區(qū)域)放大，則智能電視中顯示的游戲畫面也會放大。這將導致游戲畫面顯示不全，使得游戲不能進行。因此，現有技術中用戶并不能調整移動電話顯示屏上內容的顯示大小。這在需要操作一些較小的按鍵時，顯得尤其不便。

技術實現要素：

本發(fā)明技術方案所要解決的是現有一具有顯示屏的電子設備推送顯示畫面內容至另一具有顯示屏的電子設備時，傳輸畫面嚴重占用帶寬的問題。

為解決上述技術問題，本發(fā)明技術方案提出一種能夠與外部設備實現多媒體交互的手機，包括一第一顯示單元，所述能夠與外部設備實現多媒體交互的手機具有一流量標識，所述能夠與外部設備實現多媒體交互的手機還包括：重繪單元，適于僅接收一電子裝置之第二顯示單元中當前顯示幀中可交互控件的控件信息，并根據所述控件信息向所述第一顯示單元提供控件坐標，以于所述第一顯示單元上繪制可交互控件；以及指令單元，根據作用于所述第一顯示單元的使用者操作生成操作指令。

基于上述，不同于現有技術中屏幕鏡像時整個畫面的推送，本發(fā)明技術方案的能夠與外部設備實現多媒體交互的手機，通過提取電子裝置中的可交互控件，僅將該控件的信息發(fā)送于能夠與外部設備實現多媒體交互的手機，從而，使能夠與外部設備實現多媒體交互的手機在其第一顯示單元上僅重繪可交互控件。一方面，大大降低了數據傳輸量，節(jié)省網絡帶寬占用；另一方面，使用者還可以任意調節(jié)能夠與外部設備實現多媒體交互的手機中顯示的可交互控件的大小，而不會對電子裝置中的顯示畫面產生影響，增強了用戶體驗。

附圖說明

圖1是第一電子裝置和第二電子裝置交互示意圖；

圖2是本發(fā)明一實施例的遙控裝置和電子裝置示意圖；

圖3是本發(fā)明第二顯示單元中一控件重繪于第一顯示單元時的轉換公式示意圖；

圖4是本發(fā)明一實施例的遙控裝置與一具有第二顯示單元的電子裝置交互過程示意圖；

圖5是本發(fā)明一實施例的第一顯示單元中可交互控件縮放示意圖；

圖6是通過放大后的圖5所示第一顯示單元中可交互控件與一具有第二顯示單元的電子裝置交互過程示意圖；

圖7是本發(fā)明另一實施例的遙控裝置和電子裝置示意圖；

圖8是本發(fā)明一實施例的遙控方法的流程圖；

圖9是本發(fā)明另一實施例的遙控方法的流程圖。

具體實施方式

為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合所附圖式作詳細說明如下。

如背景技術所述，現有在兩個電子裝置之間進行內容推送時，一方面需要推送整個畫面，傳輸的數據非常大，嚴重占用網絡帶寬；另一方面無法調整電子裝置的顯示屏顯示控件的大小，使用不便。

基于此，本發(fā)明技術方案提供一種遙控裝置，能夠在其顯示屏上僅重繪一電子裝置顯示屏中的可交互控件，使用者通過操作該遙控裝置，可以實現對電子裝置顯示內容的控制。本發(fā)明技術方案還提供一種電子裝置，使用者通過操作上述遙控裝置，能夠實現對該電子裝置顯示內容的控制。

參閱圖2，圖2是本發(fā)明一實施例的遙控裝置和電子裝置示意圖。遙控裝置100包括一第一顯示單元110、一重繪單元150和一指令單元130。電子裝置200包括一第二顯示單元210、一控制單元230、一過濾單元250和一第二信息獲取單元220。

對于遙控裝置100，第一顯示單元110為觸摸屏，具體而言，可以是電阻式觸摸屏、電容式觸摸屏、紅外式觸摸屏或表面聲波式觸摸屏，其能夠根據使用者操作提供不同的電信號。第一顯示單元110的形狀或類型可根據不同遙控裝置有所區(qū)別，本發(fā)明對此并不限定。

指令單元130用于根據作用于第一顯示單元110接收到的使用者操作s42生成操作指令s10或存儲指令s46。該使用者操作s42可以是點擊操作、拖拽操作、選中操作或其他使用者操作。以背景技術中使用者將移動電話作為遙控器，通過智能電視玩游戲為例，遙控裝置100可以是移動電話，第一顯示單元110可以是移動電話的顯示屏。使用者在移動電話的顯示屏上執(zhí)行點擊、拖拽、選中或其他操作時，指令單元130將根據上述操作生成操作指令s10或存儲指令s46，該操作指令s10包括觸發(fā)指令s52、控件響應指令s51，下文將作進一步詳細描述。

結合圖4，在一個實施例中，第一顯示單元110上具有一開啟控件102，當使用者點擊該開啟控件102時，指令單元130根據該使用者的點擊操作生成一操作指令s10，該操作指令為觸發(fā)指令s52，該觸發(fā)指令s52經由一控制單元230提供給過濾單元250和第二信息獲取單元220，以觸發(fā)其發(fā)送相應信息于遙控裝置100。

對于電子裝置200，第二顯示單元210可以是觸摸屏，也可以是非觸摸屏。使用者可以通過電子裝置200運行某些應用程序，該應用程序在第二顯示單元210上呈現相應的畫面。如背景技術中使用者通過智能電視玩游戲的例子，電子裝置200可以是一智能電視，第二顯示單元210可以是該智能電視的顯示屏，例如液晶顯示屏等。游戲顯示畫面通過智能電視的顯示屏呈現于使用者。

電子裝置200的過濾單元250在接收到一觸發(fā)指令s52后，自所述第二顯示單元的當前顯示幀提取可交互控件的控件信息s55，并將控件信息s55提供于遙控裝置100。參閱圖4，圖4是本發(fā)明一實施例的遙控裝置與一具有第二顯示單元的電子裝置交互過程示意圖。在電子裝置200的第二顯示單元210中，呈現有一游戲程序界面，該游戲程序界面的上半部示出了一人穿行于多個障礙物，并可由一障礙物頂部跳躍至另一障礙物頂部。該游戲程序界面的下半部示出了五個可交互控件，分別指示游戲中的人運動方式：向上u、向下d、向左l、向右r和加速enter。當過濾單元250接收到觸發(fā)指令s52時，則自當前顯示幀(當前游戲程序界面)提取可交互控件101(向上u、向下d、向左l、向右r和加速enter)的控件信息s55，并將該控件信息s55提供給遙控裝置100的重繪單元150。該控件信息包括：應用程序名稱、應用程序版本號、幀編號、控件編號、控件坐標和控件屬性。下文會對控件信息做進一步詳細說明。

電子裝置200的第二信息獲取單元220在接收到一觸發(fā)指令s52后，依據該觸發(fā)指令s52由第二顯示單元210獲取第二顯示信息s30，并將第二顯示信息s30提供于遙控裝置100的重繪單元150。第二顯示信息s30包括第二顯示單元210的分辨率以及當前顯示幀中可交互控件，例如前述控件向上u、向下d、向左l、向右r和加速enter的控件坐標。

如前所述，遙控裝置100的重繪單元150接收電子裝置200的過濾單元250發(fā)出的控件信息s55和第二顯示信息獲取單元220發(fā)出的第二顯示信息s30。重繪單元150根據上述控件信息s55和第二顯示信息s30，生成控件坐標s43，以在第一顯示單元110上繪制與第二顯示單元210中當前顯示幀對應的可交互控件。下面對本實施例中重繪單元150的工作過程詳細描述。

本實施例中，遙控裝置100包括一第一顯示信息獲取單元120，該第一顯示信息獲取單元120耦接第一顯示單元110，用于獲取第一顯示信息s41。第一顯示信息s41包括第一顯示單元110的分辨率。以前述遙控裝置為移動電話的情形為例，該移動電話的顯示屏的分辨率為wrs*hrs，則第一顯示信息則包括分辨率wrs*hrs。

重繪單元150包括一轉換單元152，耦接第一顯示信息獲取單元110。該轉換單元152根據一轉換公式，由控件信息s55、第一顯示信息s41和第二顯示信息s30，計算可交互控件顯示于第一顯示單元110的控件坐標s43，并將所述控件坐標s43發(fā)送于所述第一顯示單元110，以在該第一顯示單元110上繪制與第二顯示單元210中當前顯示幀對應的可交互控件。參閱圖3，圖3是本發(fā)明第二顯示單元中一控件重繪于第一顯示單元時的轉換公式示意圖。圖3中第二顯示單元210中具有一可交互控件，該可交互控件坐標如圖所示，控件信息s55即為該可交互控件的控件坐標(亦即xtc、ytc、xbc、ybc)；第一顯示單元110的分辨率即為第一顯示信息s41(亦即wrs*hrs)；第二顯示單元210的分辨率即為第二顯示信息s30(亦即wcs*hcs)。本實施例中，可以采用如下公式作為轉換公式：

其中，xtc為第二顯示信息中一可交互控件左上頂點的x坐標；

ytc為第二顯示信息中一可交互控件左上頂點的y坐標；

xbc為第二顯示信息中一可交互控件右下頂點的x坐標；

ybc為第二顯示信息中一可交互控件右下頂點的y坐標；

x1c為第一顯示信息中與所述第二顯示信息的可交互控件對應的可交互控件的左上頂點的x坐標；

y1c為第一顯示信息中與所述第二顯示信息的可交互控件對應的可交互控件的左上頂點的y坐標；

x2c為第一顯示信息中與所述第二顯示信息的可交互控件對應的可交互控件的右下頂點的x坐標；

y2c為第一顯示信息中與所述第二顯示信息的可交互控件對應的可交互控件的右下頂點的y坐標；

所述第一顯示單元的分辨率為wrs*hrs；

所述第二顯示單元的分辨率為wcs*hcs。

至此，重繪單元150通過其轉換單元152可以得到繪制于第一顯示單元110中的可交互控件的左上頂點坐標(x1c，y1c)和右下頂點坐標(x2c，y2c)。類似地，第一顯示單元110上可以繪制出與第二顯示單元210中對應的所有可交互控件。使用者即可以在移動電話的顯示屏中只呈現游戲程序中當前顯示幀的可交互控件，如前述控件向上u、向下d、向左l、向右r和加速enter，而不會呈現游戲中的人物、障礙物或不可交互的控件(如提示欄)等。

接著，使用者可以對第一顯示單元110(移動電話顯示屏)中的可交互控件101進行操作，例如可以進行點擊操作、拖拽操作、選中操作等。指令單元130根據所述第一顯示單元110中的可交互控件101接收到的使用者操作s42，生成操作指令s10提供給所述電子裝置200，以使所述電子裝置200執(zhí)行所述操作指令s10相對應的一項任務。舉例來說，如圖4所示，使用者可以點擊遙控裝置100的第一顯示單元110中的可交互控件101向上“u”，第一顯示單元110將使用者操作s42發(fā)送至指令單元130。指令單元130根據該使用者操作s42生成操作指令s10。經由電子裝置200的控制單元230判斷，該操作指令s10為控件響應指令s51，故基于該控件響應指令，執(zhí)行第二顯示單元210中可交互控件(即向上“u”)相對應的一項任務，第二顯示單元210的顯示畫面即呈現相應效果，如游戲中的人向上跳躍。

電子裝置200還包括一更新單元240。更新單元240在監(jiān)測到所述第二顯示單元210的當前顯示幀更新時，，控制單元230將該當前顯示幀的信息s53發(fā)送于更新單元240，并向所述過濾單元250提供一觸發(fā)指令s54。如前所述，電子裝置200的過濾單元250在接收到一觸發(fā)指令s54后，將自所述第二顯示單元210的當前顯示幀提取可交互控件的控件信息s55，并將控件信息s55提供于遙控裝置100。

以下對過濾單元250的工作過程詳細描述。過濾單元250包括一控件過濾單元251和一通知單元252?？丶^濾單元251，用于依據一觸發(fā)指令s54自第二顯示單元210的當前顯示幀提取可交互控件101的控件信息。通知單元252，用于向遙控裝置100提供控件信息s55?？丶畔ǎ簯贸绦蛎Q、應用程序版本號、幀編號、控件編號、控件坐標和控件屬性。下表1為一控件信息示例：

表1第二顯示單元當前顯示幀的控件信息表

第二顯示單元210上的控件根據其控件交互相關屬性的屬性值不同，分為兩類：可交互控件和不可交互控件。一些控件，例如用于提示使用者該電子裝置200所運行的應用程序的基本信息的控件、用于通知使用者先前操作是否成功的控件等，其不需要相應用戶操作，為不可交互控件。不可交互控件的控件屬性中，clickable、longclickble等交互相關屬性的屬性值均為false，或該控件被disable。不可交互控件的控件信息便不需要提供給遙控裝置100，這樣一方面可以降低傳輸帶寬，另一方面也使得第一顯示單元110的顯示界面比較整潔。另有一些控件，如表1所示向上指示控件botton_u、向下指示控件botton_d、向左指示控件botton_l、向右指示控件botton_r或加速控件botton_e，其需要響應用戶操作以執(zhí)行某應用程序(如游戲程序)的一項任務，為可交互控件。在智能操作系統(tǒng)中，可交互控件的控件屬性中，longclickable或clickable等交互相關屬性中至少有一項的屬性值為true。可交互控件的控件信息需要提供給遙控裝置100，以便使用者通過第一顯示單元100對第二顯示單元210中顯示的應用程序遙控操作。

在一個實施例中，第一顯示單元上還具有一保存控件。參閱圖5、圖6并結合圖2，圖5是本發(fā)明一實施例的第一顯示單元110中可交互控件縮放示意圖；圖6是通過放大后的圖5所示第一顯示單元110中可交互控件與一具有第二顯示單元的電子裝置交互過程示意圖。當使用者對遙控裝置100的第一顯示單元110進行縮放操作后，點擊保存控件103，第一顯示單元110的保存控件103接收到的使用者操作s42，指令單元130根據該使用者操作s42生成存儲指令s46，并將存儲指令s46提供給遙控裝置100的一存儲單元140。存儲單元140保存第一顯示單元110的當前顯示幀。存儲單元140可以為一非易失性存儲器，如閃存。結合圖5，舉例來說，操作者若認為當前顯示幀(frame_008)中第一顯示單元110上的可交互控件101較小，不易準確觸控，即可依照箭頭所示方向以兩手指在第一顯示單元110上滑動，進而放大可交互控件101至期望的大小，如圖6中第一顯示單元110中所示可交互控件。此時，操作者選擇圖6中第一顯示單元110上的保存控件103，即生成一使用者操作s42。指令單元130根據該使用者操作s42生成一存儲指令s46，將第一顯示單元110的當前顯示幀(可記錄為frame_008)01)保存于存儲單元140中。

本實施例中，遙控裝置100還包括一加載單元151。通知單元252將控件信息s55發(fā)送至遙控裝置100的加載單元151，控件信息s55為應用程序名稱、應用程序版本號、幀編號。加載單元151由存儲單元140查找對應于控件信息s55的幀s45，并向第一顯示單元110提供該幀s45中的控件坐標s44，以于第一顯示單元110上繪制可交互控件101。舉例來說，控件信息s55為應用程序名稱marie、應用程序版本號1.01、幀編號frame_008，加載單元151根據控件信息s55由存儲單元140中查找到幀frame_008_01于控件信息s55對應，則加載單元151向第一顯示單元110提供幀frame_008_01中的控件坐標。第一顯示單元110中即可重繪如圖6所示較大的控件。

在另一實施例中，遙控裝置100包括一加載單元151，遙控裝置100連接于一云端服務器。參閱圖7，圖7是本發(fā)明另一實施例的遙控裝置和電子裝置示意圖。云端服務器300存儲有多個應用程序。通知單元252將控件信息s55發(fā)送至遙控裝置100的加載單元151，控件信息s55為應用程序名稱、應用程序版本號、幀編號、控件編號、控件坐標和控件屬性。加載單元151通過因特網由云端服務器300查找對應于控件信息s55的應用程序以及該應用程序相應的幀。云端服務器300可由上述相應應用程序的幀提取與控件信息s55對應的可交互控件。加載單元151經由因特網加載該可交互控件的控件信息，并依據該控件信息向第一顯示單元110提供控件坐標s44。第一顯示單元110上即可以繪制云端服務器300中相應幀中的可交互控件。云端服務器除了存儲前述多個應用程序外，還可以存儲該應用程序或應用程序中幀的其他信息，例如經過不同用戶使用習慣而訓練獲得的某幀最經使用的控件坐標(控件大小)等。

參閱圖8，圖8是本發(fā)明一實施例的遙控方法的流程圖。本發(fā)明技術方案還提供一種遙控方法。所述遙控方法包括：

執(zhí)行步驟s100：自一電子裝置接收可交互控件的控件信息。

執(zhí)行步驟s200：基于所述控件信息在一遙控裝置的第一顯示單元僅重繪可交互控件。

執(zhí)行步驟s300：根據作用于所述第一顯示單元的使用者操作生成操作指令。

執(zhí)行步驟s400：執(zhí)行所述操作指令對應的任務。

以下結合一具體實施例詳細說明本發(fā)明技術方案的遙控方法。參閱圖9，圖9是本發(fā)明另一實施例的遙控方法的流程圖。

仍以前述移動電話遙控智能電視中的游戲程序為例。如圖9中步驟s101所示，當一使用者希望通過其移動電話(遙控裝置)操作智能電視(電子裝置)中顯示的游戲時，首先觸發(fā)遙控裝置第一顯示單元的開啟控件，遙控裝置即會向電子裝置發(fā)出一觸發(fā)指令。觸發(fā)電子裝置使其過濾單元提取該電子裝置的第二顯示單元上的可交互控件，并將該可交互控件的控件信息發(fā)送于遙控裝置。

接著，繼續(xù)步驟s102，遙控裝置自電子裝置接收上述可交互控件的控件信息。

若遙控裝置的重繪單元單元中不存在加載單元(步驟s201)，則該遙控裝置接收電子裝置第二顯示單元的第二顯示信息(步驟s206)。根據上述第二顯示信息和可交互控件的控件信息，根據一轉換公式，于遙控裝置的第一顯示單元，即移動電話的顯示屏上，僅繪制可交互控件(步驟s207)。轉換公式的形式可以參見前述實施例，此不贅述。

若遙控裝置的重繪單元中具有一加載單元(步驟s201)，且該遙控裝置無存儲單元(步驟s202)，則該遙控裝置自一存儲有多個應用程序的云端服務器，查找對應于所述控件信息的幀，根據該幀在所述第一顯示單元僅重繪可交互控件(步驟s203)。

若遙控裝置的重繪單元中具有一加載單元(步驟s201)，且該遙控裝置具有一存儲單元(步驟s202)，則判斷存儲單元中是否存在對應于電子裝置第二顯示單元中可交互控件的控件信息的幀(步驟s204)。若有，自所述遙控裝置的一存儲單元中查找對應于所述控件信息的幀，根據該幀在所述第一顯示單元重繪可交互控件(步驟s205)。若在存儲單元中未找到相應的幀，該遙控裝置自一存儲有多個應用程序的云端服務器，查找對應于所述控件信息的幀，根據該幀在所述第一顯示單元僅重繪可交互控件(步驟s203)。

至此，遙控裝置的第一顯示單元上已經僅重繪出與電子裝置的第二顯示單元相應的可交互控件，使用者可以通過對第一顯示單元上可交互控件的操作(步驟s300)，使電子裝置中的應用程序執(zhí)行對應的任務(步驟s400)。

若使用者認為遙控裝置中控件大小不適宜，可通過縮放當前顯示界面并保存該顯示界面對應的幀的方式，將具有自己習慣的控件大小的當前顯示幀保存于遙控裝置的存儲單元中。當下次開啟該遙控裝置時，即可將該存儲單元中保存的顯示幀直接映射于第一顯示單元上。

綜上所述，不同于現有技術中屏幕鏡像時整個畫面的推送，本發(fā)明技術方案的遙控裝置及方法、電子裝置，通過提取電子裝置中的可交互控件，僅將該控件的信息發(fā)送于遙控裝置，從而，使遙控裝置在其第一顯示單元上僅重繪可交互控件。一方面，大大降低了數據傳輸量，節(jié)省網絡帶寬占用；另一方面，使用者還可以任意調節(jié)遙控裝置中顯示的可交互控件的大小，而不會對電子裝置中的顯示畫面產生影響，增強了用戶體驗。

以上所述僅為本發(fā)明較佳實施例，然其并非用以限定本發(fā)明的范圍，任何熟悉本項技術的人員，在不脫離本發(fā)明的精神和范圍內，可在此基礎上做進一步的改進和變化，因此本發(fā)明的保護范圍當以本申請的權利要求書所界定的范圍為準。