針對無線顯示設(shè)備的用戶輸入控制的無連接傳輸?shù)闹谱鞣椒?br>【專利說明】
[0001] 優(yōu)先權(quán)聲明
[0002] 本申請要求享有于2013年1月25日遞交的美國臨時申請No. 61/757, 010和于 2013年1月28日提交的美國臨時申請No. 61/757, 414的權(quán)益，通過引用的方式將每個美國 臨時申請的全部內(nèi)容并入本文。
技術(shù)領(lǐng)域
[0003] 本申請涉及媒體數(shù)據(jù)的傳輸和回放，更具體地說，涉及通過媒體數(shù)據(jù)的傳輸和回 放進行用戶輸入控制。
【背景技術(shù)】
[0004] Wi-Fi顯示（也叫做Miracast?)是Wi-Fi聯(lián)盟開發(fā)的針對無線顯示的即將到來的 標準。該標準基于Wi-FiDirect。該Wi-Fi顯示（WFD)標準提供了一種用于在Wi-Fi顯示 宿處發(fā)現(xiàn)、配對、連接和呈現(xiàn)源自Wi-Fi顯示源的多媒體內(nèi)容的互操作機制?？梢栽赪i-Fi 聯(lián)盟技術(shù)委員會顯示任務(wù)小組的Wi-Fi顯示技術(shù)規(guī)范vl. 0.0 (Wi-FiDisplayTechnical Specificationvl.0.0)和Wi-Fi聯(lián)盟"Wi-FiDisplaySpecificationdraftversion I. 31"中找到關(guān)于當(dāng)前WFD標準的額外信息，通過引用的方式將這些規(guī)范的全部內(nèi)容并入 本文。
[0005] 無線顯示（WD)系統(tǒng)包括源設(shè)備和一個或多個宿設(shè)備。源設(shè)備可以是能夠在無線 局域網(wǎng)中發(fā)送媒體內(nèi)容的設(shè)備。宿設(shè)備可以是能夠接收并呈現(xiàn)媒體內(nèi)容的設(shè)備。源設(shè)備和 宿設(shè)備可以是移動設(shè)備或有線設(shè)備。作為移動設(shè)備，例如，源設(shè)備和宿設(shè)備可以包括移動電 話、具有無線通信卡的便攜式計算機、個人數(shù)字助理（PDA)、便攜式媒體播放器、數(shù)字圖像捕 捉設(shè)備（比如相機或攝像機）、或具有無線通信能力的其它閃存設(shè)備（包括所謂的"智能" 電話和"智能"平板計算機或平板電腦、或其它類型的無線通信設(shè)備）。作為有線設(shè)備，例 如，源設(shè)備和宿設(shè)備可以包括電視、臺式計算機、監(jiān)視器、投影儀、打印機、音頻放大器、機頂 盒、游戲操縱桿、路由器、汽車儀表盤顯示器和數(shù)字視頻光碟（DVD)播放器和媒體服務(wù)器。
[0006] 源設(shè)備可以向參與特定媒體共享會話的一個或多個宿設(shè)備發(fā)送媒體數(shù)據(jù)，比如音 頻視頻（AV)數(shù)據(jù)。該媒體數(shù)據(jù)可以在源設(shè)備的本地顯示器和宿設(shè)備的每個顯示器上回放。 更具體地，每個參與宿設(shè)備呈現(xiàn)所接收到的媒體數(shù)據(jù)以用于在其屏幕和音頻裝置上顯示。 在一些情況中，宿設(shè)備的用戶可以將用戶輸入應(yīng)用于宿設(shè)備，比如觸摸輸入和遠程控制輸 入。在一些情況中，源設(shè)備可以使用虛擬網(wǎng)絡(luò)計算（VNC)作為基本協(xié)議以便在宿設(shè)備顯示 器上顯示源設(shè)備應(yīng)用的用戶接口并將用戶輸入傳輸回移動源設(shè)備。

【發(fā)明內(nèi)容】

[0007] -般而言，本申請涉及一種將無線顯示（WD)用戶輸入?yún)f(xié)議擴展為包括額外輸入 類型，并且在一些方面中，使用無連接傳輸協(xié)議來傳輸與任何額外輸入類型相對應(yīng)的用戶 輸入數(shù)據(jù)的技術(shù)。
[0008] 在一個示例中，一種接收用戶輸入數(shù)據(jù)的方法包括發(fā)送用戶輸入返回信道（UIBC) 參數(shù)消息，其中，所述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入 類型中的一個；以及根據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個，接收 UIBC消息中的用戶輸入數(shù)據(jù)。
[0009] 在另一個示例中，一種發(fā)送用戶輸入數(shù)據(jù)的方法包括接收用戶輸入返回信道 (UIBC)參數(shù)消息，其中，所述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC) 輸入類型中的一個，以及根據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來 發(fā)送用戶輸入數(shù)據(jù)。
[0010] 在再一個示例中，一種源設(shè)備包括用于發(fā)送用戶輸入返回信道（UIBC)參數(shù)消息 的模塊，其中，所述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型 中的一個，以及用于根據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來接收 UIBC消息中的用戶輸入數(shù)據(jù)的模塊。
[0011] 在又一個示例中，一種宿設(shè)備包括用于接收用戶輸入返回信道（UIBC)參數(shù)消息 的模塊，其中，所述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型 中的一個，以及用于根據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來發(fā)送 用戶輸入數(shù)據(jù)的模塊。
[0012] 在還有一個示例中，一種源設(shè)備包括一個或多個處理器，其中，所述一個或多個處 理器被配置為發(fā)送用戶輸入返回信道（UIBC)參數(shù)消息，其中，所述UIBC參數(shù)消息規(guī)定了語 音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型中的一個，以及根據(jù)所述語音輸入類型和所 述VNC輸入類型中的所規(guī)定的一個來接收UIBC消息中的用戶輸入數(shù)據(jù)。
[0013] 在另一個不例中，一種宿設(shè)備包括一個或多個處理器，其中，所述一個或多個處理 器被配置為接收用戶輸入返回信道（UIBC)參數(shù)消息，其中，所述UIBC參數(shù)消息規(guī)定了語音 輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型中的一個，以及根據(jù)所述語音輸入類型和所述 VNC輸入類型中的所規(guī)定的一個來發(fā)送用戶輸入數(shù)據(jù)。
[0014] 在再一個示例中，一種包括存儲在其上的指令的計算機可讀存儲介質(zhì)，當(dāng)執(zhí)行所 述指令時將一個或多個處理器配置為：發(fā)送用戶輸入返回信道（UIBC)參數(shù)消息，其中，所 述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型中的一個，以及根 據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來接收UIBC消息中的用戶輸 入數(shù)據(jù)。
[0015] 在又一個示例中，一種包括存儲在其上的指令的計算機可讀存儲介質(zhì)，當(dāng)執(zhí)行所 述指令時將一個或多個處理器配置為：接收用戶輸入返回信道（UIBC)參數(shù)消息，其中，所 述UIBC參數(shù)消息規(guī)定了語音輸入類型和虛擬網(wǎng)絡(luò)計算機（VNC)輸入類型中的一個，以及根 據(jù)所述語音輸入類型和所述VNC輸入類型中的所規(guī)定的一個來發(fā)送用戶輸入數(shù)據(jù)。
[0016] 在附圖和下面的描述中給出了本申請的一個或多個示例的細節(jié)。根據(jù)所述說明書 和附圖以及根據(jù)權(quán)利要求，其它特征、目的和優(yōu)點將是清楚的。
【附圖說明】
[0017] 圖1是示出了無線顯示（WD)系統(tǒng)的示例的框圖，所述無線顯示（WD)系統(tǒng)包括能 夠使用用戶輸入設(shè)備控制通信信道來交換語音和虛擬網(wǎng)絡(luò)連接（VNC)按鍵事件的源設(shè)備 和宿設(shè)備。
[0018] 圖2是示出了WD系統(tǒng)的數(shù)據(jù)通信模型或協(xié)議棧的示例的框圖。
[0019] 圖3是示出了可以實現(xiàn)本申請中描述的技術(shù)的源設(shè)備的示例的框圖。
[0020] 圖4是示出了可以實現(xiàn)本申請中描述的技術(shù)的宿設(shè)備的示例的框圖。
[0021] 圖5是示出了本申請中描述的用戶輸入傳輸技術(shù)的流程圖。
[0022] 圖6是示出了本申請中描述的用戶輸入傳輸技術(shù)的流程圖。
[0023] 圖7是示出了本申請中描述的用戶輸入傳輸技術(shù)的流程圖。
[0024] 圖8是示出了本申請中描述的用戶輸入傳輸技術(shù)的流程圖。
【具體實施方式】
[0025] 源設(shè)備和宿設(shè)備可以實現(xiàn)WD通信技術(shù)，該技術(shù)與比如像無線HD、無線家用數(shù)字接 口（WHDI)、WiGig、無線USB和當(dāng)前正在開發(fā)的Wi-Fi顯示（WFD)標準兼容?？梢栽赪i-Fi 聯(lián)盟技術(shù)委員會、顯示任務(wù)小組的Wi-Fi聯(lián)盟"Wi-FiDisplaySpecificationdraft versionI. 31"中找到關(guān)于WFD標準的額外信息，通過引用的方式將其全部內(nèi)容并入本文。 但是，當(dāng)前WFD標準既不支持語音輸入也不支持虛擬網(wǎng)絡(luò)計算（VNC)輸入，比如VNC按鍵事 件輸入。另外，當(dāng)前WFD標準規(guī)定了通過面向連接的協(xié)議（即，通過互聯(lián)網(wǎng)協(xié)議的傳輸控制 協(xié)議（TCP/IP))來傳輸用戶輸入。
[0026] 本申請的技術(shù)可以包括在WD系統(tǒng)中的源設(shè)備與宿設(shè)備之間建立用戶輸入設(shè)備控 制通信信道以便允許宿設(shè)備向源設(shè)備發(fā)送設(shè)備控制輸入。用戶輸入設(shè)備控制通信信道可以 包括被稱為Wi-Fi用戶輸入返回信道（UIBC)的反向信道架構(gòu)，其已經(jīng)被修改為傳輸一個或 多個額外的輸入類型。例如，UIBC可以擴展到傳輸語音和VNC按鍵事件輸入類型。
[0027] 在一些示例中，這些技術(shù)還可以包括修改WFD軟件棧以便針對一個或多個輸入類 型，通過無連接傳輸協(xié)議（比如，通過IP的用戶數(shù)據(jù)報協(xié)議（UDP/IP))來傳輸用戶輸入設(shè) 備控制通信信道。在一些示例中，這些技術(shù)可以包括為TCP/IP和UDP/IP建立相應(yīng)的用戶 輸入設(shè)備控制通信信道，并將設(shè)備控制的輸入類型分配給用戶輸入設(shè)備控制通信信道中的 一個以用于傳輸。例如，語音可以分配給UDP/IP信道，而將鼠標點擊事件分配給TCP/IP。 與TCP不同，UDP提供無保證的數(shù)據(jù)報傳遞、排序或復(fù)制保護，并且可以更好地適合于攜帶 語音和其它實時數(shù)據(jù)。
[0028] 結(jié)果，這些技術(shù)可以擴展WD設(shè)備的潛在用戶輸入類型的范圍，從而改善正在對源 設(shè)備的操作進行控制的宿設(shè)備的用戶的用戶體驗。另外，通過修改WFD軟件棧以便使用無 連接協(xié)議來傳輸用戶輸入設(shè)備控制通信信道的至少一些輸入類型，這些技術(shù)可以減小源設(shè) 備向宿設(shè)備發(fā)送的用戶輸入的傳輸延遲，通過減小例如語音命令與命令執(zhí)行之間的延遲再 次潛在地改善用戶體驗。
[0029] 圖1是示出了無線顯示（WD)系統(tǒng)100的示例的框圖，所述無線顯示（WD)系統(tǒng)100 包括能夠使用用戶輸入設(shè)備控制通信信道來交換語音和虛擬網(wǎng)絡(luò)連接（VNC)按鍵事件的 源設(shè)備120和宿設(shè)備160。在一些示例中，源設(shè)備120和宿設(shè)備160能夠使用無連接協(xié)議來 交換一個或多個用戶輸入類型，比如語音和VNC按鍵事件輸入類型中的一個或二者。如圖 1中所示，WD系統(tǒng)100包括經(jīng)由通信信道150與宿設(shè)備160進行通信的源設(shè)備120。
[0030] 源設(shè)備120可以包括存儲器122、顯示器124、揚聲器126、音頻和/或視頻（A/V) 編碼器128、音頻和/或視頻（A/V)控制模塊130、以及發(fā)射機/接收機（TX/RX)單元132。 宿設(shè)備160可以包括發(fā)射機/接收機單元162、音頻和/或視頻（A/V)解碼器164、顯示器 166、揚聲器168、用戶輸入（UI)設(shè)備170和用戶輸入處理模塊（UIPM) 172。所示出的組件 僅僅構(gòu)成WD系統(tǒng)100的一種示例性配置。其它配置可以包括與那些示出的組件相比更少 的組件，或者可以包括除那些示出的組件以外的額外組件。
[0031] 在圖1的示例中，源設(shè)備120可以在顯示器124上顯示A/V數(shù)據(jù)的視頻部分，并且 可以使用揚聲器126輸出A/V數(shù)據(jù)的音頻部分?？梢詫/V數(shù)據(jù)本地地存儲在存儲器122 上，從外部存儲介質(zhì)（比如，文件服務(wù)器、硬盤驅(qū)動器、外部存儲器、藍光光碟、DVD或其它物 理存儲介質(zhì)）訪問，或者可以經(jīng)由網(wǎng)絡(luò)連接（比如，經(jīng)由互聯(lián)網(wǎng)）流式傳輸?shù)皆丛O(shè)備120。 在一些實例中，A/V數(shù)據(jù)可以是經(jīng)由源設(shè)備120的攝像頭和麥克風(fēng)實時捕獲的。A/V數(shù)據(jù)可 以包括諸如電影、電視節(jié)目或音樂之類的多媒體內(nèi)容，但是還可以包括由源設(shè)備120生成 的實時內(nèi)容。這樣的實時內(nèi)容可以例如由源設(shè)備120上運行的應(yīng)用產(chǎn)生，或者可以是被捕 捉到的視頻數(shù)據(jù)，例如作為視頻電話會話的一部分。在一些實例中，這樣的實時內(nèi)容可以包 括可用于由用戶進行選擇的用戶輸入選項的視頻幀。在一些實例中，A/V數(shù)據(jù)可以包括不 同類型內(nèi)容（比如，具有覆蓋在視頻幀上的用戶輸入選項的電影或TV節(jié)目的視頻幀）的組 合的視頻幀。在一些實例中，A/V數(shù)據(jù)可以包括由虛擬網(wǎng)絡(luò)計算（VNC)傳輸?shù)?、用于在宿設(shè) 備160上顯示在源設(shè)備120上執(zhí)行的應(yīng)用的用戶接口的數(shù)據(jù)。一般而言，WD可以使用VNC 顯示該用戶接口并從宿