專利名稱：通信裝置和通信裝置控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可依靠無線通信接收網(wǎng)絡(luò)上的服務(wù)器發(fā)送來的圖像數(shù)據(jù)，并顯示該圖像數(shù) 據(jù)的通信裝置和該裝置的控制方法。
背景技術(shù)：
作為使用網(wǎng)絡(luò)的新計算方式研發(fā)出網(wǎng)絡(luò)計算技術(shù)(參照例如Tristan Richardson、 Quentin Stafford-Fraser、 Kenneth R.Wook、以及Andy Hoppor，"虛擬網(wǎng)絡(luò)計算"IEEE 互聯(lián)網(wǎng)計算技術(shù)，第2巻,第1期，1998年1月/2月)。
根據(jù)現(xiàn)有的計算技術(shù)，用戶的計算機終端(例如個人計算機)預(yù)先存儲種種的應(yīng)用程序， 并根據(jù)需要啟動它們來使用該應(yīng)用程序。與此相反，網(wǎng)絡(luò)計算技術(shù)則進行從網(wǎng)絡(luò)的服務(wù)器 裝置下載所要使用的應(yīng)用程序并根據(jù)需要使用它們這種運行。使用這樣一種網(wǎng)絡(luò)計算系 統(tǒng)，使之能夠通過限制用戶側(cè)的計算機終端所需的功能來降低器件的規(guī)模。
由可與網(wǎng)絡(luò)連接的蜂窩電話近來的普及使用可以知道，各種數(shù)字設(shè)備可以通過無線通 信與網(wǎng)絡(luò)連接。種種實例說明通過無線通信使用網(wǎng)絡(luò)服務(wù)這一趨勢在增大。為了滿足用戶 對于各種不同服務(wù)的請求，實現(xiàn)能夠使用如同現(xiàn)有移動計算機功能的高級功能處理種種服 務(wù)的、相當小型的通信終端很重要。
但如上所述的網(wǎng)絡(luò)計算系統(tǒng)中，用戶端的終端需要具有用于運行所要下載和使用的應(yīng) 用程序的計算能力。這是用戶端終端其重量減輕和小型化的瓶頸之一。
另一方面，諸如蜂窩電話這類便攜式終端無法全面使用臺式(筆記本)個人計算機上 運行的應(yīng)用程序所實施的高級圖形功能。

發(fā)明內(nèi)容
根據(jù)本文明，提供了一種用于對無線通信所接收到的圖像數(shù)據(jù)進行解碼和顯示的通信
裝置。該裝置中，有一通信建立單元分別與發(fā)送通過執(zhí)行一應(yīng)用程序所生成的應(yīng)用窗口數(shù)
據(jù)的計算機、發(fā)送視頻通信用的視頻圖像數(shù)據(jù)的通信終端、以及發(fā)送包含活動圖像的內(nèi)容
數(shù)據(jù)的內(nèi)容服務(wù)器建立無線通信。
有一接收單元在通信建立單元建立起無線通信之后分別從計算機、通信終端、以及內(nèi)
容服務(wù)器接收應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)、以及內(nèi)容數(shù)據(jù)。
有一生成單元通過與各自數(shù)據(jù)的壓縮方案相對應(yīng)對所接收到的應(yīng)用窗口數(shù)據(jù)、所接收 到的視頻圖像數(shù)據(jù)、以及所接收到的內(nèi)容數(shù)據(jù)進行解碼，來生成顯示單元所要顯示的顯示 圖像數(shù)據(jù)。
有一控制單元與應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)、以及內(nèi)容數(shù)據(jù)的壓縮方案相對應(yīng)切換 生成單元的解碼方案。
應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)、以及內(nèi)容數(shù)據(jù)分別采用壓縮方案經(jīng)過編碼,該壓縮方案 其中包括將二維的圖像數(shù)據(jù)變換為空間頻域的圖像數(shù)據(jù)的正交變換處理和對經(jīng)過了該正 交變換處理的圖像數(shù)據(jù)的量化處理,而生成單元通過一單個處理電路實施用于對應(yīng)用窗口 數(shù)據(jù)、視頻圖像數(shù)據(jù)、以及內(nèi)容數(shù)據(jù)進行解碼的反向正交變換處理和反向量化處理。


圖1是示出一實施例的顯示終端其配置的框圖。
圖2是示出其中包括該實施例的顯示終端的網(wǎng)絡(luò)系統(tǒng)的示意圖。
圖3是示出該實施例的顯示終端其外觀的示意圖。
圖4是"視頻觀看/收聽"時的通信順序圖。
圖5是示出"視頻觀看/收聽"時的短信息內(nèi)容的示意圖。
圖6是示出內(nèi)容數(shù)據(jù)的請求短信息的示意圖。
圖7是示出"視頻觀看/收聽"時的通信數(shù)據(jù)其結(jié)構(gòu)的示意圖。
圖8是"視頻通信"時的通信順序圖。
圖9是示出"視頻通信"時的短信息內(nèi)容的示意圖。
圖IO是示出"視頻通信"時的通信數(shù)據(jù)其結(jié)構(gòu)的示意圖。
圖11是"PC運行"時的通信順序圖。
圖12是示出"PC運行"時的短信息內(nèi)容的示意圖。
圖13是示出"PC運行"時的通信數(shù)據(jù)其結(jié)構(gòu)的示意圖。
圖14是示出使用服務(wù)時的工作的流程圖。
圖15是示出經(jīng)過壓縮的圖像數(shù)據(jù)的解碼處理的流程圖。 圖16是示出一例對每一壓縮方案設(shè)定的參數(shù)的示意圖。 圖17是示出顯示圖像數(shù)據(jù)如何生成的示意圖。
具體實施例方式
下面說明本發(fā)明的實施例。
圖1是示出一實施例的通信裝置100(下文稱為顯示終端100)的框圖。如圖2所示，顯 示終端100通過一 WLAN (無線局域網(wǎng)無線LAN)接入點200與網(wǎng)絡(luò)800連接。WLAN接入 點為例如可用于如同IEEE802.11標準所定義的無線LAN通信的無線IP (互聯(lián)網(wǎng)協(xié)議)通 信的無線通信接入點裝置。
假設(shè)顯示終端100和WLAN接入點200處于可彼此通過與IEEE802. 11等標準相兼容的 連接過程進行通信的狀態(tài)。這樣允許顯示終端100與PC服務(wù)器300、內(nèi)容服務(wù)器400、 SIP (會話始發(fā)協(xié)議)服務(wù)器500、視頻通信終端600等與網(wǎng)絡(luò)800相連接的裝置互相通信。 另外，顯示終端100也可通過WLAN接入點200與另一顯示終端700進行IP通信。
PC服務(wù)器300通過網(wǎng)絡(luò)800與顯示終端100連接，并將PC服務(wù)器300上運行的操作 系統(tǒng)、桌面環(huán)境軟件、以及應(yīng)用程序所生成的圖形桌面窗口的圖像數(shù)據(jù)(應(yīng)用窗口數(shù)據(jù))發(fā) 送給顯示終端100。
對于該PC服務(wù)器300應(yīng)用了例如日本特開JP—A2005 — 249841號公報中所披露的PC 窗口分享技術(shù)。每當PC服務(wù)器所生成的圖形桌面窗口更新時，PC服務(wù)器300便將所生成 的圖像數(shù)據(jù)發(fā)送給顯示終端100。這種情況下，PC服務(wù)器300通過使用預(yù)先在PC服務(wù)器 300和顯示終端100兩者間確定的圖像壓縮方案(JPEG)來壓縮和編碼圖像數(shù)據(jù)之后將該 圖像數(shù)據(jù)發(fā)送。盡管稍后會具體說明，但顯示終端100顯示的是從PC服務(wù)器300發(fā)送來 的圖像數(shù)據(jù)，并且在接收到用戶針對所顯示的圖像數(shù)據(jù)的控制輸入時將該控制輸入數(shù)據(jù)發(fā) 送給PC服務(wù)器300。 PC服務(wù)器300按照所發(fā)送的控制輸入數(shù)據(jù)運行應(yīng)用程序來更新圖形 桌面窗口，并將新的圖像數(shù)據(jù)發(fā)送給顯示終端100。
允許顯示終端100控制PC服務(wù)器300上所運行的應(yīng)用程序等，消除了用于運行應(yīng)用程 序等的計算能力的必要性。
內(nèi)容服務(wù)器400是一存儲包含活動圖像的內(nèi)容數(shù)據(jù)，并且響應(yīng)終端裝置的請求通過發(fā) 送所存儲的內(nèi)容數(shù)據(jù)來提供給網(wǎng)絡(luò)上的另一終端裝置的服務(wù)器裝置。內(nèi)容服務(wù)器400按照 DLNA (數(shù)字直播網(wǎng)絡(luò)聯(lián)盟)標準中所定義的視頻圖像流傳送及顯示過程來發(fā)送內(nèi)容數(shù)據(jù)。
需要注意的是，內(nèi)容數(shù)據(jù)也可以是普通用戶個人記錄并上傳至內(nèi)容服務(wù)器400中的視頻數(shù) 據(jù)等以及例如電影或電視節(jié)目數(shù)據(jù)。
如PC服務(wù)器300所發(fā)送的圖像數(shù)據(jù)的上述例中，內(nèi)容服務(wù)器400通過使用預(yù)先在內(nèi) 容服務(wù)器400和顯示終端100兩者間確定的圖像壓縮方案(MPEG2)來對圖像數(shù)據(jù)進行壓 縮和編碼之后發(fā)送該圖像數(shù)據(jù)。下面的說明基于內(nèi)容服務(wù)器400按照上述DLNA標準發(fā)送 內(nèi)容數(shù)據(jù)給顯示終端100這一假設(shè)。但所要用到的內(nèi)容數(shù)據(jù)發(fā)送過程并不局限于與上述 DLNA標準相兼容的情形。舉例來說，內(nèi)容服務(wù)器400也可以按照諸如RTSP (實時流協(xié)議) 這類另一標準發(fā)送內(nèi)容數(shù)據(jù)。
視頻通信終端600是一通過SIP服務(wù)器500與顯示終端100進行視頻通信的終端。這 種情況下，視頻通信是一通過經(jīng)網(wǎng)絡(luò)相互連接的各通信終端間發(fā)送/接收視頻信號(視頻圖 像數(shù)據(jù))和音頻數(shù)據(jù),允許用戶在觀看到說話者畫面的同時進行實時會話的通信。這種情況 下，各終端之間通過SIP服務(wù)器500的信令按照例如RFC3261定義的方法來進行。
首先，顯示終端100通過SIP服務(wù)器500發(fā)送一邀請(INVITE)請求給視頻通信終端600。 一旦接收到該邀請(INVITE)請求，視頻通信終端600便返回一對該請求進行響應(yīng)的應(yīng)答， 由此在顯示終端100和視頻通信終端600兩者間建立通信。這時，顯示終端100和視頻通 信終端600就通信用的通信方案、數(shù)據(jù)發(fā)送/接收用的壓縮方案等達成一致。這里假設(shè)顯 示終端100和視頻通信終端600之間發(fā)送/接收的圖像數(shù)據(jù)按一預(yù)定的壓縮方案(MPEG4)進 行了壓縮和編碼。
下面的說明中，顯示終端100和視頻通信終端600按照SIP定義的過程通過SIP服務(wù) 器500建立通信。但通信建立用的過程無需限于SIP定義的情形。舉例來說，這種運行也 可以與為另一通信設(shè)備/服務(wù)發(fā)現(xiàn)過程(discovery procedure)的UPNP (Universal Plug and play:通用即插即用)相兼容。作為替代，足以隨各應(yīng)用而有選擇地使用上述通信過 程。
如上所述，顯示終端100可通過網(wǎng)絡(luò)800與PC服務(wù)器300、內(nèi)容服務(wù)器400、以及視 頻通信終端600連接，而且通過與服務(wù)器和通信終端的通信來使用諸如對PC服務(wù)器300上 運行的應(yīng)用程序的使用、對內(nèi)容服務(wù)器400中存儲的內(nèi)容數(shù)據(jù)的觀看/收聽、以及與視頻 通信終端600進行的視頻通信這類服務(wù)。
下面的說明中，顯示終端100可在其本身和PC服務(wù)器300、內(nèi)容服務(wù)器400、以及視 頻通信終端600之間使用的服務(wù)分別稱為"PC運行"、"視頻觀看/收聽"以及"視頻通信"。
如上所述，顯示終端100和PC服務(wù)器300、內(nèi)容服務(wù)器400、以及視頻通信終端設(shè)備
600之間發(fā)送/接收的圖像數(shù)據(jù)分別按JPEG、 MPEG4、以及MPEG2經(jīng)過壓縮。上述壓縮方案 其中每一種是DCT(Discrete Cosine transform:離散余弦變換)之后執(zhí)行量化處理的壓縮 方案,該DCT為將二維圖像數(shù)據(jù)變換為空間頻域中數(shù)據(jù)的正交變換。這樣便能夠在對經(jīng)過 上述方案壓縮的圖像數(shù)據(jù)的解碼過程中不論對圖像數(shù)據(jù)的壓縮方案如何總用相同的處理 電路來執(zhí)行需要運算資源和較大電路規(guī)模的反向量化處理和反向DCT處理。通過這種方式， 各自服務(wù)中所要發(fā)送/接收的數(shù)據(jù)的壓縮方案均統(tǒng)一為執(zhí)行DCT及量化處理的方案，用于 解碼的反向量化處理和反向DCT處理通過一單個處理電路來實施。這樣可減小用于解碼所
需的電路規(guī)模，從而實現(xiàn)顯示終端ioo尺寸的減小。
下面參照圖1說明一實施例的顯示終端100的配置。
該顯示終端100包括 一顯示圖像數(shù)據(jù)的顯示單元101; —為通信接口用于靠無線通 信發(fā)送/接收數(shù)據(jù)的通信單元102; —用于通過通信單元'102建立顯示終端100和另一通 信終端兩者間通信的信令單元103; —通過對另一通信裝置經(jīng)過通信單元102所發(fā)送的圖 像數(shù)據(jù)進行解碼生成顯示單元101上所要顯示的顯示圖像數(shù)據(jù)的媒體處理單元104;以及 按照通信單元102接收到的圖像數(shù)據(jù)的壓縮方案來切換媒體處理單元104中的解碼方案的 媒體控制單元105。
而且顯示終端100包括 一用于接收用戶的音頻輸入、筆輸入等并且通過通信終端102 輸出另一通信終端所發(fā)送的音頻數(shù)據(jù)的用戶界面單元106。
需要注意的是，媒體控制單元105接收用戶界面單元106輸入的諸如音頻數(shù)據(jù)或圖像 數(shù)據(jù)這類媒體數(shù)據(jù)以及通信單元102所接收的諸如音頻數(shù)據(jù)或圖像數(shù)據(jù)這類媒體數(shù)據(jù)。媒 體控制單元105對媒體數(shù)據(jù)進行分析，并且將所生成的數(shù)據(jù)送至一合適的功能塊(例如媒 體處理單元104、數(shù)字轉(zhuǎn)換器106a、 一揚聲器106b、 一麥克風106c、或者一攝像機106d)。 舉例來說，媒體控制器105將麥克風106c或攝像機106d所得到的數(shù)據(jù)形成數(shù)據(jù)包，并且 將每一數(shù)據(jù)包通過通信單元102發(fā)送給網(wǎng)絡(luò)800上的另一通信終端和一服務(wù)器裝置。 一旦 通過通信單元102從另一通信終端或者一服務(wù)器裝置接收到媒體數(shù)據(jù)，媒體控制單元105 便對媒體數(shù)據(jù)進行分析，并且將音頻數(shù)據(jù)送至揚聲器106b，將經(jīng)過壓縮的圖像數(shù)據(jù)送至媒 體處理單元104。
媒體處理單元104通過按照圖像數(shù)據(jù)的壓縮方案對媒體控制單元105所發(fā)送的經(jīng)過壓 縮的圖像數(shù)據(jù)進行解碼來生成顯示圖像數(shù)據(jù)。與時同時，在媒體控制單元105的控制下， 媒體處理單元104中的解碼方案按照圖像數(shù)據(jù)的壓縮方案經(jīng)過切換。稍后將具體說明媒體 控制單元105和媒體處理單元104的運行對解碼方案進行的切換。媒體處理單元104所生
成的顯示圖像數(shù)據(jù)送至顯示單元101顯示。
圖3示出本實施例的顯示終端100的外觀。顯示單元IOI包括一液晶監(jiān)視器lll等。 用戶可以通過觀看/收聽液晶監(jiān)視器111上所顯示的顯示圖像來觀看/收聽網(wǎng)絡(luò)上的另一服 務(wù)器裝置所發(fā)送的內(nèi)容數(shù)據(jù)。顯示終端100包括一用于接收用戶的筆輸入的筆輸入設(shè)備 112。當顯示終端100與PC服務(wù)器300分享一窗口時主要使用該筆輸入設(shè)備112。數(shù)字轉(zhuǎn) 換器106a將筆輸入設(shè)備112所輸入的數(shù)據(jù)數(shù)字化，媒體控制單元115將數(shù)據(jù)形成數(shù)據(jù)包。 接著將所生成的數(shù)據(jù)通過通信單元102發(fā)送給網(wǎng)絡(luò)800上的PC服務(wù)器。
下面將主要參照媒體處理單元104和媒體控制單元105的運行具體說明顯示終端100 分別與PC服務(wù)器300、內(nèi)容服務(wù)器400、以及視頻通信終端600通信的情況下顯示終端100 的運行。
下面先說明顯示終端100與內(nèi)容服務(wù)器400通信的情形。具體來說，該情形下顯示終 端100的用戶接收內(nèi)容服務(wù)器400中所存儲的內(nèi)容數(shù)據(jù)并且觀看/收聽該數(shù)據(jù)(視頻觀看/ 收聽)。
顯示終端100的信令單元103通過通信單元102發(fā)現(xiàn)內(nèi)容服務(wù)器400,并且取得內(nèi)容服 務(wù)器400中所存儲的視頻內(nèi)容的列表。顯示單元101將所取得的視頻內(nèi)容的列表呈現(xiàn)給用 戶。用戶(通過使用諸如筆輸入設(shè)備這類設(shè)備)從所呈現(xiàn)的視頻內(nèi)容的列表當中選擇其想 要觀看/收聽的內(nèi)容。信令單元103通過通信單元102將所選定的視頻內(nèi)容信息發(fā)送給內(nèi) 容服務(wù)器400。信令單元103通知媒體控制單元105 —表明開始觀看/收聽內(nèi)容的短信息。 通過該過程，用戶可以觀看/收聽所選定的內(nèi)容數(shù)據(jù)。
假設(shè)發(fā)現(xiàn)內(nèi)容服務(wù)器400、獲取內(nèi)容數(shù)據(jù)的列表、以及確定所要觀看/收聽的內(nèi)容的上 述過程與 UPnP-AV 信令所定義的過程相兼容(參照例如 http:〃www. upnp. org/standardizeddcps/mediaserver, asp所描述的說明)。圖4是示出 該信令單元103按照UPnP-AV信令過程與內(nèi)容服務(wù)器400通信，并且用戶觀看/收聽內(nèi)容 數(shù)據(jù)的情形通信順序的示意圖。
如圖5所示，有一從信令單元103送至媒體控制單元105的表明開始觀看/收聽內(nèi)容的 短信息，包含所要使用的服務(wù)的類型("視頻觀看/收聽")、媒體流的類型("MPEG2-PS(程 序流)")、以及內(nèi)容的URL (Uniform Resource Identifier (統(tǒng)一資源識別符) "http:〃192. 168. 0.200:20080/RD—00010001—VRO.csi")。
假定該情形中 "192. 168.0.200"是內(nèi)容服務(wù)器400的IP地址。
一旦接收到信令單元103的短信息通知，媒體控制單元105按照所接收到的短信息
中包含的媒體流的類型使媒體處理單元104中的解碼方案初始化，從而與經(jīng)過MPEG2壓縮 的圖像數(shù)據(jù)相對應(yīng)。稍后說明媒體處理單元104的初始化動作。媒體控制單元105也通過 使用TCP經(jīng)過通信單元102與內(nèi)容服務(wù)器400建立通信，并且將一請求觀看/收聽內(nèi)容數(shù) 據(jù)的短信息發(fā)送給內(nèi)容服務(wù)器400。如上所述，在顯示終端100和內(nèi)容服務(wù)器400兩者間 傳送內(nèi)容數(shù)據(jù)的過程與DLNA標準定義的數(shù)據(jù)流傳送過程相兼容，通過使用圖6中所示的 "HTTP-GET"等來發(fā)出一針對內(nèi)容數(shù)據(jù)的請求。
一旦從顯示終端100接收到請求觀看/收聽內(nèi)容數(shù)據(jù)的短信息，內(nèi)容服務(wù)器400便按 MPEG2壓縮所存儲的內(nèi)容數(shù)據(jù)其中針對其接收到了觀看/收聽請求這種內(nèi)容數(shù)據(jù)，并且將 經(jīng)過壓縮的數(shù)據(jù)發(fā)送給顯示終端100。圖7示出此時內(nèi)容服務(wù)器400所發(fā)送的數(shù)據(jù)的結(jié)構(gòu)。
媒體控制單元105對內(nèi)容服務(wù)器400所發(fā)送的數(shù)據(jù)進行分析，并且提取按MPEG2壓縮 的圖像數(shù)據(jù)和音頻數(shù)據(jù)。需要注意的是，通過將MPEG2-PS數(shù)據(jù)分成PES(Packed elementary streams:打包的單元流)并且檢査每一 PES的數(shù)據(jù)流的ID來判斷經(jīng)過壓縮的數(shù)據(jù)是圖像 數(shù)據(jù)還是音頻數(shù)據(jù)。媒體控制單元105將所提取的音頻數(shù)據(jù)送至揚聲器106b。此時，該音 頻數(shù)據(jù)經(jīng)過壓縮的話，媒體控制單元105便進行與壓縮方案相對應(yīng)的解碼處理，并且將所 生成的數(shù)據(jù)送至揚聲器106b。而媒體控制單元105則將所提取的圖像數(shù)據(jù)送至媒體處理單 元104。
因為媒體處理單元104已經(jīng)由媒體控制單元105初始化以便對按MPEG2壓縮的圖像數(shù) 據(jù)進行解碼，因而媒體處理單元104可以通過對所發(fā)送的圖像數(shù)據(jù)進行反向量化處理、反 向DCT處理或類似的處理來生成顯示圖像數(shù)據(jù)。按這種方式生成的顯示圖像數(shù)據(jù)送至顯示 單元101并呈現(xiàn)給用戶。
以上所述是用戶要觀看/收聽內(nèi)容服務(wù)器400中所存儲的內(nèi)容數(shù)據(jù)的情況下顯示終端 100的動作。
接下來說明顯示終端100與視頻通信終端600通信的情形。具體來說，該情形中顯示 終端100的用戶通過SIP服務(wù)器500與視頻通信終端600建立通信并進行"視頻通信"。 圖8示出視頻通信情形中顯示終端100和視頻通信終端600兩者間的通信順序。
顯示終端100的信令單元103在SIP服務(wù)器500中登錄顯示終端100，并且通過SIP服 務(wù)器500對視頻通信終端600發(fā)出一連接請求。顯示終端100在SIP服務(wù)器500中進行登 錄，并且按照SIP標準對視頻通信終端600發(fā)出一連接請求。當基于SIP的信令完成并且 顯示終端100和視頻通信終端600兩者間的通信建立時，顯示終端100的信令單元103對 媒體控制單元105通知一表明視頻通信開始的短信息。從信令單元103送至媒體控制單元
105的表明視頻通信開始的短信息，如圖9所示包含所要使用的服務(wù)的類型("視頻通 信")、媒體流的類型("RTP/MPEG4")、以及作為一連接目的地的視頻通信終端的IP地 址("192.168.0, 100")。
一旦從信令單元103接收到短信息通知，媒體控制單元105便使媒體處理單元104的 解碼方案初始化，以便按照接收到的短信息中所包含的媒體流的類型與按MPEG4壓縮的圖 像數(shù)據(jù)相對應(yīng)。稍后將說明媒體處理單元104的初始化動作。
媒體控制單元105通過通信單元102相對于視頻通信終端600發(fā)送和接收音頻數(shù)據(jù)和 圖像數(shù)據(jù)(視頻數(shù)據(jù))。假設(shè)這種情況下音頻數(shù)據(jù)和圖像數(shù)據(jù)是按照RTP (實時傳輸協(xié)議) 分開發(fā)送或接收的。需要注意的是，RTP是一用于聲音和畫面的數(shù)據(jù)流回放的傳輸協(xié)議。 基于RTP的數(shù)據(jù)發(fā)送或者接收定義于RFC3016中。 一旦通過通信單元102接收到視頻通信 終端600所發(fā)送的數(shù)據(jù)，媒體控制單元105便從所接收到的數(shù)據(jù)當中提取按MPEG4壓縮的 圖像數(shù)據(jù)。
圖10是包含按MPEG4壓縮的圖像數(shù)據(jù)的視頻通信終端600所發(fā)送的數(shù)據(jù)的結(jié)構(gòu)的示意 圖。媒體控制單元105通過安排其中各RTP標頭中的"時間標記(Time stamp)"數(shù)據(jù)其序 列號順序相同的數(shù)據(jù)中所包含的RTP的有效負載來構(gòu)成一個視頻幀的數(shù)據(jù)(經(jīng)過壓縮的圖 像數(shù)據(jù))。媒體控制器105接著將所構(gòu)成的數(shù)據(jù)送至媒體處理單元104。
因為媒體處理單元104已經(jīng)由媒體控制單元105初始化以便對按MPEG4壓縮的圖像數(shù) 據(jù)進行解碼，因而媒體處理單元104可以通過對所發(fā)送的圖像數(shù)據(jù)進行反向量化處理、反 向DCT處理或類似的處理來生成顯示圖像數(shù)據(jù)。所生成的顯示圖像數(shù)據(jù)送至顯示單元101 并呈現(xiàn)給用戶。
媒體處理單元105將視頻通信終端600所發(fā)送的數(shù)據(jù)中所包含的音頻數(shù)據(jù)送至揚聲器 106b。同時，音頻數(shù)據(jù)是經(jīng)過壓縮的話，媒體控制單元105 —旦進行了與壓縮方案相對 應(yīng)的解碼處理便將數(shù)據(jù)送至揚聲器106b.
視頻通信中，顯示終端100接收視頻通信終端600所發(fā)送的圖像數(shù)據(jù)和音頻數(shù)據(jù)并呈 現(xiàn)給用戶，同時將麥克風106c和攝像機106d輸入的音頻數(shù)據(jù)和圖像數(shù)據(jù)(視頻數(shù)據(jù))發(fā) 送給視頻通信終端600。媒體控制單元105將上述數(shù)據(jù)打包為一RTP數(shù)據(jù)包，并通過通信 單元102將該數(shù)據(jù)包發(fā)送給視頻通信終端600。此時，攝像機106d或媒體控制單元105 可按MPEG4壓縮圖像數(shù)據(jù)。
以上所述是與視頻通信終端600進行視頻通信過程中顯示終端100的動作。
下面說明顯示終端100與PC服務(wù)器300進行通信的情形。具體來說，該情形中顯示終
端100的用戶通過分享操作系統(tǒng)所生成的桌面窗口或者PC服務(wù)器300上運行的應(yīng)用程序 來進行"PC運作"。
圖11示出PC運作中顯示終端100和PC服務(wù)器300兩者間的通信順序。
顯示終端100的信令單元103通過與UPnP遠程用戶UI (用戶界面)相兼容的信令過 程來發(fā)現(xiàn)PC服務(wù)器300，并且掌握該服務(wù)器的功能。需要注意的是，與UPnP遠程UI相兼 容的信令過程在例如http:〃www. up叩.org/standardizeddcps/remoteui. asp等記載的技 術(shù)規(guī)范中有詳細的說明。
當發(fā)現(xiàn)顯示終端100和PC服務(wù)器300時，信令單元103便通知媒體控制單元105 —表 明PC運作開始的短信息。
從信令單元103送至媒體控制單元105的表明PC運行開始的短信息，包含要使用的服 務(wù)的類型("PC運作")、媒體流的類型("JPEG")、以及作為連接目的地的PC服務(wù)器300 的IP地址("192.168.0. l")。
一從信令單元103接收到短信息通知，媒體控制單元105便按照接收到的短信息中所 包含的媒體流的類型使媒體處理單元104的解碼方案初始化，以便與按JPEG壓縮的圖像 數(shù)據(jù)相對應(yīng)。稍后將說明媒體處理單元104的初始化動作。
媒體控制單元105通過通信單元102與PC服務(wù)器300連接，并且開始與PC服務(wù)器300 分享一窗口。
一旦按JPEG壓縮數(shù)據(jù)，PC服務(wù)器300便將運行一應(yīng)用程序所生成的桌面窗口作為應(yīng) 用窗口數(shù)據(jù)持續(xù)發(fā)送給顯示終端IOO。需要注意的是，為了減小要發(fā)送數(shù)據(jù)的大小，PC服 務(wù)器300只發(fā)送相對于己經(jīng)發(fā)送的應(yīng)用窗口數(shù)據(jù)的更新部分的數(shù)據(jù)，此時，需要發(fā)送的數(shù) 據(jù)包含該更新部分的坐標位置信息。這種情況下，坐標位置信息是指圖像數(shù)據(jù)其起始點的 坐標(x，y)和(x，y)軸方向上圖像大小的信息。
圖13是示出包含坐標位置信息和按JPEG壓縮的應(yīng)用窗口數(shù)據(jù)、并且將由PC服務(wù)器 300發(fā)送的數(shù)據(jù)其結(jié)構(gòu)的示意圖。 一旦通過通信單元102接收到數(shù)據(jù)，媒體控制單元105 便從接收到的數(shù)據(jù)當中提取坐標位置信息和按JPEG壓縮的應(yīng)用窗口數(shù)據(jù)。媒體控制單元 105將所提取的應(yīng)用窗口數(shù)據(jù)和坐標位置信息送至媒體處理單元104。
因為媒體處理單元104已經(jīng)由媒體控制單元105初始化以便對按MPEG壓縮的圖像數(shù)據(jù) 進行解碼，因而媒體處理單元104通過對所發(fā)送的應(yīng)用窗口數(shù)據(jù)進行反向量化處理和反向 DCT處理來進行解碼處理。媒體處理單元104通過使用坐標位置信息來規(guī)定己經(jīng)生成的顯 示圖像數(shù)據(jù)其中的更新部分，并且用經(jīng)過解碼的應(yīng)用窗口數(shù)據(jù)替代更新的部分，由此生成
新的顯示圖像數(shù)據(jù)。將所生成的顯示圖像數(shù)據(jù)送至顯示單元101并且呈現(xiàn)給用戶。用戶可
通過使用所顯示的圖像數(shù)據(jù)來獲得PC服務(wù)器300上運行的應(yīng)用程序的處理結(jié)果。
PC運行中，例如數(shù)字轉(zhuǎn)換器106a使得用戶用筆輸入設(shè)備112等輸入的數(shù)據(jù)數(shù)字化，并 且媒體控制單元105 —旦將數(shù)據(jù)打包便通過通信單元102將數(shù)據(jù)發(fā)送給PC服務(wù)器300。舉 例來說，用戶通過使指示器(pointer)移動來進行輸入動作的話，指示器的狀態(tài)或位置便 經(jīng)過數(shù)字轉(zhuǎn)換器106a的數(shù)字化處理，所生成的數(shù)據(jù)發(fā)送給PC服務(wù)器300。 PC服務(wù)器300 根據(jù)所發(fā)送的數(shù)據(jù)更新該指示器的位置，生成新的桌面窗口數(shù)據(jù)，并將其發(fā)送給顯示終端 100。
以上所述是顯示終端100與PC服務(wù)器300分享一應(yīng)用窗口并進行PC運作的情況下顯 示終端IOO的動作。
圖14是示出進行上述"PC運作"、"視頻觀看/收聽"、以及"視頻通信"過程中媒體 控制單元105工作的流程圖。 一旦從信令單元103接收一短信息通知(步驟S101)，媒體控 制單元105對短信息進行分析，并確定所要使用的服務(wù)("PC運作"、"視頻觀看/收聽"、 或"視頻通信")和連接目的地(步驟S102)。媒體控制單元105根據(jù)短信息中所包含的媒 體流的類型(MPEG2、 MPEG4、或者JPEG)對媒體處理單元104進行始初化(步驟S103a至 步驟S103c)。媒體控制單元105與連接目的地建立通信(步驟S104)，從而發(fā)送/接收數(shù) 據(jù)(步驟S105a和步驟S105b以及步驟S106a至步驟S106d)。繼續(xù)數(shù)據(jù)發(fā)送/接收直到服務(wù) 因斷開連接的判定(步驟S107)和與連接目的地的通信斷開連接處理(步驟S108)的終止為 止。
稍后將參照圖15說明媒體處理單元104中的解碼處理。 一旦接收到經(jīng)過壓縮的圖像數(shù) 據(jù)，媒體處理單元104便對該經(jīng)過壓縮的圖像數(shù)據(jù)進行霍夫曼解碼(Huffman decoding)、 反向量化處理、DC分量校正、反向DCT、以及YUV—RGB變換，并用作幀緩沖器來輸出顯 示圖像數(shù)據(jù)。顯示終端100分別與PC服務(wù)器300、內(nèi)容服務(wù)器400、以及視頻通信終端600 間所要發(fā)送/接收的圖像數(shù)據(jù)的每一壓縮方案是DCT之后執(zhí)行量化處理的壓縮方案，該DCT 為將二維圖像數(shù)據(jù)變換為空間頻域中數(shù)據(jù)的正交變換。這樣便能夠在對圖像數(shù)據(jù)的解碼過 程中不論用戶所使用的服務(wù)如何總用單個處理電路來實現(xiàn)反向的DCT處理和反向量化的處 理。
首先，由媒體控制單元105進行初始化時，媒體處理單元104從媒體控制單元接收一 DC分量校正值和YUV—RGB變換計算所用的參數(shù)系數(shù)。具體來說，媒體處理單元104分別 就MPEG2、 MPEG4、以及JPEG接收并使用如同圖16所示情形的參數(shù)系數(shù)。這種情況下，DC
分量校正值是一進行反向量化處理之后要與數(shù)據(jù)值相加的校正值。需要注意的是，媒體處 理單元104可將例如通過使圖16中所示的各數(shù)值左移若干位所獲得的數(shù)值用作參數(shù)系數(shù)， 以便將它們變換為整數(shù)而非圖16中所示的各數(shù)值。通過YUV—RGB變換所獲得的圖像數(shù)據(jù) 與經(jīng)過壓縮的圖像數(shù)據(jù)一起輸入至媒體處理單元104。媒體處理單元104接著根據(jù)圖像數(shù) 據(jù)的顯示坐標位置信息通過如圖17所示按塊配置圖像數(shù)據(jù)來生成顯示圖像數(shù)據(jù)。 以上所述是媒體處理單元104中生成顯示圖像數(shù)據(jù)的動作。
綜上所述，根據(jù)本實施例的顯示終端100允許用戶通過相對于PC服務(wù)器300、內(nèi)容服 務(wù)器400、以及視頻通信終端600發(fā)送/接收經(jīng)過壓縮的圖像數(shù)據(jù)來使用諸如"PC運作"、 "視頻觀看/收聽"、以及"視頻通信"這類種種服務(wù)。要相對于上述服務(wù)器和通信終端 發(fā)送/接收的每一圖像數(shù)據(jù)通過使用一壓縮方案壓縮，該壓縮方案在進行將二維圖像數(shù)據(jù) 變換為空間頻域中數(shù)據(jù)的正交變換即DCT變換之后執(zhí)行量化處理。這樣便能夠用一單個處 理電路在對利用上述形式壓縮的圖像數(shù)據(jù)進行解碼的過程中執(zhí)行反向量化處理和反向DCT 處理。因此，顯示終端100本身的尺寸和重量都可以明顯減小。
需要注意的是，顯示終端100也可以通過將例如一通用計算機裝置用作基本的硬件來 實現(xiàn)。也就是說，信令單元103、媒體處理單元104、以及媒體控制單元105也可以通過 將一處理器結(jié)合于上述計算機裝置中執(zhí)行程序來實現(xiàn)。這種情況下，通過將上述程序預(yù)先 安裝于計算機裝置中，或者通過將程序存儲于諸如CD-ROM這類存儲介質(zhì)中或是經(jīng)過網(wǎng)絡(luò) 來發(fā)行該程序、而根據(jù)需要將它們安裝于計算機裝置中，便足以實現(xiàn)顯示終端100。
權(quán)利要求
1.一種通信裝置，用于對無線通信接收到的圖像數(shù)據(jù)進行解碼和顯示，其中包括顯示圖像數(shù)據(jù)的顯示單元；通信建立單元，配置為分別與發(fā)送通過執(zhí)行一應(yīng)用程序生成的應(yīng)用窗口數(shù)據(jù)的計算機、發(fā)送視頻通信用的視頻圖像數(shù)據(jù)的通信終端、以及發(fā)送包含活動圖像的內(nèi)容數(shù)據(jù)的內(nèi)容服務(wù)器建立無線通信；接收單元，配置為所述通信建立單元建立起無線通信之后分別從所述計算機、通信終端、以及內(nèi)容服務(wù)器接收應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)、以及內(nèi)容數(shù)據(jù)；生成單元，配置為根據(jù)與各數(shù)據(jù)對應(yīng)的壓縮方案對所接收到的所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)進行解碼，生成所述顯示單元所要顯示的顯示圖像數(shù)據(jù)；以及控制單元，配置為根據(jù)與所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)對應(yīng)的壓縮方案切換所述生成單元的解碼方案，其中，所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)分別采用壓縮方案經(jīng)過編碼，該壓縮方案包括將二維的圖像數(shù)據(jù)變換為空間頻域的圖像數(shù)據(jù)的正交變換處理和對經(jīng)過了該正交變換處理的圖像數(shù)據(jù)的量化處理，所述生成單元通過一單個處理電路實施用于對所述應(yīng)用窗口數(shù)據(jù)、所述視頻圖像數(shù)據(jù)、以及所述內(nèi)容數(shù)據(jù)進行解碼的反向正交變換處理和反向量化處理。
2. 如權(quán)利要求1所述的通信裝置，其特征在于，所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù) 以及內(nèi)容數(shù)據(jù)的壓縮方案分別是JPEG、 MPEG4以及MPEG2。
3. —種通信裝置的控制方法，該通信裝置對無線通信接收到的圖像數(shù)據(jù)進行解碼和 顯示，其中包括下列步驟分別與發(fā)送通過執(zhí)行一應(yīng)用程序生成的應(yīng)用窗口數(shù)據(jù)的計算機、發(fā)送視頻通信用的 視頻圖像數(shù)據(jù)的通信終端以及發(fā)送包含活動圖像的內(nèi)容數(shù)據(jù)的內(nèi)容服務(wù)器建立無線通信；建立起無線通信之后分別從所述計算機、通信終端以及內(nèi)容服務(wù)器接收應(yīng)用窗口數(shù) 據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)；與各數(shù)據(jù)的壓縮方案相對應(yīng)對所接收到的所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容 數(shù)據(jù)進行解碼； 從該經(jīng)過解碼的圖像數(shù)據(jù)生成顯示圖像數(shù)據(jù)；以及 顯示該生成的顯示圖像數(shù)據(jù)，其中，所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)分別采用壓縮方案經(jīng)過編碼， 該壓縮方案包括將二維的圖像數(shù)據(jù)變換為空間頻域的圖像數(shù)據(jù)的正交變換處理和對經(jīng)過 了該正交變換處理的圖像數(shù)據(jù)的量化處理，通過一單個處理電路實施用于對所述應(yīng)用窗口數(shù)據(jù)、視頻圖像數(shù)據(jù)以及內(nèi)容數(shù)據(jù)進行 解碼的反向正交變換處理和反向量化處理。
全文摘要
顯示終端的信令單元通過通信單元與內(nèi)容服務(wù)器、視頻通信終端、以及PC服務(wù)器建立通信，并且發(fā)送/接收MPEG2、MPEG4、以及JPEG壓縮的圖像數(shù)據(jù)。媒體控制單元根據(jù)所接收到的圖像數(shù)據(jù)切換用于在媒體處理單元中進行解碼的壓縮方案。媒體處理單元按照經(jīng)過切換的壓縮方案進行包括反向正交變換處理和反向量化處理的解碼處理。這時，有一單個處理電路進行反向正交變換處理和反向量化處理。
文檔編號H04Q7/32GK101184288SQ200710166608
公開日2008年5月21日 申請日期2007年10月24日 優(yōu)先權(quán)日2006年10月31日
發(fā)明者后藤真孝, 山口健作, 峰松美佳, 川添博史, 村井信哉, 田中信吾, 西林泰如 申請人:株式會社東芝