專利名稱：用于修改合成視頻信號布局的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于視頻會(huì)議系統(tǒng)的觸摸屏控制系統(tǒng)，并且特別涉及一種用于修改由視頻合成服務(wù)器26生成的合成視頻信號的布局的方法和設(shè)備。
背景技術(shù)：
常規(guī)的視頻會(huì)議系統(tǒng)包括在諸如WAN、LAN和電路交換網(wǎng)絡(luò)的各種網(wǎng)絡(luò)上和網(wǎng)絡(luò)之間傳送實(shí)時(shí)視頻、音頻和/或數(shù)據(jù)(往往稱為雙路視頻)流的多個(gè)端點(diǎn)。
位于不同場點(diǎn)的多個(gè)視頻會(huì)議系統(tǒng)最經(jīng)常地可以通過執(zhí)行例如交換或混合功能以使得視聽終端正確地相互通信的一個(gè)或多個(gè)MCU(多點(diǎn)控制單元)來參加同一會(huì)議。
MCU可以是用作中心網(wǎng)絡(luò)資源的獨(dú)立設(shè)備，或者它可以被集成在視頻會(huì)議系統(tǒng)的編解碼器中。MCU通過從各場點(diǎn)接收會(huì)議信號幀、處理所接收的信號并向適當(dāng)?shù)膱鳇c(diǎn)再發(fā)送經(jīng)處理的信號來將各場點(diǎn)鏈接在一起。
在連續(xù)出席會(huì)議中，來自兩個(gè)或更多個(gè)場點(diǎn)的視頻信號和/或數(shù)據(jù)信號被空間混合以形成由會(huì)議參會(huì)者觀看的合成視頻信號。這種合成視頻信號是組合的視頻信號，可以包括直播的視頻流、靜止圖像、菜單或來自會(huì)議中各參會(huì)者的其他可視圖像。就如何空間混合不同的視頻和/或數(shù)據(jù)信號，例如，合成圖像中的不同視頻和數(shù)據(jù)幀的尺寸和位置，存在無數(shù)種可能性。編解碼器和/或MCU通常具有存儲(chǔ)在MCU或視頻會(huì)議編解碼器202上的預(yù)配置的合成視頻信號模板的集合，為MCU或編解碼器所接收的一個(gè)或多個(gè)視頻和/或數(shù)據(jù)流在合成視頻信號中分配一個(gè)或多個(gè)區(qū)域。合成視頻信號的不同合成在以下稱為布局 (layout)ο
通常所有的會(huì)議出席者接收相同的布局，但是一些MCU允許出席者選擇他們自己的個(gè)人布局。會(huì)議建立者在會(huì)議開始前選擇布局。會(huì)議建立者可以在視頻會(huì)議期間改變該布局。
已知的視頻會(huì)議系統(tǒng)一般允許用戶通過兩種方式來選擇布局。一種方式是用視頻會(huì)議管理系統(tǒng)(VCMQ選擇布局。VCMS是配置成用來調(diào)度會(huì)議呼叫并管理/配置視頻會(huì)議設(shè)備的網(wǎng)絡(luò)設(shè)備。VCMS通常提供基于web的用戶界面，其中，用戶可以為計(jì)劃的會(huì)議或進(jìn)行中的會(huì)議選擇優(yōu)選的布局。另一種方式是使用諸如遙控器上的小鍵盤或鼠標(biāo)的標(biāo)準(zhǔn)輸入設(shè)備來選擇布局。后者典型的用于具有嵌入式MCU的視頻會(huì)議系統(tǒng)。然而，對于這兩種方法， 用戶都僅能選擇諸如連續(xù)出席(所有參會(huì)者出現(xiàn)在屏幕上)或語音交換(揚(yáng)聲器覆蓋整個(gè)屏幕)的一組預(yù)配置布局類型之一。圖1示出了一組典型的連續(xù)出席布局。此外，已知的在呼叫期間改變布局的方法要求用戶熟悉視頻會(huì)議系統(tǒng)的屏幕上的菜單，并經(jīng)常需要通過按遙控器上的按鈕來若干次重復(fù)經(jīng)過菜單，這使得很繁瑣并且分散注意力。
如今，技術(shù)裝備的用戶習(xí)慣于并要求系統(tǒng)易于使用，并以圖形環(huán)境的定制和設(shè)備間協(xié)作的方式提供靈活性。傳統(tǒng)的視頻會(huì)議系統(tǒng)不是很靈活。例如，不管用戶在啟動(dòng)連續(xù)出席和/或雙路視頻電話時(shí)所選擇的布局如何，合成圖像中的不同視頻和/或數(shù)據(jù)流的順序、位置和尺寸都不受用戶的控制。此外，傳統(tǒng)的視頻會(huì)議系統(tǒng)使用由頂遙控器設(shè)備上的小鍵盤控制的屏幕上的菜單系統(tǒng)來操作，導(dǎo)致有限的靈活性和繁瑣的用戶體驗(yàn)。 發(fā)明內(nèi)容
本發(fā)明的目的是提供一種消除上述缺陷的設(shè)備和方法。在獨(dú)立權(quán)利要求中限定的特征描述了該設(shè)備和方法的特性。
本發(fā)明公開了一種用于通過下述方法修改由視頻合成服務(wù)器沈生成的合成視頻信號的設(shè)備和方法在觸摸屏上提供所述合成視頻信號的圖形表示，使用所述觸摸屏修改所述圖形表示，以及作為響應(yīng)修改所述合成視頻信號以符合被修改的圖形表示。


根據(jù)以下對本發(fā)明的優(yōu)選實(shí)施例的更具體的描述，本發(fā)明的前述和其他目的、特征和優(yōu)點(diǎn)將更加明顯，如附圖中所示，相同的附圖標(biāo)記在所有不同的視圖中指代相同的部分。附圖不必按照比例，重點(diǎn)在于示出本發(fā)明的原理。其中
圖1是典型的連續(xù)出席布局(現(xiàn)有技術(shù))的示意性概覽；
圖2是本發(fā)明的觸摸屏控制系統(tǒng)的示意性概覽；
圖3是本發(fā)明的框圖4是本發(fā)明的一個(gè)示例性實(shí)施例的示意性概覽；
圖5是本發(fā)明的另一個(gè)示例性實(shí)施例的示意性概覽；
圖6是本發(fā)明的另一個(gè)示例性實(shí)施例的示意性概覽；
圖7是示出根據(jù)本發(fā)明的方法的流程圖，并且
圖8示出可以實(shí)現(xiàn)本發(fā)明的實(shí)施例的計(jì)算機(jī)系統(tǒng)。
具體實(shí)施方式
在以下內(nèi)容中，將通過描述各種實(shí)施例并參照附圖來論述本發(fā)明。然而，本領(lǐng)域技術(shù)人員可實(shí)現(xiàn)如所附獨(dú)立權(quán)利要求中所限定的本發(fā)明的范圍內(nèi)的其他應(yīng)用或變形。
本發(fā)明涉及用于修改合成視頻信號(例如，雙路視頻或連續(xù)出席視頻會(huì)議)的圖像布局的方法和設(shè)備。根據(jù)本發(fā)明的布局控制單元是最終用戶組件，其向用戶呈現(xiàn)當(dāng)前視頻合成的圖形表示，并讓用戶使用觸摸屏來操縱該合成。
首先參照圖2和3。具體參照圖2，本領(lǐng)域中已知的典型視頻會(huì)議系統(tǒng)由附圖標(biāo)記 20來一般地指示。系統(tǒng)20包括向編解碼器23提供視頻和音頻信號的攝像機(jī)21和麥克風(fēng) 22，所述編解碼器23向一個(gè)或多個(gè)監(jiān)視器M提供音視頻信號。還可向編解碼器23提供來自例如VCR、DVD播放器、攝像機(jī)、個(gè)人計(jì)算機(jī)等的外部多介質(zhì)源25的信號。如編解碼器23 和外部源25之間的雙箭頭所示，編解碼器23可以從外部源接收待顯示在監(jiān)視器M上的數(shù)據(jù)信號(例如，視頻、音頻、靜止圖像等)，和/或從外部源接收的信號可以被發(fā)送到經(jīng)由網(wǎng)絡(luò)30連接到視頻會(huì)議系統(tǒng)20的其他視頻會(huì)議系統(tǒng)(Tl-Tn)。
編解碼器23可以具有嵌入式多點(diǎn)控制單元(MCU)沈，多點(diǎn)控制單元(MCU) 26被配置為通過網(wǎng)絡(luò)30發(fā)送會(huì)議信號(音頻/視頻/數(shù)據(jù)流)到視頻會(huì)議系統(tǒng)(Tl-Tn) /從視頻會(huì)議系統(tǒng)(Tl-Tn)接收會(huì)議信號(音頻/視頻/數(shù)據(jù)流)?；蛘?，編解碼器23可以經(jīng)由網(wǎng)絡(luò)30連接到集中式MCU 31。MCU 26、31通過從各場點(diǎn)接收會(huì)議信號的幀、處理所接收的信號并向適當(dāng)?shù)膱鳇c(diǎn)重新發(fā)送經(jīng)處理的信號而將各場點(diǎn)鏈接在一起。
MCU至少包括視頻合成服務(wù)器沈，其被配置用來空間混合來自兩個(gè)或更多個(gè)視頻會(huì)議系統(tǒng)的視頻信號和/或數(shù)據(jù)信號以形成由參會(huì)者觀看的合成視頻信號(見圖1典型的合成視頻信號的配置，也被稱為畫旁畫)。視頻信號和數(shù)據(jù)信號也被稱為視頻會(huì)議流。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，視頻合成服務(wù)器沈具有API，允許用戶使用布局控制單元40根據(jù)個(gè)人偏好以可編程方式來改變視頻合成I。“API，，是“應(yīng)用編程接口，，的縮寫。 再參照圖2，布局控制單元40和視頻合成服務(wù)器沈之間的API通信是經(jīng)由視頻合成服務(wù)器沈中的端口觀和布局控制單元40中的端口 27的交換。這個(gè)經(jīng)由端口觀訪問的接口允許本發(fā)明與視頻合成服務(wù)器26進(jìn)行通信，以使根據(jù)本發(fā)明的布局控制單元40能夠向視頻合成服務(wù)器26提供期望的命令序列并從視頻合成服務(wù)器沈接收響應(yīng)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，視頻合成服務(wù)器沈是嵌入在視頻會(huì)議終端的編解碼器器23中的MCU的一部分，并且其中，視頻合成服務(wù)器沈在編解碼器中具有用于交換API 通信的端口 28。
參照圖3，本發(fā)明的組件通過附圖標(biāo)記40來一般地指示，并可以看出包括觸摸屏單元41、個(gè)人計(jì)算機(jī)43和圖形生成器45。圖形生成器45可以是計(jì)算機(jī)43的一部分，或者也可以是連接到計(jì)算機(jī)43的單獨(dú)計(jì)算設(shè)備。如圖所示，個(gè)人計(jì)算機(jī)43具有耦接到通信鏈路56的端口 47，該通信鏈路56耦接到視頻合成服務(wù)器沈的API通信端口觀。
觸摸屏41包括可以是變化尺寸的IXD屏幕或其他視頻顯示技術(shù)(CRT、0LED、等離子等)。除了顯示屏幕，觸摸屏41還包括以χ’和f坐標(biāo)矩陣檢測器來覆蓋顯示屏幕的硬件。當(dāng)物體向觸摸屏施加壓力(觸摸)時(shí)，觸摸屏向計(jì)算機(jī)43發(fā)送包括施加壓力的點(diǎn)的χ’ 和r坐標(biāo)的命令。
布局控制單元40使用前述的API與視頻合成服務(wù)器沈進(jìn)行通信。視頻合成服務(wù)器沈與布局控制單元之間的通信包括命令，該命令至少包括布局配置。布局配置描述了布局的合成。該布局配置至少標(biāo)識(shí)用于顯示視頻或數(shù)據(jù)流的區(qū)域(或幀)的尺寸和位置，以及視頻/數(shù)據(jù)源ID，該視頻/數(shù)據(jù)源ID標(biāo)識(shí)在給定區(qū)域(或幀)待顯示的流。
響應(yīng)于從視頻合成服務(wù)器沈接收布局配置，在個(gè)人計(jì)算機(jī)43控制下，圖形生成器45經(jīng)由端口 42向觸摸屏41提供由視頻合成服務(wù)器沈生成并輸出的當(dāng)前合成視頻信號 (布局)的圖形表示。圖形表示由圖形對象構(gòu)成，其中，對象表示由視頻合成單元輸出的合成視頻中的視頻流或數(shù)據(jù)流。圖形表示可以包括可視的邊界線以向用戶示出合成視頻信號的整個(gè)可用區(qū)域。或者，在圖形表示中邊界線可以是不可見的，但是如果用戶試圖拖拽或放置對象到不可見的邊界線之外，則該用戶得到報(bào)警(給出可視的提示)。合成視頻信號中的視頻和/或數(shù)據(jù)流以及圖形表示中的圖形對象按對應(yīng)的順序并按對應(yīng)的相對位置和尺寸來布置。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖形對象是示出該圖形對象所表示的視頻和/或數(shù)據(jù)流(視頻會(huì)議流)的內(nèi)容的圖像。所述圖像可以是一個(gè)或多個(gè)人的輪廓圖、計(jì)算機(jī)生成的圖像、照片、描述內(nèi)容(參會(huì)者姓名、視頻會(huì)議系統(tǒng)名稱、“演示稿”、“電影”等)的文本、來自提供視頻/數(shù)據(jù)流的視頻會(huì)議系統(tǒng)或計(jì)算機(jī)的屏幕快照，或以上兩個(gè)或更多個(gè)的組合。根據(jù)本發(fā)明的另一實(shí)施例，圖形對象是從視頻會(huì)議系統(tǒng)或外部源饋送的電影剪輯、動(dòng)畫或直播視頻。
當(dāng)用戶利用物體(例如，手指或觸筆)觸摸觸摸屏系統(tǒng)41時(shí)，與物體觸摸屏幕的位置相對應(yīng)的X和y位置坐標(biāo)經(jīng)由端口 53、傳導(dǎo)裝置55和計(jì)算機(jī)43上的端口 57被發(fā)送到計(jì)算機(jī)43和圖形生成器45。如果用戶觸摸屏幕上顯示圖形對象之一的區(qū)域內(nèi)的坐標(biāo)，則該用戶可以通過在觸摸屏上執(zhí)行特定的手勢來操縱對象。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，用戶可以通過拖放觸摸屏上的圖形表示中的對象來重新布置圖形對象的順序。當(dāng)圖形表示中的一個(gè)對象被拖放到另一個(gè)對象上時(shí)，兩個(gè)對象交換位置，如圖所示。
根據(jù)本發(fā)明的另一實(shí)施例，用戶可以通過在邊界線內(nèi)將對象拖放到任意位置來修改圖形對象的位置。邊界線表示由視頻合成服務(wù)器26生成的合成視頻信號中的整個(gè)可用區(qū)域。換言之，邊界線表示在顯示器M上顯示給用戶的圖像。
根據(jù)本發(fā)明的又一實(shí)施例，用戶可以修改圖形對象的尺寸?？梢酝ㄟ^施加由計(jì)算機(jī)43識(shí)別的手勢來進(jìn)行尺寸修改，例如通過在圖形對象上施加兩個(gè)或更多個(gè)手指的夾捏動(dòng)作同時(shí)連續(xù)地向觸摸屏施加壓力，如圖fe所示。根據(jù)又一實(shí)施例，當(dāng)用戶改變圖形對象的尺寸時(shí)，圖形生成器將自動(dòng)地適應(yīng)圖形表示中的另一圖形對象的尺寸以避免圖形對象的重疊，如圖5a4b所示。
根據(jù)本發(fā)明的又一實(shí)施例，用戶可以從圖形表示中去除對象來對其余的對象給予更多的空間?？梢酝ㄟ^將對象或?qū)ο蟮囊徊糠滞戏诺竭吔缇€或屏幕邊緣之外來執(zhí)行對象的去除，如圖6a_6c所示。被去除對象所表示的流可以仍在會(huì)議呼叫中(但將不顯示)，或者該圖形對象所表示的會(huì)議呼叫被置為掛起或者從呼叫中斷開。用戶可以根據(jù)喜好修改其余的對象，或者圖形生成器可以自動(dòng)地修改其余的對象使得最佳地適合在邊界線內(nèi)。
接下來，當(dāng)用戶已根據(jù)以上一個(gè)或多個(gè)實(shí)施例通過操縱一個(gè)或多個(gè)圖形對象來修改觸摸屏上的圖形表示時(shí)，計(jì)算機(jī)43經(jīng)由端口 47、通信鏈路56和視頻合成服務(wù)器沈的端口觀向視頻合成服務(wù)器26發(fā)送包括描述經(jīng)修改的圖形表示的布局配置的命令(信號)。 響應(yīng)于從計(jì)算機(jī)43接收的布局配置，視頻合成服務(wù)器沈根據(jù)布局配置修改合成視頻信號的合成，并因此與觸摸屏上經(jīng)修改的圖形表示一致。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，如果計(jì)算機(jī)43或圖形生成器45檢測到在圖形表示方面的修改(例如，在位置、尺寸方面的修改等)，布局配置被自動(dòng)地發(fā)送到視頻合成服務(wù)器 26。
根據(jù)本發(fā)明的另一實(shí)施例，僅當(dāng)有來自用戶的請求/確認(rèn)時(shí)，布局配置才被發(fā)送到視頻合成服務(wù)器26。這使得用戶在指示視頻合成服務(wù)器沈修改視頻合成之前重新設(shè)計(jì)并審查布局。這在圖形對象是從視頻會(huì)議系統(tǒng)或外部源25饋送的直播視頻的情況下尤其有用，其允許用戶用實(shí)際的視頻和/或數(shù)據(jù)流嘗試不同的布局，在接受或拒絕改變前給出真實(shí)的布局預(yù)覽。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，布局控制單元是專用的設(shè)備。該專用的設(shè)備可以是視頻會(huì)議系統(tǒng)的默認(rèn)部分，或者可以是單獨(dú)獲得的附加設(shè)備。
根據(jù)本發(fā)明的另一實(shí)施例，諸如個(gè)人數(shù)字助理、移動(dòng)電話、膝上計(jì)算機(jī)的便攜式計(jì)算設(shè)備，或具有觸摸屏接口和由視頻合成服務(wù)器26支持的通信接口(例如TCP/IP)的類似便攜式計(jì)算設(shè)備可以被用作布局控制單元?？梢栽谶@樣的便攜式計(jì)算設(shè)備上下載和/或安裝客戶端軟件(布局控制客戶端)使得該便攜式計(jì)算設(shè)備能夠作為根據(jù)本發(fā)明的布局控制單元。
在布局控制單元40中的計(jì)算機(jī)43除了處理器之外還可以包括一個(gè)或多個(gè)存儲(chǔ)介質(zhì)，在該一個(gè)或多個(gè)存儲(chǔ)介質(zhì)上可以存儲(chǔ)根據(jù)本發(fā)明的一個(gè)實(shí)施例的一個(gè)或多個(gè)計(jì)算機(jī)程序或軟件組件。例如，待部署的圖形生成器可以存儲(chǔ)在計(jì)算機(jī)43的存儲(chǔ)介質(zhì)上。同時(shí)，該存儲(chǔ)介質(zhì)可以存儲(chǔ)用于創(chuàng)建圖形生成器的圖形編程開發(fā)應(yīng)用，和可操作用于在便攜式計(jì)算設(shè)備上轉(zhuǎn)換和/或部署圖形生成器的軟件。該存儲(chǔ)介質(zhì)還可以存儲(chǔ)操作系統(tǒng)軟件，和用于操作計(jì)算機(jī)系統(tǒng)的其他軟件。
圖3類似于圖2，但是專注于如上解釋的本發(fā)明的組件。圖3中相同的附圖標(biāo)記指代圖2中相同的組件。本發(fā)明的系統(tǒng)40允許通過使用由個(gè)人計(jì)算機(jī)43控制的易于使用的觸摸屏44來控制視頻合成服務(wù)器沈，個(gè)人計(jì)算機(jī)43是確保邏輯操作的智能設(shè)備，可以通過顯示請求來給予用戶再一次機(jī)會(huì)以驗(yàn)證已做了正確的選擇，并防止錯(cuò)誤的操作。
更詳細(xì)地，計(jì)算機(jī)43能夠執(zhí)行用計(jì)算機(jī)編程語言所編寫的邏輯指令。計(jì)算機(jī)43經(jīng)由物理地安裝在計(jì)算機(jī)43中的PCI或其他適當(dāng)?shù)目偩€來控制視頻合成服務(wù)器沈的操作； 經(jīng)由圖3中示意性表示的通信鏈路56與視頻合成服務(wù)器沈通信。根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例，通過通信鏈路56使用TCP/IP來交換計(jì)算機(jī)43和視頻合成服務(wù)器沈之間的通信。通信鏈路56可以是有線或無線的鏈路，諸如PAN、CAN、MAN、LAN、WLAN、WAN等。視頻合成服務(wù)器26與計(jì)算機(jī)之間的通信是在計(jì)算機(jī)的端口 47與編解碼器/視頻合成服務(wù)器沈的端口觀之間往返的命令。應(yīng)當(dāng)理解，這些通信符合視頻合成服務(wù)器沈的制造商的應(yīng)用編程接口(API)。
還發(fā)生經(jīng)由通信鏈路使用觸摸屏41的通信，該通信鏈路在圖3中示出并由用于傳導(dǎo)裝置的附圖標(biāo)記陽和用于端口的附圖標(biāo)記53和57指示。來自圖形生成器45的圖像經(jīng)由端口 42、傳導(dǎo)裝置51和端口 44被傳輸?shù)讲@示在觸摸屏顯示器上。
參照圖7，視頻合成服務(wù)器沈與計(jì)算機(jī)43之間的所有通信遵循類似的過程。參照圖7，當(dāng)發(fā)生預(yù)定義的事件時(shí)，視頻合成服務(wù)器沈通過向計(jì)算機(jī)43發(fā)送命令/信號開始 200，該命令/信號至少包括定義由視頻合成服務(wù)器沈當(dāng)前使用的視頻合成的布局配置。所述預(yù)定義的事件可以包括當(dāng)開始視頻會(huì)議時(shí)、當(dāng)改變視頻合成時(shí)、當(dāng)在會(huì)議期間布局控制單元連接到視頻合成服務(wù)器沈時(shí)、在從布局控制單元請求時(shí)等。例如，用戶D使用如圖2 所示的視頻會(huì)議系統(tǒng)呼叫參會(huì)者A、參會(huì)者B和參會(huì)者C。視頻合成服務(wù)器沈生成如圖6a 所示的合成視頻信號。該視頻會(huì)議系統(tǒng)已連接到根據(jù)本發(fā)明的布局控制單元，并且當(dāng)會(huì)議開始時(shí)，視頻合成服務(wù)器26經(jīng)由布局配置向計(jì)算機(jī)43發(fā)送至少標(biāo)識(shí)每個(gè)視頻/數(shù)據(jù)流的位置、尺寸和ID的命令。
接下來在步驟210中，圖形生成器基于所接收的布局配置創(chuàng)建由視頻合成服務(wù)器 26使用的當(dāng)前視頻合成的圖形表示。如上所述，該圖形表示包括合成視頻信號中的每個(gè)視頻/數(shù)據(jù)流的圖形對象，其中圖形對象的相對位置和尺寸對應(yīng)于合成視頻信號中的視頻/ 數(shù)據(jù)流的相對位置和尺寸。圖形生成器經(jīng)由端口 42、通信鏈路51和觸摸屏41上的端口 44 向觸摸屏41發(fā)送圖形表示(圖像)。
接下來在步驟220中，用戶能夠通過觸摸觸摸屏41并在觸摸屏41上執(zhí)行手指手勢來修改圖形表示中的圖形對象，如上詳述。響應(yīng)于該觸摸，觸摸屏41經(jīng)由端口 53、通信鏈路55和端口 57向計(jì)算機(jī)43發(fā)送一個(gè)或多個(gè)被觸摸區(qū)域的χ和y坐標(biāo)。計(jì)算機(jī)43和圖形生成器處理來自觸摸屏的信息并更新圖形表示，并且因此，實(shí)況地更新在觸摸屏上顯示的圖像。
接下來在步驟230中，如果計(jì)算機(jī)和圖形生成器檢測到對象的一個(gè)或多個(gè)已被修改，則計(jì)算機(jī)43向視頻合成服務(wù)器沈發(fā)送命令，該命令至少包括標(biāo)識(shí)一個(gè)或多個(gè)經(jīng)修改的對象的新的位置和尺寸的布局配置。根據(jù)一個(gè)實(shí)施例，即使僅對一個(gè)對象進(jìn)行修改，包括定義了經(jīng)修改的圖形表示中的所有圖形對象的位置和尺寸的布局配置的命令也被發(fā)送到視頻合成服務(wù)器26。響應(yīng)于從計(jì)算機(jī)43接收的命令(布局配置)，視頻合成服務(wù)器沈修改合成視頻信號以對應(yīng)于由圖形生成器定義的新布局。
在最后步驟MO中，視頻合成服務(wù)器沈隨后經(jīng)由端口 28、通信鏈路56和端口 47 向計(jì)算機(jī)43發(fā)送動(dòng)作完成信號。一旦已經(jīng)以上述方式完成動(dòng)作，計(jì)算機(jī)43等待通過用戶的下一次觸摸屏幕41的指示。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述的布局配置是XML文檔，其定義了布局中的所有流的位置、尺寸和ID。根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性XML文檔可類似如下
<video><layout>〈frame item=l><PositionX>10000</PositionX>
<PositionY>10000</PositionY> <Width>4084</Width> <Height>4084</Height> <VideoSourceId>K/VideoSourceId> 〈frame item=2><PositionX>5000</PositionX> <PositionY>5000</PositionY> <Width>4084</Width> <Height>4084</Height><VideoSourceId>2</VideoSourceId>
來自兩個(gè)或更多個(gè)視頻會(huì)議系統(tǒng)的視頻信號和/或數(shù)據(jù)信號被空間混合以形成合成視頻信號。由視頻或數(shù)據(jù)信號所占據(jù)的區(qū)域被稱為幀。當(dāng)視頻合成服務(wù)器26混合視頻和/或數(shù)據(jù)信號時(shí)，它需要知曉每個(gè)幀的準(zhǔn)確位置和尺寸。因此，布局配置至少為每一幀定義了位置、尺寸以及標(biāo)識(shí)視頻/數(shù)據(jù)源的標(biāo)識(shí)符。參照以上示例性XML文檔，組成布局(合成視頻信號)的不同幀的〈position〉以左上坐標(biāo)給出?！碬idth〉和〈Height〉以像素值定義了幀的尺寸。VideoSourceld與當(dāng)前在幀中播放的視頻/數(shù)據(jù)源相關(guān)。根據(jù)全部布局的尺寸是10000X 10000像素(單位)的假設(shè)來計(jì)算所有坐標(biāo)和尺寸。這是因?yàn)椴季挚梢砸圆煌姆直媛穪沓尸F(xiàn)，例如，觸摸屏的分辨率可能是10MX768，而視頻合成服務(wù)器沈輸出的分辨率是1920X1080。通過在布局配置中使用固定的單位尺寸，布局控制單元可以在不必考慮視頻會(huì)議服務(wù)器26的分辨率的情況下根據(jù)布局配置度量來為圖形表示計(jì)算對象尺寸和位置，反之亦然。
圖8示出可以在其上實(shí)現(xiàn)本發(fā)明的實(shí)施例的計(jì)算機(jī)1201。計(jì)算機(jī)系統(tǒng)1201包括用于進(jìn)行信息通信的總線1202或其他通信機(jī)制，和與總線1202耦接的用于處理信息的處理器1203。計(jì)算機(jī)系統(tǒng)1201還包括主存儲(chǔ)器1204，諸如隨機(jī)存取存儲(chǔ)器(RAM)或其他動(dòng)態(tài)存儲(chǔ)設(shè)備(例如，動(dòng)態(tài)RAM(DRAM)、靜態(tài)RAM(SRAM)，和同步DRAM (SDRAM))，其耦接到總線 1202用于存儲(chǔ)待由處理器1203執(zhí)行的指令和信息。另外，主存儲(chǔ)器1204可以用于在由處理器1203執(zhí)行指令期間存儲(chǔ)臨時(shí)變量或其他中間信息。計(jì)算機(jī)系統(tǒng)1201還包括只讀存儲(chǔ)器(ROM) 1205或其他靜態(tài)存儲(chǔ)設(shè)備(例如，可編程ROM(PROM)、可擦除PROM(EPROM)和電可擦除PROM(EEPROM))，其耦接到總線1202以存儲(chǔ)用于處理器1203的指令和靜態(tài)信息。
計(jì)算機(jī)系統(tǒng)1201還包括耦接到總線1202的磁盤控制器1206以控制用于存儲(chǔ)信息和指令的一個(gè)或多個(gè)存儲(chǔ)設(shè)備，諸如硬磁盤1207和可移除的介質(zhì)驅(qū)動(dòng)器1208(例如，軟盤驅(qū)動(dòng)器、只讀光盤驅(qū)動(dòng)器、讀/寫光盤驅(qū)動(dòng)器、光盤點(diǎn)唱機(jī)、磁帶驅(qū)動(dòng)器和可移動(dòng)的磁光驅(qū)動(dòng)器)?？梢允褂眠m當(dāng)?shù)脑O(shè)備接口(例如，小型計(jì)算機(jī)系統(tǒng)接口(SCSI)、計(jì)算機(jī)系統(tǒng)接口 (IDE)、增強(qiáng)的IDE(E-IDE)、直接存儲(chǔ)器存取(DMA)或超級DMA)來將存儲(chǔ)設(shè)備添加到計(jì)算機(jī)系統(tǒng)1201。
計(jì)算機(jī)系統(tǒng)1201還可以包括專用邏輯設(shè)備(例如，專用集成電路(ASIC))或可配置的邏輯設(shè)備(例如，簡單可編程邏輯設(shè)備(SPLD)、復(fù)雜可編程邏輯設(shè)備(CPLD)和現(xiàn)場可編程門陣列(FPGA))。
計(jì)算機(jī)系統(tǒng)1201還可以包括耦接到總線1202的顯示控制器1209以控制諸如陰極射線管(CRT)或IXD顯示器的顯示器1210用于將信息顯示給計(jì)算機(jī)用戶。計(jì)算機(jī)系統(tǒng)包括用于與計(jì)算機(jī)用戶進(jìn)行交互并將信息提供給處理器1203的輸入設(shè)備，諸如鍵盤1211 和指點(diǎn)設(shè)備1212。指點(diǎn)設(shè)備1212例如可以是鼠標(biāo)、軌跡球和指示棒，用于將方向信息和命令選擇傳送到處理器1203和用于控制顯示器1210上的光標(biāo)移動(dòng)。另外，打印機(jī)可以提供由計(jì)算機(jī)系統(tǒng)1201存儲(chǔ)和/或生成的數(shù)據(jù)的打印列表。
響應(yīng)于處理器1203執(zhí)行包含在諸如主存儲(chǔ)器1204的存儲(chǔ)器中的一個(gè)或多個(gè)指令的一個(gè)或多個(gè)序列，計(jì)算機(jī)系統(tǒng)1201執(zhí)行本發(fā)明實(shí)施例中的部分或所有處理步驟?？梢詮闹T如硬盤1207或可移除介質(zhì)驅(qū)動(dòng)器1208的另一計(jì)算機(jī)可讀介質(zhì)將這樣的信息讀入到主存儲(chǔ)器1204。還可以采用多處理布置中的一個(gè)或多個(gè)處理器來執(zhí)行包含在主存儲(chǔ)器1204中的指令序列。在可選的實(shí)施例中，硬線電路可用于替代軟件指令或與軟件指令結(jié)合。因此， 實(shí)施例不限于任何特定的硬件電路和軟件的組合。
如上所述，計(jì)算機(jī)系統(tǒng)1201至少包括一個(gè)計(jì)算機(jī)可讀介質(zhì)或存儲(chǔ)器，其用于保存根據(jù)本發(fā)明的教導(dǎo)編程的指令并用于包含在此描述的數(shù)據(jù)結(jié)構(gòu)、表、記錄或其他數(shù)據(jù)。 計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例是光盤、硬盤、軟盤、磁帶、磁光盤、PR0M(EPR0M、EEPR0M、閃存 EPROM)、DRAM、SRAM、SDRAM或任意其他磁介質(zhì)、光盤(例如，CD-ROM)或任意其他光介質(zhì)、穿孔卡、紙帶或其他具有孔圖案的物理介質(zhì)。同時(shí)，指令可以存儲(chǔ)在載波(或信號)中，并從其讀取。
存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的任何一個(gè)或其組合上，本發(fā)明的實(shí)施例包括軟件， 其用于控制計(jì)算機(jī)系統(tǒng)1201、用于驅(qū)動(dòng)實(shí)現(xiàn)本發(fā)明的一個(gè)或多個(gè)設(shè)備，以及用于使計(jì)算機(jī)系統(tǒng)1201能夠與個(gè)人用戶進(jìn)行交互。這樣的軟件可以包括但不限于，設(shè)備驅(qū)動(dòng)程序、操作系統(tǒng)、開發(fā)工具和應(yīng)用軟件。
本發(fā)明的計(jì)算機(jī)代碼設(shè)備可以是任何可解釋或可執(zhí)行的代碼機(jī)制，包括但不限于腳本、可解釋的程序、動(dòng)態(tài)鏈接庫(DLL)、Java類或完整的可執(zhí)行程序。此外，為了更好地性能、可靠性和/或成本，本發(fā)明的部分處理可以是分布式的。
在此使用的術(shù)語“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”是指參與向處理器1203提供用于執(zhí)行的指令的任何物理介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以采取很多形式，包括但不限于非易失性介質(zhì)和易失性介質(zhì)。非易失性介質(zhì)包括例如光盤、磁盤、和磁光盤，諸如硬盤1207或可移動(dòng)介質(zhì)驅(qū)動(dòng)器1208。易失性介質(zhì)包括動(dòng)態(tài)存儲(chǔ)器，諸如主存儲(chǔ)器1204。
計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的各種形式可以涉及將一個(gè)或多個(gè)指令的一個(gè)或多個(gè)序列輸送到處理器1203以用于執(zhí)行。例如，指令初始可以承載在遠(yuǎn)程計(jì)算機(jī)的磁盤上。該遠(yuǎn)程計(jì)算機(jī)能夠?qū)⒂糜趯?shí)現(xiàn)本發(fā)明的全部或部分的指令遠(yuǎn)程地加載到動(dòng)態(tài)存儲(chǔ)器中，并使用調(diào)制解調(diào)器通過電話線發(fā)送指令。計(jì)算機(jī)系統(tǒng)1201的本地調(diào)制解調(diào)器可以接收電話線上的數(shù)據(jù)，并使用紅外發(fā)射機(jī)來將該數(shù)據(jù)轉(zhuǎn)換為紅外信號。耦接到總線1202的紅外檢測器能夠接收紅外信號中攜帶的數(shù)據(jù)，并將該數(shù)據(jù)置于總線1202上?？偩€1202將該數(shù)據(jù)輸送到主存儲(chǔ)器1204，處理器1203從該主存儲(chǔ)器1204中檢索并執(zhí)行指令。由主存儲(chǔ)器1204接收的指令可以可選地在由處理器1203執(zhí)行之前或之后存儲(chǔ)在存儲(chǔ)設(shè)備1207或1208上。
計(jì)算機(jī)系統(tǒng)1201還包括耦接到總線1202的通信接口 1213。通信接口 1213提供耦接到網(wǎng)絡(luò)鏈路1214的雙向數(shù)據(jù)通信，該網(wǎng)絡(luò)鏈路1214例如連接到局域網(wǎng)(LAN) 1215或另一通信網(wǎng)絡(luò)1216，諸如互聯(lián)網(wǎng)。例如，通信接口 1213可以是附接至任何分組交換LAN的網(wǎng)絡(luò)接口卡。作為另一示例，通信接口 1213可以是非對稱數(shù)字用戶線(ADSL)卡、綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDN)卡或調(diào)制解調(diào)器以提供到相應(yīng)類型的通信線路的數(shù)據(jù)通信連接。還可以實(shí)現(xiàn)無線鏈路。在任何這樣的實(shí)現(xiàn)中，通信接口 1213發(fā)送和接收攜帶表示各種類型的信息的數(shù)字?jǐn)?shù)據(jù)流的電信號、電磁信號或光信號。
網(wǎng)絡(luò)鏈路1214通常通過一個(gè)或多個(gè)網(wǎng)絡(luò)向其他數(shù)據(jù)設(shè)備提供數(shù)據(jù)通信。例如，網(wǎng)絡(luò)鏈路1214可以通過本地網(wǎng)絡(luò)1215(例如，LAN)或通過由服務(wù)提供商運(yùn)營的設(shè)備來提供到另一個(gè)計(jì)算機(jī)的連接，其中，該服務(wù)提供商通過通信網(wǎng)絡(luò)1216提供通信服務(wù)。本地網(wǎng)絡(luò) 1214和通信網(wǎng)絡(luò)1216使用攜帶數(shù)字?jǐn)?shù)據(jù)流的例如電信號、電磁信號或光信號，和相關(guān)的物理層(例如，CAT 5線纜、同軸線纜、光纖等)。可以用基帶信號或基于載波的信號來實(shí)現(xiàn)穿過各種網(wǎng)絡(luò)的信號和在網(wǎng)絡(luò)鏈路1214上并穿過通信接口 1213的信號，這些信號輸送去往和來自計(jì)算機(jī)系統(tǒng)1201的數(shù)字?jǐn)?shù)據(jù)?；鶐盘枌?shù)字?jǐn)?shù)據(jù)作為未調(diào)制的電脈沖來傳遞， 該電脈沖描述數(shù)字?jǐn)?shù)據(jù)比特的流，其中，術(shù)語“比特”被寬泛地理解為平常的符號，其中，每個(gè)符號傳遞至少一個(gè)或多個(gè)信息比特。數(shù)字?jǐn)?shù)據(jù)還可以用于調(diào)制載波，諸如以幅移鍵控信號、相移鍵控信號和/或頻移鍵控信號，這些信號通過傳導(dǎo)介質(zhì)傳播，或通過傳播介質(zhì)作為電磁波發(fā)射。因此，數(shù)字?jǐn)?shù)據(jù)可以通過“有線”通信信道作為未調(diào)制的基帶來發(fā)送，和/或通過調(diào)制載波在不同于基帶的預(yù)定頻帶內(nèi)發(fā)送。計(jì)算機(jī)系統(tǒng)1201能夠通過一個(gè)或多個(gè)網(wǎng)絡(luò)1215和1216、網(wǎng)絡(luò)鏈路1214和通信接口 1213來發(fā)送和接收數(shù)據(jù)，包括程序代碼。此外，網(wǎng)絡(luò)鏈路1214可以通過LAN 1215提供到諸如個(gè)人數(shù)字助理(PDA)、膝上計(jì)算機(jī)或蜂窩電話的移動(dòng)設(shè)備1217的連接。
根據(jù)上述教導(dǎo)可以對本發(fā)明進(jìn)行許多修改和變化。因此，將理解的是，除了如在此具體描述的之外，還可以在權(quán)利要求的覆蓋范圍內(nèi)實(shí)施本發(fā)明。
權(quán)利要求
1.一種用于修改由視頻合成服務(wù)器06)生成的合成視頻信號的方法，所述合成視頻信號是兩個(gè)或更多個(gè)視頻會(huì)議流的空間混合，該方法的特征在于在觸摸屏上提供所述合成視頻信號的圖形表示，使用所述觸摸屏修改所述圖形表示；修改所述合成視頻信號以符合被修改的圖形表示。
2.如權(quán)利要求1所述的方法，其中，所述圖形表示包括兩個(gè)或更多個(gè)圖形對象，其中每個(gè)圖形對象表示所述視頻會(huì)議流之一，并且其中，所述兩個(gè)或更多個(gè)視頻會(huì)議流和所述兩個(gè)或更多個(gè)圖形對象按對應(yīng)的順序和對應(yīng)的相對位置和尺寸來布置，并且其中，當(dāng)根據(jù)所述觸摸屏上的所述圖形對象的順序和/或位置和/或尺寸來空間混合所述視頻會(huì)議流時(shí)，所述合成視頻信號符合所述被修改的圖形表示。
3.如權(quán)利要求2所述的方法，其中，修改所述圖形表示的步驟包括修改所述圖形對象中的一個(gè)或多個(gè)的順序和/或位置和/或尺寸的步驟。
4.如權(quán)利要求1或2所述的方法，其中，在觸摸屏上提供所述合成視頻信號的圖形表示的步驟還包括以下步驟-從所述視頻合成服務(wù)器06)接收描述當(dāng)前生成的合成視頻信號的布局配置，-基于所述布局配置生成圖形表示。
5.如權(quán)利要求1或2所述的方法，其中，修改所述合成視頻信號的步驟還包括以下步驟-基于所述觸摸屏上的所述圖形對象的順序和/或位置和/或尺寸生成布局配置，-向所述視頻合成服務(wù)器06)發(fā)送命令，所述命令指示所述視頻合成服務(wù)器06)根據(jù)所述布局配置修改所述合成視頻信號。
6.如權(quán)利要求4和5所述的方法，其中，使用應(yīng)用編程接口(API)信號通過TCP/IP連接來執(zhí)行所述布局配置的發(fā)送和接收。
7.如權(quán)利要求2所述的方法，其中，修改所述圖形表示的步驟包括去除所述圖形對象中的一個(gè)或多個(gè)或者添加圖形對象的步驟。
8.如權(quán)利要求6所述的方法，其中，當(dāng)從所述圖形表示中去除表示視頻會(huì)議流的圖形對象時(shí)，該視頻會(huì)議流被置為掛起。
9.根據(jù)前述權(quán)利要求中任何一項(xiàng)所述的方法，其中，所述圖形表示還包括表示整個(gè)合成視頻信號的邊界線，并且其中，通過把至少部分圖形對象拖放到所述邊界線之外來執(zhí)行圖形對象的去除。
10.一種處理指令集合，所述指令集合有形地存儲(chǔ)在存儲(chǔ)器中、介質(zhì)上或傳播信號上， 當(dāng)通過包括在觸摸屏設(shè)備中的處理器執(zhí)行所述指令集合時(shí)，所述指令集合使得所述觸摸屏設(shè)備執(zhí)行如權(quán)利要求1-9的任一項(xiàng)中闡述的所述方法。
11.觸摸屏設(shè)備，包括處理器、存儲(chǔ)器和觸摸屏系統(tǒng)，所述存儲(chǔ)器包括如權(quán)利要求10中闡述的所述處理指令集合。
全文摘要
一種用于修改由視頻合成服務(wù)器生成的合成視頻信號的方法，所述合成視頻信號是兩個(gè)或更多個(gè)視頻會(huì)議流的空間混合，該方法包括在觸摸屏上提供兩個(gè)或更多個(gè)圖形對象，其中，每個(gè)圖形對象表示所述視頻會(huì)議流中的一個(gè)，其中，所述兩個(gè)或更多個(gè)視頻會(huì)議流和所述兩個(gè)或更多個(gè)圖形對象按對應(yīng)的順序和相對位置和尺寸來布置；經(jīng)由所述觸摸屏修改所述圖形對象中的一個(gè)或多個(gè)的順序和/或位置和/或尺寸；修改所述合成視頻信號使得根據(jù)所述觸摸屏上的所述圖形對象的順序和/或位置和/或尺寸來空間混合所述視頻會(huì)議流。
文檔編號G06F3/041GK102498717SQ201080028572
公開日2012年6月13日 申請日期2010年5月3日 優(yōu)先權(quán)日2009年6月24日
發(fā)明者伊萬·馬里厄斯·克里斯蒂安森, 吉爾·比云, 韋高·哈默 申請人:思科系統(tǒng)國際公司