用于視頻通信系統(tǒng)中改進(jìn)的交互式內(nèi)容共享的系統(tǒng)和方法
【專利摘要】公開了用于在至少第一和第二端點(diǎn)之間通過通信網(wǎng)絡(luò)交互式地共享和注釋視覺信息的系統(tǒng)和方法。系統(tǒng)包括耦合到第一端點(diǎn)的顯示器和耦合到第一端點(diǎn)并與顯示器相關(guān)聯(lián)的用戶交互設(shè)備，其中第一端點(diǎn)被配置為：通過通信網(wǎng)絡(luò)從至少第二端點(diǎn)接收視覺信息并發(fā)送視覺信息給至少第二端點(diǎn)；在顯示器上示出從至少第二端點(diǎn)接收的視覺信息；當(dāng)由用戶交互設(shè)備指令時(shí)獲得在顯示器上示出的視覺信息的副本；如果有的話，按用戶交互設(shè)備所指示的添加注釋；并將注釋副本發(fā)送給第二端點(diǎn)。
【專利說明】用于視頻通信系統(tǒng)中改進(jìn)的交互式內(nèi)容共享的系統(tǒng)和方法
相關(guān)申請(qǐng)的交叉引用
[0001]本申請(qǐng)要求2011年6月8日提交的美國(guó)臨時(shí)專利申請(qǐng)第61/494，697號(hào)的優(yōu)先權(quán)，該申請(qǐng)通過整體引用合并于此。
【技術(shù)領(lǐng)域】
[0002]所公開的主題涉及允許內(nèi)容共享的視頻通信系統(tǒng)，內(nèi)容諸如計(jì)算機(jī)屏幕的、或應(yīng)用窗ロ的、或任何成像設(shè)備的輸出的內(nèi)容。
【背景技術(shù)】
[0003]某些視頻通信應(yīng)用允許“內(nèi)容”的共享。該詞可以指任何不是參與者之一的視頻流的視覺內(nèi)容。示例包括計(jì)算機(jī)屏幕——或者是整個(gè)屏幕(“桌面”)或者是其一部分——或者計(jì)算機(jī)應(yīng)用之一可以顯示其輸出的窗ロ的內(nèi)容。
[0004]一些系統(tǒng)使用“文檔相機(jī)”來捕捉這樣的內(nèi)容。此相機(jī)會(huì)被定位從而會(huì)反映放置在桌子或特殊平板支持物上的文檔，并會(huì)捕捉文檔的圖像以分布給所有的會(huì)話參與者。在其中計(jì)算機(jī)是主要業(yè)務(wù)通信工具的現(xiàn)代系統(tǒng)中，用VGA輸入取代了文檔相機(jī)，從而可以連接任何VGA視頻生成設(shè)備。在先進(jìn)的系統(tǒng)中，計(jì)算機(jī)可以直接與視頻通信設(shè)備接ロ從而直接將相關(guān)內(nèi)容材料傳輸給會(huì)話，而不需要轉(zhuǎn)換成VGA或其它中間模擬或數(shù)字格式。
[0005]在頻譜的一端，內(nèi)容共享可以是完全被動(dòng)的(“被動(dòng)內(nèi)容共享”)。在此情況中，視頻通信系統(tǒng)將僅對(duì)內(nèi)容編碼并發(fā)送給參與者，而不提供以任何方式修改內(nèi)容的能力。當(dāng)內(nèi)容由計(jì)算機(jī)驅(qū)動(dòng)例如共享文檔頁(yè)時(shí)，示出光標(biāo)和由底層軟件應(yīng)用的任何突出顯示是可能的。然而這是作為圖像捕捉的——換言之，遠(yuǎn)程參與者“接管”光標(biāo)并執(zhí)行對(duì)文檔的遠(yuǎn)程編輯是不可能的。這是在許多視頻通信應(yīng)用中使用的模式。
[0006]在頻譜的另一端，存在分布式協(xié)作應(yīng)用諸如共享的白板，有時(shí)稱為“活動(dòng)內(nèi)容共享”。在此情況中，用戶能夠以同步的方式協(xié)作地編輯和查看文檔。構(gòu)建這樣的系統(tǒng)的復(fù)雜度是顯著的，并要求專用的協(xié)議和應(yīng)用。通常，用戶不能使用他們偏愛的應(yīng)用并被迫使用專門的、網(wǎng)絡(luò)感知的程序(通常有較低的復(fù)雜性)。因此，視頻通信應(yīng)用可以使用被動(dòng)內(nèi)容共享而不是活動(dòng)內(nèi)容共享。
[0007]某些依賴于多點(diǎn)控制單元(MCU)架構(gòu)的視頻通信系統(tǒng)，諸如那些使用通過整體引用合并于此處的 ITU-T Rec.H.323 標(biāo)準(zhǔn)“Packet-based multimedia communicationssystems(基于分組的多媒體通信系統(tǒng))”的，也可以支持單內(nèi)容流。通過整體引用合并于此處的 ITU-T Rec.H.239 “Role management and additional media channels forH.3xx-series terminals (H.3xx_系列終端的角色管理和附加媒體信道)”定義了機(jī)制，通過機(jī)制可以在單個(gè)H.323會(huì)話或呼叫中支持兩個(gè)視頻信道。第一信道用來運(yùn)載參與者的視頻，且第二個(gè)用來運(yùn)載PC圖形演示或視頻。對(duì)于多點(diǎn)會(huì)議中的演示，H.239定義了令牌過程以保證僅會(huì)議中的ー個(gè)端點(diǎn)發(fā)送隨后將分布給所有會(huì)議參與者的附加視頻信道。
[0008]當(dāng)連接了 H.323呼叫時(shí)，ITU-T Rec.H.245中定義的信令可以用來建立所有連接的端點(diǎn)和MCU的能力集。當(dāng)能力集包括關(guān)于支持H.239演示的指示時(shí),連接的端點(diǎn)可以選擇打開附加視頻信道。首先端點(diǎn)需要從MCU請(qǐng)求令牌。然后MCU可以檢查當(dāng)前是否存在另ー端點(diǎn)正在發(fā)送附加視頻信道。MCU將使用令牌消息使此端點(diǎn)停止發(fā)送附加視頻信道。然后MCU將確認(rèn)來自第一端點(diǎn)的令牌請(qǐng)求，第一端點(diǎn)然后可以開始發(fā)送附加視頻信道，作為示例這可以包含XGA分辨率的來自計(jì)算機(jī)視頻輸出的編碼視頻。對(duì)于兩個(gè)端點(diǎn)直接互相連接而沒有中間MCU的情況可以定義類似的過程。
[0009]某些用于傳統(tǒng)式視頻會(huì)議的視頻通信系統(tǒng)涉及端點(diǎn)的每ー個(gè)的單個(gè)相機(jī)和單個(gè)顯示。用于專用會(huì)議室的高端系統(tǒng)可以多個(gè)監(jiān)視器為特征。第二監(jiān)視器通常專用于內(nèi)容共享。當(dāng)沒有使用這樣的內(nèi)容時(shí)，一個(gè)監(jiān)視器可以最響亮的揚(yáng)聲器為特征而另ー個(gè)監(jiān)視器展示余下參與者的ー些或全部。當(dāng)只有一個(gè)監(jiān)視器可用時(shí)，那么或者內(nèi)容需要在視頻之間切換，或者屏幕必須在二者之間劃分。
[0010]在個(gè)人計(jì)算機(jī)(或平板機(jī)或其它通用計(jì)算設(shè)備)上運(yùn)行的視頻通信系統(tǒng)通常就如何顯示視頻和內(nèi)容而言有更多靈活性，并還可以成為內(nèi)容共享的源。事實(shí)上，計(jì)算機(jī)屏幕的任何部分都可以被指示為內(nèi)容的源并被編碼用于傳輸而無需關(guān)于底層軟件應(yīng)用的任何知識(shí)(“屏幕轉(zhuǎn)儲(chǔ)”，如由顯示設(shè)備驅(qū)動(dòng)器和操作系統(tǒng)軟件所允許的)。固有的系統(tǒng)架構(gòu)限制，諸如使用只允許兩個(gè)流(一個(gè)視頻和ー個(gè)內(nèi)容)的!1.300-系列規(guī)范時(shí)，可以禁止另外可行的操作情景(多個(gè)視頻流和多個(gè)內(nèi)容流)。
[0011]所謂“遙現(xiàn)(tel印resence)”可以傳達(dá)作為遠(yuǎn)程參與者“在同一房間中”的感覺。為了完成此目標(biāo)，這些系統(tǒng)可以利用多個(gè)相機(jī)和多個(gè)顯示。這些顯示和相機(jī)定位在經(jīng)仔細(xì)計(jì)算的位置以便能夠給出目光接觸的感覺。一些系統(tǒng)涉及三個(gè)顯示——左、中間和右——不過只有兩個(gè)或多于三個(gè)顯示的配置也可用。
[0012]顯示可以位于會(huì)議房間中經(jīng)仔細(xì)選擇的位置中。從會(huì)議房間桌子上的任何物理位置看向顯示的每ー個(gè)應(yīng)該給出遠(yuǎn)程參與者物理地位于該房間中的假象。這可以通過將人員的準(zhǔn)確大小匹配為顯示成如果他或她實(shí)際上存在于房間內(nèi)所認(rèn)為的位置中時(shí)該主體將會(huì)顯示的期望的物理大小。一些系統(tǒng)甚至匹配家具、房間顏色和光線，以進(jìn)一歩增強(qiáng)逼真的體驗(yàn)。
[0013]為了有效，遙現(xiàn)系統(tǒng)應(yīng)該提供非常高的分辨率并以非常低的等待時(shí)間操作。例如，這些系統(tǒng)可以在高清晰度(HD)1080p/30分辨率操作，即1080水平線以每秒30幀掃描。為了消除等待時(shí)間和分組丟失，它們還使用專用的多兆比特網(wǎng)絡(luò)并通常以點(diǎn)到點(diǎn)或交換配置(即避免代碼轉(zhuǎn)換)操作。
[0014]一些視頻會(huì)議系統(tǒng)假定每個(gè)端點(diǎn)都配備了單相機(jī)，盡管它們可以配備幾個(gè)顯示。
[0015]例如，在雙監(jiān)視器系統(tǒng)中，活動(dòng)揚(yáng)聲器可以顯示在主要監(jiān)視器中，而其他參與者展示在第二監(jiān)視器中的較小窗ロ矩陣中。ー種稱為“連續(xù)呈現(xiàn)(continuous presence)”的矩陣布局許可參與者連續(xù)地呈現(xiàn)在屏幕上而不是依據(jù)誰是活動(dòng)發(fā)言者而在進(jìn)和出中切換。在有大量參與者的會(huì)話中，當(dāng)矩陣的大小耗盡(例如對(duì)于3x3矩陣有9個(gè)窗ロ)時(shí)則參與者可以基于最近活動(dòng)音頻策略而進(jìn)入連續(xù)呈現(xiàn)矩陣或從中移除。在此情況中布局仍稱為“連續(xù)呈現(xiàn)，，。
[0016]與連續(xù)呈現(xiàn)布局類似的配置是優(yōu)選揚(yáng)聲器布局，其中ー個(gè)(或一小組)揚(yáng)聲器被指定為優(yōu)選的并展示在比其他參與者大的窗ロ(例如，兩倍大小)中。[0017]一個(gè)替換方式是使用第二監(jiān)視器來顯示內(nèi)容(例如來自計(jì)算機(jī)的幻燈片演示)和使用主要監(jiān)視器來展示參與者。于是主要監(jiān)視器作為單監(jiān)視器系統(tǒng)來對(duì)待。主要監(jiān)視器也可以優(yōu)選揚(yáng)聲器布局為特征。在此情況中，優(yōu)選揚(yáng)聲器以更大的大小與多個(gè)其他參與者以較小的大小一起展示在主要監(jiān)視器中，而內(nèi)容展示在第二監(jiān)視器中。
[0018]以多個(gè)相機(jī)為特征的遙現(xiàn)系統(tǒng)可以設(shè)計(jì)使得每個(gè)相機(jī)分配到它自己的解碼器。于是有三個(gè)相機(jī)和三個(gè)屏幕的系統(tǒng)將使用三個(gè)單獨(dú)的解碼器來在每個(gè)端點(diǎn)執(zhí)行編碼和解碼。這些解碼器將使用專用信令或?qū)ΜF(xiàn)有協(xié)議的專用信令擴(kuò)展來與遠(yuǎn)程站點(diǎn)上的三個(gè)對(duì)應(yīng)解碼器進(jìn)行連接。
[0019]三個(gè)解碼器通常標(biāo)識(shí)為“左”、“右”和“中間”。在本文檔中這樣的位置參考是從系統(tǒng)用戶的角度做出的；在此上下文中的左是正坐在相機(jī)前并正在使用系統(tǒng)的用戶的左手邊。例如立體的音頻可以通過中間解碼器來處理。在三個(gè)視頻屏幕之外，遙現(xiàn)系統(tǒng)還可以包括第四屏幕以顯示計(jì)算機(jī)相關(guān)的內(nèi)容諸如演示。這可以稱為“內(nèi)容”或“數(shù)據(jù)”流。
[0020]圖1描繪了市場(chǎng)上可購(gòu)得的傳統(tǒng)遙現(xiàn)系統(tǒng)(Polycom TPX306M)的架構(gòu)。該系統(tǒng)以三個(gè)屏幕(等離子體或背面屏幕投影器)和三個(gè)HD相機(jī)為特征。每個(gè)HD相機(jī)與由HDX傳統(tǒng)式(單流)視頻會(huì)議系統(tǒng)提供的解碼器配對(duì)。解碼器之一標(biāo)記為主要的。注意HD相機(jī)與解碼器的對(duì)角線配對(duì)。這是為了提供正確的視點(diǎn)給遠(yuǎn)程站點(diǎn)上的查看者。
[0021]主要解碼器負(fù)責(zé)音頻處理。這里系統(tǒng)示為具有混合進(jìn)由主要解碼器編碼的單個(gè)信號(hào)中的多個(gè)話筒。還存在第四屏幕以顯示內(nèi)容。整個(gè)系統(tǒng)由標(biāo)記為控制器的特殊設(shè)備管理。為了建立與遠(yuǎn)程站點(diǎn)的連接，此系統(tǒng)執(zhí)行三個(gè)單獨(dú)的H.323呼叫，每個(gè)解碼器ー個(gè)。這是因?yàn)楝F(xiàn)有的ITU-T標(biāo)準(zhǔn)不允許建立多相機(jī)呼叫。這個(gè)架構(gòu)對(duì)使用基于標(biāo)準(zhǔn)的信令用于會(huì)話建立和控制的某些遙現(xiàn)產(chǎn)品是典型的。使用TIP協(xié)議將允許有單連接的系統(tǒng)操作，并將使多達(dá)4個(gè)視頻流和4個(gè)音頻流在兩個(gè)RTP會(huì)話(一個(gè)用于音頻和ー個(gè)用于視頻)上運(yùn)載成為可倉(cāng)^:。
[0022]參考圖1，內(nèi)容由主要解碼器處理(注意，內(nèi)容顯示連接到主要解碼器)。主要解碼器將使用札239信令來管理內(nèi)容顯示。傳統(tǒng)、非遙現(xiàn)、雙監(jiān)視器的系統(tǒng)基本上以與遙現(xiàn)系統(tǒng)的主要解碼器相同的方式配置。
[0023]與傳統(tǒng)式視頻會(huì)議系統(tǒng)比較遙現(xiàn)系統(tǒng)造成獨(dú)特的挑戰(zhàn)。一個(gè)挑戰(zhàn)是這樣的系統(tǒng)是否能夠處理多個(gè)視頻流。典型的視頻會(huì)議系統(tǒng)僅處理單視頻流，和可選地用于內(nèi)容的附加“數(shù)據(jù)”流。甚至當(dāng)多個(gè)參與者存在時(shí)，多點(diǎn)控制單元(MCU)負(fù)責(zé)將多個(gè)參與者合成進(jìn)單幀中并將編碼的幀發(fā)送給接收端點(diǎn)。某些系統(tǒng)用不同的方式解決這個(gè)問題。ー種方式是建立與存在的視頻相機(jī)同樣多的連接，例如對(duì)三相機(jī)系統(tǒng)建立三個(gè)單獨(dú)的連接，并提供機(jī)制以正確地將這些單獨(dú)的流作為ー個(gè)單元對(duì)待，即如同來自同一位置的。
[0024]第二種方式是使用現(xiàn)有信令協(xié)議的擴(kuò)展，或使用新協(xié)議諸如遙現(xiàn)互操作協(xié)議(TIP)0當(dāng)前TIP由國(guó)際多媒體通信協(xié)會(huì)(MTC)管理；規(guī)范可以通過地址美國(guó)加州SanRamon 的 Camino Ramon2400 號(hào) 375 單兀，郵編 94583 從 IMTC 獲得或從網(wǎng)站 http://www.1mtc.0rg/tip獲得。TIP允許多個(gè)音頻和視頻流在單RTP (實(shí)時(shí)協(xié)議，RFC3550)連接上傳輸。TIP通過使用專用的RTCP (實(shí)時(shí)控制協(xié)議，在RFC3550中作為RTP的一部分定義)消息啟用同一 RTP會(huì)話中多達(dá)四個(gè)視頻或音頻流的復(fù)用。四個(gè)視頻流可以用作多達(dá)三個(gè)視頻流和ー個(gè)內(nèi)容流。[0025]在傳統(tǒng)式和遙現(xiàn)系統(tǒng)配置中，內(nèi)容處理因此是簡(jiǎn)化的。MCU架構(gòu)存在固有的限制，在于它的切換和代碼轉(zhuǎn)換配置。除了質(zhì)量損失之外，代碼轉(zhuǎn)換配置還由于級(jí)聯(lián)的解碼和編碼而產(chǎn)生延遲，并因此對(duì)于高質(zhì)量體驗(yàn)是有問題的。另ー方面，切換可以變得尷尬，諸如當(dāng)在有不同數(shù)量的屏幕的系統(tǒng)之間使用吋。
[0026]可縮放視頻編碼(SVC)——在某些數(shù)字視頻應(yīng)用中使用的周知的視頻編碼標(biāo)準(zhǔn)H.264的擴(kuò)展——是已經(jīng)證明為在交互式視頻通信中有效的視頻編碼技木。比特流句法和解碼過程在ITU-T推薦H.264并且特別是在附錄G中正式定義。通過整體引用合并于此處的ITU-T Rec.H.264可以從瑞士日內(nèi)瓦Place de Nationsll20國(guó)際電信聯(lián)盟或從網(wǎng)站W(wǎng)WW.1tu.1nt獲得。SVC分組以在RTP上傳輸是在通過整體引用合并于此處的RFC6190“RTPpayload format for Scalable Video Coding (用于可縮放視頻編碼的RTP載荷格式)”中定義的，這可以在網(wǎng)站http://www.1etf.0rg從因特網(wǎng)工程任務(wù)組(IETF)獲得。
[0027]可縮放視頻和音頻編碼已經(jīng)通過使用所謂的可縮放視頻編碼服務(wù)器(SVCS)架構(gòu)在視頻和音頻通信中使用。SVCS是ー種視頻和音頻通信服務(wù)器的類型并在都通過整體引用合并于此處的共同轉(zhuǎn)讓的美國(guó)專利第7，593，032號(hào)“System and Methods fora Comerence Server Architecture for Low Delay and Distriouted ConferencingApplications (用于低延遲和分布式會(huì)議應(yīng)用的會(huì)議服務(wù)器架構(gòu)的系統(tǒng)和方法)”和共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)第PCT/US06/62569號(hào)“System and Methods for Videoconferencingusing Scalable Video Coding and Compositing Scalable Video Servers (用于使用可縮放視頻編碼和合成可縮放視頻服務(wù)器的視頻會(huì)議的系統(tǒng)和方法)”中做了描述。它提供了允許有高健壯性和低延遲的高質(zhì)量視頻通信的架構(gòu)。
[0028]全部通過整體引用合并于此處的共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)第PCT/US06/061815號(hào)‘‘Systems and methods for error resilience and random access in videocommunication system(用于視頻通信系統(tǒng)中的錯(cuò)誤恢復(fù)和隨機(jī)存取的系統(tǒng)和方法)”、第 PCT/US07/63335 號(hào)“System and method for providing error resilience, randomaccess, and rate control in scalable video communication (用于提供可縮放視頻通信中的錯(cuò)誤恢復(fù)、隨機(jī)存取和速率控制的系統(tǒng)和方法)”和第PCT/US08/50640號(hào)“ Improvedsystems and methods for error resilience in video communication systems、用チ視頻通信系統(tǒng)中的錯(cuò)誤恢復(fù)的改進(jìn)的系統(tǒng)和方法)”還描述了用來在SVCS架構(gòu)的使用中提供多個(gè)特征諸如錯(cuò)誤恢復(fù)和速率控制的機(jī)制。
[0029]在一個(gè)示例中，SVCS操作包括從發(fā)送端點(diǎn)接收可縮放視頻和選擇性地將該視頻的層轉(zhuǎn)發(fā)給接收參與者。在多點(diǎn)配置中并與MCU相反，此示例性SVCS不執(zhí)行解碼/合成/重編碼。相反，所有來自全部視頻流的合適層都可以由SVCS發(fā)送給每個(gè)接收端點(diǎn)，并且每個(gè)接收端點(diǎn)自己負(fù)責(zé)執(zhí)行用于最終顯示的合成。注意，這意味著在SVCS系統(tǒng)架構(gòu)中所有端點(diǎn)可以具有多流支持，因?yàn)閬碜悦總€(gè)發(fā)送端點(diǎn)的視頻是作為單獨(dú)的流發(fā)送給接收端點(diǎn)的。當(dāng)然，不同的流可以在同一 RTP會(huì)話上傳輸(即復(fù)用)，但端點(diǎn)應(yīng)該被配置為接收多個(gè)視頻流、解碼并將它們組合以顯示。對(duì)于基于SVC/SVCS的系統(tǒng)就處理多個(gè)流的靈活性而言這是重要的優(yōu)點(diǎn)。
[0030]在使用SVC/SVCS架構(gòu)的系統(tǒng)中，內(nèi)容共享可以如下工作。在個(gè)人計(jì)算機(jī)上運(yùn)行的端點(diǎn)應(yīng)用的用戶接ロ可以允許用戶選擇任何現(xiàn)有的應(yīng)用窗ロ用干與其他參與者共享。當(dāng)選擇了這樣的窗ロ時(shí)，它可以出現(xiàn)在其他用戶的用戶接ロ的可用“共享”列表中。為了在當(dāng)前沒有共享在窗ロ中示出時(shí)向他們提醒新共享，新介紹的共享可以在主應(yīng)用窗口中以“優(yōu)選視圖”(即更大的視圖)與會(huì)話參與者的視頻一起(即與視頻參與者相同的方式)示出。由于此視圖的大小可以很小并在任何速率都小于典型應(yīng)用窗ロ的大小，用戶可以雙擊它使得它“彈出”到自己的窗ロ并因此允許用戶自由地調(diào)整其大小。在有兩個(gè)監(jiān)視器的基于房間的系統(tǒng)中內(nèi)容可以在自己的監(jiān)視器中示出；如果只有一個(gè)監(jiān)視器可用則屏幕可以在視頻窗口和內(nèi)容窗ロ之間劃分。
[0031]當(dāng)共享內(nèi)容由參與者的ー個(gè)或多個(gè)查看時(shí)，源端點(diǎn)可以對(duì)內(nèi)容編碼并以與它處理任何其它視頻源相同的方式發(fā)送內(nèi)容。當(dāng)然，視頻編碼和解碼可以不同從而適應(yīng)計(jì)算機(jī)生成的圖像的特定特征，但從系統(tǒng)的角度內(nèi)容流是與任何其它視頻流一樣對(duì)待的。注意，同一視頻編碼器也可以用于內(nèi)容，但有不同的調(diào)諧和優(yōu)化設(shè)置(例如，更低的幀速、有更精細(xì)量化的更高空間分辨率等)。系統(tǒng)可以支持每端點(diǎn)的多個(gè)內(nèi)容共享。盡管對(duì)于終端用戶而言具有多個(gè)活動(dòng)內(nèi)容共享可以是令人迷惑的，但系統(tǒng)架構(gòu)可以支持。SVCS架構(gòu)固有的多流支持使內(nèi)容處理成為視頻的自然擴(kuò)展。
[0032]通過整體引用合并于此處的共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)第PCT/US11/038003號(hào)uSystems and Methods for Scalable Video Communication using Multiple Camerasand Multiple Monitors (用于使用多個(gè)相機(jī)和多個(gè)監(jiān)視器的可縮放視頻通信的系統(tǒng)和方法)”描述了用于使用有多個(gè)相機(jī)和多個(gè)監(jiān)視器的可縮放視頻編碼的視頻通信的系統(tǒng)和方法。在此情況中架構(gòu)擴(kuò)張為包括多個(gè)視頻顯示和可能地特定端點(diǎn)的多個(gè)源。
[0033]可以期望改進(jìn)處理內(nèi)容的方式，從而用戶可以具有改進(jìn)的與內(nèi)容的交互而不會(huì)負(fù)面地増加實(shí)現(xiàn)的復(fù)雜性或徹底地改變底層系統(tǒng)架構(gòu)。

【發(fā)明內(nèi)容】

[0034]此處公開了用于視頻通信系統(tǒng)中交互式內(nèi)容共享的系統(tǒng)和方法。在本發(fā)明的ー個(gè)實(shí)施例中，端點(diǎn)處的用戶可以捕捉特定的圖片或視頻或共享內(nèi)容，并發(fā)起他自己的內(nèi)容共享。在另ー實(shí)施例中，用戶還可以在他或她自己的端點(diǎn)使用合適的軟件注釋所捕捉的圖片，使得所注釋的捕捉圖片與其他會(huì)話參與者共享。在又一實(shí)施例中，注釋軟件可以允許終端用戶保存所注釋圖片的不同版本，并選擇將哪ー個(gè)與其他會(huì)話參與者共享。在另ー實(shí)施例中，交互式共享的觸發(fā)可以是檢測(cè)到內(nèi)容屏幕或白板前面的用戶。
【專利附圖】

【附圖說明】
[0035]圖1示出了示例性商業(yè)遙現(xiàn)系統(tǒng)(現(xiàn)有技木)的架構(gòu)；
[0036]圖2根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例示出了使用可縮放視頻(和音頻)編碼的示例性音頻和視頻通信系統(tǒng)的架構(gòu)；
[0037]圖3根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了示例性SVCS系統(tǒng)的架構(gòu)和操作；
[0038]圖4根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了用于SVC編碼的示例性空間和時(shí)間預(yù)測(cè)編碼結(jié)構(gòu)；
[0039]圖5根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了可縮放視頻的空時(shí)層的示例性SVCS處理；
[0040]圖6根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了與內(nèi)容窗ロ的對(duì)接、解除對(duì)接和選擇相關(guān)聯(lián)的用戶接ロ；
[0041]圖7根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了有交互式內(nèi)容共享節(jié)點(diǎn)単元的端點(diǎn)的架構(gòu)；
[0042]圖8根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了示例性交互式內(nèi)容共享系統(tǒng)；
[0043]圖9根據(jù)本公開的主題的ー個(gè)或多個(gè)實(shí)施例描繪了“抓取”、“繪制”和共享的過程;
[0044]圖10描繪了用于實(shí)現(xiàn)本公開的主題的ー個(gè)或多個(gè)實(shí)施例的示例性計(jì)算機(jī)系統(tǒng)。
[0045]除非另外說明，貫穿附圖相同的附圖標(biāo)號(hào)和標(biāo)記用來指示所示實(shí)施例的相同的特征、元件、組件或部分。而且，盡管現(xiàn)在將參考附圖詳細(xì)地描述所公開的主題，這是結(jié)合說明性實(shí)施例而進(jìn)行的。
【具體實(shí)施方式】
[0046]本公開描述了協(xié)作系統(tǒng)。在本公開的ー個(gè)不例性實(shí)施例中，協(xié)作系統(tǒng)與使用H.264SVC并基于SVCS概念(參考之前引用的美國(guó)專利第7，593，032號(hào))的視頻通信系統(tǒng)集成。然而相同的協(xié)作系統(tǒng)也可以用在包括遙現(xiàn)系統(tǒng)的傳統(tǒng)系統(tǒng)中。
[0047]圖2根據(jù)示例性實(shí)施例描繪了SVCS系統(tǒng)的示例性系統(tǒng)架構(gòu)200，其中ー個(gè)或多個(gè)服務(wù)器可以通過網(wǎng)絡(luò)202向接收器201提供視頻和音頻流。圖2示出兩個(gè)這樣的服務(wù)器，其中服務(wù)器1210提供流1，且服務(wù)器2220提供兩個(gè)流，流2和流3。服務(wù)器1210和服務(wù)器2220可以是可縮放視頻通信服務(wù)器(SVCS)系統(tǒng)和/或可縮放音頻通信服務(wù)器(SACS)系統(tǒng)，這些系統(tǒng)將從其他參與者(諸如發(fā)送器221)接收的數(shù)據(jù)轉(zhuǎn)發(fā)給接收器，或者他們可以是獨(dú)立的媒體服務(wù)器(例如訪問來自存儲(chǔ)的內(nèi)容)。注意，這里“參與者”也可以是只發(fā)送的系統(tǒng)，諸如僅執(zhí)行編碼的単元(例如編碼并發(fā)送實(shí)況TV信號(hào)的系統(tǒng))。盡管附圖示出了単獨(dú)的發(fā)送器和接收器，但系統(tǒng)可以同時(shí)執(zhí)行這兩個(gè)角色，即他們均可以發(fā)送并接收信息。
[0048]所公開的主題的ー個(gè)實(shí)施例使用了周知的市場(chǎng)上可購(gòu)得的H.264標(biāo)準(zhǔn)用于對(duì)視頻信號(hào)編碼和Speex可縮放編解碼器用于音頻。Speex是開源音頻壓縮格式,規(guī)范在Speex網(wǎng)站http://www.speex.0rg可以獲得。ー些流可以使用單層AVC編碼，而ー些其它的可以使用其可縮放擴(kuò)展SVC編碼。類似地，ー些Speex音頻流可以只包含窄帶數(shù)據(jù)(8KHz)，而其它的可以包含窄帶及或単獨(dú)地寬帶(16KHz )或超寬帶(32KHz )音頻?？梢允褂锰鎿Q性可縮放編解碼器，諸如用于視頻的MPEG-4/第2部分或H.263++，或用于音頻的G.729.1 (EV)。網(wǎng)絡(luò)202可以是任何基于分組的網(wǎng)絡(luò)，例如基于IP的網(wǎng)絡(luò)諸如因特網(wǎng)。
[0049]在示例性實(shí)施例中，接收器201和發(fā)送器221是運(yùn)行軟件應(yīng)用的通用計(jì)算機(jī)，諸如PC或蘋果計(jì)算機(jī)、臺(tái)式機(jī)、膝上型計(jì)算機(jī)、平板機(jī)等。它們也可以是設(shè)計(jì)成只運(yùn)行單個(gè)軟件應(yīng)用例如使用商業(yè)操作系統(tǒng)的嵌入式版本的專用計(jì)算機(jī)，或者甚至是分別設(shè)計(jì)成執(zhí)行接收和發(fā)送應(yīng)用的功能的獨(dú)立設(shè)備。接收軟件應(yīng)用可以負(fù)責(zé)與服務(wù)器通信以建立連接以及接收、解碼和顯示或回放接收的視頻、內(nèi)容和/或音頻流。發(fā)送應(yīng)用，或?qū)τ诩仁前l(fā)送器又是接收器的系統(tǒng)而言同一接收應(yīng)用，也可以將它自己的編碼視頻、內(nèi)容和/或音頻流發(fā)送回給服務(wù)器。[0050]發(fā)送的流可以是對(duì)附連到發(fā)送器221的相機(jī)和話筒的輸出的實(shí)時(shí)編碼的結(jié)果，或者可以是存儲(chǔ)在發(fā)送器221本地上或在從發(fā)送器221通過網(wǎng)絡(luò)202可以訪問或直接附連到它的文件服務(wù)器上的預(yù)編碼的視頻和音頻。對(duì)于內(nèi)容流，源材料可以是直接從計(jì)算機(jī)屏幕獲得、通過中間模擬或數(shù)字格式(例如VGA)獲得、或可以是由文檔或其它相機(jī)生成的。如本領(lǐng)域技術(shù)人員會(huì)認(rèn)識(shí)到的，獲得視覺內(nèi)容的其它方法也是可能的。
[0051]在一個(gè)實(shí)施例中，發(fā)送器221配備了連接的相機(jī)和話筒，并對(duì)生成的視頻和音頻信號(hào)編碼并經(jīng)由服務(wù)器2220通過流2發(fā)送給其他參與者。發(fā)送器221還生成類似地通過同一流2發(fā)送給服務(wù)器220的ー個(gè)或多個(gè)內(nèi)容流。盡管示出了一個(gè)服務(wù)器存在于從發(fā)送器到接收器的路徑中，但是可以存在多于ー個(gè)服務(wù)器是可能的。而且，盡管所有類型的內(nèi)容都可以通過單個(gè)流發(fā)送(復(fù)用)，但每種類型的內(nèi)容通過它自己的流或?qū)嶋H上網(wǎng)絡(luò)(例如有線的和無線的)發(fā)送也當(dāng)然是可能的。
[0052]根據(jù)SVCS架構(gòu)，接收器可以在其顯示器上組合從服務(wù)器接收的編碼的視頻流(及任何內(nèi)容流)，并還混合和回放編碼的音頻流。注意，傳統(tǒng)式多點(diǎn)視頻服務(wù)器(諸如代碼轉(zhuǎn)換MCU)可以在其服務(wù)器上自己執(zhí)行此功能，或者對(duì)所有接收參與者執(zhí)行一次，或者對(duì)每個(gè)接收參與者單獨(dú)執(zhí)行。
[0053]服務(wù)器210和220的操作在圖3中進(jìn)ー步詳述。圖3描繪了示例系統(tǒng)300，包括三個(gè)發(fā)送參與者發(fā)送器1331、發(fā)送器2332和發(fā)送器3333，服務(wù)器(SVCS) 320和接收器310。具體配置只是示例；接收器可以同時(shí)是發(fā)送器且反之亦然。而且，可以存在更多或更少的發(fā)送器、接收器或服務(wù)器。
[0054]在所公開的主題的ー個(gè)實(shí)施例中，可縮放編碼用于視頻、內(nèi)容和音頻信號(hào)。視頻和內(nèi)容信號(hào)是使用有三層時(shí)間可縮放性和兩層空間可縮放性，在基本層和增強(qiáng)層(例如VGA和QVGA)之間的水平或垂直圖片維度之間比率為2的H.264SVC進(jìn)行編碼的。
[0055]發(fā)送器331、332和333的每ー個(gè)都可以連接到服務(wù)器320，通過服務(wù)器320它可以發(fā)送ー個(gè)或多個(gè)媒體流——音頻、視頻或內(nèi)容。每個(gè)發(fā)送器331、332和333也可以具有與服務(wù)器320的信令連接(標(biāo)記為“SIG”)。每個(gè)連接中的流的標(biāo)記是根據(jù):1)信號(hào)的類型，A表示音頻，V表示視頻,且C表示內(nèi)容:以及2)姆個(gè)流中存在的層，B表示基本且E表示增強(qiáng)。在此特定示例中，從發(fā)送器1331發(fā)送到服務(wù)器320的流包括有基本層和增強(qiáng)層兩者的音頻流(“A/B+E”)和同樣有基本層和增強(qiáng)層兩者的視頻流(“V/B+E”)。對(duì)于發(fā)送器3333，流包括只有基本層的音頻和視頻(“A/B”和“ V/B”)，及有基本層和增強(qiáng)層兩者的內(nèi)容流(“C/B+E”)。
[0056]服務(wù)器320連接到接收器310，通過它來自可以由服務(wù)器320接收的不同流的不同層的分組被選擇性地轉(zhuǎn)發(fā)給接收器310。盡管可以存在服務(wù)器320和接收器310之間的單個(gè)連接，但本領(lǐng)域內(nèi)的技術(shù)人員會(huì)認(rèn)識(shí)到，不同的流可以通過不同的連接(包括不同類型的網(wǎng)絡(luò))發(fā)送。另外，不需要存在這種元件之間的直接連接(可以存在中間元件)
[0057]圖3示出了從服務(wù)器320發(fā)送到接收器310的三個(gè)不同的流集(301、302、303)。在示例性實(shí)施例中，每個(gè)集對(duì)應(yīng)于服務(wù)器320從相對(duì)應(yīng)的發(fā)送器轉(zhuǎn)發(fā)到接收器310的媒體和/或?qū)拥淖蛹?，并用每個(gè)發(fā)送器的標(biāo)號(hào)標(biāo)記。例如，集301可以包含來自發(fā)送器1331的層，并用標(biāo)號(hào)I標(biāo)記。標(biāo)記也包括存在的特定層(或者虛線表示完全不存在的內(nèi)容)。作為示例，集301標(biāo)記為“1:A/B+E，V/B+E”以指示這些是來自發(fā)送器1331的流以及視頻和音頻都包括了基本層和增強(qiáng)層。類似地，集303標(biāo)記為“3:A/-，V/B，C/B+E”以指示這是來自發(fā)送器3333的內(nèi)容以及沒有音頻、視頻只有基本層和內(nèi)容既有基本層又有增強(qiáng)層。
[0058]繼續(xù)參考圖3，發(fā)送器331、332、333中的每ー個(gè)都可以使用基本層或基本層加增強(qiáng)層的組合發(fā)送零或更多的媒體(視頻、音頻、內(nèi)容)到服務(wù)器320。層和媒體的特定選擇取決于幾個(gè)因素。例如，如果發(fā)送器不是活動(dòng)揚(yáng)聲器則最好沒有音頻由它發(fā)送。類似地，如果參與者以低分辨率示出則可以不必發(fā)送該特定參與者的空間增強(qiáng)層。網(wǎng)絡(luò)比特率的可用性也可以規(guī)定特定的層和媒體組合選擇。這些和其它準(zhǔn)則也可以由服務(wù)器320使用以便決定選擇性地將哪些分組(對(duì)應(yīng)于特定媒體的層)轉(zhuǎn)發(fā)到接收器320。這些準(zhǔn)則可以在接收器310和服務(wù)器320之間或服務(wù)器320和發(fā)送器331、332、333之一之間通過合適的信令(圖3中的“SIG”)信道(例如304)通信。
[0059]本公開的主題的ー個(gè)實(shí)施例中的空時(shí)圖片預(yù)測(cè)結(jié)構(gòu)在圖4中示出。字母“B”指定基本層圖片而字母“S”指定空間增強(qiáng)層圖片。字母旁邊的數(shù)字指示時(shí)間層，0到2。也可以使用其它可縮放性結(jié)構(gòu)，例如包括諸如同步廣播(沒有使用層間預(yù)測(cè))的極端情況。類似地，音頻信號(hào)以兩層可縮放性編碼，窄帶(基本層)和寬帶(增強(qiáng)層)。盡管在一些實(shí)施例中假定了可縮放編碼，本公開的主題可以用在任何視頻會(huì)議系統(tǒng)中，包括使用單層編碼的傳統(tǒng)系統(tǒng)。
[0060]圖5示出了存在于圖4的空時(shí)圖片預(yù)測(cè)結(jié)構(gòu)中的不同層如何可以由示例性實(shí)施例中的SVCS處理。圖5示出了被發(fā)送給SVCS590具有圖4的空時(shí)圖片預(yù)測(cè)結(jié)構(gòu)510的可縮放視頻流。SVCS590可以連接到三個(gè)不同的端點(diǎn)(未示出)。三個(gè)端點(diǎn)就它們可以處理的圖片分辨率和幀速而言可以具有不同的要求，并可以通過高分辨率/高幀速520、高分辨率/低幀速530和低分辨率/高幀速540配置來區(qū)分。圖5示出了對(duì)于高分辨率/高幀速端點(diǎn)，系統(tǒng)發(fā)送所有層；此結(jié)構(gòu)可以與在SVC590的輸入處提供的結(jié)構(gòu)相同。對(duì)于高分辨率/低幀速配置530，SVCS590已經(jīng)移除了時(shí)間層2的圖片(B2和S2)。最后，對(duì)于低分辨率/高幀速配置540，SVCS590已經(jīng)移除了所有的“S”層(SO、SI和S2)。這只是示例，不同的配置和不同的選擇準(zhǔn)則當(dāng)然也是可能的。
[0061]如之前提及的，SVCS系統(tǒng)架構(gòu)是固有多流的，因?yàn)槊總€(gè)系統(tǒng)組件需要能夠處理每種類型的多個(gè)流。顯著地，視頻的實(shí)際組合和音頻混合通常在接收器處發(fā)生。參考圖3，視頻和內(nèi)容和組合可以在接收器310處發(fā)生。該圖描繪了附連到接收器310的單顯示器312。在此特定示例中，系統(tǒng)使用其中來自發(fā)送器3333的內(nèi)容流在較大的窗口中示出(標(biāo)記為“3:C/B+E”以指示這是來自發(fā)送器3的內(nèi)容并包括基本層和增強(qiáng)層)的“優(yōu)選視圖”布局來組合傳入視頻和內(nèi)容流，而來自所有三個(gè)發(fā)送器(1、2和3 )的視頻流在標(biāo)記為“ 1: V/B ”、“2:V/B”、“3:V/B”的較小的窗口中示出，以指示只使用了基本層。
[0062]特定布局只是示例。例如在雙監(jiān)視器系統(tǒng)中，接收器310可以獨(dú)立地在它的兩個(gè)監(jiān)視器之一中顯示內(nèi)容流，而在另一個(gè)監(jiān)視器中示出視頻窗ロ。通過整體引用合并于此處的共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)第PCT/US09/36701號(hào)“System and method for improvedview layout management in scalable video and audio communication systems (用于可縮放視頻和音頻通信系統(tǒng)中改進(jìn)的視圖布局管理的系統(tǒng)和方法)”描述了用于布局管理的附加系統(tǒng)和方法。之前引用的國(guó)際專利申請(qǐng)第PCT/US11/038003號(hào)“System andMethods for Scalable Video Communication using Multiple Cameras and MultipleMonitors (用于使用多個(gè)相機(jī)和多個(gè)監(jiān)視器的可縮放視頻通信的系統(tǒng)和方法)”描述了具體解決多監(jiān)視器多相機(jī)系統(tǒng)的附加布局管理技木。
[0063]現(xiàn)在描述用于執(zhí)行內(nèi)容共享的過程的示例性實(shí)施例。具體地，描述了示例性系統(tǒng)，系統(tǒng)包括通過允許在個(gè)人計(jì)算機(jī)上運(yùn)行的端點(diǎn)軟件共享應(yīng)用窗ロ的一個(gè)或多個(gè)來執(zhí)行內(nèi)容共享的能力。
[0064]圖6示出了一個(gè)實(shí)施例中內(nèi)容共享的過程。假定用戶是有四個(gè)參與者的視頻會(huì)議的一部分。在圖6 (a)中示出了實(shí)現(xiàn)端點(diǎn)的軟件的示例性用戶接ロ。注意，示出了四個(gè)視頻窗ロ，每個(gè)參與者ー個(gè)?，F(xiàn)在假定參與者之一發(fā)起共享應(yīng)用窗ロ，即當(dāng)前運(yùn)行在他或她的計(jì)算機(jī)上的應(yīng)用的窗ロ。這可以通過按圖6 (b)中由箭頭指示的“共享”選擇按鈕來完成。按鈕可以充當(dāng)下拉菜單(圖中未示出)，列出所有當(dāng)前由主計(jì)算機(jī)的操作系統(tǒng)報(bào)告為可用的窗ロ。當(dāng)選擇了這些窗ロ之ー用于共享時(shí)，共享可以被激活，且按鈕可以從灰色轉(zhuǎn)成綠色以指示共享是活動(dòng)的。
[0065]當(dāng)共享激活時(shí)，所有的參與者可以開始接收顯示共享內(nèi)容的附加內(nèi)容窗ロ。這在圖6(b)中示出，其中除了五個(gè)參與者之外，第六個(gè)窗ロ存在于中間較低位置示出應(yīng)用窗ロ。從系統(tǒng)級(jí)別的觀點(diǎn)來看，此內(nèi)容通過系統(tǒng)的發(fā)送與音頻或視頻沒有不同，盡管它的分辨率、幀速及編碼和解碼過程的細(xì)節(jié)當(dāng)然可以是不同的。觀察到內(nèi)容窗ロ可能太小而不能查看字符和其它小尺寸的特征。示例性接ロ可以允許用戶雙擊內(nèi)容視圖使得它“彈出”到自己的單獨(dú)窗ロ，如圖6 (c)中所示。這里內(nèi)容視圖在它自己的窗口中，并可以因此自由地單獨(dú)調(diào)整大小，而主視頻會(huì)議應(yīng)用窗ロ只示出五個(gè)視頻視圖。
[0066]由于諸用戶可以同時(shí)共享應(yīng)用窗ロ并且用戶可以實(shí)際共享多于一個(gè)的窗ロ，因此可以提供機(jī)制來選擇用戶想看到哪個(gè)共享。這可以在示例性系統(tǒng)中經(jīng)由“切換(Toggle)”按鈕來執(zhí)行，如圖6 (d)中所示。當(dāng)被按時(shí)，按鈕可以顯示有包括使共享可用的用戶的名字的可用共享列表的下拉菜単。最上面的條目可以是“無”，指示沒有共享窗ロ將示出。
[0067]本公開可以稱為“抓取和繪制”，因?yàn)閺母鞣N實(shí)施例的交互細(xì)節(jié)的描述中這將變得顯而易見。
[0068]系統(tǒng)被設(shè)計(jì)為提供以下關(guān)鍵特征，以及其它:
[0069]i)通過允許與共享內(nèi)容的動(dòng)態(tài)交互遵循在真人會(huì)議中人們做什么；
[0070]ii)可與桌面視頻會(huì)議解決方案互操作；
[0071]iii)可與傳統(tǒng)系統(tǒng)互操作(可能通過網(wǎng)關(guān)設(shè)備)。
[0072]在本公開的主題的ー個(gè)實(shí)施例中，協(xié)作系統(tǒng)可以使用運(yùn)行僅內(nèi)容共享的視頻會(huì)議客戶端(即沒有連接相機(jī)或話筒)的觸摸屏一體(All-1n-0ne，A10)個(gè)人計(jì)算機(jī)。觸摸屏顯示器可以充當(dāng)白板。在正常操作過程中可以用視頻會(huì)議軟件使用的正常方式示出會(huì)議的數(shù)據(jù)共享。如之前解釋的，這可以通過在源參與者處對(duì)計(jì)算機(jī)屏幕的窗ロ編碼并如同對(duì)常規(guī)視頻流一祥分發(fā)給所有其他參與者來完成。在本公開的另一實(shí)施例中，內(nèi)容共享窗ロ可以源自H.239客戶端或任何其它視覺通信協(xié)議。也可能觸摸屏上示出的圖像是示出參與者中的一個(gè)或多個(gè)的常規(guī)視頻流。
[0073]然而本公開中的觸摸屏允許用戶實(shí)際地走上來并觸摸屏幕，然后“抓取”圖像。當(dāng)這樣做時(shí)，系統(tǒng)將拍攝當(dāng)前顯示在共享窗口上的內(nèi)容的快照，并創(chuàng)建新共享。在本公開的ー個(gè)實(shí)施例中，新共享在以白板應(yīng)用為特征的窗口中示出，通過這樣用戶可以注釋快照?qǐng)D像。在本公開的一個(gè)實(shí)施例中，白板注釋可以涉及從調(diào)色板選擇不同的顏色、在快照上繪制或清除所有注釋。
[0074]白板開始與之交互的快照?qǐng)D像是之前由其他方共享的圖像。包括任何注釋的白板圖像和任何其它窗口共享一樣與其他會(huì)話參與者共享。
[0075]注意，在本公開的以上示例性實(shí)施例中，白板應(yīng)用不以分布式的方式操作:只有執(zhí)行了“抓取”的用戶在注釋白板上的圖像。而且，和他們接收任何其它共享一樣所有其他參與者從白板接收注釋的圖像。換言之，他們不需要任何特殊或附加的軟件，并且實(shí)際上，即使沒有配備改進(jìn)的內(nèi)容共享能力的系統(tǒng)也可以顯示注釋的白板而沒有問題(向后兼容)。
[0076]接收白板圖像并配備了 “抓取和繪制”的改進(jìn)的內(nèi)容共享能力的其他用戶將能夠自己“抓取”圖像,并獨(dú)立地添加內(nèi)容。
[0077]在本公開的一些實(shí)施例中“抓取”操作可以經(jīng)由觸摸屏執(zhí)行，而在其它實(shí)施例中可以經(jīng)由合適的定點(diǎn)設(shè)備(諸如鼠標(biāo))來執(zhí)行。其它用戶接口控制設(shè)備可以如對(duì)本領(lǐng)域技術(shù)人員顯而易見地使用，包括平板機(jī)、觸摸墊、3D定點(diǎn)設(shè)備等。
[0078]本公開有視頻通信系統(tǒng)的現(xiàn)有組件不受改進(jìn)的內(nèi)容共享能力影響的益處。因此設(shè)計(jì)提供對(duì)現(xiàn)有系統(tǒng)的向后兼容。
[0079]與分布式解決方案相反，在本公開中應(yīng)用不需要將遠(yuǎn)程鼠標(biāo)和鍵盤命令發(fā)送給遠(yuǎn)程應(yīng)用。這樣的應(yīng)用傾向于非交互式(由于高等待時(shí)間)并且難以使用。在本公開中白板應(yīng)用上的繪制操作是本地執(zhí)行的。
[0080]在本公開的一些實(shí)施例中繪制操作執(zhí)行于其上的設(shè)備可以不是視頻通信的其余部分發(fā)生于其中的同一設(shè)備。這會(huì)是多相機(jī)/多監(jiān)視器系統(tǒng)中以控制單元和一個(gè)或多個(gè)節(jié)點(diǎn)單元為特征的情況，如之前引用的共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)第PCT/US11/038003號(hào)中所描述的。改進(jìn)的交互式內(nèi)容共享應(yīng)用可以是配備了合適的定點(diǎn)設(shè)備(諸如鼠標(biāo))或內(nèi)置定點(diǎn)設(shè)備(諸如觸摸屏)的節(jié)點(diǎn)單元。稍后更詳細(xì)的描述控制單元和節(jié)點(diǎn)單元。
[0081]在本公開的一些實(shí)施例中端點(diǎn)可以修改為一旦用戶“抓取” 了圖像就啟用所有端點(diǎn)上的“受迫共享”。在此情況中所有用戶被迫查看特定共享，如源自內(nèi)容共享端點(diǎn)通過服務(wù)器給接收端點(diǎn)的適當(dāng)信令所指令的。
[0082]在本公開的一些實(shí)施例中，可以應(yīng)用“抓取和繪制”概念使得觸發(fā)(“抓取”)是用戶姿勢(shì)而不是點(diǎn)擊“抓取”按鈕。例如，相機(jī)可以聚焦于白板區(qū)域，并且當(dāng)檢測(cè)到有人在白板上寫時(shí)系統(tǒng)可以執(zhí)行視頻切換到該相機(jī)使得它的內(nèi)容被選擇用于發(fā)送到其他參與者。在此情況中“抓取”動(dòng)作是用戶在白板前面的存在。
[0083]現(xiàn)在描述基于在國(guó)際專利第PCT/US11/038003號(hào)(之前引用的)中公開的多監(jiān)視器/多相機(jī)架構(gòu)的本公開的實(shí)施例。對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，有一個(gè)或兩個(gè)監(jiān)視器和少量相機(jī)的較簡(jiǎn)單架構(gòu)中的操作可以通過將功能集成進(jìn)單個(gè)系統(tǒng)組件中用相同或類似的方式執(zhí)行。
[0084]在本公開的此實(shí)施例中，假定遵循H.264SVC規(guī)范(之前引用的)使用了可縮放視頻(及可選地音頻)編碼。對(duì)于音頻假定使用了 Speex音頻編碼。
[0085]本公開不要求視頻編碼是可縮放的。對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，可以使用任何視頻或音頻編碼技術(shù)，包括單層、同步廣播或甚至多描述編碼。SVCS的使用使端點(diǎn)中的個(gè)別流的處理更簡(jiǎn)單。[0086]圖7根據(jù)本公開的主題的一些實(shí)施例描繪了配備交互式內(nèi)容共享的端點(diǎn)700的結(jié)構(gòu)。該圖示出了由控制單元770和一組節(jié)點(diǎn)750和760構(gòu)成的端點(diǎn)700。端點(diǎn)可以包括任何數(shù)量的節(jié)點(diǎn)；在圖中示出了 N個(gè)節(jié)點(diǎn)。根據(jù)本公開的原則，第N個(gè)節(jié)點(diǎn)示為稱作“內(nèi)容共享節(jié)點(diǎn)”的特殊類型節(jié)點(diǎn)。為了說明的目的示出了單個(gè)這樣的節(jié)點(diǎn)；實(shí)際上任何數(shù)量的節(jié)點(diǎn)可以是內(nèi)容共享節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)750包括節(jié)點(diǎn)單元755，節(jié)點(diǎn)單元755可以連接到監(jiān)視器720、可選地相機(jī)710和可選地音頻設(shè)備730 (話筒、揚(yáng)聲器、或二者的組合，或者單聲道或者立體的)。這些以下稱為“外圍設(shè)備”。節(jié)點(diǎn)單元750和760可以連接到控制單元770，控制單元770是端點(diǎn)700的操作控制中心。控制單元可以與SVCS和管理服務(wù)器(諸如門戶)通信。端點(diǎn)700還可以具有與控制單元770通信并允許操作員做系統(tǒng)選擇或設(shè)置的控制面板780。例如控制面板780可以是在蘋果iPad設(shè)備上運(yùn)行的應(yīng)用。
[0087]節(jié)點(diǎn)760因?yàn)樗ㄓ|摸屏766而不是常規(guī)監(jiān)視器720而示為特殊節(jié)點(diǎn)。觸摸屏766既經(jīng)由視頻連接764與它的節(jié)點(diǎn)單元連接，又還具有提供關(guān)于觸摸屏狀態(tài)的信息的第二連接762。第二連接762可以是USB連接或藍(lán)牙連接，或任何其它合適的連接。在本公開的一些實(shí)施例中，內(nèi)容共享節(jié)點(diǎn)單元可以具有常規(guī)監(jiān)視器(諸如監(jiān)視器720)并配備定點(diǎn)設(shè)備(諸如鼠標(biāo))。對(duì)本領(lǐng)域技術(shù)人員顯而易見的是，獲得用戶交互的替換機(jī)制也是可能的。
[0088]端點(diǎn)700像常規(guī)端點(diǎn)一樣參與視頻通信會(huì)話，如也在國(guó)際專利申請(qǐng)第PCT/US11/038003號(hào)(之前引用的)中描述的。觸摸屏766允許用戶觸摸屏幕上的點(diǎn)(例如“抓取”按鈕)并因此指令系統(tǒng)“抓取”當(dāng)前屏幕上示出的圖像的快照。圖像自動(dòng)成為與內(nèi)容共享節(jié)點(diǎn)760相關(guān)聯(lián)的節(jié)點(diǎn)單元765開始與其他參與者共享的內(nèi)容，如任何其它共享內(nèi)容一樣。在本公開的一個(gè)實(shí)施例中，節(jié)點(diǎn)單元765還運(yùn)行允許用戶選擇繪制顏色并然后在“抓取”的內(nèi)容上繪制線條的軟件。運(yùn)行在節(jié)點(diǎn)單元765上的軟件還可以包括“清除”按鈕以清除所有的注釋并重置繪制過程。如國(guó)際專利申請(qǐng)第PCT/US11/038003號(hào)(之前引用的)中所解釋的，節(jié)點(diǎn)單元可以實(shí)際上與端點(diǎn)的控制單元集成在單個(gè)設(shè)備中。
[0089]端點(diǎn)700在完整系統(tǒng)的上下文中的操作在圖8中描繪。該圖示出了互連多個(gè)不同類型端點(diǎn)的示例性SVCS810。盡管示出了單個(gè)SVCS810，應(yīng)注意，一般由于級(jí)聯(lián)可以在諸SVCS之間使用(即在從一個(gè)端點(diǎn)到另一個(gè)的路徑中可以有多于一個(gè)的SVCS)多于一個(gè)的SVCS可以與連接相關(guān)聯(lián)。SVCS的級(jí)聯(lián)與本公開的主題兼容。
[0090]繼續(xù)參考圖8，該圖示出了配備內(nèi)容節(jié)點(diǎn)單元820CO的端點(diǎn)1820。還存在以多個(gè)相機(jī)和多個(gè)監(jiān)視器為特征的端點(diǎn)2822。還存在可以是典型單編碼器視頻會(huì)議的房間系統(tǒng)824端點(diǎn)，和桌面826端點(diǎn)，桌面826端點(diǎn)是用軟件實(shí)現(xiàn)并運(yùn)行在通用計(jì)算機(jī)上的端點(diǎn)。最后，存在用來互連傳統(tǒng)系統(tǒng)880的網(wǎng)關(guān)828設(shè)備，傳統(tǒng)系統(tǒng)880可以不支持SVCS的操作。
[0091]傳統(tǒng)系統(tǒng)880可以是房間系統(tǒng)、桌面軟件系統(tǒng)或事實(shí)上傳統(tǒng)MCU。網(wǎng)關(guān)828在其SVC連接中如常規(guī)SVC端點(diǎn)一樣操作并在其傳統(tǒng)連接中如傳統(tǒng)端點(diǎn)一樣操作；它適當(dāng)?shù)貓?zhí)行音頻和視頻的代碼轉(zhuǎn)換，并還在其每一邊使用合適的信令。例如，它可以使用H.323與傳統(tǒng)系統(tǒng)880通信和使用可能專用的另一協(xié)議與SVCS810通信，并對(duì)視頻在H.264SVC和
H.263之間代碼轉(zhuǎn)換和對(duì)音頻在Speex和G.722之間代碼轉(zhuǎn)換。
[0092]端點(diǎn)和網(wǎng)關(guān)的特定選擇僅為了說明的目的而使用；可以使用任何數(shù)量的端點(diǎn)及任何數(shù)量的傳統(tǒng)端點(diǎn)或網(wǎng)關(guān)，如對(duì)本領(lǐng)域技術(shù)人員顯而易見的。
[0093]在本公開的一個(gè)實(shí)施例中，圖8中示出的系統(tǒng)中的“抓取和繪制”操作如下。操作端點(diǎn)1820的用戶(或諸用戶之一)前進(jìn)到內(nèi)容共享節(jié)點(diǎn)單元820co并觸摸觸摸屏附連到內(nèi)容共享節(jié)點(diǎn)單元820co的按鈕。屏幕中示出的圖像被“抓取”或捕捉，并自動(dòng)成為源自端點(diǎn)1820的內(nèi)容共享。用戶被示以允許在觸摸屏上繪制的附加圖形用戶接口元件。這樣在捕捉的圖片上繪制的效果被發(fā)送給所有其他參與者，如任何其它共享內(nèi)容上的視覺更新會(huì)做的。操作類似于共享Microsoft Word窗口——任何由窗口上的Word執(zhí)行的變更被發(fā)送(確切而言，該窗口的編碼圖像被發(fā)送)給其他用戶。
[0094]內(nèi)容共享可以由端點(diǎn)1820經(jīng)由SVCS810發(fā)送給其他參與者。與SVC/SVCS架構(gòu)兼容的參與者可以直接顯示共享內(nèi)容。其它端點(diǎn)諸如傳統(tǒng)系統(tǒng)880可以經(jīng)由網(wǎng)關(guān)828接收這樣的內(nèi)容。網(wǎng)關(guān)828可以作為附加視頻參與者提供這樣的內(nèi)容，或者可以使用諸如H.239之類的協(xié)議來指示該流對(duì)應(yīng)于共享內(nèi)容。
[0095]根據(jù)本公開的一個(gè)實(shí)施例抓取、繪制和共享的過程在圖9中進(jìn)一步說明。圖9(a)示出了顯示來自一些參與者的共享內(nèi)容920的觸摸屏監(jiān)視器910。示給用戶的用戶接口包括抓取按鈕925。當(dāng)用戶點(diǎn)擊抓取按鈕925 (直接通過觸摸屏接口或通過一些其它合適的定點(diǎn)設(shè)備)時(shí)當(dāng)前顯示的圖像被“抓取”或捕捉，并靜態(tài)地顯示(不需要由原始共享內(nèi)容的遠(yuǎn)程參與者驅(qū)動(dòng))。然后用戶接口移除抓取按鈕925并如圖9 (b)所示替代顯示光標(biāo)935、顏色選擇按鈕930和清除按鈕932 (標(biāo)記為“CLR”)。然后用戶接口允許用戶在屏幕上繪制。圖9 (c)示出一示例，其中用戶已經(jīng)繪制了橢圓注釋940，推測(cè)是為了突出顯示在監(jiān)視器上示出的圖的一些特征。注意，遠(yuǎn)程用戶只看見捕捉(“抓取”)的圖像及可以被繪制的任何注釋，如圖9 (d)所示。換言之，用戶接口元件只示給執(zhí)行注釋的用戶。
[0096]以上所描述的用于使用多個(gè)相機(jī)和多個(gè)監(jiān)視器的可縮放視頻通信的方法可以實(shí)現(xiàn)為使用計(jì)算機(jī)可讀指令并物理地存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)軟件。計(jì)算機(jī)軟件可以使用任何合適的計(jì)算機(jī)語(yǔ)言編碼。軟件指令可以在各種類型的計(jì)算機(jī)上執(zhí)行。例如，圖10示出了適用于實(shí)現(xiàn)本公開的實(shí)施例的計(jì)算機(jī)系統(tǒng)1000。
[0097]圖10中示出的計(jì)算機(jī)系統(tǒng)1000的組件在本質(zhì)上是示例性的，并且不旨在對(duì)實(shí)現(xiàn)本公開的實(shí)施例的計(jì)算機(jī)軟件的使用或功能的范圍提出任何限制。也不應(yīng)將該組件的配置解釋為對(duì)示例性實(shí)施例中示出的計(jì)算機(jī)系統(tǒng)的任一組件或其組合有任何依賴性或要求。計(jì)算機(jī)系統(tǒng)1000可以具有許多物理形式，包括集成電路、印刷電路板、小型手持式設(shè)備(諸如移動(dòng)電話或PDA)、個(gè)人計(jì)算機(jī)或超級(jí)計(jì)算機(jī)。
[0098]計(jì)算機(jī)系統(tǒng)1000包括顯示器1032、一個(gè)或多個(gè)輸入設(shè)備1033(例如小鍵盤、鍵盤、鼠標(biāo)、指不筆等)、一個(gè)或多個(gè)輸出設(shè)備1034(例如揚(yáng)聲器)、一個(gè)和多個(gè)存儲(chǔ)設(shè)備1035、各種類型的存儲(chǔ)介質(zhì)1036。
[0099]系統(tǒng)總線1040鏈接各種子系統(tǒng)。如本領(lǐng)域技術(shù)人員所理解的，“總線”指提供公共功能的多種數(shù)字信號(hào)線。系統(tǒng)總線1040可以是幾種類型的總線結(jié)構(gòu)中的任一種，包括存儲(chǔ)器總線、外圍總線、以及使用各種總線架構(gòu)中的任一種的局部總線。作為示例而非限制，這樣的架構(gòu)包括工業(yè)標(biāo)準(zhǔn)架構(gòu)(ISA)總線、增強(qiáng)型ISA (EISA)總線、微通道架構(gòu)(MCA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)局部總線(VLB)、外圍組件互連(PCI)總線、快速PCI總線(PC1-X)和加速圖形端口(AGP)總線。
[0100]處理器1001 (也稱為中央處理單元或CPU)可選地包含用于臨時(shí)本地存儲(chǔ)指令、數(shù)據(jù)或計(jì)算機(jī)地址的高速緩存存儲(chǔ)器單元1002。處理器1001耦合到包括存儲(chǔ)器1003的存儲(chǔ)設(shè)備。存儲(chǔ)器1003包括隨機(jī)存取存儲(chǔ)器(RAM) 1004和只讀存儲(chǔ)器(ROM) 1005。如本領(lǐng)域內(nèi)周知的，R0M1005用于將數(shù)據(jù)和指令單向地傳輸給處理器1001，且RAM1004通常用來以雙向方式傳輸數(shù)據(jù)和指令。這些類型的存儲(chǔ)器都可以包括以下任何合適的所描述的計(jì)算機(jī)可讀介質(zhì)。
[0101]固定存儲(chǔ)1008也雙向耦合到處理器1001，可選地經(jīng)由存儲(chǔ)控制單元1007。它提供附加數(shù)據(jù)存儲(chǔ)能力并還可以包括任何以下所描述的計(jì)算機(jī)可讀介質(zhì)。存儲(chǔ)1008可以用來存儲(chǔ)操作系統(tǒng)1009、可執(zhí)行文件(EXEC) 1010、應(yīng)用程序1012、數(shù)據(jù)1011等等，并通常是比主存儲(chǔ)慢的次存儲(chǔ)介質(zhì)(諸如硬盤)。應(yīng)理解，在合適的情況下存儲(chǔ)1008中保留的信息可以如存儲(chǔ)器1003中的虛擬存儲(chǔ)器合并進(jìn)標(biāo)準(zhǔn)方式。
[0102]處理器1001還耦合到各種接口，諸如圖形控制1021、視頻接口 1022、輸入接口1023、輸出接口 1024、存儲(chǔ)接口 1025，并且這些接口進(jìn)而耦合到合適的設(shè)備。一般地，輸入/輸出設(shè)備可以是任一種:視頻顯示、跟蹤球、鼠標(biāo)、鍵盤、話筒、觸敏顯示、傳感器讀卡器、磁或紙帶讀取器、平板機(jī)、指示筆、語(yǔ)音或手寫識(shí)別器、生物測(cè)定讀取器或其它計(jì)算機(jī)。處理器1001可以耦合到另一計(jì)算機(jī)或使用網(wǎng)絡(luò)接口 1020耦合到電信網(wǎng)絡(luò)1030。有了這樣的網(wǎng)絡(luò)接口 1020，可以構(gòu)想CPU1001在執(zhí)行以上描述的方法的過程中可以從網(wǎng)絡(luò)1030接收信息，或可以輸出信息到網(wǎng)絡(luò)。而且，本公開的方法實(shí)施例可以單在CPU1001上執(zhí)行，或可以在網(wǎng)絡(luò)1030諸如因特網(wǎng)結(jié)合共享過程的一部分的遠(yuǎn)程CPU1001上執(zhí)行，
[0103]根據(jù)各種實(shí)施例，當(dāng)在網(wǎng)絡(luò)環(huán)境中時(shí)，即當(dāng)計(jì)算機(jī)系統(tǒng)1000連接到網(wǎng)絡(luò)1030時(shí)，計(jì)算機(jī)系統(tǒng)1000可以與也連接到網(wǎng)絡(luò)1030的其它設(shè)備通信。通信可以經(jīng)由網(wǎng)絡(luò)接口 1020從計(jì)算機(jī)系統(tǒng)1000發(fā)送或發(fā)送到計(jì)算機(jī)系統(tǒng)1000。例如，一個(gè)或多個(gè)分組形式的傳入通信，諸如來自另一設(shè)備的請(qǐng)求或響應(yīng)，可以在網(wǎng)絡(luò)接口 1020從網(wǎng)絡(luò)1030接收并存儲(chǔ)在存儲(chǔ)器1003的所選的區(qū)中用于處理。也是一個(gè)或多個(gè)分組形式的傳出通信，諸如給另一設(shè)備的請(qǐng)求或響應(yīng)，也可以存儲(chǔ)在存儲(chǔ)器1003的所選的區(qū)中并在網(wǎng)絡(luò)接口 1020發(fā)送出去給網(wǎng)絡(luò)1030。處理器1001可以訪問這些存儲(chǔ)在存儲(chǔ)器1003中用于處理的通信分組。
[0104]另外，本公開的實(shí)施例還涉及有計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)存儲(chǔ)產(chǎn)品，計(jì)算機(jī)可讀介質(zhì)其上有用于執(zhí)行各種計(jì)算機(jī)實(shí)現(xiàn)的操作的計(jì)算機(jī)代碼。介質(zhì)和計(jì)算機(jī)代碼可以是那些為了本公開的目的特別設(shè)計(jì)和構(gòu)造的，或可以是在計(jì)算機(jī)軟件領(lǐng)域中的技術(shù)人員周知和可用的類型。計(jì)算機(jī)可讀介質(zhì)的示例包括但不限于:磁介質(zhì)諸如硬盤、軟盤和磁帶；光學(xué)介質(zhì)諸如⑶-ROM和全息設(shè)備；磁光介質(zhì)諸如光盤；和特別配置為存儲(chǔ)和執(zhí)行程序代碼的硬件設(shè)備，諸如專用集成電路(ASIC)、可編程邏輯設(shè)備(PLD)及ROM和RAM設(shè)備。計(jì)算機(jī)代碼的示例包括機(jī)器代碼諸如由編譯器生成的，和包含由計(jì)算機(jī)使用解釋器執(zhí)行的更高級(jí)代碼的文件。本領(lǐng)域技術(shù)人員還應(yīng)理解，如結(jié)合本公開主題所使用的術(shù)語(yǔ)“計(jì)算機(jī)可讀介質(zhì)”不涵蓋傳輸介質(zhì)、載波或其它瞬態(tài)信號(hào)。
[0105]作為示例而非限制的方式，具有架構(gòu)1000的計(jì)算機(jī)系統(tǒng)可以提供功能作為處理器1001執(zhí)行體現(xiàn)在一個(gè)或多個(gè)有形的計(jì)算機(jī)可讀介質(zhì)諸如存儲(chǔ)器1003中的軟件的結(jié)果。實(shí)現(xiàn)本公開的各種實(shí)施例的軟件可以存儲(chǔ)在存儲(chǔ)器1003中并由處理器1001執(zhí)行。根據(jù)特定需求計(jì)算機(jī)可讀介質(zhì)可以包括一個(gè)或多個(gè)存儲(chǔ)器設(shè)備。存儲(chǔ)器1003可以從一個(gè)或多個(gè)其它計(jì)算機(jī)可讀介質(zhì)諸如大容量存儲(chǔ)設(shè)備1035或經(jīng)由通信接口從一個(gè)或多個(gè)其它源讀取軟件。軟件可以導(dǎo)致處理器1001執(zhí)行此處所描述的特定過程或特定過程的特定部分，包括定義存儲(chǔ)在存儲(chǔ)器1003中的數(shù)據(jù)結(jié)構(gòu)和根據(jù)由軟件定義的過程修改這些數(shù)據(jù)結(jié)構(gòu)。作為補(bǔ)充或替換，計(jì)算機(jī)系統(tǒng)可以提供功能作為硬連線或另外體現(xiàn)在電路中的邏輯的結(jié)果，邏輯可以在軟件的位置中或與軟件一起執(zhí)行此處所描述的特定過程或特定過程的特定部分。當(dāng)合適的時(shí)候，對(duì)軟件的引用可以涵蓋邏輯，并且反之亦然。當(dāng)合適的時(shí)候，對(duì)計(jì)算機(jī)可讀介質(zhì)的引用可以涵蓋存儲(chǔ)用于執(zhí)行的軟件的電路(諸如集成電路(1C))、體現(xiàn)用于執(zhí)行的邏輯的電路、或二者。本公開涵蓋任何合適的硬件和軟件的組合。
[0106]盡管本公開描述了數(shù)個(gè)示例性實(shí)施例，但落入本公開主題的范圍的更改、排列和各種替換性等價(jià)方案是存在的。因此應(yīng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)想許多盡管此處沒有顯式地示出或描述但體現(xiàn)本公開主題的原則并因此在其精神和范圍之內(nèi)的系統(tǒng)和方法。
【權(quán)利要求】
1.一種用于在至少第一和第二端點(diǎn)之間通過通信網(wǎng)絡(luò)交互式地共享和注釋視覺信息的系統(tǒng)，所述系統(tǒng)包括: 耦合到所述第一端點(diǎn)的顯示器；以及 耦合到所述第一端點(diǎn)并與所述顯示器相關(guān)聯(lián)的用戶交互設(shè)備； 其中所述第一端點(diǎn)被配置為: 通過所述通信網(wǎng)絡(luò)從至少所述第二端點(diǎn)接收視覺信息并發(fā)送視覺信息給至少所述第ニ端點(diǎn)； 在所述顯示器上示出從至少所述第二端點(diǎn)接收的視覺信息； 當(dāng)由所述用戶交互設(shè)備指令時(shí)獲得在所述顯示器上示出的所述視覺信息的副本； 如果有的話，按所述用戶交互設(shè)備所指示地添加注釋；以及 將所述注釋副本發(fā)送給所述第二端點(diǎn)。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述用戶交互設(shè)備包括人位置檢測(cè)設(shè)備。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述視覺信息用壓縮數(shù)字視頻格式編碼。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括耦合到所述通信網(wǎng)絡(luò)的服務(wù)器，通過服務(wù)器所述第一端點(diǎn)和第二端點(diǎn)互相通信。
5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一端點(diǎn)還被配置為發(fā)送信息給所述第二端點(diǎn)以顯示所發(fā)送的視覺信息的注釋副本。
6.ー種用于通過通信網(wǎng)絡(luò)交互式地共享和注釋視覺信息的方法，所述方法包括步驟: 在第一端點(diǎn)，通過所述通信網(wǎng)絡(luò)從第二端點(diǎn)接收視覺信息或發(fā)送視覺信息給第二端點(diǎn)； 在所述第一端點(diǎn)，顯示從所述第二端點(diǎn)接收的視覺信息； 在接收了耦合到所述第一端點(diǎn)的用戶交互設(shè)備的指令之后， 獲得所述視覺信息的副本， 按所述用戶交互設(shè)備所指示地添加任何注釋，以及 將所述視覺信息的注釋副本發(fā)送給所述第二端點(diǎn)。
7.如權(quán)利要求6所述的方法，其特征在于，還包括由所述用戶交互設(shè)備檢測(cè)人的位置。
8.如權(quán)利要求6所述的方法，其特征在于，還包括用數(shù)字視頻編碼格式壓縮所述視覺信息。
9.如權(quán)利要求6所述的方法，其特征在干，從所述第二端點(diǎn)接收或發(fā)送給所述第二端點(diǎn)的所述視覺信息通過服務(wù)器傳遞。
10.一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)包括用于指導(dǎo)處理器執(zhí)行權(quán)利要求6-9之一的方法的ー組指令。
【文檔編號(hào)】G06F17/00GK103597468SQ201280028041
【公開日】2014年2月19日 申請(qǐng)日期:2012年6月8日 優(yōu)先權(quán)日:2011年6月8日
【發(fā)明者】A·埃萊夫塞里埃茲, O·夏皮羅, R·沙倫 申請(qǐng)人:維德約股份有限公司