專利名稱：用于在視頻會議期間處理圖像的方法、設(shè)備和計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻會議和遠程出席系統(tǒng)領(lǐng)域。更具體地，本發(fā)明涉及用于在多個視頻會議終端之間的會議期間處理圖像的方法、設(shè)備以及計算機程序。
背景技術(shù)：
傳統(tǒng)視頻會議系統(tǒng)包括若干視頻會議終端(端點)，用于在諸如WAN、LAN和電路交換網(wǎng)絡(luò)的多種網(wǎng)絡(luò)之上和之間交流實時視頻、音頻和/或數(shù)據(jù)(通常稱為雙視頻)流。駐于不同場點的若干視頻會議系統(tǒng)可以參與同一會議，最通常地，通過執(zhí)行如切換和混合功能的一個或多個MCU (多點控制單元)來允許視聽終端適當?shù)叵嗷ネㄐ?。視頻會議系統(tǒng)當前提供至少兩個位置之間的通信，以允許在每個站點處的參會者之間進行視頻會議。傳統(tǒng)地，視頻會議終端設(shè)有一個或多個攝像機。那些攝像機的輸出連同音頻信號被一起發(fā)送至第二位置處的相應(yīng)多個顯示器，使得感知到第一位置處的參會者出席或者與第二位置處的參會者面對面。遠程出席(tel印resence)系統(tǒng)是增強的視頻會議系統(tǒng)。典型地，遠程出席系統(tǒng)中的終端具有多個大型顯示器，用于實物尺寸的視頻，通常安裝在具有專用于和適于視頻會議的內(nèi)部陳設(shè)的房間中，所有均盡可能創(chuàng)建接近個人會見的會議。圖1是示出遠程出席視頻會議的背景技術(shù)方面的示意圖。視頻會議設(shè)備的顯示設(shè)備，特別是遠程出席類型的視頻會議終端，布置在多個 (所示為4個)本地會議參會者前面。本地參會者沿著桌子落座于面對包括多個顯示屏幕的顯示設(shè)備之處。在所示的實例中，四個顯示屏幕包括在顯示設(shè)備中。第一、第二和第三顯示屏幕相互鄰近地布置。第一、第二和第三顯示屏幕被用于顯示在相應(yīng)遠程出席類型的一個或多個遠程會議場點處拍攝的圖像。第四顯示屏幕布置在第二顯示屏幕之下的中心位置處。在典型使用中，第四屏幕可以用于計算機生成的呈現(xiàn)內(nèi)容或其他次要會議信息。視頻攝像機被布置在上部的顯示屏幕的頂部上，以拍攝本地參會者的圖像，所拍攝的圖像被發(fā)送至相應(yīng)的遠程視頻會議場點。圖1中所示設(shè)置的目的是給本地參會者提供與各個顯示屏幕所示的遠程參會者實際上在同一會議室中出席的感覺。實現(xiàn)出席的感覺的關(guān)鍵因素是看到遠程參會者正在注視誰的能力，所有參會者均以真人尺寸顯示并且所有被顯示的參會者看起來相互具有相等尺寸。用于實現(xiàn)高質(zhì)量遠程出席的另一條件是，盡可能不失真地將遠程參會者的圖像呈現(xiàn)給每個本地參會者。為了獲得這種出席的感覺，遠程出席系統(tǒng)使用一組特殊規(guī)則或?qū)Ｓ脜f(xié)議。從而，諸如圖1中所示的遠程出席系統(tǒng)將僅與支持該組規(guī)則(或協(xié)議)的其他遠程出席系統(tǒng)適當?shù)夭僮?。而且，由于還沒有限定用于遠程出席系統(tǒng)的標準協(xié)議，只有來自同一制造商的遠程出席系統(tǒng)可以按滿意的方式相互操作。在多種情況下，即使常規(guī)視頻會議終端不提供相同視頻和音頻質(zhì)量、實物尺寸或目光接觸，也需要從遠程出席系統(tǒng)呼叫常規(guī)視頻會議終端，或者在遠程出席系統(tǒng)接收來自常規(guī)視頻會議終端的呼叫。解決這種問題的一種方式是使用傳統(tǒng)視頻會議編解碼器來處理與常規(guī)(非遠程出席)視頻會議終端的呼叫，包括在使用第四顯示器的會議中的那些呼叫。如圖1所示，該第四屏幕可以位于第二屏幕之下?？商孢x地，其可以位于構(gòu)成遠程出席系統(tǒng)的顯示器集合的上邊或旁邊。在這樣的第四屏幕上顯示參會者的一個問題在于，出席的感覺通常會喪失或者至少減少。例如，當一個遠程出席場點處的參會者注視第四屏幕時，在其他遠程出席場點處的參會者看起來他們好象在看桌面、天花板或墻壁。從而，當常規(guī)(非遠程出席)視頻會議終端包括在會議中時，需要改進遠程出席系統(tǒng)中的出席體驗。涉及附加(例如，第四)屏幕的背景技術(shù)解決方案的另一缺點在于，會議系統(tǒng)占用會議室中很大的空間。甚至，隨著三個主顯示器的顯示尺寸的增加，可能沒有用于附加屏幕的空間。

發(fā)明內(nèi)容
本發(fā)明提供了在權(quán)利要求中所述的方法、計算機程序部分以及視頻會議設(shè)備。


為了使本發(fā)明更容易理解，將參考附圖進行以下論述，其中圖1是示出遠程出席視頻會議的背景技術(shù)方面的示意圖，圖2是示出用于在視頻會議期間處理圖像的方法的原理的示意性流程圖，圖3、圖4和圖5是實現(xiàn)用于在視頻會議期間處理圖像的方法的系統(tǒng)的示例性實施例，以及圖6是進一步示出用于在視頻會議期間處理圖像的方法的示意圖。
具體實施例方式以下，將通過描述多種實施例并且通過參考附圖論述本發(fā)明。然而，本領(lǐng)域技術(shù)人員會實現(xiàn)在所包括的獨立權(quán)利要求中限定的本發(fā)明范圍內(nèi)的其他應(yīng)用和修改。圖2是示出用于在多個視頻會議終端之間的會議期間處理圖像的方法的原理的示意性流程圖。該方法開始于起始步驟200。首先，在步驟210中，從至少兩個視頻會議終端提供圖像。從第一視頻會議終端的第一攝像機提供第一圖像，并且從第二視頻會議終端的第二攝像機提供第二圖像。第一和第二視頻會議終端可以是主型的，諸如，遠程出席終端。第一和第二圖像可以稱為主圖像，表示它們來自主型的視頻會議終端，諸如遠程出席終端。還可以從主型的附加視頻會議終端的攝像機提供圖像。接下來，在步驟220中，從第三視頻會議終端的第三攝像機提供圖像。該視頻會議終端可以是輔助型的。一方面，輔助型的至少一個視頻會議終端可以是非遠程出席終端，例如，常規(guī)H. 323終端?？商孢x地，第三遠程出席終端可以在H. 164、SIP、ICE或類似標準視頻會議協(xié)議上操作。第三圖像可以被稱為輔助圖像，表示其來自常規(guī)視頻會議終端，即，輔助非遠程出席終端。 還可以從輔助型的附加視頻會議終端的攝像機提供圖像。第一、第二和第三圖像(即，主圖像和輔助圖像)可以包含在視頻信號中。雖然第一和第二圖像(主圖像或者主視頻信號)分別來自第一和第二視頻會議終端，但是它們實際上可以經(jīng)由中間附加視頻會議裝備和/或網(wǎng)絡(luò)設(shè)備來提供。主圖像或視頻信號可以例如從包括在例如視頻會議端點或多點控制單元(MCU)的視頻會議設(shè)備中的諸如編解碼器的合適電路讀取?？梢詮闹T如攝像機、DVD播放器或個人計算機的其他源提供附加主圖像或主視頻信號。雖然第三圖像(輔助圖像或輔助視頻信號)源自于第三視頻會議終端，但是其實際上可以經(jīng)由中間附加視頻會議裝置和/或網(wǎng)絡(luò)設(shè)備來提供。輔助圖像或輔助視頻信號可以例如從包括在例如視頻會議端點或多點控制單元(MCU)的視頻會議設(shè)備中的諸如編解碼器的合適電路讀取。可以從諸如攝像機、DVD播放器或個人計算機的其他源提供附加輔助圖像或視頻信號。在一個方面，第三圖像僅源自于一個源。另一方面，第三圖像是來自兩個或更多源的合成圖像，例如，兩個視頻會議終端的連續(xù)呈現(xiàn)圖像。接下來，在生成步驟230中，生成合成圖像。更具體地，在步驟230中，生成第一合成圖像，其中，該生成包括把第三圖像(即， 從第三非遠程出席終端的攝像機提供的圖像)在第一位置插入到第二圖像(即，從第二視頻會議終端的第二攝像機提供的圖像)中。而且，在步驟230中，生成第二合成圖像，其中，該生成包括把第三圖像(即，從第三非遠程出席終端的攝像機提供的圖像)在第二位置插入到第一圖像(即，從第一視頻會議終端的第一攝像機提供的圖像)中。被插入到另一圖像中的圖像還可以稱為畫中畫或簡稱PIP。在生成步驟230中，第一和第二位置分別位于第一和第二合成圖像的橫向上相反的部分。第一和第二位置位于第一和第二合成圖像的橫向上相反的部分的規(guī)定導致以下有益效果當?shù)谝粫h終端處的會議參會者注視被插入的第三圖像即源自于常規(guī)的非遠程出席終端的圖像時，例如，在顯示屏幕的右手側(cè)，當圖像由攝像機拍攝并且被顯示在第二會議終端上時，該參會者好像在注視顯示器的相反側(cè)，諸如，顯示器的左手側(cè)。因此，當?shù)谝换虻诙曨l會議終端處的用戶與第三終端處的用戶交談(并且注視)時，在異地的(分別為第二或第一)視頻會議終端處的用戶會直觀地或者本能地理解本地用戶正在關(guān)注誰，因第三圖像的位置產(chǎn)生了自然的環(huán)境。結(jié)果，在當常規(guī)視頻會議終端包括在會議中的情況下，也明顯地改善第一和第二視頻會議終端的用戶的出席體驗。而且，克服或減少了對要求空間的額外顯示屏幕(在實例中為第四屏幕)的需要。更具體地，在步驟230中，第一合成圖像可以通過把第三圖像插入到第二圖像的右部位置來生成，并且第二合成圖像可以通過把第三圖像插入到第一圖像的左部位置來生成。第三圖像可以位于第一圖像的右半邊，同時第三圖像還可以位于第二圖像的左半邊。更具體地，并且通過實例，第三圖像可以位于第一和第二圖像中的垂直劃分中心軸的相反側(cè)的相同位置處。而且，第三圖像可以位于第一和第二圖像的下半部分。在生成步驟230中，第三圖像到第一或第二圖像的插入可以進一步涉及在被插入到第一或第二圖像之前，調(diào)整第三圖像的尺寸。更具體地，調(diào)整尺寸可以涉及縮減第三圖像的尺寸。調(diào)整尺寸可以例如包括縮減尺寸到預定尺寸/格式，或者可替選地，根據(jù)預定比率來縮減尺寸，或者根據(jù)預定規(guī)則來另外地調(diào)整尺寸。例如，第三圖像可以被調(diào)整尺寸，以獲得小于或等于第一和第二圖像的總面積的四分之一的尺寸。在一個實施例中，生成第一和第二合成圖像的步驟230在第一視頻會議終端執(zhí)行。在另一實施例中，生成第一和第二合成圖像的步驟230在多點控制單元MCU執(zhí)行。而且，在步驟MO中，供給待用于顯示在第一視頻會議終端的顯示器上的第一合成圖像。而且，在步驟240中，供給待用于顯示在第二視頻會議終端的顯示器上的第二合成圖像。在一個實施例中，步驟240進一步包括以下步驟在第一視頻會議終端的顯示器上顯示第一合成圖像；以及在第二視頻會議終端的顯示器上顯示第二合成圖像。在一個實施例中，提供所述第一、第二和第三圖像的步驟210、220在所述第一視頻會議終端執(zhí)行。在另一實施例中，提供第一、第二和第三圖像的步驟210、220在多點控制單元MCU 執(zhí)行。在一個實施例中，第一和第二視頻會議終端中的至少一個是遠程出席終端。第一和第二視頻會議終端可以都是遠程出席終端。在一個實施例中，該方法進一步包括從附加視頻會議終端提供附加圖像。視頻會議設(shè)備可以被配置成執(zhí)行在本公開中描述的方法。這種視頻會議設(shè)備可以例如被實現(xiàn)為視頻會議終端，例如，遠程出席終端或多點控制單元。此外還公開了一種計算機程序或至少一個計算機程序部分，其包括處理指令，當所述指令由視頻會議設(shè)備中的處理設(shè)備執(zhí)行時，使視頻會議設(shè)備中的處理設(shè)備執(zhí)行在本公開中描述的方法。計算機程序部分可以確實地存儲在諸如RAM、ROM或閃存的存儲器中，或者其可以存儲在諸如磁盤或光盤的計算機可讀介質(zhì)中。可替選地，計算機程序或計算機程序部分可以被實現(xiàn)為承載表示處理指令的信息的傳播信號，例如，在局域、區(qū)域或全局計算機網(wǎng)絡(luò)中的網(wǎng)絡(luò)元件之間傳送的通信信號。現(xiàn)在僅通過舉例示出該方法的進一步的可能方面。以下，將描述本發(fā)明的系統(tǒng)和布置的操作和布局的多個不同模式。圖3示出示例性實施例，其中，第一視頻會議終端是遠程出席終端301，并且第二視頻會議終端是常規(guī)(非遠程出席)視頻會議終端302。
為了簡單起見，僅在該實例中使用遠程出席終端301的中心部件(即，中心編解碼器)O從第一視頻會議終端301的第一攝像機提供第一圖像，并且從第二視頻會議終端 302的第二攝像機提供第二圖像。在該示例性情況下，圖像提供步驟通過第一視頻會議終端 301來執(zhí)行。此外，從第三常規(guī)(非遠程出席)視頻會議終端303的第三攝像機提供第三圖像。生成第一合成圖像，包括把第三圖像在右下的第一位置插入到所述第二圖像中。還生成第二合成圖像，包括把第三圖像在左下的第二位置插入到所述第一圖像中。供給第一合成圖像以用于顯示在第一視頻會議終端301上，并且供給第二合成圖像以用于顯示在第二視頻會議終端302上。圖4示出典型實施例，其中，第一和第二視頻會議終端401和402是遠程出席終端。第二視頻會議終端402可以可替選地是常規(guī)(非遠程出席)視頻會議終端。多點控制單元(MCU) 404通信地連接至第一和第二視頻會議終端401和402，并且被配置成執(zhí)行切換和混合功能，以允許在各終端之間的適當相互通信。為了簡單起見，僅在該實例中使用遠程出席終端401的中心部件(即，中心編解碼器)O從第一視頻會議終端401的第一攝像機提供第一圖像，并且從第二視頻會議終端 402的第二攝像機提供第二圖像。在該示例性情況下，圖像提供步驟通過MCU 404來執(zhí)行。此外，從第三常規(guī)(非遠程出席)視頻會議終端403的第三攝像機提供第三圖像。 第三視頻會議終端403也通信地連接至MCU 404。在該實施例中，第一、第二和第三圖像通過MCU 404來提供。而且，在該示例性實施例中，生成第一合成圖像的步驟通過MCU 404來執(zhí)行，包括把第三圖像在右下的第一位置插入到第二圖像中。而且，在該示例性實施例中，生成第二合成圖像的步驟通過MCU 404 來執(zhí)行，包括把第三圖像在左下的第二位置插入到所述第一圖像中。在這種情況下，由MCU 404供給第一合成圖像，以用于顯示在第一視頻會議終端 401上，并且由MCU 404供給第二合成圖像，以用于顯示在第二視頻會議終端402上。圖5示出典型實施例，其中，第一和第二視頻會議終端501和502均是遠程出席終端。在該實例中，使用遠程出席終端501和502的左側(cè)、中心和右側(cè)部件(即，左側(cè)、中心和右側(cè)編解碼器)。從第一視頻會議終端501的中心部件處的第一攝像機提供第一圖像，并且從第二視頻會議終端502的中心部件處的第二攝像機提供第二圖像。在該示例性情況下，圖像提供步驟通過第一視頻會議(遠程出席)終端501來執(zhí)行。此外，從第三常規(guī)(非遠程出席)視頻會議終端503的第三攝像機提供第三圖像。生成第一合成圖像，包括把第三圖像在右下的第一位置插入到第二圖像中。還生成第二合成圖像，包括把第三圖像在左下的第二位置插入到第一圖像中。供給第一合成圖像以用于顯示在第一視頻會議終端501上，并且供給第二合成圖像以用于顯示在第二視頻會議終端502上。另外，如所示出的，第一視頻會議終端501的左側(cè)部件通信地連接至第二視頻會議終端502的右側(cè)部件，并且反之亦然。圖6進一步示出該方法的原理和結(jié)果。圖6中的最上(第一)行(6a)示出第一、第二和第三視頻會議終端。第一和第二終端可以是遠程出席終端，同時第三終端通常是常規(guī)視頻會議終端。為了簡單起見，在第一、第二和第三視頻會議終端都僅示出一個用戶。在第一視頻會議終端處，攝像機拍攝第一用戶的圖像。在第二視頻會議終端處，攝像機拍攝第二用戶的圖像。在第三視頻會議終端處，攝像機拍攝第三用戶的圖像。在圖6 的第二行(6b)中示出所得到的圖像(分別是第一、第二和第三圖像)。在由圖6進一步示出的方法中，生成第一合成圖像，被示出為圖6中的第三行(6c) 的左側(cè)?？梢钥闯?，把第三圖像即第三用戶的圖像，在第一位置插入到第二圖像即第二用戶的圖像，由此來生成第一合成圖像。而且，生成第二合成圖像，被示出為圖6中的第三行的右側(cè)。把第三圖像即第三用戶的圖像，在第二位置插入到第一圖像即第一用戶的圖像中，由此來生成第二合成圖像。該行(6c)中的合成圖像還示出第一和第二位置，即被插入的第三圖像的位置位于第一和第二合成圖像的橫向上相反的部分。更具體地，第三圖像位于第一合成圖像的右下部分，同時它還位于第二合成圖像的左下部分。此外，在該方法中，供給第一合成圖像以用于顯示在第一視頻會議終端的顯示器上。第一用戶的結(jié)果視圖被示為圖6中的第四行(6d)的左側(cè)。而且，供給第二合成圖像以用于顯示在第二視頻會議終端的顯示器上。第二用戶的結(jié)果視圖被示為圖6中的第四行(6d)的右側(cè)。根據(jù)這些結(jié)果視圖可理解，在第一視頻會議終端處關(guān)注第三用戶的第一用戶將注視右側(cè)。這會被第二視頻會議終端處的第二用戶以自然的方式觀測和察覺到，因為當?shù)谝挥脩舫霈F(xiàn)在第二終端顯示屏幕上時，他或她在朝向第三用戶的圖像的方向觀看。
權(quán)利要求
1.一種用于在多個視頻會議終端之間的會議期間處理圖像的方法，所述方法包括 從第一視頻會議終端的第一攝像機提供第一圖像；從第二視頻會議終端的第二攝像機提供第二圖像； 從第三視頻會議終端的第三攝像機提供第三圖像；生成第一合成圖像，包括把所述第三圖像在第一位置插入到所述第二圖像中； 生成第二合成圖像，包括把所述第三圖像在第二位置插入到所述第一圖像中； 所述第一和第二位置分別位于所述第一和第二合成圖像的橫向上相反的部分； 供給待用于顯示在所述第一視頻會議終端的顯示器上的第一合成圖像；以及供給待用于顯示在所述第二視頻會議終端的顯示器上的第二合成圖像。
2.根據(jù)權(quán)利要求1所述的方法，進一步包括在所述第一視頻會議終端的顯示器上顯示所述第一合成圖像；以及在所述第二視頻會議終端的顯示器上顯示所述第二合成圖像。
3.根據(jù)權(quán)利要求1至2中的一項所述的方法，其中，生成第一和第二合成圖像的所述步驟進一步包括對所述第三圖像調(diào)整尺寸。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述調(diào)整尺寸包括縮減尺寸至預定尺寸或格式，或者使用預定比率來縮減尺
5.根據(jù)權(quán)利要求1至4中的一項所述的方法，其中，在所述第一視頻會議終端執(zhí)行所述的提供所述第一、第二和第三圖像的步驟。
6.根據(jù)權(quán)利要求1至4中的一項所述的方法，其中，在多點控制單元MCU執(zhí)行所述的提供所述第一、第二和第三圖像的步驟。
7.根據(jù)權(quán)利要求1至6中的一項所述的方法，其中，在所述第一視頻會議終端執(zhí)行所述的生成所述第一和第二合成圖像的步驟。
8.根據(jù)權(quán)利要求1至6中的一項所述的方法，其中，在多點控制單元MCU執(zhí)行所述的生成所述第一和第二合成圖像的步驟。
9.根據(jù)前述權(quán)利要求中的一項所述的方法，其中，所述第一和第二視頻會議終端中的至少一個是遠程出席終端。
10.根據(jù)前述權(quán)利要求中的一項所述的方法，其中，所述第三視頻會議終端是在H. 164、H. 323、SIP、ICE或類似標準視頻會議協(xié)議上操作的常規(guī)視頻會議終端。
11.根據(jù)前述權(quán)利要求中的一項所述的方法， 其中，所述圖像包含在視頻信號中。
12.根據(jù)前述權(quán)利要求中的一項所述的方法，進一步包括從附加視頻會議終端提供附加圖像。
13.一種用于在多個視頻會議終端之間的會議期間處理圖像的視頻會議設(shè)備， 被配置成執(zhí)行權(quán)利要求1-12中的一項所述的方法。
14.根據(jù)權(quán)利要求13所述的視頻會議設(shè)備，被實現(xiàn)為視頻會議終端、遠程出席終端或多點控制單元。
15.一種計算機程序部分，其確實地存儲在存儲器或計算機可讀介質(zhì)中，或者由被傳播信號承載，所述計算機程序部分包括處理指令，使視頻會議設(shè)備中的處理設(shè)備執(zhí)行權(quán)利要求1-12 中的一項所述的方法。
全文摘要
公開了一種在多個視頻會議終端之間的會議期間處理圖像的方法。該方法包括從第一視頻會議終端的第一攝像機提供第一圖像；從第二視頻會議終端的第二攝像機提供第二圖像；以及從第三視頻會議終端的第三攝像機提供第三圖像。此外，該方法包括生成第一合成圖像，包括把所述第三圖像在第一位置插入到所述第二圖像中；以及生成第二合成圖像，包括把所述第三圖像在第二位置插入到所述第一圖像中。第一和第二位置分別位于第一和第二合成圖像的橫向上相反的部分。此外，分別供給第一和第二合成圖像以用于顯示在第一和第二視頻會議終端的顯示器上。當常規(guī)視頻會議終端連接至會議時，該方法改善了遠程出席體驗。
文檔編號H04N7/15GK102177711SQ200980139919
公開日2011年9月7日 申請日期2009年10月5日 優(yōu)先權(quán)日2008年10月7日
發(fā)明者埃納爾·哈根 申請人:坦德伯格電信公司