在虛擬會(huì)議中傳達(dá)注視信息的制作方法
【專利摘要】展示了召開傳達(dá)注視信息的虛擬會(huì)議的系統(tǒng)和方法。在存在三個(gè)節(jié)點(diǎn)的情況下，接收指示第一參與者的注視受體的來自第一節(jié)點(diǎn)的輸入，該注視受體與第二和第三節(jié)點(diǎn)之一相聯(lián)系。構(gòu)建按預(yù)定次序布置第一參與者、與第二節(jié)點(diǎn)相聯(lián)系的第二參與者、和與第三節(jié)點(diǎn)相聯(lián)系的第三參與者的表示的虛擬空間。根據(jù)虛擬空間中第一參與者的注視受體的表示的位置確定虛擬空間中第一參與者的注視角。生成包括如從虛擬空間中第二參與者的位置所看到那樣，在虛擬空間中正看著他的注視受體的第一參與者的圖像。
【專利說明】在虛擬會(huì)議中傳達(dá)注視信息
[0001]相關(guān)申請(qǐng)
[0002]本申請(qǐng)要求2011年9月23日提交的美國(guó)專利申請(qǐng)第13/244，114號(hào)的優(yōu)先權(quán)，在此通過引用并入其內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明一般涉及虛擬會(huì)議，尤其涉及能夠傳達(dá)注視信息的虛擬會(huì)議。
【背景技術(shù)】
[0004]在過去的十年里具有視頻會(huì)議形式的虛擬會(huì)議已經(jīng)得到廣泛應(yīng)用。視頻會(huì)議為參與者不用真正聚到一起“開會(huì)”提供了便利的方式。除了節(jié)省與旅途有關(guān)的時(shí)間和成本之外，視頻會(huì)議是環(huán)保的，因?yàn)閼?yīng)該有助于避免不必要的駕駛和飛行。盡管有上述優(yōu)點(diǎn)，但視頻會(huì)議目前沒有得到充分利用，人們?nèi)匀恍枰h(yuǎn)行去面對(duì)面開會(huì)。這是因?yàn)樵S多人發(fā)現(xiàn)視頻會(huì)議是面對(duì)面開會(huì)的不太好的替代品。
[0005]視頻會(huì)議不令人滿意的原因之一是缺乏眼睛接觸和注視信息。研究表明，眼睛接觸的空間失真對(duì)視頻會(huì)議中的有效溝通產(chǎn)生負(fù)面影響。會(huì)議參與者希望知道誰(shuí)正看著他們以及是否有人正看著他們，缺乏這些信息使視頻會(huì)議對(duì)于許多人來說是沒有人情味的、不舒服的和低效的。此外，缺乏眼睛注視信息甚至可以導(dǎo)致錯(cuò)誤溝通。例如，在有許多人的視頻會(huì)議中，有時(shí)難以精確地分辨說話者究竟在同誰(shuí)說話。當(dāng)說話者在漫長(zhǎng)的工作描述結(jié)束時(shí)問道“你能勝任嗎？ ”時(shí)，許多人可能假定他們的每一個(gè)都被問到是否勝任該工作。這類錯(cuò)誤溝通的可能性導(dǎo)致人 們避免經(jīng)由視頻會(huì)議進(jìn)行重要溝通，迫使他們?nèi)ヂ眯小?br> [0006]需要一種能夠保存精確注視信息的虛擬會(huì)議系統(tǒng)。

【發(fā)明內(nèi)容】

[0007]在一個(gè)方面中，本發(fā)明包括在第一節(jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法。該方法包括從第一節(jié)點(diǎn)接收指示與第一節(jié)點(diǎn)相聯(lián)系的第一參與者的注視受體的輸入，其中該注視受體與第二和第三節(jié)點(diǎn)之一相聯(lián)系；構(gòu)建按預(yù)定次序布置第一參與者、與第二節(jié)點(diǎn)相聯(lián)系的第二參與者、和與第三節(jié)點(diǎn)相聯(lián)系的第三參與者的表示的虛擬空間；根據(jù)虛擬空間中第一參與者的注視受體的表示的位置確定虛擬空間中第一參與者的第一注視角；以及生成要發(fā)送給第二節(jié)點(diǎn)的圖像，其中該圖像包括如從虛擬空間中第二參與者的位置所看到那樣，在虛擬空間中正看著他的注視受體的第一參與者。
[0008]在另一個(gè)方面中，本發(fā)明包括召開包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn)的虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法，其中第一節(jié)點(diǎn)與看著第一注視受體的第一參與者相聯(lián)系，第二節(jié)點(diǎn)與看著第二注視受體的第二參與者相聯(lián)系。該方法要求從第一節(jié)點(diǎn)接收指示第二參與者是第一注視受體的輸入，其中將第二參與者顯示在第一節(jié)點(diǎn)上的第一顯示設(shè)備上；通過使用與顯示在第一顯示設(shè)備上的第二參與者的圖像對(duì)準(zhǔn)的成像設(shè)備獲取第一參與者的正看著你圖像；以及將第一參與者的正看著你圖像發(fā)送到第二節(jié)點(diǎn)。[0009]在又一個(gè)方面中，本發(fā)明是在第一節(jié)點(diǎn)與第二節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法。該方法包括接收從不同角度捕獲的第一參與者的圖像，該第一參與者與第一節(jié)點(diǎn)相聯(lián)系；構(gòu)建按預(yù)定配置布置第一參與者和第二參與者的表示的虛擬空間，其中第二參與者與第二節(jié)點(diǎn)相聯(lián)系；從第一節(jié)點(diǎn)接收有關(guān)第一參與者的注視受體的輸入；選擇描繪如從虛擬空間中第二參與者的視角所看到那樣，在虛擬空間中正看著他的注視受體的第一參與者的圖像之一；以及將所選的一個(gè)圖像提供給第二節(jié)點(diǎn)。
[0010]在又一個(gè)方面中，本發(fā)明是在多個(gè)節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法，其中節(jié)點(diǎn)之一與主參與者相聯(lián)系，而其他節(jié)點(diǎn)分別與對(duì)等參與者相聯(lián)系。該方法要求構(gòu)建按預(yù)定次序布置主參與者和對(duì)等參與者的表示的虛擬空間；以及將虛擬空間的圖像提供給與主參與者相聯(lián)系的節(jié)點(diǎn)，其中動(dòng)態(tài)地調(diào)整圖像以便取決于主參與者的注視受體是誰(shuí)而包括虛擬空間的不同部分。
[0011]在又一個(gè)方面中，本發(fā)明是包括中央服務(wù)器、主終端和對(duì)等終端的虛擬會(huì)議系統(tǒng)。該主終端被配置成向該中央服務(wù)器報(bào)告主參與者的第一注視受體，以及發(fā)送從不同角度捕獲的主參與者的圖像。該對(duì)等終端被配置成向該中央服務(wù)器報(bào)告在對(duì)等終端上的各自對(duì)等參與者的注視狀態(tài)，以及向該中央服務(wù)器發(fā)送從不同角度獲得的對(duì)等參與者的圖像。該中央服務(wù)器被配置成構(gòu)建按已知配置布置主參與者和對(duì)等參與者的表示的虛擬空間，以及從主參與者的視角生成圖像，其中該圖像描繪在虛擬空間中沿著他們各自注視受體的方向觀看的對(duì)等參與者。
【專利附圖】

【附圖說明】
[0012]圖1A和IB描繪了按照本發(fā)明的虛擬會(huì)議系統(tǒng)的實(shí)施例；
[0013]圖2描繪了可以示出在終端上的視頻輸入和輸出設(shè)備上的例子；
[0014]圖3描繪了終端上的顯示設(shè)備上的視圖如何隨活動(dòng)節(jié)點(diǎn)重新指定而變；
[0015]圖4A和4B描繪了通過本發(fā)明的中央服務(wù)器構(gòu)建的虛擬空間的例子；
[0016]圖5描繪了當(dāng)參與者i正看著參與者j時(shí)顯示在終端i上的視圖的例子；
[0017]圖6描繪了當(dāng)參與者i正看著參與者m時(shí)顯示在終端i上的視圖的例子；
[0018]圖7A和7B例示了如何確定注視角；
[0019]圖8描繪了參與者看著各種節(jié)點(diǎn)的虛擬空間的例子；
[0020]圖9描繪了虛擬空間中參與者注視方向與他的肢體取向的對(duì)準(zhǔn)；
[0021]圖10AU0B和IOC例示了參與者j如何能夠根據(jù)虛擬空間的合成視圖分辨參與者i的注視方向；
[0022]圖11描繪了工作在滿載模式下的終端上的攝像機(jī)布局的例子；
[0023]圖12是總結(jié)在工作在滿載模式下的虛擬會(huì)議系統(tǒng)中實(shí)現(xiàn)ANL、EGG和EGC功能的一般過程的流程圖；
[0024]圖13描繪了在顯示在圖8中的實(shí)施例的情況下圖12的虛擬會(huì)議過程的例子；
[0025]圖14和15描繪了工作在半載模式下的終端上的攝像機(jī)布局的例子；
[0026]圖16描繪了工作在退化模式下的終端上的攝像機(jī)布局的例子；
[0027]圖17例示了圖像的鏡面反射；
[0028]圖18和19例示了如何可以達(dá)到不同級(jí)別的復(fù)雜度；[0029]圖20描繪了工作在雙攝像機(jī)模式下的終端上的顯示設(shè)備；
[0030]圖21描繪了在雙攝像機(jī)模式下實(shí)現(xiàn)ANL和EGG功能的過程；
[0031]圖22描繪了工作在混合模式下的終端上的顯示設(shè)備；
[0032]圖23A、23B和23C描繪了虛擬空間中參與者的靜態(tài)和動(dòng)態(tài)布局；
[0033]圖24和25分別示出了用于在圖23B和23C中描述的情況的參與者i和參與者j的合成視圖；以及
[0034]圖26A、26B和26C描繪了當(dāng)工作在動(dòng)態(tài)退化模式下時(shí)在虛擬空間中布置參與者的表示的示范性方式。
【具體實(shí)施方式】
[0035]本發(fā)明涉及在虛擬會(huì)議中精確傳達(dá)注視信息的方法和系統(tǒng)。盡管將以虛擬會(huì)議為背景描述本發(fā)明，但要明白的是，這不是限制本發(fā)明，本文所述的構(gòu)思可以適用于像虛擬游戲或圖像顯示那樣的其它應(yīng)用。
[0036]可以不同程度地定義空間忠實(shí)性(spatial faithfulness)。借助于相互空間忠實(shí)性，參與者能夠看到是否還有其他人正在關(guān)注他們。借助于局部空間忠實(shí)性，參與者能夠分辨某人關(guān)注的一般方向。借助于整個(gè)空間忠實(shí)性，參與者能夠正確地感覺到某人關(guān)注的特定對(duì)象。本發(fā)明能夠通過如下步驟保存視頻會(huì)議中的空間忠實(shí)性:1)引導(dǎo)會(huì)議參與者的注視以捕獲精確反映每個(gè)參與者的預(yù)定注視角的圖像；以及2)針對(duì)注視信息合成和顯示給會(huì)話參與者帶來真實(shí)感的視圖。
[0037]如本文所使用，“會(huì)議”旨在包括任何類型的開會(huì)或交流，不局限于正式商務(wù)會(huì)議。“虛擬會(huì)議”旨在包括像視頻會(huì)議那樣，不要求參與者處在相同物理位置的任何類型的開會(huì)或交流?！皡⑴c者”可以是人、機(jī)器人、虛擬卡通人物、無生命物體等?！爸鲄⑴c者”是在他的顯示設(shè)備上觀看其他會(huì)議參與者的會(huì)議參與者,“對(duì)等參與者”是非主參與者的會(huì)議參與者。
[0038]圖1A描繪了本發(fā)明的虛擬會(huì)議系統(tǒng)10。虛擬會(huì)議系統(tǒng)10包括中央服務(wù)器20和多臺(tái)終端30。在每臺(tái)終端30與中央服務(wù)器20之間具有雙向數(shù)據(jù)傳送能力，使終端30可以經(jīng)由中央服務(wù)器20相互通信。在終端30之間發(fā)送視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者。終端30可以處在遠(yuǎn)程地理位置(例如，不同城市)，但這不是對(duì)本發(fā)明的限制。
[0039]每臺(tái)終端30都裝備了音頻和視頻輸入和輸出設(shè)備，每臺(tái)終端30都可能存在虛擬會(huì)議參與者。中央服務(wù)器20收集來自每臺(tái)終端30的數(shù)據(jù)，構(gòu)建虛擬空間，以及生成適當(dāng)定制視圖以便展示在每臺(tái)終端30上。顯示在每臺(tái)終端30上的視圖模擬了如果所有參與者都坐在與虛擬空間類似安排的真實(shí)房間中，則那臺(tái)終端30上的參與者將具有的視圖。取決于實(shí)施例以及如下面更詳細(xì)所述，虛擬視圖可以保存相互、局部和甚至整個(gè)空間忠實(shí)性和非語(yǔ)言線索。因此，溝通的有效性可以類似于面對(duì)面開會(huì)中的有效性。終端30上的音頻輸入/輸出設(shè)備使參與者可以聽到對(duì)方。
[0040]虛擬會(huì)議系統(tǒng)10中的終端對(duì)應(yīng)于“節(jié)點(diǎn)”。一個(gè)“節(jié)點(diǎn)”是系統(tǒng)10中的邏輯獨(dú)立實(shí)體，在虛擬會(huì)議系統(tǒng)10中存在多個(gè)節(jié)點(diǎn)。例如，一個(gè)節(jié)點(diǎn)可以與一個(gè)參與者、一個(gè)投影屏幕、一張白板、一個(gè)空座位、或甚至一個(gè)空隙相聯(lián)系。一個(gè)節(jié)點(diǎn)也可以是來自另一個(gè)系統(tǒng)的視頻會(huì)議終端的模擬物，使使用不同系統(tǒng)的參與者可以參加同一會(huì)議。一個(gè)節(jié)點(diǎn)可以對(duì)應(yīng)于多個(gè)對(duì)象。例如，一個(gè)投影屏幕和一張白板可以共享同一節(jié)點(diǎn)。在這樣的情況下，每個(gè)會(huì)議參與者可以決定在他的屏幕上顯示哪一個(gè)。但是，并非每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)于終端。例如，白板節(jié)點(diǎn)可以是中央服務(wù)器20生成的板面。
[0041]圖1B是本發(fā)明的虛擬會(huì)議系統(tǒng)10的另一個(gè)實(shí)施例，并且例示了中央服務(wù)器20不必是一個(gè)位置上的一個(gè)物理單元。中央服務(wù)器20通過它的處理能力來定義，因此可以部分遠(yuǎn)尚終》而30和部分在終2而30上。
[0042]圖2描繪了可以顯示在終端30上的視頻輸入和輸出設(shè)備上的例子。視頻輸入和輸出設(shè)備可以包括顯示設(shè)備31。顯示設(shè)備31顯示圖像，顯示的圖像的一個(gè)幀在本文中被稱為“屏幕”?！皥D像”可以是視頻或照片。由于來自每臺(tái)終端的視圖被構(gòu)建成模擬如果一個(gè)參與者正坐在物理空間中，則他將具有的視圖，所以在會(huì)議區(qū)32中參與者看不到他們自己。在顯示設(shè)備31上，會(huì)議區(qū)32顯示會(huì)議中的每個(gè)其他節(jié)點(diǎn)的圖像。例如，在存在五個(gè)參與人員和一個(gè)投影屏幕，其中參與人員之一是參與者i的會(huì)議中，參與者i的終端30-1上的顯示設(shè)備31顯示四個(gè)參與人員和該投影屏幕。
[0043]如本文所使用，像“ i ”那樣指定節(jié)點(diǎn)的字母指示某種東西屬于那個(gè)節(jié)點(diǎn)。例如，終端i是與節(jié)點(diǎn)i相對(duì)應(yīng)的終端，顯示設(shè)備31-1是終端i上的顯示設(shè)備,參與者i是在顯示設(shè)備31-1前面的終端i處的參與者等。
[0044]在每臺(tái)終端上，中央服務(wù)器20周期性地監(jiān)視來自終端的輸入，并作出參與者是否正看著節(jié)點(diǎn)的判斷。正被看的節(jié)點(diǎn)在本文中被稱為“注視受體”。如果參與者看著注視受體長(zhǎng)于預(yù)定時(shí)間量閾值，則那個(gè)注視受體被鎖定成“活動(dòng)節(jié)點(diǎn)”。這種將節(jié)點(diǎn)指定成“活動(dòng)節(jié)點(diǎn)”在下文中稱為“活動(dòng)節(jié)點(diǎn)鎖定(ANL)功能。
[0045]將會(huì)議區(qū)32的 一部分指定成“活動(dòng)節(jié)點(diǎn)區(qū)”33。在會(huì)議區(qū)32中的所有節(jié)點(diǎn)當(dāng)中，將一個(gè)節(jié)點(diǎn)指定成活動(dòng)節(jié)點(diǎn)并顯示在活動(dòng)節(jié)點(diǎn)區(qū)33中。中央服務(wù)器20確定參與者i正看著哪個(gè)節(jié)點(diǎn)。一旦確定參與者i正看著參與者j以及將節(jié)點(diǎn)j指定成活動(dòng)節(jié)點(diǎn)，則中央服務(wù)器20自動(dòng)將參與者j的圖像移動(dòng)到活動(dòng)節(jié)點(diǎn)區(qū)33-1。這樣,使參與者i的注視指向或引向活動(dòng)節(jié)點(diǎn)區(qū)33-1。在本發(fā)明的一個(gè)實(shí)施例中，活動(dòng)節(jié)點(diǎn)區(qū)33-1包括或接近捕獲正看著活動(dòng)節(jié)點(diǎn)區(qū)33-1的參與者i的“正看著你”圖像的核心攝像機(jī)34-1。將參與者i的這個(gè)“正看著你”圖像發(fā)送給終端30-j上的顯示設(shè)備31-j，使參與者j可以看到參與者i正看著他。如果參與者j看著參與者i，則將參與者i的圖像顯示在終端30-j上的活動(dòng)節(jié)點(diǎn)區(qū)33-j中，核心攝像機(jī)34-j將捕獲參與者j的“正看著你”圖像，并將這個(gè)圖像發(fā)送給參與者io這樣,參與者i和參與者j成功地建立起眼睛接觸。
[0046]更一般地說，本發(fā)明通過確定活動(dòng)節(jié)點(diǎn)(通常注視受體)以及主動(dòng)地將活動(dòng)節(jié)點(diǎn)的圖像與包含每臺(tái)終端30處的核心區(qū)(如圖2的實(shí)施例中)的活動(dòng)節(jié)點(diǎn)區(qū)對(duì)準(zhǔn)來建立眼睛接觸?！昂诵膮^(qū)”是參與者必須看著要由核心攝像機(jī)34適當(dāng)?shù)夭东@的“正看著你圖像”的區(qū)域。通過將注視受體顯示在與核心區(qū)對(duì)準(zhǔn)的活動(dòng)節(jié)點(diǎn)區(qū)中，將參與者的注視引向核心攝像機(jī)，使核心攝像機(jī)可以捕獲參與者的“正看著你”圖像?！皵z像機(jī)”是能夠捕獲包括實(shí)時(shí)視頻流和照片的圖像加以發(fā)送的任何設(shè)備。將活動(dòng)節(jié)點(diǎn)顯示在核心攝像機(jī)34可以捕獲參與者的“正看著你”圖像的活動(dòng)節(jié)點(diǎn)區(qū)中在本文中稱為眼睛注視引導(dǎo)(EGG)功能。更具體地說，將活動(dòng)節(jié)點(diǎn)顯示在活動(dòng)節(jié)點(diǎn)區(qū)中被稱為“粗略注視引導(dǎo)”。
[0047]當(dāng)參與者i將他的注視轉(zhuǎn)移到參與者k (使參與者k成為新注視受體)時(shí)，可以觸發(fā)活動(dòng)節(jié)點(diǎn)重新指定。參與者j的圖像從活動(dòng)節(jié)點(diǎn)區(qū)33-1中移走，并且參與者k的圖像將移入活動(dòng)節(jié)點(diǎn)區(qū)33-1中。核心攝像機(jī)34-1捕獲參與者i的“正看著你”圖像，并將這個(gè)圖像發(fā)送給參與者k,參與者k然后知道參與者i正看著他。
[0048]圖3描繪了活動(dòng)節(jié)點(diǎn)轉(zhuǎn)變，或顯示設(shè)備31上的視圖如何隨活動(dòng)節(jié)點(diǎn)重新指定而變。在上圖中，節(jié)點(diǎn)“C”處在活動(dòng)節(jié)點(diǎn)區(qū)33中。當(dāng)觀眾將他的注視轉(zhuǎn)移到節(jié)點(diǎn)“D”時(shí)，會(huì)議區(qū)32中的視圖轉(zhuǎn)移到使節(jié)點(diǎn)“D”進(jìn)入活動(dòng)節(jié)點(diǎn)區(qū)33中。如圖所示，當(dāng)活動(dòng)節(jié)點(diǎn)發(fā)生變化時(shí)，屏幕上的所有節(jié)點(diǎn)的位置都發(fā)生變化。但是，參與者排列的次序通常保持不變。該變化可以以避免突變視覺效果的方式，例如，通過沿著一個(gè)方向連續(xù)滑動(dòng)或旋轉(zhuǎn)視圖來實(shí)現(xiàn)。在屏幕轉(zhuǎn)變期間，顯示設(shè)備31上與不同節(jié)點(diǎn)相對(duì)應(yīng)的區(qū)域連續(xù)地變化(顯示的內(nèi)容沒有突然的移動(dòng))。在一個(gè)實(shí)施例中，節(jié)點(diǎn)“C”的圖像逐漸向左移動(dòng)，以便遷移到活動(dòng)節(jié)點(diǎn)區(qū)33的左邊緣，跨過該邊緣，進(jìn)入活動(dòng)節(jié)點(diǎn)區(qū)33左邊的顯示區(qū)中，而節(jié)點(diǎn)“D”的圖像從活動(dòng)節(jié)點(diǎn)區(qū)33的右邊緣開始進(jìn)入活動(dòng)節(jié)點(diǎn)區(qū)33中。用戶的感受可能是猶如他正看著通過一個(gè)窗口的虛擬空間，并調(diào)整窗口的位置以便將不同節(jié)點(diǎn)放入中心區(qū)中似的。這種連續(xù)非突然遷移在本文中稱為圖像的“漂移”。
[0049]該系統(tǒng)可以自動(dòng)或根據(jù)參與者人工輸入來跟蹤注視數(shù)據(jù)，即，有關(guān)參與者正看著哪一節(jié)點(diǎn)的數(shù)據(jù)。在自動(dòng)檢測(cè)模式中，每臺(tái)終端30都裝備了能夠確定參與者正看著的顯示設(shè)備31的哪一區(qū)域的眼睛注視跟蹤系統(tǒng)。通過將這種注視狀態(tài)數(shù)據(jù)與有關(guān)參與者正看著的區(qū)域中正在顯示哪一節(jié)點(diǎn)的屏幕數(shù)據(jù)組合，該系統(tǒng)可以自動(dòng)判定參與者正看著哪一節(jié)點(diǎn)。在人工模式中，參與者，例如，通過觸摸屏幕上的圖像從顯示設(shè)備31中選擇一個(gè)節(jié)點(diǎn)的圖像，將光標(biāo)放在該圖像上并點(diǎn)擊等來“告訴”中央服務(wù)器20他正看著誰(shuí)。盡管為了簡(jiǎn)單起見本文提供的描述假設(shè)終端30正工作在自動(dòng)檢測(cè)模式下，但要明白的是一些或所有終端30可以工作在人工模式下。
[0050]如下面的圖5和6所例示，并非所有參與者都一直顯示在顯示設(shè)備31上。有時(shí)，主參與者想把他的注視轉(zhuǎn) 移到當(dāng)前未顯示的對(duì)等參與者。在跟蹤主參與者的眼睛注視的自動(dòng)檢測(cè)模式中，主參與者可以通過看著顯示設(shè)備31上的某個(gè)區(qū)域來移動(dòng)“窗口”。例如，他可以看著左箭頭或沿著左邊緣延伸的條向左移動(dòng)顯示的視圖。在人工模式中，主參與者可以點(diǎn)擊箭頭或條來左/右“滾動(dòng)”。
[0051]中央服務(wù)器20在將節(jié)點(diǎn)指定給活動(dòng)節(jié)點(diǎn)區(qū)之前作出注視狀態(tài)確定。原則上，可以將屏幕轉(zhuǎn)變期間的連續(xù)重新定義的屏幕區(qū)與實(shí)時(shí)注視數(shù)據(jù)一起用在作出判定注視狀態(tài)的判斷中。但是，實(shí)際上，如果屏幕轉(zhuǎn)變可以在短時(shí)間內(nèi)完成，則在屏幕轉(zhuǎn)變期間可以“凍結(jié)”判斷結(jié)果。換句話說，判斷結(jié)果將保持與轉(zhuǎn)變前相同直到轉(zhuǎn)變完成。這有助于減輕眼睛不能足夠迅速地移動(dòng)以便在屏幕轉(zhuǎn)變期間跟蹤活動(dòng)節(jié)點(diǎn)所引起的問題。
[0052]在一些實(shí)施例中，可以將核心攝像機(jī)34布置(或隱藏)在顯示設(shè)備31的背面或圍繞顯示設(shè)備31，與活動(dòng)節(jié)點(diǎn)區(qū)33接近。為了捕獲參與者i的“正看著你”圖像，該系統(tǒng)加入了引誘參與者i將他的注視固定在活動(dòng)節(jié)點(diǎn)區(qū)33上的眼睛注視引導(dǎo)功能。這種眼睛注視引導(dǎo)功能通過將活動(dòng)節(jié)點(diǎn)顯示在活動(dòng)節(jié)點(diǎn)區(qū)33中以及當(dāng)新節(jié)點(diǎn)被指定成活動(dòng)節(jié)點(diǎn)時(shí)移動(dòng)視圖來服務(wù)。
[0053]在一些情況下，活動(dòng)節(jié)點(diǎn)區(qū)33的面積可以比核心區(qū)的面積大得多。因此，可以讓參與者j的眼睛落在核心區(qū)的外面。在這種狀況下，即使參與者i正在看著活動(dòng)節(jié)點(diǎn)區(qū)33中參與者j的“眼睛”，發(fā)送給參與者j的參與者i的圖像也可能看起來像參與者i正看著參與者j的臉部的另一個(gè)部分，或甚至圍繞參與者j的臉部的某個(gè)地方。參與者j可能感到缺乏與參與者i的眼睛接觸，這種誤解可能影響溝通。為了避免這種狀況，可以使用計(jì)算機(jī)程序來自動(dòng)調(diào)整顯示的圖像，以便顯示在活動(dòng)節(jié)點(diǎn)區(qū)中的參與者的眼睛保持在核心區(qū)中。顯示器中的眼睛與核心區(qū)的這種自動(dòng)對(duì)準(zhǔn)被稱為精細(xì)注視引導(dǎo)。
[0054]可能存在布置在顯示設(shè)備31后面或圍繞顯示設(shè)備31的其它攝像機(jī)。在本文中稱為非核心攝像機(jī)的這些其它攝像機(jī)捕獲參與者i的“正看著別處”圖像，因?yàn)檫@些攝像機(jī)未布置成與活動(dòng)節(jié)點(diǎn)區(qū)33-1接近。除非參與者i直接看著非核心攝像機(jī)，否則非核心攝像機(jī)捕獲的圖像將是“正看著別處”圖像。如下面所述，這些“正看著別處”圖像與“正看著你”圖像一起用于精確描繪在虛擬空間40中誰(shuí)正看著誰(shuí)。
[0055]在每臺(tái)終端上，注視跟蹤設(shè)備監(jiān)視來自參與者的眼睛注視，觸發(fā)中央服務(wù)器20作出關(guān)于參與者是否正看著節(jié)點(diǎn)的判斷。可以按預(yù)置時(shí)間間隔，例如，每隔10毫秒一次地監(jiān)視輸入，并響應(yīng)于每次輸入而作出判斷。如果系統(tǒng)斷定參與者未看著任何節(jié)點(diǎn)，則將空節(jié)點(diǎn)指定成活動(dòng)節(jié)點(diǎn)?？展?jié)點(diǎn)可以是，例如，一個(gè)空隙?；顒?dòng)節(jié)點(diǎn)不總是對(duì)應(yīng)于參與者實(shí)際看著的節(jié)點(diǎn)。例如，參與者i可能看了節(jié)點(diǎn)j 一會(huì)，使系統(tǒng)將節(jié)點(diǎn)j指定成活動(dòng)節(jié)點(diǎn)。如果參與者i迅速看了一下另一個(gè)節(jié)點(diǎn)，則系統(tǒng)可能仍然將節(jié)點(diǎn)j指定成活動(dòng)節(jié)點(diǎn)。
[0056]中央服務(wù)器20協(xié)調(diào)圖像，以便在每臺(tái)終端上顯示不同組的圖像(例如，在終端的顯示設(shè)備上未示出各自終端上的參與者，以及對(duì)等參與者的感覺注視角從不同參與者的視角來看可能不同)。此外，中央服務(wù)器20能夠獨(dú)立地控制顯示在不同終端30上的每個(gè)節(jié)點(diǎn)的尺寸和位置。例如，如果活動(dòng)節(jié)點(diǎn)對(duì)應(yīng)于投影屏幕，則活動(dòng)節(jié)點(diǎn)區(qū)的尺寸可能比活動(dòng)節(jié)點(diǎn)是參與人員時(shí)大。 [0057]可選地，可以“降級(jí)”顯示設(shè)備31-1的一些部分，以便勸阻參與者i不要看著那個(gè)區(qū)域。例如，如果參與者之一正在演講，則可以降級(jí)非演講者的圖像，以便鼓勵(lì)參與者看著演講者和投影屏幕而不是其他參與者。取決于實(shí)施例，可以根據(jù)來自終端30的輸入來完成和由中央服務(wù)器20執(zhí)行降級(jí)。當(dāng)圖像從降級(jí)變成非降級(jí)時(shí)，“恢復(fù)”圖像。
[0058]如圖2所示，除了會(huì)議區(qū)32之外，顯示設(shè)備31還含有支持區(qū)35。支持區(qū)35可以顯示除了顯示在會(huì)議區(qū)32中的節(jié)點(diǎn)圖像之外的任何信息。例如，支持區(qū)35可以顯示控制面板或系統(tǒng)配置選項(xiàng)等。在一些實(shí)施例中，支持區(qū)35示出了在終端上的會(huì)議參與者的圖像，使人們可以看到自己。這種“自我成像”模式可能是想知道他們?cè)谄渌丝磥硎鞘裁礃幼拥膮⑴c者所希望的。
[0059]圖4A和4B描繪了由中央服務(wù)器20構(gòu)成的虛擬空間40的例子。描繪在圖4A和4B中的未必是顯示在顯示設(shè)備31上的精確圖像，而是如何構(gòu)建虛擬空間40的例示。在該特定例子中，虛擬空間40具有八個(gè)節(jié)點(diǎn):i, j, k, I, m, η, ο和ρ。與各自節(jié)點(diǎn)相聯(lián)系的表示按圓形配置排列著。與節(jié)點(diǎn)相聯(lián)系的表示可以等間隔地相互隔開。節(jié)點(diǎn)i，j，I和m含有參與人員(分別是參與者1、參與者j、參與者I和參與者m)。在節(jié)點(diǎn)上存在參與者的情況下，“參與者的表示”將是“與節(jié)點(diǎn)相聯(lián)系的表示”。節(jié)點(diǎn)k和η是空隙。節(jié)點(diǎn)ο上的參與者是投影屏幕，節(jié)點(diǎn)P上的參與者可以是板面。為了使描述清楚和簡(jiǎn)單起見，取決于上下文，本文將與節(jié)點(diǎn)相聯(lián)系的表示簡(jiǎn)稱為“節(jié)點(diǎn)”或“參與者”。但是，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)從描述的上下文中知道主體是物理世界中的真正參與者/節(jié)點(diǎn)還是參與者/節(jié)點(diǎn)的表示。
[0060]在一個(gè)實(shí)施例中，參與者，例如，通過使用與描述在美國(guó)專利第7，681，136號(hào)中類似的方法在板面上書寫。
[0061]虛擬空間40被構(gòu)建成在其中指定所有相關(guān)對(duì)象的空間位置。相關(guān)對(duì)象的空間位置與用于捕獲圖像的攝像機(jī)的相對(duì)位置密切相關(guān)。在每臺(tái)終端上有選擇地顯示來自攝像機(jī)的圖像。使用像調(diào)整尺寸和使失真那樣的圖像的一些操縱，以便合成視圖為每個(gè)參與者產(chǎn)生相對(duì)空間定位的真實(shí)感。相對(duì)空間定位的這種感覺與反映在圖像中的精確感覺注視角結(jié)合，將在多方會(huì)議系統(tǒng)中實(shí)現(xiàn)高度的空間忠實(shí)性。
[0062]圖5描繪了當(dāng)參與者i如圖4B所示正看著參與者j時(shí)顯示在終端30_i上的視圖的例子。如前所述，終端30-1上的會(huì)議區(qū)32-1被布置為像在虛擬空間40中參與者i從他的座位獲得的視圖。當(dāng)參與者i以觸發(fā)活動(dòng)節(jié)點(diǎn)重新指定的方式轉(zhuǎn)移他的注視時(shí)，顯示設(shè)備31-1上的視圖發(fā)生變化(例如，以圖3中所示的方式移動(dòng))。例如，如果參與者i想要把他的注視轉(zhuǎn)移到參與者m身上長(zhǎng)于片刻(圖8)，則參與者m變成活動(dòng)節(jié)點(diǎn)，顯示設(shè)備31-1上的視圖變成如圖6所示的那樣。
[0063]為了引導(dǎo)每個(gè)參與者的注視，以這樣的方式建立每個(gè)參與者前面的視覺顯示，即把每個(gè)參與者的注視引向預(yù)定核心攝像機(jī)。通過固定其他攝像機(jī)相對(duì)于核心攝像機(jī)的位置，當(dāng)把參與者的注視引向核心攝像機(jī)時(shí)，來自所有攝像機(jī)的圖像將反映預(yù)定感覺注視角。
[0064]為了創(chuàng)建描繪在圖5和圖6中的視圖，中央服務(wù)器20組合所有參與者的注視狀態(tài)確定結(jié)果，并且像在虛擬空間中從他們各自的位置所看到的那樣向每個(gè)參與者展示。雖然參與者i的注視狀態(tài)確定決定哪個(gè)節(jié)點(diǎn)被顯示在活動(dòng)節(jié)點(diǎn)區(qū)33-1中,但其他參與者的注視狀態(tài)確定結(jié)果決定如何顯示其他參與者(例如，肢體和頭部稍轉(zhuǎn)向左側(cè)，肢體和頭部轉(zhuǎn)向最左側(cè)等)。在圖4B中，參與者i正看著參與者j,但參與者j未向后看著參與者i。而是，參與者j正看著參與者I。參與者i從終端30-1中看到描繪在圖5中的視圖,它模擬了如果參與者處在真實(shí)房間中則他將看到什么。如果參與者i將他的注視轉(zhuǎn)移到參與者m(圖8)，則顯示在終端30-1上的視圖將改變成圖6中所示的那樣。與人眼通常具有小于180°的水平視角的事實(shí)一致，并非所有節(jié)點(diǎn)都出現(xiàn)在顯示的合成視圖中。
[0065]為了精確描繪在虛擬空間40中誰(shuí)正看著誰(shuí)，系統(tǒng)10包括眼睛注視協(xié)調(diào)(EGC)功能。眼睛注視協(xié)調(diào)牽涉到捕獲反映預(yù)定注視角的圖像以及合成視圖以便精確反映虛擬空間40中不同節(jié)點(diǎn)的空間定位。如上所述，在每臺(tái)終端40上存在非核心攝像機(jī)以及核心攝像機(jī)。非核心攝像機(jī)的位置決定圖像中參與者的接收注視角。然后，使用每個(gè)節(jié)點(diǎn)的正確圖像合成虛擬空間40的當(dāng)前視圖。在這個(gè)合成過程中，可以操縱不同節(jié)點(diǎn)的圖像以構(gòu)建適當(dāng)傳達(dá)所希望信息的視圖。這樣的操縱可以包括調(diào)整尺寸、使失真、翻轉(zhuǎn)等。
[0066]圖7A和7B例示了如何確定注視角。假設(shè)在節(jié)點(diǎn)k上存在參與者k (例如，產(chǎn)品或人員)。如圖7A所示,進(jìn)一步假設(shè)參與者i正看著參與者k,參與者j正看著參與者i。如圖7B所示，將如參與者j所感覺到的參與者i的注視角定義成將矢量ij順時(shí)鐘旋轉(zhuǎn)到與矢量ik重疊所經(jīng)過的角度,其中矢量ij從i指向j,矢量ik從i指向k。點(diǎn)i, j和k是相應(yīng)對(duì)象在相同水平面上的投影。為了保持整個(gè)空間忠實(shí)性，必須高精度地測(cè)量感覺注視角。如果只尋求局部空間忠實(shí)性，則對(duì)感覺注視方向作某種粗略估計(jì)可能就足夠了。表1示出了如何將感覺注視方向與感覺注視角相關(guān)聯(lián)。由于注視方向的概念本來就缺乏精確性，所以在表1中所示的關(guān)系是近似的。
[0067] 表1:感覺注視角與感覺注視方向之間的關(guān)系
【權(quán)利要求】
1.一種在第一節(jié)點(diǎn)、第二節(jié)點(diǎn)和第三節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法，包含: 從第一節(jié)點(diǎn)接收指示與第一節(jié)點(diǎn)相聯(lián)系的第一參與者的注視受體的輸入，其中該注視受體與第二和第三節(jié)點(diǎn)之一相聯(lián)系； 構(gòu)建按預(yù)定次序布置第一參與者、與第二節(jié)點(diǎn)相聯(lián)系的第二參與者、和與第三節(jié)點(diǎn)相聯(lián)系的第三參與者的表示的虛擬空間； 根據(jù)虛擬空間中第一參與者的注視受體的表示的位置確定虛擬空間中第一參與者的第一注視角；以及 生成要發(fā)送給第二節(jié)點(diǎn)的圖像，其中該圖像包括如從虛擬空間中第二參與者的位置所看到那樣，在虛擬空間中正看著他的注視受體的第一參與者。
2.如權(quán)利要求1所述的方法，其中生成所述圖像包含調(diào)整所述圖像中第一參與者與第一參與者的注視受體之間的距離。
3.如權(quán)利要求2所述的方法，其中第一參與者的注視受體是第三參與者，以及其中該調(diào)整包含如果第一參與者向右看，則在虛擬空間中相差角度α地將第三參與者的表示布置在第二參與者的表示的左邊，其中0° <α <90°并且α是相對(duì)于第二參與者的表示與第一、第二和第三參與者的表示所在的假想圓的中心之間的假想線測(cè)量的。
4.如權(quán)利要求2所述的方法，其中第一參與者的注視受體是第三參與者，并且其中該調(diào)整包含如果第一參與者向左看，則在虛擬空間中相差角度α地將第三參與者的表示布置在第二參與者的表示的右邊，其中0° <α <90°并且α是相對(duì)于第二參與者的表示與第一、第二和第三參與者的表示所在的假想圓的中心之間的假想線測(cè)量的。
5.如權(quán)利要求2所述的方法，其中第一參與者的注視受體是第三參與者，并且其中將第一參與者、第二參與者、和第三參與者的表示布置在虛擬空間中形成等邊三角形。
6.如權(quán)利要求1所述的方法，其中該生成包含: 從不同角度獲取第一參與者的圖像；以及 選擇適當(dāng)?shù)貙⒌谝粎⑴c者描繪為在虛擬空間中看著他的注視受體的圖像之一。
7.如權(quán)利要求6所述的方法，其中該獲取包含利用相對(duì)于第一參與者處在預(yù)定位置上的多臺(tái)攝像機(jī)捕獲第一參與者的圖像。
8.如權(quán)利要求7所述的方法，其中所述捕獲是多臺(tái)攝像機(jī)同時(shí)完成的。
9.如權(quán)利要求1所述的方法，其中該接收來自第一參與者的輸入包含: 經(jīng)由注視跟蹤機(jī)構(gòu)跟蹤第一參與者的注視，以確定第一參與者正看著顯示設(shè)備的哪個(gè)區(qū)域；以及 確定第二和第三參與者的哪一個(gè)正被顯示在顯示設(shè)備的該區(qū)域中。
10.如權(quán)利要求9所述的方法，進(jìn)一步包含: 將注視受體的圖像提供給顯示設(shè)備以便顯示在顯示設(shè)備的活動(dòng)節(jié)點(diǎn)區(qū)中；以及 從核心攝像機(jī)接收第一參與者的正看著你圖像。
11.如權(quán)利要求10所述的方法,其中該核心攝像機(jī)在活動(dòng)節(jié)點(diǎn)區(qū)中或接近活動(dòng)節(jié)點(diǎn)區(qū)。
12.如權(quán)利要求10所述的方法，進(jìn)一步包含一旦從第一參與者接收到指示注視受體發(fā)生變化的另一個(gè)輸入，就將新注視受體顯示在活動(dòng)節(jié)點(diǎn)區(qū)中。
13.如權(quán)利要求12所述的方法，其中另一個(gè)注視受體在活動(dòng)節(jié)點(diǎn)區(qū)中的顯示包含移動(dòng)虛擬空間的圖像。
14.如權(quán)利要求1所述的方法，進(jìn)一步包含通過執(zhí)行調(diào)整尺寸、使失真、和將元素添加到圖像的一部分中的一種或多種來調(diào)整圖像。
15.如權(quán)利要求1所述的方法，其中排列第一、第二和第三參與者的表示的次序保持不變。
16.—種召開包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn)的虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中第一節(jié)點(diǎn)與看著第一注視受體的第一參與者相聯(lián)系，第二節(jié)點(diǎn)與看著第二注視受體的第二參與者相聯(lián)系，包含: 從第一節(jié)點(diǎn)接收指示第二參與者是第一注視受體的輸入，其中將第二參與者顯示在第一節(jié)點(diǎn)處的第一顯示設(shè)備上； 通過使用與顯示在第一顯示設(shè)備上的第二參與者的圖像對(duì)準(zhǔn)的成像設(shè)備獲取第一參與者的正看著你圖像；以及 將第一參與者的正看著你圖像發(fā)送到第二節(jié)點(diǎn)。
17.如權(quán)利要求16所述的方法，進(jìn)一步包含降級(jí)除了圖像中的第一參與者注視受體之外的其他參與者的圖像，以便鼓勵(lì)第一參與者看著活動(dòng)節(jié)點(diǎn)區(qū)。
18.如權(quán)利要求16所述的方法，進(jìn)一步包含一旦從第一參與者接收到注視受體改變成第三參與者的輸入，就將第三參與者的圖像提供給第一顯示設(shè)備與成像設(shè)備對(duì)準(zhǔn)的部分。
19.如權(quán)利要求18所述的方法，其中該輸入是從眼睛注視跟蹤設(shè)備接收的。
20.如權(quán)利要求18所述的方法，進(jìn)一步包含提供第一參與者的圖像以便顯示在第二節(jié)點(diǎn)處的第二顯示設(shè)備上，該第一參與者沿著圖像中第一參與者的注視受體的方向觀看。
21.一種在第一節(jié)點(diǎn)與第二節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法，包含: 接收從不同角度捕獲的第一參與者的圖像，該第一參與者與第一節(jié)點(diǎn)相聯(lián)系； 構(gòu)建按預(yù)定配置布置第一參與者和第二參與者的表示的虛擬空間，其中第二參與者與第二節(jié)點(diǎn)相聯(lián)系； 從第一節(jié)點(diǎn)接收有關(guān)第一參與者的注視受體的輸入； 選擇描繪如從虛擬空間中第二參與者的視角所看到那樣，在虛擬空間中正看著注視受體的第一參與者的圖像之一；以及 將所選的一個(gè)圖像提供給第二節(jié)點(diǎn)。
22.如權(quán)利要求21所述的方法，其中該圖像由直接布置在第一參與者的前面的核心攝像機(jī)和相對(duì)于核心攝像機(jī)成角度α布置的非核心攝像機(jī)捕獲，其中0° <α <90°。
23.一種在多個(gè)節(jié)點(diǎn)之間召開虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法，其中節(jié)點(diǎn)之一與主參與者相聯(lián)系，而其他節(jié)點(diǎn)分別與對(duì)等參與者相聯(lián)系，包含: 構(gòu)建按預(yù)定次序布置主參與者和對(duì)等參與者的表示的虛擬空間；以及 將虛擬空間的圖像提供給與主參與者相聯(lián)系的節(jié)點(diǎn)，其中動(dòng)態(tài)地調(diào)整圖像以便取決于主參與者的注視受體是誰(shuí)而包括虛擬空間的不同部分。
24.如權(quán)利要求23所述的方法，其中進(jìn)行該圖像的動(dòng)態(tài)調(diào)整以便將主參與者的注視受體顯示在顯示設(shè)備的活動(dòng)節(jié)點(diǎn)區(qū)中。
25.—種虛擬會(huì)議系統(tǒng),包含:中央服務(wù)器； 主終端，其被配置成向該中央服務(wù)器報(bào)告主參與者的第一注視受體，并且發(fā)送從不同角度捕獲的主參與者的圖像；以及 對(duì)等終端，其被配置成向該中央服務(wù)器報(bào)告在對(duì)等終端上的各自對(duì)等參與者的注視狀態(tài)，并且向該中央服務(wù)器發(fā)送從不同角度獲得的對(duì)等參與者的圖像， 其中該中央服務(wù)器被配置成構(gòu)建按已知配置布置主參與者和對(duì)等參與者的表示的虛擬空間，以及從主參與者的視角生成圖像，其中該圖像描繪在虛擬空間中沿著他們各自注視受體的 方向觀看的對(duì)等參與者。
【文檔編號(hào)】G06F15/16GK104025572SQ201280057704
【公開日】2014年9月3日 申請(qǐng)日期:2012年9月11日 優(yōu)先權(quán)日:2011年9月23日
【發(fā)明者】刁杰 申請(qǐng)人:刁杰