專利名稱：使用富媒體環(huán)境的通信和協(xié)作系統(tǒng)的制作方法
背景視頻會議系統(tǒng)可以用于在分布于多個會議場所的參會者之間提供通信。在視頻會議系統(tǒng)中的每個會議場所可以配備有視頻/音頻傳感設(shè)備和視頻/音頻再現(xiàn)(rendering)設(shè)備。視頻/音頻傳感設(shè)備可以用于控制通信對話(session)以及獲得會議的視頻/音頻記錄。所獲得的視頻/音頻記錄可以被傳送到一個遠程會議場所，并在該遠程會議場所中的視頻/音頻再現(xiàn)設(shè)備上再現(xiàn)。
對于參會者而言，分成副(side)組以進行私人的或者集中的討論可能是常見的。遺憾的是，現(xiàn)有視頻會議系統(tǒng)不可以促進不同會議場所的參會者之間的副組通信。例如，在現(xiàn)有視頻會議系統(tǒng)中傳感和再現(xiàn)設(shè)備的互連每次只可以允許一個討論組。
另外，現(xiàn)有視頻會議系統(tǒng)不可以使位于不同會議場所的參會者協(xié)作創(chuàng)建文檔?，F(xiàn)有視頻會議系統(tǒng)可以增加基于計算機的文檔共享系統(tǒng)。遺憾的是，文檔共享系統(tǒng)不可以很好地集成到視頻會議系統(tǒng)中。
發(fā)明概要公開了一種能夠使用富媒體環(huán)境在個體(individual)之間進行通信和協(xié)作的系統(tǒng)。根據(jù)本技術(shù)的系統(tǒng)包括一組富媒體環(huán)境，每個富媒體環(huán)境具有傳感和再現(xiàn)部件的相應(yīng)配置以用于相應(yīng)組的個體的傳感和對其的再現(xiàn)。根據(jù)本技術(shù)的系統(tǒng)包括感興趣線程檢測器，其使用傳感和再現(xiàn)部件來檢測個體之間的多個通信交互，并為每個檢測到的通信交互保存感興趣線程，并且還包括通信提供器，其對每個感興趣線程從相應(yīng)子集的傳感部件獲取一組媒體數(shù)據(jù)，以及響應(yīng)于相應(yīng)個體的活動而組合所獲取的媒體數(shù)據(jù)，并將組合的媒體數(shù)據(jù)傳送給相應(yīng)子集的再現(xiàn)部件。
根據(jù)隨后的詳細描述，本發(fā)明的其他特征和優(yōu)點將是顯而易見的。
附圖簡述相對于本發(fā)明的特定典型實施例來描述本發(fā)明，并因此參考附圖，其中

圖1示出根據(jù)本教導(dǎo)的系統(tǒng)；圖2示出使用富媒體環(huán)境進行通信的方法；圖3示出富媒體環(huán)境中個體之間的主會話(conversation)和副會話的例子；圖4示出通信提供器的一個實施例；圖5示出包括一對示例富媒體環(huán)境的本系統(tǒng)的實施例；圖6示出根據(jù)本教導(dǎo)的富媒體環(huán)境；圖7示出根據(jù)本教導(dǎo)的管理系統(tǒng)中的服務(wù)管理器和任務(wù)管理器；圖8示出根據(jù)本教導(dǎo)的管理系統(tǒng)中的用戶管理器和部件管理器；圖9示出根據(jù)本教導(dǎo)的管理系統(tǒng)中的感興趣(interest)區(qū)域管理器和感興趣線程管理器；圖10示出根據(jù)本教導(dǎo)的管理系統(tǒng)中的性能監(jiān)視器、系統(tǒng)控制器、以及對話管理器。
詳細描述圖1示出根據(jù)本教導(dǎo)的系統(tǒng)10。系統(tǒng)10包括一組富媒體環(huán)境12-14、感興趣線程檢測器16和通信提供器18。感興趣線程檢測器16和/或通信提供器18的功能可以如所示地被集中或者可以分布于富媒體環(huán)境12-14中。
每個富媒體環(huán)境12-14包括傳感和再現(xiàn)部件的配置。富媒體環(huán)境12-14中的傳感部件可以包括任何種類的話筒、攝像機、運動檢測器等。諸如鍵盤、鼠標、小鍵盤、觸摸屏等之類的輸入設(shè)備可以被看作傳感部件。富媒體環(huán)境12-14中的再現(xiàn)部件可以包括任何類型的視覺顯示器和音頻揚聲器。富媒體環(huán)境12-14可以以任何鄰近的空間來實現(xiàn)。示例包括會議室、會見室、戶外會場例如體育比賽等。每個富媒體環(huán)境12-14優(yōu)選地包括相對較大量的傳感和再現(xiàn)部件，從而能夠使傳感和再現(xiàn)部件靈活地運用到多種通信交互上。因此叫做富媒體環(huán)境。
感興趣線程檢測器16使用富媒體環(huán)境12-14中的傳感部件來檢測富媒體環(huán)境12-14中個體之間的通信交互的形成。感興趣線程檢測器16為每個檢測到的通信交互創(chuàng)建一個感興趣線程。通信提供器18選擇富媒體環(huán)境12-14中的傳感和再現(xiàn)部件的子集，以用于與在每個感興趣線程中涉及的個體通信，并且在所選擇的傳感和再現(xiàn)部件之間傳送媒體數(shù)據(jù)以支持每個感興趣線程。
圖2示出一種利用富媒體環(huán)境進行通信的方法。在步驟30，檢測一組個體之間的通信交互的形成。在步驟32，為每個檢測到的通信交互創(chuàng)建一個感興趣線程。
圖3示出富媒體環(huán)境12和14中個體之間的主會話和副會話的例子。感興趣線程1是為主會話創(chuàng)建的，并且感興趣線程2是為副會話創(chuàng)建的。
對每個感興趣線程執(zhí)行步驟34-38。在步驟34，與相應(yīng)感興趣線程有關(guān)的一組媒體數(shù)據(jù)從傳感部件被獲取，以及在步驟36，響應(yīng)于感興趣線程中參加和未參加的個體的活動而組合所獲取的媒體數(shù)據(jù)。在步驟38，將所組合的媒體數(shù)據(jù)傳送到感興趣線程的再現(xiàn)部件。
通信交互即感興趣線程可以涉及富媒體環(huán)境12-14之一中的個體。例如，感興趣線程檢測器16可以檢測富媒體環(huán)境12中的兩個或更多個體之間的通信交互。
通信交互可以涉及富媒體環(huán)境12-14的兩個或更多個中的個體。例如，感興趣線程檢測器16可以檢測富媒體環(huán)境12中的個體與富媒體環(huán)境13中的個體之間的通信交互。
通信交互可以與富媒體環(huán)境12-14之一中的人造品(artifact)有關(guān)。人造品可以被定義為除個體之外的任何事物，例如無生命的對象、動物、機器人對象等。例如，感興趣線程檢測器16可以檢測富媒體環(huán)境12中涉及一張紙、白板、或者其他感興趣項的通信交互。人造品可以是在顯示器上再現(xiàn)并包括計算機維護的文檔歷史的電子文檔。
感興趣線程檢測器16可以通過檢測富媒體環(huán)境12-14中一個或多個個體之一的視覺線索例如姿勢、移動等來檢測通信交互的形成。視覺線索可以與相同富媒體環(huán)境中的另一個個體有關(guān)，或者可以與另一個富媒體環(huán)境中的一個個體有關(guān)。例如，富媒體環(huán)境12中的個體可以指向或者接近富媒體環(huán)境12中的另一個個體，并且感興趣線程檢測器16作為響應(yīng)在富媒體環(huán)境12中的這兩個個體之間創(chuàng)建感興趣線程。在另一個例子中，富媒體環(huán)境12中的個體可以指向富媒體環(huán)境12中的一個視覺顯示器，同時位于富媒體環(huán)境13中的個體正被再現(xiàn)在該視覺顯示器上，并且感興趣線程檢測器16作為響應(yīng)在富媒體環(huán)境12中的個體和富媒體環(huán)境13中的個體之間創(chuàng)建感興趣線程。
感興趣線程檢測器16可以利用機器視覺技術(shù)來檢測視覺線索。例如，富媒體環(huán)境12-14中的傳感部件可以包括數(shù)字攝像機，并且感興趣線程檢測器16可以使用多種已知的機器視覺技術(shù)來檢測個體的移動、姿勢等。另外，富媒體環(huán)境12-14中的傳感部件可以包括話筒，并且感興趣線程檢測器16可以使用多種已知的音頻處理技術(shù)來檢測富媒體環(huán)境12-14中的個體和個體的移動。
感興趣線程檢測器16可以通過檢測音頻線索例如口頭語音來檢測通信交互的形成。感興趣線程檢測器16可以響應(yīng)于經(jīng)由圖形用戶接口的用戶輸入而創(chuàng)建感興趣線程。
對于每個感興趣線程，通信提供器18從相應(yīng)子集的傳感部件獲取一組媒體數(shù)據(jù)。對于每個感興趣線程，通信提供器18響應(yīng)于相應(yīng)個體的活動而組合所獲取的媒體數(shù)據(jù)，并將組合的媒體數(shù)據(jù)傳送給相應(yīng)子集的再現(xiàn)部件。舉幾個例子，可以導(dǎo)致媒體數(shù)據(jù)被組合的活動可以包括個體的語音電平、個體的姿勢或者個體的移動。通信提供器18響應(yīng)于該活動而提煉從傳感器部件所獲得的媒體數(shù)據(jù)。另外，通信提供器18可以存儲所組合的媒體數(shù)據(jù)以提供相應(yīng)通信交互的歷史。
通信提供器18為感興趣線程選擇富媒體環(huán)境12-14的傳感和再現(xiàn)部件的子集，以響應(yīng)于感興趣線程中涉及的每個個體的位置以及與富媒體環(huán)境12-14中的傳感和再現(xiàn)部件有關(guān)的一組特征。例如，數(shù)字攝像機的特征可以指定其在富媒體環(huán)境中的覆蓋區(qū)域，即數(shù)字攝像機能夠采樣的富媒體環(huán)境的區(qū)域。類似地，話筒的特征可以指定話筒能夠采樣的富媒體環(huán)境的區(qū)域，并且視覺顯示器的特征可以指定視覺顯示器能夠到達的富媒體環(huán)境的區(qū)域。通信提供器18可以使用機器視覺或者音頻處理技術(shù)來定位在感興趣線程中涉及的個體，并接著基于在感興趣線程中涉及的個體的位置以及那些個體的富媒體環(huán)境中的傳感和再現(xiàn)部件的覆蓋區(qū)域來為該感興趣線程選擇傳感和再現(xiàn)部件。
系統(tǒng)10可以包括一個或多個用于保存富媒體環(huán)境12-14中傳感和再現(xiàn)部件的特征的記錄的數(shù)據(jù)庫。當為感興趣線程選擇傳感和再現(xiàn)部件時，通信提供器18可以訪問該數(shù)據(jù)庫。
通信提供器18監(jiān)視每個感興趣線程，并且需要時重新選擇傳感和再現(xiàn)部件。例如，通信提供器18可以檢測到在感興趣線程中涉及的一個或多個個體何時移出當前選擇的傳感和再現(xiàn)部件的覆蓋區(qū)域。通信提供器18可以使用機器視覺或者音頻處理技術(shù)來檢測在感興趣線程中涉及的個體的移動。作為響應(yīng)，通信提供器18基于在感興趣線程中涉及的個體的新位置以及可用的傳感和再現(xiàn)部件的指定覆蓋區(qū)域來為感興趣線程選擇新的一組傳感和再現(xiàn)部件。
為感興趣線程選擇和重新選擇傳感和再現(xiàn)部件可以基于參與感興趣線程的個體的位置和移動以及沒有參與該感興趣線程的個體的位置和移動。例如，自適應(yīng)調(diào)零(nulling)技術(shù)可以用于選擇將未參加的個體從私人的副會話中排除的再現(xiàn)部件。
圖4示出通信提供器18的一個實施例。在該實施例中，通信提供器18包括傳感任務(wù)20、數(shù)據(jù)組合器21、再現(xiàn)任務(wù)22、以及通信任務(wù)24。傳感任務(wù)20、數(shù)據(jù)組合器21、再現(xiàn)任務(wù)22、以及通信任務(wù)24中的一個或多個可以如所示地被集中或者分布于富媒體環(huán)境12-14中。
傳感任務(wù)20從已為特定感興趣線程所選擇的富媒體環(huán)境12-14中的傳感部件獲取傳感器數(shù)據(jù)，并從所獲取的傳感器數(shù)據(jù)中提取一組與該特定感興趣線程有關(guān)的數(shù)據(jù)。例如，傳感任務(wù)20可以從所選擇的話筒中獲取傳感器數(shù)據(jù)，并接著使用音頻處理技術(shù)來提取在特定感興趣線程中涉及的個體的話音。在另一個例子中，傳感任務(wù)20可以從所選擇的數(shù)字攝像機中獲取傳感器數(shù)據(jù)，并使用機器視覺技術(shù)來提取在特定感興趣線程中涉及的個體的圖像。傳感任務(wù)20可以使用數(shù)字攝像機的掃視和縮放功能來獲取相關(guān)個體的視覺數(shù)據(jù)。
數(shù)據(jù)組合器21從傳感任務(wù)20獲得傳感器數(shù)據(jù)，分析視頻內(nèi)容，并組合所獲取的視頻以便選擇個體或者人造品或者感興趣區(qū)域的最佳視圖。用于平鋪、重疊、合成或者組合視頻的多種已知方法的任何一種都可以用于組合要在單個顯示器上再現(xiàn)的多個同步視頻源。通過音頻分析、運動分析、注視分析、或者姿勢分析，數(shù)據(jù)組合器21在任何給定時刻選擇組合哪些視頻流。
例如，可以根據(jù)下面的任何技術(shù)來選擇最佳的攝像機視圖。如果話筒所測量的音頻電平高于所有其他的音頻電平，則可以選擇覆蓋該話筒周圍的可見區(qū)域的攝像機視圖。當語音/噪聲鑒別器將音頻輸入分類為語音時，則選擇離該話筒最近的其嘴和下巴正在移動的個體的視圖。當由攝像機正在獲取的內(nèi)容中運動電平的測量(例如經(jīng)由幀差)為高時，可以選擇包含該運動的視圖。當被認為在說話的個體正指向富媒體環(huán)境的另一部分時，那么可以選擇與他們的姿勢的方向最佳對準的視圖。當多個個體都注視同一方向時，那么可以選擇最佳地包含那些注視方向的交叉點的視圖。
數(shù)據(jù)組合器21可以自動地提煉由富媒體環(huán)境12-14中的攝像機所獲取的視圖，以更清楚地顯示個體或者人造品或者感興趣區(qū)域。例如，基于視頻的面部檢測、運動檢測、以及膚色檢測方法可以用于數(shù)字地縮放、居中、和/或裁切視圖以更好地將攝像機聚焦在所相關(guān)的個體上。如果使用跟蹤方法來監(jiān)視攝像機視場中個體的位置，則可以允許縮放、居中和裁切參數(shù)以在會議期間動態(tài)改變。
類似地，數(shù)據(jù)組合器21分析并組合由話筒所獲取的音頻，以便選擇最佳音頻表示。當多個同步話筒記錄被組合成一個時，可以使用用于波束形成、自適應(yīng)調(diào)零或者音頻混合的任何已知方法。在任何給定時刻選擇組合哪些音頻流可以通過音頻分析或者運動分析或者立體分析來執(zhí)行。
例如，可以根據(jù)以上列出的任何技術(shù)來選擇最佳的音頻源位置。這可以導(dǎo)致選擇下述的任何一個(1)單個話筒，例如離所確定的感興趣區(qū)域最近的話筒，或者(2)利用話筒陣列由自適應(yīng)波束形成/零控制(null-steering)的任何已知方法產(chǎn)生的音頻。
由數(shù)據(jù)組合器21產(chǎn)生的組合媒體數(shù)據(jù)是通信交互的媒體數(shù)據(jù)的壓縮的索引的形式。組合的媒體數(shù)據(jù)可以記錄在持久的存儲設(shè)備例如盤中。所存儲的即所存檔的數(shù)據(jù)能夠使得隨后瀏覽在通信交互中發(fā)生的事件。系統(tǒng)10可以存儲顯示什么被選擇為“最佳”視圖的單個視頻流，其由拼接在一起的在通信交互的每個時刻的“最佳”視頻內(nèi)容(feed)組成。系統(tǒng)10可以存儲重放什么被選擇為“最佳”音頻的單個音頻流，其由拼接在一起的來自會議的每個時刻的“最佳”音頻數(shù)據(jù)組成。系統(tǒng)10可以存儲表示何時誰在說話的時間線索引。該信息可以根據(jù)位置并根據(jù)已知的基于音頻的說話者識別方法來獲得。系統(tǒng)10可以存儲在通信交互期間所說的話的記錄。這可以通過將語音識別軟件應(yīng)用于通信交互的單個存檔的音頻記錄(上面所述的)來得到。系統(tǒng)10可以存儲一組會議要點，其每個要點可以包含音頻、視頻、以及其他數(shù)據(jù)，其將通信交互的事件壓縮成更短的時間，同時保留最重要的內(nèi)容?？梢詫⒂糜谧詣右曨l和/或音頻概括的許多已知方法應(yīng)用于上述的單個存檔視頻和/或音頻流。
通信任務(wù)24從傳感任務(wù)20獲得與特定感興趣線程有關(guān)的數(shù)據(jù)，并將其以媒體數(shù)據(jù)流傳送到再現(xiàn)任務(wù)22。在一些實施例中，通信任務(wù)24使用網(wǎng)絡(luò)通信協(xié)議，例如TCP/IP/UDP、HTTP、SOAPXML，以用于傳送在傳感任務(wù)20和再現(xiàn)任務(wù)22之間的媒體數(shù)據(jù)流以及控制數(shù)據(jù)。
再現(xiàn)任務(wù)22經(jīng)由通信任務(wù)24獲得特定感興趣線程的媒體數(shù)據(jù)流，并使用所選擇的該特定感興趣線程的再現(xiàn)部件來再現(xiàn)所獲得的媒體數(shù)據(jù)流。例如，再現(xiàn)任務(wù)22可以獲得由所選擇的數(shù)字攝像機所獲取的視頻數(shù)據(jù)，并接著將獲得的視覺數(shù)據(jù)再現(xiàn)在所選擇的視覺顯示器上。類似地，再現(xiàn)任務(wù)22可以獲得由所選擇的話筒所獲得的音頻數(shù)據(jù)，并接著使用所選擇的音頻揚聲器來再現(xiàn)所獲得的音頻數(shù)據(jù)。
在一個實施例中，感興趣線程檢測器16通過創(chuàng)建并監(jiān)視富媒體環(huán)境12-14內(nèi)的感興趣區(qū)域來檢測并跟蹤富媒體環(huán)境12-14中的活動。感興趣區(qū)域可以與富媒體環(huán)境12-14之一中的個體相關(guān)聯(lián)。感興趣區(qū)域可以與富媒體環(huán)境12-14之一中的人造品相關(guān)聯(lián)。感興趣區(qū)域可以與富媒體環(huán)境12-14之一中的區(qū)域相關(guān)聯(lián)。例如，感興趣線程檢測器16可以檢測人造品，例如使用機器視覺技術(shù)，并為檢測到的人造品創(chuàng)建感興趣區(qū)域。在另一個例子中，感興趣線程檢測器16可以檢測一個或多個個體，例如使用機器視覺和/或音頻處理技術(shù)，并接著為檢測到的個體創(chuàng)建感興趣區(qū)域。
感興趣線程檢測器16可以將一個或多個感興趣區(qū)域與感興趣線程相關(guān)聯(lián)。例如，感興趣線程檢測器16可以檢測富媒體環(huán)境12的區(qū)域中的一組個體和富媒體環(huán)境13的區(qū)域中的一組個體，為每個區(qū)域創(chuàng)建感興趣區(qū)域，并接著將兩個感興趣區(qū)域與在這些區(qū)域中檢測到的個體之間的通信交互的感興趣線程相關(guān)聯(lián)。
在一個實施例中的系統(tǒng)10包括通過跟蹤相應(yīng)感興趣區(qū)域中的變化來跟蹤感興趣線程的變化的感興趣區(qū)域跟蹤器。例如，個體可以進入、離開感興趣區(qū)域或者在感興趣區(qū)域中改變位置。感興趣區(qū)域跟蹤器將感興趣區(qū)域的變化報告給通信提供器18，以使通信提供器18能夠在適當時為相應(yīng)的感興趣線程重新選擇傳感和再現(xiàn)部件。
圖5示出包括一對示例的富媒體環(huán)境250-252的系統(tǒng)10的實施例。對富媒體環(huán)境250-252所示的配置只是示例，并且許多其他配置也是可能的。
富媒體環(huán)境250具有包括下述的傳感和再現(xiàn)部件的配置一組數(shù)字攝像機140-145、一組話筒160-165、視頻顯示器200、以及一對揚聲器180-181。一組個體120-126被顯示為聚集在會議桌222的周圍。人造品220例如一張紙被顯示在會議桌222上。個體123具有手持設(shè)備328，例如PDA、手持計算機、蜂窩電話等。
富媒體環(huán)境252具有包括下述的傳感和再現(xiàn)部件的配置一組數(shù)字攝像機150-159、一組話筒170-174、話筒陣列175、一對視頻顯示器210-212以及一組揚聲器190-194。一組個體130-136被顯示為沿著會議桌226。個體132具有手持設(shè)備224，個體130具有手持設(shè)備326，以及個體135具有手持設(shè)備324。富媒體環(huán)境252包括白板228。
富媒體環(huán)境250與一組網(wǎng)絡(luò)資源230、一組處理資源232以及一組任務(wù)234相關(guān)聯(lián)。類似地，富媒體環(huán)境252與一組網(wǎng)絡(luò)資源240、一組處理資源242以及一組任務(wù)244相關(guān)聯(lián)。
網(wǎng)絡(luò)資源230和240以及處理資源232和242為感興趣線程檢測器16和通信提供器18提供平臺。感興趣線程檢測器16和通信提供器18的功能可以以任何方式分布于網(wǎng)絡(luò)資源230和240以及處理資源232和242中。
網(wǎng)絡(luò)資源230和240可以包括一個或多個網(wǎng)絡(luò)信號路徑、網(wǎng)絡(luò)接口、客戶和服務(wù)器硬件和軟件等。網(wǎng)絡(luò)資源230和240可以被實現(xiàn)為與外部服務(wù)器(未示出)通信的客戶系統(tǒng)，或者可以被實現(xiàn)為相對于彼此的客戶/服務(wù)器。
處理資源232和242可以包括處理器、存儲器、數(shù)據(jù)庫存儲器等。處理資源232和242可以包括用于執(zhí)行機器視覺功能、音頻處理、音頻/視頻數(shù)據(jù)壓縮/解壓縮等的專用硬件/軟件。處理資源232和242可以分布于包括富媒體環(huán)境250-252的傳感和再現(xiàn)部件的一組硬件設(shè)備中。例如，數(shù)字攝像機140-145、150-159可以包括板上處理資源，用于通過執(zhí)行mpeg編碼來產(chǎn)生媒體流。類似地，視頻顯示器200、210-212可以包括用于執(zhí)行mpeg解碼的處理資源。
處理資源232和242可以包括個人計算機、膝上型計算機、手持計算機等，它們位于富媒體環(huán)境250-252中并具有適當?shù)木W(wǎng)絡(luò)通信能力。例如，手持設(shè)備224可以被包括在處理資源242中。
另外，位于富媒體環(huán)境250-252中并具有適當?shù)木W(wǎng)絡(luò)通信能力的手持設(shè)備可以用作傳感和/或再現(xiàn)部件。例如，手持設(shè)備224可以包括傳感和再現(xiàn)部件，其可以被包括在富媒體環(huán)境252的傳感和再現(xiàn)部件中。
任務(wù)234和244提供一組可以由感興趣線程檢測器16和通信提供器18采用的任務(wù)。舉幾個例子，所述任務(wù)的示例包括使用機器視覺來檢測人造品和個體的任務(wù)、使用音頻處理來檢測個體的任務(wù)、使用機器視覺和/或音頻處理來檢測個體的移動的任務(wù)、使用攝像機陣列獲得立體視覺信息的任務(wù)。系統(tǒng)10可以包括管理部件，用于在需要時將任務(wù)部署到處理資源232和242。
任務(wù)234可以依賴于富媒體環(huán)境250的部件和處理資源，以及任務(wù)244可以依賴于富媒體環(huán)境250的部件和處理資源。例如，一些音頻處理任務(wù)可能需要話筒陣列，該話筒陣列在富媒體環(huán)境252中可用，但在富媒體環(huán)境250中不可用。
感興趣線程檢測器16可以使用富媒體環(huán)境250-252中的傳感部件來檢測個體120-126和130-136之間的通信交互的形成，并為富媒體環(huán)境250-252之間的主交互創(chuàng)建感興趣線程。主交互可以經(jīng)由圖形用戶接口到感興趣線程檢測器16的用戶輸入而啟動。為此目的，富媒體環(huán)境250-252可以包括用戶接口硬件，例如小鍵盤、顯示器、手持設(shè)備等。通信提供器18選擇富媒體環(huán)境250-252中的傳感和再現(xiàn)部件的子集，以基于那些部件的覆蓋區(qū)域和富媒體環(huán)境250-252內(nèi)個體120-126以及130-136的位置來使用主交互。例如，通信提供器18可以選擇富媒體環(huán)境250中的數(shù)字攝像機143-144、話筒160-165、揚聲器180-181和視頻顯示器200以及富媒體環(huán)境252中的數(shù)字攝像機152、157、話筒170、揚聲器190-191和視頻顯示器210-212以用于主交互。
感興趣線程檢測器16可以根據(jù)個體120-126和130-136中一個的姿勢來檢測副會話。例如，感興趣線程檢測器16可以檢測姿勢，例如個體132斜向或者指向個體135，并為該副會話創(chuàng)建感興趣線程。通信提供器18可以選擇手持設(shè)備224和手持設(shè)備324以用于該感興趣線程。手持設(shè)備324，例如PDA、蜂窩電話、膝上型計算機等，可以提供音頻再現(xiàn)、視頻再現(xiàn)、音頻傳感和視頻傳感能力的任何組合。例如，手持設(shè)備324可以是能夠?qū)㈦娫捄艚兄械拿襟w流發(fā)送至傳感任務(wù)20和/或能夠從再現(xiàn)任務(wù)22接收電話呼叫中的媒體流的設(shè)備。
在另一個例子中，感興趣線程檢測器16可以檢測指著的個體130的姿勢以及具有個體123圖像的視頻顯示器212的區(qū)域，并為個體130和123之間的副會話創(chuàng)建感興趣線程。通信提供器18可以選擇數(shù)字攝像機150、話筒172、手持設(shè)備326、數(shù)字攝像機144、話筒165以及手持設(shè)備328，以用于該感興趣線程。
如果傳感設(shè)備例如話筒165由主交互和副會話共享，那么通信提供器18使用音頻處理技術(shù)來提取與每個感興趣線程有關(guān)的數(shù)據(jù)，并接著適當?shù)芈酚伤崛〉臄?shù)據(jù)。例如，從話筒165提取的與主會話有關(guān)的數(shù)據(jù)被路由到說話者190-191，而從話筒165提取的與副會話有關(guān)的數(shù)據(jù)被路由到手持設(shè)備326。
通信提供器18響應(yīng)于所涉及的個體的移動來為主和副會話的感興趣線程重新選擇傳感和再現(xiàn)部件。例如，如果移動導(dǎo)致個體130不再位于數(shù)字攝像機150的覆蓋區(qū)域之內(nèi)，則通信提供器18可以為涉及個體130和123的副會話的感興趣線程選擇數(shù)字攝像機151，并釋放數(shù)字攝像機150。在另一個例子中，如果在主會話中涉及的說話者移出了數(shù)字攝像機143和144的覆蓋區(qū)域，則通信提供器18可以為主會話的感興趣線程選擇數(shù)字攝像機140。
感興趣線程檢測器16可以使用機器視覺技術(shù)來檢測作為人造品的紙220。例如，富媒體環(huán)境250可以包括具有桌子222的頂視圖的數(shù)字攝像機，它實現(xiàn)紙220的模式識別。感興趣線程檢測器16可以創(chuàng)建與紙220有關(guān)的感興趣區(qū)域，并隨著時間的過去跟蹤該感興趣區(qū)域。與紙220相關(guān)的感興趣區(qū)域可以與感興趣線程相關(guān)。
感興趣線程檢測器16可以使用機器視覺技術(shù)來檢測圖畫，即人造品，其由個體136傳遞到白板228上。例如，數(shù)字攝像機155-156能夠采樣白板228上的圖像內(nèi)容。感興趣線程檢測器16可以創(chuàng)建與白板228有關(guān)的感興趣區(qū)域，并隨著時間的過去跟蹤該感興趣區(qū)域。與白板228相關(guān)的感興趣區(qū)域可以與感興趣線程相關(guān)。例如，白板228的內(nèi)容可以被采樣并接著被再現(xiàn)到視頻顯示器200上，以作為感興趣線程的一部分。
感興趣線程檢測器16可以使用機器視覺技術(shù)來檢測作為人造品的紙220。例如，富媒體環(huán)境250可以包括具有桌子222的頂視圖的數(shù)字攝像機，它實現(xiàn)紙220的模式識別。感興趣線程檢測器16可以創(chuàng)建與紙220有關(guān)的感興趣區(qū)域，并隨著時間的過去跟蹤該感興趣區(qū)域。與紙220相關(guān)的感興趣區(qū)域可以與感興趣線程相關(guān)。
感興趣線程檢測器16可以使用機器視覺技術(shù)來檢測圖畫區(qū)域，即共享的人造品。例如，數(shù)字攝像機155-156能夠采樣白板228上的圖像內(nèi)容。感興趣線程檢測器16可以創(chuàng)建與白板228有關(guān)的感興趣區(qū)域，并隨著時間的過去跟蹤該感興趣區(qū)域。與白板228相關(guān)的感興趣區(qū)域可以與感興趣線程相關(guān)。例如，白板228的內(nèi)容可以被采樣并接著被再現(xiàn)到視頻顯示器200上，以作為感興趣線程的一部分。
系統(tǒng)10能夠使協(xié)作于共享的人造品的多個個體之間進行通信交互，所述人造品的視圖可以隨著時間的過去而改變。這種共享的人造品的一個例子是共享的虛擬書寫面，例如虛擬白板或者虛擬記事本。例如，個體可以使用諸如一拍紙簿(pad)的紙和書寫工具之類的項，并且系統(tǒng)10使用計算機視覺方法來檢測書寫面。從檢測書寫面所獲得的數(shù)據(jù)被再現(xiàn)給適當?shù)膫€體以經(jīng)由一個或多個顯示面來觀看?？梢杂涗泚碜悦總€個體和所得的合成虛擬白板的數(shù)據(jù)。
涉及虛擬白板的通信交互可以包括位于相同富媒體環(huán)境或者不同富媒體環(huán)境中的個體。兩個或者更多個書寫面可以用作到共享的虛擬白板的輸入。所有個體的所有書寫都由富媒體環(huán)境中的攝像機發(fā)現(xiàn)，并被再現(xiàn)到適當?shù)脑佻F(xiàn)設(shè)備以供個體觀看。通過利用數(shù)字投影儀，這些顯示器優(yōu)選地覆蓋并對準一個或多個原始輸入書寫面。也可以使用其他類型的顯示面，例如等離子體、膝上型計算機、計算機或者平板計算機顯示器。
系統(tǒng)10可以存儲當前共享的白板內(nèi)容以及對共享白板的內(nèi)容隨著時間的過去所作的改變的歷史。該歷史可以被存儲為一系列時間標記的或者時間排序的圖像，從而顯示出在協(xié)作對話過程中不同時間的共享白板內(nèi)容的狀態(tài)。所述歷史能夠取消最近對白板作出的一個或多個改變。所述歷史也能夠利用較早時間的白板的圖像來替換當前顯示的白板的內(nèi)容。所述歷史也能夠顯示由哪些個體作出了哪些標記。所述歷史也能夠重放協(xié)作對話。所述歷史能夠使用戶交互地尋找過去的特定時間點。
圖6示出根據(jù)本教導(dǎo)的富媒體環(huán)境300。富媒體環(huán)境300包括含有下述的傳感和再現(xiàn)部件的配置一組數(shù)字攝像機310-318、一組音頻揚聲器320-323、一組話筒340-345、以及一組視頻顯示器320-332。富媒體環(huán)境還包括一組便攜式設(shè)備350-352、例如蜂窩電話、PDA、膝上型計算機等，其中任何一個或者多個可以包括傳感和或再現(xiàn)部件。例如，便攜式設(shè)備可以包括數(shù)字攝像機、話筒、揚聲器、視頻顯示器等的任何組合。
富媒體環(huán)境300由一組個體360-363使用。富媒體環(huán)境300可以被實現(xiàn)為會議室例如會議桌370、會見室、實驗室等、或者任何類型的會場。富媒體環(huán)境300優(yōu)選地包括相對較大量的傳感和再現(xiàn)部件，從而能夠靈活地運用傳感和再現(xiàn)部件來執(zhí)行任務(wù)和服務(wù)。
富媒體環(huán)境300與一組處理資源和一組網(wǎng)絡(luò)資源相關(guān)聯(lián)。處理資源的例子包括處理設(shè)備，例如計算機、專用處理設(shè)備、以及存儲器和存儲設(shè)備。網(wǎng)絡(luò)資源的例子包括服務(wù)器、網(wǎng)絡(luò)通信設(shè)備、網(wǎng)線、客戶機設(shè)備等。一些處理和網(wǎng)絡(luò)資源可以被包括在傳感和再現(xiàn)部件中。例如，數(shù)字攝像機310-318可以包括板上網(wǎng)卡和/或板上mpeg編碼器。類似地，視頻顯示器330-332包括板上網(wǎng)卡和/或板上mpeg解碼器。另外，便攜式設(shè)備350-352可以提供處理資源和/或網(wǎng)絡(luò)資源以用于富媒體環(huán)境300。
圖7示出根據(jù)本教導(dǎo)的管理系統(tǒng)420中的服務(wù)管理器400和任務(wù)管理器402。服務(wù)管理器400提供與富媒體環(huán)境300有關(guān)的一組通信服務(wù)440-442，以及任務(wù)管理器402執(zhí)行一組支持通信服務(wù)440-442的任務(wù)450-452。
任務(wù)管理器402保存了可以在富媒體環(huán)境300中執(zhí)行的任務(wù)450-452的列表。該列表可以基于富媒體環(huán)境300中的傳感和再現(xiàn)部件的配置以及可用的處理和通信資源以及安裝的軟件?？捎萌蝿?wù)的列表可以在富媒體環(huán)境300的設(shè)置/配置過程中創(chuàng)建。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的一個例子是用于找出富媒體環(huán)境300中的個體的任務(wù)。找出個體的任務(wù)可以通過使用機器視覺來識別個體而執(zhí)行。視覺識別任務(wù)的可用性可以依賴于數(shù)字攝像機以及處理和網(wǎng)絡(luò)資源以及用于從數(shù)字攝像機獲得個體圖像并將所獲得的圖像與所存儲的已知個體的圖像相比較的軟件的可用性。找出個體的任務(wù)可以通過話音識別來執(zhí)行。話音識別任務(wù)的可用性可以依賴于話筒以及處理和網(wǎng)絡(luò)資源以及用于獲得個體的語音樣本并將所獲得的語音樣本與所存儲的已知個體的語音樣本相比較的軟件的可用性。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的另一個例子是用于跟蹤個體的移動的任務(wù)。跟蹤個體的任務(wù)可以使用機器視覺或者音頻處理技術(shù)來執(zhí)行。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的另一個例子是用于檢測個體的姿勢的任務(wù)。檢測姿勢的任務(wù)可以使用機器視覺技術(shù)來執(zhí)行。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的另一個例子是用于執(zhí)行話音識別的任務(wù)?？梢杂扇蝿?wù)管理器402執(zhí)行的任務(wù)的又一個例子是用于執(zhí)行語音識別的任務(wù)。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的另一個例子是用于從富媒體環(huán)境300中的位置獲取一組傳感器數(shù)據(jù)的任務(wù)。傳感器數(shù)據(jù)可以是來自話筒340-345的音頻數(shù)據(jù)和/或來自數(shù)字攝像機310-318的視頻數(shù)據(jù)和/或來自便攜式設(shè)備350-352的音頻和/或視頻數(shù)據(jù)。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的又一個例子是用于將一組數(shù)據(jù)再現(xiàn)到富媒體環(huán)境300中的位置的任務(wù)。所述數(shù)據(jù)可以是要使用音頻揚聲器320-323再現(xiàn)的音頻數(shù)據(jù)和/或要使用視頻顯示器330-332和/或便攜式設(shè)備350-352再現(xiàn)的視頻數(shù)據(jù)。
可以由任務(wù)管理器402執(zhí)行的任務(wù)的另一個例子是用于產(chǎn)生富媒體環(huán)境300的3D模型的任務(wù)。該任務(wù)的可用性可以依賴于適當配置的數(shù)字攝像機的陣列以及處理和網(wǎng)絡(luò)資源以及用于獲得立體圖像并構(gòu)造所獲得的圖像的3D表示的軟件的可用性。
服務(wù)管理器400使用任務(wù)管理器402來執(zhí)行每個通信服務(wù)440-442所需要的適當任務(wù)。服務(wù)管理器400將請求發(fā)送至任務(wù)管理器402以執(zhí)行所需的任務(wù)，并且任務(wù)管理器402將一組處理資源和通信資源分配給請求的任務(wù)，并且執(zhí)行所請求的任務(wù)。
由服務(wù)管理器400提供的通信服務(wù)的一個例子是用于跟蹤富媒體環(huán)境300中的一組個體中每個個體的移動的服務(wù)。例如，服務(wù)管理器400可以通過向任務(wù)管理器402請求定位個體360的任務(wù)和跟蹤個體360的移動的任務(wù)以及定位個體361的任務(wù)和跟蹤個體361的移動的任務(wù)來提供跟蹤個體360-361的移動的服務(wù)。兩個定位任務(wù)的輸出可以用作這兩個跟蹤任務(wù)的輸入。
由服務(wù)管理器400提供的通信服務(wù)的另一個例子是用于將通信信道提供給富媒體環(huán)境300中的一組個體的服務(wù)。例如，服務(wù)管理器400可以通過向任務(wù)管理器402請求定位個體360的任務(wù)和從個體360獲得傳感器數(shù)據(jù)的任務(wù)和將數(shù)據(jù)再現(xiàn)給個體360的任務(wù)以及定位個體361的任務(wù)和從個體361獲得傳感器數(shù)據(jù)的任務(wù)和將數(shù)據(jù)再現(xiàn)給個體361的任務(wù)來提供在個體360-361之間的通信信道的服務(wù)。從個體360獲得的傳感器數(shù)據(jù)可以用作再現(xiàn)給個體361的數(shù)據(jù)，反之亦然。響應(yīng)于個體360-361中每個的當前位置以及傳感和再現(xiàn)部件的覆蓋區(qū)域和其他職責(zé)，可以選擇要由這些任務(wù)使用的傳感和再現(xiàn)部件。服務(wù)管理器400也可以請求用于跟蹤個體360-361的移動的任務(wù)，所以產(chǎn)生需要時可以更新用于通信信道的傳感和再現(xiàn)部件。
圖8示出管理系統(tǒng)420中的用戶管理器404和部件管理器406。用戶管理器404管理富媒體環(huán)境300中的個體360-363之間的通信和協(xié)作，以及部件管理器406管理富媒體環(huán)境300的部件，所述富媒體環(huán)境300包括其傳感和再現(xiàn)部件、處理資源、存儲資源、網(wǎng)絡(luò)資源以及其便攜設(shè)備。
用戶管理器404保存一組用于各個個體360-363的用戶簡檔460-463。例如，個體360的簡檔460可以包括在富媒體環(huán)境300內(nèi)個體360的當前位置。簡檔460可以包括與個體360有關(guān)的一組屬性。個體的一組屬性可以在涉及富媒體環(huán)境300的正在進行的會議的情況下有意義。例如，屬性可以指定個體的資格或者專業(yè)領(lǐng)域。所述屬性可以用于形成個體360-363以及其他富媒體環(huán)境或者遠程場所中的個體之間的通信交互，所述遠程場所中的個體例如是具有手持設(shè)備、蜂窩電話等的遠程用戶。例如，可以基于他們的專業(yè)、等級、組織因素等在個體之間形成通信交互。
用戶管理器404提供個體360-363的簡檔460-463的圖形用戶接口視圖。用戶管理器404也可以提供與其他富媒體環(huán)境相關(guān)的個體的圖形用戶接口視圖，所述其他富媒體環(huán)境具有與富媒體環(huán)境300中的個體360-363正在進行的通信交互。
當個體360-363進入富媒體環(huán)境300時，用戶管理器404識別他們。例如，富媒體環(huán)境300可以包括圖形用戶接口，例如鍵盤/小鍵盤、顯示器等，其能夠使個體在進入富媒體環(huán)境300時提供標識信息。用戶管理器404可以使用富媒體環(huán)境中的傳感和再現(xiàn)部件以用于圖形用戶接口。富媒體環(huán)境300可以包括條形碼檢測器、磁碼檢測器等，其在個體進入富媒體環(huán)境300時獲得與個體有關(guān)的標識信息。個體的標識信息可以被存儲在個體的用戶簡檔中。
用戶管理器404可以使用由服務(wù)管理器400提供的服務(wù)例如圖像或者話音識別來識別個體360-363。用戶管理器404使用由服務(wù)管理器400提供的服務(wù)來跟蹤個體360-363隨著時間的過去在富媒體環(huán)境300內(nèi)的位置。可以使用個體360-363的位置來形成個體360-363以及其他富媒體環(huán)境或者遠程場所中的個體之間的通信交互，并且選擇傳感和再現(xiàn)部件以用于通信交互。
用戶管理器404跟蹤富媒體環(huán)境300內(nèi)的便攜式設(shè)備350-352。例如，每個便攜式設(shè)備350-352可以與個體相關(guān)，并被登記在個體的用戶簡檔中。
部件管理器406保存一組部件記錄470-472。部件記錄470-472包括富媒體環(huán)境300的每個傳感和再現(xiàn)部件的記錄。傳感或再現(xiàn)部件的部件記錄可以指定其在富媒體環(huán)境300中的位置和覆蓋區(qū)域、以及任何其他有關(guān)信息，例如陣列的一部分或者部件的陣列。傳感或再現(xiàn)部件的部件記錄可以指定傳感部件當前被分配的任何感興趣線程和/或感興趣區(qū)域。
部件記錄470-472包括與富媒體環(huán)境300相關(guān)的每個處理資源、存儲資源和網(wǎng)絡(luò)資源的部件記錄。處理資源、存儲資源或者網(wǎng)絡(luò)資源的部件記錄可以基于其當前正在執(zhí)行的任務(wù)來指定其可用性或者可用能力。
部件記錄470-472包括可以在富媒體環(huán)境300中使用的便攜式設(shè)備350-352的每個部件的部件記錄。便攜式設(shè)備的部件記錄可以指定其所相關(guān)的個體和/或它可擁有并可以由管理系統(tǒng)420使用的處理性能。
圖9示出管理系統(tǒng)420中的感興趣區(qū)域管理器408和感興趣線程管理器410。感興趣區(qū)域管理器408管理富媒體環(huán)境300中的一組感興趣區(qū)域，而感興趣線程管理器410管理與富媒體環(huán)境300有關(guān)的一組感興趣線程。
感興趣區(qū)域管理器408標識富媒體環(huán)境300中的感興趣區(qū)域。感興趣區(qū)域可以與富媒體環(huán)境300中的個體或者富媒體環(huán)境300中的人造品或者富媒體環(huán)境300內(nèi)的子區(qū)域相關(guān)聯(lián)。感興趣區(qū)域管理器408可以通過例如使用服務(wù)440-442來標識富媒體環(huán)境300中的一個或多個個體或者人造品來標識感興趣區(qū)域。感興趣區(qū)域管理器408可以通過將富媒體環(huán)境300細分成一組子區(qū)域并為每個子區(qū)域創(chuàng)建感興趣區(qū)域來標識一組感興趣區(qū)域。
感興趣區(qū)域管理器408為每個標識的感興趣區(qū)域創(chuàng)建一組感興趣區(qū)域記錄480-482。每個感興趣區(qū)域記錄480-482包括在相應(yīng)感興趣區(qū)域中所包含的個體的標識和位置。感興趣區(qū)域管理器408選擇要用于每個感興趣區(qū)域的富媒體環(huán)境300的傳感和再現(xiàn)部件，并在感興趣區(qū)域記錄480-482中標識所選擇的部件。
感興趣區(qū)域管理器408使用服務(wù)440-442來隨著時間的過去跟蹤每個感興趣區(qū)域并檢測與感興趣區(qū)域相關(guān)的個體或者人造品的移動。感興趣區(qū)域管理器408在感興趣區(qū)域記錄480-482中記錄該移動，并且該信息可以用于重新選擇傳感和再現(xiàn)部件以便為感興趣區(qū)域提供適當?shù)母采w區(qū)域。
感興趣區(qū)域管理器408可以從感興趣線程管理器410獲得所需目標再現(xiàn)請求的列表，并接著確定獲取目標取景器的感興趣區(qū)域所需要的傳感和再現(xiàn)部件。例如，目標再現(xiàn)請求可以請求特定個體或者人造品的視頻或者音頻，或者可以請求在感興趣區(qū)域之一中個體或者人造品的特定透視圖。
感興趣線程管理器410使用富媒體環(huán)境300中的傳感部件來檢測個體360-363以及其他富媒體環(huán)境中的個體或者遠程位置的個體之間的通信交互的形成。感興趣線程管理器410為所檢測到的每個通信交互創(chuàng)建一組感興趣線程記錄490-492。感興趣線程管理器410可以通過使用服務(wù)440-442檢測一個或多個個體360-363之一的視覺線索例如姿勢、移動等來檢測通信交互的形成。感興趣線程管理器410可以通過使用服務(wù)440-442檢測個體360-363的口頭語音線索來檢測通信交互的形成。感興趣線程管理器410可以響應(yīng)于經(jīng)由圖形用戶接口的用戶輸入來創(chuàng)建感興趣線程。
感興趣線程管理器410可以經(jīng)由感興趣區(qū)域管理器408跟蹤感興趣線程中的變化，并將變化記錄在感興趣線程記錄490-492中。例如，感興趣線程管理器410可以將感興趣線程與由感興趣區(qū)域管理器408跟蹤的一個或多個感興趣區(qū)域相關(guān)聯(lián)，以使感興趣線程中的變化依賴于其下面的感興趣區(qū)域中的變化。
感興趣線程管理器410管理與富媒體環(huán)境300相關(guān)的正在進行的感興趣線程。例如，感興趣線程管理器410獲得與在正在進行的感興趣線程中所涉及的個體的移動有關(guān)的信息。感興趣線程管理器410可以使用該信息來檢測在正在進行的感興趣線程中所涉及的新個體以及離開正在進行的感興趣線程的個體。感興趣線程管理器410可以使用該信息來檢測正在進行的感興趣線程的合并以及正在進行的感興趣線程的分裂。例如，在第一感興趣線程中涉及的個體向在第二感興趣線程中涉及的個體移動可以表示第一和第二感興趣線程的合并。類似地，在第一感興趣線程中涉及的個體遠離在第二感興趣線程中涉及的個體可以表示第一和第二感興趣線程的分裂。如果一個感興趣線程在預(yù)定時間段內(nèi)沒有活動或者如果所有涉及的個體實際上或者虛擬地離開彼此，則感興趣線程管理器410可以結(jié)束該感興趣線程。
圖10示出管理系統(tǒng)420中的性能監(jiān)視器412、系統(tǒng)控制器414、以及對話管理器416。性能監(jiān)視器412提供圖形用戶接口來監(jiān)視系統(tǒng)性能。性能監(jiān)視器412產(chǎn)生一組系統(tǒng)的視圖，包括系統(tǒng)的用戶視圖、系統(tǒng)的感興趣區(qū)域視圖、系統(tǒng)的感興趣線程視圖、系統(tǒng)的部件視圖、系統(tǒng)的任務(wù)管理器視圖、以及系統(tǒng)的服務(wù)視圖。
系統(tǒng)控制器414使操作者能夠控制部分系統(tǒng)。系統(tǒng)控制器414產(chǎn)生圖形用戶接口來顯示系統(tǒng)性能和系統(tǒng)狀態(tài)。系統(tǒng)控制器414使操作者能夠手動地指定富媒體環(huán)境300中的感興趣區(qū)域，并匹配感興趣區(qū)域和感興趣線程。系統(tǒng)控制器414使操作者能夠手動地控制用于感興趣區(qū)域和感興趣線程的富媒體環(huán)境300的部件。
對話管理器416創(chuàng)建管理系統(tǒng)420和另一個富媒體環(huán)境的管理系統(tǒng)之間的對話。
用于跟蹤個體的移動的任務(wù)可以被實現(xiàn)為基于視覺的個人跟蹤系統(tǒng)。個人跟蹤系統(tǒng)可以基于對區(qū)域的被動觀察來檢測并跟蹤個體。個人跟蹤系統(tǒng)可以基于平面成像來檢測和跟蹤個體，所述平面成像是至少部分地從表示區(qū)域中視覺場景的深度圖像的視頻流中獲得的。個人跟蹤系統(tǒng)可以產(chǎn)生三維的網(wǎng)格或點云。三維點云具有帶有從視頻流獲得的一個或多個相關(guān)屬性的成員，并表示由地平面和正交于該地平面的垂直軸所跨越的三維坐標系中所選擇的深度圖像像素。三維點云被分成一組垂直方向的面元(bin)。所劃分的三維點云被映射成平面圖像，所述平面圖像對于每個垂直方向的面元都包含一個相應(yīng)的像素，該像素具有基于一個或多個屬性所計算的一個或多個值、或者占據(jù)相應(yīng)垂直方向面元的三維點云成員的計數(shù)。至少部分地基于平面圖像來跟蹤對象。三維網(wǎng)格是具有明確的連續(xù)性的三維點云。
感興趣線程是動態(tài)實體，該動態(tài)實體可以被看作具有從創(chuàng)建感興趣線程到對感興趣線程可能的一次或多次的修改到破壞感興趣線程的生存期。對感興趣線程的修改可以在對象/個體離開相應(yīng)的通信交互時進行。例如，如果個體離開了組會話，則相應(yīng)的感興趣線程以進行修改而繼續(xù)?？梢园丫€程修改事件通知給在修改的感興趣線程中涉及的其他個體。
感興趣線程可以合并和分支。合并就是將兩個或更多個預(yù)先存在的感興趣線程組合成一個感興趣線程。分支就是將一個感興趣線程分裂成兩個或更多個感興趣線程。感興趣線程也可以在富媒體環(huán)境之間移動。
用戶簡檔也可以包括許可簡檔。許可簡檔可以與感興趣線程或者對象或個體有關(guān)。線程許可可以用來使線程對于組預(yù)定為私人、公開或者受限。線程許可可以控制是否把與感興趣線程有關(guān)的存在和活動通知給富媒體環(huán)境中的任何個體。在感興趣線程開始時，它可以被指定為專用線程，并且不允許任何人收聽。會議的說話者可以開始感興趣線程并允許每個人收聽。
用戶許可使用戶能夠使他們的動作和存在不被檢測到。感興趣線程檢測器不能監(jiān)視這種個體的屬性或者動作。
以上對本發(fā)明的詳細描述是為了說明的目的而提供的，并且不打算是窮舉的或者將本發(fā)明限制于所公開的確切實施例。因此，本發(fā)明的范圍由所附權(quán)利要求書來限定。
權(quán)利要求
1.一種用于通信的系統(tǒng)，包括一組一個或多個富媒體環(huán)境(12-14)，其具有傳感和再現(xiàn)部件的相應(yīng)配置；感興趣線程檢測器(16)，其使用傳感和再現(xiàn)部件來檢測一組個體之間的多個通信交互，并為每個通信交互保存感興趣線程；通信提供器(18)，其對每個感興趣線程從傳感部件獲取一組媒體數(shù)據(jù)，以及響應(yīng)于個體的活動而組合所獲取的媒體數(shù)據(jù)，并將組合的媒體數(shù)據(jù)傳送給再現(xiàn)部件。
2.權(quán)利要求1所述的系統(tǒng)，其中通信提供器(18)選擇傳感和再現(xiàn)部件的子集以用于每個感興趣線程。
3.權(quán)利要求1所述的系統(tǒng)，其中所述活動包括個體的語音電平。
4.權(quán)利要求1所述的系統(tǒng)，其中所述活動包括個體的姿勢。
5.權(quán)利要求1所述的系統(tǒng)，其中所述活動包括個體的移動。
6.權(quán)利要求1所述的系統(tǒng)，其中所述活動包括個體的位置。
7.權(quán)利要求1所述的系統(tǒng)，其中通信提供器(18)響應(yīng)于所述活動而提煉從傳感器部件獲得的媒體數(shù)據(jù)。
8.權(quán)利要求1所述的系統(tǒng)，其中通信提供器(18)存儲所組合的媒體數(shù)據(jù)以提供相應(yīng)的通信交互的歷史。
9.權(quán)利要求1所述的系統(tǒng)，其中一個或多個通信交互與富媒體環(huán)境(12-14)之一中的人造品有關(guān)。
10.權(quán)利要求1所述的系統(tǒng)，其中一個或多個個體位于遠程位置，并擁有遠程傳感和再現(xiàn)部件。
全文摘要
一種能夠使用富媒體環(huán)境(12－14)在個體之間進行通信和協(xié)作的系統(tǒng)。根據(jù)本技術(shù)的系統(tǒng)包括一組富媒體環(huán)境(12－14)，每個富媒體環(huán)境具有傳感和再現(xiàn)部件的相應(yīng)配置以用于相應(yīng)組的個體的傳感和對其的再現(xiàn)。根據(jù)本技術(shù)的系統(tǒng)包括感興趣線程檢測器(16)，其使用傳感和再現(xiàn)部件來檢測個體之間的多個通信交互的形成，并為每個檢測到的通信交互創(chuàng)建感興趣線程，并且還包括通信提供器(18)，其對每個感興趣線程從相應(yīng)子集的傳感部件中獲取一組媒體數(shù)據(jù)，以及響應(yīng)于相應(yīng)個體的活動而組合所獲取的媒體數(shù)據(jù)，并將組合的媒體數(shù)據(jù)傳送給相應(yīng)子集的再現(xiàn)部件。
文檔編號H04H1/00GK1890622SQ200480036387
公開日2007年1月3日 申請日期2004年10月6日 優(yōu)先權(quán)日2003年10月9日
發(fā)明者S·J·維, H·H·貝克, N·T·巴蒂, M·科維爾, M·哈維爾 申請人:惠普開發(fā)有限公司