Ip網(wǎng)絡(luò)中資源高效的聲回波消除的制作方法
【專利摘要】系統(tǒng)和方法為IP網(wǎng)絡(luò)中互聯(lián)網(wǎng)協(xié)議（IP）媒體服務(wù)器中的實時媒體處理提供聲回波監(jiān)測和消除?；夭ūO(jiān)測器被配置成選擇性地比較通過選定端口進出IP媒體服務(wù)器的音頻流。比較確定回波的發(fā)生。與回波監(jiān)測器通信的回波消除器被配置成對于回波監(jiān)測器的確定做出響應(yīng)，以便從音頻流的至少一個中移除回波。通話突發(fā)檢測器可用于檢測通過選定端口的音頻流的至少一個中的話音?；夭ūO(jiān)測器響應(yīng)于來自通話突發(fā)檢測器的指示檢測到話音的信號來比較音頻流。
【專利說明】IP網(wǎng)絡(luò)中資源高效的聲回波消除
【技術(shù)領(lǐng)域】
[0001]本文所描述的實施例涉及在互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上承載的音頻信號和流中的聲回波監(jiān)測和消除的領(lǐng)域。
【背景技術(shù)】
[0002]回波通常由以揚聲器電話模式操作的電話終端或者由將2線模擬電路轉(zhuǎn)換為公共電話交換網(wǎng)(PSTN)網(wǎng)絡(luò)中的4線傳輸線路的混合變換器(hybrid)引入。在IP網(wǎng)絡(luò)中，回波(聲和/或混合)被從終端承載通過并且經(jīng)受可變的延遲和抖動。在IP會議系統(tǒng)中，由參與者中的任一個引入的回波由除了引入回波的一個或多個終端之外的所有參與者聽到，導(dǎo)致音頻會議較差的質(zhì)量。從媒體處理資源利用的角度而言，監(jiān)測回波和從IP音頻流中移除回波是特別昂貴的操作。
[0003]基于IP的會議服務(wù)器通常被稱作IP媒體服務(wù)器，IP媒體服務(wù)器用于電話網(wǎng)絡(luò)中并且執(zhí)行多種基本和增強的服務(wù)，其包括會議、音頻和視頻交互語音響應(yīng)(IVR)、轉(zhuǎn)碼、音頻和視頻通知和其它先進的話音服務(wù)。IP媒體服務(wù)器也可用于網(wǎng)絡(luò)中，該網(wǎng)絡(luò)提供視頻會議服務(wù)以及在互聯(lián)網(wǎng)、在虛擬專用網(wǎng)絡(luò)上，在廣域網(wǎng)或在局域網(wǎng)內(nèi)發(fā)生的類型的典型數(shù)據(jù)交換服務(wù)。由媒體服務(wù)器執(zhí)行的數(shù)據(jù)交換和處理是基于具有固定最大處理時間要求的分組處理。
[0004]IP多媒體會議服務(wù)器允許多個參與者參加會議。會議服務(wù)通過混合器資源提供參與者媒體的混合，允許所有參與者聽到或者看到其它參與者，當他們在會議期間變得活躍時。會議混合器資源可使用來自所有參與者的媒體以確定在會議操作期間哪些參與者將作為活躍的參與者而被聽到或看到。當在其他參與者開始發(fā)言的同時特定參與者停止發(fā)言時，活躍的參與者的集合能夠?qū)崟r地動態(tài)改變。
[0005]會議服務(wù)的單個實例可在N個處理器上分布，其中N>=1。媒體處理服務(wù)器的集合可以在同一物理服務(wù)器內(nèi)并置或者可以在近或遠位置經(jīng)由IP通信接口互連的多個物理服務(wù)器上分布。
[0006]無論會議混合器資源是并置的還是分布的，在會議中服務(wù)以及參與者交互的用戶體驗優(yōu)選地不應(yīng)改變。例如，在音頻會議中，所有參與者，無論會議混合器資源在地理上是分布的或并置的，應(yīng)聽到相同的會議輸出混合。
[0007]IP多媒體端對端服務(wù)器允許兩個參與者參與雙向會議。

【發(fā)明內(nèi)容】

[0008]在一個實施例中，一種用于對互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)中的實時媒體處理提供聲回波監(jiān)測和消除的系統(tǒng)。該系統(tǒng)包括IP媒體服務(wù)器，IP媒體服務(wù)器包括用于向音頻會議的多個參與者提供實時端對端服務(wù)或音頻混合的多個端口。IP媒體服務(wù)器包括回波監(jiān)測器，回波監(jiān)測器被配置成選擇性地比較通過多個端口中的選定端口進入IP媒體服務(wù)器的音頻流和流出IP媒體服務(wù)器的音頻流。比較確定回波的發(fā)生。IP媒體服務(wù)器還包括與回波監(jiān)測器通信的回波消除器?；夭ㄏ鞅慌渲贸身憫?yīng)于由回波監(jiān)測器的確定從音頻流中的至少一個移除回波。在某些這樣的實施例中，IP媒體服務(wù)器進一步包括通話突發(fā)檢測器，其被配置成檢測通過選定端口的音頻流的至少一個中的話音?；夭ūO(jiān)測器響應(yīng)于來自通話突發(fā)檢測器的指示檢測到話音的信號，選擇性地比較音頻流。
[0009]在另一實施例中，一種用于聲回波監(jiān)測和消除的方法包括選擇性地比較進入IP媒體服務(wù)器的選定端口的音頻流和流出IP媒體服務(wù)器的選定端口的音頻流。比較確定回波的發(fā)生。響應(yīng)于對回波發(fā)生的確定，該方法進一步包括從音頻流中的至少一個移除回波。在某些這樣的實施例中，該方法還包括:檢測通過選定端口的音頻流的至少一個中的話音，其中響應(yīng)于話音的檢測來發(fā)生選擇性地比較音頻流。
[0010]從下文參考附圖進行的對優(yōu)選實施例的詳細描述，另外的方面和優(yōu)點將是顯而易見的。
【專利附圖】

【附圖說明】
[0011]現(xiàn)將參考附圖，僅通過舉例來更詳細地描述各種實施例，在附圖中:
[0012]圖1是示出了典型基于終端的聲回波消除方案的框圖；
[0013]圖2包括在基于終端或基于網(wǎng)絡(luò)的聲回波消除方案中體延遲與回波尾部長度之間差異的曲線圖；
[0014]圖3是示出在VoIP網(wǎng)絡(luò)內(nèi)在典型會議場景中的回波路徑的框圖；
[0015]圖4是示出根據(jù)一個實施例的VoIP媒體服務(wù)器的框圖，VoIP媒體服務(wù)器被配置成為會議服務(wù)執(zhí)行聲回波消除；
[0016]圖5是示出根據(jù)一個實施例的VoIP媒體服務(wù)器的框圖，VoIP媒體服務(wù)器被配置成為端對端服務(wù)執(zhí)行聲回波消除；
[0017]圖6是示出根據(jù)一個實施例在媒體服務(wù)器中使用的AEC的框圖；
[0018]圖7是示出了根據(jù)一個實施例，從AEC處理對象的視角，具有聲回波消除的示例三端口窄頻帶音頻會議的方法的流程圖；以及
[0019]圖8是示出了根據(jù)一個實施例，從AEC處理對象的視角，具有聲回波消除的示例二端口端對端服務(wù)的方法800的流程圖。
【具體實施方式】
[0020]1.介紹
[0021]聲回波消除(AEC)是在進入端口上移除回波的技術(shù)。通常在終端以揚聲器電話模式操作并且不具有內(nèi)置回波消除器或者具有較差的內(nèi)置回波消除器時引入聲回波。當發(fā)送給用戶終端的揚聲器的會議音頻的一部分由麥克風拾取并且反饋給會議混合器以由所有會議用戶(除了生成回波的用戶之外)聽到時，在會議中出現(xiàn)聲回波。回波也可能在將2線模擬電路轉(zhuǎn)換為4線傳輸線路的混合變換器中在公共交換電話交換網(wǎng)(PSTN)終端上引入。回波消除通常不能區(qū)分聲回波和混合回波并且試圖消除它們二者。當回波延遲變得遠大于約50ms時，回波是很分散注意力的。
[0022]回波的尾部長度是在回波初始開始直到回波基本上消失(例如，以30dB或更多)之間的時間長度。標準會議室為大約64ms的回波尾部。[0023]回波的體延遲是在媒體服務(wù)器輸出發(fā)聲到在媒體服務(wù)器輸入上相對應(yīng)的回波開始之間的時間長度。體延遲包括往返網(wǎng)絡(luò)延遲、在回波路徑中的聲延遲和在終端和媒體服務(wù)器中的任何延遲(例如，抖動、分組、編解碼器延遲等)。在VoIP中的回波通常具有更大的延遲(直至512ms)并且可能在感覺上更讓人討厭。如由終端使用的常規(guī)聲回波消除技術(shù)在這種場景中并不現(xiàn)實，而是替代地，網(wǎng)絡(luò)回波消除器利用體延遲信息來估計和消除回波。具有64ms回波尾部的回波消除器能有效地消除具有64ms尾部的回波，只要已知正確的體延遲。在媒體服務(wù)器上，測量體延遲，因為其在呼叫與呼叫之間可能差異很大并且是未知的。由回波監(jiān)測資源測量在IP音頻流上的回波和體延遲的存在與否，這從媒體處理資源利用角度而言是昂貴的操作。由回波消除資源來處置回波消除，這從媒體處理資源利用角度而言也可能增加了昂貴了操作。
[0024]本文所公開的實施例提供在保留稀有的媒體處理資源的同時監(jiān)測和消除在大量音頻流上的聲回波的能力。根據(jù)某些實施例，VoIP網(wǎng)絡(luò)添加了增加的延遲、時鐘偏移和額外的減損，這使得準確估計體延遲和聲回波消除的任務(wù)較難。
[0025]圖1是示出了典型的基于終端的聲回波消除器(AEC) 110的框圖。在此示例中，AEC 110包括自適應(yīng)濾波器112、減法器113、雙向通話(DT)檢測器114、控制器和/或非線性處理器(NLP) 116、開關(guān)118和衰減器120。AEC 110包括相對于用戶在“近端”用于連接到終端的揚聲器124和麥克風126的終端側(cè)122。AEC 110還包括相對于用戶在“遠端”用于通過網(wǎng)絡(luò)132 (例如，互聯(lián)網(wǎng))連接到媒體服務(wù)器130的媒體服務(wù)器側(cè)128。
[0026]從媒體服務(wù)器130 (遠端)到達的音頻被饋送到AEC 110中的自適應(yīng)濾波器112以及終端的揚聲器124 (近端)，在那里，其被麥克風126部分地拾取。自適應(yīng)濾波器被配置成模擬終端中的回波路徑，使得通過AEC 110中的減法器113來移除由終端的麥克風126拾取的任何回波。不完全的回波移除導(dǎo)致使用最小均方算法更新自適應(yīng)濾波器112直到自適應(yīng)濾波器112收斂為回波路徑。近端話音(雙向通話)的存在干擾收斂。因此，由DT檢測器114來檢測雙向通話，DT檢測器114然后防止自適應(yīng)濾波器112更新。
[0027]在回波路徑中的任何非線性可能導(dǎo)致不能由線性自適應(yīng)濾波器112移除的某些殘余回波。每當回波控制器和/或NLP 116確定在無雙向通話(S卩，無近端話音)的情況下存在回波時，控制器和/或NLP 116通過接入和斷開(例如，由開關(guān)118圖形表示的)衰減器120來移除此殘余回波。在雙向通話期間，控制器和/或NLP 116并不激活，并且僅自適應(yīng)濾波器112用于減少回波。在此情況下，任何殘余回波不受影響地通過，但是可能被近端話音掩蓋。
[0028]應(yīng)當指出的是，對于給定終端，在發(fā)送到揚聲器124的音頻與回響的音頻之間存在固定的最小延遲。這個延遲被稱作體延遲。為了使聲回波消除的效果最大化，AEC 110通常并不試圖消除在體延遲之前發(fā)生的回波。
[0029]圖2包括在基于終端或基于網(wǎng)絡(luò)的聲回波消除方案中體延遲與回波尾部長度之間差異的曲線圖。現(xiàn)參看圖1，在圖2的頂部的曲線圖(媒體服務(wù)器輸出(MSout))示出了被饋送到近端的揚聲器124的音頻，并且在圖2的底部的曲線圖(媒體服務(wù)器輸入(MSin))示出了由近端的麥克風126拾取的回波信號。體延遲是在發(fā)送給揚聲器的信號與其回波之間的時間差，而尾部長度為回波彈回的時間長度。
[0030]圖3是示出在VoIP網(wǎng)絡(luò)310內(nèi)在典型會議場景中回波路徑300的框圖。在此示例中，第一用戶312和第二用戶314通過PSTN 316和VoIP網(wǎng)關(guān)318與VoIP網(wǎng)絡(luò)310通信，第三用戶320和第四用戶322通過蜂窩電話網(wǎng)絡(luò)(在本文中被稱作“小區(qū)網(wǎng)絡(luò)”)324、通過蜂窩(小區(qū))網(wǎng)關(guān)326與VoIP網(wǎng)絡(luò)310通信，并且第五用戶328和第六用戶330與VoIP網(wǎng)絡(luò)310直接通信(例如，使用具有有線或無線連通性的計算機，其可包括網(wǎng)絡(luò)設(shè)備，例如路由器和網(wǎng)關(guān))。圖示的回波路徑300在第四用戶322與第六用戶330之間。
[0031]第一用戶312、第二用戶314、第三用戶320、第四用戶322、第五用戶328和第六用戶330 (“會議參與者”)中的兩個或更多個可以在會議呼叫中通過媒體服務(wù)器332彼此通信，媒體服務(wù)器332與VoIP網(wǎng)關(guān)318通信。如在圖3中示意性地表示，媒體服務(wù)器332包括會議混合器338。在某些實施例中，會議混合器334被配置成在會議呼叫中混合來自當前N個最響亮的會議參與者的語音或者其它數(shù)據(jù)。從會議參與者接收的數(shù)據(jù)在輸入到會議混合器334之前由多個解碼器336 (“dec”)解碼。從會議混合器334輸出到相應(yīng)的會議參與者的數(shù)據(jù)由多個編碼器338編碼。
[0032]會議參與者中的每一個取決于其特定設(shè)置而產(chǎn)生不同的聲回波量。聲回波的最差的冒犯者(offender)通常為揚聲器電話(例如,第六個用戶330利用包括揚聲器340和麥克風342的系統(tǒng))和免提蜂窩電話(例如，第三用戶320和第四用戶322)，盡管這些設(shè)備可被設(shè)計成減小在揚聲器與麥克風之間的耦合。即使具有最小化直接回波路徑的良好設(shè)計，來自辦公室墻壁和家具的音頻反射也造成不想要的回波。與反射組合的直接回波擴展了回波的持續(xù)時間并且形成所謂的回波尾部(參看圖2所示的尾部長度)，其可以在小會議室中持續(xù)多達50ms或更長時間。
[0033]高端會議電話可包括回波消除(例如,第一用戶312、第二用戶314，和第三用戶320均包括內(nèi)置AEC 344)，但典型的辦公室揚聲器電話并不包括。特別糟的是軟客戶端(例如，第六用戶330)，其使用廉價的個人計算機(PC)揚聲器340和麥克風342，并不特別地考慮減小聲耦合。軟客戶端常常提供回波消除的選擇但其通常并不使能或者未適當配置。電話頭戴送受話器(例如，由第五用戶328使用的頭戴送受話器346)通常并不具有回波的問題，除非它們放置在桌子上，在此情況下，從桌子反射的回波能造成回波問題。
[0034]在PSTN電話的混合變換器(例如，關(guān)于第一用戶312和第二用戶314示出的混合變換器347)中在2線至4線轉(zhuǎn)換中可能出現(xiàn)另一形式的回波。這種回波被稱作混合回波并且具有很短的尾部長度。混合回波通常在PSTN電話網(wǎng)絡(luò)316或者在VoIP網(wǎng)關(guān)318 (例如，圖示為線回波消除器(EC) 348)中消除但也能由聲回波消除器消除。
[0035]如上文所提到的那樣，圖示的回波路徑300在第四用戶322與第六用戶330之間。在此情況下，來自第四用戶322的蜂窩電話的音頻通過小區(qū)網(wǎng)絡(luò)324到媒體服務(wù)器322，在此其被增加到會議混合并且發(fā)送給第六用戶330。第六用戶330的麥克風342拾取會議音頻中被發(fā)送回到媒體服務(wù)器332以添加到會議中的一些。然后會議混合由所有會議參與者聽到，除了第六用戶330之外。應(yīng)當指出的是，第四用戶322聽到以往返網(wǎng)絡(luò)延遲(從第四用戶322至媒體服務(wù)器332至第六用戶330并且然后再返回的延遲)的基本上兩倍，其可能很容易是IOOms或更多，回到他/她的他/她自己的語音。
[0036]圖4是示出了根據(jù)一個實施例，被配置成為會議服務(wù)執(zhí)行聲回波消除的VoIP媒體服務(wù)器400的框圖。VoIP媒體服務(wù)器400也可在本文中被稱作“IP媒體服務(wù)器”或者“媒體服務(wù)器”。在此情況下，VoIP媒體服務(wù)器400執(zhí)行基于網(wǎng)絡(luò)的AEC，而不是基于終端的AEC。應(yīng)當指出的是，對于基于網(wǎng)絡(luò)的AEC，體延遲不再是固定的并且大得多，因為其包括在網(wǎng)絡(luò)中的傳輸延遲，其中的幾個可能在呼叫期間改變(諸如自適應(yīng)抖動緩沖等)。
[0037]VoIP媒體服務(wù)器400包括多個AEC 410、412、414、416，每個用于一個端口。在此示例實施例中，VoIP媒體服務(wù)器400包括通過網(wǎng)絡(luò)418與第一用戶420、第二用戶422、第三用戶424和第四用戶426通信的四個端口。但是，本領(lǐng)域技術(shù)人員從本文的公開認識到在其它實施例中，VoIP媒體服務(wù)器400可具有與任意多個用戶通信并且向任意多個用戶提供會議服務(wù)的任意多個端口。VoIP媒體服務(wù)器400還包括會議混合器428、多個解碼器(DEC)430和多個編碼器(ENC) 432。
[0038]來自每端口的進入的實時傳送協(xié)議(RTP)流由相應(yīng)的解碼器430解碼并且然后輸入到移除回波的相應(yīng)AEC410、412、414、416的近側(cè)。移除了回波的信號從相應(yīng)的AEC410、412、414、416的遠側(cè)傳出到會議混合器428，在會議混合器428中，其被混合并且發(fā)送到其它用戶420、422、424、426。用于每個用戶的混合音頻傳入到相應(yīng)的AEC410、412、414、416的遠側(cè)，在那里，其由自適應(yīng)濾波器(參看圖1中的自適應(yīng)濾波器12)用于預(yù)測進入的回波信號。
[0039]在某些實施例中，在VoIP媒體服務(wù)器400中的AEC410、412、414、416并不實際上改變會議混合器428的輸出信號。因此，在這樣的實施例中的會議輸出并不需要通過AEC410、412、414、416，如圖4所示，而是能夠直接傳遞到編碼器432。
[0040]圖5是示出根據(jù)一個實施例，被配置成為端對端服務(wù)執(zhí)行聲回波消除的VoIP媒體服務(wù)器500的框圖。VoIP媒體服務(wù)器500也可被稱作“ IP媒體服務(wù)器”或者“媒體服務(wù)器”。非常類似于圖4，VoIP媒體服務(wù)器500執(zhí)行基于網(wǎng)絡(luò)的AEC，而不是基于終端的AEC。VoIP媒體服務(wù)器500包括用于每端口的AEC 510、512，它們分別通過網(wǎng)絡(luò)517與第一用戶514和第二用戶516通信。AEC 510,512均通過解碼器518和編碼器520耦合到相應(yīng)端口
[0041]來自每端口的進入的RTP流由相應(yīng)的解碼器518解碼并且然后被輸入到移除回波的相應(yīng)的AEC 510、512的近側(cè)。移除了回波的信號從相應(yīng)的AEC 510、512的遠側(cè)傳出并且發(fā)送到其它用戶。然后音頻傳入到相應(yīng)的AEC 510、512的遠側(cè)，在那里，其由自適應(yīng)濾波器(參看圖1中的自適應(yīng)濾波器112)用于預(yù)測進入的回波信號。在某些實施例中，在VoIP媒體服務(wù)器500中的AEC 510,512并不實際上改變輸出信號(即，在AEC的輸入中在遠處接收)。在這樣的實施例中，輸出信號無需通過AEC，如圖5所示，但能夠直接傳遞到相應(yīng)的編碼器520。
[0042]圖6是示出根據(jù)一個實施例，在媒體服務(wù)器(例如，圖4所示的媒體服務(wù)器400或者圖5所示的媒體服務(wù)器500)中所用的AEC 600的框圖。類似于圖1所示的基于終端的AEC 110，AEC 600包括回波消除器610，回波消除器610包括自適應(yīng)濾波器112、減法器113、雙向通話(DT)檢測器114、控制器和/或非線性處理器(NLP) 116、開關(guān)118和衰減器120。但是，圖6所示的AEC 600還包括回波監(jiān)測器612和通話突發(fā)檢測器(TBD)614、616。在某些實施例中，如在下文中詳細地討論，回波消除器610和/或回波監(jiān)測器612可選自多個處理資源。
[0043]在圖6所示的示例實施例中，AEC的功能被分成遠AEC處理對象618和近AEC處理對象620。如在本文所用的，“處理對象”是廣義的術(shù)語，具有其正常和通常的意義，并且可使用軟件、硬件或者軟件與硬件的組合來實施。遠AEC處理對象618采樣到端口的輸出信號。近AEC處理對象618執(zhí)行大量的回波消除功能工作，并且包括TBD614、616和回波監(jiān)測器612。將AEC功能分成遠AEC處理對象618和近AEC處理對象620的原因是實施上的考慮，這并不偏離本文所公開的實施例的精神或范圍，如鑒于本文所包含的公開而對本領(lǐng)域技術(shù)人員將是顯而易見的。
[0044]回波監(jiān)測器612比較到編碼器(遠端，例如，從混合器428 (圖4)或者從遠側(cè)AEC(圖5)在AEC的“Farin”終端處接收)的輸入與來自解碼器(近端，例如，在AEC的“Nearin”終端處接收，如圖4和圖5所示)的輸入，尋找從零至最大支持的體延遲的變化延遲的相關(guān)性。如對于本領(lǐng)域技術(shù)人員顯然的，許多可能的措施能夠用于使遠側(cè)信號的表示與近側(cè)信號的類似表示相關(guān)，來找到用于確定回波估計和回波的體延遲的匹配。在實際回波監(jiān)測過程中許多更改和修改是可能的，而不偏離本發(fā)明的精神或范圍并且并非是實踐本文所公開的實施例的中心。在某些實施例中，僅當TBD614檢測到遠側(cè)中通話突發(fā)時發(fā)生回波監(jiān)測，因為這個遠端話音可能是回波的必要條件。應(yīng)當指出的是，直到做出了體延遲估計才能開始回波消除，這可能需要存在實際的回波。此外，或者在其它實施例中，回波監(jiān)測器612被配置成估計音頻流中回波的回波返回損失(ERL)。
[0045]應(yīng)當指出的是，根據(jù)某些實施例，為了提高性能，媒體服務(wù)器在多個端口之間共享有限的回波監(jiān)測器資源并且僅將有限的回波消除資源應(yīng)用于最需要它的端口(即，具有最小ERL的端口)。這在隨后部分中更詳細地涵蓋。
[0046]圖7是示出根據(jù)一個實施例，從AEC處理對象的視角，具有聲回波消除的示例三端口窄帶音頻會議的方法700的流程圖。在此示例實施例中，圖6所示的AEC600被配置成提供回波消除，其中近AEC處理對象620在輸入信號路徑中插入到就在解碼器后方的智能混合器702,并且其中遠AEC處理對象618對就在解碼器前方的會議輸出米樣。關(guān)于在用于第一端口、第二端口和第三端口的相應(yīng)時隙中執(zhí)行的多個步驟示出了方法700。
[0047]在輸入步驟710中，端口中的一個或多個接收RTP輸入。在解碼器步驟712中，對RTP輸入進行解碼。在第一預(yù)處理步驟714，近AEC620執(zhí)行回波消除功能，如本文所描述的那樣。第一預(yù)處理步驟714還可包括對于雙音多頻(DTMF)信號傳遞的處理。第二預(yù)處理步驟716可包括一個或多個功能，諸如增益、自動增益控制(AGC)、噪聲選通(NG)、降噪(NR)和/或噪聲線檢測(NLD)。在服務(wù)步驟718，智能混合器702混合來自第一端口、第二端口和第二端口的信號。
[0048]第一后處理步驟720提供對于智能混合器702輸出的增益。在第二后處理步驟722中，簡單的混合器可用于混合智能混合器702的輸出與端口通知和/或DTMF生成的信號。在編碼器步驟724中，對混合的輸出信號進行編碼。遠AEC處理對象618接收與編碼器相同的信號，以便不僅對于會議音頻而且也對于端口通知或者DTMF生成進行回波消除，如由虛線所示。在輸出步驟726中，將RTP輸出提供給相應(yīng)端口。
[0049]近AEC處理對象620和遠AEC處理對象618鏈結(jié)，如由虛線所示。在某些實施例中，近AEC處理對象620并不執(zhí)行大量工作，僅依靠遠AEC處理對象618對遠端信號采樣。
[0050]圖8是根據(jù)一個實施例，從AEC處理對象的視角，具有聲回波消除的示例兩端口端對端服務(wù)的方法800的流程圖。在此示例實施例中，圖6所示的AEC600被配置成用于回波消除，其中近AEC處理對象620在輸入信號路徑中插入在就在解碼器的后方，并且其中遠AEC處理對象618對就在解碼器前方的解碼輸出進行采樣。關(guān)于在用于第一端口和第二端口的相應(yīng)時隙中執(zhí)行的多個步驟示出了方法800。
[0051 ] 在輸入步驟810，端口中的一個或兩個接收RTP輸入。在解碼器步驟812中，對RTP輸入解碼。在第一預(yù)處理步驟814，近AEC620執(zhí)行回波消除功能，如本文所描述的那樣。第一預(yù)處理步驟814還可包括用于DTMF信號傳遞的處理。第二預(yù)處理步驟816可包括一個或多個功能，諸如增益、AGC、NG、NR和/或NLD。在服務(wù)步驟818，第一端口的處理的RTP輸入被提供給第二端口用于輸出，并且第二端口的處理的RTP被提供給第一端口用于輸出。
[0052]第一后處理步驟820為從另一個端口接收的信號提供增益。在第二后處理步驟822，簡單混合器可用于混合來自另一端口的信號與端口通知和/或DTMF生成的信號。在編碼器步驟824中，對混合的輸出信號進行編碼。遠AEC處理對象618接收與編碼器相同的信號以便進行回波消除，非常類似會議的情況。在輸出步驟826中，RTP輸出被提供給相應(yīng)端口。
[0053]I1.回波監(jiān)測
[0054]關(guān)于圖6，現(xiàn)針對包括可在多個近AEC處理對象620之間共享的多個回波監(jiān)測器612 (或處理資源)(或回波監(jiān)測器612的池)的實施例描述回波監(jiān)測。當激活時，在媒體服務(wù)器(參看，例如在圖4中的VoIP媒體服務(wù)器400或者在圖5中的VoIP媒體服務(wù)器500)內(nèi)的近AEC處理對象620開始尋找通話突發(fā)(例如，使用TBD 616)。一旦發(fā)現(xiàn)通話突發(fā)，近AEC處理對象620首先尋找在其池內(nèi)的空閑回波監(jiān)測器612以檢查回波的存在，并且若存在，則測量其回波返回損失(ERL)和其體延遲。應(yīng)當指出的是，在某些實施例中，如果不存在可測量的回波，則不能估計體延遲。
[0055]如果存在空閑回波監(jiān)測器612，則近AEC處理對象620使用它，并且隨后當完成其測量時將其返回到池。如果不存在空閑回波監(jiān)測器612，則近AEC處理對象620再次每IOms嘗試更新直到回波監(jiān)測器612空閑或者直到通話突發(fā)消失。如果在發(fā)現(xiàn)空閑回波監(jiān)測器612之前，通話突發(fā)消失，那么，近AEC處理對象620等待直到在其再次開始尋找回波監(jiān)測器612之前檢測到新通話突發(fā)。在某些實施例中，也可能發(fā)現(xiàn)回波監(jiān)測器612但是通話突發(fā)太短以至于不能用于檢測回波，在此情況下，回波監(jiān)測器612在沒有檢測到回波的情況下返回到池。
[0056]如果回波監(jiān)測器612的數(shù)量太低，對于它們可能存在相當多的爭用。如果近AEC處理對象620需要回波監(jiān)測器612并且回波監(jiān)測器612是空閑的，則近AEC處理對象620獲得空閑回波監(jiān)測器612。如果近AEC處理對象620不能得到回波監(jiān)測器612，則近AEC處理對象620只是保持嘗試。在一個實施例中，用于將回波監(jiān)測器請求排出優(yōu)先次序的方法考慮近AEC處理對象620已經(jīng)等待的時間長度和可能的任何先前回波測量的強度。該方法根據(jù)不同的優(yōu)先級將回波監(jiān)測器請求置于隊列中，其中在隊列頂部的項目具有更高的優(yōu)先級并且更快地利用回波監(jiān)測器612。隊列的大小是可配置的參數(shù)。隊列長度可為零(即，無隊列)，在此情況下，并不嘗試將回波監(jiān)測器請求排隊使得它們以任何特定次序被服務(wù)。
[0057]回波監(jiān)測可能占用最大支持的體延遲加上合適遠端通話突發(fā)的額外可配置的持續(xù)時間。最大支持的體延遲是可被配置的并且指示通過網(wǎng)絡(luò)固有的最大可能延遲。
[0058]在一個實施例中，近AEC處理對象620的回波監(jiān)測部分包括兩個狀態(tài)機，這兩個狀態(tài)機控制TBD614、616和回波監(jiān)測器12的行為。
[0059]TBD (遠端TBD614和近端TBD616)包括兩個狀態(tài)，它們是“不在通話突發(fā)中”;和在“通話突發(fā)中”。每個處理循環(huán)，TBD614、616返回是否檢測到通話突發(fā)。
[0060]回波監(jiān)測器612包括2種狀態(tài)，其為“等待回波監(jiān)測器”和“回波監(jiān)測器開始”。
[0061]在“等待回波監(jiān)測器”狀態(tài)，端口等待滿足適當?shù)亩〞r器，然后遠端處于通話突發(fā)，并且回波監(jiān)測器資源是可用的。當由于在近端信號(例如，來自解碼器沖存在回波，回波監(jiān)測器612獲得體延遲的可靠估計時，使用“ech0_f0und_timer (回波發(fā)現(xiàn)定時器)”。在此時間點，如果有足夠的回波消除資源可用，則回波監(jiān)測器612接通回波消除器610。[0062]一旦發(fā)現(xiàn)了體延遲估計，可能體延遲估計可能由于改變的網(wǎng)絡(luò)條件而隨著時間改變。可以預(yù)期變化很小的時間能夠被認為是時間間隔TBDE—intOTval(TBDE3t$_s)。因此，在每個TBDE—ehange—inteval，可獲得體延遲的更新的估計，以便防止回波消除器610在回波消除期間發(fā)散。這個持續(xù)時間是可配置的參數(shù)并且可為大約30秒的量級。一旦經(jīng)過這段時間，并且發(fā)現(xiàn)下一遠端通話突發(fā)開始，如果回波監(jiān)測資源可用，則重新開始回波監(jiān)測器612并且計算體延遲的更新的估計。如果資源不可用，則等待下一可用的資源。
[0063]當回波監(jiān)測器612并未發(fā)現(xiàn)回波，因為回波在近端信號中不存在時，使用“ech0_not_found_timer(回波未發(fā)現(xiàn)定時器)”。在此時間點，如果回波消除器610當前接通,則回波監(jiān)測器612可關(guān)斷回波消除器610，指示回波已經(jīng)消失并且不再需要回波消除資源。可能在隨后的時間，由于變化的聲條件，可能引入或再引入回波。之后近AEC處理對象620再測試回波存在的時間能夠被認為是時間間隔TBDE—。?—intOTval (TBDE__)。這個持續(xù)時間是可配置的參數(shù)并且可為大約5秒的量級。一旦經(jīng)過了這個時間，并且發(fā)現(xiàn)了下一遠端通話突發(fā)開始，如果資源是可用的，則回波監(jiān)測器612重新開始并且計算是否出現(xiàn)了回波，并且若出現(xiàn)，則計算體延遲的估計。如果資源并不可用，則近AEC處理對象620等待下一可用資源。
[0064]期望等待發(fā)現(xiàn)遠端信號中的通話突發(fā)，以通過尋找更早遠端信號中的近端信號的相關(guān)版本，來獲得體延遲的估計。如果接收了通話突發(fā)檢測事件并且資源是可用的，那么資源可立即用于進行回波監(jiān)測。但是，如果接收了通話突發(fā)檢測事件并且資源目前不可用，那么將這個請求排隊并且取決于其落入隊列中的位置來考慮，而這繼而又取決于ERL的先前估計。隊列的大小是可配置的參數(shù)。隊列長度可為零(即，無隊列)。
[0065]在此示例實施例中所用的策略是資源完全基于先到先得的來分配的策略(無隊列)和與僅基于優(yōu)先級來分配資源的策略之間的折衷。這個策略利用這兩種可替代策略。可能所有資源已經(jīng)完全用于監(jiān)測其它端口的回波。在這樣的情況下，資源不可用于監(jiān)測這個端口的回波并且必須在下一處理循環(huán)窗口中再次嘗試。如果某些資源已經(jīng)被釋放，倘若這個端口在等待資源的端口隊列頂部，則這個端口得到回波監(jiān)測器資源。如果這個端口并不在隊列頂部，其仍保持在等待回波監(jiān)測器資源的這個狀態(tài)。如果TBD狀態(tài)變成“不在通話突發(fā)中”的狀態(tài)，那么特定端口在其能做出對回波監(jiān)測器資源的另一請求之前將必須等待直到下一通話突發(fā)開始，因為其還未完全準備好進行體延遲估計，因為其不再具有與近端信號相關(guān)的遠端通話突發(fā)。
[0066]隊列包括以最高的先前計算的ERL在隊列底部，而最低的先前計算的ERL在隊列頂部的次序排序的端口。因此在資源被釋放時，如果當前端口具有高的先前ERL值，則其可能具有太低的優(yōu)先級而不能得到回波監(jiān)測器資源并且將必須等待直到更多的資源釋放。另一方面，如果當前端口具有低的先前ERL，其將具有更高的優(yōu)先級。如果端口并不具有先前ERL估計，即，其從未測量體延遲的估計，那么其將具有最高的優(yōu)先級，使得回波監(jiān)測器資源能分配給它并且關(guān)于其是否具有回波做出確定。為了確保具有高ERL值的端口最終得到回波監(jiān)測器資源，定時器可用于測量端口已經(jīng)等待回波監(jiān)測器資源多長時間。如果定時器超過了可配置的時間，則端口向上移動到隊列頂部，如果它當前在隊列中的話，并且然后找到具有為零的估計的ERL的下一可用資源，S卩，指示其并不具有有效的體延遲估計，因為當前的測量現(xiàn)在可能太舊，并且在對決定其能否獲得回波監(jiān)測器資源時不應(yīng)當具有不適當?shù)挠绊憽?br> [0067]當完成了體延遲的實際估計時是“回波監(jiān)測器開始”狀態(tài)。在“回波監(jiān)測器開始”狀態(tài)，回波監(jiān)測器612返回是否發(fā)現(xiàn)回波和體延遲的估計?；夭ūO(jiān)測器612在其試圖找到體延遲的估計之前對于近端話音和遠端語話音等待特定時間緩沖。這段時間緩沖在最小體延遲與最大體延遲之間的某處。在經(jīng)過了可配置的時間后，如果發(fā)現(xiàn)回波是可靠的，則狀態(tài)機轉(zhuǎn)變?yōu)椤盎夭ūO(jiān)測器等待”狀態(tài)并且啟動回波發(fā)現(xiàn)定時器。如果并未可靠地發(fā)現(xiàn)回波，則狀態(tài)機轉(zhuǎn)變?yōu)椤盎夭ūO(jiān)測器等待”狀態(tài)并且啟動回波未發(fā)現(xiàn)定時器。如果回波的存在或不存在是不可靠的，或者當檢測到回波特征顯著變化，諸如在體延遲變化的情況下，則回波監(jiān)測器狀態(tài)機轉(zhuǎn)變?yōu)椤盎夭ūO(jiān)測器等待”狀態(tài)并且并不啟動任何額外的定時器，并且僅等待下一遠端通話突發(fā)。如果在“回波監(jiān)測器開始”狀態(tài)中緩沖數(shù)據(jù)的同時完成遠端通話突發(fā)，則關(guān)于是否存在充分的遠端通話突發(fā)數(shù)據(jù)做出確定，以確定體延遲的有意義的值。如果遠端通話突發(fā)的持續(xù)時間小于規(guī)定閾值，那么較早停止回波監(jiān)測器計算并且狀態(tài)機恢復(fù)到“回波監(jiān)測器等待”狀態(tài)。在此情況下，在試圖重新獲得對回波監(jiān)測器資源的控制之前無需等待特定時間。
[0068]由于在基于網(wǎng)絡(luò)的回波消除器中可能的抖動緩沖調(diào)整和時鐘偏移校正，在某些實施例中，在媒體服務(wù)器中的AEC功能所提供的回波監(jiān)測和消除能力中需要調(diào)整體延遲的估計。這是因為由于時鐘偏移的抖動緩沖調(diào)整，近信號能相對于遠信號移位。這繼而導(dǎo)致需要調(diào)整體延遲估計，否則體延遲估計可能會略微偏離并且可能導(dǎo)致從調(diào)整點較差的消除。
[0069]II1.回波消除
[0070]一旦完成了回波監(jiān)測，然后具有檢測的回波的近AEC處理對象620尋找空閑的回波消除器610。如果發(fā)現(xiàn)了空閑的回波消除器610，則近AEC處理對象620得到它并且開始回波消除。如果并未發(fā)現(xiàn)空閑的回波消除器610，則近AEC處理對象620比較回波監(jiān)測階段期間其測量的ERL與在使用中的其它回波消除器610的ERL，并且如果其回波更強(B卩，更小的ERL)，那么其可以從具有最小回波的端口竊取回波消除器610 (最大ERL經(jīng)受下文所討論的滯后)。
[0071]滯后用于防止回波消除器610在端口與端口之間彈跳太多。滯后具有一定時間和ERL分量。為了竊取回波消除器610，新端口的ERL被確定為比舊端口的ERL差了特定ERL裕量，并且舊端口的回波消除器610被確定為被分派超過特定時間閾值。
[0072]先前描述假定近AEC處理對象620處于自動模式。如果AEC超馳(override)模式被設(shè)置為“強制開啟”，那么近AEC處理對象620從具有最小回波的端口竊取回波消除器610(如果并無可用的空閑回波消除器)，無論其自身的端口的回波測量如何或者AEC已經(jīng)被分派給其它端口多長時間。應(yīng)當指出的是，為了進行回波消除，首先在端口上檢測回波并且測量有效的體延遲。因此，將AEC超馳模式轉(zhuǎn)為“強制開啟”對于無回波的端口并無效果。只要在過去做出了成功的體延遲測量并且存在空閑的回波消除器610，則“強制開啟”將生效。若非如此，只要兩種條件都為真，其將生效。
[0073]如果AEC超馳模式被設(shè)置為“強制關(guān)閉”，那么近AEC處理對象620如果其具有回波消除器610則釋放其回波消除器610并且并不試圖得到回波消除器，即使在檢測到回波的情況下。在從“強制開啟”至“強制關(guān)閉”至“自動”的呼叫期間的任何時間，AEC超馳模式能夠改變。
[0074]在某些實施例中，近AEC處理對象620的回波消除器610包括狀態(tài)機，狀態(tài)機控制回波消除器610的行為。聲回波消除器610可包括兩種狀態(tài):“關(guān)閉”狀態(tài)和“開啟”狀態(tài)。AEC “關(guān)閉”狀態(tài)表示在近端信號中不存在回波使得無需分配資源來執(zhí)行回波消除。只要從回波監(jiān)測器612接收到表示已經(jīng)獲得體延遲的估計并且因此發(fā)現(xiàn)回波的事件，如果資源可用或者這個通道排擠當前正在進行回波消除的另一通道，則期望開啟回波消除。
[0075]檢查資源以通過管理正在執(zhí)行回波消除的所有AEC通道的列表來查看它們是否可用。列表包括特定通道的以下信息=ERL ;“超馳開啟”或“自動”模式標志；以及回波消除開啟的時間。為了排擠進行回波消除的現(xiàn)有端口，新端口應(yīng)滿足滯后閾值要求和滯后時間要求，滯后閾值要求是指ERL超出當前利用回波消除器610的具有最小回波的端口的ERL了滯后水平閾值，滯后時間要求是指具有最大ERL的端口已經(jīng)執(zhí)行回波消除持續(xù)了至少滯后排擠時間段閾值。滯后排擠時間段和水平閾值為可配置的參數(shù)。如仍無可用資源，特定端口將在未來的處理循環(huán)中爭用有限的資源。
[0076]在“超馳關(guān)閉”模式，回波消除器610的狀態(tài)機保持在“關(guān)閉”狀態(tài)。在“超馳開啟”模式的情況下，此特定端口排擠掉并不處于“超馳開啟”模式的具有最高ERL值(S卩，最小回波)的端口。被排擠的端口無需滿足已經(jīng)對其執(zhí)行回波消除持續(xù)了如自動模式所需的特定時間量的時間要求?！俺Y關(guān)閉”模式意指特定通道不具有正在對該端口執(zhí)行的回波消除(即，是超馳自動模式并且禁用回波消除)。“超馳開啟”模式意指特定通道具有正在對該端口執(zhí)行的回波消除，倘若其能獲得體延遲估計(即，回波存在或者在某較早的時間點存在)。
[0077]AEC “開啟”狀態(tài)是其中回波消除器610實際上被激活并且正在執(zhí)行回波消除的狀態(tài)。如果當前正在執(zhí)行AEC的通道被另一通道排擠，則被排擠的通道轉(zhuǎn)變?yōu)锳EC “關(guān)閉”狀態(tài)以競爭資源。如果端口處于此狀態(tài)并且設(shè)置“超馳開啟”模式，則其保留在此狀態(tài)，無論是否仍存在回波。如果在此狀態(tài)時設(shè)置“超馳關(guān)閉”模式，則回波消除器610的狀態(tài)機轉(zhuǎn)變?yōu)锳EC “關(guān)閉”狀態(tài)。如果當在此狀態(tài)時接收到AEC關(guān)閉事件，則回波消除器610的狀態(tài)機轉(zhuǎn)變?yōu)锳EC “關(guān)閉”狀態(tài)。
[0078]回波消除器610和回波監(jiān)測器620 —起工作以確保有效地消除回波。期望能使用運行時間反饋控制來對體延遲估計提供動態(tài)調(diào)整，運行時間反饋控制確定是否正在經(jīng)歷聲回波消除的任何給定音頻流不再能有效地消除回波。然后作為回波監(jiān)測器612的一部分，該信息由體延遲估計來使用，以在必要時對體延遲的當前估計做出調(diào)整，這隨后應(yīng)當導(dǎo)致更好的回波消除。
[0079]IV.基于AEC端口的統(tǒng)計
[0080]在某些實施例中，媒體服務(wù)器(例如，圖4所示的VoIP媒體服務(wù)器400或者圖5所示的VoIP媒體服務(wù)器500)在其接收了每端口統(tǒng)計命令時報告AEC統(tǒng)計。如下表I中所示，一個示例實施例包括十一個AEC統(tǒng)計，這十一個AEC統(tǒng)計被包括在每端口統(tǒng)計消息中。
[0081]
【權(quán)利要求】
1.一種用于對互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)中的實時媒體處理提供聲回波監(jiān)測和消除的系統(tǒng)，所述系統(tǒng)包括: IP媒體服務(wù)器，所述IP媒體服務(wù)器包括用于向音頻會議的多個參與者提供實時端對端服務(wù)或音頻混合的多個端口，所述IP媒體服務(wù)器包括: 回波監(jiān)測器，所述回波監(jiān)測器被配置成選擇性地比較通過所述多個端口中的選定端口進入所述IP媒體服務(wù)器的音頻流和流出所述IP媒體服務(wù)器的音頻流，所述比較確定回波的發(fā)生；以及 與所述回波監(jiān)測器通信的回波消除器，所述回波消除器被配置成響應(yīng)于由所述回波監(jiān)測器的確定，從所述音頻流的至少一個中移除所述回波。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器進一步包括: 通話突發(fā)檢測器，所述通話突發(fā)檢測器被配置成檢測通過所述選定端口的所述音頻流的至少一個中的話音，其中，所述回波監(jiān)測器響應(yīng)于來自所述通話突發(fā)檢測器的指示檢測到話音的信號來選擇性地比較所述音頻流。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器包括多個媒體處理資源，所述媒體處理資源每一個可選擇性地配置成被應(yīng)用于聲回波監(jiān)測，并且其中，所述IP媒體服務(wù)器允許用戶保留所述媒體處理資源的一部分以分配到選定端口。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述IP媒體服務(wù)器允許所述用戶基于在所述IP媒體服務(wù)器上的可用媒體處理資源的可配置的百分比和總的實時音頻流的可配置的百分比中的至少一個，來保留所述媒體處理資源的所述部分。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成由所述IP媒體服務(wù)器外部的網(wǎng)絡(luò)元件控制，以保留 特定數(shù)量的資源用于同時進行聲回波監(jiān)測。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器包括多個媒體處理資源，所述多個媒體處理資源每一個可選擇性地配置成應(yīng)用于聲回波監(jiān)測，并且其中，所述IP媒體服務(wù)器基于在減少所述媒體處理資源對于其它功能的可用性與快速地并且準確地檢測回波的能力之間的權(quán)衡，來選擇所述媒體處理資源的數(shù)量以專用于聲回波監(jiān)測。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成通過禁用對于音頻流的回波監(jiān)測持續(xù)由回波變化間隔限定的持續(xù)時間，來優(yōu)化所述媒體處理資源對于聲回波監(jiān)測的專用， 其中，在所述回波變化間隔之后繼續(xù)監(jiān)測所述選定端口指示所述回波是否仍存在以及體延遲測量是否仍有效，并且 其中，對于與所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何聲回波消除(AEC)使能的音頻流，在監(jiān)測是否已經(jīng)發(fā)生回波特征變化或者回波消失的過程中，在所述回波監(jiān)測器的下一請求之前，發(fā)生基于所述回波變化間隔的配置的最小等待時間間隔。
8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述IP媒體服務(wù)器基于在所述IP媒體服務(wù)器外部的網(wǎng)絡(luò)元件延遲的調(diào)整，來提供周期性體延遲估計。
9.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成通過禁用對于音頻流的回波監(jiān)測持續(xù)由回波關(guān)閉間隔限定的持續(xù)時間，來優(yōu)化所述媒體處理資源對于聲回波監(jiān)測的專用，其中，當在音頻流中不存在回波時，對于與所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何聲回波消除(AEC)使能的音頻流，在監(jiān)測回波出現(xiàn)的過程中，在所述回波監(jiān)測器的下一請求之前，發(fā)生基于所述回波關(guān)閉間隔的配置的最小等待時間間隔。
10.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成對于與所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何聲回波消除(AEC)使能的音頻流，當不確定回波存在與否或者當檢測到回波特征顯著變化時，對于所述媒體處理資源專用于聲回波監(jiān)測來找到下一合適通話突發(fā)的請求立即做出響應(yīng)，而無需等待任何額外的間隔。
11.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成當確定IP會議或端對端服務(wù)的任何給定參與者的音頻流中存在的回波的存在性和嚴重性時，僅在檢測到遠端音頻流中合適的通話突發(fā)之后，基于開始監(jiān)測回波的請求，優(yōu)化所述媒體處理資源對于聲回波監(jiān)測的專用。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成如果存在足夠的資源用于回波監(jiān)測則提供媒體處理回波監(jiān)測資源請求， 其中，如果不存在足夠的資源，則所述請求被排列到可配置長度的隊列中，所述隊列保持取決于下列中的至少一個而具有不同優(yōu)先級的不同流: 如果存在回波，最后測量的回波返回損失(ERL)； 基于先前的回波監(jiān)測測量，是否發(fā)現(xiàn)不存在回波；以及 是否未做出先前的回波監(jiān)測請求，并且 其中，將最高優(yōu)先級的流置于所述隊列的頂部以便可以獲得最先可用的回波監(jiān)測器資源?！?br> 13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成在IP會議或端對端服務(wù)的任何給定參與者的音頻流中，基于限制所述回波監(jiān)測能力保持開啟的持續(xù)時間來提供媒體處理回波監(jiān)測資源優(yōu)化，所述回波監(jiān)測能力保持開啟的持續(xù)時間的上限由合適的遠端通話突發(fā)的可配置的持續(xù)時間與可能的最大可配置的體延遲之和來界定。
14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成在IP會議或端對端服務(wù)的任何給定參與者的所述音頻流中，如果所述遠端通話突發(fā)并不足夠長以提供有意義的數(shù)據(jù)來試圖檢測到回波并且計算體延遲，則基于關(guān)斷回波監(jiān)測資源使用，來提供媒體處理回波監(jiān)測資源優(yōu)化。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成: 基于抖動緩沖和時鐘偏移校正來動態(tài)調(diào)整在所述回波消除功能中的體延遲估計，其中，基于所述IP媒體服務(wù)器的處理間隔來確定所述估計；以及 如果認為存在回波，則作為所述回波監(jiān)測的一部分，在算法中考慮動態(tài)抖動緩沖調(diào)整以確定所述體延遲。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成由在所述IP媒體服務(wù)器外部的至少一個網(wǎng)絡(luò)元件控制，以執(zhí)行從包括下述的組中選擇的至少一個功能: 對于與由所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何聲回波消除(AEC)使能的音頻流，設(shè)置最大體延遲，所述最大體延遲指示在存在回波時在所述回波監(jiān)測器內(nèi)所支持的最大可能的體延遲； 對于與由所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何AEC使能的音頻流，設(shè)置回波變化間隔，所述回波變化間隔指示回波存在的時間，其中在監(jiān)測回波特征變化或者回波消失是否發(fā)生的過程中，在所述回波監(jiān)測器的下一請求之前，發(fā)生配置的最小等待時間間隔；以及 對于與由所述IP媒體服務(wù)器所提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何AEC使能的音頻流，設(shè)置回波關(guān)閉間隔，所述回波關(guān)閉間隔指示音頻流中不存在回波的時間，其中在監(jiān)測回波出現(xiàn)的過程中，在所述回波監(jiān)測器的下一請求之前，發(fā)生基于所述回波關(guān)閉間隔的配置的最小等待時間間隔。
17.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器包括多個媒體處理資源，所述多個媒體處理資源每一個可選擇性地配置成應(yīng)用于聲回波消除，并且其中，所述IP媒體服務(wù)器允許用戶保留所述媒體處理資源的一部分以分配到選定端口。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中，所述IP媒體服務(wù)器允許用戶基于可用媒體處理資源的可配置的百分比和在所述IP媒體服務(wù)器上總的實時音頻流的可配置的百分比中的至少一個，來保留所述媒體處理資源的所述部分。
19.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成由所述IP媒體服務(wù)器外部的網(wǎng)絡(luò)元件控制，以保留特定數(shù)量的資源用于同時進行聲回波消除。
20.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器基于在確定IP會議或者端對端服務(wù)的任何給定參與者的音頻流中存在的回波的存在性和嚴重性過程中的聲回波監(jiān)測，來提供媒體處理回波消除資源優(yōu)化。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述IP媒體服務(wù)器基于確定IP會議或者端對端服務(wù)的任何給定參與者的音頻流中的回波返回損失(ERL)來提供媒體處理回波消除資源優(yōu)化，并且其中，所述IP媒體服務(wù)器基于關(guān)于任何給定音頻流的測量的ERL來確定聲回波的嚴重性，同時向經(jīng)歷最差回波特征的流施加聲回波消除。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述IP媒體服務(wù)器僅對呈現(xiàn)低于所配置的閾值設(shè)置的ERL的音頻流，基于使能聲回波消除的ERL閾值設(shè)置，提供可配置的控制。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述IP媒體服務(wù)器提供優(yōu)化，其中通過對呈現(xiàn)最多回波失真的實時音頻流的可配置的百分比施加回波消除功能，來節(jié)約所述IP媒體服務(wù)器的媒體處理回波消除資源。
24.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述IP媒體服務(wù)器實時動態(tài)調(diào)整應(yīng)用于聲回波消除的媒體處理資源量。
25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制來提供媒體處理資源的動態(tài)調(diào)整，所述運行時間控制確定任何給定音頻流是否需要聲回波消除，動態(tài)激活聲回波消除并且當認為回波的存在性低于給定閾值并且保持低于閾值持續(xù)預(yù)定時間段時動態(tài)移除聲回波消除。
26.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制來動態(tài)地調(diào)整媒體處理資源分配，對于給定音頻流，無論在該流上是否檢測到回波，所述運行時間控制強制關(guān)閉回波消除。
27.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制來動態(tài)地調(diào)整媒體處理資源分配，所述運行時間控制對于給定音頻流，一旦檢測到回波，就強制開啟回波消除，并且保持執(zhí)行回波消除，即使在給定音頻流上隨后不存在回波的情況下。
28.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制動態(tài)地調(diào)整媒體處理資源分配，所述運行時間控制確定需要聲回波消除但未能找到空閑資源的新音頻流是否能排擠當前正利用回波消除器資源的具有最小回波的音頻流，因為所述新流的ERL超出所述最小回波ERL可配置的排擠水平閾值。
29.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制動態(tài)地調(diào)整媒體處理資源分配，所述運行時間控制確定需要聲回波消除但未能找到空閑資源的任何給定音頻流是否能排擠當前正利用回波消除器資源的具有最小回波的音頻流，倘若被排擠的端口的激活時間超過了可配置的排擠時間段閾值。
30.根據(jù)權(quán)利要求27所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間控制動態(tài)地調(diào)整媒體處理資源分配，所述運行時間控制確定需要聲回波消除但未能找到空閑資源的任何給定音頻流是否能排擠當前正利用回波消除器資源的具有最小回波的音頻流，倘若被排擠的流當前并不處于強制開啟模式。
31.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器使用運行時間反饋控制來提供體延遲估計的動態(tài)調(diào)整，所述運行時間反饋控制確定正在經(jīng)歷聲回波消除的任何給定音頻流是否不再能如所希望的那樣有效地消除回波，其中，作為所述回波監(jiān)測器的一部分，所述確定由所述體延遲估計來使用，以在必要時對所述體延遲的當前估計做出調(diào)整，這隨后導(dǎo)致更好的回波消除。
32.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成由在所述IP媒體服務(wù)器外部的至少一個網(wǎng)絡(luò)元件控制，以: 對于與所述IP媒體服務(wù)器提供的音頻會議或端對端服務(wù)相關(guān)聯(lián)的任何音頻流，使能或禁用聲回波消除能力；以及 對于聲回波消除(AEC)使能的音頻流，執(zhí)行從包括下述的組中選擇的至少一個功能: 強制施加聲回波消除； 強制不施加聲回波消除； 取決于具體流回波特征來施加聲回波消除； 設(shè)置回波返回損失(ERL)排擠水平閾值，所述回波返回損失(ERL)排擠水平閾值在下述時間使用，即，需要回波消除器資源但未能找到空閑資源的新音頻流排擠當前正利用回波消除器資源的具有最小回波的音頻流，因為所述新音頻流的ERL超過所述最小回波ERL所述排擠水平閾值； 設(shè)置ERL排擠時間段閾值，所述ERL排擠時間段閾值在下述時間使用，即，需要回波消除器資源但未能找到空閑資源的新音頻流排擠當前正利用回波消除器資源的具有最小回波的音頻流，倘若被排擠的端口的激活時間超過了可配置的排擠時間段閾值； 設(shè)置無回波閾值，所述無回波閾值指示一個水平，低于該水平則認為回波不再存在并且能關(guān)斷所述回波消除器；以及 設(shè)置無回波滯后時間段，所述無回波滯后時間段指示一時間段，在該時間段中回波降低到低于所述無回波閾值并且保持低于所述無回波閾值并且所述回波消除器被關(guān)斷以防止不必要的切斷和接通回波消除器。
33.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成針對于AEC使能的音頻媒體流，報告聲回波消除(AEC)事件，其中，由所述IP媒體服務(wù)器所生成的所述AEC事件包括下列中的一個或多個: 檢測到回波(真/假)； 回波消除器激活(真/假)； 對于檢測到回波且回波消除器未激活的理由代碼，包括: 無理由； 無足夠的AEC媒體處理資源；以及 AEC強制關(guān)閉； 最近的ERL測量；以及 最近的體延遲測量；并且 其中，所述事件由所述IP媒體服務(wù)器通過通信協(xié)議報告給外部網(wǎng)絡(luò)元件。
34.根據(jù)權(quán)利要求33所述的系統(tǒng)，其中，所述IP媒體服務(wù)器進一步被配置成基于所述AEC事件，受到應(yīng)用服務(wù)器或者作為所述事件的接收者的其它網(wǎng)絡(luò)元件控制，以超馳由所述IP媒體服務(wù)器所提供的AEC的功能的行為和應(yīng)用，并且其中，通過通信協(xié)議來提供所述IP媒體服務(wù)器的控制。
35.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成對于AEC使能的音頻媒體流，在呼叫期間或呼叫結(jié)束時報告聲回波消除(AEC)每端口統(tǒng)計(PPS)，其中，由所述IP媒體服務(wù)器所生成的所述AEC PPC包括下列中的一個或多個:AEC使能時間；回波消除器激活時間；回波消除器缺乏資源標志；當前體延遲測量；最小體延遲測量；最大體延遲測量；當前ERL測量；最小ERL測量；最大ERL測量；當前ERLE測量；最大ERLE測量；以及最小ERLE測量，并且其中，所述統(tǒng)計由所述IP媒體服務(wù)器通過通信協(xié)議報告給外部網(wǎng)絡(luò)元件。
36.根據(jù)權(quán)利要求35所述的系統(tǒng)，其中，所述IP媒體服務(wù)器進一步被配置成基于所述PPS,由應(yīng)用服務(wù)器或者作為PPS的接收者的其它網(wǎng)絡(luò)元件控制，以超馳由所述IP媒體服務(wù)器提供的AEC功能的行為和應(yīng)用，并且其中，所述IP媒體服務(wù)器的控制通過承載XML編碼的控制消息的SIP傳送來提供。
37.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器被配置成通過運行、管理和預(yù)置(OAMP)接口報告所述IP媒體服務(wù)器上所有音頻媒體流的聲回波消除(AEC)狀態(tài)報告，用于系統(tǒng)日志目的，其中，由所述IP媒體服務(wù)器生成的所述AEC狀態(tài)報告包括下列中的一個或多個:激活的回波消除器的最大數(shù)量；被拒絕的回波消除器激活請求的最大數(shù)量；回波監(jiān)測請求的數(shù)量；被拒絕的回波監(jiān)測請求的數(shù)量；以及，同時使用的回波監(jiān)測資源的數(shù)量。
38.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述IP媒體服務(wù)器進一步被配置成基于所述狀態(tài)報告通過接口重新配置以修改由所述IP媒體服務(wù)器所提供的AEC功能的行為和應(yīng)用。
39.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述IP媒體服務(wù)器提供音頻會議中媒體處理資源的優(yōu)化使用，使得所有參與者媒體的子集混合為N個最響亮的混合，其中，從總共M個會議參與者混合來自N個最響亮的參與者的音頻，并且其中N〈M，從而，將所需的回波監(jiān)測和消除資源的數(shù)量的上限界定為N。
40.一種用于對互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)中的實時媒體處理提供聲回波監(jiān)測和消除的方法，所述方法包括 :選擇性地比較進入IP媒體服務(wù)器的選定端口的音頻流和流出IP媒體服務(wù)器的選定端口的音頻流，所述比較確定回波的發(fā)生；以及 響應(yīng)于所述回波發(fā)生的確定，從所述音頻流的至少一個中移除回波。
41.根據(jù)權(quán)利要求40所述的方法，進一步包括: 檢測通過所述選定端口的所述音頻流中至少一個中的話音，其中，響應(yīng)于所述話音的檢測來選擇性地比較所述音頻流。
42.一種用于為互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)中的實時媒體處理提供聲回波監(jiān)測和消除的系統(tǒng)，所述系統(tǒng)包括: 用于選擇性地比較進入IP媒體服務(wù)器的選定端口的音頻流和流出IP媒體服務(wù)器的選定端口的音頻流的裝置，所述比較確定回波的發(fā)生；以及， 用于響應(yīng)于所述回波發(fā)生的確定而從所述音頻流的至少一個中移除所述回波的裝置。
43.根據(jù)權(quán)利要求42所述的系統(tǒng)，進一步包括: 用于檢測在通過所述選定端口的所述音頻流的至少一個中的話音的裝置，其中響應(yīng)于所述話音的檢測來選擇 性地比較所述音頻流。
【文檔編號】H04M1/60GK103583032SQ201280022743
【公開日】2014年2月12日 申請日期:2012年5月11日 優(yōu)先權(quán)日:2011年5月11日
【發(fā)明者】阿德南·薩利姆, 穆罕默德·艾米爾·侯賽因, 蒂莫西·S·沃伊諾斯基, 尼爾·M·岡 申請人:銳德世加拿大公司