用于控制聲學(xué)回聲消除的方法和音頻處理裝置制造方法
【專利摘要】本申請(qǐng)描述了一種用于控制聲學(xué)回聲消除的方法和音頻處理裝置。在一種實(shí)施方式中，該音頻處理裝置包括：用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲的聲學(xué)回聲消除器，用于減小所接收到的信號(hào)的延遲抖動(dòng)的抖動(dòng)緩沖器，以及用于通過參照抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制聲學(xué)回聲消除器的聯(lián)合控制器。
【專利說明】用于控制聲學(xué)回聲消除的方法和音頻處理裝置
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)總體上涉及音頻信號(hào)處理。更具體地，本申請(qǐng)的實(shí)施方式涉及一種用于控制聲學(xué)回聲消除的方法和音頻處理裝置，用于改善與聲學(xué)回聲消除有關(guān)的語音通信體驗(yàn)。
【背景技術(shù)】
[0002]在語音通信中，聲學(xué)回聲消除是極大的挑戰(zhàn)。聲學(xué)回聲是由以下事實(shí)引起的:麥克風(fēng)可能重新捕獲由揚(yáng)聲器播放的音頻信號(hào)(揚(yáng)聲器信號(hào)或參考信號(hào))，因此，另一側(cè)(遠(yuǎn)端)的交談?wù)邥?huì)連同近端的輸入一起聽到他自己的聲音。
[0003]延遲抖動(dòng)是另一個(gè)問題，尤其是在語音通信在包(分組)交換網(wǎng)絡(luò)上進(jìn)行時(shí)，并且，通常會(huì)設(shè)置用于使延遲抖動(dòng)平滑的抖動(dòng)緩沖器，以改善語音通信體驗(yàn)。

【發(fā)明內(nèi)容】

[0004]根據(jù)本申請(qǐng)的一種實(shí)施方式，提供了一種音頻處理裝置，包括:用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲的聲學(xué)回聲消除器、用于減小所接收到的信號(hào)的延遲抖動(dòng)的抖動(dòng)緩沖器、以及用于通過參照抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制聲學(xué)回聲消除器的聯(lián)合控制器。
[0005]根據(jù)另一種實(shí)施方式，提供了一種在音頻處理裝置中用于控制聲學(xué)回聲消除的方法，該音頻處理裝置包括:用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲的聲學(xué)回聲消除器和用于減小所接收到的信號(hào)的延遲抖動(dòng)的抖動(dòng)緩沖器。該方法包括:通過參照抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制聲學(xué)回聲消除器。
【專利附圖】

【附圖說明】
[0006]通過示例而非限制來說明本申請(qǐng)，在附圖中，相同的附圖標(biāo)記指代相似的元件，其中:
[0007]圖1A是示意性地示出了可以應(yīng)用本申請(qǐng)的實(shí)施方式的一種示例性語音通信系統(tǒng)的圖；
[0008]圖1B是示意性地示出了可以應(yīng)用本申請(qǐng)的實(shí)施方式的另一種示例性語音通信系統(tǒng)的圖；
[0009]圖2是示出了根據(jù)本申請(qǐng)的實(shí)施方式的音頻處理裝置的圖；
[0010]圖3是示出了根據(jù)圖2所示的實(shí)施方式的變型的音頻處理裝置的圖；
[0011]圖4是示出了根據(jù)本申請(qǐng)的另一種實(shí)施方式的音頻處理裝置的圖；
[0012]圖5是示出了根據(jù)本申請(qǐng)的又一種實(shí)施方式的音頻處理裝置的圖；
[0013]圖6是示出了根據(jù)圖5所示的實(shí)施方式的變型的音頻處理裝置的圖；
[0014]圖7是示出了根據(jù)本申請(qǐng)的再一種實(shí)施方式的音頻處理裝置的圖；
[0015]圖8是示出了用于實(shí)現(xiàn)本申請(qǐng)的實(shí)施方式的示例性系統(tǒng)的框圖；以及
[0016]圖9至圖14是示出了根據(jù)本申請(qǐng)的實(shí)施方式及其某些變型的用于控制聲學(xué)回聲消除的方法的流程圖?！揪唧w實(shí)施方式】
[0017]下面參照附圖來描述本申請(qǐng)的實(shí)施方式。應(yīng)當(dāng)注意，為了簡(jiǎn)潔，在附圖和描述中省略了與本領(lǐng)域的技術(shù)人員公知的但是對(duì)于理解本申請(qǐng)而言并非必需的部件和處理有關(guān)的表不和描述。
[0018]本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，本申請(qǐng)的各個(gè)方面可以實(shí)施為系統(tǒng)、設(shè)備(例如移動(dòng)電話、便攜式媒體播放器、個(gè)人計(jì)算機(jī)、服務(wù)器、電視機(jī)機(jī)頂盒或數(shù)字錄像機(jī)或者任意其他媒體播放器)、方法或者計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)的各個(gè)方面可以采用硬件的實(shí)施方式的形式、軟件的實(shí)施方式(包括固件、常駐軟件、微碼等)的形式或者軟件方面與硬件方面相結(jié)合的實(shí)施方式的形式，在本文中其可以總體上被稱為“電路”、“模塊”或“系統(tǒng)”。此外，本申請(qǐng)的各個(gè)方面可以采用包括在一個(gè)或更多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，其中，計(jì)算機(jī)可讀介質(zhì)上包括有計(jì)算機(jī)可讀程序代碼。
[0019]可以利用一個(gè)或更多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是例如但不限于電子、磁、光學(xué)、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備、或者以上的任意適當(dāng)?shù)慕M合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的示例(非窮舉性的列舉)可以包括:具有一條或更多條導(dǎo)線的電氣連接、便攜式計(jì)算機(jī)軟盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式致密盤只讀存儲(chǔ)器(CD-ROM)、光學(xué)存儲(chǔ)設(shè)備、磁性存儲(chǔ)設(shè)備或者以上的任意適當(dāng)組合。在本文獻(xiàn)的上下文中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是能夠包含或者存儲(chǔ)用于由指令執(zhí)行系統(tǒng)、裝置或設(shè)備來使用或者與其結(jié)合使用的程序的任意有形的介質(zhì)。
[0020]計(jì)算機(jī)可讀信號(hào)介質(zhì)可以包括其中包括有計(jì)算機(jī)可讀程序代碼的傳播的數(shù)據(jù)信號(hào)，該數(shù)據(jù)信號(hào)為基帶信號(hào)或者作為載波的一部分。這樣的傳播的信號(hào)可以采用各種形式，包括但不限于電磁信號(hào)或光學(xué)信號(hào)或者其任意適當(dāng)?shù)慕M合。
[0021]計(jì)算機(jī)可讀信號(hào)介質(zhì)可以為不是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)并且可以傳遞、傳播或傳輸用于由指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或者與其結(jié)合使用的程序的任意計(jì)算機(jī)可讀介質(zhì)。
[0022]包括在計(jì)算機(jī)可讀介質(zhì)上的程序代碼可以使用任意適當(dāng)?shù)慕橘|(zhì)發(fā)送，介質(zhì)包括但不限于無線、有線線路、光纖光纜、射頻(RF)等或者以上的任意適當(dāng)?shù)慕M合。
[0023]用于執(zhí)行本申請(qǐng)的各個(gè)方面的操作的計(jì)算機(jī)程序代碼可以用一種或更多種編程語目的任意組合來編寫，編程語目包括面向?qū)ο蟮木幊陶Z目比如Java、Smalltalk、C++等以及傳統(tǒng)的過程編程語言比如“C”編程語言或類似的編程語言。程序代碼可以在用戶的計(jì)算機(jī)上作為單獨(dú)軟件包整體執(zhí)行，或者部分在用戶的計(jì)算機(jī)上執(zhí)行且部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行或者整體在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后一種場(chǎng)景中，遠(yuǎn)程計(jì)算機(jī)可以通過包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)、或者可以到外部計(jì)算機(jī)的連接(例如，通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))的任意類型的網(wǎng)絡(luò)連接至用戶的計(jì)算機(jī)。
[0024]下面參照根據(jù)本申請(qǐng)的實(shí)施方式的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖說明和/或框圖來描述本申請(qǐng)的各個(gè)方面。應(yīng)當(dāng)理解，流程圖說明和/或框圖的每個(gè)塊以及流程圖說明和/或框圖中的塊的組合可以用計(jì)算機(jī)程序指令來實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以被提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，以產(chǎn)生機(jī)器，以使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器來執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)流程圖和/或框圖塊或多個(gè)塊中所指定的功能/行為的器件。
[0025]這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在如下計(jì)算機(jī)可讀介質(zhì)中:該計(jì)算機(jī)可讀介質(zhì)可以引導(dǎo)計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備以特定的方式工作，以使得存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令產(chǎn)生制品，該制品包括實(shí)現(xiàn)流程圖和/或框圖塊或多個(gè)塊中所指定的功能/行為的指令。
[0026]計(jì)算機(jī)程序指令還可以加載到計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上，以使得在計(jì)算機(jī)、其他可編程裝置或其他設(shè)備上執(zhí)行一系列運(yùn)算操作，從而產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，以使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行的指令提供用于實(shí)現(xiàn)流程圖和/或框圖塊或多個(gè)塊中所指定的功能/行為的處理。
[0027]系統(tǒng)概沭
[0028]圖1A是示意性地示出了可以應(yīng)用本申請(qǐng)的實(shí)施方式的一種示例語音通信系統(tǒng)的圖。
[0029]如圖1A所示，用戶A操作通信終端A，用戶B操作通信終端B。在語音通信會(huì)話中，用戶A和用戶B通過他們的通信終端A和B彼此交談。通信終端A和B通過數(shù)據(jù)鏈路103耦接。數(shù)據(jù)鏈路103可以實(shí)現(xiàn)為點(diǎn)到點(diǎn)連接或者通信網(wǎng)絡(luò)。在用戶A和用戶B中的任一側(cè)，對(duì)由用戶的通信終端捕獲的音頻信號(hào)的音頻塊執(zhí)行VAD(Voice Activity Detection,語音活動(dòng)檢測(cè))。如果在音頻塊中判斷語音存在，則對(duì)該音頻塊執(zhí)行相應(yīng)的處理(例如，施加適合語音的增益)，并且通過數(shù)據(jù)鏈路103將音頻塊發(fā)送給另一個(gè)用戶的通信終端A。如果在音頻塊中判斷沒有語音存在，則對(duì)音頻塊進(jìn)行相應(yīng)的處理(例如，施加適合非語音的增益)，并且通過數(shù)據(jù)鏈路103將音頻塊發(fā)送給另一個(gè)用戶的通信終端A。在這種情況下，還可以向另一個(gè)用戶的通信終端發(fā)送表示靜默周期的簡(jiǎn)單信息，或者，可以通過不發(fā)送任何信息來表示對(duì)應(yīng)于該音頻塊的周期是靜默的。另一個(gè)用戶的通信終端接收所發(fā)送的音頻塊，并且將所發(fā)送的音頻塊存儲(chǔ)至與同一時(shí)間對(duì)應(yīng)的條目，作為其抖動(dòng)緩沖器中的音頻塊，以消除傳輸抖動(dòng)。通過解碼和處理來饋送抖動(dòng)緩沖器中的音頻塊，以在通信終端的一個(gè)或多個(gè)輸出換能器處再現(xiàn)這些音頻塊。對(duì)所述簡(jiǎn)單信息的接收或者沒有接收到任何信息可以在抖動(dòng)緩沖器中產(chǎn)生相應(yīng)的空條目。
[0030]圖1B是示意性地示出了可以應(yīng)用本申請(qǐng)的實(shí)施方式的另一種示例語音通信系統(tǒng)的圖。在該示例中，可以在多個(gè)用戶之間進(jìn)行語音會(huì)議。
[0031]如圖1B所示，用戶A操作通信終端A，用戶B操作通信終端B，用戶C操作通信終端C。在語音會(huì)議會(huì)話中，用戶A、用戶B和用戶C分別通過他們的通信終端A、B和C彼此交談。圖1B所示的通信終端與圖1A所示的通信終端具有相同的功能。然而，通信終端A、B和C通過公共數(shù)據(jù)鏈路113或單獨(dú)的數(shù)據(jù)鏈路113耦接至服務(wù)器。數(shù)據(jù)鏈路113可以實(shí)現(xiàn)為點(diǎn)到點(diǎn)連接或者通信網(wǎng)絡(luò)。在用戶A、用戶B和用戶C中的任一側(cè)，對(duì)由用戶的通信終端捕獲的音頻信號(hào)的音頻塊執(zhí)行VAD。如果在音頻塊中判斷語音存在，則對(duì)音頻塊執(zhí)行相應(yīng)的處理(例如，施加適合語音的增益)，并且通過數(shù)據(jù)鏈路113將音頻塊發(fā)送至服務(wù)器。如果在音頻塊中判斷沒有語音存在，則對(duì)音頻塊執(zhí)行相應(yīng)的處理(例如，施加適合非語音的增益)，并且通過數(shù)據(jù)鏈路113將音頻塊發(fā)送至服務(wù)器。在這種情況下，還可以向服務(wù)器115發(fā)送表示靜默周期的簡(jiǎn)單信息，或者，可以通過不發(fā)送任何信息來表示對(duì)應(yīng)于該音頻塊的周期是靜默的。服務(wù)器接收所發(fā)送的音頻塊，并且將所發(fā)送的音頻塊存儲(chǔ)至與同一時(shí)間對(duì)應(yīng)的條目，分別作為其與用戶相關(guān)聯(lián)的抖動(dòng)緩沖器中的音頻塊，以消除傳輸抖動(dòng)。抖動(dòng)緩沖器中的與同一時(shí)間對(duì)應(yīng)的音頻塊被混合成一個(gè)音頻塊，并且，所混合的音頻塊發(fā)送給所有的用戶A、用戶B和用戶C。對(duì)所述簡(jiǎn)單信息的接收或者沒有接收到任何信息可以在抖動(dòng)緩沖器中產(chǎn)生相應(yīng)的空條目。用戶的通信終端從服務(wù)器接收音頻塊，并且將這些音頻塊存儲(chǔ)至與同一時(shí)間對(duì)應(yīng)的條目，作為他們的抖動(dòng)緩沖器中的音頻塊，以消除傳輸抖動(dòng)。在每個(gè)通信終端中，抖動(dòng)緩沖器中的音頻塊被饋送給語音處理器，以通過通信終端的揚(yáng)聲器系統(tǒng)來再現(xiàn)這些音頻塊。雖然圖1B示出了三個(gè)通信終端，然而，系統(tǒng)中當(dāng)然可以耦接有兩個(gè)或更多個(gè)通信終端。
[0032]總體解決方案
[0033]在傳統(tǒng)的語音通信系統(tǒng)中，基于揚(yáng)聲器信號(hào)(也稱為參考信號(hào))來進(jìn)行聲學(xué)回聲消除(AEC, Acoustic Echo Cancellation)。具體地，AEC單兀僅基于參考信號(hào)中產(chǎn)生特定回聲的那些音頻幀或者較早的幀來執(zhí)行對(duì)該特定回聲的消除。
[0034]在本發(fā)明中，提出了利用抖動(dòng)緩沖器(JB，Jitter Buffer)中已經(jīng)接收到但是還未播放的幀來增強(qiáng)聲學(xué)回聲消除。以這種方式，聲學(xué)回聲消除不僅考慮了當(dāng)前幀和過去幀，而且還考慮了未來幀，因此具有更好的效果并且更魯棒。
[0035]如圖2所示，根據(jù)第一實(shí)施方式，音頻處理裝置200包括用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲的聲學(xué)回聲消除器(AEC, Acoustic EchoCanceller) 204 ;用于減小所接收到的信號(hào)的延遲抖動(dòng)的抖動(dòng)緩沖器(JB) 202 ;以及用于通過參照抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制聲學(xué)回聲消除器的聯(lián)合控制器206。
[0036]在本實(shí)施方式中，如在傳統(tǒng)的解決方案中一樣，AEC從麥克風(fēng)信號(hào)中分離并且過濾出通過LEM (揚(yáng)聲器-場(chǎng)地-麥克風(fēng)，即回聲路徑)208傳遞、在LEM 208的傳遞函數(shù)作用下失真的揚(yáng)聲器信號(hào)。然而，根據(jù)本申請(qǐng)的實(shí)施方式，設(shè)置有用于基于已經(jīng)在JB 202中接收到的至少一個(gè)未來幀來控制AEC的聯(lián)合控制器206。這樣的控制可以包括:調(diào)節(jié)AEC中的自適應(yīng)濾波器的收斂速率和/或步長(zhǎng)、調(diào)節(jié)AEC中的中心削波器的閾值、和/或調(diào)節(jié)AEC中的自適應(yīng)濾波器的濾波器抽頭。因此，可以根據(jù)即將到來的參考信號(hào)對(duì)AEC進(jìn)行預(yù)先調(diào)節(jié)，因此，AEC可以更適應(yīng)于該參考信號(hào)的特性。
[0037]注意，在此使用了術(shù)語“幀”。在本申請(qǐng)的上下文中，假定“抖動(dòng)緩沖器”是存儲(chǔ)音頻幀的“邏輯”抖動(dòng)緩沖器。然而，取決于具體實(shí)現(xiàn)，物理抖動(dòng)緩沖器可以存儲(chǔ)任何形式的包或者音頻幀。因此，貫穿本說明書，術(shù)語“抖動(dòng)緩沖器”應(yīng)當(dāng)被理解為包括實(shí)際上存儲(chǔ)音頻幀的抖動(dòng)緩沖器和實(shí)際上存儲(chǔ)任何形式的包(塊)的抖動(dòng)緩沖器兩者，在需要音頻幀的情況下，該包可以在被播放之前或者在被饋送到任何部件中之前被解碼為音頻幀。在本申請(qǐng)中將不明確討論解碼處理，盡管它確實(shí)存在。因此，術(shù)語“幀”應(yīng)當(dāng)被理解為包括已經(jīng)從包中解碼的或者仍然編碼在包中的真正的幀、或者包括一個(gè)或更多個(gè)幀的包本身、或者編碼在包中的或已經(jīng)從包中解碼的多于一個(gè)的幀。換言之，在本申請(qǐng)的上下文中，涉及幀的處理還可以被理解為涉及包的處理、或者同時(shí)涉及包中包含的多于一個(gè)的幀的處理。
[0038]如圖3所示，在第一實(shí)施方式的變型300中，還設(shè)置有抖動(dòng)緩沖器控制器310，用于在抖動(dòng)緩沖器中的幀的數(shù)量小于預(yù)定閾值時(shí)增大抖動(dòng)緩沖器的長(zhǎng)度，以使得抖動(dòng)緩沖器中有足夠多的未來幀能夠由AEC使用。增大JB的長(zhǎng)度意味著等待更長(zhǎng)時(shí)間，以使得JB接收并且存儲(chǔ)更多的幀。例如，由于JB中的第一幀是要立刻播放的當(dāng)前幀，因此JB還應(yīng)包含至少一個(gè)更多的幀，用作被聯(lián)合控制器參照的未來幀。如果在某個(gè)時(shí)間點(diǎn)處，JB僅包含一個(gè)幀(即當(dāng)前幀)，則JB應(yīng)增加一個(gè)幀。
[0039]增大JB的長(zhǎng)度的某些其他場(chǎng)景是在回聲路徑自適應(yīng)處理開始時(shí)或者在音頻處理系統(tǒng)被復(fù)位之后。在這樣的場(chǎng)景下，由于沒有可以參照的歷史，因此，緩沖器中需要有更多的未來幀，從而可能需要增大JB的長(zhǎng)度。
[0040]當(dāng)然，JB的長(zhǎng)度不可能無限增大，而是具有上限，上限可以固定為預(yù)定常量或者是根據(jù)各種現(xiàn)有技術(shù)自適應(yīng)的。
[0041]JB長(zhǎng)度的增大可以用各種技術(shù)來實(shí)現(xiàn)，包括:增加靜默幀或新的合成幀，或者在JB的頭部重復(fù)播放幀(即，剛剛被推出JB的幀)。通常，可以在語音段開始之前添加靜默幀，這是因?yàn)樵谡Z音段之前為靜默周期。當(dāng)在語音段內(nèi)時(shí)，可以取決于具體的情況來確定要添加哪種幀。當(dāng)延遲抖動(dòng)相對(duì)較平緩時(shí)，幀重復(fù)是可接受的并且不會(huì)引起明顯的畸變。當(dāng)延遲抖動(dòng)嚴(yán)重時(shí)，可能需要插入(一個(gè)或多個(gè))靜默幀以避免明顯的畸變，或者，可以插入(一個(gè)或多個(gè))新的合成幀以掩蔽(一個(gè)或多個(gè))包的丟失。然而，對(duì)于長(zhǎng)時(shí)間的包丟失，新的合成幀最終必須衰減至零以避免畸變。
[0042]根據(jù)該實(shí)施方式，(一個(gè)或多個(gè))未來幀的任何信息、包括未來幀本身可以用于控制AEC，這通常是通過控制AEC的工作參數(shù)來實(shí)現(xiàn)的。例如，可以使用抖動(dòng)緩沖器中的至少一個(gè)未來幀的信號(hào)強(qiáng)度來進(jìn)行控制。在此，術(shù)語“信號(hào)強(qiáng)度”應(yīng)當(dāng)在廣義上來理解，表示能夠直接或者間接地反映音頻幀的功率或能量的任意量度。這樣的量度可以包括但不限于信號(hào)功率、對(duì)數(shù)信號(hào)功率、信號(hào)幅度等。
[0043]在上述實(shí)施方式及其變型中，聯(lián)合控制器206可以不是一直地工作，而是可以被配置成在需要時(shí)工作。例如，聯(lián)合控制器可以被配置成在聲學(xué)回聲消除器檢測(cè)到可能的濾波器發(fā)散時(shí)被觸發(fā)。通常，AEC將包括用于消除聲學(xué)回聲的自適應(yīng)濾波器?？梢杂脼V波器系數(shù)的幅度/模的波動(dòng)來量度濾波器發(fā)散。如果過去的若干幀中的幅度/模的方差超過預(yù)定閾值，則表示發(fā)散。此外，還可以通過檢測(cè)高的殘余回聲水平來觸發(fā)聯(lián)合控制器，這可以通過計(jì)算殘余回聲的功率與濾波器輸出的功率的比值并且判斷該比值是否超過預(yù)定閾值來估算。
[0044]收斂諫率控制
[0045]圖4示出了通過進(jìn)一步修改第一實(shí)施方式及其變型而獲得的第二實(shí)施方式，因此，省略了與已經(jīng)描述的部件有關(guān)的詳細(xì)描述。應(yīng)當(dāng)注意，正如在第一實(shí)施方式中一樣，JB控制器310是可選的。
[0046]根據(jù)第二實(shí)施方式，聲學(xué)回聲消除器204包括自適應(yīng)濾波器2042，并且，聯(lián)合控制器206被配置成分別響應(yīng)于至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小自適應(yīng)濾波器的收斂速率。
[0047]例如，如果下一個(gè)或下幾個(gè)幀具有非常低的能量，則可以降低收斂速率以減緩自適應(yīng)，因?yàn)榭梢灶A(yù)見麥克風(fēng)信號(hào)中的回聲較弱。當(dāng)回聲弱時(shí)，麥克風(fēng)信號(hào)很有可能被周圍噪聲或近端語音所主導(dǎo)。因此，在這種情況下減緩自適應(yīng)可以避免濾波器發(fā)散。類似地，當(dāng)下一個(gè)或下幾個(gè)幀具有高能量的語音信號(hào)時(shí)，可以提高收斂速率，因?yàn)榭梢灶A(yù)見麥克風(fēng)信號(hào)中的回聲較強(qiáng)。[0048]大多數(shù)聲學(xué)回聲消除器基于基于NLMS (歸一化的最小均方)的自適應(yīng)濾波算法。SX(o，t)、D(co，t)、co和t分別代表參考信號(hào)、麥克風(fēng)信號(hào)、頻率和時(shí)間。NLMS的關(guān)鍵運(yùn)算為:
[0049]合成回聲信號(hào):υ(ω, t) = Η(ω，t)X(co，t)，其中，Η(ω，t)是自適應(yīng)濾波器；
[0050]生成殘余信號(hào):E( ω，t) = D ( ω，t) -U ( ω，t)；以及
[0051]更新自適應(yīng)濾波器:
【權(quán)利要求】
1.一種音頻處理裝置，包括: 聲學(xué)回聲消除器，用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲； 抖動(dòng)緩沖器，用于減小所接收到的信號(hào)的延遲抖動(dòng)；以及 聯(lián)合控制器，用于通過參照所述抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制所述聲學(xué)回聲消除器。
2.根據(jù)權(quán)利要求1所述的音頻處理裝置，還包括抖動(dòng)緩沖器控制器，用于在所述抖動(dòng)緩沖器中的幀的數(shù)量在預(yù)定閾值以下時(shí)增大所述抖動(dòng)緩沖器的長(zhǎng)度，以使得所述抖動(dòng)緩沖器中有足夠多的未來幀能夠由所述聯(lián)合控制器使用。
3.根據(jù)權(quán)利要求1或2所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成基于所述抖動(dòng)緩沖器中的所述至少一個(gè)未來幀的信號(hào)強(qiáng)度來對(duì)所述聲學(xué)回聲消除器的工作參數(shù)進(jìn)行控制。
4.根據(jù)權(quán)利要求3所述的音頻處理裝置，其中，所述信號(hào)強(qiáng)度用信號(hào)功率、對(duì)數(shù)信號(hào)功率和信號(hào)幅度中的任意一個(gè)表不。
5.根據(jù)權(quán)利要求3或4所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成在所述聲學(xué)回聲消除器檢測(cè)到可能的濾波器發(fā)散或高的殘余回聲水平時(shí)被觸發(fā)。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的音頻處理裝置，其中， 所述聲學(xué)回聲消除器包括自適應(yīng)濾波器；以及 所述聯(lián)合控制器被配置成分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述自適應(yīng)濾波器的收斂速率。
7.根據(jù)權(quán)利要求6所述的音頻處理裝置，其中， 所述自適應(yīng)濾波器包括基于歸一化最小均方的濾波器；以及 所述聯(lián)合控制器被配置成分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述自適應(yīng)濾波器的步長(zhǎng)。
8.根據(jù)權(quán)利要求6或7所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)當(dāng)前幀的信號(hào)功率進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
9.根據(jù)權(quán)利要求6或7所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)緊在當(dāng)前幀之前的幀的信號(hào)功率和所述當(dāng)前幀的信號(hào)功率的加權(quán)平均值進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
10.根據(jù)權(quán)利要求6或7所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)當(dāng)前語音段內(nèi)的所有在前幀的信號(hào)功率和當(dāng)前幀的信號(hào)功率的加權(quán)平均值進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
11.根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的音頻處理裝置，其中，所述至少一個(gè)未來幀的所述平均未來信號(hào)功率是所述至少一個(gè)未來幀的信號(hào)功率的加權(quán)平均值。
12.根據(jù)權(quán)利要求1至5中 任一項(xiàng)所述的音頻處理裝置，其中， 所述聲學(xué)回聲消除器包括用于抑制殘余回聲的中心削波器；以及 所述聯(lián)合控制器被配置成分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述中心削波器的閾值。
13.根據(jù)權(quán)利要求12所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成基于I)所述至少一個(gè)未來幀的平均未來信號(hào)功率和2)當(dāng)前幀的信號(hào)功率,來確定所述閾值。
14.根據(jù)權(quán)利要求13所述的音頻處理裝置，其中，所述聯(lián)合控制器被配置成基于I)所述至少一個(gè)未來幀的信號(hào)功率的平均值以及2)當(dāng)前語音段內(nèi)的所有的在前幀的信號(hào)功率和當(dāng)前幀的信號(hào)功率的加權(quán)平均值，來確定所述閾值。
15.根據(jù)權(quán)利要求13或14所述的音頻處理裝置，其中，所述至少一個(gè)未來幀的所述平均未來信號(hào)功率是所述至少一個(gè)未來幀的信號(hào)功率的加權(quán)平均值。
16.根據(jù)權(quán)利要求12至15中任一項(xiàng)所述的音頻處理裝置，還包括用于估算過去幀的信號(hào)功率的方差的方差估算器，其中，所述聯(lián)合控制器被配置成響應(yīng)于所述方差超過預(yù)定閾值而被觸發(fā)。
17.根據(jù)權(quán)利要求1或2所述的音頻處理裝置，還包括用于在所述抖動(dòng)緩沖器中接收到的幀之后插入所接收的幀的至少一個(gè)副本的復(fù)制單元，其中， 所述聲學(xué)回聲消除器包括自適應(yīng)濾波器；以及 所述聯(lián)合控制器包括回聲路徑延遲估算器，用于對(duì)要被用于調(diào)節(jié)所述自適應(yīng)濾波器的濾波器抽頭的回聲路徑延遲進(jìn)行估算，其中， 所述回聲路徑延遲估算器包括: 錨幀檢測(cè)器，用于從所述麥克風(fēng)信號(hào) 中檢測(cè)具有預(yù)期關(guān)系的相鄰幀，所述預(yù)期關(guān)系源自所接收的幀及其至少一個(gè)副本之間存在的關(guān)系；以及 延遲計(jì)算器，用于通過計(jì)算所接收的幀及其至少一個(gè)副本的播放時(shí)間與檢測(cè)到的相鄰幀的捕獲時(shí)間之間的時(shí)滯，來估算所述回聲路徑延遲。
18.根據(jù)權(quán)利要求17所述的音頻處理裝置，其中， 所述復(fù)制單元被配置成以預(yù)定衰減常數(shù)插入所述至少一個(gè)副本，以及 所述錨幀檢測(cè)器還被配置成通過檢測(cè)具有與所述預(yù)定衰減常數(shù)類似的衰減常數(shù)的所述相鄰幀來檢測(cè)具有所述預(yù)期關(guān)系的所述相鄰幀。
19.根據(jù)權(quán)利要求17或18所述的音頻處理裝置，其中， 所述錨幀檢測(cè)器還被配置成通過查找所接收的幀及其至少一個(gè)副本與所述麥克風(fēng)信號(hào)中的連續(xù)幀之間的最顯著相關(guān)性，來檢測(cè)具有所述預(yù)期關(guān)系的相鄰幀。
20.根據(jù)權(quán)利要求17至19中任一項(xiàng)所述的音頻處理裝置，其中，所述復(fù)制單元包括丟包掩蔽單元。
21.一種在音頻處理裝置中用于控制聲學(xué)回聲消除的方法，所述音頻處理裝置包括:用于抑制麥克風(fēng)信號(hào)中的聲學(xué)回聲的聲學(xué)回聲消除器和用于減小所接收到的信號(hào)的延遲抖動(dòng)的抖動(dòng)緩沖器，所述方法包括: 通過參照所述抖動(dòng)緩沖器中的至少一個(gè)未來幀來控制所述聲學(xué)回聲消除器。
22.根據(jù)權(quán)利要求21所述的用于控制聲學(xué)回聲消除的方法，還包括:在所述抖動(dòng)緩沖器中的幀的數(shù)量在預(yù)定閾值以下時(shí)增大所述抖動(dòng)緩沖器的長(zhǎng)度，以使得所述抖動(dòng)緩沖器中有足夠多的未來幀能夠由所述聯(lián)合控制器使用。
23.根據(jù)權(quán)利要求21或22所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:基于所述抖動(dòng)緩沖器中的所述至少一個(gè)未來幀的信號(hào)強(qiáng)度來控制所述聲學(xué)回聲消除器的工作參數(shù)。
24.根據(jù)權(quán)利要求23所述的用于控制聲學(xué)回聲消除的方法，其中，所述信號(hào)強(qiáng)度用信號(hào)功率、對(duì)數(shù)信號(hào)功率和信號(hào)幅度中的任意一個(gè)表不。
25.根據(jù)權(quán)利要求23或24所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作在所述聲學(xué)回聲消除器檢測(cè)到可能的濾波器發(fā)散或高的殘余回聲水平時(shí)被觸發(fā)。
26.根據(jù)權(quán)利要求21至25中任一項(xiàng)所述的用于控制聲學(xué)回聲消除的方法，其中， 所述聲學(xué)回聲消除器包括自適應(yīng)濾波器；以及 所述控制所述聲學(xué)回聲消除器的操作包括:分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述自適應(yīng)濾波器的收斂速率。
27.根據(jù)權(quán)利要求26所述的用于控制聲學(xué)回聲消除的方法，其中， 所述自適應(yīng)濾波器包括基于歸一化最小均方的濾波器；以及 所述控制所述聲學(xué)回聲消除器的操作包括:分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述自適應(yīng)濾波器的步長(zhǎng)。
28.根據(jù)權(quán)利要求26或27所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)當(dāng)前幀的信號(hào)功率進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
29.根據(jù)權(quán)利要求26或27所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)緊在當(dāng)前幀之前的幀的信號(hào)功率和所述當(dāng)前幀的信號(hào)功率的加權(quán)平均值進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
30.根據(jù)權(quán)利要求26或27所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:通過將I)所述至少一個(gè)未來幀的平均未來信號(hào)功率與2)當(dāng)前語音段內(nèi)的所有在前幀的信號(hào)功率和當(dāng)前幀的信號(hào)功率的加權(quán)平均值進(jìn)行比較，來確定所述至少一個(gè)未來幀的信號(hào)強(qiáng)度是增大還是減小。
31.根據(jù)權(quán)利要求28至30中任一項(xiàng)所述的用于控制聲學(xué)回聲消除的方法，其中，所述至少一個(gè)未來幀的所述平均未來信號(hào)功率是所述至少一個(gè)未來幀的信號(hào)功率的加權(quán)平均值。
32.根據(jù)權(quán)利要求21至25中任一項(xiàng)所述的用于控制聲學(xué)回聲消除的方法，其中， 所述聲學(xué)回聲消除器包括用于抑制殘余回聲的中心削波器；以及 所述控制所述聲學(xué)回聲消除器的操作包括:分別響應(yīng)于所述至少一個(gè)未來幀的信號(hào)強(qiáng)度的增大或減小來增大或減小所述中心削波器的閾值。
33.根據(jù)權(quán)利要求32所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:基于I)所述至少一個(gè)未來幀的平均未來信號(hào)功率和2)當(dāng)前幀的信號(hào)功率，來確定所述閾值。
34.根據(jù)權(quán)利要求33所述的用于控制聲學(xué)回聲消除的方法，其中，所述控制所述聲學(xué)回聲消除器的操作包括:基于I)所述至少一個(gè)未來幀的信號(hào)功率的平均值以及2)當(dāng)前語音段內(nèi)的所有的在前幀的信號(hào)功率和當(dāng)前幀的信號(hào)功率的加權(quán)平均值，來確定所述閾值。
35.根據(jù)權(quán)利要求33或34所述的用于控制聲學(xué)回聲消除的方法，其中，所述至少一個(gè)未來幀的所述平均未來信號(hào)功率是所述至少一個(gè)未來幀的信號(hào)功率的加權(quán)平均值。
36.根據(jù)權(quán)利要求32至35中任一項(xiàng)所述的用于控制聲學(xué)回聲消除的方法，還包括:估算過去幀的信號(hào)功率的方差，其中，所述控制所述聲學(xué)回聲消除器的操作被配置成響應(yīng)于所述方差超過預(yù)定閾值而被觸發(fā)。
37.根據(jù)權(quán)利要求21或22所述的用于控制聲學(xué)回聲消除的方法，其中，所述聲學(xué)回聲消除器包括自適應(yīng)濾波器，并且，所述控制所述聲學(xué)回聲消除器的操作包括對(duì)要被用于調(diào)節(jié)所述自適應(yīng)濾波器的濾波器抽頭的回聲路徑延遲進(jìn)行估算，其中，所述方法還包括: 在所述抖動(dòng)緩沖器中接收到的幀之后插入所接收的幀的至少一個(gè)副本，以及 所述對(duì)所述回聲路徑延遲進(jìn)行估算的操作還包括: 從所述麥克風(fēng)信號(hào)中檢測(cè)具有預(yù)期關(guān)系的相鄰幀，所述預(yù)期關(guān)系源自所接收的幀及其至少一個(gè)副本之間存在的關(guān)系；以及 通過計(jì)算所接收的幀及其至少一個(gè)副本的播放時(shí)間與檢測(cè)到的相鄰幀的捕獲時(shí)間之間的時(shí)滯，來估算所述回聲路徑延遲。
38.根據(jù)權(quán)利要求37所述的用于控制聲學(xué)回聲消除的方法，其中， 所述插入操作包括:以預(yù)定衰減常數(shù)插入所述至少一個(gè)副本，以及 所述檢測(cè)操作包括:通過檢測(cè)具有與所述預(yù)定衰減常數(shù)類似的衰減常數(shù)的所述相鄰幀來檢測(cè)具有所述預(yù)期關(guān)系的所述相鄰幀。
39.根據(jù)權(quán)利要求37或 38所述的用于控制聲學(xué)回聲消除的方法，其中， 所述檢測(cè)操作包括:通過查找所接收的幀及其至少一個(gè)副本與所述麥克風(fēng)信號(hào)中的連續(xù)幀之間的最顯著相關(guān)性，來檢測(cè)具有所 述預(yù)期關(guān)系的相鄰幀。
【文檔編號(hào)】H04M9/08GK103888630SQ201210560728
【公開日】2014年6月25日 申請(qǐng)日期:2012年12月20日 優(yōu)先權(quán)日:2012年12月20日
【發(fā)明者】孫學(xué)京, 施棟, 李凱 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司