基于噪聲混合相干性的雙通道波束形成語音增強方法
【專利摘要】本發(fā)明公開了一種基于噪聲混合相干性的雙通道波束形成語音增強方法。自適應波束形成在無混響條件下可以有效地抑制方向性噪聲信號，但在混響存在的條件下其效果大大降低。針對這個問題，本發(fā)明提出了一種基于噪聲混合相干性的雙通道波束形成方法?？紤]到聲場中同時存在相干性和散射性噪聲，本發(fā)明提出用混合噪聲聲場來代替?zhèn)鹘y(tǒng)的散射性聲場的假設，首先估計出混合噪聲聲場中的噪聲相干性，用其來估計噪聲的功率譜，并將噪聲功率譜估計結(jié)果用于計算頻域濾波的增益函數(shù)。噪聲與混響信號經(jīng)過頻域濾波處理后，殘留的噪聲再通過最小方差無失真響應波束形成器進一步處理。實驗證明利用本發(fā)明的方法增強后的語音質(zhì)量相比于傳統(tǒng)的方法有較明顯的提高。
【專利說明】
基于噪聲混合相干性的雙通道波束形成語音増強方法
技術(shù)領域
[0001] 本發(fā)明屬于信息技術(shù)領域，涉及一種適用于復雜聲學環(huán)境下的語音增強方法，具 體涉及一種基于噪聲混合相干性的雙通道波束形成語音增強方法。
【背景技術(shù)】
[0002] 語音是人們進行語言交流的重要信息載體。然而，在日常生活的交流中，人們常常 處于一個嘈雜喧鬧的環(huán)境中，因此，感興趣的語音常常會受到噪聲、混響等因素的干擾，語 音的清晰度、可懂度和舒適度大大降低，從而嚴重影響人耳的聽覺感受。人們往往希望改善 語音質(zhì)量以減輕聽覺上的疲勞，特別是需要長時間處于噪聲環(huán)境中。語音增強是從帶噪語 音中盡可能地提取純凈的原始語音以提升語音的質(zhì)量和可懂度。通過語音增強算法，可以 在一定程度上將噪聲濾除，從而提高該段語音的質(zhì)量和可懂度。
[0003] 在很多場合我們都需要對語音進行增強。例如，在移動電話進行語音通訊時，一方 在馬路、機場或者餐廳等充滿背景噪聲的場景下說話，那另一方聽到的就是帶著各種噪聲 的語音信號。此時可以先對帶噪語音信號通過語音增強算法進行處理，從而改善接收端的 語音質(zhì)量。又如在電話會議系統(tǒng)中，在某一個終端采集到的噪聲將會被傳送到其他所有接 收端，如果這個終端所在的房間會產(chǎn)生回響的話，那么會對電話會議造成更大的影響。因 此，如果能在將音頻信號廣播到其他接收端之前對帶噪語音進行增強，就能改善整個系統(tǒng) 的性能。對于有聽力障礙的人士來說，常常需要借助助聽設備或人工耳蝸來交流。但在噪聲 環(huán)境下，助聽器的效果會受到很大影響。此時可以利用語音增強算法在帶噪語音信號被放 大之前對信號進行預處理，可以在一定程度上減少噪聲信號的干擾，幫助聽障人士更好地 進行交流。
[0004] 語音增強技術(shù)通?？梢苑譃閱瓮ǖ勒Z音增強算法和多通道語音增強算法。單通道 語音增強算法利用單個麥克風進行語音增強，此類方法以其簡單的模型和廉價的成本已取 得廣泛的應用和成熟的發(fā)展。但由于單通道語音增強算法只能利用單路帶噪語音信號的統(tǒng) 計特性來抑制噪聲，對非平穩(wěn)噪聲或強干擾的條件下，其增強效果急劇下降。多通道語音增 強系統(tǒng)使用多個麥克風，即麥克風陣列采集聲音信號，得到多路信號。由于輸入通道數(shù)的增 加，信號處理算法可以利用各通道信號之間的相關性來進行語音增強。相比單通道只能利 用語音和噪聲在時頻域上的差異進行增強的局限，麥克風陣列的引入可以彌補單通道語音 增強的不足。通常來說，增加麥克風的數(shù)量可以提高語音增強的效果。相比于單麥克風語音 增強，基于麥克風陣列不僅可以利用信號的時頻信息，還可以信號的空間信息，可以彌補單 麥克風語音增強的不足，受到廣泛的關注。但其缺點是結(jié)構(gòu)尺寸龐大，系統(tǒng)計算復雜和計算 量太大等。綜合考慮設備的成本，語音增法算法的實時性與算法的效果，利用雙通道語音增 強，也就是使用兩個麥克風進行語音增強是一種比較好的折衷方案。
[0005] 所謂的雙通道語音增強，就是通過對雙通道的語音數(shù)據(jù)進行處理，增強感興趣的 聲源信號，抑制不感興趣的聲源信號和噪聲?；陔p通道的語音增強基本方法有固定波束 形成、自適應波束形成、后置濾波、子帶波束形成和近場波束形成等方法。其中，波束形成 (beamforming)是最早最經(jīng)典的方法，它通過對單個通道的語音信號進行時延補償，使得各 通道中的語音信號同步，然后加權(quán)、求和，最后系統(tǒng)輸出。根據(jù)加權(quán)時使用的權(quán)重是否依賴 于輸入信號可將波束形成分成固定波束形成和自適應波束形成。波束形成通過對各通道信 號進行加權(quán)處理，加重特定方向信號而削弱其它方向信號，從而得到來自某一特定方向的 信號。雙通道波束形成方法主要包含以下幾個步驟：
[0006] 1、語音錄入，預濾波、模數(shù)變換。先把錄入的模擬聲音信號進行預濾波，高通濾波 抑制50Hz電源噪聲信號;低通濾波濾除聲音信號中頻率分量超過采樣頻率一半的部分，防 止混疊干擾，對模擬聲音信號進行采樣和量化得到數(shù)字信號。
[0007] 2、預加重。信號通過高頻加重濾波器沖激響應，以補償嘴唇輻射帶來的高頻衰減。
[0008] 3、分幀、加窗。由于語音信號的慢時變性，整體非平穩(wěn)，局部平穩(wěn)，一般認為語音信 號在10-30ms內(nèi)是平穩(wěn)的，可以把聲音信號按照20ms的長度進行分幀。分幀函數(shù)為：
[0009] xk(n) = w(n)s(Nk+n)n = 0,1. . .N-l；k = 0,l. . .L-l (1)
[0010] 其中N為幀長，L為幀數(shù)，s表示語音信號。w(n)為窗函數(shù)，它的選擇(形狀和長度)對 短時分析參數(shù)的特性影響很大，常用的窗函數(shù)包括矩形窗、漢寧窗和漢明窗等。一般選用漢 明窗，可以很好地反應語音信號的特性變化，漢明窗表達式為：
[0012] 4、時延估計。每幀信號可以提取特征以表征本幀信號所包含的信息如時間差、能 量差等，使得各通道中的語音信號同步。
[0013] 5、波束形成增強語音。對同步后的雙通道信號進行加權(quán)、求和，最后輸出。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明提出一種新的雙通道波束形成方法，用于提高復雜聲學環(huán)境下（混響與方 向性噪聲同時存在）自適應波束形成對噪聲和混響的抑制效果。盡管自適應波束形成在無 混響條件下可以有效地抑制方向性噪聲信號，在混響存在的條件下，由于房間墻壁對信號 進行多徑反射，噪聲信號來自四面八方，導致自適應波束形成方法對噪聲抑制效果大大降 低。針對這個問題，本發(fā)明提出基于噪聲混合相干性的雙通道波束形成方法。
[0015] 傳統(tǒng)的方法總是把混響環(huán)境下的噪聲聲場當作一個散射性聲場。然而，如果噪聲 來自一個特定的方向，麥克風接收到的不僅包括相干性信號(直達信號），也包括散射性的 信號(反射信號）?；诖耍景l(fā)明提出用混合噪聲聲場來代替?zhèn)鹘y(tǒng)的散射性聲場的假設，首 先估計出混合噪聲聲場中的噪聲混合相干性，用其來改進傳統(tǒng)的基于相干性噪聲估計方 法，得到更準確的噪聲估計結(jié)果，并將噪聲估計結(jié)果用于頻域濾波的設計。噪聲與混響信號 經(jīng)過頻域濾波處理后，殘留的噪聲再通過最小方差無失真響應波束形成器。通過該方法，可 以提高傳統(tǒng)的自適應波束形成方法在混響環(huán)境下的效果。
[0016] 本發(fā)明采用的技術(shù)方案是一種基于噪聲混合相干性的雙通道波束形成語音增強 方法，主要包括以下幾個步驟：
[0017] 1)混合相干性估計。在時間域上，雙通道語音模型可以描述為：
[0018] xi(n) = si(n)+vi(n), i = 1,2 (3)
[0019] 其中，Xl(n)表示麥克風接收到的帶噪信號，Sl(n)表示純凈語音信號，Vl(n)表示噪 聲信號，其中下標1，2分別代表第一個麥克風信號和第二個麥克風信號。
[0020] 利用短時傅里葉變換，雙通道語音模型可在頻域上表示為：
[0021] Xi(A,y) = Si(A,y)+Vi(A,y),i = l,2 (4)
[0022] 其中，λ和μ分別表示幀號和頻率。
[0023]兩個信號的相干性在頻域上定義為：
[0025] 其中#_，為&和4?分別表示信號vi和V2的自功率譜和互功率譜。
[0026] 相干性噪聲聲場是由特定方向的噪聲聲源產(chǎn)生的。假設噪聲到達角度為θν，那么 兩個麥克風接收到的噪聲信號的相干性為：
[0028] 其中f表示頻率變量，c = 340m/s表示聲音在空氣中的傳播速度，dmic表示兩個麥克 風的距離。
[0029]隨著房間混響時間的增加，無數(shù)的不相關的點源信號同時在空氣中傳播，此時的 噪聲聲場存在著散射性的噪聲。散射性噪聲聲場往往被認為是對混響環(huán)境中聲場的一種很 好的近似。理想的散射性噪聲聲場相干性為：
[0031]由于噪聲來自一個特定的方向，麥克風同時接收到的包括相干性信號和散射性的 信號，因此，更適合將噪聲聲場當作是一種混合聲場。對于混合噪聲聲場，噪聲的自功率譜 等于不同聲場噪聲的自功率譜相加，對于互功率譜也是同理。因此，混合噪聲聲場中的噪聲 相干性為：
[0033] 假設兩個麥克風接收到的噪聲的自功率譜是相等的，BP
[0034] #曬，稱=為 a',,% = 4fi> (9)
[0035] 4r.ir, =^Jr,v:v: =Φα?Λ· (1())
[0036] 結(jié)合公式(5)(9)(10),公式(8)可以改寫為：
[0038]根據(jù)公式（11 )，可以認為混合噪聲聲場中的噪聲相干性是相干性噪聲和散射性噪 聲相干性的加權(quán)相加。盡管公式中的相干性噪聲和散射性噪聲的功率譜無法直接求出，公
剛好是相干性噪聲和散射性噪聲的能量比，可以由以下公式求得：
[0039]
[0040] 其中『￥2表示兩個帶噪信號的相干性，ψ表示相干性噪聲和散射性噪聲的能量 比。
[0041] 由于相干性噪聲的方向是未知的，因此無法直接由公式(6)計算出。根據(jù)公 式(5)，可以發(fā)現(xiàn)信號的相干性與互功率譜的輻角是相等的，即：
[0042] argT,. =arg (6),.,. (丨.;）
[0043] 因此可以利用噪聲信號的互功率譜來計算，即：
[0045]其中噪聲信號的互功率譜么Λ可以用帶噪語音信號前導無語音幀來計算，將其記 為C，由此可以用公式（15)計算：
[0047]最后，可以得到噪聲混合相干性的估計公式為：
[0049] 2)頻域濾波。帶噪信號在經(jīng)過波束形成器處理前，先利用頻域濾波對其進行處理。 頻域濾波所需的噪聲信號功率譜是基于噪聲混合相干性來得到?；诨旌舷喔尚缘脑肼暪?率譜估計方法為：
[0051 ]其中 <表示估計得到的噪聲功率譜，么$和分別表示帶噪信號Xl的自功率譜和 帶噪信號^的自功率譜，代&表示帶噪信號以和^的互功率譜。信號的自功率譜和互功率譜 通過遞歸平均方法來得到：
[0053] 其中α是平滑因子，乂1表示信號^的短時幅度譜，X;表示信號^的短時幅度譜的復 共輒。
[0054] 噪聲估計的準確性可以用真實的噪聲功率譜Φ ν和估計的噪聲功率譜&的對數(shù)誤 差來計算：
[0056]在估計完噪聲功率譜后，頻率濾波增益函數(shù)可由下式計算得到：
[0058] 其中，β表示減法因子，為了避免出現(xiàn)負值，用Gmin作為增益函數(shù)的下界。
[0059] 經(jīng)過頻率濾波處理后的帶噪語音信號變成：
[0060] Z,. (/."http://) = !；. (/>,//)0； (；"http://) (21)
[0061] 3)基于后濾波的波束形成。經(jīng)過頻域濾波后的信號仍然存在殘留噪聲，接下來進 一步最小方差無失真響應波束形成器對其進行處理。為了推導方便，將波束形成器輸入信 號記為：
[0063]根據(jù)最小方差無失真響應原則，波束形成器的權(quán)重為：
[0065] 其中，^^表不輸入信號念的自相關矩陣，ds(y)為目標語音信號的方向矢量。它唯 一由相對于語音接收端的相對位置確定。最終經(jīng)過波束形成處理后的語音信號為：
[0066] 5(A.//) = (^//)Z(/i.//) ^21)
[0067] 經(jīng)過語音增強后的雙通道時域語音信號可利用短時傅里葉逆變換和重疊相加法 得到。
[0068] 本發(fā)明與傳統(tǒng)的方法不同，將混響環(huán)境下由方向性噪聲產(chǎn)生的噪聲聲場認為是一 種混合聲場而不是簡單的散射性噪聲聲場，并推導出噪聲信號的混合相干性估計方法，將 混合相干性用于頻域濾波器中噪聲功率譜的估計，從而得到更加準確的估計結(jié)果，進而提 高語音增強算法的效果。此外，傳統(tǒng)方法為了提高自適應波束形成方法在混響條件下的效 果，往往會在波束形成器后加后置濾波。本發(fā)明的方法與波束形成器加后置濾波方法不同， 提出了一種新的雙通道波束形成器，它是由頻域濾波器和最小方差無失真響應波束形成器 組成。它是先通過頻域濾波去除一部分的混響和直達噪聲信號，殘留的信號再由最小方差 無失真響應波束形成器處理。之所以這樣做是因為用波束形成器直接處理混響信號效果很 差，而先用頻域濾波能在一定程度上去除混響的干擾。相比于傳統(tǒng)的方法，提出的方法更能 有效地抑制混響環(huán)境下的噪聲信號，增強后的語音在信噪比和感知語音質(zhì)量相比于傳統(tǒng)的 方法都有$父明顯的提尚。
【附圖說明】
[0069] 圖1是本發(fā)明的雙通道波束形成語音增強方法流程示意圖。
[0070] 圖2是本發(fā)明實施例中和另外三種已有的語音增強方法實驗得到的增強后語音較 增強前語音信號的信噪比提高大小比較。這三種語音增強方法分別是Zelinski提出的經(jīng)典 的波束形成加后置濾波方法(Zelinski post-filter)，Yousefian和Loizou于2013年提出 的基于相干性的方法(COH based)，Schwarz和Kellermann于2015年提出的基于直達信號和 散射信號能量比的方法(⑶R based)。
[0071] 圖3是本發(fā)明實施例中和上述另外三種語音增強方法實驗得到的增強后語音較增 強前語音信號的感知語音質(zhì)量比較。
[0072] 圖4(a)_4(b)分別是純凈語音信號的語譜圖和受混響、噪聲污染后的語音信號的 語譜圖。圖4(c)_4(f)分別是利用本發(fā)明的方法和上述另外三種語音增強方法增強后的語 音的語譜圖。圖4(c)對應Zel inski提出的經(jīng)典的波束形成加后置濾波方法（Zel inski post-f ilter)，圖4(d)對應Yousef ian和Loizou于2013年提出的基于相干性的方法（COH based)，圖4(e)是對Schwarz和Kellermann于2015年提出的基于直達信號和散射信號能量 比的方法(⑶R based)，以及圖4 (f)對應本發(fā)明的方法。
【具體實施方式】
[0073]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，可以理解的是，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施 例。基于本發(fā)明中的實施例，本領域技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有 其他實施例，都屬于本發(fā)明保護的范圍。
[0074] 本實施實例所采用的數(shù)據(jù)庫在國際上語音增強中較為權(quán)威而且是使用最為廣泛 的數(shù)據(jù)庫之一。純凈語音取自TSP數(shù)據(jù)庫，共有80句語音用于測試。噪聲信號是取自N0ISEX 數(shù)據(jù)庫，兩個帶噪的麥克風信號是由Air (Aachen Impulse Response)數(shù)據(jù)庫提供的房間脈 沖響應卷積上語音和噪聲信號得到的。Air脈沖響應數(shù)據(jù)庫是由德國亞琛工業(yè)大學通訊系 統(tǒng)研究所利用HMS2仿真人工頭錄制的，包括辦公室、會議室、報告廳等不同類型的場景，用 于混響環(huán)境下信號處理算法的研究。兩個麥克風分別位于人工頭的左耳和右耳，距離約 0.17米。不同實驗場景下，房間大小，混響時間，聲源的位置與人頭的距離等參數(shù)有所不同。
[0075] 考慮到語音增強算法在實際的應用中往往面臨不同的噪聲環(huán)境，實驗中通過設置 不同混響時間，不同方向的聲源、不同噪聲類型來測試算法的魯棒性。表1給出了不同噪聲 場景的設置，包換噪聲的類型，房間混響的時間，目標聲源的角度以及噪聲聲源角度。
[0076] 表1不同噪聲場景設置
[0077]
[0078] 實施實例采用如圖1所示的雙通道波束形成語音增強方法在不同噪聲場景下進行 語音增強算法評價。對于算法中的參數(shù)，具體設置如表2所示。
[0079]表2算法參數(shù)設置
[0081] 表3給出了分別用混合相干性(改進后)和用散射噪聲相干性(改進前)估計噪聲功 率譜得到的對數(shù)誤差，可以看到基于混合相干性進行估計得到的對數(shù)誤差明顯降低。
[0082] 表3噪聲功率譜估計算法改進前后噪聲功率譜估計對數(shù)誤差
[0084] 圖2是本發(fā)明實施例中和上述另外三種語音增強方法實驗得到的增強后語音較增 強前語音信號的信噪比提高大小比較。利用本發(fā)明的基于噪聲混合相干性的雙通道波束形 成語音增強方法在混響與方向性噪聲條件下對麥克風接收到的信號進行語音增強，相比于 其它方法，得到了更高的信噪比提升。
[0085] 圖3是本發(fā)明實施例中和上述另外三種語音增強方法實驗得到的增強后語音較增 強前語音信號的感知語音質(zhì)量比較?？梢钥闯?，利用本文提出的語音增強方法在混響與方 向性噪聲條件下對麥克風接收到的信號進行語音增強能得到更好的語音質(zhì)量。
[0086] 利用增強后語音信號的語譜圖可以更好的觀察語音增強的效果。圖4(a)_4(f)給 出示例。圖4(a)_4(b)分別是純凈語音信號的語譜圖和受混響、噪聲污染后的語音信號的語 譜圖。圖4(c)_4(f)分別是利用幾種不同的語音增強算法增強后的語音的語譜圖。從語譜圖 可以看出，利用本發(fā)明的方法進行語音增強后得到的語音信號的語譜圖更接近于純凈語音 信號的語譜圖。
[0087] 上述實例只是本發(fā)明的舉例，盡管為說明目的公開了本發(fā)明的實例，但是本領域 的技術(shù)人員可以理解:在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi)，各種替換、變化 和修改都是可能的。因此，本發(fā)明不應局限于該實例的內(nèi)容。
【主權(quán)項】
1. 一種雙通道波束形成語音增強方法，其步驟包括： 1) 在固定時間窗內(nèi)對雙通道帶噪語音信號依次進行分幀、加窗處理，并利用短時傅里 葉變換將信號變換到頻域，繼而在頻域上對信號進行處理;然后利用帶噪語音信號計算出 相干性信號與散射性信號的能量比;接著利用相干性信號與散射性信號的能量比估計噪聲 的混合相干性； 2) 利用混合相干性進行噪聲功率譜估計，利用估計的結(jié)果計算頻域濾波的增益函數(shù)； 3) 用頻域濾波對帶噪語音信號進行處理，然后用最小方差無失真響應波束形成器進一 步抑制殘留的噪聲，得到最終增強后的語音信號，完成語音增強。2. 如權(quán)利要求1所述的雙通道波束形成語音增強方法，其特征在于，步驟1)將混響和方 向性噪聲同時存在的噪聲聲場當作是混合噪聲場。3. 如權(quán)利要求1所述的雙通道波束形成語音增強方法，其特征在于，步驟1)在噪聲互功 率譜未知的條件下，利用帶噪語音信號前導無語音幀部分的互功率譜^來代替噪聲的互 功率譜。4. 如權(quán)利要求3所述的雙通道波束形成語音增強方法，其特征在于，步驟1)在噪聲聲源 方向未知的條件下，利用噪聲信縣的噸噪聲的相干性：5. 如權(quán)利要求4所述的雙通道波束形成語音增強方法，其特征在于，步驟1)利用相干性 信號與散射性信號的能量比估計噪聲的混合相干性，其中相干性的計算考慮了噪聲聲源入 射角度對相干性計算的影響，所述混合相干性的計算方法為：其中__爭表示相干性噪聲和散射性噪聲的能量比，f表示頻率變量，c = 340m/s表示聲音 在空氣中的傳播速度，dmi。表示兩個麥克風的距離。6. 如權(quán)利要求1所述的雙通道波束形成語音增強方法，其特征在于，步驟2)基于混合相 干性進行噪聲功率譜估計的方法為：其中<表示估計得到的噪聲功率譜，么η和么a分別表示帶噪信號的自功率譜和帶噪 信號^的自功率譜，線.%表示帶噪信號的互功率譜;信號的自功率譜與互功率譜通過 遞歸平均方法來得到：其中α是平滑因子，λ和μ分別表示幀號和頻率，乂1表示信號&的短時幅度譜，表示信號 ^的短時幅度譜的復共輒。7. 如權(quán)利要求6所述的雙通道波束形成語音增強方法，其特征在于，步驟2)將基于混合 相干性進行噪聲功率譜估計的結(jié)果用于計算頻域濾波器的增益函數(shù)，從而實現(xiàn)對混響與噪 聲信號同時進行抑制，頻域濾波器的增益函數(shù)為：其中，β表示減法因子，為了避免出現(xiàn)負值，用Gmin作為增益函數(shù)的下界。8. 如權(quán)利要求1所述的雙通道波束形成語音增強方法，其特征在于，步驟3)用頻域濾波 器和最小方差無失真響應波束形成器組成雙通道波束形成器，用其對帶噪信號進行處理， 得到語音增強后的信號;其中頻域濾波器是在最小方差無失真響應波束形成器之前。9. 如權(quán)利要求8所述的雙通道波束形成語音增強方法，其特征在于，步驟3)包括如下子 步驟： 3-1)帶噪語音信號的幅度譜乘以頻域濾波器的增益函數(shù)，得到經(jīng)過濾波處理后的語音 信號的幅度譜； 3-2)將得到的幅度譜再乘以最小方差無失真響應波束形成器的權(quán)重，得到最終增強后 的語音信號的幅度譜； 3-3)利用短時傅里葉逆變換和重疊相加法將信號變換到時域，得到時域上的增強后的 信號。
【文檔編號】G10L21/0208GK105869651SQ201610167885
【公開日】2016年8月17日
【申請日】2016年3月23日
【發(fā)明人】劉宏, 孫淼
【申請人】北京大學深圳研究生院