專利名稱：：基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于語音信號處理
技術(shù)領(lǐng)域：
，特別涉及耳語音轉(zhuǎn)換為正常語音技術(shù)。
背景技術(shù)：
：耳語音是一種有別于正常語音的發(fā)音模式，其主要特點是發(fā)音時音量低且聲帶完全不振動。在某些場合說話時，人們?yōu)榱瞬挥绊懰嘶驗榱藢υ挼谋Ｃ苄裕３Ｊ褂枚Z方式。然而由于耳語發(fā)音的特殊性和受對話環(huán)境的影響，這種方式下的語音信號不僅信噪比低而且可懂度、清晰度都較差，特別是在通過通訊設(shè)備進(jìn)行交流時，既影響通話質(zhì)量，又易使人產(chǎn)生疲勞。另外一些嗓音病人或發(fā)音功能不正常者交流時也只能使用耳語方式，影響了交流。目前國內(nèi)外關(guān)于耳語音轉(zhuǎn)換的研究較少，已有的方法有1、使用線性預(yù)測法(LPC)實現(xiàn)耳語音的重建，通過提取耳語音的偏相關(guān)系數(shù)構(gòu)成斜格型合成濾波器進(jìn)行合成，其遇到的問題，一是耳語音的共振峰不易提取，二是在該方法中，認(rèn)為耳語音與正常語音的共振峰結(jié)構(gòu)大致不變，但實際上耳語音的共振峰頻率是向髙頻偏移的，所以恢復(fù)出的語音往往不能讓人準(zhǔn)確聽辨；2、采用混合激勵線性預(yù)測模型(MELP)重建耳語音，將語音分為五個頻帶，并將四個低頻帶作為濁音段激勵，髙頻段作為清音段激勵，這樣重建的語音帶有明顯的失真；3、基于同態(tài)信號處理方法并結(jié)合相對熵聲韻分割的耳語重建系統(tǒng)，在對耳語音聲韻分割后，使用同態(tài)信號處理方法得到聲道響應(yīng)序列，根據(jù)音調(diào)加入基頻，由于耳語音傳輸函數(shù)有別于正常語音，雖然經(jīng)過了一些后處理但是轉(zhuǎn)換語音的自然度不高。
發(fā)明內(nèi)容本發(fā)明目的是提供一種將耳語音轉(zhuǎn)換為正常語音的方法，使得恢復(fù)的語音在可懂度以及音質(zhì)上均達(dá)到比較好的效果，以更方便人們的交流。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是一種基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，包括訓(xùn)練步驟和轉(zhuǎn)換步驟，所述訓(xùn)練步驟為，分別提取出相同發(fā)音內(nèi)容的耳語音和正常語音的線譜對參數(shù)，使用徑向基神經(jīng)網(wǎng)絡(luò)對耳語音、正常語音的線譜對參數(shù)進(jìn)行訓(xùn)練，捕獲耳語音、正常語音頻譜包絡(luò)的映射關(guān)系；所述轉(zhuǎn)換步驟為，提取待轉(zhuǎn)換的耳語音的線譜對參數(shù)，使用已訓(xùn)練好的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換，獲得對應(yīng)于正常語音的線譜對參數(shù)，并使用線譜對參數(shù)合成器轉(zhuǎn)換出正常語音。上文中，通過使用徑向基神經(jīng)網(wǎng)絡(luò)，創(chuàng)造性地提出了利用耳語音和正常語音的線譜對參數(shù)間的關(guān)聯(lián)性，實現(xiàn)耳語音和正常語音的轉(zhuǎn)換。其中，在獲得正常語音的線譜對參數(shù)后，用線譜對參數(shù)合成器進(jìn)行合成轉(zhuǎn)換出正常語音是現(xiàn)有技術(shù)。進(jìn)行語音合成時，需要提供激勵源，激勵源分為濁音源和清音源兩種，發(fā)濁音時聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波。這個脈沖的波形類似于斜三角的脈沖。它的數(shù)學(xué)表達(dá)式如下<formula>formulaseeoriginaldocumentpage5</formula>,其他式中，N^0.5N為斜三角波上升部分的時間，N2=0.35N為其下降部分的時間，N為語音基音周期的時間。選取語音基頻平均值為基音頻率。發(fā)清音時，無論是發(fā)阻塞音或摩擦音，聲道都被阻礙形成湍流。所以，可以把清音激勵模擬成隨機白噪聲。實際情況下一般使用均值為0的、方差為1的，并在時間或/和幅值上為白色分布的序列。利用上述激勵源，將經(jīng)過已訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換后的耳語音線譜對參數(shù)構(gòu)成合成器，通過線譜對參數(shù)合成器轉(zhuǎn)換出正常語音。上述技術(shù)方案中，所述訓(xùn)練步驟中，獲取耳語音的線譜對參數(shù)的方法為，獲取采樣率不低于10KHz的音頻文件，進(jìn)行下列處理，(l)預(yù)處理先采用一階數(shù)字濾波器進(jìn)行預(yù)加重處理，所述一階數(shù)字濾波器為H(Z)=l-uz—、式中，H是傳遞函數(shù)，z是z變換，u為預(yù)加重系數(shù)，其取值為0.9<u<l;再進(jìn)行分幀加窗處理，每幀時間長度為2030毫秒，幀長取2的整數(shù)次方，幀移與幀長的比值為1/41/2,采用漢明窗進(jìn)行加窗處理，式中，n為加窗點，N為漢明窗的窗長，w為漢明窗；(2)線譜對分析對經(jīng)過預(yù)處理后的耳語音提取線譜對參數(shù)(Wi、e。，并且Wi、8i按下式關(guān)系排列0<Wi<8i<'"<Wp/2<0p/2<7r,其中p為線性預(yù)測誤差濾波器傳遞函數(shù)希)=1+|>一的階數(shù)，^為線性預(yù)測系數(shù)，z為z變換，A為線性預(yù)測誤差濾波器；獲取正常語音的線譜對參數(shù)時，其步驟與上述耳語音的處理步驟相同。優(yōu)選的技術(shù)方案，所述步驟(l)中，ii的取值為0.937。所述音頻文件的采樣率為10KHz，所述步驟(l)中，幀長為256點，幀移為128點。所述步驟(2)中，p的取值為1015的整數(shù)。上述技術(shù)方案中，所述訓(xùn)練步驟中，使用徑向基神經(jīng)網(wǎng)絡(luò)，將耳語音的線譜對參數(shù)(Wi耳、0i耳)作為徑向基神經(jīng)網(wǎng)絡(luò)輸入值x，正常語音的線譜對參數(shù)(Wie、6iiE)作為導(dǎo)師信號d,徑向基神經(jīng)網(wǎng)絡(luò)的實際輸出為y,通過徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，得到基函數(shù)的中心和方差以及隱含層與輸出層間的權(quán)值，最后得到耳語音、正常語音頻譜包絡(luò)的映射關(guān)系。由于上述技術(shù)方案運用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點1.本發(fā)明創(chuàng)造性地提出了耳語音和正常語音的線譜對參數(shù)之間存在對應(yīng)關(guān)系，并利用徑向基神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練將耳語音的線譜對參數(shù)轉(zhuǎn)換成對應(yīng)于正常語音的線譜對參數(shù)，再使用線譜對參數(shù)合成器轉(zhuǎn)換為正常語音，實現(xiàn)了耳語音的轉(zhuǎn)換。2.實驗表明，采用本發(fā)明的方法對耳語音進(jìn)行轉(zhuǎn)換，恢復(fù)的語音在可懂度以及音質(zhì)上均達(dá)到了比較好的效果。3.利用本發(fā)明的方法可以實現(xiàn)保密通話，并方便嗓音病人或發(fā)音功能不正常者的交流。圖1為本發(fā)明實施例一中耳語音轉(zhuǎn)換為正常語音方法的框圖；圖2為具有單隱層的徑向基三層前饋網(wǎng)絡(luò)；圖3為單個斜三角波形；圖4為線譜對參數(shù)合成器；圖5為實施例二中正常語音"a"的波形圖以及語譜圖圖6為使用線性預(yù)測法轉(zhuǎn)換后的語音"a"的波形圖以及語譜圖；圖7為使用本發(fā)明方法轉(zhuǎn)換后的語音"a"的波形圖以及語譜圖圖8為使用本發(fā)明方法以及線性預(yù)測法轉(zhuǎn)換后語音"a、o、e、i、u、v"的頻譜距離比較。具體實施方式下面結(jié)合附圖及實施例對本發(fā)明作進(jìn)一步描述實施例一參見附圖1至4所示，耳語音沒有基音周期，其能量比正常語音低20dB,信噪比更低。這種語音信號不僅信噪比低而且可懂度、清晰度都較差，這既影響通話質(zhì)量，又易使人產(chǎn)生疲勞。本實施例選取了采樣率為10KHz的wav格式音頻文件，下面具體說明各步驟的工作流程。如圖1所示，本實施例的方法包括以下步驟步驟ll:對耳語音進(jìn)行預(yù)處理。首先對耳語音進(jìn)行預(yù)加重處理。預(yù)加重的目的是提升髙頻部分，使信號的頻譜變得平坦，保持在低頻到髙頻的整個頻帶中，能用同樣的信噪比求頻譜，以便用于頻譜分析或聲道參數(shù)的分析。所用的預(yù)加重數(shù)字濾波器是一階的數(shù)字濾波器<formula>formulaseeoriginaldocumentpage7</formula>式中，U的值接近于1。進(jìn)行過預(yù)加重數(shù)字濾波器處理后，接下來要進(jìn)行分幀加窗處理。幀長取256點，幀移取幀長的一半128點，這樣是為了使幀與幀之間平滑過渡，保持其連續(xù)性。加窗選用的窗是漢明窗(Hamming),使得語音短時參數(shù)更好地反映語音信號的特性變化-0.54-0.46cos[2tot/(W—l)]0S"W-10其它式中，n為加窗點，N為窗長。步驟12:線譜對分析，對經(jīng)過預(yù)處理后的耳語音提取線譜對參數(shù)(Wi、0i)。線譜對是頻域參數(shù)，因而和語音信號譜包絡(luò)的峰有著更緊密的關(guān)系，它具有良好的量化特性和插值特性。并且Wi、0i按下式關(guān)系排列(Xw,〈A〈…〈Wp,2〈0p,2〈;r，其中p為線性預(yù)測誤差濾波器傳遞函數(shù)#)=1+|>一的階數(shù)。^為線性預(yù)測系數(shù)。由于P(z"l-(、+a》z人(a2+ap—Jz-2…-(ap+ai)Z-"z如"其中a,，K,^為線性預(yù)測系數(shù)。設(shè)P(z)的零點為Q(z)的零點為e'e'，那么P(z)和Q(z)可寫成下列形式P(z)=(1+z——2cosw,z—1+z一2)Q(z)=(1—z一1)]^[(1-2cos0,z-1+mm一ln(卜2z、。s,'+z-2)-(2z-V'n(^1^~-cos,')且(2+2_1)/2|z=,=c。sw=jc，所以尸(2)/(1+2_')=0./=1>1是關(guān)于x的一個p/2次代數(shù)方程。同理ew/(i+z-t卜o也是關(guān)于x的一個p/2次代數(shù)方程。聯(lián)立解此代數(shù)方程組求得X，再由W,=C0S-^,就可以得到線譜對參數(shù)(W,、0,)。步驟15:對正常語音進(jìn)行預(yù)處理。步驟14:線譜對分析，對經(jīng)過預(yù)處理后的正常語音提取線譜對參數(shù)。步驟13:徑向基神經(jīng)網(wǎng)絡(luò)訓(xùn)練，使用徑向基神經(jīng)網(wǎng)絡(luò)對耳語音、正常語音的線譜對參數(shù)進(jìn)行訓(xùn)練，捕獲耳語音、正常語音頻譜包絡(luò)的映射關(guān)系。徑向基是具有單隱層的三層前饋網(wǎng)絡(luò)如圖2示。它能夠以任意精度逼近任意連續(xù)函數(shù)。它包括隱含層和輸出層。輸入層有M個神經(jīng)元，其中任一神經(jīng)元用m表示；隱含層有N個神經(jīng)元，任一神經(jīng)元用i表示，O(X,X,)為"基函數(shù)"，它是第i個隱單元的激勵輸出；輸出層有J個神經(jīng)元，其中任一神經(jīng)元用j表示。隱含層與輸出層突觸權(quán)值用w,y(i=l，2，，N;j=l，2，…,J)表示。當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本X,時，網(wǎng)絡(luò)第j個輸出神經(jīng)元的實際輸出為yJXJ^HvKUQ，j=l,2，…，J其中"基函數(shù)"一般選用格林函數(shù)當(dāng)"基函數(shù)"為髙斯函數(shù)(一種特殊的格林函數(shù))(M)2=exp((T>0,rei)式中，t為髙斯函數(shù)的中心，c為方差。此步訓(xùn)練時將耳語音的線譜對參數(shù)(w^、e,，)作為徑向基神經(jīng)網(wǎng)絡(luò)輸入值x,正常語音的線譜對參數(shù)(w,iE、e,J作為導(dǎo)師信號d,徑向基神經(jīng)網(wǎng)絡(luò)的實際輸出為y。通過徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，得到基函數(shù)的中心和方差以及隱含層與輸出層間的權(quán)值，最后得到耳語音、正常語音頻譜包絡(luò)的映射關(guān)系。步驟21:對要轉(zhuǎn)換的耳語音進(jìn)行預(yù)處理。步驟22:對預(yù)處理后的耳語音線譜對分析。步驟23:使用經(jīng)過訓(xùn)練后的徑向基神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換耳語音的線譜對參數(shù)，使得耳語音的線譜對參數(shù)接近于正常語音線譜對參數(shù)的數(shù)值。將需要轉(zhuǎn)換的耳語音線譜對參數(shù)(w,、0,)輸入到經(jīng)過訓(xùn)練后的徑向基神經(jīng)網(wǎng)絡(luò)(頻譜包絡(luò)的映射關(guān)系)，經(jīng)過轉(zhuǎn)換后徑向基神經(jīng)網(wǎng)絡(luò)的輸出值為(w,肖、％)。步驟24:以語音基頻平均值作為基音頻率生成語音的激勵源。激勵源一般分為濁音激勵和清音激勵。發(fā)濁音時聲帶不斷張開和關(guān)閉，將產(chǎn)生間歇的脈沖波。這個脈沖的波形類似于斜三角的脈沖。如下圖3示，它的數(shù)學(xué)表達(dá)式如下:G(n)=(1/2)[1-cos(tot/AO],O^"Mcos[兀("-iV!)/2iV2],NiS"iV+N;O,其他式中，N嚴(yán)0.5N為斜三角波上升部分的時間，N^0.35N為其下降部分的時間，N為語音基音周期的時間。選取語音基頻平均值為基音頻率。發(fā)清音時，無論是發(fā)阻塞音或摩擦音，聲道都被阻礙形成湍流。所以，可以把清音激勵模擬成隨機白噪聲。實際情況下一般使用均值為0的、方差為1的，并在時間或/和幅值上為白色分布的序列。步驟25:將轉(zhuǎn)換后的耳語音線譜對參數(shù)(w,肖、e,肖)輸入到線譜對參數(shù)合成器中，使用線譜對參數(shù)合成器轉(zhuǎn)換出正常語音。線譜對參數(shù)合成器如圖4示。線譜對合成濾波器傳遞函數(shù)表達(dá)式為H(z)=~p11+2,)_1]+[胸-1]}w'轉(zhuǎn)線譜對參數(shù)為(w,轉(zhuǎn)、e,轉(zhuǎn))有O<w^<0^<'"<wW2s</2s<7r;4"a,=-2cos，b,=-2cos0唯有s尸(z)=(1+_a,z—1+z_2)胸-(i-z-"n(1-一-、z-2)進(jìn)一步推得p(z)-i=z-1[(ai+z-')+2>,+1+,)n(i++z一2)+n(1+1+,2)p/2-l;p/2q(z)-i=z-'[(b-')+^>,+1+Z-')n(!+v-1+z一2)+n(i+《z—+2)I'■=1>1J=l以上兩式所表示的聲道濾波器結(jié)構(gòu)即為線譜對參數(shù)合成器，將生成的激勵源輸入到此合成器，最后轉(zhuǎn)換出正常語音。實施例二參見附圖5至8所示，對采樣率為lOKHz的wav格式音頻文件耳語音"a、o、e、i、u、v"分別進(jìn)行如下處理(l)使用線性預(yù)測法(LPC)轉(zhuǎn)換耳語音；(2)使用本發(fā)明方法轉(zhuǎn)換耳語音。圖57分別給出了正常語音以及通過上述兩種算法處理后語音"a"的波形圖和語譜圖?？梢钥闯霰景l(fā)明方法轉(zhuǎn)換語音的語譜圖更接近于正常語音的語譜圖。對兩種方法轉(zhuǎn)換后的語音分別進(jìn)行了主觀和客觀測試。主觀可懂度評價采用DRT(DiagnosticRhymeTest)方法，質(zhì)量度量采用主觀平均判分方法(MeanOpinionScore，MOS)o表1為DRT以及MOS評價的評分標(biāo)準(zhǔn)。表1<table>tableseeoriginaldocumentpage11</column></row><table>共挑選了10名實驗者對轉(zhuǎn)換后的語音進(jìn)行聽力測試，測試耳機為BOSE-QC-1,然后分別給出音頻質(zhì)量的主觀評分，表2給出了對兩種方法轉(zhuǎn)換語音的評分結(jié)果。表2<table>tableseeoriginaldocumentpage11</column></row><table>客觀評價采用改進(jìn)型巴克譜失真測度(MBSD)測量頻譜距離，MBSD的計算公式為<formula>formulaseeoriginaldocumentpage11</formula>式中N為處理語音的總幀數(shù)；^",0和Z^v)分別為原始語音和失真語音第n幀第i個巴克帶的響度值；M(n，i)為掩蔽效應(yīng);T(n，i)為第n幀第i個巴克帶的掩蔽門限值。在MBSD中取第418個巴克帶的失真測度進(jìn)行計算。圖8給出了對轉(zhuǎn)換語音頻譜距離的評價結(jié)果?？梢钥闯霰景l(fā)明方法轉(zhuǎn)換語音的頻譜失真距離小于LPC方法，更接近于正常語音。實驗結(jié)果表明使用本發(fā)明方法轉(zhuǎn)換后語音的可憧度以及音質(zhì)均達(dá)到了比較好的效果。權(quán)利要求1.一種基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，包括訓(xùn)練步驟和轉(zhuǎn)換步驟，其特征在于所述訓(xùn)練步驟為，分別提取出相同發(fā)音內(nèi)容的耳語音和正常語音的線譜對參數(shù)，使用徑向基神經(jīng)網(wǎng)絡(luò)對耳語音、正常語音的線譜對參數(shù)進(jìn)行訓(xùn)練，捕獲耳語音、正常語音頻譜包絡(luò)的映射關(guān)系；所述轉(zhuǎn)換步驟為，提取待轉(zhuǎn)換的耳語音的線譜對參數(shù)，使用已訓(xùn)練好的徑向基神經(jīng)網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換，獲得對應(yīng)于正常語音的線譜對參數(shù)，并使用線譜對參數(shù)合成器轉(zhuǎn)換出正常語音。2.根據(jù)權(quán)利要求1所述的基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，其特征在于所述訓(xùn)練步驟中，獲取耳語音的線譜對參數(shù)的方法為，獲取采樣率不低于lOKHz的音頻文件，進(jìn)行下列處理，(l)預(yù)處理先采用一階數(shù)字濾波器進(jìn)行預(yù)加重處理，所述一階數(shù)字濾波器為H(Z)=l-nz—、式中，H是傳遞函數(shù)，z是z變換，n為預(yù)加重系數(shù)，其取值為0.9<u<l:再進(jìn)行分幀加窗處理，每幀時間長度為2030亳秒，幀長取2的整數(shù)次方，幀移與幀長的比值為1/41/2,采用漢明窗進(jìn)行加窗處理，式中，n為加窗點，N為漢明窗的窗長，w為漢明窗；(2)線譜對分析對經(jīng)過預(yù)處理后的耳語音提取線譜對參數(shù)(Wi、0i),并且Wi、8i按下式關(guān)系排列0<<0i<'"<Wp/2<8p/2〈兀,其中p為線性預(yù)測誤差濾波器傳遞函數(shù)命)=1+^>一的階數(shù)，為線性預(yù)測系數(shù)，z為z變換，A為線性預(yù)測誤差濾波器；獲取正常語音的線譜對參數(shù)時，其步驟與上述耳語音的處理步驟相同。3.根據(jù)權(quán)利要求2所述的基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，其特征在于所述步驟(l)中，u的取值為0.937。4.根據(jù)權(quán)利要求2所述的基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，其特征在于所述音頻文件的采樣率為10KHz，所述步驟(l)中，幀長為256點，幀移為128點。5.根據(jù)權(quán)利要求2所述的基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，其特征在于所述步驟(2)中，p的取值為1015的整數(shù)。6.根據(jù)權(quán)利要求1所述的基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法，其特征在于所述訓(xùn)練步驟中，使用徑向基神經(jīng)網(wǎng)絡(luò)，將耳語音的線譜對參數(shù)(w^、0i^作為徑向基神經(jīng)網(wǎng)絡(luò)輸入值x，正常語音的線譜對參數(shù)(Wiie、e^)作為導(dǎo)師信號d，徑向基神經(jīng)網(wǎng)絡(luò)的實際輸出為y，通過徑向基神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，得到基函數(shù)的中心和方差以及隱含層與輸出層間的權(quán)值，最后得到耳語音、正常語音頻譜包絡(luò)的映射關(guān)系。全文摘要本發(fā)明公開了一種基于徑向基神經(jīng)網(wǎng)絡(luò)的耳語音轉(zhuǎn)換為正常語音的方法。包括訓(xùn)練以及轉(zhuǎn)換兩個步驟訓(xùn)練時分別提取耳語音、正常語音的線譜對參數(shù)，使用徑向基神經(jīng)網(wǎng)絡(luò)捕獲耳語音、正常語音頻譜包絡(luò)的映射關(guān)系；轉(zhuǎn)換時對耳語音預(yù)處理、提取線譜對參數(shù)，然后使用已訓(xùn)練好的徑向基神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換耳語音的線譜對參數(shù)，最后以語音的基頻平均值作為基音頻率生成語音的激勵源，通過線譜對參數(shù)合成器轉(zhuǎn)換出正常語音。本發(fā)明轉(zhuǎn)換的耳語音在可懂度以及音質(zhì)方面都達(dá)到了很好的效果。文檔編號G10L21/02GK101527141SQ20091002532公開日2009年9月9日申請日期2009年3月10日優(yōu)先權(quán)日2009年3月10日發(fā)明者迪吳,張曉俊,許宜申,趙鶴鳴,陳大慶,智陶,韜韓,顧濟華申請人:蘇州大學(xué)