專利名稱：語音合成系統(tǒng)及其減少冗余的波形數據庫的制作方法
技術領域：
本發(fā)明涉及一種用相當小的波形數據庫提供更自然合成語音的語音合成系統(tǒng)和方法。
在使用某種語言的常規(guī)語音合成系統(tǒng)中，每個語音都被分成長度比該語言中所用單詞長度更短的音段(音素鏈組元或合成單元)。需形成并存儲用該語言進行語音合成所必須的一組如此音段的波形數據庫。在合成過程中，將所給的文本分成音段，并借助波形數據庫將與所分音段相關的波形合成所給文本相應的語音。1996年日本未審查專利公報Hei8-234793揭示了一種這樣的語音合成系統(tǒng)。
但在常規(guī)的系統(tǒng)中，如果某個音段與存儲在數據庫中的任何音段都不同，那么即使數據庫中存在一個或多個音段，其波形的之大部分與該音段波形相同，則該音段也會作為一個不同的音段被存儲在數據庫中，這使得數據庫非常冗長。如果為了避免冗長而限制數據庫中的音段數目，那么在語音合成過程中，必然會因每次缺少音段而使任何受限的音段畸變，造成合成語音質量劣化。
本發(fā)明的一個目的是提供一種語音合成系統(tǒng)和方法，允許將波形數據庫的規(guī)模做得較小，并對于波形數據庫中缺少的音段避免任何音段的畸變，從而提供令人滿意的語音合成質量。
用一種系統(tǒng)可以實現上述目的，在該系統(tǒng)中，進一步將對應于某種語言中標準音段(音素鏈組元)的每個波形分成音調波形，并把密切相似的音調波形歸成一組。從每個分組的音調波形中選擇一個作為該分組的代表，并給予其一個音調波形ID。波形數據庫至少包括一個(音調波形指針)表和一個(音調波形)表，前表中的每條記錄都包括每個音段的音段ID和音調波形ID，當按所列順序合并時，其音調波形構成一個由音段ID識別的波形，而后表包括音調波形ID和相應的音調波形。這使得不同但相似的音段共享公用的音調波形，縮小了波形數據庫的大小。對于數據庫缺少的每個音調波形，使用與該缺少音調波形最相似的音調波形，也就是說，使用音調波形指針表中與該缺少的音調波形ID相鄰的音調波形ID中的一個，而不引起音調波形的畸變。
結合附圖閱讀以下關于本發(fā)明較佳實施例的描述，將更清楚本發(fā)明的其它目的和優(yōu)點，其中

圖1是一示意方框圖，示出了一例實施本發(fā)明原理的語音合成系統(tǒng)；圖2是一示意圖，例示了如何根據基于VCV的語音合成方案合成日語單詞‘inu’和‘iwashi’；圖3是一流程圖，示出了依照本發(fā)明一說明性實施例形成有聲發(fā)音波形數據庫的過程；圖4A是一示意圖，例示了在圖3步驟350中形成的音調波形指針表；圖4B是一示意圖，例示了在圖3步驟340中建立的音調波形表的每條記錄的結構；圖5A和5B是流程圖，分別例示了獲得周期性波形和音調波形之頻譜包絡線的過程；圖6是一曲線圖，示出了一周期性波形的功率頻譜；圖7是一示意圖，示出了第一例在圖3之步驟330中從一分組音調波形中選取一代表性音調波形的方法；圖8是一示意圖，示出了第二例在圖3之步驟330中從一分組音調波形中選取一代表性音調波形的方法；圖9是一示意圖，示出了依照本發(fā)明第二說明性實施例在圖1語音合成系統(tǒng)中使用的波形數據庫的結構；圖10例示了圖9中所示音調波形指針表，例如(有關音素鏈格式‘inu’的)9606inu的結構；圖11是一流程圖，示出了形成圖9中有聲發(fā)音波形數據庫900的過程；圖12是一示意圖，示出了不同音段是如何共享一個公用啞聲的；圖13是一流程圖，示出了依照本發(fā)明說明性實施例形成啞聲(voiceless sound)波形數據庫的過程；圖14是一流程圖，例示了使用圖4之有聲發(fā)音波形數據庫的語音合成程序的流程；以及圖15是一流程圖，例示了使用圖9和圖10之有聲發(fā)音波形數據庫的語音合成程序的流程。
在所有附圖中，相同的標號表示不止一個附圖中使用的相同的單元。
圖1中的語音合成系統(tǒng)包括依照本發(fā)明原理工作的語音合成控制器10；用于存儲控制器10工作中使用的波形數據庫的大容量存儲器20；用于將合成數字語音信號轉換成模擬語音信號的數字-模擬轉換器30；以及用于提供合成語音輸出的揚聲器50。大容量存儲器20可以是存儲量足夠大的任何類型的存儲器，例如可以是硬盤、CD-ROM(光盤只讀存儲器)等等。如本領域中公知的，語音合成控制器10可以是包括圖中未顯示的CPU(中央處理器，例如市場上可買到的微處理器)、圖中未顯示的ROM(只讀存儲器)、未顯示的RAM(隨機存取存儲器)和接口電路(未顯示)的任何合適的常規(guī)計算機。
盡管通常將以下描述的依照本發(fā)明原理的波形數據庫存儲在比IC存儲器便宜的大容量存儲器20中，但也可將其存儲在控制器10的未顯示的ROM中。可以將依照本發(fā)明原理進行語音合成的程序存儲在控制器的未顯示的ROM中，也可將其存儲在大容量存儲器20中。波形數據庫以下結合常規(guī)語音合成方法描述說明性實施例，其中常規(guī)是將諸如CV(C和V分別是‘輔音’和‘元音’的縮寫)、VCV、CV/VC或CV/VCV等鏈接波形銜接起來，合成語音。具體地說，假設如圖2所示，以下實施例基本上將VCV鏈接波形用作語音的音段或語音成分組成，例如該圖示出了如何依照基于VCV的語音合成方法來合成日語單詞‘inu’和‘iwashi’。在圖2中，通過合并語音成分或音段101至103合成單詞‘inu’。通過合并音段104至107合成單詞‘iwashi’。語音成分102、105和106是VCV成分，語音成分101和104是單詞開始的成分，而語音成分103和107是單詞結尾的成分。
圖3是一流程圖，示出了依照本發(fā)明一說明性實施例形成有聲發(fā)音波形數據庫的過程。在圖3中，首先在步驟300準備一組進行日語語音合成必須的音段抽樣。為此，對包含這些音段的各種單詞和語音進行實際發(fā)音，并將其存儲在存儲器中。將存儲的音素波形分成基于VCV的音段，從中選出必要的音段，并將其集中到一個圖中未示出的音段表(即，音段抽樣組)中，表中的每條記錄包括一個音段識別碼(ID)及其相應的音段波形。
在步驟310中，將音段表(未示出)中的每個音段波形再分成如圖2所示的音調波形。在該情況下，如果將每個音段細分成音素或語音單元，分割單元還不夠小，不容易在分割的音素中找出相似的音素。例如，如果將VCV音段‘ama’分成‘a’、‘m’和‘a’，那么不可能認為前后元音‘a’的發(fā)音是相同的，這無助于縮小波形數據庫的大小。前元音‘a’與單個‘a’相似，而接下來的輔音‘m’對后元音‘a’有很大影響。所以，在圖2中，分別將VCV音段102和106細分成音調波形110至119和波形120至129。通過這般處理，可以在細分的音調波形中找出許多接近相似的音調波形。在圖2的情況下，音調波形110、111與120之間非常相似。
在步驟320中，將細分的音調波形歸類到由接近相似的音調波形組成的分組中。在步驟330中，用以下所述的方式從每組中選擇一個音調波形作為代表，并為該選中的音調波形或分組指定一個音調波形ID，以便用該選中的音調波形代替該分組中的其它音調波形。在步驟340中，產生一個音調波形表，該表中的每條記錄都包含一個被選的音調波形ID和該選擇的音調波形的數據表示，完成有聲發(fā)音的波形數據庫。然后，在步驟350中，產生一個音調波形指針表，在該表中，抽樣組中每個音段的ID與構成該音段之音調波形所屬的分組中的音調波形ID相關聯。啞聲的波形數據庫可以用常規(guī)的方法來形成。
如上所述，在音段間共享共同(非常相似的)音調波形可以大大縮小波形數據庫的大小。
圖4A例示了在圖3之步驟350中形成的音調波形指針表。在圖4A中，音調波形指針表360包括一個音段ID字段、多個音調波形ID和標志信息。音調波形ID字段包含這樣一些音調波形的ID，這些音調波形構成了由音調波形ID識別的音段。如果在表360的某條記錄中存在屬于同一音調波形分組的音調波形，那么這些音調波形的ID將是相同的。標志信息字段包含音段前元音的音調波形數，輔音的音調波形數，以及音段后元音的音調波形數。
圖4B例示了在圖3之步驟340中產生的音調波形表每條記錄的結構。如圖4B所示，音調波形表的每條記錄包含一音調波形ID以及相應的音調波形數據。
以下將描述在圖3之步驟320中把音調波形歸類到音調波形接近相似的分組中的方法。具體地說，將討論用例如音調波形之功率頻譜和線性預測編碼(LPC)頻譜等頻譜參數進行分類。
為了獲得周期性波形的頻譜包絡線，必須遵循圖5A所示的過程。在圖5A中，步驟370中，對周期性波形進行傅里葉變換，產生如圖6中501所示的對數功率頻譜。然后，在步驟380對獲得的頻譜再作一次傅里葉變換，在步驟390進行提升(liftering)并在步驟400進行傅里葉逆變換，最終產生如圖6中502所示的頻譜包絡線。另一方面，對于音調波形的情況，通過在步驟450將音調波形傅里葉變換成對數功率頻譜來獲得音調波形的頻譜包絡線?？紤]到這一點，便不必如以前那樣通過幾十毫秒大小的分析窗來分析語音波形，而是在細分成音調波形后計算功率頻譜。通過把功率包絡線作為分類標準對音素進行分類，便可用少量的計算獲得正確的分類。
圖7是一示意圖，例示了在圖3之步驟330中從分類組的音調波形中選擇一代表性音調波形的第一種方法。在圖7中，標號601至604表示合成單元或音段。圖中還用波形605的形式詳細顯示了音段604的后半段，其中波形605被細分成音調波形。將從波形605中截取的音調波形分成兩組，即包括音調波形611和612的組610，和包括功率頻譜相似的音調波形621至625的組620。最好從每組分組610和620中選擇幅值最大的音調波形(611，621)作為代表，以免在用所選音調波形替代諸如621等較大音調波形時造成信噪比降低。為此，在組610中選擇音調波形611，而在組620中選擇音調波形621。用這種方法選擇代表性音調波形可以提高波形數據庫的總的信噪比。由于一個音調波形組中自然會存在以不同音段截取的音調波形，所以即使在抽樣組準備過程中記錄了信噪比較低的音段，仍可能由從其它音段截取的信噪比較高的音調波形替代該音段的音調波形，這可以形成信噪比較高的波形數據庫。
圖8是一示意圖，例示了在圖3之步驟330中從一個音調波形組的音調波形中選擇一代表性音調波形的第二種方法。在圖8中，標號710、720、730、740和750是用音素分類獲得的音調波形分組。在該情況下，從各組中選擇音調波形是這樣做的，以致于所選的音調波形具有相似的相位特征。例如在圖8中，從每個組中選擇一個正峰值位于其中心的音調波形。也就是說，分別從組710、720、730、740和750中選擇音調波形714、722、733、743和751。應該注意，可以通過用例如傅里葉變換等手段分析每個音調波形的相位特征，作更精確的選擇。
即使從不同的音段中收集音調波形，用這樣方法選擇代表性音調波形仍能使相位特征相似的音調波形合并起來，這可以避免因相位特征不同而引起的聲音質量的劣化。
在以上描述中，每個音段只有一個值，因此每個音調波形沒有音調變化。如果只根據語音的文本數據合成語音，那么這可能是足夠的。但是，如果進行語音合成不僅要根據文本數據而且要根據語音的音調信息以便提供更自然的合成語音，那么以下所述的波形數據庫將更好。較佳的波形數據庫圖9是一示意圖，示出了依照本發(fā)明一較佳實施例的有聲發(fā)音波數據庫的結構。在圖9中，有聲發(fā)音波形數據庫900包括一個音調波形指針表組960和多個用諸如功率頻譜等音素分類而成的音調波形表組{365π|(π表示語言中所用的音素，即π＝a、i、u、e、o、k、s，……)}。每個音調波形表組365π例如365a包括預定音調(頻率)帶----200-250赫茲，250-300赫茲，300-350赫茲，…的音調波形表365a1，365a2，365a3，…365aN，其中N是預定音調帶的數目。每個音調波形表365πα(α＝1，2，…，N)的結構與圖4B中音調波形表365的結構相同。(‘α’是音調帶編號。例如α＝1表示音調帶200-250赫茲，α＝2表示音調帶250-300赫茲，等等。)可以用任何形式實現用音素進行的分類或分組，例如通過實際將同一分組的音調波形表365π1至365πN存儲在一個相關的折疊式表格或目錄中，或者通過使用一個將音素‘π’和音調帶‘α’的信息與相應的音調波形表365πα相聯系的表。
圖10例示了一個音調波形指針表的結構，例如圖9所示的(關于音素鏈接格式‘inu’)960inu。對于每個音素鏈格式，產生一個音調波形指針表。在圖10中，除了已將記錄ID從音素鏈接格式(音段)ID改變至音調(頻率)帶，音素波形指針表960inu幾乎與圖4A的音調波形指針表360相同。諸如‘i100’和‘n100’等表達式表示音調波形ID。
在圖4A和圖4B的有聲發(fā)音波形數據庫中，每個音素鏈接格式只有一個音段。但是，在圖9和圖10的有聲發(fā)音波長數據庫900中，每個音素鏈接格式有四個音段。為此，以下必須區(qū)別音素鏈接格式和音段。將每個音素鏈接格式的ID表示成IDp，p＝1，2，…，P，其中P是(以下描述的)一個抽樣組中音素鏈接格式的數目。以下運用變量‘p’，用960p表示一個音素鏈接格式IDp的音調波形指針表。
有一行(水平)數值，每個數值表示該數值所在的列中音調波形結束時的消逝時間。帶陰影的音調波形ID是源于該音調波形指針表960p之音素鏈接格式(IDp)中其個音段的音調波形的ID，或是與那些音調波形接近相似并因此從其它音段上截取的音調波形的ID。因此，一列中總有一個帶陰影的音調波形ID。但是，不能保證其余音調波形ID字段中也存在音調波形ID，即在某些其余的音調波形ID字段中可以沒有ID。如果要參照空的音調波形ID字段，則最好參照一個相鄰的ID字段。每個音調波形指針表960p仍有標志信息字段。圖10所示的標志信息是最簡單的例子，具有與圖4A相同的結構。
圖11是一流程圖，示出了形成圖9中有聲發(fā)音波形數據庫900的過程。在圖11中，在步驟800，如此準備一組音段抽樣，使得每個預定音調帶中包括每個音素鏈接格式IDp。在步驟810，將每個音段分成音調波形。在步驟820，用音素將音調波形歸類到音素組中，再將每個音素組歸類到預定音調帶的音調組中。在步驟830，將每個音調組的音調波形歸類到音調波形接近相似的分組中。在步驟840，從每個組中選擇一個音調波形，并為該選中的音調波形(或該分組)指定一個ID。在步驟850，建立每個音調帶所選波形組的一個音調波形表。然后在步驟860，對每個音素鏈接格式，產生一個音調波形指針表，在該表中每條記錄至少包括音調帶數據以及構成由音調帶數據確定的音調帶之音段(格式)的音調波形的ID。啞聲波形表對于包括一個啞聲(輔音)的每個音素鏈接(例如，VCV鏈接)音段，如果將啞聲波形存儲在一個波形表中，那么這會使該表(或數據庫)冗長。用有聲發(fā)音情況下所用的相同方式可以避免該現象。
圖12是一示意圖，示出了不同音段是如何共享一個通用啞聲的。在圖12中，與只包含有聲發(fā)音的音段的情況相同，將音段‘aka’1102分成音調波形1110，…，1112，啞聲1115和音調波形1118，…，1119，而將音段‘ika’-1105分成音調波形1120，…，1122，啞聲1125和音調波形1128，…，1129。在該情況下，兩個音段‘aka’1102和‘ika’1105共享無聲輔音1115和1125。
圖13是一流程圖，示出了依照本發(fā)明說明性實施例形成一啞聲波形表的過程。在圖13中，在步驟1300，準備一組包含一個啞聲的音段抽樣。在步驟1310，從各音段中收集啞聲。在步驟1320，將啞聲歸類到接近相似的啞聲組中。在步驟1330，從每個組中選擇一個啞聲(波形)，并為該選中的啞聲(或該組)指定一個ID。在步驟1340，產生一個啞聲波形表，表中的每條記錄都包括一個指令的ID和由該ID識別的被選中的啞聲波形。語音合成系統(tǒng)的工作情況圖14是一流程圖，例示了圖4中使用有聲發(fā)音波形數據庫的語音合成程序的流程。進入該程序時，在步驟1400，控制器10接收要合成的語音的文本數據。在步驟1410，控制器10確定合成該語音所必須的諸音段的音素鏈接格式；并計算包括持續(xù)時間和功率型譜的節(jié)律(或韻律)。在步驟1420，控制器10從圖4A的音調波形指針表360中獲取每個被確定音素鏈接格式所用的音調波形ID。在步驟1430，控制器10從音調波形表365中獲取與所得ID相關的音調波形，并從常規(guī)的啞聲波形表中獲取啞聲波形，然后用所得的波形合成各音段。接著在步驟1440，控制器10合并合成后的音段，產生合成語音，并結束程序。
圖15是一流程圖，例示了圖9和圖10中使用有聲發(fā)音波形數據庫的語音合成程序的流程。圖15的步驟1400和步驟1440與圖14中的相同。因此，此處只描述步驟1510至1530。在步驟1510，響應于接收到文本數據或語音符號數據(phonetic sign data)，控制器10確定合成該語音所必須的每個音段的音素鏈接格式(IDp)和音調帶(α)，并計算包括該語音之持續(xù)時間和功率型譜的節(jié)律(或韻律)信息。在步驟1520，控制器10根據計算得到的韻律信息，從圖10所示的音調波形指針表960IDp中獲取被確定音調帶(α)中每個音段所用的音調波形ID。在步驟1530，控制器10從音調波形表365πα中獲取與所得ID相關的音調波形，并從常規(guī)的啞聲波形表中獲取啞聲波形，然后用所得的波形合成各音段。接著在步驟1440，控制器10合并合成后的音段，產生合成語音，并結束程序。
不脫離本發(fā)明的精神和范圍可以構造許多本發(fā)明的不同實施例。應該理解，除非如后附的權利要求限定的，本發(fā)明不局限于說明書中描述的具體實施例。
權利要求
1.一種在通過鏈接預定音段來合成語音的系統(tǒng)中使用的據庫，其特征在于，所述數據庫包括第一表，用于使每個所述預定音段與音調波形的音調波形識別碼(ID)相聯系，當按所述音調波形ID的列出的次序合并所述音調波形時，構成所述每個預定音段的波形；和第二表，用于使每個音調波形ID與用所述每個音調波形ID識別的音調波形數據相聯系。
2.一種在通過鏈接預定音段來合成語音的系統(tǒng)中使用的數據庫，每個所述音段由一個音素鏈接格式和一個音調帶確定，其特征在于，所述數據庫包括第一表裝置，用于使每個所述預定音段與音調波形的音調波形ID相聯系，其中所述預定音段由一個預定音調帶ID和一個預定音素鏈接格式ID識別，當按所述音調波形ID的列出的次序合并所述音調波形時，所述音調波形構成所述每個預定音段的波形；和第二表裝置，允許用每個所述音調波形ID和所述一個預定音調帶ID尋找與所述每個音調波形ID相關的音調波形數據。
3.如權利要求2所述的數據庫，其特征在于，所述第一表裝置包括用音素鏈接格式構造的表，每個所述表中的每條記錄都包含一個所述預定音調帶ID和音調波形的音調波形ID，當按所述音調波形ID的列出的次序合并所述音調波形時，所述音調波形構成一個波形，該波形由一個與所述每個表相關的音素鏈接格式和所述一個預定音調帶ID所表征。
4.如權利要求2所述的數據庫，其特征在于，所述第二表裝置包括用音素分類的表分組，其中所述音素構成了由音素鏈接格式ID識別的音素鏈接格式；每個所述表分組包括由所述預定音調帶ID識別的表；和每個所述表中的每條記錄都包括由與所述每個表相關的一個音素鏈接格式和一個音調帶確定的諸音調波形之音調波形ID中的一個音調波形ID，以及一個與所述音調波形ID相關的音調波形。
5.如權利要求1或2所述的數據庫，其特征在于，所述數據庫中的所有音調波形數據都有相同的相位特征。
6.一種在通過鏈接預定音段來合成語音的系統(tǒng)中使用的數據庫，其特征在于，所述數據庫包括第一表，用于使每個所述預定音段與音調波形和啞聲波形的音調波形ID和啞聲波形ID相聯系，其中當按所述波形ID的列出次序合并時，音調波形和啞聲波形構成所述每個預定音段的波形；第二表，用于使每個啞聲波形ID與用所述每個啞聲波形ID識別的啞聲波形數據相聯系，其中包含接近相似的啞聲波形的音段具有與所述第一表中分配給所述接近相似之啞聲波形相同的波形ID。
7.一種用于制作在通過鏈接預定音段來合成語音的系統(tǒng)中使用的數據庫的方法，其特征在于，所述方法包括以下步驟將每個所述預定音段分成音調波形；將所有音調波形歸類到由非常相似的音調波形組成的分組中；在每個所述分組中選擇一個所述非常相似的音調波形；為每個所述分組的所述被選中音調波形分配一個音調波形ID；產生第一表，對于每個所述分組，表中有一條記錄，所述記錄包含所述音調波形ID和所述所選的音調波形的數據；并產生第二表，表記錄ID包括所述預定音段的ID，所述第二表的每條記錄包括音調波形ID，當按所述音調波形ID列出次序合并時，所述音調波形構成由所述記錄ID識別的波形。
8.如權利要求7所述的方法，其特征在于，將所有音調波形歸類的所述方法包括用每個所述音調波形的頻譜參數將所有音調波形歸類的步驟。
9.如權利要求7所述的方法，其特征在于，在每個所述分組中選擇一個所述非常相似的音調波形的所述步驟包括在每個所述分組中選擇一個功率最大的音調波形的步驟。
10.如權利要求7所述的方法，其特征在于，如此實現在每個所述分組中選擇一個所述非常相似的音調波形的所述步驟，使得所有被選中的音調波形具有相同的相位特征。
11.一種通過鏈接預定音段來合成語音的系統(tǒng)，其特征在于，包括用于從所述預定音段中確定對于所述語音必須的音段之ID的裝置；用于將每個所述確定的ID與音調波形ID相聯系的裝置，其中當按所述音調波形ID的列出次序合并時，所述音調波形ID的音調波形構成一個由所述每個經確定的ID識別的波形；用于獲取與所述音調波形ID相關的音調波形的裝置；用于合并所述獲得的音調波形以形成所述必要音段的裝置；用于合并所述必要音段以產生所述語音的裝置。
12.一種通過鏈接預定音段來合成語音的系統(tǒng)，每個預定音段由一個音素鏈接格式和一個音調帶確定，其特征在于，所述系統(tǒng)包括用于從所述預定音段中確定對于所述語音必須的音段之ID的裝置；用于將每個所述確定的ID與音調波形ID相聯系的裝置，其中當按所述音調波形ID的列出次序合并時，所述音調波形ID的音調波形構成一個由所述每個被確定的ID識別的波形；用于獲取與所述音調波形ID相關的音調波形的裝置；用于合并所述獲得的音調波形以形成所述必要音段的裝置；用于合并所述必要音段以產生所述語音的裝置。
全文摘要
在一種語音合成系統(tǒng)中,將合成語音必須的一組音段的每個波形分成音調波形,把相似的音調波形歸類到同一分組中。從每個分組中選擇一個音調波形作為代表,并賦予其音調波形ID。波形數據庫至少包括一個音調波形指針表和一個音調波形表,前者的每條記錄都包括音段ID和音調波形ID,而后者包括音調波形ID和相應的音調波形。這縮小了波形數據庫的大小。對于數據庫缺少的音調波形,可以使用前表中一個與其相鄰的音調波形ID,不致使該音調波形畸變。
文檔編號G10L13/08GK1190236SQ9711418
公開日1998年8月12日 申請日期1997年12月10日 優(yōu)先權日1996年12月10日
發(fā)明者西村洋文, 蓑輪利光, 新居康彥 申請人:松下電器產業(yè)株式會社