專利名稱：混合聲音分離裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從混合聲音分離所要的聲音的混合聲音分離裝置。
背景技術(shù)：
作為從混合聲音分離所要的聲音的裝置有，混合聲音分離裝置。在混合聲音分離處理中，通過對(duì)混合聲音進(jìn)行頻率分析，以縱軸為頻率，以橫軸為時(shí)間，來制作以顏色深淺表示在各個(gè)點(diǎn)的功率的強(qiáng)弱的譜圖。并且，在該處理中，在譜圖上，從混合聲音分離所要的聲音。根據(jù)這樣處理，可以提高聲音分離性能。如此，作為將聲音轉(zhuǎn)化為譜圖的變換方法，即聲音的頻率分析方法，一般使用傅里葉變換。因此，傅里葉變換在混合聲分離處理中起重要作用。
作為用于頻率分析的以往的技術(shù)，除了上述傅里葉變換(例如，參照非專利文獻(xiàn)1、非專利文獻(xiàn)2)以外，余弦變換(例如，參照非專利文獻(xiàn)2)以及小波變換(例如，參照非專利文獻(xiàn)1)等也眾所周知。在這些以往的技術(shù)中，使用分析波形和具有規(guī)定的時(shí)間帶寬的參照波形的相互關(guān)聯(lián)(卷積)，進(jìn)行頻率分析。
在傅里葉變換中，使用余弦波形及正弦波形(在上述時(shí)間帶寬以外的時(shí)間區(qū)間具有零的值的參照波形)進(jìn)行頻率分析，該余弦波形及正弦波形具有根據(jù)時(shí)間分辨率(空間分辨率)和頻率分辨率來決定的時(shí)間帶寬。
在此，參照波形的時(shí)間帶寬的決定，相當(dāng)于在傅里葉變換的分析幀的寬度(時(shí)間帶寬)的決定。并且，也有以下情況，即，分析波形乘窗函數(shù)來進(jìn)行頻率分析，該窗函數(shù)在分析對(duì)象區(qū)間(參照波形存在的時(shí)間區(qū)間)具有零以外的值。
圖1是說明傅里葉變換(離散傅里葉變換)的方法的圖。使用圖1(a)所示的在取樣點(diǎn)具有N點(diǎn)的時(shí)間帶寬的余弦波形及正弦波形的參照波形，根據(jù)公式1，求出圖1(c)所示的分析波形和參照波形的相互關(guān)聯(lián)(卷積)(圖1(b))，從而求出分析波形的頻率信息(振幅頻譜及相位頻譜)。在此，公式1的索引k是表示要分析的頻率的索引，在傅里葉變換中，同時(shí)求出在多個(gè)要分析的頻率的頻率信息。索引的值越大，表示越高頻率的分析結(jié)果。
Xk=Σn=1Nxne-j2πknN]]>(k＝1，2，...，N)在此，[公式2]xn(n＝1，2，...，N)是取樣分析波形的值， Xk(k＝1，2，...，N)是分析波形的頻率信息，[公式4]e-j2πknN=cos(2πknN)-jsin(2πknN)]]>是由具有N點(diǎn)的時(shí)間帶寬的余弦波形和正弦波形構(gòu)成的值，即是參照波形的值。
在傅里葉變換中，通過設(shè)定參照波形的時(shí)間帶寬，來自動(dòng)地決定時(shí)間分辨率和頻率分辨率的兩者的值。在此，“時(shí)間分辨率”是指，求出分析波形和參照波形的相互關(guān)聯(lián)(卷積)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度?！邦l率分辨率”是指，分析波形的頻率成分要通過的頻域帶寬，該頻域帶寬存在于要分析的頻率的周邊。
圖2是示出將具有規(guī)定的時(shí)間帶寬的參照波形和頻率特性的關(guān)系的圖，該頻率特性是用上述參照波形對(duì)分析波形進(jìn)行頻率分析時(shí)的頻率特性。圖2示出，使用三種時(shí)間分辨率進(jìn)行頻率分析時(shí)的頻率特性，從左列示出在使用具有1個(gè)周期、2個(gè)周期以及3個(gè)周期的時(shí)間分辨率的參照波形進(jìn)行頻率分析時(shí)的參照波形和頻率特性的關(guān)系。
根據(jù)圖2可見，將1個(gè)周期的余弦波形作為參照波形使用來使時(shí)間分辨率變高，來進(jìn)行頻率分析時(shí)，頻率分辨率變低，且，將3個(gè)周期的余弦波形(與1個(gè)周期的余弦波形相比，時(shí)間帶寬增加了2倍)作為參照波形使用來使時(shí)間分辨率變低，來進(jìn)行頻率分析時(shí)，頻率分辨率變高。如此，在以往的技術(shù)中，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率處于折衷關(guān)系。
并且，在根據(jù)具有連續(xù)值的分析波形的傅里葉變換的情況下，在公式1，替代∑運(yùn)算，使用積分形式的分析波形和參照波形的相互關(guān)聯(lián)(卷積)來進(jìn)行頻率分析。
在余弦變換中，使用余弦波形(在上述時(shí)間帶寬以外的時(shí)間區(qū)間具有零的值的參照波形)進(jìn)行頻率分析，該余弦波形具有根據(jù)時(shí)間分辨率(空間分辨率)和頻率分辨率來決定的時(shí)間帶寬。
圖3是說明余弦變換(離散余弦變換)的圖。使用圖3(a)所示的在取樣點(diǎn)具有N點(diǎn)的時(shí)間帶寬的余弦波形(在上述時(shí)間帶寬以外的時(shí)間區(qū)間具有零的值的參照波形)，根據(jù)公式5、公式6，求出圖3(c)所示的分析波形和參照波形的相互關(guān)聯(lián)(卷積)(圖3(b))，來求出分析波形的頻率信息(是結(jié)合振幅頻譜和相位頻譜來表現(xiàn)的)。在此，公式5、公式6的索引k是表示要分析的頻率的索引，在余弦變換中，同時(shí)求出在多個(gè)要分析的頻率的頻率信息。索引的值越大，表示越高頻率的分析結(jié)果。
Xk=Σn=1Nxnckcos(2n-1)πk2N]]>(k＝1，2，...，N) ck＝1(k＝0)、ck＝(k＝2，...，N)在此，[公式7]xn(n＝1，2，...，N)是取樣分析波形的值，[公式8]Xk(k＝1，2，...，N)是分析波形的頻率信息。
在余弦變換中，通過設(shè)定參照波形的時(shí)間帶寬，來自動(dòng)地決定時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率的兩者。此結(jié)構(gòu)，與傅里葉變換的情況相同(參照?qǐng)D2)。
并且，在根據(jù)具有連續(xù)值的分析波形的余弦變換的情況下，在公式5，使用積分形式的分析波形和參照波形的相互關(guān)聯(lián)(卷積)來進(jìn)行頻率分析。
在小波變換中，使用小波母函數(shù)來進(jìn)行頻率分析，該小波母函數(shù)具有根據(jù)時(shí)間分辨率(空間分辨率)和頻率分辨率來決定的時(shí)間帶寬。
圖4是說明小波變換的圖。在圖4中，使用圖4(a)所示的具有規(guī)定的時(shí)間帶寬的參照波形的小波母函數(shù)(在上述時(shí)間帶寬以外的時(shí)間區(qū)間具有零的值的參照波形)，根據(jù)圖4(b)所示的公式，即根據(jù)公式9，求出圖4(c)所示的分析波形和圖4(a)所示的參照波形的相互關(guān)聯(lián)(卷積)，從而求出分析波形的頻率信息(振幅頻譜及相位頻譜)。
(Wψx)(b,a)=1a∫xtψ(t-ba)‾dt]]>在此，xt是分析波形，[公式10]ψ(t-ba)]]>是小波母函數(shù)。
在小波變換中，通過決定小波母函數(shù)的時(shí)間帶寬，來自動(dòng)地決定時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率的兩者。此結(jié)構(gòu)，與傅里葉變換的情況相同(參照?qǐng)D2)。
并且，在小波變換中，可以按每個(gè)要分析的頻率，獨(dú)立設(shè)定時(shí)間分辨率(或頻率分辨率)。另一方面，在傅里葉變換中，所有的要分析的頻率，具有相同的時(shí)間分辨率(要分析的時(shí)間窗的時(shí)間帶寬)及頻率分辨率，因此不能按每個(gè)要分析的頻率，獨(dú)立設(shè)定時(shí)間分辨率及頻率分辨率。然而，與傅里葉變換相同，在小波變換中，也根據(jù)時(shí)間分辨率(或頻率分辨率)自動(dòng)地決定頻率分辨率(或時(shí)間分辨率)。
并且，在此，作為小波母函數(shù)使用Mexican Hat進(jìn)行了說明，但是，使用Daubechies、Meyer、Gabor等小波母函數(shù)的小波變換也有。
非專利文獻(xiàn)1中野宏毅，另2名，“通過小波變換的信號(hào)處理和圖像處理”，1999年8月15日，共立出版株式會(huì)社，pp.35-39，pp.49-52非專利文獻(xiàn)2中川圣一，“模式信息處理”，平成11年3月30日，丸善株式會(huì)社，pp.14-19在以往的技術(shù)中，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率(分析波形的頻率成分要通過的參照頻率的周邊的頻域帶寬)，相互干涉。據(jù)此，使參照波形的時(shí)間帶寬變短來使時(shí)間分辨率變高，則頻率分辨率變低，且，使參照波形的時(shí)間帶寬變長(zhǎng)來使頻率分辨率變高，則時(shí)間分辨率變低。因此，存在的問題是；不能將時(shí)間分辨率和頻率分辨率獨(dú)立設(shè)定。
例如，在混合聲音分離系統(tǒng)中，從由突發(fā)音和音樂構(gòu)成的混合聲音抽出音樂時(shí)，為了分析突發(fā)音，需要使時(shí)間分辨率變高來分析在微小時(shí)間的波形的變化，為了分析音樂，需要使頻率分辨率變高來分析在微小頻域的頻率的變化。因此，針對(duì)混合兩者的時(shí)間、頻率區(qū)域，需要使時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率(分析波形的頻率成分要通過的參照頻率的周邊的頻域帶寬)同時(shí)變高，但是，在以往的技術(shù)中，不能將處于折衷關(guān)系的兩者同時(shí)設(shè)定為高。因此，從混合聲音不能抽出，要以高精度抽出的聲音。

發(fā)明內(nèi)容
于是，鑒于這些問題，本發(fā)明的目的在于，提供混合聲音分離裝置等，根據(jù)如同將時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率(分析波形的頻率成分要通過的參照頻率的周邊的頻域帶寬)同時(shí)設(shè)定為高一樣的結(jié)果，來能夠從混合聲音高精度地分離特定的聲音。
為了實(shí)現(xiàn)上述目的，本發(fā)明的某方面涉及的混合聲音分離裝置，從由多個(gè)聲音構(gòu)成的混合聲音中分離特定的聲音，包括局部頻率信息制作單元，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述混合聲音的波形即分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成用于分析規(guī)定的頻率的參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；特定聲音頻率特征量抽出單元，將上述多個(gè)局部頻率信息編成組，在該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行模式匹配，根據(jù)該模式匹配的結(jié)果，抽出上述多個(gè)局部頻率信息的組；以及聲音信號(hào)制作單元，根據(jù)由上述特定聲音頻率特征量抽出單元所抽出的上述多個(gè)局部頻率信息的組，制作上述特定的聲音的信號(hào)。
據(jù)此，可以將時(shí)間分辨率獨(dú)立于頻率分辨率來設(shè)定，并且，根據(jù)多個(gè)頻率分辨率(多個(gè)時(shí)間分辨率)，分別被頻率分析的多個(gè)局部頻率信息的組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行比較，來可以獲得如同使時(shí)間分辨率和頻率分辨率同時(shí)變高來進(jìn)行頻率分析一樣的結(jié)果。據(jù)此，從混合聲音中可以抽出要以高精度抽出的聲音。
并且，上述混合聲音分離裝置，還可以包括，參照波形時(shí)間帶寬決定單元，根據(jù)上述規(guī)定的頻率分辨率，決定上述參照波形的時(shí)間帶寬。
其中，上述參照波形，包括余弦波形或正弦波形，且上述參照波形時(shí)間帶寬決定單元，根據(jù)上述規(guī)定的頻率分辨率，以上述參照波形包含整數(shù)周期的余弦波形或整數(shù)周期的正弦波形的方式，決定上述參照波形的時(shí)間帶寬為好。
據(jù)此，可以容易設(shè)計(jì)用于對(duì)分析波形進(jìn)行分析的帶通濾波器。
再者，其中，上述整數(shù)周期為1周期為好。
據(jù)此，可以根據(jù)高時(shí)間分辨率來進(jìn)行頻率分析。
再者，上述混合聲音分離裝置，其中，還可以包括頻率分辨率輸入接受單元，接受頻率分辨率的輸入，且上述參照波形時(shí)間帶寬決定單元，根據(jù)輸入后的上述頻率分辨率，決定上述參照波形的時(shí)間帶寬。
據(jù)此，可以根據(jù)分析波形的性質(zhì)或應(yīng)用程序的規(guī)格等，來控制頻率分辨率。
再者，上述混合聲音分離裝置，其中，還可以包括，參照波形分割單元，根據(jù)上述規(guī)定的時(shí)間空間分辨率，以在時(shí)間上不重疊的方式，分割上述參照波形，來制作上述多個(gè)局部參照波形。
據(jù)此，可以容易設(shè)計(jì)用于對(duì)分析波形進(jìn)行分析的帶通濾波器。
再者，上述參照波形分割單元，其中，也可以，以具有多個(gè)時(shí)間空間分辨率的方式，分割上述參照波形，來制作上述多個(gè)局部參照波形。
據(jù)此，可以設(shè)定對(duì)應(yīng)于分析波形的時(shí)間上的性質(zhì)的多個(gè)時(shí)間分辨率。
再者，上述混合聲音分離裝置，其中，還可以包括，時(shí)空分辨率輸入接受單元，接受時(shí)空分辨率的輸入，且上述參照波形時(shí)間寬度決定單元，根據(jù)輸入后的上述時(shí)空分辨率，分割上述參照波形，來制作多個(gè)局部參照波形。
據(jù)此，可以根據(jù)分析波形的性質(zhì)或應(yīng)用程序的規(guī)格等，來控制頻率分辨率。
本發(fā)明的另一方面涉及的混合聲音分離裝置，使用用于分析規(guī)定的頻率的參照波形，對(duì)分析波形進(jìn)行頻率分析，其中，包括局部頻率信息制作單元，根據(jù)具有時(shí)空分辨率的多個(gè)局部參照波形和上述分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成上述參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；以及分析波形頻率特征量抽出單元，將由上述局部頻率信息制作單元所求出的上述多個(gè)局部頻率信息編成組，根據(jù)該組和上述分析波形的頻率信息，并根據(jù)規(guī)定的頻率分辨率，抽出上述分析波形中包含的頻率特征量。
根據(jù)圖5至圖9，說明本發(fā)明的要點(diǎn)。
圖5是說明本發(fā)明的全體結(jié)構(gòu)的圖。在圖5的例子中，根據(jù)如圖5(a)所示的規(guī)定的頻率分辨率，來決定參照波形的時(shí)間帶寬。即，如圖5(b)所示，將3個(gè)周期的余弦波形作為參照波形。例如，在分離由3個(gè)人的聲音構(gòu)成的混合聲音的情況下，需要將頻率分辨率設(shè)定為高，因此，以頻率分辨率為15Hz的方式，來設(shè)定參照波形的時(shí)間帶寬。
在此，使用以往的技術(shù)的離散余弦波形進(jìn)行頻率分析的情況下，根據(jù)參照波形的時(shí)間帶寬來決定時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)，并時(shí)間分辨率成為3個(gè)周期的余弦波形的時(shí)間帶寬，從而時(shí)間分辨率變低。因此，不能表現(xiàn)出分析波形的微小時(shí)間的結(jié)構(gòu)(根據(jù)比3個(gè)周期的余弦波形的時(shí)間帶寬更短的時(shí)間間隔的頻率信息的變化)。
于是，在本發(fā)明中，根據(jù)所要的時(shí)間分辨率，時(shí)間上分割參照波形。例如，在分析聲音的情況下，為了可以表示聲音的基本波形的結(jié)構(gòu)，將參照波形分割為短于基本波形的長(zhǎng)度的時(shí)間間隔。在圖5的例子中，如圖5(c)所示，將參照波形分割為1個(gè)周期的余弦波形，來制作3個(gè)局部參照波形。在此，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)是1個(gè)周期的余弦波形的時(shí)間帶寬，與3個(gè)周期的余弦波形的時(shí)間帶寬相比，帶寬變窄了。即，時(shí)間分辨率，可以獨(dú)立于頻率分辨率而設(shè)定為高(但是，3個(gè)局部參照波形是從同一參照波形所分別抽出的波形)。
其次，如圖5(c)所示，使用3個(gè)局部參照波形進(jìn)行頻率分析，來求出3個(gè)局部頻率信息。對(duì)于求出局部頻率信息的方法，在以往的技術(shù)的頻率分析中，將參照波形替換為局部參照波形，計(jì)算分析波形和局部參照波形的相互關(guān)聯(lián)(卷積)，來求出局部頻率信息。
在此，考慮頻率信息和3個(gè)局部頻率信息的關(guān)系，該頻率信息是，通過以往的技術(shù)的離散余弦變換，使用3個(gè)周期的余弦波形的參照波形來求出的信息，該3個(gè)局部頻率信息是，在本發(fā)明中，使用時(shí)間上分割3個(gè)周期的余弦波形的局部參照波形來求出的信息。在圖5的例子的情況下，根據(jù)公式11，可以表現(xiàn)出，通過以往的技術(shù)的離散余弦變換來求出的頻率信息。
并且，根據(jù)公式12、公式13、公式14可以表現(xiàn)出，在本發(fā)明中的3個(gè)局部頻率信息。
[公式13] 根據(jù)局部參照波形的制作方法可見，如圖15所示，通過離散余弦變換來求出的頻率信息相當(dāng)于在本發(fā)明中求出的3個(gè)局部頻率信息的總和。
Xf=Xf1+Xf2+Xf3]]>據(jù)此可見，在本發(fā)明中求出的3個(gè)局部頻率信息，包括具有通過離散余弦變換求出的頻率分辨率的頻率信息。即，可見，結(jié)合3個(gè)局部頻率信息，則可以獲得具有高頻率分辨率的頻率信息。
并且，根據(jù)公式15可見，根據(jù)所要的頻率分辨率，通過離散余弦變換求出的頻率信息的值中，存在局部頻率信息的值(公式12、公式13、公式14)的多種組合。例如，存在由公式16所示的組合。即，作為成為Xf＝5的(Xf1、Xf2、Xf3)的組合的1個(gè)例子，可以假設(shè)(Xf1、Xf2、Xf3)＝(1、2、2)。除此以外，也可以假設(shè)(Xf1、Xf2、Xf3)＝(2、1、2)等。
(Xf=5)=(Xf1+Xf2+Xf3=1+2+2=2+1+2=1+0+3=0+5+0=10+(-2)+(-3))]]>
根據(jù)上述可見，圖5(d)所示，將3個(gè)局部頻率信息編成一組的數(shù)據(jù)來處理的信息是將具有所要的高時(shí)間分辨率的3個(gè)局部頻率信息作為成分，來將具有所要的頻率分辨率的頻率信息分散而表現(xiàn)的信息；也是向通過以往的離散余弦變換求出的頻率信息，加上關(guān)于時(shí)間上的頻率結(jié)構(gòu)的變化的信息的信息。
如上所述，通過將3個(gè)局部頻率信息編成一組的數(shù)據(jù)來使用，可以抽出如同使時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率的兩者同時(shí)變高而進(jìn)行頻率分析一樣的、分析波形中包含的頻率特征量。然而，當(dāng)抽出頻率特征量時(shí)，為了求出3個(gè)局部頻率信息，除了時(shí)間分辨率的概念以外，還需要相當(dāng)于3個(gè)周期的余弦波形的時(shí)間帶寬的分析波形。據(jù)此，對(duì)于頻率分析需要的分析波形的時(shí)間區(qū)間的長(zhǎng)度，與以往的分析方法相同。
圖6是示出根據(jù)其他頻率分辨率進(jìn)行頻率分析的例子的圖。在圖6的例子中，如圖6(a)所示，以比圖5的例子高的頻率分辨率來分析，因此，如圖6(b)所示，將4個(gè)周期的余弦波形作為參照波形。
在此，在使用以往的技術(shù)的離散余弦變換進(jìn)行頻率分析的情況下，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)成為4個(gè)周期的余弦波形的時(shí)間帶寬，從而時(shí)間分辨率變低。因此，不能表現(xiàn)出分析波形的微小時(shí)間的結(jié)構(gòu)。
于是，在本發(fā)明中，根據(jù)所要的時(shí)間分辨率，時(shí)間上分割參照波形。在圖6的例子中，如圖6(c)所示，將參照波形分割為2個(gè)周期的余弦波形，來制作2個(gè)局部分析波形。在此，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)是2個(gè)周期的余弦波形的時(shí)間帶寬，且獨(dú)立于頻率分辨率而設(shè)定為高(但是，2個(gè)局部參照波形是從同一參照波形所分別抽出的波形)。
其次，如圖6(c)所示，使用2個(gè)局部參照波形進(jìn)行頻率分析，來求出2個(gè)局部頻率信息。對(duì)于求出局部頻率信息的方法，在以往的技術(shù)的頻率分析中，將參照波形替換為局部參照波形，計(jì)算分析波形和局部參照波形的相互關(guān)聯(lián)(卷積)，來求出局部頻率信息。
在此，考慮頻率信息和2個(gè)局部頻率信息的關(guān)系，該頻率信息是，通過以往的技術(shù)的離散余弦變換，使用4個(gè)周期的余弦波形的參照波形來求出的信息，該2個(gè)局部頻率信息是，在本發(fā)明中，分割為2個(gè)周期的余弦波形來求出的信息。在圖6的例子的情況下，根據(jù)公式17，可以表現(xiàn)出，通過以往的技術(shù)的離散余弦變換來求出的頻率信息。
并且，根據(jù)公式18、公式19可以表現(xiàn)出，在本發(fā)明中的2個(gè)局部頻率信息。
根據(jù)局部參照波形的制作方法可見，如圖20所示，通過離散余弦變換來求出的頻率信息相當(dāng)于在本發(fā)明中求出的2個(gè)局部頻率信息的總和。
Xf=Xf1+Xf2]]>據(jù)此可見，在本發(fā)明中求出的2個(gè)局部頻率信息，包括具有通過離散余弦變換求出的頻率分辨率的頻率信息。即，可見，結(jié)合2個(gè)局部頻率信息，則可以獲得具有高頻率分辨率的頻率信息。
并且，根據(jù)公式20可見，根據(jù)所要的頻率分辨率，通過離散余弦變換求出的頻率信息的值(公式17)中，存在局部頻率信息的值(公式18、公式19)的多種組合。例如，存在由公式21所示的組合。即，作為成為Xf＝2的(Xf1、Xf2)的組合的1個(gè)例子，可以假設(shè)(Xf1、Xf2)＝(0.9、1.1)。除此以外，也可以假設(shè)(Xf1、Xf2)＝(2.5、(-0.5))等。
(Xf=2)=(Xf1+Xf2=0.9+1.1=2.5+(-0.5)=1.0+1.0)]]>根據(jù)上述可見，圖6(d)所示的將2個(gè)局部頻率信息編成一組的數(shù)據(jù)來處理的信息是將具有所要的高時(shí)間分辨率的2個(gè)局部頻率信息作為成分，來將具有所要的頻率分辨率的頻率信息分散而表現(xiàn)的信息；也是向通過以往的離散余弦變換求出的頻率信息，加上關(guān)于時(shí)間上的頻率結(jié)構(gòu)的變化的信息的信息。
如上所述，通過將2個(gè)局部頻率信息編成一組的數(shù)據(jù)來使用，可以抽出如同使時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率的兩者同時(shí)變高而進(jìn)行頻率分析一樣的、分析波形中包含的頻率特征量。然而，當(dāng)抽出頻率特征量時(shí)，為了求出2個(gè)局部頻率信息，除了時(shí)間分辨率的概念以外，還需要相當(dāng)于4個(gè)周期的余弦波形的時(shí)間帶寬的分析波形。據(jù)此，對(duì)于頻率分析需要的分析波形的時(shí)間區(qū)間的長(zhǎng)度，與以往的分析方法相同。
圖7是示出將參照波形時(shí)間上重疊并分割來制作局部參照波形的例子的圖。圖7(a)，是示出在此例子的頻率分辨率的圖，與圖6(a)所示的頻率分辨率相同。在圖7的例子中，如圖7(b)所示，將與圖6的例子相同的4個(gè)周期的余弦波形作為參照波形。
在此，在使用以往的技術(shù)的離散余弦變換進(jìn)行頻率分析的情況下，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)成為4個(gè)周期的余弦波形的時(shí)間帶寬，從而時(shí)間分辨率變低。因此，不能表現(xiàn)出分析波形的微小時(shí)間的結(jié)構(gòu)。
于是，在本發(fā)明中，根據(jù)所要的時(shí)間分辨率，時(shí)間上分割參照波形。在圖7的例子中，如圖7(c)所示，將參照波形，以在時(shí)間上重疊的方式，分割為2個(gè)周期的余弦波形，來制作3個(gè)局部參照波形。在此，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)是2個(gè)周期的余弦波形的時(shí)間帶寬(但是，3個(gè)局部參照波形是從同一參照波形所分別抽出的波形)。
其次，如圖7(c)所示，使用3個(gè)局部參照波形進(jìn)行頻率分析，來求出3個(gè)局部頻率信息。對(duì)于求出局部頻率信息的方法，在以往的技術(shù)的頻率分析中，將參照波形替換為局部參照波形，計(jì)算分析波形和局部參照波形的相互關(guān)聯(lián)(卷積)，來求出局部頻率信息。
在此，考慮頻率信息和3個(gè)局部頻率信息的關(guān)系，該頻率信息是，通過以往的技術(shù)的離散余弦變換，使用4個(gè)周期的余弦波形的參照波形來求出的信息，該2個(gè)局部頻率信息是，在本發(fā)明中，分割為2個(gè)周期的余弦波形來求出的信息，則可見，根據(jù)3個(gè)局部頻率信息的總和，可以求出通過離散余弦變換求出的頻率信息的2倍的近似值。即，可見，3個(gè)局部頻率信息，包括通過離散余弦變換、根據(jù)高頻率分辨率求出的頻率信息。
根據(jù)上述可見，如圖7(d)所示、將3個(gè)局部頻率信息編成一組的數(shù)據(jù)來處理的信息是將具有高時(shí)間分辨率的3個(gè)局部頻率信息作為成分，來將具有高于局部頻率信息的頻率分辨率的頻率信息分散而表現(xiàn)的信息；也是向通過以往的離散余弦變換求出的頻率信息，加上關(guān)于時(shí)間上的頻率結(jié)構(gòu)的變化的信息的信息。
如上所述，通過將3個(gè)局部頻率信息編成一組的數(shù)據(jù)來使用，可以抽出如同使時(shí)間分辨率和頻率分辨率的兩者同時(shí)變高而進(jìn)行頻率分析一樣的、分析波形中包含的頻率特征量。然而，當(dāng)抽出頻率特征量時(shí)，為了求出3個(gè)局部頻率信息，除了時(shí)間分辨率的概念以外，還需要相當(dāng)于4個(gè)周期的余弦波形的時(shí)間帶寬的分析波形。據(jù)此，對(duì)于頻率分析需要的分析波形的時(shí)間區(qū)間的長(zhǎng)度，與以往的分析方法相同。
圖8是示出根據(jù)其他頻率分辨率進(jìn)行頻率分析的例子的圖。圖8(a)是示出在此例子的頻率分辨率的圖，與圖5(a)所示的頻率分辨率相同。在圖8的例子中，根據(jù)高于圖5的例子的時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)來進(jìn)行頻率分析。在此例子中，如圖8(b)所示，將與圖5的例子相同的3個(gè)周期的余弦波形作為參照波形。
在此，使用以往的技術(shù)的離散余弦變換進(jìn)行頻率分析時(shí)，時(shí)間分辨率成為3個(gè)周期的余弦波形的時(shí)間帶寬，從而時(shí)間分辨率變低。于是，在圖8的例子中，如圖8(c)所示，將參照波形分割為0.5個(gè)周期的余弦波形，來制作6個(gè)局部參照波形。在此，時(shí)間分辨率成為0.5個(gè)周期的余弦波形的時(shí)間帶寬。而且，通過使用6個(gè)局部參照波形進(jìn)行頻率分析，求出6個(gè)局部頻率信息。
在此，考慮通過以往的技術(shù)的離散余弦變換、且使用參照波形(3個(gè)周期的余弦波形)來求出的頻率信息和本發(fā)明的6個(gè)局部頻率信息的關(guān)系，則可見，根據(jù)6個(gè)局部頻率信息的總和，可以求出通過離散余弦變換求出的頻率信息。即，可見，6個(gè)局部頻率信息，包括通過離散余弦變換、且根據(jù)高頻率分辨率求出的頻率信息。根據(jù)上述可見，將6個(gè)局部頻率信息編成一組的數(shù)據(jù)來處理的信息是將具有高時(shí)間分辨率的6個(gè)局部頻率信息作為成分，來將具有高于局部頻率信息的頻率分辨率的頻率信息分散而表現(xiàn)的信息；也是向通過以往的離散余弦變換求出的頻率信息，加上關(guān)于時(shí)間上的頻率結(jié)構(gòu)的變化的信息的信息并且，如圖8(d)所示，通過將6個(gè)局部頻率信息編成一組的數(shù)據(jù)來使用，可以抽出如同使時(shí)間分辨率和頻率分辨率的兩者同時(shí)變高而進(jìn)行頻率分析一樣的、分析波形中包含的頻率特征量。然而，當(dāng)抽出頻率特征量時(shí)，為了求出6個(gè)局部頻率信息，除了時(shí)間分辨率的概念以外，還需要相當(dāng)于3個(gè)周期的余弦波形的時(shí)間帶寬的分析波形。據(jù)此，對(duì)于頻率分析需要的分析波形的時(shí)間區(qū)間的長(zhǎng)度，與以往的分析方法相同。
圖9是示出通過1個(gè)周期的余弦波形的頻率信息和通過傅里葉變換的頻率信息的關(guān)系的圖。如圖9(a)所示，按每個(gè)要分析的頻率(f1，f2，f3，......)，將與要分析的頻率相對(duì)應(yīng)的1個(gè)周期的余弦波形作為局部參照波形，與圖5的例子相同求出局部頻率信息。并且，如圖9(c)所示，以基本頻率為f1時(shí)，可以以fn表示要分析的頻率。fn表示f1的n倍的頻率。并且，如圖9(b)所示，與圖5的例子相同，求出可以放在傅里葉變換的時(shí)間窗里的局部頻率信息的總和，來可以制作傅里葉變換的頻率信息。并且，在圖9的例子中，如圖9(b)所示，可以放在傅里葉變換的時(shí)間窗里的局部頻率信息的數(shù)量對(duì)于與頻率f1相對(duì)應(yīng)的局部頻率信息為1個(gè)；對(duì)于與頻率f2相對(duì)應(yīng)的局部頻率信息為2個(gè)；對(duì)于與頻率f3相對(duì)應(yīng)的局部頻率信息為3個(gè)。在傅里葉變換中，多個(gè)要分析的頻率滿足正交條件，通過逆傅里葉變換，來可以從頻率信息容易制作波形信息。據(jù)此可見，在本發(fā)明中可以將局部頻率信息變換為波形信息。
通過使用本發(fā)明的頻率分析裝置，例如，在混合聲音分離系統(tǒng)中，使用將按每個(gè)頻率的局部頻率信息編成一組的數(shù)據(jù)，來從混合聲音抽出以高精度要抽出的聲音的局部頻率信息，從而可以提供給用戶清晰的抽出聲音(抽出聲音的波形信息)，該局部頻率信息是以高頻率分辨率、且以高時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)來表現(xiàn)的。
最后，以下歸納本發(fā)明的要點(diǎn)，其中，對(duì)規(guī)定的頻率進(jìn)行頻率分析時(shí)，在按照所要的頻率分辨率所決定的分析時(shí)間帶寬(與參照波形的時(shí)間帶寬相對(duì)應(yīng))，準(zhǔn)備可以放在上述分析時(shí)間帶寬內(nèi)的、分別從具有上述規(guī)定的頻率的同一參照波形所抽出的多個(gè)參照波形(與局部參照波形相對(duì)應(yīng))，并使用上述多個(gè)參照波形(與局部參照波形相對(duì)應(yīng))來制作多個(gè)頻率信息(與局部頻率信息相對(duì)應(yīng))，從而將這些信息編成一組的數(shù)據(jù)來處理，從而對(duì)分析波形的頻率特征量進(jìn)行分析。
如上所述，根據(jù)本發(fā)明可以將時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)和頻率分辨率獨(dú)立設(shè)定；可以提供混合聲音分離裝置及頻率分析裝置等，該混合聲音分離裝置及頻率分析裝置等可以進(jìn)行如下頻率分析，即，如同使時(shí)間分辨率和頻率分辨率同時(shí)變高而進(jìn)行頻率分析一樣的頻率分析；可以使用于在混合聲音分離、語音識(shí)別、聲音識(shí)別、字符識(shí)別、人臉識(shí)別、虹彩認(rèn)證等廣泛領(lǐng)域的基本技術(shù)，因此，其實(shí)用價(jià)值極高。


圖1是說明以往的技術(shù)的傅里葉變換(離散傅里葉變換)的方法的圖。
圖2是示出具有規(guī)定的時(shí)間帶寬的參照波形和頻率特性的關(guān)系的圖，該頻率分析是根據(jù)上述參照波形進(jìn)行的。
圖3是說明以往的技術(shù)的余弦變換(離散余弦變換)的圖。
圖4是說明以往的技術(shù)的小波變換的圖。
圖5是說明本發(fā)明的全體結(jié)構(gòu)的圖。
圖6是示出根據(jù)其他頻率分辨率進(jìn)行頻率分析的例子的圖。
圖7是示出以時(shí)間上重疊的方式，分割參照波形，來制作局部參照波形的例子的圖。
圖8是示出根據(jù)其他時(shí)間分辨率進(jìn)行頻率分析的例子的圖。
圖9是示出通過1個(gè)周期的余弦波形的頻率信息和通過傅里葉變換的頻率信息的關(guān)系的圖。
圖10是示出本發(fā)明的實(shí)施方式的頻率分析裝置的全體結(jié)構(gòu)的方框圖。
圖11是示出混合聲音分離系統(tǒng)100的工作流程的流程圖。
圖12是示出混合聲音S100的一個(gè)例子的圖。
圖13是示出參照波形和局部頻率信息的圖。
圖14是示出通過實(shí)驗(yàn)求出的局部頻率信息的圖。
圖15是示出抽出混合聲音S100中包含的抽出聲音的局部頻率信息的抽出方法的一個(gè)例子。
圖16是，對(duì)于頻率特征量的抽出，比較以往的方法和本發(fā)明的方法的結(jié)構(gòu)的圖。
圖17是示出局部頻率信息的空間上的映象的圖。
圖18是示出在混合聲音S100中包含的抽出聲音的局部頻率信息的一個(gè)例子的圖。
圖19是示出本發(fā)明的實(shí)施方式的頻率分析裝置的全體結(jié)構(gòu)的其他例子的方框圖。
圖20是用于說明由局部頻率信息制作部制作的局部頻率信息DB的圖。
圖21是用于說明由局部頻率信息制作部制作的局部頻率信息DB的圖。
圖22是示出局部頻率信息DB的一個(gè)例子的圖。
圖23是示出使用局部頻率信息DB的頻率特征量的分析方法的一個(gè)例子的圖。
圖24是示出使用局部頻率信息DB的頻率特征量的分析方法的一個(gè)例子的圖。
圖25是用于說明由局部頻率信息制作部制作的局部頻率信息DB的圖。
圖26是示出局部頻率信息DB的一個(gè)例子的圖。
圖27是示出使用局部頻率信息DB的頻率特征量的分析方法的一個(gè)例子的圖。
圖28是示出使用局部頻率信息DB的頻率特征量的分析方法的一個(gè)例子的圖。
符號(hào)說明100、100A 混合聲音分離系統(tǒng)101 麥克風(fēng)102 頻率分析裝置103、103A 參照波形時(shí)間帶寬決定部104 參照波形分割部105、105A 局部頻率信息制作部106、106A 分析波形頻率特征量抽出部107 聲音變換部108 揚(yáng)聲器1000 頻率信息制作裝置1001 頻率特征量分析裝置1002 頻率分辨率決定部S100 混合聲音S101 參照波形S102 局部參照波形S103 局部頻率信息S104 頻率特征量(抽出聲音的傅里葉系數(shù))S105 抽出聲音
S1000 局部頻率信息DB具體實(shí)施方式
以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。
圖10是示出本發(fā)明的頻率分析裝置的全體結(jié)構(gòu)的方框圖。在此，示出本發(fā)明涉及的頻率分析裝置被裝入到混合聲音分離系統(tǒng)的例子。在本實(shí)施方式中以以下情況作為例子進(jìn)行說明，即，對(duì)由3個(gè)說話者的聲音構(gòu)成的混合聲音進(jìn)行頻率分析，來從混合聲音分離1個(gè)說話者的聲音。
混合聲音分離系統(tǒng)100是一種系統(tǒng)，從混合多個(gè)說話者的聲音的混合聲音抽出1個(gè)說話者的聲音，包括麥克風(fēng)101、頻率分析裝置102、聲音變換部107、揚(yáng)聲器108。頻率分析裝置102是一種處理裝置，分析混合聲音中包含的頻率成分，并抽出頻率特征量，包括參照波形時(shí)間帶寬決定部103、參照波形分割部104、局部頻率信息制作部105、分析波形頻率特征量抽出部106。
麥克風(fēng)101接受混合聲音S100，并輸出到局部頻率信息制作部105。
參照波形時(shí)間帶寬決定部103，根據(jù)規(guī)定的頻率分辨率，決定與要分析的頻率相對(duì)應(yīng)的參照波形的時(shí)間帶寬。
參照波形分割部104，根據(jù)規(guī)定的時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)，以在時(shí)間上允許重疊的方式，來分割由參照波形時(shí)間帶寬決定部103所制作的參照波形S101，從而制作多個(gè)局部參照波形S102。
局部頻率信息制作部105，根據(jù)混合聲音S100和局部參照波形S102的相互關(guān)聯(lián)，并根據(jù)上述規(guī)定的時(shí)間分辨率求出與局部參照波形S102相對(duì)應(yīng)的多個(gè)局部頻率信息S103，該局部參照波形S102至少包含振幅頻譜及相位頻譜的任一個(gè)。
分析波形頻率特征量抽出部106，將上述多個(gè)局部頻率信息S103編成一組的數(shù)據(jù)來使用，根據(jù)上述規(guī)定的時(shí)間分辨率，抽出分析混合聲音中包含的抽出聲音的局部頻率信息，使用抽出聲音的局部頻率信息來制作抽出聲音的傅里葉系數(shù)S104，從而抽出混合聲音S100中包含的頻率特征量之一的抽出聲音的傅里葉系數(shù)S104。
聲音變換部107，使用抽出聲音的傅里葉系數(shù)S104制作抽出聲音(抽出聲音的波形)S105。揚(yáng)聲器108，將抽出聲音S105輸出給利用者。
其次，說明如上述構(gòu)成的混合聲音分離系統(tǒng)100的工作。
圖11是示出混合聲音分離系統(tǒng)100的工作流程的流程圖。
首先，使用麥克風(fēng)101，使頻率分析裝置102的局部頻率信息制作部105接受由3個(gè)說話者的聲音構(gòu)成的混合聲音S100(圖11的步驟200)。圖12示出混合聲音S100的一個(gè)例子。圖12(a)是混合聲音S100的波形，圖12(b)是通過以往的技術(shù)的傅里葉變換所求出的混合聲音S100的譜圖。如圖12(c)所示，可以以基本波形的反復(fù)來表現(xiàn)聲音。并且，對(duì)于基本波形的振幅，并不是在所有的時(shí)間區(qū)域大，接近零的時(shí)間區(qū)域也存在。因此，使時(shí)間分辨率變高來分析，則可以分析混合聲音中的3個(gè)說話者的聲音的基本波形的特征。再者，在圖12(a)的混合聲音的波形中，顯示時(shí)間分辨率低，因此，難以表示3個(gè)人的聲音的基本波形的特征。此意味著，分離混合聲音時(shí)重要的是，使時(shí)間分辨率變高。在圖12(b)的傅里葉變換的譜圖中，當(dāng)傅里葉變換時(shí)不能使時(shí)間分辨率和頻率分辨率的兩者的分辨率同時(shí)變高，因此，難以分離而表示混合聲音中的3個(gè)說話者的聲音的頻譜形狀的特征。在傅里葉變換中，通過使頻率分辨率變高，可以分析3個(gè)人的聲音的頻率特征的共振峰(formant)的平均時(shí)間，反而，時(shí)間分辨率變低，因此，不能分析微小時(shí)間區(qū)域的共振峰的值。據(jù)此，即使在微小的時(shí)間區(qū)域、頻率區(qū)域不重疊的混合聲音，也難以分離要抽出的聲音。
其次，參照波形時(shí)間帶寬決定部103，根據(jù)規(guī)定的頻率分辨率，決定與要分析的頻率相對(duì)應(yīng)的參照波形的時(shí)間帶寬，來制作參照波形S101(圖11的步驟201)。在圖13所示的例子中，將參照波形S101的時(shí)間帶寬，作為基本頻率f1的1個(gè)周期可以放進(jìn)的時(shí)間帶寬(在傅里葉變換中的時(shí)間窗)。圖13(a)及圖13(b)是，用于說明根據(jù)余弦波形的頻率分析的圖，圖13(c)及圖13(d)是，用于說明根據(jù)正弦波形的頻率分析的圖。并且，圖13(a)及圖13(c)示出，具有上述參照波形的參照波形，圖13(b)及圖13(d)示出，分別與圖13(a)及圖13(c)所示的參照波形相對(duì)應(yīng)的局部頻率信息。
圖13(a)及圖13(c)所示的參照波形是，結(jié)合實(shí)線和虛線的兩者的波形(僅有實(shí)線的波形表示1個(gè)局部參照波形)。在此，針對(duì)所有的要分析的頻率使用，時(shí)間帶寬相同的參照波形。但是，要分析的頻率的大小不同，因此，按照要分析的頻率參照波形中包含的周期數(shù)不同。具體而言，如圖13(a)及圖13(c)所示，由1個(gè)周期的余弦波形及正弦波形構(gòu)成要分析的頻率為基本頻率f1的參照波形，由2個(gè)周期的余弦波形及正弦波形構(gòu)成要分析的頻率為基本頻率f1的2倍的f2的參照波形，由3個(gè)周期的余弦波形及正弦波形構(gòu)成要分析的頻率為基本頻率f1的3倍的f3的參照波形。對(duì)于分割為局部參照波形之前的參照波形的頻率分辨率，與圖9(c)所示相同的高頻率分辨率，并要分析的頻率f1、f2、f3的頻率特征為正交。
在此，參照波形的時(shí)間帶寬的決定，相當(dāng)于在短時(shí)間的傅里葉變換的分析幀的寬度的決定。并且，也有以下情況，即，在短時(shí)間的傅里葉變換中，分析波形乘窗函數(shù)，該例子的情況，分析波形乘與參照波形相同的時(shí)間帶寬的矩形窗的情況相同。并且，分析波形乘窗函數(shù)來進(jìn)行頻率分析，該窗函數(shù)在分析對(duì)象區(qū)間(參照波形存在的時(shí)間區(qū)間)具有零以外的值。
并且，頻率分析裝置102，進(jìn)一步包括頻率分辨率輸入接受部，來可以根據(jù)分析波形S100的性質(zhì)或應(yīng)用程序的規(guī)格決定頻率分辨率。從外部輸入這些頻率分辨率也可以。例如，對(duì)于突發(fā)音，即使頻率分辨率(在相同時(shí)間分辨率，要編成一組局部頻率信息的數(shù)量少)變低，也可以分析特征量，但是，對(duì)于音樂，需要使頻率分辨率變高(在相同時(shí)間分辨率，要編成一組局部頻率信息的數(shù)量多)，來分析特征量。根據(jù)要編成一組的數(shù)據(jù)的數(shù)量，抽出特征量時(shí)的計(jì)算量不同，因此，按照輸入后的分析波形的性質(zhì)來控制要分析的頻率分辨率，來可以減少計(jì)算成本。
其次，參照波形分割部104，根據(jù)規(guī)定的時(shí)間分辨率，以在時(shí)間上允許重疊的方式，將由參照波形時(shí)間帶寬決定部103所制作的參照波形S101分割，來制作多個(gè)局部參照波形S102(圖11的步驟202)。在圖13所示的例子中，對(duì)每個(gè)要分析的頻率，將參照波形S101(結(jié)合實(shí)線和虛線的兩者的波形)分割為1個(gè)周期的余弦波形及正弦波形，來制作局部參照波形S102(實(shí)線的波形表示1個(gè)局部分析波形)。具體而言，如圖13(a)及圖13(c)所示要分析的頻率為基本頻率f1的局部參照波形就是參照波形本身；由2個(gè)局部參照波形構(gòu)成要分析的頻率為基本頻率f1的2倍的f2的局部參照波形，由3個(gè)局部參照波形構(gòu)成要分析的頻率為基本頻率f1的3倍的f3的局部參照波形，該2個(gè)局部參照波形是由f2的頻率的1個(gè)周期的余弦波形及正弦波形所構(gòu)成的，該3個(gè)局部參照波形是由f3的頻率的1個(gè)周期的余弦波形及正弦波形所構(gòu)成的。按每個(gè)要分析的頻率來看，與圖5(c)所示的局部參照波形相同。在此，時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)成為要分析的頻率的參照波形的1個(gè)周期的時(shí)間帶寬。據(jù)此可見，時(shí)間分辨率是，獨(dú)立于頻率分辨率而設(shè)定的。并且，多個(gè)局部參照波形是，分別從同一參照波形所抽出的波形。在此示出，以在時(shí)間上沒有重疊的方式，分割參照波形S101的例子。并且，如圖6、圖7、圖8所示，也可以制作局部參照波形。
并且，頻率分析裝置102，進(jìn)一步包括時(shí)空分辨率輸入接受部，來可以根據(jù)分析波形S100的性質(zhì)或應(yīng)用程序的規(guī)格決定頻率分辨率。從外部輸入這些頻率分辨率也可以。例如，對(duì)于突發(fā)音，需要時(shí)時(shí)間分辨率高而分析。在分析突發(fā)音、聲音、音樂交替出現(xiàn)的混合聲音的情況下，通過根據(jù)輸入后的分析波形控制時(shí)間分辨率，可以進(jìn)行高精度的分析，也可以使記憶局部頻率信息的存儲(chǔ)容量變小(不需要高分辨率時(shí)，使時(shí)間分辨率變低，來可以減少要記憶的局部頻率信息的數(shù)量)。
其次，局部頻率信息制作部105，根據(jù)混合聲音S100和局部參照波形S102的相互關(guān)聯(lián)(卷積)，并根據(jù)上述規(guī)定的時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)求出與局部參照波形S102相對(duì)應(yīng)的多個(gè)局部頻率信息S103，該局部參照波形S102至少包含振幅頻譜及相位頻譜的任一個(gè)(圖11的步驟203)。在此，在用于傅里葉變換的分析方法中，將參照波形變更為局部參照波形來求出局部頻率信息(參照公式11、公式12、公式13、公式14)。如圖13的例子所示，根據(jù)余弦波形及正弦波形分別求出以下局部頻率信息在要分析的頻率為基本頻率f1的情況下，1個(gè)局部頻率信息；在要分析的頻率為基本頻率的2倍的f2的情況下，2個(gè)局部頻率信息；在要分析的頻率為基本頻率的3倍的f3的情況下，3個(gè)局部頻率信息(也參照?qǐng)D5)。使用通過余弦波形及正弦波形的2種頻率分析來求出的局部頻率信息，來可以求出振幅頻譜及相位頻譜。即，在此例子，局部頻率信息是，包括振幅頻譜及相位頻譜的兩者的頻率信息。
在圖14中，如圖14(a)所示，將以16KHz所取樣的混合聲的與圖5的例子相同的1個(gè)周期的余弦波形作為局部參照波形使用，與圖5的例子不同，按每個(gè)1取樣點(diǎn)進(jìn)行時(shí)移，來對(duì)所有的取樣點(diǎn)求出局部頻率信息。圖14(b)是一種曲線圖，在要分析的頻率是1KHz的情況下，將針對(duì)所有的取樣點(diǎn)的局部頻率信息排成時(shí)間序列的曲線圖，橫軸為時(shí)間，縱軸為功率。圖14(b)示出發(fā)出日語的聲音時(shí)的3個(gè)曲線圖，從上面示出女性的日語“え”的發(fā)聲的局部頻率信息；男性的日語“ん”的發(fā)聲的局部頻率信息；這些混合聲音的局部頻率信息。
圖14(c)是一種曲線圖，在要分析的頻率是2KHz的情況下，將針對(duì)所有的取樣點(diǎn)的局部頻率信息排成時(shí)間序列的曲線圖，僅要分析的頻率，與圖14(b)所示的曲線圖不同。
抽出根據(jù)要分析的頻率(1KHz、2KHz)的1個(gè)周期的時(shí)間間隔的局部頻率信息，來編成一組的數(shù)據(jù)，則可以獲得與圖5的例子相同的局部頻率信息。在分離混合聲音的情況下，需要使時(shí)間分辨率和頻率分辨率的兩者變高。在此試驗(yàn)結(jié)果，使時(shí)間分辨率變高，因此，可以將在微小時(shí)間的混合聲音中的女性和男性的聲音的結(jié)構(gòu)分離并表示。并且，如以后所述，將多個(gè)局部頻率信息編成一組的數(shù)據(jù)來使用，從而可以如同使頻率分辨率變高，因此，以高精度可以分離在微小時(shí)間、頻率區(qū)域不重疊的混合聲音。
其次，分析波形頻率特征量抽出部106，通過將上述多個(gè)局部頻率信息S103編成一組的數(shù)據(jù)來使用，根據(jù)上述規(guī)定的時(shí)間分辨率，抽出混合聲音中包含的抽出聲音的局部頻率信息，使用抽出聲音的局部頻率信息制作抽出聲音的傅里葉系數(shù)S104，從而抽出混合聲音S100中包含的頻率特征量之一的抽出聲音的傅里葉里葉系數(shù)S104(圖11的步驟204)。圖15示出，抽出混合聲音S100中包含的抽出聲音的局部頻率信息的一個(gè)例子。圖15(a)是示出局部參照波形S102的一個(gè)例子的圖。圖15(b)是示出，針對(duì)各頻率的局部頻率信息的圖，該各頻率是基本頻率f1、基本頻率f1的2倍頻率f2、以及基本頻率f1的3倍頻率f3。圖15(c)是示出，要抽出的聲音的一組局部頻率信息的模式的圖，在此示出針對(duì)女性的聲音的局部頻率信息的兩種模式。
在圖15的例子中，如圖15(c)所示，事先記憶要抽出的聲音的一組局部頻率信息(是結(jié)合傅里葉變換的時(shí)間窗中的局部頻率信息的)，比較由圖15(b)所示的混合聲音S100制作的局部頻率信息S103和由圖15(c)所示的所記憶的抽出聲音的一組局部頻率信息，來抽出混合聲音S100中包含的抽出聲音的局部頻率信息。在圖15的例子中，如上所述，記憶女性的聲音模式。在此例子中，比較混合聲音S100的一組局部頻率信息S103和所記憶的一組局部頻率信息(女性的聲音模式)，來選擇誤差距離(類似程度的倒數(shù))為最小的所記憶的聲音模式，當(dāng)誤差距離為事先規(guī)定的閾值以下時(shí)，抽出混合聲音S100的局部頻率信息。并且，當(dāng)誤差距離大于閾值時(shí)，使用所記憶的誤差距離為最小的聲音模式，制作要抽出的女性的局部頻率信息(例如，是以后所述的圖18的以Z表示的)。具體而言，使用公式22計(jì)算誤差距離。
E(X,A)=(Xf11-Af11)2+(Xf21-Af21)2+(Xf22-Af22)2]]>+(Xf31-Af31)2+(Xf32-Af32)2+(Xf33-Af33)2]]>在此，X是混合聲音S100的一組局部頻率信息S103，A是所記憶的一組局部頻率信息(女性的聲音模式)。
看公式22的[公式23](Xf31-Af31)2+(Xf32-Af32)2+(Xf33-Af33)2]]>的部分，[公式24](Xf31-Af31)2[公式25](xf32-Af32)2[公式26](Xf33-Af33)2的所有的項(xiàng)變小，就誤差距離變小。
在此，用圖16，比較以往的方法和本發(fā)明的方法的結(jié)構(gòu)。如圖16(a)所示，在以往的方法中，針對(duì)每個(gè)局部頻率信息計(jì)算誤差距離來選擇最小的模式，與此相對(duì)，在本發(fā)明的方法中，如圖16(b)所示，將一組局部頻率信息作為1個(gè)模式計(jì)算誤差距離來選擇最小的模式。據(jù)此，使每個(gè)局部頻率信息的誤差距離變小，并且，將多個(gè)局部頻率信息編成一組時(shí)的所要的頻率分辨率的頻率信息[公式27]Xf3=Xf31+Xf32+Xf33]]>和[公式28]Af3=Af31+Af32+Af33]]>之間的誤差距離成為最短的模式被選擇。另一方面，在圖16(a)所示的以往的方法中，不考慮將多個(gè)局部頻率信息編成一組時(shí)的、根據(jù)所要的頻率分辨率的誤差距離。
圖17是示出局部頻率信息的空間的映象圖。在圖17的例子中，作為根據(jù)所要的頻率分辨率的頻率信息的公式27和公式28，示出與平面的各軸的截?cái)嗟闹担鳛橐唤M局部頻率信息的，[公式29](Xf31，Xf32，Xf33)和[公式30]
(Af31，Af32，Af33)分別示出，由公式27所示的平面上的點(diǎn)和由公式28所示的平面上的點(diǎn)。在本發(fā)明中，測(cè)量具有所要的頻率分辨率的平面之間的距離(圖17的截?cái)嘀g的距離)，并且，對(duì)于具有所要的頻率分辨率的平面，考慮到表現(xiàn)微小的時(shí)間區(qū)間的頻率的變化的平面上的點(diǎn)之間的距離(公式29所示的點(diǎn)和公式30所示的點(diǎn)之間的距離)，來分析頻率特征量。在以往的方法中，沒有測(cè)量平面上的點(diǎn)之間的距離那樣的概念。
并且，對(duì)于要抽出的局部頻率信息的制作方法，也可以將如圖15(c)所示的誤差距離為最小的、所記憶的模式結(jié)合，來不使用混合聲音而制作要抽出的女性的局部頻率信息。
并且，在圖15的例子中，結(jié)合所有的要分析的頻率的一組局部頻率信息來制作模式，但是，也可以先按每個(gè)要分析的頻率記憶女性的聲音模式，按每個(gè)要分析的頻率使用一組局部頻率信息來計(jì)算誤差距離。
并且，也可以先另外計(jì)算將多個(gè)局部頻率信息編成一組時(shí)的根據(jù)頻率分辨率的頻率信息，與一組局部頻率信息結(jié)合，積極使用計(jì)算后的根據(jù)所要的頻率分辨率的頻率信息來計(jì)算誤差距離。
并且，作為計(jì)算誤差距離的評(píng)定式，代替公式22，使用一組局部頻率信息的各值的比率來計(jì)算類似度也可以。
其次，如圖18所示，使用抽出后的抽出聲音的局部頻率信息求出抽出聲音的傅里葉系數(shù)S104。圖18(a)示出，混合聲音S100中包含的抽出聲音的局部頻率信息的一個(gè)例子。在此例子中，通過求出傅里葉變換的時(shí)間窗中的局部頻率信息(圖18的Z)的總和，來可以求出如圖18(b)所示的傅里葉系數(shù)(圖18的Y)。
其次，聲音變換部107，使用抽出聲音的傅里葉系數(shù)S104，來制作抽出聲音(抽出聲音的波形)S105(圖11的步驟205)。在此例子中，通過逆傅里葉變換制作抽出聲音S105。
最后，揚(yáng)聲器108，將抽出聲音S105輸出給利用者(圖11的步驟206)。
如上所述，根據(jù)本發(fā)明的實(shí)施方式，可以將時(shí)間分辨率獨(dú)立于頻率分辨率而設(shè)定，并且，根據(jù)多個(gè)頻率分辨率(多個(gè)時(shí)間分辨率)分別被頻率分析的多個(gè)局部頻率信息的組之間進(jìn)行比較，來可以獲得如同使時(shí)間分辨率和頻率分辨率同時(shí)變高來進(jìn)行頻率分析一樣的結(jié)果。據(jù)此，從混合聲音中可以抽出要以高精度抽出的聲音。
并且，在本實(shí)施方式中，將頻率分析裝置裝入到混合聲音分離系統(tǒng)，但是，裝入到語音識(shí)別系統(tǒng)、聲音識(shí)別系統(tǒng)、字符識(shí)別系統(tǒng)、人臉識(shí)別系統(tǒng)、虹彩認(rèn)證系統(tǒng)也可以。
并且，在本實(shí)施方式中，將時(shí)間波形作為分析波形，但是，在進(jìn)行圖像處理的情況下等，將空間波形作為分析波形，因此“時(shí)間分辨率”與“空間分辨率”相對(duì)應(yīng)。在本說明書及權(quán)利要求中，將“時(shí)間分辨率”和“空間分辨率”并在一起，稱為“時(shí)空分辨率”?！翱臻g分辨率”是，求出分析波形和參照波形的相互關(guān)聯(lián)(卷積)時(shí)進(jìn)行平均化的空間區(qū)域的大小。
并且，也可以構(gòu)成本實(shí)施方式涉及的頻率分析裝置102。
如圖19所示，頻率分析裝置102A，可以由頻率信息制作裝置1000和頻率特征量分析裝置1001的兩個(gè)裝置構(gòu)成，該頻率信息制作裝置1000制作局部頻率信息并進(jìn)行數(shù)據(jù)庫化(DB化)，來制作局部頻率信息DBS1000，該頻率特征量分析裝置1001使用由頻率信息制作裝置1000制作的局部頻率信息DBS1000來分析頻率特征量S104。
在頻率信息制作裝置1000中，參照波形時(shí)間帶寬決定部103A，根據(jù)最高頻率分辨率，來決定與要分析的頻率相對(duì)應(yīng)的參照波形的時(shí)間帶寬，并制作參照波形S101，該最高頻率分辨率是，分析頻率特征量S104時(shí)頻率特征量分析裝置1001有可能使用的最高頻率分辨率。即，根據(jù)參照波形時(shí)間帶寬決定部103A所決定的參照波形的時(shí)間帶寬，來決定頻率特征量分析裝置1001可以分析分析頻率特征量S104的頻率分辨率的上限。
參照波形分割部104的工作與圖10相同，因此省略說明。
其次，局部頻率信息制作部105A，根據(jù)由麥克風(fēng)101所接受的混合聲音S100和局部參照波形S102的相互關(guān)聯(lián)(卷積)，并根據(jù)時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)求出與上述局部參照波形S102相對(duì)應(yīng)的多個(gè)局部頻率信息S103，該上述局部參照波形S102至少包含振幅頻譜及相位頻譜的任一個(gè)，制作并記憶局部頻率信息DBS1000，該局部頻率信息DBS1000是至少由以下(1)至(3)所構(gòu)成的(1)分析后的頻率；(2)關(guān)于局部參照波形的形狀的信息；(3)求出局部頻率信息S103及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
圖20(a)示出局部頻率信息DBS1000的一個(gè)例子。在此例子中，局部頻率信息DBS100是由以下(1)至(3)所構(gòu)成的(1)分析后的頻率為1KHz；(2)表示以下內(nèi)容的信息，即，作為關(guān)于局部參照波形的信息，局部參照波形之間沒有重疊，且在由5個(gè)周期的余弦波形所構(gòu)成的參照波形中時(shí)間分辨率是1ms(分析后的頻率1KHz的1個(gè)周期的長(zhǎng)度，即參照波形的1個(gè)周期的長(zhǎng)度)；(3)求出將5個(gè)局部頻率信息(相當(dāng)于在5個(gè)局部參照波形的離散余弦變換系數(shù)的值)編成一組的數(shù)據(jù)及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
圖20(b)及圖20(c)還記載，用于說明的映象圖。根據(jù)圖20(b)所示的映象圖可見，局部參照波形之間沒有重疊。并且，根據(jù)圖20(c)可見，以5個(gè)為一組局部頻率信息的多個(gè)組是，對(duì)分析波形進(jìn)行時(shí)移來求出的。該時(shí)移的間隔(0.3ms)，可以獨(dú)立于為了求出編成為一組的5個(gè)局部頻率信息所使用的5個(gè)局部參照波形的時(shí)間間隔(1ms)而設(shè)定。
在圖20的例子中，將5個(gè)局部頻率信息編成一組時(shí)的頻率分辨率，成為頻率特征量分析裝置1001可以分析的最高頻率分辨率。
并且，圖21(a)示出，局部頻率信息DBS1000的另一個(gè)例子。在此例子中示出，根據(jù)具有多個(gè)時(shí)間分辨率的局部參照波形來求出的局部頻率信息DB的一個(gè)例子，由以下(1)至(3)所構(gòu)成(1)分析后的頻率為2KHz；(2)表示以下內(nèi)容的信息，即，作為關(guān)于局部參照波形的信息，局部參照波形之間沒有重疊，且在由4個(gè)周期的余弦波形所構(gòu)成的參照波形中時(shí)間分辨率，在與參照波形的第1周期相對(duì)應(yīng)的局部參照波形為0.5ms，在與參照波形的第2周期相對(duì)應(yīng)的局部參照波形為0.5ms，在與參照波形的第3周期～第4周期相對(duì)應(yīng)的局部參照波形為1.0ms；(3)求出將3個(gè)局部頻率信息(相當(dāng)于在3個(gè)局部參照波形的離散余弦變換系數(shù)的值)編成一組的數(shù)據(jù)及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
圖21(b)及圖21(c)還記載有，用于說明的映象圖。根據(jù)圖21(b)所示的映象圖可見，局部參照波形之間沒有重疊。并且，根據(jù)圖21(c)可見，以3個(gè)為一組局部頻率信息的多個(gè)組是，對(duì)分析波形進(jìn)行時(shí)移來求出的。該時(shí)移的間隔(0.3ms)，可以獨(dú)立于為了求出編成為一組的3個(gè)局部頻率信息所使用的3個(gè)局部參照波形的時(shí)間間隔(0.5ms、0.5ms、1.0ms)而設(shè)定。
在此例子中，將5個(gè)局部頻率信息編成一組時(shí)的頻率分辨率，為頻率特征量分析裝置1001可以分析的最高頻率分辨率。
并且，圖22示出，局部頻率信息DBS1000的另一個(gè)例子。在此例子中，除了局部頻率信息以外，還上述頻率信息(參照公式11、公式12、公式13、公式14、公式15)也一起進(jìn)行數(shù)據(jù)庫化，該上述頻率信息是要編成一組的多個(gè)局部頻率信息的值的總和。
如上所述，制作并記憶局部頻率信息DBS1000。
如圖19所示，在頻率特征量分析裝置1001中，分析波形頻率特征量抽出部106A，包括頻率分辨率決定部1002。分析波形頻率特征量抽出部106A，輸入局部頻率信息DBS1000，根據(jù)由頻率分辨率決定部1002所決定的頻率分辨率，在局部頻率信息DBS1000持有的(3)，決定要編成一組的數(shù)據(jù)來處理的局部頻率信息的數(shù)量，該(3)是求出多個(gè)局部頻率信息及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
并且，對(duì)于局部頻率信息DBS1000，可以使用通信電路接收，也可以通過存儲(chǔ)卡等記錄介質(zhì)獲得。
并且，在使用局部頻率信息DBS1000持有的所有的局部頻率信息的情況下，沒有頻率分辨率決定部1002也可以。
圖23示出使用局部頻率信息DBS1000的頻率特征量的分析方法的一個(gè)例子。在此例子中，將圖中帶圓圈的所有的(5個(gè))局部頻率信息編成一組的數(shù)據(jù)，分析頻率特征量。對(duì)于使用一組局部頻率信息的頻率特征量的具體分析方法，與圖10的分析波形頻率特征量抽出部106的方法相同，因此省略說明。并且，在此例子的情況下，沒有頻率分辨率決定部1002也可以。
并且，圖24示出使用局部頻率信息DBS1000的頻率特征量的分析方法的另一個(gè)例子。在此例子中，根據(jù)局部頻率信息DBS1000持有的、要分析的頻率1KHz和時(shí)間分辨率1ms，計(jì)算編成為一組局部頻率信息的數(shù)量和頻率分辨率的關(guān)系，并根據(jù)由頻率分辨率決定部1002所決定的頻率分辨率，將圖中帶圓圈的3個(gè)局部頻率信息編成一組的數(shù)據(jù)來分析頻率特征量。對(duì)于使用一組局部頻率信息的頻率特征量的具體分析方法，與圖10的分析波形頻率特征量抽出部106的方法相同，因此省略說明。如圖24的例子，通過使用局部頻率信息DB持有的局部頻率信息的一部分，可以根據(jù)所要的頻率分辨率，來分析頻率特征量。
并且，在圖24的例子中，像時(shí)刻0.0ms、時(shí)刻0.3ms、時(shí)刻0.6ms那樣，時(shí)移的間隔為0.3ms，不過，時(shí)移的間隔為0.6ms，并使用在時(shí)刻0.0ms、時(shí)刻0.6ms、時(shí)刻1.2ms的一組局部頻率信息來分析頻率特征量也可以。在此時(shí)，使用局部頻率信息DBS1000的一部分來分析頻率特征量。
并且，在使用圖22所示的局部頻率信息DBS1000來分析頻率特征量的情況下，在圖10的分析波形頻率特征量抽出部106的工作中，代替公式22的誤差函數(shù)，根據(jù)下述公式31，使用圖22的局部頻率信息DBS1000的“頻率信息”計(jì)算誤差距離，該“頻率信息”是將多個(gè)局部頻率信息編成一組時(shí)的、根據(jù)所要的頻率分辨率的頻率信息。
E(X,A)=(Xf11-Af11)2+(Xf21-Af21)2+(Xf22-Af22)2]]>+(Xf31-Af31)2+(Xf32-Af32)2+(Xf33-Af33)2]]>+w×((Xf1-Af1)2+(Xf2-Af2)2+(Xf3-Af3)2)]]>在此，[公式32]Xf1，Xf2，Xf3是局部頻率信息DBS1000的“頻率信息”，[公式33]
Af1，Af2，Af3是所記憶的、與上述“頻率信息”(女性的聲音模式)相對(duì)應(yīng)的，[公式34]w是加權(quán)系數(shù)。
并且，在圖23及圖24的例子中，也可以通過求出局部頻率信息的值的總和來計(jì)算“頻率信息”，從而根據(jù)公式31的誤差函數(shù)來計(jì)算誤差距離。
聲音變換部107、揚(yáng)聲器108的工作與圖10相同，因此省略說明。
最后，利用者，通過揚(yáng)聲器108可以聽到抽出聲音S105。
在此示出，局部頻率信息制作部105A、局部頻率信息DBS1000、分析波形頻率特征量抽出部106A的另一個(gè)例子。
局部頻率信息制作部105A，根據(jù)混合聲音S100和局部參照波形S102的相互關(guān)聯(lián)(卷積)，并根據(jù)時(shí)間分辨率(求出分析波形和參照波形的相互關(guān)聯(lián)時(shí)進(jìn)行平均化的時(shí)間區(qū)間的長(zhǎng)度)求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息S103，該上述局部參照波形至少包含振幅頻譜及相位頻譜的任一個(gè)，制作局部頻率信息DBS1000，該局部頻率信息DBS1000是由以下(1)至(3)所構(gòu)成的(1)分析后的頻率；(2)關(guān)于局部參照波形的形狀的信息；(3)求出局部頻率信息S103及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
圖25(a)示出局部頻率信息DBS1000的一個(gè)例子。在此例子中，與圖20的局部頻率信息DB的例子不同，將局部頻率信息排在時(shí)刻方向來表現(xiàn)(3)局部頻率信息S103及求出對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。即，在時(shí)刻1.0ms的3個(gè)局部頻率信息是，時(shí)刻1.0ms的局部頻率信息、時(shí)刻2.0ms的局部頻率信息、時(shí)刻3.0ms的局部頻率信息；在時(shí)刻2.0ms的5個(gè)局部頻率信息是，時(shí)刻2.0ms的局部頻率信息、時(shí)刻3.0ms的局部頻率信息、時(shí)刻4.0ms的局部頻率信息、時(shí)刻5.0ms的局部頻率信息、時(shí)刻6.0ms的局部頻率信息。可以這樣表現(xiàn)的理由是，時(shí)間分辨率是要分析的頻率的1KHz的1個(gè)周期的1.0ms，并該1.0ms與時(shí)移的間隔1.0ms相同，該時(shí)移的間隔1.0ms是，針對(duì)分析波形，對(duì)以整數(shù)為一組局部頻率信息的組進(jìn)行的時(shí)移的間隔1.0ms(參照?qǐng)D25(b)及圖25(c))。即，因?yàn)?，根?jù)進(jìn)行時(shí)移后的第1周期的局部頻率信息，可以表現(xiàn)出在前時(shí)刻的第2周期以后的局部頻率信息。并且，(1)分析后的頻率、(2)關(guān)于局部參照波形的形狀的信息，與圖20的局部頻率信息DB的例子相同。
圖26示出局部頻率信息DBS1000的另一個(gè)例子。在此例子中，與圖25的局部頻率信息DB1000的例子不同，針對(duì)多個(gè)分析后的頻率，對(duì)以下(1)至(3)分別進(jìn)行數(shù)據(jù)庫化(1)分析后的頻率；(2)關(guān)于局部參照波形的形狀的信息；(3)求出局部頻率信息S103及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。如上所述，在圖20、圖21、圖22的例子中也可以，針對(duì)多個(gè)分析后的頻率，對(duì)局部頻率信息進(jìn)行數(shù)據(jù)庫化。
如上所述，制作并記憶局部頻率信息DBS1000。
分析波形頻率特征量抽出部106A，包括頻率分辨率決定部1002。分析波形頻率特征量抽出部106A，輸入局部頻率信息DBS1000，根據(jù)由頻率分辨率決定部1002所決定的頻率分辨率，在局部頻率信息DBS1000持有的(3)，決定要編成一組的數(shù)據(jù)來處理的局部頻率信息的數(shù)量，該(3)是求出多個(gè)局部頻率信息及對(duì)應(yīng)的局部頻率信息的分析波形的時(shí)刻。
圖27示出使用局部頻率信息DBS1000的頻率特征量的分析方法的另一個(gè)例子。在此例子中，根據(jù)局部頻率信息DBS1000持有的、要分析的頻率1KHz和時(shí)間分辨率1ms，計(jì)算要編成一組局部頻率信息的數(shù)量和頻率分辨率的關(guān)系，并根據(jù)由頻率分辨率決定部1002所決定的頻率分辨率，將3個(gè)局部頻率信息編成一組的數(shù)據(jù)來分析頻率特征量。在此例子中，3個(gè)局部頻率信息是在時(shí)刻0.0ms中，圖中帶實(shí)線圓圈的時(shí)刻0.0ms、時(shí)刻1.0ms以及時(shí)刻2.0ms的局部頻率信息；在時(shí)刻1.0ms中，圖中帶虛線圓圈的時(shí)刻1.0ms、時(shí)刻2.0ms以及時(shí)刻3.0ms的局部頻率信息；在時(shí)刻2.0ms中，圖中帶虛線圓圈的時(shí)刻2.0ms、時(shí)刻3.0ms以及時(shí)刻4.0ms的局部頻率信息。在此，按時(shí)移的每個(gè)間隔1.0ms，求出一組局部頻率信息。對(duì)于使用一組局部頻率信息的頻率特征量的具體分析方法，與圖10的分析波形頻率特征量抽出部106的方法相同，因此省略說明。
并且，在要將5個(gè)局部頻率信息編成一組的數(shù)據(jù)的情況下，將5個(gè)連續(xù)時(shí)刻的局部頻率信息編成一組就可以，并在要將10個(gè)局部頻率信息編成一組的數(shù)據(jù)的情況下，將10個(gè)連續(xù)時(shí)刻的局部頻率信息編成一組就可以。對(duì)于要編成一組局部頻率信息的數(shù)量的自由度，高于圖24的例子的自由度。
圖28示出使用局部頻率信息DBS1000的頻率特征量的分析方法的另一個(gè)例子。在此例子中，按時(shí)移的每個(gè)間隔3.0ms，求出一組局部頻率信息(圖中帶實(shí)線圓圈及虛線圓圈的)。此時(shí)移的間隔，可以是5.0ms，也可以是8.0ms。如此，可以自由設(shè)定時(shí)移的間隔。對(duì)于使用一組局部頻率信息的頻率特征量的具體分析方法，與圖10的分析波形頻率特征量抽出部106的方法相同，因此省略說明。
如上所述，抽出頻率特征量S104。
并且，頻率特征量分析裝置1001，通過還包括頻率分辨率輸入接受部，來可以根據(jù)應(yīng)用程序的規(guī)格等來決定頻率分辨率。這些頻率分辨率，也可以從外部輸入。
本發(fā)明，可以利用于以下系統(tǒng)混合聲音分離系統(tǒng)、語音識(shí)別系統(tǒng)、聲音識(shí)別系統(tǒng)、字符識(shí)別系統(tǒng)、人臉識(shí)別系統(tǒng)、虹彩認(rèn)證系統(tǒng)等。
權(quán)利要求
1.一種混合聲音分離裝置，從由多個(gè)聲音構(gòu)成的混合聲音中分離特定的聲音，其特征在于，包括局部頻率信息制作單元，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述混合聲音的波形即分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成用于分析規(guī)定的頻率的參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；特定聲音頻率特征量抽出單元，將上述多個(gè)局部頻率信息編成組，在該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行模式匹配，根據(jù)該模式匹配的結(jié)果，抽出上述多個(gè)局部頻率信息的組；以及聲音信號(hào)制作單元，根據(jù)由上述特定聲音頻率特征量抽出單元所抽出的上述多個(gè)局部頻率信息的組，制作上述特定的聲音的信號(hào)。
2.如權(quán)利要求1所述的混合聲音分離裝置，其特征在于，上述特定聲音頻率特征量抽出單元，將上述多個(gè)局部頻率信息編成組，算出該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間的距離，在該距離為規(guī)定的閾值以下的情況下，抽出上述多個(gè)局部頻率信息的組。
3.如權(quán)利要求1所述的混合聲音分離裝置，其特征在于，上述特定聲音頻率特征量抽出單元，將上述多個(gè)局部頻率信息編成組，算出該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間的類似度，在該類似度為規(guī)定的閾值以上的情況下，抽出上述多個(gè)局部頻率信息的組。
4.如權(quán)利要求1所述的混合聲音分離裝置，其特征在于，進(jìn)一步包括，參照波形時(shí)間帶寬決定單元，根據(jù)上述規(guī)定的頻率分辨率，決定上述參照波形的時(shí)間帶寬。
5.如權(quán)利要求4所述的混合聲音分離裝置，其特征在于，上述參照波形，包含余弦波形或正弦波形；上述參照波形時(shí)間帶寬決定單元，根據(jù)上述規(guī)定的頻率分辨率，以在上述參照波形包含整數(shù)周期的余弦波形或整數(shù)周期的正弦波形的方式，決定上述參照波形的時(shí)間帶寬。
6.如權(quán)利要求5所述的混合聲音分離裝置，其特征在于，上述整數(shù)周期為1周期。
7.如權(quán)利要求4所述的混合聲音分離裝置，其特征在于，進(jìn)一步包括，頻率分辨率輸入接受單元，接受頻率分辨率的輸入；上述參照波形時(shí)間帶寬決定單元，根據(jù)輸入后的上述頻率分辨率，決定上述參照波形的時(shí)間帶寬。
8.如權(quán)利要求1所述的混合聲音分離裝置，其特征在于，進(jìn)一步包括，參照波形分割單元，根據(jù)上述規(guī)定的時(shí)空分辨率，以在時(shí)間上允許重疊的方式，分割上述參照波形，來制作上述多個(gè)局部參照波形。
9.如權(quán)利要求8所述的混合聲音分離裝置，其特征在于，上述參照波形分割單元，以具有多個(gè)時(shí)空分辨率的方式，分割上述參照波形，來制作上述多個(gè)局部參照波形。
10.如權(quán)利要求8所述的混合聲音分離裝置，其特征在于，進(jìn)一步包括，時(shí)空分辨率輸入接受單元，接受時(shí)空分辨率的輸入；上述參照波形分割單元，根據(jù)輸入后的上述時(shí)空分辨率，分割上述參照波形，來制作上述多個(gè)局部參照波形。
11.如權(quán)利要求1所述的混合聲音分離裝置，其特征在于，進(jìn)一步包括，參照波形分割單元，根據(jù)上述規(guī)定的時(shí)空分辨率，以在時(shí)間上不重疊的方式，分割上述參照波形，來制作上述多個(gè)局部參照波形。
12.一種頻率分析裝置，使用用于分析規(guī)定的頻率的參照波形，對(duì)分析波形進(jìn)行頻率分析，其特征在于，局部頻率信息制作單元，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成上述參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；分析波形頻率特征量抽出單元，將由上述局部頻率信息制作單元所求出的上述多個(gè)局部頻率信息編成組，根據(jù)該組和上述分析波形的頻率信息，并根據(jù)規(guī)定的頻率分辨率，抽出上述分析波形中包含的頻率特征量。
13.一種局部頻率信息制作裝置，使用用于分析規(guī)定的頻率的參照波形，制作用于對(duì)分析波形進(jìn)行頻率分析的頻率信息，其特征在于，包括局部頻率信息制作單元，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成上述參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；存儲(chǔ)單元，將上述多個(gè)局部頻率信息編成組，并存儲(chǔ)到規(guī)定的存儲(chǔ)裝置。
14.一種頻率特征量分析裝置，使用用于分析規(guī)定的頻率的參照波形，對(duì)分析波形進(jìn)行頻率分析，其特征在于，獲得單元，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述分析波形，獲得與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成上述參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；分析波形頻率特征量抽出單元，將由上述獲得單元所獲得的上述多個(gè)局部頻率信息編成組，根據(jù)該組和上述分析波形的頻率信息，并根據(jù)規(guī)定的頻率分辨率，抽出上述分析波形中包含的頻率特征量。
15.如權(quán)利要求14所述的頻率特征量分析裝置，其特征在于，進(jìn)一步包括，頻率分辨率輸入接受單元，接受頻率分辨率的輸入；上述分析波形頻率特征量抽出單元，根據(jù)所輸入的上述頻率分辨率，決定上述多個(gè)局部頻率信息的組的結(jié)構(gòu)。
16.一種混合聲音分離方法，從由多個(gè)聲音構(gòu)成的混合聲音中分離特定的聲音，其特征在于，包括局部頻率信息制作步驟，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述混合聲音的波形即分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成用于分析規(guī)定的頻率的參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；特定聲音頻率特征量抽出步驟，將上述多個(gè)局部頻率信息編成組，在該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行模式匹配，根據(jù)該模式匹配的結(jié)果，抽出上述多個(gè)局部頻率信息的組；以及聲音信號(hào)制作步驟，根據(jù)由上述特定聲音頻率特征量抽出步驟所抽出的上述多個(gè)局部頻率信息的組，制作上述特定的聲音的信號(hào)。
17.一種程序，從由多個(gè)聲音構(gòu)成的混合聲音中分離特定的聲音，其特征在于，使計(jì)算機(jī)執(zhí)行以下步驟局部頻率信息制作步驟，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形和上述混合聲音的波形即分析波形，求出與上述局部參照波形相對(duì)應(yīng)的多個(gè)局部頻率信息，該多個(gè)局部參照波形構(gòu)成用于分析規(guī)定的頻率的參照波形的一部分，該局部頻率信息至少包括上述規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；特定聲音頻率特征量抽出步驟，將上述多個(gè)局部頻率信息編成組，在該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行模式匹配，根據(jù)該模式匹配的結(jié)果，抽出上述多個(gè)局部頻率信息的組；以及聲音信號(hào)制作步驟，根據(jù)由上述特定聲音頻率特征量抽出步驟所抽出的上述多個(gè)局部頻率信息的組，制作上述特定的聲音的信號(hào)。
全文摘要
本發(fā)明的從混合聲音(S100)中分離特定的聲音的混合聲音分離系統(tǒng)(100)，包括局部頻率信息制作部(105)，根據(jù)具有規(guī)定的時(shí)空分辨率的多個(gè)局部參照波形(S102)和混合聲音(S100)的波形即分析波形，求出與局部參照波形(S102)相對(duì)應(yīng)的多個(gè)局部頻率信息(S103)，該局部參照波形(S102)構(gòu)成用于分析規(guī)定的頻率的參照波形的一部分，該局部頻率信息(S103)至少包括規(guī)定的頻率的振幅頻譜及相位頻譜的任一個(gè)；特定聲音頻率特征量抽出部(106)，將上述多個(gè)局部頻率信息(S103)編成組，在該組和針對(duì)事先設(shè)定的特定的聲音的頻率信息的組之間進(jìn)行模式匹配，根據(jù)該模式匹配的結(jié)果，抽出上述多個(gè)局部頻率信息(S103)的組；以及聲音信號(hào)制作單元，根據(jù)由上述特定聲音頻率特征量抽出部(106)所抽出的上述多個(gè)局部頻率信息(S103)的組，制作上述特定的聲音的信號(hào)。
文檔編號(hào)G01R23/16GK101040324SQ20068000102
公開日2007年9月19日 申請(qǐng)日期2006年4月11日 優(yōu)先權(quán)日2005年5月13日
發(fā)明者芳澤伸一, 鈴木哲, 中藤良久 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社