哼唱旋律到midi旋律的轉(zhuǎn)換方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字音頻信號(hào)處理，聲學(xué)、計(jì)算機(jī)音樂(lè)及認(rèn)知心理學(xué)領(lǐng)域，尤其是涉及 哼唱旋律到MIDI旋律的轉(zhuǎn)換方法。
【背景技術(shù)】
[0002] 在哼唱旋律到MIDI旋律的轉(zhuǎn)換方法中，最核心部分為哼唱旋律自動(dòng)識(shí)別 (SingingTranscription)技術(shù)，也稱自動(dòng)記譜技術(shù)。一位有經(jīng)驗(yàn)的記譜專家（Singing TranscriptionExpert)可通過(guò)凝聽(tīng)一段人聲哼唱，借助其音樂(lè)知識(shí)與經(jīng)驗(yàn)為這段人聲 哼唱求解出哼唱旋律并將其記錄成規(guī)范的樂(lè)譜表達(dá)。規(guī)范的樂(lè)譜表達(dá)的基本形式可理解 為一個(gè)音符序列。其中的每個(gè)音符涉及MIDI音高與音長(zhǎng)二個(gè)元素。這樣的音符序列稱 為MIDI旋律。模擬記譜專家這種智力行為的智能程序稱為哼唱旋律自動(dòng)識(shí)別（Singing Transcription)程序，或稱自動(dòng)記譜程序。即，自動(dòng)記譜程序可在一個(gè)哼唱音頻輸入信號(hào)上 抽取并輸出一個(gè)在聽(tīng)覺(jué)上與輸入哼唱信號(hào)所描述的旋律盡可能一致的音符序列（即MIDI 旋律）。實(shí)現(xiàn)自動(dòng)記譜程序的技術(shù)就是哼唱旋律到MIDI旋律的轉(zhuǎn)換技術(shù)。
[0003] 從20世紀(jì)70年代開(kāi)始，就有學(xué)者從事哼唱旋律自動(dòng)識(shí)別（Singing Transcription)系統(tǒng)的研究，并取得了一定的成績(jī)。哼唱旋律自動(dòng)識(shí)別技術(shù)的研究?jī)?nèi)容主 要涉及信號(hào)幀低層特征（信號(hào)幀的基頻、能量）提取與高層分析（音符切分、調(diào)性分析、音 符音高的估算）。
[0004] 哼唱信號(hào)基頻提取的方法可以分為時(shí)域法[13]與頻域法 [411]及時(shí)頻結(jié)合的方法 [1214]。現(xiàn)今的信號(hào)幀基頻提取技術(shù)基本可滿足高層分析的需求。Chevegigne提出的YIN算 法[1]對(duì)自相關(guān)函數(shù)使用一個(gè)累積平均歸一化函數(shù)進(jìn)行改進(jìn)，取得了較好的準(zhǔn)確性。但在運(yùn) 算速度上還不夠快。不過(guò)，該算法至今仍被多數(shù)SingingTranscription系統(tǒng)采用為基頻 估算算法[15 18]。
[0005] 音符切分是目前SingingTranscriptionSystem的主要技術(shù)難題。由于不同人 對(duì)顫音、滑音會(huì)提供不同的界定標(biāo)準(zhǔn)，這使得目前哼唱音符的邊界認(rèn)定標(biāo)準(zhǔn)不易統(tǒng)一。這也 給結(jié)果評(píng)估與比較帶來(lái)一定的困難。EmiliaG0mez和JordiBonada在他們的Flamenco Transcription研究論文[19]中指出不同的記譜專家對(duì)同一哼唱片段也會(huì)提供不同的手工 標(biāo)注結(jié)果。一些短音符，既可以自身構(gòu)成音符，也可以作為滑音和其后繼音符合并成一個(gè)音 符。一個(gè)顫音音符有時(shí)也可以分解成多個(gè)短音符。WillitKeige，RyyrAnen，Viitaniemi 和Klapuri在他們的系統(tǒng)中[15 17]，將HMM、GaussianMixture模型、音高分析相結(jié)合實(shí)施 音符切分。音符切分也涉及音節(jié)切分問(wèn)題。Lin等人[2°]引入了SPM模型，使用預(yù)測(cè)分?jǐn)?shù)函 數(shù)來(lái)優(yōu)化HMM和DTW來(lái)切分華語(yǔ)Singing音符。盡管該方法目前還沒(méi)有和其它音高分析 法相結(jié)合，但應(yīng)用到同一音高下不同音節(jié)的音符的切割應(yīng)是有效的。音符切分技術(shù)有時(shí)也 稱為哼唱信號(hào)的onset測(cè)試。CheeChuan1'〇11[21]等人使用2個(gè)Gaussian混合模型來(lái)分類 onset幀與非onset幀。近期由EmilioMoline[18]等人提出一種基于HysteresisDefined onthePitch-TimeCurve的方法來(lái)估算由于音高變化而構(gòu)成的相鄰音符的邊界。不過(guò)，這 項(xiàng)工作并沒(méi)有進(jìn)一步深入處理涉及顫音、滑音相關(guān)問(wèn)題的技術(shù)。
[0006] 實(shí)際上，調(diào)性分析在SingingTranscription中扮演著重要的角色。盡管Timo Viitaniemi，Ryynanen和Klapuri在他們的系統(tǒng)中也通過(guò)調(diào)性評(píng)估對(duì)估算的結(jié)果旋律作進(jìn) 一步的選擇或校正[16 17]，不過(guò)他們的調(diào)性分析都不是在相鄰音符音程分析基礎(chǔ)上進(jìn)行的， 而是使用C.Krumhansl[2：!]的基于概率分析的KeyFingingAlgorithm。而C.Krumhansl 的分析模型需預(yù)設(shè)被分析的每個(gè)音符的音高應(yīng)是被規(guī)整化到標(biāo)準(zhǔn)平均律的12個(gè)半音音階 上。由于人聲哼唱信號(hào)中的每個(gè)哼唱音符的音高中心位置與標(biāo)準(zhǔn)的平均律音高之間總存 在不同層度的偏離，因此，一旦實(shí)際哼唱音符的音高被規(guī)整到MIDI音高，就會(huì)產(chǎn)生"規(guī)整誤 差"。這種"規(guī)整誤差"會(huì)對(duì)最終分析的調(diào)性與旋律結(jié)果有一定程度的影響。
[0007] 由于國(guó)際上不同系統(tǒng)使用的測(cè)試數(shù)據(jù)集合不統(tǒng)一，且音樂(lè)風(fēng)格與演唱風(fēng)格都不太 一致。因此較難在系統(tǒng)性能上實(shí)施比較。表一羅列了現(xiàn)有國(guó)內(nèi)外哼唱旋律自動(dòng)識(shí)別系統(tǒng)使 用的測(cè)試數(shù)據(jù)集合、音頻質(zhì)量、音樂(lè)風(fēng)格、哼唱風(fēng)格及手工標(biāo)注Ground-truth的策略。
[0008] 國(guó)內(nèi)外主要的哼唱旋律自動(dòng)識(shí)別系統(tǒng)的測(cè)試數(shù)據(jù)集合、音頻質(zhì)量、音樂(lè)風(fēng)格、哼唱 風(fēng)格及Ground-truth手工標(biāo)注策略一覽參見(jiàn)表1。
[0009]表1

[0012] 作為哼唱檢索系統(tǒng)的前端關(guān)鍵技術(shù)，國(guó)內(nèi)也有不少學(xué)者曾從事哼唱旋律自動(dòng)識(shí)別 (抽?。┘夹g(shù)的研究。不過(guò)應(yīng)用在現(xiàn)有的哼唱檢索系統(tǒng)的基頻估算技術(shù)多簡(jiǎn)單采用基于自 相關(guān)、倒譜及FFT技術(shù)。但這還不足以應(yīng)付要求高精度音高估算的哼唱旋律自動(dòng)識(shí)別系統(tǒng)。 盡管目前YIN[1]算法因其具備較高的基頻估算精度而被許多哼唱旋律自動(dòng)識(shí)別系統(tǒng)用來(lái)估 算信號(hào)幀的基頻，但太高的時(shí)間運(yùn)算復(fù)雜度是其難以實(shí)時(shí)地用在目前各種哼唱檢索及其它 計(jì)算機(jī)音樂(lè)應(yīng)用系統(tǒng)上的主要技術(shù)瓶頸。
[0013]EmilioMolina等人在IEEE/ACMTransactionsonAudio,Speech,And LanguageProcessing,Vol. 23,No. 2,Feb. 2015, 252-261.上發(fā)表題為 "SiPTH:Singing TranscriptionBasedonHystreresisDefinedonthePitch-TimeCurve'，的論文中公 布了目前最新且最有代表性的哼唱旋律自動(dòng)識(shí)別系統(tǒng)的實(shí)現(xiàn)方案。
[0014] 現(xiàn)有技術(shù)存在以下缺點(diǎn)：
[0015] 目前哼唱旋律自動(dòng)識(shí)別系統(tǒng)的識(shí)譜能力，基本上還難以達(dá)到一位有實(shí)際記譜經(jīng)驗(yàn) 的記譜專家的手工記譜水平。這主要有如下幾個(gè)方面的原因：
[0016] (1)傳統(tǒng)的哼唱旋律自動(dòng)識(shí)別系統(tǒng)的性能評(píng)估方法不完善。主要問(wèn)題是無(wú)法鑒別 輸入哼唱的質(zhì)量。任一實(shí)際的哼唱片段常存在不同層度的"跑音"現(xiàn)象。簡(jiǎn)單把哼唱音符 實(shí)際音高roundtoMIDI音高（即規(guī)整到絕對(duì)音高）并以此作為哼唱音符音高的旋律（我 們稱其為實(shí)際哼唱旋律）不一定就是聽(tīng)者（記譜專家）心目中為這段實(shí)際哼唱片段尋求的 哼唱旋律 [23]。實(shí)際上，聽(tīng)者尋求的哼唱旋律應(yīng)是能與其心目中對(duì)這個(gè)哼唱片段的調(diào)性認(rèn)知 保持一致的旋律。我們稱之為期望哼唱旋律。多數(shù)情況下，期望哼唱旋律的每個(gè)音符的音 高應(yīng)是旋律的調(diào)性音級(jí)（當(dāng)然，哼唱旋律本身也可能存在作為臨時(shí)變化音的少數(shù)非調(diào)性音 級(jí)）。正確的哼唱旋律多數(shù)情況下應(yīng)是有調(diào)旋律。我們認(rèn)為期望哼唱旋律才是系統(tǒng)應(yīng)尋求 的正確結(jié)果。因此，正確的系統(tǒng)的性能評(píng)估方法應(yīng)涉及：
[0017]a)系統(tǒng)估算實(shí)際哼唱旋律（以絕對(duì)音高為音符音高的旋律）的正確性評(píng)估；
[0018]b)系統(tǒng)估算期望哼唱旋律（以調(diào)性音級(jí)為音符音高的旋律）的正確性評(píng)估；
[0019]c)綜合比較a)與b)二種評(píng)估結(jié)果以鑒別輸入哼唱的質(zhì)量（比如是否有"跑音" 等）并在此基礎(chǔ)上評(píng)估系統(tǒng)記譜性能（包括校正能力）。
[0020] (2)哼唱音符聽(tīng)覺(jué)屬性的界定標(biāo)準(zhǔn)還不夠規(guī)范。例如，具有滑音聽(tīng)覺(jué)的信號(hào)區(qū)域是 否可視為一個(gè)獨(dú)立的哼唱音符及其音高的認(rèn)定標(biāo)準(zhǔn)；具有穩(wěn)定音高或顫音聽(tīng)覺(jué)的信號(hào)區(qū)域 其音高波動(dòng)范圍的界定標(biāo)準(zhǔn)；帶有氣音聽(tīng)覺(jué)的哼唱音符開(kāi)始位置的確定等等；
[0021] (3)幾乎所有的哼唱旋律自動(dòng)識(shí)別系統(tǒng)，無(wú)論其音高估算的精度如何，最終都會(huì)采 用（F-1)或其它類似公式為輸入哼唱信號(hào)的一個(gè)哼唱音符所對(duì)應(yīng)的信號(hào)區(qū)域估算絕對(duì)音 高[9 1(λ24]，并把絕對(duì)音高作為哼唱旋律中音符的音高。其中，F(xiàn)0是這個(gè)信號(hào)區(qū)域按某種估算 模型估算的整體基頻。但聽(tīng)者（嚴(yán)格意義上說(shuō)應(yīng)是記譜專家）對(duì)一段實(shí)際哼唱中一個(gè)哼唱 音符音高的主觀認(rèn)定常與他（或她）對(duì)這個(gè)哼唱音符上下文的調(diào)性認(rèn)知存在密切關(guān)系。它 并非簡(jiǎn)單地與在一個(gè)孤立的信號(hào)區(qū)域內(nèi)估算出的絕對(duì)音高存在一一對(duì)應(yīng)關(guān)系。另外，基于 公式（F-1)的音高或音程界定法也缺乏彈性，不適用于估算音高波動(dòng)既自由又細(xì)微的人聲 哼唱旋律。受哼唱質(zhì)量或哼唱風(fēng)格的影響，實(shí)際哼唱中哼唱音符的音高并非總像公式（F-1) 哪樣，以整數(shù)MIDI音高為音高的中心點(diǎn)且波動(dòng)范圍固定在半音音程（即100音分）范圍 內(nèi)；
[0022]
[0023] (4)多數(shù)現(xiàn)有的哼唱旋律自動(dòng)識(shí)別系統(tǒng)沒(méi)有涉及調(diào)性分析[15'1819]。雖然以 (：.&111111^1181[22]提出的基于概率分析的調(diào)性分析方法及其后的各種擴(kuò)展模型被廣泛應(yīng)用 于各種音樂(lè)分析系統(tǒng)的調(diào)性分析中，但對(duì)于哼唱旋律線不太準(zhǔn)確的實(shí)際人聲哼唱來(lái)說(shuō)，由 于音高規(guī)整（roundtoMIDIpitch)過(guò)程存在"規(guī)整誤差"，這使得調(diào)性分析在現(xiàn)有的 SingingTranscription系統(tǒng)中的作用并不明顯。例如，盡管M.Ryyn&nen等人[16]提出的 分析模型中的MusicologicalModel就是應(yīng)用C.Krumhansl提出的基于概率分析的調(diào)性分 析方法分析人聲哼唱，但其在調(diào)性分析之前的無(wú)調(diào)性傾向的音高規(guī)整過(guò)程中的"規(guī)整誤差" 影響了最終的分析結(jié)果。
[0024] 參考文獻(xiàn)：
[0025] [ 1 ]A.DeCheveigneandH.Kawahara, "YIN，afundamental frequencyestimatorforspeechandmusic.J.Acoust.Soc.Amer. ,vol. 111. no. 4.pp. 1917-1930, 2002.
[0026] [2]H.KobayashiandT.S.Himamura,"Aweightedautocorreleationmethod forpitchextractionofnoisyspeech''，inProc.ofInternationalConferenceon Acoustics,Speech,andSignalProcessing, (ICASSP^ 00),2000,Vol. 3,pp. 1307-1310.
[0027] [3]L.R.Rabiner，"OntheUseofAutocorrelationAnalysisforPitch Detection"，IEEETransactionsonAcoustics,Speech,AndSignalProcessing,Vol. 25 ,Issue. 1,pp. 24-33,Feb. 1997.
[0028] [4]E.DorkenandN.S.Hamid,"Improvedmusicalpitchtrackingusing principaldecompositionanalysis"，inProc.ofInternationalConferenceon Acoustics，Speech，andSignalProcessing，(ICASSP' 94)，1994,pp.II/217-II/220.
[0029] [5]W.J.Pielemeier，G.H.Wakefield，"Time-frequencyandtime-scale analysisformusicaltranscrioption"inIEEESymp.onSignalProcessing. (IEEE-SP，92)，1992,pp. 421-424.
[0030] [6]JudithC.Brown,"Musicalfundamentalfrequencytrackingusing apatternrecognitionmethod^ ,J.Acoust.Soc.Amer.vol.92,Issue3,pp. 1394 -1402,Sept. 1992.
[0031] [7]JudithC.Brownetal.ukhighresolutionfundamentalfrequency determinationbasedonphasechangesoftheFouriertransform"，J.Acoust.Soc. Amer.vol. 94,Issue2,pp. 662-667,Aug