單通道音樂人聲分離中的多種特定樂器強(qiáng)化分離方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及單通道音樂的伴奏聲和人聲分離領(lǐng)域，特別是一種單通道音樂人聲分 離中的多種特定樂器強(qiáng)化分離方法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)信號(hào)處理技術(shù)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，單通道音樂的歌聲分離越來 越受人們重視。由于人們?cè)诂F(xiàn)實(shí)中能獲得的音樂信號(hào)大部分是單通道音樂信號(hào)，很難得到 伴奏聲和歌聲分離的信號(hào)。然而擁有純凈的伴奏聲和歌聲在現(xiàn)實(shí)中又有著非常重要的作 用。單通道音樂人聲分離技術(shù)在很多系統(tǒng)都會(huì)用到，如KTV系統(tǒng)中音樂伴奏的獲得；音樂檢 索系統(tǒng)中根據(jù)音樂內(nèi)容來檢索的系統(tǒng)特別是根據(jù)歌唱者的聲音特質(zhì)檢索音樂、音樂推薦系 統(tǒng)中利用歌唱者聲音特質(zhì)來推薦音樂等等。不管是KTV系統(tǒng)中的伴奏獲得、還是基于歌唱 者聲音的音樂檢索系統(tǒng)、抑或是基于歌唱者聲音的音樂推薦系統(tǒng)；為了保證這些系統(tǒng)有較 好的性能，必須得到較為純凈的伴奏聲或者歌聲。然而，現(xiàn)在針對(duì)單通道音樂的歌聲分離技 術(shù)還遠(yuǎn)遠(yuǎn)不能達(dá)到人耳系統(tǒng)的性能，因此對(duì)于該領(lǐng)域的研究還有很大的步伐要走。
[0003] 由于單通道音樂信號(hào)是極度欠定的，所以在對(duì)其進(jìn)行歌聲分離時(shí)可用的信息非常 少，這使得針對(duì)單通道音樂的歌聲分離具有很大的挑戰(zhàn)性。盡管，針對(duì)單通道語(yǔ)音的分離已 經(jīng)有很大的成功，但由于歌聲的特殊性，很多單通道語(yǔ)音分離技術(shù)并不能很好的應(yīng)用到單 通道音樂歌聲分離中。目前已經(jīng)又很多基于歌聲和伴奏的自身特征來進(jìn)行分離。如基于音 高周期檢測(cè)、低秩稀疏矩陣分解和基于信號(hào)重復(fù)?；谝舾咧芷跈z測(cè)主要是利用人聲的音 高周期來分離人聲和伴奏聲；而低秩稀疏矩陣則是認(rèn)為伴奏是低秩的，人聲是稀疏的，基于 這一認(rèn)識(shí)提出了基于低秩稀疏矩陣分解的人聲分離方法；最后基于信號(hào)重復(fù)主要利用伴奏 聲的重復(fù)性來達(dá)到分離的目的。
[0004] 盡管已經(jīng)有那么多的針對(duì)單通道音樂人聲分離的方法被提出。然而，這些方法并 沒有利用不同樂器的自身不同特性來強(qiáng)化分離這些樂器聲。而且到目前為止都沒有一種能 夠?qū)Χ喾N特定樂器聲進(jìn)行強(qiáng)化分離的人聲分離系統(tǒng)被提出。而這樣的一個(gè)系統(tǒng)具有很強(qiáng)的 擴(kuò)展性，同時(shí)在理論上有會(huì)有很好的分離效果。所以本專利提出了單通道音樂人聲分離中 的多種特定樂器強(qiáng)化分離方法，同時(shí)也解決了訓(xùn)練數(shù)據(jù)的來源問題。該系統(tǒng)簡(jiǎn)單靈活，同時(shí) 具有很好的實(shí)用性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種單通道音樂人聲分離中的多種特定樂器強(qiáng)化分離方 法，以實(shí)現(xiàn)針對(duì)單通道音樂特性的歌聲分離問題。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種單通道音樂人聲分離中的多種特定 樂器強(qiáng)化分離方法，該方法對(duì)電吉他、單簧管、小提琴、鋼琴、木吉他、風(fēng)琴、長(zhǎng)笛和小號(hào)共計(jì) 8種樂器進(jìn)行強(qiáng)化分離，該強(qiáng)化分離是通過一層單樂器分離器和三層多樂器組合強(qiáng)化器實(shí) 現(xiàn)，其中，第一層多樂器組合強(qiáng)化器能夠分離2類樂器聲，即2類樂器組合強(qiáng)化器，第二層多 樂器組合強(qiáng)化器能夠分離4類樂器聲，即4類樂器組合強(qiáng)化器，第三層多樂器組合強(qiáng)化器能 夠分離8類樂器聲，即8類樂器組合強(qiáng)化器，具體步驟如下： 51 :利用傅里葉變換從待分離的單通道音樂片段獲得特征； 52 :將從步驟Sl得到的特征作為已訓(xùn)練得到的多個(gè)單樂器分離器的輸入，并得到多個(gè) 不同樂器分離結(jié)果； 53 :將從步驟S2得到的多個(gè)不同樂器分離結(jié)果進(jìn)行兩兩組合得到4個(gè)組合結(jié)果，分別 作為已訓(xùn)練得到的4個(gè)不同的2類樂器組合強(qiáng)化器的輸入，并得到4個(gè)2類樂器的分離結(jié) 果； 54 :將從步驟S3得到的4個(gè)2類樂器分離結(jié)果進(jìn)行兩兩組合得到2個(gè)組合結(jié)果，分別 作為已訓(xùn)練得到的2個(gè)不同的4類樂器組合強(qiáng)化器的輸入，并得到2個(gè)4類樂器的分離結(jié) 果； 55 :將從步驟S4得到的2個(gè)4類樂器分離結(jié)果進(jìn)行組合，作為已訓(xùn)練得到的8類樂器 組合強(qiáng)化器的輸入，并得到8類樂器的分離結(jié)果； 其中，2類樂器表示同時(shí)分離2種不同的樂器聲，4類樂器表示同時(shí)分離4種不同的樂 器聲，8類樂器表示同時(shí)分離8種不同的樂器聲； 由上述步驟獲得的伴奏聲和歌聲的特征得到伴奏聲和歌聲。
[0007] 在本發(fā)明一實(shí)施例中，所述步驟Sl中單通道音樂片段的特征的獲得方式為：通過 傅里葉變換得到的長(zhǎng)度為：『的單通道音樂片段歸一化后的幅度譜；設(shè)輸入為次:，則:?是大小 為:#*_的行向量，其中，F(xiàn)s是該音樂片段的采樣頻率，!的取值為16ms至512ms。
[0008] 在本發(fā)明一實(shí)施例中，所述單樂器分離器由DRNN構(gòu)成，且DRNN的輸入大小為 3*(|*:痛/2+1)，輸出為"矜*2。
[0009] 在本發(fā)明一實(shí)施例中，所述多樂器組合強(qiáng)化器由BP神經(jīng)網(wǎng)絡(luò)構(gòu)成，且BP神經(jīng)網(wǎng)絡(luò) 的輸入大小為1:*叢_算，輸出為_1|樣:。
[0010] 在本發(fā)明一實(shí)施例中，單樂器分離器訓(xùn)練樣本的構(gòu)建：構(gòu)建訓(xùn)練樣本 ，SSPi表示第i個(gè)單樂器分離器；對(duì)于第i個(gè)單樂器分離器的訓(xùn)練樣本的構(gòu)建按照如下方 法：將第i種樂器聲與固定的人聲混合得到;Twv，而】則包含兩種獨(dú)立的聲音分別為第 i種樂器聲和固定的人聲。
[0011] 在本發(fā)明一實(shí)施例中，對(duì)于電吉他的單樂器分離器的學(xué)習(xí)，按照以下步驟實(shí)現(xiàn)： 步驟S71 :構(gòu)建電吉他訓(xùn)練樣本職; 步驟S72 :利用步驟S71得到的訓(xùn)練DRNN模型，從而得到電吉他的單樂器 分離器； 同理，可得單簧管、小提琴、鋼琴、木吉他、風(fēng)琴、長(zhǎng)笛和小號(hào)的單樂器分離器。
[0012] 在本發(fā)明一實(shí)施例中，多樂器組合強(qiáng)化器學(xué)習(xí)，按照以下步驟實(shí)現(xiàn)： 步驟SSi:構(gòu)建訓(xùn)練樣本，週f/A表示該組合強(qiáng)化器能夠分離k類樂器，i表 示第i個(gè)k類樂器組合強(qiáng)化器，每個(gè)k類樂器組合強(qiáng)化器能夠分離k種不同的樂器，其中， i=l，. . .，n/k，k為2的指數(shù)倍；設(shè)一單通道音樂人聲分離數(shù)據(jù)集HD,其中，Y包含獨(dú)立 的伴奏和歌聲，2類樂器組合強(qiáng)化器的訓(xùn)練集由JT分別通過n個(gè)單樂器分離器后生成的結(jié) 果兩兩組合后得到％;對(duì)于k類樂器組合強(qiáng)化器的訓(xùn)練集由書依次通過n個(gè)單樂器分離 器、已訓(xùn)練好的2類樂器組合強(qiáng)化器、已訓(xùn)練好的4類樂器組合強(qiáng)化器，以此類推，直至通過 已訓(xùn)練好的k/2類樂器組合強(qiáng)化器生成的結(jié)果兩兩組合得到寒_ ; 步驟S82 :訓(xùn)練k類樂器組合強(qiáng)化器；利用步驟S81的k類樂器分離器的訓(xùn)練集構(gòu)建方 法得到的n/k個(gè)7 )訓(xùn)練BP模型，從而得到n/k個(gè)k類樂器組合強(qiáng)化器。
[0013] 在本發(fā)明一實(shí)施例中，所述2類樂器組合強(qiáng)化器的組合為：電吉他與單簧管、小提 琴與鋼琴、木吉他與風(fēng)琴、長(zhǎng)笛與小號(hào)； 所述4類樂器組合強(qiáng)化器的組合為：電吉他、單簧管、小提琴、鋼琴和木吉他、風(fēng)琴、長(zhǎng) 笛、小號(hào)； 所述8類樂器組合強(qiáng)化器的組合為：電吉他、單簧管、小提琴、鋼琴、木吉他、風(fēng)琴、長(zhǎng) 笛、小號(hào)。
[0014] 在本發(fā)明一實(shí)施例中，所述步驟S5后，還包括一步驟，即對(duì)所述步驟S5獲得的8 類樂器的分離結(jié)果去歸一化，然后使用重疊相加法得到時(shí)域伴奏聲和歌聲 相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明提出了單通道音樂人聲分離中的 多種特定樂器強(qiáng)化分離方法，該系統(tǒng)由單樂器分離器和多樂器組合強(qiáng)化器組成，能夠?qū)崿F(xiàn) 對(duì)大部分樂器和歌聲的分離；考慮到音樂是一種時(shí)間序列信號(hào)，本發(fā)明利用DRNN作為單樂 器分離器的核心，為不同的單樂器分離器建立不同的DRNN模型；同時(shí)，由于不同的單樂器 分離器的輸出結(jié)果不一樣，我們用BP網(wǎng)絡(luò)作為多樂器組合強(qiáng)化器的核心來實(shí)現(xiàn)多樂器的 分離；該方法簡(jiǎn)單，實(shí)現(xiàn)靈活，實(shí)用性較強(qiáng)。
【附圖說明】
[0015] 圖1為本發(fā)明單通道音樂人聲分離中的多種特定樂器強(qiáng)化分離方法的流程圖。
【具體實(shí)施方式】
[0016] 下面結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行具體說明。
[0017] 如圖1所示，本發(fā)明一種單通道音樂人聲分離中的多種特定樂器強(qiáng)化分離方法， 該方法對(duì)電吉他、單簧管、小提琴、鋼琴、木吉他、風(fēng)琴、長(zhǎng)笛和小號(hào)共計(jì)8種樂器進(jìn)行強(qiáng)化 分離，該強(qiáng)化分離是通過一層單樂器分離器和三層多樂器組合強(qiáng)化器實(shí)現(xiàn)，其中，第一層多 樂器組合強(qiáng)化器能夠分離2類樂器聲，即2類樂器組合強(qiáng)化器，第二層多樂器組合強(qiáng)化器能 夠分離4類樂器聲，即4類樂器組合強(qiáng)化器，第三層多樂器組合強(qiáng)化器能夠分離8類樂器 聲，即8類樂器組合強(qiáng)化器，具體步驟如下(注：2類樂器表示同時(shí)分離2種不同的樂器聲，4 類樂器表示同時(shí)分離4種不同的樂器聲，8類樂器表示同時(shí)分離8種不同的樂器聲）： 51 :利用傅里葉變換從待分離的單通道音樂片段獲得特征； 52 :將從步驟Sl得到的特征作為已訓(xùn)練得到的多個(gè)單樂器分離器的輸入，并得到多個(gè) 不同樂器分離結(jié)果； 53 :將從步驟S2得到的多個(gè)不同樂器分離結(jié)果進(jìn)行兩兩組合得到4個(gè)組合結(jié)果，分別 作為已訓(xùn)練得到的4個(gè)不同的2類樂器組合強(qiáng)化器的輸入，并得到4個(gè)2類樂器的分離結(jié) 果； 54 :將從步驟S3得到的4個(gè)2類樂器分離結(jié)果進(jìn)行兩兩組合得到2個(gè)組合結(jié)果，分別 作為已訓(xùn)練得到的2個(gè)不同的4類樂器組合強(qiáng)化器的輸入，并得到2個(gè)4類樂器的分離結(jié) 果； S5 :將從步驟S4得到的2個(gè)4類樂器分離結(jié)果進(jìn)行組合，作為已訓(xùn)練得到的8類樂器