本技術(shù)涉及智能語(yǔ)音處理，尤其涉及單通道多說(shuō)話人因子提取模型訓(xùn)練方法、提取方法、說(shuō)話人分離方法及相關(guān)裝置。

背景技術(shù)：

1、在如多人語(yǔ)音連線、線上或線下等說(shuō)話人多于兩人的多人交替說(shuō)話場(chǎng)景中，基于說(shuō)話內(nèi)容自動(dòng)記錄的需求，通常需要采用電子設(shè)備將各個(gè)說(shuō)話人在多人交替說(shuō)話場(chǎng)景中發(fā)出的語(yǔ)音數(shù)據(jù)自動(dòng)轉(zhuǎn)換為文本數(shù)據(jù)，再標(biāo)注每段文本數(shù)據(jù)對(duì)應(yīng)的說(shuō)話人在該多人交替說(shuō)話場(chǎng)景中的唯一標(biāo)識(shí)，即角色信息。雖然在電話等兩人對(duì)話的交替說(shuō)話場(chǎng)景中，說(shuō)話人角色標(biāo)注的技術(shù)已得到廣泛應(yīng)用，但由于多人交替說(shuō)話場(chǎng)景中通常交替說(shuō)話人數(shù)眾多且說(shuō)話人發(fā)言長(zhǎng)度及頻率不均，如大型會(huì)議中的依次報(bào)告及問(wèn)答等場(chǎng)景，因此會(huì)導(dǎo)致多人交替說(shuō)話場(chǎng)景中盲源說(shuō)話人分離效果不佳，無(wú)法滿足企業(yè)等大型會(huì)議記錄的實(shí)用要求。

2、目前，在現(xiàn)有的多人交替說(shuō)話場(chǎng)景中的多說(shuō)話分離方式中，通常采用先對(duì)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行單通道語(yǔ)音片段切分，再提取各個(gè)單通道語(yǔ)音片段各自對(duì)應(yīng)的用于表征說(shuō)話人的語(yǔ)音特征的說(shuō)話人因子，而后根據(jù)說(shuō)話人因子對(duì)各個(gè)單通道語(yǔ)音片段進(jìn)行針對(duì)相同說(shuō)話人的聚類，進(jìn)而在多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)中分離出各個(gè)說(shuō)話人的單通道語(yǔ)音片段。

3、然而，雖然因多人交替說(shuō)話場(chǎng)景通常在室內(nèi)舉辦且說(shuō)話人通過(guò)話筒發(fā)聲，而使得說(shuō)話人因子的提取不易受到信道、說(shuō)話人狀態(tài)和環(huán)境噪聲的影響，但由于說(shuō)話人的表述內(nèi)容很少重復(fù)，因此易導(dǎo)致各個(gè)單通道語(yǔ)音片段各自對(duì)應(yīng)的不同的表述內(nèi)容干擾說(shuō)話人因子提取的準(zhǔn)確性和有效性，進(jìn)而影響后續(xù)單通道多說(shuō)話人分離的有效性和準(zhǔn)確性。

4、因此，當(dāng)前亟需設(shè)計(jì)一種能夠解決多人交替說(shuō)話場(chǎng)景中的單通道語(yǔ)音對(duì)應(yīng)的表述內(nèi)容文本對(duì)單通道語(yǔ)音的說(shuō)話人語(yǔ)音特征提取的干擾影響的方案。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本技術(shù)實(shí)施例提供了單通道多說(shuō)話人因子提取模型訓(xùn)練方法、提取方法、說(shuō)話人分離方法及相關(guān)裝置，以消除或改善現(xiàn)有技術(shù)中存在的一個(gè)或更多個(gè)缺陷。

2、本技術(shù)的第一個(gè)方面提供一種單通道多說(shuō)話人因子提取模型訓(xùn)練方法，包括：

3、獲取各個(gè)說(shuō)話人分別在多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征；

4、將每個(gè)所述說(shuō)話人各自的所述表述內(nèi)容文本特征和第二單通道語(yǔ)音片段數(shù)據(jù)構(gòu)建為一個(gè)訓(xùn)練樣本，其中，所述第二單通道語(yǔ)音片段數(shù)據(jù)與所述第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容不同；

5、采用各個(gè)所述訓(xùn)練樣本，分別針對(duì)變分自編碼器中的編碼器和解碼器執(zhí)行預(yù)設(shè)的基于表述內(nèi)容文本蒸餾的模型訓(xùn)練步驟，以將所述編碼器訓(xùn)練為用于提取單通道語(yǔ)音片段數(shù)據(jù)對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征的單通道多說(shuō)話人因子提取模型。

6、在本技術(shù)的一些實(shí)施例中，所述基于表述內(nèi)容文本蒸餾的模型訓(xùn)練步驟包括：

7、將當(dāng)前的所述訓(xùn)練樣本中的所述第二單通道語(yǔ)音片段數(shù)據(jù)輸入所述變分自編碼器中的所述編碼器，以使該編碼器輸出該第二單通道語(yǔ)音片段數(shù)據(jù)對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征；

8、將同一所述訓(xùn)練樣本對(duì)應(yīng)的所述說(shuō)話人語(yǔ)音特征和所述表述內(nèi)容文本特征輸入所述變分自編碼器中的所述解碼器，并以該解碼器對(duì)應(yīng)輸出的重構(gòu)語(yǔ)音數(shù)據(jù)與所述第二單通道語(yǔ)音片段數(shù)據(jù)之間相似度最大化為目標(biāo)，訓(xùn)練所述編碼器和所述解碼器。

9、在本技術(shù)的一些實(shí)施例中，所述獲取各個(gè)說(shuō)話人分別在所述多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征，包括：

10、將各個(gè)說(shuō)話人分別在所述多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)分別輸入因素的語(yǔ)音識(shí)別系統(tǒng)，以使該語(yǔ)音識(shí)別系統(tǒng)分別提取各個(gè)所述第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征。

11、在本技術(shù)的一些實(shí)施例中，在所述獲取各個(gè)說(shuō)話人分別在所述多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征之前，還包括：

12、對(duì)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行噪聲和靜音去除處理；

13、基于預(yù)設(shè)的說(shuō)話人分割算法，對(duì)經(jīng)所述噪聲和靜音去除處理后的所述多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行說(shuō)話人變化點(diǎn)檢測(cè)，得到該多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)中的各個(gè)說(shuō)話人切換點(diǎn)；

14、基于各個(gè)所述說(shuō)話人切換點(diǎn)對(duì)經(jīng)所述噪聲和靜音去除處理后的所述多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行語(yǔ)音分割，得到多個(gè)單通道語(yǔ)音片段數(shù)據(jù)；

15、根據(jù)預(yù)獲取的各個(gè)所述單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人的唯一標(biāo)識(shí)，在各個(gè)所述單通道語(yǔ)音片段數(shù)據(jù)中分別獲取各個(gè)所述說(shuō)話人各自對(duì)應(yīng)的第一單通道語(yǔ)音片段數(shù)據(jù)和第二單通道語(yǔ)音片段數(shù)據(jù)，其中，所述第二單通道語(yǔ)音片段數(shù)據(jù)與所述第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容不同。

16、本技術(shù)的第二個(gè)方面提供一種單通道多說(shuō)話人因子提取方法，包括：

17、獲取目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的多個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

18、將各個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)分別輸入單通道多說(shuō)話人因子提取模型，以使該單通道多說(shuō)話人因子提取模型分別輸出各個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征，其中，所述單通道多說(shuō)話人因子提取模型預(yù)先基于本技術(shù)第一個(gè)方面提供的所述單通道多說(shuō)話人因子提取模型訓(xùn)練方法訓(xùn)練得到。

19、在本技術(shù)的一些實(shí)施例中，所述獲取目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的多個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)，包括：

20、對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行噪聲和靜音去除處理；

21、基于預(yù)設(shè)的說(shuō)話人分割算法，對(duì)經(jīng)所述噪聲和靜音去除處理后的所述目標(biāo)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行說(shuō)話人變化點(diǎn)檢測(cè)，得到該目標(biāo)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)中的各個(gè)說(shuō)話人切換點(diǎn)；

22、基于所述目標(biāo)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)中的各個(gè)所述說(shuō)話人切換點(diǎn)，對(duì)經(jīng)所述噪聲和靜音去除處理后的所述目標(biāo)多人交替說(shuō)話場(chǎng)景音頻數(shù)據(jù)進(jìn)行語(yǔ)音分割，得到多個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)。

23、本技術(shù)的第三個(gè)方面提供一種單通道多說(shuō)話人分離方法，包括：

24、采用預(yù)設(shè)的目標(biāo)聚類方式以及該目標(biāo)聚類方式對(duì)應(yīng)的目標(biāo)閾值，對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征進(jìn)行聚類，以得到所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的目標(biāo)說(shuō)話人簇，其中，所述目標(biāo)說(shuō)話人簇包含有屬于同一所述說(shuō)話人的全部所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

25、其中，所述各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征預(yù)先基于本技術(shù)第二個(gè)方面提供的所述單通道多說(shuō)話人因子提取方法得到。

26、在本技術(shù)的一些實(shí)施例中，所述目標(biāo)聚類方式包括：第一聚類方式和第二聚類方式，所述目標(biāo)閾值包括：所述第一聚類方式對(duì)應(yīng)的第一閾值以及所述第二聚類方式對(duì)應(yīng)的第二閾值；

27、相對(duì)應(yīng)的，所述采用預(yù)設(shè)的目標(biāo)聚類方式以及該目標(biāo)聚類方式對(duì)應(yīng)的目標(biāo)閾值，對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征進(jìn)行聚類，以得到所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的目標(biāo)說(shuō)話人簇，包括：

28、采用第一聚類方式以及該第一聚類方式對(duì)應(yīng)的第一閾值，對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征進(jìn)行聚類以得到所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的第一說(shuō)話人簇；所述第一說(shuō)話人簇中包含有至少一個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

29、以及，采用第二聚類方式以及該第二聚類方式對(duì)應(yīng)的第二閾值，對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征進(jìn)行聚類，以得到所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的第二說(shuō)話人簇；所述第二說(shuō)話人簇中包含有至少一個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

30、基于預(yù)設(shè)的共識(shí)聚類打分策略，根據(jù)目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的所述第一說(shuō)話人簇和所述第二說(shuō)話人簇，確定所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的所述目標(biāo)說(shuō)話人簇。

31、在本技術(shù)的一些實(shí)施例中，所述第一聚類方式包括譜聚類，和/或，所述第二聚類方式包括kmeans聚類。

32、本技術(shù)的第四個(gè)方面提供一種單通道多說(shuō)話人因子提取模型訓(xùn)練裝置，包括：

33、文本因子獲取模塊，用于獲取各個(gè)說(shuō)話人分別在多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征；

34、訓(xùn)練樣本構(gòu)建模塊，用于將每個(gè)所述說(shuō)話人各自的所述表述內(nèi)容文本特征和第二單通道語(yǔ)音片段數(shù)據(jù)構(gòu)建為一個(gè)訓(xùn)練樣本，其中，所述第二單通道語(yǔ)音片段數(shù)據(jù)與所述第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容不同；

35、模型訓(xùn)練模塊，用于采用各個(gè)所述訓(xùn)練樣本，分別針對(duì)變分自編碼器中的編碼器和解碼器執(zhí)行預(yù)設(shè)的基于表述內(nèi)容文本蒸餾的模型訓(xùn)練步驟，以將所述編碼器訓(xùn)練為用于提取單通道語(yǔ)音片段數(shù)據(jù)對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征的單通道多說(shuō)話人因子提取模型。

36、本技術(shù)的第五個(gè)方面提供一種單通道多說(shuō)話人因子提取裝置，包括：

37、數(shù)據(jù)獲取模塊，用于獲取目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的多個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

38、說(shuō)話人語(yǔ)音特征提取模塊，用于將各個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)分別輸入單通道多說(shuō)話人因子提取模型，以使該單通道多說(shuō)話人因子提取模型分別輸出各個(gè)所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征，其中，所述單通道多說(shuō)話人因子提取模型預(yù)先基于本技術(shù)第一個(gè)方面提供的單通道多說(shuō)話人因子提取模型訓(xùn)練方法訓(xùn)練得到。

39、本技術(shù)的第六個(gè)方面提供一種單通道多說(shuō)話人分離裝置，包括：

40、聚類模塊，用于采用預(yù)設(shè)的目標(biāo)聚類方式以及該目標(biāo)聚類方式對(duì)應(yīng)的目標(biāo)閾值，對(duì)目標(biāo)多人交替說(shuō)話場(chǎng)景對(duì)應(yīng)的各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征進(jìn)行聚類，以得到所述目標(biāo)多人交替說(shuō)話場(chǎng)景中的各個(gè)說(shuō)話人各自對(duì)應(yīng)的目標(biāo)說(shuō)話人簇，其中，所述目標(biāo)說(shuō)話人簇包含有屬于同一所述說(shuō)話人的全部所述目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)；

41、其中，所述各個(gè)目標(biāo)單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征預(yù)先基于本技術(shù)第二個(gè)方面提供的所述單通道多說(shuō)話人因子提取方法得到。

42、本技術(shù)的第七個(gè)方面提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本技術(shù)第一個(gè)方面提供的所述單通道多說(shuō)話人因子提取模型訓(xùn)練方法、如本技術(shù)第二個(gè)方面提供的所述單通道多說(shuō)話人因子提取方法以及如本技術(shù)第三個(gè)方面提供的所述單通道多說(shuō)話人分離方法中的至少一種。

43、本技術(shù)的第八個(gè)方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本技術(shù)第一個(gè)方面提供的所述單通道多說(shuō)話人因子提取模型訓(xùn)練方法、如本技術(shù)第二個(gè)方面提供的所述單通道多說(shuō)話人因子提取方法以及如本技術(shù)第三個(gè)方面提供的所述單通道多說(shuō)話人分離方法中的至少一種。

44、本技術(shù)的第九個(gè)方面提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本技術(shù)第一個(gè)方面提供的所述單通道多說(shuō)話人因子提取模型訓(xùn)練方法、如本技術(shù)第二個(gè)方面提供的所述單通道多說(shuō)話人因子提取方法以及如本技術(shù)第三個(gè)方面提供的所述單通道多說(shuō)話人分離方法中的至少一種。

45、本技術(shù)提供的單通道多說(shuō)話人因子提取模型訓(xùn)練方法，通過(guò)獲取各個(gè)說(shuō)話人分別在多人交替說(shuō)話場(chǎng)景中發(fā)出的第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容文本特征；將每個(gè)所述說(shuō)話人各自的所述表述內(nèi)容文本特征和第二單通道語(yǔ)音片段數(shù)據(jù)構(gòu)建為一個(gè)訓(xùn)練樣本，其中，所述第二單通道語(yǔ)音片段數(shù)據(jù)與所述第一單通道語(yǔ)音片段數(shù)據(jù)各自對(duì)應(yīng)的表述內(nèi)容不同；采用各個(gè)所述訓(xùn)練樣本，分別針對(duì)變分自編碼器中的編碼器和解碼器執(zhí)行預(yù)設(shè)的基于表述內(nèi)容文本蒸餾的模型訓(xùn)練步驟，以將所述編碼器訓(xùn)練為用于提取單通道語(yǔ)音片段數(shù)據(jù)對(duì)應(yīng)的說(shuō)話人語(yǔ)音特征的單通道多說(shuō)話人因子提取模型，能夠在模型訓(xùn)練過(guò)程中蒸餾說(shuō)話人單通道語(yǔ)音對(duì)應(yīng)的表述內(nèi)容文本，能夠有效降低表述內(nèi)容文本對(duì)說(shuō)話人語(yǔ)音特征提取有效性的冗余信息干擾，進(jìn)而能夠有效提高采用該模型提取的說(shuō)話人語(yǔ)音特征的準(zhǔn)確性以及后續(xù)用于單通道多說(shuō)話人分離的應(yīng)用有效性和準(zhǔn)確性。

46、本技術(shù)的附加優(yōu)點(diǎn)、目的，以及特征將在下面的描述中將部分地加以闡述，且將對(duì)于本領(lǐng)域普通技術(shù)人員在研究下文后部分地變得明顯，或者可以根據(jù)本技術(shù)的實(shí)踐而獲知。本技術(shù)的目的和其它優(yōu)點(diǎn)可以通過(guò)在說(shuō)明書以及附圖中具體指出的結(jié)構(gòu)實(shí)現(xiàn)到并獲得。

47、本領(lǐng)域技術(shù)人員將會(huì)理解的是，能夠用本技術(shù)實(shí)現(xiàn)的目的和優(yōu)點(diǎn)不限于以上具體所述，并且根據(jù)以下詳細(xì)說(shuō)明將更清楚地理解本技術(shù)能夠?qū)崿F(xiàn)的上述和其他目的。