專(zhuān)利名稱(chēng)：利用話(huà)音識(shí)別器反饋來(lái)進(jìn)行語(yǔ)音活動(dòng)檢測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用話(huà)音識(shí)別器反饋來(lái)進(jìn)行語(yǔ)音活動(dòng)檢測(cè)。
背景技術(shù)：
語(yǔ)音活動(dòng)檢測(cè)(VAD)是用在話(huà)音處理中的檢測(cè)人類(lèi)話(huà)音存在或不存在的技術(shù)。VAD常常被用在各種不同的系統(tǒng)中，諸如例如包括話(huà)音編碼、語(yǔ)音增強(qiáng)、話(huà)音識(shí)別以及回聲抵消的系統(tǒng)。通過(guò)使用VAD，一旦確定特定內(nèi)容塊或信號(hào)的一部分是話(huà)音，話(huà)音識(shí)別技術(shù)就可被用來(lái)識(shí)別話(huà)音并將講出的詞語(yǔ)轉(zhuǎn)換成文本。對(duì)于諸如在線(xiàn)話(huà)音識(shí)別之類(lèi)的各種類(lèi)型的話(huà)音識(shí)別，VAD常常是事后補(bǔ)記。因此，被設(shè)計(jì)成用于非VAD任務(wù)的組件常常被或多或少地修改，以執(zhí)行各種VAD功能。然而，由于這些VAD組件并非是針對(duì)這些VAD功能而設(shè)計(jì)的，因此VAD可能是不準(zhǔn)確和/或低效的。

發(fā)明內(nèi)容
本文中描述了用于利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)改進(jìn)語(yǔ)音活動(dòng)檢測(cè)(VAD)的技術(shù)。在各個(gè)實(shí)施例中，VAD模塊可確定媒體文件的幀包括話(huà)音還是非話(huà)音。一旦幀被分類(lèi)為話(huà)音幀和/或非話(huà)音幀，話(huà)音識(shí)別器就可將話(huà)音幀和非話(huà)音幀中包括的詞語(yǔ)和非話(huà)音分別轉(zhuǎn)換成表示媒體文件的文本轉(zhuǎn)錄本。此外，VAD模塊可利用由話(huà)音識(shí)別器提供的反饋來(lái)改進(jìn)尚未被VAD模塊處理的幀的VAD。在各個(gè)實(shí)施例中，VAD模塊和話(huà)音識(shí)別器可異步地處理媒體文件，以使得VAD模塊在話(huà)音識(shí)別器之前處理媒體文件的幀。在其他實(shí)施例中，本文中描述了用于利用超前窗以改進(jìn)媒體文件的VAD的技術(shù)。更具體地，可維護(hù)第一幀是包括話(huà)音還是非話(huà)音的概率。此外，可至少部分地基于與媒體文件中在第一幀之前或之后的一個(gè)或多個(gè)附加幀相關(guān)聯(lián)的概率來(lái)更新先前維護(hù)的概率。與第一幀相對(duì)應(yīng)的VAD判定可被延遲，直至下游組件實(shí)際需要VAD判定。此時(shí)，當(dāng)前概率可被返回，且當(dāng)處理附加幀時(shí)，可更新此概率。提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護(hù)的主題的范圍。


參考附圖來(lái)闡明詳細(xì)描述，附圖中，附圖標(biāo)記最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在相同或不同附圖中使用同一附圖標(biāo)記指示相似或相同的項(xiàng)或特征。圖I圖解了根據(jù)各個(gè)實(shí)施例的用于利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)改進(jìn)語(yǔ)音活動(dòng)檢測(cè)的系統(tǒng)。圖2圖解了根據(jù)各個(gè)實(shí)施例的使用超前窗來(lái)改進(jìn)語(yǔ)音活動(dòng)檢測(cè)的系統(tǒng)。圖3是根據(jù)各實(shí)施例的圖解可以實(shí)現(xiàn)本文描述的語(yǔ)音活動(dòng)檢測(cè)方法的代表性計(jì)算設(shè)備的框圖。
圖4圖解了示出用于利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)指導(dǎo)語(yǔ)音活動(dòng)檢測(cè)的示例性過(guò)程的流程圖。圖5圖解了示出用于提供與語(yǔ)音活動(dòng)判定相關(guān)聯(lián)的反饋來(lái)指導(dǎo)語(yǔ)音活動(dòng)檢測(cè)的示例性過(guò)程的流程圖。圖6圖解了示出用于利用超前窗來(lái)更新媒體文件的幀的概率的示例性過(guò)程的流程圖。詳細(xì)描述本文中所描述的是用于利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)改進(jìn)在線(xiàn)話(huà)音識(shí)別的語(yǔ)音活動(dòng)檢測(cè)(VAD)的系統(tǒng)和/或技術(shù)。VAD指的是用于基于在段中是否檢測(cè)到話(huà)音來(lái)將音頻或視頻文件分成一個(gè)或多個(gè)段的技術(shù)。更具體地，VAD模塊可確定諸如記錄等音頻或視頻文件的哪些部分包括話(huà)音以及文件的哪些部分包括靜默和/或其他類(lèi)型的非話(huà)音。一旦作出該確定，VAD模塊就可將文件分成包含話(huà)音的段和不包含話(huà)音的段。包括話(huà)音的段或幀 可在隨后由話(huà)音識(shí)別器來(lái)處理，該話(huà)音識(shí)別器將口述詞語(yǔ)轉(zhuǎn)換成文本。接著，可以對(duì)與話(huà)音相關(guān)聯(lián)的文本進(jìn)行索引或不進(jìn)行索引。如果對(duì)與話(huà)音相關(guān)聯(lián)的文本進(jìn)行索引，則文本由此變得可搜索。給定諸如音頻文件或視頻文件等記錄，可能期望標(biāo)識(shí)該記錄中人們正在說(shuō)話(huà)的部分以及該記錄中沒(méi)有話(huà)音的那些部分。如果不對(duì)文件進(jìn)行分析來(lái)檢測(cè)文件的哪些部分包括話(huà)音，則將話(huà)音轉(zhuǎn)換成文本的話(huà)音識(shí)別器可能創(chuàng)建具有高差錯(cuò)率的轉(zhuǎn)錄本。例如，由于話(huà)音識(shí)別器不知曉話(huà)音何時(shí)開(kāi)始和結(jié)束，因此結(jié)果得到的轉(zhuǎn)錄本可能包含在開(kāi)始和/或結(jié)束時(shí)切斷的詞語(yǔ)部分。此類(lèi)錯(cuò)誤可導(dǎo)致轉(zhuǎn)錄本難以閱讀，且還可能無(wú)法準(zhǔn)確地表示音頻或視頻文件中說(shuō)了些什么，這可能使轉(zhuǎn)錄本的讀者感到失望。典型地，對(duì)VAD使用低計(jì)算信號(hào)處理辦法。通過(guò)使用此辦法，使用最小計(jì)算資源量，以使得VAD的結(jié)果可被嵌入到芯片上。然而，部分地由于正被使用的計(jì)算資源的限制，可能會(huì)犧牲VAD的質(zhì)量。通過(guò)利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)指導(dǎo)VAD，無(wú)需犧牲VAD的質(zhì)量且可利用最小計(jì)算資源量。例如，假定諸如移動(dòng)電話(huà)等相對(duì)低功率組件被通信地耦合到高功率(例如，增加的計(jì)算資源等)話(huà)音識(shí)別器。在此實(shí)施例中，包含VAD模塊的低功率組件可識(shí)別音頻或視頻文件中的哪些部分是話(huà)音以及哪些是非話(huà)音。接著，可將文件的分解段傳送給話(huà)音識(shí)別器。話(huà)音識(shí)別器可在隨后將文件的分段部分轉(zhuǎn)換成文本并將結(jié)果反饋給該低功率組件。由于來(lái)自話(huà)音識(shí)別器的結(jié)果可表示VAD模塊在分析音頻或視頻文件時(shí)的準(zhǔn)確度，因此低功率組件的VAD模塊可利用此反饋來(lái)改進(jìn)VAD模塊的穩(wěn)健性。換言之，來(lái)自話(huà)音識(shí)別器的反饋可被VAD模塊用來(lái)增強(qiáng)VAD模塊用于檢測(cè)音頻或視頻文件中的后繼幀里的話(huà)音相對(duì)非話(huà)音的能力。因此，可替代地利用來(lái)自話(huà)音識(shí)別器的反饋。在各個(gè)實(shí)施例中，反饋可與在線(xiàn)大詞匯量連續(xù)話(huà)音識(shí)別(LVCSR)相關(guān)聯(lián)。替代地利用話(huà)音識(shí)別器反饋會(huì)導(dǎo)致VAD模塊保持更簡(jiǎn)單和緊湊。這在VAD正于諸如移動(dòng)電話(huà)等低資源設(shè)備(這些低資源設(shè)備由在遠(yuǎn)程服務(wù)器上運(yùn)行的話(huà)音識(shí)別器來(lái)支持)上運(yùn)行時(shí)可能是重要的。如以下將更詳細(xì)描述的，可利用至少兩種類(lèi)型的反饋(1)用反饋指導(dǎo)VAD模型自適應(yīng)和⑵用反饋指導(dǎo)超前。以下參照?qǐng)D1-6描述VAD技術(shù)的各個(gè)示例。指導(dǎo)VAD模型自適應(yīng)反饋
圖I圖解了利用來(lái)自話(huà)音識(shí)別器的反饋來(lái)自適應(yīng)VAD的系統(tǒng)100。具體地，系統(tǒng)100包括VAD模塊102和話(huà)音識(shí)別器104。此外，系統(tǒng)100包括第一線(xiàn)程106和第二線(xiàn)程108。在各個(gè)實(shí)施例中，第一線(xiàn)程106與VAD模塊102相關(guān)聯(lián)，而第二線(xiàn)程108與話(huà)音識(shí)別器104相關(guān)聯(lián)。此外，VAD模塊102可被存儲(chǔ)在諸如移動(dòng)電話(huà)等移動(dòng)設(shè)備中，而話(huà)音識(shí)別器104可在本地或遠(yuǎn)程服務(wù)器上運(yùn)行。此外，VAD模塊102和話(huà)音識(shí)別器104還可駐留在相同的設(shè)備上。第一線(xiàn)程106和第二線(xiàn)程108可表示音頻文件或視頻文件(在下文中稱(chēng)為“音頻文件”或“視頻文件”)，其可包括人類(lèi)話(huà)音和各種類(lèi)型的非話(huà)音，諸如靜默或其他噪聲。在圖I中，關(guān)于時(shí)間110示出第一線(xiàn)程106和第二線(xiàn)程108，其中時(shí)間110始于時(shí)間此夕卜，第一線(xiàn)程106和第二線(xiàn)程108可包括媒體文件的一個(gè)或多個(gè)幀，諸如幀112-120，如圖I中所示的。然而，可設(shè)想任何數(shù)目的幀可被包括在媒體文件中。如圖所示，與第一線(xiàn)程106相對(duì)應(yīng)的VAD模塊102以及與第二線(xiàn)程108相對(duì)應(yīng)的話(huà)音識(shí)別器104可在任何給定時(shí)間110正各自處理和/或分析媒體文件的不同點(diǎn)。在一個(gè)實(shí)施例中，第一線(xiàn)程106和第二線(xiàn)程108可以是異步的，這意味著VAD模塊102和話(huà)音識(shí)別器104可能分別在不同的時(shí)間110分析第一線(xiàn)程106和第二線(xiàn)程108的相同巾貞。例如，幀120可以是由VAD模塊102在時(shí)間tp從第一線(xiàn)程106處理的，而相同的幀116可以是由話(huà)音識(shí)別器104在后繼時(shí)間tn從第二線(xiàn)程108處理的。因此，第一線(xiàn)程106的幀120可由VAD模塊102在第二線(xiàn)程108的分析之前的時(shí)間被分析。如圖I中所示的，時(shí)間110包括Wptm、tn_2、tn_j> tn 和 tp。如先前所提及的，VAD模塊102處理第一線(xiàn)程106。更具體地，VAD模塊102可將媒體文件(例如，第一線(xiàn)程106)分成一個(gè)或多個(gè)巾貞(例如,巾貞112-120)并將每個(gè)巾貞分類(lèi)為話(huà)音或非話(huà)音。即，VAD模塊102可檢測(cè)每個(gè)幀是包括人類(lèi)話(huà)音還是某一形式的非話(huà)音(例如，靜默、并非是話(huà)音的噪聲等)。話(huà)音識(shí)別器104可請(qǐng)求特定幀112-120的VAD信息。假定VAD模塊102已處理了幀112-120，則VAD模塊102可在隨后將所請(qǐng)求的VAD信息提供給話(huà)音識(shí)別器102。在另一實(shí)施例中，話(huà)音識(shí)別器104可獲得特定幀112-120的VAD信息，而無(wú)需首先發(fā)送請(qǐng)求。例如，VAD模塊102可能已對(duì)幀114執(zhí)行了 VAD，且已檢測(cè)到在此幀中包括話(huà)音?？稍陔S后由話(huà)音識(shí)別器104接收與幀114相關(guān)聯(lián)的語(yǔ)音活動(dòng)判定122。在各個(gè)實(shí)施例中，語(yǔ)音活動(dòng)判定112可以指對(duì)幀114是包括話(huà)音還是非話(huà)音的確定的結(jié)果。在以上實(shí)施例中，與第二線(xiàn)程108相關(guān)聯(lián)的話(huà)音識(shí)別器104可在時(shí)間tQ請(qǐng)求和/或獲得語(yǔ)音活動(dòng)判定122。然而，如圖I中所示的，與第一線(xiàn)程106相關(guān)聯(lián)的VAD模塊102可能已處在時(shí)間ty。因此，在此實(shí)施例中，VAD模塊102可能已比話(huà)音識(shí)別器104處理了更多的媒體文件。因此，由于VAD模塊102已處理了媒體文件的附加幀，因此VAD模塊102能關(guān)于媒體文件作出更穩(wěn)健的判定。類(lèi)似于幀114，與第一線(xiàn)程106相關(guān)聯(lián)的VAD模塊102還可檢測(cè)幀116是包括話(huà)音還是非話(huà)音。一旦作出此確定，可由VAD模塊102將與幀116相關(guān)聯(lián)的語(yǔ)音活動(dòng)判定124傳送給與第二線(xiàn)程108相關(guān)聯(lián)的話(huà)音識(shí)別器104。如同幀114一樣，VAD模塊102可在比話(huà)音識(shí)別器104接收與幀116相關(guān)聯(lián)的語(yǔ)音活動(dòng)判定124(tn_i)更早的時(shí)間(tn_2)處理幀116。
一旦話(huà)音識(shí)別器104已接收到語(yǔ)音活動(dòng)判定124，則話(huà)音識(shí)別器104可處理幀116。具體地，如果幀116被確定為包括話(huà)音，則話(huà)音識(shí)別器104可將此話(huà)音轉(zhuǎn)換成文本。因此，幀116內(nèi)所包括的話(huà)音可被轉(zhuǎn)換成文本轉(zhuǎn)錄本。在示例實(shí)施例中，與第二線(xiàn)程108相關(guān)聯(lián)的話(huà)音識(shí)別器104可將指導(dǎo)反饋126傳送給VAD模塊102。指導(dǎo)反饋126可包括例如以上所提及的本文轉(zhuǎn)錄本、對(duì)VAD模塊102關(guān)于幀116的準(zhǔn)確度的確定、和/或關(guān)于媒體文件的幀116的任何其他信息。由于第一線(xiàn)程106和第二線(xiàn)程108可以是異步的，因此在VAD模塊102接收指導(dǎo)反饋126時(shí)，VAD模塊102可能已處理了附加幀，諸如幀118和/或幀120。在各個(gè)實(shí)施例中，一旦接收到指導(dǎo)反饋126，VAD模塊就可利用指導(dǎo)反饋126來(lái)改進(jìn)其VAD的準(zhǔn)確度。在各個(gè)實(shí)施例中，VAD模塊102可包括用于VAD的一個(gè)或多個(gè)模型。更具體地，這些模型可用于確定媒體文件的幀是否包括話(huà)音和/或非話(huà)音。此外，VAD模塊102可更新其模型，以使得其可更準(zhǔn)確地確定媒體文件的特定幀是包含話(huà)音還是非話(huà)音。另外，VAD模塊102可對(duì)媒體文件中尚未被VAD模塊102處理的后繼幀的VAD使用已更新的模型。更具體地，VAD模塊102可使用指導(dǎo)反饋126來(lái)更好地確定媒體文件中包括的話(huà)音何時(shí)開(kāi)始和/或結(jié)束。VAD模塊102可通過(guò)關(guān)于諸如幀118和/或幀120等后繼幀重復(fù)以上所描述 的過(guò)程來(lái)改進(jìn)其對(duì)媒體文件中話(huà)音相對(duì)非話(huà)音的識(shí)別。例如，一旦VAD模塊102處理第一線(xiàn)程106的幀118和/或幀120，話(huà)音識(shí)別器104就可分別訪(fǎng)問(wèn)語(yǔ)音活動(dòng)判定128和語(yǔ)音活動(dòng)判定130。作為響應(yīng)，話(huà)音識(shí)別器104可利用語(yǔ)音活動(dòng)判定128和語(yǔ)音活動(dòng)判定130來(lái)分別將幀118和幀120中包括的話(huà)音轉(zhuǎn)換成文本轉(zhuǎn)錄本。諸如指導(dǎo)反饋132等指導(dǎo)反饋可在隨后被反饋給VAD模塊102。在各個(gè)實(shí)施例中，VAD模塊102可利用指導(dǎo)反饋來(lái)改進(jìn)由VAD模塊102執(zhí)行VAD的準(zhǔn)確度和穩(wěn)健性。通過(guò)重復(fù)接收來(lái)自話(huà)音識(shí)別器104的指導(dǎo)反饋，VAD模塊102可利用此反饋，以使得其可持續(xù)改進(jìn)其VAD確定。因此，來(lái)自話(huà)音識(shí)別器104的反饋可被用來(lái)改進(jìn)在線(xiàn)話(huà)音識(shí)別的VAD。結(jié)果，VAD模塊102可開(kāi)發(fā)用于標(biāo)識(shí)媒體文件中的話(huà)音、靜默和/或其他噪聲的更可靠和/或準(zhǔn)確的技術(shù)。更具體地，可包括由話(huà)音識(shí)別器104所生成的文本轉(zhuǎn)錄本的指導(dǎo)反饋(例如，指導(dǎo)反饋126和/或指導(dǎo)反饋132)可被用于自適應(yīng)和改進(jìn)VAD模塊102。結(jié)果，可改進(jìn)媒體文件的 VAD。如以上參照?qǐng)DI所述的，媒體文件內(nèi)的話(huà)音可被標(biāo)識(shí)并轉(zhuǎn)換成文本，直至由VAD模塊102確定話(huà)語(yǔ)結(jié)束。出于此討論的目的起見(jiàn)，話(huà)語(yǔ)結(jié)束可以指說(shuō)話(huà)者說(shuō)完單詞和/或句子之時(shí)。當(dāng)由話(huà)音識(shí)別器104創(chuàng)建文本轉(zhuǎn)錄本時(shí)，可對(duì)本文轉(zhuǎn)錄本進(jìn)行置信度計(jì)分(例如，通過(guò)使用來(lái)自識(shí)別網(wǎng)格的單詞后驗(yàn)分?jǐn)?shù))且確信幀可作為話(huà)音幀被反饋給VAD模塊102。在各個(gè)實(shí)施例中，確信幀可以指媒體文件中話(huà)音識(shí)別器104確信那些幀包括口述詞語(yǔ)的幀。類(lèi)似地，話(huà)音識(shí)別器104已確信地將其轉(zhuǎn)錄為靜默和/或噪聲的幀可作為靜默和/或噪聲幀被反饋。如果媒體文件內(nèi)的詞語(yǔ)和/或幀超預(yù)定可靠性閾值，則它們可被視為是確信的。可設(shè)想，以上閾值可被設(shè)為任何值，且閾值可以是用戶(hù)定義或由系統(tǒng)100定義的。一旦接收到反饋，與VAD模塊102相關(guān)聯(lián)的VAD模型就可被自適應(yīng)，且識(shí)別和VAD可使用新更新的VAD模型來(lái)繼續(xù)進(jìn)行。更具體地，與話(huà)音識(shí)別器104相關(guān)聯(lián)的模型可能比由VAD模塊102所利用的模型更強(qiáng)大。即，更強(qiáng)大的話(huà)音識(shí)別模型可比VAD模型包括更多參數(shù)，可能更復(fù)雜，和/或可能使用多得多的計(jì)算。結(jié)果，更強(qiáng)大的話(huà)音識(shí)別模型可能比用在VAD模塊102中的模型更擅長(zhǎng)對(duì)話(huà)音/噪聲進(jìn)行分類(lèi)。因此，由話(huà)音識(shí)別器104作出的更正確的判定可被反饋給VAD模塊102，以幫助確保媒體文件被正確地處理和分類(lèi)。在一個(gè)實(shí)施例中，通過(guò)對(duì)媒體文件的一個(gè)或多個(gè)幀進(jìn)行置信度計(jì)分，媒體文件的更可靠地轉(zhuǎn)錄的部分可被用于改進(jìn)VAD模塊102以及具體的VAD的穩(wěn)健性。在各個(gè)實(shí)施例中，媒體文件的確信部分傾向于更遠(yuǎn)離話(huà)音、靜默和/或噪聲邊界。指導(dǎo)超前反饋 圖2圖解了通過(guò)使用超前窗來(lái)改進(jìn)VAD的準(zhǔn)確度的系統(tǒng)200。更具體地，系統(tǒng)200包括包含媒體文件204的VAD模塊202，該媒體文件204可包括一個(gè)或多個(gè)幀，諸如幀206-214。此外，每個(gè)幀206-214可包括相關(guān)聯(lián)的分類(lèi)概率216-224，以使得幀206-214分別對(duì)應(yīng)于分類(lèi)概率216-225。媒體文件204還可與時(shí)間相關(guān)聯(lián)，以使得幀206與幀208-214之前的時(shí)間相關(guān)聯(lián)。類(lèi)似地，媒體文件204的幀214可于時(shí)間上在幀206-212之后被呈現(xiàn)或處理。出于此討論的目的,媒體文件204可包括任何類(lèi)型的媒體內(nèi)容，諸如比如音頻內(nèi)容和/或視頻內(nèi)容。此外，圖2中所示的幀206-214可各自被標(biāo)示為t。在各個(gè)實(shí)施例中，假定VAD模塊202 (諸如參照?qǐng)DI所描述的VAD模塊102)通過(guò)確定媒體文件204的每個(gè)幀206-214是包括話(huà)音還是非話(huà)音來(lái)處理媒體文件204。如果VAD模塊102知曉后繼幀(例如，幀212和/或214)包括話(huà)音或非話(huà)音，則VAD模塊102能夠關(guān)于當(dāng)前幀(例如，幀210)作出更準(zhǔn)確的VAD判定。因此，通過(guò)向VAD模塊102提供超前窗，諸如通過(guò)允許VAD模塊102使用后繼VAD判定和概率來(lái)對(duì)當(dāng)前幀作出VAD判定，可使得VAD模塊102能作出更準(zhǔn)確的VAD判定。典型地，VAD包括諸如通過(guò)確定第一幀是包括話(huà)音還是非話(huà)音來(lái)檢查和分析第一幀(例如，幀210)。接著，可在無(wú)需重新考慮與第一幀相關(guān)聯(lián)的確定的正確性的情況下關(guān)于第二幀(例如，幀212和/或幀214)作出確定。因此，VAD模塊102可繼續(xù)評(píng)估后繼幀而無(wú)需考慮先前確定是否正確。然而，本文中描述了用于在每個(gè)幀206-214處指派和維護(hù)關(guān)于對(duì)該幀的分類(lèi)的概率(例如，分類(lèi)概率)的技術(shù)。在各個(gè)實(shí)施例中，可指派和維護(hù)概率而無(wú)需實(shí)際上在此時(shí)作出分類(lèi)(VAD)判定。例如，在VAD模塊102處理媒體文件的幀時(shí)，對(duì)于每個(gè)幀，VAD模塊102可更新先前幀的概率。在各個(gè)實(shí)施例中，作為Viterbi解碼處理的副效應(yīng)，VAD模塊102可更新這些概率。因此，當(dāng)話(huà)音識(shí)別器104請(qǐng)求對(duì)特定幀的VAD判定時(shí)，可從VAD模塊102的當(dāng)前狀態(tài)獲得對(duì)應(yīng)該幀的當(dāng)前概率。因此，在話(huà)音識(shí)別器104請(qǐng)求VAD判定時(shí)無(wú)需重新計(jì)算與每個(gè)幀相關(guān)聯(lián)的概率。替代地，對(duì)每個(gè)幀的重新計(jì)算可作為由VAD模塊102進(jìn)行的處理的部分來(lái)發(fā)生。在各個(gè)實(shí)施例中，出于此討論的目的起見(jiàn)，假定正針對(duì)VAD來(lái)分析媒體文件204的幀210。此分析可包括指派并維護(hù)幀210的概率，該概率表示該幀包括話(huà)音的可能性和該幀包括非話(huà)音的可能性。即，VAD模塊可為任何一個(gè)幀(例如，幀206-214)指派和維護(hù)該幀包括話(huà)音的概率以及該幀包括非話(huà)音(例如，靜默、其他類(lèi)型的噪聲等)的概率。替換地，VAD模型102可指派并維護(hù)幀包括話(huà)音的概率，并在隨后推斷幀包括非話(huà)音的概率，且反之亦然。這些概率被標(biāo)示為分類(lèi)概率216-224。然而，對(duì)特定幀是包括話(huà)音還是非話(huà)音的確定無(wú)需在指派分類(lèi)概率216-224時(shí)作出。例如，對(duì)于幀210，VAD模塊202可在處理幀210時(shí)制止作出肯定性VAD判定，而是替代地，可指派幀210包括話(huà)音的概率為0. 7，而幀210包括非話(huà)音(例如，靜默)的概率為0.3。因此，以上概率表示幀210包括話(huà)音有70%的可能性相對(duì)幀210包括非話(huà)音有30%的可能性。一旦向特定幀(例如，幀210)指派了分類(lèi)概率，就可為媒體文件中的后繼幀(例如，幀212和/或幀214)指派并維護(hù)分類(lèi)概率(例如，分類(lèi)概率222和/或224)。在各個(gè)實(shí)施例中，后繼幀的分類(lèi)概率可用于對(duì)為先前幀維護(hù)的概率進(jìn)行調(diào)節(jié)、更新、重新計(jì)分。例如，如果正為幀210維護(hù)分類(lèi)概率220，則可基于為在時(shí)間上在后的幀(諸如幀212 (分類(lèi)概率222)和/或幀214 (分類(lèi)概率224))指派和維護(hù)的分類(lèi)概率來(lái)調(diào)節(jié)此分類(lèi)概率220。BP,可基于指派給后繼幀(例如，幀212和/或幀214)概率來(lái)重新分配特定幀(例如，幀210)的概率。因此，特定幀的VAD或概率判定可至少部分地基于可包括在該幀之前的一個(gè)或多個(gè)幀和/或在該幀之后的一個(gè)或多個(gè)幀的幀窗ロ來(lái)作出。因此，圍繞特定幀的上下文可被用于向該幀指派概率和/或關(guān)于該幀作出VAD判定。具體地，VAD模塊102可利用解碼搜索空間，這意味者VAD模塊102可維護(hù)解碼假言網(wǎng)絡(luò)。例如，在任何給定幀，VAD模塊102可為該幀的分類(lèi)維護(hù)ー個(gè)或多個(gè)猜測(cè)以及相關(guān)聯(lián)概率(即，網(wǎng)絡(luò)路徑)。在VAD模塊102處理附加幀時(shí)，這些網(wǎng)絡(luò)路徑可被延長(zhǎng)，且網(wǎng)絡(luò)概 率可被更新。因此，對(duì)于特定幀t，最佳路徑可以是路徑A。然而，在稍后的時(shí)間，最佳路徑現(xiàn)在可為路徑B，其現(xiàn)在可具比路徑A更好的全概率。在各個(gè)實(shí)施例中，以上所描述的窗ロ可被用于基于在時(shí)間上領(lǐng)先的幀的概率和/或VAD判定來(lái)改變特定幀的分類(lèi)概率。例如，通過(guò)使用以上示例，假定幀210包括話(huà)音的分類(lèi)概率為O. 7，而幀210包括非話(huà)音的分類(lèi)概率220為O. 3。此外，進(jìn)ー步假定幀208包括話(huà)音和非話(huà)音的分類(lèi)概率218分別為O. 3和O. 7。因此，給定這些概率，看起來(lái)更大的可能性是幀208包括非話(huà)音而不是話(huà)音。由于在前幀(例如，幀208)可能更可能為非話(huà)音，因此幀210包括話(huà)音的分類(lèi)概率210可被降級(jí)。例如，由于現(xiàn)在幀210為非話(huà)音的可能性可能増大，因此先前所指派的幀210為話(huà)音的分類(lèi)概率220可從O. 7降級(jí)至O. 5，且?guī)?10為非話(huà)音的分類(lèi)概率220可從O. 3增至O. 5。然而，可設(shè)想，與幀210相關(guān)聯(lián)的分類(lèi)概率220可增大和/或減小任何量且可以任何方式來(lái)進(jìn)行。在其他實(shí)施例中，分類(lèi)概率增大和/或減小的量可以基于先前幀(例如，幀208)的特定分類(lèi)概率。通過(guò)使用以上示例，如果幀208為話(huà)音的分類(lèi)概率218替代地為O. 1，且?guī)?08為非話(huà)音的分類(lèi)概率218為O. 9，則幀208為非話(huà)音的分類(lèi)概率218相對(duì)較高(例如，90% )0因此，由于在前幀208很可能包括非話(huà)音，因此更大的可能性是幀210也包括非話(huà)音。結(jié)果，幀210包括話(huà)音的分類(lèi)概率220甚至可進(jìn)ー步被減小(例如，從O. 7至O. 3)。類(lèi)似地，如果幀208為話(huà)音的分類(lèi)概率218為O. 9，且?guī)?08為非話(huà)音的分類(lèi)概率218為O. 1，則幀210為話(huà)音的分類(lèi)概率220可被増大(例如，從O. 7至O. 8)。此外，還可設(shè)想，特定幀為話(huà)音/非話(huà)音的分類(lèi)概率還可以基于先前幀的VAD判定。例如，如果幀208被確定為包括話(huà)音，則幀210為話(huà)音的分類(lèi)概率220可被増大。反之，如果幀208被確定為非話(huà)音，則幀210為非話(huà)音的分類(lèi)概率220可被増大。換言之，如果特定幀(例如，幀208)已被指示為話(huà)音或非話(huà)音，則可能有更大的可能性是后繼幀(例如，幀210)相應(yīng)地為話(huà)音或非話(huà)音。在各個(gè)實(shí)施例中，可基于先前幀208與當(dāng)前幀210之間在時(shí)間上的接近度來(lái)調(diào)節(jié)與當(dāng)前幀210相關(guān)聯(lián)的分類(lèi)概率220。例如，如果先前幀208被確定為在時(shí)間上鄰近當(dāng)前幀210，則可對(duì)此概率作出更大調(diào)節(jié)。在另ー實(shí)施例中，可基于與在時(shí)間上在后的幀相關(guān)聯(lián)的VAD判定來(lái)調(diào)節(jié)與ー個(gè)幀相關(guān)聯(lián)的VAD判定。例如，假定幀210先前已被確定為包括話(huà)音，但是接下來(lái)的ー個(gè)或多個(gè)幀(例如，幀212和/或幀214)被確定為非話(huà)音，則系統(tǒng)200可將幀210重新分類(lèi)為非話(huà)音。原因在于如果接下來(lái)η秒的幀(例如，幀212和/或幀214)被分類(lèi)為話(huà)音或非話(huà)音，則可能有更大的可能性是先前幀(例如，幀210)也相應(yīng)地為話(huà)音或非話(huà)音。因此，如以上所示的，VAD模塊202可利用一個(gè)或多個(gè)幀的VAD判定來(lái)確定與先前分類(lèi)的幀相關(guān)聯(lián)的VAD判定是否應(yīng)當(dāng)被調(diào)節(jié)或重新分類(lèi)。在各個(gè)實(shí)施例中，基于后繼幀的VAD判定調(diào)節(jié)特定幀的VAD判定可由可使用Viterbi算法的Viterbi解碼器來(lái)執(zhí)行。如先前所提及的，VAD模塊202和話(huà)音識(shí)別器可異步地處理媒體文件204，這意味著VAD模塊202和話(huà)音識(shí)別器可在不同時(shí)間處理媒體文件204。在一個(gè)實(shí)施例中，VAD模塊202可在話(huà)音識(shí)別器之前處理媒體文件204的幀206-214。例如，VAD模塊202可確定媒體文件204的每個(gè)幀206-214是話(huà)音還是非話(huà)音，并作出這樣的分類(lèi)。對(duì)于被確定為包括話(huà)音的幀206-214中的每ー個(gè)，話(huà)音識(shí)別器可在隨后將口述詞語(yǔ)轉(zhuǎn)換成文本，這可得到媒體文件204的文本轉(zhuǎn)錄本。VAD模塊與話(huà)音識(shí)別器之間較大的異步性可導(dǎo)致VAD模塊具有與媒體文件204相關(guān)聯(lián)的更大超前。超前可以指在被話(huà)音識(shí)別器處理之前VAD模塊202已處理的那些幀 206-214的數(shù)目。替換地，超前可以指對(duì)應(yīng)于VAD模塊202與話(huà)音識(shí)別器處理媒體文件204的相同幀之時(shí)的時(shí)間差。因此，更大的超前可意味著VAD模塊202更可能使用ー個(gè)或多個(gè)幀的概率和/或VAD判定來(lái)校正或調(diào)節(jié)先前不正確或不準(zhǔn)確的VAD判定。在各個(gè)實(shí)施例中，由于VAD模塊202可在話(huà)音識(shí)別器之前處理媒體文件204的幀206-214，因此VAD模塊202可在由話(huà)音識(shí)別器處理與先前VAD判定相關(guān)聯(lián)的幀206-214之前校正這些VAD判定。因此，話(huà)音識(shí)別器可等待處理媒體文件204的幀206-214的時(shí)間越長(zhǎng)，則VAD模塊202越有可能作出更穩(wěn)健的VAD判定。如果VAD模塊202能校正或調(diào)節(jié)先前的VAD判定，則話(huà)音識(shí)別器可處理更準(zhǔn)確地表示媒體文件204的VAD判定。結(jié)果，由話(huà)音識(shí)別器生成的轉(zhuǎn)錄本可以更準(zhǔn)確，包括更少的錯(cuò)誤，和/或反映媒體文件204中包括的實(shí)際內(nèi)容。在各個(gè)實(shí)施例中，諸如在線(xiàn)大詞匯量連續(xù)話(huà)音識(shí)別(LVCSR)系統(tǒng)等系統(tǒng)200可與有限狀態(tài)變換機(jī)(FST)驅(qū)動(dòng)的VAD相組合。出于此討論的目的起見(jiàn)，F(xiàn)ST可以指具有兩個(gè)存儲(chǔ)媒體(例如，磁帶)——ー個(gè)輸入存儲(chǔ)媒體(例如，輸入磁帯)和ー個(gè)輸出存儲(chǔ)媒體(例如，輸出磁帶)——的有限狀態(tài)機(jī)。在以上實(shí)施例中，對(duì)于每個(gè)幀206-214，F(xiàn)ST的狀態(tài)可被更新，而無(wú)需指派VAD標(biāo)簽或分類(lèi)。此外，假定系統(tǒng)200包括用于Λ特征計(jì)算和短期特征歸ー化的Λ幀超前，為了解碼幀t (其是媒體文件204的前端)，VAD FST可前進(jìn)至幀t+ Δ。當(dāng)VAD模塊202和/或話(huà)音識(shí)別器請(qǐng)求幀t的特征向量時(shí)，還可請(qǐng)求幀t的VAD判定。在此時(shí)，可檢查VAD FST追溯，且可返回幀t的最佳VAD判定。這可將超前平滑隱式地引入到VAD判定中，因?yàn)檫t于t的幀會(huì)改變最佳追溯路徑。在各個(gè)實(shí)施例中，超前平滑可以指至少部分地基于媒體文件204的后繼幀來(lái)調(diào)節(jié)與幀相關(guān)聯(lián)的概率或VAD確定。此外，如果超前窗以某種方式減小，則來(lái)自超前平滑的獲益可能較少且可不對(duì)模型或判定規(guī)則作出改變。在各個(gè)實(shí)施例中，關(guān)于非話(huà)音，可包括至少兩種類(lèi)型的靜默。話(huà)語(yǔ)結(jié)束可以指?jìng)€(gè)人已說(shuō)完單詞和/或句子之時(shí)，而對(duì)話(huà)結(jié)束可以指?jìng)€(gè)人已完成說(shuō)話(huà)之吋。在各個(gè)實(shí)施例中，VAD模塊僅在幾個(gè)靜默幀之后就可斷言話(huà)語(yǔ)結(jié)束，但是在斷言對(duì)話(huà)結(jié)束之前可能等待更多幀。不同的原因在于，對(duì)話(huà)常常包括各種長(zhǎng)度的暫停。此外，在斷言對(duì)話(huà)結(jié)束之前等待更長(zhǎng)的靜默時(shí)段可改進(jìn)此類(lèi)斷言的準(zhǔn)確度。此外，VAD模塊202可能不招致附加滯后就能確認(rèn)說(shuō)話(huà)者完成說(shuō)話(huà)。另ー方面，VAD模塊202能夠犧牲附加的錯(cuò)誤可能性并斷言話(huà)語(yǔ)結(jié)束，以使得可在結(jié)果所得的轉(zhuǎn)錄本中準(zhǔn)確地反映兩個(gè)人或多個(gè)人之間的對(duì)話(huà)。如果VAD模塊202和話(huà)音識(shí)別器正異步地處理媒體文件204的幀206-214，則可在話(huà)音識(shí)別器處理幀206-214之前校正最初不正確的話(huà)語(yǔ)結(jié)束和對(duì)話(huà)結(jié)束。因此，VAD模塊202與話(huà)音識(shí)別器之間在時(shí)間上較大的脫節(jié)226可允許更穩(wěn)健的VAD判定，且由此與媒體文件204相關(guān)聯(lián)的更準(zhǔn)確的轉(zhuǎn)錄本。實(shí)現(xiàn)直接模型自適應(yīng)和超前反饋在各個(gè)實(shí)施例中，本領(lǐng)域中已知的任何VAD算法可用于實(shí)現(xiàn)以上所描述的技術(shù)。例如，帶有話(huà)音識(shí)別器反饋的基于隱馬爾可夫模型(HMM)的VAD可被用于演繹利用來(lái)自話(huà)音識(shí)別器的反饋。在基于HMM的VAD中，最大似然準(zhǔn)則可被用于對(duì)照輸入話(huà)語(yǔ)來(lái)對(duì)齊多狀態(tài)全連接HMM。結(jié)果所得的狀態(tài)對(duì)齊可給出每個(gè)幀的VAD類(lèi)。VAD類(lèi)可與對(duì)幀是否包括話(huà)音和/或非 話(huà)音的確定有夫。在一個(gè)實(shí)施例中，可使用雙狀態(tài)HMM，對(duì)話(huà)音和非話(huà)音各使用ー個(gè)狀態(tài)。在此實(shí)施例中，對(duì)于It——其可對(duì)應(yīng)于所觀(guān)測(cè)的有噪聲信號(hào)的第t幀(例如，媒體文件204或其一部分)——的VAD判定可由在該時(shí)間所占據(jù)的狀態(tài)的標(biāo)簽來(lái)給出，且可通過(guò)以下假言來(lái)管理，如式I和2中所示的H。(不存在話(huà)音):yt = nt(I)H1 (存在話(huà)音)yt = xt+nt, (2)其中nt和xt可以分別指噪聲和活躍話(huà)音。在各個(gè)實(shí)施例中，HMM狀態(tài)可通過(guò)統(tǒng)計(jì)分布分來(lái)建模。在一個(gè)實(shí)施例中，可使用多變量高斯函數(shù)，且在獨(dú)立高斯隨機(jī)變量的弱假定下有對(duì)角協(xié)方差矩陣，如式3所示的
PCFit 11 HlUy= 1/ι(ι(2π)ιττι IX1* | ) exp τ(ι 11/20^ I /Ii*) ιτΓ ElMi(H) (y4t ■ μ^))，
(3)其中μι^ΡΣ k可表示話(huà)音/非話(huà)音狀態(tài)的參數(shù)。此外，可在參考經(jīng)分段的有噪聲數(shù)據(jù)上訓(xùn)練以上參數(shù)的初始值。在其他實(shí)施例中，可使用Viterbi算法來(lái)執(zhí)行在線(xiàn)VAD，以將HMM狀態(tài)與輸入信號(hào)對(duì)齊。對(duì)于話(huà)音識(shí)別器(例如，LVCSR)，話(huà)音識(shí)別器的前端特征提取器和后端解碼器可并發(fā)地操作。對(duì)于每個(gè)幀t，話(huà)音識(shí)別器可請(qǐng)求幀t的話(huà)音特征向量ot。為了計(jì)算ot，前端特征提取器可提取ot+△，其中△可受例如△/加速度計(jì)算、短期特征歸一化、或應(yīng)用等待時(shí)間的要求的控制。此外，可對(duì)幀t+Λ解碼VAD，且后端解碼器可請(qǐng)求幀t的VAD判定。接著，可提取Viterbi網(wǎng)絡(luò)中在時(shí)間t+Λ的最佳路徑，且可追溯該路徑以尋找在此時(shí)哪個(gè)狀態(tài)是活躍的。此外，可對(duì)Viterbi最佳路徑判定應(yīng)用平滑，以移除短的話(huà)音/非話(huà)音段。該狀態(tài)的標(biāo)簽還可作為該時(shí)間的VAD判定(例如，話(huà)音或非話(huà)音)被發(fā)出。在各個(gè)實(shí)施例中，當(dāng)標(biāo)識(shí)N個(gè)連續(xù)非話(huà)音幀時(shí)，可斷言話(huà)語(yǔ)結(jié)束。此外，如果Viterbi最佳路徑已改變，則在稍后的時(shí)間請(qǐng)求幀t的VAD標(biāo)簽可導(dǎo)致不同的標(biāo)簽。例如，與特定幀相關(guān)聯(lián)的標(biāo)簽可基干與先前幀和/或后繼幀相關(guān)聯(lián)的VAD判定和/或概率來(lái)改變。在其他實(shí)施例中，在話(huà)語(yǔ)結(jié)束處，話(huà)音識(shí)別器可發(fā)出話(huà)音識(shí)別網(wǎng)格。通過(guò)使用話(huà)音識(shí)別網(wǎng)格，話(huà)音識(shí)別器可使用以下單詞后驗(yàn)來(lái)計(jì)算網(wǎng)格最佳路徑上的每個(gè)單詞的置信度分?jǐn)?shù)，如在式4中所示的
權(quán)利要求
1.一種方法，包括 將媒體文件的多個(gè)幀分類(lèi)為一個(gè)或多個(gè)話(huà)音幀和一個(gè)或多個(gè)非話(huà)音幀(402)； 接收與所述一個(gè)或多個(gè)話(huà)音幀和所述一個(gè)或多個(gè)非話(huà)音幀相關(guān)聯(lián)的反饋(406);以及將所述反饋用于更新將被用于所述媒體文件中尚待處理的多個(gè)幀的語(yǔ)音活動(dòng)檢測(cè)的模型(408)。
2.如權(quán)利要求I所述的方法，其特征在于，還包括在接收到所述反饋之前分類(lèi)所述多個(gè)幀的附加幀。
3.如權(quán)利要求I所述的方法，其特征在于，所述反饋包括文本轉(zhuǎn)錄本，所述文本轉(zhuǎn)錄本表示所述一個(gè)或多個(gè)話(huà)音幀的內(nèi)容，并且所述文本轉(zhuǎn)錄本是至少部分地基于所述分類(lèi)的準(zhǔn)確度來(lái)進(jìn)行置信度計(jì)分的，所述經(jīng)置信度計(jì)分的文本轉(zhuǎn)錄本包括媒體文件中超過(guò)預(yù)定可靠性閾值的詞語(yǔ)或短語(yǔ)。
4.一種方法，包括 訪(fǎng)問(wèn)與媒體文件的一個(gè)或多個(gè)幀相對(duì)應(yīng)的語(yǔ)音活動(dòng)判定(502)； 生成與語(yǔ)音活動(dòng)判定相關(guān)聯(lián)的反饋(504),所述與語(yǔ)音活動(dòng)判定相關(guān)聯(lián)的反饋表示所述語(yǔ)音活動(dòng)判定的相對(duì)準(zhǔn)確度；以及 使得能使用所述反饋來(lái)指導(dǎo)對(duì)所述媒體文件的一個(gè)或多個(gè)后繼幀的語(yǔ)音活動(dòng)檢測(cè)(VAD)o
5.如權(quán)利要求4所述的方法，其特征在于 所述語(yǔ)音活動(dòng)檢測(cè)是由VAD模塊生成的； 所述反饋是由話(huà)音識(shí)別器生成的；以及 所述VAD模塊和所述話(huà)音識(shí)別器異步地處理所述媒體文件，以使得所述VAD模塊在所述話(huà)音識(shí)別器之前處理所述一個(gè)或多個(gè)幀的每一個(gè)。
6.如權(quán)利要求4所述的方法，其特征在于，還包括對(duì)與所述媒體文件相對(duì)應(yīng)的轉(zhuǎn)錄本進(jìn)行置信度計(jì)分，以使得所述轉(zhuǎn)錄本中超過(guò)預(yù)定閾值的詞語(yǔ)或短語(yǔ)被視為是確信的。
7.如權(quán)利要求4所述的方法，其特征在于，所述反饋被利用來(lái)更新與所述VAD模塊相關(guān)聯(lián)的、用于VAD的模型。
8.一種系統(tǒng),包括 一個(gè)或多個(gè)處理器(302)； 通信地耦合至所述一個(gè)或多個(gè)處理器(302)的存儲(chǔ)器(308)，其用于存儲(chǔ) 語(yǔ)音活動(dòng)檢測(cè)(VAD)模塊(102)，其被配置成 向媒體文件的第一幀指派表示所述第一幀包括話(huà)音的可能性的概率；以及至少部分地基于幀窗口內(nèi)的一個(gè)或多個(gè)幀來(lái)更新所述第一幀的所述概率。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述VAD模塊還被配置成 向所述幀窗口內(nèi)的第二幀指派一概率，所述指派給第二幀的概率表示所述第二幀包括話(huà)音的可能性；以及 至少部分地基于所述第二幀的概率來(lái)更新所述第一幀的概率。
10.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述VAD模塊還被配置成延遲與所述第一幀相關(guān)聯(lián)的語(yǔ)音活動(dòng)檢測(cè)判定，直至所述第一幀的概率被更新。
全文摘要
本文描述了利用話(huà)音識(shí)別器反饋來(lái)進(jìn)行語(yǔ)音活動(dòng)檢測(cè)。語(yǔ)音活動(dòng)檢測(cè)(VAD)模塊分析諸如音頻文件或視頻文件之類(lèi)的媒體文件，以確定該媒體文件的一個(gè)或多個(gè)幀是否包括話(huà)音。話(huà)音識(shí)別器生成與VAD確定的準(zhǔn)確度有關(guān)的反饋。VAD模塊利用該反饋來(lái)改進(jìn)后繼VAD確定。VAD模塊還利用與媒體文件相關(guān)聯(lián)的超前窗口來(lái)調(diào)節(jié)先前處理的幀的估計(jì)概率或VAD判定。
文檔編號(hào)G10L15/00GK102708855SQ201210044558
公開(kāi)日2012年10月3日 申請(qǐng)日期2012年2月24日 優(yōu)先權(quán)日2011年2月25日
發(fā)明者A·J·K·泰姆白瑞德南, F·T·B·西德, 朱衛(wèi)武 申請(qǐng)人:微軟公司