混音處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種混音處理方法及系統(tǒng)，其中所述方法包括：接入步驟，將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道；預(yù)選步驟，從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組；計(jì)算概率步驟，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值；踢出步驟，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換；排序步驟，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組；混音步驟，將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。本發(fā)明的混音處理方法及系統(tǒng)解決了現(xiàn)有技術(shù)的混音處理方法不能及時(shí)從與會(huì)終端中選擇參與混音的發(fā)言終端，影響會(huì)議體驗(yàn)的技術(shù)問題。
【專利說明】混音處理方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及混音處理【技術(shù)領(lǐng)域】，具體涉及一種混音處理方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著通信網(wǎng)絡(luò)及業(yè)務(wù)的發(fā)展，多方通話業(yè)務(wù)已經(jīng)成為公共交換電信網(wǎng)/綜合業(yè)務(wù)數(shù)字網(wǎng)、分組語音網(wǎng)和移動(dòng)網(wǎng)必備的補(bǔ)充業(yè)務(wù)，同時(shí)在上述網(wǎng)絡(luò)中會(huì)議電話或會(huì)議電視業(yè)務(wù)應(yīng)用也越來越廣泛?；镜恼Z音業(yè)務(wù)僅涉及兩個(gè)通話方，通話雙方可互相聽到對(duì)方的聲音，而在多方通話業(yè)務(wù)和會(huì)議業(yè)務(wù)中，同時(shí)通話方可能不止兩方，其中任意一方的語音信號(hào)都應(yīng)可以被傳送到所有其他通話方，而每一通話方都應(yīng)同時(shí)可聽到多個(gè)其他通話方的聲音。為此，在多方通話和會(huì)議電話業(yè)務(wù)中通常需要進(jìn)行混音處理，也即將多個(gè)通話方的語音信號(hào)混合起來，以便任意一個(gè)通話成員都可同時(shí)聽到其他通話方的聲音。
[0003]當(dāng)通話方數(shù)量較多時(shí)，通常并不是將所有通話方的語音信號(hào)都混合起來，而是根據(jù)語音功率大小(語音信號(hào)的能量或幅度量度)以及混音優(yōu)先級(jí)判定規(guī)則選擇一些通話方的語音信號(hào)進(jìn)行混合，并將混合后的聲音傳給所有通話方。在多方通話或會(huì)議電話/電視業(yè)務(wù)中，混音處理過程一般都涉及通話各方語音功率大小的計(jì)算、被混音通話方通道的確定、混音通道的語音信號(hào)混合以及混音后語音信號(hào)的傳送等步驟。
[0004]目前，大多數(shù)視頻會(huì)議平臺(tái)系統(tǒng)都支持混音器，與會(huì)的一部分終端可以參與討論發(fā)言。如何從所有與會(huì)終端中選擇參與混音的終端，并且能夠快速替換非發(fā)言終端，是影響會(huì)議體驗(yàn)的一個(gè)重要問題。現(xiàn)有技術(shù)的混音處理方法，主要是通過輪詢的方式選擇參與混音的終端。但是該方法存在反應(yīng)時(shí)間慢、性能消耗大、被替換通道難以再次參與混音等缺陷。


【發(fā)明內(nèi)容】

[0005]為此，本發(fā)明要解決的技術(shù)問題在于現(xiàn)有技術(shù)的混音處理方法不能及時(shí)從與會(huì)終端中選擇參與混音的發(fā)言終端，影響會(huì)議體驗(yàn)，從而提出一種混音處理方法及系統(tǒng)來解決該問題。
[0006]為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案:
[0007]一種混音處理方法，包括:接入步驟，將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道；預(yù)選步驟，從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組；計(jì)算概率步驟，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值；踢出步驟，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換；排序步驟，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組；混音步驟，將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
[0008]優(yōu)選地，循環(huán)執(zhí)行所述計(jì)算概率步驟、所述踢出步驟、所述排序步驟。
[0009]優(yōu)選地，在所述排序步驟中，所述將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序的步驟包括:判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值；當(dāng)所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。
[0010]優(yōu)選地，所述預(yù)設(shè)的混音保持時(shí)間為1-10秒。
[0011 ] 優(yōu)選地，在所述踢出步驟中，所述將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組的步驟包括:判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零；當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所述預(yù)選通道組中。
[0012]優(yōu)選地，所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.1-5秒。
[0013]優(yōu)選地，所述計(jì)算概率步驟包括:語音功率檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音功率檢測，如果檢測值大于或者等于上限功率參考值，則所述概率值為100% ;如果檢測值小于或者等于下限功率參考值，則所述概率值為O ;如果檢測值小于上限功率參考值并且大于下限功率參考值，則所述概率值為:(檢測值-下限功率參考值)/ (上限功率參考值_下限功率參考值)。
[0014]優(yōu)選地，所述上限功率參考值為50-75分貝，所述下限功率參考值為15-25分貝。
[0015]優(yōu)選地，所述語音功率檢測步驟之后包括:語音激活檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音激活檢測，如果有語音存在，則使所述概率值增加一個(gè)預(yù)設(shè)增量，增加后的所述概率值大于100%，則以100%計(jì)；否則，保持所述概率值不變。
[0016]優(yōu)選地，所述預(yù)設(shè)增量為大于O小于100%的值。
[0017]優(yōu)選地，所述語音激活檢測步驟之后包括:累加步驟，將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值。
[0018]優(yōu)選地，所述累加步驟之后包括:衰減步驟，將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。
[0019]優(yōu)選地，在所述踢出步驟中，所述從所述接入通道組中選擇其他通道替換的步驟包括:將所述接入通道組的各個(gè)通道按照接入順序排隊(duì)，從所述預(yù)選通道組踢出的通道排在隊(duì)尾；第一次選擇排序最前的通道替換，下一次選擇排序+1的通道替換，直至隊(duì)尾結(jié)束，返回隊(duì)首重新開始。
[0020]基于相同的發(fā)明構(gòu)思，本發(fā)明還提供一種混音處理系統(tǒng)，包括:接入模塊，用于將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道；預(yù)選模塊，用于從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組；計(jì)算概率模塊，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值；踢出模塊，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換；排序模塊，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組；混音模塊，用于將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
[0021]優(yōu)選地，所述排序模塊包括:混音保持判斷模塊，用于判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值；互換模塊，用于當(dāng)混音保持判斷模塊判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。
[0022]優(yōu)選地，所述踢出模塊包括:預(yù)選保持判斷模塊，用于判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零；踢出預(yù)選模塊，用于當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所述預(yù)選通道組中。
[0023]本發(fā)明的混音處理方法及系統(tǒng)的有益效果為:
[0024]本發(fā)明的混音處理方法及系統(tǒng)，由于包括:接入步驟，將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道；預(yù)選步驟，從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組；計(jì)算概率步驟，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值；踢出步驟，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換；排序步驟，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組；混音步驟，將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。這樣，通過接入通道組、預(yù)選通道組和混音通道組三級(jí)通道組進(jìn)行混音競爭管理，能夠快速選擇發(fā)言終端并且降低性能消耗，保證視頻會(huì)議中語音交互的流暢體驗(yàn)。

【專利附圖】

【附圖說明】
[0025]為了使本發(fā)明的內(nèi)容更容易被清楚的理解，下面根據(jù)本發(fā)明的具體實(shí)施例并結(jié)合附圖，對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明，其中
[0026]圖1是本發(fā)明實(shí)施例1的一種混音處理方法的示意圖；
[0027]圖2是本發(fā)明實(shí)施例2的一種混音處理方法的示意圖；
[0028]圖3是本發(fā)明實(shí)施例3的一種混音處理系統(tǒng)的示意圖。

【具體實(shí)施方式】
[0029]實(shí)施例1
[0030]圖1示出了本實(shí)施例的一種混音處理方法，所述方法包括:
[0031]接入步驟A，將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道。
[0032]預(yù)選步驟B，從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組。
[0033]計(jì)算概率步驟C，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值，
[0034]踢出步驟D，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換。
[0035]排序步驟E，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組。
[0036]混音步驟F，將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
[0037]循環(huán)執(zhí)行計(jì)算概率步驟C、踢出步驟D、排序步驟E。
[0038]通過所述接入通道組、預(yù)選通道組和混音通道組三級(jí)通道組進(jìn)行混音競爭管理，能夠快速選擇發(fā)言終端并且降低性能消耗，保證視頻會(huì)議中語音交互的流暢體驗(yàn)。
[0039]優(yōu)選地，計(jì)算概率步驟C具體包括以下步驟:
[0040]語音功率檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音功率檢測，如果檢測值大于或者等于上限功率參考值，則所述概率值為100%;如果檢測值小于或者等于下限功率參考值，則所述概率值為O ;如果檢測值小于上限功率參考值并且大于下限功率參考值，則所述概率值為:(檢測值-下限功率參考值)/ (上限功率參考值-下限功率參考值)。所述上限功率參考值為50-75分貝，所述下限功率參考值為15-25分貝。作為優(yōu)選的實(shí)施方式，所述上限功率參考值為54分貝，所述下限功率參考值為18分貝。
[0041]語音激活檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音激活檢測，如果有語音存在，則使所述概率值增加一個(gè)預(yù)設(shè)增量，增加后的所述概率值大于100%，則以100%計(jì)；否則，保持所述概率值不變。所述預(yù)設(shè)增量為大于O小于100%的值。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)增量為30%。
[0042]累加步驟，將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值。
[0043]衰減步驟，將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。作為優(yōu)選的實(shí)施方式，所述衰減因子為0.5。
[0044]將有語音發(fā)言的概率值基于語音功率檢測和語音激活檢測兩個(gè)部分進(jìn)行計(jì)算，既可以避免僅進(jìn)行語音功率檢測時(shí)，小聲講話會(huì)被功率大的雜音通道替換，例如關(guān)門聲、桌椅移動(dòng)聲等；又可以避免僅進(jìn)行計(jì)算語音激活檢測，由于語音激活檢測算法的準(zhǔn)確度不高而導(dǎo)致誤判。有個(gè)假定前提是，所有參與混音的設(shè)備的麥克風(fēng)都按照同一標(biāo)準(zhǔn)校準(zhǔn)過，即同樣音量的音源被不同設(shè)備的麥克風(fēng)采集到的音量是一樣的。如果某個(gè)設(shè)備的功率較大，會(huì)被認(rèn)為更有發(fā)言的愿望，所以先進(jìn)行語音功率檢測，再結(jié)合語音激活檢測來計(jì)算有語音發(fā)言的概率值。另外，人講話時(shí)會(huì)抑揚(yáng)頓挫，音量高低起伏，將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值，這樣可以保證有聲音發(fā)言的通道維持一定的高概率。將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。這樣，如果上一次所述頻率值為100%，后面該通道中一直沒有發(fā)言，但是累加后結(jié)果一直為100 %，那么就無法被替換，通過衰減因子可以避免這一情況的發(fā)生。優(yōu)選地，所述衰減因子為0.5。
[0045]優(yōu)選地，在踢出步驟D中，
[0046]所述將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組的步驟包括:預(yù)選保持判斷步驟，判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零。踢出預(yù)選步驟，當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所述預(yù)選通道組中。所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.1-5秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.5秒。
[0047]所述從所述接入通道組中選擇其他通道替換的步驟包括:將所述接入通道組的各個(gè)通道按照接入順序排隊(duì)，從所述預(yù)選通道組踢出的通道排在隊(duì)尾；第一次選擇排序最前的通道替換，下一次選擇排序+1的通道替換，直至隊(duì)尾結(jié)束，返回隊(duì)首重新開始。
[0048]所述預(yù)設(shè)的預(yù)選保持時(shí)間可以減少誤判，因?yàn)樗鲱A(yù)選通道組中的某個(gè)通道在進(jìn)行有語音發(fā)言的概率值的計(jì)算時(shí)處于講話停頓中，那么就會(huì)錯(cuò)過該預(yù)選通道，可能導(dǎo)致該通道一直無法進(jìn)入混音通道。同時(shí)所述預(yù)設(shè)的預(yù)選保持時(shí)間不能太長，如果時(shí)間太長，就會(huì)導(dǎo)致后面有語音發(fā)言的通道不能及時(shí)進(jìn)入預(yù)選通道組，所以所述預(yù)設(shè)的預(yù)選保持時(shí)間既不能太短，也不能太長。
[0049]優(yōu)選地，在排序步驟E中，
[0050]所述將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序的步驟包括:混音保持判斷步驟，判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值?；Q步驟，當(dāng)所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。這樣可以避免在講話停頓時(shí)被踢出混音通道組，降低誤判率。所述預(yù)設(shè)的混音保持時(shí)間為1-10秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的混音保持時(shí)間為5秒。
[0051]實(shí)施例2
[0052]下面結(jié)合具體實(shí)例，對(duì)實(shí)施例1中的混音處理方法進(jìn)行進(jìn)一步地詳細(xì)描述，如圖2所示。
[0053]首先，通過網(wǎng)絡(luò)220接收需要參與混音的設(shè)備210的數(shù)據(jù)，并將參與混音的設(shè)備210的數(shù)據(jù)送入接入通道組230。為每個(gè)參與混音的設(shè)備210分配一個(gè)通道，例如，為參與混音的設(shè)備210分配通道O或者通道s或者通道m(xù)。接入通道組230的容量，即接入通道組230中的通道數(shù)可以為需要參與混音的設(shè)備210的總數(shù)。
[0054]然后，從接入通道組230中選擇接入順序靠前的通道接入預(yù)選通道組240。即第一次進(jìn)入預(yù)選通道組240的是先接入到接入通道組230中的若干個(gè)通道，具體數(shù)量由預(yù)選通道組230的容量決定。
[0055]然后，對(duì)預(yù)選通道組240中各個(gè)通道計(jì)算有語音發(fā)言的概率值。需要對(duì)預(yù)選通道組240中的各個(gè)通道的數(shù)據(jù)進(jìn)行解碼，為每個(gè)通道分配一個(gè)解碼器，再對(duì)解碼的數(shù)據(jù)計(jì)算有語音發(fā)言的概率值。具體地，對(duì)預(yù)選通道組240中各個(gè)通道進(jìn)行語音功率檢測，如果檢測值大于或者等于上限功率參考值，則所述概率值為100% ;如果檢測值小于或者等于下限功率參考值，則所述概率值為O ;如果檢測值小于上限功率參考值并且大于下限功率參考值，則所述概率值為:(檢測值-下限功率參考值)/ (上限功率參考值-下限功率參考值)。所述上限功率參考值為50-75分貝，所述下限功率參考值為15-25分貝。作為優(yōu)選的實(shí)施方式，所述上限功率參考值為54分貝，所述下限功率參考值為18分貝。再對(duì)預(yù)選通道組240中各個(gè)通道進(jìn)行語音激活檢測，如果有語音存在，則使所述概率值增加一個(gè)預(yù)設(shè)增量，增加后的所述概率值大于100%，則以100%計(jì)；否則，保持所述概率值不變。所述預(yù)設(shè)增量為大于O小于100%的值。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)增量為30%。再將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值。最后將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。優(yōu)選地，所述衰減因子為0.5ο
[0056]然后，將預(yù)選通道組240中所述概率值為零的通道踢出到接入通道組230中，例如通道q的所述概率值為零，被從預(yù)選通道組240中踢出；從接入通道組230中選擇其他通道替換。具體地，如果預(yù)選通道組240中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零，則將所述概率值一直為零的所述通道踢出到接入通道組230，否則保持在預(yù)選通道組240中。所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.1-5秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.5秒。將接入通道組230的各個(gè)通道按照接入順序排隊(duì)，從預(yù)選通道組240踢出的通道排在隊(duì)尾；第一次選擇排序最前的通道替換，下一次選擇排序+1的通道替換，直至隊(duì)尾結(jié)束，返回隊(duì)首重新開始。
[0057]然后，將預(yù)選通道組240中各個(gè)通道按照所述概率值的大小進(jìn)行排序，例如，通道O排序第一，通道q次之，通道η排序末尾；使排序靠前的通道接入混音通道組250，混音通道組250的容量可以為預(yù)選通道組240容量的一半，例如預(yù)選通道組240容量為η個(gè)通道，混音通道組250的容量為η/2個(gè)通道。如果預(yù)選通道組240中接入混音通道組250的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于預(yù)選通道組240中其他通道的概率值，則將兩個(gè)通道互換排序，否則保持排序不變。所述預(yù)設(shè)的混音保持時(shí)間為1-10秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的混音保持時(shí)間為5秒。使所述排序靠前的通道接入混音通道組250，即第一次接入混音通道組250的是預(yù)選通道組240中排序靠前的通道。當(dāng)預(yù)選通道組240中接入混音通道組250的通道與預(yù)選通道組240中其他通道互換排序后，也就是說，預(yù)選通道組240中接入混音通道組250的所述概率值最小的通道的所述概率值小于預(yù)選通道組240中其他通道中所述概率值最大的通道的所述概率值，則將預(yù)選通道組240中接入混音通道組250的所述概率值最小的通道從混音通道組250中踢出，選擇預(yù)選通道組240中其他通道中所述概率值最大的通道替換到混音通道組250中。
[0058]最后，將混音通道組250中各個(gè)通道的語音信號(hào)進(jìn)行混音。將混音通道組250中的解碼數(shù)據(jù)發(fā)送給混音前數(shù)據(jù)緩沖區(qū)260，混音器270讀取數(shù)據(jù)并進(jìn)行混音。然后寫入混音后數(shù)據(jù)緩沖區(qū)280，根據(jù)編碼的需要分配多路編碼器290，將編碼數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)220，完成
[0059]實(shí)施例3
[0060]圖3示出了本實(shí)施例的一種混音處理系統(tǒng)，所述系統(tǒng)包括接入模塊310、預(yù)選模塊320、計(jì)算概率模塊330、踢出模塊340、排序模塊350和混音模塊360。
[0061]接入模塊310用于將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道。
[0062]預(yù)選模塊320用于從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組。
[0063]計(jì)算概率模塊330用于計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值，
[0064]踢出模塊340用于將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換。
[0065]排序模塊350用于將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組。
[0066]混音模塊360用于將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
[0067]循環(huán)執(zhí)行計(jì)算概率模塊330、踢出模塊340、排序模塊350。
[0068]通過所述接入通道組、預(yù)選通道組和混音通道組三級(jí)通道組進(jìn)行混音競爭管理，能夠快速選擇發(fā)言終端并且降低性能消耗，保證視頻會(huì)議中語音交互的流暢體驗(yàn)。
[0069]優(yōu)選地，計(jì)算概率模塊330具體包括:
[0070]語音功率檢測模塊，用于對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音功率檢測，如果檢測值大于或者等于上限功率參考值，則所述概率值為100%;如果檢測值小于或者等于下限功率參考值，則所述概率值為O ;如果檢測值小于上限功率參考值并且大于下限功率參考值，則所述概率值為:(檢測值_下限功率參考值)/ (上限功率參考值_下限功率參考值)。所述上限功率參考值為50-75分貝，所述下限功率參考值為15-25分貝。作為優(yōu)選的實(shí)施方式，所述上限功率參考值為54分貝，所述下限功率參考值為18分貝。
[0071]語音激活檢測模塊，用于對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音激活檢測，如果有語音存在，則使所述概率值增加一個(gè)預(yù)設(shè)增量，增加后的所述概率值大于100%，則以100%計(jì)；否則，保持所述概率值不變。所述預(yù)設(shè)增量為大于O小于100%的值。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)增量為30%。
[0072]累加模塊，用于將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值。
[0073]衰減模塊，用于將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。作為優(yōu)選的實(shí)施方式，所述衰減因子為0.5。
[0074]將有語音發(fā)言的概率值基于語音功率檢測和語音激活檢測兩個(gè)部分進(jìn)行計(jì)算，既可以避免僅進(jìn)行語音功率檢測時(shí)，小聲講話會(huì)被功率大的雜音通道替換，例如關(guān)門聲、桌椅移動(dòng)聲等；又可以避免僅進(jìn)行計(jì)算語音激活檢測，由于語音激活檢測算法的準(zhǔn)確度不高而導(dǎo)致誤判。有個(gè)假定前提是，所有參與混音的設(shè)備的麥克風(fēng)都按照同一標(biāo)準(zhǔn)校準(zhǔn)過，即同樣音量的音源被不同設(shè)備的麥克風(fēng)采集到的音量是一樣的。如果某個(gè)設(shè)備的功率較大，會(huì)被認(rèn)為更有發(fā)言的愿望，所以先進(jìn)行語音功率檢測，再結(jié)合語音激活檢測來計(jì)算有語音發(fā)言的概率值。另外，人講話時(shí)會(huì)抑揚(yáng)頓挫，音量高低起伏，將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值，這樣可以保證有聲音發(fā)言的通道維持一定的高概率。將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。這樣，如果上一次所述頻率值為100%，后面該通道中一直沒有發(fā)言，但是累加后結(jié)果一直為100%，那么就無法被替換，通過衰減因子可以避免這一情況的發(fā)生。
[0075]優(yōu)選地，踢出模塊340包括預(yù)選保持判斷模塊、踢出預(yù)選模塊和輪詢模塊。所述預(yù)選保持判斷模塊用于判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零。所述踢出預(yù)選模塊用于當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所述預(yù)選通道組中。所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.1-5秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.5秒。所述輪詢模塊用于將所述接入通道組的各個(gè)通道按照接入順序排隊(duì)，從所述預(yù)選通道組踢出的通道排在隊(duì)尾；第一次選擇排序最前的通道替換，下一次選擇排序+1的通道替換，直至隊(duì)尾結(jié)束，返回隊(duì)首重新開始。
[0076]所述預(yù)設(shè)的預(yù)選保持時(shí)間可以減少誤判，因?yàn)樗鲱A(yù)選通道組中的某個(gè)通道在進(jìn)行有語音發(fā)言的概率值的計(jì)算時(shí)處于講話停頓中，那么就會(huì)錯(cuò)過該預(yù)選通道，可能導(dǎo)致該通道一直無法進(jìn)入混音通道。同時(shí)所述預(yù)設(shè)的預(yù)選保持時(shí)間不能太長，如果時(shí)間太長，就會(huì)導(dǎo)致后面有語音發(fā)言的通道不能及時(shí)進(jìn)入預(yù)選通道組，所以所述預(yù)設(shè)的預(yù)選保持時(shí)間既不能太短，也不能太長。
[0077]優(yōu)選地，排序t吳塊350包括混音保持判斷t吳塊和互換t吳塊。所述混音保持判斷豐旲塊用于判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值；所述互換模塊用于當(dāng)所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。
[0078]這樣可以避免在講話停頓時(shí)被踢出混音通道組，降低誤判率。所述預(yù)設(shè)的混音保持時(shí)間為1-10秒。作為優(yōu)選的實(shí)施方式，所述預(yù)設(shè)的混音保持時(shí)間為5秒。
[0079]顯然，上述實(shí)施例僅僅是為清楚地說明所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無需也無法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。
【權(quán)利要求】
1.一種混音處理方法，其特征在于，包括: 接入步驟，將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道; 預(yù)選步驟，從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組； 計(jì)算概率步驟，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值； 踢出步驟，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換； 排序步驟，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組； 混音步驟，將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
2.根據(jù)權(quán)利要求1所述的一種混音處理方法，其特征在于，循環(huán)執(zhí)行所述計(jì)算概率步驟、所述踢出步驟、所述排序步驟。
3.根據(jù)權(quán)利要求2所述的一種混音處理方法，其特征在于，在所述排序步驟中，所述將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序的步驟包括: 判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值； 當(dāng)所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。
4.根據(jù)權(quán)利要求3所述的一種混音處理方法，其特征在于，所述預(yù)設(shè)的混音保持時(shí)間為1-10秒。
5.根據(jù)權(quán)利要求2所述的一種混音處理方法，其特征在于，在所述踢出步驟中，所述將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組的步驟包括: 判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零； 當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所述預(yù)選通道組中。
6.根據(jù)權(quán)利要求5所述的一種混音處理方法，其特征在于，所述預(yù)設(shè)的預(yù)選保持時(shí)間為0.1-5秒。
7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的一種混音處理方法，其特征在于，所述計(jì)算概率步驟包括: 語音功率檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音功率檢測，如果檢測值大于或者等于上限功率參考值，則所述概率值為100% ;如果檢測值小于或者等于下限功率參考值，則所述概率值為O ;如果檢測值小于上限功率參考值并且大于下限功率參考值，則所述概率值為:(檢測值_下限功率參考值)/ (上限功率參考值_下限功率參考值)。
8.根據(jù)權(quán)利要求7所述的一種混音處理方法，其特征在于，所述上限功率參考值為50-75分貝，所述下限功率參考值為15-25分貝。
9.根據(jù)權(quán)利要求7所述的一種混音處理方法，其特征在于，所述語音功率檢測步驟之后包括: 語音激活檢測步驟，對(duì)所述預(yù)選通道組中各個(gè)通道進(jìn)行語音激活檢測，如果有語音存在，則使所述概率值增加一個(gè)預(yù)設(shè)增量，增加后的所述概率值大于100%，則以100%計(jì)；否貝IJ，保持所述概率值不變。
10.根據(jù)權(quán)利要求9所述的一種混音處理方法，其特征在于，所述預(yù)設(shè)增量為大于O小于100%的值。
11.根據(jù)權(quán)利要求9或10所述的一種混音處理方法，其特征在于，所述語音激活檢測步驟之后包括: 累加步驟，將本次計(jì)算的所述頻率值與上一次計(jì)算的所述頻率值累加作為所述本次計(jì)算的所述頻率值。
12.根據(jù)權(quán)利要求11所述的一種混音處理方法，其特征在于，所述累加步驟之后包括: 衰減步驟，將所述本次計(jì)算的所述頻率值乘以一個(gè)數(shù)值大小為O至I之間的衰減因子。
13.根據(jù)權(quán)利要求1-12任一項(xiàng)所述的一種混音處理方法，其特征在于，在所述踢出步驟中，所述從所述接入通道組中選擇其他通道替換的步驟包括: 將所述接入通道組的各個(gè)通道按照接入順序排隊(duì)，從所述預(yù)選通道組踢出的通道排在隊(duì)尾； 第一次選擇排序最前的通道替換，下一次選擇排序+1的通道替換，直至隊(duì)尾結(jié)束，返回隊(duì)首重新開始。
14.一種混音處理系統(tǒng)，其特征在于，包括: 接入模塊，用于將參與混音的設(shè)備接入到接入通道組，為每個(gè)接入的所述設(shè)備分配一個(gè)通道； 預(yù)選模塊，用于從所述接入通道組中選擇接入順序靠前的通道接入預(yù)選通道組； 計(jì)算概率模塊，計(jì)算所述預(yù)選通道組中各個(gè)通道有語音發(fā)言的概率值； 踢出模塊，將所述預(yù)選通道組中所述概率值為零的通道踢出到所述接入通道組，并從所述接入通道組中選擇其他通道替換； 排序模塊，將所述預(yù)選通道組中各個(gè)通道按照所述概率值的大小進(jìn)行排序，使排序靠前的通道接入混音通道組； 混音模塊，用于將所述混音通道組中各個(gè)通道的語音信號(hào)進(jìn)行混音。
15.根據(jù)權(quán)利要求14所述的一種混音處理系統(tǒng)，其特征在于，所述排序模塊包括: 混音保持判斷模塊，用于判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)是否一直小于所述預(yù)選通道組中其他通道的概率值； 互換模塊，用于當(dāng)混音保持判斷模塊判斷所述預(yù)選通道組中接入所述混音通道組的通道的概率值在預(yù)設(shè)的混音保持時(shí)間內(nèi)一直小于所述預(yù)選通道組中其他通道的概率值時(shí)，將兩個(gè)通道互換排序，否則保持排序不變。
16.根據(jù)權(quán)利要求14或15所述的一種混音處理系統(tǒng)，其特征在于，所述踢出模塊包括: 預(yù)選保持判斷模塊，用于判斷所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)是否一直為零； 踢出預(yù)選模塊，用于當(dāng)所述預(yù)選通道組中的通道的所述概率值在預(yù)設(shè)的預(yù)選保持時(shí)間內(nèi)一直為零時(shí)，將所述概率值一直為零的所述通道踢出到所述接入通道組，否則保持在所 述預(yù)選通道組中。
【文檔編號(hào)】H04M3/56GK104469032SQ201410598252
【公開日】2015年3月25日 申請(qǐng)日期:2014年10月30日 優(yōu)先權(quán)日:2014年10月30日
【發(fā)明者】王雪寧, 凡超, 張濤, 熊鋒, 陳衛(wèi)東 申請(qǐng)人:蘇州科達(dá)科技股份有限公司