一種視頻會議的混音方法及裝置的制造方法
【專利摘要】本發(fā)明涉及混音領(lǐng)域，具體涉及一種視頻會議的混音方法及裝置。其中，方法包括：主混音資源接收輔助混音資源發(fā)送的音頻碼流，其中，輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混音；判斷主混音資源是否滿載；在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源；在查詢到空閑的輔助混音資源的情況下，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源。通過本發(fā)明，解決了現(xiàn)有技術(shù)中能夠接入混音的會場數(shù)量容易受到混音處理能力的限制的問題，實現(xiàn)可無限擴(kuò)展的超大方數(shù)的會場的智能混音。
【專利說明】
一種視頻會議的混音方法及裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及混音領(lǐng)域，具體涉及一種視頻會議的混音方法及裝置。
【背景技術(shù)】
[0002]智能混音，是多方視頻會議采用的一種核心技術(shù)。其優(yōu)勢在于，在無需人機(jī)交互的條件下，能夠由MCU平臺自主選擇最合適的若干個與會會場，將其聲音混合并發(fā)送給所有與會會場，同時滿足幾點基本要求:一，用戶無需申請或干預(yù);二，交談清晰流暢，無斷續(xù)，無雜音;三，任意會場可隨時插話；四，用戶不會聽到自己的聲音。
[0003]云計算條件下，與傳統(tǒng)的多級會議不同，所有的聲音和圖像碼流都會送到數(shù)據(jù)中心的MCU平臺進(jìn)行處理和交換。隨著視頻應(yīng)用場景的豐富，超大方數(shù)視頻會議應(yīng)用越來越多。如果沿用現(xiàn)有的智能混音技術(shù)，將全體會場的碼流都上行放入同一個混音資源(本文內(nèi)簡稱MP)處理，將會碰到如下瓶頸:為了兼容所有廠商的終端設(shè)備，無法預(yù)設(shè)終端音頻上行時能夠帶上額外的音量或語音標(biāo)簽。這就意味著混音資源需要對全體會場均進(jìn)行音頻的解包解碼和分析，評估是否要納入真正混音隊列。隨著會場數(shù)的增加，混音資源的解碼運算開銷是線性增長的。視頻會議是一種實時交互的系統(tǒng)，對混音的開銷和引入的時延是有一定的限制的，一般來說完成全體會場一幀的音頻碼流分析，20毫秒是能夠接受的上限。因此，智能混音的處理能力可以縱向擴(kuò)展(如使用更高性能的CPU或者DSP)，但存在明顯的理論上限。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術(shù)問題在于現(xiàn)有技術(shù)中能夠接入混音的會場數(shù)量容易受到混音處理能力的限制，從而提供一種視頻會議的混音方法及裝置。
[0005]根據(jù)本發(fā)明的一方面，提供了一種視頻會議的混音方法，包括:主混音資源接收輔助混音資源發(fā)送的音頻碼流，其中，所述輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混音;判斷所述主混音資源是否滿載;在判斷出所述主混音資源滿載的情況下，查詢空閑的輔助混音資源；在查詢到所述空閑的輔助混音資源的情況下，將所述主混音資源接收到的部分音頻碼流分配到所述空閑的輔助混音資源，由所述空閑的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。
[0006]優(yōu)選地，在未查詢到所述空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源；將所述主混音資源接收到的部分音頻碼流分配到所述新的輔助混音資源，由所述新的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。
[0007]優(yōu)選地，所述方法還包括:所述輔助混音資源對各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記;所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼。
[0008]優(yōu)選地，在所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，所述方法還包括:所述主混音資源將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給所述目標(biāo)節(jié)點，其中，所述目標(biāo)節(jié)點為會場或者輔助混音資源。
[0009]優(yōu)選地，所述方法還包括:所述輔助混音資源從接收到的音頻碼流中識別出真正參與混音的會場，其中，所述真正參與混音的會場為發(fā)出所述有效的音頻碼流的會場;將所述真正參與混音的會場的音頻碼流交由所述主混音資源進(jìn)行混音處理。
[0010]根據(jù)本發(fā)明的另一方面，提供了一種視頻會議的混音裝置，包括:接收單元，設(shè)置在主混音資源上，用于接收輔助混音資源發(fā)送的音頻碼流，其中，所述輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混音;判斷單元，用于判斷所述主混音資源是否滿載;查詢單元，用于在判斷出所述主混音資源滿載的情況下，查詢空閑的輔助混音資源;分配單元，用于在查詢到所述空閑的輔助混音資源的情況下，將所述主混音資源接收到的部分音頻碼流分配到所述空閑的輔助混音資源，由所述空閑的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。
[0011 ]優(yōu)選地，所述裝置還包括:創(chuàng)建單元，用于在未查詢到所述空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源;其中，所述分配單元還用于將所述主混音資源接收到的部分音頻碼流分配到所述新的輔助混音資源，由所述新的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。
[0012]優(yōu)選地，所述裝置還包括:處理單元，設(shè)置的所述輔助混音資源上，用于對所述輔助混音資源各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記;混音單元，設(shè)置在所述主混音資源上，用于通過所述標(biāo)記對有效的音頻碼流進(jìn)行混首和編碼。
[0013]優(yōu)選地，所述裝置還包括:發(fā)送單元，設(shè)置在所述主混音資源上，用于在所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給所述目標(biāo)節(jié)點，其中，所述目標(biāo)節(jié)點為會場或者輔助混音資源。
[0014]優(yōu)選地，所述裝置還包括:識別單元，設(shè)置在所述輔助混音資源上，用于從接收到的音頻碼流中識別出真正參與混音的會場，其中，所述真正參與混音的會場為發(fā)出所述有效的音頻碼流的會場;切換單元，用于將所述真正參與混音的會場的音頻碼流交由所述主混音資源進(jìn)行混音處理。
[0015]根據(jù)本發(fā)明實施例，通過采用音頻資源的分布式部署，輔助混音資源負(fù)責(zé)會場音頻的混音處理，主混音資源負(fù)責(zé)輔助混音資源的音頻的混音處理，并在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源，使得音頻混音能力不受到單個混音資源的處理能力的限制，解決了現(xiàn)有技術(shù)中能夠接入混音的會場數(shù)量容易受到混音處理能力的限制的問題，實現(xiàn)可無限擴(kuò)展的超大方數(shù)的會場的智能混音。
【附圖說明】
[0016]為了更清楚地說明本發(fā)明【具體實施方式】或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對【具體實施方式】或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施方式，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017]圖1為本發(fā)明實施例1中視頻會議的混音方法的一個具體示例的流程圖；
[0018]圖2a至2d為本發(fā)明實施例1中視頻會議的混音方法的混音過程的示意圖；
[0019]圖3為本發(fā)明實施例2中視頻會議的混音裝置的一個具體示例的原理框圖。
【具體實施方式】
[0020]下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0021]在本發(fā)明的描述中，需要說明的是，術(shù)語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對重要性。
[0022]在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接;可以是機(jī)械連接，也可以是電連接;可以是直接相連，也可以通過中間媒介間接相連，還可以是兩個元件內(nèi)部的連通，可以是無線連接，也可以是有線連接。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
[0023]此外，下面所描述的本發(fā)明不同實施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。
[0024]實施例1
[0025]本實施例提供一種視頻會議的混音方法，該方法可以用于云計算條件下的音頻混音，需要說明的是，本發(fā)明實施例的下面所述的混音資源(包括主混音資源(Master-MP)和輔助混音資源(Slave-MP))可以是硬件的混音器，也可以是軟件實現(xiàn)的混音資源，可以用于對音頻進(jìn)行混音和編碼。其中，主混音資源可以從預(yù)先創(chuàng)建的混音資源中預(yù)先指定，在指定主混音資源之后，其它的混音資源統(tǒng)一稱為輔助混音資源。
[0026]如圖1所示，該方法包括:
[0027]步驟SlOl，主混音資源接收輔助混音資源發(fā)送的音頻碼流，其中，輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混音。
[0028]主混音資源可以有其負(fù)責(zé)的會場，接收這些會場的音頻碼流，也可以只接收輔助混音資源發(fā)送的音頻碼流。
[0029]步驟S102，判斷主混音資源是否滿載。
[0030]由于主混音資源存在上限，在接收音頻碼流的過程中，需要判斷主混音資源是否已經(jīng)滿載，如果滿載，容易導(dǎo)致混音結(jié)果出問題。
[0031 ] 步驟S103，在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源。
[0032]為避免混音結(jié)果出問題，在主混音資源滿載的情況下，查詢是否存在空閑的輔助混音資源，以便于分擔(dān)主混音資源的音頻碼流。其中，該空閑的輔助混音資源是指已經(jīng)創(chuàng)建的但未承擔(dān)音頻混音和編碼任務(wù)的混音資源。
[0033]步驟S104，在查詢到空閑的輔助混音資源的情況下，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源。
[0034]由該空閑的輔助混音資源來承擔(dān)主混音資源的部分音頻碼流的混音處理，并將處理后的音頻碼流發(fā)送回主混音資源。其中，分配出去的部分音頻碼流的數(shù)量可以預(yù)先設(shè)定，其數(shù)量至少大于等于2。
[0035]例如，當(dāng)主混音資源的滿載上限為100路音頻碼流，如果有101路音頻碼流接入，則可以分配3路音頻碼流給空閑的輔助混音資源，該空閑的輔助混音資源對這兩路音頻碼流進(jìn)行混音之后，得到I路音頻碼流發(fā)送回主混音資源。主混音資源在分配出去3路音頻碼流之后，剩余98路，然后接收之前分配出去的音頻碼流混音后的I路音頻碼流，得到99路，小于滿載上限。
[0036]根據(jù)本發(fā)明實施例，通過采用音頻資源的分布式部署，輔助混音資源負(fù)責(zé)會場音頻的混音處理，主混音資源負(fù)責(zé)輔助混音資源的音頻的混音處理，并在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源，使得音頻混音能力不受到單個混音資源的處理能力的限制，解決了現(xiàn)有技術(shù)中能夠接入混音的會場數(shù)量容易受到混音處理能力的限制的問題，實現(xiàn)可無限擴(kuò)展的超大方數(shù)的會場的智能混音。
[0037]本實施例對單個混音資源MP的性能要求不高，且性能上限可以根據(jù)負(fù)載靈活配置，一般來說要求音頻混音能力0 = 32即可(調(diào)度內(nèi)生要求c遠(yuǎn)大于混音深度d)。同時，考慮到語音互動的有效性，真正的參與混音的會場數(shù)量(即混音深度d)—般設(shè)置為4-8。
[0038]優(yōu)選地，在未查詢到空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源;將主混音資源接收到的部分音頻碼流分配到新的輔助混音資源，由新的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源。
[0039]本實施例中，如果沒有空閑的輔助混音資源，則需要創(chuàng)建新的輔助混音資源，由該新的輔助混音資源代替上述空閑的輔助混音資源。
[0040]主輔助混音資源在接收到會場的音頻碼流之后，都會對該音頻碼流進(jìn)行聲學(xué)預(yù)處理，主要包括降噪、靜音檢測、增益調(diào)整、人聲識別、連續(xù)性識別等。在處理之后可以對音頻碼流打上預(yù)處理標(biāo)記。由于主混音資源需要處理其負(fù)責(zé)的會場的音頻以及輔助混音資源的音頻，對于這些音頻中的已預(yù)處理的音頻(也即是打上預(yù)處理標(biāo)記的音頻碼流)，則優(yōu)先由主混音資源來處理，如果主混音資源滿載，則查詢空閑的輔助混音資源，或者創(chuàng)建新的輔助混音資源。
[0041]本實施例中，方法還包括:輔助混音資源對各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記；主混音資源通過標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼。
[0042]輔助混音資源在對自己負(fù)責(zé)的會場的音頻碼流進(jìn)行處理之后，識別出有效的音頻碼流，也即是有發(fā)言的會場的音頻(其它會場只是在聽，沒有發(fā)聲)，進(jìn)行標(biāo)記。主混音資源通過這些標(biāo)記來識別有效的音頻碼流，對這些碼流進(jìn)行混音和編碼，其它的音頻碼流雖然流入到主混音資源，但實際上并沒有參與混音和編碼。這樣，雖然主混音資源中存在大量的音頻碼流，但大部分碼流經(jīng)參與混音候選排序，而不參與真正的混音和編碼，能夠大大降低數(shù)據(jù)處理量，基本不損耗平臺的運算能力。
[0043]進(jìn)一步地，在主混音資源通過標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，方法還包括:主混音資源將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給目標(biāo)節(jié)點，其中，目標(biāo)節(jié)點為會場或者輔助混音資源。
[0044]在主混音資源對音頻碼流進(jìn)行混音編碼之后，需要廣播給各會場。其中，目標(biāo)節(jié)點包括:主混音資源負(fù)責(zé)的會場或者輔助混音資源。對于主混音資源負(fù)責(zé)的某個會場，需要將其他會場(不包括該會場)的混音后的音頻碼流廣播給該會場;對于輔助混音資源負(fù)責(zé)的會場，主混音資源將其他會場(不包括該輔助混音資源負(fù)責(zé)的會場)的音頻碼流發(fā)送給該輔助混音資源，由其廣播給其負(fù)責(zé)的會場。
[0045]為了清楚地描述混音模式的過程，以一個簡單的靜態(tài)多圖來說明每個會場和混音資源(MP)的對應(yīng)關(guān)系。
[0046]當(dāng)前會議已經(jīng)創(chuàng)建了3個MP:Master_MP負(fù)責(zé)會場I和會場2 ,Slave-MPl有會場3和會場4，Slave-MP2有會場5和會場6。為了說明問題，沒有考慮混音能力c的大小，而是使用了多個 Slave-MP。
[0047]首先各MP將本MP中的會場的音頻碼流做混音，如圖2a所示。
[0048]對于Slave-MP，將本身的音頻碼流發(fā)送至Master-MP進(jìn)行混音，Slave-MPl發(fā)送全體會場的音頻碼流包括會場3和會場4的音頻，Slave-MP2發(fā)送的音頻碼流包括會場5和會場6的音頻，如圖2b所示。
[0049 ] 此時，對于Ma s t er_MP已經(jīng)有會場I到會場6的所有聲音，并進(jìn)行混音，所以Ma s t er_MP把會場2到會場6的混音音頻發(fā)送給會場I，將會場I和會場3到6的混音音頻發(fā)送給會場2，這樣會場I和會場2就都聽到了除自身之外所有會場的聲音了。同時,Master-MP將Slave-MPl發(fā)送來的音頻剔除，再發(fā)送給Slave-MPl，此時發(fā)送的混音音頻中包括會議I的會場I和會場2的音頻以及會場5和會場6的音頻。同理，發(fā)送給Slave-MP2的音頻包括會場I到會場4的音頻，如圖2c所示。
[0050]Slave-MPl收到碼流后，也已經(jīng)有了所有會場I到會場6的音頻了，這樣分別剔除本地會場3和會場4的音頻后的混音音頻分別發(fā)送給本地會場3和會場4，這樣會場3收到的混音音頻包括會場I和會場2以及會場4到會場6的混音音頻，會場4收到是會場I到會場3以及會場5和會場6的混音音頻。Slave-MP2也如法炮制，如圖2d所示。
[0051]這樣，整個全體會議的每個會場都能聽到所有會議討論的聲音。
[0052]優(yōu)選地，方法還包括:輔助混音資源從接收到的音頻碼流中識別出真正參與混音的會場，其中，真正參與混音的會場為發(fā)出有效的音頻碼流的會場;將真正參與混音的會場的音頻碼流交由主混音資源進(jìn)行混音處理。
[0053]本實施例中，對于真正參與混音的會場，可以交由主混音資源直接進(jìn)行處理，也即是，當(dāng)輔助混音資源識別出其負(fù)責(zé)的會場有人發(fā)言，則將該會場后續(xù)的音頻碼流直接交由主混音資源來處理，以便于將有效的音頻碼流盡快合并到主混音資源。
[0054]具體地，Slave-MP對自身真正參與混音的會場進(jìn)行二次標(biāo)記，協(xié)商該會場后續(xù)交由Master-MP進(jìn)行混音。若Master-MP已滿載，則需要交換一個未參與真正混音的會場給該Slave-MP。同時，對于新創(chuàng)建的Slave-MP，必要時也執(zhí)行一個交換動作。本實施例的目的在于將有效碼流盡快合并到Master-MP，減少進(jìn)入混音的觸發(fā)條件，降低混音時延，同時降低Slave-MP的使用。由于Master-MP上參與混音的會場有連續(xù)性標(biāo)示保護(hù)，所以Slave-MP送上去的碼流，并不會破壞原有交談的連續(xù)性。
[0055]通過上述描述可知，本實施例可以實現(xiàn)如下技術(shù)效果:
[0056]1、由于采用分布式混音資源的部署(主混音資源和輔助混音資源的分配)對于超大方數(shù)的會議，能夠?qū)崿F(xiàn)容量無限擴(kuò)容。
[0057]2、由于輔助混音資源可以分擔(dān)混音處理的任務(wù)，這樣，可以充分利用終端運算能力，減小平臺負(fù)載。
[0058]3、同一種技術(shù)，解決大方數(shù)會議，級聯(lián)會議和分組會議，技術(shù)得到復(fù)用，管理模型簡單。
[0059]4、動態(tài)調(diào)整每個混音資源的處理碼流內(nèi)容，降低混音時延和系統(tǒng)開銷。
[0060]5、對單個混音資源的運算能力要求不高，同時使用多個混音資源時可靈活分布在同一臺或不同的處理器上。
[0061 ] 實施例2
[0062]本施例提供一種視頻會議的混音裝置，該裝置可以用于執(zhí)行本發(fā)明實施例1的視頻會議的混音方法，如圖3所示，該裝置包括:接收單元10、判斷單元20、查詢單元30和分配單元40。
[0063]接收單元10設(shè)置在主混音資源上，用于接收輔助混音資源發(fā)送的音頻碼流，其中，輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混
■~>V.曰ο
[0064]主混音資源可以有其負(fù)責(zé)的會場，接收這些會場的音頻碼流，也可以只接收輔助混音資源發(fā)送的音頻碼流。
[0065]判斷單元20用于判斷主混音資源是否滿載。
[0066]由于主混音資源存在上限，在接收音頻碼流的過程中，需要判斷主混音資源是否已經(jīng)滿載，如果滿載，容易導(dǎo)致混音結(jié)果出問題。
[0067]查詢單元30用于在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源。
[0068]為避免混音結(jié)果出問題，在主混音資源滿載的情況下，查詢是否存在空閑的輔助混音資源，以便于分擔(dān)主混音資源的音頻碼流。其中，該空閑的輔助混音資源是指已經(jīng)創(chuàng)建的但未承擔(dān)音頻混音和編碼任務(wù)的混音資源。
[0069]分配單元40用于在查詢到空閑的輔助混音資源的情況下，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源。
[0070]由該空閑的輔助混音資源來承擔(dān)主混音資源的部分音頻碼流的混音處理，并將處理后的音頻碼流發(fā)送回主混音資源。其中，分配出去的部分音頻碼流的數(shù)量可以預(yù)先設(shè)定，其數(shù)量至少大于等于2。
[0071]例如，當(dāng)主混音資源的滿載上限為100路音頻碼流，如果有101路音頻碼流接入，則可以分配3路音頻碼流給空閑的輔助混音資源，該空閑的輔助混音資源對這兩路音頻碼流進(jìn)行混音之后，得到I路音頻碼流發(fā)送回主混音資源。主混音資源在分配出去3路音頻碼流之后，剩余98路，然后接收之前分配出去的音頻碼流混音后的I路音頻碼流，得到99路，小于滿載上限。
[0072]根據(jù)本發(fā)明實施例，通過采用音頻資源的分布式部署，輔助混音資源負(fù)責(zé)會場音頻的混音處理，主混音資源負(fù)責(zé)輔助混音資源的音頻的混音處理，并在判斷出主混音資源滿載的情況下，查詢空閑的輔助混音資源，將主混音資源接收到的部分音頻碼流分配到空閑的輔助混音資源，由空閑的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源，使得音頻混音能力不受到單個混音資源的處理能力的限制，解決了現(xiàn)有技術(shù)中能夠接入混音的會場數(shù)量容易受到混音處理能力的限制的問題，實現(xiàn)可無限擴(kuò)展的超大方數(shù)的會場的智能混音。
[0073]優(yōu)選地，裝置還包括:創(chuàng)建單元，用于在未查詢到空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源;其中，分配單元還用于將主混音資源接收到的部分音頻碼流分配到新的輔助混音資源，由新的輔助混音資源對部分音頻碼流進(jìn)行混音后，發(fā)送給主混音資源。
[0074]本實施例中，如果沒有空閑的輔助混音資源，則需要創(chuàng)建新的輔助混音資源，由該新的輔助混音資源代替上述空閑的輔助混音資源。
[0075]主輔助混音資源在接收到會場的音頻碼流之后，都會對該音頻碼流進(jìn)行聲學(xué)預(yù)處理，主要包括降噪、靜音檢測、增益調(diào)整、人聲識別、連續(xù)性識別等。在處理之后可以對音頻碼流打上預(yù)處理標(biāo)記。由于主混音資源需要處理其負(fù)責(zé)的會場的音頻以及輔助混音資源的音頻，對于這些音頻中的已處理類的音頻(也即是打上預(yù)處理標(biāo)記的音頻碼流)，則優(yōu)先由主混音資源來處理，如果主混音資源滿載，則查詢空閑的輔助混音資源，或者創(chuàng)建新的輔助混音資源。
[0076]本實施例中，裝置還包括:處理單元，設(shè)置的輔助混音資源上，用于對輔助混音資源各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記;混音單元，設(shè)置在主混音資源上，用于通過標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼。
[0077]輔助混音資源在對自己負(fù)責(zé)的會場的音頻碼流進(jìn)行處理之后，識別出有效的音頻碼流，也即是有發(fā)言的會場的音頻(其它會場只是在聽，沒有發(fā)聲)，進(jìn)行標(biāo)記。主混音資源通過這些標(biāo)記來識別有效的音頻碼流，對這些碼流進(jìn)行混音和編碼，其它的音頻碼流雖然流入到主混音資源，但實際上并沒有參與混音和編碼。這樣，雖然主混音資源中存在大量的音頻碼流，但大部分碼流經(jīng)參與混音候選排序，而不參與真正的混音和編碼，能夠大大降低數(shù)據(jù)處理量，基本不損耗平臺的運算能力。
[0078]進(jìn)一步地，裝置還包括:發(fā)送單元，設(shè)置在主混音資源上，用于在主混音資源通過標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給目標(biāo)節(jié)點，其中，目標(biāo)節(jié)點為會場或者輔助混音資源。
[0079]在主混音資源對音頻碼流進(jìn)行混音編碼之后，需要廣播給各會場。其中，目標(biāo)節(jié)點包括:主混音資源負(fù)責(zé)的會場或者輔助混音資源。對于主混音資源負(fù)責(zé)的某個會場，需要將其他會場(不包括該會場)的混音后的音頻碼流廣播給該會場;對于輔助混音資源負(fù)責(zé)的會場，主混音資源將其他會場(不包括該輔助混音資源負(fù)責(zé)的會場)的音頻碼流發(fā)送給該輔助混音資源，由其廣播給其負(fù)責(zé)的會場。
[0080]優(yōu)選地，裝置還包括:識別單元，設(shè)置在輔助混音資源上，用于從接收到的音頻碼流中識別出真正參與混音的會場，其中，真正參與混音的會場為發(fā)出有效的音頻碼流的會場;切換單元，用于將真正參與混音的會場的音頻碼流交由主混音資源進(jìn)行混音處理。[0081 ] 本實施例中，對于真正參與混音的會場，可以交由主混音資源直接進(jìn)行處理，也即是，當(dāng)輔助混音資源識別出其負(fù)責(zé)的會場有人發(fā)言，則將該會場后續(xù)的音頻碼流直接交由主混音資源來處理，以便于將有效的音頻碼流盡快合并到主混音資源。
[0082]具體地，Slave-MP對自身真正參與混音的會場進(jìn)行二次標(biāo)記，協(xié)商該會場后續(xù)交由Master-MP進(jìn)行混音。若Master-MP已滿載，則需要交換一個未參與真正混音的會場給該Slave-MP。同時，對于新創(chuàng)建的Slave-MP，必要時也執(zhí)行一個交換動作。本實施例的目的在于將有效碼流盡快合并到Master-MP，減少進(jìn)入混音的觸發(fā)條件，降低混音時延，同時降低Slave-MP的使用。由于Master-MP上參與混音的會場有連續(xù)性標(biāo)示保護(hù)，所以Slave-MP送上去的碼流，并不會破壞原有交談的連續(xù)性。
[0083]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲資源、CD-ROM、光學(xué)存儲資源等)上實施的計算機(jī)程序產(chǎn)品的形式。
[0084]本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機(jī)程序指令到通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理資源以產(chǎn)生一個機(jī)資源，使得通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理資源執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的
目.ο
[0085]這些計算機(jī)程序指令也可存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機(jī)可讀存儲資源中，使得存儲在該計算機(jī)可讀存儲資源中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0086]這些計算機(jī)程序指令也可裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機(jī)實現(xiàn)的處理，從而在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0087]顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。
【主權(quán)項】
1.一種視頻會議的混音方法，其特征在于，包括: 主混音資源接收輔助混音資源發(fā)送的音頻碼流，其中，所述輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混音； 判斷所述主混音資源是否滿載； 在判斷出所述主混音資源滿載的情況下，查詢空閑的輔助混音資源； 在查詢到所述空閑的輔助混音資源的情況下，將所述主混音資源接收到的部分音頻碼流分配到所述空閑的輔助混音資源，由所述空閑的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。2.根據(jù)權(quán)利要求1所述的方法，其特征在于， 在未查詢到所述空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源； 將所述主混音資源接收到的部分音頻碼流分配到所述新的輔助混音資源，由所述新的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 所述輔助混音資源對各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記； 所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，所述方法還包括: 所述主混音資源將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給所述目標(biāo)節(jié)點，其中，所述目標(biāo)節(jié)點為會場或者輔助混音資源。5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括: 所述輔助混音資源從接收到的音頻碼流中識別出真正參與混音的會場，其中，所述真正參與混音的會場為發(fā)出所述有效的音頻碼流的會場； 將所述真正參與混音的會場的音頻碼流交由所述主混音資源進(jìn)行混音處理。6.一種視頻會議的混音裝置，其特征在于，包括: 接收單元，設(shè)置在主混音資源上，用于接收輔助混音資源發(fā)送的音頻碼流，其中，所述輔助混音資源為一個或者多個，每個輔助混音資源用于對至少兩個會場的音頻碼流進(jìn)行混■~>V.曰； 判斷單元，用于判斷所述主混音資源是否滿載； 查詢單元，用于在判斷出所述主混音資源滿載的情況下，查詢空閑的輔助混音資源；分配單元，用于在查詢到所述空閑的輔助混音資源的情況下，將所述主混音資源接收到的部分音頻碼流分配到所述空閑的輔助混音資源，由所述空閑的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 創(chuàng)建單元，用于在未查詢到所述空閑的輔助混音資源的情況下，創(chuàng)建新的輔助混音資源； 其中，所述分配單元還用于將所述主混音資源接收到的部分音頻碼流分配到所述新的輔助混音資源，由所述新的輔助混音資源對所述部分音頻碼流進(jìn)行混音后，發(fā)送給所述主混音資源。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括: 處理單元，設(shè)置的所述輔助混音資源上，用于對所述輔助混音資源各自負(fù)責(zé)的會場的音頻碼流進(jìn)行聲學(xué)預(yù)處理，根據(jù)處理后的結(jié)果將有效的音頻碼流進(jìn)行標(biāo)記； 混音單元，設(shè)置在所述主混音資源上，用于通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括: 發(fā)送單元，設(shè)置在所述主混音資源上，用于在所述主混音資源通過所述標(biāo)記對有效的音頻碼流進(jìn)行混音和編碼之后，將除目標(biāo)節(jié)點的音頻碼流之外的音頻碼流發(fā)送給所述目標(biāo)節(jié)點，其中，所述目標(biāo)節(jié)點為會場或者輔助混音資源。10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括: 識別單元，設(shè)置在所述輔助混音資源上，用于從接收到的音頻碼流中識別出真正參與混音的會場，其中，所述真正參與混音的會場為發(fā)出所述有效的音頻碼流的會場； 切換單元，用于將所述真正參與混音的會場的音頻碼流交由所述主混音資源進(jìn)行混音處理。
【文檔編號】H04R3/12GK106060450SQ201610550653
【公開日】2016年10月26日
【申請日】2016年7月13日
【發(fā)明人】顧振華, 周晶晶
【申請人】蘇州科達(dá)科技股份有限公司