一種直錄播互動系統(tǒng)中的音頻處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于音頻處理領(lǐng)域，尤其涉及一種直錄播互動系統(tǒng)中的音頻處理方法及裝 置。
【背景技術(shù)】
[0002] 在音頻信號的采集和錄制過程中，需對接收到的音頻信號進(jìn)行處理，再通過音頻 混音算法對采集到的多路語音信號進(jìn)行混合，使混合后的語音信號中包含每一路麥克風(fēng)采 集到的信息，以便能夠讓發(fā)聲者的說話信息傳送給每一個參與會議的成員。
[0003] 傳統(tǒng)的音頻混音算法大都是對采集到的語音信號進(jìn)行分析，根據(jù)信號的強弱分配 不同的混音權(quán)重值，最后進(jìn)行加權(quán)求和以達(dá)到混音的目的。這種方法可以在一定程度上實 現(xiàn)混音的效果，但是由于其使用的是后驗知識，即必須首先得到語音信號才能對每路麥克 風(fēng)通道賦予相應(yīng)的權(quán)重值，存在著處理上的滯后性和信號產(chǎn)生方位的不確定性，如果能夠 利用一些先驗知識，即在得到語音信號前就分配好了每路麥克風(fēng)所對應(yīng)的權(quán)重值，則可以 更為精準(zhǔn)地實現(xiàn)混音的效果。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供一種直錄播互動系統(tǒng)中的音頻處理方法及裝置，以解決上述問題。
[0005] 本發(fā)明提供一種直錄播互動系統(tǒng)中的音頻處理方法。上述方法包括以下步驟：采 集當(dāng)前圖像；根據(jù)第一策略確定所述當(dāng)前圖像中各個音頻采集設(shè)備對應(yīng)的一次混音權(quán)重 值；根據(jù)各個音頻采集設(shè)備采集的音頻信息、各個音頻采集設(shè)備對應(yīng)的一次混音權(quán)重值確 定各個音頻采集設(shè)備的二次混音權(quán)重值；根據(jù)各個音頻采集設(shè)備的二次混音權(quán)重值、各個 音頻采集設(shè)備采集的音頻信息，進(jìn)行混音，獲取混音后的音頻輸出值。
[0006] 本發(fā)明還提供一種直錄播互動系統(tǒng)中的音頻處理裝置，上述裝置包括：全景攝像 機、音頻采集設(shè)備和智能導(dǎo)播設(shè)備；所述全景攝像機和所述音頻采集設(shè)備分別與所述智能 導(dǎo)播設(shè)備相連；所述全景攝像機，用于采集當(dāng)前圖像；所述音頻采集設(shè)備，用于采集音頻信 息；所述智能導(dǎo)播設(shè)備，用于根據(jù)第一策略確定所述當(dāng)前圖像中各個音頻采集設(shè)備對應(yīng)的 一次混音權(quán)重值，并根據(jù)各個音頻采集設(shè)備采集的音頻信息、各個音頻采集設(shè)備對應(yīng)的一 次混音權(quán)重值確定各個音頻采集設(shè)備的二次混音權(quán)重值；所述智能導(dǎo)播設(shè)備還用于根據(jù)各 個音頻采集設(shè)備的二次混音權(quán)重值、各個音頻采集設(shè)備采集的音頻信息，進(jìn)行混音，并獲取 混音后的音頻輸出值。
[0007] 相較于先前技術(shù)，根據(jù)本發(fā)明提供的直錄播互動系統(tǒng)中的音頻處理方法及裝置， 首先對獲取到的視頻圖像進(jìn)行分析，提取出發(fā)聲者在房間內(nèi)的具體位置，利用人員的位置 信息提前對房間內(nèi)的多個麥克風(fēng)設(shè)備分配相應(yīng)的混音權(quán)重值，并且可以隨著人員的移動實 時改變權(quán)重值的大小，精準(zhǔn)地實現(xiàn)混音效果。本發(fā)明利用根據(jù)發(fā)聲者實時的位置變化，能夠 更加準(zhǔn)確有效地根據(jù)人員實時位置從而避免權(quán)重值變化的滯后，能夠使最終的混音效果變 化平緩、自然真實。
【附圖說明】
[0008] 此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：
[0009] 圖1所示為根據(jù)本發(fā)明的較佳實施例提供的直錄播互動系統(tǒng)中的音頻處理方法 的流程圖；
[0010] 圖2所示為根據(jù)本發(fā)明的較佳實施例提供的整個直錄播教室的圖像中教師與麥 克風(fēng)的位置不意圖；
[0011] 圖3所示為根據(jù)本發(fā)明的另一較佳實施例提供的整個直錄播教室的圖像中教師 與麥克風(fēng)的位置示意圖；
[0012]圖4所示為根據(jù)本發(fā)明的較佳實施例提供的直錄播互動系統(tǒng)中的音頻處理裝置 的結(jié)構(gòu)圖。
【具體實施方式】
[0013] 下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0014] 如圖1所示為根據(jù)本發(fā)明的較佳實施例提供的直錄播互動系統(tǒng)中的音頻處理方 法的流程圖。如圖1所示，本發(fā)明的較佳實施例提供的直錄播互動系統(tǒng)中的音頻處理方法 包括步驟101-104。
[0015] 步驟101:采集當(dāng)前圖像；
[0016] 步驟102 :根據(jù)第一策略確定所述當(dāng)前圖像中各個音頻采集設(shè)備對應(yīng)的一次混音 權(quán)重值；
[0017] 所述第一策略包括：建立各個音頻采集設(shè)備與劃分區(qū)域的對應(yīng)關(guān)系；根據(jù)聲源所 在的區(qū)域、聲源區(qū)域及音頻采集設(shè)備混音權(quán)重動態(tài)分配表，確定各個音頻采集設(shè)備對應(yīng)的 一次混音權(quán)重值。
[0018] 所述聲源區(qū)域及音頻采集設(shè)備混音權(quán)重動態(tài)分配表包括：聲源所在區(qū)域的音頻采 集設(shè)備對應(yīng)的一次混音權(quán)重值、劃分區(qū)域中非聲源所在區(qū)域中的各個音頻采集設(shè)備分別對 應(yīng)的一次混音權(quán)重值。
[0019] 舉例而言：在另一優(yōu)選的實施例中，在確定所述當(dāng)前圖像中各個音頻采集設(shè)備對 應(yīng)的一次混音權(quán)重值的方法還包括：假設(shè)聲源的發(fā)出者為教師，建立教師所在區(qū)域和麥克 風(fēng)的混音權(quán)重動態(tài)分配表，具體如表1所示，將全景攝像頭采集到的圖像進(jìn)行區(qū)域劃分，具 體如圖3所示，將采集到的圖像按照6個麥克風(fēng)的位置劃分為6個區(qū)域，每個區(qū)域分別對應(yīng) 著一個麥克風(fēng)，假設(shè)教師在區(qū)域2中，根據(jù)混音權(quán)重動態(tài)分配表得到區(qū)域1中麥克風(fēng)1對應(yīng) 的一次混音權(quán)重值為0. 5,區(qū)域2中麥克風(fēng)2對應(yīng)的一次混音權(quán)重值為1，區(qū)域3中麥克風(fēng) 3對應(yīng)的一次混音權(quán)重值0. 5,區(qū)域4中麥克風(fēng)4對應(yīng)的一次混音權(quán)重值為0. 25,區(qū)域5中 麥克風(fēng)5對應(yīng)的一次混音權(quán)重值0. 5,區(qū)域6中麥克風(fēng)6對應(yīng)的一次混音權(quán)重值為0. 25。
[0020] 表1混音權(quán)重動態(tài)分配表
[0021]
[0022] 所述第一策略包括：根據(jù)獲取的聲源與各個音頻采集設(shè)備之間距離，確定各個音 頻采集設(shè)備對應(yīng)的一次混音權(quán)重值。
[0023] 根據(jù)獲取的聲源與各個音頻采集設(shè)備之間距離，確定各個音頻采集設(shè)備對應(yīng)的一 次混音權(quán)重值的過程為：
[0026] 其中，P(xp，yp)為所述聲源位置坐標(biāo)，所述聲源位置坐標(biāo)通過運動目標(biāo)檢測方法實 時獲?。?br>[0027] 其中，^為第i路音頻采集設(shè)備位置坐標(biāo)Mic i (Xi，yi)和聲源位置坐標(biāo)P(xp，yp)之 間距離平方的倒數(shù)，i = 1，2, 3……n;
[0028] 其中，&為第i路音頻采集設(shè)備的一次混音權(quán)重值。
[0029] 步驟103 :根據(jù)各個音頻采集設(shè)備采集的音頻信息、各個音頻采集設(shè)備對應(yīng)的一 次混音權(quán)重值確定各個音頻采集設(shè)備的二次混音權(quán)重值；
[0030] 根據(jù)各個音頻采集設(shè)備采集的音頻信息、各個音頻采集設(shè)備對應(yīng)的一次混音權(quán)重 值，獲取各個音頻采集設(shè)備進(jìn)行一次混音權(quán)重分配后的語音信號包絡(luò)值；對獲取的各個音 頻采集設(shè)備進(jìn)行一次混音權(quán)重分配后的語音信號包絡(luò)值進(jìn)行平滑處理；獲取各個音頻采集 設(shè)備平滑處理后的語音信號包絡(luò)值總和，并根據(jù)獲取的各個音頻采集設(shè)備平滑處理后的語 音信號包絡(luò)值總和，獲取各個音頻采集設(shè)備的語音信號權(quán)重值，并對所述語音信號權(quán)重值 進(jìn)行平滑處理，得到二次混音權(quán)重值。
[0031] 根據(jù)各個音頻采集設(shè)備采集的音頻信息、各個音頻采集設(shè)備對應(yīng)的一次混音權(quán)重 值，獲取各個音頻采集設(shè)備進(jìn)行一次混音權(quán)重分配后的語音信號包絡(luò)值的過程為：en Vi = ei|*ki;其中，e ,表示第i路音頻采集設(shè)備直接采集到的語音信號幅值，h是第i路音頻采 集設(shè)備的一次混音權(quán)重值；enVi表示第i路音頻采集設(shè)備進(jìn)行一次混音權(quán)重分配后的語音 信號包絡(luò)值。
[0032] 對一次