音頻數(shù)據(jù)處理方法、裝置、被控設(shè)備和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種音頻數(shù)據(jù)處理方法、一種音頻 數(shù)據(jù)處理裝置、一種被控設(shè)備和一種音頻數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002] 目前，常見的音頻通信系統(tǒng)有VoIP(Voice Over Internet Protocol，互聯(lián)網(wǎng)協(xié) 議）電話以及視頻會(huì)議中的音頻子系統(tǒng)。如圖1所示，視頻會(huì)議系統(tǒng)包括:視頻會(huì)議主機(jī)、多 個(gè)顯示器、多個(gè)攝像頭、揚(yáng)聲器、PC(Personal Computer，個(gè)人電腦)和麥克風(fēng)，其中，視頻會(huì) 議主機(jī)通過(guò)線纜或者無(wú)線信號(hào)連接至IP網(wǎng)絡(luò)；多個(gè)顯示器用于顯示本地現(xiàn)場(chǎng)視頻、遠(yuǎn)程現(xiàn) 場(chǎng)視頻、本地或者遠(yuǎn)程計(jì)算機(jī)畫面;多個(gè)攝像頭用于采集本地現(xiàn)場(chǎng)視頻畫面;PC用于發(fā)送本 地的計(jì)算機(jī)畫面;視頻會(huì)議主機(jī)具有音頻輸出接口，該音頻輸出接口可以是模擬接口，連接 到有源的揚(yáng)聲器，該音頻輸出接口還可以是數(shù)字接口，如內(nèi)嵌到HDMI (High Def ini t ion Multimedia Interface，高清多媒體接口）輸出端中，從而可以由具有揚(yáng)聲器的顯示器進(jìn)行 聲音播放;麥克風(fēng)接入音頻輸入接口，用于獲取本地現(xiàn)場(chǎng)的聲音。麥克風(fēng)可以通過(guò)模擬信號(hào) 傳輸線或者數(shù)字信號(hào)傳輸線連接至視頻會(huì)議主機(jī)。在實(shí)際運(yùn)用中，麥克風(fēng)不僅會(huì)拾取本地 發(fā)言者發(fā)出的聲音，也會(huì)拾取揚(yáng)聲器播放的遠(yuǎn)端發(fā)言者的聲音，后者如果不濾除，遠(yuǎn)端的發(fā) 言者就會(huì)聽到自己剛剛說(shuō)的話，也就是聽到回聲。圖2是對(duì)麥克風(fēng)拾取的混有揚(yáng)聲器播放的 遠(yuǎn)端發(fā)言者聲音的信號(hào)進(jìn)行回聲消除處理，具體地，自適應(yīng)濾波器在雙話檢測(cè)器的控制下 工作，并根據(jù)加法器輸出的音頻信號(hào)的狀態(tài)來(lái)動(dòng)態(tài)調(diào)整濾波器系數(shù)。后處理模塊是對(duì)加法 器輸出的消除回聲后的音頻信號(hào)進(jìn)行殘余回音抑制、音頻降噪、自動(dòng)增益調(diào)整等運(yùn)算。 [0003]在低端的視頻會(huì)議系統(tǒng)中，麥克風(fēng)的傳輸一般采用單端模擬信號(hào)進(jìn)行傳輸，在中 高端的視頻會(huì)議系統(tǒng)中，麥克風(fēng)的模擬接口一般采用支持幻象供電的模擬信號(hào)平衡傳輸， 并可能同時(shí)支持多個(gè)麥克風(fēng)的輸入。采用模擬傳輸方式對(duì)音頻信號(hào)進(jìn)行傳輸時(shí)，音頻信號(hào) 的噪聲會(huì)隨傳輸距離的增加而增加。為避免傳輸時(shí)引入的噪聲影響麥克風(fēng)的信噪比，可以 先對(duì)麥克風(fēng)信號(hào)進(jìn)行數(shù)字化，通過(guò)數(shù)字傳輸?shù)姆绞綄?duì)麥克風(fēng)的音頻信號(hào)進(jìn)行傳輸。另外，為 了保證回聲消除處理的正確性，從麥克風(fēng)傳輸過(guò)來(lái)的音頻數(shù)字信號(hào)需要和主機(jī)內(nèi)部的音頻 數(shù)字信號(hào)在采樣上同步。在相關(guān)技術(shù)中，一般通過(guò)硬件的方式來(lái)確保麥克風(fēng)傳輸?shù)臄?shù)字的 音頻信號(hào)的媒體采樣時(shí)鐘和主控設(shè)備播放的音頻信號(hào)的主媒體時(shí)鐘在頻率上相同以及相 位差恒定。但是，相關(guān)技術(shù)中的方案限制了處理音頻信號(hào)時(shí)的靈活性，而且在處理音頻數(shù)據(jù) 時(shí)對(duì)視頻會(huì)議主機(jī)的處理能力要求比較高，這樣也在一定程度上限制了與視頻會(huì)議主機(jī)相 連的麥克風(fēng)的數(shù)量。
[0004]因此，如何采用一種簡(jiǎn)單硬件電路實(shí)現(xiàn)音頻信號(hào)高保真同步傳輸，降低對(duì)視頻會(huì) 議主機(jī)的處理能力的要求，以級(jí)聯(lián)更多的麥克風(fēng)，進(jìn)而提高音頻數(shù)據(jù)處理系統(tǒng)的擴(kuò)展性成 為亟待解決的問(wèn)題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明正是基于上述問(wèn)題，提出了一種新的技術(shù)方案，不僅避免了音頻信號(hào)在傳 輸過(guò)程中引入噪音，還可以降低對(duì)視頻會(huì)議主機(jī)的處理能力的要求，從而可以級(jí)聯(lián)更多的 麥克風(fēng)，進(jìn)而提高了音頻數(shù)據(jù)處理系統(tǒng)的擴(kuò)展性。
[0006] 有鑒于此，本發(fā)明的第一方面提出了一種音頻數(shù)據(jù)處理方法，用于被控設(shè)備，所述 被控設(shè)備連接至主控設(shè)備，所述被控設(shè)備通過(guò)IEEE1588精確時(shí)間協(xié)議和所述主控設(shè)備保持 時(shí)間同步，所述主控設(shè)備的主媒體時(shí)鐘信號(hào)和所述主控設(shè)備的IEEE1588參考時(shí)鐘信號(hào)采用 同一頻率源，所述音頻數(shù)據(jù)處理方法包括:將第一媒體音頻數(shù)字信號(hào)轉(zhuǎn)換成與所述主媒體 時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)，其中，所述第一媒體音頻數(shù)字信號(hào)為與所述被控 設(shè)備的媒體時(shí)鐘信號(hào)同步的音頻數(shù)字信號(hào);將所述第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)發(fā)送至所述主控 設(shè)備。
[0007] 在該技術(shù)方案中，通過(guò)將與被控設(shè)備(如麥克風(fēng)）的媒體時(shí)鐘信號(hào)同步的第一媒體 音頻數(shù)字信號(hào)轉(zhuǎn)換成與主控設(shè)備（如視頻會(huì)議主機(jī)）的主媒體時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音 頻數(shù)字信號(hào)，避免了使用專用硬件方式來(lái)同步地?cái)?shù)字化和采集主控設(shè)備和被控設(shè)備的音頻 信號(hào)，從而提高了系統(tǒng)的適應(yīng)性。其中，同步指的是音頻信號(hào)統(tǒng)計(jì)意義上是同頻的、并且相 位差控制在一定的范圍內(nèi)。在此方案中，第一媒體音頻數(shù)字信號(hào)可以是單通道的也可以是 多通道的，且第一媒體音頻數(shù)字信號(hào)可以是被控設(shè)備(如麥克風(fēng))采集的原始未處理過(guò)的音 頻數(shù)字信號(hào)，也可以是采集后的音頻數(shù)字信號(hào)經(jīng)過(guò)處理過(guò)的音頻信號(hào)（如回聲消除或降噪 處理等，但未經(jīng)過(guò)采樣率轉(zhuǎn)換）。被控設(shè)備然后將與主控設(shè)備的主媒體時(shí)鐘信號(hào)同步的第一 網(wǎng)絡(luò)音頻數(shù)字信號(hào)發(fā)送至主控設(shè)備，以供主控設(shè)備對(duì)第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)進(jìn)行進(jìn)一步處 理，例如，對(duì)多個(gè)被控設(shè)備傳輸?shù)牡谝痪W(wǎng)絡(luò)音頻數(shù)字信號(hào)進(jìn)行智能混音處理。和麥克風(fēng)模擬 傳輸相比，由于信號(hào)模數(shù)轉(zhuǎn)換是在被控設(shè)備上完成的，可以大大降低麥克風(fēng)的電路噪聲，而 數(shù)字化傳輸則避免了傳輸干擾，保證了音頻信號(hào)傳輸?shù)街骺卦O(shè)備時(shí)仍具有極高的保真度。
[0008] 在上述技術(shù)方案中，優(yōu)選地，所述將第一媒體音頻數(shù)字信號(hào)轉(zhuǎn)換成與所述主媒體 時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)的步驟，具體包括:通過(guò)對(duì)所述第一媒體音頻數(shù)字 信號(hào)進(jìn)行軟件重采樣，并實(shí)時(shí)調(diào)整所述第一媒體音頻數(shù)字信號(hào)的第一重采樣步長(zhǎng)，以得到 與所述主媒體時(shí)鐘信號(hào)同步的所述第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)；以及通過(guò)以下公式計(jì)算所述第 一重采樣步長(zhǎng)：
[0009] Rfactorl =1+Fadj,
[0010] 其中，RfactcirI表示所述第一重采樣步長(zhǎng)，F(xiàn)adj是根據(jù)所述IEEE1588精確時(shí)間協(xié)議獲 得的所述被控設(shè)備的媒體時(shí)鐘信號(hào)頻率和所述主控設(shè)備的主媒體時(shí)鐘信號(hào)頻率的偏差值。
[0011] 在該技術(shù)方案中，根據(jù)被控設(shè)備的媒體時(shí)鐘頻率相對(duì)主控設(shè)備的主媒體時(shí)鐘頻率 的偏差值Fad疋，實(shí)時(shí)調(diào)整重采樣的第一重采樣步長(zhǎng)，以此步長(zhǎng)對(duì)第一媒體音頻數(shù)字信號(hào)進(jìn) 行軟件重采樣以得到與主控設(shè)備的主媒體時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)，從而確 保了音頻數(shù)字信號(hào)的保真度。其中，重采樣可以采用多抽頭的多相位FIR(Finite Impulse Response，有限長(zhǎng)單位沖激響應(yīng))濾波器，加大相位數(shù)和抽頭數(shù)可以得到極小失真度的重采 樣音頻數(shù)字信號(hào)。
[0012] 具體地，通過(guò)IEEE1588精確時(shí)間協(xié)議，可以計(jì)算出被控設(shè)備的IEEE1588參考時(shí)鐘 信號(hào)的頻率Fsi ave和主控設(shè)備的IEEE1588參考時(shí)鐘信號(hào)的頻率Fmaster的偏差值?響，通過(guò)以下 公式計(jì)算該偏差值Fadj :
[0014] 在上述任一技術(shù)方案中，優(yōu)選地，所述將第一媒體音頻數(shù)字信號(hào)轉(zhuǎn)換成與所述主 媒體時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)的步驟之前，包括:接收來(lái)自所述主控設(shè)備的 與所述主媒體時(shí)鐘信號(hào)同步的第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)，并將所述第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)轉(zhuǎn) 換成與所述被控設(shè)備的媒體時(shí)鐘信號(hào)同步的第二媒體音頻數(shù)字信號(hào);根據(jù)所述第二媒體音 頻數(shù)字信號(hào)對(duì)采集的音頻數(shù)字信號(hào)進(jìn)行回聲消除處理，將經(jīng)過(guò)回聲消除處理后的音頻數(shù)字 信號(hào)作為所述第一媒體音頻數(shù)字信號(hào)，其中，所述采集的音頻數(shù)字信號(hào)與所述被控設(shè)備的 媒體時(shí)鐘信號(hào)同步。
[0015] 在該技術(shù)方案中，將來(lái)自主控設(shè)備的與主媒體時(shí)鐘信號(hào)同步的第二網(wǎng)絡(luò)音頻數(shù)字 信號(hào)轉(zhuǎn)換成與被控設(shè)備的媒體時(shí)鐘信號(hào)同步的第二媒體音頻數(shù)字信號(hào)，避免了第二媒體音 頻數(shù)字信號(hào)相對(duì)本地采集的音頻信號(hào)發(fā)生相位漂移，從而使得第二媒體音頻數(shù)字信號(hào)可以 和被控設(shè)備本地采集的音頻信號(hào)一起做處理，比如回聲消除處理。由于回聲消除或其他音 頻處理過(guò)程可以迀移到被控設(shè)備上進(jìn)行，自然降低了對(duì)主控設(shè)備計(jì)算能力的要求，特別是 當(dāng)被控設(shè)備增加時(shí)，對(duì)主控設(shè)備的計(jì)算能力要求基本不變，因?yàn)樾枰罅窟\(yùn)算的處理過(guò)程 可以轉(zhuǎn)移到相應(yīng)的被控設(shè)備上進(jìn)行，從而使整個(gè)系統(tǒng)可以具有很好的擴(kuò)展性。
[0016] 在上述任一技術(shù)方案中，優(yōu)選地，所述將所述第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)轉(zhuǎn)換成與所 述被控設(shè)備的媒體時(shí)鐘信號(hào)同步的第二媒體音頻數(shù)字信號(hào)的步驟之后，包括:根據(jù)所述被 控設(shè)備的媒體時(shí)鐘信號(hào)將所述第二媒體音頻數(shù)字信號(hào)轉(zhuǎn)換成對(duì)應(yīng)的模擬信號(hào)，并通過(guò)所述 被控設(shè)備的播放裝置對(duì)所述第二媒體音頻數(shù)字信號(hào)對(duì)應(yīng)的模擬信號(hào)進(jìn)行播放。
[0017] 在該技術(shù)方案中，以被控設(shè)備的媒體時(shí)鐘信號(hào)為節(jié)拍將第二媒體音頻數(shù)字信號(hào)轉(zhuǎn) 換成對(duì)應(yīng)的模擬信號(hào)，而第二媒體音頻數(shù)字信號(hào)和被控設(shè)備的媒體時(shí)鐘信號(hào)是同步的，這 樣音頻播放時(shí)不會(huì)出現(xiàn)緩沖區(qū)上溢或下溢現(xiàn)象，從而保證播放的音頻是高保真的。通過(guò)這 種方式，可以將原先需要在主控設(shè)備上播放的音頻轉(zhuǎn)移到被控設(shè)備上進(jìn)行，從而使整個(gè)系 統(tǒng)部署具有很好的靈活性。
[0018] 在上述任一技術(shù)方案中，優(yōu)選地，所述將所述第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)轉(zhuǎn)換成與所 述被控設(shè)備的媒體時(shí)鐘信號(hào)同步的第二媒體音頻數(shù)字信號(hào)的步驟，具體包括:對(duì)所述第二 網(wǎng)絡(luò)音頻數(shù)字信號(hào)進(jìn)行軟件重采樣，并實(shí)時(shí)調(diào)整所述第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)的第二重采樣 步長(zhǎng)，以得到與所述被控設(shè)備的媒體時(shí)鐘信號(hào)同步的所述第二媒體音頻數(shù)字信號(hào)；以及通 過(guò)以下公式計(jì)算所述第二重采樣步長(zhǎng)：
[0020] 其中，Rfactcir2表示所述第二重采樣步長(zhǎng)，F(xiàn)adj是根據(jù)所述IEEE1588精確時(shí)間協(xié)議獲 得的所述被控設(shè)備的媒體時(shí)鐘信號(hào)頻率和所述主控設(shè)備的主媒體時(shí)鐘信號(hào)頻率的偏差值。 [0021 ]在該技術(shù)方案中，根據(jù)被控設(shè)備的媒體時(shí)鐘頻率相對(duì)主控設(shè)備的主媒體時(shí)鐘頻率 的偏差值Fad疋，實(shí)時(shí)調(diào)整重采樣的第二重采樣步長(zhǎng)，以此步長(zhǎng)對(duì)第二網(wǎng)絡(luò)音頻數(shù)字信號(hào)進(jìn) 行軟件重采樣以得到第二媒體音頻數(shù)字信號(hào)，保證了第二媒體音頻數(shù)字信號(hào)和被控設(shè)備的 媒體時(shí)鐘信號(hào)同步，從而在被控設(shè)備上處理和播放時(shí)可以保證無(wú)相位漂移，保證了音頻信 號(hào)的高保真度。其中，軟件重采樣可以采用多抽頭多相位的FIR濾波器，以獲得低失真度的 重采樣音頻數(shù)字信號(hào)。
[0022] 具體地，通過(guò)IEEE1588精確時(shí)間協(xié)議，可以計(jì)算出被控設(shè)備的IEEE1588參考時(shí)鐘 信號(hào)的頻率Fsiave和主控設(shè)備的IEEE1588參考時(shí)鐘信號(hào)的頻率Fmaster的偏差值?響，通過(guò)以下 公式計(jì)算該偏差值Fadj :
[0024] 本發(fā)明的第二方面提出了一種音頻數(shù)據(jù)處理裝置，用于被控設(shè)備，所述被控設(shè)備 連接至主控設(shè)備，所述被控設(shè)備通過(guò)IEEE1588精確時(shí)間協(xié)議和所述主控設(shè)備保持時(shí)間同 步，所述主控設(shè)備的主媒體時(shí)鐘信號(hào)和所述主控設(shè)備的IEEE1588參考時(shí)鐘信號(hào)采用同一頻 率源，所述音頻數(shù)據(jù)處理裝置包括:第一處理單元，用于將第一媒體音頻數(shù)字信號(hào)轉(zhuǎn)換成與 所述主媒體時(shí)鐘信號(hào)同步的第一網(wǎng)絡(luò)音頻數(shù)字信號(hào)，其中，所述第一媒體音頻數(shù)字信號(hào)為 與所述被控設(shè)備的媒體時(shí)鐘信號(hào)同步的音頻數(shù)字信號(hào)；發(fā)送單元，用于將