專利名稱：三維聲音重現(xiàn)的方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，特別是涉及一種三維聲音重現(xiàn)的方法、裝 置及系統(tǒng)。
背景技術(shù)：
人的聽覺不僅涉及聽覺器官本身，還涉及視覺，甚至觸覺等生理、 物理、心理等綜合因素。從聽覺角度來(lái)講，人耳除了聲音有響度、音 調(diào)、音色的主觀感覺外，還有對(duì)聲源的空間印象感覺，即對(duì)聲源的定
位能力。人耳對(duì)聲源的定位能力產(chǎn)生于如下原因人的雙耳之間有一 定的距離(約17cm),若某一點(diǎn)聲源偏離聽音人正前方主軸方向，到達(dá) 兩耳的聲音是有差別的，人的聽覺系統(tǒng)根據(jù)這些差別就可以判斷出聲 源的方位，這一理論被稱為"雙耳效應(yīng)"理論。雙耳效應(yīng)理論認(rèn)為人 耳對(duì)聲源方位的判斷能力是根據(jù)由于雙耳距離差引起的以下四個(gè)物理 因素產(chǎn)生的，具體為
1. 聲音到達(dá)雙耳間的時(shí)間差；
2. 聲音到達(dá)雙耳間的強(qiáng)度差；
3. 聲音低頻分量由于時(shí)間差產(chǎn)生的相位差；
4. 由于人頭對(duì)高頻分量的遮蔽作用產(chǎn)生的音色差。
由于上面的原因，自然界發(fā)出的聲音被人耳感知后都能夠被確定 聲源的空間位置，即帶有立體聲效果。但如果把這些立體聲經(jīng)過(guò)記錄、
放大等處理后進(jìn)行重放時(shí)，所有的聲音都從一個(gè)揚(yáng)聲器放出來(lái)，這種 重放聲(與原聲源相比)就不是立體的了。這是由于各種聲音都從同 一個(gè)揚(yáng)聲器發(fā)出，原來(lái)的空間感也消失了。如果從記錄到重放整個(gè)系 統(tǒng)能夠在一定程度上恢復(fù)原發(fā)聲的空間感，那么這種具有一定程度的 方位層次等空間分布特性的重放聲稱為音響技術(shù)中的立體聲。
如圖1所示，現(xiàn)有的揚(yáng)聲器立體聲重現(xiàn)系統(tǒng)中，通過(guò)調(diào)整立體聲
重現(xiàn)系統(tǒng)中的兩個(gè)揚(yáng)聲器101、 102的信號(hào)的時(shí)間差或者強(qiáng)度差，在傳 播過(guò)程中疊加后被聽音人P感知。由于人的雙耳效應(yīng)的存在，聽音人P 會(huì)感覺聲源位于一個(gè)虛擬的位置，如圖中的VSS(虛擬聲源，Virtual Sound Source)所標(biāo)記的聲源，而不是感覺有兩個(gè)聲源(每一個(gè)揚(yáng)聲器 可以看作是一個(gè)聲源)。
圖2是運(yùn)用上述現(xiàn)有技術(shù)的揚(yáng)聲器立體聲重現(xiàn)系統(tǒng)的多方視訊會(huì) 議示意圖。如圖2所示，這里以三方視訊會(huì)議為例，圖中的會(huì)場(chǎng)A、會(huì) 場(chǎng)B和會(huì)場(chǎng)C是三個(gè)不同的會(huì)場(chǎng)。會(huì)場(chǎng)B和會(huì)場(chǎng)C中的與會(huì)者、指向 性麥克風(fēng)、揚(yáng)聲器及顯示屏均與會(huì)場(chǎng)A類似，所以圖中未示出。會(huì)場(chǎng) 之間通過(guò)網(wǎng)絡(luò)進(jìn)行通信。會(huì)場(chǎng)A中，Pl-P4為四個(gè)與會(huì)者；M1 M3為 三個(gè)指向性麥克風(fēng)，用于捕捉會(huì)場(chǎng)中的聲音信號(hào)；L11 L12為兩個(gè)揚(yáng) 聲器，用于聲音重現(xiàn)；Dl-D2為兩個(gè)顯示屏幕，用于分別顯示會(huì)場(chǎng)B 和會(huì)場(chǎng)C中的攝像機(jī)捕捉到的會(huì)場(chǎng)場(chǎng)景。三個(gè)麥克風(fēng)M1 M3所采集到 的信號(hào)凈皮混疊為一個(gè)聲道或者兩個(gè)聲道，分別傳送到會(huì)場(chǎng)B和會(huì)場(chǎng)C 中；在會(huì)場(chǎng)B和會(huì)場(chǎng)C中，將接收到的聲音信號(hào)，通過(guò)兩個(gè)會(huì)場(chǎng)中的 揚(yáng)聲器，利用立體聲重現(xiàn)方法，將聲音重現(xiàn)出來(lái)。另外，每個(gè)會(huì)場(chǎng)內(nèi) 的麥克風(fēng)的個(gè)數(shù)也可以是由多個(gè)麥克風(fēng)組成的一個(gè)麥克風(fēng)陣列，該麥 克風(fēng)陣列捕捉到的信號(hào)也混疊為一個(gè)或者兩個(gè)聲道，傳到其他的會(huì)場(chǎng)。
發(fā)明人在完成本發(fā)明的過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下問(wèn)題 現(xiàn)有的立體聲重現(xiàn)系統(tǒng)中，通常存在一個(gè)"熱點(diǎn)"區(qū)域，即黃金位置， 只有在該位置的聽者才能得到好的立體聲效果，在其它位置的聽者則 不能得到好的立體聲效果。而在視訊通信系統(tǒng)中，通常在一個(gè)會(huì)場(chǎng)有 多個(gè)與會(huì)者，這樣必然使得一些與會(huì)者不能聽到較好的立體聲效果， 也就是音頻的空間感有限。這在會(huì)場(chǎng)中的顯示屏幕較大時(shí)更為突出， 因?yàn)閺囊曈X的角度看，較大的顯示屏幕可以使更多的與會(huì)者獲得較好 的觀看效果，但是由于現(xiàn)有技術(shù)的立體聲重現(xiàn)系統(tǒng)存在的熱點(diǎn)區(qū)域問(wèn) 題，使得只有部分位于黃金位置的與會(huì)者能得到好的立體聲效果，在 其它位置的與會(huì)者則不能得到好的立體聲效果，音頻的空間感較差。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題在于，提供一種三維聲音重現(xiàn) 方法、裝置及系統(tǒng)，使得在再現(xiàn)聲場(chǎng)中的任何位置都具有較好的立體 聲效果，消除熱點(diǎn)區(qū)域。
本發(fā)明實(shí)施例提供一種三維聲音重現(xiàn)的發(fā)送端處理方法，包括 獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；
對(duì)所述獲取到的多路音頻信號(hào)進(jìn)行聲源分離，得到與所述各個(gè)聲 源對(duì)應(yīng)的音頻信號(hào)；
根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè)聲源的多路音 頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信 息；
將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn)行編碼。
本發(fā)明實(shí)施例還提供一種三維聲音重現(xiàn)的接收端處理方法，包括 將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行解
碼；
按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后的與各個(gè)聲源 對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
本發(fā)明實(shí)施例還提供一種三維聲音重現(xiàn)的發(fā)送裝置，包括
多路音頻信號(hào)獲取單元，用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；
聲源分離模塊，用于將所述獲取的多路音頻信號(hào)進(jìn)行聲源分離， 得到與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；
方位計(jì)算模塊，用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái) 自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè) 聲源對(duì)應(yīng)的方位信息；
編碼模塊，用于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分 別進(jìn)行編碼。
本發(fā)明實(shí)施例還提供一種三維聲音重現(xiàn)的接收裝置，包括
解碼模塊，用于將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和 方位信息進(jìn)行解碼；
聲音重現(xiàn)模塊，用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將 解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
本發(fā)明實(shí)施例還提供一種三維聲音重現(xiàn)系統(tǒng)，包括 頁(yè) A. 三維聲音重現(xiàn)的發(fā)送裝置，具體包括
多路音頻信號(hào)獲取單元，用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；
聲源分離模塊，用于將獲取的多路音頻信號(hào)進(jìn)行聲源分離，得到 與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；
方位計(jì)算模塊，用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái) 自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè) 聲源對(duì)應(yīng)的方位信息；
編碼模塊，用于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分 別進(jìn)4于編;馬；和
B. 三維聲音重現(xiàn)的接收裝置，具體包括
解碼模塊，用于將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和 方位信息進(jìn)行解碼；
聲音重現(xiàn)模塊，用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將 解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
本發(fā)明實(shí)施例具有以下有益效果通過(guò)將不同聲源所對(duì)應(yīng)的音頻 信號(hào)分離出來(lái)處理，為整個(gè)空間提供基本相同質(zhì)量的聲覆蓋，基本可 以重現(xiàn)出原始真實(shí)的聲場(chǎng)，提高視訊會(huì)議系統(tǒng)的音頻空間感。


圖l是現(xiàn)有技術(shù)的揚(yáng)聲器立體聲重現(xiàn)示意圖2是現(xiàn)有技術(shù)的多方會(huì)議的揚(yáng)聲器立體聲重現(xiàn)系統(tǒng)的示意圖3是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送端處理方法的實(shí)施
例一的流程圖4是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送端處理方法的實(shí)施 例二的流程圖5是圖4中所示的三維聲音重現(xiàn)的發(fā)送端處理方法的麥克風(fēng)陣 列捕捉聲音信號(hào)的示意圖6是圖4中所示的三維聲音重現(xiàn)的發(fā)送端處理方法中的盲源分 離方法的基本原理框圖7是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收端處理方法的實(shí)施 例一的流程圖8是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收端處理方法的實(shí)施 例二的流程圖9是使用圖8中所示的三維聲音重現(xiàn)的接收端處理方法中的波 前合成方法前的原始聲場(chǎng)；
圖IO是使用圖8中所示的三維聲音重現(xiàn)的接收端處理方法中的波 前合成方法后的聲場(chǎng)；
圖ll是圖8中所示的三維聲音重現(xiàn)的接收端處理方法中的揚(yáng)聲器 陣列播放音頻信號(hào)的示意圖12是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送裝置的實(shí)施例一的 示意圖13是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送裝置的實(shí)施例二的
示意圖14是圖13中所示三維聲音重現(xiàn)的發(fā)送裝置中的方位計(jì)算模塊 的示意圖15是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收裝置的實(shí)施例一的 示意圖16是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收裝置的實(shí)施例二的 示意圖17是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的實(shí)施例 一 的示意框
圖； —
圖18是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的實(shí)施例二的示意框
圖19是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的一實(shí)施例的組網(wǎng)圖。
具體實(shí)施例方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方 案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一 部分實(shí)施例，而不是全部的實(shí)施例。
圖3是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送端處理方法的實(shí)施 例一的流程圖。該流程圖包括下列步驟
步驟S301:獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；
在實(shí)施步驟S301過(guò)程中，所述獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)
是使用麥克風(fēng)陣列完成的。
步驟S302:將獲取的多路音頻信號(hào)進(jìn)行聲源分離，得到與所述各 個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；
在實(shí)施步驟S302中，所述將獲取的多路音頻信號(hào)進(jìn)行聲源分離采 用盲源分離方法。
步驟S303:根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè)聲 源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng) 的方位信息；
在實(shí)施步驟S303的過(guò)程中，所述根據(jù)所述獲取的多路音頻信號(hào)及 用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出 與所述各個(gè)聲源對(duì)應(yīng)的方位信息具體包括估算所述多路音頻信號(hào)傳 播到所述用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的各個(gè)裝置之間的相 對(duì)時(shí)延；根據(jù)估算出的所述相對(duì)時(shí)延及用來(lái)獲取來(lái)自各個(gè)聲源的多路 音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信 息。
步驟S304:將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn) 行編碼。
本實(shí)施例能夠?qū)⒒祀s在一起的不同聲源所對(duì)應(yīng)的音頻信號(hào)分離出 來(lái)，并計(jì)算出不同聲源所對(duì)應(yīng)的音頻信號(hào)的位置信息，使得聲音輸出 時(shí)可以很好地模擬再現(xiàn)原始真實(shí)聲場(chǎng)。
圖4是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送端處理方法的實(shí)施
例二的流程圖。該流程圖包括下列步驟
步驟S401:首先獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)，本實(shí)施例采 用多個(gè)麥克風(fēng)組成的麥克風(fēng)陣列采集同時(shí)說(shuō)話的多個(gè)人(即多個(gè)聲源) 的語(yǔ)音信號(hào)，從而捕獲多路聲音信號(hào)，將其轉(zhuǎn)換為多路音頻信號(hào)。
步驟S402:對(duì)麥克風(fēng)陣列采集輸入的多路音頻信號(hào)進(jìn)行聲源分離， 得到與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)。在該實(shí)施例中，采用盲源分離 方法對(duì)不同聲源的音頻信號(hào)進(jìn)行分離。
步驟S403:根據(jù)步驟S401中獲取的多路音頻信號(hào)及麥克風(fēng)陣列中 的各個(gè)麥克風(fēng)之間的位置關(guān)系分別計(jì)算出與各個(gè)聲源對(duì)應(yīng)的方位信 息。在該實(shí)施例中，采用基于時(shí)延估算的聲源定位算法計(jì)算與各個(gè)聲 源對(duì)應(yīng)的方位信息。
步驟S404:將與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和各個(gè)聲源的方位信息 進(jìn)行編碼，然后通過(guò)網(wǎng)絡(luò)發(fā)送給三維聲音重現(xiàn)的接收端。
下面詳細(xì)說(shuō)明基于時(shí)延估算的聲源定位算法
圖5是圖4中所示的三維聲音重現(xiàn)的發(fā)送端處理方法的麥克風(fēng)陣 列捕捉聲音信號(hào)的示意圖。如圖5所示，由于聲源與各個(gè)麥克風(fēng)之間 的距離不同，所以聲源發(fā)出的聲音信號(hào)傳播到麥克風(fēng)陣列中的不同麥 克風(fēng)的時(shí)間不同。例如存在兩個(gè)聲源，聲源1發(fā)出的聲音信號(hào)傳播到 麥克風(fēng)陣列中的各個(gè)麥克風(fēng)的時(shí)間是不同的，聲源2發(fā)出的聲音信號(hào) 傳播到麥克風(fēng)陣列中的各個(gè)麥克風(fēng)的時(shí)間也是不同的，這樣從不同的 麥克風(fēng)輸出的對(duì)應(yīng)同 一聲源的音頻信號(hào)的時(shí)間也不相同。因此首先估 算與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)之間的相對(duì)時(shí)延，然后利用估算出來(lái)的
相對(duì)時(shí)延結(jié)合已知的麥克風(fēng)之間的位置關(guān)系確定各個(gè)聲源的方位。時(shí)
延估算算法中應(yīng)用最為廣泛的是廣義互相關(guān)函數(shù)法(GCC， Genera 1 ized Cross Correlation)。廣義互相關(guān)函數(shù)法通過(guò)求兩音頻信號(hào)之間的互 功率譜，并在頻域內(nèi)進(jìn)行加權(quán)，對(duì)噪聲和反射聲進(jìn)行抑制，再反變換 到時(shí)域，得到兩音頻信號(hào)間的互相關(guān)函數(shù)。互相關(guān)函數(shù)的峰值位置即 為兩音頻信號(hào)之間的相對(duì)時(shí)延。得到音頻信號(hào)之間的時(shí)延后，結(jié)合已 知的麥克風(fēng)之間的位置關(guān)系，即可得到與聲源對(duì)應(yīng)的方位信息。
下面詳細(xì)^兌明盲源分離方法
圖6是圖4中所示的三維聲音重現(xiàn)的發(fā)送端處理方法中的盲源分 離方法的基本原理框圖。所謂盲源分離，是指在不知道源信號(hào)和傳輸 信道的先驗(yàn)信息的情況下，根據(jù)輸入信號(hào)的統(tǒng)計(jì)特征，僅由觀測(cè)到的 混合信號(hào)來(lái)回復(fù)或分離出源信號(hào)。也就是說(shuō)，源信號(hào)是不能被觀測(cè)到 的，得到的是混合后的信號(hào)；另外，各個(gè)不同的源信號(hào)是如何混合的 也是未知的。典型的被觀測(cè)信號(hào)是一系列傳感器的輸出，而每一個(gè)傳 感器收到的是源信號(hào)的不同組合。盲源分離的主要任務(wù)就是從觀測(cè)數(shù) 據(jù)中恢復(fù)出源信號(hào)。對(duì)應(yīng)于本發(fā)明的實(shí)施例中，麥克風(fēng)陣列采集同時(shí) 說(shuō)話的多個(gè)人的語(yǔ)音信號(hào)，從而獲得多路語(yǔ)音，利用盲源分離技術(shù)從 這多路語(yǔ)音中恢復(fù)出每個(gè)人對(duì)應(yīng)的語(yǔ)音信號(hào)，也就是從多路語(yǔ)音中分 離出與多個(gè)聲源對(duì)應(yīng)的音頻信號(hào)。盲源分離方法的基本原理就是使觀
測(cè)信號(hào)經(jīng)過(guò)一個(gè)分離系統(tǒng)后能恢復(fù)或分離出源信號(hào)。如圖6所示，N個(gè) 相互統(tǒng)計(jì)獨(dú)立的未知源信號(hào)<formula>formula see original document page 16</formula>經(jīng)未知混 合系統(tǒng)H的傳輸后，由M個(gè)傳感器檢測(cè)獲得M個(gè)觀測(cè)信號(hào)x = [x,(t), x2(t), xM(t)]T 。盲源分離的任務(wù)是將觀測(cè)信號(hào)通過(guò)信號(hào)分離器
(即，通過(guò)分離算法)后使得輸出<formula>formula see original document page 16</formula>是
源信號(hào)的一個(gè)拷貝或估計(jì)。
目前解決盲源分離最主要的方法有如下三種
① 獨(dú)立分量分析方法。通過(guò)尋求一個(gè)線性變換，使得信號(hào)經(jīng)過(guò)變 換后，其不同分量之間的相依性最小。該方法是由Comon于1994年提 出的。當(dāng)信號(hào)之間的獨(dú)立性采用不同的準(zhǔn)則測(cè)度時(shí)，即可得到不同的 算法。
② 熵最大化方法。利用非線性傳遞函數(shù)對(duì)輸出進(jìn)行變換，使得輸 出分布包含在一個(gè)有限的超立方體中，然后熵的最大化將迫使輸出盡 可能在超立方體中均勻散布。該方法是由Bell和Sejnowski于1995 年提出的。
③ 非線性主分量分析方法。這類方法是由0ja與Karhumen等人 提出的，它是線性主分量分析方法的推廣，在正交約束下可以實(shí)現(xiàn)信 號(hào)的分離。
本實(shí)施例通過(guò)麥克風(fēng)陣列捕捉多路音頻信號(hào)，并通過(guò)盲源分離方 法能夠很好地將混雜在一起的不同聲源所對(duì)應(yīng)的音頻信號(hào)分離出來(lái)， 并根據(jù)音頻信號(hào)計(jì)算出不同聲源所對(duì)應(yīng)的音頻信號(hào)的位置信息，通過(guò) 網(wǎng)絡(luò)發(fā)送給聲音輸出端，使得聲音輸出時(shí)可以很好地模擬再現(xiàn)原始真 實(shí)聲場(chǎng)。
圖7是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收端處理方法的實(shí)施 例 一 的流程圖。該流程圖包括下列步驟
步驟S701:將接收的所述編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和
方位信息進(jìn)行解碼；
步驟S702:三維聲音重現(xiàn)，即按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方 位信息將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
在實(shí)施步驟S702的過(guò)程中，所述按照解碼后的與各個(gè)聲源對(duì)應(yīng)的
方位信息將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音是使 用揚(yáng)聲器陣列完成的。所述按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息
將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音采用波前合成 方法。
本發(fā)明實(shí)施例將編碼后的音頻信號(hào)和方位信息進(jìn)行解碼，在聲音 輸出端處生成各路音頻信號(hào)對(duì)應(yīng)的虛擬聲源，能夠?qū)⒍嗦曉吹亩嗦芬?頻信息較為逼真地重現(xiàn)出來(lái)。
圖8是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收端處理方法的實(shí)施 例二的流程圖。該流程圖包括下列步驟
步驟S801:三維聲音重現(xiàn)的接收端接收三維聲音重現(xiàn)的發(fā)送端通 過(guò)網(wǎng)絡(luò)發(fā)送來(lái)的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息后， 對(duì)其進(jìn)行解碼，解碼后得到與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息；
步驟S802:利用波前合成方法，通過(guò)揚(yáng)聲器陣列將三維聲音重現(xiàn) 出來(lái)。
下面詳細(xì)i兌明波前合成方法
圖9是使用圖8中所示的三維聲音重現(xiàn)的接收端處理方法中的波
前合成方法前的原始聲場(chǎng)；圖IO是使用圖8中所示的三維聲音重現(xiàn)的 接收端處理方法中的波前合成方法后的聲場(chǎng)。
根據(jù)揚(yáng)聲器陣列理論，將若干個(gè)揚(yáng)聲器排列成一個(gè)陣列，例如間 隔排列在一條直線上，每個(gè)揚(yáng)聲器單元輻射一個(gè)平面的同相位波陣面， 多個(gè)單元的組合就可以提供單一的主擴(kuò)展聲源。該揚(yáng)聲器陣列的波陣 面通過(guò)在整個(gè)音頻范圍內(nèi)的耦合，使得聲音以波束的形式在 一 定的方 向上傳播。通過(guò)控制揚(yáng)聲器陣列中各個(gè)揚(yáng)聲器對(duì)應(yīng)輸入信號(hào)的延遲時(shí) 間，可使聲波在指定地點(diǎn)或者方向發(fā)生疊加，而在其它位置發(fā)生破壞 性干涉，從而實(shí)現(xiàn)根據(jù)需要改變聲音傳播方向的目的，這也就是所謂 的"波前合成"。所謂波前合成(Wave Field Synthesis)是利用惠更 斯(Huyghens)原理來(lái)進(jìn)行聲波合成的，其內(nèi)容為"波陣面(Wave Front) 上所有的點(diǎn)均可以看作 一個(gè)新的波源，這些波源和原始的波源有同樣 的速率和波長(zhǎng)，在疊加之后這些波源在下一個(gè)瞬間形成新的波陣面"。 采用波前合成技術(shù)可以對(duì)聲場(chǎng)進(jìn)行真實(shí)的重現(xiàn)。
本實(shí)施例中使用多個(gè)揚(yáng)聲器作為新的波源，利用Huyghens原理， 采用波前合成方法將不同虛擬聲源對(duì)應(yīng)的信號(hào)傳送到不同的揚(yáng)聲器重 現(xiàn)出來(lái)。具體的說(shuō)，設(shè)定虛擬聲源的個(gè)數(shù)為M，揚(yáng)聲器的個(gè)數(shù)為N，在 使用波前合成方法時(shí)，某一個(gè)虛擬聲源對(duì)應(yīng)的信號(hào)可以使用N個(gè)揚(yáng)聲 器中的2-N個(gè)揚(yáng)聲器重現(xiàn)出來(lái)；當(dāng)有多個(gè)聲源時(shí)，則可能有多個(gè)聲源 對(duì)應(yīng)的信號(hào)共用一個(gè)揚(yáng)聲器的情況。圖ll是圖8中所示的三維聲音重 現(xiàn)的接收端處理方法中的揚(yáng)聲器陣列播放音頻信號(hào)的示意圖。舉例說(shuō) 明，如圖ll所示，根據(jù)會(huì)場(chǎng)接收到的聲源所生成的虛擬聲源共有Sl、 S2、 S3三個(gè)，用于聲音重放的揚(yáng)聲器有Ll、 L2、 L3、 L4、 L5、 L6共六 個(gè)。其中SI對(duì)應(yīng)的信號(hào)用Ll和L4重放出來(lái)、S2對(duì)應(yīng)的信號(hào)用Ll、
L4、 L5、 L6重放出來(lái)，S3對(duì)應(yīng)的信號(hào)用L2和L5重放出來(lái)；既Ll被 S1和S2共用，L4被S1和S2共用，L5被S2和S3共用。
本發(fā)明實(shí)施例提供的三維聲音重現(xiàn)的接收端處理方法采用波前合 成方法對(duì)聲音進(jìn)行重現(xiàn)，能夠?yàn)檎麄€(gè)聆聽空間提供相同質(zhì)量的聲覆蓋， 提高了整個(gè)視聽空間中的立體聲效果，使得在整個(gè)視聽空間中都能感 受到原始真實(shí)的聲音。
圖12是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送裝置的實(shí)施例一的 示意圖。如圖所示，三維聲音重現(xiàn)的發(fā)送裝置12中包含多路音頻信 號(hào)獲取單元121,處理單元122和編碼模塊123，其中處理單元1"包 括聲源分離模塊1221和方位計(jì)算模塊1222。多路音頻信號(hào)獲取單元 121用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；聲源分離模塊1221用于 將獲取的多路音頻信號(hào)進(jìn)行聲源分離得到與各個(gè)聲源對(duì)應(yīng)的音頻信 號(hào)；方位計(jì)算模塊1222用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取 來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各 個(gè)聲源對(duì)應(yīng)的方位信息；編碼模塊123用于將所述與各個(gè)聲源對(duì)應(yīng)的 音頻信號(hào)和方位信息分別進(jìn)行編碼。
本實(shí)施例能夠?qū)⒒祀s在一起的不同聲源所對(duì)應(yīng)的音頻信號(hào)分離出 來(lái)，并計(jì)算出不同聲源所對(duì)應(yīng)的音頻信號(hào)的位置信息，使得聲音輸出 時(shí)可以很好地模擬再現(xiàn)原始真實(shí)聲場(chǎng)
圖13是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的發(fā)送裝置的實(shí)施例二的 示意圖。如圖所示，三維聲音重現(xiàn)的發(fā)送裝置13中包含多路音頻信
號(hào)獲取單元131，處理單元132和編碼才莫塊133，其中處理單元132包 括盲源分離模塊1321和方位計(jì)算模塊1322。多路音頻信號(hào)獲取單元 131，本實(shí)施例中為麥克風(fēng)陣列，用于獲取來(lái)自各個(gè)聲源的多路音頻信 號(hào)；盲源分離模塊1321用于將獲取的多路音頻信號(hào)進(jìn)行盲源分離得到 與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；方位計(jì)算模塊1322用于根據(jù)所述獲取的 多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的 位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信息；方位計(jì)算模塊1322 具體包括時(shí)延估算模塊1322. 1和聲源定位模塊1322. 2，如圖14所示， 其中時(shí)延估算模塊1322. 1用于估算與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)之間的 相對(duì)時(shí)延，聲源定位模塊1322. 2根據(jù)估算出的相對(duì)時(shí)延，并結(jié)合已知 的麥克風(fēng)之間的位置關(guān)系，確定出聲源的方位信息。編碼模塊133用 于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn)行編碼。
本發(fā)明實(shí)施例提供的三維聲音重現(xiàn)的發(fā)送裝置使用盲源分離模塊 能夠更有效精確地將多路音頻信號(hào)獲取單元121所獲取的多路音頻信 號(hào)分離出來(lái)，使用包含時(shí)延估算模塊和聲源定位模塊的方位計(jì)算模塊 能夠更好地估算出與各個(gè)聲源對(duì)應(yīng)的方位信息。
圖15是才艮據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收裝置的實(shí)施例一的 示意圖。如圖所示，本實(shí)施例提供的三維聲音重現(xiàn)的接收裝置15包括 解碼模塊151和聲音重現(xiàn)模塊152，解碼模塊151用于將接收到的編碼 后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行解碼；聲音重現(xiàn)模塊 152用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后的與各個(gè) 聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
本實(shí)施例的三維聲音重現(xiàn)的接收裝置能夠重現(xiàn)出具有良好空間感 的三維聲音。
圖16是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)的接收裝置的實(shí)施例二的 示意圖。如圖所示，本發(fā)明實(shí)施例提供的三維聲音重現(xiàn)的接收裝置16 包括解碼模塊161和聲音重現(xiàn)模塊162，解碼模塊151用于將接收到 的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行解碼；聲音重 現(xiàn)模塊162包括波前合成模塊1621和揚(yáng)聲器陣列1622,解碼后的音頻 信號(hào)通過(guò)波前合成模塊1621利用波前合成方法通過(guò)揚(yáng)聲器陣列1622 的共同作用重現(xiàn)為三維聲音。
本發(fā)明實(shí)施例提供的三維聲音重現(xiàn)的接收裝置使用波前合成技術(shù) 和揚(yáng)聲器陣列對(duì)多路音頻信息進(jìn)行重現(xiàn)，能夠逼真地再現(xiàn)出原聲場(chǎng)， 給人以親臨現(xiàn)場(chǎng)的感覺。
圖17是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的實(shí)施例一的示意框 圖。如圖所示，該三維聲音重現(xiàn)系統(tǒng)包括三維聲音重現(xiàn)的發(fā)送裝置171 和三維聲音重現(xiàn)的接收裝置172。三維聲音重現(xiàn)的發(fā)送裝置171中包含 多路音頻信號(hào)獲取單元1701、處理單元1700和編碼模塊1704，其中 處理單元1700包括聲源分離模塊1702和方位計(jì)算模塊1703。多路音 頻信號(hào)獲取單元1701用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；聲源分 離模塊1702用于將獲取的多路音頻信號(hào)進(jìn)行聲源分離得到與各個(gè)聲源 對(duì)應(yīng)的音頻信號(hào)；方位計(jì)算模塊1703用于根據(jù)所述獲取的多路音頻信 號(hào)及用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)
算出與所述各個(gè)聲源對(duì)應(yīng)的方位信息；編碼模塊1704用于將所述與各 個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn)行編碼。三維聲音重現(xiàn)的接 收裝置172中包括解碼模塊1705和聲音重現(xiàn)模塊1706。解碼模塊1705 用于將接收到的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行 解碼；聲音重現(xiàn)模塊1706用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信 息將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
圖18是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的實(shí)施例二的示意框 圖。如圖所示，該三維聲音重現(xiàn)系統(tǒng)包括三維聲音重現(xiàn)的發(fā)送裝置181 和三維聲音重現(xiàn)的接收裝置182。
三維聲音重現(xiàn)的發(fā)送裝置181中包含多路音頻信號(hào)獲取單元1801、 處理單元1800和編碼模塊1804，其中處理單元1800包括盲源分離模 塊1802和方位計(jì)算模塊1803。多路音頻信號(hào)獲取單元1801用于獲取 來(lái)自各個(gè)聲源的多路音頻信號(hào)；盲源分離模塊1802用于將獲取的多路 音頻信號(hào)進(jìn)行盲源分離得到與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；方位計(jì)算模 塊1803用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè)聲源的 多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方 位信息。其中方位計(jì)算模塊1803包括時(shí)延估算模塊1803. 1和聲源定 位模塊1803. 2，其中時(shí)延估算模塊1803. 1用于估算與各個(gè)聲源對(duì)應(yīng)的 音頻信號(hào)之間的相對(duì)時(shí)延，聲源定位模塊1803. 2根據(jù)估算出的相對(duì)時(shí) 延，并結(jié)合已知的麥克風(fēng)之間的位置關(guān)系，確定出聲源的方位信息。 編碼模塊1804用于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別 進(jìn)行編碼。
三維聲音重現(xiàn)的接收裝置182中包括解碼模塊1805和聲音重現(xiàn)模 塊1806，解碼模塊1805用于將接收到的編碼后的與各個(gè)聲源對(duì)應(yīng)的音 頻信號(hào)和方位信息進(jìn)行解碼；聲音重現(xiàn)模塊1806包括波前合成模塊 1806.1和揚(yáng)聲器陣列1806.2,解碼后的音頻信號(hào)通過(guò)波前合成模塊 1806. l利用波前合成方法通過(guò)揚(yáng)聲器陣列1806. 2共同作用重現(xiàn)為三維 聲音。
在多方視訊會(huì)場(chǎng)中設(shè)置本實(shí)施例的聲源重現(xiàn)系統(tǒng)，將大大改善視 訊會(huì)場(chǎng)的音頻空間感。
圖19是根據(jù)本發(fā)明提供的三維聲音重現(xiàn)系統(tǒng)的一實(shí)施例的組網(wǎng) 圖。在多點(diǎn)視訊通信系統(tǒng)中， 一種可能的利用本發(fā)明^提供的三維聲音 重現(xiàn)系統(tǒng)的組網(wǎng)圖如圖19所示，圖中示例性地顯示有三個(gè)會(huì)場(chǎng)，通過(guò) 網(wǎng)絡(luò)中的多點(diǎn)控制單元(MCU)實(shí)現(xiàn)了 一個(gè)三方遠(yuǎn)程的聲源重現(xiàn)系統(tǒng)。在 進(jìn)行視頻會(huì)議時(shí)，每一個(gè)終端設(shè)備"'G'e [1:3])都向MCU進(jìn)行注冊(cè)，關(guān)于 MCU的更為全面的定義可以參考國(guó)際電信聯(lián)盟，即ITU，制定的標(biāo)準(zhǔn)， 這些標(biāo)準(zhǔn)包括但不局限于H. 324、 H. 323等標(biāo)準(zhǔn)。圖中的每個(gè)終端設(shè)備 都包含了本發(fā)明實(shí)施例中所述三維聲音重現(xiàn)的發(fā)送裝置和三維聲音重 現(xiàn)的接收裝置。
當(dāng)視頻會(huì)議系統(tǒng)進(jìn)行時(shí)，各個(gè)終端設(shè)備"G'e [1:3])的聲源分離模 塊，特別是盲源分離模塊，把對(duì)應(yīng)會(huì)場(chǎng)Si中的麥克風(fēng)陣列得到的多路 音頻信號(hào)進(jìn)行分離，然后計(jì)算出各聲源對(duì)應(yīng)的方位信息，將分離后的 多個(gè)聲源對(duì)應(yīng)的音頻信號(hào)以及多個(gè)聲源對(duì)應(yīng)的方位信息一起發(fā)送給會(huì) 議控制單元MCU。 MCU得到各個(gè)終端設(shè)備傳送過(guò)來(lái)的音視頻信號(hào)后，生
成類會(huì)場(chǎng)Si,即其它會(huì)場(chǎng)Sj (je [1: 3]，且j^i)需要呈現(xiàn)的音頻 信號(hào)，并將類會(huì)場(chǎng)Si傳送給其它會(huì)場(chǎng)Sj中的終端設(shè)備Tj( 3], 且j * i ),終端設(shè)備Tj中的三維聲音重現(xiàn)的接收裝置對(duì)接收到類會(huì)場(chǎng) Si信息進(jìn)行解碼處理，得到音頻輸出設(shè)備中的各個(gè)揚(yáng)聲器對(duì)應(yīng)的音頻 信號(hào)，在會(huì)場(chǎng)S j中模擬出其它會(huì)場(chǎng)中傳送過(guò)來(lái)的聲源對(duì)應(yīng)的虛擬聲源， 并呈現(xiàn)給會(huì)場(chǎng)Sj中的與會(huì)者。
根據(jù)本發(fā)明實(shí)施例提供的三維聲音重現(xiàn)系統(tǒng)，能夠?yàn)檎麄€(gè)聆聽空 間提供相同質(zhì)量的聲覆蓋，重現(xiàn)出原始真實(shí)的聲場(chǎng)。
當(dāng)然，以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技 術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以 做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種三維聲音重現(xiàn)的發(fā)送端處理方法，其特征在于，包括:獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；將獲取的多路音頻信號(hào)進(jìn)行聲源分離，得到與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信息；將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn)行編碼。
2、 根據(jù)權(quán)利要求1所述的三維聲音重現(xiàn)的發(fā)送端處理方法，其特 征在于，所述獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)是使用麥克風(fēng)陣列完 成的。
3、 根據(jù)權(quán)利要求1或2所述的三維聲音重現(xiàn)的發(fā)送端處理方法， 其特征在于，所述根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái)自各個(gè) 聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì) 應(yīng)的方位信息具體包括估算所述多路音頻信號(hào)傳播到所述用來(lái)獲取來(lái)自各個(gè)聲源的多路 音頻信號(hào)的各個(gè)裝置之間的相對(duì)時(shí)延；根據(jù)估算出的所述相對(duì)時(shí)延及用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻 信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信息。
4、 根據(jù)權(quán)利要求1或2所述的三維聲音重現(xiàn)的發(fā)送端處理方法， 其特征在于，所述將獲取的多路音頻信號(hào)進(jìn)行聲源分離采用盲源分離方法。
5、 一種三維聲音重現(xiàn)的接收端處理方法，其特征在于，包括 將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行解碼；按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后的與各個(gè)聲源 對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
6、 根據(jù)權(quán)利要求5所述的三維聲音重現(xiàn)的接收端處理方法，其特 征在于，所述按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后的與 各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音是^f吏用揚(yáng)聲器陣列完成的。
7、 根據(jù)權(quán)利要求5或6所述的三維聲音重現(xiàn)的接收端處理方法， 其特征在于，所述按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后 的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音采用波前合成方法。
8、 一種三維聲音重現(xiàn)的發(fā)送裝置，其特征在于，包括多路音頻信號(hào)獲取單元，用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；聲源分離模塊，用于將所述獲取的多路音頻信號(hào)進(jìn)行聲源分離， 得到與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；方位計(jì)算模塊，用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲取來(lái) 自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲源對(duì)應(yīng)的方位信息；編碼模塊，用于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分 別進(jìn)行編碼。
9、 根據(jù)權(quán)利要求8所述的三維聲音重現(xiàn)的發(fā)送裝置，其特征在于， 所述多路音頻信號(hào)獲取單元包括麥克風(fēng)陣列。
10、 根據(jù)權(quán)利要求8或9所述的三維聲音重現(xiàn)的發(fā)送裝置，其特 征在于，所述方位計(jì)算模塊具體包括時(shí)延估算模塊，用于估算所述多路音頻信號(hào)傳播到所述用來(lái)獲取 來(lái)自各個(gè)聲源的多路音頻信號(hào)的各個(gè)裝置之間的相對(duì)時(shí)延；聲源定位模塊，用于根據(jù)估算出的所述相對(duì)時(shí)延及用來(lái)獲取來(lái)自 各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲 源對(duì)應(yīng)的方位信息。
11、 根據(jù)權(quán)利要求8或9所述的三維聲音重現(xiàn)的發(fā)送裝置，其特 征在于，所述聲源分離模塊具體為盲源分離模塊。
12、 一種三維聲音重現(xiàn)的接收裝置，其特征在于，包括解碼模塊，用于將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和 方位信息進(jìn)行解碼；聲音重現(xiàn)模塊，用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將 解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
13、 根據(jù)權(quán)利要求12所述的三維聲音重現(xiàn)的接收裝置，其特征在 于，所述聲音重現(xiàn)模塊包括揚(yáng)聲器陣列。
14、 根據(jù)權(quán)利要求12或13所述的三維聲音重現(xiàn)的接收裝置，其 特征在于，所述聲音重現(xiàn)模塊包括波前合成模塊。
15、 一種三維聲音重現(xiàn)系統(tǒng)，其特征在于，包括 A. 三維聲音重現(xiàn)的發(fā)送裝置，具體包括多路音頻信號(hào)獲取單元，用于獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；聲源分離模塊，用于將獲取的多路音頻信號(hào)進(jìn)行聲源分離， 得到與所述各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；方位計(jì)算模塊，用于根據(jù)所述獲取的多路音頻信號(hào)及用來(lái)獲 取來(lái)自各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與 所述各個(gè)聲源對(duì)應(yīng)的方位信息；編碼模塊，用于將所述與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信 息分別進(jìn)行編碼；和B. 三維聲音重現(xiàn)的接收裝置，具體包括解碼模塊，用于將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信 號(hào)和方位信息進(jìn)行解碼；聲音重現(xiàn)模塊，用于按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信 息將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。
16、 根據(jù)權(quán)利要求15所述的三維聲音重現(xiàn)系統(tǒng)，其特征在于，所 述多路音頻信號(hào)獲取單元包括麥克風(fēng)陣列。
17、 根據(jù)權(quán)利要求15或16所述的三維聲音重現(xiàn)系統(tǒng)，其特征在 于，所述方位計(jì)算模塊具體包括時(shí)延估算模塊，用于估算所述多路音頻信號(hào)傳播到所述用來(lái)獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)的各個(gè)裝置之間的相對(duì)時(shí)延；聲源定位模塊，用于根據(jù)估算出的所述相對(duì)時(shí)延及用來(lái)獲取來(lái)自 各個(gè)聲源的多路音頻信號(hào)的裝置之間的位置關(guān)系計(jì)算出與所述各個(gè)聲 源對(duì)應(yīng)的方位信息。
18、 根據(jù)權(quán)利要求15或16所述的三維聲音重現(xiàn)系統(tǒng)，其特征在 于，所述聲源分離模塊具體為盲源分離模塊。
19、 根據(jù)權(quán)利要求15或16所述的三維聲音重現(xiàn)系統(tǒng)，其特征在 于，所述聲音重現(xiàn)模塊包括揚(yáng)聲器陣列。
20、 根據(jù)權(quán)利要求15或16所述的三維聲音重現(xiàn)系統(tǒng)，其特征在 于，所述聲音重現(xiàn)模塊包括波前合成模塊。
全文摘要
本發(fā)明實(shí)施例提供三維聲音重現(xiàn)的發(fā)送端處理方法，包括獲取來(lái)自各個(gè)聲源的多路音頻信號(hào)；將獲取的多路音頻信號(hào)進(jìn)行聲源分離得到與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)；計(jì)算出與各個(gè)聲源對(duì)應(yīng)的方位信息；將與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息分別進(jìn)行編碼。還提供三維聲音重現(xiàn)的接收端處理方法，包括將接收的編碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)和方位信息進(jìn)行解碼；按照解碼后的與各個(gè)聲源對(duì)應(yīng)的方位信息將解碼后的與各個(gè)聲源對(duì)應(yīng)的音頻信號(hào)重現(xiàn)為三維聲音。本發(fā)明還提供一種三維聲音重現(xiàn)的發(fā)送、接收裝置和系統(tǒng)。本發(fā)明克服了現(xiàn)有的立體聲系統(tǒng)中通常存在的“熱點(diǎn)”區(qū)域的問(wèn)題，能夠重現(xiàn)出原始真實(shí)的聲場(chǎng)，為整個(gè)聆聽空間提供基本相同質(zhì)量的聲覆蓋。
文檔編號(hào)H04M3/56GK101384105SQ200810171240
公開日2009年3月11日 申請(qǐng)日期2008年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者王東琦, 詹五洲 申請(qǐng)人:深圳華為通信技術(shù)有限公司