三維HRTF的使用來創(chuàng)建模擬來自水 平面和垂直軸的聲音的線索。之前僅僅提供聲道和固定揚(yáng)聲器位置信息渲染的音頻格式有 更多限制。利用自適應(yīng)音頻格式信息，雙耳三維渲染耳機(jī)系統(tǒng)具有具體且有用的信息，這種 信息可以用來指示音頻的哪些元素適合在水平和垂直平面內(nèi)都渲染。有些內(nèi)容可以依賴頭 頂揚(yáng)聲器的使用來提供更大的包絡(luò)感。這些音頻對(duì)象和信息可以用于在使用耳機(jī)時(shí)被感覺 到在收聽者頭頂之上的雙耳渲染。圖14圖示出根據(jù)一實(shí)施例的用在自適應(yīng)音頻系統(tǒng)中的 三維雙耳耳機(jī)虛擬化體驗(yàn)的簡(jiǎn)化表示。如圖14中所示，用來再現(xiàn)來自自適應(yīng)音頻系統(tǒng)的音 頻的耳機(jī)套件1402包括位于標(biāo)準(zhǔn)x、y平面內(nèi)以及位于z平面內(nèi)的音頻信號(hào)1404,使得與 某些音頻對(duì)象或聲音關(guān)聯(lián)的高度被回放，使得它們聽起來就好像源自x、y起源的聲音上方 或下方一樣。
[0113] 元數(shù)據(jù)定義
[0114] 在一實(shí)施例中，自適應(yīng)音頻系統(tǒng)包括從原始空間音頻格式生成元數(shù)據(jù)的部件。系 統(tǒng)300的方法和部件包括音頻渲染系統(tǒng)，該音頻渲染系統(tǒng)配置為處理一個(gè)或多個(gè)位流，這 些位流既包含常規(guī)的基于聲道的音頻元素又包含音頻對(duì)象編碼元素。包含音頻對(duì)象編碼元 素的新擴(kuò)展層被定義并添加到基于聲道的音頻編解碼器位流或音頻對(duì)象位流當(dāng)中任何一 個(gè)。這種方法啟用位流，其中位流包括要被與現(xiàn)有揚(yáng)聲器和驅(qū)動(dòng)器設(shè)置或者利用可單獨(dú)尋 址的驅(qū)動(dòng)器和驅(qū)動(dòng)器定義的下一代揚(yáng)聲器一起使用的渲染器處理的擴(kuò)展層。來自空間音頻 處理器的空間音頻內(nèi)容包括音頻對(duì)象、聲道和位置元數(shù)據(jù)。當(dāng)對(duì)象被渲染時(shí)，根據(jù)位置元數(shù) 據(jù)以及回放揚(yáng)聲器的位置，它被指定給一個(gè)或多個(gè)揚(yáng)聲器。附加的元數(shù)據(jù)可以與對(duì)象關(guān)聯(lián)， 以更改回放位置或者以別的方式限制要用于回放的揚(yáng)聲器。元數(shù)據(jù)響應(yīng)于工程師的混合輸 入而在音頻工作站中生成，以提供控制空間參數(shù)（例如，位置、速度、強(qiáng)度、音色等）并且規(guī) 定收聽環(huán)境中哪些驅(qū)動(dòng)器或揚(yáng)聲器在展示期間播放各自的聲音的渲染隊(duì)列。元數(shù)據(jù)與工作 站中各自的音頻數(shù)據(jù)關(guān)聯(lián)，用于由空間音頻處理器打包和運(yùn)輸。
[0115] 圖15是圖示出根據(jù)一實(shí)施例的用在用于收聽環(huán)境的自適應(yīng)音頻系統(tǒng)中的某些元 數(shù)據(jù)定義的表。如表1500中所示，元數(shù)據(jù)定義包括：音頻內(nèi)容類型、驅(qū)動(dòng)器定義（個(gè)數(shù)、特 性、位置、投射角度）、用于主動(dòng)轉(zhuǎn)向/調(diào)諧的控制信號(hào)以及包括房間和揚(yáng)聲器信息的校準(zhǔn) 信息。
[0116] h混
[0117]自適應(yīng)音頻渲染系統(tǒng)的實(shí)施例包括基于把音頻聲道分成反射和直接子聲道的上 混器。直接子聲道是輸入聲道中被路由到向收聽者遞送早期反射聲學(xué)波形的驅(qū)動(dòng)器的那部 分。反射或漫射子聲道是原始音頻聲道中意要讓驅(qū)動(dòng)器能量的主要部分從附近表面和墻壁 反射離開的那部分。因而，反射子聲道指原始聲道中優(yōu)選在漫射到本地聲學(xué)環(huán)境中之后到 達(dá)收聽者或者具體地從表面（例如，天花板）上一點(diǎn)反射到房間中另一位置的那些部分。每 個(gè)子聲道將被路由到獨(dú)立的揚(yáng)聲器驅(qū)動(dòng)器，因?yàn)橛糜谝粋€(gè)子聲道的驅(qū)動(dòng)器相對(duì)于其它子聲 道的驅(qū)動(dòng)器的物理朝向?qū)⒔o每個(gè)進(jìn)入的信號(hào)添加聲學(xué)空間多樣性。在一實(shí)施例中，一個(gè)或 多個(gè)反射子聲道發(fā)送到指向收聽室內(nèi)表面的揚(yáng)聲器驅(qū)動(dòng)器，以在其到達(dá)收聽者之前對(duì)聲波 反射。這種驅(qū)動(dòng)器可以是到天花板的向上發(fā)射驅(qū)動(dòng)器，或者指向墻壁或其它表面的側(cè)面發(fā) 射驅(qū)動(dòng)器或者甚至正面發(fā)射驅(qū)動(dòng)器，用于聲音到期望位置的間接傳輸。
[0118] 圖16是圖示出根據(jù)一實(shí)施例的把輸入聲道分解成子聲道的處理的流程圖。整個(gè) 系統(tǒng)設(shè)計(jì)成對(duì)多個(gè)輸入聲道操作，其中輸入聲道包括用于基于空間的音頻內(nèi)容的混合式音 頻流。如處理1600中所示，步驟涉及把輸入聲道按操作次序順序地分解或分割成子聲道。 在方框1602中，在粗略分解步驟中輸入聲道被分成反射子聲道和直接子聲道之間的第一 分割。然后，原始分解在后續(xù)的分解步驟中被細(xì)化，方框1604。在方框1606中，處理確定反 射和直接子聲道之間的結(jié)果分割是否最優(yōu)。如果分割還不是最優(yōu)，則執(zhí)行附加的分解步驟 1604。如果在方框1606中確定反射和直接子聲道之間的分解是最優(yōu)的，則生成適當(dāng)?shù)膿P(yáng)聲 器饋送并發(fā)送到反射和直接子聲道之間的最終混合。
[0119] 關(guān)于分解處理1600,指出以下這點(diǎn)是重要的，即，能量保持（preservation)在處 理中的每一級(jí)在反射子聲道與直接子聲道之間被保持。對(duì)于這種計(jì)算，變量a定義為輸入 聲道中與直接子聲道關(guān)聯(lián)的那部分，而3定義為輸入聲道中與漫射子聲道關(guān)聯(lián)的那部分。 于是，確定能量保持的關(guān)系可以根據(jù)以下等式來表述：
【主權(quán)項(xiàng)】
1. 一種用于處理音頻信號(hào)的系統(tǒng)，包括： 渲染部件，配置為生成多個(gè)音頻聲道，所述多個(gè)音頻聲道包括規(guī)定各個(gè)音頻聲道在收 聽區(qū)域中的回放位置的信息；及 上混器部件，接收所述多個(gè)音頻聲道并且針對(duì)每個(gè)音頻聲道生成配置為使驅(qū)動(dòng)器能量 的大部分從收聽區(qū)域的一個(gè)或多個(gè)表面反射離開的至少一個(gè)反射子聲道以及配置為使驅(qū) 動(dòng)器能量的大部分直接傳播到收聽區(qū)域中的回放位置的至少一個(gè)直接子聲道；
2. 如權(quán)利要求1所述的系統(tǒng)，還包括可單獨(dú)尋址驅(qū)動(dòng)器的陣列，該陣列耦接到上混器 部件并且包括分別使用至少一個(gè)反射子聲道和至少一個(gè)直接子聲道的用于使聲波從一個(gè) 或多個(gè)表面?zhèn)鞑ルx開的至少一個(gè)反射驅(qū)動(dòng)器和用于使聲波直接傳播到回放位置的至少一 個(gè)直接驅(qū)動(dòng)器。
3. 如權(quán)利要求2所述的系統(tǒng)，其中音頻聲道包括基于聲道的音頻和/或基于對(duì)象的音 頻，并且其中規(guī)定回放位置的信息被編碼在與每個(gè)音頻聲道關(guān)聯(lián)的一個(gè)或多個(gè)元數(shù)據(jù)集合 中；并且進(jìn)一步其中基于聲道的音頻的回放位置包括對(duì)揚(yáng)聲器陣列中的揚(yáng)聲器的揚(yáng)聲器指 定，而基于對(duì)象的音頻的回放位置包括三維空間中的位置。
4. 如權(quán)利要求3所述的系統(tǒng)，其中音頻驅(qū)動(dòng)器的陣列根據(jù)定義的音頻環(huán)繞聲配置在收 聽區(qū)域周圍分布，并且其中收聽區(qū)域包括以下項(xiàng)中的一個(gè)：家、電影院、劇場(chǎng)、專業(yè)工作室以 及音頻收聽控制臺(tái)；并且進(jìn)一步其中音頻流包括選自由以下項(xiàng)組成的組的音頻內(nèi)容：電影 院內(nèi)容、為了在家庭環(huán)境中回放而被變換的電影院內(nèi)容、電視內(nèi)容、用戶生成的內(nèi)容、計(jì)算 機(jī)游戲內(nèi)容以及數(shù)字流化音頻內(nèi)容。
5. 如權(quán)利要求4所述的系統(tǒng)，其中音頻流的回放位置包括在收聽區(qū)域中感覺上在人的 頭部之上的位置，并且其中至少一個(gè)反射驅(qū)動(dòng)器包括配置為為了向下反射到該位置而朝收 聽區(qū)域的天花板投射聲波的向上發(fā)射驅(qū)動(dòng)器。
6. 如權(quán)利要求5所述的系統(tǒng)，其中與發(fā)送到向上發(fā)射驅(qū)動(dòng)器的音頻流關(guān)聯(lián)的元數(shù)據(jù)集 合定義與反射有關(guān)的一個(gè)或多個(gè)特性。
7. 如權(quán)利要求4所述的系統(tǒng)，其中音頻流的回放位置包括在收聽區(qū)域中感覺上環(huán)繞人 的位置，并且其中至少一個(gè)反射驅(qū)動(dòng)器包括配置為為了反射到該位置而朝收聽區(qū)域的墻壁 投射聲波的側(cè)面發(fā)射驅(qū)動(dòng)器。
8. 如權(quán)利要求7所述的系統(tǒng)，其中與發(fā)送到側(cè)面發(fā)射驅(qū)動(dòng)器的音頻流關(guān)聯(lián)的元數(shù)據(jù)集 合定義與反射有關(guān)的一個(gè)或多個(gè)特性。
9. 一種方法，包括： 從音頻渲染器接收多個(gè)輸入音頻聲道； 在第一分解處理中把每個(gè)輸入音頻聲道分成至少一個(gè)反射子聲道和至少一個(gè)直接子 聲道； 驗(yàn)證在第一分解處理期間在由反射子聲道和直接子聲道生成的聲波的傳播中消耗的 能量的量守恒；及 在后續(xù)的分解處理中進(jìn)一步把每個(gè)子聲道分成各個(gè)子聲道，直到為在收聽區(qū)域內(nèi)收聽 者周圍的空間成像聲音獲得反射和直接子聲道的最優(yōu)混合為止。
10. 如權(quán)利要求9所述的方法，還包括把對(duì)應(yīng)于各個(gè)子聲道的每個(gè)子聲道的音頻信號(hào) 發(fā)送到可單獨(dú)尋址驅(qū)動(dòng)器的陣列，該陣列包括用于使聲波從一個(gè)或多個(gè)表面?zhèn)鞑ルx開的至 少一個(gè)反射驅(qū)動(dòng)器，以及用于使聲波直接傳播到所述位置的至少一個(gè)直接驅(qū)動(dòng)器。
11. 如權(quán)利要求10所述的方法，其中所述至少一個(gè)反射子聲道配置為使驅(qū)動(dòng)器能量的 大部分從收聽區(qū)域的一個(gè)或多個(gè)表面反射離開，而至少一個(gè)直接子聲道配置為使驅(qū)動(dòng)器能 量的大部分直接傳播到收聽區(qū)域中的所述位置。
12. 如權(quán)利要求9所述的方法，其中在由反射子聲道和直接子聲道生成的聲波的傳播 中消耗的能量的量是利用頻域變換處理來確定的。
13. 如權(quán)利要求9所述的方法，還包括： 針對(duì)每個(gè)輸入聲道計(jì)算兩個(gè)最近相鄰的聲道之間的聲道間相關(guān)值以確定子聲道對(duì)之 間共同信號(hào)的量； 針對(duì)每個(gè)輸入聲道計(jì)算一個(gè)或多個(gè)瞬變縮放項(xiàng),其中縮放項(xiàng)代表與每個(gè)輸入聲道的瞬 變中的能量成比例的值； 利用子聲道對(duì)之間的能量總和守恒的約束，通過增大路由到直接子聲道的那部分同時(shí) 減小路由到反射子聲道的那部分，利用聲道間相關(guān)值和足夠大的瞬變縮放項(xiàng)來更改輸入音 頻聲道的混合；及 對(duì)反射和直接子聲道執(zhí)行均衡和延遲處理，使得直接驅(qū)動(dòng)器的主要波前與處于所述位 置的主要反射能量相位一致。
14. 如權(quán)利要求13所述的方法，還包括把每個(gè)反射子聲道分解成至少一個(gè)回響子聲道 和至少一個(gè)非回響子聲道。
15. 如權(quán)利要求13所述的方法，還包括利用去相關(guān)器函數(shù)使反射聲道與直接聲道去相 關(guān)，其中該去相關(guān)器函數(shù)跨塊對(duì)頻域變換處理的每個(gè)頻域變換操作。
16. 如權(quán)利要求9所述的方法，其中渲染器包括把對(duì)象元數(shù)據(jù)應(yīng)用到輸入音頻聲道以 結(jié)合可選的基于聲道的音頻內(nèi)容處理基于對(duì)象的音頻內(nèi)容的部件。
17. 如權(quán)利要求9所述的方法，其中輸入音頻聲道包括傳統(tǒng)的基于聲道的內(nèi)容，并且渲 染器包括生成用于發(fā)送到處于環(huán)繞聲配置的驅(qū)動(dòng)器的陣列的揚(yáng)聲器饋送的部件。
18. 如權(quán)利要求13所述的方法，還包括： 在收聽區(qū)域中部署麥克風(fēng)以方便收聽區(qū)域的直接-回響比的計(jì)算；及 利用直接-回響比來確定對(duì)于聲音在收聽者周圍的空間成像而言反射和直接子聲道 的最優(yōu)混合。
19. 一種系統(tǒng)，包括： 接收器級(jí)，從音頻渲染器接收多個(gè)輸入音頻聲道； 分割器部件，在第一分解處理中把每個(gè)輸入音頻聲道分成至少一個(gè)反射子聲道和至少 一個(gè)直接子聲道； 能量計(jì)算級(jí)，計(jì)算一個(gè)或多個(gè)能量值以供在驗(yàn)證由反射子聲道和直接子聲道生成的聲 波的傳播中消耗的能量的量在第一分解處理期間守恒時(shí)使用；及 輸出級(jí)，生成對(duì)應(yīng)于用于所述多個(gè)輸入音頻聲道的每個(gè)聲道的至少一個(gè)子聲道的多個(gè) 子聲道。
20. 如權(quán)利要求19所述的系統(tǒng)，還包括在后續(xù)分解處理中把每個(gè)子聲道分成各個(gè)子聲 道直到為在收聽區(qū)域中收聽者周圍空間成像聲音獲得反射和直接子聲道的最優(yōu)混合為止 的部件。
21. 如權(quán)利要求20所述的系統(tǒng)，其中能量計(jì)算級(jí)包括： 聲道間相關(guān)單元，針對(duì)每個(gè)輸入聲道計(jì)算兩個(gè)最近相鄰的聲道之間的值以確定子聲道 對(duì)之間共用信號(hào)的量； 瞬變值計(jì)算機(jī)，針對(duì)每個(gè)輸入聲道計(jì)算一個(gè)或多個(gè)瞬變縮放項(xiàng)，其中縮放項(xiàng)代表與每 個(gè)輸入聲道的瞬變中的能量成比例的值，其中，利用子聲道對(duì)之間的能量總和守恒的約束， 通過增大路由到直接子聲道的那部分同時(shí)減小路由到反射子聲道的那部分，聲道間相關(guān)值 和瞬變縮放項(xiàng)用來更改輸入音頻聲道的混合；及 對(duì)反射和直接子聲道執(zhí)行均衡和延遲處理使得直接驅(qū)動(dòng)器的主要波前與處于所述位 置的主要反射能量相位一致的部件。
22. 如權(quán)利要求21所述的系統(tǒng)，還包括： 部署在收聽區(qū)域中的麥克風(fēng)以方便收聽區(qū)域的直接-回響比的計(jì)算；及 控制部件，利用直接-回響比來確定對(duì)于聲音在收聽者周圍的空間成像而言反射和直 接子聲道的最優(yōu)混合。
23. 如權(quán)利要求19所述的系統(tǒng)，還包括： 系統(tǒng)在包封收聽區(qū)域的房間內(nèi)的網(wǎng)絡(luò)鏈接部件；及 用于繞著房間分布的可單獨(dú)尋址驅(qū)動(dòng)器的陣列，其中每個(gè)驅(qū)動(dòng)器在網(wǎng)絡(luò)的通信協(xié)議中 被唯一地標(biāo)識(shí)，并且其中陣列的第一部分包括配置為使聲音直接發(fā)送到房間內(nèi)位置的驅(qū)動(dòng) 器，并且其中陣列的第二部分包括配置為使聲音在從房間的內(nèi)表面反射離開之后發(fā)送到該 位置的驅(qū)動(dòng)器。
24. 如權(quán)利要求23所述的系統(tǒng)，其中音頻流的回放位置包括在收聽區(qū)域中感覺上在人 的頭部之上的位置，并且其中驅(qū)動(dòng)器陣列的至少一個(gè)驅(qū)動(dòng)器配置為為了向下反射到房間內(nèi) 的收聽區(qū)域而朝房間的天花板投射聲波。
25. 如權(quán)利要求23所述的系統(tǒng)，其中音頻流的回放位置包括在收聽區(qū)域中感覺上圍繞 人的位置，并且其中驅(qū)動(dòng)器陣列的至少一個(gè)驅(qū)動(dòng)器配置為為了反射到房間內(nèi)的位置而朝房 間的的墻壁投射聲波。
【專利摘要】描述了用于在收聽環(huán)境中渲染空間音頻內(nèi)容的系統(tǒng)的實(shí)施例。該系統(tǒng)包括配置為生成包括規(guī)定收聽區(qū)域內(nèi)回放位置的信息在內(nèi)的多個(gè)音頻聲道的渲染部件，接收這多個(gè)音頻聲道并且為每個(gè)音頻聲道生成配置為使驅(qū)動(dòng)器能量的大部分從收聽區(qū)域的一個(gè)或多個(gè)表面反射離開的至少一個(gè)反射子聲道以及配置為使驅(qū)動(dòng)器能量的大部分直接傳播到回放位置的至少一個(gè)直接子聲道的上混器部件。
【IPC分類】H04S5-00, H04S7-00
【公開號(hào)】CN104604253
【申請(qǐng)?zhí)枴緾N201380045333
【發(fā)明人】J·B·蘭多, M·費(fèi)勒斯
【申請(qǐng)人】杜比實(shí)驗(yàn)室特許公司
【公開日】2015年5月6日
【申請(qǐng)日】2013年8月26日
【公告號(hào)】EP2891335A2, US20150271620, WO2014035902A2, WO2014035902A3