用于在空間音頻對(duì)象編碼中適配音頻信息的設(shè)備和方法
【專利說(shuō)明】用于在空間音頻對(duì)象編碼中適配音頻信息的設(shè)備和方法
[0001] 本發(fā)明涉及音頻信號(hào)解碼和音頻信號(hào)處理，更具體地，涉及用于在空間音頻對(duì)象 編碼（SAOC)中將音頻信息進(jìn)行適配的解碼器和方法。
[0002] 在現(xiàn)代數(shù)字音頻系統(tǒng)中，允許在接收方側(cè)對(duì)所傳輸?shù)膬?nèi)容進(jìn)行與音頻對(duì)象相關(guān)的 修改是主要趨勢(shì)。這些修改包括對(duì)在經(jīng)由空間分布的揚(yáng)聲器進(jìn)行多聲道回放的情況下對(duì)專 用音頻對(duì)象的空間重定位和/或音頻信號(hào)的所選擇的部分的增益修改。這可以通過(guò)單獨(dú)地 將音頻內(nèi)容的不同部分遞送到不同的揚(yáng)聲器來(lái)實(shí)現(xiàn)。
[0003] 換言之，在音頻處理、音頻傳輸以及音頻存儲(chǔ)領(lǐng)域中，越來(lái)越期望允許對(duì)面向?qū)ο?的音頻內(nèi)容回放進(jìn)行用戶交互，并且還需要利用多聲道回放的擴(kuò)展的可能性以單獨(dú)地呈現(xiàn) 音頻內(nèi)容或者部分音頻內(nèi)容，以便改進(jìn)聽(tīng)覺(jué)感受。由此，多聲道音頻內(nèi)容的使用為用戶帶來(lái) 顯著的改進(jìn)。例如，可以獲得三維聽(tīng)覺(jué)感受，這在娛樂(lè)應(yīng)用中帶來(lái)改進(jìn)的用戶滿意度。然而， 多聲道音頻內(nèi)容在專業(yè)環(huán)境中例如電話會(huì)議應(yīng)用中也是有用的，因?yàn)榭梢酝ㄟ^(guò)使用多聲道 音頻回放來(lái)改進(jìn)講話者清晰度。另一可能的應(yīng)用是給音樂(lè)作品的聽(tīng)者提供不同部分（也稱 為"音頻對(duì)象"）或音軌如人聲部分或者不同樂(lè)器的單獨(dú)調(diào)整回放級(jí)別和/或空間位置。用 戶可以為了個(gè)人品味、為了從音樂(lè)作品中更容易地改編一個(gè)或更多個(gè)部分、為了教學(xué)目的、 卡拉0K、排練等原因而進(jìn)行這種調(diào)整。
[0004] 對(duì)如以脈沖編碼調(diào)制（PCM)數(shù)據(jù)或者甚至是壓縮音頻格式的形式的全數(shù)字多聲 道或多對(duì)象音頻內(nèi)容的直接的分離傳輸要求非常高的比特率。然而，以高比特率效率的方 式來(lái)傳輸和存儲(chǔ)音頻數(shù)據(jù)也是理想的。因此，為了避免由多聲道/多對(duì)象應(yīng)用導(dǎo)致的過(guò)度 資源負(fù)荷，人們樂(lè)于在音頻質(zhì)量與比特率要求之間接受合理的折衷。
[0005] 近來(lái)，在音頻編碼領(lǐng)域中，由如運(yùn)動(dòng)圖像專家組（MPEG)等提出了用于對(duì)多聲道/ 多對(duì)象音頻信號(hào)的比特率效率的傳輸/存儲(chǔ)的參數(shù)化技術(shù)。一個(gè)示例是作為面向聲道的方 法[MPS、BCC]的MPEG環(huán)繞聲（MPS)，或者作為面向?qū)ο蟮姆椒╗JSC、SAOC、SAOCl、SAOC2]的 MPEG空間音頻對(duì)象編碼（SAOC)。另一種面向?qū)ο蟮姆椒ǚQ為"通知源分離" [ISS1、ISS2、 ISS3、ISS4、ISS5、ISS6]。這些技術(shù)旨在音頻場(chǎng)景中基于對(duì)聲道/對(duì)象以及附加的輔助信 息的縮混來(lái)重現(xiàn)期望的輸出音頻場(chǎng)景或者期望的音頻源對(duì)象，其中輔助信息描述所傳輸?shù)?/存儲(chǔ)的音頻場(chǎng)景和/或音頻源對(duì)象。
[0006] 對(duì)這樣的系統(tǒng)中的與聲道/對(duì)象相關(guān)的輔助信息的估計(jì)和應(yīng)用以時(shí)間-頻率選擇 方式來(lái)完成。因此，這樣的系統(tǒng)采用時(shí)間-頻率變換如離散傅里葉變換（DFT)、短時(shí)傅里葉 變換（STFT)或者濾波器組如正交鏡像濾波器（QMF)組等。在圖3中，使用MPEGSAOC為例 來(lái)描繪這樣的系統(tǒng)的基本原理。
[0007] 在STFT的情況下，時(shí)間維度由時(shí)間塊編號(hào)來(lái)表示，而頻譜維度由頻譜系數(shù)（"格子 (bin)"）的編號(hào)來(lái)獲得。在QMF的情況下，時(shí)間維度由時(shí)隙編號(hào)來(lái)表示，而頻譜維度由子頻 帶編號(hào)來(lái)獲得。如果QMF的頻譜分辨率由隨后應(yīng)用第二濾波器階段來(lái)改進(jìn)，則整個(gè)濾波器 組稱為混合QMF，并且高分辨率子頻帶稱為混合子頻帶。
[0008] 如上所述，如圖3所示，在SAOC中，通常以時(shí)間-頻率選擇方式來(lái)進(jìn)行處理，并且 在每個(gè)頻帶內(nèi)可以被描述如下：
[0009]-使用由元素dN，P構(gòu)成的縮混矩陣將N個(gè)輸入音頻對(duì)象信號(hào)ssN混縮成 P個(gè)聲道Xl~xP以作為編碼器處理的一部分，另外，編碼器對(duì)描述輸入音頻對(duì)象的特性的輔 助信息（輔助信息估計(jì)器（SIE)模塊）進(jìn)行提取。對(duì)于MPEGSAOC，關(guān)于彼此的對(duì)象能量的 關(guān)系是這種輔助信息的最基本的形式。
[0010] - 一個(gè)或更多個(gè)縮混信號(hào)和輔助信息被傳輸/存儲(chǔ)。為此，可以如使用眾所周知的 感知音頻編碼器如MPEG-l/2LayerII或者III(aka. mp3)、MPEG-2/4增強(qiáng)音頻編碼（AAC) 等來(lái)將一個(gè)或更多個(gè)縮混音頻信號(hào)進(jìn)行壓縮。
[0011] -在接收端，解碼器概念上試圖使用所傳輸?shù)妮o助信息來(lái)從（經(jīng)解碼的）縮混信號(hào) 中恢復(fù)原始的對(duì)象信號(hào)（"對(duì)象分離")。然后，在圖3中，使用由系數(shù)! 1，1-1*"描述的呈現(xiàn) 矩陣來(lái)將這些近似的對(duì)象信號(hào)A...知混音成由M個(gè)音頻輸出聲道f/ ... 表示的目標(biāo) 場(chǎng)景。在極端情況下，期望的目標(biāo)場(chǎng)景可以是從混合音中僅呈現(xiàn)出一個(gè)源信號(hào)（源分離情 景），但是也可以是由所傳輸?shù)膶?duì)象構(gòu)成的任何其他任意聲學(xué)場(chǎng)景。例如，輸出可以是單聲 道、2聲道立體聲或者5. 1多聲道目標(biāo)場(chǎng)景。
[0012] 圖6示意性地描繪了音頻編碼/解碼方案的原理。具體而言，圖6是音頻編碼/ 解碼鏈的原理描述。
[0013] 在編碼側(cè)，音頻信號(hào)通過(guò)音頻編碼方案（通常利用感知效果）進(jìn)行壓縮，并且計(jì)算 了參數(shù)化輔助信息（PSI)(參見(jiàn)編碼器601)。得到的由編碼的音頻信號(hào)和PSI構(gòu)成的比特 流被存儲(chǔ)（或者被傳輸）到解碼器側(cè)，在解碼器側(cè)，圖6中標(biāo)為等的各種解碼器實(shí) 例620、621、622可以將該比特流解碼。這些解碼器實(shí)例可以彼此不同（如在標(biāo)準(zhǔn)規(guī)格、應(yīng) 用或者實(shí)現(xiàn)限制等中的不同復(fù)雜度級(jí)別）[SAOC、SAOC1、SAOC2]。
[0014]目前的技術(shù)水平的編碼方案不能以有效的方式使PSI適應(yīng)特定目標(biāo)應(yīng)用情景或 者平臺(tái)。這可能導(dǎo)致解碼器側(cè)處的計(jì)算復(fù)雜度更高（高于必要的計(jì)算復(fù)雜度）或者可能造 成兼容問(wèn)題。
[0015] 本發(fā)明的目的是為音頻對(duì)象編碼提供改進(jìn)的構(gòu)思。本發(fā)明的目的通過(guò)以下來(lái)解 決：由根據(jù)權(quán)利要求1的解碼器、由根據(jù)權(quán)利要求14的用于編碼的方法以及由根據(jù)權(quán)利要 求15的計(jì)算機(jī)程序。
[0016] 提供了一種用于將編碼了一個(gè)或更多個(gè)音頻對(duì)象的輸入音頻信息進(jìn)行適配以獲 得經(jīng)適配的音頻信息的設(shè)備。輸入音頻信息包括兩個(gè)或更多個(gè)輸入音頻縮混聲道并且進(jìn)一 步包括輸入?yún)?shù)化輔助信息。經(jīng)適配的音頻信息包括一個(gè)或更多個(gè)經(jīng)適配的音頻縮混聲道 并且進(jìn)一步包括經(jīng)適配的參數(shù)化輔助信息。
[0017] 該設(shè)備包括縮混信號(hào)修改器，用于取決于適配信息而將兩個(gè)或更多個(gè)輸入音頻縮 混聲道進(jìn)行適配以獲得一個(gè)或更多個(gè)經(jīng)適配的音頻縮混聲道。
[0018] 而且，該設(shè)備包括參數(shù)化輔助信息適配器，用于取決于適配信息而將輸入?yún)?shù)化 輔助信息進(jìn)行適配以獲得經(jīng)適配的參數(shù)化輔助信息。
[0019] 根據(jù)實(shí)施方式，縮混信號(hào)修改器可以配置成取決于適配信息而將兩個(gè)或更多個(gè)輸 入音頻縮混聲道進(jìn)行適配，使得一個(gè)或更多個(gè)經(jīng)適配的音頻縮混聲道的數(shù)目小于兩個(gè)或更 多個(gè)輸入音頻縮混聲道的數(shù)目。
[0020] 在實(shí)施方式中，適配信息可以取決于解碼器實(shí)例?？s混信號(hào)修改器可以配置成取 決于解碼器實(shí)例而將兩個(gè)或更多個(gè)輸入音頻縮混聲道進(jìn)行適配。在此處以及在下文中，術(shù) 語(yǔ)"解碼器"和"解碼器實(shí)例"具有相同的含義。
[0021] 根據(jù)實(shí)施方式，解碼器實(shí)例最多能夠?qū)⒆畲髷?shù)目個(gè)縮混聲道進(jìn)行解碼。適配信息 可以取決于縮混聲道的所述最大數(shù)目。而且，縮混信號(hào)修改器可以配置成取決于適配信息 而將兩個(gè)或更多個(gè)輸入音頻縮混聲道進(jìn)行適配以獲得一個(gè)或更多個(gè)經(jīng)適配的音頻縮混聲 道，使得一個(gè)或更多個(gè)經(jīng)適配的縮混聲道的數(shù)目等于縮混聲道的所述最大數(shù)目。
[0022] 根據(jù)實(shí)施方式，適配信息可以包括適配矩陣（)。
[0023] 在實(shí)施方式中，縮混信號(hào)修改器可以配置成取決于適配矩陣（Dff)而將兩個(gè) 或更多個(gè)輸入音頻縮混聲道< >進(jìn)行適配以獲得一個(gè)或更多個(gè)經(jīng)適配的音頻縮混聲 道(X=)。
[0024] 根據(jù)實(shí)施方式，縮混信號(hào)修改器可以配置成取決于適配矩陣Dff來(lái)將兩個(gè)或更 多個(gè)輸入音頻縮混聲道X=進(jìn)行適配以通過(guò)應(yīng)用下式來(lái)獲得一個(gè)或更多個(gè)經(jīng)適配的音頻 縮混聲道xZf: I^zDSM nDSM ^rENC
[0025] \imx =D^7, 〇
[0026] 在實(shí)施方式中，參數(shù)化輔助信息適配器可以配置成取決于適配矩陣（Dff)而 將輸入?yún)?shù)化輔助信息（Dff)進(jìn)行適配以獲得經(jīng)適配的參數(shù)化輔助信息（h
[0027] 根據(jù)實(shí)施方式，參數(shù)化輔助信息適配