專利名稱：改善基于預(yù)測的多聲道重構(gòu)的性能的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于可用立體聲信號(hào)和附加控制數(shù)據(jù)來進(jìn)行對(duì)音頻信號(hào)的多聲道重構(gòu)。
背景技術(shù)：
音頻編碼領(lǐng)域的新近發(fā)展，使得有能力基于立體聲(或者單聲道)信號(hào)和相應(yīng)控制數(shù)據(jù)來重建音頻信號(hào)的多聲道表示。這些方法在實(shí)質(zhì)上不同于舊的基于矩陣的解決方案(諸如杜比前邏輯(DolbyProLogic))，因?yàn)榛诎l(fā)送的單聲道或立體聲聲道來發(fā)送附加控制信息用于控制對(duì)環(huán)境聲道的重建(也稱為上混合)。
因此，參數(shù)化多聲道音頻解碼器基于M個(gè)發(fā)送聲道和附加控制數(shù)據(jù)來重構(gòu)N個(gè)聲道，其中N＞M。該附加控制數(shù)據(jù)代表比發(fā)送額外的N-M個(gè)聲道低很多的數(shù)據(jù)速率，從而使得編碼非常有效，同時(shí)確保與M個(gè)聲道設(shè)備和N個(gè)聲道設(shè)備的兼容性。
這些參數(shù)化環(huán)境編碼方法通常包括基于IID(聲道間強(qiáng)度差)和ICC(聲道間相干性)的環(huán)境信號(hào)的參數(shù)化(parameterisation)。這些參數(shù)描述了上混合處理中的聲道對(duì)之間的功率比和相關(guān)性。此外，在現(xiàn)有技術(shù)中也使用的參數(shù)包括用于在上混合過程中預(yù)測中間或輸出聲道的參數(shù)。對(duì)于現(xiàn)有技術(shù)中所述的基于預(yù)測的方法，最吸引人注意的一種用法是用于根據(jù)兩個(gè)發(fā)送聲道來重建5.1聲道的系統(tǒng)。在這種結(jié)構(gòu)中，立體聲發(fā)送在解碼器側(cè)是可用的，其是原始5.1多聲道信號(hào)的下混合。在該情況下，尤其感興趣的是能夠盡可能精確地從立體聲信號(hào)中提取中聲道，因?yàn)橥ǔ⒅新暤老禄旌系阶蠛陀蚁禄旌下暤?。這是借助估計(jì)兩個(gè)預(yù)測系數(shù)來實(shí)現(xiàn)的，這兩個(gè)預(yù)測系數(shù)描述了用于構(gòu)建中聲道的兩個(gè)發(fā)送聲道的每一個(gè)的量。與上面的IID和ICC參數(shù)相類似，這些參數(shù)是針對(duì)不同頻域被估計(jì)的。
然而，因?yàn)轭A(yù)測參數(shù)不描述兩個(gè)信號(hào)的功率比，而是基于最小均方誤差意義上的波形匹配，因此，該方法本身在計(jì)算出預(yù)測參數(shù)之后對(duì)立體聲波形的任何修正都變得敏感。
近幾年，在音頻編碼方面的另外的發(fā)展引入了高頻重構(gòu)方法作為低比特率音頻編解碼器中非常有用的工具。一個(gè)示例是SBR(譜帶復(fù)制)[WO 98/57436]，其用在諸如MPEG-4高效AAC的MPEG標(biāo)準(zhǔn)化編解碼器中。這些方法的共同之處在于它們?cè)诮獯a器側(cè)根據(jù)由基本核心編解碼器編碼的窄帶信號(hào)和少量附加導(dǎo)向信息來重建高頻。與根據(jù)一個(gè)或兩個(gè)聲道對(duì)多聲道信號(hào)進(jìn)行參數(shù)化重構(gòu)的情況類似，重建丟失信號(hào)分量所需的控制數(shù)據(jù)的量(在SBR、高頻的情況下)比利用波形編解碼器對(duì)全部信號(hào)進(jìn)行編碼所需的數(shù)據(jù)的量要少得多。
然而應(yīng)該理解，重建的高頻信號(hào)在感覺上與原始高頻信號(hào)相同，而實(shí)際的波形卻明顯不同。此外，因?yàn)閷?duì)于波形編碼器，通常使用以低比特率立體聲預(yù)處理對(duì)立體聲信號(hào)進(jìn)行編碼，這意味著對(duì)立體聲信號(hào)的中心/側(cè)表示中的側(cè)信號(hào)有限制。
當(dāng)希望基于使用MPEG-4高效AAC的立體聲編解碼信號(hào)或利用高頻重構(gòu)技術(shù)的任何其它編解碼器來進(jìn)行多聲道表示時(shí)，用于對(duì)下混合立體聲信號(hào)進(jìn)行編碼的編解碼器的這些和其它方面是必須要考慮的。
另外，對(duì)于可用作多聲道音頻信號(hào)的錄音來說，通常存在專用的可用立體聲混合，其不是多聲道信號(hào)的自動(dòng)下混合形式。這通常稱作“精細(xì)下混合(artistic down-mix)”。該下混合不能被表示為多聲道信號(hào)的線性組合。
本發(fā)明的目的是提供改進(jìn)的多聲道下混合/編碼器或上混合/解碼器概念，這導(dǎo)致更好質(zhì)量的重構(gòu)多聲道輸出。
該目的是通過如下設(shè)備和方法實(shí)現(xiàn)的根據(jù)權(quán)利要求1的多聲道合成器，根據(jù)權(quán)利要求30的用于處理多聲道輸入信號(hào)的編碼器，根據(jù)權(quán)利要求42的生成至少三個(gè)輸出聲道的方法，根據(jù)權(quán)利要求43的編碼方法，根據(jù)權(quán)利要求44的經(jīng)編碼的多聲道信號(hào)，根據(jù)權(quán)利要求45的數(shù)據(jù)載體。

發(fā)明內(nèi)容
本發(fā)明涉及當(dāng)使用基于預(yù)測的上混合方法時(shí)、下混合的多聲道信號(hào)的波形修正問題。這包括當(dāng)執(zhí)行立體聲預(yù)處理的編碼器對(duì)下混合的信號(hào)進(jìn)行編碼時(shí)，用于顯著修正波形的高頻重構(gòu)和其它編碼實(shí)現(xiàn)。此外，本發(fā)明解決當(dāng)使用針對(duì)精細(xì)下混合的預(yù)測上混合技術(shù)時(shí)所產(chǎn)生的問題，精細(xì)下混合即不是根據(jù)多聲道信號(hào)自動(dòng)生成的下混合信號(hào)。
本發(fā)明包括以下特征-根據(jù)修正后的波形而不是下混合波形來估計(jì)預(yù)測參數(shù)；-僅在這樣的頻率范圍中使用基于預(yù)測的方法，即，在該頻率范圍中該方法是有利的；-在基于預(yù)測的上混合過程中引入的能量損失和聲道之間的非精確相關(guān)的校正。


現(xiàn)在將參照附圖，借助于并不會(huì)限制本發(fā)明范圍或者精神的例示性示例描述本發(fā)明，其中圖1例示了根據(jù)兩個(gè)聲道對(duì)三個(gè)聲道進(jìn)行的基于預(yù)測的重構(gòu)；圖2例示了具有能量補(bǔ)償?shù)念A(yù)測上混合；圖3例示了在預(yù)測上混合中的能量補(bǔ)償；圖4例示了具有下混合信號(hào)能量補(bǔ)償?shù)木幋a器側(cè)的預(yù)測參數(shù)估計(jì)器；圖5例示了具有相關(guān)性重構(gòu)的預(yù)測上混合；圖6例示了用于在具有相關(guān)性重構(gòu)的上混合中將去相關(guān)的信號(hào)與上混合信號(hào)進(jìn)行混合的混合模塊；圖7例示了用于在具有相關(guān)性重構(gòu)的上混合中將去相關(guān)的信號(hào)與上混合信號(hào)進(jìn)行混合的一種另選混合模塊；
圖8例示了在編碼器側(cè)的預(yù)測參數(shù)估計(jì)；圖9例示了在編碼器側(cè)的預(yù)測參數(shù)估計(jì)；圖10例示了在編碼器側(cè)的預(yù)測參數(shù)估計(jì)；圖11例示了本發(fā)明的上混合器設(shè)備；圖12例示了一個(gè)能量圖表，其示出能量損失引入上混合的結(jié)果以及優(yōu)選補(bǔ)償；圖13是優(yōu)選的能量補(bǔ)償方法的表；圖14a是優(yōu)選多聲道編碼器的示意圖；圖14b是由圖14a的設(shè)備執(zhí)行的優(yōu)選方法的流程圖；圖15a是用于生成與圖14a中的設(shè)備相比不同的參數(shù)化的、具有譜帶復(fù)制功能的多聲道編碼器；圖15b的表格示出了參數(shù)化數(shù)據(jù)的頻率選擇性生成和發(fā)送；以及圖16a是本發(fā)明的解碼器，其例示了上混合矩陣系數(shù)的計(jì)算；圖16b是對(duì)預(yù)測上混合的參數(shù)計(jì)算的詳細(xì)描述；圖17是傳送系統(tǒng)的發(fā)射機(jī)和接收機(jī)；以及圖18是具有本發(fā)明編碼器的音頻錄音器和具有解碼器的音頻播放器。
具體實(shí)施例方式
以下描述的實(shí)施例對(duì)于本發(fā)明的原理只是例示性的。應(yīng)該理解，對(duì)這里描述的實(shí)現(xiàn)和細(xì)節(jié)進(jìn)行的修正和變型對(duì)本領(lǐng)域的技術(shù)人員是顯而易見的。因此，本發(fā)明旨在僅限于所附權(quán)利要求的范圍，而不限于借助于這里對(duì)實(shí)施例的說明和解釋而提供的具體細(xì)節(jié)。
本發(fā)明重點(diǎn)在于能夠基于頻帶選擇，即針對(duì)濾波器組中的子頻帶，來執(zhí)行后續(xù)參數(shù)計(jì)算、應(yīng)用、上混合、下混合或者任何其他動(dòng)作。
為了概述本發(fā)明的優(yōu)點(diǎn)，首先給出現(xiàn)有技術(shù)中熟知的預(yù)測上混合的更加詳細(xì)的描述。如圖1所示，假設(shè)基于兩個(gè)下混合聲道的三聲道上混合，其中101表示左原始聲道，102表示中間原始聲道，103表示右原始聲道，104表示在編碼器側(cè)的下混合和參數(shù)提取模塊，105和106表示預(yù)測參數(shù)，107表示左下混合聲道，108表示右下混合聲道，109表示預(yù)測上混合模塊，以及110、111和112分別表示重構(gòu)的左、中和右聲道。
假設(shè)進(jìn)行以下定義，其中X是3×L矩陣，該矩陣包含作為行的三個(gè)信號(hào)段l(k)，r(k)，c(k)，k＝0，...，L-l。
同樣，讓兩個(gè)下混合信號(hào)l0(k)，r0(k)形成X0的行。下混合處理被描述為X0＝DX (1)其中下混合矩陣被描述為D=α1α2α3β1β2β3---(2)]]>下混合矩陣的一種優(yōu)先選擇是Dα=10α01α---(3)]]>其意思是左下混合信號(hào)l0(k)將僅包含1(k)和αc(k)，r0(k)將僅包含r(k)和αc (k)。該下混合矩陣是優(yōu)選的，因?yàn)槠湎蜃笙禄旌虾陀蚁禄旌戏峙淞讼嗤康闹新暤?，并且因?yàn)槠湮聪蜃笙禄旌戏峙淙魏卧加衣暤?，或者未向右下混合分配任何原始左聲道?br> 上混合被定義為X^=CX0---(4)]]>其中C是3×2上混合矩陣。
現(xiàn)有技術(shù)中已知的預(yù)測上混合依賴于如下一種思路，即在最小二乘意義上針對(duì)C來求解超定系統(tǒng)(overdetermined system)CX0＝X (5)這導(dǎo)致以下正規(guī)方程CX0X0*=XX0*---(6)]]>
從式(6)左邊乘以D得到DCX0X0*=X0X0*]]>，其中在X0X0*=DXX*D*]]>是非奇異(non-singular)的通常情況下，這隱含著DC＝I2(7)其中，In表示階為n的單位矩陣(identity matrix)。該關(guān)系將參數(shù)空間C減小到二維。
如上所述，如果下混合矩陣D是已知的，則可以在解碼器側(cè)完全定義上混合矩陣C=c11c12c21c22c31c32,]]>并且發(fā)送C矩陣的兩個(gè)元素，例如c11和c22。
殘差(預(yù)測誤差)信號(hào)(residual signal)如下Xr=X-X^=(I3-CD)X---(8)]]>從左邊乘以D，由于(7)得到DXr＝(D-DCD)X＝0(9)接下來，有1×L行向量信號(hào)xr，使得Xr＝vxr(10)其中，v是3×1單位向量，其跨距D的核(kernel)(零空間)。例如，在下混合(3)的情形下，可以使用v=11+2α2-α-α1---(11)]]>通常，當(dāng)v＝[vl，vr，vc]T且X^=[l^(k),r^(k),c^(k)]T]]>時(shí)，意思是，依賴于權(quán)重因子，殘差信號(hào)對(duì)全部三個(gè)聲道是共用的，l(k)=l^(k)+vlxr(k)]]>r(k)=r^(k)+vrxr(k)---(12)]]>c(k)=c^(k)+vcxr(k)]]>由于正交原理，殘差xr(k)與全部三個(gè)預(yù)測信號(hào) 是正交的。
通過本發(fā)明的優(yōu)選實(shí)施例所解決的問題及獲得的改進(jìn)。
當(dāng)使用根據(jù)如上所述現(xiàn)有技術(shù)的基于預(yù)測的上混合時(shí)，很顯然會(huì)出現(xiàn)如下的問題。
--該方法依賴于在最小均方誤差意義上匹配波形，其對(duì)于未保持下混合信號(hào)的波形的系統(tǒng)不起作用。
--該方法在重構(gòu)的聲道之間不提供正確的相關(guān)性結(jié)構(gòu)(正如下面將要描述的)。
--該方法不在重構(gòu)的聲道中重新構(gòu)建適量的能量。
能量補(bǔ)償正如上面所提到的，基于預(yù)測的多聲道重構(gòu)具有的問題之一是，預(yù)測誤差與三個(gè)重構(gòu)聲道的能量損失相對(duì)應(yīng)。下文中，概述這種能量損失原理和優(yōu)選實(shí)施例所教導(dǎo)的解決方案。首先，進(jìn)行理論分析，隨后給出根據(jù)以下說明的理論的本發(fā)明的優(yōu)選實(shí)施例。
使E， 和Er分別作為X中的原始信號(hào)的能量和、 中的預(yù)測信號(hào)的能量和，以及Xr中的預(yù)測誤差信號(hào)的能量和。根據(jù)正交性，得到E=E^+Er---(13)]]>總預(yù)測增益可被定義為p=EEr]]>，但是在下面，考慮以下參數(shù)將更加方便ρ=E^E---(14)]]>因此，ρ2∈
對(duì)預(yù)測上混合的總相對(duì)能量進(jìn)行測量。
給出該ρ，可以通過施加補(bǔ)償增益來重新調(diào)整各個(gè)聲道，z^g(k)=gzz^(k)]]>，使得對(duì)于z＝l，r，c來說，||zg^||2=||z||2]]>。具體地，通過(12)給出目標(biāo)能量||z||2=||z^||2+vz2||xr||2---(15)]]>
因此，我們需要求解gz2||z^||2=||z^||2+vz2||xr||2---(16)]]>在此，因?yàn)関是單位向量，Er＝||xr||2,(17)并且根據(jù)ρ的定義(14)和(13)得到Er=1-ρ2ρE^,---(18)]]>綜合所有這些，我們得到增益gz=(1+vz21-ρ2ρ2E^||z^||2)1/2,---(19)]]>顯然，利用該方法，除了發(fā)送ρ之外，還必須在解碼器處計(jì)算解碼聲道的能量分布。此外，僅能量被正確地重構(gòu)，而忽略非對(duì)角線的相關(guān)性結(jié)構(gòu)。
可以導(dǎo)出增益值，該增益值確?？偰芰康靡员４?，而不確保單個(gè)聲道的能量是正確的。通過定義等式g2E^=E]]>來獲得確保了總能量的所有聲道的公共增益gz＝g。即g=1ρ,---(20)]]>借助線性，可以在編碼器中將該增益施加給下混合信號(hào)，使得不必發(fā)送額外的參數(shù)。
圖2概要示出了本發(fā)明的優(yōu)選實(shí)施例，即重新創(chuàng)建三個(gè)聲道，同時(shí)保持輸出聲道的正確能量。下混合信號(hào)l0和r0隨同預(yù)測參數(shù)c1和c2一起被輸入到上混合模塊201。上混合模塊基于對(duì)下混合矩陣D和接收的預(yù)測參數(shù)的了解，重新創(chuàng)建上混合矩陣C。來自201的三個(gè)輸出聲道隨同調(diào)整參數(shù)ρ一起被輸入到202。將這三個(gè)聲道作為發(fā)送參數(shù)ρ的函數(shù)進(jìn)行增益調(diào)整，并將能量校正后的聲道作為輸出。
在圖3中，示出了調(diào)整模塊202的更加詳細(xì)的實(shí)施例。將三個(gè)上混合聲道輸入到調(diào)整模塊304，又分別輸入到模塊301、302和303。能量估計(jì)模塊301-303對(duì)三個(gè)上混合信號(hào)的能量進(jìn)行估計(jì)，并將估量出的能量輸入到調(diào)整模塊304。從編碼器接收的控制信號(hào)ρ(表示預(yù)測增益)也被輸入到304。如上所述，調(diào)整模塊實(shí)現(xiàn)了等式(19)。
在本發(fā)明的另選實(shí)施方案中，可以在編碼器側(cè)進(jìn)行能量校正。圖4示出了編碼器的實(shí)施方案，其中由401和402根據(jù)403計(jì)算出的增益值對(duì)下混合信號(hào)l0107和r0108進(jìn)行增益調(diào)整。該增益值是根據(jù)上面的等式(20)導(dǎo)出的。由上所述，這是本發(fā)明該實(shí)施例的一個(gè)優(yōu)點(diǎn)，因?yàn)闊o需根據(jù)預(yù)測上混合對(duì)三個(gè)重建的聲道進(jìn)行能量計(jì)算。然而，這僅確保這三個(gè)重建聲道的總能量是正確的。這不確保單個(gè)聲道的能量是正確的。
下文中，與等式(3)相對(duì)應(yīng)的下混合矩陣的優(yōu)選示例由圖4中的下混合器示出。然而，下混合器可以應(yīng)用如等式(2)中說明的任何常規(guī)下混合矩陣。
如在之后要說明的，對(duì)于具有三個(gè)聲道作為輸入，以及具有兩個(gè)聲道作為輸出的下混合器的當(dāng)前情況而言，至少要求另外兩個(gè)上混合參數(shù)c1、c2。當(dāng)下混合矩陣D可變或者不完全被解碼器所知時(shí)，除參數(shù)105和106之外，還必須從編碼器側(cè)向解碼器側(cè)發(fā)送與所用下混合有關(guān)的額外信息。
相關(guān)性結(jié)構(gòu)現(xiàn)有技術(shù)所述的上混合過程的問題之一是，該過程不對(duì)重建的聲道之間的正確相關(guān)性進(jìn)行重構(gòu)。因?yàn)?，如上所述，可將中聲道預(yù)測為左下混合聲道和右下混合聲道的線性組合，而左和右聲道可通過從左下混合聲道和右下混合聲道中減去預(yù)測的中聲道來重構(gòu)。顯然，預(yù)測誤差將導(dǎo)致在預(yù)測的左和右聲道中剩余有原始中聲道。這就隱含著這三個(gè)聲道之間的相關(guān)性對(duì)于重構(gòu)的聲道和對(duì)于原始三個(gè)聲道是不相同的。
優(yōu)選實(shí)施例教導(dǎo)了應(yīng)該根據(jù)測量出的預(yù)測誤差，使預(yù)測的三個(gè)聲道與去相關(guān)的信號(hào)進(jìn)行組合。
現(xiàn)在對(duì)實(shí)現(xiàn)正確的相關(guān)性結(jié)構(gòu)所用的基本理論進(jìn)行說明。通過用去相關(guān)的信號(hào)xd代替解碼器中的殘差，可使用特定的殘差結(jié)構(gòu)來重構(gòu)完整的3×3相關(guān)性結(jié)構(gòu)XX*。
首先，注意到正規(guī)方程(6)導(dǎo)致XrX0*=0]]>，所以XrX^*=0,X^Xr*=0---(21)]]>因此，由于X=X^+Xr,]]>XX*=X^X^*+XrXr*=X^X^*+vv*Er---(22)]]>其中將(10)和(17)應(yīng)用到最后一個(gè)等式。
讓xd作為與所有解碼信號(hào) 去相關(guān)的信號(hào)，使得 Xr*=0.]]>增強(qiáng)信號(hào)Y=X^+vxd---(23)]]>就具有相關(guān)矩陣YY*=X^X^*+vv*||xd||2---(24)]]>為了完全重現(xiàn)原始相關(guān)矩陣(22)，使?jié)M足||xd||2＝＝Er(25)如果通過對(duì)下混合信號(hào)進(jìn)行去相關(guān)來獲得xd，即， 然后乘以增益γ，應(yīng)該得到γ2||12(l0+r0)||2=Er---(26)]]>可以在編碼器中計(jì)算該增益。然而，如果要使用根據(jù)(14)而更好地定義的參數(shù)ρ2∈
，則必須在解碼器中進(jìn)行對(duì) 和 的估計(jì)。鑒于此，一種更好的另選方式是使用三個(gè)去相關(guān)器來生成xdxd=γ·(d1{l^}+d2{r^}+d3{c^})---(26a)]]>然后因?yàn)閨|xd||2=γ2E^]]>，所以通過以下選擇來滿足(25)
γ=1ρ2-1.---(27)]]>圖5例示了本發(fā)明的一個(gè)實(shí)施例，其用于根據(jù)兩個(gè)下混合聲道進(jìn)行三個(gè)聲道的預(yù)測上混合，同時(shí)在聲道之間保持正確的相關(guān)性結(jié)構(gòu)。在圖5中，模塊109、110、111和112與圖1所示的相同，在此就不作進(jìn)一步說明了。從109輸出的三個(gè)上混合信號(hào)被輸入到去相關(guān)模塊501、502和503。這些產(chǎn)生彼此去相關(guān)的信號(hào)。這些去相關(guān)的信號(hào)相加并輸入到混合模塊504、505和506，在這里它們與來自109的輸出進(jìn)行混合。將預(yù)測上混合信號(hào)與其去相關(guān)形式的信號(hào)進(jìn)行混合是本發(fā)明的主要特征。在圖6中，示出了混合模塊504、505和506的實(shí)施例。在本發(fā)明的該實(shí)施例中，由601根據(jù)控制信號(hào)γ來調(diào)整去相關(guān)的信號(hào)的水平。隨后在602中將去相關(guān)的信號(hào)與預(yù)測上混合信號(hào)相加。
第三優(yōu)選實(shí)施例將去相關(guān)器501、502和503用于上混合聲道。去相關(guān)的信號(hào)也可由去相關(guān)器501’產(chǎn)生，其接收作為輸入信號(hào)的該下混合聲道或者甚至所有下混合聲道。此外，在多于一個(gè)下混合聲道的情況下，如圖5所示，也可以針對(duì)左基本聲道l0和右基本聲道r0使用獨(dú)立的去相關(guān)器，并通過將這些獨(dú)立的去相關(guān)器的輸出進(jìn)行合并，來產(chǎn)生該去相關(guān)的信號(hào)。這種可能性與圖5所示的可能性基本相同，但是與圖5所示的可能性的區(qū)別在于使用上混合之前的聲道。
此外，結(jié)合圖5來進(jìn)行描述，混合模塊504、505和506不僅僅接收因子γ，還接收聲道特定因子vl，vc，vr，其中γ對(duì)于全部三個(gè)聲道都是相等的，因?yàn)樵撘蜃觾H取決于能量測量值ρ，其中vl，vc，vr是按照結(jié)合等式(10)和(11)所描述的方式來確定的。然而，當(dāng)解碼器已知在編碼器處使用的下混合時(shí)，就不必將該參數(shù)從編碼器傳送到解碼器。取而代之，優(yōu)選地將如等式(10)和(11)中所示的矩陣v中的這些參數(shù)預(yù)先編程到混合模塊504、505和506中，使得不必發(fā)送這些聲道特定的加權(quán)因子(但是，如果需要?jiǎng)t當(dāng)然可以發(fā)送)。
在圖6中，示出了加權(quán)設(shè)備601使用γ和聲道特定的取決于下混合的參數(shù)vz的乘積來調(diào)整去相關(guān)的信號(hào)的能量，其中z代表l，r或c。在該情況下，注意到等式(26a)確保了xd的能量與經(jīng)預(yù)測上混合的左、右和中聲道的能量和相等。因此，可以將設(shè)備601簡單地實(shí)現(xiàn)為使用縮放因子(scaling factor)GI的縮放器(scaler)。然而，當(dāng)另選地生成去相關(guān)的信號(hào)時(shí)，混合模塊504、505、506必須對(duì)經(jīng)加法器602相加的去相關(guān)的信號(hào)進(jìn)行絕對(duì)能量調(diào)整，使得在加法器602處相加的信號(hào)的能量等于殘差信號(hào)的能量，例如，由不進(jìn)行能量保存的預(yù)測上混合損失的能量。
關(guān)于聲道特定的取決于下混合的參數(shù)vz，參照?qǐng)D6說明的相同標(biāo)記也可同樣地用于圖7的實(shí)施例。
此外，在這里注意到，圖6和圖7的實(shí)施例基于承認(rèn)使用去相關(guān)信號(hào)來加入預(yù)測上混合中損失的至少一部分能量。為了具有干信號(hào)分量(不相關(guān))信號(hào)的正確信號(hào)能量和正確部分以及“濕”信號(hào)分量(去相關(guān)的)的正確信號(hào)能量和正確部分，就要確保輸入到混合模塊504中的“干”信號(hào)未被預(yù)縮放。例如，當(dāng)在解碼器側(cè)對(duì)基本聲道進(jìn)行了預(yù)校正時(shí)(如圖4所示)，那么在將該聲道輸入到混合器框504、505或506之前，必須通過將該聲道乘以(相對(duì)的)能量測量值ρ來補(bǔ)償圖4的預(yù)校正。另外，當(dāng)如圖5所示，在將下混合聲道輸入到上混合器109之前已經(jīng)在解碼器側(cè)執(zhí)行了這種能量校正時(shí)，必須完成該相同的過程。
當(dāng)去相關(guān)的信號(hào)僅要覆蓋了一部分殘差能量時(shí)，通過乘以取決于ρ的因子而對(duì)輸入到混合框504、505或506的信號(hào)進(jìn)行預(yù)縮放，才能使得部分地去除預(yù)校正，然而，該取決于ρ的因子比因子ρ本身更接近1。當(dāng)然，該部分補(bǔ)償預(yù)縮放因子將取決于圖7中在605處輸入的、編碼器生成的信號(hào)k。當(dāng)必須執(zhí)行這種部分預(yù)縮放時(shí)，那么施加在G2中的加權(quán)因子就不是必需的了。取而代之，從輸入604到加法器602的支路將與圖6中所示的相同。
控制去相關(guān)度本發(fā)明的優(yōu)選實(shí)施例教導(dǎo)了可以從編碼器來控制與預(yù)測出的上混合信號(hào)相加的去相關(guān)的量，同時(shí)仍保持正確的輸出能量。這是因?yàn)樵谝话愕摹皶?huì)見(interview)”示例中，干語音(dry speech)在中聲道，環(huán)境語音在左和右聲道，所以不希望用去相關(guān)的信號(hào)替代中聲道中的預(yù)測誤差。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，針對(duì)圖5所示的情況可以使用一種另選混合過程。以下將示出如何根據(jù)本發(fā)明來將總能量保存和實(shí)際相關(guān)性再現(xiàn)的問題分開，并且如何可通過參數(shù)k來控制去相關(guān)的量。
假設(shè)對(duì)下混合信號(hào)已經(jīng)執(zhí)行了總能量保存增益補(bǔ)償(20)，所以首先得到解碼信號(hào) 據(jù)此，例如通過使用如前所述的三個(gè)去相關(guān)器，產(chǎn)生具有相同總能量||d||2=E^/ρ2]]>的去相關(guān)的信號(hào)d。然后根據(jù)下式來定義總的上混合Yk=k·1ρX^+1-k2·vd.---(29)]]>其中k∈[ρ，1]是發(fā)送的參數(shù)。選擇k＝l是對(duì)應(yīng)于在不加去相關(guān)的信號(hào)情況下的總能量保存，而k＝ρ對(duì)應(yīng)于完整的3×3相關(guān)性結(jié)構(gòu)再現(xiàn)。我們有YkYk*=k2ρ2X^X^*+1-k2ρ2vv*E^,---(30)]]>從而為所有k∈[ρ，l]保存總能量，這可以通過計(jì)算(30)中的矩陣的跡(trace)(對(duì)角線值的和)看出。然而，僅針對(duì)k＝ρ而得到正確的單個(gè)能量。
圖7例示了根據(jù)上述理論的圖5的混合模塊504、505和506的實(shí)施例。在混合模塊的該另選方式中，將控制參數(shù)γ輸入到702和701。根據(jù)上面的等式(29)，用于702的增益因子對(duì)應(yīng)于k，根據(jù)上面的等式(29)，用于701的增益因子對(duì)應(yīng)于 本發(fā)明的上述實(shí)施例使系統(tǒng)可以在編碼器側(cè)使用檢測機(jī)制，該機(jī)制對(duì)加到基于預(yù)測的上混合中的去相關(guān)的量進(jìn)行估計(jì)。圖7所示的實(shí)現(xiàn)將加入所指示量的去相關(guān)的信號(hào)，并施加能量校正，使得三個(gè)聲道的總能量是正確的，同時(shí)還能夠利用去相關(guān)的信號(hào)來取代任意量的預(yù)測誤差。
這意味著，對(duì)于具有三個(gè)環(huán)境信號(hào)的示例，例如具有大量環(huán)境的古典樂曲，編碼器可以檢測出缺少“干”中聲道，并使解碼器利用去相關(guān)的信號(hào)來替代整個(gè)預(yù)測誤差，因此以單獨(dú)通過基于現(xiàn)有技術(shù)的預(yù)測的方法而不可能實(shí)現(xiàn)的方式來重建來自三個(gè)聲道的聲音的環(huán)境。此外，對(duì)于利用干中聲道的信號(hào)(例如，在中聲道中的話音)和在左和右聲道中的環(huán)境聲音，編碼器檢測到由去相關(guān)的信號(hào)取代預(yù)測誤差在心理聲學(xué)上是不當(dāng)?shù)?，取而代之讓解碼器調(diào)整三個(gè)重構(gòu)聲道的水平，使得三個(gè)聲道的能量是正確的。顯然，以上窮舉示例代表了本發(fā)明的兩個(gè)可能成果。但是，本發(fā)明并不限于涵蓋僅在以上示例中說明的極端情況。
使預(yù)測系數(shù)適合于經(jīng)修正的波形如上所述，在給出三個(gè)原始聲道X和下混合矩陣D的情況下，通過使均方誤差最小化來估計(jì)預(yù)測參數(shù)。然而，在很多情況下，不能依賴于下可將混合信號(hào)描述成下混合矩陣D與用于描述原始多聲道信號(hào)的矩陣X相乘。
就此而言的一個(gè)顯然示例是當(dāng)使用所謂的“精細(xì)下混合”時(shí)，即當(dāng)兩個(gè)聲道下混合不能被描述成多聲道信號(hào)的線性組合時(shí)。另一個(gè)示例是當(dāng)下混合信號(hào)被知覺音頻編解碼器編碼時(shí)，其中該編解碼器利用立體聲預(yù)處理或者用于改善編碼效率的其它工具。現(xiàn)有技術(shù)公知的是很多知覺音頻編解碼器依賴于中間/側(cè)立體聲編碼，其中在比特率抑制條件下側(cè)信號(hào)被衰減，從而產(chǎn)生的輸出所具有的立體聲圖像比編碼用信號(hào)的立體聲圖像窄。
圖8示出了本發(fā)明的優(yōu)選實(shí)施例，其中除了多聲道信號(hào)之外，編碼器側(cè)的參數(shù)提取還針對(duì)經(jīng)修正的下混合信號(hào)。經(jīng)修正的下混合信號(hào)在此是由801生成的。如果僅發(fā)送C矩陣的兩個(gè)參數(shù)，則需要知道解碼器側(cè)的D矩陣，以便能夠執(zhí)行上混合，并得到所有上混合聲道的最小均方誤差。然而，本實(shí)施例教導(dǎo)了可以利用通過使用下混合矩陣D獲得的下混合信號(hào)l0′和r0′來取代編碼器側(cè)的下混合信號(hào)l0和r0，其中下混合矩陣D不必與解碼器側(cè)假設(shè)的相同。將另選下混合用于編碼器側(cè)的參數(shù)估計(jì)，這僅保證了在解碼器側(cè)的正確的中聲道再現(xiàn)。通過從編碼器向解碼器發(fā)送額外的信息，可以獲得三個(gè)聲道的更加精確的上混合。在一種極端情況下，可以將C矩陣的六個(gè)元素全都發(fā)送出去。然而，本發(fā)明教導(dǎo)，如果伴隨有與802使用的混合矩陣D有關(guān)的信息，則可以發(fā)送C矩陣的子集。
前面提到的知覺音頻編碼器針對(duì)低比特率的立體聲編碼使用中央/側(cè)編碼。此外，為了在比特率抑制條件下降低側(cè)信號(hào)(side signal)的能量，通常采用立體聲預(yù)處理。這是基于心理聲學(xué)概念來實(shí)現(xiàn)的，對(duì)于立體聲信號(hào)縮減該立體聲信號(hào)寬度而言，心理聲學(xué)概念是一種優(yōu)選的編碼產(chǎn)物(artefact)，其基于可聽的量化失真和帶寬限制。
因此，如果使用立體聲預(yù)處理，則下混合等式(3)可表示為Dαr=1-γγγ1-γ10α01α---(31)]]>其中γ是側(cè)信號(hào)的衰減。如前面所述，在解碼器側(cè)需要知道D矩陣，以便能夠正確地重構(gòu)三個(gè)聲道。因此，本實(shí)施例教導(dǎo)了應(yīng)該將衰減因子發(fā)送到解碼器。
圖9示出了本發(fā)明的另一實(shí)施例，其中從104輸出的下混合信號(hào)l0和r0被輸入到立體聲預(yù)處理設(shè)備901，其通過因子γ對(duì)下混合信號(hào)的中央/側(cè)表示的側(cè)信號(hào)(l0-r0)進(jìn)行限制。該參數(shù)被發(fā)送到解碼器。
HFR編解碼器信號(hào)的參數(shù)化如果與諸如SBR[WO 98/57436]的高頻重構(gòu)方法一起來使用基于預(yù)測的上混合，則在編碼器側(cè)估計(jì)的預(yù)測參數(shù)將與在解碼器側(cè)重建的高頻帶信號(hào)不匹配。本實(shí)施例教導(dǎo)了將另選的非基于波形形式的上混合結(jié)構(gòu)用于對(duì)根據(jù)兩個(gè)聲道的三個(gè)聲道進(jìn)行重建。所建議的上混合過程被設(shè)計(jì)成在不相關(guān)噪聲信號(hào)的情況下重建所有上混合聲道的正確能量。
假設(shè)使用如(3)中定義的下混合矩陣Dα。并且現(xiàn)在將定義上混合矩陣C。那么上混合矩陣被定義為X^=CX0---(32)]]>僅致力于重建上混合信號(hào)l(k)，r(k)和c(k)的正確能量，其中這些能量是L，R和C，根據(jù)下式來選擇上混合矩陣，以便 和XX*的對(duì)角線元素相同XX*=L000R000C.---(35)]]>下混合矩陣的相應(yīng)表示將為X0X0*=L+α2Cα2Cα2CR+α2C,---(36)]]>X^X^*=CX0X0*C*=c11c12c12c22c31c32L+α2Cα2Cα2CR+α2Cc11c21c31c12c22c32.---(37)]]>將 的對(duì)角線元素設(shè)置成與XX*的對(duì)角線元素相等，解釋成以下三個(gè)定義了C和L，R和C中元素之間的關(guān)系的等式Lc112+Rc122+Cα2(c11+c12)2=LLc212+Rc222+Cα2(c21+c22)2=RLc312+Rc312+Cα2(c31+c32)2=C---(38)]]>根據(jù)以上內(nèi)容可以定義上混合矩陣。優(yōu)選地，將上混合矩陣定義成不將右下混合聲道添加到左上混合聲道，反之亦然。因此，適當(dāng)?shù)纳匣旌暇仃嚳梢允荂=β00γδδ---(39)]]>根據(jù)下式給出C矩陣
C=LL+α2C00RR+α2CCL+R+4α2CCL+R+4α2C---(40)]]>這可說明，根據(jù)發(fā)送的兩個(gè)參數(shù)c1=L+RC]]>和c2=LR]]>可以在解碼器側(cè)重建C矩陣的元素。
圖10示出了本發(fā)明的優(yōu)選實(shí)施例。此處的101-112與圖1所示的相同，在此就不作進(jìn)一步說明。將三個(gè)原始信號(hào)101-103輸入到估計(jì)模塊1001。該模塊估計(jì)兩個(gè)參數(shù)，例如c1=L+RC]]>和c2=LR,]]>根據(jù)這兩個(gè)參數(shù)可以在解碼器側(cè)推導(dǎo)出C矩陣。這些參數(shù)隨同從104輸出的參數(shù)一起被輸入到選擇模塊1002。在一個(gè)優(yōu)選實(shí)施例中，如果來自104的參數(shù)與被波形編解碼器編碼的頻率范圍相對(duì)應(yīng)，則選擇模塊1002輸出這些參數(shù)，并且如果來自1001的參數(shù)與HFR重構(gòu)的頻率范圍相對(duì)應(yīng)，則選擇模塊1002輸出這些參數(shù)。選擇模塊1002還輸出信息1005，與該信息有關(guān)的參數(shù)化被用于信號(hào)的不同頻率范圍。
在解碼器側(cè)模塊1004獲得所發(fā)送的參數(shù)，并根據(jù)上述，按照參數(shù)1005給出的指示將這些參數(shù)引導(dǎo)向預(yù)測上混合109或基于能量的上混合1003?；谀芰康纳匣旌?003根據(jù)等式(40)實(shí)現(xiàn)上混合矩陣C。
如等式(40)中所示的上混合矩陣具有相等的權(quán)重(δ)，以根據(jù)兩個(gè)下混合信號(hào)l0(k)，r0(k)獲得估計(jì)(解碼器)信號(hào)c(k)?；谟^察到信號(hào)c(k)在兩個(gè)下混合信號(hào)l0(k)，r0(k)中的相對(duì)量不相等(即C/L不等于C/R)，還可以考慮以下的一般上混合矩陣C=f1(c1,c2)f2(c1,c2)f2(c2,c1)f1(c2,c1)f3(c1,c2)f3(c2,c1)---(41)]]>為了估計(jì)c(k)，該實(shí)施例還要求發(fā)送兩個(gè)控制參數(shù)c1和c2，這兩個(gè)控制參數(shù)例如等于c1＝α2C/(L+α2X)和c2＝α2X/(R+α2C)。然后由下式給出上混合函數(shù)f1的一種可能實(shí)現(xiàn)f1(c1,c2)=1-c12---(42)]]>f2(c1，c2)＝0(43)f3(c1,c2)=c12α---(44)]]>根據(jù)本發(fā)明的針對(duì)SBR范圍的不同參數(shù)化的信號(hào)表示并不限于SBR。上述參數(shù)化可用于如下任何頻率范圍，即在該頻率范圍內(nèi)基于預(yù)測的上混合的預(yù)測誤差被認(rèn)為太大。因此，模塊1002可以根據(jù)多種準(zhǔn)則將來自1001或104的參數(shù)輸出，諸如所發(fā)送信號(hào)的編碼方法、預(yù)測誤差等。
用于改善基于預(yù)測的多聲道重構(gòu)的優(yōu)選方法包括在編碼器側(cè)，針對(duì)不同的頻率范圍提取不同的多聲道參數(shù)，而在解碼器側(cè)，為了重構(gòu)多個(gè)聲道而將這些參數(shù)化法施加給這些頻率范圍。
本發(fā)明的另一優(yōu)選實(shí)施例包括一種用于改善基于預(yù)測的多聲道重構(gòu)的方法，該方法包括在編碼器側(cè)，提取關(guān)于所使用的下混合處理的信息，并隨后將該信息發(fā)送到解碼器，而在解碼器側(cè)，基于提取的預(yù)測參數(shù)和有關(guān)下混合的信息來施加上混合，以重構(gòu)多聲道。
本發(fā)明的另一優(yōu)選實(shí)施例包括一種用于改善基于預(yù)測的多聲道重構(gòu)的方法，其中，在編碼器側(cè)，根據(jù)針對(duì)所提取的預(yù)測上混合參數(shù)而獲得的預(yù)測誤差，來調(diào)整下混合信號(hào)的能量。
本發(fā)明的另一優(yōu)選實(shí)施例涉及一種用于改善基于預(yù)測的多聲道重構(gòu)的方法，其中，在解碼器側(cè)，通過對(duì)上混合聲道施加增益來補(bǔ)償由于預(yù)測誤差導(dǎo)致的能量損失。
本發(fā)明的另一優(yōu)選實(shí)施例涉及一種用于改善基于預(yù)測的多聲道重構(gòu)的方法，其中，在解碼器側(cè)，由去相關(guān)的信號(hào)來取代由于預(yù)測誤差損失的能量。
本發(fā)明的另一優(yōu)選實(shí)施例涉及一種用于改善基于預(yù)測的多聲道重構(gòu)的方法，其中，在解碼器側(cè)，由于預(yù)測誤差而損失的部分能量被去相關(guān)的信號(hào)所取代，并且所損失的部分能量被通過對(duì)上混合聲道施加增益而取代。優(yōu)選地，所損失能量的該部分是從編碼器通過信號(hào)通知的。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的設(shè)備，其包括用于根據(jù)針對(duì)所提取的預(yù)測上混合參數(shù)而獲得的預(yù)測誤差，來調(diào)整下混合信號(hào)的能量的裝置。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的設(shè)備，其包括，用于通過對(duì)上混合聲道施加增益而補(bǔ)償由于預(yù)測誤差導(dǎo)致的能量損失的裝置。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的設(shè)備，其包括，用于通過去相關(guān)的信號(hào)來取代由于預(yù)測誤差而損失的能量的裝置。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的設(shè)備，其包括，用于通過去相關(guān)的信號(hào)來取代由于預(yù)測誤差而損失的部分能量、通過對(duì)上混合聲道施加增益來取代所損失的部分能量的裝置。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的編碼器，包括根據(jù)針對(duì)所提取的預(yù)測上混合參數(shù)而獲得的預(yù)測誤差，來調(diào)整下混合信號(hào)的能量。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的解碼器，包括通過對(duì)上混合聲道施加增益而補(bǔ)償由于預(yù)測誤差而損失的能量。
本發(fā)明的另一優(yōu)選實(shí)施例涉及一種用于改善基于預(yù)測的多聲道重構(gòu)的解碼器，包括通過去相關(guān)的信號(hào)來取代由于預(yù)測誤差而損失的能量。
本發(fā)明的另一優(yōu)選實(shí)施例是一種用于改善基于預(yù)測的多聲道重構(gòu)的解碼器，包括通過去相關(guān)的信號(hào)來取代由于預(yù)測誤差而損失的部分能量、通過對(duì)下混合聲道施加增益而取代所損失的部分能量。
圖11示出了一種多聲道合成器，其利用具有至少一個(gè)基本聲道1102的輸入信號(hào)來生成至少三個(gè)輸出聲道1100，該至少一個(gè)基本聲道是從原始多聲道信號(hào)導(dǎo)出的。圖11所示的多聲道合成器包括上混合器設(shè)備1104，其可按照?qǐng)D2至圖10任一個(gè)中所示的方式來實(shí)現(xiàn)。通常，上混合器設(shè)備1104進(jìn)行操作以使用上混合規(guī)則來上混合至少一個(gè)基本聲道，以便獲得至少三個(gè)輸出聲道。上混合器1104進(jìn)行操作以響應(yīng)于能量測量值1106和至少兩個(gè)不同的上混合參數(shù)1108，通過使用能量損失引入上混合規(guī)則來產(chǎn)生至少三個(gè)輸出聲道，使得該至少三個(gè)輸出聲道具有的能量分別比該能量損失引入上混合規(guī)則產(chǎn)生的多個(gè)信號(hào)的能量都高。因此，不考慮取決于該能量損失引入上混合規(guī)則的能量誤差，本發(fā)明產(chǎn)生經(jīng)能量補(bǔ)償?shù)慕Y(jié)果，其中通過縮放和/或添加去相關(guān)的信號(hào)來實(shí)現(xiàn)能量補(bǔ)償。該至少兩個(gè)不同的上混合參數(shù)1108，以及能量測量值1106被包括在輸入信號(hào)中。
優(yōu)選地，能量測量值是涉及由上混合規(guī)則引入的能量損失的任何測量值。該測量值可以是上混合所引入的能量誤差或上混合信號(hào)能量(一般比原始信號(hào)的能量低)的絕對(duì)測量值，或者可以是相對(duì)測量值，諸如原始信號(hào)能量與上混合信號(hào)能量之間的關(guān)系，或者能量誤差與原始信號(hào)能量之間的關(guān)系，或者甚至是能量誤差與上混合信號(hào)能量之間的關(guān)系。相對(duì)能量測量值可被用作校正因子，但是仍然是一種能量測量值，因?yàn)槠淙Q于引入到上混合信號(hào)中的能量誤差，該上混合信號(hào)是通過能量損失引入上混合規(guī)則，或者另言之，是通過非能量保存上混合規(guī)則來產(chǎn)生的。
一種示例性能量損失引入上混合規(guī)則(非能量保存上混合規(guī)則)是使用所發(fā)送的預(yù)測系數(shù)的上混合。在非理想地預(yù)測幀或幀的子頻帶的情況下，上混合輸出信號(hào)受與能量損失相對(duì)應(yīng)的預(yù)測誤差的影響。當(dāng)然，預(yù)測誤差逐幀變化，因?yàn)樵趲缀趵硐腩A(yù)測(低預(yù)測誤差)的情況下，僅必須執(zhí)行較少的補(bǔ)償(通過縮放或增加去相關(guān)的信號(hào))，而在較大預(yù)測誤差(非理想預(yù)測)的情況下，必須執(zhí)行較多的補(bǔ)償。因此，在表示沒有或僅有較少補(bǔ)償?shù)闹蹬c表示較大補(bǔ)償?shù)闹抵g的能量測量值也不同。
當(dāng)能量測量值被認(rèn)為是聲道間相干性(ICC)值，這種考慮是正常的，當(dāng)通過添加根據(jù)能量測量值而被縮放的去相關(guān)的信號(hào)來進(jìn)行補(bǔ)償時(shí)，優(yōu)選使用的相對(duì)能量測量值(ρ)一般在0.8和1.0之間變化，其中1.0表示上混合信號(hào)是按照要求去相關(guān)的，或者表示不必添加去相關(guān)的信號(hào)，或者預(yù)測上混合結(jié)果的能量等于原始信號(hào)的能量，或者預(yù)測誤差是零。
然而，對(duì)于其它能量損失引入上混合規(guī)則本發(fā)明也是有用的，這些規(guī)則即，不是基于波形匹配而是基于諸如使用密碼本、譜匹配的其它技術(shù)的規(guī)則，或者任何其它不考慮能量保存的上混合規(guī)則。
通常，可以在應(yīng)用能量損失引入上混合規(guī)則之前或之后執(zhí)行能量補(bǔ)償。另選地，甚至可以諸如通過使用能量測量值來改變?cè)季仃囅禂?shù)，以使能量損失補(bǔ)償可以包括在上混合規(guī)則中，從而產(chǎn)生一種新的上混合規(guī)則并由上混合器來使用。該新的上混合規(guī)則基于能量損失引入上混合規(guī)則和能量測量值。換言之，該實(shí)施例涉及這樣的情形，即，將能量補(bǔ)償“混合”到“增強(qiáng)的”上混合規(guī)則中，使得通過將一個(gè)或多個(gè)上混合矩陣施加到輸入向量(所述一個(gè)或多個(gè)基本聲道)來執(zhí)行能量補(bǔ)償和/或添加去相關(guān)的信號(hào)，以(在所述一個(gè)或多個(gè)矩陣操作之后)獲得輸出向量(重構(gòu)的具有至少三個(gè)聲道的多聲道信號(hào))。
優(yōu)選地，上混合器設(shè)備接收兩個(gè)基本聲道l0，r0，并且輸出三個(gè)重構(gòu)聲道l、r和c。
隨后，參照?qǐng)D12，示出了在編碼器到解碼器路徑上不同位置處的示例性能量情況。方框1200示出了多聲道音頻信號(hào)的能量，該信號(hào)諸如圖1所示的具有至少一個(gè)左聲道、一個(gè)右聲道和一個(gè)中聲道的信號(hào)。對(duì)于圖12的實(shí)施例，假設(shè)圖1中的輸入聲道101、102、103完全不相關(guān)，并且下混合器進(jìn)行能量保存。在該情況下，由方框1202指示的一個(gè)或多個(gè)基本聲道的能量與多聲道原始信號(hào)的能量1200相等。當(dāng)原始多聲道信號(hào)彼此相關(guān)時(shí)，基本聲道能量1202可以低于原始多聲道信號(hào)的能量，例如當(dāng)左和右彼此(部分地)抵消時(shí)。
然而對(duì)于隨后的討論，假設(shè)基本聲道的能量1202與原始多聲道信號(hào)的能量1200相同。
1204例示了當(dāng)使用如結(jié)合圖1所討論的非能量保存上混合或預(yù)測上混合產(chǎn)生上混合信號(hào)(例如圖1的110、111、112)時(shí)上混合信號(hào)的能量。因?yàn)槿缰髮?duì)于圖14a和14b的說明，這種預(yù)測上混合引入了能量誤差Er，所以上混合結(jié)果的能量1204將低于基本聲道的能量1202。
上混合器1104進(jìn)行操作以輸出輸出聲道，這些輸出聲道具有高于能量1204的能量。優(yōu)選地，上混合器設(shè)備1104執(zhí)行完全補(bǔ)償，以便圖11中的上混合結(jié)果1100具有1206處所示的能量。
優(yōu)選地，其能量如1204處所示的上混合結(jié)果并不是如圖2所示那樣簡單地放大，或者如圖3所示那樣單個(gè)地放大，或者如圖4所示那樣在編碼器側(cè)放大。而是使用去相關(guān)的信號(hào)來“填充”剩余能量Er，其中Er與由于預(yù)測上混合而產(chǎn)生的誤差相對(duì)應(yīng)。在另一優(yōu)選實(shí)施例中，該能量誤差Er僅部分地被去相關(guān)的信號(hào)所覆蓋，而剩余的能量誤差是通過放大上混合結(jié)果來彌補(bǔ)的。圖5和圖6中示出了去相關(guān)的信號(hào)完全覆蓋能量誤差，而圖7例示了“部分”解決方案。
圖13示出了多種能量補(bǔ)償方法，例如，這些方法的共同特征在于，基于取決于能量誤差的能量測量值，輸出聲道的能量比預(yù)測上混合的純結(jié)果(即(未校正的)能量損失引入上混合規(guī)則的結(jié)果)高。
圖13的表中的1號(hào)涉及解碼器側(cè)能量補(bǔ)償，其在上混合之后執(zhí)行。該選項(xiàng)在圖2中被示出，并且另外還結(jié)合圖3進(jìn)行了詳細(xì)說明，圖3示出了聲道特定放大因子gz，該因子不僅取決于能量測量值ρ，另外取決于依賴于聲道的下混合因子vz，其中z表示l，r或c。
圖13的2號(hào)包括編碼側(cè)能量補(bǔ)償方法，其在下混合之后執(zhí)行，該方法在圖4中被例示。該實(shí)施例是優(yōu)選的，因?yàn)椴槐貙⒛芰繙y量值ρ或γ從編碼器發(fā)送到解碼器。
圖13的表中的3號(hào)涉及解碼器側(cè)能量補(bǔ)償，其在上混合之前執(zhí)行。當(dāng)考慮圖2時(shí)，在圖2中的上混合之后執(zhí)行的能量校正202將在圖2中的上混合塊201之前執(zhí)行。與圖2相比，該實(shí)施例導(dǎo)致更簡單的實(shí)現(xiàn)，因?yàn)椴灰笕鐖D3所示的聲道特定校正因子，盡管可能發(fā)生質(zhì)量損失。
圖13的4號(hào)涉及另一實(shí)施例，其中在下混合之前執(zhí)行解碼器側(cè)校正。當(dāng)考慮圖1時(shí)，聲道101、102、103將通過相應(yīng)的補(bǔ)償因子來放大，以便在如圖12中1208處所示的下混合之后使下混合器輸出增大。因此，對(duì)于編碼器的基本聲道輸入，圖13中的4號(hào)實(shí)施例與本發(fā)明的2號(hào)實(shí)施例具有相同的結(jié)果。
當(dāng)根據(jù)圖5中的非能量保存上混合規(guī)則109生成的聲道來推導(dǎo)去相關(guān)的信號(hào)時(shí)，圖13表格的5號(hào)涉及圖5中的實(shí)施例。
圖13的表中的6號(hào)實(shí)施例涉及如下實(shí)施例，其中去相關(guān)的信號(hào)僅覆蓋部分殘差能量。該實(shí)施例在圖7中被例示。
圖13的8號(hào)實(shí)施例類似于5號(hào)和6號(hào)實(shí)施例，除了在如圖5中的框501’所示的上混合之前根據(jù)基本聲道來推導(dǎo)去相關(guān)的信號(hào)之外。
隨后，對(duì)編碼器的優(yōu)選實(shí)施例進(jìn)行詳細(xì)描述。圖14a例示了用于處理多聲道輸入信號(hào)1400的編碼器，其具有至少兩個(gè)聲道，優(yōu)選地，具有至少三個(gè)聲道l，r，c。
編碼器包括能量測量值計(jì)算器1402，用于根據(jù)多聲道輸入信號(hào)1400或至少一個(gè)基本聲道1404的能量與由非能量保存上混合操作1407產(chǎn)生的上混合信號(hào)1406之間的能量差，來計(jì)算誤差測量值。
此外，編碼器包括輸出接口1408，用于在將至少一個(gè)基本聲道通過取決于能量測量值的縮放因子403進(jìn)行縮放(401、402)之后輸出該至少一個(gè)基本聲道，或者用于輸出能量測量值本身。
在優(yōu)選實(shí)施例中，編碼器包括下混合器1410，用于根據(jù)原始多聲道1400來生成至少一個(gè)基本聲道1404。為了生成上混合參數(shù)，還存在差值計(jì)算器1414和參數(shù)優(yōu)化器1416。這些元件進(jìn)行操作以找到最佳匹配上混合參數(shù)1412。將該組最適合的上混合參數(shù)中的至少兩個(gè)經(jīng)由輸出接口進(jìn)行輸出，作為優(yōu)選實(shí)施例中的參數(shù)輸出。差值計(jì)算器優(yōu)選地進(jìn)行操作，以用于針對(duì)在參數(shù)線1412處輸入的參數(shù)，執(zhí)行原始多聲道信號(hào)1400與上混合器生成的上混合信號(hào)之間的最小均方誤差計(jì)算。該參數(shù)優(yōu)化過程可通過幾種不同的優(yōu)化過程來執(zhí)行，這些過程全部為了借助包括在上混合器1408中的上混合矩陣來獲得最佳匹配上混合結(jié)果1406。
圖14b中示出了圖14a的編碼器的功能。在下混合器1410執(zhí)行下混合步驟1440之后，可如1442所示輸出該一個(gè)或多個(gè)基本聲道。然后，執(zhí)行上混合參數(shù)優(yōu)化步驟1444，根據(jù)特定優(yōu)化策略，該步驟可以是迭代或非迭代過程。然而，迭代過程是優(yōu)選的。通常，上混合參數(shù)優(yōu)化過程可被實(shí)現(xiàn)，以使得上混合結(jié)果與原始信號(hào)之間的差值盡可能低。取決于該實(shí)現(xiàn)，差值可以是涉及單個(gè)聲道的差值，或者是組合差值。通常，上混合參數(shù)優(yōu)化步驟1444進(jìn)行操作以使任何代價(jià)函數(shù)最小化，可根據(jù)單個(gè)聲道或組合聲道推導(dǎo)出所述代價(jià)函數(shù)，使得對(duì)于一個(gè)聲道，接受較大的差值(誤差)，而對(duì)于其它兩個(gè)聲道，則例如實(shí)現(xiàn)好得多的匹配。
然后，當(dāng)已經(jīng)找到最適合的參數(shù)組，例如，最適合的上混合矩陣時(shí)，將步驟1444產(chǎn)生的參數(shù)組中的至少兩個(gè)上混合參數(shù)按照步驟1446的指示輸出到輸出接口。
此外，在上混合參數(shù)優(yōu)化步驟1444完成之后，可以按照步驟1488的指示計(jì)算并輸出能量測量值。通常，能量測量值將取決于能量誤差1210。在優(yōu)選實(shí)施例中，能量測量值是因子ρ，其取決于如圖2所示的上混合結(jié)果1406的能量與原始信號(hào)1400的能量的關(guān)系。另選地，計(jì)算并輸出的能量測量值可以是能量誤差1210的絕對(duì)值，或者可以是上混合結(jié)果1406的絕對(duì)能量，當(dāng)然，其取決于能量誤差。在該情況下，注意到，最好將輸出接口1408輸出的能量測量值進(jìn)行量化，此外優(yōu)選地使用諸如算法編碼器、Huffman編碼器或者運(yùn)轉(zhuǎn)周期編碼器的任何已知熵編碼器對(duì)其進(jìn)行熵編碼，該熵編碼器在隨后存在多個(gè)相同的能量測量值時(shí)尤其有用。另選地或另外地，可以對(duì)隨后的時(shí)間部分或幀的能量測量值進(jìn)行差值編碼，其中該差值編碼優(yōu)選地在熵編碼之前執(zhí)行。
隨后，參照?qǐng)D15a，其示出了另選下混合器實(shí)施例，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，該下混合器與圖14a的編碼器進(jìn)行組合。圖15a的實(shí)施例涵蓋了SBR實(shí)現(xiàn)，盡管該實(shí)施例也可用于以下情況，即，其中不執(zhí)行譜帶復(fù)制，而是發(fā)送基本聲道的完整帶寬。圖15a的編碼器包括下混合器1500，用于下混合原始信號(hào)1500，以獲得至少一個(gè)基本聲道1504。在非SBR實(shí)施例中，至少一個(gè)基本聲道1504被輸入到核心編碼器1506中，該核心編碼器1506在單個(gè)基本聲道的情況下可以是用于單聲道信號(hào)的AAC編碼器，而在例如兩個(gè)立體聲基本聲道的情況下可以是任何立體聲編碼器。在核心編碼器1506的輸出(1508)，輸出包含一個(gè)經(jīng)編碼的基本聲道或者包含多個(gè)經(jīng)編碼的基本聲道的比特流。
當(dāng)圖15a的實(shí)施例具有SBR功能時(shí)，至少一個(gè)基本聲道1504在被輸入核心編碼器之前要經(jīng)過低通濾波1510。當(dāng)然，框1510和1506的功能可以通過單個(gè)編碼器設(shè)備來實(shí)現(xiàn)，該編碼器設(shè)備在單個(gè)編碼算法中執(zhí)行低通濾波和核心編碼。
在輸出1508處的經(jīng)編碼的基本聲道僅包括基本聲道1504的編碼形式的低頻帶。通過SBR譜包絡(luò)計(jì)算器1512來計(jì)算與高頻帶有關(guān)的信息，SBR譜包絡(luò)計(jì)算器1512與SBR信息編碼器1514相連，SBR信息編碼器1514用于產(chǎn)生經(jīng)編碼的SBR側(cè)信息，并在輸出1516處將其輸出。
原始信號(hào)1502被輸入到能量計(jì)算器1520中，其產(chǎn)生聲道能量(針對(duì)原始聲道l，r，c的特定時(shí)間段，其中聲道能量由塊1520輸出的L，R，C來指示)。聲道能量L，R，C被輸入到參數(shù)計(jì)算器塊1522。參數(shù)計(jì)算器1522輸出兩個(gè)上混合參數(shù)c1，c2，其例如可以是圖15a中指示的參數(shù)c1，c2。當(dāng)然，涉及所有輸入聲道能量的其它(例如線性)能量組合可由參數(shù)計(jì)算器1522來生成，以發(fā)送到解碼器。當(dāng)然，所發(fā)送的不同上混合參數(shù)將導(dǎo)致以不同方式計(jì)算剩余的上混合矩陣元素。如結(jié)合等式(40)和等式(41-44)所指示的，對(duì)于以能量指導(dǎo)的圖15的實(shí)施例的上混合矩陣，其具有至少四個(gè)非零元素，其中第三行的元素彼此相等。因此，參數(shù)計(jì)算器1522例如可以使用能量L，C，R的任意組合，根據(jù)這些組合，可以導(dǎo)出上混合矩陣中的四個(gè)元素，該上混合矩陣諸如為上混合矩陣指示(40)或(41)。
圖15a的實(shí)施例例示了一種編碼器，其進(jìn)行操作以執(zhí)行能量保存，或者，一般而言，針對(duì)信號(hào)的整個(gè)帶寬執(zhí)行能量被導(dǎo)出的上混合。這意味著，在圖15a所示的編碼器側(cè)，由參數(shù)計(jì)算器1522輸出的參數(shù)表示是針對(duì)整個(gè)信號(hào)產(chǎn)生的。這意味著，對(duì)于經(jīng)編碼的基本聲道的各個(gè)子頻帶，計(jì)算并輸出相應(yīng)的參數(shù)組。例如，當(dāng)考慮這樣的經(jīng)編碼的基本聲道，即，其例如是具有十個(gè)子頻帶的全帶寬信號(hào)時(shí)，參數(shù)計(jì)算器可以對(duì)經(jīng)編碼的基本聲道的各個(gè)子頻帶輸出十個(gè)參數(shù)c1，c2。然而，當(dāng)經(jīng)編碼的基本聲道是SBR環(huán)境中的低頻帶信號(hào)時(shí)，例如，只涵蓋僅五個(gè)較低頻帶，那么參數(shù)計(jì)算器1522將為該五個(gè)較低子頻帶中的每一個(gè)輸出一組參數(shù)，另外，也為五個(gè)較高子頻帶中的每一個(gè)輸出一組參數(shù)，盡管輸出1508處的信號(hào)不包括相應(yīng)的子頻帶。這是由于以下事實(shí)，即，這種子頻帶會(huì)在解碼器側(cè)被重建，如隨后將結(jié)合圖16a進(jìn)行說明的。
然而，優(yōu)選地，并且如結(jié)合圖10所進(jìn)行描述的，能量計(jì)算器1520和參數(shù)計(jì)算器1522僅針對(duì)原始信號(hào)的高頻帶部分進(jìn)行操作，而原始信號(hào)的低頻帶部分的參數(shù)是由圖10中的預(yù)測參數(shù)計(jì)算器104來計(jì)算的，該預(yù)測參數(shù)計(jì)算器104與圖10中的預(yù)測上混合器109相對(duì)應(yīng)。
圖15b示出了由圖10中的選擇模塊1002輸出的參數(shù)表示的示意性表示。因此，根據(jù)本發(fā)明的參數(shù)表示包括一組針對(duì)低頻帶，例如針對(duì)子頻帶1至i的預(yù)測參數(shù)，以及針對(duì)高頻帶，例如針對(duì)子頻帶i+1至N的基于子頻帶的參數(shù)。另選地，可將預(yù)測參數(shù)與能量風(fēng)格參數(shù)進(jìn)行混合，例如，將具有能量風(fēng)格參數(shù)的子頻帶設(shè)置在具有預(yù)測參數(shù)的子頻帶之間。此外，僅具有預(yù)測參數(shù)的幀之后可以緊跟僅具有能量風(fēng)格參數(shù)的幀。因此，一般而言，如結(jié)合圖10所討論的本發(fā)明涉及不同的參數(shù)化，當(dāng)僅具有預(yù)測參數(shù)的幀之后緊跟僅具有能量風(fēng)格參數(shù)的幀時(shí)，這些參數(shù)化在如圖15b所示的頻率方向上可以不同，或者這些參數(shù)化可以在時(shí)間方向上不同。當(dāng)然，子頻帶的分布或參數(shù)化可以逐幀改變，使得例如，在第一幀處子頻帶i具有如圖15b所示的第一(例如，預(yù)測)參數(shù)組，在其它幀中具有第二(例如，能量風(fēng)格)參數(shù)組。
此外，當(dāng)使用與圖14a所示的預(yù)測參數(shù)化以及圖15a所示的能量風(fēng)格參數(shù)化不同的參數(shù)化時(shí)，本發(fā)明也是有用的。還可以使用除預(yù)測或能量風(fēng)格之外的其它示例參數(shù)化法，只要任何目標(biāo)參數(shù)或目標(biāo)事件表明編碼器側(cè)或解碼器側(cè)的上混合質(zhì)量、下混合比特率、計(jì)算效率，或者例如是如電池設(shè)備的能量消耗等表明對(duì)于特定子頻帶或者幀，第一參數(shù)化法比第二參數(shù)化法更好。當(dāng)然，目標(biāo)函數(shù)還可以是如上所述的不同的單個(gè)目標(biāo)/事件的組合。一種示例性事件是經(jīng)SBR重構(gòu)的高頻帶等。
此外，注意到，如圖10中的1005所示，可以明確地用信號(hào)表示參數(shù)的頻率或時(shí)間選擇性計(jì)算以及發(fā)送。另選地，也可以如結(jié)合圖16a所討論的那樣隱含地執(zhí)行信號(hào)表示。在該情況下，使用針對(duì)解碼器的預(yù)定義規(guī)則，例如，對(duì)于屬于圖15b中高頻帶的子頻帶，例如，對(duì)于通過譜帶復(fù)制或高頻再現(xiàn)技術(shù)已經(jīng)重構(gòu)的子頻帶，解碼器自動(dòng)假設(shè)所發(fā)送的參數(shù)是能量風(fēng)格參數(shù)。
此外，注意到，可以在發(fā)送或不發(fā)送能量測量值的情況下執(zhí)行在編碼器側(cè)計(jì)算一個(gè)、兩個(gè)或甚至更多不同參數(shù)化，以及在編碼器側(cè)選擇發(fā)送哪個(gè)參數(shù)化，該選擇基于使用任何編碼器側(cè)可用信息(該信息可以是實(shí)際使用的目標(biāo)函數(shù)或者是因?yàn)橹T如SBR處理和信號(hào)表示的其它原因而使用的信號(hào)表示信息)的判決。甚至當(dāng)根本不執(zhí)行優(yōu)選的能量校正時(shí)，例如，當(dāng)不對(duì)非能量保存上混合(預(yù)測上混合)的結(jié)果進(jìn)行能量校正時(shí)，或者當(dāng)不執(zhí)行編碼器側(cè)的相應(yīng)預(yù)補(bǔ)償時(shí)，為了獲得較好的多聲道輸出質(zhì)量和/或較低的比特率，在不同參數(shù)化之間進(jìn)行優(yōu)選切換是有用的。
特別是，根據(jù)可用編碼器側(cè)信息在不同參數(shù)化之間進(jìn)行的優(yōu)選切換可以在以下情況中使用，即，如結(jié)合圖5至圖7所示，在通過預(yù)測上混合添加或不添加去相關(guān)的信號(hào)的情況下，其中該去相關(guān)的信號(hào)完全或至少部分地覆蓋能量誤差。在該情況下，如結(jié)合圖5所述的添加去相關(guān)的信號(hào)僅針對(duì)對(duì)其發(fā)送了預(yù)測上混合參數(shù)的子頻帶/幀來執(zhí)行，而對(duì)去相關(guān)的不同測量則被用于其中已經(jīng)發(fā)送了能量風(fēng)格參數(shù)的那些子頻帶或幀。當(dāng)對(duì)干信號(hào)添加經(jīng)適當(dāng)縮放的去相關(guān)的信號(hào)時(shí)，所述測量例如是縮小濕信號(hào)并且生成去相關(guān)的信號(hào)，以及對(duì)去相關(guān)的信號(hào)進(jìn)行縮放，以便獲得所需的去相關(guān)量，該去相關(guān)量例如是所發(fā)送的聲道間相關(guān)性測量值(諸如ICC)所需的。
隨后，討論圖16a，以例示在解碼器側(cè)實(shí)現(xiàn)優(yōu)選上混合塊201以及202中的相應(yīng)能量校正。如結(jié)合圖11所討論的，發(fā)送的上混合參數(shù)1108是從接收的輸入信號(hào)中提取的。當(dāng)包含能量補(bǔ)償?shù)纳匣旌暇仃?602要執(zhí)行預(yù)測上混合以及之前或之后的能量校正時(shí)，優(yōu)選地將這些發(fā)送的上混合參數(shù)輸入到計(jì)算器1600，用于計(jì)算剩余的上混合參數(shù)。隨后結(jié)合圖16b來討論用于計(jì)算剩余上混合參數(shù)的過程。
計(jì)算上混合參數(shù)是基于圖16b中的等式，其與等式(7)是重復(fù)的。在三個(gè)輸入信號(hào)/兩個(gè)輸出信號(hào)的實(shí)施例中，下混合矩陣D具有六個(gè)變量。另外，上混合矩陣C也具有六個(gè)變量。然而，在等式(7)的右手邊，僅有四個(gè)值。因此，在未知下混合以及未知上混合的情況下，將有來自矩陣D和矩陣C的十二個(gè)未知變量，而僅有四個(gè)等式用來確定這十二個(gè)變量。然而，下混合是已知的，使得未知變量的數(shù)量減少到上混合矩陣C的系數(shù)，其具有六個(gè)變量，盡管仍存在四個(gè)等式用來確定這六個(gè)變量。因此，如結(jié)合圖14b中的步驟1444所討論的以及如圖14a所示的優(yōu)化方法被用于確定上混合矩陣的至少兩個(gè)變量，這兩個(gè)變量優(yōu)選為c11和c22。現(xiàn)在，因?yàn)榇嬖谒膫€(gè)未知量，例如c12，c21，c31和c32，并且因?yàn)榇嬖谒膫€(gè)等式，例如，一個(gè)等式用于圖16b中等式的右手邊的單位矩陣I的各個(gè)元素，所以上混合矩陣的剩余未知變量可以直接方式來計(jì)算。該計(jì)算在用于計(jì)算剩余上混合參數(shù)的計(jì)算器1600中執(zhí)行。
根據(jù)由虛線1604轉(zhuǎn)發(fā)的兩個(gè)發(fā)送上混合參數(shù)以及塊1600計(jì)算出的剩余四個(gè)上混合參數(shù)，來設(shè)置設(shè)備1602中的上混合矩陣。然后將該上混合矩陣施加給經(jīng)由線1102輸入的基本聲道。根據(jù)該實(shí)現(xiàn)，經(jīng)由線1106對(duì)用于低頻帶校正的能量測量值進(jìn)行轉(zhuǎn)發(fā)，使得可以生成并輸出經(jīng)校正的上混合。當(dāng)預(yù)測上混合僅針對(duì)低頻帶執(zhí)行時(shí)，例如，經(jīng)由線1606隱含地利用信號(hào)通知時(shí)，并且當(dāng)在線1108上存在針對(duì)高頻帶的能量風(fēng)格上混合參數(shù)時(shí)，針對(duì)相應(yīng)的子頻帶，用信號(hào)將該事實(shí)通知給計(jì)算器1600以及上混合矩陣設(shè)備1602。在能量風(fēng)格情況下，優(yōu)選地計(jì)算上混合矩陣(40)或(41)的上混合矩陣元素。為此，使用如以下等式(40)所指示的發(fā)送參數(shù)或者如以下等式(41)所指示相應(yīng)參數(shù)。在該實(shí)施例中，所發(fā)送的上混合參數(shù)c1和c2不能被直接用于上混合系數(shù)，但是必須使用所發(fā)送的上混合參數(shù)c1和c2來計(jì)算如等式(40)或(41)所示的上混合矩陣的上混合系數(shù)。
對(duì)于高頻帶，為基于能量的上混合參數(shù)而確定的上混合矩陣被用于對(duì)多聲道輸出信號(hào)的高頻帶部分進(jìn)行上混合。隨后，將低頻帶部分和高頻帶部分在低/高組合器1608中進(jìn)行組合，以輸出全帶寬重構(gòu)的輸出聲道l，r，c。如圖16a所示，使用用于對(duì)所發(fā)送的低頻帶基本聲道進(jìn)行解碼的解碼器來生成基本聲道的高頻帶，其中對(duì)于單聲道基本聲道，該解碼器是單聲道解碼器，對(duì)于兩個(gè)立體聲基本聲道，該解碼器是立體聲解碼器。將經(jīng)解碼的低頻帶基本聲道輸入到SBR設(shè)備1614，另外該SBR設(shè)備1614還接收如圖15a中由設(shè)備1512計(jì)算的包絡(luò)信息。基于低頻帶部分和高頻帶包絡(luò)信息，生成基本聲道的高頻帶，以在線1102上獲得全帶寬基本聲道，隨后將這些基本聲道轉(zhuǎn)發(fā)到上混合矩陣設(shè)備1602中。
優(yōu)選方法或設(shè)備或計(jì)算機(jī)程序可被實(shí)現(xiàn)或被包括在幾種設(shè)備中。圖17示出發(fā)送系統(tǒng)，該系統(tǒng)具有包括本發(fā)明編碼器的發(fā)送機(jī)并具有包括本發(fā)明解碼器的接收機(jī)。發(fā)送聲道可以是無線或有線聲道。此外，如圖18所示，編碼器可以被包括在音頻錄音機(jī)中，或者解碼器可以被包括在音頻播放器中?？梢越?jīng)由因特網(wǎng)或經(jīng)由存儲(chǔ)介質(zhì)將來自音頻錄音機(jī)的音頻記錄分配到音頻播放器，該存儲(chǔ)介質(zhì)是利用郵件或信使資源、或者是利用用于分配存儲(chǔ)介質(zhì)(諸如存儲(chǔ)卡、CD或DVD)的其它可能事物來發(fā)布的。
根據(jù)本發(fā)明的特定實(shí)施要求，可以硬件或軟件來實(shí)現(xiàn)本發(fā)明的方法?？梢允褂脭?shù)字存儲(chǔ)介質(zhì)來實(shí)施本發(fā)明，具體地，數(shù)字存儲(chǔ)介質(zhì)具有存儲(chǔ)在其上的電子可讀控制信號(hào)，其可與可編程計(jì)算機(jī)系統(tǒng)協(xié)作以便執(zhí)行本發(fā)明的方法。通常，本發(fā)明因此是計(jì)算機(jī)程序產(chǎn)品，其具有存儲(chǔ)在機(jī)器可讀載體上的程序代碼，該程序代碼被配置為當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行至少一種本發(fā)明的方法。換言之，本發(fā)明的方法因此是具有程序代碼的計(jì)算機(jī)程序，該程序代碼在當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上執(zhí)行時(shí)執(zhí)行本發(fā)明的方法。
權(quán)利要求
1.一種多聲道合成器，其利用具有至少一個(gè)基本聲道(1102)的輸入信號(hào)來生成至少三個(gè)輸出聲道(1100)，該基本聲道是根據(jù)原始多聲道信號(hào)(101，102，103)導(dǎo)出的，該多聲道合成器包括上混合器(1104)，用于根據(jù)能量損失引入上混合規(guī)則(201，1407)來上混合所述至少一個(gè)基本聲道，以使得獲得所述至少三個(gè)輸出聲道，其中上混合器(1104)進(jìn)行操作，以響應(yīng)于能量測量值(1106)和至少兩個(gè)不同的上混合參數(shù)(1108)而生成所述至少三個(gè)輸出聲道，使得所述至少三個(gè)輸出聲道具有的能量比僅使用能量損失引入上混合規(guī)則代替能量誤差而獲得的信號(hào)的能量高，該能量誤差取決于能量損失引入上混合規(guī)則，并且其中用于控制上混合器的所述至少兩個(gè)不同的上混合參數(shù)(1108)和能量測量值被包括在輸入信號(hào)中。
2.根據(jù)權(quán)利要求1所述的多聲道合成器，其中能量損失引入上混合規(guī)則是使用具有基于預(yù)測系數(shù)的矩陣系數(shù)的上混合矩陣的預(yù)測上混合規(guī)則，并且其中所述至少兩個(gè)不同的上混合參數(shù)是上混合矩陣的兩個(gè)不同元素(c11，c22)，或者是如下參數(shù)，即根據(jù)這樣的參數(shù)可以導(dǎo)出上混合矩陣的所述兩個(gè)不同元素。
3.根據(jù)權(quán)利要求1或2所述的多聲道合成器，其中能量測量值直接或間接地表明使用能量損失引入上混合規(guī)則的上混合結(jié)果的能量與原始多聲道信號(hào)的能量的關(guān)系，或者所述能量誤差與絕對(duì)項(xiàng)中的能量或原始多聲道信號(hào)或能量誤差的關(guān)系。
4.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中上混合器包括計(jì)算器(1600)，該計(jì)算器用于根據(jù)所述至少兩個(gè)上混合參數(shù)以及與用于根據(jù)原始多聲道信號(hào)來生成所述至少一個(gè)基本聲道的下混合規(guī)則有關(guān)的信息來推導(dǎo)上混合矩陣。
5.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中上混合器進(jìn)行操作以處理左基本聲道和右基本聲道并輸出左輸出信號(hào)、右輸出信號(hào)和中間信號(hào)，其中所述左基本聲道和右基本聲道是所述多聲道信號(hào)的立體聲兼容表示。
6.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中上混合器(1104)進(jìn)行操作以利用縮放因子來單獨(dú)縮放(304)所述至少三個(gè)輸出聲道，其中針對(duì)輸出聲道的縮放因子(gz)取決于能量損失引入上混合規(guī)則的上混合結(jié)果的能量、使用能量損失引入上混合規(guī)則進(jìn)行上混合之后的輸出聲道的能量、以及與用于生成所述至少一個(gè)基本聲道的下混合(v)有關(guān)的信息。
7.根據(jù)權(quán)利要求6所述的多聲道合成器，其中如下來確定所述縮放因子gz=(1+vz21-ρ2ρ2E^||z^||)]]>其中vz是針對(duì)輸出聲道z的依賴于下混合的因子，其中ρ是能量測量值，其中 是由能量損失引入上混合規(guī)則生成的多聲道信號(hào)的能量，并且其中 表示能量損失引入上混合規(guī)則的待縮放輸出聲道的能量。
8.根據(jù)權(quán)利要求l至6的其中之一所述的多聲道合成器，其中上混合器(1104)還包括去相關(guān)器(501，502，503，50l’，503’)，其用于根據(jù)所述至少一個(gè)基本聲道或者根據(jù)能量損失引入上混合規(guī)則的至少一個(gè)輸出信號(hào)來生成去相關(guān)的信號(hào)，并且其中上混合器進(jìn)行操作以使用去相關(guān)的信號(hào)，使得輸出聲道中的去相關(guān)的信號(hào)的能量的量小于或等于可以通過能量測量值導(dǎo)出的能量誤差的量。
9.根據(jù)權(quán)利要求8所述的多聲道合成器，其中上混合器進(jìn)行操作以生成去相關(guān)信號(hào)，該去相關(guān)信號(hào)具有的能量等于經(jīng)縮小因子縮小的輸出聲道的能量，所述縮小因子取決于能量測量值，并且其中上混合器進(jìn)行操作，以將所述去相關(guān)的信號(hào)與能量損失引入上混合規(guī)則(109)的輸出信號(hào)相加。
10.根據(jù)權(quán)利要求8或9所述的多聲道合成器，其中去相關(guān)器進(jìn)行操作，以通過添加被聲道特定因子(v)加權(quán)并且被使用能量測量值(ρ)而加權(quán)的去相關(guān)信號(hào)來對(duì)所述至少三個(gè)輸出聲道單獨(dú)進(jìn)行去相關(guān)，并且所述去相關(guān)器進(jìn)行操作以將加權(quán)后的去相關(guān)的信號(hào)添加(602)到執(zhí)行能量損失引入上混合規(guī)則的上混合器(109)的輸出信號(hào)。
11.根據(jù)權(quán)利要求9或10所述的多聲道合成器，其中所述去相關(guān)器進(jìn)行操作以利用數(shù)字濾波器對(duì)輸入信號(hào)進(jìn)行濾波。
12.根據(jù)權(quán)利要求9所述的多聲道合成器，其中如下來導(dǎo)出所述縮小因子γ=1ρ2-1,]]>其中γ是縮小因子，其中ρ是能量測量值。
13.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中，為了部分或全部補(bǔ)償由于能量損失引入上混合規(guī)則而產(chǎn)生的能量損失，上混合器(1104)進(jìn)行操作，以將具有小于能量誤差并且大于0的能量的去相關(guān)的信號(hào)添加到由能量損失引入上混合規(guī)則生成的至少一個(gè)聲道。
14.根據(jù)權(quán)利要求13所述的多聲道合成器，其中，當(dāng)去相關(guān)的信號(hào)的能量小于能量誤差時(shí)，上混合器進(jìn)行操作以對(duì)所述至少一個(gè)基本聲道或由上混合規(guī)則生成的信號(hào)進(jìn)行放大，使得放大信號(hào)或利用放大的至少一個(gè)基本聲道生成的上混合信號(hào)與所添加的去相關(guān)的信號(hào)的組合能量等于或小于原始信號(hào)的能量。
15.根據(jù)權(quán)利要求14所述的多聲道合成器，其中所添加的去相關(guān)的信號(hào)的能量由去相關(guān)因子來確定，其中接近1的高去相關(guān)因子表明要添加較小水平的去相關(guān)的信號(hào)，而接近0的較小去相關(guān)因子表明要添加較高水平的去相關(guān)的信號(hào)，并且其中去相關(guān)的測量值是從輸入信號(hào)中提取的。
16.根據(jù)權(quán)利要求13或14所述的多聲道合成器，其中所述至少一個(gè)基本聲道是由下混合矩陣生成的被縮放的基本聲道，縮放因子取決于能量測量值，使得去相關(guān)信息(605)是還取決于誤差能量的唯一被發(fā)送的能量測量值。
17.根據(jù)權(quán)利要求14所述的多聲道合成器，其中包括在輸入信號(hào)中的能量測量值包括取決于能量誤差(ρ)的第一能量值，并包括取決于相關(guān)度(k)的第二能量值。
18.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中除了所述兩個(gè)不同的上混合參數(shù)之外，輸入信號(hào)還包括與作為所述至少一個(gè)基本聲道的基礎(chǔ)的下混合有關(guān)的信息，其中上混合器進(jìn)行操作以使用所述附加的下混合信息來生成上混合矩陣(802)。
19.根據(jù)權(quán)利要求18所述的多聲道合成器，其中立體聲預(yù)處理(901)計(jì)算的信息(γ)被包括在輸入信號(hào)中作為下混合信息。
20.根據(jù)在前權(quán)利要求的其中之一所述的多聲道合成器，其中輸入信號(hào)還包括上混合器模式指示(1005)，用于指示處于要執(zhí)行第一上混合規(guī)則的第一狀態(tài)中，以及指示處于要執(zhí)行不同的上混合規(guī)則的第二狀態(tài)中，并且其中上混合器(1104)進(jìn)行操作，以根據(jù)上混合模式指示(1005)，使用所述至少兩個(gè)不同的上混合參數(shù)(1108)來計(jì)算用于上混合規(guī)則的參數(shù)。
21.根據(jù)權(quán)利要求20所述的多聲道合成器，其中所述上混合器模式指示進(jìn)行操作，以采用基于子頻帶或基于幀的信號(hào)來表示上混合器模式。
22.根據(jù)權(quán)利要求20或21所述的多聲道合成器，其中所述第一上混合規(guī)則是預(yù)測上混合規(guī)則，并且其中第二上混合規(guī)則是具有依賴于能量的上混合參數(shù)的上混合規(guī)則。
23.根據(jù)權(quán)利要求21所述的多聲道合成器，其中如下來執(zhí)行第二上混合規(guī)則C=LL+α2C00RR+α2CCL+R+4α2CCL+R+4α2C,]]>其中L是左輸入聲道的能量值，其中C是中間輸入聲道的能量值，其中R是右輸入聲道的能量值，并且其中α是下混合確定的參數(shù)。
24.根據(jù)權(quán)利要求20至23的其中之一所述的多聲道合成器，其中第二上混合規(guī)則使得右下混合聲道不被添加到左上混合聲道，或者反之。
25.根據(jù)權(quán)利要求20至24所述的多聲道合成器，其中第一上混合規(guī)則是通過原始多聲道信號(hào)的波形與由第一上混合規(guī)則生成的信號(hào)的波形之間的波形匹配來確定的。
26.根據(jù)權(quán)利要求20至25的其中之一所述的多聲道合成器，其中第一或第二上混合規(guī)則如下來確定C=f1(c1,c2)f2(c1,c2)f2(c2,c1)f1(c2,c1)f3(c1,c2)f3(c1,c2),]]>其中函數(shù)f1，f2，f3表示被發(fā)送的兩個(gè)不同上混合參數(shù)c1，c2的函數(shù)，并且，其中如下來確定函數(shù)f1(c1,c2)=1-c12]]>f2(c1,c2)=0]]>f3(c1,c2)=c12α,]]>其中α是實(shí)值參數(shù)。
28.根據(jù)權(quán)利要求20至27的其中之一所述的多聲道合成器，還包括SBR單元1614，其用于使用包括在輸入信號(hào)中的所述至少一個(gè)基本聲道的一部分，來重建未包括在所發(fā)送的基本聲道中的所述至少一個(gè)基本聲道的頻帶，并且其中多聲道合成器進(jìn)行操作，以將第二上混合規(guī)則應(yīng)用于所述至少一個(gè)基本聲道的重建頻帶中，并將第一上混合規(guī)則應(yīng)用于包括在輸入信號(hào)中的基本聲道的頻帶中。
29.根據(jù)權(quán)利要求28所述的多聲道合成器，其中上混合器模式指示是包括在輸入信號(hào)中的SBR信號(hào)表示(1606)。
30.一種用于處理多聲道輸入信號(hào)的編碼器，該編碼器包括能量測量值計(jì)算器(1402)，其用于根據(jù)多聲道輸入信號(hào)或從多聲道輸入信號(hào)導(dǎo)出的至少一個(gè)基本聲道與通過能量損失引入上混合操作而產(chǎn)生的上混合信號(hào)之間的能量差，來計(jì)算能量測量值(ρ)；以及輸出接口(1408)，其用于輸出通過取決于能量測量值的縮放因子(403)進(jìn)行縮放(401、402)之后的所述至少一個(gè)基本聲道，或者用于輸出能量測量值。
31.根據(jù)權(quán)利要求30所述的編碼器，其中基于通過使用能量引入上混合規(guī)則對(duì)所述至少一個(gè)基本聲道進(jìn)行上混合而產(chǎn)生的上混合信號(hào)的能量與原始多聲道信號(hào)的能量的關(guān)系來確定能量測量值(ρ)，并且所述縮放因子是通過轉(zhuǎn)換能量測量值來確定的。
32.根據(jù)權(quán)利要求30或31所述的編碼器，還包括用于確定相關(guān)度(k)的相關(guān)度計(jì)算器，并且其中所述輸出接口進(jìn)行操作以輸出基于所述相關(guān)度的相關(guān)性測量值(k)。
33.根據(jù)權(quán)利要求30至32的其中之一所述的編碼器，還包括用于計(jì)算至少兩個(gè)不同上混合參數(shù)(1412)的上混合參數(shù)計(jì)算器(1407，1414，1406)，并且其中所述輸出接口進(jìn)行操作以輸出所述至少兩個(gè)不同上混合參數(shù)。
34.根據(jù)權(quán)利要求30至33的其中之一所述的編碼器，還包括用于計(jì)算所述至少一個(gè)基本聲道的下混合器設(shè)備(1410)，并且其中所述輸出接口(1408)進(jìn)行操作以輸出與下混合操作有關(guān)的信息。
35.根據(jù)權(quán)利要求34所述的編碼器，其中所述下混合器設(shè)備包括立體聲預(yù)處理器，并且其中所述輸出接口進(jìn)行操作以輸出與立體聲預(yù)處理器有關(guān)的信息。
36.根據(jù)權(quán)利要求33所述的編碼器，其中所述上混合器參數(shù)計(jì)算器進(jìn)行操作以執(zhí)行通過使用上混合聲道的波形來進(jìn)行參數(shù)優(yōu)化(1444)；根據(jù)最佳上混合參數(shù)來生成至少兩個(gè)要被發(fā)送到解碼器的上混合參數(shù)；以及根據(jù)利用最佳上混合參數(shù)對(duì)所述至少一個(gè)基本聲道進(jìn)行上混合而產(chǎn)生的信號(hào)來計(jì)算并輸出能量測量值。
37.根據(jù)權(quán)利要求30至36的其中之一所述的編碼器，還包括參數(shù)生成器(104，1001，1520，1522，1414，1416)，其用于根據(jù)在編碼器處可用的信息來生成在多個(gè)不同的參數(shù)表示之中的特定參數(shù)表示；其中所述輸出接口(1408)進(jìn)行操作以輸出所生成的參數(shù)表示以及隱含地或明確地表明所述多個(gè)不同參數(shù)表示之中的所述特定參數(shù)表示的信息。
38.根據(jù)權(quán)利要求37所述的編碼器，其中所述多個(gè)不同參數(shù)表示包括針對(duì)基于波形的預(yù)測上混合方案的第一參數(shù)表示，以及針對(duì)非基于波形的上混合規(guī)則的第二參數(shù)表示。
39.根據(jù)權(quán)利要求38所述的編碼器，其中非基于波形的上混合規(guī)則是能量保存上混合規(guī)則。
40.根據(jù)權(quán)利要求37至39的其中之一所述的編碼器，其中第一參數(shù)表示是如下參數(shù)表示，其參數(shù)是利用優(yōu)化過程來確定的，并且其中第二參數(shù)表示是通過計(jì)算(1502)原始聲道的能量并通過基于能量的組合來計(jì)算參數(shù)(1522)而確定的。
41.根據(jù)權(quán)利要求30至40的其中之一所述的編碼器，還包括譜帶復(fù)制模塊(1512，1514)，其用于針對(duì)原始輸入信號(hào)的至少一個(gè)頻帶生成譜帶復(fù)制側(cè)信息，該至少一個(gè)頻帶不包括在編碼器輸出的基本聲道中。
42.一種使用具有至少一個(gè)基本聲道(1102)的輸入信號(hào)來生成至少三個(gè)輸出聲道(1100)的方法，該基本聲道是根據(jù)原始多聲道信號(hào)(101，102，103)導(dǎo)出的，該方法包括根據(jù)能量損失引入上混合規(guī)則(201，1408)來上混合(1104)所述至少一個(gè)基本聲道，以使得獲得所述至少三個(gè)輸出聲道，其中，在上混合步驟中，響應(yīng)于能量測量值(1106)和至少兩個(gè)不同的上混合參數(shù)(1108)而生成所述至少三個(gè)輸出聲道，使得所述至少三個(gè)輸出聲道具有的能量比僅使用能量損失引入上混合規(guī)則代替能量誤差而獲得的信號(hào)的能量高，該能量誤差取決于能量損失引入上混合規(guī)則，并且其中用于控制上混合器的所述至少兩個(gè)不同上混合參數(shù)(1108)和能量測量值被包括在輸入信號(hào)中。
43.一種處理多聲道輸入信號(hào)的方法，該方法包括根據(jù)多聲道輸入信號(hào)或從多聲道輸入信號(hào)導(dǎo)出的至少一個(gè)基本聲道與通過能量損失引入上混合操作產(chǎn)生的上混合信號(hào)之間的能量差，來計(jì)算(1402)能量測量值(ρ)；輸出(1408)在通過取決于能量測量值的縮放因子(403)進(jìn)行縮放(401、402)之后的所述至少一個(gè)基本聲道，或者輸出能量測量值。
44.一種經(jīng)編碼的多聲道信息信號(hào)，該信號(hào)具有至少一個(gè)由如下能量測量值縮放的基本聲道，所述能量測量值取決于在多聲道輸入信號(hào)或從多聲道輸入信號(hào)導(dǎo)出的至少一個(gè)基本聲道與通過能量損失引入上混合操作產(chǎn)生的上混合信號(hào)之間的能量差，或者該信號(hào)具有該能量測量值，或者該信號(hào)用于輸出該能量測量值。
45.一種機(jī)器可讀介質(zhì)，該介質(zhì)具有存儲(chǔ)在其上的根據(jù)權(quán)利要求44的經(jīng)編碼的多聲道信息信號(hào)。
46.一種發(fā)射機(jī)或音頻錄音機(jī)，其具有根據(jù)權(quán)利要求30至41的任一項(xiàng)所述的編碼器。
47.一種接收機(jī)或音頻播放器，其具有根據(jù)權(quán)利要求1至29的任一項(xiàng)所述的解碼器。
48.一種發(fā)送系統(tǒng)，其具有根據(jù)權(quán)利要求46的發(fā)射機(jī)和根據(jù)權(quán)利要求47的接收機(jī)。
49.一種發(fā)送或音頻記錄的方法，該方法具有根據(jù)權(quán)利要求43的處理方法。
50.一種接收或音頻播放的方法，該方法包括根據(jù)權(quán)利要求42的生成方法。
51.一種根據(jù)權(quán)利要求50進(jìn)行接收，并根據(jù)權(quán)利要求49進(jìn)行發(fā)送的方法。
52.一種計(jì)算機(jī)程序，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，用于執(zhí)行根據(jù)權(quán)利要求42、43、49、50或51的任一種方法的方法。
全文摘要
對(duì)于基于至少一個(gè)基本聲道的音頻信號(hào)的多聲道重構(gòu)，能量測量值被用于補(bǔ)償由于預(yù)測上混合而導(dǎo)致的能量損失。能量測量值可應(yīng)用在編碼器或解碼器中。此外，將去相關(guān)的信號(hào)添加到由能量損失引入上混合過程生成的輸出聲道。去相關(guān)的信號(hào)的能量小于或等于由預(yù)測上混合引入的能量誤差。因此，解決了針對(duì)基于預(yù)測的上混合方法(諸如利用高頻重構(gòu)技術(shù)進(jìn)行編碼的上混合信號(hào))而出現(xiàn)的問題，使得獲得上混合聲道之間的正確相關(guān)，或者上混合適于任何下混合。
文檔編號(hào)G10L19/04GK1998046SQ200580017543
公開日2007年7月11日 申請(qǐng)日期2005年10月28日 優(yōu)先權(quán)日2004年11月2日
發(fā)明者拉斯·維勒莫斯, 克里斯托弗·科林, ?？啤て斩鞴? 喬納斯·羅丹, 杰羅恩·布瑞巴特, 格拉德·豪索 申請(qǐng)人:編碼技術(shù)股份公司, 皇家飛利浦電子有限公司