各幀采用改進(jìn)的離散余弦變換(MDCT)編碼 (但是本申請(qǐng)不限于此并且可以采用其他編碼方案),k是頻點(diǎn)數(shù)量并且K是系數(shù)的數(shù)量。g的值范圍可以是(〇. 5, 1],并且當(dāng)g= 1時(shí),等同于在沒(méi)有衰減因子的情況下的簡(jiǎn)單復(fù)制。
[0070] 在一個(gè)變型中,如果有多個(gè)連續(xù)的丟失幀,則可以通過(guò)復(fù)制相鄰的歷史幀和未來(lái) 幀來(lái)恢復(fù)它們。假設(shè)第一個(gè)丟失幀是幀P并且最后一個(gè)丟失幀是幀q,則對(duì)于前一部分的丟 失幀:
[0071]
(V)
[0072] 其中,a= 0, 1,"·Α-1,Α是前一部分丟失幀的數(shù)量。并且對(duì)于后半部分的丟失幀:
[0073]
\-/
[0074] 其中,b= 0, 1,…B-l,Β是后半部分的丟失幀的數(shù)量。Α可以與Β相同也可以不 同。在上面兩個(gè)公式中,對(duì)于所有的丟失幀衰減因子g取相同的值,但是衰減因子還可以針 對(duì)不同的丟失幀取不同的值。
[0075] 除了通道掩蔽,空間掩蔽同樣重要。在圖4所示的示例中,空間參數(shù)可以由d、C(^ 和Θ組成??臻g參數(shù)的穩(wěn)定性在保持感知持續(xù)性方面是至關(guān)重要的。所以第二掩蔽單元 600 (圖3)可以被配置成直接對(duì)空間參數(shù)進(jìn)行平滑。該平滑可以使用任何平滑方法來(lái)實(shí)施, 比如通過(guò)計(jì)算歷史平均值:
[0076]
[0077] 其中,(1p是當(dāng)前幀即第p幀的空間參數(shù)d的恢復(fù)值(平滑值),dp是當(dāng)前幀的空 間參數(shù)d的值。是上一幀(第p-1幀)的空間參數(shù)d的恢復(fù)值(平滑值)。對(duì)于丟 失幀,dp=0, ^^可以用作恢復(fù)幀的對(duì)應(yīng)空間參數(shù)值。α是加權(quán)因子,具有范圍(0.8, 1], 或基于其它物理屬性比如幀Ρ的發(fā)散度來(lái)自適應(yīng)地產(chǎn)生。對(duì)于f或Θ,情形是類(lèi)似的。
[0078] 平滑操作的其他示例可以包括通過(guò)使用可以僅覆蓋歷史幀或覆蓋歷史幀和未來(lái) 幀兩者的移動(dòng)窗來(lái)計(jì)算移動(dòng)平均。換言之,空間參數(shù)的值可以通過(guò)基于相鄰幀的內(nèi)插算法 獲得。在這樣的情形中,可以使用同一內(nèi)插操作同時(shí)恢復(fù)多個(gè)相鄰的丟失幀。
[0079] 在空間參數(shù)的穩(wěn)定性相對(duì)較高的一些情形中,例如,當(dāng)前幀ρ的dp已經(jīng)被檢測(cè)到 具有大的值,在PLC的背景下空間參數(shù)的簡(jiǎn)單復(fù)制也可以是一種經(jīng)濟(jì)而有效的方法:
[0080]
[0081] 其中,是丟失的第ρ幀的空間參數(shù)d的恢復(fù)值,dpi是上一幀即第ρ-I幀的空 間參數(shù)d的值。對(duì)于φ或Θ,情形是類(lèi)似的。
[0082] 將多通道信號(hào)分解為單聲道分量和空間分量提供了額外的傳輸靈活性,這可以進(jìn) 一步提高針對(duì)包丟失的恢復(fù)力。在一種實(shí)施方式中,與單聲道信號(hào)分量相比通常消耗較少 帶寬的空間參數(shù)可以作為冗余數(shù)據(jù)發(fā)送。例如,包Ρ的空間參數(shù)可以附加到包Ρ-1或Ρ+1, 以使得當(dāng)包Ρ丟失時(shí),其空間參數(shù)可以從相鄰的包中提取。在又一種實(shí)施方式中,空間參數(shù) 不作為冗余數(shù)據(jù)發(fā)送,而是僅在與單聲道信號(hào)分量不同的包中發(fā)送。例如,通過(guò)第Ρ-1個(gè)包 來(lái)傳輸?shù)讦眰€(gè)包的空間參數(shù)。通過(guò)這樣做,如果包Ρ丟失,則可以從沒(méi)有丟失的包Ρ-1中恢 復(fù)包Ρ的空間參數(shù)。缺點(diǎn)是包Ρ+1的空間參數(shù)也丟失了。
[0083] 在上述實(shí)施方式及示例中,由于特征通道分量不包含任何空間信息,所以會(huì)減小 由不適當(dāng)?shù)难诒我鸬目臻g失真的風(fēng)險(xiǎn)。
[0084]用于單聲道分量的PLC
[0085] 在圖4中,示出了離散編碼比特流中的編碼域PLC的示例,其中所有的特征通道分 量Ε1、Ε2和Ε3以及所有的空間參數(shù)即d、q>和Θ需要被傳輸,或者在必要時(shí)為PLC的目的 而被恢復(fù)。
[0086] 僅在有足夠的帶寬用于對(duì)E1、E2和E3編碼時(shí)考慮離散編碼域掩蔽。否則,可以通 過(guò)預(yù)測(cè)編碼方案來(lái)對(duì)幀進(jìn)行編碼。在預(yù)測(cè)編碼中,實(shí)際上僅傳輸一個(gè)特征通道分量,也就是 主要特征通道分量E1。在解碼側(cè),將使用預(yù)測(cè)參數(shù)比如針對(duì)E2的a2、b2和針對(duì)E3的a3 和b3來(lái)預(yù)測(cè)其他特征通道分量比如E2和E3 (對(duì)于預(yù)測(cè)編碼的細(xì)節(jié),請(qǐng)參考本文中的"音頻 信號(hào)的正自適應(yīng)變換和逆自適應(yīng)變換"部分)。如圖6所示,在該情形中,提供(傳輸,或?yàn)?PLC的目的而恢復(fù))了針對(duì)E2和針對(duì)E3的不同類(lèi)型的去相關(guān)器。因此,只要成功地傳輸 或(使用PLC)恢復(fù)了E1,就可以通過(guò)去相關(guān)器組合來(lái)直接預(yù)測(cè)/構(gòu)建其他兩個(gè)通道E2和 E3。該預(yù)測(cè)PLC的過(guò)程可以節(jié)省將近三分之二的計(jì)算負(fù)荷,僅增加了預(yù)測(cè)參數(shù)的計(jì)算。此 外,由于不必傳輸E2和E3,所以可以提高比特率效率。圖6的其他部分與圖4中的相似。 [0087]因此,在丟包掩蔽裝置的實(shí)施方式的以如圖5所示的第一掩蔽單元400為特征的 變型中,當(dāng)每個(gè)音頻幀還包括要用于基于該幀中的至少一個(gè)單聲道分量來(lái)預(yù)測(cè)該幀的至少 一個(gè)其他單聲道分量的至少一個(gè)預(yù)測(cè)參數(shù)時(shí),第一掩蔽單元400可以包括用于分別對(duì)單聲 道分量和預(yù)測(cè)參數(shù)執(zhí)行PLC的兩個(gè)子掩蔽單元,S卩,用于針對(duì)所述丟失幀生成至少一個(gè)單 聲道分量的主掩蔽單元408,和用于針對(duì)所述丟失幀生成至少一個(gè)預(yù)測(cè)參數(shù)的第三掩蔽單 元 414。
[0088] 主掩蔽單元408可以按照與本文前面所討論的第一掩蔽單元400相同的方式來(lái)工 作。換言之,可以將主掩蔽單元408認(rèn)為是用于針對(duì)所述丟失幀生成任何單聲道分量的第 一掩蔽單元400的核心部分,而在這里其被配置成僅生成主要單聲道分量。
[0089] 第三掩蔽單元414可以按照與第一掩蔽單元400或第二掩蔽單元600類(lèi)似的方式 來(lái)工作。即,第三掩蔽單元被配置成通過(guò)在有或沒(méi)有衰減因子的情況下復(fù)制上一個(gè)幀中對(duì) 應(yīng)的預(yù)測(cè)參數(shù)或是通過(guò)對(duì)相鄰幀的對(duì)應(yīng)預(yù)測(cè)參數(shù)的值進(jìn)行平滑,來(lái)針對(duì)所述丟失幀生成至 少一個(gè)預(yù)測(cè)參數(shù)。假設(shè)幀i+1,i+2,…,j_l已經(jīng)丟失,可以通過(guò)下面這種方式來(lái)對(duì)幀k中的 缺失預(yù)測(cè)參數(shù)進(jìn)行平滑:
[0090] ak= [(j-k)ai+(k-i)aj]/(j-i);
[0091] bk= [(i-k)bi+(k-i)bj]/(j-i) ; (4)
[0092] 其中a和b是預(yù)測(cè)參數(shù)。
[0093] 如果是在服務(wù)器中并且如果僅有一個(gè)音頻流,則不需要在服務(wù)器中進(jìn)行混合操 作,從而不需要在服務(wù)器中執(zhí)行預(yù)測(cè)解碼,則所生成的單聲道分量和所生成的預(yù)測(cè)參數(shù)可 以直接進(jìn)行打包并且轉(zhuǎn)發(fā)至目的通信終端,其中預(yù)測(cè)解碼將在解包之后而在例如圖6中的 逆KLT之前進(jìn)行。
[0094] 如果是在目的通信終端中,或者在服務(wù)器中需要進(jìn)行多個(gè)音頻流的混合操作時(shí), 預(yù)測(cè)解碼器410(圖5)可以基于由主掩蔽單元408生成的單聲道分量和由第三掩蔽單元 414生成的預(yù)測(cè)參數(shù)來(lái)預(yù)測(cè)其他單聲道分量。實(shí)際上,預(yù)測(cè)解碼器410還可以作用于正常傳 輸?shù)模ㄎ磥G失)幀的正常傳輸?shù)膯温暤婪至亢皖A(yù)測(cè)參數(shù)。
[0095] 一般地,預(yù)測(cè)解碼器410可以基于同一幀中的主要單聲道分量及其去相關(guān)版本使 用預(yù)測(cè)參數(shù)來(lái)預(yù)測(cè)另一個(gè)單聲道分量。具體地,對(duì)于丟失幀,預(yù)測(cè)解碼器可以基于所生成的 一個(gè)單聲道分量及其去相關(guān)版本,使用所生成的至少一個(gè)預(yù)測(cè)參數(shù),來(lái)預(yù)測(cè)丟失幀的至少 一個(gè)其他單聲道分量。該操作可以表達(dá)如下:
[0096]
[0097] 其中,Ε?11(ρ,k)是作為第P個(gè)幀的丟失幀的預(yù)測(cè)單聲道分量,k是頻點(diǎn)數(shù)量,m可 以是2或3,這里假設(shè)有3個(gè)特征通道分量但本申請(qǐng)不限于此。Γ?(ρ, 是由主掩蔽單元 408生成的主要單聲道分量。k))足?Γ?k)的去相關(guān)版本,并且可以對(duì)于不 同的m不同。1???和是對(duì)應(yīng)的單聲道分量的預(yù)測(cè)參數(shù)。注意,公式(5) 在當(dāng)m= 2和m= 3時(shí)分別對(duì)應(yīng)于公式(17)和公式(18),但是公式(17)、(18)是在編碼 器側(cè)的,而公式(5)是在解碼器側(cè),所以在公式(5)中使用了符號(hào)~。
[0098] 此處,如果在生成預(yù)測(cè)參數(shù)時(shí)不使用衰減因子,則可以在公式(5)中使用它,尤其 是針對(duì)的去相關(guān)版本,并且尤其當(dāng)所恢復(fù)的主要單聲道分量已經(jīng)附加了衰減 因子時(shí)。
[0099] 可以使用現(xiàn)有技術(shù)中的各種方法來(lái)計(jì)算的去相關(guān)版本。一種方式是 將歷史幀中與針對(duì)丟失幀所生成的一個(gè)單聲道分量對(duì)應(yīng)的單聲道分量作為所生成的一個(gè) 單聲道分量的去相關(guān)版本,而不管歷史幀中的單聲道分量是正常傳輸?shù)倪€是由主掩蔽單元 408生成的。即:
[0100]
[0103] 其中El(p_m+l,k)是作為第p-m+1幀的歷史幀中正常傳輸?shù)闹饕獑温暤婪至俊6???-Π1 + 是針對(duì)該歷史幀恢復(fù)(生成)的單聲道分量。注意,此處使用了基于 該單聲道分量的序號(hào)確定的歷史幀,意味著對(duì)于重要性較低的單聲道分量如特征通道分量 的(特征通道分量是基于它們的重要性來(lái)排序的),會(huì)使用較早的幀。但是本申請(qǐng)不限于 此。
[0104] 注意,預(yù)測(cè)解碼器410的操作是E2和E3的預(yù)測(cè)編碼的逆處理。對(duì)于有關(guān)預(yù)測(cè)解 碼器410的操作的更多細(xì)節(jié),請(qǐng)參見(jiàn)本公開(kāi)的"音頻信號(hào)的正自適應(yīng)變換和逆自適應(yīng)變換" 部分,但是本申請(qǐng)不限于此。
[0105] 如之前在公式(1)中所提到的,對(duì)于丟失幀,可以通過(guò)簡(jiǎn)單地復(fù)制上一幀中的主 要單聲道分量來(lái)生成主要單聲道分量,即:
[0106] (1,)
[0107] 注意,出于簡(jiǎn)化以下討論的目的,公式(Γ)是當(dāng)m= 1并且假設(shè)上一幀的主要單 聲道分量也是被生成的而不是正常傳輸?shù)那闆r下的公式(1)。
[0108] 組合公式(Γ)和公式(5')的解決方案一定程度上能夠起作用但是具有一些缺 點(diǎn)。根據(jù)公式(Γ)和公式(5')可以推出:
[0109]
[0116] 其中函數(shù)CorrefO表示相關(guān)性的計(jì)算,并且在公式(8)中已經(jīng)省略了頻點(diǎn)數(shù)量k。
[0117] 如公式(7)所示,ElH(p)由Μ(p)線性地加權(quán),這意味著所計(jì)算的E2和E3與 Ε1完全相關(guān),而不是去相關(guān)。為了避免該重新形成的相關(guān),應(yīng)該避免復(fù)制或拷貝。在本申請(qǐng) 中,為此提供了一種時(shí)域PLC,如圖7的實(shí)施方式和圖8所示的示例所示。
[0118] 如圖7所示,第一掩蔽單元400可以包括:第一變換器402,用于將丟失幀之前的 至少一個(gè)歷史幀中的至少一個(gè)單聲道分量變換成時(shí)域信號(hào);時(shí)域掩蔽單元404,用于針對(duì) 時(shí)域信號(hào)掩蔽包丟失,從而產(chǎn)生丟包被掩蔽的時(shí)域信號(hào);以及第一逆變換器406,用于將丟 包被掩蔽的時(shí)域信號(hào)變換成至少一個(gè)單聲道分量的格式,從而產(chǎn)生與丟失幀中的至少一個(gè) 單聲道分量對(duì)應(yīng)的所生成的單聲道分量。
[0119] 時(shí)域掩蔽單元404可以使用許多現(xiàn)有技術(shù)來(lái)實(shí)現(xiàn),包括對(duì)歷史或未來(lái)幀中的時(shí)域 信號(hào)進(jìn)行簡(jiǎn)單的復(fù)制,此處省略這些技術(shù)。
[0120] 前面所討論的傳輸格式一般是在頻域中的。即,一般在頻域中對(duì)進(jìn)行 編碼。傳輸格式的音頻幀比如特征通道分量的編碼機(jī)制的一個(gè)示例是MDCT,其是一種重疊 變換,但是本申請(qǐng)不限于重疊變換,而是也能適合于非重疊變換。
[0121] 圖8使用MDCT變換的一個(gè)示例示出了由圖7中的第一掩蔽單元400實(shí)現(xiàn)的時(shí) 域PLC的原理。如圖8所示,假設(shè)包El(p)在傳輸中已經(jīng)丟失,首先可以使用第一變換器 402 (圖7)來(lái)執(zhí)行M)CT以將El(p)、E1 (p-1)和El(p-2)變換到時(shí)域緩沖區(qū)(因?yàn)镋l(p) 丟失,所以爸:#為空)、。然后,第一變換器可以使用緩沖區(qū)^5-^的后半部 和緩沖區(qū)的前半部來(lái)獲得最終的時(shí)域信號(hào)類(lèi)似地,可以獲得最終的時(shí)域信 號(hào)§1但是,由于El(p)丟失從而為空,本應(yīng)是混疊的時(shí)域信號(hào)的僅包含 后半部。完全合成耑要由如上述的時(shí)域掩蔽單元404執(zhí)行時(shí)域中的PLC。即,可以對(duì) 基于上述時(shí)域信號(hào)行時(shí)域PLC。為了簡(jiǎn)便和清楚起見(jiàn),仍然使用符號(hào)gg來(lái)代 表丟包被掩蔽的時(shí)域信號(hào)。然后,將由第一逆變換器406對(duì)":?和執(zhí)行MDCT以獲得 新生成的特征通道分量δ!
[0122] 如果El(ρ+l)也已經(jīng)丟失,則可以使用下一個(gè)丟包被掩蔽的時(shí)域緩沖區(qū)0^+1和 通過(guò)類(lèi)似的處理來(lái)生屆
[0123] 在上面的示例中,對(duì)于丟失幀的掩蔽,由于編碼方案是重疊變換(MDCT),所以需要 兩個(gè)在前幀。如果涉及非重疊變換,則時(shí)域幀和頻域幀將是一一對(duì)應(yīng)關(guān)系。則對(duì)于丟失幀 的掩蔽,一個(gè)在前幀就足夠了。
[0124] 對(duì)于Ε2和Ε3,可以執(zhí)行類(lèi)似的PLC操作,但是在本申請(qǐng)中還提供了一些其他解決 方案,如將在后續(xù)部分中所討論的。
[0125] 上面所討論的PLC算法的計(jì)算負(fù)荷相對(duì)較高。因此,在一些情況下,可以采取措施 來(lái)降低計(jì)算負(fù)荷。一種措施是基于Ε1來(lái)預(yù)測(cè)Ε2和Ε3,如隨后將討論的,另一種措施是將時(shí) 域PLC與其他較簡(jiǎn)單的方式混合。
[0126] 例如,如果已經(jīng)丟失了多個(gè)連續(xù)的幀,則可以用時(shí)域PLC來(lái)掩蔽一些丟失幀,通常 是丟失幀的前半部分,而可以使用較簡(jiǎn)單的方式比如在傳輸格式的頻域中進(jìn)行復(fù)制來(lái)掩蔽 其他丟失幀。因此,第一掩蔽單元400可以被配置成在有或沒(méi)有衰減因子的情況下通過(guò)復(fù) 制相鄰未來(lái)幀中的對(duì)應(yīng)的單聲道分量來(lái)生成至少一個(gè)較晚丟失幀的至少一個(gè)單聲道分量。
[0127] 在以上描述中,討論了重要性較低的特征通道分量的預(yù)測(cè)編碼/解碼和可以用于 任何一個(gè)特征通道分量的時(shí)域PLC兩者。盡管時(shí)域PLC的提出時(shí)為了避免針對(duì)采用預(yù)測(cè)編 碼(比如預(yù)測(cè)KLT編碼)的音頻信號(hào)采用基于復(fù)制的PLC導(dǎo)致重新相關(guān),其也可以應(yīng)用于 其他場(chǎng)景中。例如,即使對(duì)于采用非預(yù)測(cè)(離散)編碼的音頻信號(hào),也可以使用時(shí)域PLC。
[0128] 用于單聲道分量的預(yù)測(cè)PLC
[0129] 在圖9A、圖9B和圖10所示的實(shí)施方式中,采用離散編碼,從而每個(gè)音頻幀包括至 少兩個(gè)單聲道分量比如El、E2和E3(圖10)。類(lèi)似于圖4,對(duì)于由包丟失引起的丟失幀,所 有的特征通道分量已經(jīng)丟失并且需要進(jìn)行PLC處理。如在圖10的示例中所示,可以使用普 通的掩蔽方案比如復(fù)制或前面討論的其他方案包括時(shí)域PLC來(lái)生成/恢復(fù)主要單聲道分量 比如主要特征通道分量E1,而可以基于(如在圖10中使用虛線箭頭示出的)主要單聲道 分量使用與如在前一部分中討論的預(yù)測(cè)解碼類(lèi)似并且因此稱為"預(yù)測(cè)PLC"的方法來(lái)生成/ 恢復(fù)其他單聲道分量,比如重要性較低的特征通道分量E2和E3。圖10中的其他部分與圖 4中的類(lèi)似,因此在此處省略其詳細(xì)描述。
[0130] 具體地,公式(5)、(5')和(5")的下述變形可以用于在附加或不附加衰減因子g 的情況下預(yù)測(cè)重要性較低的單聲道分量:
[0131]
[0132] 是作為第P幀的丟失幀的預(yù)測(cè)單聲道分量,k是頻點(diǎn)數(shù)量,在 假設(shè)有3個(gè)特征通道分量的情況下m可以是2或3,但是本申請(qǐng)不限于此。k)是 由主掩蔽單元408生成的主要單聲道分量。1〇)是£1@,k)的去相關(guān)版 本。和是對(duì)應(yīng)的單聲道分量的預(yù)測(cè)參數(shù)。g的值范圍可以是 (0. 5, 1],當(dāng)g= 1時(shí),等同于不使用衰減因子。
[0133] 可以按照現(xiàn)有技術(shù)中的各種方式來(lái)計(jì)算??(ρ,k)的去相關(guān)版本。一種方式是將 歷史幀中與針對(duì)丟失幀所生成的一個(gè)單聲道分量對(duì)應(yīng)的單聲道分量作為所生成的一個(gè)單 聲道分量的去相關(guān)版本,而不論歷史幀中的單聲道分量是正常傳輸?shù)倪€是由主掩蔽單元 408生成的。即:
[0134]
[0137] 其中El(p_m+l,k)是作為第p-m+1幀的歷史幀中正常傳輸?shù)闹饕獑温暤婪至?。?£l(p-m+ 1、,1〇是針對(duì)該(曾被丟失的)歷史幀恢復(fù)(生成)的單聲道分量。注 意,此處使用了基于該單聲道分量的序號(hào)確定的歷史幀,意味著對(duì)于重要性較低的單聲道 分量如特征通道分量(特征通道分量是基于它們的重要性來(lái)排序的),會(huì)使用較早的幀。但 是本申請(qǐng)不限于此。
[0138] 非預(yù)測(cè)/離散編碼的一個(gè)問(wèn)題是即使對(duì)于正常傳輸?shù)南噜弾矝](méi)有預(yù)測(cè)參數(shù)。因 此,需要通過(guò)其他方式來(lái)獲得預(yù)測(cè)參數(shù)。在本申請(qǐng)中,可以基于歷史幀(一般是上一幀)的 單聲道分量來(lái)計(jì)算上述預(yù)測(cè)參數(shù),而無(wú)論歷史幀或上一幀是否是正常傳輸?shù)幕蚴峭ㄟ^(guò)PLC 恢復(fù)的。
[0139] 因此,根據(jù)該實(shí)施方式,如圖9所示,第一掩蔽單元400可以包括用于針對(duì)所述丟 失幀生成至少兩個(gè)單聲道分量之一的主掩蔽單元408、使用歷史幀計(jì)算丟失幀的至少一個(gè) 預(yù)測(cè)參數(shù)的預(yù)測(cè)參數(shù)計(jì)算器412以及預(yù)測(cè)解碼器410,其基于所生成的一個(gè)單聲道分量使 用所生成的至少一個(gè)預(yù)測(cè)參數(shù)來(lái)預(yù)測(cè)丟失幀的至少兩個(gè)單聲道分量中的至少一個(gè)其他單 聲道分量。
[0140] 主掩蔽單元408和預(yù)測(cè)解碼器410與圖5中的類(lèi)似,此處省略其詳細(xì)描述。
[0141] 可以使用任何技術(shù)來(lái)實(shí)現(xiàn)預(yù)測(cè)參數(shù)計(jì)算器412,而在本實(shí)施方式的一種變型中,提 出通過(guò)使用丟失幀的上一幀來(lái)計(jì)算預(yù)測(cè)參數(shù)。以下公式給出了特定的示例,但是該示例不 對(duì)本申請(qǐng)構(gòu)成限制:
[0142]
[0144] 其中,符號(hào)具有與之前相同的意義,normO表示RMS(均方根)運(yùn)算并且上標(biāo)T表 示矩陣轉(zhuǎn)置。注意,公式(9)對(duì)應(yīng)于"音頻信號(hào)的正自適應(yīng)變換和逆自適應(yīng)變換"部分中的 公式(19)和(20),并且公式(10)對(duì)應(yīng)于同一部分中的公式(21)和(22)。不同之處在于 公式(19)至公式(22)用在編碼側(cè),從而預(yù)測(cè)參數(shù)是基于同一幀的特征通道分量計(jì)算的,而 公式(9)和(10)用在預(yù)測(cè)PLC的解碼側(cè),尤其是用于根據(jù)所生成/恢復(fù)的主要特征通道分 量來(lái)"預(yù)測(cè)"重要性較低的特征通道分量,因此根據(jù)前一幀(不管是正常傳輸?shù)倪€是在PLC 期間被生成/恢復(fù)的)的特征通道分量來(lái)計(jì)算預(yù)測(cè)參數(shù),因而使用符號(hào)了·'。無(wú)論如何,公 式(9)和(10)以及公式(19)至公式(22)的基本原理都是類(lèi)似的,對(duì)其細(xì)節(jié)及其更多的變 型,包括下面將要提到的"ducker"型能量調(diào)整,請(qǐng)參考"音頻信號(hào)的正自適應(yīng)變換和逆自適 應(yīng)變換"部分?;谂c上面針對(duì)公式間的不同之處描述的規(guī)則相同的規(guī)則,在"音頻信號(hào)的 正自適應(yīng)變換和逆自適應(yīng)變換"部分中描述的其他解決方案或公式可以應(yīng)用于本部分所描 述的預(yù)測(cè)PLC中。簡(jiǎn)單來(lái)講,該規(guī)則是:生成在前幀(比如上一幀)的預(yù)測(cè)參數(shù),并且使用 它們作為針對(duì)丟失幀預(yù)測(cè)重要性較低的單聲道分量(特征通道分量)的預(yù)測(cè)參數(shù)。
[0145] 換言之,可以按照與隨后要描述的參數(shù)化編碼單元104類(lèi)似的方式來(lái)實(shí)施預(yù)測(cè)參 數(shù)計(jì)算器412。
[0146] 為了避免所估計(jì)的參數(shù)的突然波動(dòng),可以使用任何技術(shù)來(lái)對(duì)上面所估計(jì)的預(yù)測(cè) 參數(shù)進(jìn)行平滑。在特定的示例中,可以進(jìn)行"ducker"型能量調(diào)整,其在下面的公式中由duck〇來(lái)表示,以避免掩蔽信號(hào)的水平快速地變化,尤其是在語(yǔ)音與靜默、或話音與音樂(lè)之 間的過(guò)渡區(qū)域中。
[0147]
[0148] 其中1.0 <λ< 2.0,me{2, 3}。類(lèi)似于公式(9)和(10),公式(11)對(duì)應(yīng)于公 式(32)和公式(33)。
[0149] 還可以使用較簡(jiǎn)單的版本(對(duì)應(yīng)于公式(36)和(37))來(lái)代替公式(11):
[0150]
[0151] 在上面討論的實(shí)施方式中,對(duì)于每個(gè)丟失幀,可以通過(guò)要由預(yù)測(cè)解碼器410使用 的預(yù)測(cè)參數(shù)計(jì)算器412來(lái)計(jì)算預(yù)測(cè)參數(shù),而不管用于計(jì)算預(yù)測(cè)參數(shù)計(jì)算器412的基礎(chǔ),即所 使用的歷史幀,是正常傳輸?shù)倪€是丟失后再恢復(fù)(生成)的。
[0152] 上面給出了關(guān)于預(yù)測(cè)參數(shù)的計(jì)算的簡(jiǎn)要描述,但是本申請(qǐng)不限于此。實(shí)際上,參考 在"音頻信號(hào)的正自適應(yīng)變換和逆自適應(yīng)變換"部分中討論的那些算法可以想到更多的變 型。
[0153] 在一種變型中,如圖9A中所示,可以進(jìn)一步包括與前一部分所討論的類(lèi)似并且用 于在預(yù)測(cè)編碼方案中掩蔽丟失預(yù)測(cè)參數(shù)的第三掩蔽單元414。然后,如果已經(jīng)針對(duì)丟失幀 之前的上一幀計(jì)算了至少一個(gè)預(yù)測(cè)參數(shù),則第三掩蔽單元414可以基于上一幀的至少一個(gè) 預(yù)測(cè)參數(shù)來(lái)針對(duì)所述丟失幀生成至少一個(gè)預(yù)測(cè)參數(shù)。注意,圖9A所示的解決方案還可以用 于預(yù)測(cè)編碼方案。即,圖9A中的解決方案通??赏ㄓ糜陬A(yù)測(cè)編碼方案和非預(yù)測(cè)編碼方案兩 者。對(duì)于預(yù)測(cè)編碼方案(從而在正常傳輸?shù)臍v史幀中存在預(yù)測(cè)參數(shù)),第三掩蔽單元414工 作;對(duì)于非預(yù)測(cè)編碼方案中的第一丟失幀(沒(méi)有具有預(yù)測(cè)參數(shù)的相鄰歷史幀),預(yù)測(cè)參數(shù)計(jì) 算器412工作;而對(duì)于非預(yù)測(cè)編碼方案中在第一丟失幀之后的丟失幀,預(yù)測(cè)參數(shù)412或第三 掩蔽單元414可以工作。
[0154] 因此,在圖9A中,預(yù)測(cè)參數(shù)計(jì)算器412可以被配置成當(dāng)丟失幀的上一幀不包含預(yù) 測(cè)參數(shù)或沒(méi)有針對(duì)丟失幀的上一幀生成/計(jì)算預(yù)測(cè)參數(shù)時(shí),使用前一幀計(jì)算針對(duì)丟失幀計(jì) 算至少一個(gè)預(yù)測(cè)參數(shù),并且預(yù)測(cè)解碼器410可以被配置成使用所生成或計(jì)算的至少一個(gè)預(yù) 測(cè)參數(shù)基于所生成的一個(gè)單聲道分量來(lái)針對(duì)丟失幀預(yù)測(cè)至少兩個(gè)單聲道分量中的至少一 個(gè)其他單聲道分量。
[0155] 如前面所討論的,第三掩蔽單元414可以被配置成通過(guò)以下方式來(lái)針對(duì)所述丟失 幀生成至少一個(gè)預(yù)測(cè)參數(shù):在有或沒(méi)有衰減因子的情況下復(fù)制上一幀中對(duì)應(yīng)的預(yù)測(cè)參數(shù), 平滑相鄰幀的對(duì)應(yīng)預(yù)測(cè)參數(shù)的值,或使用歷史幀和未來(lái)幀中的對(duì)應(yīng)預(yù)測(cè)參數(shù)的值進(jìn)行內(nèi) 插。
[0156] 在圖9B所示的另外的變型中,可以對(duì)在該部分討論的預(yù)測(cè)PLC和非預(yù)測(cè)PLC(如 在"整體解決方案"部分中討論的那些,包括參考圖7討論的簡(jiǎn)單復(fù)制或PLC方案等)進(jìn)行 組合。即,對(duì)于重要性較低的單聲道分量,可以進(jìn)行非預(yù)測(cè)PLC和預(yù)測(cè)PLC兩者,組合所獲 得的結(jié)果以獲取最終生成的單聲道分量,比如這兩個(gè)結(jié)果的加權(quán)平均??梢詫⒃撎幚碚J(rèn)為 是使用一個(gè)結(jié)果調(diào)整另一個(gè)結(jié)果,加權(quán)因子可以決定哪一個(gè)占主導(dǎo),并且可以根據(jù)特定的 情形來(lái)設(shè)置。
[0157] 因此,如圖9B所示,在第一掩蔽單元400中,主掩蔽單元408還可以被配置成生成 至少一個(gè)其他單聲道分量,并且第一掩蔽單元4〇〇還包括調(diào)整單元416,使用由主掩蔽單元 408所生成的至少一個(gè)其他單聲道分量來(lái)對(duì)預(yù)測(cè)解碼器410預(yù)測(cè)的至少一個(gè)其他單聲道分 量進(jìn)行調(diào)整。
[0158] 用于苧間分量的PLC
[0159] 在"整體解決方案"部分中,已經(jīng)討論了空間分量如空間參數(shù)d、q)和Θ的PLC。空 間參數(shù)的穩(wěn)定性對(duì)于保持感知連續(xù)性是至關(guān)重要的。在"整體解決方案"部分這是通過(guò)對(duì) 參數(shù)直接進(jìn)行平滑來(lái)實(shí)現(xiàn)的。作為另一種獨(dú)立的解決方案,或作為對(duì)于在"整體解決方案" 部分中討論的PLC的補(bǔ)充方面,可以在編碼側(cè)執(zhí)行對(duì)空間參數(shù)的平滑操作。因此,由于已經(jīng) 在編碼側(cè)對(duì)空間參數(shù)進(jìn)行了