專利名稱：用于視頻編碼和解碼的自適應(yīng)耦合預(yù)處理和后處理濾波器的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明原理總體上涉及視頻編碼和解碼，并且更具體地，涉及一種用于視頻編碼和解碼的自適應(yīng)耦合預(yù)處理和后處理濾波器的方法和設(shè)備。
背景技術(shù)：
基于塊的變換方法在與更高級的變換方法(例如，子帶編碼)相比時由于其固有的較低復(fù)雜性以及可匹敵的性能實現(xiàn)因此是當(dāng)前視頻壓縮方案和標(biāo)準(zhǔn)(例如國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)運動圖像專家組-4(MPEG-4)標(biāo)準(zhǔn)部分10先進視頻編碼(AVC)標(biāo)準(zhǔn)/ITU-TH. 264推薦標(biāo)準(zhǔn)(下文中稱作“MPEG-4 AVC標(biāo)準(zhǔn)”))中用于變換的主要選擇。交疊變換執(zhí)行起來明顯優(yōu)于非交疊變換(例如，離散余弦變換(DCT))而僅引起較小的復(fù)雜性增加。交疊變換可以被設(shè)計為最大化編碼增益、最大化能量壓縮，提供良好頻率響應(yīng)、最大化基的正則性，或者最大化上述目標(biāo)的組合。編碼增益尤其令人關(guān)注，這是因為編碼增益直接轉(zhuǎn)換成速率失真性能的改善。計算變換的編碼增益作為“不利用變換的重構(gòu)失真”與“利用變換的重構(gòu)失真”的比值。在假定高比特率的情況下，如下在第一現(xiàn)有技術(shù)方法中描述這種針對交疊雙正交變換(LBT)的量' ΓΙ Il ^T1 "2 '(I )其中，σ,2是源X的方差，y是交疊變換的輸出，是第i個變換輸出的方差，以及if1是交疊變換的第i個合成基(后濾波器列)。高比特率交疊變換的設(shè)計需要等式(I)中定義的編碼增益最大化。在第二現(xiàn)有技術(shù)方法中，公開了一種備選等同物，用于將準(zhǔn)最優(yōu)交疊變換分解成預(yù)濾波器操作和預(yù)濾波器操作之后的偏移DCT操作。優(yōu)點在于可以在現(xiàn)有編碼器和解碼器回路外部應(yīng)用預(yù)濾波器方法，因此第二現(xiàn)有技術(shù)方法需要在現(xiàn)有編碼器和解碼器內(nèi)進行較小的改變。對于交疊變換的基于預(yù)濾波的方法，輸出y可以如下表示y = DCT [Shift (Px)](2)其中，Shift是預(yù)濾波器與塊變換之間的時間偏移，并且P是對當(dāng)前數(shù)據(jù)X施加的預(yù)濾波。轉(zhuǎn)向圖1，將4X8交疊變換實現(xiàn)為4X4預(yù)濾波器以及4X4預(yù)濾波器之后的DCT操作總體上由附圖標(biāo)記100來指示。即，圖I示出了交疊變換的兩個等同的實現(xiàn)方式。在圖I的上部，通過交疊雙正交變換將8個輸入采樣直接變換成4個輸出采樣。注意為了具有相同數(shù)目的總輸入采樣和輸出樣本，下8個輸入采樣與前8個輸入采樣有交疊，如可以在圖I中觀察到的。關(guān)于圖I的下部，其中，實現(xiàn)方式使用預(yù)濾波器，如下涉及首先將預(yù)濾波器施加于4個輸入采樣；然后施加DCT。注意預(yù)濾波器與離散余弦變換之間的偏移允許以與圖I上部完全相同的方式來處理針對每4個輸出采樣的8個輸入采樣。先前對增強基于塊的編碼方法(例如，在MPEG-4 AVC標(biāo)準(zhǔn)中執(zhí)行的方法)的努力包括使用預(yù)處理濾波器和后處理濾波器，并且增加編碼器增益，同時忽略對預(yù)測編碼效率的影響。然而，這樣的現(xiàn)有技術(shù)預(yù)濾波器被設(shè)計為僅利用單個變換來工作。例如，第三現(xiàn)有技術(shù)方法涉及一種4X4預(yù)濾波器被設(shè)計為利用僅針對幀內(nèi)編碼的4 X 4DCT來工作的方案。此外，第三現(xiàn)有技術(shù)方法不能給出對修改獨立編碼器和解碼器模塊(例如，速率失真優(yōu)化器和最可能模塊預(yù)測器)以與預(yù)濾波和后濾波器協(xié)同工作的任何考慮，并且不能實現(xiàn)更高的壓縮效率
發(fā)明內(nèi)容

現(xiàn)有技術(shù)的這些和其他缺點和劣勢可以通過本發(fā)明的原理來解決，本發(fā)明的原理涉及一種針對視頻編碼和解碼的自適應(yīng)耦合預(yù)處理和后處理濾波器的方法和設(shè)備。根據(jù)本發(fā)明原理的一個方面，提出了一種設(shè)備。設(shè)備包括用于將畫面的輸入數(shù)據(jù)編碼成結(jié)果比特流的視頻編碼器。該視頻編碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器。預(yù)濾波器對畫面的輸入數(shù)據(jù)進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。根據(jù)本發(fā)明原理的另一個方面，提出了一種視頻編碼器中的方法。該方法包括將畫面的輸入數(shù)據(jù)編碼成結(jié)果比特流。該視頻編碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器。預(yù)濾波器對畫面的輸入數(shù)據(jù)進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。根據(jù)本發(fā)明原理的又一方面，提出了一種設(shè)備。該設(shè)備包括用于對畫面的殘差圖像數(shù)據(jù)進行解碼的視頻解碼器。該視頻解碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器。預(yù)濾波器對用于解碼殘差圖像數(shù)據(jù)的參考畫面進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。根據(jù)本發(fā)明原理的又一方面，提出了一種視頻解碼器中的方法。該方法包括對畫面的殘差圖像數(shù)據(jù)進行解碼。視頻解碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器。預(yù)濾波器對用于解碼殘差圖像數(shù)據(jù)的參考畫面進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。根據(jù)結(jié)合附圖閱讀的典型實施例的以下詳細描述，本發(fā)明原理的這些和其他方面、特征和優(yōu)點將變得顯而易見。


根據(jù)以下示例性附圖可以更好地理解本發(fā)明的原理，其中圖I是示出了 4 X 8交疊變換的直接實現(xiàn)方式以及作為4 X 4預(yù)濾波器并且該4 X 4預(yù)濾波器之后是偏移的4X4DCT操作的等同實現(xiàn)方式；
圖2是示出了根據(jù)本發(fā)明原理實施例的具有預(yù)處理濾波器和后處理濾波器的示例性視頻編碼器的框圖；圖3是示出了根據(jù)本發(fā)明原理實施例的具有預(yù)處理濾波器和后處理濾波器的示例性視頻解碼器的框圖；圖4是示出了根據(jù)本發(fā)明原理實施例的涉及分離亮度和色度預(yù)濾波的圖像數(shù)據(jù)編碼的示例性方法的流程圖；圖5是示出了根據(jù)本發(fā)明原理實施例的涉及分離亮度和色度后濾波的圖像數(shù)據(jù)解碼的示例性方法的流程圖；圖6A-6D是示出了根據(jù)本發(fā)明原理實施例的針對用于建模預(yù)測編碼(幀內(nèi)/幀間)的函數(shù)I (.，.)的四種可能選擇的圖；
圖7是示出了根據(jù)本發(fā)明原理實施例的用于離線訓(xùn)練濾波器、自適應(yīng)和增強參數(shù)的示例性方法的流程圖；圖8是示出了根據(jù)本發(fā)明原理實施例的用于通過最小化預(yù)濾波后估計到觀察數(shù)據(jù)的距離來執(zhí)行后濾波器的示例性方法的流程圖；圖9是示出了根據(jù)本發(fā)明原理實施例的用于利用預(yù)處理濾波和后處理濾波來編碼視頻數(shù)據(jù)的示例性方法的流程圖；圖10是示出了根據(jù)本發(fā)明原理實施例的用于利用預(yù)處理濾波和后處理濾波來解碼視頻數(shù)據(jù)的示例性方法的流程圖；圖11是示出了根據(jù)本發(fā)明原理實施例的涉及分離亮度和色度預(yù)濾波的圖像數(shù)據(jù)編碼的示例性方法的流程圖；圖12是示出了根據(jù)本發(fā)明原理實施例的涉及分離亮度和色度后濾波的圖像數(shù)據(jù)解碼的示例性方法的流程圖；圖13是示出了根據(jù)本發(fā)明原理實施例的在提升實現(xiàn)方式中使用奇異值分解(SVD)來執(zhí)行自適應(yīng)預(yù)濾波和后濾波的示例性方法的流程圖；圖14是示出了根據(jù)本發(fā)明原理實施例的使用矩陣分解或高斯消除來導(dǎo)出濾波器的提升實現(xiàn)方式的示例性方法的流程圖；圖15是示出了根據(jù)本發(fā)明原理實施例的用于訓(xùn)練速率失真優(yōu)化器的示例性方法的流程圖；圖16是示出了根據(jù)本發(fā)明原理實施例的用于訓(xùn)練最可能模式預(yù)測器的示例性方法的流程圖；圖17是示出了根據(jù)本發(fā)明原理實施例的用于高效地在硬件中實現(xiàn)后濾波器的示例性方法的流程圖；以及圖18是示出了根據(jù)本發(fā)明原理實施例的用于確定原始浮點自適應(yīng)濾波器的整數(shù)實現(xiàn)方式的示例性方法的流程圖。
具體實施例方式本發(fā)明的原理涉及一種針對視頻編碼和解碼的自適應(yīng)耦合預(yù)處理和后處理濾波器的方法和設(shè)備。本說明書示意了本發(fā)明原理。因此將理解的是，盡管這里沒有明確描述或示出，本領(lǐng)域的技術(shù)人員將能夠設(shè)想體現(xiàn)本發(fā)明原理并包括在本發(fā)明精神和范圍內(nèi)的各種布置。這里所引述的所有示例和條件性語言均為了教導(dǎo)的目的，以幫助讀者理解本發(fā)明原理以及發(fā)明人對現(xiàn)有技術(shù)做出貢獻的構(gòu)思，應(yīng)看作不會被限制為這里具體引述的示例和條件。此外，這里對本發(fā)明的原理、方面、實施例及其特定示例做出引述的所有聲明意在包括本發(fā)明的結(jié)構(gòu)和功能上的等同物。另外，該等同物將包括當(dāng)前已知的等同物以及將來開發(fā)出的等同物，即所開發(fā)出來的執(zhí)行相同功能的任何組件，而與結(jié)構(gòu)無關(guān)。因此，本領(lǐng)域的技術(shù)人員可以理解，例如這里所表示的框圖展示出體現(xiàn)本發(fā)明的示意性電路的概念圖。類似地，將理解，任何流程、流程圖、狀態(tài)轉(zhuǎn)移圖、偽代碼等表現(xiàn)出實質(zhì)上可以在計算機可讀介質(zhì)上表現(xiàn)的、并且由計算機或處理器執(zhí)行的各個過程，無論是否明確示出該計算機或處理器?？梢酝ㄟ^使用專用硬件和能夠執(zhí)行適合的軟件的關(guān)聯(lián)軟件的硬件而實現(xiàn)圖中所 示各個組件的功能。當(dāng)由處理器來提供時，這些功能可以由單個的專用處理器、單個的共享處理器、或多個單獨的處理器來提供，其中一些可以是共享的。此外，術(shù)語“處理器”或“控制器”的顯式使用不應(yīng)被解釋為排他性地是指能夠執(zhí)行軟件的硬件，而且可以隱式地包括(不限為)數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機存取存儲器(“RAM”)以及非易失性存儲器。還可以包括常規(guī)和/或定制的其它硬件。類似地，圖中所示的任何開關(guān)僅是概念上的。其功能可以通過程序邏輯的操作、專用邏輯、程序控制和專用邏輯的交互、或甚至是手動地實現(xiàn)，實施者可以選擇的具體技術(shù)可以從上下文中得到明確的理解。在權(quán)利要求書中，表示為用于執(zhí)行指定功能的裝置的任何組件意在包括執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合,或b)任意形式的軟件,包括固件、微代碼等，并與用于執(zhí)行該軟件以執(zhí)行該功能的適合的電路進行組合。由權(quán)利要求所限定的本發(fā)明原理在于如下事實將各個引述的裝置所提供的功能以權(quán)利要求所要求的方式組合在一起。因此，可以把能夠提供這些功能的任意裝置看作與這里所示的裝置相等同。在說明書中涉及本發(fā)明原理的“ 一個實施例”或“實施例”是指結(jié)合實施例描述的特定特征、結(jié)構(gòu)、特性等包括在本發(fā)明的至少一個實施例中。因此，貫穿說明書在不同地方出現(xiàn)的短語“在一個實施例中”或“在實施例中”不必均指相同的實施例。此外短語“在另一實施例中”不排除與另一實施例全部或部分組合的所描述實施例的主題。應(yīng)當(dāng)理解的是，以下和/或”和“至少一個”中任意的使用，例如在“A/B”、“A和/或B”和“A和B中的至少一個”的情況下，意在包括只選擇第一所列項目(A)、或只選擇第二所列項目(B)、或選擇兩個項目(A和B)。作為另一示例，在“A、B和/或C”以及“A、B和C中的至少一個”的情況下，這樣的表示意在包括只選擇第一所列項目(A)、只選擇第二所列項目(B)、只選擇第三所列項目(C)、選擇第一和第二所列項目(A和B)、選擇第一和第三所列項目(A和C)、選擇第二和第三所列項目(B和C)、或選擇所有三個項目(A和B和C)。對于本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員來說顯而易見的是，對于所列的許多項目，上述是可以擴展的。同樣，如這里所使用的，詞語“畫面”和“圖像”可交換使用，并且是指來自視頻序列的靜止圖像或畫面。如已知，畫面可以是幀或場。
此外，如這里所使用的，術(shù)語“預(yù)濾波器”和“預(yù)濾波處理”可交換使用。類似地，術(shù)語“后濾波器”和“后處理濾波器”在這里可交換使用。還應(yīng)認識到本發(fā)明原理可應(yīng)用在編碼器和解碼器處。此外，如這里所使用的，短語“正好相逆(exact inverse) ”在用于描述預(yù)濾波器與后濾波器之間關(guān)系時是指選擇預(yù)濾波器和后濾波器的濾波器系數(shù)和濾波器參數(shù)，使得從后濾波器獲得的濾波器結(jié)果與從預(yù)濾波器獲得的濾波器結(jié)果相逆。換言之“正好相逆”描述預(yù)濾波器與后濾波器之間的關(guān)系，使得在存在任何其他處理(例如，量化)的情況下，被預(yù)濾波器處理然后被后濾波器處理的預(yù)濾波器的輸入與后濾波器的輸出相同。此外，如這里所使用的，短語“實質(zhì)上相逆”在用于描述預(yù)濾波器與后濾波器之間關(guān)系時是指選擇預(yù)濾波器和后濾波器的濾波器系數(shù) 和濾波器參數(shù)，使得從后濾波器獲得的濾波器結(jié)果與從預(yù)濾波器獲得濾波器結(jié)果實質(zhì)上相逆。類似地，當(dāng)短語“實質(zhì)上相逆”用于描述預(yù)濾波器與后濾波器(當(dāng)后濾波器是自適應(yīng)時)之間的關(guān)系時，是指選擇后濾波器的自適應(yīng)參數(shù)，使得“小”的擾動不會顯著影響自適應(yīng)。這種定義涉及數(shù)學(xué)上的穩(wěn)定性概念。即，在給出小輸入變化的情況下，那么輸出變化也較小。例如，在數(shù)學(xué)上可以通過指定輸出標(biāo)準(zhǔn)差比輸出標(biāo)準(zhǔn)差小特定常數(shù)倍來表示。該事實的典型示例是線性系統(tǒng)，由于輸入的變化(例如，對數(shù)據(jù)進行量化)暗示著輸出以相同量級變化?！皩嵸|(zhì)上相逆”意味著相同構(gòu)思，“實質(zhì)上相逆”不能保證“正好相逆”，但是實質(zhì)上接近，其中例如“實質(zhì)上”表示為對于系統(tǒng)中可接受的任何輸入涉及輸入和輸出的標(biāo)準(zhǔn)差的常數(shù)。為了示意和描述的目的，這里在對MEPG-4 AVC標(biāo)準(zhǔn)改進的上下文中使用MEPG-4AVC標(biāo)準(zhǔn)作為本發(fā)明描述的基線，并且說明超過MEPG-4AVC標(biāo)準(zhǔn)的改進和擴展來描述示例。然而，應(yīng)當(dāng)認識到，本發(fā)明原理不僅限于MEPG-4 AVC標(biāo)準(zhǔn)和/或其擴展。在給出這里提供的本發(fā)明原理的教導(dǎo)的情況下，本領(lǐng)域及相關(guān)領(lǐng)域技術(shù)人員應(yīng)當(dāng)容易理解本發(fā)明原理同樣可適用并且應(yīng)當(dāng)在適應(yīng)于其他標(biāo)準(zhǔn)的擴展時或者當(dāng)應(yīng)用和/或合并在還沒有開發(fā)的標(biāo)準(zhǔn)內(nèi)時提供至少類似的利益。還應(yīng)當(dāng)認識到本發(fā)明原理還應(yīng)用于不符合標(biāo)準(zhǔn)的但是符合專有定義的視頻編碼器和視頻解碼器。如上所述，在MEPG-4 AVC標(biāo)準(zhǔn)中使用的基于塊的編碼方法不能高效地利用變換間塊邊界處存在的相關(guān)性。清楚地，如這里所使用的，“變換間塊(inter-transform block)”是指不同變換所處理的數(shù)據(jù)塊。通過變換來去除塊內(nèi)的空間相關(guān)性，即，通過變換對變換內(nèi)數(shù)據(jù)進行去相關(guān)。然而，由于MEPG-4 AVC中的變換不交疊，因此不能正確地去除屬于不同變換塊的數(shù)據(jù)之間的相關(guān)性。根據(jù)本發(fā)明原理，本發(fā)明公開了一種方法和設(shè)備，定義一組耦合的自適應(yīng)預(yù)處理濾波器和后處理濾波器的，利用變換間塊相關(guān)性，并且減少視頻編碼中觀察到的塊偽像。例如，耦合的濾波器集合包括與一個或多個后處理濾波器耦合的一個或多個預(yù)處理濾波器。在實施例中，例如，濾波器自適應(yīng)可以基于針對輸入數(shù)據(jù)而計算的“梯度”和/或“量化器步長”和/或諸如“方差”之類的局部數(shù)據(jù)統(tǒng)計。公開了與將預(yù)處理濾波器和后處理濾波器設(shè)計和優(yōu)化為“與預(yù)測(空間預(yù)測或時間預(yù)測)機制協(xié)同工作”有關(guān)的至少一個實施例。這種聯(lián)合設(shè)計和優(yōu)化有助于更好地實現(xiàn)總體速率失真性能。此外，預(yù)處理濾波器和后處理濾波器有助于保護邊緣，獲得更好的感知質(zhì)量。本發(fā)明原理還概括如何修改現(xiàn)有視頻架構(gòu)，例如，速率失真優(yōu)化器以及最可能模式預(yù)測器，以便實現(xiàn)更好的性能增益。
預(yù)處理濾波器和后處理濾波器的目的是利用這種變換間塊相關(guān)性，并因此實現(xiàn)更高的編碼效率。此外，由于在變換塊邊界上實現(xiàn)預(yù)處理濾波器和后處理濾波器，因此有助于減少在基于塊的視頻編碼中通?？吹降膲K偽像。典型地，預(yù)濾波器應(yīng)用于使用預(yù)測來去除冗余之前的原始幀。如果將影響較大的預(yù)濾波器應(yīng)用于原始幀，則預(yù)濾波器會嚴(yán)重地干擾就是用于預(yù)測的像素。不良的預(yù)測質(zhì)量因此降低了預(yù)測編碼的壓縮效率。因此，還降低了總體編碼器和解碼器壓縮效率。為了考慮和補償預(yù)濾波對預(yù)測編碼的影響，本發(fā)明公開了抑制新的預(yù)測濾波器設(shè)計方法。在實施例中，預(yù)濾波器適合于針對輸入數(shù)據(jù)而計算的“梯度”和/或“量化器步長”和/或諸如“方差”之類的局部數(shù)據(jù)統(tǒng)計。耦合的“自適應(yīng)”后濾波器被設(shè)計為反轉(zhuǎn)編碼器處預(yù)濾波器所執(zhí)行的操作。還通過修改速率失真優(yōu)化器和最可能模式預(yù)測器來改進系統(tǒng)的性能，以與預(yù)處理濾波器和后處理濾波器協(xié)同工作。轉(zhuǎn)向圖2，具有預(yù)處理濾波器和后處理濾波器的示例性視頻編碼器總體上由附圖標(biāo)記200來指示。視頻編碼器200包括預(yù)濾波器205，預(yù)濾波器205具有與組合器210的第一輸入信號通信連接的第一輸出。組合器的輸出與變換器(T) 215的輸入信號通信連接。變 換器(T) 215的輸出與量化器(Q) 220的輸入信號通信連接。量化器(Q) 220的輸出與熵編碼器225的輸入以及逆量化器(IQ) 230的輸入信號通信連接。逆量化器(IQ) 230的輸出與逆變換器(IT) 235的輸入信號通信連接。逆變換器(IT) 235的輸出與組合器240的第一非反相輸入信號通信連接。組合器240的輸出與后濾波器245的第一輸入和幀內(nèi)預(yù)測器280的輸入信號通信連接。后濾波器245的輸出與去塊濾波器250的輸入和回路濾波器255的輸入信號通信連接?；芈窞V波器255的輸出與參考存儲器260的輸入信號通信連接。參考存儲器260的第一輸出與運動/巾貞內(nèi)補償器265的第一輸入信號通信連接。參考存儲器260的第二輸出與運動估計器270的第二輸入信號通信連接。運動估計器270的輸出與運動/中貞內(nèi)補償器265的第二輸入信號通信連接。運動/巾貞內(nèi)補償器265的輸出與預(yù)濾波器275的第一輸入信號通信連接。預(yù)濾波器275的輸出與巾貞內(nèi)/巾貞間選擇器285的第一輸入信號通信連接。幀內(nèi)/幀間解碼器285的輸出與組合器210的第二非反相輸入和組合器240的第二非反相輸入信號通信連接。巾貞內(nèi)預(yù)測器280的輸出與巾貞內(nèi)/巾貞間選擇器285的第二輸入信號通信連接。熵編碼器225的輸出可用作視頻編碼器200的輸出，以用于輸出比特流。去塊濾波器250的輸出可用作視頻編碼器200的輸出，以用于輸出重構(gòu)。預(yù)濾波器205的輸入可用作視頻編碼器的輸入，以用于接收視頻源和/或與視頻源相關(guān)的內(nèi)容。相對于等同逆交疊變換277，預(yù)濾波器205、組合器210以及變換器(T) 215形成等同的前向交疊變換266，等同逆交疊變換277由逆變換器(IT) 235、組合器240和后濾波器245形成有關(guān)。轉(zhuǎn)向圖3，具有預(yù)處理濾波器和后處理濾波器的示例性視頻解碼器總體上由附圖標(biāo)記300來指示。視頻解碼器300包括輸入緩沖器305，輸入緩沖器305具有與熵解碼器310的輸入信號通信連接的輸出。熵解碼器310的輸出與逆量化器315的輸入信號通信連接。逆量化器320的輸出與組合器325的第一非反相輸入的輸入信號通信連接。組合器325的輸出與后濾波器330的輸入和巾貞內(nèi)預(yù)測器365的輸入信號通信連接。后濾波器330的輸出與回路濾波器340的輸入信號通信連接。回路濾波器340的輸出與參考存儲器345的輸入信號通信連接。參考存儲器345的輸出與運動/幀內(nèi)補償器350的輸入信號通信連接。運動/幀內(nèi)補償器350的輸出與預(yù)濾波器355的輸入信號通信連接。預(yù)濾波器355的輸出與巾貞內(nèi)/巾貞間選擇器360的第一輸入信號通信連接。巾貞內(nèi)/巾貞間選擇器360的輸出與組合器325的第二非反相輸入信號通信連接。巾貞內(nèi)預(yù)測器365的輸出與巾貞內(nèi)/巾貞間選擇器360的第二輸入信號通信連接。輸入緩沖器305的輸入可用作視頻解碼器300的輸出，以用于接收輸入比特流。去塊濾波器335的輸出可用作視頻解碼器300的輸出，以用于輸出與比特流相對應(yīng)的一個或多個畫面。逆變換器(IT) 320、組合器325和后濾波器330形成等同的逆交疊變換377。因此，圖2示出了對原始視頻源進行預(yù)濾波的視頻編碼器實施例。耦合的后處理濾波器245置于用于巾貞內(nèi)編碼的編碼回路外,但是在用于巾貞間編碼的編碼回路內(nèi)。圖3不出了對應(yīng)的解碼器，其中針對亮度和色度分量分別離線導(dǎo)出預(yù)處理濾波器355和后處理濾波器330及其自適應(yīng)參數(shù)。也針對不同序列分辨率獲得分離參數(shù)。注意到盡管預(yù)濾波器(例如，205和275)在物理上不與后濾波器245耦合，但是預(yù)濾波器205、275和后濾波器245耦合在于它們具有以下關(guān)系使得后濾波器245進行操作，以便提供與至預(yù)濾波器205的輸入(預(yù)濾波的輸入)相同或盡可能接近的輸出。即，選 擇針對后濾波器245的濾波器系數(shù)和參數(shù)，使得后濾波器245所執(zhí)行的濾波操作實質(zhì)上與預(yù)濾波器205、275所執(zhí)行的濾波操作相逆。轉(zhuǎn)向圖4，涉及分離亮度和色度預(yù)濾波的圖像數(shù)據(jù)編碼的示例性方法總體上由附圖標(biāo)記400來指示。方法400包括開始框405，開始框405將控制傳給功能塊407。功能框407輸入數(shù)據(jù)(源/重構(gòu)數(shù)據(jù))，并且將控制傳給判定框410。判定框410確定要濾波的當(dāng)前分量是否是亮度分量，如果是，則將控制傳給功能框415和功能框435。否則將控制傳給功能框440和功能框460。功能框415設(shè)置亮度自適應(yīng)參數(shù)，并且將控制傳給功能框435。功能框435執(zhí)行亮度預(yù)濾波(使用功能框415設(shè)置的亮度自適應(yīng)參數(shù))，并且將控制傳給功能框465。功能框465輸出預(yù)濾波的數(shù)據(jù)，并且將控制傳給結(jié)束框499。功能框440設(shè)置色度自適應(yīng)參數(shù)，并且將控制傳給功能框460。功能框460執(zhí)行色度預(yù)濾波(使用功能框440所設(shè)置的色度自適應(yīng)參數(shù)，并且將控制傳給功能框465。關(guān)于功能框415，功能框415基于編碼器設(shè)置420、預(yù)測器模式425、以及變換尺寸和類型430來設(shè)置亮度自適應(yīng)參數(shù)。關(guān)于功能框440，功能框440基于編碼器設(shè)置445、預(yù)測器模式450和變換尺寸和類型455來設(shè)置色度自適應(yīng)參數(shù)。轉(zhuǎn)向圖5，涉及分離亮度和色度后濾波的圖像數(shù)據(jù)解碼的示例性方法總體上由附圖標(biāo)記500來指示。方法500包括開始框505，開始框505將控制傳給功能塊507。功能框507輸入重構(gòu)數(shù)據(jù)，并且將控制傳給判定框510。判定框510確定要濾波的當(dāng)前分量是否是亮度分量，如果是，則將控制傳給功能框515和功能框535。否則將控制傳給功能框540和功能框560。功能框515設(shè)置亮度自適應(yīng)參數(shù)，并且將控制傳給功能框535。功能框535執(zhí)行亮度后濾波(使用功能框515設(shè)置的亮度自適應(yīng)參數(shù))，并且將控制傳給功能框565。功能框565輸出后濾波的數(shù)據(jù)，并且將控制傳給結(jié)束框599。功能框540設(shè)置色度自適應(yīng)參數(shù)，并且將控制傳給功能框560。功能框560執(zhí)行色度后濾波(使用功能框540所設(shè)置的色度自適應(yīng)參數(shù)，并且將控制傳給功能框565。關(guān)于功能框515，功能框515基于編碼器設(shè)置520、預(yù)測器模式525、以及變換尺寸和類型530來設(shè)置亮度自適應(yīng)參數(shù)。關(guān)于功能框540，功能框540基于編碼器設(shè)置545、預(yù)測器模式550和變換尺寸和類型555來設(shè)置色度自適應(yīng)參數(shù)
參數(shù)導(dǎo)出以預(yù)濾波器的設(shè)計開始。如下重寫預(yù)濾波器輸出的時域表示y = D [Shift (I (Px, Prev (x))) ] (3)其中，D是塊變換(例如，離散余弦變換(DCT)、Karhunen Loeve變換(KLT)、和/或模式相關(guān)方向變換(MDDT) )，Prev(X)是在預(yù)測x中使用的數(shù)據(jù)。對函數(shù)I (.，.)建模，以捕獲用于考慮下的編碼方案的預(yù)測器的行為?？梢赃x擇不同的模型來表示不同預(yù)測器。轉(zhuǎn)向圖4A-4D，用于對預(yù)測編碼(幀內(nèi)/幀間)的函數(shù)IC，.)的四種可能選擇總體上分別由附圖標(biāo)記610、620、630和640來指示。具體地，圖6A示出了選擇610，選擇610針對通過先前像素子集來擬合并且外推得到使均方差最小化的線以獲得對當(dāng)前像素的預(yù)測的函數(shù)。圖6B示出了選擇620，選擇620針對拷貝先前像素作為對當(dāng)前像素的預(yù)測的函數(shù)。圖6C示出了選擇630，選擇630針對拷貝先前塊作為對當(dāng)前塊的預(yù)測的函數(shù)。圖6D示出了選擇640，選擇640針對通過先前像素子集來擬合并且外推出得到均方差最小化的線以獲得對當(dāng)前塊的預(yù)測的函數(shù)?？梢赃f歸地應(yīng)用選擇610和620以獲得對考慮中的整個X的預(yù)測。對于MEPG-4 AVC標(biāo)準(zhǔn)中預(yù)濾波方法，方差<計算如下
權(quán)利要求
1.一種設(shè)備，包括 視頻編碼器(200)，用于將畫面的輸入數(shù)據(jù)編碼成結(jié)果比特流，其中所述視頻編碼器(200)包括預(yù)濾波器(205、275)和耦合至預(yù)濾波器(205、275)的后濾波器(245)，其中所述預(yù)濾波器(205、275)對畫面的輸入數(shù)據(jù)進行濾波，并且后濾波器(245)對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。
2.—種視頻編碼器中的方法，包括 將畫面的輸入數(shù)據(jù)編碼成結(jié)果比特流，其中，所述視頻編碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器，其中所述預(yù)濾波器對畫面的輸入數(shù)據(jù)進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波(900、915、950)。
3.根據(jù)權(quán)利要求2所述的方法，其中，選擇后濾波器的濾波器系數(shù)和濾波器參數(shù)，使得后濾波器與預(yù)濾波器正好相逆(900、915、950)。
4.根據(jù)權(quán)利要求2所述的方法，其中，預(yù)濾波器和后濾波器中的至少一個包括不同的濾波器，并且使用所述不同的濾波器中與用于畫面的亮度分量不同的濾波器對畫面的色度分量進行濾波(415、435、440、460)。
5.根據(jù)權(quán)利要求2所述的方法，其中，響應(yīng)于分辨率、量化級別、局部梯度、預(yù)測模式和梯度方向中的至少一個，選擇針對預(yù)濾波器和后濾波器中的至少一個的濾波器系數(shù)和濾波器參數(shù)中的至少一個(415、420、425、430、435)。
6.根據(jù)權(quán)利要求2所述的方法，其中，將后濾波器濾波重構(gòu)數(shù)據(jù)所使用的后濾波變換矩陣分解成兩個被加數(shù)，所述兩個被加數(shù)之一是單位矩陣，所述兩個被加數(shù)中的另一個是對第一矩陣、第二矩陣和第三矩陣的乘積加以表示的矩陣，第一矩陣和第三矩陣是固定的，第二矩陣是可變的，以便反轉(zhuǎn)預(yù)濾波器的自適應(yīng)性(1720、1725、1730、1735、1740)。
7.根據(jù)權(quán)利要求2所述的方法，其中，選擇后濾波器的濾波器系數(shù)和濾波器參數(shù)，使得后濾波器與預(yù)濾波器基本上相逆(815、820、825)。
8.根據(jù)權(quán)利要求7所述的方法，其中，后濾波器被配置為通過最小化觀察與預(yù)濾波的估計之間的差，基本上從中提供與提供給預(yù)濾波器的輸入數(shù)據(jù)相同的輸出數(shù)據(jù)，所述觀察與提供給后濾波器的輸入數(shù)據(jù)有關(guān)，并且預(yù)濾波的估計與預(yù)濾波器進行濾波之前對畫面的輸入數(shù)據(jù)的估計有關(guān)(815、820、825)。
9.根據(jù)權(quán)利要求2所述的方法，其中，預(yù)濾波器和后濾波器是整數(shù)實現(xiàn)方式，被確定為使得與預(yù)濾波器和后濾波器之間的正好可逆性有關(guān)的距離最小化(1810、1815、1820、1825)。
10.根據(jù)權(quán)利要求2所述的方法，其中，預(yù)濾波器和后濾波器的濾波器尺寸與應(yīng)用于殘差數(shù)據(jù)的變換的尺寸相同，殘差數(shù)據(jù)表示畫面的輸入數(shù)據(jù)與至少一個參考畫面的參考數(shù)據(jù)之間的差(415,430,435)。
11.根據(jù)權(quán)利要求10所述的方法，其中，預(yù)濾波器和后濾波器包括多個濾波器，并且將多個濾波器中的至少一個應(yīng)用于被應(yīng)用于殘差數(shù)據(jù)的變換的所有變換尺寸(415、430、435)。
12.根據(jù)權(quán)利要求2所述的方法，其中，預(yù)濾波器和后濾波器中的至少一個的濾波器尺寸與應(yīng)用于輸入數(shù)據(jù)的變換的尺寸不同(415、430、435)。
13.根據(jù)權(quán)利要求2所述的方法，其中，僅將預(yù)濾波器和后濾波器應(yīng)用于輸入數(shù)據(jù)的一部分(915,965)。
14.根據(jù)權(quán)利要求13所述的方法，其中，輸入數(shù)據(jù)的一部分是從塊邊界和塊內(nèi)中的至少一項中選擇的(915、965)。
15.一種設(shè)備，包括 視頻解碼器(300)，用于對畫面的殘差圖像數(shù)據(jù)進行解碼，其中，所述視頻解碼器(300)包括預(yù)濾波器(355)和耦合至預(yù)濾波器(355)的后濾波器(330)，其中所述預(yù)濾波器(355)對用于解碼殘差圖像數(shù)據(jù)的參考畫面進行濾波，并且后濾波器(330)對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波。
16.一種視頻解碼器中的方法，包括 對畫面的殘差圖像數(shù)據(jù)進行解碼，其中，所述視頻解碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器，其中，所述預(yù)濾波器對用于解碼殘差圖像數(shù)據(jù)的參考畫面進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波(1030、1035、1055、1060)。
17.根據(jù)權(quán)利要求16所述的方法，其中，選擇后濾波器的濾波器系數(shù)和濾波器參數(shù)，使得后濾波器與預(yù)濾波器正好相逆(1030、1035、1055、1060)。
18.根據(jù)權(quán)利要求16所述的方法，其中，預(yù)濾波器和后濾波器中的至少一個包括不同的濾波器，并且使用所述不同的濾波器中與用于畫面的亮度分量不同的濾波器對畫面的色度分量進行濾波(515、535、540、560)。
19.根據(jù)權(quán)利要求16所述的方法，其中，響應(yīng)于分辨率、量化級別、局部梯度、預(yù)測模式和梯度方向中的至少一個，選擇針對預(yù)濾波器和后濾波器中的至少一個的濾波器系數(shù)和濾波器參數(shù)中的至少一個(515、520、525、530、535)。
20.根據(jù)權(quán)利要求16所述的方法，其中，將后濾波器濾波重構(gòu)數(shù)據(jù)所使用的后濾波變換矩陣分解成兩個被加數(shù)，所述兩個被加數(shù)之一是單位矩陣，所述兩個被加數(shù)中的另一個是對第一矩陣、第二矩陣和第三矩陣的乘積加以表示的矩陣，第一矩陣和第三矩陣是固定的，第二矩陣是可變的，以便反轉(zhuǎn)預(yù)濾波器的自適應(yīng)性(1720、1725、1730、1735、1740)。
21.根據(jù)權(quán)利要求16所述的方法，其中，選擇后濾波器的濾波器系數(shù)和濾波器參數(shù)，使得后濾波器與預(yù)濾波器基本上相逆(815、820、825)。
22.根據(jù)權(quán)利要求21所述的方法，其中，后濾波器被配置為通過最小化觀察與預(yù)濾波的估計之間的差，基本上從中提供與提供給預(yù)濾波器的輸入數(shù)據(jù)相同的輸出數(shù)據(jù)，所述觀察與提供給后濾波器的輸入數(shù)據(jù)有關(guān)，并且預(yù)濾波的估計與預(yù)濾波器進行濾波之前對畫面的輸入數(shù)據(jù)的估計有關(guān)(815、820、825，845)。
23.根據(jù)權(quán)利要求16所述的方法，其中，預(yù)濾波器和后濾波器是整數(shù)實現(xiàn)方式，被確定為使得與預(yù)濾波器與后濾波器之間的正好可逆性有關(guān)的距離最小化(1815、1820、1825)。
24.根據(jù)權(quán)利要求16所述的方法，其中，預(yù)濾波器和后濾波器的濾波器尺寸與應(yīng)用于殘差數(shù)據(jù)的變換的尺寸相同，殘差數(shù)據(jù)表示畫面的輸入數(shù)據(jù)與至少一個參考畫面的參考數(shù)據(jù)之間的差(515,530,535) ο
25.根據(jù)權(quán)利要求24所述的方法，其中，預(yù)濾波器和后濾波器包括多個濾波器，并且將多個濾波器中的至少一個應(yīng)用于被應(yīng)用于殘差數(shù)據(jù)的變換的所有變換尺寸(515、530、535)。
26.根據(jù)權(quán)利要求16所述的方法，其中，預(yù)濾波器和后濾波器中的至少一個的濾波器尺寸與應(yīng)用于輸入數(shù)據(jù)的變換的尺寸不同(515、530、535)。
27.根據(jù)權(quán)利要求16所述的方法，其中，將預(yù)濾波器和后濾波器應(yīng)用于輸入數(shù)據(jù)的僅一部分(1030、1035、1055、1060)。
28.根據(jù)權(quán)利要求27所述的方法，其中，輸入數(shù)據(jù)的一部分是從塊邊界和塊內(nèi)中的至少一項中選擇的。
29.一種其上編碼有視頻信號數(shù)據(jù)的非瞬時計算機可讀存儲介質(zhì)，包括 編碼畫面的輸入數(shù)據(jù)和畫面的回路內(nèi)重構(gòu)數(shù)據(jù)，其中，畫面的數(shù)據(jù)輸入在被編碼時使用預(yù)濾波器來進行預(yù)濾波，畫面的回路內(nèi)重構(gòu)數(shù)據(jù)在被編碼時使用直接耦合至預(yù)濾波器的后濾波器來進行后濾波。
全文摘要
針對視頻編碼和解碼，提供了用于自適應(yīng)耦合預(yù)處理和后處理濾波器的方法和設(shè)備。該設(shè)備和方法將畫面的輸入數(shù)據(jù)編碼成結(jié)果比特流，其中所述視頻編碼器包括預(yù)濾波器和耦合至預(yù)濾波器的后濾波器，其中所述預(yù)濾波器對畫面的輸入數(shù)據(jù)進行濾波，并且后濾波器對畫面的回路內(nèi)重構(gòu)數(shù)據(jù)進行濾波(900，915，950)。
文檔編號H04N7/26GK102771122SQ201080060025
公開日2012年11月7日 申請日期2010年12月2日 優(yōu)先權(quán)日2009年12月31日
發(fā)明者喬伊·索勒, 呂小安, 基蘭·米斯拉, 尹鵬, 許茜, 鄭云飛 申請人:湯姆森許可貿(mào)易公司