專利名稱：將局部自適應(yīng)濾波用于運(yùn)動(dòng)補(bǔ)償內(nèi)插和基準(zhǔn)畫面濾波的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本原理一般涉及視頻編碼和解碼，尤其涉及將局部自適應(yīng)濾波用于運(yùn)動(dòng)補(bǔ)償內(nèi)插 和基準(zhǔn)畫面濾波的方法和裝置。
背景技術(shù)：
當(dāng)前，自適應(yīng)內(nèi)插濾波技術(shù)與優(yōu)化成考慮全局?jǐn)?shù)據(jù)，S卩，來自整個(gè)畫面的畫面數(shù)據(jù) 的濾波器一起使用。這意味著該濾波器遍及整個(gè)畫面地對(duì)信號(hào)統(tǒng)計(jì)量求平均(要不然全局 組合)。這個(gè)事實(shí)影響了這樣自適應(yīng)內(nèi)插濾波器的濾波能力，在許多情況下，導(dǎo)致畫面的一 些區(qū)域過濾波，而畫面的其它一些區(qū)域欠濾波。此外，自適應(yīng)基準(zhǔn)濾波器也可以用于運(yùn)動(dòng)補(bǔ)償。存在運(yùn)動(dòng)補(bǔ)償預(yù)測效率不高和/ 或有問題的情形。例如，一個(gè)這樣的問題是基準(zhǔn)幀與要編碼的當(dāng)前幀之間的清晰度/模糊 度的差異(例如，由變焦、利用手持設(shè)備的攝像機(jī)搖拍、和/或?yàn)閳鼍白兓O(shè)的特效等引 起)。自適應(yīng)基準(zhǔn)濾波器可以縮小這樣的差異。另外，基準(zhǔn)濾波可以在運(yùn)動(dòng)補(bǔ)償之前用于混 疊減小和量化噪聲抑制。但是，計(jì)算這些濾波器以便平均地對(duì)于用于特定區(qū)域中的運(yùn)動(dòng)補(bǔ) 償?shù)恼M數(shù)據(jù)最優(yōu)。自適應(yīng)基準(zhǔn)幀濾波的現(xiàn)有技術(shù)以生成用于運(yùn)動(dòng)補(bǔ)償?shù)淖酉袼鼗鶞?zhǔn)為目標(biāo)。例如， 在第一種現(xiàn)有技術(shù)手段中，自適應(yīng)內(nèi)插濾波器是基于幀提出的。在依照國際標(biāo)準(zhǔn)化組織/ 國際電工委員會(huì)(IS0/IEC)運(yùn)動(dòng)圖像專家組-4(MPEG-4)第10部分高級(jí)視頻編碼(AVC)標(biāo) 準(zhǔn)/國際電信聯(lián)盟，電信標(biāo)準(zhǔn)化部門(ITU-T)H. 264建議書(下文稱為“MPEG-4 AVC標(biāo)準(zhǔn)”)， 使用內(nèi)插基準(zhǔn)幀以及固定六抽頭濾波器獲得運(yùn)動(dòng)向量之后，通過使像平方差之和(SSD)或 絕對(duì)差之和(SAD)那樣的匹配誤差度量最小來計(jì)算自適應(yīng)內(nèi)插濾波器的系數(shù)。將自適應(yīng)濾 波器用于生成內(nèi)插基準(zhǔn)畫面，然后將后者用于運(yùn)動(dòng)補(bǔ)償。該過程不利用新內(nèi)插的子像素基 準(zhǔn)進(jìn)行進(jìn)一步的運(yùn)動(dòng)估計(jì)。該濾波器設(shè)計(jì)被約束成可分為垂直方向和水平方向，并與雙線 性濾波器級(jí)聯(lián)。此外，第二種現(xiàn)有技術(shù)手段提供了根據(jù)上述第一種現(xiàn)有技術(shù)手段的版本加以改進(jìn) 的另一種形式自適應(yīng)內(nèi)插濾波器。首先，利用標(biāo)準(zhǔn)內(nèi)插濾波器獲取運(yùn)動(dòng)向量。取決于運(yùn)動(dòng) 向量的子像素部分，為不同子像素位置設(shè)計(jì)不同內(nèi)插濾波器。所應(yīng)用濾波器是二維不可分 濾波器，具有一些對(duì)稱性約束以減少要求解的系數(shù)的數(shù)量。利用這些新濾波器進(jìn)行第二運(yùn) 動(dòng)估計(jì)/補(bǔ)償以生成子像素基準(zhǔn)。而且，第三種現(xiàn)有技術(shù)手段提出了第二種現(xiàn)有技術(shù)手段的變體，以便減小內(nèi)插和 自適應(yīng)濾波器的計(jì)算所要求的復(fù)雜性的影響。在第三種現(xiàn)有技術(shù)手段中，只使用一維(ID)濾波器。考慮垂直、水平和對(duì)角濾波器來分別計(jì)算水平、垂直和對(duì)角子像素基準(zhǔn)。與前面的 情況類似，最佳濾波器是根據(jù)以前獲取的第一組運(yùn)動(dòng)向量獲得的。另外，還提出了根據(jù)當(dāng)前畫面和基準(zhǔn)畫面，自適應(yīng)地計(jì)算旨在補(bǔ)償這兩種畫面之 間的差異的一組濾波器的第四種現(xiàn)有技術(shù)手段。然后，在將基準(zhǔn)畫面用于預(yù)測之前，將所計(jì) 算濾波器應(yīng)用于基準(zhǔn)畫面。這些濾波器以如下方式工作生成具有濾波的像素的新基準(zhǔn)以 便為預(yù)測視頻編碼提供較好匹配。因此，對(duì)于上述所有現(xiàn)有技術(shù)而言，為常常是一幀或一個(gè)切片的整個(gè)區(qū)域計(jì)算最 佳濾波器是常見的事。對(duì)于這些畫面區(qū)域的每一個(gè)，顯性地編碼濾波系數(shù)并將其發(fā)送給解 碼器。發(fā)送這些系數(shù)的典型設(shè)置是將它們嵌入每個(gè)切片首標(biāo)內(nèi)。這些手段解決不了的是畫 面統(tǒng)計(jì)量隨空間而變，因此最佳濾波器也應(yīng)該隨空間自適應(yīng)的現(xiàn)實(shí)。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的這些和其它缺點(diǎn)和不足可以通過旨在提供將局部自適應(yīng)濾波用于運(yùn) 動(dòng)補(bǔ)償內(nèi)插和基準(zhǔn)畫面濾波的方法和裝置的本原理來解決。按照本原理的一個(gè)方面，提供了一種裝置。所述裝置包括編碼畫面數(shù)據(jù)的編碼器。 所述編碼器包括至少一個(gè)局部自適應(yīng)濾波器，用于關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和 內(nèi)插濾波的至少一種的局部自適應(yīng)濾波。按照本原理的另一個(gè)方面，提供了一種方法。所述方法包括將局部自適應(yīng)濾波用 于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種地編碼畫面數(shù)據(jù)。按照本原理的又一個(gè)方面，提供了一種裝置。所述裝置包括解碼畫面數(shù)據(jù)的解碼 器。所述解碼器包括至少一個(gè)局部自適應(yīng)濾波器，用于關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾 波和內(nèi)插濾波的至少一種的局部自適應(yīng)濾波。按照本原理的再一個(gè)方面，提供了一種方法。所述方法包括將局部自適應(yīng)濾波用 于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種地解碼畫面數(shù)據(jù)。本原理的這些和其它方面、特征和優(yōu)點(diǎn)可以從要結(jié)合附圖閱讀的示范性實(shí)施例的 如下詳細(xì)描述中明顯看出。


可以依照如下示范性附圖更好地理解本原理，在附圖中圖1是示出依照本原理一個(gè)實(shí)施例、利用局部自適應(yīng)基準(zhǔn)濾波的示范性視頻編碼 器的方塊圖；圖2是示出依照本原理一個(gè)實(shí)施例、利用局部自適應(yīng)基準(zhǔn)濾波的示范性視頻解碼 器的方塊圖；圖3是示出依照本原理一個(gè)實(shí)施例、示出用于濾波優(yōu)化的訓(xùn)練區(qū)的一組示范性畫 面塊的方塊圖；圖4是示出依照本原理一個(gè)實(shí)施例、利用局部自適應(yīng)濾波進(jìn)行視頻編碼的示范性 方法的流程圖；以及圖5是示出依照本原理一個(gè)實(shí)施例、利用局部自適應(yīng)濾波進(jìn)行視頻解碼的示范性 方法的流程圖。
具體實(shí)施例方式本原理旨在將局部自適應(yīng)濾波用于運(yùn)動(dòng)補(bǔ)償內(nèi)插和基準(zhǔn)畫面濾波的方法和裝置。本描述舉例說明本原理。因此，應(yīng)該懂得，本領(lǐng)域的普通技術(shù)人員能夠設(shè)想出盡管 未明確描述或顯示在本文中，但體現(xiàn)本原理和包括在它的精神和范圍之內(nèi)的各種配置。本文闡述的所有例子和條件語言都是以教授為目的，以幫助讀者理解本原理以及 本發(fā)明人為促進(jìn)技術(shù)進(jìn)步而貢獻(xiàn)的概念，并且應(yīng)該理解成不局限于這樣的具體闡述例子和 條件。此外，本文闡述本原理的各個(gè)原理、方面和實(shí)施例及其特定例子的所有語句旨在 包含其結(jié)構(gòu)和功能等效物兩者。另外，這樣的等效物旨在包括當(dāng)前已知的等效物以及未來 開發(fā)的等效物，即與結(jié)構(gòu)無關(guān)，開發(fā)出來執(zhí)行相同功能的任何元件。因此，例如，本領(lǐng)域的普通技術(shù)人員應(yīng)該懂得，本文所表示的方塊圖代表體現(xiàn)本原 理的例示性電路的概念圖。類似地，應(yīng)該懂得，任何作業(yè)圖、流程圖、狀態(tài)轉(zhuǎn)變圖、偽碼等代 表基本上可以表示在計(jì)算機(jī)可讀媒體中，因此可以由計(jì)算機(jī)或處理器執(zhí)行的各種進(jìn)程，無 論這樣的計(jì)算機(jī)或處理器是否明確顯示出來。顯示在圖中的各種元件的的功能可以通過使用專用硬件以及能夠與適當(dāng)軟件相 聯(lián)系執(zhí)行軟件的硬件來提供。當(dāng)通過處理器提供時(shí)，這些功能可以由單個(gè)專用處理器，由單 個(gè)共享處理器，或由一些可以共享的多個(gè)單獨(dú)處理器提供。此外，術(shù)語“處理器”或“控制 器”的顯性使用不應(yīng)該理解成排他地指能夠執(zhí)行軟件的硬件，而是可以隱性地包括，但不局 限于，數(shù)字信號(hào)處理器(“DSP”)硬件、存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)訪問存儲(chǔ)器 (“RAM”)以及非易失性存儲(chǔ)器。也可以包括傳統(tǒng)的和/或定制的其它硬件。類似地，顯示在圖中的任何開關(guān)都只 是概念性的。它們的功能可以通過程序邏輯的運(yùn)算、通過專用邏輯、通過程序控制和專用邏 輯的交互、或甚至人工地實(shí)現(xiàn)，正如從上下文中更具體了解到的那樣，特定的技術(shù)可由實(shí)現(xiàn) 者選擇。在其權(quán)利要求書中，表達(dá)成執(zhí)行特定功能的裝置的任何元件旨在包含執(zhí)行那種功 能的任何方式，例如，包括a)執(zhí)行那種功能的電路元件的組合，或b)任何形式的軟件，因 此包括與執(zhí)行那種軟件的適當(dāng)電路結(jié)合執(zhí)行該功能的固件、微碼等。如這樣的權(quán)利要求書 定義的本原理在于如下事實(shí)以權(quán)利要求書要求的方式組合和匯集各種所述裝置提供的功 能。因此，應(yīng)該認(rèn)為可以提供那些功能的任何裝置都等效于本文所示的那些裝置。在說明書中提到本原理的“一個(gè)實(shí)施例”或“實(shí)施例”以及它的各種變體意味著結(jié) 合該實(shí)施例所述的特征、結(jié)構(gòu)、特性等包括在本原理的至少一個(gè)實(shí)施例中。因此，出現(xiàn)在整 個(gè)說明書中的各個(gè)地方的措詞“在一個(gè)實(shí)施例中”或“在實(shí)施例中”以及任何其它變體的出 現(xiàn)未必都指同一實(shí)施例。應(yīng)該懂得，如下“/”、“和/或”、和“至少一個(gè)”的任何一種的使用，例如，在“A/B，，、 “A和/或B”、和“A和B的至少一個(gè)”的情況下，旨在包含只有第一所列選項(xiàng)㈧的選擇，或 只有第二所列選項(xiàng)(B)的選擇，或兩個(gè)選項(xiàng)(A和B)的選擇。作為進(jìn)一步的例子，在“A、B、 和/或C”和“A、B、和C的至少一個(gè)”的情況下，這樣的措詞旨在包含只有第一所列選項(xiàng)(A) 的選擇，或只有第二所列選項(xiàng)(B)的選擇，或只有第三所列選項(xiàng)(C)的選擇，或只有第一和第二所列選項(xiàng)(A和B)的選擇，或只有第一和第三所列選項(xiàng)(A和C)的選擇，或只有第二和 第三所列選項(xiàng)(B和C)的選擇，或所有三個(gè)選項(xiàng)(A、B和C)的選擇。本領(lǐng)域的普通技術(shù)人 員容易明白，對(duì)于列出的許多項(xiàng)目，可以依此類推。此外，應(yīng)該懂得，雖然本文針對(duì)MPEG-4 AVC標(biāo)準(zhǔn)來描述本原理的一個(gè)或多個(gè)實(shí)施 例，但本原理不只局限于這種標(biāo)準(zhǔn)，因此，可以在保持本原理的精神的同時(shí)，針對(duì)其其它視 頻編碼標(biāo)準(zhǔn)、建議和外延，包括MPEG-4 AVC標(biāo)準(zhǔn)的外延，來使用本原理。并且，如本文所使用，措詞“全局”指的是與整個(gè)畫面、幀、或切片有關(guān)的一個(gè)或多 個(gè)項(xiàng)目(包括，但不局限于，信號(hào)統(tǒng)計(jì)量)。相反，如本文所使用，措詞“局部”指的是與畫面、 幀、或切片中的一個(gè)或多個(gè)，但少于所有的圖像塊有關(guān)的一個(gè)或多個(gè)項(xiàng)目(包括，但不局限 于，信號(hào)統(tǒng)計(jì)量)。轉(zhuǎn)到圖1，利用局部自適應(yīng)基準(zhǔn)濾波的示范性視頻編碼器用標(biāo)號(hào)100總體表示。該 編碼器100包括組合器105，它含有連接成與變換器110的輸入端信號(hào)通信的輸出端。變 換器110的輸出端被連接成與量化器115的輸入端信號(hào)通信。量化器115的輸出端被連接 成與熵編碼器130的第一輸入端和逆量化器120的輸入端信號(hào)通信。逆量化器120的輸出 端被連接成與逆變換器125的輸入端信號(hào)通信。逆變換器125的輸出端被連接成與組合器 170的第一非反相輸入端信號(hào)通信。組合器170的輸出端被連接成與分塊濾波器135的輸 入端信號(hào)通信。分塊濾波器135的輸出端被連接成與解碼基準(zhǔn)畫面緩沖器140的輸入端和 局部自適應(yīng)濾波估計(jì)器155的第一輸入端信號(hào)通信。解碼基準(zhǔn)畫面緩沖器140的輸出端被 連接成與局部自適應(yīng)濾波估計(jì)器巧5的第二輸入端和基準(zhǔn)畫面濾波器150的第二輸入端信 號(hào)通信。局部自適應(yīng)濾波估計(jì)器155的輸出端被連接成與基準(zhǔn)畫面濾波器150的第一輸入 端信號(hào)通信。基準(zhǔn)畫面濾波器150的輸出端被連接成與局部自適應(yīng)濾波基準(zhǔn)畫面緩沖器 145的輸入端信號(hào)通信。局部自適應(yīng)濾波基準(zhǔn)畫面緩沖器145的輸出端被連接成與運(yùn)動(dòng)/ 差異估計(jì)器160的第二輸入端和運(yùn)動(dòng)/差異補(bǔ)償器165的第二輸入端信號(hào)通信。運(yùn)動(dòng)/差 異估計(jì)器160的輸出端被連接成與運(yùn)動(dòng)/差異補(bǔ)償器165的第一輸入端和熵編碼器130的 第二輸入端信號(hào)通信。運(yùn)動(dòng)/差異補(bǔ)償器165的輸出端被連接成與組合器105的反相輸入 端和組合器170的第二非反相輸入端信號(hào)通信。組合器105的非反相輸入端和運(yùn)動(dòng)/差異估計(jì)器160的第一輸入端可用作編碼器 100的輸入端，用于接收輸入視頻。熵編碼器130的輸出端可用作編碼器100的輸入端，用 于輸出位流。轉(zhuǎn)到圖2，利用局部自適應(yīng)基準(zhǔn)濾波的示范性視頻解碼器用標(biāo)號(hào)200總體表示。該 視頻解碼器200包括熵解碼器205，它含有與逆量化器210的輸入端信號(hào)通信的第一輸出 端。逆量化器210的輸出端被連接成與逆變換器215的輸入端信號(hào)通信。逆變換器215的 輸出端被連接成與組合器220的第一非反相輸入端信號(hào)通信。組合器220的輸出端被連接 成與分塊濾波器225的輸入端信號(hào)通信。分塊濾波器225的輸出端被連接成與解碼基準(zhǔn)畫 面緩沖器250的輸入端和局部自適應(yīng)濾波估計(jì)器230的第二輸入端信號(hào)通信。解碼基準(zhǔn)畫 面緩沖器250的輸出端被連接成與局部自適應(yīng)濾波估計(jì)器230的第一輸入端和基準(zhǔn)畫面濾 波器235的第一輸入端信號(hào)通信。局部自適應(yīng)濾波估計(jì)器230的輸出端被連接成與基準(zhǔn)畫 面濾波器235的第二輸入端信號(hào)通信。基準(zhǔn)畫面濾波器235的輸出端被連接成與局部自適 應(yīng)濾波基準(zhǔn)畫面緩沖器240的輸入端信號(hào)通信。局部自適應(yīng)濾波基準(zhǔn)畫面緩沖器240的輸出端被連接成與運(yùn)動(dòng)/差異補(bǔ)償器245的第一輸入端信號(hào)通信。運(yùn)動(dòng)/差異補(bǔ)償器245的 輸出端被連接成與組合器220的第二非反相輸入端信號(hào)通信。熵解碼器205的第二輸出端 被連接成與運(yùn)動(dòng)/差異補(bǔ)償器M5的第二輸入端信號(hào)通信。熵解碼器205的輸入端可用作解碼器200的輸入端，用于接收位流。分塊濾波器 225的輸出端可用作解碼器200的輸出端，用于輸出畫面。如上所述，本原理旨在使用與運(yùn)動(dòng)補(bǔ)償內(nèi)插濾波和基準(zhǔn)畫面濾波有關(guān)的局部自適 應(yīng)濾波的方法和裝置。在一個(gè)實(shí)施例中，提出了將局部自適應(yīng)內(nèi)插濾波器(或局部自適應(yīng) 基準(zhǔn)濾波器)用于運(yùn)動(dòng)補(bǔ)償(MC)。這是為了使至少內(nèi)插濾波器和/或基準(zhǔn)濾波器局部適用 于畫面內(nèi)容，以便在畫面上局部訓(xùn)練內(nèi)插濾波器和/或基準(zhǔn)濾波器，以便至少使運(yùn)動(dòng)補(bǔ)償 畫面中選擇使用這樣濾波器的那些畫面區(qū)中的混疊和噪聲最小。在一個(gè)實(shí)施例中，我們?cè)试S適用于局部數(shù)據(jù)的內(nèi)插(和/或基準(zhǔn))濾波器的使用， 以便使濾波系數(shù)對(duì)于數(shù)據(jù)(例如，來自受限的一組數(shù)據(jù))的局部統(tǒng)計(jì)量而不是對(duì)于全局平 均統(tǒng)計(jì)量最優(yōu)化。在另一個(gè)實(shí)施例中，我們通過提出自適應(yīng)基準(zhǔn)濾波器，根據(jù)自適應(yīng)基準(zhǔn)濾 波器的概念來改進(jìn)。這樣，濾波器可以更好地適用于需要更好濾波的數(shù)據(jù)的局部特性。因此，本原理引入了用于運(yùn)動(dòng)補(bǔ)償?shù)木植孔赃m應(yīng)內(nèi)插濾波器。此外，本原理引入了 局部自適應(yīng)基準(zhǔn)幀濾波器的使用。視頻編碼器/解碼器中的自適應(yīng)基準(zhǔn)濾波在一個(gè)實(shí)施例中，我們?cè)诰幋a和解碼過程中弓丨入附加步驟來生成局部自適應(yīng)濾波 基準(zhǔn)畫面。在一個(gè)實(shí)施例中，在用于運(yùn)動(dòng)補(bǔ)償之前自適應(yīng)地濾波基準(zhǔn)畫面。在一個(gè)實(shí)施例中， 每個(gè)編碼宏塊使用至少一個(gè)濾波器。每個(gè)宏塊自適應(yīng)地優(yōu)化這個(gè)濾波器，以便將與當(dāng)前宏 塊有關(guān)的一組相鄰像素(來自基準(zhǔn)幀)濾波成與原始數(shù)據(jù)最一致。圖3示出了這樣相鄰像 素的例子。轉(zhuǎn)到圖3，包括用于濾波優(yōu)化的訓(xùn)練區(qū)的一組示范性畫面塊用標(biāo)號(hào)300總體表 示。對(duì)方塊300當(dāng)中也用陰影區(qū)表示的訓(xùn)練區(qū)310進(jìn)行濾波優(yōu)化。此后，將濾波這個(gè)相鄰 數(shù)據(jù)最好的濾波器用于濾波要用于預(yù)測當(dāng)前宏塊的任何基準(zhǔn)數(shù)據(jù)。在一個(gè)實(shí)施例中，來自“訓(xùn)練區(qū)”的使用的像素是來自經(jīng)受任何子像素內(nèi)插之前的 未濾波基準(zhǔn)的預(yù)測整數(shù)位置像素。按原始取樣網(wǎng)格將濾波操作應(yīng)用于解碼基準(zhǔn)畫面，以生成濾波形式的基準(zhǔn)畫面。對(duì)于子像素基準(zhǔn)，本文描述三種示范性手段，但在給出本文提供的本原理的教導(dǎo) 的情況下，本領(lǐng)域的普通技術(shù)人員可以在保持本原理的精神的同時(shí)，容易地設(shè)想出子像素 基準(zhǔn)的這些和其它示范性手段。第一種手段涉及將形成的濾波器用于全像素基準(zhǔn)濾波。第 二種手段涉及利用MPEG-4 AVC標(biāo)準(zhǔn)的內(nèi)插濾波器生成子像素，但基于來自如上所述獲得的 新基準(zhǔn)畫面的像素。第三種手段與用在上述第二種現(xiàn)有技術(shù)手段中的手段類似，涉及使用 自適應(yīng)濾波器生成子像素基準(zhǔn)。為了例示的目的，本文針對(duì)有限脈沖響應(yīng)(FIR)線性濾波器來描述本原理的一個(gè) 或多個(gè)實(shí)施例。但是，應(yīng)該懂得，本原理不只局限于HR濾波器，因此，也可以在保持本原理 的精神的同時(shí)，依照本原理的教導(dǎo)使用其它類型的濾波器。例如，也可以使用無限脈沖響應(yīng) (IIR)濾波器和非線性濾波器。此外，也可以像涉及多個(gè)解碼基準(zhǔn)畫面的三維濾波器那樣， 在濾波器的設(shè)計(jì)中考慮時(shí)間方法(temporal method)。這些和其它類型的濾波器和濾波方法可以在保持本原理的精神的同時(shí)，依照本原理的教導(dǎo)來使用。在自適應(yīng)濾波估計(jì)之后，可以在運(yùn)動(dòng)補(bǔ)償過程中動(dòng)態(tài)地局部應(yīng)用實(shí)際濾波操作， 或可以在用于補(bǔ)償之前首先濾波和存儲(chǔ)整個(gè)基準(zhǔn)畫面。在編碼過程中，通過找出使訓(xùn)練數(shù)據(jù)與原始數(shù)據(jù)之間的失真度量最小的濾波器， 局部地和自適應(yīng)地設(shè)計(jì)和配置濾波器，以便補(bǔ)償每個(gè)圖像塊的各種失匹配。利用濾波基準(zhǔn) 幀每個(gè)塊地進(jìn)行運(yùn)動(dòng)補(bǔ)償。在一個(gè)實(shí)施例中，由于在相應(yīng)解碼器上反向計(jì)算濾波系數(shù)，所以 無需發(fā)送每個(gè)塊的濾波系數(shù)。將局部自適應(yīng)濾波器的使用的最終允許或禁止發(fā)送給解碼 器，用于正確重構(gòu)。塊級(jí)濾波器選擇的信號(hào)可以，例如，在保持本原理的精神的同時(shí)，使用如 對(duì)于本領(lǐng)域的普通技術(shù)人員來說顯而易見的、包括多種眾所周知管理方法的任何一種的任 何信號(hào)發(fā)送方法來發(fā)送。對(duì)于基于特定MPEG-4 AVC標(biāo)準(zhǔn)的實(shí)施例，為了發(fā)送將哪個(gè)濾波器 用于編碼特定塊的信號(hào)，可以使用基準(zhǔn)索引機(jī)制。在解碼器側(cè)，以與編碼器相同的方式再現(xiàn) 局部自適應(yīng)濾波器。然后可以生成按每個(gè)解碼塊生成的相應(yīng)新基準(zhǔn)，以便適當(dāng)解碼視頻序 列。在一個(gè)實(shí)施例中，對(duì)于每個(gè)宏塊，自適應(yīng)濾波器使用包括如下兩個(gè)步驟(1)濾波 確定/估計(jì)；以及⑵運(yùn)動(dòng)估計(jì)/補(bǔ)償。濾波確定/估計(jì)對(duì)于每個(gè)塊，通過使基于訓(xùn)練區(qū)(參見圖3中的訓(xùn)練區(qū)310)的預(yù)測誤差的成本函 數(shù)最小來計(jì)算濾波系數(shù)。在估計(jì)過程中只涉及與當(dāng)前濾波器相聯(lián)系的像素(例如，訓(xùn)練區(qū) 中的像素)。成本函數(shù)可以是像，例如，平方差之和(SSD)、和/或絕對(duì)差之和(SAD)等那樣 的絕對(duì)像素差的任何非遞增函數(shù)。然后使用這個(gè)計(jì)算所得濾波器。因此，為了使解碼器在 解碼時(shí)可以隱性地導(dǎo)出濾波器，可以在濾波估計(jì)過程中將來自當(dāng)前編碼畫面的可用相鄰解 碼數(shù)據(jù)用作基準(zhǔn)用于成本函數(shù)。在一個(gè)實(shí)施例中，所得濾波器是使基準(zhǔn)數(shù)據(jù)最適合解碼重 構(gòu)數(shù)據(jù)的訓(xùn)練區(qū)中的預(yù)測的濾波器。運(yùn)動(dòng)估計(jì)/補(bǔ)償借助于在前一步驟中計(jì)算的濾波器計(jì)算基準(zhǔn)畫面，以便進(jìn)行運(yùn)動(dòng)補(bǔ)償。取決于編 碼成本和失真的度量，可以使用或不使用局部自適應(yīng)基準(zhǔn)濾波器編碼給定塊。在一個(gè)實(shí)施 例中，將相應(yīng)輔助信息發(fā)送給解碼器，以便使解碼器可以選擇操作模式。在一個(gè)實(shí)施例中，當(dāng)使用局部自適應(yīng)基準(zhǔn)濾波器時(shí)，可以避免子像素濾波器的使 用。在另一個(gè)實(shí)施例中，可以根據(jù)宏塊自適應(yīng)地選擇子像素濾波器的使用。此外，在一個(gè)實(shí) 施例中，可以按宏塊自適應(yīng)地允許或禁止局部自適應(yīng)基準(zhǔn)濾波器的使用。表1示出了依照本原理的一個(gè)實(shí)施例、包括在宏塊級(jí)別上開啟/關(guān)閉局部自適應(yīng) 基準(zhǔn)濾波器的使用所需的標(biāo)志的宏塊數(shù)據(jù)語法。表 權(quán)利要求
1.一種裝置，包含編碼畫面數(shù)據(jù)的編碼器(100)，其中所述編碼器(100)包括至少一個(gè)局部自適應(yīng)濾波 器(150)，用于關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種的局部自適應(yīng) 濾波。
2.如權(quán)利要求1所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，并根據(jù)從當(dāng)前畫面和基 準(zhǔn)畫面導(dǎo)出的信息確定用于局部自適應(yīng)濾波的濾波系數(shù)和濾波器數(shù)量的至少一個(gè)。
3.如權(quán)利要求1所述的裝置，其中至少一個(gè)局部自適應(yīng)濾波器(150)的至少一個(gè)用于 生成局部自適應(yīng)濾波所得的至少一個(gè)濾波畫面中的完整像素和子像素的至少一種。
4.如權(quán)利要求1所述的裝置，其中能夠使多個(gè)濾波基準(zhǔn)畫面用在編碼畫面數(shù)據(jù)中，并 且能夠按塊使用或不使用局部自適應(yīng)濾波。
5.如權(quán)利要求1所述的裝置，其中以一維、二維或三維的任何一種應(yīng)用至少一個(gè)局部 自適應(yīng)濾波器(150)的至少一個(gè)。
6.如權(quán)利要求1所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出至少一個(gè)局 部自適應(yīng)濾波器(150)的至少一個(gè)的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的運(yùn)動(dòng)信息。
7.如權(quán)利要求1所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出至少一個(gè)局 部自適應(yīng)濾波器(150)的至少一個(gè)的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的強(qiáng)度信息和顏 色信息的至少一種。
8.如權(quán)利要求1所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和根據(jù)訓(xùn)練數(shù)據(jù)導(dǎo)出用 于局部自適應(yīng)濾波的濾波系數(shù)。
9.如權(quán)利要求8所述的裝置，其中訓(xùn)練數(shù)據(jù)包含當(dāng)前畫面和基準(zhǔn)畫面的至少一個(gè)中的 局部相鄰像素。
10.一種方法，包含將局部自適應(yīng)濾波用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種地編碼畫面數(shù)據(jù)(400)。
11.如權(quán)利要求10所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，并根據(jù)從當(dāng)前畫面 和基準(zhǔn)畫面導(dǎo)出的信息確定用于局部自適應(yīng)濾波的濾波系數(shù)和濾波器數(shù)量的至少一個(gè) (415)。
12.如權(quán)利要求10所述的方法，其中至少一個(gè)局部自適應(yīng)濾波器用于生成局部自適應(yīng) 濾波所得的至少一個(gè)濾波畫面中的完整像素和子像素的至少一種(420)。
13.如權(quán)利要求10所述的方法，其中能夠使多個(gè)濾波基準(zhǔn)畫面用在編碼畫面數(shù)據(jù)中， 并且能夠按塊使用或不使用局部自適應(yīng)濾波(410)。
14.如權(quán)利要求10所述的方法，其中以一維、二維或三維的任何一種應(yīng)用用于局部自 適應(yīng)濾波的局部自適應(yīng)濾波器。
15.如權(quán)利要求10所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出用于局部 自適應(yīng)濾波的局部自適應(yīng)濾波器的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的運(yùn)動(dòng)信息(415)。
16.如權(quán)利要求10所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出用于局部 自適應(yīng)濾波的局部自適應(yīng)濾波器的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的強(qiáng)度信息和顏色 信息的至少一種(415)。
17.如權(quán)利要求10所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和根據(jù)訓(xùn)練數(shù)據(jù)導(dǎo)出 用于局部自適應(yīng)濾波的濾波系數(shù)(415)。
18.如權(quán)利要求17所述的方法，其中訓(xùn)練數(shù)據(jù)包含當(dāng)前畫面和基準(zhǔn)畫面的至少一個(gè)中 的局部相鄰像素(415)。
19.一種裝置，包含解碼畫面數(shù)據(jù)的解碼器(200)，其中所述解碼器(200)包括至少一個(gè)局部自適應(yīng)濾波 器(235)，用于關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種的局部自適應(yīng) 濾波。
20.如權(quán)利要求19所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，并根據(jù)從當(dāng)前畫面和 基準(zhǔn)畫面導(dǎo)出的信息確定用于局部自適應(yīng)濾波的濾波系數(shù)和濾波器數(shù)量的至少一個(gè)。
21.如權(quán)利要求19所述的裝置，其中至少一個(gè)局部自適應(yīng)濾波器(235)的至少一個(gè)用 于生成局部自適應(yīng)濾波所得的至少一個(gè)濾波畫面中的完整像素和子像素的至少一種。
22.如權(quán)利要求19所述的裝置，其中能夠使多個(gè)濾波基準(zhǔn)畫面用在解碼畫面數(shù)據(jù)中， 并且能夠按塊使用或不使用局部自適應(yīng)濾波。
23.如權(quán)利要求19所述的裝置，其中以一維、二維或三維的任何一種應(yīng)用至少一個(gè)局 部自適應(yīng)濾波器(235)的至少一個(gè)。
24.如權(quán)利要求19所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出至少一個(gè) 局部自適應(yīng)濾波器(235)的至少一個(gè)的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的運(yùn)動(dòng)信息。
25.如權(quán)利要求19所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出至少一個(gè) 局部自適應(yīng)濾波器(235)的至少一個(gè)的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的強(qiáng)度信息和 顏色信息的至少一種。
26.如權(quán)利要求19所述的裝置，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和根據(jù)訓(xùn)練數(shù)據(jù)導(dǎo)出 用于局部自適應(yīng)濾波的濾波系數(shù)。
27.如權(quán)利要求26所述的裝置，其中訓(xùn)練數(shù)據(jù)包含當(dāng)前畫面和基準(zhǔn)畫面的至少一個(gè)中 的局部相鄰像素。
28.一種方法，包含將局部自適應(yīng)濾波用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種地解碼畫面數(shù)據(jù)(500)。
29.如權(quán)利要求28所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，并根據(jù)從當(dāng)前畫面 和基準(zhǔn)畫面導(dǎo)出的信息確定用于局部自適應(yīng)濾波的濾波系數(shù)和濾波器數(shù)量的至少一個(gè) (515)。
30.如權(quán)利要求28所述的方法，其中至少一個(gè)局部自適應(yīng)濾波器用于生成局部自適應(yīng) 濾波所得的至少一個(gè)濾波畫面中的完整像素和子像素的至少一種(520)。
31.如權(quán)利要求28所述的方法，其中能夠使多個(gè)濾波基準(zhǔn)畫面用在解碼畫面數(shù)據(jù)中， 并且能夠按塊使用或不使用局部自適應(yīng)濾波(510)。
32.如權(quán)利要求28所述的方法，其中以一維、二維或三維的任何一種應(yīng)用用于局部自 適應(yīng)濾波的局部自適應(yīng)濾波器。
33.如權(quán)利要求28所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出用于局部 自適應(yīng)濾波的局部自適應(yīng)濾波器的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的運(yùn)動(dòng)信息(515)。
34.如權(quán)利要求28所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和用于導(dǎo)出用于局部 自適應(yīng)濾波的局部自適應(yīng)濾波器的信息包含當(dāng)前畫面與基準(zhǔn)畫面之間的強(qiáng)度信息和顏色 信息的至少一種(515)。
35.如權(quán)利要求28所述的方法，其中畫面數(shù)據(jù)對(duì)應(yīng)于當(dāng)前畫面，和根據(jù)訓(xùn)練數(shù)據(jù)導(dǎo)出 用于局部自適應(yīng)濾波的濾波系數(shù)(515)。
36.如權(quán)利要求35所述的方法，其中訓(xùn)練數(shù)據(jù)包含當(dāng)前畫面和基準(zhǔn)畫面的至少一個(gè)中 的局部相鄰像素(515)。
37.一種用于視頻編碼的視頻信號(hào)結(jié)構(gòu)，包含通過關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種的局部自適應(yīng)濾波 編碼的畫面數(shù)據(jù)。
38.一種含有編碼在上面的視頻信號(hào)數(shù)據(jù)的存儲(chǔ)媒體，包含通過關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種的局部自適應(yīng)濾波 編碼的畫面數(shù)據(jù)。
全文摘要
本發(fā)明提供了將局部自適應(yīng)濾波用于運(yùn)動(dòng)補(bǔ)償內(nèi)插和基準(zhǔn)畫面濾波的方法和裝置。該裝置包括編碼畫面數(shù)據(jù)的編碼器(100)。該編碼器(100)包括至少一個(gè)局部自適應(yīng)濾波器(150)，用于關(guān)于畫面數(shù)據(jù)進(jìn)行用于基準(zhǔn)畫面濾波和內(nèi)插濾波的至少一種的局部自適應(yīng)濾波。
文檔編號(hào)H04N7/50GK102067600SQ200980122298
公開日2011年5月18日 申請(qǐng)日期2009年6月5日 優(yōu)先權(quán)日2008年6月12日
發(fā)明者喬爾·索爾, 奧斯卡·迪沃拉埃斯科達(dá), 尹澎, 鄭云飛 申請(qǐng)人:湯姆森特許公司