專利名稱：時間預(yù)測濾波器對不規(guī)則運(yùn)動矢量采樣進(jìn)行的自適應(yīng)運(yùn)動估計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域。
背景技術(shù)：
在視頻壓縮處理中使用時間預(yù)測濾波器(temporal prediction filter)、根據(jù)一組經(jīng)預(yù)先解碼的參考圖像來預(yù)測目標(biāo)圖像。時間預(yù)測處理在去除大 量的時間冗余度方面是很有效的，這一般會得到較高的編碼效率。預(yù)測處 理使用一組運(yùn)動矢量和對該運(yùn)動矢量進(jìn)行操作的濾波器來預(yù)測目標(biāo)圖像。例如，如圖l所示，預(yù)測方法將參考圖像IIO分割成多個固定大小的 塊120。每一個塊都具有關(guān)聯(lián)運(yùn)動矢量，用以描述該塊相對于目標(biāo)圖像的 運(yùn)動。在圖像110中，運(yùn)動矢量用白點來示出。時間預(yù)測濾波器使用該關(guān) 聯(lián)運(yùn)動矢量來對參考圖像中的每一個塊執(zhí)行簡單的運(yùn)動補(bǔ)償技術(shù)，以預(yù)測 該塊在目標(biāo)圖像中的位置。因此，目標(biāo)圖像中的每一個塊是使用一個運(yùn)動 矢量、根據(jù)參考圖像中的塊來估計的。但是，這個方法獨立地處理每一個 運(yùn)動矢量，并且對圖像特征沒有自適應(yīng)性。使用一個運(yùn)動矢量來預(yù)測關(guān)聯(lián)塊的位置或者依賴于針對規(guī)則運(yùn)動矢量 布局來限定的濾波器的傳統(tǒng)時間濾波器需要規(guī)則分布的運(yùn)動矢量來執(zhí)行時 間預(yù)測。因此，它們無法使預(yù)測處理適應(yīng)運(yùn)動矢量的不規(guī)則布局。需要這 樣一種濾波器，該濾波器能夠針對運(yùn)動矢量的不規(guī)則布局的變化而在本地 調(diào)整其抽頭和濾波器系數(shù)，并且還能夠針對物體邊界和空間紋理來靈活地 進(jìn)行調(diào)整。還需要一種有效且高效的運(yùn)動估計過程，該過程能夠使用時間 濾波器、通過考慮相鄰運(yùn)動矢量的影響來估計每一個運(yùn)動矢量值。發(fā)明內(nèi)容一種方法，包括接收目標(biāo)圖像的不規(guī)則布局的運(yùn)動矢量，估計每-一個運(yùn)動矢量的初始值，使用運(yùn)動矢量來生成自適應(yīng)時間預(yù)測濾波器的抽頭 結(jié)構(gòu)，以及使用抽頭結(jié)構(gòu)來重估計每一個運(yùn)動矢量的值。


本發(fā)明是通過示例的方式來說明的，并且通過參考以下說明并結(jié)合附 圖可以更好地理解本發(fā)明，在附圖中圖1示出了傳統(tǒng)的基于塊的時間濾波器的示例； 圖2示出了自適應(yīng)時間濾波過程的示例；圖3和4示出了在自適應(yīng)時間濾波過程中使用的不規(guī)則布局的運(yùn)動矢量和影響單元范圍的示例；圖5A示出了利用自適應(yīng)時間濾波器來執(zhí)行的預(yù)測的示例；圖5B示出了在自適應(yīng)時間濾波過程中使用的運(yùn)動矢量的總影響范圍的示例；圖6示出了可以在自適應(yīng)時間濾波過程中使用的誤差降低方法的示例；圖7示出了利用自適應(yīng)時間濾波器來執(zhí)行的、根據(jù)多個參考圖像來預(yù) 測目標(biāo)圖像的示例；圖8示出了可以在自適應(yīng)時間濾波過程中使用的誤差降低方法的另一 個示例；圖9示出了使用自適應(yīng)時間濾波器的編碼系統(tǒng)的示例；圖IO示出了使用自適應(yīng)影響范圍濾波器的解碼系統(tǒng)的示例；以及圖11示出了使用自適應(yīng)影響范圍濾波器的數(shù)字相機(jī)系統(tǒng)的示例。
具體實施方式
在以下描述中，參考了形成本文的一部分的附圖，該附圖通過圖示的 方式示出了可以實施本發(fā)明的特定實施例。將會了解，在不脫離本發(fā)明的 范圍的情況下可以采用其它實施例并且可以進(jìn)行結(jié)構(gòu)改變。例如，本領(lǐng)域 的技術(shù)人員將明白用于描述各個實施例的術(shù)語場、幀、圖像在結(jié)合視頻數(shù) 據(jù)使用時一般是可以互換的。對不規(guī)則布局的運(yùn)動矢量應(yīng)用自適應(yīng)時間預(yù)測濾波器，以產(chǎn)生目標(biāo)圖 像的預(yù)測。在一個實施例中，運(yùn)動矢量的每一個估計是針對該不規(guī)則布 局、相對于自適應(yīng)時間濾波器的抽頭結(jié)構(gòu)來確定的。所述估計在兩個階段 中進(jìn)行。在第一階段中，獨立于濾波器抽頭的結(jié)構(gòu)來確定運(yùn)動矢量的初始 估計。在第二階段中，在每一個運(yùn)動矢量的值的重估計期間使用了抽頭結(jié) 構(gòu)。應(yīng)用于特定運(yùn)動矢量的抽頭結(jié)構(gòu)是根據(jù)相鄰運(yùn)動矢量的本地布局來生 成的，從而在該特定運(yùn)動矢量的估計中包括它們的影響。在一些實施例 中，使用自適應(yīng)像素影響區(qū)域和自適應(yīng)搜索窗來降低重估計處理的執(zhí)行復(fù) 雜度。重估計運(yùn)動矢量的值可以使用非自適應(yīng)或自適應(yīng)的重估計過程來執(zhí) 行。非自適應(yīng)的慢速重估計涉及在具有固定跨度的搜索窗中進(jìn)行全面搜索 以得到特定運(yùn)動矢量的值。致使最大程度地降低預(yù)測誤差的運(yùn)動矢量的值 被選擇作為新值。
自適應(yīng)時間濾波過程的一個示例在圖2中示出。在210中，針對圖像 來生成運(yùn)動矢量的不規(guī)則采樣布局?？梢允褂帽绢I(lǐng)域技術(shù)人員己知的方 法、按各種方式來進(jìn)行這樣的不規(guī)則布局。運(yùn)動矢量的不規(guī)則布局的一個
示例在圖3的塊310中示出。圖像310中的白點表示運(yùn)動矢量。對于這個 自適應(yīng)采樣布局，運(yùn)動矢量更加集中于很難根據(jù)參考圖像來預(yù)測的區(qū)域 (即，具有更加復(fù)雜的運(yùn)動的圖像區(qū)域，例如，接近移動邊界的區(qū)域) 中。在簡單的運(yùn)動區(qū)域(例如，圖像背景區(qū)域)中放置較少的運(yùn)動矢量。
運(yùn)動矢量的不規(guī)則布局的另一個示例在圖4中示出。陰影圓圈表示運(yùn) 動矢量，而各個x表示將被預(yù)測的像素。像素420位于密集填充且不規(guī)則 分布的運(yùn)動矢量的本地鄰域中，像素410位于具有準(zhǔn)規(guī)則分布的運(yùn)動矢量 的本地鄰域中，而像素430位于稀疏填充的運(yùn)動矢量的本地鄰域中。
返回到圖2，在220中，所述圖像被分割成多個單元，稱為具有影響 的單元(AOI (are of influence) cell)，其中，注意，每一個AOI單元都 具有一個運(yùn)動矢量。例如，圖3的圖像310被分割成如塊320所示的AOI 單元。每一個AOI單元都表示這樣一個區(qū)域，該區(qū)域受該單元內(nèi)部的運(yùn)動 矢量的影響大于受圖像中的其它運(yùn)動矢量的影響。由于AOI單元是針對每 一個運(yùn)動矢量來生成的，所以AOI單元的大小可能與圖像中的物體的特征(例如，邊界區(qū)域)相關(guān)。例如，接近物體之間的邊界區(qū)域的AOI單元可
能小于圖像背景區(qū)域中的AOI單元。此外，可能對AOI單元的形狀進(jìn)行 局部修改，以適應(yīng)物體邊界的形狀。用于生成AOI單元的方法的一個實施 例是距離最近運(yùn)動矢量分割方法。也可以使用其它分割方法，例如，分塊 法或三角形法。
如圖2所示，在230中，執(zhí)行初始運(yùn)動估計以確定每一個AOI單元中 的運(yùn)動矢量的初始值。初始運(yùn)動估計將與運(yùn)動矢量相關(guān)聯(lián)的AOI單元映射 到參考圖像中的相應(yīng)單元，并測量兩個單元之間的位移。這個位移提供了 每一個運(yùn)動矢量的初始值。因此，初始值并不反映任何來自周圍運(yùn)動矢量 的影響，原因在于它是通過這種單元-單元映射和位移測量來確定的。因 此，特定運(yùn)動矢量的初始值獨立于其它運(yùn)動矢量。
在圖2中，在235中，生成自適應(yīng)時間預(yù)測濾波器，用以使用運(yùn)動矢 量的不規(guī)則布局和影響單元的范圍來預(yù)測目標(biāo)圖像中的像素。該濾波器具 有以下結(jié)構(gòu)。令(vj)表示N個運(yùn)動矢量的集合，并且令I(lǐng)(x)表示參考圖像 (預(yù)先經(jīng)過解碼的圖像)。令S(x)表示在像素x的位置周圍的某一運(yùn)動矢 量集合。該目標(biāo)像素x的預(yù)測一般可以表示為
<formula>formula see original document page 10</formula>其中，"}是濾波器系數(shù)的集合，并且x+v,是在運(yùn)動矢量v,被應(yīng)用于像素 x時的運(yùn)動補(bǔ)償像素。濾波器的支撐(support)或抽頭用集合S(x)來定 義。抽頭支撐S(x)和濾波器系數(shù)(fJ一般是像素位置x和其相鄰運(yùn)動矢量的
函數(shù)。即，濾波器系數(shù)可以針對各個像素而變化，原因在于運(yùn)動矢量的分 布在整個圖像中變化。因此，濾波器針對該變化的運(yùn)動矢量布局而進(jìn)行局 部調(diào)整。
在240中，對目標(biāo)圖像應(yīng)用自適應(yīng)時間預(yù)測濾波，以執(zhí)行目標(biāo)圖像的 時間預(yù)測。在時域中應(yīng)用濾波，以生成被賦予了運(yùn)動矢量值的集合和采樣 布局的目標(biāo)圖像的預(yù)測結(jié)果。濾波器使用由重疊區(qū)域的范圍定義的濾波器 抽頭和濾波器系數(shù)來捕獲與將被預(yù)測的像素相鄰的運(yùn)動矢量的關(guān)聯(lián)性。這 類預(yù)測濾波器的一個示例是在Marco Paniconi等人的、題為"ADAPTIVE AREA OF INFLUENCE FILTER"的共同待決美國申請No. XX/XXX,XXX(代理人巻號為50U6045)中公開的影響范圍濾波器，該申請與本申請是
同時提出的，并且通過引用而結(jié)合于此；另一個示例是用于經(jīng)運(yùn)動補(bǔ)償?shù)?br> 信號的三角濾波器。
應(yīng)用濾波以生成時間預(yù)測的一個示例在圖5A中示出。參考圖像502 中的像素被用于預(yù)測目標(biāo)圖像504中的像素。參考像素用參考圖像502中 的實線圓圈來表示，并且將被預(yù)測的目標(biāo)像素用目標(biāo)圖像504中的虛線圓 圈來表示。濾波器使用本地運(yùn)動矢量V，到Vs的抽頭結(jié)構(gòu)來形成目標(biāo)圖像 504中的像素x的預(yù)測。這些運(yùn)動矢量處于像素x的本地，原因在于它們 各自的AOI單元中的每一個都與像素x的AOI單元的至少一部分相重 疊。抽頭結(jié)構(gòu)中的各個運(yùn)動矢量^}被映射到參考圖像502中的圖像數(shù)據(jù) (IJ。自適應(yīng)時間預(yù)測濾波器利用濾波器權(quán)重{^來調(diào)整參考數(shù)據(jù){1;}，從 而預(yù)測像素x。
在一個實施例中，預(yù)測濾波器使用抽頭結(jié)構(gòu)和濾波器權(quán)重、根據(jù)下式
來生成預(yù)測
預(yù)測二I! */! +12 * /2 +13 */3 +14 * /4 +15 */5 其中，用本地運(yùn)動矢量來定義的濾波器抽頭和濾波器系數(shù)(fj是在濾波器 被生成時確定的。
返回到圖2，在250中，由濾波器生成的預(yù)測結(jié)果被用于重估計運(yùn)動 矢量的值，從而提高自適應(yīng)濾波器的精確度。在260中，如果需要降低預(yù) 測誤差，則該方法返回到240。否則，在270中處理結(jié)束。特定運(yùn)動矢量 的值的重估計被執(zhí)行以反映其它運(yùn)動矢量對該特定運(yùn)動矢量的影響。特定 AOI單元表示這樣的像素的區(qū)域，該像素受到該單元內(nèi)部的運(yùn)動矢量的影 響多于受到圖像中的任何其它運(yùn)動矢量的影響。
但是，相鄰AOI單元的運(yùn)動矢量的影響延展到了所述特定AOI單元的 多個部分中。例如，如圖5B所示，目標(biāo)圖像510具有不規(guī)則布局的運(yùn)動 矢量(由黑色圓圈來示出)，以及將被預(yù)測的像素(由白色圓圈來示 出)。在塊520中，目標(biāo)圖像510被分割成AOI單元，AOI單元的邊界用 虛線來示出。塊530示出了運(yùn)動矢量532對目標(biāo)圖像中的像素的總體影 響。 一般而言，特定運(yùn)動矢量的影響的總范圍延展至其AOI單元之外，從 而影響在相鄰AOI單元中的像素。例如，運(yùn)動矢量532的影響的總范圍(如虛線圓圈所示)延展到了相鄰運(yùn)動矢量531、 533、 534、 535、 536、 537和538的AOI單元中的一些像素。
運(yùn)動矢量532的初始值是在沒有考慮相鄰運(yùn)動矢量的影響的情況下確 定的。因此，為了預(yù)測關(guān)聯(lián)AOI單元中的像素的值，對運(yùn)動矢量532的值 進(jìn)行重估計，以反映關(guān)聯(lián)AOI單元內(nèi)的相鄰運(yùn)動矢量的影響。運(yùn)動矢量的 重估計值被自適應(yīng)時間預(yù)測濾波器用于預(yù)測目標(biāo)圖像中的像素的值。重估 計的結(jié)果是，減小了運(yùn)動矢量532的影響單元范圍中的所有像素的預(yù)測誤 差。
例如，圖5B的塊540示出了將被預(yù)測的目標(biāo)像素542。在運(yùn)動矢量 532的AOI單元內(nèi)部的目標(biāo)像素542受到運(yùn)動矢量532的影響最大。該目 標(biāo)像素還部分地受到相鄰運(yùn)動矢量534、 536和538的影響。這四個運(yùn)動 矢量形成了自適應(yīng)時間預(yù)測濾波器的抽頭結(jié)構(gòu)，其由圍繞所述運(yùn)動矢量的 矩形來表示。相鄰運(yùn)動矢量對目標(biāo)像素542的重疊影響被計算得到，以生 成在該抽頭結(jié)構(gòu)中的、運(yùn)動矢量的濾波器系數(shù)。每一個濾波器系數(shù)表示特 定運(yùn)動矢量對目標(biāo)像素的相對影響。時間預(yù)測濾波器使用抽頭結(jié)構(gòu)和濾波 器系數(shù)來生成目標(biāo)像素542的預(yù)測。
為了重估計特定運(yùn)動矢量，通過確定該運(yùn)動矢量的影響的總范圍來考 慮該運(yùn)動矢量對相鄰AOI單元中的像素的重疊影響，如在圖5B的塊530 中所示出的。運(yùn)動矢量的影響范圍被定義成集合ATi:
<formula>formula see original document page 12</formula> (2)
因此，對于特定的運(yùn)動矢量i，影響范圍是濾波器系數(shù)大于閾值T的各個 像素&}。運(yùn)動矢量i的影響的總像素范圍被定義為A，、運(yùn)動矢量的影 響的主要范圍用較大的閾值(例如，A^g'5)來定義。
影響的重疊范圍的另一個示例使用濾波器系數(shù)和預(yù)測誤差。在該示例 中，影響的重疊范圍是
其中，目標(biāo)像素X的預(yù)測誤差信號的幅度是
因此，對于特定運(yùn)動矢量i，其影響范圍是其濾波器系數(shù)和預(yù)測誤差幅度之積大于閾值T的各個像素{》}。運(yùn)動矢量i的影響的總像素范圍被 定義為A，g。該運(yùn)動矢量的影響的主要范圍使用較大閾值來定義，例如，AiT~05。由于運(yùn)動矢量i的存在而導(dǎo)致的平均預(yù)測誤差是通過對該運(yùn)動矢量的 影響范圍中的所有像素的誤差求和來確定的，可得《=Ze2(x) (4)其中，T控制了以上所論述的運(yùn)動矢量的影響范圍的大小。重估計過程的一個示例在圖6中示出。在610中，運(yùn)動矢量被根據(jù)它 們的預(yù)測誤差來分類。在列表頂部的運(yùn)動矢量在被預(yù)測的圖像中產(chǎn)生最大 誤差，并且在612中被選擇以對其進(jìn)行重估計。在615中，對所選擇的運(yùn) 動矢量的影響的總范圍進(jìn)行計算，以得到A，0，其中，i表示被選擇的運(yùn) 動矢量。在620中，對集合Ar^中的所有像素的預(yù)測誤差進(jìn)行計算，以得 到e，0。在630中，對搜索窗的跨度進(jìn)行確定，該搜索窗的跨度被表示為 {SWp SW2}，其中，SW,是用于運(yùn)動矢量的x分量的搜索窗，而SW2是 用于運(yùn)動矢量的y分量的搜索窗。在一個實施例中，搜索窗具有固定跨 度，該固定跨度被系統(tǒng)設(shè)置為輸入?yún)?shù)。例如，該搜索窗的跨度可以等于 影響的范圍。在640中，運(yùn)動矢量的x分量(vxi)和y分量(vyi)在搜索窗的固定跨度內(nèi)變化<formula>formula see original document page 13</formula> ，使集合A，o中的像素的預(yù)測誤差e，q進(jìn)行最小化所選擇的運(yùn)動 矢量的值被確定。在660中，利用在650中確定的值來更新運(yùn)動矢量的 值。在670中，如果需要對另一個運(yùn)動矢量進(jìn)行重估計，則處理返回到 610。否則，處理在680結(jié)束。在一些實施例中，可以對圖6的方法進(jìn)行修改以執(zhí)行自適應(yīng)重估計。 重估計處理中的大部分復(fù)雜度都來自為具有大影響范圍的運(yùn)動矢量識別最 佳值。但是，運(yùn)動矢量的大影響范圍通常源自在影響范圍內(nèi)的大幅度的連貫運(yùn)動。對于具有低密度的運(yùn)動矢量的圖像區(qū)域(即，大AOI單元)，重 估計處理可以通過下述方式來降低重估計運(yùn)動矢量的復(fù)雜度，所述方式是(a)使用較小的搜索窗，(b)降低在計算預(yù)測誤差時使用的影響范圍， (c)使用分層搜索，或者(d)執(zhí)行(a) 、 (b)和(c)的任意組合。 對于具有高密度的運(yùn)動矢量的圖像區(qū)域，特定運(yùn)動矢量的影響范圍一 般很小，并且運(yùn)動通常更加不連貫。對于這些區(qū)域，各個運(yùn)動矢量的值可 以使用覆蓋大部分(如果不是全部的話)的關(guān)聯(lián)影響范圍的搜索窗來進(jìn)行 重估計，而沒有極大地增加執(zhí)行重估計處理的計算復(fù)雜度。自適應(yīng)方面可以如下所述地包括在圖6的重估計處理中，在615中， 處理使用濾波器系數(shù)的幅度和預(yù)測誤差來縮小影響范圍的大小，從而計算 自適應(yīng)影響范圍。這可以增加處理的執(zhí)行速度。例如，運(yùn)動矢量的總影響 范圍AT^可能涉及大量像素，其中的一些像素在運(yùn)動矢量的值變化時對預(yù) 測誤差并沒有很大的影響。為了降低復(fù)雜度，閾值T#0被用于縮小運(yùn)動 矢量的影響范圍。這個閾值還自適應(yīng)于運(yùn)動矢量的不規(guī)則分布。例如，可 以設(shè)置默認(rèn)閾值Ti"0.1;對于具有較大影響范圍A^〉C,的運(yùn)動矢量， 該閾值可以增加到較大值，例如，T2"0.25。在另一個實施例中，在615中，處理使用空間活動(spatial activity) 來計算自適應(yīng)的影響范圍?？臻g活動被限定在下述經(jīng)過補(bǔ)償?shù)南袼刂車?所述經(jīng)過補(bǔ)償?shù)南袼卦趨⒖紙D像中被使用運(yùn)動矢量的初始值來標(biāo)識。被映 射到參考圖像內(nèi)的低空間活動區(qū)域的像素一般對運(yùn)動矢量的值具有較小的 影響。高空間活動區(qū)域?qū)\(yùn)動矢量的值的選擇起支配作用。在這個實施例 中，針對影響范圍ATi中的每一個像素來計算本地空間活動值。通過使用本地空間活動值在閾值Csa之上的像素可以縮小各個運(yùn)動矢量的影響范圍，并因此縮小執(zhí)行重估計的復(fù)雜度。在630中，自適應(yīng)處理可以根據(jù)初始預(yù)測誤差來調(diào)整搜索窗的跨度， 而不是使用整個影響范圍作為搜索窗。例如，具有較小的預(yù)測誤差的運(yùn)動 矢量通常處在具有連貫動作和稀疏的運(yùn)動矢量密度的圖像區(qū)域中。對于這 類運(yùn)動矢量，沒有必要大范圍的搜索窗，原因在于該運(yùn)動矢量的初始值總 是接近于最佳值。因此，可以將搜索窗的大小縮小a倍?？商娲?，在630中，處理可以根據(jù)初始運(yùn)動矢量的幅度來調(diào)整搜索窗。對于初始值非常小(例如，|P|<M，其中M是閾值幅度)的運(yùn)動矢 量，該運(yùn)動矢量的重估計值可以預(yù)期也是很小(即，小于M)。因此，可 以將搜索窗縮小P倍，而只輕微地降低了預(yù)測性能。在一些實施例中，自適應(yīng)處理可以對具有大影響范圍的運(yùn)動矢量的重 估計值執(zhí)行粗-精搜索。例如，具有大影響范圍的運(yùn)動矢量通常對應(yīng)于具有 大量連貫動作的圖像區(qū)域。對于這類運(yùn)動矢量，可以在640中執(zhí)行兩歩搜 索過程。首先，使用T的較大值在搜索窗內(nèi)粗歩地改變運(yùn)動矢量的值。然 后，使用較小的T來精細(xì)地改變運(yùn)動矢量的值。當(dāng)影響范圍的大小大于閾值C2時可以應(yīng)用這種粗-精搜索過程。在一些實施例中，可以將重估計過程與多個參考圖像一起使用。對于 多個參考圖像，運(yùn)動矢量除了運(yùn)動矢量值之外還具有模式映射，如圖7所 示。例如，如果使用兩個參考圖像，則模式映射p是0、 1、或1/2。當(dāng)Pi =0時，運(yùn)動矢量m使用參考圖像720來預(yù)測目標(biāo)圖像730。當(dāng)p,二l時， 運(yùn)動矢量m使用參考圖像710來預(yù)測目標(biāo)圖像730。當(dāng)pi二l/2時，運(yùn)動矢 量m取根據(jù)每個參考圖像的預(yù)測的平均。參考圖像710和720的兩個運(yùn)動 矢量集合分別被表示為氣 在這個示例中，參考圖2的240，式(1)的時間預(yù)測濾波器被擴(kuò)展成 包括兩個參考圖像<formula>formula see original document page 15</formula>5)類似地，對于每一個運(yùn)動向量存在兩個預(yù)測誤差的集合，(ei,o,ee,0，其是 針對Pi={0,l}、根據(jù)式(3)和(4)來分別獲得的。用于預(yù)測圖7所示的 目標(biāo)像素的濾波器是<formula>formula see original document page 15</formula>當(dāng)使用多個參考圖像時，重估計運(yùn)動矢量值的步驟包括估計相對于時 間預(yù)測濾波器的模式映射，以及改變兩個運(yùn)動向量的值。在確定一個運(yùn)動 矢量的最佳值和模式映射時，另一個運(yùn)動矢量的值保持不變。這個處理被 重復(fù)以改變先前不變的值，并且固定住先前變化的值。對于首先改變哪個值的選擇是使用運(yùn)動矢量的預(yù)測誤差來確定的。首先改變具有較大的預(yù)測 誤差的運(yùn)動矢量。在另一個實施例中，同時對兩個運(yùn)動矢量集合和模式映 射進(jìn)行優(yōu)化?？商娲?，可以在多個階段(而不僅僅是兩個)中進(jìn)行重估 計處理，其中，處理在兩個運(yùn)動矢量集合之間交替，同時采用相應(yīng)地縮小 了的搜索窗以維持相同的復(fù)雜度。使用兩個參考圖像來重估計運(yùn)動矢量值的方法的一個示例在圖8中示 出。針對特定運(yùn)動矢量，在810中，計算在影響范圍中的像素的兩個預(yù)測誤差集合，從而產(chǎn)生誤差e,，。， &;1。在815中，判斷哪個誤差較大。在這 個示例中，假設(shè)ei,?！磂w (當(dāng)ei，卜ei，。時，在對換{0， 1}的情況下遵循相同 的過程。在820中，在具有較大誤差&的運(yùn)動矢量的影響范圍中的搜索窗 內(nèi)，改變該運(yùn)動矢量的模式映射和值。在825中選擇最佳值T^及其相應(yīng)的 最佳模式映射pi。該最佳值最小化了使用式(5)來預(yù)測的圖像的預(yù)測誤 差。在830中，改變另一個運(yùn)動矢量氣。的模式映射和值。在835中，選擇 氣e的最佳者及其相應(yīng)的最佳模式映射'pi。在840中，如果另一個運(yùn)動矢 量需要進(jìn)行重估計，則處理返回到810，否則處理在850結(jié)束。在一些實 施例中，可以對搜索窗和影響范圍進(jìn)行調(diào)整以降低計算復(fù)雜度，如上所 述。在一個實施例中，自適應(yīng)時間預(yù)測濾波器被用于對視頻數(shù)據(jù)的圖像 (或者幀，或場)進(jìn)行編碼的視頻編碼系統(tǒng)所使用，如圖9所示。在910 中，編碼器接收輸入目標(biāo)圖像。(在編碼處理期間編碼器可以得到一組參 考圖像，并且在解碼處理期間解碼器也可以得到該組參考圖像，該組參考 圖像包含與目標(biāo)圖像相關(guān)的解碼后的圖像數(shù)據(jù))。在920中，編碼器生成 與目標(biāo)圖像相關(guān)聯(lián)的運(yùn)動矢量的采樣或者分布。即，假定有N個運(yùn)動矢 量，則這N個運(yùn)動矢量被放置在目標(biāo)圖像中。運(yùn)動矢量的位置一般針對圖 像內(nèi)容中的運(yùn)動范圍而進(jìn)行調(diào)整，從而產(chǎn)生例如如圖3所示的運(yùn)動矢量的 不規(guī)則布局。在930中，采樣布局信息(例如，用以表示該布局的比特) 被發(fā)送給解碼器?？梢允褂迷S多方法來生成自適應(yīng)采樣布局。在940中，時間預(yù)測濾波處理被應(yīng)用于不規(guī)則運(yùn)動采樣布局。這個自 適應(yīng)濾波處理使用運(yùn)動矢量、不規(guī)則釆樣布局和參考圖像來生成目標(biāo)圖像的預(yù)測。在950中，對運(yùn)動矢量值進(jìn)行編碼并將其發(fā)送到解碼器。在960中，生成余量，該余量是目標(biāo)圖像減去來自自適應(yīng)濾波處理的預(yù)測誤差而得到的實際目標(biāo)數(shù)據(jù)。在970中，該余量被編碼，并且在980中被發(fā)送到 解碼器。在另一個實施例中，自適應(yīng)時間預(yù)測濾波器被用在視頻數(shù)據(jù)的圖像 (或者幀，或圖像)的解碼中，如圖IO所示。在1010中，經(jīng)過編碼的余 量被接收。在1020中，解碼器對所接收的經(jīng)過編碼的余量進(jìn)行解碼。在 1030中，解碼器接收到采樣布局信息、參考圖像、以及運(yùn)動圖像值。然 后，在1040中，解碼器應(yīng)用自適應(yīng)時間濾波過程，以生成時間預(yù)測。在 1050中，通過將解碼后的余量與時間預(yù)測相加來生成解碼后的目標(biāo)圖像。圖ll示出了使用自適應(yīng)時間預(yù)測濾波器的系統(tǒng)的一個示例。數(shù)字?jǐn)z像 機(jī)1110捕獲電形式的圖像，并使用壓縮設(shè)備1120來處理該圖像，壓縮設(shè) 備1120在壓縮和編碼處理期間使用自適應(yīng)影響范圍濾波器。編碼后的圖 像被經(jīng)由電傳輸介質(zhì)1130來發(fā)送到數(shù)字播放設(shè)備1140中。所述圖像被解 碼設(shè)備1150解碼，解碼設(shè)備1150在解碼處理期間使用所述濾波器。相機(jī) 1110例示了包括本發(fā)明實施例的各種圖像處理裝置(例如，其它攝像設(shè) 備、圖像編輯器、圖像處理器、個人和商業(yè)計算平臺，等等)。同樣地， 解碼設(shè)備1150例示了對圖像數(shù)據(jù)進(jìn)行解碼的各種設(shè)備。雖然在特定系統(tǒng)環(huán)境中根據(jù)實施例來描述了本發(fā)明，但是本領(lǐng)域普通 技術(shù)人員將會了解，在所附權(quán)利要求的精神和范圍內(nèi)，可以在其它和不同 的硬件和軟件環(huán)境中、在經(jīng)過修改的情況下實施本發(fā)明。
權(quán)利要求
1.一種由電子數(shù)據(jù)處理器執(zhí)行的方法，包括接收目標(biāo)圖像的不規(guī)則布局的運(yùn)動矢量；估計每個所述運(yùn)動矢量的初始值；使用所述運(yùn)動矢量來生成自適應(yīng)時間預(yù)測濾波器的抽頭結(jié)構(gòu)；以及使用所述抽頭結(jié)構(gòu)來重估計每個所述運(yùn)動矢量的值。
2. 如權(quán)利要求l所述的方法，還包括使用重估計的所述運(yùn)動矢量的值來生成所述目標(biāo)圖像的預(yù)測。
3. 如權(quán)利要求1所述的方法，其中，重估計所述運(yùn)動矢量的值還包括確定所述運(yùn)動矢量關(guān)于所述預(yù)測濾波器的影響范圍； 確定所述影響范圍中的像素的預(yù)測誤差； 確定所述運(yùn)動矢量的搜索窗；以及在所述搜索窗內(nèi)改變所述運(yùn)動矢量的值，以減小所述預(yù)測誤差。
4. 如權(quán)利要求3所述的方法，其中，確定所述運(yùn)動矢量關(guān)于所述預(yù) 測濾波器的影響范圍包括通過選擇對于所述運(yùn)動矢量濾波器系數(shù)大于零的每個像素，來確定總 影響范圍。
5. 如權(quán)利要求3所述的方法，其中，確定所述運(yùn)動矢量的影響范圍包括確定所述運(yùn)動矢量的總影響范圍；針對所述總影響范圍中的每個像素，將濾波器系數(shù)的大小和預(yù)測誤差 的大小與閾值進(jìn)行比較；以及如果所述濾波器系數(shù)和所述預(yù)測誤差大小之積大于所述閾值，則縮小 所述影響范圍。
6. 如權(quán)利要求3所述的方法，其中，確定所述搜索窗包括 將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度； 將所述預(yù)測誤差與閾值進(jìn)行比較；以及如果所述預(yù)測誤差小于所述閾值，則縮小所述搜索窗的跨度。
7. 如權(quán)利要求3所述的方法，其中，確定所述搜索窗包括 將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度；將所述運(yùn)動矢量的初始值的大小與閾值進(jìn)行比較；以及 如果所述大小小于所述閾值，則縮小所述搜索窗的跨度。
8. 如權(quán)利要求3所述的方法，其中，改變值包括將所述影響范圍的大小與閾值進(jìn)行比較； 如果所述影響范圍的大小大于所述閾值，則在所述搜索窗內(nèi)粗歩改變所述運(yùn)動矢量的值，以生成所述值的第一重估計；以及精細(xì)地改變所述運(yùn)動矢量的所述值的第一重估計，以生成第二重估計。
9. 如權(quán)利要求l所述的方法，其中，重估計包括 使用多個參考圖像。
10. 如權(quán)利要求9所述的方法，還包括針對每個參考圖像，改變與所述參考圖像相關(guān)聯(lián)的運(yùn)動矢量的值，并 改變模式映射。
11. 一種裝置，包括運(yùn)動矢量接收機(jī)，接收目標(biāo)圖像的不規(guī)則布局的運(yùn)動矢量；估計器，估計每個所述運(yùn)動矢量的初始值；抽頭結(jié)構(gòu)生成器，使用所述運(yùn)動矢量來生成自適應(yīng)時間預(yù)測濾波器的 抽頭結(jié)構(gòu)；以及重估計器，使用所述抽頭結(jié)構(gòu)來重估計每個所述運(yùn)動矢量的值。
12. 如權(quán)利要求ll所述的裝置，還包括預(yù)測器，使用重估計的所述運(yùn)動矢量的值來生成所述目標(biāo)圖像的預(yù)
13. 如權(quán)利要求ll所述的裝置，其中，所述重估計器還包括影響范圍設(shè)備，確定所述運(yùn)動矢量的影響范圍； 誤差設(shè)備，確定所述影響范圍中的像素的預(yù)測誤差； 搜索窗設(shè)備，確定所述運(yùn)動矢量的搜索窗；以及誤差降低設(shè)備，在所述搜索窗內(nèi)改變所述運(yùn)動矢量的值，以降低所述 預(yù)測誤差。
14. 如權(quán)利要求13所述的裝置，其中，所述影響范圍設(shè)備包括 確定邏輯，通過選擇對于所述運(yùn)動矢量濾波器系數(shù)大于零的每個像素，來確定所述運(yùn)動矢量的總影響范圍。
15. 如權(quán)利要求13所述的裝置，其中，所述影響范圍設(shè)備包括 確定邏輯，確定所述運(yùn)動矢量的總影響范圍；比較器，針對所述總影響范圍中的每個像素，將濾波器系數(shù)的大小和 預(yù)測誤差的大小與閾值進(jìn)行比較；以及縮小邏輯，如果所述濾波器系數(shù)和所述預(yù)測誤差大小之積大于所述閾 值，則縮小所述影響范圍。
16. 如權(quán)利要求13所述的裝置，其中，所述搜索窗設(shè)備包括將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度的邏輯； 將所述預(yù)測誤差與閾值進(jìn)行比較的邏輯；以及 如果所述預(yù)測誤差小于所述閾值則縮小所述搜索窗的跨度的邏輯。
17. 如權(quán)利要求13所述的裝置，其中，所述搜索窗設(shè)備包括將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度的邏輯； 將所述運(yùn)動矢量的初始值的大小與閾值進(jìn)行比較的邏輯；以及 如果所述大小小于所述閾值則縮小所述搜索窗的跨度的邏輯。
18. 如權(quán)利要求13所述的裝置，其中，所述誤差降低設(shè)備包括將所述影響范圍的大小與閾值進(jìn)行比較的邏輯；如果所述大小大于所述閾值則在所述搜索窗內(nèi)粗步改變所述運(yùn)動矢量 的值以生成所述值的第一重估計，然后精細(xì)地改變所述運(yùn)動矢量的所述值 的第一重估計以生成第二重估計的邏輯。
19. 如權(quán)利要求ll所述的裝置，所述重估計器包括使用多個參考圖像的邏輯。
20. 如權(quán)利要求19所述的裝置，還包括針對多個參考圖像中的每個改變與所述參考圖像相關(guān)聯(lián)的運(yùn)動矢量的 值并改變模式映射的邏輯。
21. —種計算機(jī)可讀介質(zhì)，存儲有在被處理系統(tǒng)執(zhí)行時使該系統(tǒng)執(zhí)行 下述方法的指令程序，該方法包括接收目標(biāo)圖像的不規(guī)則布局的運(yùn)動矢量； 估計每個所述運(yùn)動矢量的初始值；使用所述運(yùn)動矢量來生成自適應(yīng)時間預(yù)測濾波器的抽頭結(jié)構(gòu)；以及 使用所述抽頭結(jié)構(gòu)來重估計每個所述運(yùn)動矢量的值。
22. 如權(quán)利要求21所述的計算機(jī)可讀介質(zhì)，還包括使用重估計的所述運(yùn)動矢量的值來生成所述目標(biāo)圖像的預(yù)測。
23. 如權(quán)利要求21所述的計算機(jī)可讀介質(zhì)，其中，重估計所述運(yùn)動 矢量的值的歩驟還包括確定所述運(yùn)動矢量的影響范圍； 確定所述影響范圍中的像素的預(yù)測誤差； 確定所述運(yùn)動矢量的搜索窗；以及在所述搜索窗內(nèi)改變所述運(yùn)動矢量的值，以減小所述預(yù)測誤差。
24. 如權(quán)利要求23所述的計算機(jī)可讀介質(zhì)，其中，確定所述運(yùn)動矢 量關(guān)于所述預(yù)測濾波器的影響范圍包括通過選擇對于所述運(yùn)動矢量濾波器系數(shù)大于零的每個像素，來確定總 影響范圍。
25. 如權(quán)利要求23所述的計算機(jī)可讀介質(zhì)，其中，確定所述運(yùn)動矢 量的影響范圍包括確定所述運(yùn)動矢量的總影響范圍 ，針對所述總影響范圍中的每個像素，將濾波器系數(shù)的大小和預(yù)測誤差 的大小與閾值進(jìn)行比較；以及如果所述濾波器系數(shù)和所述預(yù)測誤差大小之積大于所述閾值，則縮小 所述影響范圍。
26. 如權(quán)利要求23所述的計算機(jī)可讀介質(zhì)，其中，確定所述搜索窗 包括將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度； 將所述預(yù)測誤差與閾值進(jìn)行比較；以及如果所述預(yù)測誤差小于所述閾值，則縮小所述搜索窗的跨度。
27. 如權(quán)利要求23所述的計算機(jī)可讀介質(zhì)，其中，確定所述搜索窗包括將所述搜索窗的初始跨度設(shè)置成所述影響范圍的跨度； 將所述運(yùn)動矢量的初始值的大小與閾值進(jìn)行比較；以及 如果所述大小小于所述閾值，則縮小所述搜索窗的跨度。
28. 如權(quán)利要求23所述的計算機(jī)可讀介質(zhì)，其中，改變值包括 將所述影響范圍的大小與閾值進(jìn)行比較； 如果所述影響范圍的大小大于所述閾值，則在所述搜索窗內(nèi)粗歩改變 所述運(yùn)動矢量的值，以生成所述值的第一重估計；以及精細(xì)地改變所述運(yùn)動矢量的所述值的第一重估計，以生成第二重估計。
29. 如權(quán)利要求21所述的計算機(jī)可讀介質(zhì)，其中，重估計包括 使用多個參考圖像。
30. 如權(quán)利要求29所述的計算機(jī)可讀介質(zhì)，還包括 針對每個參考圖像，改變與所述參考圖像相關(guān)聯(lián)的運(yùn)動矢量的值，并改變模式映射。
全文摘要
一種確定運(yùn)動矢量的值的方法，包括接收目標(biāo)圖像的不規(guī)則布局的運(yùn)動矢量，估計每個運(yùn)動矢量的初始值，使用該運(yùn)動矢量來生成自適應(yīng)時間預(yù)測濾波器的抽頭結(jié)構(gòu)，以及使用該抽頭結(jié)構(gòu)來重估計每個運(yùn)動矢量的值。
文檔編號H04N11/02GK101268701SQ200680034158
公開日2008年9月17日 申請日期2006年9月12日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請人:索尼電子有限公司