專利名稱：自適應(yīng)編碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼源圖像序列的方法和設(shè)備。更特別的是方法包括象元-回歸的運動估計型預(yù)分析步驟和有塊匹配運動估計的特殊編碼步驟。
背景技術(shù)：
域是視頻壓縮的。我們特別對MPEG4標(biāo)準(zhǔn)兼容的編碼電路感興趣。
在編碼器中實現(xiàn)“塊匹配”型運動估計，以便在圖像序列中使用圖像的時序相關(guān)。它計算從中間模式編碼的當(dāng)前塊減去預(yù)選擇的塊。由于由標(biāo)準(zhǔn)提出的編碼參數(shù)的不同選擇，例如，運動估計的圖像塊的尺寸，參考圖像或從該圖像作運動估計，對這些參考圖像的上場，下場或幀等，那么根據(jù)如編碼成本的準(zhǔn)則做出選擇。編碼器必須明白有重要意義的運動計算量。在時間和處理量方面這些計算是昂貴的。運動估計器對編碼器一定是特殊的，或至少對標(biāo)準(zhǔn)提出的和由編碼器實現(xiàn)的多數(shù)選擇是可兼容的。
例如在編碼器與H264或MPEG4部分10標(biāo)準(zhǔn)兼容的“塊匹配”型分層運動估計器的情況中，計算各種塊尺寸(4×4，4×8，8×4，8×8，8×16，16×8，16×16)和各個參考圖像的運動矢量場。對單塊對的編碼，已知為MBAFF，英語宏塊自適應(yīng)幀場的首字母縮略詞，估計器提供每宏塊幀的1個運動矢量場，場的2個運動矢量場。因此對16×16尺寸的宏塊，對各個參考圖像計算41×3個運動矢量，如果使用幾個參考圖像，如在多參考模式中，乘以此數(shù)。
另一問題涉及分層型運動估計器本身的使用。雖然此類型估計器提供更均勻的運動場，由于低分辨率/高分辨率方法，不能容易的跟蹤小目標(biāo)的運動。

發(fā)明內(nèi)容
本發(fā)明的目的是克服上面描述的缺點。
為此，本發(fā)明的一方面是編碼源圖像序列的方法，包括有象元-回歸型運動估計的預(yù)分析步驟，和有對一個或多個子塊組成的圖像塊的塊匹配運動估計步驟的實際編碼步驟，特征在于編碼步驟還包括—基于由匹配包含子塊的塊計算的運動矢量和基于由象元-回歸型估計對象元或?qū)儆谧訅K的象元組計算的運動矢量，為圖像子塊選擇運動矢量的步驟；—基于考慮從構(gòu)成塊的子塊選擇的運動矢量的相關(guān)性計算，計算將圖像塊分割為子塊的最好的分割步驟。
根據(jù)特殊的實例，方法特征在于，選擇步驟計算對應(yīng)于這些子塊的象元-回歸型運動矢量的子塊的相關(guān)水平，自動選擇由塊匹配獲得的運動矢量。
根據(jù)特殊的實例，圖像的尺寸是在MPEG2標(biāo)準(zhǔn)中規(guī)定的，它的子塊的尺寸在MPEG4標(biāo)準(zhǔn)中可得到。
根據(jù)特殊的實例，塊匹配運動估計是分層型。
根據(jù)特殊的實例，預(yù)分析步驟包括在同樣的分辨率或較低分辨率的當(dāng)前圖像和前面圖像之間的象元-回歸型運動估計步驟和由基于象元-回歸型運動估計的運動補(bǔ)償?shù)倪^濾的噪聲降低步驟。
根據(jù)特殊的實例，預(yù)分析步驟也實現(xiàn)當(dāng)前圖像的不同場的相關(guān)計算，對要編碼的各塊和參考圖像確定根據(jù)最好的相關(guān)性使用的對應(yīng)的場或幀，并傳輸此信息到塊匹配運動估計電路實現(xiàn)對應(yīng)參考圖像的估計。
本發(fā)明也涉及編碼設(shè)備，包含有象元-回歸型運動估計器的預(yù)分析電路，和有由一個或多個子塊組成的圖像塊匹配運動估計器的圖像子塊的實際編碼電路，特征在于編碼電路也包括編碼模式?jīng)Q定電路—基于由塊運動估計器和有關(guān)包含子塊的塊計算的運動矢量和基于由象元-回歸型估計對象元或?qū)儆谧訅K的象元組計算的運動矢量，選擇圖像子塊的運動矢量；—基于考慮從構(gòu)成塊的子塊選擇的運動矢量的相關(guān)性計算，計算將圖像塊分割為子塊的最好的分割步驟。
塊匹配運動估器的組合很好的適應(yīng)于數(shù)據(jù)壓縮和象元-回歸型運動估計器，很好的適應(yīng)于物理的運動計算，使得能獲得高質(zhì)量的運動場和好的壓縮率。降低了計算量。
例如，由于這些估計器的運動矢量場的組合，更容易的鎖定在圖像中運動的小目標(biāo)，這些小目標(biāo)已由“塊匹配”型的運動估計器忽略。由于使用有關(guān)表示物理場的運動矢量的信息，“塊匹配”型的運動估計器，例如分層的，通過使用它們作為預(yù)測器可在這些矢量上啟動運動搜索。
使用設(shè)計為大于子宏塊的圖像塊的“塊匹配”型估計器電路也是可能的，例如標(biāo)準(zhǔn)MPEG2型估計器，因此，費用較少。從由象元-回歸型運動估計器和提到的“塊匹配”型的運動估計器電路提供的運動矢量場，例如由組合或選擇的矢量，實現(xiàn)較小的子宏塊的預(yù)測性模式的相關(guān)性或編碼成本計算量。
另一優(yōu)點包括使用來自象元-回歸型運動估計器的信息，由分層運動估計器，例如由選擇使用的參考圖像、場或幀限制它的計算。


從描述中清楚的顯現(xiàn)本發(fā)明其它的特征和優(yōu)點，提供的描述作為非限制的范例，參考附圖如下圖1是本發(fā)明的編碼器的框圖；圖2是宏塊和子宏塊的分割；圖3是編碼模式?jīng)Q定算法。
具體實施例方式
圖1表示本發(fā)明的視頻序列編碼器。
在被傳輸?shù)筋A(yù)分析電路6的編碼器的輸入端接收源圖像的數(shù)字視頻數(shù)據(jù)。圖像被濾波并以圖像塊傳輸?shù)綔p法器1的第一輸入端。根據(jù)編碼模式內(nèi)部或中間，減法器1傳輸有關(guān)在它的第一輸入端接收的當(dāng)前塊的信息，或從后者減去對應(yīng)于在它的第二輸入端得到的預(yù)測的塊的最新信息。減法器1的輸出數(shù)據(jù)傳輸?shù)诫x散余弦和量化變換電路2。此電路的量化的輸出系數(shù)通過熵編碼器3經(jīng)歷熵編碼，然后存儲在緩沖存儲器4中。此存儲器的填充水平傳輸?shù)奖忍芈士刂齐娐?，它也從預(yù)分析電路接收數(shù)據(jù)，它影響量化器2的量化步驟。
重建當(dāng)前圖像提供預(yù)測的塊。因此，量化的系數(shù)通過參考電路7經(jīng)歷逆量化和逆離散余弦變換，給出解碼的亮度值。
如果它是中間模式編碼，則加法器8使得預(yù)測的塊加到解碼的系數(shù)塊上。在存儲到存儲重建的當(dāng)前圖像的圖像存儲器10中前，由濾波電路9濾波重建的塊。
包含分層的運動估計器的塊運動估計電路11接收有關(guān)解碼的或由圖像存儲器10存儲的重建的圖像的信息和有關(guān)來自預(yù)分析電路6的要編碼的源圖像的當(dāng)前宏塊。分層運動估計器根據(jù)已知的原理實現(xiàn)當(dāng)前宏塊和重建的圖像之間的相關(guān)性計算，以便由宏塊提供運動矢量。這些矢量傳輸?shù)骄幋a模式?jīng)Q定電路13。此電路也從預(yù)分析電路接收由象元-回歸型運動估計器計算的運動矢量。它用對應(yīng)的編碼模式選擇最好的宏塊分割。
編碼模式和對應(yīng)的運動矢量傳輸?shù)竭\動補(bǔ)償電路12，它實現(xiàn)參考圖像或重建的圖像的運動補(bǔ)償，以便提供預(yù)測的圖像塊。運動矢量也傳輸?shù)届鼐幋a器3，用于編碼并傳輸?shù)浇獯a器。
用更詳細(xì)的方式，在編碼器的輸入端有包含分辨率降低電路，象元-回歸型運動估計電路和濾波器的預(yù)分析電路6。這些電路使得在編碼前要處理的圖像的噪聲降低。在此領(lǐng)域，認(rèn)識到象元-回歸型運動估計比由塊的運動估計更適應(yīng)于噪聲降低。因此，這是在編碼器的預(yù)分析步驟實現(xiàn)的算法類型。
在編碼器的輸入端接收的源圖像序列是由預(yù)分析電路子取樣的，以便提供更低分辨率的圖像。在實際的編碼圖像前，由此預(yù)分析電路實現(xiàn)象元-回歸型運動估計。因此，這由象元計算較低分辨率的圖像，在我們的范例中它的尺寸水平的和垂直的劃分為兩個。此估計也預(yù)先對編碼模塊提供某些有用的信息，如檢測在運動中的區(qū)域，不可預(yù)測的區(qū)域，優(yōu)選的預(yù)測方向等。
基于此運動估計，運動補(bǔ)償濾波實現(xiàn)在全分辨率圖像上；此濾波降低圖像的噪聲，因此，改善了編碼器的效率。
可使用預(yù)分析電路定義要編碼的序列的GOP結(jié)構(gòu)，即，圖像的類型，內(nèi)部的或中間，參考圖像，雙向等。術(shù)語GOP是“圖像組”的首字母縮略詞，并在MPEG標(biāo)準(zhǔn)中規(guī)定。
預(yù)分析完成預(yù)先規(guī)定的圖像數(shù)。預(yù)分析和實際圖像編碼之間的延遲時間段可認(rèn)為是比特率控制的圖象組的量級。例如這相當(dāng)于MPEG標(biāo)準(zhǔn)的一個或幾個GOP。
在我們的例子中，運動估計電路11是根據(jù)分層結(jié)構(gòu)和塊匹配方法。當(dāng)前的宏塊與根據(jù)增加的分辨率錐體構(gòu)造的解碼的圖像相比，在宏塊和錐體的最低分辨率開始到最高的分辨率水平。各分辨率水平的運動矢量場從最低的分辨率水平估計到最高的分辨率水平，能使用在一個水平實現(xiàn)的估計作為更高水平的預(yù)測。錐體依賴于編碼電路的不同編碼模式。因此，對幀的、對場的和給出參考圖像存在多個錐體。在多種參考方法中，那么此數(shù)量是相乘的。
在編碼環(huán)中，此濾波電路9實現(xiàn)重建的圖像的濾波，以降低塊的影響。正好是這個濾波的圖像被存儲在圖像存儲器10中。
預(yù)分析電路6連接比特率控制電路5，提供具有GOP結(jié)構(gòu)信息和圖像類型的編碼成本信息，以便事后簡化能集成信息的比特率控制。例如，在內(nèi)部模式的第一通道，預(yù)分析電路根據(jù)編碼確定圖像的復(fù)雜性，并傳輸圖像類型的編碼成本估計到控制電路，因此，控制電路可計算DCT+Q電路的量化步驟。
如上面指出的，編碼模式?jīng)Q定電路13選擇最好的宏塊分割和宏塊編碼模式。
圖2表示對使用MPEG4標(biāo)準(zhǔn)第10節(jié)的編碼器，16個樣本的16行的不同類型的宏塊分割。
第一行分別相當(dāng)于16×16尺寸宏塊的水平和垂直分割為兩個子宏塊尺寸為16×8，8×16，和分割為4個8×8尺寸的子宏塊。第二行相當(dāng)于對8×8尺寸的宏塊同樣的分割，但在更低的水平。
在較低分辨率的圖像上實現(xiàn)象元-回歸型運動估計，例如，水平和垂直地比源圖像低兩倍。
塊匹配運動估計電路11是MPEG2型，即處理的亮度宏塊的尺寸具有16個樣本的16行。根據(jù)圖像的類型，場或幀，宏塊的內(nèi)部結(jié)構(gòu)不同。因此，它可以是在兩個場DCT圖像編碼或單個場DCT圖像編碼中的亮度宏塊，在后者的情況中，宏塊由奇數(shù)場的上16×8塊和偶數(shù)場的下16×8塊組成。計算的運動矢量依賴于編碼的圖像的類型，P預(yù)測性的或B-雙向編碼的圖像。這些是“前向矢量”(在MPEG2標(biāo)準(zhǔn)中)和“后向矢量”。
圖3表示由編碼模式?jīng)Q定電路13實現(xiàn)的編碼模式?jīng)Q定流程圖。
從預(yù)分析電路6接收2×2塊的運動矢量場，步驟14。
從運動估計電路11接收16×16宏塊的運動矢量場，步驟15。
步驟16處理步驟14和步驟15的矢量場的運動矢量。它向不同的可能的宏塊分割分配運動矢量。
在范例中，可能的分割被限制到子塊，即8×8塊，字塊不再被分割。
在第一步驟，運動矢量鏈接到塊。
因此，對考慮的子塊，除了包括在子宏塊中的2×2塊的運動矢量，包括此子宏塊的16×16宏塊的運動矢量鏈接到子宏塊。
在第二步驟，運動矢量分配給子宏塊。
不同的分配模式是可能的。
例如，它可簡單的分配所有的運動矢量鏈接到子宏塊。
通過應(yīng)用鏈接到子宏塊的2×2塊的運動矢量中的預(yù)選擇、通過選擇這些矢量的分量的中值，或通過選擇由SAD或Hadamart計算提供的一個最好的相關(guān)性，也可以限制分配的矢量數(shù)。
步驟17接收分配給不同分割的子宏塊的矢量和來自步驟16輸入。基于分配的運動矢量和通過選擇提供最好的相關(guān)性的運動矢量，實行各子宏塊的相關(guān)性計算，實現(xiàn)運動矢量的選擇。
步驟18接收分配給分割的子宏塊的選擇的矢量。對各可能的分割由實行全部宏塊的相關(guān)性計算，實現(xiàn)最好分割的選擇，基于分配給相當(dāng)于此分割的子宏塊的運動矢量，產(chǎn)生構(gòu)成宏塊的各子宏塊的相關(guān)性之和。
選擇提供最好相關(guān)率的分割。
對被測試的各模式，用運動矢量和參考圖像的預(yù)測模式或具有兩個運動矢量和兩個參考圖像的雙預(yù)測實現(xiàn)前面的步驟。
對選擇的分割，通過比較對應(yīng)的編碼成本取得對內(nèi)部、預(yù)測的中間、雙預(yù)測的中間的的編碼模式的決定。
根據(jù)本發(fā)明的變體，由預(yù)分析電路6的象元-回歸型運動估計器計算的運動矢量傳輸?shù)接米鳛轭A(yù)測器的分層運動估計器11。使用選擇的預(yù)測器，以已知的方式，定位實現(xiàn)相關(guān)性的一個或多個查找窗口確定運動矢量。如果幾個運動矢量對應(yīng)由運動估計電路11處理的塊，例如，此塊的預(yù)測器是這些矢量的每一個、這些矢量的分量的平均值或中值。
根據(jù)本發(fā)明的變體，預(yù)分析電路實現(xiàn)相關(guān)性計算，對運動估計電路11提供圖像/場編碼的決定信息。它實行場或幀模式的預(yù)選擇，它傳輸?shù)竭\動估計電路，以簡化由此電路實行的計算。
根據(jù)本發(fā)明的另一個變體，預(yù)分析電路實現(xiàn)相關(guān)性計算，對編碼模式?jīng)Q定電路13提供圖像/場編碼的決定信息，例如，場或幀模式的預(yù)選擇。因此，此電路在接收的運動矢量中消除了那些相當(dāng)于預(yù)分析電路沒有選擇的模式。對預(yù)選擇模式只執(zhí)行最好的分割的計算。
這些是實例。當(dāng)然，本發(fā)明應(yīng)用于執(zhí)行相關(guān)性計算的部分的所有的宏塊分割。
在不離開本發(fā)明的范圍內(nèi)，除了象元-回歸或分層外，可以使用運動估計器。
應(yīng)用涉及傳輸或記錄的視頻數(shù)據(jù)壓縮。
權(quán)利要求
1.一種編碼源圖像序列的方法，包括具有象元-回歸型運動估計的預(yù)分析步驟(6)，和具有由一個或多個子塊組成的圖像塊的塊匹配運動估計(11)的實際編碼步驟，其特征在于編碼步驟也包括—基于由包含子塊的塊的匹配計算的運動矢量和基于由象元-回歸型估計對象元或?qū)儆谧訅K的象元組計算的運動矢量，選擇圖像子塊的運動矢量(16，17)；—基于從構(gòu)成塊的子塊選擇的運動矢量的相關(guān)性計算，計算將圖像塊分割為子塊的最好的分割。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于選擇步驟(17)計算對應(yīng)子塊的象元-回歸型運動矢量的子塊的相關(guān)性水平，并自動地選擇由塊匹配獲得的運動矢量。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于預(yù)先確定的塊的尺寸對應(yīng)于在MPEG2標(biāo)準(zhǔn)中的塊，較小的尺寸對應(yīng)MPEG4標(biāo)準(zhǔn)中得到的尺寸。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于圖像塊的尺寸是在MPEG2標(biāo)準(zhǔn)中定義的，子塊的尺寸是在MPEG4標(biāo)準(zhǔn)中得到的。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于塊匹配運動估計器是分層型的。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于預(yù)分析步驟包括在同樣的分辨率或?qū)^低的分辨率的當(dāng)前圖像和前面圖像之間的象元-回歸型運動估計步驟，和基于由運動估計計算的運動，由運動補(bǔ)償濾波降低噪聲的步驟。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于預(yù)分析步驟也實現(xiàn)當(dāng)前圖像的不同場的相關(guān)性計算，對各要編碼的塊和參考圖像，根據(jù)最好的相關(guān)性確定使用的對應(yīng)的場或幀，并傳輸此信息到塊匹配型運動估計電路(11)，以便在對應(yīng)的參考圖像執(zhí)行此估計。
8.一種實現(xiàn)權(quán)利要求1所述的的處理的編碼設(shè)備，包括具有象元-回歸型運動估計器的預(yù)分析電路(6)，和包括由一個或多個子塊構(gòu)成的圖像塊的塊匹配運動估計器(11)的實際編碼電路，其特征在于編碼電路也包括編碼模式?jīng)Q定電路(13)，—基于由塊運動估計器和有關(guān)包含子塊的塊計算的運動矢量和基于由象元-回歸型估計器(6)和有關(guān)象元或?qū)儆谧訅K的象元組計算的運動矢量，選擇圖像子塊的運動矢量(16，17)；—基于從構(gòu)成塊的子塊選擇的運動矢量的相關(guān)性計算，計算將圖像塊分割為子塊的最好的分割。
全文摘要
一種包括有象元－回歸型運動估計的預(yù)分析步驟(6)，和有由一個或多個子塊組成的圖像塊的塊匹配運動估計(11)的實際編碼步驟的方法，編碼步驟也包括基于由匹配包含子塊的塊計算的運動矢量和基于由象元－回歸型估計對象元或?qū)儆谧訅K的象元組計算的運動矢量，選擇圖像子塊的運動矢量；基于從構(gòu)成塊的子塊選擇的運動矢量的相關(guān)性計算，計算將圖像塊分割為子塊的最好的分割。
文檔編號H03M7/30GK1719904SQ200510082190
公開日2006年1月11日 申請日期2005年7月1日 優(yōu)先權(quán)日2004年7月6日
發(fā)明者揚妮克·奧利維耶, 愛德華·弗朗索瓦, 皮埃爾·呂埃盧 申請人:湯姆森許可貿(mào)易公司