專利名稱：計算用于圖像處理的變換參數(shù)的制作方法
計算用于圖像處理的變換參數(shù) 本發(fā)明總體上涉及一種用于獲取變換參數(shù)的方法。
本發(fā)明還涉及一種用于獲取變換參數(shù)的計算機程序和計算機程序 產(chǎn)品。此外，本發(fā)明涉及用于獲取變換參數(shù)的設備，以及用于獲取運 動矢量變換參數(shù)的方法在視頻壓縮系統(tǒng)中的使用。
運動估計在許多圖像處理領域中是重要的。例如，在視頻壓縮過 程中，有必要預測連續(xù)視頻幀中的像素值。這種預測允許在接收器中 計算像素值而不必通過傳輸信道傳輸這些像素值。預測的目的在于最
小化與實際像素值的總差值，以便允許接收器計算出最佳的可能圖 像。最小化被預測像素值的總差值后，需要對數(shù)量顯著減少的數(shù)據(jù)進 行編碼和傳輸，以重構原始幀。
圖像數(shù)據(jù)包括通過矢量場進行的預測值和誤差或殘差。殘差的量 取決于矢量場的精度。矢量場是對像素值運動模型的一種描述。
在de Haan， Biezen的文獻"Sub-pixel mot ion est imat ion wi th 3-D recursive search block-matching (用三維遞歸搜索塊匹配進 行子像素運動估計)，，(Signal Processing: Image Communications 6， 1994， pp. 229-239 )中記載了如何獲取矢量場。
但是，從矢量場獲取變換參數(shù)的計算量是很大的。
因此，本發(fā)明的一個目的是提供以降低的計算量獲取變換參數(shù)的 方法。本發(fā)明的另一個目的是提供一種用于運動預測的優(yōu)化運動模 型。本發(fā)明的再一個目的是提供一種改進的圖像壓縮方法。
本發(fā)明的這些和其他目的是通過用于從矢量場獲取變換參數(shù)的方 法來實現(xiàn)的，所述方法將該矢量場投影到至少一個軸上，并根據(jù)該矢 量場的投影導出變換參數(shù)。
例如，描述圖像(尤其是視頻圖像)中被估計的運動矢量的矢量 場可以通過使用普通的運動預測方法得到。例如平移、尺度和旋轉的 變換參數(shù)可以通過將矢量場投影到至少一個軸上來獲取。該矢量場可 以由矢量組成。這些矢量可以由至少兩個分量(例如一個x分量和一
個y分量)組成。x分量可以與y分量垂直。該矢量場可以在具有相應 軸的坐標系統(tǒng)內(nèi)加以描述。 一個軸可以是x軸，另一個軸可以是y軸。 也可以使用其他坐標系統(tǒng)。所述變換參數(shù)可以描述運動模型參數(shù)。這 些變換參數(shù)可以用來生成矢量場。當矢量場投影到至少一個軸上時， 可以輕易地獲取這些變換參數(shù)，優(yōu)選地，矢量場投影到兩個軸上。特 別情況下，當把矢量場中的矢量投影到坐標系統(tǒng)的每個軸上并且使用 所有的導出函數(shù)時，可以輕易地得到這些變換參數(shù)。
所述矢量可以由至少兩個分量組成，每個軸對應一個分量。每個 分量可以與坐標系統(tǒng)的一個軸平行。然后，到這些軸的投影允許得到 矢量場內(nèi)矢量的各分量。
通過將矢量場投影到至少一個軸上，可以分開這些變換參數(shù)。例 如，使用投影可以分開尺度參數(shù)、平移參數(shù)和旋轉參數(shù)。在這些投影 中，可以得到乘數(shù)值和平均值，其可以用來相應地計算增益(例如尺 度參數(shù)或旋轉參數(shù))和/或偏移量(例如平移參數(shù))。
例如，在一些應用中，更容易處理運動模型參數(shù)(例如在必須穩(wěn) 定自制的視頻序列的情況下)。這可能需要關于平移和旋轉參數(shù)的知 識。計算完這些參數(shù)后，可以對整幅圖像進行平移和旋轉。這可以比 單獨處理這些矢量得到更好的結果。
此外，這樣的運動矢量場可能并不總是精確的，因此依照實施例 尋找運動模型參數(shù)可以平均掉例如偏差和/或異常值之類的誤差。當運 動矢量場精確時，序列中的目標可能具有與相機不同的運動，這會導 致復雜的運動矢量場。如果目標的運動足夠小，那么由于上述同樣的 原因，可以平均掉這些目標的運動。總的來說，依照實施例的運動模 型參數(shù)可以表示全局運動。
根據(jù)所述投影，可以得到全部的變換參數(shù)。例如，依照實施例， 利用矢量在所有軸上的所有投影可以計算位移方程。該變換方程的矩 陣具有未知的元素，但是可以通過三角公式來獲取這些元素。例如， 矢量場投影的乘數(shù)和平均值可以根據(jù)曲線擬合方法來得到。例如，通 過計算基于到某直線距離的最小二乘誤差直線擬合、或者多項式擬合 方法或者指數(shù)擬合方法。這可以允許計算增益和偏移量，即尺度/旋轉 和平移。這種實施例是對復雜度進行優(yōu)化(即簡單實現(xiàn)和快速執(zhí)行) 的例子。該實施例的輸出可以是偏移量和增益。
依照其他的實施例，可以通過使用投影的原函數(shù)來獲取這些值。 依照實施例，這些原函數(shù)可以通過歐拉法得到。
借助原函數(shù)可以計算投影的面積，其與所述乘數(shù)有關。如果不考 慮平均值或平移參數(shù)，那么投影的總面積與原函數(shù)的極值有關。原函 數(shù)的極值可能位于其導數(shù)函數(shù)為零的點上。 一旦找到了原函數(shù)的極 值，就可以計算該乘數(shù)值。
由于通常用平移、尺度和旋轉來對運動進行建模，并且該運動最 常由相機運動而引入，因此依照實施例，這些平移參數(shù)代表了相機運
動的整體模型。
依照實施例，也可以應用遞歸方法。基于矢量變換參數(shù)的矢量場 可以被重構，并且反饋回初始的運動估計以便計算矢量場。
另一個實施例給出通過使用遞歸計算來計算變換參數(shù)?？梢允褂?上述實施例來獲取變換參數(shù)。然后，將這些參數(shù)用于重構矢量場。在 這個被重構的矢量場內(nèi)，可以標識出原始矢量場中的異常值?？梢云?蔽這些異常值。利用矢量場中的這些被屏蔽的異常值，可以計算新的 矢量變換參數(shù)得到更好的結果。
本發(fā)明的另 一 方面是計算機程序，該計算機程序可操作來使處理
器在運行時通過如下步驟獲取變換參數(shù)獲取描述圖像中的被估計運
動矢量的運動矢量的矢量場；將矢量場投影到至少一個軸上；根據(jù)矢 量場的投影導出變換參數(shù)。
本發(fā)明的另 一 方面是具有計算機程序的計算機程序產(chǎn)品，該計算 機程序可操作來使處理器在運行時通過如下步驟獲取變換參數(shù)獲取 矢量場；將矢量場投影到至少一個軸上；根據(jù)矢量場的投影導出變換 參數(shù)。
本發(fā)明的另一方面是被配置用于獲取變換參數(shù)的設備，該設備包 括被配置用于獲取矢量場的估計裝置；被配置用于將矢量場投影到 至少一個軸上的投影裝置；被配置用于根據(jù)矢量場的投影導出變換參 數(shù)的計算裝置。
本發(fā)明的另一方面是如權利要求1所述的方法在視頻壓縮中的使用。
本發(fā)明的這些和其他方面根據(jù)下述附圖會顯而易見，并且將參照
下述附圖進行闡述。
在附圖中


圖1顯示了依照實施例的發(fā)明方法的流程圖2顯示了用于提供依照實施例的發(fā)明方法的設備；
圖3顯示了矢量x分量到x軸和y軸上的投影；
圖4顯示了矢量y分量到x軸和y軸上的投影；
圖5顯示了矢量場的尺度變換；
圖6顯示了矢量場的旋轉變換；
圖7顯示了增益和投影函數(shù)的關系。
圖1顯示了用于從視頻圖像中獲取變換參數(shù)的方法的流程圖。 大部分^f象素運動是由相機運動造成的。因此，改善運動估計的一 個途徑是提供一種相機運動的整體模型。這個運動可以通過平移、尺 度和旋轉值來進行建模。平移、尺度和旋轉可以通過數(shù)學模型來描述， 下面將對此進行解釋。下面列出了一些變量
n (& ， 6力位置(bx，by)上矢量的q分量
pvq (r):作為r的函數(shù)的矢量的q分量的投影
bq:矢量場的矢量索引
I:q方向上的矢量數(shù)
q和r二或者為x或者為y
x二矢量場的x軸分量
y:矢量場的y軸分量
x，運動估計后矢量場的被變換的x分量
y，運動估計后矢量場的被變換的y分量
0:旋轉角度
s二尺度參數(shù)
t:平移參數(shù)
假設軸的原點位于圖像幀的中心，那么可將平移描述為:
可將尺度變換描述為
<formula>formula see original document page 8</formula>
特別在視頻處理領域，通常尺度參數(shù)可以由相機的光學性質(zhì)限
定，并且像素的高寬比等于l。在這種情況下，尺度參數(shù)s可以是單一
的參數(shù)。那么，上述方程簡化為<formula>formula see original document page 8</formula>
可將相機的旋轉描述為<formula>formula see original document page 8</formula>
總的變換可以依照下式通過旋轉、尺度和平移來描述。<formula>formula see original document page 8</formula>
為了計算這些變換參數(shù)，需要運動估計矢量的矢量場。因此，依
照常見的方法計算(100)這個矢量場。利用這個矢量場，執(zhí)行矢量場 的x分量在x軸上的投影(102)?？梢詫⒃撏队懊枋鰹?br> <formula>formula see original document page 8</formula>
可以進一步將矢量場的x分量投影到y(tǒng)軸上(104 )，可以將該投 影描述為<formula>formula see original document page 8</formula>
圖3中示出了 x分量在各軸上的投影。圖中給出了含有被估計的 運動矢量V (x, y) 302的矢量場300?？梢詫⒚總€矢量V (x， y) 302分成x 分量302a和y分量302b?？梢詫Dl象分割成各列304和各4亍306。
可以將每列304投影到x軸上。將每列304中所有矢量的矢量x 分量的平均值視為投影pv,(colum)。所有列的投影得到投影函數(shù) pv, (x) 308。
可以將每行306投影到y(tǒng)軸上。將每行306中所有矢量的矢量x 分量的平均值視為投影pvjrow)。所有行的投影得到投影函數(shù) pv'(y)310。
得到的投影函數(shù)pv, (x) 3 08和pi (y) 310表示運動估計矢量場300 中矢量的x分量的平均值。除了矢量場的x分量，也可以對矢量場的y分量進行投影。可以 將x軸上的投影(106)描述為
<formula>formula see original document page 9</formula>
并且將y軸上的投影(108 )描述為
<formula>formula see original document page 9</formula>
圖4中示出了 y分量在軸上的投影。相同的附圖標記代表相同的 元素，例如400指的是300等等。
圖中給出了含有被估計的運動矢量V(x，y) 402的矢量場400?？?以將每個矢量V(x， y) 402分成x分量402a和y分量402b?？梢詫D 像分割成各列4 04和各行4 06。
可以將每列404投影到x軸上。將每列404中所有矢量的矢量y 分量的平均值視為投影pvy(colum)。所有列的投影得到投影函數(shù) pvy (x) 408。
可以將每行406投影到y(tǒng)軸上。將每行306中所有矢量的矢量y 分量的平均值視為投影pv"row)。所有行的投影得到投影函數(shù) pvy (y)410。
得到的投影函數(shù)pv,(x) 308和pvy(x)310表示矢量場300中矢量 的x分量的平均值。
當對矢量場施加尺度變換和平移時，可以將其重寫為
經(jīng)過尺度變換和平移的x分量到X軸上的投影可以描述為
<formula>formula see original document page 9</formula>
它是x的一階函數(shù)，式中尺度參數(shù)s是個乘數(shù)，平移t,等于平均值。 此外，矢量場的x分量到y(tǒng)軸上的投影可以揭示
<formula>formula see original document page 10</formula>
式中，平移t,是個常量。另外，矢量場的y分量到x軸上的投影可以 揭示
式中，平移ty是個常量。最后，矢量場的y分量到y(tǒng)軸上的投影可以 揭示
它是y的一階函數(shù)，式中尺度參數(shù)s是個乘數(shù)，平移ty等于平均值。 上述方程表明，可以根據(jù)矢量場到軸上的投影的性質(zhì)來導出平移和尺 度參數(shù)。增益/乘數(shù)(tancp)與尺度參數(shù)或旋轉參數(shù)有關，而投影函數(shù) 的平均值可以表示平移。
除了平移和尺度變換，還可以描述相機的旋轉。可以將由旋轉引 起的矢量場的位移描述為
r涉及旋轉矩陣，i是單位矩陣，t表示平移。
可以將矢量場的x分量到X軸上的投影描述為
<formula>formula see original document page 10</formula>
可以將矢量場的x分量到y(tǒng)軸上的投影描述為
<formula>formula see original document page 11</formula>
可以將矢量場的y分量到x軸上的投影描述為
/n^(x) = xsin +ty 并且可以將矢量場的y分量到y(tǒng)軸上的投影描述為
<formula>formula see original document page 11</formula>綜上所述顯然可知，可以通過矢量場的投影的性質(zhì)來確定旋轉。 每個投影都由乘數(shù)和作為變換參數(shù)的旋轉角度組成。 可以由下面的位移方程來描述總的變換
■jcos -1 ssin
可以認為變換矩陣的元素s和e滿足
<formula>formula see original document page 11</formula>其參數(shù)可以根據(jù)三角公式來確定
<formula>formula see original document page 11</formula>在已經(jīng)計算了矢量分量到各軸上的投影之后，可以計算(110)這 些投影的乘數(shù)和平均值以便獲取變換參數(shù)。
圖5示出了尺度變換與投影函數(shù)的相關性。圖中給出了矢量場 500，其圖像通過縮放進行尺度變換。根據(jù)x分量到x軸上的投影函數(shù) pv,(x)和y分量到y(tǒng)軸上的投影函數(shù)pvy(y)可知，尺度因子s與投影 函數(shù)的角度q)有著密切的關系。這個關系是tancp=(s-l)。尺度變換對于y分量到x軸上的投影函數(shù)pvy(x)和x分量到y(tǒng)軸上的投影函數(shù) pi (y)沒有影響。
圖6示出了旋轉變換與投影函數(shù)的相關性。圖中給出了矢量場 600，其圖像經(jīng)過角度為e的旋轉變換。由圖可知，旋轉與x分量到x 軸上的投影函數(shù)pv, (x)的角度qh以及y分量到x軸上的投影函數(shù)pvy (x) 的角度q)2有著密切的關系。此外，旋轉與x分量到y(tǒng)軸上的投影函數(shù) Pi (y)的角度(P2以及y分量到y(tǒng)軸上的投影函數(shù)pvy (y)的角度^有著 密切的關系。這個關系是tancpi=cos6-l和tancp2=sin6。
可以通過使用這些投影的原函數(shù)來獲取這些增益和乘數(shù)值。采用 原函數(shù)可以確定與乘數(shù)有關的投影的面積。不考慮平均值或平移參數(shù) 的結果是，投影的總面積與原函數(shù)的極值有關。
從投影函數(shù)中減去平均值之后，可以得到原函數(shù)的極值點，這允
許計算出增益和乘數(shù)。例如，圖7示出了投影函數(shù)與增益/乘數(shù)之間的 關系。圖中給出了 x分量到x軸上的投影函數(shù)pvx(x) 700。首先，由于
平均值U代表平移，可以將該值去除。得到的函數(shù)702可以僅僅表示增益。
投影函數(shù)702的面積可以與增益有關。使用帶遞歸加法器的歐拉 方法對函數(shù)702進行積分可以得到原函數(shù)704。函數(shù)704的最大值可 以與增益有關。
在具體條件下，例如當僅考慮被投影到x軸上的矢量場的x分量 時，得到
式中bs,矢量的關聯(lián)塊尺寸。原函數(shù)的極值位于其導數(shù)函數(shù)為零的點 上。在這種情況下，它是零。在零點處，原函數(shù)為
一<formula>formula see original document page 12</formula>
其意味著一旦找到了原函數(shù)的極值，就可以通過上述方程計算乘數(shù)。 可以使用到其他軸上的投影來得到所有其他的值。
圖2示出了用于執(zhí)行平移參數(shù)計算的設備。在終端200處輸入一 個輸入視頻信號。在運動估計電路202中估計運動矢量?？梢栽谳斎?視頻信號的連續(xù)幀上進行運動矢量的估計。例如，使用三幅連續(xù)的圖 像允許確定三幅連續(xù)幀上像素的運動矢量。利用被估計的運動矢量， 運動估計器202輸出描述像素的運動的矢量場。將這個輸出饋送到投 影電路204。投影電路204將運動矢量的分量投影到坐標系統(tǒng)的軸上。 投影電路204的輸出是運動矢量到各軸上的相應投影的值。在計算電 路206中利用這個投影來獲取平移參數(shù)。在計算電路206中，計算出 矢量場的投影的乘數(shù)和平均值。這可以通過采用多項式擬合方法或者 投影的原函數(shù)來完成。這也可以通過歐拉方法來完成。計算電路206 的輸出是用于描述相機運動的運動模型的變換參數(shù)。
所述變換模型的精度取決于矢量場的精度。它還取決于矢量場的 一致性。當幀中的目標運動而不是相機運動時，該變換模型的精度有 所降低。
所述參數(shù)在輸出終端208處輸出。
權利要求
1.用于從矢量場獲取變換參數(shù)的方法，包括-將該矢量場投影到至少一個軸上；以及-根據(jù)該矢量場的投影導出這些變換參數(shù)。
2. 權利要求1的方法，其中通過描述圖像中的運動的被估計運 動矢量來描述該矢量場。
3. 權利要求1的方法，其中該矢量場包括含有至少一個第一分 量和至少一個第二分量的矢量，并且其中該第一分量與第一軸平行， 其中該第二分量與第二軸平行。
4. 權利要求3的方法， 上至少分離出尺度參數(shù)。
5. 權利要求4的方法， 一個乘數(shù)來計算該尺度參數(shù)。
6. 權利要求3的方法， 上至少分離出平移參數(shù)。
7. 權利要求6的方法，計算該平移參數(shù)。
8. 權利要求3的方法， 上至少分離出旋轉參數(shù)。
9. 權利要求78的方法 一個乘數(shù)來計算該旋轉參數(shù)。
10. 權利要求1的方法， 算法來獲取這些變換參數(shù)。
11. 權利要求1的方法 變換參數(shù)。
12. 權利要求11的方法
13. 權利要求11的方法 參數(shù)。
14. 權利要求1的方法. 模型。
15. —種計算機程序，可操作來使處理器在運行時通過以下步驟其中將至少一個分量投影到至少一個軸其中根據(jù)到至少一個軸上的投影的至少其中將至少 一個分量投影到至少 一個軸其中根據(jù)到一個軸上的投影的平均值來其中將至少一個分量投影到至少一個軸，其中根據(jù)到至少一個軸上的投影的至少,其中通過施加到這些投影上的曲線擬合,其中通過這些投影的原函數(shù)來獲取這些，其中該原函數(shù)是歐拉函數(shù)。，其中根據(jù)該原函數(shù)的極值計算至少一個,其中這些變換參數(shù)表示相機運動的整體 獲取變換參數(shù) -獲取矢量場；-將該矢量場投影到至少一個軸上；以及 -根據(jù)該矢量場的投影導出這些變換參數(shù)。
16. —種含有計算機程序的計算機程序產(chǎn)品，該計算機程序可操 作來使處理器在運行時通過以下步驟獲取變換參數(shù)-獲取矢量場；-將該矢量場投影到至少一個軸上；以及 -根據(jù)該矢量場的投影導出這些變換參數(shù)。
17. 被配置用于獲取變換參數(shù)的設備，包括 -被配置用于獲取矢量場的估計裝置；-被配置用于將該矢量場投影到至少一個軸上的投影裝置；以及 -被配置用于根據(jù)該矢量場的投影導出這些變換參數(shù)的計算裝置。
18. 依照權利要求1的方法在視頻壓縮中的使用。
全文摘要
本發(fā)明涉及用于獲取變換參數(shù)的方法。可以通過如下步驟來對相機運動建模提供描述被估計運動矢量的運動矢量的矢量場；將該矢量場投影到至少一個軸上；以及根據(jù)該矢量場的投影導出這些變換矢量參數(shù)。由于可以通過平移、尺度和旋轉來建模相機運動，可以使用該矢量場到軸上的投影。
文檔編號H04N7/26GK101189878SQ200680019319
公開日2008年5月28日 申請日期2006年5月19日 優(yōu)先權日2005年5月31日
發(fā)明者W·P·李 申請人:皇家飛利浦電子股份有限公司