專利名稱：利用逐個像素的運動估算和跳幀方法的圖像處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對視像信號進行編碼和解碼的圖像處理系統(tǒng)，較具體地說，涉及一種利用基于逐個像素地進行的運動估算和補償技術(shù)以及跳幀(frame decimation)方法對視像信號進行編碼和解碼的圖像處理系統(tǒng)。
眾所周知，發(fā)送數(shù)字化視像信號比發(fā)送模擬信號可以傳遞質(zhì)量高得多的視頻圖像。當用數(shù)字形式表示一個含有一系列圖像“幀”的圖像信號時，在發(fā)送該信號時需產(chǎn)生大量的數(shù)據(jù)，對于高清晰度電視系統(tǒng)的情形則更是如此。然而，由于普通發(fā)送通道中可利用的頻帶寬度是有限的，所以為了通過有限的通道帶寬發(fā)送大量的數(shù)據(jù)，不得不壓縮或減少發(fā)送數(shù)據(jù)的數(shù)據(jù)量。在各種視像壓縮技術(shù)中，已知最為有效的是所謂的混合編碼技術(shù)，該技術(shù)把時間和空間壓縮技術(shù)與統(tǒng)計編碼技術(shù)結(jié)合在一起。
大多數(shù)混合編碼技術(shù)利用運動補償?shù)腄PCM(差分脈中編碼調(diào)制)，二維DCT(離散余弦變換)，DCT系數(shù)量化，和VLC(變長度編碼)。運動補償?shù)腄PCM是一種確定一個物體在當前幀及其前一幀之間的運動的處理，它根據(jù)該物體的運動情況來預(yù)測出當前幀，以產(chǎn)生一個代表當前幀和預(yù)測的當前幀之間的差別的差分信號。該方法在例如下述兩篇論文中已有說明Staffan Ericsson的“Fixedand Adaptive Predictorsfor Hybrid Predictive/Transform Coding(用預(yù)測/變換混合編碼的固定的和自適應(yīng)的預(yù)測器)”，IEEE Transactionson Cmmunications，COM-33，NO.12(1985年12月)；以及Ninomiya和Ohtsuka的“AMotion-Compensated Interframe Coding Scheme for Television Pictures(一種用于電視圖像的運動補償幀間編碼方案)”IEEE Transactionson Communications，COM-30，NO.1(1982年1月)。
具體地說，在運動補償?shù)腄PCM中，當前幀數(shù)據(jù)是根據(jù)對當前幀和前一幀之間的運動估算，從相應(yīng)的前一幀數(shù)據(jù)中預(yù)測出來的。這種估算的運動可以用一些代表前一幀和當前幀之間的像素位移的二維運動矢量來描述。
估算一個物體上各個像素的位移已經(jīng)有兩種基本方法。一般地說它們可以分成兩種類型其一是逐塊估算；其二是逐個像素估算。
在基于逐塊估算的運動估算中，當前幀中的一個塊與其前一幀中的各個塊進行比較，直到確定出一個最佳匹配塊。由此，可以對正在發(fā)送的當前幀估算出整個塊的幀間位移矢量(在兩幀之間該塊運動了多少個像素)?？墒牵谥饓K運動估算中，有可能在運動補償處理時出現(xiàn)塊邊界處的分塊效應(yīng)，并且如果一個塊中的全部像素的運動情況有所不同時，就可能造成估算不當，從而減小了總體的編碼有效性。
另一方面，在采用逐個像素估算的方法中，對每一個像素都分別確定一個位移。這個技術(shù)給出更為準確的像素值估算，并且具有易于處理比例變化(例如由調(diào)節(jié)變焦鏡或物體垂直于圖像平面運動所產(chǎn)生的縮放)的能力。然而，因為在逐個像素估算方法中要對每個像素確定一個運動矢量，實際上不可能向接收機發(fā)送所有的運動矢量。因此，只向接收機發(fā)送一組選擇出的像素(即特征點)的運動矢量，其中特征點的定義是能夠代表其周圍鄰近像素的一個像素，在接收機中各非特征點的運動矢量可以從各特征點的運動矢量重建出來。在標題為“Method and Apparatus for Encoding a Video Signal Using Pixel -by-pixel Motion Estimation(利用逐個像素的運動估算對視像信號編碼的方法和設(shè)備)”的美國專利申請中公開了一種采用基于特征點的運動估算的編碼器，其中首先從前一幀中的所有像素中選出一些特征點。然后對選出的特征點確定它們的運動矢量，其中的各個運動矢量代表前一幀中某個特征點和當前幀中的對應(yīng)匹配點，也即最相似像素之間的空間位移。具體地說，每個特征點的匹配點是通過在當前幀的一個搜索區(qū)內(nèi)進行搜索而找到的，其中搜索區(qū)的定義是，包含對應(yīng)特征點位置的一個預(yù)定面積中的一個區(qū)域。
另一個容易實現(xiàn)的壓縮技術(shù)是跳幀方法，它通過僅僅對某些選出的視像幀進行編碼和發(fā)送，而跳過或除去位在選出幀之間的其余幀，來減少數(shù)據(jù)量(例如見“Video Codec for Audiovisual Services at p×64kb/s(以P×kb/s傳輸率的聲像服務(wù)的視像編碼解碼器)”CCITT(國際電報電話咨詢委員會)推薦H，261，CDM×V-R37-E，CCITT，1990年8月。
通常，輸入給視像編碼器的是30幀/秒的視像信號。典型的情況是，通過在每兩個編碼的幀之間跳過一幀、兩幀或三幀，從而得到的幀頻將分別是15、10或7.5幀/秒。
為了對由上述編碼器編碼的信號進行解碼，需要估算被跳過的幀，以重建30幀/1秒的視像信號；至今還一直存在著開發(fā)一種改良的系統(tǒng)的需要，該系統(tǒng)能夠重建通過跳幀方法發(fā)送的原始視像信號。
因此，本發(fā)明的一個主要目的是提供一種改良的圖像處理系統(tǒng)，它采用基于利用特征點的逐個像素的運動估算和補償技術(shù)以及跳幀方法來對視像信號進行編碼和解碼。
根據(jù)本發(fā)明，提供了一種用來處理視像信號的圖像處理系統(tǒng)，它含有用來對視像信號進行編碼以提供編碼的信號的裝置和用來對編碼的信號進行解碼以提供重建的視像信號的裝置，其中上述編碼裝置包括用來從上述視像信號中選出多個幀的裝置，其中在前一幀和當前幀之間跳過了N個幀，N是一個正整數(shù)；用來在逐個像素的基礎(chǔ)上估算前一幀和當前幀之間的位移，并用估算的位移來補償前一幀以提供預(yù)測的當前幀的裝置；以及用來從當前幀中減去預(yù)測的當前幀以提供差分信號，并對差分信號和代表所建立的位移的第一組運動矢量進行編碼以提供編碼的信號的裝置；上述解碼裝置包括用來對編碼的信號進行解碼以恢復(fù)差分信號和第一組運動矢量的裝置；用來根據(jù)恢復(fù)的第一組運動矢量來估算前一幀和當前幀之間的位移，并且用估算的位移來補償前一幀以重建預(yù)測的當前幀的裝置；用來在重建的預(yù)測的當前幀上加上差分信號以重建當前幀的裝置；以及用來確定前一幀和重建的當前幀之間的N個被跳過的幀的裝置。
本發(fā)明的上述目的和其他目的以及特征將通過下面結(jié)合附圖對優(yōu)選實施例的說明而變得清楚明白，在附圖中

圖1是帶有根據(jù)本發(fā)明的當前幀預(yù)測單元的視像編碼器；圖2是圖1的當前幀預(yù)測單元的詳細方框圖；圖3示出了探測一個非準特征點的運動矢量方法；圖4示出了對應(yīng)于圖1所示的視像編碼器的視像解碼器。
圖1示出了采用基于逐個像素的運動估算和補償技術(shù)以及跳幀方法的視像編碼器。
輸入信號被饋送給跳幀器101。在跳幀器101中，通過以預(yù)定的代表跳幀程度的跳幀率跳過某些中間幀，選出準備編碼的幀，并把它們饋送給第一幀存儲器100。例如，如果預(yù)定的跳幀率為2或3，則跳幀器101分別在視像信號的每兩幀或每三幀中選出或利用一幀。
如圖1所示，選出的信號被存儲在第一幀存儲器100中，后者分別與減法器102和通過線路L10與當前幀預(yù)測單元150相連接。
在當前幀預(yù)測單元150中，從第一幀存儲器100中提取的位在線路L10上的當前幀信號和來自第二幀存儲器124的位在線路L12上的重建的前一幀信號被進行處理，以在逐個像素的基礎(chǔ)上預(yù)測出當前幀，并向線路L30提供預(yù)測的當前幀信號，向線路L20提供一組關(guān)于特征點的運動信號。關(guān)于當前幀預(yù)測單元150的細節(jié)將參考圖2和圖3來說明。
線路L30上的預(yù)測的當前幀信號在減法器102中被從當前幀信號中減去，所得的結(jié)果數(shù)據(jù)即是代表差分像素值的誤差信號，它被發(fā)送給圖像信號編碼器105，并在那里利用例如DCT或任何一種已知的量化方法被編碼成一組量化的變換系數(shù)。其后，該量化的變換系數(shù)被發(fā)送給熵編碼器107和圖像信號解碼器113。在熵編碼器107中，來自圖像信號編碼器105的量化的變換系數(shù)和通過線路L20從當前幀預(yù)測單元150送來的運動矢量被利用例如變長度編碼技術(shù)編碼在一起，然后從熵編碼器107發(fā)送出去。同時，圖像信號解碼器113利用反量化和反離散余弦變換把來自圖像信號編碼器105的量化的變換系數(shù)轉(zhuǎn)換回到重建的誤差信號。
在加法器115中，來自圖像信號解碼器113的重建的誤差信號和通過線路L30來自當前幀預(yù)測單元150的預(yù)測的當前幀信號被結(jié)合在一起，由此提供重建的當前幀信號，準備作為前一幀信號存儲到第二幀存儲器124中。
參見圖2，那里畫出了圖1所示的當前幀預(yù)測單元150的細節(jié)。來自第二幀存儲器124的位在線路L12上的前一幀信號被輸入給特征點選擇單元210，特征點運動矢量探測單元212，以及運動補償單元216。
在特征點選擇單元210中，在前一幀所含有各像素中選出一些特征點，一個特征點定義為一個能夠代表該幀中一個物體的運動的像素。
來自特征點選擇單元210的選出的特征點被輸入給特征點運動矢量探測單元212和當前幀運動矢量探測單元214。線路L10上的當前幀信號被提供給特征點運動矢量探測單元212。
在特征點運動矢量探測單元212中，探測關(guān)于選出的特征點的第一組運動矢量。第一組運動矢量中的每個運動矢量都是前一幀中的一個特征點和當前幀中與它最相似的像素之間的空間位移。
在對全部特征點都探測出它們的運動矢量之后，第一組運動矢量被提供給當前幀運動矢量探測單元214，并通過線路L20被提供給圖1所示的熵編碼器107。在當前幀運動矢量探測單元214中，利用第一組運動矢量和來自特征點選擇單元210的特征點確定出關(guān)于當前幀所含的全部像素的第二組運動矢量。為了確定第二組運動矢量，首先確定一組關(guān)于“準特征點”的運動矢量，一個準特征點代表通過把前一幀中的一個特征點移動第一組運動矢量中的一個相應(yīng)的運動矢量而得到的當前幀中的一個像素點。一個準特征點的運動矢量的大小與它對應(yīng)的特征點的運動矢量的大小是相同的，但這兩個運動矢量的方向是相反的。在對全部的準特征點都確定了它們的運動矢量之后，按下述方法確定當前幀中其余像素點，即非準特征點的運動矢量。
如圖3所示，在整個當前幀中不規(guī)則地分布著一些準特征點。對于用星號標記的那個非準特征點，其運動矢量是通過計算位在半徑為dr＋da的圓之內(nèi)的準特征點的運動矢量的平均矢量來獲得的，其中da是星號像素位置與最接近的準特征點之間的距離，dr是一個預(yù)定的擴展半徑，使得能夠函括準備在計算運動矢量時需使用的一些其他準特征點。例如，如果最接近的準特征點為“Y”，準特征點“X”位在圓da＋dr的邊界之內(nèi)，則用星號標記的那個像素的運動矢量(MVx+MVy)由下式計算(MVx,MVy)=1dX(MVx,MVy)X+1dY(MVx,MVy)Y1dX+1dY]]>式中dX，dY分別是準特征點X和Y到星號像素位置的距離；(MVx，MVy)X和(MVx，MVy)Y分別是兩個準特征點的運動矢量。
回到圖2，關(guān)于準特征點和非準特征點的第二組運動矢量被提供給運動補償單元216。在運動補償單元216中，利用第二組運動矢量中的各個運動矢量，從第二幀存儲器124(見圖1)中提取準備包含在預(yù)測的當前幀中的各個像素。
參見圖4，那里示出了一個對應(yīng)于圖1所示的視像編碼器的視像解碼器，從視像信號編碼器發(fā)送來的信號被輸入給熵解碼器407，在那里發(fā)送來的信號被解碼成第一組運動矢量和量化的變換系數(shù)，分別提供在線路L40和42上。運動矢量被提供給當前幀預(yù)測單元450和幀插值器401，而量化的變換系數(shù)被提供給圖像信號解碼器413。
圖像信號解碼器413利用反量化和反離散余弦變換把量化的變換系數(shù)變換回到重建的誤差信號。
當前幀預(yù)測單元450除了是根據(jù)存儲在幀存儲器424中的前一幀信號以及來自熵解碼器407的第一組運動矢量來提供預(yù)測的當前幀信號的之外，它基本上執(zhí)行和圖1所示的視像信號編碼器相同的操作。
因此，當前幀預(yù)測單元450具有和圖2相類似的結(jié)構(gòu)，只是因為已經(jīng)在線路L40上向它提供了自編碼器發(fā)送來的第一組運動矢量，所以它不再含有如圖2所示的特征點運動矢量探測單元212那樣的運動估算器。
在解碼器的特征點選擇單元中，用類似于編碼器中的方法從被解碼器解碼和存儲的前一幀中重建出特征點來。在解碼器的當前幀運動矢量探測單元中，利用第一組運動矢量和特征點對當前幀中的所有像素估算出第二組運動矢量。在解碼器的運動補償單元中，通過把前一幀中的各個像素移動第二組運動矢量中的相應(yīng)運動矢量，確定出準備包含在預(yù)測的當前幀中的各個像素。
在加法器415中，來自圖像信號解碼器413的重建的誤差信號和來自當前幀預(yù)測單元450的位在線路L30上的預(yù)測的當前幀信號被結(jié)合在一起，由此向幀存儲器424提供重建的當前幀信號。
重建的當前幀信號也饋送給幀插值器410，如下面將說明的那樣，在插值器401中利用來自熵解碼器407的第一組運動矢量重建出位在前一幀和當前幀之間的N個被跳過的幀。
為了重建前一幀和當前幀之間的第i幀，首先確定該第i個被跳過的幀中的一些運動矢量和相應(yīng)數(shù)目的像素點，其中的各個運動矢量和相應(yīng)的像素點對應(yīng)于第一組運動矢量中的各個運動矢量；并且較小的i值代表在時間上較接近于前一幀的視像幀。在確定N個被跳過的幀中的運動矢量和像素點時，可以假定兩個幀之間的運動正比于它們之間的時間間隔。根據(jù)這個假設(shè)，可以通過把前一幀中的各個特征點移動前一幀中特征點的第一組運動矢量中的相應(yīng)運動矢量的i/(N＋1)倍，來確定第i個被跳過的幀中的各個像素點。然后，通過把前一幀中的相應(yīng)特征點的運動矢量乘以一個因子i/(N＋1)，來確定前一幀和第i個被跳過的幀之間的各個運動矢量。
對于第i個被跳過的幀中的其余像素，它們的運動矢量可以利用參考圖2和圖3所說明的方法，根據(jù)第i個被跳過的幀中的各個運動矢量和像素點來確定。然后，第i幀的像素值可以容易地從前一幀和第i幀中的各像素的運動矢量被確定出來，從而提供出重建的輸入信號。
采用類似的方法，也有可能從當前幀重建出第i幀。在該情形下，第i個被跳過的幀中的各個像素點是通過把當前幀中的各個特征點移動相應(yīng)的運動矢量的(N＋1－i)/(N＋1)倍來確定的；當前幀和第i個被跳過的幀之間的運動矢量是通過把相應(yīng)的當前幀運動矢量乘以因子(N＋1－i)/(N＋1)來確定的。一般地說，重建一個被跳過的幀時，最好利用前一幀和當前幀中在時間上比較接近于被跳過幀的那一幀視像。
雖然本發(fā)明是借助于具體的實施例來展示和說明的，但對于那些熟悉本技術(shù)的人們來說，顯然可以在不偏離由后附的權(quán)利要求所確定的本發(fā)明的精神和范疇的情況下，做出許多變化和修改。
權(quán)利要求
1.一種用來處理視像信號的圖像處理系統(tǒng)，它含有用來對視像信號進行編碼以提供編碼的信號的裝置和用來對編碼的信號進行解碼以提供重建的視像信號的裝置，其中上述編碼裝置包括用來從上述視像信號中選出多個幀的裝置，其中在前一幀和當前幀之間跳過了N個幀，N是一個正整數(shù)；用來在逐個像素的基礎(chǔ)上估算前一幀和當前幀之間的位移，并用估算的位移來補償前一幀以提供預(yù)測的當前幀的裝置；以及用來從當前幀中減去預(yù)測的當前幀以提供差分信號，并對差分信號和代表所建立的位移的第一組運動矢量進行編碼，以提供編碼的信號的裝置；上述解碼裝置包括用來對編碼的信號進行解碼以恢復(fù)差分信號和第一組運動矢量的裝置；用來根據(jù)恢復(fù)的第一組運動矢量來估算前一幀和當前幀之間的位移，并且用估算的位移來補償前一幀以重建預(yù)測的當前幀的裝置；用來在重建的預(yù)測的當前幀上加上差分信號以重建當前幀的裝置；以及用來確定前一幀和重建的當前幀之間的N個被跳過的幀的裝置。
2.根據(jù)權(quán)利要求1的系統(tǒng)，其中上述編碼裝置中的上述估算裝置含有用來從包含在前一幀中的各個像素中選出一些特征點的裝置，每個特征點都是一個能夠代表前一幀中一個物體的運動的像素點；用來對前一幀和當前幀進行比較以對每個選出的特征點探測出第一組運動矢量的裝置，第一組運動矢量中的每個運動矢量都代表前一幀中的一個選出的特征點和當前幀中的一個最相似像素之間的空間位移；用來根據(jù)第一組運動矢量和特征點對包含在當前幀中的所有像素推導(dǎo)出第二組運動矢量裝置；以及用來以第三組運動矢量來補償前一幀以產(chǎn)生預(yù)測的當前幀的裝置。
3.根據(jù)權(quán)利要求2的系統(tǒng)，其中上述解碼裝置中的上述估算裝置含有用來根據(jù)前一幀來重建上述一些特征點的裝置；用來根據(jù)恢復(fù)的第一組運動矢量和重建的特征點來重建關(guān)于包含在當前幀中的所有像素的第二組運動矢量的裝置；以及用來以重建的第二組運動矢量來補償前一幀以產(chǎn)生重建的預(yù)測的當前幀的裝置。
4.根據(jù)權(quán)利要求3的系統(tǒng)，其中上述用來確定N個被跳過的幀的裝置含有用來確定第i個被跳過的幀中的一些運動矢量和相應(yīng)數(shù)目的像素點的裝置，其中第i個被跳過的幀中的相應(yīng)數(shù)目的像素點中的每一個都是通過把前一幀中的每個特征點移動對應(yīng)于前一幀中的上述每個特征點的第一組運動矢量中那個特征點矢量的i/(N＋1)倍來確定的，并且上述第i個被跳過的幀中的相應(yīng)數(shù)目的像素點中的每個像素點和上述前一幀中的特征點中的每個特征點之間的每個運動矢量都是通過把上述第一組運動矢量中的一個相應(yīng)運動矢量乘以因子i/(N＋1)來確定的；以及用來利用上述第i幀中的一些運動矢量和相應(yīng)數(shù)目的像素點來對包含在第i個被跳過的幀中的所有像素確定其運動矢量，以提供出第i幀的裝置。
5.根據(jù)權(quán)利要求3的系統(tǒng)，其中上述用來確定N個被跳過的幀的裝置含有用來確定第i個被跳過的幀中的一些運動矢量和相應(yīng)數(shù)目的像素點的裝置，其中第i個被跳過的幀中的相應(yīng)數(shù)目的像素點中的每一個都是通過把重建的當前幀中的每個特征點移動對應(yīng)于重建的當前幀中的上述每個特征點的第一組運動矢量中的那個特征矢量的(N＋1－i)/(N＋1)倍來確定的，并且上述第i個被跳過的幀中的相應(yīng)數(shù)目的像素點中的每個像素點和上述重建的當前幀中的每個特征點之間的每個運動矢量都是通過把上述第一組運動矢量中的一個相應(yīng)運動矢量乘以因子(N＋1－i)/(N＋1)來確定的；以及用來利用上述第i幀中的一些運動矢量和相應(yīng)數(shù)目的像素點來對包含在第i個被跳過的幀中的所有像素確定其運動矢量，以提供出第i幀的裝置。
全文摘要
圖像處理系統(tǒng)，含有一編碼器和一解碼器。該編碼器含有跳幀器，用來從選出一組視像幀；當前幀預(yù)測單元，用來估算前一幀和當前幀間的各個位移以提供預(yù)測的當前幀；減法器，用來從當前幀中減去預(yù)測的當前幀以提供出差分信號。該解碼器含有當前幀預(yù)測單元，用來根據(jù)恢復(fù)的第一組運動矢量估算前一幀和當前幀間的各個位移，并以這些位移來補償前一幀以重建預(yù)測的當前幀；加法器，用來把重建的預(yù)測的當前幀和差分信號相加以重建當前幀。被跳過的幀也在解碼器中被恢復(fù)。
文檔編號H04N7/26GK1129386SQ9510198
公開日1996年8月21日 申請日期1995年2月13日 優(yōu)先權(quán)日1995年1月9日
發(fā)明者丁海默 申請人:大宇電子株式會社