專利名稱：綜合空時(shí)預(yù)測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域。
背景技術(shù)：
序列的視頻圖像一般是按照兩種方式中的一種方式通過(guò)視頻壓縮處理 來(lái)編碼的。
一種方式是，將通過(guò)自身編碼的圖像序列中的每個(gè)圖像作為獨(dú)
立或靜止圖像。此處理被稱為幀內(nèi)編碼(intra-encoding)壓縮處理，因?yàn)?該編碼算法僅對(duì)目標(biāo)圖像內(nèi)的特征進(jìn)行操作。執(zhí)行視頻壓縮的另一種方式 (稱為時(shí)間預(yù)測(cè)編碼)是，基于先前編碼的另一參考圖像來(lái)預(yù)測(cè)目標(biāo)圖像 的運(yùn)動(dòng)，而指定要編碼的圖像。此處理也被稱為幀間編碼(inter-encoding) ，因?yàn)?，此預(yù)測(cè)是根據(jù)目標(biāo)圖像和參考圖像之間的相互關(guān)系來(lái) 生成的。
在時(shí)間預(yù)測(cè)編碼處理中，目標(biāo)圖像和參考圖像被分割成多個(gè)塊。如果 目標(biāo)圖像中的塊與參考圖像中的塊類似，則該塊從其在參考圖像中的位置 到其在目標(biāo)圖像中的位置的空間位移或運(yùn)動(dòng)是確定的。此位移信息存儲(chǔ)在 關(guān)聯(lián)參考?jí)K和目標(biāo)塊的運(yùn)動(dòng)矢量中。來(lái)自參考?jí)K的被編碼的圖像數(shù)據(jù)提供 對(duì)目標(biāo)塊的圖像數(shù)據(jù)的預(yù)測(cè)。
雖然可以通過(guò)時(shí)間預(yù)測(cè)法來(lái)預(yù)測(cè)目標(biāo)圖像中的大多數(shù)目標(biāo)塊的圖像數(shù) 據(jù)，但是，不能通過(guò)該方法來(lái)很好地預(yù)測(cè)某些目標(biāo)塊。例如，目標(biāo)圖像中 的塊可能不與參考圖像中的塊類似。在這種情況下，利用幀內(nèi)編碼處理對(duì) 目標(biāo)塊進(jìn)行編碼，而無(wú)需依賴任何參考圖像。
圖1示出利用時(shí)間預(yù)測(cè)(或幀間編碼)和幀內(nèi)編碼兩種方法對(duì)目標(biāo)圖 像進(jìn)行編碼的示例。目標(biāo)圖像120中的目標(biāo)塊125利用運(yùn)動(dòng)矢量130與參 考圖像110中的類似塊115匹配。然后，在解碼處理中，根據(jù)參考?jí)K115 的圖像數(shù)據(jù)來(lái)預(yù)測(cè)目標(biāo)塊125的圖像數(shù)據(jù)。從而通過(guò)時(shí)間預(yù)測(cè)法對(duì)目標(biāo)塊125進(jìn)行有效地編碼。
然而，目標(biāo)塊140不能通時(shí)間預(yù)測(cè)法來(lái)編碼，因?yàn)椋撃繕?biāo)塊在參考 圖像110中沒(méi)有類似塊。因此，應(yīng)當(dāng)通過(guò)幀內(nèi)編碼法來(lái)對(duì)目標(biāo)塊40進(jìn)行 編碼。
可利用時(shí)間預(yù)測(cè)法來(lái)很好地編碼某些塊，并且通過(guò)幀內(nèi)編碼方法來(lái)很 好地編碼其它塊。當(dāng)利用時(shí)間預(yù)測(cè)和幀內(nèi)編碼兩種方法對(duì)圖像進(jìn)行編碼 時(shí)，編碼器必須確定對(duì)每個(gè)塊是利用時(shí)間預(yù)測(cè)法還是幀內(nèi)編碼法。然而， 由于傳統(tǒng)的時(shí)間預(yù)測(cè)法和幀內(nèi)編碼法會(huì)產(chǎn)生不同結(jié)果，因此，當(dāng)作出該決 定時(shí)，它們各自的被編碼塊太不相同，以致于不能進(jìn)行比較。
例如，當(dāng)對(duì)目標(biāo)塊進(jìn)行編碼時(shí)， 一般的視頻壓縮算法利用圖2所示的 確定系統(tǒng)200來(lái)確定對(duì)該塊應(yīng)用時(shí)間預(yù)測(cè)法還是幀內(nèi)編碼法。應(yīng)用時(shí)間預(yù) 測(cè)編碼法的時(shí)間預(yù)測(cè)邏輯設(shè)備220對(duì)目標(biāo)塊210編碼。邏輯設(shè)備220確定 運(yùn)動(dòng)矢量230，以將被編碼的圖像數(shù)據(jù)從參考?jí)K映射到目標(biāo)塊210。時(shí)間 預(yù)測(cè)邏輯設(shè)備220還計(jì)算該目標(biāo)塊的預(yù)測(cè)的圖像數(shù)據(jù)和該目標(biāo)塊的實(shí)際圖 像數(shù)據(jù)之間的預(yù)測(cè)誤差240。位成本估計(jì)邏輯設(shè)備250估計(jì)運(yùn)動(dòng)矢量230 的位成本和預(yù)測(cè)誤差240的位成本，以產(chǎn)生對(duì)目標(biāo)塊210進(jìn)行時(shí)間編碼的 位成本。
確定系統(tǒng)200還利用幀內(nèi)編碼處理對(duì)目標(biāo)塊210進(jìn)行編碼。幀內(nèi)編碼 邏輯設(shè)備260對(duì)目標(biāo)塊中的原始像素值應(yīng)用離散余弦變換(DCT)，以產(chǎn) 生一組DCT系數(shù)270。塊內(nèi)位成本估計(jì)邏輯設(shè)備280估計(jì)對(duì)DCT系數(shù)進(jìn) 行編碼的位成本。位成本選擇邏輯設(shè)備290對(duì)由邏輯設(shè)備250和280產(chǎn)生 的位成本進(jìn)行比較，并且選擇具有較低位成本的編碼處理。
如圖2所示，時(shí)間預(yù)測(cè)處理產(chǎn)生運(yùn)動(dòng)矢量和預(yù)測(cè)誤差，而幀內(nèi)編碼法 產(chǎn)生一組DCT系數(shù)。為了比較這兩種方法，確定系統(tǒng)必須執(zhí)行兩種編碼 處理，然后估計(jì)出根據(jù)每種處理的編碼結(jié)果的位成本，之后識(shí)別出產(chǎn)生具 有較低位成本的處理。因此，問(wèn)題是確定系統(tǒng)不能在無(wú)需估計(jì)兩種處理的 全部結(jié)果的位成本的情況下來(lái)確定出哪個(gè)特定編碼處理能提供較好的成本 效益。

發(fā)明內(nèi)容
一種生成對(duì)目標(biāo)圖像中的目標(biāo)像素塊的空間預(yù)測(cè)的方法，該方法包括 以下步驟生成針對(duì)目標(biāo)像素塊的空間矢量，利用該空間矢量構(gòu)建空間參 考?jí)K，并且，利用該空間參考?jí)K來(lái)生成該目標(biāo)塊的空間預(yù)測(cè)。


圖1示出利用時(shí)間預(yù)測(cè)(或幀間編碼)和幀內(nèi)編碼兩種方法對(duì)目標(biāo)圖 像進(jìn)行編碼的示例；
圖2示出確定系統(tǒng)的示例，該確定系統(tǒng)用于確定對(duì)塊應(yīng)用時(shí)間預(yù)測(cè)法 還是幀內(nèi)編碼法；
圖3示出綜合空時(shí)預(yù)測(cè)編碼系統(tǒng)的示例；
圖4示出用于執(zhí)行綜合空時(shí)預(yù)測(cè)編碼(ISTPE)方法的示例；
圖5示出用于執(zhí)行ISTPE方法的實(shí)施例的DCT空時(shí)預(yù)測(cè)處理的示
圖6示出利用ISTPE方法的系統(tǒng)的示例。
具體實(shí)施例方式
在下面的描述中，參考了形成本申請(qǐng)的一部分的附圖，在附圖中顯示 出了可以實(shí)施本發(fā)明的具體實(shí)施例。應(yīng)當(dāng)了解，可以利用其它實(shí)施例，并 且在不脫離本發(fā)明的范圍內(nèi)可以作出各種結(jié)構(gòu)改變。例如，本領(lǐng)域的技術(shù) 人員將明白，用于描述各個(gè)實(shí)施例的術(shù)語(yǔ)領(lǐng)域、幀、圖像或畫面通?？梢?根據(jù)所引用的視頻數(shù)據(jù)互換。
空間預(yù)測(cè)法通過(guò)創(chuàng)建空間矢量和空間預(yù)測(cè)誤差來(lái)替代傳統(tǒng)的幀內(nèi)編碼 法?？臻g矢量具有的結(jié)構(gòu)類似于運(yùn)動(dòng)矢量的結(jié)構(gòu)。所以，對(duì)空間矢量進(jìn)行 編碼的成本類似于對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼的成本。因此，空間預(yù)測(cè)法可以與 時(shí)間預(yù)測(cè)法結(jié)合而產(chǎn)生一種綜合空時(shí)預(yù)測(cè)編碼(ISTPE)方法。
為了將時(shí)間和空間預(yù)測(cè)法結(jié)合在一起，基于誤差的選擇處理通過(guò)比較 兩種方法的預(yù)測(cè)誤差來(lái)選擇對(duì)特定目標(biāo)塊應(yīng)用哪種方法。選擇處理生成了 時(shí)間預(yù)測(cè)法的預(yù)測(cè)結(jié)果，包括運(yùn)動(dòng)矢量和時(shí)間預(yù)測(cè)誤差。選擇處理還生成空間預(yù)測(cè)法的預(yù)測(cè)結(jié)果，包括空間矢量和空間預(yù)測(cè)誤差。因?yàn)閷?duì)運(yùn)動(dòng)矢量 進(jìn)行編碼的成本類似于對(duì)空間矢量進(jìn)行編碼的成本，所以該選擇處理通過(guò) 比較空間和時(shí)間預(yù)測(cè)誤差來(lái)確定選擇哪種編碼方法。利用具有較小預(yù)測(cè)誤 差的預(yù)測(cè)方法來(lái)對(duì)目標(biāo)塊進(jìn)行編碼。作出該選擇無(wú)需估計(jì)空間和時(shí)間預(yù)測(cè) 法的編碼結(jié)果的位成本。
由于時(shí)間和空間預(yù)測(cè)法具有類似的預(yù)測(cè)和編碼階段，并且產(chǎn)生類似的 輸出，因此，執(zhí)行綜合法的編碼器在選擇適當(dāng)編碼法方面具有較小的復(fù)雜
性和較好的精確性。圖3示出了綜合空時(shí)預(yù)測(cè)編碼系統(tǒng)300。系統(tǒng)300通
過(guò)基于誤差的選擇來(lái)確定對(duì)目標(biāo)塊應(yīng)用哪種預(yù)測(cè)方法。
時(shí)間預(yù)測(cè)邏輯設(shè)備320利用時(shí)間預(yù)測(cè)處理對(duì)目標(biāo)塊310進(jìn)行編碼。邏 輯設(shè)備320生成運(yùn)動(dòng)矢量330，以指向參考?jí)K。邏輯設(shè)備320利用來(lái)自參 考?jí)K的被編碼的圖像數(shù)據(jù)預(yù)測(cè)目標(biāo)塊的圖像數(shù)據(jù)。然后，邏輯設(shè)備320計(jì) 算時(shí)間預(yù)測(cè)誤差340，該時(shí)間預(yù)測(cè)誤差340是對(duì)目標(biāo)塊進(jìn)行預(yù)測(cè)的圖像數(shù) 據(jù)和該目標(biāo)塊的實(shí)際圖像數(shù)據(jù)之間的差。
還用空間預(yù)測(cè)邏輯設(shè)備350對(duì)目標(biāo)塊310編碼，用于創(chuàng)建該目標(biāo)塊的 空間矢量360。邏輯設(shè)備350利用空間矢量構(gòu)建空間參考?jí)K。邏輯設(shè)備 350利用空間參考?jí)K預(yù)測(cè)目標(biāo)塊的圖像數(shù)據(jù)。然后，邏輯設(shè)備350計(jì)算空 間預(yù)測(cè)的圖像數(shù)據(jù)和實(shí)際圖像數(shù)據(jù)之間的空間預(yù)測(cè)誤差370 。
綜合空時(shí)選擇邏輯設(shè)備380對(duì)時(shí)間預(yù)測(cè)誤差340和空間預(yù)測(cè)誤差370 進(jìn)行比較，選擇具有較小誤差的編碼方法，作為用于目標(biāo)塊310的適當(dāng)編 碼法。
如圖3所示，空間預(yù)測(cè)邏輯設(shè)備350產(chǎn)生輸出，諸如空間矢量360和 空間預(yù)測(cè)誤差370，該輸出類似于時(shí)間預(yù)測(cè)邏輯設(shè)備320的輸出。當(dāng)選擇 時(shí)間或空間預(yù)測(cè)法對(duì)目標(biāo)塊進(jìn)行編碼時(shí)，編碼器系統(tǒng)300可以通過(guò)直接比 較時(shí)間和空間預(yù)測(cè)的預(yù)測(cè)誤差來(lái)作決定，而無(wú)需估計(jì)時(shí)間和空間預(yù)測(cè)的位 成本。因此，減小了作出決定的復(fù)雜性。這使得空間預(yù)測(cè)法很容易與時(shí)間 預(yù)測(cè)法結(jié)合，以提供一種執(zhí)行綜合空時(shí)預(yù)測(cè)編碼(ISTPE)的系統(tǒng)。
此外，由ISTPE系統(tǒng)生成的預(yù)測(cè)誤差可以利用基于非塊處理來(lái)進(jìn)行編 碼。這與傳統(tǒng)的幀間和幀內(nèi)編碼法不同，僅生成經(jīng)過(guò)幀間編碼(或者時(shí)間預(yù)測(cè))的塊之間的預(yù)測(cè)誤差。因此，這些傳統(tǒng)預(yù)測(cè)誤差必須要逐塊(例
如，按照基于DCT法的塊)進(jìn)行編碼。ISPTE處理生成對(duì)目標(biāo)塊進(jìn)行空間
預(yù)測(cè)和時(shí)間預(yù)測(cè)的預(yù)測(cè)誤差。這樣，可以將兩種方法產(chǎn)生的預(yù)測(cè)誤差集合 在一起，并利用基于非塊的變換(例如，微波變換)來(lái)對(duì)其進(jìn)行編碼。
圖4示出了一種用于對(duì)目標(biāo)圖像執(zhí)行ISTPE的方法。在410中，接收 目標(biāo)圖像的時(shí)間參考圖像。經(jīng)過(guò)編碼的時(shí)間參考圖像可以是一個(gè)也可以是 多個(gè)參考圖像。
在402中，選擇目標(biāo)塊的形態(tài)圖案(shape pattern)并且將其應(yīng)用到要 被預(yù)測(cè)的目標(biāo)圖像。形態(tài)圖案可以是固定的塊圖案(例如，在MPEG-1/2 中使用的圖案)，也可以是可變的塊圖案(例如，在MREG-AVC/H.264 中使用的圖案)。在420中，所選擇的圖案被應(yīng)用于目標(biāo)圖像，以生成被 稱為目標(biāo)塊的一組塊(或其它形態(tài))。每個(gè)目標(biāo)塊是要根據(jù)時(shí)間或空間參 考?jí)K一起預(yù)測(cè)的目標(biāo)圖像中最小的像素組，例如， 一個(gè)目標(biāo)塊中的所有像 素共享相同的運(yùn)動(dòng)矢量或空間矢量。
在425中，選擇目標(biāo)塊中的一個(gè)進(jìn)行編碼。在430中，時(shí)間預(yù)測(cè)法應(yīng) 用于所選擇的目標(biāo)塊，以生成指向參考?jí)K的運(yùn)動(dòng)矢量。本領(lǐng)域技術(shù)人員所 知的傳統(tǒng)運(yùn)動(dòng)估計(jì)步驟可以用來(lái)識(shí)別參考?jí)K和確定運(yùn)動(dòng)矢量。例如，可以 根據(jù)目標(biāo)塊和參考?jí)K之間的位移(或運(yùn)動(dòng))來(lái)計(jì)算運(yùn)動(dòng)矢量。在435中， 參考?jí)K中被編碼的圖像數(shù)據(jù)用于生成對(duì)目標(biāo)塊的圖像數(shù)據(jù)的時(shí)間預(yù)測(cè)。
在440中，空間預(yù)測(cè)法用于所選擇的目標(biāo)塊，以創(chuàng)建該目標(biāo)塊的空間 矢量?？臻g矢量是一組用于創(chuàng)建該目標(biāo)塊的原始方案(coarse version)
(被稱為空間參考?jí)K)的數(shù)據(jù)。在450中，利用空間矢量構(gòu)建空間參考 塊?？梢杂貌煌姆椒▉?lái)創(chuàng)建空間矢量和構(gòu)建空間參考?jí)K。在一個(gè)實(shí)施例 中，使用離散余弦變換空間預(yù)測(cè)(DCT-SP)處理來(lái)創(chuàng)建空間矢量和構(gòu)建 相應(yīng)的空間參考?jí)K。下面描述DCT-SP處理的一個(gè)示例。
在455中，空間參考?jí)K用于生成對(duì)該目標(biāo)塊的圖像數(shù)據(jù)的空間預(yù)測(cè)。
在460中，選擇函數(shù)選擇用于對(duì)該目標(biāo)塊進(jìn)行編碼的預(yù)測(cè)方法。該選 擇是通過(guò)比較時(shí)間和空間預(yù)測(cè)法的預(yù)測(cè)誤差來(lái)完成的。時(shí)間預(yù)測(cè)誤差是通 過(guò)從該塊的實(shí)際像素值中減去對(duì)該塊進(jìn)行時(shí)間預(yù)測(cè)的像素值而得到的。同空間預(yù)測(cè)的像素值而得到的。通 常，選擇函數(shù)計(jì)算出時(shí)間預(yù)測(cè)誤差和空間預(yù)測(cè)誤差，比較這兩種誤差，并 選擇具有較低預(yù)測(cè)誤差的方法。在一個(gè)實(shí)施例中，該選擇函數(shù)確定時(shí)間預(yù)
測(cè)和空間預(yù)測(cè)兩種方法對(duì)目標(biāo)塊的預(yù)測(cè)失真(prediction distortion)的值，
并且選擇具有較低預(yù)測(cè)失真的編碼法。
對(duì)塊預(yù)測(cè)失真的示例是
",Zdvw)2 (1)
其中，A"S表示塊(或者形態(tài))B中的所有像素，^是目標(biāo)圖像的 原始像素值，以及"J是目標(biāo)像素的預(yù)測(cè)值。
根據(jù)435，時(shí)間預(yù)測(cè)可以輸入公式(1)，以產(chǎn)生時(shí)間預(yù)測(cè)失真。根據(jù) 455，空間預(yù)測(cè)可以應(yīng)用到公式(1)，以產(chǎn)生空間預(yù)測(cè)失真。因此，公式 (1)可用于生成時(shí)間和空間預(yù)測(cè)的預(yù)測(cè)失真。然后，很容易地比較兩種 預(yù)測(cè)失真，以選擇適當(dāng)?shù)木幋a法。
預(yù)測(cè)失真的另 一示例是預(yù)測(cè)誤差的絕對(duì)值的和
(2)
為了在460中用來(lái)確定對(duì)目標(biāo)塊是利用時(shí)間預(yù)測(cè)法還是空間預(yù)測(cè)法，用戶 可以選擇公式(1)、公式(2)或者其它函數(shù)。
在470中，利用適當(dāng)編碼法可以將最后的目標(biāo)塊預(yù)測(cè)誤差(在460中 根據(jù)空間或時(shí)間編碼選擇的)與該塊一起進(jìn)行編碼。替代地，在目標(biāo)圖像 中的每個(gè)目標(biāo)塊被預(yù)測(cè)和編碼之后，可以對(duì)所有目標(biāo)塊的預(yù)測(cè)誤差一起進(jìn) 行編碼。
在480中，如果圖像中的其它目標(biāo)塊需要被編碼，選擇處理返回 425，否則，處理在490中結(jié)束。
更詳細(xì)地參考圖440到450，在圖5中示出了創(chuàng)建空間矢量和構(gòu)建空 間參考?jí)K的方法的示例。該示例性方法利用DCT (離散余弦變換)生成空 間矢量并構(gòu)建其相應(yīng)的空間參考?jí)K。
在440中，通過(guò)執(zhí)行下面的函數(shù)來(lái)生成空間矢量。在510中，接收目 標(biāo)圖像中的目標(biāo)塊。在515中，生成變換系數(shù)。例如，用來(lái)表示目標(biāo)塊的 矩陣，其中，矩陣中的每個(gè)元素是該塊的像素值。對(duì)矩陣Z執(zhí)行塊變換(例如，DCT)，以得到變換系數(shù)矩陣C。
在517中，用于量子化矩陣C的量子化函數(shù)《作為控制參數(shù)被輸入該 方法。量子化函數(shù)的值可以由用戶定義，或者通過(guò)編碼器來(lái)設(shè)定。在520
中，矩陣c中的每個(gè)元素被量子化，以產(chǎn)生量子化矩陣c'。
在522中，在一些實(shí)施例中，要被選擇的許多系數(shù)7Vc和它們相應(yīng)的矩 陣位置由用戶輸入或者通過(guò)編碼器設(shè)定作為控制參數(shù)。通常，選擇系數(shù)i 的數(shù)量，以使得空間矢量系數(shù)元素的數(shù)量近似于運(yùn)動(dòng)矢量中的元素的數(shù) 量。因此，可以通過(guò)忽略這兩種矢量的編碼成本的函數(shù)來(lái)比較這兩種方法 的編碼效率。
在525中，從它們?cè)谙禂?shù)矩陣C'的特定位置選擇A^個(gè)系數(shù)。在一個(gè)實(shí) 施例中，該處理選擇位于系數(shù)矩陣C'的左上角的臉個(gè)系數(shù)。
在530中，利用iVc個(gè)量子化的數(shù)字創(chuàng)建對(duì)于該目標(biāo)塊的空間矢量S。 該空間矢量可用于生成與該目標(biāo)塊對(duì)應(yīng)的空間參考?jí)K。
在450中，通過(guò)在560中首先接收特定目標(biāo)塊的空間矢量S來(lái)構(gòu)建空 間參考?jí)K。空間矢量包括i個(gè)元素。在565中，根據(jù)空間矢量構(gòu)建該目標(biāo) 塊的塊變換系數(shù)矩陣。在一個(gè)實(shí)施例中，該步驟是通過(guò)首先將所有系數(shù)設(shè) 定為0來(lái)完成的。然后，來(lái)自空間矢量S的系數(shù)值被恢復(fù)到它們?cè)诰仃囍?的先前位置。由于iVc個(gè)系數(shù)被恢復(fù)，結(jié)果得到矩陣5'。在522中，如上所 述，可以將系數(shù)位置矩陣作為系統(tǒng)參數(shù)輸入該方法。
在570中，反量子化￡'中的每個(gè)系數(shù)(如上所述，在517中可以將量 子化函數(shù)作為系統(tǒng)參數(shù)輸入該方法)，以產(chǎn)生系數(shù)矩陣5。在575中，對(duì) 5執(zhí)行逆變換。結(jié)果得到空間參考?jí)K？，空間參考?jí)Ki用于魚的原始的目 標(biāo)塊Z。
在580中，如果需要對(duì)其它目標(biāo)塊執(zhí)行空間預(yù)測(cè)法，則處理通過(guò)返回 510而被重復(fù)。否則，處理在590中結(jié)束。
在圖5中示出的方法產(chǎn)生了具有與時(shí)間參考?jí)K和運(yùn)動(dòng)矢量的結(jié)構(gòu)和功 能類似的結(jié)構(gòu)和功能的空間參考?jí)K和與其對(duì)應(yīng)的空間矢量。例如，時(shí)間參 考?jí)K通過(guò)其運(yùn)動(dòng)矢量來(lái)識(shí)別。例如，時(shí)間參考?jí)K通過(guò)其運(yùn)動(dòng)矢量來(lái)識(shí)別， 并且空間參考?jí)K是根據(jù)其空間矢量來(lái)構(gòu)建的。由圖5的方法創(chuàng)建的空間矢量具有與運(yùn)動(dòng)矢量的元素?cái)?shù)量近似的元素?cái)?shù)量。利用近似數(shù)量的元素，當(dāng) 確定對(duì)目標(biāo)塊應(yīng)用哪種預(yù)測(cè)方法時(shí)可以忽略對(duì)每個(gè)矢量的編碼成本，所述 編碼成本是對(duì)該矢量進(jìn)行編碼所需的位的數(shù)量。因此，通過(guò)比較兩種預(yù)測(cè) 塊的預(yù)測(cè)誤差可以很容易地作出編碼決定。
下面描述利用圖5的方法執(zhí)行空間預(yù)測(cè)的示例。在該示例中，目標(biāo)塊
具有4x4的尺寸，例如該矩陣具有4行和4列像素。通常，DCT可應(yīng)用于 任何尺寸的長(zhǎng)方形塊，例如，8x8或4x8。以Z表示目標(biāo)塊的原始像素值 (從實(shí)際圖像得到的數(shù)據(jù))矩陣，在該示例中
1 =
197 165 127 105
154 124 98 73
139 117 84 56
123 98 67 35
對(duì)矩陣應(yīng)用二維DCT變換，以生成下面的DCT系數(shù)矩陣 .440.500130 0.5004.302 _ 96 2.0787.041 —1.189 18.0006.962l扁 —0.178 19.5463311 -1.293 —3.578
c = zx:r(z)=
對(duì)C中的DCT系數(shù)應(yīng)用量子化函數(shù)，例如，以值？來(lái)除C中的每個(gè)元 素，然后四舍五入為最近的整數(shù)(在該示例中，g=10)，
44 13 0 0
10 0 1 0
2 10 0
2 0 0 0
設(shè)定^=3，從而空間矢量具有3個(gè)元素。這3個(gè)元素的位置在左上 角。然后，選擇C'的左上角的3個(gè)量子化系數(shù)。通常，系數(shù)臉的數(shù)量和它 們的位置可以由用戶定義為自由參數(shù)(free parameter)。在該示例中，所 選擇的C'中的系數(shù)為44、 13和10。
現(xiàn)在，利用所選擇的系數(shù)創(chuàng)建該目標(biāo)塊的空間矢量
S =[44,13,10]。
去掉矩陣C'中的所有其它元素。
為了構(gòu)建空間參考?jí)K，首先根據(jù)空間矢量S創(chuàng)建系數(shù)矩陣5'。這是通 過(guò)(i)將5'中所有元素設(shè)定成0，并且(ii)根據(jù)空間矢量S將所選擇的系數(shù)恢復(fù)到先前它們?cè)诰仃囍械奈恢脕?lái)完成的
力o o (T oooo
0 0 0 0 0 0 0 0
c'=
—根據(jù)s拷貝—
44 13 0
10 0 0
0 0 0 0 0 0
然后，對(duì)矩陣5'執(zhí)行反量子化，例如，用廣10乘5':
c = c'巧=
44013000
100000
0000
0000
對(duì)矩陣5應(yīng)用反DCT，以產(chǎn)生空間參考?jí)K的像素值，
一185 160 125 IOO畫 166 141 106 81 139 114 79 54 120 9560 35
用空間參考?jí)K？中的像素值預(yù)測(cè)目標(biāo)塊Z的像素值?？臻g預(yù)測(cè)誤差是該目 標(biāo)塊的實(shí)際像素值減去預(yù)測(cè)的像素值
在該情況中，空間預(yù)測(cè)誤差是
197165127105—18516012510012525
154124987316614110681-12一17_8一8
13911784561391147954032
1239867351209560353370
在視頻壓縮應(yīng)用中，空間預(yù)測(cè)編碼法可替代傳統(tǒng)幀內(nèi)編碼法。空間預(yù) 嗎法和時(shí)間預(yù)測(cè)編碼法的結(jié)合得到綜合空時(shí)預(yù)測(cè)編碼法，該方法在視
頻壓縮應(yīng)用(例如，MPEG)中可應(yīng)用于對(duì)全部圖像序列進(jìn)行編碼。
圖6示出利用ISTPE法的系統(tǒng)的示例。數(shù)字視頻照相機(jī)610以電子形 式捕獲圖像，并且利用壓縮設(shè)備620處理圖像，其中，壓縮設(shè)備620在壓 縮和編碼處理中執(zhí)行ISTPE法。經(jīng)過(guò)編碼的圖像通過(guò)電子傳輸介質(zhì)630被 發(fā)送到數(shù)字回放設(shè)備640。由解碼設(shè)備650對(duì)圖像進(jìn)行解碼，其中，在解 碼處理中，解碼設(shè)備650利用ISPTE法。照相機(jī)610是包括本發(fā)明的實(shí)施例的多種圖像處理裝置(例如，其它圖像捕獲設(shè)備、圖像編輯器、圖像處 理器、個(gè)人和商用計(jì)算機(jī)平臺(tái)等等)中的示例性的一種。同樣，解碼設(shè)備 650是對(duì)圖像數(shù)據(jù)進(jìn)行解碼的多種設(shè)備中的示例性的一種。
雖然依照特定系統(tǒng)環(huán)境中的示例性實(shí)施例來(lái)描述本發(fā)明，但是本領(lǐng)域 技術(shù)人員將會(huì)明白，在不脫離所附權(quán)利要求的精神和范圍內(nèi)可以在其它和 不同硬件和軟件環(huán)境中按照多種方式來(lái)實(shí)施本發(fā)明。
權(quán)利要求
1.一種由電子數(shù)據(jù)處理器執(zhí)行的方法，該方法包括以下步驟生成針對(duì)目標(biāo)像素塊的空間矢量；利用所述空間矢量構(gòu)建空間參考?jí)K；并且利用所述空間參考?jí)K生成對(duì)所述目標(biāo)塊的空間預(yù)測(cè)。
2. 如權(quán)利要求1所述的方法，還包括 生成空間預(yù)測(cè)誤差；并且利用所述空間預(yù)測(cè)誤差確定是否對(duì)所述空間參考?jí)K進(jìn)行編碼。
3. 如權(quán)利要求2所述的方法，其中，確定是否對(duì)所述空間參考?jí)K進(jìn)行 編碼包括將所述空間預(yù)測(cè)誤差與時(shí)間預(yù)測(cè)誤差進(jìn)行比較；并且 如果所述空間預(yù)測(cè)誤差小于所述時(shí)間預(yù)測(cè)誤差，則對(duì)所述空間參考?jí)K 進(jìn)行編碼。
4. 如權(quán)利要求1所述的方法，其中，生成所述空間矢量包括 執(zhí)行離散余弦變換空間預(yù)測(cè)法。
5. 如權(quán)利要求4所述的方法，其中，所述離散余弦變換空間預(yù)測(cè)法包括生成對(duì)于所述目標(biāo)塊的像素值矩陣；將離散余弦變換函數(shù)應(yīng)用于所述矩陣，以產(chǎn)生離散余弦變換系數(shù)矩陣；將量子化函數(shù)應(yīng)用于所述離散余弦變換系數(shù)矩陣；并且 選擇許多量子化的系數(shù)作為所述空間矢量的元素。
6. 如權(quán)利要求5所述的方法，其中，利用所述空間矢量構(gòu)建所述空間參考?jí)K包括利用所述空間矢量生成量子化離散余弦變換系數(shù)矩陣； 將反量子化函數(shù)應(yīng)用于所述量子化離散余弦變換系數(shù)矩陣，以產(chǎn)生離 散余弦變換系數(shù)矩陣；并且 ，將反離散余弦變換函數(shù)應(yīng)用于所述離散余弦變換系數(shù)矩陣，以產(chǎn)生具有像素值矩陣的所述空間參考?jí)K。
7. 如權(quán)利要求6所述的方法，其中，利用所述空間參考?jí)K生成所述目 標(biāo)塊的所述空間預(yù)測(cè)包括利用所述像素值矩陣預(yù)測(cè)所述目標(biāo)塊的值。
8. —種裝置，包括空間矢量生成器，用于生成針對(duì)目標(biāo)像素塊的空間矢量； 空間參考?jí)K構(gòu)建器，用于利用所述空間矢量構(gòu)建空間參考?jí)K；以及 空間預(yù)測(cè)器，用于利用所述空間參考?jí)K生成對(duì)所述目標(biāo)塊的空間預(yù)
9. 如權(quán)利要求8所述的裝置，還包括 預(yù)測(cè)誤差生成器，用于生成空間預(yù)測(cè)誤差；以及確定邏輯設(shè)備，用于利用所述空間預(yù)測(cè)誤差確定是否對(duì)所述空間參考 塊進(jìn)行編碼。
10. 如權(quán)利要求9所述的裝置，其中，所述確定邏輯設(shè)備包括 比較器，用于將所述空間預(yù)測(cè)誤差與時(shí)間預(yù)測(cè)誤差進(jìn)行比較；以及 編碼器，用于如果所述空間預(yù)測(cè)誤差小于所述時(shí)間預(yù)測(cè)誤差，則對(duì)所述空間參考?jí)K進(jìn)行編碼。
11. 如權(quán)利要求8所述的方法，其中，所述空間矢量生成器包括 離散余弦變換邏輯設(shè)備，用于執(zhí)行離散余弦變換空間預(yù)測(cè)功能。
12. 如權(quán)利要求11所述的方法，其中，所述離散余弦變換邏輯設(shè)備包括矩陣生成器，用于生成對(duì)于所述目標(biāo)塊的像素值矩陣； 離散余弦變換系數(shù)生成器，用于利用所述矩陣產(chǎn)生離散余弦變換系數(shù)矩陣；量子化設(shè)備，用于將量子化函數(shù)應(yīng)用于所述離散余弦變換系數(shù)矩陣；以及選擇設(shè)備，用于選擇許多量子化系數(shù)作為所述空間矢量的元素。
13. 如權(quán)利要求12所述的方法，其中，所述空間參考?jí)K構(gòu)建器包括 空間矢量解碼器，用于利用所述空間矢量生成量子化離散余弦變換系數(shù)矩陣；反量子化設(shè)備，用于將反量子化函數(shù)應(yīng)用于所述量子化離散余弦變換 系數(shù)矩陣，以產(chǎn)生離散余弦變換系數(shù)矩陣；以及反離散余弦變換設(shè)備，用于將反離散余弦變換函數(shù)應(yīng)用于所述離散余 弦變換系數(shù)矩陣，以產(chǎn)生具有像素值矩陣的所述空間參考?jí)K。
14. 如權(quán)利要求13所述的方法，其中，所述空間預(yù)測(cè)器包括 參考?jí)K解碼器，用于利用來(lái)自所述空間參考?jí)K的所述像素值矩陣來(lái)預(yù)測(cè)所述目標(biāo)塊的像素值。
15. —種用于存儲(chǔ)指令程序的計(jì)算機(jī)可讀介質(zhì)，其中，在處理系統(tǒng)執(zhí) 行所述指令時(shí)，可使該系統(tǒng)執(zhí)行包括以下步驟的方法生成針對(duì)目標(biāo)像素塊的空間矢量； 利用所述空間矢量構(gòu)建空間參考?jí)K；并且 利用所述空間參考?jí)K生成對(duì)所述目標(biāo)塊的空間預(yù)測(cè)。
16. 如權(quán)利要求15所述的計(jì)算機(jī)可讀介質(zhì)，還包括生成空間預(yù)測(cè)誤差；并且確定是否利用所述空間預(yù)測(cè)誤差對(duì)所述空間參考?jí)K進(jìn)行編碼。
17. 如權(quán)利要求16所述的計(jì)算機(jī)可讀介質(zhì)，其中，確定是否對(duì)所述空 間參考?jí)K進(jìn)行編碼包括將所述空間預(yù)測(cè)誤差與時(shí)間預(yù)測(cè)誤差進(jìn)行比較；并且 如果所述空間預(yù)測(cè)誤差小于所述時(shí)間預(yù)測(cè)誤差，則對(duì)所述空間參考?jí)K 進(jìn)行編碼。
18. 如權(quán)利要求15所述的計(jì)算機(jī)可讀介質(zhì)，其中，生成所述空間矢量包括執(zhí)行離散余弦變換空間預(yù)測(cè)法。
19. 如權(quán)利要求18所述的計(jì)算機(jī)可讀介質(zhì)，其中，所述離散余弦變換空間預(yù)測(cè)法包括生成對(duì)于所述目標(biāo)塊的像素值矩陣；將離散余弦變換函數(shù)應(yīng)用于所述矩陣，以產(chǎn)生離散余弦變換系數(shù)矩陣；將量子化函數(shù)應(yīng)用于所述離散余弦變換系數(shù)矩陣；并且選擇許多量子化系數(shù)作為所述空間矢量的元素。
20. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中，利用所述空間矢量 構(gòu)建所述空間參考?jí)K包括利用所述空間矢量生成量子化離散余弦變換系數(shù)矩陣； 將反量子化函數(shù)應(yīng)用于所述量子化離散余弦變換系數(shù)矩陣，以產(chǎn)生離散余弦變換系數(shù)矩陣；并且將反離散余弦變換函數(shù)應(yīng)用于所述離散余弦變換系數(shù)矩陣，以產(chǎn)生具有像素值矩陣的所述空間參考?jí)K。
21. 如權(quán)利要求20所述的計(jì)算機(jī)可讀介質(zhì)，其中，利用所述空間參考?jí)K生成所述目標(biāo)塊的所述空間預(yù)測(cè)包括利用所述像素值矩陣預(yù)測(cè)所述目標(biāo)塊的像素值。
全文摘要
一種用于生成目標(biāo)圖像中的目標(biāo)像素塊的空間預(yù)測(cè)的方法，該方法包括以下步驟生成針對(duì)目標(biāo)像素塊的空間矢量，利用該空間矢量構(gòu)建空間參考?jí)K，并且利用該空間參考?jí)K生成該目標(biāo)塊的空間預(yù)測(cè)。
文檔編號(hào)H04N7/18GK101584215SQ200680034127
公開(kāi)日2009年11月18日 申請(qǐng)日期2006年8月30日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請(qǐng)人:索尼電子有限公司