專利名稱：用于確定并重建預(yù)測(cè)的圖像區(qū)域的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于確定預(yù)測(cè)的圖像區(qū)域的方法和裝置以及用于重建 預(yù)測(cè)的圖像區(qū)域的方法和裝置.
背景技術(shù)：
在具有高分辨率和圖像重復(fù)率的視頻數(shù)據(jù)的數(shù)字傳輸中，需要具 有高的壓縮效率的視頻編碼方法。在此情況下，經(jīng)常為該視頻編碼方 法預(yù)先給定傳輸率，其中應(yīng)該達(dá)到高的圖像質(zhì)量。
目前常用的視頻編碼方法例如被標(biāo)準(zhǔn)化為MPEG2、 MPEG4、 ITU H. 261、 H. 263、 H. 264 ( MPEG-運(yùn)動(dòng)圖像專家組，ITU-國(guó)際電信聯(lián)盟)。 這些視頻編碼方法基于由圖像內(nèi)容的與例如DCT或ICT (DCT-離散余 弦變換，ICT-整數(shù)編碼變換)的變換相聯(lián)系的時(shí)間預(yù)測(cè)(=運(yùn)動(dòng)補(bǔ)償) 和在運(yùn)動(dòng)補(bǔ)償以及變換之后剩下的誤差信號(hào)的量化構(gòu)成的混合措施。 在這些視頻編碼方法中，主要傳輸運(yùn)動(dòng)模型的參數(shù)(矢量、塊模式) 和所得到的剩余誤差信號(hào)的系數(shù)。
通過(guò)在圖像質(zhì)量保持不變的情況下改進(jìn)壓縮效率，用于傳輸壓縮 視頻序列的傳輸數(shù)據(jù)率被降低。這例如可以通過(guò)改進(jìn)預(yù)測(cè)來(lái)實(shí)現(xiàn)。此 外可以通過(guò)將像點(diǎn)柵格從像素精度細(xì)化到半像素精度來(lái)改進(jìn)運(yùn)動(dòng)估計(jì) 并且因此改進(jìn)運(yùn)動(dòng)補(bǔ)償。壓縮效率的進(jìn)一步提高可以通過(guò)減小塊大小 來(lái)實(shí)現(xiàn)，其中在運(yùn)動(dòng)估計(jì)或運(yùn)動(dòng)補(bǔ)償?shù)姆秶鷥?nèi)針對(duì)該塊大小進(jìn)行相應(yīng) 的預(yù)測(cè)。除了幀間預(yù)測(cè)(Inter-PrSdiktion)、即對(duì)在不同的時(shí)刻所 接收的圖像之間的相關(guān)性的利用之外，還可以通過(guò)幀內(nèi)預(yù)測(cè) (Intra-Pradiktion)來(lái)實(shí)現(xiàn)壓縮效率的提高。在這種幀內(nèi)預(yù)測(cè)的情 況下，基于當(dāng)前圖像的已經(jīng)被編碼和重建的圖像內(nèi)容來(lái)執(zhí)行對(duì)圖像區(qū) 域的預(yù)測(cè)。

發(fā)明內(nèi)容
本發(fā)明的任務(wù)在于，提供能夠?qū)崿F(xiàn)預(yù)測(cè)的改進(jìn)的可能性。 該任務(wù)分別由獨(dú)立權(quán)利要求來(lái)解決。本發(fā)明的有利的改進(jìn)方案在 從屬權(quán)利要求中再現(xiàn)。
在用于針對(duì)圖像的圖像區(qū)域確定預(yù)測(cè)的圖像區(qū)域的方法中，基于相對(duì)于該圖像在時(shí)間上在前的、被重建的在前圖像確定用于該圖像區(qū) 域的時(shí)間預(yù)測(cè)器，在該圖像的被重建的圖像區(qū)域內(nèi)確定用于該圖像區(qū) 域的局部預(yù)測(cè)器，其中使該圖像區(qū)域與基于時(shí)間和局部預(yù)測(cè)器預(yù)測(cè)的 圖像區(qū)域之間的誤差度最小化，該預(yù)測(cè)的圖像區(qū)域通過(guò)局部預(yù)測(cè)器在 使用被重建的圖像區(qū)域的情況下并且通過(guò)時(shí)間預(yù)測(cè)器在使用在前圖像 之一的情況下被確定。
通過(guò)本發(fā)明方法，基于通過(guò)局部和時(shí)間預(yù)測(cè)器被重建的圖像區(qū)域 和待預(yù)測(cè)的圖像區(qū)域的預(yù)測(cè)誤差(=誤差度)變小。由此，可以提高 壓縮效率，使得能夠?qū)崿F(xiàn)用于存儲(chǔ)或傳送利用本發(fā)明方法壓縮的圖像 區(qū)域或圖像數(shù)據(jù)的減小的存儲(chǔ)容積或更窄帶的傳輸路徑。
如果通過(guò)基于關(guān)聯(lián)規(guī)則對(duì)通過(guò)時(shí)間預(yù)測(cè)器形成的第一圖像區(qū)域和 通過(guò)局部預(yù)測(cè)器描述的第二圖像區(qū)域進(jìn)行關(guān)聯(lián)來(lái)產(chǎn)生預(yù)測(cè)的圖像區(qū) 域，則可以通過(guò)關(guān)聯(lián)規(guī)則與待預(yù)測(cè)的圖像區(qū)域的適配來(lái)實(shí)現(xiàn)預(yù)測(cè)誤差 的進(jìn)一步減小。
如果有利地通過(guò)關(guān)聯(lián)規(guī)則來(lái)描述笫一和第二圖像區(qū)域的對(duì)應(yīng)的像 點(diǎn)借助權(quán)重因子的加權(quán)關(guān)聯(lián)，則可以以筒單和有效的方式實(shí)現(xiàn)該關(guān)聯(lián) 規(guī)則。
此外，用于第一和/或第二圖像區(qū)域的每個(gè)像點(diǎn)的權(quán)重因子還可以 單獨(dú)地被描述。由此，實(shí)現(xiàn)待預(yù)測(cè)的圖像區(qū)域的預(yù)測(cè)的進(jìn)一步改進(jìn)或 者預(yù)測(cè)誤差的減小。
替代于此，可以有利地基于關(guān)聯(lián)規(guī)則執(zhí)行至少第一或第二圖像區(qū) 域的旋轉(zhuǎn)或剪切.因此，可以進(jìn)一步細(xì)化第一和/或第二圖像區(qū)域的適 配，使得能夠?qū)崿F(xiàn)預(yù)測(cè)精度的提高。
在該方法的優(yōu)選的擴(kuò)展方案中，從不同的關(guān)聯(lián)規(guī)則的集合中選擇
使誤差度最小化的那個(gè)關(guān)聯(lián)規(guī)則。這具有以下優(yōu)點(diǎn)以小的附加的信 令花費(fèi)，可以將所選擇的關(guān)聯(lián)規(guī)則從例如具有用于執(zhí)行用于確定預(yù)測(cè) 的圖像區(qū)域的方法的裝置的發(fā)送器傳輸?shù)骄哂杏糜趫?zhí)行用于重建預(yù)測(cè) 的圖像區(qū)域的方法的裝置的接收器。
如果通過(guò)局部預(yù)測(cè)器來(lái)引用(referenzieren)在該圖4象的已經(jīng)被 重建的圖像區(qū)域內(nèi)的圖像區(qū)域，則該方法的預(yù)測(cè)精度可以被進(jìn)一步改 進(jìn)。
有利地，為了確定局部預(yù)測(cè)器，從一組能夠預(yù)先給定的幀內(nèi)預(yù)測(cè)模式中選擇使誤差度最小化的那個(gè)幀內(nèi)預(yù)測(cè)模式。由此，能夠?qū)崿F(xiàn)用 于確定局部預(yù)測(cè)器的簡(jiǎn)單的處理方式。此外，還可以通過(guò)重新使用已
經(jīng)由標(biāo)準(zhǔn)、諸如H. 264已知的幀內(nèi)預(yù)測(cè)模式來(lái)實(shí)現(xiàn)低成本的實(shí)施方案。 本發(fā)明也涉及用于重建預(yù)測(cè)的圖像區(qū)域的方法，其中該預(yù)測(cè)的圖 像區(qū)域通過(guò)局部和時(shí)間預(yù)測(cè)器來(lái)確定，該局部和時(shí)間預(yù)測(cè)器是按照上 述權(quán)利要求之一形成的，其中通過(guò)對(duì)通過(guò)時(shí)間預(yù)測(cè)器形成的第一圖像 區(qū)域和通過(guò)局部預(yù)測(cè)器描述的第二圖像區(qū)域進(jìn)行關(guān)聯(lián)來(lái)產(chǎn)生該預(yù)測(cè)的 圖像區(qū)域。
由此提供一種方法，利用該方法可以使用在用于針對(duì)圖像的圖像 區(qū)域確定預(yù)測(cè)的圖像區(qū)域的方法中所確定的時(shí)間和局部預(yù)測(cè)器來(lái)進(jìn)行 重建。因此，該用于重建預(yù)測(cè)的圖像區(qū)域的方法可以在接收器中在視 頻解碼方法的范圍內(nèi)被采用。
用于針對(duì)圖像的圖像區(qū)域確定預(yù)測(cè)的圖像區(qū)域的確定裝置包括 第一模塊，用于基于相對(duì)于該圖像在時(shí)間上在前的、被重建的在前圖 像確定用于該圖像的圖像區(qū)域的時(shí)間預(yù)測(cè)器；第二模塊，用于基于該 圖像的被重建的圖像區(qū)域來(lái)確定用于待預(yù)測(cè)的圖像區(qū)域的局部預(yù)測(cè) 器，其中使該圖像區(qū)域和基于該時(shí)間和局部預(yù)測(cè)器所預(yù)測(cè)的圖像區(qū)域 之間的誤差度最小化，其中預(yù)測(cè)的圖像區(qū)域通過(guò)局部預(yù)測(cè)器在使用被 重建的圖像區(qū)域的情況下并且通過(guò)時(shí)間預(yù)測(cè)器在使用在前圖像之一的 情況下被確定。借助該確定裝置，可以實(shí)施并執(zhí)行用于針對(duì)圖像的圖 像區(qū)域確定預(yù)測(cè)的圖像區(qū)域的方法及其擴(kuò)展方案。
本發(fā)明也涉及用于重建預(yù)測(cè)的圖像區(qū)域的重建裝置，其中預(yù)測(cè)的 圖像區(qū)域通過(guò)局部和時(shí)間預(yù)測(cè)器來(lái)確定，其中局部預(yù)測(cè)器和時(shí)間預(yù)測(cè) 器是基于用于確定預(yù)測(cè)的圖像區(qū)域的確定裝置形成的，該重建裝置具 有用于基于時(shí)間預(yù)測(cè)器和相對(duì)于該圖像在時(shí)間上在前的在前圖像之 一來(lái)形成第一圖像區(qū)域的笫一重建模塊，用于基于已經(jīng)在該圖像中被 重建的圖像區(qū)域來(lái)形成第二圖像區(qū)域的第二重建模塊，用于通過(guò)第一 和第二圖像區(qū)域的關(guān)聯(lián)來(lái)重建該預(yù)測(cè)的圖像區(qū)域的第三重建模塊。借 助該重建裝置，可以實(shí)施并執(zhí)行用于重建預(yù)測(cè)的圖像區(qū)域的方法及其 擴(kuò)展方案。


本發(fā)明的其它細(xì)節(jié)以及優(yōu)點(diǎn)借助附圖來(lái)更詳細(xì)地闡述。詳細(xì)地圖1以示意圖示出用于確定預(yù)測(cè)的圖像區(qū)域的方法或裝置； 圖2以示意圖示出用于重建預(yù)測(cè)的圖像區(qū)域的裝置或方法； 圖3示出用于基于塊進(jìn)行圖像編碼的、具有用于執(zhí)行用于確定預(yù)
測(cè)的圖像區(qū)域的方法的擴(kuò)展的常見(jiàn)裝置的概要圖4示出待預(yù)測(cè)的圖像區(qū)域或圖像塊的相鄰邊緣像素的布置。 在圖1至4中具有相同功能和作用方式的元件配備有相同的附圖
才示^己。
具體實(shí)施例方式
借助圖1首先更詳細(xì)地闡述用于確定預(yù)測(cè)的圖像區(qū)域的方法.圖 像BO或相對(duì)于圖像BO在時(shí)間上在前的圖像RB包括多個(gè)圖像區(qū)域，這 些圖像區(qū)域通過(guò)多個(gè)、例如8x8或4x4個(gè)像點(diǎn)BP構(gòu)成。每個(gè)像點(diǎn)BP 在此表示亮度值和/或顏色值。對(duì)于下面的實(shí)施例來(lái)說(shuō)，針對(duì)圖像區(qū)域 采用正方形的形狀、例如具有4x4個(gè)像點(diǎn)的圖像塊。通常，圖像區(qū)域 可以采用任意的形狀。
在第一步驟S1中，確定用于應(yīng)該被預(yù)測(cè)的圖像區(qū)域BB的時(shí)間預(yù) 測(cè)器ZP。該圖像區(qū)域BB也被稱為待預(yù)測(cè)的圖像區(qū)域BB。首先，在相 對(duì)于圖像BO在時(shí)間上在前的圖像RB之一中尋找第一圖像區(qū)域BBT，該 第一圖像區(qū)域例如使待預(yù)測(cè)的圖像區(qū)域BB中的和第一圖像區(qū)域BBT中 的對(duì)應(yīng)像點(diǎn)BB的絕對(duì)差之和最小化。
如果各個(gè)圖^f象區(qū)域BB和BBT例如分別包括4x4個(gè)4象點(diǎn)，則所述 第一步驟可以在形式上如下來(lái)描述
，-力LI朋",力-朋7^)1
其中x， y為各個(gè)圖像區(qū)域BB、 BBT內(nèi)的像點(diǎn)BP的位置，| . |為絕對(duì) 值。在等式(l)中確定在相對(duì)于圖像BO在時(shí)間上在前的圖像RB中使 該等式(1 )最小化(即SAD變?yōu)樽钚?的那個(gè)笫一圖像區(qū)域BBT。所 確定的第一圖像區(qū)域BBT的位置由時(shí)間預(yù)測(cè)器ZP來(lái)表示。第二圖像區(qū) 域BBT可以不僅基于圖像RB的預(yù)先給定的像點(diǎn)而且通過(guò)圖像RB的像 點(diǎn)的內(nèi)插、例如在中間像點(diǎn)上(英文-halfpel (半像素))被形成。 本領(lǐng)域4支術(shù)人員從例如標(biāo)準(zhǔn)H. 263的運(yùn)動(dòng)估計(jì)足夠熟悉這種方法。
在第二步驟S2中確定局部預(yù)測(cè)器0P,該局部預(yù)測(cè)器使待預(yù)測(cè)的圖 像區(qū)域BB和基于時(shí)間和局部預(yù)測(cè)器ZP、 0P所預(yù)測(cè)的圖像區(qū)域PBB之間的誤差度FM最小化。該誤差度FM相應(yīng)于預(yù)測(cè)誤差。局部預(yù)測(cè)器0P 使用圖像B0內(nèi)的被重建的圖像區(qū)域RBB,其中該圖像區(qū)域已經(jīng)被重建。 在本發(fā)明方法的第一變型方案中，為了確定局部預(yù)測(cè)器OP，在已 經(jīng)被重建的圖像區(qū)域RBB中確定第二圖像區(qū)域BBO,該第二圖像區(qū)域連 同通過(guò)時(shí)間預(yù)測(cè)器ZP所確定的第一圖像區(qū)域BBT使誤差度FM最小化。 在此，借助關(guān)聯(lián)規(guī)則(Verkniipfungsregel ) VKR對(duì)第一和第二圖像區(qū) 域BBT、 BBO進(jìn)行關(guān)聯(lián)或者混合。在本實(shí)施例中，該關(guān)聯(lián)規(guī)則VKR描述 第一和第二圖像區(qū)域BBT、 BBO借助所分配的權(quán)重因子的加權(quán)的、逐像 點(diǎn)的混合。這可以在形式上如下來(lái)iJt明
<formula>formula see original document page 8</formula>
(2)
其中x, y為各個(gè)圖像區(qū)域BB、 BBT、 BB0內(nèi)的像點(diǎn)BP的位置，卜|為
絕對(duì)值，ct為時(shí)間權(quán)重因子，并且P為局部權(quán)重因子。在此，可以得
到a + e =1。在等式(2)中確定在已經(jīng)被重建的圖像區(qū)域PBB中使
該等式(2)最小化(即FM變?yōu)樽钚?的那個(gè)第二圖像區(qū)域BBO。所確
定的第二圖像區(qū)域BBO的位置通過(guò)局部預(yù)測(cè)器0P來(lái)表示。權(quán)重因子a
和P可以4艮據(jù)圖^(象內(nèi)容來(lái)適配，例如在a =0. 2且P =0. 8時(shí)，與第一
圖像區(qū)域BBT相比，第二圖像區(qū)域BB0被分配更大的權(quán)重，即與時(shí)間
預(yù)測(cè)相比，局部預(yù)測(cè)被分配更大的權(quán)重。
在等式(2)中，項(xiàng)((a朋n矽)+ P.朋0(x,力)/(a + p》相應(yīng)于預(yù)測(cè)圖像
區(qū)域PBB。因此，預(yù)測(cè)圖像區(qū)域PBB通過(guò)時(shí)間預(yù)測(cè)器ZP和局部預(yù)測(cè)器 0P來(lái)表示，該時(shí)間預(yù)測(cè)器ZP基于相對(duì)于圖像B0在時(shí)間上在前的圖像 RB來(lái)描述第一圖像區(qū)域BBT、即RB(ZP)，該局部預(yù)測(cè)器OP在使用圖 像B0的被重建的圖像區(qū)域RPP的情況下再現(xiàn)第二圖像區(qū)域BBO、即RBB (0P)。
其它的函數(shù)可以代替等式(1)或(2)中的絕對(duì)值，這些函數(shù)描 述待預(yù)測(cè)的圖像區(qū)域B 0和預(yù)測(cè)的圖像區(qū)域P B B之間的相似性。因此， 誤差度FM也可以通過(guò)平方而不是通過(guò)絕對(duì)值來(lái)生成，例如
服-1 f(朋(x,力卞'朋幣，力+ ^ '朋⑩，力W (3)
在用于對(duì)一個(gè)或多個(gè)圖像進(jìn)行編碼的方法的范圍內(nèi)可以采用步驟S1和S2。在此，局部和時(shí)間預(yù)測(cè)器OP、 ZP可以被集成在數(shù)據(jù)流DS中 并且從用于確定預(yù)測(cè)的圖像區(qū)域的確定裝置VE傳輸給用于重建預(yù)測(cè)的 圖像區(qū)域的重建裝置VD。
按照等式(2)的加權(quán)的關(guān)聯(lián)或混合僅僅是可能的關(guān)聯(lián)規(guī)則VKR之 一。因此，關(guān)聯(lián)規(guī)則VKR可以根據(jù)所確定的時(shí)間和/或局部預(yù)測(cè)器ZP、 0P來(lái)構(gòu)成。此外，可以從預(yù)先給定的關(guān)聯(lián)規(guī)則集合中選擇關(guān)聯(lián)規(guī)則VKR， 使得所選擇的關(guān)聯(lián)規(guī)則使誤差度FM最小化。示例性的選擇可能性為 VKR索引 ot P
0 0. 2 0. 8
1 0. 5 0. 5
2 0. 8 0. 2
VKR索引描述所使用的關(guān)聯(lián)規(guī)則。所選擇的關(guān)聯(lián)規(guī)則可以在確定裝 置VE和重建裝置VD中單獨(dú)地被生成。替代地，該關(guān)聯(lián)規(guī)則VKR可以 借助數(shù)據(jù)流DS被傳輸。
借助圖2更詳細(xì)地闡述預(yù)測(cè)的圖像區(qū)域PBB的重建，其中時(shí)間和 局部預(yù)測(cè)器ZP、 OP是按照用于確定預(yù)測(cè)的圖像區(qū)域的本發(fā)明方法創(chuàng)建 的。用于重建的裝置VD例如接收包含局部和時(shí)間預(yù)測(cè)器0P、 ZP的數(shù) 據(jù)流DS'
在第一重建步驟S' 1中，通過(guò)應(yīng)用局部預(yù)測(cè)器OP基于圖像BO的 已經(jīng)被重建的圖像區(qū)域RBB來(lái)獲得第二圖像區(qū)域BB0。
在第二重建步驟S' 2中，基于時(shí)間預(yù)測(cè)器ZP在使用相對(duì)于圖像 BO在時(shí)間上在前的圖像RB的情況下生成第一圖像區(qū)域BBT。
在隨后的笫三重建步驟S' 3中，通過(guò)第一和第二圖像區(qū)域BBT、 BB0的混合確定預(yù)測(cè)的圖像區(qū)域PBB?？梢酝ㄟ^(guò)第一和第二圖像區(qū)域的 逐像點(diǎn)(x，y)的加權(quán)平均來(lái)產(chǎn)生所述混合。這可通過(guò)下列等式來(lái)表示
P朋Qc，力J省(H'朋年力(4),
其中x， y為各個(gè)圖像區(qū)域BBT、 BB0內(nèi)的像點(diǎn)BP的位置，a為時(shí)間權(quán) 重因子，P為局部權(quán)重因子。在此情況下所使用的權(quán)重因子的值與在 確定方法和重建方法中的相同。
預(yù)測(cè)的并且因此被重建的圖像區(qū)域PBB最終可以被復(fù)制到被重建 的圖像區(qū)域RBB內(nèi)的相應(yīng)的位置上。在該方法的第二變型方案中，為了確定局部預(yù)測(cè)器OP,確定使誤 差度FM最小化的幀內(nèi)預(yù)測(cè)模式IPM。在此，基于圖像BO的被重建的圖 像區(qū)域RBB來(lái)確定該幀內(nèi)預(yù)測(cè)模式IPM，其中例如考慮待預(yù)測(cè)的圖像區(qū) 域BB的直接相鄰的被重建的圖像區(qū)域的邊緣像素。這借助圖4更詳細(xì) 地闡述。
圖4示出待預(yù)測(cè)的區(qū)域BB,其中說(shuō)明了各個(gè)像點(diǎn)、例如BB(0, 0)。 如果例如圖像區(qū)域從左向右并且從上向下被重建，則得到被重建的圖 像區(qū)域RBB，諸如在圖l中可以看到的。已經(jīng)被重建的圖像區(qū)域RBA、 RBC和RBD屬于該被重建的圖像區(qū)域，這些已經(jīng)被重建的圖像區(qū)域處于 待預(yù)測(cè)的圖像區(qū)域BB的上部、左上部和左邊。在此情況下說(shuō)明了各個(gè) 像點(diǎn)、諸如RBA (3， 3),其中這些像點(diǎn)直接鄰接待預(yù)測(cè)的圖像區(qū)域 BB。
為了確定局部預(yù)測(cè)器0P，確定幀內(nèi)預(yù)測(cè)模式IPM中的使誤差度FM 最小化的一種幀內(nèi)預(yù)測(cè)模式。這種幀內(nèi)預(yù)測(cè)模式IPM對(duì)于本領(lǐng)域技術(shù) 人員來(lái)iJL由視頻編碼標(biāo)準(zhǔn)H. 264已知。在那里使用八種不同的幀內(nèi)預(yù)
測(cè)模式，這些幀內(nèi)預(yù)測(cè)模式除了直流分量預(yù)測(cè)模式外分別在預(yù)測(cè)方向 上不同。因此，例如按照H. 264已知下面的幀內(nèi)預(yù)測(cè)模式
模式編號(hào) 名稱
0 垂直預(yù)測(cè)模式
1 水平預(yù)測(cè)模式
2 直流分量預(yù)測(cè)模式
3 對(duì)角線向左下預(yù)測(cè)模式
4 對(duì)角線向右下預(yù)測(cè)模式
5 垂直向右預(yù)測(cè)模式
6 水平向下預(yù)測(cè)模式
7 垂直向左預(yù)測(cè)模式
8 水平向上預(yù)測(cè)模式
因此，可以通過(guò)iJC明幀內(nèi)預(yù)測(cè)模式的模式編號(hào)來(lái)"^兌明用于構(gòu)成所 屬的幀內(nèi)預(yù)測(cè)模式的規(guī)定之一。如果例如使用模式編號(hào)2，則對(duì)于笫二 圖像區(qū)域BBO的所有像點(diǎn)來(lái)說(shuō)得到相同的預(yù)測(cè)值。這為
￡編(/,3) +1朋"(3,0 + 4 朋00,力=^-i=2- (5)其中用i來(lái)標(biāo)識(shí)相應(yīng)的像點(diǎn)。由等式5得到的預(yù)測(cè)值被分配給第二圖 像區(qū)域BB0的所有像點(diǎn)。
為了確定最佳的幀內(nèi)預(yù)測(cè)模式IPM,例如針對(duì)所有的幀內(nèi)預(yù)測(cè)模式 IPM計(jì)算第二圖像區(qū)域BB0并且將這些第二圖像區(qū)域分別輸送給等式 (3),接著，選擇使誤差度FM最小化的幀內(nèi)預(yù)測(cè)模式IPM。所確定的 幀內(nèi)預(yù)測(cè)模式IPM由局部預(yù)測(cè)器0P來(lái)表示。如果例如具有模式編號(hào)5 的幀內(nèi)預(yù)測(cè)模式使誤差度最小化，則0P-5。
在等式(3)中，執(zhí)行第一和第二圖像區(qū)域BBT、 BBO的各個(gè)像點(diǎn) 的加權(quán)平均，使得第 一 圖像區(qū)域的每個(gè)像點(diǎn)與時(shí)間權(quán)重因子oc相乘， 而第二圖像區(qū)域的每個(gè)像點(diǎn)與局部權(quán)重因子P相乘。在本發(fā)明方法的
一個(gè)擴(kuò)展方案中，每個(gè)像點(diǎn)配備有單獨(dú)的時(shí)間或局部權(quán)重因子 a"力，&"力。這種單獨(dú)的時(shí)間或局部權(quán)重因子可以例如具有下面的形
式
0,2 0.2 0.2 0.2
0,2 0.5 0.5 0.5
0.2 0.5 0,8 0.8
0.2 0.5 0.8 1.0
0.8 0.8 0.8 0.8
0.8 0.5 0.5 0.5
0.8 0.5 0.2 0.2
0.8 0.5 0.2 0.0
這種單獨(dú)的時(shí)間或局部權(quán)重因子a"力A"力的使用導(dǎo)致局部預(yù)測(cè) 在待預(yù)測(cè)的圖像區(qū)域的左上邊緣處比在右下邊緣處對(duì)加權(quán)疊加的影響 更大。
在為每個(gè)像點(diǎn)使用相同的時(shí)間或局部權(quán)重因子的情況下，等式(2 ) 和(4 )如下被擴(kuò)展
^a(;c，力'丑5r(;c,力+ PO，力'ffBO(;c,力'
工=0 y=0
(6)
尸朋(x力-a(x，力.朋7^,力+ P",力'朋0"力(7),
此外，單獨(dú)的局部或時(shí)間權(quán)重因子a"力，&"力可以分別根據(jù)所選擇 的幀內(nèi)預(yù)測(cè)模式IPM來(lái)不同地選擇。
用于確定預(yù)測(cè)的圖像區(qū)域的方法以及用于重建預(yù)測(cè)的圖像區(qū)域的 方法可以在圖像編碼方法中被采用。這借助圖3示例性地來(lái)闡述。在 圖3中以詳細(xì)的形式示出了用于圖像編碼或者用于圖像解碼的電路原 理圖形式的可能的裝置，該裝置可以被用在基于塊的圖像編碼的范圍
ii內(nèi)。在此，更詳細(xì)地示出了該方法在視頻編碼方法中的使用，其中用 虛線畫(huà)出了集成確定或者重建方法的擴(kuò)展。
在基于塊的圖像編碼方法中，數(shù)字化的圖像B0、 RB被劃分為大小 為8x8個(gè)像點(diǎn)BP或16xl6個(gè)像點(diǎn)BP的通常正方形的圖像區(qū)域BB并 且輸送給用于圖像編碼的裝置。
通常，編碼信息、例如亮度信息(輝度值)或顏色信息(色度值) 被唯一地分配給像點(diǎn)。
在基于塊的圖像編碼方法中，在不同的圖像編碼模式之間進(jìn)行區(qū) 分。在所謂的幀內(nèi)圖像編碼模式的情況下，整個(gè)圖像利用被分配給該 圖像的像點(diǎn)的所有編碼信息分別被編碼并被傳輸(I圖像)。在所謂的 幀間圖像編碼模式的情況下，僅僅兩個(gè)在時(shí)間上相繼的圖像的差分圖 像信息分別被編碼并被傳輸(P圖像，B圖像)。
為了在幀內(nèi)圖像編碼模式和幀間圖像編碼模式之間切換，設(shè)置有 兩個(gè)開(kāi)關(guān)單元SE。為了實(shí)施幀間圖像編碼模式，設(shè)置有減法單元S， 在該減法單元中形成兩個(gè)相繼的圖像的圖像信息的差。整個(gè)圖像編碼 經(jīng)過(guò)圖像編碼控制單元ST來(lái)控制。待編碼的圖像區(qū)域BB或差分圖像 區(qū)域DB分別被輸送給變換編碼單元DCT,在該變換編碼單元中將變換 編碼、例如離散余弦變換(DCT)應(yīng)用于被分配給像點(diǎn)的編碼信息。
然而， 一般來(lái)說(shuō)，可以實(shí)施每個(gè)任意的變換編碼、例如離散正弦 變換或者離散傅立葉變換。
通過(guò)變換編碼形成的頻譜系數(shù)在量化單元Q中被量化并且被輸送 給例如用于信道編碼和/或用于熵編碼的圖像編碼多路復(fù)用器(未示 出)。在內(nèi)部的重建環(huán)中，被量化的頻譜系數(shù)在反量化單元IQ中被反 量化并且在反變換編碼單元IDCT中經(jīng)受反變換編碼。
此外，在幀間圖像編碼的情況下在加法單元AE中各個(gè)在時(shí)間上在 前的圖像的圖像信息被添加。以這種方式重建的圖像被存儲(chǔ)在圖像存 儲(chǔ)器SP中。在圖像存儲(chǔ)器SP中，為了更簡(jiǎn)單地圖示，象征性地示出 了用于運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償?shù)膯卧狹C。該用于運(yùn)動(dòng)補(bǔ)償?shù)膯卧狹C產(chǎn)生 運(yùn)動(dòng)矢量、即時(shí)間預(yù)測(cè)器ZP。
此外，還設(shè)置有環(huán)路濾波器(Loop filter LF)，該環(huán)路濾波器 與存儲(chǔ)器SP以及減法單元S相連接。
除了待傳輸?shù)膱D像數(shù)據(jù)之外，還向圖像編碼多路復(fù)用器輸送模式標(biāo)記P，借助該模式標(biāo)記來(lái)分別說(shuō)明，是否進(jìn)行了幀內(nèi)和/或幀間圖像 編碼。
此外，頻譜系數(shù)的量化索引q被輸送給圖像編碼多路復(fù)用器。 時(shí)間預(yù)測(cè)器ZP、即運(yùn)動(dòng)矢量也分別被分配給圖像區(qū)域或圖像塊和/
或例如包括四個(gè)具有亮度信息的圖像塊和兩個(gè)具有顏色信息的圖像塊
的宏塊并被輸送給圖像編碼多路復(fù)用器。
此外，還設(shè)置有用于激活或者去激活環(huán)路濾波器LF的信息說(shuō)明f。 待預(yù)測(cè)的圖像區(qū)域BB、第一圖像區(qū)域BBT和被重建的圖像區(qū)域RBB
是供模塊MV使用的。第一圖像區(qū)域BBT在使用運(yùn)動(dòng)估計(jì)MC的情況下
并在應(yīng)用環(huán)路濾波器LF之后被產(chǎn)生。模塊MV首先例如根據(jù)等式(3)
確定使誤差度最小化的局部預(yù)測(cè)器0P。
模塊MV然后生成暫時(shí)的圖像區(qū)域TBB，其滿足下面的等式
尸朋(;c，力-朋r(;c，力+ mB(;c,力(8)
借助該暫時(shí)的圖像區(qū)域TBB實(shí)現(xiàn)，在將該暫時(shí)的圖像區(qū)域TBB與 第一圖像區(qū)域BBT在附加的加法單元ADD中相加之后可形成能被進(jìn)一 步處理的預(yù)測(cè)的圖像區(qū)域PBB。在使用等式(4)時(shí)，得到TBB(x， y):
<formula>formula see original document page 13</formula>
用于確定預(yù)測(cè)的圖像區(qū)域PBB的方法可以通過(guò)確定裝置VE來(lái)實(shí) 現(xiàn)。該確定裝置包括下面的單元
-第一模塊M1，用于基于相對(duì)于圖像BO在時(shí)間上在前的、被重 建的在前圖像RB來(lái)確定用于圖像BO的待預(yù)測(cè)的圖像區(qū)域BB的時(shí)間預(yù) 測(cè)器ZP;
-第二模塊M2，用于基于圖像B0的被重建的圖像區(qū)域RBB來(lái)確 定用于待預(yù)測(cè)的圖像區(qū)域BB的局部預(yù)測(cè)器ZP，其中待預(yù)測(cè)的圖像區(qū)域 BB和基于時(shí)間和局部預(yù)測(cè)器ZP、 0P所預(yù)測(cè)的圖像區(qū)域PBB之間的誤差 度FM被最小化，其中預(yù)測(cè)的圖像區(qū)域PBB通過(guò)局部預(yù)測(cè)器0P在使用 被重建的圖像區(qū)域RBB的情況下并且通過(guò)時(shí)間預(yù)測(cè)器Z)在使用在前圖 像RB之一的情況下被確定。
這種確定裝置VE可以被集成在執(zhí)行視頻編碼方法的裝置中。
用于重建預(yù)測(cè)的圖像區(qū)域RBB的方法可通過(guò)重建裝置DV來(lái)實(shí)現(xiàn)。在此，該重建裝置DV包括下面的重建模塊
一第一重建模塊M' 1，用于基于時(shí)間預(yù)測(cè)器ZP和相對(duì)于圖像BO 在時(shí)間上在前的在前圖像RB之一來(lái)形成第一圖像區(qū)域BBT，
-第二重建模塊M' 2,用于基于已經(jīng)在該圖像BO中被重建的圖 像區(qū)域RBBM來(lái)形成第二圖像區(qū)域BBO,
-第三重建模塊M' 3，用于通過(guò)在考慮關(guān)聯(lián)規(guī)則VKR的情況下第 一和第二圖像區(qū)域BBT、 BB0的關(guān)聯(lián)來(lái)重建該預(yù)測(cè)的圖像區(qū)域。
這種重建裝置DV可被集成在執(zhí)行視頻編碼方法的裝置中。
所述確定裝置VE和重建裝置DV可以被集成在例如按照GSM ( GSM -全球移動(dòng)通信系統(tǒng))標(biāo)準(zhǔn)工作的移動(dòng)無(wú)線電設(shè)備中或者被集成在固 定網(wǎng)絡(luò)設(shè)備、例如連接到LAN上的計(jì)算機(jī)中。此外，裝置VD、 VE可以 以硬件、作為處理器上的可執(zhí)行軟件、或者作為軟件和硬件的組合被 實(shí)施和執(zhí)4亍。
權(quán)利要求
1.用于針對(duì)圖像(BO)的圖像區(qū)域(BB)確定預(yù)測(cè)的圖像區(qū)域(PBB)的方法，其中a)基于相對(duì)于所述圖像(BO)在時(shí)間上在前的、被重建的在前圖像(RB)確定用于所述圖像區(qū)域(BB)的時(shí)間預(yù)測(cè)器(ZP)，b)在所述圖像(BO)的被重建的圖像區(qū)域(RBB)內(nèi)確定用于所述圖像區(qū)域(BB)的局部預(yù)測(cè)器(OP)，其中使所述圖像區(qū)域(BB)與基于所述時(shí)間和局部預(yù)測(cè)器(ZP，OP)預(yù)測(cè)的圖像區(qū)域(PBB)之間的誤差度(FM)最小化，c)所述預(yù)測(cè)的圖像區(qū)域(PBB)通過(guò)所述局部預(yù)測(cè)器(OP)在使用所述被重建的圖像區(qū)域(RBB)的情況下并且通過(guò)所述時(shí)間預(yù)測(cè)器(ZP)在使用在前圖像(RB)之一的情況下被確定。
2. 根據(jù)權(quán)利要求1的方法，其特征在于，通過(guò)基于關(guān)聯(lián)規(guī)則(VKR) 對(duì)通過(guò)所述時(shí)間預(yù)測(cè)器(ZP)形成的第一圖像區(qū)域(BBT)和通過(guò)所述 局部預(yù)測(cè)器(OP)描述的第二圖像區(qū)域(BBO)進(jìn)行關(guān)聯(lián)來(lái)產(chǎn)生所述預(yù) 測(cè)的圖像區(qū)域(PBB)。
3. 根據(jù)權(quán)利要求2的方法，其特征在于，通過(guò)所述關(guān)聯(lián)規(guī)則(VKR) 來(lái)描述所述第一和第二圖像區(qū)域(BBT, BBO)的對(duì)應(yīng)的像點(diǎn)(BP)借 助權(quán)重因子(oc， P )的加權(quán)關(guān)聯(lián)。
4. 根據(jù)權(quán)利要求3的方法，其特征在于，單獨(dú)地描述用于所述第 一和/或所述笫二圖像區(qū)域(BBT， BBO)的每個(gè)像點(diǎn)(BP)的權(quán)重因子(ot， P )。
5. 根據(jù)權(quán)利要求2至4之一的方法，其特征在于，基于所述關(guān)聯(lián) 規(guī)則(VKR)執(zhí)行至少所述笫一或所述第二圖像區(qū)域(BBT, BBO)的旋 轉(zhuǎn)或剪切。
6. 根據(jù)權(quán)利要求2至5之一的方法，其特征在于，從不同關(guān)聯(lián)規(guī) 則的集合中選擇使所述誤差度(FM)最小化的那個(gè)關(guān)聯(lián)規(guī)則(VKR)。
7. 根據(jù)上述權(quán)利要求之一的方法，其特征在于，通過(guò)所述局部預(yù) 測(cè)器(OP)來(lái)引用在所述圖像(BO)的已經(jīng)被重建的圖像區(qū)域(RBB) 內(nèi)的圖像區(qū)域。
8. 根據(jù)上述權(quán)利要求之一的方法，其特征在于，為了確定所述局 部預(yù)測(cè)器(OP)，從一組能夠預(yù)先給定的幀內(nèi)預(yù)測(cè)模式中選擇使所述誤差度(FM)最小化的那個(gè)幀內(nèi)預(yù)測(cè)模式(IPM)。
9. 用于重建預(yù)測(cè)的圖像區(qū)域(PBB)的方法，其中所述預(yù)測(cè)的圖 像區(qū)域(PBB)通過(guò)局部和時(shí)間預(yù)測(cè)器(0P， ZP)來(lái)確定，該局部和時(shí) 間預(yù)測(cè)器是基于按照上述權(quán)利要求之一的用于確定預(yù)測(cè)的圖像區(qū)域的 方法形成的，其中通過(guò)對(duì)通過(guò)所述時(shí)間預(yù)測(cè)器(ZP)形成的第一圖像 區(qū)域(BBT)和通過(guò)所述局部預(yù)測(cè)器(0P)描述的第二圖像區(qū)域(BB0) 進(jìn)行關(guān)聯(lián)來(lái)產(chǎn)生所述預(yù)測(cè)的圖像區(qū)域(PBB)。
10. 用于針對(duì)圖像(B0)的圖像區(qū)域(BB)確定預(yù)測(cè)的圖像區(qū)域 (PBB)的確定裝置(VE)，具有-第一模塊(Ml),用于基于相對(duì)于所述圖像(B0)在時(shí)間上在 前的、被重建的在前圖像(RB)確定用于所述圖像(B0)的圖像區(qū)域(BB)的時(shí)間預(yù)測(cè)器(ZP);-笫二模塊(M2)，用于基于所述圖像(B0)的被重建的圖像區(qū) 域(RBB)來(lái)確定用于所述圖像區(qū)域(BB)的局部預(yù)測(cè)器(OP)，其中 使所述圖像區(qū)域(BB)和基于所述時(shí)間和局部預(yù)測(cè)器(ZP， OP)預(yù)測(cè) 的圖像區(qū)域(PBB)之間的誤差度(FM)最小化，其中所述預(yù)測(cè)的圖像 區(qū)域(PBB)通過(guò)所述局部預(yù)測(cè)器(OP)在使用所述被重建的圖像區(qū)域(RBB )的情況下并且通過(guò)所述時(shí)間預(yù)測(cè)器(ZP )在使用在前圖像(RB ) 之一的情況下被確定。
11. 用于重建預(yù)測(cè)的圖像區(qū)域(PBB)的重建裝置(VD),其中所 述預(yù)測(cè)的圖像區(qū)域(PBB)通過(guò)局部和時(shí)間預(yù)測(cè)器(OP， ZP)來(lái)確定， 其中所述局部預(yù)測(cè)器(OP)和所述時(shí)間預(yù)測(cè)器(ZP)是基于按照權(quán)利 要求10的用于確定預(yù)測(cè)的圖像區(qū)域(PBB)的確定裝置(VE)形成的， 該重建裝置具有-第一重建模塊(M' 1)，用于基于所述時(shí)間預(yù)測(cè)器(ZP)和相 對(duì)于所述圖像(BO)在時(shí)間上在前的在前圖像(RB)之一來(lái)形成第一 圖像區(qū)域(BBT)，-第二重建模塊(M' 2)，用于基于已經(jīng)在所述圖像(BO)中被 重建的圖像區(qū)域(RBB)來(lái)形成第二圖像區(qū)域(BBO),-第三重建模塊(M' 3)，用于通過(guò)所述第一和第二圖像區(qū)域(BBT， BBO)的關(guān)聯(lián)來(lái)重建所述預(yù)測(cè)的圖像區(qū)域(PBB)。
全文摘要
本發(fā)明涉及用于針對(duì)圖像的圖像區(qū)域確定預(yù)測(cè)的圖像區(qū)域的方法，其中基于相對(duì)于該圖像在時(shí)間上在前的、被重建的在前圖像確定用于該圖像區(qū)域的時(shí)間預(yù)測(cè)器，在該圖像的被重建的圖像區(qū)域內(nèi)確定用于該圖像區(qū)域的局部預(yù)測(cè)器，其中使該圖像區(qū)域與基于時(shí)間和局部預(yù)測(cè)器預(yù)測(cè)的圖像區(qū)域之間的誤差度最小化，預(yù)測(cè)的圖像區(qū)域通過(guò)局部預(yù)測(cè)器在使用被重建的圖像區(qū)域的情況下并且通過(guò)時(shí)間預(yù)測(cè)器在使用在前圖像之一的情況下被確定。本發(fā)明還涉及用于執(zhí)行用于確定預(yù)測(cè)的圖像區(qū)域的方法的確定裝置以及用于執(zhí)行重建方法的重建裝置。
文檔編號(hào)H04N7/34GK101297557SQ200680040056
公開(kāi)日2008年10月29日 申請(qǐng)日期2006年9月25日 優(yōu)先權(quán)日2005年10月25日
發(fā)明者B·阿格塞, G·巴斯, J·潘德?tīng)? N·奧爾特爾, R·庫(kù)特卡 申請(qǐng)人:西門(mén)子公司