專利名稱：3d視頻可縮放視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于編碼幀序列的方法和設(shè)備。
本發(fā)明可用于例如適于產(chǎn)生可逐漸縮放的(即在空間或時(shí)間上縮放信噪比SNR)壓縮視頻信號(hào)的視頻壓縮系統(tǒng)。
背景技術(shù)：
例如，在SCI 2001美國(guó)奧蘭多(Orlando，USA)的B.Pesquet-Popescu、V.Bottreau的“可縮放視頻編碼的提升方案(Lifting schemesin scalable video coding)”中說(shuō)明了一種用于三維視頻可縮放視頻編碼幀序列的常規(guī)方法。所述方法包括了在

圖1中說(shuō)明的下列步驟。
在第一步驟中，將一個(gè)幀序列分為由2N個(gè)幀F(xiàn)1到F8構(gòu)成的各組GOF，所述組在我們的示例中有8個(gè)幀。
然后，所述編碼方法包括一個(gè)基于在幀組內(nèi)的各對(duì)奇數(shù)輸入幀F(xiàn)o和偶數(shù)輸入幀F(xiàn)e來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)ME的步驟，這在圖1的示例中得到一個(gè)由4場(chǎng)組成的第一分解等級(jí)的運(yùn)動(dòng)矢量場(chǎng)的集合MV1。
在運(yùn)動(dòng)估計(jì)步驟之后是一個(gè)基于運(yùn)動(dòng)矢量場(chǎng)的集合MV1并且基于一個(gè)提升方案的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF(例如Haar濾波)步驟，按照該提升方案，高頻小波系數(shù)Ht[n]和低頻系數(shù)Lt[n]是Ht[n]＝Fe[n]-P(Fo[n])，Lt[n]＝Fo[n]+U(Ht[n])其中P是一個(gè)預(yù)測(cè)函數(shù)，U是一個(gè)更新函數(shù)，并且n是一個(gè)整數(shù)。
該時(shí)間濾波MCTF步驟提供了包括已濾波的各幀的第一分解等級(jí)的一個(gè)時(shí)間子帶T1，在我們的示例中，所述已濾波各幀包括4個(gè)低頻幀Lt和4個(gè)高頻幀Ht。
對(duì)時(shí)間子帶T1的各低頻幀Lt重復(fù)執(zhí)行所述運(yùn)動(dòng)估計(jì)和濾波步驟，也就是-對(duì)時(shí)間子帶T1內(nèi)的各對(duì)奇數(shù)低頻幀Lto和偶數(shù)低頻幀Lte進(jìn)行運(yùn)動(dòng)估計(jì)，這在我們的示例中得到一個(gè)由2場(chǎng)組成的第二分解等級(jí)的運(yùn)動(dòng)矢量場(chǎng)的集合MV2。
-基于該運(yùn)動(dòng)矢量場(chǎng)集合MV2和所述提升方程式來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)間濾波，并且得到一個(gè)包括已濾波的各幀的第二分解等級(jí)的時(shí)間子帶T2，所述已濾波各幀在圖1的示例中具有2個(gè)低頻幀LLt和2個(gè)高頻幀LHt。
再對(duì)時(shí)間子帶T2的該對(duì)奇數(shù)低頻幀LLto和偶數(shù)低頻幀LLte重復(fù)執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波，從而得到一個(gè)由1個(gè)低頻幀LLLt和1個(gè)高頻幀LLHt組成的第三(也是最后一個(gè))分解等級(jí)的時(shí)間子帶T3。
對(duì)時(shí)間子帶T3的LLLt和LLHt幀和其它時(shí)間子帶T1、T2的高頻幀(也就是2個(gè)LHt已濾波幀和4個(gè)Ht已濾波幀)應(yīng)用四級(jí)小波空間濾波。對(duì)于每個(gè)幀得到4個(gè)包括在水平和垂直兩個(gè)方向上都用因數(shù)2子采樣的已濾波幀的空間-時(shí)間子帶。
在下一個(gè)步驟，隨后執(zhí)行對(duì)各空間-時(shí)間子帶的幀系數(shù)的空間編碼，所述編碼分別從最后一個(gè)分解等級(jí)的空間-時(shí)間子帶的低頻幀開(kāi)始。此外也編碼運(yùn)動(dòng)矢量場(chǎng)。
最后，在各空間-時(shí)間子帶的已編碼系數(shù)和編碼的運(yùn)動(dòng)矢量場(chǎng)的基礎(chǔ)上形成一個(gè)輸出比特流，所述運(yùn)動(dòng)矢量場(chǎng)的比特作為開(kāi)銷(xiāo)(overhead)而被發(fā)送。
然而，依照現(xiàn)有技術(shù)的編碼方法有許多缺點(diǎn)。首先，運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟是在完整尺寸的幀上實(shí)現(xiàn)。因此，這些步驟計(jì)算量很大，并且可能在編碼期間導(dǎo)致延遲。此外，最高空間分辨率的運(yùn)動(dòng)矢量在每個(gè)時(shí)間等級(jí)下被編碼，這導(dǎo)致相當(dāng)高的開(kāi)銷(xiāo)。而且，在以較低的空間分辨率解碼已編碼的比特流期間，使用原始分辨率的運(yùn)動(dòng)矢量，這導(dǎo)致不精確的運(yùn)動(dòng)補(bǔ)償時(shí)間重構(gòu)。此外，該編碼方法在計(jì)算上的可縮放性較低。
發(fā)明概要本發(fā)明的一個(gè)目的是提出一種編碼方法，這種方法比現(xiàn)有技術(shù)方法的計(jì)算量小。
為此，依照本發(fā)明的編碼方法的特征在于包括下列步驟-將幀序列分為各輸入幀組，-對(duì)一組的各幀進(jìn)行基于小波的一級(jí)空間濾波，以產(chǎn)生包括與輸入幀相比具有減小的尺寸的低-低空間濾波后的幀的第一分解等級(jí)的第一空間子帶，-對(duì)于各對(duì)低-低空間濾波后的幀進(jìn)行運(yùn)動(dòng)估計(jì)，從而得到一個(gè)運(yùn)動(dòng)矢量場(chǎng)的集合，-基于該運(yùn)動(dòng)矢量場(chǎng)的集合對(duì)所述低-低空間濾波后的幀進(jìn)行基于小波的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波，從而得到由時(shí)間濾波后的幀組成的第一分解等級(jí)的第一時(shí)間子帶，-重復(fù)前面三個(gè)步驟，該空間濾波步驟適于以低頻時(shí)間濾波后的幀為基礎(chǔ)產(chǎn)生第二分解等級(jí)的第一空間子帶，而所述運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波被應(yīng)用于所述第二分解等級(jí)的所述第一空間子帶的各幀。
依照本發(fā)明的編碼方法提出組合并且交替空間和時(shí)間上的基于小波的濾波步驟。如稍后將要在說(shuō)明書(shū)中看到的那樣，這種組合簡(jiǎn)化了運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟。結(jié)果，該編碼方法比現(xiàn)有技術(shù)編碼方法的計(jì)算量小。
本發(fā)明還涉及一種實(shí)現(xiàn)這種編碼方法的編碼設(shè)備。本發(fā)明最后涉及一種包括實(shí)現(xiàn)所述編碼方法的程序指令的計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明的這些和其它方面將參考在下文中說(shuō)明的各實(shí)施例變得顯而易見(jiàn)，并且對(duì)其進(jìn)行說(shuō)明。
附圖簡(jiǎn)述現(xiàn)在將通過(guò)參考附圖以舉例的方式更詳細(xì)地說(shuō)明本發(fā)明，其中圖1是表示依照現(xiàn)有技術(shù)的編碼方法的框圖；以及圖2A和2B表示依照本發(fā)明的編碼方法的框圖。
發(fā)明的詳細(xì)描述本發(fā)明涉及一種帶有運(yùn)動(dòng)補(bǔ)償?shù)娜S(或3D)小波編碼方法。已經(jīng)證實(shí)這樣一種編碼方法對(duì)于可縮放視頻編碼應(yīng)用來(lái)說(shuō)是一種有效的技術(shù)。所述3D壓縮或編碼方法既在空間域又在時(shí)間域中使用小波變換。3D小波編碼的常規(guī)方案假定單獨(dú)執(zhí)行基于小波的空間濾波和基于小波的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波。
本發(fā)明提出通過(guò)組合和迭代地交替空間和時(shí)間上的基于小波的濾波步驟來(lái)對(duì)常規(guī)的3D可縮放小波視頻編碼進(jìn)行修改。這種修改簡(jiǎn)化了運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟，并且在時(shí)間可縮放性和空間可縮放性之間提供更好的平衡。
圖2A和2B是表示依照本發(fā)明的編碼方法的框圖。
該方法包括將幀序列分為由N個(gè)連續(xù)幀構(gòu)成的各組的第一步驟，其中N是2的冪，一個(gè)幀的大小是HxW。在下面的說(shuō)明中所描述的示例中，該幀組包括8幀F(xiàn)1到F8。
然后該方法還包括對(duì)一個(gè)幀組的各幀的一級(jí)空間濾波步驟SF。所述步驟基于一個(gè)小波變換，并且適于產(chǎn)生第一分解等級(jí)的4個(gè)空間子帶S1到S4。第一空間子帶S1包括N＝8個(gè)空間濾波后的低-低幀LLs，其中s表示在空間域中的小波變換的結(jié)果；第二空間子帶S2包括8個(gè)空間濾波后的低-高幀LHs；第三空間子帶S3包括8個(gè)空間濾波后的高-低幀HLs；并且第四空間子帶S4包括8個(gè)空間濾波后的高-高幀HHs。每個(gè)空間濾波幀的大小是H/2xW/2。
在下一個(gè)步驟，對(duì)于第一空間子帶S1的各對(duì)連續(xù)的低-低幀LLs(也就是奇數(shù)低-低幀LLso和偶數(shù)低-低幀Llse)執(zhí)行運(yùn)動(dòng)估計(jì)ME1，這在我們的示例中得到由N/2＝4個(gè)場(chǎng)組成的運(yùn)動(dòng)矢量場(chǎng)的第一集合MV1。
基于這樣獲得的運(yùn)動(dòng)矢量場(chǎng)的集合MV1，對(duì)于各低-低幀LLs執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF，從而得到由N＝8個(gè)幀組成的第一分解等級(jí)的第一時(shí)間子帶ST1，這8個(gè)幀是4個(gè)低時(shí)間頻率幀LLsLt和4個(gè)高時(shí)間頻率幀LLsHt，其中t表示在時(shí)間域中的小波變換的結(jié)果。所述時(shí)間濾波步驟使用一個(gè)提升方案，該提升方案適于以一個(gè)預(yù)測(cè)函數(shù)P和一個(gè)更新函數(shù)U為基礎(chǔ)提供高頻小波系數(shù)和低頻系數(shù)。例如，該提升方案的預(yù)測(cè)函數(shù)和更新函數(shù)是基于(4，4)Deslauriers-Dubuc小波變換，比如LLsHt[n]＝LLse[n]-(-LLso[n-1]+9LLso[n]+9LLso[n+1]-LLso[n+2])/16LLsLt[n]＝LLso[n]+(-LLsHt[n-2]+9LLsHt[n-1]+9LLsHt[n]-LLsHt[n+1])/16作為選擇，通過(guò)再次使用運(yùn)動(dòng)矢量場(chǎng)的第一集合MV1，將運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF步驟應(yīng)用于第二子帶S2的低-高幀LHs、第三子帶S3的高-低幀HLs以及第四子帶S4的高-高幀HHs。這樣得到第一分解等級(jí)的第二時(shí)間子帶ST2、第三時(shí)間子帶ST3和第四時(shí)間子帶ST4，這三個(gè)子帶分別包括4個(gè)低時(shí)間頻率幀LHsLt和4個(gè)高時(shí)間頻率幀LHsHt、4個(gè)HLsLt幀和4個(gè)HLsHt幀、4個(gè)HHsLt幀和4個(gè)HHsHt幀。對(duì)于LHs幀、HLs幀和HHs幀的時(shí)間去相關(guān)以所需要的附加處理成本為代價(jià)提供更好的能量精簡(jiǎn)。
然后迭代由空間濾波步驟、運(yùn)動(dòng)估計(jì)步驟和運(yùn)動(dòng)補(bǔ)償濾波步驟組成的步驟序列，直到接收到最后一個(gè)分解等級(jí)的各子帶，也就是每個(gè)時(shí)間子帶只留下一個(gè)低時(shí)間頻率幀?；蛘?，迭代所述步驟序列，直到使用了一定量的計(jì)算資源。在每次迭代時(shí)，該步驟序列的輸入是在時(shí)間和空間域中都具有最低頻率的各連續(xù)幀對(duì)。
關(guān)于上文中說(shuō)明的示例，所述步驟序列的迭代包括下列步驟。
首先，將一級(jí)空間濾波步驟SF應(yīng)用于第一分解等級(jí)的第一時(shí)間子帶ST1的低時(shí)間頻率LTF幀LLsLt，從而得到第二分解等級(jí)的4個(gè)空間子帶STS11到STS14。每個(gè)空間子帶包括大小為(H/4)x(W/4)的N/2＝4個(gè)空間濾波后的幀LLsLtLLs或LLsLtLHs或LLsLtHLs或LLsLtHHs。
然后，對(duì)于第二分解等級(jí)的第一空間子帶STS11的各對(duì)連續(xù)濾波幀執(zhí)行運(yùn)動(dòng)估計(jì)步驟ME2，所述濾波幀LLsLtLLs在時(shí)間域和空間域中都具有最低頻率，從而得到一個(gè)由N/4＝2個(gè)場(chǎng)組成的矢量場(chǎng)的集合MV2。
基于運(yùn)動(dòng)矢量場(chǎng)的集合MV2，將如上文所述的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF應(yīng)用于所述已濾波的幀LLsLtLLs，從而得到由N/2＝4個(gè)時(shí)間濾波幀組成的第二分解等級(jí)的第一時(shí)間子帶STST11，所述4個(gè)時(shí)間濾波幀是2個(gè)LLsLtLLsLt和2個(gè)LLsLtLLsHt。
此外，通過(guò)再次使用運(yùn)動(dòng)矢量場(chǎng)的集合MV2，任選地將運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF步驟應(yīng)用于已濾波的幀LLsLtLHs、LLsLtHLs和LLsLtHHs。這樣得到第二分解等級(jí)的第二時(shí)間子帶STST12、第三時(shí)間子帶STST13和第四時(shí)間子帶STST14。所述各子帶分別包括2個(gè)LLsLtLHsLt幀和2個(gè)LLsLtLHsHt幀、2個(gè)LLsLtHLsLt幀和2個(gè)LLsLtHLsHt幀、2個(gè)LLsLtHHsLt幀和2個(gè)LLsLtHHsHt幀。
現(xiàn)在將一級(jí)空間濾波步驟SF應(yīng)用于第二分解等級(jí)的第一時(shí)間子帶STST11的各低頻幀LLsLtLLsLt，從而得到第三分解等級(jí)的空間子帶STSTS111到STSTS114。每個(gè)空間子帶由大小為(H/8)x(W/8)的N/4＝2個(gè)幀LLsLtLLsLtLLs或LLsLtLLsLtLHs或LLsLtLLsLtHLs或LLsLtLLsLtHHs組成。
然后對(duì)于第三分解等級(jí)的第一空間子帶的該對(duì)連續(xù)幀LLsLtLLsLtLLs執(zhí)行運(yùn)動(dòng)估計(jì)ME3，從而得到一個(gè)運(yùn)動(dòng)矢量場(chǎng)MV3。
基于該運(yùn)動(dòng)矢量場(chǎng)MV3，將運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF應(yīng)用于各濾波幀LLsLtLLsLtLLs，從而得到由N/4＝2個(gè)幀LLsLtLLsLtLLsLt和LLsLtLLsLtLLsHt組成的第三分解等級(jí)的第一時(shí)間子帶STSTST111。這些幀由在空間和時(shí)間域中的低頻數(shù)據(jù)組成，并因此必須用最高優(yōu)先級(jí)編碼，也就是說(shuō)它們?cè)谧罱K的比特流中是最初的各分組。
此外，通過(guò)再次使用運(yùn)動(dòng)矢量場(chǎng)MV3，可以選擇性地將運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF應(yīng)用于LLsLtLLsLtLHs幀、LLsLtLLsLtHLs幀和LLsLtLLsLtHHs幀，從而得到第三分解等級(jí)的第二時(shí)間子帶STSTST112、第三時(shí)間子帶STSTST113和第四時(shí)間子帶STSTST114。所述各子帶分別由LLsLtLLsLtLHsLt幀和LLsLtLLsLtLHsHt幀、LLsLtLLsLtHLsLt幀和LLsLtLLsLtHLsH幀t、LLsLtLLsLtHHsLt幀和LLsLtLLsLtHHsHt幀組成。
與所述步驟序列的迭代無(wú)關(guān)，將空間濾波應(yīng)用于第一分解等級(jí)的第一時(shí)間子帶ST1的高時(shí)間頻率HTF幀LLsHt。與對(duì)低時(shí)間頻率幀LLsLt的空間濾波(其中僅執(zhí)行一級(jí)空間濾波)相反，對(duì)LLsHt幀的空間濾波是金字塔形的(也就是多層的)，一直到最粗略的空間分解等級(jí)，也就是最小的空間分辨率。
或者，取決于所使用的小波濾波器的類型，能夠?qū)⒖臻g濾波分別應(yīng)用于第一分解等級(jí)的第二時(shí)間子帶ST2、第三時(shí)間子帶ST3和第四時(shí)間子帶ST4的低時(shí)間頻率LTF幀LHsLt、HLsLt和HHsLt。這樣分別得到空間子帶STS21到STS24、STS31到STS34以及STS41到STS44。
依照本發(fā)明的主要實(shí)施例，在對(duì)LLsHt幀的空間濾波之后接收的各空間子帶(在它們沒(méi)被時(shí)間濾波的條件下)將連同第二子帶ST2、第三子帶ST3和第四子帶ST4一起被編碼以形成最終比特流。在這種實(shí)施例中，LLsHt幀的空間分解等級(jí)的數(shù)量要比在編碼期間在低-低子帶上實(shí)現(xiàn)的空間濾波的總數(shù)少一個(gè)。例如在圖2A和2B中，執(zhí)行了3次空間濾波，也就是總共將接收到3級(jí)空間分辨率等級(jí)。在這種情況下，子帶ST1的LLsHt幀被用2個(gè)空間分解等級(jí)空間濾波，而子帶STST1的LLsLtLLsHt幀被用一個(gè)分解等級(jí)空間濾波。更一般來(lái)說(shuō)，在當(dāng)前時(shí)間分解等級(jí)下的根據(jù)金字塔形空間濾波的空間分解等級(jí)的數(shù)量等于空間分解等級(jí)的總數(shù)減去當(dāng)前空間分解等級(jí)。LLsHt幀和LLsLtLLsHt幀的金字塔形空間分析例如是基于SPIHT壓縮原理的空間分解，并且在Proceedings of IEEE International Conference on ImageProcessing(2001年10月7-10日，希臘Thessaloniki，ICIP2001第二卷第1017-1020頁(yè))的由V.Bottreau、M.B6netière、B.Pesquet-Popescu和B.Felts撰寫(xiě)的名為“完全可縮放3D子帶視頻編解碼(A fullyscalable 3D subband video codec)”的論文中做了說(shuō)明。
依照本發(fā)明的另一種實(shí)施例，運(yùn)動(dòng)補(bǔ)償時(shí)間濾波MCTF步驟包括一個(gè)三角形(△)低通時(shí)間濾波子步驟。這意味著兩個(gè)連續(xù)幀當(dāng)中的在運(yùn)動(dòng)估計(jì)后參與時(shí)間濾波MCTF的那一個(gè)將僅僅被拷貝到最終得到的低時(shí)間頻率幀中，并將僅僅執(zhí)行一個(gè)高通時(shí)間濾波。在這種情況下，低時(shí)間頻率幀不包括時(shí)間平均信息，而是僅包括一個(gè)參與時(shí)間濾波MCTF的幀。這種方案類似于MPEG類編碼器的I幀和B幀結(jié)構(gòu)。在低時(shí)間分辨率下對(duì)如此編碼的流進(jìn)行解碼將得到一個(gè)由跳躍幀(skipped frame)組成的序列，而沒(méi)有時(shí)間平均的幀。換句話說(shuō)，與現(xiàn)有技術(shù)方案中的低通時(shí)間濾波不同，僅將其中一個(gè)幀當(dāng)作最終得到的低時(shí)間頻率幀。
一旦執(zhí)行了各濾波步驟，依照本發(fā)明的編碼方法包括一個(gè)對(duì)預(yù)定子帶的已濾波幀的小波系數(shù)進(jìn)行量化和熵編碼的步驟，即-最后一個(gè)時(shí)間分解等級(jí)的各子帶的幀(在我們的示例中是子帶STSTST111到STST114)，-先前的各時(shí)間分解等級(jí)的各空間-時(shí)間子帶的高時(shí)間頻率HTF幀(在我們的示例中是從對(duì)子帶ST1的LLsHt幀和子帶STST1的LLsLtLLsHt幀的空間濾波所產(chǎn)生的幀)，-先前的各時(shí)間分解等級(jí)的各時(shí)間子帶的幀(在我們的示例中是從對(duì)子帶STST12到STST14的幀以及子帶ST2到ST4的幀的空間濾波所產(chǎn)生的幀)。
這個(gè)編碼步驟例如是基于嵌入零樹(shù)塊編碼EZBC。
依照本發(fā)明的編碼方法還包括一個(gè)例如基于無(wú)損差分脈沖編碼調(diào)制DPCM和/或自適應(yīng)算術(shù)編碼來(lái)對(duì)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行編碼的步驟。要注意的是，所述運(yùn)動(dòng)矢量具有隨分解等級(jí)的數(shù)量減小的分辨率。因此，編碼的運(yùn)動(dòng)矢量的開(kāi)銷(xiāo)比現(xiàn)有技術(shù)方案中的小得多。
所述方法最后還包括一個(gè)以空間-時(shí)間子帶的已編碼系數(shù)和已編碼運(yùn)動(dòng)矢量場(chǎng)為基礎(chǔ)形成最終比特流的步驟，所述運(yùn)動(dòng)矢量場(chǎng)的比特作為開(kāi)銷(xiāo)而被發(fā)送。
在編碼期間，所接收到的各空間-時(shí)間子帶被以不同的優(yōu)先等級(jí)嵌入到最終比特流中。從最高優(yōu)先等級(jí)到最低優(yōu)先等級(jí)的這種比特流的示例如下-子帶STSTST111-114的低時(shí)間頻率幀LTF，-子帶STSTST111-114的高時(shí)間頻率幀HTF，-子帶STST12-14的低時(shí)間頻率幀LTF，-子帶STST11-14的高時(shí)間頻率幀HTF，-子帶ST2-4的低時(shí)間頻率幀LTF，和-子帶ST1-4的高時(shí)間頻率幀HTF。
作為另一個(gè)示例(其中在編碼期間必須著重于時(shí)間可縮放性)，首先編碼所有空間分辨率的低時(shí)間頻率中LTF，接著編碼高時(shí)間頻率幀HTF。
空間和時(shí)間分解等級(jí)的數(shù)量取決于編碼器側(cè)的計(jì)算資源(例如處理能力、存儲(chǔ)器、所允許的延遲)，并且可以被動(dòng)態(tài)調(diào)節(jié)(也就是一旦達(dá)到處理資源的限制就停止分解)。與其中應(yīng)當(dāng)首先實(shí)現(xiàn)完整的時(shí)間分解、隨后是對(duì)所接收到的時(shí)間子帶的空間分解的現(xiàn)有技術(shù)方法相反，在此所提出的編碼方法適于在已經(jīng)獲得第一時(shí)間分解等級(jí)之后的任意時(shí)刻實(shí)際停止分解，并且適于傳輸這樣獲得的時(shí)間濾波幀和空間濾波幀。因此，提供了計(jì)算可縮放性。
依照本發(fā)明的編碼方法能夠通過(guò)硬件、軟件或其二者來(lái)實(shí)現(xiàn)。所述硬件或軟件能夠以幾種方式實(shí)現(xiàn)，比如分別通過(guò)連線電子電路或者通過(guò)適當(dāng)編程的集成電路實(shí)現(xiàn)。該集成電路能夠包含在編碼器中。該集成電路包括一個(gè)指令集。因此，例如包括在編碼器存儲(chǔ)器中的所述指令集可以使編碼器執(zhí)行運(yùn)動(dòng)估計(jì)方法的不同步驟?？梢酝ㄟ^(guò)讀取一個(gè)數(shù)據(jù)載體(比如一個(gè)盤(pán))而將該指令集載入到編程存儲(chǔ)器中。服務(wù)提供商也能夠通過(guò)諸如因特網(wǎng)的通信網(wǎng)絡(luò)來(lái)提供所述指令集。
在下面的權(quán)利要求書(shū)中的任何附圖標(biāo)記將不被解釋為限制權(quán)利要求。顯而易見(jiàn)，動(dòng)詞“包括”及其變化形式不排除在權(quán)利要求中列出的步驟或元件之外的其它步驟或元件的存在。元件或步驟前面的“一個(gè)”不排除多個(gè)這樣的元件或步驟的存在。
權(quán)利要求
1.一種編碼幀序列的方法，包括下列步驟將該幀序列分為各輸入幀組(F1-F8)；對(duì)一組中的各幀進(jìn)行基于小波的一級(jí)空間濾波(SF)，以產(chǎn)生包括與輸入幀相比具有減小的尺寸的低-低空間濾波幀(LLs)的第一分解等級(jí)的第一空間子帶(S1)；對(duì)于各對(duì)低-低空間濾波幀(LLs)進(jìn)行運(yùn)動(dòng)估計(jì)(ME1)，從而得到一個(gè)運(yùn)動(dòng)矢量場(chǎng)的集合；基于該運(yùn)動(dòng)矢量場(chǎng)集合對(duì)所述低-低空間濾波幀(LLs)進(jìn)行基于小波的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)，從而得到包括時(shí)間濾波幀(LLsLt-LLsHt)的第一分解等級(jí)的第一時(shí)間子帶(ST1)；重復(fù)前面所述的三個(gè)步驟，所述空間濾波步驟適于以低頻時(shí)間濾波幀(LLsLt)為基礎(chǔ)產(chǎn)生第二分解等級(jí)的第一空間子帶(STS11)，將運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波應(yīng)用于所述第二分解等級(jí)的第一空間子帶的各幀。
2.如權(quán)利要求1要求的編碼方法，其中迭代執(zhí)行一個(gè)由空間濾波步驟、運(yùn)動(dòng)估計(jì)步驟和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟組成的步驟序列，直到預(yù)定分解等級(jí)的時(shí)間子帶僅包括一個(gè)低時(shí)間頻率幀，其中在每次迭代時(shí)，對(duì)于所述步驟序列的輸入是在時(shí)間域和空間域中都具有最低頻率的時(shí)間濾波幀(LLsLtLLsLt)。
3.如權(quán)利要求1要求的編碼方法，其中迭代執(zhí)行一個(gè)由空間濾波步驟、運(yùn)動(dòng)估計(jì)步驟和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟組成的步驟序列，直到使用了一定量的計(jì)算資源，其中在每次迭代時(shí)，對(duì)于所述步驟序列的輸入是在時(shí)間域和空間域中都具有最低頻率的幀。
4.如權(quán)利要求1要求的編碼方法，其中所述一級(jí)空間濾波步驟(SF)適于提供當(dāng)前分解等級(jí)的至少一個(gè)其它的空間子帶(S2-S4、STS12-STS14)，所述方法還包括一個(gè)通過(guò)再次使用對(duì)應(yīng)于當(dāng)前分解等級(jí)的第一空間子帶的運(yùn)動(dòng)矢量場(chǎng)的集合、對(duì)該至少一個(gè)其它的空間子帶的各幀進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的步驟，并且得到所述當(dāng)前分解等級(jí)的至少一個(gè)其它的時(shí)間子帶(ST2-ST4、STST12-STST44)。
5.如權(quán)利要求4要求的編碼方法，還包括一個(gè)對(duì)當(dāng)前分解等級(jí)的該至少一個(gè)其它的時(shí)間子帶的各空間濾波幀進(jìn)行金字塔形空間濾波(STS12-STS14、STSTS112-STSTS114)的步驟。
6.如權(quán)利要求1要求的編碼方法，還包括一個(gè)對(duì)當(dāng)前分解等級(jí)的第一時(shí)間子帶(ST1、STST11)的空間低頻時(shí)間高頻幀(LLsHt、LLsLtLLsHt)進(jìn)行金字塔形空間濾波的步驟。
7.如權(quán)利要求5或6要求的編碼方法，其中在當(dāng)前分解等級(jí)下的金字塔形空間濾波步驟中的空間分解等級(jí)的數(shù)量等于空間分解等級(jí)的總數(shù)減去當(dāng)前分解等級(jí)。
8.一種用于編碼幀序列的設(shè)備，包括用于將該幀序列分為各輸入幀組(F1-F8)的裝置；用于對(duì)一組中的各幀進(jìn)行基于小波的一級(jí)空間濾波(SF)、以產(chǎn)生包括與輸入幀相比具有減小的尺寸的低-低空間濾波幀(LLs)的第一分解等級(jí)的第一空間子帶(S1)的裝置；用于對(duì)各對(duì)低-低空間濾波幀(LLs)進(jìn)行運(yùn)動(dòng)估計(jì)(ME1)、從而得到一個(gè)運(yùn)動(dòng)矢量場(chǎng)的集合的裝置；用于基于該運(yùn)動(dòng)矢量場(chǎng)集合對(duì)所述低-低空間濾波幀(LLs)進(jìn)行基于小波的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)、從而得到包括時(shí)間濾波幀(LLsLt-LLsHt)的第一分解等級(jí)的第一時(shí)間子帶(ST1)的裝置；配置前面的三個(gè)裝置，以使得所述空間濾波裝置適于以低頻時(shí)間濾波幀(LLsLt)為基礎(chǔ)產(chǎn)生第二分解等級(jí)的第一空間子帶(STS11)，并且使得所述運(yùn)動(dòng)估計(jì)裝置和運(yùn)動(dòng)補(bǔ)償時(shí)間濾波裝置適于接收所述第二分解等級(jí)的第一空間子帶的各幀。
9.一種包括程序指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述程序由處理器執(zhí)行時(shí)，所述程序指令用于執(zhí)行如權(quán)利要求1要求的編碼方法。
全文摘要
本發(fā)明涉及一種編碼幀序列的方法，包括下列步驟將幀序列分為由大小為H*W的N個(gè)幀(F1－F8)構(gòu)成的各組；對(duì)一組的各幀進(jìn)行基于小波的一級(jí)空間濾波(SF)，以產(chǎn)生包括大小為H/2*W/2的低－低空間濾波幀(LLs)的第一分解等級(jí)的第一空間子帶(S1)；對(duì)于各對(duì)低－低空間濾波幀(LLs)進(jìn)行運(yùn)動(dòng)估計(jì)(ME1)，從而得到一個(gè)由N/2個(gè)場(chǎng)組成的運(yùn)動(dòng)矢量場(chǎng)集合；并且基于該運(yùn)動(dòng)矢量場(chǎng)集合對(duì)所述低－低空間濾波幀(LLs)進(jìn)行基于小波的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)，從而得到由N個(gè)時(shí)間濾波幀組成的第一分解等級(jí)的第一時(shí)間子帶(ST1)。然后對(duì)于在時(shí)間域和空間域中都具有最低頻率的幀迭代執(zhí)行一個(gè)由空間濾波步驟、運(yùn)動(dòng)估計(jì)步驟和運(yùn)動(dòng)補(bǔ)償濾波步驟組成的步驟序列，直到每個(gè)時(shí)間子帶剩余一個(gè)低時(shí)間頻率幀。
文檔編號(hào)H04N7/26GK1868214SQ200480029657
公開(kāi)日2006年11月22日 申請(qǐng)日期2004年10月1日 優(yōu)先權(quán)日2003年10月10日
發(fā)明者I·奇?zhèn)惪?申請(qǐng)人:皇家飛利浦電子股份有限公司