在視頻應(yīng)用中用于視頻預(yù)處理的濾波器選擇的制作方法
【專利說明】在視頻應(yīng)用中用于視頻預(yù)處理的濾波器選擇
[0001]本發(fā)明申請是申請日期為2010年4月20日、申請?zhí)枮椤?01080012997.2”、發(fā)明名稱為“在視頻應(yīng)用中用于視頻預(yù)處理的濾波器選擇”的發(fā)明專利申請的分案申請。
[0002]相關(guān)申請的交叉引用
[0003]本申請要求在2009年4月20日提交的第61/170，995號美國臨時申請、在2009年7月4日提交的第61/223，027號美國臨時申請以及在2009年9月14日提交的第61/242，242號美國臨時申請的優(yōu)先權(quán)，所有申請的全部內(nèi)容都通過引用合并到本申請中。本申請還會涉及在2008年12月25日提交的第61/140，886號美國臨時申請，該申請的全部內(nèi)容通過引用合并到本申請中。
技術(shù)領(lǐng)域
[0004]本公開涉及視頻應(yīng)用。更具體地，本發(fā)明的實(shí)施例涉及用于在給定發(fā)生在增強(qiáng)層(enhancement layer, EL)解碼器和編碼器中的基本層(base layer, BL)到增強(qiáng)層(EL)的預(yù)測處理的知識的情況下，選擇預(yù)處理濾波器和濾波器參數(shù)的方法以及器件。可以將上述方法和器件應(yīng)用到各種應(yīng)用中，諸如，空間上或時間上可伸縮的視頻編碼以及可伸縮3D (三維)視頻應(yīng)用。
【附圖說明】
[0005]圖1示出了包括基本層(BL)編碼部分和增強(qiáng)層(EL)編碼部分的可伸縮視頻編碼結(jié)構(gòu)。
[0006]圖2示出了與圖1的編碼系統(tǒng)相對應(yīng)的解碼結(jié)構(gòu)。
[0007]圖3示出了用于執(zhí)行預(yù)處理器優(yōu)化的開環(huán)處理。
[0008]圖4示出了用于執(zhí)行預(yù)處理器優(yōu)化的閉環(huán)處理。
[0009]圖5示出了出現(xiàn)了簡化編碼的閉環(huán)處理的另外的示例。
[0010]圖6示出了序列/圖像分析階段在前的預(yù)處理濾波器階段。
[0011]圖7示出了通過從EL編碼器收到的反饋進(jìn)行的預(yù)處理濾波器選擇。
[0012]圖8示出了基于用于先前圖像的濾波器來預(yù)測預(yù)處理濾波器參數(shù)的結(jié)構(gòu)。
【具體實(shí)施方式】
[0013]以下描述用于選擇預(yù)處理濾波器的方法以及器件。
[0014]根據(jù)第一實(shí)施例，提供了一種對用于視頻傳送的預(yù)處理濾波器進(jìn)行選擇的方法，該方法包括:將一個或更多個輸入圖像輸入到多個預(yù)處理濾波器中；處理每個預(yù)處理濾波器的輸出以針對每個預(yù)處理濾波器形成輸出圖像或數(shù)據(jù)流；針對每個預(yù)處理濾波器來評估輸出圖像或數(shù)據(jù)流的度量值；以及基于針對每個預(yù)處理濾波器的評估的度量值來在多個預(yù)處理濾波器中選擇預(yù)處理濾波器。
[0015]根據(jù)第二實(shí)施例，提供了一種對用于視頻傳送的預(yù)處理濾波器進(jìn)行選擇的方法，該方法包括:分析輸入圖像；選擇輸入圖像的區(qū)域；評估是否必須針對所選區(qū)域進(jìn)行預(yù)處理濾波器的新選擇；如果必須進(jìn)行新選擇，那么就對預(yù)處理濾波器進(jìn)行選擇；以及如果沒有必要進(jìn)行新選擇，那么就選擇先前所選的預(yù)處理濾波器。
[0016]根據(jù)第三實(shí)施例，提供了一種用于視頻傳送的預(yù)處理濾波器選擇器，該預(yù)處理濾波器選擇器包括:多個預(yù)處理濾波器，上述多個預(yù)處理濾波器適于接收輸入圖像；處理模塊，該處理模塊對每個預(yù)處理濾波器的輸出進(jìn)行處理以形成輸出圖像或數(shù)據(jù)流；度量值評估模塊，該度量值評估模塊針對每個預(yù)處理濾波器來評估輸出圖像或數(shù)據(jù)流的度量值；以及預(yù)處理濾波器選擇器，該預(yù)處理濾波器選擇器基于借助失真模塊的針對每個預(yù)處理濾波器的評估的度量值在多個預(yù)處理濾波器中選擇預(yù)處理濾波器。
[0017]根據(jù)第四實(shí)施例，提供了一種用于根據(jù)上述一種或更多種方法對視頻信號進(jìn)行編碼的編碼器。
[0018]根據(jù)第五實(shí)施例，提供了一種用于根據(jù)上述一種或更多種方法對視頻信號進(jìn)行編碼的設(shè)備。
[0019]根據(jù)第六實(shí)施例，提供了一種用于根據(jù)上述一種或更多種方法對視頻信號進(jìn)行編碼的系統(tǒng)。
[0020]根據(jù)第七實(shí)施例，提供了一種包括有使計算機(jī)執(zhí)行上述一種或更多種方法的指令集的計算機(jī)可讀介質(zhì)。
[0021]根據(jù)第八實(shí)施例，提供上述一種或更多種方法用于對視頻信號進(jìn)行編碼的用途。
[0022]用于可伸縮視頻傳送的一種方法是:按照較低分辨率對原始視頻進(jìn)行子采樣并對基本層(BL)碼流中的子采樣后的數(shù)據(jù)進(jìn)行編碼。然后可以對基本層解碼視頻進(jìn)行上采樣以獲得對原始全分辨率視頻的預(yù)測。增強(qiáng)層(EL)可以將此預(yù)測用作參考并對恢復(fù)原始全分辨率視頻所需的殘差信息進(jìn)行編碼。分辨率子采樣可以發(fā)生在空間域、時域以及像素精度域。參見例如:J.R.0hm, “Advances in Scalable Video Coding, Proceedings of theIEEE, vol.93, n0.1, January 2005?？缮炜s視頻傳送也可以與位深度可伸縮性和3D可伸縮性或多視圖可伸縮性有關(guān)。
[0023]雖然本申請的附圖和一些實(shí)施例參考了單一增強(qiáng)層，但是本公開也致力于存在有多于一個增強(qiáng)層的情況，以進(jìn)一步改善解碼視頻的質(zhì)量或改善視頻傳送系統(tǒng)的功能性/靈活性/復(fù)雜度。
[0024]圖1示出了一種這樣的可伸縮視頻編碼系統(tǒng)的示例，其中，作為示例，僅使用一個增強(qiáng)層。BL(基本層)至EL(增強(qiáng)層)預(yù)測器模塊(110)根據(jù)重構(gòu)的BL視頻預(yù)測EL并將該預(yù)測輸入到EL編碼器(120)中作為參考。
[0025]在立體視頻數(shù)據(jù)傳輸或多視圖視頻數(shù)據(jù)傳輸?shù)那闆r下，子采樣可以是為了在現(xiàn)有視頻傳送管路上傳輸?shù)哪康亩鴮⒉煌晥D交織成一幅圖像的結(jié)果。例如，棋盤、逐行、并排和上下是一些為了傳送的目的用來將兩個立體3D視圖交織成一幅左/右交織圖像的技術(shù)。在每種情況下，還可以使用諸如梅花、水平、垂直等不同的子采樣方法。
[0026]在2008年12月25日提交的并通過引用和作為附件A合并到本申請中的第61/140，886號美國臨時申請示出了一些可以在圖1的BL至EL預(yù)測器塊(110)中使用的內(nèi)容自適應(yīng)插值技術(shù)。另外，在2009年4月20日提交的并通過引用和作為附件B合并到本申請中的第61/170，995號美國臨時申請示出了直接插值技術(shù)，在這些直接插值技術(shù)中，依賴待插值的內(nèi)容和圖像區(qū)域來適應(yīng)性修改插值格式，且最優(yōu)的濾波器作為元數(shù)據(jù)以信號發(fā)送到增強(qiáng)層解碼器。
[0027]圖2示出了用于BL和EL的相對應(yīng)的解碼器結(jié)構(gòu)。BL到EL預(yù)測器(210)在解碼器側(cè)使用基本層重構(gòu)圖像(220)連同被引導(dǎo)的插值元數(shù)據(jù)(230)(該插值元數(shù)據(jù)(230)與圖1的預(yù)測器元數(shù)據(jù)(130)相對應(yīng))一起來產(chǎn)生對EL的預(yù)測(240)。在2009年4月20日提交的、通過引用合并到本申請中的第61/170，995號美國臨時申請更詳細(xì)地討論了預(yù)測器元數(shù)據(jù)。
[0028]返回到圖1，在BL圖像和EL圖像產(chǎn)生前可以有預(yù)處理模塊(140)、預(yù)處理模塊(150)。對圖像或視頻在壓縮之前應(yīng)用預(yù)處理從而改善壓縮效率和衰減偽跡。預(yù)處理模塊可以例如包括被設(shè)計成消除偽跡的下采樣濾波器，這些偽跡諸如來自子采樣后的圖像的混淆(aliasing)。下采樣濾波器可以是固定的有限脈沖響應(yīng)(FIR)濾波器(諸如iS: ff.Li, J-R.0hm, M.van der Schaar, H.Jiang and S.Li, “MPEG_4Video Verificat1nModel Vers1n 18.0, ” ISO/IEC JTC1/SC29/WG11N3908, January 2001 中描述的濾波器)、運(yùn)動補(bǔ)償時間濾波器(諸如在E.Dubois and S.Sabri，“Noise Reduct1n inImage Sequences Using Mot1n-Compensated Temporal Filtering,，，IEEE Trans.0nCommunicat1ns, Vol.COM-32, N0.7, Julyl984中描述的濾波器)或自適應(yīng)濾波器(諸如在S.Chang, B.Yu, and M.Vetterli, “Adaptive Wavelet Thresholding for Image Denoisingand Compress1n,，，IEEE Trans.0n Image Processing, vol.9, n0.9, pp.1532-1546，September 2000中描述的濾波器)。也可以結(jié)合特定的上采樣/插值處理(諸如在Y.Tsaig, M.Elad, P.Milanfar, and G.Golub, “Variable Project1n for Near-Optimal Filtering inLow Bit-Rate Coders,，，IEEE Trans, on Circuits and Systems for Video Technology,vol.15，n0.1, pp.154-160, January 2005中所描述的)來優(yōu)化下采樣濾波器。
[0029]在接下來的多幅圖中，將描述在給定從一層到另一層(例如BL到EL)的預(yù)測處理的知識的情況下、用于對預(yù)處理濾波器和濾波器參數(shù)進(jìn)行選擇的方法以及器件的實(shí)施例。具體地，圖3的實(shí)施例包括對于將如何執(zhí)行BL到EL預(yù)測的假設(shè)。這樣的假設(shè)不是基于根據(jù)壓縮之后的實(shí)際BL重構(gòu)圖像進(jìn)行的預(yù)測，而是基于根據(jù)未壓縮圖像的預(yù)測(開環(huán))。另一方面，圖4的實(shí)施例涉及根據(jù)壓縮之后的BL重構(gòu)圖像的預(yù)測(閉環(huán))。然而，如圖5所示，為了降低濾波器選擇處理的復(fù)雜度的目的，可以使用簡化壓縮。簡化壓縮與完全壓縮處理的性質(zhì)近似，并且簡化壓縮允許容忍可能通過壓縮處理所引入的編碼偽跡和比特率。
[0030]圖3示出了根據(jù)本公開的預(yù)處理器以及預(yù)處理優(yōu)化方法的實(shí)施例。可選的區(qū)域選擇模塊(310)將輸入圖像或源(320)分成多個區(qū)域。在2009年4月20日提交的并通過引用和作為附件B合并到本申請中的第61/170，995號美國臨時申請描述了這樣的區(qū)域選擇模塊的示例。輸入圖像分成多個區(qū)域，這允許在每個給予了其區(qū)域內(nèi)容特性的區(qū)域中執(zhí)行不同預(yù)處理以及自適應(yīng)插值。
[0031]對于每個區(qū)域，在一組表示為(330-1)，(330-2)，(330-3)，...，(330-N)的濾波器I到N上執(zhí)行對最優(yōu)的預(yù)處理濾波器的搜索。預(yù)處理濾波器可以是可分離的或不可分離的濾波器、具有不同主成分長度(support length)的F