合并去區(qū)塊處理和取樣自適應(yīng)偏移處理的視頻處理方法和裝置的制造方法
【專(zhuān)利說(shuō)明】合并去區(qū)塊處理和取樣自適應(yīng)偏移處理的視頻處理方法和 裝置
[0001] 相關(guān)申請(qǐng)奪叉引用
[0002] 本申請(qǐng)要求2012年8月1日申請(qǐng)的序號(hào)為No. 61/678, 295、2012年10月12日申 請(qǐng)的序號(hào)為No. 61/712, 934,以及2013年6月20日申請(qǐng)的序號(hào)為No. 13/922, 481的臨時(shí)申 請(qǐng)的優(yōu)先權(quán)，其全部參考并入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及視頻編碼系統(tǒng)，尤其涉及一種用于提升內(nèi)存使用率以及改善取樣自適 應(yīng)偏移處理以及去區(qū)塊濾波處理的效能的方法以及裝置。
【背景技術(shù)】
[0004] 動(dòng)作量測(cè)為一種有效率的幀間（inter-frame)編碼技術(shù)，其用于利用視頻序列中 的時(shí)間冗余（temporal redundancy)。而經(jīng)過(guò)動(dòng)作補(bǔ)償（Motion-compensated)的幀間編 碼已被廣泛應(yīng)用于各種國(guó)際視頻編碼標(biāo)準(zhǔn)。被各種國(guó)際編碼標(biāo)準(zhǔn)所采用的動(dòng)作量測(cè)技術(shù)通 常是以區(qū)塊為基礎(chǔ)的（block-based)技術(shù)，其中動(dòng)作信息（例如編碼模式以及動(dòng)作向量） 會(huì)基于每一個(gè)宏區(qū)塊（macroblock，MB)或是相似的區(qū)塊組態(tài)而被決定。此外，幀內(nèi)編碼 (intra-coding)也會(huì)被自適性地使用，其中對(duì)于一圖像所進(jìn)行的處理會(huì)獨(dú)立于其他圖像而 進(jìn)行。幀間預(yù)測(cè)的（inter-predicted)或幀內(nèi)預(yù)測(cè)的（intra-predicted)留數(shù)（residue) 通常會(huì)另行透過(guò)轉(zhuǎn)換、量化以及熵（entropy)編碼來(lái)處理，以產(chǎn)生壓縮的視頻比特流。然 而，在編碼處理當(dāng)中，會(huì)有編碼噪聲（artifact)產(chǎn)生，尤其是量化處理的過(guò)程當(dāng)中。因此， 為了減輕上述編碼噪聲，必須對(duì)重建的視頻進(jìn)行額外的處理來(lái)增強(qiáng)較新的編碼系統(tǒng)的圖像 質(zhì)量。而這些額外的處理通常被設(shè)置于一回路內(nèi)（in-loop)操作當(dāng)中，以使編碼器以及譯 碼器可獲得出相同的參考圖像來(lái)改善系統(tǒng)效能。
[0005] 請(qǐng)參考圖1A，圖1A為用于進(jìn)行回路內(nèi)處理的一自適性幀間/幀內(nèi)視頻編碼系統(tǒng)的 示意圖。進(jìn)行幀間預(yù)測(cè)時(shí)，動(dòng)作估測(cè)/動(dòng)作補(bǔ)償單元112用于提供以來(lái)自其他圖像或圖像 組的視頻數(shù)據(jù)為基礎(chǔ)的預(yù)測(cè)數(shù)據(jù)。開(kāi)關(guān)114會(huì)選取幀內(nèi)預(yù)測(cè)單元110或是幀間預(yù)測(cè)數(shù)據(jù)， 而所選取的預(yù)測(cè)數(shù)據(jù)會(huì)作為加法器116的預(yù)測(cè)誤差（亦即留數(shù)）。接著，預(yù)測(cè)誤差會(huì)再被 轉(zhuǎn)換單元118 (標(biāo)示為T(mén))以及量化單元120 (標(biāo)示為Q)作進(jìn)一步的處理。留數(shù)經(jīng)過(guò)轉(zhuǎn)換以 及量化處理后，會(huì)再被熵編碼器122所編碼，以形成對(duì)應(yīng)于壓縮的視頻數(shù)據(jù)的視頻比特流。 相關(guān)于轉(zhuǎn)換數(shù)的比特流會(huì)與旁側(cè)信息（side information) -同被封包，旁側(cè)信息可例如是 動(dòng)作、模式以及其他關(guān)聯(lián)于影像區(qū)域的信息，而所述旁側(cè)信息可再進(jìn)行熵編碼來(lái)降低所需 要的帶寬。根據(jù)以上所述，關(guān)聯(lián)于旁側(cè)信息的數(shù)據(jù)會(huì)被提供至圖1A所示的熵編碼器122。 在幀內(nèi)模式中，一重建的區(qū)塊可用于形成空間鄰近區(qū)塊的幀內(nèi)預(yù)測(cè)。因此，來(lái)自重建單元 (Reconstruction，REC) 128的一重建區(qū)塊可被提供至幀內(nèi)預(yù)測(cè)單元110。當(dāng)使用一幀間預(yù) 測(cè)模式時(shí)，一或多個(gè)參考圖像也需要在編碼器端被重建。如此一來(lái)，被轉(zhuǎn)換以及被量化的留 數(shù)會(huì)被逆量化單元124 (標(biāo)示為IQ)以及逆轉(zhuǎn)換單元126 (標(biāo)示為IT)所處理，以對(duì)留數(shù)進(jìn)行 還原。接著，還原后的留數(shù)會(huì)與預(yù)測(cè)的數(shù)據(jù)136在重建單元128處相加，以重建視頻數(shù)據(jù)。 重建的視頻數(shù)據(jù)會(huì)被儲(chǔ)存于參考圖像緩沖器134中，以用來(lái)預(yù)測(cè)其他的幀。
[0006] 如圖1A所示，輸入的視頻數(shù)據(jù)會(huì)在編碼系統(tǒng)中經(jīng)歷一連串的處理，而這些一連串 的處理可能會(huì)造成來(lái)自重建單元128的重建視頻數(shù)據(jù)受到各種損害。如此一來(lái)，在重建的 視頻數(shù)據(jù)被儲(chǔ)存于參考圖像緩沖器134之前時(shí)，各種回路內(nèi)處理會(huì)被應(yīng)用于重建的視頻數(shù) 據(jù)，以改善視頻質(zhì)量。隨著高效率視頻編碼（high efficiency video coding，HEVC)標(biāo) 準(zhǔn)的發(fā)展，去區(qū)塊濾波（deblocking filter，DF)處理單元130、取樣自適應(yīng)偏移（Sample Adaptive Offset，SA0)處理單元 131 以及自適應(yīng)回路濾波（adaptive loop filter，ALF) 處理單元132亦發(fā)展為能夠強(qiáng)化圖像質(zhì)量。比特流可包含回路內(nèi)濾波信息，以供譯碼器來(lái) 適當(dāng)?shù)剡€原所需的信息。因此，取樣自適應(yīng)偏移處理單元131以及自適應(yīng)回路濾波單元132 的回路內(nèi)濾波信息可輸出至熵編碼器122,以使比特流包含回路內(nèi)濾波信息。在圖1A中，去 區(qū)塊濾波處理單元130會(huì)先被用來(lái)對(duì)重建的視頻進(jìn)行處理，接著，取樣自適應(yīng)偏移處理單 元131會(huì)被用來(lái)對(duì)去區(qū)塊濾波處理后的視頻（亦即去塊后視頻）作處理，在此之后，自適應(yīng) 回路濾波單元132會(huì)用來(lái)對(duì)經(jīng)過(guò)取樣自適應(yīng)偏移處理后的視頻進(jìn)行處理。然而，去區(qū)塊濾 波處理、取樣自適應(yīng)偏移處理以及自適應(yīng)回路濾波處理的執(zhí)行順序可視需求來(lái)作調(diào)整。
[0007] 圖1B為圖1A所示的編碼器的一對(duì)應(yīng)的譯碼器的示意圖，如圖1B所示，視頻比特 流被視頻譯碼器142所解碼，以還原被轉(zhuǎn)換以及量化后的留數(shù)、取樣自適應(yīng)偏移/自適應(yīng)回 路濾波信息以及其他系統(tǒng)信息。在譯碼器端，圖1A所示的動(dòng)作估測(cè)/動(dòng)作補(bǔ)償單元112現(xiàn) 在在圖1B中已經(jīng)被置換為動(dòng)作補(bǔ)償單元113,亦即只有動(dòng)作補(bǔ)償會(huì)被執(zhí)行，而動(dòng)作估測(cè)不 會(huì)被執(zhí)行。此外，譯碼處理相似于編碼器端的重建回路。還原后的被轉(zhuǎn)換及量化的留數(shù)、取 樣自適應(yīng)偏移/自適應(yīng)回路濾波信息以及其他系統(tǒng)信息會(huì)用來(lái)重建視頻數(shù)據(jù)。重建的視頻 會(huì)另行被去區(qū)塊濾波處理單元130、取樣自適應(yīng)偏移處理單元131以及自適應(yīng)回路濾波處 理單元132所處理，以產(chǎn)生最終的改善后的解碼視頻。
[0008] 高效率視頻編碼所采用的取樣自適應(yīng)偏移處理有兩種方式，其一為帶偏移（band offset，B0)，而另外一種為邊緣偏移（edge offset，E0)。帶偏移用于根據(jù)像素的強(qiáng)度 (pixel intensity)來(lái)將像素分類(lèi)成多個(gè)不同頻帶的像素，且每個(gè)頻帶中的像素會(huì)進(jìn)行偏 移。邊緣偏移用來(lái)根據(jù)一目前像素以及其鄰近像素之間的關(guān)來(lái)將像素分類(lèi)為多個(gè)不同種 類(lèi)，且每個(gè)種類(lèi)的像素會(huì)進(jìn)行偏移。在HM-4. 0規(guī)范中，一像素可選取7種不同的取樣自適 應(yīng)偏移類(lèi)別，其中該7種類(lèi)別包含2個(gè)帶偏移群組（亦即外部群組以及內(nèi)部群組）、4個(gè)邊 緣偏移方向性場(chǎng)型（directional patterns，即0°、90°、135°以及45° )群組，以及不作 任何處理（即關(guān)閉）。其中圖2繪示了上述4種邊緣偏移類(lèi)別。
[0009] 在一圖像或是一區(qū)域上的所有像素的類(lèi)別中，每一類(lèi)別的像素均會(huì)產(chǎn)生偏移并且 在每一種類(lèi)的像素間傳送。在HM-4. 0規(guī)范中，取樣自適應(yīng)偏移處理于亮度（luma)域以及色 度（chroma)域進(jìn)行，其中每個(gè)亮度域會(huì)被獨(dú)立地處理。除了邊緣偏移類(lèi)別的種類(lèi)4之外， 每一種類(lèi)的像素均會(huì)產(chǎn)生偏移，其中種類(lèi)4的邊緣偏移會(huì)強(qiáng)制使用零偏移（zero offset)。 下面的表1列出了邊緣偏移的像素種類(lèi)列表（即種類(lèi)0?4)，其中"C"代表待分類(lèi)的像素。 如表1所示，種類(lèi)狀態(tài)會(huì)依據(jù)將目前像素的值與基于邊緣偏移種類(lèi)所確定的與其其相鄰的 兩個(gè)像素的值所作的比較來(lái)決定，亦即，種類(lèi)可根據(jù)比較結(jié)果（亦即〈"或" = "）來(lái)決 定。
[0010] 表 1
[0011]
【主權(quán)項(xiàng)】
1. 一種用于對(duì)重建的視頻數(shù)據(jù)進(jìn)行去區(qū)塊濾波處理以及取樣自適應(yīng)偏移處理的方法， 包含有： 通過(guò)使用熵譯碼、逆縮放、逆量化、逆轉(zhuǎn)換及幀內(nèi)/幀間預(yù)測(cè)中的一個(gè)或多個(gè)，來(lái)對(duì)一 視頻比特流進(jìn)行譯碼，以產(chǎn)生重建的視頻數(shù)據(jù)； 對(duì)重建的視頻數(shù)據(jù)的一目前區(qū)塊進(jìn)行去區(qū)塊濾波處理，以產(chǎn)生對(duì)應(yīng)于該目前區(qū)塊的去 區(qū)塊濾波輸出數(shù)據(jù)，其中該去區(qū)塊濾波處理使用一去區(qū)塊濾波處理單元來(lái)執(zhí)行，以及一去 區(qū)塊狀態(tài)于執(zhí)行該去區(qū)塊濾波處理的操作期間被決定；以及 根據(jù)該去區(qū)塊狀態(tài)，來(lái)向?qū)?yīng)于該目前區(qū)塊的該去區(qū)塊濾波輸出數(shù)據(jù)的一或多個(gè)像素 進(jìn)行一狀態(tài)相關(guān)取樣自適應(yīng)偏移處理，其中該狀態(tài)相關(guān)取樣自適應(yīng)偏移處理使用一取樣自 適應(yīng)偏移處理單元來(lái)執(zhí)行，以及該狀態(tài)相關(guān)取樣自適應(yīng)偏移處理包含有取樣自適應(yīng)偏移處 理、部分取樣自適應(yīng)偏移處理以及無(wú)取樣自適應(yīng)偏移處理。
2. 如權(quán)利要求1所述的方法，其中該去區(qū)塊狀態(tài)由該去區(qū)塊濾波處理單元以及該取樣 自適應(yīng)偏移處理單元中至少一個(gè)來(lái)決定。
3. 如權(quán)利要求1所述的方法，其中該取樣自適應(yīng)偏移處理單元通過(guò)決定出關(guān)聯(lián)于一支 持像素組的去區(qū)塊濾波輸出數(shù)據(jù)的去區(qū)塊狀態(tài)來(lái)監(jiān)測(cè)該去區(qū)塊狀態(tài)，其中該支持像素組對(duì) 應(yīng)該目前區(qū)塊中的一選取的像素組，且若該去區(qū)塊狀態(tài)指出該支持像素組為可獲得時(shí)，該 取樣自適應(yīng)偏移處理單元對(duì)該選取的像素組進(jìn)行狀態(tài)相關(guān)取樣自適應(yīng)偏移處理。