交叉引用

本發(fā)明主張?jiān)?014年10月31日提出的申請?zhí)枮?2/073,209的美國臨時(shí)專利申請的優(yōu)先權(quán)。因此在全文中合并參考該專利申請案。

本發(fā)明是有關(guān)于視頻編碼，特別是有關(guān)于先進(jìn)幀內(nèi)預(yù)測，以改善幀內(nèi)預(yù)測的編碼效率。

背景技術(shù)：

高效率視頻編碼(high-efficiencyvideocoding,hevc)是由視頻編碼聯(lián)合協(xié)作小組(jct-vc)開發(fā)的新的國際視頻編碼標(biāo)準(zhǔn)。hevc依據(jù)基于混合塊的運(yùn)動(dòng)補(bǔ)償?shù)念愲x散余弦變換(discretecosinetransform,dct)的變換編碼架構(gòu)。稱為編碼單元(cu)的基本壓縮單元是2nx2n的正方形塊。cu可以以最大的編碼單元開始，其在hevc中也被稱為編碼樹單元(ctu)，并且每個(gè)cu可以遞歸地分成四個(gè)較小的cu，直到達(dá)到預(yù)定的最小尺寸。一旦完成了cu分層樹的分割，每個(gè)cu根據(jù)預(yù)測類型和預(yù)測單元(pu)分區(qū)進(jìn)一步分為一個(gè)或多個(gè)pu。每個(gè)cu或每個(gè)cu的殘差被分成一個(gè)變換單元(tu)樹，以應(yīng)用諸如離散余弦變換(dct)或離散正弦變換(discretesinetransform,dst)的二維變換。

在高效率視頻編碼(hevc)中，幀內(nèi)預(yù)測采樣的生成包括三個(gè)部分：幀內(nèi)平滑濾波器(intrasmoothingfilter)，幀內(nèi)預(yù)測和幀內(nèi)梯度濾波(intragradientfilter)。在計(jì)算預(yù)測之前，首先將平滑處理應(yīng)用于參考采樣，以作為預(yù)處理步驟。該平滑處理應(yīng)用于對應(yīng)[121]>>2相對應(yīng)的fir濾波器。平滑處理對應(yīng)于對當(dāng)前tu的左側(cè)列和上方行的采樣應(yīng)用低通濾波。每個(gè)tu的幀內(nèi)預(yù)測由相鄰tu的重建采樣產(chǎn)生。圖1中用線填充塊突出顯示涉及幀內(nèi)平滑的采樣。是否使用平滑操作取決于tu尺寸和幀內(nèi)預(yù)測模式。然后從如圖1中的線填充塊所示的當(dāng)前塊的邊界附近的相鄰參考采樣導(dǎo)出當(dāng)前塊的幀內(nèi)預(yù)測，以用于某些幀內(nèi)預(yù)測模式。根據(jù)hevc的幀內(nèi)預(yù)測模式包括直流(dc)模式，平面模式和33種定向模式。由編碼器為當(dāng)前塊選擇幀內(nèi)預(yù)測模式，并在比特流中被發(fā)送。在產(chǎn)生初始幀內(nèi)預(yù)測采樣之后，當(dāng)幀內(nèi)預(yù)測模式為直流，水平或垂直模式時(shí)，幀內(nèi)梯度濾波器進(jìn)一步應(yīng)用于當(dāng)前tu的左側(cè)列和上方行的初始幀內(nèi)預(yù)測采樣。

幀內(nèi)梯度濾波器的概念是利用沿著幀內(nèi)預(yù)測方向的梯度信息來提高幀內(nèi)預(yù)測的質(zhì)量。幀內(nèi)梯度濾波器進(jìn)一步擴(kuò)展到其他幀內(nèi)預(yù)測模式，如jctvc-g279中所示(guo,等人,ce6subsetd:directionbasedangularintraprediction,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11,7thmeeting:geneva,ch,21-30nov.,2011,document:jctvc-g279)。對于33個(gè)定向的幀內(nèi)預(yù)測模式，圖2中顯示了各種方向的模式名稱(modedesignation)，其中模式名稱從h-7到h+8以及v-8到v+8。對于從v到(v+8)的幀內(nèi)預(yù)測模式，將幀內(nèi)梯度濾波器應(yīng)用于選定的幀內(nèi)預(yù)測采樣。在垂直幀內(nèi)預(yù)測模式(即v)的示例中，將幀內(nèi)梯度濾波器應(yīng)用于當(dāng)前塊的左側(cè)列中的幀內(nèi)預(yù)測采樣。代表與當(dāng)前塊的左側(cè)列相鄰的兩個(gè)重建采樣的兩個(gè)邊界采樣首先被定位以用于濾波的當(dāng)前幀內(nèi)預(yù)測采樣?；趦蓚€(gè)邊界采樣的差值來計(jì)算梯度信息，以改善幀內(nèi)預(yù)測。圖3示出了用于垂直模式的幀內(nèi)梯度濾波器的示例。pij表示第i行和第j列的預(yù)測子。al表示當(dāng)前塊的左上角的重建采樣。li表示與當(dāng)前塊的左側(cè)列相鄰的重建采樣。一個(gè)新的預(yù)測子是根據(jù)以下公式計(jì)算的：

p′ij＝pij+α·(li-al),(1)

其中α對應(yīng)于加權(quán)因子，并且α是根據(jù)j確定的從0到1的小數(shù)。例如，當(dāng)j＝0時(shí)α＝1/2，當(dāng)j＝1時(shí)α＝1/4。pij被用作最終預(yù)測子。類似地，幀內(nèi)梯度濾波器也應(yīng)用于水平幀內(nèi)預(yù)測模式。對于水平方向模式的幀內(nèi)梯度濾波器，最終預(yù)測子p’ij根據(jù)下式計(jì)算：

p′ij＝pij+α·(aj-al)，(2)

其中，如圖3所示aj是上方行中重建的采樣。

對于從(v+1)到(v+8)的定向模式，幀內(nèi)梯度濾波處理將首先沿幀內(nèi)預(yù)測的方向識(shí)別參考采樣rli，以用于對應(yīng)的邊界采樣li。如果rli不位于整數(shù)像素位置，則可以通過在上述邊界行中的整數(shù)像素的插值來生成rli。幀內(nèi)梯度濾波器應(yīng)用于當(dāng)前幀內(nèi)預(yù)測模式的選定列中的幀內(nèi)預(yù)測采樣。用于從(v+1)到(v+8)的方向模式的基于梯度的預(yù)測for的示例如圖4所示。最終預(yù)測子p’ij是根據(jù)以下公式計(jì)算的：

p′ij＝pij+α·(li-rli).(3)

類似于垂直方向模式，α是從0到1的分?jǐn)?shù)，并且α根據(jù)j選擇。

類似的基于梯度的預(yù)測被應(yīng)用于從(h+1)到(h+8)的定向模式。首先沿著幀內(nèi)預(yù)測方向與當(dāng)前塊左側(cè)列相鄰的邊界列中的參考采樣raj被確定，以用于對應(yīng)的邊界采樣aj。如果raj不位于整數(shù)像素位置，則可以通過左側(cè)列中的整數(shù)像素的插值來生成raj。最終預(yù)測子p’ij根據(jù)以下公式計(jì)算：

p′ij＝pij+α·(aj-raj)(4)

其中α是從0到1的分?jǐn)?shù)，并且α根據(jù)i選擇。

對于從v到(v+8)和從h到(h+8)的定向模式，幀內(nèi)梯度濾波器被應(yīng)用于幀內(nèi)預(yù)測塊中的多個(gè)幀內(nèi)預(yù)測列或行。然而，在hevc中，當(dāng)幀內(nèi)預(yù)測模式為dc，水平或垂直模式時(shí)，幀內(nèi)梯度濾波器僅應(yīng)用于幀內(nèi)預(yù)測塊的第一行、第一列、或第一行和第一列中的選定采樣。例如，如果幀內(nèi)預(yù)測是dc模式，則第一行和第一列的采樣由幀內(nèi)梯度濾波器濾波。如果幀內(nèi)預(yù)測是水平模式，則第一行的采樣由幀內(nèi)梯度濾波器濾波。如果幀內(nèi)預(yù)測是垂直模式，則第一列的采樣被幀內(nèi)梯度濾波器進(jìn)一步濾波。

除了幀內(nèi)梯度濾波之外，還公開了稱為雙向幀內(nèi)預(yù)測的另一平滑濾波器以提高jct-vc會(huì)議中的幀內(nèi)預(yù)測的質(zhì)量，其中雙向幀內(nèi)預(yù)測也被稱為雙邊界(bi-boundary)幀內(nèi)預(yù)測。對于定向幀內(nèi)預(yù)測模式(v+1)至(v+8)和(h+1)至(h+8)，上方邊界行中的重建采樣和左邊界列中的重建采樣的加權(quán)和沿幀內(nèi)預(yù)測模式方向被用作幀內(nèi)預(yù)測子。圖5中示出了從(v+1)到(v+8)的方向模式的雙向幀內(nèi)預(yù)測的例子。對于每個(gè)幀內(nèi)預(yù)測采樣pij，識(shí)別沿著預(yù)測方向的左側(cè)列中的相應(yīng)參考采樣fij。如果fij不位于整數(shù)像素位置，則通過左側(cè)列中的插值整數(shù)像素的生成fij。然后，根據(jù)如下公式，最終預(yù)測子p’ij被計(jì)算為pij和fij的加權(quán)和：

p′ij＝α·pij+(1-α)·fij(5)

α是從0到1的小數(shù)，并且α根據(jù)用于(v+1)到(v+8)的方向模式的幀內(nèi)預(yù)測方向和j而選擇。

對于定向模式(h+1)到(h+8)，可以類似地導(dǎo)出雙向幀內(nèi)預(yù)測。在這種情況下，fij對應(yīng)于上述行中的參考采樣。如果fij不位于整數(shù)像素位置，則通過在上述行中的插值整數(shù)像素來生成fij。最終預(yù)測子p’ij根據(jù)公式(5)計(jì)算為pij和fij的加權(quán)和，其中α是從0到1的分?jǐn)?shù)，并且α根據(jù)用于(h+1)到(h+8)的定向模式的幀內(nèi)預(yù)測方向和i而選擇。

在產(chǎn)生幀內(nèi)預(yù)測子之后，在當(dāng)前塊和其對應(yīng)的預(yù)測子之間形成預(yù)測誤差。通過變換，量化和熵編碼進(jìn)一步處理預(yù)測誤差。對于熵編碼，首先將量化系數(shù)分為多個(gè)4×4系數(shù)組(coefficientgroup)。根據(jù)幀內(nèi)預(yù)測模式和變換尺寸選擇不同系數(shù)組的編碼順序和在一個(gè)系數(shù)組中的系數(shù)的掃描順序。如果變換尺寸小于或等于8×8，那么幀內(nèi)模式相關(guān)的掃描將用于不同系數(shù)組的編碼順序和一個(gè)系數(shù)組中系數(shù)的掃描順序。否則，對角掃描用于不同系數(shù)組的編碼順序和一個(gè)系數(shù)組中系數(shù)的掃描順序。

期望開發(fā)幀內(nèi)預(yù)測濾波器以進(jìn)一步提高編碼效率。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的實(shí)施方式，揭示了一種幀內(nèi)預(yù)測濾波方法，用于基于交叉排列幀內(nèi)預(yù)測模式集合來隱含地確定是否打開或關(guān)閉幀內(nèi)預(yù)測濾波器。在一個(gè)實(shí)施方式中，根據(jù)當(dāng)前幀內(nèi)預(yù)測模式，基于當(dāng)前塊的相鄰重建像素，初始幀內(nèi)預(yù)測塊被得到。如果幀內(nèi)預(yù)測濾波器對于當(dāng)前的幀內(nèi)預(yù)測模式開啟，則將幀內(nèi)預(yù)測濾波器應(yīng)用于初始幀內(nèi)預(yù)測塊，以形成已濾波的幀內(nèi)預(yù)測塊，以及使用已濾波的幀內(nèi)預(yù)測塊作為當(dāng)前塊的預(yù)測子，將幀內(nèi)預(yù)測編碼或解碼應(yīng)用于當(dāng)前塊。

在一個(gè)實(shí)施方式中，幀內(nèi)預(yù)測濾波器對應(yīng)于幀內(nèi)梯度濾波器，以及如果當(dāng)前幀內(nèi)預(yù)測模式屬于第一交叉排列幀內(nèi)預(yù)測模式集合，則幀內(nèi)預(yù)測濾波器處于打開狀態(tài)。第一交叉排列幀內(nèi)預(yù)測模式集合對應(yīng)于選自(v+0)到(v+nv)、從(h+0)到(h+mh)、或兩者的組合的多個(gè)定向幀內(nèi)預(yù)測模式，其中nv和mh為正整數(shù)。例如，第一交叉排列幀內(nèi)預(yù)測模式集合對應(yīng)于{(v+0)，(v+2)，(v+4)，(v+6)，(v+8)}、{(h+0)，(h+2)，(h+4)，(h+6)，(h+8)}、或兩者的組合。在另一實(shí)施方式中，第一交叉排列幀內(nèi)預(yù)測模式集合對應(yīng)于{(v+0)，(v+1)，(v+3)，(v+5)，(v+7)}、{(h+0)，(h+1)，(h+3)，(h+5)，(h+7)}、或兩者的組合。在又一實(shí)施方式中，第一交叉排列幀內(nèi)預(yù)測模式集合對應(yīng)于{(v+1)，(v+3)，(v+5)，(v+6)}、{(h+1)，(h+3)，(h+5)，(h+6)}、或兩者的組合。

當(dāng)使用幀內(nèi)梯度濾波器時(shí)，幀內(nèi)預(yù)測濾波處理將根據(jù)當(dāng)前幀內(nèi)預(yù)測模式識(shí)別位于與當(dāng)前塊相鄰的頂邊界行或左邊界列的兩個(gè)邊界相鄰重建像素。將兩個(gè)邊界相鄰重建像素的加權(quán)差值與初始幀內(nèi)預(yù)測塊的一個(gè)或多個(gè)所選列或行中的每個(gè)幀內(nèi)預(yù)測采樣相加，以形成已濾波的幀內(nèi)預(yù)測塊。如果兩個(gè)邊界相鄰重建像素中的任意一個(gè)不位于與當(dāng)前塊相鄰的頂邊界行或左邊界列中的一個(gè)整數(shù)位置處，則使用插值來生成不在一個(gè)整數(shù)位置的兩個(gè)邊界相鄰重建像素中的任一個(gè)。

在另一個(gè)實(shí)施例中，幀內(nèi)預(yù)測濾波器對應(yīng)于雙向幀內(nèi)預(yù)測濾波器，并且當(dāng)當(dāng)前幀內(nèi)預(yù)測模式屬于第二交叉排列幀內(nèi)預(yù)測模式集時(shí)，幀內(nèi)預(yù)測濾波器開啟。幀內(nèi)預(yù)測濾波處理將根據(jù)當(dāng)前幀內(nèi)預(yù)測模式識(shí)別位于與當(dāng)前塊相鄰的頂邊界行和左邊界列的兩個(gè)邊界相鄰重建像素。如果當(dāng)前塊的一個(gè)或兩個(gè)邊界相鄰重建像素不可用，則用填充數(shù)據(jù)填充一個(gè)或多個(gè)不可用邊界相鄰重建像素，以形成填充參考采樣?；谔畛涞膮⒖疾蓸訉㈦p向幀內(nèi)預(yù)測應(yīng)用于初始幀內(nèi)預(yù)測塊的選定行或列中的選定的初始幀內(nèi)預(yù)測采樣，以形成已濾波的幀內(nèi)預(yù)測塊。如果兩個(gè)邊界相鄰重建像素中的任意一個(gè)不位于與當(dāng)前塊相鄰的頂邊界行或左邊界列中的一個(gè)整數(shù)位置處，則使用插值來生成不在一個(gè)整數(shù)位置的兩個(gè)邊界相鄰重建像素中的任意一個(gè)。

填充數(shù)據(jù)是通過從一個(gè)或多個(gè)可用相鄰重建像素重復(fù)、從具有偶數(shù)/奇數(shù)對稱性的一個(gè)或多個(gè)可用相鄰重建像素延伸、或?qū)⒃撎畛鋽?shù)據(jù)設(shè)置為預(yù)定像素值而產(chǎn)生的。根據(jù)當(dāng)前塊的塊尺寸來確定第二交叉排列幀內(nèi)預(yù)測模式集，其中當(dāng)前塊對應(yīng)于編碼單元或變換單元。

在另一實(shí)施方式中，如果當(dāng)前幀內(nèi)預(yù)測模式屬于所選擇的定向幀內(nèi)預(yù)測模式的交叉排列子集，則將幀內(nèi)梯度濾波器應(yīng)用于初始幀內(nèi)預(yù)測塊以形成已濾波的幀內(nèi)預(yù)測塊。

在另一個(gè)實(shí)施例中，如果當(dāng)前幀內(nèi)預(yù)測模式屬于所選擇的定向幀內(nèi)預(yù)測模式的集合，則將雙向幀內(nèi)預(yù)測應(yīng)用于初始幀內(nèi)預(yù)測的選定行或列中的所選初始幀內(nèi)預(yù)測采樣。如果當(dāng)前塊中的一個(gè)或兩個(gè)邊界相鄰的重建像素不可用，則用填充數(shù)據(jù)填充該一個(gè)或多個(gè)不可用邊界相鄰重建像素以形成填充的參考采樣。然后填充的參考采樣用于定向幀內(nèi)預(yù)測。此外，通過從一個(gè)或多個(gè)可用相鄰重建像素重復(fù)、從具有偶數(shù)/奇數(shù)對稱性的一個(gè)或多個(gè)可用相鄰重建像素延伸，或?qū)⑻畛鋽?shù)據(jù)設(shè)置為預(yù)定像素值，而產(chǎn)生填充數(shù)據(jù)。

附圖說明

圖1示出了根據(jù)當(dāng)前hevc標(biāo)準(zhǔn)用于生成幀內(nèi)預(yù)測采樣的邊界相鄰重建像素的示例。

圖2示出了根據(jù)當(dāng)前hevc標(biāo)準(zhǔn)的33個(gè)幀內(nèi)預(yù)測方向及其相應(yīng)的名稱的示意圖。

圖3示出了根據(jù)當(dāng)前hevc標(biāo)準(zhǔn)的用于垂直幀內(nèi)預(yù)測模式的示例性幀內(nèi)梯度濾波器的示意圖。

圖4示出了根據(jù)當(dāng)前hevc標(biāo)準(zhǔn)的用于從(v+1)到(v+8)的幀內(nèi)預(yù)測模式的示例性幀內(nèi)梯度濾波器的示意圖。

圖5示出了根據(jù)當(dāng)前hevc標(biāo)準(zhǔn)的用于從(v+1)到(v+8)的幀內(nèi)預(yù)測模式的示例性雙向預(yù)測濾波器。

圖6示出了用于雙向幀內(nèi)預(yù)測濾波器的不可用邊界相鄰重建像素的示例。

圖7示出了根據(jù)本發(fā)明實(shí)施例的包含幀內(nèi)預(yù)測濾波的編碼系統(tǒng)的示例性流程圖。

具體實(shí)施方式

如上所述，根據(jù)hevc標(biāo)準(zhǔn)和jctvc-g279的幀內(nèi)梯度濾波器和雙向幀內(nèi)預(yù)測被應(yīng)用于從(v+1)到(v+8)和從(h+1)到(h+8)的幀內(nèi)預(yù)測模式。然而，這樣的應(yīng)用可能不能達(dá)到最佳的編碼性能。為了提高幀內(nèi)預(yù)測的編碼效率，公開了導(dǎo)出或改進(jìn)視頻編碼的幀內(nèi)預(yù)測子的新方法。

第一實(shí)施例

在hevc中，幀內(nèi)梯度濾波器僅用于直流，水平或垂直模式的幀內(nèi)預(yù)測模式。根據(jù)jctvc-g279，幀內(nèi)梯度濾波器可以應(yīng)用于從v到(v+8)和從h到(h+8)的所有方向模式。對于從v到(v+8)和從h到(h+8)的所有定向模式應(yīng)用幀內(nèi)梯度濾波器將會(huì)由于增加的濾波行/列的數(shù)量而大大增加復(fù)雜度。然而，對于所選擇的幀內(nèi)預(yù)測模式組中的所有模式，編碼效率可能不會(huì)增加。為了解決這個(gè)問題，公開了用于一組交叉排列(interleaved)幀內(nèi)預(yù)測模式的幀內(nèi)梯度濾波器，所提出的方案也稱為“交叉排列式幀內(nèi)梯度濾波器”。換句話說，幀內(nèi)梯度濾波器以交叉排列方式應(yīng)用于從v到(v+nv)和/或從h到(h+mh)的方向模式，其中nv和mh是正整數(shù)。例如，nv和mh可以等于8或6，并且?guī)瑑?nèi)梯度濾波器將僅適用于偶數(shù)幀內(nèi)預(yù)測模式，即v，(v+2)，(v+4)，(v+6)和(v+8)，和/或h，(h+2)，(h+4)，(h+6)和(h+8)。在另一示例中，交叉排列幀內(nèi)預(yù)測模式設(shè)置應(yīng)用幀內(nèi)梯度濾波器對應(yīng)于{(v+0)，(v+1)，(v+3)，(v+5)，(v+7)}、{(h+0)，(h+1)，(h+3)，(h+5)，(h+7)}、或兩者的組合。在另一示例中，交叉排列幀內(nèi)預(yù)測模式設(shè)置應(yīng)用幀內(nèi)梯度濾波器對應(yīng)于{(v+1)，(v+3)，(v+5)，(v+6)}、{(h+1)，(h+3)，(h+5)，(h+6)}、或兩者的組合。對于其他幀內(nèi)預(yù)測模式，幀內(nèi)預(yù)測采樣不會(huì)被幀內(nèi)梯度濾波器濾波。

在上述交叉排列幀內(nèi)預(yù)測模式的例子中，幀內(nèi)梯度濾波器開啟以用于每隔一個(gè)的定向幀內(nèi)預(yù)測模式(例如，從v到(v+8)和/或從h到(h+8)的偶數(shù)或奇數(shù)定向模式)。然而，也可以使用其他交叉排列模式。例如，該模式可以是每隔兩個(gè)的方向幀內(nèi)預(yù)測模式。換句話說，將幀內(nèi)梯度濾波器應(yīng)用于從v到(v+8)和/或從h到(h+8)的定向幀內(nèi)預(yù)測模式的開/關(guān)模式可以是{開啟、開啟、關(guān)閉、關(guān)閉、開啟、開啟、關(guān)閉、關(guān)閉、開啟}。在另一示例中，該模式可以是每隔三個(gè)方向的幀內(nèi)預(yù)測模式。將幀內(nèi)梯度濾波器應(yīng)用于從v到(v+8)和/或從h到(h+8)的定向幀內(nèi)預(yù)測模式的開/關(guān)模式可以是例如{開啟、開啟、開啟、關(guān)閉、關(guān)閉、關(guān)閉、開啟、開啟、開啟}。在另一個(gè)示例中，用于將幀內(nèi)梯度濾波器應(yīng)用于從v到(v+8)和/或從h到(h+8)的定向幀內(nèi)預(yù)測模式的交叉排列模式是不統(tǒng)一(uniform)的，并且可以是{開啟、關(guān)閉、關(guān)閉、開啟、關(guān)閉、關(guān)閉、開啟、開啟、關(guān)閉}，{開啟、開啟、關(guān)閉、開啟、關(guān)閉、開啟、關(guān)閉、開啟、關(guān)閉}，{關(guān)閉、開啟、開啟、關(guān)閉、關(guān)閉、開啟、開啟、關(guān)閉、關(guān)閉}，{開啟、關(guān)閉、關(guān)閉、開啟、開啟、關(guān)閉、開啟、關(guān)閉、開啟}，{關(guān)閉、開啟、關(guān)閉、開啟、關(guān)閉、開啟、開啟、關(guān)閉、關(guān)閉}，或{開啟、關(guān)閉、開啟、關(guān)閉、開啟、開啟關(guān)閉、關(guān)閉、開啟}。但本申請不限于此。

在一個(gè)示例中，是否啟用或禁用交叉排列幀內(nèi)梯度濾波器可以在序列層，圖片層或切片層中指示。在另一示例中，是否啟用或禁用交叉排列幀內(nèi)梯度濾波器可能取決于當(dāng)前塊的塊尺寸，其中當(dāng)前塊對應(yīng)于編碼單元(cu)或變換單元(tu)。例如，交叉排列幀內(nèi)梯度濾波器只能應(yīng)用于小于或等于閾值的cu或tu。然而，對于尺寸大于閾值的cu或tu，總是啟用或禁用幀內(nèi)梯度濾波器。尺寸約束可以在序列層，圖片層或切片層發(fā)信號(hào)。

本申請還公開了與交叉排列幀內(nèi)梯度濾波器相關(guān)聯(lián)的模式編碼方案。例如，假設(shè)原始最可能模式(mpm)是{dir，dir+1，dir-1}，其中dir表示定向幀內(nèi)預(yù)測模式。當(dāng)交叉排列幀內(nèi)梯度濾波器使能時(shí)，mpm模式可以改變?yōu)閧dir，dir+n，dir-n}，其中dir+n和dir-n是最接近dir的定向幀內(nèi)預(yù)測模式，具有相同的幀內(nèi)梯度濾波器進(jìn)程(啟用或禁用)。

根據(jù)本實(shí)施例的幀內(nèi)預(yù)測濾波器可以產(chǎn)生更加不同的幀內(nèi)預(yù)測子，以用于兩個(gè)連續(xù)的幀內(nèi)預(yù)測模式。當(dāng)tu尺寸小時(shí)尤其如此。交叉排列幀內(nèi)預(yù)測濾波器也具有提高編碼性能的潛力。

第二實(shí)施例

在雙向幀內(nèi)預(yù)測中，最終的幀內(nèi)預(yù)測子是pij和fij的加權(quán)和。但是，fij可能不適用于當(dāng)前塊。特別是當(dāng)通過雙向幀內(nèi)預(yù)測處理的行/列的數(shù)量增加時(shí)，這更可能發(fā)生。圖6示出了不可用邊界相鄰重建像素的示例。當(dāng)前塊的邊界相鄰重建像素被示為線填充像素區(qū)域，其位于與當(dāng)前塊相鄰的頂邊界行和左邊界列中。如圖6所示，頂部邊界行延伸超過當(dāng)前塊的寬度。類似地，左邊界列也向下延伸超過當(dāng)前塊的高度。對于由箭頭指示的幀內(nèi)預(yù)測方向，由圓形指示的用于幀內(nèi)預(yù)測采樣的采樣fij不可用(由圖6中的“？”表示)，因?yàn)樵摬蓸觙ij在左邊界列之外。這給將雙向幀內(nèi)預(yù)測應(yīng)用于更多定向幀內(nèi)模式或更多要被處理的行/列帶來困難。

為了解決這個(gè)問題，根據(jù)本發(fā)明的實(shí)施例公開了一種填充技術(shù)。根據(jù)填充過程，當(dāng)fij不包括在相鄰tu的重建采樣中時(shí)，使用填充技術(shù)來生成fij以用于所有選定的定向幀內(nèi)模式的雙向幀內(nèi)預(yù)測。填充技術(shù)對于通過雙向幀內(nèi)預(yù)測處理的行/列數(shù)量增加的情況也是有用的。在這種情況下，更可能的是，fij不包括在相鄰tu的重建采樣中。

在本領(lǐng)域中已知各種填充技術(shù)。例如，填充的數(shù)據(jù)可以通過重復(fù)一個(gè)或多個(gè)可用的相鄰重建像素、延伸具有偶數(shù)/奇數(shù)對稱性的一個(gè)或多個(gè)可用的相鄰重建像素、或者將填充的數(shù)據(jù)設(shè)置為預(yù)定義的像素值而產(chǎn)生。此外，如果兩個(gè)邊界相鄰重建像素中的任一個(gè)不位于與當(dāng)前塊相鄰的頂邊界行或左邊界列中的一個(gè)整數(shù)位置，則可以使用插值來生成不在一個(gè)整數(shù)位置的兩個(gè)邊界相鄰重建像素中的任意一個(gè)。

應(yīng)用雙向幀內(nèi)預(yù)測濾波器的所選擇的定向幀內(nèi)預(yù)測模式可以取決于當(dāng)前塊的塊尺寸，其中當(dāng)前塊對應(yīng)于編碼單元(cu)或變換單元(tu)。此外，可以在序列層，圖片層或切片層中指示雙向幀內(nèi)預(yù)測濾波是使能還是禁用。

第三實(shí)施例

在本實(shí)施例中，是否開啟或關(guān)閉幀內(nèi)預(yù)測濾波器可以基于交叉排列幀內(nèi)預(yù)測模式集隱含地確定。例如，幀內(nèi)梯度濾波器可以應(yīng)用于第一交叉排列方向的幀內(nèi)預(yù)測模式集合。對于不屬于第一交叉排列方向幀內(nèi)預(yù)測模式集合的那些定向幀內(nèi)預(yù)測模式，雙向幀內(nèi)預(yù)測濾波器可以應(yīng)用于這些定向幀內(nèi)預(yù)測模式中的一些或全部。與上述各個(gè)幀內(nèi)梯度濾波器或雙向幀內(nèi)預(yù)測濾波器相關(guān)聯(lián)的各種技術(shù)也可以應(yīng)用于該實(shí)施例。例如，上述的幀內(nèi)梯度濾波器的交叉排列幀內(nèi)預(yù)測模式集合的選擇也適用于本實(shí)施例。在一個(gè)示例中，幀內(nèi)梯度濾波器將僅應(yīng)用于定向幀內(nèi)預(yù)測模式v，(v+2)，(v+4)和(v+6)和/或h，(h+2)，(h+4)和(h+6)。對于雙向幀內(nèi)預(yù)測濾波器，它可以應(yīng)用于等于(v+8)和/或(h+8)的定向幀內(nèi)預(yù)測模式。在另一示例中，雙向幀內(nèi)預(yù)測濾波器可以應(yīng)用于等于(v+7)和(v+8)和/或(h+7)和(h+8)的定向幀內(nèi)預(yù)測模式。

在又一示例中，第一交叉排列定向幀內(nèi)預(yù)測模式集合包括從v到(v+nv)和/或從h到(h+mh)的定向幀內(nèi)預(yù)測模式，其中nv和mh是正整數(shù)，可以相同或不同。在一個(gè)示例中，nv和mh都等于8。在另一示例中，nv和mh均等于4。幀內(nèi)梯度濾波器可以應(yīng)用于屬于第一交叉排列定向幀內(nèi)預(yù)測模式集合的所有定向幀內(nèi)預(yù)測模式，而雙向幀內(nèi)預(yù)測濾波器可以應(yīng)用于其余的定向幀內(nèi)預(yù)測模式(即，不屬于第一交叉排列定向幀內(nèi)預(yù)測模式集合的那些定向幀內(nèi)預(yù)測模式)。

在前述實(shí)施例中，幀內(nèi)梯度濾波器或雙向幀內(nèi)預(yù)測濾波器中待濾波像素的數(shù)量取決于當(dāng)前塊的尺寸，其中當(dāng)前塊對應(yīng)于編碼單元(cu)或變換單元(tu)。例如，當(dāng)當(dāng)前塊的尺寸較大時(shí)，在幀內(nèi)梯度濾波器或雙向幀內(nèi)預(yù)測濾波器中的待濾波的像素的數(shù)量可以增加。當(dāng)當(dāng)前塊的尺寸較小時(shí)，在幀內(nèi)梯度濾波器或雙向幀內(nèi)預(yù)測濾波器中的待濾波的像素的數(shù)量可能很少。

第四實(shí)施例

在當(dāng)前的hevc標(biāo)準(zhǔn)中，幀內(nèi)殘差由具有取決于幀內(nèi)預(yù)測模式和tu尺寸的掃描順序的上下文自適應(yīng)二進(jìn)制算術(shù)編碼(contextadaptivebinaryarithmeticcoding,cabac)而被編碼。如果變換尺寸小于或等于8×8，那么幀內(nèi)模式相關(guān)掃描將用于決定一個(gè)tu中的系數(shù)組的編碼順序和一個(gè)系數(shù)組中系數(shù)的掃描順序。否則，對角掃描用于一個(gè)tu中的系數(shù)組的編碼順序和一個(gè)系數(shù)組中系數(shù)的掃描順序。為了進(jìn)一步簡化幀內(nèi)殘差編碼，公開了一種幀內(nèi)tu中系數(shù)組的編碼順序的對角線掃描。當(dāng)使用不同的正方形或非正方形變換尺寸時(shí)，對于一個(gè)tu中的系數(shù)組的編碼順序的幀內(nèi)模式相關(guān)掃描將需要增加計(jì)算復(fù)雜度。這也可能會(huì)導(dǎo)致不同掃描順序之間的一些冗余。例如，如果變換類型是尺寸等于16×4的非正方形變換，則一個(gè)tu中系數(shù)組的對角線掃描，水平掃描和垂直掃描之間的編碼順序是完全相同的。隨著支持的變換尺寸的增加，需要更多的存儲(chǔ)器來存儲(chǔ)用于不同掃描模式的一個(gè)tu中的系數(shù)組的編碼順序。因此，對于一個(gè)tu中的系數(shù)組的編碼順序的對角線掃描被使用以簡單地計(jì)算小的編碼性能損失。除了在一個(gè)tu中的系數(shù)組的掃描順序之外，還使用幀內(nèi)模式相關(guān)掃描作為所有tu的一個(gè)系數(shù)組中的系數(shù)的掃描順序。根據(jù)目前的實(shí)踐，一個(gè)tu被分為多個(gè)4x4系數(shù)組，只需要設(shè)計(jì)一個(gè)4x4系數(shù)組的三次掃描。因此，可以使用幀內(nèi)模式相關(guān)掃描作為所有tu的一個(gè)系數(shù)組中的系數(shù)的掃描順序，而不需要額外的成本。

alf語法

除了幀內(nèi)編碼的改進(jìn)之外，本發(fā)明的另一方面涉及自適應(yīng)環(huán)路濾波器(adaptiveloopfilter,alf)的語法設(shè)計(jì)。hevc標(biāo)準(zhǔn)會(huì)議上披露了alf。alf參數(shù)集在圖像層發(fā)信號(hào)，以及與編碼樹塊數(shù)據(jù)相關(guān)聯(lián)的alf開/關(guān)標(biāo)志以編碼樹單元層發(fā)信號(hào)。例如，可以在自適應(yīng)參數(shù)集中發(fā)送alf參數(shù)集。自適應(yīng)參數(shù)集(aps)是如hevc所描述的一種獨(dú)立的圖像參數(shù)集。aps可以由不同的圖片參考。在這種情況下，自適應(yīng)參數(shù)集中的信息可以由不同的圖片參考，而不管不同圖像之間的依賴關(guān)系。因此，隨機(jī)存取的功能不會(huì)受到影響。在另一個(gè)實(shí)施方案中，alf參數(shù)集可以被編碼在與一個(gè)單獨(dú)的圖片相關(guān)聯(lián)的圖片層頭部中，而不是獨(dú)立的圖像參數(shù)集。在這種情況下，如果參考alf參數(shù)集需要數(shù)據(jù)跨越隨機(jī)接入點(diǎn)，則可能無法提供隨機(jī)存取的功能。例如，在一個(gè)比特流中存在60個(gè)幀，第1幀和第30幀是隨機(jī)接入點(diǎn)，并且在第27幀的圖片層頭部中編碼一個(gè)alf參數(shù)集。該alf參數(shù)集用于第27幀。如果此alf參數(shù)集被第32幀參考，而第30幀是隨機(jī)存取點(diǎn)，則從第32幀到最后幀的幀不能從比特流直接解碼，因?yàn)榈?2幀引用第27幀的alf參數(shù)集。在這種情況下，無法實(shí)現(xiàn)隨機(jī)存取的功能。因此，根據(jù)本發(fā)明的另一實(shí)施例，當(dāng)參考alf參數(shù)集跨越任意隨機(jī)存取點(diǎn)以移除跨越隨機(jī)存取點(diǎn)的數(shù)據(jù)相關(guān)性時(shí)，參考alf參數(shù)集不被允許。在上述示例中，如果應(yīng)用此規(guī)則，則由于與第30幀相關(guān)的跨越隨機(jī)存取點(diǎn)的數(shù)據(jù)相關(guān)性限制，參考在第27幀中alf參數(shù)集以用于第32幀將被禁止。因此，可以保證隨機(jī)存取的功能。在又一個(gè)實(shí)施例中，當(dāng)解碼一個(gè)隨機(jī)存取圖像時(shí)，用于該參考的alf參數(shù)集的緩沖器被其它幀復(fù)位。

圖7示出了根據(jù)本發(fā)明實(shí)施例的包含幀內(nèi)預(yù)測濾波的編碼系統(tǒng)的示例性流程圖。在步驟710中，系統(tǒng)接收與當(dāng)前幀內(nèi)預(yù)測模式中正在編碼的當(dāng)前塊相關(guān)聯(lián)的輸入數(shù)據(jù)。輸入數(shù)據(jù)可對應(yīng)于編碼器側(cè)要編碼的當(dāng)前塊的像素?cái)?shù)據(jù)或解碼器側(cè)當(dāng)前塊的編碼數(shù)據(jù)?？梢詮拇鎯?chǔ)器檢索當(dāng)前塊，例如，計(jì)算機(jī)存儲(chǔ)緩沖器(ram或dram)。自諸如處理單元或數(shù)字信號(hào)的處理器接收視頻比特流。在步驟720中，根據(jù)當(dāng)前幀內(nèi)預(yù)測模式，基于當(dāng)前塊的相鄰重建像素，初始幀內(nèi)預(yù)測塊被推導(dǎo)。在步驟730中，是否打開或關(guān)閉幀內(nèi)預(yù)測濾波器是基于交叉排列的幀內(nèi)預(yù)測模式集而隱式地確定。在步驟740中，檢查幀內(nèi)預(yù)測濾波器是否開啟以用于當(dāng)前幀內(nèi)預(yù)測模式。如果幀內(nèi)預(yù)測濾波器被開啟以用于當(dāng)前幀內(nèi)預(yù)測模式(即，“是”路徑)，則執(zhí)行步驟750和760。否則(即“否”路徑)，跳過步驟750和760。在步驟750中，幀內(nèi)預(yù)測濾波器被應(yīng)用于初始幀內(nèi)預(yù)測塊，以形成已濾波的幀內(nèi)預(yù)測塊。在步驟760中，使用已濾波的幀內(nèi)預(yù)測塊作為當(dāng)前塊的預(yù)測子，將幀內(nèi)預(yù)測編碼或解碼應(yīng)用于當(dāng)前塊。

上述的流程圖用于描述根據(jù)本發(fā)明實(shí)施方式的幀內(nèi)預(yù)測濾波的示例。本領(lǐng)域技術(shù)人員可在不脫離本發(fā)明精神的前提下，修改、重排列、拆分、或組合各個(gè)步驟，以實(shí)現(xiàn)本發(fā)明。

在提供特定應(yīng)用和其需求的情況下，以上描述使得本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)本發(fā)明。對本領(lǐng)域技術(shù)人員來說，各種修飾是清楚的，以及在此定義的基本原理可以應(yīng)用與其他實(shí)施方式。因此，本發(fā)明并不限于描述的特定實(shí)施方式，而應(yīng)與在此公開的原則和新穎性特征相一致的最廣范圍相符合。在上述詳細(xì)描述中，為全面理解本發(fā)明，描述了各種特定細(xì)節(jié)。然而，本領(lǐng)域技術(shù)人員能夠理解本發(fā)明可以實(shí)現(xiàn)。

以上描述的本發(fā)明的實(shí)施方式可在各種硬件、軟件編碼或兩者組合中進(jìn)行實(shí)施。例如，本發(fā)明的實(shí)施方式可為集成入視頻壓縮芯片的電路或集成入視頻壓縮軟件以執(zhí)行上述過程的程序代碼。本發(fā)明的實(shí)施方式也可為在數(shù)據(jù)信號(hào)處理器(digitalsignalprocessor,dsp)中執(zhí)行上述程序的程序代碼。本發(fā)明也可涉及計(jì)算機(jī)處理器、數(shù)字信號(hào)處理器、微處理器或現(xiàn)場可編程門陣列(fieldprogrammablegatearray,fpga)執(zhí)行的多種功能?？筛鶕?jù)本發(fā)明配置上述處理器執(zhí)行特定任務(wù)，其通過執(zhí)行定義了本發(fā)明揭示的特定方法的機(jī)器可讀軟件代碼或固件代碼來完成?？蓪④浖a或固件代碼發(fā)展為不同的程序語言與不同的格式或形式。也可為了不同的目標(biāo)平臺(tái)編譯軟件代碼。然而，根據(jù)本發(fā)明執(zhí)行任務(wù)的軟件代碼與其他類型配置代碼的不同代碼樣式、類型與語言不脫離本發(fā)明的精神與范圍。

在不脫離本發(fā)明精神或本質(zhì)特征的情況下，可以其他特定形式實(shí)施本發(fā)明。描述示例被認(rèn)為僅在所有方面進(jìn)行說明并且不是限制性的。因此，本發(fā)明的范圍由權(quán)利要求書指示，而非前面描述。所有在權(quán)利要求等同的方法與范圍中的變化都屬于本發(fā)明的涵蓋范圍。