色度子采樣格式的塊分割方法和裝置制造方法
【專利摘要】本發(fā)明揭示一種用于具有YUV422或YUV444格式視頻的視頻數(shù)據(jù)處理方法和裝置。在一個(gè)實(shí)施方式中，對(duì)于具有YUV422格式的2Nx2N亮度編碼單元，變換處理分割對(duì)應(yīng)于2Nx2N的亮度編碼單元和Nx2N的色度編碼單元的殘差數(shù)據(jù)為正方形亮度和色度變換單元。通過對(duì)亮度編碼單元和色度編碼單元應(yīng)用預(yù)測(cè)處理，產(chǎn)生與亮度和色度編碼單元相關(guān)的殘差數(shù)據(jù)。變換處理不依賴于與預(yù)測(cè)處理相關(guān)的預(yù)測(cè)區(qū)塊尺寸和預(yù)測(cè)模式。在另一實(shí)施方式中，預(yù)測(cè)處理分割編碼單元為兩個(gè)預(yù)測(cè)區(qū)塊。應(yīng)用變換處理于對(duì)應(yīng)于色度編碼單元的色度殘差數(shù)據(jù)，以形成一個(gè)或多個(gè)色度變換單元，其中變換處理依賴于編碼的尺寸、預(yù)測(cè)區(qū)塊尺寸、或編碼單元尺寸和預(yù)測(cè)區(qū)塊尺寸。
【專利說明】色度子采樣格式的塊分割方法和裝置
[0001] 交叉引用
[0002] 本發(fā)明主張?jiān)?012年04月12日提出的申請(qǐng)?zhí)枮?1/623, 162、標(biāo)題為"A new big CU coding method for video coding in HEVC"的美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)；主 張?jiān)?012年09月26日提出的申請(qǐng)?zhí)枮?1/705, 829、標(biāo)題為"Coding, prediction and transform block structure for video compression in YUV422format，'的美國(guó)臨時(shí) 專利申請(qǐng)的優(yōu)先權(quán)；以及主張?jiān)?012年10月31日提出的申請(qǐng)?zhí)枮?1/720, 414、標(biāo)題為 "Coding, prediction and transform block structure for YUV 422format，'的美國(guó)臨時(shí) 專利申請(qǐng)的優(yōu)先權(quán)。因此在全文中合并參考這些美國(guó)臨時(shí)專利申請(qǐng)案。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明是有關(guān)于視頻編碼系統(tǒng)，特別是有關(guān)于一種具有YUV422/444子采樣 (subsampling)格式的視頻編碼區(qū)塊、預(yù)測(cè)區(qū)塊和變換區(qū)塊的塊結(jié)構(gòu)的方法和裝置。

【背景技術(shù)】
[0004] 運(yùn)動(dòng)補(bǔ)償是一種在視頻序列中采用時(shí)間冗余（temporal redundancy)的有效的 中貞間編碼（inter-frame coding)技術(shù)。運(yùn)動(dòng)補(bǔ)償巾貞間編碼已廣泛用于各種國(guó)際視頻編碼 標(biāo)準(zhǔn)。在各種編碼標(biāo)準(zhǔn)中采用的運(yùn)動(dòng)估計(jì)通常為基于區(qū)塊的技術(shù)，在此技術(shù)中確定每一個(gè) 宏塊（macroblock)或相似區(qū)塊配置的運(yùn)動(dòng)信息（例如，編碼模式和運(yùn)動(dòng)向量）。此外，也 自適應(yīng)地應(yīng)用巾貞內(nèi)編碼（intra-coding)，在巾貞內(nèi)編碼中處理圖片不需要參考其他圖片。中貞 間預(yù)測(cè)（inter-predicted)或巾貞內(nèi)預(yù)測(cè)（intra-predicted)殘差通常通過變換、量化或熵 編碼等進(jìn)一步處理來產(chǎn)生已壓縮的視頻比特流。在編碼過程中，提出了編碼偽影（coding artifact)，特別是在量化過程中。為了減輕編碼偽影，對(duì)重建的視頻應(yīng)用額外的處理過程 以提高在新的編碼系統(tǒng)中的圖片質(zhì)量。通常在環(huán)內(nèi)操作（in-loop operation)中配置額外 的處理過程，以使得編碼器和解碼器得到相同的參考圖片以獲得改善的系統(tǒng)性能。
[0005] 圖1A為基于使用自適應(yīng)幀間/幀內(nèi)預(yù)測(cè)的高效率視頻編碼（High Efficiency Video Coding, HEVC)的視頻編碼器的系統(tǒng)方框圖。對(duì)于巾貞間預(yù)測(cè)來說，運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ) 償112用于基于自其他圖片的視頻數(shù)據(jù)來提供預(yù)測(cè)數(shù)據(jù)。開關(guān)114選擇幀內(nèi)預(yù)測(cè)110的數(shù) 據(jù)或幀間預(yù)測(cè)的數(shù)據(jù)并且已選擇的預(yù)測(cè)數(shù)據(jù)被提供至加法器116,以形成預(yù)測(cè)誤差，也稱為 殘差。然后，通過變換118以及緊接著的量化120來處理預(yù)測(cè)誤差。然后通過熵編碼器122 來編碼已變換和已量化的殘差，以形成對(duì)應(yīng)于已壓縮視頻數(shù)據(jù)的視頻比特流。然后，將與變 換系數(shù)相關(guān)的比特流和邊信息（side information)(例如，運(yùn)動(dòng)、模式以及與圖像區(qū)域相關(guān) 的其他信息）一起封裝。也可以熵編碼邊信息以降低需要的帶寬。如圖1A所示，相應(yīng)地， 與邊信息相關(guān)的數(shù)據(jù)被提供至熵編碼器122。當(dāng)使用幀內(nèi)預(yù)測(cè)模式時(shí)，在編碼器端也要重 建參考圖片。因此，通過逆量化124和逆變換126來處理已變換和已量化的殘差，以恢復(fù)殘 差。然后，將殘差在重建128處與預(yù)測(cè)數(shù)據(jù)136相加，以重建視頻數(shù)據(jù)。已重建的視頻數(shù)據(jù) 可以存儲(chǔ)于參考圖片緩沖器134中并用于其他幀的預(yù)測(cè)。
[0006] 如圖1A所示，輸入視頻數(shù)據(jù)在編碼系統(tǒng)中接受一系列的處理。由于這一系列的處 理，來自重建128的重建視頻數(shù)據(jù)可以遭受各種損傷（impairments)。相應(yīng)地，為改善視頻 質(zhì)量，在將已重建的視頻數(shù)據(jù)存儲(chǔ)于參考圖片緩沖器134之前，將各種環(huán)內(nèi)處理應(yīng)用于已 重建的視頻數(shù)據(jù)。在開發(fā)的HEVC標(biāo)準(zhǔn)中，已開發(fā)解區(qū)塊濾波器130和采樣自適應(yīng)偏移131， 來提高圖片質(zhì)量。環(huán)內(nèi)濾波器信息可以包含于比特流中，以使得解碼器可以適當(dāng)?shù)鼗謴?fù)需 要的信息。因此，來自采樣自適應(yīng)偏移的環(huán)內(nèi)濾波器信息被提供至熵編碼器122,以便納入 比特流中。在圖1A中，首先對(duì)重建的視頻應(yīng)用解區(qū)塊濾波器130,然后對(duì)已解區(qū)塊濾波處理 的視頻應(yīng)用采樣自適應(yīng)偏移131。
[0007] 與圖1A中編碼器對(duì)應(yīng)的解碼器如圖1B所示。通過視頻解碼器142解碼視頻比特 流，來恢復(fù)已變換和已量化的殘差、采樣自適應(yīng)偏移/ALF信息和其他系統(tǒng)信息。在解碼器 側(cè)，僅執(zhí)行運(yùn)動(dòng)補(bǔ)償113,而不是運(yùn)動(dòng)估計(jì)/運(yùn)動(dòng)補(bǔ)償。解碼處理相似于在編碼器側(cè)的重建 環(huán)（reconstruction loop)。已重建的已變換和已量化的殘差、米樣自適應(yīng)偏移/ALF信息 和其他系統(tǒng)信息用于重建視頻數(shù)據(jù)。通過解區(qū)塊濾波器130和采樣自適應(yīng)偏移131來處理 已重建的視頻，以產(chǎn)生最終提高的已解碼視頻。
[0008] 在HEVC系統(tǒng)中，通過靈活的區(qū)塊（flexible block)(稱為編碼單元（coding unit，⑶)）代替H. 264/AVC的固定尺寸的宏塊。在編碼單元中的像素共享相同的編碼參數(shù)， 以改善編碼效率。編碼單元可以開始于一個(gè)最大編碼單元（largest⑶，IXU，也稱為在HEVC 中的編碼樹單元（coded tree unit, CTU))。然后利用四叉樹（quadtree)來分割初始編碼 單元。通常，編碼系統(tǒng)利用率失真優(yōu)化（Rate-Distortion Optimization, RD0)來確定編碼 單元是否被進(jìn)一步分割。在通過四叉樹分割編碼單元之后，除非編碼單元達(dá)到預(yù)先指定的 最小編碼單元尺寸，可以利用四叉樹進(jìn)一步分割由此產(chǎn)生的編碼單元。相應(yīng)地，圖片的四叉 樹分割的集合形成可變尺寸編碼單元，并且該集合組成分割地圖（partition map)以用于 處理輸入圖像的編碼器。分割地圖被傳送至解碼器，以使得可以執(zhí)行相應(yīng)地解碼處理。在 HEVC中，亮度分量（S卩，Y)的CTU尺寸可以達(dá)到64x64。編碼單元尺寸通常稱為2Nx2N。當(dāng) 通過四叉樹分割編碼單元時(shí)，將產(chǎn)生四個(gè)NxN編碼單元。
[0009] 除編碼單元的概念之外，預(yù)測(cè)單元的概念也被引入HEVC中。一旦完成編碼單元 層次樹（hierarchical tree)的分割，根據(jù)預(yù)測(cè)類型和預(yù)測(cè)單元分割，每一個(gè)葉編碼單元 (leaf CU)被進(jìn)一步分割為預(yù)測(cè)單元。在HEVC中幀間/幀內(nèi)預(yù)測(cè)處理應(yīng)用于預(yù)測(cè)單元。對(duì) 于每一個(gè)2Nx2N葉編碼單元，選擇分割尺寸來分割編碼單元。當(dāng)選擇幀間模式時(shí)，2Nx2N預(yù) 測(cè)單元可以被分割為2Nx2N、2NxN、或Nx2N的預(yù)測(cè)單元。當(dāng)2Nx2N預(yù)測(cè)單元為幀內(nèi)編碼時(shí)， 預(yù)測(cè)單元可以被分割為一個(gè)2Nx2N或四個(gè)NxN。
[0010] 在HEVC標(biāo)準(zhǔn)中，完成編碼配置（coding profile)，也稱為主配置（Main Profile)， 并且主配置僅支持YUV420色度子米樣（chroma subsampling)格式中的彩色視頻（color video)。彩色視頻包括多個(gè)顏色分量，并且亮度和色度形式的顏色分量通常用于視頻編碼 領(lǐng)域中。在各種顏色分量格式中，YUV或YCrCb通常用于視頻編碼。YUV色度子采樣格式對(duì) 亮度分量（即，Y)應(yīng)用全采樣以及對(duì)色度分量（即，Cr或Cb)應(yīng)用2:1水平子采樣和2:1 垂直子采樣。圖2為與YUV420、YUV422和YUV444色度子采樣格式相關(guān)的采樣格式的示例。 如區(qū)塊210所示的顏色采樣區(qū)域（4像素 x2行）用于YUV420色度子采樣。對(duì)應(yīng)的Y分量 的全采樣如區(qū)塊211所示。對(duì)于每一個(gè)色度分量（S卩，Cr或Cb)，僅形成兩個(gè)采樣，如區(qū)塊 212所示的4x2顏色像素區(qū)域中的陰影區(qū)域1和陰影區(qū)域2所示。盡管YUV420格式廣泛用 于一般消費(fèi)者應(yīng)用，但是在一些維護(hù)消費(fèi)者權(quán)益（pro-consumer)和專業(yè)的應(yīng)用中，期望較 高的顏色保真度（fidelity)并使用YUV422和YUV444格式。對(duì)于區(qū)塊220所示的4x2顏色 像素區(qū)域的YUV422色度子采樣，Y分量221的采樣與之前描述的YUV420色度子采樣的對(duì)應(yīng) 的Y分量的采樣相同。然而，對(duì)于色度分量，子采樣形成2x2子采樣模式（pattern) 222。對(duì) 于區(qū)塊230所示的4x2顏色像素區(qū)域的YUV444色度子采樣，Y分量231的采樣與之前的采 樣相同。然而，對(duì)于色度分量，利用全采樣（即，1:1子采樣）來形成4x2子采樣模式232。 色度分量的采樣位置可以與亮度采樣對(duì)齊。然而，色度分量的采樣位置也可以與亮度采樣 水平地、垂直地、或水平和垂直地存在偏移。
[0011] 在HEVC主配置中，四叉樹分割應(yīng)用于變換區(qū)塊，其中將變換過程應(yīng)用于每一個(gè)編 碼單元并將編碼單元尺寸作為初始變換單元尺寸。每一個(gè)變換單元可以通過四叉樹分割。 圖3為變換單元的四叉樹分割的示意圖。區(qū)塊310對(duì)應(yīng)于最大編碼樹區(qū)塊的四叉樹分割， 其中每一個(gè)正方形對(duì)應(yīng)于一個(gè)葉編碼單元。變換處理應(yīng)用于與通過粗線區(qū)塊312指示的編 碼單元相關(guān)的殘差。CTB可以為64x64、32x32、16xl6或8x8。初始變換單元320對(duì)應(yīng)于選 擇的編碼單元（即，區(qū)塊312)的殘差。初始變換單元320通過四叉樹來分割，以形成下一 級(jí)的變換單元330。變換單元330可以通過四叉樹進(jìn)一步分割，以形成變換單元340。HEVC 的變換尺寸可以為32x32、16xl6、8x8或4x4。當(dāng)使用YUV422或YUV444格式時(shí)，需要用于 所有這些色度子采樣格式的視頻編碼工具和方案。舉例來說，H. 264/MPEG-4高級(jí)視頻編碼 標(biāo)準(zhǔn)包括命名為保真度范圍擴(kuò)展（Fidelity Range Extensions, FRExt)的配置，該配置可 以通過支持增加像素比特深度和較高的分辨率顏色格式（例如，YUV422和YUV444色度子 采樣）而具有較高質(zhì)量的視頻編碼。因此，需要開發(fā)編碼工具，例如，用于與HEVC編碼系統(tǒng) 的YUV422和YUV444色度子采樣格式相關(guān)的編碼單元、預(yù)測(cè)單元和變換單元的結(jié)構(gòu)和分割 方法。


【發(fā)明內(nèi)容】

[0012] 本發(fā)明揭示一種在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法和裝置。其中，視頻數(shù)據(jù) 使用YUV422或YUV444色度子采樣模式。在本發(fā)明的一個(gè)實(shí)施方式中，對(duì)于YUV422視頻數(shù) 據(jù)的2Nx2N的亮度編碼單元和Nx2N的色度編碼單元，變換處理分割對(duì)應(yīng)于2Nx2N的亮度 編碼單元和Nx2N的色度編碼單元的殘差數(shù)據(jù)為正方形亮度變換單元和正方形色度變換單 元。通過對(duì)亮度編碼單元和色度編碼單元應(yīng)用預(yù)測(cè)處理，產(chǎn)生與亮度和色度編碼單元相關(guān) 的殘差數(shù)據(jù)。變換處理不依賴于與預(yù)測(cè)處理相關(guān)的預(yù)測(cè)區(qū)塊尺寸和預(yù)測(cè)模式。對(duì)于2Nx2N 亮度編碼單元，〇級(jí)亮度變換單元尺寸為2Nx2N以及色度變換單元尺寸為NxN。0級(jí)2Nx2N 亮度變換單元被分割為四個(gè)1級(jí)NxN亮度變換單元。1級(jí)NxN亮度變換單元可以進(jìn)一步被 分割為四個(gè)2級(jí)（N/2)x(N/2)亮度變換單元。0級(jí)NxN色度變換單元可與1級(jí)色度變換單 元相同（即，尺寸為NxN)。1級(jí)NxN色度編碼單元可被進(jìn)一步分割為四個(gè)2級(jí)（N/2)x(N/2) 色度變換單元?？蛇x地，〇級(jí)NxN色度變換單元可被進(jìn)一步分割為四個(gè)1級(jí)（N/2)x(N/2)色 度變換單元。1級(jí)（N/2)x(N/2)色度變換單元可被進(jìn)一步分割為四個(gè)2級(jí)（N/4)x(N/4)色 度變換單元。
[0013] 在另一個(gè)實(shí)施方式中，對(duì)于YUV422視頻數(shù)據(jù)的2Nx2N的亮度編碼單元和Nx2N的 色度編碼單元，預(yù)測(cè)處理垂直或水平地分割編碼單元為兩個(gè)區(qū)塊（即，兩個(gè)預(yù)測(cè)單元）。變 換處理分割對(duì)應(yīng)于亮度預(yù)測(cè)單元的殘差數(shù)據(jù)為一個(gè)或多個(gè)亮度變換單元，以及變換處理分 割對(duì)應(yīng)于色度預(yù)測(cè)單元的殘差數(shù)據(jù)為一個(gè)或多個(gè)色度變換單元。通過對(duì)亮度編碼單元和色 度編碼單元應(yīng)用預(yù)測(cè)處理，產(chǎn)生與亮度編碼單元和色度編碼單元相關(guān)的殘差數(shù)據(jù)。變換處 理依賴于編碼單元尺寸和與預(yù)測(cè)處理相關(guān)的預(yù)測(cè)區(qū)塊尺寸，或依賴于編碼單元尺寸或與預(yù) 測(cè)處理相關(guān)的預(yù)測(cè)模式，其中編碼單元尺寸與亮度編碼單元、色度編碼單元、或亮度編碼單 元和色度編碼單元相關(guān)。對(duì)于2Nx2N亮度編碼單元，當(dāng)與亮度編碼單元的預(yù)測(cè)處理相關(guān)的 預(yù)測(cè)分割模式對(duì)應(yīng)于2NxN、2NxnU、2NxnD、Nx2N、nLx2N或nRx2N時(shí)，變換處理強(qiáng)制0級(jí)亮度 變換單元分割為更小的1級(jí)亮度變換單元。其中，通過利用預(yù)測(cè)分割模式的亮度編碼單元 的預(yù)測(cè)處理，產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的0級(jí)亮度變換單元。當(dāng)亮度編碼單元的預(yù)測(cè)分割 模式對(duì)應(yīng)于2NxN、2NxnU或2NxnD時(shí)，1級(jí)亮度變換單元尺寸為2Nx (N/2)以及1級(jí)色度變換 單元尺寸為NxN。1級(jí)亮度變換單元可以被分割為四個(gè)具有尺寸為Nx(N/4)的2級(jí)亮度變 換單元，以及1級(jí)色度變換單元被分割為四個(gè)具有尺寸為（N/2)x(N/2)或Nx(N/4)的2級(jí) 色度變換單元。當(dāng)亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于Nx2N、nLx2N或nRx2N時(shí)，1級(jí)亮度 變換單元尺寸為2Nx(N/2)以及1級(jí)色度變換單元尺寸為NxN。1級(jí)亮度變換單元可被進(jìn)一 步分割為具有尺寸為（N/4)xN的2級(jí)亮度變換單元，以及1級(jí)色度變換單元可被進(jìn)一步分 割為具有尺寸為（N/4)xN的2級(jí)色度變換單元。
[0014] 在又一實(shí)施方式中，當(dāng)亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于2NxnU或2NxnD時(shí)，變 換處理強(qiáng)制0級(jí)亮度變換單元分割為具有尺寸為2Nx(N/2)的1級(jí)亮度變換單元，并強(qiáng)制0 級(jí)色度變換單元分割為具有尺寸為Nx(N/4)的1級(jí)色度變換單元。其中，通過利用預(yù)測(cè)分 割模式的亮度編碼單元的預(yù)測(cè)處理，產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的〇級(jí)亮度變換單元。1級(jí)亮 度變換單元可被分割為四個(gè)具有尺寸為Nx(N/4)的2級(jí)亮度變換單元，以及1級(jí)色度變換 單元可以被分割為四個(gè)具有尺寸為（N/2)x(N/8)或（N/4)x(N/4)的2級(jí)色度變換單元。當(dāng) 亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于nLx2N或nRx2N時(shí)，變換處理強(qiáng)制0級(jí)亮度變換單元 分割為具有尺寸為（N/2) x2N的1級(jí)亮度變換單元，并強(qiáng)制0級(jí)色度變換單元分割為具有尺 寸為（N/4)xN的1級(jí)色度變換單元。其中，通過利用預(yù)測(cè)分割模式的亮度編碼單元的預(yù)測(cè) 處理，來產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的0級(jí)亮度變換單元。1級(jí)亮度變換單元被分割為具有 尺寸為Nx(N/4)的2級(jí)亮度變換單元，以及1級(jí)色度變換單元被分割為具有尺寸為（N/2) x(N/8)或（N/4)x(N/4)的2級(jí)色度變換單元。
[0015] 用于指示是否分割亮度變換單元的第一標(biāo)志和用于指示是否分割色度變換單元 的第二標(biāo)志可以包括于已壓縮的視頻數(shù)據(jù)中。其中，獨(dú)立地確定第一標(biāo)志和第二標(biāo)志。在 另一實(shí)施方式中，一個(gè)標(biāo)志用于指示是否分割亮度和色度變換單元，該亮度和色度變換單 元覆蓋亮度和色度平面（plane)投影的相同區(qū)域。

【專利附圖】

【附圖說明】
[0016] 圖1A為與HEVC編碼系統(tǒng)相關(guān)的自適應(yīng)幀間/幀內(nèi)視頻編碼器的示意圖。
[0017] 圖1B為與HEVC編碼系統(tǒng)相關(guān)的自適應(yīng)幀間/幀內(nèi)視頻解碼器的示意圖。
[0018] 圖2為用于YUV420、YUV422和YUV444色度子采樣格式的采樣模式的示意圖。
[0019] 圖3為編碼單元的四叉樹分割的示意圖，其中通過利用殘差四叉樹的變換過程處 理與一個(gè)葉編碼單元相關(guān)的殘差數(shù)據(jù)。
[0020] 圖4為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割和變換過 程的示意圖，其中所有變換單元為正方形。
[0021] 圖5為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割和變換過 程的示意圖，其中所有變換單元為正方形。
[0022] 圖6為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割、預(yù)測(cè)過程 和變換過程的示意圖，其中編碼單元被垂直分割為兩個(gè)相等的預(yù)測(cè)單元。
[0023] 圖7為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割、預(yù)測(cè)過程 和變換過程的示意圖，其中編碼單元被水平分割為兩個(gè)相等的預(yù)測(cè)單元。
[0024] 圖8為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割、預(yù)測(cè)過程 和變換過程的示意圖，其中編碼單元被垂直分割為兩個(gè)不對(duì)稱的預(yù)測(cè)單元。
[0025] 圖9為根據(jù)本發(fā)明實(shí)施方式的YUV422色度子采樣格式的編碼單元分割、預(yù)測(cè)過程 和變換過程的示意圖，其中編碼單元被水平分割為兩個(gè)不對(duì)稱的預(yù)測(cè)單元。
[0026] 圖10為包括本發(fā)明實(shí)施方式的編碼單元分割、預(yù)測(cè)過程和變換過程的視頻編碼 系統(tǒng)的示范性流程圖。
[0027] 圖11為包括本發(fā)明實(shí)施方式的編碼單元分割、預(yù)測(cè)過程和變換過程的視頻編碼 系統(tǒng)的另一示范性流程圖。

【具體實(shí)施方式】
[0028] 在HEVC中，引入編碼單元、預(yù)測(cè)單元以及變換單元以改善壓縮效率。在HEVC中， 變換處理依賴于編碼單元尺寸。YUV420格式的編碼單元-變換單元之間的關(guān)系如表1所 示。在HEVC中，允許最大變換的單元尺寸為32x32。因此，當(dāng)編碼單元尺寸為64x64時(shí)，不 存在〇級(jí)變換單元。另一方面，允許的最小變換單元尺寸為4x4。因此，不存在4x4色度編 碼單元的2級(jí)變換單元。
[0029] 表 1
[0030]

【權(quán)利要求】
1. 一種在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，該視頻數(shù)據(jù)使用YUV422 或YUV444色度子采樣模式，該在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法包括： 接收與具有尺寸為2Nx2N的亮度編碼單元相關(guān)的視頻數(shù)據(jù)，其中N為正整數(shù)； 接收與具有尺寸為Nx2N或2Nx2N尺寸的色度編碼單元相關(guān)的視頻數(shù)據(jù)，其中該色度編 碼單元對(duì)應(yīng)于與該亮度編碼單元相關(guān)的相同像素區(qū)域； 通過對(duì)與該亮度編碼單元相關(guān)的視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理，來產(chǎn)生對(duì)應(yīng)于該亮度編碼單 元的亮度殘差數(shù)據(jù)； 通過對(duì)與該色度編碼單元相關(guān)的視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理，來產(chǎn)生對(duì)應(yīng)于該色度編碼單 元的色度殘差數(shù)據(jù)； 對(duì)該亮度殘差數(shù)據(jù)應(yīng)用變換處理，以形成一個(gè)或多個(gè)亮度變換單元，該亮度殘差數(shù)據(jù) 對(duì)應(yīng)于該亮度編碼單元； 對(duì)該色度殘差數(shù)據(jù)應(yīng)用變換處理，以形成一個(gè)或多個(gè)色度變換單元，該色度殘差數(shù)據(jù) 對(duì)應(yīng)于該色度編碼單元，其中該變換處理不依賴于與該預(yù)測(cè)處理相關(guān)的預(yù)測(cè)區(qū)塊尺寸或預(yù) 測(cè)模式，并限制該色度變換單元的形狀為正方形； 通過應(yīng)用兩維變換至對(duì)應(yīng)于每一個(gè)亮度變換單元的亮度殘差數(shù)據(jù)，以產(chǎn)生每一個(gè)亮度 變換單元的亮度變換系數(shù)；以及 通過應(yīng)用兩維變換至對(duì)應(yīng)于每一個(gè)色度變換單元的色度殘差數(shù)據(jù)，以產(chǎn)生每一個(gè)色度 變換單元的色度變換系數(shù)。
2. 根據(jù)權(quán)利要求1所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，使 用YUV444色度子采樣模式的該視頻數(shù)據(jù)的該色度編碼單元的變換處理形成具有尺寸為 2Nx2N的0級(jí)色度變換單元；其中利用四叉樹將在當(dāng)前級(jí)的每一個(gè)色度編碼單元分割為下 一級(jí)的4個(gè)更小的正方形色度變換單元。
3. 根據(jù)權(quán)利要求1所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，該色 度變換單元尺寸依賴于該亮度編碼單元尺寸、該色度編碼單元尺寸、或該亮度編碼單元尺 寸和該色度編碼單元尺寸。
4. 根據(jù)權(quán)利要求1所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，0級(jí)亮 度變換單元尺寸為2Nx2N，以及0級(jí)色度變換單元尺寸為NxN。
5. 根據(jù)權(quán)利要求4所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，1級(jí)亮 度變換單元尺寸為NxN，以及1級(jí)色度變換單元尺寸為NxN或（N/2)x(N/2)。
6. 根據(jù)權(quán)利要求5所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，利用 四叉樹將該1級(jí)亮度變換單元或該1級(jí)色度變換單元分割為四個(gè)更小的正方形變換單元， 直到達(dá)到預(yù)定的最小變換單元尺寸為止。
7. 根據(jù)權(quán)利要求6所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，該預(yù) 定的最小變換單元尺寸為4x4。
8. 根據(jù)權(quán)利要求1所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，指示 是否分割該亮度變換單元和該色度變換單元的標(biāo)志包括于已壓縮的視頻數(shù)據(jù)中。
9. 一種在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，該視頻數(shù)據(jù)使用YUV422 色度子采樣模式，該在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法包括： 接收與具有尺寸為2Nx2N的亮度編碼單元相關(guān)的視頻數(shù)據(jù)，其中N為正整數(shù)； 接收與具有尺寸為Nx2N尺寸的色度編碼單元相關(guān)的視頻數(shù)據(jù)，其中該色度編碼單元 對(duì)應(yīng)于與該亮度編碼單元相關(guān)的相同像素區(qū)域； 通過對(duì)與該亮度編碼單元相關(guān)的該視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理，來產(chǎn)生對(duì)應(yīng)于該亮度編碼 單元的亮度殘差數(shù)據(jù)； 通過對(duì)與該色度編碼單元相關(guān)的該視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理，來產(chǎn)生對(duì)應(yīng)于該色度編碼 單元的色度殘差數(shù)據(jù)； 對(duì)該亮度殘差數(shù)據(jù)應(yīng)用變換處理，以形成一個(gè)或多個(gè)亮度變換單元，該亮度殘差數(shù)據(jù) 對(duì)應(yīng)于該亮度編碼單元； 對(duì)該色度殘差數(shù)據(jù)應(yīng)用變換處理，以形成一個(gè)或多個(gè)色度變換單元，該色度殘差數(shù)據(jù) 對(duì)應(yīng)于該色度編碼單元，其中該變換處理依賴于編碼單元尺寸和與該預(yù)測(cè)處理相關(guān)的預(yù)測(cè) 區(qū)塊尺寸、或依賴于編碼單元尺寸和與該預(yù)測(cè)處理相關(guān)的預(yù)測(cè)模式，其中該編碼單元尺寸 于該亮度編碼單元、該色度編碼單元、或該亮度編碼單元和該色度編碼單元相關(guān)； 通過應(yīng)用第一兩維變換至對(duì)應(yīng)于每一個(gè)亮度變換單元的亮度殘差數(shù)據(jù)，以產(chǎn)生每一個(gè) 亮度變換單元的亮度變換系數(shù)；以及 通過應(yīng)用第二兩維變換至對(duì)應(yīng)于每一個(gè)色度變換單元的色度殘差數(shù)據(jù)，以產(chǎn)生每一個(gè) 色度變換單元的色度變換系數(shù)。
10. 根據(jù)權(quán)利要求9所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，對(duì)于 通過預(yù)測(cè)處理產(chǎn)生的正方形色度預(yù)測(cè)單元，對(duì)該色度殘差數(shù)據(jù)應(yīng)用變換處理，以產(chǎn)生一個(gè) 或多個(gè)第一正方形或矩形色度變換單元，該色度殘差數(shù)據(jù)對(duì)應(yīng)于該正方形色度預(yù)測(cè)單元； 以及對(duì)于通過預(yù)測(cè)處理產(chǎn)生的矩形色度預(yù)測(cè)單元，對(duì)該色度殘差數(shù)據(jù)應(yīng)用該變換處理，以 產(chǎn)生一個(gè)或多個(gè)第二正方形或矩形色度變換單元，該色度殘差數(shù)據(jù)對(duì)應(yīng)于該矩形色度預(yù)測(cè) 單元。
11. 根據(jù)權(quán)利要求9所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，當(dāng)與 該亮度編碼單元的預(yù)測(cè)處理相關(guān)的預(yù)測(cè)分割模式對(duì)應(yīng)于2NxN、2NxnU、2NxnD、Nx2N、nLx2N 或nRx2N時(shí)，該變換處理強(qiáng)制0級(jí)亮度變換單元分割為更小的1級(jí)亮度變換單元；其中，通 過利用該預(yù)測(cè)分割模式的該亮度編碼單元的該預(yù)測(cè)處理，產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的〇級(jí) 亮度變換單元。
12. 根據(jù)權(quán)利要求11所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，當(dāng) 該亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于2NxN、2NxnU或2NxnD時(shí)，1級(jí)亮度變換單元尺寸為 2Nx(N/2)，以及1級(jí)色度變換單元尺寸為NxN。
13. 根據(jù)權(quán)利要求12所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，該1 級(jí)亮度變換單元被分割為具有尺寸為Nx(N/4)的四個(gè)2級(jí)亮度變換單元，以及該1級(jí)色度 變換單元被分割為具有尺寸為（N/2)x(N/2)或Nx(N/4)的四個(gè)2級(jí)色度變換單元。
14. 根據(jù)權(quán)利要求11所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，當(dāng) 該亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于Nx2N、nLx2N或nRx2N時(shí)，1級(jí)亮度變換單元尺寸為 2Nx(N/2)，以及1級(jí)色度變換單元尺寸為NxN。
15. 根據(jù)權(quán)利要求14所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，1級(jí) 亮度變換單元被分割為四個(gè)具有尺寸為（N/4)xN的2級(jí)亮度變換單元，以及1級(jí)色度變換 單元被分割為四個(gè)具有尺寸為（N/4)xN的2級(jí)色度變換單元。
16. 根據(jù)權(quán)利要求9所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，當(dāng)該 亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于2NxnU或2NxnD時(shí)，該變換處理強(qiáng)制0級(jí)亮度變換單 元分割為具有尺寸為2Nx (N/2)的1級(jí)亮度變換單元，并強(qiáng)制0級(jí)色度變換單元分割為具有 尺寸為Nx(N/4)的1級(jí)色度變換單元；其中，通過利用該預(yù)測(cè)分割模式的該亮度編碼單元的 該預(yù)測(cè)處理，產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的〇級(jí)亮度變換單元。
17. 根據(jù)權(quán)利要求16所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，1級(jí) 亮度變換單元被分割為四個(gè)具有尺寸為Nx(N/4)的2級(jí)亮度變換單元，以及1級(jí)色度變換 單元被分割為四個(gè)具有尺寸為（N/2)x(N/8)或（N/4)x(N/4)的2級(jí)色度變換單元。
18. 根據(jù)權(quán)利要求9所述的在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的方法，其特征在于，當(dāng)該 亮度編碼單元的預(yù)測(cè)分割模式對(duì)應(yīng)于nLx2N或nRx2N時(shí)，該變換處理強(qiáng)制0級(jí)亮度變換單 元分割為具有尺寸為（N/2) x2N的1級(jí)亮度變換單元，并強(qiáng)制0級(jí)色度變換單元分割為具有 尺寸為（N/4) xN的1級(jí)色度變換單元；其中，通過利用該預(yù)測(cè)分割模式的該亮度編碼單元的 該預(yù)測(cè)處理，產(chǎn)生與亮度預(yù)測(cè)單元相關(guān)的〇級(jí)亮度變換單元。
19. 一種在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的裝置，其特征在于，該視頻數(shù)據(jù)使用 YUV422或YUV444色度子采樣模式，該在視頻編碼系統(tǒng)中處理視頻數(shù)據(jù)的裝置包括： 用于接收與具有尺寸為2Nx2N的亮度編碼單元相關(guān)的視頻數(shù)據(jù)的裝置，其中N為正整 數(shù)； 用于接收與具有尺寸為Nx2N或2Nx2N尺寸的色度編碼單元相關(guān)的視頻數(shù)據(jù)的裝置，其 中該色度編碼單元對(duì)應(yīng)于與該亮度編碼單元相關(guān)的相同像素區(qū)域； 用于通過對(duì)與該亮度編碼單元相關(guān)的該視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理來產(chǎn)生對(duì)應(yīng)于該亮度 編碼單元的亮度殘差數(shù)據(jù)的裝置； 用于通過對(duì)與該色度編碼單元相關(guān)的該視頻數(shù)據(jù)應(yīng)用預(yù)測(cè)處理來產(chǎn)生對(duì)應(yīng)于該色度 編碼單元的色度殘差數(shù)據(jù)的裝置； 用于對(duì)該亮度殘差數(shù)據(jù)應(yīng)用變換處理以形成一個(gè)或多個(gè)亮度變換單元的裝置，該亮度 殘差數(shù)據(jù)對(duì)應(yīng)于該亮度編碼單元； 用于對(duì)該色度殘差數(shù)據(jù)應(yīng)用變換處理以形成一個(gè)或多個(gè)色度變換單元的裝置，該色度 殘差數(shù)據(jù)對(duì)應(yīng)于該色度編碼單元；其中該變換處理不依賴于與該預(yù)測(cè)處理相關(guān)的預(yù)測(cè)區(qū)塊 尺寸或預(yù)測(cè)模式，以及限制該色度變換單元的形狀為正方形； 用于通過應(yīng)用兩維變換至對(duì)應(yīng)于每一個(gè)亮度變換單元的亮度殘差數(shù)據(jù)以產(chǎn)生每一個(gè) 亮度變換單元的亮度變換系數(shù)的裝置； 用于通過應(yīng)用兩維變換至對(duì)應(yīng)于每一個(gè)色度變換單元的色度殘差數(shù)據(jù)以產(chǎn)生每一個(gè) 色度變換單元的色度變換系數(shù)的裝置。
20. -種在視頻解碼器中的視頻數(shù)據(jù)區(qū)塊的處理方法，其特征在于，該視頻數(shù)據(jù)使用 YUV422或YUV444色度子采樣模式，該在視頻解碼器中的視頻數(shù)據(jù)區(qū)塊的處理方法包括： 接收與具有尺寸為2Nx2N的亮度編碼單元相關(guān)的每一個(gè)亮度變換單元的亮度變換系 數(shù)，其中N為正整數(shù)； 接收與具有尺寸為Nx2N或2Nx2N的色度編碼單元相關(guān)的每一個(gè)色度變換單元的色度 變換系數(shù)，其中該色度編碼單元對(duì)應(yīng)于與該亮度編碼單元相關(guān)的相同像素區(qū)域； 通過對(duì)每一個(gè)亮度變換單元的該亮度變換系數(shù)應(yīng)用逆兩維變換，來產(chǎn)生每一個(gè)亮度變 換單元的亮度殘差區(qū)塊，其中所有的亮度變換單元為正方形； 通過對(duì)每一個(gè)色度變換單元的該色度變換系數(shù)應(yīng)用逆兩維變換，來產(chǎn)生每一個(gè)色度變 換單元的亮度殘差區(qū)塊，其中所有的色度變換單元為正方形； 自于該色度編碼單元相關(guān)的該色度變換單元的色度殘差區(qū)塊產(chǎn)生與該色度編碼單元 相關(guān)的色度殘差區(qū)塊；以及 對(duì)與該色度編碼單元相關(guān)的該色度殘差區(qū)塊應(yīng)用預(yù)測(cè)處理，以重建與該色度編碼單元 相關(guān)的該視頻數(shù)據(jù)；其中，與該色度編碼單元相關(guān)的該色度變換單元不依賴于與該預(yù)測(cè)處 理相關(guān)的預(yù)測(cè)區(qū)塊尺寸和預(yù)測(cè)模式。
【文檔編號(hào)】H04N19/176GK104221376SQ201380017887
【公開日】2014年12月17日 申請(qǐng)日期:2013年4月12日 優(yōu)先權(quán)日:2012年4月12日
【發(fā)明者】劉杉, 雷少民 申請(qǐng)人:聯(lián)發(fā)科技（新加坡）私人有限公司