對(duì)視頻進(jìn)行解碼的設(shè)備的制造方法
【專利摘要】一種對(duì)視頻進(jìn)行解碼的設(shè)備。一種使用可變分區(qū)的視頻編碼方法，其中，通過使用基于第一分區(qū)模式和分區(qū)等級(jí)確定的多個(gè)分區(qū)，以作為用于對(duì)畫面進(jìn)行編碼的數(shù)據(jù)單元的編碼單元為單位執(zhí)行預(yù)測(cè)編碼，以便從確定的多個(gè)分區(qū)中選擇將輸出編碼結(jié)果的分區(qū)，對(duì)表示選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息進(jìn)行編碼和輸出。所述第一分區(qū)模式表示作為用于對(duì)所述編碼單元執(zhí)行預(yù)測(cè)編碼的數(shù)據(jù)單元的分區(qū)的形狀和方向性，所述分區(qū)等級(jí)表示所述編碼單元被劃分為用于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的多個(gè)分區(qū)的程度。
【專利說明】
對(duì)視頻進(jìn)行解碼的設(shè)備
[00011 本申請(qǐng)是申請(qǐng)日為2011年1月14日、申請(qǐng)?zhí)枮?01180014086.8、題為"用于預(yù)測(cè)編 碼的使用可變分區(qū)的視頻編碼的方法和設(shè)備以及用于預(yù)測(cè)編碼的使用可變分區(qū)的視頻解 碼的方法和設(shè)備"的專利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及對(duì)視頻進(jìn)行編碼和解碼。
【背景技術(shù)】
[0003] 隨著用于再現(xiàn)和存儲(chǔ)高清晰度或高質(zhì)量視頻內(nèi)容的硬件的發(fā)展和供應(yīng)，對(duì)有效地 對(duì)高清晰度或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。在現(xiàn)有視 頻編解碼器中，基于具有預(yù)定尺寸的宏塊根據(jù)有限的編碼方法來對(duì)視頻進(jìn)行編碼。
[0004] 視頻壓縮使用空間相關(guān)性和時(shí)間相關(guān)性。一般來說，以特定尺寸數(shù)據(jù)的單元（例 如，16 X 16宏塊)執(zhí)行幀間預(yù)測(cè)。當(dāng)具有特定尺寸的宏塊被劃分為兩個(gè)、四個(gè)或更多個(gè)運(yùn)動(dòng) 區(qū)域并且隨后對(duì)每個(gè)運(yùn)動(dòng)區(qū)域執(zhí)行幀間預(yù)測(cè)時(shí)，會(huì)發(fā)生與原始圖像相關(guān)的恢復(fù)的圖像的失 真，并且會(huì)產(chǎn)生用于發(fā)送幀間預(yù)測(cè)的結(jié)果的開銷。當(dāng)用于幀間預(yù)測(cè)的運(yùn)動(dòng)區(qū)域被精細(xì)劃分 時(shí)，與原始圖像相關(guān)的恢復(fù)的圖像的失真減少，但開銷增加。因此，在幀間預(yù)測(cè)中，存在與原 始圖像相關(guān)的恢復(fù)的圖像的失真和用于發(fā)送幀間預(yù)測(cè)結(jié)果的開銷之間的權(quán)衡關(guān)系。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問題
[0006] 本發(fā)明提供使用用于預(yù)測(cè)編碼的具有可變形狀和可變尺寸的分區(qū)的視頻編碼和 視頻解碼。
[0007] 解決方案
[0008] 根據(jù)本發(fā)明的一方面，提供了一種使用可變分區(qū)的視頻編碼方法，實(shí)施視頻編碼 方法包括:通過使用基于第一分區(qū)模式和分區(qū)等級(jí)確定的分區(qū)，以作為用于對(duì)畫面進(jìn)行編 碼的數(shù)據(jù)單元的編碼單元為單位執(zhí)行預(yù)測(cè)編碼，以便從確定的分區(qū)中選擇將輸出編碼結(jié)果 的分區(qū)，其中，第一編碼模式表示作為用于對(duì)編碼單元執(zhí)行預(yù)測(cè)編碼的數(shù)據(jù)單元的分區(qū)的 形狀和方向性，并且分區(qū)等級(jí)表示編碼單元被劃分為用于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的分區(qū)的程度； 以及對(duì)表示選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息進(jìn)行編碼和輸出。
[0009] 有益效果
[0010] 不僅可確定具有與現(xiàn)有宏塊相同的尺寸的分區(qū)、具有現(xiàn)有宏塊的一半尺寸的分區(qū) 和具有現(xiàn)有宏塊的四分之一尺寸的分區(qū)，還可確定能夠預(yù)測(cè)紋理的方向性和位置的改變以 及詳細(xì)的運(yùn)動(dòng)的分區(qū)。由于可基于編碼單元的尺寸對(duì)允許分區(qū)的詳細(xì)運(yùn)動(dòng)被預(yù)測(cè)的分區(qū)的 形狀和方向進(jìn)行調(diào)整，因此可充分考慮圖像特性來執(zhí)行預(yù)測(cè)編碼和預(yù)測(cè)解碼。
【附圖說明】
[0011] 圖1是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼設(shè)備的框圖；
[0012] 圖2是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼設(shè)備的框圖；
[0013] 圖3是示出根據(jù)本發(fā)明的實(shí)施例的具有分層結(jié)構(gòu)的編碼單元的示圖；
[0014] 圖4示出根據(jù)本發(fā)明的實(shí)施例的由第一分區(qū)模式和分區(qū)等級(jí)定義的具有樹形結(jié)構(gòu) 的分區(qū)；
[0015] 圖5示出根據(jù)本發(fā)明的實(shí)施例的第一分區(qū)模式、分區(qū)等級(jí)和第二分區(qū)模式之間的 關(guān)系；
[0016] 圖6是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼方法的流程圖；
[0017] 圖7是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼方法的流程圖；
[0018] 圖8是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè)編碼的 可變分區(qū)的視頻編碼設(shè)備的框圖；
[0019] 圖9是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè)編碼的 可變分區(qū)的視頻解碼設(shè)備的框圖；
[0020] 圖10是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的概念的示圖；
[0021] 圖11是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器的框圖；
[0022] 圖12是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器的框圖；
[0023]圖13是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元和分區(qū)的示圖；
[0024] 圖14是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖；
[0025] 圖15是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息 的示圖；
[0026] 圖16是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元的示圖；
[0027] 圖17、圖18和圖19是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元、預(yù)測(cè)單元和變換 單元之間的關(guān)系的示圖；
[0028] 圖20是用于描述根據(jù)表2的編碼模式信息的編碼單元、預(yù)測(cè)單元或分區(qū)和變換單 兀之間的關(guān)系的不圖；
[0029] 圖21是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的可變分區(qū)的 視頻編碼方法的流程圖；
[0030] 圖22是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的可變分區(qū)的 視頻解碼方法的流程圖。
【具體實(shí)施方式】
[0031] 最佳模式
[0032] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼方法包括:通過使用基于第 一分區(qū)模式和分區(qū)等級(jí)確定的多個(gè)分區(qū)，以作為用于對(duì)畫面進(jìn)行編碼的數(shù)據(jù)單元的編碼單 元為單位執(zhí)行預(yù)測(cè)編碼，以便從確定的多個(gè)分區(qū)中選擇將輸出編碼結(jié)果的分區(qū)，其中，所述 第一分區(qū)模式表示作為用于對(duì)所述編碼單元執(zhí)行預(yù)測(cè)編碼的數(shù)據(jù)單元的分區(qū)的形狀和方 向性，所述分區(qū)等級(jí)表示所述編碼單元被劃分為用于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的多個(gè)分區(qū)的程度； 對(duì)表示選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息進(jìn)行編碼和輸出。
[0033] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼方法包括:從接收到的比特 流提取包括第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息，其中，所述提取以作為用于對(duì)畫面進(jìn)行 編碼的數(shù)據(jù)單元的編碼單元為單位被執(zhí)行，第一分區(qū)模式表示作為用于對(duì)編碼單元執(zhí)行預(yù) 測(cè)解碼的數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級(jí)表示編碼單元被劃分為用于詳細(xì)的運(yùn) 動(dòng)預(yù)測(cè)的多個(gè)分區(qū)的程度;通過使用基于提取的分區(qū)信息的第一分區(qū)模式和分區(qū)等級(jí)確定 的多個(gè)分區(qū)執(zhí)行預(yù)測(cè)解碼來恢復(fù)所述畫面。
[0034] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼設(shè)備包括:編碼器，通過使 用基于第一分區(qū)模式和分區(qū)等級(jí)確定的多個(gè)分區(qū)，以作為用于對(duì)畫面進(jìn)行編碼的數(shù)據(jù)單元 的編碼單元為單位執(zhí)行預(yù)測(cè)編碼，以便從確定的多個(gè)分區(qū)中選擇將輸出編碼結(jié)果的分區(qū)， 并對(duì)所述畫面進(jìn)行編碼以便確定編碼單元的編碼模式，其中，第一分區(qū)模式表示作為用于 對(duì)編碼單元執(zhí)行預(yù)測(cè)編碼的數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級(jí)表示編碼單元被劃 分為用于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的多個(gè)分區(qū)的程度;輸出單元，對(duì)表示選擇的分區(qū)的第一分區(qū)模 式和分區(qū)等級(jí)的分區(qū)信息、關(guān)于選擇的分區(qū)的預(yù)測(cè)模式的信息以及包括關(guān)于編碼模式的信 息的編碼信息進(jìn)行編碼和輸出，并對(duì)選擇的分區(qū)的運(yùn)動(dòng)矢量和殘差數(shù)據(jù)進(jìn)行編碼和輸出。
[0035] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼設(shè)備包括:提取器，從接收 到的比特流提取包括第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息、關(guān)于分區(qū)的預(yù)測(cè)模式的信息、 包括關(guān)于編碼模式的信息的編碼信息以及分區(qū)的運(yùn)動(dòng)矢量和殘差數(shù)據(jù)，其中，所述第一分 區(qū)模式表示作為用于對(duì)作為用于對(duì)畫面進(jìn)行編碼的數(shù)據(jù)單元的編碼單元執(zhí)行預(yù)測(cè)編碼的 數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級(jí)表示編碼單元被劃分為用于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的 多個(gè)分區(qū)的程度，其中，所述提取針對(duì)每個(gè)編碼單元被執(zhí)行;解碼器，根據(jù)基于提取的分區(qū) 信息的第一分區(qū)模式和分區(qū)等級(jí)確定的多個(gè)分區(qū)的預(yù)測(cè)模式，對(duì)所述確定的多個(gè)分區(qū)執(zhí)行 預(yù)測(cè)解碼，并根據(jù)編碼模式恢復(fù)所述畫面。
[0036] 本發(fā)明包括一種記錄有用于執(zhí)行所述視頻編碼方法的程序的計(jì)算機(jī)可讀記錄介 質(zhì)。
[0037] 本發(fā)明包括一種記錄有用于執(zhí)行所述視頻解碼方法的程序的計(jì)算機(jī)可讀記錄介 質(zhì)。
[0038]本發(fā)明的模式
[0039] 以下，"圖像"可表示視頻的靜止圖像或運(yùn)動(dòng)圖像（即，視頻本身）。以下，"數(shù)據(jù)單 元"可表示構(gòu)成視頻的多份數(shù)據(jù)中落入預(yù)定范圍之內(nèi)的多份數(shù)據(jù)的集。
[0040] 現(xiàn)將參照?qǐng)D1至圖7描述根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測(cè)編碼的可變分區(qū)的 視頻的編碼和解碼。稍后將參照?qǐng)D8至圖22描述根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形 結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè)編碼的可變分區(qū)的視頻的編碼和解碼。
[0041] 圖1是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻編碼設(shè)備10的 框圖。
[0042] 參照?qǐng)D1，使用可變分區(qū)的視頻編碼設(shè)備10包括編碼器11和輸出單元12。為便于解 釋，以下使用可變分區(qū)的視頻編碼設(shè)備10將被簡(jiǎn)稱為視頻編碼設(shè)備10。
[0043] 視頻編碼設(shè)備10接收視頻的畫面序列，通過對(duì)所述畫面序列的每個(gè)畫面執(zhí)行幀間 預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、變換、量化和熵編碼來對(duì)所述畫面序列進(jìn)行編碼，并輸出編碼的視頻數(shù)據(jù) (即，編碼的結(jié)果）以及包括關(guān)于編碼模式的信息的編碼信息。
[0044] 視頻編碼設(shè)備10可將當(dāng)前畫面劃分為多個(gè)數(shù)據(jù)單元(每個(gè)數(shù)據(jù)單元均具有預(yù)定尺 寸），并可對(duì)每個(gè)數(shù)據(jù)單元執(zhí)行編碼，以有效地對(duì)當(dāng)前畫面進(jìn)行編碼。以下，用于對(duì)畫面進(jìn)行 編碼的數(shù)據(jù)單元被稱為"編碼單元"。編碼器11可確定編碼單元和將對(duì)每個(gè)編碼單元執(zhí)行的 編碼方法。針對(duì)每個(gè)編碼單元確定的編碼方法被稱為編碼模式。
[0045] 數(shù)據(jù)冗余會(huì)發(fā)生在視頻的時(shí)間連續(xù)的多個(gè)圖像中，或發(fā)生在視頻的圖像的空間相 鄰區(qū)域中。在視頻壓縮編碼期間，參考空間/時(shí)間相鄰數(shù)據(jù)區(qū)域執(zhí)行編碼的預(yù)測(cè)編碼技術(shù)被 執(zhí)行，以去除空間/時(shí)間相鄰的數(shù)據(jù)區(qū)域中的數(shù)據(jù)冗余而減少編碼數(shù)據(jù)的尺寸。
[0046] 在預(yù)測(cè)編碼技術(shù)中，基于具有預(yù)定尺寸和預(yù)定形狀的數(shù)據(jù)單元搜索具有冗余數(shù)據(jù) 的相鄰數(shù)據(jù)區(qū)域，因此可對(duì)搜索的冗余數(shù)據(jù)單元之間的差距（即，運(yùn)動(dòng)）以及原始數(shù)據(jù)和搜 索的冗余數(shù)據(jù)單元的冗余數(shù)據(jù)之間的差值(即，殘差數(shù)據(jù))進(jìn)行編碼。
[0047] 編碼器11可確定作為將與相鄰數(shù)據(jù)的運(yùn)動(dòng)進(jìn)行比較的數(shù)據(jù)單元的分區(qū)，以對(duì)每個(gè) 編碼單元執(zhí)行預(yù)測(cè)編碼。分區(qū)的尺寸可小于或等于編碼單元的尺寸。編碼器11可根據(jù)使用 確定的分區(qū)的預(yù)測(cè)編碼輸出通過從每個(gè)分區(qū)去除冗余數(shù)據(jù)而獲得的殘差數(shù)據(jù)。
[0048] 編碼器11通過使用基于第一分區(qū)模式和分區(qū)等級(jí)確定的分區(qū)執(zhí)行預(yù)測(cè)編碼，來選 擇用于輸出編碼結(jié)果的分區(qū)。
[0049] 編碼器11可通過使用具有多種形狀、方向性和尺寸的分區(qū)對(duì)每個(gè)編碼單元執(zhí)行預(yù) 測(cè)編碼，并從多個(gè)分區(qū)中選擇一分區(qū)，殘差數(shù)據(jù)最終將通過該分區(qū)被輸出。分區(qū)的方向性表 示所述分區(qū)從編碼單元被劃分的方向。編碼器11可通過根據(jù)多種分區(qū)確定并比較編碼效率 來選擇產(chǎn)生最高編碼效率的用于預(yù)測(cè)編碼的分區(qū)。
[0050] 可考慮原始數(shù)據(jù)和恢復(fù)的數(shù)據(jù)之間的誤差、在解碼之后產(chǎn)生的開銷等來確定編碼 效率。可使用基于拉格朗日乘子(Lagrangian multipliers)的率失真最優(yōu)化來測(cè)量根據(jù)預(yù) 測(cè)編碼的編碼效率。
[0051] 可基于第一分區(qū)模式和分區(qū)等級(jí)定義根據(jù)本發(fā)明的實(shí)施例的分區(qū)。根據(jù)本發(fā)明的 實(shí)施例的第一分區(qū)模式指不分區(qū)的形狀和方向性。
[0052]例如，可根據(jù)第一分區(qū)模式的類型定義分區(qū)類型（矩形分區(qū)、正方形分區(qū)、非矩形 分區(qū)等）。例如，可定義根據(jù)第一編碼模式的劃分編碼單元的方向性，其中，編碼單元被劃分 的示例包括：i)編碼單元被垂直地，水平地，垂直并水平地均分為多個(gè)分區(qū)，或?qū)堑貏澐?為多個(gè)分區(qū)；ii)編碼單元沿著偏向編碼單元的左端、右端、上端或下端的劃分線被劃分為 多個(gè)分區(qū)；或iii)通過從寬度到對(duì)面寬度，從高度到對(duì)面高度，從寬度到相鄰高度，和從高 度到相鄰寬度對(duì)編碼單元進(jìn)行劃分而獲得多個(gè)分區(qū)。
[0053]根據(jù)本發(fā)明的實(shí)施例的分區(qū)等級(jí)表示為了精細(xì)運(yùn)動(dòng)預(yù)測(cè)將編碼單元?jiǎng)澐譃槎鄠€(gè) 分區(qū)的程度?？筛鶕?jù)分區(qū)等級(jí)的值確定分區(qū)的寬度(高度)相對(duì)于編碼單元的寬度(高度)的 劃分比率。
[0054] 例如，隨著根據(jù)實(shí)施例的劃分等級(jí)增加，可確定通過對(duì)編碼單元的寬度和高度進(jìn) 行精細(xì)劃分而獲得的多個(gè)分區(qū)。例如，可基于編碼單元的寬度或高度變?yōu)棣堑确莸膭澐执_定 以1: (n_l)、2: (η_2)、…、（η_2): 2和(n_l): 1對(duì)編碼單兀的寬度或尚度進(jìn)行劃分而獲得的多 個(gè)分區(qū)。
[0055] 然而，根據(jù)實(shí)施例的分區(qū)的最小尺寸是有限的，也就是說，編碼單元無法被無限劃 分。因此，可基于根據(jù)分層樹形結(jié)構(gòu)確定的當(dāng)前編碼單元的尺寸確定分區(qū)的分區(qū)等級(jí)的上 限、下限、或上限和下限兩者?？捎上到y(tǒng)設(shè)置或用戶設(shè)置來限制分區(qū)等級(jí)的值。
[0056] 分區(qū)的寬度和高度可增加或減少，其中，所述分區(qū)的形狀和方向基于根據(jù)實(shí)施例 的第一分區(qū)模式被確定?？筛鶕?jù)第二分區(qū)模式定義分區(qū)的寬度和高度，其中，所述分區(qū)的形 狀和方向基于第一分區(qū)模式被確定。換句話說，第二分區(qū)模式可從根據(jù)第一分區(qū)模式的允 許的多個(gè)分區(qū)中確定詳細(xì)的分區(qū)類型。
[0057] 第一分區(qū)模式的多個(gè)分區(qū)的形狀和方向根據(jù)第一分區(qū)模式被確定，并且分區(qū)的寬 度、高度、或?qū)挾然蚋叨葍烧咴黾踊驕p少為根據(jù)分區(qū)等級(jí)確定的分區(qū)的最小寬度或最小高 度的一倍或多倍。因此，第二分區(qū)模式可被定義，以便指示第一分區(qū)模式的多個(gè)分區(qū)中的每 個(gè)。
[0058] 例如，當(dāng)分區(qū)的最小寬度和最小高度根據(jù)分區(qū)等級(jí)被確定為編碼單元的寬度和高 度的1/n，第二分區(qū)模式指示所述編碼單元的寬度或高度以l :(n-l)、2:(n-2)、~、（n-2):2 和(n-1): 1被劃分的多個(gè)分區(qū)中的每個(gè)。
[0059] 因此，編碼器11還可根據(jù)第一分區(qū)模式確定第二分區(qū)模式，并且第二分區(qū)模式的 類型或數(shù)量可根據(jù)第一分區(qū)模式和分區(qū)等級(jí)被確定。
[0060] 輸出單元12可對(duì)表示由編碼器11選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的模式 信息進(jìn)行編碼和輸出。分區(qū)信息還可根據(jù)第一分區(qū)模式包括第二分區(qū)模式。分區(qū)信息可包 括用于確定分區(qū)等級(jí)的下限或上限的分區(qū)等級(jí)限制信息。
[0061] 輸出單元12可輸出分區(qū)的運(yùn)動(dòng)矢量和殘差數(shù)據(jù)，其中，已通過使用由編碼器11確 定的分區(qū)進(jìn)行預(yù)測(cè)編碼產(chǎn)生所述分區(qū)。輸出單元12還可對(duì)關(guān)于預(yù)測(cè)模式的信息以及包括關(guān) 于編碼模式的信息的編碼信息進(jìn)行編碼和輸出，其中，所述預(yù)測(cè)模式表示使用由編碼器11 確定的分區(qū)的預(yù)測(cè)編碼方法。根據(jù)本發(fā)明的實(shí)施例的編碼信息可被插入到序列參數(shù)集 (SPS)。根據(jù)實(shí)施例的編碼信息可以以數(shù)據(jù)單元(諸如，序列、畫面、幀、像條、最大編碼單元 等)的每個(gè)單位被編碼并被插入輸出比特流。
[0062]圖2是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻解碼設(shè)備20的 框圖。
[0063]參照?qǐng)D2,使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻解碼設(shè)備20包括提取器21和解碼 器22。為便于解釋，使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻解碼設(shè)備20以下將被簡(jiǎn)稱為視頻 解碼設(shè)備20。
[0064]視頻解碼設(shè)備20可接收比特流(其中，視頻的畫面序列已被編碼為比特流），并通 過相對(duì)于每個(gè)編碼的畫面數(shù)據(jù)的熵解碼、反量化、逆變換、幀間預(yù)測(cè)/補(bǔ)償和幀內(nèi)預(yù)測(cè)，從而 恢復(fù)畫面。
[0065] 提取器21可對(duì)接收到的比特流進(jìn)行解析以提取編碼的畫面數(shù)據(jù)和運(yùn)動(dòng)矢量。提取 器21可對(duì)接收到的比特流進(jìn)行解析以提取編碼的殘差數(shù)據(jù)。
[0066] 提取器21可對(duì)接收到的比特流進(jìn)行以提取編碼信息。提取器21可從編碼信息讀取 關(guān)于編碼模式的信息、分區(qū)信息和關(guān)于預(yù)測(cè)模式的信息。可從分區(qū)信息讀取編碼單元的分 區(qū)的第一分區(qū)模式和分區(qū)等級(jí)。
[0067] 由提取器21提取的分區(qū)信息可包括關(guān)于分區(qū)的形狀和方向的信息，所述分區(qū)是具 有由第一分區(qū)模式和分區(qū)等級(jí)形成的分層樹形結(jié)構(gòu)的分區(qū)中提供最高編碼效率的分區(qū)。
[0068] 解碼器22可基于由提取器21提取并讀取的分區(qū)信息確定用于針對(duì)畫面進(jìn)行預(yù)測(cè) 編碼的分區(qū)。解碼器22可通過使用由提取器21提取的預(yù)測(cè)模式和運(yùn)動(dòng)矢量對(duì)編碼的殘差數(shù) 據(jù)進(jìn)行預(yù)測(cè)解碼。
[0069] 解碼器22可基于分區(qū)信息確定每個(gè)編碼單元的分區(qū)。解碼器22可基于包括在分區(qū) 信息中的第一分區(qū)模式確定分區(qū)的形狀和編碼單元被劃分為多個(gè)分區(qū)的方向性。解碼器22 可基于包括在分區(qū)信息中的分區(qū)等級(jí)確定編碼單元被精細(xì)地劃分為多個(gè)分區(qū)的程度。
[0070] 例如，解碼器22可根據(jù)第一分區(qū)模式的類型確定分區(qū)類型（諸如，矩形分區(qū)、正方 形分區(qū)、非矩形分區(qū)等）。解碼器22可基于包括在分區(qū)信息中的第一分區(qū)模式確定編碼單元 被劃分為多個(gè)分區(qū)的方向性。例如，根據(jù)第一分區(qū)模式的多個(gè)分區(qū)可包括:i)編碼單元被垂 直地，水平地，垂直并水平地，或?qū)堑貏澐值姆謪^(qū)；ii)位于編碼單元的左端、右端、上端或 下端的分區(qū)；或iii)通過從寬度到對(duì)面寬度，從高度到對(duì)面高度，從寬度到相鄰高度，和從 高度到相鄰寬度對(duì)編碼單元進(jìn)行劃分而獲得的分區(qū)。
[0071] 解碼器22可基于分區(qū)等級(jí)確定編碼單元的寬度和高度被劃分的劃分比。隨著分區(qū) 等級(jí)增加，通過對(duì)編碼單元的寬度和高度進(jìn)行精細(xì)劃分而獲得的多個(gè)分區(qū)可被確定。例如， 當(dāng)編碼單元的寬度和高度之一或?qū)挾群透叨葍烧咭詌:(n-l)、2 :(n-2)、…、（n-2):2和(n-l):l被劃分的多個(gè)分區(qū)被確定時(shí)，n可隨著分區(qū)等級(jí)的增加而增加。
[0072] 可基于根據(jù)分層樹形結(jié)構(gòu)確定的當(dāng)前編碼單元的尺寸，確定分區(qū)的分區(qū)等級(jí)的上 限、下限、或上限和下限兩者?？蓮慕邮盏降谋忍亓魈崛￡P(guān)于系統(tǒng)或用戶設(shè)置中的分區(qū)等級(jí) 的限制值的信息。
[0073] 提取器21還可從分區(qū)信息提取第二分區(qū)模式，其中，所述第二分區(qū)模式表示具有 基于第一分區(qū)模式確定的形狀和方向的多個(gè)分區(qū)中的具有預(yù)定寬度和預(yù)定高度的分區(qū)。解 碼器22可基于包括在分區(qū)信息中的第一分區(qū)模式信息、分區(qū)等級(jí)和第二分區(qū)模式確定每個(gè) 編碼單元的分區(qū)。
[0074] 解碼器22可根據(jù)第二分區(qū)模式增加或減少具有基于第一分區(qū)模式確定的形狀和 方向的分區(qū)的寬度和高度。
[0075] 由于第一分區(qū)模式可確定分區(qū)的形狀和方向性，因此分區(qū)等級(jí)可確定所述分區(qū)的 最小寬度或最小高度，并且第二分區(qū)模式可指示根據(jù)第一分區(qū)模式和分區(qū)等級(jí)的每個(gè)分 區(qū)，分區(qū)的寬度或高度可被確定為所述分區(qū)的最小寬度或最小高度的一倍或多倍。
[0076] 例如，分區(qū)的最小寬度和最小高度可根據(jù)分區(qū)等級(jí)被確定為編碼單元的寬度和高 度的1/n。解碼器22可基于第二分區(qū)模式確定通過對(duì)編碼單元的寬度或高度以l:(n-l)、2: (n-2)、…、(n-2): 2和(n-1): 1進(jìn)行劃分而獲得的分區(qū)。
[0077] 解碼器22可根據(jù)預(yù)測(cè)模式對(duì)基于分區(qū)信息確定的分區(qū)執(zhí)行預(yù)測(cè)解碼，并根據(jù)編碼 模式恢復(fù)畫面。
[0078] 視頻編碼設(shè)備10和視頻解碼設(shè)備20不僅可確定尺寸與現(xiàn)有宏塊相同的分區(qū)、尺寸 為現(xiàn)有宏塊的尺寸的一半的分區(qū)和尺寸為現(xiàn)有宏塊的尺寸的四分之一的分區(qū)，還可確定能 夠預(yù)測(cè)分區(qū)的紋理和精細(xì)運(yùn)動(dòng)的方向性和位置的改變的分區(qū)。由于可基于編碼單元的尺寸 調(diào)整允許分區(qū)的詳細(xì)運(yùn)動(dòng)被預(yù)測(cè)的分區(qū)的形狀和方向，因此可充分考慮圖像特性執(zhí)行預(yù)測(cè) 編碼和解碼。
[0079]圖3是示出根據(jù)本發(fā)明的實(shí)施例的具有分層結(jié)構(gòu)30的編碼單元31、32和33的示圖。 [0080] 根據(jù)編碼單元31、32和33的分層結(jié)構(gòu)30,編碼單元31、32和33可隨著編碼單元等級(jí) 從0經(jīng)過1增加到2而依次變小。隨著編碼單元31、32、33的尺寸依次變大，更多種形狀和方向 的紋理分量可被包括在編碼單元31、32和33。單個(gè)編碼單元可包括視頻序列中的與隨著時(shí) 間發(fā)生的不同運(yùn)動(dòng)相應(yīng)的不同的運(yùn)動(dòng)區(qū)域。因此，為了對(duì)編碼單元進(jìn)行更詳細(xì)和精確的預(yù) 測(cè)編碼，包括在編碼單元中的分區(qū)的形狀、方向和尺寸需要根據(jù)編碼單元的尺寸變化。
[0081] 圖4示出根據(jù)本發(fā)明的實(shí)施例的由第一分區(qū)模式和分區(qū)等級(jí)定義的具有樹形結(jié)構(gòu) 50的分區(qū)。
[0082] 樹形結(jié)構(gòu)50可包括由第一分區(qū)模式和分區(qū)等級(jí)定義的多個(gè)分區(qū)。視頻編碼設(shè)備10 的編碼器11可通過使用樹形結(jié)構(gòu)50的的所有分區(qū)來對(duì)每個(gè)編碼單元執(zhí)行預(yù)測(cè)編碼，并隨后 確定具有最高編碼效率的分區(qū)，并且輸出單元12可對(duì)確定的分區(qū)的殘差數(shù)據(jù)進(jìn)行編碼和輸 出。
[0083] 第一分區(qū)模式可表示分區(qū)的形狀和方向性，分區(qū)等級(jí)可表示編碼單元被劃分為用 于詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的多個(gè)分區(qū)的程度。可由第一分區(qū)模式和分區(qū)等級(jí)的組合定義多個(gè)分 區(qū)。
[0084]分區(qū)等級(jí)為0的分區(qū)組49包括:第一分區(qū)模式0的分區(qū)集合40、第一分區(qū)模式1的分 區(qū)集合41、第一分區(qū)模式2的分區(qū)集合42、第一分區(qū)模式3的分區(qū)集合43、第一分區(qū)模式4的 分區(qū)集合44、第一分區(qū)模式5的分區(qū)集合45、第一分區(qū)模式6的分區(qū)集合46和第一分區(qū)模式7 的分區(qū)集合47。
[0085] 分區(qū)等級(jí)為0的第一分區(qū)模式0的分區(qū)集合40包括具有與編碼單元相同的尺寸的 分區(qū)0。
[0086] 分區(qū)等級(jí)為0的第一分區(qū)模式1的分區(qū)集合41可包括編碼單元被水平地兩等分的 矩形分區(qū)〇和1。分區(qū)等級(jí)為〇的第一分區(qū)模式2的分區(qū)集合42可包括編碼單元被垂直地兩等 分的矩形分區(qū)0和1。
[0087] 分區(qū)等級(jí)為0的第一分區(qū)模式3的分區(qū)集合43可包括編碼單元被水平和垂直地兩 等分的（即，被四等分)的矩形分區(qū)〇、1、2和3。
[0088] 分區(qū)等級(jí)為0的第一分區(qū)模式4的分區(qū)集合44可包括矩形分區(qū)0,以及與編碼單元 的其余部分相應(yīng)的非矩形分區(qū)1，其中，所述矩形分區(qū)〇位于編碼單元的左上端并通過將編 碼單元的左邊和上邊兩等分而被獲得。
[0089] 分區(qū)等級(jí)為0的第一分區(qū)模式5的分區(qū)集合45可包括矩形分區(qū)1以及與編碼單元的 其余部分相應(yīng)的非矩形分區(qū)〇,其中，所述矩形分區(qū)1位于編碼單元的右上端并通過將編碼 單元的右邊和上邊兩等分而被獲得。
[0090] 分區(qū)等級(jí)為0的第一分區(qū)模式6的分區(qū)集合46可包括矩形分區(qū)0以及與編碼單元的 其余部分相應(yīng)的非矩形分區(qū)1，其中，所述矩形分區(qū)〇位于編碼單元的左下端并通過將編碼 單元的左邊和下邊兩等分而被獲得。
[0091] 分區(qū)等級(jí)為0的第一分區(qū)模式7的分區(qū)集合47可包括矩形分區(qū)1以及與編碼單元的 其余部分相應(yīng)的非矩形分區(qū)〇,其中，所述矩形分區(qū)1位于編碼單元的右下端并通過將編碼 單元的右邊和下邊兩等分而被獲得。
[0092] 第一分區(qū)模式1和2可定義這樣的分區(qū)，其中，所述分區(qū)在編碼單元的上下區(qū)域或 左右區(qū)域發(fā)生不同運(yùn)動(dòng)時(shí)允許準(zhǔn)確的預(yù)測(cè)編碼被執(zhí)行。第一分區(qū)模式3可定義這樣的分區(qū)， 其中，所述分區(qū)在編碼單元之內(nèi)存在多個(gè)對(duì)象或多個(gè)區(qū)域并且編碼單元具有復(fù)雜運(yùn)動(dòng)時(shí)允 許精細(xì)的預(yù)測(cè)編碼被執(zhí)行。
[0093] 第一分區(qū)模式4、5、6和7可定義這樣的分區(qū)，其中，所述分區(qū)在編碼單元之內(nèi)存在 對(duì)角邊時(shí)允許針對(duì)由編碼單元的對(duì)角邊定義的區(qū)域執(zhí)行準(zhǔn)確的預(yù)測(cè)編碼。然而，當(dāng)?shù)谝环?區(qū)模式3、4、5、6和7被使用時(shí)，可以進(jìn)行準(zhǔn)確的運(yùn)動(dòng)預(yù)測(cè)但開銷會(huì)增加。因此，需要考慮編碼 效率和開銷之間的權(quán)衡來使用第一分區(qū)模式3、4、5、6和7。
[0094] 由于分區(qū)等級(jí)表示編碼單元被劃分為多個(gè)分區(qū)以實(shí)現(xiàn)詳細(xì)的運(yùn)動(dòng)預(yù)測(cè)的程度，因 此分區(qū)的最小高度和最小寬度可隨著分區(qū)等級(jí)的增加而減少。
[0095] 在分區(qū)的樹形結(jié)構(gòu)50中，通過將編碼單元的寬度(高度)除以2的冪數(shù)來獲得分區(qū) 的最小寬度(最小高度），并且2的冪數(shù)隨著分區(qū)等級(jí)的增加而增加。
[0096] 如上所述，當(dāng)分區(qū)等級(jí)為0時(shí)，編碼單元的高度（寬度)不被劃分或兩等分。當(dāng)分區(qū) 等級(jí)增加到1時(shí)，分區(qū)的最小高度(最小寬度)可以是編碼單元的高度(寬度)的四分之一。當(dāng) 分區(qū)等級(jí)增加到2時(shí)，分區(qū)的最小高度(最小寬度)可以是編碼單元的高度（寬度）的八分之 〇
[0097] 無論多個(gè)分區(qū)的樹形結(jié)構(gòu)50中的分區(qū)等級(jí)的值如何，編碼單元的尺寸都不改變。 分區(qū)等級(jí)為1的分區(qū)組59具有的精度為分區(qū)等級(jí)為0的精度的兩倍。根據(jù)實(shí)施例，分區(qū)等級(jí) 為〇的第一分區(qū)模式1定義編碼單元的高度以1/2的精度被劃分的多個(gè)分區(qū)，分區(qū)等級(jí)為1的 第一分區(qū)模式1定義編碼單元的高度以1/4的精度被劃分的多個(gè)分區(qū)。分區(qū)等級(jí)為2的第一 分區(qū)模式1定義編碼單元的高度以1 /8的精度被劃分的多個(gè)分區(qū)。
[0098] 在單個(gè)第一分區(qū)模式下，可在多個(gè)分區(qū)等級(jí)之間重復(fù)相同形狀的多個(gè)分區(qū)。例如， 在第一分區(qū)模式3、4、5、6和7下，分區(qū)等級(jí)為0的分區(qū)集合43、44、45、46和47分別具有與分區(qū) 等級(jí)為1的分區(qū)集合536、546、556、566和576相同的形狀。在第一分區(qū)模式1和2下，分區(qū)等級(jí) 為1的分區(qū)集合51a和51b分別具有與分區(qū)等級(jí)為2的分區(qū)集合61b和61e相同的形狀，分區(qū)等 級(jí)為1的分區(qū)集合52a和52b分別具有與分區(qū)等級(jí)為2的分區(qū)集合62b和62e相同的形狀。
[0099] 當(dāng)基于相同的第一分區(qū)模式和不同的分區(qū)等級(jí)確定的多個(gè)分區(qū)具有相同的形狀 時(shí)，在預(yù)測(cè)編碼期間可僅使用確定的多個(gè)分區(qū)中的更低分區(qū)等級(jí)的分區(qū)。例如，在第一分區(qū) 模式3下，由于分區(qū)等級(jí)為1的分區(qū)集合53e具有與分區(qū)等級(jí)為0的分區(qū)集合43相同的形狀， 因此在實(shí)際預(yù)測(cè)編碼期間可僅使用分區(qū)等級(jí)為〇(低于分區(qū)等級(jí)1)的第一分區(qū)模式3的分區(qū) 集合43,并且可僅對(duì)表示分區(qū)集合43的分區(qū)信息進(jìn)行編碼。在這種情況下，不定義用于表示 分區(qū)集合53e的分區(qū)信息。
[0100] 分區(qū)等級(jí)為1的第一分區(qū)模式1的分區(qū)集合51a和51b可包括編碼單元分別以1:3和 3:1水平地被劃分的矩形分區(qū)0和1。分區(qū)等級(jí)為1的第一分區(qū)模式2的分區(qū)集合52a和52b可 包括編碼單元分別以1:3和3:1被垂直地劃分的矩形分區(qū)0和1。
[0101] 分區(qū)等級(jí)為1的第一分區(qū)模式3的分區(qū)集合53a、53b、53c、53d、53e、53f、53g、53h、 53i中的每個(gè)可包括編碼單元被水平和垂直地劃分的4個(gè)矩形分區(qū)0、1、2、3,從而水平劃分 和垂直劃分中的至少一個(gè)以1:3、2:2或3:1被執(zhí)行。然而，在第一分區(qū)模式3下，分區(qū)等級(jí)為1 的分區(qū)集合53e與分區(qū)等級(jí)為0的分區(qū)集合43重復(fù)，因此在預(yù)測(cè)編碼期間可不被使用?？刹?定義表示分區(qū)等級(jí)為1的第一分區(qū)模式3的分區(qū)集合53e的分區(qū)信息。
[0102] 分區(qū)等級(jí)為1的第一分區(qū)模式4的分區(qū)集合54a、54b、54c、54d、54e、54f、54g、54h、 54i中的每個(gè)可包括矩形分區(qū)0以及編碼單元的其余部分的非矩形分區(qū)1，其中，所述矩形分 區(qū)0位于編碼單元的左上端并通過以1:3、2:2或3:1對(duì)編碼單元的左邊和上邊中的至少一個(gè) 進(jìn)行劃分而被獲得。然而，在第一分區(qū)模式4下，分區(qū)等級(jí)為1的分區(qū)集合54e與分區(qū)等級(jí)為Ο 的分區(qū)集合44重復(fù)，因此在預(yù)測(cè)編碼期間可不被使用。在分區(qū)等級(jí)1中，可不定義表示第一 分區(qū)模式4的分區(qū)集合54e的分區(qū)信息。
[0103] 分區(qū)等級(jí)為1的第一分區(qū)模式5的分區(qū)集合55a、55b、55c、55d、55e、55f、55g、55h、 55i中的每個(gè)可包括矩形分區(qū)1以及編碼單元的其余部分的非矩形分區(qū)0,其中，所述矩形分 區(qū)1位于編碼單元的右上端并通過以1:3、2:2或3:1對(duì)編碼單元的右邊和上邊中的至少一個(gè) 進(jìn)行劃分而被獲得。然而，在第一分區(qū)模式5下，分區(qū)等級(jí)為1的分區(qū)集合55e與分區(qū)等級(jí)為0 的分區(qū)集合45重復(fù)，因此在預(yù)測(cè)編碼期間可不被使用。在分區(qū)等級(jí)1中，可不定義表示第一 分區(qū)模式5的分區(qū)集合55e的分區(qū)信息。
[0104] 分區(qū)等級(jí)為1的第一分區(qū)模式6的分區(qū)集合56&、5613、56(：、56(1、566、56;1^、568、5611、 56i中的每個(gè)可包括矩形分區(qū)0以及編碼單元的其余部分的非矩形分區(qū)1，其中，所述矩形分 區(qū)0位于編碼單元的左下端并通過以1:3、2:2或3:1對(duì)編碼單元的左邊和下邊中的至少一個(gè) 進(jìn)行劃分而被獲得。然而，在第一分區(qū)模式6下，分區(qū)等級(jí)為1的分區(qū)集合56e與分區(qū)等級(jí)為0 的分區(qū)集合46重復(fù)，因此在預(yù)測(cè)編碼期間可不被使用。在分區(qū)等級(jí)1中，可不定義表示第一 分區(qū)模式6的分區(qū)集合56e的分區(qū)信息。
[0105] 分區(qū)等級(jí)為1的第一分區(qū)模式7的分區(qū)集合57a、57b、57c、57d、57e、57f、57g、57h、 57i中的每個(gè)可包括矩形分區(qū)1以及編碼單元的其余部分的非矩形分區(qū)0,其中，所述矩形分 區(qū)1位于編碼單元的右下端并通過以1:3、2:2或3:1對(duì)編碼單元的右邊和下邊中的至少一個(gè) 進(jìn)行劃分而被獲得。然而，在第一分區(qū)模式7下，分區(qū)等級(jí)為1的分區(qū)集合57e與分區(qū)等級(jí)為0 的分區(qū)集合47重復(fù)，因此在預(yù)測(cè)編碼期間可不被使用。在分區(qū)等級(jí)1中，可不定義表示第一 分區(qū)模式7的分區(qū)集合57e的分區(qū)信息。
[0106] 類似地，分區(qū)等級(jí)為2的第一分區(qū)模式1的分區(qū)集合61a、61b、61c、61d、61e、61f可 包括編碼單元分別以1:7、2:6、3:5、5:3、6: 2和7:1被水平地劃分的矩形分區(qū)0和1。然而，在 第一分區(qū)模式1下，由于分區(qū)等級(jí)為2的分區(qū)集合61b和61e分別與分區(qū)等級(jí)為1的分區(qū)集合 51a和51b重復(fù)，因此可不定義表示分區(qū)等級(jí)為2的第一分區(qū)模式1的分區(qū)集合61b和61e的信 息。分區(qū)等級(jí)為2的第一分區(qū)模式2的分區(qū)集合62 &、6213、62〇、62(1、626、62€可包括編碼單元 分別以1:7、2:6、3:5、5:3、6:2和7:1被垂直地劃分的矩形分區(qū)0和1。然而，在第一分區(qū)模式1 下，由于分區(qū)等級(jí)為2的分區(qū)集合62b和62e分別與分區(qū)等級(jí)為1的分區(qū)集合52a和52b重復(fù)， 因此可不定義表示分區(qū)等級(jí)為2的第一分區(qū)模式2的分區(qū)集合62b和62e的信息。
[0107] 雖然考慮到空間問題在圖4中未示出分區(qū)等級(jí)為2的第一分區(qū)模式3、4、5、6和7的 多個(gè)分區(qū)，但可在分區(qū)等級(jí)為2的第一分區(qū)模式3下定義4個(gè)矩形分區(qū)，其中，編碼單元被水 平和垂直地劃分為所述4個(gè)分區(qū)，從而以1:7、2:6、3:5、4:4、5:3、6: 2和7:1執(zhí)行水平劃分和 垂直劃分中的至少一個(gè)。
[0108] 在分區(qū)等級(jí)為2的第一分區(qū)模式4下，可定義矩形分區(qū)和與編碼單元的其它部分相 應(yīng)的非矩形分區(qū)，其中，所述矩形分區(qū)位于編碼單元的左上端并通過以1 :7、2:6、3:5、5:3、 6:2和7:1對(duì)編碼單元的左邊和上邊中的至少一個(gè)進(jìn)行劃分而被獲得。
[0109] 在分區(qū)等級(jí)為2的第一分區(qū)模式5下，可定義矩形分區(qū)和與編碼單元的其它部分相 應(yīng)的非矩形分區(qū)，其中，所述矩形分區(qū)位于編碼單元的右上端并通過以1 :7、2:6、3:5、4:4、 5:3、6:2和7:1對(duì)編碼單元的右邊和上邊中的至少一個(gè)進(jìn)行劃分而被獲得。
[0110] 在分區(qū)等級(jí)為2的第一分區(qū)模式6下，可定義矩形分區(qū)和與編碼單元的其它部分相 應(yīng)的非矩形分區(qū)，其中，所述矩形分區(qū)位于編碼單元的左下端并通過以1 :7、2:6、3:5、4:4、 5: 3、6:2和7:1對(duì)編碼單元的左邊和下邊中的至少一個(gè)進(jìn)行劃分而被獲得。
[0111] 在分區(qū)等級(jí)為2的第一分區(qū)模式7下，可定義矩形分區(qū)和與編碼單元的其它部分相 應(yīng)的非矩形分區(qū)，其中，所述矩形分區(qū)位于編碼單元的右下端并通過以1 :7、2:6、3:5、4:4、 5: 3、6:2和7:1對(duì)編碼單元的右邊和下邊中的至少一個(gè)進(jìn)行劃分而被獲得。
[0112] 當(dāng)將被編碼的編碼單元的尺寸足夠大時(shí)，分區(qū)集合可被擴(kuò)大到分區(qū)等級(jí)3和4。
[0113] 因此，在分區(qū)的樹形結(jié)構(gòu)50中，可基于第一分區(qū)模式確定分區(qū)的形狀和方向性，可 基于分區(qū)等級(jí)確定最小寬度和最小高度?；诘谝环謪^(qū)模式和分區(qū)等級(jí)確定的矩形分區(qū)可 包括均具有兩倍于最小寬度的分區(qū)寬度以及兩倍于最小高度的分區(qū)高度的多個(gè)分區(qū)。在這 種情況下，第二分區(qū)模式可指示基于第一分區(qū)模式和分區(qū)等級(jí)確定的多個(gè)分區(qū)中具有預(yù)定 的寬度或預(yù)定的高度的分區(qū)。
[0114] 當(dāng)單個(gè)編碼單元包括兩個(gè)或更多分區(qū)并且分區(qū)0的寬度或高度被確定時(shí)，其余分 區(qū)的寬度或高度基于分區(qū)〇的寬度或高度被確定。因此，為便于解釋，現(xiàn)將僅討論分區(qū)〇的寬 度或高度。
[0115] 例如，分區(qū)的樹形結(jié)構(gòu)50,分區(qū)等級(jí)為1的第一分區(qū)模式1的分區(qū)51a和51b均被確 定為具有編碼單元的高度的四分之一的最小高度。分區(qū)等級(jí)為1的第一分區(qū)模式1的分區(qū) 51a和51b的高度分別是分區(qū)51a和51b中的每個(gè)的最小高度的三倍。在這種情況下，第二分 區(qū)模式可被定義，以便指示分區(qū)等級(jí)為1的第一分區(qū)模式1的分區(qū)51a和51b中的每個(gè)。
[0116] 類似地，在分區(qū)等級(jí)為1的第一分區(qū)模式4下，矩形分區(qū)的最小寬度和最小高度可 被確定為編碼單元的寬度和高度的1/4,并且可形成位于編碼單元的左上端的矩形分區(qū)0以 及與編碼單元的其余部分相應(yīng)的非矩形分區(qū)1兩者?？啥x分區(qū)等級(jí)為1的第一分區(qū)模式4 的第二分區(qū)模式以指示分區(qū)54 &、5413、54〇、54(1、54匕548、5411和541中的每個(gè)分區(qū)，其中，所 述分區(qū)54 &、5仙、54〇、54(1、54廠548、5411和54丨被確定具有一倍、兩倍或三倍于分區(qū)的最小值 的分區(qū)的寬度和高度中的至少一個(gè)的變化。如上所述，在第一分區(qū)模式4下，分區(qū)等級(jí)為1的 分區(qū)54e可不被使用。
[0117] 然而，在分區(qū)等級(jí)0處第二分區(qū)模式不需被單獨(dú)地定義。隨著根據(jù)第一分區(qū)模式或 分區(qū)等級(jí)可能存在的分區(qū)類型改變，第二分區(qū)模式的數(shù)量及其范圍等可能變化。
[0118] 視頻編碼設(shè)備10可通過確定構(gòu)成樹形結(jié)構(gòu)50的多個(gè)分區(qū)中的一個(gè)分區(qū)來基于多 個(gè)分區(qū)的多種形狀、方向和尺寸執(zhí)行預(yù)測(cè)編碼。在視頻編碼設(shè)備10中預(yù)測(cè)編碼的準(zhǔn)確度和 計(jì)算速度之間的權(quán)衡中，當(dāng)計(jì)算速度比準(zhǔn)確度更重要時(shí)，視頻編碼設(shè)備10可限制包括在樹 形結(jié)構(gòu)50中的多個(gè)分區(qū)的第一分區(qū)模式、分區(qū)等級(jí)或第二分區(qū)模式的選擇范圍。
[0119] 視頻編碼設(shè)備10可在對(duì)每個(gè)分區(qū)的預(yù)測(cè)模式信息、運(yùn)動(dòng)矢量和殘差信息進(jìn)行編碼 的同時(shí)對(duì)分區(qū)信息(諸如，每個(gè)分區(qū)的第一分區(qū)模式、分區(qū)等級(jí)和第二分區(qū)模式)進(jìn)行編碼。 因此，視頻解碼設(shè)備20可根據(jù)提取的分區(qū)信息確定分區(qū)，并通過使用確定的分區(qū)執(zhí)行預(yù)測(cè) 解碼。
[0120] 根據(jù)本發(fā)明的實(shí)施例的分區(qū)的最小尺寸可以是最小編碼單元被四等分的分區(qū)。雖 然根據(jù)本發(fā)明的實(shí)施例的分區(qū)的尺寸可基于分區(qū)等級(jí)被確定，但所述尺寸需要等于或大于 分區(qū)的最小尺寸并小于或等于編碼單元。因此，分區(qū)的尺寸取決于編碼單元的尺寸。因此， 分區(qū)等級(jí)還可取決于編碼單元的尺寸。
[0121] 尺寸較小的編碼單元的區(qū)域需要用于預(yù)測(cè)編碼單元的小區(qū)域的運(yùn)動(dòng)的分區(qū)。然 而，隨著編碼單元變大，編碼單元的大區(qū)域的運(yùn)動(dòng)還有其小區(qū)域的運(yùn)動(dòng)可發(fā)生在編碼單元 的區(qū)域之內(nèi)。因此尺寸較大的編碼單元需要經(jīng)過的預(yù)測(cè)編碼不僅使用大分區(qū)，還使用小分 區(qū)。因此，分區(qū)等級(jí)還可基于編碼單元的尺寸被確定。
[0122] 因此，根據(jù)實(shí)施例的編碼單元的尺寸和可定義的分區(qū)等級(jí)之間的關(guān)系被表達(dá)在下 面的表1中。
[0123] 【表1】
[0126] 因此，只有具有作為最低等級(jí)的0的分區(qū)等級(jí)的分區(qū)可被確定用于8X8編碼單元。 具有〇和1的分區(qū)等級(jí)的分區(qū)可被確定用于16X16編碼單元。具有分區(qū)等級(jí)0到2的分區(qū)、具 有分區(qū)等級(jí)0到3的分區(qū)和具有分區(qū)等級(jí)0到4的分區(qū)可被分別確定用于32 X32、64X 64、128 X 128編碼單元。因此，可基于編碼單元的尺寸可變地允許分區(qū)等級(jí)。
[0127] 圖5示出根據(jù)本發(fā)明的實(shí)施例的第一分區(qū)模式、分區(qū)等級(jí)和第二分區(qū)模式之間的 關(guān)系。換句話說，可使用在圖5中示出的編碼單元71、72和73之內(nèi)存在的多個(gè)點(diǎn)來確定根據(jù) 分區(qū)等級(jí)可定義的第一分區(qū)模式和第二分區(qū)模式的形狀。
[0128] 圖5中，在編碼單元71、72和73之內(nèi)的多條線可用作包括在編碼單元71、72和73中 多個(gè)分區(qū)的高度邊和寬度邊，在編碼單元71、72和73之內(nèi)的多個(gè)點(diǎn)可表示分區(qū)的寬度邊和 高度邊相交的交點(diǎn)。例如，當(dāng)沿著編碼單元71、72和73之內(nèi)的多條線從編碼單元71、72和73 之內(nèi)的預(yù)定的交點(diǎn)向編碼單元71、72和73的寬度邊和高度邊畫出多條直線時(shí)，可形成編碼 單元71、72和73被劃分的多個(gè)分區(qū)。
[0129] 例如，在分區(qū)等級(jí)0,編碼單元71之內(nèi)的多條線是將編碼單元71的寬度邊或高度邊 兩等分的多條線?？赏ㄟ^在編碼單元71之內(nèi)的多條線相互交叉而形成單個(gè)交點(diǎn)，可確定由 從所述交點(diǎn)延長(zhǎng)到編碼單元71的左邊、右邊、上邊和下邊中兩邊的直線所圍繞的多個(gè)分區(qū)。 換句話說，編碼單元71之內(nèi)的多條線的交點(diǎn)可以是確定的分區(qū)中的每個(gè)的頂點(diǎn)。因此，分區(qū) 等級(jí)為〇的每個(gè)第一分區(qū)模式下，編碼單元71之內(nèi)可僅定義多個(gè)分區(qū)的一個(gè)集合。由于針對(duì) 每個(gè)第一分區(qū)模式僅定義多個(gè)分區(qū)的一個(gè)集合，因此可不設(shè)置第二分區(qū)模式。
[0130] 在分區(qū)等級(jí)為1的情況下，編碼單元72之內(nèi)的多條線是將編碼單元72的寬度邊或 高度邊四等分的多條線。雖然可通過編碼單元72之內(nèi)的多條線相互交叉產(chǎn)生9個(gè)分區(qū)頂點(diǎn)， 但可基于8個(gè)頂點(diǎn)產(chǎn)生多個(gè)分區(qū)，其中，所述8個(gè)頂點(diǎn)是除與分區(qū)等級(jí)為0的交點(diǎn)重疊的中心 交點(diǎn)（白色交點(diǎn)）以外的8個(gè)頂點(diǎn)。因此，在分區(qū)等級(jí)為1的每個(gè)第一分區(qū)模式下，在編碼單元 72之內(nèi)可定義8個(gè)分區(qū)集合。
[0131]類似地，在分區(qū)等級(jí)為2的情況下，編碼單元73之內(nèi)的多條線是將編碼單元73的寬 度邊或高度邊劃分為8個(gè)部分的多條線。雖然可通過編碼單元73之內(nèi)的多條線相互交叉產(chǎn) 生49個(gè)分區(qū)頂點(diǎn)，但可基于40個(gè)頂點(diǎn)產(chǎn)生多個(gè)分區(qū)，其中，所述40個(gè)頂點(diǎn)是除與分區(qū)等級(jí)為 〇和1的交點(diǎn)重疊的9個(gè)交點(diǎn)（白色交點(diǎn)）以外的40個(gè)頂點(diǎn)。因此，在分區(qū)等級(jí)為2的每個(gè)第一 分區(qū)模式下，在編碼單元72中可定義40個(gè)分區(qū)集合。
[0132] 因此，根據(jù)分區(qū)等級(jí)的值，包括在單個(gè)第一分區(qū)模式中的第二分區(qū)模式的數(shù)量可 相應(yīng)于頂點(diǎn)的數(shù)量。
[0133] 圖6是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻編碼方法的流 程圖。
[0134] 在操作81，通過使用基于第一分區(qū)模式和分區(qū)等級(jí)定義的多個(gè)分區(qū)來對(duì)每個(gè)編碼 單元執(zhí)行預(yù)測(cè)編碼，從而確定編碼結(jié)果被輸出的分區(qū)，其中，所述編碼單元是用于對(duì)畫面進(jìn) 行編碼的數(shù)據(jù)單元。
[0135] 可基于第一分區(qū)模式確定分區(qū)的形狀和劃分方向性，可基于分區(qū)等級(jí)確定分區(qū)的 最小寬度或最小高度。通過對(duì)針對(duì)定義的分區(qū)進(jìn)行預(yù)測(cè)編碼的編碼結(jié)果進(jìn)行相互比較，可 從定義的多個(gè)分區(qū)確定具有最高編碼效率的分區(qū)，并且可對(duì)確定的分區(qū)的殘差數(shù)據(jù)進(jìn)行編 碼。
[0136] 可基于編碼單元的尺寸確定分區(qū)等級(jí)的允許的范圍。還可根據(jù)第一分區(qū)模式確定 用于指示具有預(yù)定寬度和預(yù)定高度的分區(qū)的第二分區(qū)模式?？苫诘谝环謪^(qū)模式和分區(qū)等 級(jí)確定第二分區(qū)模式的數(shù)量的允許的范圍。
[0137] 在操作82,表示在操作81確定的分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息被編 碼和輸出。根據(jù)第一分區(qū)模式，分區(qū)信息還可包括第二分區(qū)模式。每個(gè)分區(qū)的運(yùn)動(dòng)矢量和殘 差數(shù)據(jù)可被編碼和輸出。包括分區(qū)信息以及關(guān)于預(yù)測(cè)模式和編碼模式的信息的編碼信息可 被編碼和輸出。
[0138] 圖7是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測(cè)編碼的可變分區(qū)的視頻解碼方法的流 程圖
[0139] 在操作91，從接收到的比特流提取表示每個(gè)編碼單元的分區(qū)的第一分區(qū)模式和分 區(qū)等級(jí)的分區(qū)信息?？赏ㄟ^對(duì)接收到的比特流進(jìn)行解析來提取每個(gè)分區(qū)的運(yùn)動(dòng)矢量和殘差 數(shù)據(jù)?？赏ㄟ^對(duì)接收到的比特流進(jìn)行解析來提取包括分區(qū)信息以及關(guān)于預(yù)測(cè)模式和編碼模 式的信息的編碼信息。
[0140]在操作92,使用基于在操作91提取的分區(qū)信息的第一分區(qū)模式和分區(qū)等級(jí)確定的 分區(qū)執(zhí)行預(yù)測(cè)解碼，從而恢復(fù)畫面?？蓮姆謪^(qū)信息讀取第一分區(qū)模式和分區(qū)等級(jí)，并可根據(jù) 第一分區(qū)模式讀取第二分區(qū)模式?？苫诘谝环謪^(qū)模式確定分區(qū)的形狀和劃分方向性，并 可基于分區(qū)等級(jí)確定與編碼單元的寬度或高度相關(guān)的分區(qū)的寬度或高度?？蓪?duì)每個(gè)分區(qū)的 殘差數(shù)據(jù)進(jìn)行解碼以恢復(fù)畫面。
[0141]稍后將參照?qǐng)D8到圖22,描述根據(jù)本發(fā)明的實(shí)施例的使用用于基于具有樹形結(jié)構(gòu) 的編碼單元進(jìn)行預(yù)測(cè)編碼的可變分區(qū)的視頻的編碼和解碼。
[0142] 圖8是根據(jù)本發(fā)明的實(shí)施例的使用用于基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè)編 碼的視頻編碼設(shè)備的框圖。
[0143] 根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的數(shù)據(jù)單元的組合的 視頻編碼設(shè)備100包括最大編碼單元?jiǎng)澐制?10、編碼單元確定器120和輸出單元130。為便 于解釋，使用基于具有樹形結(jié)構(gòu)的編碼單元的數(shù)據(jù)單元的組合的視頻編碼設(shè)備100以下將 簡(jiǎn)稱為視頻編碼設(shè)備100。
[0144] 最大編碼單元?jiǎng)澐制?10可基于圖像的當(dāng)前畫面的最大編碼單元來劃分所述當(dāng)前 畫面。如果當(dāng)前畫面大于最大編碼單元，則當(dāng)前畫面的圖像數(shù)據(jù)可被劃分為至少一個(gè)最大 編碼單元。根據(jù)本發(fā)明的實(shí)施例的最大編碼單元可以是具有尺寸為32 X32、64X 64、128 X 128、256X 256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長(zhǎng)度為2的若干次方的正方 形。圖像數(shù)據(jù)可根據(jù)至少一個(gè)最大編碼單元被輸出到編碼單元確定器120。
[0145] 根據(jù)本發(fā)明的實(shí)施例的編碼單元可由最大尺寸和深度來表征。深度表示從最大編 碼單元空間劃分編碼單元的次數(shù)，并且隨著深度的加深，可將根據(jù)深度的較深層編碼單元 從最大編碼單兀劃分為最小編碼單兀。最大編碼單兀的深度是最尚深度，最小編碼單兀的 深度是最低深度。由于隨著最大編碼單元的深度加深，與每個(gè)深度相應(yīng)的編碼單元的尺寸 減小，因此，與更高的深度相應(yīng)的編碼單元可包括多個(gè)與更低的深度相應(yīng)的編碼單元。
[0146] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單 元，并且最大編碼單元中的每個(gè)可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)本發(fā) 明的實(shí)施例的最大編碼單元根據(jù)深度被劃分，因此包括在最大編碼單元中的空間域的圖像 數(shù)據(jù)可根據(jù)深度被分層地分類。
[0147] 可預(yù)先確定編碼單元的最大深度和最大尺寸，其中，編碼單元的最大深度和最大 尺寸限制最大編碼單元的高度和寬度可被分層地劃分的總次數(shù)。
[0148] 編碼單元確定器120對(duì)通過根據(jù)深度劃分最大編碼單元的區(qū)域而獲得的至少一個(gè) 劃分區(qū)域進(jìn)行編碼，并根據(jù)所述至少一個(gè)劃分區(qū)域確定用于輸出編碼圖像數(shù)據(jù)的深度。換 句話說，編碼單元確定器120通過基于當(dāng)前畫面的最大編碼單元對(duì)根據(jù)深度的較深層編碼 單元中的圖像數(shù)據(jù)進(jìn)行編碼并選擇具有最小編碼誤差的深度來確定編碼深度。因此，與確 定的編碼深度相應(yīng)的編碼單元的已編碼的圖像數(shù)據(jù)被最終輸出。另外，與編碼深度相應(yīng)的 編碼單元可被看作已編碼的編碼單元。
[0149] 確定的編碼深度和根據(jù)確定的編碼深度的編碼圖像數(shù)據(jù)被輸出到輸出單元130。
[0150] 基于與等于或低于最大深度的至少一個(gè)深度相應(yīng)的較深層編碼單元對(duì)最大編碼 單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于較深層編碼單元中的每個(gè)對(duì)針對(duì)圖像數(shù)據(jù)進(jìn)行編碼 的結(jié)果進(jìn)行比較。在將較深層編碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤 差的深度。可針對(duì)每個(gè)最大編碼單元選擇至少一個(gè)編碼深度。
[0151]隨著編碼單元根據(jù)深度被分層地劃分，并且隨著編碼單元的數(shù)量增加，最大編碼 單元的尺寸被劃分。另外，即使在一個(gè)最大編碼單元中多個(gè)編碼單元相應(yīng)于相同深度，也通 過分別測(cè)量每個(gè)編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與相同深度相應(yīng)的編碼單 元中的每一個(gè)劃分至更低的深度。因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個(gè)最大編碼單元中時(shí)， 圖像數(shù)據(jù)也根據(jù)多個(gè)深度被劃分為多個(gè)區(qū)域，在一個(gè)最大編碼單元中編碼誤差可根據(jù)區(qū)域 而不同，因此編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個(gè)最大編碼單元中可確 定一個(gè)或多個(gè)編碼深度，并且可根據(jù)至少一個(gè)編碼深度的編碼單元來劃分最大編碼單元的 圖像數(shù)據(jù)。
[0152] 因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹形結(jié)構(gòu)的編碼 單元。根據(jù)本發(fā)明的實(shí)施例的"具有樹形結(jié)構(gòu)的編碼單元"包括最大編碼單元中所包括的所 有較深層編碼單元中與確定為編碼深度的深度相應(yīng)的編碼單元。在最大編碼單元的相同區(qū) 域中，一編碼深度的編碼單元可根據(jù)深度被分層地確定，在不同的區(qū)域中，該編碼深度的編 碼單元可被獨(dú)立地確定。類似地，當(dāng)前區(qū)域中的編碼深度可獨(dú)立于另一區(qū)域中的編碼深度 被確定。
[0153] 根據(jù)本發(fā)明的實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元被劃分的 次數(shù)相關(guān)的索引。根據(jù)本發(fā)明的實(shí)施例的第一最大深度可表示圖像數(shù)據(jù)從最大編碼單元到 最小編碼單元的被劃分的總次數(shù)。根據(jù)本發(fā)明的實(shí)施例的第二最大深度可表示從最大編碼 單元到最小編碼單元的深度級(jí)的總數(shù)。例如，當(dāng)最大編碼單元的深度是〇時(shí)，最大編碼單元 被劃分一次的編碼單元的深度可被設(shè)置為1，并且最大編碼單元被劃分兩次的編碼單元的 深度可被設(shè)置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存 在深度為〇、1、2、3和4的5個(gè)深度級(jí)，因此，第一最大深度可被設(shè)置為4，第二最大深度可被設(shè) 置為5。
[0154] 可根據(jù)最大編碼單元執(zhí)行預(yù)測(cè)編碼和變換。還可根據(jù)最大編碼單元，基于根據(jù)等 于最大深度的深度或小于最大深度的多個(gè)深度的較深層編碼單元來執(zhí)行預(yù)測(cè)編碼和變換。 針對(duì)根據(jù)實(shí)施例的視頻編碼執(zhí)行的變換的示例可包括頻率變換、正交變換或整數(shù)變換等。
[0155] 由于每當(dāng)最大編碼單元根據(jù)深度被劃分時(shí)，較深層編碼單元的數(shù)量增加，因此對(duì) 由于深度的加深而產(chǎn)生的所有的較深層編碼單元執(zhí)行包括預(yù)測(cè)編碼和變換的編碼。為了便 于描述，現(xiàn)將在最大編碼單元中基于當(dāng)前深度的編碼單元來描述預(yù)測(cè)編碼和變換。
[0156] 視頻編碼設(shè)備100可不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形 狀。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行多個(gè)操作(諸如，預(yù)測(cè)編碼、變換和熵編碼），此時(shí)，可針 對(duì)所有操作使用相同的數(shù)據(jù)單元，或者可針對(duì)每個(gè)操作使用不同的數(shù)據(jù)單元。
[0157] 例如，視頻編碼設(shè)備100不僅可選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可選 擇與該編碼單元不同的數(shù)據(jù)單元，以便對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測(cè)編碼。
[0158] 為了在最大編碼單元中執(zhí)行預(yù)測(cè)編碼，可基于與編碼深度相應(yīng)的編碼單元（即，基 于不再被劃分為與更低深度相應(yīng)的多個(gè)編碼單元的編碼單元)執(zhí)行預(yù)測(cè)編碼。以下，不再被 劃分并且變?yōu)橛糜陬A(yù)測(cè)編碼的基本單元的編碼單元現(xiàn)在將被稱為"預(yù)測(cè)單元"。通過劃分預(yù) 測(cè)單元而獲得的分區(qū)可包括:通過劃分預(yù)測(cè)單元的高度和寬度中的至少一個(gè)而獲得的預(yù)測(cè) 單元或數(shù)據(jù)單元。
[0159] 例如，當(dāng)2NX2N(其中，N是正整數(shù)）的編碼單元不再被劃分并且變?yōu)?NX2N的預(yù)測(cè) 單元時(shí)，分區(qū)的尺寸可以是2NX2N、2NXN、NX 2N或NXN。分區(qū)類型的示例包括通過對(duì)預(yù)測(cè) 單元的高度或?qū)挾冗M(jìn)行對(duì)稱劃分而獲得的對(duì)稱分區(qū)、通過對(duì)預(yù)測(cè)單元的高度或?qū)挾冗M(jìn)行不 對(duì)稱劃分(諸如，1 :n或η: 1)而獲得的分區(qū)、通過對(duì)預(yù)測(cè)單元進(jìn)行幾何劃分而獲得的分區(qū)以 及具有任意形狀的分區(qū)。
[0160] 根據(jù)實(shí)施例的預(yù)測(cè)單元可包括以上參照?qǐng)D1至圖7描述的分區(qū)。換句話說，可基于 實(shí)施例的第一分區(qū)模式確定預(yù)測(cè)單元的形狀和劃分方向性，可基于分區(qū)等級(jí)的值確定預(yù)測(cè) 單元的尺寸相對(duì)于編碼單元的尺寸的比率?？筛鶕?jù)編碼單元的尺寸確定分區(qū)等級(jí)的允許的 范圍（即，分區(qū)等級(jí)的上限或下限）。
[0161] 可根據(jù)第一分區(qū)模式確定用于表示詳細(xì)分區(qū)的類型的第二分區(qū)模式。
[0162] 視頻編碼設(shè)備100可通過使用具有樹形結(jié)構(gòu)的預(yù)測(cè)單元基于第一分區(qū)模式之間和 分區(qū)等級(jí)之間的分層關(guān)系執(zhí)行預(yù)測(cè)編碼，并對(duì)預(yù)測(cè)編碼的結(jié)果進(jìn)行相互比較，從而確定具 有最高編碼效率的的分區(qū)。視頻編碼設(shè)備1〇〇可針對(duì)每個(gè)編碼單元確定提供最高編碼效率 的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)。
[0163] 預(yù)測(cè)單元的預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個(gè)。例如， 可對(duì)2N X 2N、2N X N、N X 2N或N X N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。另外，可僅對(duì)2N X 2N的 分區(qū)執(zhí)行跳過模式。對(duì)編碼單元中的一個(gè)預(yù)測(cè)單元獨(dú)立地執(zhí)行編碼，從而選擇具有最小編 碼誤差的預(yù)測(cè)模式。
[0164] 視頻編碼設(shè)備100還可基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元以及基于與該編 碼單元不同的數(shù)據(jù)單元，對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。
[0165] 為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元 來執(zhí)行變換。例如，所述變換單元可包括用于幀內(nèi)模式的變換單元以及用于幀間模式的變 換單元。
[0166] 與基于根據(jù)實(shí)施例的樹形結(jié)構(gòu)編碼單元類似，編碼單元中的變換單元可被遞歸地 劃分為更小尺寸的區(qū)域，因此編碼單元中的殘差數(shù)據(jù)可根據(jù)具有根據(jù)變換深度的樹形結(jié)構(gòu) 的變換被劃分。
[0167] 還可在變換單元中設(shè)置指示通過對(duì)編碼單元的高度和寬度進(jìn)行劃分而達(dá)到變換 單元的劃分次數(shù)的變換深度。例如，在2NX2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸也是2N X2N時(shí)，變換深度可以是0,在當(dāng)前編碼單元的高度和深度中的每一個(gè)被劃分為兩等份(總 共被劃分為4 1個(gè)變換單元)時(shí)，變換深度可以是1，并且變換單元的尺寸因此是NXN，在當(dāng)前 編碼單元的高度和深度中的每一個(gè)被劃分為四等份(總共被劃分為4 2個(gè)變換單元)時(shí)，變換 深度可以是2,并且變換單元的尺寸因此是N/2XN/2。例如，可根據(jù)分層樹形結(jié)構(gòu)來設(shè)置變 換單元，在分層樹形結(jié)構(gòu)中，更高變換深度的變換單元根據(jù)變換深度的分層特性被劃分為 更低變換深度的四個(gè)變換單元。
[0168] 與編碼單元類似，編碼單元中的變換單元可被遞歸地劃分為更小尺寸的區(qū)域，從 而可以以區(qū)域?yàn)閱挝华?dú)立地確定變換單元。因此，可根據(jù)具有根據(jù)變換深度的樹形結(jié)構(gòu)的 變換，來劃分編碼單元中的殘差數(shù)據(jù)。
[0169] 根據(jù)與編碼深度相應(yīng)的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需 要與預(yù)測(cè)編碼和變換相關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的 編碼深度，還確定預(yù)測(cè)單元中的分區(qū)類型、根據(jù)預(yù)測(cè)單元的預(yù)測(cè)模式以及用于變換的變換 單元的尺寸。
[0170] 稍后將參照?qǐng)D11至圖12來詳細(xì)地描述根據(jù)本發(fā)明的實(shí)施例的最大編碼單元中的 根據(jù)樹形結(jié)構(gòu)的編碼單元以及確定分區(qū)的方法。
[0171] 編碼單元確定器120可通過使用基于拉格朗日乘子(Lagrangian multiplier)的 率失真優(yōu)化來測(cè)量根據(jù)深度的更深的編碼單元的編碼誤差。
[0172] 輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)以及關(guān)于根據(jù)編碼深度的 編碼模式的信息，其中，所述圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個(gè)編碼深度 被編碼。
[0173] 可通過對(duì)圖像的殘差數(shù)據(jù)進(jìn)行編碼來獲得編碼圖像數(shù)據(jù)。
[0174] 關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于以下內(nèi)容的信息：編碼深度、預(yù) 測(cè)單元中的分區(qū)類型、預(yù)測(cè)模式以及變換單元的尺寸。
[0175] 可通過使用根據(jù)深度的劃分信息來定義關(guān)于編碼深度的信息，劃分信息指示是否 針對(duì)更低深度而非當(dāng)前深度的編碼單元來執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是編碼 深度，則當(dāng)前編碼單元中的圖像數(shù)據(jù)被編碼和輸出，因此劃分信息可被定義為不將當(dāng)前編 碼單元?jiǎng)澐譃楦蜕疃??？蛇x擇地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼深度，則對(duì)更低 深度的編碼單元執(zhí)行編碼，因此劃分信息可被定義為劃分當(dāng)前編碼單元以獲得更低深度的 編碼單元。
[0176] 如果當(dāng)前深度不是編碼深度，則對(duì)被劃分為更低深度的編碼單元的編碼單元執(zhí)行 編碼。由于更低深度的至少一個(gè)編碼單元存在于當(dāng)前深度的一個(gè)編碼單元中，對(duì)更低深度 的每個(gè)編碼單元重復(fù)地執(zhí)行編碼，因此可對(duì)具有相同深度的編碼單元遞歸地執(zhí)行編碼。
[0177] 由于對(duì)一個(gè)最大編碼單元確定具有樹形結(jié)構(gòu)的編碼單元，并且對(duì)編碼深度的編碼 單元確定關(guān)于至少一個(gè)編碼模式的信息，因此可對(duì)一個(gè)最大編碼單元確定關(guān)于至少一個(gè)編 碼模式的信息。另外，由于圖像數(shù)據(jù)根據(jù)深度被分層地劃分，最大編碼單元的圖像數(shù)據(jù)的編 碼深度可根據(jù)位置而不同，因此可對(duì)圖像數(shù)據(jù)設(shè)置關(guān)于編碼深度以及編碼模式的信息。
[0178] 因此，輸出單元130可將關(guān)于相應(yīng)編碼深度和編碼模式的編碼信息分配給包括在 最大編碼單元中的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。
[0179] 根據(jù)本發(fā)明的實(shí)施例的最小單元是對(duì)組成最低深度的最小編碼單元進(jìn)行劃分4次 而獲得的矩形數(shù)據(jù)單元?？蛇x擇地，最小單元可以是最大矩形數(shù)據(jù)單元，最大矩形數(shù)據(jù)單元 可被包括在最大編碼單元中所包括的所有編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元中。
[0180] 例如，通過輸出單元130輸出的編碼信息可被分類為根據(jù)編碼單元的編碼信息以 及根據(jù)預(yù)測(cè)單元的編碼信息。根據(jù)編碼單元的編碼信息可包括關(guān)于預(yù)測(cè)模式的信息以及關(guān) 于分區(qū)的尺寸的信息。根據(jù)預(yù)測(cè)單元的編碼信息可包括關(guān)于以下內(nèi)容的信息：幀間模式的 估計(jì)方向、幀間模式的參考圖像索引、運(yùn)動(dòng)矢量、幀內(nèi)模式的色度分量以及幀內(nèi)模式的插值 方法。另外，關(guān)于根據(jù)畫面、像條或G0P定義的編碼單元的最大尺寸的信息以及關(guān)于最大深 度的信息可被插入到比特流的頭。
[0181] 當(dāng)基于以上參照?qǐng)D1至圖7描述的第一分區(qū)模式、分區(qū)等級(jí)等確定預(yù)測(cè)單元時(shí)，輸 出單元130可對(duì)包括分區(qū)的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)信息進(jìn)行編碼和輸出以用作編 碼信息。輸出單元130還可以以預(yù)測(cè)單元為單位對(duì)運(yùn)動(dòng)矢量和殘差數(shù)據(jù)進(jìn)行編碼，并輸出編 碼的結(jié)果。
[0182] 在視頻編碼設(shè)備100中，較深層編碼單元可以是通過將作為上一層的更高深度的 編碼單元的高度或?qū)挾葎澐謨蓚€(gè)而獲得的編碼單元。換句話說，在當(dāng)前深度的編碼單元的 尺寸是2NX2N時(shí)，更低深度的編碼單元的尺寸是NXN。另外，具有2NX2N的尺寸的當(dāng)前深度 的編碼單元可包括最多4個(gè)更低深度的編碼單元。
[0183] 因此，視頻編碼設(shè)備100可通過基于考慮當(dāng)前畫面的特性所確定的最大編碼單元 的尺寸和最大深度，針對(duì)每個(gè)最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元，來 形成具有樹形結(jié)構(gòu)的編碼單元。另外，由于通過使用各種預(yù)測(cè)模式和變換中的任何一個(gè)對(duì) 每個(gè)最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特性來確定最佳編碼 模式。
[0184] 另外，由于編碼單元被劃分的預(yù)測(cè)單元和分區(qū)的類型可基于編碼單元的多種尺寸 而變化，還可基于第一分區(qū)模式、分區(qū)等級(jí)、第二分區(qū)模式等而變化，因此可執(zhí)行基于包括 在編碼單元中的圖像特性的預(yù)測(cè)編碼。
[0185] 圖9是根據(jù)本發(fā)明的實(shí)施例的使用用于基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行視頻編 碼的可變分區(qū)的視頻解碼設(shè)備200的框圖。
[0186] 根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的數(shù)據(jù)單元的組合的 視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器 230。為便于解釋，使用基于具有樹形結(jié)構(gòu)的編碼單元的數(shù)據(jù)單元的組合的視頻解碼設(shè)備 200以下將被簡(jiǎn)稱為視頻解碼設(shè)備200。
[0187] 用于視頻解碼設(shè)備200的各種操作的各種術(shù)語(諸如，編碼單元、深度、預(yù)測(cè)單元、 變換單元和關(guān)于各種編碼模式的信息）的定義與以上參照?qǐng)D8和視頻編碼設(shè)備100描述的那 些定義和信息類似。
[0188] 接收器210接收編碼視頻的比特流并對(duì)該比特流進(jìn)行解析。圖像數(shù)據(jù)和編碼信息 提取器220從解析的比特流提取用于每個(gè)編碼單元的編碼圖像數(shù)據(jù)，其中，編碼單元具有根 據(jù)每個(gè)最大編碼單元的樹形結(jié)構(gòu)，并且將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230。圖像 數(shù)據(jù)和編碼信息提取器220可從關(guān)于當(dāng)前畫面的頭或者SPS提取關(guān)于當(dāng)前畫面的編碼單元 的最大尺寸的信息。
[0189] 另外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取關(guān)于根據(jù)每個(gè)最大編 碼單元的用于具有樹形結(jié)構(gòu)的編碼單元的編碼深度以及編碼模式的信息。提取的關(guān)于編碼 深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃 分為最大編碼單元，從而圖像數(shù)據(jù)解碼器230針對(duì)每個(gè)最大編碼單元對(duì)圖像數(shù)據(jù)進(jìn)行解碼。
[0190] 可針對(duì)關(guān)于與編碼深度相應(yīng)的至少一個(gè)編碼單元的信息來設(shè)置關(guān)于根據(jù)最大編 碼單元的編碼深度和編碼模式的信息，并且關(guān)于編碼模式的信息可包括關(guān)于以下內(nèi)容中的 信息：與編碼深度相應(yīng)的相應(yīng)編碼單元的分區(qū)類型、預(yù)測(cè)模式以及變換單元的尺寸。另外， 根據(jù)實(shí)施例的關(guān)于編碼深度和編碼模式的編碼信息還可包括關(guān)于當(dāng)前預(yù)測(cè)單元或當(dāng)前分 區(qū)的與組合相關(guān)的信息。
[0191]由圖像數(shù)據(jù)和編碼信息提取器220提取的關(guān)于根據(jù)每個(gè)最大編碼單元的編碼深度 和編碼模式的信息是關(guān)于這樣的編碼深度和編碼模式的信息:所述編碼深度和編碼模式被 確定用于當(dāng)編碼器(諸如，視頻編碼設(shè)備100)根據(jù)每個(gè)最大編碼單元針對(duì)根據(jù)深度的每個(gè) 較深層編碼單元重復(fù)執(zhí)行編碼時(shí)產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn) 生最小編碼誤差的編碼深度和編碼模式對(duì)圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)圖像。
[0192]由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給來自相應(yīng)編碼單元、預(yù)測(cè)單 元以及最小單元中的預(yù)定數(shù)據(jù)單元，因此，圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù) 單元提取關(guān)于編碼深度和編碼模式的信息。被分配有相同的關(guān)于編碼深度和編碼模式的信 息的預(yù)定數(shù)據(jù)單元可指的是包括在相同的最大編碼單元中的數(shù)據(jù)單元。
[0193] 根據(jù)實(shí)施例的關(guān)于編碼模式的信息可包括分區(qū)信息，所述分區(qū)信息包括第一分區(qū) 模式和分區(qū)等級(jí)。
[0194] 圖像數(shù)據(jù)解碼器230通過基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信 息對(duì)每個(gè)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前畫面。換句話說，圖像數(shù)據(jù)解碼 器230可基于提取的關(guān)于來自包括在每個(gè)最大編碼單元中的具有樹形結(jié)構(gòu)的編碼單元的每 個(gè)編碼單元的分區(qū)類型、預(yù)測(cè)模式和變換單元的信息來對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼。解碼處 理可包括預(yù)測(cè)(所述預(yù)測(cè)包括幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償)和反變換。
[0195] 圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的預(yù)測(cè)單元的分區(qū)類型 以及預(yù)測(cè)模式的信息，根據(jù)每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式來執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。
[0196] 圖像數(shù)據(jù)解碼器230可從關(guān)于編碼模式的信息中讀取分區(qū)信息，并從分區(qū)信息中 確定基于第一分區(qū)模式和分區(qū)等級(jí)定義的分區(qū)。圖像數(shù)據(jù)解碼器230可基于根據(jù)實(shí)施例的 第一分區(qū)模式確定預(yù)測(cè)單元的形狀和劃分方向性，并基于分區(qū)等級(jí)的值確定預(yù)測(cè)單元的尺 寸相對(duì)于編碼單元的尺寸的比率。根據(jù)第一分區(qū)模式，圖像數(shù)據(jù)解碼器230可考慮用于表示 詳細(xì)的分區(qū)的類型的第二分區(qū)模式來確定分區(qū)。
[0197] 根據(jù)實(shí)施例的第一分區(qū)模式、分區(qū)等級(jí)和第二分區(qū)模式可定義這樣的分區(qū)，其中， 通過在編碼處理期間使用具有基于第一分區(qū)模式之間和分區(qū)等級(jí)之間的分層關(guān)系的樹形 結(jié)構(gòu)的預(yù)測(cè)單元，執(zhí)行預(yù)測(cè)編碼來確定具有最高編碼效率的分區(qū)。圖像數(shù)據(jù)解碼器230可通 過使用提供最高編碼效率的第一分區(qū)模式和分區(qū)等級(jí)的分區(qū)來針對(duì)每個(gè)編碼單元執(zhí)行預(yù) 測(cè)解碼。
[0198] 另外，圖像數(shù)據(jù)解碼器230可讀取關(guān)于基于樹形結(jié)構(gòu)的變換單元的信息，其中，所 述信息包括關(guān)于根據(jù)編碼深度的編碼單元的變換單元的尺寸的信息，圖像數(shù)據(jù)解碼器230 根據(jù)編碼單元為單位執(zhí)行基于變換單元的反變換，從而根據(jù)最大編碼單元執(zhí)行反變換。
[0199] 圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當(dāng)前最大編碼單元的 至少一個(gè)編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是 編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過使用關(guān)于與編碼深度相應(yīng)的每個(gè)編碼單元的關(guān) 于預(yù)測(cè)單元的分區(qū)類型、預(yù)測(cè)模式以及變換單元的尺寸的信息，來對(duì)當(dāng)前最大編碼單元中 與每個(gè)編碼深度相應(yīng)的至少一個(gè)編碼單元的編碼數(shù)據(jù)進(jìn)行解碼，并且輸出當(dāng)前最大編碼單 元的圖像數(shù)據(jù)。
[0200] 換句話說，可通過觀察為來自編碼單元、預(yù)測(cè)單元和最小單元的針對(duì)預(yù)定數(shù)據(jù)單 元分配的編碼信息集，來收集包括包含相同劃分信息的編碼信息的數(shù)據(jù)單元，收集的數(shù)據(jù) 單元可被認(rèn)為是將由圖像數(shù)據(jù)解碼器以相同的編碼模式進(jìn)行解碼的一個(gè)數(shù)據(jù)單元。
[0201] 視頻解碼設(shè)備200可獲得關(guān)于當(dāng)針對(duì)每個(gè)最大編碼單元遞歸執(zhí)行編碼時(shí)產(chǎn)生最小 編碼誤差的至少一個(gè)編碼單元的信息，并可使用所述信息來對(duì)當(dāng)前畫面進(jìn)行解碼。換句話 說，可對(duì)每個(gè)最大編碼單元中被確定為最佳編碼單元的具有樹形結(jié)構(gòu)的編碼單元進(jìn)行解 碼。
[0202] 視頻解碼設(shè)備200提取并讀取關(guān)于確定分區(qū)的方法的分區(qū)信息，其中，所述方法通 過針對(duì)具有樹形結(jié)構(gòu)的多個(gè)預(yù)測(cè)單元的預(yù)測(cè)編碼的結(jié)果之間的比較來確定分區(qū)，視頻解碼 設(shè)備200通過使用所述分區(qū)信息執(zhí)行預(yù)測(cè)解碼，從而能夠進(jìn)行準(zhǔn)確的解碼。
[0203] 現(xiàn)在將參照?qǐng)D10至圖20對(duì)根據(jù)本發(fā)明的實(shí)施例的確定具有樹形結(jié)構(gòu)的編碼單元、 預(yù)測(cè)單元和變換單元的方法進(jìn)行描述。
[0204]圖10是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的概念的示圖。
[0205] 編碼單元的尺寸可按照寬度X高度來表達(dá)，并可以是64 X 64、32 X 32、16 X 16和8 X 8。64 X 64的編碼單元可被劃分為64 X 64、64 X 32、32 X 64或32 X 32的分區(qū)，32 X 32的編碼 單元可被劃分為32 X 32、32 X 16、16 X 32或16 X 16的分區(qū)，16 X 16的編碼單元可被劃分為16 X 16、16 X 8、8 X 16或8 X 8的分區(qū)，8 X 8的編碼單元可被劃分為8 X 8、8 X 4、4 X 8或4 X 4的分 區(qū)。
[0206] 在視頻數(shù)據(jù)310中，分辨率是1920X1080,編碼單元的最大尺寸是64,并且最大深 度是2。在視頻數(shù)據(jù)320中，分辨率是1920 X 1080，編碼單元的最大尺寸是64，并且最大深度 是3。在視頻數(shù)據(jù)330中，分辨率是352X288,編碼單元的最大尺寸是16,并且最大深度是1。 圖3中示出的最大深度表示從最大編碼單元到最小編碼單元的劃分總數(shù)。
[0207]如果分辨率高或者數(shù)據(jù)量大，則編碼單元的最大尺寸可以很大以便增加編碼效率 并且準(zhǔn)確地反映圖像的特性。因此，視頻數(shù)據(jù)310和視頻數(shù)據(jù)320的編碼單元的最大尺寸可 以是64,其中，視頻數(shù)據(jù)310和視頻數(shù)據(jù)320具有的分辨率高于視頻數(shù)據(jù)330的分辨率。
[0208] 因?yàn)橛捎谝曨l數(shù)據(jù)310的最大深度是2而通過劃分最大編碼單元兩次深度被加深 到兩層，所以視頻數(shù)據(jù)310的編碼單元315可包括具有長(zhǎng)軸尺寸64的最大編碼單元以及具有 長(zhǎng)軸尺寸32和16的編碼單元。同時(shí)，因?yàn)橛捎谝曨l數(shù)據(jù)330的最大深度是1而通過劃分最大 編碼單元一次深度被加深到一層，因此視頻數(shù)據(jù)330的編碼單元335可包括具有長(zhǎng)軸尺寸16 的最大編碼單元以及具有長(zhǎng)軸尺寸8的編碼單元。
[0209] 因?yàn)橛捎谝曨l數(shù)據(jù)320的最大深度是3而通過劃分最大編碼單元三次深度被加深 到3層，因此視頻數(shù)據(jù)320的編碼單元325可包括具有長(zhǎng)軸尺寸64的最大編碼單元以及具有 長(zhǎng)軸尺寸32、16和8的編碼單元。隨著深度的加深，可精確地表達(dá)詳細(xì)的信息。
[0210] 圖11是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器400的框圖。
[0211]圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作以對(duì)圖像數(shù)據(jù) 進(jìn)行編碼。換句話說，幀內(nèi)預(yù)測(cè)器410在幀內(nèi)模式下對(duì)當(dāng)前幀405中的編碼單元執(zhí)行幀內(nèi)預(yù) 測(cè)，運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425在幀間模式下通過使用當(dāng)前幀405和參考幀495對(duì)當(dāng)前 幀405中的編碼單元執(zhí)行幀間估計(jì)和運(yùn)動(dòng)補(bǔ)償。
[0212] 從幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425輸出的數(shù)據(jù)通過變換器430和 量化器440被輸出為量化的變換系數(shù)。量化的變換系數(shù)通過反量化器460和反變換器470被 恢復(fù)為空間域中的數(shù)據(jù)，并且恢復(fù)的空間域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單元 490被后處理之后被輸出為參考幀495。量化的變換系數(shù)可通過熵編碼器450被輸出為比特 流455。
[0213]為了使得圖像編碼器400被應(yīng)用到視頻編碼設(shè)備100中，圖像編碼器400的所有元 件（即，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420、運(yùn)動(dòng)補(bǔ)償器425、變換器430、量化器440、熵編碼器 450、反量化器460、反變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個(gè)最大編碼單 元的最大深度的同時(shí)，基于具有樹形結(jié)構(gòu)的多個(gè)編碼單元中的每個(gè)編碼單元執(zhí)行操作。
[0214] 具體地講，幀內(nèi)預(yù)測(cè)器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425在考慮當(dāng)前最大編碼 單元的最大尺寸和最大深度的同時(shí)，確定具有樹形結(jié)構(gòu)的多個(gè)編碼單元中的每個(gè)編碼單元 的分區(qū)和預(yù)測(cè)模式，并且變換器430確定具有樹形結(jié)構(gòu)的多個(gè)編碼單元的每個(gè)編碼單元中 的變換單元的尺寸。
[0215] 圖12是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器500的框圖。
[0216] 解析器510對(duì)來自比特流505的將被解碼的編碼的圖像數(shù)據(jù)以及解碼所需的關(guān)于 編碼的信息進(jìn)行解析。編碼的圖像數(shù)據(jù)通過熵解碼器520和反量化器530作為反量化的數(shù)據(jù) 被輸出，并且反量化的數(shù)據(jù)通過反變換器540被恢復(fù)為空間域中的圖像數(shù)據(jù)。
[0217] 幀內(nèi)預(yù)測(cè)器550對(duì)于空間域中的圖像數(shù)據(jù)在幀內(nèi)模式下對(duì)多個(gè)編碼單元執(zhí)行幀內(nèi) 預(yù)測(cè)，運(yùn)動(dòng)補(bǔ)償器560通過使用參考幀585在幀間模式下對(duì)多個(gè)編碼單元執(zhí)行運(yùn)動(dòng)補(bǔ)償。
[0218] 經(jīng)過幀內(nèi)預(yù)測(cè)器550和運(yùn)動(dòng)補(bǔ)償器560的空間域中的圖像數(shù)據(jù)可在通過去塊單元 570和環(huán)路濾波單元580被后處理之后被輸出為恢復(fù)的幀595。另外，經(jīng)過去塊單元570和環(huán) 路濾波單元580被后處理的圖像數(shù)據(jù)可被輸出為參考幀585。
[0219] 為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對(duì)圖像數(shù)據(jù)進(jìn)行解碼，圖像解碼 器500可執(zhí)行在解析器510之后執(zhí)行的操作。
[0220]為了使得圖像解碼器500被應(yīng)用到視頻解碼設(shè)備200中，圖像解碼器500的所有元 件（即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內(nèi)預(yù)測(cè)器550、運(yùn)動(dòng)補(bǔ)償器 560、去塊單元570和環(huán)路濾波單元580)對(duì)于每個(gè)最大編碼單元基于具有樹形結(jié)構(gòu)的多個(gè)編 碼單元執(zhí)行操作。
[0221] 具體地講，幀內(nèi)預(yù)測(cè)器550和運(yùn)動(dòng)補(bǔ)償器560基于針對(duì)具有樹形結(jié)構(gòu)的多個(gè)編碼單 元中的每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式來執(zhí)行操作，并且反變換器540基于針對(duì)每個(gè)編碼 單元的變換單元的尺寸來執(zhí)行操作。
[0222] 圖13是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)多個(gè)深度的多個(gè)較深層編碼單元和多個(gè) 分區(qū)的示圖。
[0223] 視頻編碼設(shè)備100和視頻解碼設(shè)備200使用多個(gè)分層的編碼單元以考慮圖像的特 性。多個(gè)編碼單元的最大高度、最大寬度和最大深度可根據(jù)圖像的特性被自適應(yīng)地確定，或 者可由用戶不同地設(shè)置。根據(jù)多個(gè)深度的多個(gè)較深層編碼單元的尺寸可根據(jù)編碼單元的預(yù) 定最大尺寸被確定。
[0224] 在根據(jù)本發(fā)明的實(shí)施例的多個(gè)編碼單元的分層結(jié)構(gòu)600中，多個(gè)編碼單元的最大 尚度和最大寬度都是64,并且最大深度是4。最大深度表不從最大編碼單兀到最小編碼單兀 的劃分總數(shù)。由于深度沿著分層結(jié)構(gòu)600的縱軸加深，因此較深層編碼單元的高度和寬度都 被劃分。另外，作為用于每個(gè)較深層編碼單元的預(yù)測(cè)編碼的基礎(chǔ)的預(yù)測(cè)單元和多個(gè)分區(qū)沿 分層結(jié)構(gòu)600的橫軸被顯示。
[0225] 換句話說，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度是0,尺寸 (即，高度乘寬度)是64 X 64。深度沿縱軸加深，并且存在具有尺寸32 X 32和深度1的編碼單 元620、具有尺寸16 X 16和深度2的編碼單元630、具有尺寸8 X 8和深度3的編碼單元640以及 具有尺寸4 X 4和深度4的編碼單元650。具有尺寸4 X 4和深度4的編碼單元650是最小編碼單 J L· 〇
[0226] 編碼單元的預(yù)測(cè)單元和多個(gè)分區(qū)根據(jù)每個(gè)深度沿橫軸排列。換句話說，如果具有 尺寸64 X 64和深度0的編碼單元610是預(yù)測(cè)單元，則該預(yù)測(cè)單元可被劃分為包括在編碼單元 610中的多個(gè)分區(qū)（即，具有尺寸64X64的分區(qū)610、具有尺寸64X32的多個(gè)分區(qū)612、具有尺 寸32 X 64的多個(gè)分區(qū)614、或者具有尺寸32 X 32的多個(gè)分區(qū)616)。
[0227] 類似地，具有尺寸32X32和深度1的編碼單元620的預(yù)測(cè)單元可被劃分為包括在編 碼單元620中的多個(gè)分區(qū)（即，具有尺寸32X32的分區(qū)620、具有尺寸32X16的多個(gè)分區(qū)622、 具有尺寸16 X 32的多個(gè)分區(qū)624以及具有尺寸16 X 16的多個(gè)分區(qū)626)。
[0228] 類似地，具有尺寸16X16和深度2的編碼單元630的預(yù)測(cè)單元可被劃分為包括在編 碼單元630中的多個(gè)分區(qū)（即，包括在編碼單元630中的具有尺寸16X16的分區(qū)、具有尺寸16 X 8的多個(gè)分區(qū)632、具有尺寸8X16的多個(gè)分區(qū)634以及具有尺寸8X8的多個(gè)分區(qū)636)。
[0229] 類似地，具有尺寸8X8和深度3的編碼單元640的預(yù)測(cè)單元可被劃分為包括在編碼 單元640中的多個(gè)分區(qū)（即，包括在編碼單元640中的具有尺寸8 X 8的分區(qū)、具有尺寸8 X 4的 多個(gè)分區(qū)642、具有尺寸4 X 8的多個(gè)分區(qū)644以及具有尺寸4 X 4的多個(gè)分區(qū)646)。
[0230]具有尺寸4X4和深度4的編碼單元650是最小編碼單元以及最低深度的編碼單元。 編碼單元650的預(yù)測(cè)單元僅被分配給具有尺寸4X4的分區(qū)。還可使用具有尺寸4X2的多個(gè) 分區(qū)652、具有尺寸2X4的多個(gè)分區(qū)654以及具有尺寸2X2的多個(gè)分區(qū)656。
[0231] 由于在圖13中示出的多個(gè)分區(qū)具有通過將與所述多個(gè)分區(qū)相應(yīng)的編碼單元的高 度和寬度中的至少一個(gè)兩等分而獲得的形狀，因此圖13的多個(gè)分區(qū)可相應(yīng)于以上參照?qǐng)D1 至圖7描述的分區(qū)等級(jí)為0的第一編碼模式0、1、2和3的分區(qū)集合40、41、42和43。例如，分區(qū) 610、620、630、640和650可相應(yīng)于分區(qū)等級(jí)為0的第一分區(qū)模式0的分區(qū)集合40，并且分區(qū) 612、622、632、642和652可相應(yīng)于分區(qū)等級(jí)為0的第一分區(qū)模式1的分區(qū)集合41。分區(qū)614、 624、634、644和654可相應(yīng)于分區(qū)等級(jí)為0的第一分區(qū)模式2的分區(qū)集合42，并且分區(qū)616、 626、636、646和656可相應(yīng)于分區(qū)等級(jí)為0的第一分區(qū)模式3的分區(qū)集合43。
[0232] 為了確定構(gòu)成最大編碼單元610的多個(gè)編碼單元的至少一個(gè)編碼深度，視頻編碼 設(shè)備100的編碼單元確定器120對(duì)包括在最大編碼單元610中的與每個(gè)深度相應(yīng)的編碼單元 執(zhí)行編碼。
[0233] 隨著深度的加深，包括相同范圍中并且相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼 單元的數(shù)量增加。例如，需要四個(gè)與深度2相應(yīng)的編碼單元以覆蓋包括在一個(gè)與深度1相應(yīng) 的編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度對(duì)相同數(shù)據(jù)的多個(gè)編碼結(jié)果進(jìn)行比較，與深度1 相應(yīng)的編碼單元以及與深度2相應(yīng)的四個(gè)編碼單元都被編碼。
[0234] 為了對(duì)多個(gè)深度中的當(dāng)前深度執(zhí)行編碼，沿分層結(jié)構(gòu)600的橫軸，通過對(duì)與當(dāng)前深 度相應(yīng)的多個(gè)編碼單元中的每個(gè)預(yù)測(cè)單元執(zhí)行編碼來對(duì)當(dāng)前深度選擇最小編碼誤差?？蛇x 擇地，可通過隨著深度沿分層結(jié)構(gòu)600的縱軸加深，對(duì)每個(gè)深度執(zhí)行編碼，根據(jù)深度比較最 小編碼誤差，來搜索最小編碼誤差。在編碼單元610中的具有最小編碼誤差的深度和分區(qū)可 被選作為編碼單元610的編碼深度和分區(qū)類型。
[0235] 圖14是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元710和變換單元720之間的關(guān)系 的示圖。
[0236] 視頻編碼設(shè)備100或視頻解碼設(shè)備200針對(duì)每個(gè)最大編碼單元根據(jù)具有尺寸小于 或等于最大編碼單元的多個(gè)編碼單元來對(duì)圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)編碼單 元的多個(gè)數(shù)據(jù)單元來選擇在編碼期間用于變換的多個(gè)變換單元的多個(gè)尺寸。
[0237] 例如，在視頻編碼設(shè)備100或視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64 X 64,則可通過使用具有尺寸32X32的多個(gè)變換單元720來執(zhí)行變換。
[0238] 另外，可通過對(duì)具有尺寸小于64 X 64的尺寸32 X 32、16 X 16、8 X 8和4 X 4的每個(gè)變 換單元執(zhí)行變換，來對(duì)具有尺寸64 X 64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，并且隨后具有最小 編碼誤差的變換單元可被選擇。
[0239] 圖15是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的多個(gè)編碼單元的編碼 信息的示圖。
[0240] 視頻編碼設(shè)備100的輸出單元130可將如下信息作為關(guān)于編碼模式的信息進(jìn)行編 碼和發(fā)送:關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測(cè)模式的信息810以及關(guān)于與編碼深度相應(yīng)的 每個(gè)編碼單元的變換單元的尺寸的信息820。
[0241] 信息800指示關(guān)于通過劃分當(dāng)前編碼單元的預(yù)測(cè)單元而獲得的分區(qū)的形狀的信 息，其中，所述分區(qū)是用于對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼的數(shù)據(jù)單元。例如，具有尺寸2NX 2N的當(dāng)前編碼單元CU_0可被劃分為如下分區(qū)中的任何一個(gè):具有尺寸2NX2N的分區(qū)802、具 有尺寸2NXN的分區(qū)804、具有尺寸NX 2N的分區(qū)806以及具有尺寸NXN的分區(qū)808。
[0242]信息810指示每個(gè)分區(qū)的預(yù)測(cè)模式。例如，信息810可指示對(duì)由信息800指示的分區(qū) 執(zhí)行的預(yù)測(cè)編碼的模式（即，幀內(nèi)模式812、幀間模式814或跳過模式816)。
[0243] 信息820指示當(dāng)對(duì)當(dāng)前編碼單元執(zhí)行變換時(shí)將被基于的變換單元。例如，變換單元 可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀內(nèi)變 換單元828。
[0244] 視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個(gè)較深層編碼單元 來提取并使用用于解碼的信息800、810和820。
[0245] 信息800可包括如關(guān)于根據(jù)實(shí)施例的編碼模式的信息的分區(qū)信息。例如，信息800 可包括基于第一分區(qū)模式信息、分區(qū)等級(jí)和第二分區(qū)模式信息確定的分區(qū)類型。
[0246] 圖16是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元的示圖。
[0247] 劃分信息可用于指示深度的改變。劃分信息指示當(dāng)前深度的編碼單元是否被劃分 為更低深度的多個(gè)編碼單元。
[0248] 用于對(duì)深度0和尺寸2N_0X2N_0的編碼單元900進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元910可包 括如下分區(qū)類型的多個(gè)分區(qū)：具有尺寸2N_0X2N_0的分區(qū)類型912、具有尺寸2N_0XN_0的 分區(qū)類型914、具有尺寸N_0X2N_0的分區(qū)類型916以及具有尺寸Ν_0ΧΝ_0的分區(qū)類型918。 盡管圖16僅示出通過對(duì)預(yù)測(cè)單元910對(duì)稱劃分而獲得的分區(qū)類型912至918,但是應(yīng)該理解 分區(qū)類型不限于此，并且預(yù)測(cè)單元910的多個(gè)分區(qū)可包括多個(gè)不對(duì)稱分區(qū)、具有預(yù)定形狀的 多個(gè)分區(qū)以及具有幾何形狀的多個(gè)分區(qū)。
[0249] 根據(jù)每個(gè)分區(qū)類型對(duì)如下分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼:具有尺寸2N_0 X 2N_0的一個(gè) 分區(qū)、具有尺寸2N_0 XN_0的兩個(gè)分區(qū)、具有尺寸N_0 X 2N_0的兩個(gè)分區(qū)以及具有尺寸N_0 X N_0的四個(gè)分區(qū)?？蓪?duì)具有尺寸2N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0以及N_0 X N_0的多個(gè)分 區(qū)執(zhí)行幀內(nèi)模式和幀間模式的預(yù)測(cè)編碼。僅對(duì)具有尺寸2N_0X2N_0的分區(qū)執(zhí)行跳過模式的 預(yù)測(cè)編碼。
[0250] 包括以分區(qū)類型912至918的預(yù)測(cè)編碼的編碼誤差被比較，并且在多個(gè)分區(qū)類型中 確定最小編碼誤差。如果一編碼誤差在分區(qū)類型912至916之一中最小，則預(yù)測(cè)單元910可不 被劃分為更低深度。
[0251]如果該編碼誤差在分區(qū)類型918中最小，則在操作920,深度從0改變?yōu)?以劃分分 區(qū)類型918,并且對(duì)具有深度2和尺寸Ν_0ΧΝ_0的編碼單元930重復(fù)地執(zhí)行編碼以搜索最小 編碼誤差。
[0252] 用于對(duì)具有深度1和尺寸211\211(=1〇\1〇)的編碼單元930進(jìn)行預(yù)測(cè)編碼 的預(yù)測(cè)單元940可包括如下分區(qū)類型的多個(gè)分區(qū)：具有尺寸2N_1X2N_1的分區(qū)類型942、具 有尺寸2N_1 XN_1的分區(qū)類型944、具有尺寸11 X 2N_1的分區(qū)類型946以及具有尺寸N_1 X N_1的分區(qū)類型948。
[0253] 如果編碼誤差在分區(qū)類型948中最小，則在操作950,深度從1改變?yōu)?以劃分分區(qū) 類型948,并且對(duì)具有深度2和尺寸N_2XN_2的編碼單元960重復(fù)地執(zhí)行編碼以搜索最小編 碼誤差。
[0254] 當(dāng)最大深度是d時(shí)，可執(zhí)行根據(jù)每個(gè)深度的劃分操作直到當(dāng)深度變?yōu)閐-Ι，并且劃 分信息可被編碼直到當(dāng)深度是〇至d-2之一。換句話說，當(dāng)執(zhí)行編碼直到在操作970與深度d-2相應(yīng)的編碼單元被劃分之后深度是d-1時(shí)，用于對(duì)具有深度d-1和尺寸2N_(d-l)X2N_(d- 1)的編碼單元980進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元990可包括如下分區(qū)類型的多個(gè)分區(qū)：具有尺寸 2N_(d-l)X2N_(d-l)的分區(qū)類型992、具有尺寸2N_(d-l)XN_(d-l)的分區(qū)類型994、具有尺 寸N_(d-1) X 2N_(d-l)的分區(qū)類型996以及具有尺寸N_(d-1) XN_(d-1)的分區(qū)類型998。
[0255] 可對(duì)如下分區(qū)重復(fù)地執(zhí)行預(yù)測(cè)編碼:分區(qū)類型992至998中的具有尺寸2N_(d_l)X 2N_(d-l)的一個(gè)分區(qū)、具有尺寸2N_(d-l) X N_(d-1)的兩個(gè)分區(qū)、具有尺寸N_(d-1) X 2N_ (d-1)的兩個(gè)分區(qū)、具有尺寸N_(d-1) XN_(d-l)的四個(gè)分區(qū)，以搜索具有最小編碼誤差的分 區(qū)類型。
[0256] 即使在分區(qū)類型998具有最小編碼誤差時(shí)，由于最大深度是d，因此具有深度d-Ι的 編碼單元CU_(d-l)不再被劃分到更低深度，并且構(gòu)成當(dāng)前最大編碼單元900的多個(gè)編碼單 元的編碼深度被確定為d-Ι并且當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1)XN_ (d-1)。另外，由于最大深度是d并且具有最低深度d-1的最小編碼單元980不再被劃分到更 低深度，因此最小編碼單元980的劃分信息不被設(shè)置。
[0257] 數(shù)據(jù)單元999可以是當(dāng)前最大編碼單元的"最小單元"。根據(jù)本發(fā)明的實(shí)施例的最 小單元可以是通過按照4劃分最小編碼單元980而獲得的矩形數(shù)據(jù)單元。通過重復(fù)地執(zhí)行編 碼，視頻編碼設(shè)備100可通過根據(jù)編碼單元900的多個(gè)深度來比較多個(gè)編碼誤差來選擇具有 最小編碼誤差的深度以確定編碼深度，并且將相應(yīng)分區(qū)類型以及預(yù)測(cè)模式設(shè)置為編碼深度 的編碼模式。
[0258] 同樣地，根據(jù)多個(gè)深度的多個(gè)最小編碼誤差在所有的深度1至d中被比較，并且具 有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預(yù)測(cè)單元的分區(qū)類型以及預(yù)測(cè)模 式可被編碼并作為關(guān)于編碼模式的信息被發(fā)送。另外，由于編碼單元從深度〇到編碼深度被 劃分，因此僅該編碼深度的劃分信息被設(shè)置〇,除了編碼深度之外的多個(gè)深度的劃分信息被 設(shè)置為1。
[0259] 視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元 900的編碼深度以及預(yù)測(cè)單元的信息以對(duì)分區(qū)912進(jìn)行解碼。視頻解碼設(shè)備200可通過使用 根據(jù)多個(gè)深度的劃分信息來將劃分信息是〇的深度確定為編碼深度，并且使用關(guān)于相應(yīng)深 度的編碼模式的信息用于解碼。
[0260] 圖17至圖19是用于描述根據(jù)本發(fā)明的實(shí)施例的多個(gè)編碼單元1010、多個(gè)預(yù)測(cè)單元 1060和多個(gè)變換單元1070之間的關(guān)系的示圖。
[0261] 多個(gè)編碼單元1010是最大編碼單元中的與視頻編碼設(shè)備100確定的多個(gè)編碼深度 相應(yīng)的具有樹形結(jié)構(gòu)的多個(gè)編碼單元。多個(gè)預(yù)測(cè)單元1060是多個(gè)編碼單元1010的每個(gè)的多 個(gè)預(yù)測(cè)單元的多個(gè)分區(qū)，多個(gè)變換單元1070是多個(gè)編碼單元1010的每個(gè)的多個(gè)變換單元。
[0262] 當(dāng)在多個(gè)編碼單元1010中最大編碼單元的深度是0時(shí)，多個(gè)編碼單元1012和1054 的深度是1，多個(gè)編碼單元1014、1016、1018、1028、1050和1052的深度是2,多個(gè)編碼單元 1020、1022、1024、1026、1030、1032 和 1048 的深度是 3,多個(gè)編碼單元 1040、1042、1044和 1046 的深度是4。
[0263] 在多個(gè)預(yù)測(cè)單元 1060 中，一些編碼單元 1014、1046、1022、1032、1048、1050、1052 和 1054通過劃分多個(gè)編碼單元1010的編碼單元而獲得。換句話說，多個(gè)編碼單元1014、1022、 1050和1054中的多個(gè)分區(qū)類型具有尺寸2NXN，多個(gè)編碼單元1016、1048和1052中的多個(gè)分 區(qū)類型具有尺寸NX2N，編碼單元1032的分區(qū)類型具有尺寸NXN。編碼單元1010的多個(gè)預(yù)測(cè) 單元和多個(gè)分區(qū)小于或等于每個(gè)編碼單元。
[0264] 以小于編碼單元1052的數(shù)據(jù)單元對(duì)多個(gè)變換單元1070中的編碼單元1052的圖像 數(shù)據(jù)執(zhí)行變換或反變換。另外，多個(gè)變換單元1070的多個(gè)編碼單元1014、1016、1022、1032、 1048、1050和1052在尺寸和形狀上與多個(gè)預(yù)測(cè)單元1060的多個(gè)編碼單元1014、1016、1022、 1032、1048、1050和1052不同。換句話說，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對(duì)相同編 碼單元中的數(shù)據(jù)單元獨(dú)立地執(zhí)行幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、變換和反變換。
[0265] 因此，對(duì)最大編碼單元的每個(gè)區(qū)域中的具有分層結(jié)構(gòu)的多個(gè)編碼單元中的每個(gè)執(zhí) 行遞歸編碼，以確定最佳編碼單元，因此可獲得具有遞歸樹形結(jié)構(gòu)的多個(gè)編碼單元。編碼信 息可包括關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測(cè)模式的信息以及關(guān)于 變換單元的尺寸的信息。表2顯示可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信 息。
[0266] 表 2
[0269]視頻編碼設(shè)備100的輸出單元130可輸出關(guān)于具有樹形結(jié)構(gòu)的多個(gè)編碼單元的編 碼信息，并且視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可從接收的比特流提取關(guān) 于具有樹形結(jié)構(gòu)的多個(gè)編碼單元的編碼信息。
[0270]劃分信息指示當(dāng)前編碼單元是否被劃分為更低深度的多個(gè)編碼單元。如果當(dāng)前深 度d的劃分信息是0,則當(dāng)前編碼單元不再被劃分為更低深度的深度是編碼深度，因此可針 對(duì)編碼深度定義關(guān)于分區(qū)類型、預(yù)測(cè)模式以及變換單元的尺寸的信息。如果當(dāng)前編碼單元 根據(jù)劃分信息被進(jìn)一步劃分，則對(duì)更低深度的四個(gè)劃分編碼單元獨(dú)立地執(zhí)行編碼。
[0271 ]預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳過模式中的一個(gè)。可在所有分區(qū)類型中 定義幀內(nèi)模式和幀間模式，并且可在僅具有尺寸2N X 2N的分區(qū)類型定義跳過模式。
[0272] 關(guān)于分區(qū)類型的信息可指示通過對(duì)稱地劃分預(yù)測(cè)單元的高度或?qū)挾榷@得的具 有尺寸2N X 2N、2N X N、N X 2N和N X N的多個(gè)對(duì)稱分區(qū)類型、以及通過不對(duì)稱地劃分預(yù)測(cè)單元 的高度或?qū)挾榷@得的具有尺寸2N X nU、2N X nD、nL X 2N和nR X 2N的多個(gè)不對(duì)稱分區(qū)類型。 可通過以1:3和3:1劃分預(yù)測(cè)單元的高度來分別地獲得具有尺寸2NXnU和2NXnD的多個(gè)不 對(duì)稱分區(qū)類型，可通過以1:3和3:1劃分預(yù)測(cè)單元的寬度來分別地獲得具有尺寸nL X 2N和nR X2N的多個(gè)不對(duì)稱分區(qū)類型。
[0273] 參照?qǐng)D4的具有樹形結(jié)構(gòu)的多個(gè)分區(qū)，具有尺寸2NXnU和2NXnD的不對(duì)稱分區(qū)類 型可相應(yīng)于分區(qū)等級(jí)為1的第一分區(qū)模式1的分區(qū)集合51a和51b，并且具有尺寸nLX2N和nR X2N的不對(duì)稱分區(qū)類型可相應(yīng)于分區(qū)等級(jí)為1的第一分區(qū)模式2的分區(qū)集合52a和52b。變換 單元的尺寸可被設(shè)置為幀內(nèi)模式中的兩種類型以及幀間模式中的兩種類型。換句話說，如 果變換單元的劃分信息是0,則變換單元的尺寸可以是作為當(dāng)前編碼單元的尺寸的2NX2N。 如果變換單元的劃分信息是1，則可通過劃分當(dāng)前編碼單元來獲得多個(gè)變換單元。另外，如 果具有尺寸2NX2N的當(dāng)前編碼單元的分區(qū)類型是對(duì)稱分區(qū)類型，則變換單元的尺寸可以是 NXN，如果當(dāng)前編碼單元的分區(qū)類型是不對(duì)稱分區(qū)類型，則變換單元的尺寸可以是N/2XN/ 2〇
[0274] 關(guān)于具有樹形結(jié)構(gòu)的多個(gè)編碼單元的編碼信息可包括以下與編碼深度相應(yīng)的編 碼單元、預(yù)測(cè)單元以及最小單元中的至少一個(gè)。與編碼深度相應(yīng)的編碼單元可包括:包含相 同編碼信息的預(yù)測(cè)單元和最小單元中的至少一個(gè)。
[0275] 因此，通過對(duì)多個(gè)相鄰數(shù)據(jù)單元的編碼單元進(jìn)行比較，來確定多個(gè)相鄰單元是否 被包括在與編碼深度相應(yīng)的相同的編碼單元中。另外，通過使用數(shù)據(jù)單元的編碼信息來確 定與編碼深度相應(yīng)的相應(yīng)編碼單元，因此最大編碼單元中的多個(gè)編碼深度的分布可被確 定。
[0276] 因此，如果基于多個(gè)相鄰數(shù)據(jù)單元的編碼信息預(yù)測(cè)當(dāng)前編碼單元，則與當(dāng)前編碼 單元相鄰的多個(gè)較深層編碼單元中的多個(gè)數(shù)據(jù)單元的編碼信息可被直接參考和使用。
[0277] 可選擇地，如果基于多個(gè)相鄰數(shù)據(jù)單元的編碼信息來預(yù)測(cè)當(dāng)前編碼單元，則使用 多個(gè)數(shù)據(jù)單元的編碼信息來搜索與當(dāng)前編碼單元相鄰的多個(gè)數(shù)據(jù)單元，并且搜索到的多個(gè) 相鄰編碼單元可被參考以用于預(yù)測(cè)當(dāng)前編碼單元。
[0278] 圖20是用于描述根據(jù)表2的編碼模式信息的編碼單元、預(yù)測(cè)單元或分區(qū)、和變換單 元之間的關(guān)系的示圖。
[0279] 最大編碼單元1300包括多個(gè)編碼深度的多個(gè)編碼單元1302、1304、1306、1312、 1314、1316和1318。這里，由于編碼單元1318是編碼深度的編碼單元，因此劃分信息可被設(shè) 置為0。關(guān)于尺寸2NX2N的編碼單元1318的分區(qū)類型的信息可被設(shè)置為以下分區(qū)類型之一： 具有尺寸2NX2N的分區(qū)類型1322、具有尺寸2NXN的分區(qū)類型1324、具有尺寸NX 2N的分區(qū) 類型1326、具有尺寸NXN的分區(qū)類型1328、具有尺寸2NXnU的分區(qū)類型1332、具有尺寸2NX nD的分區(qū)類型1334、具有尺寸nLX2N的分區(qū)類型1336和具有尺寸nRX2N的分區(qū)類型1338。 [0280]這樣的分區(qū)類型可相應(yīng)于圖4中示出的某些分區(qū)。例如，尺寸為2NX2N的分區(qū)類型 1322可相應(yīng)于分區(qū)集合1324(分區(qū)等級(jí)為0的第一分區(qū)模式0)。具有尺寸為2NXN的分區(qū)類 型1324和具有尺寸NX2N的分區(qū)類型1326可分別相應(yīng)于分區(qū)集合41和42(分別為分區(qū)等級(jí) 為〇的第一分區(qū)模式1和2)。具有尺寸NXN的分區(qū)類型1328可相應(yīng)于分區(qū)集合43(分區(qū)等級(jí) 為〇的第一分區(qū)模式3)。具有尺寸2NXnU的分區(qū)類型1332和具有尺寸為2NXnD的分區(qū)類型 1334可分別相應(yīng)于分區(qū)集合51a和51b(兩者為分區(qū)等級(jí)為1的第一分區(qū)模式1)。具有尺寸為 nLX2N的分區(qū)類型1336和具有尺寸為nRX2N的分區(qū)類型1338可分別相應(yīng)于分區(qū)集合52a和 52b(兩者為分區(qū)等級(jí)為1的第一分區(qū)模式2)。變換單元的劃分信息(TU尺寸標(biāo)志)是變換索 引之一，并且與變換索引相應(yīng)的變換單元的尺寸可根據(jù)編碼單元的預(yù)測(cè)單元類型或編碼單 元的分區(qū)類型變化。
[0281] 例如，當(dāng)分區(qū)類型被設(shè)置為對(duì)稱（即，分區(qū)類型1322、1324、1326或1328)時(shí)，如果變 換單元的TU尺寸標(biāo)志為0，則設(shè)置具有尺寸2N X 2N的變換單元1342，如果TU尺寸標(biāo)志為1，則 設(shè)置具有尺寸NXN的變換單元1344。
[0282] 當(dāng)分區(qū)類型被設(shè)置為不對(duì)稱（即，分區(qū)類型1332、1334、1336或1338)時(shí)，如果TU尺 寸標(biāo)志為0，則設(shè)置具有尺寸2N X 2N的變換單元1352，如果TU尺寸標(biāo)志為1，則設(shè)置具有尺寸 N/2XN/2的變換單元1354。
[0283] 以上參照?qǐng)D18描述的TU尺寸標(biāo)志是具有值0或1的標(biāo)志，但TU尺寸標(biāo)志不限于1比 特，并且在TU尺寸標(biāo)志從0增加的同時(shí)，變換單元可被分層劃分為具有樹形結(jié)構(gòu)。變換單元 的尺寸標(biāo)志可被用為變換索引的實(shí)施例。
[0284] 在這種情況下，根據(jù)本發(fā)明的實(shí)施例，可通過使用變換單元的TU尺寸標(biāo)志以及變 換單元的最大尺寸和最小尺寸來表示實(shí)際上已使用的變換單元的尺寸。根據(jù)本發(fā)明的實(shí)施 例，視頻編碼設(shè)備1〇〇能夠?qū)ψ畲笞儞Q單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸 標(biāo)志進(jìn)行編碼。對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)志進(jìn)行 編碼的結(jié)果可被插入SPS。根據(jù)本發(fā)明的實(shí)施例，視頻解碼設(shè)備200可通過使用最大變換單 元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)志來對(duì)視頻進(jìn)行解碼。
[0285] 例如，如果當(dāng)前編碼單元的尺寸是64 X 64并且最大變換單元尺寸是32 X 32，則當(dāng) TU尺寸標(biāo)志為0時(shí)，變換單元的尺寸可以是32X32,當(dāng)TU尺寸標(biāo)志為1時(shí)，變換單元的尺寸可 以是16 X 16，當(dāng)TU尺寸標(biāo)志為2時(shí)，變換單元的尺寸可以是8 X 8。
[0286] 作為另一示例，如果當(dāng)前編碼單元的尺寸是32 X 32并且最小變換單元尺寸是32 X 32,則當(dāng)TU尺寸標(biāo)志為0時(shí)，變換單元的尺寸可以是32X32。這里，由于變換單元的尺寸不能 夠小于32 X 32，因此TU尺寸標(biāo)志不能夠被設(shè)置為除了0以外的值。
[0287] 作為另一示例，如果當(dāng)前編碼單元的尺寸是64 X 64并且最大TU尺寸標(biāo)志為1，則TU 尺寸標(biāo)志可以是0或1。這里，TU尺寸標(biāo)志不能被設(shè)置為除了 0或1以外的值。
[0288] 因此，如果定義在T U尺寸標(biāo)志為0時(shí)最大T U尺寸標(biāo)志為 "MaxTransformSizelndex"，最小變換單元尺寸為"MinTransformSize"，并且變換單元尺寸 為"RootTuSize"，則可通過等式（1)來定義可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元 尺寸 "CurrMinTuSize" ：
[0289] CurrMinTuSize=max(MinTransformSize ,RootTuSize / (2Λ MaxTransformSizelndex))
[0290] ……(1)
[0291 ]與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸"CurrMinTuSize"相比，當(dāng) TU尺寸標(biāo)志為0時(shí)的變換單元尺寸"RootTuSize"可表示可在系統(tǒng)中選擇的最大變換單元尺 寸。在等式（1)中，"RootTuSize/(2AMaxTransformSizeIndex)"表示當(dāng)TU尺寸標(biāo)志為0時(shí)， 變換單元尺寸"RootTuSize"被劃分了與最大TU尺寸標(biāo)志相應(yīng)的次數(shù)時(shí)的變換單元尺寸，并 且 "MinTransformSize" 表示最小變換尺寸。因此，"RootTuSize / (2Λ MaxTransformSizelndex)"和"MinTransformSize "中較小的值可以是可在當(dāng)前編碼單元中 確定的當(dāng)前最小變換單元尺寸"CurrMinTuSize"。
[0292] 根據(jù)本發(fā)明的實(shí)施例，最大變換單元尺寸"RootTuSize"可根據(jù)預(yù)測(cè)模式的類型而 改變。
[0293] 例如，如果當(dāng)前預(yù)測(cè)模式是幀間模式，則可通過使用以下的等式（2)來確定 "RootTuSize"。在等式(2)中，"MaxTransformSize"表示最大變換單元尺寸，"PUSize"指示 當(dāng)前預(yù)測(cè)單元尺寸。
[0294] RootTuSize=min(MaxTransformSize ,PUSize)......(2)
[0295] 也就是說，如果當(dāng)前預(yù)測(cè)模式是幀間模式，則當(dāng)TU尺寸標(biāo)志為0時(shí)的變換單元尺寸 "RootTuSize"可以是最大變換單元尺寸和當(dāng)前預(yù)測(cè)單元尺寸中較小的值。
[0296] 如果當(dāng)前分區(qū)單元的預(yù)測(cè)模式是幀內(nèi)模式，則可通過使用以下的等式(3)來確定 "RootTuSize"。在等式(3)中，"PartitionSize"表示當(dāng)前分區(qū)單元的尺寸。
[0297] RootTuSize=min(MaxTransformSize ,PartitionSize)......(3)
[0298] 也就是說，如果當(dāng)前預(yù)測(cè)模式是幀內(nèi)模式，則當(dāng)TU尺寸標(biāo)志為0時(shí)的變換單元尺寸 "RootTuSize"可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸中較小的值。
[0299] 然而，根據(jù)分區(qū)單元中的預(yù)測(cè)模式的類型而改變的當(dāng)前最大變換單元尺寸 "RootTuSize"僅是示例，并且本發(fā)明不限于此。
[0300] 以上參照?qǐng)D10至圖20描述的預(yù)測(cè)單元或分區(qū)僅被用作圖4的多個(gè)分區(qū)的樹形結(jié)構(gòu) 50中的分區(qū)等級(jí)為0的分區(qū)模式0、1、2和3的多個(gè)分區(qū)和分區(qū)等級(jí)為1的第一分區(qū)模式1和2 的多個(gè)分區(qū)。根據(jù)系統(tǒng)環(huán)境和設(shè)置，分區(qū)等級(jí)和第一分區(qū)模式的上限可被選擇性地限制。因 為在圖10至圖20示出的分區(qū)等級(jí)和第一分區(qū)模式僅是一個(gè)實(shí)施例，所以本發(fā)明的構(gòu)思不限 于此。
[0301] 圖21是根據(jù)本發(fā)明的實(shí)施例的使用用于基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè) 編碼的可變分區(qū)的視頻編碼方法的流程圖。
[0302]在操作1210,視頻的當(dāng)前畫面可被劃分為多個(gè)最大編碼單元。在操作1220,以較深 層編碼單元為單位對(duì)當(dāng)前畫面的每個(gè)最大編碼單元的圖像數(shù)據(jù)進(jìn)行編碼。可按照編碼單元 為單位執(zhí)行預(yù)測(cè)編碼，因此可確定具有最高預(yù)測(cè)編碼效率的分區(qū)或預(yù)測(cè)單元，其中，所述預(yù) 測(cè)編碼使用基于第一分區(qū)模式和分區(qū)等級(jí)的具有樹形結(jié)構(gòu)的分區(qū)。在包括預(yù)測(cè)誤差的同時(shí) 具有最高編碼效率的深度可被選擇為編碼深度，具有被確定為編碼深度并具有樹形結(jié)構(gòu)的 編碼單元可被確定。
[0303] 在操作1230,每個(gè)最大編碼單元的殘差數(shù)據(jù)和運(yùn)動(dòng)矢量可基于具有樹形結(jié)構(gòu)、預(yù) 測(cè)單元或分區(qū)的編碼單元被編碼。用于確定預(yù)測(cè)單元的包括第一分區(qū)模式、分區(qū)等級(jí)等的 分區(qū)信息可與關(guān)于編碼深度、預(yù)測(cè)模式和編碼模式一起被編碼，并可被輸出為編碼信息。
[0304] 圖22是根據(jù)本發(fā)明的實(shí)施例的使用用于基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測(cè) 編碼的可變分區(qū)的視頻解碼方法的流程圖。
[0305]在操作1310，編碼的視頻的比特流被接收和解析。在操作1320，根據(jù)具有樹形結(jié)構(gòu) 的編碼單元從解析的比特流提取關(guān)于每個(gè)最大編碼單元的編碼深度和編碼模式的信息?？?提取關(guān)于編碼深度和編碼模式的信息中的根據(jù)實(shí)施例的分區(qū)信息。所述分區(qū)信息可包括第 一分區(qū)模式和分區(qū)等級(jí)，并還可包括根據(jù)第一分區(qū)模式的第二分區(qū)模式?？梢砸灶A(yù)測(cè)單元 為單位提取編碼的殘差數(shù)據(jù)和運(yùn)動(dòng)矢量。
[0306] 在操作1330,可以以最大編碼單元為單位基于關(guān)于編碼深度和編碼模式的信息確 定具有樹形結(jié)構(gòu)的編碼單元，可基于分區(qū)信息確定預(yù)測(cè)單元和分區(qū)，并且可對(duì)預(yù)測(cè)單元和 分區(qū)執(zhí)行預(yù)測(cè)編碼?？苫诎ㄔ诜謪^(qū)信息中的第一分區(qū)信息和分區(qū)等級(jí)確定預(yù)測(cè)單元和 分區(qū)的形狀、劃分方向性和尺寸，其中，編碼單元被劃分為所述預(yù)測(cè)單元和分區(qū)?？赏ㄟ^使 用預(yù)測(cè)模式信息和運(yùn)動(dòng)矢量對(duì)每個(gè)預(yù)測(cè)單元的殘差數(shù)據(jù)和每個(gè)分區(qū)進(jìn)行解碼來恢復(fù)畫面。
[0307] 視頻編碼設(shè)備100可基于具有樹形結(jié)構(gòu)編碼單元的可變尺寸對(duì)具有樹形結(jié)構(gòu)的多 種尺寸、多種形狀和多種預(yù)測(cè)模式的預(yù)測(cè)單元(分區(qū)）執(zhí)行預(yù)測(cè)編碼，對(duì)預(yù)測(cè)編碼的結(jié)果進(jìn) 行相互比較，從而確定具有最高編碼效率的預(yù)測(cè)單元(分區(qū)）。因此，考慮根據(jù)編碼單元的尺 寸變化的編碼單元之內(nèi)的圖像的特性進(jìn)行預(yù)測(cè)編碼是可能的。
[0308] 另外，由于關(guān)于確定用于預(yù)測(cè)編碼的預(yù)測(cè)單元的因素的信息被編碼和發(fā)送，因此 視頻解碼設(shè)備200可保證準(zhǔn)確的恢復(fù)。
[0309] 本發(fā)明的實(shí)施例可被寫成計(jì)算機(jī)程序并可被實(shí)施在使用計(jì)算機(jī)可讀記錄介質(zhì)執(zhí) 行程序的通用數(shù)字計(jì)算機(jī)中。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁性存儲(chǔ)介質(zhì)(例如，R0M、軟 盤、硬盤等)和光記錄介質(zhì)（例如，CD-ROM或DVD)。
[0310]雖然已參照本發(fā)明的優(yōu)選實(shí)施例特別地示出并描述了本發(fā)明，但本領(lǐng)域的普通技 術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可對(duì)本發(fā)明在 形式和細(xì)節(jié)上做出各種改變。優(yōu)選實(shí)施例應(yīng)被視為僅是描述性的，而不是為了限制。因此， 本發(fā)明的范圍由權(quán)利要求限定而不由本發(fā)明的詳細(xì)描述限定，并且在所述范圍之內(nèi)的所有 不同應(yīng)被理解為被包括在本發(fā)明中。
【主權(quán)項(xiàng)】
1. 一種對(duì)視頻進(jìn)行解碼的設(shè)備，所述設(shè)備包括： 接收器，被配置用于接收包括畫面的數(shù)據(jù)、關(guān)于最大編碼單元的尺寸的信息和劃分信 息的比特流；以及 處理器，被配置用于使用關(guān)于最大編碼單元的尺寸的信息將畫面劃分為多個(gè)最大編碼 單元，基于劃分信息將最大編碼單元分層劃分為多個(gè)編碼單元，使用分區(qū)類型信息確定一 個(gè)或更多個(gè)編碼單元中的編碼單元中的一個(gè)或更多個(gè)預(yù)測(cè)單元，并對(duì)所述編碼單元中的所 述一個(gè)或更多個(gè)預(yù)測(cè)單元中的預(yù)測(cè)單元執(zhí)行預(yù)測(cè)以產(chǎn)生重建的編碼單元，其中，分區(qū)類型 信息基于編碼單元的尺寸而被確定。2. 如權(quán)利要求1所述的設(shè)備， 其中，處理器被配置用于根據(jù)劃分信息將最大編碼單元分層劃分為包括當(dāng)前深度和更 低深度中的至少一個(gè)深度的深度的多個(gè)編碼單元。3. 如權(quán)利要求1所述的設(shè)備，當(dāng)劃分信息指示對(duì)當(dāng)前深度進(jìn)行劃分時(shí)，當(dāng)前深度的編碼 單元獨(dú)立于鄰近編碼單元而被劃分為更低深度的四個(gè)矩形編碼單元，當(dāng)劃分信息指示不對(duì) 當(dāng)前深度進(jìn)行劃分時(shí)，所述一個(gè)或更多個(gè)預(yù)測(cè)單元從當(dāng)前深度的編碼單元而被獲得。
【文檔編號(hào)】H04N19/119GK106028048SQ201610656814
【公開日】2016年10月12日
【申請(qǐng)日】2011年1月14日
【發(fā)明人】李昌炫, 李泰美, 陳建樂, 趙大星, 韓宇鎮(zhèn), 金壹求
【申請(qǐng)人】三星電子株式會(huì)社