技術(shù)領(lǐng)域

本發(fā)明涉及一種用于視頻信號的處理方法和設(shè)備，并且更確具體而言，涉及用于對視頻信號進(jìn)行編碼或解碼的視頻信號處理方法和設(shè)備。

背景技術(shù)：

壓縮編譯是指用于通過通信線來傳輸數(shù)字化信息或者用于將信息變換成適合于存儲介質(zhì)的形式的一系列信號處理技術(shù)。例如，壓縮編譯的對象包括聲音、圖像和文字。具體而言，用于對圖像執(zhí)行壓縮編譯的技術(shù)被稱為視頻圖像壓縮。例如，考慮空間相關(guān)性、時間相關(guān)性和概率相關(guān)性，通過去除過剩信息來實(shí)現(xiàn)用于視頻圖像的壓縮編譯。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

例如，本發(fā)明的一個目的是通過將用于編譯、預(yù)測和變換的單元分層地分割成適用于編譯的多個子單元來有效率地處理視頻信號。

本發(fā)明的另一方面是提供一種用于視頻信號及其語法結(jié)構(gòu)的編譯的跳頻模式的有效率的應(yīng)用的方法。甚至將編譯信息傳輸?shù)教l模式被應(yīng)用的單元的局部區(qū)域，使得能夠進(jìn)行更精確的預(yù)測。

本發(fā)明的另一目的是通過采用殘差信號的空間分布特性來增強(qiáng) 編譯效率。

本發(fā)明的又一目的是提供一種用于在將變換單元分層地分割的過程中有效率地傳輸編譯塊模式信息的方法。

技術(shù)的解決方案

考慮到上述問題已經(jīng)做出本發(fā)明，以及用于根據(jù)本發(fā)明的視頻信號的處理方法采用將單一編譯單元遞歸地分割成多個子編譯單元的結(jié)構(gòu)和方法。此外，關(guān)于該分割方法，提出了一種用于處理未包括在編譯單元的最小尺寸中的邊緣區(qū)域的方法。

根據(jù)本發(fā)明的視頻信號的處理方法提出了一種根據(jù)需要而允許將編譯信息傳輸?shù)綉?yīng)用跳頻模式的編譯單元的預(yù)先確定區(qū)域的方法和語法結(jié)構(gòu)。

根據(jù)本發(fā)明的視頻信號的處理方法提出了一種將殘差數(shù)據(jù)重新排序以確?；谠摎埐顢?shù)據(jù)的空間分布特性而能夠有效率地編譯殘差數(shù)據(jù)的方法。附加地，提出了一種應(yīng)用變換單元以使得在具有相似特性的殘差信號之間能夠進(jìn)行變換的方法。

根據(jù)本發(fā)明的視頻信號的處理方法提出了一種其中在能夠被分層地分割的單元結(jié)構(gòu)下通過分層地采用編譯塊模式信息能夠有效率地使用位(bit)的方法。

本發(fā)明將在下面提供效果和優(yōu)勢。

首先，關(guān)于處理視頻信號，通過采用除了具有固定尺寸的編譯單元之外的各種尺寸的編譯單元，能夠增強(qiáng)編譯效率。

其次，由于以這種在沒有填充的情形下能夠?qū)D像的邊緣部分編 譯的方式來分割圖像，所以能夠減少附加信息的提供或者不必要的編譯處理，這導(dǎo)致進(jìn)一步提高編譯效率。

第三，關(guān)于跳頻模式的應(yīng)用，能夠根據(jù)需要而將編譯信息附加地給予應(yīng)用跳頻模式的編譯單元的預(yù)先確定區(qū)域，這使得能夠進(jìn)行更加精確的預(yù)測。

第四，在編譯殘差數(shù)據(jù)的過程中，通過基于其空間分布特性將殘差數(shù)據(jù)重新排序或者通過采用適合于空間特性的變換單元的尺寸，能夠在單一變換單元內(nèi)允許具有相似特性的殘差數(shù)據(jù)之間的變換。

第五，在能夠被遞歸地分割的單元結(jié)構(gòu)之下，能夠分層地采用特定信息，更具體而言是編譯塊模式信息。本文提出了用于在采用信息時有效率地利用每秒位的多種方法，這導(dǎo)致編譯效率提高。

附圖說明

圖1是根據(jù)本發(fā)明實(shí)施例的視頻信號編碼設(shè)備的示意性框圖。

圖2是根據(jù)本發(fā)明實(shí)施例的視頻信號解碼設(shè)備的示意性框圖。

圖3是示出根據(jù)本發(fā)明實(shí)施例的分割單元的示例的視圖。

圖4是示出用于分層地表示圖3的分割結(jié)構(gòu)的方法的實(shí)施例的視圖。

圖5是示出根據(jù)本發(fā)明實(shí)施例的關(guān)于預(yù)測單元的各種分割方式。

圖6A至圖6C是示出用于編譯應(yīng)用跳頻模式的預(yù)測單元的局部區(qū)域的方法的不同實(shí)施例的視圖。

圖7A至圖7C是示出根據(jù)本發(fā)明的具有不同尺寸和位置的編譯塊的不同實(shí)施例的視圖。

圖8是示出生成殘差信號和殘差信號的空間分布特性的流程的視圖。

圖9A是示出根據(jù)本發(fā)明實(shí)施例的包括殘差重新排序單元的編碼器的變換器以及包括殘差逆重新排序單元的編碼器的逆變換器的框圖。

圖9B是示出根據(jù)本發(fā)明實(shí)施例的包括殘差逆重新排序單元的解碼器的逆變換器的框圖。

圖10是示出根據(jù)本發(fā)明實(shí)施例的在重新排序之前和之后的殘差信號的分布的視圖。

圖11A至圖11D是示出根據(jù)本發(fā)明的用于基于圖像的特性劃分和重新排序塊的方法的不同實(shí)施例的視圖。

圖12A和圖12B是示出根據(jù)本發(fā)明的用于分配具有不同尺寸的變換單元的方法的不同實(shí)施例的視圖。

圖13是示出以不同模式將編譯單元分割成預(yù)測單元和各自預(yù)測單元的邊緣區(qū)域的視圖。

圖14是示出用于表示關(guān)于在現(xiàn)有H.264/AVC編解碼器中的宏塊的編譯塊模式的方法的視圖。

圖15A至圖18是根據(jù)本發(fā)明示出用于分層地表示其中將單一編譯單元分割成多個子編譯單元的情形下的編譯塊模式的方法的不同實(shí)施例的視圖。

具體實(shí)施方式

為了實(shí)現(xiàn)上述目標(biāo)，根據(jù)本發(fā)明的視頻信號的處理方法包括獲取指示變換單元是否被分割的分割信息。如果分割信息指示變換單元未被分割，則該方法包括在變換單元上獲取編譯塊模式信息，并且基于編譯塊模式信息來執(zhí)行變換單元的逆變換。此處，可以將編譯的塊模式信息稱為指示變換單元是否包括至少一個非零變換系數(shù)級別的信息。

在根據(jù)本發(fā)明的用于視頻信號的處理方法中，如果分割信息指示將變換單元分割，則該方法還可以包括將變換單元分割成多個下層變換單元。下層變換單元的寬度和高度可以是變換單元的寬度和高度的一半。

此外，在用于根據(jù)本發(fā)明的視頻信號的處理方法中，如果分割信 息指示變換單元被分割，則該方法還包括在變換單元上獲取編譯塊模式信息。在該情形下，在變換單元上的編譯塊模式信息可以指示變換單元是否包括具有非零變換系數(shù)級別的至少一個下層變換單元。

此外，在用于根據(jù)本發(fā)明的視頻信號的處理方法中，僅當(dāng)能夠?qū)⒆儞Q單元分割時可以獲取分割信息。更具體地，基于變換單元是否能夠基于變換單元的位置、變換單元的尺寸和圖像的尺寸中的任何之一被分割的確認(rèn)結(jié)果，可以獲取分割信息。

可以獲取關(guān)于亮度信號和色度信號中的每個的根據(jù)本發(fā)明在用于視頻信號的處理方法中采用編譯塊模式信息。

在用于根據(jù)本發(fā)明的視頻信號的處理方法中，逆變換的變換單元包括殘差信號，并且該方法還可以包括根據(jù)預(yù)先定義順序?qū)埐钚盘栔匦屡判颉?/p>

用于本發(fā)明的方式

在下文中，將參考附圖來詳細(xì)描述本發(fā)明的示例性實(shí)施例。在描述本發(fā)明之前，應(yīng)該理解的是，不使用典型的或字典限制的含義解釋在本發(fā)明的說明書和權(quán)利要求中使用的這些術(shù)語或詞語，并且基于本發(fā)明人能夠適當(dāng)?shù)囟x這些術(shù)語的概念的原理，被構(gòu)造成遵循本發(fā)明的技術(shù)精神的含義和概念，以最佳方式解釋本發(fā)明。因此，該說明書的描述和這些附圖的說明僅被給出為本發(fā)明的最優(yōu)選實(shí)施例，并不是旨在表示本發(fā)明的所有技術(shù)精神。因此，應(yīng)理解的是，各種等效和修改能夠存在，其能夠替代在申請時所描述的實(shí)施例。

在本發(fā)明中，基于下列標(biāo)準(zhǔn)可以解釋這些術(shù)語，以及甚至可以基于下面的標(biāo)注來解釋在下文中未特定的這些術(shù)語。根據(jù)需要可以將編譯解釋為編碼或解碼，并且信息包括所有值、參數(shù)、系數(shù)、元素等。根據(jù)需要可以不同地解釋這些術(shù)語的含義，并且本發(fā)明不限于此。已 經(jīng)使用的術(shù)語“單元”是指圖像處理的基本單元或圖像的特定位置，并且例如根據(jù)需要可以以相同含義用作術(shù)語“塊”或“區(qū)域”。此外，在該說明中，術(shù)語“單元”可以是包括所有編譯單元、預(yù)測單元和變換單元的概念。

圖1是根據(jù)本發(fā)明實(shí)施例的視頻信號編碼設(shè)備的示意性框圖。參考圖1，本發(fā)明的編碼設(shè)備100通常包括變換器110、量化器115、逆量化器120、逆變換器125、濾波器130、預(yù)測器150和熵編譯器160。

變換器110通過變換用于輸入視頻信號的像素值獲取變換系數(shù)值。例如，可以使用離散余弦變換(DCT)或小波變換(WT)。具體而言，以將輸入視頻信號分割成具有恒定尺寸的塊的方式來執(zhí)行DCT。在DCT的情形下，在變換區(qū)域中根據(jù)這些值的分布和特性可以更改編譯效率。因此，在本發(fā)明的實(shí)施例中，為了增強(qiáng)變換效率，在變換的過程中，可以調(diào)整數(shù)據(jù)的設(shè)置或變換區(qū)域的尺寸。將參考圖8至圖12B在下文描述該變換方法。

量化器115執(zhí)行從變換器110輸出的變換系數(shù)值的量化。逆量化器120執(zhí)行變換系數(shù)值的逆量化，并且逆變換器125使用逆量化變換系數(shù)值來恢復(fù)原始像素值。

濾波器130執(zhí)行濾波，用于改善恢復(fù)圖像的質(zhì)量。例如，可以包括去塊濾波器和自適應(yīng)環(huán)路濾波器?？梢暂敵鲞^濾的圖像，或者可以將其存儲在貯存器156中，以便用作參考圖像。

為了增強(qiáng)編譯效率，取代直接編譯圖像信號，提供了一種包括使用先前編譯區(qū)域來預(yù)測圖像的步驟并且通過將原始圖像和預(yù)測圖像之間的殘差值添加到預(yù)測圖像來獲取恢復(fù)的圖像的方法。幀內(nèi)預(yù)測器152在當(dāng)前圖像內(nèi)執(zhí)行幀間預(yù)測，并且?guī)g預(yù)測154使用在貯存器156中存儲的參考圖像預(yù)測當(dāng)前圖像。更具體地，幀內(nèi)預(yù)測器152從當(dāng)前圖像內(nèi)恢復(fù)的區(qū)域來執(zhí)行幀內(nèi)預(yù)測，并且將幀內(nèi)編譯信息傳輸?shù)届鼐幾g器 160。幀間預(yù)測器154可以包括運(yùn)動補(bǔ)償器162和運(yùn)動估計(jì)器164。運(yùn)動估計(jì)器164獲取關(guān)于特定恢復(fù)區(qū)域的當(dāng)前區(qū)域的運(yùn)動向量值。運(yùn)動估計(jì)器164將參考區(qū)域的位置信息(例如：參考幀和運(yùn)動向量)傳輸?shù)届鼐幾g器160，以允許位置信息被包括在位流中。運(yùn)動補(bǔ)償器162使用從運(yùn)動估計(jì)器164傳輸?shù)倪\(yùn)動向量值來執(zhí)行幀間運(yùn)動補(bǔ)償。

熵編譯器160通過熵編譯量化變換系數(shù)、幀間編譯信息、幀內(nèi)編譯信息、以及關(guān)于從幀間預(yù)測器154輸入的參考區(qū)域的信息，來生成視頻信號位流。例如，熵編譯器160可以采用可變長度編譯(VLC)和算法編譯。在可變長度編譯中，將輸入符號變換成連續(xù)碼字。碼字的長度可以是可變的。例如，通過短碼字來表示頻繁發(fā)生的符號、通過長碼字來表示沒有頻繁發(fā)生的符號。可變長度編譯可以是基于上下文的自適應(yīng)可變長度編譯(CAVLC)。在算法編譯中，連續(xù)的數(shù)據(jù)符號被變換成單一小數(shù)。算法編譯可以獲取表示每個符號所需要的最佳小數(shù)位。算法編譯可以是基于上下文的自適應(yīng)二進(jìn)制算法編譯(CABAC)。

圖2是根據(jù)本發(fā)明實(shí)施例的視頻信號解碼設(shè)備200的示意性框圖。參考圖2，本發(fā)明的解碼設(shè)備200通常包括熵解碼器210、逆量化器220和逆變換器225、濾波器230以及預(yù)測器250。

例如，熵解碼器210通過將視頻信號位流熵解碼，來提取關(guān)于每個區(qū)域的變換系數(shù)和運(yùn)動向量。逆量化器220執(zhí)行熵解碼變換系數(shù)的逆量化，并且逆變換器225使用逆量化變換系數(shù)執(zhí)行初始像素值的恢復(fù)。在根據(jù)本發(fā)明實(shí)施例的解碼器中，將被編譯的數(shù)據(jù)的空間分布在數(shù)據(jù)變換之前可以被重新排序。如果在變換區(qū)域中的像素在變換之前在該編碼器中被重新排序，則需要重新排序的恢復(fù)。將參考圖8至圖12b在下文進(jìn)行詳細(xì)描述。

濾波器230通過對圖像執(zhí)行濾波來實(shí)現(xiàn)圖像質(zhì)量的改善。因此，濾波器可以包括解塊濾波器以減少塊失真和/或自適應(yīng)環(huán)路濾波器，以去 除圖像的失真。得到的濾波圖像可以被輸出，或者可以被存儲在貯存器256中，以便用作用于下一幀的參考圖像。

幀內(nèi)預(yù)測器252從當(dāng)前圖像內(nèi)編碼的抽樣來執(zhí)行預(yù)測。在解碼器中的幀內(nèi)預(yù)測器252的操作等于上述描述的編碼器的幀內(nèi)預(yù)測器152的操作。

幀間預(yù)測器254使用在貯存器256中存儲的參考圖像來估計(jì)運(yùn)動向量，并且生成預(yù)測的圖像。幀間預(yù)測器254可以包括運(yùn)動補(bǔ)償器262和運(yùn)動估計(jì)器264。運(yùn)動估計(jì)器264獲取表示當(dāng)前塊和將用于編譯的參考幀的參考塊之間的關(guān)系的運(yùn)動向量，并且將運(yùn)動向量傳輸?shù)竭\(yùn)動補(bǔ)償器262。在解碼器中的幀間預(yù)測器252的操作等于上述描述的編碼器中的幀間預(yù)測器152的操作。

當(dāng)從幀內(nèi)預(yù)測器252或幀間預(yù)測器254輸出的預(yù)測值以及從逆變換器225輸出的像素值彼此添加時，生成恢復(fù)的視頻幀。

在下文，在如上所述的編碼設(shè)備和解碼設(shè)備的操作中，將詳細(xì)描述例如用于參考圖3至圖5將編譯單元、預(yù)測單元和變換單元分割的方法、用于參考圖6和圖7以跳頻模式編譯預(yù)先確定區(qū)域的方法、參考圖8至圖12b基于殘差信號的空間分布的變換方法、以及參考圖14和圖18的編譯塊模式信息的遞歸和有效使用方法。

編譯單元是指基本單元，所述基本單元用于在例如幀內(nèi)/幀間預(yù)測、變換、量化和/或熵編譯的上文描述的視頻信號處理流程中處理圖像。當(dāng)編譯單一圖像時將使用的編譯單元的尺寸可以不是恒定的。編譯單元可以具有方形形式，并且單一編譯單元可以被分割成多個子編譯單元。

圖3是示出根據(jù)本發(fā)明實(shí)施例的分割編譯單元的示例的視圖。在一 個示例中，可以將具有2N x 2N的尺寸的單一編譯單元分割成具有N x N的尺寸的四個子編譯單元?？梢赃f歸地執(zhí)行編譯單元的這種分割，并且沒有必要將所有編譯單元分割成具有相同形狀。然而，為了在編譯和處理中便利的目的，可以將編譯單元的尺寸限制在由附圖標(biāo)記310指定的最大尺寸內(nèi)，或者通過附圖標(biāo)記320指定的最小尺寸內(nèi)。

關(guān)于單一編譯單元，指示相應(yīng)的編譯單元是否被分割的信息可以被存儲。在一個示例中，假定如圖3中所示的單一編譯單元被分割成四個方形子編譯單元。圖4示出用于使用值0和1分層地表示編譯單元的分割結(jié)構(gòu)的方法的實(shí)施例。在相應(yīng)單元被劃分時，指示編譯單元是否被分割的信息可以被分配值“1”，并且當(dāng)相應(yīng)單元未被劃分時，指示編譯單元是否被分割的信息可以被分配值“0”。如圖4中所示，如果表示分割是否發(fā)生的標(biāo)識值是1，則可以將匹配相應(yīng)節(jié)點(diǎn)的塊不再進(jìn)一步地分割成四個子塊。如果標(biāo)識值是0，則該塊可以不被進(jìn)一步地分割并且相對于相應(yīng)的編譯單元經(jīng)受處理過程。

如所理解，不能將塊分割成四個方形區(qū)域。在該情形下，可以通過將預(yù)先定義的分割方法的代碼映射到此來表示分割信息。在分割設(shè)置條件的一個示例中，如果相應(yīng)信息值是1，則可以將相應(yīng)塊分割成兩個水平矩形子塊，如果相應(yīng)信息值是2，則可以將相應(yīng)塊分割成兩個垂直矩形子塊，并且如果相應(yīng)信息值是3，則可以將相應(yīng)塊分割成四個方形子塊。此示出分割方法的多個示例，并且本發(fā)明不限于此。

使用遞歸樹結(jié)構(gòu)，可以表示上文描述的編譯單元的結(jié)構(gòu)。更具體地，假定單一圖像或編譯單元的最大尺寸與根節(jié)點(diǎn)相對應(yīng)，則將被分割成子編譯單元的編譯單元具有在數(shù)量上等于被分割的子編譯單元的子節(jié)點(diǎn)。因此，不再被分割的編譯單元變成了葉節(jié)點(diǎn)。假定僅單一編譯單元的方形分割是可能的，則可以將單一編譯單元最大地分割成四個子編譯單元，并且因此表示相應(yīng)編譯單元的樹結(jié)構(gòu)可以采用四叉樹的形式。

在編碼器的情形下，其考慮視頻圖像或編譯效率的特性(例如：分辨率)的情況下可以選擇編譯單元的最佳尺寸。包括最佳尺寸的信息或能夠推導(dǎo)最佳尺寸的信息可以被包括在位流中。在一個示例中，可以限定編譯單元的最大尺寸和樹結(jié)構(gòu)的最大深度。在方形分割的情形下，因此，因?yàn)榕c子節(jié)點(diǎn)匹配的子編譯單元的高度和寬度是與母節(jié)點(diǎn)匹配的編譯單元的高度和寬度的一半，所以可以基于上文描述的信息來獲取編譯單元的最小尺寸?？商孢x地，相反，假定預(yù)先定義編譯單元的最小尺寸和樹結(jié)構(gòu)的最大深度，則根據(jù)需要可以從預(yù)先定義信息推導(dǎo)出編譯單元的最大尺寸。由于在方形分割中將單元的尺寸可以更改成2的倍數(shù)，所以通過記錄值可以表示編譯單元的實(shí)際尺寸，其基數(shù)是2，以增強(qiáng)傳輸效率。

針對諸如未進(jìn)一步分割的編譯單元的目標(biāo)(即，編譯單元樹的葉節(jié)點(diǎn))，執(zhí)行增強(qiáng)編譯效率的圖像預(yù)測(運(yùn)動補(bǔ)償)。用于實(shí)施該預(yù)測的基本單元在下文被稱為預(yù)測單元。這種預(yù)測單元可以具有各種形狀。在一個示例中，預(yù)測單元可以具有對稱形狀、非對稱形狀、或者諸如方形和矩形形狀的幾何形狀。圖5示出用于預(yù)測單元的分割方法的多個實(shí)例。位流可以包括指示分割成預(yù)測單元是否發(fā)生或者被分割的預(yù)測單元的形狀是什么的信息?？商孢x地，從其他信息可以推導(dǎo)出該信息。

同時，從預(yù)測單元不同地執(zhí)行用于圖像的變換(例如，DCT)。在下文，用于圖像變換的基本單元被稱為變換單元。例如，用于DCT的變換單元通常具有方形形狀，并且與上述編譯單元可以相似地被遞歸分割。變換單元基于圖像的特性可以具有最有效率的尺寸，并且可以具有大于或小于預(yù)測單元的尺寸的尺寸。然而通常，單一預(yù)測單元可以包括多個變換單元?？梢耘c關(guān)于編譯單元的上文描述相似地表示變換單元的結(jié)構(gòu)和尺寸。在一個示例中，可以將單一變換單元遞歸地分割成四個子變換單元，并且通過四叉樹可以表示變換單元的結(jié)構(gòu)。 通過，與變換單元的結(jié)構(gòu)相關(guān)的信息可以由例如預(yù)先設(shè)置的變換單元樹的最大高度(或分割深度)、變換單元的最大尺寸、變換單元的最小尺寸、變換單元的最大尺寸和最小尺寸之間的差、和/或其記錄值推導(dǎo)出變換單元的深度和變換單元的尺寸來表示。同時，根據(jù)相應(yīng)單元的預(yù)測模式，可以更改變換單元的最大分割深度。此外，開始變換的編譯單元的尺寸可以對變換單元的尺寸有影響。

在解碼器的情形下，可以獲取指示是否將當(dāng)前編譯單元分割的信息。在特定條件下，通過允許獲取(傳輸)該信息可以實(shí)現(xiàn)增加的效率。在一個示例中，用于使能當(dāng)前編譯單元分割的條件是，當(dāng)前編譯單元的尺寸的總和小于圖像的尺寸并且當(dāng)前單元的尺寸大于編譯單元的預(yù)先設(shè)置的最小尺寸。因此，僅在這些條件下，可以獲取指示分割是否發(fā)生的信息。

如果該信息指示編譯單元被分割，則將被分割的編譯單元的尺寸是當(dāng)前編譯單元的尺寸的一半，以及在當(dāng)前處理位置的基礎(chǔ)上將編譯單元分割成四個方形子編譯單元。針對被分割的子編譯單元，可以重復(fù)上文描述的處理。如上文所述，沒有必要將編譯單元分割成方形子編譯單元。未進(jìn)一步分割的編譯單元經(jīng)受上文描述的處理流程，諸如，例如預(yù)測和變換。

相似地，關(guān)于變換單元，可以獲取指示當(dāng)前變換單元是否被遞歸地分割的信息。在一個示例中，如果該信息指示相應(yīng)變換單元被分割，則可以將相應(yīng)變換單元遞歸地分割成多個子變換單元。例如，如果通過‘1’表示分割信息，則可以將變換單元分成四個子變換單元，每個子變換單元具有變換單元的寬度和高度的一半的寬度和高度。與關(guān)于編譯單元的描述相似，僅在特定條件下通過允許獲取(或者傳輸)分割信息，可以實(shí)現(xiàn)增加解碼效率。在一個示例中，例如，基于諸如當(dāng)前變換單元的位置、當(dāng)前變換單元的尺寸、和/或圖像的尺寸的信息，可以確認(rèn)是否能夠?qū)?dāng)前變換單元分割。即，用于使能當(dāng)前變換單元分 割的條件是，當(dāng)前變換單元的尺寸之和小于圖像的尺寸，以及當(dāng)前變換單元的尺寸大于變換單元的預(yù)先設(shè)置的最小尺寸。因此，僅在上述條件下可以獲取指示分割是否發(fā)生的信息。

同時，在如上所述分割圖像的情形下，其中圖像的尺寸與編譯單元的最小尺寸不匹配的情形可能發(fā)生。更具體地，在其中如圖3中所示將圖像分割成多個編譯單元的情形下，該圖像的邊緣部分350可以保持。因此，有必要進(jìn)行測量，以便去除該圖像的剩余邊緣部分，以確認(rèn)編譯單元的指配尺寸。通常，可以使用通過根據(jù)該圖像的尺寸而輸入任意值(例如，零或等于外圍像素?cái)?shù)量的值)來填充圖像的邊緣部分的方法。然而，此要求編譯填充區(qū)域，從而導(dǎo)致編譯效率劣化。此外，在解碼器的情形下，此類問題在解碼之后需要除了實(shí)際圖像區(qū)域之外的填充區(qū)域的剪切。此外，為了執(zhí)行剪切，有必要傳輸附加剪切信息，其可以導(dǎo)致編譯效率劣化。因此，有必要根據(jù)未分配給編譯單元的像素的數(shù)量來確定編譯單元的尺寸。

根據(jù)本發(fā)明的實(shí)施例，無論編譯單元的最小尺寸如何，根據(jù)剩余的、未分配的像素的數(shù)量，在邊界區(qū)域可以接連地分割編譯單元。在一個示例中，在其中小于與編譯單元的最小尺寸匹配的像素的數(shù)量的像素的特定數(shù)量‘n’保持在邊界區(qū)域的情形下(即，在x0+cMin>picWidth或y0+cMin>picHeight的條件下，此處x0和y0表示將被分割的當(dāng)前區(qū)域的左上端位置的坐標(biāo)，picWidth和picHeight分別表示圖像的寬度和高度，并且cMin>n)，則將編譯單元接連地分割直至與被分割的編譯單元的尺寸匹配的像素的數(shù)量變成‘n’。

根據(jù)本發(fā)明的另一方面，可以執(zhí)行分割，以根據(jù)剩余像素的數(shù)量來獲取具有包括剩余區(qū)域的形狀的預(yù)測單元。如上所述，圖5是根據(jù)本發(fā)明實(shí)施例的示出關(guān)于預(yù)測塊的各種分割方式。雖然預(yù)測塊可以經(jīng)受對稱分割，但是非對稱分割或幾何分割也是可能的，因此，編碼器可以選擇適當(dāng)?shù)姆指罘绞?，使得能夠?qū)⑹Ｓ鄥^(qū)域適當(dāng)?shù)匕ㄔ诒环指畹? 區(qū)域。參考圖5，被分割的邊緣部分經(jīng)受編譯，而由X指派的區(qū)域不包括數(shù)據(jù)。因此，編碼器不對該區(qū)域執(zhí)行編譯或信息傳輸。相似地，解碼器可以不需要執(zhí)行關(guān)于該區(qū)域的不必要解碼。

雖然指示單元被分割成什么形狀的信息可以附加地給予解碼器，但是因?yàn)樵摻獯a器基于預(yù)先確定規(guī)則能夠推導(dǎo)出這種預(yù)測單元，所以該附加信息的供給是沒有必要的。在一個示例中，使用指示是否存在跳頻模式的信息、指示預(yù)測模式的信息、指示在幀間預(yù)測時用于編譯單元的分割方法的信息、和/或指示是否可以合并分割單元的信息，可以推導(dǎo)出這種預(yù)測單元。

在下文，將描述用于關(guān)于運(yùn)動向量預(yù)測和運(yùn)動補(bǔ)償?shù)囊曨l信號的處理方法。

基于包括在報(bào)頭中的信息，可以識別將使用哪種預(yù)測模式。在一個示例中，預(yù)測模式信息PRED_MODE可以指示幀內(nèi)預(yù)測模式MODE_INTRA、直接預(yù)測模式MODE_DIRECT、幀間預(yù)測模式MODE_INTER、以及跳頻模式MODE_SKIP中的任何之一。在特定情形下，可以通過推導(dǎo)出預(yù)測模式信息而非將其傳輸來減少將要傳輸?shù)男畔⒌臄?shù)量。在一個示例中，如果沒有接收預(yù)測模式信息，則在I圖片的情形下，僅幀內(nèi)預(yù)測模式是可能的，并且因此，I圖片可以表示幀內(nèi)預(yù)測模式。此外，在P圖片或B圖片的情形下，可以應(yīng)用所有上述模式，并且因此，該圖片或B圖片可以表示預(yù)先定義的模式(例如，跳頻模式)。

跳頻模式是指采用除了在當(dāng)前預(yù)測單元恢復(fù)之后關(guān)于當(dāng)前預(yù)測單元的運(yùn)動信息之外的先前編譯單元的模式。因此，在跳頻模式的情形下，除了指示將要跳頻的單元的信息之外的其他信息(例如，運(yùn)動信息和殘差信息)不被傳輸。在該情形下，從相鄰運(yùn)動向量可以推導(dǎo)出預(yù)測所需要的運(yùn)動信息。

當(dāng)使用跳頻模式時，可以直接使用在先前編譯的參考圖片內(nèi)的參考區(qū)域的像素值。參考塊的像素值使用運(yùn)動向量預(yù)測器可以承擔(dān)運(yùn)動補(bǔ)償。關(guān)于運(yùn)動向量預(yù)測器的獲取，當(dāng)采用運(yùn)動向量補(bǔ)償時，當(dāng)前預(yù)測塊可以包括運(yùn)動向量信息。

如果關(guān)于當(dāng)前預(yù)測單元的信息指示當(dāng)前預(yù)測塊在跳頻模式中被編譯時，使用關(guān)于相鄰塊的運(yùn)動信息可以推導(dǎo)出關(guān)于當(dāng)前預(yù)測塊的運(yùn)動信息。相鄰塊可以指與當(dāng)前預(yù)測塊相鄰的塊。

在一個示例中，與當(dāng)前預(yù)測塊的左側(cè)相鄰的塊可以被稱為相鄰塊A，與當(dāng)前預(yù)測塊的上端相鄰的塊可以被稱為相鄰塊B，與當(dāng)前預(yù)測塊的右上端相鄰的塊可以被稱為相鄰塊C，以及通過mvA、mvB和mvC可以分別指配其運(yùn)動向量。在該情形下，從運(yùn)動向量mvA、mvB和mvC的垂直和水平分量的中心值可以推導(dǎo)出當(dāng)前預(yù)測單元的運(yùn)動向量預(yù)測器?？梢詫?dāng)前預(yù)測單元的運(yùn)動向量預(yù)測器用作當(dāng)前預(yù)測塊的運(yùn)動向量。

同時，基于運(yùn)動向量補(bǔ)償可以獲取關(guān)于當(dāng)前預(yù)測單元的運(yùn)動信息。為了適應(yīng)性地采用運(yùn)動向量競爭，在切片的單元或預(yù)測塊的單元中可以獲取指示是否采用運(yùn)動向量競爭的信息。在一個示例中，在其中運(yùn)動向量競爭指示信息指定采用運(yùn)動向量競爭的情形下，基于運(yùn)動向量競爭來獲取運(yùn)動向量預(yù)測器。反之，如果運(yùn)動向量競爭指示信息指定沒有采用運(yùn)動向量競爭，如上所述從相鄰塊的運(yùn)動向量可以獲取運(yùn)動向量預(yù)測器。

為了運(yùn)動向量競爭的目的，可以獲取關(guān)于當(dāng)前預(yù)測單元的運(yùn)動向量預(yù)測器的候選?？梢詫⑴c當(dāng)前預(yù)測單元相鄰的空間相鄰塊的運(yùn)動向量采用為運(yùn)動向量預(yù)測器候選。在一個示例中，可以采用與當(dāng)前預(yù)測單元的左和右上端相鄰的塊的運(yùn)動向量。此外，從與當(dāng)前預(yù)測單元相鄰的空間相鄰塊的運(yùn)動向量，可以推導(dǎo)出水平和垂直分量的中心值， 以及中心值可以被包括在運(yùn)動向量預(yù)測器候選中。暫時相鄰塊的運(yùn)動向量也可以包括在運(yùn)動向量預(yù)測器候選中。暫時相鄰塊的運(yùn)動向量可以被適應(yīng)性地用作運(yùn)動向量預(yù)測器候選。同時，可以附加地采用指定在運(yùn)動向量競爭中是否采用暫時相鄰塊的運(yùn)動向量的暫時競爭信息。即，暫時競爭信息可以是指定暫時相鄰塊的運(yùn)動向量是否被包括在運(yùn)動向量預(yù)測器候選中的信息。因此，即使當(dāng)采用運(yùn)動向量競爭以基于暫時競爭信息獲取當(dāng)前預(yù)測塊的運(yùn)動向量預(yù)測器時，可以限制將暫時相鄰塊的運(yùn)動向量用作運(yùn)動向量預(yù)測器候選。由于暫時競爭信息假定運(yùn)動向量競爭被采用，所以僅在其中運(yùn)動競爭指示信息指示運(yùn)動向量競爭被采用的情形下，獲取暫時競爭信息是可能的。

根據(jù)上述各種運(yùn)動向量預(yù)測器候選，可以產(chǎn)生運(yùn)動向量競爭列表。以預(yù)先確定順序來對準(zhǔn)運(yùn)動向量預(yù)測器候選。在一個示例中，以從與當(dāng)前預(yù)測塊相鄰的空間相鄰塊的運(yùn)動向量推導(dǎo)中心值的順序，或者以與當(dāng)前預(yù)測塊相鄰的空間相鄰塊的運(yùn)動向量的順序，可以對準(zhǔn)運(yùn)動向量預(yù)測器候選。此外，以與當(dāng)前預(yù)測塊的左端、上端和右上端相鄰的相鄰塊的運(yùn)動向量的順序，可以對準(zhǔn)空間相鄰塊的運(yùn)動向量。此外，在其中將暫時相鄰塊的運(yùn)動向量基于暫時競爭信息被用作運(yùn)動向量預(yù)測器候選的情形下，可以將運(yùn)動向量預(yù)測器候選添加到運(yùn)動向量競爭列表的端部。通過索引信息可以指定運(yùn)動向量競爭列表的運(yùn)動向量預(yù)測器候選。即，運(yùn)動向量競爭列表可以由運(yùn)動向量預(yù)測器候選和分配到運(yùn)動向量預(yù)測器候選的索引信息來構(gòu)成。

使用關(guān)于運(yùn)動向量預(yù)測器候選和運(yùn)動向量競爭列表的索引信息，可以獲取當(dāng)前預(yù)測單元的運(yùn)動向量預(yù)測器。此處，關(guān)于運(yùn)動向量預(yù)測器候選的索引信息可以指的是指定在運(yùn)動向量競爭列表內(nèi)的運(yùn)動向量預(yù)測器候選的信息。在預(yù)測單元的單元中可以獲取關(guān)于運(yùn)動向量預(yù)測器候選的索引信息。

雖然通過減少待被傳輸?shù)男畔⒘靠梢詫?shí)現(xiàn)增強(qiáng)的效率，但是這會 劣化準(zhǔn)確性，因?yàn)闆]有傳輸關(guān)于相應(yīng)單元的信息。

根據(jù)本發(fā)明的一個實(shí)施例，可以將編譯信息傳輸至應(yīng)用了跳頻模式的單元的局部區(qū)域。圖6A至6C是示出用于將應(yīng)用了跳頻模式的預(yù)測單元的局部區(qū)域編譯的方法的不同實(shí)施例的視圖。參考圖6A至6C，可以將跳頻模式應(yīng)用于局部區(qū)域610、630和650，并且局部區(qū)域620、640和660可以被編譯，以使能編譯信息的傳輸。在這種情形中，除了跳頻模式之外的其他預(yù)測模式，例如，幀間預(yù)測模式或幀內(nèi)預(yù)測模式，可以被應(yīng)用于這些編譯區(qū)域。

編譯區(qū)域的尺寸小于編譯單元的尺寸。在一個示例中，如在圖6A中所示的，如果編譯區(qū)域具有方形，則編譯區(qū)域的尺寸可以由2^N+1x2^N+1(N>1)來表示。在這種情形下，在關(guān)于編譯區(qū)域的信息之中，編譯區(qū)域的尺寸可以僅由N來表示。在另一示例中，如在圖6B中所示的，編譯區(qū)域可以具有矩形形狀。在這種情形下，編譯區(qū)域的尺寸可由2^N+1x 2^M+1(N>1,M>1)來表示。此外，在關(guān)于編譯區(qū)域的信息中，編譯區(qū)域的尺寸可以由(N,M)來表示。應(yīng)指出的是，編譯區(qū)域必須位于編譯單元的邊緣。如圖6B和圖6C中所示的，編譯區(qū)域可以位于編譯區(qū)域的中央部分。

對于確定是否使能跳頻模式中的局部區(qū)域編譯或者定義哪個區(qū)域被編譯，額外的語法是必要的。在一個示例中，序列報(bào)頭可以包括，例如，指示是否允許跳頻區(qū)域的一部分編譯的標(biāo)識信息以及指示多少編譯區(qū)域?qū)⒃趩我惶l模式編譯單元中被允許的信息。此外，例如，與每個編譯單元相關(guān)，序列報(bào)頭可以包括指示是否編譯區(qū)域被包括在相應(yīng)單元的跳頻區(qū)域中的一部分中的標(biāo)識、編譯區(qū)域的數(shù)目以及編譯區(qū)域的起始位置。當(dāng)然，可以僅在跳頻模式能夠被部分地編譯的假定下，需要該信息。例如，與每個編譯區(qū)域相關(guān)，序列報(bào)頭可以包括指示預(yù)測方法的信息(例如，幀內(nèi)預(yù)測或幀間預(yù)測是否被采用)、預(yù)測信息(運(yùn)動向量或幀內(nèi)預(yù)測模式)和殘差數(shù)據(jù)。尤其是，可以以下文 將描述的各種方式來表示編譯區(qū)域的位置和尺寸。

圖7A至圖7C是示出根據(jù)本發(fā)明實(shí)施例的用于示出編譯區(qū)域的尺寸和位置的各種方法的視圖。第一方法將索引編號分配給每個編譯區(qū)域。參考圖7A，假定編譯區(qū)域位于通過將編譯單元分割而得到的四個方形子區(qū)域中的任何一個?？梢砸匀我忭樞?，將固有索引編號分配給各個分割的子區(qū)域。如在圖7A中所示的，從0開始的編號可以從左上區(qū)域被順序分配，并且因此編譯區(qū)域710的索引編號可以是3。在這種情形中，由于通過將編譯單元分割為四個而得到編譯區(qū)域，所以該編譯區(qū)域的尺寸可以從編譯區(qū)域的尺寸來確定。如果存在一個或多個編譯區(qū)域，則若干索引編號可以被存儲。根據(jù)本發(fā)明的實(shí)施例，除了四分之一分割以外的各種分割方式可以被采用，并且，如果必要，可以采用預(yù)先確定的分割方式和索引編號分配。預(yù)先確定分割區(qū)域的使用可以有利地消除除了索引編號以外的其他信息的傳輸。

第二方法是傳輸位置向量和編譯區(qū)域的尺寸。參考圖7B，編譯區(qū)域720可以由位置向量725表示，其是相對于編譯區(qū)域的左上端點(diǎn)的位置。此外，如上文所述，在方形形狀的情形中，編譯區(qū)域的尺寸可以由2^N+1x 2^N+1來表示，或者在矩形形狀的情形中，由2^N+1x 2^M+1來表示，并且因此，僅N的值或N和M的值可以被存儲并傳輸(例如，在圖7B中，用于表示編譯區(qū)域的尺寸的值N為2)?？商孢x地，可能存在一種方法，其僅允許具有特定比率的長度并且僅傳輸對角長度值的矩形編譯區(qū)域。

第三方法是使用關(guān)于參考點(diǎn)的索引信息，以便減少位置向量的量值。參考圖7C，可以使用表示參考坐標(biāo)的索引的位置向量735，即相對于相應(yīng)參考坐標(biāo)的位置，表示編譯區(qū)域730的位置。例如，如上文參考圖7A所描述的，編譯單元可以被分割成四個區(qū)域，使得索引編號被分配給各個區(qū)，并且其中作為編譯區(qū)域的起點(diǎn)的左上端位置存在的分割區(qū)的左上端可以是參考位置。參考圖7C，編譯區(qū)域可以位于具有2和3 的索引編號的區(qū)域上，并且可以與索引編號為2的區(qū)域的左上端間隔開(5,3)的距離。在這種情形下，待被存儲的信息包括與參考位置相對應(yīng)的索引編號2、基于參考位置的位置向量(5,3)、表示編譯區(qū)域的尺寸的索引值(2,1)。

在其中當(dāng)前預(yù)測塊不以跳頻模式被編譯的情形下，當(dāng)前預(yù)測塊可以被編譯成直接預(yù)測模式。直接預(yù)測模式指使用完全解碼塊的運(yùn)動信息來預(yù)測關(guān)于當(dāng)前預(yù)測塊的運(yùn)動信息的模式。然而，當(dāng)前預(yù)測塊包括殘差數(shù)據(jù)，并且因此不同于跳頻模式。

幀間預(yù)測可以包括前向預(yù)測、后向預(yù)測和雙向預(yù)測。前向預(yù)測是使用在當(dāng)前圖片之前臨時顯示(或輸出)的單一參考圖片的預(yù)測，并且后向預(yù)測是使用在當(dāng)前圖片之后臨時顯示(或輸出)的單一參考圖片的預(yù)測。為此目的，單一條運(yùn)動信息(例如，運(yùn)動向量或參考圖片索引)可以被獲取。雙預(yù)測可以使用兩個參考區(qū)域。兩個參考區(qū)域可以存在于相同參考圖片中，或者可以獨(dú)立存在于不同圖片中。參考圖片可以在顯示當(dāng)前圖片之前或之后被顯示(或輸出)。雙預(yù)測可以使用兩條運(yùn)動信息(例如，運(yùn)動向量和參考圖片索引)。

待以幀間模式被編譯的預(yù)測單元可以以任意方式被分割(例如，對稱分割、非對稱分割、幾何分割)，并且如上文所述，每個分割可以從單一參考圖片或兩個參考圖片被預(yù)測。

關(guān)于當(dāng)前預(yù)測單元的運(yùn)動信息可以包括運(yùn)動向量信息和參考圖片索引。運(yùn)動向量信息可以指運(yùn)動向量、運(yùn)動向量預(yù)測器、或者差分運(yùn)動向量，并且也可以指的是指定運(yùn)動向量預(yù)測器的索引信息。差分運(yùn)動向量是指在運(yùn)動向量和運(yùn)動向量預(yù)測器之間的差分值。

使用運(yùn)動向量和參考圖片索引，可以獲取當(dāng)前預(yù)測塊的參考塊。在具有參考圖片索引的參考圖片中存在參考塊。此外，通過運(yùn)動向量 指定的塊的像素值可以被用作當(dāng)前預(yù)測單元的預(yù)測器。即，采用用于通過從先前解碼的圖片估計(jì)運(yùn)動來預(yù)測當(dāng)前預(yù)測單元的圖片的運(yùn)動補(bǔ)償。

當(dāng)連同關(guān)于預(yù)測當(dāng)前圖像的信息完成當(dāng)前圖像的預(yù)測時，在預(yù)測圖像和實(shí)際圖像之間的差值，即，殘差信號被編譯并且被包括在位流中。圖8是示出用于運(yùn)動補(bǔ)償信號和殘差信號的空間分布來生成殘差信號的方法。通過從初始信號810減去運(yùn)動補(bǔ)償信號820來獲取殘差信號830。為了執(zhí)行殘差信號的編譯，變換和量化必須在先。通常，該編碼器基于變換單元的尺寸，從變換單元的左上端開始連續(xù)編譯與預(yù)編碼的差。該解碼器可以恢復(fù)該結(jié)果，并且以相同序列將其使用。

然而，考慮到幀間預(yù)測的情形下殘差信號830的分布，如圖8中所示，可能發(fā)生其中在初始信號和預(yù)測器之間的差增加的情形，即殘差信號的能量隨著與單元中心的距離增加而增加。如果在單一變換單元中混合該殘差值和低殘差值，這將劣化編譯效率。由于此原因，根據(jù)本發(fā)明的實(shí)施例，可以執(zhí)行殘差信號的重新排序以使得具有相似特性的殘差信號，更具體地，具有能量的相似量值的殘差信號被設(shè)置成彼此空間相鄰。

圖9A是示出分別進(jìn)一步包括殘差重新排序單元112或殘差逆重新排序單元129的變換器100和編碼器的逆變換器125的框圖，并且圖9B是示出進(jìn)一步包括殘差逆重新排序單元229的解碼器200的逆變換器225的框圖。殘差重新排序單元112可以執(zhí)行殘差值(或這些塊)的重新排序，使得彼此獨(dú)立地編譯高殘差值和低殘差值。殘差逆重新排序單元129和229以殘差重新排序單元的重新排序序列的逆順序，可以將重新排序的殘差信號恢復(fù)成初始信號。根據(jù)本發(fā)明的實(shí)施例，編碼器的變換器110包括在殘差值變換單元114之前的殘差重新排序單元112。這允許具有相似特性的殘差信號位于彼此空間相鄰，從而實(shí)現(xiàn)增強(qiáng)變換效率。同樣地，逆變換器125還包括在逆變換單元127之后的逆重新排序 單元129，從而執(zhí)行逆變換信號的逆重新排序并且將其返回成初始信號的空間序列。在編碼器中，以變換器的重新排序序列的逆順序可以執(zhí)行逆重新排序。

在根據(jù)本發(fā)明實(shí)施例的解碼器的逆變換器中，與編碼器的逆變換器相似，逆變換單元227獲取輸入信號的變換結(jié)果，并且逆重新排序單元229以編碼器的重新排序的逆順序，將變換結(jié)果重新排序，從而獲取初始圖像序列。

圖10示出根據(jù)本發(fā)明實(shí)施例的在重新排序之后殘差信號的分布。在一個示例中，圖10示出在其中使用在尺寸上為N x N的變換單元來變換在尺寸上為2N x 2N的殘差圖像的情形下的殘差值的分布。在圖10中，區(qū)域1、4、5和8具有高殘差值，并且區(qū)域2、3、6和7具有低殘差值。假定單一變換單元具有N x N的尺寸，則其的殘差值具有不同特性的區(qū)域1和區(qū)域2被一起變換。這可以在區(qū)域3和4的情形下、在區(qū)域5和區(qū)域6的情形下以及在區(qū)域7和區(qū)域8的情形下同等地應(yīng)用。因此，根據(jù)本發(fā)明的實(shí)施例，可以將這些區(qū)域如圖10的右側(cè)中所示重新排序。以該種方式，可以將具有低殘差值的區(qū)域2、3、6和7以及具有高殘差值的區(qū)域1、4、5和8分別編譯成單一變換單元。然而，應(yīng)該注意的是，根據(jù)本發(fā)明的實(shí)施例給出了圖10中所示的重新排序方法，并且本發(fā)明不限于此。因此，除了圖10的方法之外，可以采用各種其他重新排序方法，只要具有相同殘差值特性的區(qū)域被包括在單一變換單元中。

圖11A和圖11D是示出根據(jù)本發(fā)明的基于圖像的特性的用于將這些塊進(jìn)行分割和重新排序的方法的各種實(shí)施方式的視圖。在圖11A至圖11D中，單一小方形表示一個像素。如上文參考圖10所述，基于殘差值的特性，可以將每個像素分成圖11A中所示的八個塊。在下文，為了描述方便，使用與圖10相對應(yīng)的附圖標(biāo)記。

圖11B示出根據(jù)本發(fā)明實(shí)施例的重新排序。在圖11B中，經(jīng)由旋轉(zhuǎn) 或?qū)ΨQ運(yùn)動可以將這些塊重新排序，以使得當(dāng)保持被分割的塊的形狀時，塊與單一變換單元的尺寸相對應(yīng)。圖11B的區(qū)域1與圖11A的區(qū)域3相對應(yīng)，圖11B的區(qū)域2與圖11A的區(qū)域2相對應(yīng)，圖11B的區(qū)域3和圖11A的區(qū)域7相對應(yīng)，圖11B的區(qū)域4與圖11A的區(qū)域6相對應(yīng)，圖11B的區(qū)域5和圖11A的區(qū)域1相對應(yīng)，圖11B的區(qū)域6和圖11A的區(qū)域4相對應(yīng)，圖11B的區(qū)域7和圖11A的區(qū)域1相對應(yīng)，以及圖11B的區(qū)域8和圖11A的區(qū)域8相對應(yīng)。

同時，沒有必要保持分割塊的形狀。圖11示出根據(jù)本發(fā)明的實(shí)施例的適當(dāng)?shù)刈儞Q分割的三角形區(qū)域以與變換單元的方形區(qū)域相符合的流程。關(guān)于圖11A的區(qū)域2和3，以預(yù)先確定順序可以在圖11C的區(qū)域1和區(qū)域2中填充像素。其他區(qū)域，例如，圖11A的區(qū)域6和7可以填入在圖11C的區(qū)域3和4中；圖11A的區(qū)域1和4可以填入在圖11C的區(qū)域5和6中；以及圖11A的最后區(qū)域5和8可以填入在圖11C的區(qū)域7和8中。

圖11D示出其中菱形區(qū)域被適當(dāng)?shù)刈儞Q以與變換單元的方形區(qū)域相符合的本發(fā)明的實(shí)施例。關(guān)于區(qū)域2、3、6和7，可以以預(yù)先確定順序，將像素填入在圖11D的區(qū)域1、2、3和4中。圖11A的其他區(qū)域1、4、5和8以相同方式被填入在區(qū)域5、6、7和8中。

同時，上文描述的方法示出用于搜集具有類似特性的殘差信號的重新排序流程。如果解碼器接收到重新排序的編譯信號，則在將這些信號變換成原始信號之前，解碼器必須與上述重新排序持續(xù)相反地執(zhí)行重新排序。解碼器可以另外地接收指示輸入信號是否被重新排序的信息。

上述方法是用于劃分并且重新排序像素的方法的一個示例，并且本發(fā)明不限于此。可以構(gòu)想各種其他的實(shí)施例。尤其是，將彼此相鄰的具有相似特性的殘差值重新排序，可以有利地提高編譯效率。編碼器可以傳輸關(guān)于重新排序方式的信息，或者可以采用先前約定的排序 方式。解碼器可以利用該信息來執(zhí)行變換和逆重新排序。

在本發(fā)明的另一實(shí)施例中，采用變換單元的若干尺寸以允許具有相似殘差能量的樣本在單一變換單元內(nèi)被編譯。更具體地說，在具有低殘差值的中心部分，采用大尺寸的變換單元，并且在具有高殘差值的外部部分處，采用小尺寸的變換單元，從而具有相似特性的信號可以被包括在單一變換單元中。圖12A和圖12B是示出其中采用不同尺寸的變換單元的情形中變換單元的分配的實(shí)施例。參考圖12A和圖12B，在具有16x 16尺寸的圖像中，基于其位置，使用不同尺寸的變換單元可以執(zhí)行變換，例如，具有4x 4、8x 8、4x 8、或8x 4的尺寸的變換單元。然而，應(yīng)指出的是，圖12A和圖12B示出其中不同尺寸的變換單元是可用的一個示例，并且不同尺寸的變換單元可以以不同方式被布置，并且本發(fā)明不限于上述實(shí)施例。關(guān)于變換單元的尺寸改變的信息可以被包括在位流中，并且基于在編碼器和解碼器之間的先前約定，可以不被包括，以便進(jìn)一步提高效率。

當(dāng)編譯單元和/或預(yù)測單元如上所述地被分割時，分割區(qū)域的邊緣部分顯示出高殘差值的可能性高。圖13是示出在編譯單元內(nèi)的分別以不同模式分割的預(yù)測單元。僅將邊緣區(qū)域1300的殘差值進(jìn)行編譯的方法可以被采用。如上所述，由于變換單元的尺寸獨(dú)立于預(yù)測單元的尺寸，一些區(qū)域可以部分地彼此重疊，以便不符合變換單元的尺寸。在這種情形下，可以執(zhí)行雙重殘差編譯，或者矩形變換單元(例如，具有2x 4或4x 2的尺寸)可以僅應(yīng)用于重疊區(qū)域的周圍，以防止雙重編譯。當(dāng)然，本實(shí)施例可以被擴(kuò)展到采用較大尺寸變換單元的應(yīng)用。

用于解碼該編譯單元的一種方法可以包括獲取編譯塊模式信息。采用編譯塊模式信息指示單一編譯單元是否包括編譯系統(tǒng)，即非零變換系數(shù)級別。因此，可以將編譯塊模式信息用于解碼器中的變換單元的逆變換。

圖14是示出用于在現(xiàn)有H.264/AVC的宏塊中顯示編譯塊模式的方法。如圖14中所示的，可以將H.264/AVC編解碼器、6位(包括用于亮度信號的4位和用于色度信號的2位)用于宏塊。在其中宏塊的尺寸是2N x 2N(例如，16x 16)的情形下，對于亮度信號，每個N x N(例如，8x 8)尺寸的塊可以使用1位?；谙鄳?yīng)的塊區(qū)域是否包括編譯系統(tǒng)，即至少一個非零變換系數(shù)級別，編譯塊模式信息可以具有不同值。例如，如果相應(yīng)的塊區(qū)域包括至少一個非零變換系數(shù)級別，將“1“編譯，并且如果該塊區(qū)域不包括非零變換系數(shù)級別，則將”0“編譯。

同時，與色度信號相關(guān)，關(guān)于直流(DC)和交流(AC)分量的信息可以被獨(dú)立地表示。在一個示例中，與對應(yīng)于DC分量的編譯塊模式信息相關(guān)，如果色度信號Cr或Cb的DC分量包括至少一個非零變換系數(shù)級別，則可以將“1”編譯，并且如果DC分量不包括非零變換系數(shù)級別，則將“0”編譯。在另一示例中，與對應(yīng)于AC分量的編譯塊模式信息相關(guān)，如果色度信號Cr或Cb的AC分量包括至少一個非零變換系數(shù)級別，則將“1’編譯，并且如果AC分量不包括非零變換系數(shù)級別，則將”0“編譯?？傊捎贖.254/AVC編解碼器采用4:2:0的格式，色度信號的量值是亮度信號的四分之一，但本發(fā)明不限于此。如果必要，亮度信號和色度信號可以具有相同量值并且可以使用相同信息量。

圖15A至18是示出根據(jù)本發(fā)明的其中單一變換單元可以被分割成多個變換單元的情形中用于分層表示編譯塊模式的方法的不同實(shí)施例。

如在圖15A和15B中所示的，假定具有2N x 2N尺寸的編譯單元可以被分割成具有N x N尺寸的四個變換單元。這種分割可以如上所述被遞歸地執(zhí)行。在下文中，為了便于描述，其中單一變換單元被分割成多個子變換單元的情形(例如，標(biāo)識信息指示分割發(fā)生)被稱為上層，并且其中變換單元不被分割的情形被稱為下層。上層的編譯塊模式信息指示相應(yīng)的變換單元是否包括具有至少一個編譯系統(tǒng)，即非零變換 系數(shù)級別的分割的下層變換單元。在一個實(shí)例中，如果在相應(yīng)的變換單元中包括的四個分割的下層變換單元中的任何一個包括非零變換系數(shù)級別，“1”可以被分配給用于相應(yīng)的變換單元的編譯塊模式信息。此外，如果變換單元不包括非零變換系數(shù)級別，則“0”可以被分配給編譯塊模式信息。與下層相關(guān)的編譯塊模式信息指相應(yīng)的變換單元是否包括編譯系統(tǒng)，即，至少一個非零變換系數(shù)級別，如果非零變換系數(shù)級別存在于相應(yīng)的變換單元中，則可以將“1”分配給編譯塊模式信息，以及如果非零變換系數(shù)級別不存在于相應(yīng)的變換單元中，則分配“0”。

在將變換單元分割時，雖然如果變換單元的編譯塊模式信息為0，則在相應(yīng)的編譯單元下不存在另外的信息，但是如果編譯塊模式信息是1，則可以另外使用4位。即，如在圖15B中所示的，可以將1位用于指示在編譯單元內(nèi)的每個分割單元是否包括編譯系數(shù)。

同時，關(guān)于色度信號，關(guān)于直流(DC)和交流(AC)分量可以被獨(dú)立地表示。在一個示例中，就上層而言，關(guān)于與DC分量相對應(yīng)的編譯塊模式信息，如果色度信號Cr或Cb的DC分量包括至少一個非零變換系數(shù)，則可以編譯“1”，并且如果DC分量不包括非零變換系數(shù)，則可以編譯“0”。同樣，關(guān)于與AC分量相對應(yīng)的編譯塊模式信息，如果色度信號Cr或Cb的AC分量包括至少一個非零變換系數(shù)，則可以編譯“1”，并且如果AC分量不包括非零變換系數(shù)，則可以編譯“0”。關(guān)于下層，可以將另外的信息傳輸至信號Cr和Cb中的每個。在一個示例中，如果DC分量存在于上層(與DC分量相關(guān)的位是1)，確認(rèn)關(guān)于下層編譯塊模式信息是必要的。就下層而言，將1位分配給信號Cr和Cb中的每個。如果用于信號Cr的變換系數(shù)存在，則分配“1”，并且如果變換系數(shù)不存在，則分配“0”。對于AC分量，也類似地采用該方法。

圖16和圖16b示出根據(jù)本發(fā)明另一實(shí)施例的用于表示在其中單一編譯單元能夠被劃分成多個子編譯單元的情形下的遞歸編譯塊模式的方法。關(guān)于色度信號，與參考圖15A至圖15C的上文描述類似，與上 層變換單元相關(guān)的編譯塊模式信息指示相應(yīng)的變換單元是否在相應(yīng)區(qū)域中包括非零變換系數(shù)。與下層變換單元相關(guān)的編譯塊模式信息指示相應(yīng)的變換單元是否包括非零變換系數(shù)。

甚至關(guān)于色度信號，可以通過與亮度信號相同的方式，表示編譯塊模式信息。即，如上所述，以與上文所描述的亮度信號相同的方式，將編譯塊模式信息分配給色度信號Cr和Cb中的每個，而不考慮DC和AC分量。

通過示例方式，考慮圖16A和16B的示例，用于單一亮度信號的變換單元可以被分割成四個小變換單元，并且1個位可以分配給每個變換單元。該位可以包括指示下層變換單元中的任何一個是否包括變換系數(shù)的信息。甚至在用于色度信號的變換單元的情形中，同樣，基于每個分割的變換單元的尺寸，可以分配1位。如果相應(yīng)變換單元的編譯塊模式信息指示變換系數(shù)存在(相應(yīng)位是“1”)，如圖16B所示，可以獲取指示所述下層變換單元是否包括變換系數(shù)的另外信息。

根據(jù)本發(fā)明的另一實(shí)施例，如在圖17中所示的，在不考慮分割層的情況下，可以包括僅用于單一變換單元的信息。如在圖17中所示的，可以采用指示相應(yīng)變換單元的所有區(qū)域是否包括編譯系統(tǒng)，即非零變換系數(shù)級別的信息。根據(jù)編譯效率，可以適當(dāng)?shù)剡x擇是否在若干分割層的至少一層上存儲信息。在一個示例中，可以存儲關(guān)于包括最大變換單元的最高層的編譯塊模式信息，并且可以存儲關(guān)于其所有單元是分割單元(即，位于變換單元樹結(jié)構(gòu)的葉節(jié)點(diǎn)處的變換單元)的最低層的編譯塊模式信息。

如上文參考圖15A至圖15C關(guān)于亮度信號所描述的，關(guān)于DC和AC分量的信息可以被分別獲取。甚至在這種情形中，與上文描述類似，可以僅存儲與特定層相關(guān)的編譯塊模式信息。

根據(jù)本發(fā)明的又一實(shí)施例，如在圖18中所示的，在不考慮包括分割的單元的層的情形下，可以包括關(guān)于單一變換單元的信息。如上文參考16A和16B所描述的，在不將DC和AC分量彼此相區(qū)別的情形下，可以獲取關(guān)于各個信號Cr和Cb的信息。參考圖18，指示編譯的系數(shù)，即非零變換系數(shù)級別是否存在于相應(yīng)的變換單元區(qū)域中的信息可以被分配給亮度信號和色度信號這兩者。是否存儲關(guān)于若干分割層中的任何一個層的信息可以考慮編譯效率而確定。在一個示例中，關(guān)于包括最大變換單元的最高層的編譯塊模式信息可以被存儲，并且關(guān)于其所有單元是分割單元(即位于變換單元樹結(jié)構(gòu)的葉節(jié)點(diǎn)的變換單元)的最低層的編譯塊模式信息可以被存儲。

在上述實(shí)施例中，以某些方式，將本發(fā)明的配置和特征組合。只要不存在獨(dú)立的明確提及，每種配置或特征必須被選擇性地考慮。此外，通過不與其他配置或特征組合的形式，可以實(shí)踐每種配置或特征，并且一些配置和/或特征可以被組合，以構(gòu)建本發(fā)明的實(shí)施例。在本發(fā)明的實(shí)施例中描述的操作的順序可以被改變。任何一個實(shí)施例中的一些配置或特征可以被包括在另一實(shí)施例中，或者由另一實(shí)施例的相應(yīng)配置或特征來替換。

通過程序形式，可以實(shí)現(xiàn)根據(jù)本發(fā)明的解碼/編碼方法，該程序能夠經(jīng)由計(jì)算機(jī)來執(zhí)行，并且可以被記錄在計(jì)算機(jī)可讀記錄介質(zhì)中，并且具有根據(jù)本發(fā)明的數(shù)據(jù)結(jié)構(gòu)的多媒體數(shù)據(jù)也可以被記錄在計(jì)算機(jī)可讀記錄介質(zhì)中。計(jì)算機(jī)可讀記錄介質(zhì)可以包括用于存儲能夠被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的所有種類存儲設(shè)備。例如，計(jì)算機(jī)可讀記錄介質(zhì)的示例包括ROM、RAM、CD-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲設(shè)備，并且可以以載波形式被實(shí)現(xiàn)(例如，經(jīng)由互聯(lián)網(wǎng)的傳輸)。此外，通過編碼方法產(chǎn)生的位流可以被存儲在計(jì)算機(jī)可讀記錄介質(zhì)中，或者可以通過有線/無線通信網(wǎng)絡(luò)而被傳輸。

經(jīng)由多種方式，諸如硬件、固件、軟件或它們的組合，可以實(shí)現(xiàn) 根據(jù)本發(fā)明的這些實(shí)施例。在使用硬件的情形下，使用專用集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理設(shè)備(DSPD)、可編程邏輯設(shè)備(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器和用于實(shí)施其他功能的電氣單元，可以實(shí)現(xiàn)上述實(shí)施例。在一些情形中，通過控制器可以實(shí)現(xiàn)此處描述的實(shí)施例。

在使用軟件的情形下，根據(jù)本發(fā)明實(shí)施例的流程和功能可以通過另外的軟件模塊被實(shí)現(xiàn)。各個軟件模塊可以執(zhí)行此處描述的至少一個功能和操作。通過以適當(dāng)?shù)木幊陶Z言所寫的軟件應(yīng)用，可以實(shí)現(xiàn)軟件代碼。軟件代碼可以被存儲在存儲器中并且可以由控制器來執(zhí)行。

如上所述，對于本領(lǐng)域的技術(shù)人員將顯而易見的是，在不脫離本發(fā)明的精神和范圍的條件下，可以對本發(fā)明做出各種修改和變更。因此，本發(fā)明旨在涵蓋本發(fā)明的修改和變更，只要這些修改和變更在所附的權(quán)利要求和其等效內(nèi)容范圍內(nèi)。

可以將本發(fā)明應(yīng)用到視頻信號的編碼或解碼。