專利名稱：用于對(duì)實(shí)施不同大小的塊的圖像序列進(jìn)行譯碼的方法和裝置、信號(hào)、數(shù)據(jù)媒體、解碼方法 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域是由一系列連續(xù)圖像形成的視頻流的編碼和解碼的領(lǐng)域。更具體來(lái)說(shuō)，本發(fā)明涉及使用塊變換對(duì)圖像或圖像序列的壓縮。
本發(fā)明可尤其應(yīng)用于在當(dāng)前視頻編碼器(MPEG、H. 264等)或未來(lái)視頻編碼器 (H. 265)中實(shí)施的視頻編碼。
背景技術(shù)：
已經(jīng)存在許多已知的視頻數(shù)據(jù)壓縮技術(shù)。這些技術(shù)包含使用視頻序列的逐塊表示的許多視頻編碼技術(shù)，例如實(shí)施由MPEG組織發(fā)布的視頻壓縮標(biāo)準(zhǔn)(MPEG-l、MPEG-2、MPEG-4 部分2等)或ΙΤυ-Τ(Η^61···Η.264/ΑνΟ標(biāo)準(zhǔn)的技術(shù)。因此，在H. 264技術(shù)中，每一圖像可劃分為若干切片，切片自身被劃分為若干宏塊，宏塊接著被細(xì)分為若干塊。塊是由像素集合構(gòu)成。根據(jù)H. 264標(biāo)準(zhǔn)，宏塊是大小等于16x16像素的正方形塊，其可再次劃分為大小為 8x8、16x8或8x16的塊，8x8塊則能夠再分為大小為4χ4、8χ4或虹8的塊。
根據(jù)現(xiàn)有技術(shù)，宏塊或塊可通過(guò)圖像內(nèi)或圖像間預(yù)測(cè)來(lái)編碼。換句話說(shuō)，宏塊或塊可通過(guò)以下方式來(lái)編碼 時(shí)間預(yù)測(cè)，即，參考屬于一個(gè)或一個(gè)以上其它圖像的參考?jí)K或宏塊；和/或 稱為“空間”預(yù)測(cè)的預(yù)測(cè)，其依據(jù)與當(dāng)前圖像相鄰的塊或宏塊。
在后一種情況下，可僅基于先前已經(jīng)編碼的塊來(lái)進(jìn)行預(yù)測(cè)。
更具體來(lái)說(shuō)，根據(jù)H. 264技術(shù)，通過(guò)空間預(yù)測(cè)(幀內(nèi)預(yù)測(cè))來(lái)對(duì)圖像I進(jìn)行編碼， 且相對(duì)于借助運(yùn)動(dòng)補(bǔ)償而編碼/解碼的其它圖像Ι、ρ或B通過(guò)時(shí)間預(yù)測(cè)來(lái)對(duì)圖像P和B進(jìn)行編碼。
為了進(jìn)行編碼，將這些圖像細(xì)分為若干塊。對(duì)于每一塊編碼一殘余塊，也稱為預(yù)測(cè)殘余，其對(duì)應(yīng)于原始?jí)K減去預(yù)測(cè)。此塊的系數(shù)在可能的變換之后量化且隨后由熵編碼器編碼。
根據(jù)例如H. 264技術(shù)，針對(duì)每一塊編碼以下各項(xiàng) -編碼類型(幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)、預(yù)測(cè)跳躍)； -分割類型； -關(guān)于預(yù)測(cè)的信息(定向、參考圖像等)； -運(yùn)動(dòng)信息(如果必要)； -經(jīng)編碼系數(shù)； -等等。
解碼是逐個(gè)圖像來(lái)進(jìn)行，且對(duì)于每一圖像，解碼是逐個(gè)宏塊來(lái)進(jìn)行。對(duì)于每一宏塊，讀取流的對(duì)應(yīng)元素，且進(jìn)行宏塊的塊的系數(shù)的逆量化和逆變換。隨后，計(jì)算宏塊的預(yù)測(cè)且通過(guò)將預(yù)測(cè)添加到經(jīng)解碼的預(yù)測(cè)殘余來(lái)重建宏塊。
然而隨著新的高分辨率視頻格式的出現(xiàn)，遺憾的是，在當(dāng)今視頻壓縮標(biāo)準(zhǔn)中使用的塊的大小不再適合于待壓縮的視頻序列的內(nèi)容。
此外，AVC編碼器中可能的各種類型的預(yù)測(cè)取決于塊的大小而不同。舉例來(lái)說(shuō)，在幀內(nèi)編碼中，不可能從針對(duì)大小為16x16的塊的與針對(duì)大小為虹4的塊一樣多的預(yù)測(cè)方向受益?，F(xiàn)在，使用4x4大小的塊來(lái)對(duì)高分辨率序列進(jìn)行編碼無(wú)法用以有效地利用待壓縮信號(hào)，因?yàn)閴K中含有的信息量不足以代表用于將在位速率/失真成本方面有效的所應(yīng)用的編碼的高分辨率序列。
此外，當(dāng)今視頻壓縮標(biāo)準(zhǔn)中，用于預(yù)測(cè)的塊的最大大小限于16x16?，F(xiàn)在，使用較大大小的塊可在高分辨率序列的情況下具有一些效用。
A. Tourapis,J- Boyce的文獻(xiàn)“對(duì)H. 264標(biāo)準(zhǔn)的降低分辨率更新模式擴(kuò)展(Reduced Resolution Update Mode Extension to the H. ^4Mandard) ” 提議將稱為“降低分辨率更新”或RRU的編碼技術(shù)擴(kuò)展到H. 264編碼。
為了對(duì)塊進(jìn)行編碼，RRU技術(shù)以塊的分辨率對(duì)塊的預(yù)測(cè)殘余進(jìn)行預(yù)測(cè)和計(jì)算。隨后對(duì)塊進(jìn)行子取樣。熵編碼器對(duì)子取樣系數(shù)進(jìn)行變換、量化和編碼。在解碼時(shí)，對(duì)系數(shù)進(jìn)行解碼，執(zhí)行逆量化和變換，且隨后應(yīng)用對(duì)系數(shù)進(jìn)行過(guò)取樣的步驟以便以塊的初始分辨率來(lái)重建塊。
此RRU技術(shù)向H. 264編碼器的擴(kuò)展包括將RRU技術(shù)應(yīng)用于MxN大小的塊，其中M 和N為16的倍數(shù)。
因此，在此技術(shù)中，圖像的所有塊具有相同大小的MxN，這不一定很好地適合于圖像的內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明提出一種不具有所有這些現(xiàn)有技術(shù)缺點(diǎn)的新穎的解決方案，其呈用于對(duì)圖像序列進(jìn)行編碼的方法的形式，包括用于將當(dāng)前圖像細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小塊的步馬聚ο 根據(jù)本發(fā)明，此方法針對(duì)當(dāng)前圖像的至少一個(gè)當(dāng)前宏塊包括以下步驟 考慮所述當(dāng)前圖像的特性而建置具有比所述當(dāng)前宏塊大的大小的至少一個(gè)塊，稱為較大塊，其包括所述當(dāng)前宏塊和所述當(dāng)前圖像中的至少一個(gè)相鄰宏塊； 對(duì)所述較大塊進(jìn)行編碼，從而遞送實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建的基本編碼信息，以及 針對(duì)至少一個(gè)較大塊，確定與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
本發(fā)明因此提出一種新穎的圖像編碼技術(shù)，用于通過(guò)考慮待編碼圖像的特性而調(diào)適待編碼塊的大小。
較大大小的塊的大小可在編碼期間預(yù)定義為隨著待編碼圖像的大小而變(例如， 根據(jù)由標(biāo)準(zhǔn)界定的推薦或另外在經(jīng)編碼數(shù)據(jù)的標(biāo)頭中指定)。
對(duì)于當(dāng)前圖像的當(dāng)前宏塊，隨后考慮編碼器特定的條件來(lái)建置具有比當(dāng)前宏塊大的大小的一個(gè)或一個(gè)以上較大塊。隨后，選擇使得能夠獲得當(dāng)前宏塊的最佳基本表示的塊。 舉例來(lái)說(shuō)，此選擇是通過(guò)選擇使得有可能優(yōu)化位速率/失真準(zhǔn)則的較大大小的塊來(lái)進(jìn)行。
更具體來(lái)說(shuō)，較大塊的編碼使得能夠在解碼時(shí)通過(guò)基本編碼信息來(lái)計(jì)算此較大塊的所有像素且因此較大塊中存在的當(dāng)前宏塊的像素的重建(預(yù)測(cè))值。術(shù)語(yǔ)“基本表示”此處應(yīng)理解為表示針對(duì)當(dāng)前宏塊重建的所有這些值。
舉例來(lái)說(shuō)，最佳基本表示是使R+ λ D最小的表示，其中R是與預(yù)測(cè)殘余和所考慮的預(yù)測(cè)模式所需的若干條信令信息的編碼相關(guān)聯(lián)的位速率，D是在重建之后較大塊的失真 (添加了在預(yù)測(cè)時(shí)解碼的殘余)，且λ是預(yù)定的拉格朗日值(Lagrange value) 0 此處下文中，在基本表示中待編碼的塊(即，當(dāng)前宏塊或者較大大小的塊)的大小的選擇也是基于例如位速率-失真準(zhǔn)則。對(duì)于所考慮塊的大小，我們界定每像素的平均位速率的值Rp = R/size_block和每像素的平均失真Dp，且拉格朗日值Rp+ λ Dp與所考慮塊相關(guān)聯(lián)。所選擇的塊大小則是對(duì)應(yīng)于具有最低拉格朗日值的所測(cè)試塊的塊大小。
隨后對(duì)較大塊進(jìn)行編碼以便獲得此較大塊的基本編碼信息。隨后將較大塊的若干條基本編碼信息插入到表示圖像的信號(hào)中且/或存儲(chǔ)。通過(guò)使用AVC術(shù)語(yǔ)，這些基本編碼信息元素使得能夠重建圖像的基本層，即，當(dāng)前圖像的具有第一質(zhì)量等級(jí)的型式(基本表示)° 對(duì)于至少一個(gè)較大塊，隨后有可能確定與較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息。在使用SVC術(shù)語(yǔ)時(shí)，這些條增強(qiáng)信息使得能夠重建圖像的增強(qiáng)層，即，當(dāng)前圖像的較高質(zhì)量型式。
舉例來(lái)說(shuō)，增強(qiáng)信息包含關(guān)于紋理和/或運(yùn)動(dòng)的信息。
例如建置具有比宏塊大的大小的塊，以便覆蓋相對(duì)于當(dāng)前宏塊水平和/或垂直地相鄰的若干宏塊，其對(duì)應(yīng)于具有類似特性(例如相同的運(yùn)動(dòng)值或均質(zhì)紋理)的圖像的區(qū)。
因此，在預(yù)定掃描方向上逐個(gè)宏塊地掃描當(dāng)前圖像(或圖像的一部分)，且對(duì)于每一新宏塊，建置具有比此宏塊大的大小的新的塊，且設(shè)法確定是通過(guò)直接對(duì)宏塊進(jìn)行編碼還是通過(guò)對(duì)較大大小的塊中的一者進(jìn)行編碼來(lái)獲得當(dāng)前宏塊的最佳基本表示。掃描方向例如是逐行掃描(一般稱為光柵掃描)，或建議從塊群組的中心朝向邊緣在螺旋形狀路徑上掃描塊群組的螺旋掃描。
特定來(lái)說(shuō)，本發(fā)明的方法包括預(yù)備步驟，其用于檢查當(dāng)前宏塊是否先前已經(jīng)在含有當(dāng)前宏塊的較大塊中編碼，且在肯定的檢查的情況下以預(yù)定掃描次序進(jìn)行到隨后的宏塊。
換句話說(shuō)，在逐個(gè)宏塊地對(duì)圖像的掃描期間，有可能在已針對(duì)宏塊確定基本編碼信息的情況下跳過(guò)此宏塊。還有可能確定此當(dāng)前宏塊的增強(qiáng)信息。因此，如果當(dāng)前宏塊屬于已存在可用的基本編碼信息的較大塊，那么不必對(duì)此當(dāng)前宏塊的基本信息進(jìn)行編碼(增強(qiáng)信息的編碼是可能的)，且有可能進(jìn)行到下一宏塊。
本發(fā)明因此使得有可能在存儲(chǔ)和/或發(fā)射與展示精細(xì)細(xì)節(jié)的區(qū)的宏塊相關(guān)聯(lián)的基本編碼信息或與展示較粗略細(xì)節(jié)的區(qū)的較大塊相關(guān)聯(lián)的基本編碼信息時(shí)使塊的大小適于圖像且適于所需的分辨率等級(jí)。
根據(jù)本發(fā)明的一個(gè)特定方面，所述方法包括將至少一個(gè)旗標(biāo)插入到表示圖像序列的信號(hào)中的步驟，所述旗標(biāo)屬于包括以下各項(xiàng)的群組 -信令至少一個(gè)較大塊的存在的旗標(biāo)； -信令與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息的存在的旗標(biāo)。
以此方式有可能在僅具有一層的信號(hào)中發(fā)射基本編碼信息和增強(qiáng)信息。
所提出的語(yǔ)法并不使用如根據(jù)SVC技術(shù)提出的具有分層數(shù)據(jù)層結(jié)構(gòu)的流。
特定來(lái)說(shuō)，編碼方法包括用于以圖像中的宏塊的預(yù)定掃描次序?qū)⒁韵氯舾蓷l信息插入到所述信號(hào)中的步驟 -與至少一個(gè)宏塊相關(guān)聯(lián)的基本編碼信息； -與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息； -與較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息。
因此，對(duì)于圖像的某些宏塊，最佳基本表示是通過(guò)對(duì)宏塊個(gè)別地進(jìn)行編碼來(lái)獲得， 而對(duì)于其它宏塊，最佳基本表示是通過(guò)對(duì)包括宏塊的較大塊進(jìn)行編碼來(lái)獲得。
根據(jù)此示范性實(shí)施例，由編碼器產(chǎn)生且既定用于接收器的信號(hào)包括與一個(gè)或一個(gè)以上經(jīng)個(gè)別編碼宏塊相關(guān)聯(lián)的基本編碼信息以及與一個(gè)或一個(gè)以上較大塊相關(guān)聯(lián)的若干條基本編碼信息。
所述信號(hào)還包括與較大塊中存在的一個(gè)或一個(gè)以上宏塊以及可能個(gè)別對(duì)待的一個(gè)或一個(gè)以上宏塊相關(guān)聯(lián)的增強(qiáng)信息。
在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)圖像序列進(jìn)行編碼的裝置，其包括用于將當(dāng)前圖像細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小塊的構(gòu)件。
根據(jù)本發(fā)明，此裝置針對(duì)當(dāng)前圖像的至少一個(gè)當(dāng)前宏塊包括 -用于考慮所述當(dāng)前圖像的特性而建置具有比所述當(dāng)前宏塊大的大小的至少一個(gè)塊的構(gòu)件，所述至少一個(gè)塊稱為較大塊，其包括所述當(dāng)前宏塊和所述當(dāng)前圖像中的至少一個(gè)相鄰宏塊； -用于對(duì)所述較大塊進(jìn)行編碼從而遞送實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建的基本編碼信息的構(gòu)件，以及 針對(duì)至少一個(gè)較大塊，用于確定與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建的構(gòu)件。
此編碼裝置尤其適合于實(shí)施上文描述的編碼方法。其例如為MPEG或H. 264型編碼器或根據(jù)視頻壓縮的未來(lái)標(biāo)準(zhǔn)的編碼器。
本發(fā)明的另一方面涉及一種表示根據(jù)上文描述的編碼方法編碼的圖像序列的信號(hào)。
此信號(hào)包括 -與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建；以及 -與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
此信號(hào)可在數(shù)據(jù)載體上發(fā)射和/或存儲(chǔ)。
此信號(hào)當(dāng)然可包含與本發(fā)明的編碼方法有關(guān)的各種特性。
特定來(lái)說(shuō)，此信號(hào)包括至少一個(gè)屬于包括以下各項(xiàng)的群組的旗標(biāo) -信令至少一個(gè)較大塊的存在的旗標(biāo)； -信令與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息的存在的旗標(biāo)。
本發(fā)明的又一方面涉及一種數(shù)據(jù)載體，其包括至少一個(gè)表示根據(jù)上文描述的編碼方法編碼的圖像序列的信號(hào)。
此載體包括 -與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建；以及 -與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
其尤其適于載運(yùn)如上文描述的信號(hào)。
在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的方法， 圖像經(jīng)細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小塊， 所述信號(hào)包括 -與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建，較大塊對(duì)應(yīng)于考慮所述當(dāng)前圖像的特征而建置的宏塊的群組；以及 -與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
根據(jù)本發(fā)明，此方法實(shí)施以下步驟 -讀取與較大塊相關(guān)聯(lián)的基本編碼信息； -對(duì)所述基本編碼信息進(jìn)行解碼且重建所述較大塊； -對(duì)與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息進(jìn)行解碼(如果這些條信息存在)，且細(xì)化(refining)所述至少一個(gè)宏塊。
以此方式，本發(fā)明的解碼技術(shù)使得能夠在接收和讀取基本編碼信息后即刻重建圖像的對(duì)應(yīng)于較大塊的區(qū)，即，組合若干宏塊。
特定來(lái)說(shuō)，所述信號(hào)也可載運(yùn)與至少一個(gè)宏塊相關(guān)聯(lián)的基本編碼信息。
在此情況下，解碼方法實(shí)施用于讀取與至少一個(gè)宏塊相關(guān)聯(lián)的基本編碼信息、對(duì)與宏塊相關(guān)聯(lián)的基本編碼信息進(jìn)行解碼以及重建對(duì)應(yīng)宏塊的步驟。
以此方式，本發(fā)明的解碼技術(shù)使得能夠重建圖像的對(duì)應(yīng)于宏塊的區(qū)或圖像的對(duì)應(yīng)于較大塊的區(qū)，即，將若干宏塊分組在一起。
根據(jù)一個(gè)特定方面，解碼方法包括用于從先前重建的較大塊中存在的至少一個(gè)宏塊重建宏塊的步驟。
因此有可能通過(guò)考慮位于當(dāng)前宏塊的因果或反因果區(qū)域中的先前重建的宏塊來(lái)重建當(dāng)前宏塊。
宏塊的因果區(qū)域是圖像的包括位于當(dāng)前宏塊之前(以圖像中的塊的掃描次序)的宏塊的區(qū)域。宏塊的反因果區(qū)域是圖像的包括位于當(dāng)前宏塊之后(以圖像中的塊的掃描次序)的宏塊的區(qū)域。
根據(jù)一個(gè)特定特性，所述細(xì)化是根據(jù)宏塊的預(yù)定掃描次序進(jìn)行。
因此，一旦較大塊經(jīng)解碼，便不必針對(duì)此較大塊中存在的所有宏塊實(shí)施宏塊的細(xì)化。此細(xì)化可以掃描宏塊的預(yù)定次序來(lái)實(shí)施，例如上文描述的光柵掃描或螺旋掃描方向。
在另一實(shí)施例中，本發(fā)明涉及一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的裝置， 其包括 -用于讀取與較大塊相關(guān)聯(lián)的基本編碼信息的構(gòu)件； -用于對(duì)所述基本編碼信息進(jìn)行解碼且重建所述較大塊的構(gòu)件； -用于在與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息存在的情況下對(duì)此信息進(jìn)行解碼且細(xì)化所述至少一個(gè)宏塊的構(gòu)件。
此解碼裝置尤其適合于實(shí)施上文描述的編碼方法。其例如為MPEG或H. 264型解碼器或根據(jù)視頻壓縮的未來(lái)標(biāo)準(zhǔn)的解碼器。
本發(fā)明還涉及一種計(jì)算機(jī)程序，其包括用于當(dāng)此程序由處理器執(zhí)行時(shí)實(shí)施上文描述的編碼方法和/或解碼方法的指令；或涉及一種計(jì)算機(jī)程序產(chǎn)品，其可從通信網(wǎng)絡(luò)下載和/或存儲(chǔ)在計(jì)算機(jī)可讀載體上和/或可由處理器執(zhí)行，其包括用于當(dāng)此程序由處理器執(zhí)行時(shí)實(shí)施上文描述的編碼方法和/或解碼方法的程序代碼指令。


本發(fā)明的其它特征和優(yōu)點(diǎn)將從以下借助于指示性且非詳盡實(shí)例和從附圖給出的對(duì)特定實(shí)施例的描述中顯現(xiàn)，附圖中 圖1說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例的編碼方法的主要步驟； 圖2A和圖2B說(shuō)明圖像中的宏塊的掃描方向和較大塊的建置； 圖3A到圖3C呈現(xiàn)同一塊的不同可能分區(qū)； 圖4說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例的宏塊或較大塊的編碼； 圖5和圖6表示根據(jù)本發(fā)明一個(gè)實(shí)施例的流的語(yǔ)法； 圖7說(shuō)明根據(jù)本發(fā)明一個(gè)實(shí)施例的解碼方法的主要步驟； 圖8和圖9分別呈現(xiàn)根據(jù)本發(fā)明一個(gè)特定實(shí)施例的實(shí)施編碼技術(shù)和解碼技術(shù)的編碼裝置和解碼裝置的結(jié)構(gòu)。
具體實(shí)施例方式一般原理 本發(fā)明的一般原理依賴于使用具有可根據(jù)待編碼圖像的區(qū)的特性來(lái)調(diào)適的大小的塊。因此有可能界定對(duì)較大大小的塊進(jìn)行編碼的區(qū)和對(duì)較小大小的塊進(jìn)行編碼的其它區(qū)。
事實(shí)上，本專利申請(qǐng)案的發(fā)明人已注意到在視頻的均質(zhì)區(qū)中，較大大小的塊(例如3h32像素或更大)使得能夠通過(guò)使與區(qū)的編碼相關(guān)聯(lián)的語(yǔ)法成本最小化來(lái)俘獲此區(qū)的主要特性。類似地，對(duì)較大載體的變換步驟提供較好的能量壓縮。然而，使用較小大小的塊或中等大小的塊在非均質(zhì)區(qū)域中仍是必要的。
術(shù)語(yǔ)“均質(zhì)區(qū)”應(yīng)理解為表示例如具有相同紋理或相同運(yùn)動(dòng)的區(qū)。因此，如在運(yùn)動(dòng)或紋理方面所理解的均質(zhì)區(qū)域是像素具有接近特性的區(qū)域。
本發(fā)明因此提出一種用于使塊的大小適于其對(duì)應(yīng)的圖像的區(qū)的新穎的方法。此外，當(dāng)將若干宏塊分組在一起以形成較大塊時(shí)，此較大塊是以兩個(gè)等級(jí)編碼 -第一等級(jí)，使得能夠確定與較大塊相關(guān)聯(lián)的基本編碼信息； -第二等級(jí)，使得能夠確定與較大塊的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息。
圖1提供根據(jù)本發(fā)明的編碼步驟的較精確說(shuō)明。
更具體來(lái)說(shuō)，在第一步驟11期間將當(dāng)前圖像I。細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小的塊。
舉例來(lái)說(shuō)，根據(jù)H. ^4/AVC標(biāo)準(zhǔn)，宏塊是大小為16x16的正方形塊。在未來(lái)標(biāo)準(zhǔn)中， 宏塊可具有例如等于3&32、6虹64或16x32的大小。
情況似乎是，如圖2A中的箭頭RS說(shuō)明在光柵掃描方向上逐個(gè)宏塊地對(duì)當(dāng)前圖像 I。進(jìn)行掃描。
對(duì)于當(dāng)前圖像I。的至少一個(gè)宏塊(表示為MBi),所述方法實(shí)施建置步驟12，用于建置具有比當(dāng)前宏塊MBiW大小大的大小的至少一個(gè)塊Bi,其包括當(dāng)前宏塊MBi和圖像Ic中的至少一個(gè)相鄰宏塊。此些塊因此具有比根據(jù)H. ^4/AVC標(biāo)準(zhǔn)的16x16宏塊的大小大的大小。舉例來(lái)說(shuō)，我們建置大小為16x32的第一塊B1、大小為32x16的第二塊化、大小為3h32 的第三塊 。
可沿著圖像中的宏塊的掃描方向RS在當(dāng)前宏塊MBi的反因果區(qū)域中，即，在圖像的包括位于宏塊MBi之后的宏塊的區(qū)域中選擇相鄰宏塊。因此確保每一宏塊僅被編碼一次。
這些較大塊的可能大小經(jīng)預(yù)定義為隨著待編碼圖像的大小而變(根據(jù)由標(biāo)準(zhǔn)界定的推薦或另外指定為編碼數(shù)據(jù)的標(biāo)頭)。
如果針對(duì)宏塊建置若干較大塊，那么如下文闡釋選擇其中一者。
舉例來(lái)說(shuō)，認(rèn)為是以下情況大小為3h32的塊 給出了對(duì)于所考慮的區(qū)域的重建的最佳值，即，最佳基本表示。在圖2B中說(shuō)明此塊，下文稱為較大塊GB。
在編碼步驟13期間對(duì)此較大塊進(jìn)行編碼，以便獲得與較大塊相關(guān)聯(lián)的基本編碼信息iB。此基本編碼信息包含來(lái)自以下各項(xiàng)中的至少一條信息 -關(guān)于所使用的編碼模式(幀內(nèi)模式、幀間模式)的信息； -關(guān)于較大塊的可能細(xì)分(分割)的信息； -預(yù)測(cè)信息(幀間編碼的運(yùn)動(dòng)、幀內(nèi)模式中的幀內(nèi)預(yù)測(cè)模式)，和預(yù)測(cè)殘余。
隨后，在后續(xù)步驟14期間，針對(duì)較大塊中存在的至少一個(gè)宏塊確定增強(qiáng)信息。舉例來(lái)說(shuō)，針對(duì)較大塊GB中存在的宏塊MBi+1確定增強(qiáng)信息。
如上文指示，從塊集合中選擇較大塊提供了所考慮區(qū)的較好基本表示。
舉例來(lái)說(shuō)，大小為32x32的區(qū)可由以下各者表示 -兩個(gè)大小為16x32的較大塊，或 -兩個(gè)大小為32x16的較大塊，或 -一個(gè)大小為3h32的較大塊，或 -四個(gè)大小為16x16的塊，這些塊傳統(tǒng)上被預(yù)測(cè)為宏塊MBi。
針對(duì)塊中的每一者確定基本表示，且將大小為3^32的區(qū)的不同基本表示彼此進(jìn)行比較 -兩個(gè)大小為16x32的較大塊； -兩個(gè)大小為32x16的較大塊； -大小為3M32的較大塊；以及 -四個(gè)大小為16x16的塊。
事實(shí)上，有必要比較(位速率/失真準(zhǔn)則)同一區(qū)域(具有相同數(shù)目的重建像素) 上的基本表示，因?yàn)榕c由較大塊編碼的宏塊MBi的預(yù)測(cè)模式相關(guān)聯(lián)的編碼的成本在單獨(dú)針對(duì)宏塊MBi的像素比較位速率/失真準(zhǔn)則而較大區(qū)已經(jīng)編碼的情況下可能有時(shí)難以計(jì)算。
如果32x32區(qū)的最佳基本表示是由四個(gè)大小為16x16的塊給出，那么僅對(duì)當(dāng)前宏塊MBi進(jìn)行編碼。如果32x32區(qū)的最佳表示是由兩個(gè)較大水平或垂直塊給出，那么對(duì)含有當(dāng)前宏塊MBi的較大塊進(jìn)行編碼。如果32x32區(qū)的最佳表示由大小為32x32的較大塊給出， 那么對(duì)大小為32x32的較大塊進(jìn)行編碼。
可以各種方式，尤其以有線形式或軟件形式來(lái)實(shí)施根據(jù)本發(fā)明的編碼方法。
編碼方法的詳細(xì)描述。
下文中，我們呈現(xiàn)根據(jù)本發(fā)明的編碼方法的特定實(shí)施例。較大塊的大小視為已經(jīng)固定。
A)利用對(duì)較大塊的分割的編碼 為了確定當(dāng)前宏塊的最佳基本表示，我們確定具有比當(dāng)前宏塊大的大小的所建置塊的若干基本表示(或第一等級(jí)編碼型式)。這些不同的表示經(jīng)確定為隨著較大大小的塊的不同分區(qū)而變。
因此，對(duì)于較大塊的編碼，可使用不同種類的分割，例如如圖3A到3C中說(shuō)明的水平矩形、垂直矩形或正方形分割。
分割因此使得有可能獲得不一定具有宏塊的大小的子塊的集合。這些子塊可為正方形、矩形或具有其它形狀。
為了限制與宏塊或較大大小的塊相關(guān)聯(lián)的分區(qū)數(shù)目，例如考慮借助于二重細(xì)分技術(shù)來(lái)進(jìn)行分割，所述技術(shù)實(shí)施水平地(圖3C)或垂直地(圖3B)將塊規(guī)則地細(xì)分為二 ；或借助于四叉樹型技術(shù)來(lái)進(jìn)行分割，所述技術(shù)實(shí)施將塊規(guī)則地細(xì)分為四個(gè)具有相同大小的塊 (圖 3A)。
可遞歸地實(shí)施此細(xì)分，直到在其垂直或水平維度中的一者(最小維度)上獲得具有4個(gè)像素的大小的子塊為止。
舉例來(lái)說(shuō)，如果較大大小的塊包含白像素區(qū)和黑像素區(qū)，那么需要將塊分割為兩個(gè)子塊，一個(gè)對(duì)應(yīng)于白像素區(qū)且另一個(gè)對(duì)應(yīng)于黑像素區(qū)，且需要獨(dú)立地對(duì)兩個(gè)子塊進(jìn)行編碼而不是對(duì)不表達(dá)對(duì)比的平均值進(jìn)行編碼。
B)用于較大塊的編碼的預(yù)測(cè)模式 根據(jù)H. 264/AVC標(biāo)準(zhǔn)界定的用以對(duì)塊進(jìn)行編碼的預(yù)測(cè)模式可擴(kuò)展到這些不同分區(qū)。
因此，在幀間模式中，在AVC標(biāo)準(zhǔn)下界定的機(jī)制可用于運(yùn)動(dòng)估計(jì)和補(bǔ)償。這些機(jī)制可應(yīng)用于具有比標(biāo)準(zhǔn)宏塊(根據(jù)AVC技術(shù)為16x16)的大小大的大小的子塊。
依據(jù)所使用的分割，可使用向量來(lái)完全補(bǔ)償較大塊，或可對(duì)每一子塊使用若干向量，類似于AVC技術(shù)。
在幀內(nèi)模式中，新預(yù)測(cè)是可能的，且通過(guò)在因果方向和反因果方向上添加另外定向而添加到AVC技術(shù)的經(jīng)典預(yù)測(cè)。
事實(shí)上，當(dāng)相鄰宏塊已借助于較大塊編碼時(shí)反因果預(yù)測(cè)在此處是可能的。舉例來(lái)說(shuō)，返回到圖2B，可通過(guò)考慮在掃描次序上的下一宏塊(MBj+1)來(lái)預(yù)測(cè)宏塊MBj,因?yàn)榇撕陦K在對(duì)較大塊進(jìn)行編碼的步驟期間已經(jīng)編碼。
如果若干基本表示提供類似的性能等級(jí)，那么對(duì)從最大大小的塊獲得的表示給出偏好。事實(shí)上，對(duì)較大大小的塊的編碼限制了插入到流中的基本編碼信息的量(因?yàn)檩^大塊中存在的宏塊在基本型式中未經(jīng)個(gè)別編碼)，且因此加速了解碼側(cè)的處理。
C)用于較大塊的編碼的預(yù)測(cè)殘余的變換 一旦已確定最佳基本表示，則對(duì)對(duì)應(yīng)的較大塊進(jìn)行編碼。
傳統(tǒng)上，當(dāng)計(jì)算塊的預(yù)測(cè)時(shí)，對(duì)預(yù)測(cè)殘余進(jìn)行變換以便在較少數(shù)目的系數(shù)上壓縮信號(hào)的能量。
通過(guò)使用較大塊，AVC使用的變換可擴(kuò)展到較大載體。這可通過(guò)添加依據(jù)標(biāo)準(zhǔn)宏塊的大小的16x16或3h32整數(shù)DCT變換以及小波變換來(lái)進(jìn)行。
稱為RRU的技術(shù)也可應(yīng)用于較大塊。隨后對(duì)預(yù)測(cè)殘余進(jìn)行子取樣且隨后通過(guò)例如 8x8或4x4變換進(jìn)行變換。在解碼時(shí)，可在添加預(yù)測(cè)之前對(duì)經(jīng)重構(gòu)系數(shù)進(jìn)行過(guò)取樣。
根據(jù)本發(fā)明，經(jīng)典的4x4或8x8型變換也可用于較大塊。
對(duì)于每一較大塊，對(duì)指定所執(zhí)行的變換類型的一條信息進(jìn)行編碼。
如果個(gè)別地對(duì)某些宏塊進(jìn)行編碼，那么還針對(duì)這些宏塊對(duì)指定所執(zhí)行的變換類型的一條信息進(jìn)行編碼。
D)關(guān)于對(duì)宏塊的增強(qiáng)的信息 此外，對(duì)于較大塊的至少一個(gè)宏塊，可以通過(guò)相對(duì)于針對(duì)較大塊編碼的基本運(yùn)動(dòng)進(jìn)行預(yù)測(cè)而計(jì)算的殘余的形式來(lái)對(duì)運(yùn)動(dòng)細(xì)化進(jìn)行編碼。
在幀內(nèi)或幀間模式中，對(duì)于較大塊的至少一個(gè)宏塊，也可通過(guò)相對(duì)于針對(duì)較大塊編碼的基本紋理進(jìn)行預(yù)測(cè)而以紋理殘余的形式來(lái)對(duì)紋理細(xì)化進(jìn)行編碼。
E)編碼器 考慮例如在經(jīng)典的H. 264編碼器中實(shí)施本發(fā)明。
將當(dāng)前圖像細(xì)分為具有標(biāo)準(zhǔn)大小的塊(稱為宏塊)，如果在H.沈4編碼器的情境中進(jìn)行描述，那么所述宏塊的大小為16x16。將最大編碼單位界定為隨著例如待編碼序列的分辨率而變。
此最大編碼單位大小是MxN，其中M和N是16個(gè)像素的倍數(shù)。事實(shí)上，其對(duì)應(yīng)于從當(dāng)前圖像的至少兩個(gè)宏塊建置的塊。
對(duì)圖像中的宏塊的掃描是逐行進(jìn)行(光柵掃描)。對(duì)宏塊的編碼是通過(guò)宏塊群組確定，一個(gè)群組形成一較大塊。
對(duì)于光柵掃描次序中的圖像的第一宏塊(其中左上角位于位置(x0，y0))，設(shè)法確定是通過(guò)直接對(duì)此宏塊進(jìn)行編碼還是通過(guò)對(duì)包括此宏塊的較大大小的塊進(jìn)行編碼來(lái)獲得在位速率/失真方面的最佳性能。
為此，測(cè)試不同大小的塊。舉例來(lái)說(shuō)，測(cè)試大小為16x32的塊、大小為32x16的塊、 大小為32x32的塊等，且對(duì)于具有比宏塊大的大小的每一塊，針對(duì)此較大塊的編碼而測(cè)試不同分區(qū)和不同預(yù)測(cè)模式。針對(duì)分區(qū)的預(yù)測(cè)模式是類似于AVC中所進(jìn)行那樣，即在幀內(nèi)模式、幀間模式或在通過(guò)簡(jiǎn)單預(yù)測(cè)(即，如果沒(méi)有額外信息待發(fā)射)以及不同大小的變換來(lái)重建塊的情況下的“跳躍”模式中來(lái)進(jìn)行測(cè)試。
隨后，選擇為所考慮的區(qū)提供最佳基本表示的較大塊。
認(rèn)為例如大小為MW的較大塊具有最佳性能。存儲(chǔ)關(guān)于此較大塊的選擇(特定來(lái)說(shuō)，其大小、其分割和/或所使用的變換類型)，且隨后確定與較大塊相關(guān)聯(lián)的基本編碼信息。
還可存儲(chǔ)較大塊的每一宏塊的基本編碼信息以在稍后必要的情況下插入到流中。特定來(lái)說(shuō)，有可能確定且存儲(chǔ)與較大塊中存在的宏塊相關(guān)聯(lián)的增強(qiáng)信息。編碼器隨后進(jìn)行到位于位置(xO+M*，yO)處的下一宏塊。
如果個(gè)別地(隔離地)從第一宏塊獲得第一宏塊的最佳基本表示，那么存儲(chǔ)此塊的大小且隨后確定與宏塊相關(guān)聯(lián)的基本編碼信息。編碼器隨后進(jìn)行到位于位置(x0+16，y0) 處的下一宏塊。
編碼器因此在每次搜索用于編碼的宏塊的最佳可能組合時(shí)執(zhí)行整個(gè)圖像的編碼。
隨后通過(guò)針對(duì)預(yù)定掃描方向上的圖像的每一宏塊對(duì)最佳基本表示的所保存數(shù)據(jù)的編碼來(lái)建置表示圖像序列(也稱為流)的信號(hào)。當(dāng)從較大塊獲得宏塊的最佳基本表示時(shí)， 以與較大塊相關(guān)聯(lián)的基本編碼信息的形式將此較大塊的若干條數(shù)據(jù)插入到流中。當(dāng)從隔離地進(jìn)行的宏塊編碼獲得宏塊的最佳基本表示時(shí)，以與宏塊相關(guān)聯(lián)的基本編碼信息的形式將此宏塊的若干條數(shù)據(jù)插入到流中。
舉例來(lái)說(shuō)，如圖4中說(shuō)明，我們考慮經(jīng)細(xì)分為在光柵掃描次序上編號(hào)為1到9的大小為16x16的九個(gè)宏塊的圖像(或圖像部分)。所述圖像被逐宏塊地進(jìn)行掃描。
在當(dāng)前宏塊為宏塊1時(shí)，認(rèn)為最佳基本表示是從個(gè)別地進(jìn)行的宏塊1的編碼獲得。 存儲(chǔ)此值且操作進(jìn)行到在宏塊掃描次序上單獨(dú)的或在較大宏塊中的先前未經(jīng)編碼的下一宏塊。這是宏塊2。
在當(dāng)前宏塊為宏塊2時(shí)，最佳基本表示是從包括宏塊2、3、5和6的大小為3h32 的較大塊的編碼獲得。存儲(chǔ)此值且操作進(jìn)行到先前未經(jīng)編碼的下一宏塊。這是宏塊4。
在當(dāng)前宏塊是宏塊4時(shí)，最佳基本表示是從宏塊4獲得。存儲(chǔ)此值且操作進(jìn)行到先前未經(jīng)編碼的下一宏塊。這是宏塊7。且依此類推。
因此，在此實(shí)例中，宏塊1、4、7、8和9的最佳基本表示分別是從宏塊1、4、7、8和9 獲得，且宏塊2的最佳基本表示是從包括宏塊2、3、5和6的大小為3h32的較大塊獲得。
所述信號(hào)因此包括呈以下次序的以下數(shù)據(jù) -與宏塊1(MB16x16(1))相關(guān)聯(lián)的基本編碼信息； -與包括宏塊2、3、5和6的較大塊(MB32x32(2))相關(guān)聯(lián)的基本編碼信息； -與宏塊4(MB 16x16(4))相關(guān)聯(lián)的基本編碼信息； -與宏塊7(MB 16x16(7))相關(guān)聯(lián)的基本編碼信息； -與宏塊8(MB 16x16(8))相關(guān)聯(lián)的基本編碼信息； -與宏塊9(MB16x16(9))相關(guān)聯(lián)的基本編碼信息。
圖5提供此流的語(yǔ)法的較精確說(shuō)明。
因此可見(jiàn)，宏塊3、5和6未以其基本型式經(jīng)個(gè)別編碼(即，其并不揭示任何特定的基本編碼信息)。換句話說(shuō)，由于當(dāng)前宏塊2的最佳基本表示是從包括宏塊2、3、5和6的大小為32x32的較大塊獲得，因此在圖像的宏塊的掃描期間跳過(guò)宏塊3、4和5，且不針對(duì)位于通過(guò)當(dāng)前宏塊(宏塊幻重建的區(qū)域中的相鄰宏塊(宏塊3、5和6)對(duì)額外基本編碼信息進(jìn)行編碼。
這通過(guò)限制經(jīng)編碼數(shù)據(jù)的條數(shù)而簡(jiǎn)化了圖像的較大區(qū)域的編碼。
此外，對(duì)于通過(guò)較大塊重建的區(qū)域的一個(gè)或一個(gè)以上宏塊，可對(duì)關(guān)于紋理和/或運(yùn)動(dòng)的增強(qiáng)的信息進(jìn)行編碼以便改進(jìn)這些宏塊的質(zhì)量。隨后以殘余的形式且以用于掃描宏塊的掃描次序在較大塊的基本編碼信息之后對(duì)增強(qiáng)信息進(jìn)行編碼。
圖6提供與包括圖4的實(shí)例的3^32較大塊的宏塊的增強(qiáng)信息的流相關(guān)聯(lián)的語(yǔ)法的較精確說(shuō)明，其考慮待針對(duì)每一宏塊2、3、5和6編碼的增強(qiáng)信息。
如圖6中說(shuō)明，所述信號(hào)因而包括呈以下次序的以下若干條數(shù)據(jù) -與宏塊1(16x16MB⑴)相關(guān)聯(lián)的基本編碼信息； -與包括宏塊2、3、5和6的較大塊(3&32MBO))相關(guān)聯(lián)的基本編碼信息； -與宏塊2(MB 16xl6_E⑵)相關(guān)聯(lián)的增強(qiáng)信息； -與宏塊3(MB 16xl6_E (3))相關(guān)聯(lián)的增強(qiáng)信息； -與宏塊4(MB 16x16 (4))相關(guān)聯(lián)的基本編碼信息； -與宏塊5(MB 16xl6_E (5))相關(guān)聯(lián)的增強(qiáng)信息； -與宏塊6(MB 16xl6_E (6))相關(guān)聯(lián)的增強(qiáng)信息； -與宏塊7(MB 16x16 (7))相關(guān)聯(lián)的基本編碼信息； -與宏塊8(MB 16x16⑶)相關(guān)聯(lián)的基本編碼信息； -與宏塊9(MB 16x16 (9))相關(guān)聯(lián)的基本編碼信息。
可注意到，與較大塊的宏塊相關(guān)聯(lián)的若干條增強(qiáng)信息是以圖像的宏塊的掃描次序而被插入。其因此是以圖像的宏塊的掃描次序與同較大塊相關(guān)聯(lián)的基本編碼信息且與同其它宏塊相關(guān)聯(lián)的基本編碼信息混合而被檢索。
語(yǔ)法的修改 下文中，我們呈現(xiàn)針對(duì)基于AVC的壓縮方案的語(yǔ)法修改的實(shí)例。
認(rèn)為將序列的圖像細(xì)分為切片，所述切片隨后經(jīng)細(xì)分為宏塊。
A)切片標(biāo)頭語(yǔ)法 修改切片的標(biāo)頭以便信令增強(qiáng)信息的存在或不存在。
換句話說(shuō)，提供旗標(biāo)以信令與較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的若干條增強(qiáng)信息的存在。舉例來(lái)說(shuō)，將稱為“extrajiiacrobloclflag”的旗標(biāo)插入于標(biāo)頭中以信令已以基本型式通過(guò)較大塊而編碼的一個(gè)或一個(gè)以上宏塊(即，基本編碼信息已經(jīng)確定的宏塊) 的增強(qiáng)信息的存在。
作為本描述的一體部分的附錄A提出對(duì)應(yīng)于切片的標(biāo)頭語(yǔ)法的實(shí)例，其中以斜體展示根據(jù)本發(fā)明的插入于流中的“extra_maCr0bl0Ck_flag”。在H. 264/AVC標(biāo)準(zhǔn)中更具體描述與此語(yǔ)法相關(guān)聯(lián)的語(yǔ)義。
B) “切片數(shù)據(jù)語(yǔ)法”有效負(fù)載部分的語(yǔ)法 同樣作為本描述的一體部分的附錄B提出包括關(guān)于切片的若干條信息(基本編碼信息和可能的增強(qiáng)信息)的有效負(fù)載部分的語(yǔ)法的實(shí)例，其中以斜體展示根據(jù)本發(fā)明的插入到流中的元素。斜線元素對(duì)應(yīng)于根據(jù)H. 264標(biāo)準(zhǔn)的一行現(xiàn)存語(yǔ)法，其已根據(jù)本發(fā)明而修改。
在H. 264/ACV標(biāo)準(zhǔn)且尤其在ITU-T H. 264推薦(部分7，更具體來(lái)說(shuō)對(duì)于語(yǔ)法的 7. 3和對(duì)于語(yǔ)義的7. 4)中更具體描述與此語(yǔ)法相關(guān)聯(lián)的語(yǔ)義。
更具體來(lái)說(shuō)，在實(shí)施方案的此實(shí)例中，以宏塊編碼掃描次序逐個(gè)宏塊地實(shí)施以下步驟 -首先使用例如稱為“macroblockjoded”功能的功能進(jìn)行測(cè)試以查看當(dāng)前宏塊是否已經(jīng)編碼(即，是否已針對(duì)此宏塊獲得基本編碼信息)； -如果當(dāng)前宏塊尚未經(jīng)編碼，那么 〇針對(duì)此當(dāng)前宏塊，插入旗標(biāo)以信令具有比宏塊的大小大的大小的塊的存在或不存在(super—block—flag)； ■如果建置較大塊，那么對(duì)較大塊進(jìn)行編碼且獲得與較大塊相關(guān)聯(lián)的基本編碼信息(使用例如稱為“super_bl0Ck_layer”的功能)； ■否則，傳統(tǒng)上對(duì)當(dāng)前宏塊進(jìn)行編碼，且獲得與宏塊相關(guān)聯(lián)的基本編碼信息(通過(guò)使用例如“macroblock_layer”功能)； -另外，如果當(dāng)前宏塊已經(jīng)解碼(即，通過(guò)與其重疊的較大塊)，那么檢查是否可能對(duì)此宏塊的額外增強(qiáng)信息進(jìn)行編碼(考慮例如在切片標(biāo)頭處編碼的“eXtra_maCr0bl0Ck_ flag”指示符的值)。如果情況如此(例如如果“6#儀_111￡1(^01310(^_打叫==1”)，那么對(duì)與當(dāng)前宏塊相關(guān)聯(lián)的增強(qiáng)信息進(jìn)行編碼(利用“macrobloclenhancementjayer”功能)。
稱為“super—block—layer，，、“macroblock—enhancement_layer，，禾口 “macroblock— coded"的功能如下起作用 -super_block_layer 功能在其原理上類似于 H. 264 標(biāo)準(zhǔn)的 macroblock_layer 功能其使用預(yù)測(cè)殘余的變換和量化，在可能的細(xì)分的情況下借助于幀內(nèi)或幀間預(yù)測(cè)而界定與塊的預(yù)測(cè)碼相關(guān)的表示參數(shù)； -macroblock_enhancement功能界定將提供到基本表示信息元素的增強(qiáng)參數(shù)(例如運(yùn)動(dòng)殘余、紋理殘余)，類似于AVC的SVC擴(kuò)展的做法； -macroblockjoded功能控制關(guān)于針對(duì)宏塊初步界定的基本表示的存在的信息的狀態(tài)。此操作是通過(guò)界定具有可用的基本表示的宏塊的信息圖的值的狀態(tài)來(lái)進(jìn)行。此信息圖在與SUper_bl0Ck_layer功能相關(guān)聯(lián)的解碼處理操作中的較大塊的編碼期間經(jīng)更新。
可注意到，根據(jù)此語(yǔ)法，有可能通過(guò)“super_block_layer"功能而插入指定將不針對(duì)較大塊的至少一個(gè)宏塊對(duì)增強(qiáng)進(jìn)行編碼的旗標(biāo)。在此情況下，“maCr0bl0Ck_ enhancementjayer”功能對(duì)所考慮的宏塊沒(méi)有影響。
解碼方法的詳細(xì)描述。
現(xiàn)在參見(jiàn)圖7，我們呈現(xiàn)根據(jù)本發(fā)明一個(gè)實(shí)施例的解碼方法的主要步驟。
在接收到表示根據(jù)本發(fā)明編碼的圖像序列的信號(hào)(包括與一個(gè)或一個(gè)以上較大塊相關(guān)聯(lián)的基本編碼信息和與較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息) 時(shí)，解碼器實(shí)施以下步驟 -讀取(71)與較大塊相關(guān)聯(lián)的基本編碼信息； -對(duì)基本編碼信息進(jìn)行解碼(7 ，以及較大塊的重建； -對(duì)與較大塊的宏塊(如果其存在)相關(guān)聯(lián)的增強(qiáng)信息進(jìn)行解碼(7 ，以及較大塊中存在的至少一個(gè)宏塊的相關(guān)聯(lián)細(xì)化。
如果接收到的信號(hào)載運(yùn)與一個(gè)或一個(gè)以上宏塊相關(guān)聯(lián)的基本編碼信息，那么還可計(jì)劃用于對(duì)與宏塊相關(guān)聯(lián)的基本編碼信息進(jìn)行解碼和宏塊的重建的額外步驟74。
可以許多方式，尤其以有線形式或以軟件形式來(lái)實(shí)施根據(jù)本發(fā)明的解碼方法。
根據(jù)實(shí)施方案的一個(gè)實(shí)例，解碼器讀取將逐個(gè)宏塊地解碼的圖像的流的信息，且存儲(chǔ)每一宏塊的信息。
在流中的信息的讀取期間，如果通過(guò)較大塊對(duì)當(dāng)前宏塊進(jìn)行編碼，那么解碼器讀取與較大塊相關(guān)聯(lián)的基本編碼信息。相比之下，其不讀取與較大塊中存在的其它宏塊(即， 與當(dāng)前宏塊相鄰的水平和/或垂直宏塊)相關(guān)聯(lián)的任何基本編碼信息。如果較大塊的一個(gè)或一個(gè)以上宏塊存在增強(qiáng)信息，那么讀取且存儲(chǔ)此信息。
更具體來(lái)說(shuō)，在讀取與宏塊相關(guān)聯(lián)的信息時(shí)，通過(guò)較大塊的大小、其分割和所使用的變換類型來(lái)確定將針對(duì)此宏塊讀取的基本編碼系數(shù)的數(shù)目。這三條信息是在流中讀取或從先前讀取的基本編碼信息推斷。
隨后傳統(tǒng)上借助于對(duì)系數(shù)的熵解碼、逆量化和逆變換來(lái)重建宏塊或較大塊。隨后針對(duì)宏塊或較大塊計(jì)算預(yù)測(cè)且將其添加到重建的殘余。隨后重建對(duì)應(yīng)于宏塊或較大塊的圖像的區(qū)域。
編碼和解碼裝置的結(jié)構(gòu)。
最終，參見(jiàn)圖8和圖9，呈現(xiàn)編碼器和解碼器的簡(jiǎn)化結(jié)構(gòu)，其分別實(shí)施根據(jù)上文描述的特定實(shí)施例的用于對(duì)圖像序列進(jìn)行編碼的技術(shù)和解碼技術(shù)。
此編碼裝置包括存儲(chǔ)器81，其包括緩沖存儲(chǔ)器；處理單元82，其配備有例如微處理器μ P且由計(jì)算機(jī)程序83驅(qū)動(dòng)，計(jì)算機(jī)程序83實(shí)施根據(jù)本發(fā)明的編碼方法。
在初始化時(shí)，計(jì)算機(jī)程序83的代碼指令例如加載到RAM中且隨后由處理單元82 的處理器執(zhí)行。處理單元82輸入待編碼序列的一個(gè)或一個(gè)以上圖像。處理單元82的微處理器根據(jù)計(jì)算機(jī)程序指令83實(shí)施上文描述的編碼方法的步驟以對(duì)信號(hào)中的圖像進(jìn)行編碼。為此，編碼器除了緩沖存儲(chǔ)器81外還包括用于將圖像細(xì)分為標(biāo)準(zhǔn)大小塊(稱為宏塊) 的構(gòu)件、用于建置具有比當(dāng)前宏塊的大小大的大小的至少一個(gè)塊的構(gòu)件、用于對(duì)較大塊進(jìn)行編碼的構(gòu)件，以及用于確定與較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息的構(gòu)件。 這些構(gòu)件由處理單元82的微處理器驅(qū)動(dòng)。
圖9中說(shuō)明的解碼器包括存儲(chǔ)器91，其包括緩沖存儲(chǔ)器；處理單元92，其配備有例如微處理器μ P且由計(jì)算機(jī)程序93驅(qū)動(dòng)，計(jì)算機(jī)程序93實(shí)施根據(jù)本發(fā)明一個(gè)實(shí)施例的解碼方法。
在初始化時(shí)，計(jì)算機(jī)程序93的代碼指令例如加載到RAM中且隨后由處理單元92 的處理器執(zhí)行。處理單元92輸入表示圖像序列的信號(hào)。處理單元92的微處理器根據(jù)計(jì)算機(jī)程序93的指令實(shí)施上文描述的解碼方法的步驟以對(duì)信號(hào)進(jìn)行解碼且重建序列的圖像。 為此，解碼器除了緩沖存儲(chǔ)器91外還包括用于讀取基本編碼信息的構(gòu)件、用于對(duì)基本編碼信息進(jìn)行解碼且重建所述較大塊的構(gòu)件，以及用于對(duì)與較大塊相關(guān)聯(lián)的增強(qiáng)信息進(jìn)行解碼且細(xì)化較大塊中存在的至少一個(gè)宏塊的構(gòu)件。這些構(gòu)件由處理單元92的微處理器驅(qū)動(dòng)。
附錄A
權(quán)利要求
1.一種用于對(duì)圖像序列進(jìn)行編碼的方法，其包括用于將當(dāng)前圖像細(xì)分(11)為稱為宏塊的標(biāo)準(zhǔn)大小塊的步驟，所述方法的特征在于所述方法針對(duì)所述當(dāng)前圖像的至少一個(gè)當(dāng)前宏塊包括以下步驟考慮所述當(dāng)前圖像的特性而建置(1 具有比所述當(dāng)前宏塊大的大小的至少一個(gè)塊， 稱為較大塊，其包括所述當(dāng)前宏塊和所述當(dāng)前圖像中的至少一個(gè)相鄰宏塊；對(duì)所述較大塊進(jìn)行編碼(13)，從而遞送實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建的基本編碼信息，以及針對(duì)至少一個(gè)較大塊，確定(14)與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
2.根據(jù)權(quán)利要求1所述的編碼方法，其特征在于其包括預(yù)備步驟，所述預(yù)備步驟用于檢查所述當(dāng)前宏塊是否先前已在較大塊中經(jīng)編碼，且在肯定的檢查的情況下以預(yù)定掃描次序進(jìn)行到隨后的宏塊。
3.根據(jù)權(quán)利要求1所述的編碼方法，其特征在于其包括將至少一個(gè)旗標(biāo)插入到表示所述圖像序列的信號(hào)中的步驟，所述旗標(biāo)屬于包括以下各項(xiàng)的群組信令至少一個(gè)較大塊的存在的旗標(biāo)；信令與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息的存在的旗標(biāo)。
4.根據(jù)權(quán)利要求3所述的編碼方法，其特征在于其包括用于以所述當(dāng)前圖像中的所述宏塊的預(yù)定掃描次序?qū)⒁韵氯舾蓷l信息插入到所述信號(hào)中的步驟與至少一個(gè)宏塊相關(guān)聯(lián)的基本編碼信息；與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息；與較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息。
5.一種計(jì)算機(jī)程序，其包括用于在此程序由處理器執(zhí)行時(shí)實(shí)施根據(jù)權(quán)利要求1所述的編碼方法的指令。
6.一種用于對(duì)圖像序列進(jìn)行編碼的裝置，其包括用于將當(dāng)前圖像細(xì)分(11)為稱為宏塊的標(biāo)準(zhǔn)大小塊的構(gòu)件，所述裝置的特征在于所述裝置針對(duì)所述當(dāng)前圖像的至少一個(gè)當(dāng)前宏塊包括用于考慮所述當(dāng)前圖像的特性而建置(1 具有比所述當(dāng)前宏塊大的大小的至少一個(gè)塊的構(gòu)件，所述至少一個(gè)塊稱為較大塊，其包括所述當(dāng)前宏塊和所述當(dāng)前圖像中的至少一個(gè)相鄰宏塊；用于對(duì)所述較大塊進(jìn)行編碼(1 從而遞送實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建的基本編碼信息的構(gòu)件，以及針對(duì)至少一個(gè)較大塊，用于確定與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建的構(gòu)件。
7.一種表示根據(jù)權(quán)利要求1所述的方法編碼的圖像序列的信號(hào)，其特征在于其包括與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建;以及與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
8.一種包括表示根據(jù)權(quán)利要求1所述的方法編碼的圖像序列的至少一個(gè)信號(hào)的數(shù)據(jù)載體，其特征在于其包括與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建;以及與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建。
9.一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的方法，圖像經(jīng)細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小塊，所述信號(hào)包括與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)當(dāng)前圖像的基本層的重建，較大塊對(duì)應(yīng)于考慮所述當(dāng)前圖像的特性而建置的宏塊的群組；以及與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建，所述方法的特征在于所述方法實(shí)施以下步驟 讀取(71)與較大塊相關(guān)聯(lián)的基本編碼信息； 對(duì)所述基本編碼信息進(jìn)行解碼(7 且重建所述較大塊；在與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息存在的情況下對(duì)此信息進(jìn)行解碼(73)，且細(xì)化所述至少一個(gè)宏塊。
10.根據(jù)權(quán)利要求9所述的解碼方法，其特征在于其包括用于從先前重建的較大塊中存在的至少一個(gè)宏塊重建宏塊的步驟。
11.根據(jù)權(quán)利要求9所述的解碼方法，其特征在于根據(jù)所述宏塊的預(yù)定掃描次序來(lái)進(jìn)行細(xì)化。
12.—種計(jì)算機(jī)程序，其包括用于在此程序由處理器執(zhí)行時(shí)實(shí)施根據(jù)權(quán)利要求9所述的解碼方法的指令。
13.一種用于對(duì)表示圖像序列的信號(hào)進(jìn)行解碼的裝置，圖像經(jīng)細(xì)分為稱為宏塊的標(biāo)準(zhǔn)大小塊，所述信號(hào)包括與至少一個(gè)較大塊相關(guān)聯(lián)的基本編碼信息，從而實(shí)現(xiàn)當(dāng)前圖像的基本層的重建，較大塊對(duì)應(yīng)于考慮所述當(dāng)前圖像的特性而建置的宏塊的群組；以及與所述較大塊中的一者中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的增強(qiáng)層的重建，所述裝置的特征在于所述裝置包括 用于讀取與較大塊相關(guān)聯(lián)的基本編碼信息的構(gòu)件(71)； 用于對(duì)所述基本編碼信息進(jìn)行解碼且重建所述較大塊的構(gòu)件(72)； 用于在與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息存在的情況下對(duì)此信息進(jìn)行解碼且用于細(xì)化所述至少一個(gè)宏塊的構(gòu)件(73)。
全文摘要
本發(fā)明是關(guān)于一種用于對(duì)圖像序列進(jìn)行編碼的方法，其包括用于將當(dāng)前圖像細(xì)分(11)為稱為宏塊的標(biāo)準(zhǔn)大小塊的步驟。根據(jù)本發(fā)明，所述方法針對(duì)所述當(dāng)前圖像的至少一個(gè)當(dāng)前宏塊包括以下步驟考慮所述當(dāng)前圖像的特性而建置(12)具有比所述當(dāng)前宏塊大的大小的至少一個(gè)塊，稱為較大塊，其包括所述當(dāng)前宏塊和所述當(dāng)前圖像中的至少一個(gè)相鄰宏塊；對(duì)所述較大塊進(jìn)行編碼(13)，傳遞基本編碼信息，從而實(shí)現(xiàn)所述當(dāng)前圖像的基本層的重建，以及針對(duì)至少一個(gè)較大塊，確定(14)與所述較大塊中存在的至少一個(gè)宏塊相關(guān)聯(lián)的增強(qiáng)信息。
文檔編號(hào)H04N7/26GK102187674SQ200980141550
公開(kāi)日2011年9月14日 申請(qǐng)日期2009年10月13日 優(yōu)先權(quán)日2008年10月15日
發(fā)明者納瑟莉·肯莫, 斯特凡·派緹, 伊莎貝爾·阿曼諾, 斯娃蓮·克荷里得克 申請(qǐng)人:法國(guó)電信公司