圖像解碼裝置、圖像編碼裝置的制造方法
【技術(shù)領域】
[0001]本發(fā)明涉及圖像解碼裝置、圖像編碼裝置。
【背景技術(shù)】
[0002]在多視點的圖像編碼技術(shù)中，提出了有對多個視點的圖像進行編碼時通過預測圖像間的視差來降低信息量的視差預測編碼、和與該編碼方法對應的解碼方法。將表示視點圖像間的視差的向量稱為位移向量。位移向量是具有水平方向的元素(X分量)和垂直方向的元素(y分量)的二維向量，并按照作為分割一個圖像的區(qū)域的每塊進行計算。另外，為了獲取多視點的圖像，一般使用配置在各個視點的照相機。在多視點的編碼中，各視點圖像在多個層分別作為不同的層被編碼。由多個層構(gòu)成的動態(tài)圖像的編碼方法一般稱為可擴縮編碼或分層編碼。在可擴縮編碼中，通過在各層之間進行預測，實現(xiàn)較高的編碼效率。不進行各層之間的預測而成為基準的層稱為基底層，除此以外的層稱為擴展層。將層由視點圖像構(gòu)成時的可擴縮編碼稱為視圖可擴縮編碼。此時，基底層也稱為基底視圖，擴展層也稱為非基底視圖。進而，在視圖可擴縮的基礎上，在層由紋理層(圖像層)和深度層(距離圖像層)構(gòu)成時的可擴縮編碼稱為三維可擴縮編碼。
[0003]另外，可擴縮編碼除視圖可擴縮編碼外，還有:空間可擴縮編碼(處理分辨率較低的圖片作為基底層，處理分辨率較高的圖片作為擴展層)、和SNR可擴縮編碼(處理圖像質(zhì)量較低的圖片作為基底層，處理分辨率較高的圖片作為擴展層)等。在可擴縮編碼中，例如有時將基底層的圖片在擴展層的圖片的編碼中用作參考圖片。
[0004]另外，在非專利文獻I中已知一種稱為視點合成預測的技術(shù)，其將預測對象塊分割成小的子塊，按每一子塊使用位移向量進行預測，由此，獲得更高精度的預測圖像。
[0005]現(xiàn)有技術(shù)文獻
[0006]非專利文獻
[0007]非專利文獻1:3D-HEVC Draft Text I，JCT3V-E1001_v3，JCT_3V5th Meeting:Vienna，KR，2Aug_27July.2013

【發(fā)明內(nèi)容】

[0008]發(fā)明要解決的課題
[0009]在非專利文獻I的視點合成預測中，基本上是分割成HEVC的最小PU尺寸即8X 4、4X8的子塊(運動補償塊)進行處理。但是，在非專利文獻I中存在如下課題:在稱為非矩形分害J(AMP)的編碼單元(CU)的分割模式中，在選擇了 12 X 16、16 X 12的塊的情況下，會產(chǎn)生需要比HEVC的最小PU尺寸小的4 X 4單位的處理的運動補償塊。
[0010]用于解決課題的手段
[0011]該發(fā)明為了解決上述課題而研發(fā)，本發(fā)明的一方面是一種生成對象預測塊的預測圖像并進行解碼的圖像解碼裝置，其具備生成用于視點合成預測的位移的視點合成預測部，所述視點合成預測部根據(jù)所述預測塊的高度或者寬度是否為8的倍數(shù)設定子塊尺寸，所述視點合成預測部使用所述子塊尺寸并參考深度導出來源于深度的位移。
[0012]另外，本發(fā)明的另一方面是一種生成對象預測塊的預測圖像并進行解碼的圖像編碼裝置，其具備生成用于視點合成預測的位移的視點合成預測部，所述視點合成預測部根據(jù)預測塊的高度或者寬度是否為8的倍數(shù)設定子塊尺寸，所述視點合成預測部使用所述子塊尺寸并參考深度導出來源于深度的位移。
[0013]發(fā)明效果
[0014]根據(jù)本發(fā)明，提高了視點合成預測中的編碼效率，并減少了計算量。
【附圖說明】
[0015]圖1是表示本發(fā)明的實施方式的圖像傳輸系統(tǒng)的結(jié)構(gòu)的概略圖。
[0016]圖2是表示本實施方式的編碼流的數(shù)據(jù)的層次結(jié)構(gòu)的圖。
[0017]圖3是表不參考圖片列表的一例的概念圖。
[0018]圖4是表不參考圖片的不例的概念圖。
[0019]圖5是表示本實施方式的圖像解碼裝置的結(jié)構(gòu)的概略圖。
[0020]圖6是表示本實施方式的幀間預測參數(shù)解碼部的結(jié)構(gòu)的概略圖。
[0021]圖7是表示本實施方式的合并模式參數(shù)導出部的結(jié)構(gòu)的概略圖。
[0022]圖8是表示本實施方式的AMVP預測參數(shù)導出部的結(jié)構(gòu)的概略圖。
[0023]圖9是表不向量候補的一例的概念圖。
[0024]圖10是表示本實施方式的幀間預測參數(shù)解碼控制部的結(jié)構(gòu)的概略圖。
[0025]圖11是表示本實施方式的幀間預測圖像生成部的結(jié)構(gòu)的概略圖。
[0026]圖12是表示比較例中的視點合成部的處理的圖。
[0027]圖13是表示本實施方式的視點合成預測部3094、視點合成預測部3094'的處理的圖。
[0028]圖14是表示本實施方式的殘差預測部的結(jié)構(gòu)的概略圖。
[0029]圖15是表示本實施方式的殘差預測的概念圖(其I)。
[0030]圖16是表示本實施方式的殘差預測的概念圖(其2)。
[0031]圖17是表示本實施方式的視點合成預測部的結(jié)構(gòu)的概略圖。
[0032]圖18是表不合并候補列表的一例的圖。
[0033]圖19是表示本實施方式的視點合成預測部3094、視點合成預測部3094B的處理的圖。
[0034]圖20是表示本實施方式的圖像編碼裝置的結(jié)構(gòu)的方框圖。
[0035]圖21是表示本實施方式的幀間預測參數(shù)編碼部的結(jié)構(gòu)的概略圖。
[0036]圖22是表示本實施方式的視點合成預測部309V的處理的圖。
[0037]圖23是表示本實施方式的視點合成預測部3094B、視點合成預測部3094B'的處理的圖。
[0038]圖24是表示本實施方式的視點合成預測部3094B,的處理的圖。
[0039]圖25是表示PU分割類型的圖案的圖，(a)?(h)分別表示PU分割類型為2NXN、2NXN、2NXnU、2NXnD、2NXN、2NXnU、2NXnD、以及 NXN 的情況下的分區(qū)形狀。
【具體實施方式】
[0040](第一實施方式)
[0041]以下，參考附圖對本發(fā)明的實施方式進行說明。
[0042]圖1是表示本實施方式的圖像傳輸系統(tǒng)I的結(jié)構(gòu)的概略圖。
[0043]圖像傳輸系統(tǒng)I是傳輸編碼了多個層圖像的代碼，并對解碼了傳輸?shù)拇a的圖像進行顯示的系統(tǒng)。圖像傳輸系統(tǒng)I包含圖像編碼裝置11、網(wǎng)絡21、圖像解碼裝置31和圖像顯示裝置41構(gòu)造而成。
[0044]在圖像編碼裝置11中輸入表示多個層圖像(也稱為紋理圖像)的信號T。層圖像是指以某分辨率和某視點觀看或者拍攝的圖像。在進行使用多個層圖像編碼三維圖像的視圖可擴縮編碼的情況下，多個層圖像的每一個分別稱為視點圖像。在此，視點相當于拍攝裝置的位置或觀測點。例如，多個視點圖像為由左右兩個拍攝裝置分別朝向被攝體拍攝的圖像。圖像編碼裝置11對該信號的每一個進行編碼生成編碼流Te(編碼數(shù)據(jù))。對于編碼流Te的詳細說明如后所述。視點圖像是指在某視點觀測到的二維圖像(平面圖像)。視點圖像例如以配置在二維平面內(nèi)的每一像素的亮度值、或色度信號值表示。以下，將一個視點圖像或表示該視點圖像的信號稱為圖片(picture)。另外，在使用多個層圖像進行空間可擴縮編碼的情況下，該多個層圖像由:分辨率較低的基底層圖像、和分辨率較高的擴展層圖像構(gòu)成。在使用多個層圖像進行SNR可擴縮編碼的情況下，該多個層圖像由圖像質(zhì)量較低的基底層圖像、和圖像質(zhì)量較高的擴展層圖像構(gòu)成。此外，也可以任意組合視圖可擴縮編碼、空間可擴縮編碼、SNR可擴縮編碼進行。本實施方式中，作為多層圖像，至少處理包含基底層圖像、和基底層圖像以外的圖像(擴展層圖像)的圖像的編碼和解碼。在多個層中，對于在圖像或者編碼參數(shù)中處于參考關(guān)系(依賴關(guān)系)的兩個層，將被參考側(cè)的圖像稱為第一層圖像，將參考側(cè)的圖像稱為第二層圖像。例如，在有參考基底層編碼的(基底層以外的)增強層圖像的情況下，將基底層圖像作為第一層圖像，將增強層圖像作為第二層圖像處理。此外，作為增強層圖像的示例，有基底視圖以外的視點的圖像、深度圖像等。
[0045]深度圖像(depthmap，也稱為“進深圖像”、“距離圖像”)是由被攝空間中包含的被攝體和背景的、與距視點(拍攝裝置等)的距離對應的信號值(稱為“深度值”、“進深值”、“深度”等)，即配置在二維平面內(nèi)的每一像素的信號值(像素值)構(gòu)成的圖像信號。構(gòu)成深度圖像的像素與構(gòu)成視點圖像的像素對應。因此，深度圖成為用于使用作為將被攝空間投影到二維平面上的基準的圖像信號即視點圖像來表示三維被攝空間的線索。
[0046]網(wǎng)絡21將圖像編碼裝置11生成的編碼流Te傳輸?shù)綀D像解碼裝置31。網(wǎng)絡21是因特網(wǎng)(internet)、廣域網(wǎng)絡(WAN:Wide Area Network)、小型網(wǎng)絡(LAN:Local Area Network)或這些網(wǎng)絡的組合。網(wǎng)絡21不一定限于雙向通信網(wǎng)，也可以是傳輸?shù)孛鏀?shù)字廣播、衛(wèi)星廣播等的廣播波的單向或雙向通信網(wǎng)。另外，網(wǎng)絡21也可以用DVD(Digital Versatile Disc)、BD(Blue-rayDisc)等記錄編碼流Te的存儲介質(zhì)代替。
[0047]圖像解碼裝置31對網(wǎng)絡21傳輸?shù)木幋a流Te的每一個進行解碼，生成分別解碼的多個解碼層圖像Td (解碼視點圖像Td)。
[0048]圖像顯示裝置41對圖像解碼裝置31生成的多個解碼層圖像Td的全部或一部分進行顯示。例如，在視圖可擴縮編碼中，在顯示全部的情況下，顯示三維圖像(立體圖像)或自由視點圖像，在顯示一部分的情況下，顯示二維圖像。圖像顯示裝置41例如具備液晶顯示器、有機EL(Electro-1uminescence)顯示器等顯示設備。另外，在空間可擴縮編碼、SNR可擴縮編碼中，在圖像解碼裝置31、圖像顯示裝置41具有較高的處理能力的情況下，顯示圖像質(zhì)量較高的擴展層圖像，在僅具有更低的處理能力的情況下，顯示無需如擴展層那樣高的處理能力、顯示能力的基底層圖像。
[0049]〈編碼流Te的結(jié)構(gòu)〉
[0050]在對本實施方式的圖像編碼裝置11和圖像解碼裝置31詳細地進行說明之前，對由圖像編碼裝置11生成并由圖像解碼裝置31解碼的編碼流Te的數(shù)據(jù)結(jié)構(gòu)進行說明。
[0051 ]圖2是表示編碼流Te中的數(shù)據(jù)的層次結(jié)構(gòu)的圖。編碼流Te示例性地包含序列、和構(gòu)成序列的多個圖片。圖2的(a)?(f)分別是表示預定序列SEQ的序列層、規(guī)定圖片PICT的圖片層、規(guī)定片斷S的片斷層、規(guī)定片斷數(shù)據(jù)的片斷數(shù)據(jù)層、規(guī)定片斷數(shù)據(jù)中包含的編碼樹單元的編碼樹層、規(guī)定編碼樹中包含的編碼單位(Coding Unit;CU)的編碼單元層的圖。
[0052](序列層)
[0053]在序列層中，為了解碼處理對象的序列SEQ(以下，也稱為對象序列)，規(guī)定了圖像解碼裝置31參考的數(shù)據(jù)的集合。如圖2的(a)所示，序列SEQ包含:視頻參數(shù)集(VideoParameter Set)、序列參數(shù)集SPS(Sequence Parameter Set)、圖片參數(shù)集PPS(PictureParameter Set)、圖片PICT、以及附加擴展信息SEI(Supplemental EnhancementInformat1n)。在此，#之后所示的值表示層ID。在圖2中表示了存在#0和#1即層ID為0和層ID為I的編碼數(shù)據(jù)的例，層的種類和層的數(shù)不依賴于此。
[0054]視頻參數(shù)集VPS在由多個層構(gòu)成的動態(tài)圖像中規(guī)定有通用于多個動態(tài)圖像的編碼參數(shù)的集合、和動態(tài)圖像中包含的多個層及與各個層相關(guān)聯(lián)的編碼參數(shù)的集合。
[0055]在序列參數(shù)集SPS中，為了解碼對象序列，規(guī)定有圖像解碼裝置31參考的編碼參數(shù)的集合。例如，規(guī)定了圖片的寬度和高度。
[0056]在圖片參數(shù)集PPS中，為了解碼對象序列內(nèi)的各圖片，規(guī)定有圖像解碼裝置31參考的編碼參數(shù)的集合。例如，含有:用于圖片的解碼的量化寬度的標準值(pic_init_qp_minus26)、表示使用加權(quán)預測的標志(weighted_pred_flag)。此外，PPS也可以存在多個。在該情況下，從對象序列內(nèi)的各圖片選擇多個PPS中的一個。
[0057](圖片層)
[0058]在圖片層中，為了解碼處理對象的圖片PICT(以下，也稱為對象圖片)，規(guī)定有圖像解碼裝置31參考的數(shù)據(jù)的集合。如圖2的(b)所示，圖片PICT含有片斷SO?SNS-UNS是圖片PICT中包含的片斷的總數(shù))。
[0059]此外，以下，在無需分別區(qū)分片斷SO?SNS-1的情況下，存在省略代碼的角標進行記述的情況。另外，以下說明的編碼流Te中包含的數(shù)據(jù)、即附有角標的其它數(shù)據(jù)也同樣。
[0060](片斷層)
[0061]在片斷層中，為了解碼處理對象的片斷S(也稱為對象片斷)，規(guī)定有圖像解碼裝置31參考的數(shù)據(jù)的集合。片斷S如圖2的(c)所示，含有片斷頭SH、以及片斷數(shù)據(jù)SDATA。
[0062]為了決定對象片斷的解碼方法，在片斷頭SH中含有圖像解碼裝置31參考的編碼參數(shù)組。指定片斷類型的片斷類型指定信息(Slicejype)是片斷頭SH中包含的編碼參數(shù)的一例。
[0063]作為可通過片斷類型指定信息指定的片斷類型，可以列舉出:(1)在編碼時僅使用幀內(nèi)預測的I片斷、(2)在編碼時使用單向預測、或者，使用幀內(nèi)預測的P片斷、(3)在編碼時使用單向預測、雙向預測、或者，使用幀內(nèi)預測的B片斷等。
[0064]此外，在片斷頭SH中也可以含有包含在上述序列層中的、對圖片參數(shù)集PPS的參考(pic_parameter_set_id)。
[0065](片斷數(shù)據(jù)層)
[0066]在片斷數(shù)據(jù)層中，為了解碼處理對象的片斷數(shù)據(jù)SDATA，規(guī)定有圖像解碼裝置31參考的數(shù)據(jù)的集合。如圖2的(d)所示，片斷數(shù)據(jù)SDATA含有:編碼樹塊(CTB: Coded Tr e eBlock) XTB是構(gòu)成片斷的固定尺寸(例如64 X 64)的塊，有時也稱為最大編碼單位(IXU:Largest Cording Unit)。
[0067](編碼樹層)
[0068]如圖2的(e)所示，編碼樹層為了解碼處理對象的編碼樹塊，規(guī)定有圖像解碼裝置31參考的數(shù)據(jù)的集合。編碼樹單元通過遞歸四叉樹分割被分割。將通過遞歸四叉樹分割獲得的樹結(jié)構(gòu)的節(jié)點稱為編碼樹(coding tree)。四叉樹的中間節(jié)點是編碼樹單元(CTU:Coded Tree Unit)，編碼樹塊本身也規(guī)定為最上位的CTU13CTU含有分割標志(split_flag)，在split_flag為I的情況下，分割為四個編碼樹單元CTU。在split_flag為O的情況下，編碼樹單元CTU分割為四個編碼單元(CU:Coded Unit)，編碼單元CU是編碼樹層的末端節(jié)點，在此層中，不再繼續(xù)分割。編碼單元CU成為編碼處理的基本單位。
[0069]另外，在編碼樹塊CTB的尺寸為64X 64像素的情況下，編碼單元的尺寸能夠得到64X 64像素、32 X 32像素、16 X 16像素、以及8 X 8像素中的一個。
[0070](編碼單元層)
[0071]如圖2的(f)所示，編碼單元層為了解碼處理對象的編碼單元規(guī)定有圖像解碼裝置31參考的數(shù)據(jù)的集合。具體來說，編碼單元由⑶頭CUH、預測樹、轉(zhuǎn)換樹、⑶頭⑶F構(gòu)成。在⑶頭CUH中，編碼單元被規(guī)定為使用幀內(nèi)預測的單元，或者使用幀間預測的單元等。另外，CU頭CUH包含:表示編碼單元是否為使用殘差預測的單元的殘差預測權(quán)重索引iv_res_pred_weigh t_idx、表示是否為使用照度補償預測的單元的照度補償標志ic_flag。編碼單元成為預測樹(predict1n tree；PT)和轉(zhuǎn)換樹(transform tree；TT)的根。⑶頭CUF包含在預測樹和轉(zhuǎn)換樹之間、或者，轉(zhuǎn)換樹之后。
[0072]預測樹中，編碼單元分割為I個或多個預測塊，并規(guī)定了各預測塊的位置和尺寸。說到另一個不同的表現(xiàn)，預測塊為構(gòu)成編碼單元的一個或多個不重復的區(qū)域。另外，預測樹包含通過上述的分割獲得的一個或多個預測塊。
[0073]預測處理對每一個該預測塊進行。以下，還將作為預測的單位的預測塊稱為預測單位(predict1n unit ;PU、預測單元)。
[0074]預測樹中的分割的種類大體上來說，有幀內(nèi)預測的情況、和幀間預測的情況兩種情況。幀內(nèi)預測是在同一圖片內(nèi)的預測，幀間預測是指在相互不同的圖片間(例如，顯示時刻間、層圖像間)進行的預測處理。
[0075]在幀內(nèi)預測的情況下，分割方法有2NX2N(與編碼單元相同的尺寸)、和NXN。
[0076]另外，在幀間預測的情況下，分割方法通過編碼數(shù)據(jù)的分割模式partjnode編碼。在由分割模式part_mode指定的PU分割類型中，如將對象CU的尺寸設為2NX 2N像素，則有下面合計8種的圖案。即，2N X 2N像素、2N X N像素、N X 2N像素、和N X N像素四個對稱性分割(symmetric splittings)、以及2NXnU像素、2NXnD像素、nLX 2N像素、和nRX 2N像素四個非對稱性分割(AMP:asymmetric mot1n partit1ns)。此外，意味著N = 2m(m為I以上的任意整數(shù))。以下，也將PU分割類型為非對稱性分割的預測塊稱為AMP塊。由于分割數(shù)為1、2、4中的任一個，因此，⑶中包含的PU為一個至四個。將這些HJ依次表現(xiàn)為PUO、PUl、PU2、PU3。
[0077]圖4(a)?(h)中，對于各個分割類型具體地圖示了⑶中PU分割的邊界的位置。
[0078]圖4(a)表示未進行CU的分割的2N X 2N的PU分割類型。另外，圖4 (b)和(e)分別對PU分割類型為2NXN、以及NX2N時的分區(qū)的形狀進行了表示。另外，圖4(h)表示PU分割類型為NX N時的分區(qū)的形狀。
[0079]另外，圖4(幻、((1)、(0和化)分別對作為非對稱性分割(41^)的、為2^111]、2^nD、nL X 2N、以及nR X 2N時的分區(qū)的形狀進行了表示。
[0080]另外，圖4(a)?(h)中，對各區(qū)域所附的編號表示區(qū)域的識別編號，按照該識別編號的順序，對區(qū)域進行處理。即，該識別編號表示區(qū)域的掃描順序。
[0081]在幀間預測的情況下的預測塊中，在上述8種分割類型中，定義了NXN(圖4(h))以外的7種。
[0082]另外，N的具體值根據(jù)該PU所屬的CU的尺寸規(guī)定，nU、nD、nL、以及nR的具體值根據(jù)N的值決定。例如，32 X 32像素的CU能夠分割為32 X 32像素、32 X 16像素、16 X 32像素、32 X 16像素、32 X 8像素、32 X 24像素、8 X 32像素、以及24 X 32像素的幀間預測的預測塊。
[0083]另外，在轉(zhuǎn)換樹中，編碼單元被分割為一個或多個轉(zhuǎn)換塊，并規(guī)定了各轉(zhuǎn)換塊的位置和尺寸。說到另一個不同的表現(xiàn)，轉(zhuǎn)換塊為構(gòu)成編碼單元的一個或多個不重復的區(qū)域。另夕卜，轉(zhuǎn)換樹包含由上述的分割獲得的一個或多個轉(zhuǎn)換塊。
[0084]轉(zhuǎn)換樹中的分割有:將與編碼單元相同尺寸的區(qū)域切割為轉(zhuǎn)換塊的分割;和與上述的樹塊的分割相同，由遞歸四叉樹分割進行的分割。
[0085]轉(zhuǎn)換處理對每一個該轉(zhuǎn)換塊進行。以下，也將作為轉(zhuǎn)換的單位的轉(zhuǎn)換塊稱為轉(zhuǎn)換單位(transform unit;TU)。
[0086](預測參數(shù))
[0087]預測單元的預測圖像通過預測單元附帶的預測參數(shù)導出。預測參數(shù)有幀內(nèi)預測的預測參數(shù)或者幀間預測的預測參數(shù)。以下，對幀間預測的預測參數(shù)(幀間預測參數(shù))進行說明。幀間預測參數(shù)由預測列表利用標志predFlagLO、predFlagLl、參考圖片索引refldxLO、ref IdxLl、向量mvL0、mvLl構(gòu)成。預測列表利用標志predFlagL0、predFlagLl是表示是否使用了分別稱為LO列表、LI列表的參考圖片列表的標志，使用有與值為I的情況對應的參考圖片列表。此外，在本說明書中記述為“表示是否為XX的