圖像解碼裝置以及圖像編碼裝置制造方法
【專利摘要】包括層間合并候選導出部(1464B)，該層間合并候選導出部(1464B)在對象層中的對象PU中，導出在位于該對象PU的右下的區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為合并候選。
【專利說明】圖像解碼裝置以及圖像編碼裝置
【技術領域】
[0001]本發(fā)明涉及對圖像層次性地編碼的層次編碼數(shù)據(jù)進行解碼的圖像解碼裝置、以及通過將圖像層次性地編碼而生成層次編碼數(shù)據(jù)的圖像編碼裝置。
【背景技術】
[0002]在通信系統(tǒng)中傳輸?shù)男畔⒒蛘咴谛罘e裝置中記錄的信息之一中，有圖像或者活動圖像。以往，已知如下技術:為了圖像(以后，包括活動圖像)的傳輸/蓄積，對圖像進行編碼。
[0003]作為活動圖像編碼方式，已知H.264/MPEG-4.AVC、或作為其后繼編解碼器(codec)的 HEVC (High-Efficiency Video Coding,高效的視頻編碼)(非專利文獻 I)。
[0004]在這些活動圖像編碼方式中，通常，基于通過對輸入圖像進行編碼/解碼而獲得的局部解碼圖像，生成預測圖像，對從輸入圖像(原圖像)減去該預測圖像而獲得的預測殘差(有時也稱為“差分圖像”或者“殘差圖像”)進行編碼。此外，作為預測圖像的生成方法，舉出畫面間預測(外部預測)以及畫面內(nèi)預測(內(nèi)部預測)。
[0005]在內(nèi)部預測中，基于同一幀內(nèi)的局部解碼圖像，依次生成該幀中的預測圖像。
[0006]關于外部預測，通過幀間的運動補償而生成預測圖像。與運動補償有關的信息(運動補償參數(shù))，在大多數(shù)情況下，為了削減碼量而不直接編碼。因此，在外部預測中，進行基于對象塊周邊的解碼狀況等的運動補償參數(shù)的估計。
[0007]例如，在HEVC中，在合并模式的預測單位中，生成運動補償參數(shù)候選(合并候選)的列表，使用從列表中通過索引而選擇的合并候選，進行預測圖像的運動補償。在合并候選的列表中，包括基于相鄰區(qū)域的運動信息而導出的空間候選。在空間候選的導出中，相鄰區(qū)域從位于成為解碼對象的預測單位的左上、右上以及右下的區(qū)域中選擇。
[0008]另一方面，在合并模式以外的預測單位中，生成運動補償參數(shù)候選(預測運動矢量候選)的列表，根據(jù)從列表中通過索引而選擇的運動補償候選、和差分運動矢量，導出運動補償參數(shù)并進行運動補償。
[0009]此外，近年來，提出了如下的層次編碼技術:根據(jù)需要的數(shù)據(jù)率，將圖像層次性地編碼。
[0010]作為層次編碼的方式，作為IS0/IEC和ITU-T的標準而舉出H.264/AVC Annex GScalable Video Coding(可分級的視頻編碼(SVC))。
[0011]在SVC中，支持空間可分級性(scalability)、時間可分級性、SNR可分級性。例如在空間可分級性的情況下，將從原圖像下采樣為期望的分辨率的圖像作為下位層而通過
H.264/AVC進行編碼。接著，在上位層中，為了除去層間的冗長性而進行層間預測。
[0012]作為層間預測，有將與運動預測有關的信息從同時刻的下位層的信息進行預測的運動信息預測、或者將同時刻的下位層的解碼圖像從上采樣的圖像進行預測的紋理(texture)預測(非專利文獻2)。在上述運動信息預測中，將參照層的運動信息作為估計值，運動信息進行編碼。
[0013]現(xiàn)有技術文獻
[0014]非專利文獻
[0015]非專利文獻l:“High efficiency video coding (HEVC) text specificat1n draft7(JCTVC-11003_dl)，，，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG119th Meeting:Geneva, CH, 27April-7May 2012(2012年4月公開)
[0016]非專利文獻2:1TU_T H.264^Advanced video coding for generic aud1visualservices” (2007 年 11 月公開)
【發(fā)明內(nèi)容】
[0017]發(fā)明要解決的課題
[0018]但是，在如上述的有關合并候選的導出的現(xiàn)有技術中，在候選列表中包含的運動信息中，與左上區(qū)域?qū)倪\動信息多，與右下區(qū)域?qū)倪\動信息少。這是因為:由于在相同的層中未導出與右下區(qū)域?qū)倪\動信息，所以不能作為合并候選而利用。因此，存在運動信息的估計精度不充分，不能獲得期望的碼量削減效果的情況。
[0019]本發(fā)明是鑒于上述問題而完成的，其目的在于，實現(xiàn)一種圖像解碼裝置以及圖像編碼裝置，其在層次編碼中的運動信息候選列表的生成中，通過導出多樣的運動信息作為候選，從而能夠?qū)崿F(xiàn)運動信息的碼量削減。
[0020]用于解決課題的手段
[0021]為了解決上述課題，本發(fā)明的圖像解碼裝置是如下的圖像解碼裝置:對與按每個層不同的質(zhì)量的圖像有關的圖像信息進行層次性地編碼的層次編碼數(shù)據(jù)進行解碼，復原成為解碼的對象的對象層中的運動信息，使用通過基于復原的運動信息的運動補償預測而生成的預測圖像，復原上述對象層中的圖像，其特征在于，所述圖像解碼裝置包括:層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0022]上述圖像解碼裝置是，對與按每個層不同的質(zhì)量的圖像有關的圖像信息層次性地編碼的層次編碼數(shù)據(jù)進行解碼，復原圖像的所謂的層次圖像解碼裝置。
[0023]這樣的層次編碼方式有時也被稱為(SVC ;Scalable Video Coding(可分級的視頻編碼))，例如，在H.264/AVC Annex G SVC中進行標準化。此外，這里所稱的活動圖像的質(zhì)量廣泛地意味著對主觀以及客觀的活動圖像的美觀產(chǎn)生影響的元素。在活動圖像的質(zhì)量中，例如包括“分辨率”、“幀率”以及“畫質(zhì)”。以下，將與較高質(zhì)量對應的層稱為較上位的層，將與較低質(zhì)量對應的層稱為較下位的層。
[0024]在上述結(jié)構(gòu)中，對象層是指，成為解碼的對象的層。
[0025]根據(jù)上述結(jié)構(gòu)，復原對象層中的運動信息，使用通過基于復原的運動信息的運動補償預測而生成的預測圖像，復原上述對象層中的圖像。這樣，基于運動信息的運動補償預測的預測方式有時也被稱為外部預測方式。
[0026]根據(jù)上述結(jié)構(gòu)，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層。
[0027]在層次編碼方式中，在對象層的解碼時，有時參照圖像信息解碼完畢的層。這樣，在對象層的解碼時，參照的層稱為參照層。一般，參照層是對象層的下位層。但是，也可以參照比對象層下位的全部的層，至少參照解碼了對象層中的解碼所需的信息的下位層即可。
[0028]根據(jù)上述結(jié)構(gòu)，導出在包括對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0029]包括對象預測單位的周邊區(qū)域是，離對象預測單位在預定范圍內(nèi)且包括對象預測單位的區(qū)域。在包括對象預測單位的周邊區(qū)域中，例如包括對象預測單位的相鄰周邊區(qū)域。解碼未完畢的區(qū)域意味著，沒有解碼運動信息的區(qū)域。
[0030]另外，用于估計上述運動信息的候選是，用于基于對象預測單位周邊的解碼狀況等的運動補償參數(shù)的估計的信息。例如，相當于HEVC中的合并候選。這樣的候選的一個或者多個進行列表化。有時也將該列表稱為合并候選列表。
[0031]根據(jù)上述結(jié)構(gòu)，能夠?qū)⑴c由于在相同的層中未解碼所以不能利用的區(qū)域?qū)膮⒄諈^(qū)域上的運動信息，追加到合并候選列表中。
[0032]由此，起到如下效果:在層次編碼中的運動信息候選列表的生成中，通過導出多樣的運動信息作為候選，從而能夠?qū)崿F(xiàn)運動信息的碼量削減。
[0033]優(yōu)選在本發(fā)明的圖像解碼裝置中，在包括上述對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域是，包括與該對象預測單位對應的上述參照層上的區(qū)域中的右下像素的預定范圍的區(qū)域即右下區(qū)域。
[0034]根據(jù)上述結(jié)構(gòu)，能夠?qū)鼑捎谠谙嗤膶又形唇獯a所以不能利用的對象預測單位的右下像素的預定范圍的區(qū)域中的運動信息，作為運動信息的候選而追加。由于在參照層上的上述區(qū)域中的右下像素周邊中導出的運動信息與對象層的左上區(qū)域中的運動信息的性質(zhì)不同的可能性較高，所以預計較高的碼量削減效果。
[0035]優(yōu)選在本發(fā)明的圖像解碼裝置中，上述右下區(qū)域是，包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的右下像素的運動信息記錄單位。
[0036]根據(jù)上述結(jié)構(gòu)，能夠?qū)⑴c由于在相同的層中未解碼所以不能利用的對象預測單位的右下像素對應的運動信息，作為運動信息的候選而追加。由于與右下像素對應的運動信息與左上區(qū)域中的運動信息的性質(zhì)不同的可能性較高，所以預計較高的碼量削減效果。
[0037]優(yōu)選在本發(fā)明的圖像解碼裝置中，上述右下區(qū)域是，包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的右下像素的運動信息記錄單位的右、下、以及右下中的任一個相鄰的運動信息記錄單位。
[0038]在對象預測單位或者與對象預測單位對應的參照層上的區(qū)域小的情況下，存在該參照層上的區(qū)域中與左上的位置對應的像素和與右下的位置對應的像素屬于相同的運動信息的記錄單位的可能性。
[0039]根據(jù)上述結(jié)構(gòu)，能夠使用包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的右下像素的運動信息記錄單位的右、下、以及右下中的任一個相鄰的運動信息記錄單位的運動信息。因此，能夠從與對應參照區(qū)域中的左上的部分不同的記錄單位導出運動信息的可能性提高。由此，能夠?qū)С龆鄻拥倪\動信息的可能性提高。
[0040]優(yōu)選在本發(fā)明的圖像解碼裝置中，上述層間候選導出單元導出包括上述右下區(qū)域中的運動信息的多個運動信息，作為上述候選，并且，比其他的運動信息優(yōu)先導出上述右下區(qū)域中的運動信息。
[0041]根據(jù)上述結(jié)構(gòu)，存在即使不能利用包括上述右下區(qū)域中的運動信息的多個運動信息，也能夠?qū)С鲞\動信息的候選的情況。
[0042]優(yōu)選在本發(fā)明的圖像解碼裝置中，上述層間候選導出單元至少導出包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的左上像素的運動信息記錄單位中的運動信息，作為上述其他的運動信息。
[0043]根據(jù)上述結(jié)構(gòu)，即使不能利用包括右下像素的運動信息記錄單位中的運動信息，也能夠?qū)⒉荒芾眠\動信息的可能性高的區(qū)域的運動信息作為候選而追加。
[0044]優(yōu)選在本發(fā)明的圖像解碼裝置中，還包括判定單元，該判定單元判定作為候選而導出的運動信息是否與作為候選而導出完畢的運動信息一致，在判定單元判定為作為候選而導出的上述其他的運動信息與上述右下區(qū)域中的運動信息不一致時，上述層間候選導出單元導出上述其他的運動信息作為候選。
[0045]根據(jù)上述結(jié)構(gòu)，能夠避免作為候選而導出的運動信息的重復。
[0046]優(yōu)選在本發(fā)明的圖像解碼裝置中，還包括對象層候選導出單元，該對象層候選導出單元基于在對象層中解碼出的解碼信息，導出運動信息的候選，上述判定單元不進行上述層間候選導出單元作為候選而導出的運動信息與上述對象層候選導出單元作為候選而導出的運動信息的一致判定。
[0047]在進行上述層間候選導出單元作為候選而導出的運動信息與上述對象層候選導出單元作為候選而導出的運動信息的一致判定的情況下，上述層間候選導出單元的運動信息的候選導出處理與上述對象層候選導出單元的運動信息的候選導出處理的并行執(zhí)行性降低。例如，在進行如上述的一致判定的情況下，上述層間候選導出單元的運動信息的候選導出處理結(jié)束之后，串行地執(zhí)行上述對象層候選導出單元的運動信息的候選導出處理。
[0048]相對于此，根據(jù)上述結(jié)構(gòu)，對象層候選導出單元作為候選而導出的運動信息進行一致判定，而不進行如上述的一致判定。
[0049]因此，能夠提高上述層間候選導出單元的運動信息的候選導出處理與上述對象層候選導出單元的運動信息的候選導出處理的并行執(zhí)行性。
[0050]優(yōu)選在本發(fā)明的圖像解碼裝置中，還包括:空間運動信息候選導出單元，基于在對象預測單位的周邊區(qū)域中解碼出的運動信息，導出運動信息的候選；以及判定單元，判定作為候選而導出的運動信息是否與作為候選而導出完畢的運動信息一致，在判定單元判定為作為候選而導出的運動信息與在由上述空間運動信息候選導出單元導出的運動信息的候選中、優(yōu)先級最高的運動信息的候選不一致時，上述層間候選導出單元導出上述運動信息作為候選。
[0051]根據(jù)上述結(jié)構(gòu)，在層間候選導出單元作為候選而導出的運動信息與在由上述空間運動信息候選導出單元導出的運動信息的候選中、優(yōu)先級最高的運動信息的候選不一致時，層間候選導出單元導出上述運動信息作為候選。
[0052]因此，能夠防止優(yōu)先級最高的運動信息重復導出，且提高并行性。
[0053]換言之，能夠抑制并行性的降低，且降低同一個合并候選在候選列表中包含的可能性。
[0054]優(yōu)選在本發(fā)明的圖像解碼裝置中，還包括時間運動信息候選導出單元，該時間運動信息候選導出單元基于在與對象預測單位所屬的圖片不同的圖片中解碼出的運動信息，導出運動信息的候選，在上述層間候選導出單元執(zhí)行運動信息的候選導出處理的情況下，上述時間運動信息候選導出單元不執(zhí)行運動信息的候選導出處理。
[0055]優(yōu)選在本發(fā)明的圖像解碼裝置中，還包括時間運動信息候選導出單元，該時間運動信息候選導出單元基于在與對象預測單位所屬的圖片不同的圖片中解碼出的運動信息，導出運動信息的候選，在上述時間運動信息候選導出單元執(zhí)行運動信息的候選導出處理的情況下，上述層間候選導出單元不執(zhí)行運動信息的候選導出處理。
[0056]在層間候選導出單元以及時間運動信息候選導出單元的雙方導出運動信息的候選的情況下的運動信息的碼量削減幅度與在其中一方導出運動信息的候選的情況下的運動信息的碼量削減幅度沒有較大差異。
[0057]根據(jù)上述結(jié)構(gòu)，在由層間候選導出單元導出運動信息的候選的情況下，時間運動信息候選導出單元不導出運動信息的候選。
[0058]其結(jié)果，能夠抑制運動信息的碼量大幅增加，且能夠削減時間運動信息候選導出單元導出運動信息的候選所需的處理量以及記錄參照圖像的運動矢量的存儲器量。另外，相反，也可以是同樣的。
[0059]為了解決上述課題，本發(fā)明的圖像編碼裝置是如下的圖像編碼裝置:在將與按每個層不同的質(zhì)量的圖像有關的圖像信息進行層次性地編碼而生成層次編碼數(shù)據(jù)時，從上述對象層中的輸入原圖像中減去通過基于在成為編碼的對象的對象層中導出的運動信息的運動補償預測而生成的預測圖像，生成上述對象層中的預測殘差，其特征在于，所述圖像編碼裝置包括:層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0060]這樣構(gòu)成的圖像編碼裝置也是本發(fā)明的范疇，此時，也能夠獲得與上述圖像解碼裝置相同的作用/效果。
[0061]此外，在上述圖像編碼裝置中生成且在上述圖像解碼裝置中解碼的層次編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)也是本發(fā)明的范疇。
[0062]發(fā)明效果
[0063]本發(fā)明的圖像解碼裝置是如下的圖像解碼裝置:對與按每個層不同的質(zhì)量的圖像有關的圖像信息層次性地編碼的層次編碼數(shù)據(jù)進行解碼，復原成為解碼的對象的對象層中的運動信息，使用通過基于復原的運動信息的運動補償預測而生成的預測圖像，復原上述對象層中的圖像，所述圖像解碼裝置包括:層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0064]本發(fā)明的圖像編碼裝置是如下的圖像編碼裝置:在將與按每個層不同的質(zhì)量的圖像有關的圖像信息層次性地編碼而生成層次編碼數(shù)據(jù)時，從上述對象層中的輸入原圖像中減去通過基于在成為編碼的對象的對象層中導出的運動信息的運動補償預測而生成的預測圖像，生成上述對象層中的預測殘差，其特征在于，所述圖像編碼裝置包括:層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0065]因此，起到如下效果:在層次編碼中的運動信息候選列表的生成中，通過導出多樣的運動信息作為候選，能夠?qū)崿F(xiàn)運動信息的碼量削減。
【專利附圖】
【附圖說明】
[0066]圖1是例示在本發(fā)明的一實施方式的層次活動圖像解碼裝置中包含的合并候選導出部的結(jié)構(gòu)的功能框圖。
[0067]圖2是用于說明本發(fā)明的實施方式的層次編碼數(shù)據(jù)的層結(jié)構(gòu)的圖，(a)表示層次活動圖像編碼裝置側(cè)，(b)表示層次活動圖像解碼裝置側(cè)。
[0068]圖3是用于說明本發(fā)明的實施方式的層次編碼數(shù)據(jù)的結(jié)構(gòu)的圖，(a)表示規(guī)定序列SEQ的序列層，(b)表示規(guī)定圖片PICT的圖片層，(c)表示規(guī)定片段S的片段層，(d)表示規(guī)定樹塊(Tree block)TBLK的樹塊層，(e)表示規(guī)定在樹塊TBLK中包含的編碼單位(Coding Unit ；CU)的 CU 層。
[0069]圖4是表示PU分割類型的模型的圖，(a)?(h)分別表示在分割類型為2NXN、2NXnU、2NXnD、2NXN、2NXnU 以及 2NXnD 的情況下的劃分(partit1n)形狀。
[0070]圖5是表示上述層次活動圖像解碼裝置的概略性結(jié)構(gòu)的功能框圖。
[0071]圖6是表示上述層次活動圖像解碼裝置具備的預測參數(shù)復原部的概略性結(jié)構(gòu)的功能框圖。
[0072]圖7是表示在上述層次活動圖像解碼裝置中能夠利用的內(nèi)部預測的方向的圖。
[0073]圖8是表示內(nèi)部預測模式和與該內(nèi)部預測模式建立對應的名稱的圖。
[0074]圖9是表示上述層次活動圖像解碼裝置具備的紋理復原部的概略性結(jié)構(gòu)的功能框圖。
[0075]圖10是表示上述層次活動圖像解碼裝置具備的基本解碼部的概略性結(jié)構(gòu)的功能框圖。
[0076]圖11是用于說明上述合并候選導出部具備的空間合并候選導出部的動作的圖。
[0077]圖12是表示上述合并候選導出部具備的層間合并候選導出部的動作的圖。
[0078]圖13是說明上述合并候選導出部具備的時間合并候選導出部的動作的圖。
[0079]圖14是表示合并候選組合列表的例的圖。
[0080]圖15是表示上述合并候選導出部具備的零合并候選導出部的動作的圖。
[0081]圖16是表示上述合并候選導出部的動作的流程的一例的流程圖。
[0082]圖17是例示上述層間合并候選導出部的其他動作的圖。(a)?(C)表示從2個以上的位置導出層間合并候選的例。(d)表示禁止層間合并候選的導出的例。
[0083]圖18是表示上述合并候選導出部的動作的流程的其他例的流程圖。
[0084]圖19是例示上述合并候選導出部的變形例的結(jié)構(gòu)的功能框圖。
[0085]圖20是用于說明在掃描順序為光柵掃描順序的情況下的解碼未完畢的區(qū)域的圖。
[0086]圖21是用于說明在掃描順序為Z掃描順序的情況下的解碼未完畢的區(qū)域的圖。
[0087]圖22是表示本發(fā)明的一實施方式的層次活動圖像編碼裝置的概略性結(jié)構(gòu)的功能框圖。
[0088]圖23是表示上述層次活動圖像編碼裝置具備的預測參數(shù)復原部的概略性結(jié)構(gòu)的功能框圖。
[0089]圖24是表示在上述層次活動圖像編碼裝置中能夠利用的內(nèi)部預測的方向的圖。
[0090]圖25是表示了搭載了上述層次活動圖像編碼裝置的發(fā)送裝置以及搭載了上述層次活動圖像解碼裝置的接收裝置的結(jié)構(gòu)的圖。(a)表示搭載了層次活動圖像編碼裝置的發(fā)送裝置，(b)表示搭載了層次活動圖像解碼裝置的接收裝置。
[0091]圖26是表示了搭載了上述層次活動圖像編碼裝置的記錄裝置以及搭載了上述層次活動圖像解碼裝置的再現(xiàn)裝置的結(jié)構(gòu)的圖。(a)表示搭載了層次活動圖像編碼裝置的記錄裝置，(b)表示搭載了層次活動圖像解碼裝置的再現(xiàn)裝置。
[0092]圖27是例示在本發(fā)明的一實施方式的層次活動圖像解碼裝置中包含的PU分割類型導出部的結(jié)構(gòu)的功能框圖。
[0093]圖28是說明上述分割類型導出部具備的參照CU設定部對在對象層上的對象幀中包含的對象⑶設定參照⑶的例的圖。
[0094]圖29是更具體地表示了圖28的參照⑶的設定的圖。
[0095]圖30是表示利用判定了參照⑶的右下像素的位置的參照區(qū)域中的位置的結(jié)果，設定PU分割類型的方法的圖。
[0096]圖31是表示利用判定了參照⑶的右下像素的位置的參照區(qū)域中的位置的結(jié)果，設定PU分割類型的方法的圖。
[0097]圖32是表示利用判定了參照⑶的右下像素的位置的參照區(qū)域中的位置的結(jié)果，設定PU分割類型的方法的圖。
[0098]圖33是表示利用判定了參照⑶的右下像素的位置的參照區(qū)域中的位置的結(jié)果，設定PU分割類型的方法的圖。
[0099]圖34是更具體地說明對右下像素的位置進行判定的方法的圖。
[0100]圖35是更具體地說明對右下像素的位置進行判定的方法的圖。
[0101]圖36是表示利用判定了參照⑶和參照區(qū)域的重復區(qū)域的重復的程度的結(jié)果，決定PU分割類型的方法的圖。
[0102]圖37是表示利用判定了參照CU和參照區(qū)域的重復區(qū)域的重復的程度的結(jié)果，決定PU分割類型的方法的圖。
[0103]圖38是表示利用判定了參照CU和參照區(qū)域的重復區(qū)域的重復的程度的結(jié)果，決定PU分割類型的方法的圖。
[0104]圖39是用于更具體地說明重復區(qū)域的重復的程度的判定的圖。
[0105]圖40是用于更具體地說明重復區(qū)域的重復的程度的判定的圖。
[0106]圖41是表示語法元素值和⑶類型的關系的表格。
[0107]圖42是在使用coding_unit對base_mode_f lag進行編碼的情況下的語法表格。
[0108]圖43是在使用predict1n_unit對base_mode_f lag進行判定的情況下的語法表格。
[0109]圖44是表示層次活動圖像解碼裝置中的基本跳過⑶解碼處理的流程的一例的流程圖。
[0110]圖45是表示層次活動圖像解碼裝置中的跳過⑶解碼處理的流程的一例的流程圖。
[0111]圖46是表示層次活動圖像解碼裝置中的外部⑶解碼處理的流程的一例的流程圖。
【具體實施方式】
[0112]基于圖1?圖46，說明本發(fā)明的一實施方式的層次活動圖像解碼裝置I以及層次活動圖像編碼裝置2，則如下所述。
[0113]〔概要〕
[0114]本實施方式的層次活動圖像解碼裝置(圖像解碼裝置)I對通過層次活動圖像編碼裝置(圖像編碼裝置)2進行了可分級影像編碼(SVC !Scalable Video Coding)的編碼數(shù)據(jù)進行解碼?？煞旨売跋窬幋a是，將活動圖像從低質(zhì)量到高質(zhì)量層次性地編碼的編碼方式?？煞旨売跋窬幋a例如在H.264/AVC Annex G SVC中進行標準化。另外，這里所稱的活動圖像的質(zhì)量廣泛地意味著對主觀性以及客觀性的活動圖像的美觀產(chǎn)生影響的元素。在活動圖像的質(zhì)量中，例如包括“分辨率”、“幀率”、“畫質(zhì)”以及“像素的表現(xiàn)精度”。因此，以下，若說活動圖像的質(zhì)量不同，則例示性地指“分辨率”等不同，但并不限定于此。例如，在通過不同的量化步長而被量化的活動圖像的情況下(即，在通過不同的編碼噪聲而被編碼的活動圖像的情況下)，也可以說活動圖像的質(zhì)量互相不同。
[0115]此外，從層次化的信息的種類的觀點出發(fā)，SVC有時也被分類為⑴空間可分級性、(2)時間可分級性以及(3) SNR(Signal to Noise Rat1，信號對噪聲比)可分級性?？臻g可分級性是，在分辨率或圖像的尺寸上進行層次化的技術。時間可分級性是，在幀率(單位時間的幀數(shù))上進行層次化的技術。此外，SNR可分級性是，在編碼噪聲上進行層次化的技術。
[0116]在本實施方式的層次活動圖像編碼裝置2以及層次活動圖像解碼裝置I的詳細的說明之前，首先，說明(I)通過層次活動圖像編碼裝置2而被生成，通過層次活動圖像解碼裝置I而被解碼的層次編碼數(shù)據(jù)的層結(jié)構(gòu)，接著，說明(2)在各層中能夠采用的數(shù)據(jù)結(jié)構(gòu)的具體例。
[0117]〔層次編碼數(shù)據(jù)的層結(jié)構(gòu)〕
[0118]這里，使用圖2說明層次編碼數(shù)據(jù)的編碼以及解碼，則如下所述。圖2是示意性地表示通過下位層次L3、中位層次L2以及上位層次LI的3個層次對活動圖像層次性地編碼/解碼的情況的圖。即，在圖2(a)以及(b)所示的例中，在3個層次中，上位層次LI成為最上位層，下位層次L3成為最下位層。
[0119]以下，與能夠從層次編碼數(shù)據(jù)進行解碼的特定的質(zhì)量對應的解碼圖像被稱為特定的層次的解碼圖像(或者，與特定的層次對應的解碼圖像)(例如，上位層次LI的解碼圖像P0UT#A)。
[0120]圖2(a)表示將輸入圖像PIN#A?PIN#C分別層次性地編碼而生成編碼數(shù)據(jù)DATAM?DATA#C的層次活動圖像編碼裝置2#A?2#C。圖2 (b)表示將層次性地編碼的編碼數(shù)據(jù)DATA#A?DATA#C分別進行解碼而生成解碼圖像P0UT#A?P0UT#C的層次活動圖像解碼裝置1#A?WC0
[0121]首先，使用圖2(a)說明編碼裝置側(cè)。成為編碼裝置側(cè)的輸入的輸入圖像PIN#A、PIN#B以及PIN#C雖然原畫相同，但圖像的質(zhì)量(分辨率、幀率以及畫質(zhì)等)不同。圖像的質(zhì)量按照輸入圖像PIN#A、PIN#B以及PIN#C的順序降低。
[0122]下位層次L3的層次活動圖像編碼裝置2#C對下位層次L3的輸入圖像PIN#C進行編碼而生成下位層次L3的編碼數(shù)據(jù)DATA#C。包括用于對下位層次L3的解碼圖像P0UT#C進行解碼所需的基本信息(圖2中由“C”表示)。由于下位層次L3是最下層的層次，所以下位層次L3的編碼數(shù)據(jù)DATA#C也被稱為基本編碼數(shù)據(jù)。
[0123]此外，中位層次L2的層次活動圖像編碼裝置2#B 一邊參照下位層次的編碼數(shù)據(jù)DATA#C, 一邊對中位層次L2的輸入圖像PIN#B進行編碼而生成中位層次L2的編碼數(shù)據(jù)DATA#B。在中位層次L2的編碼數(shù)據(jù)DATA#B中，除了在編碼數(shù)據(jù)DATA#C中包含的基本信息“C”之外，還包括用于對中位層次的解碼圖像P0UT#B進行解碼所需的附加的信息(圖2中由“B”表示)。
[0124]此外，上位層次LI的層次活動圖像編碼裝置2#A —邊參照中位層次L2的編碼數(shù)據(jù)DATA#B，一邊對上位層次LI的輸入圖像PIN#A進行編碼而生成上位層次LI的編碼數(shù)據(jù)DATAM0在上位層次LI的編碼數(shù)據(jù)DATA#A中，除了用于對下位層次L3的解碼圖像P0UT#C進行解碼所需的基本信息“C”以及用于對中位層次L2的解碼圖像P0UT#B進行解碼所需的附加的信息“B”之外，還包括用于對上位層次的解碼圖像P0UT#A進行解碼所需的附加的信息(圖2中由“A”表不)。
[0125]這樣，上位層次LI的編碼數(shù)據(jù)DATA#A包括與不同的多個質(zhì)量的解碼圖像有關的信息。
[0126]接著，參照圖2(b)說明解碼裝置側(cè)。在解碼裝置側(cè)中，與上位層次L1、中位層次L2以及下位層次L3的各個層次對應的解碼裝置1#A、1#B以及1#C對編碼數(shù)據(jù)DATA#A、DATA#B以及DATA#C進行解碼而輸出解碼圖像P0UT#A、P0UT#B以及P0UT#C。
[0127]另外，也能夠提取上位的層次編碼數(shù)據(jù)的一部分信息，在較下位的特定的解碼裝置中，通過對該提取出的信息進行解碼，從而再現(xiàn)特定的質(zhì)量的活動圖像。
[0128]例如，中位層次L2的層次活動圖像解碼裝置WB也可以從上位層次LI的層次編碼數(shù)據(jù)DATA#A中，提取用于對解碼圖像P0UT#B進行解碼所需的信息(即，在層次編碼數(shù)據(jù)DATAM中包含的“B”以及“C” )，對解碼圖像P0UT#B進行解碼。換言之，在解碼裝置側(cè)中，能夠基于在上位層次LI的層次編碼數(shù)據(jù)DATA#A中包含的信息，對解碼圖像P0UT#A、P0UT#B以及P0UT#C進行解碼。
[0129]另外，并不限定于以上的3個層次的層次編碼數(shù)據(jù)，層次編碼數(shù)據(jù)也可以通過2個層次進行層次編碼，也可以通過多于3個層次的層次數(shù)進行層次編碼。
[0130]此外，也可以如下構(gòu)成層次編碼數(shù)據(jù):將與特定的層次的解碼圖像有關的編碼數(shù)據(jù)的一部分或者全部，與其他的層次獨立地編碼，在特定的層次的解碼時，也可以不參照其他的層次的信息。例如，在使用了圖2(a)以及(b)的上述的例中，說明了在解碼圖像P0UT#B的解碼中參照“C”以及“B”，但并不限定于此。也能夠如下構(gòu)成層次編碼數(shù)據(jù):解碼圖像POUT#B能夠只使用“B”進行解碼。
[0131]另外，在實現(xiàn)SNR可分級性的情況下，也能夠如下構(gòu)成層次編碼數(shù)據(jù):在作為輸入圖像PIN#A、PIN#B以及PIN#C而使用了同一個原畫的基礎上，解碼圖像P0UT#A、P0UT#B以及P0UT#C成為不同的畫質(zhì)。此時，與上位層次的層次活動圖像編碼裝置相比，下位層次的層次活動圖像編碼裝置通過使用更大的量化步長對預測殘差進行量化，從而生成層次編碼數(shù)據(jù)。
[0132]在本說明書中，為了便于說明，如下定義用語。只要沒有特別提及，則以下的用語用于表示下述的技術事項。
[0133]上位層:將比某層次位于上位的層次稱為上位層。例如，在圖2中，下位層次L3的上位層是中位層次L2以及上位層次LI。此外，上位層的解碼圖像是指，質(zhì)量更高(例如，分辨率更高、幀率更高、畫質(zhì)更高等)的解碼圖像。
[0134]下位層:將比某層次位于下位的層次稱為下位層。例如，在圖2中，上位層次LI的下位層是中位層次L2以及下位層次L3。此外，下位層的解碼圖像是指，質(zhì)量更低的解碼圖像。
[0135]對象層:是指成為解碼或者編碼的對象的層次。
[0136]參照層(reference layer):將在對與對象層對應的解碼圖像進行解碼時參照的特定的下位層稱為參照層。
[0137]在如圖2(a)以及(b)所示的例中，上位層次LI的參照層是中位層次L2以及下位層次L3。但是，并不限定于此，也能夠如下構(gòu)成層次編碼數(shù)據(jù):在特定的上述層的解碼中，也可以不參照下位層的全部。例如，也能夠如下構(gòu)成層次編碼數(shù)據(jù):上位層次LI的參照層成為中位層次L2以及下位層次L3中的任一個。
[0138]基本層(base layer):將位于最下層的層次稱為基本層?；緦拥慕獯a圖像是能夠從編碼數(shù)據(jù)進行解碼的質(zhì)量最低的解碼圖像，被稱為基本解碼圖像。換言之，基本解碼圖像是與最下層的層次對應的解碼圖像?；窘獯a圖像的解碼所需的層次編碼數(shù)據(jù)的部分編碼數(shù)據(jù)被稱為基本編碼數(shù)據(jù)。例如，在上位層次LI的層次編碼數(shù)據(jù)DATA#A中包含的基本信息“C”是基本編碼數(shù)據(jù)。
[0139]擴展層:基本層的上位層被稱為擴展層。
[0140]層識別符:層識別符是用于識別層次的識別符，與層次I對I對應。在層次編碼數(shù)據(jù)中，包括用于選擇特定的層次的解碼圖像的解碼所需的部分編碼數(shù)據(jù)而使用的層次識別符。與對應于特定的層的層識別符建立關聯(lián)的層次編碼數(shù)據(jù)的部分集合也被稱為層表現(xiàn)。
[0141]一般，在特定的層次的解碼圖像的解碼中，使用該層次的層表現(xiàn)和/或與該層次的下位層對應的層表現(xiàn)。即，在對象層的解碼圖像的解碼中，使用對象層的層表現(xiàn)和/或在對象層的下位層中包含的I個以上層次的層表現(xiàn)。
[0142]層間預測:層間預測是，基于通過在與對象層的層表現(xiàn)不同的層次(參照層)的層表現(xiàn)中包含的語法元素值、語法元素值而導出的值以及解碼圖像，預測對象層的語法元素值或在對象層的解碼中使用的編碼參數(shù)等。有時也將從(同時刻的)參照層的信息預測與運動預測有關的信息的層間預測稱為運動信息預測。此外，有時也將從上采樣的圖像預測(同時刻的)下位層的解碼圖像的層間預測稱為紋理預測(或者層間內(nèi)部預測)。另外，在層間預測中使用的層次，例示性地是對象層的下位層。此外，有時也將不使用參照層而在對象層內(nèi)進行預測稱為層內(nèi)預測。
[0143]另外，以上的用語到底是為了便于說明的，也可以由其他的用語來表現(xiàn)上述的技術事項。
[0144]〔關于層次編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)〕
[0145]以下，例示作為生成各層次的編碼數(shù)據(jù)的編碼方式，使用HEVC及其擴展方式的情況。但是，并不限定于此，也可以通過MPEG-2或H.264/AVC等的編碼方式生成各層次的編碼數(shù)據(jù)。
[0146]此外，下位層和上位層也可以通過不同的編碼方式進行編碼。此外，各層次的編碼數(shù)據(jù)也可以經(jīng)由相互不同的傳輸路徑而提供給層次活動圖像解碼裝置1，也可以經(jīng)由相同的傳輸路徑而提供給層次活動圖像解碼裝置I。
[0147]例如，也可以在將超高清影像(活動圖像、4K影像數(shù)據(jù))通過基本層以及I個擴展層進行可分級編碼而傳輸?shù)那闆r下，基本層通過MPEG-2或者H.264/AVC對將4K影像數(shù)據(jù)進行縮放(down scaling)、交織化的影像數(shù)據(jù)進行編碼并通過電視廣播網(wǎng)而傳輸，擴展層通過HEVC對4K影像(漸進式)進行編碼并通過互聯(lián)網(wǎng)而傳輸。
[0148](基本層)
[0149]圖3是例示在基本層中能夠采用的編碼數(shù)據(jù)(若以圖2的例來說，則層次編碼數(shù)據(jù)DATA#C)的數(shù)據(jù)結(jié)構(gòu)的圖。層次編碼數(shù)據(jù)DATA#C例示性地包括序列以及構(gòu)成序列的多個圖片。
[0150]圖3表示層次編碼數(shù)據(jù)DATA#C中的數(shù)據(jù)的層次結(jié)構(gòu)。圖3的(a)?(e)是分別表示規(guī)定序列SEQ的序列層、規(guī)定圖片PICT的圖片層、規(guī)定片段S的片段層、規(guī)定樹塊(Treeblock)TBLK的樹塊層、規(guī)定在樹塊TBLK中包含的編碼單位(Coding Unit ;CU)的CU層的圖。
[0151](序列層)
[0152]在序列層中，規(guī)定了為了對處理對象的序列SEQ(以下，也稱為對象序列)進行解碼而層次活動圖像解碼裝置I參照的數(shù)據(jù)的集合。如圖3的(a)所示，序列SEQ包括序列參數(shù)集 SPS (Sequence Parameter Set)、圖片參數(shù)集 PPS (Picture Parameter Set)、自適應參數(shù)集 APS (Adaptat1n Parameter Set)、圖片 PICT1 ?PICTnp (NP 是在序列 SEQ 中包含的圖片的總數(shù))以及附加擴展信息 SEI (Supplemental Enhancement Informat1n)。
[0153]在序列參數(shù)集SPS中，規(guī)定了為了對對象序列進行解碼而層次活動圖像解碼裝置I參照的編碼參數(shù)的集合。
[0154]在圖片參數(shù)集PPS中，規(guī)定了為了對對象序列內(nèi)的各圖片進行解碼而層次活動圖像解碼裝置I參照的編碼參數(shù)的集合。另外，也可以存在多個PPS。此時，從對象序列內(nèi)的各圖片中選擇多個PPS中的任一個。
[0155]在自適應參數(shù)集APS中，規(guī)定了為了對對象序列內(nèi)的各片段進行解碼而層次活動圖像解碼裝置I參照的編碼參數(shù)的集合。也可以存在多個APS。此時，從對象序列內(nèi)的各片段中選擇多個APS中的任一個。
[0156](圖片層)
[0157]在圖片層中，規(guī)定了為了對處理對象的圖片PICT(以下，也稱為對象圖片)進行解碼而層次活動圖像解碼裝置I參照的數(shù)據(jù)的集合。如圖3的(b)所示，圖片PICT包括圖片頭PH以及片段S1?Sns (NS是在圖片PICT中包含的片段的總數(shù))。
[0158]另外，以下，在不需要區(qū)分片段S1?Sns的各個的情況下，有時省略標記的下標而記載。此外，關于在以下說明的層次編碼數(shù)據(jù)DATA#C中包含且標上下標的其他的數(shù)據(jù)，也是同樣的。
[0159]在圖片頭PH中，包括為了決定對象圖片的解碼方法而層次活動圖像解碼裝置I參照的編碼參數(shù)群。另外，編碼參數(shù)群不需要必須直接包括在圖片頭PH內(nèi)，例如也可以通過包括至圖片參數(shù)集PPS的參照而間接地包括。
[0160](片段層)
[0161]在片段層中，規(guī)定了為了對處理對象的片段S (也稱為對象片段)進行解碼而層次活動圖像解碼裝置I參照的數(shù)據(jù)的集合。如圖3的(C)所示，片段S包括片段頭SH以及樹塊TBLK1?TBLKnJNC是在片段S中包含的樹塊的總數(shù))的序列。
[0162]在片段頭SH中，包括為了決定對象片段的解碼方法而層次活動圖像解碼裝置I參照的編碼參數(shù)群。指定片段類型的片段類型指定信息(Slicejype)是在片段頭SH中包含的編碼參數(shù)的一例。
[0163]作為能夠由片段類型指定信息指定的片段類型，舉出⑴在編碼時只使用內(nèi)部預測的I片段、(2)在編碼時使用單向預測或者內(nèi)部預測的P片段、(3)在編碼時使用單向預測、雙向預測或者內(nèi)部預測的B片段等。
[0164]另外，在片段頭SH中，也可以包括在上述序列層中包含的、至圖片參數(shù)集PPS的參照(pic_parameter_set_id)、至自適應參數(shù)集 APS 的參照(aps_id)。
[0165]此外，在片段頭SH中，包括由層次活動圖像解碼裝置I具備的自適應濾波器所參照的濾波器參數(shù)FP。濾波器參數(shù)FP包括濾波器系數(shù)群。在濾波器系數(shù)群中，包括(I)指定濾波器的抽頭數(shù)的抽頭數(shù)指定信息、(2)濾波器系數(shù)Btl?(NT是在濾波器系數(shù)群中包含的濾波器系數(shù)的總數(shù))以及(3)偏移量(offset)。
[0166](樹塊層)
[0167]在樹塊層中，規(guī)定了為了對處理對象的樹塊TBLK(以下，也稱為對象樹塊)進行解碼而層次活動圖像解碼裝置I參照的數(shù)據(jù)的集合。另外，有時也將樹塊稱為編碼樹塊(CTB:Coding Tree block)或者最大編碼單位(LCU:Largest Cording Unit)。
[0168]樹塊TBLK包括樹塊頭TBLKH和編碼單位信息OT1?CUa (NL是在樹塊TBLK中包含的編碼單位信息的總數(shù))。這里，首先，若說明樹塊TBLK和編碼單位信息CU的關系，則如下所述。
[0169]樹塊TBLK分割為用于確定塊尺寸的劃分，該塊尺寸用于內(nèi)部預測或者外部預測、以及變換的各處理。
[0170]樹塊TBLK的上述劃分通過遞歸的4叉樹分割而被分割。以下，將通過該遞歸的4叉樹分割而獲得的樹結(jié)構(gòu)稱為編碼樹(coding tree)。
[0171]以下，將作為編碼樹的末端的節(jié)點的葉(leaf)對應的劃分作為編碼節(jié)點(codingnode)而參照。此外，由于編碼節(jié)點成為編碼處理的基本的單位，所以以下也將編碼節(jié)點稱為編碼單位(⑶)。另外，有時也將編碼節(jié)點稱為編碼塊(CB:Coding Block)。
[0172]即，編碼單位信息(以下，稱為⑶信息)CT1?CUa是與將樹塊TBLK遞歸性地進行4叉樹分割而獲得的各編碼節(jié)點(編碼單位)對應的信息。
[0173]此外，編碼樹的根(root)與樹塊TBLK建立對應。換言之，樹塊TBLK與將多個編碼節(jié)點遞歸性地包括的4叉樹分割的樹結(jié)構(gòu)的最上位節(jié)點建立對應。
[0174]另外，各編碼節(jié)點的尺寸的縱橫都是該編碼節(jié)點直接所屬的編碼節(jié)點(S卩，該編碼節(jié)點的I個層次上位的節(jié)點的劃分)的尺寸的一半。
[0175]此外，樹塊TBLK的尺寸以及各編碼節(jié)點可取的尺寸依賴于在層次編碼數(shù)據(jù)DATA#C的序列參數(shù)集SPS中包含的、最小編碼節(jié)點的尺寸指定信息以及最大編碼節(jié)點和最小編碼節(jié)點的層次深度的差分。例如，在最小編碼節(jié)點的尺寸為8X8像素且最大編碼節(jié)點和最小編碼節(jié)點的層次深度的差分為3的情況下，樹塊TBLK的尺寸為64 X 64像素，編碼節(jié)點的尺寸可取4種尺寸、8卩64 X 64像素、32 X 32像素、16 X 16像素以及8 X 8像素中的任一個。
[0176](樹塊頭)
[0177]在樹塊頭TBLKH中，包括為了決定對象樹塊的解碼方法而層次活動圖像解碼裝置I參照的編碼參數(shù)。具體而言，如圖3的(d)所示，包括指定對象樹塊至各CU的分割模型的樹塊分割信息SP _ TBLK以及指定量化步長的大小的量化參數(shù)差分Λ qp (qp_delta)。
[0178]樹塊分割信息SP — TBLK是表示用于分割樹塊的編碼樹的信息，具體而言，是指定在對象樹塊中包含的各CU的形狀、尺寸以及在對象樹塊內(nèi)的位置的信息。
[0179]另外，樹塊分割信息SP —TBLK也可以不明示地包括⑶的形狀或尺寸。例如，樹塊分割信息SP —TBLK也可以是表示是否將對象樹塊整體或者樹塊的部分區(qū)域進行四分割的標記的集合。此時，通過并用樹塊的形狀或尺寸，能夠確定各CU的形狀或尺寸。
[0180]此外，量化參數(shù)差分Λ qp是，對象樹塊中的量化參數(shù)qp和在該對象樹塊的緊之前編碼的樹塊中的量化參數(shù)qp’的差分qp-qp’。
[0181](CU 層)
[0182]在CU層中，規(guī)定了為了對處理對象的CU(以下，也稱為對象CU)進行解碼而層次活動圖像解碼裝置I參照的數(shù)據(jù)的集合。
[0183]這里，在說明在⑶信息⑶中包含的數(shù)據(jù)的具體的內(nèi)容之前，說明在⑶中包含的數(shù)據(jù)的樹結(jié)構(gòu)。編碼節(jié)點成為預測樹(predict1n tree ；PT)以及變換樹(transformtree ；TT)的根的節(jié)點。若說明預測樹以及變換樹，則如下所述。
[0184]在預測樹中，編碼節(jié)點分割為一個或者多個預測塊，且規(guī)定了各預測塊的位置和尺寸。若換成其他表現(xiàn)，則預測塊是構(gòu)成編碼節(jié)點的一個或者多個不重復的區(qū)域。此外，預測樹包括通過上述的分割而獲得的一個或者多個預測塊。
[0185]預測處理對該每個預測塊進行。以下，也將作為預測的單位的預測塊稱為預測單位(predict1n unit ；PU)。
[0186]預測樹中的分割(以下，簡稱為分割)的種類大致有內(nèi)部預測的情況和外部預測的情況的兩種。
[0187]在內(nèi)部預測的情況下，分割方法有2NX2N(與編碼節(jié)點相同的尺寸)和NXN。
[0188]此外，在外部預測的情況下，分割方法有2NX2N(與編碼節(jié)點相同的尺寸)、2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N 以及 NXN 等。關于 I3U 分割的種類，在后面使用附圖進行說明。
[0189]此外，在變換樹中，編碼節(jié)點分割為一個或者多個變換塊，且規(guī)定了各變換塊的位置和尺寸。若換成其他表現(xiàn)，則變換塊是構(gòu)成編碼節(jié)點的一個或者多個不重復的區(qū)域。此夕卜，變換樹包括通過上述的分割而獲得的一個或者多個變換塊。
[0190]在變換樹中的分割中，有將與編碼節(jié)點相同的尺寸的區(qū)域作為變換塊而分配的分害I]、以及與上述的樹塊的分割相同的遞歸的4叉樹分割的分割。
[0191]變換處理對該每個變換塊進行。以下，也將作為變換的單位的變換塊稱為變換單位(transform unit ；TU)。
[0192](⑶信息的數(shù)據(jù)結(jié)構(gòu))
[0193]接著，參照圖3(e)說明在CU信息CU中包含的數(shù)據(jù)的具體的內(nèi)容。如圖3(e)所示，CU信息CU具體包括跳過標記SKIP、預測樹信息(以下，簡稱為PT信息)PTI以及變換樹信息(以下，簡稱為TT信息)TTI。
[0194]跳過標記SKIP是表示是否對對象的I3U應用跳過模式的標記，在跳過標記SKIP的值為I的情況下，即在對對象CU應用跳過模式的情況下，該CU信息CU中的PT信息PTI的一部分以及TT信息TTI被省略。另外，跳過標記SKIP在I片段中被省略。
[0195][PT 信息]
[0196]PT信息PTI是與在⑶中包含的預測樹(以下，簡稱為PT)有關的信息。換言之，PT信息PTI是與在PT中包含的一個或者多個I3U的各個有關的信息的集合，在由層次活動圖像解碼裝置I生成預測圖像時參照。如圖3(e)所示，PT信息PTI包括預測類型信息PType以及預測信息PInfo。
[0197]預測類型信息PType是指定作為關于對象的預測圖像生成方法，是使用內(nèi)部預測還是使用外部預測的信息。
[0198]預測信息PInfo根據(jù)預測類型信息PType指定哪個預測方法而包括內(nèi)部預測信息PP — Intra或者外部預測信息PP — Inter。以下，也將應用內(nèi)部預測的I3U稱為內(nèi)部I3U,也將應用外部預測的I3U稱為外部ro。
[0199]外部預測信息PP — Inter包括在層次活動圖像解碼裝置I通過外部預測而生成外部預測圖像時參照的編碼參數(shù)。更具體而言，外部預測信息PP — Inter包括指定對象CU至各外部PU的分割模型的外部分割信息以及關于各外部的外部預測參數(shù)。
[0200]內(nèi)部預測信息PP — Intra包括在層次活動圖像解碼裝置I通過內(nèi)部預測而生成內(nèi)部預測圖像時參照的編碼參數(shù)。更具體而言，在內(nèi)部預測信息pp—Intra中，包括指定對象CU至各內(nèi)部PU的分割模型的內(nèi)部分割信息以及關于各內(nèi)部的內(nèi)部預測參數(shù)。內(nèi)部預測參數(shù)是用于指定關于各內(nèi)部PU的內(nèi)部預測方法(預測模式)的參數(shù)。
[0201]此外，在分割信息中，也可以包括指定對象PU的形狀、尺寸以及位置的信息。關于PU分割信息的細節(jié)，在后面敘述。
[0202][TT 信息]
[0203]TT信息TTI是與在⑶中包含的變換樹(以下，簡稱為TT)有關的信息。換言之，TT信息TTI是與在TT中包含的一個或者多個TU的各個有關的信息的集合，在由層次活動圖像解碼裝置I解碼殘差數(shù)據(jù)時參照。另外，以下，有時也將TU稱為塊。
[0204]如圖3 (e)所示，TT信息TTI包括指定對象⑶至各變換塊的分割模型的TT分割信息SP _ TT以及量化預測殘差QD1?QDnt (NT是在對象⑶中包含的塊的總數(shù))。
[0205]具體而言，TT分割信息SP —TT是用于決定在對象⑶中包含的各TU的形狀、尺寸以及對象CU內(nèi)的位置的信息。例如，TT分割信息SP —TT能夠由表示是否進行成為對象的節(jié)點的分割的信息(SPIit_transform_unit_flag)和表示該分割的深度的信息(trafoDepth)實現(xiàn)。
[0206]此外，例如，在⑶的尺寸為64 X 64的情況下，通過分割而獲得的各TU可取32 X 32像素至4X4像素的尺寸。
[0207]各量化預測殘差QD是，層次活動圖像編碼裝置2通過對作為處理對象的塊的對象塊實施以下的處理I?3而生成的編碼數(shù)據(jù)。
[0208]處理1:對從編碼對象圖像減去預測圖像的預測殘差進行頻率變換(例如，DCT變換(Discrete Cosine Transform,離散余弦變換)以及 DST 變換(Discrete SineTransform,離散正弦變換)等)；
[0209]處理2:對通過處理I而獲得的變換系數(shù)進行量化；
[0210]處理3:對通過處理2而量化的變換系數(shù)進行可變長編碼；
[0211]另外，上述的量化參數(shù)qp表示在層次活動圖像編碼裝置2對變換系數(shù)進行量化時使用的量化步長QP的大小(QP = 2?76)。
[0212](預測參數(shù))
[0213]說明外部預測以及內(nèi)部預測中的預測參數(shù)的細節(jié)。如上所述，在預測信息PInfo中，包括外部預測參數(shù)或者內(nèi)部預測參數(shù)。
[0214]作為外部預測參數(shù)，例如，舉出合并標記(merge — flag)、合并索引(merge —idx)、估計運動矢量索引(mvp — idx)、參照圖像索引(ref—idx)、外部預測標記(inter—pred — flag)以及運動矢量殘差(mvd)。
[0215]另一方面，作為內(nèi)部預測參數(shù)，例如，舉出估計預測模式標記、估計預測模式索引以及殘余預測模式索引。
[0216](TO分割信息)
[0217]在由PU分割信息而指定的分割類型中，若將對象⑶的尺寸設為2NX 2N像素，則有如下的共計8種模型。即，2N X 2N像素、2N X N像素、N X 2N像素、N X N像素的4個對稱的分割(symmetric splittings)、以及 2NXnU 像素、2NXnD 像素、nLX 2N 像素、nRX 2N 像素的4個不對稱的分割(asymmetric splittings)。另外,意味著N = 2m(m是I以上的任意的整數(shù))。以下，也將分割對象CU而獲得的區(qū)域稱為劃分。
[0218]圖4(a)?(h)關于各個分割類型具體圖示⑶中的分割的邊界的位置。
[0219]圖4(a)表示不進行CU的分割的2NX2N的I3U分割類型。此外，圖4(b)、(c)以及(d)分別表示在I3U分割類型為2NXN、2NXnU以及2NXnD的情況下的劃分的形狀。此外，圖4(e)、(f)以及(g)分別表示在I3U分割類型為NX2N、nLX2N以及nRX2N的情況下的劃分的形狀。此外，圖4(h)表示在分割類型為NXN的情況下的劃分的形狀。
[0220]將圖4(a)以及(h)的分割類型，基于其劃分的形狀，也稱為正方形分割。此外，圖4(b)?(g)的分割類型也稱為非正方形分割。
[0221]此外，在圖4(a)?(h)中，對各區(qū)域賦予的序號表示區(qū)域的識別號，按照該識別號順序，對區(qū)域進行處理。即，該識別號表示區(qū)域的掃描順序。
[0222][在外部預測的情況下的分割類型]
[0223]在外部I3U中，在上述8種分割類型中，定義了 NXN(圖4(h))以外的7種。另外，上述6個不對稱的分割有時也被稱為AMP (Asymmetric Mot1n Partit1n,不對稱運動分表 I])。
[0224]此外，N的具體的值根據(jù)該I3U所屬的⑶的尺寸而規(guī)定，nU、nD、nL以及nR的具體的值根據(jù)N的值而確定。例如，128X128像素的外部⑶能夠分割為128X 128像素、128X64像素、64X128像素、64X64像素、128X32像素、128X96像素、32X 128像素以及96X128像素的外部W。
[0225][在內(nèi)部預測的情況下的分割類型]
[0226]在內(nèi)部PU中，定義了以下的2種分割模型。不分割對象CU的、即對象CU本身作為I個PU而被處理的分割模型2NX 2N和將對象⑶對稱地分割為4個PU的模型NXN。
[0227]因此，在內(nèi)部中，若以圖4所示的例來說，則能夠取(a)以及(h)的分割模型。
[0228]例如，128X128像素的內(nèi)部⑶能夠分割為128X 128像素以及64X64像素的內(nèi)部PU。
[0229](擴展層)
[0230]關于擴展層的編碼數(shù)據(jù)，例如，能夠采用與圖3所示的數(shù)據(jù)結(jié)構(gòu)大致相同的數(shù)據(jù)結(jié)構(gòu)。但是，在擴展層的編碼數(shù)據(jù)中，如以下所述，能夠追加附加性的信息或者省略參數(shù)。
[0231]在SPS中，也可以被編碼表示層次編碼的信息。
[0232]此外，在片段層中，也可以被編碼空間可分級性、時間可分級性以及SNR可分級性的層次的識別信息(分別為dependency_id、temporal_id以及quality_id)。濾波器信息或濾波器的0N/0FF信息(后述)能夠通過PPS、片段頭、宏塊頭等進行編碼。
[0233]此外，在⑶信息⑶中，也可以被編碼跳過標記(skip_f lag)、基本模式標記(base_mode_flag)以及預測模式標記(pred_mode_f lag)。
[0234]此外,通過這些標記,也可以指定對象⑶的⑶類型是內(nèi)部⑶、外部⑶、跳過⑶以及基本跳過⑶中的哪一個。
[0235]內(nèi)部⑶以及跳過⑶能夠與上述的HEVC方式的情況相同地定義。例如，在跳過⑶中，對跳過標記設定“I”。在不是跳過CU的情況下，對跳過標記設定“O”。此外，在內(nèi)部CU中，對預測模式標記設定“O”。
[0236]此外，夕卜部⑶也可以定義為應用非跳過且運動補償(MC ;Mot1n Compensat1n)的⑶。在外部⑶中，例如，對跳過標記設定“0”，對預測模式標記設定“I”。
[0237]基本跳過CU是從參照層估計CU或者PU的信息的CU類型。此外，在基本跳過CU中，例如，對跳過標記設定“ I ”，對基本模式標記設定“ I ”。
[0238]此外，在PT信息PTI中，也可以指定對象I3U的PU類型是內(nèi)部PU、外部PU、合并PU以及基本合并I3U中的哪一個。
[0239]內(nèi)部PU、外部TO、合并PU能夠與上述的HEVC方式的情況相同地定義。
[0240]基本合并PU是從參照層估計I3U的信息的I3U類型。此外，例如，在PT信息PTI中，也可以預先對合并標記以及基本模式標記進行了編碼，使用這些標記，判定對象PU是否為進行基本合并的PU。即，在基本合并中，對合并標記設定“I”，對基本模式標記設定“I”。
[0241]另外，在擴展層中包含的運動矢量信息中，關于能夠從在下位層中包含的運動矢量信息導出的運動矢量信息，能夠設為從擴展層省略的結(jié)構(gòu)。通過設為這樣的結(jié)構(gòu)，由于能夠削減擴展層的碼量，所以編碼效率提高。
[0242]此外，如上所述，也可以通過與下位層的編碼方式不同的編碼方式，生成擴展層的編碼數(shù)據(jù)。即，擴展層的編碼/解碼處理不依賴下位層的編解碼器的種類。
[0243]下位層例如也可以通過MPEG-2或H.264/AVC方式進行編碼。
[0244]在對象層和參照層通過不同的編碼方式進行編碼的情況下，通過將參照層的參數(shù)變換為對象層的對應的參數(shù)或者類似的參數(shù)，能夠確保層間的相應的互換性。例如，MPEG-2或H.264/AVC方式中的宏塊能夠換成HEVC中的CTB而解釋。
[0245]另外，以上說明的參數(shù)既可以單獨進行編碼，也可以是多個參數(shù)復合進行編碼。在多個參數(shù)復合進行編碼的情況下，對該參數(shù)的值的組合分配索引，被分配的該索引進行編碼。此外，若參數(shù)能夠從其他參數(shù)或解碼完畢的信息導出，則能夠省略該參數(shù)的編碼。
[0246]〔層次活動圖像解碼裝置〕
[0247]以下，參照圖1?圖21說明本實施方式的層次活動圖像解碼裝置I的結(jié)構(gòu)。
[0248](層次活動圖像解碼裝置的結(jié)構(gòu))
[0249]使用圖5說明層次活動圖像解碼裝置I的概略性結(jié)構(gòu)，則如下所述。圖5是表示層次活動圖像解碼裝置I的概略性結(jié)構(gòu)的功能框圖。層次活動圖像解碼裝置I通過HEVC方式對從層次活動圖像編碼裝置2供應的層次編碼數(shù)據(jù)DATA進行解碼，生成對象層的解碼圖像 P0UT#T。
[0250]如圖5所示，層次活動圖像解碼裝置I包括NAL解復用部11、可變長解碼部12、預測參數(shù)復原部14、紋理復原部15以及基本解碼部16。
[0251]NAL 解復用部 11 對 NAL(Network Abstract1n Layer,網(wǎng)絡提取層)中的以 NAL單元單位傳輸?shù)膶哟尉幋a數(shù)據(jù)DATA進行解復用。
[0252]NAL是為了將VCUVideo Coding Layer,視頻編碼層)和對編碼數(shù)據(jù)進行傳輸/蓄積的下位系統(tǒng)之間的通信抽象化而設置的層。
[0253]VCL是進行活動圖像編碼處理的層，在VCL中進行編碼。另一方面，這里所稱的下位系統(tǒng)與H.264/AVC以及HEVC的文件格式或MPEG-2系統(tǒng)對應。在以下所示的例中，下位系統(tǒng)與對象層以及參照層中的解碼處理對應。
[0254]另外，在NAL中，在VCL中生成的比特流以NAL單元的單位劃分而傳輸?shù)匠蔀槟康牡氐刂返南挛幌到y(tǒng)。在NAL單元中，包括在VCL中進行了編碼的編碼數(shù)據(jù)以及用于該編碼數(shù)據(jù)適當?shù)氐竭_目的地地址的下位系統(tǒng)的頭。此外，各層次中的編碼數(shù)據(jù)通過存儲在NAL單元中而進行NAL復用，傳輸?shù)綄哟位顒訄D像解碼裝置I。
[0255]NAL解復用部11對層次編碼數(shù)據(jù)DATA進行解復用而取出對象層編碼數(shù)據(jù)DATA#T以及參照層編碼數(shù)據(jù)DATA#R。此外，NAL解復用部11將對象層編碼數(shù)據(jù)DATA#T供應給可變長解碼部12，且將參照層編碼數(shù)據(jù)DATA#R供應給基本解碼部16。
[0256]可變長解碼部12進行用于從在對象層編碼數(shù)據(jù)DATA#T中包含的二進位解碼各種語法值的信息的解碼處理。
[0257]具體而言，如以下所述，可變長解碼部12從編碼數(shù)據(jù)DATA#T解碼預測信息、編碼信息以及變換系數(shù)信息。
[0258]即，可變長解碼部12從編碼數(shù)據(jù)DATA#T解碼與各CU或者PU有關的預測信息。在預測信息中，例如包括CU類型或者類型的指定。
[0259]在⑶為外部⑶的情況下，可變長解碼部12從編碼DATA#T解碼PU分割信息。除此之外，在各PU中，可變長解碼部12進一步作為預測信息，從編碼數(shù)據(jù)DATA#T解碼參照圖像索引R1、估計運動矢量索引PMVI以及運動矢量殘差MVD等的運動信息、模式信息。
[0260]另一方面，在CU為內(nèi)部CU的情況下，可變長解碼部12進一步作為預測信息，從編碼數(shù)據(jù)DATA#T解碼內(nèi)部預測信息，該內(nèi)部預測信息包括(I)指定預測單位的尺寸的尺寸指定信息以及(2)指定預測索引的預測索引指定信息。
[0261]此外，可變長解碼部12從編碼數(shù)據(jù)DATA#T解碼編碼信息。在編碼信息中，包括用于確定⑶的形狀、尺寸、位置的信息。更具體而言，在編碼信息中，包括指定對象樹塊至各CU的分割模型的樹塊分割信息，即指定在對象樹塊中包含的各CU的形狀、尺寸以及對象樹塊內(nèi)的位置的信息。
[0262]可變長解碼部12將解碼出的預測信息以及編碼信息供應給預測參數(shù)復原部14。
[0263]此外，可變長解碼部12從編碼數(shù)據(jù)DATA#T解碼與各塊有關的量化預測殘差QD以及與包括該塊的樹塊有關的量化參數(shù)差分Aqp?？勺冮L解碼部12將解碼出的量化預測殘差QD以及量化參數(shù)差分Aqp作為變換系數(shù)信息而供應給紋理復原部15。
[0264]基本解碼部16從參照層編碼數(shù)據(jù)DATA#R解碼基本解碼信息，該基本解碼信息是與在對與對象層對應的解碼圖像進行解碼時參照的參照層有關的信息。在基本解碼信息中，包括基本預測參數(shù)、基本變換系數(shù)以及基本解碼圖像?；窘獯a部16將解碼出的基本解碼信息供應給預測參數(shù)復原部14以及紋理復原部15。
[0265]預測參數(shù)復原部14使用預測信息以及基本解碼信息，復原預測參數(shù)。預測參數(shù)復原部14將復原的預測參數(shù)供應給紋理復原部15。另外，預測參數(shù)復原部14在復原預測參數(shù)時，能夠參照在紋理復原部15具備的幀存儲器155 (后述)中存儲的運動信息。
[0266]紋理復原部15使用變換系數(shù)信息、基本解碼信息以及預測參數(shù)，生成解碼圖像P0UT#T，并輸出到外部。另外，在紋理復原部15中，與復原的解碼圖像有關的信息存儲在內(nèi)部具備的幀存儲器155 (后述)中。
[0267]以下，說明基本解碼部16、預測參數(shù)復原部14以及紋理復原部15的各自的細節(jié)。
[0268](預測參數(shù)復原部)
[0269]使用圖6，說明預測參數(shù)復原部14的詳細結(jié)構(gòu)。圖6是例示了預測參數(shù)復原部14的結(jié)構(gòu)的功能框圖。
[0270]如圖6所示，預測參數(shù)復原部14包括預測類型選擇部141、開關142、內(nèi)部預測模式復原部143、運動矢量候選導出部144、運動信息復原部145、合并候選導出部146、合并信息復原部147以及PU分割類型導出部148。
[0271 ] 預測類型選擇部141根據(jù)CU類型或者類型，對開關142傳輸切換指示，控制預測參數(shù)的導出處理。具體而言，如下所述。
[0272]在指定了內(nèi)部CU或者內(nèi)部PU的情況下，預測類型選擇部141控制開關142，使得能夠使用內(nèi)部預測模式復原部143而導出預測參數(shù)。
[0273]在指定了外部CU(無合并)以及外部(無合并)中的任一個的情況下，預測類型選擇部141控制開關142，使得能夠使用運動信息復原部145而導出預測參數(shù)。
[0274]在指定了基本跳過⑶、基本合并TO、跳過⑶以及合并PU中的任一個的情況下，預測類型選擇部141控制開關142，使得能夠使用合并信息復原部147而導出預測參數(shù)。
[0275]開關142根據(jù)預測類型選擇部141的指示，將預測信息供應給內(nèi)部預測模式復原部143、運動信息復原部145以及合并信息復原部147中的任一個。在預測信息的供應目的地中導出預測參數(shù)。
[0276]內(nèi)部預測模式復原部143從預測信息導出預測模式。即，內(nèi)部預測模式復原部143作為預測參數(shù)而復原的是預測模式。
[0277]這里，使用圖7說明預測模式的定義。圖7表示預測模式的定義。如同圖所示，定義了 36種預測模式，各個預測模式由“O”?“35”的序號(內(nèi)部預測模式索引)確定。此外，如圖8所示,對各預測模式分配如下的名稱。S卩，“O”是“Intra_Planar (Planar預測模式、平面預測模式)”，“I”是“Intra DC(內(nèi)部DC預測模式)”，“2”?“34”是“IntraAngular (方向預測)”，“35”是“ Intra From Luma (來自內(nèi)部的亮度)”?！?5”是色差預測模式固有的模式，是基于亮度的預測進行色差的預測的模式。換言之，色差預測模式“35”是利用了亮度像素值和色差像素值的相關的預測模式。色差預測模式“35”也稱為LM模式。預測模式數(shù)QntraPredModeNum)無論對象塊的尺寸而為“35”。
[0278]運動矢量候選導出部144使用基本解碼信息，通過層內(nèi)運動估計處理或者層間運動估計處理而導出估計運動矢量的候選。運動矢量候選導出部144將導出的運動矢量的候選供應給運動信息復原部145。
[0279]運動信息復原部145復原與不進行合并的各外部有關的運動信息。S卩，運動信息復原部145作為預測參數(shù)而復原的是運動信息。
[0280]在對象CU (PU)為外部CU (外部PU)的情況下，運動信息復原部145從預測信息復原運動信息。更具體而言，運動信息復原部145取得運動矢量殘差(mvd)、估計運動矢量索引(mvp_idx)、外部預測標記(inter_pred_flag)以及參照圖像索引(refldx)。然后,基于外部預測標記的值，關于參照圖像列表LO和參照圖像列表LI的各個，決定參照圖像列表利用標記。接著，在對應的參照圖像列表利用標記表示利用該參照圖像的情況下，運動信息復原部145基于估計運動矢量索引的值而導出估計運動矢量，且基于運動矢量殘差和估計運動矢量而導出運動矢量。運動信息復原部145將導出的運動矢量、參照圖像列表利用標記以及參照圖像索引合并，并作為運動信息(運動補償參數(shù))而輸出。
[0281]合并候選導出部146使用從后述的幀存儲器155供應的解碼完畢的運動信息和/或從基本解碼部16供應的基本解碼信息等，導出各種合并候選。合并候選導出部146將導出的合并候選供應給合并信息復原部147。
[0282]合并信息復原部147復原與在層內(nèi)或者層間進行合并的各PU有關的運動信息。即，運動信息復原部145作為預測參數(shù)而復原的是運動信息。
[0283]具體而言，當對象CU(PU)為在層內(nèi)進行合并的跳過CU(合并PU)的情況下，合并信息復原部147從合并候選導出部146通過層內(nèi)合并而導出的合并候選列表中導出與在預測信息中包含的合并索引(mergejdx)對應的運動補償參數(shù)，復原運動信息。
[0284]此外，當為在層間進行合并的基本跳過CU的情況下，合并信息復原部147從合并候選導出部146通過層間合并而導出的合并候選列表中導出與在預測信息中包含的合并索引(merge_idx)對應的運動補償參數(shù),復原運動信息。
[0285]分割類型導出部148使用編碼信息以及基本解碼信息，估計對象層中的對象CU至I3U的PU分割類型。I3U分割類型導出部148將估計出的I3U分割類型供應給合并候選導出部146以及合并信息復原部147。
[0286]另外，關于合并候選導出部146以及分割類型導出部148的細節(jié)，在后面敘述。
[0287](紋理復原部)
[0288]使用圖9說明紋理復原部15的詳細結(jié)構(gòu)。圖9是例示了紋理復原部15的結(jié)構(gòu)的功能框圖。
[0289]如圖9所示,紋理復原部15包括逆正交變換/逆量化部151、紋理預測部152、加法器153、環(huán)路濾波器部154以及幀存儲器155。
[0290]逆正交變換/逆量化部151 (I)對在從可變長解碼部12供應的變換系數(shù)信息中包含的量化預測殘差QD進行逆量化，(2)對通過逆量化而獲得的DCT系數(shù)進行逆正交變換(例如，DCT (Discrete Cosine Transform,離散余弦變換)變換)，(3)將通過逆正交變換而獲得的預測殘差D供應給加法器153。另外，在對量化預測殘差QD進行逆量化時，逆正交變換/逆量化部151從在變換系數(shù)信息中包含的量化參數(shù)差分△ qp導出量化步長QP。量化參數(shù)qp能夠通過對與在緊之前進行了逆量化/逆正交變換的樹塊有關的量化參數(shù)qp’加上量化參數(shù)差分Λ qp而導出，量化步長QP能夠從量化參數(shù)qp通過QP = 2?/6而導出。此夕卜，逆正交變換/逆量化部151的預測殘差D的生成以塊(變換單位)為單位進行。
[0291]紋理預測部152根據(jù)預測參數(shù)，參照在基本解碼信息中包含的基本解碼圖像或者在幀存儲器中存儲的解碼完畢的解碼圖像，生成預測圖像。
[0292]更詳細而言，紋理預測部152包括外部預測部152Α、層內(nèi)內(nèi)部預測部152Β以及層間內(nèi)部預測部152C。
[0293]外部預測部152Α通過外部預測而生成與各外部預測劃分有關的預測圖像。具體而言，外部預測部152Α使用從運動信息復原部145或者合并信息復原部147作為預測參數(shù)而供應的運動信息，從參照圖像生成預測圖像。
[0294]層內(nèi)內(nèi)部預測部152Β通過層內(nèi)內(nèi)部預測而生成與各內(nèi)部預測劃分有關的預測圖像。具體而言，層內(nèi)內(nèi)部預測部152Β使用從內(nèi)部預測模式復原部143作為預測參數(shù)而供應的預測模式，從在對象劃分中解碼完畢的解碼圖像生成預測圖像。
[0295]層間內(nèi)部預測部152C通過層間內(nèi)部預測而生成與各內(nèi)部預測劃分有關的預測圖像。具體而言，層間內(nèi)部預測部152C使用從內(nèi)部預測模式復原部143作為預測參數(shù)而供應的預測模式，基于在基本解碼信息中包含的基本解碼圖像而生成預測圖像。基本解碼圖像也可以配合對象層的分辨率而適當?shù)剡M行上采樣。
[0296]紋理預測部152將外部預測部152Α、層內(nèi)內(nèi)部預測部152Β或者層間內(nèi)部預測部152C生成的預測圖像供應給加法器153。
[0297]加法器153通過將紋理預測部153的預測圖像和從逆正交變換/逆量化部151被供應的預測殘差D相加而生成解碼圖像。
[0298]環(huán)路濾波器部154是對從加法器153被供應的解碼圖像實施去塊(deblocking)處理或基于自適應濾波器參數(shù)的濾波器處理的部分。
[0299]幀存儲器155存儲基于環(huán)路濾波器部154的濾波器完畢解碼圖像。
[0300](基本解碼部)
[0301]使用圖10說明基本解碼部16的詳細結(jié)構(gòu)。圖10是例示了基本解碼部16的結(jié)構(gòu)的功能框圖。
[0302]如圖10所示,基本解碼部16包括可變長解碼部161、基本預測參數(shù)復原部162、基本變換系數(shù)復原部163以及基本紋理復原部164。
[0303]可變長解碼部161進行用于從在參照層編碼數(shù)據(jù)DATA#R中包含的二進位解碼各種語法值的信息的解碼處理。
[0304]具體而言，可變長解碼部161從編碼數(shù)據(jù)DATA#R解碼預測信息以及變換系數(shù)信息。由于可變長解碼部161解碼的預測信息以及變換系數(shù)的語法與可變長解碼部12相同，所以這里省略其詳細的說明。
[0305]可變長解碼部161將解碼出的預測信息供應給基本預測參數(shù)復原部162，且將解碼出的變換系數(shù)信息供應給基本變換系數(shù)復原部163。
[0306]基本預測參數(shù)復原部162基于從可變長解碼部161被供應的預測信息，復原基本預測參數(shù)。關于基本預測參數(shù)復原部162復原基本預測參數(shù)的方法，由于與預測參數(shù)復原部14相同，所以這里省略其詳細的說明。基本預測參數(shù)復原部162將復原的基本預測參數(shù)供應給基本紋理復原部164，且輸出到外部。
[0307]基本變換系數(shù)復原部163基于從可變長解碼部161被供應的變換系數(shù)信息，復原變換系數(shù)。關于基本變換系數(shù)復原部163復原變換系數(shù)的方法，由于與逆正交變換/逆量化部151相同，所以這里省略其詳細的說明。基本變換系數(shù)復原部163將復原的基本變換系數(shù)供應給基本紋理復原部164，且輸出到外部。
[0308]基本紋理復原部164使用從基本預測參數(shù)復原部162被供應的基本預測參數(shù)和從基本變換系數(shù)復原部163被供應的基本變換系數(shù)，生成解碼圖像。具體而言，基本紋理復原部164基于基本預測參數(shù)，進行與紋理預測部152相同的紋理預測，生成預測圖像。此外，基本紋理復原部164基于基本變換系數(shù)而生成預測殘差，并通過將生成的預測殘差和通過紋理預測而生成的預測圖像相加而生成基本解碼圖像。
[0309]另外，基本紋理復原部164也可以對基本解碼圖像實施與環(huán)路濾波器部154相同的濾波器處理。此外，基本紋理復原部164也可以包括用于存儲解碼完畢的基本解碼圖像的幀存儲器，也可以參照在紋理預測中幀存儲器中存儲的解碼完畢的基本解碼圖像。
[0310]<<合并候選導出部的細節(jié)>>
[0311]接著，使用圖1說明合并候選導出部146的詳細結(jié)構(gòu)。圖1是例示了合并候選導出部146的結(jié)構(gòu)的功能框圖。
[0312]如圖1所示，合并候選導出部146是包括合并候選導出控制部(判定單元)1461、合并候選存儲部1462、片段類型判定部1463以及個別合并候選導出部1464的結(jié)構(gòu)。
[0313]合并候選導出控制部1461控制個別合并候選導出部1464，導出預定數(shù)(合并候選導出數(shù))的合并候選并存儲在合并候選存儲部1462中。作為上述合并候選導出數(shù)，例如通常使用merge_idx+l的值。另外，作為上述合并候選導出數(shù)，也可以使用merge_idx+l的值以上的任意的整數(shù)。例如，也可以將對merge_idx的最大值加I的值作為MRG_MAX_NUM_CANDS而用作上述合并候選導出數(shù)。
[0314]在合并候選存儲部1462中，存儲了多個合并候選。合并候選作為賦予順序的列表(合并候選列表)而被記錄。
[0315]片段類型判定部1463根據(jù)要求，判定包括對象PU的片段的片段類型，并輸出結(jié)果O
[0316]個別合并候選導出部1464通過指定的導出方法，導出合并候選并輸出。關于基于指定的導出方法而選擇的各合并候選導出部的詳細動作，在后面敘述。另外，例示性地，導出的合并候選由對于參照圖像列表LX的參照圖像列表利用標記(predFlagLX)、參照圖像索引(refldxLX)、運動矢量(mvLX)構(gòu)成。這里，LX是LO或者LI。
[0317](個別合并候選導出部的細節(jié))
[0318]更詳細而言，個別合并候選導出部1464包括空間合并候選導出部(對象層候選導出單元、空間運動信息候選導出單元)1464A、層間合并候選導出部(層間候選導出單元)1464B、時間合并候選導出部(對象層候選導出單元、時間運動信息候選導出單元)1464C、結(jié)合合并候選導出部(對象層候選導出單元)1464D以及零合并候選導出部(對象層候選導出單元)1464E。另外，雖然在圖1中未圖示，但在空間合并候選導出部1464A以及時間合并候選導出部1464C中，被供應在幀存儲器155中存儲的解碼完畢的CU以及PU的編碼參數(shù)、尤其PU單位的運動補償(運動補償參數(shù))。
[0319]此外，以下，在將空間合并候選導出部1464A、層間合并候選導出部1464B、時間合并候選導出部1464C、結(jié)合合并候選導出部1464D以及零合并候選導出部1464E匯總參照的情況下，總稱為“各合并候選導出部”。此外，各合并候選導出部按照預定的優(yōu)先順位，導出合并候選。該合并候選的導出順序由合并候選導出控制部1461所控制。
[0320]此外，在進行層內(nèi)合并的情況下，合并候選導出控制部1461能夠使各合并候選導出部導出除了層間合并候選的任意的合并候選。此外，在進行層間合并的情況下，合并候選導出控制部1461能夠使各合并候選導出部導出包括層間合并候選的任意的合并候選。
[0321](空間合并候選導出部)
[0322]圖11是用于說明空間合并候選導出部1464A的動作的圖。圖11表示對象I3U和相鄰塊A0、A1、B0、B1、B2的位置關系。在空間合并候選導出部1464A中，概略地，上述各相鄰塊中的運動補償參數(shù)作為合并候選而輸出。例示性地，設為導出的順序為A1、B1、B0、A0、B2。導出的合并候選存儲在合并候選存儲部1462中。更嚴格而言，按照導出的順序，追加到在合并候選存儲部1462中存儲的合并候選列表的末尾。將I3U的左上座標設為(xP，yP)、將PU的尺寸設為nPSW、nPSH，能夠如下那樣表現(xiàn)各相鄰塊的位置。
[0323]AO: (xP-Ι, yP+nPSH)
[0324]AI: (xP-1，yP+nPSH-1)
[0325]BO: (xP+nPSff, yP-1)
[0326]BI: (xP+nPSff-1，yP_I)
[0327]B2: (xP-Ι, yP_l)
[0328]另外，在滿足以下的條件中的任一個的情況下，不導出與位置N(N為A0、A1、B0、B1或者B2中的任一個)對應的合并候選。
[0329]?在位置N的塊不能利用(不是可利用(available))的情況下。
[0330].在位置N的塊進行了內(nèi)部編碼的情況下。
[0331]?在N為B2且與A0、A1、B0、B1的位置對應的合并候選全部導出的情況下。
[0332]?在PU的分割類型為2NXN或者NX 2N，并且，I3U的索引為I且塊N和索引O的PU具有相同的運動補償參數(shù)的情況下。
[0333]?在N為BO且塊N和塊BI具有相同的運動補償參數(shù)的情況下。
[0334]?在N為AO且塊N和塊Al具有相同的運動補償參數(shù)的情況下。
[0335]?在N為B2且塊N與塊Al或塊BI具有相同的運動補償參數(shù)的情況下
[0336]這里，某塊不是可利用(available)的情況是指，該塊位于畫面外的情況、位于片段外的情況、或者未解碼的情況。此外，2個塊具有相同的運動補償參數(shù)，表示在兩個塊中，關于參照圖像列表LO和LI的雙方，參照圖像列表利用標記、參照圖像索引、運動矢量全部相等。關于運動補償參數(shù)的同一性的判定(一致判定)，在后面詳細說明。
[0337](層間合并候選導出部)
[0338]圖12是表不層間合并候選導出部1464B的動作的圖。圖12表不在導出層間合并候選時參照的參照層上的區(qū)域。在層間合并候選導出部1464B中，例示性地，與對象對應的參照層上的區(qū)域(以下，簡稱為對應參照區(qū)域)中的右下的位置CO中的運動補償參數(shù)作為合并候選而輸出。導出的合并候選存儲在合并候選存儲部1462中。更嚴格而言，按照導出的順序，追加到在合并候選存儲部1462中存儲的合并候選列表的末尾。
[0339]具體而言，層間合并候選導出部1464B如下參照基本解碼信息而導出合并候選。
[0340]在層間合并候選導出部1464B參照的基本解碼信息中，包括參照層的運動補償參數(shù)(mxLX_RL, refIdxLX_RL, predFlagLX_RL)。
[0341]此外，層間合并候選導出部1464B輸出的合并候選(合并候選CO)由運動補償參數(shù)(mvLX_C0, refIdxLX_C0, predFlagLX_C0)構(gòu)成。
[0342]這里，若設為
[0343]對象預測單位的左上像素位置:(xP，yP)
[0344]對應的參照層的像素位置:(xPR，yPR)
[0345]對象層相對于參照層的分辨率的比率:(scaleX，scaleY)
[0346]對象PU 的尺寸:nPSW*nPSH
[0347]，則對應參照區(qū)域的尺寸為nPSWR = ceil (nPSff/scaleX)、nPSHR = ceil (nPSH/scaleY)。對應參照區(qū)域是與對象I3U對應的參照層上的區(qū)域。
[0348]此外，此時，若設為CO的位置(xCO，yCO)，則
[0349](xCO, yCO) = (xPR+nPSWR-1, yPR+nPSHR-1),
[0350]合并候選CO成為如下。
[0351]mvL_C0[O] = mvLX_RL(xCO, yCO) [O]*scaleX
[0352]mvL_C0[I] = mvLX_RL(xCO, yCO) [I]*scaleY
[0353]refIdxLX_C0 = refIdxLX_RL(xCO, yCO)
[0354]predFlagLX_C0 = predFlagLX_RL(xCO, yCO)
[0355]如前所述，空間合并候選基于對象I3U的右上(B1、B0)、左下(Al、A0)以及左上(B2)的位置的信息而導出，相對于此，層間合并候選基于對應參照區(qū)域中的右下(CO)的位置的信息而導出。由此，在合并候選列表中包括與空間合并候選的性質(zhì)不同的多樣的合并候選。
[0356]其結(jié)果，在合并候選列表中包含的任一個合并候選與實際的運動信息一致的可能性提高，由此，能夠削減運動信息的碼量。
[0357]另外，并不限定于以上的例，層間合并候選導出部1464B也可以成為能夠從對應參照區(qū)域內(nèi)的任意的位置導出合并候選。
[0358]例如，只要成為能夠?qū)С鲈趯ο箢A測單位中與解碼未完畢的區(qū)域?qū)膮⒄諏由系膮^(qū)域中解碼的運動信息作為合并候選即可。
[0359]此外，層間合并候選導出部1464B也可以基于右下(CO)的右、下以及右下中的任一個相鄰的位置的信息而導出。
[0360]例如，層間合并候選導出部1464B也可以能夠從與圖11所示的對象I3U的區(qū)域Rl附近的位置對應的參照層上的位置導出合并候選。區(qū)域Rl能夠表現(xiàn)為包括對象參照區(qū)域內(nèi)的右下的位置的預定范圍的區(qū)域。
[0361]定性而言，只要從與不同于導出空間合并候選的位置的位置(換言之，“不同的位置”是“預定的距離以上隔離的位置”)對應的參照層上的位置導出層間合并候選即可。
[0362]在空間合并候選中，主要與對象的左上區(qū)域?qū)倪\動信息多，與右下區(qū)域(區(qū)域Rl)對應的運動信息少。根據(jù)上述結(jié)構(gòu)，能夠從對應參照區(qū)域內(nèi)的位置導出與空間合并候選不同的性質(zhì)的合并候選作為層間合并候選。
[0363]若關于解碼未完畢的區(qū)域進行補充，則如下所述。一般，如圖20所示，樹塊以圖片的左上為起點，按照朝向右下方向的光柵掃描順序進行解碼處理。此時，相對于包括對象預測單位的對象樹塊，在光柵掃描順序中后續(xù)的樹塊，成為解碼未完畢的區(qū)域。在光柵掃描順序的情況下，比對象樹塊位于下方的樹塊、或者垂直位置與對象樹塊相同且比對象樹塊位于右方的樹塊是解碼未完畢的樹塊。在解碼未完畢的樹塊中包含的區(qū)域是解碼未完畢的區(qū)域。
[0364]接著，關于樹塊內(nèi)的編碼單位(CU)的處理順序，樹塊內(nèi)的CU按照所謂的Z掃描的順序進行處理。在Z掃描中，將樹塊分割為4個全等的正方形，按照在左上、右上、左下、右下的各正方形區(qū)域中包含的CU的順序進行處理。接著，關于各正方形區(qū)域，也遞歸性地進行處理。例如，將左上的區(qū)域進一步分割為4個全等的正方區(qū)域，按照左上、右上、左下、右下的順序進行在各正方形區(qū)域中包含的CU的處理。
[0365]關于Z掃描的例，參照圖21的例進行說明。在圖21中，對各區(qū)域賦予的數(shù)字表示Z掃描的掃描順序。在將樹塊進行了 4分割的左上區(qū)域中包括I?7的⑶，在右上區(qū)域中包括8的⑶，在左下區(qū)域中包括9的⑶，并且，在右下區(qū)域中包括10?13的⑶。在將包括I?7的⑶的左上區(qū)域進一步進行了 4分割的左上區(qū)域中包括I的⑶，在右上區(qū)域中包括2的⑶，在左下區(qū)域中包括3的⑶，在右下區(qū)域中包括4?7的⑶。在Z掃描順序上位于對象⑶之后的⑶是解碼未完畢的⑶，在該⑶中包含的區(qū)域是解碼未完畢的區(qū)域。
[0366]此外，層間合并候選導出部1464B也可以限制或者禁止從特定的位置導出合并候選。
[0367]例如，也可以禁止從如圖17(d)所示的對應參照區(qū)域中的左上的位置CO導出合并候選。
[0368]此外，也存在與對應參照區(qū)域中的右下(CO)的位置對應的運動信息沒有記錄在存儲器上的情況，但在這個情況下，也可以基于與右下(CO)的附近的位置對應的信息而導出合并候選。例如，在參照層的運動信息以特定的間隔(N個像素單位)剔除而記錄的情況下，也可以基于與((xC0//N)*N，(yC0//N)*N)的位置對應的運動信息來代替CO的位置即(xCO, yCO)的位置而導出合并候選。這里，運算符“//”是，“x//y”的值成為將X除以y所得的商的運算符。
[0369](時間合并候選導出部)
[0370]圖13是說明時間合并候選導出部1464C的動作的圖。若參照圖13(a)說明，則時間合并候選導出部1464C概略地如下導出時間合并候選。S卩，在當前圖片為currPic的情況下，時間合并候選導出部1464C通過復制占據(jù)與當前圖片內(nèi)的對象的空間位置大致相同的空間位置的、由參照圖像索引refldxLO所指定的參照圖像上的PU或者由參照圖像索引refldxLl所指定的參照圖像上的的運動補償參數(shù)，從而導出時間合并候選。參照圖13(b)說明參照索引號refldxLO、參照索引號refldxLl的導出方法。參照索引號refldxLX (這里，X是O或I或C)使用對象I3U的相鄰PU、A、B、C的塊的參照圖片refldxLXA、ref IdxLXB> ref IdxLXC 如下求出。
[0371](I)在 refldxLXA = refIdxLXB = refIdxLXC 的情況下，
[0372]在refldxLXA = -1 時，refldxLX = O ；
[0373]在除此以外時，refldxLX= refldxLXA。
[0374](2)在 refldxLXA = refIdxLXB 的情況下，
[0375]在refldxLXA = -1 時，refldxLX = refIdxLXC ；
[0376]在除此以外時，refldxLX= refldxLXA。
[0377](3)在 refldxLXB = refIdxLXC 的情況下，
[0378]在refldxLXB = -1 時，refldxLX = refldxLXA ；
[0379]在除此以外時，refldxLX= refldxLXB。
[0380](4)在 refldxLXA = refIdxLXC 的情況下，
[0381]在refldxLXA = -1 時，refldxLX = refldxLXB ；
[0382]在除此以外時，refldxLX= refldxLXA。
[0383](5)在 refldxLXA = -1 的情況下，
[0384]refldxLX = min (refldxLXB, refIdxLXC)。
[0385](6)在 refldxLXB = -1 的情況下，
[0386]refldxLX = min (refldxLXA, refIdxLXC)。
[0387](7)在 refldxLXC = -1 的情況下，
[0388]refldxLX = min (refldxLXA, refldxLXB)。
[0389](8)在其他的情況下，
[0390]refldxLX = min (refldxLXA, refldxLXB, refldxLXC)
[0391]這里，min是取最小值的函數(shù)。
[0392]另外，塊A、B的座標如下所述。
[0393]A: (xP -1, yP+nPSH-1)
[0394]B: (xP+nPSff -1, yP -1)
[0395]塊C的座標為下述CO、Cl、C2中的任一個。按照從CO到C2的順序進行掃描，與各位置對應的PU為可利用(available),在內(nèi)部以外的情況下,將該位置的F1U的refldxLX設為 refldxLXC。
[0396]CO: (xP+nPSff -1，yP-Ι)
[0397]Cl: (xP -1, yP+nPSH)
[0398]C2: (xP -1, yP-1)
[0399]若如上所述導出refIdxLO、refIdxLl,則通過使用由refldxLO表示的參照圖片的位置(xP+nPSW，yP+nPSH)的運動補償參數(shù)而確定LO的運動矢量，使用由refldxLl表示的參照圖片的位置(xP+nPSW，yP+nPSH)的運動補償參數(shù)而確定LI的運動矢量，導出時間性合并候選。即，從LX列表以及由refldxLX表示的參照圖片，計算對于各參照圖片列表LX(X =0、X=1或X = C)的運動矢量mvLXCol [O]、mvLXCol [O]。具體而言，在由refldxLX表示的參照圖片的位置(xP+nPSW，yP+nPSH)的I3U為不可利用(unavailable)或者為內(nèi)部預測模式的情況下，將時間性合并候選的LX的運動矢量mvLXCol [O]、mvLXCol [I]確定為O。在除此以外、即該PU的PredFlagLO為O的情況下，將該I3U的LI的運動矢量MvLl用作時間性合并候選的LX的運動矢量mvLXCol [O]、mvLXCol [I]。在除此以外的情況下，將該I3U的LO的運動矢量MvLO用作時間合并候選的LX的運動矢量mvLXCol [0]、mvLXCol [I]。
[0400]接著,使用當前巾貞的P0C(Picture Order Count,圖像順序計數(shù))和參照圖片的P0C，對運動矢量mvLXCol進行定標(scaling)而獲得最終的時間合并候選。時間合并候選導出部1464C將導出的時間合并候選存儲在合并候選存儲部1462中。
[0401 ](結(jié)合合并候選導出部)
[0402]概略地，結(jié)合合并候選導出部1464D通過將已經(jīng)導出且存儲在合并候選存儲部1462中的、2個不同的導出完畢合并候選的運動矢量進行組合，導出結(jié)合合并候選。
[0403]在結(jié)合合并候選導出部1464D中，將結(jié)合合并候選計數(shù)combCnt從O開始增加,直到合并候選列表的元素數(shù)與合并候選導出數(shù)一致或者combCnt超過最大值(5)為止，導出結(jié)合合并候選，并追加到合并候選列表的末尾。
[0404]與特定的結(jié)合合并候選計數(shù)combCnt對應的結(jié)合合并候選的導出順序如下所述。
[0405]首先，在合并候選組合列表中，將combCnt作為索引(combIdx)而參照，分別導出表示用于結(jié)合的2個合并候選、即LO合并候選和LI合并候選在合并候選列表上的位置的索引lOCandldx、LICandldx。圖14表示合并候選組合列表的例。結(jié)合合并候選通過對參照圖像列表LO復制LO合并候選的運動補償參數(shù)、對參照圖像列表LI復制LI合并候選的運動補償參數(shù)而生成。另外，在滿足以下的任一個條件的情況下，不導出與combCnt對應的結(jié)合合并候選。
[0406].LO合并候選的LO參照圖像列表利用標記為O ;
[0407].LI合并候選的LI參照圖像列表利用標記為O ;
[0408].LO合并候選和LI合并候選的運動矢量或者參照圖像一致。
[0409]按照上述的順序，導出結(jié)合合并候選。另外，在與結(jié)合合并候選對應的運動補償參數(shù)中，LO和LI的參照圖像列表利用標記都成為I。即，結(jié)合合并候選是進行雙預測的合并候選。因此，在不能應用雙預測的狀況(例如，P片段內(nèi)的PU)下，結(jié)合合并候選不包含在合并候選列表中。
[0410](零合并候選導出部)
[0411]圖15是表示零合并候選導出部1464E的動作的圖。若合并候選存儲部1462的合并候選數(shù)達到合并候選導出數(shù)，則零合并候選導出部1464E不進行處理(不導出零合并候選)。另一方面，若合并候選數(shù)未達到合并候選導出數(shù)個，則零合并候選導出部1464E生成直到合并候選數(shù)達到合并候選導出數(shù)為止具有零矢量的合并候選，并追加到合并候選列表中。即，將要參照的合并候選的索引作為ZeroCandm，導出LO的運動矢量(mvL0zeroCandm[0] > mvLOzeroCandm[l]) > LI 的運動矢量(mvLlzeroCandm[0] >mvLlzeroCandm[l])都成為O的候選。這里,索引ZeroCandm使用對已經(jīng)導出的合并候選列表的最后的索引的值加上I的值。m是從O開始的索引，在將零合并候選追加到合并候選列表時每次增加I。
[0412](合并候選導出處理的流程)
[0413]使用圖16說明合并候選導出處理的流程的一例。圖16是表示合并候選導出部146的動作的流程的一例的流程圖。
[0414]如圖16所示，首先，在空間合并候選導出部1464A中，導出合并候選SO?合并候選 S2 (SlOl)。
[0415]接著，在層間合并候選導出部1464B中，導出合并候選CO (S102)。
[0416]接著，在時間合并候選導出部1464C中，導出合并候選T(S103)。
[0417]接著，在結(jié)合合并候選導出部1464D中，導出合并候選C(S104)。另外，S104也可以構(gòu)成為在由片段類型判定部1463判定為片段類型是B片段時執(zhí)行。
[0418]最后，在零合并候選導出部1464E中，導出合并候選Z (S105)。
[0419](作用/效果)
[0420]如以上所示，層次活動圖像解碼裝置I是如下的層次活動圖像解碼裝置1:對與按每個層不同的質(zhì)量的圖像有關的圖像信息層次性地編碼的層次編碼數(shù)據(jù)DATA進行解碼，復原成為解碼的對象的對象層中的運動信息，使用通過基于復原的運動信息的運動補償預測而生成的預測圖像，復原上述對象層中的解碼圖像P0UT#T，所述層次活動圖像解碼裝置I包括:層間合并候選導出部1464B，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
[0421]因此，根據(jù)上述結(jié)構(gòu)，能夠?qū)⑴c由于在相同的層中未解碼所以不能利用的區(qū)域?qū)膮⒄諈^(qū)域上的運動信息，追加到合并候選列表中。
[0422]由此，起到如下效果:在層次編碼中的運動信息候選列表的生成中，通過導出多樣的運動信息作為候選，從而能夠?qū)崿F(xiàn)運動信息的碼量削減。
[0423](合并候選導出部的變形例)
[0424]以下，說明合并候選導出部146的優(yōu)選的變形例。
[0425](從2個以上的位置導出層間合并候選)
[0426]如圖17(a)?(C)所示，層間合并候選導出部1464B也可以從參照區(qū)域上的2個以上的位置導出層間合并候選。以下，關于圖17(a)?(C)的各個，按順序說明。
[0427][I]如圖17(a)所示，層間合并候選導出部1464B也可以除了位置CO之外，還將對應參照區(qū)域中的左上的位置Cl作為層間合并候選導出的對象。
[0428]例如，層間合并候選導出部1464B在位置CO為不能利用的情況下，利用位置Cl。即，作為層間合并候選導出部1464B的合并候選導出的優(yōu)先順位，右下的位置CO優(yōu)先于位置Cl。
[0429]根據(jù)上述變形例，即使是在因位置CO為不能利用所以不能參照位置CO的運動信息的情況下，也存在層間合并候選導出部1464B能夠?qū)С鰧娱g合并候選的情況。
[0430][2]如圖17(b)所示，層間合并候選導出部1464B也可以將對應參照區(qū)域的右下相鄰塊C0、C2、C3和對應參照區(qū)域中的左上的位置Cl利用于層間合并候選的導出。另外，例示性地，合并候選導出的優(yōu)先順位為位置C0、C1、C2以及C3的順序。
[0431]在對象PU或者對應參照區(qū)域小的情況下，存在對應參照區(qū)域中的與左上的位置對應的像素和與右下的位置對應的像素屬于相同的運動信息的記錄單位的可能性。
[0432]通過使用右下相鄰塊的運動信息，能夠從與對應參照區(qū)域中的左上的部分不同的記錄單位導出運動信息的可能性提高。
[0433]由此，能夠?qū)С雠c對應參照區(qū)域的左上部分不同的運動信息的可能性提高。
[0434][3]如圖17(c)所示，層間合并候選導出部1464B也可以將對應參照區(qū)域中的右下的位置CO、對應參照區(qū)域的右下相鄰塊Cl、對應參照區(qū)域中的左上的位置Cl、對應參照區(qū)域的右相鄰塊C3以及下相鄰塊C4利用于層間合并候選的導出。
[0435]此外，也可以將合并候選導出的優(yōu)先順位設為位置C0、C1、C2、C3以及C4的順序。
[0436]此外，在位置CO?C4的各位置中不存在運動信息的情況下，也可以不追加層間合并候選。
[0437]此外，合并候選導出控制部1461也可以在位置Cl?C4中的各個運動補償參數(shù)與位置CO中的運動補償參數(shù)之間進行一致判定，該判定的結(jié)果，在相互的運動補償參數(shù)不一致的情況下，層間合并候選導出部1464B導出對應的合并候選。
[0438]另夕卜，例示性地，進行塊A、塊B的運動補償參數(shù)的一致判定的函數(shù)equalMot1n (A, B)的動作能夠如下規(guī)定。
[0439]equalMot1n(A, B) = (predFlagLOA = = predFlagLOB)&&(predFlagLlA ==predFlagLIB) MmvLOA [0] = = mvLOB [0] MmvLOA [ I ] = = mvLOB [I] MmvLlA [0]==mvLIB [0] MmvLlA [I] = = mvLIB [I])
[0440]這里，predFlagLOA、predFlagLlA分別在塊A中使用L0、LI的參照圖片的情況下為1，在除此以外的情況下為O。mvL0[0], mvL0[l]是LO的水平運動矢量、垂直運動矢量，mvLl[0]、mvLl[l]是LI的水平運動矢量、垂直運動矢量。另外，在塊B的情況下，將上述A置換為B。
[0441]此外，層間合并候選導出部1464B也可以一邊進行上述一致判定，一邊按照上述優(yōu)先順位的順序?qū)С龊喜⒑蜻x，直到唯一的合并候選的數(shù)目成為2個為止，追加層間合并候選。
[0442]根據(jù)上述變形例的結(jié)構(gòu)，由于能夠?qū)С霾煌倪\動信息的可能性提高，所以編碼對象的運動信息包含在合并候選中的可能性提高。其結(jié)果，能夠削減運動信息的碼量。
[0443](一致判定)
[0444]合并候選導出控制部1461也可以進行各合并候選導出部導出的合并候選的運動補償參數(shù)的一致判定(以下，稱為合并候選的一致判定)。此外，合并候選導出控制部1461也可以只將一致判定的結(jié)果、判定為唯一的合并候選存儲在合并候選存儲部1462中。此夕卜，合并候選導出控制部1461也可以省略層間合并候選導出部1464B導出的層間合并候選和其他的合并候選導出部導出的合并候選的一致判定。
[0445]例如，在圖16所示的流程圖中，在層間合并候選導出部1464B之后，時間合并候選導出部1464C以及結(jié)合合并候選導出部1464D導出合并候選。這里，也可以省略時間合并候選以及結(jié)合合并候選和在合并候選列表中包含的合并候選的一致判定。
[0446]根據(jù)上述變形例的結(jié)構(gòu)，能夠并行地執(zhí)行層間合并候選導出步驟(S102)、時間合并候選導出步驟(S103)以及結(jié)合合并候選導出步驟(S104)。
[0447]此外，合并候選導出控制部1461在進行空間合并候選和層間合并候選的一致判定的情況下，優(yōu)選只與空間合并候選的合并候選SO (合并候選列表內(nèi)的最初的合并候選)進行一致判定。
[0448]由此，能夠抑制并行性的降低，且降低同一個合并候選在候選列表中包含的可能性。
[0449](合并候選導出步驟的省略)
[0450]使用圖18說明合并候選導出處理的流程的其他例。圖18是表示合并候選導出部146的動作的其他例的流程圖。
[0451]以下，參照圖18說明在執(zhí)行層間合并候選導出步驟的情況下，省略時間合并候選導出步驟的例。
[0452]如圖18所示，首先，在空間合并候選導出部1464A中，導出合并候選SO?合并候選 S2(S201)。
[0453]接著，合并候選導出控制部1461判定層間合并候選導出是否有效(S202)。例如在如下的(A)或者(B)的情況下，合并候選導出控制部1461能夠判定為層間合并候選導出有效。
[0454](A)在SPS、PPS中包含的標記表示層間合并預測有效的情況下；或者，
[0455](B)存在與對象對應的參照層，且對象以及參照層為P片段或者B片段的情況下。
[0456]這里，在層間合并候選導出為有效的情況下(S202中“是”)，在層間合并候選導出部1464B中，導出合并候選C0(S204)。
[0457]另一方面，在層間合并候選導出不是有效的情況下(S202中“否”)，在時間合并候選導出部1464C中，導出合并候選T(S203)。
[0458]S卩，由于層間合并候選步驟(S204)以及時間合并候選導出步驟(S203)擇一地進行，所以在執(zhí)行兩者中的一方的情況下，另一方被省略。
[0459]以后，在結(jié)合合并候選導出部1464D中，導出合并候選C (S205)。最后，在零合并候選導出部1464E中，導出合并候選Z(S206)。
[0460]在并用時間合并候選和層間合并候選的情況下的運動信息的碼量削減幅度與在使用其中一方的情況下的運動信息的碼量削減幅度沒有較大差異。
[0461]因此，在使用層間合并候選的情況下，即使不使用時間合并候選，碼量也不會增大那么多。換言之，若省略時間合并候選的導出，則能夠?qū)崿F(xiàn)與時間合并候選的導出有關的處理負荷的降低或存儲器資源的節(jié)約。
[0462]根據(jù)上述結(jié)構(gòu)，在使用層間合并候選的情況下，省略時間合并候選的導出。
[0463]因此，在使用層間合并候選的情況下，不使用時間合并候選。由此，能夠抑制運動信息的碼量大幅增加，且能夠削減時間合并候選導出所需的處理量以及記錄參照圖像的運動矢量的存儲器量。
[0464]此外，也可以相反。例如，在使用時間合并候選的情況下，即使不使用層間合并候選，碼量也會增大那么多。
[0465]根據(jù)上述結(jié)構(gòu)，在使用時間合并候選的情況下，省略層間合并候選的導出。因此，不需要將運動信息的碼量大幅增加，另一方面，能夠削減層間合并候選所需的處理量。
[0466]如以上所述，通過擇一地導出層間合并候選以及時間合并候選中的任一方，能夠避免并用層間合并候選以及時間合并候選的兩個合并候選的情形。即，能夠避免必須處理兩個合并候選的情形。由此，能夠?qū)崿F(xiàn)處理量的最差值(在處理量最多的情況下的處理量)的降低。
[0467](層間內(nèi)部候選導出部)
[0468]使用圖19說明合并候選導出部146的變形例。個別合并候選導出部1464也可以還包括層間內(nèi)部候選導出部1464F。
[0469]在本變形例中，擴展合并候選列表的概念。具體而言，層間內(nèi)部候選導出部1464F在合并候選列表中發(fā)出層間內(nèi)部預測(紋理預測)的信號。
[0470]S卩，層間內(nèi)部候選導出部1464F在合并候選列表中追加發(fā)出層間內(nèi)部預測的信號的候選即層間內(nèi)部候選。在從合并候選列表選擇了層間內(nèi)部候選的情況下，紋理預測部152的層間內(nèi)部預測部152C基于對參照層的解碼像素進行了上采樣的圖像，生成預測圖像。
[0471]此外，在本變形例中，合并候選導出控制部1461也可以按照如下的優(yōu)先順序，將各合并候選追加到合并候選列表中。
[0472]I)空間合并候選、2)時間合并候選、3)層間合并候選、4)結(jié)合合并候選、5)零合并候選、6)層間內(nèi)部候選
[0473]此外，合并候選導出部146中的合并候選的導出例如能夠通過如以下所示的方法進行。
[0474]S卩，作為一個方法，按照I)?6)的優(yōu)先順序，直到成為合并候選列表的合并候選導出數(shù)的最大值為止，追加合并候選。此外，作為其他方法，按照I)?5)的優(yōu)先順序，追加合并候選列表的合并候選導出數(shù)的最大值-1個合并候選，并在其后面追加6)層間合并候選作為合并候選。
[0475]根據(jù)上述結(jié)構(gòu)，能夠以單位選擇層間內(nèi)部預測。由此，與對每個⑶設置選擇標記(base_mode_flag)的情況相比，能夠削減邊(side)信息。
[0476]此外，合并候選導出控制部1461也可以按照如下的優(yōu)先順序，將各合并候選追加到合并候選列表中。
[0477]I)空間合并候選、2)時間合并候選、3)層間候選、4)結(jié)合合并候選、5)零合并候選
[0478]這里，3)層間候選是與層間預測有關的合并候選，具體而言，是層間合并候選或者層間內(nèi)部候選。根據(jù)與對象PU對應的參照層上的區(qū)域所屬的CU(以下，稱為參照CU)的預測類型，作為層間候選而追加的候選在層間合并候選以及層間內(nèi)部候選之間切換。另外，只要由合并候選導出控制部1461控制該切換即可。
[0479]在參照CU為外部CU的情況下，層間合并候選導出部1464B導出層間合并候選作為層間候選。在選擇了層間合并候選的情況下，紋理預測部152的外部預測部152A通過運動補償預測而生成預測圖像。
[0480]在參照CU為內(nèi)部CU的情況下，層間內(nèi)部候選導出部1464F導出層間內(nèi)部候選作為層間候選。在選擇了層間內(nèi)部候選的情況下，紋理預測部152的層間內(nèi)部預測部152C基于對參照層的解碼像素進行了上采樣的圖像而生成預測圖像。
[0481]在參照層為外部CU的情況下，為了實現(xiàn)運動補償處理中的處理量削減，該外部CU的解碼圖像不用于層間預測中的運動信息預測。此外，在參照層為內(nèi)部CU的情況下，在該內(nèi)部CU中不存在運動補償?shù)男畔ⅰ?br>
[0482]根據(jù)上述結(jié)構(gòu)，根據(jù)參照⑶是外部⑶還是內(nèi)部⑶，使用能夠在該參照⑶中利用的信息而生成候選。
[0483]由此，在合并候選列表中，與將層間合并候選和層間內(nèi)部候選設為不同的候選的情況相比，能夠削減合并候選的數(shù)目。
[0484]此外，能夠抑制在追加合并候選時參照不能利用的信息的開銷。
[0485]<< I3U分割類型導出部的細節(jié)>>
[0486]接著，使用圖27說明I3U分割類型導出部148的詳細結(jié)構(gòu)。圖27是例示了 I3U分割類型導出部148的結(jié)構(gòu)的功能框圖。
[0487]如圖27所示，I3U分割類型導出部148是包括參照⑶設定部1481以及PU分割估計部1482的結(jié)構(gòu)。
[0488]參照CU設定部1481在成為解碼的對象的對象CU的解碼時，設定與該對象CU對應的參照層上的區(qū)域，以設定的參照區(qū)域為基準，設定在PU分割估計時應參照的參照層上的CU。以后，將參照CU設定部1481設定的上述區(qū)域稱為參照區(qū)域，將上述參照層上的CU稱為參照⑶。
[0489]PU分割估計部1482是參照由參照⑶設定部1481設定的參照⑶，估計對象層的對象CU中向PU的分割類型(估計I3U分割類型)的部分。
[0490]更具體而言，PU分割估計部1482包括右下像素位置判定部1482A、重復區(qū)域判定部1482B以及分割類型決定部1482C。
[0491]右下像素位置判定部1482A判定參照⑶中的右下像素的位置在參照區(qū)域內(nèi)的位置。
[0492]重復區(qū)域判定部1482B判定參照⑶和參照區(qū)域重復的區(qū)域(以下,稱為重復區(qū)域)的重復的程度。在重復區(qū)域的重復的程度中，例如包括重復區(qū)域的面積的大小、重復區(qū)域的形狀、寬度以及高度的大小關系以及參照CU和參照區(qū)域的包含關系。
[0493]分割類型決定部1482C根據(jù)右下像素位置判定部1482A或者重復區(qū)域判定部1482B的判定結(jié)果，決定對象CU中的PU分割類型。
[0494]以下，使用圖28?圖40，按照順序說明參照⑶設定部1481以及PU分割估計部1482的動作的細節(jié)。
[0495](關于參照⑶設定部的動作)
[0496]使用圖28，說明參照⑶設定部1481對在對象層上的對象幀tgtFRl中包含的對象⑶tgt⑶設定參照⑶的例。
[0497]如圖28所示，首先，參照⑶設定部1481設定在參照層上的參照幀refFRl中包含的⑶并且是與對象OTtgtOT對應的參照層上的參照區(qū)域refREG。
[0498]S卩，例示性地，參照幀refFRl是與對象幀tgtFRl同時刻的參照層上的幀。
[0499]此外，這里，對象CTtgtCT與參照區(qū)域refREG “對應”是指，對象層上的對象幀tgtFRl中的對象OTtgtOT的空間性位置與參照層上的參照幀refFRl中的參照區(qū)域refREG的空間性位置對應。
[0500]接著，參照⑶設定部1481以參照區(qū)域refREG為基準，設定參照⑶。
[0501]在圖28所示的例中，在參照層上的編碼樹塊refCTBl中包括參照區(qū)域refREG。此外，在編碼樹塊refCTBl中，包括作為層次深度I的⑶的ref⑶O、ref⑶1、ref⑶2以及refCU3。此外，在refCUO中，包括作為層次深度2的分割CU的refCU00、refCU01、refCU02以及 refCU03。
[0502]這里，參照區(qū)域refREG存在與參照層上的多個⑶具有重復部分的可能性。即，參照區(qū)域refREG存在與參照層上的多個CU重合的可能性。
[0503]在圖28所示的例中，參照區(qū)域refREG與refCUOO、refCUO 1、refCU02以及refCU03、refCUl、refCU2 以及 refCU3 具有重復部分。
[0504]以下，主要說明參照⑶設定部1481將包括與對象⑶的左上像素tgt⑶PX對應的像素refCUPX的參照層上的⑶設定為參照⑶的例。即，在圖28所示的例中，ref⑶00成為參照CU。
[0505]使用圖29，更具體地說明如上述的參照⑶的設定。如圖29所示，將對象層上的對象幀tgtFRl的高度以及寬度分別設為hPic以及wPic。此外，將對象CTtgtCT的高度以及寬度分別設為hCu以及wCu，將左上像素的位置的對象幀tgtFRl中的座標表現(xiàn)設為(xCu，yCu)。此外，將參照層上的參照幀refFRl的高度以及寬度分別設為hRefPic以及wRefPic。
[0506]在設定與左上像素對應的參照⑶的情況下，參照⑶設定部1481如下設定參照⑶。首先，參照⑶設定部1481通過以下的計算，導出參照區(qū)域refREG的座標(xRefReg, yRefReg)。另外，以下的scaleX或scaleY是對象巾貞的寬度或高度相對于參照中貞的寬度或高度之比。
[0507]scaleX = wPic/wRefPic
[0508]scaleY = hPic/hRefPic
[0509]xRefReg = xCu/scaleX
[0510]yRefReg = yCu/scaleY
[0511]接著，參照⑶設定部1481將包括如以上那樣獲得的參照區(qū)域refREG的座標(xRefReg, yRefReg)的 CU，設定為參照 CU。
[0512]另外，并不限定于上述，參照⑶設定部1481也可以如以下設定與中心像素對應的參照⑶。首先，參照⑶設定部1481通過以下的計算，導出參照區(qū)域refREG的寬度以及高度(wRefReg, hRefReg)。另外，關于以下所示的 scaleX、scaleY、xRefReg 以及 yRefReg 的導出方法，如已說明那樣。
[0513]wRefReg = wCu/scaleX
[0514]hRefReg = hCu/scaleY
[0515]此時，參照區(qū)域的中心像素的座標(xRefC, yRefC)通過如下而獲得。
[0516]xRefC = xRefReg+(hRefReg〉〉I)
[0517]yRefC = yRefReg+ (wRefReg>>l)
[0518]接著，參照⑶設定部1481將包括如以上那樣獲得的參照區(qū)域的中心像素的座標(xRefC, yRefC)的 CU，設定為參照 CU。
[0519]在上述的例中，scaleX以及scaleY的值是假設參照層上的參照幀整體和對象層上的對象幀整體在空間上對應而計算出的，但并不限定于此。例如，也考慮對象層上的部分區(qū)域與參照層上的參照幀整體在空間上對應的情況。此時，scaleX或scaleY的值基于對象層上的部分區(qū)域的位置(離對象幀左上的偏移量)或該部分區(qū)域的尺寸而計算。
[0520](關于PU分割估計部的動作)
[0521]接著，使用圖30?圖40說明PU分割估計部1482估計對象CTtgtCT的PU分割類型的例。
[0522][在使用單一的參照⑶(包括參照區(qū)域的左上像素的⑶)的情況下]
[0523]首先，說明右下像素位置判定部1482A判定參照CUref⑶的右下像素refCUPX的位置在參照區(qū)域refREG中的位置，并基于該判定結(jié)果，分割類型決定部1482C決定對象⑶中的I3U分割類型的例。另外，如上所述，參照區(qū)域refREG的左上像素包含在參照CUref⑶中。
[0524][A]右下像素為參照區(qū)域的上半部
[0525]如圖30 (a)所示，在判定為參照CUref⑶的右下像素refCUPX的位置位于參照區(qū)域refREG內(nèi)的上半部的位置(比直線Ml位于上方的區(qū)域)的情況下，分割類型決定部1482C將對象CUtgtCU中的PU分割類型估計為2NXN(參照圖30(b))。
[0526]在參照CU的右下像素位于參照區(qū)域的上半部的位置的情況下，在參照區(qū)域的上半部至少存在水平方向的CU邊界。一般，在存在CU邊界的情況下，與不存在CU邊界的情況相比，夾著邊界的2個區(qū)域具有不同的運動信息的可能性更高。因此，在參照區(qū)域的上半部中，存在物體的邊界的可能性高。因此，通過將存在物體的邊界的可能性高的上半部的區(qū)域和不清楚有無物體的邊界的下半部的區(qū)域分割為不同的PU，能夠提高設定不存在物體的邊界的I3U的可能性。
[0527][B]右下像素為參照區(qū)域的左下
[0528]如圖31 (a)所示，在判定為參照CUref⑶的右下像素refCUPX的位置位于參照區(qū)域refREG內(nèi)的左下的位置(比直線Ml位于下方且比直線M2位于左方的區(qū)域)的情況下，分割類型決定部1482C將對象CTtgtCT中的PU分割類型估計為NX2N(參照圖31 (b))。
[0529]在參照⑶的右下像素位于參照區(qū)域的左下的位置的情況下，在參照區(qū)域的左半部至少存在垂直方向的CU邊界。因此，通過使用分割參照區(qū)域的左半部和右半部的分割類型，能夠與[A]的情況相同地，提高設定不存在物體的邊界的PU的可能性。
[0530][C]右下像素為參照區(qū)域的右下
[0531]如圖32 (a)所示，在判定為參照CUref⑶的右下像素refCUPX的位置位于參照區(qū)域refREG內(nèi)的右下的位置(比直線Ml位于下方且比直線M2位于右方的區(qū)域)的情況下，分割類型決定部1482C將對象⑶tgt⑶中的PU分割類型估計為2NX2N(參照圖32(b))。
[0532]在參照CU的右下像素位于參照區(qū)域的右下的位置的情況下，參照區(qū)域和參照CU的重復區(qū)域的面積大。因此，參照區(qū)域的大部分包含在單一的CU(參照CU)中的可能性高，具有一樣的運動信息的可能性高。因此，在參照區(qū)域內(nèi)具有一樣的運動的情況下，通過使用作為最合適的I3U分割的2NX2N，能夠提高編碼效率。
[0533][D]參照⑶包括參照區(qū)域
[0534]如圖33 (a)所示，在判定為參照CUref⑶的右下像素refCUPX的位置位于參照區(qū)域refREG的外側(cè)右下的位置的情況下，即參照CUref⑶包括參照區(qū)域refREG的情況下，分割類型決定部1482C將對象CTtgtCT中的PU分割類型估計為2NX2N(參照圖32(b))。
[0535]在參照CU包括參照區(qū)域的情況下，在參照區(qū)域內(nèi)具有一樣的運動信息的可能性高。因此，在參照區(qū)域內(nèi)具有一樣的運動的情況下，通過使用作為最合適的PU分割的2NX2N,能夠提高編碼效率。
[0536]如以上所述，能夠通過右下像素的位置判定處理而導出分割類型，而不嚴格地導出參照區(qū)域內(nèi)的⑶邊界的位置。由此，能夠通過比較少的處理量來導出PU分割類型。
[0537]使用圖34以及圖35，更具體地說明右下像素位置判定部1482A判定右下像素refCUPX的位置的方法。
[0538]如圖34所示，將參照區(qū)域refREG的左上像素的位置設為(xRefReg，yRefReg)，將參照區(qū)域refREG的尺寸設為wRefRegXhRefReg。此外，將參照CUrefCU的右下像素refCUPX 的位置設為(xRefCUBR，yRefCUBR)。
[0539]若說明上述判定條件[A]?[D]的各個，則如下所述。
[0540][A]右下像素位于參照區(qū)域的上半部
[0541]圖35是表示參照CUref⑶的右下像素refCUPX的位置和判定結(jié)果的關系的圖。
[0542]首先，右下像素位置判定部1482A判定式(Al)的真假。
[0543]yRefCuBR<yRefReg+(hRefReg>>l)...(Al)
[0544]在式(Al)中，判定參照CUref⑶的右下像素refCUPX的位置是否位于參照區(qū)域refREG的上半部。S卩，在式(Al)為真的情況下，參照CUref⑶的右下像素refCUPX的位置存在于圖35所示的區(qū)域A。另外，對圖35所示的各區(qū)域賦予的標簽A?D對應于判定條件[A]?[D]。例如，滿足判定條件“[A]右下像素位于參照區(qū)域的上半部”的位置對應于區(qū)域A。
[0545][B]右下像素位于參照區(qū)域的左下
[0546]在式(Al)為假的情況下，右下像素位置判定部1482A進一步判定式(A2)的真假。
[0547]xRefCuBR<xRefReg+(wRefReg>>l)...(A2)
[0548]在式(A2)中，判定參照CUref⑶的右下像素refCUPX的位置是否位于參照區(qū)域refREG的左下。S卩，在式(A2)為真的情況下，參照CUref⑶的右下像素refCUPX的位置存在于圖35所示的區(qū)域B。
[0549][C]右下像素位于參照區(qū)域的右下
[0550]在式(A2)為假的情況下，右下像素位置判定部1482A進一步判定式(A3)的真假。
[0551]xRefCuBR<xRefReg+wRefReg
[0552]xRefCuBR<yRefReg+hRefReg...(A3)
[0553]在式(A3)中，判定參照CUref⑶的右下像素refCUPX的位置是否位于參照區(qū)域refREG的右下。S卩，在式(A3)為真的情況下，參照CUref⑶的右下像素refCUPX的位置存在于圖35所示的區(qū)域C。
[0554][D]參照⑶包括參照區(qū)域
[0555]在式(A3)為假的情況下，右下像素位置判定部1482A進一步判定式(A4)的真假。
[0556](xRefCuBR〉= xRe fRe g+wRe fRe g&&
[0557]yRefCuBR> = yRefReg+hRefReg)...(A4)
[0558]在式(A4)中，判定參照CUrefCU是否包括參照區(qū)域refREG。即，在式(A4)為真的情況下，參照CUref⑶的右下像素refCUPX的位置存在于圖35所示的區(qū)域D。
[0559][參照CU和參照區(qū)域重復的區(qū)域(重復區(qū)域)的重復的程度的判定]
[0560]接著，說明重復區(qū)域判定部1482B判定參照CUref⑶和參照區(qū)域refREG的重復區(qū)域的重復的程度，并基于該判定結(jié)果，分割類型決定部1482C決定對象CU中的PU分割類型的例。
[0561]另外，在圖36中，也與圖34相同地，將參照區(qū)域refREG的左上像素的位置設為(xRefReg, yRefReg)。此外，將參照CUrefCU的右下像素refCUPX的位置設為(xRefCUBR，yRefCUBR)。此外，將參照區(qū)域refREG的右下像素的位置設為(xRefRegBR，yRefRegBR)，將參照CUref⑶的左上像素的位置設為(xRef⑶，yRef⑶)。
[0562][A']在參照CUref⑶包括參照區(qū)域refREG的情況下
[0563]如圖36 (a)所示，在判定為參照CUrefCU包括參照區(qū)域refREG的情況下(參照區(qū)域refREG與重復區(qū)域一致的情況下)，分割類型決定部1482C將對象CTtgtCT中的PU分割類型估計為2NX2N(參照圖36(b))。另外，例如能夠通過比較參照CUref⑶的左上像素的位置和參照區(qū)域refREG的左上像素的位置，進一步比較參照CUref⑶的寬度以及高度和參照區(qū)域refREG的寬度以及高度，從而進行上述判定。
[0564]此外，也可以計算重復區(qū)域的寬度(wOver)、重復區(qū)域的寬度(hOver)，并基于這些值而進行判定。wOver、hOver分別通過以下式計算。
[0565]wOver = Min(xRefRegBR, xRefCuBR)-Max(xRefReg, xRefCu)
[0566]hOver = Min(yRefRegBR, yRefCuBR)-Max(yRefReg, yRefCu)
[0567]這里，在參照CUref⑶包括參照區(qū)域refREG的情況下，重復區(qū)域和參照區(qū)域refREG 一致，以下的關系式成立。
[0568]wOver = = wRef RegMhOver = = hRefReg
[0569]另外，在參照CUrefCU對參照區(qū)域refREG的位置關系有特定的制約的情況下，能夠通過更簡化的計算而計算wOver、hOver的值。例如,在參照CUrefOU包括參照區(qū)域ref REG的左上像素的情況下，參照CUref⑶的左上像素比參照區(qū)域refREG的左上像素始終位于左上方。因此，在這樣的情況下，wOver、hOver的值能夠分別通過以下的式計算。
[0570]wOver = Min(xRefRegBR, xRefCuBR) - xRefReg
[0571]hOver = Min(yRefRegBR, yRefCuBR) - yRefReg
[0572][Bi ]在重復區(qū)域的寬度為其高度以上的情況下
[0573]在不是[A']的情況下，且如圖37 (a)或者(b)所示，判定為參照CUrefCU和參照區(qū)域refREG的重復區(qū)域的寬度為該重復區(qū)域的高度以上的情況下，分割類型決定部1482C將對象CUtgtCU中的PU分割類型估計為2NX N (參照圖37 (C))。另外，在圖37(a)以及(b)中，將wOver簡單記載為“w”,將hOver簡單記載為“h”。
[0574]具體而言，重復區(qū)域判定部1482B判定式(BI)的真假。
[0575]wOver> = hOver...(BI)
[0576]若式(BI)為真，則判定為重復區(qū)域的寬度為其高度以上。
[0577][Ci ]在重復區(qū)域的寬度小于其高度的情況下，
[0578]在除此以外的情況下(既不是[A^ ]，也不是[B ^ ]的情況下)，且如圖38 (a)或者(b)所示，判定為參照CUrefCU和參照區(qū)域refREG的重復區(qū)域的寬度小于該重復區(qū)域的高度的情況下，分割類型決定部1482C將對象CUtgtCU中的PU分割類型估計為NX2N(參照圖 38(c))。
[0579]重復區(qū)域判定部1482B也可以在上述式(BI)為假的情況下，判定為重復區(qū)域的寬度小于其高度。
[0580]另外，在以上的說明中，將參照區(qū)域refREG的左上像素的位置(xRefReg，yRefReg)和參照CUrefCU的右下像素refCUPX的位置(xRefCUBR，yRefCUBR)設為判定中的比較的對象。但是，并不限定于此，以上的判定也能夠應用于使用與參照區(qū)域refREG的左上像素以外的像素位置對應的參照⑶的情況。
[0581](作用/效果)
[0582]如以上所示，層次活動圖像解碼裝置I是如下的層次活動圖像解碼裝置1:對與按每個層不同的質(zhì)量的圖像有關的圖像信息層次性地編碼的層次編碼數(shù)據(jù)進行解碼，復原成為解碼的對象的對象層中的圖像，所述層次活動圖像解碼裝置I包括:參照CU設定部1481，關于上述對象層中的對象CU，基于與參照層中的參照區(qū)域具有重復部分的CU，設定應判斷與上述參照區(qū)域的重復的程度的參照CU，該參照區(qū)域與上述對象CU對應；以及PU分割估計部1482，根據(jù)上述參照區(qū)域和上述參照CU的重復的程度，對上述對象CU決定PU分割類型。
[0583]因此，起到能夠降低導出分割類型的處理的處理量的效果。
[0584](PU分割類型導出部的變形例)
[0585]以下，說明PU分割類型導出部148的優(yōu)選的變形例。
[0586](利用了參照⑶的PU分割類型的判定)
[0587]也可以是根據(jù)右下像素位置判定部1482A的判定，分割類型決定部1482C進行利用了參照CU的PU分割類型的判定的結(jié)構(gòu)。
[0588][在省略嚴密的計算的情況下]
[0589]具體而言，在判定為符合上述“在使用單一的參照CU的情況下”中說明的[A]?[C]的情況下，如前所述。即，在判定為參照CUref⑶的右下像素refCUPX包含在參照區(qū)域refREG內(nèi)的情況下，分割類型決定部1482C不使用參照CU的PU分割類型而決定對象CU的I3U分割類型。
[0590]另一方面，在判定為符合上述[D]的情況下，分割類型決定部1482C利用參照CU的PU分割類型，如下決定對象CU的PU分割類型。即，
[0591][D1]在參照CU的PU分割類型為2NX 2N的情況下:
[0592]分割類型決定部1482C將對象CU的PU分割類型決定為2NX 2N。
[0593][D2]在參照CU的PU分割類型為2NXN或2NXnU或2NXnD的情況下:
[0594]分割類型決定部1482C將對象⑶的PU分割類型決定為2NXN。
[0595][D3]在參照CU的PU分割類型為NX 2N或nLX 2N或nRX 2N的情況下:
[0596]分割類型決定部1482C將對象CU的PU分割類型決定為NX 2N。
[0597]根據(jù)以上的結(jié)構(gòu)，在參照⑶內(nèi)沒有劃分邊界邊界)的情況下，將沒有劃分邊界的I3U分割類型即2NX2N決定為對象CU中的PU分割類型(在[D1]的情況下)。
[0598]此外，當有在參照CU中存在PU邊界的可能性的情況下(在[D2]或者[D3]的情況下)，省略參照CU中的PU邊界的位置的嚴密的計算，只判定是否在垂直或者水平的任一個中有邊界，決定對象CU中的PU分割類型。
[0599]另外，在“參照CU和參照區(qū)域重復的區(qū)域重復的程度的判定”的情況下，也可以在上述[A']的情況下，進行上述[D1]?[D3]的判定。
[0600][在執(zhí)行嚴密的計算的情況下]
[0601]在省略嚴密的計算的情況下的結(jié)構(gòu)如以上所說明，但分割類型決定部1482C也可以是嚴密地計算參照CU中的PU邊界的位置，決定對象CU中的PU分割類型的結(jié)構(gòu)。以下，表示這樣的分割類型決定部1482C的結(jié)構(gòu)例。
[0602]在判定為符合在上述“在使用單一的參照CU的情況下”中說明的[A]?[C]的情況下，如前所述。
[0603]另一方面，在判定為符合上述[D]的情況下，分割類型決定部1482C利用參照CU的PU分割類型，如下決定對象CU的PU分割類型。即，
[0604][D1]在參照⑶的I3U分割類型為2NX 2N的情況下:
[0605]分割類型決定部1482C將對象CU的PU分割類型決定為2NX 2N。
[0606][D2]在參照CU的PU分割類型為2NXN或2NXnU或2NXnD的情況下:
[0607]如圖39 (a)、(b)以及(C)所示，在參照CU的I3U分割類型為2NXN或2NXnU或2NXnD的情況下，分割類型決定部1482C通過以下的計算，嚴密地計算參照⑶中的PU邊界的位置(即，橫PU邊界的位置)。
[0608]這里，如圖40所示，將參照CUrefCU的左上像素的位置設為(xRefCu, yRefCu)，將參照CUrefCU的高度以及寬度分別設為hRefCu、wRefCu。此外，將成為參照CUrefCu中的PU邊界的基準的位置設為參照CU的左邊和I3U邊界交叉的位置(xRefCu，yPub) (yPub是縱PU邊界的位置)。此外，將參照區(qū)域refREG的左上像素的位置設為(xRefReg, yRefReg)，將參照區(qū)域的高度以及寬度分別設為hRefReg、wRefReg。
[0609][I]分割類型決定部1482C如下導出橫I3U邊界的y方向的位置yPub。
[0610]yPub = yRefCu+(hRefCu*bPos)
[0611 ] bPos = 0.25 (在 2NxnU 的情況下)
[0612]0.5 (在2NxN的情況下)
[0613]0.75 (在 2NxnD 的情況下)
[0614][2]分割類型決定部1482C根據(jù)yPub在參照區(qū)域refREG內(nèi)的位置，如下決定PU分割類型。以下，設為d = yPub-yRefReg。S卩，這里,分割類型決定部1482C根據(jù)參照CUrefOU的橫I3U邊界在參照區(qū)域refREG中的位置，決定I3U分割類型。
[0615][2-1]在d彡O或者d彡hRefReg的情況下
[0616]這是參照區(qū)域refREG包含在參照CUref⑶中的任一個劃分中的情況。分割類型決定部1482C將PU分割類型決定為2NX2N。
[0617][2-2]在 O < d < 0.25*hRefReg 的情況下
[0618]這是參照CUref⑶的PU邊界橫切參照區(qū)域refREG的上1/4以上的位置的情況。分割類型決定部1482C將PU分割類型決定為2NXnU。
[0619][2-3]在 0.25*hRefReg ^ d < 0.75*hRefReg 的情況下
[0620]這是參照CUref⑶的PU邊界橫切參照區(qū)域refREG的中央附近(上1/4?下1/4的位置)的情況。分割類型決定部1482C將PU分割類型決定為2NXN。
[0621][2-4]在 0.75*hRefReg 彡 d < hRefReg 的情況下
[0622]這是參照CUref⑶的PU邊界橫切參照區(qū)域refREG的下1/4以上的位置的情況。分割類型決定部1482C將PU分割類型決定為2NXnD。
[0623][D3]在參照CU的PU分割類型為NX 2N或nLX 2N或nRX 2N的情況下:
[0624]分割類型決定部1482C嚴密地計算參照⑶中的邊界的位置(即，縱邊界的位置)。由于該計算方法能夠使用對縱PU邊界應用了使用圖40表示的計算方法的方法，所以省略其詳細的說明。
[0625](在分辨率比小的情況下的判定)
[0626]在對象層的分辨率相對于參照層的分辨率之比為預定值以下的情況下(例如，
1.5以下的情況下)，分割類型決定部1482C也可以根據(jù)參照CU的尺寸和對象CU的尺寸的大小，決定I3U分割類型。
[0627]例如，在參照CU的尺寸大于對象CU的尺寸的情況下，分割類型決定部1482C也可以將PU分割類型決定為2NX 2N。
[0628]此外，例如，在參照CU的尺寸為對象CU的尺寸以下的情況下，分割類型決定部1482C也可以將參照⑶的I3U分割類型設為I3U分割類型。
[0629]根據(jù)以上的結(jié)構(gòu)，能夠簡化判定處理。
[0630](塊尺寸的限制)
[0631]優(yōu)選抑制通過I3U分割而產(chǎn)生小的尺寸的PU。因此，分割類型決定部1482C也可以是在預定的尺寸的⑶(例如，8 X 8CU)中，始終將2NX 2N設為PU分割類型的結(jié)構(gòu)。即，分割類型決定部1482C也可以在預定的尺寸的⑶中，禁止分割。
[0632]根據(jù)上述結(jié)構(gòu)，能夠減少成為處理的瓶頸的小尺寸I3U的外部⑶的比例，由此，能夠降低平均的處理量。
[0633]另外，分割類型決定部1482C也可以在預定的尺寸的CU中，只導出對稱的劃分作為I3U分割類型。此外，分割類型決定部1482C也可以限制導出NXN作為PU分割模型。
[0634](不對稱劃分的限制)
[0635]在從參照層決定分割類型的情況下，分割類型決定部1482C也可以是不作為PU分割類型而導出不對稱劃分的結(jié)構(gòu)。例如，在從參照CU的PU分割類型估計對象CU的PU分割類型的情況下，分割類型決定部1482C也可以是導出與邊界的方向性對應的對稱劃分作為PU分割類型的結(jié)構(gòu)。
[0636]換言之，利用了上述的參照⑶的分割類型的判定并不限定于[D]的情況，還能夠應用于[A]?[C]。此外，在將利用了上述的參照CU的PU分割類型的判定應用于[A]?[C]的情況下，分割類型決定部1482C也可以導出對稱劃分作為分割類型。
[0637]根據(jù)上述結(jié)構(gòu)，由于也可以不判定垂直或者水平邊界的嚴密的位置，所以能夠簡化處理。
[0638](參照⑶的選擇/設定)
[0639]在以上的說明中，說明了參照⑶設定部1481將在與參照區(qū)域refREG具有重復部分的多個⑶中、包括對象⑶的左上像素的⑶，設定為參照⑶的結(jié)構(gòu)。
[0640]但是，本發(fā)明并不限定于上述的結(jié)構(gòu)。更一般而言，參照⑶設定部1481也可以是從與參照區(qū)域refREG具有重復部分的多個CU中按照預定的基準而設定單一的參照CU的結(jié)構(gòu)。
[0641]例如，參照⑶設定部1481也可以將在上述多個⑶中、包括與在對象⑶中包含的位于預定的位置的像素對應的像素的參照層上的CU，設定為參照CU。若舉具體例，則參照⑶設定部1481也可以將包括與在對象⑶中包含的中央像素對應的像素的參照層上的⑶，設定為參照CU。
[0642]此外，在其他的具體例中，參照⑶設定部1481也可以從與參照區(qū)域refREG具有重復部分的多個CU中，將具有最大的面積的CU用作參照CU。
[0643]根據(jù)上述結(jié)構(gòu)，由于包括與在對象⑶中包含的中央像素對應的像素的參照層上的CU、或在上述多個CU中具有最大的面積的CU，與對象CU為相同的I3U分割類型的可能性聞，所以能夠提聞估計精度。
[0644]此外，參照⑶設定部1481也可以從與參照區(qū)域refREG具有重復部分的多個⑶中生成虛擬的單一的⑶。具體而言，參照⑶設定部1481也可以從參照區(qū)域周邊的⑶提取多個CU中的代表性的性質(zhì)，基于所提取的性質(zhì)而生成虛擬的單一的CU，并設為參照編碼單位。例如，參照CU設定部1481能夠基于多個CU的尺寸以及形狀或者將這些信息進行組合，生成該虛擬的單一的CU。另外，上述虛擬的單一的編碼單位以成為與上述參照區(qū)域重復的區(qū)域的方式生成。
[0645]此外，參照⑶設定部1481也可以將與參照區(qū)域refREG具有重復部分的多個⑶利用作為參照CU列表。
[0646](TO分割估計部的補充)
[0647]在上述圖27的I3U分割估計部1482的說明中，說明了 PU分割估計部1482是具備右下像素位置判定部1482A和重復區(qū)域判定部1482B的雙方的結(jié)構(gòu)，但也可以是構(gòu)成為始終使用其中一方的判定部的基礎上，將PU分割估計部1482包括右下像素位置判定部1482A和重復區(qū)域判定部1482B中的其中一個的結(jié)構(gòu)。
[0648](其他的變形例)
[0649]以下，說明其他的變形例。
[0650](語法表格的結(jié)構(gòu)例)
[0651]以下，說明用于對基本跳過CU進行編碼的語法的結(jié)構(gòu)例。其結(jié)構(gòu)的概要如下所述。首先，對是否使用參照層的信息的基本模式標記(baSe_m0de_flag)進行編碼。此外，在基本模式標記為“真”的情況下，在PartMode的導出中使用上述的I3U分割類型導出部148的PU分割類型的估計。
[0652]另外，根據(jù)語法結(jié)構(gòu)的方法，也存在執(zhí)行PU分割類型以外的估計(例如，pred_mode)的情況。
[0653][通過coding_unit 對 base_mode_flag 進行編碼的結(jié)構(gòu)]
[0654]使用圖41以及圖42,說明通過coding_unit對base_mode_f lag進行編碼的結(jié)構(gòu)例。
[0655]圖42表示在通過coding_unit對base_mode_f lag進行編碼的情況下的語法的結(jié)構(gòu)例。
[0656]如圖42 所不，在 coding_unit 中，也可以緊接著 skip_f lag 對 base_mode_f lag 進行編碼(SYNll)。另外，以下,作為與base_mode_flag的編碼有關的技術的事項,合起來探討預測模式pred_mode以及PU分割類型part_mode的省略以及導出。
[0657]參照圖42，若進一步具體說明，則在編碼數(shù)據(jù)的結(jié)構(gòu)中，基本模式標記(base_mode_flag)配置在跳過標記(skip_flag)的后方且預測模式標記(pred_mode_flag)的前方。
[0658]此外，在基本模式標記(baSe_m0de_flag)為“真”的情況下，不配置預測模式標記(pred_mode_f lag)以及分割類型(part_mode)(分別對應于 SYN12 以及 SYN13)。
[0659]根據(jù)圖42所示的語法的結(jié)構(gòu)例，如下進行基本跳過⑶中的解碼(與base_mode_flag有關的解碼)。
[0660](I)層次活動圖像解碼裝置I對base_mode_flag進行解碼。
[0661](2)在baSe_m0de_flag為“真”的情況下，層次活動圖像解碼裝置I通過估計(infer)而導出 PredMode 和 PartMode。
[0662](3)相對于此，在baSe_m0de_flag為“假”的情況下，層次活動圖像解碼裝置I通過編碼數(shù)據(jù)對pred_mode_flag和part_mode的語法元素值進行解碼,并基于解碼出的語法值而導出 PredMode 和 PartMode。
[0663]若將以上的解碼處理表示為表形式，則如圖41所示。圖41是表示語法元素值和CU類型的關系的表格。在同圖中，表示是在該CU類型中也可以不解碼的語法元素。
[0664]根據(jù)以上的語法結(jié)構(gòu)，如圖41所示，在基本跳過CU的情況下，由于不對pred_mode_flag和part_mode進行解碼，所以編碼效率提高。
[0665](預測模式(PredMode)的導出)
[0666]以下，說明預測模式(PredMode)的導出方法。
[0667][導出方法I]
[0668]在基本層為I片段的情況下，層次活動圖像解碼裝置I也可以在對象⑶中始終使用內(nèi)部預測(MODE _ INTRA)。
[0669]另一方面，在基本層不是I片段的情況下，層次活動圖像解碼裝置I也可以使用參照⑶的PredMode。另外，在上述的參照⑶中，例如能夠使用包括對象⑶的左上像素的參照層上的⑶。
[0670][導出方法2]
[0671]在基本層為I片段的情況下，層次活動圖像解碼裝置I也可以在對象⑶中始終使用內(nèi)部預測(MODE _ INTRA)。
[0672]另一方面，在基本層不是I片段的情況下，層次活動圖像解碼裝置I使用外部預測(MODE — INTER)。
[0673]另外，在上述導出方法I以及2中，“在基本層不是I片段的情況下”的條件也可以是“在基本層為IDR(Instantaneous Decoding Refresh,即時解碼刷新)的情況下”的條件。IDR是參照圖片的初始化，IDR圖片是參照被復位的圖片。即，在IDR圖片中，不參照該圖片的前方(片段)的信息，就能夠準確地對該圖片以后的圖片進行解碼。
[0674](merge_flag 的導出)
[0675]使用圖43,說明根據(jù) base_mode_flag 的判定，通過 predict1n_unit 對 merge_flag進行編碼的結(jié)構(gòu)例。
[0676]圖43 表不在通過 predict1n_unit 進行了 base_mode_f lag 的判定之后對 merge_flag進行編碼的情況下的語法的結(jié)構(gòu)例。
[0677]如圖43所示,在predict1n_unit中，也可以在mereg_flag的緊之前判定base_mode_f lag (SYN21)。此外，在 base_mode_f lag 為“真”的情況下，也可以不配置 merge_f lag。
[0678]S卩，也可以是在base_mode_flag成為“真”的基本跳過⑶中包含的各PU中，始終使用合并模式的結(jié)構(gòu)(merge_flag = true)。
[0679]根據(jù)上述結(jié)構(gòu)，能夠省略3個標記pred_mode、part_mode、merge_flag。由此,能夠削減這些3個標記的碼量，編碼效率提高。
[0680](層次活動圖像解碼裝置中的⑶解碼處理的流程)
[0681]使用圖44、圖45以及圖46，說明層次活動圖像解碼裝置I中的與預測參數(shù)有關的⑶解碼處理的流程的一例。圖44、圖45以及圖46是分別表示與基本跳過⑶、跳過⑶以及外部CU的預測參數(shù)有關的解碼處理的流程的一例的流程圖。
[0682]首先，使用圖44，說明層次活動圖像解碼裝置I中的基本跳過⑶解碼處理的流程的一例。
[0683]在對象⑶為基本跳過⑶的情況下，參照⑶設定部1481設定與對象⑶對應的參照 CU(S301)。
[0684]接著，PU分割估計部1482通過層間預測而估計對象⑶中的I3U分割類型(S302)。具體而言，PU分割類型的估計是基于右下像素位置判定部1482A中的判定結(jié)果或者重復區(qū)域判定部1482B中的判定結(jié)果而由分割類型決定部1482C執(zhí)行。
[0685]接著，若根據(jù)估計出的I3U分割類型，PU被分割且設定對象I3U (S303)，則合并候選導出部146關于對象I3U,導出合并候選列表(S304)。另外，例示性地，合并候選導出部146在合并候選列表的導出中，導出層間合并候選。但是，能夠任意設定將層間預測進行什么程度。例如，在基本跳過⑶中，也可以只將PU分割類型設為層間預測的對象。S卩，在S304中，也能夠采用只導出層內(nèi)合并候選的結(jié)構(gòu)。此外，在基本跳過CU中，也可以代替S301 “參照CU的設定” /S302 “PU分割的估計”處理，執(zhí)行后述的S401 “將PU分割設定為2NX 2N”處理。此外，也可以在基本跳過⑶以外的⑶中，進行PU分割的估計。
[0686]接著，合并信息復原部147從導出的合并候選列表中選擇合并候選(S305)。
[0687]這里，若對象I3U不是對象⑶中的處理順序上的最終ro(S306中“否”)，則重復執(zhí)行S303?S305的處理。
[0688]之后，若直到對象⑶中的處理順序上的最終PU為止處理完成(S306中“是”)，則基本跳過⑶解碼處理結(jié)束。
[0689]接著，使用圖45，說明層次活動圖像解碼裝置I中的跳過⑶解碼處理的流程的一例。
[0690]在對象CU為跳過CU的情況下，在預測參數(shù)復原部14中，PU分割類型設定為2NX2N(即，無I3U分割)(S401)，且設定對象PU(S402)。
[0691]接著，合并候選列表導出部146關于對象PU,導出合并候選列表(S403)。進一步，合并信息復原部147從導出的合并候選列表中選擇合并候選(S404)，之后，跳過CU解碼處理結(jié)束。
[0692]接著，使用圖46說明層次活動圖像解碼裝置I中的外部⑶解碼處理的流程的一例。
[0693]在對象CU為外部CU的情況下，PU分割類型從編碼數(shù)據(jù)被解碼(S501)。此外，根據(jù)被解碼的I3U分割類型，設定對象CU中的至PU的劃分，設定對象ro(S502)。
[0694]接著，判定對象I3U是否為合并PU (S503)。在對象I3U為合并PU的情況下(S503中“是”)，合并候選導出部146導出合并候選列表(S504),合并信息復原部147從合并候選列表中選擇合并候選(S505)。
[0695]另一方面，在對象不是合并PU的情況下(S503中“否”)，信息從編碼參數(shù)被解碼(S507)。
[0696]若在S505或者S507的處理之后，對象I3U不是對象⑶中的處理順序上的最終PU(S506中“否”)，則重復執(zhí)行S502?S507的處理。
[0697]之后，若直到對象⑶中的處理順序上的最終為止處理完成(S506中“是”)，則外部⑶解碼處理結(jié)束。
[0698]〔層次活動圖像編碼裝置〕
[0699]以下，參照圖22?圖24說明本實施方式的層次活動圖像編碼裝置2的結(jié)構(gòu)。
[0700](層次活動圖像編碼裝置的結(jié)構(gòu))
[0701]若使用圖22說明層次活動圖像編碼裝置2的概略性結(jié)構(gòu)，則如下所述。圖22是表示了層次活動圖像編碼裝置2的概略性結(jié)構(gòu)的功能框圖。層次活動圖像編碼裝置2 —邊參照參照層編碼數(shù)據(jù)DATA#R，一邊對對象層的輸入圖像PIN#T進行編碼，生成對象層的層次編碼數(shù)據(jù)DATA。另外，設為參照層編碼數(shù)據(jù)DATA#R在與參照層對應的層次活動圖像編碼裝置中編碼完畢。
[0702]如圖22所示，層次活動圖像編碼裝置2包括預測參數(shù)決定部21、預測信息生成部22、基本解碼部23、紋理信息生成部24、可變長編碼部25以及NAL復用部26。
[0703]預測參數(shù)決定部21基于輸入圖像PIN#T，決定在預測圖像的預測中使用的預測參數(shù)以及其他的編碼的設定。
[0704]預測參數(shù)決定部21如下進行以預測參數(shù)為首的編碼的設定。
[0705]首先，預測參數(shù)決定部21通過將輸入圖像PIN#T以片段單位、樹塊單位、⑶單位依次分割，從而生成關于對象⑶的⑶圖像。
[0706]此外，預測參數(shù)決定部21基于分割處理的結(jié)果，生成編碼信息(有時也稱為頭信息)。編碼信息包括(I)關于屬于對象片段的樹塊的尺寸、形狀以及對象片段內(nèi)的位置的信息即樹塊信息、以及(2)關于屬于各樹塊的CU的尺寸、形狀以及對象樹塊內(nèi)的位置的信息即⑶信息。
[0707]進一步，預測參數(shù)決定部21參照⑶圖像、樹塊信息以及⑶信息，導出對象⑶的預測類型、對象CU至PU的分割信息以及預測參數(shù)(若對象CU為內(nèi)部CU則內(nèi)部預測模式，在外部⑶時各PU中的運動補償參數(shù))。
[0708]預測參數(shù)決定部21關于(I)對象CU的預測類型、(2)對象CU至各PU的可能的分割模型、(3)能夠?qū)Ω鱌U分配的預測模式(若內(nèi)部CU則內(nèi)部預測模式，若外部CU則運動補償參數(shù))、的全部的組合，計算成本，決定最低成本的預測類型、分割模型以及預測模式。
[0709]預測參數(shù)決定部21將編碼信息以及預測參數(shù)供應給預測信息生成部22以及紋理信息生成部24。另外，雖然為了簡化說明而未圖示，但設為在預測參數(shù)決定部21中決定的上述的編碼的設定在層次活動圖像編碼裝置2的各部分中能夠參照。
[0710]預測信息生成部22基于從預測參數(shù)決定部21供應的預測參數(shù)和參照層編碼數(shù)據(jù)DATA#R,生成包括與預測參數(shù)有關的語法值的預測信息。預測信息生成部22將生成的預測信息供應給可變長編碼部25。另外，預測信息生成部22在復原預測參數(shù)時，能夠參照在紋理信息生成24具備的幀存儲器244 (后述)中存儲的運動信息。
[0711]由于基本解碼部23與層次活動圖像解碼裝置I的基本解碼部16相同，所以這里省略其說明。
[0712]紋理信息生成部24生成包括對從輸入圖像PIN#T減去預測圖像而獲得的預測殘差進行了正交變換/量化的變換系數(shù)的變換系數(shù)信息。紋理信息生成部24將生成的變換系數(shù)信息供應給可變長編碼部25。另外，在紋理信息生成24中，與復原的解碼圖像有關的信息存儲在內(nèi)部具有的幀存儲器244(后述)中。
[0713]可變長編碼部25對從預測信息生成部22供應的預測信息以及從紋理信息生成部24供應的變換系數(shù)信息進行可變長編碼而生成對象層編碼數(shù)據(jù)DATA#T?？勺冮L編碼部25將生成的對象層編碼數(shù)據(jù)DATA#T供應給NAL復用部26。
[0714]NAL復用部26通過將從可變長編碼部25供應的對象層編碼數(shù)據(jù)DATA#T和參照層編碼數(shù)據(jù)DATA#R存儲在NAL單元中，生成進行了 NAL復用的層次活動圖像編碼數(shù)據(jù)DATA，并輸出到外部。
[0715]以下，說明預測信息生成部22以及紋理信息生成部24的各自的細節(jié)。
[0716](預測信息生成部)
[0717]使用圖23，說明預測信息生成部22的詳細結(jié)構(gòu)。圖23是例示了預測信息生成部22的結(jié)構(gòu)的功能框圖。
[0718]如圖23所示，預測信息生成部22包括預測類型選擇部221、開關222、內(nèi)部預測模式導出部223、運動矢量候選導出部224、運動信息生成部225、合并候選導出部(層間候選導出單元)226、合并信息生成部227以及PU分割類型導出部228。
[0719]預測類型選擇部221根據(jù)CU類型或者類型，對開關222傳送切換指示，控制預測參數(shù)的導出處理。具體而言，如下所述。
[0720]在指定了內(nèi)部CU或者內(nèi)部PU的情況下，預測類型選擇部221控制開關222，使得能夠使用內(nèi)部預測模式導出部223而導出預測信息。
[0721]在指定了外部CU(無合并)以及外部(無合并)中的任一個的情況下，預測類型選擇部221控制開關222，使得能夠使用運動信息生成部225而導出預測參數(shù)。
[0722]在指定了基本跳過⑶、基本合并TO、跳過⑶以及合并PU中的任一個的情況下，預測類型選擇部221控制開關222，使得能夠使用合并信息生成部227而導出預測參數(shù)。
[0723]開關222根據(jù)預測類型選擇部221的指示，將預測參數(shù)供應給內(nèi)部預測模式導出部223、運動信息生成部225以及合并信息生成部227中的任一個。在預測信息的供應目的地中導出預測參數(shù)。
[0724]內(nèi)部預測模式導出部223導出與內(nèi)部預測模式有關的語法值。即，內(nèi)部預測模式復原部143作為預測信息而生成的是與預測模式有關的語法值。
[0725]運動矢量候選導出部224使用基本解碼信息，通過層內(nèi)運動估計處理或者層間運動估計處理而導出估計運動矢量的候選。運動矢量候選導出部224將導出的運動矢量的候選供應給運動信息生成部225。
[0726]運動信息生成部225生成與不進行合并的各外部預測劃分中的運動信息有關的語法值。即，運動信息復原部145作為預測信息而生成的是與運動信息有關的語法值。具體而言，運動信息生成部225從各PU中的運動補償參數(shù)導出作為對應的語法元素值的inter_pred_f lag> mvd> mvp_idx 以及 refldx。
[0727]具體而言，運動信息生成部225在對象PU為基本合并I3U的情況下，基于從運動矢量候選導出部224供應的運動矢量的候選，導出上述語法值。
[0728]另一方面，運動信息復原部145在對象CU(PU)為不進行合并的外部CU (外部PU)的情況下，基于在預測參數(shù)中包含的運動信息，導出上述語法值。
[0729]合并候選導出部226使用從后述的幀存儲器155供應的解碼完畢的運動信息和/或從基本解碼部23供應的基本解碼信息等，導出具有與各PU中的運動補償參數(shù)類似的運動補償參數(shù)的合并候選。合并候選導出部226將導出的合并候選供應給合并信息生成部227。由于合并候選導出部226的結(jié)構(gòu)與在層次活動圖像解碼裝置I中包含的合并候選導出部146的結(jié)構(gòu)相同，所以省略其說明。
[0730]合并信息生成部227生成與有關進行合并的各外部預測劃分的運動信息有關的語法值。即，合并信息生成部227作為預測信息而生成的是與運動信息有關的語法值。具體而言，合并信息生成部227輸出指定合并候選的語法元素值merge_idX，該合并候選具有與各PU中的運動補償參數(shù)類似的運動補償參數(shù)。
[0731]分割類型導出部228使用編碼信息以及基本解碼信息，估計對象層中的對象CU至的PU分割類型。由于分割類型導出部228的結(jié)構(gòu)與在層次圖像解碼裝置I中包含的PU分割類型導出部148的結(jié)構(gòu)相同，所以省略其說明。
[0732](紋理信息生成部)
[0733]使用圖24說明紋理信息生成部24的詳細結(jié)構(gòu)。圖24是例示了紋理信息生成部24的結(jié)構(gòu)的功能框圖。
[0734]如圖24所示，紋理信息生成部24包括紋理預測部241、減法部242、正交變換/量化部243、逆正交變換/逆量化部244、加法器245、環(huán)路濾波器部246以及幀存儲器247。
[0735]減法部242通過從輸入圖像PIN#T減去從紋理預測部241供應的預測圖像，生成預測殘差D。減法部242將生成的預測殘差D供應給變換/量化部243。
[0736]正交變換/量化部243通過對預測殘差D進行正交變換以及量化，生成量化預測殘差。另外，這里，正交變換是指從像素區(qū)域到頻率區(qū)域的正交變換。此外，作為正交變換的例，舉出DCT變換(Discrete Cosine Transform,離散余弦變換)以及DST變換(DiscreteSine Transform,離散正弦變換)等。此外,關于具體的量化過程，由于如已經(jīng)說明那樣,所以這里省略其說明。正交變換/量化部243將包括生成的量化預測殘差的變換系數(shù)信息供應給逆變換/逆量化部244以及可變長編碼部25。
[0737]由于紋理預測部241、逆正交變換/逆量化部244、加法器245、環(huán)路濾波器部246以及幀存儲器247分別與在層次活動圖像解碼裝置I中包含的紋理預測部152、逆正交變換/逆量化部151、加法器153、環(huán)路濾波器部154以及幀存儲器155相同，所以這里省略其說明。但是，紋理預測部241除了加法器245之外，還對減法部242供應預測圖像。
[0738](對于其他的層次活動圖像編碼/解碼系統(tǒng)的應用例)
[0739]上述的層次活動圖像編碼裝置2以及層次活動圖像解碼裝置I能夠搭載在進行活動圖像的發(fā)送、接收、記錄、再現(xiàn)的各種裝置中利用。另外，活動圖像既可以是通過相機等而拍攝的自然活動圖像，也可以是通過計算機等而生成的人工活動圖像(包括CG以及⑶I)。
[0740]首先，參照圖25說明將上述的層次活動圖像編碼裝置2以及層次活動圖像解碼裝置I能夠利用于活動圖像的發(fā)送以及接收的情況。
[0741]圖25的(a)是表示搭載了層次活動圖像編碼裝置2的發(fā)送裝置PROD —A的結(jié)構(gòu)的框圖。如圖25的(a)所示，發(fā)送裝置PROD —A包括通過對活動圖像進行編碼而獲得編碼數(shù)據(jù)的編碼部PROD—Al、通過使用編碼部PROD —Al獲得的編碼數(shù)據(jù)對載波進行調(diào)制而獲得調(diào)制信號的調(diào)制部PROD —A2、發(fā)送調(diào)制部PROD —A2獲得的調(diào)制信號的發(fā)送部PROD—A3。上述的層次活動圖像編碼裝置2作為該編碼部PROD _ Al而被利用。
[0742]發(fā)送裝置PROD —A也可以作為輸入到編碼部PR0D —Al的活動圖像的供應源，進一步包括拍攝活動圖像的相機PROD — A4、記錄了活動圖像的記錄介質(zhì)PROD — A5、用于從外部輸入活動圖像的輸入端子PROD —A6、以及生成或者加工圖像的圖像處理部A7。在圖25的(a)中，雖然例示了發(fā)送裝置PROD —A包括這些全部的結(jié)構(gòu)，但也可以省略一部分。
[0743]另外，記錄介質(zhì)PROD — A5既可以是記錄了未進行編碼的活動圖像的介質(zhì)，也可以是記錄了以與傳輸用的編碼方式不同的記錄用的編碼方式進行了編碼的活動圖像的介質(zhì)。在后者的情況下，只要在記錄介質(zhì)PROD — A5和編碼部PROD — Al之間，介入將從記錄介質(zhì)PROD —A5讀出的編碼數(shù)據(jù)根據(jù)記錄用的編碼方式進行解碼的解碼部(未圖示)即可。
[0744]圖25的(b)是表示搭載了層次活動圖像解碼裝置I的接收裝置PR0D —B的結(jié)構(gòu)的框圖。如圖25的(b)所示，接收裝置PR0D —B包括接收調(diào)制信號的接收部PR0D —B1、通過對接收部PROD — BI接收到的調(diào)制信號進行解調(diào)而獲得編碼數(shù)據(jù)的解調(diào)部PROD_B2、通過對解調(diào)部PROD — B2獲得的編碼數(shù)據(jù)進行解碼而獲得活動圖像的解碼部PROD — B3。上述的層次活動圖像解碼裝置I作為該解碼部PROD —B3而被利用。
[0745]接收裝置PROD _ B也可以作為解碼部PROD — B3輸出的活動圖像的供應目的地，進一步包括顯示活動圖像的顯示器PROD — B4、用于記錄活動圖像的記錄介質(zhì)PROD — B5、以及用于向外部輸出活動圖像的輸出端子PROD —B6。在圖25的(b)中，雖然例示了接收裝置PROD _ B包括這些全部的結(jié)構(gòu)，但也可以省略一部分。
[0746]另外，記錄介質(zhì)PROD — B5既可以是記錄了未進行編碼的活動圖像的介質(zhì)，也可以是記錄了以與傳輸用的編碼方式不同的記錄用的編碼方式進行了編碼的活動圖像的介質(zhì)。在后者的情況下，只要在解碼部PROD — B3和記錄介質(zhì)PROD — B5之間，介入將從解碼部PROD —B3取得的活動圖像根據(jù)記錄用的編碼方式進行編碼的編碼部(未圖示)即可。
[0747]另外，傳輸調(diào)制信號的傳輸介質(zhì)既可以是無線，也可以是有線。此外，傳輸調(diào)制信號的傳輸方式既可以是廣播(這里，指發(fā)送目的地沒有預先確定的發(fā)送方式)，也可以是通信(這里，指發(fā)送目的地預先確定的發(fā)送方式)。即，調(diào)制信號的傳輸也可以通過無線廣播、有線廣播、無線通信以及有線通信中的任一個而實現(xiàn)。
[0748]例如，地面數(shù)字廣播的廣播站(廣播設備等)/接收站(電視接收機等)是通過無線廣播來發(fā)送接收調(diào)制信號的發(fā)送裝置PROD —A/接收裝置PR0D —B的一例。此外，電纜電視廣播的廣播站(廣播設備等)/接收站(電視接收機等)是通過有線廣播來發(fā)送接收調(diào)制信號的發(fā)送裝置PROD _ A/接收裝置PROD _ B的一例。
[0749]此外,使用了互聯(lián)網(wǎng)的VOD(Video On Demand,視頻點播)服務或動畫共享服務等的服務器(工作站等)/客戶端(電視接收機、個人計算機、智能手機等)是通過通信來發(fā)送接收調(diào)制信號的發(fā)送裝置PROD — A/接收裝置PROD — B的一例(通常，在LAN中作為傳輸介質(zhì)而使用無線或者有線中的任一個，在WAN中作為傳輸介質(zhì)而使用有線)。這里,在個人計算機中，包括桌上型PC、膝上型PC以及平板型PC。此外，在智能手機中，還包括多功能便攜電話終端。
[0750]另外，動畫共享服務的客戶端除了具有將從服務器下載的編碼數(shù)據(jù)進行解碼而在顯示器中顯示的功能之外，還具有將通過攝像機拍攝到的活動圖像進行編碼而上載到服務器中的功能。即，動畫共享服務的客戶端作為發(fā)送裝置PROD —A及接收裝置PROD —B的雙方發(fā)揮作用。
[0751]接著，參照圖26說明能夠?qū)⑸鲜龅膶哟位顒訄D像編碼裝置2以及層次活動圖像解碼裝置I利用于活動圖像的記錄及再現(xiàn)的情況。
[0752]圖26的(a)是表示搭載了上述的層次活動圖像編碼裝置2的記錄裝置PROD — C的結(jié)構(gòu)的框圖。如圖26的(a)所示，記錄裝置PROD —C包括:通過對活動圖像進行編碼而獲得編碼數(shù)據(jù)的編碼部PROD — Cl、以及將編碼部PROD — Cl獲得的編碼數(shù)據(jù)寫入記錄介質(zhì)PROD _ M的寫入部PROD _ C2。上述的層次活動圖像編碼裝置2作為該編碼部PROD _ Cl而被利用。
[0753]另外,記錄介質(zhì)PROD — M既可以是⑴如HDD (Hard Disk Drive,硬盤驅(qū)動器)或SSD (Solid State Drive，固態(tài)硬盤)等那樣內(nèi)置在記錄裝置PROD — C中的類型，也可以是
(2)如SD存儲卡或USB (Universal Serial Bus，通用串行總線)閃速存儲器等那樣連接到記錄裝置PROD —C的類型，也可以是(3)如DVD (Digital Versatile Disc，數(shù)字視盤)或BD(Blu-ray Disc (注冊商標)，藍光盤)等那樣在內(nèi)置于記錄裝置PROD —C中的驅(qū)動器裝置(未圖示)中裝填的類型。
[0754]此外，記錄裝置PROD —C也可以作為對編碼部PR0D —Cl輸入的活動圖像的供應源，進一步包括拍攝活動圖像的相機PROD _ C3、用于從外部輸入活動圖像的輸入端子PROD
—C4、用于接收活動圖像的接收部PROD —C5以及生成或者加工圖像的圖像處理部C6。在圖26的(a)中，例示了記錄裝置PROD —C將這些全部具有的結(jié)構(gòu)，但也可以省略一部分。
[0755]另外，接收部PROD —C5既可以是接收沒有進行編碼的活動圖像的部分，也可以是接收以與記錄用的編碼方式不同的傳輸用的編碼方式進行了編碼的編碼數(shù)據(jù)的部分。在后者的情況下，只要在接收部PROD _ C5和編碼部PR0D — Cl之間，介入對以傳輸用的編碼方式進行了編碼的編碼數(shù)據(jù)進行解碼的傳輸用解碼部(未圖示)即可。
[0756]作為這樣的記錄裝置PROD _ C，例如舉出DVD記錄器、BD記錄器、HDD (Hard DiskDrive，硬盤驅(qū)動器)記錄器等(此時，輸入端子PROD _ C4或者接收部PROD _ C5成為活動圖像的主要的供應源)。此外，可攜式攝像機(此時，相機PROD —C3成為活動圖像的主要的供應源)、個人計算機(此時，接收部PROD —C5或者圖像處理部C6成為活動圖像的主要的供應源)、智能手機(此時，攝像機PROD _ C3或者接收部PROD _ C5成為活動圖像的主要的供應源)等也是這樣的記錄裝置PROD — C的一例。
[0757]圖26的(b)是表示搭載了上述的層次活動圖像解碼裝置I的再現(xiàn)裝置PROD —D的結(jié)構(gòu)的框圖。如圖26的(b)所示，再現(xiàn)裝置PROD —D包括讀出寫入記錄介質(zhì)PROD —M的編碼數(shù)據(jù)的讀出部PROD _ Dl、以及通過對讀出部PROD _ Dl讀出的編碼數(shù)據(jù)進行解碼而獲得活動圖像的解碼部PROD —D2。上述的層次活動圖像解碼裝置I作為該解碼部PROD—D2而被利用。
[0758]另夕卜，記錄介質(zhì)PROD —M既可以是(I)如HDD或SSD等那樣內(nèi)置在再現(xiàn)裝置PROD—D中的類型，也可以是(2)如SD存儲卡或USB閃速存儲器等那樣連接到再現(xiàn)裝置PROD
—D的類型，也可以是(3)如DVD或BD等那樣在內(nèi)置于再現(xiàn)裝置PROD —D中的驅(qū)動器裝置(未圖示)中裝填的類型。
[0759]此外，再現(xiàn)裝置PROD _ D也可以作為解碼部PROD — D2輸出的活動圖像的供應目的地，進一步包括顯示活動圖像的顯示器PROD —D3、用于將活動圖像輸出到外部的輸出端子PROD —D4以及發(fā)送活動圖像的發(fā)送部PROD —D5。在圖26的(b)中，例示了再現(xiàn)裝置PROD _ D將這些全部具有的結(jié)構(gòu)，但也可以省略一部分。
[0760]另外，發(fā)送部PROD —D5既可以是發(fā)送沒有進行編碼的活動圖像的部分，也可以是發(fā)送以與記錄用的編碼方式不同的傳輸用的編碼方式進行了編碼的編碼數(shù)據(jù)的部分。在后者的情況下，只要在解碼部PROD — D2和發(fā)送部PROD — D5之間，介入以傳輸用的編碼方式對活動圖像進行編碼的編碼部(未圖示)即可。
[0761]作為這樣的再現(xiàn)裝置PROD —D，例如舉出DVD播放器、BD播放器、HDD播放器等(此時，連接了電視接收機等的輸出端子PROD — D4成為活動圖像的主要的供應目的地)。此外，電視接收機(此時，顯示器PROD —D3成為活動圖像的主要的供應目的地)、數(shù)字標牌(也稱為電子掛牌或電子布告牌等，顯示器PROD _ D3或者發(fā)送部PROD _ D5成為活動圖像的主要的供應目的地)、桌上型PC (此時，輸出端子PROD _ D4或者發(fā)送部PROD _ D5成為活動圖像的主要的供應目的地)、膝上型或者平板型PC (此時，顯示器PROD — D3或者發(fā)送部PROD — D5成為活動圖像的主要的供應目的地)、智能手機(此時，顯示器PROD — D3或者發(fā)送部PROD — D5成為活動圖像的主要的供應目的地)等也是這樣的再現(xiàn)裝置PROD —D的一例。
[0762](關于硬件的實現(xiàn)以及軟件的實現(xiàn))
[0763]最后，層次活動圖像解碼裝置1、層次活動圖像編碼裝置2的各模塊既可以通過在集成電路(IC芯片)上形成的邏輯電路而以硬件方式實現(xiàn)，也可以使用CPU(CentralProcessing Unit,中央處理器)而以軟件方式實現(xiàn)。
[0764]在后者的情況下，上述各裝置包括執(zhí)行用于實現(xiàn)各功能的程序的命令的CPU、存儲了上述程序的ROM (Read Only Memory,只讀存儲器)、展開上述程序的RAM (Random AccessMemory,隨機存取存儲器)、存儲上述程序以及各種數(shù)據(jù)的存儲器等的存儲裝置(記錄介質(zhì))等。并且，通過將實現(xiàn)上述的功能的軟件即上述各裝置的控制程序的程序代碼(執(zhí)行形式程序、中間代碼程序、源程序)以計算機能夠讀取的方式記錄的記錄介質(zhì)提供給上述各裝置，其計算機(或者CPU或MPU (Micro Processing Unit,微處理器))讀出在記錄介質(zhì)中記錄的程序代碼而執(zhí)行，也能夠達成本發(fā)明的目的。
[0765]作為上述記錄介質(zhì)，例如，能夠使用磁帶或卡帶等的帶類、包括軟盤(注冊商標)/硬盤等的磁盤或 CD-ROM (Compact Disc Read-Only Memory) /MO (Magneto-Optical) /MD (Mini Disc) /DVD (Digital Versatile Disk) /CD-R(CD Recordable)等的光盤的盤類、IC 卡(包括存儲卡)/ 光卡等的卡類、掩摸 R0M/EPR0M (Erasable Programmable Read-onlyMemory,可擦除可編程序只讀存儲器)/EEPR0M(注冊商標)(Electrically Erasable andProgrammable Read-only Memory,電可擦除可編程只讀存儲器)/閃速ROM等的半導體存儲器類、或者PLD (Programmable logic device,可編程邏輯電路)或FPGA(FieldProgrammable Gate Array,可編程門陣列)等的邏輯電路類等。
[0766]此外，也可以將上述各裝置構(gòu)成為能夠與通信網(wǎng)絡連接，經(jīng)由通信網(wǎng)絡而提供上述程序代碼。該通信網(wǎng)絡只要能夠傳輸程序代碼即可，沒有特別限定。例如，可以利用互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)、LAN (Local Area Network,局域網(wǎng))、ISDN (IntegratedServices Digital Network,綜合服務數(shù)字網(wǎng)絡)、VAN (Value-Added Network,增值網(wǎng)絡)、CATV (Community Antenna Televis1n,共用天線電視)通信網(wǎng)、虛擬專用網(wǎng)(virtualprivate network)、電話線路網(wǎng)、移動通信網(wǎng)、衛(wèi)星通信網(wǎng)等。此外，作為構(gòu)成該通信網(wǎng)絡的傳輸介質(zhì)，只要能夠傳輸程序代碼的介質(zhì)即可，并不限定于特定的結(jié)構(gòu)或者種類。例如還能夠利用 IEEE (Institute of Electrical and Electronic Engineers) 1394、USB、電力線傳輸、電纜TV線路、電話線、ADSL (Asymmetric Digital Subscriber Line,非對稱數(shù)字用戶線路)線路等的有線，也可以使用IrDA(Infrared Data Associat1n)或遙控那樣的紅外線、Bluetooth (注冊商標)、IEEE 802.11 無線、HDR(High Data Rate,高數(shù)據(jù)率)、NFC(NearField Communicat1n,近場通信)、DLNA(Digital Living Network Alliance,數(shù)字生活網(wǎng)絡聯(lián)盟)、移動電話網(wǎng)、衛(wèi)星線路、地面波數(shù)字網(wǎng)等的無線。另外，通過上述程序代碼以電子傳輸而具體化的、埋入載波的計算機數(shù)據(jù)信號的方式，也能夠?qū)崿F(xiàn)本發(fā)明。
[0767]本發(fā)明并不限定于上述的實施方式，在權利要求書所示的范圍內(nèi)能夠進行各種變更，將在實施方式中公開的技術手段適當?shù)亟M合而獲得的實施方式，也包含在本發(fā)明的技術范圍中。
[0768]產(chǎn)業(yè)上的可利用性
[0769]本發(fā)明能夠適合應用于對圖像數(shù)據(jù)層次性地編碼的編碼數(shù)據(jù)進行解碼的層次活動圖像解碼裝置、以及生成圖像數(shù)據(jù)層次性地編碼的編碼數(shù)據(jù)的層次活動圖像編碼裝置。此外，能夠適合應用于由層次活動圖像編碼裝置生成、由層次活動圖像解碼裝置參照的層次編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。
[0770]附圖標記說明
[0771]I 層次活動圖像解碼裝置(圖像解碼裝置)
[0772]11 NAL解復用部
[0773]12 可變長解碼部(標記解碼單元)
[0774]13 基本解碼部
[0775]14 預測參數(shù)復原部
[0776]15 紋理復原部
[0777]146合并候選導出部
[0778]148 I3U分割類型導出部
[0779]1461合并候選導出控制部(判定單元)
[0780]1462合并候選存儲部
[0781]1463片段類型判定部
[0782]1464個別合并候選導出部
[0783]1464A 空間合并候選導出部(對象層候選導出單元、空間運動信息候選導出單元)
[0784]1464B層間合并候選導出部(層間候選導出單元)
[0785]1464C 時間合并候選導出部(對象層候選導出單元、時間運動信息候選導出單元)
[0786]1464D結(jié)合合并候選導出部(對象層候選導出單兀)
[0787]1464E零合并候選導出部(對象層候選導出單元)
[0788]1464F
[0789]1481參照⑶設定部(參照編碼單位設定單元)
[0790]1482 PU分割估計部(分割模型決定單元)
[0791]1482A右下像素位置判定部
[0792]1482B重復區(qū)域判定部
[0793]2 層次活動圖像編碼裝置(圖像編碼裝置)
[0794]21預測參數(shù)決定部
[0795]22預測信息生成部
[0796]23基本解碼部
[0797]24紋理信息生成
[0798]25可變長編碼部
[0799]26 NAL解復用部
[0800]226合并候選導出部(層間候選導出單兀)
【權利要求】
1.一種圖像解碼裝置，對與按每個層不同的質(zhì)量的圖像有關的圖像信息進行層次性地編碼的層次編碼數(shù)據(jù)進行解碼，復原成為解碼的對象的對象層中的運動信息，使用通過基于復原的運動信息的運動補償預測而生成的預測圖像，復原上述對象層中的圖像，其特征在于，所述圖像解碼裝置包括: 層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
2.如權利要求1所述的圖像解碼裝置，其特征在于， 在包括上述對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域是，包括與該對象預測單位對應的上述參照層上的區(qū)域中的右下像素的預定范圍的區(qū)域即右下區(qū)域。
3.如權利要求2所述的圖像解碼裝置，其特征在于， 上述右下區(qū)域是，包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的右下像素的運動信息記錄單位。
4.如權利要求2所述的圖像解碼裝置，其特征在于， 上述右下區(qū)域是，包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的右下像素的運動信息記錄單位的右、下、以及右下中的任一個相鄰的運動信息記錄單位。
5.如權利要求2至4的任一項所述的圖像解碼裝置，其特征在于， 上述層間候選導出單元導出包括上述右下區(qū)域中的運動信息的多個運動信息，作為上述候選，并且， 比其他的運動信息優(yōu)先導出上述右下區(qū)域中的運動信息。
6.如權利要求5所述的圖像解碼裝置，其特征在于， 上述層間候選導出單元至少導出包括與上述對象預測單位對應的參照層上的區(qū)域內(nèi)的左上像素的運動信息記錄單位中的運動信息，作為上述其他的運動信息。
7.如權利要求5或6所述的圖像解碼裝置，其特征在于， 還包括判定單元，該判定單元判定作為候選而導出的運動信息是否與作為候選而導出完畢的運動信息一致， 在判定單元判定為作為候選而導出的上述其他的運動信息與上述右下區(qū)域中的運動信息不一致時，上述層間候選導出單元導出上述其他的運動信息作為候選。
8.如權利要求7所述的圖像解碼裝置，其特征在于， 還包括對象層候選導出單元，該對象層候選導出單元基于在對象層中解碼出的解碼信息，導出運動信息的候選， 上述判定單元不進行上述層間候選導出單元作為候選而導出的運動信息與上述對象層候選導出單元作為候選而導出的運動信息的一致判定。
9.如權利要求1至6的任一項所述的圖像解碼裝置，其特征在于，還包括: 空間運動信息候選導出單元，基于在對象預測單位的周邊區(qū)域中解碼出的運動信息，導出運動信息的候選；以及 判定單元，判定作為候選而導出的運動信息是否與作為候選而導出完畢的運動信息一致， 在判定單元判定為作為候選而導出的運動信息與在由上述空間運動信息候選導出單元導出的運動信息的候選中、優(yōu)先級最高的運動信息的候選不一致時，上述層間候選導出單元導出上述運動信息作為候選。
10.如權利要求1至9的任一項所述的圖像解碼裝置，其特征在于， 還包括時間運動信息候選導出單元，該時間運動信息候選導出單元基于在與對象預測單位所屬的圖片不同的圖片中解碼出的運動信息，導出運動信息的候選， 在上述層間候選導出單元執(zhí)行運動信息的候選導出處理的情況下，上述時間運動信息候選導出單元不執(zhí)行運動信息的候選導出處理。
11.如權利要求1至9的任一項所述的圖像解碼裝置，其特征在于， 還包括時間運動信息候選導出單元，該時間運動信息候選導出單元基于在與對象預測單位所屬的圖片不同的圖片中解碼出的運動信息，導出運動信息的候選， 在上述時間運動信息候選導出單元執(zhí)行運動信息的候選導出處理的情況下，上述層間候選導出單元不執(zhí)行運動信息的候選導出處理。
12.—種圖像編碼裝置，在將與按每個層不同的質(zhì)量的圖像有關的圖像信息進行層次性地編碼而生成層次編碼數(shù)據(jù)時，從上述對象層中的輸入原圖像中減去通過基于在成為編碼的對象的對象層中導出的運動信息的運動補償預測而生成的預測圖像，生成上述對象層中的預測殘差，其特征在于，所述圖像編碼裝置包括: 層間候選導出單元，在上述對象層中的成為預測圖像生成的處理對象的對象預測單位中，參照作為解碼完畢層的參照層，導出在包括該對象預測單位的周邊區(qū)域中與解碼未完畢的區(qū)域?qū)脑搮⒄諏由系膮^(qū)域中解碼的運動信息，作為用于估計上述對象預測單位中的運動信息的候選。
【文檔編號】H04N19/513GK104412593SQ201380035343
【公開日】2015年3月11日 申請日期:2013年6月19日 優(yōu)先權日:2012年7月3日
【發(fā)明者】山本智幸, 豬飼知宏, 八杉將伸 申請人:夏普株式會社