動(dòng)圖像編碼方法、動(dòng)圖像解碼方法、動(dòng)圖像編碼裝置、動(dòng)圖像解碼裝置、動(dòng)圖像編碼程序 ...的制作方法
【專利摘要】減少對動(dòng)圖像進(jìn)行預(yù)測編碼時(shí)的用于生成預(yù)測圖像的信息的編碼所需的碼量。生成在生成預(yù)測圖像時(shí)參照的參照幀的列表，即參照幀列表。將對與處理區(qū)域?qū)?yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息。設(shè)定示出與處理區(qū)域?qū)?yīng)的參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息。此時(shí)，在對結(jié)構(gòu)運(yùn)動(dòng)信息中所包含的參照幀進(jìn)行指定的索引值比參照幀列表的尺寸小的情況下，將結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為深度圖運(yùn)動(dòng)信息。按照設(shè)定的深度圖運(yùn)動(dòng)信息，生成針對處理區(qū)域的預(yù)測圖像。
【專利說明】動(dòng)圖像編碼方法、動(dòng)圖像解碼方法、動(dòng)圖像編碼裝置、動(dòng)圖像解碼裝置、動(dòng)圖像編碼程序、動(dòng)圖像解碼程序以及記錄介質(zhì)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動(dòng)圖像編碼方法、動(dòng)圖像解碼方法、動(dòng)圖像編碼裝置、動(dòng)圖像解碼裝置、動(dòng)圖像編碼程序、動(dòng)圖像解碼程序以及記錄介質(zhì)。
[0002]本申請基于2012年7月9日向日本申請的日本特愿2012 — 154066號要求優(yōu)先權(quán)，將其內(nèi)容引用于此。

【背景技術(shù)】
[0003]以前，已知有用戶能自由地指定攝影空間內(nèi)的攝像機(jī)的位置、方向(以下，稱為視點(diǎn))的自由視點(diǎn)圖像。因?yàn)樵谧杂梢朁c(diǎn)圖像中用戶指定任意的視點(diǎn)，所以對其所有的可能性保存圖像是不可能的。因此，自由視點(diǎn)圖像由生成指定的視點(diǎn)的圖像所需的信息組構(gòu)成。自由視點(diǎn)圖像可使用各種數(shù)據(jù)形式來表現(xiàn)，但是，作為最一般的形式有使用圖像和針對該圖像的深度圖(depth map:距離圖像)的方式(例如，參照非專利文獻(xiàn)I)。
[0004]在此，深度圖是按每個(gè)像素表現(xiàn)了從攝像機(jī)到被拍攝體的深度(距離)的圖，表現(xiàn)了被拍攝體的三維位置。因?yàn)樯疃扰c兩個(gè)攝像機(jī)間的視差的倒數(shù)成比例，所以有時(shí)也稱為視差圖(視差圖像)。在計(jì)算機(jī)圖形的領(lǐng)域中，深度是存儲(chǔ)在Z緩沖器的信息，因此有時(shí)也稱為Z圖像或Z圖。另外，除了從攝像機(jī)到被拍攝體的距離以外，有時(shí)也將相對于在表現(xiàn)對象空間上張開的三維坐標(biāo)系的Z軸的坐標(biāo)值作為深度使用。一般來說，相對于所拍攝的圖像將水平方向設(shè)為X軸，將垂直方向設(shè)為Y軸，因此Z軸與攝像機(jī)的方向一致，但是，也存在對多個(gè)攝像機(jī)使用共同的坐標(biāo)系的情況等Z軸與攝像機(jī)的方向不一致的情況。以下，不對距離、Z值進(jìn)行區(qū)分而稱為深度，將深度作為像素值表示的圖像稱為深度圖。但是，嚴(yán)格來說在視差圖中需要設(shè)定作為基準(zhǔn)的一對攝像機(jī)。
[0005]在將深度作為像素值表示時(shí)，存在將與物理量對應(yīng)的值直接作為像素值的方法、使用將最小值與最大值之間量化為某個(gè)數(shù)而得到的值的方法、以及使用將與最小值的差以某個(gè)步長進(jìn)行量化而得到的值的方法。在想要表現(xiàn)的范圍有限的情況下，使用最小值等附加信息更能高精度地表現(xiàn)深度。此外，在以等間隔進(jìn)行量化時(shí)，存在直接量化物理量的方法和量化物理量的倒數(shù)的方法。因?yàn)榫嚯x的倒數(shù)成為與視差成比例的值，故在需要以高精度表現(xiàn)距離的情況下，多使用前者，在需要以高精度表現(xiàn)視差的情況下，多使用后者。以下，與深度的像素值化的方法、量化的方法無關(guān)，將深度表現(xiàn)為圖像的圖全部稱為深度圖。
[0006]深度圖表現(xiàn)為各像素具有I個(gè)值的圖像，因此，可看作是亮度色標(biāo)(gray scale)圖像。此外，被拍攝體在實(shí)空間上連續(xù)地存在，不能瞬間移動(dòng)到分開的位置，因此，可以說深度圖與圖像信號同樣地具有空間相關(guān)和時(shí)間相關(guān)。因此，可通過通常的為了對圖像信號、影像信號進(jìn)行編碼而使用的圖像編碼方式、動(dòng)圖像編碼方式一邊去掉空間冗余性、時(shí)間冗余性，一邊對深度圖、其動(dòng)圖像(深度圖動(dòng)圖像、深度視頻)有效地進(jìn)行編碼。
[0007]在此，對一般的動(dòng)圖像編碼進(jìn)行說明。在動(dòng)圖像編碼中，為了利用被拍攝體在空間上連續(xù)的特征來實(shí)現(xiàn)有效的編碼，將構(gòu)成動(dòng)圖像的各圖像(圖片、幀)分割為預(yù)先確定的像素?cái)?shù)的處理單位區(qū)塊，按該區(qū)塊的每一個(gè)以空間方式或時(shí)間方式預(yù)測圖像信號，對示出該預(yù)測方法的預(yù)測信息和預(yù)測殘差進(jìn)行編碼。在以空間方式預(yù)測圖像信號的情況下，例如表示空間性的預(yù)測的方向的信息成為預(yù)測信息，在以時(shí)間方式進(jìn)行預(yù)測的情況下，例如示出所參照的圖像的信息以及示出該參照的圖像中的位置的信息成為預(yù)測信息。
[0008]圖像信號的空間相關(guān)、時(shí)間相關(guān)取決于被拍攝體、結(jié)構(gòu)(texture)，因此，在以H.264/AVC為代表的近年來的動(dòng)圖像編碼中，使以下情況成為可能，即:按每個(gè)處理單位區(qū)塊與圖像信號匹配地分割為更小的區(qū)塊，按該區(qū)塊的每一個(gè)參照不同的圖像、區(qū)域來預(yù)測圖像信號。特別是，在H.264/AVC中，通過使按每個(gè)區(qū)塊從不同時(shí)刻的多個(gè)圖像之中選擇一個(gè)或兩個(gè)圖像進(jìn)行參照變?yōu)榭赡?，從而對像MPEG - 2、MPEG 一 4那樣參照的圖像被固定的動(dòng)圖像編碼實(shí)現(xiàn)了很高的編碼效率(關(guān)于H.264/AVC的細(xì)節(jié)，例如，參照非專利文獻(xiàn)2)。這是因?yàn)?，?dāng)存在阻塞(occlus1n)、周期性的被拍攝體的運(yùn)動(dòng)時(shí)，能夠參照時(shí)間相關(guān)更高的圖像。
[0009]該多個(gè)可參照的圖像設(shè)定為被稱為參照圖片列表的列表的各條目，通過對其索引值(index value)進(jìn)行編碼，從而示出參照的圖像。在參照圖片的索引值的編碼中，參照圖片的條目數(shù)越多，或其索引值越大，就需要越多的碼量。因此，通過從列表除去時(shí)間相關(guān)低的圖像、對時(shí)間相關(guān)低的圖像分配值更大的索引值，從而能達(dá)成更高的編碼效率。該圖像的每一個(gè)的時(shí)間相關(guān)取決于序列、處理對象的圖像，因此，在H.264/AVC中，使按每個(gè)圖像構(gòu)筑不同的參照圖片列表成為可能。
[0010]在由動(dòng)圖像和深度圖動(dòng)圖像構(gòu)成的自由視點(diǎn)動(dòng)圖像的編碼中，無論哪一個(gè)都具有空間相關(guān)和時(shí)間相關(guān)，可通過使用通常的動(dòng)圖像編碼方式對其分別進(jìn)行編碼而減少數(shù)據(jù)量。例如，在使用MPEG - C Part.3來表現(xiàn)動(dòng)圖像和相對于它的深度圖動(dòng)圖像的情況下，使用現(xiàn)有的動(dòng)圖像編碼方式對其分別進(jìn)行編碼。
[0011]此外，在對動(dòng)圖像和?米度圖動(dòng)圖像一起進(jìn)行編碼時(shí)，動(dòng)圖像和株度圖動(dòng)圖像是針對相同的被拍攝體、空間的信息，因此，存在通過利用在它們之間存在的相關(guān)來實(shí)現(xiàn)有效的編碼的方法。在非專利文獻(xiàn)3中，通過共有化在對動(dòng)圖像、深度圖動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息(參照圖片索引、運(yùn)動(dòng)矢量)而避免重復(fù)進(jìn)行編碼，從而實(shí)現(xiàn)有效的編碼。具體地說，考慮動(dòng)圖像和深度圖動(dòng)圖像這兩者而生成一個(gè)運(yùn)動(dòng)信息進(jìn)行共同利用。
[0012]現(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)
非專利文獻(xiàn) 1:Y.Mori, N.Fukushima，T.Fujii, and Μ.Tanimoto，“ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV，，，In Proceedings of3DTV-C0N2008, pp.229-232，May 2008 ；
非專利文獻(xiàn)2:Recommendat1n ITU-T H.264，‘‘Advanced video coding for genericaud1visual services，，，March 2009 ；
非專利文獻(xiàn) 3:1.Daribo, C.Tillier, and B.P.Popescu，“Mot1n VectorSharing and Bitrate Allocat1n for 3D Video-Plus-Depth Coding，，，EURASIP Journalon Advances in Signal Processing, vol.2009， Article ID 258920， 13 pages，2009。
[0013]發(fā)明要解決的課題像前述的非專利文獻(xiàn)3那樣，在動(dòng)圖像和深度圖動(dòng)圖像中具有共同的參照圖片列表構(gòu)造，通過在動(dòng)圖像與深度圖動(dòng)圖像之間共享運(yùn)動(dòng)信息，從而能夠減少必須進(jìn)行編碼的運(yùn)動(dòng)信息的量，因此能夠?qū)τ蓤D像信號和深度構(gòu)成的自由視點(diǎn)動(dòng)圖像高效地進(jìn)行壓縮編碼。
[0014]然而，動(dòng)圖像與深度圖動(dòng)圖像具有不同的性質(zhì)，每個(gè)幀的時(shí)間相關(guān)的性質(zhì)不同，因此，在始終共享運(yùn)動(dòng)信息的情況下，不能進(jìn)行合適的預(yù)測，存在預(yù)測殘差增大的問題。即，在前述的非專利文獻(xiàn)3的方法中，即使能夠減少運(yùn)動(dòng)信息的量，在預(yù)測殘差大幅增加的情況下，作為整體的碼量也會(huì)增大，也不能實(shí)現(xiàn)有效的壓縮編碼。
[0015]此外，深度圖由來自多視點(diǎn)圖像的立體匹配或由與使用紅外線等的通常的圖像攝影不同的傳感器來獲取，因此，噪聲多，其時(shí)間相關(guān)與動(dòng)圖像相比極低。因此，在深度圖的編碼中，可通過不將在時(shí)刻上與處理對象的幀相隔較遠(yuǎn)的幀包含到參照圖片列表而使用只有很少的條目的參照圖片列表來實(shí)現(xiàn)對參照圖片索引有效地進(jìn)行編碼。然而，當(dāng)共享動(dòng)圖像的參照圖片列表及其構(gòu)造時(shí)，需要使用具有許多條目的參照圖片列表對參照圖片索引進(jìn)行編碼，碼量會(huì)增大。
[0016]作為應(yīng)對該問題的可容易地類推的方法，存在如下的方法，該方法使用在動(dòng)圖像和深度圖動(dòng)圖像中對各自的數(shù)據(jù)進(jìn)行編碼時(shí)變得有效的那樣的相互不同的參照圖片列表，對示出是否能對另外確定的每個(gè)區(qū)域共享運(yùn)動(dòng)信息的標(biāo)記進(jìn)行編碼。然而，在該方法中需要針對各區(qū)域?qū)?biāo)記進(jìn)行編碼，因此，存在碼量隨之增加的問題。此外，為了共享運(yùn)動(dòng)信息，在參照圖片列表間對應(yīng)的條目必須是相同的時(shí)刻以及相同種類的參照幀，還存在可共享運(yùn)動(dòng)信息的區(qū)域少、運(yùn)動(dòng)信息的編碼所需的碼量增加的問題。


【發(fā)明內(nèi)容】

[0017]本發(fā)明是鑒于這樣的情況而完成的，其目的在于，提供一種在作為構(gòu)成要素而具有動(dòng)圖像和深度圖動(dòng)圖像的自由視點(diǎn)動(dòng)圖像的編碼中實(shí)現(xiàn)有效的動(dòng)圖像編碼的動(dòng)圖像編碼方法、動(dòng)圖像解碼方法、動(dòng)圖像編碼裝置、動(dòng)圖像解碼裝置、動(dòng)圖像編碼程序、動(dòng)圖像解碼程序以及記錄介質(zhì)。
[0018]用于解決課題的方案
本發(fā)明涉及一種動(dòng)圖像編碼方法，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊按每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼方法具有:深度圖參照幀列表生成步驟，生成在生成所述預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；深度圖運(yùn)動(dòng)信息設(shè)定步驟，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0019]優(yōu)選為，在本發(fā)明中，在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將如下的運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
[0020]優(yōu)選為，本發(fā)明還具有:結(jié)構(gòu)參照幀列表設(shè)定步驟，將對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表；變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息，其中，在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將所述變換運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息。
[0021]本發(fā)明涉及一種動(dòng)圖像編碼方法，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊按每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼方法具有:深度圖參照幀列表生成步驟，生成在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；共享運(yùn)動(dòng)信息列表生成步驟，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表；深度圖運(yùn)動(dòng)信息設(shè)定步驟，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0022]優(yōu)選為，在本發(fā)明中，在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含如下的運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變換為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
[0023]優(yōu)選為，本發(fā)明還具有:結(jié)構(gòu)參照幀列表設(shè)定步驟，將對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表；變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的所述參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的所述參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的所述參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息，其中，在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含所述變換運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表。
[0024]本發(fā)明涉及一種動(dòng)圖像解碼方法，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖并且進(jìn)行解碼，所述動(dòng)圖像解碼方法具有:深度圖參照幀列表設(shè)定步驟，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；深度圖運(yùn)動(dòng)信息設(shè)定步驟，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0025]優(yōu)選為，在本發(fā)明中，在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將如下的運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
[0026]優(yōu)選為，本發(fā)明還具有:結(jié)構(gòu)參照幀列表設(shè)定步驟，將對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表；變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息，其中，在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將所述變換運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息。
[0027]本發(fā)明涉及一種動(dòng)圖像解碼方法，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖的信號并且進(jìn)行解碼，所述動(dòng)圖像解碼方法具有:深度圖參照幀列表設(shè)定步驟，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；共享運(yùn)動(dòng)信息列表生成步驟，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是在對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行解碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表；深度圖運(yùn)動(dòng)信息設(shè)定步驟，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0028]優(yōu)選為，在本發(fā)明中，在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含如下的運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變換為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
[0029]優(yōu)選為，本發(fā)明還具有:結(jié)構(gòu)參照幀列表設(shè)定步驟，將在對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表；變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息，在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含所述變換運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表。
[0030]本發(fā)明涉及一種動(dòng)圖像編碼裝置，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼裝置具有:深度圖參照幀列表生成部，生成在生成測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；深度圖運(yùn)動(dòng)信息設(shè)定部，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0031]本發(fā)明涉及一種動(dòng)圖像編碼裝置，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼裝置具備:深度圖參照幀列表生成部，生成在生成測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將在對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；共享運(yùn)動(dòng)信息列表生成部，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表；深度圖運(yùn)動(dòng)信息設(shè)定部，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0032]本發(fā)明涉及一種動(dòng)圖像解碼裝置，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖并且進(jìn)行解碼，所述動(dòng)圖像解碼裝置具備:深度圖參照幀列表設(shè)定部，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；深度圖運(yùn)動(dòng)信息設(shè)定部，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0033]本發(fā)明涉及一種動(dòng)圖像解碼裝置，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖的信號并且進(jìn)行解碼，所述動(dòng)圖像解碼裝置具備:深度圖參照幀列表設(shè)定部，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表的，即參照幀列表；結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息；共享運(yùn)動(dòng)信息列表生成部，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是在對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行解碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包括所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表；深度圖運(yùn)動(dòng)信息設(shè)定部，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
[0034]本發(fā)明是用于使計(jì)算機(jī)執(zhí)行所述動(dòng)圖像編碼方法的動(dòng)圖像編碼程序。
[0035]本發(fā)明是用于使計(jì)算機(jī)執(zhí)行所述動(dòng)圖像解碼方法的動(dòng)圖像解碼程序。
[0036]本發(fā)明是記錄了所述動(dòng)圖像編碼程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
[0037]本發(fā)明是記錄了所述動(dòng)圖像解碼程序的計(jì)算機(jī)可讀取的記錄介質(zhì)。
[0038]發(fā)明效果
根據(jù)本發(fā)明，像動(dòng)圖像信號和針對該動(dòng)圖像的其它深度圖動(dòng)圖像那樣在將表現(xiàn)了相同的被拍攝體的不同信息的數(shù)據(jù)一起進(jìn)行編碼的情況下，生成示出了對各自進(jìn)行管理的參照圖片列表的各條目的對應(yīng)關(guān)系的變換表，按照該對應(yīng)關(guān)系對指定參照圖片的信息進(jìn)行變換。由此，即使在使用不同的參照圖片列表的情況下，也能夠共享運(yùn)動(dòng)信息，并減少其碼量。進(jìn)而，通過根據(jù)其對應(yīng)關(guān)系來判定不可共享的運(yùn)動(dòng)信息，從而能夠減少示出是否共享運(yùn)動(dòng)信息的信息的編碼所需的碼量。其結(jié)果是，可得到能實(shí)現(xiàn)有效的動(dòng)圖像編碼的效果。

【專利附圖】

【附圖說明】
[0039]圖1是示出根據(jù)本發(fā)明的實(shí)施方式的動(dòng)圖像編碼裝置的結(jié)構(gòu)的框圖。
[0040]圖2是示出圖1所示的動(dòng)圖像編碼裝置100的動(dòng)作的流程圖。
[0041]圖3是示出只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享的情況下的處理動(dòng)作的流程圖。
[0042]圖4是示出根據(jù)本發(fā)明的實(shí)施方式的動(dòng)圖像解碼裝置的結(jié)構(gòu)的框圖。
[0043]圖5是示出圖4所示的動(dòng)圖像解碼裝置200的動(dòng)作的流程圖。
[0044]圖6是示出只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享的情況下的處理動(dòng)作的流程圖。
[0045]圖7是示出由計(jì)算機(jī)和軟件程序構(gòu)成動(dòng)圖像編碼裝置的情況下的硬件結(jié)構(gòu)的框圖。
[0046]圖8是示出由計(jì)算機(jī)和軟件程序構(gòu)成動(dòng)圖像解碼裝置的情況下的硬件結(jié)構(gòu)的框圖。

【具體實(shí)施方式】
[0047]以下，一邊參照附圖一邊對本發(fā)明的一個(gè)實(shí)施方式進(jìn)行說明。另外，在本實(shí)施方式的說明中，對參照動(dòng)圖像的運(yùn)動(dòng)信息而對與該動(dòng)圖像對應(yīng)的深度圖動(dòng)圖像進(jìn)行編碼的情況進(jìn)行說明，但是，顯然在參照深度圖動(dòng)圖像的運(yùn)動(dòng)信息而對與該深度圖動(dòng)圖像對應(yīng)的動(dòng)圖像進(jìn)行編碼的情況下也能夠應(yīng)用本發(fā)明。此外，顯然，并不只限于動(dòng)圖像、深度圖動(dòng)圖像，還能夠?qū)囟刃畔⒌膭?dòng)圖像、其它色彩成分的動(dòng)圖像等可表現(xiàn)為拍攝了相同的被拍攝體和空間的動(dòng)圖像的任意的數(shù)據(jù)對應(yīng)用本發(fā)明。
[0048]首先，對該實(shí)施方式中的動(dòng)圖像編碼裝置進(jìn)行說明。圖1是示出根據(jù)本發(fā)明的實(shí)施方式的動(dòng)圖像編碼裝置的結(jié)構(gòu)的框圖。如圖1所示，動(dòng)圖像編碼裝置100具備編碼對象深度圖輸入部101、編碼對象深度圖存儲(chǔ)器102、結(jié)構(gòu)運(yùn)動(dòng)信息輸入部103、結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器104、結(jié)構(gòu)參照幀列表輸入部105、參照幀列表設(shè)定部106、變換表生成部107、運(yùn)動(dòng)信息變換部108、運(yùn)動(dòng)信息設(shè)定部109、運(yùn)動(dòng)信息選擇部110、運(yùn)動(dòng)信息編碼部111、預(yù)測圖像生成部112、圖像信號編碼部113、復(fù)用部114、以及參照幀存儲(chǔ)器115。
[0049]編碼對象深度圖輸入部101輸入成為編碼對象的深度圖動(dòng)圖像的各幀。在以下的說明中，將成為該編碼對象的深度圖稱為編碼對象深度圖動(dòng)圖像，特別是，將進(jìn)行處理的幀稱為編碼對象深度圖。編碼對象深度圖存儲(chǔ)器102存儲(chǔ)輸入的編碼對象深度圖。結(jié)構(gòu)運(yùn)動(dòng)信息輸入部103輸入與編碼對象深度圖對應(yīng)的動(dòng)圖像的幀中的運(yùn)動(dòng)信息。在此，將與編碼對象深度圖動(dòng)圖像對應(yīng)的動(dòng)圖像稱為結(jié)構(gòu)動(dòng)圖像，將與編碼對象深度圖對應(yīng)的動(dòng)圖像的I個(gè)幀稱為結(jié)構(gòu)幀。此外，運(yùn)動(dòng)信息是在對結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息，是按每個(gè)像素或區(qū)塊使用參照幀索引和運(yùn)動(dòng)矢量的組來表現(xiàn)的運(yùn)動(dòng)信息。結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器104存儲(chǔ)所輸入的結(jié)構(gòu)運(yùn)動(dòng)信息。結(jié)構(gòu)參照幀列表輸入部105輸入在對結(jié)構(gòu)幀進(jìn)行編碼時(shí)所使用的參照幀列表。
[0050]參照幀列表設(shè)定部106設(shè)定在對編碼對象深度圖進(jìn)行編碼時(shí)使用的參照幀列表。變換表生成部107生成用于將針對結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所設(shè)定的參照幀列表的參照幀索引的查詢表。運(yùn)動(dòng)信息變換部108按照生成的查詢表對結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀索引進(jìn)行變換。
[0051]運(yùn)動(dòng)信息設(shè)定部109設(shè)定針對編碼對象深度圖的運(yùn)動(dòng)信息。運(yùn)動(dòng)信息選擇部110選擇對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換而得到的運(yùn)動(dòng)信息與設(shè)定在運(yùn)動(dòng)信息設(shè)定部109中的運(yùn)動(dòng)信息的某一方。運(yùn)動(dòng)信息編碼部111對給出的運(yùn)動(dòng)信息進(jìn)行編碼。預(yù)測圖像生成部112按照選擇的運(yùn)動(dòng)信息生成針對編碼對象深度圖的預(yù)測圖像。圖像信號編碼部113使用所生成的預(yù)測圖像對編碼對象深度圖進(jìn)行預(yù)測編碼。復(fù)用部114對運(yùn)動(dòng)信息的比特流和圖像信號的比特流進(jìn)行復(fù)用并輸出。參照幀存儲(chǔ)器115存儲(chǔ)在預(yù)測圖像的生成中使用的已經(jīng)完成編碼的深度圖的解碼幀。
[0052]接著，參照圖2，對圖1所示的動(dòng)圖像編碼裝置100的動(dòng)作進(jìn)行說明。圖2是示出圖1所示的動(dòng)圖像編碼裝置100的動(dòng)作的流程圖。在此，說明對編碼對象深度圖動(dòng)圖像中的某I幀進(jìn)行編碼的處理。通過對每個(gè)幀重復(fù)所說明的處理，從而能夠?qū)崿F(xiàn)編碼對象深度圖動(dòng)圖像的編碼。
[0053]首先，編碼對象深度圖輸入部101輸入編碼對象深度圖并存儲(chǔ)在編碼對象深度圖存儲(chǔ)器102 (步驟S101)。與此并行地，結(jié)構(gòu)運(yùn)動(dòng)信息輸入部103輸入對結(jié)構(gòu)幀進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息并存儲(chǔ)在結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器104。此外，結(jié)構(gòu)參照幀列表輸入部105輸入在對結(jié)構(gòu)幀進(jìn)行編碼時(shí)使用的參照幀列表，即結(jié)構(gòu)參照幀列表(步驟S102)。
[0054]另外，設(shè)編碼對象深度圖動(dòng)圖像中的幾個(gè)幀已經(jīng)進(jìn)行了編碼，設(shè)其解碼幀存儲(chǔ)在參照幀存儲(chǔ)器115。此外，除了對已經(jīng)編碼的幀進(jìn)行解碼的幀以外，只要是能夠在解碼側(cè)利用的幀，參照幀存儲(chǔ)器115可以包含任何幀。例如，在對多視點(diǎn)深度圖動(dòng)圖像一起進(jìn)行編碼的情況下，使如下的幀包含于參照幀存儲(chǔ)器115的實(shí)施是合適的，該幀由對針對其它視點(diǎn)的深度圖動(dòng)圖像的幀進(jìn)行解碼的幀、對針對其它視點(diǎn)的深度圖動(dòng)圖像的幀進(jìn)行解碼的幀合成而成。進(jìn)而，在對對應(yīng)的多視點(diǎn)動(dòng)圖像一起進(jìn)行編碼的情況下，使通過對多視點(diǎn)動(dòng)圖像應(yīng)用立體匹配而推定的深度圖包含于參照幀存儲(chǔ)器115的實(shí)施是合適的。
[0055]此外，雖然在本實(shí)施方式中設(shè)為按順序?qū)λ斎氲木幋a對象深度圖進(jìn)行編碼，但是，輸入順序未必需要與編碼順序一致。在輸入順序與編碼順序不同的情況下，直到輸入下一個(gè)進(jìn)行編碼的幀為止，所輸入的幀、結(jié)構(gòu)運(yùn)動(dòng)信息、以及結(jié)構(gòu)參照幀列表存儲(chǔ)在合適的存儲(chǔ)器。如果已通過以下說明的編碼處理對對應(yīng)的幀進(jìn)行了編碼，則存儲(chǔ)的信息也可以從該存儲(chǔ)器刪除。
[0056]雖然在此設(shè)為編碼對象深度圖與結(jié)構(gòu)運(yùn)動(dòng)信息以幀單位進(jìn)行輸入，但是也可以以序列單位進(jìn)行輸入。在該情況下，在步驟S102中輸入每個(gè)幀的結(jié)構(gòu)參照幀列表，需要存儲(chǔ)輸入的結(jié)構(gòu)參照幀列表的存儲(chǔ)器。此外，相反也可以設(shè)為以編碼處理單位輸入編碼對象深度圖和結(jié)構(gòu)運(yùn)動(dòng)信息。在該情況下，因?yàn)閷斎氲木幋a對象深度圖和結(jié)構(gòu)運(yùn)動(dòng)信息依次進(jìn)行處理，所以不需要編碼對象深度圖存儲(chǔ)器102和結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器104。
[0057]如果已存儲(chǔ)編碼對象深度圖、結(jié)構(gòu)運(yùn)動(dòng)信息、結(jié)構(gòu)參照幀列表的輸入已結(jié)束，參照幀列表設(shè)定部106就設(shè)定對編碼對象深度圖進(jìn)行編碼時(shí)所使用的參照幀列表(步驟S103)。具體地說，以沒有重復(fù)的方式對存儲(chǔ)在參照幀存儲(chǔ)器115的幀分配參照幀索引。另外，未必需要對存儲(chǔ)在參照幀存儲(chǔ)器115的所有的解碼幀分配參照幀索引。此外，在制作多個(gè)參照幀列表的情況下，按每個(gè)參照幀列表以沒有重復(fù)的方式分配參照幀索引。
[0058]在此，在參照幀列表的制作過程中，可以使用任何方法來分配參照幀索引。作為最簡單的方法，存在從攝影時(shí)刻與編碼對象深度圖接近的參照幀起按順序分配小的參照幀索引的方法。此外，為了實(shí)現(xiàn)有效的編碼，對與編碼對象深度圖相關(guān)高的幀分配小的參照幀索引的實(shí)施也是優(yōu)選的。進(jìn)而，也可以不按幀整體的相關(guān)，而是按編碼對象深度圖的每個(gè)區(qū)塊找出相關(guān)高的幀，對相對于更多的區(qū)塊相關(guān)高的幀分配小的參照幀索引。在按每個(gè)區(qū)塊決定相關(guān)高的幀時(shí)，存在將圖像信號的失配度與運(yùn)動(dòng)矢量的碼量的加權(quán)和作為相關(guān)的尺度使用的方法。
[0059]另外，因?yàn)楸仨氃诮獯a側(cè)設(shè)定相同的參照幀列表，所以在按照不能在解碼側(cè)使用的條件設(shè)定了參照幀列表的情況下，需要對辨認(rèn)所設(shè)定的參照幀列表所需的信息進(jìn)行編碼并傳輸?shù)浇獯a裝置。
[0060]如果參照幀列表的設(shè)定已結(jié)束，變換表生成部107就生成用于將針對結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所設(shè)定的參照幀列表的參照幀索引的變換規(guī)則(步驟S104)。關(guān)于變換規(guī)則的表現(xiàn)方法可以使用任何方法，但是，在本實(shí)施方式中對將變換規(guī)則表現(xiàn)為查詢表的例子進(jìn)行說明。首先，準(zhǔn)備與結(jié)構(gòu)參照幀列表的條目數(shù)具有相同數(shù)量的條目的查詢表LUT。設(shè)通過對LUT給出用[]圍起來的數(shù)字來參照該查詢表的條目。在此，設(shè)參照幀索引為O以上的整數(shù)。
[0061]接著，對LUT[i]分配與相對于結(jié)構(gòu)參照幀列表的第i條目的幀具有相同性質(zhì)的幀的參照幀列表上的條目編號。在此，所謂相同性質(zhì)是指時(shí)刻、攝像機(jī)ID、幀的獲取法(被解碼的幀、被合成的幀、被推定的幀等)等相一致的情況。具體地說，在H.264中，通過表示解碼順序的POC (Picture Order Count:圖像順序計(jì)數(shù))、表示視點(diǎn)的view—id示出該幀的種類，在幀的種類一致的情況下判斷為相同性質(zhì)的幀。另外，設(shè)在參照幀列表上不存在對應(yīng)的幀的情況下，通過對相對于該結(jié)構(gòu)參照幀列表的參照幀索引k的LUT[k]分配-1，從而表現(xiàn)為無對應(yīng)。
[0062]在此，雖然對具有相同性質(zhì)的幀的參照幀列表進(jìn)行了辨認(rèn)，但是也可以找到與使用該結(jié)構(gòu)參照幀列表、參照幀列表的幀的相對的性質(zhì)相同的幀并生成對應(yīng)關(guān)系。即，也可以不辨認(rèn)POC相一致的幀，而是辨認(rèn)POC差分相一致的幀來生成對應(yīng)關(guān)系。
[0063]如果變換規(guī)則的生成已結(jié)束，將編碼對象深度圖分割為預(yù)先確定的大小的區(qū)域，按分割的每個(gè)區(qū)域?qū)幋a對象深度圖的動(dòng)圖像信號進(jìn)行編碼(步驟S105?S113)。S卩，當(dāng)用blk表示編碼對象區(qū)域索引、用numBlks表示I幀中的總編碼對象區(qū)域數(shù)時(shí)，用O對blk進(jìn)行初始化(步驟S105)，此后，一邊對blk加I (步驟SI 12)，一邊直到blk成為numBlks為止(步驟S113)重復(fù)以下的處理(步驟S106?步驟S111)。在一般的編碼中，將編碼對象深度圖分割為16像素X16像素的被稱為宏區(qū)塊的處理單位區(qū)塊，但是，只要與解碼側(cè)相同，也可以將編碼對象深度圖分割為其它大小的區(qū)塊。
[0064]在對每個(gè)編碼對象區(qū)域進(jìn)行重復(fù)的處理中，首先，運(yùn)動(dòng)信息變換部108確認(rèn)運(yùn)動(dòng)信息是否可共享(步驟S106)。具體地說，參照變換規(guī)則，確認(rèn)是否存在如下的針對編碼對象深度圖的參照幀索引，該參照幀索引對應(yīng)著針對編碼對象區(qū)域blk的結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引texRefld[blk]o S卩，確認(rèn)LUT[texRefld[blk]]是否為-1以外的值。
[0065]在LUT[teXRefld[blk]]為-1以外的值的情況下，判斷為運(yùn)動(dòng)信息可共享，運(yùn)動(dòng)信息變換部108對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換而作為針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息(步驟S107)。變換以如下方式進(jìn)行，即:根據(jù)LUT對結(jié)構(gòu)參照幀索引進(jìn)行變更，對于示出對應(yīng)區(qū)域的矢量信息則不進(jìn)行變更而維持其原有的值。即:將針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息的參照幀索引Refld [blk]設(shè)為LUT [texRef Id [blk]]，將矢量信息Vec [blk]設(shè)定為與包含于結(jié)構(gòu)運(yùn)動(dòng)信息的編碼對象區(qū)域blk對應(yīng)的結(jié)構(gòu)矢量信息texVec[blk]。
[0066]在LUT [texRef Id [blk]]為-1的情況下，判斷為運(yùn)動(dòng)信息不可共享，運(yùn)動(dòng)信息設(shè)定部109設(shè)定針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息(Refld [blk]和Vec [blk])(步驟S108)。在此進(jìn)行的處理可以使用任何處理，但是，一般來說通過辨認(rèn)具有與編碼對象區(qū)域blk中的圖像信號類似的圖像信號的參照幀上的區(qū)域來進(jìn)行。此外，也可以使得不僅考慮圖像信號的比較，而且還考慮參照幀索引、矢量信息的編碼所需的碼量，從而辨認(rèn)將圖像信號的差異與產(chǎn)生碼量的加權(quán)和所表示的率失真代價(jià)設(shè)為最小的參照幀上的區(qū)域。
[0067]在運(yùn)動(dòng)信息不可共享的情況下，運(yùn)動(dòng)信息編碼部111對設(shè)定的運(yùn)動(dòng)信息進(jìn)行編碼(步驟S109)。雖然可以使用任何編碼方法，但是一般來說使用預(yù)測編碼。即，根據(jù)在時(shí)間或空間上鄰接的區(qū)域中使用的運(yùn)動(dòng)信息生成預(yù)測運(yùn)動(dòng)信息，只對其差分信息進(jìn)行編碼。
[0068]如果運(yùn)動(dòng)信息的變換或編碼已結(jié)束，預(yù)測圖像生成部112通過按照對編碼對象區(qū)域blk得到的運(yùn)動(dòng)信息(Ref Id [blk]和Vec [blk])來參照被存儲(chǔ)在參照幀存儲(chǔ)器115的幀而生成針對編碼對象區(qū)域blk的預(yù)測圖像(步驟S110)?；旧希A(yù)測圖像通過復(fù)制用運(yùn)動(dòng)信息的參照幀索所引示出的參照幀存儲(chǔ)器115上的幀中的、用運(yùn)動(dòng)信息的矢量信息指定的區(qū)域的圖像信號來生成。但是，也可以在復(fù)制時(shí)進(jìn)行像素插補(bǔ)、像素值的線性變換。
[0069]如果預(yù)測圖像的生成已結(jié)束，圖像信號編碼部113就用生成的預(yù)測圖像對編碼對象區(qū)域blk的圖像信號(深度信息)進(jìn)行編碼(步驟S111)。只要能夠在解碼側(cè)正確地解碼，在編碼中使用任何方法都沒有關(guān)系。在MPEG - 2、H.264/AVC等一般的編碼中，通過對區(qū)塊blk的圖像信號與預(yù)測圖像的差分信號按順序?qū)嵤〥CT (Discrete Cosine Transform:離散余弦變換)等頻率變換、量化、2值化、熵編碼而進(jìn)行編碼。
[0070]此時(shí)，根據(jù)生成的碼數(shù)據(jù)生成可在解碼側(cè)得到的解碼圖像，將該結(jié)果存儲(chǔ)在參照幀存儲(chǔ)器115。在此，可以實(shí)際對碼數(shù)據(jù)進(jìn)行解碼而得到解碼圖像，也可以通過使用了編碼時(shí)的處理剛要變?yōu)闊o損之前的數(shù)據(jù)和預(yù)測圖像的簡化了的解碼處理來得到解碼圖像。例如，在使用MPEG - 2、H.264/AVC等一般的編碼生成碼數(shù)據(jù)的情況下，可以通過在像素值的值域中對如下的結(jié)果進(jìn)行剪輯而生成解碼圖像，該結(jié)果通過將預(yù)測圖像添加到如下的二維信號而得到，該二維信號通過對施加了量化處理之后的值按順序?qū)嵤┠媪炕?、頻率逆變換而得到。
[0071]最后，復(fù)用部114對運(yùn)動(dòng)信息的碼數(shù)據(jù)和圖像信號的碼數(shù)據(jù)進(jìn)行復(fù)用而輸出。另夕卜，在判斷為運(yùn)動(dòng)信息可共享的情況下，運(yùn)動(dòng)信息的碼數(shù)據(jù)不存在，因此，無需進(jìn)行復(fù)用。另外，既可以按每個(gè)區(qū)塊進(jìn)行復(fù)用，也可以以幀單位進(jìn)行復(fù)用。
[0072]另外，雖然在本實(shí)施方式中設(shè)為對所有的可共享的運(yùn)動(dòng)信息進(jìn)行共享，但是，以下實(shí)施也是優(yōu)選的，該實(shí)施是，設(shè)即使在可共享的情況下，也對示出是否共享的標(biāo)記進(jìn)行編碼，只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享。在圖3示出該情況下的處理動(dòng)作。圖3是示出只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享的情況下的處理動(dòng)作的流程圖。在圖3中，對與圖2所示的動(dòng)作相同的部分標(biāo)注相同的附圖標(biāo)記，省略其說明。圖3所示的處理動(dòng)作與圖2所示的處理動(dòng)作不同的點(diǎn)在于，首先，對所有的編碼對象區(qū)域blk執(zhí)行運(yùn)動(dòng)信息的推定處理(步驟S108a)。與圖2所示的處理動(dòng)作不同的點(diǎn)在于，在此設(shè)定的運(yùn)動(dòng)信息是針對編碼對象區(qū)域blk的運(yùn)動(dòng)信息的候補(bǔ)，未必在編碼對象區(qū)域blk中使用。
[0073]第二個(gè)不同點(diǎn)在于，在可進(jìn)行運(yùn)動(dòng)信息的共享的情況下，在對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換之后，執(zhí)行如下的處理(步驟S114)，即:對使用在步驟S107中進(jìn)行變換而得到的運(yùn)動(dòng)信息和在步驟SlOSa中設(shè)定的運(yùn)動(dòng)信息中的哪一個(gè)進(jìn)行選擇，對示出選擇結(jié)果的標(biāo)記進(jìn)行編碼，按照該選擇進(jìn)行是否對運(yùn)動(dòng)信息進(jìn)行編碼的選擇(步驟S115)。
[0074]即使在像這樣按每個(gè)區(qū)域決定是否共享的情況下，也無需通過該處理動(dòng)作對所有的編碼對象區(qū)域blk對標(biāo)記進(jìn)行編碼，只對運(yùn)動(dòng)信息可共享的區(qū)域?qū)?biāo)記進(jìn)行編碼即可，因此，能夠減少產(chǎn)生碼量，并實(shí)現(xiàn)有效的編碼。
[0075]此外，在本實(shí)施方式中，設(shè)可共享的運(yùn)動(dòng)信息在每個(gè)編碼對象區(qū)域只存在I種。但是，也可以考慮從多種運(yùn)動(dòng)信息中選擇I個(gè)運(yùn)動(dòng)信息進(jìn)行共享的情況，例如，能夠與在空間上或時(shí)間上與編碼對象區(qū)域鄰接的已結(jié)束編碼的區(qū)域中所使用的運(yùn)動(dòng)信息進(jìn)行共享。在該情況下，生成成為共享候補(bǔ)的運(yùn)動(dòng)信息的列表，對該列表上的索引進(jìn)行編碼，但是，在制作該列表時(shí)，判定成為共享候補(bǔ)的運(yùn)動(dòng)信息是否可共享(相當(dāng)于步驟S106)，只在可共享的情況下才將成為共享候補(bǔ)的運(yùn)動(dòng)信息補(bǔ)充到候補(bǔ)列表，如果不可共享，則從候補(bǔ)列表中排除成為共享候補(bǔ)的運(yùn)動(dòng)信息。由此能夠減小候補(bǔ)列表的尺寸，并能夠減少該列表上的索引的編碼所需的碼量。
[0076]在此，變換規(guī)則按照針對變換前的運(yùn)動(dòng)信息的參照幀列表和編碼對象區(qū)域使用的參照幀列表來決定，因此，需要對參照幀列表不同的每個(gè)運(yùn)動(dòng)信息生成變換規(guī)則。此外，在兩個(gè)參照幀列表的結(jié)構(gòu)相同的情況下，不需要變換規(guī)則，無需進(jìn)行變換處理和可否共享的判定處理。因此，在許多的編碼方式中，在空間上鄰接的區(qū)域中使用相同的參照幀列表，所以無需進(jìn)行變換，所有的運(yùn)動(dòng)信息作為共享候補(bǔ)而補(bǔ)充到候補(bǔ)列表。
[0077]此外，在本實(shí)施方式中，設(shè)能夠?qū)⒔Y(jié)構(gòu)參照幀列表和參照幀列表設(shè)定為構(gòu)造完全不同的列表，但是，還存在基本上使用相同的構(gòu)造而只將參照幀列表的尺寸設(shè)定得小的情況。在該情況下，無需生成變換規(guī)則，在結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引比設(shè)定的參照幀列表的尺寸大的情況下，將運(yùn)動(dòng)信息判定為不可共享，在不是這樣的情況下，可以將運(yùn)動(dòng)信息判定為可共享。此時(shí)，因?yàn)闊o需對運(yùn)動(dòng)信息進(jìn)行變換，所以在可共享的情況下，結(jié)構(gòu)運(yùn)動(dòng)信息將直接在預(yù)測圖像的生成中使用。
[0078]接著，對動(dòng)圖像解碼裝置進(jìn)行說明。圖4是示出根據(jù)本發(fā)明的實(shí)施方式的動(dòng)圖像解碼裝置的結(jié)構(gòu)的框圖。動(dòng)圖像解碼裝置200如圖4所示，具備解碼對象比特流輸入部201、解碼對象比特流存儲(chǔ)器202、結(jié)構(gòu)運(yùn)動(dòng)信息輸入部203、結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器204、結(jié)構(gòu)參照幀列表輸入部205、參照幀列表設(shè)定部206、變換表生成部207、運(yùn)動(dòng)信息變換部208、分離部209、運(yùn)動(dòng)信息解碼部210、運(yùn)動(dòng)信息選擇部211、預(yù)測圖像生成部212、圖像信號解碼部213、以及參照幀存儲(chǔ)器214。
[0079]解碼對象比特流輸入部201輸入成為解碼對象的深度圖動(dòng)圖像的比特流。在以下的說明中，將被解碼的深度圖動(dòng)圖像稱為解碼對象深度圖動(dòng)圖像，特別是，將通過處理進(jìn)行解碼的幀稱為解碼對象深度圖。解碼對象比特流存儲(chǔ)器202存儲(chǔ)所輸入的解碼對象比特流。結(jié)構(gòu)運(yùn)動(dòng)信息輸入部203輸入與解碼對象深度圖對應(yīng)的動(dòng)圖像的幀中的運(yùn)動(dòng)信息。在此，將與解碼對象深度圖動(dòng)圖像對應(yīng)的動(dòng)圖像稱為結(jié)構(gòu)動(dòng)圖像，將與解碼對象深度圖對應(yīng)的動(dòng)圖像的I幀稱為結(jié)構(gòu)幀。此外，運(yùn)動(dòng)信息是解碼對結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼的比特流時(shí)使用的運(yùn)動(dòng)信息，是按每個(gè)像素或區(qū)塊使用參照幀索引和運(yùn)動(dòng)矢量的組進(jìn)行表現(xiàn)的運(yùn)動(dòng)信息。結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器204存儲(chǔ)所輸入的結(jié)構(gòu)運(yùn)動(dòng)信息。結(jié)構(gòu)參照幀列表輸入部205輸入在對結(jié)構(gòu)幀進(jìn)行解碼時(shí)使用的參照幀列表。
[0080]參照幀列表設(shè)定部206設(shè)定在對解碼對象深度圖進(jìn)行解碼時(shí)使用的參照幀列表。變換表生成部207生成用于將針對結(jié)構(gòu)參照幀列表的參照幀索引變換為針對參照幀列表的參照幀索引的查詢表。運(yùn)動(dòng)信息變換部208按照生成的查詢表對結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀索引進(jìn)行變換。
[0081]分離部209對在輸入的比特流中進(jìn)行復(fù)用的運(yùn)動(dòng)信息的碼數(shù)據(jù)和圖像信號的碼數(shù)據(jù)進(jìn)行分離。運(yùn)動(dòng)信息解碼部210從運(yùn)動(dòng)信息的碼數(shù)據(jù)中對針對解碼對象深度圖的一部分的運(yùn)動(dòng)信息進(jìn)行解碼。運(yùn)動(dòng)信息選擇部211選擇對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換而得到的運(yùn)動(dòng)信息和在運(yùn)動(dòng)信息解碼部210中進(jìn)行解碼的運(yùn)動(dòng)信息中的某一方。
[0082]預(yù)測圖像生成部212按照選擇的運(yùn)動(dòng)信息生成針對解碼對象深度圖的預(yù)測圖像。圖像信號解碼部213使用所生成的預(yù)測圖像對針對圖像信號的碼數(shù)據(jù)進(jìn)行解碼而生成解碼深度圖。參照幀存儲(chǔ)器214對使用在預(yù)測圖像的生成中的已經(jīng)結(jié)束解碼的深度圖進(jìn)行存儲(chǔ)。
[0083]接著，參照圖5，對圖4所示的動(dòng)圖像解碼裝置200的動(dòng)作進(jìn)行說明。圖5是示出圖4所示的動(dòng)圖像解碼裝置200的動(dòng)作的流程圖。在此說明對解碼對象深度圖動(dòng)圖像中的某I幀進(jìn)行解碼的處理。通過對每個(gè)幀重復(fù)所說明的處理，從而能夠?qū)崿F(xiàn)深度圖動(dòng)圖像的解碼。
[0084]首先，解碼對象比特流輸入部201輸入解碼對象深度圖動(dòng)圖像的碼數(shù)據(jù)并存儲(chǔ)在解碼對象比特流存儲(chǔ)器202 (步驟S201)。接著，結(jié)構(gòu)運(yùn)動(dòng)信息輸入部203輸入在對結(jié)構(gòu)幀進(jìn)行解碼時(shí)使用的運(yùn)動(dòng)信息，并存儲(chǔ)在結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器204。與此并行地，結(jié)構(gòu)參照幀列表輸入部205輸入在對結(jié)構(gòu)幀進(jìn)行解碼時(shí)使用的參照幀列表，即結(jié)構(gòu)參照幀列表(步驟
5202)o
[0085]另外，設(shè)解碼對象深度圖動(dòng)圖像中的幾個(gè)幀已經(jīng)進(jìn)行解碼，設(shè)該進(jìn)行解碼的幀存儲(chǔ)在參照幀存儲(chǔ)器214。此外，除了進(jìn)行解碼的幀以外，只要是能夠在編碼側(cè)利用的幀，在參照幀存儲(chǔ)器214中可以包含任何幀。但是，需要存儲(chǔ)與編碼側(cè)相同的幀。例如，在對多視點(diǎn)深度圖動(dòng)圖像進(jìn)行解碼的情況下，優(yōu)選如下的實(shí)施，即:將對針對其它視點(diǎn)的深度圖動(dòng)圖像進(jìn)行解碼而得到的幀、以及使用對針對其它視點(diǎn)的深度圖動(dòng)圖像進(jìn)行解碼而得到的幀合成了針對解碼對象深度圖動(dòng)圖像的視點(diǎn)的深度圖而得到的幀包含在參照幀存儲(chǔ)器214中。進(jìn)而，通過使用了解碼對應(yīng)的多視點(diǎn)動(dòng)圖像而得到的多視點(diǎn)動(dòng)圖像的立體匹配將推定的深度圖包含在參照幀存儲(chǔ)器214的實(shí)施也是優(yōu)選的。
[0086]此外，在此設(shè)為從輸入的比特流中對解碼對象深度圖按順序進(jìn)行解碼并輸出，但是，輸入順序與輸出順序未必需要一致。在輸入順序與輸出順序不同的情況下，直到下一個(gè)輸出的幀被解碼為止，進(jìn)行解碼的幀被存儲(chǔ)在參照幀存儲(chǔ)器214。然后，如果按照另外規(guī)定的輸出順序，則存儲(chǔ)在參照幀存儲(chǔ)器214的幀就從動(dòng)圖像解碼裝置200輸出。另外，從參照幀存儲(chǔ)器214刪除幀的定時(shí)是根據(jù)在預(yù)測中使用的參照構(gòu)造來決定的，是在對此后的解碼對象深度圖進(jìn)行解碼時(shí)已決定不作為參照幀進(jìn)行使用的時(shí)刻或此后的任意的定時(shí)。
[0087]在此設(shè)為解碼對象比特流和結(jié)構(gòu)運(yùn)動(dòng)信息以幀單位進(jìn)行輸入，但是也可以以序列單位輸入任一方或雙方。在該情況下，在步驟S202中，輸入每個(gè)幀的結(jié)構(gòu)參照幀列表，需要存儲(chǔ)所輸入的結(jié)構(gòu)參照幀列表的存儲(chǔ)器。此外，也可以將解碼對象比特流和結(jié)構(gòu)運(yùn)動(dòng)信息的任一方或雙方設(shè)為按每個(gè)解碼處理單位進(jìn)行輸入。在該情況下，將對輸入的解碼對象比特流、結(jié)構(gòu)運(yùn)動(dòng)信息依次進(jìn)行處理，因此，不需要解碼對象比特流存儲(chǔ)器202和結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器204。
[0088]如果已存儲(chǔ)解碼對象比特流和結(jié)構(gòu)運(yùn)動(dòng)信息、結(jié)構(gòu)參照幀列表的輸入已結(jié)束，參照幀列表設(shè)定部206就設(shè)定對解碼對象深度圖進(jìn)行解碼時(shí)所使用的參照幀列表(步驟
5203)。具體地說，對存儲(chǔ)在參照幀存儲(chǔ)器214的幀以沒有重復(fù)的方式分配參照幀索引。另夕卜，未必需要對存儲(chǔ)在參照幀存儲(chǔ)器214的所有的幀分配參照幀索引。此外，在制作多個(gè)參照幀列表的情況下，對每個(gè)參照幀列表以沒有重復(fù)的方式分配參照幀索引。在此制作的參照幀列表需要與在編碼時(shí)使用的參照幀列表相同。即，按照另外確定的相同的規(guī)則制作參照幀列表，或另外給出用于辨認(rèn)在編碼時(shí)使用的參照幀列表的信息，并按其進(jìn)行設(shè)定。在用于辨認(rèn)在該編碼時(shí)使用的參照幀列表的信息包含在比特流的情況下，通過對其進(jìn)行解碼而得到?目息。
[0089]如果參照幀列表的設(shè)定已結(jié)束，變換表生成部207就生成用于將針對結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所設(shè)定的參照幀列表的參照幀索引的變換規(guī)則(步驟S204)。此處的處理與前述的步驟S104相同。
[0090]如果變換規(guī)則的生成已結(jié)束，就將解碼對象深度圖分割為預(yù)先確定的大小的區(qū)域，按分割的每個(gè)區(qū)域?qū)獯a對象深度圖的動(dòng)圖像信號進(jìn)行解碼(步驟S205?S212)。即，當(dāng)用blk表示解碼對象區(qū)域索引、用numBlks表示I幀中的總解碼對象區(qū)域數(shù)時(shí)，用O對blk進(jìn)行初始化(步驟S205)，此后，一邊對blk加1(步驟S211 )，一邊直到blk變成numBlks為止(步驟S212)，重復(fù)以下的處理(步驟S206?步驟S210)。處理區(qū)域的尺寸成為與在編碼側(cè)使用的處理區(qū)域相同的大小。雖然在一般的編碼中使用16像素X 16像素的被稱為宏區(qū)塊的處理單位區(qū)塊，但是如果與編碼側(cè)相同，則按其它大小的每個(gè)區(qū)塊進(jìn)行處理。
[0091]在對每個(gè)解碼對象區(qū)域重復(fù)的處理中，首先，運(yùn)動(dòng)信息變換部208確認(rèn)運(yùn)動(dòng)信息是否可共享(步驟S206)。此處的處理與前述的步驟S106相同。在運(yùn)動(dòng)信息可共享的情況下，運(yùn)動(dòng)信息變換部208對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換而作為針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息(步驟S207)。此處的處理與前述的步驟S107相同。
[0092]在運(yùn)動(dòng)信息不可共享的情況下，分離部209從解碼對象比特流中分離針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息的碼數(shù)據(jù)，通過在運(yùn)動(dòng)信息解碼部210中對該碼數(shù)據(jù)進(jìn)行解碼，從而得到針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息(步驟S208)。另外，根據(jù)分離的碼數(shù)據(jù)對運(yùn)動(dòng)信息進(jìn)行解碼的方法根據(jù)編碼方法來決定。一般來說，對運(yùn)動(dòng)信息進(jìn)行預(yù)測編碼，因此，根據(jù)在時(shí)間或空間上鄰接的區(qū)域中使用的運(yùn)動(dòng)信息生成預(yù)測運(yùn)動(dòng)信息，將對碼數(shù)據(jù)進(jìn)行解碼而得到的差分運(yùn)動(dòng)信息添加到該預(yù)測運(yùn)動(dòng)信息，由此，對運(yùn)動(dòng)信息進(jìn)行解碼。此外，如果能夠根據(jù)解碼對象比特流對針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息進(jìn)行解碼，則未必需要從解碼對象比特流中分離針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息的碼數(shù)據(jù)。
[0093]如果運(yùn)動(dòng)信息的變換或解碼已結(jié)束，預(yù)測圖像生成部212就通過按照針對解碼對象區(qū)域blk得到的運(yùn)動(dòng)信息來參照被存儲(chǔ)在參照幀存儲(chǔ)器214的幀而生成針對解碼對象區(qū)域blk的預(yù)測圖像(步驟S209)。此處的處理與前述的步驟SllO相同。
[0094]如果預(yù)測圖像的生成已結(jié)束，分離部209就從解碼對象比特流中分離針對解碼對象區(qū)域blk的圖像信號(深度信息)的碼數(shù)據(jù)，在圖像信號解碼部213中使用所生成的預(yù)測圖像根據(jù)該碼數(shù)據(jù)對解碼對象區(qū)域blk的圖像信號(深度信息)進(jìn)行解碼(步驟S210)。解碼結(jié)果成為動(dòng)圖像解碼裝置200的輸出，并且存儲(chǔ)在參照幀存儲(chǔ)器214。在解碼處理中使用與在編碼時(shí)使用的方法對應(yīng)的方法。例如，在使用MPEG - 2、H.264/AVC等一般的編碼的情況下，對碼數(shù)據(jù)按順序?qū)嵤┱獯a、逆2值化、逆量化、IDCT (Inverse Discrete CosineTransform:離散余弦反變換)等頻率逆變換，將預(yù)測圖像添加到所得到的二維信號，最后，在像素值的值域中對得到的結(jié)果進(jìn)行剪輯，由此，對圖像信號進(jìn)行解碼。
[0095]另外，在前述的說明中，設(shè)為對所有的可共享的運(yùn)動(dòng)信息進(jìn)行共享，但是，如下的實(shí)施也是優(yōu)選的，該實(shí)施是，即使在可共享的情況下，也對示出是否共享的標(biāo)記進(jìn)行編碼，按照該標(biāo)記只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享。圖6示出該情況下的處理動(dòng)作。圖6是示出只對可共享的運(yùn)動(dòng)信息的一部分進(jìn)行共享的情況下的處理動(dòng)作的流程圖。在圖6中，對與圖5所示的動(dòng)作相同的部分標(biāo)注相同的附圖標(biāo)記，省略其說明。圖6所示的處理動(dòng)作與圖5所示的處理動(dòng)作不同的點(diǎn)如下。在運(yùn)動(dòng)信息可共享的情況下(步驟S206為“是”)，首先，對示出是否共享運(yùn)動(dòng)信息的標(biāo)記進(jìn)行解碼(步驟S213)，確定該標(biāo)記是否示出對運(yùn)動(dòng)信息進(jìn)行共享(步驟S214)。然后，在標(biāo)記示出對運(yùn)動(dòng)信息進(jìn)行共享的情況下，在運(yùn)動(dòng)信息變換部208中對結(jié)構(gòu)運(yùn)動(dòng)信息進(jìn)行變換并作為針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息(步驟S207)，在不是這樣的情況下，通過在運(yùn)動(dòng)信息解碼部210中對碼數(shù)據(jù)進(jìn)行解碼，從而得到針對解碼對象區(qū)域blk的運(yùn)動(dòng)信息(步驟S208)。
[0096]即使在像這樣對每個(gè)區(qū)域決定了是否共享的情況下，也只要設(shè)為并未針對所有的編碼對象區(qū)域blk對標(biāo)記進(jìn)行編碼而是只對運(yùn)動(dòng)信息可共享的區(qū)域?qū)?biāo)記進(jìn)行了編碼來進(jìn)行解碼即可，因此，能夠減少針對標(biāo)記的碼量，并實(shí)現(xiàn)有效的編碼。
[0097]此外，在此，設(shè)可共享的運(yùn)動(dòng)信息在每個(gè)解碼對象區(qū)域只存在I種。但是，例如，也可以考慮從多種運(yùn)動(dòng)信息中選擇I個(gè)運(yùn)動(dòng)信息來進(jìn)行共享的情況，例如能夠與在空間上或時(shí)間上鄰接于解碼對象區(qū)域的已經(jīng)結(jié)束解碼的區(qū)域中所使用的運(yùn)動(dòng)信息進(jìn)行共享。在該情況下，生成成為共享候補(bǔ)的運(yùn)動(dòng)信息的列表，根據(jù)比特流對該列表上的索引進(jìn)行解碼，但是，在制作該列表時(shí)，判定成為共享候補(bǔ)的運(yùn)動(dòng)信息是否可共享(相當(dāng)于步驟S206)，只在可共享的情況下才將成為共享候補(bǔ)的運(yùn)動(dòng)信息補(bǔ)充到候補(bǔ)列表，如果不可共享，就從候補(bǔ)列表中排除成為共享候補(bǔ)的運(yùn)動(dòng)信息。由此，能夠減小候補(bǔ)列表的尺寸，并以較少的碼量指定該列表上的索引。
[0098]在此，變換規(guī)則按照針對變換前的運(yùn)動(dòng)信息的參照幀列表和解碼對象區(qū)域使用的參照幀列表來決定，因此，需要對參照幀列表不同的每個(gè)運(yùn)動(dòng)信息生成變換規(guī)則。此外，在兩個(gè)參照幀列表的結(jié)構(gòu)相同的情況下，不需要變換規(guī)則，無需進(jìn)行變換處理和可否共享的判定處理。因此，在許多的編碼方式中，在空間上鄰接的區(qū)域中使用相同的參照幀列表，所以不需要變換，所有的運(yùn)動(dòng)信息作為共享候補(bǔ)而補(bǔ)充到候補(bǔ)列表。
[0099]此外，設(shè)能夠?qū)⒔Y(jié)構(gòu)參照幀列表和參照幀列表設(shè)定為構(gòu)造完全不同的列表，但是，還存在基本上使用相同的構(gòu)造而只將參照幀列表的尺寸設(shè)定得很小的情況。在該情況下，無需生成變換規(guī)則，在結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引比設(shè)定的參照幀列表的尺寸大的情況下，將運(yùn)動(dòng)信息判定為不可共享，在不是這樣的情況下，可以將運(yùn)動(dòng)信息判定為可共享。此時(shí)，因?yàn)闊o需對運(yùn)動(dòng)信息進(jìn)行變換，所以在可共享的情況下，結(jié)構(gòu)運(yùn)動(dòng)信息將直接在預(yù)測圖像的生成中使用。
[0100]如上所述，在也可在解碼側(cè)得到將針對編碼對象的深度圖的動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息的情況下，按照由運(yùn)動(dòng)信息示出的參照幀的有無來決定是否對運(yùn)動(dòng)信息進(jìn)行再利用，在挪用運(yùn)動(dòng)信息的情況下，使用考慮了參照構(gòu)造而進(jìn)行變換的運(yùn)動(dòng)信息生成預(yù)測圖像。由此，能夠在深度圖的編碼時(shí)使用與動(dòng)圖像的編碼時(shí)不同的參照構(gòu)造進(jìn)行編碼，可利用與動(dòng)圖像性質(zhì)不同的深度圖的時(shí)間相關(guān)而實(shí)現(xiàn)有效的編碼。此外，通過根據(jù)參照幀的有無來判定是否對運(yùn)動(dòng)信息進(jìn)行再利用，從而能夠減少用于示出該信息的碼量。
[0101]在前述的說明中，說明了對針對I個(gè)視點(diǎn)的動(dòng)圖像進(jìn)行編碼/解碼的處理，但是，在對采用多個(gè)攝像機(jī)拍攝的多視點(diǎn)圖像、多視點(diǎn)動(dòng)圖像進(jìn)行編碼/解碼的處理中也能夠應(yīng)用本發(fā)明的實(shí)施方式。此外，在前述的說明中，說明了對幀整體進(jìn)行編碼/解碼的處理，但是，也能夠只對幀的一部分應(yīng)用本發(fā)明的實(shí)施方式的處理。在該情況下，既可以判斷是否應(yīng)用處理而對示出該判斷的標(biāo)記進(jìn)行編碼/解碼，也可以通過某種其它的手段對其進(jìn)行指定。
[0102]另外，也可以將用于實(shí)現(xiàn)圖1所示的動(dòng)圖像編碼裝置100和圖4所示的動(dòng)圖像解碼裝置200的功能的程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)，通過使計(jì)算機(jī)系統(tǒng)讀入、執(zhí)行記錄在該記錄介質(zhì)的程序來進(jìn)行動(dòng)圖像編碼處理和動(dòng)圖像解碼處理。另外，設(shè)在此所謂的“計(jì)算機(jī)系統(tǒng)”包括OS (Operating System:操作系統(tǒng))、配件設(shè)備等硬件。此外，設(shè)“計(jì)算機(jī)系統(tǒng)”還包括具備主頁提供環(huán)境(或者顯示環(huán)境)的WWW (World Wide Web:環(huán)球網(wǎng))系統(tǒng)。此外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”說的是軟盤、光磁盤、ROM (Read Only Memory:只讀存儲(chǔ)器)、⑶(Compact Disc:光盤)一 ROM等移動(dòng)介質(zhì)、內(nèi)置于計(jì)算機(jī)系統(tǒng)的硬盤等存儲(chǔ)裝置。進(jìn)而，“計(jì)算機(jī)可讀取的記錄介質(zhì)”是指像在經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)、電話線路等通信線路發(fā)送了程序的情況下的作為服務(wù)器、客戶端的計(jì)算機(jī)系統(tǒng)內(nèi)部的易失性存儲(chǔ)器(RAM (RandomAccess Memory:隨機(jī)存儲(chǔ)器))那樣在固定時(shí)間內(nèi)保存程序的記錄介質(zhì)。
[0103]此外，上述程序也可以從將該程序儲(chǔ)存在存儲(chǔ)裝置等的計(jì)算機(jī)系統(tǒng)經(jīng)由傳輸介質(zhì)或通過傳輸介質(zhì)中的傳輸波傳輸?shù)狡渌?jì)算機(jī)系統(tǒng)。在此，傳輸程序的“傳輸介質(zhì)”說的是像互聯(lián)網(wǎng)等網(wǎng)絡(luò)(通信網(wǎng))、電話線路等通信線路(通信線)那樣具有傳輸信息的功能的介質(zhì)。此外，上述程序也可以是用于實(shí)現(xiàn)前述功能的一部分的程序。進(jìn)而，上述程序也可以是通過與已經(jīng)記錄在計(jì)算機(jī)系統(tǒng)的程序的組合來實(shí)現(xiàn)前述功能的程序，即所謂的差分文件(差分程序)。
[0104]在圖7示出由計(jì)算機(jī)和軟件程序構(gòu)成動(dòng)圖像編碼裝置的情況下的硬件結(jié)構(gòu)例。本系統(tǒng)成為如下的結(jié)構(gòu)，即，用總線連接有:執(zhí)行程序的CPU (Central Processing Unit:中央處理單元)70 ;存儲(chǔ)有CPU70進(jìn)行訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器71 ;輸入來自攝像機(jī)等的成為編碼對象的深度圖的信號的編碼對象深度圖輸入部72(也可以是由盤類裝置等構(gòu)成的存儲(chǔ)深度圖的動(dòng)圖像信號的存儲(chǔ)部)；例如經(jīng)由網(wǎng)絡(luò)來輸入針對編碼對象深度圖的動(dòng)圖像的運(yùn)動(dòng)信息的結(jié)構(gòu)運(yùn)動(dòng)信息輸入部73(也可以是由盤類裝置等構(gòu)成的存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部);存儲(chǔ)有使CPU70執(zhí)行圖2、圖3所示的處理的軟件程序，即動(dòng)圖像編碼程序741的程序存儲(chǔ)裝置74 ;以及例如經(jīng)由網(wǎng)絡(luò)來輸出通過執(zhí)行CPU70載入到存儲(chǔ)器71的動(dòng)圖像編碼程序741而生成的比特流的比特流輸出部75(也可以是由盤類裝置等構(gòu)成的存儲(chǔ)比特流的存儲(chǔ)部)。雖然省略圖示，但是此外還可設(shè)置有參照幀列表輸入部、參照幀存儲(chǔ)部等硬件而在本方法的實(shí)施中加以利用。此外，有時(shí)也使用動(dòng)圖像信號碼數(shù)據(jù)存儲(chǔ)部、運(yùn)動(dòng)信息碼數(shù)據(jù)存儲(chǔ)部等。
[0105]在圖8示出由計(jì)算機(jī)和軟件程序構(gòu)成動(dòng)圖像解碼裝置的情況下的硬件結(jié)構(gòu)例。本系統(tǒng)成為如下結(jié)構(gòu)，即，用總線連接有:執(zhí)行程序的CPU80 ;存儲(chǔ)CPU80訪問的程序、數(shù)據(jù)的RAM等存儲(chǔ)器81 ;輸入動(dòng)圖像編碼裝置通過本方法進(jìn)行編碼的比特流的比特流輸入部82(也可以是由盤類裝置等構(gòu)成的存儲(chǔ)比特流的存儲(chǔ)部)；例如經(jīng)由網(wǎng)絡(luò)來輸入針對解碼對象的深度圖的動(dòng)圖像的運(yùn)動(dòng)信息的結(jié)構(gòu)運(yùn)動(dòng)信息輸入部83(也可以是由盤類裝置等構(gòu)成的存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部);存儲(chǔ)有使CPU80執(zhí)行圖5、圖6所示的處理的軟件程序，即動(dòng)圖像解碼程序841的程序存儲(chǔ)裝置84 ;以及通過執(zhí)行CPU80載入到存儲(chǔ)器81的動(dòng)圖像解碼程序841，將對比特流進(jìn)行解碼而得到的解碼深度圖輸出到再生裝置等的解碼深度圖輸出部85。雖然省略圖示，但是，此外也可設(shè)置參照幀列表輸入部、參照幀存儲(chǔ)部等硬件而在本方法的實(shí)施中加以利用。此外，有時(shí)也使用動(dòng)圖像信號碼數(shù)據(jù)存儲(chǔ)部、運(yùn)動(dòng)信息碼數(shù)據(jù)存儲(chǔ)部。
[0106]像以上說明的那樣，將對動(dòng)圖像和深度圖動(dòng)圖像進(jìn)行預(yù)測編碼時(shí)所使用的運(yùn)動(dòng)信息進(jìn)行共享，并適當(dāng)?shù)厥褂迷撨\(yùn)動(dòng)信息來生成預(yù)測圖像，從而能夠提高編碼效率。
[0107]以上，雖然參照附圖對本發(fā)明的實(shí)施方式進(jìn)行了說明，但是上述實(shí)施方式只不過是本發(fā)明的示例，顯然，本發(fā)明不限定于上述實(shí)施方式。因此，也可以在不脫離本發(fā)明的技術(shù)思想和范圍的范圍內(nèi)進(jìn)行構(gòu)成要素的追加、省略、置換、以及其它變更。
[0108]產(chǎn)業(yè)上的可利用性
本發(fā)明能夠應(yīng)用于在作為構(gòu)成要素而具有動(dòng)圖像和深度圖動(dòng)圖像的自由視點(diǎn)動(dòng)圖像的編碼中必不可少地要實(shí)現(xiàn)有效的動(dòng)圖像編碼的用途。
[0109]附圖標(biāo)記說明
101:編碼對象深度圖輸入部；
102:編碼對象深度圖存儲(chǔ)器；
103:結(jié)構(gòu)運(yùn)動(dòng)信息輸入部；
104:結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器；
105:結(jié)構(gòu)參照幀列表輸入部；
106:參照幀列表設(shè)定部；
107:變換表生成部；
108:運(yùn)動(dòng)信息變換部；
109:運(yùn)動(dòng)信息設(shè)定部；
110:運(yùn)動(dòng)信息選擇部；
111:運(yùn)動(dòng)信息編碼部；
112:預(yù)測圖像生成部；
113:圖像信號編碼部；
114:復(fù)用部;
115:參照幀存儲(chǔ)器；
201:解碼對象比特流輸入部；
202:解碼對象比特流存儲(chǔ)器；
203:結(jié)構(gòu)運(yùn)動(dòng)信息輸入部；
204:結(jié)構(gòu)運(yùn)動(dòng)信息存儲(chǔ)器；
205:結(jié)構(gòu)參照幀列表輸入部；
206:參照幀列表設(shè)定部；
207:變換表生成部；
208:運(yùn)動(dòng)信息變換部；
209:分離部；
210:運(yùn)動(dòng)信息解碼部；
211:運(yùn)動(dòng)信息選擇部；
212:預(yù)測圖像生成部；
213:圖像信號解碼部；
214:參照幀存儲(chǔ)器。
【權(quán)利要求】
1.一種動(dòng)圖像編碼方法，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊按每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼方法具有: 深度圖參照幀列表生成步驟，生成在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 深度圖運(yùn)動(dòng)信息設(shè)定步驟，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
2.根據(jù)權(quán)利要求1所述的動(dòng)圖像編碼方法，其中， 在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將如下的運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
3.根據(jù)權(quán)利要求2所述的動(dòng)圖像編碼方法，還具有: 結(jié)構(gòu)參照幀列表設(shè)定步驟，將對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表； 變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及 運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息， 在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將所述變換運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息。
4.一種動(dòng)圖像編碼方法，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊按每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼方法具有: 深度圖參照幀列表生成步驟，生成在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 共享運(yùn)動(dòng)信息列表生成步驟，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表； 深度圖運(yùn)動(dòng)信息設(shè)定步驟，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
5.根據(jù)權(quán)利要求4所述的動(dòng)圖像編碼方法，其中， 在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含如下的運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
6.根據(jù)權(quán)利要求5所述的動(dòng)圖像編碼方法，還具有: 結(jié)構(gòu)參照幀列表設(shè)定步驟，將對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表； 變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的所述參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的所述參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及 運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的所述參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息， 在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含所述變換運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表。
7.—種動(dòng)圖像解碼方法，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖并且進(jìn)行解碼，所述動(dòng)圖像解碼方法具有: 深度圖參照幀列表設(shè)定步驟，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 深度圖運(yùn)動(dòng)信息設(shè)定步驟，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
8.根據(jù)權(quán)利要求7所述的動(dòng)圖像解碼方法，其中， 在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將如下的運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
9.根據(jù)權(quán)利要求8所述的動(dòng)圖像解碼方法，還具有: 結(jié)構(gòu)參照幀列表設(shè)定步驟，將在對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表； 變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及 運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息， 在所述深度圖運(yùn)動(dòng)信息設(shè)定步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，將所述變換運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息。
10.一種動(dòng)圖像解碼方法，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖的信號并且進(jìn)行解碼，所述動(dòng)圖像解碼方法具有: 深度圖參照幀列表設(shè)定步驟，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定步驟，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 共享運(yùn)動(dòng)信息列表生成步驟，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是在對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行解碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表； 深度圖運(yùn)動(dòng)信息設(shè)定步驟，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及 預(yù)測圖像生成步驟，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
11.根據(jù)權(quán)利要求10所述的動(dòng)圖像解碼方法，其中， 在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含如下的運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是將所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀索引變更為示出具有所述相同性質(zhì)的幀的索引的運(yùn)動(dòng)信息。
12.根據(jù)權(quán)利要求11所述的動(dòng)圖像解碼方法，還具有: 結(jié)構(gòu)參照幀列表設(shè)定步驟，將在對所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)使用的參照幀列表設(shè)定為結(jié)構(gòu)參照幀列表； 變換表生成步驟，生成將針對所述結(jié)構(gòu)參照幀列表的參照幀索引變換為針對所述參照幀列表的參照幀索引的變換表，其中，以變換前的參照幀索引所示出的所述結(jié)構(gòu)參照幀列表內(nèi)的幀的性質(zhì)與變換后的參照幀索引所示出的所述參照幀列表內(nèi)的幀的性質(zhì)相等的方式設(shè)定所述變換表；以及 運(yùn)動(dòng)信息變換步驟，根據(jù)所述變換表對指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值進(jìn)行變換而生成變換運(yùn)動(dòng)信息， 在所述共享運(yùn)動(dòng)信息列表生成步驟中，在所述參照幀列表中包含與所述結(jié)構(gòu)運(yùn)動(dòng)信息所示出的幀具有相同性質(zhì)的幀的情況下，生成包含所述變換運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表。
13.—種動(dòng)圖像編碼裝置，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼裝置具有: 深度圖參照幀列表生成部，生成在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 深度圖運(yùn)動(dòng)信息設(shè)定部，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息中的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及 預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
14.一種動(dòng)圖像編碼裝置，將構(gòu)成深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域進(jìn)行預(yù)測編碼，所述動(dòng)圖像編碼裝置具備: 深度圖參照幀列表生成部，生成在生成測圖像時(shí)所參照的參照幀的列表，即參照幀列表; 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行編碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 共享運(yùn)動(dòng)信息列表生成部，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包含所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表； 深度圖運(yùn)動(dòng)信息設(shè)定部，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及 預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
15.一種動(dòng)圖像解碼裝置，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖并且進(jìn)行解碼，所述動(dòng)圖像解碼裝置具備: 深度圖參照幀列表設(shè)定部，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 深度圖運(yùn)動(dòng)信息設(shè)定部，設(shè)定示出與所述處理區(qū)域?qū)?yīng)的所述參照幀上的區(qū)域的深度圖運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，將所述結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定為所述深度圖運(yùn)動(dòng)信息；以及 預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
16.一種動(dòng)圖像解碼裝置，在對深度圖動(dòng)圖像的碼數(shù)據(jù)進(jìn)行解碼時(shí)，將構(gòu)成所述深度圖動(dòng)圖像的各幀分割為預(yù)先確定的大小的處理區(qū)域，一邊使用對與所述深度圖動(dòng)圖像對應(yīng)的結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)的運(yùn)動(dòng)信息，一邊對每個(gè)所述處理區(qū)域預(yù)測深度圖的信號并且進(jìn)行解碼，所述動(dòng)圖像解碼裝置具備: 深度圖參照幀列表設(shè)定部，設(shè)定在生成預(yù)測圖像時(shí)所參照的參照幀的列表，即參照幀列表； 結(jié)構(gòu)運(yùn)動(dòng)信息設(shè)定部，將對與所述處理區(qū)域?qū)?yīng)的所述結(jié)構(gòu)動(dòng)圖像進(jìn)行解碼時(shí)所使用的運(yùn)動(dòng)信息設(shè)定為結(jié)構(gòu)運(yùn)動(dòng)信息； 共享運(yùn)動(dòng)信息列表生成部，生成對如下的運(yùn)動(dòng)信息進(jìn)行列表化的共享運(yùn)動(dòng)信息列表，該運(yùn)動(dòng)信息是在對相對于所述處理區(qū)域在時(shí)間上或空間上鄰接的區(qū)域進(jìn)行解碼時(shí)使用的運(yùn)動(dòng)信息，其中，在指定包含于所述結(jié)構(gòu)運(yùn)動(dòng)信息的參照幀的索引值比所述參照幀列表的尺寸小的情況下，生成包括所述結(jié)構(gòu)運(yùn)動(dòng)信息的所述共享運(yùn)動(dòng)信息列表； 深度圖運(yùn)動(dòng)信息設(shè)定部，從包含于所述共享運(yùn)動(dòng)信息列表的所述運(yùn)動(dòng)信息中選擇一個(gè)，將所述選擇的運(yùn)動(dòng)信息設(shè)定為針對所述處理區(qū)域的運(yùn)動(dòng)信息；以及 預(yù)測圖像生成部，按照所述設(shè)定的深度圖運(yùn)動(dòng)信息生成針對所述處理區(qū)域的所述預(yù)測圖像。
17.一種動(dòng)圖像編碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至權(quán)利要求6的任一項(xiàng)所述的動(dòng)圖像編碼方法。
18.一種動(dòng)圖像解碼程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求7至權(quán)利要求12的任一項(xiàng)所述的動(dòng)圖像解碼方法。
19.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有權(quán)利要求17所述的動(dòng)圖像編碼程序。
20.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有權(quán)利要求18所述的動(dòng)圖像解碼程序。
【文檔編號】H04N19/597GK104509114SQ201380033446
【公開日】2015年4月8日 申請日期:2013年7月9日 優(yōu)先權(quán)日:2012年7月9日
【發(fā)明者】志水信哉, 杉本志織, 木全英明, 小島明 申請人:日本電信電話株式會(huì)社