動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像解碼方法、動態(tài)圖像解碼裝置、及動態(tài)圖 ...的制作方法
【專利摘要】一種動態(tài)圖像編碼方法，包括：圖像編碼步驟，使用運動向量對編碼對象塊進(jìn)行編碼；預(yù)測運動向量候選生成步驟，生成多個預(yù)測運動向量；以及運動向量編碼步驟，使用在預(yù)測運動向量候選生成步驟中生成的多個預(yù)測運動向量中的一個預(yù)測運動向量，對運動向量進(jìn)行編碼，在預(yù)測運動向量候選生成步驟中，在從與和編碼對象圖片不同的已編碼圖片中所包含的編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下（S12），使多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代時間預(yù)測運動向量的替代向量（S13、S14）。
【專利說明】動態(tài)圖像編碼方法、動態(tài)圖像編碼裝置、動態(tài)圖像解碼方法、動態(tài)圖像解碼裝置、及動態(tài)圖像編解碼裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動態(tài)圖像編碼方法及動態(tài)圖像解碼方法。
【背景技術(shù)】
[0002]在動態(tài)圖像編碼處理中，通常利用動態(tài)圖像具有的空間方向及時間方向的冗余性進(jìn)行信息量的壓縮。其中，關(guān)于利用空間方向的冗余性的方法，通常采用向頻率區(qū)域的變換。另外，關(guān)于利用時間方向的冗余性的方法，通常采用圖片間預(yù)測(以后稱為幀間(inter)預(yù)測)。
[0003]在幀間預(yù)測編碼處理中，在對某個圖片進(jìn)行編碼時，將按照顯示時間順序位于編碼對象圖片的前方或者后方的已編碼的圖片用作參照圖片。并且，通過編碼對象圖片相對于該參照圖片的運動檢測來導(dǎo)出運動向量，獲取根據(jù)運動向量進(jìn)行運動補償而得到的預(yù)測圖像數(shù)據(jù)與編碼對照圖片的圖像數(shù)據(jù)之差分，由此去除時間方向的冗余性。其中，在運動檢測中，計算編碼圖片內(nèi)的編碼對象塊與參照圖片內(nèi)的塊的差分值，將差分值最小的參照圖片內(nèi)的塊作為參照塊。并且，使用編碼對象塊和參照塊檢測運動向量。
[0004]在已經(jīng)標(biāo)準(zhǔn)化的被稱為H.264的動態(tài)圖像編碼方式中，為了壓縮信息量而采用I圖片、P圖片、B圖片這三種圖片類型。I圖片是不進(jìn)行幀間預(yù)測編碼處理、即僅進(jìn)行圖片內(nèi)預(yù)測(以后稱為幀內(nèi)(intra)預(yù)測)編碼處理的圖片。P圖片是僅參照按照顯示時間順序位于編碼對象圖片的前方或者后方的已編碼的一個圖片進(jìn)行幀內(nèi)預(yù)測編碼的圖片。B圖片是參照按照顯示時間順序位于編碼對象圖片的前方或者后方的已編碼的兩個圖片進(jìn)行幀內(nèi)預(yù)測編碼的圖片。
[0005]另外，在被稱為H.264的動態(tài)圖像編碼方式中，關(guān)于B圖片中的各編碼對象塊的幀間預(yù)測的編碼模式，有對預(yù)測圖像數(shù)據(jù)與編碼對象塊之間的圖像數(shù)據(jù)的差分值以及在生成預(yù)測圖像數(shù)據(jù)時使用的運動向量進(jìn)行編碼的運動向量檢測模式。在運動向量檢測模式中，關(guān)于預(yù)測方向，能夠選擇參照位于編碼對象圖片的前方或者后方的已編碼的兩個圖片生成預(yù)測圖像的雙向預(yù)測、和參照位于編碼對象圖片的前方或者后方的已編碼的一個圖片生成預(yù)測圖像的單向預(yù)測中的任意一種預(yù)測方式。
[0006]另外，在被稱為H.264的動態(tài)圖像編碼方式中，在B圖片的編碼中，在導(dǎo)出運動向量時，能夠選擇被稱為時間預(yù)測運動向量模式的編碼模式。使用圖19說明時間預(yù)測運動向量模式的幀間預(yù)測編碼方法。圖19是表示時間預(yù)測運動向量模式的運動向量的說明圖，表示以時間預(yù)測運動向量模式對圖片B2的塊a進(jìn)行編碼的情況。
[0007]在這種情況下，利用塊b的運動向量vb，該塊b處于與位于圖片B2的后方的參照圖片即圖片P3中的塊a相同的位置。運動向量vb是在對塊b進(jìn)行編碼時使用的運動向量，并參照圖片Pl。另外，關(guān)于塊a，使用與運動向量vb平行的運動向量，從作為前方參照圖片的圖片Pl和作為后方參照圖片的圖片P3取得參照塊，并進(jìn)行雙向預(yù)測來進(jìn)行編碼。S卩，在對塊a進(jìn)行編碼時使用的運動向量相對于圖片Pl是運動向量val，相對于圖片P3是運動向量 va20
[0008]現(xiàn)有技術(shù)文獻(xiàn)
[0009]非專利文獻(xiàn)
[0010]非專利文獻(xiàn)1:1TU_T Recommendation H.264，Advanced video coding forgeneric audiovisual services’ , 2010 年 3 月
發(fā)明概要
[0011]發(fā)明要解決的問題
[0012]但是，在過去的時間預(yù)測運動向量模式中，當(dāng)具有在計算時間預(yù)測運動向量時使用的運動向量等信息的參照圖片的信息、由于例如流分發(fā)等時的包損耗等而丟失的情況下，將不能計算出準(zhǔn)確的時間預(yù)測運動向量，使解碼圖像產(chǎn)生惡化。另外，由于錯誤向參照該解碼圖像的圖片傳播，因而其結(jié)果是有時存在解碼處理停止的情況。例如，在丟失了圖19中的參照圖片P3的信息的情況下，將不能計算出圖片B2的時間預(yù)測運動向量。其結(jié)果是不能準(zhǔn)確地對圖片B2進(jìn)行解碼，存在解碼處理停止的情況。
[0013]
【發(fā)明內(nèi)容】

[0014]因此，鑒于上述情況，本發(fā)明的目的在于，提供一種能夠有效地防止解碼處理中的錯誤的傳播的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法。
[0015]用于解決問題的手段
[0016]本發(fā)明的一個方式的動態(tài)圖像編碼方法是對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼的方法。具體地講，動態(tài)圖像編碼方法包括:圖像編碼步驟，使用運動向量對所述編碼對象塊進(jìn)行編碼；預(yù)測運動向量候選生成步驟，生成多個預(yù)測運動向量；以及運動向量編碼步驟，使用在所述預(yù)測運動向量候選生成步驟中生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼。并且，在所述預(yù)測運動向量候選生成步驟中，在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
[0017]根據(jù)上述結(jié)構(gòu)，通過進(jìn)行使預(yù)測運動向量的候選中包含時間預(yù)測運動向量或者包含替代向量的切換，能夠抑制編碼效率下降，并防止解碼錯誤的傳播。
[0018]另外，也可以是，在所述預(yù)測運動向量候選生成步驟中，在禁止從所述已編碼圖片取得所述時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含運動量為O的運動向量作為所述替代向量。
[0019]另外，也可以是，在所述預(yù)測運動向量候選生成步驟中，計數(shù)利用該動態(tài)圖像編碼方法進(jìn)行編碼后的圖片的張數(shù)，在對被編碼后的圖片的張數(shù)大于規(guī)定的值的定時的所述編碼對象圖片進(jìn)行編碼時，禁止從所述已編碼圖片取得所述時間預(yù)測運動向量。
[0020]另外，也可以是，該動態(tài)圖像編碼方法是對分別屬于構(gòu)成多視點影像的基本視及從屬視的圖片進(jìn)行編碼的方法，還包括視差向量生成步驟，生成與所述基本視和所述從屬視之間的視差相當(dāng)?shù)囊暡钕蛄?。并且，也可以是，在所述預(yù)測運動向量候選生成步驟中，在所述編碼對象圖片屬于所述從屬視、而且是GOP (Group Of Pictures)開頭的圖片的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含所述視差向量作為所述替代向量。
[0021]另外，也可以是，該動態(tài)圖像編碼方法是對分別屬于構(gòu)成多視點影像的基本視及從屬視的圖片進(jìn)行編碼的方法，還包括視差向量生成步驟，生成與所述基本視和所述從屬視之間的視差相當(dāng)?shù)囊暡钕蛄俊２⑶?，也可以是，在所述預(yù)測運動向量候選生成步驟中，在禁止從所述已編碼圖片取得所述時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含所述視差向量作為所述替代向量。
[0022]另外，也可以是，視差向量是使用如下運動向量計算出的，該運動向量是在針對構(gòu)成從屬視的圖片的各塊使用基本視的對應(yīng)的圖片進(jìn)行視間預(yù)測時的運動向量。并且，也可以是，在所述預(yù)測運動向量候選生成步驟中，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含在對所述編碼對象圖片所屬的GOP緊前面的GOP開頭的圖片進(jìn)行編碼時的所述視差向量，作為所述替代向量。
[0023]另外，也可以是，視差向量是使用如下運動向量計算出的，該運動向量是在針對構(gòu)成從屬視的圖片的各塊使用基本視的對應(yīng)的圖片進(jìn)行視間預(yù)測時的運動向量。并且，也可以是，在所述預(yù)測運動向量候選生成步驟中，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含在對所述編碼圖片緊前面的已被編碼的圖片進(jìn)行編碼時的所述視差向量，作為所述替代向量。
[0024]本發(fā)明的一個方式的動態(tài)圖像解碼方法是對構(gòu)成解碼對象圖片的解碼對象塊進(jìn)行幀間預(yù)測解碼的方法。具體地講，動態(tài)圖像解碼方法包括:預(yù)測運動向量候選生成步驟，生成多個預(yù)測運動向量；運動向量解碼步驟，使用在所述預(yù)測運動向量候選生成步驟中生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及圖像解碼步驟，使用在所述運動向量解碼步驟中被解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼。并且，在所述預(yù)測運動向量候選生成步驟中，在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
[0025]本發(fā)明的一個方式的動態(tài)圖像編碼裝置對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼。具體地講，動態(tài)圖像編碼裝置具有:圖像編碼部，使用運動向量對所述編碼對象塊進(jìn)行編碼；預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；以及運動向量編碼部，使用由所述預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼。并且，在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
[0026]本發(fā)明的一個方式的動態(tài)圖像解碼裝置對構(gòu)成解碼對象圖片的解碼對象塊進(jìn)行幀間預(yù)測解碼。具體地講，動態(tài)圖像解碼裝置具有:預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；運動向量解碼部，使用由所述預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及圖像解碼部，使用由所述運動向量解碼部進(jìn)行解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼。并且，在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
[0027]本發(fā)明的一個方式的動態(tài)圖像編解碼裝置具有:動態(tài)圖像編碼部，對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼；以及動態(tài)圖像解碼部，對由所述動態(tài)圖像編碼部生成的解碼對象塊進(jìn)行幀間預(yù)測解碼。具體地講，所述動態(tài)圖像編碼部具有:圖像編碼部，使用運動向量對所述編碼對象塊進(jìn)行編碼；第I預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；以及運動向量編碼部，使用由所述第I預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼。并且，在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。所述動態(tài)圖像解碼部具有:第2預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；運動向量解碼部，使用由所述第2預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及圖像解碼部，使用由所述運動向量解碼部進(jìn)行解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼。并且，在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
[0028]本發(fā)明的另一個方式的圖像編碼方法是使用參照塊的參照運動向量對編碼對象塊進(jìn)行編碼的方法，該參照塊包含在與包括所述編碼對象塊的編碼對象圖片不同的參照圖片中。所述參照塊在圖片內(nèi)的位置與編碼對象塊在編碼對象圖片內(nèi)的位置相同。圖像編碼方法包括:編碼方法決定步驟，決定規(guī)定的標(biāo)志的值，該規(guī)定的標(biāo)志表示在進(jìn)行所述編碼對象塊的運動向量編碼時使用所述參照塊的第I所述參照運動向量、還是使用所述參照圖片的第2所述參照運動向量；參照運動向量附加步驟，在所述規(guī)定的標(biāo)志表示使用所述參照圖片的所述第2參照運動向量的情況下，將從所述第2參照運動向量求出的所述第3參照運動向量附加在比特流中；運動向量編碼步驟，按照所述規(guī)定的標(biāo)志的值，對所述編碼對象塊的運動向量進(jìn)行編碼；以及標(biāo)志附加步驟，將所述規(guī)定的標(biāo)志附加在比特流中。
[0029]另外，也可以是，所述編碼方法決定步驟包括計數(shù)步驟，計數(shù)已編碼的所述編碼對象圖片的張數(shù)，如果所述已編碼張數(shù)小于規(guī)定的值，則決定在進(jìn)行所述編碼對象塊的運動向量編碼時使用所述參照塊的第I所述參照運動向量，如果所述已編碼張數(shù)為規(guī)定的值以上，則決定在進(jìn)行所述編碼對象塊的運動向量編碼時使用所述參照圖片的第2所述參照運動向量，并將所述張數(shù)清空。
[0030]另外，也可以是，所述參照圖片的第2所述參照運動向量是從所述參照圖片內(nèi)的已編碼塊的運動向量的平均值計算出的。
[0031]另外，也可以是，所述參照圖片的第2所述參照運動向量是從所述參照圖片內(nèi)的已編碼塊的運動向量中出現(xiàn)頻次最多的所述運動向量計算出的。
[0032]另外，也可以是，所述運動向量編碼步驟包括:選擇步驟，在所述參照塊具有兩個以上的參照運動向量的情況下，根據(jù)所述參照圖片在所述編碼對象圖片前方還是后方，選擇使用所述參照運動向量中的哪個參照運動向量；以及使用所決定的所述參照運動向量對所述編碼對象塊的所述運動向量進(jìn)行編碼的步驟。[0033]另外，也可以是，在所述選擇步驟中，在所述參照塊具有前方和后方的所述參照運動向量的情況下，在所述編碼對象塊位于所述參照塊的前方時，選擇所述參照運動向量中參照前方的所述參照運動向量，在所述編碼對象塊位于所述參照塊的后方時，選擇所述參照運動向量中參照后方的所述參照運動向量。
[0034]另外，也可以是，在所述選擇步驟中，在所述參照塊具有前方或者后方任意一方的所述參照運動向量的情況下，與所述參照塊和所述編碼對象塊的位置關(guān)系無關(guān)，都是選擇所述參照塊具有的所述前方或者后方的任意一方的所述參照運動向量。
[0035]本發(fā)明的另一個方式的圖像解碼方法是使用參照塊的參照運動向量對解碼對象塊進(jìn)行解碼的方法，該參照塊包含在與包括所述解碼對象塊的解碼對象圖片不同的參照圖片中。所述參照塊在圖片內(nèi)的位置與解碼對象塊在解碼對象圖片內(nèi)的位置相同。圖像解碼方法包括:標(biāo)志解碼步驟，對規(guī)定的標(biāo)志的值進(jìn)行解碼，該規(guī)定的標(biāo)志表示在進(jìn)行所述解碼對象塊的運動向量解碼時使用所述參照塊的第I所述參照運動向量、還是使用所述參照圖片的第2所述參照運動向量；參照運動向量解碼步驟，在所述規(guī)定的標(biāo)志表示使用所述參照圖片的所述第2參照運動向量的情況下，從比特流中對從所述第2參照運動向量求出的所述第3參照運動向量進(jìn)行解碼；以及運動向量解碼步驟，按照所述規(guī)定的標(biāo)志的值，對所述解碼對象塊的運動向量進(jìn)行解碼。
[0036]另外，也可以是，所述運動向量解碼步驟包括:選擇步驟，在所述參照塊具有兩個以上的參照運動向量的情況下，根據(jù)所述參照圖片在所述解碼對象圖片前方還是后方，選擇使用所述參照運動向量中的哪個參照運動向量；以及使用所決定的所述參照運動向量對所述解碼對象塊的所述運動向量進(jìn)行解碼的步驟。
[0037]另外，也可以是，在所述選擇步驟中，在所述參照塊具有前方和后方的所述參照運動向量的情況下，在所述解碼對象塊位于所述參照塊前方時，選擇所述參照運動向量中參照前方的所述參照運動向量，在所述解碼對象塊位于所述參照塊后方時，選擇所述參照運動向量中參照后方的所述參照運動向量。
[0038]另外，也可以是，在所述選擇步驟中，在所述參照塊具有前方或者后方任意一方的所述參照運動向量的情況下，與所述參照塊和所述解碼對象塊的位置關(guān)系無關(guān)，都是選擇所述參照塊具有的所述前方或者后方的任意一方的所述參照運動向量。
[0039]另外，也可以是，所述參照圖片的第2所述參照運動向量是從所述參照圖片內(nèi)的已解碼塊的運動向量的平均值計算出的。
[0040]另外，也可以是，所述參照圖片的第2所述參照運動向量是從所述參照圖片內(nèi)的已解碼塊的運動向量中出現(xiàn)頻次最多的所述運動向量計算出的。
[0041]發(fā)明效果
[0042]根據(jù)本發(fā)明，通過進(jìn)行使預(yù)測運動向量的候選中包含時間預(yù)測運動向量或者包含替代向量的切換，能夠抑制編碼效率下降，并防止解碼錯誤的傳播。
【專利附圖】

【附圖說明】
[0043]圖1是實施方式I的動態(tài)圖像編碼裝置的塊圖。
[0044]圖2是表示實施方式I的動態(tài)圖像編碼方法的處理流程的概要的圖。
[0045]圖3是表示預(yù)測運動向量的候選的示例的圖。[0046]圖4是表示對預(yù)測運動向量索引進(jìn)行可變長度編碼時的代碼表的示例的圖。
[0047]圖5是表示預(yù)測運動向量候選的決定流程的圖。
[0048]圖6是表示向colPic存儲器及全體向量保存部的讀寫處理的示意圖。
[0049]圖7A是表示圖2的步驟Sll的具體處理流程的圖。
[0050]圖7B是表示被其它圖片參照的B圖片的示例的圖。
[0051]圖8是表示圖2的步驟S17的具體處理流程的圖。
[0052]圖9是表示圖2的步驟S13和步驟S14的具體處理流程的圖。
[0053]圖1OA是表示使用前方參照運動向量導(dǎo)出預(yù)測運動向量的候選的方法的一例的圖。
[0054]圖1OB是表示使用后方參照運動向量導(dǎo)出預(yù)測運動向量的候選的方法的一例的圖。
[0055]圖1lA是表示使用后方參照運動向量導(dǎo)出預(yù)測運動向量的候選的方法的一例的圖。
[0056]圖1lB是表示使用前方參照運動向量導(dǎo)出預(yù)測運動向量的候選的方法的一例的圖。
[0057]圖12是實施方式2的動態(tài)圖像解碼裝置的塊圖。
[0058]圖13是表示實施方式2的動態(tài)圖像解碼方法的處理流程的概要的圖。
[0059]圖14是表示實施方式2的動態(tài)圖像解碼方法中的比特流的句法的圖。
[0060]圖15是實施方式I的變形例的動態(tài)圖像編碼裝置的塊圖。
[0061]圖16是表示實施方式I的變形例的動態(tài)圖像編碼方法的動作的流程圖。
[0062]圖17是表示由屬于基本視及從屬視的圖片構(gòu)成的圖像的圖。
[0063]圖18是實施方式2的變形例的動態(tài)圖像解碼裝置的塊圖。
[0064]圖19是表示時間預(yù)測運動向量模式中的運動向量的說明圖。
[0065]圖20是實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0066]圖21是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0067]圖22是表示電視機的結(jié)構(gòu)例的模塊圖。
[0068]圖23是表示對作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0069]圖24是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0070]圖25A是表示便攜電話的一例的圖。
[0071]圖25B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0072]圖26是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0073]圖27是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0074]圖28是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。
[0075]圖29是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0076]圖30是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0077]圖31是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0078]圖32是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0079]圖33是表示識別影像數(shù)據(jù)的步驟的圖。[0080]圖34是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0081]圖35是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。
[0082]圖36是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。
[0083]圖37是表示將影像數(shù)據(jù)的規(guī)格與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。
[0084]圖38A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0085]圖38B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實施方式】
[0086]下面，參照【專利附圖】

【附圖說明】本發(fā)明的實施方式。
[0087](實施方式I)
[0088]圖1是表示使用實施方式I的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置的結(jié)構(gòu)的塊圖。
[0089]動態(tài)圖像編碼裝置100如圖1所示具有減法部101、正交變換部102、量化部103、逆量化部104、逆正交變換部105、加法部106、塊存儲器107、幀存儲器108、幀內(nèi)預(yù)測部109、幀間預(yù)測部110、開關(guān)111、幀間預(yù)測控制部112、圖片類型決定部113、時間預(yù)測運動向量計算部114、colPic存儲器115、全體向量保存部116、co-located信息決定部117、可變長度編碼部118。
[0090]減法部101從裝置外部取得包括編碼對象塊的輸入圖像序列，從開關(guān)111取得預(yù)測塊，將從編碼對象塊減去預(yù)測塊得到的殘差塊輸出給正交變換部102。
[0091]正交變換部102將從減法部101取得的殘差塊從圖像區(qū)域變換為頻率區(qū)域，將變換系數(shù)輸出給量化部103。量化部103對從量化部103取得的變換系數(shù)進(jìn)行量化，將量化系數(shù)輸出給逆量化部104和可變長度編碼部118。
[0092]逆量化部104對從量化部取得的量化系數(shù)進(jìn)行逆量化，將被復(fù)原后的變換系數(shù)輸出給逆正交變換部105。逆正交變換部105將從逆量化部104取得的被復(fù)原后的變換系數(shù)從頻率區(qū)域變換為圖像區(qū)域，將被復(fù)原后的殘差塊輸出給加法部106。
[0093]加法部106將從逆正交變換部105取得的被復(fù)原后的殘差塊和從開關(guān)111取得的預(yù)測塊進(jìn)行相加，將被復(fù)原后的編碼對象塊輸出給塊存儲器107和幀存儲器108。塊存儲器107以塊單位保存被復(fù)原后的輸入圖像序列。幀存儲器108以幀單位保存被復(fù)原后的輸入圖像序列。
[0094]圖片類型決定部113決定按照I圖片、B圖片、P圖片的哪種圖片類型對輸入圖像序列進(jìn)行編碼，并生成圖片類型信息。并且，圖片類型決定部113將所生成的圖片類型信息輸出給開關(guān)111、幀間預(yù)測控制部112、co-located信息決定部117、以及可變長度編碼部118。
[0095]幀內(nèi)預(yù)測部109使用在塊存儲器107中保存的塊單位的被復(fù)原后的輸入圖像序列，對編碼對象塊進(jìn)行幀內(nèi)預(yù)測并生成預(yù)測塊，并輸出給開關(guān)111。幀間預(yù)測部110使用在幀存儲器108中保存的幀單位的被復(fù)原后的輸入圖像序列、和通過運動檢測而導(dǎo)出的運動向量，對編碼對象塊進(jìn)行幀間預(yù)測并生成預(yù)測塊，并輸出給開關(guān)111。
[0096]開關(guān)111將由幀內(nèi)預(yù)測部109生成的預(yù)測塊或者由幀間預(yù)測部110生成的預(yù)測塊輸出給減法部101和加法部106。例如，開關(guān)111可以輸出兩個預(yù)測塊中編碼成本較小的預(yù)測塊。
[0097]co-located信息決定部117決定是否禁止co-located塊的使用。并且，co-located信息決定部117按照每個圖片生成表示決定結(jié)果的co-located使用禁止標(biāo)志，并輸出給時間預(yù)測運動向量計算部114和可變長度編碼部118。該co-located使用禁止標(biāo)志包含在比特流(典型地講是圖片標(biāo)題或者條帶頭)中。
[0098]另外，co-located信息決定部117決定將按照顯示時間順序位于編碼對象圖片的前方的圖片中所包含的塊(以后稱為前方參照塊)、或者位于編碼對象圖片的后方的圖片中所包含的塊(以后稱為后方參照塊)中哪一方作為co-located塊。換言之,前方參照塊是包含在利用參照圖片列表LO確定的參照圖片中的塊。并且，后方參照塊是包含在利用參照圖片列表LI確定的參照圖片中的塊。
[0099]另外,co-located信息決定部117按照每個圖片生成表示決定結(jié)果的co-located參照方向標(biāo)志，并輸出給時間預(yù)測運動向量計算部114和可變長度編碼部118。該co-located參照方向標(biāo)志包含在比特流(典型地講是圖片標(biāo)題或者條帶頭)中。并且，在co-located使用禁止標(biāo)志被設(shè)定了表示“禁止”的值的情況下，也可以省略co-located參照方向標(biāo)志。
[0100]其中，所謂co-located塊是指與包括編碼對象塊的編碼對象圖片不同的圖片內(nèi)的塊，而且在圖片內(nèi)的位置是與編碼對象塊相同的位置的塊。另外，編碼對象塊和co-located塊在各圖片內(nèi)的位置也可以不嚴(yán)格一致。例如，也可以將與編碼對象圖片不同的圖片內(nèi)的編碼對象塊的相同位置的塊的周圍(相鄰)的塊設(shè)為co-located塊。
[0101 ] 時間預(yù)測運動向量計算部114根據(jù)從co-located信息決定部117取得的co-located使用禁止標(biāo)志的值,使用在colPic存儲器115中存儲的co-located塊的運動向量等colPic信息、或者在全體向量保存部中存儲的colPic圖片的全體運動向量，導(dǎo)出預(yù)測運動向量的候選。
[0102]具體地講,在co-located禁止標(biāo)志為有效(禁止)的情況下，時間預(yù)測運動向量計算部114將從全體向量保存部116讀出的全體運動向量(替代向量)追加到預(yù)測運動向量的候選中。另一方面，在co-located禁止標(biāo)志為無效(許可)的情況下，時間預(yù)測運動向量計算部114將使用從colPic存儲器115讀出的colPic信息計算出的時間預(yù)測運動向量追加到預(yù)測運動向量的候選中。
[0103]另外，時間預(yù)測運動向量計算部114對作為候選而追加的預(yù)測運動向量分配預(yù)測運動向量索引的值。并且，時間預(yù)測運動向量計算部114將作為候選而追加的預(yù)測運動向量和預(yù)測運動向量索引輸出給巾貞間預(yù)測控制部112。另一方面,在co-located塊不具有運動向量的情況下，時間預(yù)測運動向量計算部114停止基于時間預(yù)測運動向量模式的運動向量導(dǎo)出、或者導(dǎo)出運動量為O的向量作為預(yù)測運動向量的候選。并且，時間預(yù)測運動向量計算部114將全體運動向量輸出給可變長度編碼部118。
[0104]幀間預(yù)測控制部112決定從多個預(yù)測運動向量的候選中，使用與通過運動檢測而導(dǎo)出的運動向量的誤差為最小的預(yù)測運動向量，進(jìn)行運動向量的編碼。其中，所謂誤差例如是指預(yù)測運動向量候選與通過運動檢測而導(dǎo)出的運動向量的差分值。
[0105]另外，幀間預(yù)測控制部112按照每個塊確定與所決定的預(yù)測運動向量對應(yīng)的預(yù)測運動向量索引。并且，幀間預(yù)測控制部112將預(yù)測運動向量索引、以及運動向量與預(yù)測運動向量的差分值輸出給可變長度編碼部。并且，幀間預(yù)測控制部112將包括編碼對象塊的運動向量等的colPic信息發(fā)送給colPic存儲器115。并且，幀間預(yù)測控制部112將編碼塊的運動向量等傳送給全體向量保存部116。
[0106]在colPic存儲器115中存儲有包括編碼對象塊的運動向量等的colPic信息，并用于下一個圖片的編碼時的預(yù)測向量。全體向量保存部116根據(jù)圖片全體的編碼對象塊的運動向量計算全體運動向量，并進(jìn)行存儲以便用于下一個圖片的編碼時的預(yù)測向量。
[0107]可變長度編碼部118對從量化部103取得的量化系數(shù)、從幀間預(yù)測控制部112取得的預(yù)測運動向量索引以及運動向量與預(yù)測運動向量的差分值、從圖片類型決定部113取得的圖片類型信息、從co-located信息決定部117取得的co-located使用禁止標(biāo)志和co-located參照方向標(biāo)志、以及從時間預(yù)測運動向量計算部114取得的時間預(yù)測全體運動向量進(jìn)行可變長度編碼，并生成比特流。
[0108]圖2是本發(fā)明的實施方式I的動態(tài)圖像編碼方法的處理流程的概要。
[0109]co-located信息決定部117在以時間預(yù)測運動向量模式導(dǎo)出預(yù)測運動向量候選時，利用后述的方法決定co-located使用禁止標(biāo)志和co-located參照方向標(biāo)志等co-located 信息(SII)。
[0110]然后，時間預(yù)測運動向量計算部114判定co-located使用禁止標(biāo)志是否為有效(禁止)(S12)。并且，如果判定結(jié)果為有效(S12:是)，時間預(yù)測運動向量計算部114從全體向量保存部116讀出全體運動向量，并將所讀出的全體運動向量附加在圖片標(biāo)題等標(biāo)題信息中(S13)。
[0111]然后，時間預(yù)測運動向量計算部114將全體運動向量作為時間預(yù)測運動向量的替代向量追加到預(yù)測運動向量的候選中。并且，時間預(yù)測運動向量計算部114對追加到候選中的預(yù)測運動向量分配預(yù)測運動向量索引的值。
[0112]另一方面,如果co-located使用禁止標(biāo)志為無效(S12:否),時間預(yù)測運動向量計算部114根據(jù)co-located信息,從colPic存儲器讀出包括co-located塊的參照運動向量等的colPic信息,并將使用co-located塊的參照運動向量計算出的時間預(yù)測運動向量追加到預(yù)測運動向量的候選中(S17)。并且，時間預(yù)測運動向量計算部114對追加到候選中的預(yù)測運動向量分配預(yù)測運動向量索引的值。
[0113]通常，預(yù)測運動向量索引在其值較小時，所需要的信息量較少。另一方面，在預(yù)測運動向量索引的值增大時，所需要的信息量增大。因此，如果對成為精度較高的運動向量的可能性比較大的運動向量分配較小的預(yù)測運動向量索引，則編碼效率提高。
[0114]然后，幀間預(yù)測部110使用通過運動檢測而導(dǎo)出的運動向量進(jìn)行幀間預(yù)測，由此生成編碼對象塊的預(yù)測塊。并且，減法部101、正交變換部102、量化部103和可變長度編碼部118使用由幀間預(yù)測部110生成的預(yù)測塊，對編碼對象塊進(jìn)行編碼。
[0115]另外，幀間預(yù)測控制部112使用多個預(yù)測運動向量的候選中與運動向量的誤差為最小的預(yù)測運動向量，對運動向量進(jìn)行編碼。幀間預(yù)測控制部112例如將多個預(yù)測運動向量的候選中各個候選與通過運動檢測而導(dǎo)出的運動向量的差分值作為誤差，將誤差為最小的預(yù)測運動向量決定為在進(jìn)行運動向量的編碼時使用的預(yù)測運動向量。
[0116]并且，幀間預(yù)測控制部112將與所選擇的預(yù)測運動向量對應(yīng)的預(yù)測運動向量索弓1、以及運動向量與預(yù)測運動向量的誤差信息，輸出給可變長度編碼部118。可變長度編碼部118對從幀間預(yù)測控制部112取得的預(yù)測運動向量索引及誤差信息進(jìn)行可變長度編碼，并將其包含在比特流中。
[0117]然后，幀間預(yù)測控制部112將包括在進(jìn)行幀間預(yù)測時使用的運動向量等的colPic信息保存在colPic存儲器115中。在colPic存儲器115中存儲有參照圖片的運動向量、參照圖片的索引值及預(yù)測方向等，以便計算編碼對象塊的時間預(yù)測運動向量。另外，幀間預(yù)測控制部112將在進(jìn)行幀間預(yù)測時使用的運動向量等保存在全體向量保存部116中(S16)。
[0118]圖3表示預(yù)測運動向量的候選的示例。運動向量A (MV_A)是位于編碼對象塊的左側(cè)的相鄰塊A的運動向量。運動向量B (MV_B>是位于編碼對象塊的上側(cè)的相鄰塊B的運動向量。運動向量C (MV_C)是位于編碼對象塊的右上側(cè)的相鄰塊C的運動向量。另外，Median (MV_A，MV_B，MV_C)表示運動向量A、B、C的中間值。在此，中間值是使用例如下面的式I~式3導(dǎo)出的。
[0119][數(shù)式I]
【權(quán)利要求】
1.一種動態(tài)圖像編碼方法，對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼，該動態(tài)圖像編碼方法包括: 圖像編碼步驟，使用運動向量對所述編碼對象塊進(jìn)行編碼； 預(yù)測運動向量候選生成步驟，生成多個預(yù)測運動向量；以及 運動向量編碼步驟，使用在所述預(yù)測運動向量候選生成步驟中生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼， 在所述預(yù)測運動向量候選生成步驟中，在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
2.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，在所述預(yù)測運動向量候選生成步驟中，在禁止從所述已編碼圖片取得所述時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含運動量為O的運動向量作為所述替代向量。
3.根據(jù)權(quán)利要求2所述的動態(tài)圖像編碼方法，在所述預(yù)測運動向量候選生成步驟中，計數(shù)利用該動態(tài)圖像編碼方法進(jìn)行編碼后的圖片的張數(shù)，在對被編碼后的圖片的張數(shù)大于規(guī)定的值的定時的所述編碼對象圖片進(jìn)行編碼時，禁止從所述已編碼圖片取得所述時間預(yù)測運動向量。
4.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，該動態(tài)圖像編碼方法是對分別屬于構(gòu)成多視點影像的基本視及從屬視的圖片進(jìn)行編碼的方法，還包括視差向量生成步驟，生成與所述基本視和所述從屬視之間的視差相當(dāng)?shù)囊暡钕蛄浚? 在所述預(yù)測運動向量候選生成步驟中，在所述編碼對象圖片屬于所述從屬視、而且是GOP圖片組開頭的圖片的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含所述視差向量作為所述替代向量 。
5.根據(jù)權(quán)利要求1所述的動態(tài)圖像編碼方法，該動態(tài)圖像編碼方法是對分別屬于構(gòu)成多視點影像的基本視及從屬視的圖片進(jìn)行編碼的方法，還包括視差向量生成步驟，生成與所述基本視和所述從屬視之間的視差相當(dāng)?shù)囊暡钕蛄浚? 在所述預(yù)測運動向量候選生成步驟中，在禁止從所述已編碼圖片取得所述時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含所述視差向量作為所述替代向量。
6.根據(jù)權(quán)利要求4或5所述的動態(tài)圖像編碼方法，視差向量是使用如下的運動向量計算出的，該運動向量是在針對構(gòu)成從屬視的圖片的各塊使用基本視的對應(yīng)的圖片進(jìn)行視間預(yù)測時的運動向量， 在所述預(yù)測運動向量候選生成步驟中，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含在對所述編碼對象圖片所屬的GOP緊前面的GOP開頭的圖片進(jìn)行編碼時的所述視差向量，作為所述替代向量。
7.根據(jù)權(quán)利要求4或5所述的動態(tài)圖像編碼方法，視差向量是使用如下的運動向量計算出的，該運動向量是在針對構(gòu)成從屬視的圖片的各塊使用基本視的對應(yīng)的圖片進(jìn)行視間預(yù)測時的運動向量， 在所述預(yù)測運動向量候選生成步驟中，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含在對所述編碼圖片緊前面的已被編碼的圖片進(jìn)行編碼時的所述視差向量，作為所述替代向量。
8.一種動態(tài)圖像解碼方法，對構(gòu)成解碼對象圖片的解碼對象塊進(jìn)行幀間預(yù)測解碼，該動態(tài)圖像解碼方法包括: 預(yù)測運動向量候選生成步驟，生成多個預(yù)測運動向量； 運動向量解碼步驟，使用在所述預(yù)測運動向量候選生成步驟中生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及 圖像解碼步驟，使用在所述運動向量解碼步驟中被解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼， 在所述預(yù)測運動向量候選生成步驟中，在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
9.一種動態(tài)圖像編碼裝置，對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼，該動態(tài)圖像編碼裝置具有: 圖像編碼部，使用運動向量對所述編碼對象塊進(jìn)行編碼； 預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；以及 運動向量編碼部，使用由所述預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼， 在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
10.一種動態(tài)圖像解碼裝置，對構(gòu)成解碼對象圖片的解碼對象塊進(jìn)行幀間預(yù)測解碼，該動態(tài)圖像解碼裝置具有: 預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量； 運動向量解碼部，使用由所述預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及 圖像解碼部，使用由所述運動向量解碼部進(jìn)行解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼， 在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量。
11.一種動態(tài)圖像編解碼裝置，具有:動態(tài)圖像編碼部，對構(gòu)成編碼對象圖片的編碼對象塊進(jìn)行幀間預(yù)測編碼；以及動態(tài)圖像解碼部，對由所述動態(tài)圖像編碼部生成的解碼對象塊進(jìn)行幀間預(yù)測解碼， 所述動態(tài)圖像編碼部具有: 圖像編碼部，使用運動向量對所述編碼對象塊進(jìn)行編碼； 第I預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量；以及運動向量編碼部，使用由所述第I預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行編碼， 在從與和所述編碼對象圖片不同的已編碼圖片中所包含的所述編碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量包含取代所述時間預(yù)測運動向量的替代向量， 所述動態(tài)圖像解碼部具有: 第2預(yù)測運動向量候選生成部，生成多個預(yù)測運動向量； 運動向量解碼部，使用由所述第2預(yù)測運動向量候選生成部生成的多個所述預(yù)測運動向量中的一個預(yù)測運動向量，對所述運動向量進(jìn)行解碼；以及 圖像解碼部，使用由所述運動向量解碼部進(jìn)行解碼后的所述運動向量對所述解碼對象塊進(jìn)行解碼， 在從與和所述解碼對象圖片不同的已解碼圖片中所包含的所述解碼對象塊對應(yīng)的塊不能取得時間預(yù)測運動向量的情況下，所述預(yù)測運動向量候選生成部使所述多個預(yù)測運動向量中的一個預(yù)測運動向量 包含取代所述時間預(yù)測運動向量的替代向量。
【文檔編號】H04N7/36GK103477637SQ201280007840
【公開日】2013年12月25日 申請日期:2012年2月9日 優(yōu)先權(quán)日:2011年2月10日
【發(fā)明者】杉尾敏康, 西孝啟, 柴原陽司, 笹井壽郎 申請人:松下電器產(chǎn)業(yè)株式會社