影像編碼方法及影像解碼方法【專利摘要】一種使用多個參照圖片的影像編碼方法，包括：在進行影像編碼時選擇是否使用耐性圖片參照方案的步驟（300）；將表示所述選擇的參數(shù)寫入編碼影像比特流的頭中的步驟（302）；采用使用所述選擇的結(jié)果的圖片間預測對圖片進行編碼的步驟（304）?！緦＠f明】影像編碼方法及影像解碼方法【
技術領域：
】[0001]本發(fā)明涉及多媒體數(shù)據(jù)編碼、尤其是使用超過一個的參照圖片(picture)進行圖片間預測的影像編碼方法及影像解碼方法?！?br>背景技術：
】[0002]MPEG-4AVC/H.264(非專利文獻I)及下一代的HEC(High—EfficiencyVideoCoding:高效視頻編碼)等最新的影像編碼方式，對應于使用來自超過一個的參照圖片的運動補償預測的圖片間預測。在具有超過一個的參照圖片的情況下，生成圖片間預測用的一個以上的參照圖片的列表，在時間上接近對象圖片的參照圖片被按照規(guī)定的方式從列表的開頭重新排序。按照參照圖片列表的從上到下的順序，利用具有增量值的參照指數(shù)唯一地確定參照圖片。[0003]隨著諸如目前研發(fā)中的HEVC影像編碼標準的近年來的發(fā)展，在構(gòu)造、實驗及評價的作業(yè)中采用分層編碼構(gòu)造。分層編碼構(gòu)造具有編碼效率及畫質(zhì)提高的優(yōu)點。在分層編碼構(gòu)造中，圖片被按照時間等級(temporallevel)進行配置，其中最低的層次是最低的幀速率，在包含其后續(xù)的較高的層次(時間等級為I或者2)的情況下，表示包含更高的幀速率。分層編碼構(gòu)造的示例如圖1和圖2所示。(例如，通過減少適用的量化)通過在質(zhì)量比高時間等級的圖片好的較低時間等級中對圖片進行編碼，能夠得到某個一定量的編碼增益。在HEVC中，時間等級利用位于圖片的編碼切片(slice)的NAL(NetworkAbstractionLayer:網(wǎng)絡提取層)單元的開頭的語法參數(shù)temporaljd進行表示。[0004]時間等級被用來實現(xiàn)編碼影像比特流的時間可擴展性(temporalscalability)的特征。對于對象圖片，通過以僅參照時間等級與該對象圖片相同或比其低的參照圖片的方式限制圖片的參照，能夠?qū)D片的參照從較高時間等級(較高的幀速率)切換為較低時間等級(較低的巾貞速率)。另一方面，通過使用時間嵌套方案(nestingscheme)能夠?qū)崿F(xiàn)從較低時間等級切換為較高時間等級，但是在具有較低時間等級的圖片被按照編碼順序進行解碼的情況下，不能將具有較高時間等級的參照圖片用于該時間等級以上的圖片的預測。[0005]現(xiàn)有技術文獻[0006]專利文獻[0007]非專利文獻1:1TU—TH.26403/2010[0008]發(fā)明概要[0009]發(fā)明要解決的問題[0010]在如具有包含誤差在內(nèi)的損失的發(fā)送那樣存在編碼及解碼處理間的不一致的情況下，通過圖片間預測，該誤差如圖1(a)所示傳播到許多圖片中。在該圖中，誤差產(chǎn)生于圖片B2(數(shù)字2表示輸出順序)。圖片B2在圖片B3和圖片B6的圖片間預測處理中被用作參照圖片，因而誤差也傳播到圖片B3和圖片B6中。然后，如果將圖片B3和圖片B6用作參照圖片，該誤差進一步傳播。這種誤差的傳播在經(jīng)由公共網(wǎng)絡的低延遲影像發(fā)送等特定的用途中成為重要問題。[0011]通常，通過對如上所述的與時間等級對應的各個圖片設定不同的質(zhì)量等級，主觀性及客觀性結(jié)果整體提高。該現(xiàn)有技術的問題是在時間上非常遠的低質(zhì)量的參照圖片，通常其有用性比在時間上非常遠的高質(zhì)量的參照圖片低。因此，如果將在時間上非常遠的低質(zhì)量的參照圖片包含在參照圖片的列表中，將不能得到最佳的編碼效率。這是因為與在時間上非常遠的高質(zhì)量的參照圖片對應的參照指數(shù)需要更多的信令比特。[0012]通過采用現(xiàn)有技術的時間嵌套，何時都能進行從較低時間等級向較高時間等級的切換。但是，在這種方式中，由于是非常受制約的參照構(gòu)造，因而多少產(chǎn)生編碼效率的損失?！?br/>發(fā)明內(nèi)容】[0013]用于解決問題的手段[0014]為了解決上述問題，本發(fā)明提出了耐性圖片參照方案的新方法。利用該新方法，圖片間預測的效率及誤差耐性均得到提高，并且在時間可擴展的編碼影像比特流中能夠提供從低幀速率向高幀速率的切換點。[0015]本發(fā)明的新觀點是通過定義在圖片間預測中用于限制圖片參照的邊界圖片，當在編碼處理和解碼處理之間產(chǎn)生不一致的情況下，能夠在解碼處理中進行修復。另外，根據(jù)利用本發(fā)明的參照圖片的列表構(gòu)建用的規(guī)定的方式，能夠執(zhí)行有效地把用于將參照列表的順序排序的信號的比特設為最小的分層編碼構(gòu)造。最后，利用本發(fā)明生成的編碼影像比特流在本質(zhì)上包括時間可擴展的切換點。[0016]本發(fā)明的某個方面涉及的影像編碼方法是使用多個參照圖片的影像編碼方法，包括:選擇步驟，選擇在進行影像編碼時是否使用耐性圖片參照方案；寫入步驟，將表示所述選擇的參數(shù)寫入編碼影像比特流的頭中；以及編碼步驟，采用使用所述選擇的結(jié)果的圖片間預測對圖片進行編碼。[0017]本發(fā)明的另一個方面涉及的影像解碼方法是使用多個參照圖片的影像解碼方法，包括:解析步驟，從編碼影像比特流的頭中解析表示在進行影像編碼時是否使用耐性圖片參照方案的參數(shù)；判定步驟，根據(jù)所述解析出的參數(shù)判定是否使用了所述耐性圖片參照方案；以及解碼步驟，在判定為使用了所述耐性圖片參照方案的情況下，使用所述耐性圖片參照方案進行編碼影像比特流的局部解碼，在判定為未使用所述耐性圖片參照方案的情況下，不使用所述耐性圖片參照方案而進行編碼影像比特流的全部解碼。[0018]根據(jù)如上所述的各種結(jié)構(gòu)，本發(fā)明提供這樣的技術:在使用多個參照圖片對影像進行編碼及解碼時，對誤差進行修復并優(yōu)化參照圖片的選擇。因此，本發(fā)明的效果是提高誤差耐性和編碼效率。[0019]另外，本發(fā)明不僅能夠?qū)崿F(xiàn)為包括這種特征性步驟的影像編碼方法或者影像解碼方法，而且也能夠?qū)崿F(xiàn)為將影像編碼方法或者影像解碼方法中所包含的特征性步驟作為處理部的影像編碼裝置或者影像解碼裝置。并且，也能夠?qū)崿F(xiàn)為使計算機執(zhí)行影像編碼方法或者影像解碼方法中所包含的特征性步驟的程序、或者用于使計算機作為影像編碼裝置或者影像解碼裝置中所包含的特征性處理部而發(fā)揮作用的程序。并且，這種程序當然能夠通過⑶一ROM(Compact一Disc一ReadOnlyMemory)等計算機可讀的非易失性記錄介質(zhì)或因特網(wǎng)等通信網(wǎng)絡進行流通。[0020]發(fā)明效果[0021]本發(fā)明提供這樣的技術:在使用多個參照圖片對影像進行編碼及解碼時，對誤差進行修復并優(yōu)化參照圖片的選擇。因此，本發(fā)明的效果是提高誤差耐性和編碼效率?！緦＠綀D】【附圖說明】[0022]圖1是表示在編碼處理與解碼處理產(chǎn)生不一致時的誤差的傳播的一例、以及限制誤差傳播的本發(fā)明的效果的圖。[0023]圖2是表示在支持時間可擴展的編碼影像比特流中從較低時間等級向較高時間等級的切換點的一例的圖。[0024]圖3是表示使用本發(fā)明的影像編碼處理的流程圖。[0025]圖4是表示使用本發(fā)明的影像解碼處理的流程圖。[0026]圖5是表示使用本發(fā)明的影像編碼裝置的一例的框圖。[0027]圖6是表示使用本發(fā)明的影像解碼裝置的一例的框圖。[0028]圖7是表示用于表示是否使用耐性圖片參照方案的參數(shù)在編碼影像比特流的頭中的位置的圖。[0029]圖8是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼處理的流程圖。[0030]圖9是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼處理的流程圖。[0031]圖10是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式的流程圖。[0032]圖11是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式的流程圖。[0033]圖12是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式中，表示與編碼圖片是否是關鍵圖片相關的類別的標志在編碼圖片的編碼切片的切片頭中的位置的圖。[0034]圖13是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式的流程圖。[0035]圖14是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式的流程圖。[0036]圖15是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及影像解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式中，用于確定編碼圖片的時間等級的參數(shù)在編碼圖片的編碼切片的切片頭中的位置的圖。[0037]圖16是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式的流程圖。[0038]圖17是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式的流程圖。[0039]圖18是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及影像解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式中，用于確定關鍵圖片的周期的參數(shù)在編碼影像比特流的頭中的位置的圖。[0040]圖19是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼裝置的一例的框圖。[0041]圖20是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像解碼裝置的一例的框圖。[0042]圖21是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像編碼處理的流程圖。[0043]圖22是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像解碼處理的流程圖。[0044]圖23是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、構(gòu)成參照圖片的列表的處理的流程圖。[0045]圖24是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第I實施方式的流程圖。[0046]圖25是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第2實施方式的流程圖。[0047]圖26是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第3實施方式的流程圖。[0048]圖27是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像編碼裝置的一例的框圖。[0049]圖28是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像解碼裝置的一例的框圖。[0050]圖29是表示使用本發(fā)明的耐性圖片參照方案的第3實施方式的影像編碼裝置的一例的框圖。[0051]圖30是表示使用本發(fā)明的耐性圖片參照方案的第3實施方式的影像解碼裝置的一例的框圖。[0052]圖31是表示用于確定參照列表重新排序步驟的參數(shù)在影像編碼比特流的切片頭中的位置的圖。[0053]圖32是實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。[0054]圖33是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。[0055]圖34是表示電視機的結(jié)構(gòu)例的模塊圖。[0056]圖35是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。[0057]圖36是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。[0058]圖37A是表示便攜電話的一例的圖。[0059]圖37B是表示便攜電話的結(jié)構(gòu)例的模塊圖。[0060]圖38是表示復用數(shù)據(jù)的結(jié)構(gòu)的圖。[0061]圖39是示意地表示各流在復用數(shù)據(jù)中怎樣被復用的圖。[0062]圖40是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。[0063]圖41是表示復用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。[0064]圖42是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。[0065]圖43是表示復用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。[0066]圖44是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。[0067]圖45是表示識別影像數(shù)據(jù)的步驟的圖。[0068]圖46是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。[0069]圖47是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。[0070]圖48是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。[0071]圖49是表示將影像數(shù)據(jù)的標準與驅(qū)動頻率建立了對應的查找表的一例的圖。[0072]圖50A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。[0073]圖50B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。【具體實施方式】[0074]下面，使用附圖詳細說明本發(fā)明的實施方式。另外，下面說明的實施方式均用于示出本發(fā)明的優(yōu)選的一個具體示例。在下面的實施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接方式、步驟、步驟的順序等僅是一例，其主旨不是限定本發(fā)明。本發(fā)明僅利用權(quán)利要求書進行限定。因此，關于下面的實施方式的構(gòu)成要素中、沒有在表示本發(fā)明的最上位概念的獨立權(quán)利要求中記載的構(gòu)成要素，不一定是實現(xiàn)本發(fā)明的課題所需要的構(gòu)成要素，僅是作為構(gòu)成更優(yōu)選的方式的構(gòu)成要素進行說明的。[0075]本發(fā)明的某個實施方式涉及的影像編碼方法是使用多個參照圖片的影像編碼方法，包括:選擇步驟，選擇在進行影像編碼時是否使用耐性圖片參照方案；寫入步驟，將表示所述選擇的參數(shù)寫入編碼影像比特流的頭中；以及編碼步驟，采用使用所述選擇的結(jié)果的圖片間預測對圖片進行編碼。[0076]優(yōu)選的是，在使用所述耐性圖片參照方案的情況下，編碼圖片被分類為關鍵圖片和非關鍵圖片，根據(jù)和與對象圖片最近的一個以上的關鍵參照圖片的時間上的實例進行比較的所述非關鍵參照圖片的時間上的實例，一個以上的非關鍵圖片不被用作圖片間預測的參照圖片。[0077]另外，也可以是，所述選擇步驟包括將用于對對象圖片確定參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含一個以上所述有效參照圖片的參照圖片列表的步驟；使用所述參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的參數(shù)寫入所述編碼影像比特流中的步驟。[0078]另外，也可以是，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，將用于對所述對象圖片確定不包含非關鍵參照圖片的參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；在所述對象圖片不是關鍵圖片的情況下，將用于對所述對象圖片確定包含至少一個非關鍵參照圖片的參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述參照圖片集中的一個以上的有效參照圖片的參照圖片列表的步驟；使用所述參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的多個參數(shù)寫入所述編碼影像比特流中的步驟。[0079]另外，也可以是，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；將用于對對象圖片確定參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離，構(gòu)建包含所述參照圖片集中的一個以上參照圖片的第I參照圖片列表的步驟；使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述一個以上的有效參照圖片的第2參照圖片列表的步驟；進行所述第I參照圖片列表的重新排序以使其與所述第2參照圖片列表等效的步驟；將用于確定所述參照圖片列表的重新排序的多個參數(shù)寫入到與所述對象圖片中的編碼切片相關聯(lián)的所述編碼影像比特流的頭中的步驟；使用進行了所述重新排序的第I參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用進行了所述重新排序的第I參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的多個參數(shù)寫入所述編碼影像比特流中的步驟。[0080]另外，也可以是，未包含在所述參照圖片集中的圖片被標記為不被用于參照用。[0081]另外，也可以是，所述關鍵圖片是被實施了圖片間預測的圖片。[0082]另外，也可以是，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:將參數(shù)寫入用于確定編碼圖片的時間等級的編碼圖片的編碼切片的頭中的步驟；判定所述參數(shù)是否具有與規(guī)定的值相等的值的步驟；在所述參數(shù)具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述參數(shù)不具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。[0083]另外，也可以是，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定關鍵圖片的周期，將參數(shù)寫入編碼影像比特流的頭中的步驟；判定根據(jù)所述圖片的順序輸出來識別圖片的圖片號碼是否與所述關鍵圖片的周期的整數(shù)倍相等的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍相等的情況下，將所述圖片分類為關鍵圖片的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍不相等的情況下，將所述圖片分類為非關鍵圖片的步驟。[0084]另外，也可以是，使用距所述對象圖片的時間上的距離和圖片類別構(gòu)建包含一個以上的輸入?yún)⒄請D片的參照圖片列表的步驟包括:從所述輸入?yún)⒄請D片中選擇包含一個以上的關鍵圖片在內(nèi)的參照圖片的第I組的步驟；判定所述對象圖片是否是關鍵圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，(i)識別出第I邊界圖片作為具有比所述對象圖片靠前而且與所述對象圖片最近的時間上的實例的關鍵圖片，(ii)識別出第2邊界圖片作為具有比所述對象圖片靠后而且與所述對象圖片最近的時間上的實例的關鍵圖片的步驟；判定是否存在所述第2邊界圖片的步驟；在所述第2邊界圖片不存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第2組，(ii)將所述參照圖片的第2組追加在所述參照圖片的第I組中的步驟；在所述第2邊界圖片存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后而且比所述第2邊界圖片靠前的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第3組，(ii)將所述參照圖片的第3組追加在所述參照圖片的第I組中的步驟；以及無論所述第2邊界圖片是否存在而且無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述圖片類別，將所述參照圖片的第I組置于按照規(guī)定的方案被排序后的參照圖片列表中的步驟。[0085]另外，也可以是，用于將所述參照圖片列表中的多個輸入?yún)⒄請D片排序的規(guī)定的方案包括:從所述輸入?yún)⒄請D片中選擇包含所有關鍵圖片在內(nèi)的參照圖片的第I組的步驟；從所述輸入?yún)⒄請D片中選擇包括未包含在所述參照圖片的第I組中的所有圖片在內(nèi)的參照圖片的第2組的步驟；根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟；根據(jù)距所述對象圖片的時間上的距離，將所述參照圖片的第2組置于所述參照圖片列表中所述參照圖片的第I組之后的步驟。[0086]另外，也可以是，用于將參照圖片列表中的多個輸入?yún)⒄請D片排序的所述規(guī)定的方案包括:根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟。[0087]另外，也可以是，在根據(jù)距對象圖片的時間上的距離將所述多個參照圖片置于參照圖片列表中的步驟中，按照距所述對象圖片的時間上的距離從小到大的順序來放置所述參照圖片。[0088]本發(fā)明的另一個實施方式涉及的影像解碼方法是使用多個參照圖片的影像解碼方法，包括:解析步驟，從編碼影像比特流的頭中解析表示在進行影像編碼時是否使用耐性圖片參照方案的參數(shù)；判定步驟，根據(jù)所述解析出的參數(shù)判定是否使用了所述耐性圖片參照方案；以及解碼步驟，在判定為使用了所述耐性圖片參照方案的情況下，使用所述耐性圖片參照方案進行編碼影像比特流的局部解碼，在判定為未使用所述耐性圖片參照方案的情況下，不使用所述耐性圖片參照方案而進行編碼影像比特流的全部解碼。[0089]優(yōu)選的是，在使用所述耐性圖片參照方案的情況下，編碼圖片被分類為關鍵圖片和非關鍵圖片，根據(jù)和與對象圖片最近的一個以上的關鍵參照圖片的時間上的實例進行了比較的所述非關鍵圖片的時間上的實例，一個以上的非關鍵圖片不被用作圖片間預測的參照圖片。[0090]另外，也可以是，在進行所述局部解碼的步驟中，不對一部分的編碼圖片進行圖片解碼處理。[0091]由此，不會對其它編碼圖片的解碼處理產(chǎn)生影響。[0092]另外，也可以是，所述解析步驟包括:從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述判定步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；以及判定對象圖片是否是關鍵圖片的步驟，所述解碼步驟包括:在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述一個以上有效參照圖片的參照圖片列表的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的參數(shù)的步驟；以及使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟。[0093]另外，也可以是，所述判定步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；以及從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述解碼步驟包括:使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述參照圖片集中的一個以上的有效參照圖片的參照圖片列表的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的多個參數(shù)的步驟；以及使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟。[0094]另外，也可以是，所述判定步驟包括從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述解碼步驟包括:使用距所述對象圖片的時間上的距離構(gòu)建包含所述參照圖片集中的一個以上的參照圖片的參照圖片列表的步驟；從與所述對象圖片中的編碼切片相關聯(lián)的所述編碼影像比特流的頭中，解析用于確定所述參照圖片列表的重新排序的多個參數(shù)的步驟；根據(jù)用于確定參照圖片列表的重新排序的所述解析出的參數(shù)，對所述參照圖片列表進行重新排序的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的多個參數(shù)的步驟；以及使用進行了所述重新排序的參照圖片列表對圖像采樣的塊進行運動預測的步驟。[0095]另外，也可以是，未包含在所述參照圖片集中的圖片被標記為不被用作參照用。[0096]另外，也可以是，所述關鍵圖片是被實施了圖片間預測的圖片。[0097]另外，也可以是，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定所述編碼圖片的時間等級，從編碼圖片的編碼切片的頭中解析參數(shù)的步驟；判定所述參數(shù)是否具有與規(guī)定的值相等的值的步驟；在所述參數(shù)具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述參數(shù)不具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。[0098]另外，也可以是，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定關鍵圖片的周期，從編碼影像比特流的頭中解析參數(shù)的步驟；判定根據(jù)所述圖片的順序輸出來識別編碼圖片的圖片號碼是否與所述關鍵圖片的周期的整數(shù)倍相等的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍相等的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍不相等的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。[0099]另外，也可以是，使用距所述對象圖片的時間上的距離和圖片類別構(gòu)建包含一個以上的輸入?yún)⒄請D片的參照圖片列表的步驟包括:從所述輸入?yún)⒄請D片中選擇包含一個以上的關鍵圖片在內(nèi)的參照圖片的第I組的步驟；判定所述對象圖片是否是關鍵圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，(i)識別出第I邊界圖片作為具有比所述對象圖片靠前而且與所述對象圖片最近的時間上的實例的關鍵圖片，(ii)識別出第2邊界圖片作為具有比所述對象圖片靠后而且與所述對象圖片最近的時間上的實例的關鍵圖片的步驟；判定是否存在所述第2邊界圖片的步驟；在所述第2邊界圖片不存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第2組，(ii)將所述參照圖片的第2組追加在所述參照圖片的第I組中的步驟；在所述第2邊界圖片存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后而且比所述第2邊界圖片靠前的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第3組，(ii)將所述參照圖片的第3組追加在所述參照圖片的第I組中的步驟；以及無論所述第2邊界圖片是否存在而且無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述圖片類別，將所述參照圖片的第I組置于按照規(guī)定的方案被排序后的參照圖片列表中的步驟。[0100]另外，也可以是，用于將所述參照圖片列表中的多個輸入?yún)⒄請D片排序的規(guī)定的方案包括:從所述輸入?yún)⒄請D片中選擇包含所有關鍵圖片在內(nèi)的參照圖片的第I組的步驟；從所述輸入?yún)⒄請D片中選擇包括未包含在所述參照圖片的第I組中的所有圖片在內(nèi)的參照圖片的第2組的步驟；根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟；以及根據(jù)距所述對象圖片的時間上的距離，將所述參照圖片的第2組置于所述參照圖片列表中所述參照圖片的第I組之后的步驟。[0101]另外，也可以是，用于將參照圖片列表中的多個輸入?yún)⒄請D片排序的所述規(guī)定的方案包括:根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟。[0102]另外，也可以是，在根據(jù)距對象圖片的時間上的距離將所述多個參照圖片置于參照圖片列表中的步驟中，按照距所述對象圖片的時間上的距離從小到大的順序來放置所述參照圖片。[0103]為了公開內(nèi)容的整合性，在本說明書中采用這樣的慣例:即，具有時間等級最低的值(例如值“O”)和時間等級次之的較高的值(例如，值1、2和3)的最低幀速率的主要圖片被附加在較低的時間等級的開頭的情況，表示用于提示更高(2倍)幀速率的后續(xù)的圖片的集。在HEVC、擴展H.264MVC和擴展H.264SVC等近期的影像編碼方案中采用相同的慣例，但是在該方案中使用語法參數(shù)temporal」d來表示時間等級。對于本領域技術人員可以理解為基于同樣的目的而采用時間等級較大的值表示較低的幀速率這種替代的慣例。[0104]圖1是表示由于傳輸損失等在編碼處理與解碼處理產(chǎn)生不一致時的誤差的傳播的一例的圖。在圖1(a)所示的現(xiàn)有技術中，誤差被跨越多個圖片傳輸，并作為眼睛能夠持續(xù)看到的缺陷(artifect)有可能經(jīng)常出現(xiàn)在重建圖片中。在圖中，對于受到誤差的影響的圖片利用斜線附加陰影示出。如圖1(b)所示，在本發(fā)明中定義關鍵圖片(keypicture),并對圖片參照進行限制使其與最近的關鍵圖片相鄰，因而從位于在時間上遠離所述最近的關鍵圖片的位置的非關鍵圖片進行的圖片間預測不被允許。為了簡化起見，圖1示出了僅存在前方預測的低延遲編碼事例。但是，對與最近的關鍵圖片相鄰的圖片參照的限制適用于前方及后方這兩種預測方向。使用本發(fā)明能夠利用關鍵圖片(圖片B4)防止誤差傳播，能夠沒有誤差地完美地重建其后續(xù)的圖片(圖片B5、B6、B7等)。[0105]圖2是表示在時間可擴展(temporalscalable)的影像比特流中從較低時間等級向較高時間等級的切換點的生成的本發(fā)明的效果的示例。在現(xiàn)有技術中，如圖2(a)所示，在時間嵌套為無效(disable)時，不支持從較低時間等級向較高時間等級的切換。例如，向最高幀速率(相當于時間等級2)的切換不能在圖片B5中實施，因為在對圖片B5進行解碼時需要圖片BI和圖片B3。[0106]如圖2(b)所示，在現(xiàn)有技術中，在時間嵌套為有效(enable)時，在任何時刻(利用斜線的陰影示出的圖片)都能夠進行從較低時間等級向較高時間等級的切換。例如，在圖片B5中能夠進行向時間等級2的切換，這是因為圖片B5僅根據(jù)圖片IO和圖片B4進行預測。但是，在時間嵌套為有效(enable)時，圖片參照被極端限制，具有對編碼效率帶來損失的趨勢。另一方面，在實際適用時間可擴展的編碼時，也許不需要使哪個圖片都具有切換點。[0107]如上所述，根據(jù)本發(fā)明以使與關鍵圖片相鄰的方式來限制圖片參照。其結(jié)果是，關鍵圖片所附帶的各時間等級的第I圖片能夠用作切換點。例如，圖片B2是針對時間等級I的有效切換點，圖片BI是針對時間等級2的有效切換點。任意時間等級的下一個圖片(例如時間等級2的圖片B3)不能用作切換點。但是，對于針對這些下一個圖片的圖片參照的限制較低(例如，對于圖片Bll允許將圖片B9用作預測參照)，因而能夠進行更有效的編碼。因此，本發(fā)明實現(xiàn)時間可擴展特性和編碼效率間的實際平衡。[0108]圖3是表示使用本發(fā)明的影像編碼處理的流程圖。另外，在本說明書中說明的模塊是指軟件模塊或者硬件模塊。模塊300選擇是否使用耐性圖片參照方案。模塊302將表示所述選擇的參數(shù)寫入編碼影像比特流的頭中。然后，模塊304采用使用所述選擇的結(jié)果的圖片間預測對圖片進行編碼。在使用所述耐性圖片參照方案的情況下，按照上述的以與關鍵圖片相鄰的方式來限制圖片參照的方法執(zhí)行參照圖片選擇處理和排序處理。下面，在本說明書中詳細說明所述耐性圖片參照方案的實施方式。[0109]圖4是表示使用本發(fā)明的影像解碼處理的流程圖。模塊400從編碼影像比特流的頭中解析表示是否使用耐性圖片參照方案的參數(shù)。然后，模塊402判定是否使用耐性圖片參照方案。[0110]在使用所述耐性圖片參照方案的情況下，模塊404使用所述耐性圖片參照方案對編碼影像比特流實施局部解碼。在所述局部解碼中，按照與編碼處理相同的方法來使用耐性圖片參照方案。在所述局部解碼中，在不會影響到其它編碼圖片的解碼處理的情況下，幾個編碼圖片的解碼處理被省略。[0111]在不使用所述耐性圖片參照方案的情況下，模塊406不使用所述耐性圖片參照方案而進行編碼影像比特流的全部解碼。[0112]圖5是表示使用本發(fā)明的影像編碼裝置的一例的框圖。本裝置具有參照方案選擇部500、編碼部502、寫入部504和存儲器部506。[0113]如圖5所示，參照方案選擇部500選擇是否使用耐性圖片參照方案。編碼部502使用參照方案選擇部500的選擇結(jié)果即方案選擇D501和在存儲器部506中保存的參照圖片D511，并采用圖片間預測對未被壓縮的原始圖像D503進行編碼，其結(jié)果是能夠得到編碼圖片數(shù)據(jù)D505和參照圖片數(shù)據(jù)D507。寫入部504獲取所述編碼圖片數(shù)據(jù)D505和所述方案選擇D501，生成編碼影像比特流D509。所述參照圖片數(shù)據(jù)D507由所述原始圖像D503的被重建的采樣(sample)構(gòu)成，并保存在存儲器部506中。在使用耐性圖片參照方案的第I實施方式的本發(fā)明的一個可能的實施例中，所述參照圖片數(shù)據(jù)D507還具有圖片標記信號，用于對在存儲器部506中保存的參照圖片進行被用于參照用或者不被用于參照用的標記。[0114]圖6是表示使用本發(fā)明的影像解碼裝置的一例的框圖。本裝置具有解析部600、第I開關部602、第I解碼部604、第2解碼部606、第2開關部608和存儲器部601。[0115]如圖所示，解析部600解析編碼影像比特流D601的頭，并取得表示是否使用耐性圖片參照方案的選擇的參數(shù)D603。根據(jù)解析出的所述參數(shù)D603，開關部602向第I解碼部604或者第2解碼部606中某一方發(fā)送編碼影像比特流D601。[0116]如果使用在存儲器部506中保存的參照圖片D615，則所述第I解碼部604使用所述耐性圖片參照方案進行編碼影像比特流D605的局部解碼。在所述局部解碼中，在不會影響到其它編碼圖片的解碼處理的情況下，幾個編碼圖片的解碼處理被省略。在使用耐性圖片參照方案的第I實施方式的本發(fā)明的一個可能的實施例中，所述第I解碼部604發(fā)送圖片標記信號，用于對在存儲器部610中保存的參照圖片進行被用于參照用或者不被用于參照用的標記。[0117]另一方面，使用在存儲器部610中保存的參照圖片D615，所述第2解碼部606在不使用所述耐性圖片參照方案的情況下進行編碼影像比特流D609的全部解碼。根據(jù)解析出的所述參數(shù)603，第2開關部608將來自第I解碼部604的重建圖片D607或者來自第2解碼部606的重建圖片D611，作為解碼處理的輸出D613進行發(fā)送。作為解碼處理的輸出D613的重建圖片被保存在存儲器部610中，在下一個編碼圖片的圖片間預測解碼處理中使用。[0118]圖7是表示用于表示是否使用耐性圖片參照方案的參數(shù)在編碼影像比特流的頭中的位置的圖。作為參數(shù)的一例有表示使用所述耐性圖片參照方案的值I的標志(flag)和表示不使用所述耐性圖片參照方案的值O的標志。圖7(a)表示所述參數(shù)在壓縮影像比特流的序列頭中的位置。圖7(b)表示所述參數(shù)在壓縮影像比特流的圖片頭中的位置。圖7(c)表示所述參數(shù)在壓縮影像比特流的切片頭中的位置。圖7(d)表示根據(jù)位于壓縮影像比特流的序列頭中的規(guī)范(profile)參數(shù)、等級參數(shù)、或者規(guī)范和等級兩個參數(shù),從規(guī)定的查找表(lookuptable)生成所述參數(shù)。[0119]圖8是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼處理的流程圖。模塊800決定表示圖片是否是關鍵圖片的類別。下面，詳細說明表示圖片是否是關鍵圖片的所述類別的實施方式。模塊802判定對象圖片是否是關鍵圖片。在對象圖片是關鍵圖片的情況下，模塊804對在圖片存儲器中保存的非關鍵參照圖片進行不被用作參照用的標記。[0120]然后，無論對象圖片是否是關鍵圖片，在模塊804中都使用被標記為被用作參照用的參照圖片(被標記為不被用作參照用的參照圖片以外的參照圖片)對圖像采樣的塊執(zhí)行運動估計(motionestimation)處理,在模塊808中都使用被標記為被用作參照用的參照圖片對圖像采樣的所述塊執(zhí)行運動預測(motionprediction)處理。[0121]圖9是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼處理的流程圖。模塊900決定表示圖片是否是關鍵圖片的類別。模塊902判定對象圖片是否是關鍵圖片。在對象圖片是關鍵圖片的情況下，模塊904對在圖片存儲器中保存的非關鍵參照圖片進行不被用作參照用的標記。[0122]然后，無論對象圖片是否是關鍵圖片，在模塊906中都使用被標記為被用作參照用的參照圖片(被標記為不被用作參照用的參照圖片以外的參照圖片)對圖像采樣的塊執(zhí)行運動預測處理。[0123]圖10是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式的流程圖。模塊1000將表示與所述編碼圖片是否是關鍵圖片相關的類別的標志寫入編碼圖片的編碼切片的切片頭中。[0124]圖11是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式的流程圖。模塊1100從編碼圖片的編碼切片的切片頭中解析表示與所述編碼圖片是否是關鍵圖片相關的類別的標志。[0125]圖12是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第I實施方式中，表示與編碼圖片是否是關鍵圖片相關的類別的標志在編碼圖片的編碼切片的切片頭中的位置的圖。在編碼影像比特流中，利用一個以上的切片網(wǎng)絡提取層單元(NALU)表示編碼圖片。表示圖片的所述類別的所述標志位于切片NALU的NALU頭(header)。[0126]圖13是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式的流程圖。首先，模塊1300將參數(shù)寫入編碼圖片的編碼切片的切片頭中，并確定所述編碼圖片的時間等級。作為用于確定時間等級的所述參數(shù)的示例，有HEVC影像編碼方案的語法參數(shù)temporaljd。模塊1302判定所述參數(shù)是否具有與規(guī)定的值相等的值。作為所述規(guī)定值的示例有表示與最低的幀速率顯示相當?shù)淖畹偷臅r間等級的值“O”。在所述參數(shù)值與所述規(guī)定值相等的情況下，模塊1304將所述編碼圖片分類為關鍵圖片。在所述參數(shù)值與所述規(guī)定值不相等的情況下，模塊1306將所述編碼圖片分類為非關鍵圖片。[0127]圖14是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式的流程圖。首先，模塊1400從編碼圖片的編碼切片的切片頭中解析參數(shù)，并確定所述編碼圖片的時間等級。模塊1402判定所述參數(shù)是否具有與規(guī)定的值相等的值。在所述參數(shù)值與所述規(guī)定值相等的情況下，模塊1404將所述編碼圖片分類為關鍵圖片。在所述參數(shù)值與所述規(guī)定值不相等的情況下，模塊1406將所述編碼圖片分類為非關鍵圖片。[0128]圖15是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及影像解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第2實施方式中，用于確定編碼圖片的時間等級的參數(shù)在編碼圖片的編碼切片的切片頭中的位置的圖。圖15(a)表示用于表示編碼圖片的所述參數(shù)在切片NALU的NALU頭的位置。圖15(b)表示所述參數(shù)在壓縮影像比特流的切片頭中的位置。[0129]圖16是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式的流程圖。首先，模塊1600將參數(shù)寫入編碼影像比特流的頭中，并確定關鍵圖片的周期(期間)。并且，模塊1602判定圖片的圖片數(shù)量(在輸出順序中)是否與關鍵圖片的所述周期的整數(shù)倍相等。在所述圖片的所述圖片數(shù)量與關鍵圖片的所述周期的整數(shù)倍相等的情況下，模塊1604將所述圖片分類為關鍵圖片。在所述圖片的所述圖片數(shù)量與關鍵圖片的所述周期的整數(shù)倍不相等的情況下，模塊1606將所述圖片分類為非關鍵圖片。作為確定關鍵圖片的周期的所述參數(shù)值的示例，有表示每4個圖片產(chǎn)生關鍵圖片的值4。在這種情況下，根據(jù)輸出順序，具有圖片數(shù)量為0、4、8、12等的圖片被分類為關鍵圖片，其它圖片全部被分類為非關鍵圖片。[0130]圖17是表示在使用本發(fā)明的耐性圖片參照方案的影像解碼處理中、決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式的流程圖。首先，模塊1700從編碼影像比特流的頭中解析參數(shù)，并確定關鍵圖片的周期。并且，模塊1702判定編碼圖片的圖片數(shù)量(在輸出順序中)是否與關鍵圖片的所述周期的整數(shù)倍相等。在所述編碼圖片的所述圖片數(shù)量與關鍵圖片的所述周期的整數(shù)倍相等的情況下，模塊1704將所述編碼圖片分類為關鍵圖片。在所述圖片的所述圖片數(shù)量與關鍵圖片的所述周期的整數(shù)倍不相等的情況下，模塊1706將所述編碼圖片分類為非關鍵圖片。[0131]圖18是表示在使用本發(fā)明的耐性圖片參照方案的影像編碼處理及影像解碼處理中決定用于表示圖片是否是關鍵圖片的類別的處理的第3實施方式中，表示用于確定關鍵圖片的周期的參數(shù)在編碼影像比特流的頭中的位置的圖。圖18(a)表示所述參數(shù)在壓縮影像比特流的序列頭中的位置。圖18(b)表示所述參數(shù)在壓縮影像比特流的圖片頭中的位置。圖18(c)表示所述參數(shù)在壓縮影像比特流的切片頭中的位置。圖18(d)表示所述參數(shù)也能夠根據(jù)位于壓縮影像比特流的序列頭中的規(guī)范參數(shù)、等級參數(shù)、或者規(guī)范和等級這兩種參數(shù)，從規(guī)定的查找表生成。[0132]圖19是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像編碼裝置的一例的框圖。本裝置具有類別決定部1900、存儲器部1902、第I開關部1904、標記部1906、第2開關部1908、列表生成部1910、運動估計部1912、運動預測部1914和寫入部1916。[0133]如圖所示，運動估計部1912讀出圖像采樣的塊D1919和參照圖片的一個以上的列表D1917，并輸出運動矢量的集合D1921。運動預測部1914讀出運動矢量的集合D1921和參照圖片的列表D1917，并輸出預測采樣的塊D1923。[0134]類別決定部1900讀出輸入數(shù)據(jù)D1901并進行處理，生成表示圖片是否是關鍵圖片的類別信號D1903和輸出數(shù)據(jù)D1925。輸出數(shù)據(jù)D1925通過寫入部1916被寫入到編碼影像比特流D1927中。[0135]在使用圖10公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第I實施方式的本發(fā)明的一個可能的實施例中，所述輸入數(shù)據(jù)D1901是表示與所述編碼圖片是否是關鍵圖片相關的類別的標志。根據(jù)該實施方式，類別決定部1900將所述標志作為雙方的輸出即類別信號D1903和輸出數(shù)據(jù)D1925，并傳遞給下一個單元。[0136]在使用圖13公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第2實施方式的本發(fā)明的另一個可能的實施例中，所述輸入數(shù)據(jù)D1901是編碼圖片的時間等級。使用編碼圖片的所述時間等級，類別決定部1900決定表示圖片是否是關鍵圖片的類別信號D1903并進行輸出。根據(jù)該實施方式，類別決定部1900將編碼圖片的時間等級作為輸出數(shù)據(jù)D1925發(fā)送給寫入部1916。[0137]在使用圖16公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第3實施方式的本發(fā)明的又一個可能的實施例中，所述輸入數(shù)據(jù)D1901有時是關鍵圖片的周期。使用關鍵圖片的所述周期，類別決定部1900決定表示圖片是否是關鍵圖片的類別信號D1903并進行輸出。根據(jù)該實施方式，類別決定部1900將編碼圖片的周期作為輸出數(shù)據(jù)D1925發(fā)送給寫入部1916。[0138]第I開關部1904使用類別信號D1903作為控制信號，在類別信號D1903表示非關鍵圖片時，從存儲器部1902向第2開關部1908發(fā)送參照圖片D1905，在類別信號D1903表示關鍵圖片時，從存儲器部1902向標記部1906發(fā)送參照圖片D1905。標記部1906檢查輸入?yún)⒄請D片D1909，然后發(fā)送標記信號D1911，存儲器部1902將非關鍵參照圖片標記為不被用作參照用，并輸出被標記為在參照圖片D1913中使用的參照圖片。第2開關部1908根據(jù)類別信號D1903選擇參照圖片D1907或者參照圖片D1913。列表生成部1910讀出參照圖片D1915，并輸出參照圖片的一個以上的列表D1917。[0139]圖20是表示使用本發(fā)明的耐性圖片參照方案的第I實施方式的影像解碼裝置的一例的框圖。本裝置具有類別決定部2000、存儲器部2002、第I開關部2004、標記部2006、第2開關部2008、列表生成部2010和運動預測部2012。[0140]如圖所示，運動預測部2012讀出被解碼后的運動矢量的集合D2019和參照圖片的一個以上的列表D2017，并輸出預測采樣的塊D2021。[0141]類別決定部2000讀出所解析出的輸入數(shù)據(jù)D2001并進行處理，生成表示圖片是否是關鍵圖片的類別信號D2003。[0142]在使用圖11公開的、在影像解碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第I實施方式的本發(fā)明的一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2001是表示與所述編碼圖片是否是關鍵圖片相關的類別的解析標志。根據(jù)該實施方式，類別決定部2000將所述解析標志作為類別信號D2003進行輸出。[0143]在使用圖14公開的、在影像解碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第2實施方式的本發(fā)明的另一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2001是編碼圖片的時間等級。使用編碼圖片的所述被解析出的時間等級，類別決定部2000決定用于表示圖片是否是關鍵圖片的類別信號D2003并進行輸出。[0144]在使用圖17公開的、決定表示圖片是否是關鍵圖片的類別決定處理的第3實施方式的本發(fā)明的又一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2001是關鍵圖片的被解析出的周期。使用關鍵圖片的所述被解析出的周期，類別決定部2000決定用于表示圖片是否是關鍵圖片的類別信號D2003并進行輸出。[0145]第I開關部2004使用類別信號D2003作為控制信號，在類別信號D2003表示非關鍵圖片時，從存儲器部2002向第2開關部2008發(fā)送參照圖片D2005，在類別信號D2003表示關鍵圖片時，從存儲器部2002向標記部2006發(fā)送參照圖片D2005。標記部2006檢查輸入?yún)⒄請D片D2009，然后發(fā)送標記信號D2011，存儲器部2002中的非關鍵參照圖片被標記為不被用作參照用，并輸出被標記為被用作參照用的參照圖片D2013。第2開關部2008根據(jù)類別信號D2003選擇參照圖片D2007或者參照圖片D2013。列表生成部2010讀出參照圖片D2015，并輸出參照圖片的一個以上的列表D2017。[0146]圖21是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像編碼處理的流程圖。模塊2100決定用于表示圖片是否是關鍵圖片的類別。關于決定用于表示圖片是否是關鍵圖片的所述類別的步驟的實施方式，已在本說明書的前面的部分中進行了詳細說明。模塊2102使用距對象圖片的時間上的距離以及表示圖片是否是關鍵圖片的所述類別，構(gòu)成參照圖片的列表。然后，在模塊2104中使用參照圖片的所述列表對圖像采樣的塊執(zhí)行運動估計處理，在模塊2106中使用參照圖片的所述列表對圖像采樣的塊執(zhí)行運動預測處理。[0147]圖22是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像解碼處理的流程圖。模塊2200決定用于表示圖片是否是關鍵圖片的類別。模塊2202使用距對象圖片的時間上的距離以及表示圖片是否是關鍵圖片的所述類別，構(gòu)成參照圖片的列表。然后，在模塊2204中使用參照圖片的所述列表對圖像采樣的塊執(zhí)行運動預測處理。[0148]圖23是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、構(gòu)成參照圖片的列表的處理的流程圖。如圖所示，模塊2300選擇由關鍵圖片構(gòu)成的參照圖片的第I組。模塊2302使用距對象圖片的時間上的距離、生成由按照第I規(guī)定方法被排序(sort)的參照圖片的所述第I組構(gòu)成的參照圖片的列表。然后，模塊2304判定所述對象圖片是否是關鍵圖片。[0149]在所述對象圖片是關鍵圖片的情況下，參照列表構(gòu)成處理結(jié)束。或者，在所述對象圖片不是關鍵圖片的情況下，模塊2306確定第I關鍵邊界圖片，作為比所述對象圖片靠前而且具有與所述對象圖片最近的時間上的實例(instance)的關鍵參照圖片。然后，模塊2308判定是否存在第2邊界圖片，另一方面，所述第2邊界圖片被確定為比所述對象圖片靠后而且具有與所述對象圖片最近的時間上的實例的關鍵參照圖片。[0150]根據(jù)模塊2308的判定，在所述第2邊界圖片不存在的情況下，模塊2314選擇由具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片構(gòu)成的參照圖片的第2組，模塊2316將參照圖片的所述第2組附加在參照圖片的所述列表中。[0151]根據(jù)模塊2308的判定，在所述第2邊界圖片存在的情況下，模塊2310選擇由具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片構(gòu)成的參照圖片的第3組，模塊2312將參照圖片的所述第3組附加在參照圖片的所述列表中。[0152]然后，無論所述第2邊界圖片是否存在，均由模塊2318使用第2規(guī)定方案對作為其結(jié)果而得到的參照圖片的列表(附加參照圖片的第2組或者第3組任意一方后)進行排序，該第2規(guī)定方案使用距所述對象圖片的時間上的距離和表示圖片是否是關鍵圖片的所述類別。[0153]圖24是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第I實施方式的流程圖。首先，模塊2400根據(jù)距所述對象圖片的時間上的距離，將關鍵參照圖片置于參照圖片的列表的開頭。并且，模塊2402根據(jù)距所述對象圖片的時間上的距離，將非關鍵參照圖片置于所述列表的關鍵參照圖片的后頭。在第2規(guī)定排序方案的一個可能的實施例中，通過根據(jù)時間上的距離將參照圖片置于所述列表中的步驟，能夠得到按照距所述對象圖片的時間上的距離增加的順序而排序的參照圖片。[0154]圖25是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第2實施方式的流程圖。首先，模塊2500選擇由一個以上的關鍵圖片構(gòu)成的參照圖片的第I集合。然后，模塊2502選擇由未包含在參照圖片的所述第I集合中的參照圖片構(gòu)成的參照圖片的第2集合。模塊2504根據(jù)距所述對象圖片的時間上的距離將參照圖片的所述第I集合置于參照圖片的列表的開頭。最后，模塊2506根據(jù)距所述對象圖片的時間上的距離將參照圖片的所述第2集合置于所述列表的參照圖片的所述第I集合之后。在第2規(guī)定排序方案的一個可能的實施例中，通過根據(jù)時間上的距離將參照圖片置于所述列表中的步驟，能夠得到按照距所述對象圖片的時間上的距離增加的順序而排序的參照圖片。[0155]圖26是表示在使用本發(fā)明的耐性圖片參照方案的第2或者第3實施方式的影像編碼處理及影像解碼處理中、將參照圖片的列表排序的處理第2規(guī)定方案的第3實施方式的流程圖。無論與圖片是否是關鍵圖片相關的類別如何，模塊2600都是根據(jù)距所述對象圖片的時間上的距離將參照圖片置于參照圖片的列表中。在第2規(guī)定排序方案的一個可能的實施例中，通過根據(jù)時間上的距離將參照圖片置于所述列表中的步驟，能夠得到按照距所述對象圖片的時間上的距離增加的順序而排序的參照圖片。[0156]圖27是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像編碼裝置的一例的框圖。本裝置具有類別決定部2700、存儲器部2702、第I選擇部2704、第2選擇部2714、第3選擇部2716、列表生成部2706、第I開關部2708、第2開關部2724、邊界確定部2710、第3開關部2712、第4開關部2718、列表附加部2720、列表排序部2722、運動估計部2726、運動預測部2728和寫入部2730。[0157]如圖所示，運動估計部2726讀出圖像采樣的塊D2735和參照圖片的一個以上的列表D2733，并輸出運動矢量的集合D2737。運動預測部2728讀出運動矢量的集合D2737和參照圖片的列表D2733，并輸出預測采樣的塊D2739。[0158]類別決定部2700讀出輸入數(shù)據(jù)D2701并進行處理，生成表示圖片是否是關鍵圖片的類別信號D2703和輸出數(shù)據(jù)D2741。輸出數(shù)據(jù)D2741通過寫入部2730被寫入到編碼影像比特流D2743中。[0159]在使用圖10公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第I實施方式的本發(fā)明的一個可能的實施例中，所述輸入數(shù)據(jù)D2701是表示與所述編碼圖片是否是關鍵圖片相關的類別的標志。根據(jù)該實施方式，類別決定部2700將所述標志作為雙方的輸出即類別信號D2703和輸出數(shù)據(jù)D2741，并傳遞給下一個單元。[0160]在使用圖13公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第2實施方式的本發(fā)明的另一個可能的實施例中，所述輸入數(shù)據(jù)D2701是編碼圖片的時間等級。使用編碼圖片的所述時間等級，類別決定部2700決定表示圖片是否是關鍵圖片的類別信號D2703并進行輸出。根據(jù)該實施方式，類別決定部2700將編碼圖片的時間等級作為輸出數(shù)據(jù)D2741進行輸出。[0161]在使用圖16公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第3實施方式的本發(fā)明的又一個可能的實施例中，所述輸入數(shù)據(jù)D2701是關鍵圖片的周期。使用關鍵圖片的所述周期，類別決定部2700決定表示圖片是否是關鍵圖片的類別信號D2703并進行輸出。根據(jù)該實施方式，類別決定部2700將編碼圖片的周期作為輸出數(shù)據(jù)D2741進行發(fā)送。[0162]第I選擇部2704從存儲器部2702讀出參照圖片D2705，將關鍵參照圖片D2707傳遞給列表生成部2706。由此，生成參照圖片的一個以上的列表D2709。第I開關部2708使用類別信號D2703作為控制信號，在類別信號D2703表示關鍵圖片時，向第2開關部2724發(fā)送參照圖片的列表D2709，在類別信號D2703表示非關鍵圖片時，向列表附加部2720發(fā)送參照圖片的列表D2709。[0163]列表附加部2720將選擇非關鍵參照圖片而得到的組D2727附加在參照圖片的列表D2713中，并輸出參照圖片的擴大列表D2729。列表排序部2722將參照圖片的擴大列表D2729進行排序，并輸出參照圖片的排序列表D2731。根據(jù)類別信號D2703，第2開關部2724將參照圖片的列表D2711或者參照圖片的排序列表D2731中的某一方作為參照圖片的最終列表D2733進行發(fā)送。[0164]邊界確定部2710讀出關鍵參照圖片D2707，并確定由第I及第2邊界圖片構(gòu)成的兩個邊界圖片D2717。邊界確定部2710輸出表示是否存在第2邊界圖片的控制信號D2715。在控制信號D2715表示不存在所述第2邊界圖片的情況下，第3開關部2712向第2選擇部2714發(fā)送邊界圖片D2717。第2選擇部2714從存儲器部2702讀出參照圖片D2705，而且也讀出邊界圖片D2719，并輸出通過選擇非關鍵參照圖片而得到的組D2723。在控制信號D2715表示不存在所述第2邊界圖片的情況下，第3開關部2712向第3選擇部2716發(fā)送邊界圖片D2717。第3選擇部2716從存儲器部2702讀出參照圖片D2705，而且也讀出邊界圖片D2721，并輸出通過選擇非關鍵參照圖片而得到的組D2725。第4開關部2718使用控制信號D2715，將第2選擇部2714的輸出或者第3選擇部2716的輸出作為通過選擇非關鍵參照圖片而得到的組D2727進行發(fā)送。[0165]圖28是表示使用本發(fā)明的耐性圖片參照方案的第2實施方式的影像解碼裝置的一例的框圖。本裝置具有類別決定部2800、存儲器部2802、第I選擇部2804、第2選擇部2814、第3選擇部2816、列表生成部2806、第I開關部2808、第2開關部2824、邊界確定部2810、第3開關部2812、第4開關部2818、列表附加部2820、列表排序部2822、運動預測部2826。[0166]如圖所示，運動預測部2826讀出被解碼后的運動矢量的集合D2835和參照圖片的一個以上的列表D2833，并輸出預測采樣的塊D2837。[0167]類別決定部2800讀出所解析出的輸入數(shù)據(jù)D2801并進行處理，生成表示圖片是否是關鍵圖片的類別信號D2803。[0168]在使用圖11公開的、在影像解碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第I實施方式的本發(fā)明的一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2801是表示與所述編碼圖片是否是關鍵圖片相關的類別的解析標志。根據(jù)該實施方式，類別決定部2800將所述解析標志作為類別信號D2803進行輸出。[0169]在使用圖14公開的、在影像解碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第2實施方式的本發(fā)明的另一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2801是編碼圖片的時間等級。使用編碼圖片的所述被解析出的時間等級，類別決定部2800決定用于表示圖片是否是關鍵圖片的類別信號D2803并進行輸出。[0170]在使用圖17公開的、決定表示圖片是否是關鍵圖片的類別決定處理的第3實施方式的本發(fā)明的又一個可能的實施例中，所述被解析出的輸入數(shù)據(jù)D2801是關鍵圖片的被解析出的周期。使用關鍵圖片的所述被解析出的周期，類別決定部2800決定用于表示圖片是否是關鍵圖片的類別信號D2803并進行輸出。[0171]第I選擇部2804從存儲器部2802讀出參照圖片D2805，并向列表生成部2806傳遞關鍵參照圖片D2807。由此，生成參照圖片的一個以上的列表D2809。第I開關部2808使用類別信號D2803作為控制信號，在類別信號D2803表示關鍵圖片時，向第2開關部2824發(fā)送參照圖片的列表D2809，在類別信號D2803表示非關鍵圖片時，向列表附加部2820發(fā)送參照圖片的列表D2809。列表附加部2820將選擇非關鍵參照圖片而得到的組D2827附加在參照圖片的列表D2813中，并輸出參照圖片的擴大列表D2829。列表排序部2822將參照圖片的擴大列表D2829進行排序，并輸出參照圖片的排序列表D2831。根據(jù)類別信號D2803，第2開關部2824將參照圖片的列表D2811或者參照圖片的排序列表D2831中的某一方作為參照圖片的最終列表D2833進行發(fā)送。[0172]邊界確定部2810讀出關鍵參照圖片D2807，并確定由第I及第2邊界圖片構(gòu)成的兩個邊界圖片D2817。邊界確定部2810輸出表示是否存在第2邊界圖片的控制信號D2815。在控制信號D2815表示不存在所述第2邊界圖片的情況下，第3開關部2812向第2選擇部2814發(fā)送邊界圖片D2817。第2選擇部2814從存儲器部2802讀出參照圖片D2805，而且也讀出邊界圖片D2819，并輸出通過選擇非關鍵參照圖片而得到的組D2823。在控制信號D2815表示不存在所述第2邊界圖片的情況下，第3開關部2812向第3選擇部2816發(fā)送邊界圖片D2817。第3選擇部從存儲器部2802讀出參照圖片D2805，而且也讀出邊界圖片D2821，并輸出通過選擇非關鍵參照圖片而得到的組D2825。第4開關部2818使用控制信號D2815，將第2選擇部2814的輸出或者第3選擇部2816的輸出作為通過選擇非關鍵參照圖片而得到的組D2827進行輸出。[0173]圖29是表示使用本發(fā)明的耐性圖片參照方案的第3實施方式的影像編碼裝置的一例的框圖。模塊2900決定用于表示圖片是否是關鍵圖片的類別。關于決定用于表示圖片是否是關鍵圖片的所述類別的步驟的實施方式，已在本說明書的前面的部分中進行了詳細說明。模塊2902使用距對象圖片的時間上的距離以及表示圖片是否是關鍵圖片的所述類另O，構(gòu)成參照圖片的第I列表。模塊2904使用距對象圖片的時間上的距離以及表示圖片是否是關鍵圖片的所述類別，構(gòu)成參照圖片的第2列表。關于使用距所述對象圖片的時間上的距離和所述類別構(gòu)成參照圖片的列表的所述步驟的實施方式，已在本說明書的前面的部分中進行了詳細說明。模塊2906以使參照圖片的所述第I列表與參照圖片的所述第2列表等效的方式進行重新排序。然后，模塊2908將確定用于對參照圖片的所述第I列表進行重新排序的所述步驟的多個參數(shù)，寫入所述對象圖片的編碼切片的切片頭中。在模塊2910中使用參照圖片的所述第I列表對圖像采樣的塊執(zhí)行運動估計處理，在模塊2912中使用參照圖片的所述第2列表對圖像采樣的所述塊執(zhí)行運動預測處理。[0174]圖30是表示使用本發(fā)明的耐性圖片參照方案的第3實施方式的影像編碼裝置的一例的框圖。本裝置具有類別決定部3000、存儲器部3002、第I選擇部3004、第2選擇部3014、第3選擇部3016、第I列表生成部3030、第2列表生成部3006、第I開關部3008、第2開關部3024、邊界確定部3010、第3開關部3012、第4開關部3018、列表附加部3020、列表排序部3022、運動估計部3026、運動預測部3028、列表重新排序部3032和寫入部3034。[0175]如圖所示，運動估計部3026讀出圖像采樣的塊D3035和參照圖片的一個以上的列表D3043，并輸出運動矢量的集合D3037。運動預測部3028讀出運動矢量的集合D3037和參照圖片的列表D3043，并輸出預測采樣的塊D3039。[0176]類別決定部3000讀出輸入數(shù)據(jù)D3001并進行處理，生成表示圖片是否是關鍵圖片的類別信號D3003和輸出數(shù)據(jù)D3042。[0177]在使用圖10公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第I實施方式的本發(fā)明的一個可能的實施例中，所述輸入數(shù)據(jù)D3001是表示與所述編碼圖片是否是關鍵圖片相關的類別的標志。根據(jù)該實施方式，類別決定部3000將所述標志作為雙方的輸出即類別信號D3003和輸出數(shù)據(jù)D3042，并傳遞給下一個單元。[0178]在使用圖13公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第2實施方式的本發(fā)明的另一個可能的實施例中，所述輸入數(shù)據(jù)D3001是編碼圖片的時間等級。使用編碼圖片的所述時間等級，類別決定部3000決定表示圖片是否是關鍵圖片的類別信號D3003并進行輸出。根據(jù)該實施方式，類別決定部3000將編碼圖片的時間等級作為輸出數(shù)據(jù)D3042進行輸出。[0179]在使用圖16公開的、在影像編碼處理中決定表示圖片是否是關鍵圖片的類別的處理的第3實施方式的本發(fā)明的又一個可能的實施例中，所述輸入數(shù)據(jù)D3001是關鍵圖片的周期。使用關鍵圖片的所述周期，類別決定部3000決定表示圖片是否是關鍵圖片的類別信號D3003并進行輸出。根據(jù)該實施方式，類別決定部3000將編碼圖片的周期作為輸出數(shù)據(jù)D3042進行發(fā)送。[0180]第I列表生成部3030從存儲器部3002讀出參照圖片D3005，生成參照圖片的一個以上的初始列表D3041。列表重新排序部3032取出參照圖片的初始列表D3041和參照圖片的修正列表D3033，生成參照圖片的最終重新排序列表D3043，以便由運動估計部3026和運動預測部3028進行使用。列表重新排序部3032輸出重新排序步驟D3045，進行重新排序以使參照圖片的初始列表D3041與參照圖片的修正列表D3033等效。寫入部3034將來自類別決定部3000的輸出數(shù)據(jù)D3042和重新排序步驟D3045寫入編碼影像比特流D3047中。[0181]參照圖片的修正列表D3033是按照以下所述進行構(gòu)成的。第I選擇部3004從存儲器部3002讀出參照圖片D3005，將關鍵參照圖片D3007傳遞給第2列表生成部D3006。由此，生成參照圖片的一個以上的列表D3009。第I開關部3008使用類別信號D3003作為控制信號，在類別信號D3003表示關鍵圖片時，向第2開關部3024發(fā)送參照圖片的列表D3009，在類別信號D3003表示非關鍵圖片時，向列表附加部3020發(fā)送參照圖片的列表D3009。列表附加部3020將選擇非關鍵參照圖片而得到的組D3027附加在參照圖片的列表D3013中，并輸出參照圖片的擴大列表D3029。列表排序部3022將參照圖片的擴大列表D3029進行排序，并輸出參照圖片的排序列表D3031。根據(jù)類別信號D3003，第2開關部3024將參照圖片的列表D3011或者參照圖片的排序列表D3031作為參照圖片的最終列表D3033進行發(fā)送。[0182]邊界確定部3010讀出關鍵參照圖片D3007，并確定由第I及第2邊界圖片構(gòu)成的兩個邊界圖片D3017。邊界確定部3010輸出表示是否存在第2邊界圖片的控制信號D3015。在控制信號D3015表示不存在所述第2邊界圖片的情況下，第3開關部3012向第2選擇部3014發(fā)送邊界圖片D3017。第2選擇部3014從存儲器部3002讀出參照圖片D3005，而且也讀出邊界圖片D3019，并輸出通過選擇非關鍵參照圖片而得到的組D3023。在控制信號D3015表示不存在所述第2邊界圖片的情況下，第3開關部3012向第3選擇部3016發(fā)送邊界圖片D3017。第3選擇部3016從存儲器部3002讀出參照圖片D3005，而且也讀出邊界圖片D3021，并輸出通過選擇非關鍵參照圖片而得到的組D3025。第4開關部3018使用控制信號D3015，將第2選擇部3014的輸出或者第3選擇部3016的輸出作為通過選擇非關鍵參照圖片而得到的組D3027進行發(fā)送。[0183]圖31是表示用于確定參照列表重新排序步驟的參數(shù)在影像編碼比特流的切片頭中的位置的圖。使用從編碼影像比特流中進行解析得到的多個參照列表重新排序參數(shù)，對應的影像解碼器對參照圖片的規(guī)定列表進行重新排序，并生成在編碼處理中使用的參照圖片的等效修正列表。[0184](實施方式4)[0185]通過將用來實現(xiàn)上述各實施方式所示的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵毩⒌挠嬎銠C系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質(zhì)就可以。[0186]進而，這里說明在上述各實施方式中示出的動態(tài)圖像編碼方法(圖像編碼方法)及動態(tài)圖像解碼方法(圖像解碼方法)的應用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當變更。[0187]圖32是表示實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。[0188]該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務提供商exl02及電話網(wǎng)exl04、及基站exl07?exllO連接著計算機exlll、PDA(PersonalDigitalAssistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。[0189]但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖32那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl07?exllO將各設備直接連接在電話網(wǎng)exl04上。此外，也可以將各設備經(jīng)由近距離無線等直接相互連接。[0190]照相機exll3是能夠進行數(shù)字攝像機等的動態(tài)圖像攝影的設備，照相機exll6是能夠進行數(shù)字照相機等的靜止圖像攝影、動態(tài)圖像攝影的設備。此外，便攜電話exll4是GSM(GlobalSystemforMobileCommunications)方式、CDMA(CodeDivisionMultipleAccess)方式、W—CDMA(Wideband—CodeDivisionMultipleAccess)方式、或LTE(LongTermEvolution)方式、HSPA(HighSpeedPacketAccess)的便攜電話機、或PHS(PersonalHandyphoneSystem)等，是哪種都可以。[0191]在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機exll3等經(jīng)由基站exl09、電話網(wǎng)exl04連接在流媒體服務器exl03上，能夠進行現(xiàn)場分發(fā)等。在現(xiàn)場分發(fā)中，對用戶使用照相機exll3攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務器exl03發(fā)送。另一方面，流媒體服務器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機exlll、PDAexll2、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發(fā)的數(shù)據(jù)的各設備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。[0192]另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機exll3進行，也可以由進行數(shù)據(jù)的發(fā)送處理的流媒體服務器exl03進行，也可以相互分擔進行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進行，也可以由流媒體服務器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或動態(tài)圖像數(shù)據(jù)經(jīng)由計算機exlll向流媒體服務器exl03發(fā)送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務器exl03的哪個進行都可以，也可以相互分擔進行。[0193]此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將動態(tài)圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(zhì)(⑶一ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的動態(tài)圖像數(shù)據(jù)發(fā)送。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。[0194]此外，也可以是，流媒體服務器exl03是多個服務器或多個計算機，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。[0195]如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設備的用戶也能夠?qū)崿F(xiàn)個人廣播。[0196]另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖33所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少動態(tài)圖像編碼裝置(圖像編碼裝置)或動態(tài)圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復用了音樂數(shù)據(jù)等而得到的復用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的動態(tài)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB)ex217等的裝置將接收到的復用數(shù)據(jù)解碼并將其再現(xiàn)(S卩，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。[0197]此外，可以在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機頂盒ex217內(nèi)安裝動態(tài)圖像解碼裝置，將其用電視機的監(jiān)視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內(nèi)裝入動態(tài)圖像解碼裝置。[0198]圖34是表示使用在上述各實施方式中說明的動態(tài)圖像解碼方法及動態(tài)圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復用了聲音數(shù)據(jù)的復用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿縠x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復用的復用/分離部ex303。[0199]此外，電視機ex300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結(jié)構(gòu)。電視機ex300的各部經(jīng)由同步總線相互連接。[0200]首先，對電視機ex300將通過天線ex204等從外部取得的復用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復用數(shù)據(jù)用復用/分離部ex303分離。進而，電視機ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復用數(shù)據(jù)。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離部ex303復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進而，在圖示以外，也可以在例如調(diào)制/解調(diào)部ex302或復用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。[0201]此外，電視機ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風或照相機的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進行編碼處理。另夕卜，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結(jié)構(gòu)進行了說明，但也可以不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。[0202]此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。[0203]作為一例，將從光盤進行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖35中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導體激光器，根據(jù)記錄數(shù)據(jù)進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406—邊控制盤馬達ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進行激光斑的追蹤處理。系統(tǒng)控制部ex407進行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進行新的信息的生成、追力口、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。[0204]以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用接近場光進行高密度的記錄的結(jié)構(gòu)。[0205]在圖36中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。[0206]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現(xiàn)的構(gòu)造的光盤。[0207]此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的車載導航儀ex211等的顯示裝置上再現(xiàn)動態(tài)圖像。另夕卜，車載導航儀ex211的結(jié)構(gòu)可以考慮例如在圖34所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結(jié)構(gòu)。[0208]圖37A是表示使用在上述實施方式中說明的動態(tài)圖像解碼方法和動態(tài)圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。[0209]進而，使用圖37B對便攜電話exl14的結(jié)構(gòu)例進行說明。便攜電話exl14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD(LiquidCrystalDisplay:液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。[0210]電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態(tài)。[0211]便攜電話exl14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。[0212]進而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350o[0213]在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的動態(tài)圖像編碼方法進行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數(shù)據(jù)送出至復用/分離部ex353。[0214]復用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進行復用，將其結(jié)果得到的復用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。[0215]在數(shù)據(jù)通信模式時接收到鏈接到主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復用數(shù)據(jù)進行解碼，復用/分離部ex353通過將復用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的動態(tài)圖像編碼方法相對應的動態(tài)圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的動態(tài)圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。[0216]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設為發(fā)送、接收在影像數(shù)據(jù)中復用了音樂數(shù)據(jù)等得到的復用數(shù)據(jù)而進行了說明，但除聲音數(shù)據(jù)之外復用了與影像關聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。[0217]這樣，將在上述各實施方式中表示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述哪種設備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。[0218]此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進行各種變形或修正。[0219](實施方式5)[0220]也可以通過將在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、與依據(jù)MPEG-2、MPEG4—AVC,VC一I等不同的標準的動態(tài)圖像編碼方法或裝置根據(jù)需要而適當切換,來生成影像數(shù)據(jù)。[0221]這里，在生成分別依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個標準，所以產(chǎn)生不能選擇適當?shù)慕獯a方法的問題。[0222]為了解決該問題，在影像數(shù)據(jù)中復用了聲音數(shù)據(jù)等的復用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個標準的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復用數(shù)據(jù)的具體的結(jié)構(gòu)。復用數(shù)據(jù)是MPEG-2傳輸流形式的數(shù)字流。[0223]圖38是表示復用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖38所示，復用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、依據(jù)以往的MPEG-2、MPEG4—AVC,VC一I等標準的動態(tài)圖像編碼方法或裝置編碼。音頻流由杜比AC—3、DolbyDigitalPlus、MLP、DTS、DTS—HD、或線性PCM等的方式編碼。[0224]包含在復用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。[0225]圖39是示意地表示復用數(shù)據(jù)怎樣被復用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數(shù)據(jù)ex247通過將這些TS包復用到I條流中而構(gòu)成。[0226]圖40更詳細地表示在PES包序列中怎樣保存視頻流。圖40的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖40的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為VideoPresentationUnit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS(PresentationTime-Stamp)及作為圖片的解碼時刻的DTS(DecodingTime-Stamp)?[0227]圖41表示最終寫入在復用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD—ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header,構(gòu)成192字節(jié)的源包,寫入到復用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS(Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復用數(shù)據(jù)中，源包如圖41下段所示排列，從復用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN(源包號)。[0228]此外，在復用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT(ProgramAssociationTable)、PMT(ProgramMapTable)、PCR(ProgramClockReference)等。PAT表示在復用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關于復用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC(ArrivalTimeClock)與作為PTS及DTS的時間軸的STC(SystemTimeClock)的同步，擁有與該PCR包被轉(zhuǎn)送至解碼器的ATS對應的STC時間的信息。[0229]圖42是詳細地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關于復用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關于包含在復用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復用數(shù)據(jù)中存在的流的數(shù)量。[0230]在記錄到記錄介質(zhì)等中的情況下，將上述復用數(shù)據(jù)與復用數(shù)據(jù)信息文件一起記錄。[0231]復用數(shù)據(jù)信息文件如圖43所示，是復用數(shù)據(jù)的管理信息，與復用數(shù)據(jù)一對一地對應，由復用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。[0232]復用數(shù)據(jù)信息如圖43所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復用數(shù)據(jù)的向后述的系統(tǒng)目標解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復用數(shù)據(jù)中的ATS的間隔設定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設定為對復用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。[0233]流屬性信息如圖44所示，按每個PID登記有關于包含在復用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。[0234]在本實施方式中，使用上述復用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復用數(shù)據(jù)的情況下，使用包含在復用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態(tài)圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標準的影像數(shù)據(jù)。[0235]此外，在圖45中表示本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exSlOO中，從復用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的動態(tài)圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG-2、MPEG4—AVC,VC一I等的標準的復用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的標準的動態(tài)圖像解碼方法進行解碼。[0236]這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的動態(tài)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標準的復用數(shù)據(jù)的情況下，也能夠選擇適當?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進行解碼。此外，將在本實施方式中示出的動態(tài)圖像編碼方法或裝置、或者動態(tài)圖像解碼方法或裝置用在上述任何設備、系統(tǒng)中。[0237](實施方式6)[0238]在上述各實施方式中示出的動態(tài)圖像編碼方法及裝置、動態(tài)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖46中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500具備以下說明的單元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。[0239]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AVI/0ex509從麥克風exl17及照相機exl13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當?shù)胤譃槎啻蔚龋蛐盘柼幚聿縠x507發(fā)送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。[0240]另外，在上述中，設存儲器ex511為LSIex500的外部的結(jié)構(gòu)進行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。[0241]此外，在上述中，假設控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等,但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如,也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。[0242]另外，這里設為LSI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(super)LS1、特級(ultra)LSI的情況。[0243]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA(FieldProgrammableGateArray)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設定的可重構(gòu)處理器。[0244]進而，如果因半導體技術的進步或派生的其他技術而出現(xiàn)代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。[0245](實施方式7)[0246]在將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG-2、MPEG4—AVC,VC一I等標準的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據(jù)以往的標準的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設得高，則發(fā)生消耗電力變高的問題。[0247]為了解決該問題，電視機ex300、LSIex500等的動態(tài)圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個標準、并根據(jù)標準切換驅(qū)動頻率的結(jié)構(gòu)。圖47表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設定得高。并且，對執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標準的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設定得低。并且，對依據(jù)以往的標準的解碼處理部ex802指示將影像數(shù)據(jù)解碼。[0248]更具體地講，驅(qū)動頻率切換部ex803由圖46的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標準的解碼處理部ex802對應于圖46的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標準。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式5中記載的識別信息。關于識別信息，并不限定于在實施方式5中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個標準的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖49所示的將影像數(shù)據(jù)的標準與驅(qū)動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。[0249]圖48表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設定得高的信號。并且，在驅(qū)動頻率控制部ex512中設定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG—2、MPEG4-AVC、VC—I等的標準的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。[0250]進而，通過與驅(qū)動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節(jié)電效果。例如，在將驅(qū)動頻率設定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。[0251]此外，驅(qū)動頻率的設定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據(jù)MPEG4-AVC標準的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進行驅(qū)動頻率的設定。[0252]進而，驅(qū)動頻率的設定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據(jù)以往的MPEG-2、MPEG4一AVC、VC一I等的標準的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG—2、MPEG4—AVC,VC一I等的標準的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG-2、MPEG4—AVC,VC一I等的標準的影像數(shù)據(jù)的情況相比，將停止時間設定得短。[0253]這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標準來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。[0254](實施方式8)[0255]在電視機、便攜電話等上述的設備、系統(tǒng)中，有時被輸入依據(jù)不同的標準的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。[0256]為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG-2、MPEG4—AVC,VC一I等的標準的解碼處理部一部分共用的結(jié)構(gòu)。圖50A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的動態(tài)圖像解碼方法和依據(jù)MPEG4-AVC標準的動態(tài)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通。可以考慮如下結(jié)構(gòu):關于共通的處理內(nèi)容，共用對應于MPEG4-AVC標準的解碼處理部ex902，關于不對應于MPEG4—AVC標準的本發(fā)明所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。關于解碼處理部的共用，也可以是如下結(jié)構(gòu):關于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部，關于MPEG4-AVC標準所特有的處理內(nèi)容，使用專用的解碼處理部。[0257]此外，用圖50B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內(nèi)容對應的專用的解碼處理部exl002、和與在本發(fā)明的一個方式的動態(tài)圖像解碼方法和其他的以往標準的動態(tài)圖像解碼方法中共通的處理內(nèi)容對應的共用的解碼處理部exl003的結(jié)構(gòu)。這里,專用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個方式、或者其他的以往標準所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIeX500安裝本實施方式的結(jié)構(gòu)。[0258]這樣，對于在本發(fā)明的一個方式的動態(tài)圖像解碼方法和以往的標準的動態(tài)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。[0259]產(chǎn)業(yè)上的可利用性[0260]本發(fā)明能夠適用于影像編碼裝置及影像解碼裝置等。[0261]標號說明[0262]500參照方案選擇部；502編碼部;504、1916、2730、3034寫入部;506、610、1902、2002、2702、2802、3002存儲器部；600解析部;602、1904、2004、2708、2808、3008第I開關部;604第I解碼部;606第2解碼部;608、1908、2008、2724、2824、3024第2開關部；1900、2000、2700、2800、3000類別決定部;1906、2006標記部;1910、2010、2706、2806列表生成部；1912、2726、3026運動估計部;1914、2012、2728、2826、3028運動預測部;2704、2804、3004第I選擇部;2710、2810、3010邊界確定部;2712、2812、3012第3開關部;2714、2814、3014第2選擇部；2716、2816、3016第3選擇部；2718、2818、3018第4開關部；2720、2820、3020列表附加部；2722、2822、3022列表排序部；3006第2列表生成部；3030第I列表生成部；3032列表重新排序部。【權(quán)利要求】1.一種影像編碼方法，使用多個參照圖片，該影像編碼方法包括:選擇步驟，選擇在進行影像編碼時是否使用耐性圖片參照方案；寫入步驟，將表示所述選擇的參數(shù)寫入編碼影像比特流的頭中；以及編碼步驟，采用使用所述選擇的結(jié)果的圖片間預測對圖片進行編碼。2.根據(jù)權(quán)利要求1所述的影像編碼方法，在使用所述耐性圖片參照方案的情況下，編碼圖片被分類為關鍵圖片和非關鍵圖片，根據(jù)和與對象圖片最近的一個以上的關鍵參照圖片的時間上的實例進行比較的所述非關鍵參照圖片的時間上的實例，一個以上的非關鍵圖片不被用作圖片間預測的參照圖片。3.根據(jù)權(quán)利要求1所述的影像編碼方法，所述選擇步驟包括將用于對對象圖片確定參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類另IJ，構(gòu)建包含一個以上所述有效參照圖片的參照圖片列表的步驟；使用所述參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的參數(shù)寫入所述編碼影像比特流中的步驟。4.根據(jù)權(quán)利要求1所述的影像編碼方法，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，將用于對所述對象圖片確定不包含非關鍵參照圖片的參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；在所述對象圖片不是關鍵圖片的情況下，將用于對所述對象圖片確定包含至少一個非關鍵參照圖片的參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述參照圖片集中的一個以上的有效參照圖片的參照圖片列表的步驟；使用所述參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的多個參數(shù)寫入所述編碼影像比特流中的步驟。5.根據(jù)權(quán)利要求1所述的影像編碼方法，所述編碼步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；將用于對對象圖片確定參照圖片集的多個參數(shù)寫入編碼影像比特流的頭中的步驟；判定對象圖片是否是關鍵圖片的步驟；在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離，構(gòu)建包含所述參照圖片集中的一個以上參照圖片的第I參照圖片列表的步驟；使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述一個以上的有效參照圖片的第2參照圖片列表的步驟；進行所述第I參照圖片列表的重新排序以使其與所述第2參照圖片列表等效的步驟；將用于確定所述參照圖片列表的重新排序的多個參數(shù)寫入到與所述對象圖片中的編碼切片相關聯(lián)的所述編碼影像比特流的頭中的步驟；使用進行了所述重新排序的第I參照圖片列表對圖像采樣的塊進行運動檢測的步驟；使用進行了所述重新排序的第I參照圖片列表對所述圖像采樣的塊進行運動預測的步驟；以及將用于確定所述圖像采樣的塊的運動預測的多個參數(shù)寫入所述編碼影像比特流中的步驟。6.根據(jù)權(quán)利要求3~5中任意一項所述的影像編碼方法，未包含在所述參照圖片集中的圖片被標記為不被用于參照用。7.根據(jù)權(quán)利要求3~5中任意一項所述的影像編碼方法，所述關鍵圖片是被實施了圖片間預測的圖片。8.根據(jù)權(quán)利要求3~5中任意一項所述的影像編碼方法，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:將參數(shù)寫入用于確定編碼圖片的時間等級的編碼圖片的編碼切片的頭中的步驟；判定所述參數(shù)是否具有與規(guī)定的值相等的值的步驟；在所述參數(shù)具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述參數(shù)不具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。9.根據(jù)權(quán)利要求3~5中任意一項所述的影像編碼方法，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定關鍵圖片的周期，將參數(shù)寫入編碼影像比特流的頭中的步驟；判定根據(jù)所述圖片的順序輸出來識別圖片的圖片號碼是否與所述關鍵圖片的周期的整數(shù)倍相等的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍相等的情況下，將所述圖片分類為關鍵圖片的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍不相等的情況下，將所述圖片分類為非關鍵圖片的步驟。10.根據(jù)權(quán)利要求3~5中任意一項所述的影像編碼方法，使用距所述對象圖片的時間上的距離和圖片類別構(gòu)建包含一個以上的輸入?yún)⒄請D片的參照圖片列表的步驟包括:從所述輸入?yún)⒄請D片中選擇包含一個以上的關鍵圖片在內(nèi)的參照圖片的第I組的步驟；判定所述對象圖片是否是關鍵圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，(i)識別出第I邊界圖片作為具有比所述對象圖片靠前而且與所述對象圖片最近的時間上的實例的關鍵圖片，(ii)識別出第2邊界圖片作為具有比所述對象圖片靠后而且與所述對象圖片最近的時間上的實例的關鍵圖片的步驟；判定是否存在所述第2邊界圖片的步驟；在所述第2邊界圖片不存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第2組，(ii)將所述參照圖片的第2組追加在所述參照圖片的第I組中的步驟；在所述第2邊界圖片存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后而且比所述第2邊界圖片靠前的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第3組，(ii)將所述參照圖片的第3組追加在所述參照圖片的第I組中的步驟；以及無論所述第2邊界圖片是否存在而且無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述圖片類別，將所述參照圖片的第I組置于按照規(guī)定的方案被排序后的參照圖片列表中的步驟。11.根據(jù)權(quán)利要求10所述的影像編碼方法，用于將所述參照圖片列表中的多個輸入?yún)⒄請D片排序的規(guī)定的方案包括:從所述輸入?yún)⒄請D片中選擇包含所有關鍵圖片在內(nèi)的參照圖片的第I組的步驟；從所述輸入?yún)⒄請D片中選擇包括未包含在所述參照圖片的第I組中的所有圖片在內(nèi)的參照圖片的第2組的步驟；根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟；根據(jù)距所述對象圖片的時間上的距離，將所述參照圖片的第2組置于所述參照圖片列表中所述參照圖片的第I組之后的步驟。12.根據(jù)權(quán)利要求10所述的影像編碼方法，用于將參照圖片列表中的多個輸入?yún)⒄請D片排序的所述規(guī)定的方案包括:根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟。13.根據(jù)權(quán)利要求11或12所述的影像編碼方法，在根據(jù)距對象圖片的時間上的距離將所述多個參照圖片置于參照圖片列表中的步驟中，按照距所述對象圖片的時間上的距離從小到大的順序來放置所述參照圖片。14.一種影像解碼方法，使用多個參照圖片，該影像解碼方法包括:解析步驟，從編碼影像比特流的頭中解析表示在進行影像編碼時是否使用耐性圖片參照方案的參數(shù)；判定步驟，根據(jù)所述解析出的參數(shù)判定是否使用了所述耐性圖片參照方案；以及解碼步驟，在判定為使用了所述耐性圖片參照方案的情況下，使用所述耐性圖片參照方案進行編碼影像比特流的局部解碼，在判定為未使用所述耐性圖片參照方案的情況下，不使用所述耐性圖片參照方案而進行編碼影像比特流的全部解碼。15.根據(jù)權(quán)利要求14所述的影像解碼方法，在使用所述耐性圖片參照方案的情況下，編碼圖片被分類為關鍵圖片和非關鍵圖片，根據(jù)和與對象圖片最近的一個以上的關鍵參照圖片的時間上的實例進行了比較的所述非關鍵圖片的時間上的實例，一個以上的非關鍵圖片不被用作圖片間預測的參照圖片。16.根據(jù)權(quán)利要求14或15所述的影像解碼方法，在進行所述局部解碼的步驟中，不對一部分的編碼圖片進行圖片解碼處理。17.根據(jù)權(quán)利要求14所述的影像解碼方法，所述解析步驟包括:從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述判定步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；以及判定對象圖片是否是關鍵圖片的步驟，所述解碼步驟包括:在所述對象圖片是關鍵圖片的情況下，從所述參照圖片集中的所有參照圖片中選擇僅包含關鍵圖片的一個以上的有效參照圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，選擇包含所述參照圖片集中的所有參照圖片的一個以上的有效參照圖片的步驟；無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述類另IJ，構(gòu)建包含所述一個以上有效參照圖片的參照圖片列表的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的參數(shù)的步驟；以及使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟。18.根據(jù)權(quán)利要求14所述的影像解碼方法，所述判定步驟包括:決定表示圖片是否是關鍵圖片的類別的步驟；以及從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述解碼步驟包括:使用距所述對象圖片的時間上的距離和所述類別，構(gòu)建包含所述參照圖片集中的一個以上的有效參照圖片的參照圖片列表的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的多個參數(shù)的步驟；以及使用所述參照圖片列表對所述圖像采樣的塊進行運動預測的步驟。19.根據(jù)權(quán)利要求14所述的影像解碼方法，所述判定步驟包括從編碼影像比特流的頭中解析用于對對象圖片確定參照圖片集的多個參數(shù)的步驟，所述解碼步驟包括:使用距所述對象圖片的時間上的距離構(gòu)建包含所述參照圖片集中的一個以上的參照圖片的參照圖片列表的步驟；從與所述對象圖片中的編碼切片相關聯(lián)的所述編碼影像比特流的頭中，解析用于確定所述參照圖片列表的重新排序的多個參數(shù)的步驟；根據(jù)用于確定參照圖片列表的重新排序的所述解析出的參數(shù)，對所述參照圖片列表進行重新排序的步驟；從所述編碼影像比特流中解析用于確定對圖像采樣的塊的運動預測的多個參數(shù)的步驟；以及使用進行了所述重新排序的參照圖片列表對圖像采樣的塊進行運動預測的步驟。20.根據(jù)權(quán)利要求17~19中任意一項所述的影像解碼方法，未包含在所述參照圖片集中的圖片被標記為不被用作參照用。21.根據(jù)權(quán)利要求17~19中任意一項所述的影像解碼方法，所述關鍵圖片是被實施了圖片間預測的圖片。22.根據(jù)權(quán)利要求17~19中任意一項所述的影像解碼方法，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定所述編碼圖片的時間等級，從編碼圖片的編碼切片的頭中解析參數(shù)的步驟；判定所述參數(shù)是否具有與規(guī)定的值相等的值的步驟；在所述參數(shù)具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述參數(shù)不具有與所述規(guī)定的值相等的值的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。23.根據(jù)權(quán)利要求17~19中任意一項所述的影像解碼方法，決定表示所述圖片是否是關鍵圖片的圖片類別的步驟包括:為了確定關鍵圖片的周期，從編碼影像比特流的頭中解析參數(shù)的步驟；判定根據(jù)所述圖片的順序輸出來識別編碼圖片的圖片號碼是否與所述關鍵圖片的周期的整數(shù)倍相等的步驟；在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍相等的情況下，將所述編碼圖片分類為關鍵圖片的步驟；以及在所述圖片號碼與所述關鍵圖片的周期的整數(shù)倍不相等的情況下，將所述編碼圖片分類為非關鍵圖片的步驟。24.根據(jù)權(quán)利要求17~19中任意一項所述的影像解碼方法，使用距所述對象圖片的時間上的距離和圖片類別構(gòu)建包含一個以上的輸入?yún)⒄請D片的參照圖片列表的步驟包括:從所述輸入?yún)⒄請D片中選擇包含一個以上的關鍵圖片在內(nèi)的參照圖片的第I組的步驟；判定所述對象圖片是否是關鍵圖片的步驟；在所述對象圖片不是關鍵圖片的情況下，(i)識別出第I邊界圖片作為具有比所述對象圖片靠前而且與所述對象圖片最近的時間上的實例的關鍵圖片，(ii)識別出第2邊界圖片作為具有比所述對象圖片靠后而且與所述對象圖片最近的時間上的實例的關鍵圖片的步驟；判定是否存在所述第2邊界圖片的步驟；在所述第2邊界圖片不存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第2組，(ii)將所述參照圖片的第2組追加在所述參照圖片的第I組中的步驟；在所述第2邊界圖片存在的情況下，(i)選擇包含具有比所述第I邊界圖片靠后而且比所述第2邊界圖片靠前的時間上的實例的非關鍵參照圖片在內(nèi)的參照圖片的第3組，(ii)將所述參照圖片的第3組追加在所述參照圖片的第I組中的步驟；以及無論所述第2邊界圖片是否存在而且無論所述對象圖片是否是關鍵圖片，都使用距所述對象圖片的時間上的距離和所述圖片類別，將所述參照圖片的第I組置于按照規(guī)定的方案被排序后的參照圖片列表中的步驟。25.根據(jù)權(quán)利要求24所述的影像解碼方法，用于將所述參照圖片列表中的多個輸入?yún)⒄請D片排序的規(guī)定的方案包括:從所述輸入?yún)⒄請D片中選擇包含所有關鍵圖片在內(nèi)的參照圖片的第I組的步驟；從所述輸入?yún)⒄請D片中選擇包括未包含在所述參照圖片的第I組中的所有圖片在內(nèi)的參照圖片的第2組的步驟；根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟；以及根據(jù)距所述對象圖片的時間上的距離，將所述參照圖片的第2組置于所述參照圖片列表中所述參照圖片的第I組之后的步驟。26.根據(jù)權(quán)利要求24所述的影像解碼方法，用于將參照圖片列表中的多個輸入?yún)⒄請D片排序的所述規(guī)定的方案包括:根據(jù)距對象圖片的時間上的距離，將所述參照圖片的第I組置于所述參照圖片列表的開頭的步驟。27.根據(jù)權(quán)利要求25或26所述的影像解碼方法，在根據(jù)距對象圖片的時間上的距離將所述多個參照圖片置于參照圖片列表中的步驟中，按照距所述對象圖片的時間上的距離從小到大的順序來放置所述參照圖片?！疚臋n編號】H04N19/61GK103650508SQ201280007704【公開日】2014年3月19日申請日期:2012年2月16日優(yōu)先權(quán)日:2011年2月16日【發(fā)明者】袁明亮,林宗順,乃蘇孟德,西孝啟,柴原陽司,笹井壽郎,杉尾敏康申請人:松下電器產(chǎn)業(yè)株式會社