專利名稱：圖像編碼方法及圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高效率壓縮動(dòng)態(tài)圖像的圖像編碼方法及將其正確解碼并顯示的圖像解碼方法。
背景技術(shù)：
近年來，迎來了將聲音、圖像及其他象素值統(tǒng)一處理的多媒體時(shí)代，提出將以前的信息媒體、即新聞、雜志、電視、收音機(jī)、電話等信息傳遞給人的手段作為多媒體對(duì)象。一般，所謂多媒體不僅是文字，也同時(shí)關(guān)聯(lián)表示圖形、聲音、尤其是圖像等，但在將上述現(xiàn)有信息媒體作為多媒體對(duì)象，以數(shù)字形式來表示該信息是必要條件。
但是，若將上述各信息媒體具有的信息量試著以數(shù)據(jù)信息量來估計(jì)的話，則在文字的情況下，每1個(gè)文字的信息量為1-2字節(jié)，對(duì)此，在聲音的情況下，需要每秒64Kbits(電話質(zhì)量)以上的信息量，并且動(dòng)態(tài)圖像需要每秒100Mbits(當(dāng)前電視接收質(zhì)良)以上的信息量，現(xiàn)實(shí)中，對(duì)上述信息媒體不會(huì)以數(shù)據(jù)形式來原樣處理這樣龐大的信息。例如，電視電話已經(jīng)通過具有64Kbit/s-1.5Mbit/s的傳輸速度的綜合業(yè)務(wù)數(shù)字網(wǎng)(ISDNIntergratedServices Digital Network)實(shí)際應(yīng)用了，但不能由ISDN原樣傳輸電視攝像機(jī)的映像。因此，需要信息壓縮技術(shù)，例如，在電視電話的情況下，使用由ITU-T(國(guó)際電氣通信同盟，電信標(biāo)準(zhǔn)化部門)國(guó)際標(biāo)準(zhǔn)化后的H.261或H.263標(biāo)準(zhǔn)的動(dòng)態(tài)圖像壓縮技術(shù)。另外，也可根據(jù)MPEG-1標(biāo)準(zhǔn)的信息壓縮技術(shù)來將圖像信息與聲音信息一起置入通常的音樂用CD(致密盤)。
這里，所謂MPEG(Moving Picture Experts Group)是動(dòng)態(tài)圖像信號(hào)壓縮的國(guó)際標(biāo)準(zhǔn)，MPEG-1是將動(dòng)態(tài)圖像信號(hào)壓縮到1.5Mbit/s、即將電視信號(hào)的信息壓縮到約百分之一的標(biāo)準(zhǔn)。另外，以MPEG-1標(biāo)準(zhǔn)為對(duì)象的傳輸速度主要被限制在約1.5Mbit/s，所以在應(yīng)滿足進(jìn)一步高畫質(zhì)化的要求的標(biāo)準(zhǔn)化的MPEG-2中，將動(dòng)態(tài)圖像信號(hào)壓縮到2-15Mbit/s。另外，現(xiàn)狀下，通過進(jìn)行MPEG-1、MPEG-2和標(biāo)準(zhǔn)化的作業(yè)組(ISO/IECJTC1/SC29/WG11)，達(dá)到提高M(jìn)PEG-1、MPEG-2的壓縮率，進(jìn)而可以物體單位來進(jìn)行編碼、解碼、操作，實(shí)現(xiàn)多媒體時(shí)代必需的新的功能的MPEG-4被標(biāo)準(zhǔn)化。MPEG-4最初旨在進(jìn)行低位速率的編碼方法的標(biāo)準(zhǔn)化，但現(xiàn)在擴(kuò)展到既包含交織圖像、也包含高位速率的更通用的編碼。
進(jìn)而，近年來，作為MPEG-4的下一代編碼，稱為JVT的、基于ITU-T與ISO/IEC二者的新的圖像編碼正在標(biāo)準(zhǔn)化中。
圖24是表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。所謂圖象是指幀或字段之一的術(shù)語，在本說明書中用所謂圖象這樣的描述來代替幀或字段。另外，所謂圖像或畫面的術(shù)語也是與圖象同義的詞。圖24中加斜線陰影線的圖象是為了在其它圖象編碼、解碼時(shí)被參照，表示保存在存儲(chǔ)器中的圖象。
IO是畫面內(nèi)編碼圖象，P3、P6、P9是畫面間預(yù)測(cè)編碼圖象(P圖象)。在JPT標(biāo)準(zhǔn)化中，畫面間編碼與現(xiàn)有的MPEG-1/2/4不同，從多個(gè)編碼完的圖象中選擇任意1個(gè)圖象作為參照?qǐng)D象，根據(jù)參照?qǐng)D象來生成預(yù)測(cè)圖像。例如，P9圖象可從IO、P3、P6這3個(gè)圖象中選擇任意1個(gè)圖象，并根據(jù)該圖象來生成預(yù)測(cè)圖像。由此，可選擇適當(dāng)?shù)念A(yù)測(cè)圖像的可能性比現(xiàn)有的MPEG-1/2/4還高，并提高壓縮率。B1、B2、B4、B5、B7、B8是畫面間雙預(yù)測(cè)編碼圖象(B圖象)，與畫面間預(yù)測(cè)圖象的預(yù)測(cè)不同，選擇多個(gè)(兩個(gè))圖象，根據(jù)選擇到的圖象生成預(yù)測(cè)圖像并編碼。尤其是通過進(jìn)行將時(shí)間上處于前后的兩個(gè)圖象的平均值設(shè)為預(yù)測(cè)圖像的內(nèi)插預(yù)測(cè)，眾所周知能大幅度提高預(yù)測(cè)圖像的精度，并大幅度提高壓縮率。下面，向各圖象賦予將畫面內(nèi)編碼圖象稱為I、將畫面間預(yù)測(cè)編碼圖象稱為P、將畫面間雙預(yù)測(cè)編碼圖象稱為B的記號(hào)，區(qū)別各圖象的編碼方法。
B圖象中為了通過預(yù)測(cè)編碼來參照時(shí)間上處于前后的圖象，必需先編碼、解碼時(shí)間上在后的圖象。將之稱為圖象的重新排列(Reordering)，比現(xiàn)有的MPEG-1/2/4更好地進(jìn)行。因此，與編碼順序(Stream Order)相反，解碼編碼后的流并進(jìn)行顯示的順序(Display Order)如圖24等表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖那樣被重新排列。另外，因?yàn)閳D24的實(shí)例中B圖象在解碼流的瞬間被顯示，所以在未由其它圖像參照的情況下不必存儲(chǔ)在存儲(chǔ)器等中，但I(xiàn)圖象或P圖象解碼后，由于在解碼下一B圖象之后才被顯示，所以必需保存在存儲(chǔ)器中。
下面，在表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖中，術(shù)語和圖象的斜線陰影線的含義用與圖24相同的含義來統(tǒng)一。
圖25是表示其它圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。圖中，與圖24的不同之處在于圖象6不是P圖象，而是I圖象。
圖26是用于實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置的框圖。下面，說明圖26的實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置的動(dòng)作。
圖象結(jié)構(gòu)決定單元PicStruct決定各圖象的編碼類型(I圖象、P圖象、B圖象)，向參照?qǐng)D象管理單元RefPicCtrl指示該編碼類型和編碼中可參照的圖象，另外，將圖象的編碼順序通知給重新排列單元ReOrder。重新排列單元ReOrer將輸入圖象PicIn的順序重新排列為編碼順序，將重新排列過的圖象輸出到動(dòng)作檢測(cè)單元ME和減法單元Sub。動(dòng)作檢測(cè)單元ME參照?qǐng)D象存儲(chǔ)器PicMeml中保存的圖象，導(dǎo)出適當(dāng)?shù)膮⒄請(qǐng)D象和指示該象素位置的動(dòng)作矢量MV，送至可變長(zhǎng)編碼單元VLC與圖象存儲(chǔ)器PicMeml、動(dòng)態(tài)補(bǔ)償單元MC。圖象存儲(chǔ)器PicMeml將對(duì)應(yīng)于動(dòng)作矢量MV的參照?qǐng)D象的象素輸出到動(dòng)作補(bǔ)償單元MC，動(dòng)作補(bǔ)償單元MC根據(jù)從圖象存儲(chǔ)器PicMeml得到的參照?qǐng)D象的象素與動(dòng)作矢量MV，生成預(yù)測(cè)圖像。
減法單元Sub計(jì)算重新排列單元ReOrder重新排列過的圖象與預(yù)測(cè)圖像之差，正交變換單元T將該差變換為頻率系數(shù)，并由量化單元Q將頻率系數(shù)量化，設(shè)為量化值Coef。
反向量化單元IQ反向量化量化值Coef，還原為頻率系數(shù)，且逆正交變換單元IT從頻率系數(shù)逆頻率變換為象素差分值。加法單元Add將預(yù)測(cè)圖像與象素差分值相加，得到解碼圖像。
參照?qǐng)D象管理單元RefPicCtrl對(duì)應(yīng)于圖象的編碼類型，判斷是否有為了作為參照?qǐng)D象參照而應(yīng)保存在圖象存儲(chǔ)器PicMeml中的解碼圖像、或應(yīng)從圖象存儲(chǔ)器PicMeml釋放(以后不作為參照?qǐng)D象而被參照)的解碼圖像，將該動(dòng)作作為存儲(chǔ)器管理指令MMCO來通知。
開關(guān)SW在該解碼圖像因存儲(chǔ)器管理指令MMCO而指示保存的情況下變?yōu)镺N，將該解碼圖像作為參照?qǐng)D象保存在圖象存儲(chǔ)器PicMeml中。另外，圖象存儲(chǔ)器PicMeml在存儲(chǔ)器管理指令MMCO指示應(yīng)從圖象存儲(chǔ)器PicMeml開發(fā)的解碼圖像的情況下，釋放(開放)保存了該解碼圖像的區(qū)域，并可將其它解碼圖像保存在該區(qū)域中。
可變長(zhǎng)編碼單元VLC編碼量化值Coef、動(dòng)作矢量MV、存儲(chǔ)器管理指令MMCO，輸出編碼流Str。
示出伴隨頻率變換與量化的實(shí)例來作為編碼，但也可是不伴隨頻率變換或量化的編碼(DPCM或ADPCM、線性預(yù)測(cè)編碼等)。另外，也可以是頻率變換與量化一體化、或如位平面(bit plane)編碼等在頻率變換后不伴隨量化的編碼。
圖27是存儲(chǔ)器管理指令MMCO的代碼例。為了在編碼、解碼的最初或GOP(圖像組)的開頭初始化圖象存儲(chǔ)器，可變長(zhǎng)編碼單元VLC編碼意味著全部存儲(chǔ)器釋放的‘000’。另外，在將解碼圖像保存在圖象存儲(chǔ)器中的情況下，可變長(zhǎng)編碼單元VLC編碼‘01’。在釋放圖象存儲(chǔ)器中保存的圖象的情況下，因?yàn)楸匦柚甘踞尫诺膱D象序號(hào)，所以可變長(zhǎng)編碼單元VLC編碼在‘001’之后釋放的圖象序號(hào)。同時(shí)在釋放多個(gè)圖象的情況下，必需編碼多次釋放的指示，另外，有時(shí)除釋放圖象的指令外，還編碼保存圖象的指令。因此，可變長(zhǎng)編碼單元VLC連續(xù)編碼多個(gè)存儲(chǔ)器管理指令MMCO，將表示存儲(chǔ)器管理指令MMCO結(jié)束的‘1’最后編碼。如上所述，將存儲(chǔ)器管理指令MMCO編碼成編碼流Str。
圖28是實(shí)現(xiàn)現(xiàn)有圖像解碼方法的圖像解碼裝置的框圖。圖中，進(jìn)行與圖26的實(shí)現(xiàn)圖像編碼方法的圖像編碼裝置的框圖相同動(dòng)作的設(shè)備標(biāo)以相同序號(hào)，省略說明。
可變長(zhǎng)解碼單元VLD解碼編碼流Str，輸出存儲(chǔ)器管理指令MMCO、動(dòng)作矢量MV、量化值Coef。圖象時(shí)刻Time是從外部輸入、指定顯示的圖象的信號(hào)。若應(yīng)顯示的圖象是解碼后的該圖象，則選擇器Sel選擇加法單元Add的輸出，送至顯示單元Disp。若應(yīng)顯示的圖象是圖象存儲(chǔ)器PicMeml中保存的圖象，則從圖象存儲(chǔ)器PicMeml中讀出，由選擇器Sel選擇，送至顯示單元Disp。
如上所述，圖象存儲(chǔ)器PicMeml將對(duì)應(yīng)于動(dòng)作矢量MV的象素輸出到動(dòng)作補(bǔ)償單元MC，動(dòng)作補(bǔ)償單元MC根據(jù)從圖象存儲(chǔ)器PicMeml得到的象素與動(dòng)作矢量MV，生成預(yù)測(cè)圖像。
另外，反向量化單元IQ反向量化量化值Coef，還原頻率系數(shù)，逆正交變換單元IT再由頻率系數(shù)逆頻率變換為象素差分值。加法單元Add將預(yù)測(cè)圖像與象素差分值相加，設(shè)為解碼圖像。
圖象存儲(chǔ)器PicMeml在由存儲(chǔ)器管理指令MMCO指示圖象存儲(chǔ)器PicMeml中應(yīng)釋放的解碼圖像的情況下，釋放保存該解碼圖像的區(qū)域，將其它解碼圖像保存在該區(qū)域中。
示出伴隨逆頻率變換與反向量化的實(shí)例來作為解碼，但也可是不伴隨逆頻率變換或反向量化的解碼(DPCM或ADPCM、線性預(yù)測(cè)編碼等)。另外，也可以是逆頻率變換與反向量化一體化、或如位平面編碼等在頻率變換后不伴逆隨量化的解碼。
可知通過以上圖28的實(shí)現(xiàn)現(xiàn)有圖像解碼方法的圖像解碼裝置，圖24和圖25所示現(xiàn)有圖象編碼類型的組合可正確解碼由圖26的實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置編碼的編碼流Str。
然而，作為圖象編碼類型，討論更彈性的組合。


圖1是表示圖象的以前沒有的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。圖1中，圖象4前后B圖象的預(yù)測(cè)結(jié)構(gòu)不同。即，保存圖象2的B圖象，作為圖象1和圖象3的預(yù)測(cè)圖像進(jìn)行參照。結(jié)果，各圖象的編碼順序和顯示順序如圖1所示。
但是，圖象5與圖象6因?yàn)轭A(yù)測(cè)編碼而未被參照，所以是未被保存的B圖象。但是，與圖24的情況不同，在解碼時(shí)刻是其它圖象的顯示時(shí)刻，或未變?yōu)轱@示的時(shí)刻。即，在圖象B5的解碼時(shí)刻必需顯示圖象P4，在圖象B6的解碼時(shí)刻必需顯示圖象B5。另一方面，因?yàn)槲幢４鎴D象B5與圖象B6，所以在顯示時(shí)刻也不能從圖象存儲(chǔ)器中輸出圖象B5與圖象B6。因此，因?yàn)轭A(yù)測(cè)編碼中未被參照的圖象未保存在圖象存儲(chǔ)器中，所以現(xiàn)有的編碼、解碼方法不能解碼圖象B5與圖象B6并進(jìn)行顯示。即，如圖24所示實(shí)例那樣，在未保存預(yù)測(cè)編碼中未被參照的圖象的情況下，僅能顯示圖象0、圖象1、圖象2、圖象4、圖象7。
這樣，作為圖象編碼類型，若討論更彈性的組合，則存在會(huì)產(chǎn)生解碼后不能顯示的圖象的問題。另外，若另外追加圖象存儲(chǔ)器以用于顯示，并將未保存在圖象存儲(chǔ)器PicMeml中的圖象保存在顯示用的其它圖象存儲(chǔ)器中，則可顯示，但此時(shí)，存在其它圖象存儲(chǔ)器必需大的多余的存儲(chǔ)器的缺點(diǎn)。
并且，即使導(dǎo)入用于顯示的其它圖象存儲(chǔ)器，也會(huì)在流中途的再現(xiàn)中產(chǎn)生新的問題。圖2是表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。圖中，與圖25的不同之處在于在圖象7的前后預(yù)測(cè)結(jié)構(gòu)完全獨(dú)立。I7以后的圖象在編碼、解碼中不參照I7之前的時(shí)刻的圖象。因此，若從I7圖象開始解碼，則可正確解碼I7以后的圖象，所以特征在于I7圖象可從流中途再現(xiàn)。這樣，最好在流中途插入I圖象，按照MPEG-2，將該可從中途再現(xiàn)的結(jié)構(gòu)稱為GOP(圖像組group of picture)。
但是，為了從流中途再現(xiàn)，必需保證即使在從中途再現(xiàn)的時(shí)刻再現(xiàn)圖像在編碼裝置與解碼裝置之間為一致的，為此，初始化圖象存儲(chǔ)器的全圖象區(qū)域是簡(jiǎn)單的方法。但是，圖象6在解碼圖象7的時(shí)刻還未被顯示地存儲(chǔ)在圖象存儲(chǔ)器中，所以若在圖象6顯示之前單純初始化全部圖象存儲(chǔ)器，則在圖象6的顯示時(shí)刻不能從圖象存儲(chǔ)器中顯示圖象6。
發(fā)明的內(nèi)容因此，本發(fā)明的目的在于在考慮圖像編碼或解碼中必需的存儲(chǔ)器量，并且不會(huì)產(chǎn)生不能解碼顯示的圖象。
為了實(shí)現(xiàn)上述目的，本發(fā)明的圖像編碼方法邊參照?qǐng)D象緩沖器中保持的圖像邊預(yù)測(cè)編碼輸入圖像，并對(duì)編碼后的所述輸入圖像解碼，其特征在于判斷解碼后的圖像是參照用圖像還是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果，使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
這里，所述圖像編碼方法也可構(gòu)成為具有第1判斷步驟，判斷解碼后的圖像是否是參照用圖像；第2判斷步驟，判斷解碼后的圖像是不是非參照用、且是必需保持到顯示時(shí)刻的輸出用圖像；和管理步驟，管理圖象緩沖器，使第1判斷步驟中判斷為參照用的圖像的圖像保持在所述圖象緩沖器中，使第2判斷步驟中判斷為輸出用圖像的圖像保持在所述圖象緩沖器中。
根據(jù)該結(jié)構(gòu)，除解碼圖像是否是參照用圖像的判斷外，還進(jìn)行是否是輸出用圖像的判斷，除參照用圖像外，將在預(yù)測(cè)編碼中未被參照但被解碼的同時(shí)不能顯示或輸出的圖像、作為輸出用圖像存儲(chǔ)在圖象緩沖器中。在圖像編碼時(shí)進(jìn)行這種判斷及圖象緩沖器管理，驗(yàn)證解碼動(dòng)作，所以解碼裝置可確實(shí)在顯示時(shí)刻將輸出用圖像顯示或輸出。
這里，所述圖象緩沖器具有一定的大小，所述圖像編碼方法還具有第3判斷步驟，判斷圖象緩沖器中保持的參照用圖像是否參照完；和第4判斷步驟，判斷圖象緩沖器中保持的輸出用圖像是否輸出完，在所述管理步驟中，根據(jù)第3及第4判斷步驟中的各判斷結(jié)果，再使用所述一定大小的范圍內(nèi)保持圖象緩沖器中的圖像的區(qū)域。
根據(jù)該結(jié)構(gòu)，在管理步驟中，在所述圖象緩沖器的一定大小的范圍內(nèi)，再使用保持圖像的區(qū)域來存儲(chǔ)參照用圖像與所述輸出用圖像，所以不必白白消耗存儲(chǔ)器，將解碼圖像的圖象緩沖器設(shè)為必要的最小限度的大小。
并且，所述圖像編碼方法也可具有編碼步驟，對(duì)每個(gè)由多個(gè)編碼圖像構(gòu)成的序列，編碼表示該序列的編碼中變?yōu)橐欢ǖ乃龃笮〉男畔ⅰ?br> 根據(jù)該結(jié)構(gòu)，因?yàn)閷?duì)每個(gè)序列所述大小一定，所以可彈性確定每個(gè)序列在預(yù)測(cè)編碼中使用的圖像的類型。
另外，在所述管理步驟中，在所述圖象緩沖器中不存在可重新存儲(chǔ)圖像的區(qū)域的情況下，在保持第4判斷步驟中判斷為輸出完的輸出用圖像的區(qū)域中，存儲(chǔ)第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為參照用圖像的圖像之一。
根據(jù)該結(jié)構(gòu)，在存儲(chǔ)在圖象緩沖器中的輸出用圖像的區(qū)域中存儲(chǔ)已輸出完的圖像的區(qū)域中，存儲(chǔ)新的圖像。即，因?yàn)樵偈褂么鎯?chǔ)輸出完的圖像的區(qū)域，所以可更確實(shí)地顯示未輸出完的圖像。
并且，在所述管理步驟中，在所述圖象緩沖器中不存在可新存儲(chǔ)圖像的區(qū)域的情況下，在保持著被存儲(chǔ)在所述圖象緩沖器中的輸出用圖像中顯示順序早(在先)的圖像的區(qū)域中，保持第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為參照用圖像的圖像之一。
另外，所述圖像編碼方法還具有釋放步驟，在包含多個(gè)編碼圖像的序列中途變更輸入圖像的大小的情況下，釋放保持輸出用圖像的區(qū)域中、保持大小變更前的圖像且存儲(chǔ)后圖像的全部或部分未被變更的圖像的區(qū)域以外的區(qū)域。
根據(jù)該結(jié)構(gòu)，當(dāng)有大小(尺寸)變更時(shí)，由于輸出用解碼圖像可殘留在解碼圖像圖象緩沖器中，所以可在大小變更時(shí)刻、不刪除而盡可能多地輸出未輸出完的圖像。
如上所述，根據(jù)本發(fā)明，以前不能正確顯示的圖象也可通過不持有多余的存儲(chǔ)器而有效活用釋放的存儲(chǔ)器區(qū)域來顯示，其實(shí)用價(jià)值高。
另外，本發(fā)明的圖像解碼方法、圖像編碼裝置、圖像解碼裝置、程序也具有與上述一樣的結(jié)構(gòu)、作用、效果。
另外，本發(fā)明的圖像編碼方法或圖像解碼方法可構(gòu)成為以下的(1)至(16)之一。
(1)一種圖像編碼方法，參照解碼后的保存在存儲(chǔ)器中的解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)，其中，包含如下步驟從存儲(chǔ)器中參照所述解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流；解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將規(guī)定的解碼圖像存儲(chǔ)在所述存儲(chǔ)器中；釋放所述存儲(chǔ)器的所有區(qū)域，將表示可否再使用的指示信息包含于所述編碼流中。
(2)一種圖像編碼方法，參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將為了生成預(yù)測(cè)圖像而參照的圖像和不能立即顯示的圖像中所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中。
(3)一種圖像編碼方法，參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放的區(qū)域中、保存顯示完圖像的區(qū)域中。
(4)一種的圖像編碼方法，參照解碼后的保存在存儲(chǔ)器中的解碼完圖像來預(yù)測(cè)解碼編碼流，其特征在于包含存儲(chǔ)步驟，從所述存儲(chǔ)器中參照所述解碼完圖像，生成預(yù)測(cè)圖像，將所述預(yù)測(cè)圖像與解碼所述編碼流得到的圖像信號(hào)相加，設(shè)為解碼圖像，將規(guī)定的解碼圖像存儲(chǔ)在存儲(chǔ)器中；和處理步驟，釋放解碼所述編碼流得到的存儲(chǔ)器的所有區(qū)域，根據(jù)表示可否再使用的指示信息，進(jìn)行基于所述指示信息表示的信息的處理。
(5)一種的圖像解碼方法，參照解碼完圖像來預(yù)測(cè)解碼編碼流，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放的區(qū)域中、保存顯示完圖像的區(qū)域中。
(6)一種的圖像解碼方法，參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放的區(qū)域中、保存最老時(shí)刻的圖像的區(qū)域中。
(7)一種參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼方法，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放的區(qū)域中、保存最老時(shí)刻的圖像的區(qū)域中。
(8)一種參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼方法，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)、最初釋放的可存儲(chǔ)區(qū)域中。
(9)一種參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼方法，其中，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，當(dāng)將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)、最初釋放的可存儲(chǔ)區(qū)域中。
(10)一種參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼裝置，其中，具備預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；編碼部件，編碼由所述預(yù)測(cè)部件預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流；解碼部件，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差；加法部件，將由所述解碼部件解碼的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將為了生成預(yù)測(cè)圖像而參照的圖像和不能立即顯示的圖像存儲(chǔ)在存儲(chǔ)器中；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在所述存儲(chǔ)器中。
(11)一種參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼裝置，其中，具備預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；編碼部件，編碼由所述預(yù)測(cè)部件預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流；解碼部件，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差；加法部件，將由所述解碼部件解碼的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、保存解碼裝置作為解碼完圖像而輸出到外部的圖像的區(qū)域中。
(12)一種參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼裝置，其中，具備解碼部件，解碼所述編碼流；預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；加法部件，將由所述解碼部件解碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、保存作為解碼完圖像而輸出到外部的圖像的區(qū)域中。
(13)一種參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼裝置，其中，具備預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；編碼部件，編碼由所述預(yù)測(cè)部件預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流；解碼部件，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差；加法部件，將由所述解碼部件解碼的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、保存時(shí)刻最早的圖像的區(qū)域中。
(14)一種參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼裝置，其中，具備解碼部件，解碼所述編碼流；預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；加法部件，將由所述解碼部件解碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、保存時(shí)刻最早(先)的圖像的區(qū)域中。
(15)一種參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼裝置，其中，具備預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；編碼部件，編碼由所述預(yù)測(cè)部件預(yù)測(cè)后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流；解碼部件，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差；加法部件，將由所述解碼部件解碼的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、釋放順序早的區(qū)域中。
(16)一種參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼裝置，其中，具備解碼部件，解碼所述編碼流；預(yù)測(cè)部件，從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像；加法部件，將由所述解碼部件解碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差和所述預(yù)測(cè)圖像相加；參照?qǐng)D像管理部件，進(jìn)行判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在存儲(chǔ)器中或從存儲(chǔ)器中釋放不要的圖像；和存儲(chǔ)器部件，根據(jù)所述參照?qǐng)D像管理部件的判斷，將所述加法部件的加法結(jié)果存儲(chǔ)在作為存儲(chǔ)器中釋放的區(qū)域、釋放順序早的區(qū)域中。
另外，存儲(chǔ)使計(jì)算機(jī)執(zhí)行本發(fā)明的圖像編碼方法及圖像解碼方法的程序的存儲(chǔ)媒體為以下(17)-(23)之一。
(17)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼方法，該圖像編碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)到的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將為了生成預(yù)測(cè)圖像而參照的圖像和不能立即顯示的圖像中所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中。
(18)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼方法，該圖像編碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)到的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放區(qū)域中保存顯示完圖像的區(qū)域中。
(19)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼方法，該圖像解碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放區(qū)域中保存顯示完圖像的區(qū)域中。
(20)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼方法，該圖像編碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)到的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放區(qū)域中保存最老時(shí)刻圖像的區(qū)域中。
(21)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼方法，該圖像解碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)的釋放區(qū)域中保存最老時(shí)刻圖像的區(qū)域中。
(22)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)編碼圖像信號(hào)的圖像編碼方法，該圖像編碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，編碼所述預(yù)測(cè)到的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，設(shè)為編碼流，解碼所述編碼后的所述預(yù)測(cè)圖像與所述圖像信號(hào)之差，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)最初釋放的可存儲(chǔ)區(qū)域中。
(23)一種存儲(chǔ)媒體，其特征在于上述程序使計(jì)算機(jī)參照解碼完圖像來預(yù)測(cè)解碼編碼流的圖像解碼方法，該圖像解碼方法從存儲(chǔ)器中參照解碼完圖像，生成預(yù)測(cè)圖像，解碼所述編碼流，將所述預(yù)測(cè)圖像相加，設(shè)為解碼圖像，將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中，或從所述存儲(chǔ)器中釋放不要的圖像，在將所述解碼圖像存儲(chǔ)在所述存儲(chǔ)器中時(shí)，存儲(chǔ)在所述存儲(chǔ)器內(nèi)最初釋放的可存儲(chǔ)區(qū)域中。
另外，本發(fā)明的圖像編碼裝置中定義對(duì)流及圖像解碼裝置的存儲(chǔ)器限制條件且編碼視頻的方法也可以是以下的(A1)至(A26)之一。
(A1)一種定義對(duì)流及圖像解碼裝置的存儲(chǔ)器限制條件的圖像編碼方法，包含如下步驟確定可使用的參照?qǐng)D象的最大數(shù)量；設(shè)定后方預(yù)測(cè)參照?qǐng)D象的最大數(shù)量；將后方預(yù)測(cè)參照?qǐng)D象的所述最大數(shù)量放在流的首標(biāo)中；生成虛擬顯示延遲緩沖器；生成顯示計(jì)數(shù)器；對(duì)所述參照?qǐng)D象分配充足的存儲(chǔ)空間；和編碼所述視頻。這里，虛擬顯示延遲緩沖器是應(yīng)存儲(chǔ)在圖像編碼裝置內(nèi)的存儲(chǔ)器中確保的顯示用區(qū)域中的各顯示用圖象所對(duì)應(yīng)的虛擬緩沖器，保持表示顯示用圖象的輸出順序的信息(圖象順序序號(hào)等)。顯示計(jì)數(shù)器存儲(chǔ)及更新應(yīng)虛擬輸出到顯示器的圖象的圖象順序序號(hào)。另外，所謂充足的存儲(chǔ)空間是指存儲(chǔ)參照?qǐng)D象及顯示用圖象的區(qū)域。
(A2)在(A1)記載的圖像編碼方法中，參照?qǐng)D象的所述最大數(shù)量對(duì)應(yīng)于表示解碼器的能力的水平值來決定。
(A3)在(A1)或(A2)記載的圖像編碼方法中，后方預(yù)測(cè)參照?qǐng)D象的所述最大數(shù)量比參照?qǐng)D象的所述最大數(shù)量少。
(A4)在(A1)、(A2)或(A3)記載的圖像編碼方法中，流整體的所述后方預(yù)測(cè)由后方預(yù)測(cè)參照?qǐng)D象的所述最大數(shù)量來限制。
(A5)在(A1)記載的圖像編碼方法中，所述虛擬顯示延遲緩沖器的大小是從后方預(yù)測(cè)參照?qǐng)D象的所述最大數(shù)量中減去1。
(A6)在(A1)或(A5)記載的圖像編碼方法中，所述虛擬顯示延遲緩沖器的物理存儲(chǔ)器僅包含圖象的顯示順序信息。
(A7)在(A1)記載的圖像編碼方法中，所述顯示計(jì)數(shù)器被用于存儲(chǔ)從虛擬顯示延遲緩沖器中去除的圖象的顯示順序信息。
(A8)在(A1)記載的圖像編碼方法中，包含如下步驟使用可利用的參照?qǐng)D象來預(yù)測(cè)編碼對(duì)象圖象；編碼所述編碼對(duì)象圖象；決定是否將所述編碼后的圖象用于預(yù)測(cè)；解碼所述編碼后的圖象；將所述解碼后的圖象存儲(chǔ)在所述參照?qǐng)D象緩沖器中；更新所述虛擬顯示延遲緩沖器；和更新所述顯示計(jì)數(shù)器。
(A9)在(A1)或(A8)記載的圖像編碼方法中，圖象的所述預(yù)測(cè)在預(yù)測(cè)編碼所述圖象的情況下可使用一個(gè)或多個(gè)參照?qǐng)D象。
(A10)在(A1)或(A8)記載的圖像編碼方法中，所述參照?qǐng)D象僅在所述參照?qǐng)D象緩沖器滿足存儲(chǔ)器限制條件的情況下使用。
(A11)在(A1)或(A8)記載的圖像編碼方法中，所述參照?qǐng)D象在所述編碼對(duì)象圖象被用作參照?qǐng)D象的情況下被解碼。
(A12)在(A1)、(A8)或(A10)記載的圖像編碼方法中，所述解碼圖象的存儲(chǔ)包含如下步驟決定參照?qǐng)D象數(shù)量對(duì)下一圖象的存儲(chǔ)器限制條件；從所述參照?qǐng)D象緩沖器中去除未使用的參照?qǐng)D象；和將所述解碼后的圖象加入所述參照?qǐng)D象緩沖器中。
(A13)在(A1)、(A8)、(A10)或(A12)記載的圖像編碼方法中，參照?qǐng)D象對(duì)下一圖象的所述最大數(shù)量等于從參照?qǐng)D象對(duì)流的最大數(shù)量中減去所述虛擬顯示延遲緩沖器的圖象數(shù)量。
(A14)在(A1)、(A8)、(A10)或(A12)記載的圖像編碼方法中，所述未使用的參照?qǐng)D象對(duì)顯示器的顯示順序信息在對(duì)顯示器的所述顯示順序信息比所述顯示計(jì)數(shù)器的值大的情況下被移動(dòng)到虛擬顯示延遲緩沖器中。
(A15)在(A1)或(A8)記載的圖像編碼方法中，所述虛擬顯示延遲緩沖器在所述顯示順序信息比所述顯示計(jì)數(shù)器的值大的情況下，存儲(chǔ)所述圖象的所述時(shí)間信息。
(A16)在(A1)、(A8)或(A15)記載的圖像編碼方法中，所述虛擬顯示延遲緩沖器在所述顯示順序信息比所述顯示計(jì)數(shù)器的值小的情況下，去除所述圖象的所述顯示順序信息。
(A17)在(A1)、(A8)、(A10)、(A12)或(A13)記載的圖像編碼方法中，所述虛擬顯示延遲緩沖器的所述圖象數(shù)由存在于所述虛擬顯示延遲緩沖器中的圖象的顯示順序信息的合計(jì)數(shù)來定義。
(A18)在(A1)、(A8)記載的圖像編碼方法中，所述顯示計(jì)數(shù)器的顯示順序信息在所述虛擬顯示延遲緩沖器充滿時(shí)或編碼的圖象數(shù)量等于所述參照?qǐng)D象的最大數(shù)量時(shí)開始更新。
(A19)在(A1)、(A8)或(A18)記載的圖像編碼方法中，所述顯示計(jì)數(shù)器的顯示順序信息基于在所述顯示計(jì)數(shù)器開始更新后編碼的各圖象的顯示順序信息來更新。
(A20)在(A1)記載的圖像編碼方法中，所述圖像編碼裝置用的圖像解碼裝置包含如下步驟根據(jù)流首標(biāo)來決定最大后置(post)解碼緩沖器大?。粵Q定必要的參照?qǐng)D象的最小數(shù)量；向參照?qǐng)D象分配充足的物理存儲(chǔ)器空間；解碼所述流；和輸出所述流。
(A21)在(A1)或(A20)記載的圖像編碼方法中，所述最大后置解碼緩沖器大小是由所述圖像編碼裝置設(shè)定的后方參照?qǐng)D象的最大數(shù)量。
(A22)在(A1)或(A20)記載的圖像編碼方法中，必要的參照?qǐng)D象的所述最小數(shù)量相對(duì)可解碼相同流的圖像解碼裝置的能力水平固定。
(A23)在(A1)或(A20)記載的圖像編碼方法中，由所述圖像解碼裝置分配的所述物理存儲(chǔ)器空間可用于存儲(chǔ)參照?qǐng)D象及后置解碼器圖象兩者。
(A24)在(A1)或(A20)記載的圖像編碼方法中，參照?qǐng)D象及后置解碼器圖象兩者的合計(jì)不超過所述分配的物理存儲(chǔ)器空間。
(A25)在(A1)或(A20)記載的圖像編碼方法中，所述解碼在編碼的圖象數(shù)量等于從所述最大后置解碼緩沖器大小中減去1的數(shù)時(shí)或解碼的圖象的合計(jì)數(shù)量等于參照?qǐng)D象的所述決定的最小數(shù)量時(shí)的任一早的一方輸出第1解碼圖象。
(A26)在(A1)或(A20)記載的圖像編碼方法中，解碼后的圖象若一旦為了輸出而被送出，則從所述后置解碼緩沖器中去除。
另外，本發(fā)明的圖像解碼裝置中基于對(duì)流及圖像解碼裝置的存儲(chǔ)器限制條件來解碼流的方法也可以是以下的(A27)至(A37)之一。
(A27)一種基于對(duì)流及圖像解碼裝置的存儲(chǔ)器限制條件來解碼流的方法，包含如下步驟決定用于流的參照?qǐng)D象的最大數(shù)量；決定后方預(yù)測(cè)參照?qǐng)D象的最大數(shù)量；計(jì)算后置解碼緩沖器的最小大??；對(duì)參照?qǐng)D象緩沖器分配充足的物理存儲(chǔ)器空間；對(duì)后置解碼緩沖器分配充足的物理存儲(chǔ)器空間；解碼流；將解碼后的圖象存儲(chǔ)在參照?qǐng)D象緩沖器中；將解碼后的圖象存儲(chǔ)在后置解碼緩沖器中；和輸出解碼后的圖象。這里，后置解碼緩沖器是指圖像解碼裝置內(nèi)的參照?qǐng)D象存儲(chǔ)器中的顯示用區(qū)域。
(A28)在(A27)記載的圖像解碼方法中，參照?qǐng)D象的所述最大數(shù)量對(duì)應(yīng)于可解碼流的能力水平，相對(duì)圖像解碼裝置固定。
(A29)在(A27)記載的圖像解碼方法中，后方預(yù)測(cè)參照?qǐng)D象的所述最大可能數(shù)量被定義為從參照?qǐng)D象的所述最大數(shù)量中減去1的數(shù)量。
(A30)在(A27)記載的圖像解碼方法中，后置解碼緩沖器的所述最小大小被定義成從后方預(yù)測(cè)參照?qǐng)D象的所述最大可能數(shù)量減去1的數(shù)量。
(A31)在(A27)或(A30)記載的圖像解碼方法中，從流中取得后置解碼緩沖器的所述最小大小。
(A32)在(A27)或(A31)記載的圖像解碼方法中，后方預(yù)測(cè)參照?qǐng)D象的所述最大可能數(shù)量由向后置解碼緩沖器的所述最小大小加上1的數(shù)量來定義。
(A33)在(A27)記載的圖像解碼方法中，參照?qǐng)D象緩沖器的所述最小大小被定義為參照?qǐng)D象的所述最大數(shù)量。
(A34)在(A27)或(A33)記載的圖像解碼方法中，所述參照?qǐng)D象緩沖器僅被用于存儲(chǔ)參照?qǐng)D象。
(A35)在(A27)、(A30)或(A31)記載的圖像解碼方法中，所述后置解碼緩沖器被用于存儲(chǔ)非參照?qǐng)D象。
(A36)在(A27)、(A32)或(A33)記載的圖像解碼方法中，參照?qǐng)D象在被判斷為非參照?qǐng)D象時(shí)從所述參照?qǐng)D象緩沖器中去除。
(A37)在(A27)、(A30)、(A31)或(A35)記載的圖像解碼方法中，后置解碼緩沖器的圖象在被輸出時(shí)從所述后置解碼緩沖器中去除。
根據(jù)以上結(jié)構(gòu)，通過用相同的存儲(chǔ)器限制條件來使流及圖像解碼裝置兩者動(dòng)作，可保證正確解碼流。否則，圖像解碼裝置為了在解碼過程中解碼流，會(huì)發(fā)生不能確保充分的存儲(chǔ)器空間的情況。
附圖的簡(jiǎn)要說明圖1是表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。
圖2是表示圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。
圖3表示實(shí)現(xiàn)本發(fā)明的圖像編碼方法的圖像編碼裝置的框圖(實(shí)施形態(tài)1)。
圖4表示示出本發(fā)明的參照?qǐng)D象管理單元的動(dòng)作的流程圖(實(shí)施形態(tài)1)。
圖5(a)(b)(c)表示示出圖象向存儲(chǔ)器的保存狀態(tài)的狀態(tài)圖。
圖6表示示出本發(fā)明的圖像編碼裝置的動(dòng)作的流程圖(實(shí)施形態(tài)2)。
圖7表示示出本發(fā)明的圖像編碼裝置的動(dòng)作的流程圖(實(shí)施形態(tài)3)。
圖8表示示出本發(fā)明的圖像編碼裝置的動(dòng)作的流程圖(實(shí)施形態(tài)4)。
圖9表示實(shí)現(xiàn)本發(fā)明的圖像解碼方法的圖像解碼裝置的框圖(實(shí)施形態(tài)5)。
圖10表示示出本發(fā)明的圖像解碼裝置的動(dòng)作的流程圖(實(shí)施形態(tài)5)。
圖11表示示出本發(fā)明的圖像解碼裝置的另一動(dòng)作的流程圖(實(shí)施形態(tài)5)。
圖12表示示出本發(fā)明的圖像解碼裝置的再一動(dòng)作的流程圖(實(shí)施形態(tài)5)。
圖13表示示出本發(fā)明的圖像解碼裝置的又一動(dòng)作的流程圖(實(shí)施形態(tài)5)。
圖14表示圖像編碼裝置的虛擬顯示延遲緩沖器的使用框圖。
圖15表示編碼中后置解碼緩沖器動(dòng)作處理中的本發(fā)明的框圖。
圖16表示解碼中后置解碼緩沖器動(dòng)作處理中的本發(fā)明的框圖。
圖17表示為了限制參照?qǐng)D象的最大數(shù)量而使用圖像編碼裝置中的虛擬顯示延遲緩沖器的一例。
圖18表示為了決定用于顯示第1圖象用時(shí)間而使用虛擬顯示延遲緩沖器的一例。
圖19表示存儲(chǔ)由計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)上述各實(shí)施形態(tài)的圖像編碼方法及圖像解碼方法用程序的存儲(chǔ)媒體的說明圖(實(shí)施形態(tài)7)。
圖20表示示出內(nèi)容提供系統(tǒng)的整體結(jié)構(gòu)的框圖(實(shí)施形態(tài)8)。
圖21表示示出使用圖像編碼方法及圖像解碼方法的便攜電話的例子的外觀圖(實(shí)施形態(tài)8)。
圖22表示便攜電話的框圖(實(shí)施形態(tài)8)。
圖23表示示出數(shù)字播放用系統(tǒng)實(shí)例的結(jié)構(gòu)圖(實(shí)施形態(tài)8)。
圖24表示示出圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。
圖25表示示出圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序與顯示順序的圖。
圖26表示實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置的框圖。
圖27表示示出存儲(chǔ)器管理指令MMCO的符號(hào)例的對(duì)應(yīng)圖。
圖28表示實(shí)現(xiàn)現(xiàn)有圖像解碼方法的圖像解碼裝置的框圖。
具體實(shí)施例方式
下面，用附圖來說明本發(fā)明的實(shí)施形態(tài)。
(實(shí)施形態(tài)1)說明本發(fā)明的實(shí)施形態(tài)1。
圖3是實(shí)現(xiàn)本發(fā)明的圖像編碼方法的圖像編碼裝置的框圖。圖中，進(jìn)行與圖26的實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置的框圖相同動(dòng)作的設(shè)備標(biāo)以相同序號(hào)，省略說明。
與圖26的實(shí)現(xiàn)現(xiàn)有圖像編碼方法的圖像編碼裝置的框圖的不同之處在于，圖3中附加了顯示圖象管理單元DispPicCtrl，并將顯示圖象管理單元DispPicCtrl的指示輸出到參照?qǐng)D象管理單元RefPicCtrl與圖象存儲(chǔ)器PicMem2。
另外，在圖3所示圖像編碼裝置100中，重新設(shè)置了圖象大小變更單元PicSize，在從外部取得變更后的圖象大小的同時(shí)，從圖象結(jié)構(gòu)決定單元PicStruct取得各圖象的編碼類型(I圖象、P圖象、B圖象)，以I圖象的定時(shí)將表示變更的圖象大小的信息輸出到參照?qǐng)D象管理單元RefPicCtrl。
因?yàn)閳D象存儲(chǔ)器PicMem2與圖象存儲(chǔ)器PicMem1的動(dòng)作基本相同，所以僅說明不同的動(dòng)作部分。
顯示圖象管理單元DispPicCtrl取得圖象時(shí)刻Time，判斷能否立即顯示因?yàn)槲幢粎⒄斩緛砦幢槐４娴膱D象(是否有必要存儲(chǔ)在圖象存儲(chǔ)器中，直到顯示時(shí)刻為止)。圖象時(shí)刻Time從外部輸入，是指定顯示的圖象的信號(hào)。圖象時(shí)刻的取得也可從例如通過包等傳輸路徑傳送圖象的系統(tǒng)輸出的時(shí)刻信息得到，或從利用將視頻流與音頻流多路的格式中的時(shí)刻信息取得，或從視頻流的格式中的時(shí)刻信息取得。另外，也可以是對(duì)每個(gè)圖象知道時(shí)刻的絕對(duì)時(shí)刻，或是圖象間知道時(shí)間前后的相對(duì)時(shí)刻。并且，因?yàn)橥ǔD象的顯示間隔固定，所以也可將圖象的顯示順序做為時(shí)刻來考慮。
另外，所謂可立即顯示的情況是指由加法器Add相加得到的圖象與圖象時(shí)刻Time所指示的顯示的圖象一致的情況。在該情況下，圖象存儲(chǔ)器PicMem2中沒有未顯示且在為了編碼而輸入的圖象之前應(yīng)顯示的圖象。若不能立即顯示，則即使是未被參照的圖像，顯示圖象管理單元DispPicCtrl也將向參照?qǐng)D象管理單元RefPicCtrl發(fā)出指示，以便保存在圖象存儲(chǔ)器PicMem2中。結(jié)果，未立即顯示的圖象無論有無參照均必然被存儲(chǔ)在圖象存儲(chǔ)器PicMem2中，由解碼裝置從圖象存儲(chǔ)器PicMem2可顯示圖象。
圖4是本發(fā)明的參照?qǐng)D象管理單元RefPicCtrl的動(dòng)作的流程圖。
判斷該解碼圖像(圖象)是否為了做為預(yù)測(cè)圖像被參照而應(yīng)保存(步驟10)。若被參照，則前進(jìn)到步驟12，否則，前進(jìn)到步驟11。
在步驟11中，判斷該解碼圖像是否可立即顯示。所謂可立即顯示是可在解碼時(shí)刻原樣顯示(例如圖1所示圖象1)，所謂不能立即顯示是指在后面必需顯示(例如圖1所示B5)。若可立即顯示，則結(jié)束，否則，前進(jìn)到步驟12。
在步驟12中，從圖象存儲(chǔ)器PicMem2中取得可保存的區(qū)域，在步驟13中，由存儲(chǔ)器管理指令MMCO發(fā)出指示，將該解碼圖像保存取得的圖象存儲(chǔ)器PicMem2的區(qū)域中。
如上所述，未立即顯示的圖象保存在圖象存儲(chǔ)器PicMem2中，在變?yōu)轱@示時(shí)刻之時(shí)，可從圖象存儲(chǔ)器PicMem2中顯示圖象。另外，不需要顯示用的多余的圖象存儲(chǔ)器，可將為了顯示而必需保存的圖象保存在參照用圖象存儲(chǔ)器中。
上述圖象存儲(chǔ)器PicMem2中有保存為了生成預(yù)測(cè)圖像而參照的參照?qǐng)D象的參照用區(qū)域、和保存顯示用圖象的顯示用區(qū)域。
但是，也可對(duì)上述每個(gè)GOP(圖象組)進(jìn)行圖象大小的變更。該圖象大小的變更僅在全部釋放不要的參照?qǐng)D象保存的存儲(chǔ)器的參照用區(qū)域(變?yōu)榭稍偈褂玫臓顟B(tài))時(shí)進(jìn)行。
但是，在這樣進(jìn)行圖象大小的變更的情況下，如上所述，未顯示的顯示用圖象被保存在存儲(chǔ)器區(qū)域中，但必需明確決定應(yīng)如何處理該未顯示的顯示用圖象(應(yīng)刪除或應(yīng)原樣保存直到被顯示)的處理方法。
這里，分階段說明進(jìn)行圖象大小的變更時(shí)圖象向存儲(chǔ)器的保存狀態(tài)。
圖5(a)(b)(c)是分階段表示圖象向存儲(chǔ)器的保存狀態(tài)的狀態(tài)圖。
圖5(a)中，圖象200a、200b、200c是用于參照而保存的參照?qǐng)D象(為了生成預(yù)測(cè)圖像而被參照的圖象)，圖象201a、201b、201c、201d、201e是用于顯示而被保存的顯示用圖象(未顯示的圖象)。
圖象201a、201b、201c、201d、201e按此順序顯示。
圖5(a)中，示出保存參照?qǐng)D象200a、200b、200c的存儲(chǔ)器區(qū)域全部被釋放后變?yōu)榭稍偈褂脿顟B(tài)的狀態(tài)。
圖5(b)中，示出在圖5(a)所示狀態(tài)之后變更圖象大小(尺寸)，在保存參照?qǐng)D象200a的存儲(chǔ)器區(qū)域中，保存圖象大小被變更成變大的參照?qǐng)D象202a，并顯示顯示用圖象201a，釋放該存儲(chǔ)器區(qū)域的狀態(tài)。
圖5(c)示出在圖5(b)所示狀態(tài)之后，再次釋放顯示用圖象201b被保存的存儲(chǔ)器區(qū)域，在保存顯示用圖象201a、201b的被釋放的存儲(chǔ)器區(qū)域中，保存圖像大小被變更成變大的參照?qǐng)D象202b的狀態(tài)，殘留小的存儲(chǔ)器區(qū)域203。在該狀態(tài)下，即使釋放顯示用圖象201(c)被保存的存儲(chǔ)器區(qū)域，也不能重新保存參照?qǐng)D象(變更成圖象大小變大)。
這里，若變更圖象大小，則在存儲(chǔ)器內(nèi)混雜有不同的圖象大小的圖象(變更成圖象大小變大的參照?qǐng)D象與大小變更前的未顯示的顯示用圖象)。
由此，部分(片斷)使用存儲(chǔ)器，產(chǎn)生不能使用的小的存儲(chǔ)器區(qū)域，存儲(chǔ)器的使用效率惡化。另外，為了不部分使用存儲(chǔ)器，當(dāng)在存儲(chǔ)器內(nèi)再配置數(shù)據(jù)以使產(chǎn)生的小的存儲(chǔ)器區(qū)域不存在時(shí)，存儲(chǔ)器訪問變得非常大，難以在此期間實(shí)時(shí)實(shí)現(xiàn)編碼、解碼動(dòng)作。
因此，在變更圖象大小的情況下，作為第1方法，釋放未顯示的顯示用圖象被保存的顯示用區(qū)域、與參照?qǐng)D象被保存的參照用區(qū)域(變?yōu)榭稍偈褂玫臓顟B(tài))，清楚顯示未顯示的顯示用圖象。從而，可防止由于混雜大小不同的圖象而產(chǎn)生的存儲(chǔ)器的部分使用，可抑制存儲(chǔ)器的使用效率惡化。
上述圖象大小的變更在以下的定時(shí)進(jìn)行。即，圖3所示圖象大小變更單元PicSize接受圖象結(jié)構(gòu)決定單元PicStruct決定的各圖象的編碼類型(I圖象、P圖象、B圖象)與從外部輸入的變更的圖象大小，將以I圖象的定時(shí)進(jìn)行圖象大小變更的指令輸出到參照?qǐng)D象管理單元RefPicCtrl。該I圖象是例如插入到GOP最前面的特別的I圖象(IDR圖象)。
另外，在變更圖象大小的情況下，作為第2方法，切換釋放存儲(chǔ)器的全部區(qū)域、以明確未顯示的顯示用圖象的部件(手段)；或僅釋放保存參照?qǐng)D象的參照用區(qū)域，通過將編碼信號(hào)(流)解碼的后述的圖像解碼裝置(解碼器)的判斷，顯示在大小變更前的圖象中未顯示的顯示用圖象中可顯示的圖象，不帶義務(wù)地顯示未顯示的顯示用圖象的部件。此時(shí)，圖像解碼裝置按顯示順序來顯示未顯示的圖象中例如未被損傷的圖象等可顯示的圖象。
從圖像編碼裝置100輸出的流Str中，包含配置表示當(dāng)進(jìn)行這種切換時(shí)、進(jìn)行釋放存儲(chǔ)器的全部區(qū)域的方法、和僅釋放保存參照?qǐng)D象的參照用區(qū)域的方法的任一種方法的指示信息(標(biāo)志)或其它可識(shí)別信息。
在圖像解碼裝置側(cè)進(jìn)行基于流中配置的指示信息的處理。
作為切換該指示信息表示的兩個(gè)方法時(shí)的判斷基準(zhǔn)的實(shí)例，考慮按照申請(qǐng)來制作內(nèi)容的人決定用哪個(gè)方法來進(jìn)行，或若存儲(chǔ)器中有余量，則僅釋放參照用區(qū)域，不釋放保存未顯示的顯示用圖象的顯示用區(qū)域(不釋放存儲(chǔ)器的全部區(qū)域)，或在變更成圖象大小變小的情況下，僅釋放參照用區(qū)域而不釋放保存未顯示的顯示用圖象的顯示用區(qū)域(不釋放存儲(chǔ)器的全部區(qū)域)等。
通過以上結(jié)構(gòu)，可實(shí)現(xiàn)解決現(xiàn)有問題的圖像編碼裝置。
(實(shí)施形態(tài)2)說明本發(fā)明的實(shí)施形態(tài)2。
在本實(shí)施形態(tài)中，圖3所示顯示圖象管理單元DispPicCtrl對(duì)圖象存儲(chǔ)器PicMem2進(jìn)行指示，以便在釋放的存儲(chǔ)器中保存圖象的情況下，在未顯示的圖象的區(qū)域中不保存新的圖象。通常，即使釋放圖象的區(qū)域，只要在該區(qū)域中未保存(改寫)新的圖象，則也可再現(xiàn)之前保存的圖象。因此，即使假設(shè)保存未顯示的圖象的存儲(chǔ)器區(qū)域被釋放，通過在該存儲(chǔ)器區(qū)域中不保存新的圖象，在保存顯示完的圖象的區(qū)域中保存新的圖象，從而在變?yōu)轱@示時(shí)刻之時(shí)，顯示被釋放的、但仍未改寫地殘留的未顯示的圖象。將位于該圖象存儲(chǔ)器的的圖象區(qū)域中的圖象稱為顯示用圖象。所謂顯示完實(shí)質(zhì)上與向顯示裝置輸出完含義相同，意味著解碼裝置實(shí)際上進(jìn)行顯示(或輸出到顯示裝置)，并意味著被做為不是編碼裝置實(shí)際顯示(或輸出)，而是在指定為圖象時(shí)刻Time時(shí)進(jìn)行了顯示(或輸出)這樣的處理。
圖6是表示本實(shí)施形態(tài)的圖像編碼裝置100的動(dòng)作的流程圖。本實(shí)施形態(tài)的特征在于，通過釋放區(qū)域的存儲(chǔ)器中被保存的圖象是否顯示完來決定圖象的保存。
首先，在步驟20中，根據(jù)存儲(chǔ)器管理指令MMCO的指示來判斷該解碼圖像是否保存在圖象存儲(chǔ)器PicMem2中。
在保存的情況下，取得釋放的圖象區(qū)域(步驟21)，確認(rèn)釋放的圖象區(qū)域中保存的圖象是否顯示完(步驟22)。若還未顯示，則返回步驟21，重復(fù)處理，直到見到顯示完的圖象被保存的釋放區(qū)域。
若看見顯示完的圖象被保存的釋放區(qū)域，則將解碼圖像保存在該區(qū)域中(步驟23)。
由此，若未顯示的圖象顯示完，則因?yàn)樵偈褂帽４嬖擄@示完的圖象的區(qū)域，所以不改寫地將未顯示的圖象保存在存儲(chǔ)器中，直到被顯示。
另外，可通過顯示圖象管理單元DispPicCtrl管理是否顯示的信息，由此來判斷保存在存儲(chǔ)器中的圖象是否顯示完。
另外，圖象區(qū)域是否是釋放區(qū)域，可通過根據(jù)存儲(chǔ)器管理指令MMCO將是否對(duì)每個(gè)圖象區(qū)域釋放的信息、例如[用過的(可用作參照?qǐng)D象)]或[未用過(以后不作為參照?qǐng)D象參照)]保存在圖象存儲(chǔ)器PicMem2中，并參照該被保持的信息來進(jìn)行判斷。
通過以上結(jié)構(gòu)，可實(shí)現(xiàn)解決現(xiàn)有問題的圖像編碼裝置。
如上所述，可防止新的圖象改寫未顯示的圖象，并可在變?yōu)轱@示時(shí)刻之時(shí)從釋放完但未改寫的區(qū)域進(jìn)行圖象顯示。另外，不必多余的存儲(chǔ)器，可保存為了顯示而必需保存的圖象。
另外，圖象大小(尺寸)變更了的情況下的動(dòng)作與實(shí)施形態(tài)1一樣，所以省略說明。
(實(shí)施形態(tài)3)說明本發(fā)明的實(shí)施形態(tài)3。
圖7是表示本發(fā)明的實(shí)施形態(tài)3的圖像編碼裝置100的動(dòng)作的流程圖。本實(shí)施形態(tài)的特征在于由釋放存儲(chǔ)器的時(shí)刻來決定圖象的保存。
首先，在步驟30中，根據(jù)存儲(chǔ)器管理指令MMCO的指示來判斷該解碼圖像是否保存在圖象存儲(chǔ)器PicMem2中。
在保存的情況下，取得被釋放的圖象存儲(chǔ)器區(qū)域中顯示時(shí)刻最早的圖象存儲(chǔ)器區(qū)域(步驟31)，將解碼圖像保存在該區(qū)域中(步驟32)。
另外，也可不將在最老時(shí)刻釋放的存儲(chǔ)器區(qū)域做為圖象的保存區(qū)域，而將在最老時(shí)刻解碼、保存圖象的存儲(chǔ)器區(qū)域作為圖象的保存區(qū)域。由于這些存儲(chǔ)器區(qū)域，保存在其中的圖象已被顯示的可能性高。
另外，這些最早的時(shí)刻不必是時(shí)刻，也可以是最早的順序，例如當(dāng)然被顯示的順序也可以是最早的順序。例如，顯示順序早的圖象已被顯示的可能性高，無論是否被顯示，從保存顯示順序早的圖象的存儲(chǔ)器區(qū)域開始，以順序做為存儲(chǔ)器的保存區(qū)域被再使用。另外，因?yàn)橥ǔD象的顯示間隔是固定的，所以也可將圖象的顯示順序做為其時(shí)刻。
如上所述，可防止新的圖象改寫未顯示的圖象，并可在變?yōu)轱@示時(shí)刻之時(shí)從釋放完但未改寫的區(qū)域開始顯示圖象。另外，不需多余的存儲(chǔ)器，可保存為了顯示而必需保存的圖象。另外，與保存在圖象存儲(chǔ)器PicMem2中的圖象是否被顯示無關(guān)，可進(jìn)行為了顯示而應(yīng)預(yù)先保存的圖象的保存處理。另外，在最老時(shí)刻為顯示時(shí)刻的最老時(shí)刻的情況下，例如可通過管理在顯示圖象管理單元DispPicCtrl是否顯示了的信息，來判斷是否是在最老時(shí)刻保存的圖象。
另外，圖象大小變更的情況下的動(dòng)作與實(shí)施形態(tài)1一樣，所以省略說明。
(實(shí)施形態(tài)4)說明本發(fā)明的實(shí)施形態(tài)4。
圖8是表示本發(fā)明的實(shí)施形態(tài)4的圖像編碼裝置100的動(dòng)作的流程圖。本實(shí)施形態(tài)的特征在于由釋放存儲(chǔ)器的順序來決定圖象的保存。
首先，在步驟40中，根據(jù)存儲(chǔ)器管理指令MMCO的指示來判斷該解碼圖像是否被保存在圖象存儲(chǔ)器PicMem2中。
在保存的情況下，取得釋放的區(qū)域中最初釋放的圖象區(qū)域(步驟41)，將解碼圖像保存在該區(qū)域中(步驟42)。
因?yàn)轱@示時(shí)刻的信息由系統(tǒng)管理，所以難以通過視頻解碼裝置的制作方獲得顯示時(shí)刻。最初釋放的圖象的區(qū)域比在后釋放的區(qū)域保存早的顯示時(shí)刻的圖象的可能性高。即，最初釋放的圖象已被顯示的可能性高。因此，通過將該解碼圖像保存在最初釋放的圖象區(qū)域中，不改寫未顯示的圖象的可能性變高。
另外，圖象區(qū)域是否是最初釋放的圖象區(qū)域，可通過根據(jù)存儲(chǔ)器管理指令MMCO，包含釋放過的順序，而將是否對(duì)每個(gè)圖象區(qū)域釋放的信息、例如[used未釋放的(可用作參照?qǐng)D象)]或[unused釋放完(以后不作為參照?qǐng)D象參照)]保存在圖象存儲(chǔ)器PicMem2中，并參照該保持的信息來進(jìn)行判斷。或也可將圖象區(qū)域的使用方法固定成規(guī)定的順序，按照該順序來判斷是否是最初釋放的圖象區(qū)域。例如將圖象存儲(chǔ)器PicMem2作為若存儲(chǔ)新的圖象、則順序廢棄存儲(chǔ)時(shí)刻早的存儲(chǔ)內(nèi)容，作為總是保存最新的一定幀數(shù)(或圖象數(shù))的圖像的先進(jìn)先出方式(FIFO)的存儲(chǔ)器，可判斷是否是最初釋放的圖象區(qū)域。如上所述，可防止新的圖象改寫未顯示的圖象，并可在變?yōu)轱@示時(shí)刻之時(shí)從釋放完但未改寫的區(qū)域開始顯示圖象。
另外，圖象大小變更情況下的動(dòng)作與實(shí)施形態(tài)1一樣，所以省略說明。
(實(shí)施形態(tài)5)說明本發(fā)明的實(shí)施形態(tài)5。
圖9是實(shí)現(xiàn)本發(fā)明的圖像解碼方法的圖像解碼裝置的框圖。圖中，進(jìn)行與圖3的實(shí)現(xiàn)本發(fā)明的圖像編碼方法的圖像編碼裝置的框圖和圖28的實(shí)現(xiàn)現(xiàn)有圖像解碼方法的圖像解碼裝置的框圖相同動(dòng)作的設(shè)備標(biāo)以相同序列，省略說明。
圖9的圖像解碼裝置150中，與表示現(xiàn)有例的圖28的不同之處在于，圖9中新設(shè)置了圖象大小變更檢測(cè)單元PicSiezeDet，其在從外部取得的變更的圖象大小和從可變長(zhǎng)解碼單元VLD取得的存儲(chǔ)器管理指令MMCO的基礎(chǔ)上，以特別的I圖象(IDR(Instantaneous Decoding Refresh)圖象)的定時(shí)，將變更圖象大小的指令輸出到圖象存儲(chǔ)器PicMem2；和顯示圖象管理單元DispPicCtrl。
顯示圖象管理單元DispPicCtrl，在向圖象存儲(chǔ)器PicMem2中的釋放的區(qū)域保存圖象的情況下，指示不在未顯示的圖象的區(qū)域中保存新的圖象。通常，即使釋放圖象的區(qū)域，只要該區(qū)域中未保存(改寫)新的圖象，則之前保存的圖象數(shù)據(jù)就可殘留在存儲(chǔ)器內(nèi)并再現(xiàn)。因此，即使假設(shè)釋放未顯示的圖象，也可通過在被保存顯示完的圖象的區(qū)域中保存新的圖象，從而在變?yōu)轱@示時(shí)刻之時(shí)，顯示雖被釋放、但仍未改寫地殘留的未顯示的圖象。另外，顯示完實(shí)質(zhì)上是與向顯示裝置輸出完含義相同。
由此，若未顯示的圖象顯示完，則因?yàn)樵偈褂帽４嬖擄@示完的圖象的存儲(chǔ)器區(qū)域，所以不改寫地將未顯示的圖象保存在存儲(chǔ)器中，直到被顯示。
通過以上結(jié)構(gòu)，可實(shí)現(xiàn)解決現(xiàn)有問題的圖像解碼裝置。另外，圖像解碼裝置150也可解碼由實(shí)施形態(tài)3和實(shí)施形態(tài)4所示的圖像編碼裝置100編碼的編碼信號(hào)。此時(shí)，利用圖象存儲(chǔ)器的動(dòng)作與實(shí)施形態(tài)3和實(shí)施形態(tài)4所示的圖像編碼裝置一樣。即，在由圖象存儲(chǔ)器再使用釋放的(以后不參照)的圖象中，可使用由實(shí)施形態(tài)1-實(shí)施形態(tài)3記載的方法重新保存圖象的區(qū)域的決定方法之一。
說明解碼由上述實(shí)施形態(tài)3和實(shí)施形態(tài)4所示的圖像編碼裝置編碼的編碼信號(hào)時(shí)的圖象向存儲(chǔ)器的保存方法。
最初，說明解碼由實(shí)施形態(tài)3所示的圖像編碼裝置編碼的編碼信號(hào)時(shí)的圖象向存儲(chǔ)器的保存方法。
首先，根據(jù)存儲(chǔ)器管理指令MMCO的指示來判斷從圖像解碼裝置150的加法單元Add輸出的解碼圖像是否保存在圖象存儲(chǔ)器PicMem2中。
在保存的情況下，取得在最老時(shí)刻的圖象存儲(chǔ)器區(qū)域，將解碼圖像保存在該區(qū)域中。
此時(shí)，也可不將在最老時(shí)刻釋放的存儲(chǔ)器區(qū)域設(shè)為圖象的保存區(qū)域，而將在最老時(shí)刻解碼圖象并保存的存儲(chǔ)器區(qū)域、或保存顯示時(shí)刻最早的圖象的存儲(chǔ)器區(qū)域作為圖象的保存區(qū)域?？梢允沁@些存儲(chǔ)器區(qū)域是因?yàn)楸４嬖谄渲械膱D象已被顯示的可能性高。
因?yàn)轱@示時(shí)刻的信息由系統(tǒng)管理，所以難以通過視頻解碼裝置的制作方獲得顯示時(shí)刻。在最老時(shí)刻保存的圖象的區(qū)域保存早的顯示時(shí)刻的圖象比在較新時(shí)刻保存的區(qū)域的可能性高。因?yàn)槔硭?dāng)然早的顯示時(shí)刻的圖象已被顯示的可能性高，所以在最老時(shí)刻保存的圖象已被顯示的可能性高。因此，通過將該解碼圖像保存在于最老時(shí)刻保存的圖象的區(qū)域中，不改寫未顯示的圖象的可能性變高。另外，在最老時(shí)刻是編碼圖象的時(shí)刻的最老時(shí)刻的情況下，例如可按圖象的預(yù)測(cè)結(jié)構(gòu)、解碼順序來判斷是否在最老時(shí)刻編碼。
另外，這些最早的時(shí)刻不必是時(shí)刻，也可以是最早的順序，例如當(dāng)然也可以是顯示順序最早的順序。例如，顯示順序早的圖象已被顯示的可能性高，無論是否被顯示，從保存顯示順序早的圖象的存儲(chǔ)器區(qū)域開始，順序被再使用為存儲(chǔ)器的保存區(qū)域。另外，因?yàn)橥ǔD象的顯示間隔固定，所以也可考慮將圖象的顯示順序做為時(shí)刻。
如上所述，可防止新的圖象改寫未顯示的圖象，并可在變?yōu)轱@示時(shí)刻之時(shí)從釋放完但未改寫的區(qū)域開始顯示圖象。另外，不必多余的存儲(chǔ)器，可保存為了顯示而必需保存的圖象。
另外，與保存在圖象存儲(chǔ)器PicMem2中的圖象是否被顯示無關(guān)，可進(jìn)行為了顯示而應(yīng)保存的圖象的保存處理。另外，在最老時(shí)刻為顯示時(shí)刻的最老時(shí)刻的情況下，例如可通過顯示圖象管理單元DispPicCtrl管理是否顯示的信息來判斷是否是在最老時(shí)刻保存的圖象。
下面，說明解碼由實(shí)施形態(tài)4所示的圖像編碼裝置編碼的編碼信號(hào)時(shí)的圖象向存儲(chǔ)器的保存方法。
首先，根據(jù)存儲(chǔ)器管理指令MMCO的指示來判斷從圖像解碼裝置150的上述加法單元Add輸出的解碼圖像是否保存在圖象存儲(chǔ)器PicMem2中。
在保存的情況下，取得釋放區(qū)域中最初釋放的圖象區(qū)域，將解碼圖像保存在該區(qū)域中。
因?yàn)轱@示時(shí)刻的信息由系統(tǒng)管理，所以難以通過視頻解碼裝置的制作方獲得顯示時(shí)刻。最初釋放的圖象的區(qū)域保存早的顯示時(shí)刻的圖象比在后釋放的區(qū)域的可能性高。即，最初釋放的圖象已被顯示的可能性高。因此，通過將該解碼圖像保存在最初釋放的圖象區(qū)域中，不改寫未顯示的圖象的可能性變高。
另外，圖象區(qū)域是否是最初釋放的圖象區(qū)域，可通過根據(jù)存儲(chǔ)器管理指令MMCO，包含釋放順序，將是否對(duì)每個(gè)圖象區(qū)域釋放的信息、例如[used未釋放的(可用作參照?qǐng)D象)]或[unused釋放完(后面不作為參照?qǐng)D象參照)]保存在圖象存儲(chǔ)器PicMem2中，并參照該保持的信息來進(jìn)行判斷?；蛞部蓪D象區(qū)域的使用方法固定成規(guī)定的順序，按照該順序來判斷是否是最初釋放的圖象區(qū)域。例如將圖象存儲(chǔ)器PicMem2作為若存儲(chǔ)新的圖象、則順序廢棄存儲(chǔ)時(shí)刻早的存儲(chǔ)內(nèi)容，總是保存最新的一定幀數(shù)(或圖象數(shù))的圖像的先進(jìn)先出方式(FIFO)的存儲(chǔ)器，判斷是否是最初釋放的圖象區(qū)域。
如上所述，可防止新的圖象改寫未顯示的圖象，并可在變?yōu)轱@示時(shí)刻之時(shí)從釋放完但未改寫的區(qū)域開始顯示圖象。
另外，顯示單元Disp也可不配備在圖像解碼裝置150中，而僅從圖像解碼裝置150中送出由顯示單元Disp顯示圖象所必需的數(shù)據(jù)，將顯示單元Disp配備在圖像解碼裝置150的外部。
這里，說明變更實(shí)施形態(tài)2中說明的圖象大小情況下的圖像解碼裝置150的動(dòng)作。因?yàn)橐韵聞?dòng)作對(duì)實(shí)施形態(tài)3和4也相同，所以省略說明。
作為對(duì)應(yīng)于變更實(shí)施形態(tài)2所示圖象大小情況下和第1方法的方法，圖像解碼裝置150當(dāng)有圖象大小的變更指令時(shí)，釋放存儲(chǔ)器保存參照?qǐng)D象的參照用區(qū)域和保存顯示用圖象的顯示用區(qū)域，進(jìn)行初始化。
圖10是表示圖像解碼裝置150的動(dòng)作的流程圖。
判斷從圖象大小變更檢測(cè)單元PicSizeDet輸出的信號(hào)是否表示圖象大小的變更(步驟100)，在有圖象大小變更的情況下(步驟100為是)，釋放圖象存儲(chǔ)器PicMem2的全部存儲(chǔ)器區(qū)域(可利用狀態(tài))，進(jìn)行初始化(步驟102)，結(jié)束處理。
另一方面，在沒有圖象大小變更的情況下(步驟100為否)，判斷從可變長(zhǎng)解碼單元VLD輸出的存儲(chǔ)器管理指令MMCO是否表示釋放(初始化)圖象存儲(chǔ)器PicMem2的全部存儲(chǔ)器區(qū)域(步驟101)，在表示的情況下(步驟101為是)，釋放全部存儲(chǔ)器區(qū)域(步驟102)，在未表示的情況下(步驟101為否)，僅釋放保存參照?qǐng)D象的參照用區(qū)域(步驟103)，結(jié)束處理。
通過這樣釋放存儲(chǔ)器的全部區(qū)域，可防止由于混雜大小不同的圖象而產(chǎn)生的存儲(chǔ)器的部分使用，可抑制存儲(chǔ)器的使用效率惡化。
下面，作為對(duì)應(yīng)于變更實(shí)施形態(tài)2所示圖象大小情況下的第2方法的方法，說明圖像解碼裝置150進(jìn)行的動(dòng)作。
在變更圖象大小的情況下，切換釋放存儲(chǔ)器的全部區(qū)域的方法、或僅釋放保存參照?qǐng)D象的參照用區(qū)域、顯示未顯示的圖象中圖像解碼裝置150可判斷并顯示的方法。
如實(shí)施形態(tài)2中說明的那樣，表示釋放存儲(chǔ)器的全部區(qū)域或僅釋放參照用區(qū)域的指示信息(標(biāo)志)包含于從圖像編碼裝置100輸出的流Str的存儲(chǔ)器管理指令MMCO中。
圖像解碼裝置150根據(jù)存儲(chǔ)器管理指令MMCO中包含的指示信息，判斷進(jìn)行上述兩個(gè)方法中的哪一個(gè)。
圖11是表示該判斷動(dòng)作的流程圖。
首先，判斷指示信息(標(biāo)志)表示是否初始化存儲(chǔ)器的全部區(qū)域(步驟150)，在表示初始化全部區(qū)域的情況下(步驟150為是)，釋放包含保存未顯示的顯示用圖象的顯示用區(qū)域的存儲(chǔ)器的全部區(qū)域，進(jìn)行初始化(步驟151)，否則(步驟150為否)，僅釋放參照用區(qū)域，進(jìn)行初始化(步驟152)。
在該指示信息(標(biāo)志)不表示全部區(qū)域的初始化的情況下，圖像解碼裝置150僅釋放參照用區(qū)域，顯示位于參照用區(qū)域以外的區(qū)域中的未顯示的圖象中圖像解碼裝置150可判斷并顯示的圖象。
用流程圖來說明僅初始化參照用區(qū)域的情況下的圖像解碼裝置150的動(dòng)作。
圖12是表示圖像解碼裝置150(解碼器)的動(dòng)作的流程圖。
判斷從圖象大小變更檢測(cè)單元PicSizeDet輸出的信號(hào)是否表示變更圖象大小(步驟200)，在不變更圖象大小的情況下(步驟200為否)，顯示保存在顯示用區(qū)域中的應(yīng)顯示而未顯示的圖象(步驟203)。
另一方面，在變更圖象大小的情況下(步驟200是)，判斷保存在顯示用區(qū)域中的顯示用圖象是否是大小變更前的圖象(步驟201)，在不是變更前的情況下(步驟201為否)，顯示應(yīng)顯示而未顯示的圖象(步驟203)。在是變更前的情況下(步驟201為是)，判斷顯示用圖象可能顯示，顯示可顯示的圖象(步驟202)。
說明圖像解碼裝置150在該可不顯示判斷中的動(dòng)作。
圖13是表示關(guān)于圖像解碼裝置150的圖象顯示動(dòng)作的流程圖。
圖13中向與圖12相同的部分附加相同符號(hào)。
判斷保存來用于顯示的顯示用圖象是否是大小變更前的圖象(步驟201)，在不是變更前圖象的情況下(步驟201為否)，顯示該圖象。另一方面，在是變更前圖象的情況下(步驟201為是)，判斷顯示的圖象中是否有損傷(步驟211)，在沒有損傷的情況下(步驟201為否)，顯示為該圖象可顯示(步驟210)。在有損傷的情況下(步驟201為是)，不顯示該圖象，例如顯示以前的圖象。這里，所謂沒有損傷是指即使應(yīng)顯示的圖象是存儲(chǔ)的圖象的一部分，為了保存新的圖象的數(shù)據(jù)也不進(jìn)行改寫。從而，圖像解碼裝置150判斷顯示的圖象中是否有損傷，將沒有損傷的圖象判斷為可顯示并顯示。
這樣，如圖11、圖12、圖13的流程圖中說明的那樣，圖像解碼裝置150當(dāng)有圖象大小的變更時(shí)，進(jìn)行對(duì)應(yīng)于表示是否初始化存儲(chǔ)器全部區(qū)域的指示信息(標(biāo)志)的、相對(duì)未顯示的圖象的顯示。
通過以上圖像解碼裝置150的圖像解碼方法，即使在有圖象大小變更時(shí)，也可通過切換初始化存儲(chǔ)器全部區(qū)域，或僅初始化參照用區(qū)域，顯示可顯示未顯示的顯示用圖象，進(jìn)行適當(dāng)?shù)慕獯a。即，當(dāng)例如存儲(chǔ)器的自由容量少時(shí)，初始化存儲(chǔ)器全部區(qū)域，設(shè)為可再使用，在存儲(chǔ)器的自由容量大時(shí)，通過僅初始化參照用區(qū)域，可顯示未顯示的圖象，彈性對(duì)應(yīng)。
(實(shí)施形態(tài)6)實(shí)施形態(tài)6中，用如下術(shù)語來進(jìn)行說明。即，參照?qǐng)D象緩沖器是指使圖像編碼裝置內(nèi)的圖象存儲(chǔ)器PicMem2中的參照用區(qū)域與顯示用區(qū)域重合的區(qū)域。虛擬顯示延遲緩沖器是應(yīng)存儲(chǔ)在圖像編碼裝置內(nèi)的圖象存儲(chǔ)器PicMem2中確保的顯示用區(qū)域中的各顯示用圖象所對(duì)應(yīng)的虛擬緩沖器，保持該顯示用圖象的時(shí)間的參照序號(hào)(圖象序號(hào)等)。參照存儲(chǔ)器緩沖器是指圖像解碼裝置內(nèi)的圖象存儲(chǔ)器PicMem2中的參照用區(qū)域。后置解碼緩沖器是指圖像解碼裝置內(nèi)的圖象存儲(chǔ)器PicMem2中的顯示用區(qū)域。時(shí)間的參照序號(hào)是指按照顯示時(shí)刻順序的圖象序號(hào)，相當(dāng)于圖象時(shí)刻Time。
首先說明圖像編碼裝置。虛擬顯示延遲緩沖器被用于限制圖像編碼裝置內(nèi)預(yù)測(cè)編碼中使用的參照?qǐng)D象的最大數(shù)量。
圖14表示決定虛擬顯示延遲緩沖器與后方參照?qǐng)D象的最大數(shù)量之間的關(guān)系的處理。圖14中的各模塊表示圖象結(jié)構(gòu)決定單元PicStruct、參照?qǐng)D象管理單元RefPicCtrl及顯示圖象管理單元DispPicCtrl中的功能塊或處理步驟。如圖所示，針對(duì)該類和級(jí)的被允許的參照?qǐng)D象的最大數(shù)量NR由模塊401決定。對(duì)該值進(jìn)行各類和級(jí)定義，編碼器將相當(dāng)于NR的輪廓等級(jí)值編碼為流信息，解碼器從流的輪廓、等級(jí)值中取得NR。接著，圖像編碼裝置設(shè)定最適于編碼模塊402中的視頻序列的后方參照?qǐng)D象的最大數(shù)量NB。根據(jù)該NB值，可決定虛擬顯示延遲緩沖器的大小。在NB小于2的情況下，不必虛擬顯示延遲緩沖器。但是，在NB大于2的情況下，由模塊404生成NB-1圖象的虛擬顯示延遲緩沖器。將存儲(chǔ)在虛擬顯示延遲緩沖器中的圖象的信息確保在存儲(chǔ)器中或任一寄存器中。該虛擬顯示延遲緩沖器在圖像編碼裝置中不需要大的物理存儲(chǔ)器空間。若必需顯示(輸出)由圖像解碼裝置解碼的圖像，則因?yàn)闉榱孙@示某個(gè)圖象僅判斷是否存儲(chǔ)在虛擬顯示延遲緩沖器中即可，所以不是將重構(gòu)(解碼)圖象數(shù)據(jù)整體而僅是將特定是哪個(gè)重構(gòu)(解碼)圖象的參照?qǐng)D象的記述(圖象序號(hào)等)存儲(chǔ)在虛擬顯示延遲緩沖器中。除虛擬顯示延遲緩沖器外，模塊405生成顯示計(jì)數(shù)器，將值確保在存儲(chǔ)器中或任一寄存器中。該計(jì)數(shù)器用于判斷從虛擬顯示延遲緩沖器中去除不用的圖象。根據(jù)類和級(jí)定義，圖像編碼裝置接著如模塊406所示生成針對(duì)參照?qǐng)D象的存儲(chǔ)器空間的NR圖象大小。
最好虛擬顯示延遲緩沖器大?。絅B-1(1)其中，NB＜NR。
圖15表示圖像編碼裝置中的后置編碼處理、即將編碼后解碼的圖象(編碼圖象或簡(jiǎn)稱為圖象)存儲(chǔ)在參照存儲(chǔ)器緩沖器中的處理。圖中的模塊表示參照?qǐng)D象管理單元RefPicCtrl及顯示圖象管理單元DispPicCtrl中的功能塊或處理步驟。在模塊501編碼一個(gè)圖象后，判斷模塊502是否將圖象用作參照?qǐng)D象。在圖象是參照?qǐng)D象的情況下，根據(jù)式(2)來計(jì)算可參照的最大數(shù)量。
NMax＝NR-Fv (2)這里，Nmax表示可參照?qǐng)D象的最大數(shù)量，NR表示類和級(jí)定義所允許的參照?qǐng)D象的最大數(shù)量。Fv表示虛擬顯示延遲緩沖器充滿程度(フルネス)、即虛擬顯示延遲緩沖器的大小(NB-1)中當(dāng)前使用的數(shù)量。
在參照?qǐng)D象緩沖器的參照?qǐng)D象的數(shù)量小于Nmax的情況下，編碼圖象由模塊506重構(gòu)成(解碼)且由模塊507存儲(chǔ)在參照?qǐng)D象緩沖器中。在不存在足夠的空間的情況下，圖像編碼裝置如模塊504所示，從緩沖器中去除某個(gè)未使用的參照?qǐng)D象[unused(以后不作為參照?qǐng)D象參照)]，從而確保參照?qǐng)D象緩沖器中必需的區(qū)域。在不存在從緩沖器中去除的未使用的參照?qǐng)D象的情況下，編碼圖象不被用作參照?qǐng)D象。在編碼圖象不是參照?qǐng)D象的情況下，模塊505將編碼圖象的時(shí)間的參照序號(hào)與顯示計(jì)數(shù)器相比較。在非參照?qǐng)D象的時(shí)間的參照序號(hào)比顯示計(jì)數(shù)器小的情況下，模塊508更新虛擬顯示延遲緩沖器。在模塊508中，虛擬顯示延遲緩沖器去除具有等于顯示計(jì)數(shù)器或之前的時(shí)間的參照序號(hào)的圖象，并將現(xiàn)在的非參照?qǐng)D象的時(shí)間的參照序號(hào)加入緩沖器中。具有比顯示計(jì)數(shù)器小的時(shí)間的參照序號(hào)的虛擬緩沖器的圖象數(shù)變?yōu)榫彌_器的充滿程度。顯示計(jì)數(shù)器當(dāng)編碼圖象的數(shù)量等于NB或虛擬計(jì)數(shù)器充滿之一早時(shí)，首先開始更新動(dòng)作。之后，顯示計(jì)數(shù)器在每次編碼模塊509編碼的全部圖象時(shí)進(jìn)行更新。
圖16表示圖像解碼裝置中的后置解碼處理、即圖像解碼裝置解碼的圖象(解碼圖象或簡(jiǎn)稱為圖象)存儲(chǔ)在參照?qǐng)D象緩沖器中的處理。圖中的模塊表示顯示圖象管理單元DispPicCtrl的功能塊或處理步驟。圖象由模塊601解碼。模塊602中，圖像解碼裝置決定是否必需將圖象存儲(chǔ)為參照?qǐng)D象。在將解碼后的圖象存儲(chǔ)為參照?qǐng)D象的情況下，由模塊606將其存儲(chǔ)在參照?qǐng)D象緩沖器中。否則，圖像解碼裝置在模塊603中檢查是否是顯示(輸出)該圖象的時(shí)間。在不是應(yīng)顯示(輸出)解碼后圖象的時(shí)刻的情況下，模塊604將圖象存儲(chǔ)在后置解碼緩沖器中，直到顯示(輸出)時(shí)刻。后置解碼緩沖器與參照?qǐng)D象緩沖器共享物理上相同的存儲(chǔ)器區(qū)域。換言之，可切換相同的存儲(chǔ)器的各區(qū)域用作參照?qǐng)D象緩沖器的情況與用作后置解碼緩沖器的情況。
在模塊605中，接著，圖像解碼裝置根據(jù)這些顯示定時(shí)，決定從參照?qǐng)D象緩沖器或后置解碼緩沖器顯示(輸出)的圖象。若顯示(輸出)來自后置解碼緩沖器的圖象，則從緩沖器中去除該圖象。另外，參照?qǐng)D象僅在表示今后不由流參照時(shí)才從參照?qǐng)D象緩沖器中去除或移動(dòng)到后置解碼緩沖器中。
圖17表示為了以各圖象間隔來決定參照?qǐng)D象的最大數(shù)量而使用虛擬顯示延遲緩沖器的方法的一例。本例中，允許的參照?qǐng)D象的最大數(shù)量NR設(shè)為4。圖像編碼裝置將后方參照?qǐng)D象的最大數(shù)量NB設(shè)定為3。從而生成兩個(gè)圖象的虛擬顯示延遲緩沖器(確保區(qū)域)。顯示計(jì)數(shù)器被用于存儲(chǔ)及更新虛擬顯示(輸出)的圖象的時(shí)間的參照序號(hào)。圖中，參照存儲(chǔ)器緩沖器中的空白區(qū)域表示是空的，記載圖象類型及序號(hào)的區(qū)域表示存儲(chǔ)參照用圖象，用斜線加陰影的區(qū)域表示存儲(chǔ)顯示用圖象。另外，虛擬顯示延遲緩沖器中的空白區(qū)域表示是空的，記載圖象類型及序號(hào)的區(qū)域表示存儲(chǔ)對(duì)應(yīng)于參照存儲(chǔ)器緩沖器中的顯示用圖象的時(shí)間的參照序號(hào)，用斜線加陰影的區(qū)域表示顯示用圖象的存儲(chǔ)區(qū)域不存在于參照存儲(chǔ)器緩沖器中。對(duì)應(yīng)于參照存儲(chǔ)器緩沖器中的加陰影的區(qū)域的相同數(shù)量的虛擬顯示延遲緩沖器保持顯示用圖象的時(shí)間的參照序號(hào)。
如圖所示，圖象B2及B3被用作參照?qǐng)D象，因此，與IO及P4一直存儲(chǔ)在參照存儲(chǔ)器緩沖器中，顯示計(jì)數(shù)器在編碼圖象B3后開始更新。在時(shí)間T6，B5不被用作參照?qǐng)D象，但因?yàn)槠鋾r(shí)間的參照序號(hào)比顯示計(jì)數(shù)器大，所以必需更新為虛擬顯示延遲緩沖器。因此，此時(shí)的虛擬顯示延遲緩沖器的充滿程度fv為1，且可參照?qǐng)D象的最大數(shù)量Nmax為3。
同樣，在時(shí)間T7，不能用比顯示計(jì)數(shù)器大的該時(shí)間的參照序號(hào)去除B5，但B6必需被更新為虛擬顯示延遲緩沖器。因此此時(shí)的Nmax為2。參照?qǐng)D象I0必需通過不充足的存儲(chǔ)器從參照存儲(chǔ)器緩沖器中去除。因此，此時(shí)的B7僅通過P4及P8預(yù)測(cè)。
圖18表示顯示計(jì)數(shù)器使用虛擬顯示延遲緩沖器來在先增加的一例。本例中，NR設(shè)為5。圖像編碼裝置將多個(gè)逆向參照?qǐng)D象的最大數(shù)量Na設(shè)定為3。因此，生成兩個(gè)圖象的虛擬顯示延遲緩沖器。
如圖所示，B1、B2、B3及B4未被用作參照?qǐng)D象，但使用B7及B8。因此，B1及B2為了等待顯示而在時(shí)間T3被存儲(chǔ)在虛擬顯示延遲緩沖器中。虛擬顯示延遲緩沖器在時(shí)間T3充滿，所以顯示計(jì)數(shù)器在時(shí)間T3開始更新。顯示計(jì)數(shù)器在其可開始更新前必需至少等待虛擬顯示延遲緩沖器充滿的理由是、其需要處理認(rèn)為由圖像解碼裝置發(fā)生的B圖象的重新排列。
如圖17所示，圖像解碼裝置常常將參照?qǐng)D象緩沖器的一部分用作后置解碼緩沖器。因此，根據(jù)參照?qǐng)D象緩沖器的固定物理存儲(chǔ)器大小，圖像解碼裝置操作參照?qǐng)D象緩沖器，使該部分用于參照?qǐng)D象，且余下的用作后置解碼緩沖器。例如，在時(shí)刻T3，參照?qǐng)D象緩沖器整體被用于存儲(chǔ)參照?qǐng)D象。另外，在時(shí)間T7，僅兩個(gè)參照?qǐng)D象緩沖器被用于存儲(chǔ)P4及P8參照?qǐng)D象。余下的被用于存儲(chǔ)后置解碼圖象B5及B6。
由針對(duì)圖像編碼裝置的類和級(jí)(profile and level)定義來規(guī)定圖像解碼裝置側(cè)使用的參照?qǐng)D象的最大數(shù)量。因此，圖像編碼裝置可用到由類和級(jí)定義的參照?qǐng)D象的最大數(shù)量。因此，圖像編碼裝置必需進(jìn)行參照?qǐng)D象的管理，進(jìn)行編碼，以在圖像解碼裝置根據(jù)該限制條件進(jìn)行動(dòng)作的情況下可實(shí)現(xiàn)同樣的動(dòng)作(參照?qǐng)D象數(shù)量不超過定義的值)。
同樣，圖像解碼裝置具有數(shù)量與圖像編碼裝置相同的參照?qǐng)D象。并且，追加存儲(chǔ)器空間對(duì)于后置解碼緩沖器而言是必需的。后置解碼圖象的最大數(shù)量由式(3)來定義。
NP＝NR-2 (3)這里，NP表示后置解碼圖象的最大數(shù)量，NR表示由類和級(jí)定義所定義的參照?qǐng)D象的最大數(shù)量。
因此，對(duì)于適合于類和級(jí)的圖像解碼裝置而言，后置解碼圖象的最大數(shù)量必需在設(shè)計(jì)圖像解碼裝置時(shí)被考慮。該后置解碼圖象的最大數(shù)量可根據(jù)式3來計(jì)算，或可由類和級(jí)定義來特定。若一旦后置解碼圖象的最大數(shù)量由類和級(jí)定義來特定，則值可根據(jù)式(4)導(dǎo)出后方預(yù)測(cè)圖象的最大數(shù)量。
NB＝NP+1(4)這里，NB表示參照?qǐng)D象緩沖器的后方預(yù)測(cè)圖象的最大數(shù)量。在本實(shí)施形態(tài)中，這是圖像解碼裝置要求的最小存儲(chǔ)器要件，以便能解碼依據(jù)類和級(jí)定義的流。
后方預(yù)測(cè)數(shù)量也可為了削減由圖像解碼裝置側(cè)追加于參照?qǐng)D象緩沖器中的追加后置解碼圖象的數(shù)量而進(jìn)行限制。例如，在將后方預(yù)測(cè)的最大數(shù)量限制為兩個(gè)的情況下，必需僅將該情況下的一個(gè)追加后置解碼圖象追加到參照?qǐng)D象緩沖器中。這可避免圖像解碼裝置側(cè)向后置解碼圖象分配多余的物理存儲(chǔ)器空間。
(實(shí)施形態(tài)7)并且，通過將用于實(shí)現(xiàn)上述各實(shí)施形態(tài)中所示的圖像編碼方法及圖像解碼方法的程序記錄在軟盤等存儲(chǔ)媒體中，可在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單實(shí)施上述各實(shí)施形態(tài)所示的處理。
圖19是使用記錄在軟盤等記錄媒體中的程序，由計(jì)算機(jī)系統(tǒng)來實(shí)施上述各實(shí)施形態(tài)的圖像編碼方法及圖像解碼方法情況下的說明圖。
圖19(b)表示從軟盤正面看的外觀、截面結(jié)構(gòu)及軟盤，圖19(a)表示作為記錄媒體主體的軟盤的物理模式的實(shí)例。軟盤FD1內(nèi)置于殼體F內(nèi)，在該盤的表面，從外周向內(nèi)周同心圓地形成多個(gè)磁道Tr，將各磁道沿角度方向分割成16個(gè)扇區(qū)Se。因此，存儲(chǔ)上述程序的軟盤在分配到上述軟盤FD1上的區(qū)域中記錄上述程序。
另外，圖19(c)表示在軟盤FD1中進(jìn)行上述程序的記錄再現(xiàn)的結(jié)構(gòu)。在將實(shí)現(xiàn)圖像編碼方法及圖像解碼方法的上述程序記錄在軟盤FD1中的情況下，從計(jì)算機(jī)系統(tǒng)Cs經(jīng)軟盤驅(qū)動(dòng)器FDD寫入上述程序。另外，在將由軟盤內(nèi)的程序?qū)崿F(xiàn)圖像編碼方法及圖像解碼方法的上述圖像編碼方法及圖像解碼方法構(gòu)筑在計(jì)算機(jī)系統(tǒng)Cs中的情況下，由軟盤驅(qū)動(dòng)器FDD從軟盤中程序，發(fā)送到計(jì)算機(jī)系統(tǒng)Cs。
另外，在上述說明中，將軟盤用作記錄媒體來進(jìn)行說明，但即使使用光盤也可同樣進(jìn)行。另外，記錄媒體不限于此，IC卡、ROM盒等只要能記錄程序的媒體，都可同樣實(shí)施。
(實(shí)施形態(tài)8)這里，還說明上述實(shí)施形態(tài)所示的圖像編碼方法或圖像解碼方法的應(yīng)用例與使用其的系統(tǒng)。
圖20是表示實(shí)現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)ex100的整體結(jié)構(gòu)的框圖。將通信服務(wù)的提供區(qū)域分割成期望的大小，在各小區(qū)內(nèi)分別設(shè)置作為固定無線站(局)的基站ex107-ex110。
該內(nèi)容提供系統(tǒng)ex100例如經(jīng)因特網(wǎng)服務(wù)供應(yīng)商ex102和電話網(wǎng)ex104、基站ex107-ex110，將計(jì)算機(jī)ex111、PDA(personal digitalassistant)ex112、相機(jī)ex113、便攜電話ex114、帶相機(jī)的便攜電話ex115等各設(shè)備連接到因特網(wǎng)ex101上。
但是，內(nèi)容提供系統(tǒng)ex100不限于圖20的組合，也可任意組合連接。另外，也可不經(jīng)作為固定無線站的基站ex107-ex110，將各設(shè)備直接連接于電話網(wǎng)ex104上。
相機(jī)ex113是數(shù)碼攝像機(jī)等可拍攝動(dòng)態(tài)圖像的設(shè)備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便攜電話機(jī)，或PHS(Personal Handyphone System)等任一都無妨。
另外，流動(dòng)服務(wù)器ex103通過基站ex109、電話網(wǎng)ex104與相機(jī)ex113連接，使用相機(jī)ex113，根據(jù)用戶發(fā)送的編碼處理后的數(shù)據(jù)進(jìn)行現(xiàn)場(chǎng)配送等。拍攝到的數(shù)據(jù)的編碼處理既可由相機(jī)ex113進(jìn)行，也可由進(jìn)行數(shù)據(jù)發(fā)送處理的服務(wù)器等進(jìn)行。另外，由相機(jī)116拍攝的動(dòng)態(tài)圖像數(shù)據(jù)也可經(jīng)計(jì)算機(jī)ex111發(fā)送到流動(dòng)服務(wù)器ex103。相機(jī)ex116是數(shù)碼相機(jī)等可拍攝靜態(tài)圖像、動(dòng)態(tài)圖像的設(shè)備。此時(shí)，動(dòng)態(tài)圖像數(shù)據(jù)的編碼既可由相機(jī)ex116進(jìn)行，也可由計(jì)算機(jī)111進(jìn)行。另外，編碼處理在計(jì)算機(jī)ex111或相機(jī)116的LSIex117中進(jìn)行處理。另外，也可將圖像編碼、解碼用軟件組裝在作為可由計(jì)算機(jī)ex111等讀取的記錄媒體的任一存儲(chǔ)媒體(CD-ROM、軟盤、硬盤等)中。并且，也可由帶相機(jī)的便攜電話(移動(dòng)電話)ex115來發(fā)送動(dòng)態(tài)圖像數(shù)據(jù)。此時(shí)的動(dòng)態(tài)圖像數(shù)據(jù)是由便攜電話ex115具有的LSI編碼處理后的數(shù)據(jù)。
在該內(nèi)容提供系統(tǒng)ex100中，與上述實(shí)施形態(tài)一樣對(duì)用戶通過相機(jī)ex113、相機(jī)ex116等拍攝的內(nèi)容(例如拍攝音樂現(xiàn)場(chǎng)的映像等)進(jìn)行編碼處理，發(fā)送到流動(dòng)服務(wù)器ex103，另一方面，流動(dòng)服務(wù)器ex103向有請(qǐng)求的客戶機(jī)流配送上述內(nèi)容數(shù)據(jù)。作為客戶機(jī)，有可解碼上述編碼處理后的數(shù)據(jù)的計(jì)算機(jī)ex111、PDAex112、相機(jī)ex113、便攜電話ex114等。由此，內(nèi)容提供系統(tǒng)ex100是可在客戶機(jī)接收并再現(xiàn)編碼后的數(shù)據(jù)，并通過在客戶機(jī)實(shí)時(shí)接收編碼并再現(xiàn)，還可實(shí)現(xiàn)個(gè)人播放的系統(tǒng)。
也可在構(gòu)成該系統(tǒng)的各設(shè)備的編碼、解碼中使用上述各實(shí)施形態(tài)所示的圖像編碼方法或圖像解碼方法。
作為一例，說明便攜電話。
圖21是表示使用上述實(shí)施形態(tài)中說明的圖像編碼方法及圖像解碼方法的便攜電話ex115的圖。便攜電話ex115具有與基站ex110之間收發(fā)信電波用的天線ex201、CCD相機(jī)等可拍攝映像、靜止圖像的相機(jī)部ex203、顯示解碼相機(jī)部ex203拍攝的映像、天線ex201接收的映像等的數(shù)據(jù)的液晶顯示器等顯示部ex202、由操作鍵ex204群構(gòu)成的主體部、輸出聲音用的揚(yáng)聲器等聲音輸出部ex208、輸入聲音用的麥克風(fēng)等聲音輸入部ex205、保存拍攝到的動(dòng)態(tài)圖像或靜態(tài)圖像的數(shù)據(jù)、接收到的郵件的數(shù)據(jù)、動(dòng)態(tài)圖像的數(shù)據(jù)或靜止圖像的數(shù)據(jù)等編碼后的數(shù)據(jù)或解碼后的數(shù)據(jù)用的記錄媒體ex207、可將記錄媒體ex207裝配在便攜電話ex115中的插槽部ex206。記錄媒體ex207存儲(chǔ)作為SD卡等在塑料外內(nèi)可電改寫或擦除的非易失性存儲(chǔ)器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的閃存元件。
再用圖22來說明便攜電話ex115。便攜電話ex115經(jīng)同步總線ex313將電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、相機(jī)接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、多路復(fù)用分離部ex308、記錄再現(xiàn)部ex307、調(diào)制解調(diào)電路部ex306及聲音處理部ex305與統(tǒng)一控制具備顯示部ex202及操作鍵ex204的主體部的各部的主控制部ex311彼此連接。
電源電路部ex310當(dāng)通過用戶操作來結(jié)束通話及電源鍵變?yōu)閷?dǎo)通狀態(tài)時(shí)，通過從備用電池向各部供電，使帶相機(jī)的數(shù)字便攜電話ex115啟動(dòng)為可動(dòng)作狀態(tài)。
便攜電話ex115根據(jù)由CPU、ROM及RAM等構(gòu)成的主控制部ex311的控制，通過聲音處理部ex305將通話模式時(shí)由聲音輸入部ex205收集的聲音信號(hào)變換為數(shù)字聲音數(shù)據(jù)，由調(diào)制解調(diào)電路部ex306進(jìn)行擴(kuò)頻處理，由收發(fā)信電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送。另外，便攜電話機(jī)ex115放大在聲音通話模式時(shí)由天線ex201接收到的接收信號(hào)，實(shí)施頻率變換處理及模數(shù)變換處理，由調(diào)制解調(diào)電路部ex306進(jìn)行逆擴(kuò)頻處理，由聲音處理部ex305變換為模擬聲音信號(hào)后，經(jīng)聲音輸出部ex208輸出。
并且，當(dāng)在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，經(jīng)操作輸入控制部ex304將通過操作主體部的操作鍵ex204輸入的電子郵件的文本數(shù)據(jù)發(fā)送到主控制部ex311。主控制部ex311由調(diào)制解調(diào)電路部ex306擴(kuò)頻處理文本數(shù)據(jù)，由收發(fā)信電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送到基站ex110。
在數(shù)據(jù)通信模式時(shí)發(fā)送圖像數(shù)據(jù)的情況下，將由相機(jī)部ex203拍攝的圖像數(shù)據(jù)經(jīng)相機(jī)接口部ex303提供給圖像編碼部ex312。另外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可經(jīng)相機(jī)接口部ex303及LCD控制部ex302將相機(jī)部ex203拍攝的圖像數(shù)據(jù)直接顯示于顯示部ex202。
圖像編碼部ex312是具備本發(fā)明中說明的圖像編碼裝置的結(jié)構(gòu)，通過上述實(shí)施形態(tài)中所示圖像編碼裝置中使用的編碼方法壓縮編碼從相機(jī)部ex203提供的圖像數(shù)據(jù)，變換為編碼圖像數(shù)據(jù)，發(fā)送到多路復(fù)用分離部ex308。另外，與此同時(shí)，便攜電話機(jī)ex115經(jīng)聲音處理部ex305，將相機(jī)部ex203在拍攝中由聲音輸入部ex205收集到的聲音作為數(shù)字聲音數(shù)據(jù)發(fā)送到多路復(fù)用分離部ex308。
多路復(fù)用分離部ex308按規(guī)定的方式多路復(fù)用從圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，調(diào)制解調(diào)電路部ex306擴(kuò)頻處理結(jié)果得到的多路復(fù)用數(shù)據(jù)，收發(fā)信電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后，經(jīng)天線ex201發(fā)送。
當(dāng)在數(shù)據(jù)通信模式時(shí)接收鏈接到主頁(yè)等的動(dòng)態(tài)圖像文件的數(shù)據(jù)時(shí)，調(diào)制解調(diào)電路部ex306逆擴(kuò)頻處理經(jīng)天線ex201從基站ex110接收到的接收信號(hào)，將結(jié)果得到的多路復(fù)用數(shù)據(jù)發(fā)送到多路復(fù)用分離部ex308。
另外，在解碼經(jīng)天線ex201接收到的多路復(fù)用數(shù)據(jù)中，多路復(fù)用分離部ex308通過分離多路復(fù)用數(shù)據(jù)，分成圖像數(shù)據(jù)的編碼流和聲音的編碼流，同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時(shí)，將該聲音數(shù)據(jù)提供給聲音處理部ex305。
接著，圖像解碼部ex309是具備本發(fā)明中說明的圖像解碼裝置的結(jié)構(gòu)，通過由上述實(shí)施形態(tài)所示編碼方法所對(duì)應(yīng)的解碼方法解碼圖像數(shù)據(jù)的編碼流，生成再現(xiàn)動(dòng)態(tài)圖像數(shù)據(jù)，經(jīng)LCD控制部ex302提供給顯示部ex202，從而，顯示例如鏈接到主頁(yè)上的動(dòng)態(tài)圖像文件中包含的動(dòng)態(tài)圖像數(shù)據(jù)。與此同時(shí)，聲音處理部ex305在將聲音數(shù)據(jù)變換為模擬聲音信號(hào)后，提供給聲音輸出部ex208，由此，再現(xiàn)例如鏈接到主頁(yè)上的動(dòng)態(tài)圖像文件中包含的聲音數(shù)據(jù)。
不限于上述系統(tǒng)實(shí)例，近來基于衛(wèi)星、地面波的數(shù)字播放成為話題，如圖23所示，也可在數(shù)字播放用系統(tǒng)中組裝上述實(shí)施形態(tài)的至少圖像編碼裝置或圖像解碼裝置之一。具體而言，播放站ex409經(jīng)電波將映像信息的編碼流傳輸?shù)酵ㄐ呕虿シ判l(wèi)星ex410。接收到編碼流的播放衛(wèi)星ex410接收播放用的電波，具有衛(wèi)星播放收發(fā)信設(shè)備的家庭天線ex406接收該電波，通過電視(接收機(jī))ex401或機(jī)頂盒(STB)ex407等裝置解碼編碼流，并再現(xiàn)。另外，讀取記錄在作為記錄媒體的CD或DVD等存儲(chǔ)媒體ex402中的編碼流，在解碼的再現(xiàn)裝置ex403中也安裝上述實(shí)施形態(tài)所示的圖像解碼裝置。此時(shí)，再現(xiàn)的映像信號(hào)被顯示在監(jiān)視器ex404中。另外，還考慮在連接于有線電視用的電纜ex405或衛(wèi)星/地面波播放的天線ex406上的機(jī)頂盒ex407內(nèi)安裝圖像解碼裝置，由電視的監(jiān)視器ex408來再現(xiàn)。此時(shí)，也可不在機(jī)頂盒而在電視內(nèi)組裝圖像解碼裝置。另外，也可能是具有天線ex411的車ex412從衛(wèi)星ex410或從基站ex107等接收信號(hào)，并在車ex412具有的汽車導(dǎo)航裝置ex413等顯示裝置中再現(xiàn)動(dòng)態(tài)圖像。
并且，也可由上述實(shí)施形態(tài)所示圖像編碼裝置編碼圖像信號(hào)，并記錄在記錄媒體中。作為具體例，有將圖像信號(hào)記錄在DVD盤ex421中的DVD記錄器或記錄在硬盤中的盤記錄器等記錄器ex420。還可記錄在SD卡ex422中。記錄器ex420若具備上述實(shí)施形態(tài)所示的圖像解碼裝置，則可再現(xiàn)記錄在DVD盤ex421或SD卡ex422中的圖像信號(hào)，并由監(jiān)視器ex408顯示。
另外，汽車導(dǎo)航裝置ex413的結(jié)構(gòu)考慮圖22所示結(jié)構(gòu)中去除相機(jī)部ex203、相機(jī)接口部ex303、圖像編碼部ex312的結(jié)構(gòu)，計(jì)算機(jī)ex111或電視(接收機(jī))ex401也可同樣考慮。
另外，上述便攜電話ex114等的終端除具有編碼器、解碼器雙方的收發(fā)信型終端外，還可考慮僅有編碼器的發(fā)送終端、僅有解碼器的接收終端等3種安裝形式。
這樣，可將上述實(shí)施形態(tài)所示的圖像編碼方法或圖像解碼方法用于上述任一設(shè)備、系統(tǒng)中，從而可得到與上述實(shí)施形態(tài)說明的效果。
另外，本發(fā)明不限于上述實(shí)施形態(tài)，在不脫離本發(fā)明的范圍下可進(jìn)行種種變形或修正。
另外，在本實(shí)施形態(tài)中，顯示和表現(xiàn)按應(yīng)顯示順序重新排列圖象順序并輸出。即，顯示和表現(xiàn)將解碼圖像輸出到顯示器用的處理，例如，為了由其它記錄設(shè)備進(jìn)行記錄而輸出解碼圖像的動(dòng)作也可認(rèn)為是該顯示的特殊情況。另外，在顯示器具有圖像存儲(chǔ)器的情況下，也可比實(shí)際的顯示時(shí)刻早地將解碼圖像發(fā)送到顯示器。
產(chǎn)業(yè)上的可利用性本發(fā)明被用于圖像編碼裝置中，該裝置邊參照保存在解碼圖像緩沖器中的解碼完圖像邊通過預(yù)測(cè)編碼來編碼圖像，解碼編碼后的圖像，將該解碼圖像存儲(chǔ)在所述解碼圖像緩沖器中，及用于圖像編碼裝置中，該裝置邊參照保存在解碼圖像緩沖器中的解碼完圖像，邊解碼通過預(yù)測(cè)編碼而被編碼的圖像，將該解碼圖像存儲(chǔ)在所述解碼圖像緩沖器中。
權(quán)利要求
1.一種圖像編碼方法，邊參照保持在圖象緩沖器中的圖像，邊預(yù)測(cè)編碼輸入圖像，并對(duì)編碼的所述輸入圖像進(jìn)行解碼，其特征在于對(duì)解碼后的圖像，判斷是否是參照用圖像、及是否是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于具有第1判斷步驟，判斷解碼的圖像是否是參照用圖像；第2判斷步驟，判斷解碼后的圖像是否是必需保持到顯示時(shí)刻的輸出用圖像；和管理步驟，管理圖象緩沖器，使第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像保持在所述圖象緩沖器中。
3.根據(jù)權(quán)利要求2所述的圖像編碼方法，其特征在于所述圖象緩沖器具有一定的大小，所述圖像編碼方法還具有第3判斷步驟，判斷圖象緩沖器中保持的參照用圖像是否參照完；和第4判斷步驟，判斷圖象緩沖器中保持的圖像是否輸出完，在所述管理步驟中，根據(jù)第3及第4判斷步驟中的各判斷結(jié)果，再使用在所述一定大小的范圍內(nèi)保持著圖象緩沖器中的圖像的區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像編碼方法，其特征在于所述圖像編碼方法還具有編碼步驟，對(duì)每個(gè)由多個(gè)編碼圖像構(gòu)成的序列，編碼表示該序列的編碼中成為一定的所述大小的信息。
5.根據(jù)權(quán)利要求3所述的圖像編碼方法，其特征在于在所述管理步驟中，在所述圖象緩沖器中不存在可重新存儲(chǔ)圖像的區(qū)域的情況下，在保持第4判斷步驟中判斷為輸出完的非參照用圖像的區(qū)域中，存儲(chǔ)第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像之一。
6.根據(jù)權(quán)利要求3所述的圖像編碼方法，其特征在于在所述管理步驟中，在所述圖象緩沖器中不存在可新存儲(chǔ)圖像的區(qū)域的情況下，在保持存儲(chǔ)在所述圖象緩沖器中的非參照用圖像中顯示順序早的圖像的區(qū)域中，保持第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像之一。
7.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于所述圖像編碼方法還具有釋放步驟，在包含多個(gè)編碼圖像的序列中途變更輸入圖像的大小的情況下，釋放保持著輸出用圖像的區(qū)域中、保持著大小變更前的圖像且存儲(chǔ)后圖像的全部或部分未被變更的圖像的區(qū)域以外的區(qū)域。
8.一種圖像解碼方法，邊參照保持在圖象緩沖器中的圖像，邊解碼預(yù)測(cè)編碼過的輸入圖像，其特征在于對(duì)解碼后的圖像，判斷是否是參照用圖像及是否是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
9.根據(jù)權(quán)利要求8所述的圖像解碼方法，其特征在于所述圖像解碼方法具有第1判斷步驟，判斷解碼的圖像是否是參照用圖像；第2判斷步驟，判斷解碼后的圖像是否是必需保持到顯示時(shí)刻的輸出用圖像；和管理步驟，管理圖象緩沖器，使第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像保持在所述圖象緩沖器中。
10.根據(jù)權(quán)利要求9所述的圖像解碼方法，其特征在于所述圖象緩沖器具有一定的大小，所述圖像解碼方法還具有第3判斷步驟，判斷圖象緩沖器中保持的參照用圖像是否參照完；和第4判斷步驟，判斷圖象緩沖器中保持的圖像是否輸出完，在所述管理步驟中，根據(jù)第3及第4判斷步驟中的各判斷結(jié)果，再使用在所述一定大小的范圍內(nèi)保持圖象緩沖器中的圖像的區(qū)域。
11.根據(jù)權(quán)利要求10所述的圖像解碼方法，其特征在于所述圖像解碼方法還具有解碼步驟，對(duì)每個(gè)由多個(gè)編碼圖像構(gòu)成的序列，取得該序列單位的變?yōu)橐欢ǖ乃龃笮　?br> 12.根據(jù)權(quán)利要求10所述的圖像解碼方法，其特征在于在所述管理步驟中，在所述圖象緩沖器中不存在可重新存儲(chǔ)圖像的區(qū)域的情況下，在保持著第4判斷步驟中判斷為輸出完的非參照用圖像的區(qū)域中，存儲(chǔ)第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像之一。
13.根據(jù)權(quán)利要求10所述的圖像解碼方法，其特征在于在所述管理步驟中，在所述圖象緩沖器中不存在可新存儲(chǔ)圖像的區(qū)域的情況下，在保持著被存儲(chǔ)在所述圖象緩沖器中的非參照用圖像中顯示順序早的圖像的區(qū)域中，保持第1判斷步驟中判斷為參照用圖像的圖像和第2判斷步驟中判斷為輸出用圖像的圖像之一。
14.根據(jù)權(quán)利要求8所述的圖像解碼方法，其特征在于所述圖像解碼方法還具有輸出步驟，在包含多個(gè)編碼圖像的序列中途變更輸入圖像的大小的情況下，輸出保持在圖象緩沖器中的非參照用圖像中、大小變更前的圖像且存儲(chǔ)后圖像的全部或部分未被變更的圖像。
15.一種圖像編碼裝置，邊參照保持在圖象緩沖器中的圖像，邊預(yù)測(cè)編碼輸入圖像，并對(duì)編碼的所述輸入圖像解碼，其特征在于對(duì)解碼后的圖像判斷是否是參照用圖像及是否是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
16.根據(jù)權(quán)利要求15所述的圖像編碼裝置，其特征在于所述圖像編碼裝置具有第1判斷部件，判斷解碼的圖像是否是參照用圖像；第2判斷部件，判斷解碼后的圖像是否是必需保持到顯示時(shí)刻的輸出用圖像；和管理部件，管理圖象緩沖器，使第1判斷部件判斷為參照用圖像的圖像或第2判斷部件判斷為輸出用圖像的圖像保持在所述圖象緩沖器中。
17.根據(jù)權(quán)利要求16所述的圖像編碼裝置，其特征在于所述圖象緩沖器具有一定的大小，所述圖像編碼裝置還具有第3判斷部件，判斷圖象緩沖器中保持的參照用圖像是否參照完；和第4判斷部件，判斷圖象緩沖器中保持的圖像是否輸出完，所述管理步部件根據(jù)第3及第4判斷部件的各判斷結(jié)果，再使用在所述一定大小的范圍內(nèi)保持著圖象緩沖器中的圖像的區(qū)域。
18.根據(jù)權(quán)利要求17所述的圖像編碼裝置，其特征在于所述圖像編碼裝置還具有編碼部件，對(duì)每個(gè)由多個(gè)編碼圖像構(gòu)成的序列，對(duì)表示該序列的編碼中變?yōu)橐欢ǖ乃龃笮〉男畔⒕幋a。
19.根據(jù)權(quán)利要求17所述的圖像編碼裝置，其特征在于所述管理部件，在所述圖象緩沖器中不存在可重新存儲(chǔ)圖像的區(qū)域的情況下，在保持著由第4判斷部件判斷為輸出完的非參照用圖像的區(qū)域中，存儲(chǔ)由第1判斷部件判斷為參照用圖像的圖像、和由第2判斷部件判斷為輸出用圖像的圖像之一。
20.根據(jù)權(quán)利要求17所述的圖像編碼裝置，其特征在于所述管理部件在所述圖象緩沖器中不存在可新存儲(chǔ)圖像的區(qū)域的情況下，在保持著被存儲(chǔ)在所述圖象緩沖器中的非參照用圖像中顯示順序早的圖像的區(qū)域中，保持由第1判斷部件判斷為參照用圖像的圖像、和由第2判斷部件判斷為輸出用圖像的圖像之一。
21.根據(jù)權(quán)利要求15所述的圖像編碼裝置，其特征在于所述圖像編碼裝置還具有釋放部件，在包含多個(gè)編碼圖像的序列中途變更輸入圖像的大小的情況下，釋放保持著輸出用圖像的區(qū)域中、對(duì)大小變更前的圖像且是存儲(chǔ)后圖像的全部或部分未被變更的圖像進(jìn)行保持的區(qū)域以外的區(qū)域。
22.一種圖像解碼裝置，邊參照保持在圖象緩沖器中的圖像，邊解碼被預(yù)測(cè)編碼過的輸入圖像，其特征在于對(duì)解碼后的圖像判斷是否是參照用圖像及是否是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
23.根據(jù)權(quán)利要求22所述的圖像解碼裝置，其特征在于所述圖像解碼裝置具有第1判斷部件，判斷解碼的圖像是否是參照用圖像；第2判斷部件，判斷解碼后的圖像是否是必需保持到顯示時(shí)刻的輸出用圖像；和管理部件，管理圖象緩沖器，使由第1判斷部件判斷為參照用圖像的圖像和由第2判斷部件判斷為輸出用圖像的圖像保持在所述圖象緩沖器中。
24.根據(jù)權(quán)利要求23所述的圖像解碼裝置，其特征在于所述圖象緩沖器具有一定的大小，所述圖像解碼裝置還具有第3判斷部件，判斷圖象緩沖器中保持的參照用圖像是否參照完；和第4判斷部件，判斷圖象緩沖器中保持的圖像是否輸出完，所述管理部件根據(jù)第3及第4判斷部件的各判斷結(jié)果，再使用在所述一定大小的范圍內(nèi)保持著圖象緩沖器中的圖像的區(qū)域。
25.根據(jù)權(quán)利要求24所述的圖像解碼裝置，其特征在于所述圖像解碼裝置還具有解碼部件，對(duì)每個(gè)由多個(gè)編碼圖像構(gòu)成的序列，取得成為該序列單位的一定的所述大小。
26.根據(jù)權(quán)利要求24所述的圖像解碼裝置，其特征在于所述管理部件在所述圖象緩沖器中不存在可重新存儲(chǔ)圖像的區(qū)域的情況下，在保持由第4判斷部件判斷為輸出完的非參照用圖像的區(qū)域中，存儲(chǔ)由第1判斷步部件判斷為參照用圖像的圖像、和由第2判斷部件判斷為輸出用圖像的圖像之一。
27.根據(jù)權(quán)利要求24所述的圖像解碼裝置，其特征在于所述管理部件在所述圖象緩沖器中不存在可新存儲(chǔ)圖像的區(qū)域的情況下，在保持被存儲(chǔ)在所述圖象緩沖器中的非參照用圖像中顯示順序早的圖像的區(qū)域中，保持由第1判斷部件判斷為參照用圖像的圖像、和由第2判斷部件判斷為輸出用圖像的圖像之一。
28.根據(jù)權(quán)利要求22所述的圖像解碼裝置，其特征在于所述圖像解碼裝置還具有輸出部件，在包含多個(gè)編碼圖像的序列中途變更輸入圖像的大小的情況下，輸出被保持在圖象緩沖器中的非參照用圖像中、大小變更前的圖像且是存儲(chǔ)后圖像的全部或部分未被變更的圖像。
29.一種程序，其特征在于在計(jì)算機(jī)中執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所記載的圖像編碼方法或如權(quán)利要求8至18任一項(xiàng)所記載的圖像解碼方法。
全文摘要
本發(fā)明的圖像編碼方法是一種邊參照保持在圖象緩沖器中的圖像邊預(yù)測(cè)編碼輸入圖像，并解碼編碼后的所述輸入圖像的圖像編碼方法，對(duì)解碼后的圖像判斷是否是參照用圖像及是否是必需保持到顯示時(shí)刻的輸出用圖像，根據(jù)判斷結(jié)果使參照用圖像和輸出用圖像保持在所述圖象緩沖器中。
文檔編號(hào)H04N7/50GK1557097SQ0380102
公開日2004年12月22日 申請(qǐng)日期2003年7月7日 優(yōu)先權(quán)日2002年7月11日
發(fā)明者林宗順, 也, 符式偉, 志, 申省梅, 史, 野真也, 近藤敏志, 羽飼誠(chéng), 安倍清史 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社