專利名稱：運(yùn)動(dòng)圖像編碼裝置、攝像裝置以及運(yùn)動(dòng)圖像編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對(duì)運(yùn)動(dòng)圖像進(jìn)行壓縮并編碼的運(yùn)動(dòng)圖像編碼裝置、包括該裝置的 攝像裝置以及運(yùn)動(dòng)圖像編碼方法。
背景技術(shù)：
近年來，在攝像機(jī)(匕‘尹才Λ —匕· 一)之外，數(shù)字靜態(tài)照相機(jī)(〒”夕> ；^ f >力 ^ 7 )和帶照相機(jī)的手機(jī)廣泛普及，逐漸能夠簡便地處理圖像。與靜止畫面相比，數(shù)據(jù)量多 的運(yùn)動(dòng)畫面也因壓縮技術(shù)的進(jìn)步而變得易于處理，不僅是現(xiàn)有的攝像機(jī)，數(shù)字靜態(tài)照相機(jī) 和帶照相機(jī)的手機(jī)也能夠處理運(yùn)動(dòng)畫面。運(yùn)動(dòng)畫面的壓縮通常使用利用了幀間相關(guān)性的幀 間預(yù)測編碼來提高壓縮率，為此需要預(yù)先存儲(chǔ)至少一幀的圖像作為參考用圖像(以下記為 參考圖像)。另外，為了高效地進(jìn)行幀間預(yù)測編碼，需要檢測出圖像的運(yùn)動(dòng)，與此相應(yīng)進(jìn)行運(yùn) 動(dòng)補(bǔ)償，即檢測出圖像的相關(guān)性最高的部分并進(jìn)行編碼，但這樣會(huì)導(dǎo)致對(duì)參考圖像的存取 增加。在數(shù)字靜態(tài)照相機(jī)和帶照相機(jī)的手機(jī)這樣小型的便攜設(shè)備中，這種對(duì)參考圖像的存 取的增加逐漸成為嚴(yán)重的問題。圖9是作為包括運(yùn)動(dòng)圖像編碼裝置的攝像裝置的例子而準(zhǔn)備的數(shù)字靜態(tài)照相機(jī) 的結(jié)構(gòu)圖。在圖9中，801為CXD等圖像傳感器，802為驅(qū)動(dòng)圖像傳感器801的定時(shí)脈沖發(fā)生 器(TG，Timing Generator)，803為對(duì)圖像傳感器801的輸出信號(hào)進(jìn)行模擬處理的模擬前端 (AFE, Analog Front End)，804為將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的AD轉(zhuǎn)換器，805為照相機(jī)圖 像處理裝置。照相機(jī)圖像處理裝置805由照相機(jī)信號(hào)處理部806、運(yùn)動(dòng)圖像編碼部807a、顯 示部808、存儲(chǔ)卡控制部809、存儲(chǔ)器控制器810以及CPU811構(gòu)成。812為SDRAM等存儲(chǔ)器， 813為存儲(chǔ)卡。此外，照相機(jī)圖像處理裝置805 —般由一個(gè)半導(dǎo)體芯片(LSI)構(gòu)成。從圖像傳感器801輸出的信號(hào)通過AFE803以及AD轉(zhuǎn)換器804被轉(zhuǎn)換為數(shù)字信號(hào)， 該數(shù)字信號(hào)由照相機(jī)圖像處理裝置805的照相機(jī)信號(hào)處理部806轉(zhuǎn)換為亮度信號(hào)和顏色信 號(hào)，為了壓縮數(shù)據(jù)量而由運(yùn)動(dòng)圖像編碼部807a進(jìn)行編碼。編碼后的數(shù)據(jù)通過存儲(chǔ)卡控制部 809被保存到外部的存儲(chǔ)卡813等中。另外，通過顯示部808顯示圖像。照相機(jī)信號(hào)處理部 806、運(yùn)動(dòng)圖像編碼部807a、顯示部808等通過存儲(chǔ)器控制器810將需要的數(shù)據(jù)存儲(chǔ)在存儲(chǔ) 器812中來進(jìn)行處理。CPU811對(duì)上述所有處理進(jìn)行控制。圖10示出所述數(shù)字靜態(tài)照相機(jī)的運(yùn)動(dòng)圖像編碼部807a所采用的現(xiàn)有例的運(yùn)動(dòng)圖 像編碼裝置的結(jié)構(gòu)。在圖10中，來自于照相機(jī)信號(hào)處理部806的輸入圖像通過存儲(chǔ)器控制器810被存 儲(chǔ)到存儲(chǔ)器812的輸入圖像緩沖區(qū)域901中。通常，運(yùn)動(dòng)圖像編碼處理以稱為宏塊的矩形 小區(qū)域?yàn)閱挝贿M(jìn)行處理。輸入圖像被存儲(chǔ)直到其數(shù)據(jù)完整。另外，在幀間預(yù)測編碼中，有時(shí) 會(huì)參考未來的幀來進(jìn)行預(yù)測，此時(shí)為使輸入圖像的編碼順序與輸入幀的時(shí)刻順序不同，需 要進(jìn)行一幀以上的存儲(chǔ)。接著，在幀間預(yù)測編碼部902中，通過獲得具有時(shí)間相關(guān)性的參考圖像的差分從而壓縮數(shù)據(jù)量。此時(shí)，按照?qǐng)D像的運(yùn)動(dòng)檢測出相關(guān)性最高的地方從而提高壓縮效率。這稱 為運(yùn)動(dòng)補(bǔ)償。因此，根據(jù)存儲(chǔ)在存儲(chǔ)器812中的參考圖像，將規(guī)定的區(qū)域輸入到參考圖像緩 沖器903，通過運(yùn)動(dòng)矢量搜索部904，使用參考圖像緩沖器903內(nèi)的圖像和輸入圖像，來進(jìn)行 運(yùn)動(dòng)矢量搜索。運(yùn)動(dòng)矢量搜索使用公知的塊匹配法等來進(jìn)行。當(dāng)通過運(yùn)動(dòng)矢量搜索部904 確定出運(yùn)動(dòng)矢量后，據(jù)此在預(yù)測圖像生成部905中生成預(yù)測圖像。當(dāng)運(yùn)動(dòng)矢量的精度為整 數(shù)精度時(shí)，預(yù)測圖像為參考圖像的部分截取，當(dāng)運(yùn)動(dòng)矢量的精度為小數(shù)精度時(shí)，通過規(guī)定的 濾波處理來生成插值圖像。接著，在差分圖像生成部906中，生成預(yù)測圖像與輸入圖像的差 分圖像。接著，在幀內(nèi)編碼部907中，對(duì)差分圖像進(jìn)行幀內(nèi)編碼。在幀內(nèi)編碼中，首先在 DCT (離散余弦變換，Discrete Cosine Transform)部908中，將圖像數(shù)據(jù)轉(zhuǎn)換為頻率分量。 這是因?yàn)檗D(zhuǎn)換為頻率分量能夠使圖像成為易于壓縮的形式。一般而言，圖像的高頻分量即 使與原來的圖像相比有所變化，人類也難以感知。因此，將圖像轉(zhuǎn)換為頻率分量，在量化部 909中進(jìn)行量化來削減數(shù)據(jù)量。最后，在可變長編碼部910中進(jìn)行可變長編碼?？勺冮L編碼 是對(duì)出現(xiàn)頻率高的數(shù)據(jù)分配短代碼從而削減代碼量的編碼方式。一般使用哈夫曼
> )編碼或算術(shù)編碼。接著，通過參考圖像生成部911，生成下一幀以后的輸入幀的預(yù)測編碼所用的參考 圖像。由于參考圖像也用于解碼裝置中的解碼，因此對(duì)編碼數(shù)據(jù)進(jìn)行解碼來生成參考圖像， 而由于可變長編碼為可逆編碼，因此對(duì)進(jìn)行到量化的代碼進(jìn)行解碼來生成參考圖像。即，由 逆量化部912進(jìn)行逆量化，由逆DCT部913進(jìn)行逆DCT來對(duì)差分圖像進(jìn)行解碼，最后，通過 圖像加法部914加上預(yù)測圖像來生成被解碼的圖像作為參考圖像。參考圖像經(jīng)由存儲(chǔ)器控 制器810被存儲(chǔ)到存儲(chǔ)器812的參考圖像緩沖區(qū)域915中。此外，生成的編碼數(shù)據(jù)經(jīng)由存 儲(chǔ)器控制器810被存儲(chǔ)到存儲(chǔ)器812的編碼數(shù)據(jù)緩沖區(qū)域916中。這樣一來，在現(xiàn)有的運(yùn)動(dòng)圖像編碼裝置中，為了執(zhí)行幀間預(yù)測編碼，需要將至少一 幀的圖像數(shù)據(jù)作為參考圖像預(yù)先存儲(chǔ)到存儲(chǔ)器812中。今后，預(yù)計(jì)處理的圖像尺寸會(huì)更 大，在處理HDTV級(jí)別的運(yùn)動(dòng)圖像時(shí)，為存儲(chǔ)參考圖像所需的存儲(chǔ)器的增加，以及，對(duì)存儲(chǔ)器 進(jìn)行寫入和讀出的存儲(chǔ)器流量的增大，在實(shí)現(xiàn)數(shù)碼相機(jī)這樣要求小型且低功耗的便攜設(shè)備 時(shí)，逐漸成為嚴(yán)重的問題。迄今為止，為了降低參考圖像的存儲(chǔ)器容量和存儲(chǔ)器流量，提出了幾個(gè)方案。在專利文獻(xiàn)1中，提出了通過阿達(dá)瑪變換來壓縮參考圖像的方法。在專利文獻(xiàn)2 中，不將參考圖像作為圖像預(yù)先存儲(chǔ)，而是通過對(duì)已編碼圖像的編碼數(shù)據(jù)進(jìn)行解碼，從而在 僅對(duì)需要的參考圖像區(qū)域進(jìn)行編碼時(shí)隨時(shí)獲得參考圖像，以便削減存儲(chǔ)參考圖像的存儲(chǔ)器 及其存儲(chǔ)器流量。專利文獻(xiàn)1 日本專利第3568392號(hào)公報(bào)專利文獻(xiàn)2 日本特開2003-070000號(hào)公報(bào)在專利文獻(xiàn)1中，存在如下問題，即阿達(dá)瑪變換為非可逆壓縮，如果對(duì)參考圖像實(shí) 施該變換，會(huì)發(fā)生與解碼裝置側(cè)的失配，從而損害畫質(zhì)。在專利文獻(xiàn)1中，為了減輕該問題 而進(jìn)行如下處理，即部分削減編碼數(shù)據(jù)的AC系數(shù)并去除高頻分量，但是會(huì)導(dǎo)致圖像的分辨 率下降。在專利文獻(xiàn)2中，雖然不會(huì)發(fā)生失配，但是為了對(duì)參考圖像進(jìn)行解碼，需要對(duì)包含最初進(jìn)行幀間預(yù)測編碼的幀在內(nèi)的編碼中使用的所有幀進(jìn)行解碼，因此在每幀的編碼中， 要進(jìn)行預(yù)測次數(shù)的多次解碼處理，存在解碼處理量變得龐大的問題。因此，需要為了實(shí)現(xiàn)而 抑制預(yù)測次數(shù)等的制約，導(dǎo)致編碼效率下降。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的在于解決有關(guān)運(yùn)動(dòng)圖像編碼中幀間預(yù)測編碼的參考圖像 存取增加的問題。本發(fā)明是一種利用運(yùn)動(dòng)圖像的幀間相關(guān)性進(jìn)行壓縮的運(yùn)動(dòng)圖像編碼裝置，包括 輸入圖像緩沖器，存儲(chǔ)連續(xù)的多個(gè)輸入幀；多幀并行處理方式幀間預(yù)測編碼部，對(duì)所述輸入 圖像緩沖器內(nèi)的多個(gè)輸入幀，同時(shí)并行地進(jìn)行幀間預(yù)測編碼處理；編碼數(shù)據(jù)緩沖器，存儲(chǔ)編 碼后的多個(gè)幀的編碼數(shù)據(jù)；以及編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部，從所述編碼數(shù)據(jù) 緩沖器讀出對(duì)參考圖像進(jìn)行解碼所需的所有幀的編碼數(shù)據(jù)，與所述幀間預(yù)測編碼處理同時(shí) 并行地對(duì)所述所有的編碼數(shù)據(jù)進(jìn)行解碼，從而在需要時(shí)生成所述幀間預(yù)測編碼處理所需的 區(qū)域的參考圖像。所述多幀并行處理方式幀間預(yù)測編碼部還可以包括多個(gè)圖像編碼部，同時(shí)并行 地實(shí)施多個(gè)幀的幀間預(yù)測編碼，以及編碼用參考圖像緩沖器，存儲(chǔ)從所述編碼聯(lián)動(dòng)完全解 碼方式參考圖像生成部輸出的為所述圖像編碼部使用而所需的區(qū)域的參考圖像。另外，所述多幀并行處理方式幀間預(yù)測編碼部還可以包括多個(gè)圖像編碼部，同時(shí) 并行地實(shí)施多個(gè)幀的幀間預(yù)測編碼；編碼用參考圖像緩沖器，存儲(chǔ)從所述編碼聯(lián)動(dòng)完全解 碼方式參考圖像生成部輸出的為所述圖像編碼部使用而所需的區(qū)域的參考圖像；局部解碼 部，為將輸入幀作為參考圖像使用而對(duì)所述圖像編碼部的輸出進(jìn)行解碼并生成參考圖像； 以及局部解碼參考圖像緩沖器，用于存儲(chǔ)由所述局部解碼部生成的參考圖像。所述編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部還可以包括多個(gè)圖像解碼部，讀入 對(duì)參考圖像進(jìn)行解碼所需的所有幀的編碼數(shù)據(jù)，同時(shí)并行地實(shí)施所述所有幀的解碼；以及 多個(gè)解碼用參考圖像緩沖器，存儲(chǔ)為所述圖像解碼部使用而所需的參考圖像。所述多幀并行處理方式幀間預(yù)測編碼部的所述圖像編碼部還可以包括至少一個(gè) I/P圖像編碼部，對(duì)僅能實(shí)施幀內(nèi)編碼的I(Intra)圖像或能實(shí)施前向預(yù)測幀間預(yù)測編碼的 P(Predictive)圖像進(jìn)行編碼；以及多個(gè)B圖像編碼部，對(duì)能實(shí)施雙向預(yù)測幀間預(yù)測編碼的 B(Bidirectionally predictive)圖像進(jìn)行編碼。另外，至少所述多幀并行處理方式幀間預(yù)測編碼部與所述編碼聯(lián)動(dòng)完全解碼方式 參考圖像生成部可以在一個(gè)半導(dǎo)體芯片(LSI)內(nèi)構(gòu)成。優(yōu)選地，本發(fā)明的攝像裝置包括上述運(yùn)動(dòng)圖像編碼裝置，為數(shù)字靜態(tài)照相機(jī)、攝像 機(jī)、帶照相機(jī)的手機(jī)或監(jiān)控照相機(jī)的任一種。本發(fā)明是一種運(yùn)動(dòng)圖像編碼方法，利用運(yùn)動(dòng)圖像的時(shí)間相關(guān)性進(jìn)行壓縮，因而包 括參考圖像生成步驟，生成與輸入幀具有相關(guān)性的圖像作為參考圖像；以及幀間預(yù)測編 碼步驟，根據(jù)輸入幀與所述參考圖像進(jìn)行所謂的幀間預(yù)測編碼，輸出編碼數(shù)據(jù)，所述參考圖 像生成步驟包括編碼數(shù)據(jù)存儲(chǔ)步驟，存儲(chǔ)所述幀間預(yù)測編碼步驟輸出的代碼；以及參考 圖像解碼步驟，對(duì)為了解碼由所述編碼數(shù)據(jù)存儲(chǔ)步驟存儲(chǔ)的參考圖像而所需的所有的編碼 數(shù)據(jù)進(jìn)行解碼，從而生成參考圖像，所述幀間預(yù)測編碼步驟包括輸入圖像存儲(chǔ)步驟，存儲(chǔ)連續(xù)的多個(gè)輸入幀；以及多個(gè)幀間預(yù)測編碼步驟，對(duì)由所述輸入圖像存儲(chǔ)步驟存儲(chǔ)的多個(gè) 輸入幀，同時(shí)并行地進(jìn)行幀間預(yù)測編碼。根據(jù)本發(fā)明，通過與編碼聯(lián)動(dòng)地在需要時(shí)隨時(shí)生成需要的參考圖像的編碼聯(lián)動(dòng)完 全解碼方式參考圖像生成部，無需將參考圖像作為圖像預(yù)先存儲(chǔ)在存儲(chǔ)器中，能夠大幅削 減存儲(chǔ)器容量與存儲(chǔ)器流量。進(jìn)而，通過對(duì)多個(gè)幀并行進(jìn)行編碼的多幀并行處理方式幀間 預(yù)測編碼部，一次對(duì)多個(gè)幀進(jìn)行編碼，因此無需以一幀為單位來進(jìn)行編碼聯(lián)動(dòng)完全解碼方 式參考圖像生成部中的解碼處理，能夠抑制因預(yù)測次數(shù)的增加而造成的解碼處理的增加， 即便使預(yù)測次數(shù)增加至充分必要的次數(shù)，在現(xiàn)實(shí)的電路規(guī)模中也易于實(shí)現(xiàn)。加之，由于對(duì)于 多個(gè)幀，編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部中的編碼數(shù)據(jù)讀入只進(jìn)行一次即可，因此 存儲(chǔ)器流量也進(jìn)一步減少。所以，能夠?qū)崿F(xiàn)要求小型且低功耗的數(shù)字靜態(tài)照相機(jī)、帶照相機(jī) 的手機(jī)等運(yùn)動(dòng)圖像編碼裝置的進(jìn)一步的低功耗化、抑制功率增大、及處理HDTV級(jí)別的運(yùn)動(dòng) 圖像等的性能強(qiáng)化。根據(jù)本發(fā)明，由于從編碼數(shù)據(jù)緩沖器中，通過編碼聯(lián)動(dòng)完全解碼方式參考圖像生 成部來生成參考圖像，從而無需將參考圖像作為圖像存儲(chǔ)在存儲(chǔ)器中，因此能夠大幅削減 參考圖像用存儲(chǔ)器及其存儲(chǔ)器流量，并且通過多幀并行處理方式幀間預(yù)測編碼部，能夠同 時(shí)對(duì)多個(gè)輸入幀進(jìn)行編碼，因此不用每次針對(duì)每一幀進(jìn)行編碼聯(lián)動(dòng)完全解碼方式參考圖像 生成部中的多個(gè)幀的解碼，由于對(duì)于多個(gè)幀一并僅進(jìn)行一次，所以能夠削減每一幀的處理 量，即便使預(yù)測次數(shù)增加至充分必要的次數(shù)，也易于實(shí)現(xiàn)。


圖1是本發(fā)明的實(shí)施方式的攝像裝置的結(jié)構(gòu)圖；圖2是圖1的攝像裝置所包括的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖；圖3是本發(fā)明的實(shí)施方式的I/P圖像編碼部與局部解碼部的結(jié)構(gòu)圖；圖4是本發(fā)明的實(shí)施方式的P圖像解碼部的結(jié)構(gòu)圖；圖5A是按照時(shí)刻順序表示本發(fā)明的實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置所處理的GOP 的例子的圖；圖5B是按照編碼處理順序表示本發(fā)明的實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置所處理的 GOP的例子的圖；圖6是本發(fā)明的實(shí)施方式中的圖5A、圖5B的GOP的例子的處理內(nèi)容的說明圖；圖7是本發(fā)明的實(shí)施方式的更詳細(xì)的處理內(nèi)容的說明圖；圖8是本發(fā)明的實(shí)施方式的參考圖像緩沖器的存儲(chǔ)內(nèi)容的說明圖；圖9是包括運(yùn)動(dòng)圖像編碼裝置的數(shù)字靜態(tài)照相機(jī)的結(jié)構(gòu)圖；圖10是現(xiàn)有例的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖。符號(hào)說明101多幀并行處理方式幀間預(yù)測編碼部102編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部103輸入圖像緩沖區(qū)域104編碼數(shù)據(jù)緩沖區(qū)域105 I/P圖像編碼部
106第-- B圖像編碼部
107第二二 B圖像編碼部
108第--編碼用參考圖像緩沖器
109局部解碼部
110局部解碼參考圖像緩沖器
111第二二編碼用參考圖像緩沖器
112I圖像解碼部
113第-- P圖像解碼部
114第二二 P圖像解碼部
115第三三P圖像解碼部
116第--解碼用參考圖像緩沖器
117第二二解碼用參考圖像緩沖器
118第三三解碼用參考圖像緩沖器
119選擇器
具體實(shí)施例方式下面根據(jù)圖1 8，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。首先，圖5A、圖5B示出進(jìn)行幀間預(yù)測編碼時(shí)各幀間的參考關(guān)系的例子。這是被稱 為圖像組(GOP，Group of pictures)的進(jìn)行幀間預(yù)測編碼的多個(gè)幀的匯總單位，以使用了 運(yùn)動(dòng)圖象專家組(MPEG，Moving Picture coding Experts Group)所制定的運(yùn)動(dòng)圖像編碼 標(biāo)準(zhǔn)MPEG-2的DVD等中可見到的一般形式為例。I為幀內(nèi)圖像(Intra picture)，僅進(jìn)行幀 內(nèi)的編碼，不參考任何幀，是GOP內(nèi)的所有幀的原始圖像。P為前向預(yù)測圖像(Predictive picture)，以時(shí)間上過去的幀為參考圖像，根據(jù)該參考圖像預(yù)測并進(jìn)行編碼。B為雙向預(yù)測 圖像(Bidirectionally predictive picture)，以過去和未來的幀為參考圖像。為使B圖 像參考未來的幀，實(shí)際的幀的時(shí)刻關(guān)系與編碼順序不同。圖5A為時(shí)刻順序，圖5B為編碼處 理順序。首先，Il被編碼。如前所述這不需要參考圖像。接著，在時(shí)刻上位于Il的過去 的Bi、B2以Il為參考圖像被預(yù)測編碼。為了使說明簡單，這個(gè)例子的GOP在被稱為封閉 GOP (Closed G0P)的一個(gè)GOP內(nèi)完成編碼，而不需要其他的G0P。因此，Bl、B2僅根據(jù)本GOP 的Ii被預(yù)測編碼。接著，Pi根據(jù)Ii被預(yù)測編碼。然后，以Ii和Pi為參考圖像，雙向預(yù)測 圖像B3、B4被預(yù)測編碼。接著，P2以Pl為參考圖像被預(yù)測編碼，之后以Pl和P2為參考圖 像的B5、B6被預(yù)測編碼。接著，同樣地，P3根據(jù)P2被預(yù)測編碼，之后B7和B8根據(jù)P2和P3 被預(yù)測編碼。進(jìn)而，同樣地，P4根據(jù)P3被預(yù)測編碼，之后B9和BlO根據(jù)P3和P4被預(yù)測編 碼。下面，使用圖1和圖2對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。圖1是本發(fā)明的實(shí)施方式 所述的、例如由數(shù)字靜態(tài)照相機(jī)構(gòu)成的攝像裝置的結(jié)構(gòu)圖，對(duì)與上述圖9對(duì)應(yīng)的部分標(biāo)注 相同的參考符號(hào)，省略其說明。圖2是構(gòu)成圖1的攝像裝置的運(yùn)動(dòng)圖像編碼部807的本發(fā)明的實(shí)施方式所述的運(yùn) 動(dòng)圖像編碼裝置的結(jié)構(gòu)圖，對(duì)與上述圖10對(duì)應(yīng)的部分標(biāo)注相同的參考符號(hào)。
8
本實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置大致由兩個(gè)部分構(gòu)成。一個(gè)是多幀并行處理方式 幀間預(yù)測編碼部101，另一個(gè)是編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102。由上述多幀并 行處理方式幀間預(yù)測編碼部101與編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102構(gòu)成的運(yùn)動(dòng) 圖像編碼部807在一個(gè)半導(dǎo)體芯片(LSI)內(nèi)構(gòu)成。多幀并行處理方式幀間預(yù)測編碼部101用于并行地實(shí)施多個(gè)幀的編碼，花費(fèi)多個(gè) 幀期間來輸出多個(gè)幀的編碼數(shù)據(jù)。為了并行地將多個(gè)幀輸入到多幀并行處理方式幀間預(yù)測 編碼部101，在存儲(chǔ)器812內(nèi)設(shè)置有輸入圖像緩沖區(qū)域103。輸入圖像緩沖區(qū)域103中暫時(shí) 存儲(chǔ)有連續(xù)的多個(gè)輸入幀，多個(gè)幀被并行輸出到多幀并行處理方式幀間預(yù)測編碼部101。此 外，通常存儲(chǔ)器812與存儲(chǔ)器控制器810由不同芯片(LSI)構(gòu)成，由于難以將兩者的物理性 連接設(shè)置多個(gè)，因此實(shí)際上以較小的數(shù)據(jù)單位來分割圖像幀，按順序發(fā)送不同幀的數(shù)據(jù)，從 而實(shí)現(xiàn)并行化。編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102與編碼聯(lián)動(dòng)地隨時(shí)生成編碼所需的 參考圖像。因此，不需要用于如現(xiàn)有技術(shù)那樣預(yù)先存儲(chǔ)一個(gè)幀的參考圖像的上述圖10所示 的參考圖像緩沖區(qū)域915。為了與編碼聯(lián)動(dòng)地隨時(shí)生成參考圖像，根據(jù)編碼數(shù)據(jù)，對(duì)生成對(duì) 象的參考圖像的編碼所使用的所有幀進(jìn)行解碼，從而生成參考圖像。因此，將需要的所有幀 的編碼數(shù)據(jù)存儲(chǔ)到存儲(chǔ)器812內(nèi)的編碼數(shù)據(jù)緩沖區(qū)域104中。如此，為了生成參考圖像讀入 編碼數(shù)據(jù)即可，無需如現(xiàn)有的運(yùn)動(dòng)圖像編碼裝置那樣讀入圖像，因此存儲(chǔ)器流量大幅減少。下面，對(duì)多幀并行處理方式幀間預(yù)測編碼部101的內(nèi)部結(jié)構(gòu)進(jìn)行說明。本實(shí)施方 式實(shí)現(xiàn)前述的圖5A、圖5B所示的GOP結(jié)構(gòu)的最優(yōu)化，并行處理連續(xù)的一個(gè)I圖像與兩個(gè)B 圖像、或者一個(gè)P圖像與兩個(gè)B圖像進(jìn)行處理。即，最初并行處理圖5A、圖5B中的II、Bi、 B2，接著并行處理PI、B3、B4,以下同樣地并行處理一個(gè)P與兩個(gè)B。為此，多幀并行處理方 式幀間預(yù)測編碼部101包括I/P圖像編碼部105，對(duì)一個(gè)I圖像或P圖像進(jìn)行編碼；以及兩 個(gè)B圖像編碼部，即第一 B圖像編碼部106和第二 B圖像編碼部107。另外包括第一編碼 用參考圖像緩沖器108，從編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102獲得并預(yù)先存儲(chǔ)對(duì)P 圖像進(jìn)行編碼所需的參考圖像。為使B圖像將由I/P圖像編碼部105進(jìn)行編碼的P圖像作 為后向預(yù)測用參考圖像來使用，多幀并行處理方式幀間預(yù)測編碼部101包括局部解碼部 109，從I/P圖像編碼部105獲得直到可逆壓縮工序之前的編碼過程中的數(shù)據(jù)，并進(jìn)行局部 解碼；以及局部解碼參考圖像緩沖器110，為將由局部解碼部109解碼的圖像作為參考圖像 來使用而將其預(yù)先存儲(chǔ)。另外，B圖像與P圖像同樣，將從編碼聯(lián)動(dòng)完全解碼方式參考圖像 生成部102獲得的參考圖像用于前向預(yù)測，但由于編碼的時(shí)序必然在P圖像之后，因此多幀 并行處理方式幀間預(yù)測編碼部101包括第二編碼用參考圖像緩沖器111，用于預(yù)先存儲(chǔ)該 參考圖像直到被編碼為止。下面，對(duì)編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102的內(nèi)部結(jié)構(gòu)例進(jìn)行說明。同 樣考慮與圖5A、圖5B的GOP結(jié)構(gòu)對(duì)應(yīng)。后面會(huì)詳細(xì)敘述，在圖5A、圖5B的GOP結(jié)構(gòu)中，在最 后階段并行對(duì)P4、B9、B10進(jìn)行編碼。為此需要生成P3作為參考圖像。S卩，需要對(duì)II、P1、 P2、P3進(jìn)行解碼。為此，編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102包括一個(gè)I圖像解碼 部112 ；以及三個(gè)P圖像解碼部，即第一 P圖像解碼部113、第二 P圖像解碼部114、第三P 圖像解碼部115。另外包括作為存儲(chǔ)對(duì)三個(gè)P圖像進(jìn)行解碼所需的參考圖像的三個(gè)解碼 用參考圖像緩沖器，即第一解碼用參考圖像緩沖器116、第二解碼用參考圖像緩沖器117、第三解碼用參考圖像緩沖器118。此外，選擇器119用于選擇多幀并行處理方式幀間預(yù)測 編碼部101所需的參考圖像。例如，在圖5A、圖5B的GOP結(jié)構(gòu)中，最初僅對(duì)Il進(jìn)行解碼即 可，因此僅I圖像解碼部112動(dòng)作，向多幀并行處理方式幀間預(yù)測編碼部101輸出據(jù)此獲得 的參考圖像。下面，進(jìn)一步對(duì)各結(jié)構(gòu)單元的內(nèi)部結(jié)構(gòu)進(jìn)行說明。首先，對(duì)多幀并行處理方式幀間 預(yù)測編碼部101內(nèi)的各結(jié)構(gòu)單元的內(nèi)部結(jié)構(gòu)進(jìn)行說明。圖3是I/P圖像編碼部105和局部 解碼部109的結(jié)構(gòu)圖。基本上與上述圖10的現(xiàn)有例相同。因此，各結(jié)構(gòu)單元標(biāo)注與現(xiàn)有例 相同的參考符號(hào)，省略詳細(xì)說明。同樣，B圖像編碼部106、107也是與現(xiàn)有技術(shù)相同的結(jié)構(gòu)， 與I/P圖像編碼部105是基本上相同的結(jié)構(gòu)。參考圖像僅在輸入前向預(yù)測用與后向預(yù)測用 的2個(gè)幀這點(diǎn)上有所不同。下面，對(duì)編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部102的各結(jié)構(gòu)單元的內(nèi)部結(jié)構(gòu)進(jìn) 行說明。圖4是P圖像解碼部113 115的結(jié)構(gòu)圖。大致分為兩部分，即由幀內(nèi)解碼部301 與幀間預(yù)測解碼部302構(gòu)成。幀內(nèi)解碼部301進(jìn)一步由可變長代碼解碼部303、逆量化部 304以及逆DCT部305構(gòu)成。據(jù)此進(jìn)行幀內(nèi)的解碼，獲得進(jìn)行了幀間預(yù)測編碼的幀間預(yù)測編 碼圖像。接著，通過幀間預(yù)測解碼部302對(duì)所述幀間預(yù)測編碼圖像進(jìn)行解碼。幀間預(yù)測解 碼部302由根據(jù)參考圖像生成預(yù)測圖像的預(yù)測圖像生成部306，以及對(duì)預(yù)測圖像與幀間預(yù) 測編碼圖像進(jìn)行加法運(yùn)算而獲得解碼的P圖像的圖像加法部307構(gòu)成。另外，為了根據(jù)參 考圖像生成預(yù)測圖像，從可變長代碼解碼部303向預(yù)測圖像生成部306發(fā)送運(yùn)動(dòng)矢量。此 外，I圖像解碼部僅具有幀內(nèi)解碼部，僅在幀內(nèi)解碼部完成I圖像的解碼。下面，對(duì)本實(shí)施方式的運(yùn)動(dòng)圖像編碼裝置的動(dòng)作進(jìn)行說明。圖6是示出進(jìn)行圖5A、 圖5B所示的GOP的編碼時(shí)，圖2所示的各結(jié)構(gòu)單元進(jìn)行的處理的時(shí)序圖。具體而言，圖6 示出輸入圖像幀、I圖像解碼部112、第一 P圖像解碼部113、第二圖像解碼部114、第三圖 像解碼部115、I/P圖像編碼部105、局部解碼部109、第一 B圖像編碼部106、第二 B圖像編 碼部107以及處理量。在本實(shí)施方式中，由于并行地對(duì)三個(gè)幀進(jìn)行編碼，因此由將三個(gè)幀的處理匯總為 一個(gè)的五個(gè)階段構(gòu)成。在第一階段，II、Bi、B2被并行編碼。首先，由I/P圖像編碼部105對(duì)Il進(jìn)行編 碼。然后，當(dāng)進(jìn)行規(guī)定量的編碼后，由局部解碼部109對(duì)B1、B2的編碼所需的參考圖像進(jìn)行 解碼，并存儲(chǔ)到局部解碼參考圖像緩沖器110中。然后，使用存儲(chǔ)到局部解碼參考圖像緩沖 器110中的參考圖像，由第一 B圖像編碼部106對(duì)Bl進(jìn)行編碼，由第二 B圖像編碼部107 對(duì)B2進(jìn)行編碼。在第二階段，PI、B3、B4被并行編碼。首先，由I圖像解碼部112對(duì)Il進(jìn)行解碼， 生成對(duì)Pl進(jìn)行編碼所需的參考圖像。生成的編碼所需的參考圖像通過選擇器119被發(fā)送 到多幀并行處理方式幀間預(yù)測編碼部101，并被存儲(chǔ)到第一編碼用參考圖像緩沖器108中。 接著，由I/P圖像編碼部105對(duì)Pl進(jìn)行編碼。然后，當(dāng)與Il同樣進(jìn)行規(guī)定量的編碼后，由 局部解碼部109對(duì)B3、B4的編碼所需的參考圖像進(jìn)行解碼，并存儲(chǔ)到局部解碼參考圖像緩 沖器110中。另一方面，存儲(chǔ)到第一編碼用參考圖像緩沖器108中的參考圖像被發(fā)送到第 二編碼用參考圖像緩沖器111。該參考圖像是B圖像的前向編碼所需的，但由于B圖像的編碼在Pl的編碼之后進(jìn)行，因此該參考圖像是為了填補(bǔ)該時(shí)間差而被存儲(chǔ)的。然后，使用存 儲(chǔ)到局部解碼參考圖像緩沖器110和第二編碼用參考圖像緩沖器111中的參考圖像，由第 一 B圖像編碼部106對(duì)B3進(jìn)行編碼，由第二 B圖像編碼部107對(duì)B4進(jìn)行編碼。在第三階段，P2、B5、B6被并行編碼。首先，由I圖像解碼部112再次對(duì)Il進(jìn)行解 碼，生成對(duì)Pl進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第一解碼用參考圖像緩沖器116中。接 著，由第一 P圖像解碼部113使用存儲(chǔ)到第一解碼用參考圖像緩沖器116中的參考圖像對(duì) Pl進(jìn)行解碼，生成編碼所需的參考圖像。生成的編碼所需的參考圖像通過選擇器119被發(fā) 送到多幀并行處理方式幀間預(yù)測編碼部101，并被存儲(chǔ)到第一編碼用參考圖像緩沖器108 中。接著，由I/P圖像編碼部105對(duì)P2進(jìn)行編碼。然后，當(dāng)與Pl的編碼時(shí)同樣進(jìn)行規(guī)定量 的編碼后，由局部解碼部109對(duì)B5、B6的編碼所需的參考圖像進(jìn)行解碼，并存儲(chǔ)到局部解碼 參考圖像緩沖器110中。另一方面，存儲(chǔ)到第一編碼用參考圖像緩沖器108中的參考圖像 被發(fā)送到第二編碼用參考圖像緩沖器111。然后，與B3和B4的編碼時(shí)同樣，使用存儲(chǔ)到局 部解碼參考圖像緩沖器110和第二編碼用參考圖像緩沖器111中的參考圖像，由第一 B圖 像編碼部106對(duì)B5進(jìn)行編碼，由第二 B圖像編碼部107對(duì)B6進(jìn)行編碼。在第四階段，P3、B7、B8被并行編碼。首先，由I圖像解碼部112再次對(duì)I 1進(jìn)行 解碼，生成對(duì)Pl進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第一解碼用參考圖像緩沖器116中。 接著，由第一 P圖像解碼部113使用存儲(chǔ)到第一解碼用參考圖像緩沖器116中的參考圖像 對(duì)Pl進(jìn)行解碼，生成對(duì)P2進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第二解碼用參考圖像緩沖器 117中。接著，由第二 P圖像解碼部114使用存儲(chǔ)到第二解碼用參考圖像緩沖器117中的 參考圖像對(duì)P2進(jìn)行解碼，生成編碼所需的參考圖像。生成的編碼所需的參考圖像通過選擇 器119被發(fā)送到多幀并行處理方式幀間預(yù)測編碼部101，并被存儲(chǔ)到第一編碼用參考圖像 緩沖器108中。接著，由I/P圖像編碼部105對(duì)P3進(jìn)行編碼。然后，當(dāng)與P2的編碼時(shí)同樣 進(jìn)行規(guī)定量的編碼后，由局部解碼部109對(duì)B7、B8的編碼所需的參考圖像進(jìn)行解碼，并存儲(chǔ) 到局部解碼參考圖像緩沖器110中。另一方面，存儲(chǔ)到第一編碼用參考圖像緩沖器108中 的參考圖像被發(fā)送到第二編碼用參考圖像緩沖器111。然后，與B5和B6的編碼時(shí)同樣，使 用存儲(chǔ)到局部解碼參考圖像緩沖器110和第二編碼用參考圖像緩沖器111中的參考圖像， 由第一 B圖像編碼部106對(duì)B7進(jìn)行編碼，由第二 B圖像編碼部107對(duì)B8進(jìn)行編碼。在第五階段，P4、B9、B10被并行編碼。首先，由I圖像解碼部112對(duì)Il進(jìn)行解碼， 生成對(duì)Pl進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第一解碼用參考圖像緩沖器116中。接著， 由第一 P圖像解碼部113使用存儲(chǔ)到第一解碼用參考圖像緩沖器116中的參考圖像對(duì)Pl 進(jìn)行解碼，生成對(duì)P2進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第二解碼用參考圖像緩沖器117 中。接著，由第二 P圖像解碼部114使用存儲(chǔ)到第二解碼用參考圖像緩沖器117中的參考 圖像對(duì)P2進(jìn)行解碼，生成對(duì)P3進(jìn)行解碼所需的參考圖像，并存儲(chǔ)到第三解碼用參考圖像緩 沖器118中。接著，由第三P圖像解碼部115使用存儲(chǔ)到第三解碼用參考圖像緩沖器118 中的參考圖像對(duì)P3進(jìn)行解碼，生成編碼所需的參考圖像。生成的編碼所需的參考圖像通過 選擇器119被發(fā)送到多幀并行處理方式幀間預(yù)測編碼部101，并被存儲(chǔ)到第一編碼用參考 圖像緩沖器108中。接著，由I/P圖像編碼部105對(duì)P4進(jìn)行編碼。然后，當(dāng)與P3的編碼時(shí) 同樣進(jìn)行規(guī)定量的編碼后，由局部解碼部109對(duì)B9、BlO的編碼所需的參考圖像進(jìn)行解碼， 并存儲(chǔ)到局部解碼參考圖像緩沖器110中。另一方面，存儲(chǔ)到第一編碼用參考圖像緩沖器108中的參考圖像被發(fā)送到第二編碼用參考圖像緩沖器111。然后，與B7和B8的編碼時(shí)同 樣，使用存儲(chǔ)到局部解碼參考圖像緩沖器110和第二編碼用參考圖像緩沖器111中的參考 圖像，由第一 B圖像編碼部106對(duì)B9進(jìn)行編碼，由第二 B圖像編碼部107對(duì)BlO進(jìn)行編碼。另外，在最下方示出各階段的處理量。在處理量最大的第五階段，在三個(gè)幀的期間 中，對(duì)三個(gè)幀進(jìn)行編碼、對(duì)五個(gè)幀進(jìn)行解碼。在通常的處理中，在一個(gè)幀的期間中，對(duì)一個(gè)幀 進(jìn)行編碼、對(duì)一個(gè)幀進(jìn)行解碼，因此與通常處理相比較，雖然處理量在編碼中相同，在解碼 中為5/3倍，整體為4/3倍，但并不是難以實(shí)現(xiàn)的程度。下面，以更細(xì)的時(shí)間尺度對(duì)動(dòng)作進(jìn)行說明。對(duì)處理最多的第五階段進(jìn)行說明。圖7 是以宏塊行為單位示出第五階段的動(dòng)作的時(shí)序圖。具體而言，是示出I圖像解碼部112的 Il解碼、第一解碼用參考圖像緩沖器116、第一 P圖像解碼部113的Pl解碼、第二解碼用參 考圖像緩沖器117、第二 P圖像解碼部114的P2解碼、第三解碼用參考圖像緩沖器118、第 三P圖像解碼部115的P3解碼、第一編碼用參考圖像緩沖器108、第二編碼用參考圖像緩沖 器111、I/P圖像編碼部105的P4編碼、局部解碼部109的P4解碼、局部編碼參考圖像緩沖 器110、第一 B圖像編碼部106的B9編碼、第二 B圖像編碼部107的BlO編碼的時(shí)序圖。宏塊行是指作為編碼的基本單位的宏塊沿水平方向在整個(gè)被編碼的幀內(nèi)排滿，為 了進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測編碼，需要準(zhǔn)備垂直方向的運(yùn)動(dòng)補(bǔ)償范圍部分的宏塊行作為參考圖 像。圖8示出上述內(nèi)容。在圖8的例子中，將用于運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量搜索范圍設(shè)為水平 方向士32像素(兩個(gè)宏塊部分)、垂直方向士 16像素(一個(gè)宏塊部分)。因此，運(yùn)動(dòng)搜索 范圍內(nèi)的宏塊為水平五個(gè)、垂直三個(gè)，該區(qū)域的參考圖像需要在運(yùn)動(dòng)矢量搜索的處理過程 中保存。由圖8判斷需要將至少兩個(gè)宏塊行+水平搜索區(qū)域部分的參考圖像保存在參考圖 像緩沖器內(nèi)。以上述為前提對(duì)圖7進(jìn)行說明。Tl T7表示處理一個(gè)宏塊行的期間。首先，由I 圖像解碼部112對(duì)Il進(jìn)行解碼，生成對(duì)Pl進(jìn)行解碼所需的參考圖像。Pl的第一個(gè)宏塊行 的解碼需要Il的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像作為參考圖像。即，在Tl期間，Il的 第一個(gè)宏塊行被解碼，在T2期間，當(dāng)?shù)诙€(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后， 可以開始對(duì)第一 P圖像解碼部113中的Pl的第一個(gè)宏塊行進(jìn)行解碼。由于圖7以宏塊行 為單位來表記時(shí)間，因此Il的第二個(gè)宏塊行的解碼與Pl的第一個(gè)宏塊行的解碼在相同期 間T2實(shí)施。此外，在第一解碼用參考圖像緩沖器116內(nèi)，存儲(chǔ)有在Il的第一個(gè)宏塊行和第 二個(gè)宏塊行中進(jìn)行運(yùn)動(dòng)補(bǔ)償所需的區(qū)域。接著，Pl的第二個(gè)宏塊行的解碼需要Il的第一 個(gè)宏塊行到第三個(gè)宏塊行的圖像作為參考圖像。在T2期間中Il的第二個(gè)宏塊行的解碼之 后，接著在T3期間，當(dāng)?shù)谌齻€(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后，可以開始對(duì)Pl 的第二個(gè)宏塊行進(jìn)行解碼，Il的第三個(gè)宏塊行的解碼與Pl的第二個(gè)宏塊行的解碼在相同 期間T3實(shí)施。另外，在第一解碼用參考圖像緩沖器116內(nèi)，存儲(chǔ)有在Il的第一個(gè)宏塊行到 第三個(gè)宏塊行中進(jìn)行運(yùn)動(dòng)補(bǔ)償所需的區(qū)域。以下，同樣地對(duì)Pl的第三個(gè)以后的宏塊行進(jìn)行 解碼。接著，由第二 P圖像解碼部114對(duì)P2進(jìn)行解碼。與Pl的解碼同樣，P2的第一個(gè)宏 塊行的解碼需要Pl的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像。即，在T2期間，Pl的第一個(gè) 宏塊行被解碼，在T3期間，當(dāng)?shù)诙€(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后，可以開 始對(duì)第二 P圖像解碼部114中的P2的第一個(gè)宏塊行進(jìn)行解碼，Pl的第二個(gè)宏塊行的解碼
12與P2的第一個(gè)宏塊行的解碼在相同期間T3實(shí)施。另外，在第二解碼用參考圖像緩沖器117 內(nèi)，存儲(chǔ)有在Pl的第一個(gè)宏塊行和第二個(gè)宏塊行中進(jìn)行運(yùn)動(dòng)補(bǔ)償所需的區(qū)域。接著，P2的 第二個(gè)宏塊行的解碼需要Pl的第一個(gè)宏塊行到第三個(gè)宏塊行的圖像。在T4期間，當(dāng)?shù)谌?個(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后，可以開始對(duì)P2的第二個(gè)宏塊行進(jìn)行解碼， Pl的第三個(gè)宏塊行的解碼與P2的第二個(gè)宏塊行的解碼在相同期間T4實(shí)施。另外，在第二 解碼用參考圖像緩沖器117內(nèi)，存儲(chǔ)有在Pl的第一個(gè)宏塊行到第三個(gè)宏塊行中進(jìn)行運(yùn)動(dòng)補(bǔ) 償所需的區(qū)域。以下，同樣地對(duì)P2的第三個(gè)以后的宏塊行進(jìn)行解碼。接著，由第三P圖像解碼部115對(duì)P3進(jìn)行解碼。與P2的解碼同樣，P3的第一個(gè)宏 塊行的解碼需要P2的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像作為參考圖像。即，在T3期間， P2的第一個(gè)宏塊行被解碼，在T4期間，當(dāng)?shù)诙€(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼 后，可以開始對(duì)第三P圖像解碼部115中的P3的第一個(gè)宏塊行進(jìn)行解碼，P2的第二個(gè)宏塊 行的解碼與P3的第一個(gè)宏塊行的解碼在相同期間T4實(shí)施。另外，在第三解碼用參考圖像 緩沖器118內(nèi)，存儲(chǔ)有在P2的第一個(gè)宏塊行和第二個(gè)宏塊行中進(jìn)行運(yùn)動(dòng)補(bǔ)償所需的區(qū)域。 接著，P3的第二個(gè)宏塊行的解碼需要P2的第一個(gè)宏塊行到第三個(gè)宏塊行的圖像。在T5期 間，當(dāng)?shù)谌齻€(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后，可以開始對(duì)P3的第二個(gè)宏塊行 進(jìn)行解碼，P2的第三個(gè)宏塊行的解碼與P3的第二個(gè)宏塊行的解碼在相同期間T5實(shí)施。另 外，在第三解碼用參考圖像緩沖器118內(nèi)，存儲(chǔ)有在P2的第一個(gè)宏塊行到第三個(gè)宏塊行中 進(jìn)行運(yùn)動(dòng)補(bǔ)償所需的區(qū)域。以下，同樣地對(duì)P3的第三個(gè)以后的宏塊行進(jìn)行解碼。此外，由 第三P圖像解碼部115解碼的P3的圖像被存儲(chǔ)到第一編碼用參考圖像緩沖器108中。接著，由I/P圖像編碼部105對(duì)P4進(jìn)行編碼。在T4期間，P3的第一個(gè)宏塊行被 解碼，當(dāng)在T5期間中第二個(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼，并被存儲(chǔ)到第一編 碼用參考圖像緩沖器108中后，在I/P圖像編碼部105中，可以開始對(duì)P4的第一個(gè)宏塊行 進(jìn)行編碼。即，在T5期間，對(duì)P4的第一個(gè)宏塊行進(jìn)行編碼。接著，在T6期間，當(dāng)?shù)谌齻€(gè)宏 塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼后，可以開始對(duì)P4的第二個(gè)宏塊行進(jìn)行編碼，P3的 第三個(gè)宏塊行的解碼與P4的第二個(gè)宏塊行的解碼在相同期間T6實(shí)施。接著，通過由局部解碼部109對(duì)P4進(jìn)行解碼從而生成用于B9和BlO的后向預(yù)測 編碼的參考圖像。即，在相同期間T5中對(duì)P4的第一個(gè)宏塊行進(jìn)行解碼，生成用于B9和BlO 的后向預(yù)測編碼的參考圖像的第一個(gè)宏塊行。同樣在T6期間，對(duì)P4的第二個(gè)宏塊行進(jìn)行 解碼。這些參考圖像被存儲(chǔ)到局部解碼參考圖像緩沖器110中。接著，由第一 B圖像編碼部106和第二 B圖像編碼部107分別對(duì)B9和BlO進(jìn)行編 碼。B9和BlO的第一個(gè)宏塊行的編碼需要P3的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像作為 前向預(yù)測用的參考圖像，并需要P4的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像作為后向預(yù)測 用的參考圖像。如前所述，在T5期間，P4的第一個(gè)宏塊行被解碼，當(dāng)在T6期間中P4的第二 個(gè)宏塊行的水平方向的運(yùn)動(dòng)補(bǔ)償部分被解碼，并被存儲(chǔ)到局部解碼參考圖像緩沖器110中 后，可以開始對(duì)B9和BlO的第一個(gè)宏塊行進(jìn)行后向預(yù)測編碼。為了在相同期間T6中進(jìn)行前 向預(yù)測編碼，存儲(chǔ)到第一編碼用參考圖像緩沖器108中的作為前向預(yù)測編碼用參考圖像的 P3的圖像被轉(zhuǎn)送到第二編碼用參考圖像緩沖器111中。第二編碼用參考圖像緩沖器111存 儲(chǔ)第一編碼用參考圖像緩沖器108的IT前的內(nèi)容。即，在T6期間中，在第二編碼用參考圖 像緩沖器111中存儲(chǔ)有P3的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像作為前向預(yù)測用的參考圖像，在局部解碼參考圖像緩沖器110中存儲(chǔ)有P4的第一個(gè)宏塊行和第二個(gè)宏塊行的圖像 作為后向預(yù)測用的參考圖像。而且，由第一 B圖像編碼部106和第二 B圖像編碼部107在 T6期間內(nèi)使用兩者分別對(duì)B9和BlO進(jìn)行編碼。接著，同樣地對(duì)B9和BlO的第二個(gè)宏塊行 進(jìn)行編碼。第二個(gè)宏塊行的編碼需要P3的第一個(gè)到第三個(gè)宏塊行的圖像作為前向預(yù)測用 的參考圖像，并需要P4的第一個(gè)到第三個(gè)宏塊行的圖像作為后向預(yù)測用的參考圖像。在T7 期間中，P3的第一個(gè)到第三個(gè)宏塊行的圖像被存儲(chǔ)到第二編碼用參考圖像緩沖器111中， P4的第一個(gè)到第三個(gè)宏塊行的圖像被存儲(chǔ)到局部解碼參考圖像緩沖器110中，由第一 B圖 像編碼部106和第二 B圖像編碼部107分別對(duì)B9和BlO的第二個(gè)宏塊行進(jìn)行編碼。以下， 同樣地對(duì)B9和BlO的第三個(gè)以后的宏塊行進(jìn)行編碼。這樣，在本實(shí)施方式中，具有一個(gè)宏塊行的時(shí)間差并依次進(jìn)行解碼和編碼。此外， 當(dāng)垂直方向的運(yùn)動(dòng)補(bǔ)償范圍進(jìn)一步擴(kuò)大時(shí)，應(yīng)存儲(chǔ)到緩沖器中的參考圖像增加，各解碼和 編碼的時(shí)間差也擴(kuò)大。另外，在本實(shí)施方式中編碼的并行數(shù)為3，僅對(duì)一個(gè)P圖像進(jìn)行編碼，但在不脫離 本發(fā)明的思想、主要特長的范圍內(nèi)可以施加變形或擴(kuò)展來實(shí)施諸如進(jìn)一步增加并行數(shù)，或 與多個(gè)P圖像對(duì)應(yīng)等。本發(fā)明作為要求小型且低功耗的數(shù)字靜態(tài)照相機(jī)、攝像機(jī)、帶照相機(jī)的手機(jī)、監(jiān)控 照相機(jī)等攝像裝置中的運(yùn)動(dòng)圖像編碼裝置等是有用的。
權(quán)利要求
一種運(yùn)動(dòng)圖像編碼裝置，利用運(yùn)動(dòng)圖像的幀間相關(guān)性進(jìn)行壓縮，包括輸入圖像緩沖器，存儲(chǔ)連續(xù)的多個(gè)輸入幀；多幀并行處理方式幀間預(yù)測編碼部，對(duì)所述輸入圖像緩沖器內(nèi)的多個(gè)輸入幀，同時(shí)并行地進(jìn)行幀間預(yù)測編碼處理；編碼數(shù)據(jù)緩沖器，存儲(chǔ)編碼后的多個(gè)幀的編碼數(shù)據(jù)；以及編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部，從所述編碼數(shù)據(jù)緩沖器讀出對(duì)參考圖像進(jìn)行解碼所需的所有幀的編碼數(shù)據(jù)，與所述幀間預(yù)測編碼處理同時(shí)并行地對(duì)所述所有的編碼數(shù)據(jù)進(jìn)行解碼，從而在需要時(shí)生成所述幀間預(yù)測編碼處理所需的區(qū)域的參考圖像。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，所述多幀并行處理方式幀間預(yù)測編碼部 包括多個(gè)圖像編碼部，同時(shí)并行地實(shí)施多個(gè)幀的幀間預(yù)測編碼；以及編碼用參考圖像緩沖器，存儲(chǔ)從所述編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部輸出的為 所述圖像編碼部使用而所需的區(qū)域的參考圖像。
3.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，所述多幀并行處理方式幀間預(yù)測編碼部 包括多個(gè)圖像編碼部，同時(shí)并行地實(shí)施多個(gè)幀的幀間預(yù)測編碼；編碼用參考圖像緩沖器，存儲(chǔ)從所述編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部輸出的為 所述圖像編碼部使用而所需的區(qū)域的參考圖像；局部解碼部，為將輸入幀作為參考圖像使用而對(duì)所述圖像編碼部的輸出進(jìn)行解碼并生 成參考圖像；以及局部解碼參考圖像緩沖器，用于存儲(chǔ)由所述局部解碼部生成的參考圖像。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，所述編碼聯(lián)動(dòng)完全解碼方式參考圖像生 成部包括多個(gè)圖像解碼部，讀入對(duì)參考圖像進(jìn)行解碼所需的所有幀的編碼數(shù)據(jù)，同時(shí)并行地實(shí) 施所述所有幀的解碼；以及多個(gè)解碼用參考圖像緩沖器，存儲(chǔ)為所述圖像解碼部使用而所需的參考圖像。
5.根據(jù)權(quán)利要求2或3所述的運(yùn)動(dòng)圖像編碼裝置，所述多幀并行處理方式幀間預(yù)測編 碼部的所述圖像編碼部包括至少一個(gè)I/P圖像編碼部，對(duì)僅能實(shí)施幀內(nèi)編碼的幀內(nèi)I圖像或能實(shí)施前向預(yù)測幀間 預(yù)測編碼的前向預(yù)測P圖像進(jìn)行編碼；以及多個(gè)B圖像編碼部，對(duì)能實(shí)施雙向預(yù)測幀間預(yù)測編碼的雙向預(yù)測B圖像進(jìn)行編碼。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，至少所述多幀并行處理方式幀間預(yù)測編 碼部與所述編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部在一個(gè)半導(dǎo)體芯片LSI內(nèi)構(gòu)成。
7.一種攝像裝置，包括權(quán)利要求1、2、3、4或6的任一項(xiàng)所述的運(yùn)動(dòng)圖像編碼裝置。
8.根據(jù)權(quán)利要求7所述的攝像裝置，該攝像裝置為數(shù)字靜態(tài)照相機(jī)、攝像機(jī)、帶照相機(jī) 的手機(jī)或監(jiān)控照相機(jī)的任一種。
9.一種運(yùn)動(dòng)圖像編碼方法，利用運(yùn)動(dòng)圖像的時(shí)間相關(guān)性進(jìn)行壓縮，因而包括參考圖 像生成步驟，生成與輸入幀具有相關(guān)性的圖像作為參考圖像；以及幀間預(yù)測編碼步驟，根據(jù) 輸入幀與所述參考圖像進(jìn)行所謂的幀間預(yù)測編碼，輸出編碼數(shù)據(jù)，所述參考圖像生成步驟包括編碼數(shù)據(jù)存儲(chǔ)步驟，存儲(chǔ)所述幀間預(yù)測編碼步驟輸出的 代碼；以及參考圖像解碼步驟，對(duì)為了解碼由所述編碼數(shù)據(jù)存儲(chǔ)步驟存儲(chǔ)的參考圖像而所 需的所有的編碼數(shù)據(jù)進(jìn)行解碼，從而生成參考圖像，所述幀間預(yù)測編碼步驟包括輸入圖像存儲(chǔ)步驟，存儲(chǔ)連續(xù)的多個(gè)輸入幀；以及多個(gè) 幀間預(yù)測編碼步驟，對(duì)由所述輸入圖像存儲(chǔ)步驟存儲(chǔ)的多個(gè)輸入幀，同時(shí)并行地進(jìn)行幀間 預(yù)測編碼。
全文摘要
在進(jìn)行幀間預(yù)測編碼的運(yùn)動(dòng)圖像編碼裝置中，削減伴隨著圖像尺寸的擴(kuò)大而造成的參考圖像的存儲(chǔ)器流量的增大。具有編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部，與編碼聯(lián)動(dòng)地在需要時(shí)隨時(shí)生成需要的參考圖像；以及多幀并行處理方式幀間預(yù)測編碼部，并行地對(duì)多個(gè)幀進(jìn)行編碼。據(jù)此，由于無需將參考圖像作為圖像預(yù)先存儲(chǔ)在存儲(chǔ)器中，因此能夠大幅削減存儲(chǔ)器容量與存儲(chǔ)器流量，由于一次對(duì)多個(gè)幀并行地進(jìn)行編碼，因此能夠抑制編碼聯(lián)動(dòng)完全解碼方式參考圖像生成部中的解碼處理量，并進(jìn)一步削減存儲(chǔ)器流量。
文檔編號(hào)H04N7/32GK101960858SQ20098010771
公開日2011年1月26日 申請(qǐng)日期2009年4月21日 優(yōu)先權(quán)日2008年4月24日
發(fā)明者豬熊一行 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社