專利名稱：動態(tài)圖像編碼方法及動態(tài)圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對動態(tài)圖像數(shù)據(jù)進(jìn)行編碼及解碼的方法，以及記錄了用于通過軟件實(shí)現(xiàn)該方法的程序的記錄媒體。
背景技術(shù)：
近年來，隨著多媒體應(yīng)用的發(fā)展，圖像、聲音、文本等所有媒體信息一般能夠統(tǒng)一地處理。這時，通過將所有的媒體數(shù)字化，能夠統(tǒng)一地處理媒體。但是，由于數(shù)字化了的圖像具有龐大的數(shù)據(jù)量，因此為了存儲、傳輸，圖像的信息壓縮技術(shù)不可欠缺。而為了相互應(yīng)用壓縮后的圖像數(shù)據(jù)，壓縮技術(shù)的標(biāo)準(zhǔn)化也很重要。作為圖像壓縮技術(shù)的標(biāo)準(zhǔn)規(guī)格，有ITU(國際電氣通信聯(lián)合電氣通信標(biāo)準(zhǔn)化部)的H.261、H.263，ISO(國際標(biāo)準(zhǔn)化機(jī)構(gòu))的MPEG(運(yùn)動圖像專家組)-1、MPEG-2、MPEG-4等。
作為這些動態(tài)圖像編碼方式共同的技術(shù)，有伴隨運(yùn)動補(bǔ)償?shù)膱D像間預(yù)測。在這些動態(tài)圖像編碼方式的運(yùn)動補(bǔ)償中，將輸入的圖像分割成預(yù)定大小的像塊(block)，對每個像塊，根據(jù)表示圖像間的運(yùn)動的運(yùn)動矢量生成預(yù)測圖像。MPEG的圖像間預(yù)測，使用根據(jù)1幅在顯示時刻上超前于編碼對象圖像的圖像進(jìn)行的前方預(yù)測、根據(jù)1幅在顯示時刻上滯后于編碼對象圖像的圖像進(jìn)行的后方預(yù)測、和根據(jù)在顯示時刻上超前于編碼對象圖像及在顯示時刻上滯后于編碼對象圖像的共計(jì)2幅圖像進(jìn)行像素插值預(yù)測的雙向預(yù)測(參照例如ISO/IEC14496-21999(E)信息技術(shù)-視聽對象編碼Part2圖像(1999-12-01)P.1507.6.7時間預(yù)測結(jié)構(gòu))。
MPEG對于畫面間預(yù)測的種類唯一地決定使用的參照畫面，不能選擇任意地參照畫面。而ITU的正處于標(biāo)準(zhǔn)化之中的H.264正在討論擴(kuò)展的2方向預(yù)測，以便能夠與編碼對象圖像的顯示時刻無關(guān)地從存儲在圖像存儲器中的多幅已編碼完畢的圖像中選擇任意的2幅參照圖像。


圖1為表示H.264中的動態(tài)圖像編碼裝置的構(gòu)成的方框圖。圖1的以前的動態(tài)圖像編碼裝置在圖像間預(yù)測時，采用執(zhí)行能夠從多幅圖像中選擇參照圖像的動態(tài)圖像編碼方式的裝置。
該動態(tài)圖像編碼裝置如圖1所示包括運(yùn)動推定部301、像素插值部102、減法器103、圖像編碼部104、圖像解碼部105、加法器106、可變長編碼部302、多幀緩沖器108及開關(guān)109。
該動態(tài)圖像編碼裝置將輸入的圖像數(shù)據(jù)Img分割成像塊，對該每個像塊進(jìn)行處理。減法器103從輸入到動態(tài)圖像編碼裝置中的圖像數(shù)據(jù)中減去預(yù)測圖像數(shù)據(jù)Pred，作為殘差數(shù)據(jù)Res輸出。圖像編碼部104對輸入的殘差數(shù)據(jù)Res進(jìn)行正交變換、量子化等圖像編碼處理，輸出包含量子化正交變換系數(shù)等的殘差編碼數(shù)據(jù)ERes。圖像解碼部105對輸入的殘差編碼數(shù)據(jù)ERes進(jìn)行逆量子化、逆正交變換等圖像解碼處理，輸出殘差解碼數(shù)據(jù)DRes。加法器106將殘差解碼數(shù)據(jù)DRes與預(yù)測圖像數(shù)據(jù)Pred相加，輸出重構(gòu)圖像數(shù)據(jù)Recon。在重構(gòu)圖像數(shù)據(jù)Recon中，有可能在以后的圖像間預(yù)測中被參照的數(shù)據(jù)保存在多幀緩沖器108中。
這里，用圖2說明以往的動態(tài)圖像編碼裝置所進(jìn)行的用2幅參照圖像的插值預(yù)測。圖2為用多幅參照圖像進(jìn)行的插值預(yù)測的概念圖。這里，圖像pic為編碼對象圖像。圖像FwRef1～FwRef3表示顯示時刻超前于編碼對象圖像pic的已編碼完畢的圖像，圖像BwRef1～BwRef3表示顯示時刻滯后于編碼對象圖像pic的已編碼完畢的圖像。像塊Blk1根據(jù)顯示時刻超前于編碼對象圖像pic的圖像FwRef3所包含的參照像塊RefBlk11和顯示時刻滯后于編碼對象圖像pic的圖像BwRef1所包含的參照像塊RefBlk12的像素值進(jìn)行預(yù)測。像塊Blk2根據(jù)顯示時刻超前于編碼對象圖像pic的2幅圖像FwRef1、FwRef2所包含的參照像塊RefBlk21、RefBlk22的像素值進(jìn)行預(yù)測。像塊Blk3根據(jù)顯示時刻滯后于編碼對象圖像的2幅圖像BwRef1、BwRef2所包含的參照像塊RefBlk31、RefBlk32的像素值進(jìn)行預(yù)測。即，將用平均值等預(yù)定的方法對2個參照像塊的對應(yīng)位置的像素所得的結(jié)果進(jìn)行插值，作為預(yù)測圖像。以往的動態(tài)圖像編碼裝置的特征為如圖2所示那樣，對每個像塊用任意的2幅參照圖像進(jìn)行預(yù)測。以后，將上述那樣的用2幅參照圖像進(jìn)行預(yù)測的方法稱為多個參照圖像插值預(yù)測。另外，預(yù)測方法除上述用像素插值生成預(yù)測圖像的方法外，還有原封不動地將任意的1幅圖像所包含的像塊作為預(yù)測圖像的方法和畫面內(nèi)預(yù)測的方法等，還可以在像塊單位間切換預(yù)測方法。
運(yùn)動推定部301對輸入的編碼對象像塊決定像塊的預(yù)測種類、圖像間預(yù)測時所使用的參照圖像、運(yùn)動矢量，輸出預(yù)測種類PredType、參照圖像的編號RefNo1、RefNo2、運(yùn)動矢量MV1、MV2。由于在多個參照圖像插值預(yù)測時選擇2幅參照圖像，因此運(yùn)動推定部301輸出2個參照圖像編號和2個運(yùn)動矢量。此時，多幀緩沖器108輸出與參照圖像編號RefNo1和運(yùn)動矢量MV1相對應(yīng)的參照像塊RefBlk1和與參照圖像編號RefNo2和運(yùn)動矢量mv2相對應(yīng)的參照像塊RefBlk2。像素插值部102用平均值等對2個參照像塊RefBlk1、RefBlk2的對應(yīng)的像素值插值，輸出插值像塊RefPol。而在多幅參照圖像插值預(yù)測以外的圖像間預(yù)測時，由于選擇1幅參照圖像，因此運(yùn)動推定部301輸出1個參照圖像的編號RefNo1和1個運(yùn)動矢量MV1。此時，多幀緩沖器108輸出與參照圖像的編號RefNo1和運(yùn)動矢量MV1相對應(yīng)的參照像塊RefBlk。
在運(yùn)動推定部301決定的預(yù)測種類PredType表示多幅參照圖像插值預(yù)測的情況下，開關(guān)109切換到“1”一側(cè)，將插值像塊RefPol作為預(yù)測圖像數(shù)據(jù)Pred使用。當(dāng)預(yù)測種類PredType表示多幅參照圖像插值預(yù)測以外的圖像間預(yù)測方法時，開關(guān)SW11切換到“0”一側(cè)，將參照像塊RefBlk作為預(yù)測圖像數(shù)據(jù)Pred使用?？勺冮L編碼部302對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像的編號RefNo1、RefNo2、運(yùn)動矢量MV1、MV2，輸出動態(tài)圖像編碼數(shù)據(jù)Str0進(jìn)行可變長編碼。
圖3為以往的動態(tài)圖像編碼裝置的動態(tài)圖像編碼數(shù)據(jù)格式的概念圖。每1幅圖像的編碼數(shù)據(jù)Picture由構(gòu)成圖像的每個像塊的1個像塊的編碼數(shù)據(jù)Block等構(gòu)成。這里，每1個這樣的像塊的編碼數(shù)據(jù)Block表示用多幅參照圖像插值預(yù)測的像塊的編碼數(shù)據(jù)，編碼數(shù)據(jù)中包含2幅參照圖像的參照圖像的編號RefNo1、RefNo2、運(yùn)動矢量MV1、MV2以及預(yù)測模式PredType。
圖4為表示以往的動態(tài)圖像解碼裝置的構(gòu)成的方框圖。
如圖4所示，該動態(tài)圖像解碼裝置包括可變長度解碼部601、運(yùn)動補(bǔ)償部602、圖像解碼部404、加法器405、像素插值部406、多幀緩沖器407和開關(guān)408。
可變長度解碼部601對輸入的動態(tài)圖像編碼數(shù)據(jù)Str0進(jìn)行可變長度解碼，輸出殘差編碼數(shù)據(jù)ERes、運(yùn)動矢量MV1、MV2、參照圖像的編號RefNo1、RefNo2、預(yù)測種類PredType。圖像解碼部404對輸入的殘差編碼數(shù)據(jù)ERes進(jìn)行逆量子化、逆正交變換等圖像解碼處理，輸出殘差解碼數(shù)據(jù)DRes。加法器405將殘差解碼數(shù)據(jù)DRes與預(yù)測圖像數(shù)據(jù)Pred相加，作為解碼圖像數(shù)據(jù)Dlmg輸出到動態(tài)圖像解碼裝置外。多幀緩沖器407保存進(jìn)行圖像間預(yù)測的解碼圖像數(shù)據(jù)Dlmg。
運(yùn)動補(bǔ)償部602根據(jù)預(yù)測種類PredType輸出圖像間預(yù)測所必需的參照像塊的參照圖像的編號NRefNo1、NRefNo2和運(yùn)動矢量MV1、MV2，指示多幀緩沖器407輸出參照像塊。當(dāng)預(yù)測種類PredType表示多幅參照圖像插值預(yù)測時，多幀緩沖器407輸出與參照圖像的編號NRefNo1和運(yùn)動矢量Nmv1相對應(yīng)的參照像塊RefBlk1和與參照圖像的編號NRefNo2和運(yùn)動矢量NMV2相對應(yīng)的參照像塊RefBlk2。像素插值部406用平均值等插值2個參照像塊RefBlk1、RefBlk2的對應(yīng)的像素值，輸出插值像塊RefPol。而在預(yù)測種類PredType表示多幅參照圖像插值預(yù)測以外的圖像間預(yù)測時，多幀緩沖器407輸出與參照圖像的編號NRefNo1和運(yùn)動矢量NMV1相對應(yīng)的參照像塊RefBlk。
并且，在預(yù)測種類PredType表示多幅參照圖像插值預(yù)測時，開關(guān)408切換到“0”一側(cè)，將插值像塊RefPol作為預(yù)測圖像數(shù)據(jù)Pred使用。而當(dāng)預(yù)測種類PredType表示多幅參照圖像插值預(yù)測以外的圖像間預(yù)測方法時，開關(guān)408切換到“1”一側(cè)，將參照像塊RefBlk作為預(yù)測圖像數(shù)據(jù)Pred使用。通過上述說明過的處理，動態(tài)圖像解碼裝置將動態(tài)圖像編碼數(shù)據(jù)Str0解碼，輸出圖像解碼數(shù)據(jù)Dlmg。
但是，在MPEG-4的動態(tài)圖像編碼方法中，定義了如下的多幅參照圖像插值預(yù)測方法，在使用被稱為雙向預(yù)測圖像的多幅參照圖像插值預(yù)測型的圖像中，通過根據(jù)已編碼完畢的運(yùn)動矢量，計(jì)算被稱為直接模式的由插值制作預(yù)測圖像所使用的2幅參照圖像的運(yùn)動矢量，省略像塊的編碼數(shù)據(jù)中的運(yùn)動矢量及參照圖像編號。
圖5為MPEG-4的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1表示顯示時刻超前于編碼對象圖像pic的參照圖像，圖像Ref2表示顯示時刻滯后于編碼對象圖像pic的參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref2中畫面位置與編碼對象Blk相同的像塊。并且，運(yùn)動矢量MV01表示以編碼像塊Blk0時使用的圖像Ref1為參照圖像的、指向前方的運(yùn)動矢量，運(yùn)動矢量MV1表示指向參照圖像Ref1的編碼對象像塊的運(yùn)動矢量，運(yùn)動矢量MV2表示指向參照圖像Ref2的編碼對象像塊的運(yùn)動矢量，像塊RefBlk1表示被運(yùn)動矢量MV1參照的參照像塊，像塊RefBlk2表示被運(yùn)動矢量MV2參照的參照像塊。
用于編碼對象像塊Blk參照的2幅圖像，使用顯示時刻滯后的、離得最近的圖像Ref2作為后方參照圖像，使用編碼像塊Blk0時參照過的前方參照圖像Ref1作為前方參照圖像。
運(yùn)動矢量的計(jì)算假定圖像之間運(yùn)動一定或沒有運(yùn)動進(jìn)行。此時，如果假設(shè)編碼對象圖像pic與參照圖像Ref1之間的顯示時刻的差值為TRD1，參照圖像Ref1與參照圖像Ref2之間的顯示時刻的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示時刻的差值為TRD3，則對編碼對象像塊進(jìn)行編碼時使用的運(yùn)動矢量MV1及運(yùn)動矢量MV2可以分別由下面的計(jì)算公式算出MV1＝MV01×(TRD1/TRD2)……………………………(式A)MV2＝-MV01×(TRD3/TRD2)……………………………(式B)用以上的方法可以決定直接模式時的參照圖像和運(yùn)動矢量。上述說明過的直接模式的處理，動態(tài)圖像編碼裝置用圖1的表示以往的動態(tài)圖像編碼裝置的構(gòu)成的方框圖的運(yùn)動推定部301執(zhí)行。并且，上述說明過的直接模式的處理，動態(tài)圖像解碼裝置用圖4的表示以往的動態(tài)圖像解碼裝置的構(gòu)成的方框圖的運(yùn)動補(bǔ)償部602執(zhí)行。
當(dāng)對圖像間的運(yùn)動少的動態(tài)圖像進(jìn)行圖像間預(yù)測時，圖像間預(yù)測誤差非常小，由量子化等圖像處理產(chǎn)生的殘差編碼數(shù)據(jù)ERes幾乎為0。在像以上說明過的直接模式那樣，不編碼運(yùn)動矢量及參照圖像編號而用預(yù)定的方法決定的編碼中，將根據(jù)編碼對象像塊的參照圖像和運(yùn)動矢量的圖像間預(yù)測的殘差編碼數(shù)據(jù)ERes全部為0的情況定義為被稱為跳躍(スキツプ)模式的預(yù)測種類PredType的1種。跳躍模式由于只傳送表示跳躍模式的預(yù)測種類PredType，因此能夠以非常小的代碼量編碼像塊。通過分配比其他的預(yù)測種類短的可變長度代碼字給該跳躍模式或運(yùn)行長度編碼連續(xù)的跳躍模式的像塊的個數(shù)，能夠更加有效地編碼。
上述H.264將在1個像塊中用直接模式進(jìn)行圖像間預(yù)測的殘差編碼數(shù)據(jù)全部為0的情況定義為跳躍模式。在圖1所示的動態(tài)圖像編碼中，用跳躍模式編碼像塊時進(jìn)行以下的處理。運(yùn)動推定部301經(jīng)過以上說明過的直接模式的處理輸出參照圖像編號RefNo1、RefNo2、運(yùn)動矢量MV1、MV2和表示跳躍模式的預(yù)測種類PredType?？勺冮L編碼部302在預(yù)測種類PredType表示跳躍模式時只對預(yù)測種類PredType進(jìn)行可變長編碼，輸出動態(tài)圖像編碼數(shù)據(jù)Str0。在圖4所示的動態(tài)圖像解碼裝置中，如果輸入用跳躍模式編碼過的像塊的編碼數(shù)據(jù)，則進(jìn)行以下的處理?？勺冮L度解碼部601對預(yù)測種類PredType進(jìn)行可變長度解碼。運(yùn)動補(bǔ)償部602在預(yù)測種類PredType表示為跳躍模式時，通過以上說明過的直接模式的處理輸出參照圖像編號NRefNo1、NRefNo2、運(yùn)動矢量MV1、MV2和表示跳躍模式的預(yù)測種類PredType。
如上所述，H.264能夠與編碼對象圖像的顯示時刻無關(guān)地從多幅已編碼完畢的圖像中選擇任意的參照圖像。但是，由于在這種情況下要對多幅已編碼完畢的圖像進(jìn)行運(yùn)動檢測以選擇任意的參照圖像，因此該運(yùn)動檢測的處理的負(fù)荷非常大。并且，由于該多幅參照圖像插值預(yù)測必需編碼2幅參照圖像的每1幅的參照圖像編號和運(yùn)動矢量，因此存在降低編碼效率的問題。
而且，在存在像用以往的技術(shù)說明過的雙向預(yù)測圖像那樣，將顯示時刻滯后于編碼對象圖像的圖像作為參照圖像進(jìn)行圖像間預(yù)測的圖像時，必須以與顯示時刻的順序不同的順序編碼圖像，因此產(chǎn)生了因編碼帶來的延遲。在可視電話等實(shí)時通信的場合下，由于延遲會產(chǎn)生問題，因此存在不能使用雙向預(yù)測圖像的情況。但是，H.264由于能夠不受顯示順序信息的影響選擇任意的2幅參照圖像，因此通過選擇2幅顯示時刻超前于編碼對象圖像的圖像進(jìn)行多幅參照圖像插值預(yù)測，可以消除因編碼產(chǎn)生的延遲。但是，由于此時多幀緩沖器中沒有保存顯示時刻滯后于編碼對象圖像的圖像，因此不能使用上述以往的由顯示時刻滯后于編碼對象圖像的圖像決定運(yùn)動矢量的直接模式。

發(fā)明內(nèi)容
因此，本發(fā)明就是鑒于上述問題，目的是提供一種在多幅參照圖像插值預(yù)測時，能夠有效地實(shí)現(xiàn)編碼并能夠削減處理量的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法。
為了達(dá)到上述目的，本發(fā)明的動態(tài)圖像編碼方法為以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼的動態(tài)圖像編碼方法，其特征在于，包括決定參照已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼步驟。
因此，在用參照圖像生成預(yù)測圖像時，由于不需進(jìn)行對每個像塊從多幅已編碼完畢的圖像中選擇作為參照圖像的圖像的處理，因此可以削減處理量。并且，由于不必對每個像塊編碼該參照圖像，因此可以削減代碼量。一般地，圖像數(shù)據(jù)中的大部分的像塊選擇相同的圖像作為最合適的參照圖像的可能性很高。因此，通過例如以像塊單位使參照圖像為共同的參照圖像，能夠在維持高編碼效率的情況下削減處理量。
或者，本發(fā)明的動態(tài)圖像編碼方法為以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼的動態(tài)圖像編碼方法，其特征在于，包括決定參照2幅已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已編碼完畢的圖像中選擇的第2圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼步驟。
因此，在用2幅圖像作為參照圖像生成預(yù)測圖像時，由于對于1幅參照圖像不需要對每個像塊從多幅已編碼完畢的圖像中選擇1幅圖像的處理，因此能夠削減處理量。并且，由于不必對每個像塊編碼該參照圖像，因此可以削減代碼量。一般地，圖像數(shù)據(jù)中的大部分的像塊選擇相同的圖像作為最合適的參照圖像的可能性很高。因此，通過例如以像塊單位使一方的參照圖像為共同的參照圖像，能夠在維持高編碼效率的情況下削減處理量。
這里，上述動態(tài)圖像編碼方法還可以包括將用于確定上述共同參照圖像的信息記述在生成的動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)的信息記述步驟。因此，可以將確定共同的參照圖像的信息記述在動態(tài)圖像編碼數(shù)據(jù)中，進(jìn)行輸出，在解碼動態(tài)圖像編碼數(shù)據(jù)時能夠準(zhǔn)確地確定參照圖像。
本發(fā)明的動態(tài)圖像解碼方法為對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼的動態(tài)圖像解碼方法，其特征在于，包括決定參照已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼步驟。
因此，在解碼時能夠正確地解碼處理用共同的參照圖像編碼后輸出的動態(tài)圖像編碼數(shù)據(jù)。
或者，本發(fā)明的動態(tài)圖像解碼方法為對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼的動態(tài)圖像解碼方法，其特征在于，包括決定參照2幅已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已解碼完畢的圖像中選擇的第2圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼步驟。
因此，在解碼時能夠正確地解碼處理用共同的參照圖像和每個像塊的參照圖像編碼后輸出的動態(tài)圖像編碼數(shù)據(jù)。
這里，上述動態(tài)圖像解碼方法還可以包括從上述動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)抽出用于確定上述共同的參照圖像的信息的信息抽出步驟。因此，能夠從動態(tài)圖像編碼數(shù)據(jù)中抽出確定共同的參照圖像的信息，能夠準(zhǔn)確地特定參照圖像。
另外，本發(fā)明不僅可以實(shí)現(xiàn)這樣的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法，而且可以實(shí)現(xiàn)具有這樣的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法所特有的步驟作為裝置的動態(tài)圖像編碼裝置和動態(tài)圖像解碼裝置。并且，還可以實(shí)現(xiàn)在計(jì)算機(jī)中執(zhí)行這些步驟的程序或者實(shí)現(xiàn)用上述動態(tài)圖像編碼方法編碼過的動態(tài)圖像編碼數(shù)據(jù)。并且不用說，這樣的程序和動態(tài)圖像編碼數(shù)據(jù)可以通過CD-ROM等記錄媒體或因特網(wǎng)等傳輸媒體發(fā)送。
附圖的簡要說明圖1表示以往的動態(tài)圖像編碼裝置的構(gòu)成的方框2用多幅參照圖像進(jìn)行插值的概念3以往的動態(tài)圖像編碼裝置的動態(tài)圖像編碼數(shù)據(jù)的格式的概念4表示以往的動態(tài)圖像解碼裝置的構(gòu)成的方框5以往的直接模式的說明6表示實(shí)施形態(tài)1的動態(tài)圖像編碼裝置的構(gòu)成的方框7實(shí)施形態(tài)1的動態(tài)圖像編碼數(shù)據(jù)的格式的概念8表示實(shí)施形態(tài)2的動態(tài)圖像解碼裝置的構(gòu)成的方框9表示實(shí)施形態(tài)3的動態(tài)圖像編碼裝置的構(gòu)成的方框10實(shí)施形態(tài)3的動態(tài)圖像編碼數(shù)據(jù)的格式的概念11表示實(shí)施形態(tài)3的動態(tài)圖像編碼裝置的變形例的構(gòu)成的方框12實(shí)施形態(tài)3的變形例的動態(tài)圖像編碼數(shù)據(jù)的格式的概念13表示實(shí)施形態(tài)3的動態(tài)圖像編碼裝置的變形例的構(gòu)成的方框14表示實(shí)施形態(tài)4的動態(tài)圖像解碼裝置的構(gòu)成的方框15表示實(shí)施形態(tài)4的動態(tài)圖像解碼裝置的變形例的構(gòu)成的方框16實(shí)施形態(tài)5的顯示順序信息超前于編碼對象圖像的多幅參照圖像的直接模式的說明17實(shí)施形態(tài)5的顯示順序信息滯后于編碼對象圖像的多幅參照圖像的直接模式的說明18實(shí)施形態(tài)6的跳躍模式時的圖像間預(yù)測的說明19對存儲用計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)上述各實(shí)施形態(tài)的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法的程序的存儲媒體的說明圖，(a)為表示了存儲媒體的本體即軟磁盤的物理格式的例子的說明圖，(b)為表示了從軟磁盤的正面所看到的外觀、橫斷面結(jié)構(gòu)以及軟磁盤的說明圖，(c)為表示了用于在軟磁盤FD上進(jìn)行上述程序的記錄再生的構(gòu)成的說明20表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)器的內(nèi)容提供系統(tǒng)的全部構(gòu)成的方框21表示移動電話機(jī)的一例的簡22表示移動電話機(jī)的內(nèi)部構(gòu)成的方框23表示數(shù)字播放用系統(tǒng)的整體構(gòu)成的方框圖本發(fā)明的最佳實(shí)施形態(tài)下面參照附圖就本發(fā)明的具體實(shí)施形態(tài)進(jìn)行說明。
(實(shí)施形態(tài)1)圖6為表示本發(fā)明的實(shí)施形態(tài)1的動態(tài)圖像編碼裝置的構(gòu)成的方框圖。與圖1中表示以往的動態(tài)圖像編碼裝置的構(gòu)成的方框圖做相同動作的單元或者相同的動作數(shù)據(jù)添加相同的附圖標(biāo)記，省略其說明。另外，在下面說明的各實(shí)施形態(tài)的動態(tài)圖像編碼裝置及動態(tài)圖像解碼裝置中，可以以像塊單位對用2幅參照圖像通過像素插值生成預(yù)測圖像的方法(多幅參照圖像插值預(yù)測)、原封不動地將任意1幅圖像中包含的像塊作為預(yù)測圖像的方法、以及通過畫面內(nèi)預(yù)測生成預(yù)測圖像的方法等方法進(jìn)行切換。
動態(tài)圖像編碼裝置為將輸入的圖像數(shù)據(jù)Img分割成像塊，對分割的每個像塊進(jìn)行編碼處理的裝置，如圖6所示包括運(yùn)動推定部101、像素插值部102、減法器103、圖像編碼部104、圖像解碼部105、加法器106、可變長編碼部107、多幀緩沖器108及開關(guān)109。
表示用多幅參照圖像插值預(yù)測進(jìn)行編碼的像塊所使用的一方的參照圖像的默認(rèn)參照圖像編號DefRefNo，被輸入到動態(tài)圖像編碼裝置中。在多幅參照圖像插值預(yù)測時，運(yùn)動推定部101將2幅參照圖像中的1幅固定為輸入的默認(rèn)參照圖像編號DefRefNo所指示的參照圖像，進(jìn)行運(yùn)動推定。因此，運(yùn)動推定部101輸出的參照圖像編號RefNo1的值與默認(rèn)參照圖像編號DefRefNo的值為同一值?？勺冮L編碼部107對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2、默認(rèn)參照圖像編號DefRefNo，輸出動態(tài)圖像編碼數(shù)據(jù)Str進(jìn)行可變長編碼。
下面對在上述那樣構(gòu)成的動態(tài)圖像編碼裝置中，編碼對象像塊的預(yù)測種類為多幅參照圖像插值預(yù)測時的動作進(jìn)行說明。
輸入的圖像數(shù)據(jù)Img按像塊單位輸入到運(yùn)動推定部101及減法器103中。
運(yùn)動推定部101決定輸入的編碼對象像塊的預(yù)測種類，將該預(yù)測種類輸出給開關(guān)109及可變長編碼部107。并且，當(dāng)決定的預(yù)測種類PredType為多幅參照圖像插值預(yù)測時，運(yùn)動推定部101使2幅參照圖像中的1幅為輸入的默認(rèn)參照圖像編號DefRefNo所表示的參照圖像，分別決定另一幅參照圖像及對該2幅參照圖像的運(yùn)動矢量。然后，運(yùn)動推定部101將參照圖像編號RefNo2及運(yùn)動矢量MV1、MV2輸出給多幀緩沖器108及可變長編碼部107，將參照圖像編號RefNo1輸出給多幀緩沖器108。另外，默認(rèn)參照圖像編號DefRefNo也可以從運(yùn)動推定部101輸出到可變長編碼部107中。
接著，多幀緩沖器108將與參照圖像編號RefNo1和運(yùn)動矢量MV1相對應(yīng)的參照像塊RefBlk1、以及與參照圖像編號RefNo2和運(yùn)動矢量MV2相對應(yīng)的參照像塊RefBlk2輸出給像素插值部102。像素插值部102用平均值等對2個參照像塊RefBlk1、RefBlk2所對應(yīng)的像素值進(jìn)行插值，輸出插值像塊RefPol。這里，由于運(yùn)動推定部101決定的預(yù)測種類PredType為多幅參照圖像插值預(yù)測，因此開關(guān)109切換到“1”一側(cè)，將插值像塊RefPol作為預(yù)測圖像數(shù)據(jù)Pred輸出給減法器103及加法器106。
減法器103從輸入的圖像數(shù)據(jù)Img中減去預(yù)測圖像數(shù)據(jù)Pred，作為殘差數(shù)據(jù)Res輸出給圖像編碼部104。圖像編碼部104對輸入的殘差數(shù)據(jù)Res進(jìn)行正交變換、量子化等圖像編碼處理，作為包含量子化完畢的正交變換系數(shù)等的殘差編碼數(shù)據(jù)Eres，輸出給圖像解碼部105和可變長編碼部107。圖像解碼部105對輸入的殘差編碼數(shù)據(jù)ERes進(jìn)行逆量子化、逆正交變換等圖像解碼處理，作為殘差解碼數(shù)據(jù)DRes輸出給加法器106。加法器106將殘差解碼數(shù)據(jù)DRes與預(yù)測圖像數(shù)據(jù)Pred相加，作為重構(gòu)圖像數(shù)據(jù)Recon輸出。在重構(gòu)圖像數(shù)據(jù)Recon中，以后的圖像間預(yù)測有可能參照的數(shù)據(jù)保存在多幀緩沖器108中。
可變長編碼部107對每個像塊對輸入的殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2及運(yùn)動矢量MV1、MV2進(jìn)行可變長編碼，對每幅圖像對默認(rèn)參照圖像編號DefRefNo進(jìn)行可變長編碼，作為動態(tài)圖像編碼數(shù)據(jù)Str輸出。
默認(rèn)參照圖像編號DefRefNo所表示的圖像可以從存儲在多幀緩沖器108中的圖像中任意地選擇。例如，可以選擇多幀緩沖器108中具有最接近編碼對象圖像的顯示順序信息的顯示順序信息的、已編碼完畢的圖像，或者多幀緩沖器108中具有超前于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的、已編碼完畢的圖像，或者多幀緩沖器108中具有滯后于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的、已編碼完畢的圖像等。并且，也可以選擇多幀緩沖器108中編碼順序離編碼對象圖像最近的圖像，或者多幀緩沖器108中顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像，或者多幀緩沖器108中顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像。
圖7為實(shí)施形態(tài)1的動態(tài)圖像編碼數(shù)據(jù)的格式的概念圖。用與圖3中的以往的動態(tài)圖像編碼裝置的動態(tài)圖像編碼數(shù)據(jù)的格式的概念圖相同的數(shù)據(jù)添加相同的標(biāo)記，其說明省略。與圖3所示的以往的動態(tài)圖像編碼裝置的動態(tài)圖像編碼數(shù)據(jù)格式的不同點(diǎn)在于每幅圖像中都包含默認(rèn)參照圖像編號DefRefNo，用多幅參照圖像插值預(yù)測編碼過的像塊的編碼數(shù)據(jù)中包含的參照圖像編號數(shù)據(jù)只有1個。
如上所述，如果采用本實(shí)施形態(tài)，由于參照圖像的一方能夠以像塊單位從多幅已編碼完畢的圖像中選擇任意的圖像，而對于參照圖像的另一方能夠以圖像單位固定為多幅已編碼完畢的圖像中的1幅圖像，因此可以不對每個像塊編碼固定的參照圖像編號，所以能夠改善編碼效率。
另外，作為指定默認(rèn)參照圖像的方法，本實(shí)施形態(tài)并不局限于上述使用分配給上述圖像的圖像編號。也可以用例如編碼對象圖像所具有的圖像編號與作為默認(rèn)參照圖像而選擇的圖像所具有的圖像編號的相對的差分值，或者表示相對差分值的指令等信息指定。
并且，雖然本實(shí)施形態(tài)用默認(rèn)參照圖像編號只指定單方的參照圖像，但通過編碼2個默認(rèn)參照圖像的編號，可以同時省略像塊的編碼數(shù)據(jù)中的2個參照圖像編號。
并且，雖然本實(shí)施形態(tài)就使用2幅參照圖像通過像素插值生成預(yù)測圖像的多幅參照圖像插值預(yù)測的情況進(jìn)行了說明，但在原封不動地將任意1幅圖像所包含的像塊作為預(yù)測圖像的單數(shù)參照圖像插值預(yù)測時也同樣能處理。此時，不必對每個像塊記述參照圖像，只需將參照圖像記述在共同信息區(qū)域。
并且，雖然本實(shí)施形態(tài)對每幅圖像編碼默認(rèn)參照圖像編號，但也可以用例如對每多幅圖像保存1個默認(rèn)參照圖像編號的句法(シンタツクス)結(jié)構(gòu)編碼，也可以用對多個像塊構(gòu)成的宏像塊或多個宏像塊構(gòu)成的片段等圖像以下的句法結(jié)構(gòu)保存1個默認(rèn)參照圖像編號的句法結(jié)構(gòu)編碼。
(實(shí)施形態(tài)2)圖8為本發(fā)明的實(shí)施形態(tài)2的動態(tài)圖像解碼裝置的方框圖。對與圖4中表示以往的動態(tài)圖像解碼裝置的構(gòu)成的方框圖做相同動作的單元及相同的動作數(shù)據(jù)添加相同的附圖標(biāo)記，省略其說明。與圖4的不同點(diǎn)在于追加了默認(rèn)參照圖像編號緩沖器402。
該動態(tài)圖像解碼裝置如圖8所示包括可變長度解碼部401、默認(rèn)參照圖像編號緩沖器402、運(yùn)動補(bǔ)償部403、圖像解碼部404、加法器405、像素插值部406、多幀緩沖器407和開關(guān)408。
可變長度解碼部401對輸入的動態(tài)圖像編碼數(shù)據(jù)Str進(jìn)行可變長度解碼，輸出殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2、默認(rèn)參照圖像編號DefRefNo。由于解碼過的默認(rèn)參照圖像編號DefRefNo必須被多個像塊共同使用，因此存儲在默認(rèn)參照圖像編號緩沖器402中。存儲在默認(rèn)參照圖像編號緩沖器402中的默認(rèn)參照圖像編號DefRefNo輸入到運(yùn)動補(bǔ)償部403中，作為參照圖像編號RefNo1。
下面就上述那樣構(gòu)成的動態(tài)圖像解碼裝置中解碼對象像塊的預(yù)測種類為多幅參照圖像插值預(yù)測時的動作進(jìn)行說明。
動態(tài)圖像編碼數(shù)據(jù)Str輸入到可變長度解碼部401中?？勺冮L度解碼部401對輸入的動態(tài)圖像編碼數(shù)據(jù)Str進(jìn)行可變長度解碼，將殘差編碼數(shù)據(jù)ERes輸出給圖像解碼部404，將參照圖像編號RefNo2及運(yùn)動矢量MV1、MV2輸出給運(yùn)動補(bǔ)償部403，將預(yù)測種類PredType輸出給運(yùn)動補(bǔ)償部403和開關(guān)408，將默認(rèn)參照圖像編號DefRefNo輸出給默認(rèn)參照圖像編號緩沖器402。默認(rèn)參照圖像編號緩沖器402將存儲的默認(rèn)參照圖像編號DefRefNo輸出給運(yùn)動補(bǔ)償部403，作為參照圖像編號RefNo1。
由于預(yù)測種類PredType為多幅參照圖像插值預(yù)測，因此運(yùn)動補(bǔ)償部403將由默認(rèn)參照圖像編號緩沖器402輸入的參照圖像編號NRefNo1、由可變長度解碼部401輸入的參照圖像編號RefNo2及運(yùn)動矢量MV1、MV2輸出給多幀緩沖器407，指示參照像塊的輸出。多幀緩沖器407將與參照圖像編號NRefNo1及運(yùn)動矢量NMV1相對應(yīng)的參照像塊RefBlk1和與參照圖像編號NRefNo2及運(yùn)動矢量NMV2相對應(yīng)的參照像塊RefBlk2輸出給像素插值部406。像素插值部406用平均值等對2個參照像塊RefBlk1、RefBlk2所對應(yīng)的像素值插值，輸出插值像塊RefPol。這里，由于預(yù)測種類PredType為多幅參照圖像插值預(yù)測，因此開關(guān)408切換到“0”一側(cè)，將插值像塊RefPol作為預(yù)測圖像數(shù)據(jù)Pred輸出給加法器405。
而輸入了殘差編碼數(shù)據(jù)ERes的圖像解碼部404對該殘差編碼數(shù)據(jù)ERes進(jìn)行逆量子化、逆正交變換等圖像解碼處理，將殘差解碼數(shù)據(jù)DRes輸出給加法器405。加法器405將殘差解碼數(shù)據(jù)DRes與預(yù)測圖像數(shù)據(jù)Pred相加，作為解碼圖像數(shù)據(jù)Dlmg輸出到動態(tài)圖像解碼裝置外。多幀緩沖器407保存解碼圖像數(shù)據(jù)Dlmg，用于圖像間預(yù)測。通過這樣的處理，動態(tài)圖像解碼裝置解碼動態(tài)圖像編碼數(shù)據(jù)Str，輸出解碼圖像數(shù)據(jù)Dlmg。
如上所述，如果采用本實(shí)施形態(tài)，能夠正確地對使用了實(shí)施形態(tài)1說明過的本發(fā)明的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置編碼過的動態(tài)圖像編碼數(shù)據(jù)Str進(jìn)行解碼。
(實(shí)施形態(tài)3)圖9為本發(fā)明的實(shí)施形態(tài)3的動態(tài)圖像編碼裝置的方框圖。另外，與圖6中的實(shí)施形態(tài)1的動態(tài)圖像編碼裝置的方框圖中做相同動作的單元及相同的動作數(shù)據(jù)添加相同的附圖標(biāo)記，省略其說明。
本實(shí)施形態(tài)的動態(tài)圖像編碼裝置除實(shí)施形態(tài)1的構(gòu)成外還包括默認(rèn)參照圖像編號生成部201。默認(rèn)參照圖像編號生成部201用預(yù)定的方法生成默認(rèn)參照圖像編號DefRefNo，輸出給運(yùn)動推定部101。運(yùn)動推定部101與實(shí)施形態(tài)1的動態(tài)圖像編碼裝置一樣，在多幅參照圖像插值預(yù)測時，將2幅參照圖像中的1幅固定為輸入的默認(rèn)參照圖像編號DefRefNo所指示的參照圖像，進(jìn)行運(yùn)動推定?？勺冮L編碼部202對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2，輸出動態(tài)圖像編碼數(shù)據(jù)Str2進(jìn)行可變長編碼。
默認(rèn)參照圖像編號生成部201生成默認(rèn)參照圖像編號DefRefNo的方法可以使用例如以下的方法。第1方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息離編碼對象圖像的顯示順序信息最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。第2方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像的顯示順序信息但離其最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。第3方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像的顯示順序信息但離其最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。第4方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的編碼順序離編碼對象圖像最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。第5方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。第6方法為將表示保存在多幀緩沖器108中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像的圖像編號作為默認(rèn)參照圖像編號DefRefNo的方法。
本實(shí)施形態(tài)的動態(tài)圖像編碼裝置的動態(tài)圖像編碼格式省略了圖7所示的動態(tài)圖像編碼數(shù)據(jù)格式中的默認(rèn)參照圖像編號DefRefNo，為圖10所示那樣的數(shù)據(jù)格式。因此，由于不編碼默認(rèn)參照圖像編號DefRefNo也可以，因此改善了編碼效率。
另外，雖然上述實(shí)施形態(tài)說明了通過將決定默認(rèn)參照圖像的方法固定為某一個而在數(shù)據(jù)格式中不完全記述與默認(rèn)參照圖像有關(guān)的信息來實(shí)現(xiàn)編碼的方法，但默認(rèn)參照圖像的決定方法也可以在圖像單位間切換。例如，可以通過編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有離編碼對象圖像的顯示順序信息最近的顯示順序信息的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符，或編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有超前于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符，或編碼表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的具有滯后于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符來實(shí)現(xiàn)。
圖11為此時的動態(tài)圖像編碼裝置的方框圖。默認(rèn)參照圖像編號生成部203如圖11所示，將表示選擇默認(rèn)參照圖像的方法的標(biāo)識符Ident輸出給可變長編碼部204。可變長編碼部204對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2及標(biāo)識符Ident進(jìn)行可變長編碼，輸出動態(tài)圖像編碼數(shù)據(jù)Str3。此時的數(shù)據(jù)格式不包含圖7的數(shù)據(jù)格式中所示的直接指定默認(rèn)參照圖像的信息即默認(rèn)參照圖像編號DefRefNo，而是如圖12所示那樣包含用于表示選擇默認(rèn)參照圖像的方法的標(biāo)識符Ident。
同樣地，也可以對表示選擇保存在多幀緩沖器中的已編碼完畢的圖像中的編碼順序離編碼對象圖像最近的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符進(jìn)行編碼，或?qū)Ρ硎具x擇保存在多幀緩沖器中的已編碼完畢的圖像中的顯示順序信息超前于編碼對象圖像但編碼順序離其最近的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符進(jìn)行編碼，或?qū)Ρ硎具x擇保存在多幀緩沖器中的已編碼完畢的圖像中的顯示順序信息滯后于編碼對象圖像但編碼順序離其最近的圖像作為默認(rèn)參照圖像的方法的標(biāo)識符進(jìn)行編碼。另外，用該方法作成的動態(tài)圖像編碼數(shù)據(jù)可以用具有以下說明的實(shí)施形態(tài)4的構(gòu)成的解碼方法解碼。
并且，也可以不編碼表示選擇上述默認(rèn)參照圖像的方法的標(biāo)識符，而與實(shí)施形態(tài)1同樣地如圖7所示那樣，對表示默認(rèn)參照圖像的圖像編號DefRefNo進(jìn)行編碼，或者對編碼對象圖像所具有的圖像編號與作為默認(rèn)參照圖像而選擇的圖像所具有的圖像編號的相對的差分值進(jìn)行編碼，或者對表示相對差分值的指令等信息進(jìn)行編碼。
圖13為此時的動態(tài)圖像編碼裝置的方框圖。默認(rèn)參照圖像編號生成部205如圖13所示將默認(rèn)參照圖像編號DefRefNo輸出給可變長編碼部206。可變長編碼部206對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2及默認(rèn)參照圖像編號DefRefNo，輸出動態(tài)圖像編碼數(shù)據(jù)Str4進(jìn)行可變長編碼。此時的數(shù)據(jù)格式與圖7所示的數(shù)據(jù)格式相同。另外，用該方法作成的動態(tài)圖像編碼數(shù)據(jù)可以用實(shí)施形態(tài)2說明過的構(gòu)成的解碼方法解碼。
(實(shí)施形態(tài)4)圖14為本發(fā)明的實(shí)施形態(tài)4的動態(tài)圖像解碼裝置的方框圖。另外，與圖8中實(shí)施形態(tài)2的動態(tài)圖像解碼裝置的方框圖做相同動作的單元及相同的動作數(shù)據(jù)添加相同的附圖標(biāo)記，省略其說明。
本實(shí)施形態(tài)的動態(tài)圖像解碼裝置不包括實(shí)施形態(tài)2的構(gòu)成中所示的默認(rèn)參照圖像編號緩沖器402，取而代之的是包括默認(rèn)參照圖像編號生成部502。可變長度解碼部501對輸入的動態(tài)圖像編碼數(shù)據(jù)Str2進(jìn)行可變長度解碼，輸出殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2。默認(rèn)參照圖像編號生成部502用與實(shí)施形態(tài)3說明過的默認(rèn)參照圖像編號生成部201相同的方法生成默認(rèn)參照圖像編號DefRefNo，將該默認(rèn)參照圖像編號DefRefNo作為參照圖像編號RefNo1輸出給運(yùn)動補(bǔ)償部403。
如上所述，如果采用本實(shí)施形態(tài)，能夠正確地解碼使用了實(shí)施形態(tài)3說明過的本發(fā)明的動態(tài)圖像編碼方法的動態(tài)圖像編碼裝置編碼過的動態(tài)圖像編碼數(shù)據(jù)Str2。
另外，當(dāng)對包含有用于表示上述實(shí)施形態(tài)3的變形例所記述的選擇默認(rèn)參照圖像的方法的標(biāo)識符Ident的動態(tài)圖像編碼數(shù)據(jù)Str3進(jìn)行解碼時，動態(tài)圖像解碼裝置可以如下這樣地構(gòu)成。
圖15為此時動態(tài)圖像解碼裝置的方框圖，可變長度解碼部503如圖15所示那樣對輸入的動態(tài)圖像編碼數(shù)據(jù)Str3進(jìn)行可變長度解碼，輸出殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2、運(yùn)動矢量MV1、MV2及用于表示選擇默認(rèn)參照圖像的方法的標(biāo)識符Ident。默認(rèn)(default)參照圖像編號生成部504用可變長度解碼部503輸入的標(biāo)識符Ident所指示的選擇默認(rèn)參照圖像的方法生成默認(rèn)參照圖像編號DefRefNo，將該默認(rèn)參照圖像編號DefRefNo作為參照圖像編號RefNo1輸出給運(yùn)動補(bǔ)償部403。
這樣地，能夠正確地解碼包含有用于表示上述實(shí)施形態(tài)3說明過的選擇默認(rèn)參照圖像的方法的標(biāo)識符Ident的動態(tài)圖像編碼數(shù)據(jù)Str3。
(實(shí)施形態(tài)5)本實(shí)施形態(tài)對只參照顯示順序信息超前于編碼對象圖像的圖像進(jìn)行編碼時用直接模式編碼時的情況進(jìn)行說明。
圖16為本發(fā)明的實(shí)施形態(tài)5的顯示順序信息超前于編碼對象圖像的多幅參照圖像的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1、Ref2表示參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref1中在畫面內(nèi)的位置與編碼對象像塊Blk相同的像塊。并且，運(yùn)動矢量MV01表示編碼像塊Blk0時使用的前方參照運(yùn)動矢量，圖像Ref3表示運(yùn)動矢量MV01參照的參照圖像，運(yùn)動矢量MV1表示從參照圖像Ref1來的運(yùn)動矢量，運(yùn)動矢量MV2表示從參照圖像Ref2來的運(yùn)動矢量，像塊RefBlk1表示被運(yùn)動矢量MV1參照的參照像塊，像塊RefBlk2表示被運(yùn)動矢量MV2參照的參照像塊。
參照圖像從例如存儲在多幀緩沖器中的已編碼完畢的圖像中，選擇顯示順序信息超前于編碼對象圖像的顯示順序信息但顯示順序信息離它最近和第二近的圖像。此時，如果假設(shè)編碼對象圖像pic與參照圖像Ref1之間的顯示順序信息的差值為TRD1，參照圖像Ref1與參照圖像Ref3之間的顯示順序信息的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示順序信息的差值為TRD3，則編碼編碼對象像塊時使用的運(yùn)動矢量MV1及運(yùn)動矢量MV2可以分別由下面的計(jì)算公式算出MV1＝MV01×(TRD1/TRD2)……………………(式A)MV2＝MV01×(TRD3/TRD2)……………………(式B)用以上的方法可以決定直接模式時的參照圖像和運(yùn)動矢量。
并且，上述H.264正在討論通過使動態(tài)圖像編碼數(shù)據(jù)中包含用于將已編碼完畢的圖像插入多幀緩沖器或從多幀緩沖器中刪除已編碼完畢的圖像的控制信息，明示地進(jìn)行存儲在多幀緩沖器中的圖像的控制的方法。通過這樣的控制，可以有多幀緩沖器中只存儲顯示順序信息滯后于編碼對象圖像的圖像的情況。下面對在多幀緩沖器中只存儲顯示順序信息滯后于編碼對象圖像的圖像的情況下，使用多幅參照圖像插值預(yù)測的圖像的直接模式的實(shí)現(xiàn)方法進(jìn)行說明。
圖17為本發(fā)明的實(shí)施形態(tài)5的顯示順序信息滯后于編碼對象圖像的多幅參照圖像的直接模式的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1、Ref2表示參照圖像，像塊Blk表示編碼對象像塊，像塊Blk0表示參照圖像Ref1中的在畫面內(nèi)的位置與編碼對象像塊Blk相同的像塊。并且，運(yùn)動矢量MV01表示編碼像塊Blk0時使用的前方參照運(yùn)動矢量，運(yùn)動矢量MV1表示從參照圖像Ref1來的運(yùn)動矢量，運(yùn)動矢量MV2表示從參照圖像Ref2來的運(yùn)動矢量，像塊RefBlk1表示被運(yùn)動矢量MV1參照的參照像塊，像塊RefBlk2表示被運(yùn)動矢量MV2參照的參照像塊。
參照圖像從例如存儲在多幀緩沖器中的已編碼完畢的圖像中，選擇顯示順序信息滯后于編碼對象圖像的顯示順序信息但顯示順序信息離它最近和第二近的圖像。此時，如果假設(shè)編碼對象圖像pic與參照圖像Ref1之間的顯示順序信息的差值為TRD1，參照圖像Ref1與參照圖像Ref3之間的顯示順序信息的差值為TRD2，編碼對象圖像pic與參照圖像Ref2之間的顯示順序信息的差值為TRD3，則編碼編碼對象像塊時使用的運(yùn)動矢量MV1及運(yùn)動矢量MV2可以分別由下面的計(jì)算公式(式C)及(式D)算出MV1＝-MV01×(TRD1/TRD2)……………………(式C)MV2＝-MV01×(TRD3/TRD2)……………………(式D)用以上的方法可以決定直接模式時的參照圖像和運(yùn)動矢量。
另外，上述直接模式的處理，圖6所示的動態(tài)圖像編碼裝置用運(yùn)動推定部101執(zhí)行。并且，同樣地，圖8所示的動態(tài)圖像解碼裝置用運(yùn)動補(bǔ)償部403執(zhí)行。
如上所述，通過采用具有本實(shí)施形態(tài)所記述的直接模式的動態(tài)圖像編碼裝置，即使在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的、已編碼完畢的圖像的情況下，也能使用直接模式，因此由于可以省略參照圖像和運(yùn)動矢量，所以能夠改善編碼效率。并且，通過采用具有本實(shí)施形態(tài)所記述的直接模式的動態(tài)圖像解碼裝置，能夠解碼具有本實(shí)施形態(tài)所記述的直接模式的動態(tài)圖像編碼裝置所輸出的動態(tài)圖像編碼數(shù)據(jù)。
并且，可以將跳躍模式定義為使用由本實(shí)施形態(tài)的直接模式算出的參照圖像、運(yùn)動矢量，進(jìn)行圖像間預(yù)測的結(jié)果的殘差編碼數(shù)據(jù)為0時的情況。由于本實(shí)施形態(tài)的直接模式即使在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的、已編碼完畢的圖像的情況下也能使用直接模式，因此即使在這樣的情況下也能夠選擇跳躍模式，通過采用具有上述說明的跳躍模式的動態(tài)圖像解碼裝置，由于能夠使用跳躍模式，因此能夠改善編碼效率。并且，通過采用具有本實(shí)施形態(tài)所記述的跳躍模式的動態(tài)圖像解碼裝置，能夠解碼具有本實(shí)施形態(tài)所記述的跳躍模式的動態(tài)圖像編碼裝置所輸出的動態(tài)圖像編碼數(shù)據(jù)。
另外，在對圖16、圖17的上述說明中，也可以自由地選擇對于參照圖像Ref1的運(yùn)動矢量，編碼該運(yùn)動矢量與上述說明的運(yùn)動矢量MV1的差分矢量。同樣地，也可以自由地選擇對于參照圖像Ref2的運(yùn)動矢量，編碼該運(yùn)動矢量與上述說明的運(yùn)動矢量MV2的差分矢量。
并且，雖然本實(shí)施形態(tài)，在多幀緩沖器中只有顯示順序信息超前或滯后于編碼對象圖像的圖像的情況下使用本實(shí)施形態(tài)說明過的跳躍模式，但也可以更改步驟，例如，可以從存儲在多幀緩沖器中的圖像中選擇顯示順序信息離編碼對象圖像最近和第二近的圖像，在選擇的2幅圖像的顯示順序信息全都超前或全都滯后于編碼對象圖像的情況下使用本實(shí)施形態(tài)說明過的跳躍模式。
(實(shí)施形態(tài)6)在上述H.264中，包含多幅參照圖像插值預(yù)測的圖像的跳躍模式，表示用直接模式進(jìn)行圖像間預(yù)測的結(jié)果的殘差編碼數(shù)據(jù)為0時的情況。與此相對應(yīng)，本實(shí)施形態(tài)的動態(tài)圖像編碼裝置、動態(tài)圖像解碼裝置使跳躍模式所使用的預(yù)測方法為參照多幀緩沖器內(nèi)已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的參照圖像的圖像間預(yù)測。
圖18本發(fā)明的實(shí)施形態(tài)6的跳躍模式時的圖像間預(yù)測的說明圖。這里，圖像pic表示編碼對象圖像，圖像Ref1表示具有編碼對象圖像緊前面的顯示順序信息的已編碼完畢的圖像，圖像Ref2表示具有緊挨編碼對象圖像后面的顯示順序信息的已編碼完畢的圖像，像塊Blk表示編碼對象像塊，運(yùn)動矢量MV1表示從參照圖像Ref1來的0值運(yùn)動矢量，像塊RefBlk1表示被運(yùn)動矢量MV1參照的參照像塊。并且，使編碼對象圖像pic與圖像Ref1之間的顯示順序信息的差值TRD1小于編碼對象圖像pic與圖像ref2之間的顯示順序信息的差值TRD2。
本實(shí)施形態(tài)將顯示順序信息離編碼對象圖像最近的圖像作為參照圖像。圖18中，顯示順序信息離編碼對象圖像pic最近的圖像為圖像Ref1。使對于圖像Ref1的運(yùn)動矢量MV1在圖像內(nèi)的垂直分量和水平分量都為0，將運(yùn)動矢量MV1參照的參照像塊RefBlk作為預(yù)測圖像使用。通過使用這樣的預(yù)測方法，由于動態(tài)圖像編碼裝置和動態(tài)圖像解碼裝置能夠唯一地決定參照圖像和運(yùn)動矢量，因此動態(tài)圖像編碼數(shù)據(jù)中不必包含表示參照圖像的信息和運(yùn)動矢量。因此，將上述說明過的圖像間預(yù)測結(jié)果的殘差編碼數(shù)據(jù)為0時定義為跳躍模式，跳躍模式的像塊的編碼數(shù)據(jù)中只要傳送表示跳躍模式的預(yù)測種類就可以了。
另外，雖然本實(shí)施形態(tài)將多幀緩沖器中已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的圖像作為參照圖像，但也可以將多幀緩沖器中已編碼完畢的圖像中顯示順序信息超前于編碼對象圖像但離其最近的圖像作為參照圖像。
并且，雖然本實(shí)施形態(tài)將多幀緩沖器中已編碼完畢的圖像中顯示順序信息離編碼對象圖像最近的圖像作為參照圖像，但也可以將多幀緩沖器中已編碼完畢的圖像中顯示順序信息滯后于編碼對象圖像但離其最近的圖像作為參照圖像。
并且，上述各實(shí)施形態(tài)中使用過的圖像的顯示順序信息既可以是表示顯示圖像的時刻的值也可以是表示圖像的顯示順序的相對關(guān)系的信息。
另外，上述圖像的意思為同時具有畫面和場，畫面編碼時可以作為畫面進(jìn)行處理，隔行(インタ一レ一ス)編碼(場編碼)時可以作為場進(jìn)行處理。
并且，上述各實(shí)施形態(tài)即使在將1幅圖像分割成頂部場和底部場這2組場進(jìn)行編碼的隔行編碼時也同樣能夠進(jìn)行處理。該隔行編碼由于參照圖像的編號為2倍，因此能夠進(jìn)一步提高編碼效率。并且，此時只要優(yōu)先使用具有與編碼對象圖像相同的屬性的圖像作為默認(rèn)參照圖像編號DefRefNo所指示的圖像就可以了。即，如果編碼對象圖像為頂部場則優(yōu)先使用頂部場作為默認(rèn)參照圖像編號DefRefNo所指示的圖像。而當(dāng)編碼對象圖像為底部場時優(yōu)先使用底部場作為默認(rèn)參照圖像編號DefRefNo所指示的圖像。
(實(shí)施形態(tài)7)另外，通過將實(shí)現(xiàn)上述各實(shí)施形態(tài)所敘述過的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法的構(gòu)成的程序記錄到軟磁盤等存儲媒體上，可以在獨(dú)立的計(jì)算機(jī)系統(tǒng)上簡單地實(shí)施上述各實(shí)施形態(tài)所敘述過的處理。
圖19是對存儲用計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)上述各實(shí)施形態(tài)的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法的程序的存儲媒體的說明圖。
圖19(b)表示從軟磁盤的正面所看到的外觀、橫斷面結(jié)構(gòu)以及軟磁盤；圖19(a)表示存儲媒體的本體即軟磁盤的物理格式的例子。軟磁盤FD內(nèi)藏在殼體F內(nèi)，該磁盤的表面形成從外周向內(nèi)周的復(fù)數(shù)條同心圓狀狀的磁道TR，各個磁道沿角度方向被分割成16個扇形區(qū)Se。因此，存儲了上述程序的軟磁盤在分配到上述軟磁盤FD上的區(qū)域內(nèi)記錄著作為上述程序的動態(tài)圖像編碼方法。
而且，圖19(c)表示在軟磁盤FD上進(jìn)行上述程序的記錄再生的構(gòu)成。在將上述程序記錄到軟磁盤FD上的時候，通過軟磁盤驅(qū)動機(jī)構(gòu)FDD從計(jì)算機(jī)系統(tǒng)Cs寫入作為上述程序的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法。并且，在用軟磁盤內(nèi)的程序?qū)⑸鲜鰟討B(tài)圖像編碼方法以及動態(tài)圖像解碼方法構(gòu)筑到計(jì)算機(jī)系統(tǒng)中的時候，用軟磁盤驅(qū)動器從軟磁盤中讀出程序，傳送給計(jì)算機(jī)系統(tǒng)。
另外，雖然在上述說明中用軟磁盤作為存儲媒體進(jìn)行說明，但使用光盤也能同樣地進(jìn)行。而且，存儲媒體不限于此，只要是能夠記錄程序的東西，IC卡、ROM盒等也同樣能夠?qū)嵤?br> 在這里，再說明上述實(shí)施形態(tài)中敘述過的動態(tài)圖像編碼方法以及動態(tài)圖像解碼方法的應(yīng)用例子和使用它的系統(tǒng)。
圖20為表示實(shí)現(xiàn)內(nèi)容發(fā)送服務(wù)器的內(nèi)容提供系統(tǒng)ex100的全部構(gòu)成的方框圖。通訊服務(wù)器的提供區(qū)域被分割成所需要的大小，各單元內(nèi)分別設(shè)置有作為固定無線電臺的基站ex107～ex110。
該內(nèi)容提供系統(tǒng)ex100通過因特網(wǎng)服務(wù)提供者ex102、電話網(wǎng)ex104以及基站ex107～ex110將計(jì)算機(jī)ex111、PDA(個人數(shù)字助理)ex112、相機(jī)ex113、移動電話機(jī)ex114及帶攝像頭的移動電話機(jī)ex115等各種設(shè)備與例如因特網(wǎng)ex101相連。
但是，內(nèi)容提供系統(tǒng)ex100不限于圖20那樣的組合，任意組合幾種連接都可以。而且，也可以不通過固定無線電臺即基站ex107～ex110將各種設(shè)備直接與電話網(wǎng)ex104連接。
相機(jī)ex113是能拍攝動畫的數(shù)碼圖像攝像機(jī)等設(shè)備。而且，移動電話機(jī)可以是PDC(個人數(shù)字通信)方式、CDMA(碼分多址訪問通信)方式、W-CDMA(寬帶-碼分多址訪問通信)方式或者GSM(全球數(shù)字移動電話系統(tǒng))方式的移動電話機(jī)或PHS(PersonalHandyPhone System)等的任何一種。
并且，流服務(wù)器ex103通過基站ex109、電話網(wǎng)ex104與相機(jī)ex113連接，能夠?qū)崟r發(fā)送使用者用相機(jī)ex113發(fā)送的、編碼過的數(shù)據(jù)。拍攝的數(shù)據(jù)既可以在相機(jī)ex113上進(jìn)行編碼處理，也可以在發(fā)送處理數(shù)據(jù)的服務(wù)器等上進(jìn)行。而且，相機(jī)ex116拍攝的動畫數(shù)據(jù)也可以通過計(jì)算機(jī)ex111發(fā)送到流服務(wù)器ex103上。相機(jī)ex116是能拍攝靜止畫、動畫的數(shù)碼相機(jī)等設(shè)備。在這種情況下，動畫數(shù)據(jù)的編碼在相機(jī)ex116上進(jìn)行、在計(jì)算機(jī)ex111上進(jìn)行都可以。并且，編碼處理在計(jì)算機(jī)ex111或相機(jī)ex116所具有的LSIex117上處理。另外，可以組合成能夠用計(jì)算機(jī)ex111等讀取動態(tài)圖像編碼、解碼用的軟件的存儲媒體的某幾種存儲媒體(CD-ROM，軟磁盤，硬盤等)。并且，也可以用帶攝像頭的移動電話機(jī)ex115發(fā)送動畫數(shù)據(jù)。這時的動畫數(shù)據(jù)就是在移動電話機(jī)ex115所具有的LSI上被編碼處理過的數(shù)據(jù)。
該內(nèi)容提供系統(tǒng)ex100與上述實(shí)施形態(tài)一樣編碼處理用戶用相機(jī)ex113、相機(jī)ex116等拍攝的內(nèi)容(例如拍攝了音樂實(shí)況(音 ライブ)的動態(tài)圖像)并發(fā)送到流服務(wù)器ex103中，同時，流服務(wù)器ex103將上述內(nèi)容數(shù)據(jù)流動發(fā)送給需要的客戶。作為客戶有能夠解碼上述編碼處理過的數(shù)據(jù)的計(jì)算機(jī)ex111、PDAex112、相機(jī)ex113和移動電話機(jī)ex114等。這樣一來，內(nèi)容提供系統(tǒng)ex100就是能夠在客戶中接收編碼過的數(shù)據(jù)并再生，而且通過在客戶中實(shí)時接收、解碼、再生，還能夠?qū)崿F(xiàn)個人廣播的系統(tǒng)了。
構(gòu)成這個系統(tǒng)的各設(shè)備的編碼、解碼，用上述各實(shí)施形態(tài)所敘述的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置就可以了。
拿移動電話機(jī)來作為其中的一個例子說明。
圖21為表示使用了上述實(shí)施形態(tài)說明過的動態(tài)圖像編碼方法和動態(tài)圖像解碼方法的移動電話機(jī)ex115的圖。移動電話機(jī)ex115包括與基站ex110之間收發(fā)電波的天線ex201，CCD相機(jī)等能夠拍攝圖像、靜止畫面的相機(jī)部ex203，液晶顯示屏等顯示相機(jī)部ex203拍攝的圖像、解碼天線ex201接收的圖像后的數(shù)據(jù)的顯示部ex202，由操作鍵ex204群構(gòu)成的本體部，輸出聲音的揚(yáng)聲器等聲音輸出部ex208，輸入聲音的麥克風(fēng)等聲音輸入部ex205，保存拍攝的動畫或靜止畫面的數(shù)據(jù)、接收的郵件的數(shù)據(jù)、動畫的數(shù)據(jù)或者靜止畫面的數(shù)據(jù)等、編碼過的數(shù)據(jù)或者解碼了的數(shù)據(jù)的存儲媒體ex207，使存儲媒體ex207能夠安裝在移動電話機(jī)ex115上的接口部ex206。存儲媒體ex207為SD卡等將能夠在電氣上改寫和消除的非易失性存儲器即EEPROM(電可擦除可編程只讀存儲器)的一種即瞬時存儲器元件保存在塑料殼體內(nèi)的構(gòu)件。
再用圖22說明移動電話機(jī)ex115。移動電話機(jī)ex115通過同步總線ex313將電源電路ex310、操作輸入控制部ex304、圖像編碼部ex312、相機(jī)接口部ex303、LCD(液晶顯示器)控制部ex302、圖像解碼部ex309、復(fù)用分離部ex308、記錄再生部ex307、調(diào)制解調(diào)電路ex306及聲音處理部ex305與統(tǒng)括地控制包括顯示部ex202和操作鍵ex204的本體部的各部分的主控制部ex311互相連接。
如果操作者通過操作結(jié)束電話及使電源鍵處于開著狀態(tài)，則電源電路ex310通過從電源給各個部分提供電力啟動帶攝像頭的數(shù)碼移動電話機(jī)ex115，使其處于工作狀態(tài)。
移動電話機(jī)ex115根據(jù)CPU，ROM，以及RAM等構(gòu)成的主控制部ex311的控制，用聲音處理部ex305將在語音通話模式時聲音輸入部ex205收集的聲音信號轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù)，用解調(diào)電路ex306將其進(jìn)行擴(kuò)頻處理，在用收發(fā)電路部ex301實(shí)施數(shù)模變換處理及頻率轉(zhuǎn)換處理后通過天線ex201發(fā)送?；蛘?，移動電話機(jī)ex115將在語音通話模式時用天線ex201接收的接收數(shù)據(jù)放大，實(shí)施頻率轉(zhuǎn)換處理及模數(shù)轉(zhuǎn)換處理，用調(diào)制解調(diào)電路ex306進(jìn)行逆向擴(kuò)頻處理，在用聲音處理部ex305轉(zhuǎn)換成模擬聲音數(shù)據(jù)之后，通過聲音輸出部ex208將其輸出。
另外，如果在數(shù)據(jù)通訊模式時發(fā)送電子郵件，本體部的操作鍵ex204的操作輸入的電子郵件的文本數(shù)據(jù)通過操作輸入控制部ex304輸出到主控制部ex311。主控制部ex311用調(diào)制解調(diào)電路ex306擴(kuò)頻文本數(shù)據(jù)，在用收發(fā)電路部ex301實(shí)施數(shù)模變換處理及頻率變換處理后通過天線ex201發(fā)送給基站ex110。
如果在數(shù)據(jù)通訊模式時發(fā)送圖像數(shù)據(jù)，則通過相機(jī)接口部ex303將相機(jī)部ex203拍攝的圖像數(shù)據(jù)提供給圖像編碼部ex312。而且，在不發(fā)送圖像數(shù)據(jù)的時候，也可以通過相機(jī)接口部ex303和LCD控制部ex302將相機(jī)部ex203拍攝的圖像數(shù)據(jù)直接顯示在顯示部ex202上。
圖像編碼部ex312為具備本發(fā)明說明過的動態(tài)圖像編碼裝置的構(gòu)件，通過用上述實(shí)施形態(tài)敘述過的動態(tài)圖像編碼裝置中使用過的編碼方法壓縮編碼相機(jī)部ex203提供的圖像數(shù)據(jù)將其變換成編碼圖像數(shù)據(jù)，將其發(fā)送給復(fù)用分離部ex308。而且，這時移動電話機(jī)ex115同時通過聲音處理部ex305將聲音輸入部ex205在相機(jī)部分ex203拍攝時收集到的聲音作為數(shù)字聲音數(shù)據(jù)發(fā)送到復(fù)用分離部ex308中。
復(fù)用分離部ex308以預(yù)定的方式復(fù)用復(fù)用圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和聲音處理部ex305所提供的聲音數(shù)據(jù)，用調(diào)制解調(diào)電路ex306擴(kuò)頻處理其結(jié)果獲得的復(fù)用數(shù)據(jù)，在用收發(fā)電路部ex301實(shí)施數(shù)模變換處理和頻率變換處理后通過天線ex201發(fā)送。
如果在數(shù)據(jù)通訊模式時接收與主頁等連接的動態(tài)圖像文件的數(shù)據(jù)，則用調(diào)制解調(diào)電路ex306逆向擴(kuò)頻處理通過天線ex201從基站ex110收到的接收數(shù)據(jù)，將其結(jié)果獲得的復(fù)用復(fù)用數(shù)據(jù)發(fā)送給復(fù)用分離部ex308。
當(dāng)解碼通過天線ex201收到的復(fù)用復(fù)用數(shù)據(jù)時，復(fù)用分離部ex308通過分離復(fù)用復(fù)用數(shù)據(jù)將圖像數(shù)據(jù)的比特流與聲音數(shù)據(jù)的比特流分開，通過同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時將該聲音數(shù)據(jù)提供給聲音處理部ex305。
圖像解碼部ex309為具備本申請發(fā)明說明過的動態(tài)圖像解碼裝置的構(gòu)件，通過用與上述實(shí)施形態(tài)記述過的編碼方法相對應(yīng)的解碼方法解碼圖像數(shù)據(jù)的比特流生成再生動態(tài)圖像數(shù)據(jù)，通過LCD控制部ex302將其提供給顯示部ex202，據(jù)此，顯示例如包含在與主頁連接的動態(tài)圖像文件中的動畫數(shù)據(jù)。這時，聲音處理部ex305同時將聲音數(shù)據(jù)轉(zhuǎn)換成模擬聲音數(shù)據(jù)，然后將其提供給聲音輸出部ex208，據(jù)此，再生例如與主頁連接的動態(tài)圖像文件中所包含的聲音數(shù)據(jù)。
另外，不限于上述系統(tǒng)的例子，最近，使用衛(wèi)星、地面波的數(shù)字廣播也提上了議事日程，如圖23所示那樣，在數(shù)字播放用的系統(tǒng)中也至少能夠嵌入上述實(shí)施形態(tài)的動態(tài)圖像編碼裝置或動態(tài)圖像解碼裝置中的任何一種。具體地，廣播站ex409通過電波將圖像信息的比特流傳送給通訊或廣播衛(wèi)星ex410。接收到該信號的廣播衛(wèi)星ex410發(fā)送廣播用的電波，帶有衛(wèi)星廣播接受設(shè)備的家庭天線ex406接收該電波，通過電視機(jī)(接收機(jī))ex401或機(jī)頂盒(STB)ex407等裝置解碼比特流將其再生。并且，在讀取記錄在作為存儲媒體的CD和DVD等存儲媒介ex401上的比特流并將其解碼的再生裝置ex403上，也可以安裝上述實(shí)施形態(tài)記述過的動態(tài)圖像解碼裝置。此時，再生的圖像信號顯示在監(jiān)視器ex404上。并且，也可以考慮將動態(tài)圖像解碼裝置安裝在與有線電視用的電纜ex405或衛(wèi)星/地面波廣播的天線ex406相連的機(jī)頂盒ex407內(nèi)，用電視機(jī)的監(jiān)視器ex408將其再生的結(jié)構(gòu)。此時動態(tài)圖像解碼裝置也可以不是安裝在機(jī)頂盒內(nèi)而是安裝在電視機(jī)內(nèi)。并且，也可以用帶天線ex411的汽車ex412從廣播衛(wèi)星ex410或基站ex107等接收信號，將動畫在汽車ex412所帶的車載導(dǎo)航設(shè)備ex413等顯示裝置上再生。
并且，也可以用上述實(shí)施形態(tài)記述過的動態(tài)圖像編碼裝置編碼圖像信號，然后記錄到存儲媒體上。具體的例子有將圖像信號記錄在DVD盤ex421上的DVD記錄裝置或記錄在硬盤上的磁盤記錄裝置等記錄裝置ex420。而且，也可以記錄在SD卡ex422上。如果記錄裝置ex420具備上述實(shí)施形態(tài)記述過的動態(tài)圖像解碼裝置，則可以再生DVD盤ex421或SD卡ex422上記錄的圖像信號，用監(jiān)視器ex408顯示。
另外，車載導(dǎo)航設(shè)備ex413的構(gòu)成可以考慮除去了例如圖22所示構(gòu)成中的相機(jī)部ex203、相機(jī)接口部ex303和圖像編碼部ex312的構(gòu)成，同樣也可以考慮計(jì)算機(jī)ex111或電視機(jī)(接收機(jī))ex401等。
并且，上述移動電話機(jī)ex114等終端除可以考慮同時具有編碼器和解碼器的收發(fā)型終端外，還可以考慮只具有編碼器的發(fā)送型終端和只具有解碼器的接收型終端這3種安裝形式。
這樣，可以將上述實(shí)施形態(tài)記述過的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述任何一種設(shè)備和系統(tǒng)中，通過這樣，能夠取得上述實(shí)施形態(tài)所說明的效果。
而且，本發(fā)明不限于上述實(shí)施形態(tài)，只要不脫離本發(fā)明的范圍，可以作各種變形或修改。
如以上詳細(xì)說明的那樣，如果采用本發(fā)明的動態(tài)圖像編碼方法，由于不必就一方的參照圖像對每個像塊從多幅已編碼完畢的圖像中選擇1幅圖像，并且不必對每個像塊編碼該參照圖像，因此能夠?qū)崿F(xiàn)有效的編碼并且能夠削減處理量。
并且，如果采用本發(fā)明的動態(tài)圖像解碼方法，在解碼用共同的參照圖像和每個像塊的參照圖像編碼后輸出的動態(tài)圖像編碼數(shù)據(jù)時能夠正確地解碼處理。
工業(yè)應(yīng)用性如上所述，本發(fā)明的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法可以作為通過例如移動電話機(jī)、DVD裝置及個人電腦等對構(gòu)成輸入圖像的各圖像進(jìn)行編碼并輸出動態(tài)圖像編碼數(shù)據(jù)，或解碼該動態(tài)圖像編碼數(shù)據(jù)的方法使用。
權(quán)利要求
1.一種動態(tài)圖像的編碼方法，以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼，其特征在于，包括決定參照已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼步驟。
2.一種動態(tài)圖像的編碼方法，以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼，其特征在于，包括決定參照2幅已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已編碼完畢的圖像中選擇的第2圖像，生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼步驟。
3.如權(quán)利要求1或權(quán)利要求2所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，通過外部的輸入，直接決定上述共同參照圖像。
4.如權(quán)利要求1或權(quán)利要求2所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，根據(jù)圖像的顯示順序信息，決定上述共同參照圖像。
5.如權(quán)利要求4所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)具有離編碼對象圖像的顯示順序信息最近的顯示順序信息的圖像，作為上述共同參照圖像。
6.如權(quán)利要求4所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)具有超前于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像，作為上述共同參照圖像。
7.如權(quán)利要求4所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)具有滯后于編碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像，作為上述共同參照圖像。
8.如權(quán)利要求1或權(quán)利要求2所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，根據(jù)圖像的編碼順序決定上述共同參照圖像。
9.如權(quán)利要求8所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)編碼順序離編碼對象圖像的編碼順序最近的圖像，作為上述共同參照圖像。
10.如權(quán)利要求8所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)具有超前于編碼對象圖像的顯示順序信息、并且編碼順序離上述編碼對象圖像的編碼順序最近的圖像，作為上述共同參照圖像。
11.如權(quán)利要求8所述的動態(tài)圖像編碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已編碼完畢的圖像內(nèi)具有滯后于編碼對象圖像的顯示順序信息、并且編碼順序離上述編碼對象圖像的編碼順序最近的圖像作為上述共同參照圖像。
12.如權(quán)利要求1或權(quán)利要求2所述的動態(tài)圖像編碼方法，其特征在于，上述動態(tài)圖像編碼方法還包括將用于確定上述共同參照圖像的信息，記述在生成的動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)的信息記述步驟。
13.如權(quán)利要求12所述的動態(tài)圖像編碼方法，其特征在于，用于確定上述共同參照圖像的信息為直接指定上述共同參照圖像的信息。
14.一種動態(tài)圖像的編碼方法，以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼，其特征在于，包括決定參照已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟，用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟，用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼步驟，將用于確定上述共同參照圖像的信息記述在生成的動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)的信息記述步驟；用于確定上述共同參照圖像的信息，為表示用于決定權(quán)利要求4至權(quán)利要求11中的任一項(xiàng)所述的上述共同參照圖像的方法的信息。
15.一種動態(tài)圖像的解碼方法，對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括決定參照已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼步驟。
16.一種動態(tài)圖像的解碼方法，對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括決定參照2幅已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的第1圖像的共同參照圖像決定步驟；參照上述第1圖像和從各個像塊已解碼完畢的圖像中選擇的第2圖像，生成預(yù)測圖像的預(yù)測圖像生成步驟；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼步驟。
17.如權(quán)利要求15或權(quán)利要求16所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，根據(jù)圖像的顯示順序信息決定上述共同參照圖像。
18.如權(quán)利要求17所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)具有離解碼對象圖像的顯示順序信息最近的顯示順序信息的圖像，作為上述共同參照圖像。
19.如權(quán)利要求17所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)具有超前于解碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像，作為上述共同參照圖像。
20.如權(quán)利要求17所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)具有滯后于解碼對象圖像的顯示順序信息但離其最近的顯示順序信息的圖像，作為上述共同參照圖像。
21.如權(quán)利要求15或權(quán)利要求16所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，根據(jù)圖像的解碼順序決定上述共同參照圖像。
22.如權(quán)利要求21所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)解碼順序最接近解碼對象圖像的解碼順序的圖像，作為上述共同參照圖像。
23.如權(quán)利要求21所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)具有超前于解碼對象圖像的顯示順序信息并且解碼順序離上述解碼對象圖像的解碼順序最近的圖像，作為上述共同參照圖像。
24.如權(quán)利要求21所述的動態(tài)圖像解碼方法，其特征在于，在上述共同參照圖像決定步驟中，決定多幅已解碼完畢的圖像內(nèi)具有滯后于解碼對象圖像的顯示順序信息并且解碼順序離上述解碼對象圖像的解碼順序最近的圖像，作為上述共同參照圖像。
25.如權(quán)利要求15或權(quán)利要求16所述的動態(tài)圖像解碼方法，其特征在于，上述動態(tài)圖像解碼方法還包括從上述動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)，抽出用于確定上述共同的參照圖像的信息的信息抽出步驟。
26.如權(quán)利要求25所述的動態(tài)圖像解碼方法，其特征在于，用于確定上述共同參照圖像的信息為直接指定上述共同參照圖像的信息。
27.一種動態(tài)圖像的解碼方法，對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括決定參照已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的圖像的共同參照圖像決定步驟，用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成步驟，用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼步驟，從上述動態(tài)圖像編碼數(shù)據(jù)中的多個像塊的共同信息區(qū)域內(nèi)，抽出用于確定上述共同的參照圖像的信息的信息抽出步驟；用于確定上述共同參照圖像的信息，為表示用于決定權(quán)利要求17至權(quán)利要求24中的任一項(xiàng)所述的上述共同參照圖像的方法的信息。
28.一種動態(tài)圖像編碼裝置，以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼，其特征在于，包括決定參照已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的圖像的共同參照圖像決定裝置；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成裝置；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼裝置。
29.一種動態(tài)圖像編碼裝置，以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼，其特征在于，包括決定參照2幅已編碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的第1圖像的共同參照圖像決定裝置；參照上述第1圖像和從各個像塊已編碼完畢的圖像中選擇的第2圖像，生成預(yù)測圖像的預(yù)測圖像生成裝置；用上述預(yù)測圖像對編碼對象像塊進(jìn)行編碼的編碼裝置。
30.一種動態(tài)圖像解碼裝置，對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼，其特征在于；包括決定參照已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的圖像的共同參照圖像決定裝置；用上述共同參照的圖像生成預(yù)測圖像的預(yù)測圖像生成裝置；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼裝置。
31.一種動態(tài)圖像解碼裝置，對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼，其特征在于，包括決定參照2幅已解碼完畢的圖像進(jìn)行解碼的多個像塊所共同參照的第1圖像的共同參照圖像決定裝置；參照上述第1圖像和從各個像塊已解碼完畢的圖像中選擇的第2圖像，生成預(yù)測圖像的預(yù)測圖像生成裝置；用上述預(yù)測圖像對解碼對象像塊進(jìn)行解碼的解碼裝置。
32.一種用于以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼的程序，其特征在于，在計(jì)算機(jī)中執(zhí)行權(quán)利要求1至權(quán)利要求14中的任一項(xiàng)所述的動態(tài)圖像編碼方法所包含的步驟。
33.一種用于對各圖像以像塊單位被編碼后的動態(tài)圖像編碼數(shù)據(jù)進(jìn)行解碼的程序，其特征在于，在計(jì)算機(jī)中執(zhí)行權(quán)利要求15至權(quán)利要求27中的任一項(xiàng)所述的動態(tài)圖像解碼方法所包含的步驟。
34.一種存儲了以像塊單位對構(gòu)成輸入圖像的各圖像進(jìn)行編碼后的動態(tài)圖像編碼數(shù)據(jù)的記錄媒體，其特征在于，上述動態(tài)圖像編碼數(shù)據(jù)將用于確定參照已解碼完畢的圖像進(jìn)行編碼的多個像塊所共同參照的圖像的信息，包含在對應(yīng)的多個像塊的共同信息區(qū)域中。
全文摘要
動態(tài)圖像編碼裝置，包括在多幅參照圖像插值預(yù)測時將2幅參照圖像中的1幅固定為輸入的默認(rèn)參照圖像編號DefRefNo所指示的參照圖像、進(jìn)行運(yùn)動推定的運(yùn)動推定部(101)；對每個像塊對殘差編碼數(shù)據(jù)ERes、預(yù)測種類PredType、參照圖像編號RefNo2及運(yùn)動矢量MV1、MV2進(jìn)行可變長編碼，對每幅圖像對默認(rèn)參照圖像編號DefRefNo，輸出動態(tài)圖像編碼數(shù)據(jù)Str進(jìn)行可變長編碼的可變長編碼部(107)。
文檔編號H04N7/50GK1518835SQ0380047
公開日2004年8月4日 申請日期2003年4月16日 優(yōu)先權(quán)日2002年4月19日
發(fā)明者羽飼誠, 也, 角野真也, 志, 近藤敏志, 史, 安倍清史 申請人:松下電器產(chǎn)業(yè)株式會社