專利名稱：圖像編碼方法及圖像解碼方法
技術領域：
本發(fā)明涉及執(zhí)行預測而將圖像編碼的圖像編碼方法、以及執(zhí)行預測而進行圖像解碼的圖像解碼方法。
背景技術：
圖像編碼裝置一般利用圖像(包括靜止圖像及動態(tài)圖像)所具有的空間方向及時間方向的冗余性將信息量壓縮。作為利用空間方向的冗余性的方法，使用向頻率域的變換。 作為使用時間方向的冗余性的方法，使用幀間預測。幀間預測也稱作圖片間預測。
使用幀間預測的圖像編碼裝置在將某個圖片編碼時，使用在顯示順序上相對于編碼對象圖片為前方或后方的已編碼的圖片作為參照圖片。并且，圖像編碼裝置檢測編碼對象圖片相對于該參照圖片的運動矢量。
接著，圖像編碼裝置基于運動矢量進行運動補償，取得預測圖像數(shù)據(jù)。接著，圖像編碼裝置取得預測圖像數(shù)據(jù)與編碼對象圖片的圖像數(shù)據(jù)的差分。接著，圖像編碼裝置將所取得的差分進行編碼。由此，圖像編碼裝置將時間方向的冗余性去除。
有關稱作H. 264的標準化的圖像編碼方式(參照非專利文獻I)的圖像編碼裝置為了信息量的壓縮而使用I圖片、P圖片及B圖片這3種圖片類型。該圖像編碼裝置針對I圖片不進行幀間預測。即，圖像編碼裝置對I圖片進行幀內(nèi)預測。幀內(nèi)預測也稱作圖片內(nèi)預測。
此外，圖像編碼裝置針對P圖片，參照顯示順序為編碼對象圖片的前方或后方的已編碼的I 個圖片，進行幀間預測。此外，圖像編碼裝置針對B圖片，參照顯示順序為編碼對象圖片的前方或后方的已編碼的兩個圖片進行幀間預測。
在稱作H. 264的圖像編碼方式中，作為B圖片內(nèi)的編碼對象塊的編碼模式，有運動矢量檢測模式。在運動矢量檢測模式中，圖像編碼裝置使用參照圖片檢測編碼對象塊的運動矢量。并且，圖像編碼裝置使用參照圖片及運動矢量生成預測圖像數(shù)據(jù)。并且，圖像編碼裝置將預測圖像數(shù)據(jù)與編碼對象塊的圖像數(shù)據(jù)的差分值、以及在預測圖像數(shù)據(jù)的生成中使用的運動矢量編碼。
在運動矢量檢測模式中，如上述那樣，有參照編碼對象圖片的前方或后方的已編碼的兩個圖片來生成預測圖像的雙向預測。此外，在運動矢量檢測模式中，有參照編碼對象圖片的前方或后方的已編碼的I個圖片來生成預測圖像的單向預測。并且，對于編碼對象塊，選擇雙向預測及單向預測中的某一種。
在運動矢量檢測模式中，在將運動矢量編碼時，圖像編碼裝置根據(jù)已編碼的相鄰塊等的運動矢量生成預測運動矢量。并且，圖像編碼裝置將運動矢量與預測運動矢量的差分進行編碼。由此，圖像編碼裝置削減信息量。作為具體的例子，參照圖32進行說明。
在圖32中，表示了編碼對象塊、相鄰塊A、相鄰塊B及相鄰塊C。相鄰塊A是相對于編碼對象塊在左方相鄰的已編碼塊。相鄰塊B是相對于編碼對象塊在上方相鄰的已編碼塊。相鄰塊C是相對于編碼對象塊在右上方相鄰的已編碼塊。
此外，在圖32中，相鄰塊A以雙向預測被編碼，具有第I預測方向的運動矢量 MvL0_A和第2預測方向的運動矢量MvLl_A。
此外，相鄰塊B以單向預測被編碼，具有第I預測方向的運動矢量MvL0_B。此外， 相鄰塊C以雙向預測被編碼，具有第I預測方向的運動矢量MvL0_C和第2預測方向的運動矢量MvLl_C。此外，編碼對象塊是要以雙向預測編碼的塊，具有第I預測方向的運動矢量 MvLO和第2預測方向的運動矢量MvLl。
圖像編碼裝置在將編碼對象塊的第I預測方向的運動矢量MvLO編碼時，根據(jù)具有第I預測方向的運動矢量的相鄰塊生成與第I預測方向對應的預測運動矢量PMvLO。更具體地講，圖像編碼裝置使用相鄰塊A的運動矢量MvL0_A、相鄰塊B的運動矢量MvL0_B、以及相鄰塊C的運動矢量MvL0_C生成預測運動矢量PMvLO。
S卩，圖像編碼裝置在將編碼對象塊的第I預測方向的運動矢量MvLO編碼時，使用相鄰塊的第I預測方向的運動矢量。并且，圖像編碼裝置將作為運動矢量MvLO與預測運動矢量PMvLO的差分的差分運動矢量編碼。
預測運動矢量PMvLO使用作為用來計算運動矢量MvL0_A、MvL0_B> MvL0_C的中間值(中央值)的式子的Median (MvL0_A, MvL0_B, MvL0_C)等計算。這里，Median用以下的式I -式3表現(xiàn)。
[數(shù)式I]
Median(x, y, z)=x+y+z-Min (x, Min (y, z)) -Max (x, Max (y, z)) · · (式 I)
[數(shù)式2]
\x Min(x, >0 Iy(x < y) · (X > v) (式2)
[數(shù)式3]
χ Max(x. v)(λ- > y) · (x < y) (式3)
圖像編碼裝置在將編碼對象塊的第2預測方向的運動矢量MvLl編碼時，根據(jù)具有第2預測方向的運動矢量的相鄰塊，生成與第2預測方向對應的預測運動矢量PMvLl。更具體地講，圖像編碼裝置使用相鄰塊A的運動矢量MvLl_A及相鄰塊C的運動矢量MvLl_C生成預測運動矢量PMvLl。
S卩，圖像編碼裝置在將編碼對象塊的第2預測方向的運動矢量MvLl編碼時，使用相鄰塊的第2預測方向的運動矢量。并且，圖像編碼裝置將作為運動矢量MvLl與預測運動矢量PMvLl的差分的差分運動矢量進行編碼。預測運動矢量PMvLl使用Median (MvLl_A, O, MvL0_C)等計算。
現(xiàn)有技術文獻
非專利文獻
非專利文獻1:1TU — T H. 26403/2010
發(fā)明概要
發(fā)明要解決的問題
但是，在相同的預測方向的運動矢量較少的情況下，在預測運動矢量的計算中使用的運動矢量的數(shù)量也變少。在這樣的情況下，妨礙了運動矢量的編碼效率的提高。
如上述那樣，在以往的預測運動矢量的計算方法中，圖像編碼裝置在雙向預測的情況下，獨立地計算第I預測方向和第2預測方向的預測運動矢量。因此，在預測運動矢量的計算中使用的運動矢量受到限制。因而，不能導出最優(yōu)的運動矢量，阻礙了編碼效率的提聞。發(fā)明內(nèi)容
所以，本發(fā)明的目的是提供一種導出適合于運動矢量的編碼效率的提高的預測運動矢量的圖像編碼方法及圖像解碼方法。
用于解決問題的手段
為了解決上述問題，有關本發(fā)明的圖像編碼方法，使用第I運動矢量和第2運動矢量執(zhí)行預測，并將編碼對象塊編碼，該第I運動矢量指示第I參照圖片列表所包含的第I 參照圖片內(nèi)的位置，該第2運動矢量指示第2參照圖片列表所包含的第2參照圖片內(nèi)的位置，上述圖像編碼方法包括追加步驟，向用于上述第2運動矢量的編碼的預測運動矢量的候選列表追加上述第I運動矢量，作為上述預測運動矢量的候選；選擇步驟，從包含上述第 I運動矢量的上述候選列表中，選擇用于上述第2運動矢量的編碼的上述預測運動矢量；以及編碼步驟，使用所選擇的上述預測運動矢量將上述第2運動矢量編碼。
此外，也可以是，在上述追加步驟中，在上述第I參照圖片和上述第2參照圖 片相同的情況下，向上述候選列表追加上述第I運動矢量。
此外，也可以是，在上述選擇步驟中，選擇包含在上述候選列表中的多個候選中的、相對于上述第2運動矢量的誤差最小的候選作為上述預測運動矢量。
此外，也可以是，在上述追加步驟中，向上述候選列表追加通過運動檢測而檢測出的上述第I運動矢量。
此外，也可以是，在上述追加步驟中，以多個索引值與上述預測運動矢量的多個候選一對一地對應的方式向上述候選列表追加索弓I值和上述預測運動矢量的候選；在上述選擇步驟中，從上述候選列表選擇索引值作為上述預測運動矢量；在上述編碼步驟中，還以索引值越大則碼長越長的方式將所選擇的上述索引值編碼。
此外，也可以是，在上述追加步驟中，向上述候選列表追加上述編碼對象塊的左鄰的塊的運動矢量、上述編碼對象塊的上鄰的塊的運動矢量、以及上述編碼對象塊的右上鄰的塊的運動矢量作為上述預測運動矢量的候選。
有關本發(fā)明的圖像解碼方法，使用第I運動矢量和第2運動矢量執(zhí)行預測，將解碼對象塊解碼，該第I運動矢量指示第I參照圖片列表所包含的第I參照圖片內(nèi)的位置，該第 2運動矢量指示第2參照圖片列表所包含的第2參照圖片內(nèi)的位置，上述圖像解碼方法包括追加步驟，向用于上述第2運動矢量的解碼的預測運動矢量的候選列表追加上述第I運動矢量作為上述預測運動矢量的候選；選擇步驟，從包含上述第I運動矢量的上述候選列表中選擇用于上述第2運動矢量的解碼的上述預測運動矢量；以及解碼步驟，使用所選擇的上述預測運動矢量將上述第2運動矢量解碼。
此外，也可以是，在上述追加步驟中，在上述第I參照圖片與上述第2參照圖片相同的情況下，對上述候選列表追加上述第I運動矢量。
此外，也可以是，在上述追加步驟中，向上述候選列表追加通過運動檢測而檢測出的上述第I運動矢量。
此外，也可以是，在上述追加步驟中，以多個索引值與上述預測運動矢量的多個候選一對一地對應的方式向上述候選列表追加索引值和上述預測運動矢量的候選；在上述解碼步驟中，還將以索引值越大則碼長越長的方式編碼的索引值解碼；上述選擇步驟從上述候選列表中選擇與解碼后的上述索引值對應的上述預測運動矢量。
此外，也可以是，在上述追加步驟中，向上述候選列表追加上述解碼對象塊的左鄰的塊的運動矢量、上述解碼對象塊的上鄰的塊的運動矢量、以及上述解碼對象塊的右上鄰的塊的運動矢量作為上述預測運動矢量的候選。
發(fā)明效果
通過本發(fā)明，導出適合于運動矢量的編碼效率提高的預測運動矢量。因而，運動矢量的編碼效率提高。


圖1是有關實施方式I的圖像編碼裝置的結構圖。
圖2是表不有關實施方式I的兩個參照圖片列表的例子的圖。
圖3是表示有關實施方式I的圖像編碼裝置的動作的流程圖。
圖4是表示有關實施方式I的預測方向的決定處理的流 程圖。
圖5是表示有關實施方式I的候選列表的計算處理的流程圖。
圖6是表示有關實施方式I的追加標志的判斷處理的流程圖。
圖7A是表示有關實施方式I的第I預測方向的候選列表的例子的圖。
圖7B是表不有關實施方式I的第2預測方向的候選列表的例子的圖。
圖8是表示有關實施方式I的預測運動矢量索引的符號的例子的圖。
圖9是表示有關實施方式I的預測運動矢量的選擇處理的圖。
圖1OA是表示有關實施方式I的兩個參照圖片相同的情況下的例子的圖。
圖1OB是表示有關實施方式I的兩個參照圖片不同的情況下的例子的圖。
圖11是有關實施方式2的圖像解碼裝置的結構圖。
圖12是表示有關實施方式2的圖像解碼裝置的動作的流程圖。
圖13是實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)的整體結構圖。
圖14是數(shù)字廣播用系統(tǒng)的整體結構圖。
圖15是表示電視機的結構例的模塊圖。
圖16是表示對作為光盤的記錄介質進行信息的讀寫的信息再現(xiàn)/記錄部的結構例的模塊圖。
圖17是表示作為光盤的記錄介質的構造例的圖。
圖18A是表示便攜電話的一例的圖。
圖18B是表示便攜電話的結構例的模塊圖。
圖19是表示復用數(shù)據(jù)的結構的圖。
圖20是示意地表示各流在復用數(shù)據(jù)中怎樣被復用的圖。
圖21是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
圖22是表示復用數(shù)據(jù)的TS包和源包的構造的圖。
圖23是表示PMT的數(shù)據(jù)結構的圖。
圖24是表示復用數(shù)據(jù)信息的內(nèi)部結構的圖。
圖25是表示流屬性信息的內(nèi)部結構的圖。
圖26是表示識別影像數(shù)據(jù)的步驟的圖。
圖27是表示實現(xiàn)各實施方式的動態(tài)圖像編碼方法及動態(tài)圖像解碼方法的集成電路的結構例的模塊圖。
圖28是表示切換驅動頻率的結構的圖。
圖29是表示識別影像數(shù)據(jù)、切換驅動頻率的步驟的圖。
圖30是表示將影像數(shù)據(jù)的標準與驅動頻率建立了對應的查找表的一例的圖。
圖31A是表示將信號處理部的模塊共用的結構的一例的圖。
圖31B是表示將信號處理部的模塊共用的結構的另一例的圖。
圖32是表示編碼對象塊及3個相鄰塊的例子的圖。
具體實施方式
以下，參照附圖對有關本發(fā)明的實施方式進行說明。另外，以下說明的實施方式都表示本發(fā)明的優(yōu)選的一具體例。即，在以下的實施方式中表示的數(shù)值、形狀、材料、構成要素、構成要素的配置及連接形態(tài)、步驟、步驟的順序等是一例，并不是限定本發(fā)明的意思。本發(fā)明僅由權利要求書限定。由此，關于以下的實施方式的構成要素中的、在表示最上位概念的獨立權利要求中沒有記載的構成要素，并不是為了達到本發(fā)明的目 的而一定需要的，作為構成更優(yōu)選的形態(tài)進行說明。
(實施方式I)
圖1是表示有關本實施方式的圖像編碼裝置的結構的模塊圖。
圖1所示的圖像編碼裝置100具備正交變換部102、量化部103、逆量化部105、逆正交變換部106、塊存儲器108、幀存儲器109、幀內(nèi)預測部110、幀間預測部111、幀間預測控制部114、圖片類型決定部113、參照圖片列表管理部115、追加判斷部116、可變長度編碼部 104、減法部101、加法部107及開關部112。
正交變換部102對由后述的單元生成的預測圖像數(shù)據(jù)與輸入圖像序列的預測誤差數(shù)據(jù)，進行從圖像域向頻率域的變換。量化部103對變換到頻率域中的預測誤差數(shù)據(jù)進行量化處理。逆量化部105對由量化部103量化處理后的預測誤差數(shù)據(jù)進行逆量化處理。 逆正交變換部106對逆量化處理后的預測誤差數(shù)據(jù)進行從頻率域向圖像域的變換。
塊存儲器108是用來將根據(jù)預測圖像數(shù)據(jù)和逆量化處理后的預測誤差數(shù)據(jù)求出的解碼圖像以塊單位保存的存儲器。幀存儲器109是用來將解碼圖像以幀單位保存的存儲器。
圖片類型決定部113決定以I圖片、B圖片、P圖片中的哪種圖片類型將輸入圖像序列編碼，生成圖片類型信息。幀內(nèi)預測部110使用保存在塊存儲器108中的塊單位的解碼圖像，生成基于編碼對象塊的幀內(nèi)預測的預測圖像數(shù)據(jù)。幀間預測部111使用保存在幀存儲器109中的幀單位的解碼圖像，生成基于編碼對象塊的幀間預測的預測圖像數(shù)據(jù)。
參照圖片列表管理部115對在幀間預測中參照的已編碼的參照圖片分配參照圖片索引，與顯示順序等一起制作參照列表(參照圖片列表)。圖像編碼裝置100為了針對B 圖片參照兩個圖片而保持兩個參照列表(L0，LI)。
在圖2中表示參照列表的例子。圖2的第I參照圖片列表(LO)是與雙向預測的第I預測方向對應的參照圖片列表的例子。在圖2的第I參照圖片列表中，對顯示順序是2 的參照圖片Rl分配了值是O的參照圖片索引。此外，對顯示順序是I的參照圖片R2分配了值是I的參照圖片索引。并且，對顯示順序是O的參照圖片R3分配了值是2的參照圖片索引。
S卩，在圖2的第I參照圖片列表中，參照圖片在顯示順序上與編碼對象圖片越近， 則對該參照圖片分配了越小的參照圖片索引。
另一方面，圖2的第2參照圖片列表(LI)是與雙向預測的第2預測方向對應的參照圖片列表的例子。在圖2的第2參照圖片列表中，對顯示順序是I的參照圖片R2分配了值是O的參照圖片索引。此外，對顯示順序是2的參照圖片Rl分配了值是I的參照圖片索弓I。此外，對顯示順序是O的參照圖片R3分配了值是2的參照圖片索引。
像這樣，有時對包含在兩個參照圖片列表中的特定的參照圖片分配不同的兩個參照圖片索弓丨(圖2的參照圖片Rl、R2)。此外，也有時對包含在兩個參照圖片列表中的特定的參照圖片分配相同的參照圖片索引(圖2的參照 圖片R3)。
僅使用第I參照圖片列表(LO)的預測稱為LO預測。僅使用第2參照圖片列表 (LI)的預測稱為LI預測。使用第I參照圖片列表及第2參照圖片列表雙方的預測稱為雙向預測或雙預測。
在LO預測中，作為預測方向而使用前方的情況較多。在LI預測中，作為預測方向而使用后方的情況較多。即，第I參照圖片列表構成為對應于第I預測方向，第2參照圖片列表構成為對應于第2預測方向。
基于這些關系，預測方向被分類為第I預測方向、第2預測方向及雙向中的某一種。此外，在預測方向是雙向的情況下，將預測方向還表現(xiàn)為雙向預測或雙預測。
另外，在本實施方式中，參照圖片列表管理部115利用參照圖片索引和顯示順序管理參照圖片，但也可以利用參照圖片索引和編碼順序等管理參照圖片。
此外，在以下的記載中，第I參照圖片列表對應于LO預測，第2參照圖片列表對應于LI預測。并且，第I參照圖片列表對應于第I預測方向，第2參照圖片列表對應于第2 預測方向。但是，也可以是第I參照圖片列表對應于LI預測，第2參照圖片列表對應于LO 預測。同樣，也可以是第I參照圖片列表對應于第2預測方向，第2參照圖片列表對應于第 I預測方向。
追加判斷部116使用由參照圖片列表管理部115制作的第I參照圖片列表及第2 參照圖片列表，判斷是否追加預測運動矢量的候選(預測運動矢量候選)。具體而言，在后述的方法中，追加判斷部116判斷是否向編碼對象塊的第2預測方向的候選列表(預測運動矢量候選列表)追加第I預測方向的運動矢量作為預測運動矢量的候選。并且，追加判斷部 116設定追加標志。
幀間預測控制部114決定用于編碼的預測運動矢量，以使用多個預測運動矢量候選中的、與通過運動檢測導出的運動矢量的誤差最小的預測運動矢量候選進行運動矢量的編碼。這里，誤差表示預測運動矢量候選與通過運動檢測導出的運動矢量的差分值。
此外，幀間預測控制部114按每個塊生成與所決定的預測運動矢量對應的預測運動矢量索引。并且，預測運動矢量索引、預測運動矢量候選的誤差信息、及參照圖片索引發(fā)送至可變長度編碼部104。
可變長度編碼部104對量化處理后的預測誤差數(shù)據(jù)、幀間預測方向標志、參照圖片索引及圖片類型信息進行可變長度編碼處理，由此生成比特流。
圖3表示有關本實施方式的圖像編碼方法的處理流程的概要。幀間預測控制部 114決定將編碼對象塊以運動矢量檢測模式編碼的情況下的預測方向(S101)。接著，幀間預測控制部114判斷運動矢量檢測模式的預測方向是否是雙向預測(S102)。
在預測方向是雙向預測的情況下(S102中是)，幀間預測控制部114用后述的方法分別計算第I預測方向的預測運動矢量候選列表、及第2預測方向的預測運動矢量候選列表(S103、S104)。
接著，追加判斷部116判斷是否將第I預測方向的運動矢量追加到第2預測方向的預測運動矢量候選列表(S105)。在判斷為追加運動矢量的情況下(S105中是)，幀間預測控制部114將第I預測方向的運動矢量追加到第2預測方向的預測運動矢量候選列表 (S106)。
接著，幀間預測控制部114從第I預測方向的預測運動矢量候選列表及第2預測方向的預測運動矢量候選列表中分別選擇第I預測方向的預測運動矢量和第2預測方向的預測運動矢量。并且，可變長度編碼部104將與所選擇的各預測運動矢量對應的預測運動矢量索引編碼，附加到比特流中(S107)。
在運動矢量檢測模式的預測方向是單向預測的情況下(S102中否)，幀間預測控制部114計算與單向預測對應的預測方向的預測運動矢量候選列表(S109)。幀間預測控制部 114從與單向預測對應的預測方 向的預測運動矢量候選列表中選擇預測運動矢量。并且，可變長度編碼部104將與所選擇的預測運動矢量對應的預測運動矢量索引編碼，附加到比特流中(S110)。
最后，可變長度編碼部104將表示運動矢量檢測模式的預測方向的幀間預測方向標志及參照圖片索引編碼，附加到比特流中(S108)。
接著，使用圖4的處理流程詳細地說明圖3的運動矢量檢測模式的預測方向的決定方法(S101)。幀間預測控制部114對由第I預測方向的參照圖片索引確定的參照圖片、 以及由第2預測方向的參照圖片索引確定的參照圖片進行運動檢測。并且，幀間預測控制部114生成相對于兩個參照圖片的第I運動矢量I及第2運動矢量(S201)。
這里，幀間預測控制部114在運動檢測中計算編碼圖片內(nèi)的編碼對象塊與參照圖片內(nèi)的塊的差分值。并且，幀間預測控制部114將參照圖片內(nèi)的多個塊中的、差分值最小的塊決定為參照塊。并且，幀間預測控制部114根據(jù)編碼對象塊的位置和參照塊的位置求出運動矢量。
接著，幀間預測部111使用求出的第I運動矢量生成第I預測方向的預測圖像。幀間預測控制部114例如通過用以下的式4表現(xiàn)的R — D最優(yōu)化模型計算通過該預測圖像將編碼對象塊編碼的情況下的成本Costl (S202)。
Cost=D+ AXR ...(式 4)
在式4中，D表示編碼畸變。具體而言，將利用由某個運動矢量生成的預測圖像將編碼對象塊編碼及解碼而得到的像素值與編碼對象塊的原來的像素值之間的差分絕對值和等用作D。此外，R表示發(fā)生碼量。具體而言，將為了對用于生成預測圖像的運動矢量進行編碼而需要的碼量等用作R。此外，λ是拉格朗日未確定乘數(shù)。
接著，幀間預測部111使用求出的第2運動矢量生成第2預測方向的預測圖像。并且，幀間預測控制部114根據(jù)式4計算Cost2 (S203)。
接著，幀間預測部111使用求出的第I運動矢量和第2運動矢量生成雙向的預測圖像。這里，幀間預測部111例如對根據(jù)第I運動矢量求出的預測圖像和根據(jù)第2運動矢量求出的預測圖像按每個像素進行相加平均，從而生成雙向預測圖像。并且，幀間預測控制部114根據(jù)式4計算CostBi (S204)。
接著，幀間預測控制部114將Costl、Cost2及CostBi比較(S205)。在CostBi最小的情況下(S205中是)，幀間預測控制部114將運動矢量檢測模式的預測方向決定為雙向預測(S206)。在CostBi不是最小的情況下(S205中否)，幀間預測控制部114將Costl與 Cost2 比較(S207)。
在Costl較小的情況下(S207中是)，幀間預測控制部114將運動矢量檢測模式?jīng)Q定為第I預測方向的單向預測(S208)。在Costl不小的情況下(S207中否)，幀間預測控制部114將運動矢量檢測模式?jīng)Q定為第2預測方向的單向預測(S209)。
另外，在本實施方式中，幀間預測部111在雙向的預測圖像生成時進行了每個像素的相加平均，但也可以進行加權相加平均等。
接著，使用圖5的處理流程詳細地說明圖3的預測運動矢量候選列表的計算方法 (S103、S104、S109)。幀間預測控制部114決定編碼對象塊的左方相鄰的相鄰塊A、上方相鄰的相鄰塊B、右上方相鄰的相鄰塊C (S301)。
例如，幀間預測控制部114將位于編碼對象塊的最左上位置的像素的左鄰的像素所屬的塊決定為相鄰塊A。并且，幀間預測控制部114將位于編碼對象塊的最左上位置的像素的上鄰的像素所屬的塊決定為相鄰塊B。并且，幀間預測控制部114將位于編碼對象塊的最右上位置的像素的右上鄰的像素所屬的塊決定為相鄰塊C。
接著，幀間預測控制部114對相鄰塊A、B、C分別判斷是否滿足兩個條件雙方 (S302)。該兩個條件中的一個是，相鄰塊N (N是A、B、C的某一個)具有與對應于編碼對象塊的運動矢量的預測方向相同的預測方向的運動矢量。另一個是，相鄰塊N的參照圖片與編碼對象塊的參照圖片相同。
在對于相鄰塊N而言滿足兩個條件的情況下(S302中是)，幀間預測控制部114將相鄰塊N的相鄰運動矢量追加到預測運動矢量候選列表中(S303)。此外，幀間預測控制部 114計算多個相鄰塊的多個運動矢量的中間值(中央值)，追加到預測運動矢量候選列表中 (S304)。
另外，在上述處理中，幀間預測控制部114將具有與對應于編碼對象塊的運動矢量的預測方向相同的預測方向的相鄰塊的運動矢量追加到預測運動矢量候選列表中。并且，幀間預測控制部114不追加具有不同的預測方向的相鄰塊的運動矢量。但是，幀間預測控制部114也可以將具有不同的預測方向的相鄰塊的運動矢量作為O而追加到預測運動矢量候選列表。
接著，使用圖6的處理流程詳細地說明圖3的追加標志的決定方法(S105)。
有時第I預測方向的參照圖片索引所表示的參照圖片與第2預測方向的參照圖片索引所表示的參照圖片相同。在此情況下，第I預測方向的運動矢量和第2預測方向的運動矢量有比較接近的傾向。
因而，在此情況下，幀間預測控制部114在雙向預測中，作為某一個預測方向的運動矢量的預測運動矢量候選而追加另一個預測方向的運動矢量。由此，圖像編碼裝置100 能夠將某一個預測方向的運動矢量高效率地編碼。
在本實施方式中，使用將第I預測方向的運動矢量向第2預測方向的預測運動矢量候選追加的例子。另外，也可以將第2預測方向的運動矢量追加到第I預測方向的預測運動矢量候選中。
首先，追加判斷部116取得有關圖4的運動檢測(S201)的第I預測方向的參照圖片索引及第2預測方向的參照圖片索引(S401、S402)。接著，追加判斷部116使用第I參照圖片列表及第2參照圖片列表判斷第I預測方向的參照圖片索引所表示的參照圖片與第2 預測方向的參照圖片索引所表示的參照圖片是否相同(S403)。
例如，追加判斷部116根據(jù)第I參照圖片列表求出第I預測方向的參照圖片索引所表示的參照圖片的顯示順序。此外，追加判斷部116根據(jù)第2參照圖片列表取得第2預測方向的參照圖片索引所表示的參照圖片的顯示順序。并且，追加判斷部116將這兩個顯示順序比較，如果它們相同，則判斷為兩個參照圖片相同。
在第I預測方向的參照圖片與第2預測方向的參照圖片相同的情況下(S403中是)，追加判斷部116將追加標志設定為開啟(ON) (S404)。在第I預測方向的參照圖片與第2預測方向的參照圖片不相同的情況下(S403中否)，追加判斷部116將追加標志設定為關閉(OFF) (S405)。
另外，在本實施方式中，追加判斷部116使用顯示順序判斷兩個參照圖片是否相同。但是，追加判斷部116也可以使用編碼順序等判斷兩個參照圖片是否相同。
接著，將在圖32的例子中生成的候選列表的例子表示在圖7A、圖7B中。這里，假定以下的關系。即，編碼對象塊具有第I預測方向的運動矢量MvLO及第2預測方向的運動矢量MvLl。此外，相鄰塊具有如圖32所示的運動矢量。此外，在各相鄰 塊中，第I預測方向的參照圖片與第2預測方向的參照圖片相同。圖7A及圖7B表示在該關系中通過圖3的預測運動矢量候選列表的生成處理(S103 S106)生成的預測運動矢量候選列表的例子。
在圖7A的第I預測方向的預測運動矢量候選列表中，與Median (MvL0_A, MvL0_ B，MvL0_C)對應的預測運動矢量索引是O。與運動矢量MvL0_A對應的預測運動矢量索引是I。與運動矢量MvL0_B對應的預測運動矢量索引是2。與運動矢量MvL0_(^i應的預測運動矢量索引是3。
此外，在圖7B的第2預測方向的預測運動矢量候選列表中，與Median(MvLl_A，0， MvL0_C)對應的預測運動矢量索引是O。與運動矢量MvL0_A對應的預測運動矢量索引是I。 與運動矢量MvL0_C對應的預測運動矢量索引是2。與第I預測方向的運動矢量MvLO對應的預測運動矢量索引是3。另外，預測運動矢量索引的分配方式并不限定于該例。
圖8表示在將預測運動矢量索引進行可變長度編碼時使用的碼表的例子。預測運動矢量索引越小則碼長越短。幀間預測控制部114對推測預測精度較高的候選分配較小的預測運動矢量索引。由此，能夠使編碼效率提高。
接著，使用圖9的處理流程詳細地說明圖3的預測運動矢量選擇方法(S107、 S110)。幀間預測控制部114作為初始化而在計數(shù)值中設定0，在最小差分運動矢量中設定值的最大值等(S501)。
接著，幀間預測控制部114判斷是否計算了全部的預測運動矢量候選的差分運動矢量(S502)。如果還剩余有預測運動矢量候選(S502中是)，則幀間預測控制部114通過從運動檢測結果矢量減去預測運動矢量候選，計算差分運動矢量(S503)。
接著，幀間預測控制部114判斷求出的差分運動矢量是否比最小差分運 動矢量小 (S504)。在差分運動矢量比最小差分運動矢量小的情況下(S504中是)，幀間預測控制部 114將最小差分運動矢量及預測運動矢量索引更新(S505)。
接著，幀間預測控制部114對計數(shù)值追加1(S506)。并且，幀間預測控制部114再次判斷是否存在接下來的預測運動矢量候選(S502)。在判斷為對全部的預測運動矢量候選計算了差分運動矢量的情況下(S502中否)，幀間預測控制部114將最終決定的最小差分運動矢量及預測運動矢量索引向可變長度編碼部104發(fā)送，使其編碼(S507)。
如以上這樣，根據(jù)本實施方式，如圖1OA所示，在第I預測方向的運動矢量所表示的參照圖片與第2預測方向的運動矢量所表示的參照圖片相同的情況下，將第I預測方向的運動矢量向第2預測方向的預測運動矢量候選追加。另一方面，如圖1OB所示，在第I預測方向的運動矢量所表示的參照圖片與第2預測方向的運動矢量所表示的參照圖片不同的情況下，不將第I預測方向的運動矢量向第2預測方向的預測運動矢量候選追加。
這樣，根據(jù)本實施方式，幀間預測控制部114在雙向預測中使用用來求出一個預測方向的預測運動矢量的新的計算方法。由此，幀間預測控制部114導出最適合于編碼對象圖片的運動矢量的編碼的預測運動矢量。因而，編碼效率提高。
特別是，有時第I預測方向的參照圖片索引所表示的參照圖片與第2預測方向的參照圖片索引所表示的參照圖片相同。在此情況下，幀間預測控制部114在雙向預測中，作為某一個預測方向的運動矢量的預測運動矢量候選而追加另一個預測方向的運動矢量。由此，圖像編碼裝置100能夠將某一個預測方向的運動矢量高效率地編碼。
另外，在本實施方式中，表示了在第2預測方向的預測運動矢量候選列表中追加第I預測方向的運動矢量的例子，但也可以在第I預測方向的預測運動矢量候選列表中追加第2預測方向的運動矢量。
此外，在第I預測方向的參照圖片與第2預測方向的參照圖片不同的情況下，幀間預測控制部114也可以將第I預測方向的運動矢量追加到第2預測方向的候選列表。在兩個參照圖片不同的情況下，通過候選數(shù)的增加有時也提高編碼效率。
(實施方式2)
圖11是表示有關本實施方式的圖像解碼裝置的結構的模塊圖。
圖11所示的圖像解碼裝置200具備可變長度解碼部204、逆量化部205、逆正交變換部206、加法部207、塊存儲器208、幀存儲器209、幀內(nèi)預測部210、幀間預測部211、開關部212、幀間預測控制部214、參照圖片列表管理部215及追加判斷部216。
可變長度解碼部204對輸入的比特流進行可變長度解碼處理。并且，可變長度解碼部204生成圖片類型信息、幀間預測模式、幀間預測方向標志、跳過標志及量化系數(shù)。逆量化部205對量化系數(shù)進行逆量化處理。逆正交變換部206將進行逆量化處理后的正交變換系數(shù)從頻率域向圖像域變換，生成預測誤差圖像數(shù)據(jù)。
塊存儲器208是用來以塊單位保存將預測誤差圖像數(shù)據(jù)與預測圖像數(shù)據(jù)相加而生成的圖像序列的存儲器。幀存儲器209是用來將圖像序列以幀單位保存的存儲器。
幀內(nèi)預測部210通過使用保存在塊存儲器208中的塊單位的圖像序列執(zhí)行幀內(nèi)預測，生成解碼對象塊的預測圖像數(shù)據(jù)。
幀間預測部211使用保存在幀存儲器209中的幀單位的圖像序列執(zhí)行幀間預測， 由此生成解碼對象塊的預測圖像數(shù)據(jù)。幀間預測控制部214根據(jù)幀間預測模式、幀間預測方向及跳過標志，控制幀間預測中的運動矢量和預測圖像數(shù)據(jù)生成方法。
參照圖片列表管理部215對在幀間預測中參照的已解碼的參照圖片分配參照圖片索引，與顯示順序等一起制作參照列表(與實施方式I的圖2同樣)。B圖片參照兩個圖片而被解碼。因此，參照圖片列表管理部215保持兩個參照列表。
另外，有關本實施方式的參照圖片列表管理部215用參照圖片索引和顯示順序管理參照圖片。但是，參照圖片列表管理部215也可以用參照圖片索引和編碼順序(解碼順序) 等管理參照圖片。
追加判斷部216使用由參照圖片列表管理部215制作的第I參照圖片列表及第2 參照圖片列表判斷是否對解碼對象塊的第2預測方向的預測運動矢量候選列表追加第I預測方向的運動矢量。并且，追加判斷部216設定追加標志。另外，追加標志的決定流程與實施方式I的圖6是同樣的，所以省略說明。
最后，加法部207通過將解碼后的預測誤差圖像數(shù)據(jù)與預測圖像數(shù)據(jù)相加，生成解碼圖像序列。
圖12表示有關本實施方式的圖像解碼方法的處理流程的概要。首先，幀間預測控制部214判斷解碼后的預測方向是否是雙向(S601)。
在解碼后的預測方向是雙向的情況下(S601中是)，幀間預測控制部214計算第I 預測方向及第2預測方向的預測運動矢量候選列表(S602、S603)。另外，在預測運動矢量候選列表的計算方法中使用實施方式I的圖5等?？勺冮L度解碼部204根據(jù)比特流解碼出第 I預 測方向及第2預測方向的參照圖片索引。
追加判斷部216從第I預測方向的預測運動矢量候選列表中選擇從比特流解碼的第I預測方向的預測運動矢量索引所表示的預測運動矢量。并且，幀間預測控制部214對第I預測方向的預測運動矢量加上從比特流解碼后的第I預測方向的差分運動矢量。由此， 幀間預測控制部214解碼出第I預測方向的運動矢量(S604)。
追加判斷部216判斷是否將第I預測方向的運動矢量追加到第2預測方向的預測運動矢量候選列表(S605)。在追加標志是開啟的情況下(S605中是)，幀間預測控制部214 將第I預測方向的運動矢量追加到第2預測方向的預測運動矢量候選列表(S606)。另外， 表示是否追加第I預測方向的運動矢量的追加標志與實施方式I的圖6等同樣地設定。
幀間預測控制部214從第2預測方向的預測運動矢量候選列表中選擇從比特流解碼的第2預測方向的預測運動矢量索引所表示的預測運動矢量。并且，幀間預測控制部214 對第2預測方向的預測運動矢量加上從比特流解碼出的第2預測方向的差分運動矢量。由此，幀間預測控制部214解碼出第2預測方向的運動矢量(S607)。
在預測方向不是雙向的情況下(S601中否)，即在幀間預測方向是單向的情況下，幀間預測控制部214計算與單向預測對應的預測方向的預測運動矢量候選列表(S608)。幀間預測控制部214從與單向預測對應的預測方向的預測運動矢量候選列表中選擇解碼后的預測運動矢量索引所表示的預測運動矢量。并且，幀間預測控制部214計算與單向預測對應的預測方向的運動矢量(S609 )。
這樣，根據(jù)本實施方式，幀間預測控制部214在雙向預測中使用用來求出一個預測方向的預測運動矢量的新的計算方法。由此，導出最適合于運動矢量的解碼的預測運動矢量。此外，圖像解碼裝置200能夠將編碼效率較高的比特流適當?shù)亟獯a。特別是，有時第I預測方向的參照圖片索引所表示的參照圖片、與第2預測方向的參照圖片索引所表示的參照圖片相同。在此情況下，幀間預測控制部214在雙向預測中，作為某一個預測方向的運動矢量的預測運動矢量候選而追加另一個預測方向的運動矢量。由此，圖像解碼裝置200能夠將通過對某一個預測方向的運動矢量高效率地進行編碼而得到的比特流適當?shù)亟獯a。
另外，有關本實施方式的幀間預測控制部214對第2預測方向的預測運動矢量候選列表追加第I預測方向的運動矢量。但是，幀間預測控制部214與編碼側同樣，也可以對第I預測方向的預測運動矢量候選列表追加第2預測方向的運動矢量。
此外，幀間預測控制部214與編碼側同樣，在與兩個預測方向對應的兩個參照圖片不同的情況下，也可以對一個預測方向的預測運動矢量候選列表追加另一個預測方向的運動矢量。
以上，基于多個實施方式對有關本發(fā)明的圖像編碼裝置及圖像解碼裝置進行了說明，但本發(fā)明并不限定于這些實施方式。對這些實施方式實施本領域的技術人員想到的變形而得到的形態(tài)、以及將這些實施方式的構成要素任意地組合而實現(xiàn)的別的形態(tài)也包含在本發(fā)明中。
例如，也可以將特定的處理部執(zhí)行的處理由別的處理部執(zhí)行。此外，也可以變更執(zhí)行處理的順序，也可以將多個處理并行地執(zhí)行。
此外，本發(fā)明不僅能夠作為圖像編碼裝置及圖像解碼裝置實現(xiàn)，而且能夠作為以構成圖像編碼裝置及圖像解碼裝置的處理機構為步驟的方法實現(xiàn)。例如，這些步驟由計算機執(zhí)行。并且，本發(fā)明可以作為用來使計算機執(zhí)行包含在這些方法中的步驟的程序實現(xiàn)。進而，本發(fā)明能夠作為記錄有該程序的CD - ROM等的非暫時性的計算機可讀取的記錄介質實現(xiàn)。
此外，圖像編碼裝置及圖像解碼裝置通過將包含在它們中的構成要素組合，作為圖像編碼解碼裝置實現(xiàn)。
此外，包含在圖像編碼裝置及圖像解碼裝置中的多個構成要素也可以作為集成電路即LSI (Large Scale Integration)實現(xiàn)。這些構成要素既可以單獨地形成I個芯片， 也可以包括一部分或全部而形成I個芯片。例如也可以將存儲器以外的構成要素形成為I 個芯片。這里設為LSI,但根據(jù)集成度的不同，有時也稱作IC (Integrated Circuit)、系統(tǒng) LS1、超級LSI或特級LSI。
此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。 也可以使用能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構LSI內(nèi)部的電路單元的連接及設定的可重構處理器。
進而，如果因半導體技術的進步或派生的別的技術出現(xiàn)代替LSI的集成電路化的技術，則當然也可以使用該技術進行包含在圖像編碼裝置及圖像解碼裝置中的構成要素的集成電路化。
(實施方式3)
通過將用來實現(xiàn)上述各實施方式所示的動態(tài)圖像編碼方法(圖像編碼方法)或動態(tài)圖像解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統(tǒng)中簡單地實施。存儲介質是磁盤、光盤、光磁盤、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
進而，這里說明在上述各實施方式中示出的動態(tài)圖像編碼方法(圖像編碼方法)及動態(tài)圖像解碼方法(圖像解碼方法)的應用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關于系統(tǒng)的其他結構，可以根據(jù)情況而適當變更。
圖13是表示實現(xiàn)內(nèi)容分發(fā)服務的內(nèi)容供給系統(tǒng)exlOO的整體結構的圖。將通信服務的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設置有作為固定無線站的基站exl06、 exl07、exl08、exl09、exllO。
該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務提供商exl02及電話網(wǎng) exl04、及基站 exl06 exllO 連接著計算機 exlll、PDA (Personal DigitalAssistant) exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設備。
但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖13那樣的結構，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl06 exllO將各設備直接連接在電話網(wǎng)exl04上。此外，也可以將各設備經(jīng)由近距離無線等直接相互連接。
照相機exll3是數(shù)字攝像機等的能夠進行動態(tài)圖像攝影的設備，照相機exll6是能夠進行數(shù)字照相機等的靜止圖像攝影、動態(tài)圖像攝影的設備。此外，便攜電話exll4是 GSM (Global System for Mobile Communications)方式、CDMA (Code Division Multiple Access)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE (Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS (Personal Handyphone System)等，是哪種都可以。
在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機exll3等經(jīng)由基站exl09、電話網(wǎng)exl04 連接在流介質服務器exl03上，能夠進行現(xiàn)場分發(fā)等。在現(xiàn)場分發(fā)中，對用戶使用照相機 exll3攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發(fā)明的圖像編碼裝置發(fā)揮作用)，向流介質服務器exl03發(fā)送。另一方面，流介質服務器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進行流分發(fā)。作為客戶端，有能夠將上述編碼處理后的數(shù)據(jù)解碼的計算機exlll、PDAexll2、照相機exll3、便攜電話exll4、 游戲機exll5等。在接收到分發(fā)的數(shù)據(jù)的各設備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即， 作為本發(fā)明的圖像解碼裝置發(fā)揮作用)。
另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機exll3進行，也可以由進行數(shù)據(jù)的發(fā)送處理的流介質服務器exl03進行，也可以相互分擔進行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進行，也可以由流介質服務器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或動態(tài)圖像數(shù)據(jù)經(jīng)由計算機exlll向流介質服務器exl03發(fā)送。此情況下的編碼處理由照相機exll6、計算機 exlll、流介質服務器exl03的哪個進行都可以，也可以相互分擔進行。
此外，這些編碼解碼處理一般在計算機exlll或各設備具有的LSIex500中處理。 LSIex500既可以是單芯片，也可以是由多個芯片構成的結構。另外，也可以將動態(tài)圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(⑶一 ROM、軟盤、硬盤等) 中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的動態(tài)圖像數(shù)據(jù)發(fā)送。此時的動態(tài)圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。
此外，也可以是，流介質服務器exl03是多個服務器或多個計算機，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。
如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠將用戶發(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權利或設備的用戶也能夠實現(xiàn)個人廣播。
另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖14所示，在數(shù)字廣播用系統(tǒng) ex200中也能夠裝入上述實施方式的至少動態(tài)圖像編碼裝置(圖像編碼裝置)或動態(tài)圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復用了音樂數(shù)據(jù)等而得到的復用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的動態(tài)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠對該電波進行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復用數(shù)據(jù)解碼并將其再現(xiàn)(S卩，作為本發(fā)明 的圖像解碼裝置發(fā)揮作用)。
此外，可以在將記錄在DVD、BD等的記錄介質ex215中的復用數(shù)據(jù)讀取并解碼、或將影像數(shù)據(jù)編碼再根據(jù)情況與音樂信號復用而寫入記錄介質ex215中的讀取器/記錄器 ex218中也能夠安裝上述各實施方式所示的動態(tài)圖像解碼裝置或動態(tài)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復用數(shù)據(jù)的記錄介質 ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以在連接在有線電視用的線纜 ex203或衛(wèi)星/地面波廣播的天線ex204上的機頂盒ex217內(nèi)安裝動態(tài)圖像解碼裝置，將其用電視機的監(jiān)視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內(nèi)裝入動態(tài)圖像解碼裝置。
圖15是表示使用在上述各實施方式中說明的動態(tài)圖像解碼方法及動態(tài)圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復用了聲音數(shù)據(jù)的復用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或將在信號處理不ex306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復用的復用/分離部ex303。
此外，電視機ex300具備具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或將各自的信息編碼的聲音信號處理部ex304和影像信號處理部ex305 (即，作為本發(fā)明的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機 ex300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機eX300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部 ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬盤等的外部記錄介質連接的驅動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經(jīng)由同步總線相互連接。
首先，對電視機ex300將通過天線ex204等從外部取得的復用數(shù)據(jù)解碼、再現(xiàn)的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復用數(shù)據(jù)用復用/分離部ex303分離。 進而，電視機ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質ex215、ex216讀出編碼的復用數(shù)據(jù)。接著, 對電視機ex300將聲音信號或影像信號編碼、向外部發(fā)送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復用/分離部ex303 復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結構。進而，在圖示以外，也可以在例如調(diào)制/解調(diào)部ex302或復用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。
此外，電視機ex300除了從廣播等或記錄介質等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數(shù)據(jù)進行編碼處理。另外，這里，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
此外，在由讀取器/記錄器ex218從記錄介質將復用數(shù)據(jù)讀出、或寫入的情況下， 上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
作為一例，將從光盤進行數(shù)據(jù)的讀入或寫入的情況下的信息再現(xiàn)/記錄部ex400 的結構表示在圖16中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、 ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402 電氣地驅動內(nèi)置在光頭ex401中的半導體激光器，根據(jù)記錄數(shù)據(jù)進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現(xiàn)的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406 —邊控制盤馬達ex405 的旋轉驅動一邊使光頭ex401移動到規(guī)定的信息軌道，進行激光斑的追蹤處理。系統(tǒng)控制部ex407進行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。
以上，假設光頭ex401照射激光斑而進行了說明，但也可以是使用接近場光進行高密度的記錄的結構。
在圖17中表示作為光盤的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、 外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質ex215的數(shù)據(jù)記錄區(qū)域ex233進行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。
以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現(xiàn)的構造的光盤。
此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星 ex202等接收數(shù)據(jù)、在車ex210具有的車載導航儀ex211等的顯示裝置上再現(xiàn)動態(tài)圖像。另外，車載導航儀ex211的結構可以考慮例如在圖15所示的結構中添加GPS接收部的結構， 在計算 機exlll及便攜電話exll4等中也可以考慮同樣的結構。
圖18A是表示使用在上述實施方式中說明的動態(tài)圖像解碼方法和動態(tài)圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話 exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部 ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、 錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質之間的接口部的插槽部ex364。
進而，使用圖18B對便攜電話exll4的結構例進行說明。便攜電話exll4對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部 ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (Liquid Crystal Display :液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。
電源電路部ex361如果通過用戶的操作使通話結束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態(tài)。
便攜電話exll4基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音信號后，將其經(jīng)由聲音輸出部ex357輸出。
進而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366 等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。 在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部 ex3580
在數(shù)據(jù)通信模式時，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的動態(tài)圖像編碼方法進行壓縮編碼(即，作為本發(fā)明的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復用/分離部ex353。另外,聲音信號處理部ex354對通過照相機部ex365拍攝影像、 靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數(shù)據(jù)送出至復用/分離部ex353。
復用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進行復用，將其結果得到的復用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施 數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。
在數(shù)據(jù)通信模式時接收到鏈接到主頁等的動態(tài)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復用數(shù)據(jù)進行解碼，復用/分離部ex353通過將復用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的動態(tài)圖像編碼方法相對應的動態(tài)圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發(fā)明的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的動態(tài)圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼，從聲音輸出部ex357輸出聲音。
此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3 種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設為發(fā)送、接收在影像數(shù)據(jù)中復用了音樂數(shù)據(jù)等得到的復用數(shù)據(jù)而進行了說明，但除聲音數(shù)據(jù)之外復用了與影像關聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。
這樣，將在上述各實施方式中表示的動態(tài)圖像編碼方法或動態(tài)圖像解碼方法用在上述哪種設備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
此外，本發(fā)明并不限定于這樣的上述實施方式，能夠不脫離本發(fā)明的范圍而進行各種變形或修正。
(實施方式4)
也可以通過將在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、與依據(jù) MPEG - 2、MPEG4 — AVC,VC 一 I等不同的標準的動態(tài)圖像編碼方法或裝置根據(jù)需要而適當切換,來生成影像數(shù)據(jù)。
這里，在生成分別依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應于各個標準的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個標準，所以產(chǎn)生不能選擇適當?shù)慕獯a方法的問題。
為了解決該問題，在影像數(shù)據(jù)中復用了聲音數(shù)據(jù)等的復用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復用數(shù)據(jù)的具體的結構。復用數(shù)據(jù)是 MPEG - 2傳輸流形式的數(shù)字流。
圖19是表示復用數(shù)據(jù)的結構的圖。如圖19所示，復用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置G UI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置、依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 I等標準的動態(tài)圖像編碼方法或裝置編碼。音頻流由杜比 AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。
包含在復用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF， 對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
圖20是示意地表示復用數(shù)據(jù)怎樣被復用的圖。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數(shù)據(jù)ex247通過將這些TS包復用到I條流中而構成。
圖21更詳細地表示在PES包序列中怎樣保存視頻流。圖21的第I段表示視頻流的視頻巾貞序列。第2段表示PES包序列。如圖21的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的 PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)
圖22表示最終寫入在復用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構成的188字節(jié)固定長度的包， 上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header,構成192字節(jié)的源包,寫入到復用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉送開始時刻。在復用數(shù)據(jù)中，源包如圖22下段所示排列，從復用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN (源包號)。
此外，在復用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有 PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program Clock Reference)等。PAT表示在復用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為 O。PMT具有復用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關于復用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock) 與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
圖23是詳細地說明PMT的數(shù)據(jù)構造的圖。在PMT的開頭，配置有記述了包含在該 PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關于復用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關于包含在復用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息 (幀速率、縱橫比等)的流描述符構成。流描述符存在復用數(shù)據(jù)中存在的流的數(shù)量。
在記錄到記錄介質等中的情況下，將上述復用數(shù)據(jù)與復用數(shù)據(jù)信息文件一起記錄。
復用數(shù)據(jù)信息文件如圖24所示，是復用數(shù)據(jù)的管理 信息，與復用數(shù)據(jù)一對一地對應，由復用數(shù)據(jù)信息、流屬性信息以及入口映射構成。
復用數(shù)據(jù)信息如圖24所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結束時刻構成。系統(tǒng)速率表示復用數(shù)據(jù)的向后述的系統(tǒng)目標解碼器的PID濾波器的最大轉送速率。包含在復用數(shù)據(jù)中的ATS的間隔設定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結束時刻設定為對復用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。
流屬性信息如圖25所示，按每個PID登記有關于包含在復用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
在本實施方式中，使用上述復用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數(shù)據(jù)的情況下，使用包含在復用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的動態(tài)圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結構，能夠識別通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標準的影像數(shù)據(jù)。
此外，在圖26中表示本實施方式的動態(tài)圖像解碼方法的步驟。在步驟exSlOO中， 從復用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復用數(shù)據(jù)信息中的視頻流屬性信息。 接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的復用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的動態(tài)圖像解碼方法進行解碼。此外， 在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的復用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的標準的動態(tài)圖像解碼方法進行解碼。
這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的動態(tài)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標準的復用數(shù)據(jù)的情況下，也能夠選擇適當?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進行解碼。此外，將在本實施方式中示出的動態(tài)圖像編碼方法或裝置、或者動態(tài)圖像解碼方法或裝置用在上述任何設備、系統(tǒng)中。
(實施方式5)
在上述各實施方式中示出的動態(tài)圖像編碼方法及裝置、動態(tài)圖像解碼方法及 裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖27中表示I芯片化的LSIex500 的結構。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、 ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。
例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器 ex503、流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509 從麥克風exll7及照相機exll3等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基于控制部ex501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當?shù)胤譃槎啻蔚龋蛐盘柼幚聿縠x507發(fā)送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或寫入到記錄介質ex215中。另外，在復用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。
另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內(nèi)部中的結構。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
此外，在上述中，假設控制部ex501具有CPUex502、存儲器控制器ex503、流控制器 ex504、驅動頻率控制部ex512等,但控制部ex501的結構并不限定于該結構。例如，也可以是信號處理部ex507還具備CPU的結構。通過在信號處理部ex507的內(nèi)部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結構。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結構。
另外，這里設為LSI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(super) LS1、特級(ultra)LSI的情況。
此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。 也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構LSI內(nèi)部的電路單元的連接及設定的可重構處理器。
進而，如果因半導體技術的進步或派生的其他技術而出現(xiàn)代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。
(實施方式6)
在將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標準的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據(jù)以往的標準的影像數(shù)據(jù)解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發(fā)生消耗電力變高的問題。
為了解決該問題，電視機ex300、LSIex500等的動態(tài)圖像解碼裝置采用識別 影像數(shù)據(jù)依據(jù)哪個標準、并根據(jù)標準切換驅動頻率的結構。圖28表示本實施方式的結構ex800。 驅動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的情況下，將驅動頻率設定得高。并且，對執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標準的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅動頻率設定得低。并且，對依據(jù)以往的標準的解碼處理部ex802指示將影像數(shù)據(jù)解碼。
更具體地講，驅動頻率切換部ex803由圖27的CPUex502和驅動頻率控制部ex512 構成。此外，執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標準的解碼處理部ex802對應于圖27的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標準。并且，基于來自CPUex502的信號，驅動頻率控制部ex512設定驅動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式4中記載的識別信息。關于識別信息，并不限定于在實施方式4中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個標準的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖30所示的將影像數(shù)據(jù)的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
圖29表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部 ex507中，從復用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟 exS202中，CPUex502向驅動頻率控制部ex512發(fā)送將驅動頻率設定得高的信號。并且，在驅動頻率控制部ex512中設定為高的驅動頻率。另一方面，在表示是依據(jù)以往的MPEG — 2、 MPEG4 - AVC,VC 一 I等的標準的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅動頻率控制部ex512發(fā)送將驅動頻率設定得低的信號。并且，在驅動頻率控制部ex512中，設定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅動頻率。
進而，通過與驅動頻率的切換連動而變更對LSIeX500或包括LSIeX500的裝置施加的電壓，由此能夠進一步提高節(jié)電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。
此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，并不限定于上述的設定方法。例如，可以考慮在將依據(jù)MPEG4 - AVC標準的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下， 與上述的情況相反地進行驅動頻率的設定。
進而，驅動頻率的設定方法并不限定于使驅動頻率低的結構。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據(jù)以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標準的影像數(shù)據(jù)的情況下，將對LSIex500或包括 LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使 CPUex502的驅動停止，在表示是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標準的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的動態(tài)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅動暫停。在此情況下，可以考慮與表示是 依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的影像數(shù)據(jù)的情況相比，將停止時間設定得短。
這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標準來切換驅動頻率，由此能夠實現(xiàn)節(jié)電化。此外， 在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。
(實施方式7)
在電視機、便攜電話等上述的設備、系統(tǒng)中，有時被輸入依據(jù)不同的標準的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下也能夠解碼， LSIex500的信號處理部ex507需要對應于多個標準。但是，如果單獨使用對應于各個標準的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。
為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的解碼處理部一部分共用的結構。圖31A的ex900表示該結構例。例如，在上述各實施方式中示出的動態(tài)圖像解碼方法和依據(jù)MPEG4 - AVC標準的動態(tài)圖像解碼方法在熵編碼、逆量化、解塊濾波器、 運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通?？梢钥紤]如下結構關于共通的處理內(nèi)容，共用對應于MPEG4 - AVC標準的解碼處理部ex902，關于不對應于MPEG4 — AVC標準的本發(fā)明的一個方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。特別是，本發(fā)明在運動補償方面具有特征，因此可以考慮例如對于運動補償使用專用的解碼處理部ex901，對于除此之外的熵編碼、解塊濾波、逆量化中的某一個或者全部的處理，共用解碼處理部。關于解碼處理部的共用，也可以是如下結構關于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的動態(tài)圖像解碼方法的解碼處理部，關于MPEG4 - AVC標準所特有的處理內(nèi)容， 使用專用的解碼處理部。
此外,用圖31B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內(nèi)容對應的專用的解碼處理部exl002、和與在本發(fā)明的一個方式的動態(tài)圖像解碼方法和其他的以往標準的動態(tài)圖像解碼方法中共通的處理內(nèi)容對應的共用的解碼處理部exl003的結構。這里,專用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個方式、或者其他的以往標準所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結構。此外，也能夠由LSIeX500安裝本實施方式的結構。
這樣，對于在本發(fā)明的一個方式的動態(tài)圖像解碼方法和以往的標準的動態(tài)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
工業(yè)實用性
有關本發(fā)明的圖像編碼方法及圖像解碼方法例如能夠在電視機、數(shù)字視頻記錄機、汽車導航儀、便攜電話、數(shù)字照相機或數(shù)字視頻攝像機等中使用。
符號說明
100圖像編碼裝置
101減法部
102正交變換部
103量化部
104可變長度編碼部
105、205 逆量化部
106,206逆正交變換部
107、207 加法部
108、208 塊存儲器
109、209 幀存儲器
110,210幀內(nèi)預測部
111,211幀間預測部
112,212 開關部
113圖片類型決定部
114、214幀間預測控制部
115,215參照圖片列表管理部
116、216追加判斷部
200圖像解碼裝置
204可變長度解碼部
權利要求
1.一種圖像編碼方法，使用第I運動矢量和第2運動矢量執(zhí)行預測，并將編碼對象塊編碼，該第I運動矢量指示第I參照圖片列表所包含的第I參照圖片內(nèi)的位置，該第2運動矢量指示第2參照圖片列表所包含的第2參照圖片內(nèi)的位置，上述圖像編碼方法包括追加步驟，向在上述第2運動矢量的編碼中使用的預測運動矢量的候選列表追加上述第I運動矢量作為上述預測運動矢量的候選；選擇步驟，從包含上述第I運動矢量的上述候選列表中，選擇在上述第2運動矢量的編碼中使用的上述預測運動矢量；以及編碼步驟，使用所選擇的上述預測運動矢量將上述第2運動矢量編碼。
2.如權利要求1所述的圖像編碼方法，在上述追加步驟中，在上述第I參照圖片和上述第2參照圖片相同的情況下，向上述候選列表追加上述第I運動矢量。
3.如權利要求1或2所述的圖像編碼方法，在上述選擇步驟中，選擇上述候選列表所包含的多個候選中的、相對于上述第2運動矢量的誤差最小的候選作為上述預測運動矢量。
4.如權利要求1 3中任一項所述的圖像編碼方法，在上述追加步驟中，向上述候選列表追加通過運動檢測而檢測出的上述第I運動矢量。
5.如權利要求1 4中任一項所述的圖像編碼方法，在上述追加步驟中，以多個索引值與上述預測運動矢量的多個候選一對一地對應的方式向上述候選列表追加索引值和上述預測運動矢量的候選；在上述選擇步驟中，從上述候選列表中選擇索引值作為上述預測運動矢量；在上述編碼步驟中，還以索引值越大則碼長越長的方式將所選擇的上述索引值編碼。
6.如權利要求1 5中任一項所述的圖像編碼方法，在上述追加步驟中，向上述候選列表追加上述編碼對象塊的左鄰的塊的運動矢量、上述編碼對象塊的上鄰的塊的運動矢量、以及上述編碼對象塊的右上鄰的塊的運動矢量，作為上述預測運動矢量的候選。
7.一種圖像解碼方法，使用第I運動矢量和第2運動矢量執(zhí)行預測，并將解碼對象塊解碼，該第I運動矢量指示第I參照圖片列表所包含的第I參照圖片內(nèi)的位置，該第2運動矢量指示第2參照圖片列表所包含的第2參照圖片內(nèi)的位置，上述圖像解碼方法包括追加步驟，向在上述第2運動矢量的解碼中使用的預測運動矢量的候選列表追加上述第I運動矢量作為上述預測運動矢量的候選；選擇步驟，從包含上述第I運動矢量的上述候選列表中選擇在上述第2運動矢量的解碼中使用的上述預測運動矢量；以及解碼步驟，使用所選擇的上述預測運動矢量將上述第2運動矢量解碼。
8.如權利要求7所述的圖像解碼方法，在上述追加步驟中，在上述第I參照圖片與上述第2參照圖片相同的情況下，向上述候選列表追加上述第I運動矢量。
9.如權利要求7或8所述的圖像解碼方法，在上述追加步驟中，對上述候選列表追加通過運動檢測而檢測出的上述第I運動矢量。
10.如權利要求7 9中任一項所述的圖像解碼方法，在上述追加步驟中，以多個索引值與上述預測運動矢量的多個候選一對一地對應的方式向上述候選列表追加索引值和上述預測運動矢量的候選；在上述解碼步驟中，還將以索引值越大則碼長越長的方式編碼后的索引值解碼； 上述選擇步驟從上述候選列表中選擇與解碼后的上述索引值對應的上述預測運動矢量。
11.如權利要求7 9中任一項所述的圖像解碼方法，在上述追加步驟中，向上述候選列表追加上述解碼對象塊的左鄰的塊的運動矢量、上述解碼對象塊的上鄰的塊的運動矢量、以及上述解碼對象塊的右上鄰的塊的運動矢量，作為上述預測運動矢量的候選。
全文摘要
提供一種導出適合于運動矢量的編碼效率的提高的預測運動矢量的圖像編碼方法。圖像編碼方法使用第1運動矢量和第2運動矢量執(zhí)行預測，并將編碼對象塊編碼，該第1運動矢量指示第1參照圖片列表所包含的第1參照圖片內(nèi)的位置，該第2運動矢量指示第2參照圖片列表所包含的第2參照圖片內(nèi)的位置，該圖像編碼方法包括追加步驟，對在第2運動矢量的編碼中使用的預測運動矢量的候選列表追加第1運動矢量作為預測運動矢量的候選；選擇步驟，從包含第1運動矢量的候選列表中，選擇在第2運動矢量的編碼中使用的預測運動矢量；以及編碼步驟，使用所選擇的預測運動矢量將第2運動矢量編碼。
文檔編號H04N7/32GK103004204SQ20118003507
公開日2013年3月27日 申請日期2011年12月27日 優(yōu)先權日2010年12月27日
發(fā)明者杉尾敏康, 西孝啟, 柴原陽司, 笹井壽郎 申請人:松下電器產(chǎn)業(yè)株式會社