圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置制造方法
【專利摘要】有關(guān)本發(fā)明的一形態(tài)的圖像解碼方法包括：上下文控制步驟（S204），在多個上下文中決定對處理對象塊使用的上下文；算術(shù)解碼步驟（S210），對與上述處理對象塊對應(yīng)的比特序列使用所決定的上述上下文進行算術(shù)解碼；在上述上下文控制步驟（S204）中，在上述控制參數(shù)的信號種類是第1種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的控制參數(shù)的條件決定上述上下文（S206），在上述控制參數(shù)的信號種類是第2種類的情況下，使用不利用上述上塊的控制參數(shù)的條件決定上述上下文（S207）。
【專利說明】圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置，特別涉及使用算術(shù)編碼或算術(shù)解碼的圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置?！颈尘凹夹g(shù)】
[0002]自然圖像的圖像信號具有統(tǒng)計上的波動，該波動呈變動性的特性。在利用統(tǒng)計上的波動的變動性的熵編碼方式之一中，有Context-Based Adaptive Binary ArithmeticCoding (CABAC，基于上下文的自適應(yīng)二進制算術(shù)編碼)(參照非專利文獻I)。該CABAC方式在 ITU-T/ISOIEC standard for video coding，H.264/AVC 方式中被米用。
[0003]以下，說明在CABAC方式中使用的用語的意義。
[0004](I) "Context-Based Adaptive"(基于上下文的自適應(yīng)),是使編碼及解碼方法自適應(yīng)于統(tǒng)計性波動的變動。即，"Context-Based Adaptive"也可以說是在將某個碼元編碼或解碼的情況下，匹配于周圍的條件的發(fā)生事件作為該碼元的發(fā)生概率而預(yù)測適當?shù)母怕?。例如，在編碼中，在決定某個碼元S的各值的發(fā)生概率p (X)的情況下，使用以實際發(fā)生的事件或事件的列F (z)為條件的帶條件的發(fā)生概率。
[0005](2) "Binary" (二進制)是指將碼元用二進制排列表現(xiàn)。關(guān)于用多值表示的碼元，一次變形為稱作bin string的二值排列。并且對于各個排列要素，一邊切換使用預(yù)測概率(條件概率)，一邊將發(fā)生了兩個值的事件的哪個進行比特序列化。由此，能夠用比信號種類的單位更詳細的單位(二進制數(shù)要素單位)對值的概率進行管理(初始化及更新)(參照非專利文獻I的圖2等)。
[0006](3)所謂"arithmetic"(算術(shù))，是指上述的比特序列生成處理不是通過表的對應(yīng)、而是通過計算輸出。在使用H.263、MPEG-4及H.264中的可變長代碼表的編碼方式中，即使是具有發(fā)生概率比0.5 (50%)高的發(fā)生概率的碼元，也需要使碼元能夠取的各個值對應(yīng)于I個二進制數(shù)列(比特序列)。由此，關(guān)于概率最高的值，也最短必須使I個比特與I個碼元建立對應(yīng)。相對于此，算術(shù)編碼能夠?qū)⑹录妮^高的概率下的發(fā)生用整數(shù)值I比特以下表現(xiàn)。例如，有第I個二進制數(shù)的值為“0”的發(fā)生概率超過0.9 (90%)那樣的信號種類，在作為事件而第I個二進制數(shù)的值連續(xù)N次是“0”的情況下，不再需要對各個值“0”將I比特的數(shù)據(jù)輸出N次。
[0007]現(xiàn)有技術(shù)文獻
[0008]非專利文獻
[0009]非專利文獻1:Detlev Marpe, et.al., "Context-Based Adaptive BinaryArithmetic Coding in the H.264/AVC Video Compression Standard^, IEEE Transactionon circuits and systems for video technology, Vol.13, N0.7, July2003.[0010]非專利文獻2:Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG114th Meeting:Daegu, KR, 20-28January, 2011^2:1orking Draft2of High-Efficiency Video Coding〃JCTVC_D503http://wftp3.1tu.1nt/av-arch/jctvc-site/2011_0l_D_Daegu/JCTVC-D503.doc
[0011]非專利文獻3:Joint Collaborative Team on Video Coding (JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG114th Meeting:Daegu, KR, 20-28January, 2011，"Common test conditions and software reference configurations", JCTVC-E700
[0012]非專利文獻4:Gisle Bjontegaard, “Improvements of the BD-PSNRmodel, "ITU-T SG16Q.6Document, VCEG-AI11, Berlin, July2008
發(fā)明概要
[0013]發(fā)明要解決的問題
[0014]但是，在這樣的圖像編碼方法及圖像解碼方法中，希望存儲器使用量(使用的存儲器容量)的減少。
[0015]
【發(fā)明內(nèi)容】

[0016]所以，本發(fā)明的目的是提供一種能夠削減存儲器使用量的圖像編碼方法或圖像解碼方法。
[0017]用于解決問題的手段
[0018]為了達成上述目的，本發(fā)明的一個形態(tài)的圖像解碼方法，是使用算術(shù)解碼的圖像解碼方法，包括以下步驟:上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術(shù)解碼步驟，將通過對 控制參數(shù)進行算術(shù)編碼而得到的、與上述處理對象塊對應(yīng)的比特序列使用所決定的上述上下文進行算術(shù)解碼，由此將二值排列復(fù)原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數(shù)復(fù)原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數(shù)的信號種類，在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數(shù)的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數(shù)的第2條件，決定上述上下文。
[0019]發(fā)明效果
[0020]本發(fā)明能夠提供能削減存儲器使用量的圖像編碼方法或圖像解碼方法。
【專利附圖】

【附圖說明】
[0021]圖1是有關(guān)本發(fā)明的實施方式I的圖像編碼裝置的功能框圖。
[0022]圖2是有關(guān)本發(fā)明的實施方式I的可變長編碼部的功能框圖。
[0023]圖3是關(guān)于有關(guān)本發(fā)明的實施方式I的控制參數(shù)的上下文模型的表。
[0024]圖4是表示有關(guān)本發(fā)明的實施方式I的算術(shù)編碼方法的流程圖。
[0025]圖5是有關(guān)本發(fā)明的實施方式2的圖像解碼裝置的功能框圖。
[0026]圖6是有關(guān)本發(fā)明的實施方式2的可變長解碼部的功能框圖。
[0027]圖7是表示有關(guān)本發(fā)明的實施方式2的算術(shù)解碼方法的流程圖。
[0028]圖8是表示有關(guān)本發(fā)明的實施方式2的算術(shù)解碼方法的變形例的流程圖。
[0029]圖9是表示有關(guān)本發(fā)明的實施方式2的HEVC的分割塊(樹構(gòu)造)的圖。[0030]圖10是用來說明有關(guān)本發(fā)明的實施方式2的多層級塊構(gòu)造的圖。
[0031]圖11是表示有關(guān)本發(fā)明的實施方式3的split_coding_unit_flag的算術(shù)解碼方法的表。
[0032]圖12A是表示有關(guān)本發(fā)明的實施方式3的關(guān)于split_coding_unit_flag的驗證結(jié)果的表。
[0033]圖12B是表示有關(guān)本發(fā)明的實施方式3的關(guān)于split_coding_unit_flag的驗證結(jié)果的表。
[0034]圖13是表示有關(guān)本發(fā)明的實施方式3的skip_flag的算術(shù)解碼方法的表。
[0035]圖14A是表示有關(guān)本發(fā)明的實施方式3的關(guān)于skip_flag的驗證結(jié)果的表。
[0036]圖14B是表不有關(guān)本發(fā)明的實施方式3的關(guān)于skip_flag的驗證結(jié)果的表。
[0037]圖15是表示有關(guān)本發(fā)明的實施方式3的merge_flag的算術(shù)解碼方法的表。
[0038]圖16A是表示有關(guān)本發(fā)明的實施方式3的關(guān)于merge_flag的驗證結(jié)果的表。
[0039]圖16B是表示有關(guān)本發(fā)明的實施方式3的關(guān)于merge_flag的驗證結(jié)果的表。
[0040]圖17是用來說明有關(guān)本發(fā)明的實施方式的、利用鄰接兩塊的對應(yīng)的控制參數(shù)的值的上下文模型的圖。
[0041]圖18是用來說明有關(guān)本發(fā)明的實施方式的、利用上塊的情況下的存儲器使用量的增加的圖。
[0042]圖19是實現(xiàn)內(nèi)容分發(fā)服務(wù)的`內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0043]圖20是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0044]圖21是表示電視機的結(jié)構(gòu)例的模塊圖。
[0045]圖22是表示對作為光盤的記錄介質(zhì)進行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0046]圖23是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0047]圖24A是表示便攜電話的一例的圖。
[0048]圖24B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0049]圖25是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0050]圖26是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0051]圖27是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
[0052]圖28是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0053]圖29是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0054]圖30是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0055]圖31是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0056]圖32是表示識別影像數(shù)據(jù)的步驟的圖。
[0057]圖33是表示實現(xiàn)各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0058]圖34是表示切換驅(qū)動頻率的結(jié)構(gòu)的圖。
[0059]圖35是表示識別影像數(shù)據(jù)、切換驅(qū)動頻率的步驟的圖。
[0060]圖36是表示將影像數(shù)據(jù)的標準與驅(qū)動頻率建立了對應(yīng)的查找表的一例的圖。
[0061]圖37A是表示將信號處理部的模塊共用的結(jié)構(gòu)的一例的圖。[0062]圖37B是表示將信號處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實施方式】
[0063](作為本發(fā)明的基礎(chǔ)的認識)
[0064]本發(fā)明人發(fā)現(xiàn)，會發(fā)生以下的問題。
[0065]這里，在作為下一代編碼方式的High-Efficiency Video Coding (HEVC)中，關(guān)于各種控制參數(shù)的編碼及解碼中的上下文模型的研究也正在進展(非專利文獻2)。所謂控制參數(shù)，是指包含在編碼比特流中、在編碼處理或解碼處理中使用的參數(shù)(標志等)，具體而言，是 syntax element。
[0066]所謂上下文模型，是表示(I)對怎樣的單位(多值、二進制數(shù)值、或二進制數(shù)排列(bin string)的各個要素)的信號、(2)考慮怎樣的條件(Condition)的信息。這里，所謂怎樣的條件，是應(yīng)用怎樣的條件的要素數(shù)的條件、或者作為條件考慮的控制參數(shù)的信號種類最好是什么。將該條件越詳細地區(qū)分，即，越是增加條件數(shù)T (the number ofconditions),與I個條件對應(yīng)的次數(shù)越減少。結(jié)果，通過每個條件的學(xué)習(xí)次數(shù)減少，概率的預(yù)測的精度下降(例如，參照非專 利文獻I的"dilution effect")。
[0067]此外,越是減少條件數(shù),越是不考慮上下文(周圍的條件)，越不追隨于(adaptive)統(tǒng)計性變動。
[0068]在上下文的模型設(shè)計中決定模型的設(shè)計方針后，需要通過進行圖像內(nèi)容的統(tǒng)計性波動的驗證、或控制圖像的編碼及解碼的控制參數(shù)的統(tǒng)計性波動的驗證等的為圖像而特殊化的驗證來考慮其妥當性。
[0069]在H.264中，將在碼元的編碼中使用限定的數(shù)量的事前事件作為規(guī)則的規(guī)范，并將上下文模型類型化為4個基本的類型(basic design types)。
[0070]第I及第2類型關(guān)于控制參數(shù)的編碼及解碼。
[0071]第I類型的上下文模型使用以兩個為上限(up to two)的鄰接的已編碼的值(參照非專利文獻I)。鄰接的兩個已編碼的值的定義依存于控制參數(shù)的各個信號種類，但通常使用在左及上鄰接的塊中包含的對應(yīng)的控制參數(shù)的值。
[0072]第2上下文模型的類型是作為發(fā)生概率而基于二進制數(shù)樹決定上下文的類型。具體而言，應(yīng)用到控制參數(shù)mb_type及sub_mb_type中。
[0073]第3及第4類型關(guān)于圖像數(shù)據(jù)等的殘差值(residual data)的編碼及解碼。在第3類型中，根據(jù)頻率系數(shù)(或量化系數(shù))的掃描的順序，僅利用過去編碼或解碼的值。在第4類型中，根據(jù)解碼并累積的值(水平(level)值)決定上下文。
[0074]上述第I類型等的、H.264的概率轉(zhuǎn)移(probability transition)模型的設(shè)計方針及安裝方法被較長地驗證了效果，研究正在進展，以使得也應(yīng)用到目前研究中的ffiVC中(參照非專利文獻2)。例如正在研究將第I類型(使用相鄰語法元素(using neighbouringsyntax elements)的上下文模型)用在控制參數(shù) alf_cu_f lag、split_coding_unit_f lag、skip_flag、merge_flag、intra—chroma—pred—mode、inter—pred—flag、ref—idx—lc、ref—idx_10、ref—idx_ll、mvd—10、mvd—11、mvd—lc、no—residual_data—flag、cbf—luma、cbf—cb及cbf_cr中(參照非專利文獻2的9.3.3.1.1節(jié))。
[0075]但是，關(guān)于利用該第I類型“利用鄰接兩塊的上下文模型”的編碼，本發(fā)明人發(fā)現(xiàn)，關(guān)于其存儲器使用量存在以下的問題。
[0076]圖17是用來說明利用鄰接兩塊的對應(yīng)的控制參數(shù)的值的上下文模型的圖。此外，圖17表示H.264中的利用鄰接塊的上下文模型。
[0077]圖中的塊C包括作為當前(Current)的編碼或解碼對象的控制參數(shù)SE的值。在將該SE的值編碼的情況下，利用在已經(jīng)編碼的上塊A及左塊B中包含的同種控制參數(shù)SE的值。具體而言，使用以上塊A的控制參數(shù)SE的值和左塊B的控制參數(shù)SE的值為條件的條件概率P (x (condition A (上塊的值)且condition B (左塊的值)))預(yù)測塊C的控制參數(shù)SE (或控制參數(shù)SE的bin string的第I個二進制數(shù))的值x是“I”還是“0”的概率p
(X)0
[0078]圖18是用來說明利用上塊的情況下的存儲器使用量的增加的圖。
[0079]圖中的(xP,yP)表示包含塊C的Prediction Unit (PU:運動預(yù)測單位)的左上像素位置。這里，塊C是包括當前的編碼對象的控制參數(shù)(例如skip_flag)的塊。此外，圖中的(xP, yA)表示作為condition A (上塊的控制參數(shù)skip_f lag的值)使用的、塊B中包含的像素位置。圖中(xL, yP)表示作為condition B (左塊的控制參數(shù)skip_flag的值)使用的、塊A中包含的像素位置。
[0080]在此情況下，為了將塊C的控制參數(shù)skip_f lag的值編碼或解碼，編碼或解碼裝置需要保持與上塊B中包含的(xP，yA)的位置對應(yīng)的I3U的skip_flag的值(或條件的判斷結(jié)果)、和與左塊A中包含的(xL，yP)的位置對應(yīng)的I3U的skip_flag的值(或條件的判斷結(jié)果)。這里，如果設(shè)該圖片的橫寬是4096像素，則為了 I個控制參數(shù)skip_flag的編碼，需要保持上塊行(圖18所示的Line L)中包含的全部的判斷值。即，為了 I個控制參數(shù)，需要4096像素+塊尺寸的存儲器容量。
[0081]這里，編碼對象的塊C的塊尺寸`是可變的，例如是64X64、16X 16或4X4等。此外，在包含(xP，yA)的上方的行(Line L)中包含的塊的編碼或解碼時，在之后編碼或解碼的塊C的塊尺寸不能預(yù)測。這是因為，編碼或解碼裝置在上方的行(包含塊A的行)的編碼或解碼的時點，不知道其之下的行(包含塊C的行)的各塊的尺寸。因而，編碼或解碼裝置設(shè)想作為下方的行的塊尺寸而使用應(yīng)用該控制參數(shù)的塊尺寸中的最小的塊尺寸的情況，必須按照每個該最小的塊尺寸保持控制參數(shù)的值(或判斷值)。另外，圖18的黑圈的位置表示實際在下方的行(包含塊C的行)的編碼或解碼中盡管不需要該條件值但必須保持的條件。
[0082]進而，圖18所示的鄰接兩塊(左塊A和上塊B)表示H.264時點的鄰接塊的概念，沒有導(dǎo)入新的層級塊分割的觀點。如后述那樣，對適應(yīng)于計劃用ffiVC導(dǎo)入的遞歸4分塊分割樹構(gòu)造(quad tree partitioning)的控制參數(shù),根據(jù)遞歸的執(zhí)行順序、層級深度或塊的位置，有由圖18表示的參照的條件值沒有意義的情況。
[0083]這樣，本發(fā)明人發(fā)現(xiàn)，通過在控制參數(shù)的算術(shù)編碼或解碼中利用上塊的條件值，存儲器使用量增加。進而，本發(fā)明人發(fā)現(xiàn)，在HEVC中，該存儲器使用量進一步增加。
[0084]對此，本發(fā)明的一個形態(tài)的圖像解碼方法，是使用算術(shù)解碼的圖像解碼方法，包括以下步驟:上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術(shù)解碼步驟，將通過對控制參數(shù)進行算術(shù)編碼而得到的、與上述處理對象塊對應(yīng)的比特序列使用所決定的上述上下文進行算術(shù)解碼，由此將二值排列復(fù)原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數(shù)復(fù)原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數(shù)的信號種類，在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數(shù)的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數(shù)的第2條件，決定上述上下文。
[0085]據(jù)此，該圖像解碼方法能夠削減存儲器使用量。具體而言，該圖像解碼方法由于對第2種類的控制參數(shù)不使用上塊的控制參數(shù)，所以不需要保持上塊的第2種類的控制參數(shù)。由此，該圖像解碼方法與統(tǒng)一地作為“利用基于鄰接塊的控制參數(shù)的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。
[0086]此外，該圖像解碼方法能夠進行在現(xiàn)有的H.264中沒有考慮的、適合于新的HEVC特有的數(shù)據(jù)構(gòu)造的層級樹構(gòu)造的上下文的利用或存儲器參照。
[0087]此外，也可以是，上述第2條件是既不利用上述上塊的已解碼的控制參數(shù)也不利用上述左塊的已解碼的控制參數(shù)的條件。
[0088]據(jù)此，該圖像解碼方法通過不僅不使用上塊而且也不使用左塊的控制參數(shù)，能夠進一步削減存儲器使用量。
[0089]此外，也可以是，在上述上下文控制步驟中，在上述信號種類是上述第2種類的情況下，作為上述第2條件，將預(yù)先設(shè)定的上下文決定為在上述對象塊的算術(shù)解碼中使用的上下文。
[0090]據(jù)此，該圖像解碼方法能夠降低處理量。
[0091]此外，也可以是 ，在上述信號種類是上述第2種類的情況下，作為上述第2條件，根據(jù)上述處理對象塊的控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度決定上述上下文。
[0092]據(jù)此，該圖像解碼方法能夠在削減存儲器使用量的同時選擇適當?shù)纳舷挛摹?br> [0093]此外，也可以是，在上述上下文控制步驟中，還基于上述處理對象塊的位置，判斷在解碼時是否能夠利用上述上塊的控制參數(shù)；在不能利用上述上塊的控制參數(shù)的情況下，使用上述第2條件決定上述上下文。
[0094]據(jù)此，該圖像解碼方法能夠降低處理量。
[0095]此外，也可以是，在上述上下文控制步驟中，在上述處理對象塊屬于切片(slice)邊界的情況下，判斷為在解碼時不能利用上述上塊的控制參數(shù)。
[0096]此外，也可以是，在上述上下文控制步驟中，根據(jù)上述處理對象塊的控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度判斷在解碼時是否能夠利用上述上塊的控制參數(shù)。
[0097]此外，也可以是，上述第2種類是具有預(yù)先設(shè)定的數(shù)據(jù)構(gòu)造的控制參數(shù)。
[0098]此外，也可以是，在上述上下文控制步驟中，還基于第I單位的控制參數(shù)的值，針對比上述第I單位小的第2單位的控制參數(shù)，切換是使用上述第I條件決定上述上下文、還是使用上述第2條件決定上下文。
[0099]此外，也可以是，上述第I種類是〃split_coding_unit_flag(分割編碼單元標志)〃或〃skip_flag(跳過標志)〃,上述第2種類是〃merge_flag(合并標志)〃。
[0100]據(jù)此，該圖像編碼方法能夠不損害圖像的BD-rate值評價等而適當?shù)叵鳒p第2種類的控制參數(shù)的存儲器使用量。
[0101]此外，也可以是,上述〃split_coding_unit_flag〃表示上述處理對象塊是否被分割為多個塊，上述〃skip_flag〃表示是否跳過上述處理對象塊，上述〃merge_flag〃表示是否對上述處理對象塊使用合并模式。
[0102]此外，也可以是，上述圖像解碼方法根據(jù)編碼信號中包含的、表示第I標準或第2標準的識別符，對依據(jù)上述第I標準的解碼處理與依據(jù)上述第2標準的解碼處理進行切換；在上述ID表示第I標準的情況下，作為依據(jù)上述第I標準的解碼處理，進行上述上下文控制步驟、上述算術(shù)解碼步驟和上述多值化步驟。
[0103]此外，有關(guān)本發(fā)明的一個形態(tài)的圖像編碼方法，使用算術(shù)編碼，包括以下步驟:二值化步驟，通過將處理對象塊的控制參數(shù)二值化，生成二值排列；上下文控制步驟，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術(shù)編碼步驟，通過使用所決定的上述上下文對上述二值排列進行算術(shù)編碼，生成比特序列；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數(shù)的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的控制參數(shù)的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數(shù)的第2條件，決定上述上下文。
[0104]據(jù)此，該圖像編碼方法能夠削減存儲器使用量。具體而言，該圖像編碼方法由于對第2種類的控制參數(shù)不使用上塊的控制參數(shù)，所以不需要保持上塊的第2種類的控制參數(shù)。由此，該圖像編碼方法與統(tǒng)一地作為“利用基于鄰接塊的控制參數(shù)的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。
[0105]此外，該圖像編碼方法能夠進行在現(xiàn)有的H.264中沒有考慮的、適合于新的HEVC特有的數(shù)據(jù)構(gòu)造的層級樹構(gòu)造的上下文的利用或存儲器參照。
[0106]此外，有關(guān)本發(fā)明的一個形態(tài)的圖像解碼裝置，使用算術(shù)解碼，包括:上下文控制部，在多個上下文中決定在 處理對象塊的算術(shù)解碼中使用的上下文；算術(shù)解碼部，將通過對控制參數(shù)進行算術(shù)編碼而得到的、與上述處理對象塊對應(yīng)的比特序列使用所決定的上述上下文進行算術(shù)解碼，由此將二值排列復(fù)原；以及多值化部，通過將上述二值排列多值化，將上述控制參數(shù)復(fù)原；上述上下文控制部，判斷上述處理對象塊的控制參數(shù)的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數(shù)的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數(shù)的第2條件，決定上述上下文。
[0107]據(jù)此，該圖像解碼裝置能夠削減存儲器使用量。
[0108]此外，有關(guān)本發(fā)明的一個形態(tài)的圖像編碼裝置，使用算術(shù)編碼，包括:二值化部，通過將處理對象塊的控制參數(shù)二值化，生成二值排列；上下文控制部，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術(shù)編碼部，通過使用所決定的上述上下文對上述二值排列進行算術(shù)編碼，生成比特序列；上述上下文控制部，判斷上述處理對象塊的控制參數(shù)的信號種類；在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的控制參數(shù)的第I條件，決定上述上下文；在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數(shù)的第2條件，決定上述上下文。
[0109]據(jù)此，該圖像編碼裝置能夠削減存儲器使用量。
[0110]此外，有關(guān)本發(fā)明的一個形態(tài)的圖像編碼解碼裝置包括上述圖像解碼裝置和上述圖像編碼裝置。
[0111]另外，這些總括性或具體的形態(tài)也可以通過系統(tǒng)、方法、集成電路、計算機程序或記錄介質(zhì)實現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計算機程序及記錄介質(zhì)的任意的組合實現(xiàn)。
[0112]以下，參照附圖對有關(guān)本發(fā)明的一形態(tài)的圖像解碼裝置及圖像編碼裝置具體地說明。
[0113]另外，以下說明的實施方式都是表示本發(fā)明的一具體例的。在以下的實施方式中表示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，不是限定本發(fā)明的意思。此外，關(guān)于以下的實施方式的構(gòu)成要素中的、在表示最上位概念的獨立權(quán)利要求中沒有記載的構(gòu)成要素，設(shè)為任意的構(gòu)成要素進行說明。
[0114](實施方式I)
[0115]以下，對有關(guān)本發(fā)明的實施方式I的圖像編碼裝置進行說明。有關(guān)本發(fā)明的實施方式I的圖像編碼裝置在算術(shù)編碼中根據(jù)控制參數(shù)的信號種類，切換(I)利用上塊決定上下文、還是(2)不利用上塊決定上下文。由此，能夠在抑制畫質(zhì)的劣化的同時削減存儲器使用量。
[0116]首先，說明有關(guān)本發(fā)明的實施方式I的圖像編碼裝置的結(jié)構(gòu)。
[0117]圖1是有關(guān)本實施方式的圖像編碼裝置100的框圖。
[0118]圖1所示的圖像編碼裝置100是使用算術(shù)編碼的圖像編碼裝置，通過將輸入圖像信號121編碼而生成比特流124。該圖像編碼裝置100包括控制部101、差分部102、變換及量化部103、可變長編碼部104、逆量化及逆變換部105、加法部106、畫面內(nèi)預(yù)測部107、畫面間預(yù)測部108和開關(guān)109。
[0119]控制部101基于編碼對象的輸入圖像信號121計算控制參數(shù)130。例如，控制參數(shù)130包括表示編碼對象的輸入圖像信號121的圖片類型的信息、編碼對象塊的運動預(yù)測單位(Prediction Unit PU)的尺寸及運動預(yù)測單位的控制信息等。這里,控制參數(shù)130(Control data)其自身為編碼對象。由此，控制部101將該控制參數(shù)130向可變長編碼部104輸出。
[0120]差分部102計算作為塊單位的輸入圖像信號121與預(yù)測圖像信號129的差值(殘差值)的殘差號122。
[0121]變換及量化部103將殘差信號122變換為頻率系數(shù)值，通過將得到的頻率系數(shù)值量化，生成量化變換系數(shù)123 (residual data)。
[0122]逆量化及逆變換部105將量化變換系數(shù)123逆量化為頻率系數(shù)值，通過將得到的頻率系數(shù)值逆變換，生成復(fù)原的殘差信號125。
[0123]加法部106通過將殘差信號125與預(yù)測圖像信號129相加，輸出復(fù)原圖像信號126。
[0124]畫面內(nèi)預(yù)測部107通過使用復(fù)原圖像信號126進行畫面內(nèi)預(yù)測處理而生成預(yù)測圖像信號127。畫面間預(yù)測部108通過使用復(fù)原圖像信號126進行畫面間預(yù)測處理而生成預(yù)測圖像信號128。
[0125]開關(guān)109選擇預(yù)測圖像信號127及預(yù)測圖像信號128的一方，將所選擇的信號作為預(yù)測圖像信號129輸出。[0126]可變長編碼部104通過將輸入的各塊的量化變換系數(shù)123及控制參數(shù)130使用上述的CABAC編碼而生成比特流124。
[0127]接著，說明可變長編碼部104的結(jié)構(gòu)。
[0128]圖2是可變長編碼部104的功能框圖?？勺冮L編碼部104包括二值化部141、上下文控制部142和二值算術(shù)編碼部143。以下，對控制參數(shù)130的可變長編碼處理進行說明。另外，關(guān)于量化變換系數(shù)123的可變長編碼處理省略說明，例如可以使用已知的技術(shù)實現(xiàn)。
[0129]二值化部141通過將控制參數(shù)130 二值化，生成二值排列151。具體而言，二值化部141是執(zhí)行非專利文獻I中的I1.1) binarizaion處理的處理部。該二值化部141將控制參數(shù)130通過按照每個信號種類事前設(shè)定的二值化處理方法變換為稱作bin string的二值排列151。另外，關(guān)于信號種類與二值化處理方法的對應(yīng)在后面敘述。此外，二值化部141在輸入的控制參數(shù)130是flag等的I個二進制數(shù)值的情況下，將該控制參數(shù)130原樣作為二值排列151輸出。
[0130]上下文控制部142在多個上下文(概率狀態(tài)表)中，決定在包含于處理對象的塊中的控制參數(shù)130的算術(shù)編碼中使用的上下文。此外，上下文控制部142將指定所決定的上下文的上下文索引152向二值算術(shù)編碼部143輸出。
[0131]具體而言,上下文控制部142是執(zhí)行非專利文獻I中的2)context modeling處理的處理部。對于該上下文控制部142，依次輸入在二值算術(shù)編碼部143輸出的二值排列151中包含的多個要素。上下文控制部142根據(jù)控制參數(shù)130的信號種類和該二進制數(shù)的二值排列151中的要素位置，在多個上下文中選擇在該二進制數(shù)中使用的上下文，將表示所選擇的上下文的索引即上下文索引152向二值算術(shù)編碼部143輸出。
[0132]此外，上下文控制部142作為上下文的狀態(tài)而保持著將控制參數(shù)130的二值排列的各個要素進一步詳細區(qū)分化為條件概率的條件的數(shù)量(所謂的上下文索引數(shù))的概率狀態(tài)表，將該概率狀態(tài)表初始化及更新。
`[0133]此外，上下文控制部142作為按照每個信號種類(在二值排列的要素數(shù)是2以上的情況下，是控制參數(shù)130的二值排列的每個要素號碼。以下相同)更加詳細區(qū)分而保持每個發(fā)生條件T (每個上下文)的狀態(tài)(probability state index:概率狀態(tài)索引)。該狀態(tài)是“0”或“I”的二值中的概率較低一方的發(fā)生概率P (內(nèi)分比率:典型地是6比特的值)、與概率較高一方是哪個的值(I比特)的合計7比特值。此外，所謂保持狀態(tài)，是初始化及更新。例如，所謂更新處理，與H264同樣，是64個有限的狀態(tài)間的轉(zhuǎn)變，是將現(xiàn)在處于哪個概率狀態(tài)probability state (即哪個概率)的indexing變更。
[0134]具體而言，上下文控制部142在二值中的概率較高的most probable側(cè)的事件X發(fā)生的情況下，使作為most probable側(cè)的概率的比例稍稍增加。例如，上下文控制部142通過使與64個表對應(yīng)的概率索引(probability state index)的值增減I,能夠使作為mostprobable側(cè)的概率的比例稍稍增加。另一方面，在(與預(yù)測的概率相反)而概率較低的事件not X發(fā)生的情況下，上下文控制部142使保持的most probable的概率的比例變大，基于規(guī)定的縮放系數(shù)a (例如N()，95)減少(參照非專利文獻1，圖6)。本實施方式的上下文控制部142與H.264同樣，基于建立了對應(yīng)的表索引變更值使狀態(tài)轉(zhuǎn)變并保持，以便對應(yīng)于考慮到該a的變更。
[0135]二值算術(shù)編碼部143通過使用由上下文控制部142決定的上下文將二值排列151算術(shù)編碼，生成比特流124 (比特序列)。
[0136]具體而言，二值算術(shù)編碼部143是執(zhí)行非專利文獻I的3) binary arithmeticcoding處理的處理部。該二值算術(shù)編碼部143通過使用由上下文索引152指定的上下文將二值排列151算術(shù)編碼，從而生成比特流124。這里，所謂算術(shù)編碼，是指將關(guān)于各種信號種類的控制參數(shù)130發(fā)生的事件作為概率的累計處置，將進行怎樣的事件一邊縮窄范圍一邊與I個數(shù)線(number line)上的規(guī)定范圍建立對應(yīng)。
[0137]首先，二值算術(shù)編碼部143將I個數(shù)線根據(jù)從上下文控制部142給出的、二進制數(shù)能夠取的兩個值的發(fā)生概率內(nèi)分為兩個半?yún)^(qū)間。在實際發(fā)生的二進制數(shù)的值(例如“0”)是較高的概率(超過0.5的概率(例如0.75))側(cè)的值的情況下，二值算術(shù)編碼部143不變更而維持數(shù)線中的范圍的下值限值low，將與對此次的概率0.75乘以I次縮放系數(shù)0.95的結(jié)果相對應(yīng)的值設(shè)定為新的幅度Range。另一方面，在實際發(fā)生的二進制數(shù)的值是預(yù)測的較低的概率側(cè)的值的情況下，二值算術(shù)編碼部143使范圍的下限值low移動較高的概率的量，使幅度Range根據(jù)較低的概率而變更。這樣，通過概率幅度Range的相乘結(jié)果的累計而保持區(qū)間，但在概率較低的值連續(xù)發(fā)生的情況下，幅度Range的長度成為在運算中能夠確保的精度以下。在此情況下，二值算術(shù)編碼部143為了維持精度而進行將幅度Range擴大的處理(renorm)并且將用來表示當前時點的范圍的比特序列輸出。相反，在概率較高(0.95等)的值連續(xù)發(fā)生的情況下，即使乘以該概率值，在幅度Range的長度變得比規(guī)定的長度短之前也能夠進行多次的運算(在基于表的安裝的情況下是狀態(tài)轉(zhuǎn)變)。因而，在此情況下，在將比特輸出之前能夠累計的碼元數(shù)較多。
[0138]圖3是將利用基于鄰接塊的控制參數(shù)130的值的上下文模型的控制參數(shù)130整理的表。
[0139]從左起，說明列的意義。
[0140](c2)信號種類(syntax element)表示控制參數(shù)130的信號種類的具體名稱。另外，各信號種類的意義后述。
[0141](c3)二值化方式(binarization scheme)表不在由緊挨著的左方的列指定的控制參數(shù)130(SE)中應(yīng)用的二值化方式。另外，二值化處理由上述二值化部141執(zhí)行。此外，所謂欄中“固定長”，是指二值化部141將緊挨著的左方的控制參數(shù)130的值用固定長(FixedLength)的二值排列(bin string)輸出。在HEVC中信號種類名用"flag〃結(jié)束的信號種類的控制參數(shù)130是取“0”或“I”的某個值的I個二進制數(shù)值。因而，二值化部141輸出的二值排列151的要素只是第I個要素(binldx=0)，第2個以后的要素(binldx>=l的要素不輸出。即，二值化部141將控制參數(shù)130的值原樣作為二值排列151輸出。
[0142]此外，欄中“可變長”，表示二值化部141將控制參數(shù)130的值，使用以成為以該值的發(fā)生頻度順序由短到長的二進制數(shù)長的方式建立了對應(yīng)的可變長的二進制數(shù)列(bin string或二值排列，要素數(shù)3 I)來進行二值排列化并輸出。例如，二值化部141將(Truncated) Unary型或Unary型與其他指數(shù)的Golomb方式等的多個方式的組合等的、對應(yīng)于信號種類的方式輸出(參照非專利文獻1，A.Binarization)。另外，在可變長的情況下，也有二值排列151的排列要素是I個的情況，但也有為兩個以上的情況。此外，在后述的圖像解碼裝置的多值化部中，通過進行該二值化方式的逆變換，將輸入的二值排列復(fù)原為多值或標志值。[0143](C4)第I個要素(binldx=0)上下文索引表示上下文控制部142對在通過由c3的欄指定的二值化方式生成的二進制數(shù)排列中包含的第I個要素應(yīng)用的上下文索引(增值)的選擇分支。在欄中記載有“0，1，2”的情況下，意味著上下文控制部142從3個概率狀態(tài)表(上下文)中選擇應(yīng)用一個概率狀態(tài)表。例如，對于信號種類〃skip_flag〃，關(guān)于該I個信號種類準備3個用條件細分化的上下文索引，即意味著準備3個上下文進行算術(shù)編碼。
[0144]同樣，在c4欄中記載有“0,1,2, 3”的情況下,意味著在將由c2欄指定的信號種類的控制參數(shù)130的值應(yīng)用到在通過c3欄的二值化方式二值排列化的二值排列151中包含的第I要素(binldx=0)中的上下文是0、1、2或3的4個擇一。另外，關(guān)于欄中的條件式在后面敘述。
[0145](c5)左塊條件L (condL)表示上下文控制部142用來在欄c4中選擇0、1、2的值的某個值的左塊的條件(condition)。該條件對應(yīng)于編碼對象(或解碼對象)的控制參數(shù)，取根據(jù)左塊的控制參數(shù)的值決定的true或false的值。
[0146]例如,在控制參數(shù)(SE)是skip_flag的情況下,如果skip_flag [xL] [yL]的值是true (例如“I”)則輸出true，如果是false (例如“0”)則輸出false。
[0147](c6)上塊條件A (condA)表示上下文控制部142用來在由欄c4指定的排列要素的編碼及解碼中選擇0、1、2的值的某個值的上塊的條件(condition)。該條件取與編碼對象(或解碼對象)的控制參數(shù)對應(yīng)的、根據(jù)上塊的控制參數(shù)的值決定的true或false的值。例如，在控制參數(shù)(SE)是skip_flag的情況下,如果skip_flag [xA] [yA]的值是true (例如“I”)則輸出true，如果是false (例如“0”)則輸出false。
[0148]另外，雖然沒有圖示，但將對(c7) “binldx>=l應(yīng)用的上下文增量值”與2比特以上的信號種類建立了對應(yīng)。該(c7)表示上下文控制部142對二值排列的第2要素以后的二進制數(shù)(具有binldx>=l 的索引值的二進制數(shù)排列要素的二進制數(shù)值)應(yīng)用的上下文模型。
[0149]有關(guān)本實施方式的圖像編碼方法對于上述左塊條件L及上塊條件A，根據(jù)控制參數(shù)130的信號種類切換以下的動作(利用不同的模式動作)。
[0150](模式I)使用兩個鄰接塊(左塊條件L的判斷值和上塊條件A的判斷值)。
[0151](模式2)使用I個鄰接塊(僅左塊條件L的判斷值)。
[0152](模式3)使用0個鄰接塊(左塊條件L和上塊條件A都不使用)。
[0153]圖4是表示圖2所示的可變長編碼部104執(zhí)行的有關(guān)本實施方式的圖像編碼方法的流程圖。
[0154]首先，二值化部141將控制參數(shù)130的值以與該控制參數(shù)130的信號種類對應(yīng)的方式二值排列化(S101)。
[0155]接著，上下文控制部142取得在該控制參數(shù)130的算術(shù)編碼中使用的上下文的基本值(S102)。例如，上下文控制部142根據(jù)圖片類型(I，P，B)決定該基本值。
[0156]接著，上下文控制部142根據(jù)控制參數(shù)130的信號種類，使用上述模式I~模式3的某個來決定上下文值(S103)。這里，所謂決定上下文值，與決定上下文的相對于基本值的調(diào)整值(遞增值CtxIdxInc)是等價的。
[0157]首先，上下文控制部142判別控制參數(shù)130的信號種類(S103)。在控制參數(shù)130的信號種類是與模式I對應(yīng)的第I種類的情況下(S104中第I種類)，上下文控制部142使用根據(jù)鄰接的兩個塊(塊A和塊B)的各自的控制參數(shù)的值導(dǎo)出的判斷值決定上下文值(S105)。換言之，上下文控制部142使用利用左塊及上塊的兩個鄰接塊的控制參數(shù)的條件來決定上下文。在此情況下，上下文控制部142利用圖3所示的(c5)CondL的判斷結(jié)果和(c6)c0ndA的判斷結(jié)果的兩者的值。因而，對于第I種類的控制參數(shù)保持圖片的橫一列的數(shù)據(jù)。
[0158]另一方面，在控制參數(shù)130的信號種類是與模式2對應(yīng)的第2種類的情況下(S104中第2種類)，上下文控制部142決定使用I個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數(shù)的值決定上下文值(S106)。換言之，上下文控制部142使用不利用上塊的控制參數(shù)的條件決定上下文。[0159]另一方面，在控制參數(shù)130的信號種類是與模式3對應(yīng)的第3種類的情況下(S104中第3種類)，上下文控制部142對上塊及左塊的控制參數(shù)都不利用，固定地決定上下文值(S107)。
[0160]接著，上下文控制部142通過對在步驟S102中決定的上下文的基本值加上在步驟S103中決定的增量值，導(dǎo)出上下文索引值(S108)。
[0161]最后，二值算術(shù)編碼部143通過將第I要素的二進制數(shù)值使用由在步驟S108中決定的上下文索引值指定的上下文值，進行算術(shù)編碼，生成比特序列(比特流124) (S109)o
[0162]接著，在步驟S102~S109的處理的執(zhí)行對二值排列中包含的全部的要素沒有完成的情況下(S110中否)，可變長編碼部104對二值排列中包含的下個要素執(zhí)行步驟S102~S109的處理。另一方面，在對二值排列中包含的全部的要素完成了步驟S102~S109的處理的執(zhí)行的情況下(S110中“是”)，可變長編碼部104結(jié)束對于處理對象塊的控制參數(shù)的編碼處理。
[0163]如以上這樣，有關(guān)本實施方式的圖像編碼裝置100在算術(shù)編碼中，對第I種類的控制參數(shù)利用上塊決定上下文，對第2種類及第3種類的控制參數(shù)不利用上塊而決定上下文。
[0164]通過該結(jié)構(gòu)，該圖像編碼裝置100與統(tǒng)一地作為“利用基于鄰接塊的控制參數(shù)的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用量。由此，該圖像編碼裝置100能夠在抑制畫質(zhì)的劣化的同時削減存儲器使用量。
[0165](實施方式2)
[0166]在本實施方式中，對將由上述圖像編碼裝置100生成的比特流124解碼的圖像解碼裝置進行說明。
[0167]圖5是有關(guān)本實施方式的圖像解碼裝置200的框圖。該圖像解碼裝置200是使用算術(shù)解碼的圖像解碼裝置，通過將比特流124解碼而生成圖像信號229。這里，比特流124例如是由上述圖像編碼裝置100生成的比特流124。
[0168]圖像解碼裝置200包括控制部201、可變長解碼部202、逆量化部204、逆變換部205、加法部206、畫面內(nèi)預(yù)測部207和畫面間預(yù)測部208。
[0169]圖像解碼裝置200按照規(guī)定的處理單位的每個代碼序列進行解碼處理。這里，處理單位例如是切片(slice)單位或塊單位。
[0170]可變長解碼部202通過對比特流124進行算術(shù)解碼，生成控制參數(shù)230 (controldata syntax element)和量化變換系數(shù) 223 (Residual data syntax element 值)。將所生成的控制參數(shù)230向控制部201輸出。
[0171]控制部201根據(jù)控制參數(shù)230控制圖像解碼裝置200中包含的處理部。
[0172]逆量化部204通過將量化變換系數(shù)223逆量化，生成正交變換系數(shù)224。[0173]逆變換部205通過將正交變換系數(shù)224逆變換，將殘差信號225復(fù)原。加法部206通過將殘差信號225與預(yù)測圖像信號(圖像信號229)相加，生成解碼圖像信號226。
[0174]畫面內(nèi)預(yù)測部207通過使用解碼圖像信號226進行畫面內(nèi)預(yù)測處理而生成預(yù)測圖像信號227。畫面間預(yù)測部208通過使用解碼圖像信號226進行畫面間預(yù)測處理而生成預(yù)測圖像信號228。
[0175]開關(guān)209選擇預(yù)測圖像信號227及預(yù)測圖像信號228的一方，將所選擇的信號作為圖像信號229 (預(yù)測圖像信號)輸出。
[0176]接著，說明可變長解碼部202的結(jié)構(gòu)。
[0177]圖6是表示可變長解碼部202的結(jié)構(gòu)的功能框圖。可變長解碼部202包括二值算術(shù)解碼部243、上下文控制部242和多值化部241。以下，對控制參數(shù)230的可變長解碼處理進行說明。另外，關(guān)于量化變換系數(shù)223的可變長解碼處理省略說明，例如可以使用已知的技術(shù)實現(xiàn)。
[0178]上下文控制部242在多個上下文中，決定在處理對象的塊的控制參數(shù)230的算術(shù)解碼中使用的上下文。此外，上下文控制部242將指定所決定的上下文的上下文索引252向二值算術(shù)解碼部243輸出。
[0179]具體而言，上下文控制部242使用與圖2所示的上下文控制部142相同的上下文模型作為所保持的概率轉(zhuǎn)移模型。在二值算術(shù)編碼部143使用64個概率狀態(tài)的情況下，二值算術(shù)解碼部243也具有64個概率狀態(tài)。這是因為，需要將編碼的數(shù)線上的范圍在編碼側(cè)及解碼側(cè)的兩側(cè)同樣地解釋。由此，在解碼裝置側(cè)也使用與編碼側(cè)從上述模式I~3的3個模式中選擇的模式相同的模式。
[0180]二值算術(shù)解碼部243通過使用由上下文控制部242決定的上下文將比特序列(t匕特流124)算術(shù)解碼，將二值排列251復(fù)原。具體而言，二值算術(shù)解碼部243使用由從上下文控制部242給出的上下文索引指定`的上下文(概率狀態(tài)表)，將輸入的比特序列復(fù)原為二值排列251。
[0181]多值化部241將二值排列251根據(jù)需要進行多值化從而復(fù)原為控制參數(shù)230。這樣，圖像編碼裝置100具備的上下文控制部142和圖像解碼裝置200具備的上下文控制部242在某個信號種類的控制參數(shù)的算術(shù)編碼及算術(shù)解碼時在兩者中利用相同的上下文模型。
[0182]圖7是表示可變長解碼部202執(zhí)行的有關(guān)本實施方式的圖像解碼方法的流程圖。
[0183]首先，可變長解碼部202取得比特流124 (S201)。
[0184]接著，上下文控制部242根據(jù)比特流124的數(shù)據(jù)構(gòu)造決定解碼對象的控制參數(shù)的信號種類(S202)。
[0185]接著，上下文控制部242決定在解碼對象的控制參數(shù)的算術(shù)解碼中使用的上下文的基本值(S203)。例如，上下文控制部242根據(jù)圖片類型(I，P，B)決定該基本值。
[0186]接著，上下文控制部242根據(jù)控制參數(shù)的信號種類，使用上述模式I~模式3的某個決定上下文值(S204)。這里，所謂決定上下文值，與決定上下文的相對于基本值的調(diào)整值(遞增值Ctxldxlnc)等價。例如，上下文控制部242根據(jù)控制參數(shù)的信號種類，按照靜態(tài)地事前決定的表進行使用模式I~模式3的哪個的判斷。
[0187]上下文控制部242根據(jù)控制參數(shù)的信號種類，切換在為了通過算術(shù)解碼得到二值排列251中包含的第I要素的二進制數(shù)的值而使用的上下文的決定中搜索使用的鄰接塊。
[0188]首先，上下文控制部242判斷控制參數(shù)230的信號種類(S205)。在信號種類是與模式I對應(yīng)的第I種類的情況下(S205中第I種類)，上下文控制部242使用鄰接的兩個塊的各自的控制參數(shù)決定上下文值(S206)。換言之，上下文控制部242使用利用左塊及上塊的兩個鄰接塊的已解碼的控制參數(shù)的條件來決定上下文。
[0189]另一方面，在信號種類是與模式2對應(yīng)的第2種類的情況下(S205中第2種類)，上下文控制部242使用I個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數(shù)的值決定上下文值(S207)。換言之，上下文控制部242使用不利用上塊的已解碼的控制參數(shù)的條件來決定上下文。
[0190]另一方面，在信號種類是與模式3對應(yīng)的第3種類的情況下(S205中第3種類)，上下文控制部242固定地決定上下文值(S208)。換言之，上下文控制部242使用對上塊及左塊的已解碼的控制參數(shù)都不利用的條件來決定上下文。
[0191]接著，上下文控制部242通過將在步驟S203中決定的上下文索引的基本值與在步驟S204中決定的增量值相加，決定上下文索引值(S209)。
[0192]接著，二值算術(shù)解碼部243使用由從上下文控制部242給出的上下文索引值表示的上下文值，通過解碼得到二值排列的要素的I個(S210)。
[0193]接著，在步驟S203~S210的處理的執(zhí)行對于二值排列中包含的全部的要素沒有完成的情況下(S211中“否” )，可變長解碼部202對二值排列中包含的下個要素執(zhí)行步驟S203~S210的處理。
[0194]另一方面，在對二值排列中包含的全部的要素完成了步驟S203~S210的處理的執(zhí)行的情況下(S211中“是”)，多值化部241通過將通過重復(fù)I次以上上述步驟S203~S210的處理而得到的二值排列251的I個以上的要素多值化，生成控制參數(shù)230 (S212)。
[0195]根據(jù)以上，有關(guān)本實施方式的圖像解碼裝置200在算術(shù)解碼中，對第I種類的控制參數(shù)利用上塊決定上下文，對于第2種類及第3種類的控制參數(shù)不利用上塊而決定上下文。
[0196]通過該結(jié)構(gòu)，該圖像解碼裝置200與統(tǒng)一地作為“利用基于鄰接塊的控制參數(shù)的值的上下文模型”而利用左塊和上塊的情況相比能夠削減存儲器使用。由此，該圖像解碼裝置200能夠在抑制畫質(zhì)的劣化的同時削減存儲器使用量。
[0197]另外，多值化部241在二值排列251是flag等、要素數(shù)是I個情況下，即在Ibinary的情況下，也可以將該二值排列251原樣輸出。
[0198]此外，除了上述說明以外，控制部101或201也可以經(jīng)由未圖示的信號線進行控制各處理部的處理、或參照存儲器的值的處理等。
[0199]此外，在上述說明中，上下文控制部142或242根據(jù)控制參數(shù)的信號種類切換模式I~模式3的3個模式,但也可以根據(jù)信號種類切換模式I~模式3中的兩個模式。換言之，上下文控制部142或242也可以根據(jù)控制參數(shù)的信號種類對利用/不利用上塊條件進行切換。
[0200]此外，上下文控制部142或242也可以將這樣的選擇的上下文模型的切換方法(也包括變更上下文模型增量值的情況，以下相同)根據(jù)規(guī)定的圖像信息變更。例如，上下文控制部142或242也可以根據(jù)對存儲器保持量及各上下文的學(xué)習(xí)次數(shù)有影響的圖像的橫寬的尺寸或采樣格式等進一步切換該切換方針本身。[0201]此外，在上述說明中，為了說明的簡略化，上下文控制部142或242對利用/不利用上塊條件進行切換，但上下文控制部142或242也可以將上塊原本不能利用的情況與其組合而應(yīng)用。例如，上下文控制部142或242也可以根據(jù)處理對象的切片是否是熵切片(entropy_slice_flag是I還是0)來切換該切換方針本身。同樣,在原本不能保證上鄰接塊的可利用性的情況下，上下文控制部142或242也可以不利用上塊而變更切換方針。
[0202]例如，如圖8所示，上下文控制部142或242也可以根據(jù)規(guī)定的單位的參數(shù)的值(S301)，將上下文模型的決定方針通過第I決定規(guī)范(S302)和第2決定規(guī)范(S303)切換。這里，所謂根據(jù)規(guī)定的單位的參數(shù)的值，如上述那樣，是根據(jù)切片是否是entropy slice等。此外，所謂第I決定規(guī)范，是進行圖7所示的處理的規(guī)范。所謂第2決定規(guī)范，是不包含圖7所示的步驟S204的決定規(guī)范，例如是現(xiàn)有技術(shù)的決定規(guī)范。這與將上下文索引的增量值通過局部的規(guī)定的單位的參數(shù)和比該單位大的單位的參數(shù)的值決定是等價的。
[0203]即，上下文控制部142或242也可以基于第I單位的控制參數(shù)的值，將在比第I單位小的單位中應(yīng)用的決定規(guī)范切換為其他決定規(guī)范。
[0204]此外，上下文控制部142或242也可以根據(jù)圖像系列的特征來變更所使用的決定規(guī)范。例如，上下文控制部142或242也可以根據(jù)I圖片的間隔(IntraPeriod的設(shè)定值)來變更所使用的決定規(guī)范。
[0205]另外，這里上下文控制部142或242根據(jù)上述條件切換決定規(guī)范，但也可以切換是否利用上塊。
[0206]此外，上下文控制部142或242也可以基于在位置上上塊的控制參數(shù)是否能夠在編碼或解碼時利用，來決定是否利用上塊的控制參數(shù)。即，上下文控制部142或242也可以基于處理對象的塊位置，判斷在解碼時是否能夠利用上塊的控制參數(shù)，在不能利用上塊的控制參數(shù)的情況下，使用 模式2或模式3決定上下文。進而，上下文控制部142或242也可以基于TU、CU或PU塊分割的樹構(gòu)造決定是否能夠利用該上塊的參照值。即，上下文控制部142或242也可以根據(jù)處理對象的控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度判斷在解碼時是否能夠利用上塊的控制參數(shù)。
[0207]圖9是表示HEVC標準中的圖片(picture)、切片和塊的關(guān)系的圖。I個圖片被分割為I個以上的切片。在圖9所示的例子中，圖片被分割為兩個切片(SLICE1及SLICE2)。I個切片由多個塊301 (例如treeblocks)構(gòu)成。這里，塊301在將切片分割為規(guī)定的尺寸的情況下，作為某種控制單位是最大的單位，是將該單位作為層級分割的root (根)的情況下的該root的尺寸。
[0208]在圖9所示的例子中，SLICE2由從塊301A (startTb)開始、包括經(jīng)由被涂陰影的塊301到右下角的塊的多個塊的I個序列構(gòu)成。另外，圖中被涂陰影的塊是作為當前的處理對象的I個塊(Treeblock)。
[0209]各個塊301由NXM像素構(gòu)成。此外，I個塊301在內(nèi)部被遞歸地分割(典型地是4分割)。即，I個Treeblock在概念上構(gòu)成I個4叉樹(QuadTree)。在圖9所示的塊301B中，4分割后的右上的塊遍及2層級被遞歸地4分割。即，塊30IB從左上的0號到右下的9號，包括以規(guī)定的觀點分割的10個邏輯單元。
[0210]這里，所謂觀點，是指關(guān)于編碼單位(⑶)的tree、或關(guān)于residual_data的Tree等，以某個root為基點相互深度可能不同的多個樹。這里，各種控制參數(shù)的值屬于某個葉節(jié)點。
[0211]這里，實際在上塊中包含的某個信號種類的控制參數(shù)的值“是否能夠利用(available)”，依存于該控制參數(shù)屬于的樹的種類。由此，上下文控制部142或242也可以按照控制參數(shù)所屬的樹的種類來變更決定規(guī)范。這與變更為語法單位是等價的。例如，上下文控制部142或242也可以對關(guān)于自適應(yīng)濾波器的alf_param等的數(shù)據(jù)構(gòu)造的數(shù)據(jù)使用不利用上塊的模式2或模式3，對于其他語法使用現(xiàn)有技術(shù)那樣的上下文模型方針(模式I)。即，上述第2種類或第3種類也可以是具有預(yù)先設(shè)定的數(shù)據(jù)構(gòu)造的控制參數(shù)。此外，這意味著根據(jù)鄰接的定義的樹的種類而變化。
[0212]進而，實際是否能夠利用該控制參數(shù)的值、或者在存儲器使用量的削減中是否發(fā)生效果，根據(jù)塊的層級關(guān)系上的位置而不同。即，上下文控制部142或242也可以根據(jù)塊的層級及層級內(nèi)的位置切換是否利用上塊。
[0213]例如，假設(shè)圖9所示的塊301B的各號碼0~9是解碼順序。在此情況下，在將號碼4的塊編碼或解碼的情況下，能夠利用號碼I的塊及號碼2的塊的控制參數(shù)。
[0214]進而，從存儲器使用量的削減的觀點，上下文控制部142或242也可以如果是不為DepthO的塊、并且是自己的位置為縱向分割的第二個以上的要素則選擇利用上塊的模式I。這里，所謂depth(深度)，表示從root起的層級數(shù)。即，在將某個塊規(guī)定為block[xn],[y0] [depth]的情況下,也可以根據(jù)處理對象的塊是否是block [xn] [Cy0)+l] [depth])成立的塊來變更決定規(guī)范。即，對圖9所示的號碼4~9的塊利用上塊。這是因為，如果該樹的編碼或解碼是圖示的號碼順序(從0開始、以9結(jié)束的順序)，則在號碼4~9的塊中顯然能夠利用上塊中包含的控制參數(shù)。進而，在這些塊中，還有數(shù)據(jù)的保持為暫時就可以的優(yōu)點。此外，這也可以說是除 了 x、y坐標以外還根據(jù)包括層級的三維的位置決定上下文值。此外，能夠利用(沿襲)上層級的塊的條件值作為下層級的塊的條件值。
[0215]進而，上下文控制部142或242也可以考慮處理對象的塊與其他切片的位置關(guān)系來變更這些規(guī)范。以下，說明圖9所示的3個涂陰影的塊301A、301B及301C的例子。
[0216]這里，塊301A是開始塊，左塊及上塊都包含在其他切片中。塊301B的上塊包含在別的切片中。塊301C的上塊及左塊都包含在與包含自身的塊的切片相同的切片中。上下文控制部142或242也可以根據(jù)這樣的條件來切換規(guī)范。即，上下文控制部142或242(I)也可以根據(jù)上塊是否包含在其他切片中來切換規(guī)范，(2 )也可以根據(jù)左塊是否包含在其他切片中來切換規(guī)范，(3)也可以根據(jù)它們雙方來切換規(guī)范。換言之，上下文控制部142或242也可以在處理對象的塊屬于切片邊界的情況下，判斷為在解碼時不能利用上塊的控制參數(shù)。由此，例如在上方的切片I的解碼處理沒有結(jié)束的情況下，能夠?qū)崿F(xiàn)考慮到在切片2的內(nèi)部中是否自己能得到信息的解碼處理。
[0217]以下，對層級化的處理單位(多層級塊構(gòu)造)進行說明。圖10是用來說明層級化的處理單位(多層級塊構(gòu)造)的說明圖。
[0218]上述圖像編碼裝置100將運動圖像按照每個處理單位編碼，圖像解碼裝置200將編碼流按照每個處理單位解碼。以將該處理單位分割為多個較小的處理單位、將該較小的處理單位再分割為多個更小的處理單位的方式，進行層級化。另外，處理單位越小，該處理單位所處的層級越深，處于低層，表示該層級的值較大。相反，處理單位越大，該處理單位所處的層級越淺，處于高層，表示該層級的值較小。[0219]在處理單位中，有編碼單位(⑶)、預(yù)測單位(PU)和變換單位(TU)。⑶是最大由128X128像素構(gòu)成的塊，是相當于現(xiàn)有技術(shù)的宏塊的單位。I3U是畫面間預(yù)測的基本單位。TU是正交變換的基本單位，該TU的尺寸是與I3U相同、或比I3U小一個級別的尺寸。CU例如被分割為4個子⑶，其中的I個子⑶包括與該子⑶相同的尺寸的PU及TU (在此情況下，PU和TU處于相互重疊的狀態(tài))。例如，該I3U被進一步分割為4個子PU，TU也被進一步分割為4個子TU。另外，在處理單位被分割為多個較小的處理單位的情況下，將該較小的處理單位稱作子處理單位。例如，在處理單位是CU的情況下，子處理單位是子CU，在處理單位是PU的情況下，子處理單位是子PU，在處理單位是TU的情況下，子處理單位是子TU。
[0220]具體而言，是以下這樣的。
[0221]圖片被分割為切片。切片是最大編碼單位的序列。最大編碼單位的位置由最大編碼單位地址IcuAddr表示。
[0222]包括最大編碼單位的各個編碼單位被分割為4個編碼單位。結(jié)果，構(gòu)成編碼單位的大小的四叉樹分割。編碼單位的位置由以最大編碼單位的左上端的樣本(像素或系數(shù))為起點的編碼單位索引culdx表示。
[0223]在不許可編碼單位的分割的情況下，將該編碼單位作為預(yù)測單位處置。與編碼單位同樣，預(yù)測單位的位置由以最大編碼單位的左上端的樣本為起點的預(yù)測單位索引puldx表不。
[0224]預(yù)測單位也可以包括多個分區(qū)(預(yù)測單位分區(qū)或子W)。預(yù)測單位分區(qū)由以預(yù)測單位的左上端的樣本為起點的預(yù)測單位分區(qū)索引puPartldx表示。
[0225]預(yù)測單位也可以包括多個變換單位。與編碼單位同樣，變換單位也可以被分割為4個較小的尺寸的變換單位(子變換單位)。這許可殘差信號的四叉樹分割。變換單位的位置由以預(yù)測單位的左上端的樣本為起點的變換單位索引tuldx表示。
[0226]這里，各處理單位的定義`是以下這樣的。
[0227]CTB (coding tree block,編碼樹塊):用來確定正方形區(qū)域的四叉樹分割的基本單位。CTB具有正方形的多種多樣的尺寸。
[0228]LCTB (largest coding tree block,最大編碼樹塊):在切片中許可的最大的尺寸的CTB。切片由不重復(fù)的多個LCTB構(gòu)成。
[0229]SCTB (smallest coding tree block,最小編碼樹塊):在切片中許可的最小的尺寸的CTB。不許可將SCTB分割為更小的CTB。
[0230]PU (prediction unit,預(yù)測單位):用來確定預(yù)測處理的基本單位。F1U的尺寸與不被許可分割的CU的尺寸相同。在CU中，許可將CU分割為4個正方形區(qū)域，相對于此，在PU中，能夠?qū)3U分割為任意的形狀的多個分區(qū)。
[0231]TU (transform unit,變換單位):用來確定變換及量化的基本單位。
[0232]QJ (coding unit,編碼單位):與 CTB 相同。
[0233]IXU (largest coding unit,最大編碼單位):與最大 CTB 相同。
[0234]SCU (smallest coding unit,最小編碼單位):與最小 CTB 相同。
[0235]此外,量化參數(shù)包括德爾塔量化縮放參數(shù)(delta QP或QP delta)、量化偏移參數(shù)、索引(Qmatrix select idc)及量化死區(qū)偏移參數(shù)中的至少I個。另外,索引是用來從多個量化縮放矩陣中選擇I個的。[0236]德爾塔量化縮放參數(shù)(delta QP或QP delta)是應(yīng)在變換系數(shù)中應(yīng)用的量化縮放參數(shù)、與由序列頭或切片頭指定的量化縮放參數(shù)(或在z掃描順序上緊接著的之前的量化縮放參數(shù))的差。
[0237]量化偏移參數(shù)也稱作量化偏移，是進行量化時的信號的取整方式的調(diào)整值(偏移值)。因而，圖像編碼裝置100在進行量化時，將其量化偏移編碼，圖像解碼裝置200將該編碼后的量化偏移解碼。并且，圖像解碼裝置200在將變換系數(shù)逆量化時，進行使用該量化偏移的修正。
[0238]索引(Qmatrix select idc)也稱作自適應(yīng)量化矩陣,是表示從多個量化縮放矩陣中使用哪個量化縮放矩陣的索引。此外，Qmatrix select idc在僅有I個量化縮放矩陣的情況下表示是否使用該量化縮放矩陣。另外，自適應(yīng)用量化矩陣能夠以塊單位(處理單位)控制。
[0239]量化死區(qū)偏移參數(shù)也稱作自適應(yīng)死區(qū)，是用來將死區(qū)按照每個塊自適應(yīng)地變更的控制信息。死區(qū)是頻率系數(shù)通過量化成為0的幅度(在量化后為+1或-1的之前的幅度)。
[0240]另外，在上述說明中，作為模式3而敘述了使用預(yù)先設(shè)定的固定值作為上下文值的例子，但只要是對上塊及左塊的控制參數(shù)都不利用的條件就可以，作為模式3也可以使用不包含上塊及左塊的控制參數(shù)的條件的條件。例如，作為模式3，上下文控制部142或242也可以根據(jù)控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度決定上下文。
[0241](實施方式3)
[0242]在本實施方式中，對作為上述第I種類及第2種類(或第3種類)應(yīng)利用怎樣的信號種類進行說明。
[0243]具體而言，本發(fā) 明人對在圖3 (非專利文獻2，9.3.3.1.1.1節(jié))所示的信號種類中的以下的各個信號種類進行了驗證。對各個信號種類進行驗證是因為，參數(shù)遍及多個分支，根據(jù)關(guān)于I個信號種類的驗證結(jié)果(模式I~模式3的哪個更好)難以進行其他信號種類的各模式是否滿足妥當性。
[0244]驗證依據(jù)在JCTVC-E700, "Common test conditions and software referenceconfigurations"(參照非專利文獻3)中記載的結(jié)構(gòu)(設(shè)定參數(shù),及軟件版本HM3.0)。此外，是測試圖像的長度全部被限制為49幀的結(jié)果。
[0245]有關(guān)本實施方式的圖像編碼方法及圖像解碼方法是關(guān)于CABAC的。由此，作為Entropy Coding (熵編碼)模式，使用作為 SymbolMode 的值是 I (#0:LCEC, 1:CABAC)的設(shè)定值的組的以下的4個測試模式進行了驗證。
[0246]4.llntra, high-efficiency setting
[0247]4.3Random access, high-efficiency setting
[0248]4.5Low delay, high-efficiency setting
[0249]4.7Low delay, high-efficiency setting (P slices only)
[0250]此外，評價使用在HEVC中的安裝評價中作為統(tǒng)一的評價尺度利用的稱作〃BD-RATE〃值的評價值。Y BD-rate、U BD-rate及V BD-rate是關(guān)于顏色空間Y、U、V的BD-rate,是評價尺度值。這里，所謂BD-rate，是將記載在VCEG-AI11 (非專利文獻4 )中的兩組代碼量和PSNR的結(jié)果積分、通過其面積的比來表示編碼效率的評價值。此外，在BD-rate表示負值的情況下表示編碼效率變好。比較的基準是安裝模式I的參照程序的輸出結(jié)果，此次的結(jié)果表不模式2及模式3的各自相對于模式I的值。
[0251]以下，說明各信號種類的驗證結(jié)果。
[0252](第I 驗證)"split_coding_unit_flag"
[0253](第2 驗證)"skip_flag"
[0254](第3 驗證)"inter_pred_flag"
[0255](第I 驗證)"split_coding_unit_flag"
[0256]圖11是用來對split_coding_unit_flag的算術(shù)解碼方法進行說明的表。
[0257]在驗證中，僅驗證對象的信號種類將上下文模型從模式I變更為模式2或模式3，關(guān)于其他信號種類、以及由非專利文獻3指定的驗證用參數(shù)不進行變更而進行驗證。此外，在圖11的欄中的值中，所謂“固定”，是在上下文值(或增量值)的導(dǎo)出中不使用記載有“固定”的列的條件(不使用左塊條件或上塊條件)。即，在僅左塊條件及右塊條件的一方的條件是“固定”的情況下，僅使用另一方的條件。此外，在左塊條件及右塊條件的兩者為“固定”的情況下，作為上下文值(或增量值)而使用預(yù)先設(shè)定的值(例如“O”)。
[0258]信號種類〃split_coding_unit_flag〃的意義在以下定義。
[0259]split_coding_unit_flag [x0] [yO]表示對象的CU是否被分割為水平及垂直的尺寸為一半的多個CU。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的⑶的左上角的亮度樣本的坐標。即，split_coding_unit_flag表示對象的⑶是否被4分割。具體而言，在split_coding_unit_flag的值為“I”的情況下，對象的⑶被分割,在該值為“0”的情況下，對象的CU沒有被分割。
[0260]該split_coding_unit_flag 作為 syntax 而數(shù)據(jù)構(gòu)造化為 Coding tree syntax。圖像解碼裝置依據(jù)該數(shù)據(jù)構(gòu)造的語法解釋比特序列。
[0261]圖12A及圖12B是表示關(guān)于split_coding_unit_flag的驗證結(jié)果的表。
[0262]圖12A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結(jié)果。圖12B表示使用(模式3)0個鄰接塊的(上塊條件L和左都沒有使用)的情況下的驗證結(jié)果。
[0263]此外，圖12A及圖12B所示的驗證結(jié)果表示上述4個測試模式的BD-Rate值的增減。
[0264]此外，評價值是表示與使用左塊及上塊的兩者的模式I的情況下的評價值的相對的值的評價尺度。具體而言，如果評價值是正值，則其結(jié)果比模式I的情況下的評價值(BD-rate)差。此外，如果評價值是負值，則其結(jié)果相比模式I的情況下的評價值被改善。
[0265]根據(jù)該結(jié)果可知，關(guān)于split_coding_unit_flag,作為上下文模型的模式,模式I較好。換言之，模式2及模式3的評價值比模式I差。
[0266]因而，上下文控制部142及242在控制參數(shù)的信號種類是〃split_coding_unit_flag"的情況下，從BD-rate的觀點，利用作為現(xiàn)有技術(shù)那樣的上下文模型的模式的模式I決定上下文值。
[0267](第2 驗證)“skip_flag”
[0268]圖13是用來對skip_flag的算術(shù)解碼方法進行說明的表。另外，驗證方法與上述第I驗證是同樣的。
[0269]信號種類〃skip_flag〃的意義在以下定義。[0270]在將P或B切片解碼的情況下，在skip_flag [xO] [yO]的值是“ I”的情況下，意味著在該skip_flag [xO] [yO]后，除了預(yù)測運動矢量索引以外,不存在當前的CU用的語法要素。此外，在skip_flag [xO] [yO]的值為“I”的情況下,意味著當前的CU不能被跳過。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的⑶的左上角的亮度樣本的坐標。即，skip_flag表示是否將對象的⑶跳過(是否作為被跳過的塊處置)。
[0271]該skip_flag 作為 syntax 而被數(shù)據(jù)構(gòu)造化為 Coding unit syntax。即，skip_flag被按照每個CU設(shè)定。在圖像解碼裝置中，依據(jù)該數(shù)據(jù)構(gòu)造的語法解釋比特序列。
[0272]圖14A及圖14B是表示關(guān)于skip_flag的驗證結(jié)果的表。
[0273]圖14A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結(jié)果。圖14B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結(jié)果。
[0274]另外，圖14A及圖14B所示的驗證結(jié)果與第I驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外,評價值的意義與第I驗證是同樣的。
[0275]根據(jù)該結(jié)果可知，關(guān)于〃skip_flag〃，作為上下文模型的模式，模式I較好。換言之，模式2及模式3的評價值比模式I差。
[0276]因而，上下文控制部142及242在控制參數(shù)的信號種類是〃skip_f lag"的情況下，從BD-rate的觀點，利用作為現(xiàn)有技術(shù)那樣的上下文模型的模式的模式I決定上下文值。
[0277](第3 驗證)//merge_flag// [0278]圖15是用于說明merge_flag的算術(shù)解碼方法的表。另外,驗證方法與上述的第I驗證及第2驗證相同。
[0279]信號種類〃merge_flag〃的意義在以下定義。
[0280]merge_flag[x0] [yO]表示當前的⑶用的幀間預(yù)測參數(shù)是否從近鄰的幀間預(yù)測的塊導(dǎo)出。xO及yO表示以位于圖像的左上角的亮度樣本為基準的、位于對象的預(yù)測塊的左上角的亮度樣本的坐標。不存在merge_flag[x0] [yO]的情況下(InferredMergeFlag的值為“I”的情況)，將 merge_flag[x0] [yO]推測為“I”。即，merge_flag[xO] [yO]表示是否使用合并模式。在此，合并模式指的是從編碼對象塊的鄰接塊拷貝運動矢量及參照圖片索引并進行編碼對象塊的編碼的模式。
[0281]該merge_flag 作為 syntax 被數(shù)據(jù)構(gòu)造化為〃Prediction unit〃。即，按每個 PU設(shè)定merge_flag。在圖像解碼裝置中，基于該數(shù)據(jù)構(gòu)造的語法來解釋比特序列。
[0282]圖16A及圖16B是表示對于merge_flag的驗證結(jié)果的表。
[0283]圖16A表示使用(模式2) I個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結(jié)果。圖16B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結(jié)果。
[0284]另外，圖16A及圖16B所示的驗證結(jié)果與第I驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外,評價值的意義與第I驗證是同樣的。
[0285]根據(jù)該結(jié)果，結(jié)果與上述第I驗證的split_coding_unit_flag及第2驗證的skip_flag不同，關(guān)于該merge_flag,作為上下文模型的模式而在模式I與模式2或模式3之間不發(fā)生BD-rate的較大的差。
[0286]因而，上下文控制部142及242在混合存在多個信號種類的控制參數(shù)的環(huán)境中，特別在信號種類是merge_flag的情況下，決定作為鄰接塊而不利用上塊的上下文值。即，上下文控制部142及242在控制參數(shù)的信號種類是merge_flag的情況下，使用模式2或模式3決定上下文值。換言之，上述第I種類包括〃split_coding_unit_flag〃或〃skip_flag〃，上述第2種類或第3種類包括〃merge_flag〃。由此，有關(guān)本實施方式的圖像編碼裝置及圖像解碼裝置能夠在抑制BD-rate值的下降的同時削減存儲器使用量。
[0287]另外，在將與merge_f lag對應(yīng)的模式2與模式3比較的情況下，在它們的BD-rate中不發(fā)生較大的差。由此，對于merge_flag更優(yōu)選的是使用模式3。由此,能夠?qū)崿F(xiàn)進一步的存儲器使用量的削減及處理量的削減。
[0288]在此，比較merge_flag與skip_flag時存在以下區(qū)別:在跳躍時不發(fā)送運動矢量的殘差數(shù)據(jù)，但是在合并模式時發(fā)送運動矢量的殘差數(shù)據(jù)。由此，對于merge_flag，即使使用的上下文不是最優(yōu)的，通過使用該殘差數(shù)據(jù)的處理，也能夠一定程度上彌補由未能使用最優(yōu)的上下文而導(dǎo)致的畫質(zhì)降低。最優(yōu)，能夠抑制畫質(zhì)的降低。
[0289]以上，對有關(guān)本發(fā)明的實施方式的圖像編碼裝置及圖像解碼裝置進行了說明，但本發(fā)明并不限定于該實施方式。
[0290]例如，也可以將有關(guān)上述實施方式I~3的圖像編碼裝置、圖像解碼裝置及它們的變形例的功能中的至少一部分組合。
[0291]此外，在上述中使用的數(shù)字及邏輯值全部是為了具體地說明本發(fā)明而例示的，本發(fā)明并不受例示的數(shù)字限制。
[0292]此外，框圖中的功能塊的分割是一例，也可以將多個功能塊作為一個功能塊實現(xiàn)，或?qū)⒁粋€功能塊分割為多個，或?qū)⒁徊糠值墓δ苻D(zhuǎn)移到其他功能塊中。此外，也可以是單一的硬件或軟件將具有類似的功能的多個功能塊的功能并行或分時處理。
[0293]此外，上述圖像編碼裝置的圖像編碼方法及圖像解碼裝置的圖像解碼方法中的執(zhí)行各步驟的順序是為了具體地說明本發(fā)明而例示的，也可以是上述以外的順序。此外，上述步驟的一部分也可以與其他步驟同時(并行)執(zhí)行。
`[0294](實施方式4)
[0295]通過將用來實現(xiàn)上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲介質(zhì)中，能夠?qū)⑸鲜龈鲗嵤┓绞剿镜奶幚碓讵毩⒌挠嬎銠C系統(tǒng)中簡單地實施。存儲介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲器等，只要是能夠記錄程序的介質(zhì)就可以。
[0296]進而，這里說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編碼解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當變更。
[0297]圖19是表示實現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0298]該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話網(wǎng)exl04、及基站 exl07 ~exllO 連接著計算機 exlll、PDA (Personal Digital Assistant)exll2、照相機exll3、便攜電話exll4、游戲機exll5等的各設(shè)備。
[0299]但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖19那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl07~exllO將各設(shè)備直接連接在電話網(wǎng)exl04上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。
[0300]照相機ex113是能夠進行數(shù)字攝像機等的運動圖像攝影的設(shè)備，照相機exll6是能夠進行數(shù)字照相機等的靜止圖像攝影、運動圖像攝影的設(shè)備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機、或 PHS(Personal Handyphone System)等，是哪種都可以。
[0301]在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機exll3等經(jīng)由基站exl09、電話網(wǎng)exl04連接在流媒體服務(wù)器exl03上，能夠進行現(xiàn)場轉(zhuǎn)播等。在現(xiàn)場轉(zhuǎn)播中，對用戶使用照相機exll3攝影的內(nèi)容(例如音樂會現(xiàn)場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對有請求的客戶端進行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計算機exlll、PDAexll2、照相機exll3、便攜電話exll4、游戲機exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。
[0302]另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機exll3進行，也可以由進行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器exl03進行，也可以相互分擔進行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進行，也可以由流媒體服務(wù)器exl03進行，也可以相互分擔進行。此外，并不限于照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數(shù)據(jù)經(jīng)由計算機exlll向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機exll6、計算機exlll、流媒體服務(wù)器exl03的哪個進行都可以，也可以相互分擔進行。
[0303]此外，這些編碼解碼處理一般在計算機exlll或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將運動圖像編碼解碼用的軟件裝入到能夠由計算機exlll等讀取的某些記錄介質(zhì)(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進行編碼解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數(shù)據(jù)發(fā)送。此時的運動圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。
[0304]此外，也可以是，流媒體服務(wù)器exl03是多個服務(wù)器或多個計算機，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。
[0305]如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實時地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個人廣播。
[0306]另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖20所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實施方式中說明的運動圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)。
[0307]此外，也可以是，在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機頂盒ex217內(nèi)安裝運動圖像解碼裝置，將其用電視機的監(jiān)視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內(nèi)裝入運動圖像解碼裝置。
[0308]圖21是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘柼幚聿縠x306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。
[0309]此外，電視機ex300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發(fā)明的一個方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號處理部ex306 ;具有將解碼后的聲音信號輸出的揚聲器ex307及顯示解碼后的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合并控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲元件電氣地進行信息的記錄的結(jié)構(gòu)。電視機ex300的各部經(jīng)由同步總線相互連接。
[0310]首先，對電視機ex300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進行說明。電視機ex300接受 來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進而，電視機ex300將分離的聲音數(shù)據(jù)用聲音信號處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼后的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩沖器ex318、ex319等中，以使聲音信號和影像信號同步再現(xiàn)。此外，電視機ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼后的聲音信號、影像信號用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時，可以暫時將這些信號儲存到緩沖器ex320、ex321等中，以使聲音信號和影像信號同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩沖器的結(jié)構(gòu)。進而，在圖示以外，也可以是，在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲存數(shù)據(jù)。
[0311]此外，電視機ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機的AV輸入的結(jié)構(gòu)，對從它們中取得的數(shù)據(jù)進行編碼處理。另外，這里，將電視機ex300作為能夠進行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。
[0312]此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
[0313]作為一例，將從光盤進行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖22中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現(xiàn)信號放大，將記錄在記錄介質(zhì)ex215中的信號成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時保持。盤馬達ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406 —邊控制盤馬達ex405的旋轉(zhuǎn)驅(qū)動一邊使光頭ex401移動到規(guī)定的信息軌道，進行激光斑的追蹤處理。系統(tǒng)控制部ex407進行信息再現(xiàn)/記錄部 ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進行新的信息的生成、追加、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動作、一邊通過光頭ex401進行信息的記錄再現(xiàn)來實現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。
[0314]以上，假設(shè)光頭ex401照射激光斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結(jié)構(gòu)。
[0315]在圖23中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠內(nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。[0316]以上，舉I層的DVD、BD等的光盤為例進行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現(xiàn)的構(gòu)造的光盤。
[0317]此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的車載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)運動圖像。另外，車載導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖21所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計算機exlll及便攜電話exll4等中也可以考慮同樣的結(jié)構(gòu)。
[0318]圖24A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。
[0319]進而，使用圖24B對便攜電話exl 14的結(jié)構(gòu)例進行說明。便攜電話exl 14對于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經(jīng)由總線ex370相互連接。
[0320]電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對各部供給電力，便攜電話exll4起動為能夠動作的狀態(tài)。
[0321]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數(shù)字聲音信號，將其用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語音通話模式時，將由天線ex350接收到的接收數(shù)據(jù)放大并實施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。
[0322]進而，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350o
[0323]在數(shù)據(jù)通信模式時， 在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發(fā)明的一個方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。
[0324]復(fù)用/分離部ex353通過規(guī)定的方式，對從影像信號處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號處理部ex354供給的編碼后的聲音數(shù)據(jù)進行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進行波譜擴散處理，由發(fā)送/接收部ex351實施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。
[0325]在數(shù)據(jù)通信模式時接收到鏈接到主頁等的運動圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應(yīng)的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發(fā)明的一個方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼,從聲音輸出部ex357輸出聲音。
[0326]此外，上述便攜電話exll4等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。
[0327]這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
[0328]此外，本發(fā)明并不限定于這樣`的上述實施方式，能夠不脫離本發(fā)明的范圍而進行各種變形或修正。
[0329](實施方式5)
[0330]也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據(jù)MPEG - 2、MPEG4 — AVC、VC — I等不同的標準的運動圖像編碼方法或裝置根據(jù)需要而適當切換,來生成影像數(shù)據(jù)。
[0331]這里，在生成分別依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下，在解碼時，需要選擇對應(yīng)于各個標準的解碼方法。但是，由于不能識別要解碼的影像數(shù)據(jù)依據(jù)哪個標準，所以產(chǎn)生不能選擇適當?shù)慕獯a方法的問題。
[0332]為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個標準的識別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG - 2傳輸流形式的數(shù)字流。
[0333]圖25是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖25所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個以上進行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 I等標準的運動圖像編碼方法或裝置編碼。音頻流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。[0334]包含在復(fù)用數(shù)據(jù)中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到OxlllF，對演示圖形分配0x1200到0xl21F，對交互圖形流分配0x1400到0xl41F，對在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0335]圖26是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個視頻幀構(gòu)成的視頻流ex235、由多個音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到I條流中而構(gòu)成。
[0336]圖27更詳細地表示在PES包序列中怎樣保存視頻流。圖27的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖27的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時刻的 DTS (Decoding Time-Stamp)?
[0337]圖28表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對于TS包賦予4字節(jié)的TP_Extra_Header,構(gòu)成192字節(jié)的源包,寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時刻。在復(fù)用數(shù)據(jù)中，源包如圖28下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號碼被稱作SPN (源包號)。
[0338]此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為O。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時間軸的STC (System Time Clock)的同步，擁有與該PCR包被轉(zhuǎn)送至解碼器的ATS對應(yīng)的STC時間的信息。
[0339]圖29是詳細地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數(shù)據(jù)的長度等的PMT頭。在其后面，配置有多個關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。[0340]在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。
[0341]復(fù)用數(shù)據(jù)信息文件如圖30所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對一地對應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。
[0342]復(fù)用數(shù)據(jù)信息如圖30所示，由系統(tǒng)速率、再現(xiàn)開始時刻、再現(xiàn)結(jié)束時刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時刻設(shè)定為對復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。
[0343]流屬性信息如圖31所示，按每個PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對應(yīng)于哪種語言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
[0344]在本實施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識別通過在上述各實施方式中示出 的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標準的影像數(shù)據(jù)。
[0345]此外，在圖32中表示本實施方式的運動圖像解碼方法的步驟。在步驟exSlOO中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的復(fù)用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的標準的運動圖像解碼方法進行解碼。
[0346]這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標準的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。
[0347](實施方式6)
[0348]在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現(xiàn)。作為一例，在圖33中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對各部供給電力，起動為能夠動作的狀態(tài)。
[0349]例如在進行編碼處理的情況下，LSIex500基于具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風(fēng)exl 17及照相機exl 13等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中?；诳刂撇縠x501的控制，將儲存的數(shù)據(jù)根據(jù)處理量及處理速度適當?shù)胤譃槎啻蔚龋蛐盘柼幚聿縠x507發(fā)送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這里，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據(jù)情況而進行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時，可以暫時將數(shù)據(jù)儲存到緩沖器ex508中以使其同步。
[0350]另外，在上述中，設(shè)存儲器ex511為LSIex500的外部的結(jié)構(gòu)進行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個，也可以具備多個緩沖器。此外，LSIex500既可以形成I個芯片，也可以形成多個芯片。
[0351 ] 此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅(qū)動頻率控制部ex512等,但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如,也可以是信號處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。
[0352]另外，這里設(shè)為L SI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(super)LS1、特級(ultra)LSI的情況。
[0353]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
[0354]進而，如果因半導(dǎo)體技術(shù)的進步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當然也可以使用該技術(shù)進行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。
[0355](實施方式7)
[0356]在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標準的影像數(shù)據(jù)的情況相比處理量會增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的標準的影像數(shù)據(jù)解碼時的CPUex502的驅(qū)動頻率更高的驅(qū)動頻率。但是，如果將驅(qū)動頻率設(shè)得高，則發(fā)生消耗電力變高的問題。
[0357]為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置采用識別影像數(shù)據(jù)依據(jù)哪個標準、并根據(jù)標準切換驅(qū)動頻率的結(jié)構(gòu)。圖34表示本實施方式的結(jié)構(gòu)ex800。驅(qū)動頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅(qū)動頻率設(shè)定得高。并且，對執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標準的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動頻率設(shè)定得低。并且，對依據(jù)以往的標準的解碼處理部ex802指示將影像數(shù)據(jù)解碼。
[0358]更具體地講，驅(qū)動頻率切換部ex803由圖33的CPUex502和驅(qū)動頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標準的解碼處理部ex802對應(yīng)于圖33的信號處理部ex507。CPUex502識別影像數(shù)據(jù)依據(jù)哪個標準。并且，基于來自CPUex502的信號，驅(qū)動頻率控制部ex512設(shè)定驅(qū)動頻率。此外，基于來自CPUex502的信號，信號處理部ex507進行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識別中使用例如在實施方式5中記載的識別信息。關(guān)于識別信息，并不限定于在實施方式5中記載的信息，只要是能夠識別影像數(shù)據(jù)依據(jù)哪個標準的信息就可以。例如，在基于識別影像數(shù)據(jù)利用于電視機還是利用于盤等的外部信號，來能夠識別影像數(shù)據(jù)依據(jù)哪個標準的情況下，也可以基于這樣的外部信號進行識別。此外，CPUex502的驅(qū)動頻率的選擇例如可以考慮如圖36所示的將影像數(shù)據(jù)的標準與驅(qū)動頻率建立對應(yīng)的查找表進行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動頻率。
[0359]圖35表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復(fù)用數(shù)據(jù)中取得識別信息。接著，在步驟exS201中，在CPUex502中，基于識別信息識別影像數(shù)據(jù)是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得高的信號。并且，在驅(qū)動頻率控制部ex512中設(shè)定為高的驅(qū)動頻率。另一方面，在表示是依據(jù)以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的標準的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動頻率控制部ex512發(fā)送將驅(qū)動頻率設(shè)定得低的信號。并且，在驅(qū)動頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動頻率。
[0360]進而，通過與驅(qū)動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進一步提高節(jié)電效果。例如，在將驅(qū)動頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動頻率設(shè)定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。
[0361]此外，驅(qū)動頻率的設(shè)定方法只要是在解碼時的處理量大的情況下將驅(qū)動頻率設(shè)定得高、在解碼時的處理量小的情況下將驅(qū)動頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4 — AVC標準的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進行驅(qū)動頻率的設(shè)定。
[0362]進而，驅(qū)動頻率的設(shè)定方法并不限定于使驅(qū)動頻率低的結(jié)構(gòu)。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的標準的影像數(shù)據(jù)的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動停止，在表示是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標準的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的影像數(shù)據(jù)的情況相比，將停止時間設(shè)定得短。
[0363]這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標準來切換驅(qū)動頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長電池的壽命。
[0364](實施方式8)
[0365]在電視機、便攜電話等上述的設(shè)備、系統(tǒng)中，有時被輸入依據(jù)不同的標準的多個影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標準的多個影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應(yīng)于多個標準。但是，如果單獨使用對應(yīng)于各個標準的信號處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。
[0366]為了解決該問題，采用將用來執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標準的解碼處理部一部分共用的結(jié)構(gòu)。圖37A的ex900表示該結(jié)構(gòu)例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據(jù)MPEG4 - AVC標準的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通。可以考慮如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用對應(yīng)于MPEG4 - AVC標準的解碼處理部ex902，關(guān)于不對應(yīng)于MPEG4 — AVC標準的本發(fā)明的一個方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。特別是，本發(fā)明的一個方式在算術(shù)解碼方面具有特征，因此可以考慮例如對于算術(shù)解碼使用專用的解碼處理部ex901，對于除此之外的逆 量化、解塊濾波、運動補償中的某一個或者全部的處理，共用解碼處理部。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關(guān)于MPEG4 - AVC標準所特有的處理內(nèi)容，使用專用的解碼處理部。
[0367]此外，用圖37B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個方式所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exlOOl、和與其他的以往標準所特有的處理內(nèi)容對應(yīng)的專用的解碼處理部exl002、和與在本發(fā)明的一個方式的運動圖像解碼方法和其他的以往標準的運動圖像解碼方法中共通的處理內(nèi)容對應(yīng)的共用的解碼處理部exl003的結(jié)構(gòu)。這里,專用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個方式、或者其他的以往標準所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIeX500安裝本實施方式的結(jié)構(gòu)。
[0368]這樣，對于在本發(fā)明的一個方式的運動圖像解碼方法和以往的標準的運動圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
[0369]產(chǎn)業(yè)上的可利用性
[0370]本發(fā)明能夠應(yīng)用在圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中，特別能夠在進行算術(shù)編碼及算術(shù)解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中利用。
[0371]標號說明
[0372]100圖像編碼裝置
[0373]101控制部
[0374]102差分部
[0375]103變換及量化部
[0376]104可變長編碼部
[0377]105逆量化及逆變換部
[0378]106、206 加法部
[0379]107,207面內(nèi)預(yù)測部
[0380]108、208面間預(yù)測部
[0381]109,209 開關(guān)
[0382]121輸入圖像信號
[0383]122、125、225 殘差信號
[0384]123、223量化變換系數(shù)
[0385]124比特流
[0386]126復(fù)原圖像信號
[0387]127、128、129、227、228 預(yù)測圖像信號
[0388]130,230 控制參數(shù)
[0389]141 二值化部
[0390]142,242上下文控制部
[0391]143 二值算術(shù)編碼部
[0392]151,251 二值排列
[0393]152,252上下文索引 [0394]200圖像解碼裝置
[0395]201控制部
[0396]202可變長解碼部
[0397]204逆量化部
[0398]205逆變換部
[0399]224正交變換系數(shù)
[0400]226解碼圖像信號
[0401]229圖像信號
[0402]241多值化部
[0403]243 二值算術(shù)解碼部
【權(quán)利要求】
1.一種圖像解碼方法，使用算術(shù)解碼，包括以下步驟: 上下文控制步驟，在多個上下文中，決定對處理對象塊使用的上下文； 算術(shù)解碼步驟，使用被決定的上述上下文，對下述比特序列進行算術(shù)解碼，由此將二值排列復(fù)原，該比特序列是通過對控制參數(shù)進行算術(shù)編碼而得到的、與上述處理對象塊對應(yīng)的比特序列；以及 多值化步驟，通過將上述二值排列多值化，將上述控制參數(shù)復(fù)原； 在上述上下文控制步驟中， 判斷上述處理對象塊的控制參數(shù)的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數(shù)的第I條件，決定上述上下文， 在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數(shù)的第2條件，決定上述上下文。
2.如權(quán)利要求1所述的圖像解碼方法， 上述第2條件是既不利用上述上塊的已解碼的控制參數(shù)也不利用上述左塊的已解碼的控制參數(shù)的條件。
3.如權(quán)利要求2所述的圖像解碼方法， 在上述上下文控制步驟中`，在上述信號種類是上述第2種類的情況下，作為上述第2條件，將預(yù)先設(shè)定的上下文決定為在上述對象塊的算術(shù)解碼中使用的上下文。
4.如權(quán)利要求2所述的圖像解碼方法， 在上述信號種類是上述第2種類的情況下，作為上述第2條件，根據(jù)上述處理對象塊的控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度決定上述上下文。
5.如權(quán)利要求1~4中任一項所述的圖像解碼方法， 在上述上下文控制步驟中，進而， 基于上述處理對象塊的位置，判斷在解碼時是否能夠利用上述上塊的控制參數(shù)， 在不能利用上述上塊的控制參數(shù)的情況下，使用上述第2條件決定上述上下文。
6.如權(quán)利要求5所述的圖像解碼方法， 在上述上下文控制步驟中，在上述處理對象塊屬于切片邊界的情況下，判斷為在解碼時不能利用上述上塊的控制參數(shù)。
7.如權(quán)利要求5所述的圖像解碼方法， 在上述上下文控制步驟中，根據(jù)上述處理對象塊的控制參數(shù)所屬的數(shù)據(jù)單位的層級的深度，判斷在解碼時是否能夠利用上述上塊的控制參數(shù)。
8.如權(quán)利要求1~7中任一項所述的圖像解碼方法， 上述第2種類是具有預(yù)先設(shè)定的數(shù)據(jù)構(gòu)造的控制參數(shù)。
9.如權(quán)利要求1~8中任一項所述的圖像解碼方法， 在上述上下文控制步驟中，進而， 基于第I單位的控制參數(shù)的值，針對比上述第I單位小的第2單位的控制參數(shù)，切換是使用上述第I條件來決定上述上下文、還是使用上述第2條件來決定上下文。
10.如權(quán)利要求1~9中任一項所述的圖像解碼方法，上述第I種類是〃split_coding_unit_flag即分割編碼單元標志〃或〃skip_flag即跳過標志"， 上述第2種類是〃merge_flag即合并標志〃。
11.如權(quán)利要求10所述的圖像解碼方法， 上述〃split_coding_unit_flag〃表示上述處理對象塊是否被分割為多個塊， 上述〃skip_flag〃表示是否跳過上述處理對象塊， 上述〃merge_flag〃表示是否對上述處理對象塊使用合并模式。
12.如權(quán)利要求1~11中任一項所述的圖像解碼方法， 上述圖像解碼方法根據(jù)編碼信號中包含的表示第I標準或第2標準的識別符，對依據(jù)上述第I標準的解碼處理與依據(jù)上述第2標準的解碼處理進行切換； 在上述ID表示第I標準的情況下，作為依據(jù)上述第I標準的解碼處理，進行上述上下文控制步驟、上述算術(shù)解碼步驟和上述多值化步驟。
13.一種圖像編碼方法，使用算術(shù)編碼，包括以下步驟: 二值化步驟，通過將處理對象塊的控制參數(shù)二值化，生成二值排列； 上下文控制步驟，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術(shù)編碼步驟，通過使用被決定的上述上下文對上述二值排列進行算術(shù)編碼，生成比特序列； 在上述上下文控制步驟中， 判斷上述處理對象塊的控制參數(shù)的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的控制參數(shù)的第I條件，決定上述上下文，在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數(shù)的第2條件，決定上述上下文。
14.一種圖像解碼裝置，使用算術(shù)解碼，包括: 上下文控制部，在多個上下文中，決定在處理對象塊的算術(shù)解碼中使用的上下文； 算術(shù)解碼部，使用被決定的上述上下文，對下述比特序列進行算術(shù)解碼，由此將二值排列復(fù)原，該比特序列是通過對控制參數(shù)進行算術(shù)編碼而得到的、與上述處理對象塊對應(yīng)的比特序列；以及 多值化部，通過將上述二值排列多值化，將上述控制參數(shù)復(fù)原； 上述上下文控制部為: 判斷上述處理對象塊的控制參數(shù)的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的已解碼的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的已解碼的控制參數(shù)的第I條件，決定上述上下文， 在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數(shù)的第2條件，決定上述上下文。
15.一種圖像編碼裝置，使用算術(shù)編碼，包括: 二值化部，通過將處理對象塊的控制參數(shù)二值化，生成二值排列； 上下文控制部，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術(shù)編碼部，通過使用被決定的上述上下文對上述二值排列進行算術(shù)編碼，生成比特序列； 上述上下文控制部為: 判斷上述處理對象塊的控制參數(shù)的信號種類， 在上述信號種類是第I種類的情況下，使用既利用與上述處理對象塊鄰接的左塊的控制參數(shù)又利用與上述處理對象塊鄰接的上塊的控制參數(shù)的第I條件，決定上述上下文，在上述信號種類是與上述第I種類不同的第2種類的情況下，使用不利用上述上塊的控制參數(shù)的第2條件，決定上述上下文。
16.一種圖像編碼解碼裝置，包括: 權(quán)利要求14所述的圖像解碼裝置；以及 權(quán)利要求15所述的 圖像編碼裝置。
【文檔編號】H04N19/176GK103609113SQ201280025624
【公開日】2014年2月26日 申請日期:2012年6月22日 優(yōu)先權(quán)日:2011年6月23日
【發(fā)明者】笹井壽郎, 西孝啟, 柴原陽司, 杉尾敏康, 谷川京子, 松延徹 申請人:松下電器產(chǎn)業(yè)株式會社