可。
[0121] 或者，假設在殘差的方差大的區(qū)域中二次采樣位置稀疏的情況下存在損失變大的 可能性，也能夠應用估計殘差的方差大的區(qū)域并以在該區(qū)域中密集地進行二次采樣的方式 決定二次采樣位置這樣的方法。
[0122] 在該情況下，例如，也能夠應用如下這樣的方法：也可以如上述的例子那樣通過預 測圖像的特征來估計區(qū)域，或者按照每個處理區(qū)域在預先確定的位置進行預先確定的數(shù)量 的二次采樣，在其中取得該被二次采樣的殘差值的方差，以在被認為是方差大的區(qū)域中進 一步密集地進行二次采樣的方式?jīng)Q定追加的二次采樣位置。
[0123] 此外，也可以將上述的方法組合。
[0124] 例如，也能夠應用如下這樣的方法：在預測圖像的輪廓部周圍進行預先確定的數(shù) 量的二次采樣，在其中取得該被二次采樣的殘差值的方差，以在被認為是方差大的區(qū)域中 進一步密集地進行二次采樣的方式?jīng)Q定追加的二次采樣位置。
[0125] 此外，也可以對二次采樣位置進行編碼并包含在碼數(shù)據(jù)中，也可以預先確定每個 處理區(qū)域的二次采樣位置圖案，也可以對該圖案的識別信息進行編碼并包含在碼數(shù)據(jù)中。
[0126] 此外，作為另外的方法，能夠應用針對所生成的低分辨率預測殘差的一部分位置 的像素通過對高分辨率預測殘差的殘差值進行二次采樣來生成、針對另外的位置的像素根 據(jù)高分辨率預測殘差的多個殘差值(殘差值的組）利用插值來生成的方法等。
[0127] 在此，在組內的像素的殘差值全部為某個閾值以下的情況下，能夠應用對組內的 像素的殘差值進行插值而作為低分辨率預測殘差等的方法。在該情況下，在解碼側低分辨 率預測殘差的殘差值為閾值以下的情況下，將該閾值的殘差與組內的全部像素對應起來等 的解碼方法等是可能的。
[0128] 關于此時的臨時解碼和解碼圖像刷新使用怎樣的方法都可以。在后面敘述詳細的 臨時解碼方法和刷新方法。
[0129] 接著，變換、量化部106對低分辨率預測殘差進行變換、量化，生成量化數(shù)據(jù)(步驟 S6)。關于該變換、量化，只要能夠在解碼側正確地進行逆量化、逆變換，則使用怎樣的方法 都可以。
[0130] 接著，如果變換、量化結束，則逆量化、逆變換部107對量化數(shù)據(jù)進行逆量化、逆變 換，生成解碼低分辨率預測殘差(步驟S7)。
[0131] 接著，臨時解碼部108根據(jù)在上述步驟S3中生成的高分辨率預測圖像和在上述步 驟S7中生成的解碼低分辨率預測殘差，生成臨時解碼圖像(步驟S8)。
[0132] 關于臨時解碼圖像的生成，使用怎樣的方法都可以。
[0133] 例如，能夠應用通過將解碼低分辨率預測殘差的各像素和與其對應的高分辨率預 測圖像的像素相加來生成的方法。在該情況下的對應關系可以是1對1，也可以是1對多。
[0134] 例如，也可以假設通過高分辨率預測殘差的二次采樣生成的殘差值與二次采樣位 置的像素一對一對應，也可以假設與相同的組的其它像素對應也可。或者，通過高分辨率預 測殘差的插值生成的殘差值與用于插值的像素全部對應也可。另外，是怎樣的對應關系都 可以。
[0135] 此外，在兩種以上的對應關系的種類混合的情況下也能夠應用。
[0136] 例如，可考慮如上述那樣針對低分辨率預測殘差的像素中的一部分像素通過二次 采樣處理來決定殘差值、此外針對另外的像素通過插值來決定殘差值的情況等。
[0137] 此外，將該對應關系作為預先確定的對應關系來決定也可，如上述那樣參照高分 辨率預測圖像或其它的信息來決定也可。或者，基于表示被編碼的對應關系的信息來決定 也可。
[0138] 此外，在所生成的臨時解碼圖像中，關于不具有對應的低分辨率預測殘差的像素 的臨時解碼像素的臨時解碼值，可以使用預測值，或者也可以對與低分辨率預測殘差對應 的像素的臨時解碼值進行插值來生成，特別地，也可以不設置臨時解碼值。
[0139] 或者，根據(jù)低分辨率預測殘差通過上采樣插值來生成高分辨率預測殘差，與高分 辨率預測圖像相加，由此，生成臨時解碼圖像也可。
[0140] 此外，在臨時解碼中也可以僅使用低分辨率預測殘差的一部分像素來進行臨時解 碼。例如，能夠應用僅對二次采樣殘差值的對應的像素進行解碼、在解碼圖像刷新中一邊參 照所插值的殘差值一邊對殘留的全部像素進行刷新等的方法。
[0141] 接著，如果臨時解碼結束，則刷新部109進行臨時解碼圖像的臨時解碼值的刷新 (更新)，生成高分辨率解碼圖像。此外，在環(huán)路濾波部110中，在進行環(huán)路濾波之后，作為參 照幀的塊存儲在參照幀存儲器111中（步驟S9)。關于刷新方法，使用怎樣的方法都可以。
[0142] 在此，說明在下采樣中對預測殘差值進行二次采樣并進行編碼的情況下的在臨時 解碼中針對一部分像素得到正確的解碼值的情況下的刷新方法。此外，將在該臨時解碼中 得到正確的解碼值的像素稱為已解碼像素，針對該像素不進行更新。此外，此時，將已解碼 像素以外的像素稱為臨時解碼像素。
[0143] 在最簡單的方法中，能夠應用僅通過已解碼像素的插值來決定臨時解碼像素的解 碼值的方法。
[0144] 此外，例如，也能夠應用將該已解碼像素的插值值作為第一臨時解碼值并將已解 碼像素的殘差值(解碼低分辨率預測殘差）的插值值與臨時解碼像素的預測值相加后的值 作為第二臨時解碼值、對兩者進行比較選擇合理的值等的方法。
[0145] 關于選擇，怎樣進行都可以。例如，能夠應用在產生作為由殘差的平均化造成的損 失而經(jīng)常看到的噪聲的部分中選擇第一臨時解碼值等方法。
[0146] 此外，在選擇時，也可以使用高分辨率預測圖像或其它的信息。
[0147] 關于一邊參照高分辨率預測圖像一邊決定臨時解碼像素的合理的解碼值那樣的 方法，能夠應用各種方法。
[0148] 例如，在鄰接的已解碼像素彼此的殘差值的差分大并且通過殘差插值或解碼值插 值來決定解碼值而伴隨平均化的損失是顯著的那樣的情況下，也能夠應用如下這樣的方 法：比較臨時解碼像素與周圍的鄰接已解碼像素的預測值距離(預測值的差)，基于靠近的 一方(差小的一方）的鄰接已解碼像素的殘差、解碼值來決定臨時解碼像素的解碼值。
[0149] 或者，也可以通過與預測值距離對應的加權來決定解碼值?；蛘撸部梢栽诒揉徑?更寬廣的范圍內進行推測。
[0150] 此外，在下采樣中參照高分辨率預測圖像來適合地決定二次采樣位置的情況下， 能夠應用在高分辨率預測圖像的輪廓部分等中將采樣密度取為高的情況下以上述的方法 或其它方法參照周圍的已解碼像素來進行刷新、而在采樣密度低的部分中參照代表的已解 碼像素來進行刷新等方法。代表像素可以是預先確定的位置的像素，也可以適合地決定。
[0151] 例如，也可以參照與刷新對象的臨時解碼像素距離最近的已解碼像素，也可以根 據(jù)臨時解碼像素的值來決定想要參照的已解碼像素。另外，能夠根據(jù)二次采樣位置的決定 方法應用各種刷新方法。
[0152] 進而，在下采樣中對一部分預測殘差值進行二次采樣、對一部分預測殘差值進行 插值而編碼的情況下等，例如，在基于插值殘差而給出刷新對象的臨時解碼像素的臨時解 碼值并且基于二次采樣殘差而給出已解碼像素時，也能夠應用對根據(jù)臨時解碼值和周圍的 已解碼像素利用上述方法或其它方法來求取的值進行比較而選擇合理的一個的方法等。
[0153] 另外，能夠根據(jù)二次采樣和插值的組合方式等應用各種刷新方法。
[0154] 在上述的例子中，使用預測值、殘差值、臨時解碼值等進行估計，但是，另外使用包 含在視頻碼數(shù)據(jù)中的哪一個能夠進行參照的值都可以。
[0155] 例如，在通過運動補償或視差補償進行預測的情況下，可考慮使用運動矢量或視 差矢量的情況等?；蛘撸趯CbCr的亮度分量實施RRU的情況下，也可以參照色差分量來 進行解碼，反過來也可以。
[0156] 以上為解碼圖像刷新方法的例子，但是，全都不限定于上述的例子，另外能夠使用 任意的方法。
[0157] 如果不需要環(huán)路濾波則也可以不特別地進行，但是，在通常的視頻編碼中，使用去 塊濾波或其它的濾波來除去編碼噪聲?；蛘撸部梢允褂糜糜诔ビ蒖RU造成的劣化的濾 波。此外，也可以與解碼圖像刷新同樣地或同時地適合地生成該環(huán)路濾波。
[0158] 接著，熵編碼部112對量化數(shù)據(jù)進行熵編碼來生成碼數(shù)據(jù)(步驟S10)。如果需要， 則也可以對預測信息或其它的附加信息進行編碼并包含到碼數(shù)據(jù)中。
[0159] 如果對全部塊結束處理(步驟S11 )，則輸出碼數(shù)據(jù)。
[0160] 接著，對視頻解碼裝置進行說明。圖3是示出本發(fā)明的第一實施方式的視頻解碼 裝置的結構的框圖。
[0161] 如圖3所示，視頻解碼裝置200具備：碼數(shù)據(jù)輸入部201 ;碼數(shù)據(jù)存儲器202 ;熵解 碼部203 ;逆量化、逆變換部204 ;預測部205 ;臨時解碼部206 ;刷新部207 ;環(huán)路濾波部208 以及參照幀存儲器209。
[0162] 碼數(shù)據(jù)輸入部201將成為解碼對象的視頻碼數(shù)據(jù)輸入到視頻解碼裝置200中。將 該成為解碼對象的視頻碼數(shù)據(jù)稱為解碼對象視頻碼數(shù)據(jù)，特別地，將進行處理的幀稱為解 碼對象幀或者解碼對象圖像。
[0163] 碼數(shù)據(jù)存儲器202對輸入的解碼對象視頻碼數(shù)據(jù)進行存儲。
[0164] 熵解碼部203對解碼對象幀的碼數(shù)據(jù)進行熵解碼，生成量化數(shù)據(jù)。
[0165] 逆量化、逆變換部204對該量化數(shù)據(jù)實施逆量化、逆變換，生成解碼低分辨率預測 殘差。
[0166] 預測部205對解碼對象圖像進行預測處理，生成高分辨率預測圖像。
[0167] 臨時解碼部206將在逆量化、逆變換部204中生成的解碼低分辨率預測殘差與在 預測部205中生成的高分辨率預測圖像相加來生成臨時解碼圖像。
[0168] 此時，在如上述那樣適合地決定二次采樣位置的情況下，在此也可以使用同樣的 方法決定低分辨率預測殘差的高分辨率中的對應位置。
[0169] 刷新部207根據(jù)預測部205輸出的高分辨率預測圖像(根據(jù)方法也使用解碼低分 辨率預測殘差）對臨時解碼圖像的未解碼像素進行刷新，生成高分辨率解碼圖像。
[0170] 環(huán)路濾波部208對生成的解碼幀（高分辨率解碼圖像)進行環(huán)路濾波，生成參照幀。
[0171] 參照幀存儲器209對生成的參照幀進行存儲。
[0172] 接著，參照圖4,說明圖3所示的視頻解碼裝置200的工作。圖4是示出圖3所示 的視頻解碼裝置200的工作的流程圖。
[0173] 在此說明對碼數(shù)據(jù)中的某1幀進行解碼的處理。能夠通過按照每個幀重復所說明 的處理來實現(xiàn)視頻的解碼。
[0174] 首先，碼數(shù)據(jù)輸入部201輸入碼數(shù)據(jù)并存儲在碼數(shù)據(jù)存儲器202中（步驟S21)。再 有，解碼對象視頻中的若干個幀已經(jīng)被解碼，并被存儲在參照幀存儲器209中。
[0175] 接著，進行將解碼對象幀分割成對象塊而按照每個塊對解碼對象幀的視頻信號進 行解碼的例程(步驟S22)。即，重復執(zhí)行到以下的步驟S23~S27為止的處理，直到幀內的全 部塊被依次處理。
[0176] 在按照每個解碼對象塊重復進行的處理中，首先，熵解碼部203對碼數(shù)據(jù)進行熵 解碼，在逆量化、逆變換部204中進行逆量化、逆變換，生成解碼低分辨率預測殘差(步驟 S23)〇
[0177] 在預測信息或其它的附加信息被包含在碼數(shù)據(jù)中的情況下，也可以對它們進行解 碼來生成適當需要的信息。
[0178] 接著，預測部205使用解碼對象塊和參照塊(或者參照幀)進行預測處理，生成高分 辨率預測圖像(步驟S24)。
[0179] 在通常的視頻編碼中，使用幀內預測或運動補償?shù)阮A測方法并將此時使用的預測 信息與視頻碼數(shù)據(jù)復用，但是，特別地，如果不使用預測信息就能夠進行預測，則也可以沒 有這樣的預測信息。
[0180] 接著，臨時解碼部206將在上述步驟S23中生成的解碼低分辨率預測殘差的對 應的像素與在上述步驟S24中生成的高分辨率預測圖像相加來生成臨時解碼圖像(步驟 S25)〇
[0181] 在解碼對象的碼數(shù)據(jù)實施二次采樣位置的適合的決