視頻編碼方法及裝置、視頻解碼方法及裝置以及它們的程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻編 碼程序以及視頻解碼程序。
[0002] 本申請基于在2012年9月25日申請的特愿2012 - 211156號要求優(yōu)先權(quán)，并將其 內(nèi)容引用于此。
【背景技術(shù)】
[0003] 在通常的視頻編碼中，利用被攝物的空間上/時間上的連續(xù)性將視頻的各幀分割 為成為處理單位的塊，按照每個塊在空間上/時間上對其視頻信號進行預測，對表示其預 測方法的預測信息和預測殘差進行編碼，由此，與對視頻信號本身進行編碼的情況相比，謀 求大幅度的編碼效率的提高。
[0004] RRU(ReducedResolutionUpdate，降低分辨率刷新）是通過在預測殘差的變換、 量化之前使圖像的至少一部分預測殘差的分辨率下降來謀求進一步的編碼效率的提高的 技術(shù)(例如，參照非專利文獻1)。由于在高分辨率基準下進行預測，此外在對低分辨率的預 測殘差進行解碼時應用上采樣處理（upsamplingprocess)，所以，能夠以高分辨率重新構(gòu) 成最終的圖像。
[0005] 該處理的結(jié)果是，雖然降低客觀上的品質(zhì)，但是，由于編碼對象比特的減少，結(jié)果 比特率提高。此外，對主觀品質(zhì)的影響與對客觀品質(zhì)的影響相比不大。
[0006] 已知該功能被ITU-TH. 263標準支持，在序列內(nèi)存在激烈的動態(tài)區(qū)域的情況下是 特別有效的。這是因為，通過利用RRU模式，從而能夠?qū)⒕幋a器的幀率維持得高，另一方面， 能夠良好地保持靜態(tài)區(qū)域等預測殘差的方差小的區(qū)域的分辨率和品質(zhì)。
[0007] 可是，關(guān)于動態(tài)區(qū)域等預測殘差的方差大的區(qū)域的品質(zhì)，存在在預測殘差的上采 樣精度上受到影響較大這樣的問題。因此，具有能夠消除這樣的問題點的用于RRU視頻編 碼和解碼的方法和裝置是優(yōu)選的且有效果的。
[0008] 在此，對自由視點視頻編碼進行說明。自由視點視頻是指通過使用許多拍攝裝置 從各種位置、角度對對象場景進行拍攝來取得場景的光線信息并以此為基礎(chǔ)對任意視點中 的光線信息進行恢復、由此生成從任意視點查看的視頻的視頻。
[0009] 場景的光線信息由各種數(shù)據(jù)形式表現(xiàn)，但是，作為最通常的形式，存在使用視頻和 該視頻的各幀中的被稱為深度圖（depthmap)的進深圖像的方式(例如，參照非專利文獻 2)〇
[0010] 深度圖是指按照每個像素來記述從攝像機到被攝物的距離(進深、深度）的圖， 是被攝物所具有的三維信息的簡單的表現(xiàn)。在從兩個攝像機對同一被攝物進行觀測 時，被攝物的深度值與攝像機間的視差的倒數(shù)成比例，因此，深度圖有時也被稱為視差圖 (disparitymap)(視差圖像）。
[0011] 與此相對地，有時也將深度圖所對應的攝像機的視頻稱為紋理（texture)。由于深 度圖是針對圖像的各像素的每一個具有一個值的表現(xiàn)，所以，能夠看作灰度（grayscale) 圖像來進行記述。
[0012] 此外，作為深度圖的時間上連續(xù)的記述的深度圖視頻(在以下無圖像/視頻的區(qū) 別地稱為深度圖）與視頻信號同樣地，由于被攝物的空間上/時間上的連續(xù)性，所以可以說 具有空間上、時間上的相關(guān)性。
[0013] 因此，通過為了對通常的視頻信號進行編碼而使用的視頻編碼方式，能夠一邊去 掉空間上/時間上的冗余性一邊高效地對深度圖進行編碼。
[0014] 通常在紋理與深度圖之間存在高的相關(guān)性，因此，在像自由視點視頻編碼那樣將 紋理與深度圖一起編碼的情況下，能夠利用兩者之間的相關(guān)性來實現(xiàn)進一步的編碼效率的 提尚。
[0015] 在非專利文獻3中，通過將用于兩者的編碼的預測信息(塊分割、運動矢量、參照 幀）共同化來消除冗余性，實現(xiàn)高效的編碼。
[0016] 現(xiàn)有技術(shù)文獻 非專利文獻 非專利文獻 1:A.M.Tourapis,J.Boyce,"ReducedResolutionUpdateModefor AdvancedVideoCoding"，ITU-TQ6/SG16，documentVCEG-V05，Munich, 2004 年 3 月； 非專利文獻 2 :Y.Mori,N.Fukusima,T.Fuji,andM.Tanimoto,"View Generationwith3DWarpingUsingDepthInformationforFTV"，InProceedingsof 3DTV-C0N2008,pp. 229 - 232，2008 年 5 月； 非專利文獻 3 :I.Daribo,C.Tillier,andB.P.Popescu,"MotionVector SharingandBitrateAllocationfor3DVideo-Plus-DepthCoding,"EURASIP JournalonAdvancesinSignalProcessing,vol. 2009,ArticleID258920, 13 pages, 2009。

【發(fā)明內(nèi)容】

[0017]發(fā)明要解決的課題 以往的RRU在不利用來自塊以外的任一個信息的情況下對各塊的預測殘差進行處理。 低分辨率預測殘差是根據(jù)高分辨率預測殘差利用基于采樣的相對位置的下采樣插值(二維 雙線性插值等)來計算的。為了取得解碼后的塊，該低分辨率預測殘差通過編碼、重新構(gòu)成、 上采樣插值而被恢復為高分辨率預測殘差并加至預測圖像。
[0018] 圖15A、15B是示出關(guān)于以往的RRU的相對于高分辨率預測殘差采樣的低分辨率預 測殘差采樣的空間配置和用于進行上采樣插值的計算例子的圖。
[0019] 在這些各圖中，白色圓圈表示高分辨率預測殘差采樣的配置，帶斜線的圓圈表示 低分辨率預測殘差采樣的配置。此外，各圓圈內(nèi)的字符a~e、A~D是像素值的例子，在圖內(nèi)示 出高分辨率預測殘差采樣的像素值a~e的每一個是如何根據(jù)周圍的低分辨率預測殘差采 樣的像素值A(chǔ)~D來計算的。
[0020] 在包含2個以上的殘差值彼此較大不同的采樣的塊中，利用伴隨該上采樣的插值 被重新構(gòu)成的殘差的精度降低而使解碼圖像的品質(zhì)下降。此外，通常在塊邊界部的上采樣 中僅利用塊內(nèi)的采樣，不會參照不同的塊的采樣。因此，有時由于插值精度而在塊邊界部產(chǎn) 生塊失真(在塊邊界附近特有的失真)。
[0021] 為了避免這樣的品質(zhì)下降、失真，考慮了改進用于殘差的上采樣插值的插值濾波 器這樣的方法，但是，存在通常難以完全恢復由于下采樣插值而損失的殘差信息這樣的問 題。
[0022] 本發(fā)明是鑒于這樣的情況而完成的，目的在于提供能夠避免RRU中的由預測殘差 上采樣造成的解碼圖像的品質(zhì)下降、塊失真并以全分辨率且良好的品質(zhì)對最終得到的解碼 圖像進行重新構(gòu)成的視頻編碼方法、視頻解碼方法、視頻編碼裝置、視頻解碼裝置、視頻編 碼程序以及視頻解碼程序。
[0023] 用于解決課題的手段 本發(fā)明提供一種視頻解碼方法，在對視頻的碼數(shù)據(jù)進行解碼時，將構(gòu)成所述視頻的各 幀分割成多個處理區(qū)域，按照每個所述處理區(qū)域進行預測解碼，所述視頻解碼方法具有：臨 時解碼步驟，生成根據(jù)低分辨率預測殘差臨時對圖像進行解碼后的臨時解碼圖像；以及解 碼圖像生成步驟，通過對所述臨時解碼圖像的解碼值進行更新來生成最終解碼圖像。
[0024] 在優(yōu)選例子中，其特征在于，還具有：插值采樣步驟，通過對具有所述低分辨率預 測殘差(該殘差被設(shè)定）的像素進行插值采樣的插值處理生成插值預測殘差，在所述臨時解 碼步驟中，基于所述插值預測殘差來生成所述臨時解碼圖像。
[0025] 在該情況下，在所述插值采樣步驟中，也可以進一步參照與所述視頻具有相關(guān)性 的輔助信息來進行所述插值處理。
[0026] 此外，在所述解碼圖像生成步驟中，也可以進一步參照與所述視頻具有相關(guān)性的 輔助信息來生成所述最終解碼圖像。
[0027] 在另一優(yōu)選例子中，其特征在于，還具有：殘差對應像素決定步驟，決定與具有所 述低分辨率預測殘差的各像素對應的所述臨時解碼圖像的各像素的對應位置關(guān)系，在所述 臨時解碼步驟中，基于所述對應位置關(guān)系對所述臨時解碼圖像的像素中的具有與所述低分 辨率預測殘差對應的像素的像素進行解碼，由此，生成所述臨時解碼圖像，在所述解碼圖像 生成步驟中，參照與所述低分辨率預測殘差的各像素對應的所述臨時解碼圖像的各像素的 解碼值來更新其它的像素的解碼值，由此，生成所述最終解碼圖像。
[0028] 在該情況下，在所述殘差對應像素決定步驟中，也可以預先確定所述對應位置關(guān) 系。
[0029] 此外，在所述殘差對應像素決定步驟中，也可以適合地決定所述對應位置關(guān)系。 [0030]在該情況下，在所述殘差對應像素決定步驟中，也可以參照與所述視頻具有相關(guān) 性的輔助信息來適合地決定所述對應位置關(guān)系。
[0031] 此外，在所述解碼圖像生成步驟中，也可以進一步參照與所述視頻具有相關(guān)性的 輔助信息來生成所述最終解碼圖像。
[0032] 此外，也可以還具有：插值采樣步驟，通過對具有所述低分辨率預測殘差的像素進 行插值采樣的插值處理生成插值預測殘差，在所述臨時解碼步驟中，基于所述對應位置關(guān) 系對所述臨時解碼圖像的像素中的具有與所述低分辨率預測殘差對應的像素的像素進行 解碼，針對不具有對應的像素的像素基于所述插值預測殘差進行解碼，由此，生成所述臨時 解碼圖像，在所述解碼圖像生成步驟中，參照與所述低分辨率預測殘差的各像素對應的所 述臨時解碼圖像的各像素的解碼值來更新其它的像素的解碼值，由此，生成所述最終解碼 圖像。
[0033] 在該情況下，在所述殘差對應像素決定步驟中，也可以預先確定所述對應位置關(guān) 系。
[0034] 此外，在所述殘差對應像素決定步驟中，也可以適合地決定所述對應位置關(guān)系。
[0035] 在該情況下，在所述殘差對應像素決定步驟中，也可以參照與所述視頻具有相關(guān) 性的輔助信息來適合地決定所述對應位置關(guān)系。
[0036] 此外，在所述解碼圖像生成步驟中，也可以進一步參照與所述視頻具有相關(guān)性的 輔助信息來生成所述最終解碼圖像。
[0037] 作為典型例子，所述輔助信息是所述視頻的預測圖像。
[0038] 作為另一典型例子，所述輔助信息是在所述視頻為由多個分量構(gòu)成的信號的情況 下的一部分分量。
[0039] 作為又一典型例子，其特征在于，所述輔助信息是與所述視頻具有相關(guān)性的輔助 視頻。
[0040] 在該情況下，所述輔助視頻也可以是將與所述視頻相同的場景作為對象的另外的 視頻。
[0041] 此外，所述輔助視頻也可以是在所述視頻為多視點視頻中的一個視點視頻的情況 下的其它的視點視頻。
[0042] 此外，所述輔助視頻也可以是與所述視頻對應的深度圖。
[0043] 此外，所述輔助視頻也可以是在所述視頻為深度圖的情況下的對應的紋理。
[0044] 作為又一典型例子，所述輔助信息也可以是根據(jù)與所述視頻具有相關(guān)性的輔助視 頻基于所述視頻的預測信息而生成的輔助視頻預測圖像，也可以還具有：輔助視頻預測圖 像生成步驟，根據(jù)所述輔助視頻基于所述視頻的預測信息來生成所述輔助視頻預測圖像。
[0045] 在該情況下，所述輔助信息也可以是根據(jù)所述輔助視頻和所述輔助視頻預測圖像 生成的輔助視頻預測殘差，也可以還具有：輔助視頻預測殘差生成步驟，根據(jù)所述輔助視頻 和所述輔助視頻預測圖像來生成所述輔助視頻預測殘差。
[0046] 作為又一典型例子，也可以還具有：解復用步驟，對所述碼數(shù)據(jù)進行解復用而分離 成輔助信息碼數(shù)據(jù)和視頻碼數(shù)據(jù)；以及輔助信息解碼步驟，對所述輔助信息碼數(shù)據(jù)進行解 碼來生成所述輔助信息。
[0047] 本發(fā)明此外還提供一種視頻編碼方法，在將構(gòu)成視頻的各幀分割成多個處理區(qū)域 而按照每個所述處理區(qū)域進行預測編碼時，對高分辨率預測殘差進行下采樣來生成低分辨 率預測殘差，所述視頻編碼方法具有：二次采樣步驟，通過僅對所述高分辨率預測殘差中的 一部分像素進行采樣的二次采樣處理生成二次采樣預測殘差；以及殘差下采樣步驟，將所 述二次采樣預測殘差作為所述低分辨率預測殘差。
[0048] 在優(yōu)選例子中，其特征在于，在