運動圖像編碼裝置及方法、運動圖像解碼裝置及方法
【專利說明】
[0001 ] 本申請是申請?zhí)枮?01180047243.5,申請日為2011年7月21日，發(fā)明名稱為"運動 圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法W及運動圖像解碼方法"的分案申 請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及對運動圖像高效地進(jìn)行編碼的運動圖像編碼裝置W及運動圖像編碼 方法、和對被高效地編碼的運動圖像進(jìn)行解碼的運動圖像解碼裝置W及運動圖像解碼方 法。
【背景技術(shù)】
[0003] 例如，在MPEG(Moving Picture Experts Gro叩，運動圖像專家組）、"ITU - T H.26X"等國際標(biāo)準(zhǔn)影像編碼方式中，將輸入影像帖分割為矩形的塊(編碼對象塊），針對該 編碼對象塊，實施使用已編碼的圖像信號的預(yù)測處理，從而生成預(yù)測圖像，按照塊單位對作 為該編碼對象塊與預(yù)測圖像的差分的預(yù)測誤差信號進(jìn)行正交變換、量化處理，從而進(jìn)行信 息壓縮。
[0004] 例如，在作為國際標(biāo)準(zhǔn)方式的AVC/H.264(IS0/IEC 14496-10 IITU-T H. 264)中， 根據(jù)已編碼的附近像素進(jìn)行帖內(nèi)（intra)預(yù)測處理，或者進(jìn)行接近帖之間的運動補償預(yù)測 處理(例如，參照非專利文獻(xiàn)1)。
[000引在MPEG-4AVC/H.264中，在亮度的帖內(nèi)預(yù)測模式中，能夠按照塊單位，從多個預(yù)測 模式之中選擇1個預(yù)測模式。
[0006] 圖10是示出亮度的塊尺寸是4X4像素時的帖內(nèi)預(yù)測模式的說明圖。
[0007] 在圖10中，白色的圓是編碼對象的塊內(nèi)的像素。黑色的圓是預(yù)測中使用的像素，是 已編碼的鄰接塊內(nèi)的像素。
[000引在圖10中，作為帖內(nèi)預(yù)測模式，準(zhǔn)備了9個模式0~模式8,其中模式2是進(jìn)行平均值 預(yù)測的模式，用上面和左邊的塊的鄰接像素的平均值來預(yù)測編碼對象塊內(nèi)的像素。
[0009] 模式2W外的模式是進(jìn)行方向性預(yù)測的模式。模式0是垂直方向預(yù)測，通過將上面 的塊的鄰接像素在垂直方向上重復(fù)而生成預(yù)測圖像。例如，在縱條紋圖案時選擇模式0。
[0010] 模式1是水平方向預(yù)測，通過將左邊的塊的鄰接像素在水平方向上重復(fù)而生成預(yù) 測圖像。例如，在橫條紋圖案時選擇模式1。
[0011] 模式3~模式8使用上面或者左邊的塊的鄰接像素，在規(guī)定的方向（箭頭表示的方 向）上生成插值像素來生成預(yù)測圖像。
[001 ^ 應(yīng)用帖內(nèi)預(yù)測的亮度的塊尺寸可W從4 X 4像素、8 X 8像素、16 X 16像素中選擇，在 8 X 8像素的情況下，與4 X 4像素的情況同樣地規(guī)定了9個帖內(nèi)預(yù)測模式。
[OOU]在16X16像素的情況下，規(guī)定了 4個帖內(nèi)預(yù)測模式巧均值預(yù)測、垂直方向預(yù)測、水 平方向預(yù)測、平面預(yù)測）。
[0014]平面預(yù)測是將在斜向方向上對上面的塊的鄰接像素和左邊的塊的鄰接像素進(jìn)行 內(nèi)插插值而生成的像素作為預(yù)測值的模式。
[001引在塊尺寸為4X4像素或者8X8像素時的方向性預(yù)測模式下，例如在45度等根據(jù)模 式而預(yù)先規(guī)定的方向上生成預(yù)測值，所W在塊內(nèi)的目標(biāo)的邊界(邊緣)的方向與預(yù)測模式表 示的方向一致的情況下，預(yù)測效率變高而能夠削減代碼量。
[0016]但是，只要在邊緣的方向與預(yù)測模式表示的方向之間稍微地產(chǎn)生偏差、或者即使 方向一致但編碼對象塊內(nèi)的邊緣稍微地失真(搖擺、彎曲等），就會局部地發(fā)生大的預(yù)測誤 差，預(yù)測效率極端地下降。
[0017]為了防止運樣的預(yù)測效率降低，在8X8像素的方向性預(yù)測中，通過將對已編碼的 鄰接像素實施平滑化濾波而得到的結(jié)果作為在預(yù)測圖像的生成時使用的參照圖像，從而生 成平滑化了的預(yù)測圖像，降低在產(chǎn)生了預(yù)測方向的稍微的偏差、在邊緣產(chǎn)生了稍微的失真 的情況下發(fā)生的預(yù)測誤差。
[001 引 非專利文獻(xiàn) 1:MPEG-4AVC(IS(VIEC 14496-IOVmj-T H.264規(guī)格

【發(fā)明內(nèi)容】

[0019] W往的圖像編碼裝置如W上那樣構(gòu)成，所W如果實施濾波處理而生成平滑化了的 預(yù)測圖像，則即使產(chǎn)生預(yù)測方向的稍微的偏差、在邊緣產(chǎn)生稍微的失真，也能夠降低所發(fā)生 的預(yù)測誤差。但是，在非專利文獻(xiàn)1中，除了8X8像素的塊W外不實施濾波處理，對8X8像素 的塊所使用的濾波器也只有一種。實際上，即使在8X8像素 W外的尺寸的塊中，也同樣地存 在如下問題：即使預(yù)測圖像和編碼對象圖像的圖樣類似，也會由于邊緣的稍微的不匹配而 局部地發(fā)生大的預(yù)測誤差，有時會產(chǎn)生預(yù)測效率的大幅降低。
[0020] 另外，存在如下課題：即使在同一尺寸的塊中，如果在對預(yù)測誤差信號進(jìn)行量化時 使用的量化參數(shù)、塊內(nèi)的像素的位置等不同，則適合于降低局部性的預(yù)測誤差的濾波器不 同，但僅準(zhǔn)備了一種濾波器，從而無法充分降低預(yù)測誤差。
[0021] 本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種能夠降低局部 地發(fā)生的預(yù)測誤差來提高圖像質(zhì)量的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編 碼方法W及運動圖像解碼方法。
[0022] 本發(fā)明設(shè)及的圖像解碼裝置具備帖內(nèi)預(yù)測單元，該帖內(nèi)預(yù)測單元在與編碼塊有關(guān) 的編碼模式是帖內(nèi)編碼模式的情況下，針對成為所述編碼塊的預(yù)測處理的單位的塊的每一 個實施與在該塊中使用的帖內(nèi)預(yù)測參數(shù)對應(yīng)的帖之內(nèi)預(yù)測處理，從而生成預(yù)測圖像;所述 帖內(nèi)預(yù)測單元按照所述帖內(nèi)預(yù)測參數(shù)，根據(jù)參照像素生成中間預(yù)測值，僅在所述塊內(nèi)的特 定的位置，將通過針對中間預(yù)測值的濾波處理而得到的值作為最終的預(yù)測值，在所述塊內(nèi) 的其它位置，將中間預(yù)測值作為最終的預(yù)測值。
[0023] 根據(jù)本發(fā)明，具備帖內(nèi)預(yù)測單元，該帖內(nèi)預(yù)測單元在與編碼塊有關(guān)的編碼模式是 帖內(nèi)編碼模式的情況下，針對成為所述編碼塊的預(yù)測處理的單位的塊的每一個實施與在該 塊中使用的帖內(nèi)預(yù)測參數(shù)對應(yīng)的帖之內(nèi)預(yù)測處理，從而生成預(yù)測圖像，所述帖內(nèi)預(yù)測單元 按照所述帖內(nèi)預(yù)測參數(shù)，根據(jù)參照像素生成中間預(yù)測值，僅在所述塊內(nèi)的特定的位置，將通 過針對中間預(yù)測值的濾波處理而得到的值作為最終的預(yù)測值，在所述塊內(nèi)的其它位置，將 中間預(yù)測值作為最終的預(yù)測值，所W具有如下效果:降低局部地發(fā)生的預(yù)測誤差，從而在運 動圖像解碼裝置側(cè)也能夠生成圖像質(zhì)量高的與在運動圖像編碼裝置側(cè)生成的帖內(nèi)預(yù)測圖 像相同的帖內(nèi)預(yù)測圖像。
【附圖說明】
[0024] 圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結(jié)構(gòu)圖。
[0025] 圖2是示出本發(fā)明的實施方式1的運動圖像解碼裝置的結(jié)構(gòu)圖。
[0026] 圖3是示出本發(fā)明的實施方式1的運動圖像編碼裝置的處理內(nèi)容的流程圖。
[0027] 圖4是示出本發(fā)明的實施方式1的運動圖像解碼裝置的處理內(nèi)容的流程圖。
[0028] 圖5是示出最大尺寸的編碼塊被層次性地分割為多個編碼塊的情況的說明圖。
[0029] 圖6(a)是示出分割后的分塊的分布的圖，（b)是通過4叉樹圖形示出對層次分割后 的分塊分配了編碼模式Hi(BD)的狀況的說明圖。
[0030] 圖7是示出在編碼塊護(hù)內(nèi)的各分塊Pi"中可選擇的帖內(nèi)預(yù)測參數(shù)(帖內(nèi)預(yù)測模式）的 一個例子的說明圖。
[0031] 圖8是示出在lin = nun = 4時、生成分塊Pi"內(nèi)的像素的預(yù)測值時使用的像素的一個 例子的說明圖。
[0032] 圖9是示出N=5的情況的參照像素配置的一個例子的說明圖。
[0033] 圖10是示出亮度的塊尺寸是4X4像素的情況的帖內(nèi)預(yù)測模式的說明圖。
[0034] (符號說明）
[0035] 1:編碼控制部(編碼控制單元）；2:塊分割部(塊分割單元）；3:切換開關(guān)(帖內(nèi)預(yù)測 單元、運動補償預(yù)測單元）；4:帖內(nèi)預(yù)測部(帖內(nèi)預(yù)測單元）；5:運動補償預(yù)測部(運動補償預(yù) 測單元）；6:減法部(差分圖像生成單元）；7:變換/量化部（圖像壓縮單元）；8:逆量化/逆變 換部;9:加法部；10:帖內(nèi)預(yù)測用存儲器；11:環(huán)路濾波器部；12:運動補償預(yù)測帖存儲器；13: 可變長編碼部(可變長編碼單元）；51:可變長解碼部(可變長解碼單元）；52:切換開關(guān)(帖內(nèi) 預(yù)測單元、運動補償預(yù)測單元）；53:帖內(nèi)預(yù)測部(帖內(nèi)預(yù)測單元）；54:運動補償預(yù)測部(運動 補償預(yù)測單元）；55:逆量化/逆變換部（差分圖像生成單元）；56:加法部(解碼圖像生成單 元）；57:帖內(nèi)預(yù)測用存儲器;58:環(huán)路濾波器部;59:運動補償預(yù)測帖存儲器。
【具體實施方式】
[0036] W下，為了更詳細(xì)地說明本發(fā)明，根據(jù)附圖，說明【具體實施方式】。
[0037] 實施方式1.
[0038] 在該實施方式1中，說明如下的運動圖像編碼裝置和運動圖像解碼裝置:該運動圖 像編碼裝置輸入影像的各帖圖像，并通過根據(jù)已編碼的附近像素實施帖之內(nèi)預(yù)測處理或者 在接近帖之間實施運動補償預(yù)測處理而生成預(yù)測圖像，并針對作為該預(yù)測圖像與帖圖像的 差分圖像的預(yù)測誤差信號通過正交變換/量化而實施了壓縮處理之后，進(jìn)行可變長編碼而 生成比特流，該運動圖像解碼裝置對從該運動圖像編碼裝置輸出的比特流進(jìn)行解碼。
[0039] 該實施方式1的運動圖像編碼裝置的特征在于，適應(yīng)于影像信號的空間/時間方向 的局部性的變化，將影像信號分割為各種尺寸的區(qū)域來進(jìn)行帖之內(nèi)/帖之間自適應(yīng)編碼。
[0040] -般情況下，影像信號具有空間/時間上信號的復(fù)雜度局部地發(fā)生變化的特性。在 空間上觀察時，在某特定的影像帖上，既存在天空、壁等那樣的在比較寬的圖像區(qū)域中具有 均勻的信號特性的圖樣，還混合存在人物或具有細(xì)致的紋理的繪畫等在小的圖像區(qū)域內(nèi)具 有復(fù)雜的紋理圖案的圖樣。
[0041] 在時間上觀察時，對于天空、壁而言，局部的時間方向的圖樣的變化小，但對于運 動的人物、物體而言，其輪廓在時間上進(jìn)行剛體/非剛體的運動，所W時間上的變化大。
[0042] 在編碼處理中，通過時間/空間上的預(yù)測來生成信號功率、賭小的預(yù)測誤差信號， 從而削減整體的代碼量，但如果能夠?qū)ΡM可能大的圖像信號區(qū)域均勻地應(yīng)用用于預(yù)測的參 數(shù)，則能夠減小該參數(shù)的代碼量。
[0043] 另一方面，如果針對時間上/空間上變化大的圖像信號圖案應(yīng)用同一預(yù)測參數(shù)，貝U 預(yù)測的錯誤增加，所W無法削減預(yù)測誤差信號的代碼量。
[0044] 因此，優(yōu)選針對時間上/空間上變化大的圖像信號圖案減小預(yù)測對象的區(qū)域，從而 即使增加用于預(yù)測的參數(shù)的數(shù)據(jù)量，也降低預(yù)測誤差信號的功率/賭。
[0045] 為了進(jìn)行運樣的適應(yīng)于影像信號的一般性的性質(zhì)的編碼，在該實施方式1的運動 圖像編碼裝置中，從規(guī)定的最大塊尺寸起層次性地分割影像信號的區(qū)域，針對每個分割區(qū) 域?qū)嵤╊A(yù)測處理、預(yù)測誤差的編碼處理。
[0046] 該實施方式1的運動圖像編碼裝置作為處理對象的影像信號除了由亮度信號和2 個色差信號構(gòu)成的YUV信號、從數(shù)字?jǐn)z像元件輸出的RGB信號等任意的顏色空間的彩色影像 信號W外，還有單色圖像信號、紅外線圖像信號等影像帖由水平/垂直二維的數(shù)字采樣(像 素)列構(gòu)成的任意的影像信號。
[0047] 各像素的灰度既可W是化k特，也可W是10比特、1化k特等的灰度。
[0048] 但是，在W下的說明中，只要沒有特別說明，設(shè)為所輸入的影像信號是YUV信號。另 夕h設(shè)為2個色差分量U、V相對亮度分量Y是被子采樣的4:2:0格式的信號。
[0049] 另外，將與影像的各帖對應(yīng)的處理數(shù)據(jù)單位稱為"圖片"，在該實施方式1中，W "圖 片"為被順序掃描(逐行掃描）的影像帖的信號而進(jìn)行說明。但是，在影像信號是隔行掃描信 號的情況下，"圖片"也可W是作為構(gòu)成影像帖的單位的場圖像信號。
[0050] 圖1是示出本發(fā)明的實施方式1的運動圖像編碼裝置的結(jié)構(gòu)圖。
[0051] 在圖1中，編碼控制部1實施如下處理:決定成為實施帖內(nèi)預(yù)