專利名稱：圖像處理裝置和方法
技術領域：
本發(fā)明涉及一種圖像處理裝置和方法，更具體地，涉及一種能夠進一步提高編碼效率的圖像處理裝置和方法。
背景技術：
近年來，在來自廣播站的信息分送和普通家庭處的信息接收兩者中，如下裝置變得普遍這些裝置符合諸如移動圖像專家組(MPEG)的方案以便數字地處置圖像信息，并且出于高效信息傳輸和積累的目的，通過諸如離散余弦變換的正交變換以及使用圖像信息特有的冗余的運動補償來壓縮數字圖像信息。特別地，MPEG2 (國際標準化組織(ISO) /國際電工委員會(IEC) 13818-2)被定義為通用圖像編碼方案，并且當前用在用于專業(yè)用戶和消費者的廣泛的多種應用中，涵蓋所有隔行掃描圖像和順次掃描圖像、以及標準分辨率圖像和高分辨率圖像兩者的標準。使用 MPEG2壓縮技術，例如通過將4至8Mbps的編碼量(位率)分配給具有720X480個像素的標準分辨率的隔行掃描圖像，并且將18至22Mbps的編碼量分配給具有1920 X 1088個像素的高分辨率的隔行掃描圖像，可以實現高壓縮比和有利的圖像質量。MPEG2主要以適于廣播的高分辨率編碼為目標，并且未涵蓋比MPEGl涵蓋的編碼量低的編碼量(位率)，就是說，不支持具有較高壓縮率的編碼方案。由于蜂窩電話的普及，推測未來對這種編碼方案的需要將增加，并且與這種推測對應，MPEG4編碼方案被標準化。關于圖像編碼方案的標準被核準作為國際標準，IS0/IEC 14496-2，1998年12月。此外，近年來H. 26KITU電信標準部(ITU_T)Q6/16視頻編碼專家組(VCEG))已被標準化，其最初旨在用于電視會議的圖像編碼的用途。較之諸如MPEG2或MPEG4的傳統的編碼方案，已知H. 26L方案用于實現較高的編碼效率，盡管其需要較大的計算量用于編碼和解碼。此外，作為MPEG4活動的一部分，基于H. 26L并且引入H. 26L不支持的功能，作為用于實現更高的編碼效率的增強壓縮視頻編碼的聯合模型的編碼方案當前正在標準化中。在2003年3月，以上方案以H. 264和MPEG4PartlO (高級視頻編碼(AVC))為名稱成為國際標準。此外，作為以上方案的擴展，保真度范圍擴展(FRExt)被標準化，其包括諸如RGB、4:2:2和4:4:4的商用編碼工具，由MPEG-2定義的8X8離散余弦變換(DCT)，以及量化矩陣。因此，產生了允許通過使用H. 264/AVC甚至來有利地表達電影中的影片噪聲的編碼方案，并且該方案用于各種應用，諸如藍光盤(商標)。然而，近來對用于壓縮約4000 X 2000個像素(這是高畫質圖像的像素數目的四倍)的圖像并且在諸如互聯網的具有有限的傳輸容量的環(huán)境中分送高畫質圖像的更高壓縮率的編碼的需要日益增加。為了滿足這些需要，在上述ITU-T下的VCEG上繼續(xù)進行用于提高編碼效率的討論。通過H. 264/AVC方案實現較之傳統的MPEG2方案等更高的編碼效率的因素之一是幀內預測處理。
在H. 264/AVC方案中，關于亮度信號的幀內預測模式包括九種具有4X4個像素和8X8個像素的塊的預測模式，以及四種具有16X16個像素的宏塊的預測模式。此外，關于色差信號的幀內預測模式包括四種具有8X8個像素的塊的預測模式。色差信號的幀內預測模式的設定可以與亮度信號的幀內預測模式無關。對于具有4X4個像素和8X8個像素的亮度信號的幀內預測模式，針對具有4X4個像素和8X8個像素的亮度信號的每個塊，定義一個幀內預測模式。對于具有16X16個像素的亮度信號的幀內預測模式以及色差信號的幀內預測模式，針對一個宏塊定義一個預測模式。近年來，已提出了用于進一步提高H. 264/AVC方案中的幀內預測效率的方法。(參見例如非專利文獻I和非專利文獻2)。 引用列表非專利文獻非專利文獻I :"Intra Prediction by Template Matching, "T. K. Tan etal, ICIP2006非專利文獻2:"Tools for Improving Texture and Motion Compensation, "MPEGWorkshop, Oct 2008

發(fā)明內容
本發(fā)明要解決的問題然而，H. 264/AVC方案提供的壓縮率仍不足，并且需要進一步減少壓縮中的信息?？紤]到前述情形，本發(fā)明的目的在于進一步提高編碼效率。對問題的解決方案本發(fā)明的一個方面是一種圖像處理裝置，其包括曲面參數生成部件，使用將經歷屏幕內編碼的圖像數據的處理目標塊的像素值，生成指示對處理目標塊的像素值進行近似的曲面的曲面參數；曲面生成部件，生成由曲面參數生成部件生成的曲面參數表示的、作為預測圖像的曲面；算術部件，從處理目標塊的像素值中減去由曲面生成部件生成的、作為預測圖像的曲面的像素值，從而生成差分數據；以及編碼部件，對算術部件生成的差分數據進行編碼。曲面參數生成部件可以通過對經正交變換的處理目標塊的系數數據的直流分量形成的直流分量塊進行正交變換，來生成曲面參數。曲面生成部件可以通過使具有作為分量的、由曲面參數生成部件生成的曲面參數的曲面塊經歷逆正交變換，來生成曲面。曲面生成部件可以形成尺寸與用在屏幕內預測中的屏幕內預測塊的尺寸相同的曲面塊，從而使塊尺寸與屏幕內預測塊的尺寸相同的曲面塊經歷逆正交變換。曲面尺寸塊具有作為分量的曲面參數和O。屏幕內預測塊的尺寸可以是8X8，并且直流分量塊的尺寸可以是2X2。該圖像處理裝置進一步包括正交變換部件，使算術部件生成的差分數據經歷正交變換；以及量化部件，對通過正交變換部件進行的差分數據的正交變換而生成的系數數據進行量化。編碼部件對量化部件所量化的系數數據進行編碼，從而生成編碼數據。該圖像處理裝置進一步包括傳輸部件，傳輸編碼部件生成的編碼數據和曲面參數生成部件生成的曲面參數。曲面生成部件包括8 X 8塊生成部件，使用由曲面參數生成部件生成的曲面參數來生成8 X 8塊；以及逆正交變換部件，使8 X 8塊生成部件生成的8X8塊經歷逆正交變換。編碼部件對曲面參數生成部件生成的曲面參數進行編碼，并且傳輸部件傳輸由編碼部件編碼的曲面參數。本發(fā)明的另一方面是一種由圖像處理裝置使用的圖像處理方法，其包括圖像處理裝置的曲面參數生成部件使用將經歷屏幕內編碼的圖像數據的處理目標塊的像素值，生成指示對處理目標塊的像素值進行近似的曲面的曲面參 數；圖像處理裝置的曲面生成部件生成由所生成的曲面參數表示的、作為預測圖像的曲面；圖像處理裝置的算術部件從處理目標塊的像素值中減去作為預測圖像而生成的曲面的像素值，從而生成差分數據；以及圖像處理裝置的編碼部件對所生成的差分數據進行編碼。本發(fā)明的另一方面是一種圖像處理裝置，其包括解碼部件，對編碼數據進行解碼，編碼數據是通過對圖像數據和經歷使用圖像數據的幀內預測的預測圖像之間的差分數據進行編碼而形成的；曲面生成部件，使用指示對圖像數據的處理目標塊的像素值進行近似的曲面的曲面參數，生成由曲面形成的預測圖像；以及算術部件，使曲面生成部件生成的預測圖像與通過解碼部件進行的解碼而獲得的差分數據相加。曲面生成部件通過使曲面塊經歷逆正交變換來生成曲面，曲面塊具有作為分量的、通過對經正交變換的處理目標塊的系數數據的直流分量形成的直流分量塊進行正交變換而生成的曲面參數。曲面生成部件可以形成尺寸與用在屏幕內預測中的屏幕內預測塊的尺寸相同的曲面塊，從而使塊尺寸與屏幕內預測塊的尺寸相同的曲面塊經歷逆正交變換。曲面尺寸塊具有作為分量的曲面參數和O。屏幕內預測塊的尺寸可以是8X8，并且直流分量塊的尺寸可以是2X2。該圖像處理裝置進一步包括逆量化部件，對差分數據進行逆量化；以及逆正交變換部件，使由逆量化部件進行了逆量化的差分數據經歷逆正交變換。算術部件可以使預測圖像與經歷逆正交變換部件的逆正交變換的差分數據相加。該圖像處理裝置進一步包括接收部件，其接收編碼數據和曲面參數，并且曲面生成部件可以使用接收部件接收到的曲面參數來生成預測圖像。對曲面參數進行編碼。解碼部件可以進一步包括對編碼的曲面參數進行解碼的解碼部件。曲面生成部件包括8X8塊生成部件，使用曲面參數來生成8X8塊；以及逆正交變換部件，使8 X 8塊生成部件生成的8X8塊經歷逆正交變換。本發(fā)明的另一方面是一種由圖像處理裝置使用的圖像處理方法，其中圖像處理裝置的解碼部件對編碼數據進行解碼，編碼數據是通過對圖像數據和經歷使用圖像數據的幀內預測的預測圖像之間的差分數據進行編碼而形成的；圖像處理裝置的曲面生成部件使用指示對圖像數據的處理目標塊的像素值進行近似的曲面的曲面參數，生成由曲面形成的預測圖像；以及圖像處理裝置的算術部件使所生成的預測圖像與通過解碼而獲得的差分數據相加。在本發(fā)明的一個方面，使用將經歷屏幕內編碼的圖像數據的處理目標塊的像素值，生成指示對處理目標塊的像素值進行近似的曲面的曲面參數；生成由曲面參數表示的、作為預測圖像的曲面；從處理目標塊的像素值中減去作為預測圖像而生成的曲面的像素值，從而生成差分數據；以及對所生成的差分數據進行編碼。在本發(fā)明的另一方面，對編碼數據進行解碼，編碼數據是通過對圖像數據和經歷使用圖像數據的幀內預測的預測圖像之間的差分數據進行編碼而形成的；使用指示對圖像數據的處理目標塊的像素值進行近似的曲面的曲面參數，生成由曲面形成的預測圖像；以及使所生成的預測圖像與通過解碼而獲得的差分數據相加。本發(fā)明的效果根據本發(fā)明，可以執(zhí)行圖像數據的編碼或編碼圖像數據的解碼，可以進一步提高編碼效率。



圖I是示出被應用本發(fā)明的圖像編碼裝置的主要配置示例的框圖。圖2是示出宏塊的示例的示圖。圖3是示出幀內預測部的主要配置示例的框圖。圖4是用于描述正交變換的狀態(tài)的示例的示圖。圖5是示出4X4像素巾貞內預測模式的示例的示圖。圖6是示出8X8像素幀內預測模式的示例的示圖。圖7是示出16 X 16像素幀內預測模式的示例的示圖。圖8是示出曲面預測圖像生成部的主要配置示例的框圖。圖9是示出近似曲面的示例的示圖。圖10是示出熵編碼部的主要配置示例的框圖。圖11是用于描述編碼處理的流程的示例的流程圖。圖12是用于描述預測處理的流程的示例的流程圖。圖13是用于描述幀內預測處理的流程的示例的流程圖。圖14是用于描述預測圖像生成處理的流程的示例的流程圖。圖15是示出被應用本發(fā)明的圖像解碼裝置的主要配置示例的框圖。圖16是示出幀內預測部的主要配置示例的框圖。圖17是用于描述解碼處理的流程的示例的流程圖。圖18是用于描述預測處理的流程的示例的流程圖。圖19是用于描述幀內預測處理的流程的示例的流程圖。圖20是示出宏塊的其他示例的示圖。圖21是示出被應用本發(fā)明的個人計算機的主要配置示例的框圖。圖22是示出被應用本發(fā)明的電視接收器的主要配置示例的框圖。圖23是示出被應用本發(fā)明的蜂窩電話的主要配置示例的框圖。圖24是示出被應用本發(fā)明的硬盤記錄器的主要配置示例的框圖。圖25是示出被應用本發(fā)明的攝像裝置的主要配置示例的框圖。
具體實施方式
下文將描述用于實施本發(fā)明的實施例(以下稱為實施例)。將以如下順序呈現各實施例I.第一實施例(圖像編碼裝置)2.第二實施例(圖像解碼裝置)3.第三實施例(個人計算機)4.第四實施例(電視接收器)
5.第五實施例(蜂窩電話)6.第六實施例(硬盤記錄器)7.第七實施例(攝像裝置)〈I.第一實施例>[圖像編碼裝置]圖I示出了作為被應用本發(fā)明的圖像處理裝置的圖像編碼裝置的一個實施例的配置。圖I中所示的圖像編碼裝置100是使圖像經歷例如H. 264和移動圖像專家組(MPEG)4 Part 10 (高級視頻編碼(AVC))(以下稱為H. 264/AVC)方案中的壓縮編碼的編碼裝置。然而，圖像編碼裝置100還具有使用根據編碼前的圖像數據而非根據解碼參考圖像生成的曲面的預測模式，作為一個幀內解碼模式。在圖I的示例中，圖像編碼裝置100具有模擬/數字(A/D)轉換部101、屏幕排序緩沖器102、算術部103、正交變換部104、量化部105、可逆編碼部106和積累緩沖器107。此外，圖像編碼裝置100具有逆量化部108、逆正交變換部109和算術部110。圖像編碼裝置100還具有解塊濾波器111和幀存儲器112。圖像編碼裝置100進一步具有選擇部113、幀內預測部114、運動預測補償部115和選擇部116。此外，圖像編碼裝置100具有速率控制部117。A/D轉換部101使輸入圖像數據經歷A/D轉換，并且將數據輸出到屏幕排序緩沖器102用于存儲。屏幕排序緩沖器102根據圖片組(GOP)結構，使所存儲的圖像的幀的排序從顯示的順序變?yōu)榫幋a的順序。屏幕排序緩沖器102將排序順序改變的幀的圖像提供給算術部103、幀內預測部114和運動預測補償部115。算術部103在從屏幕排序緩沖器102讀取的圖像中減去從選擇部116提供的預測圖像，并且將差分信息輸出到正交變換部104。例如，在圖像將經歷幀內編碼的情況下，算術部103使從預測部114提供的預測圖像與從屏幕排序緩沖器102讀取的圖像相加。此外，例如，在圖像將經歷幀間編碼的情況下，算術部103使從運動預測補償部115提供的預測圖像與從屏幕排序緩沖器102讀取的圖像相加。正交變換部104使來自算術部103的差分信息經歷諸如離散余弦變換和Karhunen-Loeve變換的正交變換，并且將變換系數提供給量化部105。量化部105對從正交變換部104輸出的變換系數進行量化。量化部105將經量化的系數提供給可逆編碼部106?？赡婢幋a部106使經量化的變換系數經歷諸如可變長度編碼和算術編碼的可逆編碼?？赡婢幋a部106從幀內預測部114獲取指示幀內預測的信息、與后面描述的近似曲面相關的參數(曲面參數)等，并且從運動預測補償部115獲取指示幀間預測模式的信息。指示幀內預測的信息在下文中還將被稱為幀內預測模式信息。關于指示幀間預測模式的信息模式的信息在下文中還將被稱為幀間預測模式信息?？赡婢幋a部106對經量化的變換系數進行編碼，并且設定濾波器系數、幀內預測模式信息、幀間預測模式信息、量化參數和曲面參數等，作為編碼數據的報頭信息的一部分(復用)?？赡婢幋a部016將通過編碼獲得的編碼數據提供給積累緩沖器107用于積累。例如，可逆編碼部106執(zhí)行諸如可變長度編碼或算術編碼的可逆編碼處理?？勺冮L度編碼可以是a 264/AVC方案定義的上下文自適應可變長度編碼(CAVLC)等。算術編碼可以是上下文自適應二進制算術編碼(CABAC)等。
積累緩沖器107臨時保存從可逆編碼部106提供的編碼數據，并且將該數據作為按H. 264/AVC方案編碼的編碼圖像，例如在預定定時輸出到下一級中的記錄裝置或傳輸路徑(未示出)。此外，量化部105量化的變換系數還被提供給逆量化部108。逆量化部108使用與量化部105的量化對應的方法對經量化的變換系數進行逆量化，并且將獲得的變換系數提供給逆正交變換部109。逆正交變換部109使用與正交變換部104的正交變換處理對應的方法，使所提供的變換系數經歷逆正交變換。逆正交變換的輸出被提供給算術部110。算術部110使從選擇部116提供的預測圖像與從逆正交變換部109提供的逆正交變換的結果相加，就是說，與恢復的差分信息相加，從而獲得局部解碼圖像(解碼圖像)。例如，如果差分信息對應于將經歷幀內編碼的圖像，則算術部110使從幀內預測部114提供的預測圖像與差分信息相加。此外，如果差分信息對應于將經歷幀間編碼的圖像，則算術部110使從運動預測補償部115提供的預測圖像與差分信息相加。相加的結果被提供給解塊濾波器111或幀存儲器112。解塊濾波器111適當地執(zhí)行解塊濾波處理以從解碼圖像去除塊失真，并且例如使用Wiener濾波器適當地執(zhí)行環(huán)路濾波處理，從而實現圖像質量的提高。解塊濾波器111對像素進行分類，并且對每個類執(zhí)行適當的濾波處理。解塊濾波器111將濾波處理的結果提供給幀存儲器112。在預定的定時，幀存儲器112經由選擇部113將積累的參考圖像輸出到幀內預測部114或運動預測補償部115。例如，在圖像將經歷幀內編碼的情況下，幀存儲器112經由選擇部113將參考圖像提供給幀內預測部114。例如，在圖像將經歷幀間編碼的情況下，幀存儲器112經由選擇部113將參考圖像提供給運動預測補償部115。在圖像編碼裝置100中，例如，來自屏幕排序緩沖器102的I圖片、B圖片和P圖片作為將經歷幀內預測(還被稱為幀內處理)的圖像被提供給幀內預測部114。此外，從屏幕排序緩沖器102讀取的B圖片和P圖片作為將經歷幀間預測(還被稱為幀間處理)的圖像被提供給運動預測補償部115。如果從幀存儲器112提供的參考圖像將經歷幀內編碼，則選擇部113將圖像提供給幀內預測部114，并且如果圖像將經歷幀間編碼，則選擇部113將圖像提供給運動預測補償部115。幀內預測部114使用屏幕中的像素值來執(zhí)行幀內預測(屏幕內預測)用于生成預測圖像。幀內預測部114在多個模式中執(zhí)行幀內預測(幀內預測模式)。幀內預測模式包括用于基于經由選擇部113從幀存儲器112提供的參考圖像來生成預測圖像的模式。幀內預測模式還包括用于使用從屏幕排序緩沖器102讀取的將經歷幀內預測的圖像(處理目標塊的像素值)來生成預測圖像的模式。幀內預測部114在所有幀內預測模式中生成預測圖像，評估每個預測圖像，并且選擇最優(yōu)模式。在選擇最優(yōu)幀內預測模式時，幀內預測部114經由選擇部116將在最優(yōu)模式中生成的預測圖像提供給算術部103。此外，如上文所述，幀內預測部114適當地向可逆編碼部106提供指示所使用的幀內預測模式的幀內預測模式信息以及諸如預測圖像的曲面參數的信息。對于將經歷幀間編碼的圖像，運動預測補償部115使用從屏幕排序緩沖器102提供的輸入圖像和經由選擇部113從幀存儲器112提供的、作為參考幀的解碼圖像，來計算運動向量。運動預測補償部115根據所計算的運動向量執(zhí)行運動補償處理，從而生成預測圖 像(幀間預測圖像信息)。運動預測補償部115在所有候選幀間預測模式中執(zhí)行幀間預測處理，從而生成預測圖像。運動預測補償部115經由選擇部116將所生成的預測圖像提供給算術部103。運動預測補償部115向可逆編碼部106提供指示所使用的幀間預測模式的幀間預測模式信息以及指示計算的運動向量的運動向量信息。在圖像將經歷幀內編碼的情況下，選擇部116將來自幀內預測部114的輸出提供給算術部103，并且在圖像將經歷幀間編碼的情況下，選擇部116將來自運動預測補償部115的輸出提供給算術部103。速率控制部117基于積累緩沖器107中積累的壓縮圖像，控制量化部105的量化操作的速率以便防止出現上溢或下溢。[宏塊]圖2是示出H. 264/AVC方案中的用于運動預測補償的塊尺寸的示例的示圖。在H. 264/AVC方案中，以可變的塊尺寸執(zhí)行運動預測補償。圖2在上部示出了由16X16個像素形成的宏塊，其按左起的順序被分成16X16個像素、16X8個像素、8X16個像素和8X8個像素的分區(qū)。圖5在下部示出了由8X8個像素形成的子宏塊，其按左起的順序被分成8X8個像素、8X4個像素、4X8個像素和4X4個像素的分區(qū)。具體地，在H. 264/AVC方案中，一個宏塊可被分成16 X 16個像素、16 X 8個像素、8X 16個像素和8X8個像素的任何分區(qū),每個分區(qū)包括獨立的運動向量信息。8X8個像素的分區(qū)可被分成8X8個像素、8X4個像素、4X8個像素和4X4個像素的任何子分區(qū)，每個子分區(qū)包括獨立的運動向量信息。[幀內預測部]圖3是示出圖I中所示的幀內預測部114的主要配置示例的框圖。如圖3中所示,幀內預測部114具有預測圖像生成部131、曲面預測圖像生成部132、成本函數計算部133和模式確定部134。如上文所述，幀內預測部114具有用于使用從幀存儲器112獲取的參考圖像(外圍像素)來生成預測圖像的模式和用于使用處理目標圖像來生成預測圖像的模式兩者。預測圖像生成部131在使用從幀存儲器112獲取的參考圖像(外圍像素)的模式中生成預測圖像。同時，曲面預測圖像生成部132在使用處理目標圖像的模式中生成預測圖像。更具體地，曲面預測圖像生成部132在曲面中近似處理目標圖像的像素值，并且將近似曲面設定為預測圖像。 預測圖像生成部131或者曲面預測圖像生成部132生成的預測圖像被提供給成本函數計算部133。成本函數計算部133在4X4個像素、8X8個像素和16X 16個像素的幀內預測模式中計算由預測圖像生成部131生成的預測圖像的成本函數值。成本函數計算部133還計算由曲面預測圖像生成部132生成的預測圖像的成本函數值。這里，在高復雜度模式或低復雜度模式中計算成本函數值。這些模式由H. 264/AVC方案中的作為參考軟件的聯合模型(JM)定義。具體地，在高復雜度模式中，假設在所有候選預測模式中執(zhí)行直到編碼處理的處理。隨后，在各個預測模式中計算由下式(I)表示的成本函數值，并且具有最小成本函數值的預測模式被選擇為最優(yōu)預測模式。Cost (Mode) = D+ A R …(I)在式(I)中，D表示初始圖像和解碼圖像之間的差(失真)；R表示包括高達正交變換系數的所生成的碼量；并且、表示作為量化參數QP的函數給出的拉格朗日乘子。同時，在低復雜度模式中，在所有候選預測模式中執(zhí)行預測圖像的生成以及包括運動向量信息、預測模式信息和標志信息的報頭位的計算。隨后，在所有預測模式中計算由下式(2)表示的成本函數值，并且具有最小成本函數值的預測模式被選擇為最優(yōu)預測模式。Cost(Mode) = D+QPtoQuant (QP) Header_Bit ... (2)在式(2)中，D表示初始圖像和解碼圖像之間的差(失真);Header_Bit表示預測模式的報頭位，并且QPtoQuant表示量化參數QP的函數。在低復雜度模式中，在所有預測模式中僅生成預測圖像，但是不需要執(zhí)行編碼處理或解碼處理，導致了較小的算術運算量。成本函數計算部133將這樣計算的成本函數值提供給模式確定部134。模式確定部134根據所提供的成本函數值選擇最優(yōu)幀內預測模式。具體地，模式確定部134將具有最小成本函數值的幀內預測模式選擇為最優(yōu)幀內預測模式。在必要時，模式確定部134經由選擇部116將被選擇為最優(yōu)幀內預測模式的預測模式中的預測圖像提供給算術部103和算術部110。在必要時，模式確定部134還將預測模式的信息提供給可逆編碼部106。此外，如果曲面預測圖像生成部132的預測模式被選擇為最優(yōu)幀內預測模式，則模式確定部134從曲面預測圖像生成部132獲取曲面參數，并且將這些參數提供給可逆編碼部106。[正交變換]圖4是用于描述正交變換的狀態(tài)的示例的示圖。在圖4中所示的示例中，提供給塊的數字-I至25表示塊的位流順序(解碼側的處理順序)。在亮度信號的情況下，宏塊被分成4 X 4個像素，并且執(zhí)行4 X 4像素DCT。此外，僅在幀內16X16預測模式的情況下，收集來自所有塊的直流分量以生成如-I塊所示的4X4矩陣，并且進一步執(zhí)行正交變換。同時，在色差信號的情況下，宏塊被分成4X4個像素，執(zhí)行4X4像素DCT，并且隨后收集來自塊的直流分量以生成如圖4中的塊16和17所示的2X2矩陣。隨后進一步執(zhí)行正交變換。前文的主題適用于幀內8X8預測模式，僅適用于其中在高層次(profile)或更高層次中對目標宏塊執(zhí)行8X8正交變換的情況。[幀內預測模式]這里，將描述預測圖像生成部131的預測處理。在H. 264/AVC方案限定的AVC中，預測圖像生成部131在三個模式中執(zhí)行幀內預測幀內4X4預測模式、幀內8X8預測模式、和幀內16X16預測模式。這些模式旨在限定塊單位并且針對每個宏塊而被設定。此外，對于每個宏塊，色差信號的幀內預測模式的設定與亮度信號的幀內預測模式的設定無關。 此外，在幀內4X4預測模式的情況下，如圖5中所示，可以針對4X4個像素的每個目標塊設定九種預測模式中的一個。在幀內8X8預測模式的情況下，如圖6中所示，可以針對8X8個像素的每個目標塊設定九種預測模式中的一個。在幀內16X16預測模式的情況下，如圖7中所示，可以針對16X16個像素的每個目標塊設定四種預測模式中的一個。幀內4X4預測模式、幀內8X8預測模式、和幀內16X 16預測模式還將被適當地稱為4X4像素預測模式、8X8像素預測模式、和16X16像素預測模式。圖7是示出關于亮度信號的四種類型的16X16像素幀內預測模式(Intra16 X 16_pred_mode)的不圖。將經歷幀內處理的目標宏塊被指定為A，并且P(x，y) ;x, y=-l,0,. . .，15被設定為與目標宏塊A相鄰的像素的像素值。模式0是豎直預測模式，其僅在？(1，-1)7，7=-1，0，...，15 “可用”時適用。在該情況下，如下式(3)中的那樣生成目標宏塊A的每個像素的預測像素值Pred (x，y)Pred(X，y) =P (X，-I) ; X，y=0,…，15…(3)模式1是水平預測模式，其僅在？(-1，7);1，7=-1，0，...，15 “可用”時適用。在該情況下，如下式(4)中的那樣生成目標宏塊A的每個像素的預測像素值Pred (x，y)Pred (X，y) =P (_1，y) ; X，y=0,…，15…(4)模式2是DC預測模式,并且如果P(x, -I)和P(_l, y) ;x, y=_l, 0,. . . , 15均“可用”，則如下式(5)中的那樣生成目標宏塊A的每個像素的預測像素值Pred(x，y)[式I]
權利要求
1.一種圖像處理裝置，包括 曲面參數生成部件，使用將經歷屏幕內編碼的圖像數據的處理目標塊的像素值，生成指示對作為目標的所述處理目標塊的像素值進行近似的曲面的曲面參數； 曲面生成部件，生成由所述曲面參數生成部件生成的所述曲面參數表示的、作為預測圖像的曲面； 算術部件，從所述處理目標塊的像素值中減去由所述曲面生成部件生成的、作為所述預測圖像的所述曲面的像素值，從而生成差分數據；以及 編碼部件，對所述算術部件生成的所述差分數據進行編碼。
2.根據權利要求I所述的圖像處理裝置，其中 所述曲面參數生成部件通過對經正交變換的所述處理目標塊的系數數據的直流分量形成的直流分量塊進行正交變換，來生成曲面參數，以及 所述曲面生成部件通過使具有作為分量的、由所述曲面參數生成部件生成的曲面參數的曲面塊經歷逆正交變換，來生成所述曲面。
3.根據權利要求2所述的圖像處理裝置，其中所述曲面生成部件形成尺寸與用在屏幕內預測中的屏幕內預測塊的尺寸相同的曲面塊，從而使塊尺寸與屏幕內預測塊的尺寸相同的所述曲面塊經歷逆正交變換。
4.根據權利要求3所述的圖像處理裝置，其中所述曲面尺寸塊具有作為分量的曲面參數和O。
5.根據權利要求4所述的圖像處理裝置，其中 所述屏幕內預測塊的尺寸是8X8，以及 所述直流分量塊的尺寸是2X2。
6.根據權利要求I所述的圖像處理裝置，進一步包括 正交變換部件，使所述算術部件生成的所述差分數據經歷正交變換；以及 量化部件，對通過所述正交變換部件進行的所述差分數據的正交變換而生成的系數數據進行量化， 其中所述編碼部件對所述量化部件所量化的所述系數數據進行編碼，從而生成編碼數據。
7.根據權利要求6所述的圖像處理裝置，進一步包括傳輸部件，傳輸所述編碼部件生成的編碼數據和所述曲面參數生成部件生成的曲面參數。
8.根據權利要求7所述的圖像處理裝置，其中 所述編碼部件對所述曲面參數生成部件生成的所述曲面參數進行編碼，以及 所述傳輸部件傳輸由所述編碼部件編碼的曲面參數。
9.一種由圖像處理裝置使用的圖像處理方法，其中 所述圖像處理裝置的曲面參數生成部件使用將經歷屏幕內編碼的圖像數據的處理目標塊的像素值，生成指示對作為目標的所述處理目標塊的像素值進行近似的曲面的曲面參數； 所述圖像處理裝置的曲面生成部件生成由所生成的所述曲面參數表示的、作為預測圖像的曲面； 所述圖像處理裝置的算術部件從所述處理目標塊的像素值中減去作為所述預測圖像而生成的所述曲面的像素值，從而生成差分數據；以及 所述圖像處理裝置的編碼部件對所生成的所述差分數據進行編碼。
10.一種圖像處理裝置，包括 解碼部件，對編碼數據進行解碼，所述編碼數據是通過對圖像數據和經歷使用所述圖像數據的幀內預測的預測圖像之間的差分數據進行編碼而形成的； 曲面生成部件，使用指示對所述圖像數據的處理目標塊的像素值進行近似的曲面的曲面參數，生成由所述曲面形成的所述預測圖像；以及 算術部件，使所述曲面生成部件生成的所述預測圖像與通過所述解碼部件進行的解碼而獲得的所述差分數據相加。
11.根據權利要求10的圖像處理裝置，其中所述曲面生成部件通過使曲面塊經歷逆正交變換來生成所述曲面，所述曲面塊具有作為分量的、通過對經正交變換的處理目標塊的 系數數據的直流分量形成的直流分量塊進行正交變換而生成的所述曲面參數。
12.根據權利要求11的圖像處理裝置，其中所述曲面生成部件形成尺寸與用在屏幕內預測中的屏幕內預測塊的尺寸相同的曲面塊，從而使塊尺寸與屏幕內預測塊的尺寸相同的所述曲面塊經歷逆正交變換。
13.根據權利要求12所述的圖像處理裝置，其中所述曲面尺寸塊具有作為分量的曲面參數和0。
14.根據權利要求13所述的圖像處理裝置，其中 所述屏幕內預測塊的尺寸是8X8，以及 所述直流分量塊的尺寸是2X2。
15.根據權利要求10所述的圖像處理裝置，進一步包括 逆量化部件，對所述差分數據進行逆量化；以及 逆正交變換部件，使由所述逆量化部件進行了逆量化的所述差分數據經歷逆正交變換， 其中所述算術部件使所述預測圖像與經歷所述逆正交變換部件的逆正交變換的所述差分數據相加。
16.根據權利要求10所述的圖像處理裝置，進一步包括接收部件，接收所述編碼數據和所述曲面參數， 其中所述曲面生成部件使用所述接收部件接收到的所述曲面參數來生成所述預測圖像。
17.根據權利要求10所述的圖像處理裝置，其中 對所述曲面參數進行編碼，以及 所述解碼部件進一步包括對編碼的所述曲面參數進行解碼的解碼部件。
18.根據權利要求10所述的圖像處理裝置，其中所述曲面生成部件包括 8 X 8塊生成部件，使用所生成的所述曲面參數來生成8 X 8塊；以及 逆正交變換部件，使所述8X8塊生成部件生成的所述8X8塊經歷逆正交變換。
19.一種由圖像處理裝置使用的圖像處理方法，其中 所述圖像處理裝置的解碼部件對編碼數據進行解碼，所述編碼數據是通過對圖像數據和經歷使用所述圖像數據的幀內預測的預測圖像之間的差分數據進行編碼而形成的，所述圖像處理裝置的曲面生成部件使用指示對所述圖像數據的處理目標塊的像素值進行近似的曲面的曲面參數，生成由所述曲面形成的所述預測圖像，以及 所述圖像處理裝置的算術部件使所生成的所述預測圖像與通過解碼而獲得的所述差分數據相加。
全文摘要
提供了一種能夠提高編碼效率的圖像處理裝置和方法。正交變換單元(151)在輸入圖像的目標塊中，一次4×4地將正交變換應用于像素值。2×2塊生成單元(152)從來自前述變換的系數數據中提取四個DC分量，并且使用所述DC分量生成2×2塊。另一正交變換單元(153)將另一正交變換應用于2×2塊。8×8塊生成單元(161)生成8×8塊，其中前述2×2塊在左上角。逆正交變換單元(162)將逆正交變換應用于8×8塊。經逆變換的8×8塊的像素值形成了被用作預測圖像的曲面。
文檔編號H04N7/30GK102742273SQ201180007560
公開日2012年10月17日 申請日期2011年1月27日 優(yōu)先權日2010年2月5日
發(fā)明者王鵬, 鈴木輝彥 申請人:索尼公司