圖像處理裝置及方法
【專利摘要】本發(fā)明涉及一種圖像處理裝置及方法，其可抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低?？刂菩畔⑸刹?12的邊界控制標(biāo)志生成部132根據(jù)系統(tǒng)規(guī)格管理部141所管理的系統(tǒng)規(guī)格信息，生成邊界控制標(biāo)志。自適應(yīng)濾波處理部113的控制部171根據(jù)該邊界控制標(biāo)志的值，決定針對片層邊界附近的像素進(jìn)行的濾波處理的處理方法。例如，選擇進(jìn)行跨越片層的濾波處理、或者進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理。本發(fā)明例如可應(yīng)用于圖像處理裝置。
【專利說明】圖像處理裝置及方法
[0001]本申請是同一 申請人:的申請日為2010年7月23日的、申請?zhí)枮?01080042415.5 (PCT/JP2010/062398)、發(fā)明名稱為“圖像處理裝置及方法”的中國發(fā)明專利申請的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種圖像處理裝置及方法，特別涉及一種能夠?qū)τ删幋a時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低進(jìn)行抑制的圖像處理裝置及方法。
【背景技術(shù)】
[0003]近年來，將圖像信息作為數(shù)字信號進(jìn)行處理，并且此時(shí)以高效率的信息的傳輸、存儲為目的，利用圖像信息特有的冗余性，依照通過諸如離散余弦變換等正交變換與運(yùn)動補(bǔ)償對圖像進(jìn)行壓縮的MPEG (Moving Picture Experts Group,運(yùn)動圖像專家組)等格式的裝置，作為諸如廣播等的信息發(fā)送及一般家庭中的信息接收兩者都正變得普及。
[0004]尤其，MPEG2(ISO (International Organization for Standardization,國際標(biāo)準(zhǔn)化組織)/IEC(International Electrotechnical Commission,國際電工委員會)13818-2)被定義為通用圖像編碼格式，并且它包括隔行掃描圖像及連續(xù)掃描圖像兩者和標(biāo)準(zhǔn)解析度圖像及高清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG2目前已廣為用于專業(yè)用途及消費(fèi)型用途的廣泛應(yīng)用。通過使用MPEG2壓縮格式，例如若為具有720X480像素的標(biāo)準(zhǔn)解析度的交錯(cuò)掃描圖像，則分配4至8Mbps的碼量(比特率)。同樣，若為具有1920 X 1088像素的高解析度的交錯(cuò)掃描圖像，則分配18至22Mbps的碼量(比特率)，從而可實(shí)現(xiàn)高的壓縮率及良好的畫質(zhì)。
[0005]利用MPEG2主要以適合于播放用的高畫質(zhì)編碼為對象,而并不處理比MPEGl的碼量更低的碼量(比特率)，即具有更高壓縮率的編碼格式?？梢灶A(yù)計(jì)隨著個(gè)人數(shù)字助理的普及，今后對這種編碼格式的需求將增長，對應(yīng)于此，已進(jìn)行了 MPEG4編碼格式的標(biāo)準(zhǔn)化。關(guān)于圖像編碼格式，其規(guī)格于1998年12月作為IS0/IEC14496-2被批準(zhǔn)為國際標(biāo)準(zhǔn)。
[0006]進(jìn)而，近年來，當(dāng)初打算供電視會議用的圖像編碼的H.26L(ITU-T (ITUTelecommunication Standardization Sector,國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)Q6/16VCEG (Video Coding Experts Group,視頻編碼專家群))這一標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已在推進(jìn)。眾所周知，H.26L雖與諸如MPEG2或MPEG4之類常規(guī)的編碼格式相比，其編碼、解碼要求更多的運(yùn)算量，但可實(shí)現(xiàn)更高的編碼效率。并且，目前，作為MPEG4的活動的一環(huán)，已在進(jìn)行以該H.26L為基礎(chǔ)，還導(dǎo)入H.26L無法支持的功能以實(shí)現(xiàn)更高的編碼效率的標(biāo)準(zhǔn)化作為Joint Model of Enhanced-Compression Video Coding(增強(qiáng)壓縮視頻編碼的聯(lián)合模型)。作為標(biāo)準(zhǔn)化的日程安排，H.264和MPEG4PartlO(AVC(Advanced Video Coding，先進(jìn)視頻編碼))于2003年3月成為國際標(biāo)準(zhǔn)。
[0007]最近作為正在考慮的下一代視頻編碼技術(shù)，還有自適應(yīng)環(huán)路濾波器(ALF(Adaptive Loop Filter))(例如,參見非專利文獻(xiàn)I)。通過該自適應(yīng)濾波器,對每中貞(frame)進(jìn)行最佳的濾波處理,能夠減少未被解塊濾波器完全去除的塊(block)噪聲和由量化所引起的噪聲。
[0008]然而，圖像通常具有各種特征，因此最佳濾波系數(shù)在局部不同。根據(jù)非專利文獻(xiàn)I所記載的方法，對于I個(gè)幀內(nèi)的所有像素應(yīng)用相同的濾波系數(shù)，因此幀整體的畫質(zhì)改善了，但存在局部劣化的可能性。
[0009]因此，考慮了不對局部劣化的區(qū)域進(jìn)行濾波處理的方法(例如參見非專利文獻(xiàn)2和非專利文獻(xiàn)3)。在這樣的情況下，圖像編碼裝置使以如同鋪設(shè)的、無間隙地排列的多個(gè)控制塊對應(yīng)于圖像的區(qū)域，并控制是否對每個(gè)塊中的圖像進(jìn)行濾波處理。圖像編碼裝置對每個(gè)塊設(shè)定標(biāo)志信息，并根據(jù)該標(biāo)志信息進(jìn)行自適應(yīng)濾波處理。同樣地，圖像解碼裝置也根據(jù)該標(biāo)志信息而進(jìn)行自適應(yīng)濾波處理。
[0010]引用文獻(xiàn)
[0011]非專利文獻(xiàn)
[0012]非專利文獻(xiàn)1:Y1-Jen Chiu and L.Xu, “Adaptive (Wiener)Filter for VideoCompression, ” ITU-T SG16Contribution, C437, Geneva, April2008.[0013]非專利文獻(xiàn)2:Takeshi, Chujoh, et al., ^Block-based Adaptive LoopFilter^ITU-T SG16Q6VCEG Contribution, Al18, Germany, July,2008.[0014]非專利文獻(xiàn)3:T.Chujoh,N.Wada and G.Yasuda,“Quadtree-based Adaptive LoopFilter, ” ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl)，Japan, April, 2009.
【發(fā)明內(nèi)容】

[0015]發(fā)明所要解決的技術(shù)問題
[0016]然而，有將I幀分割成多個(gè)片層(slice)，并對每個(gè)這樣的片層(多片層mult1-slice)進(jìn)行圖像的編碼處理和解碼處理的方法。在非專利文獻(xiàn)2和非專利文獻(xiàn)3中，并未記載在這樣的多片層的情況下的片層的邊界附近的像素的處理，而應(yīng)該如何處理尚不明確。
[0017]本發(fā)明是鑒于這種情況而提出的，其目的在于抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
[0018]解決問題的技術(shù)手段
[0019]本發(fā)明的一個(gè)方面是一種圖像處理裝置，包括:判斷單元，配置為判斷在對圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；選擇單元，配置為在通過上述判斷單元判斷為上述周邊像素中包括上述相鄰片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對上述要處理的像素的上述濾波處理的方法；以及濾波處理單元，配置為利用由上述選擇單元所選擇的方法，對上述要處理的像素進(jìn)行上述濾波處理。
[0020]上述選擇單元可從如下兩種方法中選擇任一種方法:一種是獲得位于上述相鄰片層的上述周邊像素后進(jìn)行針對上述要處理的像素的上述濾波處理；另一種是通過復(fù)制位于包括上述要處理的像素的片層的上述周邊像素，生成位于上述相鄰片層的上述周邊像素的虛擬數(shù)據(jù)(dummy data)， 進(jìn)行針對上述要處理的像素的上述濾波處理。
[0021]上述選擇單元可從如下兩種方法中選擇任一種方法:一種是獲得位于上述相鄰片層的上述周邊像素后進(jìn)行針對上述要處理的像素的上述濾波處理；另一種是省略針對上述要處理的像素的上述濾波處理。
[0022]上述圖像處理裝置還可以包括:生成單元，配置為根據(jù)系統(tǒng)規(guī)格而生成上述邊界控制標(biāo)志；上述選擇單元根據(jù)由上述生成單元所生成的上述邊界控制標(biāo)志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
[0023]上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的硬件資源。
[0024]上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的使用目的。
[0025]上述圖像處理裝置還可以包括:編碼單元，配置為對上述圖像進(jìn)行編碼而生成編碼數(shù)據(jù)；上述編碼單元還對由上述生成單元所生成的上述邊界控制標(biāo)志進(jìn)行編碼，并將其附加至上述編碼數(shù)據(jù)。
[0026]上述圖像處理裝置還可以包括:解碼單元，配置為對將上述圖像編碼所得的編碼數(shù)據(jù)進(jìn)行解碼而生成上述圖像；上述解碼單元還對附加至上述編碼數(shù)據(jù)的經(jīng)編碼的上述邊界控制標(biāo)志進(jìn)行解碼；上述選擇單元根據(jù)由上述解碼單元所解碼的上述邊界控制標(biāo)志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
[0027]本發(fā)明的另一個(gè)方面為一種圖像處理方法，包括如下步驟:由圖像處理裝置的判斷單元判斷在對圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；由上述圖像處理裝置的選擇單元在判斷為上述周邊像素中包括上述相鄰的片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對上述要處理的像素的上述濾波處理的方法；由上述圖像處理裝置的濾波處理單元利用所選擇的方法，對上述要處理的像素進(jìn)行上述濾波處理。
[0028]根據(jù)本發(fā)明的一個(gè)方面，判斷在針對圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括要處理的像素的片層相鄰片層的像素，在判斷為周邊像素中包括相鄰片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對要處理的像素的濾波處理的方法，且利用所選擇的方法，對要處理的像素進(jìn)行濾波處理。
[0029]根據(jù)本發(fā)明，可對圖像進(jìn)行編碼或解碼。尤其，可抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。例如，即使于將圖像的各幀分為多個(gè)進(jìn)行編碼或解碼的情況下，也能夠抑制濾波處理的效果的降低。
【專利附圖】

【附圖說明】
[0030]圖1是表示應(yīng)用本發(fā)明的圖像編碼裝置的實(shí)施例的構(gòu)成的框圖。
[0031]圖2是說明可變塊大小運(yùn)動預(yù)/補(bǔ)償處理的圖。
[0032]圖3是表示控制信息生成部的主要構(gòu)成例的框圖。
[0033]圖4是說明ALF塊和濾波器塊標(biāo)志的圖。
[0034]圖5是說明多片層的例子的圖。
[0035]圖6是說明用于濾波處理的周邊像素的圖。
[0036]圖7是說明邊界附近的進(jìn)行濾波處理的情況的圖。
[0037]圖8是表示自適應(yīng)濾波處理部的主要構(gòu)成例的框圖。
[0038]圖9是說明編碼處理的流程的例子的流程圖。
[0039]圖10是說明控制信息生成處理的流程的例子的流程圖。[0040]圖11是說明邊界控制標(biāo)志設(shè)定處理的流程的例子的流程圖。
[0041]圖12是說明自適應(yīng)濾波控制處理的流程的例子的流程圖。
[0042]圖13是說明濾波處理的流程的例子的流程圖，
[0043]圖14是說明濾波處理的流程的例子的流程圖。
[0044]圖15是表示應(yīng)用本發(fā)明的圖像解碼裝置的主要構(gòu)成例的框圖。
[0045]圖16是說明解碼處理的流程的例子的流程圖。
[0046]圖17是表示應(yīng)用本發(fā)明的圖像編碼裝置的其他構(gòu)成例的框圖。
[0047]圖18是表示應(yīng)用本發(fā)明的圖像解碼裝置的其他構(gòu)成例的框圖。
[0048]圖19是說明進(jìn)行規(guī)格信息的交換的處理的流程的例子的流程圖。
[0049]圖20是說明ALF塊和濾波器塊標(biāo)志的其他例的圖。
[0050]圖21是說明ALF塊和濾波器塊標(biāo)志的其他例的圖。
[0051]圖22是說明多片層的情況下的處理的方式的圖。
[0052]圖23是表示應(yīng)用本發(fā)明的個(gè)人計(jì)算機(jī)的主要構(gòu)成例的框圖。
[0053]圖24是表示應(yīng)用本發(fā)明的電視接收機(jī)的主要構(gòu)成例的框圖。
[0054]圖25是表示應(yīng)用本發(fā)明的移動電話的主要構(gòu)成例的框圖。
[0055]圖26是表示應(yīng)用本發(fā)明的硬盤記錄器的主要構(gòu)成例的框圖。
[0056]圖27是表示應(yīng)用本發(fā)明的相機(jī)的主要構(gòu)成例的框圖。
[0057]圖28是表示宏塊的例子的圖。
【具體實(shí)施方式】
[0058]以下，對本發(fā)明的實(shí)施例進(jìn)行說明。說明按以下的順序進(jìn)行。
[0059]1.第I實(shí)施例(圖像編碼裝置)
[0060]2.第2實(shí)施例(圖像解碼裝置)
[0061]3.第3實(shí)施例(圖像編碼/解碼系統(tǒng))
[0062]4.第 4 實(shí)施例(QALF)
[0063]5.第5實(shí)施例(個(gè)人計(jì)算機(jī))
[0064]6.第6實(shí)施例(電視接收機(jī))
[0065]7.第7實(shí)施例(移動電話)
[0066]8.第8實(shí)施例(硬盤記錄器)
[0067]9.第9實(shí)施例(相機(jī))
[0068]〈1.第I實(shí)施例>
[0069][裝置的構(gòu)成]
[0070]圖1表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像編碼裝置的一個(gè)實(shí)施例的構(gòu)成。
[0071]圖1所示的圖像編碼裝置100是使用例如H.264和MPEG4PartlO (先進(jìn)視頻編碼，Advanced Video Coding)(以下記作H.264/AVC)格式對圖像進(jìn)行壓縮編碼的圖像編碼裝置，并且還采用自適應(yīng)環(huán)路濾波器。
[0072]在圖1的例中，圖像編碼裝置100包括:A/D (模擬/數(shù)字)變換部101、畫面重排緩沖器(screen rearranging buffer) 102、運(yùn)算部103、正交變換部104、量化部105、無損編碼部106和存儲緩沖器107。圖像編碼裝置100還包括:反量化部108、逆正交變換部109、運(yùn)算部110和解塊濾波器111。圖像編碼裝置100還包括:控制信息生成部112、自適應(yīng)濾波處理部113和巾貞存儲器114。圖像編碼裝置100還包括:巾貞內(nèi)預(yù)測部(intra predictionunit) 115、運(yùn)動補(bǔ)償部116、運(yùn)動預(yù)測部117和預(yù)測圖像選擇部118。進(jìn)而，圖像編碼裝置100 包括碼率控制部(rate control unit) 119。
[0073]A/D變換部101對所輸入的圖像進(jìn)行A/D變換，并輸出至畫面重排緩沖器102中加以存儲。畫面重排緩沖器102將所存儲的用于顯示的順序的幀的圖像重排為對應(yīng)于GOP(Group of Picture,圖像群組)的用于編碼的巾貞的順序。運(yùn)算部103從畫面重排緩沖器102讀出的圖像減去由預(yù)測圖像選擇部118所選擇的來自幀內(nèi)預(yù)測部115的預(yù)測圖像、或來自運(yùn)動補(bǔ)償部116的預(yù)測圖像，并將該差分信息輸出至正交變換部104中。正交變換部104對來自運(yùn)算部103的差分信息實(shí)施諸如離散余弦變換、K-L(Karhunen-Loeve)變換等正交變換，并輸出其變換系數(shù)。量化部105將正交變換部104所輸出的變換系數(shù)量化。
[0074]成為量化部105的輸出的經(jīng)量化的變換系數(shù)被輸入至無損編碼部106中。無損編碼部106對該經(jīng)量化的變換系數(shù)實(shí)施諸如可變長度編碼、算術(shù)編碼等無損編碼并進(jìn)行壓縮。
[0075]無損編碼部106從幀內(nèi)預(yù)測部115獲取表示幀內(nèi)預(yù)測的信息等，并從運(yùn)動預(yù)測部117獲取表示巾貞間預(yù)測模式(inter prediction mode)的信息等。注意,表示巾貞內(nèi)預(yù)測的信息以下也被稱為幀內(nèi)預(yù)測模式信息。另外，表示幀間預(yù)測的信息以下也被稱為幀間預(yù)測模
式信息。
[0076]無損編碼部106從控制信息生成部112獲取在自適應(yīng)濾波處理部113中所進(jìn)行的自適應(yīng)濾波處理的控制信息。
[0077]無損編碼部106對經(jīng)量化的變換系數(shù)進(jìn)行編碼，并且對自適應(yīng)濾波處理的控制信息、表示幀內(nèi)預(yù)測的信息、表示幀間預(yù)測模式的信息以及量化參數(shù)等進(jìn)行編碼，并且將它們作為壓縮圖像中的首部信息(header information)的一部分(進(jìn)行復(fù)用，multiplexes)。無損編碼部106將經(jīng)編碼的數(shù)據(jù)提供至存儲緩沖器107中加以存儲。
[0078]例如，無損編碼部106進(jìn)行諸如可變長度編碼或者算術(shù)編碼等無損編碼處理?？勺冮L度編碼的例子包括由H.264/AVC格式所規(guī)定的CAVIC (Context-AdaptiveVariable Length Coding,上下文自適應(yīng)變長編碼)等。算術(shù)編碼的例子包括CABAC (Context-Adaptive Binary Arithmetic Coding,上下文自適應(yīng)二進(jìn)制算術(shù)編碼)
坐寸ο
[0079]存儲緩沖器107臨時(shí)保持從無損編碼部106所提供的數(shù)據(jù)，并在特定的時(shí)間點(diǎn)(timing)將其作為以H.264/AVC格式進(jìn)行編碼的壓縮圖像，輸出至例如后繼的未圖示的存儲裝置或傳輸路徑等。
[0080]另外，從量化部105輸出的經(jīng)量化的變換系數(shù)還被輸入至反量化部108。反量化部108用與在量化部105所進(jìn)行的量化相對應(yīng)的方法對該經(jīng)量化的變換系數(shù)進(jìn)行反量化，并將所獲得的變換系數(shù)提供至逆正交變換部109。
[0081]逆正交變換部109以與由正交變換部104所進(jìn)行的正交變換處理相對應(yīng)的方法對所提供的變換系數(shù)進(jìn)行逆正交變換。經(jīng)逆正交變換的輸出被提供至運(yùn)算部110。運(yùn)算部110將從逆正交變換合109所提供的逆正交變換結(jié)果，即經(jīng)恢復(fù)的差分信息與從預(yù)測圖像選擇部118所提供的預(yù)測圖像相加，而獲得局部經(jīng)解碼的圖像(解碼圖像)。該相加結(jié)果被提供至解塊濾波器111。
[0082]解塊濾波器111從解碼圖像中去除塊噪聲。解塊濾波器111之后將該噪聲去除結(jié)果提供至控制信息生成部112和自適應(yīng)濾波處理部113。
[0083]控制信息生成部112獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當(dāng)前的輸入圖像，并根據(jù)它們生成在適應(yīng)濾波處理部113所進(jìn)行的自適應(yīng)濾波的控制信息。詳細(xì)情況將后述，而控制信息包括濾波系數(shù)、塊大小、濾波器塊標(biāo)志和邊界控制標(biāo)志等。
[0084]控制信息生成部112將所生成的控制信息提供至自適應(yīng)濾波處理部113?？刂菩畔⑸刹?12也還將所生成的控制信息提供至無損編碼部106。如上所述，控制信息由無損編碼部106進(jìn)行無損壓縮處理，并被包括在圖像壓縮信息中(被復(fù)用)。即，控制信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
[0085]自適應(yīng)濾波處理部113使用從控制信息生成部112所提供的控制信息的濾波系數(shù)、塊大小指定以及濾波器塊標(biāo)志等，對從解塊濾波器111所提供的解碼圖像進(jìn)行濾波處理。作為該濾波器，例如使用維納濾波器(Wiener Filter)。當(dāng)然，也可以使用維納濾波器以外的濾波器。自適應(yīng)濾波處理部113將濾波處理結(jié)果提供至幀存儲器114，并將其作為參考圖像而加以存儲。
[0086]幀存儲器114在特定的時(shí)間點(diǎn)，將所存儲的參考圖像輸出至運(yùn)動補(bǔ)償部116和運(yùn)動預(yù)測部117。
[0087]在該圖像編碼裝置100中，例如將來自畫面重排緩沖器102的I畫面、B畫面以及P畫面作為進(jìn)行幀內(nèi)預(yù)測(也稱為幀內(nèi)處理)的圖像提供至幀內(nèi)預(yù)測部115。另外，將從畫面重排緩沖器102所讀出的B畫面以及P畫面作為進(jìn)行幀間預(yù)測(也稱為幀間處理)的圖像提供至運(yùn)動預(yù)測部117。
[0088]幀內(nèi)預(yù)測部115根據(jù)從畫面重排緩沖器102所讀出的進(jìn)行幀內(nèi)預(yù)測的圖像和從幀存儲器114所提供的參考圖像，進(jìn)行對所有作為候補(bǔ)的幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，而生成預(yù)測圖像。
[0089]在幀內(nèi)預(yù)測部115中，與對當(dāng)前塊/宏塊所應(yīng)用的幀內(nèi)預(yù)測模式有關(guān)的信息被傳輸至無損編碼部106，并作為圖像壓縮信息中的首部信息的一部分而被編碼。在H.264圖像信息編碼格式中，對于亮度信號，定義有幀內(nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式及幀內(nèi)16X 16預(yù)測模式，另外，關(guān)于色差信號，可對于每個(gè)宏塊定義獨(dú)立于亮度信號的預(yù)測模式。對于幀內(nèi)4X4預(yù)測模式，針對各個(gè)4X4亮度塊定義I個(gè)幀內(nèi)預(yù)測模式。對于幀內(nèi)8X8預(yù)測模式，針對各個(gè)8X8亮度塊定義I個(gè)幀內(nèi)預(yù)測模式。對于幀內(nèi)16X16預(yù)測模式及色差信號，針對每個(gè)宏塊定義I個(gè)幀內(nèi)預(yù)測模式。
[0090]幀內(nèi)預(yù)測部115針對已生成預(yù)測圖像的幀內(nèi)預(yù)測模式計(jì)算出成本函數(shù)值，并將所計(jì)算出的成本函數(shù)值給出最小值的幀內(nèi)預(yù)測模式選擇為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部115將由最佳幀內(nèi)預(yù)測模式所生成的預(yù)測圖像提供至預(yù)測圖像選擇部118。
[0091]運(yùn)動預(yù)測部117針對要進(jìn)行幀間編碼的圖像，獲取從畫面重排緩沖器102所提供的圖像信息(輸入圖像)和從幀存儲器114所提供的作為參考幀的圖像信息(解碼圖像)，并計(jì)算運(yùn)動向量。運(yùn)動預(yù)測部117將表示所計(jì)算出的運(yùn)動向量的運(yùn)動向量信息提供至無損編碼部106。該運(yùn)動向量信息通過無損編碼部106而進(jìn)行無損壓縮處理，并被包括在圖像壓縮信息中。即，運(yùn)動向量信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
[0092]另外，運(yùn)動預(yù)測部117還將運(yùn)動向量信息提供至運(yùn)動補(bǔ)償部116。
[0093]運(yùn)動補(bǔ)償部116對應(yīng)于從運(yùn)動預(yù)測部117所提供的運(yùn)動向量信息進(jìn)行運(yùn)動補(bǔ)償處理，生成幀間預(yù)測圖像信息。運(yùn)動補(bǔ)償部116將所生成的預(yù)測圖像信息提供至預(yù)測圖像選擇部118。
[0094]預(yù)測圖像選擇部118在進(jìn)行幀內(nèi)編碼的圖像的情況下，將幀內(nèi)預(yù)測部115的輸出提供至運(yùn)算部103，并在進(jìn)行幀間編碼的圖像的情況下，將運(yùn)動補(bǔ)償部116的輸出提供至運(yùn)算部103。
[0095]碼率控制部119根據(jù)存儲緩沖器107中所存儲的壓縮圖像，控制量化部105的量化操作的碼率，以防止產(chǎn)生溢出或下溢。
[0096]在MPEG(運(yùn)動圖像專家組,Moving Picture Experts Group) 2中，運(yùn)動預(yù)測補(bǔ)償/處理的單位是運(yùn)動補(bǔ)償塊，并且能夠在每個(gè)運(yùn)動補(bǔ)償塊中保持獨(dú)立的運(yùn)動向量信息。該運(yùn)動補(bǔ)償塊的大小在幀運(yùn)動補(bǔ)償模式的情形下是16X 16像素，在場運(yùn)動補(bǔ)償模式的情況下，針對第一場、第二場的各自是16X8像素。
[0097]另一方面,在AVC(先進(jìn)視頻編碼,Advanced Video Coding)中，如圖2上側(cè)所示，可將由16X16像素所構(gòu)成的一個(gè)宏塊分割成16X16、16X8、8X16或8X8的任一分區(qū)，且分別具有獨(dú)立的運(yùn)動向量信息。進(jìn)而，如圖2下側(cè)所示，一個(gè)8X8分區(qū)可分割成8X8、8X4、4X8或4X4的任一子分區(qū)，且分別具有獨(dú)立的運(yùn)動向量信息。將該運(yùn)動補(bǔ)償塊作為單位進(jìn)行運(yùn)動預(yù)測補(bǔ)償處理。
[0098]圖3是表示控制信息生成部112的主要構(gòu)成例的框圖。
[0099]控制信息生成部112生成在自適應(yīng)濾波處理部113中所運(yùn)行的作為環(huán)路濾波器的自適應(yīng)濾波器(ALF(Adaptive Loop Filter))所使用的控制信息?？刂菩畔⑸刹?12生成例如濾波系數(shù)、ALF塊大小、濾波器塊標(biāo)志以及邊界控制標(biāo)志作為該控制信息。
[0100]控制信息生成部112具有:濾波系數(shù)計(jì)算部131、邊界控制標(biāo)志生成部132以及塊信息生成部133。
[0101]濾波系數(shù)計(jì)算部131獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當(dāng)前的輸入圖像，并針對每個(gè)幀計(jì)算ALF的濾波系數(shù)。
[0102]邊界控制標(biāo)志生成部132生成邊界控制標(biāo)志(alf_enable_in_slice_boundary),該邊界控制標(biāo)志控制對在幀中形成多個(gè)的片層的邊界附近的像素如何進(jìn)行濾波處理(指定濾波處理方法)。詳細(xì)情況將后述。
[0103]塊信息生成部133根據(jù)從解塊濾波器111所提供的解碼圖像和由濾波系數(shù)計(jì)算部131所計(jì)算出的濾波系數(shù)，決定ALF塊大小，并針對要處理的片層內(nèi)的各ALF塊生成濾波器塊標(biāo)志。
[0104]此處，對ALF塊和濾波器塊標(biāo)志進(jìn)行說明。圖4是說明ALF塊和濾波器塊標(biāo)志的圖。
[0105]如上所述，自適應(yīng)濾波器針對每個(gè)幀設(shè)定濾波系數(shù)。即，以幀單位進(jìn)行最佳的濾波處理。但是，一般而言，幀圖像的整體并不均一，局部具有各種特征。因此，局部的最佳的濾波系數(shù)不同。因此，如上所述，在使用針對每個(gè)幀所決定的濾波系數(shù)的濾波處理中，存在改善幀整體的畫質(zhì)，但局部劣化的可能性。[0106]因此，業(yè)界考慮了不對畫質(zhì)惡化的局部區(qū)域進(jìn)行濾波處理的BALF(Block basedAdaptive Loop Filter,基于塊的自適應(yīng)環(huán)路濾波器)。
[0107]圖4中的A中的幀151示出解塊濾波處理后的解碼圖像。如圖4的B所示，塊信息生成部133將分別作為局部所進(jìn)行的自適應(yīng)濾波處理的控制單位的控制塊的多個(gè)ALF塊152以鋪滿該幀151的整個(gè)區(qū)域的方式無間隙地配置。配置該ALF塊152的區(qū)域可與幀151的區(qū)域不同，但至少包括幀的整個(gè)區(qū)域。結(jié)果，幀151的區(qū)域被分割成ALF塊152的區(qū)域(多個(gè)區(qū)域)。
[0108]塊信息生成部133決定ALF塊152的水平方向的大小(雙箭頭153)與垂直方向的大小(雙箭頭154)。ALF塊的大小可針對每個(gè)片層而指定例如8X8、16X16、24X24、32 X 32、48 X 48、64 X 64、96 X 96或128 X 128的任一者。將指定該ALF塊的大小的信息稱為塊大小指數(shù)(block size index)。
[0109]若已決定塊大小，則幀大小固定，因此每個(gè)幀的ALF塊數(shù)也被決定。
[0110]塊信息生成部133如圖4的C所示，針對每個(gè)ALF塊152，設(shè)定控制是否進(jìn)行濾波處理的濾波器塊標(biāo)志155。例如，對于通過自適應(yīng)濾波器而改善畫質(zhì)的區(qū)域，生成值為“I”的濾波器塊標(biāo)志155，對于因自適應(yīng)濾波器而導(dǎo)致畫質(zhì)惡化的區(qū)域，生成值為“O”的濾波器塊標(biāo)志155。在濾波器塊標(biāo)志155中，值“I”是表示要進(jìn)行濾波處理的值，值“O”是表示不進(jìn)行濾波處理的值。
[0111]自適應(yīng)濾波處理部113根據(jù)該濾波器塊標(biāo)志155的值控制自適應(yīng)濾波處理。例如，自適應(yīng)濾波處理部113僅對濾波器塊標(biāo)志155的值為“I”的ALF塊152的區(qū)域進(jìn)行濾波處理，而不對濾波器塊標(biāo)志155的值為“O”的ALF塊152的區(qū)域進(jìn)行濾波處理。
[0112]另外，上述塊大小指數(shù)與濾波器塊標(biāo)志包括在圖像壓縮信息的片層首部中，并且從圖像編碼裝置100輸送至圖像解碼裝置。對應(yīng)于ALF塊的數(shù)量的I個(gè)以上的濾波器塊標(biāo)志以例如光柵掃描(raster scan)的順序包括于片層首部中。
[0113]因此，ALF塊的大小越小，越能夠?qū)崿F(xiàn)更細(xì)致的濾波器控制，而且越能夠?qū)崿F(xiàn)更適當(dāng)?shù)腁LF濾波。但是，較小的ALF塊的大小會增加濾波器塊標(biāo)志的比特量。即，ALF塊的大小越小，圖像壓縮信息的編碼效率越下降。從而，自適應(yīng)濾波器的性能與圖像壓縮信息的編碼效率處于折衷的關(guān)系。
[0114]AlF塊的數(shù)量按照如下的表達(dá)式(I)而計(jì)算:
[0115][數(shù)學(xué)表達(dá)式I]
N
【權(quán)利要求】
1.一種圖像解碼裝置，具備: 接受單元，接受編碼數(shù)據(jù)、塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述編碼數(shù)據(jù)是包括四叉樹構(gòu)造的像素塊的圖像數(shù)據(jù)的編碼數(shù)據(jù)，所述塊控制數(shù)據(jù)對所述像素塊的每一個(gè)控制是否進(jìn)行濾波處理，所述片層控制數(shù)據(jù)控制是否跨越處理對象的片層的邊界來進(jìn)行所述濾波處理； 解碼單元，對由所述接受單元所接受的所述編碼數(shù)據(jù)進(jìn)行解碼；以及濾波器單元，根據(jù)由所述接受單元所接受的所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)，對由所述解碼單元所生成的圖像數(shù)據(jù)進(jìn)行所述濾波處理。
2.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其中， 所述像素塊為四叉樹構(gòu)造。
3.根據(jù)權(quán)利要求2所述的圖像解碼裝置，其中， 所述四叉樹構(gòu)造由表示所述像素塊是否在下位的階層中被一分為四的信息所定義。
4.根據(jù)權(quán)利要求3所述的圖像解碼裝置，其中， 所述四叉樹構(gòu)造在各階層中使用所述信息被遞歸地定義直到所述像素塊不再被一分為四為止。
5.根據(jù)權(quán)利要求 4所述的圖像解碼裝置，其中， 所述四叉樹構(gòu)造具有三個(gè)階層以上的階層構(gòu)造。
6.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其中， 所述濾波處理為自適應(yīng)濾波處理。
7.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其中， 所述接受單元還接受對像素塊的每一個(gè)控制是否進(jìn)行濾波處理的控制數(shù)據(jù)， 所述濾波單元在由所述接受單元所接受的所述控制數(shù)據(jù)指示對所述像素塊進(jìn)行所述濾波處理的情況下，對所述像素塊進(jìn)行所述濾波處理。
8.根據(jù)權(quán)利要求1所述的圖像解碼裝置，還具備: 解碼單元，對所述像素塊進(jìn)行解碼， 所述濾波單元對由所述解碼單元所解碼的所述像素塊進(jìn)行所述濾波處理。
9.根據(jù)權(quán)利要求1所述的圖像解碼裝置，還具備: 電源單元，在由用戶的操作而結(jié)束通話及使電源鍵成為接通狀態(tài)時(shí)，從電池組對各處理單元提供電力，從而啟動為可操作的狀態(tài)。
10.根據(jù)權(quán)利要求1所述的圖像解碼裝置，還具備: 顯示控制單元，將由所述濾波單元進(jìn)行了濾波處理的圖像在顯示器上顯示。
11.根據(jù)權(quán)利要求1所述的圖像解碼裝置，還具備: 接收單元，接收圖像數(shù)據(jù)， 所述濾波單元對由所述接收單元所接收的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
12.根據(jù)權(quán)利要求11所述的圖像解碼裝置，其中 所述接收單元接收通過擴(kuò)頻處理而被調(diào)制了的圖像數(shù)據(jù)， 還具備解調(diào)單元，通過逆擴(kuò)頻處理，對由所述接收單元所接收的、通過所述擴(kuò)頻處理而被調(diào)制了的所述圖像數(shù)據(jù)進(jìn)行解調(diào)， 所述濾波單元對由所述解調(diào)單元所解調(diào)的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
13.根據(jù)權(quán)利要求12所述的圖像解碼裝置，其中 所述接收單元接收將通過擴(kuò)頻處理而被調(diào)制了的圖像數(shù)據(jù)和其它數(shù)據(jù)復(fù)用了的復(fù)用數(shù)據(jù)， 所述解調(diào)單元，通過逆擴(kuò)頻處理，對由所述接收單元所接收的、通過所述擴(kuò)頻處理而被調(diào)制了的所述復(fù)用數(shù)據(jù)進(jìn)行解調(diào)， 還具備分離單元，將由所述解調(diào)單元解調(diào)了的所述復(fù)用數(shù)據(jù)分離為所述圖像數(shù)據(jù)和所述其它數(shù)據(jù)， 所述濾波單元 對由所述分離單元分離而得到的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
14.一種圖像解碼方法，具備: 接受編碼數(shù)據(jù)、塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述編碼數(shù)據(jù)是包括四叉樹構(gòu)造的像素塊的圖像數(shù)據(jù)的編碼數(shù)據(jù)，所述塊控制數(shù)據(jù)對所述像素塊的每一個(gè)控制是否進(jìn)行濾波處理，所述片層控制數(shù)據(jù)控制是否跨越處理對象的片層的邊界來進(jìn)行所述濾波處理；對所接受的所述編碼數(shù)據(jù)進(jìn)行解碼；以及 根據(jù)所接受的所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)，對將所述編碼數(shù)據(jù)解碼所生成的圖像數(shù)據(jù)進(jìn)行所述濾波處理。
15.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 所述像素塊為四叉樹構(gòu)造。
16.根據(jù)權(quán)利要求15所述的圖像解碼方法，其中， 所述四叉樹構(gòu)造由表示所述像素塊是否在下位的階層中被一分為四的信息所定義。
17.根據(jù)權(quán)利要求16所述的圖像解碼方法，其中， 所述四叉樹構(gòu)造在各階層中使用所述信息被遞歸地定義直到所述像素塊不再被一分為四為止。
18.根據(jù)權(quán)利要求17所述的圖像解碼方法，其中， 所述四叉樹構(gòu)造具有三個(gè)階層以上的階層構(gòu)造。
19.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 所述濾波處理為自適應(yīng)濾波處理。
20.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 還接受對像素塊的每一個(gè)控制是否進(jìn)行濾波處理的控制數(shù)據(jù)， 在所接受的所述控制數(shù)據(jù)指示對所述像素塊進(jìn)行所述濾波處理的情況下，對所述像素塊進(jìn)行所述濾波處理。
21.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 對所述像素塊進(jìn)行解碼， 對所解碼的所述像素塊進(jìn)行所述濾波處理。
22.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 在由用戶的操作而結(jié)束通話及使電源鍵成為接通狀態(tài)時(shí)，從電池組對各處理單元提供電力，從而啟動為可操作的狀態(tài)。
23.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 將進(jìn)行了濾波處理的圖像在顯示器上顯示。
24.根據(jù)權(quán)利要求14所述的圖像解碼方法，其中， 接收圖像數(shù)據(jù)， 對所接收的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
25.根據(jù)權(quán)利要求24所述的圖像解碼方法，其中 接收通過擴(kuò)頻處理而被調(diào)制了的圖像數(shù)據(jù)， 通過逆擴(kuò)頻處理，對所接收的、通過所述擴(kuò)頻處理而被調(diào)制了的所述圖像數(shù)據(jù)進(jìn)行解調(diào)， 對所解調(diào)的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
26.根據(jù)權(quán)利要求25所述的圖像解碼方法，其中 接收將通過擴(kuò)頻處理而被調(diào)制了的圖像數(shù)據(jù)和其它數(shù)據(jù)復(fù)用了的復(fù)用數(shù)據(jù)， 通過逆擴(kuò)頻處理，對接收的、通過所述擴(kuò)頻處理而被調(diào)制了的所述復(fù)用數(shù)據(jù)進(jìn)行解調(diào)， 將解調(diào)了的所述復(fù)用數(shù)據(jù)分離為所述圖像數(shù)據(jù)和所述其它數(shù)據(jù)， 對分離而得到的所述圖像數(shù)據(jù)的像素塊進(jìn)行所述濾波處理。
27.一種計(jì)算機(jī)可讀介質(zhì)，記錄有使得計(jì)算機(jī)作為如下單元發(fā)揮功能的程序: 接受單元，接受編碼數(shù)據(jù)、塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述編碼數(shù)據(jù)是包括四叉樹構(gòu)造的像素塊的圖像數(shù)據(jù)的編碼數(shù)據(jù)，所述塊控制數(shù)據(jù)對所述像素塊的每一個(gè)控制是否進(jìn)行濾波處理，所述片層控制數(shù)據(jù)控制是否跨越處理對象的片層的邊界來進(jìn)行所述濾波處理； 解碼單元，對由所述接受單元所接受的所述編碼數(shù)據(jù)進(jìn)行解碼；以及濾波器單元，根據(jù)由所述接受單元所接受的所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)，對由所述解碼單元所生成的圖像數(shù)據(jù)進(jìn)行所述濾波處理。
【文檔編號】H04N19/625GK103957407SQ201410206559
【公開日】2014年7月30日 申請日期:2010年7月23日 優(yōu)先權(quán)日:2009年7月31日
【發(fā)明者】近藤健治 申請人:索尼公司