專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序，且具體地說(shuō)，涉及能夠提高通過(guò)幀間預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像的質(zhì)量的圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
近年來(lái)，以數(shù)字格式操作圖像信息的設(shè)備以及在那時(shí)，為了高效地傳送和累積信息，壓縮編碼圖像已經(jīng)得到廣泛應(yīng)用。該設(shè)備使用對(duì)圖像信息特定的冗余度并采用基于比如離散余弦變換之類的正交變換和運(yùn)動(dòng)補(bǔ)償(例如，MPEG(運(yùn)動(dòng)圖像專家組階段)標(biāo)準(zhǔn))壓縮圖像的方法。具體地說(shuō)，MPEG 2(IS0/IEC 13818-2)被定義為通用的圖像編碼方法。MPEG 2是對(duì)于隔行掃描圖像和逐行掃描圖像和對(duì)于標(biāo)準(zhǔn)清晰度圖像和高清晰度圖像定義的標(biāo)準(zhǔn)。 MPEG 2現(xiàn)今廣泛地用于專業(yè)應(yīng)用和消費(fèi)者應(yīng)用。通過(guò)使用MPEG 2壓縮標(biāo)準(zhǔn)并向720X480 像素的標(biāo)準(zhǔn)分辨率隔行圖像分配4到8Mbps的編碼量(位速率)和向1920X 1088像素的高清晰度隔行圖像分配18到22Mbps的編碼量，可以實(shí)現(xiàn)高壓縮比和優(yōu)秀的圖像質(zhì)量。MPEG 2意在提供主要與廣播適應(yīng)的高分辨率編碼，因此，MPEG 2不支持具有低于 MPEG 1的編碼量的編碼量，也就是，壓縮比高于MPEG 1的壓縮比的編碼方法。但是，因?yàn)橐苿?dòng)電話變得更廣泛地使用，這種編碼方法的需求正在增加。因此，已經(jīng)標(biāo)準(zhǔn)化了 MPEG 4編碼方法。例如，在1998年12月MPEG 4圖像編碼方法被批準(zhǔn)為國(guó)際標(biāo)準(zhǔn)IS0/IEC 14496-2。另外，近年來(lái)，為了編碼電視會(huì)議的圖像，已經(jīng)進(jìn)行了被稱為H. 26L (ITU-T Q6/16VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化。在H. 26L中，與比如MPEG 2和MPEG 4之類的現(xiàn)有的編碼標(biāo)準(zhǔn)比較，編碼和解碼操作需要大量計(jì)算。但是，已知H. 26L可以實(shí)現(xiàn)更高的編碼效率。此外，作為MPEG 4的活動(dòng)的一部分，已經(jīng)進(jìn)行了被稱為增強(qiáng)-壓縮視頻編碼的聯(lián)合模型的標(biāo)準(zhǔn)化。該增強(qiáng)-壓縮視頻編碼的聯(lián)合模型基于H. 26L并包括H. 26L不支持的功能，因此可以實(shí)現(xiàn)更高的編碼效率。在2003年3月，增強(qiáng)-壓縮視頻編碼的聯(lián)合模型被批準(zhǔn)為國(guó)際標(biāo)準(zhǔn)，作為H. 264和MPEG-4部分10 (高級(jí)視頻編碼；在下文中，稱為“AVC”)。另外，例如，在H. 264/AVC中，使用在各幀或各場(chǎng)之間的相關(guān)性執(zhí)行幀間預(yù)測(cè)。在這種幀間預(yù)測(cè)中執(zhí)行的運(yùn)動(dòng)補(bǔ)償處理中，通過(guò)平移表示參考圖像的部分區(qū)域的運(yùn)動(dòng)補(bǔ)償塊，來(lái)通過(guò)幀間預(yù)測(cè)產(chǎn)生預(yù)測(cè)的圖像(以下稱為“幀間預(yù)測(cè)的圖像”)。更具體地說(shuō)，通過(guò)根據(jù)表示在各幀或各場(chǎng)之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量平移運(yùn)動(dòng)補(bǔ)償塊中的像素值來(lái)產(chǎn)生幀間預(yù)測(cè)的圖像。例如，如圖1的“A”所示，如果在第(t-Ι)幀的圖像中的面部11被平移到第t幀的圖像中的右邊，則在運(yùn)動(dòng)補(bǔ)償處理中第(t-Ι)幀的圖像被定義為參考圖像，如圖1的“B” 所示。因此，獲得指示右向的運(yùn)動(dòng)矢量。此后，如圖1的“B”所示，根據(jù)該運(yùn)動(dòng)矢量將參考圖像中包括面部11的運(yùn)動(dòng)補(bǔ)償塊12平移到右邊。產(chǎn)生這種圖像作為第t幀中的幀間預(yù)測(cè)的圖像。注意到，為了簡(jiǎn)單起見(jiàn)，在圖1中，使用兩個(gè)幀第(t-Ι)幀和第t幀執(zhí)行幀間預(yù)測(cè)。但是，實(shí)際上，使用的幀的數(shù)目不限于2。另外，在H. 264/AVC的運(yùn)動(dòng)補(bǔ)償處理中，運(yùn)動(dòng)矢量的分辨率可以增加到分?jǐn)?shù)像素的精度，比如1/2像素精度或1/4像素精度。在這種具有分?jǐn)?shù)像素精度的補(bǔ)償處理中，假定在兩個(gè)相鄰像素之間存在被稱為子像素的虛擬像素，且另外執(zhí)行用于產(chǎn)生子像素的處理(以下稱為“內(nèi)插”)。例如，HR(有限持續(xù)時(shí)間脈沖響應(yīng))濾波器用于內(nèi)插。該HR濾波器在兩個(gè)相鄰像素之間內(nèi)插數(shù)據(jù)。因此，F(xiàn)IR濾波器的抽頭數(shù)是偶數(shù)。例如，在HJ64/AVC中，用于具有 1/2像素精度的運(yùn)動(dòng)補(bǔ)償處理的FIR濾波器的抽頭數(shù)是6。用于具有1/4像素精度的運(yùn)動(dòng)補(bǔ)償處理的HR濾波器的抽頭數(shù)是2。但是，在使用HR濾波器的具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)補(bǔ)償處理中，僅另外執(zhí)行內(nèi)插。像具有整數(shù)像素精度的運(yùn)動(dòng)補(bǔ)償處理那樣，通過(guò)平移運(yùn)動(dòng)補(bǔ)償塊產(chǎn)生幀間預(yù)測(cè)的圖像。另外，NPL 1和2描述在近來(lái)的研究論文中報(bào)告的自適應(yīng)內(nèi)插濾波器(AIF)。在這種使用AIF的運(yùn)動(dòng)補(bǔ)償處理中，通過(guò)自適應(yīng)地改變具有用于內(nèi)插的偶數(shù)抽頭的HR濾波器的濾波器系數(shù)，可以減小混迭效應(yīng)且因此，可以減小運(yùn)動(dòng)補(bǔ)償中的誤差。但是，在使用AIF的具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)補(bǔ)償中，僅通過(guò)自適應(yīng)地改變HR濾波器的濾波器系數(shù)執(zhí)行內(nèi)插。像具有整數(shù)像素精度的運(yùn)動(dòng)補(bǔ)償那樣，平移運(yùn)動(dòng)補(bǔ)償塊，并產(chǎn)生幀間預(yù)測(cè)的圖像。如上所述，當(dāng)圖像中的改變被表示為圖像的平移時(shí)，可以執(zhí)行使用HR濾波器或 AIF的具有整數(shù)像素精度的運(yùn)動(dòng)補(bǔ)償處理和具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)補(bǔ)償處理。引用列表非專利文獻(xiàn)NPL 1 Thomas Wedi禾口Hans Georg Musmann,Motion-and Aliasing-Compensated Prediction for Hybrid Video Coding, IEEE Transactions on circuits and systems for video technology, 2003 年 7 月，Vol. 13，No. 7NPL 2 :Yuri Vatis,Joern Ostermann,Prediction of P-and B-Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation Filter for H. 264/ AVC, ITU-T SG16 VCEG 30th Meeting, Hangzhou China，2006 年 10 月

發(fā)明內(nèi)容
技術(shù)問(wèn)題但是實(shí)際上，圖像中的改變不能僅表示為平移。例如，圖像的模糊量可能由于各種原因(例如，從焦點(diǎn)對(duì)準(zhǔn)狀態(tài)偏離焦點(diǎn)，從焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)進(jìn)入對(duì)焦，或物體以加速速率移動(dòng))而改變。如在這里使用的，術(shù)語(yǔ)“模糊”是指圖像中物體位置的不清楚。如果物體模糊， 則當(dāng)物體不模糊時(shí)在圖像中以聚光點(diǎn)形式出現(xiàn)的物體以散射光的形式出現(xiàn)。如果出現(xiàn)這種模糊，則圖像的高頻分量丟失。但是，不能使用平移表示頻率特性的變化。因此，當(dāng)在圖像之間出現(xiàn)模糊的改變時(shí)，且如果使用上述運(yùn)動(dòng)補(bǔ)償處理執(zhí)行幀間預(yù)測(cè)，則產(chǎn)生在幀間預(yù)測(cè)的圖像和要編碼的圖像之間像素值的差。注意，該差關(guān)于要編碼的圖像減小幀間預(yù)測(cè)的圖像的峰值信噪比(PSNR)。例如，如圖2所示，如果第(t-Ι)幀的輸入的焦點(diǎn)對(duì)準(zhǔn)圖像改變?yōu)榈趖幀的輸入焦點(diǎn)未對(duì)準(zhǔn)圖像，則第(t-Ι)幀的輸入圖像中的非模糊面部21改變?yōu)榈趖幀的輸入圖像中的模糊面部22。注意，在圖2中，模糊由粗體框表示。另外，在圖2的示例中，為簡(jiǎn)單起見(jiàn)，面部21是靜止的。在這種情況下，面部21的運(yùn)動(dòng)矢量是0。因此，如圖2所示，當(dāng)?shù)?t-Ι)幀的輸入圖像被定義為參考圖像時(shí)且如果對(duì)于要編碼的第t幀執(zhí)行幀間預(yù)測(cè)，則第t幀的幀間預(yù)測(cè)的圖像與參考圖像相同。也就是說(shuō)，第t幀的幀間預(yù)測(cè)的圖像中的面部與第(t-Ι)幀的輸入圖像中的非模糊面部21相同。因此，就像素值而言，在第t幀的幀間預(yù)測(cè)的圖像和輸入圖像之間僅出現(xiàn)面部22 和面部21之間的差異。因此，幀間預(yù)測(cè)的圖像關(guān)于第t幀的輸入圖像的PSNR減小。也就是說(shuō)，如圖2所示，在幀間預(yù)測(cè)的圖像和第t幀的輸入圖像之間的差異圖像是其中面部21 的輪廓部分23保留為面部22和面部21之間的差異的圖像。注意到在圖2所示的示例中，面部21是靜止的。但是，即使對(duì)于正在移動(dòng)的面部 21，就像素值而言，在第t幀的幀間預(yù)測(cè)的圖像和輸入圖像之間僅類似地出現(xiàn)面部22和面部21之間的差異。因此，幀間預(yù)測(cè)的圖像關(guān)于第t幀的輸入圖像的PSNR減小。在編碼設(shè)備中，總的來(lái)說(shuō)，差異圖像經(jīng)歷某些正交變換、量化和編碼。此后，將產(chǎn)生的圖像作為已編碼圖像傳送到解碼器。因此，PSNR的下降增加編碼量并降低編碼效率。因此，本發(fā)明可以提高幀間預(yù)測(cè)的圖像的質(zhì)量。技術(shù)方案根據(jù)本發(fā)明的第一方面，圖像處理設(shè)備包括解碼裝置，用于解碼已編碼圖像；補(bǔ)償裝置，用于基于指示圖像之間的模糊變化的模糊信息，來(lái)關(guān)于由解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，其中模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算裝置，用于通過(guò)將由解碼裝置解碼的圖像與經(jīng)歷了由補(bǔ)償裝置執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像加和來(lái)產(chǎn)生已解碼圖像。可以使用PSF(點(diǎn)擴(kuò)散函數(shù))來(lái)表示模糊信息?？梢允褂枚S正態(tài)分布表達(dá)式來(lái)表示模糊信息。從不同圖像處理設(shè)備發(fā)送的模糊信息可以指示二維正態(tài)分布表達(dá)式的擴(kuò)展寬度 I可以由作為脈沖響應(yīng)輸出的半徑L表示模糊信息.可以由從作為脈沖響應(yīng)的中心開始水平方向上的長(zhǎng)度Lx和垂直方向上的長(zhǎng)度Ly 表示模糊信息。補(bǔ)償裝置可以關(guān)于由解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償并使用模糊信息關(guān)于產(chǎn)生的圖像執(zhí)行模糊補(bǔ)償。補(bǔ)償裝置可以使用模糊信息關(guān)于由解碼裝置解碼的圖像執(zhí)行模糊補(bǔ)償并關(guān)于產(chǎn)生的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。根據(jù)本發(fā)明的第一方面，提供了圖像處理設(shè)備中使用的圖像處理方法。該方法包括解碼步驟，解碼已編碼圖像；補(bǔ)償步驟，基于指示圖像之間的模糊變化的模糊信息，關(guān)于在解碼步驟中解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，其中模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算步驟，通過(guò)將在解碼步驟中解碼的圖像與經(jīng)歷了在補(bǔ)償步驟中執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像加和來(lái)產(chǎn)生已解碼圖像。
根據(jù)本發(fā)明的第一方面，程序包括用于使得計(jì)算機(jī)用作圖像處理設(shè)備的程序代碼。該圖像處理設(shè)備包括解碼裝置，用于解碼已編碼圖像；補(bǔ)償裝置，用于基于指示圖像之間的模糊變化的模糊信息，來(lái)關(guān)于由解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，其中模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算裝置， 用于通過(guò)將由解碼裝置解碼的圖像與經(jīng)歷了由補(bǔ)償裝置執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像加和來(lái)產(chǎn)生已解碼圖像。根據(jù)本發(fā)明的第二方面，圖像處理設(shè)備包括補(bǔ)償裝置，用于使用要編碼的圖像和參考圖像預(yù)測(cè)運(yùn)動(dòng)和要編碼的圖像和參考圖像之間的模糊變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊變化的模糊信息來(lái)關(guān)于參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼裝置，用于使用在經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和要編碼的圖像之間的差異來(lái)產(chǎn)生已編碼圖像；和發(fā)送裝置，用于發(fā)送已編碼圖像和模糊信息?？梢杂蒔SF(點(diǎn)擴(kuò)散函數(shù))來(lái)表示模糊信息?？梢允褂枚S正態(tài)分布表達(dá)式來(lái)表示模糊信息。發(fā)送裝置可以發(fā)送二維正態(tài)分布表達(dá)式的擴(kuò)展寬度W作為模糊信息?？梢杂勺鳛槊}沖響應(yīng)輸出的半徑L表示模糊信息.可以由從作為脈沖響應(yīng)的中心開始水平方向上的長(zhǎng)度Lx和垂直方向上的長(zhǎng)度Ly 表示模糊信息?？梢允褂靡幋a的圖像和參考圖像預(yù)測(cè)運(yùn)動(dòng)，且可以基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償?？梢允褂猛ㄟ^(guò)運(yùn)動(dòng)補(bǔ)償獲得的圖像和要編碼的圖像來(lái)預(yù)測(cè)模糊的變化，且可以基于表示模糊變化的模糊信息執(zhí)行模糊補(bǔ)償。補(bǔ)償裝置可以使用要編碼的圖像和參考圖像預(yù)測(cè)模糊的變化并基于表示模糊變化的模糊信息執(zhí)行模糊補(bǔ)償，且補(bǔ)償裝置可以使用通過(guò)模糊補(bǔ)償獲得的圖像和要編碼的圖像預(yù)測(cè)運(yùn)動(dòng)與基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償。根據(jù)本發(fā)明的第二方面，提供了圖像處理設(shè)備中使用的圖像處理方法。該方法包括補(bǔ)償步驟，使用要編碼的圖像和參考圖像預(yù)測(cè)運(yùn)動(dòng)和要編碼的圖像和參考圖像之間的模糊的變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊變化的模糊信息執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼步驟，使用經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和要編碼的圖像之間的差異產(chǎn)生已編碼圖像；和發(fā)送步驟，發(fā)送已編碼圖像和模糊信息。根據(jù)本發(fā)明的第二方面，程序包括用于使得計(jì)算機(jī)用作圖像處理設(shè)備的程序代碼。該圖像處理設(shè)備包括補(bǔ)償裝置，用于使用要編碼的圖像和參考圖像預(yù)測(cè)運(yùn)動(dòng)和要編碼的圖像和參考圖像之間的模糊的變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊變化的模糊信息執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼裝置，用于使用經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和要編碼的圖像之間的差異產(chǎn)生已編碼圖像；和發(fā)送裝置，用于發(fā)送已編碼圖像和模糊信息。根據(jù)本發(fā)明的第一方面，解碼已編碼圖像?；谂c已編碼圖像對(duì)應(yīng)并從編碼圖像的不同圖像處理設(shè)備發(fā)送的模糊信息關(guān)于已解碼圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，其中模糊信息指示圖像之間的模糊變化。此后，通過(guò)將已解碼圖像和經(jīng)歷了由補(bǔ)償裝置執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像加和來(lái)產(chǎn)生已解碼圖像。根據(jù)本發(fā)明的第二方面，使用要編碼的圖像和參考圖像，預(yù)測(cè)運(yùn)動(dòng)要編碼的圖像和參考圖像之間的模糊變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊變化的模糊信息來(lái)關(guān)于參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償。此后，使用經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和要編碼的圖像之間的差異產(chǎn)生已編碼圖像。隨后，發(fā)送已編碼圖像和模糊信息。技術(shù)效果根據(jù)本發(fā)明，可以提高幀間預(yù)測(cè)的圖像的質(zhì)量。


圖1圖示現(xiàn)有的幀間預(yù)測(cè)技術(shù)；圖2圖示當(dāng)在圖像之間出現(xiàn)模糊時(shí)獲得的幀內(nèi)預(yù)測(cè)的圖像；圖3是根據(jù)本發(fā)明的圖像編碼設(shè)備的配置的框圖；圖4圖示可變塊大?。粓D5是根據(jù)本發(fā)明的圖像解碼設(shè)備的配置的框圖；圖6是根據(jù)本發(fā)明第一實(shí)施例的圖像編碼設(shè)備的配置的示例的框圖；圖7是圖6所示的模糊預(yù)測(cè)/補(bǔ)償單元的詳細(xì)配置示例的框圖；圖8圖示通過(guò)其出現(xiàn)對(duì)焦模糊的機(jī)構(gòu)；圖9圖示通過(guò)其出現(xiàn)運(yùn)動(dòng)模糊的機(jī)構(gòu)；圖10圖示關(guān)于對(duì)焦模糊的模糊信息；圖11圖示關(guān)于運(yùn)動(dòng)模糊的模糊信息；圖12圖示點(diǎn)擴(kuò)散函數(shù)；圖13圖示點(diǎn)擴(kuò)散函數(shù)；圖14圖示使用正態(tài)分布等式計(jì)算的濾波器系數(shù)的示例；圖15是由圖6所示的圖像編碼設(shè)備執(zhí)行的編碼處理的流程圖；圖16是在圖15所示的步驟S25執(zhí)行的模糊預(yù)測(cè)/補(bǔ)償處理的流程圖；圖17是根據(jù)本發(fā)明第一實(shí)施例的圖像解碼設(shè)備的示例配置的框圖；圖18圖示圖17所示的模糊預(yù)測(cè)/補(bǔ)償單元的詳細(xì)配置的示例；圖19是由圖17所示的圖像解碼設(shè)備執(zhí)行的解碼處理的流程圖；圖20是在圖19所示的步驟S140執(zhí)行的模糊補(bǔ)償處理的流程圖；圖21是根據(jù)本發(fā)明第二實(shí)施例的圖像編碼設(shè)備的配置的示例的框圖；圖22是圖21所示的模糊運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的詳細(xì)配置的示例的框圖；圖23是由圖21所示的圖像編碼設(shè)備執(zhí)行的編碼處理的流程圖；圖M是在圖23所示的步驟S223執(zhí)行的模糊運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的流程圖；圖25是根據(jù)本發(fā)明第二實(shí)施例的圖像解碼設(shè)備的示例配置的框圖；圖沈是圖25所示的模糊運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元的詳細(xì)示例配置的框圖；圖27是由圖25所示的圖像解碼設(shè)備執(zhí)行的解碼處理的流程圖；圖觀是在圖27所示的步驟S339執(zhí)行的模糊運(yùn)動(dòng)補(bǔ)償處理的流程圖；圖四圖示擴(kuò)展的宏塊大小的示例；圖30是根據(jù)本發(fā)明的電視接收機(jī)的基本配置的示例的框圖；圖31是根據(jù)本發(fā)明的移動(dòng)電話的基本配置的示例的框圖；圖32是根據(jù)本發(fā)明的硬盤記錄器的基本配置的示例的框圖33是根據(jù)本發(fā)明的相機(jī)的基本配置的示例的框具體實(shí)施例方式<1.發(fā)明的假定〉首先參考圖3到圖5描述根據(jù)本發(fā)明的圖像編碼設(shè)備和圖像解碼設(shè)備。圖3圖示根據(jù)本發(fā)明的圖像編碼設(shè)備的配置。圖像編碼設(shè)備51包括A/D轉(zhuǎn)換單元61、重排序屏幕緩沖器62、計(jì)算單元63、正交變換單元64、量化器單元65、無(wú)損編碼單元 66、累積緩沖器67、逆量化器單元68、逆正交變換單元69、計(jì)算單元70、去區(qū)塊濾波器71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測(cè)單元74、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、已預(yù)測(cè)圖像選擇單元76和速率控制單元77。圖像編碼設(shè)備51例如使用H. 264/AVC標(biāo)準(zhǔn)壓縮編碼圖像。A/D轉(zhuǎn)換單元61A/D轉(zhuǎn)換輸入圖像并將已轉(zhuǎn)換圖像輸出到存儲(chǔ)已轉(zhuǎn)換圖像的重排序屏幕緩沖器62中。此后，重排序屏幕緩沖器62根據(jù)GOP(畫面組)重排序以存儲(chǔ)的次序布置的幀的圖像，以便以要編碼幀的次序布置圖像。計(jì)算單元63從重排序屏幕緩沖器62讀取的圖像中減去由預(yù)測(cè)圖像選擇單元 76選擇的以下兩個(gè)預(yù)測(cè)圖像之一幀內(nèi)預(yù)測(cè)的圖像和通過(guò)幀間預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像(以下稱為“幀間預(yù)測(cè)的圖像”)。此后，計(jì)算單元63將產(chǎn)生的差值輸出到正交變換單元64。 正交變換單元64關(guān)于從計(jì)算單元63接收到的差值執(zhí)行正交變換，比如離散余弦變換或 Karhunen-Loeve變換，并輸出變換系數(shù)。量化器單元65量化從正交變換單元64輸出的變換系數(shù)。從量化器單元65輸出的量化的變換系數(shù)被輸入到無(wú)損編碼單元66。此后，關(guān)于量化的變換系數(shù)執(zhí)行無(wú)損編碼處理，比如可變長(zhǎng)度編碼(例如，CAVLC(上下文自適應(yīng)可變長(zhǎng)度編碼))或算術(shù)編碼(例如，CABAC(上下文自適應(yīng)二進(jìn)制算術(shù)編碼)。因此，壓縮變換系數(shù)。在累積緩沖器67中積累產(chǎn)生的壓縮圖像，并隨后輸出。另外，從量化器單元65輸出的量化的變換系數(shù)還輸入到逆量化器單元68并進(jìn)行逆量化。此后，變換系數(shù)進(jìn)一步在逆正交變換單元69中經(jīng)歷逆正交變換。由計(jì)算單元70 將逆正交變換的結(jié)果加到從預(yù)測(cè)圖像選擇單元76提供的幀間預(yù)測(cè)的圖像或幀內(nèi)預(yù)測(cè)的圖像。以這種方式，產(chǎn)生本地解碼的圖像。去區(qū)塊濾波器71去除本地解碼的圖像的塊失真并將本地解碼的圖像提供到幀存儲(chǔ)器72。因此，累積本地解碼的圖像。另外，由去區(qū)塊濾波器 71執(zhí)行去區(qū)塊濾波器處理之前的圖像還被提供給幀存儲(chǔ)器72并累積。開關(guān)73將在幀存儲(chǔ)器72中累積的圖像輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75或幀內(nèi)預(yù)測(cè)單元74。在圖像編碼設(shè)備51中，例如，將從重排序屏幕緩沖器62接收到的I畫面、B畫面和P畫面提供給幀內(nèi)預(yù)測(cè)單元74作為要經(jīng)歷幀內(nèi)預(yù)測(cè)的圖像。另外，將從重排序屏幕緩沖器62讀取的B畫面和P畫面提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75作為要經(jīng)歷幀間預(yù)測(cè)的圖像。幀內(nèi)預(yù)測(cè)單元74使用要經(jīng)歷幀內(nèi)預(yù)測(cè)并從重排序屏幕緩沖器62讀取的圖像和經(jīng)由開關(guān)73從幀存儲(chǔ)器72提供的圖像來(lái)在所有候選幀內(nèi)預(yù)測(cè)模式中執(zhí)行幀內(nèi)預(yù)測(cè)處理。因此，幀內(nèi)預(yù)測(cè)單元74產(chǎn)生幀內(nèi)預(yù)測(cè)的圖像。注意，在H. ^4/AVC編碼標(biāo)準(zhǔn)中，作為用于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式，定義基于 4X4像素塊的預(yù)測(cè)模式、基于8X8像素塊的預(yù)測(cè)模式和基于16X 16像素塊的預(yù)測(cè)模式。也就是說(shuō)，定義基于宏塊的預(yù)測(cè)模式。另外，與用于亮度信號(hào)的幀內(nèi)預(yù)測(cè)模式獨(dú)立地定義用于色差信號(hào)的幀內(nèi)預(yù)測(cè)模式?；诤陦K定義用于色差信號(hào)的幀內(nèi)預(yù)測(cè)模式。另外，幀內(nèi)預(yù)測(cè)單元74對(duì)于所有候選幀內(nèi)預(yù)測(cè)模式中的每一個(gè)計(jì)算成本函數(shù)值。使用如在作為H. 264/AVC參考軟件的JM(聯(lián)合模型)中定義的高復(fù)雜度模式和低復(fù)雜度模式的技術(shù)之一計(jì)算成本函數(shù)值。更具體地說(shuō)，當(dāng)采用高復(fù)雜度模式作為計(jì)算成本函數(shù)值的技術(shù)時(shí)，對(duì)于所有候選預(yù)測(cè)模式臨時(shí)執(zhí)行直到編碼處理的處理。因此，對(duì)于每一幀內(nèi)預(yù)測(cè)模式計(jì)算由以下等式(1) 定義的成本函數(shù)值。Cost (Mode) = D+λ · R . . . (1)D表示在初始圖像和解碼圖像之間的差異(失真)，R表示包括直到正交變換系數(shù)的產(chǎn)生的代碼量，且λ表示以量化參數(shù)QP的函數(shù)的形式的拉格朗日乘子。相反，當(dāng)采用低復(fù)雜度模式作為用于計(jì)算成本函數(shù)值的技術(shù)時(shí)，執(zhí)行幀內(nèi)預(yù)測(cè)的圖像的產(chǎn)生和報(bào)頭位(例如，指示幀內(nèi)預(yù)測(cè)模式的信息)的計(jì)算。因此，對(duì)于每一幀內(nèi)預(yù)測(cè)模式計(jì)算以下面等式( 表示的成本函數(shù)。Cost (Mode) = D+QPtoQuant (QP) · Header_Bit …(2)D表示在初始圖像和解碼圖像之間的差異(失真)，Header_Bit表示用于預(yù)測(cè)模式的報(bào)頭位，且QPtoQuant表示以量化參數(shù)QP的函數(shù)的形式提供的函數(shù)。在低復(fù)雜度模式中，可以僅對(duì)于每一幀內(nèi)預(yù)測(cè)模式產(chǎn)生幀內(nèi)預(yù)測(cè)的圖像。不必執(zhí)行編碼處理。因此，可以減小計(jì)算量。幀內(nèi)預(yù)測(cè)單元74選擇在以這樣的方式計(jì)算的成本函數(shù)值之中提供最小值的幀內(nèi)預(yù)測(cè)模式作為最優(yōu)幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)單元74將以最優(yōu)幀內(nèi)預(yù)測(cè)模式產(chǎn)生的幀內(nèi)預(yù)測(cè)的圖像和其成本函數(shù)值提供到預(yù)測(cè)圖像選擇單元76。如果由預(yù)測(cè)圖像選擇單元76選擇了以最優(yōu)幀內(nèi)預(yù)測(cè)模式產(chǎn)生的幀內(nèi)預(yù)測(cè)的圖像，則幀內(nèi)預(yù)測(cè)單元74提供指示最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息給無(wú)損編碼單元66。無(wú)損編碼單元66無(wú)損編碼該信息并使用該信息作為報(bào)頭信息的一部分。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75對(duì)于每一候選的幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。 更具體地說(shuō)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75基于從重排序屏幕緩沖器62讀取的待幀間預(yù)測(cè)的圖像和經(jīng)由開關(guān)73從幀存儲(chǔ)器72提供的用作參考圖像的圖像，檢測(cè)每一候選的幀間預(yù)測(cè)模式中的運(yùn)動(dòng)矢量。此后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75基于運(yùn)動(dòng)矢量關(guān)于參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償處理并產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像。注意，在MPEG2標(biāo)準(zhǔn)中，塊大小固定(對(duì)于幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的基于16X16 像素和在場(chǎng)間預(yù)測(cè)/補(bǔ)償處理中每個(gè)場(chǎng)的基于16X8像素)，并執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。 但是，在H. ^4/AVC標(biāo)準(zhǔn)中，塊大小可變，并執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。更具體地說(shuō)，如圖4所示，在H. 264/AVC標(biāo)準(zhǔn)中，包括16X 16像素的宏塊被分為 16X16像素分區(qū)、16X8像素分區(qū)、8X16像素分區(qū)和8X8像素分區(qū)之一。每一分區(qū)可以具有獨(dú)立的運(yùn)動(dòng)矢量信息。另外，如圖4所示，8X8像素分區(qū)可以分離為8X8像素子分區(qū)、 8X4像素子分區(qū)、4X8像素子分區(qū)和4X4像素子分區(qū)之一。每一子分區(qū)可以具有獨(dú)立的運(yùn)動(dòng)矢量信息。因此，幀間預(yù)測(cè)模式包括用于基于16X 16像素、基于16X8像素、基于8X 16像素、基于8X8像素、基于8X4像素、基于4X8像素和基于4X4像素之一檢測(cè)運(yùn)動(dòng)矢量的八個(gè)類型的模式。另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75使用與由幀內(nèi)預(yù)測(cè)單元74采用的技術(shù)相同的技術(shù)對(duì)于所有候選的幀間預(yù)測(cè)模式中的每一個(gè)計(jì)算成本函數(shù)值。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75選擇在計(jì)算的成本函數(shù)值之中最小化成本函數(shù)值的預(yù)測(cè)模式作為最優(yōu)幀間預(yù)測(cè)模式。此后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將以最優(yōu)幀間預(yù)測(cè)模式產(chǎn)生的運(yùn)動(dòng)補(bǔ)償圖像提供到預(yù)測(cè)圖像選擇單元76作為幀間預(yù)測(cè)的圖像。另外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將最優(yōu)幀間預(yù)測(cè)模式的成本函數(shù)值提供到預(yù)測(cè)圖像選擇單元76。當(dāng)選擇了以最優(yōu)幀間預(yù)測(cè)模式由預(yù)測(cè)圖像選擇單元76產(chǎn)生的幀間預(yù)測(cè)的圖像時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75將關(guān)于最優(yōu)幀間預(yù)測(cè)模式的信息和與最優(yōu)幀間預(yù)測(cè)模式相關(guān)聯(lián)的信息(例如，運(yùn)動(dòng)矢量信息和參考幀信息)輸出到無(wú)損編碼單元66。無(wú)損編碼單元66關(guān)于從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75接收到的信息執(zhí)行無(wú)損編碼處理，并將該信息插入到壓縮圖像的報(bào)頭部分中。預(yù)測(cè)圖像選擇單元76基于從幀內(nèi)預(yù)測(cè)單元74和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75輸出的成本函數(shù)值，從最優(yōu)幀內(nèi)預(yù)測(cè)模式和最優(yōu)幀間預(yù)測(cè)模式選擇最優(yōu)預(yù)測(cè)模式。此后，預(yù)測(cè)圖像選擇單元76選擇用作所選的最優(yōu)預(yù)測(cè)模式中的預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)的圖像和幀間預(yù)測(cè)的圖像之一，并將所選的預(yù)測(cè)圖像提供到計(jì)算單元63和70。在那時(shí)，預(yù)測(cè)圖像選擇單元76提供指示已經(jīng)選擇了幀內(nèi)預(yù)測(cè)的圖像的信息到幀內(nèi)預(yù)測(cè)單元74或提供指示已經(jīng)選擇了幀間預(yù)測(cè)的圖像的信息到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75。速率控制單元77基于作為包括報(bào)頭部分的壓縮信息在累積緩沖器67中累積的壓縮圖像，控制由量化器單元65執(zhí)行的量化操作的速率，以便不發(fā)生累積緩沖器67的上溢和下溢。由具有上述配置的圖像編碼設(shè)備51編碼的壓縮信息被經(jīng)由預(yù)定傳輸路徑發(fā)送并由圖像解碼設(shè)備解碼。圖5圖示這種圖像解碼設(shè)備的配置。圖像解碼設(shè)備101包括累積緩沖器111、無(wú)損解碼單元112、逆量化器單元113、逆正交變換單元114、計(jì)算單元115、去區(qū)塊濾波器116、重排序屏幕緩沖器117、D/A轉(zhuǎn)換單元 118、幀存儲(chǔ)器119、開關(guān)120、幀內(nèi)預(yù)測(cè)單元121、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122和開關(guān)123。累積緩沖器111累積發(fā)送的壓縮圖像。無(wú)損解碼單元112使用與由無(wú)損編碼單元 66采用的無(wú)損編碼方法對(duì)應(yīng)的方法，無(wú)損解碼(變長(zhǎng)度解碼或算術(shù)解碼)由圖3所示的無(wú)損編碼單元66編碼并從累積緩沖器111提供的壓縮信息。此后，無(wú)損解碼單元112從通過(guò)無(wú)損解碼獲得的信息提取圖像、指示最優(yōu)幀間預(yù)測(cè)模式或最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息、運(yùn)動(dòng)矢量信息和參考幀信息。逆量化器單元113使用與由圖3所示的量化器單元65采用的量化方法對(duì)應(yīng)的方法逆量化由無(wú)損解碼單元112解碼的圖像。此后，逆量化器單元113將產(chǎn)生的變換系數(shù)提供到逆正交變換單元114。逆正交變換單元114使用與由圖3所示的正交變換單元64采用的正交變換方法對(duì)應(yīng)的方法，關(guān)于從逆量化器單元113接收到的變換系數(shù)執(zhí)行第四級(jí) (fourth-order)逆正交變換。逆正交變換輸出被加到從開關(guān)123提供的幀內(nèi)預(yù)測(cè)的圖像或幀間預(yù)測(cè)的圖像，并由計(jì)算單元115解碼。去區(qū)塊濾波器116去除解碼圖像的塊失真并將產(chǎn)生的圖像提供到幀存儲(chǔ)器119。因此，累積圖像。同時(shí)，將圖像輸出到重排序屏幕緩沖器117。
重排序屏幕緩沖器117重排序圖像。也就是說(shuō)，為了編碼已經(jīng)由圖3所示的重排序屏幕緩沖器62改變的幀的次序改變回初始的顯示次序。D/A轉(zhuǎn)換單元118將從重排序屏幕緩沖器117提供的圖像D/A轉(zhuǎn)換，并將圖像輸出到顯示圖像的顯示器(沒(méi)有示出)。開關(guān)120從幀存儲(chǔ)器119讀取當(dāng)編碼圖像時(shí)在幀內(nèi)預(yù)測(cè)中用作參考圖像的圖像。 開關(guān)120輸出圖像到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122。另外，開關(guān)120從幀存儲(chǔ)器119讀取用于幀內(nèi)預(yù)測(cè)的圖像，并提供讀出的圖像到幀內(nèi)預(yù)測(cè)單元121。幀內(nèi)預(yù)測(cè)單元121從無(wú)損解碼單元112接收指示通過(guò)解碼報(bào)頭信息獲得的最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息。當(dāng)提供指示最優(yōu)幀內(nèi)預(yù)測(cè)模式的信息時(shí)，幀內(nèi)預(yù)測(cè)單元121使用從幀存儲(chǔ)器119接收到的圖像以在由信息指示的幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)處理。因此，幀內(nèi)預(yù)測(cè)單元121產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元121輸出所產(chǎn)生的預(yù)測(cè)圖像到開關(guān)123。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122從無(wú)損解碼單元112接收通過(guò)無(wú)損解碼報(bào)頭信息(例如， 指示最優(yōu)幀間預(yù)測(cè)模式的信息、運(yùn)動(dòng)矢量信息和參考圖像信息)獲得的信息。在接收指示最優(yōu)幀間預(yù)測(cè)模式的信息時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122用與指示最優(yōu)幀間預(yù)測(cè)模式的信息一起提供的運(yùn)動(dòng)矢量信息和參考幀信息，以由該信息指示的最優(yōu)幀間預(yù)測(cè)模式關(guān)于從幀存儲(chǔ)器119接收到的參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。因此，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像。此后，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122輸出運(yùn)動(dòng)補(bǔ)償圖像到開關(guān)123作為幀間預(yù)測(cè)的圖像。開關(guān)123將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元122提供的幀間預(yù)測(cè)的圖像或從幀內(nèi)預(yù)測(cè)單元 121提供的幀內(nèi)預(yù)測(cè)的圖像提供到計(jì)算單元115。<2.第一實(shí)施例〉[圖像編碼設(shè)備的配置的示例]接下來(lái)，圖6圖示根據(jù)本發(fā)明第一實(shí)施例的圖像編碼設(shè)備的配置的示例。在參照?qǐng)D6中的配置時(shí)將使用與在以上描述圖3的配置時(shí)使用的編號(hào)相同的編號(hào)。不重復(fù)相同的描述。圖6所示的圖像編碼設(shè)備151的配置與圖3所示的配置的主要不同在于，圖像編碼設(shè)備151包括運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161、預(yù)測(cè)圖像選擇單元163和無(wú)損編碼單元164代替運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、預(yù)測(cè)圖像選擇單元76和無(wú)損編碼單元66，并進(jìn)一步包括模糊預(yù)測(cè) /補(bǔ)償單元162。更具體地說(shuō)，類似于圖3所示的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75，圖6所示的圖像編碼設(shè)備 151的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161以所有候選的幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。另外，類似于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161對(duì)于所有候選的幀間預(yù)測(cè)模式計(jì)算成本函數(shù)值。此外，類似于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161選擇在計(jì)算的成本函數(shù)值之中提供最小值的幀間預(yù)測(cè)模式作為最優(yōu)幀間預(yù)測(cè)模式。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161將以最優(yōu)幀間預(yù)測(cè)模式產(chǎn)生的運(yùn)動(dòng)補(bǔ)償圖像提供到模糊預(yù)測(cè)/補(bǔ)償單元162。另外，類似于運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75，如果由預(yù)測(cè)圖像選擇單元163 選擇了以最優(yōu)幀間預(yù)測(cè)模式產(chǎn)生的幀間預(yù)測(cè)的圖像，則運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161將指示最優(yōu)幀間預(yù)測(cè)模式的信息和與最優(yōu)幀間預(yù)測(cè)模式相關(guān)聯(lián)的信息(例如，運(yùn)動(dòng)矢量信息和參考幀信息)輸出到無(wú)損編碼單元164。模糊預(yù)測(cè)/補(bǔ)償單元162基于從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161提供的運(yùn)動(dòng)補(bǔ)償圖像和用于運(yùn)動(dòng)補(bǔ)償之后的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理并要幀間預(yù)測(cè)并從重排序屏幕緩沖器62輸出的圖像來(lái)檢測(cè)模糊的變化。此后，模糊預(yù)測(cè)/補(bǔ)償單元162執(zhí)行模糊補(bǔ)償處理以便基于指示檢測(cè)到的模糊變化的模糊信息，來(lái)在運(yùn)動(dòng)補(bǔ)償圖像中產(chǎn)生或除去模糊。因此，模糊預(yù)測(cè)/補(bǔ)償單元162產(chǎn)生運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償圖像。另外，模糊預(yù)測(cè)/補(bǔ)償單元162使用與由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161采用的技術(shù)相同的技術(shù)計(jì)算運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償圖像的成本函數(shù)值。此后，模糊預(yù)測(cè)/補(bǔ)償單元162將產(chǎn)生的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償圖像提供到預(yù)測(cè)圖像選擇單元163作為幀間預(yù)測(cè)的圖像。另外， 模糊預(yù)測(cè)/補(bǔ)償單元162將成本函數(shù)值提供到預(yù)測(cè)圖像選擇單元163。此外，如果由預(yù)測(cè)圖像選擇單元163選擇了以最優(yōu)幀間預(yù)測(cè)模式產(chǎn)生的幀間預(yù)測(cè)的圖像，則模糊預(yù)測(cè)/補(bǔ)償單元162將模糊信息輸出到無(wú)損編碼單元164。注意，在下面更詳細(xì)地描述模糊預(yù)測(cè)/補(bǔ)償單元162。預(yù)測(cè)圖像選擇單元163使用從幀內(nèi)預(yù)測(cè)單元74或模糊預(yù)測(cè)/補(bǔ)償單元162輸出的成本函數(shù)值，從最優(yōu)幀內(nèi)預(yù)測(cè)模式和最優(yōu)幀間預(yù)測(cè)模式確定最優(yōu)預(yù)測(cè)模式。此后，預(yù)測(cè)圖像選擇單元163選擇幀內(nèi)預(yù)測(cè)的圖像或幀間預(yù)測(cè)的圖像作為所確定的最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)圖像。隨后，預(yù)測(cè)圖像選擇單元163將所選的預(yù)測(cè)圖像提供到計(jì)算單元63和70。在那時(shí)，預(yù)測(cè)圖像選擇單元163將指示選擇幀內(nèi)預(yù)測(cè)的圖像的選擇信息提供到幀內(nèi)預(yù)測(cè)單元74或?qū)⒅甘具x擇幀間預(yù)測(cè)的圖像的選擇信息提供到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161 和模糊預(yù)測(cè)/補(bǔ)償單元162。類似于無(wú)損編碼單元66，無(wú)損編碼單元164關(guān)于從量化器單元65提供的量化的變換系數(shù)執(zhí)行無(wú)損編碼，并壓縮變換系數(shù)。因此，無(wú)損編碼單元164產(chǎn)生壓縮圖像。另外，無(wú)損編碼單元164關(guān)于從幀內(nèi)預(yù)測(cè)單元74、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161或模糊預(yù)測(cè)/補(bǔ)償單元 162接收到的信息執(zhí)行無(wú)損編碼，并將信息插入到壓縮圖像的報(bào)頭部分中。此后，包括由無(wú)損編碼單元164產(chǎn)生的報(bào)頭部分的壓縮圖像在累積緩沖器67中作為壓縮信息累積并隨后輸出。如上所述，圖像編碼設(shè)備151在幀間預(yù)測(cè)中不僅執(zhí)行運(yùn)動(dòng)補(bǔ)償而且執(zhí)行模糊補(bǔ)償。因此，即使當(dāng)在要幀間預(yù)測(cè)的圖像和參考圖像之間模糊出現(xiàn)或消失時(shí)，也可以更精確地執(zhí)行幀間預(yù)測(cè)。結(jié)果，可以提供幀間預(yù)測(cè)的圖像的質(zhì)量(例如，已幀間預(yù)測(cè)的圖像關(guān)于要幀間預(yù)測(cè)的圖像的PSNIO。[模糊預(yù)測(cè)/補(bǔ)償單元162的詳細(xì)配置示例]圖7圖示圖6所示的模糊預(yù)測(cè)/補(bǔ)償單元162的詳細(xì)配置示例。如圖7所示，模糊預(yù)測(cè)/補(bǔ)償單元162包括模糊補(bǔ)償單元171和模糊預(yù)測(cè)單元172。模糊補(bǔ)償單元171基于從模糊預(yù)測(cè)單元172提供的模糊信息，關(guān)于從運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償單元161提供的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行模糊補(bǔ)償處理。另外，模糊補(bǔ)償單元171使用類似于由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161采用的技術(shù)的技術(shù)，計(jì)算通過(guò)模糊補(bǔ)償處理獲得的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償圖像的成本函數(shù)值。此后，模糊補(bǔ)償單元171提供運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償圖像到預(yù)測(cè)圖像選擇單元163作為幀間預(yù)測(cè)的圖像。另外，模糊補(bǔ)償單元171將成本函數(shù)值提供到預(yù)測(cè)圖像選擇單元163。模糊預(yù)測(cè)單元172基于從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元161提供的運(yùn)動(dòng)補(bǔ)償圖像和從重排序屏幕緩沖器62提供的要幀間預(yù)測(cè)的圖像來(lái)預(yù)測(cè)模糊的變化，并產(chǎn)生指示模糊變化的模糊信息。此后，模糊預(yù)測(cè)單元172將所產(chǎn)生的模糊信息提供到模糊補(bǔ)償單元171。另外， 在接收指示從預(yù)測(cè)圖像選擇單元163選擇了幀間預(yù)測(cè)的圖像的選擇信息時(shí)，模糊預(yù)測(cè)單元 172將模糊信息提供到無(wú)損編碼單元164。[模糊信息的描述]接下來(lái)參考圖8到圖11描述模糊信息。首先參考圖8描述當(dāng)在圖像捕捉時(shí)間期間出現(xiàn)焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)(以下稱為“對(duì)焦模糊，，或“散焦”)時(shí)的機(jī)構(gòu)，通過(guò)所述機(jī)構(gòu)出現(xiàn)模糊。如圖8所示，當(dāng)在點(diǎn)A產(chǎn)生光點(diǎn)形狀的光束時(shí)，光束臨時(shí)擴(kuò)散，且此后由圖像捕捉單元的鏡頭181對(duì)焦。因此，在成像平面182中的點(diǎn)B形成圖像。以這種方式，光束再次具有光點(diǎn)形狀的形式。但是，光束在與成像平面182隔開的平面183中的點(diǎn)C具有擴(kuò)散區(qū)域。 也就是說(shuō)，具有點(diǎn)A的光束在平面183中的點(diǎn)C具有寬度，因此，其位置變得不清楚。也就是說(shuō)，在平面183中出現(xiàn)模糊。當(dāng)光束處于焦點(diǎn)對(duì)準(zhǔn)時(shí)，從點(diǎn)A輸出的光束由單個(gè)光傳感器接收，因?yàn)榘ǘ鄠€(gè)光傳感器的圖像捕捉單元的成像器件位于成像平面182中。因此，可以獲得其中產(chǎn)生與點(diǎn) A對(duì)應(yīng)的光束的位置清楚的圖像。相反，如果出現(xiàn)焦點(diǎn)未對(duì)準(zhǔn)狀態(tài)，則從點(diǎn)A輸出的光束是多個(gè)光傳感器，因?yàn)槌上衿骷挥谂c成像平面182隔開的平面(例如，平面183)中。因此， 從點(diǎn)A輸出的光束由多個(gè)光傳感器接收，且獲得其中與點(diǎn)A對(duì)應(yīng)的位置不清楚的圖像，也就是，具有模糊的圖像。接下來(lái)參考圖9描述通過(guò)這樣的機(jī)構(gòu)由于在圖像捕捉時(shí)間被攝體或圖像捕捉單元的運(yùn)動(dòng)而通過(guò)所述機(jī)構(gòu)出現(xiàn)模糊(以下稱為“運(yùn)動(dòng)模糊”)。如圖9所示，當(dāng)在點(diǎn)Al產(chǎn)生光點(diǎn)形狀的光束時(shí)，光束在成像平面182中的點(diǎn)Bl變?yōu)楣恻c(diǎn)形狀的光束，如圖8所示。此后，如果由于被攝體或圖像捕捉單元的移動(dòng)，光點(diǎn)形狀的光束從點(diǎn)Al相對(duì)移動(dòng)到點(diǎn)A2，則成像平面182中的光束從點(diǎn)Bl移動(dòng)到點(diǎn)B2。因此，當(dāng)光束處于焦點(diǎn)對(duì)準(zhǔn)且包括多個(gè)光傳感器的圖像捕捉單元的成像器件位于成像平面182上時(shí)，且如果由于被攝體或圖像捕捉單元的運(yùn)動(dòng)，光點(diǎn)形狀的光束從點(diǎn)Al相對(duì)移動(dòng)到點(diǎn)A2，則光束由多個(gè)光檢測(cè)器接收。結(jié)果，可以獲得其中產(chǎn)生光束的位置不清楚的圖像，也就是，具有模糊的圖像。以上述方式出現(xiàn)的對(duì)焦模糊或運(yùn)動(dòng)模糊可以被定義為當(dāng)輸入光點(diǎn)形狀的光束，也就是，脈沖響應(yīng)時(shí)獲得的輸出。在圖8中，例如，輸入是在點(diǎn)A產(chǎn)生的光點(diǎn)形狀的光束。脈沖響應(yīng)是輸出到成像器件(例如，點(diǎn)B和C)上的光束。另外，在圖9中，例如，輸入是在點(diǎn) Al產(chǎn)生的光點(diǎn)形狀的光束。脈沖響應(yīng)是輸出到成像器件(例如，從點(diǎn)Bl到點(diǎn)B2的范圍) 上的光束。因此，例如，如由圖10所示的“A”指示的那樣，指示用作脈沖響應(yīng)的輸出到成像器件190上的光束191的半徑L的信息用作關(guān)于對(duì)焦模糊的模糊信息。注意，在圖10的“A” 中以點(diǎn)陣在成像設(shè)備190上布置的正方形表示每個(gè)與像素對(duì)應(yīng)的光傳感器。這也適用于如下所述的圖11的“A”。另外，在圖10的“A”中圖示的情況下，出現(xiàn)對(duì)焦模糊。因此，光束191具有有2L 直徑的圓形擴(kuò)散的形狀。但是，如果不出現(xiàn)對(duì)焦模糊，則光束191具有光點(diǎn)形狀。如上所述，如果指示半徑L的信息用作關(guān)于對(duì)焦模糊的模糊信息，則模糊預(yù)測(cè)單
14元172將具有與預(yù)定半徑L的可能的值對(duì)應(yīng)的濾波器系數(shù)的HR濾波器應(yīng)用于從運(yùn)動(dòng)預(yù)測(cè) /補(bǔ)償單元161提供的運(yùn)動(dòng)補(bǔ)償圖像。例如，作為與圖10的“A”中的半徑L對(duì)應(yīng)的HR濾波器，模糊預(yù)測(cè)單元172將具有與圖10的“B”中的值對(duì)應(yīng)的濾波器系數(shù)的HR濾波器應(yīng)用于運(yùn)動(dòng)補(bǔ)償圖像。注意，在圖 10的“B”中所示的以點(diǎn)陣布置的每一正方形對(duì)應(yīng)于一像素。在正方形中寫入的數(shù)字對(duì)應(yīng)于濾波器系數(shù)。更具體地說(shuō)，在正方形中寫入的數(shù)字表示與像素對(duì)應(yīng)的光傳感器的光接收面積相對(duì)與像素對(duì)應(yīng)的光傳感器的光可接收面積的比率。由于圖像的DC分量的放大度被設(shè)置為1，因此設(shè)置濾波器系數(shù)以使得比率之和是1。也就是說(shuō)，在圖10的“B”中，因?yàn)楸嚷手褪?. 4( = 0. 4X4+0. 95X4+1. 0)，所以與具有比率0. 4,0. 95和1. 0的像素對(duì)應(yīng)的濾波器系數(shù)分別被設(shè)置為0. 4/6. 4,0. 95/6. 4和1. 0/6. 4。模糊預(yù)測(cè)單元172對(duì)于將濾波器應(yīng)用于從重排序屏幕緩沖器62提供的運(yùn)動(dòng)補(bǔ)償圖像和要幀間預(yù)測(cè)的圖像之后獲得的HR濾波器，計(jì)算每一圖像之間的差異。此后，模糊預(yù)測(cè)單元172選擇指示與具有最小化的差異的HR濾波器對(duì)應(yīng)的半徑L的信息作為模糊信肩、ο另外，例如，如圖11的“A”所示，以下信息被選為運(yùn)動(dòng)模糊信息指示距離作為脈沖響應(yīng)的輸出到成像器件190上的光束192的中心在水平方向上的長(zhǎng)度Lx和在垂直方向上的長(zhǎng)度Ly的信息。注意，在圖11的“A”所示的示例中，出現(xiàn)運(yùn)動(dòng)模糊。因此，光束192在水平方向上的長(zhǎng)度是2Lx且在垂直方向上的長(zhǎng)度是2Ly，且光束192的大小以對(duì)角線形狀增加。但是， 如果不出現(xiàn)運(yùn)動(dòng)模糊，則光束192具有光點(diǎn)形狀。如上所述，當(dāng)用于運(yùn)動(dòng)模糊的模糊信息是指示長(zhǎng)度Lx和Ly的信息時(shí)，在模糊預(yù)測(cè)單元172中應(yīng)用的濾波器是具有與長(zhǎng)度Lx的可能值和長(zhǎng)度Ly的可能值的組合對(duì)應(yīng)的濾波器系數(shù)的HR濾波器。例如，與圖11的“A”所示的長(zhǎng)度Lx和Ly對(duì)應(yīng)的HR濾波器具有與圖11的“B”所示的值對(duì)應(yīng)的濾波器系數(shù)。注意，在圖11的“B”中，以點(diǎn)陣布置的每一正方形對(duì)應(yīng)于一像素。在正方形中寫入的數(shù)字指示與濾波器系數(shù)對(duì)應(yīng)的值。更具體地說(shuō)，在圖11的“B”中， 在與像素對(duì)應(yīng)的每個(gè)正方形中寫入的數(shù)字指示像素中的光束192的長(zhǎng)度。在圖11的“B” 所示的示例中，像素的側(cè)邊是1。因此，像素的對(duì)角線的長(zhǎng)度是_^ 1.4)。因此，在與像素對(duì)應(yīng)的正方形中寫入的數(shù)字是1. 4或0. 7。類似于對(duì)焦模糊，在運(yùn)動(dòng)模糊的情況下，圖像的DC分量的放大度被設(shè)置為1。因此，在具有和為1的正方形中的數(shù)字用作濾波器系數(shù)。也就是說(shuō)，在圖11的“B”中，數(shù)字之和是5. 6 ( = 0. 7 X 2+1. 4X3)。因此，與具有數(shù)字0. 7和1. 4的正方形對(duì)應(yīng)的濾波器系數(shù)分別被設(shè)置為0. 7/5. 6和1.4/5.6。應(yīng)當(dāng)注意，用于設(shè)置濾波器系數(shù)的技術(shù)不限于圖10和圖11中圖示的那些?？梢圆捎酶鶕?jù)模糊信息唯一地設(shè)置濾波器系數(shù)的任意技術(shù)。另外，如果圖像編碼設(shè)備151和與圖像編碼設(shè)備151對(duì)應(yīng)的圖像解碼設(shè)備預(yù)存儲(chǔ)相同組的濾波器系數(shù)，則圖像編碼設(shè)備151可以發(fā)送該組濾波器系數(shù)的標(biāo)識(shí)符到圖像解碼設(shè)備代替模糊信息。標(biāo)識(shí)符的數(shù)據(jù)量小于模糊信息的數(shù)據(jù)量。因此，如果圖像編碼設(shè)備151 發(fā)送濾波器系數(shù)代替模糊信息，則可以最小化代碼量的增加。
15
注意，雖然已經(jīng)與關(guān)于運(yùn)動(dòng)模糊的模糊信息分開地描述了關(guān)于對(duì)焦模糊的模糊信息，但是對(duì)于兩個(gè)類型的模糊信息都可以采用點(diǎn)擴(kuò)散函數(shù)(如下參考圖12和圖13描述)。 在下文中，術(shù)語(yǔ)“點(diǎn)擴(kuò)散函數(shù)”也被稱為“PSF”。如圖12所示，當(dāng)點(diǎn)光源193通過(guò)圖像捕捉194時(shí)，出現(xiàn)由相機(jī)的搖晃或被攝體的運(yùn)動(dòng)引起的對(duì)焦模糊195A或運(yùn)動(dòng)模糊195B。如圖13所示，如果使用對(duì)焦模糊的PSF 198關(guān)于非模糊圖像196執(zhí)行與HR濾波器對(duì)應(yīng)的卷積運(yùn)算197，則可以獲得具有對(duì)焦模糊的圖像199。也就是說(shuō)，如圖8和圖9所示，圖12所示的對(duì)焦模糊195A和運(yùn)動(dòng)模糊195B以通過(guò)相機(jī)觀察點(diǎn)光源193獲得并與圖像捕捉194的系統(tǒng)的脈沖響應(yīng)對(duì)應(yīng)的圖像的形式。相反， 圖13所示的PSF 198用作用于表示對(duì)焦模糊或運(yùn)動(dòng)模糊的模型。也就是說(shuō)，通過(guò)使用PSF 198計(jì)算HR濾波器的濾波器系數(shù)并關(guān)于非模糊圖像196執(zhí)行與具有所計(jì)算出的濾波器系數(shù)的^R濾波器對(duì)應(yīng)的卷積運(yùn)算197，可以獲得具有對(duì)焦模糊的圖像199。注意，雖然已經(jīng)參考對(duì)焦模糊描述了圖13所示的示例，但是可以以類似的方式獲得具有運(yùn)動(dòng)模糊的圖像。接下來(lái)描述PSF。PSF表示通過(guò)觀察點(diǎn)光源通過(guò)某些系統(tǒng)怎樣改變而獲得的圖像。 如果系統(tǒng)造成模糊，則PSF用作具有以下三個(gè)特性的函數(shù)。也就是說(shuō)，首先，如由等式(3) 指示的，當(dāng)PSF積分時(shí)PSF是1。其次，由鏡頭(對(duì)焦模糊)引起的模糊可以近似為二維正態(tài)分布。第三，在運(yùn)動(dòng)模糊的情況下，PSF用作與運(yùn)動(dòng)的軌跡對(duì)應(yīng)的函數(shù)。[數(shù)學(xué)式1]
權(quán)利要求
1.一種圖像處理設(shè)備，包括解碼裝置，用于解碼已編碼圖像；補(bǔ)償裝置，用于基于指示圖像之間的模糊變化的模糊信息，關(guān)于由所述解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，所述模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算裝置，用于通過(guò)將由所述解碼裝置解碼的圖像與經(jīng)歷了由所述補(bǔ)償裝置執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像求和來(lái)產(chǎn)生已解碼圖像。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述模糊信息由點(diǎn)擴(kuò)散函數(shù)PSF表示。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述模糊信息使用二維正態(tài)分布表達(dá)式表不。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，從不同圖像處理設(shè)備發(fā)送的所述模糊信息指示二維正態(tài)分布表達(dá)式的擴(kuò)散寬度W。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述模糊信息由作為脈沖響應(yīng)輸出的半徑L表示。
6.如權(quán)利要求10所述的圖像處理設(shè)備，其中，所述模糊信息由作為脈沖響應(yīng)的、距離中心在水平方向上的長(zhǎng)度Lx和在垂直方向上的長(zhǎng)度Ly表示。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述補(bǔ)償裝置關(guān)于由所述解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償，并使用所述模糊信息關(guān)于產(chǎn)生的圖像執(zhí)行模糊補(bǔ)償。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述補(bǔ)償裝置使用所述模糊信息關(guān)于由所述解碼裝置解碼的圖像執(zhí)行模糊補(bǔ)償，并關(guān)于產(chǎn)生的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償。
9.一種用于圖像處理設(shè)備的圖像處理方法，包括解碼步驟，解碼已編碼圖像；補(bǔ)償步驟，基于指示圖像之間的模糊變化的模糊信息，關(guān)于在所述解碼步驟中解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，所述模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算步驟，通過(guò)將在所述解碼步驟中解碼的圖像和經(jīng)歷了在所述補(bǔ)償步驟中執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像求和來(lái)產(chǎn)生已解碼圖像。
10.一種程序包括用于使得計(jì)算機(jī)用作圖像處理設(shè)備的程序代碼，所述圖像處理設(shè)備包括解碼裝置，用于解碼已編碼圖像；補(bǔ)償裝置，用于基于指示圖像之間的模糊變化的模糊信息，關(guān)于由所述解碼裝置解碼的圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償，其中所述模糊信息對(duì)應(yīng)于已編碼圖像并從已經(jīng)編碼圖像的不同圖像處理設(shè)備發(fā)送；和計(jì)算裝置，用于通過(guò)將由所述解碼裝置解碼的圖像與經(jīng)歷了由所述補(bǔ)償裝置執(zhí)行的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像求和來(lái)產(chǎn)生已解碼圖像。
11.一種圖像處理設(shè)備，包括補(bǔ)償裝置，用于使用待編碼的圖像和參考圖像，預(yù)測(cè)待編碼的圖像和參考圖像之間的運(yùn)動(dòng)和模糊變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊的變化的模糊信息，關(guān)于參考圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼裝置，用于使用在經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和待編碼的圖像之間的差異來(lái)產(chǎn)生已編碼圖像；和發(fā)送裝置，用于發(fā)送已編碼圖像和模糊信息。
12.如權(quán)利要求11所述的圖像處理設(shè)備，其中，所述模糊信息由點(diǎn)擴(kuò)散函數(shù)PSF表示。
13.如權(quán)利要求11所述的圖像處理設(shè)備，其中，所述模糊信息使用二維正態(tài)分布表達(dá)式表不。
14.如權(quán)利要求13所述的圖像處理設(shè)備，其中，所述發(fā)送裝置發(fā)送所述二維正態(tài)分布表達(dá)式的擴(kuò)散寬度W作為所述模糊信息。
15.如權(quán)利要求11所述的圖像處理設(shè)備，其中，所述模糊信息由作為脈沖響應(yīng)輸出的半徑L表示。
16.如權(quán)利要求11所述的圖像處理設(shè)備，其中，所述模糊信息由作為脈沖響應(yīng)的、距離中心在水平方向上的長(zhǎng)度Lx和在垂直方向上的長(zhǎng)度Ly表示。
17.如權(quán)利要求11所述的圖像編碼設(shè)備，其中，所述補(bǔ)償裝置使用待編碼的圖像和參考圖像預(yù)測(cè)運(yùn)動(dòng)并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償，且其中所述補(bǔ)償裝置使用通過(guò)運(yùn)動(dòng)補(bǔ)償獲得的圖像和待編碼的圖像來(lái)預(yù)測(cè)模糊的變化并基于指示模糊的變化的模糊信息執(zhí)行模糊補(bǔ)償。
18.如權(quán)利要求11所述的圖像編碼設(shè)備，其中，所述補(bǔ)償裝置使用待編碼的圖像和參考圖像預(yù)測(cè)模糊的變化并基于指示模糊的變化的模糊信息執(zhí)行模糊補(bǔ)償，且其中所述補(bǔ)償裝置使用通過(guò)模糊補(bǔ)償獲得的圖像和待編碼的圖像預(yù)測(cè)運(yùn)動(dòng)并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)補(bǔ)償。
19.一種用于圖像處理設(shè)備的圖像處理方法，包括補(bǔ)償步驟，使用待編碼的圖像和參考圖像，預(yù)測(cè)待編碼的圖像和參考圖像之間的運(yùn)動(dòng)和模糊變化，并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊的變化的模糊信息執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼步驟，使用在經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和待編碼的圖像之間的差異來(lái)產(chǎn)生已編碼圖像；和發(fā)送步驟，發(fā)送已編碼圖像和模糊信息。
20.一種程序包括用于使得計(jì)算機(jī)用作圖像處理設(shè)備的程序代碼，所述圖像處理設(shè)備包括補(bǔ)償裝置，用于使用待編碼的圖像和參考圖像預(yù)測(cè)待編碼的圖像和參考圖像之間的運(yùn)動(dòng)和模糊的變化， 并基于表示運(yùn)動(dòng)的運(yùn)動(dòng)矢量和指示模糊的變化的模糊信息執(zhí)行運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償；編碼裝置，用于使用經(jīng)歷了運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)囊蜒a(bǔ)償圖像和待編碼的圖像之間的差異產(chǎn)生已編碼圖像；和發(fā)送裝置，用于發(fā)送已編碼圖像和模糊信息。
全文摘要
一種圖像處理設(shè)備、圖像處理方法和程序，其中可以提高幀間預(yù)測(cè)圖像的質(zhì)量。算術(shù)單元(115)將由逆正交變換單元(114)逆正交變換并提供的變換系數(shù)與由開關(guān)214提供的幀間預(yù)測(cè)圖像相加以進(jìn)行解碼。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元(212)基于與壓縮圖像對(duì)應(yīng)的由圖像編碼設(shè)備發(fā)送的并表示圖像之間的模糊變化的模糊信息，運(yùn)動(dòng)補(bǔ)償解碼圖像。模糊預(yù)測(cè)/補(bǔ)償單元(213)對(duì)于運(yùn)動(dòng)補(bǔ)償?shù)膱D像進(jìn)行模糊補(bǔ)償，并提供產(chǎn)生的運(yùn)動(dòng)補(bǔ)償和模糊補(bǔ)償?shù)膱D像到開關(guān)(214)作為幀間預(yù)測(cè)圖像。本發(fā)明可應(yīng)用于例如通過(guò)使用H.264/AVC系統(tǒng)執(zhí)行解碼的圖像解碼設(shè)備。
文檔編號(hào)H04N7/32GK102301718SQ20098015553
公開日2011年12月28日 申請(qǐng)日期2009年12月3日 優(yōu)先權(quán)日2008年12月3日
發(fā)明者近藤健治 申請(qǐng)人:索尼公司