專(zhuān)利名稱(chēng)：圖像處理設(shè)備、成像設(shè)備、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，具體地涉及執(zhí)行有關(guān)圖像的恢復(fù)過(guò)程的圖 像處理設(shè)備和成像設(shè)備，根據(jù)這些的處理方法，和使計(jì)算機(jī)執(zhí)行其方法的 程序。
背景技術(shù)：
迄今為止，恢復(fù)退化圖像的退化圖像恢復(fù)處理作為 一種圖像處理技術(shù) 已經(jīng)M們廣泛熟悉。比如，在圖像的退化模型和所觀察圖像巳知的情況
程。比如，在假定表達(dá)式i中所示的觀察圖像g一模型，退化矩陣h和噪
聲n已知的情況下，能夠得出表達(dá)式1中所示的對(duì)象圖像f。
<formula>formula see original document page 6</formula>
作為這個(gè)問(wèn)題一個(gè)解決方案，存在將這個(gè)問(wèn)題作為使觀察圖像和估計(jì) 退化圖像之間的誤差最小的問(wèn)題來(lái)解決的方法，其中估計(jì)退化圖像是作為 退化矩陣h和估計(jì)對(duì)象圖像fA的巻積結(jié)果(表達(dá)式2所示)而獲得的。決方案，存在表達(dá)式3所示的反 投影方法(例如，Patrizio Campisi， Karen Egiazarian: " Blind Image Deconvolution - Theory and Application "， CRC Press, pp288 - 289中的 "Landweber "(參見(jiàn)(7.34)和(7.35)和其它))，和表達(dá)式4所示的Lucy國(guó) Richardson方'法(伊j如，參見(jiàn)Patrizio Campisi， Karen Egiazarian: " Blind Image Deconvolution - Theory and Application "， CRC Press, pp288 - 289 (參見(jiàn)(7.34)和(7.35)和其它))。這些是通過(guò)減法或除法來(lái)比較觀察圖像和估 計(jì)退化圖像并且將獲得的誤差和比率的值反饋到恢復(fù)圖像的方法.對(duì)于這 些方法，存在通it^這種反饋時(shí)使用模糊矩陣和常量X獲得的乘積項(xiàng)，但 是也存在將這些作為任意矩陣a或b(表達(dá)式5和表達(dá)式6所示)的方法，發(fā)明內(nèi)容被示出為根據(jù)現(xiàn)有技術(shù)的技術(shù)的上述迭代解決方案是針對(duì)一個(gè)觀察 圖像多次執(zhí)行迭代過(guò)程的解決方案，或針對(duì)多個(gè)觀察圖像執(zhí)行迭代過(guò)程的 解決方案。為了改進(jìn)使用這種迭代解決方案恢復(fù)觀察圖像時(shí)的精度，例如 需要增加迭代次數(shù)，或需要增加觀察圖像的幀數(shù)。然而例如在對(duì)例如數(shù)字視頻攝^J^(例如，攝#4^集成型錄#^)的成 像設(shè)備所要成像的圖傳速行恢復(fù)處理的情況下，重要的是快速執(zhí)行這種恢 復(fù)處理，以及改進(jìn)這種恢復(fù)處理的精度。因而，對(duì)于每個(gè)模式，重要的是 改進(jìn)恢復(fù)圖像時(shí)的精度，已經(jīng)發(fā)現(xiàn)期望改進(jìn)恢復(fù)圖像時(shí)的精度。根據(jù)本發(fā)明的實(shí)施例，提供一種圖像處理設(shè)備、根據(jù)圖像處理設(shè)備的 處理方法和使計(jì)算機(jī)執(zhí)行所述處理方法的程序，所述圖《象處理i殳備包含 假設(shè)退化圖^L像素值計(jì)算單元，被配置成針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假 設(shè)退化圖像的像素值以作為假設(shè)退化圖像像素值，所述假設(shè)退化圖像是假 設(shè)由所述多個(gè)通道構(gòu)成的目標(biāo)圖像的退化的圖像;偽目標(biāo)圖像像素值計(jì)算 單元，被配置成關(guān)于感興趣^f象素，即和假i殳退化圖〗象的像素對(duì)應(yīng)的所述目 標(biāo)圖像的像素，根據(jù)感興趣像素的像素值和與感興趣像素鄰近的像素的像 素值，計(jì)算針對(duì)每個(gè)所述通道估計(jì)的像素值，以作為每個(gè)所述通道的偽目 標(biāo)圖像像素值；和恢復(fù)圖像產(chǎn)生單元，被配置成根據(jù)計(jì)算的假設(shè)退化圖像 像素值和計(jì)算的偽目標(biāo)圖像像素值產(chǎn)生由目標(biāo)圖像恢復(fù)的恢復(fù)圖像。因而 提供了這樣的效果針對(duì)每個(gè)通道計(jì)算假設(shè)退化圖像像素值和偽目標(biāo)圖像像素值，并且基于計(jì)算的假設(shè)退化圖像像素值和偽目標(biāo)圖像像素值產(chǎn)生恢 復(fù)圖像。偽目標(biāo)圖像像素值計(jì)算單元可以在關(guān)于和感興趣像素的通道相同的 通道計(jì)算偽目標(biāo)圖像像素值的情況下以感興趣像素的像素值作為偽目標(biāo) 圖像像素值，并且在關(guān)于不同于感興趣像素的通道的通道計(jì)算偽目標(biāo)圖像 像素值的情況下根據(jù)感興趣像素的像素值和與感興趣像素鄰近的像素的像素值來(lái)計(jì)算偽目標(biāo)圖像像素值。因而拔:供了這樣的效果在關(guān)于和感興的像^值作為偽目標(biāo)圖像像素值，并且在關(guān)于不同于感興趣像素的通道^ 通道計(jì)算偽目標(biāo)圖<象像素值的情況下根據(jù)感興趣<象素的像素值和與感興 趣像素鄰近的像素的像素值來(lái)計(jì)算偽目標(biāo)圖像像素值。偽目標(biāo)圖像像素值計(jì)算單元可以在關(guān)于不同于感興趣像素的通道的 通道計(jì)算偽目標(biāo)圖像像素值的情況下，根據(jù)與感興趣像素鄰近的像素中具 有與感興趣像素的通勤目同的通道的像素的像素值，和感興趣1象素的《象素 值，來(lái)計(jì)算偽目標(biāo)圖像像素值。因而提供了這樣的效果在關(guān)于不同于感 興趣像素的通道的通道計(jì)算偽目標(biāo)圖像〗象素值的情況下，根據(jù)與感興^fe像 素鄰近的像素中具有與感興趣像素的通ii^目同的通道的像素的像素值，和 感興趣像素的像素值，來(lái)計(jì)算偽目標(biāo)圖像像素值。偽目標(biāo)圖像像素值計(jì)算單元可以包含空間高頻分量計(jì)算單元，被配 置成計(jì)算與感興趣像素鄰近的像素中第一通道，即感興趣像素的通道的每 個(gè)像素的空間高頻分量；空間低頻分量計(jì)算單元，被配置成計(jì)算與感興趣 像素鄰近的像素的第一通道的空間低頻分量；第二通道空間低頻分量計(jì)算 單元，被配置成計(jì)算與感興趣像素鄰近的4象素中第二通道，即不同于第一 通道的通道的每個(gè)像素的空間低頻分量；空間高頻分量比例系數(shù)計(jì)算單 元，被配置成基于根據(jù)第二通道的空間低頻分量和根據(jù)第 一通道的空間低 頻分量計(jì)算空間高頻分量的比例系數(shù)；和偽目標(biāo)圖像像素值計(jì)算單元，被 配置成基于根據(jù)第二通道的空間低頻分量，根據(jù)第一通道的空間高頻分量 和比例系數(shù)計(jì)算第二通道的偽目標(biāo)圖像像素值。因而提供了這樣的效果 計(jì)算第一通道的每個(gè)像素的空間高頻分量和空間低頻分量，計(jì)算第二通道 的每個(gè)像素的空間低頻分量，基于根據(jù)第二通道的空間低頻分量和枴^據(jù)第 一通道的空間低頻分量計(jì)算比例系數(shù)，并且基于根據(jù)第二通道的空間低頻 分量，根據(jù)第一通道的空間高頻分量和比例系數(shù)計(jì)算第二通道的偽目標(biāo)圖 像像素值。偽目標(biāo)圖像像素值計(jì)算單元可以包含像素分布線(xiàn)性逼近單元，被配 置成計(jì)算線(xiàn)性逼近直線(xiàn)，其中對(duì)關(guān)于感興趣^象素和與感興趣〗象素鄰近的像 素中笫一通道，即感興趣像素的通道，和笫二通道，即不同于第一通道的 通道的像素的像素值的像素值分布進(jìn)行線(xiàn)性逼近；和像素值估計(jì)單元，被配置成使用線(xiàn)性逼近直線(xiàn)根據(jù)感興趣像素的像素值估計(jì)第二通道的偽目標(biāo)圖像像素值。因而提供了這樣的效果計(jì)算線(xiàn)性逼近直線(xiàn)，使用這種線(xiàn) 性逼近直線(xiàn)根據(jù)感興趣像素的像素值來(lái)估計(jì)第二通道的偽目標(biāo)圖像像素 值。偽目標(biāo)圖像像素值計(jì)算單元可以包含插值單元，被配置成在與感興 趣像素鄰近的像素中的第一通道，即感興趣像素的通道的像素的位置處， 對(duì)第二通道，即不同于第一通道的通道的兩個(gè)像素的像素值進(jìn)行插值，以 計(jì)算插入值；第一乘積和單元，被配置成針對(duì)與感興趣像素鄰近的〗象素中 第 一通道的每個(gè)像素，積分與感興趣4象素和與感興趣〗象素鄰近的第一通道 的像素的像素值的差值對(duì)應(yīng)的差值權(quán)重、與感興趣像素和與感興趣像素鄰 近的第 一通道的像素之間的距離對(duì)應(yīng)的距離權(quán)重和插入值，并且將針對(duì)每 個(gè)像素積分的積分值相加以計(jì)算第一乘積和值；第二乘積和單元，被配置 成針對(duì)與感興趣像素鄰近的l象素中第 一通道的每個(gè)像素積分差值權(quán)重和 距離權(quán)重，并且將針對(duì)每個(gè)像素積分的積分值相加以計(jì)算第二乘積和值； 和偽目標(biāo)圖像像素值計(jì)算單元，被配置成基于第一乘積和值和第二乘積和 值計(jì)算第二通道的偽目標(biāo)圖像像素值。因而提供了這樣的效果對(duì)差值權(quán)重，距離權(quán)重和插入值的乘積求和以獲得笫一乘積和值，并且對(duì)差值權(quán)重 和距離權(quán)重的乘積求和以獲得第二乘積和值，并且基于第一乘積和值和第 二乘積和值計(jì)算第二通道的偽目標(biāo)圖傳J象素值。假設(shè)退化圖像像素值計(jì)算單元可以通過(guò)關(guān)于對(duì)應(yīng)于感興趣像素的像 素和與感興趣像素鄰近的像素，即構(gòu)成恢復(fù)圖像產(chǎn)生單元最近產(chǎn)生的恢復(fù) 圖像的像素的像素值，使用針對(duì)每個(gè)通道的模糊函數(shù)，來(lái)計(jì)算假設(shè)退化圖 像的像素值。因而提供了這樣的效果通過(guò)關(guān)于最近產(chǎn)生的恢復(fù)圖像中對(duì) 應(yīng)于感興趣像素的像素和與感興趣像素鄰近的像素使用針對(duì)每個(gè)通道的 模糊函數(shù)，計(jì)算假設(shè)退化圖像的像素值.圖像處理設(shè)^^還可以包含更新信號(hào)計(jì)算單元，被配置成計(jì)算所計(jì)算 的假設(shè)退化圖像4象素值和所計(jì)算的偽目標(biāo)圖像像素值之間的差值，并JL^ 于其差值計(jì)算用于產(chǎn)生恢復(fù)圖像的更新信號(hào)，其中恢復(fù)圖像產(chǎn)生單元基于 計(jì)算的更新信號(hào)產(chǎn)生恢復(fù)圖像，因而提供了這樣的效果計(jì)算假設(shè)退化圖像像素值和偽目標(biāo)圖像像素值之間的差值，基于差值計(jì)算更新信號(hào)，并且 基于這個(gè)更新信號(hào)產(chǎn)生恢復(fù)圖像。另外，根據(jù)本發(fā)明的實(shí)施例，提供一種成像設(shè)備、根據(jù)成4象i更備的處理方法和使計(jì)算機(jī)執(zhí)行所述處理方法的程序，所述成像設(shè)備包含成像單 元，被配置成對(duì)對(duì)象進(jìn)行成像以產(chǎn)生由多個(gè)通道構(gòu)成的成像圖像；假設(shè)退 化圖像像素值計(jì)算單元，被配置成針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假設(shè)退化 圖像的像素值以作為假設(shè)退化圖像像素值，所述假設(shè)退化圖像是假設(shè)成像 圖像的退化的圖像；偽目標(biāo)圖像像素值計(jì)算單元，被配置成關(guān)于感興趣像 素，即和假設(shè)退化圖像的像素對(duì)應(yīng)的目標(biāo)圖像的像素，根據(jù)感興趣像素的 像素值和與感興趣像素鄰近的像素的像素值，計(jì)算針對(duì)每個(gè)所述通道估計(jì) 的像素值，以作為每個(gè)所述通道的偽目標(biāo)圖像像素值；和恢復(fù)圖像產(chǎn)生單 元，被配置成根據(jù)計(jì)算的假設(shè)退化圖像i象素值和計(jì)算的偽目標(biāo)圖像4象素值 產(chǎn)生其中恢復(fù)成像圖像的恢復(fù)圖像。因而提供了這樣的效果針對(duì)每個(gè)通 道計(jì)算假設(shè)退化圖像像素值和偽目標(biāo)圖像像素值，并且基于計(jì)算的假設(shè)退 化圖像像素值和偽目標(biāo)圖像像素值產(chǎn)生恢復(fù)圖像。根據(jù)上述配置，提供了改進(jìn)恢復(fù)圖像時(shí)的精度的極好優(yōu)點(diǎn)。


圖1是圖解根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的內(nèi)部配置例子的模塊圖； 圖2是圖解根據(jù)本發(fā)明實(shí)施例的圖像處理電路的功能配置例子的模塊圖；圖3是圖解充當(dāng)布置在根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的光接^面 上的濾色鏡的例子的拜爾陣列的圖例；圖4A和4B的圖例示意性圖解了要進(jìn)行根據(jù)本發(fā)明實(shí)施例的恢復(fù)處 理單元的恢復(fù)處理的鑲嵌圖像，和經(jīng)過(guò)恢復(fù)處理單元100的恢復(fù)處理的鑲 嵌圖像；圖5是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元的功能配置例子的模塊圖；圖6A和6B是圖解表示PSF(點(diǎn)擴(kuò)散函數(shù))的值的曲線(xiàn)圖的圖例，PSF 充當(dāng)在根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元計(jì)算假設(shè)退化 圖像像素值時(shí)使用的通道分類(lèi)模糊矩陣；圖7的圖例示意性圖解了要由根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像 素值計(jì)算單元處理的恢復(fù)圖像，和由假設(shè)退化圖像像素值計(jì)算單元計(jì)算的假設(shè)退化圖像像素值所構(gòu)成的假設(shè)退化圖像；圖8是圖解根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元的功 能配置例子的模塊圖；圖9的圖例示意性圖解了要由根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素 值計(jì)算單元處理的觀察圖像，和由偽觀察圖像像素值計(jì)算單元計(jì)算的偽觀察圖像像素值構(gòu)成的偽觀察圖像；圖10是圖解根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單元的功能 配置例子的模塊圖；圖11的圖例示意性圖解了要輸入到根據(jù)本發(fā)明的偽觀察圖像像素值 計(jì)算單元的觀察圖像；圖12的圖例示意性圖解了要輸入到根據(jù)本發(fā)明的偽觀察圖像像素值 計(jì)算單元的觀察圖像；圖13是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的功能配置例子 的模塊圖；圖14是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元的功能配置例子 的模夾圖；圖15的流程解了根據(jù)本發(fā)明實(shí)施例的圖像處理電路的過(guò)程；圖16的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元的恢復(fù)處理 的過(guò)程；圖17的流程解了根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算 單元的假設(shè)退化圖像像素值計(jì)算處理的過(guò)程；圖18的流程解了根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單 元的偽觀察圖像像素值計(jì)算處理的過(guò)程；圖19的5W解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元的 觀察圖傳J象素轉(zhuǎn)換處理的過(guò)程；圖20的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的更新 信號(hào)計(jì)算處理的過(guò)程；圖21的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元的恢復(fù)圖像產(chǎn)生處理的過(guò)程；圖22的圖例圖解了表示有關(guān)感興趣像素和與感興趣像素鄰近的每個(gè) 像素的參考通道和目標(biāo)通道之間的像素值分布的像素值分布曲線(xiàn)圖的例子；圖23是圖解根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單元的功能 配置例子的模塊圖；圖24的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察圖像 像素值計(jì)算單元400的觀察圖^^;圖25的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察圖像 像素值計(jì)算單元的觀察圖像；圖26的流程解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元的 觀察圖《象像素轉(zhuǎn)換處理的過(guò)程；圖27A和27B的圖例圖解了像素值軸權(quán)重函數(shù)LUT(查找表)和空間 軸權(quán)重函數(shù)LUT的例子；配置例子的模塊圖；圖29的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察圖像 像素值計(jì)算單元的觀察圖像；圖30的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察圖像 像素值計(jì)算單元的觀察圖像；圖31的流程解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元的 觀察圖像4象素轉(zhuǎn)換處理的過(guò)程；圖32是圖解根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元的功 能配置例子的模塊圖；圖33的流程解了根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算 單元的假設(shè)圖像像素值計(jì)算處理的過(guò)程；圖34是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的功能配置例子 的模塊圖；圖35的流程解了相4&本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的更新 信號(hào)計(jì)算處理的過(guò)程；圖36是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的功能配置例子
的模塊圖37的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的更新
信號(hào)計(jì)算處理的過(guò)程；
圖38是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的功能配置例子
的模塊圖39的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元的更新 信號(hào)計(jì)算處理的過(guò)程；
圖40是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元的功能配置例子 的模塊圖41的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元的恢復(fù) 圖像產(chǎn)生處理的過(guò)程；
圖42是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元的功能配置例子的模
塊圖43是圖解才艮據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)^險(xiǎn)測(cè)單元的功能配置例子
的模塊圖44的圖例示意性圖解了根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的噪聲模型
的例子；
圖45的圖例示意性圖解了根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象確定模型的
例子；
圖46是圖解根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象隱藏單元的功能配置例子
的模塊圖47的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元的恢復(fù)處理 的過(guò)程；
圖48是圖解M本發(fā)明實(shí)施例的恢復(fù)處理單元的功能配置例子的模
塊圖49是圖解M本發(fā)明實(shí)施例的恢復(fù)處理單元的功能配置例子的模
塊圖50是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元的功能配置例子的模
塊圖；而圖51是圖解用于根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算處理的 參考通道和目標(biāo)通道之間的關(guān)系的圖例。
具體實(shí)施例方式
下面參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。圖l是圖解才N^本發(fā)明實(shí)施
例的成像設(shè)備IO的內(nèi)部配置例子的模塊圖。
成像設(shè)備IO包M鏡11、光圏12、成像設(shè)備13、采樣電路21、A/D(模 擬/數(shù)字)轉(zhuǎn)換電路22、圖像處理電路23、編碼器/解碼器31和存儲(chǔ)器32。 另外，成4象i殳備10包含顯示驅(qū)動(dòng)器41、顯示單元42、定時(shí)產(chǎn)生器51、 操作接受單元52、控制單元53和總線(xiàn)59。注意，圖像處理電路23、編 碼器/解碼器31、存儲(chǔ)器32、顯示驅(qū)動(dòng)器41、定時(shí)產(chǎn)生器51、操作接受 單元52和控制單元53經(jīng)由總線(xiàn)59相互連接。成4象i殳備10能夠例如用對(duì) 對(duì)象成像以產(chǎn)生靜止圖像或運(yùn)動(dòng)圖像的數(shù)字靜止圖 <綠#^或數(shù)字視頻 攝<|*(例如攝#^集成型錄^^)來(lái)實(shí)現(xiàn)。
透鏡ll是用于聚集來(lái)自對(duì)象的光的透鏡。光囷12調(diào)整由透鏡11聚 集的光的光量。也就^^L來(lái)自對(duì)象、由透鏡ll聚集并且光量已經(jīng)由光 圏12調(diào)整的光被提供給成像設(shè)備13。
成像設(shè)備13是圖像傳感器，其由定時(shí)產(chǎn)生器51驅(qū)動(dòng)，通過(guò)光電轉(zhuǎn)換 將經(jīng)由透鏡11和光團(tuán)12輸入的來(lái)自對(duì)象的光轉(zhuǎn)換成電信號(hào)(圖像信號(hào))， 并且將轉(zhuǎn)換的電信號(hào)輸出到采樣電路21。也就是說(shuō)，當(dāng)經(jīng)由透鏡ll和光 團(tuán)12輸入的來(lái)自對(duì)象的光到達(dá)成像設(shè)備13的傳感器成傳^表面上的光接收 元件時(shí)，通過(guò)這些光接收元件進(jìn)行光電轉(zhuǎn)換，從而產(chǎn)生電信號(hào)。注意，例 如用CCD(電荷耦^i殳備)、CMOS(互4峻屬氧化物半導(dǎo)體)等等來(lái)實(shí)現(xiàn)成 像設(shè)備13.
采樣電路21由定時(shí)產(chǎn)生器51驅(qū)動(dòng)，采樣從成像設(shè)備13提供的電信 號(hào)以對(duì)采樣信號(hào)進(jìn)行例如去除噪聲分量的模擬處理，并且將經(jīng)過(guò)這種處理 的模擬信號(hào)提供給A/D轉(zhuǎn)換電路22。采樣電路21能夠降低成像設(shè)備13 上出現(xiàn)的噪聲。注意，例如用相關(guān)雙采樣(CDS)電路來(lái)實(shí)現(xiàn)采樣電路21。
A/D轉(zhuǎn)換電路22由定時(shí)產(chǎn)生器51驅(qū)動(dòng)，將從采樣電路21提供的模 擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并且將轉(zhuǎn)換的數(shù)字信號(hào)提供給圖像處理電路23。 注意，成〗象設(shè)備13，采樣電路21和A/D轉(zhuǎn)換電路22是實(shí)現(xiàn)本發(fā)明特性 的成像單元的例子。圖像處理電路23對(duì)從A/D轉(zhuǎn)換電路22提供的數(shù)字信號(hào)(圖像數(shù)據(jù)) 進(jìn)行預(yù)定圖像處理，并且將經(jīng)過(guò)這種圖像處理的圖傳教據(jù)提供給顯示驅(qū)動(dòng) 器41和編碼器/解碼器31。具體地，從圖像處理電路23提供的數(shù)字信號(hào) 被臨時(shí)存儲(chǔ)在圖像處理電路23內(nèi)的圖像存儲(chǔ)器(用于圖像的RAM(隨機(jī)訪(fǎng) 問(wèn)存儲(chǔ)器))中。(St^，圖像處理電路23的用于信號(hào)處理的處理器對(duì)圖像 存儲(chǔ)器中存儲(chǔ)的數(shù)字信號(hào)進(jìn)行事先編程的圖像處理。注意，例如用DSP(數(shù) 字信號(hào)處理器)來(lái)實(shí)現(xiàn)圖像處理電路23。此外，參考圖2至14及其它來(lái)詳 細(xì)描述圖像處理電路23執(zhí)行的處理的細(xì)節(jié)。
編碼器/解碼器31編碼從圖像處理電路23提供的圖像數(shù)據(jù)，并且將 編碼圖像數(shù)據(jù)提供和記錄到存儲(chǔ)器32。此外，編碼器/解碼器31從存儲(chǔ)器 32讀出圖像數(shù)據(jù)以對(duì)其解碼，并且將其提供給圖像處理電路23。
存儲(chǔ)器32是存儲(chǔ)編碼器/解碼器31編碼的圖像數(shù)據(jù)的存儲(chǔ)器。此夕卜， 存儲(chǔ)器32將存儲(chǔ)的圖像數(shù)據(jù)提供給編碼器/解碼器31。注意，例如用使用 半導(dǎo)體存儲(chǔ)器，磁記錄介質(zhì)，磁光盤(pán)記錄介質(zhì)，光學(xué)記錄介質(zhì)等等的記錄 設(shè)備來(lái)實(shí)現(xiàn)存儲(chǔ)器32。
顯示驅(qū)動(dòng)器41將從圖像處理電路23提供的數(shù)字信號(hào)轉(zhuǎn)換成模擬信 號(hào)，并且控制顯示單元42來(lái)顯示對(duì)應(yīng)于轉(zhuǎn)換的模擬信號(hào)的圖像。
顯示單元42顯示對(duì)應(yīng)于顯示驅(qū)動(dòng)器41轉(zhuǎn)換的模擬信號(hào)的圖像。注意， 在正常狀態(tài)下，在定時(shí)產(chǎn)生器51的控制下以固定幀速率在圖像處理電路 23的內(nèi)置圖像存儲(chǔ)器中不斷M寫(xiě)數(shù)字信號(hào)(像素流)。隨后，圖像處理電 路23的內(nèi)置圖H^儲(chǔ)器的圖^Jt據(jù)經(jīng)由顯示驅(qū)動(dòng)器41被輸出到顯示單元 42，并且在顯示單元42上顯示對(duì)應(yīng)于其圖像數(shù)據(jù)的圖像.例如用LCD(液 晶顯示器)等等實(shí)現(xiàn)顯示單元42，并且顯示單元42也具有取景器功能。
定時(shí)產(chǎn)生器51是控制信號(hào)處理系統(tǒng)(成像設(shè)備13、采樣電路21、 A/D 轉(zhuǎn)換電路22和圖像處理電路23)的操作定時(shí)的定時(shí)產(chǎn)生器。例如，在成像 狀態(tài)下，定時(shí)產(chǎn)生器51控制信號(hào)處理系統(tǒng)以便以固定幀速率保持圖像的 捕獲。
操作接受單元52是接受操作輸入，例如用戶(hù)的快門(mén)操作、其它命令 輸入等等并且將接受的操作輸入的內(nèi)M供給控制單元53的操作接受單 元。例如，操作接受單元52包含操作按鈕，例如成像設(shè)備10主單元上提 供的快門(mén)g等等。
控制單元53是控制整個(gè)成像設(shè)備10，讀出驅(qū)動(dòng)器(未示出)中存儲(chǔ)的控制處理程序并JL基于其控制處理程序或操作接受單元52從用戶(hù)接受的 命4^執(zhí)行各種控制等等的控制單元。例如用CPU(中央處理單元)實(shí)現(xiàn)控制 單元53。
下面參考附圖詳細(xì)描述圖像處理電路23執(zhí)行的信號(hào)處理。通過(guò)圖像 處理電路23內(nèi)的計(jì)算單元實(shí)現(xiàn)本發(fā)明的實(shí)施例所示的信號(hào)處理，該計(jì)算 單元針對(duì)輸入到圖像處理電路23的數(shù)字信號(hào)(圖像信號(hào))流執(zhí)行用預(yù)定程 序代碼描述的計(jì)算。因此，下面將其程序內(nèi)的每個(gè)處理單元描述為功能模 塊，并且參照流程圖描述每個(gè)處理執(zhí)行的序列。注意，可以進(jìn)行這樣的安 排，其中除了通過(guò)本發(fā)明實(shí)施例描述的由程序?qū)崿F(xiàn)的處理之外，安裝實(shí)現(xiàn) 與如下所述功能模塊中的處理相同的處理的硬件電路。
圖2是圖解根據(jù)本發(fā)明實(shí)施例的圖像處理電路23的功能配置例子的 模塊圖。注意，圖2圖解了由圖像處理電路23執(zhí)行的整個(gè)信號(hào)處理的配 置。圖像處理電路23包含恢復(fù)處理單元100、白平衡處理單元210、去鑲 嵌處理單元220、伽瑪校正處理單元230和YC轉(zhuǎn)換處理單元240。由A/D 轉(zhuǎn)換電路22數(shù)字化的鑲嵌圖像M作為輸入圖像被輸入到圖像處理電路 23。隨后，圖像處理電路23對(duì)輸入的鑲嵌圖像M進(jìn)行各種圖像處理。這 個(gè)鑲嵌圖像M是對(duì)應(yīng)于R(紅)、G(綠)和B(藍(lán))之一的強(qiáng)度信號(hào)被存儲(chǔ)在每 個(gè)像素中并且其色陣列是例如圖3所示的拜爾陣列的圖像。
恢復(fù)處理單元100對(duì)鑲嵌圖像M進(jìn)行恢復(fù)光學(xué)退化和傳感器退化的 處理。進(jìn)行恢復(fù)處理的鑲嵌圖像Mrep被提供給白平衡處理單元210。注意， 參考圖5至14和其它附圖詳細(xì)描述恢復(fù)處理單元100。
白平衡處理單元210對(duì)經(jīng)過(guò)恢復(fù)處理的鑲嵌Mrep進(jìn)行白平衡處理。
這個(gè)白平衡處理是根據(jù)每個(gè)像素強(qiáng)度具有的顏色對(duì)鑲嵌圖像Mrep應(yīng)用適 當(dāng)系數(shù)以使得消色對(duì)象區(qū)域的色平衡變成消色的處理。經(jīng)過(guò)白平衡處理的
鑲嵌圖像Mw被提供給去鑲嵌處理單元220。
去鑲嵌處理單元220執(zhí)行去鑲嵌處理(插值處理)，使得所有通道R， G和B的強(qiáng)度調(diào)準(zhǔn)到經(jīng)過(guò)白平衡處理的鑲嵌圖像Mw的每個(gè)像素位置。經(jīng) 過(guò)這個(gè)去鑲嵌處理的RGB圖像([Rw，Gw,BwT)被提供給伽瑪校正處理單元 230,注意，經(jīng)過(guò)這個(gè)去鑲嵌處理的RGB圖像([Rw,Gw，BjT)是對(duì)應(yīng)于三個(gè) 顏色R、 G和B的圖像。矩陣AT表示矩陣A的轉(zhuǎn)置矩陣。
伽瑪校正處理單元230對(duì)RGB圖像([Rm,Gm，BmT)進(jìn)行伽瑪校正。經(jīng) 過(guò)伽瑪校正的RGB圖像([IC，GJ，BJ]T)被提供給YC轉(zhuǎn)換處理單元240。YC轉(zhuǎn)換處理單元240對(duì)經(jīng)過(guò)伽瑪校正的RGB圖像([R/，G"B/T)進(jìn) 行YC矩陣處理和關(guān)于色度分量的帶限制，從而產(chǎn)生亮度信號(hào)(Y)和色差 信號(hào)(Cr，Cb)。亮度信號(hào)(Y-圖像)和色差信號(hào)(C-圖《象)^L提供給編碼器/解碼 器31或顯示驅(qū)動(dòng)器41。
圖3是圖解充當(dāng)布置在根據(jù)本發(fā)明實(shí)施例的成像設(shè)備13的光接^ 面上的濾色鏡的例子的拜爾陣列的圖例。對(duì)于這個(gè)拜爾陣列，顏色G的 像素以棋盤(pán)格模式布置，而對(duì)于G之外的像素位置，顏色R的4象素被布 置成方格柵狀態(tài)，其中在水平方向和垂直方向具有一個(gè)像素的間隔，顏色 B的像素在剩余像素位置被布置成方格柵狀態(tài)，其中在水平方向和垂直方 向具有一個(gè)^象素的間隔。注意，對(duì)于本發(fā)明的實(shí)施例，包含R〗象素的行 中包含的G像素用Gr表示，包含B像素的行中包含的G像素用Gb表 示。
圖4A和4B的圖例示意性圖解了要進(jìn)行根據(jù)本發(fā)明實(shí)施例的恢復(fù)處 理單元100的恢復(fù)處理的鑲嵌圖像，和經(jīng)過(guò)恢復(fù)處理單元100的'恢復(fù)處理 的鑲嵌圖像。對(duì)于這些鑲嵌圖像，對(duì)應(yīng)于圖3所示的拜爾陣列地布置每個(gè) 像素。對(duì)于本發(fā)明的實(shí)施例，將針對(duì)例子進(jìn)行描述，其中恢復(fù)處理單元 100輸入要進(jìn)行恢復(fù)處理的鑲嵌圖像以作為觀察圖像，恢復(fù)處理單元100 輸出經(jīng)過(guò)恢復(fù)處理的鑲嵌圖像作為恢復(fù)圖像。
圖4A圖解了要進(jìn)行恢復(fù)處理單元100的恢復(fù)處理的觀察圖^f象300， 圖4B圖解了經(jīng)過(guò)恢復(fù)處理單元100的恢復(fù)處理的恢復(fù)圖像310。在圖4A 和4B中，通過(guò)圍繞由虛線(xiàn)構(gòu)成的矩形來(lái)表示一部分圖像，并且每個(gè)矩形 中包含的4象素用圓來(lái)表示，在圓中示出表示每個(gè)像素的通道的字符。這里， 圖4B所示的恢復(fù)圖像310是高清晰度圖像，其經(jīng)過(guò)轉(zhuǎn)換使得圖4A所示 的觀察圖像300的分辨率在垂直和水平方向變成原來(lái)的三倍。因而，要進(jìn) 行恢復(fù)處理的觀察圖像300和經(jīng)過(guò)恢復(fù)處理的恢復(fù)圖像310的分辨率不 同。因此，在圖4A和4B中，為了使得能夠比較觀察圖像300和恢復(fù)圖 像310，表示共同包含在觀察圖像300和恢復(fù)圖像310中的像素的圓用粗 線(xiàn)來(lái)表示。也就是說(shuō)，共同包含在觀察圖像300和恢復(fù)圖像310中的像素 ;^觀察圖像300中的像素301至309，和恢復(fù)圖像310中的像素311至319。 此外，對(duì)于圖4A所示的觀察圖像300，在對(duì)應(yīng)于構(gòu)成恢復(fù)圖像310的像 素的像素位置的位置中，沒(méi)有像素存在的位置用由虛線(xiàn)構(gòu)成的圓來(lái)表示。 也就是說(shuō)，觀察圖像300與恢復(fù)圖像310相比變成低分辨率圖像，因此在 除了像素301至309的像素位置之外的位置沒(méi)有像素存在。圖5是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元100的功能配置例子的 模塊圖。恢復(fù)處理單元IOO包含假設(shè)退化圖像像素值計(jì)算單元IIO、偽觀 察圖像像素值計(jì)算單元120、更新信號(hào)計(jì)算單元130和恢復(fù)圖4象產(chǎn)生單元 140。注意，對(duì)于本發(fā)明的實(shí)施例，光學(xué)系統(tǒng)引起的退化用PSF(點(diǎn)擴(kuò)散函 數(shù))定義。
假設(shè)退化圖像像素值計(jì)算單元110計(jì)算在基于從恢復(fù)圖4象產(chǎn)生單元 140輸出的幀(恢復(fù)圖像)產(chǎn)生更新信號(hào)時(shí)使用的假設(shè)退化圖像像素值，并 且輸出計(jì)算的假設(shè)退化圖像像素值到更新信號(hào)計(jì)算單元130。假設(shè)退化圖 像像素值計(jì)算單元110在計(jì)算假設(shè)退化圖傳J象素值時(shí)使用通道分類(lèi)模糊 函數(shù)(例如，圖6A和6B所示的PSF)。注意，參考圖8詳細(xì)描述假設(shè)退化 圖傳J象素值計(jì)算單元110。
偽觀察圖像像素值計(jì)算單元120計(jì)算在基于從A/D轉(zhuǎn)換電路22輸出 的幀(觀察圖像)產(chǎn)生更新信號(hào)時(shí)使用的偽觀察圖像像素值，并且輸出計(jì)算 的偽觀察圖像像素值到更新信號(hào)計(jì)算單元130。注意，參考圖10詳細(xì)描 述偽觀察圖像像素值計(jì)算單元120。此外，偽觀察圖像像素值計(jì)算單元120 是實(shí)現(xiàn)本發(fā)明特性的偽目標(biāo)圖《象像素值計(jì)算單元的例子。
更新信號(hào)計(jì)算單元130基于從假設(shè)退化圖像像素值計(jì)算單元IIO輸出 的假設(shè)退化圖像像素值和從偽觀察圖像像素值計(jì)算單元120輸出的偽觀 察圖像像素值計(jì)算用于產(chǎn)生恢復(fù)圖像的更新信號(hào)，并且輸出計(jì)算的更新信 號(hào)到恢復(fù)圖像產(chǎn)生單元140。注意，參考圖13詳細(xì)描述更新信號(hào)計(jì)算單 元130。
恢復(fù)圖像產(chǎn)生單元140基于從更新信號(hào)計(jì)算單元130輸出的更新信號(hào) 更新最近產(chǎn)生的恢復(fù)圖像以產(chǎn)生新恢復(fù)圖像，并且接著輸出新產(chǎn)生的恢復(fù) 圖像到白平衡處理單元210，并且也在針對(duì)下一幀(觀察圖像)產(chǎn)生恢復(fù)圖 像時(shí)使用其恢復(fù)圖像。注意，參考圖14詳細(xì)描述恢復(fù)圖《象產(chǎn)生單元140.
圖6A和6B是圖解表示PSF的值的曲線(xiàn)圖的圖例，PSF充當(dāng)在根據(jù) 本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元110計(jì)算^R設(shè)退化圖像像 素值時(shí)使用的通道分類(lèi)模糊矩陣的例子。圖6A圖解了表示二維PSF的值 的曲線(xiàn)圖，圖6B圖解了表示三維PSF的值的曲線(xiàn)圖。注意，對(duì)于圖6A 所示的曲線(xiàn)圖，x軸是表示圖像上的像素的位置(像素位置)的軸，y軸是 表示針對(duì)像素位置的響應(yīng)的值的軸。此外，對(duì)于圖6B所示的曲線(xiàn)圖，x 軸和z軸是表示圖像上的像素的位置的軸，y軸是表示針對(duì)像素位置的響 應(yīng)的值的軸。這里，圖6A和6B所示的y軸的值(針對(duì)4象素位置的響應(yīng)的值)是表示針對(duì)充當(dāng)輸入的像素位置的輸出作為圖像看上去有多模糊的
值。此外，令圖6A和6B所示的y軸上的值為根據(jù)正態(tài)分布?xì)w一化的值。 注意，圖6A和6B所示的PSF是實(shí)現(xiàn)本發(fā)明特性的模糊函數(shù)的例子。
圖7的圖例示意性圖解了要由根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像 素值計(jì)算單元UO處理的恢復(fù)圖像310，和由假設(shè)退化圖像像素值計(jì)算單 元110計(jì)算的假設(shè)退化圖像像素值所構(gòu)成的假設(shè)退化圖像。注意，圖7的 (a)所示的恢復(fù)圖像310與圖4B所示的恢復(fù)圖像310相同，因此這里省略 其詳細(xì)描述。此外，圖7中的(b)圖解了作為由針對(duì)每個(gè)通道計(jì)算的假設(shè) 退化圖像像素值構(gòu)成的假設(shè)退化圖像的例子的假設(shè)退化圖像321至324。 參考圖8詳細(xì)描述假設(shè)退化圖像。
圖8是圖解根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元110的 功能配置例子的模塊圖。假設(shè)退化圖像像素值計(jì)算單元110包^H遏道分類(lèi) 模糊矩陣保持單元lll、乘積和單元112和再采樣單元113。
通道分類(lèi)模糊矩陣保持單元111保持假設(shè)每個(gè)通道的光學(xué)退化的模 糊矩陣，并且41供所保持的通道分類(lèi)模糊矩陣給乘積和單元112。例如， 圖6A和6B所示的PSF能夠被用作通道分類(lèi);^糊矩陣。
乘積和單元112通過(guò)針對(duì)從恢復(fù)圖像產(chǎn)生單元140輸出的恢復(fù)圖像的 每個(gè)像素使用通道分類(lèi)模糊矩陣保持單元111中保持的通道分類(lèi)模糊矩 陣來(lái)計(jì)算假設(shè)退化圖像的像素值(假設(shè)退化圖像像素值)，并且接著輸出計(jì) 算的假設(shè)退化圖像像素值到再采樣單元113。
對(duì)于本發(fā)明的實(shí)施例，在恢復(fù)圖4象的像素中，將^吏用在計(jì)算^:i史退化 圖像像素值時(shí)充當(dāng)參考的像素的位置來(lái)進(jìn)行描述，該位置被稱(chēng)為感興趣像 素位置。此外，感興趣像素位置存在的像素被稱(chēng)作感興趣像素。對(duì)于這個(gè) 例子，將針對(duì)這樣的情況進(jìn)行描述恢復(fù)圖像中與構(gòu)成觀察圖像的每個(gè)像 素的像素位置對(duì)應(yīng)的位置被作為感興趣像素位置，并且該感興趣像素位置 存在的像素被作為感興趣像素。例如，對(duì)于圖7中的(a)所示的例子，恢 復(fù)圖像310的像素311至319是感興趣像素，像素311至319的位置是感 興趣寸象素位置。此外，也會(huì)類(lèi)似地通過(guò)使用感興趣像素位置和感興趣像素 來(lái)描述觀察圖像的每個(gè)像素。
具體地，在恢復(fù)圖像的感興趣像素和鄰近感興趣像素的像素中，乘積 和單元U2根據(jù)相同通道的像素值和通道分類(lèi)模糊矩陣保持單元111處保 持的通道分類(lèi)模糊矩陣獲得乘積的和，并且計(jì)算其感興趣像素位置處的假設(shè)退化圖像像素值。注意，例如，以感興趣像素為中心的7像素x7像素 的范圍中存在的像素能夠被用作感興趣像素附近存在的像素。例如，在圖 7中的(a)所示的像素315^L作為感興趣^象素并且針對(duì)其感興趣1象素位置計(jì) 算假設(shè)退化圖像像素值的情況下，以像素315為中心的7像素x7像素的 范圍(恢復(fù)圖像310的范圍)變成計(jì)算目標(biāo)。也就是說(shuō)，在通過(guò)將圖7中的 (a)所示的像素315的位置作為感興趣像素位置來(lái)計(jì)算假設(shè)退化圖像像素 值的情況下，恢復(fù)圖4象310的范圍中包含的每個(gè)像素的像素值被用于計(jì)算 每個(gè)通道的假設(shè)退化圖像像素值。
現(xiàn)在用要計(jì)算假設(shè)退化圖像像素值的通道進(jìn)行描述，該通道被稱(chēng)作目 標(biāo)通道。例如，在通過(guò)將圖7中的(a)所示的《象素315的位置作為感興趣 像素位置來(lái)針對(duì)目標(biāo)通道Gr計(jì)算假設(shè)退化圖像像素值的情況下，使用恢 復(fù)圖<象310的范圍中包含的通道Gr的(16)像素值和通道Gr的模糊矩陣執(zhí) 行積分處理。順序相加積分值，即積分結(jié)果，從而獲得有關(guān)通道Gr的假 設(shè)退化圖像像素值。此外，例如，在通過(guò)將圖7中的(a)所示的l象素315 的位置作為感興趣《象素位置針對(duì)目標(biāo)通道R計(jì)算假設(shè)退化圖像像素值的 情況下，使用恢復(fù)圖像310的范圍中包含的通道R的(12)像素值和通道R 的模糊矩陣執(zhí)行積分處理。順序相加積分值，即積分結(jié)果，從而獲得有關(guān) 通道R的假設(shè)退化圖像像素值。類(lèi)似地，以圖7中的(a)所示的像素315 的位置為感興趣像素位置，針對(duì)每個(gè)目標(biāo)通道B和Gr使用恢復(fù)圖像310 的范圍中包舍的目標(biāo)通道來(lái)計(jì)算假設(shè)退化圖像像素值。此外，類(lèi)似地計(jì)算 其它感興趣像素位置。也就是說(shuō)，針對(duì)一個(gè)感興趣4象素位置計(jì)算四個(gè)^^設(shè) 退化圖傳J象素值。例如，在沿;5t^順序移動(dòng)感興趣像素位置的同時(shí)，執(zhí)行 假設(shè)退化圖像像素值的計(jì)算。也就是說(shuō)，對(duì)于圖7中的(a)所示的恢復(fù)圖 像310，按照像素3114像素312—像素313—像素314—像素315卄像 素316—…4寸象素317-rf象素318—4象素319—...的順序執(zhí)行^f^設(shè)退化圖《象 像素值的計(jì)算。
再采樣單元113在感興趣^象素位置布置(再釆樣)乘積和單元112獲得 的假設(shè)退化圖像像素值，并且將如此布置的假設(shè)退化圖像像素值輸出到更 新信號(hào)計(jì)算單元130。例如，在以圖7中的(a)所示的^象素315的位置作為 感興^《象素位置對(duì)針對(duì)目標(biāo)通道Gr獲得的假設(shè)退化圖像像素值進(jìn)行再采 樣的情況下，在圖7中的(b)所示的假設(shè)退化圖像(目標(biāo)通道Gr)321的像素 331的位置處進(jìn)行再釆樣，此外，例如，在以圖7中的(a)所示的像素315 的位置作為感興趣^象素位置對(duì)針對(duì)目標(biāo)通道R獲得的假設(shè)退化圖像像素 值進(jìn)行再采樣的情況下，在圖7中的(b)所示的假設(shè)退化圖像(目標(biāo)通道R)322的像素332的位置處進(jìn)行再釆樣。類(lèi)似地，在以圖7中的(a)所示的 像素315的位置為感興趣像素位置對(duì)針對(duì)目標(biāo)通道B和Gb獲得的假設(shè)退 化圖像像素值進(jìn)行再釆樣的情況下，以相同方式進(jìn)行再釆樣。具體地，在 圖7中的(b)所示的假設(shè)退化圖像(目標(biāo)通道B)323的像素333的位置對(duì)針 對(duì)目標(biāo)通道B獲得的假設(shè)退化圖像4象素值再采樣。此外，在圖7中的(b) 所示的假設(shè)退化圖像(目標(biāo)通道Gb)324的像素334的位置對(duì)針對(duì)目標(biāo)通道 Gb獲得的假設(shè)退化圖像像素值再采樣。如此進(jìn)^t再釆樣，從而針對(duì)一個(gè) 恢復(fù)圖像310獲得對(duì)應(yīng)于四個(gè)通道的假設(shè)退化圖像321至324。
注意，對(duì)于假設(shè)退化圖像像素值計(jì)算單元110的再采樣處理，在未假 設(shè)成像設(shè)備13引起的退化的情況下，只進(jìn)行不涉及分辨率轉(zhuǎn)換的像素位 置的再釆樣處理。也就是說(shuō)，產(chǎn)生與觀察圖像具有相同分辨率的四個(gè)假設(shè) 退化圖像.此外，在觀察圖像不是拜爾陣列的情況下，能夠省^采樣處 理。例如，觀察圖像不是拜爾陣列的情況是經(jīng)過(guò)去鑲嵌處理的圖像被作為 觀察圖像的情況。
圖9的圖例示意性圖解了要由根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素 值計(jì)算單元120處理的觀察圖像300，和由偽觀察圖像像素值計(jì)算單元120 計(jì)算的偽觀察圖像像素值構(gòu)成的偽觀察圖像341至344。注意，圖9的(a) 所示的觀察圖像300與圖4A所示的觀察圖像300相同，因此這里省略其 詳細(xì)描述，此外，圖9中的(b)圖解了作為由針對(duì)每個(gè)通道計(jì)算的偽觀察 圖像像素值構(gòu)成的偽觀察圖像的例子的偽觀察圖像341至344。參考圖10 詳細(xì)描述偽觀察圖像。
圖10是圖解根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單元120的 功能配置例子的模塊圖。偽觀察圖像像素值計(jì)算單元120包^it道確定單 元121和觀察圖像像素轉(zhuǎn)換單元122。這里，以構(gòu)成觀察圖像的每個(gè)像素 作為偽方式的相同通道的像素，偽觀察圖像像素值計(jì)算單元120針對(duì)每個(gè) 通道計(jì)算偽觀察圖像的每個(gè)像素值。利用下述特性計(jì)算偽觀察圖像的像素 值(偽觀察圖像像素值)即使在其通道不同的情況下像素高頻分量通常變 成相同值，但是像素低頻分量根據(jù)其通道的類(lèi)型變成不同值。注意，以和 針對(duì)假設(shè)退化圖像像素值計(jì)算單元U0描述的情2^目同的方式，用要計(jì)算 的通道(被稱(chēng)作目標(biāo)通道)進(jìn)行描述。此外，以和個(gè)J殳退化圖像像素值計(jì)算 單元110相同的方式，偽觀察圖像4象素值計(jì)算單元120針對(duì)一個(gè)感興趣像 素位置計(jì)算四個(gè)偽觀察圖像像素值。也就是說(shuō)，每四個(gè)目標(biāo)通道獲得偽觀 察圖像像素值。通道確定單元121輸入從A/D轉(zhuǎn)換電路22輸出的觀察圖^(象的感興趣 像素和與感興趣像素鄰近的每個(gè)像素的像素值，并且確定感興^M象素的通 道和目標(biāo)通道的通道是否相同。接著，在確定感興趣像素的通道和目標(biāo)通 道的通道相同的情況下，通道確定單元121將感興趣^象素的^象素值作為偽 觀察圖像像素值輸出到更新信號(hào)計(jì)算單元130。
另 一方面，在確定感興趣4象素的通道和目標(biāo)通道的通道不相同的情況 下，通道確定單元121將感興趣像素和與感興趣像素鄰近的每個(gè)像素中目 標(biāo)通道的像素值輸出到空間低頻分量計(jì)算單元123和127。此外，在感興 趣像素和與感興趣像素鄰近的每個(gè)像素中，通道確定單元121輸出感興趣 像素的通道(參考通道)的像素值到空間高頻分量計(jì)算單元124和空間低頻 分量計(jì)算單元126。
這里，參考通道是在感興^^像素的通道和目標(biāo)通道不相同的情況下在 計(jì)算偽觀察圖像像素值時(shí)使用的通道，并且與感興趣像素的通道是相同通 道。例如，在以圖9中的(a)所示的4象素301、 303、 307和309的位置作 為感興趣像素位置針對(duì)目標(biāo)通道Gr計(jì)算偽觀察圖像像素值的情況下，感 興趣像素Cf象素301、 303、 307和309)的通道Gr和目標(biāo)通道Gr相同。因 此，感興趣像素(像素301、 303、 307和309)的像素值作為偽觀察圖像像 素值，即作為圖9中的(b)所示的偽觀察圖像(目標(biāo)通道Gr)341的像素351、 353、 357和359的偽觀察圖像像素值輸出。另一方面，例如，在以圖9 中的(a)所示的像素302的位置作為感興趣像素位置針對(duì)目標(biāo)通道Gr計(jì)算 偽觀察圖像像素值的情況下，感興趣像素(像素302)的通道R和目標(biāo)通道 Gr不相同，因此，在像素302和與像素302鄰近的每個(gè)像素中，感興趣 像素(像素302)的通道(參考通道)R和目標(biāo)通道Gr被用于計(jì)算偽觀察圖像 像素值。這個(gè)偽觀察圖像像素值作為圖9中的(b)所示的偽觀察圖像(目標(biāo) 通道Gr)341的像素352的偽觀察圖像像素值被輸出。類(lèi)似地，在以圖9 中的(a)所示的像素304至306和308的位置作為感興趣像素位置針對(duì)目 標(biāo)通道Gr計(jì)算偽觀察圖傳J象素值的情況下，感興趣像素的通道和目標(biāo)通 道Gr不相同。因此，在感興^^象素和與感興趣像素鄰近的每個(gè)像素中， 感興趣像素的通道(參考通道)和目標(biāo)通道Gr被用于計(jì)算偽觀察圖像像素 值。
對(duì)于圖9中的(b)所示的偽觀察圖像341至344，用粗圓表示這樣的像 素位置在該像素位置處，觀察圖像300的感興趣像素的像素值作為偽觀 察圖像像素值被輸出。此外，對(duì)于圖9中的(b)所示的偽觀察圖像341至344，用雙圓表示這樣的像素位置在該像素位置處，使用感興趣像素的 通道(參考通道)和目標(biāo)通道計(jì)算偽觀察圖像像素值。因而，針對(duì)一個(gè)感興 趣像素位置獲得四個(gè)偽觀察圖像像素值。注意，使用參考通道和目標(biāo)通道 對(duì)偽觀察圖像像素值的計(jì)算由觀察圖像像素轉(zhuǎn)換單元122來(lái)進(jìn)行。
觀察圖像像素轉(zhuǎn)換單元122估計(jì)感興趣像素位置處目標(biāo)通道的像素 值。觀察圖像像素轉(zhuǎn)換單元122包含空間低頻分量計(jì)算單元123、空間高 頻分量計(jì)算單元124、空間高頻分量比例系數(shù)計(jì)算單元125和偽觀察圖像 4象素值計(jì)算單元129。此外，空間高頻分量比例系數(shù)計(jì)算單元125計(jì)算參 考通道的空間高頻分量的比例系數(shù)，并且包含空間低頻分量計(jì)算單元126 和127,以及除法器128。對(duì)于這個(gè)例子，考慮到通道之間存在涉及像素 值改變的相關(guān)性，并JL基于通道之間涉及像素值改變的相關(guān)性來(lái)估計(jì)感興 趣像素位置處目標(biāo)通道的像素值。具體地，感興趣^象素的通道(參考通道) 的變化量(參考通道的空間高頻分量)被進(jìn)行定標(biāo)，并且被加到感興趣像素 位置處目標(biāo)通道的DC分量(目標(biāo)通道的空間低頻分量)上。因而估計(jì)感興 趣像素位置處目標(biāo)通道的像素值。
空間低頻分量計(jì)算單元123對(duì)鄰近感興趣像素的每個(gè)像素的通道(目 標(biāo)通道)的像素值應(yīng)用低頻通過(guò)濾波器(低通濾波器)以計(jì)算感興趣像素位 置處目標(biāo)通道的空間低頻分量，接著輸出作為計(jì)算結(jié)果的空間低頻分量 Ir^—到偽觀察圖像像素值計(jì)算單元129。注意，空間低頻分量計(jì)算單元 123是實(shí)現(xiàn)本發(fā)明特性的第二通道空間低頻分量計(jì)算單元的例子。
空間高頻分量計(jì)算單元124計(jì)算感興^^象素位置處參考通道的空間 高頻分量，接著輸出作為計(jì)算結(jié)果的空間高頻分量I，High^q到偽觀察圖像 4象素值計(jì)算單元129。具體地，空間高頻分量計(jì)算單元124如表達(dá)式7所 示計(jì)算感興趣^象素的像素值I'和空間低頻分量計(jì)算單元126計(jì)算的感興趣 像素位置處參考通道的空間低頻分量I，^hq之間的差值。接著，這個(gè)差
值(空間高頻分量I'HighFreq)作為感興趣像素位置處參考通道的空間高頻分
量^L輸出到偽觀察圖傳J象素值計(jì)算單元129。注意，高頻通過(guò)濾波器(高通 濾波)可以被用來(lái)計(jì)算感興趣像素位置處參考通道的空間高頻分量。
<formula>formula see original document page 23</formula>
空間低頻分量計(jì)算單元126對(duì)感興趣《象素和與感興^H象素鄰近的每
個(gè)像素的參考通道的像素值應(yīng)用低頻通過(guò)濾波器以計(jì)算感興趣像素位置 處參考通道的空間低頻分量，接著輸出作為計(jì)算結(jié)果的空間低頻分量I'L。wFreq到空間高頻分量計(jì)算單元124和除法器128。
空間低頻分量計(jì)算單元127對(duì)感興趣像素和與感興趣^象素鄰近的每 個(gè)像素的目標(biāo)通道的像素值應(yīng)用低頻通過(guò)濾波器以計(jì)算感興趣像素位置 處目標(biāo)通道的空間低頻分量，接著輸出作為計(jì)算結(jié)果的空間低頻分量 iL。wFreq到除法器128。注意，空間低頻分量計(jì)算單元127可以是空間低頻
分量計(jì)算單元123的復(fù)制。此外，空間低頻分量計(jì)算單元127是實(shí)現(xiàn)本發(fā)
明特性的第二通道空間低頻分量計(jì)算單元的例子。
除法器128基于來(lái)自空間低頻分量計(jì)算單元127的目標(biāo)通道的空間低 頻分量和來(lái)自空間低頻分量計(jì)算單元126的參考通道的空間低頻分量計(jì) 算參考通道的空間高頻分量的比例系數(shù)。這個(gè)比例系數(shù)是用于調(diào)整參考通 道的空間高頻分量的大小的系數(shù)，并且對(duì)參考通道的空間高頻分量進(jìn)行歸
一化。例如，如表達(dá)式8所示，除法器128將空間低頻分量lL。wFreq除以 空間低頻分量
1 LowFreq
以計(jì)算比例系數(shù)k。注意，如表達(dá)式9所示，通過(guò) 使用感興趣像素和與感興趣像素鄰近的每個(gè)像素的目標(biāo)通道的像素值的
方差CTy和感興趣像素和與感興趣像素鄰近的每個(gè)像素的目標(biāo)通道和參考
通道的協(xié)方差CTw,,可以計(jì)算比例系數(shù)k。
Itnvi^《 表達(dá)式8
表達(dá)式9
偽觀察圖像像素值計(jì)算單元129基于來(lái)自空間低頻分量計(jì)算單元123 的空間低頻分量，來(lái)自空間高頻分量計(jì)算單元124的空間高頻分量和來(lái)自 除法器128的比例系數(shù)計(jì)算感興趣像素位置的偽觀察圖像像素值，接著輸 出感興趣像素位置的偽觀察圖像像素值到更新信號(hào)計(jì)算單元130。例如， 如表達(dá)式10所示，偽觀察圖像像素值計(jì)算單元129 ^:用空間低頻分量 Ii^。wFreq，空間高頻分量 1扭ghFreq
和比例系數(shù)k計(jì)算感興趣像素位置的偽觀
察困像像素值Ip自d。。注意，偽觀察圖傳_像素值計(jì)算單元129是實(shí)現(xiàn)本發(fā) 明特性的偽目標(biāo)圖傳J象素值計(jì)算單元的例子。圖11和12的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察 圖像像素值計(jì)算單元120的觀察圖像。注意，在圖11和12所示的觀察圖 像中，對(duì)應(yīng)于恢復(fù)圖像的像素位置的虛線(xiàn)圓(圖4、 7和9所示)被省略。 此外，對(duì)于圖11和12所示的觀察圖像，用粗圓表示感興趣像素，并且用 帶陰影線(xiàn)圃表示目標(biāo)通道的像素。圖11圖解了由感興趣像素(與恢復(fù)圖像 的感興趣〗象素位置對(duì)等的位置存在的像素)361和與感興趣像素361鄰近 的每個(gè)像素構(gòu)成的觀察圖像360。此外，圖11示例了 R通道^C作為感興 趣像素361的通道(參考通道)并且通道Gr被作為目標(biāo)通道的情形。
對(duì)于圖11所示的例子，感興趣像素361的通道R和目標(biāo)通道Gr不 相同。因此，在與感興趣像素361鄰近的每個(gè)像素中，目標(biāo)通道Gr的像 素值被輸出到空間低頻分量計(jì)算單元123和127。此外，在感興趣像素361 和與感興趣像素鄰近的每個(gè)像素中，參考通道R的4象素值凈皮輸出到空間 高頻分量計(jì)算單元124和空間低頻分量計(jì)算單元126。
接著，空間低頻分量計(jì)算單元123和127對(duì)目標(biāo)通道空間低頻分量計(jì) 算范圍362(用實(shí)線(xiàn)矩形表示的范圍)中包含的目標(biāo)通道Gr的像素值應(yīng)用 低頻通過(guò)濾波器(例如，4x5)，接著計(jì)算感興趣像素361位置處目標(biāo)通道 Gr的空間4氐頻分量。在這種情況下，例如，通過(guò)使用偶數(shù)抽頭的低頻通 過(guò)濾波器能夠直接獲得感興趣^(象素361的位置的相位的空間低頻分量。此 外，可以進(jìn)行這樣的安排奇數(shù)抽頭的低頻通過(guò)濾波器被用來(lái)事先獲得目 標(biāo)通道Gr的位置的空間低頻分量，并且根據(jù)這種插值，獲得感興趣〗象素 361的位置的空間低頻分量。
接著，空間低頻分量計(jì)算單元126對(duì)參考通道空間低頻和高頻分量計(jì) 算范圍363(用虛線(xiàn)矩形表示的范圍)中包含的參考通道R的像素值應(yīng)用低 頻通過(guò)濾波器(例如，5x5)，接著計(jì)算感興趣像素361的位置處參考通道R 的空間#<頻分量。
接著，除法器128基于感興趣像素361的位置處目標(biāo)通道Gr的空間 低頻分量和感興趣像素361的位置處參考通道R的空間低頻分量計(jì)算參 考通道R的空間高頻分量的比例系數(shù)。根據(jù)例如表達(dá)式8進(jìn)行這個(gè)計(jì)算。
接著，空間高頻分量計(jì)算單元124計(jì)算感興>^像素361的位置處參考通道R的空間低頻分量和感興趣像素361的參考通道R的像素值之間的 差值，接著計(jì)算感興趟^象素361的位置處參考通道R的空間高頻分量。
接著，偽觀察圖像像素值計(jì)算單元129計(jì)算感興趣像素361的位置處 的偽觀察圖像像素值。具體地，根據(jù)表達(dá)式10，感興趣像素361的位置 處目標(biāo)通道Gr的空間低頻分量，參考通道R的空間高頻分量和參考通道 R的空間高頻分量的比例系數(shù)被用于計(jì)算其位置處的偽觀察圖傳J象素值。 接著，感興趣像素361的位置處的偽觀察圖像像素值被輸出到更新信號(hào)計(jì) 算單元130。
圖12圖解了由感興趣像素371和鄰近感興趣像素371的每個(gè)像素構(gòu) 成的觀察圖像370。此外，圖12示例了 Gb通道被作為感興^^象素371
是圖11的修改，其中計(jì)算空間低頻分量時(shí)使用的低頻通過(guò)濾波器不同。 因此，涉及與圖ll共同的部分的描述被省略，并且下面以不同于圖ll的 部分為中心來(lái)進(jìn)行描述。
對(duì)于圖12所示的例子，感興趣像素371的通道(參考通道)Gb和目標(biāo) 通道Gr不相同。因此，在與感興^^象素371鄰近的每個(gè)像素中，目標(biāo)通 道Gr的像素值被輸出到空間低頻分量計(jì)算單元123和127。此外，在感 興趣像素371和與感興趣像素鄰近的每個(gè)像素中，參考通道Gb的像素值 被輸出到空間高頻分量計(jì)算單元124和空間低頻分量計(jì)算單元126。
接著，空間低頻分量計(jì)算單元123和127對(duì)目標(biāo)通道空間低頻分量計(jì) 算范圍372(用實(shí)線(xiàn)矩形表示的范圍)中包含的目標(biāo)通道Gr的像素值應(yīng)用 低頻通過(guò)濾波器(例如，4x4),接著計(jì)算感興^^像素371位置處目標(biāo)通道 Gr的空間低頻分量。
接著，空間低頻分量計(jì)算單元126對(duì)參考通道空間低頻和高頻分量計(jì) 算范圍373(用虛線(xiàn)矩形表示的范圍)中包含的參考通道Gb的像素值應(yīng)用 低頻通過(guò)濾波器(例如，5x5)，接著計(jì)算感興趣4象素371的位置處參考通 道Gb的空間低頻分量。以和圖ll相同的方式進(jìn)行計(jì)算，計(jì)算感興趣像 素371的位置處的偽觀察圖像像素值，并且偽觀察圖像像素值接著被輸出 到更新信號(hào)計(jì)算單元130。
圖13是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元130的功能配置 例予的模塊圖。更新信號(hào)計(jì)算單元130包含減法器131和再采樣單元132。
減法器131從輸出自偽觀察圖像像素值計(jì)算單元120的偽觀察圖像像
Gr被作為目標(biāo)通道的情形。注意，這個(gè)例子素值中減去輸出自假設(shè)退化圖像像素值計(jì)算單元no的假設(shè)退^:圖像像
素值，并且輸出作為減法結(jié)果的差值到再采樣單元132。如上所述，針對(duì) 一個(gè)感興趣像素位置產(chǎn)生四個(gè)目標(biāo)通道(Gr、 R、 B和Gb)的偽觀察圖像像 素值和假設(shè)退化圖像像素值。因此，針對(duì)一個(gè)感興趣i象素位置產(chǎn)生的四個(gè) 偽觀察圖像像素值和假設(shè)退化圖像像素值被順序輸入到減法器131。接 著，針對(duì)各個(gè)目標(biāo)通道的所輸入的四個(gè)偽觀察圖像像素值和假設(shè)退化圖像 像素值順序地進(jìn)行減法處理。
再采樣單元132從感興趣像素位置到恢復(fù)圖像的像素位置對(duì)輸出自 減法器131的差值再采樣，并且作為更新信號(hào)輸出再釆樣的差值到恢復(fù)圖 像產(chǎn)生單元140。也就是說(shuō)，關(guān)于一個(gè)感興趣像素位置(與觀察圖像的像素 位置對(duì)等的位置)針對(duì)各個(gè)目標(biāo)通道計(jì)算的四個(gè)差值被上采樣到恢復(fù)圖像 的像素位置，所述恢復(fù)圖像具有三倍于觀察圖像的分辨率的分辨率。接著， 針對(duì)恢復(fù)圖像的每個(gè)像素位置，再采樣的差值作為更新信號(hào)被輸出。
圖14是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元140的功能配置 例子的模塊圖?；謴?fù)圖像產(chǎn)生單元140包含矩陣計(jì)算單元141和加法器 142。注意，恢復(fù)圖傳_產(chǎn)生單元140用例如表達(dá)式3和5所示的>^投影方 法及其簡(jiǎn)化類(lèi)型產(chǎn)生恢復(fù)圖像。
矩陣計(jì)算單元"I執(zhí)行計(jì)算將預(yù)定矩陣應(yīng)用于從再采樣單元132 輸出的更新信號(hào)(偽觀察圖1象1象素值和假設(shè)退化圖^U象素值之間的差值)， 并且輸出其計(jì)算結(jié)果到加法器142。這里，預(yù)定矩陣的例子包含表達(dá)式3 和5所示的矩陣(例如，矩陣入hT或矩陣a)。
加法器142將輸出自矩陣計(jì)算單元141的計(jì)算結(jié)果的值和構(gòu)成最近產(chǎn) 生的恢復(fù)圖像的每個(gè)像素位置的像素值(恢復(fù)圖像信號(hào))相加.接著，作為 相加結(jié)果的相加值作為恢復(fù)圖傳_信號(hào)被輸出到白平衡處理單元210。此 外，這個(gè)恢復(fù)圖像信號(hào)被用于產(chǎn)生下一恢復(fù)圖像信號(hào)，也就是說(shuō)，恢復(fù)圖 像產(chǎn)生單元140更新最近產(chǎn)生的恢復(fù)圖像并且產(chǎn)生新恢復(fù)圖像。注意，例 如，其分辨，已經(jīng)從觀察圖像進(jìn)行轉(zhuǎn)換、首先輸入到恢復(fù)處理單元100
下面參照附圖描述根據(jù)本發(fā)明實(shí)施例的成像設(shè)備10的操作。圖15
的j;;^呈解了根據(jù)本發(fā)明實(shí)施例的圖像處理電路23的過(guò)程。
在循環(huán)L901中，針對(duì)從A/D轉(zhuǎn)換電路22順序輸出的幀(鑲嵌圖像)， 每次一個(gè)幀地重復(fù)步驟S902至S907和S910的處理，直到?jīng)]4后續(xù)的幀。
2 7首先，圖像處理電路23讀出其內(nèi)部圖<詩(shī)儲(chǔ)器中存儲(chǔ)的一個(gè)幀(鑲嵌 圖像)(步驟S902)。
接著，恢復(fù)處理單元100執(zhí)行恢復(fù)處理以恢復(fù)讀取的鑲嵌圖像的光學(xué) 退化和傳感器退化(步驟S910)。注意，參考圖16詳細(xì)描述這個(gè)恢復(fù)處理。
接著，白平衡處理單元210針對(duì)經(jīng)過(guò)恢復(fù)處理的鑲嵌圖像執(zhí)行白平衡 處理(步驟S903)。去鑲嵌處理單元220針對(duì)經(jīng)過(guò)白平衡處理的鑲嵌圖像執(zhí) 行去鑲嵌處理，以產(chǎn)生包含每個(gè)像素位置處的R、 G和B的全部信息的 RGB圖像(步驟S卯4)。伽瑪校正處理單元230針對(duì)RGB圖像執(zhí)行伽瑪校 正處理(步驟S905)。 YC轉(zhuǎn)換處理單元240將經(jīng)過(guò)伽瑪校正的RGB圖像 轉(zhuǎn)換成Y-圖像和C-圖像(步驟S906),為了顯示到顯示單元42或記錄到存 儲(chǔ)器32而輸出Y-圖像和C-圖像(步猓S907)。接著，如果沒(méi)有后續(xù)的幀輸 入，則結(jié)束圖像處理電路23的操作。
圖16的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元100的恢復(fù) 處理(圖15中的步驟S910)的過(guò)程。注意，這個(gè)例子示例了以4象素為增量 執(zhí)^f亍一 系列恢復(fù)處理的情形。
首先，恢復(fù)處理單元100輸入從圖像處理電路23的內(nèi)部圖像存儲(chǔ)器 讀出的鑲嵌圖像(觀察圖像)，和從恢復(fù)圖像產(chǎn)生單元140輸出的鑲嵌圖像 (恢復(fù)圖像)(步驟S911)。
接著，在循環(huán)L912中，針對(duì)觀察圖像和恢復(fù)圖像(兩個(gè)鑲嵌圖像)的 每個(gè)感興趣像素執(zhí)行循環(huán)L913，步驟S960和S970的處理。此外，在循 環(huán)L913中，針對(duì)觀察圖像和恢復(fù)圖像(兩個(gè)鑲嵌圖像)的每個(gè)感興趣像素， 每四個(gè)目標(biāo)通道執(zhí)行步驟S930和S940的處理。
在循環(huán)L913中，首先，假設(shè)退化圖像像素值計(jì)算單元110執(zhí)行假設(shè) 退化圖像像素值計(jì)算處理以針對(duì)恢復(fù)圖像的感興趣像素計(jì)算假設(shè)退化圖 像像素值(步驟S930)。參考圖17詳細(xì)描述這個(gè)假設(shè)退化圖像像素值計(jì)算 處理。注意，步驟S930是實(shí)現(xiàn)本發(fā)明特性的假設(shè)退化圖像像素值計(jì)算過(guò) 程的例子。
接著，偽觀察圖像像素值計(jì)算單元120執(zhí)行偽觀察圖像像素值計(jì)算處 理以針對(duì)觀察圖像的感興趣像素計(jì)算偽觀察圖像像素值(步驟S940)。參考 圖18詳細(xì)描述這個(gè)偽觀察圖像像素值計(jì)算處理。注意，步取S940是實(shí)現(xiàn) 本發(fā)明特性的偽目標(biāo)圖像像素值計(jì)算過(guò)程的例子。重復(fù)循環(huán)L913,直到
Li殳ig/f匕圖《象^f象素值和偽，見(jiàn)察圖4象4象素值的刮
28束。在針對(duì)四個(gè)目標(biāo)通道的假設(shè)退化圖像像素值和偽觀察圖像像素值的計(jì)
算已經(jīng)結(jié)束的情況下，循環(huán)L913結(jié)束，并且處理前進(jìn)到步驟S960。
接著，更新信號(hào)計(jì)算單元130執(zhí)行更新信號(hào)計(jì)算處理以基于假設(shè)退化 圖像像素值和偽觀察圖像像素值計(jì)算更新信號(hào)(步驟S960)。參考圖20詳 細(xì)描述這個(gè)更新信號(hào)計(jì)算處理。
接著，恢復(fù)圖像產(chǎn)生單元140執(zhí)行恢復(fù)圖像產(chǎn)生處理以更新恢復(fù)圖像 并且基于恢復(fù)圖像信號(hào)和更新信號(hào)產(chǎn)生新恢復(fù)圖像(步驟S970)。參考圖 21詳細(xì)描述這個(gè)恢復(fù)圖4象產(chǎn)生處理。注意，步驟S970是實(shí)現(xiàn)本發(fā)明特性 的恢復(fù)圖像產(chǎn)生過(guò)程的例子。
重復(fù)循環(huán)L912,直到針對(duì)每個(gè)感興趣〗象素結(jié)束恢復(fù)圖像產(chǎn)生處理。 在針對(duì)每個(gè)感興趣像素已經(jīng)結(jié)束恢復(fù)圖像產(chǎn)生處理的情況下，結(jié)束循環(huán) L912，并且處理前進(jìn)到步驟S914。
接著，恢復(fù)處理單元100輸出新恢復(fù)圖像到白平衡處理單元210(步驟 S914)。注意，這個(gè)例子示例了以《象素為增量執(zhí)行一系列恢復(fù)處理的情形， 但是可以以幀為增量來(lái)執(zhí)行恢復(fù)處理。
圖17的流程解了根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算 單元110的假設(shè)退化圖像像素值計(jì)算處理(圖16中的步驟S930)的過(guò)程。
首先，乘積和單元112輸入從恢復(fù)圖像產(chǎn)生單元140輸出的恢復(fù)圖像 的感興趣4象素和與感興趣像素鄰近的每個(gè)像素的像素值(步驟S931).
接著，在恢復(fù)圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素中， 乘積和單元112使用目標(biāo)通道的模糊矩陣以獲得乘積和，并且計(jì)算其感興 趣像素位置處的假設(shè)退化圖像像素值(步驟S932)。
接著，再采樣單元113將假設(shè)退化圖像像素值再采樣到感興趣像素位 置(步驟S933)，并且輸出再采樣的假設(shè)退化圖像像素值到更新信號(hào)計(jì)算單 元130(步躁S934)。
圖18的流程解了根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單 元120的偽觀察圖像像素值計(jì)算處理(圖16中的步驟S940)的過(guò)程。
首先，通道確定單元121輸入從圖像處理電路23的內(nèi)部圖M儲(chǔ)器 讀出的觀察圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素的像素值 (步驟S941)。
接著，通道確定單元121確定觀察圖像的感興趣像素的通道和目標(biāo)通道是否相同(步驟S942)。在確定觀察圖像的感興趣像素的通道和目標(biāo)通道 的通ii^目同步驟S942)的情況下，通道確定單元121將觀察圖像的感興趣 像素的像素值作為偽觀察圖像像素值輸出到更新信號(hào)計(jì)算單元130(步驟 S943)。另一方面，在確定觀察圖像的感興趣像素的通道和目標(biāo)通道不相 同(步驟S942)的情況下，觀察圖像像素轉(zhuǎn)換單元122執(zhí)行觀察圖傳^象素轉(zhuǎn) 換處理以將其感興趣像素的像素值轉(zhuǎn)換成偽觀察圖像像素值(步驟S950)。 參考圖19詳細(xì)描述這個(gè)觀察圖像像素轉(zhuǎn)換處理。接著，獲得的偽觀察圖 像^f象素值被輸出到更新信號(hào)計(jì)算單元130(步驟S944)。
圖19的流程解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元 122的觀察圖像像素轉(zhuǎn)換處理(圖18中的步驟S950)的過(guò)程。
首先，觀察圖像像素轉(zhuǎn)換單元122輸入^Jt道確定單元121輸出的觀 察圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素的像素值(步驟 S951)。
接著，空間低頻分量計(jì)算單元123和127對(duì)計(jì)算范圍中包含的目標(biāo)通 道的HL素值應(yīng)用低頻通過(guò)濾波器(LPF)，并且計(jì)算感興趣4象素位置處目標(biāo) 通道的空間低頻分量(步驟S952)。
接著，空間低頻分量計(jì)算單元126對(duì)計(jì)算范圍中包含的參考通道的4象 素值應(yīng)用低頻通過(guò)濾波器，并且計(jì)算感興趣像素位置處參考通道的空間低 頻分量(步驟S953)。
接著，除法器128將感興趣像素位置處目標(biāo)通道的空間低頻分量除以 感興趣像素位置處參考通道的空間低頻分量以計(jì)算參考通道的空間高頻 分量的比例系數(shù)(步驟S954)。
接著，空間高頻分量計(jì)算單元124計(jì)算感興趣i象素位置處參考通道的 空間低頻分量和感興趣像素的參考通道R的像素值之間的差值，以計(jì)算 感興趣像素位置處參考通道的空間高頻分量(步驟S955)。
接著，偽觀察圖像像素值計(jì)算單元129計(jì)算感興趣像素位置處的偽觀 察圖像像素值(步驟S956)。也就是說(shuō)，在感興趣像素位置處，目標(biāo)通道的 空間低頻分量、參考通道的空間高頻分量、參考通道的空間高頻分量的比 例系數(shù)被用于計(jì)算其位置處的偽觀察圖像像素值。
接著，偽觀察圖像像素值計(jì)算單元129輸出獲得的偽觀察圖像像素值 到更新信號(hào)計(jì)算單元130(步驟S957)。
圖20的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元130的
30更新信號(hào)計(jì)算處理(圖16中的步驟S960)的過(guò)程。
首先，減法器131輸入針對(duì)感興趣像素位置計(jì)算的假設(shè)退化圖傳J象素 值和偽觀察圖像像素值(步驟S961)。接著，減法器131針對(duì)每個(gè)目標(biāo)通道 從偽觀察圖像像素值中減去假設(shè)退化圖像像素值以計(jì)算每個(gè)目標(biāo)通道的 差值(步驟S962)。也就是說(shuō)，針對(duì)假設(shè)退化圖像像素值和偽觀察圖像像素 值計(jì)算每個(gè)目標(biāo)通道的差值，其中所述假設(shè)退化圖像像素值和偽觀察圖像
像素值是針對(duì)一個(gè)感興趣像素位置每四個(gè)目標(biāo)通道計(jì)算的。
接著，再采樣單元132從感興趣像素位置到恢復(fù)圖像的像素位置對(duì)針 對(duì)每個(gè)目標(biāo)通iUt得的差值進(jìn)行再采樣(步驟S963)。接著，再采樣單元 132將再采樣到恢復(fù)圖像的像素位置的差值作為更新信號(hào)輸出到恢復(fù)圖 像產(chǎn)生單元140(步驟S964)。
圖21的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元140的 恢復(fù)圖像產(chǎn)生處理(圖16中的步驟S970)的過(guò)程。
首先，矩陣計(jì)算單元141輸入從再采樣單元132輸出的更新信號(hào)(步 驟S971)，并且執(zhí)行計(jì)算以將預(yù)定陣列應(yīng)用到更新信號(hào)(步驟S972)。
接著，加法器142將從矩陣計(jì)算單元141輸出的計(jì)算結(jié)果的值與最近 產(chǎn)生的恢復(fù)圖像的恢復(fù)圖像信號(hào)相加(步驟S973)。接著，加法器142將相 加值，即相加結(jié)果作為恢復(fù)圖像信號(hào)輸出到白平衡處理單元210(步驟 S974)。
迄今為止針對(duì)例子進(jìn)行了描述，其中關(guān)注點(diǎn)在于通道之間存在涉及像 素值改變的相關(guān)性，并且基于這種通道之間涉及像素值改變的相關(guān)性來(lái)估 計(jì)感興趣像素位置處目標(biāo)通道的4象素值。下面針對(duì)例子進(jìn)行描述，其中關(guān) 注點(diǎn)在于在通道之間存在涉及像素值改變的相關(guān)性，并且在線(xiàn)性逼近這種 通道之間的相關(guān)性后，由感興趣像素位置處參考通道的像素值估計(jì)目標(biāo)通 道的像素值。
圖22的圖例圖解了表示'有e關(guān)感興趣像素和與感興趣像素鄰近的每， 子。對(duì)于圖22所示的像素值分布曲線(xiàn)圖，水平軸表示目標(biāo)通道的4象素值，
近的像素，用黑圓表示目標(biāo)通道和參考通道的鄰近兩個(gè)像素的像素值的對(duì) 應(yīng)位置。下面參照?qǐng)D23詳細(xì)描述圖22。
圖23是圖解根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單元400的
。此外，對(duì)于感興趣像素和與感興趣^f象素鄰功能配置例子的^^塊圖。偽觀察圖像像素值計(jì)算單元400包含圖5所示的 恢復(fù)處理單元100而不是偽觀察圖像像素值計(jì)算單元120，并且是偽觀察 圖像像素值計(jì)算單元120的修改。注意，恢復(fù)處理單元100的其它配置沒(méi) 有改變，因此這里只描述偽觀察圖像像素值計(jì)算單元400，有關(guān)恢復(fù)處理 單元100的其它配置的描述被省略。此外，偽觀察圖〗象像素值計(jì)算單元 400是實(shí)現(xiàn)本發(fā)明特性的偽目標(biāo)圖像像素值計(jì)算單元的例子。
素轉(zhuǎn)換單乂402。注意，通道確定單元401通常與圖;O所示的4道確定 單元121相同，因此會(huì)以不同于通道確定單元121的方面為中心來(lái)進(jìn)行描 述，并且省略有關(guān)共同點(diǎn)的描述。
通道確定單元401確定感興趣像素的通道和目標(biāo)通道是否相同。在確
定感興趣〗象素的通道和目標(biāo)通道相同的情況下，其感興趣像素的像素值作
為偽觀察圖像像素值被輸出到更新信號(hào)計(jì)算單元130。另一方面，在確定
感興趣像素的通道和目標(biāo)通道不相同的情況下，通道確定單元401將感興 趣像素和與感興趣4象素鄰近的每個(gè)像素中目標(biāo)通道的^^素值輸出到像素
分布線(xiàn)性逼近單元403。此外，通道確定單元401將感興趣像素和與感興 趣像素鄰近的每個(gè)像素中感興趣像素的通道(參考通道)的像素值輸出到 像素分布線(xiàn)性逼近單元403和《象素值估計(jì)單元404。
計(jì)單元404。
、 一 、 -''' 一 、
像素分布線(xiàn)性逼近單元403針對(duì)感興^M象素和與感興趣〗象素鄰近的 每個(gè)像素的像素值產(chǎn)生目標(biāo)通道和參考通道之間的像素值分布，并且基于 這種像素值分布計(jì)算線(xiàn)性逼近直線(xiàn)的表示。具體地，針對(duì)感興^^象素和與 感興趣像素鄰近的每個(gè)像素的像素值，順序畫(huà)出目標(biāo)通道和參考通道的兩 個(gè)鄰近像素，并且如圖22所示，順序產(chǎn)生表示兩個(gè)像素的像素值的對(duì)應(yīng) 位置的像素值分布。接著，基于產(chǎn)生的像素值分布計(jì)算逼近直線(xiàn)。例如， 在像素值如圖22所示分布的情況下，通過(guò)計(jì)算獲得線(xiàn)性逼近直線(xiàn)410。
像素值估計(jì)單元404用觀察圖像的感興趣像素的像素值(參考通道的 像素值)替代像素分布線(xiàn)性逼近單元403計(jì)算和獲得的逼近直線(xiàn)表示，以 計(jì)算對(duì)應(yīng)目標(biāo)通道的像素值，并且接著將通過(guò)逼近直線(xiàn)表示獲得的目標(biāo)通 道的像素值作為感興趣像素位置的偽觀察圖像像素值輸出到更新信號(hào)計(jì) 算單元130。例如，在感興趣像素的像素值是圖22所示的I'(p)的情況下， 將I'(p)的值計(jì)算和獲得為目標(biāo)通道的像素。圖24和25的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察 圖像像素值計(jì)算單元400的觀察圖像。注意，圖24和25所示的《象素陣列 與圖11和12所示的觀察圖像的像素陣列相同。此外，以和圖11和12所 示的觀察圖IN目同的方式，用粗圃表示感興趣像素，并且用帶陰影線(xiàn)圓表 示目標(biāo)通道的4象素。圖24圖解了由感興趣像素421和鄰近感興趣4象素421 的每個(gè)像素構(gòu)成的觀察圖像420。此外，圖24示例了 R通道被作為感興 趣像素421的通道(參考通道)并且通道Gr被作為目標(biāo)通道的情形。
對(duì)于圖24所示的例子，感興趣〗象素421的通道R和目標(biāo)通道Gr不 相同。因此，在與感興趣像素421鄰近的每個(gè)像素中，目標(biāo)通道Gr的像 素值被輸出到像素分布線(xiàn)性逼近單元403。此外，在感興趣像素421和與 感興趣像素鄰近的每個(gè)像素中，參考通道R的像素值被輸出到像素分布 線(xiàn)性逼近單元403和^f象素值估計(jì)單元404。
接著，1象素分布線(xiàn)性逼近單元403畫(huà)出在像素值分布逼近直線(xiàn)計(jì)算范 圍422(用實(shí)線(xiàn)矩形表示的范圍)中包含的一組目標(biāo)通道Gr的像素和參考 通道R的像素。例如，如圖24所示，畫(huà)出相互鄰近的目標(biāo)通道Gr和參 考通道R的兩個(gè)i象素的組。注意，圖24通過(guò)用虛線(xiàn)矩形圍繞兩個(gè)畫(huà)出的 像素來(lái)圖解這些像素。注意，可以進(jìn)行這樣的安排計(jì)算范圍422中包含 的目標(biāo)通道Gr的像素和參考通道R的像素之一被插值到另 一個(gè)的像素位 置，并且在這個(gè)像素位置處產(chǎn)生一組像素值。接著，像素分布線(xiàn)性逼近單 元403針對(duì)如此畫(huà)出的兩個(gè)像素產(chǎn)生參考通道和目標(biāo)通道之間的〗象素值 分布，并且基于這種像素值分布計(jì)算線(xiàn)性逼近直線(xiàn)的表示。
接著，像素值估計(jì)單元404用感興趣像素421的像素值(參考通道R 的像素值)替代4象素分布線(xiàn)性逼近單元403計(jì)算和獲得的逼近直線(xiàn)的表示， 以計(jì)算目標(biāo)通道Gr的像素值，并且接著輸出感興趣像素421的位置處的 偽觀察圖像像素值到更新信號(hào)計(jì)算單元130。
圖25圖解了由感興趣像素431和鄰近感興趣像素431的每個(gè)像素構(gòu) 成的觀察圖像430。此外，圖25示例了通道Gb被作為感興^^象素431 的通道(參考通道)并且通道Gr被作為目標(biāo)通道的情形。注意，這個(gè)例子 是圖24的修改，并且要畫(huà)出的兩個(gè)像素的組不同于圖24中的組。因此， 涉及與圖24共同的部分的描述被省略，并且下面以不同于圖24的部分為 中心來(lái)進(jìn)行描述.
對(duì)于圖25所示的例子，感興趣像素431的通道Gb和目標(biāo)通道Gr 不相同.因此，在與感興趣像素431鄰近的每個(gè)像素中，目標(biāo)通道Gr的像素值被輸出到像素分布線(xiàn)性逼近單元403。此外，在感興趣1象素431和 與感興趣像素鄰近的每個(gè)像素中，參考通道Gb的像素值被輸出到像素分 布線(xiàn)性逼近單元403和〗象素值估計(jì)單元404。
接著，像素分布線(xiàn)性逼近單元403畫(huà)出在4象素值分布逼近直線(xiàn)計(jì)算范 圍432(用實(shí)線(xiàn)矩形表示的范圍)中包含的一組目標(biāo)通道Gr的4象素和參考 通道Gb的像素。例如，如圖25所示，畫(huà)出相互鄰近的目標(biāo)通道Gr和參 考通道Gb的兩個(gè)〗象素的組。圖25通過(guò)用虛線(xiàn)矩形圍繞兩個(gè)畫(huà)出的〗象素 來(lái)圖解這些像素。注意，可以進(jìn)行這樣的安排計(jì)算范圍432中包含的目 標(biāo)通道Gr的像素和參考通道Gb的像素之一被插值到另 一個(gè)的4象素位置， 并且在這個(gè)像素位置處產(chǎn)生一組像素值。接著，像素分布線(xiàn)性逼近單元 403針對(duì)如此畫(huà)出的兩個(gè)像素產(chǎn)生參考通道和目標(biāo)通道之間的l象素值分 布，并且基于這種像素值分布計(jì)算線(xiàn)性逼近直線(xiàn)的表示。接著，以和圖 24中相同的方式，像素值估計(jì)單元404用感興趣像素431的像素值(參考 通道Gb的像素值)替代像素分布線(xiàn)性逼近單元403計(jì)算和獲得的逼近直 線(xiàn)的表示，以計(jì)算目標(biāo)通道Gr的像素值，并且接著輸出感興趣像素431 的位置處的偽觀察圖像像素值到更新信號(hào)計(jì)算單元130。
圖26的流程解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元 402的觀察圖像像素轉(zhuǎn)換處理的過(guò)程。這個(gè)觀察圖傳J象素轉(zhuǎn)換處理是要取 代圖18所示的步驟S950而執(zhí)行的處理，并且有關(guān)圖18所示的其它處理 的描述被省略。
首先，觀察圖像像素轉(zhuǎn)換單元402輸入M道確定單元401輸出的觀 察圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素的像素值(步驟 S981)。
接著，像素分布線(xiàn)性逼近單元403畫(huà)出在計(jì)算范圍中包含的一組貝標(biāo) 通道的像素和參考通道的像素，基于這些像素的組產(chǎn)生像素值分布，并且 基于這個(gè)像素值分布計(jì)算線(xiàn)性逼近直線(xiàn)的表示(步驟S982)。
接著，像素值估計(jì)單元404用感興趣像素的像素值替代逼近直線(xiàn)的表 示以計(jì)算感興趣像素位置處目標(biāo)通道的像素值(步驟S983)，并且接著將所 獲得的感興趣像素位置處目標(biāo)通道的像素值作為偽觀察圖像像素值輸出 到更新信號(hào)計(jì)算單元130(步驟S984)。
在圖23至26中，已經(jīng)針對(duì)例子進(jìn)行了描述，其中關(guān)注點(diǎn)在于在通道 之間存在涉及像素值改變的相關(guān)性，并且在線(xiàn)性逼近這種通道之間的相關(guān)性后，由感興趣像素位置處參考通道的像素值估計(jì)目標(biāo)通道的像素值。下 面針對(duì)例子進(jìn)行描述，其中交叉雙邊濾波器被用來(lái)估計(jì)感興趣^象素位置處 目標(biāo)通道的像素值。
圖27A和27B的圖例圖解了像素值軸權(quán)重函數(shù)LUT(查找表)和空間 軸權(quán)重函數(shù)LUT的例子。圖27A圖解了像素值軸權(quán)重函數(shù)LUT的例子， 圖27B圖解了空間軸權(quán)重函數(shù)LUT的例子。
像素值軸權(quán)重函數(shù)LUT是表示觀察圖像的不同兩個(gè)像素的^象素值的 差值與關(guān)于這個(gè)差值的權(quán)重(^間的關(guān)系的LUT?？臻g軸權(quán)重函數(shù)LUT 是表示觀察圖像的兩個(gè)像素之間的距離與關(guān)于這個(gè)距離的權(quán)重co^間的 關(guān)系的LUT。這里，作為用于獲得權(quán)重(j)或CD的函數(shù)，期望使用具有單調(diào) 減少特性、當(dāng)自變量越小時(shí)返回越大的值的函數(shù)。注意，參考圖28詳細(xì) 描述圖27A和27B所示的函數(shù)。
圖28是圖解根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算單元500的 功能配置例子的模塊圖。偽觀察圖像^象素值計(jì)算單元500包含圖5所示的 恢復(fù)處理單元100而不是偽觀察圖像像素值計(jì)算單元120，并且^1偽觀察 圖傳J象素值計(jì)算單元120的修改。注意，恢復(fù)處理單元100的其它配置沒(méi) 有改變，因此這里只描述偽觀察圖像像素值計(jì)算單元500,有關(guān)恢復(fù)處理 單元100的其它配置的描述被省略。此外，偽觀察圖像像素值計(jì)算單元 500是實(shí)現(xiàn)本發(fā)明特性的偽目標(biāo)圖像像素值計(jì)算單元的例子。
偽觀察圖像像素值計(jì)算單元500包^if道確定單元501和觀察圖傳J象 素轉(zhuǎn)換單元502。注意，通道確定單元501通常與圖IO所示的通道確定 單元121相同，因此會(huì)以不同于通道確定單元121的方面為中心來(lái)進(jìn)行描 述，并且省略有關(guān)共同點(diǎn)的描述。
通道確定單元501確定感興趣像素的通道和目標(biāo)通道是否相同。在確 定感興趣像素的通道和目標(biāo)通道相同的情況下，其感興趣像素的《象素值作 為偽觀察圖像像素值被輸出到更新信號(hào)計(jì)算單元130。另一方面，在確定 感興趣像素的通道和目標(biāo)通道不相同的情況下，通道確定單元501將感興 趣像素和與感興趣像素鄰近的每個(gè)像素中目標(biāo)通道的像素值輸出到插值
單元508。此外，通道確定單元501將感興趣〗象素的位置和與感興趣《象素 鄰近的參考通道的像素的位置輸出到減法器505，并且進(jìn)一步將感興趣像 素的像素值和與感興趣像素鄰近的參考通道的像素的像素值輸出到減法 器506。
35觀察圖像像素轉(zhuǎn)換單元502包含像素值軸權(quán)重函數(shù)LUT保持單元 503、空間軸權(quán)重函數(shù)LUT保持單元504、減法器505和506、乘積和單 元507和509、插值單元508和除法器510。
像素值軸權(quán)重函數(shù)LUT保持單元503保持用于乘積和單元507和509 的乘積和處理的像素值軸權(quán)重函數(shù)LUT，并且提,持的像素值軸權(quán)重 函數(shù)LUT到乘積和單元507和509。例如，保持圖27A所示的像素值軸 權(quán)重函數(shù)LUT。
空間軸權(quán)重函數(shù)LUT保持單元504保持用于乘積和單元507和509 的乘積和處理的空間軸權(quán)重函數(shù)LUT，并且提#^持的空間軸權(quán)重函數(shù) LUT到乘積和單元507和509。例如，保持圖27B所示的空間軸權(quán)重函 數(shù)LUT。
減法器505執(zhí)行感興趣〗象素的位置和與感興趣《象素鄰近的參考通道 的像素的位置之間的減法處理，以計(jì)算感興趣像素的位置和與感興趣像素 鄰近的參考通道的像素的位置之間的距離，并且輸出距離到乘積和單元 507和509。
減法器506執(zhí)行感興趣像素的像素值和與感興趣像素鄰近的參考通 道的像素的像素值之間的減法處理，以計(jì)算感興趣像素的像素值和與感興 趣像素鄰近的參考通道的像素的像素值之間的差值，并且輸出差值到乘積 和單元507和509。
乘積和單元507針對(duì)從減法器506輸出的差值和從減法器505輸出的 距離執(zhí)行乘積和處理，并且輸出作為乘積和結(jié)果的乘積和值到除法器 510。具體地，針對(duì)鄰近感興趣像素的參考通道的每個(gè)像素，乘積和單元 507使用像素值軸權(quán)重函數(shù)LUT保持單元503處保持的像素值軸權(quán)重函 數(shù)LUT獲得對(duì)應(yīng)于從減法器506輸出的差值的權(quán)重傘。此外，乘積和單元 507使用空間軸權(quán)重函數(shù)LUT保持單元504處保持的空間軸權(quán)重函數(shù) LUT獲得對(duì)應(yīng)于從減法器505輸出的距離的權(quán)重 ，接著計(jì)算對(duì)應(yīng)于鄰近 感興趣像素的參考通道的每個(gè)像素的權(quán)重(J)和權(quán)重o之間的乘積和。注意， 乘積和單元507是實(shí)現(xiàn)本發(fā)明特性的第二乘積和單元的例子.
插值單元508在鄰近感興趣像素的參考通道的每個(gè)像素的位置處對(duì) 目標(biāo)通道的兩個(gè)像素的像素值進(jìn)行插值處理，并且輸出作為插值處理結(jié)果 的插入值到積分器509。這個(gè)插值處理是將和鄰近感興趣像素的參考通道
刮乘積和單元509針對(duì)從減法器506輸出的差值，從減法器505輸出的 距離和從插值單元508輸出的插入值執(zhí)行乘積和處理，并且輸出作為乘積 和結(jié)果的乘積和值到除法器510。具體地，以和乘積和單元507相同的方 式，乘積和單元509獲得對(duì)應(yīng)于鄰近感興趣〗象素的參考通道的每個(gè)〗象素的 權(quán)重<|)和權(quán)重 。接著，乘積和單元509計(jì)算對(duì)應(yīng)于鄰近感興趣像素的參 考通道的每個(gè)像素的權(quán)重(J)和權(quán)重(D以及從插值單元508輸出的插入值之 間的乘積和。注意，乘積和單元509是實(shí)現(xiàn)本發(fā)明特性的第一乘積和單元 的例子。
除法器510將從乘積和單元509輸出的乘積和除以從乘積和單元507 輸出的乘積和，并且將作為除法結(jié)果的除法值作為偽觀察圖4象像素值輸出 到更新信號(hào)計(jì)算單元130。注意，除法器510是實(shí)現(xiàn)本發(fā)明特性的偽目標(biāo) 圖傳J象素值計(jì)算單元的例子。
如上所述，觀察圖像像素轉(zhuǎn)換單元502使用表達(dá)式11所示的交叉雙 邊濾波器，才艮據(jù)鄰近感興趣^象素的參考通道的1象素值I'(p)估計(jì)感興趣像 素的目標(biāo)通道的像素值Ip^d。(Pc)。注意，在表達(dá)式ll中，令鄰近感興趣
像素的計(jì)算范圍為計(jì)算范圍a計(jì)算范圍n中包含的參考通道的每個(gè)像素
的位置為位置P，感興趣〗象素的位置為位置Pe。此外，令以感興趣像素和
計(jì)算范圍Q中包含的參考通道的每個(gè)像素的像素值的差作為自變量的權(quán) 重函數(shù)為(|),并且以計(jì)算范圍O中包含的參考通道的每個(gè)像素的位置p與 感興趣像素位置pe的距離作為自變量的權(quán)重函數(shù)為CD。
表達(dá)式11
圖29和30的圖例示意性圖解了要輸入到根據(jù)本發(fā)明實(shí)施例的偽觀察 圖像像素值計(jì)算單元500的觀察圖像。注意，圖29和30所示的像素陣列 與圖11和12所示的觀察圖像的像素陣列相同。以和圖11和12所示的觀 察圖像相同的方式，用粗圓表示感興趣像素，并且用帶陰影線(xiàn)圓表示目標(biāo) 通道的像素。圖29圖解了由感興趣像素521(用粗圓表示)和鄰近感興趣像 素521的每個(gè)像素構(gòu)成的觀察圖像520。此外，圖29示例了通道R被作
37為感興趣像素521的通道(參考通道)并且通道Gr被作為目標(biāo)通道的情形。
對(duì)于圖29所示的例子，感興趣像素521的通道R和目標(biāo)通道Gr不 相同。因此，在與感興趣像素521鄰近的每個(gè)像素中，目標(biāo)通道Gr的像 素值被輸出到插值單元508。此外，感興趣《象素521的位置和與感興趣像 素鄰近的參考通道R的像素的位置祐j渝出到減法器505。進(jìn)一步地，感興 趣像素521的像素值和與感興趣像素鄰近的參考通道R的像素的像素值 被輸出到減法器506。
接著，減法器506計(jì)算感興趣像素521的像素值和作為計(jì)算范圍 540(用實(shí)線(xiàn)矩形表示的范圍)中包含的參考通道R的像素之一的像素523 的像素值之間的差值。接著，乘積和單元507和509使用像素值軸權(quán)重函 數(shù)LUT保持單元503處保持的像素值軸權(quán)重函數(shù)LUT獲得對(duì)應(yīng)于感興趣 像素521的像素值和像素523的像素值之間的差值的權(quán)重f
接著，減法器505計(jì)算感興^M象素521的位置和作為計(jì)算范圍540 中包含的參考通道R的像素之一的像素523的位置之間的距離。接著， 乘積和單元507和509使用空間軸權(quán)重函數(shù)LUT保持單元504處保持的 空間軸權(quán)重函數(shù)LUT獲得對(duì)應(yīng)于感興趣像素521的位置和像素523的位
置之間的距離的權(quán)重(D。
接著，插值單元508在充當(dāng)計(jì)算目標(biāo)的像素523的位置處對(duì)目標(biāo)通道 Gr的兩個(gè)像素522和525的像素值進(jìn)行插值處理.這個(gè)插值處理是將鄰 近充當(dāng)計(jì)算目標(biāo)的像素523的目標(biāo)通道Gr的兩個(gè)像素522和525的像素 值相加以計(jì)算均值的處理。
接著，乘積和單元509計(jì)算對(duì)應(yīng)于感興趣像素521和像素523之間的 差值的權(quán)重(|)，對(duì)應(yīng)于感興趣像素521和像素523之間的距離的權(quán)重co， 和通過(guò)插值處理獲得的插入值之間的乘積和。接著，乘積和單元507計(jì)算 對(duì)應(yīng)于感興^M象素521和像素523之間的差值的權(quán)重(j)，和對(duì)應(yīng)于感興趣 像素521和像素523之間的距離的權(quán)重co之間的乘積和。如上所述，針對(duì) 計(jì)算范圍540中包含的參考通道R的每個(gè)像素按順序執(zhí)行乘積和單元507 和509的乘積和處理。這個(gè)順序的例子包含例如圖29所示的箭頭524指 示的〗象素523、 526、 528、 530、 532等等的順序(光柵順序)。
接著，除法器510將從乘積和單元509輸出的乘積和值除以從乘積和 單元507輸出的乘積和。作為除法結(jié)果的除法值作為感興趣像素521的位 置處的偽觀察圖像像素值被輸出到更新信號(hào)計(jì)算單元130。圖30圖解了由感興趣像素551(用粗圓表示)和鄰近感興趣像素551的 每個(gè)像素構(gòu)成的觀察圖像550。此外，圖30示例了通道Gb被作為感興趣 像素551的通道(參考通道)并且通道Gr被作為目標(biāo)通道的情形。注意， 這個(gè)例子是圖29的修改，并且參考通道不同于圖29中的參考通道。因此， 涉及與圖29共同的部分的描述被省略，并且下面以不同于圖29的部分為 中心來(lái)進(jìn)行描述。
對(duì)于圖30所示的例子，感興趣像素551的通道Gb和目標(biāo)通道Gr 不相同。因此，在與感興^^像素551鄰近的每個(gè)^象素中，目標(biāo)通道Gr的 像素值被輸出到插值單元508。此外，感興趣#>素551的位置和與感興趣 4象素鄰近的參考通道Gb的像素的位置被輸出到減法器505。進(jìn)一步地，
素值被輸出到減法器506。
接著，針以和圖29中相同的方式，對(duì)計(jì)算范圍570中包含的參考通 道Gb的每個(gè)^f象素按順序扭^行乘積和單元507和509的乘積和處理。這個(gè) 順序的例子包含例如圖30所示的箭頭554指示的像素553、 556、 558、 560、 562等等的順序(光柵順序)。接著，除法器510將從乘積和單元509 輸出的乘積和值除以從乘積和單元507輸出的乘積和值。作為除法結(jié)果的 除法值作為感興趣像素551的位置處的偽觀察圖像《象素值被輸出到更新 信號(hào)計(jì)算單元130。
圖31的流程解了根據(jù)本發(fā)明實(shí)施例的觀察圖像像素轉(zhuǎn)換單元 502的觀察圖像像素轉(zhuǎn)換處理的過(guò)程。這個(gè)觀察圖像像素轉(zhuǎn)換處理是要取 代圖18所示的步驟S950而執(zhí)行的處理，并且圖18所示的其它處理的描 述被省略。
首先，觀察圖像像素轉(zhuǎn)換單元502輸入從通道確定單元501輸出的觀 察圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素的像素值(步猓 SlOOl)。
接著，在循環(huán)L1002中，針對(duì)鄰近感興趣像素的參考通道的每個(gè)像 素執(zhí)行步驟S1003至S1009的處理。
首先，減法器506計(jì)算感興^M象素的《象素值和鄰近感興趣^象素的參考 通道的像素值之間的差值(步驟S1003)。接著，乘積和單元507和509使 用像素值軸權(quán)重函數(shù)LUT保持單元503處保持的像素值軸權(quán)重函數(shù)LUT 獲得對(duì)應(yīng)于感興趣像素和與感興趣像素鄰近的參考通道的像素之間的像素差值的權(quán)重(K步驟S1004)。
接著，減法器505計(jì)算感興趣像素的位置和鄰近感興趣像素的參考通 道的像素的位置之間的距離(步驟S1005)。接著，乘積和單元507和509 使用空間軸權(quán)重函數(shù)LUT保持單元504處保持的空間軸權(quán)重函數(shù)LUT 獲得對(duì)應(yīng)于感興趣像素和與感興趣像素鄰近的參考通道的像素之間的距 離的權(quán)重(D(步驟S1006)。接著，插值單元508在充當(dāng)計(jì)算目標(biāo)的參考通 道的像素的位置處對(duì)目標(biāo)通道的兩個(gè)像素的像素值進(jìn)行插值處理(步驟
51007) 。
接著，乘積和單元509計(jì)算對(duì)應(yīng)于像素差值的權(quán)重小，對(duì)應(yīng)于像素之 間的距離的權(quán)重G)，和通過(guò)插值處理獲得的插入值之間的乘積和(步驟
51008) 。接著，乘積和單元507計(jì)算對(duì)應(yīng)于像素差值的權(quán)重小和對(duì)應(yīng)于像 素之間的距離的權(quán)重o之間的乘積和(步驟S1009)。
重復(fù)循環(huán)L1002,直到針對(duì)鄰近感興趣像素的參考通道的每個(gè)像素結(jié) 束乘積和單元507和509的乘積和處理。在針對(duì)鄰近感興趣像素的參考通 道的每個(gè)^f象素已經(jīng)結(jié)束乘積和單元507和509的乘積和處理的情況下，循 環(huán)L1002結(jié)束，并且處理前進(jìn)到步驟SIOIO,
接著，除法器510將從乘積和單元509輸出的乘積和值除以從乘積和 單元507輸出的乘積和值(步驟SIOIO)，并且接著將感興趣像素位置處的 所獲得的除法值作為偽觀察圖像像素值輸出到更新信號(hào)計(jì)算單元130(步 驟SlOll)。
對(duì)于圖8所示的例子，已經(jīng)針對(duì)該例子進(jìn)行了描述，其中以級(jí)聯(lián)方式 進(jìn)行作為光學(xué)退化的再現(xiàn)的模糊矩陣和作為成像設(shè)備13引起的退化的再 現(xiàn)的再采樣的乘積和處理。下面將針對(duì)一個(gè)情況進(jìn)行描述針對(duì)對(duì)應(yīng)于要 再采樣的位置的模糊矩陣進(jìn)行乘積和處理，從而同時(shí)進(jìn)行乘積和和再采樣 處理.
圖32是圖解根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算單元600 的功能配置例子的模塊圖。假設(shè)退化圖像像素值計(jì)算單元600包^it道分 類(lèi)空間相位分類(lèi)模糊矩陣保持單元601和乘積和和再采樣單元602。注意， 假設(shè)退化圖像像素值計(jì)算單元600是圖8所示的假設(shè)退化圖像像素值計(jì)算 單元110的修改。
通道分類(lèi)空間相位分類(lèi)模糊矩陣保持單元601保持與作為觀察圖像 的感興趣像素位置的再采樣位置的相位對(duì)應(yīng)的空間相位分類(lèi)模糊矩陣，并說(shuō)
且提供所保持的空間相位分類(lèi)模糊矩陣到乘積和和再采樣單元602。
在恢復(fù)圖像的感興趣像素和與感興趣像素鄰近的像素中，乘積和和再 采樣單元602針對(duì)相同通道的像素值和通道分類(lèi)空間相位分類(lèi)模糊矩陣 保持單元601所保持的對(duì)應(yīng)于再采樣位置的相位的空間相位分類(lèi)模糊矩 陣進(jìn)行乘積和處理。根據(jù)這個(gè)乘積和，計(jì)算在其感興趣像素位置處再采樣 的假設(shè)退化圖像像素值，并且再采樣的假設(shè)退化圖像像素值被輸出到更新 信號(hào)計(jì)算單元130。
圖33的5^呈解了根據(jù)本發(fā)明實(shí)施例的假設(shè)退化圖像像素值計(jì)算 單元600的假設(shè)圖傳J象素值計(jì)算處理的過(guò)程。這個(gè)假設(shè)退化圖像像素值計(jì) 算處理是要取代圖16所示的步驟S930而執(zhí)行的處理，并且圖16所示的 其它處理的描述被省略。
首先，乘積和和再采樣單元602輸入從恢復(fù)圖像產(chǎn)生單元140輸出的 恢復(fù)圖像的感興趣像素和與感興趣像素鄰近的每個(gè)像素的像素值(步驟 S1021)。
接著，在恢復(fù)圖像的感興趣像素和與感興趣像素鄰近的像素中，乘積 和和再釆樣單元602針對(duì)與目標(biāo)通il^目同的通道的像素值和對(duì)應(yīng)于再采 樣位置的相位的空間相位分類(lèi)^^糊矩陣進(jìn)行乘積和處理(步驟S1022),并 且接著輸出再采樣的假設(shè)退化圖像像素值到更新信號(hào)計(jì)算單元130(步驟 S1023)。
接著，參考附圖詳細(xì)描述圖13所示的更新信號(hào)計(jì)算單元130的修改。
圖34是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元610的功能配置 例子的模塊圖'更新信號(hào)計(jì)算單元610包含減法器611、再采樣單元612、 帶通濾波單元613和定標(biāo)單元614。注意，減法器611和再采樣單元612 與圖13所示的減法器131和再采樣單元132相同，因此這里省略其描述。
帶通濾波單元613對(duì)再采樣的差值信號(hào)執(zhí)行帶通濾波處理以調(diào)整更 新信號(hào)的頻率特性，并且輸出頻率特性經(jīng)過(guò)調(diào)整的信號(hào)到定標(biāo)單元614。
定標(biāo)單元614執(zhí)行定標(biāo)處理以針對(duì)頻率特性經(jīng)過(guò)調(diào)整的信號(hào)對(duì)任意 常量進(jìn)行積分，并且將經(jīng)過(guò)定標(biāo)處理的信號(hào)作為更新信號(hào)輸出到恢復(fù)圖像 產(chǎn)生單元140。
這里，在比較更新信號(hào)計(jì)算單元610和更新信號(hào)計(jì)算單元130的情況 下，不同點(diǎn)在于更新信號(hào)計(jì)算單元610還針對(duì)偽觀察圖像像素值和假設(shè)退 化圖像像素值之間的差值執(zhí)行帶通濾波處理和定標(biāo)處理。例如，通過(guò)使用200910168597.X 說(shuō)明書(shū)第37/46頁(yè)
帶通濾波器能夠調(diào)整更新信號(hào)的頻率特性。例如，在存在有關(guān)成^U殳備 13的噪聲的空間頻段的特性的情況下，通過(guò)減少噪聲頻段的增益能夠抑 制噪聲的突出。此外，通過(guò)抑制低頻分量能夠降低輪廓部分(cont(mred portion)的例如過(guò)沖或下沖的退化。此外，通過(guò)執(zhí)行定標(biāo)處理能夠調(diào)整恢 復(fù)信號(hào)的強(qiáng)度。例如，在設(shè)置大的值的情況下，能夠改進(jìn)恢復(fù)效果，但是 在設(shè)置非常大的值的情況下，由于各個(gè)處理造成的某種退化在某些情況下 更加突出，因此需要以主觀圖像質(zhì)量調(diào)整強(qiáng)度。
注意，這個(gè)例子的處理順序是再采樣處理、帶通濾波處理和定標(biāo)處理， 但是這個(gè)順序可以改變。例如，在涉及分辨率轉(zhuǎn)換的情況下，當(dāng)在再采樣 處理之前執(zhí)行帶通濾波處理時(shí)，吞吐率降低，但是在由于恢復(fù)處理而發(fā)生 的退化的情況下，出現(xiàn)退化的空間傳播變大的情況。因此，重要的是j艮據(jù) 處理內(nèi)容適當(dāng)設(shè)置再采樣處理、帶通濾波處理和定標(biāo)處理的處理順序。此 外，帶通濾波處理和定標(biāo)處理中的任何一個(gè)可以應(yīng)用于更新信號(hào)計(jì)算單元 610。
圖35的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元610的 更新信號(hào)計(jì)算處理的過(guò)程。這個(gè)更新信號(hào)計(jì)算處理是要取代圖16所示的 步驟S960而執(zhí)行的處理，并且圖16所示的其它處理的描述3皮省略。此外， 步驟S1031至S1033與圖20所示的步驟S961至S963相同，因此這里省 略其描述。
帶通濾波單元613對(duì)再采樣單元612再采樣到恢復(fù)圖像的每個(gè)像素位 置的差值信號(hào)進(jìn)行帶通濾波處理，從而調(diào)整更新信號(hào)的頻率特性(步驟 S1(B4)。
接著，定標(biāo)單元614執(zhí)行定標(biāo)處理以針對(duì)頻率特性經(jīng)過(guò)調(diào)整的信號(hào)對(duì) 任意常量進(jìn)行積分(步驟S1035)，并且接著將經(jīng)過(guò)定標(biāo)處理的信號(hào)作為更 新信號(hào)輸出到恢復(fù)圖像產(chǎn)生單元140(步驟S1036)。
圖36是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元620的功能配置 例子的模塊圖。更新信號(hào)計(jì)算單元620包含除法器621和再采樣單元622。 注意，再采樣單元622與圖13所示的再采樣單元132相同，因此這里省 略其描述。此外，例如結(jié)合圖40所示的恢復(fù)圖像產(chǎn)生單元640來(lái)使用更 新信號(hào)計(jì)算單元620。
除法器621將從偽觀察圖像像素值計(jì)算單元120輸出的偽觀察圖像像 素值除以從假設(shè)退化圖像像素值計(jì)算單元110輸出的假設(shè)退化圖像像素值，并且輸出作為除法結(jié)果的除法值到再采樣單元622。
圖37的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元620的更新信號(hào)計(jì)算處理的過(guò)程。這個(gè)更新信號(hào)計(jì)算處理^:要取代圖16所示的步驟S960而執(zhí)行的處理，并且圖16所示的其它處理的描述被省略。
首先，除法器621輸入針對(duì)感興趣像素位置計(jì)算的假設(shè)退化圖像像素值和偽觀察圖像像素值(步驟S1041),并且接著針對(duì)每個(gè)目標(biāo)通道將偽觀察圖像像素值除以假設(shè)退化圖像像素值，以計(jì)算每個(gè)目標(biāo)通道的除法值(步驟S1042)。也就是說(shuō)，針對(duì)假設(shè)退化圖像像素值和偽觀察圖像像素值計(jì)算每個(gè)目標(biāo)通道的除法值，其中所述假設(shè)退化圖像像素值和偽觀察圖像Y象素值是針對(duì)一個(gè)感興趣像素位置每四個(gè)目標(biāo)通道計(jì)算的。
接著，再采樣單元132從感興趣像素位置到恢復(fù)圖像的每個(gè)像素位置對(duì)針對(duì)每個(gè)目標(biāo)通道獲得的除法值進(jìn)行再采樣(步驟S1043),并且接著將再采樣到恢復(fù)圖像的每個(gè)像素位置的除法值作為更新信號(hào)輸出到恢復(fù)圖像產(chǎn)生單元140(步驟S1044)。
圖38是圖解根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元630的功能配置例子的模塊圖。更新信號(hào)計(jì)算單元630包含除法器631、再采樣單元632、帶通濾波單元633和定標(biāo)單元634。注意，除法器631與圖36所示的除法器621相同，因此這里省略其描述。此外，再采樣單元632、帶通濾波單元633和定標(biāo)單元634也與圖34所示的再采樣單元612、帶通濾波單元613和定標(biāo)單元614相同，因此這里省略其描述。這個(gè)例子的處理順序^|_再采樣處理、帶通濾波處理和定標(biāo)處理，但是這個(gè)順序可以改變。此外，帶通濾波處理和定標(biāo)處理中的任何一個(gè)可以應(yīng)用于更新信號(hào)計(jì)算單元630。注意，例如結(jié)合圖40所示的恢復(fù)圖4象產(chǎn)生單元640來(lái)^f吏用更新信號(hào)計(jì)算單元630。
圖39的流程解了根據(jù)本發(fā)明實(shí)施例的更新信號(hào)計(jì)算單元630的更新信號(hào)計(jì)算處理的過(guò)程。這個(gè)更新信號(hào)計(jì)算處理是要取代圖16所示的步驟S960而執(zhí)行的處理，并且圖16所示的其它處理的描述被省略。此外，步驟S1051至S1053與圖37所示的步驟S1041至S1043相同，因此這里省略其描述。
帶通濾波單元633對(duì)再采樣單元632再采樣到恢復(fù)圖像的每個(gè)像素位置的差值信號(hào)進(jìn)行帶通濾波處理，從而調(diào)整更新信號(hào)的頻率特性(步驟S1054)。接著，定標(biāo)單元634執(zhí)行定標(biāo)處理以針對(duì)頻率特性經(jīng)過(guò)調(diào)整的信號(hào)對(duì)任意常量進(jìn)行積分(步驟S1055),并且接著將經(jīng)過(guò)定標(biāo)處理的信號(hào)作為更新信號(hào)輸出到恢復(fù)圖像產(chǎn)生單元140(步驟S1056)。
接著，參考附圖詳細(xì)描述圖14所示的恢復(fù)圖像產(chǎn)生單元140的修改。圖40是圖解M本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元640的功能配置例子的模塊圖?；謴?fù)圖像產(chǎn)生單元640包含矩陣計(jì)算單元641和積分器642。注意，恢復(fù)圖像產(chǎn)生單元640用例如表達(dá)式4和6所示的Lucy Richardson方法及其簡(jiǎn)化類(lèi)型產(chǎn)生恢復(fù)圖像。
矩陣計(jì)算單元641執(zhí)行計(jì)算以對(duì)從再采樣單元132輸出的更新信號(hào)(偽觀察圖像像素值和假設(shè)退化圖像像素值之間的差值)應(yīng)用預(yù)定矩陣，并且輸出計(jì)算結(jié)果到積分器642。這里，預(yù)定矩陣?yán)缡潜磉_(dá)式4和6所示的矩陣(例如，矩陣h或矩陣b)。
積分器642對(duì)從矩陣計(jì)算單元641輸出的計(jì)算結(jié)果的值和構(gòu)成最近產(chǎn)生的恢復(fù)圖像的每個(gè)像素位置的像素值(恢復(fù)圖像信號(hào))進(jìn)行積分，并且接著將積分值，即積分結(jié)果作為恢復(fù)圖像信號(hào)輸出到白平衡處理單元210。此外，這個(gè)恢復(fù)圖像信號(hào)被用于產(chǎn)生下一恢復(fù)圖像信號(hào)。也就是說(shuō)，恢復(fù)圖像產(chǎn)生單元640更新最近產(chǎn)生的恢復(fù)圖像并且產(chǎn)生新恢復(fù)圖像。
圖41的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)圖像產(chǎn)生單元640的恢復(fù)圖^象產(chǎn)生處理的過(guò)程。這個(gè)恢復(fù)圖傳_產(chǎn)生處理3一要取代圖16所示的步驟S970而執(zhí)行的處理，并且圖16所示的其它處理的描述被省略。
首先，矩陣計(jì)算單元641輸入從再采樣單元132輸出的更新信號(hào)(步驟S1061)，并且執(zhí)行計(jì)算以將預(yù)定矩陣應(yīng)用到更新信號(hào)(步驟S1062)。
接著，積分器642對(duì)從矩陣計(jì)算單元641輸出的計(jì)算結(jié)果的值和最近產(chǎn)生的恢復(fù)圖像的恢復(fù)圖像信號(hào)進(jìn)行積分(步驟S1063),并且接著將積分值，即積分結(jié)果作為恢復(fù)圖像信號(hào)輸出到白平衡處理單元210(步驟S1064)。
迄今為止針對(duì)通過(guò)從觀察圖像的幀執(zhí)行一 次性反饋來(lái)更新恢復(fù)圖像并且輸出這個(gè)更新的恢復(fù)圖4象的恢復(fù)處理進(jìn)行了描述。這里例如在以觀察圖像作為參考執(zhí)行后退一個(gè)幀的恢復(fù)圖像的對(duì)準(zhǔn)之后執(zhí)行恢復(fù)處理，從而
更新的恢復(fù)圖像的時(shí)間相位能夠與觀察圖^M"準(zhǔn)。因而，即使在成像設(shè)備io進(jìn)行運(yùn)動(dòng)圖像的成像操作的情況下，能夠產(chǎn)生具有更高精度的恢復(fù)圖像。下面參考附圖針對(duì)例子進(jìn)行詳細(xì)描述，其中通過(guò)針對(duì)恢復(fù)圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償處理和運(yùn)動(dòng)對(duì)象隱藏處理，將恢復(fù)圖像的時(shí)間相位與觀察圖像的時(shí)間相位對(duì)準(zhǔn)。
圖42是圖解^L據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元700的功能配置例子的模塊圖?；謴?fù)處理單元700包^動(dòng)檢測(cè)單元710、運(yùn)動(dòng)補(bǔ)償單元720、運(yùn)動(dòng)對(duì)象檢測(cè)單元730、運(yùn)動(dòng)對(duì)象隱藏單元740、假設(shè)退化圖傳J象素值計(jì)算單元750、偽觀察圖〗象像素值計(jì)算單元760、更新信號(hào)計(jì)算單元770和恢復(fù)圖《象產(chǎn)生單元780。注意，恢復(fù)處理單元700是圖5所示的恢復(fù)處理單元100的修改，其中運(yùn)動(dòng)檢測(cè)單元710、運(yùn)動(dòng)補(bǔ)償單元720、運(yùn)動(dòng)對(duì)象檢測(cè)單元730和運(yùn)動(dòng)對(duì)象隱藏單元740被額外提供給恢復(fù)處理單元100。此外，假設(shè)退化圖像像素值計(jì)算單無(wú)750、偽觀察圖像像素值計(jì)算單元760、更新信號(hào)計(jì)算單元770和恢復(fù)圖像產(chǎn)生單元780通常與圖5所示的相同，因此以不同點(diǎn)為中心進(jìn)^ft描述，并且省略其它點(diǎn)的描述。
運(yùn)動(dòng)檢測(cè)單元710基于從恢復(fù)圖像產(chǎn)生單元780輸出的幀(恢復(fù)圖像)和從A/D轉(zhuǎn)換電路22輸出的幀(觀察圖像)檢測(cè)運(yùn)動(dòng)信息，并且輸出檢測(cè)的運(yùn)動(dòng)信息到運(yùn)動(dòng)補(bǔ)償單元720。這個(gè)運(yùn)動(dòng)信息是有關(guān)兩個(gè)幀之間的運(yùn)動(dòng)的信息，例如檢測(cè)有關(guān)一個(gè)屏幕(一個(gè)幀)的一組運(yùn)動(dòng)參數(shù)(全局運(yùn)動(dòng))。為了改進(jìn)恢復(fù)效果，這個(gè)運(yùn)動(dòng)信息適當(dāng)?shù)匕揭品至亢托D(zhuǎn)分量，并且還適當(dāng)?shù)匕?biāo)分量和梯形失真分量。例如，仿射矩陣可以被用作這個(gè)運(yùn)動(dòng)信息.注意，可以針對(duì)一個(gè)幀的一個(gè)屏幕上任意大小的每個(gè)塊來(lái)執(zhí)行運(yùn)動(dòng)檢測(cè)。然而在考慮圖像上的塊之間的間斷或圖像反饋的影響的情況下，針對(duì)一個(gè)幀的每個(gè)屏^it當(dāng)執(zhí)行運(yùn)動(dòng)檢測(cè)，從而能夠改進(jìn)恢復(fù)精度。注意，可以進(jìn)行這樣的安排在恢復(fù)處理單元700的前一階段執(zhí)#^動(dòng)信息的檢測(cè)，并且這個(gè)檢測(cè)結(jié)果被提供給運(yùn)動(dòng)補(bǔ)償單元720.
現(xiàn)在作為運(yùn)動(dòng)信息的檢測(cè)方法的例子來(lái)描述仿射矩陣的檢測(cè)方法。例如，從輸出自恢復(fù)圖像產(chǎn)生單元780的恢復(fù)圖像和輸出自A/D轉(zhuǎn)換電路22的觀察圖像中提取特征點(diǎn)。例如，通過(guò)使用邊#測(cè)技術(shù)，垂直方向或水平方向的邊緣傾斜(edge slope)較強(qiáng)的點(diǎn)(例如拐角點(diǎn))能夠被提取為特征點(diǎn).此外，能夠使用另一個(gè)特征點(diǎn)提取處理，其中孩^取能夠查找到圖像之間的對(duì)應(yīng)點(diǎn)的特征點(diǎn)。
接著，執(zhí)行從恢復(fù)圖像提取的特征點(diǎn)和從觀察圖像提取的特征點(diǎn)之間的匹配。特征點(diǎn)之間的匹配是提取被認(rèn)為是有關(guān)恢復(fù)圖像和觀察圖像的相同對(duì)象的一對(duì)特征點(diǎn)。作為用于匹配特征點(diǎn)的方法，例如可以使用這樣的技術(shù)基于指標(biāo)，例如圍繞特征點(diǎn)的矩形圖像之間的歸一化函數(shù)來(lái)耦合相似特征點(diǎn)?？蛇x地，可以使用另一個(gè)匹配方法，其中能夠正確計(jì)算攝^4^運(yùn)動(dòng)矩陣。
接著，通過(guò)使用提取的匹配點(diǎn)對(duì)(一對(duì)匹配特征點(diǎn))來(lái)計(jì)算仿射矩陣。
作為這個(gè)仿射矩陣計(jì)算方法，例如，可以使用利用RANSAC(隨機(jī)采樣一致性)的仿射矩陣計(jì)算方法。具體地，重復(fù)這樣的操作從提取的匹配點(diǎn)對(duì)中隨機(jī)選擇匹配點(diǎn)對(duì)，并M擇的匹配點(diǎn)對(duì)被用于進(jìn)行仿射矩陣的最小二乘方估計(jì)。接著，盡可能減少無(wú)法說(shuō)明的匹配點(diǎn)對(duì)的所計(jì)算的仿射矩陣被選擇作為估計(jì)結(jié)果。此外，例如，梯度法、塊匹配方法等等可以被用作仿射矩陣計(jì)算方法。
運(yùn)動(dòng)補(bǔ)償單元720基于運(yùn)動(dòng)檢測(cè)單元710檢測(cè)的運(yùn)動(dòng)信息執(zhí)行恢復(fù)圖像的運(yùn)動(dòng)補(bǔ)償。具體地，執(zhí)行這樣的處理恢復(fù)圖像的每個(gè)像素位置被移動(dòng)到針對(duì)值得對(duì)應(yīng)于運(yùn)動(dòng)檢測(cè)單元710所檢測(cè)的運(yùn)動(dòng)信息的運(yùn)動(dòng)而移動(dòng)的位置。
運(yùn)動(dòng)對(duì)M測(cè)單元730在從運(yùn)動(dòng)補(bǔ)償單元720輸出的經(jīng)itil動(dòng)4hf嘗處理的恢復(fù)圖像和從A/D轉(zhuǎn)換電路22輸出的觀察圖4象之間比較4象素值，以檢測(cè)恢復(fù)圖像中包含的運(yùn)動(dòng)對(duì)象，并且輸出檢測(cè)結(jié)果到運(yùn)動(dòng)對(duì)象隱藏單元740。注意，參考圖43詳細(xì)描述運(yùn)動(dòng)對(duì)IM^測(cè)單元730。
運(yùn)動(dòng)對(duì)象隱藏單元740基于從運(yùn)動(dòng)對(duì)M測(cè)單元730輸出的運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果隱藏從運(yùn)動(dòng)補(bǔ)償單元720輸出的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償處理的恢復(fù)圖像中包含的運(yùn)動(dòng)對(duì)象，并且接著輸出運(yùn)動(dòng)對(duì)象被隱藏的恢復(fù)圖像到假設(shè)退化圖像像素值計(jì)算單元750和恢復(fù)圖像產(chǎn)生單元780。注意，參考圖46詳細(xì)描述運(yùn)動(dòng)對(duì)象隱藏單元740.
圖43是圖解根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)M測(cè)單元730的功能配置例子的模夾圖。圖44的圖例示意性圖解了根據(jù)本發(fā)明實(shí)施例的成像設(shè)備13的噪聲模型的例子。圖45的圖例示意性圖解了捐魂本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象確定模型的例子。注意，參考圖43詳細(xì)圖44和45。運(yùn)動(dòng)對(duì)^r測(cè)單元730包含減法器731、絕對(duì)值計(jì)算器732、噪聲量估計(jì)單元733和運(yùn)動(dòng)對(duì)象確定值計(jì)算單元734。
減法器731計(jì)算從A/D轉(zhuǎn)換電路22輸出的觀察圖像的像素值和AUt動(dòng)##單元720輸出的恢復(fù)圖像的像素值之間的差值，并且輸出作為計(jì)算結(jié)果的差值到絕對(duì)值計(jì)算器732。
絕對(duì)值計(jì)算器732計(jì)算從減法器731輸出的差值的絕對(duì)值，并且輸出作為計(jì)算結(jié)果的像素值的絕對(duì)差值(pix—diff)到運(yùn)動(dòng)對(duì)象確定值計(jì)算單元734。
噪聲量估計(jì)單元733基于成像時(shí)的數(shù)字增益信息(增益量(ISO靈敏度)，每個(gè)幀的分貝等等)和噪聲模型估計(jì)對(duì)應(yīng)于像素值的像素的噪聲量，并且輸出估計(jì)的噪聲量到運(yùn)動(dòng)對(duì)象確定值計(jì)算單元734。注意，從控制單元53提供成像時(shí)的數(shù)字增益信息。這里，作為公共噪聲模型，能夠用一個(gè)函數(shù)表示RAW數(shù)據(jù)的像素值p和噪聲的方差值o^之間的關(guān)系，該函數(shù)的傾斜度(inclination)為增益，例如已經(jīng)知道用圖44所示的曲線(xiàn)圖來(lái)表示這個(gè)。因此，例如，通過(guò)4吏用圖44所示的曲線(xiàn)圖，能夠估計(jì)噪聲的方差值o2。
運(yùn)動(dòng)對(duì)象確定值計(jì)算單元734基于從絕對(duì)值計(jì)算器732輸出的像素值的絕對(duì)差值(pix一diff)和噪聲的標(biāo)準(zhǔn)偏差oi十算運(yùn)動(dòng)對(duì)象確定值a(0《c^1)，并且輸出運(yùn)動(dòng);tf象確定值a到運(yùn)動(dòng)對(duì)象隱藏單元740。圖45圖解了絕對(duì)差值(pix-diff)和噪聲的標(biāo)準(zhǔn)偏差cy之間的轉(zhuǎn)換模型的例子。注意，圖45所示的thl(CT)和仇2(CT)是根據(jù)噪聲標(biāo)準(zhǔn)偏差a確定的閾值。
圖46是圖解根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象隱藏單元740的功能配置例子的模塊圖。運(yùn)動(dòng)對(duì)象隱藏單元740包含積分器741至743、減法器744和加法器745，計(jì)算參考圖象(觀察圖像)的像素值和確定的圖像(恢復(fù)圖像)的像素值之間的內(nèi)部除法《象素值，并且將這個(gè)計(jì)算結(jié)果作為運(yùn)動(dòng)對(duì)象隱藏處理《象素值輸出。
積分器741對(duì)從運(yùn)動(dòng)對(duì)象確定值計(jì)算單元734輸出的運(yùn)動(dòng)對(duì)象確定值a應(yīng)用用于調(diào)整的增益G，并且輸出這個(gè)積分結(jié)果Ga到積分器743和減法器744。注意，從控制單元53提供用于調(diào)整的增益G。
減法器744從1中減去從積分器741輸出的積分結(jié)果Ga,并且輸出減法結(jié)果(l-Ga)到積分器742。
積分器742對(duì)從A/D轉(zhuǎn)換電路22輸出的觀察圖像的像素值A(chǔ)和從減法器744輸出的減法結(jié)果值(l-Ga)進(jìn)行積分，并且輸出積分結(jié)果A(l-Ga)到加法器745。
積分器743對(duì)從運(yùn)動(dòng)補(bǔ)償單元720輸出的恢復(fù)圖像的像素值B和從積分器741輸出的積分結(jié)果值Ga進(jìn)行積分，并且輸出積分結(jié)果BGa到加法器745。
加法器745將從積分器742輸出的積分結(jié)果A(l-Ga)和從積分器743輸出的積分結(jié)果BGo^目加，并且接著將相加結(jié)果(A(l-Ga)+BGa)作為運(yùn) 動(dòng)對(duì)象隱藏處理像素值輸出輸出到假設(shè)退化圖像像素值計(jì)算單元750和 恢復(fù)圖像產(chǎn)生單元780。
因而，運(yùn)動(dòng)對(duì)象檢測(cè)單元730比較觀察圖像和經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償處理的恢 復(fù)圖像的像素值，并且計(jì)算運(yùn)動(dòng)對(duì)象確定值。運(yùn)動(dòng)對(duì)象隱藏單元740根據(jù)
平均。也就是說(shuō)，執(zhí)行運(yùn)動(dòng)對(duì)象的隱藏處理，使得觀察圖像的速率越大， 則運(yùn)動(dòng)對(duì)象程度就越高。注意，在涉及觀察圖像和恢復(fù)圖像之間的分辨率 轉(zhuǎn)換的情況下，在分辨率與觀察圖像或恢復(fù)圖像匹配之后執(zhí)行運(yùn)動(dòng)補(bǔ)償處 理和運(yùn)動(dòng)對(duì)象隱藏處理。
因而，在對(duì)準(zhǔn)之后在圖像和感興趣像素之間檢測(cè)運(yùn)動(dòng)對(duì)象，并且限制 其區(qū)域的反饋，從而能夠抑制其對(duì)象區(qū)域處由于恢復(fù)處理造成的退化。因 而能夠改進(jìn)恢復(fù)處理的精度。
圖47的流程解了根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元700的恢復(fù) 處理的過(guò)程。這個(gè)恢復(fù)處理是要取代圖15所示的步猓S910而執(zhí)行的處理， 并且圖15所示的其它處理的描述被省略。
首先，恢復(fù)處理單元700輸入從圖像處理電路23的內(nèi)部圖像存儲(chǔ)器 讀出的鑲嵌圖像(觀察圖像)，和從恢復(fù)圖像產(chǎn)生單元140輸出的鑲嵌圖像 (恢復(fù)圖像)(步驟SllOl)。
接著，運(yùn)動(dòng)檢測(cè)單元710檢測(cè)輸入的觀察圖像和輸入的恢復(fù)圖像之間 的運(yùn)動(dòng)信息(步驟S1102)。
接著，在循L1103中，針對(duì)觀察圖像和恢復(fù)圖像(兩個(gè)鑲嵌圖像)的每 個(gè)感興趣像素執(zhí)行步驟S1104至S1107、循環(huán)L913、步驟S960、 S970和 S914的處理。注意，循環(huán)L913、步驟S960和S970的處理與圖16所示 的處理相同，因此這里省略其描述。
在循環(huán)L1103,首先，運(yùn)動(dòng)補(bǔ)償單元720輸入觀察圖像和恢復(fù)圖像的 每個(gè)感興趣像素的像素值(步驟S1104)，并且接著基于運(yùn)動(dòng)檢測(cè)單元710 檢測(cè)的運(yùn)動(dòng)信息執(zhí)行恢復(fù)圖像的運(yùn)動(dòng)補(bǔ)償處理(步驟S1105)。接著，運(yùn)動(dòng) 對(duì)l險(xiǎn)測(cè)單元730針對(duì)運(yùn)動(dòng)補(bǔ)償后的恢復(fù)圖像執(zhí)行運(yùn)動(dòng)對(duì)象險(xiǎn)測(cè)處理(步 驟S1106)。接著，運(yùn)動(dòng)對(duì)象隱藏單元740針對(duì)運(yùn)動(dòng)對(duì)f^r測(cè)單元730檢測(cè) 的運(yùn)動(dòng)對(duì)象執(zhí)行隱藏處理(步驟S1107)。注意，已經(jīng)描述了例子，其中以 <象素為增量執(zhí)行一 系列恢復(fù)處理，但是可以以幀為增量來(lái)執(zhí)行恢復(fù)處理。現(xiàn)在，例如，在執(zhí)行輸出靜止圖像的恢復(fù)處理的情況下，在觀察圖像 與要進(jìn)行恢復(fù)處理、作為參考的幀的恢復(fù)圖像對(duì)準(zhǔn)之后，執(zhí)行恢復(fù)處理， 從而能夠獲得任意幀的恢復(fù)圖像。因而，在執(zhí)行輸出靜止圖像的恢復(fù)處理
的情況下，針對(duì)觀察圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償處理和運(yùn)動(dòng)對(duì)象隱藏處理。圖48 圖解了在這種情況下的功能配置例子。
圖48是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元800的功能配置例子 的模塊圖。注意，恢復(fù)處理單元800是圖42所示的恢復(fù)處理單元700的 修改，并且不同于恢復(fù)處理單元700的地方在于針對(duì)觀察圖像執(zhí)行運(yùn)動(dòng)補(bǔ) 償處理和運(yùn)動(dòng)對(duì)象隱藏處理。其它配置與恢復(fù)處理單元700的相同，因此 具有相同功能的部分用與圖42中相同的附圖標(biāo)記來(lái)表示，并且這里省略 其描述。
因而，在針對(duì)一個(gè)觀察圖4象執(zhí)行多次迭代處理的情況下，或在輸入多 個(gè)觀察圖像的情況下，針對(duì)感興趣像素執(zhí)行每個(gè)觀察圖像或恢復(fù)圖像的運(yùn) 動(dòng)檢測(cè)和運(yùn)動(dòng)補(bǔ)償。接著，在運(yùn)動(dòng)檢測(cè)和運(yùn)動(dòng)補(bǔ)償之后，執(zhí)行不同通道之 間的反饋，從而能夠進(jìn)一步改進(jìn)恢復(fù)效果。
此外，對(duì)于圖42所示的恢復(fù)處理單元700和圖48所示的恢復(fù)處理單 元800，已經(jīng)作為一個(gè)例子執(zhí)行運(yùn)動(dòng)對(duì)象隱藏處理，但是也可以例如不執(zhí) 行運(yùn)動(dòng)對(duì)象隱藏處理。因而，恢復(fù)處理單元能夠具有相對(duì)簡(jiǎn)化的配置。圖
處理的情況下的功能配置例子。此夕卜，圖'50圖解了例如在執(zhí)行無(wú)需執(zhí)行 運(yùn)動(dòng)對(duì)象隱藏處理便輸出靜止圖像的恢復(fù)處理的情況下的功能配置例子。
圖49是圖解才艮據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元810的功能配置例子 的模塊圖。圖50是圖解根據(jù)本發(fā)明實(shí)施例的恢復(fù)處理單元820的功能配 置例子的模塊圖。注意，恢復(fù)處理單元810是圖42所示的恢復(fù)處理單元 700的修改，并且不同于恢復(fù)處理單元700的地方在于不執(zhí)行運(yùn)動(dòng)對(duì)象隱 藏處理。注意，恢復(fù)處理單元820是圖48所示的恢復(fù)處理單元800的fl" 改，并且不同于恢復(fù)處理單元800的地方在于不執(zhí)行運(yùn)動(dòng)對(duì)象隱藏處理。 其它配置與恢復(fù)處理單元700或800的相同，因此具有相同功能的部分用 與圖42或圖48中相同的附圖標(biāo)記來(lái)表示，并且這里省略其描述。
此外，迄今為止針對(duì)這樣的例子進(jìn)行了描述在計(jì)算偽觀察圖傳J象素 值的情況下，當(dāng)感興趣像素的通道(參考通道)不同于目標(biāo)通道時(shí)，使用與 感興趣像素鄰近的目標(biāo)通道和參考通道的像素值計(jì)算偽觀察圖像像素值。 然而，例如，可以根據(jù)觀察圖像的通道和通道的頻率之間的相關(guān)性來(lái)選擇目標(biāo)通道和參考通道之間的組合。因而能夠改進(jìn)恢復(fù)效果。
圖51是圖解用于根據(jù)本發(fā)明實(shí)施例的偽觀察圖像像素值計(jì)算處理的 參考通道和目標(biāo)通道之間的關(guān)系的圖例。對(duì)于圖51所示的例子，通道之 間的關(guān)系為高，但是在假設(shè)通道R和B的頻率特性次于通道Gr和Gb的 頻率特性的情況下圖解組合例子。例如，在目標(biāo)通道為R或B的情況下， 全部通道R， B， Gr和Gb被用作參考通道。另一方面，在目標(biāo)通道為 Gr或Gb的情況下，通道Gr和Gb被用作參考通道。也就是i兌，在目標(biāo) 通道為Gr或Gb的情況下，能夠4吏用除了感興趣〗象素之外的通道作為參 考通道來(lái)執(zhí)行偽觀察圖像像素值計(jì)算處理。
例如，迄今為止，在通過(guò)根據(jù)由經(jīng)過(guò)退化濾波的觀察圖像或恢復(fù)圖像 產(chǎn)生的假設(shè)退化圖像計(jì)算更新信號(hào)來(lái)執(zhí)行圖像恢復(fù)的情況下，通常通it^目 同通道內(nèi)的通道執(zhí)行了反饋處理，即使是針對(duì)由多個(gè)通道構(gòu)成的圖像。另 一方面，對(duì)于本發(fā)明的實(shí)施例，除了來(lái)自相同通道的>^饋之外，在以偽方 式由觀察圖像的不同通道產(chǎn)生的偽觀察圖像和假設(shè)退化圖像之間執(zhí)行恢 復(fù)處理，從而執(zhí)行通道之間的反饋處理。因而能夠改進(jìn)恢復(fù)效果。換言之， 對(duì)于退化圖4象的恢復(fù)處理，除了圖像之間的反饋之外，執(zhí)行圖l象內(nèi)的通道 之間的反饋，從而能夠進(jìn)一步改進(jìn)反饋效果。
也就是說(shuō)，對(duì)于本發(fā)明的實(shí)施例，在執(zhí)行由多個(gè)通道構(gòu)成的觀察圖像 的恢復(fù)處理的情況下，針對(duì)每個(gè)通道計(jì)算假設(shè)退化圖像像素值和偽觀察圖 像像素值。接著，針對(duì)每個(gè)通逸基于差值或除法值產(chǎn)生更新信號(hào)，并且使 用這個(gè)更新信號(hào)產(chǎn)生恢復(fù)圖像。因而，與單獨(dú)使用假設(shè)退化圖像像素值執(zhí) 行恢復(fù)處理的情9U目比，能夠改進(jìn)恢復(fù)處理的精度。此外，使用與目標(biāo)通 ii^目同的通道的像素值來(lái)計(jì)算假設(shè)退化圖像像素值，并且使用目標(biāo)通道和 參考通道的像素值來(lái)計(jì)算偽觀察圖像像素值。因而，與只使用通過(guò)與目標(biāo)
情況相比，能夠改進(jìn)恢復(fù)處理的精度。也就是說(shuō)，i于通道之間的所,
關(guān)性計(jì)算偽觀察圖像像素值，并且使用這個(gè)執(zhí)行恢復(fù)處理，從而能夠改進(jìn) 恢復(fù)處理的^fr度。
此外，對(duì)于本發(fā)明的實(shí)施例，通過(guò)根據(jù)傳感器退化執(zhí)行再采樣，偽觀 察圖像和假設(shè)退化圖像之間的差值或除法值祐^J績(jī)到恢復(fù)圖像，從而更新 恢復(fù)圖像。以通道的不同組合執(zhí)行這個(gè)反饋，從而與相同通道之間的反饋 的情況相比，能夠獲得高恢復(fù)效果。
注意，對(duì)于本發(fā)明的實(shí)施例，已經(jīng)示出圖4象處理電路23的配置例子，
50其中恢復(fù)處理單元100被布置在白平衡處理單元210之前，但是可以進(jìn)行 這樣的安排恢復(fù)處理單元100被布置在圖像處理電路23的其它位置。
此外，本發(fā)明的實(shí)施例可以被用于例如數(shù)字視頻攝像機(jī)、數(shù)字靜止圖 ^HI^等等的成像設(shè)備或例如打印機(jī)、顯示器等等的閨像處理設(shè)備內(nèi)的
信號(hào)處理。此外，本發(fā)明的實(shí)施例可以應(yīng)用于圖像處理設(shè)備或用于圖像處 理和編輯等等的計(jì)算機(jī)程序。
此外，對(duì)于本發(fā)明的實(shí)施例，三倍的例子被示出為假設(shè)成像設(shè)備引起 的退化的分辨率轉(zhuǎn)換，但是可以假設(shè)任意放大倍率。
注意，本發(fā)明的實(shí)施例示出了實(shí)現(xiàn)本發(fā)明的例子，其與本發(fā)明的每個(gè) 特征具有對(duì)應(yīng)關(guān)系，如上所述。然而，本發(fā)明不限于上述實(shí)施例，在不偏
離本發(fā)明的實(shí)質(zhì)的前提下能夠進(jìn)行各種修改。
此外，用上述實(shí)施例描述的過(guò)程可以作為具有這些系統(tǒng)的過(guò)程的方 法，或可以通過(guò)記錄介質(zhì)作為使計(jì)算M行這些系列的過(guò)程的程序，其中 記錄介質(zhì)存儲(chǔ)所述程序。這個(gè)記錄^h質(zhì)的例子包含CD(光盤(pán))、MD(小型 盤(pán)片)、DVD(數(shù)字化視頻光盤(pán))、存儲(chǔ)器卡和藍(lán)光盤(pán)(Blu-rayDisc:注冊(cè)商 標(biāo))。
本申請(qǐng)包含與2008年8月25日向日本專(zhuān)利局提交的日本在先專(zhuān)利申 請(qǐng)JP2008-215136中公開(kāi)的主題有關(guān)的主題，這里通過(guò)引用將該專(zhuān)利申請(qǐng) 的全部?jī)?nèi)容合并于此。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需求和其它因素，可以進(jìn)行各 種修改，組合，子組合和變化，只要它們?cè)谒綑?quán)利要求書(shū)或其等同表述 的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括假設(shè)退化圖像像素值計(jì)算單元，被配置成針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假設(shè)退化圖像的像素值以作為假設(shè)退化圖像像素值，所述假設(shè)退化圖像是假設(shè)由所述多個(gè)通道構(gòu)成的目標(biāo)圖像的退化的圖像；偽目標(biāo)圖像像素值計(jì)算單元，被配置成關(guān)于感興趣像素，即和所述假設(shè)退化圖像的像素對(duì)應(yīng)的所述目標(biāo)圖像的像素，根據(jù)所述感興趣像素的像素值和與所述感興趣像素鄰近的像素的像素值，計(jì)算針對(duì)每個(gè)所述通道估計(jì)的像素值，以作為每個(gè)所述通道的偽目標(biāo)圖像像素值；和恢復(fù)圖像產(chǎn)生單元，被配置成根據(jù)所述計(jì)算的假設(shè)退化圖像像素值和所述計(jì)算的偽目標(biāo)圖像像素值產(chǎn)生由所述目標(biāo)圖像恢復(fù)的恢復(fù)圖像。
2. 如權(quán)利要求1所述的圖像處理i殳備，其中所述偽目標(biāo)圖像像素值 計(jì)算單元在關(guān)于和所述感興趣像素的通道相同的通道計(jì)算所述偽目標(biāo)圖像像素值的情況下以所述感興趣像素的像素值作為所述偽目標(biāo)圖像像素 值，并且在關(guān)于不同于所述感興趣像素的通道的通道計(jì)算所述偽目標(biāo)圖像的像素的像素值來(lái)計(jì)算所述偽目標(biāo)圖像像素值。
3. 如權(quán)利要求2所述的圖像處理設(shè)備，其中所述偽目標(biāo)圖像像素值 計(jì)算單元在關(guān)于不同于所述感興趣^象素的通道的通道計(jì)算所述偽目標(biāo)圖 像像素值的情況下，根據(jù)與所述感興^^^象素鄰近的^象素中具有與所述感興 趣像素的通勤目同的通道的像素的像素值，和所述感興趣像素的像素值， 來(lái)計(jì)算所述偽目標(biāo)圖像像素值。
4. 如權(quán)利要求2所述的圖像處理設(shè)備，其中所述偽目標(biāo)圖像像素值 計(jì)算單元包括空間高頻分量計(jì)算單元，被配置成計(jì)算與所述感興趣〗象素鄰近的像素 中第一通道，即所述感興^^像素的通道的每個(gè)〗象素的空間高頻分量；空間低頻分量計(jì)算單元，被配置成計(jì)算與所述感興趣像素鄰近的像素 的所述第 一通道的空間低頻分量；第二通道空間低頻分量計(jì)算單元，被配置成計(jì)算與所述感興趣像素鄰 近的像素中第二通道，即不同于所述第一通道的通道的每個(gè)像素的空間低 頻分量；空間高頻分量比例系數(shù)計(jì)算單元，被配置成基于根據(jù)所述第二通道的 空間低頻分量和根據(jù)所述第 一通道的空間低頻分量計(jì)算所述空間高頻分量的比例系數(shù)；和偽目標(biāo)圖像像素值計(jì)算單元，被配置成基于根據(jù)所述笫二通道的空間 低頻分量，根據(jù)所述第一通道的空間高頻分量和所述比例系數(shù)計(jì)算所述第 二通道的所述偽目標(biāo)圖像像素值。
5. 如權(quán)利要求2所述的圖像處理設(shè)備，其中所述偽目標(biāo)圖像像素值 計(jì)算單元包括像素分布線(xiàn)性逼近單元，被配置成計(jì)算線(xiàn)性逼近直線(xiàn)，其中對(duì)關(guān)于所 述感興趣像素和與所迷感興趣像素鄰近的像素中第一通道，即所述感興趣 像素的通道，和第二通道，即不同于所述第一通道的通道的像素的像素值 的像素值分布進(jìn)行線(xiàn)性逼近；和4象素值估計(jì)單元，被配置成使用所述線(xiàn)性逼近直線(xiàn)根據(jù)所述感興趣像 素的像素值估計(jì)所述第二通道的所述偽目標(biāo)圖像像素值。
6. 如權(quán)利要求2所述的圖像處理設(shè)備，其中所述偽目標(biāo)圖像像素值 計(jì)算單元包括插值單元，被配置成在與所述感興趣像素鄰近的4象素中的、第一通道 即所述感興趣像素的通道的像素的位置處，對(duì)第二通道即不同于所述第一 通道的通道的兩個(gè)像素的像素值進(jìn)行插值，以計(jì)算插入值；第 一乘積和單元，被配置成針對(duì)與所述感興趣^象素鄰近的^象素中所述 第一通道的每個(gè)傳_素，積分與所述感興^^像素和與所述感興趟L像素鄰近的 所述第一通道的像素的像素值的差值對(duì)應(yīng)的差值權(quán)重、與所述感興趣像素 和與所述感興趣像素鄰近的所述第一通道的像素之間的距離對(duì)應(yīng)的距離 權(quán)重和所述插入值，并且將針對(duì)每個(gè)所述〗象素積分的積分值相加以計(jì)算第 一乘積和值i第二乘積和單元，被配置成針對(duì)與所述感興趣4象素鄰近的像素中所述 笫 一通道的每個(gè)像素積分所述差值權(quán)重和所^巨離權(quán)重，并且將針對(duì)每個(gè) 所述/f象素積分的積分值相加以計(jì)算笫二乘積和值；和偽目標(biāo)圖<象4象素值計(jì)算單元，被配置成基于所述第一乘積和值和所述 笫二乘積和值計(jì)算所述第二通道的所述偽目標(biāo)圖<象<象素值。
7. 如權(quán)利要求l所述的圖像處理設(shè)備，其中所述假設(shè)退化圖像像素值計(jì)算單元通過(guò)關(guān)于對(duì)應(yīng)于所述感興趣像素的#^素和與所述感興趣^L素 鄰近的像素，即構(gòu)成所述恢復(fù)圖像產(chǎn)生單元最近產(chǎn)生的所述恢復(fù)圖像的像 素的像素值，使用針對(duì)每個(gè)通道的模糊函數(shù)，來(lái)計(jì)算所述假設(shè)退化圖像的
8.如權(quán)利要求l所述的圖像處理設(shè)備，還包括更新信號(hào)計(jì)算單元，被配置成計(jì)算所述計(jì)算的假設(shè)退化圖像像素值和 所述計(jì)算的偽目標(biāo)圖像像素值之間的差值，并且基于其差值計(jì)算用于產(chǎn)生 所述恢復(fù)圖像的更新信號(hào)；其中所述恢復(fù)圖像產(chǎn)生單元基于所述計(jì)算出的更新信號(hào)產(chǎn)生所述恢
9. 一種成4象i更備，包括成像單元，被配置成對(duì)對(duì)象進(jìn)行成像以產(chǎn)生由多個(gè)通道構(gòu)成的成像圖像；假設(shè)退化圖像像素值計(jì)算單元，被配置成針對(duì)多個(gè)通道的每個(gè)通道計(jì) 算假設(shè)退化圖像的像素值以作為假設(shè)退化圖像像素值，所述假設(shè)退化圖像 是假設(shè)所述成像圖像的退化的圖像；偽目標(biāo)圖〗象像素值計(jì)算單元，被配置成關(guān)于感興趣像素，即和所述假 設(shè)退化圖像的像素對(duì)應(yīng)的所述成像圖像的像素，根據(jù)所述感興趣像素的像 素值和與所述感興趣像素鄰近的像素的像素值，計(jì)算針對(duì)每個(gè)所述通道估 計(jì)的像素值，以作為每個(gè)所述通道的偽目標(biāo)圖像像素值；和恢復(fù)圖像產(chǎn)生單元，被配置成根據(jù)所述計(jì)算的假設(shè)退化圖像像素值和
10. —種圖像處理方法，包括步驟針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假設(shè)退化圖像的像素值以作為假設(shè)退 化圖像像素值，所述假設(shè)退化圖像是假設(shè)由所述多個(gè)通道構(gòu)成的目標(biāo)圖像 的退4匕的圖4象；關(guān)于感興趣像素，即和所述假設(shè)退化圖像的像素對(duì)應(yīng)的所述目標(biāo)圖像 的像素，根據(jù)所述感興趣像素的像素值和與所述感興趣像素鄰近的像素的 像素值，計(jì)算針對(duì)每個(gè)所^ii道估計(jì)的像素值，以作為每個(gè)所述通道的偽 目標(biāo)圖像像素值；和根據(jù)所述計(jì)算的假設(shè)退化圖像像素值和所述計(jì)算的偽目標(biāo)圖像像素值產(chǎn)生由所述目標(biāo)圖像恢復(fù)的恢復(fù)圖像。
11. 一種程序，其使計(jì)算機(jī)^L行以下^Ht:針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假設(shè)退化圖像的像素值以作為假設(shè)退 化圖像像素值，所述假設(shè)退化圖像是假設(shè)由所述多個(gè)通道構(gòu)成的目標(biāo)圖像 的退化的圖像；關(guān)于感興趣像素，即和所述假設(shè)退化圖像的像素對(duì)應(yīng)的所迷目標(biāo)圖像 的像素，^L據(jù)所述感興趣像素的像素值和與所述感興趣像素鄰近的像素的 像素值，計(jì)算針對(duì)每個(gè)所m道估計(jì)的像素值，以作為每個(gè)所述通道的偽 目標(biāo)圖像像素值；和根據(jù)所述計(jì)算的假設(shè)退化圖像像素值和所述計(jì)算的偽目標(biāo)圖像像素 值產(chǎn)生由所述目標(biāo)圖像恢復(fù)的恢復(fù)圖像。
全文摘要
圖像處理設(shè)備、成像設(shè)備、圖像處理方法及程序。圖像處理設(shè)備包含假設(shè)退化圖像像素值計(jì)算單元，被配置成針對(duì)多個(gè)通道的每個(gè)通道計(jì)算假設(shè)退化圖像的像素值以作為假設(shè)退化圖像像素值，其中假設(shè)由所述多個(gè)通道構(gòu)成的目標(biāo)圖像的退化；偽目標(biāo)圖像像素值計(jì)算單元，被配置成關(guān)于感興趣像素，即和假設(shè)退化圖像的像素對(duì)應(yīng)的所述目標(biāo)圖像的像素，根據(jù)感興趣像素的像素值和與感興趣像素鄰近的像素的像素值，計(jì)算針對(duì)每個(gè)所述通道估計(jì)的像素值，以作為每個(gè)所述通道的偽目標(biāo)圖像像素值；和恢復(fù)圖像產(chǎn)生單元，被配置成根據(jù)計(jì)算的假設(shè)退化圖像像素值和計(jì)算的偽目標(biāo)圖像像素值產(chǎn)生由目標(biāo)圖像恢復(fù)的恢復(fù)圖像。
文檔編號(hào)H04N9/07GK101662690SQ20091016859
公開(kāi)日2010年3月3日 申請(qǐng)日期2009年8月25日 優(yōu)先權(quán)日2008年8月25日
發(fā)明者人見(jiàn)康宣, 光永知生 申請(qǐng)人:索尼株式會(huì)社