圖像處理方法、攝像裝置以及圖像處理裝置的制造方法
【技術領域】
[0001] 本發(fā)明設及圖像銳化處理。
【背景技術】
[0002] 已知反銳化掩模處理將原始圖像與如下差分相加或相減來使圖像銳化，所述差分 是通過對原始圖像應用反銳化掩模獲得的模糊圖像與原始圖像之間的差分。在模糊圖像與 輸入圖像之間的差分大時使圖像更銳化。日本特開2010-81263號公報公開了W下方法：通 過對在像高方向上排列的像素信號應用非對稱的一維過濾器，來降低光學系統(tǒng)的點擴展函 數(shù)（pointspreadfunction, (PSFO)的影響。
[0003] 當采用旋轉對稱過濾器作為反銳化掩模時，難W使由于PSF的復雜形狀（例如，非 對稱像差和矢狀光環(huán)）的影響而劣化的圖像銳化。具體而言，在具有大像差的方位角方向 上的像差的校正引起在具有小像差的方位角方向上的下沖（undershoot)，而下沖的抑制導 致像差的不充分校正。
[0004] 日本特開2010-81263號公報的方法考慮僅在像高方向上的非對稱性，并且校正 過濾器是一維的，因此無法改善像高方向W外的方向上的非對稱性。像高方向是子午線的 方位角方向。此外，因為通過調(diào)整負抽頭系數(shù)的個數(shù)來調(diào)整過濾器的非對稱性，并且關于像 高方向的校正，過濾器引起了與由光學系統(tǒng)的PSF引起的模糊不同的模糊，所W通過傳統(tǒng) 的方法無法實現(xiàn)充分的銳化。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明提供了各自能夠降低生成校正信號所需的記錄數(shù)據(jù)量并具有優(yōu)良的銳化 效果的圖像處理裝置、攝像裝置、圖像處理方法W及存儲圖像處理程序的非暫時性計算機 可讀存儲介質。
[0006] 本發(fā)明的一方面提供了一種圖像處理方法，所述圖像處理方法包括：獲取步驟，獲 取經(jīng)由光學系統(tǒng)的攝像生成的輸入圖像；生成步驟，通過使用與對應于所述光學系統(tǒng)的攝 像條件的點擴展函數(shù)近似的函數(shù)的系數(shù)數(shù)據(jù)，來生成點擴展函數(shù)；W及提供步驟，使用基于 通過使用所述系數(shù)數(shù)據(jù)生成的所述點擴展函數(shù)的信息而生成的過濾器，對所述輸入圖像提 供反銳化掩模處理。所述過濾器具有二維數(shù)據(jù)。
[0007] 通過W下參照附圖對示例性實施例的描述，本發(fā)明其他的特征和方面將變得清 楚。
【附圖說明】
[000引圖1是根據(jù)本發(fā)明的實施例1、實施例2和實施例3中的各個的攝像裝置的框圖。
[0009] 圖2是根據(jù)實施例1、實施例2和實施例3中的各個的圖像處理方法的流程圖。
[0010] 圖3A和圖3B是通過反銳化掩模處理進行銳化的模式圖。
[0011] 圖4A和圖4B是在xy平面上的攝像光學系統(tǒng)的PSF的模式圖。
[0012] 圖5A和圖5B是利用旋轉對稱的反銳化掩模進行銳化處理的模式圖。
[0013] 圖6A和圖6B是利用非旋轉對稱的反銳化掩模進行銳化處理的模式圖。
[0014] 圖7A和圖7B是反銳化掩模的模式圖和示意性截面圖。
[0015] 圖8A至圖8C是根據(jù)本發(fā)明的實施例1的圖像處理方法的流程圖。
[0016] 圖9是拜耳排列的模式圖。
[0017] 圖10是輸入圖像的分割方法的說明圖。
[0018] 圖11是輸入圖像在像高方向上的插值方法的說明圖。
[0019] 圖12是根據(jù)本發(fā)明的實施例2的圖像處理方法的流程圖。
[0020] 圖13是根據(jù)本發(fā)明的實施例3的圖像處理方法的流程圖。
[0021] 圖14是系數(shù)數(shù)據(jù)的說明圖。
[0022] 圖15A至圖15D各自是點擴展函數(shù)的等高線圖。
[0023] 圖16是生成的點擴展函數(shù)的截面圖。
【具體實施方式】
[0024] 圖3A和圖3B示意性例示了反銳化掩模處理（圖像銳化）。在圖3A中，實線代表 要處理的輸入圖像，長點線（虛線）代表通過向輸入圖像提供反銳化掩模而模糊的圖像。 短點線代表銳化后的圖像。圖3B中的實線代表校正分量。在圖3A和圖3B中，橫軸代表坐 標，縱軸代表像素值或亮度值。圖3A和圖3B各自對應于稍后描述的圖4A和圖4B的預定 方向（例如，X方向）上的截面。
[00巧]當Wf(x，y)表示原始圖像（輸入圖像）并且Wh(x，y)表示校正分量時，可W由 式（1)代表銳化后的圖像g(x，y): 陽026]g(x,y) =f(x,y)+mXh(x,y). . . (I)
[0027] 在式（I)中，將校正分量h(x，y)乘W常數(shù)m并與代表輸入圖像的f(x，y)相力日。在 式（1)中，可W使常數(shù)m變化W調(diào)整校正量。常數(shù)m可W是恒定常數(shù)，而與輸入圖像的位置 無關。作為另選方案，可W使用隨著輸入圖像的位置而變化的調(diào)整系數(shù)m(x，y)，W依據(jù)輸入 圖像的位置來調(diào)整校正量。常數(shù)m和調(diào)整系數(shù)m(x，y)可W根據(jù)諸如光學系統(tǒng)的焦距、光圈 值和被攝體距離的攝像條件而變化。在隨后的描述中，可利用用調(diào)整系數(shù)m(x，y)替換常數(shù) ITlO
[0028]當由USM表示反銳化掩模時，校正分量h (X，y)表示如下： 陽0巧]h(X，y) =f(X，y)-f(X，y)*USM(X，y). . .(2)
[0030] 其中，USM(X，y)是例如在USM的坐標（X，y)處的抽頭值。
[0031] 作為另選方案，式（2)的右邊可W改寫為下式（3)。
[0032]h(x,y) =f(x,y)*(5(x,y)-USM(x,y)). . . (3)
[0033] 符號*代表卷積（卷積積分，乘積和），符號5代表積分為I的5函數(shù)（理想點 像）。運里，5函數(shù)是如下數(shù)據(jù)，其在抽頭數(shù)等于USM(x，y)的抽頭數(shù)并且其值為中屯、值1 W外的0。
[0034] 式（3)就計算方法而言不同于式（2)。然而，由于可W通過改寫式（2)來獲得式 (3)，因此式（3)代表與式（2)等價的處理。為此，W下使用式（2)來描述校正分量的生成。
[0035] 式（2)計算輸入圖像f(x，y)與通過利用反銳化掩模USM使輸入圖像f(x，y)反銳 化而獲得的圖像之間的差分，并生成校正分量h(x，y)。在一般的反銳化掩模處理中，反銳化 掩模USM是諸如高斯過濾器、中值過濾器和移動平均過濾器等的平滑過濾器。
[0036] 例如，當對圖3A的實線所示的輸入圖像f(x，y)應用作為反銳化掩模USM的高斯 過濾器時，利用圖3A的虛線來例示通過使輸入圖像f(x，y)反銳化獲得的圖像。因此，如式 (2)所示，校正分量h(x，y)是輸入圖像f(x，y)與反銳化圖像之間的差分。因此，從圖3A的 實線減去圖3A的虛線得出代表校正分量的、圖3B的實線。使用由此計算出的校正分量來 計算式（1)W使圖3A的實線所示的輸入圖像f(x，y)銳化并獲得圖3A的短點線所示的圖 像。
[0037] 接下來，描述通過對由攝像光學系統(tǒng)（W下，也簡稱為光學系統(tǒng)）劣化的被攝體的 光學圖像進行反銳化掩模處理的圖像銳化。當由I(x，y)表示穿過光學系統(tǒng)前的原始圖像 (被攝體圖像）并且由PSf(x，y)表示代表光學系統(tǒng)對點光源的的響應的函數(shù)PSF(點擴展 函數(shù)）時，通過光學系統(tǒng)形成的輸入圖像f(x，y)表示為：
[0038]f(x,y) =I(x,y)*psf(x,y). . . (4)
[0039] 如果光學系統(tǒng)為旋轉對稱的共軸光學系統(tǒng)，則與圖像的中屯、部相對應的PSF為旋 轉對稱。如上所述，通過應用旋轉對稱的USM使得銳化處理能夠使輸入圖像f(x，y)更接近 圖像的中屯、部處的原始圖像I(X，y)。由于校正量為拍攝圖像與通過反銳化掩模處理而獲得 的反銳化圖像之間的差分值，因此更精確的校正需要使用形狀上更類似于PSf(X，y)的反 銳化掩模USM，而不使用簡單的平滑過濾器。運是由于W下原因。例如，當由于具有旋轉對 稱影響的球面像差使圖像劣化時，諸如高斯過濾器的平滑過濾器具有不同于球面像差影響 的PSF的分布形狀。因此，在要降低旋轉對稱反銳化的影響時，使用光學系統(tǒng)的PSF使得能 夠更精確的校正。
[0040] 因此，本實施例使用PSF作為USM。為了簡化描述，雖然圖3A所示的輸入圖像 f(X，y)為對稱形狀圖像，但是輸入圖像的形狀也可W不對稱。當形狀非對稱時，仍然可W利 用旋轉對稱的USM來使原始圖像I(x，y)銳化，只要對應于PSf(x，y)和用在原始圖像上的 劣化函數(shù)為旋轉對稱即可。
[0041]另一方面，在圖像的中屯、部W外的位置處，即使在光學系統(tǒng)為旋轉對稱的共軸光 學系統(tǒng)時，PSF通常為非對稱。圖4A和圖4B示意性例示了xy平面上的光學系統(tǒng)的PSF:圖 4A例示了光軸上的PSF，圖4B例示了光軸外的PSF。
[0042] 例如，如果原始圖像（被攝體圖像）是理想點像，式（4)示出了輸入圖像f(x，y) 為光學系統(tǒng)的PSF。當理想點像存在于與圖4B相對應的視角中，并且由于光學系統(tǒng)的PSF 而使原始圖像（被攝體圖像）劣化時，作為輸入圖像而獲得的圖像為具有圖4B所示的形狀 的模糊圖像。接下來，描述通過反銳化掩模處理對運種非對稱模糊的圖像進行銳化。
[0043] 圖5A和圖5B與圖6A和圖6B示意性示出了對非對稱劣化圖像的反銳化處理。圖 5A和圖5B例示了利用旋轉對稱的反銳化掩模進行的反銳化處理，圖6A和圖6B例示了利用 旋轉非對稱的反銳化掩模進行的反銳化處理。縱軸和橫軸與圖3A和圖3B的相同。
[0044] 圖5A和圖6A的實線代表沿圖4B的y方向的截面，虛線代表通過利用各個反銳化 掩模使輸入圖像模糊而獲得的圖像。圖5A和圖5B的旋轉對稱的反銳化掩模為高斯過濾器。 另一方面，圖6A和圖6B的旋轉非對稱的反銳化掩模為光學系統(tǒng)的PS