圖像處理裝置、圖像處理方法、圖像處理程序及記錄介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的一個方面涉及一種圖像處理裝置、圖像處理方法、圖像處理程序及記錄 介質(zhì)。
【背景技術(shù)】
[0002] 以往，作為圖像處理裝置，已知有去除動態(tài)圖像攝像時的噪聲的裝置（例如，參照 專利文獻1)。專利文獻1所記載的圖像處理裝置根據(jù)前1幀的影像信號與當前的影像信號 之間的差分，控制遞歸型（recursive)噪聲降低電路的反饋系數(shù)。通過使反饋系數(shù)適應(yīng)于 被攝體的運動，抑制運動的被攝體的殘像，降低不運動的被攝體的噪聲。
[0003] 現(xiàn)有技術(shù)文獻 [0004]專利文獻
[0005] 專利文獻1 :日本特開2000-209507號公報

【發(fā)明內(nèi)容】

[0006] 發(fā)明所要解決的問題
[0007] 然而，在專利文獻1所記載的圖像處理裝置中，由于在不對攝像裝置的運動與運 動被攝體的運動加以區(qū)分的情況下進行處理，故而會大范圍地產(chǎn)生因相機的抖動導致的幀 之間的差分。在這樣的狀態(tài)下進行抑制運動被攝體的殘像的校正的情況下，必須削弱噪聲 去除的效果，從而有可能無法獲得充分的噪聲去除效果。在本技術(shù)領(lǐng)域中，正期待取得優(yōu)異 的噪聲去除效果的圖像處理裝置、圖像處理方法、圖像處理程序以及記錄介質(zhì)。
[0008] 用于解決問題的手段
[0009] 本發(fā)明的一個方面的圖像處理裝置通過輸入并處理由攝像裝置獲得的幀圖像，來 生成輸出幀圖像，該圖像處理裝置具備：記錄部，其記錄比成為處理對象的對象幀圖像更早 輸入的先前幀圖像或先前幀圖像的輸出幀圖像；位置對準部，其使先前幀圖像或先前幀圖 像的輸出幀圖像、與對象幀圖像進行位置對準；校正部，其參照記錄部，進行時間性校正處 理，在該時間性校正處理中使用由位置對準部進行位置對準后的先前幀圖像的像素值或先 前幀圖像的輸出幀圖像的像素值，來校正對象幀圖像的像素值；以及生成部，其使用由校正 部校正后的對象幀圖像，來生成對象幀圖像的輸出幀圖像。
[0010] 該圖像處理裝置中，在使用先前幀圖像的輸出幀圖像來對對象幀圖像進行校正之 前，使先前幀圖像的輸出幀圖像與對象幀圖像進行位置對準。通過在對象幀圖像的校正之 前使先前幀圖像的輸出幀圖像與對象幀圖像進行位置對準，消除對象幀圖像與先前幀圖像 之間的攝像裝置的運動。因此，可避免為了抑制運動而削弱噪聲去除的效果，故而可取得優(yōu) 異的噪聲去除效果。
[0011] 一個實施方式中，也可以是，校正部還進行空間性校正處理，在該空間性校正處理 中針對對象幀圖像的像素的像素值，使用該對象幀圖像中的包含該像素的區(qū)域所包含的多 個像素的像素值進行校正。由此，組合時間性校正處理及空間性校正處理，可取得更進一步 優(yōu)異的噪聲去除效果。
[0012] -個實施方式中，也可以是，校正部使用與差分相應(yīng)的系數(shù)，對對象像素進行時間 性校正處理，該差分是對象幀圖像的對象像素的像素值、與由位置對準部進行位置對準后 的先前幀圖像的對應(yīng)像素的像素值或先前幀圖像的輸出幀的對應(yīng)像素的像素值之間的差 分。通過以此方式構(gòu)成，例如可以利用與差分相應(yīng)的強弱對運動被攝體進行時間性校正處 理。
[0013] -個實施方式中，也可以是，生成部將由校正部校正后的對象幀圖像的輸出幀圖 像儲存于記錄部中。由此，可進行遞歸型的校正處理，因此可取得高效率且優(yōu)異的噪聲去除 效果。
[0014] -個實施方式中，也可以是，生成部基于攝像裝置的運動，確定從由校正部校正后 的對象幀圖像中切出的區(qū)域，且切出所確定的區(qū)域，由此生成對象幀圖像的輸出幀圖像。另 外，一個實施方式中，也可以是，校正部對于對象幀圖像的與切出區(qū)域不同的區(qū)域的至少一 部分所包含的像素，不將其作為處理的對象。通過以此方式構(gòu)成，可提高處理效率。
[0015] -個實施方式中，也可以是，校正部使用對象幀圖像的對象像素的像素值、以及多 個先前幀圖像的對應(yīng)像素的像素值的加權(quán)平均值，對對象像素進行時間性校正處理。也可 以是，先前幀圖像的對應(yīng)像素的像素值的權(quán)重被設(shè)定為越早之前的先前幀圖像則權(quán)重越 小，多個先前幀圖像中的、與對象幀圖像相隔規(guī)定幀數(shù)的過去的先前幀圖像的對應(yīng)像素的 像素值的權(quán)重被設(shè)定為：該權(quán)重與該先前幀圖像的下1幀的先前幀圖像的對應(yīng)像素的像素 值的權(quán)重或?qū)ο笙袼氐南袼刂档臋?quán)重之間的差分，小于與對象幀圖像相隔規(guī)定幀數(shù)的之前 的先前幀圖像的對應(yīng)像素的像素值的權(quán)重與相隔規(guī)定幀數(shù)的之前的先前幀圖像的前1幀 的先前幀圖像的對應(yīng)像素的像素值的權(quán)重之間的差分。通過以此方式構(gòu)成，可在某種程度 上抑制過去的輸入幀圖像的權(quán)重，并且將與對象幀相隔規(guī)定幀數(shù)的過去的先前幀圖像的權(quán) 重設(shè)為與對象幀的權(quán)重大致相同。通過在某種程度上抑制過去的輸入幀圖像的權(quán)重，可減 少重像（殘像）。另外，通過將與對象幀相隔規(guī)定幀數(shù)的過去的先前幀圖像的權(quán)重設(shè)為與對 象幀的權(quán)重大致相同，可獲得平均效果。其結(jié)果為，可在不會生成重像的情況下去除閃爍等 振幅較大的噪聲。
[0016] -個實施方式中，也可以是，校正部直接對對象幀圖像的對象像素的像素值及規(guī) 定幀數(shù)的先前幀圖像的對應(yīng)像素的像素值賦予權(quán)重而計算加權(quán)平均值，使用加權(quán)平均值、 以及規(guī)定幀數(shù)的先前幀圖像中的任意先前幀圖像的輸出幀圖像的對應(yīng)像素的像素值，對對 象像素進行時間性校正處理。根據(jù)該結(jié)構(gòu)，僅保存規(guī)定幀數(shù)的先前幀圖像及輸出幀圖像即 可。因此，通過適當?shù)卦O(shè)定加權(quán)平均值計算中所使用的先前幀圖像的數(shù)量，可減少所要保存 的先前幀圖像的數(shù)量，并且可減少處理量。由此，可謀求資源削減及處理效率化。
[0017] -個實施方式中，也可以是，校正部直接對對象幀圖像的對象像素的像素值及多 個先前幀圖像的對應(yīng)像素的像素值進行加權(quán)，對對象像素進行時間性校正處理。根據(jù)該結(jié) 構(gòu)，可提高時間性校正處理的自由度，如減小包含運動被攝體的像素的像素值的影響等。
[0018] -個實施方式中，也可以是，校正部具備：第1校正濾波器，其使用對象幀圖像的 對象像素的像素值及先前幀圖像的輸出幀圖像的對應(yīng)像素的像素值，對對象像素進行時間 性校正處理；以及第2校正濾波器，其使用對象幀圖像的對象像素的像素值、以及多個先前 幀圖像的對應(yīng)像素的像素值的加權(quán)平均值，對對象像素進行時間性校正處理，在第2校正 濾波器中，先前幀圖像的對應(yīng)像素的像素值的權(quán)重被設(shè)定為越早之前的先前幀圖像則權(quán)重 越小，多個先前幀圖像中的、與對象幀圖像相隔規(guī)定幀數(shù)的過去的先前幀圖像的對應(yīng)像素 的像素值的權(quán)重被設(shè)定為：該權(quán)重與該先前幀圖像的下1幀的先前幀圖像的對應(yīng)像素的像 素值的權(quán)重或?qū)ο笙袼氐南袼刂档臋?quán)重之間的差分，小于與對象幀圖像相隔規(guī)定幀數(shù)的之 前的先前幀圖像的對應(yīng)像素的像素值的權(quán)重與相隔規(guī)定幀數(shù)的之前的先前幀圖像的前1 幀的先前幀圖像的對應(yīng)像素的像素值的權(quán)重之間的差分。也可以是，校正部根據(jù)對象像素 來切換第1校正濾波器與第2校正濾波器，對對象像素進行時間性校正處理。例如，在對象 像素包含閃爍等振幅較大的噪聲的情況下，可通過使用第2校正濾波器來去除噪聲，在對 象像素不包含閃爍等振幅較大的噪聲的情況下，可通過使用第1校正濾波器來去除噪聲。 這樣，可根據(jù)對象像素來選擇適當?shù)男Ｕ秊V波器。
[0019] 本發(fā)明的另一方面的圖像處理方法通過輸入并處理由攝像裝置獲得的幀圖像來 生成輸出幀圖像，該圖像處理方法包括：位置對準步驟，使比成為處理對象的對象幀圖像更 早輸入的先前幀圖像或該先前幀圖像的輸出幀圖像、與對象幀圖像進行位置對準；校正步 驟，參照記錄有先前幀圖像或先前幀圖像的輸出幀圖像的記錄部，進行時間性校正處理，在 該時間性校正處理中使用通過位置對準步驟進行位置對準后的先前幀圖像的像素值或先 前幀圖像的輸出幀圖像的像素值，來校正對象幀圖像的像素值；以及生成步驟，使用通過校 正步驟校正后的對象幀圖像，來生成對象幀圖像的輸出幀圖像。
[0020] 本發(fā)明的又一方面的圖像處理程序使計算機以通過輸入并處理由攝像裝置獲得 的幀圖像來生成輸出幀圖像的方式發(fā)揮功能，使計算機作為記錄部、位置對準部、校正部及 生成部而發(fā)揮功能，記錄部記錄比成為處理對象的對象幀圖像更早輸入的先前幀圖像或先 前幀圖像的輸出幀圖像；位置對準部使先前幀圖像或先前幀圖像的輸出幀圖像、與對象幀 圖像進行位置對準；校正部參照記錄部，進行時間性校正處理，在該時間性校正處理中使用 由位置對準部進行位置對準后的先前幀圖像的像素值或先前幀圖像的輸出幀圖像的像素 值，來校正對象幀圖像的像素值；生成部使用由校正部校正后的對象幀圖像，來生成對象幀 圖像的輸出幀圖像。
[0021] 本發(fā)明的又一方面的記錄介質(zhì)是記錄有使計算機以通過輸入并處理由攝像裝置 獲得的幀圖像來生成輸出幀圖像的方式發(fā)揮功能的圖像處理程序的計算機可讀取的記錄 介質(zhì)，記錄有使計算機作為記錄部、位置對準部、校正部及生成部而發(fā)揮功能的圖像處理程 序而構(gòu)成，記錄部記錄比成為處理對象的對象幀圖更早輸入的先前幀圖像或先前幀圖像的 輸出幀圖像；位置對準部使先前幀圖像或先前幀圖像的輸出幀圖像、與對象幀圖像進行位 置對準；校正部參照記錄部，進行時間性校正處理，在該時間性校正處理中使用由位置對準 部進行位置對準后的先前幀圖像的像素值或先前幀圖像的輸出幀圖像的像素值，來校正對 象幀圖像的像素值；生成部使用由校正部校正后的對象幀圖像，來生成對象幀圖像的輸出 幀圖像。
[0022] 根據(jù)上述圖像處理方法、圖像處理程序以及記錄介質(zhì)，取得與上述本發(fā)明的一個 方面的圖像處理裝置相同的效果。
[0023] 發(fā)明效果
[0024] 根據(jù)本發(fā)明的各種方式及實施方式，可提供一種取得優(yōu)異的噪聲去除效果的圖像 處理裝置、圖像處理方法、圖像處理程序以及記錄介質(zhì)。
【附圖說明】
[0025] 圖1是搭載有第1實施方式的圖像處理裝置的便攜終端的功能框圖。
[0026] 圖2是搭載第1實施方式的圖像處理裝置的便攜終端的硬件結(jié)構(gòu)圖。
[0027] 圖3是說明第1實施方式的圖像處理裝置的動作的流程圖。
[0028] 圖4是說明位置對準處理的概要圖。
[0029] 圖5是說明空間性校正處理的概要圖。
[0030] 圖6是說明時間性校正處理的概要圖。
[0031] 圖7是說明時間性校正處理的概要圖。
[0032] 圖8是說明時間性校正處理的概要圖。
[0033] 圖9是說明輸出圖像幀及手抖動校正的概要圖。
[0034] 圖10是表示輸入幀圖像的權(quán)重的一例的圖。
[0035] 圖11是表示輸入幀圖像的權(quán)重的另一例的圖。
[0036] 圖12是表示第2實施方式的圖像處理裝置的時間性校正處理的詳細情況的流程 圖。
[0037] 圖13是表示使用遞歸型濾波器的情