專利名稱：像素缺陷校正器件、成像設備、像素缺陷校正方法和程序的制作方法
技術領域：
本發(fā)明涉及固態(tài)成像器件(如CCD或CMOS傳感器)中具有檢測和補償缺陷像素 的功能的像素缺陷校正器件、成像設備、像素缺陷校正方法和程序。
背景技術：
一般來說，在固態(tài)成像器件(如CXD (電荷耦合器件)和CMOS (互補金屬氧化物半 導體)傳感器)中產(chǎn)生缺陷像素是已知的。在這種固態(tài)成像器件中，如下內(nèi)容是已知的由于半導體器件的局部液晶缺陷等 而產(chǎn)生輸出異常成像信號的缺陷像素，并且這導致圖像質(zhì)量的惡化。缺陷像素的示例包括黑缺陷像素和白缺陷像素。也就是說，固態(tài)成像器件的像素缺陷包括白缺陷(其由預定量的電荷添加到正常 信號電平而引起)和黑缺陷(通過其信號電平以預定速率下降或者總是輸出零附近的信號 電平)。由于這些缺陷導致圖像輸出時圖像質(zhì)量的惡化，因此已經(jīng)提出了各種缺陷檢測和 校正方法(例如，參見 JP-A-2005-318383 和 JP-A-2008-1M276)?！銇碚f，通過計算替換缺陷像素值的值并以計算出的值替換缺陷像素的值來實 現(xiàn)確定為有缺陷的像素的缺陷校正?？梢酝ㄟ^檢測缺陷像素周圍的邊緣并使用兩個像素(其位于邊緣方向上，缺陷像 素夾在其之間)的平均值以便自適應地與成像的圖像相對應，來實現(xiàn)計算校正值的方法。

發(fā)明內(nèi)容
然而，由于處于中間的像素值是不正常的，因此如果缺陷像素本身用于邊緣檢測， 則存在顯著地降低邊緣檢測精度的很高可能性。例如，在JP-A-2005-318383和JP-A-2008-154276中公開的方法中，即使不僅將待 確定其缺陷的像素用于邊緣檢測而且將當已經(jīng)去除彩色信號載波(color carrier)時的亮 度值也用于邊緣檢測，也難以精確地執(zhí)行邊緣檢測，這是因為與以上所述的內(nèi)容類似，感興 趣的像素是不正常的。為此，認為缺陷檢測的精度也降低?？紤]到以上情況，期望提供像素缺陷校正器件、成像設備、像素缺陷校正方法和程 序，其能夠提高邊緣檢測精度并提高缺陷檢測精度。根據(jù)本發(fā)明的實施例，提供了像素缺陷校正器件，包括缺陷確定部件，確定圖像 的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多 個像素；梯度檢測部件，至少基于處理區(qū)域中包括的感興趣像素周圍的外圍像素的值，在處 理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中間；校正值 獲取部件，根據(jù)檢測到的梯度或邊緣，選擇用于感興趣像素的校正值的獲取的像素，并從所 選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定感興趣像素為圖像的缺陷時， 以校正值替換感興趣像素的值。
根據(jù)本發(fā)明的另一實施例，提供了成像設備，包括像素部件，包括成像被攝體圖 像的成像器件；以及像素缺陷校正器件，從成像器件接收圖像數(shù)據(jù)，并執(zhí)行像素缺陷校正處 理。另外，所述像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像 的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；梯度檢測部件， 至少基于處理區(qū)域中包括的感興趣像素周圍的外圍像素的值，在處理區(qū)域中檢測梯度或邊 緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中間；校正值獲取部件，根據(jù)檢測到 的梯度或邊緣，選擇用于感興趣像素的校正值的獲取的像素，并從所選的像素的值來獲取 校正值；以及缺陷像素替換部件，當確定感興趣像素為圖像的缺陷時，以校正值替換感興趣 像素的值。根據(jù)本發(fā)明的再一實施例，提供了像素缺陷校正方法，包括如下步驟確定圖像的 感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個 像素；至少基于處理區(qū)域中包括的感興趣像素周圍的外圍像素的值，在處理區(qū)域中檢測梯 度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中間；根據(jù)檢測到的梯度或邊 緣，選擇用于感興趣像素的校正值的獲取的像素，并從所選的像素的值來獲取校正值；以及 當確定感興趣像素為圖像的缺陷時，以校正值替換感興趣像素的值。根據(jù)本發(fā)明的又一實施例，提供了一種程序，使得計算機執(zhí)行像素缺陷校正處理， 包括缺陷確定處理，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；方向檢測處理，至少基于處理區(qū)域中包括的感興趣 像素周圍的外圍像素的值，在處理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其 中感興趣像素位于中間；校正值獲取處理，根據(jù)檢測到的梯度或邊緣，選擇用于感興趣像素 的校正值的獲取的像素，并從所選的像素的值來獲取校正值；以及替換處理，當確定感興趣 像素為圖像的缺陷時，以校正值替換感興趣像素的值。根據(jù)本發(fā)明的實施例，可以提高邊緣檢測精度，并且作為結(jié)果可以提高缺陷檢測 精度。


圖1是示出應用了根據(jù)本發(fā)明第一實施例的像素缺陷校正器件的成像設備的配 置示例的框圖；圖2是示出作為像素排列的示例的拜耳排列(Bayer arrangement)的圖；圖3是示出第一實施例中像素部件中單元像素的配置示例的電路圖；圖4是示出圖1中所示的像素部件的配置示例的圖；圖5是示出根據(jù)第一實施例的缺陷檢測和校正電路的配置示例的圖；圖6是示出在拜耳排列上5像素X5像素的處理區(qū)域的示例的圖；圖7是示出當使用偽值(pseudo value)作為亮度值時偽亮度值計算處理的圖像 的圖；圖8A到圖8D是示出在梯度計算中涉及的亮度位置的圖；圖9是示出除了具有與要確定其缺陷的像素相同顏色的像素之外的偽亮度計算 處理的圖像的圖；圖10是示出根據(jù)第一實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流程圖的圖；圖IlA到圖IlC是示出實際處理圖像的圖；圖12是示出在圖IlA到圖IlC中所示的情況下像素值的示例的圖；圖13是示出通過使用已知方法計算出的偽亮度的圖；圖14是示出通過使用根據(jù)第一實施例的方法計算出的偽亮度的圖；圖15是示出當通過以具有相同顏色的八個外圍像素的平均值來替換要確定其缺 陷的像素來計算偽亮度時的圖像的圖；圖16A和圖16B是當僅感興趣的像素有缺陷時處理區(qū)域的多個像素值的示例的說 明圖；圖17A和圖17B是當在感興趣的像素和外圍像素中存在相鄰缺陷時處理區(qū)域的多 個像素值的示例的說明圖；圖18是示出根據(jù)本發(fā)明第二實施例的缺陷檢測和校正電路的配置示例的圖；圖19是示出根據(jù)第二實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流 程圖的圖；圖20示出了嵌入相鄰像素的圖像的示例；圖21示出了通過使用第一實施例中的像素缺陷校正處理來校正圖20中的圖像所 獲得的圖像；圖22示出了通過使用第二實施例中的像素缺陷校正處理來校正圖20中的圖像所 獲得的圖像；以及圖23是示出根據(jù)第二實施例的缺陷檢測和校正電路的另一缺陷檢測和校正處理 的流程圖的圖。
具體實施例方式在下文中，將參照附圖描述本發(fā)明的第一實施例。
另外，將以如下順序給出說明。1.第一實施例(基于具有與感興趣像素不同的彩色分量的像素來獲取梯度或邊 緣的示例)2.第二實施例(校正偶聯(lián)(couplet)像素缺陷的示例)<1.第一實施例>[成像設備的整體配置的示例]圖1是示出應用了根據(jù)本發(fā)明第一實施例的像素缺陷校正器件的成像設備的配 置示例的框圖。如圖1所示，成像設備10包括光學系統(tǒng)11和作為固態(tài)成像器件的CMOS圖像傳感 器12。光學系統(tǒng)11在成像器件12的成像表面上形成被攝體圖像。CMOS圖像傳感器12包括像素部件13、模擬前端(AFE) 14、模數(shù)轉(zhuǎn)換器(ADC) 15和 預處理部分16。CMOS圖像傳感器12包括缺陷檢測和校正電路17，其采用根據(jù)本發(fā)明第一實施例 的像素缺陷校正方法；后處理部件18 ；以及功能和定時控制部件19。
像素部件13由CMOS傳感器形成，并且多個單元像素以矩陣排列。例如，采用圖2中所示的拜耳排列作為像素部件13中的像素排列。圖3是示出第一實施例中像素部件13中單元像素的配置示例的電路圖。圖3示出了第一實施例中由四個晶體管形成的CMOS圖像傳感器的像素示例。每一個像素電路130具有由光電二極管形成的光電轉(zhuǎn)換元件131，例如如圖3所示。另外，像素電路130具有四個晶體管傳輸晶體管132、復位晶體管133、放大晶體 管134和選擇晶體管135，作為一個光電轉(zhuǎn)換元件131的有源元件。光電轉(zhuǎn)換元件131執(zhí)行入射光到與光量相對應的電荷(這里為電子)的光電轉(zhuǎn)換。傳輸晶體管132連接在光電轉(zhuǎn)換元件131和浮置擴散FD之間，并將作為控制信號 的傳輸信號TG經(jīng)由傳輸控制線LTx發(fā)送到傳輸晶體管132的柵極(傳輸柵極)。因此，傳輸晶體管132將由光電轉(zhuǎn)換元件131進行光電轉(zhuǎn)換的電子傳輸?shù)礁訑U 散FD。復位晶體管133連接在電源線LVDD和浮動擴散FD之間，并將作為控制信號的復 位信號RST經(jīng)由復位控制線LRST發(fā)送到復位晶體管133的柵極。因此，復位晶體管133將浮動擴散FD的電勢復位到電源線LVDD的電勢。放大晶體管134的柵極連接到浮動擴散FD。放大晶體管134經(jīng)由選擇晶體管135 連接到信號線LSGN，并與在像素部件外提供的恒流源136 —起形成源極跟隨器。另外，將根據(jù)地址信號的作為控制信號的選擇信號SEL經(jīng)由選擇控制線LSEL發(fā)送 到選擇晶體管135的柵極。結(jié)果，選擇晶體管135導通。如果選擇晶體管135導通，則放大晶體管134放大浮動擴散FD的電勢，并將與電 勢相對應的電壓輸出到信號線LSGN。將從每一個像素輸出的電壓經(jīng)由信號線LSGN輸出到 作為讀電路的AFE 14。例如，由于傳輸晶體管132、復位晶體管133和選擇晶體管135的柵極以行為單位 連接，因此對于一行像素同時地執(zhí)行這些操作。在像素部件13中，與像素陣列部分線連接的一組復位控制線LRST、傳輸控制線 LTx和選擇控制線LSEL以像素排列的行為單位線連接。通過垂直掃描電路(未示出)來驅(qū)動復位控制線LRST、傳輸控制線LTx和選擇控 制線LSEL。另外，輸出信號線LSGN連接到包括相關二重采樣(CDS)電路等的讀電路。在第一實施例中，使AFE 14具有⑶S電路功能。當在通過利用預處理部件16執(zhí)行數(shù)字信號處理所獲得的數(shù)字圖像信號中存在缺 陷像素信號時，缺陷檢測和校正電路17使用缺陷像素檢測和校正方法(稍后將詳細描述) 來校正缺陷像素，并將校正之后的數(shù)字信號輸出到后處理部件18。如下面所示，第一實施例中的缺陷檢測和校正電路17從圖像(其中以二維方式排 列多個像素)中選擇感興趣像素，并確定所選的感興趣像素是否為缺陷像素。當所選的感 興趣像素是缺陷像素時，缺陷檢測和校正電路17校正感興趣像素的值。另外，缺陷檢測和校正電路17具有梯度檢測功能，其使用具有與要確定其缺陷的像素(所選的感興趣像素)相同顏色的像素以外的彩色像素。缺陷檢測和校正電路17具有梯度檢測功能，其使用具有與要確定其缺陷的像素 相同顏色的像素以外的彩色像素；以及改變功能，用于通過梯度檢測功能，當選擇包括具有 相同顏色的相鄰缺陷像素的最大或最小值的方向作為缺陷校正方向時，改變到其他方向。另外，缺陷檢測和校正電路17具有在以具有相同顏色的八個外圍像素的平均值 來替換要確定其缺陷的像素之后使用該像素的梯度檢測功能。缺陷檢測和校正電路17具有在以相同顏色周圍除了最大和最小值之外的六個像 素的平均值來替換要確定其缺陷的像素之后使用該像素的梯度檢測功能。在下文中，將描述成像設備10的功能概要，然后將描述像素部件的特定配置示例 以及缺陷檢測和校正電路17的特定配置和功能。[成像設備的功能概要]經(jīng)由光學系統(tǒng)11將從被攝體獲得的入射光輸入到CMOS圖像傳感器12的像素部 件13。在像素部件13中通過光電轉(zhuǎn)換將入射光轉(zhuǎn)換為電信號，然后將其輸入到AFE 14。 輸出輸入電信號作為由AFE 14執(zhí)行相關二重采樣和自動增益控制(AGC)之后的電信號。輸出從AFE 14輸出的電信號，作為由ADC 15執(zhí)行A/D轉(zhuǎn)換處理之后的數(shù)字信號。由預處理部件16執(zhí)行關于數(shù)字信號的各種數(shù)字處理，并且將數(shù)字信號輸出到缺 陷檢測和校正電路17。當在數(shù)字信號中存在缺陷像素信號時，缺陷檢測和校正電路17使用缺陷像素檢 測和校正方法(稍后描述)來校正缺陷像素信號，并輸出校正之后的數(shù)字信號。將數(shù)字信號輸入到后處理部件18，并且在執(zhí)行各種數(shù)字處理之后進行輸出。數(shù)字 信號變?yōu)镃MOS圖像傳感器12的輸出信號。另外，功能和定時控制部件19控制CMOS圖像傳感器12的每一部件的操作。[像素部件的配置示例]圖4是示出圖1中所示的像素部件13的配置示例的圖。像素部件13具有有效像素區(qū)域21 (其具有多個有效像素31，每一個均具有與RGB 顏色之一對應的濾波器)以及消隱區(qū)域22和23，如圖4所示。消隱區(qū)域22具有OB像素區(qū)域25(其具有多個光學黑(OB)像素32)和虛擬 (dummy)像素區(qū)域24 (其具有多個虛擬像素33)。有效像素區(qū)域21包括R (紅)透射濾波器的像素PX10、B (藍)透射濾波器的像素 PXll和G (綠)透射濾波器的像素PX12作為有效像素31，并且這些像素以矩陣排列。有效像素區(qū)域21具有第一濾波器行FLTl 1，其中R透射濾波器的像素PXlO和G透 射濾波器的像素PX12在水平方向(X方向)上交替地重復。有效像素區(qū)域21具有第二濾波器行FLT12，其中G透射濾波器的像素PX12和B透 射濾波器的像素PXll在水平方向上交替地重復。在有效像素區(qū)域21中，第一和第二濾波器行FLTll和FLT12在垂直方向(Y方向) 上重復地交替排列。排列第一濾波器行FLTll的G透射濾波器的像素PX12和第二濾波器行FLT12的 G透射濾波器的像素PX12，以便在垂直方向上彼此不重疊。一般來說，該濾波器排列用作拜耳排列。此外，與具有RGB濾波器的有效像素31類似，在OB行OPB 11 (其中OB像素32處 于陰影狀態(tài))中可能存在缺陷像素。在虛擬像素行DMYll中不存在缺陷。從多個虛擬像素行DMY11、多個OB行OPBll以及第一和第二濾波器行FLTll和 FLT12交替地輸出這些像素輸出。在第一實施例中，在多個OB行OPB 11和有效像素區(qū)域21的多個行中執(zhí)行缺陷檢 測和校正處理。[缺陷檢測和校正電路的配置示例]圖5是示出根據(jù)第一實施例的缺陷檢測和校正電路17的配置示例的圖。圖6是示出拜耳排列上的處理區(qū)域(5像素X5像素)的示例的圖。圖7是示出當使用偽值作為亮度值時偽亮度值計算處理的圖像的圖。圖8A到圖8D是示出梯度計算中涉及的亮度位置的圖。圖9是示出除了具有與要確定其缺陷的像素相同顏色的像素之外的偽亮度計算 處理的圖像的圖。如圖5所示，缺陷檢測和校正電路17包括線緩沖器171、閾值和系數(shù)設置部件 172、缺陷確定閾值計算部件173、梯度計算部件(梯度檢測部件)174、缺陷確定部件175、校 正值計算部件(校正值獲取部件)176和缺陷像素替換部件177。另外，盡管在第一實施例中描述了梯度檢測的示例，但是本發(fā)明也可以類似地應 用于邊緣檢測的情況。線緩沖器171由四條線的存儲器形成，并根據(jù)從像素部件13輸出的拜耳排列信號 SIM產(chǎn)生(水平方向上5像素)X (垂直方向上5個像素)的處理區(qū)域PRCA (感興趣像素 (要確定其缺陷的像素DJPX)位于中間)，如圖6所示。線緩沖器171將信號S171 (其包括關于所產(chǎn)生的處理區(qū)域PRCA的信息)輸出到 缺陷確定閾值計算部件173和梯度計算部件174。這里，水平方向是圖6所示的坐標系上的X方向，而垂直方向是Y方向。另外，盡管處理區(qū)域是5像素X5像素的區(qū)域，但這僅為示例。例如，本發(fā)明也可 以應用于比5像素X5像素的區(qū)域更大的區(qū)域。缺陷確定閾值計算部件173將從在前一級提供的線緩沖器171輸出的缺陷確定基 準值DJRF乘以閾值和系數(shù)設置部件172所設置的閾值和系數(shù)。盡管不特別地限制缺陷確定基準值DJRF，但具有相同顏色或不同顏色的相鄰像素 的最大值、最小值或平均值、第N最大值或第N最小值(N:2到4)等對應于缺陷確定基準值 DJRF?？梢越M合地應用擴散和相關。缺陷確定閾值計算部件173將計算結(jié)果輸出到缺陷確定部件175，作為信號S173。缺陷確定部件175將使用該要確定其缺陷的像素DJPX或一要確定其缺陷的像素 的計算值與作為閾值的缺陷確定閾值計算部件的計算結(jié)果進行比較，并確定其是否為缺陷像素。缺陷確定部件175將指示要確定其缺陷的像素(感興趣像素)是否為缺陷像素的 確定結(jié)果輸出到缺陷像素替換部件177，作為信號S175。
梯度計算部件174計算要確定其缺陷的像素位于中間的5X5像素的處理區(qū)域的 梯度。一般而言，梯度計算部件174在計算亮度值之后計算梯度。這里，為了簡單起見，將偽值用作亮度值。圖7示出了偽亮度的圖像。通過比較圖7 和圖 6，可以看出“3、(、6、1^111、0、11、《、7”是1 ，“13、(1、1、11、￥、1”是 Gr，而 “f、h、」、？、1~3”是613，并且“8、i、q、S” 是 B。偽亮度的位置是在四個像素圍繞的位置處示出的“A、B、C、D、E、F、G、H、I、J、K、L、 Μ、Ν、0、Ρ”。根據(jù)四個圍繞像素之和來計算偽亮度。例如，A = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)。這些可以是平均值，或者R、Gr、B和( 可以與加權系數(shù)相乘。在偽亮度計算之后，對于每一個方向計算梯度，并且如圖8A到圖8D所示，檢測到 與最緩和的梯度對應的方向。梯度計算可以經(jīng)由差運算或差分運算來執(zhí)行，或者可以以邊 緣檢測來代替。在這種情況下，可以經(jīng)由二次差運算或二次差分運算來執(zhí)行。圖8A到圖8D示出了對于每一個方向以直線對齊的三個連續(xù)亮度值的四個組。圖8A示出了在垂直方向上計算梯度的示例，圖8B示出了在水平方向上計算梯度 的示例，圖8C示出了在右上方向上計算梯度的示例，而圖8D示出了在左上方向上計算梯度 的示例。也就是說，梯度計算部件184在四個方向(垂直方向、水平方向、45°傾斜方向和 135°傾斜方向)上獲取梯度。下面示出二次差分的運算示例。假設以直線對齊的三個亮度值是X、Y和Z，并且設置X-2Y+Z。對于每一個方向計算四個二次差分值，對于每一個方向計算并比較絕對值之和， 并且將與最小值對應的方向設置為最緩和的梯度方向。在第一實施例中，如下運算用于上述偽亮度計算。圖9示出了第一實施例中使用的偽亮度運算的圖像。偽亮度的位置為在四個像素圍繞的位置處示出的“A'、B'、C'、D'、E'、F'、 G'、H'、I'、J'、K'、L'、M'、N'、 ‘、P'，，。在圖9中，根據(jù)除了具有與缺陷像素相同顏色的像素之外的四個圍繞像素的三個 像素之和計算偽亮度。例如，A= (b+f+g)、B = (b+g+h)........P = (s+t+x)。這些可以是平均值，或者R、Gr、B和( 可以以與上述相同的方式與加權系數(shù)相乘。 梯度計算與上述的相同。另外，圖9示出了當感興趣像素是像圖6那樣的拜耳排列的紅(R)或藍⑶時偽 亮度的示例。當感興趣像素是拜耳排列的綠(Gr或( )時，例如，優(yōu)選地對于Gr或( 的每 一個組獨立地根據(jù)除了具有與缺陷像素相同顏色的像素之外的三個像素計算偽亮度。梯度計算部件174從對于多個方向計算出的梯度中選擇最緩和的梯度方向。梯 度計算部件174將指示所選的最緩和的梯度方向的梯度計算結(jié)果輸出到校正值計算部件 176，作為信號S174。根據(jù)在前一級提供的梯度計算部件174所選擇的最緩和的梯度方向，校正值計算 部件176對要用于計算校正值的像素做出決定，并執(zhí)行運算。
當使用圖7中所示的符號時，如果最緩和的傾斜是縱向方向，則將(c+w)/2設置為 缺陷像素m的校正值，如果最緩和的傾斜是水平方向，則將(k+o) /2設置為缺陷像素m的校 正值，如果最緩和的傾斜是右上方向，則將(e+u)/2設置為缺陷像素m的校正值，而如果最 緩和的傾斜是左上方向，則將(a+yV2設置為缺陷像素m的校正值。也就是說，對于要確定其缺陷的像素(感興趣像素)，校正值計算部件176選擇位 于所選的梯度方向上具有相同顏色的多個像素，并計算平均值作為校正值。校正值計算部件176將計算出的校正值輸出到缺陷像素替換部件177，作為信號 S176。當缺陷確定部件175確定要確定其缺陷的像素(感興趣像素)是缺陷像素時，缺 陷像素替換部件177以校正值計算部件176計算出的缺陷像素校正值來替換缺陷像素值。缺陷像素替換部件177輸出包括校正數(shù)據(jù)的圖像信號，作為信號S17。[關于缺陷檢測和校正處理的說明]圖10是示出根據(jù)第一實施例的缺陷檢測和校正電路的缺陷檢測和校正處理的流 程圖的圖。對于形成圖像的所有像素重復地執(zhí)行圖10中的處理。[步驟 ST101]首先，在步驟ST101，線緩沖器171根據(jù)從像素部件13輸出的拜耳排列信號SIM， 產(chǎn)生(水平方向上的5個像素)X (垂直方向上的5個像素)的處理區(qū)域PRCA，其中感興趣 像素(要確定其缺陷的像素DJPX)位于中間。將包括關于由線緩沖器171產(chǎn)生的處理區(qū)域PRCA的信息的信號S171輸出到缺陷 確定閾值計算部件173和梯度計算部件174。在缺陷確定閾值計算部件173中，計算可以從外部設置的閾值以及系數(shù)和缺陷確 定基準值，并且計算用于確定要確定其缺陷的像素是否為缺陷像素的閾值。將計算結(jié)果輸出到缺陷確定部件175，作為信號S173。[步驟 STlO2]在步驟ST102，缺陷確定部件175將缺陷確定閾值計算部件173計算出的閾值與要 確定其缺陷的像素的值進行比較，并確定要確定其缺陷的像素是否為缺陷像素。將確定結(jié)果輸出到缺陷像素替換部件177。這里，當確定要確定其缺陷的像素為缺陷像素時，處理進行到步驟ST103。[步驟 STlO3]在步驟ST103，梯度計算部件174計算當從5X5像素(缺陷像素位于中間)中排 除具有與缺陷像素相同顏色的像素時的偽亮度，并計算所有方向(縱向方向、水平方向、右 上方向和左上方向)上的梯度。[步驟 ST104]在步驟ST104，梯度計算部件174從步驟ST103中計算出的所有方向的梯度中選擇 最緩和的方向。具體地說，選擇邊緣強度輸出值最小的方向。將結(jié)果輸出到校正值計算部件176。[步驟 STlO5]在步驟ST105，在梯度計算部件174選擇的方向上，校正值計算部件176計算彼此 相鄰的、要確定其缺陷的像素插入在其間的、具有相同顏色的兩個像素的平均值。
將計算結(jié)果輸出到缺陷像素替換部件177。[步驟 ST106]在步驟ST106，缺陷像素替換部件177以校正值計算部件176計算出的校正值替換 已經(jīng)被確定為有缺陷的、要確定其缺陷的像素的像素值。[步驟 STlO7]在步驟ST107，將包括步驟ST106中的處理之后以校正值替換的校正數(shù)據(jù)的圖像 信號作為信號S 17輸出到后面的處理系統(tǒng)?；蛘咴诓襟EST107，當在步驟ST102確定要確定其缺陷的像素不是缺陷像素時，將 不包括校正數(shù)據(jù)的圖像信號S17輸出到后面的處理系統(tǒng)。也就是說，按照原樣地輸出要確 定其缺陷的像素DJPX。圖IlA到圖IlC是示出實際的處理圖像的圖。圖IlA示出了原始圖像，圖IlB示出了已經(jīng)使用已知方法校正了其缺陷的圖像，而 圖IlC示出了已經(jīng)使用根據(jù)第一實施例的方法校正了其缺陷的圖像。圖12是示出了在圖IlA到圖IlC所示的情況下像素值的示例的圖。圖13是示出使用已知方法計算出的偽亮度的圖。圖14是示出使用根據(jù)第一實施例的方法計算出的偽亮度的圖。下面示出使用已知方法的梯度計算?？v向方向1942-2構(gòu)40+10361 +11007-2構(gòu)71+9821 +1940-2*1036+10711 +1971-2構(gòu)82+9961 = 209水平方向1616-2*940+9711 +1748-2*1036+9821 +1940-2*971+6811 +11036-2*982+6481 = 1236右上方向1051-2*971+1036|+|971-2*1036+1142|+|1007-2*940+748|+|681-2*982+1071 = 523左上方向1856-2構(gòu)40+982| +1940-2構(gòu)82+9241 +1942-2構(gòu)71+648| +1616-2*1036+996| = 954因此，將最小的縱向方向確定為最緩和的梯度。下面示出第一實施例中的梯度計算?？v向方向I 587-2*456+552 I+ I 652-2*487+498 I+ I 456-2*552+700 I+ I 487-2*498+625 I = 571水平方向I 444-2*456+487 I+ I 576-2*552+498 I+ I 456-2*487+514 I+ I 552-2*498+4811 = 90右上方向I 679-2*487+552| +1487-2*552+724| +1652-2*456+576| +1514-2*498+700| = 898左上方向I 575-2*456+498 I+ I 456-2*498+608 I+ I 587-2*487+4811+ I 444-2*552+625 I = 358因此，將最小的水平方向確定為最緩和的梯度。同樣根據(jù)圖11A，很清楚選擇水平方向作為校正方向是優(yōu)選的。圖IlA示出了水平條紋圖案的圖像。作為修改，可以以具有相同顏色的八個外圍像素的平均值來替換要確定其缺陷的像素的值。圖15是示出當以具有相同顏色的八個外圍像素的平均值來替換要確定其缺陷的 像素從而計算偽亮度時的圖像的圖。在這種情況下，變?yōu)锳 = (a+b+f+g)、B = (b+c+g+h)........P = (s+t+x+y)?？商娲?，可以以具有相同顏色的八個外圍像素之中除了最大和最小值之外的六 個像素的平均值來替換要確定其缺陷的像素的值，或者可以以具有相同顏色的八個外圍像 素之中從最大像素值排除兩個像素且從最小像素值排除兩個像素的四個像素的平均值來 替換要確定其缺陷的像素的值。毫無疑問，可以以中間的兩個像素的平均值來替換要確定其缺陷的像素的值，或 者可以以具有第N最大像素值的像素來替換要確定其缺陷的像素的值。如上所述，根據(jù)第一實施例，可以獲得如下效果。也就是說，根據(jù)第一實施例，當計算梯度時不使用被確定為有缺陷的像素值。因 此，提高了梯度識別的精度。結(jié)果，由于直到輸出圖像的細節(jié)部分對于用戶來說沒有不舒服 的感覺，因此提高了整個圖像的質(zhì)量。特別地，這對于具有高分辨率的輸入圖像很有效。此外，由于不需要添加特殊的復雜操作，因此電路尺寸和功耗與已知技術中的那 些沒有很大不同?！吹诙嵤├礫像素缺陷的種類]第一實施例是當感興趣像素具有缺陷時適當?shù)匦Ｕ信d趣像素的值的示例。另一 方面，第二實施例是當在感興趣像素中以及感興趣像素周圍具有相同顏色的像素中存在缺 陷時(即當存在偶聯(lián)像素缺陷時)，適當?shù)匦Ｕ信d趣像素的值的示例。圖16A和圖16B是當在感興趣像素中存在缺陷時的說明圖。圖16A示出了白缺陷 的示例，而圖16B示出了黑缺陷的示例。在圖16A和圖16B中，以三行X三列排列的九個柱形對應于具有相同顏色的九個 相鄰像素，并且高度對應于每一個像素的像素值。也就是說，中間的柱形是感興趣像素，并 且其周圍的八個柱形對應于感興趣像素周圍具有相同顏色的相鄰像素。另外，當僅感興趣像素具有白缺陷時，感興趣像素的像素值變?yōu)槿鐖D16A中所示 的大值。在這種情況下，感興趣像素的像素值突出于(project out over)具有相同顏色的 外圍像素的像素值(在圖16A中，左上像素的像素值)之上。另外，當僅感興趣像素具有黑缺陷時，感興趣像素的像素值變?yōu)槿鐖D16B所示的 小值。在這種情況下，感興趣像素的像素值低于具有相同顏色的外圍像素的最小像素值 (在圖16B中，右列中中間像素的像素值)。此外，在第一實施例的像素缺陷校正方法中，當僅感興趣像素具有如上所述的缺 陷時，基于不具有缺陷的外圍像素的像素值可以適當?shù)匦Ｕ信d趣像素的像素值。圖17A和圖17B是當感興趣像素和外圍像素中存在缺陷時的說明圖。圖17A示出 了白缺陷的示例，而圖17B示出了黑缺陷的示例。在圖17A和圖17B中，與圖16A和圖16B類似地，九列對應于具有相同顏色的九個相鄰像素。另外，當在感興趣像素和右上外圍像素中存在白缺陷時，感興趣像素的像素值和右上外圍像素的像素值變?yōu)槿鐖D17A所示的大值。在這種情況下，感興趣像素的像素值和 右上外圍像素的像素值突出于具有相同顏色的其他外圍像素的像素值之上。另外，當在感興趣像素和右上外圍像素中存在黑缺陷時，感興趣像素的像素值和 右上外圍像素的像素值變?yōu)槿鐖D17B所示的大值。在這種情況下，感興趣像素的像素值和 右上外圍像素的像素值低于具有相同顏色的其他外圍像素的像素值。因此，當出現(xiàn)偶聯(lián)缺陷時，在第一實施例的像素缺陷校正方法中可能不能適當?shù)?校正感興趣像素的像素值。例如，當基于偽亮度值選擇的邊緣的方向是圖17A和圖17B中的右上方向時，右上 外圍像素和左下外圍像素被選為用于計算校正值的像素。此外，計算有缺陷的右上外圍像素的像素值和沒有缺陷的左下外圍像素的像素值 的平均值，作為感興趣像素的校正值。在這種情況下，認為有缺陷的感興趣像素的校正值受具有缺陷的外圍像素的像素 值影響。也就是說，即使通過第一實施例的像素缺陷校正方法校正感興趣像素的像素值， 以校正值替換的感興趣像素的像素值不合適，這是因為感興趣像素受外圍像素的缺陷影 響。[缺陷檢測和校正電路的配置示例]圖18是示出根據(jù)本發(fā)明第二實施例的缺陷檢測和校正電路17B的配置示例的圖。圖18中所示的缺陷檢測和校正電路17B包括線緩沖器201、相同顏色相鄰像素數(shù) 據(jù)排序部件202、閾值和系數(shù)設置部件203、閾值計算部件204、缺陷確定部件205、用于計算 校正值計算中使用的候選者的部件206以及缺陷像素替換部件207。另外，盡管在第二實施例中描述了邊緣檢測的示例，但是本發(fā)明可以類似地應用 于梯度檢測的情況。除了圖18中所示的那些之外，根據(jù)第二實施例的成像設備的配置與根據(jù)第一實 施例的成像設備的配置相同。因此，具有與第一實施例中相同功能的構(gòu)成組件由與第一實 施例中相同的附圖標記表示，并且將省略其說明。線緩沖器201由圖像的五條線的存儲器形成，這是因為5行X5列的處理區(qū)域是 待計算的對象。線緩沖器201根據(jù)從像素部件13輸出的拜耳排列信號SIM，產(chǎn)生(水平方向上的 5行)X(垂直方向上的5列)的處理區(qū)域PRCA，其中感興趣像素(要確定其缺陷的像素 DJPX)位于中間，如圖6所示。線緩沖器201將包括關于所產(chǎn)生的處理區(qū)域PRCA的信息的信號S201輸出到相同 顏色相鄰像素數(shù)據(jù)排序部件202、缺陷確定部件205以及用于計算校正值計算中使用的候 選者的部件206。這里，水平方向是圖6中所示的坐標系上的X方向，并且垂直方向是Y方向。另外，盡管處理區(qū)域是5像素X5像素的處理區(qū)域，但是這僅為示例。例如，本發(fā) 明也可以應用于比5像素X5像素的區(qū)域更大的區(qū)域。相同顏色相鄰像素數(shù)據(jù)排序(sort)部件202選擇處理區(qū)域中包括的具有相同顏 色的感興趣像素和外圍像素，并且以像素值的次序?qū)⑺鼈冞M行排序。
例如，在圖6所示的處理區(qū)域(5像素X5像素)中，當感興趣像素是紅(R)或藍 (B)時，選擇八個外圍像素，并且以像素值的次序進行排序。此外，當感興趣像素是綠(Gr， Gb)時，例如，對于Gr或( 的每個組獨立地選擇八個外圍像素，并以像素值的次序進行排序。然后，相同顏色相鄰像素數(shù)據(jù)排序部件202將包括排序結(jié)果的信號S202輸出到閾 值計算部件204。閾值計算部件204計算用于在處理區(qū)域中確定缺陷像素的閾值。例如，閾值計算部件204基于在排序結(jié)果中包括的八個外圍像素的像素值之中的 最大值、第二最大值、最小值和第二最小值來計算四個閾值。具體地說，例如，閾值計算部件204將四個像素值乘以通過閾值和系數(shù)設置部件 203外部地設置的閾值和系數(shù)。然后，閾值計算部件204將包括四個閾值的計算結(jié)果的信號S204輸出到缺陷確定 部件205。缺陷確定部件205確定感興趣像素的缺陷、具有與感興趣像素相同顏色的外圍像 素的最大值的缺陷以及具有與感興趣像素相同顏色的外圍像素的最小值的缺陷。也就是 說，缺陷確定部件205確定僅感興趣像素有缺陷的情況、感興趣像素和具有相同顏色的外 圍像素有缺陷的情況(在偶聯(lián)缺陷的情況下)以及沒有缺陷的情況。例如，缺陷確定部件205基于外圍像素的最大值的閾值，確定感興趣像素是否有 缺陷。例如，當感興趣像素的值大于外圍像素的最大值的閾值時，缺陷確定部件205確定感 興趣像素有缺陷。另外，缺陷確定部件205基于外圍像素的第二最大值的閾值確定感興趣像素是否 有缺陷。另外，缺陷確定部件205基于外圍像素的第二最大值的閾值確定最大值的外圍像 素是否有缺陷。通過上述確定，缺陷確定部件205可以確定感興趣像素和具有相同顏色的最大值 的外圍像素中是否包括白缺陷。另外，缺陷確定部件205基于外圍像素的最小值的閾值確定感興趣像素是否有缺 陷。另外，缺陷確定部件205基于外圍像素的第二最小值的閾值確定感興趣像素是否 有缺陷。另外，缺陷確定部件205基于外圍像素的第二最小值的閾值確定最小值的外圍像 素是否有缺陷。通過上述確定，缺陷確定部件205可以確定感興趣像素和具有相同顏色的最大值 的外圍像素中是否包括黑缺陷。然后，缺陷確定部件205將關于感興趣像素和具有相同顏色的外圍像素的缺陷的 確定結(jié)果的信號S205輸出到缺陷像素替換部件207。用于計算校正值計算中使用的候選者的部件206基于要確定其缺陷的像素位于 中間的5X5的處理區(qū)域的邊緣，指定在計算有缺陷的感興趣像素的校正值時使用的具有 相同顏色的外圍像素。
另外，由用于計算校正值計算中使用的候選者的部件206執(zhí)行的計算關于處理區(qū) 域的多個方向上的邊緣強度的處理和由用于計算校正值計算中使用的候選者的部件206 執(zhí)行的選擇處理與第一實施例中梯度計算部件174的那些處理相同。然后，用于計算校正值計算中使用的候選者的部件206指定存在于以感興趣像素 作為基準指定的最緩和邊緣的方向上的兩個像素，作為感興趣像素的校正值的計算中使用 的具有相同顏色的外圍像素。因此，用于計算校正值計算中使用的候選者的部件206可以 在所選邊緣的方向上指定在感興趣像素插入其間的位置的一對像素。另外，用于計算校正值計算中使用的候選者的部件206將包括指示具有相同顏色 的指定的外圍像素的信息輸出到缺陷像素替換部件207。當感興趣像素是缺陷像素時，缺陷像素替換部件207以校正值替換感興趣像素的值。此外，缺陷像素替換部件207根據(jù)由位于前一級的用于計算校正值計算中使用的 候選者的部件206指定的像素的值來計算校正值。具體地說，當在由用于計算校正值計算中使用的候選者的部件206指定的兩個像 素中不包括缺陷像素時，缺陷像素替換部件207計算兩個像素的平均值作為校正值。另外，當在由用于計算校正值計算中使用的候選者的部件206指定的兩個像素中 包括缺陷像素時，缺陷像素替換部件207將兩個像素之間不是缺陷像素的像素的像素值設 置為校正值。另外，當感興趣像素不是缺陷像素時，缺陷像素替換部件207將感興趣像素的像 素值的信號S208輸出到下一級。另外，當感興趣像素是缺陷像素時，缺陷像素替換部件207將包括作為感興趣像 素的像素值的計算出的校正值的信號S208輸出到下一級。結(jié)果，當感興趣像素是缺陷像素時，缺陷像素替換部件207可以以適當?shù)男Ｕ?(其并非基于缺陷像素的值)替換感興趣像素的值，并將其輸出。[關于缺陷檢測和校正處理的說明]圖19是示出第二實施例中缺陷檢測和校正電路17B的缺陷檢測和校正處理的流 程圖的圖。對于形成圖像的所有像素重復地執(zhí)行圖19中的處理。[步驟 ST201]首先，在步驟ST201，線緩沖器201根據(jù)從像素部件13輸出的拜耳排列信號SIM， 產(chǎn)生(水平方向上的5個像素)X (垂直方向上的5個像素)的處理區(qū)域PRCA，感興趣像素 (要確定其缺陷的像素DJPX)位于中間。將包括關于由線緩沖器201產(chǎn)生的處理區(qū)域PRCA的信息的信號S201輸出到相同 顏色相鄰像素數(shù)據(jù)排序部件202和用于計算校正值計算中使用的候選者的部件206。此外，線緩沖器201將包括關于感興趣像素的信息的信號輸出到缺陷確定部件 205。然后，用于計算校正值計算中使用的候選者的部件206根據(jù)處理區(qū)域PRCA中包括 的多個像素的像素值來計算偽亮度。在5行X5列的處理區(qū)域中，計算4行X4列的偽亮度。另外，盡管在第二實施例中根據(jù)除了感興趣像素和具有相同顏色的外圍像素之外的像素的亮度值來計算每一個偽亮度，但是每一個偽亮度也可以根據(jù)5行X5列的處理區(qū) 域中所有像素的像素值來計算。[步驟 ST202]在步驟ST202，用于計算校正值計算中使用的候選者的部件206根據(jù)偽亮度，計算 在處理區(qū)域的所有方向(縱向方向、水平方向、右上方向和左上方向)上的邊緣強度。[步驟 ST203]在步驟ST203，用于計算校正值計算中使用的候選者的部件206從步驟ST202中計 算出的所有方向的邊緣強度中選擇最緩和的方向(弱方向)。具體地說，選擇其中邊緣強度 輸出值最小的方向。用于計算校正值計算中使用的候選者的部件206將包括所選邊緣的方向的信號 輸出到缺陷像素替換部件207。[步驟 ST204]在步驟ST204，相同顏色相鄰像素數(shù)據(jù)排序部件202選擇處理區(qū)域中包括的感興 趣像素和具有相同顏色的外圍像素，并以像素值的次序?qū)⑵渑判颉Ｈ缓?，相同顏色相鄰像?數(shù)據(jù)排序部件202將包括排序結(jié)果的信號S202輸出到閾值計算部件204。[ST205]在步驟ST205，閾值計算部件204計算用于確定處理區(qū)域中的缺陷像素的閾值。 閾值計算部件204基于排序結(jié)果中包括的多個外圍像素的像素值之中的最大值、第二最大 值、最小值和第二最小值，來計算四個閾值。然后，閾值計算部件204將包括四個閾值的計 算結(jié)果的信號S204輸出到缺陷確定部件205。[步驟 ST206]在步驟ST206，缺陷確定部件205確定具有相同顏色的相鄰像素中是否包括缺陷。具體地說，缺陷確定部件205基于外圍像素的第二最大值的閾值來確定最大值的 相鄰像素是否有缺陷。另外，缺陷確定部件205基于外圍像素的第二最小值的閾值來確定最小值的外圍 像素是否有缺陷。[步驟 ST2O7]步驟ST207是當具有相同顏色的相鄰像素中不包括缺陷時缺陷確定部件205執(zhí)行 的確定感興趣像素的缺陷的步驟。當在具有相同顏色的相鄰像素中不包括缺陷時，缺陷確定部件205基于外圍像素 的最大值的閾值來確定感興趣像素是否有缺陷。另外，缺陷確定部件205基于外圍像素的最小值的閾值來確定感興趣像素是否有 缺陷。[步驟 ST208]步驟ST208是當感興趣像素和具有相同顏色的相鄰像素中不包括缺陷時，缺陷像 素替換部件207執(zhí)行的獲取校正值的步驟。當在感興趣像素和具有相同顏色的相鄰像素中不包括缺陷時，缺陷像素替換部件 207獲取感興趣像素的像素值作為校正值。[步驟 ST209]
步驟ST209是當僅感興趣像素有缺陷時缺陷像素替換部件207執(zhí)行的獲取校正值 的步驟。當僅感興趣像素有缺陷時，缺陷像素替換部件207在步驟ST203中選擇的最弱方 向上選擇具有相同顏色的一對相鄰像素(位于感興趣像素插入在其間的位置)。另外，缺陷像素替換部件207計算具有相同顏色的兩個所選的相鄰像素的像素值 的平均值作為校正值。[步驟 ST210]步驟ST210是當具有相同顏色的相鄰像素中包括缺陷時，缺陷確定部件執(zhí)行的確 定感興趣像素的缺陷的步驟。當在具有相同顏色的相鄰像素中包括缺陷時，缺陷確定部件205基于外圍像素的 第二最大值的閾值來確定感興趣像素是否有缺陷。另外，缺陷確定部件205基于外圍像素的第二最小值的閾值來確定感興趣像素是 否有缺陷。因此，用于確定感興趣像素的缺陷的標準和用于確定具有相同顏色的相鄰像素的 缺陷的標準二者是具有相同顏色的相鄰像素的第二最大值或第二最小值。結(jié)果，可以避免基于具有相同顏色的多個相鄰像素的像素值之中最大或最小的缺 陷像素的像素值來確定感興趣像素的缺陷的情形?？梢愿鶕?jù)正常像素值來確定感興趣像素 的缺陷。[步驟 ST2Il]步驟ST211是當僅具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207執(zhí) 行的獲取校正值的步驟。當僅具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207獲取感興趣像素 的像素值作為校正值。[步驟 ST2I2]步驟ST212是當感興趣像素和具有相同顏色的相鄰像素有缺陷時，缺陷像素替換 部件207執(zhí)行的確定步驟。當感興趣像素和具有相同顏色的相鄰像素有缺陷時，缺陷像素替換部件207確定 在步驟ST203中選擇的最緩和的方向上是否包括被確定有缺陷的最大值或最小值。然后，當在最緩和的方向上不包括被確定為有缺陷的最大值或最小值時，缺陷像 素替換部件207通過步驟ST209中的處理，計算具有相同顏色的兩個相鄰像素(其在最緩 和的方向上彼此相鄰)的像素值的平均值，作為校正值。[步驟 ST213]步驟ST213是當在最緩和的方向上包括被確定為有缺陷的最大值或最小值時，缺 陷像素替換部件207執(zhí)行的獲取校正值的步驟。當在最緩和的方向上包括被確定為有缺陷的最大值或最小值時，缺陷像素替換部 件207獲取未被確定為有缺陷的具有相同顏色的相鄰像素的像素值作為校正值。也就是說，缺陷像素替換部件207根據(jù)最緩和的方向上具有相同顏色的多個相鄰 像素之中的缺陷像素以外的像素的值獲取校正值。[步驟 ST214]
在步驟ST214，缺陷像素替換部件207以步驟ST208、ST209、ST211或ST213中獲 取的校正值來替換感興趣像素的像素值。缺陷像素替換部件207將包括所獲取的校正值的信號輸出到下一處理系統(tǒng)，作為 感興趣像素的像素值。[像素缺陷校正的示例]圖20到圖22是示出實際的處理圖像的圖。圖20示出了原始圖像。在圖20中所示的原始圖像中，嵌入了一對偶聯(lián)像素缺陷。圖21示出了通過使用根據(jù)第一實施例的方法來校正圖20中的圖像所獲得的圖像。圖22示出了通過使用根據(jù)第二實施例的方法來校正圖20中的圖像所獲得的圖像。在根據(jù)第一實施例的像素缺陷校正方法中，偶聯(lián)像素缺陷(缺陷分量)幾乎保持 原樣，如圖21所示。另一方面，在根據(jù)第二實施例的像素缺陷校正方法中，實現(xiàn)了幾乎完全的校正，以 使得存在偶聯(lián)像素缺陷的地方不清楚，如圖22所示。如上所述，根據(jù)第二實施例，可以獲得如下效果。也就是說，根據(jù)第二實施例，當計算邊緣時不使用被確定為有缺陷的像素值。因 此，提高了邊緣強度的精度。結(jié)果，由于直到輸出圖像的細節(jié)部件不存在不舒服的感覺，因 此提高了整體圖像的質(zhì)量。特別地，這對于具有高分辨率的輸入圖像很有效。此外，由于不需要添加特殊的復雜操作，因此電路尺寸和功耗與已知技術中的那 些沒有很大不同。此外，在第二實施例中，不僅在僅感興趣像素有缺陷的情況下而且在存在偶聯(lián)缺 陷的情況下，獲取感興趣像素的校正值，而不使用缺陷像素的值。因此，在第二實施例中，可以執(zhí)行校正，以使得不剩下組成部分。此外，第二實施例的算法可以通過部分地擴展一部分已知算法來實現(xiàn)。另外，不需 要存儲外圍像素的最大值或最小值的位置。因此，可以抑制電路尺寸或功耗的增大。此外，在第二實施例中，缺陷確定部件205基于外圍像素的第二最大值或第二最 小值，確定處理區(qū)域中包括的外圍像素之中最大值或最小值的外圍像素的缺陷。另外，當最大值或最小值的外圍像素沒有缺陷時，缺陷確定部件205基于最大值 或最小值確定感興趣像素的缺陷。另外，當最大值或最小值的外圍像素有缺陷時，缺陷確定部件205基于第二最大 值或第二最小值確定感興趣像素的缺陷。因此，在第二實施例中，可以避免當處理區(qū)域的圖像整體上亮或暗時確定感興趣 像素和最大值或最小值的外圍像素有缺陷的情形。[關于另一缺陷檢測和校正處理的說明]第二實施例中的圖19中所示的流程圖是在與圖10的第一實施例中的流程圖對應 的流程中校正像素缺陷。另外，可以考慮校正像素缺陷的另一處理。圖23是示出第二實施例中缺陷檢測和校正電路17B的另一缺陷檢測和校正處理 的流程圖的圖。對于形成圖像的所有像素重復地執(zhí)行圖23中的處理。
圖23中的處理流程適于圖18所示的缺陷檢測和校正電路17B的配置，并且比圖 18中所示的缺陷檢測和校正電路17B執(zhí)行圖19中的處理的情況更容易地執(zhí)行。[步驟 ST301]在圖23中所示的步驟ST301，相同顏色相鄰像素數(shù)據(jù)排序部件202選擇處理區(qū)域 中包括的感興趣像素和具有相同顏色的外圍像素，并且以像素值的次序?qū)⑵渑判?。[步驟 ST302]在步驟ST302，閾值計算部件302計算用于確定處理區(qū)域中的缺陷像素的閾值。具體地說，閾值計算部件204基于排序結(jié)果中包括的多個外圍像素的像素值之中 的最大值、第二最大值、最小值和第二最小值來計算四個閾值。[步驟 ST303]在步驟ST303，缺陷確定部件205確定感興趣像素和具有相同顏色的相鄰像素中 是否包括缺陷。在這種情況下，缺陷確定部件205確定以下三件事以便確定白缺陷，并且產(chǎn)生三 位確定結(jié)果數(shù)據(jù)(xl，x2，x3)。1.基于外圍像素的最大值的閾值來確定感興趣像素的白缺陷(xl)。2.基于外圍像素的第二最大值的閾值來確定感興趣像素的白缺陷(x2)。3.基于外圍像素的第二最大值的閾值來確定最大值的相鄰像素的白缺陷(x3)。此外，缺陷確定部件205確定以下三件事以便確定黑缺陷，并且產(chǎn)生三位確定結(jié) 果數(shù)據(jù)(yl，y2，y3)。4.基于外圍像素的最小值的閾值來確定感興趣像素的黑缺陷(yl)。5.基于外圍像素的第二最小值的閾值來確定感興趣像素的黑缺陷(y2)。6.基于外圍像素的第二最小值的閾值來確定最小值的外圍像素的黑缺陷(y3)。這里，當確定結(jié)果數(shù)據(jù)(xl,x2,x3)和(yl，y2，y3)是(1，X，0)(其中，X是0或1) 時，在外圍像素中沒有缺陷，并且僅感興趣像素有缺陷(正常缺陷)。此外，當確定結(jié)果數(shù)據(jù)(xl, x2, x3)和(yl, y2，y3)是(0,1,1)時，外圍像素和感 興趣像素有缺陷(相鄰缺陷)。此外，當確定結(jié)果數(shù)據(jù)(xl, x2, x3)和(yl, y2，y3)是(0,0,0)時，外圍像素和感 興趣像素沒有缺陷(無校正)。[步驟 ST304]步驟ST304是當步驟ST303的確定結(jié)果數(shù)據(jù)指示正常缺陷時執(zhí)行的步驟。在步驟ST304，用于計算校正值計算中使用的候選者的部件206基于偽亮度，在處 理區(qū)域的所有方向(縱向方向、水平方向、右上方向和左上方向)上計算邊緣強度。另外， 用于計算校正值計算中使用的候選者的部件206從計算出的所有方向的邊緣強度中選擇 最緩和的方向。此外，作為正常缺陷校正處理，缺陷像素替換部件207在最緩和方向上計算具有 相同顏色的多個相鄰像素的平均值。[步驟 ST305]步驟ST305是當步驟ST303中的確定結(jié)果數(shù)據(jù)指示相鄰缺陷時執(zhí)行的步驟。在步驟ST305，用于計算校正值計算中使用的候選者的部件206基于偽亮度，在處21理區(qū)域的所有方向(縱向方向、水平方向、右上方向和左上方向)上計算邊緣強度。另外， 用于計算校正值計算中使用的候選者的部件206從計算出的所有方向的邊緣強度中選擇 最緩和的方向。此外，作為相鄰缺陷校正處理，缺陷像素替換部件207獲取在最緩和的方向上具 有相同顏色的多個相鄰像素之中的沒有缺陷的像素的像素值。此外，在步驟ST305，當具有不同顏色的相鄰像素或具有相同顏色的相鄰像素中包 括多個高亮度像素時，缺陷像素替換部件207可以執(zhí)行相鄰缺陷校正處理的例外處理。例如，當具有不同顏色的相鄰像素的最大值和第二最大值以及感興趣像素的值全 部為高亮度時，處理范圍的圖像被認為是亮的實型圖像(solid patternimage) 0另外，當具有不同顏色的相鄰像素的最小值和第二最小值以及感興趣像素的值全 部為低亮度時，處理范圍的圖像被認為是暗的實型圖像。在這些情況下，優(yōu)選地，缺陷像素替換部件207執(zhí)行正常缺陷校正處理或不執(zhí)行 校正以作為例外處理。[步驟 ST306]在步驟ST306，缺陷像素替換部件207使用在步驟ST304和ST305中獲得的校正值 來替換感興趣像素的像素值。[步驟 ST307]在步驟ST307，缺陷像素替換部件207將包括所獲取的校正值的信號或包括沒有 缺陷的感興趣像素的像素值的信號輸出到下一處理系統(tǒng)，作為感興趣像素的像素值。因此，在圖23中所示的像素缺陷校正處理中，當缺陷確定部件205確定缺陷時，在 一個步驟中執(zhí)行三種確定。因此，圖23中所示的像素缺陷校正處理適于圖18中所示的缺 陷檢測和校正電路17B的配置。盡管上述實施例是本發(fā)明優(yōu)選實施例的示例，但是本發(fā)明不限于此，在不脫離本 發(fā)明的精神和范圍的情況下可以進行各種修改和變化。例如，以上描述的每一個實施例均可應用于使用CMOS圖像傳感器作為圖像傳感 器(固態(tài)成像器件)的固態(tài)成像設備。固態(tài)成像設備可以應用于具有各種成像功能的設備，如移動電話、攝像機和數(shù)碼 相機。此外，以上詳細描述的每一個實施例的方法也可以實現(xiàn)為由計算機(如，CPU)執(zhí) 行的根據(jù)以上過程的程序。另外，可以將這種程序記錄在記錄介質(zhì)(如半導體存儲器、磁盤、光盤和軟(注冊 商標)盤)中，并且其中設置有記錄介質(zhì)的計算機可以存取和執(zhí)行該程序。在第二實施例中，當感興趣像素和具有相同顏色的相鄰像素有缺陷時，基于具有 相同顏色的相鄰像素的第二值的閾值來確定這些像素的缺陷。另外，例如，當處理區(qū)域中包括的具有相同顏色的多個外圍像素以其值的次序排 列時，可以以排列的第η (η是3或更大的自然數(shù))最大值或第η最小值作為基準來確定與 每一處理有關的像素的缺陷。例如，基于外圍像素的第η最大值，可以確定在處理區(qū)域中包括的多個外圍像素 之中，從最大值或最小值到第(η-1)個值的多個外圍像素的缺陷以及感興趣像素的缺陷。
在這種情況下，例如，即使當具有相同顏色的相鄰像素中包括(n-1)個缺陷時，也 可以基于被認為正常的第η個值，來適當?shù)卮_定這些缺陷。例如，當?shù)谌齻€值是基準時，可以確定由感興趣像素和兩個相鄰像素引起的三聯(lián) (triplet)缺陷。與第一實施例中的梯度計算部件174類似地，第二實施例中的用于計算校正值計 算中使用的候選者的部件206基于除了有與感興趣像素相同顏色的外圍像素之外的具有 不同顏色的外圍像素的像素值來計算偽亮度，并計算處理區(qū)域的多個方向上的邊緣強度。此外，例如，用于計算校正值計算中使用的候選者的部件206可以計算包括具有 與感興趣像素相同顏色的外圍像素的偽亮度，并且可以計算處理區(qū)域的多個方向上的梯 度。本申請包含與分別在2009年11月2日和2010年4月1日向日本專利局提交的 日本優(yōu)先權專利申請JP 2009-25M48和JP 2010-085351中公開的主題有關的主題，將其 全部內(nèi)容通過引用的方式合并在此。本領域的技術人員應該理解，根據(jù)設計要求和其他因素，可以出現(xiàn)各種修改、組 合、部分組合和變更，只要它們落在所附權利要求及其等價物的范圍內(nèi)即可。
權利要求
1 一種像素缺陷校正器件，包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；梯度檢測部件，至少基于處理區(qū)域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中 間；校正值獲取部件，根據(jù)檢測到的梯度或邊緣，選擇用于所述感興趣像素的校正值的獲 取的像素，并根據(jù)所選的像素的值來獲取所述校正值；和缺陷像素替換部件，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述 感興趣像素的值。
2.根據(jù)權利要求1所述的像素缺陷校正器件，其中所述圖像的多個像素中的每一個對應于從預定數(shù)量的顏色中選擇的顏色，以及所述梯度檢測部件基于具有與所述感興趣像素不同顏色的外圍像素的值，檢測所述處 理區(qū)域的梯度或邊緣。
3.根據(jù)權利要求2所述的像素缺陷校正器件，其中，為了在所述處理區(qū)域中檢測梯度或邊緣，所述梯度檢測部件基于所述處理區(qū)域 中包括的具有與所述感興趣像素不同顏色的外圍像素的值，對于所述處理區(qū)域中的多個方 向獲取梯度或邊緣，并從所獲取的多個方向上的梯度或邊緣選擇與最緩和的梯度或邊緣相 對應的方向，以及所述校正值獲取部件以所述感興趣像素作為基準，選擇存在于最緩和的梯度或邊緣方 向上的具有與所述感興趣像素相同顏色的像素。
4.根據(jù)權利要求3所述的像素缺陷校正器件，其中，所述梯度檢測部件獲取所述處理區(qū)域的像素排列中包括縱向方向、水平方向、右 上方向和左上方向的四個方向上的梯度或邊緣。
5.根據(jù)權利要求2到4中任意一個所述的像素缺陷校正器件，其中，當以所述感興趣像素作為基準，在最緩和的梯度或邊緣方向上包括具有與所述 感興趣像素相同顏色的缺陷像素時，所述梯度檢測部件將所選的梯度或邊緣方向改變到另 一方向。
6.根據(jù)權利要求2到5中的任意一個所述的像素缺陷校正器件，其中，所述校正值獲取部分獲取所述處理區(qū)域中具有與所述感興趣像素相同顏色的多 個外圍像素的值的平均值。
7.根據(jù)權利要求6所述的像素缺陷校正器件，其中，所述校正值獲取部件根據(jù)至少除了最大值和最小值之外的、所述處理區(qū)域中具 有與所述感興趣像素相同顏色的多個外圍像素的值來獲取所述平均值。
8.根據(jù)權利要求1到5中的任意一個所述的像素缺陷校正器件，其中，所述校正值獲取部件以所述感興趣像素作為基準，選擇存在于由所述梯度檢測 部件檢測到的梯度或邊緣方向上的多個像素，并獲取所述多個像素的值的平均值作為所述 校正值。
9.根據(jù)權利要求8所述的像素缺陷校正器件，其中，所述校正值獲取部件以所述感興趣像素作為基準，確定存在于所述梯度或邊緣 方向上的多個像素中是否包括缺陷像素，并且當在所述多個像素中包括缺陷像素時，根據(jù) 所述多個像素之中缺陷像素以外的像素的值來獲取所述校正值。
10.根據(jù)權利要求9所述的像素缺陷校正器件，其中，所述校正值獲取部件基于外圍像素的第二最大值或第二最小值，在所述處理區(qū) 域中包括的多個外圍像素之中確定最大值或最小值的外圍像素的缺陷，以及所述缺陷確定部件在最大值或最小值的外圍像素沒有缺陷時基于最大值或最小值來 確定所述感興趣像素的缺陷，而在最大值或最小值的外圍像素有缺陷時基于第二最大值或 第二最小值來確定所述感興趣像素的缺陷。
11.根據(jù)權利要求9所述的像素缺陷校正器件，其中，所述校正值獲取部件基于外圍像素的第η最大或最小值，在所述處理區(qū)域中包 括的多個外圍像素之中，確定從最大值或最小值到第(η-1)個值的多個外圍像素的缺陷， 其中η是2或更大的自然數(shù)，以及所述缺陷確定部件在最大值或最小值的外圍像素沒有缺陷時，基于最大值或最小值來 確定所述感興趣像素的缺陷，而當最大值或最小值的外圍像素有缺陷時，基于第η最大或 最小值來確定所述感興趣像素的缺陷。
12.—種成像設備，包括像素部件，包括成像被攝體圖像的成像器件；以及像素缺陷校正器件，從所述成像器件接收圖像數(shù)據(jù)，并執(zhí)行像素缺陷校正處理， 其中所述像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式 排列每一個均具有像素值的多個像素；梯度檢測部件，至少基于處理區(qū)域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中 間；校正值獲取部件，根據(jù)檢測到的梯度或邊緣，選擇用于所述感興趣像素的校正值的獲 取的像素，并根據(jù)所選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述 感興趣像素的值。
13.一種像素缺陷校正方法，包括如下步驟確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具 有像素值的多個像素；至少基于處理區(qū)域中包括的所述感興趣像素周圍的外圍像素的值，在所述處理區(qū)域中 檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中間；根據(jù)檢測到的梯度或邊緣，選擇用于所述感興趣像素的校正值的獲取的像素，并根據(jù) 所選的像素的值來獲取校正值；以及當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述感興趣像素的值。
14.一種程序，使得計算機執(zhí)行像素缺陷校正處理，包括缺陷確定處理，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；方向檢測處理，至少基于處理區(qū)域中包括的所述感興趣像素周圍的外圍像素的值， 在所述處理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中 間；校正值獲取處理，根據(jù)檢測到的梯度或邊緣，選擇用于所述感興趣像素的校正值的獲 取的像素，并根據(jù)所選的像素的值來獲取校正值；以及替換處理，當確定所述感興趣像素為圖像的缺陷時，以所述校正值替換所述感興趣像 素的值。
全文摘要
提供了像素缺陷校正器件、成像設備、像素缺陷校正方法和程序。該像素缺陷校正器件包括缺陷確定部件，確定圖像的感興趣像素是否為圖像的缺陷，在所述圖像中以二維方式排列每一個均具有像素值的多個像素；梯度檢測部件，至少基于處理區(qū)域中包括的感興趣像素周圍的外圍像素的值，在處理區(qū)域中檢測梯度或邊緣，所述處理區(qū)域包括多個像素，其中感興趣像素位于中間；校正值獲取部件，根據(jù)檢測到的梯度或邊緣，選擇用于感興趣像素的校正值的獲取的像素，并根據(jù)所選的像素的值來獲取校正值；以及缺陷像素替換部件，當確定感興趣像素為缺陷時，以校正值替換感興趣像素的值。
文檔編號H04N5/367GK102055917SQ20101052198
公開日2011年5月11日 申請日期2010年10月26日 優(yōu)先權日2009年11月2日
發(fā)明者橋爪淳 申請人:索尼公司