專利名稱：圖像處理裝置、非攝像色信號算出裝置以及圖像處理方法
技術領域：
本發(fā)明涉及如下裝置和方法在各光電轉(zhuǎn)換元件上粘貼用于紅色(R色)、綠色(B色)或藍色(B色)中的任意一種的彩色濾光片，使用以光電轉(zhuǎn)換元件作為形成圖像的像素并且配置成二維狀的1個二維攝像元件(下面稱為攝像元件)，對于通過攝像得到的圖像信息，使用從配置在該光電轉(zhuǎn)換元件周圍的光電轉(zhuǎn)換元件得到的同種顏色的顏色信號，算出從各光電轉(zhuǎn)換元件未得到的顏色信號(插值色)，從而虛擬地從各光電轉(zhuǎn)換元件得到R色、G色、B色各色的信號電平。
背景技術：
在使用CCD(Charge Coupled Devices，電荷耦合器件)的攝像元件的圖像輸入裝置中，具有如下的攝像方法在各光電轉(zhuǎn)換元件上粘貼用于紅色(R色)、綠色(G色)或藍色(B色)中的任意一種的彩色濾光片，使用以光電轉(zhuǎn)換元件作為形成圖像的像素并且配置成二維狀的1個攝像元件，對于通過攝像得到的圖像信息，使用從配置在該光電轉(zhuǎn)換元件周圍的光電轉(zhuǎn)換元件得到的同種顏色的顏色信號，算出從各光電轉(zhuǎn)換元件未得到的顏色信號(插值色)，從而虛擬地從各光電轉(zhuǎn)換元件得到R色、G色、B色各色的信號電平。圖10示出以一般的拜耳(Bayer)型排列配置光電轉(zhuǎn)換元件的例子。另外，各光電轉(zhuǎn)換元件負責由攝像元件拍攝的圖像的各圖像。另外，m行n列的位置處的像素的顏色取決于從配置在該位置處的光電轉(zhuǎn)換元件得到的信號(攝像色信號)。
作為根據(jù)從攝像元件得到的圖像信息進行顏色信號插值、得到彩色圖像的方法，說明現(xiàn)有技術的線性插值法(下面稱為現(xiàn)有技術1)。各光電轉(zhuǎn)換元件只能得到1種顏色信號(攝像色信號)，對于在各光電轉(zhuǎn)換元件中不能得到的其他顏色的信號(非攝像色信號)，根據(jù)輸出與該非攝像色信號同種顏色的信號的、配置在周圍的其他光電轉(zhuǎn)換元件的輸出信號來生成?，F(xiàn)在，若著眼于G色信號，則在圖11所示的位置上存在通過攝像得到的G信號(用大寫“G”表述)。對于作為插值生成顏色信號的對象像素的注目像素，通過從與該注目像素相鄰的前后左右4個像素的信號，利用線性插值法算出平均值，并生成不存在G信號的像素中的G信號(用小寫“g”表述)，可得到全部像素的G信號。另外，若著眼于B信號，則如圖12所示，通過從相鄰的上下2個像素的B信號生成b1信號，從上下左右4個像素的B信號生成b2信號，從左右2個像素的B信號生成b3信號，分別利用線性插值法等得到全部畫面的B信號。在R信號中，如圖13所示，也可利用與B信號同樣的方法，對全部像素的信號進行插值。利用上述方法，可得到全部像素中的R、G及B信號(該線性插值例如使用低通濾波器)。
但是，現(xiàn)有技術1的方法存在不能得到足夠的分辨率、在圖像的邊緣部分產(chǎn)生在原來的被攝體中不存在的偽色的問題。這起因于在各像素上配置1種顏色的彩色濾光片來拍攝圖像。即，由于在各像素上配置1種顏色的彩色濾光片來進行拍攝，所以空間頻率特性或相位不同，利用現(xiàn)有技術1的線性插值法不能充分還原高頻分量，從而各R、G、B色均不能得到對應于像素數(shù)量的分辨率。
為了解決該問題，本申請人在特開平5-56446號公報(下面稱為現(xiàn)有技術2)中申請了使用顏色相關性來執(zhí)行高分辨率且良好地控制了偽色的顏色插值的方法。下面，說明現(xiàn)有技術2。
在圖10中，注目像素是m行n列的G位置時，R、B信號電平的算出方法通過如式1、式2所示求出不同顏色之間的信號變化的變化率(式1中為RLPF與GLPF之比、式2中為BLPF與GLPF之比)來進行。這里，RLPF表示作為將R信號輸入低通濾波器(LPF)時的輸出值的LPF輸出值，GLPF表示G的LPF輸出值，BLPF表示B的LPF輸出值，G(m，n)表示作為由攝像像素中的注目像素G的位置處的光電轉(zhuǎn)換元件實際拍攝得到的輸出信號的攝像色信號。R(m，n)表示在G的位置算出的插值色R的信號值，B(m，n)表示在G的位置算出的插值色B的信號值。這些R(m，n)、B(m，n)可以使用作為實際拍攝的攝像色信號的G(m，n)，通過下面示出的式1、式2求出。另外，由于G(m，n)是求出R(m，n)、B(m，n)時參照的顏色，所以也稱為參照色。
R(m,n)=G(m,n)×RLPFGLPF]]>……(式1)[式2]B(m,n)=G(m,n)×BLPFGLPF]]>……(式2)將式1或式2一般化，若設注目像素的攝像色為J色、該位置為(m，n)，則在位置(m，n)，將與J色不同種類的H色作為插值色來進行插值生成時的算出方式用式3表示。
H(m,n)=J(m,n)×HLPFJLPF]]>……(式3)現(xiàn)有技術2的方法利用攝像圖像的一般特征，即，顏色信號的變化比亮度信號的變化小，換言之，在不同顏色之間存在顏色相關性高的區(qū)域。圖14是利用式3在存在G彩色濾光片的像素位置處插值生成R色時的模式圖。為了簡化說明，該圖示出僅考慮一維方向的攝像元件的情況。在圖中，用黑圓標記及白圓標記示出的信號表示利用攝像元件實際拍攝的各色的信號電平。用2點點劃線示出的曲線表示作為參照色的G色信號的信號變化，用實線示出的曲線表示在存在G色彩色濾光片的像素位置處對R色信號進行了正確插值時所期待的信號變化。在圖中，使用現(xiàn)有技術1的線性插值法插值時生成的R色信號生成為雙線上的×標記的信號電平。這種情況下，在信號電平變化緩慢的區(qū)域中無問題地生成妥當?shù)男盘栯娖街担趫D像邊緣的信號電平變化急劇的區(qū)域中插值的顏色信號沒有被充分再現(xiàn)，顏色之間的信號變化產(chǎn)生偏差，從而作為原來沒有的偽色而被感知。相反，使用現(xiàn)有技術2的方法進行插值色的插值時生成的顏色信號再現(xiàn)為圖的星標記示出的信號電平。因此，通過充分再現(xiàn)圖像中的邊緣而得到的全彩色圖像為高分辨率且偽色少的高畫質(zhì)圖像。
但是，由于現(xiàn)有技術2的方法在求插值色時使用參照色的局部信號電平的變化率，所以存在產(chǎn)生特有的畫質(zhì)劣化的情況。圖15是利用現(xiàn)有技術2的方法進行顏色插值時產(chǎn)生畫質(zhì)劣化的情況的模式圖。如圖所示，在所參照的信號電平的LPF輸出值小、傳感器輸出信號由于暗部噪聲的影響等產(chǎn)生變化、要插值生成的信號電平的LPF輸出值高時，即，在有彩色區(qū)域中，插值色信號以與參照色信號的變化成正比地反應的方式產(chǎn)生很大變化，結果，注目像素會產(chǎn)生原來圖像中沒有的黑斑或白斑。
例如，假定R、G、B信號各為10比特(0～1023范圍，0暗、1023明)的攝像裝置，在圖15中，當作為局部信號電平，G1＝4、G3＝1、G5＝4、R2＝R4＝1023，且各LPF通過簡單平均算出時，式3具體地進行式4～式6的運算。
GLPF＝(4+1+4)/3＝3……(式4)[式5]RLPF＝(1023+1023)/2＝1023……(式5)[式6]r3＝G3×RLPF/GLPF＝1×1023/3＝341……(式6)因此，生成的插值信號值r3與配置在同種顏色周圍的像素的信號電平相比，是極小的值。即，現(xiàn)有技術2作為在使用攝像元件的攝像裝置中對顏色信號進行插值的方法，是高畫質(zhì)且偽色少的有效方法，但由于傳感器噪聲特性的影響或所拍攝的圖案，存在引起方法固有的畫質(zhì)劣化的問題。
專利文獻1日本專利申請公開號特開平5-56446號專利文獻2日本專利申請公開號特開2001-078211號專利文獻3日本專利申請公開號特開2000-165894號非專利文獻1“National Technical Report”(Vol.31 No.1Feb.1985)株式會社松下テクノリサチ(Matsushita TechnoResearch)發(fā)行、株式會社オム社(Ohmsha，Ltd.)銷售發(fā)明內(nèi)容發(fā)明所要解決的技術問題本發(fā)明所要解決的技術問題是，在僅使用現(xiàn)有技術1的情況下，在圖像中不能得到足夠的分辨率，在圖像的邊緣部分產(chǎn)生在原來的被攝體中不存在的偽色；在僅使用現(xiàn)有技術2的情況下，像素產(chǎn)生原來圖像中沒有的黑斑或白斑。
解決技術問題的技術手段為了實現(xiàn)該目的，本發(fā)明提供一種圖像處理裝置，利用攝像元件得到圖像，該攝像元件將具有第1～第N的N種光譜靈敏度特性中的某一種光譜靈敏度特性的光電轉(zhuǎn)換元件排列在二維平面上，其特征在于，該圖像處理裝置具備第1算出部件，根據(jù)從注目像素周圍的像素的第H光譜靈敏度特性的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于該注目像素的第H插值色的非攝像色信號；第2算出部件，通過將光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使對應于上述注目像素的攝像色的第J攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號；和第3算出部件，使用上述第1算出部件的算出結果和上述第2算出部件的算出結果，算出對應于上述注目像素的第H插值色的非攝像色信號。
發(fā)明效果根據(jù)本發(fā)明，由于在利用將具有第1～第N的N種光譜靈敏度特性中的某一種光譜靈敏度特性的光電轉(zhuǎn)換元件排列在二維平面上的攝像元件得到圖像的圖像處理裝置中，具備第1算出部件，根據(jù)從注目像素周圍的像素的第H光譜靈敏度特性的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于該注目像素的第H插值色的非攝像色信號；第2算出部件，通過將光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使對應于上述注目像素的攝像色的第J攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號；和第3算出部件，使用上述第1算出部件的算出結果和上述第2算出部件的算出結果，算出對應于上述注目像素的第H插值色的非攝像色信號，所以可得到仍產(chǎn)生現(xiàn)有技術1和現(xiàn)有技術2的優(yōu)點、可良好地抑制畫質(zhì)劣化的發(fā)生、實用性高的攝像裝置。


圖1是本發(fā)明實施方式1的整體框圖。
圖2是表示將R信號寫入2維存儲器6a的情況的圖。
圖3是表示將G信號寫入2維存儲器6b的情況的圖。
圖4是表示將B信號寫入2維存儲器6c的情況的圖。
圖5是表示2維LPF7a的輸出的圖。
圖6是表示2維LPF7b的輸出的圖。
圖7是表示2維LPF7c的輸出的圖。
圖8是表示使本實施方式2中的常數(shù)項M變化時J(m，n)、JLPF對插值運算式的影響程度的圖。
圖9是本發(fā)明實施方式3的整體框圖。
圖10是以一般的拜耳型排列構成原始彩色濾光片作為攝像元件的例子。
圖11是表示利用線性插值生成“G”的例子的圖。
圖12是表示利用線性插值生成“b”的例子的圖。
圖13是表示利用線性插值生成“r”的例子的圖。
圖14是插值生成存在G彩色濾光片的像素位置處的R色時的模式圖。
圖15是插值生成存在G彩色濾光片的像素位置處的R色時的模式圖。
符號說明1、透鏡2、攝像元件3、A/D4、幀存儲器5、多路復用器6a～6c、2維存儲器7a～7c、2維LPF8、運算電路9、系數(shù)運算電路10、寄存器具體實施方式
實施方式1下面，利用附圖來說明本發(fā)明的實施方式1。圖1是表示本發(fā)明實施方式1的整體框圖。說明使用將粘貼了R色、G色及B色3原色的彩色濾光片的光電轉(zhuǎn)換元件排列成拜耳型的攝像元件，利用數(shù)碼相機來實現(xiàn)R信號、G信號及B信號的10比特數(shù)字靜止圖像的情況。
在圖1中，1是會聚來自被攝體的入射光的透鏡；2是對通過透鏡入射的光進行光電轉(zhuǎn)換的攝像元件；3是將從攝像元件輸出的模擬圖像信號轉(zhuǎn)換成數(shù)字圖像信號的A/D轉(zhuǎn)換器；4是暫時存儲1個畫面大小的數(shù)字圖像信號的幀存儲器；5是多路復用器，根據(jù)像素位置從幀存儲器4上的圖像數(shù)據(jù)區(qū)分成R、G、B各信號；6a～6c是分別對應于R、G、B信號的2維存儲器；7a～7c是分別對應于R、G、B信號的低通濾波器(下面稱為LPF)；8是運算電路，參照各色的LPF輸出值，算出注目像素中的非攝像色信號；9是系數(shù)運算電路，以2維LPF7a～7c的輸出值為基礎，算出后述的插值強度系數(shù)值K(下面稱為系數(shù)K)。
下面說明動作。在圖1中，從透鏡1入射的光在攝像元件2上成像。攝像元件2對入射光進行光電轉(zhuǎn)換，并作為模擬電信號輸出。輸出的模擬電信號由A/D轉(zhuǎn)換器3轉(zhuǎn)換成數(shù)字電信號，并輸入到幀存儲器4。積蓄在幀存儲器4中的圖像信號由未圖示的控制部件依次發(fā)送到多路復用器5，由多路復用器5按各色進行分配，并將R、G、B色的各信號分別寫入2維存儲器6a～6c中。圖2～圖4示出將各色的有意義的圖像信號寫入2維存儲器6a～6c中的情況。這些圖中示出的圖像信號通過LPF7a～7c來平滑化。即，LPF以注目像素為中心，作為例如圖2～圖4中的圖像信號的平均值來進行線性插值輸出。圖5～圖7中示出2維LPF7a～7c的輸出。從2維LPF7a～7c輸出的R、G、B各色的LPF輸出值被輸入到系數(shù)運算電路9。
下面，說明系數(shù)運算電路9。例如在生成通過配置R彩色濾光片拍攝的像素(下面稱為R像素位置)中的G色插值色的情況下，系數(shù)運算電路9根據(jù)從配置在作為攝像色的R色周圍的像素算出的LPF輸出值RLPF、從配置在G色周圍的像素算出的LPF輸出值GLPF、作為注目像素中的所拍攝的攝像色(參照色)的R的信號值RR，依據(jù)式7算出系數(shù)K。
K=(Dr-|RR-RLPF|)×|RLPF-GLPF|Dr2]]>……(式7)這里，變量Dr表示輸入圖像信號的動態(tài)范圍，通過用Dr2來除，將系數(shù)K的可取范圍標準化成0≤K≤1。另外，關于(式7)的分子中的相乘的第1項(左項)，通過取注目像素中的R信號值RR和R色的LPF輸出值RLPF的差分的絕對值，算出注目像素中的攝像色的凹凸度(注目像素的攝像色的信號電平與注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差)，并從動態(tài)范圍Dr中將其減去，從而將該第1項確定成注目像素中的攝像色的凹凸度越小、第1項的值越大，攝像色的凹凸度越大、第1項的值越小。
并且，上式分子中的相乘的第2項(右項)通過取R色的LPF輸出值RLPF及G色的LPF輸出值GLPF的差分(注目像素中的第H二維低通濾波器輸出與注目像素中的第J二維低通濾波器輸出之差)的絕對值，算出注目像素中的色差(色調(diào)的程度)，從而確定成色差越大、第2項的值越大，色差越小、第2項的值越小。
即，注目像素中的攝像色的凹凸度越小、色差越大(注目像素的攝像色的信號電平與注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差小、注目像素中的攝像色的二維低通濾波器輸出與注目像素中的插值色的二維低通濾波器輸出之差大的情況)，式7中的系數(shù)K取越大的值。相反，注目像素中的攝像色的凹凸度越大、色差越小(注目像素的攝像色的信號電平與注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差大、注目像素中的攝像色的二維低通濾波器輸出與注目像素中的插值色的二維低通濾波器輸出之差小的情況)，系數(shù)K取越小的值。下面，使用利用式7算出的系數(shù)K，如式8所示算出注目像素中的G分量值GR。
GR=GLPF×RR×(1-K)+RLPF×KRLPF]]>……(式8)在式8中，例如以K＝0的情況為代表，系數(shù)K小時，從現(xiàn)有技術2所示的式3的顏色插值運算得到的效果大。另一方面，例如以K＝1的情況為代表，系數(shù)K大時，GR接近G色的LPF輸出值GLPF，并且接近利用在現(xiàn)有技術1中說明的線性插值法產(chǎn)生的顏色插值結果。
這里，在注目像素的攝像色為J、注目像素的位置為(m，n)、插值色為H的情況下，式9中示出將式7一般化后的系數(shù)運算式，式10中示出將式8一般化后的插值色信號運算式。
K=(Dr-|J(m,n)-JLPF|)×|JLPF-HLPF|Dr2]]>……(式9) H(m,n)=HLPF×J(m,n)×(1-K)+JLPF×KJLPF]]>……(式10)這里，表示顏色的J及H排他地對應于R、G或B中的任意一種顏色分量。
根據(jù)上述說明可知，關于攝像色J和插值色H，在注目像素中的各自的LPF輸出值存在大的差別時，式9的系數(shù)K變大(接近1)，從而要生成的H(m，n)取接近HLPF的值。即，在該情況下，要生成的顏色分量H(m，n)不受攝像色J左右，接近對配置在同種顏色周圍的像素值進行線性插值的結果，從而具有排除了圖15中示出的畫質(zhì)劣化的效果。
另外，即使參照色J和插值色H的LPF輸出值差別很大，在注目像素中的攝像色的凹凸度大時，也認為攝像色的信號變化是構成圖像邊緣的部分，而非噪聲的影響。這種情況下，由于式9的分子的相乘第1項為小值，所以系數(shù)K小，因而式10的(1-K)項比K項大，來自特開平5-56446號公報中示出的式(3)的插值方式的影響度增大，從而具有可再現(xiàn)圖14的峰值、可謀求高分辨率化和偽色減少的效果。
具體地說明本方式的有效性。在假定作為10比特的信號電平，G1＝4、G3＝1、G5＝4、R2＝R4＝1023，且各LPF通過簡單平均算出的情況下，依據(jù)式9和式10算出注目像素中的R信號值(參照圖15)。即，執(zhí)行式11～式14的運算。
GLPF＝(4+1+4)/3＝3 ……(式11)[式12]RLPF＝(1023+1023)/2＝1023……(式12)[式13]K＝(1024-|1-3|)×|3-1023|/10242＝1022×1020/10242＝0.994 ……(式13)[式14]
RG＝1023×{1×(1-0.994)+3×0.994}/3＝1018 ……(式14)因此，由于所生成的插值信號值R與現(xiàn)有技術2的方法不同，是不遜色于配置在同種顏色周圍的像素的信號電平的電平，所以在有彩色區(qū)域中不會極端地產(chǎn)生黑斑或白斑等畫質(zhì)劣化。
下面，在假定G1＝20、G3＝100、G5＝30、R2＝R4＝700，各LPF通過簡單平均算出的情況下，依據(jù)式9和式10，算出注目像素中的R信號值(參照圖14)。即，進行式15～式18的運算。
GLPF＝(20+100+30)/3＝50 ……(式15)[式16]RLPF＝(700+700)/2＝700 ……(式16)[式17]K＝(1024-|100-50|)×|50-700|/10242＝974×650/10242＝0.603 ……(式17)[式18]RG＝700×{100×(1-0.603)+50×0.603}/50＝977 ……(式18)結果，所生成的插值信號值R與相鄰的同色像素(R2＝700、R4＝700)相比，形成明確的峰值，并且再現(xiàn)為追隨攝像色G的凹凸度形成向上凸的形狀，所以與現(xiàn)有技術2所示出的相同，可實現(xiàn)高分辨率、偽色少的顏色插值。另外，在利用現(xiàn)有技術1算出RR時，RR＝RLPF＝700。
使用上述說明的方法，對由攝像元件2得到的攝像圖像的整個畫面，一邊沿水平或垂直方向依次錯開1個像素、一邊掃描注目像素位置(m，n)，算出R像素位置處的G及B分量、G像素位置處的R及B分量、B像素位置處的R及G分量，由此可得到各像素具備了全部顏色分量的1個畫面大小的全彩色圖像。尤其是，利用數(shù)碼相機等攝像裝置拍攝的圖像與CG圖像不同，圖像中的邊緣附近常常為低色度的影子(明暗)。因此，通過使用本發(fā)明，具有如下效果在對分辨率有貢獻的邊緣附近可以充分發(fā)揮現(xiàn)有方法的優(yōu)點，對于非邊緣區(qū)域，即使在由于噪聲的影響而在攝像色信號中產(chǎn)生波動的情況下，也可得到排除了黑斑等畫質(zhì)劣化的高畫質(zhì)的全彩色圖像。
實施方式2下面，利用

實施方式2。表示實施方式2的整體結構的框圖與實施方式1同樣為圖1，內(nèi)部結構與實施方式1的不同僅在于包含算出系數(shù)K的式19的系數(shù)運算電路9。
下面，說明動作。在本實施方式中，通過式19實現(xiàn)系數(shù)運算電路9中的運算。
K=(Dr-|J(m,n)-JLPF|)×|JLPF-HLPF|M]]>……(式19)其中，在K≥1時，K＝1。
這里，在實施方式1中，M為M＝Dr2，用于標準化系數(shù)K。相反，在實施方式2中，預先考慮到包含光學系統(tǒng)或傳感器的攝像系統(tǒng)的固有特性、由以模擬增益調(diào)整為代表的靈敏度調(diào)節(jié)引起的噪聲特性等，使用者可以選擇M(與Dr不相關)。即，該圖像處理裝置的使用者通過預先選擇M的值，可以使系數(shù)K的取值偏向0，或偏向1。
圖8是表示在使本實施方式中的式19的常數(shù)項M變化的情況下，K值偏向0時、偏向1時的圖。在該圖中，示出使常數(shù)項M作為例如Dr的冪變化時的情況。在圖中，在M＝Drx中，分成X＝2、X＞2、X＜2的情況來圖示。
將系數(shù)K限制為0≤K≤1，Dr(＞1)的指數(shù)x越大，M值越大，分母越大，所以式19的系數(shù)K容易飽和至0。通過進行調(diào)整增大M的值，以使系數(shù)K容易飽和至0，可以使式10受J(m，n)(現(xiàn)有技術2中記載的方法)的影響大。具體地說，如圖8所示，在X＝2的M的情況下，系數(shù)K的值是0.9，通過使X＞2，系數(shù)K變?yōu)?.5。
另一方面，Dr(＞1)的指數(shù)x越小，M值越小，式19的系數(shù)K容易飽和至1。通過進行調(diào)整減小M的值，以使系數(shù)K容易飽和至1，式10受JLPF(現(xiàn)有技術1的線性插值法)的影響大。具體地說，如圖8所示，在X＝2的M的情況下，系數(shù)K的值是0.9，通過使X＜2，系數(shù)K變成1.3，由于K≥1，所以變?yōu)?。
如上所述，在本實施方式2中，通過如式19那樣定義圖1的系數(shù)運算電路9中的系數(shù)K，在考慮到包含光學系統(tǒng)或傳感器的攝像系統(tǒng)的固有特性、由以模擬增益調(diào)整為代表的靈敏度調(diào)節(jié)引起的噪聲特性等的基礎上，使用者可以預先選擇常數(shù)M，從而可以進行考慮到重視高分辨率和低偽色效果的顏色插值結果和重視暗部等的耐噪性能的顏色插值結果的最佳均衡的圖像處理。
實施方式3下面，利用

實施方式3。圖9是表示實施方式3的整體結構的框圖，內(nèi)部結構與現(xiàn)有例的不同之處在于在進行顏色插值運算的運算電路8中使用式10，并且附加了提供式10中的系數(shù)K的寄存器10。
作為實施方式3的動作，預先直接提供式10的系數(shù)K作為常數(shù)。在這方面，與在實施方式1中從式9動態(tài)地算出系數(shù)K、在實施方式2中通過由使用者選擇M而從式19動態(tài)地算出系數(shù)K不同。
使這種情況下的系數(shù)K對應于攝像條件并針對每個圖像變化，這一點可與實施方式1及實施方式2相同。但是，在實施方式3中，與實施方式1及實施方式2不同，在單一圖像中使用相同的系數(shù)K。由此，可以不配置系數(shù)運算電路9，所以具有可減小電路規(guī)模(在用軟件實現(xiàn)的情況下為處理所需時間或程序代碼量)、并且可使裝置低價格化或處理高速化的效果。
在實施方式1及實施方式2中，對整個畫面實施式10的顏色插值運算，但不限于此。即，在使用現(xiàn)有技術2中記載的方法的情況下，由于產(chǎn)生白斑或黑斑的是攝像色的信號電平低的情況，所以對于攝像色的LPF輸出值為一定值以上的圖像區(qū)域，可以通過設K＝0來使用現(xiàn)有技術2中記載的方法。另外，與此相反，對于攝像色的LPF輸出值為一定值以下的圖像區(qū)域，可以通過設K＝0來使用依據(jù)現(xiàn)有技術1的線性插值法的方法。
另外，在上述全部實施方式中，示出了使用將原色系的彩色濾光片排列成拜耳型的單板傳感器來作為攝像元件的結構，但也可以使用補色系彩色濾光片，在原色系下也可以使用其他的排列(利用了第1～第N的N種光譜靈敏度特性的排列等)。
另外，在上述全部實施方式中，說明了作為現(xiàn)有技術1由2維LPF7a～7c使圖像信號平滑化，但有時不通過LPF，而是根據(jù)從注目像素的周圍像素的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于該注目像素的插值色的非攝像色信號(未圖示)。
另外，在上述全部實施方式中，示出了攝像元件為正方形排列，但在使用正方形排列以外的排列、例如蜂窩狀排列時，也可得到同樣的效果。
另外，在上述全部實施方式中，示出了作為攝像后的圖像處理僅針對顏色插值處理構成的模塊結構，但在構成實際的攝像裝置時，與自動白色均衡處理(白色修正)、γ修正處理(灰度等級特性的修正)、濾波處理(輪廓強調(diào)或噪聲除去)、JPEG壓縮處理(圖像數(shù)據(jù)壓縮保存)等通常使用的處理相組合，當然也可得到同等效果。
另外，附加LCD接口(圖像顯示確認用液晶接口)、閃速存儲器接口(攝像圖像保存媒體接口)等輸入輸出接口，當然也得到同等效果。
另外，在上述全部實施方式中，示出了由A/D轉(zhuǎn)換電路3將在攝像元件2中進行了光電轉(zhuǎn)換后的圖像數(shù)據(jù)數(shù)字化之后，在幀存儲器4中一次保持1個畫面大小的結構，但不限于此。即，可以構成為與攝像時的數(shù)據(jù)流同步，對像素或多條線中的每一個實施包含顏色插值的圖像處理。
另外，在上述全部實施方式中，示出了可在攝像裝置的內(nèi)部執(zhí)行顏色插值處理的結構例，但不限于此，也可以在個人計算機或彩色打印機等可以通過直接或間接地經(jīng)由存儲媒體連接到攝像裝置上并使用單板式傳感器來處理輸入圖像的任意一種設備上構成。
權利要求
1.一種圖像處理裝置，利用攝像元件得到圖像，該攝像元件將具有第1～第N的N種光譜靈敏度特性中的某一種光譜靈敏度特性的光電轉(zhuǎn)換元件排列在二維平面上，其特征在于，該圖像處理裝置具備第1算出部件，根據(jù)從注目像素周圍的像素的第H(第1～第N中的某一種)光譜靈敏度特性的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于該注目像素的第H插值色的非攝像色信號；第2算出部件，通過將光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使對應于上述注目像素的攝像色的第J(第1～第N中的某一種)攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號；和第3算出部件，使用上述第1算出部件的算出結果和上述第2算出部件的算出結果，算出對應于上述注目像素的第H插值色的非攝像色信號。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于第1算出部件根據(jù)注目像素中的第H二維低通濾波器輸出，算出對應于該注目像素的第H插值色的非攝像色信號。
3.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于第3算出部件在注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差小時，增大第1算出部件的算出結果的使用比率，在注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差大時，增大第2算出部件的算出結果的使用比率。
4.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于第3算出部件在注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差大時，增大第1算出部件的算出結果的使用比率，在注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差小時，增大第2算出部件的算出結果的使用比率。
5.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于第3算出部件在注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差小、且上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差大時，增大第1算出部件的算出結果的使用比率，在注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差大、且上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差小時，增大第2算出部件的算出結果的使用比率。
6.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于第3算出部件在設注目座標(m，n)的像素中的第J光譜靈敏度特性的光電變更元件的攝像色信號為J(m，n)，設上述注目像素中的第H二維低通濾波器輸出為HLPF，設上述注目像素中的第J二維低通濾波器輸出為JLPF，設系數(shù)K的可取范圍為0以上1以下的變量Dr的情況下，在式1中的K的值大時，增大第1算出部件的算出結果的使用比率，在K的值小時，增大第2算出部件的算出結果的使用比率，[式1]K=(Dr-|J(m,n)-JLPF|)×|JLPF-HLPF|Dr2.]]>
7.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于第3算出部件在設注目座標(m，n)的像素中的第J光譜靈敏度特性的光電變更元件的攝像色信號為J(m，n)，設上述注目像素中的第H二維低通濾波器輸出為HLPF，設上述注目像素中的第J二維低通濾波器輸出為JLPF，設動態(tài)范圍為Dr、變量為M的情況下，在重視耐噪性能時增大式2中的M的值，在重視高分辨率的情況下減小式2中的M的值，[式2]K=(Dr-|J(m.n)-JLPF|)×|JLPF-HLPF|M.]]>
8.根據(jù)權利要求6或7所述的圖像處理裝置，其特征在于第3算出部件在設注目像素的非攝像色信號為H(m，n)時，使用式2算出，[式3]H(m,n)=HLPF×J(m,n)×(1-K)+JLPF×KJLPF.]]>
9.一種非攝像色信號算出裝置，具有算出部件，該算出部件在生成注目像素的第H(第1～第N中的某一種)插值色時，根據(jù)周圍像素的第H光譜靈敏度特性的光電轉(zhuǎn)換元件的攝像色信號，算出對應于上述注目像素的第H插值色的非攝像色信號，其特征在于，該算出部件在上述注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差大、且上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差小時，通過將光譜靈敏度特性的光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使作為上述注目像素的攝像色的第J(第1～第N中的某一種)攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號。
10.一種非攝像色信號算出裝置，具有算出部件，該算出部件通過將光譜靈敏度特性的光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使作為注目像素的攝像色的第J(第1～第N中的某一種)攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號，該算出部件在上述注目像素的攝像色的信號電平與上述注目像素的攝像色的二維低通濾波器輸出的信號電平的信號電平差小、且上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之差大的情況下，在生成上述注目像素的第H插值色時，根據(jù)周圍像素的第H光譜靈敏度特性的輸出信號，算出對應于上述注目像素的第H插值色的非攝像色信號。
11.一種圖像處理方法，具備線性插值算出步驟，根據(jù)從注目像素周圍的像素的第H(第1～第N中的某一種)光譜靈敏度特性的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于該注目像素的第H插值色的非攝像色信號；顏色相關算出步驟，通過將光譜靈敏度特性的光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使對應于上述注目像素的攝像色的第J(第1～第N中的某一種)攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號；和算出合并步驟，使用線性插值算出步驟的算出結果和顏色相關算出步驟的算出結果，算出對應于注目像素的第H插值色的非攝像色信號。
12.一種圖像處理方法，具備顏色相關算出步驟，通過將光譜靈敏度特性的光電轉(zhuǎn)換元件的攝像色信號輸入到二維低通濾波器，得到二維低通濾波器輸出，使對應于注目像素的攝像色的第J(第1～第N中的某一種)攝像色信號，乘以上述注目像素中的第H二維低通濾波器輸出與上述注目像素中的第J二維低通濾波器輸出之比，算出對應于上述注目像素的第H插值色的非攝像色信號；線性插值算出步驟，根據(jù)從注目像素周圍的像素的第H(第1～第N中的某一種)光譜靈敏度特性的光電轉(zhuǎn)換元件輸出的攝像色信號，算出對應于上述注目像素的第H插值色的非攝像色信號；和算出合并步驟，使用線性插值算出步驟的算出結果和顏色相關算出步驟的算出結果，算出對應于注目像素的第H插值色的非攝像色信號。
全文摘要
具備第1算出部件，算出對應于注目像素的第H插值色的非攝像色信號；第2算出部件，使對應于注目像素的攝像色的第J攝像色信號乘以第H二維低通濾波器輸出和第J二維低通濾波器輸出之比，算出非攝像色信號；和第3算出部件，使用第1算出部件的算出結果和上述第2算出部件的算出結果，算出對應于注目像素的第H插值色的非攝像色信號。
文檔編號H04N9/07GK101049027SQ20048004428
公開日2007年10月3日 申請日期2004年11月30日 優(yōu)先權日2004年11月30日
發(fā)明者田村正司, 的場成浩, 杉浦博明, 久野徹也 申請人:三菱電機株式會社