專利名稱：成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種成像設(shè)備，特別是涉及一種產(chǎn)生具有比成像設(shè)備的原始分辨率低的分辨率但圖像質(zhì)量良好的圖像的技術(shù)。
背景技術(shù)：
近年來，固態(tài)成像元件具有更多的像素。即使在簡單的設(shè)備例如袖珍相機(jī)和移動電話中也會使用具有超過一兆像素即一百萬像素的固態(tài)成像元件。
因此，利用這種簡單的設(shè)備可以得到具有很高分辨率的靜態(tài)圖片。另一方面，對于動態(tài)圖片的單幀圖片和將要作為電子郵件的附件的圖像，需要使用具有比固態(tài)成像元件的原始分辨率低的分辨率的圖像。因此，用于減小分辨率的工作變得必不可少。
我們知道，作為一種產(chǎn)生具有比固態(tài)成像元件的原始分辨率低的目標(biāo)分辨率的圖像技術(shù)，需要丟棄固態(tài)成像元件的某些像素。這種技術(shù)所產(chǎn)生的圖像分辨率是該固態(tài)成像元件的原始分辨率的N分之一，其中N為整數(shù)。
如果這種丟棄像素的技術(shù)所產(chǎn)生的圖像的分辨率并不等于目標(biāo)分辨率，則還需要執(zhí)行縮放操作，從而產(chǎn)生具有目標(biāo)分辨率的圖像。
例如日本未審專利申請已經(jīng)公開了這種進(jìn)行使圖像質(zhì)量損害最小化的縮放操作的技術(shù)，公開號No.2002-374407(下稱為專利文件1)。
但是，這種丟棄像素并執(zhí)行縮放操作的傳統(tǒng)技術(shù)除了使所產(chǎn)生的圖像分辨率比固態(tài)成像元件的原始分辨率低以外，并不能產(chǎn)生具有良好圖像質(zhì)量的圖像。這是因?yàn)閬G棄像素導(dǎo)致產(chǎn)生很大的混疊噪聲。

發(fā)明內(nèi)容
考慮到上述問題，本發(fā)明的一個(gè)目的是提供一種成像設(shè)備，它可以產(chǎn)生具有比固態(tài)成像元件的原始分辨率低的分辨率但具有良好圖像質(zhì)量的圖像。
上述目的可以通過一種產(chǎn)生圖像數(shù)據(jù)的成像設(shè)備來實(shí)現(xiàn)，該圖像數(shù)據(jù)代表具有比該成像設(shè)備的原始分辨率更低的目標(biāo)分辨率的圖像。該成像設(shè)備包括多個(gè)光電轉(zhuǎn)換元件，它們以二維矩陣形式布置，每個(gè)元件在其光接收表面上都具有從多個(gè)顏色中選擇的預(yù)定顏色的濾色器，且每個(gè)元件存儲由光電轉(zhuǎn)換所產(chǎn)生的電荷；電荷加合單元，用于將矩陣中的L行和C列的各部分中具有相同顏色的濾色器的光電轉(zhuǎn)換元件中所存儲的電荷加合到一起，從而獲得加合電荷，其中6≤L，6≤C且L和C都為偶數(shù)自然數(shù)；讀取單元，用于讀取對應(yīng)于矩陣中L行和C列的所有部分的加合電荷；圖像數(shù)據(jù)產(chǎn)生單元，用于根據(jù)讀取出的加合電荷，產(chǎn)生代表圖像的圖像數(shù)據(jù)，該圖像的暫定分辨率低于原始分辨率；和縮放單元，用于對具有暫定分辨率的圖像進(jìn)行縮放從而將該暫定分辨率減小到目標(biāo)分辨率并產(chǎn)生代表具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)。這里多個(gè)光電轉(zhuǎn)換元件的數(shù)目大于使暫定分辨率等于目標(biāo)分辨率而所需的光電轉(zhuǎn)換元件的數(shù)目。
根據(jù)該結(jié)構(gòu)，將L行和C列的各部分中的相同顏色光電轉(zhuǎn)換元件中所存儲的電荷加合，從而獲得加合電荷。這樣做的效果相當(dāng)于空間低通濾波器，從而減少了超過奈奎斯特頻率的信號分量，該奈奎斯特頻率對應(yīng)于目標(biāo)分辨率。因此，當(dāng)與丟棄像素而沒有產(chǎn)生空間低通濾波器效果的傳統(tǒng)分辨率降低技術(shù)相比時(shí)，它可以減少具有目標(biāo)分辨率的圖像中的混疊噪聲，從而改進(jìn)圖像質(zhì)量。
多個(gè)光電轉(zhuǎn)換元件的數(shù)目大于使暫定分辨率等于目標(biāo)分辨率而所需的光電轉(zhuǎn)換元件的數(shù)目。因此，通過首先產(chǎn)生具有比目標(biāo)分辨率大的暫定分辨率的圖像，然后對具有暫定分辨率的圖像進(jìn)行縮放從而將暫定分辨率減小到目標(biāo)分辨率，從而得到代表具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)。這里，如果使用專利文件1中所公開的技術(shù)來執(zhí)行縮放操作，則可以在具有目標(biāo)分辨率的圖像中保留處于對應(yīng)于目標(biāo)分辨率奈奎斯特頻率的信號分量。
為了比較的目的，考慮光電轉(zhuǎn)換元件的數(shù)目等于使暫定分辨率等于目標(biāo)分辨率而所需的光電轉(zhuǎn)換元件的數(shù)目的情況。在這種情況下，縮放操作不能執(zhí)行，因此也不可能在具有目標(biāo)分辨率的圖像中保留處于對應(yīng)于目標(biāo)分辨率奈奎斯特頻率的信號分量。
這就是說，成像設(shè)備所獲得的具有目標(biāo)分辨率的圖像在對應(yīng)于目標(biāo)分辨率的奈奎斯特頻率附近具有更高電平的高頻分量。
這里，成像設(shè)備還包括輪廓校正單元，用于校正表示具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)，從而增強(qiáng)圖像的輪廓部分。
根據(jù)這種結(jié)構(gòu)，還可以改進(jìn)高頻信號分量的電平。隨后，可以實(shí)現(xiàn)良好的圖像質(zhì)量。
這里，在每個(gè)部分中，電荷加合單元可以將具有多種顏色中的一種顏色的濾色器的光電轉(zhuǎn)換元件中所存儲的電荷加合，且對應(yīng)多種顏色中的一種顏色的部分可以偏離對應(yīng)剩余顏色中的每一種顏色的部分。
根據(jù)這種結(jié)構(gòu)，由于電荷加合，具有不同顏色的像素彼此位置并不接近。據(jù)有全色的各像素更應(yīng)當(dāng)均勻排列。這樣，可以實(shí)現(xiàn)良好的圖像質(zhì)量。
這里，L＝4m+2和C＝4n+2，其中m和n為自然數(shù)，對應(yīng)這些顏色中的一種顏色的部分可以偏離對應(yīng)剩余顏色中的每一種顏色的部分L/2行、C/2列或L/2行和C/2列。
根據(jù)這種結(jié)構(gòu)，由于電荷加合，具有特定顏色的像素精確地位于具有不同顏色的兩個(gè)像素之間的中間。因此，以均勻間隔排列具有所有顏色的各像素。這樣，就可以實(shí)現(xiàn)良好的圖像質(zhì)量。


根據(jù)下面結(jié)合附圖的說明書，可以很明顯看出本發(fā)明的這些和其他目的、優(yōu)點(diǎn)和特征，這些附圖示出了本發(fā)明的特定實(shí)施例。在附圖中圖1示例性地示出圖像設(shè)備30的主要部分結(jié)構(gòu)的功能性方塊圖；圖2示意性示出從入射光方向看到的如圖1所示固態(tài)成像元件31；圖3示出作為例子的固態(tài)成像元件31的結(jié)構(gòu)，該固態(tài)成像元件31由電荷耦合裝置(CCD)固態(tài)成像設(shè)備來實(shí)現(xiàn)；圖4示出全像素圖像、像素加合圖像和像素丟棄圖像中每一個(gè)的頻率特性曲線；圖5示出縮放操作；圖6示出作為縮放操作的結(jié)果的頻率特性曲線；圖7示出加合/重整圖像和丟棄/重整圖像種每一個(gè)的頻率特性曲線；和圖8示出加合/重整/輪廓校正圖像和丟棄/重整/輪廓校正圖像中每一個(gè)的頻率特性曲線。
具體實(shí)施例方式
本發(fā)明實(shí)施例的成像設(shè)備按照下述方式產(chǎn)生圖像數(shù)據(jù)，該圖像數(shù)據(jù)表示具有目標(biāo)分辨率的圖像。將固態(tài)成像元件中的預(yù)定數(shù)目的像素所形成的各組中所存儲的電荷加合，從而得到加合電荷。這樣，固態(tài)成像元件產(chǎn)生表示具有暫定分辨率的圖像的圖像數(shù)據(jù)，該暫定分辨率低于固態(tài)成像元件的原始分辨率并高于目標(biāo)分辨率。在具有暫定分辨率的圖像中，各像素由加合電荷來表示。然后，固態(tài)成像元件對具有暫定分辨率的圖像數(shù)據(jù)執(zhí)行縮放操作和輪廓校正操作，從而產(chǎn)生表示具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)。
下面的部分將參照附圖來描述本發(fā)明實(shí)施例的成像設(shè)備。
成像設(shè)備30的結(jié)構(gòu)圖1示例性地示出涉及本發(fā)明主題的成像設(shè)備30的主要部分的結(jié)構(gòu)的功能性方塊圖。
固態(tài)成像元件31是這樣形成的，將多個(gè)光電轉(zhuǎn)換元件以二維矩陣的形式排列在半導(dǎo)體襯底上。每個(gè)光電轉(zhuǎn)換元件在其光接收表面上具有一個(gè)濾色器，該濾色器為從多種不同顏色中選擇出來的一種顏色的濾色器。而且，各光電轉(zhuǎn)換元件將在一個(gè)時(shí)間周期內(nèi)從一目標(biāo)物接收到的大量的光轉(zhuǎn)換為電荷，該時(shí)間周期由驅(qū)動單元32所發(fā)送的驅(qū)動信號來指示。
固態(tài)成像元件31讀取在各光電轉(zhuǎn)換元件中存儲的電荷，并將對應(yīng)于該讀出電荷的信號輸出到模擬前端33。換言之，固態(tài)成像元件31可以將從L行和C列各部分中具有相同顏色的濾色器的光電轉(zhuǎn)換元件中讀取的電荷加合，以得到加合電荷，然后，讀取各部分加合電荷，并將對應(yīng)于該加合電荷的信號輸出到模擬前端33，其中所述各部分是通過對光電轉(zhuǎn)換元件的矩陣進(jìn)行分隔而形成的(6≤L，6≤C且L和C都為偶數(shù)自然數(shù))。
至于固態(tài)成像元件31是讀出各光電轉(zhuǎn)換元件中的電荷，還是讀出加合電荷，可以根據(jù)驅(qū)動單元32所發(fā)送的驅(qū)動信號而變換。
這里，假設(shè)L行和C列的各部分中具有相同顏色濾波器的像素?cái)?shù)目為LC/4。在這種情況下讀出加合電荷，相比于讀取各光電轉(zhuǎn)換元件中的電荷的情況，固態(tài)成像元件31具有LC/4倍的靈敏度和4/LC倍的分辨率。
固態(tài)成像元件31隨后將詳細(xì)描述。
模擬前端33對固態(tài)成像元件31所接收到的信號執(zhí)行相關(guān)雙倍取樣(CDS)和自動增益控制(AGC)，然后將該信號轉(zhuǎn)換為數(shù)字信號。
利用數(shù)字信號處理器(DSP)、中央處理單元(CPU)、只讀存儲器(ROM)等可以逐一地實(shí)現(xiàn)圖像信息產(chǎn)生單元35、縮放和輪廓校正單元37、控制單元38以及同步信號產(chǎn)生單元34。詳細(xì)地說，通過DSP和CPU執(zhí)行存儲在ROM中的程序，可以實(shí)現(xiàn)這些單元的功能。
利用存儲器36，圖像信息產(chǎn)生單元35通過處理從模擬前端33接收到的數(shù)字信號，可以產(chǎn)生圖像數(shù)據(jù)。該圖像數(shù)據(jù)代表基于亮度和色差的攝影圖像。圖像信息產(chǎn)生單元35將所產(chǎn)生的圖像數(shù)據(jù)存儲在存儲器36中。該存儲器36是通過例如同步動態(tài)隨機(jī)存取存儲器(SDRAM)而實(shí)現(xiàn)的。
縮放和輪廓校正單元37包括在上述專利文件1中公開的圖像處理單元。在讀出存儲器36中所存儲的圖像數(shù)據(jù)之后，縮放和輪廓校正單元37使該圖像處理單元對讀出的圖像數(shù)據(jù)執(zhí)行縮放操作和已知的輪廓校正操作，從而獲得圖像數(shù)據(jù)，該圖像數(shù)據(jù)具有目標(biāo)分辨率且它的輪廓部分已經(jīng)被校正?？s放和輪廓校正單元37向控制單元38輸出所獲得的圖像數(shù)據(jù)。該輪廓校正操作是例如利用濾波器來執(zhí)行的，該濾波器對發(fā)生亮度梯度變化的位置處的像素亮度進(jìn)行校正，從而使亮度梯度變化增加。
控制單元38從縮放和輪廓校正單元37接收到圖像數(shù)據(jù)。該控制單元38將該圖像數(shù)據(jù)存儲在另一存儲器(圖1中未示出)中，或者將該圖像數(shù)據(jù)所表示的圖像顯示在顯示單元(圖1中未示出)上。
固態(tài)成像元件31固態(tài)成像元件31基于在日本專利申請No.2003-100187(下稱相關(guān)申請)中所公開的發(fā)明。下面的部分將根據(jù)在該相關(guān)申請中所公開的發(fā)明典型實(shí)施例，來描述該固態(tài)成像元件31。為了描述簡便，將在不破壞本申請和相關(guān)申請中的技術(shù)內(nèi)容同一性的范圍內(nèi)，使用與相關(guān)申請中不同的技術(shù)術(shù)語。(例如濾色器陣列圖案和電荷加合部分)圖2示意性示出從入射光方向看到的固態(tài)成像元件31。圖2僅示出固態(tài)成像元件31的一部分。該固態(tài)成像元件31是以這種方式形成的，即將多個(gè)光電轉(zhuǎn)換元件(311、312、321、322、…)以二維矩陣的形式排列在半導(dǎo)體襯底上。光電轉(zhuǎn)換元件311、312、321和322分別在其光接收表面上具有黃(Y)、紫(M)、青(C)和綠(G)色的濾色器。該濾色器陣列圖案是互補(bǔ)濾色器陣列圖案的典型例子。根據(jù)該陣列圖案，該固態(tài)成像元件31中的每個(gè)光電轉(zhuǎn)換元件都具有其中一種顏色的一濾色器。
固態(tài)成像元件31的功能在于將六行和六列的各部分中具有相同顏色濾色器的光電轉(zhuǎn)換元件中所存儲的由光電轉(zhuǎn)換所產(chǎn)生的電荷加合，從而得到加合電荷。所述每個(gè)部分都是通過對多個(gè)光電轉(zhuǎn)換元件矩陣進(jìn)行分隔而形成的。下面的部分首先將簡要說明由邊界所限定，以便指定電荷已經(jīng)被加合的光電轉(zhuǎn)換元件的部分(下稱為電荷加合部分)，然后詳細(xì)解釋實(shí)現(xiàn)電荷加合功能的結(jié)構(gòu)。
在圖2中，作為一個(gè)例子，對應(yīng)黃、紫、青和綠色的六行和六列的電荷加合部分分別由邊界Y、邊界M、邊界C和邊界G來限定。圖2示出作為一個(gè)例子，對應(yīng)各顏色的各邊界限定了不同電荷加合部分的情況。邊界Y偏離邊界M三行，偏離邊界C三列，偏離邊界G三行和三列。
在邊界Y所限定的部分中，利用實(shí)線來標(biāo)示九個(gè)光電轉(zhuǎn)換元件，這九個(gè)光電轉(zhuǎn)換元件具有黃色濾色器，且它們的電荷彼此加合。邊界Y中的圓圈表示由通過在邊界Y所限定的部分中進(jìn)行電荷加合所獲得的加合電荷所指示的黃色像素的位置。就是說，圓圈表示電荷彼此加合的九個(gè)像素的中心。
在電荷加合的其他部分中，僅有由通過電荷加合而得到的加合電荷所指示的像素的位置是由圓圈標(biāo)示。對于電荷加合的各部分，固態(tài)成像元件31將圓圈所標(biāo)示出的光電轉(zhuǎn)換元件中所存儲的電荷和具有與所圈的光電轉(zhuǎn)換元件相同顏色的濾色器，并位于在行、列和對角線方向上靠近所圈的光電轉(zhuǎn)換元件最近的位置的那些光電轉(zhuǎn)換元件中的電荷加合在一起。
與原始像素相似，由電荷加合所得到的加合電荷所指示的像素在二維矩陣中以均勻間隔排列，并且也具有與原始像素一樣的濾色陣列圖案。固態(tài)成像元件31對固態(tài)成像元件31中除了位于半導(dǎo)體襯底邊緣附近的不能形成完整的電荷加合部分光電轉(zhuǎn)換元件以外的所有光電轉(zhuǎn)換元件執(zhí)行電荷加合。
應(yīng)當(dāng)注意圖2中所示的邊界、實(shí)線和圓圈僅僅用于說明目的，而并非物理形成于半導(dǎo)體襯底上以構(gòu)成固態(tài)成像元件31的成分。
結(jié)構(gòu)和操作的詳細(xì)說明下面的部分將說明根據(jù)相關(guān)申請中所公開的發(fā)明的典型實(shí)施例的固態(tài)成像元件31。
圖3作為一個(gè)例子，示出在固態(tài)成像元件31中實(shí)現(xiàn)上述電荷加合目的的具體結(jié)構(gòu)，該固態(tài)成像元件31是利用CCD固態(tài)成像元件來實(shí)現(xiàn)的。
在圖3中，根據(jù)上述濾色器陣列圖案，光電轉(zhuǎn)換元件(Y11、M12、C21和G22、…)中每一個(gè)都具有一個(gè)濾色器。對應(yīng)矩陣的多個(gè)列，一對一地提供多個(gè)垂直CCD(VCCD1、VCCD2、…)。每個(gè)垂直CCD都由與矩陣的多個(gè)行一一對應(yīng)的多個(gè)級組成。每個(gè)垂直CCD從各對應(yīng)光電轉(zhuǎn)換元件中接收電荷。這里，各單個(gè)電荷按原樣被轉(zhuǎn)移，或在轉(zhuǎn)移的同時(shí)被加合到一起。在各垂直CCD(VCCD1、VCCD2、…)的一端，按照與垂直CCD一一對應(yīng)的方式提供多個(gè)連接CCD(VCCD1A、VCCD2A、…)。每個(gè)連接CCD由對應(yīng)三個(gè)行的多個(gè)級組成。而且，每個(gè)連接CCD將電荷從對應(yīng)的一個(gè)垂直CCD轉(zhuǎn)移到一個(gè)水平CCD(HCCD)。該水平CCD由與矩陣的多個(gè)列一一對應(yīng)的多個(gè)級組成。水平CCD從各垂直CCD接收電荷。這里，各單個(gè)電荷按原樣轉(zhuǎn)移，或在轉(zhuǎn)移的同時(shí)加合在一起而獲得加合電荷。輸出放大器(AMP)對應(yīng)于從水平CCD接收到的電荷輸出電信號。
為了驅(qū)動具有這種結(jié)構(gòu)的固態(tài)成像元件31，驅(qū)動單元32在同步信號產(chǎn)生單元34的控制下，向固態(tài)成像元件31發(fā)送存儲信號、讀取信號、垂直轉(zhuǎn)移信號、連接轉(zhuǎn)移信號、和水平轉(zhuǎn)移信號。
該固態(tài)成像元件31具有可以同時(shí)將存儲信號發(fā)送到所有光電轉(zhuǎn)換元件中的布線。各光電轉(zhuǎn)換元件將在存儲信號接收期間從目標(biāo)物接收到的光轉(zhuǎn)換為電荷，并存儲這些電荷。
讀取信號包括第一讀取信號、第二讀取信號和第三讀取信號，這三個(gè)信號被獨(dú)立發(fā)送。固態(tài)成像元件31具有可以同時(shí)將第一讀取信號發(fā)送到第3i行(i為自然數(shù))中的所有光電轉(zhuǎn)換元件，可以同時(shí)將第二讀取信號發(fā)送到第(3i-1)行(i為自然數(shù))中的所有光電轉(zhuǎn)換元件，可以同時(shí)將第三讀取信號發(fā)送到第(3i-2)行(i為自然數(shù))中的所有光電轉(zhuǎn)換元件的布線。當(dāng)接收到第一到第三讀取信號中的對應(yīng)的一個(gè)信號時(shí)，每個(gè)光電轉(zhuǎn)換元件將電荷轉(zhuǎn)移到垂直CCD中的對應(yīng)級中。
垂直轉(zhuǎn)移信號包括第一垂直轉(zhuǎn)移信號、第二垂直轉(zhuǎn)移信號和第三垂直轉(zhuǎn)移信號，這三個(gè)信號被獨(dú)立發(fā)送。固態(tài)成像元件31具有可以同時(shí)將第一垂直轉(zhuǎn)移信號發(fā)送到第3j列(j為自然數(shù))中的所有垂直CCD，同時(shí)將第二垂直轉(zhuǎn)移信號發(fā)送到第(3j-1)列(j為自然數(shù))中的所有垂直CCD，同時(shí)將第三垂直轉(zhuǎn)移信號發(fā)送到第(3j-2)行(j為自然數(shù))中的所有垂直CCD的布線。當(dāng)接收到第一到第三垂直轉(zhuǎn)移信號中的對應(yīng)的一個(gè)信號時(shí)，將各垂直CCD中的各級中所存儲的電荷向下方向轉(zhuǎn)移一個(gè)級。
下面的部分將描述怎樣根據(jù)上述控制信號，在各垂直CCD中轉(zhuǎn)移電荷的同時(shí)，將電荷加合在一起。
開始時(shí)，發(fā)送出第二讀取信號，在第二、第五、第八行…中的光電轉(zhuǎn)換元件中存儲的電荷分別被轉(zhuǎn)移到各垂直CCD中的對應(yīng)級中。然后，將第一、第二和第三垂直轉(zhuǎn)移信號均發(fā)送兩次。這樣，各垂直CCD中所接收到的電荷就可以在垂直方向上轉(zhuǎn)移兩個(gè)級。具體地說，從第八行中的光電轉(zhuǎn)換元件接收到的電荷已經(jīng)被轉(zhuǎn)移到各垂直CCD中對應(yīng)第六行的級中，從第五行中的光電轉(zhuǎn)換元件接收到的電荷已經(jīng)被轉(zhuǎn)移到各垂直CCD中對應(yīng)第三行的級中。
然后，發(fā)送第一讀取信號。相應(yīng)地，在第三、第六、第九行…中的光電轉(zhuǎn)換元件中存儲的電荷分別被轉(zhuǎn)移到各垂直CCD中的對應(yīng)級中。這樣，從第八和第六行中的光電轉(zhuǎn)換元件接收到的電荷就可以彼此加合，從而在各垂直CCD中對應(yīng)第六行的級中得到兩個(gè)像素的電荷。相似地，從第五和第三行中的光電轉(zhuǎn)換元件接收到的電荷就可以彼此加合，從而在各垂直CCD中對應(yīng)第三行的級中得到兩個(gè)像素的電荷。
然后，將第一、第二和第三垂直轉(zhuǎn)移信號分別發(fā)送兩次。這樣，就可以在向下方向?qū)⒏鞔怪盋CD中兩個(gè)像素的電荷轉(zhuǎn)移兩個(gè)級。然后，發(fā)送第三讀取信號，從而可以將第一、第四、第七行…的光電轉(zhuǎn)換元件中的電荷分別轉(zhuǎn)移到各垂直CCD的對應(yīng)級中，這樣，從第八、第六和第四行中的光電轉(zhuǎn)換元件接收到的電荷就可以彼此加合，從而在各垂直CCD中對應(yīng)第四行的級中得到三個(gè)像素的電荷。相似地，從第五、第三和第一行中的光電轉(zhuǎn)換元件接收到的電荷就可以彼此加合，從而在各垂直CCD中對應(yīng)第一行的級中得到三個(gè)像素的電荷。
下面的部分將描述其他控制信號。
連接轉(zhuǎn)移信號包括第一連接轉(zhuǎn)移信號、第二連接轉(zhuǎn)移信號和第三連接轉(zhuǎn)移信號，這三個(gè)信號被獨(dú)立發(fā)送。固態(tài)成像元件31具有可以同時(shí)將第一連接轉(zhuǎn)移信號發(fā)送到第3j列(j為自然數(shù))中的所有連接CCD，同時(shí)將第二連接轉(zhuǎn)移信號發(fā)送到第(3j-1)列(j為自然數(shù))中的所有連接CCD，同時(shí)將第三連接轉(zhuǎn)移信號發(fā)送到第(3j-2)行(j為自然數(shù))中的所有連接CCD的布線。當(dāng)接收到第一到第三連接轉(zhuǎn)移信號中的對應(yīng)一個(gè)信號時(shí)，將各連接CCD中的各級中所存儲的電荷在向下方向轉(zhuǎn)移一個(gè)級，將最低級中的電荷轉(zhuǎn)移到水平CCD中的對應(yīng)級中。
固態(tài)成像元件31具有可以將水平轉(zhuǎn)移信號發(fā)送到水平CCD。當(dāng)接收到水平轉(zhuǎn)移信號時(shí)，可以將水平CCD的各級中的電荷向左轉(zhuǎn)移一個(gè)級的布線。
下面部分將描述根據(jù)上述控制信號，當(dāng)電荷在水平CCD中轉(zhuǎn)移的同時(shí)，怎樣將電荷加合到一起。
第一、第二和第三垂直轉(zhuǎn)移信號和第一、第二和第三連接轉(zhuǎn)移信號都被發(fā)送三次。因此可以將三個(gè)像素的電荷轉(zhuǎn)移到各連接CCD中的最低級中。
然后，當(dāng)接收到第二連接轉(zhuǎn)移信號時(shí)，將第二、第五、第八列中的各連接CCD中的最低級中的對應(yīng)三個(gè)像素的電荷轉(zhuǎn)移到水平CCD中的對應(yīng)級。然后，將水平轉(zhuǎn)移信號發(fā)送兩次，從而使水平CCD中所接收到的對應(yīng)三個(gè)像素的電荷向左方向轉(zhuǎn)移兩個(gè)級。具體地說，對應(yīng)第八列的級中的接收到的對應(yīng)三個(gè)像素的電荷將被轉(zhuǎn)移到水平CCD中對應(yīng)第六列的級中。相似的，對應(yīng)第五列的級中的接收到的對應(yīng)三個(gè)像素的電荷將被轉(zhuǎn)移到水平CCD中對應(yīng)第三列的級中。
然后，當(dāng)接收到第一連接轉(zhuǎn)移信號時(shí)，將第三、第六、第九列中的各連接CCD中的最低級中的對應(yīng)三個(gè)像素的電荷轉(zhuǎn)移到水平CCD中的對應(yīng)級。這樣，第八和第六列中的連接CCD中對應(yīng)三個(gè)像素的電荷就可以加合在一起，從而在水平CCD中對應(yīng)第六列的級中可以得到對應(yīng)六個(gè)像素的電荷。相似的，第五和第三列中的連接CCD中對應(yīng)三個(gè)像素的電荷就可以加合在一起，從而在水平CCD中對應(yīng)第三列的級中可以得到對應(yīng)六個(gè)像素的電荷。
然后，再次發(fā)送兩次水平轉(zhuǎn)移信號。這樣，就可以將水平CCD中對應(yīng)六個(gè)像素的電荷向左方轉(zhuǎn)移兩個(gè)級。當(dāng)接收到第三連接轉(zhuǎn)移信號時(shí)，將第一、第四、第七列中的各連接CCD中的最低級中的對應(yīng)三個(gè)像素的電荷轉(zhuǎn)移到水平CCD中的對應(yīng)級。這樣，第八、第六和第四列中的連接CCD中對應(yīng)三個(gè)像素的電荷就可以加合在一起，從而在水平CCD中對應(yīng)第四列的級中可以得到對應(yīng)九個(gè)像素的電荷。相似的，第五、第三和第一列中的連接CCD中對應(yīng)三個(gè)像素的電荷就可以加合在一起，從而在水平CCD中對應(yīng)第一列的級中可以得到對應(yīng)九個(gè)像素的電荷。
將水平CCD中對應(yīng)九個(gè)像素的電荷經(jīng)過輸出放大器(AMP)輸出到模擬前端33。
如上所述，固態(tài)成像元件31具有獨(dú)特的結(jié)構(gòu)，可以單獨(dú)地將多個(gè)行的各預(yù)定組中的光電轉(zhuǎn)換元件中所存儲的電荷轉(zhuǎn)移到垂直CCD中，并單獨(dú)地將多個(gè)列的各預(yù)定組中的垂直CCD中的電荷轉(zhuǎn)移到水平CCD中。
該結(jié)構(gòu)可以使固態(tài)成像元件31根據(jù)驅(qū)動單元32所發(fā)送的特別控制信號，在將電荷在各垂直CCD和水平CCD中轉(zhuǎn)移的同時(shí)，將這些電荷加合在一起。因此，固態(tài)成像元件31可以將電荷加合在一起，從而獲得對應(yīng)九個(gè)像素的加合電荷，并將該加合電荷作為一個(gè)像素輸出。
驅(qū)動單元32可以發(fā)送通用的控制信號。根據(jù)該通用控制信號，可以將所有行中的光電轉(zhuǎn)換元件中的電荷同時(shí)轉(zhuǎn)移到各垂直CCD中，也可以將所有列中的垂直CCD中的電荷經(jīng)過連接CCD轉(zhuǎn)移到水平CCD中。如果是這種情況，則固態(tài)成像元件31可以將各光電轉(zhuǎn)換元件中所存儲的電荷作為一個(gè)像素輸出。
這樣可以產(chǎn)生具有固態(tài)成像元件31的原始分辨率的圖像。但是，這與本發(fā)明的主題并不相關(guān)，本發(fā)明是要產(chǎn)生具有比固態(tài)成像元件31的原始分辨率低的分辨率且同時(shí)具有良好圖像質(zhì)量的圖像，因此對此不再詳細(xì)解釋。
垂直CCD、連接CCD和水平CCD的各級都可由多個(gè)門電路組成。當(dāng)每個(gè)級由兩個(gè)門電路組成時(shí)，第一到第三垂直轉(zhuǎn)移信號中的每個(gè)信號都由兩個(gè)不同相位的控制信號組成，這兩個(gè)控制信號用于驅(qū)動這兩個(gè)門電路，且每個(gè)垂直CCD都由六個(gè)不同相位的控制信號來驅(qū)動。而且，水平CCD由兩個(gè)不同相位的控制信號來驅(qū)動。
對應(yīng)各顏色的邊界可以限定電荷加合的相同部分或不同部分。另外，如果沒有以均勻間隔將像素排列在二維矩陣中，其中該像素由通過電荷加合而獲得的加合電荷表示，則濾波器可以校正這種非均勻排列。
對應(yīng)每種顏色的電荷加合部分可能具有L行和C列，其中L＝4m+2，C＝4n+2，且m和n為自然數(shù)。而且，限定對應(yīng)一種顏色的電荷加合部分的邊界可能與用于限定其它顏色的邊界偏離L/2行、C/2列以及L/2行和C/2列。在上述對于固態(tài)成像元件31的描述中，m和n被設(shè)定為1。就是說，電荷加合的部分具有六行和六列。另外，邊界Y與邊界M偏離三行，與邊界C偏離三列，與邊界G偏離三行和三列。
可以使用Bayer濾色器陣列作為本實(shí)施例中的濾色器陣列。濾色器陣列圖案的重復(fù)部分具有四行和兩列。在該重復(fù)部分中，第一行和第一列與第三行和第二列的光電轉(zhuǎn)換元件具有相同顏色的濾色器。第一行和第二列與第三行和第一列的光電轉(zhuǎn)換元件、第二行和第一列與第四行和第二列的光電轉(zhuǎn)換元件、第二行和第二列與第四行和第一列的光電轉(zhuǎn)換元件也具有同樣的情況。或者，濾色器陣列圖案的重復(fù)部分可能具有兩行和四列。在這種情況下，第一行和第一列與第二行和第三列的光電轉(zhuǎn)換元件具有相同顏色的濾色器。第二行和第一列與第一行和第三列的光電轉(zhuǎn)換元件、第一行和第二列與第二行和第四列的光電轉(zhuǎn)換元件、第二行和第二列與第一行和第四列的光電轉(zhuǎn)換元件也具有同樣的情況。
驅(qū)動單元32可以單獨(dú)地向固態(tài)成像元件31發(fā)送第一到第六讀取信號和第一到第六連接轉(zhuǎn)移信號。這里，固態(tài)成像元件31具有用于分別向六個(gè)連續(xù)行中的光電轉(zhuǎn)換元件發(fā)送彼此不同的讀取信號的布線，和用于分別向六個(gè)連續(xù)列中的連接CCD發(fā)送彼此不同的連接轉(zhuǎn)移信號的布線。
上述修改例已經(jīng)在相關(guān)申請中詳細(xì)說明，這里不再對其詳細(xì)解釋。
日本申請No.2003-018143同樣公開了一種結(jié)構(gòu)，該結(jié)構(gòu)可以利用金屬氧化物半導(dǎo)體(MOS)固態(tài)成像元件將電荷加合到一起從而獲得對應(yīng)九個(gè)像素的加合電荷，并讀出加合電荷。固態(tài)成像元件31可以利用這種結(jié)構(gòu)來實(shí)現(xiàn)。
頻率特性比較下面的部分將解釋與傳統(tǒng)的丟棄一些像素后執(zhí)行縮放操作的分辨率降低技術(shù)相比，具有上述結(jié)構(gòu)的成像設(shè)備30產(chǎn)生具有更高圖像質(zhì)量的圖像。該解釋是基于圖像的空間頻率特性比較而進(jìn)行的。
圖4是表示三種圖像的空間頻率特性的曲線。沿水平軸畫出空間頻率，沿垂直軸畫出圖像中包含的信號成分的電平。以下將空間頻率簡稱為頻率。
全像素頻率特性表示固態(tài)成像元件31具有原始分辨率的圖像中的頻率成分。在這種圖像中，一個(gè)像素由固態(tài)成像元件31中的各光電轉(zhuǎn)換元件中所存儲的電荷來表示。
在圖4中，f0表示對應(yīng)于固態(tài)成像元件31原始分辨率的奈奎斯特(Nyquist)頻率。固態(tài)成像元件31包括光學(xué)濾波器，用于消除取樣所產(chǎn)生的混疊噪聲。該濾波器可消除超過f0的頻率成分。
像素加合頻率特性表示一像素加合圖像中的頻率成分。在該像素加合圖像中，每個(gè)像素都由對應(yīng)關(guān)于固態(tài)成像元件31原始分辨率的九個(gè)像素的加合電荷來代表。對應(yīng)這九個(gè)像素的加合電荷是根據(jù)上述結(jié)構(gòu)將電荷加合而得到的。
相比于像素加合頻率特性，像素丟棄頻率特性表示一像素丟棄圖像中的頻率成分。在該像素丟棄圖像中，每個(gè)像素都由具有相同顏色濾色器的九個(gè)光電轉(zhuǎn)換元件中的一個(gè)元件中所存儲的電荷來表示。在固態(tài)成像元件31中的光電轉(zhuǎn)換元件的矩陣中，將該九個(gè)光電轉(zhuǎn)換元件按照行方向和列方向順序地排列為一個(gè)3×3矩陣。將剩余八個(gè)光電轉(zhuǎn)換元件中存儲的電荷丟棄，或者不對其進(jìn)行讀取。
該像素加合圖像和像素丟棄圖像都具有一暫定分辨率，該分辨率是固態(tài)成像元件31的原始分辨率的九分之一。在圖4中，f0/3表示對應(yīng)于該暫定分辨率的奈奎斯特頻率。根據(jù)取樣定理，超過f0/3的頻率的信號成分在具有該暫定分辨率的圖像中以混疊噪聲的形式出現(xiàn)，因此會惡化圖像質(zhì)量。
如圖4所示，該像素丟棄圖像比像素加合圖像具有更多的超過f0/3的信號成分，該信號成分會惡化圖像質(zhì)量。以下將解釋其原因。為了執(zhí)行電荷加合，彼此相鄰的多個(gè)像素中的電荷被一個(gè)接一個(gè)地加合。該處理必然伴有空間低通濾波器(LPF)的效應(yīng)。然而，丟棄像素的處理并未產(chǎn)生此空間低通濾波器的效應(yīng)，因此不能消除超過f0/3的信號成分。
圖5示出了縮放和輪廓校正單元37執(zhí)行的縮放操作的示意圖。在專利文件1中特別公開了一種縮放操作，因此這里僅就其特點(diǎn)作簡要說明。
圖5示出了通過再取樣而產(chǎn)生新像素的縮放操作，例如該新像素按照相鄰原始像素之間距離的四分之五倍長度的間隔而排列。在圖5中，上面的白圈表示原始像素，下面的黑圈表示通過再取樣而將產(chǎn)生的新像素。通過再取樣而產(chǎn)生的新像素的位置(以下稱為像素位置)為(A)與原始像素的位置相同；(B)離開原始像素的位置的距離為兩個(gè)相鄰原始像素之間距離的四分之一，或者(C)在兩個(gè)相鄰原始像素的中間。
將每個(gè)像素位置附近的五個(gè)原始像素乘以一系數(shù)，該系數(shù)唯一對應(yīng)情況(A)，(B)，(C)中相應(yīng)的一種情況(圖5中的A0到A4，B0到B4，或C0到C4)，并將乘積結(jié)果彼此加合，從而執(zhí)行再取樣。
專利文件1公開了一種選擇系數(shù)的標(biāo)準(zhǔn)，不論像素位置如何不同，都能夠?qū)崿F(xiàn)相對平坦的頻率特性，并公開了一種結(jié)構(gòu)，能夠在表格中預(yù)存儲多個(gè)系數(shù)，以便將原始像素乘以對應(yīng)特定像素位置的系數(shù)，并將乘積結(jié)果加合。
圖6作為一個(gè)例子示出了通過縮放操作得到的增益的頻率特性的曲線。在圖6中，f表示對應(yīng)于目標(biāo)分辨率的奈奎斯特頻率，該目標(biāo)分辨率是通過再取樣實(shí)現(xiàn)的。對應(yīng)于圖6所示的暫定分辨率，奈奎斯特頻率f0/3作為參考。圖6作為一個(gè)例子示出了分別作為上述情況(A)，(B)，(C)中的頻率特性的特性A，B和C。頻率f的增益按照特性A，B，C的順序依次變小，即使對應(yīng)特性C的最小的增益在頻率f也不為零。
根據(jù)此縮放操作，可以減少由于像素位置差異而引起的頻率特性的變化，從而實(shí)現(xiàn)良好的圖像質(zhì)量。
圖7示出了各加合/重整圖像和丟棄/重整圖像的頻率特性的曲線。該加合/重整圖像和丟棄/重整圖像是通過對像素加合圖像和像素丟棄圖像分別執(zhí)行縮放操作而得到的。
加合/重整圖像和丟棄/重整圖像的頻率特性是分別通過將圖4所示的像素加合頻率特性和像素丟棄頻率特性乘以圖6所示縮放操作結(jié)果的頻率特性而得到的。如上所述，對應(yīng)于不同的像素位置，作為縮放操作的結(jié)果，會有多種類型的增益的頻率特性。在此乘法中，使用每個(gè)頻率的最小值是為了便于更好的理解。
圖8示出了各加合/重整/輪廓校正圖像和丟棄/重整/輪廓校正圖像的頻率特性，上述圖像是分別通過對加合/重整圖像和丟棄/重整圖像執(zhí)行輪廓校正操作而得到的。
如上所述，當(dāng)像素加合圖像，加合/重整圖像，和加合/重整/輪廓校正圖像構(gòu)成的一個(gè)組與像素丟棄圖像，丟棄/重整圖像，和丟棄/重整/輪廓校正圖像構(gòu)成的一個(gè)組相比較時(shí)，前一個(gè)組的圖像中，超過了對應(yīng)于目標(biāo)分辨率的奈奎斯特頻率并惡化圖像質(zhì)量的信號成分具有較低電平。這表明，當(dāng)與傳統(tǒng)的丟棄某些像素的分辨率減少技術(shù)相比時(shí)，本發(fā)明實(shí)施例涉及的成像設(shè)備30產(chǎn)生了具有較高圖像質(zhì)量的圖像。
在通過成像設(shè)備30獲得的加合/重整/輪廓校正圖像中，對應(yīng)于該目標(biāo)分辨率的奈奎斯特頻率f的信號成分永遠(yuǎn)不為零。
這個(gè)顯著特性是通過使用固態(tài)成像元件而實(shí)現(xiàn)的，該固態(tài)成像元件通過像素的加合可產(chǎn)生具有比目標(biāo)分辨率更高的暫定分辨率的圖像。具體來說，該固態(tài)成像元件首先產(chǎn)生具有比目標(biāo)分辨率更高的暫定分辨率的像素加合圖像。然后，固態(tài)成像元件執(zhí)行縮放操作，其中即使是對應(yīng)于目標(biāo)分辨率的頻率f的最小增益也永遠(yuǎn)不為零，然后，對該像素加合圖像執(zhí)行輪廓校正操作，從而獲得具有目標(biāo)分辨率的加合/重整/輪廓校正圖像。
假定一固態(tài)成像元件，能夠通過像素加合而產(chǎn)生具有等于目標(biāo)分辨率的分辨率的一圖像。在這種固態(tài)成像元件中，產(chǎn)生具有目標(biāo)分辨率的圖像的縮放操作就不能執(zhí)行。在此情況下，在具有目標(biāo)分辨率的圖像中，不可能保持對應(yīng)于目標(biāo)分辨率的頻率f處的信號成分。
通過此固態(tài)成像元件獲得的像素加合圖像和通過本發(fā)明實(shí)施例涉及的成像設(shè)備30獲得的加合/重整/輪廓校正圖像具有相同的分辨率。然而，該加合/重整/輪廓校正圖像在頻率f附近的高頻成分具有更高的電平。
這表示本發(fā)明實(shí)施例涉及的成像設(shè)備30能夠產(chǎn)生具有目標(biāo)分辨率的圖像，并保持對應(yīng)目標(biāo)分辨率的頻率f處的信號成分，從而具有良好的高頻特性。這些效果的獲得是因?yàn)槌上裨O(shè)備30使用了一種固態(tài)成像元件，該固態(tài)成像元件通過像素的加合可產(chǎn)生具有高于目標(biāo)分辨率的分辨率的圖像。
權(quán)利要求
1.一種成像設(shè)備，產(chǎn)生代表具有比該成像設(shè)備原始分辨率低的目標(biāo)分辨率的圖像的圖像數(shù)據(jù)，該成像設(shè)備包括多個(gè)光電轉(zhuǎn)換元件，它們以二維矩陣形式排列，每個(gè)元件在其光接收表面上都具有從多個(gè)顏色中選擇的預(yù)定顏色的濾色器，且每個(gè)元件存儲由光電轉(zhuǎn)換所產(chǎn)生的電荷；電荷加合單元，用于將矩陣中L行和C列的各部分中具有相同顏色的濾色器的光電轉(zhuǎn)換元件中所存儲的電荷加合到一起，從而獲得加合電荷，其中，6≤L，6≤C且L和C都為偶數(shù)自然數(shù)；讀取單元，用于讀取矩陣中L行和C列的所有部分的加合電荷；圖像數(shù)據(jù)產(chǎn)生單元，用于根據(jù)讀取出的加合電荷，產(chǎn)生代表暫定分辨率低于原始分辨率的圖像的圖像數(shù)據(jù)暫定分辨率；和縮放單元，用于對具有暫定分辨率的圖像進(jìn)行縮放，從而將該暫定分辨率減小到目標(biāo)分辨率并產(chǎn)生代表具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)；其特征在于，多個(gè)光電轉(zhuǎn)換元件的數(shù)目大于使暫定分辨率等于目標(biāo)分辨率而所需的光電轉(zhuǎn)換元件的數(shù)目。
2.如權(quán)利要求1所述的成像設(shè)備，其特征在于，還包括輪廓校正單元，用于校正表示具有目標(biāo)分辨率的圖像的圖像數(shù)據(jù)，從而增強(qiáng)圖像的輪廓部分。
3.如權(quán)利要求1所述的成像設(shè)備，其特征在于，在每部分中，電荷加合單元可以將具有多種顏色中的一種顏色的濾色器的光電轉(zhuǎn)換元件中所存儲的電荷加合，且對應(yīng)多種顏色中的一種顏色的部分可以偏離對應(yīng)剩余顏色中的每一種顏色的部分。
4.如權(quán)利要求3所述的成像設(shè)備，其特征在于，L＝4m+2和C＝4n+2，其中m和n為自然數(shù)，且對應(yīng)這些顏色中的一種顏色的部分可以偏離對應(yīng)剩余顏色中的每一種顏色的部分L/2行、C/2列或L/2行和C/2列。
全文摘要
固態(tài)成像元件包括多個(gè)光電轉(zhuǎn)換元件，這些光電轉(zhuǎn)換元件具有互補(bǔ)或Bayer濾色器陣列。固態(tài)成像元件將六行和六列的各部分中九個(gè)具有多種顏色中的一種顏色的濾色器的光電轉(zhuǎn)換元件中所存儲的電荷加合在一起，從而得到加合電荷，并將該加合電荷作為一個(gè)像素輸出。對應(yīng)多種顏色中的一種顏色的部分與對應(yīng)各其它顏色的部分偏離三行和/或三列。該像素加合操作產(chǎn)生空間低通濾波器效應(yīng)，從而減小了超過對應(yīng)于目標(biāo)分辨率的奈奎斯特頻率的信號分量。從而與傳統(tǒng)的分辨率降低技術(shù)相比，減小了具有目標(biāo)分辨率的圖像中的折疊噪聲，實(shí)現(xiàn)了更高的圖像質(zhì)量。
文檔編號H04N5/357GK1604613SQ20041007070
公開日2005年4月6日 申請日期2004年7月21日 優(yōu)先權(quán)日2003年9月30日
發(fā)明者川上誠, 豬熊一行, 藤井俊哉 申請人:松下電器產(chǎn)業(yè)株式會社