專利名稱：一種多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及圖像傳感器技術(shù)。
背景技術(shù)：
CMOS圖像傳感器芯片是一種低功耗高速的"片上攝像系統(tǒng)"。圖像傳感器通過(guò)規(guī)模 龐大的二維感光像素陣列來(lái)采集圖像，將光信號(hào)轉(zhuǎn)換成模擬的電信號(hào)之后，被信號(hào)讀出 處理電路中的放大器放大，然后直接轉(zhuǎn)換成對(duì)應(yīng)的數(shù)字信號(hào)并對(duì)應(yīng)恢復(fù)成圖像輸出。在 固定光照強(qiáng)度下，數(shù)字輸出正比于像素的感光時(shí)間。
在視頻監(jiān)控、汽車電子、軍事等應(yīng)用領(lǐng)域，由于被監(jiān)控環(huán)境中光照強(qiáng)度的變化范圍 很大，所以要求圖像傳感器能夠同時(shí)感應(yīng)強(qiáng)度相差很大的光照，即要求CMOS圖像傳感器 具有足夠大的動(dòng)態(tài)范圍。動(dòng)態(tài)范圍的定義是指同一幅圖像中可拍攝的最亮與最暗光照的 比值。從人的視覺(jué)角度，能夠同時(shí)識(shí)別出同一場(chǎng)景中很亮區(qū)域與很暗區(qū)域的圖像細(xì)節(jié)即 意味著圖像傳感器具有比較大的動(dòng)態(tài)范圍。
由于圖像傳感器芯片設(shè)計(jì)以及圖像數(shù)據(jù)存儲(chǔ)、傳輸、顯示等環(huán)節(jié)的制約，圖像中所 有像素具有相同的曝光時(shí)間，而且每一個(gè)像素的數(shù)據(jù)位長(zhǎng)固定，因此制約了圖像傳感器
的動(dòng)態(tài)范圍。多次曝光組合是一種有效擴(kuò)展CMOS圖像傳感器動(dòng)態(tài)范圍的有效方法。通過(guò) 將幾幅不同曝光時(shí)間的圖像組合起來(lái)，可以同時(shí)獲得強(qiáng)光照和弱光照部分的更多細(xì)節(jié)， 從而達(dá)到擴(kuò)大動(dòng)態(tài)范圍的目的。多次曝光組合過(guò)程中需要獲取多幅不同的同一場(chǎng)景成像， 各自突出不同光照強(qiáng)度部分的細(xì)節(jié)。如何確定采樣次數(shù)及每次采樣的曝光時(shí)間是多次曝 光組合的核心問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決不同拍攝光照環(huán)境下采樣次數(shù)確定以及每次采樣積分時(shí)間的
確定與調(diào)度問(wèn)題，以期獲得最佳圖像效果。為此，本發(fā)明采用如下的技術(shù)方案 一種多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法，其特征如下
(1) 使用中等長(zhǎng)度的曝光時(shí)間，拍攝一幅圖像，曝光時(shí)間為TC;
(2) 計(jì)算圖像中心區(qū)域的平均亮度V、飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn;
(3) 當(dāng)平均亮度V處于[3(F。飽和輸出值A(chǔ)L ， 70%飽和輸出值A(chǔ)H]之間，且飽和像素?cái)?shù) 目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均不超過(guò)設(shè)定上限，不調(diào)整曝光時(shí)間；
(4) 下列三種情況下，1:當(dāng)平均亮度V處于[20。/。飽和輸出值ML， 30y。飽和輸出值A(chǔ)L] 或[70%飽和輸出值A(chǔ)H， 80%飽和輸出值腿]之間，且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均不超過(guò)設(shè)定上限；2:平均亮度V處于[20。/。飽和輸出值ML， 30% 飽和輸出值A(chǔ)L或[70%飽和輸出值A(chǔ)H， 80%飽和輸出值MH]之間，且飽和像素?cái)?shù)目 Ns不超過(guò)設(shè)定上限，而嚴(yán)重欠曝光像素的數(shù)目Nn超過(guò)設(shè)定上限；3:平均亮度V 處于[20%飽和輸出值ML， 30%飽和輸出值A(chǔ)L]或[70%飽和輸出值A(chǔ)H， 80%飽和輸出 值MH]之間，且飽和像素?cái)?shù)目Ns超過(guò)設(shè)定上限，而嚴(yán)重欠曝光像素的數(shù)目Nn不超 過(guò)設(shè)定上限，按照下面的公式調(diào)整曝光時(shí)間，
打:
AT.7W1-編)/ 、
a "1 々論"，r,2Tmin且層
(5)
Jmin,其他
其中，Tmin為圖像傳感器能夠使用的最小曝光時(shí)間，Nsd表示飽和像素Ns的規(guī) 定上限，Ptotal表示一幀中像素的總數(shù)；K為調(diào)整系數(shù)，取0 1之間； 如果且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均超過(guò)設(shè)定上限，平均亮度V 在[20y。飽和輸出值ML， 80。/。飽和輸出值MH]之間，則再進(jìn)行兩次采樣， 一次采樣低
光強(qiáng)， 一次采樣高光強(qiáng)；
(6) 如果平均亮度V低于20。/。飽和輸出值ML且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)
目Nn均超過(guò)設(shè)定上限，則再進(jìn)行3次采樣，其中兩次低光強(qiáng)， 一次高光強(qiáng)；
(7) 如果平均值高于80%飽和輸出值MH且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目 Nn均超過(guò)設(shè)定上限，則采樣3次，其中兩次高光強(qiáng)， 一次低光強(qiáng)；
上述的步驟(5) 、 (6) 、 (7)中，
兩次高光強(qiáng)采樣的曝光時(shí)間分別按照下列兩個(gè)公式確定， 一次高光強(qiáng)采樣的曝光時(shí)
間按照下列兩個(gè)公式的第一個(gè)公式確定
-編)/ 、
打1 =
77 2 =
2 T min
其他
r — (7b - r,i)
勺=(7fc +1)/2 ， 7M 2 rmin
_r min/ 2,其他
兩次低光強(qiáng)采樣的曝光時(shí)間分別按照下列兩個(gè)公式確定， 一次低光強(qiáng)采樣的曝光時(shí) 間按照下列兩個(gè)公式中的第一個(gè)公式確定，式中，Tmax為圖像傳感器能夠使用的最大曝
光時(shí)間。
771 —A " /尸諭/,，脇:Tmax ljmax,其他
T,2 = j /2 = (Jb + r,1)/2， 271 S 71 max
丄r min/ 2，其他
上述的多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法，中等長(zhǎng)度的曝光時(shí)間
5是指在lOOLux光照下達(dá)到50%滿阱容量時(shí)曝光時(shí)間；光強(qiáng)小于5Lux時(shí)屬于低光強(qiáng)，大 于500Lux為高光強(qiáng)。
本發(fā)明利用CMOS圖像傳感器制造工藝與標(biāo)準(zhǔn)CMOS數(shù)字電路工藝兼容，從而可以將 圖像采集部分與圖像處理部分集成于一塊芯片之上的特點(diǎn)，實(shí)時(shí)對(duì)每次采樣的圖像進(jìn)行 分析。根據(jù)像素輸出與光照強(qiáng)度和積分時(shí)間的乘積成正比的特點(diǎn)，通過(guò)實(shí)時(shí)分析圖像中 飽和像素與嚴(yán)重欠飽和像素的比例，得出目前拍攝場(chǎng)景中光照強(qiáng)度的變化范圍，進(jìn)而分 別使用不同的積分時(shí)間獲取多幅同一場(chǎng)景的圖像，然后根據(jù)積分時(shí)間的長(zhǎng)短進(jìn)行組合， 從而增大圖像傳感器的動(dòng)態(tài)范圍。本發(fā)明充分了 CMOS圖像傳感器可以將圖像傳感部分和 數(shù)字控制部分集成于同一片芯片上以及采樣速度任意可調(diào)的特點(diǎn)，通過(guò)采用多次不同的 曝光時(shí)間來(lái)獲得適合不同光照強(qiáng)度的圖片，然后根據(jù)積分時(shí)間的比值將多幅圖像組合成 一幅同時(shí)表現(xiàn)強(qiáng)光和暗光部分的圖片，從而擴(kuò)展圖像的動(dòng)態(tài)范圍。


圖l圖像傳感器的動(dòng)態(tài)范圍示意圖。
圖2圖像傳感器像素輸出與曝光時(shí)間、光照的關(guān)系圖。
圖3光強(qiáng)范圍劃分示意圖。
圖4 (a) Ns (飽和像素點(diǎn))與最大光強(qiáng)。
圖4 (b) Ns與積分時(shí)間成線性關(guān)系。
具體實(shí)施例方式
通過(guò)參照下面，并結(jié)合附圖進(jìn)行詳細(xì)的描述，將更加容易的了解，同時(shí)更好的理解 本發(fā)明的上述特征和具有的優(yōu)點(diǎn)。
圖1為圖像傳感器的動(dòng)態(tài)范圍示意圖，圖2為圖像傳感器像素輸出與曝光時(shí)間、光 照的關(guān)系。
首先對(duì)本發(fā)明涉及的參數(shù)的物理意義進(jìn)行定義
1、 飽和像素?cái)?shù)目Ns:達(dá)到飽和輸出95%幅度的像素個(gè)數(shù)占全部像素?cái)?shù)目的比例；
2、 嚴(yán)重欠曝光像素?cái)?shù)目Nm輸出數(shù)值低于10%飽和輸出數(shù)值的像素個(gè)數(shù)占全部像素 數(shù)目的比例，與CMOS圖像傳感器本身的噪聲水平有關(guān)；
3、 像素輸出中間值A(chǔ): 50%飽和輸出值；
4、 AL、 AH:分別表示30%與70%飽和輸出值；
5、 ML、 MH:分別表示20%與80%飽和輸出值；
6、 Tc:首次采樣的曝光時(shí)間；
7、 Tt:調(diào)整后的曝光時(shí)間;
8、 Tmin:圖像傳感器可以使用的最小曝光時(shí)間；
9、 Tmax:圖像傳感器可以使用的最大曝光時(shí)間
610、 K:調(diào)整系數(shù)，0 l之間。
11、 Nsd:表示飽和像素NS的規(guī)定上限。
12、 關(guān)于中等光強(qiáng)、高光強(qiáng)、低光強(qiáng)的合理范圍
自然界中光強(qiáng)的變化范圍很大，例如夏天正午時(shí)間直接陽(yáng)光照射下的光強(qiáng)可以達(dá)到
10000 1000000Lux，而在無(wú)月光的夜晚光強(qiáng)只有0. 1 0. OlLux，在晴天時(shí)有日光燈照射 的室內(nèi)，光強(qiáng)大致在50—150Lux。 一般認(rèn)為光強(qiáng)小于5Lux時(shí)屬于低光強(qiáng)，大于500Lux 為高光強(qiáng)，而100 150Lux為中等光強(qiáng)。
對(duì)于CMOS圖像傳感器來(lái)講，由于其光電轉(zhuǎn)換的線性關(guān)系，可以直接測(cè)量的光強(qiáng)變化 是有限的①、由于圖像傳感器本身存在的噪聲， 一般情況下圖像傳感器可以直接測(cè)量 的最小光強(qiáng)為0.1 11ux;②、圖像傳感器可以測(cè)量的最大光強(qiáng)與其本身的靈敏度和像素 滿量程(滿阱容量)直接相關(guān)，靈敏度的定義為在lLux光照下，曝光時(shí)間為l秒鐘時(shí)產(chǎn) 生的電壓，單位是V/LuxS。像素滿量程(滿阱容量)是指感光像素可以輸出的最大電壓。 在像素滿量程一定的情況下，靈敏度越大對(duì)于暗光的感知效果越好，對(duì)于強(qiáng)光的感知效 果越差；反之則低光性能差，強(qiáng)光效果好。目前使用的CMOS圖像傳感器的靈敏度大致為 2 5V/LuxS，像素滿量程在1 2V之間。
按照上述描述，初始采用的中等長(zhǎng)度曝光時(shí)間是在100Lux光照下達(dá)到50%滿阱容量 時(shí)曝光時(shí)間。例如對(duì)于靈敏度為4V/LuxS,像素滿量程為IV的圖像傳感器，在100Lux光 照下達(dá)到50%滿量程時(shí)的曝光時(shí)間為1. 25毫秒。
下面分幾個(gè)方面介紹本發(fā)明的曝光次數(shù)確定和曝光時(shí)間分配方法。
1. 場(chǎng)景光強(qiáng)信息獲取
首先使用中等強(qiáng)度光照的積分時(shí)間拍攝一幅圖像，并判斷圖像中心區(qū)域的平均亮度 以及飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn，作為判斷是否調(diào)整積分時(shí)間以及是否 采用多次采樣組合的依據(jù)。
在圖3中，A表示像素強(qiáng)度的中間值。確定CIS積分時(shí)間的原則如下
(1) 、當(dāng)強(qiáng)度平均值V處于[AL ， AH]之間，且Ns和Nn均不超過(guò)規(guī)定的上限，曝光 時(shí)間不變；
(2) 、如果在[ML， AL]和[AH， MH]之間，且Ns和Nn均不超過(guò)規(guī)定的上限；或小于ML 且只有Nn超限，或大于MH且只有Ns超限，曝光時(shí)間調(diào)整；
(3) 、在其他情況下需要采用多幀組合。
光強(qiáng)范圍判定值A(chǔ)L， AH， MH， ML與傳感器本身的動(dòng)態(tài)范圍和噪聲水平有關(guān)。使用時(shí) 需要根據(jù)具體應(yīng)用加以確定。
2. 曝光次數(shù)確定 曝光次數(shù)的確定
(l)如果Nn和Ns都超過(guò)規(guī)定的上限，平均值在[ML，腿]之間，則采樣3次， 一次采 樣中等光強(qiáng)， 一次采樣低光強(qiáng)， 一次采樣高光強(qiáng)；強(qiáng);
(2)如果平均值低于ML且Nn， Ns超過(guò)規(guī)定上限，采樣3次，兩次低光強(qiáng)， 一次高光
(3)如果平均值高于ffil且Nn， Ns超過(guò)規(guī)定上限，采樣3次，兩次高光強(qiáng)， 一次低光
3.曝光時(shí)間確定
顯然飽和像素點(diǎn)Ns的大小和所有像素中超飽和光電流的程度是成正比的，因此可以 通過(guò)Ns來(lái)獲知最大場(chǎng)景光強(qiáng)的信息。由于自然界光強(qiáng)變化的連續(xù)性，認(rèn)為超飽和的光強(qiáng) 范圍與Ns成線性關(guān)系，如圖4所示
在圖4(a)中，縱軸的原點(diǎn)代表在現(xiàn)在積分時(shí)間下達(dá)到飽和的光強(qiáng)，顯然，Ns越大， 則場(chǎng)景之中的最大光強(qiáng)越大。圖4(b)說(shuō)明了 Ns與對(duì)應(yīng)積分時(shí)間的關(guān)系，這里縱軸表示最 長(zhǎng)積分時(shí)間與當(dāng)前積分時(shí)間的差值(表示為Tt)，顯然Ns最大，則積分時(shí)間越短。因此 使用下面的公式來(lái)計(jì)算獲得最大光強(qiáng)的積分時(shí)間-
(1)
nn」傻—層k ,v —
7> =
nn-(M —扁)/ v
a 、 /戶諭/乂 ， TO r min且編
rmin,其他
在公式(l)中，Tmin
為CIS正常工作的最小時(shí)間，即相鄰兩幀的最小間隔，Nsd表示飽和像素Ns的規(guī)定上限，
Ptotal表示一幀中像素的總數(shù)。
如果飽和像素?cái)?shù)量比較大，則意味著超飽和的光強(qiáng)范圍也比較大，需要在高光強(qiáng)區(qū)
域進(jìn)行兩次采樣，其對(duì)應(yīng)的時(shí)間點(diǎn)分別為
IV .7> .n -(船—編)/ 、 r, i = j " 々諭/ J ， r, ^ r min
71 min， 其他
7 2 = <j /2 = (7fc + 7M)/2 , 7M 2 71 min
[T minA 2，其他
下面的公式用于計(jì)算獲得最弱光強(qiáng)的積分時(shí)間-一次采樣-
7>1 =
rmax，其他
(2)
(3)
二次采樣:
ljmax，其他
(化—(7t - m)
，7H S r max
772 = <{— /2 = (7fc+771)/2, 7!fl S rmax
1rmin/2，其他
(4)
權(quán)利要求
1.一種多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法，其特征如下(1)使用中等長(zhǎng)度的曝光時(shí)間，拍攝一幅圖像，曝光時(shí)間為Tc；(2)計(jì)算圖像中心區(qū)域的平均亮度V、飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn；(3)當(dāng)平均亮度V處于[30％飽和輸出值A(chǔ)L，70％飽和輸出值A(chǔ)H]之間，且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均不超過(guò)設(shè)定上限，不調(diào)整曝光時(shí)間；(4)下列三種情況下，1當(dāng)平均亮度V處于[20％飽和輸出值ML，30％飽和輸出值A(chǔ)L]或[70％飽和輸出值A(chǔ)H，80％飽和輸出值MH]之間，且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均不超過(guò)設(shè)定上限；2平均亮度V處于[20％飽和輸出值ML，30％飽和輸出值A(chǔ)L或[70％飽和輸出值A(chǔ)H，80％飽和輸出值MH]之間，且飽和像素?cái)?shù)目Ns不超過(guò)設(shè)定上限，而嚴(yán)重欠曝光像素的數(shù)目Nn超過(guò)設(shè)定上限；3平均亮度V處于[20％飽和輸出值ML，30％飽和輸出值A(chǔ)L]或[70％飽和輸出值A(chǔ)H，80％飽和輸出值MH]之間，且飽和像素?cái)?shù)目Ns超過(guò)設(shè)定上限，而嚴(yán)重欠曝光像素的數(shù)目Nn不超過(guò)設(shè)定上限，按照下面的公式調(diào)整曝光時(shí)間， id="icf0001" file="A2009100678350002C1.tif" wi="61" he="14" top= "122" left = "38" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>Tt≥Tmin且Ns≥Nsd其中，Tmin為圖像傳感器能夠使用的最小曝光時(shí)間，Nsd表示飽和像素Ns的規(guī)定上限，Ptotal表示一幀中像素的總數(shù)；K為調(diào)整系數(shù)，取0～1之間；(5)如果且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均超過(guò)設(shè)定上限，平均亮度V在[20％飽和輸出值ML，80％飽和輸出值MH]之間，則再進(jìn)行兩次采樣，一次采樣低光強(qiáng)，一次采樣高光強(qiáng)；(6)如果平均亮度V低于20％飽和輸出值ML且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均超過(guò)設(shè)定上限，則再進(jìn)行3次采樣，其中兩次低光強(qiáng)，一次高光強(qiáng)；(7)如果平均值高于80％飽和輸出值MH且飽和像素?cái)?shù)目Ns和嚴(yán)重欠曝光像素的數(shù)目Nn均超過(guò)設(shè)定上限，則采樣3次，其中兩次高光強(qiáng)，一次低光強(qiáng)；上述的步驟(5)、(6)、(7)中，兩次高光強(qiáng)采樣的曝光時(shí)間分別按照下列兩個(gè)公式確定，一次高光強(qiáng)采樣的曝光時(shí)間按照下列兩個(gè)公式的第一個(gè)公式確定 id="icf0002" file="A2009100678350002C2.tif" wi="72" he="12" top= "223" left = "33" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>Tt≥T min id="icf0003" file="A2009100678350002C3.tif" wi="74" he="13" top= "238" left = "34" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>Tt 1≥T min兩次低光強(qiáng)采樣的曝光時(shí)間分別按照下列兩個(gè)公式確定，一次低光強(qiáng)采樣的曝光時(shí)間按照下列兩個(gè)公式中的第一個(gè)公式確定，式中，Tmax為圖像傳感器能夠使用的最大曝光時(shí)間。 id="icf0004" file="A2009100678350003C1.tif" wi="58" he="12" top= "43" left = "30" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>Tt1≤T max id="icf0005" file="A2009100678350003C2.tif" wi="61" he="12" top= "58" left = "29" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>Tt1≤T max
2.根據(jù)權(quán)利要求1所述的多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法，其特征 在于，中等長(zhǎng)度的曝光時(shí)間是指在100Lux光照下達(dá)到50X滿阱容量時(shí)曝光時(shí)間；光 強(qiáng)小于5Lux時(shí)屬于低光強(qiáng)，大于500Lux為高光強(qiáng)。
全文摘要
本發(fā)明一種多次曝光組合中曝光次數(shù)確定及曝光時(shí)間分配的方法屬于圖像處理技術(shù)領(lǐng)域，涉及一種根據(jù)像素輸出與光照強(qiáng)度和積分時(shí)間的乘積成正比的特點(diǎn)，通過(guò)分析圖像中飽和像素與嚴(yán)重欠飽和像素的比例，得出目前拍攝場(chǎng)景中光照強(qiáng)度的變化范圍，進(jìn)而分別使用不同的積分時(shí)間獲取多幅同一場(chǎng)景的圖像，然后根據(jù)積分時(shí)間的長(zhǎng)短進(jìn)行組合。本發(fā)明能夠擴(kuò)展圖像的動(dòng)態(tài)范圍，獲得更佳圖像效果。
文檔編號(hào)H04N5/235GK101494739SQ20091006783
公開(kāi)日2009年7月29日 申請(qǐng)日期2009年2月9日 優(yōu)先權(quán)日2009年2月9日
發(fā)明者李斌橋, 胡燕翔 申請(qǐng)人:天津市晶奇微電子有限公司