專利名稱：一種合成圖像的方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種合成圖像的方法與系統(tǒng)。

背景技術(shù)：
現(xiàn)實(shí)場景中，亮度動態(tài)范圍是108:1，人眼能感知的亮度范圍很大，人眼能察覺出亮度為10-3cd/m2的星光，也能感受亮度為105cd/m2的陽光，并且人眼在很亮和很暗的情況下也能察覺到現(xiàn)實(shí)場景中的各種細(xì)節(jié)。由此可知，通過眼睛瞳孔的自動調(diào)節(jié)，人眼能分辨的亮度動態(tài)范圍大致為1081。即使在同一個場景內(nèi)，人眼不需調(diào)節(jié)也能分辨1051的亮度動態(tài)范圍。
而目前的圖像采集設(shè)備(數(shù)碼圖像采集設(shè)備、攝像機(jī))的亮度動態(tài)范圍較低，在特別亮的場景不能看到相應(yīng)的細(xì)節(jié)，在特別暗的部分不能采集相應(yīng)的暗細(xì)節(jié)。因此，采集設(shè)備和實(shí)際場景以及人眼能感知的亮度動態(tài)范圍差距很大。對于高速公路上的監(jiān)控攝、在夜里拍攝、日出出落等，拍攝場景中都同時包含有直對圖像采集設(shè)備鏡頭的高光源(如車的前后燈、街燈、太陽、以及高反射度的表面等)和低照度的細(xì)節(jié)(如陰影、光源后面的景物和其他燈光照不到的區(qū)域)。通常在這種場合我們需要很好的調(diào)整曝光時間，甚至有些場合無論如何調(diào)整都不可能把場景中高照度和低照度的特征全部都清晰的拍下來。因此需要提出各種方法增大圖像采集設(shè)備采集細(xì)節(jié)的能力和相應(yīng)的亮度動態(tài)范圍。
按照目前學(xué)術(shù)界流行的方法合成高動態(tài)范圍圖像，通常需要采用優(yōu)化的方式標(biāo)定圖像采集設(shè)備的響應(yīng)曲線，根據(jù)圖像采集設(shè)備的響應(yīng)曲線和不同曝光情況下拍攝得到的圖像序列計(jì)算出大動態(tài)范圍的圖像(直觀上，由一系列象素值為0～255的圖像序列計(jì)算得到0～105甚至更大范圍的圖像)。最后為了能在常用的顯示設(shè)備中顯示大動態(tài)范圍圖像，還需要對獲得的大動態(tài)范圍圖像進(jìn)行色調(diào)映射(把0～105的大動態(tài)范圍圖像映射為0～255范圍的圖像)。
現(xiàn)有技術(shù)中，有一種技術(shù)方案采用一個圖像采集設(shè)備采集圖像，采集圖像前根據(jù)象素亮度分布設(shè)置每幀的曝光時間，長短曝光圖像相隔；經(jīng)過初始化幀，對圖像的每幀確定相鄰幀間一一對應(yīng)的象素；從對應(yīng)象素中選取相應(yīng)象素計(jì)算出相應(yīng)幀的亮度范圍；把計(jì)算獲得的幀的亮度范圍經(jīng)色調(diào)映射轉(zhuǎn)成可顯示的8位圖像。
在對上述現(xiàn)有技術(shù)進(jìn)行分析后，發(fā)明人發(fā)現(xiàn) 現(xiàn)有技術(shù)需要頻繁的標(biāo)定圖像采集設(shè)備的響應(yīng)曲線，而響應(yīng)曲線會隨著外界特性如溫度的改變而變化，而且在色調(diào)映射階段，效果較好也最常用的做法是基于自適應(yīng)的色調(diào)映射算法，但是這一過程會不可逆轉(zhuǎn)的破壞前面兩個復(fù)雜的標(biāo)定和計(jì)算得到的一些良好的物理特性，如圖像亮度值與場景亮度成正比、與曝光無關(guān)等。因此，這些計(jì)算過程非常復(fù)雜，比較難以轉(zhuǎn)換為一個實(shí)時系統(tǒng)，且合成后的圖像的效果不是很好。


發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種合成圖像的方法與系統(tǒng)，易于實(shí)現(xiàn)，合成圖像效果較好。
所述技術(shù)方案如下 一種合成圖像的方法，所述方法包括 采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像； 根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中象素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。
一種合成圖像的系統(tǒng)，所述系統(tǒng)包括采集模塊，合成模塊； 所述采集模塊，用于采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像； 所述合成模塊，用于根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中象素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。
本發(fā)明實(shí)施例提供的技術(shù)方案的有益效果是通過采集同一場景不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將得到的多幀不同亮度的圖像進(jìn)行合成，得到合成圖像。本發(fā)明在計(jì)算上易于實(shí)現(xiàn)，而且合成圖像的效果好。



為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例1提供的一種合成圖像的方法流程示意圖； 圖2是本發(fā)明實(shí)施例1提供的視頻圖像序列合成的示意說明圖； 圖3是本發(fā)明實(shí)施例1提供的采集的原始圖像和合成后的效果圖； 圖4是本發(fā)明實(shí)施例1提供的直方圖及亮度映射函數(shù)圖； 圖5是本發(fā)明實(shí)施例1提供的曝光控制過程流程示意圖； 圖6是本發(fā)明實(shí)施例1提供的合成過程流程示意圖； 圖7是本發(fā)明實(shí)施例1提供的動態(tài)范圍增加的圖像合成示意圖； 圖8是本發(fā)明實(shí)施例2提供的一種合成圖像的系統(tǒng)結(jié)構(gòu)示意圖； 圖9是本發(fā)明實(shí)施例2提供的另一種合成圖像的系統(tǒng)結(jié)構(gòu)示意圖； 圖10是本發(fā)明實(shí)施例2提供的進(jìn)行亮度增強(qiáng)后的合成圖像的系統(tǒng)結(jié)構(gòu)示意圖。
圖11是本發(fā)明實(shí)施例2提供的合成圖像的系統(tǒng)的一個具體結(jié)構(gòu)示意圖。

具體實(shí)施例方式 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
實(shí)施例1 本發(fā)明實(shí)施例提供了一種合成圖像的方法，通過采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)不同亮度的圖像中的每兩幀圖像之間的亮度映射關(guān)系將多幀不同亮度的圖像進(jìn)行合成，得到合成圖像。參見圖1，為視頻圖像序列合成的示意說明圖。以相機(jī)作為圖像采集設(shè)備為例，采用相機(jī)獲得當(dāng)前場景亮、暗程度不同的視頻圖像幀序列，通過控制曝光可以獲得亮度不同的圖像，亮曝光的亮圖像中具有場景中暗的部分的大部分細(xì)節(jié)，但可能丟失場景中亮的部分的細(xì)節(jié)；在短曝光的暗圖像中具有場景中亮的部分的大部分細(xì)節(jié)，但可能丟失場景中暗的部分的細(xì)節(jié)。因此，將相同場景的亮、暗程度不同的圖像幀進(jìn)行合成，可以保留亮、暗圖像中蘊(yùn)含的所有圖像細(xì)節(jié)，獲得一幀高動態(tài)范圍視頻圖像，達(dá)到了增大視頻圖像的動態(tài)范圍的目的，即兩幀不同曝光的圖像幀的合成進(jìn)而獲得當(dāng)前場景的高動態(tài)范圍視頻。
參見圖2，該方法包括 101采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像。
根據(jù)曝光時間的不同，采集得到至少兩幀不同亮度的圖像，包括亮曝光圖像和暗曝光圖像，后文的描述中也可能稱亮曝光圖像為亮圖像，暗曝光圖像為暗圖像，這里的明暗是相對的，在兩幀不同的圖像中，相對較亮就可以成為亮圖像，相對較暗的就可以稱為暗圖像。對于相機(jī)等采集設(shè)備，連續(xù)采集的同一場景的多幀不同曝光的圖像，通常是串行輸出的，為了便于合成，，可以將先采集的圖像進(jìn)行存儲，然后將存儲的圖像的數(shù)據(jù)與最后采集獲得的圖像進(jìn)行同步，最后并行輸出待合成的所有圖像。
例如，若待合成的圖像為2幀，即需要一幀亮圖像和一幀暗圖像，在兩種曝光的情況下，先采集的亮曝光圖像，則存儲該亮曝光圖像，然后將該亮曝光圖像的數(shù)據(jù)與之后采集的暗曝光圖像的數(shù)據(jù)進(jìn)行同步，分兩路并行輸出一個圖像對，這里的圖像對指的是同一場景的亮圖像和暗圖像。
本發(fā)明實(shí)施例中，采用DDR(Double Data Rate，雙數(shù)據(jù)速率)存儲器將前一幀的圖像進(jìn)行存儲，DDR可以達(dá)到比較理想的成本和性能的平衡。
幀存儲器的數(shù)量取決于需要合成的圖像數(shù)量。
本發(fā)明實(shí)施例是將兩路圖像合成動態(tài)范圍增強(qiáng)的圖像，因此采用一個幀存儲器，將該兩路圖像的幀頭對齊來實(shí)現(xiàn)同步。如果有n種曝光合成動態(tài)范圍增強(qiáng)的圖像，則需要n-1個這樣的幀存儲器，這樣可以保證任何時刻可以得到n種不同曝光的輸入，從各個幀存儲器輸出的數(shù)據(jù)與實(shí)時的數(shù)據(jù)流進(jìn)行同步，最后并行的輸出圖像。
102根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中象素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。
其中，采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像之后，還包括 根據(jù)各幀圖像的亮度直方圖和亮度累計(jì)直方圖計(jì)算每兩幀圖像之間的亮度映射函數(shù)f(x)，其中，x表示亮圖像中象素點(diǎn)的亮度值，f(x)表示暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值； 每一組x，f(x)稱為一個映射對，x減去f(x)的值稱為映射差； 確定一個映射對，將確定的映射對作為所述映射關(guān)系。
為了方便說明，以在兩種曝光情況下即亮曝光和暗曝光下采集的兩幀圖像為例進(jìn)行說明。
參見圖3(a)和圖3(b)，為在亮曝光和暗曝光情況下采集的圖像，圖3(a)為亮曝光圖像，圖3(b)為暗曝光圖像。圖4(a)為這對亮暗圖像的亮度直方圖，該亮度直方圖的橫軸表示亮度等級，從左側(cè)0(暗色調(diào))到右側(cè)255(亮色調(diào))，將圖像的亮度等級分為256級，而縱軸則表示每個亮度等級下的像素個數(shù)，將縱軸上這些像數(shù)值點(diǎn)連接起來，就是亮度直方圖，圖4(b)為這對亮暗圖像亮度累計(jì)直方圖，其中，曲線1表示亮曝光圖像，曲線2表示暗曝光圖像。圖4(c)為根據(jù)圖4(a)所示的這對亮暗圖象的亮度直方圖及圖4(b)所示的亮度累計(jì)直方圖計(jì)算出的亮度映射函數(shù)圖，計(jì)算過程與現(xiàn)有技術(shù)相同，此處不再贅述。該亮度映射函數(shù)圖的橫坐標(biāo)表示的是亮圖像的像素，該亮度映射函數(shù)圖的縱坐標(biāo)表示的是暗圖像的像素。該亮度映射函數(shù)可以理解為亮圖像中亮度值為x的象素在暗圖像中應(yīng)為f(x)，x>＝f(x)。如果從離散的角度看，f應(yīng)該是多對多的函數(shù)；然而，可以把f理解連續(xù)的函數(shù)，這樣f就成了單調(diào)遞增的函數(shù)。在具體計(jì)算中，可以將x和f(x)取值為整數(shù)進(jìn)行計(jì)算，取其它數(shù)值也不會對結(jié)果產(chǎn)生影響，x和f(x)之差即為映射差。
其中，亮度信息可以包括以下列舉信息的任何一種或幾種組合亮圖像中的暗象素數(shù)量或亮象素數(shù)量、暗圖像中的亮象素數(shù)量或暗象素數(shù)量、亮暗圖像的全局或者局部均值、亮暗圖像的中值、映射差等。
本發(fā)明實(shí)施例選取最大映射差EDRmax對應(yīng)的映射對(xmax，f(xmax))，作為映射信息 EDRmax＝max{x-f(x)} x∈
(1) 選取最大映射差對應(yīng)的映射對作為映射信息，可以使最后合成的圖像動態(tài)范圍最大，當(dāng)然，也可以選取其他的映射差對應(yīng)的映射對，作為映射信息，即亮度映射函數(shù)曲線中，x與對應(yīng)著的f(x)為映射對，作為映射信息。
EDR在本方案中是個重要的指標(biāo)，可以直接衡量增強(qiáng)的動態(tài)范圍(enhanced dynamicrange)，可以表征當(dāng)前曝光時間是否合適。
對于多曝光的情況，即待合成圖像包括兩幅以上不同曝光的圖像，按照曝光時間不同將這些圖像從亮到暗排序，每相鄰兩個圖像可以算出一個亮度映射函數(shù)fn。公式1就相應(yīng)的變成(2)式。容易知道，n幀的EDR實(shí)際上是n-1個2幀相互無關(guān)的的EDR之和。同樣，映射信息為 {(xmax 1，f1(xmax 1)，(xmax 2，f2(xmax 2)...(xmax(n-1)，f(n-1)(xmax(n-1))} EDRmaxk＝max{xk-fk(xk)} xk∈
其中，該方法還包括 對各幀圖像的亮度直方圖進(jìn)行統(tǒng)計(jì)，得到亮度信息； 根據(jù)所述亮度信息調(diào)節(jié)參考曝光時間和曝光動態(tài)時間，根據(jù)所述參考曝光時間和曝光動態(tài)時間計(jì)算下一次采集時各幀圖像的曝光時間。
其中，根據(jù)亮度信息調(diào)整參考曝光時間和曝光動態(tài)時間，為此，本發(fā)明實(shí)施例提出了一種自動多曝光控制方法，參見圖5，該方法根據(jù)曝光參考值(ER)與曝光動態(tài)范圍值(ED)來調(diào)節(jié)曝光時間，設(shè)定參考曝光時間為Ter，該參考曝光時間為多曝光時間的基準(zhǔn)參考值，能準(zhǔn)確反應(yīng)場景亮度，保證多曝光圖像序列不會過亮也不會過暗。通常為多曝光中的曝光時間序列的中值，暗曝光時間為Td，亮曝光時間為Tb，曝光時間動態(tài)值為Ted，該曝光時間動態(tài)值為多曝光時間的偏移系數(shù)，用于確定多曝光序列能覆蓋的場景亮度的動態(tài)范圍，通常為多曝光中相鄰曝光時間的差值，也可以表示為相鄰曝光時間的比值。
該方法包括 201調(diào)節(jié)參考曝光時間Ter，使亮度信息在預(yù)設(shè)的閾值范圍內(nèi)。
在雙曝光的情況下，規(guī)定Ter＝Td。在n曝光情況下，規(guī)定參考曝光時間Ter為暗到亮排序的第n/2個曝光圖像值Ter＝T(n/2)。
202根據(jù)所述映射對調(diào)節(jié)曝光時間動態(tài)值Ted，使該曝光時間動態(tài)值Ted能夠很好的覆蓋場景亮度。
本發(fā)明實(shí)施例中，采用最大映射差EDRmax來調(diào)節(jié)Ted，在雙曝光情況下，EDRmax取值在140～180時能得到較好的效果。
203保持曝光時間動態(tài)值Ted不變，將參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)； 204以固定的周期判斷動態(tài)范圍是否發(fā)生變化，如果是，返回201；否則，執(zhí)行205。
其中，動態(tài)范圍是圖像的最亮和最暗部分之間的比值。
205判斷場景亮度是否發(fā)生變化，如果是，返回203，否則，等待下一周期，判斷動態(tài)范圍是否發(fā)生變化。
完成自動多曝光控制計(jì)算后，在兩種曝光的情況下，按規(guī)定Ter＝Td，Tb＝Ter+Ted，可以根據(jù)實(shí)際平臺對圖像采集設(shè)備設(shè)置[亮暗亮暗......]交替方式的曝光時間，以達(dá)到曝光輪換的目的。
在n中曝光的情況下，T(i)＝Ter+(i-n/2)Ted，可以對圖像采集設(shè)備設(shè)置為由亮到暗的交替方式的曝光時間，比如，有4中曝光，將這4種曝光由亮到暗進(jìn)行排序，這4種曝光的曝光時間分別為4、3、2、1，然后循環(huán)這種排序，即4、3、2、1，4、3、2、1……。
對于高速圖像采集設(shè)備，可以采用固定的多曝光實(shí)現(xiàn)全動態(tài)范圍的拍攝，不再需要實(shí)現(xiàn)自動曝光控制。
其中，根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述多幀不同亮度的圖像進(jìn)行合成，得到合成圖像，包括 根據(jù)確定的映射對計(jì)算映射后的每幀圖像的亮度值； 本發(fā)明實(shí)施例中，用最大映射差對應(yīng)的映射對(xmax，f(xmax))來計(jì)算暗曝光下映射后的圖像的亮度值。假設(shè)I1為亮曝光圖像亮度值，I2為暗曝光圖像亮度值，經(jīng)過映射后，暗曝光圖像的亮度值I2的亮度值為(I2+xmax-f(xmax))。
根據(jù)確定的映射對計(jì)算每幀圖像的合成權(quán)重； 本發(fā)明實(shí)施例中，

為亮曝光圖像的合成權(quán)重，

是以0為中心，Xmax為半徑計(jì)算高斯權(quán)重，具體計(jì)算公式如下式所示。

為暗曝光圖像的合成權(quán)重，

以255為中心，f(Xmax)為半徑計(jì)算高斯權(quán)重，具體計(jì)算公式如式(3)所示。
為了使后續(xù)的計(jì)算方便，可以將每個圖像的合成權(quán)重進(jìn)行歸一化。將式(3)歸一化后，如式(4)所示； s2＝1-s1 經(jīng)過簡化運(yùn)算，式(4)可以簡化到查表、加法和三個乘法。
對于n曝光的情況，合成權(quán)重如式(5)為 歸一化后，如式(6)為 利用映射后的各幀圖像的亮度值和各幀相應(yīng)的合成權(quán)重對采集到的多幀圖像進(jìn)行合成，得到合成圖像。
繼續(xù)上述的例子，設(shè)亮曝光圖像的色度為C1，暗曝光圖像的色度為C2，對于亮度I和色度C，加權(quán)疊加后如式(7)所示。
I＝s1*I1+s2*(I2+xmax-f(xmax))(7) C＝s1*C1+s2*C2 式(7)可以簡化為兩個乘法和五個加法。這在軟硬件設(shè)計(jì)中都是輕而易舉就能實(shí)現(xiàn)。
對于n曝光的情況，各個圖像的亮度值分別為I1，I2，......，In，各個圖像的色度值分別為C1，C2，......，Cn，加權(quán)疊加后如式(8) 合成的圖像如圖3(c)所示。
圖7為高動態(tài)范圍圖像合成示意圖，m為在亮曝光下采集的圖像的動態(tài)范圍，n為在暗曝光下采集的圖像的亮度動態(tài)范圍，采集圖像得到的亮曝光圖像和暗曝光圖像的亮度動態(tài)范圍是相同的，如圖中m和n的長度是相等的，但是采集的亮度范圍區(qū)間發(fā)生了變化，如暗曝光圖像相比于亮曝光圖像，采集的區(qū)間向右移動了g長度的距離，因此合成后圖像對應(yīng)的動態(tài)范圍的有效區(qū)間就相應(yīng)的變成了m+g，圖中線條1表示此處場景信息全，沒有丟失，線條2表示此處場景信息丟失，亮曝光圖像中，亮度動態(tài)范圍右邊的場景信息有所丟失，暗曝光圖像中，亮度動態(tài)范圍左邊的場景信息有所丟失，在合成后的圖像中，亮度動態(tài)范圍兩邊的場景信息都沒有丟失。
其中，根據(jù)所述不同亮度的圖像中每兩幀圖像之間的直方圖亮度映射關(guān)系將不同亮度的圖像進(jìn)行合成，得到合成圖像之后，還包括 對所述合成圖像進(jìn)行亮度增強(qiáng)。
具體的，可以將所述合成圖像的亮度通道成比例的縮小，并進(jìn)行雙邊濾波，然后將所述成比例的縮小的合成圖像和進(jìn)行雙邊濾波后的圖像進(jìn)行疊加，得到新的合成圖像，所述新的合成圖像的亮度比步驟102得到的合成圖像的亮度強(qiáng)。
本發(fā)明實(shí)施例中，對亮度通道成比例的縮小的比例系數(shù)約為 具體的，本發(fā)明實(shí)施例采用空間的窗口濾波和亮度域的三角形濾波混合成雙邊濾波器進(jìn)行濾波，因?yàn)榻?jīng)典的雙高斯組成的雙邊濾波器的復(fù)雜度比常用的單個濾波器復(fù)雜度高很多，通常隨著濾波器的窗口尺寸而指數(shù)上升，而且需要消耗大量的資源。
對圖像進(jìn)行亮度通道成比例縮小和濾波后，圖像亮度增強(qiáng)為 Ien＝δ*I+α*(I-Ibilateral)　　　　(9) 其中，Ien為增強(qiáng)之后的圖像亮度，Ibilateral為濾波之后的圖像亮度，α為加權(quán)系數(shù)，這里α取0.5可以取得較好的效果。如果是多曝光合成，則α相應(yīng)的增大。。
如式(9)所示，濾波前的圖像減去濾波后的圖像即為圖像的細(xì)節(jié)，加權(quán)疊加到成比例縮小亮度的圖像后即可以得到細(xì)節(jié)豐富的高動態(tài)范圍圖像，如圖3(d)。
本發(fā)明實(shí)施例提供的一種合成圖像的方法，通過采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)每兩幀圖像之間的亮度映射關(guān)系將多幀不同亮度的圖像進(jìn)行合成，得到合成圖像。該方法不更改現(xiàn)有圖像采集設(shè)備如相機(jī)的架構(gòu)，利用現(xiàn)有圖像采集設(shè)備的曝光設(shè)置功能和附加軟件模塊就可以實(shí)現(xiàn)；應(yīng)用范圍廣，可集成到圖像采集設(shè)備監(jiān)控設(shè)備系統(tǒng)，也可以作為后處理軟件使用；可擴(kuò)展性好，后期升級簡便；合成效果比普通圖像采集設(shè)備好；細(xì)節(jié)鮮明，尤其在強(qiáng)照度和低照度共存的場景，能清晰的獲取大亮度范圍的特征細(xì)節(jié)；合成圖像無合成痕跡，亮暗區(qū)域內(nèi)平滑自然，整體上亮暗過渡諧和統(tǒng)一；由于是并行輸出圖像，沒有降低圖像采集設(shè)備幀率，輸出圖像頻率等同于原圖像采集設(shè)備輸出幀率；算法實(shí)用高效，可以達(dá)到實(shí)時，幾乎不增加硬件成本。
實(shí)施例2 本發(fā)明實(shí)施例提供了一種合成圖像的系統(tǒng)，通過采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)每兩幀圖像之間的亮度映射關(guān)系將多幀不同亮度的圖像進(jìn)行合成，得到動態(tài)范圍增強(qiáng)的合成圖像。參見圖1，為視頻圖像序列合成的示意說明圖。以相機(jī)作為圖像采集設(shè)備為例，采用相機(jī)獲得當(dāng)前場景亮、暗程度不同的視頻圖像幀序列，通過控制曝光可以獲得亮度不同的圖像，亮曝光的亮圖像中具有場景中暗的部分的大部分細(xì)節(jié)，但可能丟失場景中亮的部分的細(xì)節(jié)；在短曝光的暗圖像中具有場景中亮的部分的大部分細(xì)節(jié)，但可能丟失場景中暗的部分的細(xì)節(jié)。因此，將相同場景的亮、暗程度不同的圖像幀進(jìn)行合成，可以保留亮、暗圖像中蘊(yùn)含的所有圖像細(xì)節(jié)，獲得一幀高動態(tài)范圍視頻圖像，達(dá)到了增大視頻圖像的動態(tài)范圍的目的，即兩幀不同曝光的圖像幀的合成進(jìn)而獲得當(dāng)前場景的高動態(tài)范圍視頻。
參見圖8，該系統(tǒng)包括采集模塊801，合成模塊802； 其中，采集模塊801，用于采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像； 根據(jù)曝光時間的不同，采集得到至少兩幀不同亮度的圖像，包括亮曝光圖像和暗曝光圖像，后文的描述中也可能稱亮曝光圖像為亮圖像，暗曝光圖像為暗圖像，這里的明暗是相對的，在兩幀不同的圖像中，相對較亮就可以成為亮圖像，相對較暗的就可以稱為暗圖像。對于相機(jī)等采集設(shè)備，連續(xù)采集的同一場景的多幀不同曝光的圖像，通常是串行輸出的，為了便于合成，，可以將先采集的圖像進(jìn)行存儲，然后將存儲的圖像的數(shù)據(jù)與最后采集獲得的圖像進(jìn)行同步，最后并行輸出待合成的所有圖像。
例如，若待合成的圖像為2幀，即需要一幀亮圖像和一幀暗圖像，在兩種曝光的情況下，先采集的亮曝光圖像，則存儲該亮曝光圖像，然后將該亮曝光圖像的數(shù)據(jù)與之后采集的暗曝光圖像的數(shù)據(jù)進(jìn)行同步，分兩路并行輸出一個圖像對，這里的圖像對指的是同一場景的亮圖像和暗圖像。
本發(fā)明實(shí)施例中，采用DDR存儲器將前一幀的圖像進(jìn)行存儲，DDR可以達(dá)到比較理想的成本和性能的平衡。
幀存儲器的數(shù)量取決于需要合成的圖像數(shù)量。
本發(fā)明實(shí)施例是將兩路圖像合成高動態(tài)范圍圖像，因此采用一個幀存儲器，將該兩路圖像的幀頭對齊來實(shí)現(xiàn)同步。如果有n種曝光合成高動態(tài)范圍圖像，則需要n-1個這樣的幀存儲器，這樣可以保證任何時刻可以得到n種不同曝光的輸入，從各個幀存儲器輸出的數(shù)據(jù)與實(shí)時的數(shù)據(jù)流進(jìn)行同步，最后并行的輸出圖像。
合成模塊802，用于根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將采集模塊801采集得到的至少兩幀不同亮度的圖像進(jìn)行合成，得到合成圖像。
其中，參見圖9，該系統(tǒng)還包括 統(tǒng)計(jì)模塊803，用于對采集模塊801采集得到的各幀不同亮度的圖像的亮度直方圖和亮度累計(jì)直方圖計(jì)算亮度映射函數(shù)f(x)，其中，x表示亮圖像中象素點(diǎn)的亮度值，f(x)表示暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值；每一組x，f(x)稱為一個映射對，x減去f(x)的值稱為映射差；并確定一個映射對，將確定的映射對作為所述映射關(guān)系。
為了方便說明，以在兩種曝光情況下即亮曝光和暗曝光下采集的兩幀圖像為例進(jìn)行說明。參見圖3(a)和圖3(b)，為在亮曝光和暗曝光情況下采集的圖像，圖3(a)為亮曝光圖像，圖3(b)為暗曝光圖像。圖4(a)為這對亮暗圖像的亮度直方圖，該亮度直方圖的橫軸表示亮度等級，從左側(cè)0(暗色調(diào))到右側(cè)255(亮色調(diào))，將圖像的亮度等級分為256級，而縱軸則表示每個亮度等級下的像素個數(shù)，將縱軸上這些像數(shù)值點(diǎn)連接起來，就是亮度直方圖，圖4(b)為這對亮暗圖像亮度累計(jì)直方圖，其中，曲線1表示亮曝光圖像，曲線2表示暗曝光圖像。圖4(c)為根據(jù)圖4(a)所示的這對亮暗圖象的亮度直方圖及圖4(b)所示的亮度累計(jì)直方圖計(jì)算出的亮度映射函數(shù)圖，計(jì)算過程與現(xiàn)有技術(shù)相同，此處不再贅述。該亮度映射函數(shù)圖的橫坐標(biāo)表示的是亮圖像的像素，該亮度映射函數(shù)圖的縱坐標(biāo)表示的是暗圖像的像素。該亮度映射函數(shù)可以理解為亮圖像中亮度值為x的象素在暗圖像中應(yīng)為f(x)，x>＝f(x)。如果從離散的角度看，f應(yīng)該是多對多的函數(shù)；然而，可以把f理解連續(xù)的函數(shù)，這樣f就成了單調(diào)遞增的函數(shù)。在具體計(jì)算中，可以將x和f(x)取值為整數(shù)進(jìn)行計(jì)算，取其它數(shù)值也不會對結(jié)果產(chǎn)生影響，x和f(x)之差即為映射差。
其中，亮度信息可以包括以下列舉信息的任何一種或幾種組合亮圖像中的暗象素數(shù)量或亮象素數(shù)量、暗圖像中的亮象素數(shù)量或暗象素數(shù)量、亮暗圖像的全局或者局部均值、亮暗圖像的中值、映射差等。
本發(fā)明實(shí)施例選取最大映射差EDRmax對應(yīng)的映射對(xmax，f(xmax))，作為映射信息 EDRmax＝max{x-f(x)} x∈
(1) 選取最大映射差對應(yīng)的映射對作為映射信息，可以使最后合成的圖像動態(tài)范圍最大，當(dāng)然，也可以選取其他的映射差對應(yīng)的映射對，作為映射信息，即亮度映射函數(shù)曲線中，x與對應(yīng)著的f(x)為映射對，作為映射信息。
EDR在本方案中是個重要的指標(biāo)，可以直接衡量增強(qiáng)的動態(tài)范圍(enhanced dynamicrange)，可以表征當(dāng)前曝光時間是否合適。
對于多曝光的情況，按照曝光時間亮到暗排序，每相鄰兩個圖像可以算出一個亮度映射函數(shù)fn。公式1就相應(yīng)的變成(2)式。容易知道，n幀的EDR實(shí)際上是n-1個2幀相互無關(guān)的的EDR之和。同樣，映射信息為 {(xmax 1，f1(xmax 1)，(xmax 2，f2(xmax 2)...(xmax(n-1)，f(n-1)(xmax(n-1))} EDRmax k＝max{xk-fk(xk)} xk∈
該系統(tǒng)還包括 計(jì)算調(diào)整模塊804，用于對采集模塊801采集到的各幀圖像的亮度直方圖進(jìn)行統(tǒng)計(jì)，得到亮度信息；并根據(jù)根據(jù)所述亮度信息調(diào)節(jié)參考曝光時間和曝光動態(tài)時間，然后根據(jù)所述參考曝光時間和曝光動態(tài)時間計(jì)算下一次采集時各幀圖像的曝光時間，將該曝光時間反饋給采集模塊801。
設(shè)定參考曝光時間為Ter，該參考曝光時間為多曝光時間的基準(zhǔn)參考值，能準(zhǔn)確反應(yīng)場景亮度，保證多曝光圖像序列不會過亮也不會過暗。通常為多曝光中的曝光時間序列的中值，暗曝光時間為Td，亮曝光時間為Tb，曝光時間動態(tài)值為Ted，該曝光時間動態(tài)值為多曝光時間的偏移系數(shù)，用于確定多曝光序列能覆蓋的場景亮度的動態(tài)范圍，通常為多曝光中相鄰曝光時間的差值，也可以表示為相鄰曝光時間的比值。
如圖11所示，計(jì)算調(diào)整模塊804，包括 第一調(diào)節(jié)單元8041，用于調(diào)節(jié)參考曝光時間Ter，使亮度信息在預(yù)設(shè)的閾值范圍內(nèi)，并用于根據(jù)統(tǒng)計(jì)模塊得到的映射對調(diào)節(jié)曝光時間動態(tài)值Ted，使該曝光時間動態(tài)值Ted能夠很好的覆蓋場景亮度。
在雙曝光的情況下，規(guī)定Ter＝Td。在n曝光情況下，規(guī)定參考曝光時間Ter為暗到亮排序的第n/2個曝光圖像值Ter＝T(n/2)。
本發(fā)明實(shí)施例中，采用最大映射差EDRmax來調(diào)節(jié)Ted，在雙曝光情況下，EDRmax取值在140～180時能得到較好的效果。
第二調(diào)節(jié)單元8042，用于保持第一調(diào)節(jié)單元8041調(diào)節(jié)的曝光時間動態(tài)值Ted不變，將參考曝光時間Ter調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)。
判斷單元8043，用于以固定的周期判斷動態(tài)范圍是否發(fā)生變化，如果是，通知第一調(diào)節(jié)單元8041，重新調(diào)整參考曝光時間，直到參考曝光時間在預(yù)設(shè)的閾值范圍內(nèi)；否則，判斷場景亮度是否發(fā)生變化，如果是，通知第二調(diào)節(jié)單元8042，保持曝光時間動態(tài)值不變，將參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)；否則，等待下一次判斷動態(tài)范圍是否發(fā)生變化。
在兩種曝光的情況下，按規(guī)定Ter＝Td，Tb＝Ter+Ted，計(jì)算調(diào)整模塊根據(jù)實(shí)際平臺對圖像采集設(shè)備設(shè)置[亮暗亮暗......]交替方式的曝光時間，以達(dá)到曝光輪換的目的。
在n中曝光的情況下，T(i)＝Ter+(i-n/2)Ted，計(jì)算調(diào)整模塊對圖像采集設(shè)備設(shè)置為由亮到暗的交替方式的曝光時間，比如，有4中曝光，將這4種曝光由亮到暗進(jìn)行排序，這4種曝光的曝光時間分別為4、3、2、1，然后循環(huán)這種排序，即4、3、2、1，4、3、2、1……。
對于高速圖像采集設(shè)備，計(jì)算調(diào)整模塊可以采用固定的多曝光實(shí)現(xiàn)全動態(tài)范圍的拍攝，不再需要實(shí)現(xiàn)自動曝光控制。
如圖11所示，其中，合成模塊802，包括 映射單元8021，用于根據(jù)統(tǒng)計(jì)模塊803確定的映射對，計(jì)算映射后的每幀圖像的亮度值。
本發(fā)明實(shí)施例中，用最大映射差對應(yīng)的映射對(xmax，f(xmax))來計(jì)算暗曝光下映射后的圖像的亮度值。假設(shè)I1為亮曝光圖像亮度值，I2為暗曝光圖像亮度值，經(jīng)過映射后，暗曝光圖像的亮度值I2的亮度值為(I2+xmax-f(xmax))。
合成權(quán)重計(jì)算單元8022，用于根據(jù)統(tǒng)計(jì)模塊803確定的映射對計(jì)算每幀圖像的合成權(quán)重。本發(fā)明實(shí)施例中，

為亮曝光圖像的合成權(quán)重，

是以0為中心，Xmax為半徑計(jì)算高斯權(quán)重，具體計(jì)算公式如下式所示。

為暗曝光圖像的合成權(quán)重，

以255為中心，f(Xmax)為半徑計(jì)算高斯權(quán)重，具體計(jì)算公式如式(3)所示。
為了使后續(xù)的計(jì)算方便，可以將每個圖像的合成權(quán)重進(jìn)行歸一化。將式(3)歸一化后，如式(4)所示； s2＝1-s1 經(jīng)過簡化運(yùn)算，式(4)可以簡化到查表、加法和三個乘法。
對于n曝光的情況，合成權(quán)重如式(5)為 歸一化后，如式(6)為 合成單元8023，用于根據(jù)映射單元8021得到的每幀圖像的亮度值和合成權(quán)重計(jì)算單元8022計(jì)算的對應(yīng)的合成權(quán)重，對采集模塊801采集的不同亮度的圖像進(jìn)行合成，得到合成圖像，即動態(tài)范圍增強(qiáng)的圖像。
繼續(xù)上述的例子，設(shè)亮曝光圖像的色度為C1，暗曝光圖像的色度為C2，對于亮度I和色度C，加權(quán)疊加后如式(7)所示。
I＝s1*I1+s2*(I2+xmax-f(xmax)) (7) C＝s1*C1+s2*C2 式(7)可以簡化為兩個乘法和五個加法。這在軟硬件設(shè)計(jì)中都是輕而易舉就能實(shí)現(xiàn)。
對于n曝光的情況，各個圖像的亮度值分別為I1，I2，......，In，各個圖像的色度值分別為C1，C2，......，Cn，加權(quán)疊加后如式(8) 合成的圖像如圖3(c)所示。
圖7為高動態(tài)范圍圖像合成示意圖，圖中，m為在亮曝光下采集的圖像的動態(tài)范圍，n為在暗曝光下采集的圖像的亮度動態(tài)范圍，采集圖像得到的亮曝光圖像和暗曝光圖像的亮度動態(tài)范圍是相同的，如圖中m和n的長度是相等的，但是采集的亮度范圍區(qū)間發(fā)生了變化，如暗曝光圖像相比于亮曝光圖像，采集的區(qū)間向右移動了g長度的距離，因此合成后圖像對應(yīng)的動態(tài)范圍的有效區(qū)間就相應(yīng)的變成了m+g，圖中線條1表示此處場景信息全，沒有丟失，線條2表示此處場景信息丟失，亮曝光圖像中，亮度動態(tài)范圍右邊的場景信息有所丟失，暗曝光圖像中，亮度動態(tài)范圍左邊的場景信息有所丟失，在合成后的圖像中，亮度動態(tài)范圍兩邊的場景信息都沒有丟失。
其中，參加圖10，該系統(tǒng)還包括 增強(qiáng)模塊805，用于對合成模塊802得到的動態(tài)范圍增強(qiáng)的合成圖像進(jìn)行強(qiáng)調(diào)細(xì)節(jié)的亮度增強(qiáng)，以獲得更好的顯示效果。
如圖11所示，該增強(qiáng)模塊包括 縮小單元8051，用于將合成模塊802合成后的圖像的亮度通道成比例的縮小。
本發(fā)明實(shí)施例中，對亮度通道成比例的縮小的比例系數(shù)約為 濾波單元8052，用于對合成模塊802合成后的圖像進(jìn)行雙邊濾波； 疊加單元8053，用于將縮小單元8051縮小后的圖像和濾波單元8052濾波后的圖像進(jìn)行疊加，得到新的合成圖像，所述新的合成圖像的亮度比合成模塊802得到的合成圖像的亮度強(qiáng)。
具體的，濾波單元8052采用空間的窗口濾波和亮度域的三角形濾波混合成雙邊濾波器進(jìn)行濾波，因?yàn)榻?jīng)典的雙高斯組成的雙邊濾波器的復(fù)雜度比常用的單個濾波器復(fù)雜度高很多，通常隨著濾波器的窗口尺寸而指數(shù)上升，而且需要消耗大量的資源。
對圖像進(jìn)行亮度通道成比例縮小和濾波后，圖像亮度增強(qiáng)為 Ien＝δ*I+α*(I-Ibilateral) (9) 其中，Ien為增強(qiáng)之后的圖像亮度，Ibilateral為濾波之后的圖像亮度，α為加權(quán)系數(shù)，這里α取0.5可以取得較好的效果。如果是多曝光合成，則α相應(yīng)的增大。
如式(9)所示，濾波前的圖像減去濾波后的圖像即為圖像的細(xì)節(jié)，加權(quán)疊加到成比例縮小亮度的圖像后即可以得到細(xì)節(jié)豐富的高動態(tài)范圍圖像，如圖3(d)。
本發(fā)明實(shí)施例提供的一種合成圖像的系統(tǒng)，通過采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)每兩幀圖像之間的亮度映射關(guān)系將多幀不同亮度的圖像進(jìn)行合成，得到合成圖像。該方法不更改現(xiàn)有圖像采集設(shè)備如相機(jī)的架構(gòu)，利用現(xiàn)有圖像采集設(shè)備的曝光設(shè)置功能和附加軟件模塊就可以實(shí)現(xiàn)；應(yīng)用范圍廣，可集成到圖像采集設(shè)備監(jiān)控設(shè)備系統(tǒng)，也可以作為后處理軟件使用；可擴(kuò)展性好，后期升級簡便；合成效果比普通圖像采集設(shè)備好；細(xì)節(jié)鮮明，尤其在強(qiáng)照度和低照度共存的場景，能清晰的獲取大亮度范圍的特征細(xì)節(jié)；結(jié)果無合成痕跡，亮暗區(qū)域內(nèi)平滑自然，整體上亮暗過渡諧和統(tǒng)一；由于是并行輸出圖像，沒有降低圖像采集設(shè)備幀率，輸出圖像頻率等同于原圖像采集設(shè)備輸出幀率；算法實(shí)用高效，可以達(dá)到實(shí)時，幾乎不增加硬件成本。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計(jì)算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。
以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種合成圖像的方法，其特征在于，所述方法包括
采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；
根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中象素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。
2.根據(jù)權(quán)利要求1所述的合成圖像的方法，其特征在于，采集同一場景的至少兩幀不同亮度的圖像之后，還包括
根據(jù)各幀圖像的亮度直方圖和亮度累計(jì)直方圖計(jì)算每兩幀圖像之間的亮度映射函數(shù)f(x)，其中，x表示亮圖像中象素點(diǎn)的亮度值，f(x)表示暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值；
每一組x，f(x)稱為一個映射對，x減去f(x)的值稱為映射差；
確定一個映射對，將確定的映射對作為所述映射關(guān)系。
3.根據(jù)權(quán)利要求2所述的合成圖像的方法，其特征在于，還包括
對各幀圖像的亮度直方圖進(jìn)行統(tǒng)計(jì)，得到亮度信息；
根據(jù)所述亮度信息調(diào)節(jié)參考曝光時間和曝光動態(tài)時間，根據(jù)所述參考曝光時間和曝光動態(tài)時間計(jì)算下一次采集時各幀圖像的曝光時間。
4.根據(jù)權(quán)利要求3所述的合成圖像的方法，其特征在于，根據(jù)所述亮度信息調(diào)節(jié)參考曝光時間和曝光動態(tài)時間，包括
調(diào)節(jié)參考曝光時間，使所述亮度信息在預(yù)設(shè)的閾值范圍內(nèi)；
根據(jù)所述映射信息調(diào)節(jié)曝光時間動態(tài)值；
保持所述曝光時間動態(tài)值不變，將所述參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)；
以固定的周期判斷動態(tài)范圍是否發(fā)生變化，如果是，重新調(diào)整參考曝光時間，直到所述參考曝光時間在預(yù)設(shè)的閾值范圍內(nèi)，所述動態(tài)范圍是圖像的最亮和最暗部分之間的比值；
否則，判斷場景亮度是否發(fā)生變化，如果是，保持所述曝光時間動態(tài)值不變，將所述參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍；否則，等待下一周期，判斷動態(tài)范圍是否發(fā)生變化。
5、根據(jù)權(quán)利要求2至4任一項(xiàng)所述的合成圖像的方法，其特征在于，根據(jù)每兩幀圖像之間的亮度映射關(guān)系將所述多幀不同亮度的圖像進(jìn)行合成，得到合成圖像，包括
根據(jù)所述確定的映射對計(jì)算映射后的每幀圖像的亮度值；并根據(jù)所述確定的映射對計(jì)算每幀圖像的合成權(quán)重；
利用映射后的各幀圖像的亮度值和各幀相應(yīng)的合成權(quán)重對所述多幀圖像進(jìn)行合成，得到合成圖像。
6.根據(jù)權(quán)利要求1至4任一項(xiàng)權(quán)利要求所述的合成圖像的方法，其特征在于，根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像之后，還包括
對所述合成圖像進(jìn)行亮度增強(qiáng)。
7.根據(jù)權(quán)利要求6所述的合成圖像的方法，其特征在于，對所述合成圖像進(jìn)行亮度增強(qiáng)，包括
將所述合成圖像的亮度通道成比例的縮小，并進(jìn)行雙邊濾波，然后將所述成比例的縮小的合成圖像和進(jìn)行雙邊濾波后的圖像進(jìn)行疊加，得到新的合成圖像，所述新的合成圖像的亮度比所述合成圖像的亮度強(qiáng)。
8.一種合成圖像的系統(tǒng)，其特征在于，所述系統(tǒng)包括采集模塊，合成模塊；
所述采集模塊，用于采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；
所述合成模塊，用于根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中象素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。
9.根據(jù)權(quán)利要求8所述的合成圖像的系統(tǒng)，其特征在于，所述系統(tǒng)還包括
統(tǒng)計(jì)模塊，用于根據(jù)各幀圖像的亮度直方圖和亮度累計(jì)直方圖計(jì)算每兩幀圖像之間的亮度映射函數(shù)f(x)，其中，x表示亮圖像中象素點(diǎn)的亮度值，f(x)表示暗圖像中對應(yīng)位置的象素點(diǎn)的亮度值；每一組x，f(x)稱為一個映射對，x減去f(x)的值稱為映射差；
并用于確定一個映射對，將確定的映射對作為所述映射關(guān)系。
10.根據(jù)權(quán)利要求9所述的合成圖像的系統(tǒng)，其特征在于，所述系統(tǒng)還包括
計(jì)算調(diào)整模塊，用于對各幀圖像的亮度直方圖進(jìn)行統(tǒng)計(jì)，得到亮度信息；并根據(jù)所述亮度信息調(diào)節(jié)參考曝光時間和曝光動態(tài)時間，然后根據(jù)所述參考曝光時間和曝光動態(tài)時間計(jì)算下一次采集時各幀圖像的曝光時間。
11.根據(jù)權(quán)利要求10所述的合成圖像的系統(tǒng)，其特征在于，所述計(jì)算調(diào)整模塊包括
第一調(diào)節(jié)單元，用于調(diào)節(jié)參考曝光時間，使所述統(tǒng)計(jì)模塊得到的亮度信息在預(yù)設(shè)的閾值范圍內(nèi)；并用于根據(jù)所述統(tǒng)計(jì)模塊得到的映射信息調(diào)節(jié)曝光時間動態(tài)值；
第二調(diào)節(jié)單元，用于保持曝光時間動態(tài)值不變，將所述參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)；
判斷單元，用于以固定的周期判斷動態(tài)范圍是否發(fā)生變化，如果是，通知所述第一調(diào)節(jié)單元，重新調(diào)整參考曝光時間，直到所述參考曝光時間在預(yù)設(shè)的閾值范圍內(nèi)；否則，判斷場景亮度是否發(fā)生變化，如果是，通知第二調(diào)節(jié)單元，保持所述曝光時間動態(tài)值不變，將所述參考曝光時間調(diào)節(jié)在預(yù)設(shè)的閾值范圍內(nèi)；否則，等待下一周期，判斷動態(tài)范圍是否發(fā)生變化。
12.根據(jù)權(quán)利要求8所述的合成圖像的系統(tǒng)，其特征在于，所述合成模塊包括
映射單元，用于根據(jù)所述統(tǒng)計(jì)模塊確定的映射對，計(jì)算映射后的每幀圖像的亮度值；
合成權(quán)重計(jì)算單元，用于所述統(tǒng)計(jì)模塊確定的映射對計(jì)算每幀圖像的合成權(quán)重；
疊加單元，用于根據(jù)所述映射單元得到的每幀圖像的亮度值和所述合成權(quán)重計(jì)算單元計(jì)算的相應(yīng)的合成權(quán)重，進(jìn)行加權(quán)疊加，得到合成圖像。
13.根據(jù)權(quán)利要求8至11任一項(xiàng)權(quán)利要求所述的合成圖像的系統(tǒng)，其特征在于，所述系統(tǒng)還包括
增強(qiáng)模塊，用于對所述合成模塊得到的合成圖像進(jìn)行亮度增強(qiáng)。
14.根據(jù)權(quán)利要求13所述的合成圖像的系統(tǒng)，其特征在于，所述增強(qiáng)模塊包括
縮小單元，用于將所述合成模塊合成后的圖像的亮度通道成比例的縮小；
濾波單元，用于對所述合成模塊合成后的圖像進(jìn)行雙邊濾波；
疊加單元，用于將所述縮小單元縮小后的圖像和濾波單元濾波后的圖像進(jìn)行疊加，得到新的合成圖像，所述新的合成圖像的亮度比所述合成模塊得到的合成圖像的亮度強(qiáng)。
全文摘要
本發(fā)明實(shí)施例公開了一種合成圖像的方法與系統(tǒng)，屬于圖像處理領(lǐng)域。所述方法包括采集同一場景在不同曝光時間下的至少兩幀不同亮度的圖像；根據(jù)所述不同亮度的圖像中每兩幀圖像之間的亮度映射關(guān)系將所述不同亮度的圖像進(jìn)行合成，得到合成圖像，所述亮度映射關(guān)系表示亮圖像中像素點(diǎn)的亮度值與暗圖像中對應(yīng)位置的像素點(diǎn)的亮度值之間的對應(yīng)關(guān)系。本發(fā)明提供的合成圖像的方法與系統(tǒng)，增強(qiáng)了圖像的動態(tài)范圍，合成效果好，易于實(shí)現(xiàn)。
文檔編號H04N5/262GK101394487SQ20081022506
公開日2009年3月25日 申請日期2008年10月27日 優(yōu)先權(quán)日2008年10月27日
發(fā)明者海 陳, 劉凌志 申請人:華為技術(shù)有限公司