通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成hdr圖像的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體講，涉及通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法。
技術(shù)背景
[0002]高動(dòng)態(tài)范圍(HDR:High Dynamic Range)圖像以其豐富的層次、畫(huà)面真實(shí)感強(qiáng)、圖像動(dòng)態(tài)范圍大、可更真實(shí)地還原出逼近真實(shí)場(chǎng)景的光影效果等優(yōu)點(diǎn)已成為國(guó)內(nèi)外熱點(diǎn)研究領(lǐng)域。目前，獲取HDR圖像的方法主要是先通過(guò)調(diào)節(jié)曝光參數(shù)得到一系列曝光度不同的LDR (Low Dynamic Range)圖像，然后采用圖像融合技術(shù)將LDR圖像序列合成一幅HDR圖像。目前，已有很多研究人員對(duì)此技術(shù)進(jìn)行了研究，而現(xiàn)有的LDR圖像獲取方式分為兩種，即同時(shí)曝光與分時(shí)曝光。
[0003]針對(duì)使用同時(shí)曝光獲取LDR圖像的方法，Nayar等[1]提出了一種依據(jù)空間位置不同改變感光單元特性的方法，這種方法在圖像感光陣列前覆蓋一層光學(xué)掩膜，根據(jù)掩膜的透光度不同，相鄰像素對(duì)入射光具有不同的透射率，因此通過(guò)一次拍攝可以得到曝光度不同的多個(gè)圖像。但是，用這種方法得到的LDR圖像分辨率會(huì)降低。
[0004]另一種獲取具有不同曝光度的LDR圖像序列的方法是使用多個(gè)成像系統(tǒng)，如采用多個(gè)攝像機(jī)和一個(gè)分光鏡來(lái)產(chǎn)生同一場(chǎng)景的多個(gè)影像。采用這種方法每幅圖像都有單獨(dú)的圖像傳感器，通過(guò)使用光學(xué)衰減器或者改變感光元件的曝光時(shí)間預(yù)先單獨(dú)設(shè)置每幅圖像的曝光參數(shù)，可得多幅曝光量不同的LDR圖像。這類方法的優(yōu)點(diǎn)是可以通過(guò)一次拍攝得到多張曝光量不同的圖像，大大減少了系統(tǒng)整體的圖像捕獲時(shí)間。但是，與只用一個(gè)攝像機(jī)相比，使用多個(gè)圖像傳感器在相機(jī)設(shè)置和校準(zhǔn)時(shí)更為困難，并且曝光圖像的數(shù)量以及曝光參數(shù)的選擇都受到限制。由于需要使用多個(gè)圖像傳感器以及精密的光學(xué)部件，造價(jià)昂貴。此夕卜，場(chǎng)景中的入射光被分光鏡分為多束投射到多個(gè)圖像傳感器上，每個(gè)圖像傳感器接收到的光強(qiáng)只是入射光強(qiáng)的一部分，需使用更昂貴的透鏡、更大的放大率或者降低快門(mén)速度來(lái)補(bǔ)償光強(qiáng)損失。
[0005]到目前為止，同時(shí)曝光HDR成像方法被稱為HDR攝像方法，是真正的HDR成像方法。
[0006]另外一種更為普遍的獲取不同曝光度圖像序列的方法是分時(shí)曝光，即使用一個(gè)普通攝像機(jī)對(duì)同一場(chǎng)景進(jìn)行快速多次曝光。這種方式的優(yōu)點(diǎn)是圖像捕獲過(guò)程和后續(xù)對(duì)圖像進(jìn)行的處理過(guò)程可以異步進(jìn)行?；谠撍枷?，Debevec[2]和Mitsunaga等[3]提出通過(guò)計(jì)算相機(jī)的響應(yīng)函數(shù)(反映光照強(qiáng)度和數(shù)字圖像像素亮度值之間關(guān)系的函數(shù))，結(jié)合色調(diào)映射算法還原出HDR圖像。但是，準(zhǔn)確估計(jì)出相機(jī)的響應(yīng)曲線有一定的難度，算法的穩(wěn)定性不高。Guthier[4]提出了一種新的圖像序列曝光方式。首先根據(jù)視頻序列前一幀的平均光照值確定曝光時(shí)間對(duì)場(chǎng)景進(jìn)行拍攝，這種方法可以在拍攝新的LDR圖像的同時(shí)對(duì)前一幅圖像進(jìn)行分析處理，降低了整個(gè)圖像序列捕獲所需時(shí)間，并且減少了進(jìn)行圖像融合時(shí)的數(shù)據(jù)冗余。但是這種通過(guò)順序曝光拍攝多幅LDR圖像來(lái)合成單幅HDR圖像的方法有一個(gè)明顯的缺點(diǎn)是增加了系統(tǒng)整體的圖像捕獲時(shí)間。另一方面，在拍攝時(shí)場(chǎng)景中的物體或者相機(jī)很可能會(huì)發(fā)生運(yùn)動(dòng)。這時(shí)針對(duì)同一場(chǎng)景的圖像序列就不再顯示相同的內(nèi)容，其中運(yùn)動(dòng)的物體會(huì)在圖像序列中發(fā)生錯(cuò)位，在合成后的圖像中造成偽像。
[0007]雖然運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償從原理上說(shuō)，可以避免圖像序列中發(fā)生錯(cuò)位的問(wèn)題，但是運(yùn)動(dòng)估計(jì)是一種病態(tài)過(guò)程(ill-posed)。例如，不僅運(yùn)動(dòng)速度不可知，運(yùn)動(dòng)方向也不能確定，使得運(yùn)動(dòng)估計(jì)不僅運(yùn)算量大，而且運(yùn)動(dòng)矢量的估計(jì)結(jié)果可靠性也差。
[0008]通過(guò)多次曝光的HDR成像方法被稱為HDR圖像合成方法，是非真正的HDR成像方法。
[0009]綜上所述，在獲取LDR圖像以合成HDR圖像方面，同時(shí)曝光和分時(shí)曝光均存在一定的問(wèn)題。
[0010]參考文獻(xiàn)
[0011][1]Nayar S K, Mitsunaga T.High dynamic range imaging:Spatially varyingpixel exposures[C]//Computer Vis1n and Pattern Recognit1n, 2000.Proceedings.1EEE Conference on.1EEE, 2000, 1:472-479.
[0012][2]Debevec P E, Malik J.Recovering high dynamic range radiance maps fromphotographs[C]//ACM SIGGRAPH 2008classes.ACM, 2008:31.
[0013][3]Mitsunaga T,Nayar S K.Rad1metric self calibrat1n[C]//ComputerVis1n and Pattern Recognit1n, 1999.1EEE Computer Society Conferenceon.1EEE, 1999, 1.
[0014][4]Guthier B, Kopf S,Effelsberg ff.Algorithms for a real-time HDR videosystem[J].Pattern Recognit1n Letters, 2013, 34(1):25-33.

【發(fā)明內(nèi)容】

[0015]為克服現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)同時(shí)曝光合成HDR圖像，同時(shí)大大簡(jiǎn)化算法運(yùn)算量。為此，本發(fā)明采取的技術(shù)方案是，通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法，包括如下步驟:使用多個(gè)同一性能的照相機(jī)或多個(gè)同一性能的攝像機(jī)對(duì)同一場(chǎng)景進(jìn)行拍照獲取LDR圖像；拍照前，進(jìn)行一維視差估計(jì)，通過(guò)電子補(bǔ)償?shù)姆椒▽?duì)其進(jìn)行較準(zhǔn)，以同時(shí)曝光的方式進(jìn)行拍照；最后，用各個(gè)照相機(jī)拍攝的圖像進(jìn)行融合合成HDR圖像。
[0016]使得每個(gè)照相機(jī)的透光量不同，得到的LDR圖像采用反映光照強(qiáng)度和數(shù)字圖像像素亮度值之間關(guān)系的計(jì)算機(jī)響應(yīng)函數(shù)進(jìn)行融合，結(jié)合色調(diào)映射合成HDR圖像。
[0017]通過(guò)調(diào)節(jié)光圈或曝光時(shí)間使得每個(gè)照相機(jī)的透光量不同。
[0018]本發(fā)明的特點(diǎn)及有益效果是:
[0019]本發(fā)明采用立體攝像系統(tǒng)的多個(gè)照相機(jī)同時(shí)曝光攝取多幅LDR圖像，該系統(tǒng)的照相機(jī)性能均勻。由于視差可以只在水平方向發(fā)生，使得視差的估計(jì)限制在水平方向，不僅使運(yùn)算量大大降低，而且視差的估計(jì)結(jié)果也比二維的運(yùn)動(dòng)矢量估計(jì)結(jié)果可靠。
[0020]立體攝像系統(tǒng)較成熟，無(wú)需特殊制造。特別是立體攝像系統(tǒng)可以發(fā)揮一物兩用的目的，及可以攝取立體圖像，又可以合成HDR圖像。
【附圖說(shuō)明】
:
[0021]圖1采用立體攝像系統(tǒng)的多個(gè)照相機(jī)合成HDR圖像框圖。
【具體實(shí)施方式】
[0022]目前，同時(shí)曝光的HDR攝像方法成本高，真正的HDR攝像設(shè)備很少。多次曝光的HDR圖像合成方法又受到運(yùn)動(dòng)估計(jì)問(wèn)題的限制，尤其是拍攝視頻時(shí)，不可避免地會(huì)發(fā)生相機(jī)移動(dòng)或者場(chǎng)景中物體運(yùn)動(dòng)的情況，后期處理時(shí)，算法運(yùn)算量大，運(yùn)動(dòng)補(bǔ)償較困難，合成的HDR圖像中極易產(chǎn)生偽像。
[0023]本發(fā)明提出了一種使用立體成像系統(tǒng)，對(duì)同一場(chǎng)景通過(guò)單次同時(shí)曝光的方式獲取LDR圖像，從而合成HDR的方法。
[0024]本發(fā)明旨在發(fā)明一種利用立體攝像系統(tǒng)產(chǎn)生多幅LDR圖像，從而合成HDR圖像的方法。該方法通過(guò)立體攝像系統(tǒng)的多個(gè)照相機(jī)針對(duì)同一場(chǎng)景進(jìn)行同時(shí)曝光攝取LDR圖像，避免了場(chǎng)景中物體運(yùn)動(dòng)帶來(lái)的問(wèn)題。由于立體攝像系統(tǒng)的多個(gè)照相機(jī)(從簡(jiǎn)單的雙目立體攝像機(jī)，到復(fù)雜的多視角立體攝像機(jī)，任何性能相似的照相機(jī)或攝像機(jī)都可以。它們的性能應(yīng)盡可一致。)，只有圖像位移的問(wèn)題，也就是說(shuō)視差(disparity)問(wèn)題。由于視差可以只在水平方向發(fā)生，使得視差的估計(jì)限制在水平方向，從而大大簡(jiǎn)化算法運(yùn)算量。
[0025]本發(fā)明基于同時(shí)曝光的方法，使用多個(gè)照相機(jī)對(duì)同一場(chǎng)景進(jìn)行拍照獲取LDR圖像。首先，需要多個(gè)同一性能的照相機(jī)，性能上的同一可以保證拍攝的圖像有相同的參數(shù)，便于后期圖像的融合。然后，進(jìn)行較容易實(shí)現(xiàn)的一維視差估計(jì)，通過(guò)電子補(bǔ)償?shù)姆椒▽?duì)其進(jìn)行較準(zhǔn)，以同時(shí)曝光的方式進(jìn)行拍照，最后，用各個(gè)照相機(jī)拍攝的圖像進(jìn)行融合合成HDR圖像。
[0026]本發(fā)明申請(qǐng)使用立體攝像系統(tǒng)的多個(gè)攝像機(jī)，傾向于具有兩個(gè)攝像機(jī)以上的立體攝像系統(tǒng)(例如六個(gè))，以便產(chǎn)生盡可能高的動(dòng)態(tài)范圍。立體成像系統(tǒng)的特性保證了物體的幾何位置幾乎在同一方向。立體成像系統(tǒng)本身要求相機(jī)有固定的幾何位置。
[0027]每個(gè)照相機(jī)的透光量不同，例如通過(guò)調(diào)節(jié)光圈(Aperture)或曝光時(shí)間，使得每個(gè)照相機(jī)的透光量不同，以拍攝具有不同曝光度的照片。得到的LDR圖像最好通過(guò)相機(jī)響應(yīng)函數(shù)(反映光照強(qiáng)度和數(shù)字圖像像素亮度值之間關(guān)系的函數(shù))進(jìn)行融合，結(jié)合色調(diào)映射合成HDR圖像。
【主權(quán)項(xiàng)】
1.一種通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法，其特征是，包括如下步驟:使用多個(gè)同一性能的照相機(jī)或多個(gè)同一性能的攝像機(jī)對(duì)同一場(chǎng)景進(jìn)行拍照獲取LDR圖像；拍照前，進(jìn)行一維視差估計(jì)，通過(guò)電子補(bǔ)償?shù)姆椒▽?duì)其進(jìn)行較準(zhǔn)，以同時(shí)曝光的方式進(jìn)行拍照；最后，用各個(gè)照相機(jī)拍攝的圖像進(jìn)行融合合成HDR圖像。2.如權(quán)利要求1所述的通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法，其特征是，使得每個(gè)照相機(jī)的透光量不同，得到的LDR圖像采用反映光照強(qiáng)度和數(shù)字圖像像素亮度值之間關(guān)系的計(jì)算機(jī)響應(yīng)函數(shù)進(jìn)行融合，結(jié)合色調(diào)映射合成HDR圖像。3.如權(quán)利要求2所述的通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法，其特征是，通過(guò)調(diào)節(jié)光圈或曝光時(shí)間使得每個(gè)照相機(jī)的透光量不同。
【專利摘要】本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，為實(shí)現(xiàn)同時(shí)曝光合成HDR圖像,同時(shí)大大簡(jiǎn)化算法運(yùn)算量。為此，本發(fā)明采取的技術(shù)方案是，通過(guò)立體攝像系統(tǒng)同時(shí)曝光合成HDR圖像的方法,包括如下步驟:使用多個(gè)同一性能的照相機(jī)或多個(gè)同一性能的攝像機(jī)對(duì)同一場(chǎng)景進(jìn)行拍照獲取LDR圖像；拍照前，進(jìn)行一維視差估計(jì)，通過(guò)電子補(bǔ)償?shù)姆椒▽?duì)其進(jìn)行較準(zhǔn)，以同時(shí)曝光的方式進(jìn)行拍照；最后，用各個(gè)照相機(jī)拍攝的圖像進(jìn)行融合合成HDR圖像。本發(fā)明主要應(yīng)用于圖像處理場(chǎng)合。
【IPC分類】H04N5/265, H04N5/235
【公開(kāi)號(hào)】CN105430298
【申請(qǐng)?zhí)枴緾N201510897490
【發(fā)明人】段綠茵, 杜明月, 張淑芳, 李昌祿, 雷志春
【申請(qǐng)人】天津大學(xué)
【公開(kāi)日】2016年3月23日
【申請(qǐng)日】2015年12月8日