本發(fā)明涉及圖像處理技術領域,特別是涉及一種圖像融合方法、裝置及終端設備。
背景技術:
圖像融合,是指將多源信道所采集到的同一目標的圖像數據經過圖像處理等,以最大限度地提取各自信道中的有利信息,最終合成高質量的圖像。圖像融合的目的是將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合,消除多傳感器信息之間可能存在的冗余和矛盾,以增強影像中信息透明度,改善解譯的精度、可靠性以及使用率,以形成對目標的清晰、完整、準確的信息描述。圖像融合的諸多方面的優(yōu)點使得其在醫(yī)學、遙感、計算機視覺、氣象預報及軍事目標識別,尤其在計算機視覺等領域得到了廣泛地應用。
現有技術中,在使用圖像融合方法生成高動態(tài)范圍(High-Dynamic Range,HDR)時,在計算像素在相應圖層的權重值時,僅僅考慮像素的亮度值,導致最終合成的圖像質量較差。
技術實現要素:
本發(fā)明實施例解決的技術問題是如何提高圖像融合得到的圖像質量。
為解決上述問題,本發(fā)明實施例提供了一種圖像融合方法,所述方法包括:
將待融合的多個圖像分別進行分解得到多個圖層;
根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值;
采用計算得到的權重值對所述多個圖像同一圖層的像素進行融合,得到所述圖層對應的融合圖層;
采用得到的各個圖層的融合圖層生成對應的高動態(tài)范圍圖片。
可選地,所述根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值,包括:
將所述多個圖像按照曝光程度分為欠曝光圖像和非欠曝光圖像;
當所述欠曝光圖像中的像素的亮度值小于等于第一閾值時,采用第一權重函數計算所述像素在相應圖層中的權重值;
當所述欠曝光圖像中的像素的亮度值大于所述第一閾值時,采用第二權重函數計算所述像素在相應圖層中的權重值;
當所述非欠曝光圖像中的像素的亮度小于等于第二閾值時,采用所述第一權重函數計算所述像素在相應圖層中的權重值,所述第二閾值大于所述第一閾值;
當所述非欠曝光圖像中的像素的亮度大于所述第二閾值時,采用所述第三權重函數計算所述像素在相應圖層中的權重值。
可選地,所述第一權重函數為:
其中,W表示像素的權重值,I表示像素的亮度值,σu表示曲線控制參數。
可選地,所述第二權重函數為:
其中,W表示像素的權重值,α為預設的第一權值系數,0<α≤1,I表示像素的亮度值,σu表示曲線控制參數。
可選地,所述第一權值系數的α的取值范圍為0.6~1。
可選地,所述第三權重函數為:
其中,W表示像素的權重值,β為預設的第二權值系數,0<β<α,I表示像素的亮度值,σu表示曲線控制參數。
可選地,所述第二權值系數β的取值范圍0~0.6。
可選地,所述將待融合的多個圖像分別進行分解得到多個圖層,包括:采用哈爾小波將待融合的多個圖像分別進行分解得到兩個圖層。
本發(fā)明實施例還提供了一種圖像融合裝置,所述裝置包括:
分解單元,適于將待融合的多個圖像分別進行分解得到多個圖層;
計算單元,適于根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值;
融合單元,適于采用計算得到的權重值對所述多個圖像同一圖層的像素進行融合,得到所述圖層對應的融合圖層;
生成單元,適于采用得到的各個圖層的融合圖層生成對應的高動態(tài)范圍圖片。
所述計算單元適于將所述多個圖像按照曝光程度分為欠曝光圖像和非欠曝光圖像;當所述欠曝光圖像中的像素的亮度值小于等于第一閾值時,采用第一權重函數計算所述像素在相應圖層中的權重值;當所述欠曝光圖像中的像素的亮度值大于所述第一閾值時,采用第二權重函數計算所述像素在相應圖層中的權重值;當所述非欠曝光圖像中的像素的亮度小于等于第二閾值時,采用所述第一權重函數計算所述像素在相應圖層中的權重值,所述第二閾值大于所述第一閾值;當所述非欠曝光圖像中的像素的亮度大于所述第二閾值時,采用所述第三權重函數計算所述像素在相應圖層中的權重值。
可選地,所述分解單元適于采用哈爾小波將待融合的多個圖像分別進行分解得到兩個圖層。
本發(fā)明實施例還提供了一種終端設備,所述終端設備包括上述的圖像融合裝置
與現有技術相比,本發(fā)明的技術方案具有以下的優(yōu)點:
上述的方案,對于不同曝光程度的圖像中不同的像素分別采用不同的權重函數進行計算像素在相應圖層中的權重值,可以保存欠曝光圖像中高亮度值的像素所攜帶的信息,并可以抑制過飽和現象的發(fā)生,因此,可以提高合 成圖像的質量。
附圖說明
圖1是本發(fā)明實施例中的一種圖像融合方法的流程圖;
圖2是本發(fā)明實施例中的另一種圖像融合方法的流程圖;
圖3是本發(fā)明實施例中的一種圖像融合裝置的結構示意圖。
具體實施方式
為解決現有技術中存在的上述問題,本發(fā)明實施例采用的技術方案對于不同曝光程度的圖像中不同的像素分別采用不同的權重函數進行計算像素在相應圖層中的權重值,可以保存欠曝光圖像中高亮度值的像素所攜帶的信息,并可以抑制過飽和現象的發(fā)生,可以提高合成圖像的質量。
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂,下面結合附圖對本發(fā)明的具體實施例做詳細的說明。
圖1示出了本發(fā)明實施例中一種圖像融合方法的流程圖。如圖1所示的圖像融合方法,可以包括:
步驟S101:將待融合的多個圖像分別進行分解得到多個圖層。
在具體實施中,首先從多個待融合的圖像按照曝光程度進行排序,并從中選取曝光程度適中的圖像作為參考圖像,并將其他待融合的圖像與所述參考圖像進行對齊,且根據實際的需要將對齊以后的圖像進行裁剪。
在將待融合的多個圖像進行對齊和裁剪之后,可以分別進行分解。
在本發(fā)明一實施例中,可以采用哈爾小波(Harr Wavelet)將對齊并裁剪之后的圖像分別分解成兩個圖層。這里需要指出的是,也可以采用其他的方法將對齊并裁剪后的圖像進行圖層分解,且分解得到圖層的數量可以根據實際的需要進行選擇,在此不做限制。
步驟S102:根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值。
在具體實施中,在不同曝光程度的圖像中,不同亮度的像素所攜帶信息 的重要性不同。根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值,可以使得像素攜帶的重要信息被保存下來,并可以抑制最終生成的HDR圖像中像素呈現過飽和狀態(tài),因此,可以提高最終生成的HDR圖像的質量。
步驟S103:采用計算得到的權重值對所述多個圖像同一圖層的像素進行融合,得到所述圖層對應的融合圖層。
在具體實施中,當計算得到各個圖像中的像素在不同圖層中的權重值之后,便可以采用計算得到的權重值,對所述多個圖像的同一圖層的像素進行融合。
步驟S104:采用得到的各個圖層的融合圖層生成對應的高動態(tài)范圍圖片。
在具體實施中,當得到各個圖層對應的融合圖層之后,將不同圖層的對應的融合圖層進行圖像合成,便可以得到最終的HDR圖像。
下面將結合圖2對本發(fā)明實施例中的圖像融合方法作進一步詳細的介紹。
圖2示出了本發(fā)明實施例中另一種圖像融合方法的流程圖。如圖2所示的圖像融合方法,可以包括:
步驟S201:根據曝光程度,將待融合的多個圖像分為欠曝光圖像和非欠曝光圖像,并將待融合的多個圖像分別進行分解得到多個圖層。
在具體實施中,可以首先將待融合的多個圖像按照曝光程度遞增的順序進行排序,將排在前列的圖像作為欠曝光圖像,將序列中其他的圖像作為非欠曝光圖像。其中,所述非前曝光的圖像包括正常曝光的圖像和過度曝光的圖像。
例如,當待融合的圖像為三張圖像時,可以將三張圖像按照曝光時間遞增的順序進行排列后,將排在第一位序的圖像作為欠曝光圖像,將第二和第三位序的圖像作為非欠曝光圖像。
在具體實施中,當確定圖像為欠曝光圖像時,可以依次執(zhí)行步驟S202;當確定圖像為非欠曝光圖像時,可以執(zhí)行步驟S205。
步驟S202:判斷所述欠曝光圖像中的像素的亮度值是否大于第一閾值; 當判斷結果為否時,可以執(zhí)行步驟S203;反之,則可以執(zhí)行步驟S204。
在具體實施中,欠曝光圖像中存在高亮度像素,這些高亮度像素攜帶有重要的信息,且在正常曝光或者過度曝光的條件下,這些高亮度的像素將呈現過飽和的狀態(tài),使得其所攜帶的信息完全丟失。
因此,為了將欠曝光圖像中的高亮度的像素所攜帶的信息保存下來,并抑制像素的過飽和狀態(tài),可以在計算像素的權重值之前,通過判斷像素的亮度值是否小于第一閾值,可以從欠前曝光圖像中區(qū)分出高亮度像素。其中,當確定所述欠曝光圖像中的像素的亮度值大于第一閾值時,所述像素為所述高亮度像素,反之,則為正常亮度或者低亮度的像素。
在具體實施中,所述第一閾值可以根據實際的需要進行設置。在本發(fā)明一實施例中,所述第一閾值為210。
步驟S203:采用第一權重函數計算所述像素在相應圖層中的權重值。
在具體實施中,當確定所述欠曝光圖像中的像素的亮度值小于等于所述第一閾值時,即所述欠曝光圖像中正常亮度和低亮度的像素可以采用如下的第一權重函數來計算得到對應的權重值:
其中,W表示像素的權重值,I表示像素的亮度值,σu表示曲線控制參數。
步驟S204:采用第二權重函數計算所述像素在相應圖層中的權重值。
在具體實施中,當確定所述欠曝光圖像中的像素的亮度值大于所述第一閾值時,即所述欠曝光圖像中高亮度的像素可以采用如下的第二權重函數計算所述像素的權重值:
其中,α為預設的第一權值系數,0<α≤1。
步驟S205:判斷所述非欠曝光圖像中的像素的亮度值是否大于第二閾值,當判斷結果為否時,可以執(zhí)行步驟S203,反之,則可以執(zhí)行步驟S207。
在具體實施中,所述第二閾值大于第一閾值,并可以根據實際的需要進行設置。在本發(fā)明一實施例中,所述第二閾值為230。
在具體實施中,當確定所述非欠曝光圖像中的像素的亮度值大于所述第二閾值時,即所述正常曝光或者過度曝光圖像中正常亮度或者低亮度的像素可以采用公式(1)所示的第一權重函數計算所述像素的權重值。
步驟S206:采用所述第三權重函數計算所述像素在相應圖層中的權重值。
在具體實施中,當確定所述欠曝光圖像中的像素的亮度值大于所述第一閾值時,即所述欠曝光圖像中高亮度的像素可以采用如下的第三權重函數計算所述像素的權重值:
其中,β為預設的第二權值系數,0<β<α。
通過上述的公式(1)、(2)和(3)可以看出,由于所述第一權值系數α大于第二權值系數β,使得欠曝光圖像中的高亮度的像素的權重值將顯著大于所述欠曝光圖像中其他像素和非欠曝光圖像中像素的權重值。因此,可以將欠曝光圖像中高亮度像素所攜帶的信息保存下來,并可以抑制最終生成的高動態(tài)范圍圖像中所述像素呈現過飽和的狀態(tài),進而可以提高最終生成的高動態(tài)范圍圖像的質量。
在具體實施中,所述第一權值系數α和第二權值系數β的數值可以根據實際的需要進行設置。在本發(fā)明一實施例中,所述第一權值系數α的取值范圍為0.6~1,所述第二權值系數β的取值范圍為0~0.6。
步驟S208:采用計算得到的權重值對所述多個圖像同一圖層的像素進行融合,得到所述圖層對應的融合圖層。
在具體實施中,當計算得到各個圖像中的像素在不同圖層中的權重值之后,便可以采用計算得到的權重值,對所述多個圖像的同一圖層的像素進行 融合。
例如,當采用哈爾小波將三張圖像分別進行圖層分解后得到第一圖層和第二圖層,且采用公式(1)計算得出三張圖像中的像素分別在第一圖層和第二圖層中的權重值之后,將三張圖像中的第一圖層中的像素采用相應的權重值進行融合,可以得到第一融合圖層。同樣,將三張圖像中的第二圖層中的像素采用相應的權重值進行融合,便可以得到第二融合圖層。
步驟S209:采用得到的各個圖層的融合圖層生成對應的高動態(tài)范圍圖像。
在具體實施中,當得到各個圖層對應的融合圖層之后,將不同圖層的對應的融合圖層進行圖像合成,便可以得到最終的HDR圖像。
圖3示出了本發(fā)明實施例中的一種圖像融合裝置的結構示意圖。如圖3所示的圖像融合裝置300,可以包括分解單元301、計算單元302、融合單元303和生成單元304,其中:
分解單元301,適于將待融合的多個圖像分別進行分解得到多個圖層。
在具體實施中,所述分解單元301適于采用哈爾小波將待融合的多個圖像分別進行分解得到兩個圖層。
計算單元302,適于根據圖像的曝光程度和所述圖像中像素的亮度值,采用不同的權重函數分別計算所述圖像中的像素在相應圖層中的權重值。
所述計算單元302適于將所述多個圖像按照曝光程度分為欠曝光圖像和非欠曝光圖像;當所述欠曝光圖像中的像素的亮度值小于等于第一閾值時,采用第一權重函數計算所述像素在相應圖層中的權重值;當所述欠曝光圖像中的像素的亮度值大于所述第一閾值時,采用第二權重函數計算所述像素在相應圖層中的權重值;當所述非欠曝光圖像中的像素的亮度小于等于第二閾值時,采用所述第一權重函數計算所述像素在相應圖層中的權重值,所述第二閾值大于所述第一閾值;當所述非欠曝光圖像中的像素的亮度大于所述第二閾值時,采用所述第三權重函數計算所述像素在相應圖層中的權重值。
融合單元303,適于采用計算得到的權重值對所述多個圖像同一圖層的像素進行融合,得到所述圖層對應的融合圖層。
生成單元304,適于采用得到的各個圖層的融合圖層生成對應的高動態(tài)范圍圖片。
本發(fā)明實施例還提供了一種終端設備,所述終端設備包括上述的圖像融合裝置
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成,該程序可以存儲于計算機可讀存儲介質中,存儲介質可以包括:ROM、RAM、磁盤或光盤等。
以上對本發(fā)明實施例的方法及系統(tǒng)做了詳細的介紹,本發(fā)明并不限于此。任何本領域技術人員,在不脫離本發(fā)明的精神和范圍內,均可作各種更動與修改,因此本發(fā)明的保護范圍應當以權利要求所限定的范圍為準。