透霧圖像生成方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及視頻監(jiān)控技術(shù)領(lǐng)域，尤其涉及透霧圖像生成方法及裝置。
【背景技術(shù)】
[0002] 透霧技術(shù)主要應(yīng)用于大霧天氣或空氣污染等能見(jiàn)度不高的視頻監(jiān)控場(chǎng)景中。目 前，透霧技術(shù)主要包括光學(xué)透霧和數(shù)字透霧，其中，光學(xué)透霧利用近紅外光波長(zhǎng)較長(zhǎng)，受霧 氣干擾較小的原理獲得比可見(jiàn)光下更加清晰的圖像；而數(shù)字透霧是基于圖像復(fù)原或圖像增 強(qiáng)的后端處理技術(shù)使圖像變得清晰。
[0003] 上述兩種透霧處理方法都具有一定的局限性：光學(xué)透霧攝取的圖像為黑白圖像， 且在物體對(duì)紅外光反射一致時(shí)會(huì)丟失圖像的對(duì)比度信息；而數(shù)字透霧是一種后期圖像增強(qiáng) 技術(shù)，雖然可以獲得彩色圖像，但對(duì)于傳輸過(guò)程中已經(jīng)損失的信息無(wú)法恢復(fù)。可見(jiàn)，上述兩 種透霧處理方法各有利弊，透霧效果不夠理想。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，本申請(qǐng)?zhí)峁┝艘环N透霧圖像生成方法，該方法包括：
[0005] 獲取第一彩色圖像和紅外圖像；
[0006] 對(duì)所述第一彩色圖像進(jìn)行增強(qiáng)處理生成第二彩色圖像；
[0007] 對(duì)所述第二彩色圖像進(jìn)行亮色分離獲取第一亮度圖像和色彩圖像；
[0008] 對(duì)所述第一亮度圖像和所述紅外圖像進(jìn)行圖像融合得到第二亮度圖像；
[0009] 將所述第二亮度圖像與所述色彩圖像進(jìn)行合成生成透霧圖像。
[0010] 本申請(qǐng)還提供了一種透霧圖像生成裝置，該裝置包括：
[0011] 獲取單元，用于獲取第一彩色圖像和紅外圖像；
[0012] 增強(qiáng)單元，用于對(duì)所述第一彩色圖像進(jìn)行增強(qiáng)處理生成第二彩色圖像；
[0013] 分離單元，用于對(duì)所述第二彩色圖像進(jìn)行亮色分離獲取第一亮度圖像和色彩圖 像；
[0014] 融合單元，用于對(duì)所述第一亮度圖像和所述紅外圖像進(jìn)行圖像融合得到第二亮度 圖像；
[0015] 生成單元，用于將所述第二亮度圖像與所述色彩圖像進(jìn)行合成生成透霧圖像。
[0016] 本申請(qǐng)獲取第一彩色圖像和紅外圖像，對(duì)第一彩色圖像進(jìn)行增強(qiáng)處理生成第二彩 色圖像，再對(duì)第二彩色圖像進(jìn)行亮色分離獲取第一亮度圖像和色彩圖像，然后將第一亮度 圖像與紅外圖像進(jìn)行融合生成第二亮度圖像，最后將生成的第二亮度圖像與前述色彩圖像 進(jìn)行合成生成最終的透霧圖像。通過(guò)本申請(qǐng)可以獲得包含大量細(xì)節(jié)信息的彩色透霧圖像， 透霧處理效果更佳。
【附圖說(shuō)明】
[0017] 圖1是本申請(qǐng)一種實(shí)施例中透霧圖像生成方法的處理流程圖；
[0018] 圖2是本申請(qǐng)一種實(shí)施例中多分辨率融合流程示意圖；
[0019] 圖3是本申請(qǐng)一種實(shí)施例中透霧圖像生成裝置的基礎(chǔ)硬件示意圖；
[0020] 圖4是本申請(qǐng)一個(gè)實(shí)施例中的透霧圖像生成裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0021] 為使本申請(qǐng)的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖對(duì)本申請(qǐng)所述 方案作進(jìn)一步地詳細(xì)說(shuō)明。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字 表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本申請(qǐng)相一致 的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本申請(qǐng)的一些方面相一 致的裝置和方法的例子。
[0022] 在本申請(qǐng)使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本申請(qǐng)。 在本申請(qǐng)和所附權(quán)利要求書(shū)中所使用的單數(shù)形式的"一種"、"所述"和"該"也旨在包括多 數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語(yǔ)"和/或"是指 并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。
[0023] 應(yīng)當(dāng)理解，盡管在本申請(qǐng)可能采用術(shù)語(yǔ)第一、第二、第三等來(lái)描述各種信息，但這 些信息不應(yīng)限于這些術(shù)語(yǔ)。這些術(shù)語(yǔ)僅用來(lái)將同一類型的信息彼此區(qū)分開(kāi)。例如，在不脫離 本申請(qǐng)范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第 一信息。取決于語(yǔ)境，如在此所使用的詞語(yǔ)"如果"可以被解釋成為"在……時(shí)"或"當(dāng)…… 時(shí)"或"響應(yīng)于確定"。
[0024] 透霧技術(shù)主要應(yīng)用于大霧天氣或空氣污染等能見(jiàn)度不高的視頻監(jiān)控場(chǎng)景中，通過(guò) 透霧處理過(guò)濾掉惡劣天氣的影響，獲得清晰的圖像，以滿足視頻監(jiān)控的需求。目前，透霧技 術(shù)主要分為光學(xué)透霧和數(shù)字透霧。
[0025] 光學(xué)透霧利用近紅外光波長(zhǎng)較長(zhǎng)，受霧氣干擾較小，圖像的細(xì)節(jié)信息損失較少的 特點(diǎn)獲得比可見(jiàn)光下更加清晰的圖像，但是光學(xué)透霧獲取的圖像為黑白圖像，用戶體驗(yàn)不 好，且當(dāng)被拍攝物體對(duì)紅外光反射一致時(shí)，將丟失圖像的對(duì)比度信息，例如，拍攝藍(lán)底白字 車牌時(shí)需通過(guò)顏色識(shí)別車牌，但紅外光無(wú)法區(qū)分上述顏色，整個(gè)車牌對(duì)紅外光的反射一致， 因此，無(wú)法獲得車牌信息，也就失去了視頻監(jiān)控的意義。
[0026] 而數(shù)字透霧是對(duì)可見(jiàn)光下接收的圖像進(jìn)行復(fù)原或圖像增強(qiáng)處理使圖像變得清晰， 數(shù)字透霧雖然可以獲得彩色圖像，但對(duì)于傳輸過(guò)程中已經(jīng)損失的信息無(wú)法恢復(fù)?？梢?jiàn)，上述 兩種透霧處理方法各有利弊，透霧效果不夠理想。
[0027] 針對(duì)上述問(wèn)題，本申請(qǐng)實(shí)施例提出一種透霧圖像生成方法，該方法獲取第一彩色 圖像和紅外圖像，對(duì)第一彩色圖像進(jìn)行增強(qiáng)處理生成第二彩色圖像，再對(duì)第二彩色圖像進(jìn) 行亮色分離獲取第一亮度圖像和色彩圖像，然后將第一亮度圖像與紅外圖像進(jìn)行融合生成 第二亮度圖像，最后將生成的第二亮度圖像與前述色彩圖像進(jìn)行合成生成最終的透霧圖 像。
[0028] 參見(jiàn)圖1，為本申請(qǐng)透霧圖像生成方法的一個(gè)實(shí)施例流程圖，該實(shí)施例對(duì)透霧圖像 生成過(guò)程進(jìn)行描述。
[0029] 步驟110,獲取第一彩色圖像和紅外圖像。
[0030]第一彩色圖像為可見(jiàn)光下拍攝到的圖像；紅外圖像顧名思義為紅外光下拍攝到的 圖像?？赏ㄟ^(guò)以下實(shí)施方式獲取第一彩色圖像和紅外圖像：
[0031] 實(shí)施方式一：采用兩臺(tái)攝像機(jī)進(jìn)行拍攝，一臺(tái)攝像機(jī)拍攝第一彩色圖像，另一臺(tái)攝 像機(jī)拍攝紅外圖像。
[0032] 實(shí)施方式二：采用既可以拍攝第一彩色圖像也可以拍攝紅外圖像的攝像機(jī)。通 常這種類型的攝像機(jī)包括可見(jiàn)光截止濾鏡以及對(duì)應(yīng)的切換裝置，攝像機(jī)在可見(jiàn)光下拍攝第 一彩色圖像，再通過(guò)切換裝置切換到光學(xué)透霧模式，即通過(guò)可見(jiàn)光截止濾鏡濾除可見(jiàn)光，透 過(guò)紅外光以獲取紅外圖像。在一種較優(yōu)的實(shí)施方式中，可見(jiàn)光截止濾鏡的中心波長(zhǎng)可在 720nm~950nm波段范圍內(nèi)選擇，以利用近紅外波段獲取較好的透霧效果。
[0033] 實(shí)施方式三：獲取原始圖像，對(duì)原始圖像進(jìn)行處理后生成第一彩色圖像和紅外圖 像，具體過(guò)程如下：首先，獲取包含紅（R)、綠（G)、藍(lán)（B)和紅外（IR)分量的原始圖像（RAW 圖像）。本申請(qǐng)實(shí)施例中利用RGB-IR傳感器獲取上述原始圖像，RGB-IR傳感器最早用于測(cè) 距，后用于民用安防的普通監(jiān)控場(chǎng)景中。在獲取原始圖像后，分別對(duì)原始圖像中的R、G、B以 及IR分量進(jìn)行基于方向的插值處理，獲取各個(gè)分量圖像，將獲得的R、G、B分量圖像合成，生 成第一彩色圖像，將IR分量圖像作為紅外圖像。
[0034] 可見(jiàn)，實(shí)施方式三通過(guò)對(duì)原始圖像的處理可以同時(shí)獲取到第一彩色圖像和紅外圖 像，相較于實(shí)施方式一和實(shí)施方式二，實(shí)施方式三獲取的兩幅圖像沒(méi)有位置差異和時(shí)間差 異，不需要復(fù)雜的幀匹配和運(yùn)動(dòng)物體匹配；且節(jié)省了硬件成本（無(wú)需兩個(gè)攝像機(jī)配合或在 一臺(tái)攝像機(jī)中增加切換裝置）。
[0035] 步驟120,對(duì)所述第一彩色圖像進(jìn)行增強(qiáng)處理生成第二彩色圖像。
[0036] 彩色圖像的增強(qiáng)處理主要采用暗通道透霧算法，該算法的計(jì)算量較大，通常無(wú)法 實(shí)現(xiàn)實(shí)時(shí)運(yùn)行，且透霧處理效果有待提高。本申請(qǐng)實(shí)施例提出了一種改進(jìn)的暗通道透霧算 法對(duì)第一彩色圖像進(jìn)行增強(qiáng)處理以獲得更好的透霧處理效果，具體過(guò)程如下：
[0037] 通過(guò)計(jì)算第一彩色圖像中各個(gè)像素點(diǎn)的R、G、B分量最小值獲取初始暗通道圖像， 由于暗通道透霧處理對(duì)分辨率要求不高，因此，本申請(qǐng)實(shí)施例在獲取到初始暗通道圖像后， 對(duì)該初始暗通道圖像進(jìn)行下采樣，例如，可根據(jù)初始暗通道圖像的大小進(jìn)行2X2至6X6 的下采樣，以縮小初始暗通道圖像的分辨率，減少后續(xù)處理的運(yùn)算量，提高透霧處理的實(shí)時(shí) 性。對(duì)下采樣后的暗通道圖像采用最小濾波器獲取一定鄰域內(nèi)的最小值，生成粗糙的暗通 道圖像，以下簡(jiǎn)稱粗糙暗通道圖像。
[0038] 對(duì)生成的粗糙暗通道圖像進(jìn)行導(dǎo)向?yàn)V波得到精細(xì)的暗通道圖像，以下簡(jiǎn)稱精細(xì)暗 通道圖像，具體計(jì)算過(guò)程如下：
[0039]mean^fmean(I)
[0040]meanp=Up)
[0041]corr^fmean(I. *1)
[0042] corrIp= fmean(I.*p)
[0043]varj=corrj-mearij.^mearij
[0044]covIp=corrb-meanj?氺meanp
[0045]a= covIp./(varx+^ )
[0046]b= meanp-a.^mearij
[0047] meana=fmean(a)
[0048] meanb=fmean(b)
[0049] q=meana. *I+meanb
[0050] 其中，
[0051] fmean(x) =boxfiIter(x)/boxfiIter(N)
[0052] N= 1+yXp/255
[0053]