基于雙暗通道先驗(yàn)的圖像能見度修復(fù)方法及圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于費(fèi)雪線性判別的雙暗通道先驗(yàn)（Fisher'slinear discriminant-baseddualdarkchannelprior)的圖像能見度修復(fù)方法及圖像處理裝置。
【背景技術(shù)】
[0002] 在戶外場景中所拍攝的圖像往往會因?yàn)殪F氣、霾、沙塵暴等惡劣天氣中的混濁介 質(zhì)而導(dǎo)致能見度的降低。就光學(xué)上而言，數(shù)字圖像的低能見度為不同的大氣粒子吸收并且 散射數(shù)字相機(jī)與拍攝物之間的光線所導(dǎo)致。圖像低能見度會使得例如是戶外物體辨識系 統(tǒng)、障礙物檢測系統(tǒng)、視頻監(jiān)控系統(tǒng)以及智能型運(yùn)輸系統(tǒng)等必須運(yùn)作在任何天氣狀況下的 系統(tǒng)產(chǎn)生問題。
[0003] 為了恢復(fù)降質(zhì)圖像的能見度以及鮮艷色彩，許多圖像除霧技術(shù)已被視為有效的圖 像修復(fù)工具，以利用場景深度信息來產(chǎn)生可用于各種計算機(jī)視覺應(yīng)用的無霧圖像?；?，許 多圖像除霧方法相繼被提出。根據(jù)許多研究顯示，現(xiàn)有的圖像除霧技術(shù)可以分為兩大主要 類別：單張圖像信息以及非單張圖像信息。非單張圖像信息的方式可通過多張圖像或是特 殊的硬件設(shè)備取得同一場景的附加幾何信息來估測未知的深度信息，以移除圖像的霧氣并 且恢復(fù)圖像的能見度。然而，此種方式需要額外的硬件設(shè)備，其具復(fù)雜的技術(shù)以及昂貴的修 復(fù)成本。近來圖像除霧的研究主要是朝向基于單張圖像信息的方式，在判別無霧圖像與輸 入霧氣圖像的差異時，采用強(qiáng)烈假設(shè)（strongassumption)或是先驗(yàn)（prior)來達(dá)到圖像 的修復(fù)。在一種現(xiàn)有技術(shù)所提出的單張圖像除霧方法中，其觀察到相對于拍攝到的霧氣圖 像，修復(fù)圖像具有較高的對比度，因此可通過將局部對比度最大化的方式來修復(fù)場景輻射 (sceneradiance)〇
[0004] 然而，此種方式會使得深度邊緣產(chǎn)生假影（artifact)。另一種現(xiàn)有技術(shù)所提出的 單張圖像除霧方法中，其基于透射率和表面投影在局部上是沒有關(guān)聯(lián)的假設(shè)上來估測場景 的反照率并且推導(dǎo)介質(zhì)圖（transmissionmap)。然而，此種方法不適用于霧氣密度較大的 圖像。
[0005] 另一種現(xiàn)有技術(shù)觀察到在戶外無霧圖像中，局部區(qū)域的像素在至少一個色彩通 道中具有較低的像素值，因此提出一種以單像圖像并且利用暗通道先驗(yàn)（darkchannel prior)來有效地移除霧氣的圖像除霧算法。目前為止，此種以單張圖像來有效地進(jìn)行除霧 已在本領(lǐng)域引起廣泛的研究與討論。延續(xù)上述暗通道先驗(yàn)技術(shù)，另一種圖像除霧算法采用 暗通道先驗(yàn)以及多階仿視覺（multi-scaleRetinex)的技術(shù)來快速地進(jìn)行圖像的修復(fù)。然 而，在惡劣的天氣下，局部光源以及色偏（color-shift)往往會使得整體處理程序變?yōu)閺?fù) 雜。在此情境下，前述暗通道先驗(yàn)技術(shù)將會無法得到滿意的修復(fù)結(jié)果。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供一種基于雙暗通道先驗(yàn)的圖像能見度修復(fù)方法及圖像處理裝置，可在 各種實(shí)際拍攝情況中有效地針對單張圖像進(jìn)行除霧。
[0007] 本發(fā)明提出一種基于雙暗通道先驗(yàn)的圖像能見度修復(fù)方法，適用于圖像處理裝 置。此方法包括下列步驟：接收對應(yīng)于多個圖像尺寸以及多個類別的多個訓(xùn)練圖像，其中 各所述類別對應(yīng)于一局部光源；根據(jù)所述訓(xùn)練圖像，利用費(fèi)雪線性判別模型，產(chǎn)生多個判別 模式；接收包括多個輸入像素的輸入霧氣圖像，并且根據(jù)各所述輸入像素的像素值，判斷各 所述輸入像素屬于局部光區(qū)域或是非局部光區(qū)域；根據(jù)關(guān)聯(lián)于所述圖像尺寸的多個區(qū)塊尺 寸，分割局部光區(qū)域?yàn)槎鄠€區(qū)塊；根據(jù)對應(yīng)于各所述區(qū)塊尺寸的費(fèi)雪線性判別模型，判斷各 所述區(qū)塊是否屬于局部光區(qū)塊，據(jù)以自所述區(qū)塊尺寸中判定指定區(qū)塊尺寸；根據(jù)所述輸入 像素在每一色彩通道的像素值，判定對應(yīng)于每一色彩通道的一組適應(yīng)性色彩參數(shù)；判定分 別對應(yīng)于指定區(qū)塊尺寸以及小區(qū)塊尺寸的雙暗通道；根據(jù)對應(yīng)于指定區(qū)塊尺寸的暗通道， 判定在各所述色彩通道的大氣光，并且根據(jù)對應(yīng)于小區(qū)塊尺寸的暗通道，判定介質(zhì)圖；根據(jù) 對應(yīng)于各所述色彩通道的適應(yīng)性色彩參數(shù)、大氣光以及介質(zhì)圖，修復(fù)輸入霧氣圖像，據(jù)以產(chǎn) 生除霧圖像；以及輸出除霧圖像。
[0008] 在本發(fā)明的一實(shí)施例中，上述根據(jù)所述訓(xùn)練圖像，利用費(fèi)雪線性判別模型，產(chǎn)生所 述判別模式的步驟包括：計算對應(yīng)于所述訓(xùn)練圖像的各所述圖像尺寸的類別間散布矩陣以 及類別內(nèi)散布矩陣；最大化對應(yīng)的類別間散布矩陣與對應(yīng)的類別內(nèi)散布矩陣之間的比值， 以計算對應(yīng)于所述訓(xùn)練圖像的各所述圖像尺寸的最佳投影向量；以及根據(jù)對應(yīng)的最佳投影 向量以及對應(yīng)的訓(xùn)練圖像，取得各所述判別模式。
[0009] 在本發(fā)明的一實(shí)施例中，上述根據(jù)所述訓(xùn)練圖像，利用費(fèi)雪線性判別模型，產(chǎn)生所 述判別模式的公式包括方程式（1)~方程式（4):
[0010]
[0011]
[0012] 其中，紀(jì)為對應(yīng)于圖像尺寸f的類別間散布矩陣，蹲為對應(yīng)于圖像尺寸f的類別 內(nèi)散布矩陣，u為所述類別中的平均訓(xùn)練圖像，Ul為第i個類別中的平均訓(xùn)練圖像，ni為屬 于第i個類別中的訓(xùn)練圖像的數(shù)量，xk為第i個類別中的第k個訓(xùn)練圖像，Η為所述類別的 數(shù)量并且為正整數(shù)，
[0013]
[0014] 其中，W。#為對應(yīng)于圖像尺寸f的最佳投影向量，[Wl，w2，…，wj為匁與努：的一組 廣義特征向量，r為一較低維度經(jīng)驗(yàn)值，其中r為正整數(shù)并且KH，
[0015]Z{ =(wJpJX, 方程式⑷；
[0016] 其中，為圖像尺寸f的第k個訓(xùn)練圖像所對應(yīng)的判別模式。
[0017] 在本發(fā)明的一實(shí)施例中，上述彩色通道為紅色通道、綠色通道以及藍(lán)色通道；根據(jù) 各所述輸入像素的像素值，判斷各所述輸入像素屬于局部光區(qū)域或是非局部光區(qū)域的步驟 包括：計算各所述輸入像素在指定色彩通道的像素值所出現(xiàn)的概率，以取得對應(yīng)于各所述 像素值的pmf值；判斷所述pmf值中的最大概率值，并且設(shè)定對應(yīng)于最大機(jī)率值的像素值為 二值化屏蔽門檻值；判斷各所述輸入像素在指定色彩通道的像素值是否大于二值化屏蔽門 檻值；若是，確定屬于局部光區(qū)域；若否，確定屬于非局部光區(qū)域，其中指定色彩通道為所 述色彩通道之一。
[0018] 在本發(fā)明的一實(shí)施例中，上述根據(jù)各所述輸入像素的像素值，判斷各所述輸入像 素屬于局部光區(qū)域或是非局部光區(qū)域的公式包括方程式（5)~方程式（6):
[0019]
[0020] 其中，PMF(Ie)為輸入霧氣圖像在指定色彩通道c中對應(yīng)于像素值I的pmf值，麗 為所述輸入像素的數(shù)量，
[0021]
[0022] 其中，B(x，y)為位于（X，y)的輸入像素的二值化屏蔽，δ為二值化屏蔽門檻值，并 且
[0023] 在本發(fā)明的一實(shí)施例中，上述根據(jù)對應(yīng)于各所述區(qū)塊尺寸的費(fèi)雪線性判別模型， 判斷各所述區(qū)塊是否屬于局部光區(qū)塊，據(jù)以自所述區(qū)塊尺寸中判定指定區(qū)塊尺寸的步驟包 括：針對各所述區(qū)塊尺寸計算各所述區(qū)塊的投影；判斷各所述投影與對應(yīng)的最佳投影向量 之間的相似度是否超過經(jīng)驗(yàn)門檻值；若是，確定該區(qū)塊不屬于局部光區(qū)塊；若否，確定該區(qū) 塊屬于局部光區(qū)塊；針對各所述區(qū)塊尺寸，累計屬于局部光區(qū)塊的所述區(qū)塊的數(shù)量，以及設(shè) 定所述局部光區(qū)塊中具有最多區(qū)塊數(shù)量的區(qū)塊尺寸為指定區(qū)塊尺寸。
[0024] 在本發(fā)明的一實(shí)施例中，上述根據(jù)對應(yīng)于各所述區(qū)塊尺寸的費(fèi)雪線性判別模型， 判斷各所述區(qū)塊是否屬于局部光區(qū)塊，據(jù)以自所述區(qū)塊尺寸中判定指定區(qū)塊尺寸的公式包 括方程式（7)~方程式（8):
[0025]
[0026] 其中，G為輸入霧氣圖像中區(qū)塊尺寸為f的第k個區(qū)塊的投影，Ik為輸入霧氣圖 像的第k個區(qū)塊，
[0027]
[0028] 其中，Δ為經(jīng)驗(yàn)門濫值，classl表示不屬于局部光區(qū)塊，以及class2表示屬于局 部光區(qū)塊。
[0029] 在本發(fā)明的一實(shí)施例中，上述根據(jù)所述輸入像素在各所述色彩通道的像素值，判 定對應(yīng)于各所述色彩通道的適應(yīng)性色彩參數(shù)的公式包括方程式（9):
[0030]
[0031] 其中，s為所述色彩通道中不與指定色彩通道c相同的其它色彩通道，（ys，Vs)為 對應(yīng)于其它色彩通道的適應(yīng)性色彩參數(shù)。
[0032] 在本發(fā)明的一實(shí)施例中，上述判定分別對應(yīng)于指定區(qū)塊尺寸以及小區(qū)塊尺寸的雙 暗通道的公式包括方程式（10)~方程式（11):
[0033]
[0034]
[0035] 其中，以及為對應(yīng)于所述雙暗通道的指定區(qū)塊尺寸ω以及小區(qū)塊尺寸 τ，以及r(x，y)為位于（X，y)的輸入像素在色彩通道C的像素值。
[0036] 在本發(fā)明的一實(shí)施例中，上述根據(jù)對應(yīng)于各所述色彩通道的適應(yīng)性色彩參數(shù)、大 氣光以及介質(zhì)圖，修復(fù)輸入霧氣圖像，據(jù)以產(chǎn)生除霧圖像的公式包括方程式（12)~方程式 (13)：
[0037]
[0038] 其中，t為介質(zhì)圖，ω為介于〇到1之間的常數(shù)，
[0039]
[0040] 其中，Γ為除霧圖像在色彩通道c的像素值，I溈輸入霧氣圖像在色彩通道c的 像素值，Α%在色彩通道c的大氣光，以及t。為介質(zhì)下限。
[0041] 本發(fā)明提出一種圖像處理裝置，包括：圖像接收模塊、局部光檢測模塊、適應(yīng)性參 數(shù)產(chǎn)生模塊、圖像修復(fù)模塊以及圖像輸出模塊。圖像接收模塊，用以接收對應(yīng)于多個圖像尺 寸以及多個類別的多個訓(xùn)練圖像，并且接收包括多個輸入像素的輸入霧氣圖像，又根據(jù)各 所述輸入像素的像素值，判斷各所述輸入像素屬于局部光區(qū)域或是非局部光區(qū)域，其中各 所述類別對應(yīng)于一局部光源。局部光檢模塊，用以根據(jù)所述訓(xùn)練圖像，利用費(fèi)雪線性判別 模型，產(chǎn)生多個判別模式，并且根據(jù)關(guān)聯(lián)于所述圖像尺寸的多個區(qū)塊尺寸，分割局部光區(qū)域 為多個區(qū)塊，以及根據(jù)對應(yīng)于各所述區(qū)塊尺寸的費(fèi)雪線性判別模型，判斷各