基于特征學(xué)習(xí)的單幅圖像去霧方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)視覺(jué)領(lǐng)域，更具體地，設(shè)及到一種基于特征學(xué)習(xí)的單幅圖像去 霧方法。
【背景技術(shù)】
[0002] 在霧、靈等惡劣天氣下，大氣中存在較多的水滴或塵粒，致使光在傳播過(guò)程中發(fā)生 散射或被吸收，此時(shí)戶外拍攝的圖像往往模糊不清，對(duì)比度較低。監(jiān)控設(shè)備等依賴于戶外圖 像的系統(tǒng)性能急劇下降，甚至無(wú)法正常運(yùn)作。因此，對(duì)圖像進(jìn)行去霧處理具有重要意義。
[0003] 目前圖像去霧的方法主要可分為兩類:一類是使用圖像增強(qiáng)的方法，即通過(guò)增強(qiáng) 圖像的對(duì)比度來(lái)達(dá)到去霧目的，運(yùn)類方法可W應(yīng)用并有針對(duì)性地改良已有的成熟圖像處理 算法，對(duì)薄霧圖像能夠取得較好的去霧效果，但由于沒(méi)有針對(duì)成霧的客觀原因，所W不能從 根本上實(shí)現(xiàn)去霧。另一類是基于物理模型的去霧方法，該類方法通過(guò)研究大氣成霧W及圖 像退化的客觀機(jī)理，構(gòu)建出大氣散射模型，再根據(jù)模型對(duì)霧天圖像復(fù)原，從而實(shí)現(xiàn)去霧。然 而，運(yùn)兩類方法都存在著一個(gè)共同的局限性，即只利用了顏色特征，而沒(méi)有考慮到與霧靈相 關(guān)的紋理結(jié)構(gòu)特征，致使透射率的估計(jì)精度受到限制，因此具有一定的場(chǎng)景局限性。

【發(fā)明內(nèi)容】

[0004] 為了更好地利用圖像紋理、結(jié)構(gòu)和顏色等特征W提高去霧效果，本方法提出一種 基于特征學(xué)習(xí)的單幅圖像去霧方法。首先通過(guò)稀疏自動(dòng)編碼機(jī)對(duì)有霧圖像進(jìn)行多尺度的紋 理結(jié)構(gòu)特征提取，同時(shí)抽取各種與霧相關(guān)的顏色特征。然后采用多層神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本訓(xùn) 練，學(xué)習(xí)得到霧天條件下紋理結(jié)構(gòu)特征及顏色特征與場(chǎng)景深度間的映射關(guān)系，并估算出有 霧圖像的場(chǎng)景深度圖。最后結(jié)合大氣散射模型，根據(jù)場(chǎng)景深度圖復(fù)原無(wú)霧圖像。該方法能夠 復(fù)原出更高質(zhì)量的無(wú)霧圖像，且具有更好的場(chǎng)景普適能力。
[0005] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的技術(shù)方案為：
[0006] -種基于特征學(xué)習(xí)的單幅圖像去霧方法，包括W下步驟：
[0007] SI.獲取一組有霧圖像pet及其對(duì)應(yīng)的場(chǎng)景深度圖cpet作為訓(xùn)練數(shù)據(jù)集.
[000引S2.利用數(shù)據(jù)集pet和cTHjll練稀疏自動(dòng)編碼機(jī)，該稀疏自動(dòng)編碼機(jī)用于提取與霧 相關(guān)的紋理結(jié)構(gòu)特征；
[0009] S3.利用訓(xùn)練好的稀疏自動(dòng)編碼機(jī)，對(duì)ISBt中的每一幅有霧圖像Ii提取與霧有關(guān)的 紋理結(jié)構(gòu)特征Tl;
[0010] S4.對(duì)pet中的每一幅有霧圖像Ii提取與霧有關(guān)的顏色特征〇1、片、1?1心和81，分別 表示暗原色特征、顏色衰減特征、圖像的R通道、圖像的G通道和圖像的B通道；
[00川 S5. Wpet中每一幅有霧圖像所提取的特征1'1、01、片、1?1心和81作為輸入的訓(xùn)練數(shù) 據(jù)，同時(shí)WcTt中對(duì)應(yīng)的場(chǎng)景深度圖Cli作為訓(xùn)練標(biāo)簽，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)用于表示 不同特征組合與場(chǎng)景深度之間的映射關(guān)系，W有霧圖像的紋理結(jié)構(gòu)特征及不同的顏色特征 作為輸入，輸出其對(duì)應(yīng)的場(chǎng)景深度；
[0012] S6.輸入一幅待復(fù)原的有霧圖像I，利用訓(xùn)練好的稀疏自動(dòng)編碼機(jī)提取有霧圖像I 的與霧相關(guān)的紋理結(jié)構(gòu)特征T;
[0013] S7.提取有霧圖像I的與霧相關(guān)的顏色特征D、C、R、G和B;
[0014] S8.利用訓(xùn)練好的多層神經(jīng)網(wǎng)絡(luò)，WT、D、C、R、G和B作為輸入，輸出有霧圖像I所對(duì) 應(yīng)的場(chǎng)景深度圖d;
[0015] S9.根據(jù)大氣散射模型，利用d估算出大氣光照度A;
[0016] S10.結(jié)合有霧圖像I、場(chǎng)景深度圖d和大氣光照度A，復(fù)原出對(duì)應(yīng)的無(wú)霧圖像J。
[0017] 更進(jìn)一步地，所述步驟S2中的稀疏自動(dòng)編碼機(jī)是經(jīng)過(guò)樣本訓(xùn)練得到的，具體的訓(xùn) 練方法為：
[0018] 給定一組有霧圖像ret及其對(duì)應(yīng)的場(chǎng)景深度圖(fet，圖1給出了用于提取景物紋理 和結(jié)構(gòu)特征的稀疏自動(dòng)編碼機(jī)及其訓(xùn)練過(guò)程。該自動(dòng)編碼機(jī)由兩部分組成:第一部分為稀 疏編碼，用于提取局部塊的主要紋理與結(jié)構(gòu)特征，通過(guò)一個(gè)無(wú)監(jiān)督的自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)， 如圖I(C)所示，網(wǎng)絡(luò)的輸入是向量化的局部塊，S是對(duì)輸入向量進(jìn)行降維后所得到的特征， 網(wǎng)絡(luò)的輸出為S再次映射到高維時(shí)所得到的輸出向量;第二部分為一個(gè)2層神經(jīng)網(wǎng)絡(luò)，用于 獲得紋理結(jié)構(gòu)特征與場(chǎng)景深度之間的映射關(guān)系。稀疏自動(dòng)編碼機(jī)中的網(wǎng)絡(luò)使用sigmoid函 數(shù)f(x) = l/(l+e-x)作為傳輸函數(shù)，其訓(xùn)練時(shí)，首先從訓(xùn)練樣本集iset中，隨機(jī)組成選取20， 000個(gè)大小為r Xr的局部塊作為第一部分的網(wǎng)絡(luò)輸入，進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。然后，W第一部分 隱含層輸出作為第二部分的網(wǎng)絡(luò)輸入。最后，對(duì)每一個(gè)r Xr的局部塊，在訓(xùn)練樣本集CfBt中 找到相對(duì)應(yīng)的局部塊，W其中屯、位置的場(chǎng)景深度作為標(biāo)簽，進(jìn)行有監(jiān)督學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)中參 數(shù)的學(xué)習(xí)通過(guò)反向傳播算法實(shí)現(xiàn)。
[0019] 更進(jìn)一步地，所述步驟S4中對(duì)于一幅有霧圖像I，與霧相關(guān)的各種顏色特征的提取 方法。具體實(shí)現(xiàn)如下：
[0020] 給定一幅有霧圖像I及其對(duì)應(yīng)的大氣光照度A，本方法需要提取3類顏色特征，分別 是:暗原色特征、顏色衰減特征W及圖像的RGB空間下的3個(gè)通道分量。
[0021] 暗原色特征定義如下：
[0022]
[0023] 其中，Q (X)是Wx為中屯、，大小為15 X 15的局部塊，r表示有霧圖像I在顏色通道C 下的分量，D表示局部塊尺寸為15 X 15的暗原色特征。
[0024] 顏色衰減特征定義如下：
[0025]
[0026] 其中，ra哺rat分別為有霧圖像在服V顏色空間下的亮度分量和飽和度分量，00、01 和目2為線性系數(shù)，目0 = 0.1893,目1 = 1.0267,目2 = -1.2966。
[0027] 有霧圖像I中RGB空間下的S個(gè)分量(R通道分量、G通道分量和B通道分量）也作為 本方法的顏色特征，定義如下：
[002引 R=IKd,
[0029] G=Igreen,
[0030] B=Iblue.
[0031] 上式中，Itedjgteen和Iblue分別表示有霧圖像I在RGB顏色空間上的S個(gè)分量。
[0032] 更進(jìn)一步地，所述步驟S5中多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，依賴于一組用于訓(xùn)練的有 霧圖像ret及其對(duì)應(yīng)的場(chǎng)景深度圖dset。具體的訓(xùn)練方法如下：
[0033] 圖2給出了用于場(chǎng)景深度估計(jì)的神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練過(guò)程。該網(wǎng)絡(luò)包含3層(輸 入層、隱含層和輸出層），輸入層中神經(jīng)元的個(gè)數(shù)與特征圖的數(shù)目相等，隱含層中的神經(jīng)元 個(gè)數(shù)是輸入層的2倍，輸出層只有一個(gè)神經(jīng)元，表示最終輸出的場(chǎng)景深度。如圖2所示，首先 分別對(duì)訓(xùn)練樣本集ISBt中的有霧圖像Il, 12,…，In進(jìn)行特征提取，每一幅有霧圖像Ii對(duì)應(yīng)6幅 特征圖R、G、B、C、D和T。然后，W運(yùn)些特征作為輸入，W訓(xùn)練樣本集dset中的真實(shí)場(chǎng)景深度di 作為標(biāo)簽，采用反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)。最后得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型。
[0034] 更進(jìn)一步地，所述步驟S9中的大氣光照度A的估計(jì)方法，依賴于一幅有霧圖像I及 其對(duì)應(yīng)的場(chǎng)景深度圖d。具體的估計(jì)方法如下：
[0035] 給定一幅有霧圖像I及對(duì)應(yīng)的場(chǎng)景深度圖d，其大氣光照度A可進(jìn)一步通過(guò)下式估 算得出：
[0036]
[0037] 其中，X和y用于表示圖像中的坐標(biāo)。
[0038] 更進(jìn)一步地，所述步驟SlO中利用有霧圖像I、大氣光照度A和場(chǎng)景深度圖d復(fù)原出 無(wú)霧圖像的方法。具體的圖像復(fù)原方法如下：
[0039] 已知有霧圖像I、大氣光照度A和場(chǎng)景深度圖d，根據(jù)大氣散射模型，可由下式復(fù)原 出無(wú)霧
[0040]
[0041] 其中，e是大氣散射系數(shù)，一般可取e=2.〇。
[0042] 與現(xiàn)有技術(shù)相比，本發(fā)明具有W下有益效果：
[0043] 1)將原本的求解去霧方程問(wèn)題轉(zhuǎn)化為機(jī)器學(xué)習(xí)的問(wèn)題，能夠從海量的數(shù)據(jù)中有針 對(duì)性地學(xué)習(xí)出與霧相關(guān)的特征，獲得場(chǎng)景深度的表達(dá)，運(yùn)種特征表達(dá)具有相當(dāng)高的準(zhǔn)確性， 對(duì)無(wú)霧圖像的復(fù)原起到關(guān)鍵作用，大幅度提高了去霧效果，尤其是當(dāng)圖像中有大量紋理結(jié) 構(gòu)規(guī)則的區(qū)域時(shí)，本發(fā)明的方法具有明顯的優(yōu)越性。
[0044] 2)結(jié)合各種不同類型的與霧相關(guān)的顏色特征，使得去霧方法本身具有更強(qiáng)的場(chǎng)景 普適能力。運(yùn)種普適能力主要體現(xiàn)在，本發(fā)明的去霧方法不容易受白色物體或大片天空區(qū) 域影響，而傳統(tǒng)去霧方法在處理運(yùn)些區(qū)域時(shí)容易失效。
【附圖說(shuō)明】
[0045] 圖1為本發(fā)明的方法中所設(shè)及稀疏自動(dòng)編碼機(jī)及其訓(xùn)練過(guò)程。
[0046] 圖2為本發(fā)明的方法中用于場(chǎng)景深度估計(jì)的多層神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練過(guò)程。
[0047] 圖3為本發(fā)明的方法執(zhí)行步驟示意圖。
[004引圖4為本發(fā)明方法的去霧效果圖及估計(jì)得出的對(duì)應(yīng)的場(chǎng)景深度圖。
【具體實(shí)施方式】
[0049]下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實(shí)施方式并不限于此。
[0050] 本發(fā)明的方法執(zhí)行步驟示意圖如附圖3所示，具體包括如下步驟：
[0051] SI.獲取一組有霧圖像ret及其對(duì)應(yīng)的場(chǎng)景深度圖Cfet作為訓(xùn)練數(shù)據(jù)集；
[0052] S2.利用數(shù)據(jù)集ISB^PcTHjII練用于提取與霧相關(guān)的紋理結(jié)構(gòu)特征的稀疏自動(dòng)編碼 機(jī)。圖1給出了用于提取景物紋理和結(jié)構(gòu)特征的稀疏自動(dòng)編碼機(jī)及其訓(xùn)練過(guò)程。該自動(dòng)編碼 機(jī)由兩部分組成:第一部分為稀疏編碼，用于提取局部塊的主要紋理與結(jié)構(gòu)特征，通過(guò)一個(gè) 無(wú)監(jiān)督的自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，如圖I(C)所示，網(wǎng)絡(luò)的輸入是向量化的局部塊，S是對(duì)輸入 的向量進(jìn)行降維后所得到的特征，網(wǎng)絡(luò)的輸出為S再次映射到高維時(shí)所得到的輸出向量;第 二部分為一個(gè)2層神經(jīng)網(wǎng)絡(luò)，用于獲得紋理結(jié)構(gòu)特征與場(chǎng)景深度之間的映射關(guān)系。稀疏自動(dòng) 編碼機(jī)中的網(wǎng)絡(luò)使用sigmoid函數(shù)f(x) = l/(l+e乃作為傳輸函數(shù)，其訓(xùn)練時(shí)，首先從訓(xùn)練樣 本集ret中，隨機(jī)組成選取20，000個(gè)大小為r X r的局部塊作為第一部分的網(wǎng)絡(luò)輸入，進(jìn)行無(wú) 監(jiān)督學(xué)習(xí)。然后，W第一部分隱含層輸出作為第二部分的網(wǎng)絡(luò)輸入。最后，對(duì)每一個(gè)r Xr的 局部塊，在訓(xùn)練樣本集Cfet中找到相對(duì)應(yīng)的局部塊，W其中屯、位置的