場景深度作為標(biāo)簽，進(jìn) 行有監(jiān)督學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)中參數(shù)的學(xué)習(xí)通過反向傳播算法實現(xiàn)。
[0053] S3.利用訓(xùn)練好的稀疏自動編碼機(jī)，對ISBt中的每一幅有霧圖像Ii提取與霧有關(guān)的 紋理結(jié)構(gòu)特征Tl;
[0054] S4.對ret中的每一幅有霧圖像Ii提取與霧有關(guān)的顏色特征化、Ci、Ri、Gi和Bi,分別 表示暗原色特征、顏色衰減特征、圖像的R通道、圖像的G通道和圖像的B通道。
[0055] 眩原傷據(jù)佈巧女化下：
[0化6]
[0057]其中，Q (X)是Wx為中屯、，大小為15x15的局部塊，r表示有霧圖像I在顏色通道C 下的分量，D表示局部塊尺寸為15 X 15的暗原色特征。
[0化引 顏傷真減特佈吿公如下，
[0化9]
[0060] 其中，ral和rat分別為有霧圖像在HSV顏色空間下的亮度分量和飽和度分量，00、01 和目2為線性系數(shù)，目0 = 0.1893,目1 = 1.0267,目2 = -1.2966。
[0061] 有霧圖像I中RGB空間下的S個分量(R通道分量、G通道分量和B通道分量）也作為 本方法的顏色特征，定義如下：
[0062] R=Ited,
[0063] G=Igreen,
[0064] B=I"ue.
[0065] 上式中，ItedJgteen和Iblue分別表示有霧圖像I在RGB顏色空間上的S個分量。
[0066] S5. Wret中每一幅有霧圖像所提取的特征1'1、〇1、片、1?1心和扣作為輸入的訓(xùn)練數(shù) 據(jù)，同時Wcfet中對應(yīng)的場景深度圖di作為訓(xùn)練標(biāo)簽，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)用于表示 不同特征組合與場景深度之間的映射關(guān)系，W有霧圖像的紋理結(jié)構(gòu)特征及不同的顏色特征 作為輸入，輸出其對應(yīng)的場景深度。圖2給出了用于場景深度估計的神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 過程。該網(wǎng)絡(luò)包含3層(輸入層、隱含層和輸出層），輸入層中神經(jīng)元的個數(shù)與特征圖的數(shù)目 相等，隱含層中的神經(jīng)元個數(shù)是輸入層的2倍，輸出層只有一個神經(jīng)元，表示最終輸出的場 景深度。如圖2所示，首先分別對訓(xùn)練樣本集ISBt中的有霧圖像Ii，l2,…，In進(jìn)行特征提取，每 一幅有霧圖像Ii對應(yīng)6幅特征圖R、G、B、C、D和T。然后，W運些特征作為輸入，W訓(xùn)練樣本集 dset中的真實場景深度di作為標(biāo)簽，采用反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)。最后得到訓(xùn) 練后的神經(jīng)網(wǎng)絡(luò)模型。
[0067] S6.輸入一幅待復(fù)原的有霧圖像I，利用訓(xùn)練好的稀疏自動編碼機(jī)提取有霧圖像I 的與霧相關(guān)的紋理結(jié)構(gòu)特征T;
[0068] S7.提取有霧圖像I的與霧相關(guān)的顏色特征D、C、R、G和B;
[0069] S8.利用訓(xùn)練好的多層神經(jīng)網(wǎng)絡(luò)，WT、D、C、R、G和B作為輸入，輸出有霧圖像I所對 應(yīng)的場景深度圖d;
[0070] S9.根據(jù)大氣散射模型，利用d估算出大氣光照度A。給定一幅有霧圖像I及對應(yīng)的 場景深度圖d，其大氣光照度A可進(jìn)一步通過下式估算得出：
[0071]
[0072] 其中，X和y用于表示圖像中的坐標(biāo)。
[0073] S10.結(jié)合有霧圖像I、場景深度圖d和大氣光照度A，復(fù)原出對應(yīng)的無霧圖像J:
[0074]
[00巧]其中，0是大氣散射系數(shù)，一般可取0 = 2.0。
[0076] 圖4是本發(fā)明方法的去霧效果圖及估計得出的對應(yīng)的場景深度圖。實驗1中，本發(fā) 明方法有效復(fù)原了大部分紋理細(xì)節(jié)，例如圖像右側(cè)的黃色花朵清晰可見，而對于顏色與霧 氣較為接近的區(qū)域(如女±的臉頰），在去霧結(jié)果圖中并沒有出現(xiàn)過度去霧的現(xiàn)象。實驗2 中，對有霧圖像進(jìn)行去霧處理的同時，保持了物體之間的細(xì)節(jié)，例如圖像中部的燈柱和旁邊 穿黑色衣服的男±，兩者的輪廓區(qū)別鮮明。實驗3中，盡管原有霧圖像存在輕微的偏色，但去 霧結(jié)果并沒有受到響應(yīng)的影響，依然能清晰地復(fù)原出遠(yuǎn)處的景物，顏色自然。
[0077] W上所述的本發(fā)明的實施方式，并不構(gòu)成對本發(fā)明保護(hù)范圍的限定。任何在本發(fā) 明的精神原則之內(nèi)所作出的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保護(hù) 范圍之內(nèi)。
【主權(quán)項】
1. 一種基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，包括以下步驟：51. 獲取一組有霧圖像Iset及其對應(yīng)的場景深度圖dset作為訓(xùn)練數(shù)據(jù)集；52. 利用數(shù)據(jù)集rlPcTH川練稀疏自動編碼機(jī)，該稀疏自動編碼機(jī)用于提取與霧相關(guān) 的紋理結(jié)構(gòu)特征；53. 利用訓(xùn)練好的稀疏自動編碼機(jī)，對Ise3t中的每一幅有霧圖像提取與霧有關(guān)的紋理 結(jié)構(gòu)特征Ti;54. 對Iset中的每一幅有霧圖像Ii提取與霧有關(guān)的顏色特征0^(^、心、61和仏，分別表示 暗原色特征、顏色衰減特征、圖像的R通道、圖像的G通道和圖像的B通道；55. 以Iset中每一幅有霧圖像所提取的特征1\幾、匕、1^乂和&作為輸入的訓(xùn)練數(shù)據(jù)，同 時以cTt中對應(yīng)的場景深度圖cU作為訓(xùn)練標(biāo)簽，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò);該網(wǎng)絡(luò)用于表示不同特 征組合與場景深度之間的映射關(guān)系，以有霧圖像的紋理結(jié)構(gòu)特征及不同的顏色特征作為輸 入，輸出其對應(yīng)的場景深度；56. 輸入一幅待復(fù)原的有霧圖像I，利用訓(xùn)練好的稀疏自動編碼機(jī)提取有霧圖像I的與 霧相關(guān)的紋理結(jié)構(gòu)特征T;57. 提取有霧圖像I的與霧相關(guān)的顏色特征D、C、R、G和B;58. 利用訓(xùn)練好的多層神經(jīng)網(wǎng)絡(luò)，以T、D、C、R、G和B作為輸入，輸出有霧圖像I所對應(yīng)的 場景深度圖d;59. 根據(jù)大氣散射模型，利用d估算出大氣光照度A; S10.結(jié)合有霧圖像I、場景深度圖d和大氣光照度A，復(fù)原出對應(yīng)的無霧圖像J。2. 根據(jù)權(quán)利要求1所述的基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，對于給定一 組有霧圖像Iset及其對應(yīng)的場景深度圖d set，所述步驟S2中的稀疏自動編碼機(jī)是經(jīng)過樣本訓(xùn) 練得到的，具體的訓(xùn)練方式為： 自動編碼機(jī)由兩部分組成：第一部分為稀疏編碼，用于提取局部塊的主要紋理與結(jié)構(gòu) 特征，通過一個無監(jiān)督自學(xué)習(xí)的3層神經(jīng)網(wǎng)絡(luò)實現(xiàn)，網(wǎng)絡(luò)的輸入是向量化的局部塊，隱含層 的輸出S是對輸入的向量進(jìn)行降維后所得到的特征，網(wǎng)絡(luò)的輸出為S再次映射到高維時所得 到的輸出向量;第二部分為一個2層神經(jīng)網(wǎng)絡(luò)，用于獲得紋理結(jié)構(gòu)特征與場景深度之間的映 射關(guān)系； 稀疏自動編碼機(jī)中的網(wǎng)絡(luò)使用s i gmo i d函數(shù)f (X) = 1 / (1 +e3)作為傳輸函數(shù)，其訓(xùn)練時， 首先從訓(xùn)練樣本集13(^中，隨機(jī)選取N個大小均為r X r的局部塊作為第一部分的網(wǎng)絡(luò)輸入， 進(jìn)行無監(jiān)督學(xué)習(xí)；然后，以第一部分隱含層輸出作為第二部分的網(wǎng)絡(luò)輸入;最后，對每一個r Xr的局部塊，在訓(xùn)練樣本集d set中找到相對應(yīng)的局部塊，以其中心位置的場景深度作為標(biāo) 簽，進(jìn)行有監(jiān)督學(xué)習(xí)。3. 根據(jù)權(quán)利要求1所述的基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，對于一幅有 霧圖像I，提取與霧有關(guān)的顏色特征的提取方法，具體實現(xiàn)如下： 給定一幅有霧圖像I及其對應(yīng)的大氣光照度A，提取3類顏色特征，分別是:暗原色特征、 顏色衰減特征以及圖像的RGB空間下的3個通道分量； 暗原色特征定義如下：其中，Ω (χ)是以χ為中心，大小為15X15的局部塊，1?示有霧圖像I在顏色通道c下的 分S；，D表不局部塊尺寸為15 X 15的暗原色特征； 顏色衰減特征定義如下：其中，Ival和Isat分別為有霧圖像在HSV顏色空間下的亮度分量和飽和度分量，θ〇、θ4ΡΘ 2 為線性系數(shù)； 有霧圖像I中RGB空間下的三個分量也作為本方法的顏色特征，三個分量分別為R通道 分量、G通道分量和B通道分量，定義如下： R=Ired g- j green B=iblue 上式中，F(xiàn)ed、Igieen和Iblue分別表示有霧圖像I在RGB顏色空間上的三個分量。4. 根據(jù)權(quán)利要求1所述的基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，所述步驟S5 中多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，依賴于一組用于訓(xùn)練的有霧圖像I set及其對應(yīng)的場景深度圖 dse3t;具體的訓(xùn)練方法如下： 多層神經(jīng)網(wǎng)絡(luò)包含3層，分別為輸入層、隱含層和輸出層，輸入層中神經(jīng)元的個數(shù)與特 征圖的數(shù)目相等，隱含層中的神經(jīng)元個數(shù)是輸入層的2倍，輸出層只有一個神經(jīng)元，表示最 終輸出的場景深度;其過程為： 首先分別對訓(xùn)練樣本集Ise3t中的有霧圖像^，^，…丄進(jìn)行特征提取海一幅有霧圖像^ 對應(yīng)6幅特征圖R、G、B、C、D和T，然后，以這些特征作為輸入，以訓(xùn)練樣本集cTt中的真實場景 深度cU作為標(biāo)簽，采用反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督學(xué)習(xí)，最后得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò) 模型。5. 根據(jù)權(quán)利要求1所述的基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，所述步驟S9 中的大氣光照度A的估計方法，依賴于一幅有霧圖像I及其對應(yīng)的場景深度圖d;具體的估計 方法如下： 給定一幅有霧圖像I及對應(yīng)的場景深度圖d，其大氣光照度A可進(jìn)一步通過下式估算得 出：其中，X和y用于表示圖像中的坐標(biāo)。6. 根據(jù)權(quán)利要求1所述的基于特征學(xué)習(xí)的單幅圖像去霧方法，其特征在于，所述步驟 S10中利用有霧圖像I、大氣光照度A和場景深度圖d復(fù)原出無霧圖像的方法;具體的圖像復(fù) 原方法如下： 已知有霧圖像I、大氣光照度A和場景深度圖d，根據(jù)大氣散射模型，可由下式復(fù)原出無 霧圖像： 其中，β是大氣散射系數(shù)。
【專利摘要】本發(fā)明公開了一種基于特征學(xué)習(xí)的單幅圖像去霧方法，首先通過稀疏自動編碼機(jī)對有霧圖像進(jìn)行多尺度的紋理結(jié)構(gòu)特征提取，與此同時，抽取各種與霧相關(guān)的顏色特征。然后，采用多層神經(jīng)網(wǎng)絡(luò)進(jìn)行樣本訓(xùn)練，學(xué)習(xí)得到霧天條件下紋理結(jié)構(gòu)特征及顏色特征與場景深度間的映射關(guān)系，并估算出有霧圖像的場景深度圖。在此基礎(chǔ)上，利用場景深度圖近似地估算出透射率圖。該透射率能圖有效反映了有霧圖像中各個局部區(qū)域的霧氣濃度。最后，結(jié)合大氣散射模型，根據(jù)透射率圖進(jìn)一步復(fù)原出無霧圖像。本方法能夠?qū)τ徐F圖像進(jìn)行復(fù)原，得到更高質(zhì)量的無霧圖像，并且與現(xiàn)有的去霧方法相比，具有更好的場景普適能力。
【IPC分類】G06T5/00
【公開號】CN105719247
【申請?zhí)枴緾N201610025389
【發(fā)明人】王美華, 梁云, 麥嘉銘
【申請人】華南農(nóng)業(yè)大學(xué)
【公開日】2016年6月29日
【申請日】2016年1月13日