一種視頻圖像雨滴去除方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于圖像去雨技術(shù)領(lǐng)域，尤其涉及一種視頻圖像雨滴去除方法及系統(tǒng)。所述視頻圖像雨滴去除方法包括：步驟a：將視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間；步驟b：通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴檢測，得到雨滴影響圖像；步驟c：利用α混合技術(shù)將所述雨滴影響圖像與無雨背景圖像混合進(jìn)行雨滴消除，得到去雨圖像。本發(fā)明大幅縮小了雨滴去除所需的時間，提高去雨效率，有利于提高雨滴檢測的準(zhǔn)確性，從而提升去雨效果，并有效提升圖像輸出質(zhì)量。
【專利說明】
一種視頻圖像雨滴去除方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視頻圖像雨滴去除技術(shù)領(lǐng)域，尤其涉及一種視頻圖像雨滴去除方法及 系統(tǒng)。
【背景技術(shù)】
[0002] 由于擁有包括自動性、智能性、高效性等諸多優(yōu)點，戶外計算機視覺系統(tǒng)被廣泛使 用在軍事國防、醫(yī)療技術(shù)、智能交通等領(lǐng)域。但是惡劣天氣會嚴(yán)重影響其性能，甚至導(dǎo)致其 完全失效。所以消除惡劣天氣影響的有效方法，對于一個全天候的戶外視覺系統(tǒng)來說必不 可少。在諸多惡劣天氣情況中，雨由于擁有較大粒子(雨滴)半徑及其他復(fù)雜物理特性，會對 視覺系統(tǒng)所攝取的圖像質(zhì)量造成較大程度的影響。視頻圖像雨滴去除技術(shù)通過使用雨的物 理、頻率等特性，對視頻幀圖像中的雨滴進(jìn)行識別、去除。其不僅能夠顯著提升圖像質(zhì)量，還 有利于圖像的進(jìn)一步處理。因此，視頻圖像雨滴去除技術(shù)已經(jīng)成為計算機視覺領(lǐng)域不可缺 少的關(guān)鍵性技術(shù)。
[0003] 近些年來關(guān)于視頻及圖像中雨滴檢測與去除的研究已然成為熱點。Starik等在 2003年最早提出了時域均值的雨滴去除策略，作者認(rèn)為在視頻圖像序列中，雨滴對像素的 影響只存在于少數(shù)幾幀中，故可直接對視頻幀圖像進(jìn)行平均就可以得到去除了雨的影響的 原圖像。同時，他們認(rèn)為雨會對背景產(chǎn)生亮度加強，且造成一定程度上的模糊，最終產(chǎn)生的 視覺效果是雨及被覆蓋背景的空間混合。對于遠(yuǎn)處的雨，由于失焦效果，會呈現(xiàn)霧狀特征。 遺憾的是，他們并沒有對方法進(jìn)行試驗驗證。Garg和Nayar最早使用了雨的動態(tài)及光度特性 (K . Garg and S · K · Nayar，"Detection and removal of rain from videos,，! in Proc · IEEE Conf ·Comput .Vis .Pattern Recognit· ,Jun· 2004,vol · I ,pp· 528-535)，分別建 立了兩種模型，并基于這兩個模型提出了檢測和去除雨的方法。對于雨的動態(tài)模型，其表明 了雨在其下落方向具有時域相關(guān)性;對于光度模型，其分為靜態(tài)雨及動態(tài)雨模型。對于靜態(tài) 雨滴，其亮度顯著高于其覆蓋的背景;對于動態(tài)雨滴(雨線），其亮度由靜態(tài)雨滴亮度、背景 亮度及相機曝光時間決定。之后，作者提出了一種使用幀差法進(jìn)行雨滴初檢，使用兩種特性 進(jìn)行誤檢去除，并最終利用前后幀圖像信息進(jìn)行雨滴去除的方法。雖然此方法性能較好，但 其對于嚴(yán)重失焦（遠(yuǎn)處）的雨、明亮背景上的雨及雨勢變化無法處理。2006年Zhang等人 (Zhang X P,Li H,Qi Y Y1Leow ff K,Ng T K.Rain removal in video by combining temporal and chromatic properties . In: Proceedings of the 2006InternationaI Conferenceon Multimedia and Expo.Toronto,Canada: IEEE,2006.461丨464)使用了雨的 時域分布及色彩特性。由于雨的時域分布直方圖顯示兩個峰(分別代表雨滴亮度及背景亮 度），且近似構(gòu)成高斯混合模型，故非監(jiān)督學(xué)習(xí)方法一一K-means聚類算法能夠有效地對之 進(jìn)行分離。之后，作者發(fā)現(xiàn)被雨滴影響像素的幀間RGB值的變化基本相同，故誤檢能夠進(jìn)一 步被去除。此方法實驗效果較好，但是在整個視頻利用聚類的方法辨別雨滴和背景，計算效 率不高，不能進(jìn)行實時的處理。2007年Barnum等人（Barnum P C，Narasimhan S G，Kanade T.Analysis of rainand snow in frequency space·Internatio-nal Journal of Computer Vision,2010，86(2丨3):256i:274)注意到之前的多數(shù)方法嚴(yán)重依賴于清晰雨線的 提取，而雨線由于會造成重復(fù)的模式，在頻域中對雨進(jìn)行分析是合理的。作者建立高斯模型 來近似雨的影響，并通過求在三維傅里葉變換中的模型所占比例進(jìn)行雨滴檢測，進(jìn)而通過 迭代去雨，最后反變換至視頻圖像。實驗結(jié)果表明此種方法擁有較好的處理性能，但此方法 由于算法較為簡單，容易出現(xiàn)過多錯誤檢測；同時，由于使用了混合高斯模型，具有較高的 時間復(fù)雜度，且在存在不顯眼的雨（明亮背景下的雨）及雨勢變化時，其處理性能會出現(xiàn)顯 著下降。
[0004] 由于使用雨的頻率特性能夠在特定情況下顯著提升算法去雨性能，且在僅處理單 幅圖像（即無時域信息）時，頻率特性能夠發(fā)揮更大的作用。Yu-Hsiang Fu等(Fu Y H，Kang L WjLin C ff,et al. Single-frame-based rain removal via imagedecomposition. In: Proceeding of 201IIEEE International Conference on Acoustics，Speech and Signal Processing( ICASSP) · Prague ,Czech: IEEE Press，2011:1453-1456 ·)首先提出了 基于MCA(形態(tài)學(xué)成分分析)及圖像分解的單幅圖像去雨算法，作者首先使用雙邊濾波將圖 像分為高頻及低頻部分，之后進(jìn)行字典學(xué)習(xí)，并通過將雨部分字典系數(shù)設(shè)置為〇得到去雨圖 像。由于此方法存在字典選擇非自動性的缺點，Li-Wei Kang等(Kang L W，Lin C W，F(xiàn)u Y H. Automat i c single-image-based rain streaks removaIvia image decomposition.Image Processing,IEEE Transactions on，2012，21(4):1742-1755·)提 出了一種基于自學(xué)習(xí)的自動改進(jìn)算法。之后，De-An Huang等（Huang D A，Kang L W，Yang M C，et al. Context-aware single image rain removal. In:Proceeding of 2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia: IEEEPress，2012:164-169.)提出了基于上下文感知的單幅圖像去雨算法，此方法僅需要單 幅圖像進(jìn)行學(xué)習(xí)工作，故可以大幅減少算法所需時間而Duan-Yu Chen等(Chen D Y，Chen C C,Kang L ff.Visual depth guided image rain streaks removal via sparse coding. In:Proceeding of2012InternationaI Symposium on Intelligent Signal Processing and Communications Systems.NewTaipei,Taiwan: IEEE，2012:151-156·)引 入了 DoD(深度差異)的概念，深度差異能夠衡量圖像的局部相關(guān)性信息，故能夠為單幅圖像 去雨提供幫助，同時，他們使用引導(dǎo)濾波替代原先使用的雙邊濾波，因為其擁有更好的性 能。
[0005] 綜上所述，現(xiàn)有的圖像去雨技術(shù)存在的缺點在于:現(xiàn)有的圖像去雨技術(shù)處理時間 較長，不利于實時應(yīng)用；同時，現(xiàn)有圖像去雨技術(shù)在雨滴去除時大量使用值簡單替換法，會 對輸出視頻的質(zhì)量造成降低。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供了一種視頻圖像雨滴去除方法及系統(tǒng)，旨在解決現(xiàn)有的去雨算法處理 時間較長，不利于實時應(yīng)用的技術(shù)問題。
[0007] 本發(fā)明提供的視頻圖像雨滴去除方法及系統(tǒng)還可以解決以下技術(shù)問題：
[0008] 現(xiàn)有技術(shù)在雨滴去除時大量使用值簡單替換法，會對輸出視頻的質(zhì)量造成降低。
[0009] 本發(fā)明是這樣實現(xiàn)的，一種視頻圖像雨滴去除方法，包括：
[0010] 步驟a:將視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間；
[0011] 步驟b:通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述視頻幀圖像 進(jìn)行雨滴檢測，得到雨滴影響圖像；
[0012] 步驟c:利用α混合技術(shù)將所述雨滴影響圖像與無雨背景圖像混合進(jìn)行雨滴消除， 得到去雨圖像。
[0013] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟b中，所述通過基于靜態(tài)雨滴的 光度特性及動態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴檢測具體包括：
[0014] 步驟bl:通過基于靜態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴初檢，得到當(dāng) 前視頻幀圖像的雨滴初檢圖像；
[0015] 步驟b2:通過動態(tài)雨滴的光度特性對所述視頻幀圖像的雨滴初檢圖像進(jìn)行雨滴誤 檢消除，得到最終的雨滴影響圖像。
[0016] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟c中，所述雨滴去除公式為：
[0017] C = aCb+(l-a)Cr
[0018] 在上述公式中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨 滴影響圖像的Y通道值。
[0019] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟c后還包括:通過圖像亮度調(diào)整 技術(shù)對所述去雨圖像的亮度進(jìn)行調(diào)整，得到最終去雨圖像。
[0020] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟c后還包括:將所述最終去雨圖 像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，并輸出去雨圖像。
[0021] 本發(fā)明實施例采取的另一技術(shù)方案為：一種視頻圖像雨滴去除系統(tǒng)，包括第一空 間轉(zhuǎn)換模塊、雨滴檢測模塊和圖像混合模塊；
[0022]所述第一空間轉(zhuǎn)換模塊用于將輸入的視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色 彩空間；
[0023] 所述雨滴檢測模塊用于通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對 所述視頻幀圖像進(jìn)行雨滴檢測，得到雨滴影響圖像；
[0024] 所述圖像混合模塊用于利用a混合技術(shù)將所述雨滴影響圖像與無雨背景圖像混合 進(jìn)行雨滴消除，得到去雨圖像。
[0025] 本發(fā)明實施例采取的技術(shù)方案還包括:所述雨滴檢測模塊包括雨滴初檢單元和誤 檢消除單元；
[0026] 所述雨滴初檢單元用于通過基于靜態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨 滴初檢，得到當(dāng)前視頻幀圖像的雨滴初檢圖像；
[0027] 所述誤檢消除單元用于通過動態(tài)雨滴的光度特性對所述視頻幀圖像的雨滴初檢 圖像進(jìn)行雨滴誤檢消除，得到最終的雨滴影響圖像。
[0028] 本發(fā)明實施例采取的技術(shù)方案還包括:所述圖像混合模塊進(jìn)行雨滴去除的公式 為：
[0029] C = aCb+(l-a)Cr
[0030] 在上述公式中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨 滴影響圖像的Y通道值。
[0031] 本發(fā)明實施例采取的技術(shù)方案還包括:還包括亮度調(diào)整模塊，所述亮度調(diào)整模塊 用于通過圖像亮度調(diào)整技術(shù)對所述去雨圖像的亮度進(jìn)行調(diào)整，得到最終去雨圖像。
[0032] 本發(fā)明實施例采取的技術(shù)方案還包括:還包括第二空間轉(zhuǎn)換模塊，所述第二空間 轉(zhuǎn)換模塊用于將所述最終去雨圖像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，并輸出去雨圖 像。
[0033] 相對于現(xiàn)有技術(shù)，本發(fā)明產(chǎn)生的有益效果在于:本發(fā)明實施例的視頻圖像雨滴去 除方法及系統(tǒng)通過將視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間，大幅縮小了雨滴去 除所需的時間，提高去雨效率;通過靜態(tài)雨滴的光度特性結(jié)合動態(tài)雨滴的光度特性進(jìn)行雨 滴檢測，有利于提高雨滴檢測的準(zhǔn)確性，從而提升去雨效果;利用α混合技術(shù)和圖像亮度調(diào) 整技術(shù)對圖像進(jìn)行雨滴去除，能夠獲得較好的去雨效果，并有效提升圖像輸出質(zhì)量。
【附圖說明】
[0034] 圖1是本發(fā)明實施例的視頻圖像雨滴去除方法的流程圖；
[0035]圖2是RGB色彩空間圖像處理示意圖；
[0036]圖3雨滴視野圖；
[0037]圖4是雨滴反射、折射圖；
[0038] 圖5是本發(fā)明實施例的去雨圖像亮度調(diào)整的線性映射曲線形狀圖；
[0039] 圖6是本發(fā)明實施例的視頻圖像雨滴去除系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0040] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0041] 請參閱圖1，是本發(fā)明實施例的視頻圖像雨滴去除方法的流程圖。本發(fā)明實施例的 視頻圖像雨滴去除方法包括以下步驟：
[0042] 步驟SlOO:讀取視頻幀圖像，并將當(dāng)前視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色 彩空間；
[0043] 在步驟SlOO中，對于色彩空間，其是為了定量描述顏色而建立的支持?jǐn)?shù)字圖像的 生成、存儲、處理及顯示的顏色模型。其中最出名的為RGB色彩空間，RGB色彩空間建立的主 要依據(jù)是人的眼睛有紅、綠和藍(lán)三種色感細(xì)胞，它們的最大感光靈敏度分別落在紅色、藍(lán)色 和綠色區(qū)域，其合成的光譜響應(yīng)就是視覺曲線，由此推出任何彩色都可以用紅、綠、藍(lán)三種 基色來配置;但由于在使用RGB色彩空間進(jìn)行圖像處理時需要同時處理紅、綠、藍(lán)三個通道 上的數(shù)據(jù)，造成了時間復(fù)雜度過高的現(xiàn)象，具體如圖2所示，是RGB色彩空間圖像處理示意 圖。
[0044] 而對于YCbCr色彩空間，其是DVD、攝像機、數(shù)字電視等消費類視頻產(chǎn)品中，常用的 色彩編碼方案。YCbCr不是一種絕對色彩空間，是YUV(YUV是被歐洲電視系統(tǒng)所采用的一種 顏色編碼方法)壓縮和偏移的版本。YCbCr色彩空間中的Y指亮度分量，Cb指藍(lán)色色度分量， 而Cr指紅色色度分量。人的肉眼對視頻的Y亮度分量更敏感，因此在通過對色度分量進(jìn)行子 采樣來減少色度分量后，肉眼將察覺不到圖像質(zhì)量的變化，且通過計算，在被雨影響的圖像 中，雨的部分基本存在于Y亮度分量，Cb藍(lán)色色度分量及Cr紅色色度分量并不受雨滴的影 響，故在YCbCr色彩空間中使用去雨算法，只需去除Y亮度分量中雨場，能夠降低時間復(fù)雜 度。具體地，從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間的轉(zhuǎn)換公式為：
[0045]
[0046] 對于有雨的一幅圖像，每個像素在R、G、B三個分量上的強度值可以認(rèn)為由兩部分 組成，一部分是不被雨滴覆蓋的背景強度值，另一部分是由于雨滴折射作用引起的背景強 度值的增量。將公式（1)的R、G、B分量寫成兩部分的組合，且提取出Cb和Cr分量，重寫（1)式 為如下形忒：
[0047]
[0048]在公式(2)中，Rbg、Gbg、Bbg分別是沒有被雨滴覆蓋的像素在三個分量上的背景強 度值，AR、AG、△ B是雨滴引起的背景強度在R、G、B分量上的增量。若像素未被雨滴覆蓋，則 AR，AG，ΔΒ均為零;反之，均不為零。結(jié)合雨滴的色彩屬性，雨滴引起的AR、AG、ΔΒ應(yīng)近 似相等，所以公式(2)可以變換為如下形式：
[0049]
[0050] 通過公式(3)可以看出，通過色彩空間轉(zhuǎn)換后，受雨滴影響圖像僅Y亮度分量含有 雨滴成分，Cb藍(lán)色色度分量和Cr紅色色度分量自動消去了雨滴引起的強度變化部分，使得 其不受雨滴的存在與否的影響，因此，在圖像去雨過程中，只需去除Y分量中雨場，能夠大幅 縮短處理時間。
[0051] 步驟S200:通過基于靜態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像進(jìn)行雨滴初檢，得到 當(dāng)如視頻幀圖像的雨滴初檢圖像；
[0052]在步驟S200中，較之其他惡劣天氣狀況，雨擁有較大半徑的粒子，且由于單個雨滴 擁有似鏡頭的特性及較大的視野(能夠從較大范圍進(jìn)行光線的收集，并集中到雨滴內(nèi)部，具 體如圖3所示，圖3為雨滴視野圖。故雨滴會比其所覆蓋的背景擁有較高的亮度(具體如圖4 所示，圖4為雨滴反射、折射圖），且距離鏡頭較近的雨滴會形成雨線，雨滴的亮度比其所覆 蓋的背景的亮度高很多，這即為靜態(tài)雨滴的光度特性;對于動態(tài)雨滴的光度特性，可以總結(jié) 為：一個雨線（動態(tài)雨滴)上的光強值，由靜態(tài)雨滴的亮度、背景亮度及相機的曝光時間決 定：
[0053]
[0054]
[0055]
[0056]
[0057] 在公式(4)中，Ir，Id及1^分別為被雨影響的像素的亮度、靜態(tài)雨滴的亮度及被覆 蓋的背景的亮度;Ed及E bg為靜態(tài)雨滴的輻照度及背景的輻照度;τ為從雨滴到相機的投射時 間。通過使用公式(5)帶入公式(4)，可以得到公式(7)，可以看到，一個雨線上的由雨滴造成 的亮度變化，與背景的亮度呈線性關(guān)系，同時α與β認(rèn)為在同一雨線上是恒定的。
[0058] 在本發(fā)明實施例中，通過基于靜態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像進(jìn)行雨滴初 檢具體包括:在讀取視頻幀圖像后，從第二幀開始讀取當(dāng)前視頻幀圖像的左右鄰居幀，通過 使用靜態(tài)雨滴的光度學(xué)特性，判斷當(dāng)前視頻幀圖像的某個像素是否為受雨影響的像素點， 即如果當(dāng)前視頻幀圖像與前一幀及當(dāng)前視頻幀圖像與后一幀的亮度差值大于一定閾值(在 本發(fā)明實施例中，該閾值設(shè)置為3,具體可根據(jù)實際應(yīng)用進(jìn)行設(shè)置），則認(rèn)為當(dāng)前視頻幀圖像 中的某個像素為受雨或者運動物體影響的像素點，即得到雨滴初檢圖像，進(jìn)入下一步處理。
[0059] 步驟S300:通過動態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像的雨滴初檢圖像進(jìn)行雨滴 誤檢消除，得到最終的雨滴影響圖像；
[0060] 在步驟S300中，由于雨滴初檢難以準(zhǔn)確將雨滴影響像素進(jìn)行分離，故利用動態(tài)雨 滴的光度學(xué)特性進(jìn)行誤檢消除;具體消除方式為:分析雨滴初檢圖像中的每個雨線，看其是 否與前一幀上的背景亮度呈線性關(guān)系，如果該雨線與前一幀上的背景亮度呈線性關(guān)系，則 確定該雨線為受雨影響的像素；否則認(rèn)為該雨線為運動物體上的像素，將該雨線從雨滴初 檢圖像中去掉。本發(fā)明通過靜態(tài)雨滴的光度特性結(jié)合動態(tài)雨滴的光度特性進(jìn)行雨滴檢測， 有利于提高雨滴檢測的準(zhǔn)確性，從而提高去雨效果。
[0061] 步驟S400:利用α混合技術(shù)將最終雨滴影響圖像與無雨背景圖像(前一幀）混合進(jìn) 行雨滴去除，得到初步去雨圖像；
[0062]在步驟S400中，由背景部分可知，雨線最終產(chǎn)生的視覺效果是雨及被覆蓋背景的 空間混合，故使用α混合技術(shù)對最終雨滴影響圖像與無雨背景圖像進(jìn)行混合能夠提升輸出 圖像質(zhì)量。α混合技術(shù)即Alpha-Blending，就是按照" Alpha"混合向量的值來混合源像素和 目標(biāo)像素。在本發(fā)明實施例中，雨滴去除公式如下：
[0063] C = aCb+(l-a)Cr (8)
[0064] 在公式(8)中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨 滴影響圖像的Y通道值，在具體實施中，α通道的值可以由局部亮度均值動態(tài)確定，在本發(fā)明 實施例中，α通道的值設(shè)置為0.85。
[0065]步驟S500:通過圖像殼度調(diào)整技術(shù)對初步去雨圖像的殼度進(jìn)彳丁調(diào)整，得到最終去 雨圖像；
[0066]在步驟S500中，由于使用α混合技術(shù)進(jìn)行圖像混合后，會造成去雨圖像的Y通道上 較大程度的亮度降低，因此使用圖像亮度調(diào)整技術(shù)對去雨圖像的亮度進(jìn)行調(diào)整;具體調(diào)整 方式為：使用matlab(美國MathWorks公司出品的商業(yè)數(shù)學(xué)軟件，用于算法開發(fā)、數(shù)據(jù)可視 化、數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境）中的i m a d j u s t函數(shù)：g = imadjust(f, [low_in high_in]，[low_out high_out] ,gamma)，函數(shù)將對兩個區(qū)間的值進(jìn) 行映射，區(qū)間外的將被剪掉。參數(shù)gamma指定了曲線的形狀，該曲線用來映射圖像f的亮度 值，以便生成圖像g。若gamma小于1，則映射被加權(quán)至更高(更亮)的輸出值，若gamma大于1則 更暗。若省略gamma，則默認(rèn)值為1，為線性映射。曲線形狀如圖5所示，是本發(fā)明實施例的去 雨圖像亮度調(diào)整的線性映射曲線形狀圖。具體地，將〇-〇.5區(qū)間上的值映射到0-1，能夠獲得 較好的亮度調(diào)整效果。
[0067]步驟S600:將最終去雨圖像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，并輸出去雨圖 像。
[0068]請參閱圖6,是本發(fā)明實施例的視頻圖像雨滴去除系統(tǒng)的結(jié)構(gòu)示意圖。本發(fā)明實施 例的視頻圖像雨滴去除系統(tǒng)包括第一空間轉(zhuǎn)換模塊、雨滴檢測模塊、圖像混合模塊、亮度調(diào) 整模塊和第二空間轉(zhuǎn)換模塊;具體地：
[0069]第一空間轉(zhuǎn)換模塊用于讀取視頻幀圖像，并將當(dāng)前視頻幀圖像從RGB色彩空間轉(zhuǎn) 換到Y(jié)CbCr色彩空間；具體地，從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間的轉(zhuǎn)換公式為：
[0070]
[0071] 對于有雨的一幅圖像，每個像素在R、G、B三個分量上的強度值可以認(rèn)為由兩部分 組成，一部分是不被雨滴覆蓋的背景強度值，另一部分是由于雨滴折射作用引起的背景強 度值的增量。將公式（1)的R、G、B分量寫成兩部分的組合，且提取出Cb和Cr分量，重寫（1)式 為如下形式：
[0072]
[0073]在公式(2)中，Rbg、Gbg、Bbg分別是沒有被雨滴覆蓋的像素在三個分量上的背景強 度值，AR、AG、△ B是雨滴引起的背景強度在R、G、B分量上的增量。若像素未被雨滴覆蓋，則 AR，AG，ΔΒ均為零;反之，均不為零。結(jié)合雨滴的色彩屬性，雨滴引起的AR、AG、ΔΒ應(yīng)近 似相等，所以公式（2)可以變換為如下形式：
[0074]
[0075] 通過公式(3)可以看出，通過色彩空間轉(zhuǎn)換后，受雨滴影響圖像僅Y亮度分量含有 雨滴成分，Cb藍(lán)色色度分量和Cr紅色色度分量自動消去了雨滴引起的強度變化部分，使得 其不受雨滴的存在與否的影響，因此，在圖像去雨過程中，只需去除Y分量中雨場，能夠大幅 縮短處理時間。
[0076] 雨滴檢測模塊用于通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述 視頻幀圖像進(jìn)行雨滴檢測，得到雨滴影響圖像;具體地，雨滴檢測模塊包括雨滴初檢單元和 誤檢消除單元；
[0077] 雨滴初檢單元用于通過基于靜態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像進(jìn)行雨滴初 檢，得到當(dāng)前視頻幀圖像的雨滴初檢圖像;其中，較之其他惡劣天氣狀況，雨擁有較大半徑 的粒子，且由于單個雨滴擁有似鏡頭的特性及較大的視野(能夠從較大范圍進(jìn)行光線的收 集，并集中到雨滴內(nèi)部，具體如圖3所示，圖3為雨滴視野圖。故雨滴會比其所覆蓋的背景擁 有較高的亮度(具體如圖4所示，圖4為雨滴反射、折射圖），且距離鏡頭較近的雨滴會形成雨 線，雨滴的亮度比其所覆蓋的背景的亮度高很多，這即為靜態(tài)雨滴的光度特性;對于動態(tài)雨 滴的光度特性，可以總結(jié)為:一個雨線(動態(tài)雨滴)上的光強值，由靜態(tài)雨滴的亮度、背景亮 度及相機的曝光時間決定：
[0078]
[0079]
[0080]
[0081]
[0082] 在公式(4)中，Ir，Id及1^分別為被雨影響的像素的亮度、靜態(tài)雨滴的亮度及被覆 蓋的背景的亮度;Ed及E bg為靜態(tài)雨滴的輻照度及背景的輻照度;τ為從雨滴到相機的投射時 間。通過使用公式(5)帶入公式(4)，可以得到公式(7)，可以看到，一個雨線上的由雨滴造成 的亮度變化，與背景的亮度呈線性關(guān)系，同時α與β認(rèn)為在同一雨線上是恒定的。
[0083] 在本發(fā)明實施例中，通過基于靜態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像進(jìn)行雨滴初 檢具體包括:在讀取視頻幀圖像后，從第二幀開始讀取當(dāng)前視頻幀圖像的左右鄰居幀，通過 使用靜態(tài)雨滴的光度學(xué)特性，判斷當(dāng)前視頻幀圖像的某個像素是否為受雨影響的像素點， 即如果當(dāng)前視頻幀圖像與前一幀及當(dāng)前視頻幀圖像與后一幀的亮度差值大于一定閾值(在 本發(fā)明實施例中，該閾值設(shè)置為3,具體可根據(jù)實際應(yīng)用進(jìn)行設(shè)置），則認(rèn)為當(dāng)前視頻幀圖像 中的某個像素為受雨或者運動物體影響的像素點，即得到雨滴初檢圖像，進(jìn)入下一步處理。
[0084] 誤檢消除單元用于通過動態(tài)雨滴的光度特性對當(dāng)前視頻幀圖像的雨滴初檢圖像 進(jìn)行雨滴誤檢消除，得到最終的雨滴影響圖像;其中，由于雨滴初檢難以準(zhǔn)確將雨滴影響像 素進(jìn)行分離，故利用動態(tài)雨滴的光度學(xué)特性進(jìn)行誤檢消除;具體消除方式為:分析雨滴初檢 圖像中的每個雨線，看其是否與前一幀上的背景亮度呈線性關(guān)系，如果該雨線與前一幀上 的背景亮度呈線性關(guān)系，則確定該雨線為受雨影響的像素；否則認(rèn)為該雨線為運動物體上 的像素，將該雨線從雨滴初檢圖像中去掉。本發(fā)明通過靜態(tài)雨滴的光度特性結(jié)合動態(tài)雨滴 的光度特性進(jìn)行雨滴檢測，有利于提高雨滴檢測的準(zhǔn)確性，從而提升去雨效果。
[0085] 圖像混合模塊用于利用α混合技術(shù)將最終雨滴影響圖像與無雨背景圖像(前一幀） 混合進(jìn)行雨滴去除，得到初步去雨圖像;其中，由背景部分可知，雨線最終產(chǎn)生的視覺效果 是雨及被覆蓋背景的空間混合，故使用α混合技術(shù)對最終雨滴影響圖像與無雨背景圖像進(jìn) 行混合能夠提升輸出圖像質(zhì)量。α混合技術(shù)即Alpha-Blending，就是按照" Alpha"混合向量 的值來混合源像素和目標(biāo)像素。在本發(fā)明實施例中，雨滴去除公式如下：
[0086] C = aCb+(l-a)Cr (8)
[0087] 在公式(8)中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨 滴影響圖像的Y通道值，在具體實施中，a通道的值可以由局部亮度均值動態(tài)確定，在本發(fā)明 實施例中，a通道的值設(shè)置為0.85。
[0088] 亮度調(diào)整模塊用于通過圖像亮度調(diào)整技術(shù)對初步去雨圖像的亮度進(jìn)行調(diào)整，得到 最終去雨圖像;其中，由于使用a混合技術(shù)進(jìn)行圖像混合后，會造成去雨圖像的Y通道上較大 程度的亮度降低，因此使用圖像亮度調(diào)整技術(shù)對去雨圖像的亮度進(jìn)行調(diào)整;具體調(diào)整方式 為:使用matlab(美國MathWorks公司出品的商業(yè)數(shù)學(xué)軟件，用于算法開發(fā)、數(shù)據(jù)可視化、數(shù) 據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境）中的imad just函數(shù):g = imad just (f, [low_in high_in]，[low_out high_out] ,gamma)，函數(shù)將對兩個區(qū)間的值進(jìn)行映射，區(qū) 間外的將被剪掉。參數(shù)ga_a指定了曲線的形狀，該曲線用來映射圖像f的亮度值，以便生成 圖像g。若gamma小于1，則映射被加權(quán)至更高(更亮)的輸出值，若gamma大于1則更暗。若省略 ga_a，則默認(rèn)值為1，為線性映射。曲線形狀如圖5所示，是本發(fā)明實施例的去雨圖像亮度調(diào) 整的線性映射曲線形狀圖。具體地，將〇-〇.5區(qū)間上的值映射到0-1，能夠獲得較好的亮度調(diào) 整效果。
[0089]第二空間轉(zhuǎn)換模塊用于將最終去雨圖像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，并 輸出去雨圖像。
[0090] 本發(fā)明實施例的視頻圖像雨滴去除方法及系統(tǒng)通過將視頻幀圖像從RGB色彩空間 轉(zhuǎn)換到Y(jié)CbCr色彩空間，大幅縮小了雨滴去除所需的時間，提高去雨效率;通過靜態(tài)雨滴的 光度特性結(jié)合動態(tài)雨滴的光度特性進(jìn)行雨滴檢測，有利于提高雨滴檢測的準(zhǔn)確性，從而提 升去雨效果;利用α混合技術(shù)和圖像亮度調(diào)整技術(shù)對圖像進(jìn)行雨滴去除，能夠獲得較好的去 雨效果，并有效提升圖像輸出質(zhì)量。
[0091] 以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1. 一種視頻圖像雨滴去除方法，其特征在于，包括： 步驟a:將視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空間； 步驟b:通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行 雨滴檢測，得到雨滴影響圖像； 步驟c:利用α混合技術(shù)將所述雨滴影響圖像與無雨背景圖像混合進(jìn)行雨滴消除，得到 去雨圖像。2. 根據(jù)權(quán)利要求1所述的視頻圖像雨滴去除方法，其特征在于，在所述步驟b中，所述通 過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴檢測具體 包括： 步驟bl:通過基于靜態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴初檢，得到當(dāng)前視 頻幀圖像的雨滴初檢圖像； 步驟b2:通過動態(tài)雨滴的光度特性對所述視頻幀圖像的雨滴初檢圖像進(jìn)行雨滴誤檢消 除，得到最終的雨滴影響圖像。3. 根據(jù)權(quán)利要求1所述的視頻圖像雨滴去除方法，其特征在于，在所述步驟c中，所述雨 滴去除公式為： C = aCb+(l-a)Cr 在上述公式中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨滴影 響圖像的Y通道值。4. 根據(jù)權(quán)利要求3所述的視頻圖像雨滴去除方法，其特征在于，在所述步驟c后還包括： 通過圖像亮度調(diào)整技術(shù)對所述去雨圖像的亮度進(jìn)行調(diào)整，得到最終去雨圖像。5. 根據(jù)權(quán)利要求4所述的視頻圖像雨滴去除方法，其特征在于，在所述步驟c后還包括： 將所述最終去雨圖像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空間，并輸出去雨圖像。6. -種視頻圖像雨滴去除系統(tǒng)，其特征在于，包括第一空間轉(zhuǎn)換模塊、雨滴檢測模塊和 圖像混合模塊； 所述第一空間轉(zhuǎn)換模塊用于將輸入的視頻幀圖像從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr色彩空 間； 所述雨滴檢測模塊用于通過基于靜態(tài)雨滴的光度特性及動態(tài)雨滴的光度特性對所述 視頻幀圖像進(jìn)行雨滴檢測，得到雨滴影響圖像； 所述圖像混合模塊用于利用a混合技術(shù)將所述雨滴影響圖像與無雨背景圖像混合進(jìn)行 雨滴消除，得到去雨圖像。7. 根據(jù)權(quán)利要求6所述的視頻圖像雨滴去除系統(tǒng)，其特征在于，所述雨滴檢測模塊包括 雨滴初檢單元和誤檢消除單元； 所述雨滴初檢單元用于通過基于靜態(tài)雨滴的光度特性對所述視頻幀圖像進(jìn)行雨滴初 檢，得到當(dāng)前視頻幀圖像的雨滴初檢圖像； 所述誤檢消除單元用于通過動態(tài)雨滴的光度特性對所述視頻幀圖像的雨滴初檢圖像 進(jìn)行雨滴誤檢消除，得到最終的雨滴影響圖像。8. 根據(jù)權(quán)利要求6所述的視頻圖像雨滴去除系統(tǒng)，其特征在于，所述圖像混合模塊進(jìn)行 雨滴去除的公式為： C = aCb+(l-a)Cr 在上述公式中，C代表輸出圖像Y通道值，Cb代表無雨背景圖像的Y通道值，Cr代表雨滴影 響圖像的Y通道值。9. 根據(jù)權(quán)利要求8所述的視頻圖像雨滴去除系統(tǒng)，其特征在于，還包括亮度調(diào)整模塊， 所述亮度調(diào)整模塊用于通過圖像亮度調(diào)整技術(shù)對所述去雨圖像的亮度進(jìn)行調(diào)整，得到最終 去雨圖像。10. 根據(jù)權(quán)利要求9所述的視頻圖像雨滴去除系統(tǒng)，其特征在于，還包括第二空間轉(zhuǎn)換 模塊，所述第二空間轉(zhuǎn)換模塊用于將所述最終去雨圖像由YCbCr色彩空間轉(zhuǎn)換到RGB色彩空 間，并輸出去雨圖像。
【文檔編號】G06T5/00GK106056544SQ201610348136
【公開日】2016年10月26日
【申請日】2016年5月24日
【發(fā)明人】朱青松, 袁杰, 王磊
【申請人】中國科學(xué)院深圳先進(jìn)技術(shù)研究院