一種基于譜聚類的視頻去霧方法
【專利摘要】本發(fā)明公開了一種基于譜聚類的視頻去霧方法，具體按照以下步驟實施：步驟1：攝像頭采集有霧視頻，步驟2：判斷步驟1中采集到的當前幀圖像Ik是否為視頻的第一幀圖像I1，如果是，轉入步驟3；否則轉入步驟4；步驟3：對對第一幀圖像I1估計全局大氣光A、類分割，并計算各個類的透射率；步驟4：對從第二幀開始的視頻圖像估計透射率；步驟5：根據(jù)估計到的全局大氣光和透射率，恢復一幀圖像。本發(fā)明一種基于譜聚類的視頻去霧方法，更好地保證了視頻幀內的空間一致性，減弱了去霧恢復后視頻圖像的塊效應；并且，更好地保證了視頻幀間的連續(xù)性，避免了視頻幀間的閃爍效應。
【專利說明】
一種基于譜聚類的視頻去霧方法
技術領域
[0001] 本發(fā)明屬于視頻處理技術領域，具體涉及一種基于譜聚類的視頻去霧方法。
【背景技術】
[0002] 在視頻監(jiān)控行業(yè)，霧霾也已經(jīng)成為高清監(jiān)控的隱形殺手，透霧監(jiān)控需求變得越來 越迫切。就目前的發(fā)展來看，透霧技術主要體現(xiàn)在光學透霧和數(shù)字透霧兩個方面。光學透霧 主要采用針對紅外波段成像特殊優(yōu)化的鏡頭，利用霧氣中的紅外光進行成像。光學透霧只 能得到黑白監(jiān)控畫面，并且鏡頭成本昂貴難以普及。數(shù)字透霧技術主要包括基于非模型的 圖像增強方法和基于模型的圖像復原方法。通過圖像增強方式的透霧處理方法適用范圍 廣，能在一定程度上提高圖像的對比度，但該方法未能從圖像退化過程的原因入手進行補 償，從而不能獲得很好的透霧效果。基于圖像復原的方法研究霧天圖像降質的物理過程，并 建立霧天退化模型，反演退化過程，補償退化過程造成的失真，以獲得無霧圖像的最優(yōu)估計 值從而改善霧天圖像質量。這種方法針對性強，得到的去霧效果自然，一般不會有信息損 失，但這種方法整體而言計算量較大。
[0003] 基于暗原色先驗的單一圖像去霧方法有很好的去霧效果，但當場景中含有大面積 明亮區(qū)域，且該區(qū)域亮度與大氣光很相似時，暗原色先驗就會失效，使這些區(qū)域在復原過程 中造成失真。Kim等人提出了一種視頻去霧方法，在透射率估計時引入時空一致性約束來改 善視頻去霧效果，但基于固定塊劃分的處理模式使得圖像邊緣會出現(xiàn)光暈和閃爍情況。

【發(fā)明內容】

[0004] 本發(fā)明的目的是提供一種基于譜聚類的視頻去霧方法，解決了現(xiàn)有視頻去霧方法 對于視頻幀間時間連續(xù)性和視頻幀內空間一致性考慮不足的問題。
[0005] 本發(fā)明所采用的技術方案是，一種基于譜聚類的視頻去霧方法，具體按照以下步 驟實施：
[0006] 步驟1:攝像頭采集有霧視頻，該視頻序]
作為去霧的輸 入，其中分別為圖像Ik的RGB顏色空間三個通道值，圖像大小為width Xheight;
[0007] 步驟2:判斷步驟1中采集到的當前幀圖像Ik是否為視頻的第一幀圖像h，如果是， 轉入步驟3;否則轉入步驟4;
[0008] 步驟3:對第一幀圖像^估計全局大氣光A、譜聚類分割，并計算各個類的透射率；
[0009] 步驟3.1:對第一幀圖像^估計全局大氣光Α;
[0010] 步驟3.2:對第一幀圖像h進行譜聚類分割；
[0011] 步驟3.3:計算各個類的透射率，根據(jù)像素所在的類別得到對應像素的透射率；
[0012] 步驟4:對從第二幀開始的視頻圖像估計透射率；
[0013] 步驟5:根據(jù)估計到的全局大氣光和透射率，恢復一幀圖像。
[0014] 本發(fā)明的特點還在于，
[0015] 步驟3.1具體為：
[0016] 步驟3.1.1:輸入視頻圖像11"，初始值為第一幀圖像11，8卩1 1"=11，計算該圖像的面 積Iin_Area，Iin_Area=width*height，其中width和height分別表示圖像的寬和高，設定面 積閾值T，若I in_Area > T，則將當前圖像均分成四個子區(qū)域11，i = 1，2，3，4，轉入步驟3.1.2， 否則將當前圖像記作Ii_end并轉入步驟3.1.4;
[0017] 步驟3.1.2:分別求出步驟3.1.1中四個子區(qū)域I1的三顏色通道的像素均值遍 和標準差友_尤的差值的累加和R_lS
[0018]
[0019]
[0020]
[0021]其中，ce {r，g，b}，/:為第i子區(qū)域中某個像素的某一顏色通道的值，mean( ·)為 某一顏色通道的像素均值，std( ·)為某一顏色通道的像素標準差；
[0022] 步驟3.1.3:選取R_li中的最大值fjiiax:
[0023] I ^max=max (R_11)
[0024]其中，max( ·)代表求最大值；
[0025]將該最大值Pjnax對應的子區(qū)域作為輸入圖像Ιιη，返回步驟3.1.1進行遞歸搜索； [0026] 步驟3 · 1 · 4:計算圖像I i_end中每個像素點的顏色向量(I i_endr，I i_endg，I I_endb) 和白色向量(255,255,255)的距離11611(1&:
[0027]
[0028] 其中，Ii_endc為圖像Ii_end中某一個像素點的某一個顏色通道的值；
[0029] 將最接近白色的像素點也就是Iund^值最小時對應的顏色向量（Ι^θικΙ? end'g，Ii_end'b)作為全局大氣光，即A=(Ii_end' r，Ii_end'g，Ii_end'b)。
[0030] 步驟3.2具體為：
[0031] 步驟3.2.1:對視頻的第一幀圖像進行下采樣，得到下采樣圖像Ιρ,Ι:-圖像的寬 和高分別為W_=width/si，H_=height/s2，si和S2為下采樣率，對Ιι-提取YUV顏色空間的Υ分 量圖/&，作為譜聚類的輸入圖像，聚類個數(shù)初始化為m;
[0032] 步驟3.2.2:將圖像映射為一幅帶權無向圖G(V，W)，該無向圖中的每一個節(jié)點 乂11，11=1，2，'"，￥_\!1_對應/ 1}1中的每一個像素?11，11=1，2，'"，￥_\!1_，無向圖6(￥，￥)的~\~ 鄰接矩陣記為W，其中N=W_XH_，鄰接矩陣W中的元素代表像素對(Pl，Pj)之間的相似度， 該相似度定義為特征相似指數(shù)函數(shù)和空間鄰近指數(shù)函數(shù)的乘積為：
[0033]
[0034]其中，F(xiàn)(i)表示if_中像素 Pl的亮度特征向量，X(i)表示像素?1在圖像中的空間 位置，〇1和~分別用來調節(jié)兩部分相似度函數(shù)所占的比例；
[0035] 步驟3.2.3:由鄰接矩陣W求對角矩陣D和拉普拉斯矩陣L:
[0036]
[0037] L = D-ff
[0038] 歸一化L得到歸一化的拉普拉斯矩陣Lncir:
[0039] l· = D-1/2LD-1/2 = I -D-1/2WD-1/2
[0040] 其中矩陣I、D、L和Lncir維數(shù)都為NXN，I為單位矩陣；
[0041 ]步驟3.2.4:將歸一化后的拉普拉斯矩陣Lncir進行奇異值分解，選取前m
[0042] 個特征值對應的特征向量Hi = (hii，h2i,…，hNiY，i = l，2，···，m，將m個特征向量Hi 按列排列組成NXm特征矩陣H，該矩陣的每一行元素代表一個分類的樣本，即對應/^中的 一個像素；
[0043] 步驟3.2.5:對特征矩陣Η進行K-均值聚類，得到m個m維的聚類中心\^=(>1，￥2，··· vm) ,i = l ,2,··· ,m；
[0044] 步驟3.2.6 :把特征矩陣Η的每一行元素按聚類中心Vi進行矢量量化，得到每一行 元素所屬的類，因為每一個像素對應一行元素，從而得到每一個像素所屬的類別，由此得到 圖像的譜聚類分割矩陣S'矩陣的大小為W_XH_，各場景類別記為
[0045] 步驟3.3具體為：
[0046] 步驟3.3.1:輸入第一幀有霧視頻圖像h和譜聚類分割矩陣Sm;
[0047] 步驟3.3.2:將圖像11下采樣，記為11-，1 1-圖像的寬和高分別為1_=?丨(1也/81，!1_ = height/s2，sdPs2為下采樣率，對h-提取YUV顏色空間的Y分量圖|
[0048] 步驟3.3.3:初始化譜聚類類數(shù)計數(shù)器i = 0;
[0049] 步驟3.3.4:構造中第i個場景Q即第i類像素基于空間一致性的去霧總代價函 數(shù)已。：
[0050] EC = Ec〇ntrast+XLEl〇ss
[0051] 其中是一個常數(shù)，
[0052] Econtrast為去霧對比度代價函數(shù)為：
[0053] -L r 'Q·
p^i " J ' Q
[0054] Elciss為信息損失代價函數(shù)為：
[0055]
[0056]
[0057] 其中，A為大氣光，k表不視頻幀數(shù)，Jk(p)表不去霧后的圖像，(P)表不去霧后圖 像的Y分量值，Ik(P)表示有霧圖像，?(Ρ)表示有霧圖像的Y分量值，萬表示圖像的均 值，$表示圖像<(/>)的均值，像素類中的像素點個數(shù)，t表示透射率；
[0058]步驟3.3.5:估計第i個場景G即第i類像素的透射率
[0059] 步驟3.3.5.1:初始化透射率t = 0.3，初始化代價函數(shù)Ec:的最小時值f c〇stmin = FLT_MAX，F(xiàn)LT_MAX為f loat型數(shù)據(jù)的最大值，初始化理想透射率f OptTrs = t;
[ΟΟ?Ο] 步驟3.3.5.2:計算當前t下，代價函數(shù)E。的值f cost;
[0061]步驟3.3.5.3:判斷;1^(3〇81:^^(3〇81：1^11是否為真，若為真，貝11令;^(3〇81：1^11 = ;^(3〇81:， fOptTrs = t，然后進入步驟3.3.5.4，反之則直接進入步驟3.3.5.4;
[0062] 步驟3.3.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟3.3.5.2,若為 假，跳轉至步驟3.3.5.5;
[0063] 步驟3.3.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到靜止 場景類別匕的透射率^ ;
[0064] 步驟3.3.6:令i = i+l，判斷i<m是否為真，若為真，返回步驟3.3.4,若為假，則得 到各個類G，i = 1，2，…，m的透射率<，根據(jù)像素所在的類別得到對應像素的透射率t1 (X， y)，其中（x，y)為像素所在圖像位置。
[0065] 步驟4具體為：
[0066] 基于幀差法估計運動目標區(qū)域，首先，輸入前后兩幀視頻圖像1^和Ik，計算它們 的差值圖Dk，然后設置閾值，將D k二值化，得到D'k，對D'k進行形態(tài)學濾波處理，得到Rk，最后 對Rk進行連通性分析，獲取連通域的輪廓，根據(jù)輪廓個數(shù)NumOutline得到運動目標區(qū)域 0bjrh,rh=l ,2,··· ,Num0utline；
[0067] 步驟4.1:對從第二幀開始的視頻圖像，根據(jù)其在第一幀圖像對應位置的場景類別 Q，i = 1，2，…，m，建立時空一致性透射率模型，計算得到各個場景類別(^的透射率<，根據(jù) 像素所在的類別得到對應像素的透射率
[0068] 步驟4.2:對從第二幀開始的視頻圖像的運動目標建立運動目標透射率模型，計算 得到各個目標〇bjrh的透射率&4喊，根據(jù)運動目標區(qū)域更新對應區(qū)域處的像素透 射率，得到當前幀每個像素最終的透射率tk(x，y)。
[0069] 步驟4.1具體為：
[0070] 步驟4.1.1:輸入相鄰兩幀視頻圖像Ik-jPIk，輸入第k-Ι幀的透射率tH(X，y)，輸 入譜聚類分割矩陣S m;
[0071] 步驟4.1.2:將圖像115-1和115下采樣，記為11 {-1-和11{-，圖像的寬和高分別為胃_ = width/Sl，H_=height/s2，s#Ps2為下采樣率，對Ik-1-和Ik-提取YUV顏色空間的Y分量圖/|'_丨_ 和C;
[0072] 步驟4.1.3:初始化譜聚類類數(shù)計數(shù)器i = 0;
[0073] 步驟4.1.4:構造中第i個場景G即第i類像素基于時空一致性的靜態(tài)背景透射 率模型Es:
[0074]
[0075] 其中，λτ為時間相關代價函數(shù)的權重系數(shù)，是一個常數(shù)，
[0076] 為時間相關性代價函數(shù)為：
[0077
[0078] Eccintrast為去霧對比度代價函數(shù)為：
[0079]
[0080]
[0081]
[0082]
[0083] 假設相鄰兩幀圖像同一個場景點的亮度信息是相同的，則：
[0084]
[0085]
[0086]
[0087]
[0088]
[0089]
[0090] 其中，Y表示YUV色彩空間的Y分量，A為大氣光，σ為常數(shù)，k表示視頻幀數(shù)，tk(p)為 當前幀像素點P處的透射率，i k(p)是時間相關性參數(shù)，&為圖像一個譜聚類分割類C沖的時 間相關性參數(shù)，Ik(p)表示有霧圖像，J k(p)表示去霧后的圖像，表示圖像的均值， 萬表示圖像^f(P)的均值，像素昨匕^是匕類中的像素點個數(shù)，t表示透射率，〇k(p)為表 示相鄰幀之間圖像差異的概率值；
[0091 ] 步驟4.1.5:估計_/f_對應的透射率
[0092] 步驟4.1 ·5· 1 :初始化透射率t = 0.3,初始化代價函數(shù)Es的最小值f c〇stmin = FLT_ MAX，F(xiàn)LT_MAX為f loat型數(shù)據(jù)的最大值，初始化理想透射率f OptTrs = t;
[0093] 步驟4.1.5.2:計算在當前t和前一幀透射率圖tk-1( X，y)條件下代價函數(shù)Es的值f· cost ；
[0094] 步驟4.1.5.3:判斷：[>(308^1<：[>(308七1^11是否為真，若為真，貝1|令：[ >(308七1^11 = ：[>(308七， f OptTrs = t，然后進入步驟4.1.5.4,反之則直接進入步驟4.1.5.4;
[0095] 步驟4.1.5.4:令七=七+0.1，判斷七<1是否為真，若為真，返回步驟4.1.5.2，若為 假，跳轉至步驟4.1.5.5;
[0096] 步驟4.1.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到靜止 場景類別(^的透射率& =;
[0097] 步驟4.1.6:令i = i+l，判斷i<m是否為真，若為真，返回步驟4.1.4,若為假，則得 到各個類G，i = 1，2，…，m的透射率&，根據(jù)像素所在的類別得到對應像素的透射率 ，其中（X，y)為像素所在圖像位置。
[0098] 步驟4.2具體為：
[0099] 步驟4.2.1:輸入相鄰兩幀圖像/^_1_和<_、第1^-1幀的透射率#1&，5〇、1幀的運 動目標集合= 1，2，…，NumOut 1 ine;
[0100] 步驟4 · 2 · 2:初始化運動目標數(shù)目j = 0;
[0101] 步驟4.2.3:利用塊匹配算法，獲取/|1中第j個運動目標()/<在前一幀圖像中的對 應區(qū)域1 ;
[0102] 步驟4.2.4:構造/|_中第j個運動目標基于時空一致性的透射率模型E°:
[0103]
[0104] 其中，λτ為時間相關代價函數(shù)的權重系數(shù)，是一個常數(shù)，
[0105] ￡；°__<為運動目標的時間連續(xù)性代價函數(shù)為：
[0106]
[0107] Eccintrast為去霧對比度代價函數(shù)為：
[0108]
[0109] Elciss為信息損失代價函數(shù)為：
[0110]
[0111]
[0112] 其中：A為大氣光，k表示視頻幀數(shù)，Y表示YUV色彩空間的Y分量，Jk(p)表示去霧后 的圖像，I k(p)表示有霧圖像，萬表示圖像的均值，$表示圖像的均值，像素 pe Ci，乂；是Ci類中的像素點個數(shù)，t表示透射率，tk代表當前幀運動目標的透射率，Ci代 表運動目標在前一幀圖像中對應區(qū)域的透射率，@代表目標在相鄰兩幀圖像中的亮 度相似性；
[0113] 步驟4.2.5:估計中運動目標區(qū)域對應的透射率
[0114] 步驟4.2.5.1 :初始化透射率t = 0.3，初始化代價函數(shù)最小值f c〇stmin = FLT_ MAX，F(xiàn)LT_MAX為f loat型數(shù)據(jù)的最大值，初始化理想透射率f OptTrs = t;
[0115] 步驟4.2.5.2:計算在當前t和前一幀透射率圖tHUj)條件下，代價函數(shù)E°的值f cost ；
[0116] 步驟4.2.5.3:判斷：[>(308^1<：[>(308^111是否為真，若為真，貝1|令：[ >(308^111 = ：[>(308七， f OptTrs = t，然后進入步驟4.2.5.4，反之則直接進入步驟4.2.5.4;
[0117] 步驟4.2.5.4:令〖=〖+0.1，判斷〖<1是否為真，若為真，返回步驟4.2.5.2，若為 假，跳轉至步驟4.2.5.5;
[0118] 步驟4.2.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到運動 目標區(qū)域將的透射率，/么,,'/咐乃、；
[0119] 步驟4.2.6:令」=」+1，判斷」<燦111〇111:1;[116是否為真，若為真，返回步驟4.2.4，若 為假，則得到每個運動目標娜i,rh = l，2，~，NUm0Utline的透射率4^，根據(jù)像素所在的 運動目標區(qū)域，更新對應位置處的透射率，最終得到第k幀的透射率tk(x，y)。
[0120] 步驟5具體為：
[0121] 步驟5.1:將得到的第k幀圖像大小為W_XH_的透射率圖tk(x，y)進行上采樣，得到 大小為width Xheight的透射率圖tk+(x，y)，width=W_X si，height = H_X S2，si和S2為上采 樣率，再使用導向濾波方法將該透射率圖進行細化，得到細化后的透射率圖I_tk(x，y);
[0122] 步驟5.2:利用得到的細化后的第k幀圖像透射率圖I_tk(x，y)和估計到的大氣光A = (I_end'r，I_end'g，I_end' b)，基于如下式所示的霧天圖像退化模型，恢復一幀視頻圖像 中每一個像素：
[0123]
[0124] 共τ :ct〈r，g，D;，衣示三顏色通道，透射率t則為I_tk(x，y)中對應位置處的值。
[0125] 步驟5.3:將恢復后的一幀圖像寫入視頻文件，并判斷視頻是否結束，若沒有，繼續(xù) 估計下一幀參數(shù)，恢復圖像，反之則輸出恢復后的視頻序列。
[0126] 本發(fā)明的有益效果是：
[0127] ①本發(fā)明提出的一種基于譜聚類的視頻去霧方法，能夠將場景中的同一目標分割 到同一類中，將不同的目標分割到不同的類中，從而克服將同一目標分在不同的塊中或者 將不同的目標分在同一個塊中的固定塊分割方法的缺陷，實現(xiàn)對靜止場景更準確可靠的分 害J，提升后續(xù)透射率估計的精確度；
[0128] ②本發(fā)明提出的一種基于譜聚類的視頻去霧方法，根據(jù)譜分割的結果引入基于類 的透射率估計模型，更好地維持了視頻圖像的空間一致性，減弱了去霧后視頻圖像的塊效 應；
[0129] ③本發(fā)明提出的基于譜聚類的視頻去霧方法，首先利用幀差法獲取運動目標區(qū) 域，再對運動目標采用塊匹配算法獲得其在上一幀圖像中的對應位置，最后引入運動目標 的透射率模型對運動目標進行透射率估計，更好地保證了視頻系列幀間圖像的連續(xù)性，避 免了去霧后視頻幀間的閃爍效應。
【附圖說明】
[0130] 圖1是本發(fā)明視頻去霧方法的流程圖；
[0131 ]圖2是本發(fā)明視頻去霧方法中估計全局大氣光的流程圖；
[0132] 圖3是本發(fā)明視頻去霧方法中譜聚類分割的流程圖；
[0133] 圖4是本發(fā)明視頻去霧方法中基于幀差法估計運動目標區(qū)域的流程圖；
[0134] 圖5是本發(fā)明視頻去霧方法中空間一致性估計透射率的流程圖；
[0135] 圖6是本發(fā)明視頻去霧方法中時空一致性估計透射率的流程圖；
[0136] 圖7是本發(fā)明視頻去霧方法中運動目標估計透射率的流程圖。
【具體實施方式】
[0137] 下面結合附圖和【具體實施方式】對本發(fā)明進行詳細說明。
[0138] 本發(fā)明一種基于譜聚類的視頻去霧方法，流程圖如圖1所示，具體按照以下步驟實 施：
[0139] 步驟1:攝像頭采集有霧視頻，該視頻序列|/纟=丨作為去霧的輸 入，其中Hif分別為圖像Ik的RGB顏色空間三個通道值，圖像大小為width Xheight。
[0140] 步驟2:判斷步驟1中采集到的當前幀圖像Ik是否為視頻的第一幀圖像，如果是， 轉入步驟3;否則轉入步驟4。
[0141] 步驟3:對第一幀圖像^估計全局大氣光A，然后對第一幀圖像h應用譜聚類算法進 行類分割，得到m類場景目標{(：1，(： 2，~(^}，最后對111類場景目標{(：1，(：2，~(^}建立空間一致 性透射率模型，計算各個類Q，i = 1，2，…，m的透射率，根據(jù)像素所在的類別得到對應像 素的透射率tH^y)，其中（x，y)為像素所在圖像位置，具體為：
[0142] 步驟3.1:根據(jù)最亮色值的四叉樹細分的遞歸計算方法計算全局大氣光A，流程如 圖2所示，具體為：
[0143] 步驟3.1.1:輸入視頻圖像rn(初始值為第一幀圖像h，sprn=ω，計算該圖像的 面積Ii_Area，Ii_Area=width*height，其中width和height分別表示圖像的寬和高。設定面 積閾值T = 200，若I^Area>T，則將當前圖像均分成四個子區(qū)域11，i = 1，2，3，4，轉入步驟 3.1.2，否則將當前圖像記作Iuend并轉入步驟3.1.4;
[0144] 步驟3.1.2:分別求出步驟3.1.1中四個子區(qū)域I1的三顏色通道的像素均值 和標準差K的差值的累加和IU 1:
[0145] ⑴
[0146] (.2)
[0147] (.3)
[0148] 其中，ce {r，g，b}，/]為第i子區(qū)域中某個像素的某一顏色通道的值，mean( ·)為 某一顏色通道的像素均值，std( ·)為某一顏色通道的像素標準差。
[0149] 步驟3.1.3:選取1?_11中的最大值11_1^叉 ：
[0150] Ii_max=max(R_Ii) (4)
[0151]其中，max( ·)代表求最大值；
[0152]將該最大值Pjnax對應的子區(qū)域作為輸入圖像Ιιη，返回步驟3.1.1進行遞歸搜索。 [0153 ] 步驟3.1.4:計算圖像I i_end中每個像素點的顏色向量(I i_endr，I i_endg，I I_endb) 和白色向量（255,255,255)的距離Iuend^:
[0154]
.(5)
[0155] 其中，Ii_endc為圖像Ii_end中某一個像素點的某一個顏色通道的值；
[0156] 將最接近白色的像素點也就是I^end^值最小時對應的顏色向量（IienU^ end'g，Ii_end'b)作為全局大氣光，即A=(Ii_end'r，Ii_end' g，Ii_end'b)。
[0157] 步驟3.2:譜聚類分割的流程圖如圖3所示，具體為：
[0158]步驟3.2.1:對視頻的第一幀圖像進行下采樣，得到下采樣圖像Ihh-圖像的寬 和高分別為W_ = width/si，H_ = height/s2，si和S2為下采樣率，取si = width/320，S2 = height/240。對Ii-提取YUV顏色空間的Y分量圖/f_，作為譜聚類的輸入圖像，聚類個數(shù) 初始化為m，m的取值可根據(jù)場景內容調整。
[0159] 步驟3.2.2:將圖像<_映射為一幅帶權無向圖G(V，W)，該無向圖中的每一個節(jié)點 Vn，n= 1，2，…，W_XH_對應/f_ 中的每一個像素 pn，n= 1，2，…，W_XH_。無向圖G(V，W)的NXN 鄰接矩陣記為W，其中N=W_XH_。鄰接矩陣W中的元素代表像素對(Pl，Pj)之間的相似度， 該相似度定義為特征相似指數(shù)函數(shù)和空間鄰近指數(shù)函數(shù)的乘積為：
[0160] (6)
[0161] 其中，F(xiàn)(i)表示/f_中像素 Pl的亮度特征向量，X(i)表示像素?1在圖像/&中的空間 位置，〇1和~分別用來調節(jié)兩部分相似度函數(shù)所占的比例，一般〇1 = 0.3,〇x=0.7;
[0162] 步驟3.2.3:由鄰接矩陣W求對角矩陣D和拉普拉斯矩陣L:
[0163]
(7)
[0164] L = D-ff (8)
[0165] 歸一化L得到歸一化的拉普拉斯矩陣Lncir:
[0166] Ln〇r = D-1/2LD-1/2 = I_D-1/2WD-1/2 (9)
[0167] 其中矩陣I、D、L和Lmr維數(shù)都為N X N，I為單位矩陣。
[0168] 步驟3.2.4:將歸一化后的拉普拉斯矩陣Ln〇r進行奇異值分解，選取前m個特征值對 應的特征向量Hi = (hu，h2i，…，hNi Y，i = 1，2，…，m，將m個特征向量Hi按列排列組成N X m特 征矩陣H，該矩陣的每一行元素代表一個分類的樣本，即對應<_中的一個像素。
[0169] 步驟3.2.5:對特征矩陣Η進行K-均值聚類，得到m個m維的聚類中心Vi = (vi，V2，… Vm) ? i - 1，2，' · ·，Π 1 〇
[0170] 步驟3.2.6:把特征矩陣Η的每一行元素按聚類中心Vi進行矢量量化，得到每一行 元素所屬的類，因為每一個像素對應一行元素，從而得到每一個像素所屬的類別，由此得到 圖像/f_的譜聚類分割矩陣S m，矩陣的大小為W_XH_，各場景類別記為
[0171] 步驟3.3 :對m類場景目標{Q，C2，···(：》}建立空間一致性透射率模型，計算各個類 Q，i = 1，2，…，m的透射率&，流程如圖5所示，具體為：
[0172] 步驟3.3.1:輸入第一幀有霧視頻圖像h和譜聚類分割矩陣Sm;
[0173] 步驟3.3.2:將圖像11下采樣，記為11-，1 1-圖像的寬和高分別為1_=?丨(1也/81，!1_ = 1^81^/82,81和82為下采樣率，取81='\^(^11/320,82 = 1^81^/240，對11-提?。?^顏色空間 的Y分量圖//!;
[0174] 步驟3.3.3:初始化譜聚類類數(shù)計數(shù)器i = 0;
[0175] 步驟3.3.4:構造/f_中第i個場景G(即第i類像素)基于空間一致性的去霧總代價 函數(shù)：
[0176] 步驟3.3.4.1:空間一致性透射率模型的建立
[0177] 對視頻序列中的一幀圖像而言，去霧處理應該保證場景中各類目標(對象）的空間 一致性，即同一目標的透射率取值應該相同，不同目標的透射率取值應該不同。故，根據(jù)譜 聚類的結果，對中的m類場景目標{&，(：2，一(^}，建立基于類的空間一致性透射模型，即 要計算m個透射率，設置每個類對應的透射率初始值為0.3。為了方便起見，用t代替&。
[0178] 步驟3.3.4.2:建立對比度代價函數(shù)
[0179] 通常情況下，同一圖像區(qū)域，相對無霧條件，在有霧條件下的顏色對比度更低。通 過去霧外理Μ以搵高圖僮的對比麼·根據(jù)去霧模型：
[0180]
(10)
[0181 ] 建立如下的去霧對比度代價函數(shù)E_trast:
[0182]
C11)
[0183] 其中，A為大氣光，k表示視頻幀數(shù)，Y表示YUV色彩空間的Y分量，Jk(p)表示去霧后 的圖像，Ik(p)表示有霧圖像，及表示圖像的均值，J表示圖像/ib)的均值，像素 pe Ci，焉是Ci類中的像素點個
是MSE評價指標，在這里表示對比度。
[0184]步驟3.3.4.3:建立信息損失代價函數(shù)
[0185] 步驟3.3.4.2中的去霧模型可看作斜率為l/t(t為透射率)的一條直線，輸入Ik(p) 的像素值范圍為[0,255]，輸出Jk(p)的像素值范圍記為[α，β]，由于OStCL，貝ljl/t彡1，[α, β]可能會超出[0,255]的范圍，在這種情況下，下溢像素值將被截斷為0,上溢的像素值將被 截斷為255,這種強行截斷會造成一定的信息損失。定義截斷像素值的平方和為信息損失代 價函數(shù)Eloss，如下式：
[0186]
( 12)
[0187] 步驟3.3.4.4:建立空間一致性的去霧總代價函數(shù)
[0188] 去霧處理的目的不僅要提高對比度，也要最大限度地減少信息損失，故，建立總代 價函數(shù)E%
[0189] EC = Econtrast+ALEloss (13)
[0190] 其中：是一個常數(shù)，用來調節(jié)代價函數(shù)中對比度代價函數(shù)和信息損失代價函數(shù) 的比重。經(jīng)驗取值為k = 5.0。
[0191 ]步驟3.3.5:估計第i個場景G (即第i類像素)的透射率
[0192] 步驟3.3.5.1:初始化透射率t = 0.3，初始化代價函數(shù)Ec:的最小時值f c〇stmin = 卩1^_嫩乂^1^_1^乂 = 3.402823466*1038為丨1〇3丨型數(shù)據(jù)的最大值，初始化理想透射率《)??^ =t；
[0193] 步驟3.3.5.2:計算當前t下，代價函數(shù)EC:的值f cost;
[0194] 步驟3.3.5.3:判斷;1^(3〇81:^^(3〇81：1^11是否為真，若為真，貝11令;^(3〇81：1^11 = ;^(3〇81:， fOptTrs = t，然后進入步驟3.3.5.4，反之則直接進入步驟3.3.5.4;
[0195] 步驟3.3.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟3.3.5.2,循環(huán)步 驟3.3.5.2~3.3.5.4,直到t < 1為假，跳轉至步驟3.3.5.5;
[0196] 步驟3.3.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到靜止 場景類別匕的透射率& = ;
[0197] 步驟3.3.6:令i = i+1，判斷i <m是否為真，若為真，返回步驟3.3.4，迭代法計算每 一類像素對應的透射率，反之得到各個類Q，i = 1，2，…，m的透射率根據(jù)像素所在的類 別得到對應像素的透射率tH^y)，其中（x，y)為像素所在圖像位置。
[0198] 步驟4:基于幀差法估計運動目標區(qū)域，流程如圖4所示，首先，輸入前后兩幀視頻 圖像Ik-dPIk，計算它們的差值圖Dk，然后設置閾值為100,將D k二值化，得到D'k，對D'k進行核 大小為3X3的中值濾波和一次膨脹，消除小的噪聲和不連續(xù)的孔洞，得到R k，最后求取Rk的 連通域的輪廓，并設定面積閾值為900,將小于該面積的輪廓剔除。最終得到NumOutline個 輪廓，對應得到運動目標區(qū)域〇b jrh，rh = 1，2，…，NumOut 1 ine。對視頻從第二幀開始的圖像 建立靜態(tài)背景和運動目標透射率模型，估計透射率。
[0199] 步驟4.1:對從第二幀開始的視頻圖像，根據(jù)其在第一幀圖像對應位置的場景類別 G，i = 1，2，…，m，建立時空一致性透射率模型，計算得到各個場景類別G的透射率&，根據(jù) 像素所在的類別得到對應像素的透射，流程如圖6所示，具體為：
[0200] 步驟4.1.1:輸入相鄰兩幀視頻圖像Ik-jPIk，輸入第k-Ι幀的透射率tH(X，y)，輸 入譜聚類分割矩陣S m;
[0201] 步驟4.1.2:將圖像115-1和115下采樣，記為11 {-1-和11{-，圖像的寬和高分別為胃_ = width/si，H_=height/s2, si和 S2為下米樣率，取si =width/320，s2 = height/240，對 Ik-1-和 Ik-提取YUV顏色空間的Y分量圖/|Μ_和;
[0202] 步驟4.1.3:初始化譜聚類類數(shù)計數(shù)器i = 0;
[0203] 步驟4.1.4:構造中第i個場景Q(即第i類像素)基于時空一致性的靜態(tài)背景透 射率模型：
[0204]步驟4.1.4.1:靜態(tài)透射率模型的建立
[0205]在視頻中，除了幀內的空間一致性之外，還具有幀間的時間連續(xù)性，即相鄰兩幀之 間相同目標具有相似的透射率，反之不同。故，對Ik進行下采樣，得到下采樣圖像Ik-，對Ik-提 取YUV顏色空間的Y分量圖<_，裉據(jù)譜聚類的結果，對/f_中的m類場景目標{&，C 2，…Cm}，建 立基于類的時空一致性透射模型，即要計算m個透射率，設置每個類對應的透射率初始值 為0.3。為了方便起見，用t代替<。
[0206] 步驟4.1.4.2 :時間代價函數(shù)的建立
[0207] 假設相鄰兩幀圖像同一個場景點的亮度信息是相同的，則：
[0208]
(14)
[0209] 其中k表示視頻幀數(shù)，⑷表示去霧后圖像的Y分量值，像素 pec,，假設當前幀透 射率tk(p)和前一幀相同位置的透射率tk-l(P)之間的關系如下式：
[0210] tk(p) = Tk(p)tk-i(p) (15)
[0211] 根據(jù)公式（10)和（14)可得公式（16)，Tk(p)是時間相關性參數(shù)，隨著霧大小的變化 會影響透射率的取值，為：
[0212]
(16)
[0213]其中/,丨〇?)和⑶表示前后兩幀有霧圖像的Y分量值，在公式（15)中比較了相鄰 兩幀同一位置處的透射率關系，即便是靜態(tài)背景，同一位置處的亮度也有可能發(fā)生一定的 變化，用一個簡單的概率模型來表示相鄰幀之間圖像的差異，如下式所示：
[0214]
(17)
[0215] 其中，〇控制著此概率模型的變化，我們按照經(jīng)驗〇 = 10,然后定義圖像一個譜聚類 分割類Ci中的時間相關性參數(shù)為：
[0216]
:(1.8)
[0217] 對每一個圖像類都定義一個時間相關性代價，這個代價為前一幀和當前幀的透射 率的平方差，但前一幀的透射率t值，需要乘上一個相關性參數(shù)$。
[0218] 最終，定義時間相關性代價函數(shù)￡^^"/為：
[0219]
( 19)
[0220] 其中，崎=I ，冗為權重系數(shù)，代表兩幀之間相同類的相似度。 p^Ci
[0221 ]步驟4.1.4.3:建立時空一致性的去霧總代價函數(shù)
[0222] 對靜態(tài)背景建立的透射率模型基于時空一致性的，即既要保證幀內圖像的空間一 致性，也要保證幀間圖像的時間連續(xù)性，因而靜態(tài)背景透射率模型E s為：
[0223]
(20)
[0224] λτ為時間相關代價函數(shù)的權重系數(shù)，同時考慮到三部分代價函數(shù)的數(shù)量級，一般 設置 λτ= 255*255。
[0225] 步驟4 · 1 · 5:估計對應的透射率，具體步驟如下：
[0226] 步驟4.1.5.1 :初始化透射率t = 0.3,初始化代價函數(shù)Es的最小值f c〇stmin = FLT_ 嫩父^1^_嫩乂 = 3.402823466*1038為^〇&丨型數(shù)據(jù)的最大值，初始化理想透射率《)?丨1^8 =扒
[0227] 步驟4.1.5.2:計算在當前t和前一幀透射率圖tk-1(X， y)條件下，代價函數(shù)Es的值f· cost;
[0228] 步驟4.1.5.3:判斷;1^(3〇81:^^(3〇81：1^11是否為真，若為真，貝11令;^(3〇81：1^11 = ;^(3〇81:， fOptTrs = t，然后進入步驟4.1.5.4，反之則直接進入步驟4.1.5.4;
[0229] 步驟4.1.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟4.1.5.2,循環(huán)步 驟4.1.5.2~步驟4.1.5.4,直到t<l為假，跳轉至步驟4.1.5.5;
[0230] 步驟4.1.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到靜止 場景類別(^的透射率=/〇廣7>.V ;
[0231 ] 步驟4.1.6:令i = i+l，判斷i<m是否為真，若為真，返回步驟4.1.4,迭代法計算每 一類像素對應的透射率，反之得到各個類G，i = 1，2，…，m的透射率，根據(jù)像素所在的類 另幡到對應像素的透射率&其中（x，y)為像素所在圖像位置。
[0232] 步驟4.2:對從第二幀開始的視頻圖像的運動目標建立運動目標透射率模型，計算 得到各個目標〇b jrh的透射率衫物&,根據(jù)運動目標區(qū)域更新對應區(qū)域處的像素透 射率，得到當前幀每個像素最終的透射率t k(x，y)，流程如圖7所示，具體為：
[0233] 步驟4.2.1:輸入相鄰兩幀圖像/|+和/|1、第1^1幀的透射率#1&， 7)、/|_幀的 運動目標集合.rh = 1，2，…，NumOut 1 ine;
[0234] 步驟4.2.2:初始化運動目標數(shù)目j = 0;
[0235] 步驟4.2.3:采用經(jīng)典的塊匹配算法，獲取/|1中第j個運動目標在前一幀圖像 中的對應區(qū)域^
[0236] 步驟4.2.4:構造中第j個運動目標基于時空一致性的透射率模型
[0237] 前面討論的靜態(tài)背景透射率模型，是基于相鄰兩幀之間相同類同一位置處的透射 率是相似的這一假設的，但是這一假設對于運動目標是不成立的，因為運動目標在相鄰幀 之間并不在同一個類中，因此，基于幀差法獲取每幀圖像運動目標的位置〇bj rh，rh = l， 2，…，NumOut 1 ine，Ob jrh = (X，y，w，h)代表運動目標所在的矩形區(qū)域，進而定義運動目標的 時間連續(xù)性代價函數(shù)為：
[0238]
(21):
[0239] 其中：tk代表當前幀運動目標的透射率，匕i代表運動目標在前一幀圖像中對 應區(qū)域()/義,1的透射率，?代表目標在相鄰兩幀圖像中的亮度相似性;最后，定義運動目標 的透射率模型為：
[0240] - - "
" (22)
[0241] 步驟4.2.5:估計中運動目標區(qū)域對應的透射率，具體步驟如下：
[0242] 步驟4 · 2 · 5 · 1 :初始化透射率t = 0 · 3，初始化代價函數(shù)E°的最小值f c〇stmin = FLT_ 嫩父^1^_嫩乂 = 3.402823466*1038為^〇&丨型數(shù)據(jù)的最大值，初始化理想透射率《)?丨1^8 =扒
[0243] 步驟4.2.5.2:計算在當前t和前一幀透射率圖tHUj)條件下，代價函數(shù)E°的值f cost;
[0244] 步驟4.2.5.3:判斷;1^(3〇81:^^(3〇81：1^11是否為真，若為真，則令;^(3〇81：1^11 = ;^(3〇81:， fOptTrs = t，然后進入步驟4.2.5.4，反之則直接進入步驟4.2.5.4;
[0245] 步驟4.2.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟4.2.5.2,循環(huán)步 驟4.2.5.2~步驟4.2.5.4,直到t<l為假，跳轉至步驟4.2.5.5;
[0246] 步驟4.2.5.5:得到f cost的最小值f costmin對應的透射率fOptTrs，即得到運動 目標區(qū)域將0?的透射率，= ./〇/〃7'r.s ;
[0247] 步驟4.2.6:令」=」+1，判斷」<燦111〇111:1;[116是否為真，若為真，返回步驟4.2.4，迭 代法計算每一個運動目標對應的透射率，反之得到每個運動目標= 1，2，…， NumOutline的透射率，根據(jù)像素所在的運動目標區(qū)域，更新對應位置處的透 射率，最終得到第k幀的透射率tk(x，y)。
[0248] 步驟5:根據(jù)估計到的全局大氣光和透射率，恢復一幀圖像，具體操作如下：
[0249] 步驟5.1:將得到的第k幀圖像大小為W_XH_的透射率圖tk(x，y)進行上采樣，得到 大小為width Xheight的透射率圖tk+(x，y)，width=W_X si，height = H_X S2，si和S2為上采 樣率。再使用經(jīng)典的導向濾波方法將該透射率圖進行細化，得到細化后的透射率圖I_tk(x， y)；
[0250] 步驟5.2:利用得到的細化后的第k幀圖像透射率圖I_tk(x，y)和估計到的大氣光A = (I_end'r，I_end'g，I_end' b)，基于如下式所示的霧天圖像退化模型，恢復一幀視頻圖像 中每一個像素：
[0251]
(23)
[0252] 其中：Ce(r，g，b)，表示三顏色通道，透射率t則為I_t k (X，y)中對應位置處的值。
[0253] 步驟5.3:將恢復后的一幀圖像寫入視頻文件，并判斷視頻是否結束，若沒有，繼續(xù) 估計下一幀參數(shù)，恢復圖像，反之則輸出恢復后的視頻序列。
【主權項】
1. 一種基于譜聚類的視頻去霧方法，其特征在于，具體按照以下步驟實施： 步驟1:攝像頭采集有霧視頻，該視頻序列卜= 作為去霧的輸入， 其中分別為圖像I1^RGB顏色空間三個通道值，圖像大小為width Xheight; 步驟2:判斷步驟1中采集到的當前幀圖像Ik是否為視頻的第一幀圖像I1，如果是，轉入 步驟3;否則轉入步驟4; 步驟3:對對第一幀圖像^估計全局大氣光A、譜聚類分割，并計算各個類的透射率； 步驟3.1:對第一幀圖像^估計全局大氣光A; 步驟3.2:對第一幀圖像I1進行譜聚類分割； 步驟3.3:計算各個類的透射率，根據(jù)像素所在的類別得到對應像素的透射率； 步驟4:對從第二幀開始的視頻圖像估計透射率； 步驟5:根據(jù)估計到的全局大氣光和透射率，恢復一幀圖像。2. 根據(jù)權利要求1所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟3.1 具體為： 步驟3.1.1:輸入視頻圖像Iin，初始值為第一幀圖像I1, 即Iin = I1，計算該圖像的面積 Iin_Area，Iin_Area = width*height，其中width和height分別表示圖像的寬和高，設定面積 閾值T，若Iin_Area >T，則將當前圖像均分成四個子區(qū)域11，i = 1，2，3，4，轉入步驟3.1.2，否 則將當前圖像記作Ii_end并轉入步驟3.1.4; 步驟3.1.2:分別求出步驟3.1.1中四個子區(qū)域I1的三顏色通道的像素均值和標 準差沒的差值的累加和^1:其中，ce{r，g，b}，/)為第i子區(qū)域中某個像素的某一顏色通道的值，mean( ·)為某一顏 色通道的像素均值，std( ·)為某一顏色通道的像素標準差； 步驟3.1.3:選取R_11中的最大值I iJiiax: I1_max=max(R_I1) 其中，max( ·)代表求最大值； 將該最大值I1Jnax對應的子區(qū)域作為輸入圖像Iin，返回步驟3.1.1進行遞歸搜索； 步驟3.1.4:計算圖像Ii_end中每個像素點的顏色向量（Ii_endr: Ii_endg: Ii_endb)和白 色向量（255,255,255)的距離11_611(1&:其中，I i_end。為圖像I i_end中某一個像素點的某一個顏色通道的值； 將最接近白色的像素點也就是Ii_endDis值最小時對應的顏色向量(Iuend'rJuend'g， Ii_end'b)作為全局大氣光，即A= (Ii_end'r，Ii_end'g, Ii_end'b)。3. 根據(jù)權利要求1所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟3.2 具體為： 步驟3.2.1:對視頻的第一幀圖像I1進行下采樣，得到下采樣圖像I1-, I1-圖像的寬和高 分別為W-=width/si，H-= 1^8111:/82,81和82為下采樣率，對11-提?。と侯伾臻g的￥分量圖 Z11I，作為譜聚類的輸入圖像，聚類個數(shù)初始化為m; 步驟3.2.2:將圖像映射為一幅帶權無向圖G(V，W)，該無向圖中的每一個節(jié)點Vn，n = 1，2，-_，1\1對應/111中的每一個像素?11，11=1，2，-_，1\!1-，無向圖6(￥，1)的~\~鄰接矩 陣記為W，其中N = W-XH-,鄰接矩陣W中的元素^代表像素對(Pl，Pj)之間的相似度，該相似 度Wlj定義為特征相似指數(shù)函數(shù)和空間鄰近指數(shù)函數(shù)的乘積為：其中，F(xiàn)⑴表示^中像素 Pl的亮度特征向量，X(i)表示像素?1在圖像 < 中的空間位置， σ#Ρσχ分別用來調節(jié)兩部分相似度函數(shù)所占的比例； 步驟3.2.3:由鄰接矩陣W求對角矩陣D和拉普拉斯矩陣L:L = D-W 歸一化L得到歸一化的拉普拉斯矩陣Lncir: Lnor = D-1/2LD-1/2= I-D-1/2WD-1/2 其中矩陣I、D、L和Lncjr維數(shù)都為N X N，I為單位矩陣； 步驟3.2.4:將歸一化后的拉普拉斯矩陣Lncir進行奇異值分解，選取前m個特征值對應的 特征向量Hi = (hu，，…，hNi)'，i = 1，2，…，m，將m個特征向量Hi按列排列組成N X m特征矩 陣H，該矩陣的每一行元素代表一個分類的樣本，即對應/f_中的一個像素； 步驟3.2.5:對特征矩陣H進行K-均值聚類，得到m個m維的聚類中心Vi = (Vi，V2，…vm)，i = l，2，."，m; 步驟3.2.6:把特征矩陣H的每一行元素按聚類中心Vi進行矢量量化，得到每一行元素所 屬的類，因為每一個像素對應一行元素，從而得到每一個像素所屬的類別，由此得到圖像 的譜聚類分割矩陣S'矩陣的大小為W-XH-，各場景類別記為IC1,CvCJ。4. 根據(jù)權利要求3所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟3.3 具體為： 步驟3.3.1:輸入第一幀有霧視頻圖像I1和譜聚類分割矩陣Sm; 步驟3.3.2 :將圖像Ii下采樣，記為Ii-，Ii-圖像的寬和高分別為W- = width/si，H- = height/S2，SdPS2為下采樣率，對I1-提取YUV顏色空間的Y分量圖/f_. ; 步驟3.3.3:初始化譜聚類類數(shù)計數(shù)器i = O; 步驟3.3.4:構造:/f_中第i個場景C1即第i類像素基于空間一致性的去霧總代價函數(shù) E -Econtrast+^LEloss 其中Al是一個常數(shù)， Econtrast為去霧對比度代價函數(shù)為：其中，A為大氣光，k表示視頻幀數(shù)，Jk(p)表示去霧后的圖像，./f (P)表示去霧后圖像的Y 分量值，Ik(P)表示有霧圖像，? (P)表示有霧圖像的Y分量值，表示圖像/fb)的均值， 表示圖像^㈨的均值，像素 PeC1, 乂是匕類中的像素點個數(shù)，t表示透射率； 步驟3.3.5:估計第i個場景C1即第i類像素的透射率 步驟3.3.5.1 :初始化透射率t = 0.3，初始化代價函數(shù)Ec:的最小時值f c〇stmin=FLT_MAX， FLT_MAX為float型數(shù)據(jù)的最大值，初始化理想透射率fOptTrs = t; 步驟3.3.5.2:計算當前t下，代價函數(shù)EC:的值f cost; 步驟3 · 3 · 5 · 3 :判斷f cost Sfcostmin是否為真，若為真，則令f COStmin = f cost，f OptTrs =t，然后進入步驟3.3.5.4，反之則直接進入步驟3.3.5.4; 步驟3.3.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟3.3.5.2,若為假，跳 轉至步驟3.3.5.5; 步驟3.3.5.5:得到f cost的最小值f COStmin對應的透射率fOptTrs，即得到靜止場景類 另UC1的透射 步驟3.3.6:令i = i + l，判斷i<m是否為真，若為真，返回步驟3.3.4,若為假，則得到各 個類C1，i = 1，2，…，m的透射率&，根據(jù)像素所在的類別得到對應像素的透射率PU，y)，其 中（x，y)為像素所在圖像位置。5.根據(jù)權利要求3所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟4具 體為： 基于幀差法估計運動目標區(qū)域，首先，輸入前后兩幀視頻圖像Ik-dPIk，計算它們的差值 圖Dk，然后設置閾值，將Dk二值化，得到D'k，對D'k進行形態(tài)學濾波處理，得到R k，最后對Rk進 行連通性分析，獲取連通域的輪廓，根據(jù)輪廓個數(shù)NumOut I ine得到運動目標區(qū)域Objrh，rh = 1,2,**· ,NumOutline； 步驟4.1:對從第二幀開始的視頻圖像，根據(jù)其在第一幀圖像對應位置的場景類別Chi =1，2，…，m，建立時空一致性透射率模型，計算得到各個場景類別(^的透射率^，根據(jù)像素 所在的類別得到對應像素的透射率; 步驟4.2:對從第二幀開始的視頻圖像的運動目標建立運動目標透射率模型，計算得到 各個目標Objrh的透射率衫衫續(xù)，根據(jù)運動目標區(qū)域更新&對應區(qū)域處的像素透射率， 得到當前幀每個像素最終的透射率tk(X，y)。6.根據(jù)權利要求5所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟4.1 具體為： 步驟4.1.1:輸入相鄰兩幀視頻圖像和Ik，輸入第k-Ι幀的透射率tk4(x，y)，輸入譜聚 類分割矩陣Sm; 步驟4.1.2:將圖像Ik-1和Ik下采樣，記為Ik-1-和Ik-，圖像的寬和高分別為W-=width/S1， H-= height/S2，SdPS2為下采樣率，對Ik-和Ik-提取YUV顏色空間的Y分量圖/【卜和/^!; 步驟4.1.3:初始化譜聚類類數(shù)計數(shù)器i = 0; 步驟4.1.4:構造中第i個場景C1即第i類像素基于時空一致性的靜態(tài)背景透射率模 型Fs,其中，％為權重系數(shù)tk(p)=Tk(p)tk-l(p) 其中，Y表示YUV色彩：￡ I日」的Y甘重，A73m亢，〇73'吊'雙，k衣不恍頻幀數(shù)，tk(P)為當前幀 像素點P處的透射率，Tk(p)是時間相關性參數(shù)，為圖像一個譜聚類分割類C1中的時間相關 性參數(shù)，Ik(P)表示有霧圖像Jk(P)表示去霧后的圖像，萬表示圖像/『(;>)的均值，表示圖 像//f㈦的均值，像素 PeC1,'是C1類中的像素點個數(shù)，t表示透射率，c〇k(p)為表示相鄰幀 之間圖像差異的概率值； 步驟4.1.5:估計/|1對應的透射率 步驟4.1.5.1 :初始化透射率t = 0.3，初始化代價函數(shù)Es的最小值f c〇stmin = FLT_MAX， FLT_MAX為float型數(shù)據(jù)的最大值，初始化理想透射率fOptTrs = t; 步驟4.1.5.2:計算在當前t和前一幀透射率圖tk4(x，y)條件下代價函數(shù)Es的值f cost; 步驟4.1 · 5 · 3 :判斷 fcostsfcostmin 是否為真，若為真，則令fc〇Stmin = fc〇St，fOptTrS =t，然后進入步驟4.1.5.4，反之則直接進入步驟4.1.5.4; 步驟4.1.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟4.1.5.2,若為假，跳 轉至步驟4.1.5.5; 步驟4.1.5.5:得到f cost的最小值f COStmin對應的透射率fOptTrs，即得到靜止場景類 別 Ci 的透射率 = ./〇/^7>·.ν ; 步驟4.1.6:令i = i + l，判斷i<m是否為真，若為真，返回步驟4.1.4,若為假，則得到各 個類C1，i = 1，2，…，m的透射率&，根據(jù)像素所在的類別得到對應像素的透射率， 其中（x，y)為像素所在圖像位置。7.根據(jù)權利要求5所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟4.2 具體為： 步驟4.2.1:輸入相鄰兩幀圖像<_1_和/]：_、第1^1幀的透射率#1(^ 7)、^_幀的運動目 標集合保在,rh = 1，2，…，NumOutline; 步驟4.2.2:初始化運動目標數(shù)目j = 0; 步驟4.2.3:利用塊匹配算法，獲取/|1中第j個運動目標在前一幀圖像中的對應區(qū) 域 1;其中：A為大氣光，k表不視頻幀數(shù)，Y表不YUV色彩空間的Y分量，Jk(P)表不去霧后的圖 像，Ik(P)表示有霧圖像，Jf表示圖像4(4的均值，盡表示圖像的均值，像素 PeC1, 凡;是Ci類中的像素點個數(shù)，t表示透射率，tk代表當前幀運動目標的透射率，_C:i、代表運 動目標在前一幀圖像中對應區(qū)域的透射率，?代表目標在相鄰兩幀圖像中的亮度相 似性； 步驟4.2.5:估計if_中運動目標區(qū)域對應的透射率 步驟4.2.5.1 :初始化透射率t = 0.3，初始化代價函數(shù)E%最小值f c〇stmin = FLT_MAX， FLT_MAX為float型數(shù)據(jù)的最大值，初始化理想透射率fOptTrs = t; 步驟4.2.5.2:計算在當前t和前一幀透射率圖tk4(x，y)條件下，代價函數(shù)E°的值f cost; 步驟4.2 · 5 · 3:判斷fcostSfcostmin是否為真，若為真，則令fcostmin = fcost，fOptTrs =t，然后進入步驟4.2.5.4，反之則直接進入步驟4.2.5.4; 步驟4.2.5.4:令t = t+0.1，判斷t<l是否為真，若為真，返回步驟4.2.5.2,若為假，跳 轉至步驟4.2.5.5; 步驟4.2.5.5:得到f cost的最小值f COStmin對應的透射率fOptTrs，即得到運動目標區(qū) 域將的透射率，= ; 步驟4.2.6:令j = j+1，判斷j<NumOutline是否為真，若為真，返回步驟4.2.4，若為假， 則得到每個運動目標C%_^,：rh= 1，2，…,NumOutline的透射率，根據(jù)像素所在的運動目 標區(qū)域，更新對應位置處的透射率，最終得到第k幀的透射率tk(x，y)。8.根據(jù)權利要求6或7所述的一種基于譜聚類的視頻去霧方法，其特征在于，所述步驟5 具體為： 步驟5.1:將得到的第k幀圖像大小為W-XH-的透射率圖tk(x，y)進行上采樣，得到大小 為《^(11：11\11618111：的透射率圖1>+(1，5〇，《^(11：11 = ￥-\81，116181^ = !1-\82,81和82為上采樣率， 再使用導向濾波方法將該透射率圖進行細化，得到細化后的透射率圖I_tk( X，y); 步驟5.2:利用得到的細化后的第神貞圖像透射率圖1_#(1，7)和估計到的大氣光4=(1_ end ' r，I_end ' g，I_end ' b)，基于如下式所示的霧天圖像退化模型，恢復一幀視頻圖像中每一 個像素：其中：ce(r，g，b)，表示三顏色通道，透射率t則為I_tk (X，y)中對應位置處的值； 步驟5.3:將恢復后的一幀圖像寫入視頻文件，并判斷視頻是否結束，若沒有，繼續(xù)估計 下一幀參數(shù)，恢復圖像，反之則輸出恢復后的視頻序列。
【文檔編號】G06T5/00GK105898111SQ201610298894
【公開日】2016年8月24日
【申請日】2016年5月6日
【發(fā)明人】趙凡, 姚早, 伊璐, 姚怡, 宋曉芳
【申請人】西安理工大學