本發(fā)明主要涉及視頻圖像質(zhì)量診斷領(lǐng)域,特別涉及一種視頻圖像中的雪花噪聲及噪點(diǎn)噪聲異常檢測方法,適用于雪花噪聲和近似均勻分布的噪點(diǎn)噪聲檢測。
背景技術(shù):
隨著視頻監(jiān)控的日益普及,視頻監(jiān)控中出現(xiàn)的異常情況也快速增長。視頻近似均勻分布的噪聲和雪花噪聲就是異常中的兩種,干擾的存在會(huì)嚴(yán)重影響到圖像的可識(shí)別性。甚至完全丟失原有的信息。因此及時(shí)發(fā)現(xiàn)這種異常就顯得尤為重要。顯然在大量的視頻面前人工檢測的方式已不能滿足需求;而且人力投入的成本也越來越高,不便于系統(tǒng)管理。
當(dāng)前雪花噪聲和噪點(diǎn)噪聲的檢測方法有:張偉、傅松林等人在《一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像噪點(diǎn)檢測方法》(專利號(hào):201410215084.0)中提出通過收集樣本圖像并根據(jù)噪點(diǎn)類型進(jìn)行人工標(biāo)注分類,并將這些樣本圖像輸入卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行分類模型的訓(xùn)練,且在分類過程中還將分類錯(cuò)誤的樣本圖像塊收集起來進(jìn)行重新學(xué)習(xí)分類,由此通過人工和機(jī)器配合的方式進(jìn)行標(biāo)注分類噪點(diǎn),最終達(dá)到檢測目的。羅韜、高靜等人在《基于最小局部均方差計(jì)算的噪點(diǎn)檢測方法》(專利號(hào):201510688993.0)中提出一種根據(jù)像素點(diǎn)鄰域內(nèi)局部均方差與去掉本身的局部均方差的差值大小進(jìn)行局部檢測并判斷該點(diǎn)是否為噪聲點(diǎn)的方法。史再峰、周佳慧等人在《基于二次噪點(diǎn)檢測的圖像降噪方法》(專利號(hào):201510757953.7)中提出基于方向信息的自適應(yīng)二次噪聲點(diǎn)檢測方法。萬晨、楊波在《一種基于改進(jìn)的四方向算子視頻噪聲檢測方》(專利號(hào):201210428662.X)中提出按照四方向算子對(duì)圖像進(jìn)行掃描,求出四方向算子中心值的最小值,并記錄保存最小值,進(jìn)而求出該幀圖像中在平滑區(qū)域中的像素點(diǎn)的個(gè)數(shù),最終判斷該幀圖像是否存在噪聲的方法。賀慶、冷斌等人在《一種監(jiān)測監(jiān)控視頻出現(xiàn)雪花噪聲的系統(tǒng)和方法》(201410636977.2)中提出一種基于目標(biāo)圖像信噪比的檢測方法。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足,提供本發(fā)明提出了一種監(jiān)控視頻中的雪花和噪點(diǎn)噪聲檢測方法。首先做差幀處理消除固定背景影響,并進(jìn)行最大類間方差法得到最佳二值化閾值,再使用最佳閾值二值化差幀圖,以突顯干擾特征;其次均分二值圖像為小區(qū)域統(tǒng)計(jì)小區(qū)域中的統(tǒng)計(jì)量;最后通過統(tǒng)計(jì)量的平穩(wěn)性來判斷是否存在雪花噪聲或噪點(diǎn)噪聲的方法。該方法能檢測出含有雪花噪聲或近似均勻分布噪點(diǎn)噪聲的圖像,有較好的適應(yīng)性。
本發(fā)明的技術(shù)方案步驟如下:
步驟1:獲得目標(biāo)視頻,提取視頻的圖像寬與高。
步驟2:提取視頻序列中的圖像幀,并將圖像幀的存儲(chǔ)格式由多通道轉(zhuǎn)化為單通道的灰度圖像存儲(chǔ)格式。
步驟3:將步驟2的灰度格式圖像序列依次做前后幀幀差處理,得到差值圖像序列。
步驟4:將步驟3的差值圖像序列進(jìn)行最大類間方差法處理得到最佳二值化閾值,并用該閾值對(duì)差幀圖進(jìn)行二值化,得到二值化差幀圖。
步驟5:將步驟4的二值化差幀圖進(jìn)行分塊操作,多次分塊的尺度不同。
5-1.在一種分塊尺度下將二值化差幀圖等分為多個(gè)小區(qū)域,并計(jì)算每個(gè)小區(qū)域塊內(nèi)不含連通區(qū)域的小區(qū)域塊個(gè)數(shù)與小區(qū)域塊總個(gè)數(shù)的比值Ⅰ;
5-2.計(jì)算每個(gè)小區(qū)域塊中像素值為1的像素點(diǎn)的個(gè)數(shù)與該小區(qū)域塊面積的比值Ⅱ,用比值Ⅱ構(gòu)成長度為小區(qū)域個(gè)數(shù)的面積比值向量。
5-3.針對(duì)不同的分塊尺度,均計(jì)算得到比值Ⅰ、比值Ⅱ以及面積比值向量。
步驟6:針對(duì)不同的分塊尺度,通過面積比值向量分別計(jì)算其標(biāo)準(zhǔn)差和均值,從而獲取標(biāo)準(zhǔn)差與均值的比值Ⅲ;每種分塊尺度均有其對(duì)應(yīng)的比值Ⅲ;將不同分塊尺度下的比值Ⅲ構(gòu)成比值向量;通過比值向量與不同分塊尺度構(gòu)成的閾值判斷向量比較,判斷該差幀是否存在雪花噪聲或噪點(diǎn)噪聲。
所述的閾值判斷向量為多次實(shí)驗(yàn)所得。
本發(fā)明有益效果如下:
本發(fā)明針對(duì)監(jiān)控視頻中雪花噪聲和噪點(diǎn)噪聲問題,提出了首先通過差幀去除固定背景影響,從而達(dá)到突出雪花噪聲或近似均勻分布噪點(diǎn)噪聲目的;并通過最大類間方差法突顯出干擾噪聲的方式得到便于分析的二值圖像。再次通過統(tǒng)計(jì)樣本的方式得出雪花噪聲和噪點(diǎn)噪聲檢測的判斷閾值。最終達(dá)到檢測雪花噪聲和近似均勻分布噪點(diǎn)噪聲的方法。本發(fā)明基于真實(shí)場景樣本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)確定判斷閾值,雪花噪聲和噪點(diǎn)噪聲檢測率高,實(shí)時(shí)性好。
附圖說明
圖1:總體實(shí)現(xiàn)流程圖;
圖2:統(tǒng)計(jì)判斷閾值圖;
圖3:二值化結(jié)果圖;
圖4:數(shù)據(jù)結(jié)果圖;
圖5:數(shù)據(jù)結(jié)果圖;
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方案做進(jìn)一步更詳細(xì)的敘述。
如圖1-5所示,監(jiān)控視頻中的雪花和噪點(diǎn)噪聲檢測方法,旨在解決監(jiān)控視頻中存在的雪花噪聲和近似均勻分布的噪點(diǎn)噪聲的異常檢測問題。根據(jù)雪花噪聲與噪聲存在時(shí),差幀二值圖像會(huì)有明顯的近似均勻分布的特征,進(jìn)而采用通過計(jì)算數(shù)據(jù)的標(biāo)準(zhǔn)差與均值的比值這一統(tǒng)計(jì)量來判斷數(shù)據(jù)的均勻程度。最后通過統(tǒng)計(jì)樣本的方式得出均勻程度的區(qū)分閾值判斷是否存在雪花噪聲或噪點(diǎn)噪聲。本發(fā)明具體實(shí)現(xiàn)過程如圖1所示,包括如下步驟:
步驟1:提取檢測視頻或視頻流先判斷視頻是否為單通道灰度幀序列,若不是單通道灰度幀序列,將視頻幀轉(zhuǎn)化為單通道灰度圖像,并提取視頻幀的寬度與高度分別記為W、H。
步驟2:對(duì)單通道灰度圖像的序列依次做前后幀幀差處理,得到差值圖像序列。對(duì)差值圖像序列進(jìn)行最大類間方差法處理得到最佳二值化閾值,并用該閾值對(duì)差幀圖進(jìn)行二值化,得到二值化差幀圖。
得到二值化圖像如附圖3。
步驟3:將二值化差幀圖進(jìn)行分塊操作,多次分塊的尺度不同,設(shè)第i種等分尺度后每個(gè)小區(qū)域塊的寬與高的和為Li像素,共采用了N中不同的等分尺度,每種等分尺度下的Li取值為M的i倍,即Li=M*i。其中第i種等分尺度下的小區(qū)域塊的寬、高分別記為:wi、hi。
每種尺度下的等分規(guī)則為:wi=Li*W/(W+H),hi=Li*H/(W+H);
其中W、H分別為原圖的寬與高;M為經(jīng)驗(yàn)值。本實(shí)施例中N取17、M取20。
3-1.在一種分塊尺度下將二值化差幀圖等分為多個(gè)小區(qū)域,并計(jì)算每個(gè)小區(qū)域塊內(nèi)不含連通區(qū)域的小區(qū)域塊個(gè)數(shù)與小區(qū)域塊總個(gè)數(shù)的比值Ⅰ,記為L_counti,
3-2.計(jì)算每個(gè)小區(qū)域塊中像素值為1的像素點(diǎn)的個(gè)數(shù)與該小區(qū)域塊面積的比值Ⅱ,用比值Ⅱ構(gòu)成長度為小區(qū)域個(gè)數(shù)的面積比值向量。其中像素點(diǎn)的個(gè)數(shù)記為S_countikj,比值Ⅱ記為S_countikj/(wi*hi);
3-3.針對(duì)不同的分塊尺度,均計(jì)算得到比值Ⅰ、比值Ⅱ以及面積比值向量,具體計(jì)算公式如下:
公式如下:
其中Sikj為第i中等分尺度下的第(k,j)個(gè)小區(qū)域的面積占比
其中mim為第i種等分尺度下面積占比的均值、Vi為第i種等分尺度下面積占比的方差、Ti為第i種等分尺度標(biāo)準(zhǔn)差與均值的比即均勻性判斷量。
通過該步驟處理得到雪花噪聲與噪點(diǎn)噪聲對(duì)應(yīng)數(shù)據(jù)圖像如附圖4。
步驟4:將均勻性判斷量Ti與L_counti分別與其統(tǒng)計(jì)好的對(duì)應(yīng)的判斷閾值進(jìn)行比較,由于雪花噪聲與噪點(diǎn)噪聲經(jīng)過步驟2處理后其噪聲呈現(xiàn)近似均勻分布。所以得到的標(biāo)準(zhǔn)差與均值之比較小并且得到的無連通區(qū)域的區(qū)域塊個(gè)數(shù)占比也會(huì)非常小或者近似為零?;谶@樣的結(jié)論來判斷是否存在雪花噪聲或噪點(diǎn)噪聲。若Tmin<T2<Tmax、T17<Tt且L_counti<LT時(shí)判定為雪花噪聲,若0<T2<=Tmin、T17<Tt且L_counti<LT時(shí)判定為噪點(diǎn),其它情況判定為無雪花和噪點(diǎn)噪聲。
其中Tmin為分塊尺度為40左右像素時(shí)面積比的判斷閾值下界,Tmax為分塊尺度為圖像寬度與高度之和的八分之一像素時(shí)面積比的判斷閾值上界,LT為比值I的判斷閾值上界;T2為對(duì)應(yīng)Tmin分塊尺度下的均勻性判斷量,T17為對(duì)應(yīng)Tmax分塊尺度下的均勻性判斷量。該實(shí)施例中的Tmin取0.42,Tmax取1,LT取0.06。對(duì)于其它像素大小圖像該實(shí)施例中的判斷閾值依然適用的前提是,取得最小等分塊的寬度和高度之和在20像素左右。
對(duì)附圖2進(jìn)行具體說明:
將事先準(zhǔn)備的多組固定場景下存在雪花噪聲、噪點(diǎn)噪聲以及非這兩組情況的樣本視頻序列用于統(tǒng)計(jì)計(jì)算。樣本分別多次重復(fù)附圖1的具體說明的前三個(gè)步驟,得出三組統(tǒng)計(jì)數(shù)據(jù)。一組為存在雪花噪聲數(shù)據(jù),一組為存在噪點(diǎn)噪聲數(shù)據(jù),另一組為無雪花和噪點(diǎn)情況數(shù)據(jù)。在三者間取可靠區(qū)分閾值,帶入待測樣本檢驗(yàn)。部分對(duì)比結(jié)果見附圖4和圖5。