本公開內(nèi)容涉及背景減除方法，更具體地涉及一種綜合了現(xiàn)有的適應(yīng)性多分辨率背景提?。╝mber）背景減除方法以及利用局部二值相似性模式（lbsp）算子的背景減除方法的優(yōu)點的新型的面向夜間環(huán)境下的背景減除算法。

背景技術(shù)：

背景減除方法是一類將不感興趣的區(qū)域剔除而只將感興趣的前景目標(biāo)保留的目標(biāo)檢測算法的總稱。隨著計算機(jī)視覺的發(fā)展，諸如目標(biāo)跟蹤和目標(biāo)識別等高層次的應(yīng)用逐漸成為某些應(yīng)用場景中最為基本的需求。目標(biāo)檢測是這些高層次計算機(jī)視覺應(yīng)用的基礎(chǔ)，因此有必要探索檢測結(jié)果更加精確、實時性更好、魯棒性更強(qiáng)的背景減除方法，以滿足高層次計算機(jī)視覺應(yīng)用的需求。

在現(xiàn)有技術(shù)中，例如論文“amber:adaptingmulti-resolutionbackgroundextractor，ieeeinternationalconferenceonimageprocessing，icip2013，melbourne，australia”（作者：b.wang和p.dudek）提出了一種適應(yīng)性多分辨率背景提?。╝mber）背景減除方法，該背景減除算法只將像素值作為構(gòu)建模型的唯一依據(jù)，因此當(dāng)該背景減除算法應(yīng)用在前景像素值與背景像素值差別并不大的夜間環(huán)境下時，其檢測結(jié)果自然不會很精確。而論文“subsense：auniversalchangedetectionmethodwithlocaladaptivesensitivity，ieeetransactionsonimageprocessing，vol.24，no.1，january2015（作者：pierre-lucst-charles，g.a.bilodeau，r.bergevin）”雖然將lbsp算子加入到背景模型中，并且在模型更新階段使用了八鄰域空間一致性，但僅僅只在像素分類階段考慮像素間的空間一致性，并且空間一致性的考慮范圍僅僅限定在八鄰域的空間是不足以得到更好的檢測結(jié)果的。更為重要的是，雖然該算法考慮到動態(tài)調(diào)整像素點分類時的閾值及背景模型更新率，但沒有考慮到其他行為類似的像素位置也應(yīng)該一同調(diào)整像素分類閾值及模型更新率。

綜上所述，現(xiàn)有技術(shù)中的背景減除方法應(yīng)用在夜晚環(huán)境下拍攝的視頻序列時，并不能給出效果很好的檢測結(jié)果。

技術(shù)實現(xiàn)要素：

基于上述技術(shù)問題，本公開內(nèi)容期望提出了一種更適合在夜間條件下應(yīng)用的背景減除方法，其能夠針對已有背景減除方法在夜間環(huán)境下對前景感興趣目標(biāo)的檢測結(jié)果并不精確而做出改進(jìn)，從而獲得更好的檢測效果。

依據(jù)根據(jù)本公開內(nèi)容的一個示例性方面，面向夜間環(huán)境下的背景減除算法包括：

接收用于適應(yīng)性多分辨率背景提?。╝mber）的背景模型以及當(dāng)前幀；

利用局部二值相似性模式（lbsp）算子并根據(jù)像素分類閾值將所述當(dāng)前幀的像素位置分類為背景點類和前景點類；

將所述前景點類進(jìn)一步分類為感興趣的目標(biāo)以及閃爍像素；以及

針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和所述背景模型的更新率。

在依據(jù)本公開內(nèi)容的一種實施方式中，利用局部二值相似性模式（lbsp）算子并根據(jù)像素分類閾值將所述當(dāng)前幀的像素分類為背景點類和前景點類進(jìn)一步包括：

當(dāng)所述當(dāng)前幀的像素滿足第一預(yù)定條件并且滿足第二預(yù)定條件時，所述當(dāng)前幀的所述像素被分類為背景點類。

在依據(jù)本公開內(nèi)容的一種實施方式中，利用局部二值相似性模式（lbsp）算子并根據(jù)像素分類閾值將所述當(dāng)前幀的像素分類為背景點類和前景點類進(jìn)一步包括：

當(dāng)所述當(dāng)前幀的像素不滿足第一預(yù)定條件或不滿足第二預(yù)定條件時，所述當(dāng)前幀的所述像素被分類為前景點類。

在依據(jù)本公開內(nèi)容的一種實施方式中，將所述前景點類進(jìn)一步分類為感興趣的目標(biāo)以及閃爍像素進(jìn)一步包括：

當(dāng)所述當(dāng)前幀的所述像素被分類為前景點類并且所述當(dāng)前幀的所述像素不是閃爍像素時，所述當(dāng)前幀的所述像素被分類為感興趣的目標(biāo)；否則

所述當(dāng)前幀的所述像素被分類為閃爍像素。

在依據(jù)本公開內(nèi)容的一種實施方式中，所述背景減除方法還包括：針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和背景模型的更新率，其中，

針對被分類為感興趣的目標(biāo)的像素位置及所述被分類為感興趣的目標(biāo)的像素位置周圍與其具有第一行為相似度的像素位置，以第一幅度降低像素分類閾值和背景模型的更新率；

針對所述被分類為感興趣的目標(biāo)的像素位置周圍與其具有第二行為相似度的像素位置，以第二幅度降低像素分類閾值和背景模型的更新率，其中，所述第一行為相似度高于所述第二行為相似度并且所述第一幅度大于所述第二幅度。

在依據(jù)本公開內(nèi)容的一種實施方式中，針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和背景模型的更新率進(jìn)一步包括：

針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第三行為相似度的像素位置，以第三幅度增大像素分類閾值和所述背景模型的更新率；

針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第四行為相似度的像素位置，以第四幅度增大像素分類閾值和背景模型的更新率，其中，所述第三行為相似度高于所述第四行為相似度并且所述第三幅度大于所述第四幅度。

在依據(jù)本公開內(nèi)容的一種實施方式中，針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第三行為相似度的像素位置，以第三幅度增大像素分類閾值和所述背景模型的更新率進(jìn)一步包括：

當(dāng)被分類為閃爍像素的像素位置經(jīng)過第一預(yù)定次數(shù)的調(diào)整之后仍被分類為閃爍像素時，所述第三幅度依次遞增。

在依據(jù)本公開內(nèi)容的一種實施方式中，當(dāng)被分類為閃爍像素的像素位置經(jīng)過第二預(yù)定次數(shù)的調(diào)整之后仍被分類為閃爍像素時，刪除該像素位置，其中，所述第二預(yù)定次數(shù)多于所述第一預(yù)定次數(shù)。

在依據(jù)本公開內(nèi)容的一種實施方式中，所述閃爍像素的像素位置根據(jù)當(dāng)前幀以及所述當(dāng)前幀的前兩幀進(jìn)行判斷。

在依據(jù)本公開內(nèi)容的一種實施方式中，所述閃爍像素包括：

-全分辨率下的檢測結(jié)果和低分辨率下的檢測結(jié)果之間的差異；

-全分辨率下的檢測結(jié)果和經(jīng)過后處理的全分辨率下的檢測結(jié)果之間的差異；以及

-低分辨率下的檢測結(jié)果和經(jīng)過后處理的低分辨率下的檢測結(jié)果之間的差異。

依據(jù)本公開內(nèi)容的背景減除方法綜合了背景技術(shù)中所提及的兩種背景減除方法的優(yōu)點并克服了它們的不足，利用原amber背景減除方法中的背景模型并將lbsp算子引入像素分類階段，進(jìn)而通過學(xué)習(xí)關(guān)聯(lián)區(qū)域并利用學(xué)習(xí)結(jié)果動態(tài)調(diào)整特定的像素位置及其周邊的像素位置的像素分類閾值及背景模型的更新率，從而使得應(yīng)用在夜間拍攝的視頻序列中時能夠獲得更為精確的檢測結(jié)果。

附圖說明

圖1示出了依據(jù)本公開內(nèi)容的面向夜間環(huán)境下的背景減除算法的流程圖100；

圖2示出了依據(jù)圖1的背景減除方法的方框示意圖200；

圖3示出了針對每個像素位置進(jìn)行分類的方框示意圖300；

圖4示出了針對前景點類的像素位置的像素分類閾值以及背景模型的更新率的動態(tài)學(xué)習(xí)過程的方框示意圖400。

具體實施方式

本公開內(nèi)容所提出的背景減除方法通過學(xué)習(xí)關(guān)聯(lián)區(qū)域并利用學(xué)習(xí)結(jié)果動態(tài)調(diào)整周邊一定范圍內(nèi)像素的像素分類閾值及背景模型的更新率。具體說來，需要動態(tài)調(diào)整的是前景點類，而前景點類按性質(zhì)可分為背景動態(tài)和感興趣的目標(biāo)。在調(diào)整時需要對標(biāo)記為背景動態(tài)的像素位置增大像素分類閾值和背景模型的更新率，而感興趣的目標(biāo)則降低閾值和背景模型的更新率。

此外，本公開內(nèi)容所提出的用于背景減除方法的動態(tài)調(diào)整吸納了超像素的觀點不再受限于像素間八鄰域的幾何關(guān)系，而是從像素位置間行為的相似程度出發(fā)，從而擴(kuò)大了像素位置間的空間一致性，進(jìn)而將行為相似的像素整體作為超像素群動態(tài)調(diào)整。

通過學(xué)習(xí)關(guān)聯(lián)區(qū)域，也即是學(xué)習(xí)像素在被分類為前景點類的情況下，分別作為真正感興趣前景和背景動態(tài)的情況。對某一像素位置，通過學(xué)習(xí)關(guān)聯(lián)區(qū)域的“分群”結(jié)果可能不唯一，某位置像素點可能與某些像素點組成的超像素群是緊耦合的，也就是說這些像素點間行為相似程度很高；反之，該位置像素點有可能與另一些像素點組成的超像素群是松耦合的，也就是說這些像素點間行為相似程度較低。因此，每次動態(tài)調(diào)整的范圍不僅與前景像素的性質(zhì)有關(guān)，還與當(dāng)前像素位置和不同超像素群間的行為相似度有關(guān)。

如前所述，若某像素位置為感興趣的檢測目標(biāo)，則與其行為相似度高的像素群及其本身均以相同的較大幅度分別降低像素分類閾值及模型更新率；而與該像素位置行為相似度較低的像素群則以相同的較小幅度降低像素分類閾值及模型更新率。

反之，若某像素位置為背景動態(tài)，則與其行為相似度較高的像素群及其本身均以相同較大幅度分別增大像素分類閾值及模型更新率；而與該像素位置行為相似度較低的像素群則以相同的較小幅度增大像素分類閾值及模型更新率。若某像素位置在一定時間內(nèi)保持同一種狀態(tài)不變，則調(diào)整該像素位置閾值及模型更新率取值范圍的上下邊界。

再者，本公開內(nèi)容重新定義了“閃爍像素（blinkingpixel）”，具體定義如下：閃爍像素不僅包含了全分辨率下的檢測結(jié)果和低分辨率下的檢測結(jié)果之間的差異，還包含了全分辨下的檢測結(jié)果和經(jīng)過簡單后處理的全分辨率下的檢測結(jié)果之間的差異，以及低分辨率下的檢測結(jié)果和經(jīng)過簡單后處理的低分辨率下的檢測結(jié)果之間的差異；

若用（t-2，t-1，t）表示連續(xù)三幀，某像素位置分別對應(yīng)于t-2幀、t-1幀以及當(dāng)前幀t取值有如下之一的特征（0，255，0）或（255，0，255）。以上兩部分合并起來的結(jié)果就是本文中定義的“閃爍像素（blinkingpixel）”。采用連續(xù)三幀的原因是考慮到在連續(xù)兩幀中可能會出現(xiàn)突然運動的背景物體或運動的物體進(jìn)入場景的情況。

通過重新定義，將噪聲和背景動態(tài)引發(fā)的前景歸并在一起。在動態(tài)調(diào)整以及后處理階段，通過使這兩部分性質(zhì)不同的前景每次調(diào)整的幅度、調(diào)整后的取值范圍最大最小值的不同以及超過不同的閾值后從檢測結(jié)果中剔除，這三個不同的部分達(dá)到分別處理兩部不同性質(zhì)前景的目的，以使檢測結(jié)果更加準(zhǔn)確、噪聲干擾更加不明顯的。

對于被標(biāo)記為“閃爍像素（blinkingpixel）”的像素位置，若連續(xù)經(jīng)過一定次數(shù)的調(diào)整之后，該像素位置仍舊被標(biāo)記為“閃爍像素（blinkingpixel）”，則采用分段式調(diào)整策略。在分段式調(diào)整策略中，每次調(diào)整閾值增加的幅度依次增大，直至該位置性質(zhì)改變。

針對通過一系列后處理和反饋機(jī)制都無法消除的“頑固”前景區(qū)域：若是“閃爍像素（blinkingpixel）”并且沒有被從檢測結(jié)果中消除，則直接將其從檢測結(jié)果中去除，并且不再計算該像素位置的lbsp；一旦該像素位置不再閃爍，則意味著該像素位置此時變?yōu)檎嬲那熬包c類，則在檢測結(jié)果中將其恢復(fù)，同時恢復(fù)該像素位置的lbsp檢測；若不是“閃爍像素（blinkingpixel）”，但較長時間內(nèi)的真實值卻在某幾個取值區(qū)間不停"波動"，則將其視為閃爍，先將該區(qū)域所有前景像素標(biāo)記為“閃爍像素（blinkingpixel）”，若一定時間后依然保持閃爍狀態(tài)，則按"頑固"前景點類處理。

針對由于間歇運動造成的“ghost”問題，若運動的物體突然在某區(qū)域靜止，則存儲該區(qū)域前一時刻的真實值，若物體一旦繼續(xù)運動，則立即將該區(qū)域存儲的值添加進(jìn)模型，起到迅速恢復(fù)模型的作用；若是由于初始化造成的“ghost”，只針對視頻序列的前幾幀而言，若當(dāng)前幀某區(qū)域為前景，但在之后一幀通過將該區(qū)域每個像素位置與周圍區(qū)域的比較發(fā)現(xiàn)該區(qū)域?qū)嵸|(zhì)應(yīng)為背景區(qū)域，則立即將該區(qū)域的模型值舍棄，用新的真實值作為模型的值。

抽象而言，依據(jù)本公開內(nèi)容的背景減除方法通過lbsp紋理和邊緣信息加強(qiáng)像素間關(guān)聯(lián)區(qū)域的學(xué)習(xí)過程，以期通過更為精確的學(xué)習(xí)結(jié)果對模型的像素分類閾值和模型更新率的動態(tài)調(diào)整，獲得更好的檢測結(jié)果。此外，依據(jù)本公開內(nèi)容的背景減除方法對背景模型的進(jìn)一步改進(jìn)，其將當(dāng)前幀中的邊緣信息加入模型或另行采用邊緣信息構(gòu)建模型。通過邊緣信息的加入，使檢測結(jié)果中感興趣的前景區(qū)域更加完整同時有效的防止了錯誤的像素分類在后續(xù)視頻中的傳播。如若對lbsp紋理特征、邊緣信息、像素灰度值等要素分別構(gòu)建背景模型，通過“仲裁”機(jī)制的使用，對每一個像素點的分類更加準(zhǔn)確，檢測結(jié)果更加精確。再者，依據(jù)本公開內(nèi)容的背景減除方法進(jìn)一步擴(kuò)大了“閃爍像素（blinkingpixel）”的定義范圍，統(tǒng)計在基于像素值判定過程被分類為背景點類、而在lbsp檢測過程卻被分類為前景點類的像素的次數(shù)，一旦該統(tǒng)計值達(dá)到某閾值后，則將該像素點添加進(jìn)“blinkingpixel”中。

以下將結(jié)合所附附圖，進(jìn)一步詳細(xì)描述依據(jù)本公開內(nèi)容的背景減除方法，圖1示出了依據(jù)本公開內(nèi)容的面向夜間環(huán)境下的背景減除算法的流程圖100，從圖中可以看出，依據(jù)本公開內(nèi)容的面向夜間環(huán)境下的背景減除算法100首先在方法步驟110中接收用于適應(yīng)性多分辨率背景提取（amber）的背景模型以及當(dāng)前幀；然后，在接下來的方法步驟120中利用局部二值相似性模式（lbsp）算子并根據(jù)像素分類閾值將所述當(dāng)前幀的像素位置分類為背景點類和前景點類；然后，在方法步驟130中將所述前景點類進(jìn)一步分類為感興趣的目標(biāo)以及閃爍像素；以及最后在方法步驟140中針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和所述背景模型的更新率。依據(jù)本公開內(nèi)容的背景減除方法綜合了背景技術(shù)中所提及的兩種背景減除方法的優(yōu)點并克服了它們的不足，利用原amber背景減除方法中的背景模型并將lbsp算子引入像素分類階段，進(jìn)而通過學(xué)習(xí)關(guān)聯(lián)區(qū)域并利用學(xué)習(xí)結(jié)果動態(tài)調(diào)整特定的像素位置及其周邊的像素位置的像素分類閾值及背景模型的更新率，從而使得應(yīng)用在夜間拍攝的視頻序列中時能夠獲得更為精確的檢測結(jié)果。在本公開內(nèi)容的上下文中，術(shù)語“閃爍像素”和“背景動態(tài)”表示同一概念。

以下將結(jié)合圖2進(jìn)一步描述依據(jù)圖1的背景減除方法，圖2示出了依據(jù)圖1的背景減除方法的方框示意圖200，從圖中可以看出，依據(jù)本公開內(nèi)容的面向夜間環(huán)境下的背景減除算法首先接收用于適應(yīng)性多分辨率背景提取（amber）的背景模型以及當(dāng)前幀，然后針對該當(dāng)前幀中的每個像素位置實施像素分類過程，具體而言，在實施像素分類過程中，首先利用局部二值相似性模式（lbsp）算子并根據(jù)像素分類閾值將所述當(dāng)前幀的像素位置分類為背景點類和前景點類，然后，再將所述前景點類進(jìn)一步分類為感興趣的目標(biāo)以及閃爍像素；并且隨后針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和所述背景模型的更新率。該像素分類閾值將會隨著場景復(fù)雜度的變化進(jìn)行動態(tài)調(diào)整，與之相對應(yīng)地，背景模型的更新率也會會隨著場景復(fù)雜度的變化進(jìn)行動態(tài)調(diào)整。

接下來，圖3示出了針對每個像素位置進(jìn)行分類的方框示意圖300。從圖中可以看出，針對所接收到的背景模型和當(dāng)前幀，為背景模型與當(dāng)前幀對應(yīng)位置的像素值進(jìn)行條件判斷，具體而言，當(dāng)所述當(dāng)前幀的像素滿足第一預(yù)定條件并且滿足第二預(yù)定條件時，所述當(dāng)前幀的所述像素被分類為背景點類；當(dāng)所述當(dāng)前幀的像素不滿足第一預(yù)定條件或不滿足第二預(yù)定條件時，所述當(dāng)前幀的所述像素被分類為前景點類。在此，從圖中可以看出，該處的第一預(yù)定條件為|p-bk|<thcolor，而第二預(yù)定條件為h(lbspf，lbspm)≤thlbsp。當(dāng)所述當(dāng)前幀的所述像素被分類為前景點類并且所述當(dāng)前幀的所述像素不是閃爍像素時，所述當(dāng)前幀的所述像素被分類為感興趣的目標(biāo)；否則所述當(dāng)前幀的所述像素被分類為閃爍像素。

圖4示出了針對前景點類的像素位置的像素分類閾值以及背景模型的更新率的動態(tài)學(xué)習(xí)過程的方框示意圖400。從圖中可以看出，針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和背景模型的更新率，其中，針對被分類為感興趣的目標(biāo)的像素位置及所述被分類為感興趣的目標(biāo)的像素位置周圍與其具有第一行為相似度的像素位置，以第一幅度降低像素分類閾值和背景模型的更新率；針對所述被分類為感興趣的目標(biāo)的像素位置周圍與其具有第二行為相似度的像素位置，以第二幅度降低像素分類閾值和背景模型的更新率，其中，所述第一行為相似度高于所述第二行為相似度并且所述第一幅度大于所述第二幅度。針對被分類為閃爍像素的像素位置學(xué)習(xí)關(guān)聯(lián)區(qū)域并根據(jù)關(guān)聯(lián)區(qū)域的學(xué)習(xí)結(jié)果動態(tài)更新所述像素分類閾值和背景模型的更新率進(jìn)一步包括：針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第三行為相似度的像素位置，以第三幅度增大像素分類閾值和所述背景模型的更新率；針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第四行為相似度的像素位置，以第四幅度增大像素分類閾值和背景模型的更新率，其中，所述第三行為相似度高于所述第四行為相似度并且所述第三幅度大于所述第四幅度。針對被分類為閃爍像素的像素位置及所述被分類為閃爍像素的像素位置周圍與其具有第三行為相似度的像素位置，以第三幅度增大像素分類閾值和所述背景模型的更新率進(jìn)一步包括：當(dāng)被分類為閃爍像素的像素位置經(jīng)過第一預(yù)定次數(shù)的調(diào)整之后仍被分類為閃爍像素時，所述第三幅度依次遞增。當(dāng)被分類為閃爍像素的像素位置經(jīng)過第二預(yù)定次數(shù)的調(diào)整之后仍被分類為閃爍像素時，刪除該像素位置，其中，所述第二預(yù)定次數(shù)多于所述第一預(yù)定次數(shù)。

依據(jù)本公開內(nèi)容的背景減除方法綜合了背景技術(shù)中所提及的兩種背景減除方法的優(yōu)點并克服了它們的不足，利用原amber背景減除方法中的背景模型并將lbsp算子引入像素分類階段，進(jìn)而通過學(xué)習(xí)關(guān)聯(lián)區(qū)域并利用學(xué)習(xí)結(jié)果動態(tài)調(diào)整特定的像素位置及其周邊的像素位置的像素分類閾值及背景模型的更新率，從而使得應(yīng)用在夜間拍攝的視頻序列中時能夠獲得更為精確的檢測結(jié)果。

盡管出于圖釋本公開內(nèi)容的目的已經(jīng)示出了某些典型的實施方式和細(xì)節(jié)，但是對于本領(lǐng)域技術(shù)人員而言顯而易見的是，在沒有脫離本公開內(nèi)容范圍的情況下在此公開的方法和裝置可以進(jìn)行各種變化。