專利名稱：使用統(tǒng)計像素建模的視頻分割的制作方法
技術領域：
本發(fā)明涉及用在視頻處理系統(tǒng)中的視頻幀的處理，這些視頻處理系統(tǒng) 比如是作為在安全、監(jiān)視以及有關領土安全和反恐怖主義系統(tǒng)中利用的閉
路電視系統(tǒng)(Closed Circuit Television System, CCTV)的一部分來使用 或者結(jié)合該CCTV來使用的智能視頻監(jiān)視(intelligent video surveillance, IVS)系統(tǒng)、針對市場研究的目的為了建立店內(nèi)人類行為趨勢而處理零售 商業(yè)機構中的監(jiān)皿頻的IVS系統(tǒng)、監(jiān)視交通工具的交通以檢測錯道交 通(wrong-way traffic),損壞的交通工具、事故和道路阻塞的IVS系統(tǒng) 以及視頻壓縮系統(tǒng)。IVS系統(tǒng)是在視頻分割步驟之后進一步處理視頻以執(zhí) 行如下對象分類的系統(tǒng)，在該對象分類中前景對象可以分類為一般類，如 動物、交通工具或其它移動的但是未分類的對象，或者可以按照更具體分 類來分類，如人、小型或者大型非人類動物、汽車、飛行器、船只、卡車、 樹木、標記或者水區(qū)。在IVS系統(tǒng)中， 一旦發(fā)生這樣的視頻分割和分類， 就處理檢測到的對象以確定它們的位置、移動和行為如何與用戶定義的虛 擬視頻絆網(wǎng)和興趣虛擬區(qū)域(其中興趣區(qū)域可以是整個視野或者場景)有 關。出現(xiàn)的用戶定義事件然后^^L標記為將向當班安全職員或者專業(yè)人員 傳達的興趣事件。此類事件的例子包括越過虛擬視頻絆網(wǎng)的人或者交通工 具、逛入或者it^虛擬興趣區(qū)域或者場景的人或者交通工具、或者留在虛 擬區(qū)域或者場景中或者從虛擬區(qū)域或者場景中帶走的對象。具體而言，本 發(fā)明所處理' 的組成部分，
背景技術：
在基于對象的視頻壓縮中，用于檢測和跟蹤視頻對象的視頻分割以及 在其它類型的面向?qū)ο蟮囊曨l處理中輸入的視頻被分成兩個流。一個流包 含代表靜止背景信息的信息，而另一個流包含M示為前景信息的代表視 頻的移動部分的信息。背景信息表示為背景模型，該背景模型包括場景模 型，即由例如會在視頻幀序列中發(fā)現(xiàn)的一系列有關圖像組份的合成圖像；背景模型也可以包含附加模型和建模信息。通過對準圖像(例如通過匹配
點和/或區(qū)域)并且確定它們之間的重疊來生成場景模型。在一種高^JL 送或者存儲方案中，場景模型只需發(fā)送一次，而對各幀發(fā)送前景信息。例 如，在觀察器(即作為視頻源的相機等)僅經(jīng)歷搖攝、傾斜、滾動和變焦 類型的運動情況中，場景模型只需發(fā)送一次，因為場景模型的外觀不因幀
而改變，除了基于觀察者運動定義好的方式之外，而這可通it^L送運動參
數(shù)來輕易地解決。注意這樣的技術在除了搖攝、傾斜、滾動和變焦之外的
其它形式的運動情況中也適用。在IVS系統(tǒng)中，即4吏當背景4象素可能由 于相機的搖攝、傾斜和變焦運動而經(jīng)歷明顯運動時，對不同的移動前景和 背景對象的創(chuàng)建仍然允許系統(tǒng)對移動的興趣對象嘗試分類。
為了使自動的面向?qū)ο蟮囊曨l處理可行，需要能夠區(qū)分視頻序列中移 動或者變化的區(qū)域并將它們從靜止的背景區(qū)域中分離(即分割)。當存在 例如會由搖攝、傾斜、滾動和/或變焦的觀測器引起(或者歸因于包括實 際觀測器運動的其它運動有關現(xiàn)象)的明顯運動時必須執(zhí)行這一分割。為 了應對這一運動，如上文討論的那樣先對準圖像；也就是說，確定圖4象中 的對應位置(即幀)。在該對準之后，可以從場景中的靜止對象中分割相 對于靜止背景真實地移動或者變化的對象。然后使用靜止區(qū)域以創(chuàng)建(或 者更新)場景模型，并且為各幀識別移動的前景對象。
如上文討論的那樣特別是當存在觀測器運動時識別和自動地區(qū)分作 為移動前景的視頻對象和靜止背景并非易事。另外，為了提供最大壓縮程 度或者其它視頻處理技術的最大精細度或準確度，希望盡可能精細地分割 前景對象，這例如使得能夠維持在連續(xù)視頻幀之間的平滑性和在單獨幀內(nèi) 的鮮明性。然而已知的技術已經(jīng)證實難以利用而且對于小的前景對象而言 并不準確并且需要大量處理能力和存儲器。因此將希望有一種允許在前景 與背景信息之間的準確分割和對前景對象的準確且鮮明的表示的技術，而 無現(xiàn)有纟支術那些限制。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于基于源視頻的統(tǒng)計性質(zhì)將視頻分割成前景信息 和背景信息的方法。具體而言，該方法是基于創(chuàng)建和更新與視頻的區(qū)域的 特征有關的統(tǒng)計信息并且基于統(tǒng)計信息來標注這些區(qū)域(即標注為前景或 者背景)。例如在一個實施例中，區(qū)域是像素而特征是色強度(chromatic intensity),存在明顯的諸多其它可能。在更多特定實施例中，本發(fā)明涉及使用本發(fā)明的視頻分割方法來實施智能視頻監(jiān)視系統(tǒng)的方法。
在本發(fā)明的實施例中，發(fā)展包含至少兩個組份的背景模型。第一組份 是例如可以如在前述美國專利申請中討論的那樣構建和更新的場景模型。 第二組份是背景統(tǒng)計模型。
在第一實施例中，本發(fā)明方法包括二通膝現(xiàn)頻分割過程。該實施例的 二通路包括其中構建和更新背景統(tǒng)計模型的第 一通路和其中分割幀中的
區(qū)域的第二通路。第一通路的一個實施例包括以下步驟將各視頻幀與場 景模型對準；以及基于對準的幀數(shù)據(jù)來更新背景統(tǒng)計模型。第二通路的一 個實施例包括對各幀進行以下步驟標記幀的區(qū)域和執(zhí)行空間濾波的步 驟。
在第二實施例中，本發(fā)明方法包括一通膝現(xiàn)頻分割過程。單通路包括 對視頻流的幀序列中各幀進行以下步驟將幀與場景模型對準；構建背景 統(tǒng)計模型；標注幀的區(qū)域；以及執(zhí)行空間/時間濾波。
在又一實施例中，本發(fā)明方法包括前述一通膝現(xiàn)頻分割過程的變形。 這一實施例類似于先前實施例，不同之處在于構建背景統(tǒng)計模型的步驟為 構建背景統(tǒng)計模型和輔助統(tǒng)計模型的步驟所取代。
在第四實施例中，本發(fā)明方法包括一通膝現(xiàn)頻分割過程。單通路可以 包括對實時視頻流中各幀進行以下步驟標注幀中的像素；執(zhí)行對幀中像 素的空間/時間濾波；可選地精化像素標注；構*/更新背景和前景統(tǒng)計模 型；以及將對象插入背景統(tǒng)計模型中。
可以用運行執(zhí)行實施例步驟的軟件的計算機系統(tǒng)和包含代表實施例 步驟的軟件的計算機可讀介質(zhì)的形式實施這些實施例中的各實施例。
可以用硬件裝置的形式實施這些實施例中的各實施例。
定義
在描述本發(fā)明時通篇(包括上文)適用如下定義。 "計算機"指的是能夠接受結(jié)構化輸入、根據(jù)指定規(guī)則來處理結(jié)構化輸
入并且產(chǎn)生處理結(jié)果作為輸出的任何裝置。計算機的例子包括計算機、通 用計算機、超級計算機、大型計算機、超級小型計算機、小型計算機、工 作站、微型計算機、服務器、交互式電g、計算機和交互式電視機的混 合式組合、以及用以仿效計算機和/或軟件的專用硬件。計算機可以具有單個處理器或者可以并行和/或不并行操作的多個處理器。計算機還指代 經(jīng)由用于在計算機之間發(fā)送或者接收信息的網(wǎng)絡來連接在一起的兩個或 者更多個計算機。此類計算機的例子包括用于經(jīng)由網(wǎng)絡所鏈接的計算機來 處理信息的分布式計算機系統(tǒng)。
"計算機可讀介質(zhì)"指的是用于存儲計算機可存取的數(shù)據(jù)的任何存儲
設備。計算機可讀介質(zhì)的例子包括硬磁盤、軟盤、光盤如CD-ROM或 DVD、磁帶和存儲器芯片。
"軟件"指的是用以操作計算機的指定規(guī)則。軟件的例子包括軟件、代 碼段、指令、計算機程序和編程的邏輯。
"計算機系統(tǒng)"指的是具有計算機的系統(tǒng)，其中該計算機包括實現(xiàn)用以 操作該計算機的軟件的計算機可讀介質(zhì)。
"網(wǎng)絡"指的是通過通信設施來連接的多個計算機和關聯(lián)i殳備。網(wǎng)絡涉 及到永久連接如線纜或者臨時連接如通過電話或者其它通信鏈路來進行 的連接。網(wǎng)絡的例子包括互聯(lián)網(wǎng)如因特網(wǎng)、內(nèi)部網(wǎng)、局域網(wǎng)(LAN)、廣 域網(wǎng)(WAN)以及網(wǎng)絡如互聯(lián)網(wǎng)和內(nèi)部網(wǎng)的組合。
"視頻，，指的是以模擬和/或數(shù)字形式表示的運動畫面。視頻的例子包 括在安全、監(jiān)視和反恐怖主義應用中來自CCTV系統(tǒng)的視頻饋送、電視、 電影、來自相機或者其它觀察器的圖像序列、以及計算機生成的圖像序列。 可以例如從有線或者無線實況饋送、存儲設備、防火墻接口、視頻數(shù)字化 器、視頻流服務器、設備或者軟件部件、計算機圖形引擎或者網(wǎng)絡連接中 獲得這些視頻。
"視頻處理"指的是任何視頻梯:控，該視頻操控例如包括壓縮和編輯。
"幀"指的是視頻內(nèi)的特定圖像或者其它離散單位。
"攝#4^"可以指的是用于視覺記錄的裝置。攝^^的例子可以包括攝 像機、數(shù)字攝像機、彩色相機、單色相機、相機、可攜式攝像機、PC相 機、攝像頭、紅外線(IR)攝像機、低照度攝像機、熱感攝像機、閉路電 視(CCTV)相機、搖攝、傾斜、變焦(PTZ)相機以及視頻感測設備中 的一個或者多個。攝像機可被定位用以執(zhí)行對興趣區(qū)域的監(jiān)視。


現(xiàn)在將結(jié)合附圖更具體地描迷本發(fā)明，在附圖中:圖l示出了與本發(fā)明第一實施例的實施對應的流程圖2a和2b示出了與圖1的流程圖中的標注步驟的兩個替代實施例對 應的流程圖3a和3b示出了與圖1的流程圖中的空間/時間濾波步驟的實施對 應的流程圖4示出了與本發(fā)明第二實施例的實施對應的流程圖5示出了與圖4的流程圖中的步驟之一的實施對應的流程圖6a和6b —起示出了與圖4的流程圖中的另 一步驟的實施對應的流 程圖7示出了與本發(fā)明第三實施例的實施對應的流程圖8a和8b —起示出了與圖7的流程圖中的步驟之一 的實施對應的流
程圖9描繪了可以是計算機系統(tǒng)的一部分、形式為實施于計算機可讀介 質(zhì)上的軟件的本發(fā)明一個實施例；
圖10描繪了根據(jù)本發(fā)明一個實施例的實施智能視頻監(jiān)視系統(tǒng)的方法 的流考呈圖11示出了與本發(fā)明第四實施例的實施對應的流程圖12示出了與圖11的流程圖中的步驟之一的實施對應的流程圖13示出了與圖11的流程圖中的步驟之一的實施對應的流程圖14示出了與圖12和圖13的流程圖中的步驟之一的實施對應的流 程圖；以及
圖15示出了與圖11的流程圖中的步驟之一的實施對應的流程圖。 注意相同對象在包含它們的所有附圖中用相同的附圖標記來標注。
具體實施例方式
如上文討論的那樣，本發(fā)明涉及將視頻流分割成與移動對象對應的前 景信息和與視頻的靜止部分對應的背景信息?？梢砸远喾N方式來實現(xiàn)本發(fā) 明，以下討論其中四種特定的方式。這些實施例旨在于舉例說明而非窮舉。
以下討論涉及"像素，，和"色強度(chromatic intensity)";然而本發(fā)明方法不限于此。實際上，處理可以涉及到任一類區(qū)域(包括含多個〗象素 的區(qū)域)而不僅僅是像素并且可以使用針對這樣的區(qū)域或者與這樣的區(qū)域 有關地來測量的任一類特征而不僅僅是色強度。
1.第一實施例——二通路(two-pass)分割
本發(fā)明的第一實施例在圖1中示出并且對應于一種二通路分割方法。 如圖1中所示，該方法以從視頻流獲得幀(或者視頻)序列(步驟l)開 始。幀序列優(yōu)選地包括視頻流的兩個或者更多個幀。幀序列可以例如^_視 頻流的一部分或者整個視頻流。作為視頻流的一部分，幀序列可以例如是 視頻流的一個連續(xù)幀序列或者視頻流的兩個或者更多個不連續(xù)幀序列。作 為對準步驟的一部分，還構建和更新場景模型。
在步驟1之后，在步驟2中確定是否已經(jīng)處理所有幀。如果不是，則 下一幀被獲取并且與視頻流的底部的場景模型對準(步驟3);在上文中 以及在諸多其它參考文獻中已討論了該對準。
本發(fā)明方法是基于使用統(tǒng)計建模來確定應當將特定像素分類為前景 對象或者其一部分還是背景或者其一部分。步驟4涉及使用在步驟3中對 準的各幀來構建和更新背景的統(tǒng)計模型。
本發(fā)明的統(tǒng)計模型包括一階和二階統(tǒng)計量。在以下討論中，將使用平 均值和標準偏差作為該一階和二階統(tǒng)計量；然而，這旨在于僅舉例說明可 以使用的統(tǒng)計量。
一般而言，通過求一個樣本之和并且將和除以w來計算w個樣本的平 均值:；，即
其中A是與給定像素(或者區(qū)域)對應的特定樣本，該特定樣本在當前情 況中下可以例如是與給定像素(或者區(qū)域)對應的第/個樣本的測量的色 強度。于是，在當前設置中，將為各像素或者區(qū)域計算這樣的平均值。
盡管等式(1)給出用于樣本平均值的通用公式，但是使用這一公式 可能并不總是最優(yōu)的。在視頻處理應用中，像素的樣本值可能在對象移動
21經(jīng)過該像素時明顯改變而在移動對象不再處于該4象素內(nèi)時(明顯)改變回 到在它的先前值附近的值。為了解決這一類考慮，本發(fā)明利用其中在先值
比當前值被加權更多的加權平均值。具體而言，可以使用如下等式
<formula>formula see original document page 22</formula> (2)
其中，&是過寺值的權值而『《是賦予最新值的權值。
此外，U代表J個樣本的加權平均值而W代表第f個樣本。&和『*可
以設置為在0與1之間的任一對值，使得它們之和為1并且使得《^以 便保證過去值比最新值被加權更多。作為例子，發(fā)明人已經(jīng)成功地使用
環(huán)';=汰^和^ 眾/。
將標準偏差ff確定為所考慮的值的方差浐的平方根。 一般而言，按照
如下公式來確定方差
其中7代表？的平均數(shù)；因此如下給出標準偏差
由于本發(fā)明方法使用流動統(tǒng)計量(running statistics )，所以這就變成
<formula>formula see original document page 22</formula>
其中^7如上述等式(2)中定義的那樣，而^L定義為直至第7v個樣本的 樣本平方值的加權平均值并如下給出
與在樣本值的加權平均值情況中 一樣，使用權值來保證過去值比當前值被 加權更多。
在這樣的情況下，步驟4用以針對各幀通過為各像素計算等式(4a) 的值來創(chuàng)建和更新統(tǒng)計模型。在步驟4中，還在逐個像素的基礎上(相對 于如何接收它們，即在逐幀的基礎上)存儲像素的值；也就是說，針對幀 序列為各像素編制值數(shù)組。注意在替代實施例中，步驟4僅執(zhí)行值的存儲 這一步驟。在步驟4之后，該方法返回步驟2以檢查是否已經(jīng)處理了所有幀。如 果是，則該方法進行到步驟5，步驟5開始該實施例的第二通路。
在步驟5中，完成統(tǒng)計背景模型。這是通過使用各像素的存儲值并且 確定它們的模(mode)來完成的，其中模是最經(jīng)常出現(xiàn)的值。這可以例 如通過求M儲值的直方圖并且選擇直方圖具有最大值的值來完成。然后 將各像素的銜旨定為該像素的背景統(tǒng)計模型的值。
在步驟5之后，該方法進行到步驟6，該步驟6確定是否已經(jīng)處理了 所有幀。如果沒有，則該方法進行到步驟7，在該步驟7中將幀中的各像 素標注為前景(FG)像素或者背景(BG)像素。在圖2a和2b的流程圖 中示出了這一步驟的工作的兩個替代實施例。
圖2a描繪了二層決策方法。在圖2a中，像素標注步驟7始于步驟 71，在該步驟71中確定是否已經(jīng)處理幀中的所有像素。如果沒有，則該 方法進行到步驟72以檢查下一〗象素。步驟72確定〗象素是否與背景統(tǒng)計模 型匹配，即像素的值是否與用于該像素的模型匹配。這是通過求取在像素 值與用于該像素的背景統(tǒng)計模型的值(即模)之間的絕對差值并且將該絕 對差值與閾值做比較來執(zhí)行的；也就是說，
"卜咖「附一| 粉
與閾值"做比較。在等式(6)中，；^表示像素的值，而,狄,代表用于該 像素的統(tǒng)計背景模型的值。
可以用諸多方式確定閾值0。例如，該閾值可以是(給定像素的)標 準偏差ff的函數(shù)。在一個特定示例實施例中，》-3??；在另一實施例中，
6 = Kcr，其中K由用戶選擇。作為另一例子，可以向-賦值以預定值(同
樣對于各像素)或者由用戶選擇的值。
如果&S0，則認為像素值與背景統(tǒng)計模型匹配。在這一情況中，在
步驟73中將像素標注為背景(BG),并且該算法繼續(xù)回到步驟71。另外 如果&:>沒，則認為像素值不與背景統(tǒng)計模型匹配，并且在步驟74中將像 素標注為前景(FG)。同樣，該算法然后繼續(xù)回到步驟71。如果步驟71 確定已經(jīng)處理(幀中的)所有像素，則完成步驟7。
圖2b描繪了標注為7，的三層決策方法。在圖2b中，該過程再次始 于步驟71，該步驟71確定是否已經(jīng)處理了所有像素。如果沒有，則該過 程考慮處理下一像素并且執(zhí)行步驟72，該步驟72確定正在處理的^象素是否與背景統(tǒng)計模型匹配；這是以與圖2a中相同的方式完成的。如果匹配， 則將像素標注為BG (步驟73)，并且該過程返回步驟71。如果不匹配， 則該過程進行到步驟75;這正是圖2b的過程有別于圖2a的過程之處。
在步驟75中，該過程確定所考慮的像素是否完全不與背景統(tǒng)計模型 匹配。這是經(jīng)由與步驟72相似的閾值測試來實現(xiàn)的，只是在步驟75中給 予沒以更大的值。與在步驟72中一樣，e可以由用戶賦值或者預定。在一 個實施例中，g吣V"，其中W是預定數(shù)字或者用戶設置的數(shù)字，w>《。在 另一實施例中，夢=6。
如果步驟75的結(jié)果是AS 則將像素標注為FG(步驟74)。如果不 是這樣，則在步驟76中將4象素標注為明確前景(definite foreground, DFG)。在各情況中，該過程返回步驟71。 一旦步驟71確定已經(jīng)處理幀 中的所有^象素，則步驟7，完成。
回到圖1， 一旦已經(jīng)標注幀的所有像素，該過程進行到步驟8，在步 驟8中執(zhí)行空間/時間濾波。盡管在圖1中表示為順序步驟，但是可替代 地步驟8可與步驟7并行執(zhí)行。在圖3a和3b的流程圖中示出了步驟8 的細節(jié)。
在圖3a中，步驟8以關于是否已經(jīng)處理了幀的所有4象素的測試(步 驟81)開始。如果沒有，則在步驟85中該算法選擇下一l象素巧用于處理 并進行到步驟82，在該步驟82中確定像素是否被標注為BG。如果是， 則該過程回到步驟81。如果不是，則像素進行到步驟83和84中的進一 步處理。
步驟83的鄰域濾波用來在圖#^對準時校正未對準。如果當前圖像 與t艮成的背景統(tǒng)計模型8WL未對準，則特別是在強邊緣附近，使用背景 統(tǒng)計模型的本發(fā)明的分割過程將像素標注為前景。鄰域濾波將校正這一 點。在圖3b的流程圖中描繪了步驟83的實施例。
在圖3b中，步驟83始于步驟831,在該步驟831中確定與乃對應的 場景模型位置&。接著選擇包括場景模型中&周圍像素P"的鄰域(步驟 832)。接著步驟833確定是否已經(jīng)處理鄰域中的所有像素。如果是，則步 驟83完成，并且乃的標注保持原樣；如果不是，則該過程進行到步驟834， 在該步驟834中考慮下一鄰域像素P，。步驟835然后測試以確定A'是否 與P;匹配。這一匹配測試是通過以如下變形的方式執(zhí)行標注步驟(步驟 7或者7，)來實現(xiàn)的，在該變形的方式下^f吏用^作為所考慮的〗象素而P'沐作
24為"對應"背景統(tǒng)計模型點。如果標注步驟返回標注FG或者DFG則不存 在匹配，而如果它返回標注BG則存在匹配。如果不存在匹配，則該過程 返回步驟833;如果存在匹配，則這表示P/可能標注有誤，并且該過程進 行到步驟836。在步驟836中，選擇包括幀中乃周圍的像素^的鄰域，并 且執(zhí)行類似過程。也就是說，在步驟833中確定是否已經(jīng)考慮鄰域中的所 有像素A。如果是，則步驟83完成，并且P 的標注保持原樣；如果不是， 則該過程進行到步驟838，在該步驟838中考慮下一鄰域像素尸V。步驟839 進行測試以確定&是否與PV匹配；這是與步驟833類似地執(zhí)行的，其中 使用所考慮的^作為正在考慮的像素而&作為它的"對應"背景統(tǒng)計模型 點。如果不匹配，則該過程返回步驟837;如果匹配，則將^重新標注為 BG，并且步驟83完成。
返回圖3a，在步驟83之后執(zhí)行步驟84，在該步驟84中執(zhí)行形態(tài)學 腐蝕(erosion)和膨脹(dilation)。首先執(zhí)行預定次數(shù)(w次)腐蝕以去除 標注錯誤的前景。注意標注為DFG的像素可以不被腐蝕，因為它們代表 幾乎確定是前景的像素。此后是AI次膨脹，這些膨脹恢復正確地標注為前 景但是被腐蝕的像素。最后執(zhí)行第二預定次數(shù)(m次)膨脹以填充前景對 象中的孔?？梢允褂贸Ｒ?guī)腐蝕和膨脹技術來執(zhí)行、根據(jù)用戶指定^來應 用并且如上文討論的那樣修改腐蝕和膨脹，使得標注為DFG的像素不被 腐蝕。
在替代實施例中，步驟84可以包括除了形態(tài)腐蝕和膨脹之外附加的 或者取而代之的濾波技術。 一般而言，步驟84可以利用任何形式的空間 和/或時間濾波。
返回圖l，在步驟8之后，該算法返回步驟6以確定是否已經(jīng)處理了 所有幀。如果是，則幀序列的處理完成，并且該過程結(jié)束(步驟9 )。
該二通路的實施例具有相對簡易的優(yōu)點，并且它是無需直接或者少量 延時處理的應用可接受的方式。此類應用的例子包括對安全和監(jiān)皿頻的 脫抓現(xiàn)頻壓縮和非線性視頻編輯和法醫(yī)處理。另一方面，比如其中及時的 事件報告至關重要的視頻安全和監(jiān)視這樣的諸多其它應用確實具有這樣 的需求，并且使下文將討論的實施例適于滿足這些需求。
2.第二實施例——一通路分割
圖4描繪了根據(jù)本發(fā)明第二實施例的一通路分割過程的流程圖。比較圖4與圖1 (第一實施例)，第二實施例的不同之處在于對于各幀序列僅 有單個處理通路。如下文將討論的那樣，如圖4中的步驟2、 3、 31、 32、 8中所示，該單個通路將第二通路(圖1中的步驟5-8 )與第一通路(圖1 中的步驟2-4)的過程合并，盡管是以修改的形式。
與在第一實施例的情況中一樣，圖4中所示的第二實施例(一通路過 程)始于獲得幀序列(步驟1)。與在第一實施例中一樣，該過程然后執(zhí) 行測試以確定是否已經(jīng)處理所有幀(步驟2)。也與在第一實施例中一樣， 如果答案為否，則將待處理的下一幀與場景模型對準(步驟3)。如上文 討論的那樣,作為步驟3的一部分，構建和更新背景模型的場景模型組份， 因而在背景模型中各位置處至少總是有具有確定性的確定值。
在這一點，該過程包括構建背景統(tǒng)計模型的步驟(步驟31)。這不同 于圖1的步驟4并且在圖5中更具體地示出。該過程始于確定是否已經(jīng)處 理正在處理的幀中所有像素的步驟(步驟311)。如果沒有，則該過程確 定背景統(tǒng)計模型是否"成熟"(步驟312)和"穩(wěn)定"(步驟313)。
步驟312和313的原因在于起初不會充分地t艮統(tǒng)計背景模型以進行 關于〗象素性質(zhì)的準確判斷。為了克服這一點，應當在標注像素之前處理某 一數(shù)目的幀(即背景統(tǒng)計模型應當"成熟")；在本發(fā)明的一個實施例中， 這是用戶定義的參數(shù)。這可以實施為如下"預測，，過程，在該過程中使用有 限數(shù)目的幀以在4象素標注之前積累背景統(tǒng)計模型(圖4中的步驟32)。
盡管僅處理數(shù)目由用戶定義的幀可能足以提供成熟的統(tǒng)計模型，但是 穩(wěn)定性是第二項關注(步驟313)，并且它依賴于背景統(tǒng)計模型的標準偏 差。具體而言，如下文將討論的那樣，統(tǒng)計背景模型包括各〗象素的標準偏 差。統(tǒng)計模型(對于特定像素)被定義為在其方差(或者等效為其標準偏 差)合理地小時已經(jīng)變得"穩(wěn)定"。在本發(fā)明的一個實施例中，步驟313 通過將標準偏差與用戶定義的閾值^t做比較來確定這一點；如果標準偏 差小于這一閾值，則將統(tǒng)計背景模型(對于該4象素)確定為穩(wěn)定。
關于步驟31的流，在圖5中，如果背景統(tǒng)計模型凈皮確定為成熟(步 驟312)，則確定背景統(tǒng)計模型是否穩(wěn)定(步驟313)。如果這些測試中的 任一測試失敗，則該過程進行到步驟315，在該步驟中使用正在處理的像 素的當前值來更新該像素的背景統(tǒng)計模型。下文將進一步說明步驟315。
如果背景統(tǒng)計模型被確定為既成熟又穩(wěn)定(在步驟312和313中)， 則該過程進行到步驟314，在該步驟中確定正在處理的像素是否與背景統(tǒng)計模型匹配。如果匹配，則使用當前像素值來更新背景統(tǒng)計模型(步驟
315);如果不匹配，則該過程返回步驟311以確定是否已經(jīng)處理了幀中的 所有像素。
步驟314通過根據(jù)當前背景統(tǒng)計模型確定當前像素值是否在像素的 平均值的某一范圍內(nèi)來工作。在本發(fā)明的一個實施例中，該范圍是用戶定 義的范圍。在又一實施例中，它被確定為用戶定義數(shù)目的標準偏差；即如 果滿足下式則像素值i與背景統(tǒng)計模型匹配
<formula>formula see original document page 27</formula>
其中尺是標準偏差ff的用戶定義數(shù)目；x-是當前像素值；而；是背景
統(tǒng)計模型中當前像素的平均值。執(zhí)行步驟314的目的在于在可能的程度保 證僅背景像素用來t艮和更新背景統(tǒng)計模型。
在步驟315中，更新背景統(tǒng)計模型。在這一實施例中，背景統(tǒng)計模型 包括(針對幀序列)對于各像素的值的平均值和標準偏差。這些是才艮據(jù)上 述等式(2)和(4a)來計算的。
在步驟315之后，該過程返回步驟311以確定是否已經(jīng)處理(當前幀 中的)所有像素。 一旦已經(jīng)處理所有像素，則該過程進行到步驟316，在 該步驟中完成背景統(tǒng)計模型。這一完成步驟包括向各像素賦值以它的當前 平均值和標準偏差(即到目前為止處理所有幀的結(jié)果)。
注意用于給定像素的背景統(tǒng)計模型有可能從不穩(wěn)定。這一般表示特定
像素不是幀序列中的背景像素，因此無需為了背景統(tǒng)計模型的目的而向它
賦值。注意如上文討論的那樣也構建和更新場景模型，在背景模型中至少 總是有與各像素關聯(lián)的具有確定性的確定值。
在步驟316之后，該過程如圖4中所示進入步驟32,在該步驟中根 據(jù)幀中的像素的類型(即明確前景、前景或者背景)來標注像素。在圖 6a和6b的流程圖中更具體地示出了步驟32。
以下概念在隨后對步驟32的描述中具體化。從理想意義上說，將總 是通過針對各像素在背景統(tǒng)計模型中的對應點測試該4象素來完成標注，但 是這并非總是可能的。如果未準備好基于處理的幀的數(shù)目來使用背景統(tǒng)計 模型(即"成熟")，則該過程必須退回到針對場景模型中的對應點的測試。 如果背景統(tǒng)計模型準備好使用但是尚未調(diào)整好(即不"穩(wěn)定")，則il^示 像素在變化并且應當標注為前景。如果背景統(tǒng)計模型已經(jīng)出于某一原因(例如由于它與場景模型匹配失敗或者由于它已經(jīng)再次變得未調(diào)整好)而 變得不穩(wěn)定，則該過程必須再次退回到針對場景模型的測試。
如圖6a中所示，步驟32始于步驟321，在該步驟中確定是否已經(jīng)處 理(當前幀中的)所有像素。如果是這樣，則步驟32完成；如果不是這 樣，則在步驟322等步驟中處理下一4象素。
步驟322確定背景統(tǒng)計模型是否成熟。這是以與上文討論的圖5步驟 312中相同的方式完成的。如果不是，則該過程進行到步驟323，在該步 驟中確定〗象素是否與場景模型的對應點的背景色度數(shù)據(jù)匹配。
通過進行測試以確定給定像素是否落在背景色度數(shù)據(jù)值的某 一 范圍 內(nèi)來執(zhí)行步驟323。這類似于圖5的步驟314，其中用背景色度數(shù)據(jù)值取 代統(tǒng)計平均值?？梢杂孟嗨品绞?預定、用戶確定等)確定閾值。
如果步驟323確定像素不與背景色度數(shù)據(jù)匹配，則在圖6b的步驟329 中將像素標注為BG (在連接符A之后)。該過程從步驟329 (經(jīng)由連接 符D)返回步驟321。
如果步驟323確定像素未與背景色度數(shù)據(jù)匹配，則在圖6b的步驟 3210中將像素標注為FG (在連接符B之后)。該過程從步驟3210 (經(jīng)由 連接符D)返回步驟321。
如果步驟322確定背景統(tǒng)計模型成熟，則處理進行到步驟324，該步 驟確定背景統(tǒng)計模型是否穩(wěn)定。步驟324以與上文討論的圖5的步驟313 相同的方式執(zhí)行這一任務。如果不是這樣，則該過程進行到步驟325，在 該步驟中確定背景統(tǒng)計模型是否曾經(jīng)穩(wěn)定過(即它是否一度穩(wěn)定過、但是 現(xiàn)在不穩(wěn)定)。如果是這樣，則該過程分支到步驟323，并且該過程如上 所述從此繼續(xù)。如果不是這樣，則在圖6b的步驟3211中將像素標注為 DFG (在連接符C之后)，此后該過程(經(jīng)由連接符D )返回步驟321。
如果步驟324確定背景統(tǒng)計模型穩(wěn)定，則該過程進行到步驟326。步 驟326測試背景統(tǒng)計模型是否與背景色度數(shù)據(jù)匹配。類似于上述先前匹配 測試，這一測試求取在用于像素的背景統(tǒng)計模型的值(即平均值)與用于 像素的(場景模型的)背景色度數(shù)據(jù)之間的絕對差值。然后與上文一樣將 這一絕對差值與某一閾值(預定、用戶確定等)做比較。
如果步驟326確定在背景統(tǒng)計模型與背景色度數(shù)據(jù)之間無匹配，則該 過程分支到步驟323，在該步驟中處理以與上文所勤目同的方式繼續(xù)。另 一方面，如果步驟326確定有匹配，則該過程繼續(xù)到步驟327。步驟327確定當前像素是否與背景統(tǒng)計模型匹配。這一步驟是以與上 文討論的圖5的步驟314相同的方式執(zhí)行的。如果當前像素確實匹配(如 上文討論的那樣這是通過將它與對應于當前像素的平均值做比較來確定 的)，則在圖6b的步驟329中將像素標注為BG (在連接符A之后)，然 后該過程(經(jīng)由連接符D)返回步驟321。如果不是這樣，則在步驟328 中執(zhí)行進一步測試。
假如當前像素值不反映BG像素，則步驟328確定它反映FG像素還 是DFG像素。這是通過確定像素值是否遠未與背景統(tǒng)計模型匹配來完成 的。如上文討論的那樣，通過確定FG像素的值與平均值之差是否大于特 定量、例如某一數(shù)目的標準偏差(見等式(7))來區(qū)別FG像素與BG像 素(在步驟325中)。步驟328應用同一測試但是4吏用更大范圍。同樣， 閾值可以設置為預定M、計算的^lt或者用戶限定的^，并且它可以 按照相對于平均值的某一數(shù)目的標準偏差來給定，即
其中》/是比等式(7)的^更大的數(shù)。如果像素值落在例如按照等式(8) 定義的范圍外，則在圖6b的步驟3211中將它標注為DFG (在連接符C 之后)，并且該過程(經(jīng)由連接符D)返回步驟321。如果它落在該范圍 內(nèi)，則在圖6b的步驟3210中將像素標注為FG，并且該過程(經(jīng)由連接 符D)進行到步驟321。
在步驟32完成之后，該過程如圖4中所示進行到步驟8，在該步驟 中對幀中的像素執(zhí)行空間/時間濾波。在本發(fā)明的這一實施例中以與針對 二通路的實施例來實施的相同的方式實施步驟8，不同之處在于圖6a和 6b的像素標注算法用于步驟83的步驟833和837 (與在二通路的實施例 中使用的像素標注算法相對)。在步驟8之后，該過程返回步驟2，在該 步驟中如果已經(jīng)處理所有幀，則該過程結(jié)束。
如這里呈現(xiàn)的單通路方式具有無需第二通路的優(yōu)點，由此減少與該過 程關聯(lián)的延時。這對于大量延時有害的應用是有用的，諸如視頻電視^i義、 萬維網(wǎng)廣播、實時游戲等。
3.第三實施例——變形的一通路分割
盡管上述一通路方式具有比二通路方式更少的延時，但是它就背景統(tǒng) 計模型而言確實具有一個弊端。具體而言，在本發(fā)明的一通路實施例中使用的累積統(tǒng)計建模方式可能在用于單元(例如像素、區(qū)域等；也就是說無 論所考慮的單元的大小如何)的非代表性的統(tǒng)計模型上穩(wěn)定。如果與視頻 場景的特定單元對應的幀單元的值(例如色度值)4艮本地改變(即發(fā)生改 變視頻的某些情況，比如停放的汽車揚長而去、移動的汽車停放、光照改 變等)，則場景模型單元將不再準確地代表真實場景?？梢酝ㄟ^利用動態(tài) 地更新背景統(tǒng)計模型的機制、使得它在任何給定時間都準確地代表視頻中 所示場景的真實性質(zhì)來解決這一問題。在圖7中所示本發(fā)明實施例中描繪 了這樣的機制。
在圖7中，步驟l-3、 32、 8和9如在上述一通路實施例中所述。圖7 的實施例與圖4的實施例不同之處在于在將給定幀與場景模型對準(步驟 3)之后，該過程執(zhí)行步驟310，在該步驟中構建背景統(tǒng)計模型并且同時 構建輔助背景統(tǒng)計模型。結(jié)合圖8a和8b更充分地描述步驟310。
如圖8a中所示，步驟310包括圖5中的步驟31中所示所有步驟(用 相同標號來表示)，并且它始于確定是否已經(jīng)處理所有像素的步驟(步驟 311)。如果沒有，則通過進行到步驟312來處理下一像素。在步驟321中， 確定背景統(tǒng)計模型是否成熟。如果不是，則該過程分支到步驟315，在該 步驟中使用該像素來更新背景統(tǒng)計模型。在步驟315之后，該過程返回步 驟311。
如果步驟312確定背景統(tǒng)計模型成熟，則該過程進行到步驟313，在 該步驟中確定背景統(tǒng)計模型是否穩(wěn)定。如果不穩(wěn)定，則與在步驟312中的 否定確定情況中一樣，該過程分支到步驟315 (然后返回步驟311)。否則 該過程進行到步驟314。
在步驟314中，確定所考慮的像素是否與背景統(tǒng)計模型匹配。如果匹 配，則該過程進行到步驟315(然后返回步驟311);否則該過程執(zhí)行圖 8b中所示步驟，該步驟構建和更新輔助背景統(tǒng)計模型。該輔助背景統(tǒng)計 模型如圖8b中反映的那樣與背景統(tǒng)計模型并行地來構建，使用與用來構 建和更新背景統(tǒng)計模型相同的過程，并且代表不與背景統(tǒng)計模型匹配的l象 素值。
在步驟314中的否定確定之后，該過程然后進行關于輔助背景統(tǒng)計模 型是否成熟的判斷(步驟3107)。以與步驟313中相同的方式進行該判斷。 如果不是這樣，則該過程分支到步驟3109，在該步驟中使用與用于背景 統(tǒng)計模型相同的過程(步驟315)來更新輔助背景統(tǒng)計模型。該過程從步 驟3109返回步驟311 (在圖8a中)。如果步驟3107確定輔助背景統(tǒng)計模型成熟，則該過程進行到步驟 3108，該步驟(使用與步驟314中相同的過程)確定輔助背景統(tǒng)計模型是 否穩(wěn)定。如果不穩(wěn)定，則該過程進行到步驟3109 (并且從此進行到步驟 311)。如果穩(wěn)定，則該過程分支到步驟31010,在該步驟中用輔助背景統(tǒng) 計模型取代背景統(tǒng)計模型，此后該過程返回步驟311。此外，與在步驟 31010中用輔助背景統(tǒng)計模型取代背景統(tǒng)計模型并行地用輔助統(tǒng)計模型 的平均值取代場景模型數(shù)據(jù)。在這一點，將輔助背景統(tǒng)計模型重置為零， 并且將使用后續(xù)數(shù)據(jù)來構建新的輔助背景統(tǒng)計模型。
這一修改的一通路的實施例具有較一通路的實施例而言提高統(tǒng)計準 確度的優(yōu)點，并且它解決了變化的背景圖像的潛在問題。它實現(xiàn)這一點而 又仍然維持較二通路的實施例而言改進的延遲時間并且較一通路的實施 例而言處理速度僅有可忽略的下降。
4.第四實施例實時視頻流一通路分割
第一、第二和第三示例實施例的關注點是用于壓縮應用的分割。對于 壓縮應用，其思想在于保持代^^視頻序列或者視頻序列一部分的統(tǒng)計背景 模型。因此，其思想在于創(chuàng)建背景模型、然后在分割視頻序列之時保持背 景模型恒定一段時間。
在監(jiān)視應用中， 一般不對視頻序列(即視頻幀的有限集)而是對實時 視頻流(例如無可辨別端點的視頻幀的連續(xù)集)執(zhí)行處理。因而， 一般出 于兩個原因而不可能創(chuàng)建用以^R表視頻場景的背景模型。首先是場景由于 光照條件和氣象條件(例如雨水、陰影、云、晝/夜變化等)而在動態(tài)地 改變，其次是場景中的組份改變(例如停放汽車、在場景內(nèi)添加、去除或 者移動對象等)。為了在實時監(jiān)視應用中適應這些條件，在這一實施例中 利用對一通路算法的六項變形(1)除了背景模型之外還添加一個或者多 個前景模型；(2)刪除背景或者前景模型"成熟"的概念；(3)添加自動增 益控制(AGC)補償；(4)添加對象插入機制；(5)處理順序不同以滿 足實時處理需求；以及(6)使用遮掩特征以減少需要處理的像素的數(shù)目。
關于六項不同，首先除了背景模型之外還使用前景模型來描述被標注 為前景的區(qū)域。在上述第三實施例中，輔助背景模型用來對背景場景中在 主背景已經(jīng)"成熟"之后出現(xiàn)的變化進行建模。在第四實施例中， 一個(或 者多個)前景模型用來描述被檢測為前景的〗象素(或者對象)。創(chuàng)建一個
31或者多個前景模型的原因在于涵蓋當前景對象(例如車輛)停止于場景區(qū) 域中時的情況。在這樣的情況中，出于對^J險測的目的而希望開始將前景 對象視為背景(例如汽車停放而人在汽車前方步行)。前景模型是以與背 景模型完全相同的方式來創(chuàng)建和維護的、但是應用于被標注為"前景"的像
素。有可能使多個前景模型描^M目互遮蔽的多個對象。例如， 一輛汽車停 放并且通過一個前景模型來建模。接著，另一輛汽車停放于第一輛汽車前 方并且通過第二前景模型來建模。
第二，從第四實施例中刪除模型成熟的概念。對于處理視頻流而不是 視頻序列的這一實施例，假設模型不會成熟而代之以會持續(xù)地和動態(tài)地改
變以適應緩慢的環(huán)境變化，如陰影隨著太陽移動而縮短和延長；烏云蔽日 或者撥云見日；雨、雪或者霧在場景中開始或者結(jié)束；以及晝夜在場景中 改變。在這一實施例中，在逐幀和逐個像素的基礎上連續(xù)地修改背景模型 (以及前景模型)，使得模型最好地反映背景的"當前"狀態(tài)而不是成熟模 型，其中該成熟模型是先前創(chuàng)建的并且可能甚至是在過去很久以前創(chuàng)建 的。
第三，在第四實施例中利用AGC補償。AGC是視頻成像器自動地 調(diào)整整個圖像的亮度和對比度以測試和優(yōu)化圖像的動態(tài)范圍的過程。該過 程可以很快地發(fā)生并且可以改變背景像素的強度、使得它們可以在實際上 不存在前景對象時表現(xiàn)為前景像素。因而，添加AGC補償組份以在視頻 圖像中有AGC調(diào)整的情況下修改背景模型。
第四，向第四實施例添加對象插入機制以允許外部信號控制對象在背 景模型中的插入。這里的思想在于例如當汽車停放于場景中時對于代表該 汽車的所有像素會有前景模型。外部過程可以判斷這些像素代表汽車并且 該汽車事實上已經(jīng)停放。 一旦進行該判斷，外部過程提供指示應當向背景
模型添加(例如"燒入(burn in)")前景模型的通知。出于分割的目的 將前景模型視為背景的一部分。
第五，在實時處理中，在處理幀之后沒有時間退回并改進像素標注(與 在脫機處理或者具有延時的處理中的情況一樣)。因而，實時算法的步驟 的順序不同。起初，當新的幀到來時，將現(xiàn)有背景模型用于標注像素。接 著，使用各種其它過程(如例如空間-時間濾波)來精化標注，然后更新 模型。這一順序在實時處理中為各幀提供更優(yōu)的分割結(jié)果。
第六，在第四實施例中添加用以將像素指定為被忽視的遮掩。添加該 能力是為了設置視頻圖像中不應當施加分割的區(qū)域。這樣做的原因在于節(jié)約處理資源以便維持實時性能。因而如果視頻場景中有預先已知無需分割 的區(qū)域(所謂的"無興趣區(qū)域，，)，則遮掩掉這些像素(取而代之，可以定 義"興趣區(qū)域")。另外，自動化算法可以用來確定無需施加分割的這些無 興趣區(qū)域。這樣的無興趣區(qū)域之所以可能存在是因為相機在視頻幀的邊緣 附近產(chǎn)生無實際圖像數(shù)據(jù)的各種"未使用"像素。這樣的無興趣區(qū)域也可能 存在于場景中不希望處理或者處理不會4艮好地起作用的區(qū)域中(如天空)。
圖11圖示了用于本發(fā)明示例第四實施例的流程圖。在步驟1101中，
從實時視頻流提取現(xiàn)頻幀。
在可選步驟1102 (其中用虛線輪廓表示該步驟的可選性質(zhì))中，可 以將提取的幀與場景模型對準以適應相機運動(例如抖動或者有意識的運 動如搖攝、傾斜、變焦或者平移運動)。
在步驟1103中，將幀中的各l象素標注為背景、前景或者明確前景(或 者按照需要有更多顆粒度級)。這構成將幀分割成背景和前景組份。在一 個實施例中，可以針對步驟1103使用關于圖2b討論的使用背景統(tǒng)計模型 的技術。在其它實施例中，可以使用背景統(tǒng)計模型和/或前景統(tǒng)計模型。
在步驟8中，對分割執(zhí)行空間-時間濾波以改進結(jié)果。
在可選步驟1104中，可以包括執(zhí)行分割或精化分割的附加過程。例 如，可以在步驟1104中包括對象跟蹤和分類。作為另一例子，可以在步 驟1104中包,止目標檢測。
在步驟1105中，使用分割以構建和/或更新用于各像素的背景和前景 統(tǒng)計模型。
在步驟1106中，將對象插入背景統(tǒng)計模型中。作為一種選擇，來自 步驟1107的外部過程可以判決應當執(zhí)行插入。
在可選步驟1107中，靜止目標檢測器可以確定某一組或者多組像素 代表已經(jīng)移入場景中并且停止的對象(例如汽車移入和停放于場景中)。 該過程可以判決從此這些像素應當視為背景(因為判斷出在這些像素有停 止的對象)。
圖2圖示了用于圖11的步驟1103的流程圖。在步驟1201中，相應 地處理各幀。
在可選步驟1202中，執(zhí)行對AGC (或者其它全局光照變化)的補償。 在步驟1203中，相應地處理幀中的各像素。在步驟1204中，如果已經(jīng)分析了幀中的各像素，則流程進行到步驟 1214;否則流程進行到步驟1205。
在可選步猓1205中，判斷像素是否在興趣區(qū)域中。標注在興趣區(qū)域 內(nèi)的像素而不標注在興趣區(qū)域外的像素?？梢岳谜谘?來自可選步驟 1213 )或者任何其它這樣的機制來執(zhí)行對像素是否在興趣區(qū)域內(nèi)的判斷。 可以人工地生成(如在可選步驟1212中那樣)或者通過一種確定興趣區(qū) 域可以在幀內(nèi)何處的自動過程(如在可選步驟1211中那樣)生成遮掩。 興趣區(qū)域可以跨幀連續(xù)或者不連續(xù)并且可以包括幀中的一組或者多組像 素。如果4象素在興趣區(qū)域中，則流程繼續(xù)到步驟1206;否則流程回到步 驟1203。
步驟1206至1210以與其它先前實施例中的方式相似的方式執(zhí)行對4象 素的標注。在步驟1206中，如果像素的強度值足夠接近背景統(tǒng)計模型中 該像素的平均值，則在步驟1209中將該像素標注為背景。在步驟1207中， 如果像素的強度值較遠離背景統(tǒng)計模型中該像素的平均值，則在步驟 1210中將該像素標注為前景。在步驟1208中，如果^^素的強度值遠離背 景統(tǒng)計模型中該^象素的平均值，則將^^素標注為明確前景。在步驟1208、 1209和1210之后，流程回到步驟1203。
在數(shù)學意義上說，步驟1206至1210可以概括如下。對于步驟1206 至1209，如果
則將像素'甜標注為背景，其中御是在位置義處的像素強度，^"》是背景統(tǒng) 計模型在位置尤處的平均值，工是閾值，而Wx)是背景統(tǒng)計模型在位置義處 的標準偏差。對于步驟1207和1210，如果
<formula>formula see original document page 34</formula>
則將像素御標注為前景，其中^是大于打的閾值。對于步驟1207和1208， 如果<formula>formula see original document page 34</formula>則將像素耿)標注為明確前景。
圖13圖示了用于圖11的步驟1105的流程圖。在步驟1301中，相應 地處理各幀。在可選步驟1202中，執(zhí)行對AGC (或者其它全局光照變4乜)的補償。 在步驟1303中，相應地處理幀中的各〗象素。
在步驟1304中，如果已經(jīng)分析幀中的各像素，則流程進行到步驟 1318;否則流程進行到步驟1305。
在可選步驟1305中，確定像素是否在興趣區(qū)域中。標注在興趣區(qū)域 內(nèi)的像素而不標注在興趣區(qū)域外的像素?？梢岳谜谘?來自可選步驟 1313 )或者任何其它這樣的機制來執(zhí)行對像素是否在興趣區(qū)域內(nèi)的判斷。 可以人工地生成(如在可選步驟1313中那樣)或者通過一種確定興趣區(qū) 域可以在幀內(nèi)何處的自動過程(如在可選步驟1311中那樣)生成遮掩。 興趣區(qū)域可以跨幀連續(xù)或者不連續(xù)并且可以包括幀中的一組或者多組像 素。如果像素在興趣區(qū)域中，則流程繼續(xù)到步驟1306;否則流程回到步 驟1303。
接著，使用在圖11中的步驟11(B、 8和1104中生成的前景遮掩作為 用以更新背景和前景統(tǒng)計模型的濾波器。在步驟13106中，獲得前景遮掩。
在可選步驟1317中，可以通過某一形態(tài)如膨脹對前景遮掩進行濾波 以保證前景對象邊緣上的像素不破壞背景模型。
在步驟1306中，如果像素不是前景或者明確前景像素，則流程進行 到步驟1307;否則流程進行到步驟1308。
在步驟1307中，利用在該像素位置處來自當前幀的信息更新背景統(tǒng) 計模型的平均值和方差。如果背景統(tǒng)計模型尚不存在，則可以基于在先前 實施例中的討論來構建背景統(tǒng)計模型。
在步驟1308中，像素是前景或者明確前景像素。如果前景模型存在， 則流程進行到步驟1309;否則流程進行到步驟1312。
在步驟1312中，前景統(tǒng)計模型在像素的位置并不存在，并且創(chuàng)建新
的前景統(tǒng)計模型。該模型的形式為；W"(i》/"P"，其中；W代表前
景統(tǒng)計模型在像素位置x處的平均值，,("代表前景統(tǒng)計模型在像素位置x 的標準方差，而D是默i人值。
在步驟1309中，前景統(tǒng)計模型存在于這一位置并且利用來自當前像 素的數(shù)據(jù)來更新。
35在步驟1310中，如果像素已經(jīng)在前景狀態(tài)中存在一長段時間，則流 程進行到步驟1311;否則流程進行到步驟1303。
在步驟1311中，像素已經(jīng)在前景狀態(tài)中存在一長段時間并且可以開 始視為背景。通過在這一位置用前景模型取代背景模型來實現(xiàn)這一分割移 位
在第四實施例中，不同于先前三個實施例，在步驟1307和1309中對 背景和前景模型的更新可以不同。在先前實施例中，使用游動平均值和標 準偏差。在背景可能連續(xù)地經(jīng)歷明顯變化(例如當白著r化為黑夜時并且反 之亦然)的針對這一實施例的實時情況中，游動平均值和標準偏差會提供 可能并不準確的統(tǒng)計模型。在這一實時實施例中，當前平均值和標準偏差 應當代表在當前時間的前景。因此，應當向新信息比向舊信息給予更多權 值。為此，考慮先前統(tǒng)計值的濾波器如例如無限沖激響應(IIR)濾波器 應當用來更新背景和前景模型。濾波器可以應用如下
f《x) = (1 or)f'(je) + /(x)
其中^是混合(blending)常數(shù)?；旌铣?shù)《可以映射到標準混合時間常數(shù)。
圖14圖示了用于圖12和圖13的步驟1202的流程圖。在步驟1401 中，相應地處理各幀。
在可選步驟1402中，相應地處理興趣區(qū)域中的各像素?？梢酝ㄟ^可 選步驟1408提供興趣區(qū)域。
在步驟1403中，相應地處理各背景〗象素。背景像素可以被確定為不 在步驟1409提供的前景遮掩中的像素。
在步驟1404中，生成在來自步驟1411的背景模型與來自步驟1410 的當前幀之間的差值直方圖。差值直方圖針對背景模型中的各像素強度值 測量在背景模型與當前幀之間存在的差值量。作為例子，對于背景模型中 強度值為10的像素，在這些像素與它們在當前幀中的對應像素之間的平 均強度差值可以表示為5個灰度級。對于強度值為100的像素，平均差值可以是30個灰度級。
在步驟1405中，分析幀以檢測任何全局AGC效應。通過檢查直方 圖值的平均值來分析幀。如果直方圖值都很小，則這可能意味著背景像素 就強度而言與當前幀像素基本上一致。如果直方圖值都很大，則這可能意 味著平均而言在當前幀與背景模型之間有大的強度差異，因此在幀中可能
有全局AGC效應(或者全局光照變化)。如果在幀中檢測到全局AGC效 應，則流程進行到步驟1406;否則流程回到步驟1401。
在步驟1406中，檢測AGC效應，并且更新背景模型。通過使用來 自步驟1404的差值直方圖作為查找表來更新背景模型。按照在當前幀強 度數(shù)據(jù)與背景模型強度數(shù)據(jù)(對于這一背景平均強度值)之間的平均差值 來調(diào)整背景模型中各像素的平均值。這一更新可以概括如下
糾^兩柳+狄，
其中Hry是在背景模型中強度為/的像素與它們在當前幀中的對應像素之 間的平均強度差值。
在步驟1407中，由于存在AGC而調(diào)整模型M。例如，如果檢測 到AGC,則可以減小用于圖13的步驟1307和1309中更新的混合常數(shù)《。 通過減小混合常數(shù)《，向來自當前幀的數(shù)據(jù)給予更多加權，使得當分別在 步驟1307和1309中更新背景和前景模型時，模型更新更快并Jbit全局強 度變化不那么敏感。當沒有檢測到AGC時增大ft'，這使得步驟1307和 1309中的模型更新過程對強度變化更敏感。
圖5圖示了用于圖11中的步驟1106的流程圖。作為例子，如&寸象 被檢測到并且被跟蹤而且被確定為靜止(例如汽車停放)，則可能希望將 這些對象燒入背景模型中，使得背景模型可以繼續(xù)檢測該區(qū)域中的前景。
在步驟1502中，關于是否在背景模型中插入對象進行判斷。作為一 種選擇，外部過程(來自可選步驟1107)可以確定應當在背景模型中插 入對象。如果要插入對象，則流程進行到步驟1503;否則流程進行到步 驟1505并且結(jié)束。
在步驟1503中，對于對象中的各4象素，流程相應地繼續(xù)。可以通過 可選對象遮掩(來自可選步驟1506)或者任何其它機制來描述對象。
在步驟1504中，對于遮掩中的各^象素，利用在該位置的前景模型(來 自步驟1508 )取代在該位置的背景模型(來自步驟1507 )，從而造成在一個步驟中在背景中全體地插入整個對象。
5.附加實施例和備注
盡管上述討論考慮了二級和三級像素標注算法，但是這一實施例并不 僅限于這些情況。實際上，預期可以使用與不同范圍(例如閾值)對應的 任意數(shù)目的判決級。在這樣的情況下，模糊或者軟判決邏輯將用來在分割 過程的后續(xù)步驟中進行判決。
上述討論主要討論了像素和色度值(可以是RGB、 YUV、強度等)； 然而如上文討論的那樣，本發(fā)明不限于這些量?？梢允褂贸袼刂獾膮^(qū) 域并且可以使用除色度值之外的量。
如上文討論的那樣，可以用計算機系統(tǒng)的形式或者以包含實施本發(fā)明 的軟件的計算機可讀介質(zhì)的形式實施包括先前段落中討論的所有實施例 的本發(fā)明。這一點在圖9中示出，該圖示出了用于本發(fā)明的計算機系統(tǒng)的 平面圖。計算機91包括計算機可讀介質(zhì)92，該介質(zhì)實施用于實現(xiàn)本發(fā)明 的軟件和/或用以根據(jù)本發(fā)明來操作計算機91的軟件。計算機91如圖所 示接收視頻流并且輸出所分割的視頻。取而代之，還可以在計算機內(nèi)進一 步處理所分割的視頻。
除了利用計算機和軟件來實施這里描述的所有實施例之外，還可以用 電路和/或硬件來實施這里討論的所有實施例。電路可以例如包括現(xiàn)場可 編程門陣列(FPGA)、專用集成電路(ASIC)或者在數(shù)字信號處理器 (DSP)、通用預處理器(GPP)或者其它處理設備上的或者耦合到DSP、 GPP或者其它處理設備的硬件加速器。電路可以例如用芯片和/或芯片組 來實施。電路可以例如位于印刷電路板上、附加卡上和/或附加槽中。電 路可以例如位于攝影機、視頻路由器、視頻編碼器和/或數(shù)字錄像機(DVR) 中。其它基于電路和/或基于硬件的實施對于本領域普通技術人員而言將 變得明顯。
也如上文討論的那樣，上述統(tǒng)計像素建模方法可以并入一種實施智能 視頻監(jiān)視系統(tǒng)的方法中。圖IO描繪了該方法的一個實施例。具體而言， 步驟1001代表了使用例如上述統(tǒng)計像素建模。 一旦已經(jīng)完成統(tǒng)計4象素建 模，步驟1002使用結(jié)果對對象進行識別和分類。步驟1002可以使用例如 用于執(zhí)行此類識別和分類的統(tǒng)計或者面向;^板的方法。在執(zhí)行識別和分類 時，確定給定對象是否為興趣對象；例如，可能對經(jīng)過受監(jiān)視區(qū)域的人的移動感興趣，這會^A成為"興趣對象"。在步驟1003中，分4斤興趣對象 的行為；例如，可以確定人是否已經(jīng)進入受限制區(qū)域。最后在步驟1004 中，如果希望則可以發(fā)出各種通知或者采取其它適當動作。
已經(jīng)關于優(yōu)選實施例描述了本發(fā)明，并且對于本領域技術人員來說， 從前文顯然可看到在本發(fā)明的更廣義范圍中可做出變化和4務改而不脫離 本發(fā)明。因此，如在權利要求中限定的本發(fā)明旨在于涵蓋落入本發(fā)明的真 正實質(zhì)內(nèi)的所有此類變化和修改。
權利要求
1. 一種電路，適于執(zhí)行用于區(qū)分視頻的前景與背景部分的二通路視頻分割方法，所述方法包括以下步驟從輸入的視頻流獲得幀序列；對所述幀序列的各幀執(zhí)行第一通路方法，所述第一通路方法包括以下步驟將所述幀與場景模型對準；以及更新背景統(tǒng)計模型；以及完成所述背景統(tǒng)計模型；對所述幀序列的各幀執(zhí)行第二通路方法，所述第二通路方法包括以下步驟標注所述幀的各區(qū)域；以及執(zhí)行對所述幀的所述區(qū)域的空間/時間濾波。
2. 根據(jù)權利要求l所述的電路，其中所述更新背景統(tǒng)計模型的步驟 包括以下步驟編制與所述幀的所述區(qū)域?qū)闹?；以及計算所述幀的各區(qū)域的標準偏差。
3. 根據(jù)權利要求l所述的電路，其中所述完成所述背景統(tǒng)計模型的 步驟包括以下步驟對所述幀的各區(qū)威基于所述編制的值來確定統(tǒng)計模；以及將各區(qū)域的所述統(tǒng)計模指定為該區(qū)域在所述背景統(tǒng)計模型中的值。
4. 根據(jù)權利要求l所述的電路，其中所述標注所述幀的各區(qū)域的步 驟包括以下步驟確定所述區(qū)域是否與所述背景統(tǒng)計模型匹配；以及基于所述確定步驟的結(jié)果指定標注。
5. 根據(jù)權利要求4所述的電路，其中所述確定步驟包括以下步驟 確定所述幀的所述區(qū)域的值是否落在所述區(qū)域在所述背景統(tǒng)計模型中的 對應值附近的某一范圍內(nèi)；以及其中所述指定標注的步驟包括以下步驟如果所述幀的所述區(qū)域的值落在所述范圍內(nèi)則指定第一標注；以及如果所述幀的所述區(qū)域的值沒有落在所述范圍內(nèi)則指定第二標注。
6. 根據(jù)權利要求5所述的電路，其中所述第一標注是背景而所述第 二標注是前景。
7. 根據(jù)權利要求4所述的電路，其中所述確定步驟包括以下步驟確定所述幀的所述區(qū)域的值是否落在所述區(qū)域在所述背景統(tǒng)計模型 中的對應值的附近的第一范圍內(nèi)；以及如果所述幀的所述區(qū)域的值沒有落在所述第一范圍內(nèi)，則確定該值是 否落在所述區(qū)域在所述背景統(tǒng)計模型中的所述對應值的附近的第二范圍 內(nèi)；以及其中所述指定標注的步驟包括以下步驟如果所述幀的所述區(qū)域的值落在所述第一范圍內(nèi)則指定第一標注；如果所述幀的所述區(qū)域的值沒有落在所述第一范圍內(nèi)而落在所 述第二范圍內(nèi)則指定第二標注；以及如果所述幀的所述區(qū)域的值沒有落在所述第二范圍內(nèi)則指定第三標注。
8. 根據(jù)權利要求7所述的電路，其中所述第一標注是背景，所述第 二標注是前景，而所述第三標注是明確前景。
9. 根據(jù)權利要求1所述的電路，其中所述標注所述幀的各區(qū)域的步 驟包括以下步驟確定所述區(qū)域是否與所述背景統(tǒng)計模型匹配，包括以下步驟確定所 述幀的所述區(qū)域的值是否落在所述區(qū)域在所述背景統(tǒng)計模型中的對應值 的任意數(shù)目的附近的范圍的每一個中；以及基于所述確定步驟的結(jié)果指定標注。
10. 根據(jù)權利要求1所述的電路，其中所述空間/時間濾波步驟包括 對所述幀的各區(qū)域執(zhí)行以下步驟執(zhí)行鄰域濾波；以及 執(zhí)行空間濾波、時間濾波或者其組合。
11. 根據(jù)權利要求10所述的電路，其中所述執(zhí)行空間濾波、時間濾 波或者其組合的步驟包括執(zhí)行形態(tài)腐蝕和膨脹的步驟，其中在兩個維度中 或者在三個維度中執(zhí)行所述形態(tài)腐蝕和膨脹。
12. 根據(jù)權利要求11所述的電路，其中所述執(zhí)行形態(tài)腐蝕和膨脹的 步驟包括以下步驟執(zhí)行次數(shù)為n的腐蝕，其中標注為明確前景的任何區(qū)域不被腐蝕；在執(zhí)行n次腐蝕的步驟之后執(zhí)行n次膨脹；以及在所述執(zhí)行n次膨脹的步驟之后執(zhí)行第二次數(shù)為m的膨脹。
13. 根據(jù)權利要求10所述的電路，其中所述執(zhí)行鄰域濾波的步驟包 括對所述幀的未標注為背景的各區(qū)域巧執(zhí)行以下步驟確定所述場景模型中與&對應的位置4; 確定Pm附近的鄰近區(qū)域ni;確定是否有任意所述P;與&匹配；如果有任意所述P"與&匹配，則確定&附近的鄰近區(qū)域PV，確定是否有任意所述P、與Pni匹配；以及如果有任意所述P^與巧匹配，則將P,重新標注為背景。
14. 一種電路，適于執(zhí)行用于區(qū)分視頻的前景與背景部分的一通5^ 頻分割方法，所述方法包括以下步驟從視頻流獲得幀序列；以及對所述幀序列中的各幀執(zhí)行以下步驟將所述幀與場景模型對準；構建背景統(tǒng)計模型；標注所述幀的所述區(qū)域；以及執(zhí)行空間/時間濾波。
15. 根據(jù)權利要求14所述的電路，其中所述空間/時間濾波步驟包括 對所述幀的各區(qū)域執(zhí)行以下步驟執(zhí)行鄰域濾波；以及執(zhí)行空間濾波、時間濾波或者其組合。
16. 根據(jù)權利要求15所述的電路，其中所述執(zhí)行空間濾波、時間濾 波或者其組合的步驟包括執(zhí)行形態(tài)腐蝕和膨脹的步驟，其中在兩個維度中 或者在三個維度中執(zhí)行所述形態(tài)腐蝕和膨脹。
17. 根據(jù)權利要求16所述的電路，其中所述執(zhí)行形態(tài)腐蝕和膨脹的 步驟包括以下步驟執(zhí)行次數(shù)為n的腐蝕，其中標注為明確前景的任何區(qū)域不被腐蝕；在所述執(zhí)行n次腐蝕的步驟之后執(zhí)行n次膨脹；以及在所述執(zhí)行n次膨脹的步驟之后執(zhí)行第二次數(shù)為m的膨脹。
18. 根據(jù)權利要求15所述的電路，其中所述執(zhí)行鄰域濾波的步驟包 括對所述幀的未標注為背景的各區(qū)域Pi執(zhí)行以下步驟確定所述場景模型中與P，對應的位置4;確定Pm附近的鄰近區(qū)域f^;確定是否有任意所述P"與^匹配；如果有任意所述P;與&匹配，則確定P;附近的鄰近區(qū)域P、；確定是否有任意所述P，i與Pm匹配；以及如果有任意所述P;與巧匹配，則將^重新標注為背景。
19. 根據(jù)權利要求14所述的電路，其中所述構建背景統(tǒng)計模型的步 驟包括以下步驟對所述幀的各區(qū)域執(zhí)行以下步驟確定所述背景統(tǒng)計模型是否成熟和穩(wěn)定；如果所述背景統(tǒng)計模型成熟和穩(wěn)定，則確定所述區(qū)域的值是否與 所述背景統(tǒng)計模型的對應值匹配；以及如果所述區(qū)域的值與所述背景統(tǒng)計模型的值匹配，則使用所述區(qū) 域的值來更新所述背景統(tǒng)計模型。
20. 根據(jù)權利要求19所述的電路，其中所述確定所述背景統(tǒng)計模型 是否成熟和穩(wěn)定的步驟包括以下步驟確定所述背景統(tǒng)計模型是否成熟，而如果不成熟，則使用所述區(qū)域的值來更新所述背景統(tǒng)計模型；如果所述背景統(tǒng)計模型被確定為成熟，則確定所述背景統(tǒng)計模型是否 穩(wěn)定;如果所述背景統(tǒng)計模型被確定為不穩(wěn)定，則使用所述區(qū)域的值來更新 所述背景統(tǒng)計模型。
21. 根據(jù)權利要求20所述的電路，其中使用所述區(qū)域的值來更新所 述背景統(tǒng)計模型的各步驟包括以下步驟更新所述區(qū)域的游動平均值；以及更新所述區(qū)域的游動標準偏差值。
22. 根據(jù)權利要求19所述的電路，其中所述使用所述區(qū)域的值來更 新所述背景統(tǒng)計模型的步驟包括以下步驟更新所述區(qū)域的游動平均值；以及更新所述區(qū)域的游動標準偏差值。
23. 根據(jù)權利要求19所述的電路，其中所述構建背景統(tǒng)計模型的步 驟還包括完成所述背景統(tǒng)計模型的步驟。
24. 根據(jù)權利要求14所述的方法，其中所述標注所述幀的所述區(qū)域 的步驟包括對所述幀的各區(qū)域執(zhí)行以下步驟關于用于該區(qū)域的所述背景統(tǒng)計模型的成熟性和穩(wěn)定性進行確定；確定用于該區(qū)域的所述背景統(tǒng)計模型的值是否與用于該區(qū)域的 所述場景模型的值匹配；確定所述區(qū)域的值是否與用于該區(qū)域的所述場景模型的值匹配；以及確定所述區(qū)域的值與用于該區(qū)域的所述背景統(tǒng)計模型的值匹配的程度；以及其中基于所述進行確定和確定的結(jié)果將標注指定給所述區(qū)域。
25. 根據(jù)權利要求24所述的電路，其中所述關于所述背景統(tǒng)計模型 的成熟性和穩(wěn)定性進行確定的步驟包括以下步驟確定所述背景統(tǒng)計模型是否成熟； 確定所述背景統(tǒng)計模型是否穩(wěn)定；以及 如果所述背景統(tǒng)計模型不穩(wěn)定，則確定它是否曾經(jīng)先前穩(wěn)定過。
26. 根據(jù)權利要求25所述的電路，其中僅在所述背景統(tǒng)計模型被確 定為成熟時才執(zhí)行所述確定所述背景統(tǒng)計模型是否穩(wěn)定的步驟；以及其中 如果所述背景統(tǒng)計模型被確定為不成熟，則執(zhí)行所述確定所述區(qū)域的值是否與用于該區(qū)域的所述場景模型的值匹配的步驟。
27. 根據(jù)權利要求25所述的電路，其中如果所述背景統(tǒng)計模型被確定為穩(wěn)定，則執(zhí)行所述確定用于該區(qū)域的所述背景統(tǒng)計模型的值是否與用 于該區(qū)域的所述場景模型的值匹配的步驟。
28. 根據(jù)權利要求25所述的電路，其中如果所述確定所述背景統(tǒng)計 模型是否曾經(jīng)先前穩(wěn)定過的步驟返回肯定結(jié)果，則執(zhí)行所述確定所述區(qū)域 的值是否與用于該區(qū)域的所述場景模型的值匹配的步驟；以及其中如果所 述確定所述背景統(tǒng)計模型是否曾經(jīng)先前穩(wěn)定過的步驟返回否定結(jié)果，則將 所述區(qū)域標注為明確前景。
29. 根據(jù)權利要求24所述的電路，其中如果所述確定所述區(qū)域的值 是否與用于該區(qū)域的所述場景模型的值匹配的步驟返回肯定結(jié)果，則將所 述區(qū)域標注為背景，而如果返回否定結(jié)果，則將所述區(qū)域標注為前景。
30. 根據(jù)權利要求24所述的電路，其中如果所述確定用于該區(qū)域的 所述背景統(tǒng)計模型的值是否與用于該區(qū)域的所述場景模型的值匹配的步 驟返回肯定結(jié)果，則執(zhí)行確定所述區(qū)域的值與用于該區(qū)域的所述背景統(tǒng)計 模型的值匹配的程度的步驟；以及其中如果所述確定用于該區(qū)域的所述背 景統(tǒng)計模型的值是否與用于該區(qū)域的所述場景模型的值匹配的步驟返回 否定結(jié)果，則執(zhí)行所述確定所述區(qū)域的值是否與用于該區(qū)域的所述場景模 型的值匹配的步驟。
31. 根據(jù)權利要求24所述的電路，其中所述確定所述區(qū)域的值與用 于該區(qū)域的所述背景統(tǒng)計模型的值匹配的程度的步驟包括以下步驟確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型的值匹配；如果所述確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型 的值匹配的步驟，則將所述區(qū)域標注為背景；以及如果所述確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型的值匹配的步驟返回否定結(jié)果，則確定所述區(qū)域的值是否遠離所述背景統(tǒng) 計模型。
32. 根據(jù)權利要求31所述的電路，其中所述確定所述區(qū)域的值是否 遠離所述背景統(tǒng)計模型的步驟包括執(zhí)行閾值比較的步驟；以及其中如果所述確定所述區(qū)域的值是否遠離所述背景統(tǒng)計模型的步驟返回 肯定結(jié)果，則將所述區(qū)域標注為明確前景；以及如果所述確定所述區(qū)域的值是否遠離所述背景統(tǒng)計模型的步驟返回 否定結(jié)果，則將所述區(qū)域標注為前景。
33. —種電路，適于執(zhí)行用于區(qū)分視頻的前景與背景部分的一通# 頻分割方法，所述方法包括以下步驟從視頻流獲得幀序列；以及對所迷幀序列的各幀執(zhí)行以下步驟將所述幀與場景模型對準；構建背景統(tǒng)計模型和輔助統(tǒng)計模型；標注所述幀的所述區(qū)域；以及執(zhí)行空間/時間濾波。
34. 根據(jù)權利要求33所述的電路，其中所述空間/時間濾波步驟包括 對所述幀的各區(qū)域的以下步驟執(zhí)行鄰域濾波；以及執(zhí)行空間濾波、時間濾波或者其組合。
35. 根據(jù)權利要求34所述的電路，其中所述執(zhí)行空間濾波、時間濾 波或者其組合的步驟包括執(zhí)行形態(tài)腐蝕和膨脹的步驟，其中在兩個維度中 或者在三個維度中執(zhí)行所述形態(tài)腐蝕和膨脹。
36. 根據(jù)權利要求35所述的電路，其中所述執(zhí)行形態(tài)腐蝕和膨脹的 步驟包括以下步驟執(zhí)行次數(shù)為n的腐蝕，其中標注為明確前景的任何區(qū)域不被腐蝕；在所述執(zhí)行n次腐蝕的步驟之后執(zhí)行n次膨脹；以及在所述執(zhí)行n次膨脹的步驟之后執(zhí)行第二次數(shù)為m的膨脹。
37. 根據(jù)權利要求34所述的電路，其中所述執(zhí)行鄰域濾波的步驟包括對所述幀的未標注為背景的各區(qū)域&的以下步驟 確定所述場景模型中與巧對應的位置P附； 確定P，附近的鄰近區(qū)域Pm;確定是否任意所述P;與巧匹配；如果任意所述P;與&匹配，則確定Ps附近的鄰近區(qū)域P、確定是否任意所述P、與^匹配；以及 如果任意所述f^與ft匹配，則將巧重新標注為背景。
38. 根據(jù)權利要求33所述的電路，其中所述構建背景統(tǒng)計模型的步 驟包括以下步驟對所述幀的各區(qū)域執(zhí)行以下步驟確定所述背景統(tǒng)計模型是否成熟和穩(wěn)定；如果所述背景統(tǒng)計模型成熟和穩(wěn)定，則確定所述區(qū)域的值是否與 所述背景統(tǒng)計模型的對應值匹配；如果所述區(qū)域的值與所述背景統(tǒng)計模型的值匹配，則使用所述區(qū) 域的值來更新所述背景統(tǒng)計模型；以及如果所述區(qū)域的值不與所述背景統(tǒng)計模型的值匹配，則使用所述 區(qū)域的值來更新所述輔助統(tǒng)計模型。
39. 根據(jù)權利要求38所述的電路，其中所述確定所述背景統(tǒng)計模型 是否成熟和穩(wěn)定的步驟包括以下步驟確定所述背景統(tǒng)計模型是否成熟，而如果不成熟，則使用所述區(qū)域的值來更新所述背景統(tǒng)計模型；如果所述背景統(tǒng)計模型被確定為成熟，則確定所述背景統(tǒng)計模型是否穩(wěn)定;如果所述背景統(tǒng)計模型被確定為不穩(wěn)定，則使用所述區(qū)域的值來更新 所述背景統(tǒng)計模型。
40. 根據(jù)權利要求39所述的電路，其中使用所述區(qū)域的值來更新所 述背景統(tǒng)計模型的各步驟包括以下步驟更新所述區(qū)域的游動平均值；以及更新所述區(qū)域的游動標準偏差值。
41. 根據(jù)權利要求38所述的電路，其中所述使用所述區(qū)域的值來更 新所述背景統(tǒng)計模型的步驟包括以下步驟更新所述區(qū)域的游動平均值；以及更新所述區(qū)域的游動標準偏差值。
42. 根據(jù)權利要求38所述的電路，其中所述更新輔助統(tǒng)計模型的步 驟包括以下步驟確定所述輔助統(tǒng)計模型是否成熟；如果所述輔助統(tǒng)計模型不成熟，則使用所述區(qū)域的值來更新所述輔助 統(tǒng)計模型；如果所述輔助統(tǒng)計模型成熟，則確定所述輔助統(tǒng)計模型是否穩(wěn)定；如果所述輔助統(tǒng)計模型不穩(wěn)定，則使用所述區(qū)域的值更新所述輔助統(tǒng) 計模型；以及如果所述輔助統(tǒng)計模型穩(wěn)定，則利用用于該區(qū)域的所述輔助統(tǒng)計模型 來取代用于該區(qū)域的所述背景統(tǒng)計模型。
43. 根據(jù)權利要求38所述的電路，其中所述構建背景統(tǒng)計模型的步 驟還包括完成所述背景統(tǒng)計模型的步驟。
44. 根據(jù)權利要求33所述的方法，其中所述標注所述幀的所述區(qū)域 的步驟包括對所述幀的各區(qū)域的以下步驟關于用于該區(qū)域的所述背景統(tǒng)計模型的成熟性和穩(wěn)定性進行確定；確定用于該區(qū)域的所述背景統(tǒng)計模型的值是否與用于該區(qū)域的所述 場景模型的值匹配；確定所述區(qū)域的值是否與用于該區(qū)域的所述場景模型的值匹配；以及確定所述區(qū)域的值與用于該區(qū)域的所述背景統(tǒng)計模型的值匹配的程度；以及其中基于所述進行確定和確定步驟的結(jié)果將標注指定給所述區(qū)域。
45. 根據(jù)權利要求44所述的電路，其中所述關于所述背景統(tǒng)計模型 的成熟性和穩(wěn)定性進行確定的步驟包括以下步驟確定所述背景統(tǒng)計模型是否成熟；確定所述背景統(tǒng)計模型是否穩(wěn)定；以及 如果所述背景統(tǒng)計模型不穩(wěn)定，則確定它是否曾經(jīng)先前穩(wěn)定過。
46. 根據(jù)權利要求45所述的電路，其中僅在所述背景統(tǒng)計模型被確 定為成熟時才執(zhí)行所述確定所述背景統(tǒng)計模型是否穩(wěn)定的步驟；以及其中 如果所述背景統(tǒng)計模型被確定為不成熟，則執(zhí)行所述確定所述區(qū)域的值是 否與用于該區(qū)域的所述場景模型的值匹配的步驟。
47. 根據(jù)權利要求45所述的電路，其中如果所述背景統(tǒng)計模型被確 定為穩(wěn)定，則執(zhí)行所述確定用于該區(qū)域的所述背景統(tǒng)計模型的值是否與用 于該區(qū)域的所述場景模型的值匹配的步驟。
48. 根據(jù)權利要求45所述的電路，其中如果所述確定所述背景統(tǒng)計 模型是否曾經(jīng)先前穩(wěn)定過的步驟返回肯定結(jié)果，則執(zhí)行所述確定所述區(qū)域 的值是否與用于該區(qū)域的所述場景模型的值匹配的步驟；以及其中如果所 述確定所述背景統(tǒng)計模型是否曾經(jīng)先前穩(wěn)定過的步驟返回否定結(jié)果，則將 所述區(qū)域標注為明確前景。
49. 根據(jù)權利要求44所述的電路，其中如果所述確定所述區(qū)域的值 是否與用于該區(qū)域的所述場景模型的值匹配的步驟返回肯定結(jié)果，則將所 述區(qū)域標注為背景，而如果返回否定結(jié)果，則將所述區(qū)域標注為前景。
50. 根據(jù)權利要求44所述的電路，其中如果所述確定用于該區(qū)域的 所述背景統(tǒng)計模型的值是否與用于該區(qū)域的所述場景模型的值匹配的步 驟返回肯定結(jié)果，則執(zhí)行所述確定所述區(qū)域的值與用于該區(qū)域的所述背景 統(tǒng)計模型的值匹配的程度的步驟；以及其中如果所述確定用于該區(qū)域的所 述背景統(tǒng)計模型的值是否與用于該區(qū)域的所述場景模型的值匹配的步驟 返回否定結(jié)果，則執(zhí)行所述確定所述區(qū)域的值是否與用于該區(qū)域的所述場 景模型的值匹配的步驟。
51. 根據(jù)權利要求44所述的電路，其中所述確定所述區(qū)域的值與用 于該區(qū)域的所述背景統(tǒng)計模型的值匹配的程度的步驟包括以下步驟確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型的值匹配；如果所述確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型 的值匹配的步驟，則將所述區(qū)域標注為背景；以及如果所述確定所述區(qū)域的值是否與用于該區(qū)域的所述背景統(tǒng)計模型 的值匹配的步驟返回否定結(jié)果，則確定所述區(qū)域的值是否遠離所述背景統(tǒng)計模型。
52. 根據(jù)權利要求51所述的電路，其中所述確定所述區(qū)域的值是否 遠離所述背景統(tǒng)計模型的步驟包括執(zhí)行閾值比較的步驟；以及其中如果所述確定所述區(qū)域的值是否遠離所述背景統(tǒng)計模型的步驟返回 肯定結(jié)果，則將所述區(qū)域標注為明確前景；以及如果所述確定所述區(qū)域的值是否遠離所述背景統(tǒng)計模型的步驟返回 否定結(jié)果，則將所述區(qū)域標注為前景。
53. —種電路，適于執(zhí)行用于區(qū)分視頻的前景與背景部分的二通i^L 頻分割方法，所述方法包括以下步驟從輸入的視頻流獲得幀序列；對所述幀序列的各幀執(zhí)行第一通路方法，所述第一通路方法包括以下 步驟將所述幀與場景模型對準；以及更新背景統(tǒng)計模型，所述背景統(tǒng)計模型包括與所述幀序列的幀的 區(qū)域和所述區(qū)域的方差對應的值；完成所述背景統(tǒng)計模型；以及對所述幀序列的各幀執(zhí)行第二通路方法，所述第二通路方法包括以下 步驟標注所述幀的各區(qū)域；以及 執(zhí)行對所述幀的所述區(qū)域的空間/時間濾波。
54. —種電路，適于執(zhí)行用于區(qū)分視頻的前景與背景部分的一通5^L 頻分割方法，所述方法包括以下步驟從視頻流獲得幀序列；以及對所述幀序列的各幀執(zhí)行以下步驟將所述幀與場景模型對準；構建背景統(tǒng)計模型，所述背景統(tǒng)計模型包括與所述幀序列的幀的 區(qū)域和所述區(qū)域的方差對應的值；標注所述幀的所述區(qū)域；以及執(zhí)行空間/時間濾波。
55. —種用于區(qū)分視頻的前景與背景部分的一通a頻分割方法，包 括以下步驟獲得實時視頻流；以及對所述實時幀流中的各幀執(zhí)行以下步驟標注所述幀中的像素；執(zhí)行空間/時間濾波；在標注所述〗象素之后更新背景統(tǒng)計模型；以及 在標注所述^象素之后構建和/或更新至少一個前景統(tǒng)計模型。
56. 根據(jù)權利要求55所述的方法，其中對所述實時幀流中的各幀還 執(zhí)行以下步驟將對象插入所述背景統(tǒng)計模型中。
57. 根據(jù)權利要求55所述的方法，其中標記所述幀中的像素包括 補償所述幀的全局光照變化。
58. 根據(jù)權利要求55所述的方法，其中更新所述背景統(tǒng)計模型和所 述前景統(tǒng)計模型包括補償所述幀的全局光照變化。
59. 根據(jù)權利要求55所述的方法，其中針對所述幀中的興趣區(qū)域在 所述幀中標注像素。
60. 根據(jù)權利要求55所述的方法，其中針對所述幀中的興趣區(qū)域構 建和/或更新所述背景統(tǒng)計模型和所述前景統(tǒng)計模型的像素。
61. 根據(jù)權利要求55所述的方法，其中基于所述背景統(tǒng)計模型的先 前統(tǒng)計值來更新所述背景統(tǒng)計模型。
62. 根據(jù)權利要求61所述的方法，其中基于向所述背景統(tǒng)計模型的 先前統(tǒng)計值應用的無限沖激響應濾波器來更新所述背景統(tǒng)計模型。
63. 根據(jù)權利要求55所述的方法，其中基于所述前景統(tǒng)計模型的先 前統(tǒng)計值來更新所述前景統(tǒng)計模型。
64. 根據(jù)權利要求63所述的方法，其中基于向所述前景統(tǒng)計模型的 先前統(tǒng)計值應用的無限沖激響應濾波器來更新所述前景統(tǒng)計模型。
65. —種計算機系統(tǒng)，包括計算機；以及計算機可讀介質(zhì)，包含實施根據(jù)權利要求55所述的方法的軟件。
66. —種計算機可讀介質(zhì)，包括實施根據(jù)權利要求1所述的方法的軟件。
67. —種電路，適于執(zhí)行用于區(qū)分視頻前景與背景部分的一通膝魄頻 分割方法，所述方法包括以下步驟獲得實時視頻流；以及對所述實時幀流中的各幀執(zhí)行以下步驟標注所述幀中的像素；執(zhí)行空間/時間濾波；在標注所述像素之后更新背景統(tǒng)計模型；以及 在標注所述像素之后構建和/或更新至少一個前景統(tǒng)計模型。
68. 根據(jù)權利要求67所述的方法，其中對所述實時幀流中的各幀還 執(zhí)行以下步驟將對象插入所述背景統(tǒng)計模型中。
69. 根據(jù)權利要求67所述的方法，其中標注所述幀中的像素包括 補償所述幀的全局光照變化。
70. 根據(jù)權利要求67所述的方法，其中更新所述背景統(tǒng)計模型和所 述前景統(tǒng)計模型包括補償所述幀的全局光照變化。
71. 根據(jù)權利要求67所述的方法，其中針對所述幀中的興趣區(qū)域在 所述幀中標注像素。
72. 根據(jù)權利要求67所述的方法，其中針對所述幀中的興趣區(qū)域構 建和/或更新所述背景統(tǒng)計模型和所述前景統(tǒng)計模型的像素。
73. 根據(jù)權利要求67所述的方法，其中基于所述背景統(tǒng)計模型的先 前統(tǒng)計值來更新所述背景統(tǒng)計模型。
74. 根據(jù)權利要求73所述的方法，其中基于向所述背景統(tǒng)計模型的 先前統(tǒng)計值應用的無限沖激響應濾波器來更新所述背景統(tǒng)計模型。
75. 根據(jù)權利要求67所述的方法，其中基于所述前景統(tǒng)計模型的先 前統(tǒng)計值來更新所述前景統(tǒng)計模型。
76. 根據(jù)權利要求75所述的方法，其中基于向所述前景統(tǒng)計模型的 先前統(tǒng)計值應用的無限沖激響應濾波器來更新所述前景統(tǒng)計模型。
全文摘要
一種用于將視頻數(shù)據(jù)分割成前景和背景部分(324)的方法，該方法利用對像素的統(tǒng)計建模。為各像素構建背景的統(tǒng)計模型，并且將到來的視頻幀中的各像素與用于該像素的背景統(tǒng)計模型做比較(326)?；诒容^將像素確定為前景或者背景。用于分割視頻數(shù)據(jù)的方法可以并入用于實施智能視頻監(jiān)視系統(tǒng)的方法中?？梢杂糜布嵤┯糜诜指钜曨l數(shù)據(jù)的方法。
文檔編號G06K9/36GK101443789SQ200780017762
公開日2009年5月27日 申請日期2007年3月1日 優(yōu)先權日2006年4月17日
發(fā)明者加里·W·邁爾斯, 奧馬爾·賈韋德, 尹衛(wèi)紅, 尼爾斯·黑林, 忠 張, 彼得·L·韋奈蒂阿奈爾, 艾倫·J·利普頓, 齊山·拉希德 申請人:實物視頻影像公司