專利名稱：用于改進(jìn)的多模式背景去除的模式移除的制作方法
技術(shù)領(lǐng)域：
本公開涉及用于圖像中的前景檢測的背景去除，具體地說，涉及用于圖像序列的多外觀背景模型的維持。
背景技術(shù)：
視頻是圖像的序列，其也可以被稱為視頻序列或圖像序列。圖像也被稱為幀。術(shù)語“幀”和“圖像”在整個說明書中互換地使用，以描述圖像序列中的單個圖像。圖像由視覺元素(例如像素)構(gòu)成，或者由8X8DCT (離散余弦變換)塊構(gòu)成,如JPEG圖像中使用的那樣。場景建模，又稱為背景建模，涉及基于對場景進(jìn)行描述的圖像序列來對場景的視覺內(nèi)容進(jìn)行建模。場景建模允許視頻分析系統(tǒng)通過背景差異化操作來在瞬變前景對象與非瞬變背景之間進(jìn)行區(qū)分。一種用于場景建模的方法使用視覺元素模型中的周全考慮(discreet)數(shù)量的模式模型來表示場景中的每個位置，其中，每個模式模型具有外觀。也就是說，場景中的每個位置與和場景關(guān)聯(lián)的場景模型中的視覺元素模型相關(guān)聯(lián)。每個視覺元素模型包括模式模型的集合。在基本情況下，模式模型的集合包括一個模式模型。在多模式實(shí)現(xiàn)的情況下，模式模型的集合包括至少一個模式模型，并且可以包括多個模式模型。場景中的每個位置與輸入視頻幀中的每一個中的視覺元素對應(yīng)。在一些現(xiàn)有技術(shù)中，視覺元素是像素值。在其它技術(shù)中，視覺元素是DCT (離散余弦變換)塊。來自視頻幀的每個輸入視覺元素在場景模型中的對應(yīng)位置處針對對應(yīng)視覺元素模型中的模式模型的集合進(jìn)行匹配。如果輸入視覺元素與現(xiàn)有模式模型足夠相似，則輸入視覺元素被看作是對于現(xiàn)有模式模型的匹配。如果沒發(fā)現(xiàn)匹配，則創(chuàng)建新的模式模型以表示輸入視覺元素。在一些技術(shù)中，如果視覺元素匹配于視覺元素模型中的現(xiàn)有模式模型，則視覺元素被看作背景，否則是前景。在其它技術(shù)中，作為前景或背景的視覺元素的狀態(tài)取決于視覺元素所匹配的模式模型的屬性。這樣的屬性可以包括例如視覺元素模型的“年齡(age ) ”。因為多模式模型技術(shù)可以表示并且補(bǔ)償循環(huán)往復(fù)(recurring)外觀(例如門正打開以及門正關(guān)閉或在紅色、綠色與關(guān)閉之間循環(huán)的狀態(tài)燈)，所以多模式模型技術(shù)相對于單模式模型系統(tǒng)具有明顯優(yōu)點(diǎn)。如上所述，多視覺元素模型技術(shù)存儲每個視覺元素模型中的模式模型的集合。然后對輸入視覺元素模型與和輸入視覺元素的位置相對應(yīng)的視覺元素模型中的每個模式模型進(jìn)行比較。然而，多視覺元素模型方法的特定難度是過度建模(over-modelling)。隨著時間過去，在相同視覺元素位置處創(chuàng)建越來越多的模式模型，直到任何輸入視覺元素被識別并且看作背景，這是因為先前已經(jīng)在相同位置看見了相似的外觀。作為存儲總是增加數(shù)量的模式模型的結(jié)果，處理時間增加，并且存儲器需求增大。更重要的是，即使一些視覺元素與視頻中的新的先前未看見的對象相對應(yīng)但具有與歷史中的任何其它先前可見對象相似的視覺外觀，這些視覺元素也被看作背景。
—種用于克服這個困難的方法是，將用于場景的給定視覺元素的視覺元素模型中的所存儲的模式模型的數(shù)量限制為固定數(shù)量K (例如5)。K的優(yōu)化值對于不同場景和不同應(yīng)用是不同的。另一已知方法是為每個模式模型給出有限的壽命或期滿時間。已知的方法根據(jù)模式模型已經(jīng)被匹配多少次、何時創(chuàng)建模式模型或者模式模型上次被匹配的時間來設(shè)置期滿時間。然而，在所有情況下，在適用于語義地作為對于背景的改變的外觀與允許語義地作為前景對象的外觀的速度之間存在折衷。因此，需要提供一種用于維持在圖像序列的前景-背景分離中使用的場景模型的改進(jìn)的方法和系統(tǒng)
發(fā)明內(nèi)容

本發(fā)明的目的在于基本上克服或至少改進(jìn)現(xiàn)有布置的一個或多個缺點(diǎn)。根據(jù)本公開的第一方面，提供一種更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法，該視覺元素模型包括用于與場景的位置相對應(yīng)的視覺元素的模式模型的集合。該方法接收圖像序列的當(dāng)前幀的輸入視覺元素，對于視覺元素模型中的每個模式模型，取決于輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較而將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個。該方法然后基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從視覺元素模型中移除該疏遠(yuǎn)模式模型。根據(jù)本公開的第二方面，提供一種計算機(jī)可讀存儲介質(zhì)，在該存儲介質(zhì)上已經(jīng)記錄有用于命令處理器執(zhí)行更新與在圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法的計算機(jī)程序，所述視覺元素模型包括用于與場景的位置相對應(yīng)的視覺元素的模式模型的集合。該計算機(jī)程序包括用于執(zhí)行以下步驟的代碼接收圖像序列的當(dāng)前幀的輸入視覺元素；對于視覺元素模型中的每個模式模型，取決于輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從視覺元素模型中移除該疏遠(yuǎn)模式模型。根據(jù)本公開的第三方面，提供一種用于捕獲圖像序列的相機(jī)系統(tǒng)。該相機(jī)系統(tǒng)包括透鏡系統(tǒng)；傳感器；存儲設(shè)備，用于存儲計算機(jī)程序；控制模塊，耦合到透鏡系統(tǒng)和傳感器中的每一個以捕獲圖像序列；以及處理器，用于執(zhí)行程序。所述程序包括用于更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的計算機(jī)程序代碼，所述視覺元素模型包括用于與場景的位置相對應(yīng)的視覺元素的模式模型的集合，所述更新包括以下步驟接收圖像序列的當(dāng)前幀的輸入視覺元素；對于視覺元素模型中的每個模式模型，取決于輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從視覺元素模型中移除該疏遠(yuǎn)模式模型。根據(jù)本公開的第四方面，提供一種通過利用與場景相關(guān)聯(lián)的場景模型來執(zhí)行場景的視頻監(jiān)控的方法，所述場景模型包括多個視覺元素，其中，每個視覺元素與包括模式模型的集合的視覺元素模型相關(guān)聯(lián)。該方法包括以下步驟通過以下步驟來更新場景模型的視覺元素模型接收圖像序列的當(dāng)前幀的輸入視覺元素；對于視覺元素模型中的每個模式模型，取決于輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從視覺元素模型中移除該疏遠(yuǎn)模式模型。根據(jù)本公開的第五方面，提供一種更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法，所述 視覺元素模型包括用于與場景的位置相對應(yīng)的視覺元素的多個模式模型，每個模式模型與期滿時間相關(guān)聯(lián)。該方法包括以下步驟接收圖像序列的當(dāng)前視頻幀的輸入視覺元素；對于視覺元素模型中的每個模式模型，基于所述輸入視覺元素的視覺特性與相應(yīng)模式模型的視覺特性之間的比較而將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；取決于識別具有超過成熟度閾值的第一時間特性的匹配模式模型以及識別具有不超過穩(wěn)定性閾值的第二時間特性的疏遠(yuǎn)模式模型而減少識別出的疏遠(yuǎn)模式模型的期滿時間，以更新所述視覺元素模型。根據(jù)本公開的另一方面，提供一種用于實(shí)現(xiàn)上述方法中的任一個的裝置。根據(jù)本公開的另一方面，提供一種包括其上記錄有用于實(shí)現(xiàn)上述方法中的任一個的計算機(jī)程序的計算機(jī)可讀介質(zhì)的計算機(jī)程序產(chǎn)品。還公開了本發(fā)明的其它方面。


現(xiàn)將參照以下附圖描述本公開的一個或更多個實(shí)施例，其中圖I是對其執(zhí)行前景/背景分割的相機(jī)的功能框圖；圖2是輸入幀以及包括視覺元素模型的場景模型的示意性框圖表示，視覺元素模型進(jìn)而包括模式模型；圖3是示出用于把輸入圖像元素與視覺元素模型匹配的處理的流程圖；圖4示出來自輸入視頻的五個幀、以及在單個視覺元素位置處的三個對應(yīng)的視覺元素模型，展示了當(dāng)前方法的問題；圖5通過示出來自長視頻的六個幀而展示所解決的問題的一個示例，其中在視覺元素位置的集合處的相似外觀最終產(chǎn)生失敗的檢測；圖6是示出模型的刪除的方法的流程圖；圖7示出參照圖5的六個幀的本發(fā)明實(shí)施例的效果；圖8A和圖SB形成在上面可以實(shí)踐所描述的布置的通用計算機(jī)系統(tǒng)的示意性框圖；以及圖9示出與圖4相同的五個幀，展示了對當(dāng)前問題的解決方案。
具體實(shí)施例方式在任一個或更多個附圖中引用具有相同標(biāo)號的步驟和/或特征的情況下，為了該描述的目的這些步驟和/或特征具有相同的功能或操作，除非相反意圖出現(xiàn)。本發(fā)明提供一種用于維持與圖像序列中描述的場景相關(guān)聯(lián)的場景模型的方法和系統(tǒng)。所述方法通過從場景模型中有選擇地移除可能另外產(chǎn)生副效果的那些元素而運(yùn)作。具體地說，所述方法適于當(dāng)與背景相對應(yīng)的模式模型與輸入視覺元素匹配時從視覺元素模型移除與前景相對應(yīng)的那些模式模型。本公開提供一種更新場景模型的視覺元素模型的方法。場景模型與圖像序列中捕獲的場景相關(guān)聯(lián)。所述視覺元素模型包括用于與場景的位置相對應(yīng)的視覺元素的模式模型的集合。該方法接收圖像序列的 當(dāng)前幀的輸入視覺元素。在一種布置中，對于該視覺元素模型中的每個模式模型，該方法將各個模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個。該分類取決于輸入視覺元素的外觀與各個模式模型的視覺特性的集合之間的比較。在一個實(shí)現(xiàn)中，輸入視覺元素的外觀是由與輸入視覺元素相關(guān)聯(lián)的輸入視覺特性的集合提供的。該方法然后基于超過成熟度閾值的匹配模式模型的第一時間特性和小于穩(wěn)定性閾值的疏遠(yuǎn)模式模型的第二時間特性，從所述視覺元素模型移除所述模式模型中的被分類為所述疏遠(yuǎn)模式模型的一個。在另一布置中，對于所述視覺元素模型中的每個模式模型，該方法將各個模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個。該分類是基于輸入視覺元素的視覺特性與各個模式模型的視覺特性之間的比較而進(jìn)行的。該方法然后取決于識別具有超過(即舊于)成熟度閾值的第一時間特性的匹配模式模型和識別具有第二時間特性的疏遠(yuǎn)模式模型，來減少識別出的疏遠(yuǎn)模式模型的期滿時間。圖I示出在上面可以執(zhí)行前景/背景分割的相機(jī)100的功能框圖。相機(jī)100是搖攝傾斜變焦相機(jī)(PTZ)，包括相機(jī)模塊101、搖攝和傾斜模塊103以及透鏡系統(tǒng)114。相機(jī)模塊101典型地包括至少一個處理器單元105、存儲器單元106、光敏傳感器陣列115、耦合到傳感器陣列115的輸入/輸出(I/O)接口 107、耦合到通信網(wǎng)絡(luò)116的輸入/輸出(I/O)接口 108、以及用于搖攝和傾斜模塊103和透鏡系統(tǒng)114的輸入/輸出(I/O)接口 113。相機(jī)模塊101的組件107、105、108、113和106典型地經(jīng)由互連總線104并且以產(chǎn)生本領(lǐng)域技術(shù)人員已知的常規(guī)操作模式的方式進(jìn)行通信。相機(jī)100用于捕獲表示場景的視覺內(nèi)容的也被稱為輸入圖像的視頻幀，其中，場景的至少一部分出現(xiàn)在相機(jī)100的視場中。相機(jī)100捕獲的每個幀包括多于一個的視覺元素。視覺元素定義為圖像采樣。在一個實(shí)施例中，視覺元素是像素(例如紅-綠-藍(lán)(RGB)像素)。在另一實(shí)施例中，每個視覺元素包括一組像素。在又一實(shí)施例中，視覺元素是變換系數(shù)，例如對運(yùn)動JPEG幀進(jìn)行解碼所需的離散余弦變換(DCT)系數(shù)、或在JPEG-2000標(biāo)準(zhǔn)中所使用的離散小波變換(DWT)系數(shù)的8乘8的塊。彩色模型是YUV，其中，Y分量表示亮度，U和V表示色度。在一種布置中，存儲器單元106存儲包括用于執(zhí)行用于根據(jù)本公開來維持場景模型的方法的計算機(jī)代碼指令的計算機(jī)程序，其中，所述指令可以由處理器單元105執(zhí)行。在替代布置中，遠(yuǎn)程計算設(shè)備上的視頻分析系統(tǒng)處理由相機(jī)100捕獲的一個或更多個輸入幀，其中，遠(yuǎn)程計算設(shè)備包括用于執(zhí)行用于實(shí)現(xiàn)根據(jù)公開來維持場景模型的方法的計算機(jī)代碼指令的處理器。圖8A和圖8B描述在上面可以實(shí)踐所描述的各種布置的通用計算機(jī)系統(tǒng)800。如圖8A可見，計算機(jī)系統(tǒng)800包括計算機(jī)模塊801 ;輸入設(shè)備，例如鍵盤802、鼠標(biāo)指點(diǎn)設(shè)備803、掃描儀826、相機(jī)827以及麥克風(fēng)880 ;以及輸出設(shè)備，包括打印機(jī)815、顯示設(shè)備814和外放揚(yáng)聲器817。計算機(jī)模塊801可以使用外部調(diào)制解調(diào)器(Modem)收發(fā)機(jī)設(shè)備816，以用于經(jīng)由連接821而與通信網(wǎng)絡(luò)820進(jìn)行通信。通信網(wǎng)絡(luò)820可以是廣域網(wǎng)(WAN，例如互聯(lián)網(wǎng))，蜂窩通信網(wǎng)絡(luò)、或私有WAN。在連接821是電話線路的情況下，調(diào)制解調(diào)器816可以是傳統(tǒng)“撥號”調(diào)制解調(diào)器?；蛘?，在連接821是高容量(例如纜線)連接的情況下，調(diào)制解調(diào)器816可以是寬帶調(diào)制解調(diào)器。無線調(diào)制解調(diào)器也可以用于到通信網(wǎng)絡(luò)820的無線連接。
計算機(jī)模塊801典型地包括至少一個處理器單元805、以及存儲器單元806。例如，存儲器單元806可以具有半導(dǎo)體隨機(jī)存取存儲器(RAM)和半導(dǎo)體只讀存儲器(ROM)。計算機(jī)模塊801還包括多個輸入/輸出(I/O)接口，其包括音頻視頻接口 807，其耦合到視頻顯示器814、外放揚(yáng)聲器817和麥克風(fēng)880 ;1/0接口 813，其耦合到鍵盤802、鼠標(biāo)803、掃描儀826、相機(jī)827，并且可選地包括操縱桿或其它人類接口設(shè)備(未示出)；以及接口 808，用于外部調(diào)制解調(diào)器816和打印機(jī)815。在一些實(shí)現(xiàn)中，調(diào)制解調(diào)器816可以合并到計算機(jī)模塊801內(nèi)，例如在接口 808內(nèi)。計算機(jī)模塊801還具有本地網(wǎng)絡(luò)接口 811，其允許計算機(jī)系統(tǒng)800經(jīng)由連接823耦合到局域通信網(wǎng)絡(luò)822 (被稱為局域網(wǎng)(LAN))。如圖8A所示，本地通信網(wǎng)絡(luò)822也可以經(jīng)由將典型地包括所謂的“防火墻”設(shè)備或相似功能的設(shè)備的連接824而耦合到廣域網(wǎng)絡(luò)820。本地網(wǎng)絡(luò)接口 811可以包括以太網(wǎng) 電路卡、藍(lán)牙 無線布置或IEEE 802. 11無線布置；然而，對于接口 811可以實(shí)踐大量其它類型的接口。相機(jī)827可以與圖I的PTZ相機(jī)100對應(yīng)。在替代布置中，計算機(jī)模塊801經(jīng)由廣域通信網(wǎng)820和/或局域通信網(wǎng)822而耦合到相機(jī)100。I/O接口 808和813可以提供串行和并行連接中的一個或二者，前者通常根據(jù)通用串行總線(USB)標(biāo)準(zhǔn)而實(shí)現(xiàn)，并且具有對應(yīng)的USB連接器(未示出)。存儲設(shè)備809被提供，并且通常包括硬盤驅(qū)動器(HDD)810。也可以使用其它存儲設(shè)備(例如軟盤驅(qū)動器和磁帶驅(qū)動器(未示出))。光盤驅(qū)動器812被通常提供來充當(dāng)非易失性數(shù)據(jù)源。便攜式存儲器設(shè)備(例如光盤(例如⑶-ROM、DVD、藍(lán)光盤 )、USB-RAM、便攜式外部硬盤驅(qū)動器以及軟盤)例如可以用作系統(tǒng)800的適當(dāng)數(shù)據(jù)源。計算機(jī)模塊801的組件805至813通常經(jīng)由互連總線804并且以產(chǎn)生本領(lǐng)域技術(shù)人員已知的計算機(jī)系統(tǒng)800的常規(guī)操作模式的方式進(jìn)行通信。例如，處理器805使用連接818耦合到系統(tǒng)總線804。類似地，存儲器806和光盤驅(qū)動器812通過連接819而耦合到系統(tǒng)總線804。在上面可以實(shí)踐所描述的布置的計算機(jī)的示例包括IBM-PC和兼容機(jī)、SunSparcstation、Apple Mac 等計算機(jī)系統(tǒng)?？梢允褂糜嬎銠C(jī)系統(tǒng)800來實(shí)現(xiàn)更新場景模型的視覺元素模型的方法，其中，在此描述的圖2至圖7的處理可以實(shí)現(xiàn)為計算機(jī)系統(tǒng)800內(nèi)可執(zhí)行的一個或多個軟件應(yīng)用程序833。具體地說，接收輸入視覺元素、對模式模型進(jìn)行分類并且移除模式模型的方法的步驟由計算機(jī)系統(tǒng)800內(nèi)執(zhí)行的軟件833中的指令831 (見圖8B)執(zhí)行。軟件指令831可以形成為一個或更多個代碼模塊，每一代碼模塊用于執(zhí)行一個或多個特定任務(wù)。軟件也可以劃分為兩個單獨(dú)部分，其中，第一部分和對應(yīng)代碼模塊執(zhí)行視覺元素模型更新方法，第二部分和對應(yīng)代碼模塊管理第一部分與用戶之間的用戶接口。軟件833通常存儲在HDD810或存儲器806中。軟件從計算機(jī)可讀介質(zhì)加載到計算機(jī)系統(tǒng)800中，并且由計算機(jī)系統(tǒng)800執(zhí)行。因此，例如，軟件833可以存儲在由光盤驅(qū)動器812讀取的光學(xué)可讀盤存儲介質(zhì)(例如⑶_R0M)825上。上面記錄有這樣的軟件或計算機(jī)程序的計算機(jī)可讀介質(zhì)是計算機(jī)程序產(chǎn)品。計算機(jī)系統(tǒng)800中的計算機(jī)程序產(chǎn)品的使用優(yōu)選地實(shí)現(xiàn)用于更新場景模型中的視覺元素模型的裝置，其可以用于在例如安全性監(jiān)控和視覺分析的應(yīng)用中對圖像序列執(zhí)行前景/背景分離以檢測前景對象。在一些例子中，應(yīng)用程序833可以提供給一個或多個⑶-R0M825上編碼的用戶，并且經(jīng)由對應(yīng)驅(qū)動器812讀取，或者，可以由用戶從網(wǎng)絡(luò)820或822讀取。此外，軟件也可以從其它計算機(jī)可讀介質(zhì)加載到計算機(jī)系統(tǒng)800。計算機(jī)可讀存儲介質(zhì)是指將記錄的指令和/或數(shù)據(jù)提供給計算機(jī)系統(tǒng)800以用于執(zhí)行和/或處理的任何非易失性有形存儲介質(zhì)。這些存儲介質(zhì)的示例包括軟盤、磁帶、⑶-ROM、DVD、藍(lán)光盤、硬盤驅(qū)動器、ROM或集成電路、USB存儲器、磁光盤、或計算機(jī)可讀卡(例如PCMCIA卡等),無論這些設(shè)備在計算機(jī)模塊801的內(nèi)部還是外部。也可以參與軟件、應(yīng)用程序、指令和/或數(shù)據(jù)對計算機(jī)模塊801的提供的易失性或非有形計算機(jī)可讀傳輸介質(zhì)的示例包括無線電或紅外傳輸信道以及對另一計算機(jī)或聯(lián)網(wǎng)設(shè)備的網(wǎng)絡(luò)連接、以及包括電子郵件傳輸和在網(wǎng)站等上記錄的信息的互聯(lián)網(wǎng)或內(nèi)部網(wǎng)?！ど鲜鰬?yīng)用程序833的第二部分以及對應(yīng)代碼模塊可以執(zhí)行來實(shí)現(xiàn)要在顯示器814上呈現(xiàn)或另外表示的一個或多個圖形用戶接口(⑶I)。通過典型地操控鍵盤802和鼠標(biāo)803，計算機(jī)系統(tǒng)800和應(yīng)用的用戶可以通過功能自適應(yīng)方式操控接口，以將控制命令和/或輸入提供給與GUI關(guān)聯(lián)的應(yīng)用。也可以實(shí)現(xiàn)功能自適應(yīng)用戶接口的其它形式，例如利用經(jīng)由外放揚(yáng)聲器817輸出的語音提示以及經(jīng)由麥克風(fēng)880輸入的用戶話音命令的音頻接□。圖SB是處理器805和“存儲器”834的詳細(xì)示意性框圖。存儲器834表示圖8A中的計算機(jī)模塊801可以訪問的所有存儲器模塊(包括HDD 809和半導(dǎo)體存儲器806)的邏輯
口 O當(dāng)計算機(jī)模塊801被初始供電時，上電自檢(POST)程序850執(zhí)行。POST程序850通常存儲在圖8A的半導(dǎo)體存儲器806的R0M849中。硬件設(shè)備(例如存儲軟件的R0M849)有時被稱為固件。POST程序850檢查計算機(jī)模塊801內(nèi)的硬件，以確保正確運(yùn)行并且通常檢查處理器805、存儲器834 (809、806 )、以及也通常存儲在R0M849中的基本輸入輸出系統(tǒng)軟件(BIOS)模塊851用于正確操作。一旦POST程序850已經(jīng)成功地運(yùn)行，BI0S851就激活圖8A的硬盤驅(qū)動器810。硬盤驅(qū)動器810的激活使得經(jīng)由處理器805執(zhí)行硬盤驅(qū)動器810上駐留的引導(dǎo)(bootstrap)加載程序852。這將操作系統(tǒng)853加載到RAM存儲器806中，在其上操作系統(tǒng)853開始工作。操作系統(tǒng)853是可由處理器805執(zhí)行以完成各種高級別功能(包括處理器管理、存儲器管理、設(shè)備管理、存儲管理、軟件應(yīng)用接口以及通用用戶接口)的系統(tǒng)級別應(yīng)用。操作系統(tǒng)853管理存儲器834 (809、806)以確保計算機(jī)模塊801上運(yùn)行的每個處理或應(yīng)用具有足夠的存儲器，其中在不與分配給另一處理的存儲器沖突的情況下執(zhí)行。此夕卜，必須適當(dāng)?shù)厥褂脠D8A的系統(tǒng)800中可用的不同類型的存儲器，以使得每個處理可以有效地運(yùn)行。相應(yīng)地，集合的存儲器834并非意圖示出如何分配特定的存儲器分段(除非另外聲明)，而是提供可由計算機(jī)系統(tǒng)800訪問的存儲器以及如何使用它的概覽。如圖SB所示，處理器805包括多個功能模塊，包括控制單元839、算術(shù)邏輯單元(ALU) 840以及本地或內(nèi)部存儲器848 (有時稱為緩存存儲器)。緩存存儲器848通常包括寄存器區(qū)段中的多個存儲寄存器844-846。一個或多個內(nèi)部總線841將這些功能模塊在功能上互連。處理器805通常還具有用于使用連接818經(jīng)由系統(tǒng)總線804與外部設(shè)備進(jìn)行通信的一個或多個接口 842。存儲器834使用連接819耦合到總線804。應(yīng)用程序833包括可以包括條件分支和循環(huán)指令的指令831的序列。程序833也可以包括在執(zhí)行程序833中使用的數(shù)據(jù)832。分別在存儲器位置828、829、830和835、836、837中存儲指令831和數(shù)據(jù)832。取決于指令831和存儲器位置828-830的相對大小，可以在單個存儲器位置中存儲特 定指令，如存儲器位置830所示的指令所描述的那樣?；蛘?，可以將指令分段為多個部分，每一個部分存儲在單獨(dú)的存儲器位置中，如存儲器位置828和829中所示的指令分段所描述的那樣。通常，處理器805被給予在處理器中執(zhí)行的指令的集合。處理器1105等待后續(xù)輸入，處理器805通過執(zhí)行另一指令集合來對后續(xù)輸入做出反應(yīng)?？梢詮囊韵露鄠€源中的一個或多個提供每一輸入這些源包括由輸入設(shè)備802、803中的一個或多個生成的數(shù)據(jù)、跨網(wǎng)絡(luò)820、802中的一個從外部源接收的數(shù)據(jù)、從存儲設(shè)備806、809中的一個提取的數(shù)據(jù)或從插入到對應(yīng)讀取器812的存儲介質(zhì)825提取的數(shù)據(jù)，全部都在圖8中有描述。指令集合的執(zhí)行可以在一些情況下產(chǎn)生數(shù)據(jù)的輸出。執(zhí)行也可以涉及將數(shù)據(jù)或變量存儲到存儲器834。所公開的視覺元素模型更新布置使用在對應(yīng)存儲器位置855、856、857中的存儲器834中存儲的輸入變量854。視覺元素模型更新布置產(chǎn)生在對應(yīng)存儲器位置862、863、864中的存儲器834中存儲的輸出變量861。可以在存儲器位置859、860、866和867中存儲中間變量858。參照圖8B的處理器805，寄存器844、845、846、算術(shù)邏輯單元(ALU) 840和控制單元839 —起工作，以針對構(gòu)成程序833的指令集合中的每個指令執(zhí)行用于執(zhí)行“取得、解碼和執(zhí)行”周期所需的微操作的序列。每個取得、解碼和執(zhí)行周期包括(a)取得操作，其從存儲器位置828、829、830取得或讀取指令831 ；(b)解碼操作，其中，控制單元839確定已經(jīng)取得哪個指令；以及(c)執(zhí)行操作，其中，控制單元839和/或ALU 840執(zhí)行指令。此后，可以執(zhí)行用于下一指令的另一取得、解碼和執(zhí)行周期。相似地，可以執(zhí)行控制單元839將值存儲或?qū)懭氲酱鎯ζ魑恢?32的存儲周期。圖2至圖7的處理中的每一步驟或子處理與程序833的一個或多個分段關(guān)聯(lián)，并且由一起工作的處理器805中的寄存器區(qū)段844、845、847、ALU 840以及控制單元839執(zhí)行，以執(zhí)行用于程序833的標(biāo)注分段的指令集合中的每個指令的取得、解碼和執(zhí)行周期。
可以替代地在專用硬件(比如一個或多個門陣列和/或集成電路)中實(shí)現(xiàn)更新場景模型中的視覺元素模型的方法，這些專用硬件(比如一個或多個門陣列和/或集成電路)執(zhí)行接收輸入視覺元素、將模式模型分類為匹配或疏遠(yuǎn)以及移除疏遠(yuǎn)模式模型以更新視覺元素模型的功能或子功能。該專用硬件也可以包括圖形處理器、數(shù)字信號處理器或一個或多個微處理器以及關(guān)聯(lián)存儲器。如果使用門陣列，則圖3和圖6中的處理流程圖轉(zhuǎn)換為硬件描述語言(HDL)形式。該HDL描述轉(zhuǎn)換為設(shè)備級別網(wǎng)表(netlist)，其由布局和布線(P&R)工具用于產(chǎn)生下載到門陣列以通過HDL描述中指定的設(shè)計來對該門陣列編程的文件。圖2描述輸入幀210以及與輸入幀210中捕獲的場景相關(guān)聯(lián)的場景模型230的示意性框圖表示。輸入幀210包括多個視覺元素，其包括示例性視覺元素220。場景模型230包括對應(yīng)的多個視覺元素模型，其包括與輸入幀210的視覺元素220的方位或位置對應(yīng)的視覺元素模型240。在一個布置中，在相機(jī)100的存儲器106中存儲場景模型230。在另一布置中，在遠(yuǎn)程服務(wù)器或數(shù)據(jù)庫的存儲器中存儲場景模型230。在一個實(shí)現(xiàn)中，服務(wù)器或數(shù)據(jù)庫通過通信鏈路而耦合到相機(jī)100。通信鏈路可以包括有線或無線傳輸路徑，并且可以是專用鏈路、廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)或其它通信網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))。如上所述，輸入幀210包括多個視覺元素。在圖2的示例中，輸入幀210中的示例性視覺元素是視覺元素220。視覺元素220位于場景210中的與和輸入幀210中捕獲的場景關(guān)聯(lián)的場景模型230的視覺元素模型240對應(yīng)的位置處。視覺元素是進(jìn)行處理的基本單位并且圖像傳感器(例如相機(jī)100的光敏傳感器陣列115)捕獲視覺元素。在一個布置中，視覺元素是像素。在另一布置中，視覺元素是8X8DCT塊。在一個布置中，處理發(fā)生在相機(jī)100的處理器105上。在替代布置中，處理實(shí)時地或在較晚時間發(fā)生在位于遠(yuǎn)程的計算設(shè)備上。 場景模型230包括多個視覺元素模型，其中，每個視覺元素模型與正被建模的場景的位置或方位相對應(yīng)。場景模型230中的示例性視覺元素模型是視覺元素240。對于被建模的輸入幀210的每個輸入視覺元素，在場景模型230中維持對應(yīng)視覺元素模型。在圖2的示例中，輸入視覺元素220具有場景模型230中的對應(yīng)視覺元素模型240。視覺元素模型240包括一個或多個模式模型的集合。在圖2的示例中，視覺元素模型240包括包含模式模型1260、……、模式模型N 270的模式模型的集合。圖2的示例中的每個模式模型存儲作為視覺特性261的集合的代表性外觀。在一個布置中，模式模型具有狀態(tài)262以及時間特性263。每個視覺元素模型基于在對應(yīng)位置處的輸入視覺元素的外觀的歷史。因此，視覺元素模型240基于輸入視覺元素220的外觀的歷史。例如，如果存在閃爍霓虹燈，則一個模式模型表示“背景-燈打開”，而另一模式模型表示“背景-燈關(guān)閉”，又一模式模型表示“前景”(例如通過車的部分)。在一個布置中，模式模型視覺特性261是輸入視覺元素外觀220的像素強(qiáng)度值的均值。在另一布置中，模式模型視覺特性261是用于輸入視覺元素220的每個DCT系數(shù)的觀測DCT系數(shù)值的中值或近似中值。在一個布置中，每個模式模型具有狀態(tài)比如前景或背景。例如，模式模型1260具有背景的狀態(tài)262，模式模型N270具有前景的狀態(tài)272。在一個布置中，模式模型記錄時間特性，其可以包括模式模型的創(chuàng)建時間、已經(jīng)發(fā)現(xiàn)模式模型代表輸入視覺元素的次數(shù)的計數(shù)以及最近發(fā)現(xiàn)模式模型代表輸入視覺元素的時間。在一個布置中，時間特性還包括期滿時間，稍后描述。在圖2的示例中，模式模型1260包括時間特性263，其包括“幀O”的創(chuàng)建時間、匹配計數(shù)“5”和“幀4”的最近匹配時間。模式模型2270包括時間特性273，其包括“幀5”的創(chuàng)建時間、匹配計數(shù)“I”和“幀5”的最近匹配時間。與模式模型關(guān)聯(lián)的實(shí)際特性將取決于特定應(yīng)用。圖3是示出處理器805執(zhí)行的用于把輸入視覺元素與對應(yīng)視覺元素模型中的模式模型匹配的匹配處理300的流程圖。處理300開始于開始步驟310，其中，處理器805從圖像序列的輸入幀接收輸入視覺元素。來自相機(jī)827/100的輸入幀捕獲場景的至少一部分，并且存在與場景關(guān)聯(lián)的場景模型。輸入幀中的至少一個視覺元素具有在場景模型中的對應(yīng)預(yù)定位置處的關(guān)聯(lián)視覺元素模型。執(zhí)行處理300 (由軟件應(yīng)用程序833指引)的處理器805嘗試把輸入視覺元素的視覺特性匹配到存儲器806中存儲的對應(yīng)視覺元素模型的模式模型的視覺特性。執(zhí)行處理300的處理器805從開始步驟310進(jìn)入步驟320，其從與輸入視覺元素對應(yīng)的視覺兀素模型中選擇未嘗試的模式模型。未嘗試的模式模型是尚未與存儲器806中的輸入視覺元素比較的模式模型。執(zhí)行該方法的處理器805從視覺元素模型240中選擇單個模式模型(比如說模式模型1260)。控制從步驟320進(jìn)入第一判決步驟325，其中，處理器805判斷輸入視覺元素的外觀是否匹配來自步驟320的選擇的模式模型。選擇的模式模型1261中存儲的視覺特性與輸入視覺元素220的外觀進(jìn)行比較，以將模式模型分類為匹配或疏遠(yuǎn)。一個實(shí)施例使得處理器805通過確定在所選擇的模式模型中存儲的視覺特性與輸入視覺元素220的外觀之間的差并且比較所述差與預(yù)定閾值來對模式模型進(jìn)行分類。如果輸入視覺元素的外觀匹配所選擇的模式模型(“是”)，則控制從步驟325進(jìn)入步驟330。步驟330將所選擇的模式模型標(biāo)記為匹配模式模型。在一個實(shí)現(xiàn)中，每個模式模型具有指示該模式模型是匹配還是疏遠(yuǎn)的相關(guān)聯(lián)的狀態(tài)。在該實(shí)現(xiàn)中，步驟330將與所選擇的模式模型相關(guān)聯(lián)的狀態(tài)修改為“匹配”。控制從步驟330進(jìn)入第二判決步驟345。 如果在步驟325輸入視覺元素的外觀不匹配所選擇的模式模型(“否”)，則控制從步驟325進(jìn)入步驟340。在步驟340中，處理器805將所選擇的模式模型標(biāo)記為疏遠(yuǎn)模式模型。在其中每個模式模型具有指示該模式模型是匹配還是疏遠(yuǎn)的相關(guān)聯(lián)的狀態(tài)的實(shí)現(xiàn)中，步驟340將與所選擇的模式模型關(guān)聯(lián)的狀態(tài)修改為“疏遠(yuǎn)”?？刂茝牟襟E340進(jìn)入第二判決步驟345。在步驟345中，處理器805檢查是否在視覺元素模型中剩余有任何未嘗試的模式模型。如果在步驟345中處理器805確定還剩有至少一個未嘗試的模式模型(“是”)，則控制從步驟345返回步驟320，以選擇剩余的未嘗試的模式模型中的一個。如果在步驟345中處理器805確定不剩有未嘗試的模式模型(“否”)，則控制進(jìn)入第三判決步驟350，以檢查是否存在標(biāo)記為匹配的任何模式模型。如果在步驟350中處理器805確定存在標(biāo)記為匹配的至少一個模式模型(“是”)，則在匹配處理300在結(jié)束步驟399終止之前，控制進(jìn)入更新階段370。參照圖6描述關(guān)于更新階段370的更多細(xì)節(jié)。返回步驟350，如果步驟350確定不存在標(biāo)記為匹配的模式模型(“否”)，則將通過執(zhí)行應(yīng)用程序833的處理器805創(chuàng)建新的模式模型，以表示輸入視覺元素220。控制從步驟350進(jìn)入創(chuàng)建新的模式模型的步驟355，并且在控制進(jìn)入更新階段370之前，步驟365將新模型標(biāo)記為匹配?？刂茝牟襟E370進(jìn)入結(jié)束步驟399，并且匹配處理300終止。圖3示出用于處理300的一個實(shí)施例，其中，處理器805依次選擇每個模式模型以與輸入視覺元素進(jìn)行比較，然后將模式模型標(biāo)記為匹配或疏遠(yuǎn)中的一個?？梢缘韧貙?shí)踐用于選擇輸入視覺元素的匹配模式模型的其它方法。在一個替代實(shí)施例中，如果在視覺元素模型處僅期望單個匹配模式，則一旦已經(jīng)識別匹配模式模型，處理就從步驟330進(jìn)入步驟370中的更新階段。圖4示出可以如何隨著時間而在單個視覺元素位置處看見產(chǎn)生具有不同時間特性的多個模式模型的多個外觀以及相似的外觀可以如何產(chǎn)生不正確的結(jié)果的示例。圖4的示例包括包含相繼但不一定連續(xù)的幀410、420、430、440和450的圖像序列。視覺元素位置401出現(xiàn)在這五個幀中的每一個中。在圖4的示例中，圖像序列與以下場景有關(guān)該場景描述沿著曲線路徑行走并且向捕獲圖像序列中的圖像的相機(jī)的位置移動較近的人404。該人404后跟隨有不同的人405，其總體外觀是不同的，但正穿著相同顏色的褲子。在圖4的示例中，每個圖像包括在柵格(水平方向上五(5 )個視覺元素以及在垂直方向上四(4 )個視覺元素)中布置的多個視覺元素。在幀410、420、430、440和450之下，我們看見對于位置401存儲的模式模型(415、425、435、455)，模式模型是有效的(411、421、431、441、451)的指示以及對位置401的內(nèi)容(412、422、432、442、452)的算法判決。以下解釋產(chǎn)生不正確結(jié)果的現(xiàn)有技術(shù)布置。第一幀410中的位置401的內(nèi)容沒有前景，是路徑的區(qū)段。人404是可見的，但它們不與位置401交疊。假設(shè)先前初始化，在該時間的有效411模式模型示出該路徑區(qū)段415，并且算法正確地判斷這是先前看見的背景412。在比幀410晚的幀420處，人404出現(xiàn)在位置401處。他們的褲子的區(qū)段現(xiàn)在是可見的，新的模式模型425連同現(xiàn)有背景模式模型415 —起被存儲。該模式模型425是有 效的421，并且由于該模式模型425先前尚未被看見，因此算法正確地判決它為新前景422。在比幀420更晚的幀430處，人404已經(jīng)沿路徑進(jìn)一步移動，并且位置401包含人的手臂和頭的區(qū)段的視圖。因此，具有該內(nèi)容的新的模式模型435被存儲并且是有效的431。模式模型415和425仍是用于位置401的模型的部分。算法正確地判斷由于模式模型435是新的，因此它是前景432。第二人405出現(xiàn)在幀中，但不影響位置401的外觀。在比430更晚的幀440處，第一人404已經(jīng)沿著路徑進(jìn)一步移動，并且第二人405也出現(xiàn)在幀中，但兩個人都不影響位置401的外觀。位置401的內(nèi)容再次與它在幀410中如何顯現(xiàn)相似，并且因此，背景模式模型415被選取為有效的441。模式模型425和435保持不變，其對位置401的內(nèi)容進(jìn)行過度建模。不創(chuàng)建新的模型。由于包含路徑的屬性的有效441模式模型415先前已經(jīng)見過，因此算法正確地判斷在此時間位置401包含背景442。在比幀440更晚的幀450處，第一人404幾乎走出視圖，并且不影響位置401的外觀。然而，第二人405影響位置401的外觀。第二人的褲子的區(qū)段現(xiàn)在是可見的，與所存儲的模式模型425十分相似。由于第二人405的褲子的屬性與先前看見的模式模型455中存儲的屬性相似，所以模式模型425被匹配。在現(xiàn)有技術(shù)的示例性實(shí)現(xiàn)中，處理器805更新先前看見的模式模型455,并且模式模型455被選取為有效的451。由于先前已經(jīng)看見該模式模型455，因此算法不正確地將它看作識別的背景452。模式模型415和435保持不變。圖9與圖4對照，示出用于更新視覺元素模型的所公開的布置的示例性實(shí)現(xiàn)，其首先描述隨著時間在單個視覺元素位置處可以如何看見產(chǎn)生具有不同時間特性的多個模式模型的多個外觀。其次，示例性實(shí)現(xiàn)描述用于更新視覺元素模型的所公開的布置可以如何防止相似的外觀產(chǎn)生如圖4所示的不正確結(jié)果。圖9的示例包括包含相繼但不一定連續(xù)的幀910、920、930、940和950的圖像序列。視覺元素位置901出現(xiàn)在這五個幀中的每一個中。相似地，在圖9的示例中，圖像序列與描述沿著曲線路徑行走并且向捕獲圖像序列中的圖像的相機(jī)的位置移動得更近的人904的場景有關(guān)。該人904后面跟隨不同的人905，其總體外觀是不同的，但正穿著相同顏色的褲子。在圖9的示例中，每個圖像包括在柵格(水平方向上五(5)個視覺元素以及在垂直方向上四(4)個視覺元素)中布置的多個視覺元素。在幀910、920、930、940和950之下，我們看見對于位置901存儲的模式模型(915、925、935、955)，模式模型是有效的(911、921、931、941、951)指示以及對位置901的內(nèi)容(912、922、932、942、952)的算法判決。以下解釋用于更新視覺元素模型的所公開的布置的示例性實(shí)現(xiàn)的布置。第一幀910中的位置901的內(nèi)容沒有前景，是路徑的區(qū)段。人904是可見的，但他們不與位置901交疊。假設(shè)先前初始化，在該時間的有效911模式模型示出該路徑區(qū)段915，并且算法正確地判斷這是先前看見的背景912。在比幀910更晚的幀920處，人904出現(xiàn)在位置901處。它們的褲子的區(qū)段現(xiàn)在是可見的，并且新的模式模型925連同現(xiàn)有背景模式模型915 —起被存儲。該模式模型925是有效的921，并且由于模式模型925先前尚未被看見過，因此算法正確地判決它為新前景922。在比幀920更晚的幀930處，人904已經(jīng)沿路徑進(jìn)一步移動，并且位置901包含他們的手臂和頭的區(qū)段的視圖。因此，具有該內(nèi)容的新的模式模型935被存儲并且是有效的931。模式模型915和925仍是用于位置901的模型的部分。算法正確地判斷由于模式模 型935是新的，因此它是前景932。第二人905出現(xiàn)在幀中，但不影響位置901的外觀。在比930更晚的幀940處，第一人904已經(jīng)沿著路徑進(jìn)一步移動，并且第二人905也出現(xiàn)在幀中，但這些人不影響位置901的外觀。位置901的內(nèi)容再次與它在幀910中如何顯現(xiàn)相似，并且因此，背景模式模型915被選取為有效的941。此時，用于更新視覺元素模型的所公開的布置適用于該情況。在較新的模式模型925和935尚未被多次觀測到的同時，模式模型915是成熟的并且被識別為背景。向模式模型915的返回指示模式模型925和935表示已經(jīng)移動離開的臨時前景，并且這些模式模型從位置901的模型中移除。由于先前已經(jīng)看見作為僅有剩余模式模型的有效941模式模型915，因此算法正確地判斷在此時位置901包含背景942。在示例性布置中，在檢測到背景模式模型之后，無論模式模型925和935的屬性如何，用于更新視覺元素模型的所公開的布置都從位置901的模型中移除模式模型925和935。因為兩個模式模型925和935是在上次檢測到背景模型915之后形成的，所以刪除模式模型925和935。在用于更新視覺元素模型的所公開的布置的另一實(shí)現(xiàn)中，所公開的布置的動作是調(diào)整模式模型被看作“年齡變大”的正常處理，從而加速對根據(jù)模型保存的標(biāo)準(zhǔn)處理而是否保持模式模型925和935的判決。在該示例中，模式模型925和935中每一個均僅被觀看到一次，因此結(jié)果是相同的，并且從模型中移除模式模型925和935。在比幀940更晚的幀950處，第一人904幾乎離開視圖并且不影響位置901的外觀。然而，第二人905影響位置901的外觀。第二人的褲子的區(qū)段現(xiàn)在可見，與模式模型925十分相似，但模式模型925已經(jīng)被移除。模式模型955因此被創(chuàng)建，并且被選取為有效的951。由于該模式模型是新的，因此算法現(xiàn)在正確地將它看作新的前景952。參照圖5和圖7示出為什么附加模式模型的創(chuàng)建是期望的示例。圖5描述場景和隨著時間在該場景中的對象檢測，示出多模式系統(tǒng)中的過度建模的問題。具體地說，圖5包括在時間a、時間b、時間C、時間d、時間e和時間f捕獲的場景的圖像，其中，f > e>d>c>b>a。也就是說，圖像是圖像序列中的相繼圖像，但不一定是來自該圖像序列的連續(xù)幀。基于對圖像的前景和背景的檢測，圖5所示的每個圖像501、511、521、531、541、551具有對應(yīng)輸出505、515、525、535、545、555。當(dāng)場景是空的，并且因此沒有前景對象時，場景示出具有打開的門的空房間。初始地在時間a，輸入幀501示出場景是空的并且不包含前景對象。以每個視覺元素模型240處的至少一個匹配模式模型260初始化場景，因此輸入幀501不導(dǎo)致在存儲器806中創(chuàng)建新的模式模型，并且所有匹配的模式模型被看作背景。因此，與輸入幀501相關(guān)聯(lián)的輸出505是空白，其指示幀501中沒有檢測到前景對象。在較晚時間b，輸入幀511具有新的元素。第一人514將對象帶入場景，其中，對象是桌子512。幀511的輸出515示出分別作為前景檢測515和513的第一人514和新的桌子 512。在更晚時間C，輸入幀521具有更多不同的元素。具有給定外觀512的幀511中看見的桌子在幀521中仍然可見，具有相似外觀522。幀521示出與幀511中所示的第一人514不同的第二人526，但第二人526顯現(xiàn)在場景中的同一位置處，并且具有與幀511中的第一人514相似的外觀?；谒鼈兏髯缘臅r間特性，例如，模式模型年齡小于閾值(例如 5分鐘)，在與對象522的視覺元素相對應(yīng)的視覺元素模型中的每一個處與對象522匹配的模式模型仍被看作前景，因此對象522繼續(xù)被識別為由幀521的輸出525中的前景檢測523表示的前景。第二人526主要具有與第一人514不同的視覺外觀，因此通過新的模式模型的創(chuàng)建而正常地檢測與第二人526對應(yīng)的視覺元素，示出為幀521的輸出525中的前景模式模型527。然而，部分地，第二人526與先前第一人514共享外觀，但甚至在具有相似的外觀的這些位置處，允許桌子522的外觀被檢測為前景檢測523的相同規(guī)則還允許第二人526被檢測為前景527。在時間d中的某點(diǎn)，在場景中幀531沒有可見的人，因此背景536在由第一人514和第二人526先前占據(jù)的場景中的位置處是可見的。在幀531中，桌子仍然是可見的532，因此幀531的輸出535示出在與桌子532對應(yīng)的位置533處的前景，但該輸出535在第一人514和第二人526先前所處的場景中的位置處僅示出背景537。在更晚時間e，足夠的時間已經(jīng)過去，以使得與輸入幀541中的桌子542的外觀相對應(yīng)的模式模型被接受為背景。也就是說，存儲器806中存儲的與桌子相匹配的模式模型的年齡足夠大，以使得模式模型被分類為背景。因此，不再將桌子542檢測為與幀541對應(yīng)的輸出545中的前景。問題出現(xiàn)在較晚時間f，其中，輸入幀551示出在與第一人514和第二人526的場景中的相似位置處具有與第一人514和第二人526相似外觀的第三人558。允許將桌子542處理為輸出545中的背景的系統(tǒng)的相同期望行為現(xiàn)在也使得第三人558的外觀的部分被處理為背景，以使得第三人558僅被部分地檢測為幀551的輸出555中的前景559。用于與第一人514和第二人526的視覺元素匹配的在存儲器806中存儲的模式模型中的至少一些足夠老，以使得這些模式模型被分類為背景。因此，與第一人514和第二人526的對應(yīng)部分足夠相似的第三人558的至少一部分不正確地匹配為背景，并且不被檢測為前景。圖6是示出從系統(tǒng)的存儲器806移除模式模型的圖3的更新處理370的流程圖600。在存儲器806中創(chuàng)建新的模式模型并且將新的模式模型標(biāo)記為匹配之后，當(dāng)控制從匹配步驟340通過時，或當(dāng)控制從步驟355、365通過時，處理在步驟605開始?？刂茝牟襟E605進(jìn)入步驟610，其中，處理器805從存儲器806中的視覺元素模型選擇具有最小期滿時間的模式模型。如參照圖4以上描述的那樣，期滿時間的實(shí)現(xiàn)可以變化并且取決于應(yīng)用。如上所述，視覺元素模型可以被配置為具有有限數(shù)量的模式模型。這可以按照空間和處理約束而實(shí)現(xiàn)。在一個示例中，視覺元素模型中的模式模型的數(shù)量是閾值K。K的實(shí)際值將取決于特定應(yīng)用?？刂茝牟襟E610進(jìn)入第一判決步驟620，其中，處理器805判斷當(dāng)前視覺元素模型中的模式模型的數(shù)量是否大于閾值K的值。在一個布置中，K是固定值，例如5。如果在步驟620中，處理器805確定當(dāng)前視覺元素模型中存在多于K個模式模型(“是”)，則控制從步驟620進(jìn)入步驟615，步驟615移除具有最小(最早)期滿時間的當(dāng)前選擇的模式模型，無論該模式模型的期滿時間的值如何。也就是說，無論該模式模型的期滿時間是否已經(jīng)過去，在步驟615中，處理器805都移除該模式模型，并且控制返回到選擇步驟610，以選擇具有下一最小(下一最早)期滿時間的模式模型。在一個布置中，通過設(shè)置“跳過”比特來實(shí)現(xiàn)在步驟615中從存儲器806移除模式模型。在另一布置中，通過從鏈表中刪除表示待移除的模式模型的項來實(shí)現(xiàn)在步驟615中從存儲器806移除模式模型。在另一布置中，模式模型存儲在矢量中，并且移除包括通過使得后面的項前進(jìn)然后縮短矢量長度來蓋寫存儲器806中的模式模型信息。 如果在步驟620中，處理器805確定在當(dāng)前視覺元素模型中不存在多于K個模式模型(“否”)，這表示因為模式模型的數(shù)量，所以無需移除存儲器806中具有最小(最早)期滿時間的模式模型，則控制進(jìn)入第二判決步驟625。第二判決步驟625允許處理器805判斷當(dāng)前選擇的模式模型的期滿時間是否比輸入視覺元素的時間更小(更早)。如果期滿時間比當(dāng)前輸入視覺元素的時間更小(“是”)，則從存儲器806移除該模式模型，并且控制進(jìn)入步驟615，以從視覺元素模型615中移除該模式模型?？刂迫缓髲牟襟E615通過，并且再次返回到步驟610。如果在步驟625中，處理器805確定模式模型的期滿時間大于或等于當(dāng)前輸入視覺元素的時間(“否”)，則保留而不移除當(dāng)前選擇的模式模型，并且控制從步驟625進(jìn)入選擇性模式模型移除級630。在每個匹配模式模型已經(jīng)被估計為是否大于成熟度閾值，并且每個疏遠(yuǎn)模式模型已經(jīng)被估計為是否小于穩(wěn)定性閾值之后，選擇性模式模型移除級630操作。具體地說，在630內(nèi)的640,對小于穩(wěn)定性閾值的疏遠(yuǎn)模式模型645米取動作,其處于與大于成熟度閾值的匹配模式模型635相同的視覺元素模型中。滿足成熟度閾值的模式模型指示在場景中已經(jīng)頻繁看見模式模型。通常，一旦模式模型在場景中頻繁匹配，就將該模式模型分類為背景。換句話說，成熟度閾值判斷模式模型是否為背景。然而，在本公開實(shí)施例的另一實(shí)現(xiàn)中，存在一個成熟度閾值和一個時間閾值，該成熟度閾值判斷模式模型是否頻繁匹配于對應(yīng)視覺元素模型，該時間閾值允許處理器105將模式模型分類為背景或前景中的一個。在一個實(shí)施例中，如果存儲器806中的匹配模式模型被創(chuàng)建的時間高于預(yù)定閾值(期滿閾值)，例如1000幀，則該匹配模式模型被看作大于成熟度閾值。在另一實(shí)施例中，如果匹配模式模型被看作背景，則該匹配模式模型被看作大于成熟度閾值。在一個實(shí)現(xiàn)中，當(dāng)匹配模式模型已經(jīng)匹配高于常數(shù)(例如500幀)的次數(shù)時，該匹配模式模型被看作背景。在另一實(shí)現(xiàn)中，如果當(dāng)前時間與創(chuàng)建時間之間的差大于閾值(例如5分鐘)，則模式模型被看作背景。在另一實(shí)現(xiàn)中，如果匹配模式模型已經(jīng)匹配多次(其中，次數(shù)大于常數(shù)(例如1000次))，則該匹配模式模型被看作大于成熟度閾值。在另一實(shí)現(xiàn)中，如果滿足預(yù)定準(zhǔn)則(例如以上測試的預(yù)定組合)，例如在先前5分鐘中1000次，則該匹配模式模型被看作大于成熟度閾值。
在一個實(shí)施例中，如果疏遠(yuǎn)模式模型不大于成熟度閾值，則該疏遠(yuǎn)模式模型被看作小于穩(wěn)定性閾值。在另一實(shí)施例中，如果創(chuàng)建疏遠(yuǎn)模式模型的時間與當(dāng)前時間之間的差小于預(yù)定閾值(期滿閾值)，例如5分鐘,則存儲器806中的該疏遠(yuǎn)模式模型被看作小于穩(wěn)定性閾值。在另一實(shí)現(xiàn)中，如果疏遠(yuǎn)模式模型被看作前景，則模式模型被看作小于穩(wěn)定性閾值。在另一實(shí)現(xiàn)中，如果疏遠(yuǎn)模式模型已經(jīng)匹配少于給定次數(shù)(例如50)，則模式模型被看作小于穩(wěn)定性閾值。在另一實(shí)現(xiàn)中，如果滿足以上測試的預(yù)定組合，例如如果模式模型已經(jīng)匹配少于50次但僅如果創(chuàng)建模式模型的時間與當(dāng)前時間之間的差也小于I分鐘，則模式模型被看作小于穩(wěn)定性閾值。因此，在與成熟度閾值相同的脈絡(luò)中，穩(wěn)定性閾值判斷處理器105將模式模型分類為背景還是前景。因此，成熟度閾值和穩(wěn)定性閾值可以是 相同的時間閾值。然而，在另一實(shí)現(xiàn)中，提供確定模式模型是否不頻繁出現(xiàn)的穩(wěn)定性閾值、以及允許將模式模型分類為前景或背景的另一時間閾值。在另一實(shí)施例中，成熟度閾值和穩(wěn)定性閾值彼此相關(guān)，并且關(guān)于一對匹配模型和疏遠(yuǎn)模式模型，如果創(chuàng)建匹配模式模型的時間與創(chuàng)建疏遠(yuǎn)模式模型的時間之間的差大于預(yù)定閾值(例如5分鐘)，則存儲器806中的匹配模式模型被看作大于成熟度閾值，并且疏遠(yuǎn)模式模型被看作小于穩(wěn)定性閾值。在另一實(shí)施例中，如果匹配模式模型已經(jīng)被匹配的次數(shù)與疏遠(yuǎn)模式模型已經(jīng)被匹配的次數(shù)之間的差大于給定次數(shù)(例如60)，則匹配模式模型被看作大于成熟度閾值并且疏遠(yuǎn)模式模型被看作小于穩(wěn)定性閾值。換句話說，與疏遠(yuǎn)模式模型相t匕，匹配模式模型被匹配了更多次。在另一實(shí)施例中，如果取決于以上準(zhǔn)則的某種組合(例如以秒表示的創(chuàng)建時間與當(dāng)前時間之間的差加上模式已經(jīng)被匹配的次數(shù))針對匹配模式模型計算出的分?jǐn)?shù)比在相同視覺元素處針對疏遠(yuǎn)模式模型的以上準(zhǔn)則的組合的同樣計算出的分?jǐn)?shù)大到閾值(例如50)，則匹配模式模型被看作大于成熟度閾值，疏遠(yuǎn)模式模型被看作小于穩(wěn)定性閾值。選擇性模式模型移除級630的第一步驟是在步驟635中檢查匹配模式模型，以判斷是否有任何匹配模式模型大于成熟度閾值，如定義的那樣。如果沒有匹配模式模型大于成熟度閾值(“否”)，則控制從步驟635進(jìn)入結(jié)束步驟699，并且處理完成。如果在步驟635確定至少一個匹配模式模型大于成熟度閾值，則對在相同視覺元素模型處的其余模式模型進(jìn)行檢查，以查看該視覺元素模型中的疏遠(yuǎn)模式模型中的任一個是否小于穩(wěn)定性閾值(例如50幀)645。如果當(dāng)前視覺元素模型中不存在小于穩(wěn)定性閾值的模式模型，則控制從步驟645進(jìn)入結(jié)束步驟699，處理600終止。如果任一個疏遠(yuǎn)模式模型小于穩(wěn)定性閾值(“是”)，則控制從步驟645進(jìn)入步驟640，其減少當(dāng)前視覺元素模型中的這些疏遠(yuǎn)模式模型的期滿時間。在一個實(shí)施例中，在步驟640中使得期滿時間是立刻(immediate)，并且移除或刪除疏遠(yuǎn)模式模型。或者，可以實(shí)踐未示出的分離移除/刪除步驟，其中，移除/刪除步驟移除具有已經(jīng)過去的期滿時間的這些模式模型。在另一實(shí)施例中，期滿時間取決于模式模型已經(jīng)匹配的次數(shù)，并且該值被看作較少，例如2次匹配。在另一實(shí)施例中，罰值被存儲并且增加例如2，以便與在下次在步驟625中檢查的期滿時間偏移?？刂茝牟襟E640通過，并且返回步驟645，以再次檢查是否存在小于穩(wěn)定性閾值的疏遠(yuǎn)模式模型。換句話說，存儲器806中的每個疏遠(yuǎn)模式模型被檢查為滿足穩(wěn)定性閾值645。減少不滿足穩(wěn)定性閾值的疏遠(yuǎn)模式模型的期滿時間。選擇性模式模型移除級630允許有選擇地移除幀531和541中的與圖5的不同人514和526相對應(yīng)的模式模型。在這些時間，當(dāng)人514和526不在位置536并且在536處的背景匹配時，觸發(fā)與人514和526對應(yīng)的模式的選擇性移除。這些模式模型的選擇性移除防止通過幀551的輸出555中的部分背景匹配559示出的匹配問題。由于與桌子532和542對應(yīng)的模式模型連續(xù)地可見，直到序列的結(jié)束，因此與501中可見的背景相對應(yīng)的在桌子512的位置處的模式模型在幀501中的時間a之后不再次匹配。因此，選擇性模式模型移除級630不影響與桌子對應(yīng)的模式模型。圖7示出該情況。圖7描述場景和隨著時間在該場景中的對象檢測，示出與圖5的示例有關(guān)的改進(jìn)。如圖5那樣，圖7包括在時間a、時間b、時間C、時間d、時間e和時間f捕獲的場景的圖像，其中，f > e>d>c>b>a。也就是說，圖像是圖像序列中的相繼圖像，但不一定是來自該圖像序列的連續(xù)幀。圖7所示的每個圖像具有基于對該圖像的前景和背景的檢測的對應(yīng)輸出。當(dāng)場景是空的并且因此沒有前景對象時，場景示出具有打開的門的空房間。 初始地在時間a，輸入幀701示出場景是空的并且不包含前景對象。具有在每個視覺元素模型240處的至少一個匹配模式模型260，輸入幀701使得在存儲器806中不創(chuàng)建新的模式模型，并且所有匹配模式模型被看作背景705。在較晚時間b，輸入幀711具有新的元素。第一人714將對象(例如桌子712)帶入場景。幀711的輸出715分別檢測第一人714和新的桌子712，作為前景檢測715和713。在更晚時間C，處理器805接收的輸入幀721具有更多不同的元素。在幀711中看見的具有給定外觀的桌子712在幀721中仍然可見，具有相似的外觀722。幀721示出與幀711中所示的第一人714不同的第二人726，但第二人726顯現(xiàn)在場景中的相同位置處，并且具有與幀711中的第一人714相似的外觀?；谒鼈兏髯缘臅r間特性，例如模式模型年齡小于閾值(例如7分鐘)，與對象722對應(yīng)的元素模型仍被看作前景，從而對象繼續(xù)被識別為輸出725中的前景723。第二人726主要具有與第一人714不同的視覺外觀，從而通過新的模式模型的創(chuàng)建而正常地檢測與第二人726對應(yīng)的視覺元素，如用于幀721的輸出725中的前景模式模型727所示。然而，部分地，第二人726與先前第一人714共享外觀，但允許桌子的外觀722被檢測723的相同規(guī)則還允許第二人726被檢測為前景727，即使在具有相似的外觀的那些位置處也是如此。在時間d中的某點(diǎn)，幀731示出在場景中不存在可見的人，因此背景在由第一人714和第二人726先前占據(jù)的場景中的位置處是可見的。幀731示出桌子仍可見732，因此用于幀731的輸出735示出在與桌子732對應(yīng)的位置的前景733，但輸出735僅在第一人714和第二人726先前所處的場景中的位置處示出背景737。在更晚時間e，足夠的時間已經(jīng)過去，使得與輸入幀741中的桌子的外觀742相對應(yīng)的模式模型被接受為背景。因此，不再將桌子742檢測為與幀741對應(yīng)的輸出745中的前景。在更晚時間f，輸入幀751示出在場景中的與第一人714和第二人726相似的位置處的具有與第一人714和第二人726相似外觀的第三人758。輸出755與幀751關(guān)聯(lián)。輸出755示出檢測為前景759的第三人758。幀701、711、721、731、741 和 751 與圖 5 的幀 501、511、521、531、541 和 551 相同，幀711、721、731和741中的外觀的歷史與以前的幀511、521、531和541相同。輸出705、715、725、735 和 745 與來自圖 5 的輸出 505、515、525、535 和 545 相同。來自圖5的輸入幀和輸出的先前集合與圖7所示的輸入幀和相關(guān)聯(lián)輸出的新集合之間的差別在于第三人758檢測為最終輸出755中的前景759。最終輸入幀751具有與551所示的相同外觀，具有第三人758的外觀。然而，與人714和726的先前外觀相對應(yīng)的模式模型將已經(jīng)在時間d (此時場景的有關(guān)部分的外觀再次示出背景736)731被移除了。這允許在時間f對第三人758的檢測確切地如對第一人714的檢測那樣運(yùn)作，以產(chǎn)生檢測715。工業(yè)實(shí)用性所描述的布置可應(yīng)用于計算機(jī)和數(shù)據(jù)處理產(chǎn)業(yè)，尤其用于成像和監(jiān)控產(chǎn)業(yè)。前面僅描述本發(fā)明的一些實(shí)施例，在不脫離本發(fā)明的范圍和精神的情況下，可以進(jìn)行修改和/或改變，實(shí)施例是說明性而非限定性的?！?br> 權(quán)利要求
1.一種更新與圖像序列相關(guān)聯(lián)的場景模型的視覺元素模型的方法，所述視覺元素模型包括在所述場景模型的預(yù)定位置的模式模型的集合，所述方法包括以下步驟 接收在所述圖像序列的當(dāng)前幀的所述預(yù)定位置的輸入視覺元素； 確定在所述預(yù)定位置的前景匹配之后所述輸入視覺元素匹配在所述場景模型中的所述預(yù)定位置的背景模型；以及 基于所述確定步驟，刪除在所述前景匹配中使用的至少一個前景模型，在所述背景模型之后創(chuàng)建的所述前景模型在所述預(yù)定位置先前被匹配過。
2.一種更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法，所述視覺元素模型包括用于與所述場景的位置相對應(yīng)的視覺元素的模式模型的集合，所述方法包括以下步驟 接收所述圖像序列的當(dāng)前幀的輸入視覺元素； 對于所述視覺元素模型中的每個模式模型，取決于所述輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及 基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從所述視覺元素模型中移除該疏遠(yuǎn)模式模型。
3.如權(quán)利要求2所述的方法，其中，如果滿足以下標(biāo)準(zhǔn)中的至少一個，則所述匹配模式模型的所述第一時間特性超過所述成熟度閾值 Ca)所述匹配模式模型的創(chuàng)建時間大于預(yù)定閾值； (b)所述匹配模式模型被分類為背景；以及 (c)所述匹配模式模型已經(jīng)被匹配至少預(yù)定次數(shù)。
4.如權(quán)利要求2所述的方法，其中，如果滿足以下標(biāo)準(zhǔn)中的至少一個，則所述疏遠(yuǎn)模式模型的所述第二時間特性小于所述穩(wěn)定性閾值 (a)所述疏遠(yuǎn)模式模型不超過所述成熟度閾值； (b)所述疏遠(yuǎn)模式模型的創(chuàng)建時間小于預(yù)定閾值； (C)所述疏遠(yuǎn)模式模型被分類為前景；以及 Cd)所述疏遠(yuǎn)模式模型已經(jīng)被匹配小于預(yù)定次數(shù)。
5.如權(quán)利要求2所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果一對匹配模式模型和疏遠(yuǎn)模式模型的期滿時間相差大于閾值量，則該對匹配模式模型和疏遠(yuǎn)模式模型被看作分別大于成熟度閾值和小于穩(wěn)定性閾值。
6.如權(quán)利要求2所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果與所述匹配模式模型相比另一模式模型已經(jīng)被匹配大于給定次數(shù)，則所述匹配模式模型被看作大于成熟度閾值。
7.如權(quán)利要求2所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果在相同視覺元素處根據(jù)與所述匹配模式模型有關(guān)的以上標(biāo)準(zhǔn)的組合的第一計算分?jǐn)?shù)大于根據(jù)與所述疏遠(yuǎn)模式模型有關(guān)的以上標(biāo)準(zhǔn)的組合的第二計算分?jǐn)?shù)，則所述匹配模式模型被看作大于成熟度閾值。
8.一種計算機(jī)可讀非易失性存儲介質(zhì)，在該存儲介質(zhì)上記錄有用于命令處理器執(zhí)行更新與圖像序列相關(guān)聯(lián)的場景模型的視覺元素模型的方法的計算機(jī)程序，所述視覺元素模型包括在所述場景模型的預(yù)定位置的模式模型的集合，所述計算機(jī)程序包括用于執(zhí)行以下步驟的代碼 接收在所述圖像序列的當(dāng)前幀的所述預(yù)定位置的輸入視覺元素； 確定在所述預(yù)定位置的前景匹配之后所述輸入視覺元素匹配在所述場景模型中的所述預(yù)定位置的背景模型；以及 基于所述確定步驟，刪除在所述前景匹配中使用的至少一個前景模型，在所述背景模型之后創(chuàng)建的所述前景模型在所述預(yù)定位置先前被匹配過。
9.一種計算機(jī)可讀非易失性存儲介質(zhì)，在該存儲介質(zhì)上記錄有用于命令處理器執(zhí)行更新與在圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法的計算機(jī)程序，所述視覺元素模型包括用于與所述場景的位置相對應(yīng)的視覺元素的模式模型的集合，所述計算機(jī)程序包括用于執(zhí)行以下步驟的代碼 接收所述圖像序列的當(dāng)前幀的輸入視覺元素； 對于所述視覺元素模型中的每個模式模型，取決于所述輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及 基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從所述視覺元素模型中移除該疏遠(yuǎn)模式模型。
10.一種用于捕獲圖像序列的相機(jī)系統(tǒng)，所述相機(jī)系統(tǒng)包括 透鏡系統(tǒng)； 傳感器； 存儲設(shè)備，用于存儲計算機(jī)程序； 控制模塊，耦合到所述透鏡系統(tǒng)和所述傳感器中的每一個以捕獲所述圖像序列；以及 處理器，用于執(zhí)行程序，所述程序包括 用于接收在所述圖像序列的當(dāng)前幀的預(yù)定位置的輸入視覺元素的計算機(jī)程序代碼；用于確定在所述預(yù)定位置的前景匹配之后所述輸入視覺元素匹配在所述場景模型中的所述預(yù)定位置的背景模型的計算機(jī)程序代碼；以及 用于基于所述確定步驟刪除在所述前景匹配中使用的至少一個前景模型的計算機(jī)程序代碼，在所述背景模型之后創(chuàng)建的所述前景模型在所述預(yù)定位置先前被匹配過。
11.一種用于捕獲圖像序列的相機(jī)系統(tǒng)，所述相機(jī)系統(tǒng)包括 透鏡系統(tǒng)； 傳感器； 存儲設(shè)備，用于存儲計算機(jī)程序； 控制模塊，耦合到所述透鏡系統(tǒng)和所述傳感器中的每一個以捕獲所述圖像序列；以及 處理器，用于執(zhí)行程序，所述程序包括 用于更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的計算機(jī)程序代碼，所述視覺元素模型包括用于與所述場景的位置相對應(yīng)的視覺元素的模式模型的集合，所述更新包括以下步驟 接收所述圖像序列的當(dāng)前幀的輸入視覺元素； 對于所述視覺元素模型中的每個模式模型，取決于所述輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及 基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從所述視覺元素模型中移除該疏遠(yuǎn)模式模型。
12.一種通過利用與場景相關(guān)聯(lián)的場景模型來執(zhí)行所述場景的視頻監(jiān)控的方法，所述場景模型包括多個視覺元素，其中，每個視覺元素與包括模式模型的集合的視覺元素模型相關(guān)聯(lián)，所述方法包括以下步驟 通過以下步驟來更新所述場景模型的視覺元素模型 接收所述圖像序列的當(dāng)前幀的輸入視覺元素； 對于所述視覺元素模型中的每個模式模型，取決于所述輸入視覺元素的外觀與相應(yīng)模式模型的視覺特性的集合之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及 基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從所述視覺元素模型中移除該疏遠(yuǎn)模式模型。
13.一種更新與圖像序列中捕獲的場景相關(guān)聯(lián)的場景模型的視覺元素模型的方法，所述視覺元素模型包括用于與所述場景的位置相對應(yīng)的視覺元素的多個模式模型，每個模式模型與期滿時間相關(guān)聯(lián)，所述方法包括以下步驟 接收所述圖像序列的當(dāng)前視頻幀的輸入視覺元素； 對于所述視覺元素模型中的每個模式模型，基于所述輸入視覺元素的視覺特性與相應(yīng)模式模型的視覺特性之間的比較，將相應(yīng)模式模型分類為匹配模式模型和疏遠(yuǎn)模式模型中的一個；以及 取決于識別具有超過成熟度閾值的第一時間特性的匹配模式模型和識別具有不超過穩(wěn)定性閾值的第二時間特性的疏遠(yuǎn)模式模型而減少識別出的疏遠(yuǎn)模式模型的期滿時間，以更新所述視覺元素模型。
14.如權(quán)利要求13所述的方法，其中，如果滿足以下中的至少一個，則所述匹配模式模型的所述第一時間特性超過所述成熟度閾值 Ca)所述匹配模式模型的創(chuàng)建時間大于期滿閾值； (b)所述匹配模式模型被分類為背景；以及 (c)所述匹配模式模型已經(jīng)匹配至少預(yù)定次數(shù)。
15.如權(quán)利要求13和14中任一項所述的方法，其中，如果滿足以下中的至少一個，則所述疏遠(yuǎn)模式模型的所述第二時間特性小于所述穩(wěn)定性閾值 (a)所述匹配模式模型不超過所述成熟度閾值； (b)所述匹配模式模型的創(chuàng)建時間小于期滿閾值； (c)所述匹配模式模型被分類為前景；以及 Cd)所述匹配模式模型已經(jīng)匹配小于預(yù)定次數(shù)。
16.如權(quán)利要求13所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果一對匹配模式模型和疏遠(yuǎn)模式模型的期滿時間相差大于閾值量，則該對匹配模式模型和疏遠(yuǎn)模式模型被看作分別大于成熟度閾值和小于穩(wěn)定性閾值。
17.如權(quán)利要求13所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果與所述匹配模式模型相比另一模式模型已經(jīng)被匹配大于給定次數(shù)，則所述匹配模式模型被看作大于成熟度閾值。
18.如權(quán)利要求13所述的方法，其中，所述成熟度閾值和所述穩(wěn)定性閾值彼此相關(guān)，如果在相同視覺元素處根據(jù)以上測試的某種組合的計算分?jǐn)?shù)大于根據(jù)與另一模式模型有關(guān)的以上測試的某種組合的計算分?jǐn)?shù)，則所述匹配模式模型被看作大于成熟度閾值。
全文摘要
用于改進(jìn)的多模式背景去除的模式移除。一種用于更新與場景相關(guān)聯(lián)的場景模型(230)的視覺元素模型(240)的方法和系統(tǒng)，該視覺元素模型(240)包括用于場景的位置的視覺元素的模式模型(260，270)的集合。該方法接收圖像序列的幀(210)的輸入視覺元素(220)，對于每個模式模型(260，270)，通過比較輸入視覺元素(220)的外觀與相應(yīng)模式模型(260，270)的視覺特性的集合而將相應(yīng)模式模型(260，270)分類為匹配模式模型或疏遠(yuǎn)模式模型。該方法基于匹配模式模型的超過成熟度閾值的第一時間特性以及疏遠(yuǎn)模式模型的小于穩(wěn)定性閾值的第二時間特性而從視覺元素模型(240)中移除疏遠(yuǎn)模式模型。
文檔編號H04N5/14GK102917159SQ20121021448
公開日2013年2月6日 申請日期2012年6月26日 優(yōu)先權(quán)日2011年6月30日
發(fā)明者P·J·帕庫洛斯基, A·K·谷帕塔 申請人:佳能株式會社