專利名稱：識(shí)別由視頻監(jiān)視攝像機(jī)檢測(cè)到的對(duì)象的特性的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)視系統(tǒng)中的識(shí)別在視頻監(jiān)視攝像機(jī)所捕獲的視頻序列中 檢測(cè)到的對(duì)象的特性的識(shí)別裝置，以及包括在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的跟
蹤設(shè)備的視頻監(jiān)視系統(tǒng)。
背景技術(shù)：
閉路電視(CCTV)系統(tǒng)主要用于監(jiān)視目的。近年來，在機(jī)場(chǎng)、公共區(qū) 域、學(xué)校、高速路以及其它諸多場(chǎng)所，監(jiān)視系統(tǒng)已增多。CCTV市場(chǎng)由兩部 分組成模擬系統(tǒng)和凄史字網(wǎng)絡(luò)一見頻系統(tǒng)。與才莫擬系統(tǒng)相比，網(wǎng)紹4見頻系統(tǒng)具 有若干優(yōu)點(diǎn)。網(wǎng)絡(luò)視頻的市場(chǎng)份額增長(zhǎng)的最重要原因在于遠(yuǎn)程可訪問性， 輕+>的未來{正據(jù)整合(proofintegration)，可量測(cè)性(scalability)和靈活性。
區(qū)分?jǐn)?shù)字網(wǎng)絡(luò)視頻系統(tǒng)與模擬系統(tǒng)的 一個(gè)特征在于前一個(gè)系統(tǒng)對(duì)實(shí)時(shí) 圖像處理的適宜性。當(dāng)將某種數(shù)字信號(hào)處理器與攝像機(jī)集成在一起并且在該 數(shù)字信號(hào)處理器上實(shí)施算法時(shí)，實(shí)時(shí)圖像處理是可能的。
現(xiàn)在的實(shí)時(shí)監(jiān)視是極其勞動(dòng)密集的，這導(dǎo)致了高成本。人類的注意力水 平也會(huì)隨著時(shí)間而迅速下降。因此期望使用處理圖像的智能視頻功能作為這 些類型的工作中的輔助工具。這將會(huì)降低勞動(dòng)力成本并提高性能。便于實(shí)時(shí) 監(jiān)視的有用的智能視頻功能是運(yùn)動(dòng)檢測(cè)，例如檢測(cè)空的工廠中的非法侵入 人員；檢測(cè)具體的事件，例如檢測(cè)汽車碰撞；辨認(rèn)，例如在大型模糊攝像機(jī) 系統(tǒng)中追蹤嫌疑人的路徑。
如果網(wǎng)絡(luò)視頻攝像機(jī)能夠以令人滿意的方式來執(zhí)行這些功能，它們就會(huì)以獨(dú) 一 無(wú)二的優(yōu)勢(shì)勝過它們的模擬對(duì)手。
為了能夠在包括多個(gè)攝像機(jī)的視頻監(jiān)視系統(tǒng)中，即在不同的攝像機(jī)所捕 獲的不同視頻序列或場(chǎng)景之間對(duì)諸如人的非剛體進(jìn)行檢測(cè)和跟蹤，必須考慮
下列因素人是非剛性的，因此他們的形狀可能改變；序列中的不同觀察點(diǎn)； 場(chǎng)景之間和場(chǎng)景內(nèi)的不同照明水平；場(chǎng)景之間和場(chǎng)景內(nèi)的不同照明顏色；序 列中到攝像機(jī)的不同距離。
這些情況使得若干種用于對(duì)非剛性對(duì)象進(jìn)行檢測(cè)和跟蹤的方法不可用。 低分辨率以及攝像機(jī)與對(duì)象之間的距離使得所有處理細(xì)節(jié)的方法毫無(wú)用處。 人們的衣服中的紋理往往極其細(xì)孩史，因此基于紋理的方法也以失敗告終。
本發(fā)明的目的在于能夠辨認(rèn)諸如人的非剛性對(duì)象。因此，該方法對(duì)對(duì)象 形狀的變化不敏感。
由于監(jiān)視攝像機(jī)的客戶不愿校準(zhǔn)他們的攝像機(jī)，因此該方法不能依賴于 已知攝像機(jī)的位置。因此，也不能將觀察對(duì)象的角度納入考慮范圍。因此， 基于對(duì)象的不同部分的相對(duì)尺寸的方法，例如基于胳膊和腿的相對(duì)長(zhǎng)度的方 法也毫無(wú)用處。
已經(jīng)對(duì)跟蹤問題進(jìn)行了廣泛的探究，但是由于在一場(chǎng)景內(nèi)跟蹤人和在可 能源自不同攝像機(jī)的不同場(chǎng)景中辨認(rèn)人之間具有一些重要差異，已知的跟蹤 人的方法不適用于這里。當(dāng)在一場(chǎng)景內(nèi)跟蹤人時(shí)，問題在于在每個(gè)新的幀中 找到這個(gè)人。因而來自先前幀的信息非常有用。在幀與幀之間，照明、視角 和人的位置都很可能相同或僅有很小的改變。當(dāng)改變場(chǎng)景時(shí)，所有這些信息 可能都丟失了。因此，在不同場(chǎng)景之間辨認(rèn)人的方法必須使用不同于常規(guī)跟 蹤方法的其它特征。
在不同場(chǎng)景之間對(duì)對(duì)象進(jìn)行識(shí)別和跟蹤的方法應(yīng)當(dāng)用作具有大量攝像 機(jī)的監(jiān)視系統(tǒng)中的輔助工具。因此可以接受該方法進(jìn)行了一些錯(cuò)誤的匹配， 而不能接受該方法遺漏了一些正確的匹配。在前者的情況下，注視監(jiān)視器的 監(jiān)浮見人員能夠容易地人工辨認(rèn)出正確的人。在后者的情況下，該方法對(duì)該人 員來說沒有任何幫助。
ii因此，需要一種識(shí)別對(duì)象的特性的方法和系統(tǒng)，所述特性能夠被用于在 不同的視頻序列之間跟蹤對(duì)象，該方法不會(huì)遺漏在兩個(gè)不同的視頻序列中出 現(xiàn)的任何對(duì)象，因而具有高可靠性。

發(fā)明內(nèi)容
本發(fā)明的目的是實(shí)現(xiàn)視頻監(jiān)視系統(tǒng)中的方法、視頻監(jiān)視系統(tǒng)中的裝置和 減輕以上所提及的問題中的至少 一 些問題的視頻監(jiān)視系統(tǒng)。
根據(jù)本發(fā)明的第 一方面，這是由 一種在視頻監(jiān)視系統(tǒng)中用于在視頻監(jiān)視 攝像機(jī)所捕獲的視頻序列中識(shí)別對(duì)象的特性的方法來實(shí)現(xiàn)的，該方法包括以
下步驟在所述視頻序列中識(shí)別特定對(duì)象；基于在所述視頻序列中識(shí)別出的 特定對(duì)象的顏色和強(qiáng)度信息，來在至少兩維的顏色空間中生成顏色直方圖， 所述顏色和強(qiáng)度信息源自所述視頻序列的多個(gè)圖像；以及基于所生成的顏色 直方圖來識(shí)別所述對(duì)象的特性。
通過基于視頻序列的多個(gè)圖像來生成顏色直方圖，該對(duì)象的所有可能外 表被接收并合并到顏色直方圖中。這意味著，如果對(duì)象在視頻序列中大幅轉(zhuǎn) 向并且移動(dòng)，則可以獲得從很多可能的視圖來充分描述該對(duì)象的顏色直方 圖。因而，直方圖變得與圖像中的空間變化無(wú)關(guān)。例如，如果該對(duì)象是人， 這個(gè)人拿著夾克還是穿著在顏色直方圖中無(wú)關(guān)緊要。隨后基于該顏色直方圖 識(shí)別出的該對(duì)象的特性可以用于例如檢測(cè)來自同一攝像機(jī)或來自另 一攝像 機(jī)的隨后的視頻序列中的對(duì)象，不管該對(duì)象在新的視頻序列中的位置和視 角。并且，由于顏色直方圖基于強(qiáng)度和顏色，因此顏色直方圖獨(dú)立于作為信 息來源的圖像，即獨(dú)立于時(shí)間。
對(duì)于本領(lǐng)域技術(shù)人員來說，顯而易見的是，同樣的方法適用于使用源自 顏色和強(qiáng)度顏色空間的任意多維表示的任意至少兩維的直方圖。
根據(jù)本發(fā)明的實(shí)施例，基于所生成的顏色直方圖來識(shí)別所述對(duì)象的特性 的步驟包括以下步驟通過若干個(gè)諸如正態(tài)分布的分布對(duì)所述顏色直方圖進(jìn) 行建模；和基于所生成的和經(jīng)過建模后的顏色直方圖來識(shí)另"所述對(duì)象的特性。通過所述若干個(gè)分布來對(duì)所述顏色直方圖進(jìn)行建模，可以將從所述顏色 直方圖接收的數(shù)據(jù)量減少到對(duì)識(shí)別對(duì)象的特性來說更容易管理的量。
根據(jù)本發(fā)明的實(shí)施例，所述顏色直方圖通過若干個(gè)分布使用諸如期望最 大化算法的分布擬合算法來建模。通過使用分布擬合算法，可以獲得顏色直 方圖的好的模型。并且，期望最大化算法是用于通過若干個(gè)正態(tài)分布獲得對(duì) 顏色直方圖的良好估計(jì)的相對(duì)快速的方法。
根據(jù)本發(fā)明的另 一實(shí)施例，所述方法進(jìn)一步包括將所述顏色直方圖從卡 笛爾坐標(biāo)系變換為極坐標(biāo)系的步驟。因此，有利于將直方圖中該對(duì)象的特性 與依賴于環(huán)境的顏色直方圖的特性分離開來。在顏色直方圖中，對(duì)象的每個(gè)
顏色部分由在所述顏色直方圖中具有特定擴(kuò)張(extension)的塊(blob)來 表示。通過將建模后的顏色直方圖變換為具有？和a坐標(biāo)的極坐標(biāo)系，對(duì)象 的第 一視頻序列與同 一對(duì)象的第二視頻序列之間照明強(qiáng)度的變化就粗略地 導(dǎo)致塊在？方向上的位置變化，并且序列之間光的顏色變化粗略地導(dǎo)致塊在 a方向上的位置變化。在將圖像中的環(huán)境影響與對(duì)象的特性分離時(shí)，會(huì)用到 這個(gè)知識(shí)。變換的步驟優(yōu)選在使用分布對(duì)顏色直方圖進(jìn)行建模的步驟之后執(zhí) 行，以減小變換步驟中的計(jì)算工作量，但是變換步驟也可以在建模步驟之前 執(zhí)行。
根據(jù)本發(fā)明的再一實(shí)施例，計(jì)算所述對(duì)象的特性的步驟包括通過根據(jù) 所述若干個(gè)分布的參數(shù)中各參數(shù)與所述對(duì)象的特性的相關(guān)性對(duì)所述若干個(gè) 分布的參數(shù)進(jìn)行加權(quán)，來計(jì)算所述對(duì)象的特性。通過根據(jù)估計(jì)的各參數(shù)與對(duì)
的特性的計(jì)算值。
根據(jù)本發(fā)明的又一實(shí)施例，計(jì)算所述分布的參數(shù)的步驟包括將顏色直 方圖從所述極坐標(biāo)系變換為第二卡笛爾坐標(biāo)系，以及在顏色直方圖中，將所 述第二卡笛爾坐標(biāo)系的原點(diǎn)布置所述對(duì)象的質(zhì)心處。因而，可以獲得用于在
顏色直方圖中描述該對(duì)象的內(nèi)部坐標(biāo)系，這邊緣將顏色直方圖中的信息分為 或多或少與對(duì)象的特性相關(guān)的參數(shù)。根據(jù)本發(fā)明的另 一實(shí)施例，對(duì)象的每個(gè)顏色部分由在所述顏色直方圖中 具有特定擴(kuò)張的塊來表示，并且其中所述對(duì)象被描述為這類塊的聚類。因而， 便于將顏色直方圖中的信息分為或多或少與對(duì)象的特性相關(guān)的參數(shù)。
根據(jù)本發(fā)明第 一方面的另 一 實(shí)施例，該方法進(jìn)一步包括針對(duì)在各個(gè)圖像 中對(duì)所述對(duì)象進(jìn)行描述的像素?cái)?shù)目來對(duì)源自所述多個(gè)圖像中各圖像的顏色 和強(qiáng)度信息進(jìn)行歸一化的步驟。因而，顏色和強(qiáng)度信息變得與像素?zé)o關(guān)，即 對(duì)于提取每個(gè)圖像的不同時(shí)間和該對(duì)象的縮放而言是不變的。
根據(jù)再 一 實(shí)施例，所述顏色空間是能夠?qū)?qiáng)度信息和顏色信息分離開來
的顏色空間，諸如YCbCr、 HSV或YUV顏色空間。通過使用能夠?qū)?qiáng)度信 息和顏色信息分離開來的顏色空間，就可以將顏色直方圖中與對(duì)象有關(guān)的特 性從顏色直方圖中與捕獲視頻序列所在的環(huán)境有關(guān)的特性分離開來。
根據(jù)又一實(shí)施例，所述顏色直方圖是基于所述視頻序列的所有圖像中的 顏色和強(qiáng)度信息生成的。用于生成顏色直方圖的圖像越多，直方圖對(duì)于該對(duì) 象的時(shí)間的和空間方面的相關(guān)性就越小。
根據(jù)再一實(shí)施例，基于顏色直方圖來識(shí)別所述對(duì)象的特性的步驟包括 基于所述顏色直方圖來識(shí)別對(duì)所述視頻序列中的對(duì)象進(jìn)行描述的參數(shù)；以及 基于識(shí)別出的參數(shù)來計(jì)算所述對(duì)象的特性。識(shí)別對(duì)所述視頻序列中的對(duì)象進(jìn) 行描述的參數(shù)的步驟包括對(duì)所述顏色直方圖的質(zhì)心和顏色直方圖分布進(jìn)行 識(shí)別；和基于識(shí)別出的質(zhì)心和識(shí)別出的顏色直方圖分布來計(jì)算用于識(shí)別所述 對(duì)象的特性的參數(shù)。已經(jīng)證明，質(zhì)心和顏色直方圖分布的特征是用于計(jì)算能 用來識(shí)別對(duì)象特性的參數(shù)的良好特征。
根據(jù)本發(fā)明的第二方面，提供一種用于在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的方 法。所述方法包括以下步驟在由第一視頻監(jiān)視攝像機(jī)捕獲的第一視頻序列 中識(shí)別待跟蹤對(duì)象；根據(jù)本發(fā)明第 一方面的方法來識(shí)別所述待跟蹤對(duì)象的特 性；在由第二視頻監(jiān)視攝像機(jī)捕獲的第二視頻序列中識(shí)別候選對(duì)象；根據(jù)本 發(fā)明第 一 方面的方法來識(shí)別所述候選對(duì)象的特性；將識(shí)別出的所述候選對(duì)象 的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn)行匹配；基于所述匹配步驟來計(jì)算所述候選對(duì)象與所述待跟蹤對(duì)象相同的可能性。通過該方法，可以自動(dòng)檢 測(cè)第二視頻序列中的候選對(duì)象是否與早先捕獲的第一視頻序列中的待跟蹤 對(duì)象是相同的對(duì)象。由于本發(fā)明第一方面的方法與對(duì)象在各個(gè)視頻序列中的 空間變化和時(shí)間變化無(wú)關(guān)，因此第二方面的方法遺漏正確的匹配的可能性^艮低。
根據(jù)本發(fā)明的第三方面，提供一種視頻監(jiān)視系統(tǒng)中的識(shí)別裝置。所述識(shí)
別裝置包括對(duì)象識(shí)別單元，用于對(duì)視頻序列中的特定對(duì)象進(jìn)行識(shí)別；顏色 直方圖發(fā)生器，用于基于在所述視頻序列中識(shí)別出的特定對(duì)象的顏色和強(qiáng)度 信息，來在至少兩維的顏色空間中生成顏色直方圖，所述顏色和強(qiáng)度信息源 自所述視頻序列的多個(gè)圖像；和對(duì)象特性識(shí)別器，用于基于所生成的顏色直 方圖來識(shí)別所述對(duì)象的特性。通過被布置為基于視頻序列的多個(gè)圖像來生成 對(duì)象的顏色直方圖的顏色直方圖發(fā)生器，該對(duì)象的不同的可能外表就可以被 接收并被合并到顏色直方圖中。這意味著，如果該對(duì)象在視頻序列中大幅轉(zhuǎn) 換或移動(dòng)，也能夠獲得從多個(gè)可能的視圖充分描述該對(duì)象的顏色直方圖。因 而，該直方圖變得與圖像中的空間變化無(wú)關(guān)。并且，由于顏色直方圖僅基于 顏色和強(qiáng)度，所以顏色直方圖與該信息源自哪個(gè)圖像無(wú)關(guān)，即與時(shí)間無(wú)關(guān)。 根據(jù)本發(fā)明的第四方面，提供一種視頻監(jiān)視系統(tǒng)。該視頻監(jiān)視系統(tǒng)包括 連接至公用通信網(wǎng)絡(luò)的若干個(gè)視頻監(jiān)視攝像機(jī)；根據(jù)本發(fā)明第三方面的至少 一個(gè)識(shí)別裝置，所述至少一個(gè)識(shí)別裝置連接至所述公用通信網(wǎng)絡(luò)；用于在視 頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的跟蹤設(shè)備，所述跟蹤設(shè)備連接至所述公用通信網(wǎng) 絡(luò)。所述跟蹤設(shè)備包括用于從所述至少一個(gè)識(shí)別裝置接收信息的接收器， 所述信息包括，與識(shí)別出的在由第一視頻監(jiān)視攝像機(jī)捕獲的第一視頻序列中 識(shí)別出的待跟蹤對(duì)象的特性有關(guān)的信息和與識(shí)別出的在由第二視頻監(jiān)視攝 像機(jī)捕獲的第二視頻序列中識(shí)別出的候選對(duì)象的特性有關(guān)的信息；用于將識(shí) 別出的所述候選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn)行匹配的 匹配單元；用于基于所述匹配步驟來計(jì)算所述候選對(duì)象與所述待跟蹤對(duì)象相 同的可能性的計(jì)算單元。這種視頻監(jiān)視系統(tǒng)能夠自動(dòng)檢測(cè)第二視頻序列中的候選對(duì)象是否與早先捕獲的第 一視頻序列中的待跟蹤對(duì)象是相同的對(duì)象。通 過被布置為從視頻序列的多個(gè)圖像生成對(duì)象的顏色直方圖的至少 一個(gè)識(shí)別 裝置，該系統(tǒng)將與對(duì)象在各個(gè)視頻序列中的空間變化和時(shí)間變化無(wú)關(guān)，由此 該系統(tǒng)遺漏正確的匹配的可能性就會(huì)較低。


以下將參考附圖對(duì)本發(fā)明進(jìn)行更加詳細(xì)的描述，其中
圖1 a示意性地圖示出根據(jù)本發(fā)明 一 實(shí)施例的視頻監(jiān)視系統(tǒng)。
圖1 b示意性地圖示出根據(jù)本發(fā)明另 一 實(shí)施例的視頻監(jiān)視系統(tǒng)。
圖2圖示出根據(jù)本發(fā)明的包括識(shí)別裝置的視頻監(jiān)視攝像機(jī)的方框圖。
圖3示出根據(jù)本發(fā)明的跟蹤設(shè)備的方框圖。
圖4示出根據(jù)本發(fā)明的識(shí)別對(duì)象的特性的方法的流程圖。
圖5示出根據(jù)本發(fā)明的在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的方法的流程圖。
圖6圖示出RGB與YCbCr顏色空間之間的關(guān)系。
圖7a示出已經(jīng)捕獲到對(duì)象的視頻序列的圖像。
圖7b示出圖7a的已經(jīng)分割出對(duì)象的圖像。
圖8示出改變照明對(duì)YC b C r顏色空間中圖示出的有色對(duì)象的影響。 圖9a示出一個(gè)人在第一場(chǎng)景中的CbCr、 YCb和YCr顏色直方圖。 圖9b示出圖9a的人在第二場(chǎng)景中的CbCr、 YCb和YCr顏色直方圖。 圖10a示出另一個(gè)人在第一場(chǎng)景中的CbCr、 YCb和YCr顏色直方圖。 圖10b示出圖10a的人在第二場(chǎng)景中的CbCr、YCb和YCr顏色直方圖。 在圖lla-c的各圖中，左邊的圖像中以otp坐標(biāo)示出一個(gè)人在一場(chǎng)景中
的直方圖，右邊的圖像中以ap坐標(biāo)示出利用數(shù)目變化的正態(tài)分布建模得到
的直方圖。
圖12包括八個(gè)圖像，其中第一圖像示出一個(gè)人在一場(chǎng)景中的直方圖， 其它圖像以相對(duì)頻率(po)不同的矩形分布示出對(duì)應(yīng)的正態(tài)分布的直方圖。 圖13在YC坐標(biāo)系中示出具有坐標(biāo)？和a的坐標(biāo)系。圖14在左邊的圖中示出YCb中的直方圖，在右邊的圖中示出在以a和？ 作為坐標(biāo)軸的坐標(biāo)系中的同 一直方圖。 圖15示出內(nèi)部聚類坐標(biāo)系統(tǒng)。
圖16a-b分別示出從視頻序列中分割出的圖像，各個(gè)圖像來自分離的視
頻序列。
圖17a-b分別示出以圖16a-b的相應(yīng)圖中的圖像所圖示的各個(gè)視頻序列 的，YCb顏色空間中的一個(gè)直方圖(左邊)、利用正態(tài)分布建模得到的直方 圖(中間)和變換為？-a坐標(biāo)系的分布模型(右邊)。
圖18a-b分別示出從其它視頻序列中分割出的圖像，各個(gè)圖像來自分離
的視頻序列。
圖19a-b分別示出以圖18a-b的相應(yīng)圖中的圖像所圖示的各個(gè)視頻序列 的，YCb顏色空間中的一個(gè)直方圖(左邊)、利用正態(tài)分布建模得到的直方 圖(中間)和變換為？-a坐標(biāo)系的分布模型(右邊)。
具體實(shí)施例方式
以下參考附圖對(duì)本發(fā)明進(jìn)行更充分的描述，附圖中示出本發(fā)明的優(yōu)選實(shí) 施例。然而，本發(fā)明可以采用多種不同的形式來實(shí)施，并且不應(yīng)被解釋為局 限于這里闡述的實(shí)施例；相反，提供這些實(shí)施例的目的在于使該公開內(nèi)容全 面且完整，并且將本發(fā)明的范圍完全傳達(dá)給本領(lǐng)域技術(shù)人員。在附圖中，相 似的附圖標(biāo)記指代相似的元件。
圖la和lb圖示出根據(jù)本發(fā)明的視頻監(jiān)視系統(tǒng)。該視頻監(jiān)視系統(tǒng)包括通 過通信網(wǎng)絡(luò)20連接至監(jiān)視中心30的若干個(gè)視頻監(jiān)視攝像機(jī)10、 12、 14。 所述視頻監(jiān)視攝像機(jī)10、 12、 14可以是任何能夠生成圖像序列的數(shù)字?jǐn)z像 機(jī)和/或任何能夠生成圖像序列的模擬攝像機(jī)，在為模擬攝像機(jī)的情況下， 模擬攝像機(jī)連接至轉(zhuǎn)換器，該轉(zhuǎn)換器將模擬圖像信息變換為數(shù)字圖像數(shù)據(jù)并 向網(wǎng)絡(luò)20提供所述數(shù)字圖像數(shù)據(jù)。通信網(wǎng)絡(luò)20可以是諸如有線或無(wú)線數(shù)據(jù) 通信網(wǎng)絡(luò)的用于傳達(dá)數(shù)字圖像信息的任何種類的通信網(wǎng)絡(luò)，例如局域網(wǎng)(LAN)或無(wú)線局域網(wǎng)(W-LAN)或廣域網(wǎng)(WAN)。
在圖la中所描繪的系統(tǒng)中，視頻監(jiān)視攝像機(jī)10、 12、 14各自包括根據(jù) 本發(fā)明的識(shí)別裝置100a、 100b、 100c(見圖2)，所述識(shí)別裝置用于對(duì)視頻 監(jiān)視攝像機(jī)所捕獲的視頻序列中對(duì)象的特性進(jìn)行識(shí)別。在識(shí)別對(duì)象的特性之 后，各個(gè)視頻監(jiān)視攝像機(jī)被布置為向網(wǎng)絡(luò)中諸如監(jiān)視中心30之類的節(jié)點(diǎn)傳 達(dá)所識(shí)別出的特性、ID。出于這個(gè)原因，監(jiān)視中心30具有根據(jù)本發(fā)明的跟 蹤設(shè)備200 (見圖3 ),跟蹤設(shè)備200用于基于識(shí)別出的從第一視頻攝像機(jī) 10接收的待跟蹤對(duì)象的特性和識(shí)別出的從第二攝像機(jī)12接收的候選對(duì)象的 特性來在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象。跟蹤設(shè)備被布置為，將識(shí)別出的待跟蹤 對(duì)象的特性與識(shí)別出的候選對(duì)象的特性進(jìn)行比較，以計(jì)算候選對(duì)象是否與要 跟蹤的對(duì)象相同。
在圖lb中所描繪的系統(tǒng)中，視頻監(jiān)視攝像機(jī)10、 12、 14中沒有識(shí)別裝 置。相反，監(jiān)視中心30除了包括其跟蹤設(shè)備200之外，還包括至少一個(gè)識(shí) 別裝置100。在該系統(tǒng)中，視頻監(jiān)視攝像機(jī)10、 12、 14被布置為，向監(jiān)視 中心發(fā)送視頻序列，以在監(jiān)視中心中布置的識(shí)別裝置中識(shí)別對(duì)象的特性。
根據(jù)另一實(shí)施例， 一些攝像機(jī)具有識(shí)別裝置100，而一些攝像機(jī)沒有識(shí) 別裝置。然后輸入數(shù)據(jù)從沒有識(shí)別裝置的攝像機(jī)傳達(dá)至具有識(shí)別裝置的攝像 機(jī)。作為這種情況的替換，在諸如監(jiān)視中心30之類的中心節(jié)點(diǎn)中也具有識(shí) 別裝置100,此時(shí)輸入數(shù)據(jù)可以從沒有識(shí)別裝置的攝像機(jī)傳達(dá)至中心節(jié)點(diǎn)中 的識(shí)別裝置。
根據(jù)再一實(shí)施例，視頻監(jiān)視系統(tǒng)中攝像機(jī)中的至少一個(gè)攝像機(jī)可以具有 跟蹤設(shè)備200。
而且，該跟蹤設(shè)備200可以在其已經(jīng)接收到識(shí)別出的待跟蹤對(duì)象的特性 時(shí)從同一攝像機(jī)接收關(guān)于識(shí)別出的候選對(duì)象的特性的信息。在這種情況下， 識(shí)別出的待跟蹤對(duì)象的特性源自第一視頻序列，識(shí)別出的候選對(duì)象的特性源 自與第 一視頻序列分離的第二視頻序列。
在圖2中，示意性地描繪根據(jù)本發(fā)明實(shí)施例的包括識(shí)別裝置100的視頻監(jiān)視攝像機(jī)10。為了便于理解本發(fā)明，不再描述視頻監(jiān)視攝像機(jī)的與本發(fā) 明無(wú)關(guān)的標(biāo)準(zhǔn)特征。視頻監(jiān)視攝像機(jī)10包括用于記錄入射光的圖像傳感器 52,例如電荷耦合器件(CCD) 、 CMOS傳感器或相似器件；圖像處理工具 54;用于通過通信網(wǎng)絡(luò)向連接至該網(wǎng)絡(luò)的其它節(jié)點(diǎn)傳達(dá)信息的通信單元150; 以及根據(jù)本發(fā)明實(shí)施例的識(shí)別裝置100。
圖像處理工具54接收與所記錄的光有關(guān)的信息，并借助于A/D轉(zhuǎn)換器 和信號(hào)處理工具56對(duì)該信息進(jìn)行處理，其中信號(hào)處理工具56是技術(shù)人員公 知的。在一些實(shí)施例中，例如當(dāng)圖像傳感器52是CMOS傳感器時(shí)，圖像傳 感器52包括A/D轉(zhuǎn)換器，因此圖像處理工具54中不需要任何A/D轉(zhuǎn)換器。 由A/D轉(zhuǎn)換器和信號(hào)處理工具56產(chǎn)生的結(jié)果是數(shù)字圖像數(shù)據(jù)，根據(jù)一個(gè)實(shí) 施例，該數(shù)字圖像數(shù)據(jù)在被發(fā)送到識(shí)別裝置100之前，在縮放單元57和編 碼器58中被處理。縮放單元57被布置為將該數(shù)字圖像數(shù)據(jù)處理為至少一個(gè) 特定大小的圖像。然而，縮放單元57可以被布置為生成多個(gè)不同大小的圖 像，所有圖像均表示由A/D轉(zhuǎn)換器和信號(hào)處理工具56提供的同一圖像/幀。 根據(jù)另一實(shí)施例，縮放單元的功能由編碼器來執(zhí)行，在再一實(shí)施例中，不需 要對(duì)來自圖像傳感器的圖像執(zhí)行任何縮放或大小調(diào)整。
編碼器58對(duì)于執(zhí)行本發(fā)明來說是可選的，被布置為針對(duì)連續(xù)的^L頻序 列、針對(duì)有限的視頻序列、針對(duì)靜態(tài)圖像或針對(duì)圖像/視頻流將該數(shù)字圖像 數(shù)據(jù)編碼為多種已知格式中的任意一種。舉例來說，可以將圖像信息編碼為 MPEG1、 MPEG2、 MPEG4、 JPEG、 MJPG、位映像等。識(shí)別裝置100可以 使用未經(jīng)編碼的圖像作為輸入數(shù)據(jù)。在這種情況下，圖像數(shù)據(jù)從信號(hào)處理工 具56或從縮放單元57傳輸?shù)阶R(shí)別裝置100,而不通過編碼器58傳遞該圖 像數(shù)據(jù)。未經(jīng)編碼的圖像可以采用任何未經(jīng)編碼的圖像格式，例如BMP、 PNG、 PPM、 PGM、 PNM和PBM,盡管識(shí)別裝置100也可以使用經(jīng)過編碼 的數(shù)據(jù)作為輸入數(shù)據(jù)。
在本發(fā)明的一個(gè)實(shí)施例中，可以將圖像數(shù)據(jù)從信號(hào)處理工具56直接發(fā) 送至識(shí)別裝置100,而不通過縮放單元57或編碼器58。在再一實(shí)施例中，可以將圖像數(shù)據(jù)從縮放單元57發(fā)送至識(shí)別裝置100，而不通過編碼器。
圖2的識(shí)別裝置100包括對(duì)象識(shí)別單元102、顏色直方圖發(fā)生器104、 對(duì)象特性識(shí)別器106。對(duì)象識(shí)別單元102被布置為基于從圖像處理工具54 接收的圖像信息來在視頻序列中識(shí)別對(duì)象?？梢愿鶕?jù)任何已知的對(duì)象識(shí)別技 術(shù)來在對(duì)象識(shí)別單元102中人工或自動(dòng)識(shí)別該對(duì)象。顏色直方圖發(fā)生器104 被布置為基于識(shí)別出的對(duì)象的源自視頻序列中多個(gè)圖像的顏色和強(qiáng)度信息 來生成顏色直方圖。顏色直方圖的意思是描述顏色的直方圖。對(duì)象特性識(shí)別 器106被布置為基于所生成的顏色直方圖對(duì)對(duì)象的特性進(jìn)行識(shí)別。與使用源 自僅一個(gè)圖像的信息的情況相比，通過在生成顏色直方圖時(shí)使用源自視頻序 列中多個(gè)圖像的信息，識(shí)別裝置對(duì)時(shí)間和空間方面(aspect)變得不敏感， 即對(duì)對(duì)象在何時(shí)和在圖片中的何處被識(shí)別出來不敏感。所使用的圖像越多， 識(shí)別裝置對(duì)時(shí)間和空間方面的魯棒性越高。這意味著由于本發(fā)明的識(shí)別裝置
以高確定性識(shí)別對(duì)象的特性。
根據(jù)本發(fā)明的實(shí)施例，可以在不同的步驟中識(shí)別對(duì)象的特性。例如，首 先，可以基于視頻序列的少量圖像，例如5個(gè)圖像中的顏色和強(qiáng)度信息對(duì)特 性進(jìn)行識(shí)別。之后，例如在已經(jīng)在該視頻序列的更多個(gè)圖像中看見該對(duì)象的 后期，可以基于該視頻序列的較大量圖像來完成對(duì)對(duì)象特性的精確識(shí)別。
根據(jù)本發(fā)明的實(shí)施例，對(duì)象特性識(shí)別器包括直方圖建模器108、直方 圖變換器110、參數(shù)計(jì)算器112和對(duì)象特性計(jì)算器114。
直方圖建模器108被布置為，通過若干個(gè)分布對(duì)所生成的顏色直方圖進(jìn) 行建模，在一個(gè)實(shí)施例中使用正態(tài)分布對(duì)所生成的顏色直方圖進(jìn)行建模，這 樣減小了數(shù)據(jù)量。直方圖變換器IIO被布置為將顏色直方圖從笛卡爾坐標(biāo)系 變換為以p表示強(qiáng)度并以a表示顏色的極坐標(biāo)系。從而便于分離顏色直方圖 中對(duì)象的特性與顏色直方圖隨環(huán)境而定的特性。參數(shù)計(jì)算器112被布置為計(jì) 算若干個(gè)分布的參數(shù)，其中參數(shù)是指示性的，用于識(shí)別對(duì)象的特性。對(duì)象特 性計(jì)算器114被布置為通過根據(jù)各參數(shù)對(duì)識(shí)別對(duì)象特性的重要性對(duì)參數(shù)進(jìn)行加權(quán)，來基于計(jì)算出的參數(shù)計(jì)算對(duì)象的特性。各參數(shù)的重要性例如可以在 測(cè)試步驟中預(yù)先被測(cè)試。攝像機(jī)10的通信單元150被布置為例如將與攝像
機(jī)10中的識(shí)別裝置IOO從顏色直方圖中識(shí)別出的對(duì)象的特性相關(guān)的信息傳 達(dá)至跟蹤設(shè)備，所述跟蹤設(shè)備被布置在通信網(wǎng)絡(luò)中的另一節(jié)點(diǎn)中，或可替換 地，被布置在同一攝像機(jī)中。
圖3圖示出根據(jù)本發(fā)明的跟蹤設(shè)備200。該跟蹤設(shè)備200包括接收器 202、匹配單元204、計(jì)算單元206和信號(hào)發(fā)生器208。接收器202被布置為， 從第一識(shí)別裝置接收關(guān)于識(shí)別出的待跟蹤對(duì)象的特性的信息，并從第二識(shí)別 裝置接收關(guān)于識(shí)別出的候選對(duì)象的特性的信息?？商鎿Q地，第一識(shí)別裝置和 第二識(shí)別裝置可以是同一識(shí)別裝置。匹配單元204被布置為將關(guān)于識(shí)別出的 候選對(duì)象的特性的信息與關(guān)于識(shí)別出的待跟蹤對(duì)象的特性的信息進(jìn)行匹配。 計(jì)算單元206被布置為基于匹配步驟來計(jì)算候選對(duì)象與待跟蹤對(duì)象相同的 可能性。然后計(jì)算的結(jié)果作為信號(hào)發(fā)送給顯示單元，例如視頻中心中的顯示 器，用于顯示在顯示器上，以向在監(jiān)視中心工作的人員指示已經(jīng)發(fā)現(xiàn)了匹配 /非匹配。計(jì)算的結(jié)果是指示候選對(duì)象與待跟蹤對(duì)象相同的概率的概率值。 信號(hào)發(fā)生器208被布置為基于計(jì)算結(jié)果生成這樣的信號(hào)。
圖4圖示出根據(jù)本發(fā)明實(shí)施例的用于識(shí)別由視頻監(jiān)視攝像機(jī)捕獲的視 頻序列中的對(duì)象的特性的方法。該方法包括以下步驟識(shí)別302由視頻監(jiān)視 攝像機(jī)捕獲的視頻序列中的對(duì)象；基于該對(duì)象在該視頻序列中多個(gè)圖像的顏 色和強(qiáng)度信息來生成306顏色直方圖；基于所生成的顏色直方圖來識(shí)別該對(duì) 象的特性。
根據(jù)本發(fā)明的實(shí)施例，基于所生成的顏色直方圖來識(shí)別該對(duì)象的特性的 步驟進(jìn)一步包括以下步驟中的一個(gè)或多個(gè)步驟通過若干個(gè)正態(tài)分布對(duì)該顏 色直方圖進(jìn)行建模3 0 8;將建模后的分布從卡笛爾坐標(biāo)系變換310到極坐標(biāo) 系；計(jì)算312用于識(shí)別該對(duì)象的特性的分布的參數(shù)；以及通過根據(jù)各參數(shù)與 該對(duì)象的特性的相關(guān)性對(duì)分布的參數(shù)進(jìn)行加權(quán)，來基于計(jì)算出的該對(duì)象的參 數(shù)計(jì)算314該對(duì)象的特性。建模308和變換310的步驟可以任意的相互次序發(fā)生。
根據(jù)本發(fā)明的實(shí)施例，該方法進(jìn)一步包括由在各圖像中對(duì)該對(duì)象進(jìn)行描 述的像素?cái)?shù)目對(duì)該對(duì)象在各圖像中的顏色和強(qiáng)度信息進(jìn)行歸 一 化的步驟。該 歸 一化的步驟可以發(fā)生在生成306顏色直方圖的步驟之前或之后。
在本發(fā)明的實(shí)施例中，計(jì)算312分布的參數(shù)的步驟包括將該顏色直方 圖從極坐標(biāo)系變換到第二卡笛爾坐標(biāo)系；將坐標(biāo)的原點(diǎn)移到顏色直方圖中該 對(duì)象的質(zhì)心(the centre of mass );計(jì)算所述若干個(gè)分布在第二卡笛爾坐標(biāo) 系中的位置，其中所述若干個(gè)分布在第二卡笛爾坐標(biāo)系中的位置被用作用于 識(shí)別該對(duì)象的特性的參數(shù)。
計(jì)算312分布的參數(shù)的步驟可以進(jìn) 一 步包括識(shí)別顏色直方圖的質(zhì)心和 顏色直方圖分布；以及基于識(shí)別出的質(zhì)心和識(shí)別出的顏色直方圖分布來計(jì)算 用于識(shí)別該對(duì)象的特性的參數(shù)。在這種情況下，術(shù)語(yǔ)"顏色直方圖分布"應(yīng) 該被解釋為描述該對(duì)象的塊的聚類(a cluster of blobs)的顏色直方圖中的擴(kuò) 張。該直方圖可以被描述為包括若干個(gè)塊，其中每個(gè)塊被定義為單色對(duì)象部 分，并且其中該對(duì)象被描述為這種單色對(duì)象部分的聚類。
圖5圖示出根據(jù)本發(fā)明實(shí)施例的在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的方法。該 方法包括在由第一視頻監(jiān)視攝像機(jī)捕獲的第一視頻序列中識(shí)別402待跟蹤 對(duì)象；根據(jù)圖4所示的方法來識(shí)別404該待跟蹤對(duì)象的特性；在由第二^L頻 監(jiān)視攝像機(jī)捕獲的第二視頻序列中識(shí)別406候選對(duì)象；根據(jù)圖4中所示的方 法來識(shí)別408該候選對(duì)象的特性；將識(shí)別出的該候選對(duì)象的特性與識(shí)別出的 該待跟蹤對(duì)象的特性進(jìn)行匹配410;基于所述匹配步驟來計(jì)算412該候選對(duì) 象與該待跟蹤對(duì)象相同的可能性；以及生成414指示該候選對(duì)象與該待跟蹤 對(duì)象相同的可能性的信號(hào)。
所生成的信號(hào)可以在監(jiān)視中心的操作員的屏幕上以可視的方式顯示。然 后該操作員可以使用該信息以可視的方式進(jìn)一步檢查在兩個(gè)視頻序列中是 否確實(shí)存在候選對(duì)象與待跟蹤對(duì)象之間的匹配。
在本發(fā)明的可替換實(shí)施例中，第一視頻監(jiān)視攝像機(jī)和第二視頻監(jiān)視攝像機(jī)可以同一臺(tái)視頻監(jiān)視攝像機(jī)，在這種情況下，第一視頻序列和第二視頻序 列是由同 一 臺(tái)攝像機(jī)捕獲的分離視頻序列。
視頻監(jiān)視攝像機(jī)和/或視頻監(jiān)視系統(tǒng)中的其它節(jié)點(diǎn)可以具有被布置為接 納存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可用介質(zhì)的計(jì)算機(jī)。該計(jì)算機(jī)程序產(chǎn)品包括 計(jì)算機(jī)可讀程序工具，該計(jì)算機(jī)可讀程序工具用于使該計(jì)算機(jī)執(zhí)行在視頻序 列中識(shí)別對(duì)象特性的方法步驟和/或執(zhí)行根據(jù)本發(fā)明的在視頻監(jiān)視系統(tǒng)中跟 蹤對(duì)象的方法步驟。
理論
本章包括所調(diào)查的問題背后的基本理論。第 一部分討論調(diào)查中所使用的 配備，第二部分論述數(shù)學(xué)。
在調(diào)查期間，已經(jīng)產(chǎn)生了用于研究、訓(xùn)練和驗(yàn)證的視頻序列。所使用的
攝像機(jī)是安訊士 (Axis) 207網(wǎng)絡(luò)攝像機(jī)和安訊士 210網(wǎng)絡(luò)攝像機(jī)，兩者都 具有自動(dòng)白平衡和曝光控制。這些攝像機(jī)使用兩種不同的傳感器技術(shù)，前一 種攝像機(jī)中使用數(shù)字傳感器CMOS,后一種攝像機(jī)中使用模擬傳感器CCD。 于是，與適于特定攝像機(jī)或傳感器技術(shù)的方法相比，本申請(qǐng)中所描述的方法 在更通用的技術(shù)環(huán)境中被開發(fā)。視頻序列已經(jīng)被捕獲為MJPG文件。每個(gè) MJPG文件由一系列JPG文件組成。這些文件是分離的，并被轉(zhuǎn)換為PPM 文件，這些PPM文件被用作調(diào)查中的數(shù)據(jù)，雖然任何種類的圖像格式都可 以用于實(shí)施本發(fā)明。
下面的部分對(duì)白平tf和顏色空間問題進(jìn)行更深入的描述，并且還i侖述這 些領(lǐng)域的數(shù)學(xué)方面。
我們周圍的大多數(shù)光源是輻射黑體。它們的光譜強(qiáng)度取決于它們的溫 度，并且由黑體輻射的普朗克法則給出
其中，I是光i普輻射率，？是頻率，T是溫度，h是普朗克常數(shù)，c是光速， e是自然對(duì)數(shù)的底數(shù)，k是玻爾茲曼常數(shù)。由于黑體輻射，低溫光源向紅色偏移(例如電燈泡)，而高溫光源向藍(lán) 色偏移(例如太陽(yáng))。
從對(duì)象反射的光的顏色取決于該對(duì)象的顏色和入射光的顏色。人腦作出 調(diào)整以補(bǔ)償周圍光的顏色，因此人類看到與入射光無(wú)關(guān)的對(duì)象的正確顏色。 然而，常規(guī)的攝像機(jī)不會(huì)作出這些調(diào)整，這影響了圖像的顏色(例如，如果 場(chǎng)景中的入射光是藍(lán)色，那么白色對(duì)象可能在圖像中會(huì)變得有點(diǎn)藍(lán))。為了 創(chuàng)建示出對(duì)象的真實(shí)顏色的圖像，必須采用白平衡算法。該算法以一定的準(zhǔn) 確性使得場(chǎng)景中的白色對(duì)象在圖像中為白色，并且使所有其它顏色也變?yōu)檎?確的顏色。
網(wǎng)絡(luò)攝像機(jī)使用傳感器來捕獲圖像。這些傳感器通常使用RGB或 CMYG顏色空間。人眼對(duì)顏色的靈敏度低于對(duì)光強(qiáng)的靈每丈度，因此顏色所 需的分辨率低于強(qiáng)度所需的分辨率。為此，在圖像壓縮中最好分開處理顏色 和強(qiáng)度。因此，由于圖像在被壓縮為JPEG格式或MPEG格式之前被轉(zhuǎn)換為 YCbCr顏色空間，其中Y包含強(qiáng)度信息，Cb和Cr包含顏色信息。由于不 需要進(jìn)一步的轉(zhuǎn)換，因此這使得YCbCr成為所有的圖像處理的優(yōu)選顏色空 間。圖6示出相對(duì)于RGB顏色空間的YCbCr顏色空間。
YCbCr顏色空間是由以下等式定義的RGB顏色空間的線性映射
Cb=
0.299 0.587 0.114 -0.169 —0.331 0.500 0.500— 0.419 — 0.0813
G B
其中(KR,G,B《256， (KY<256,并且-128 < Cb，Cr《128。 方法
首先，對(duì)視頻監(jiān)視攝像機(jī)所捕獲的圖像進(jìn)行預(yù)處理，以對(duì)識(shí)別出的對(duì)象 進(jìn)行正確的分割。在圖7a中示出包括識(shí)別出的對(duì)象的圖像，該對(duì)象是一個(gè) 室內(nèi)環(huán)境中的人。在圖7b中，該對(duì)象已經(jīng)被分割，即圖像中與該對(duì)象不相 對(duì)應(yīng)的部分已經(jīng)被刪除。該分割可以通過任何已知的分離對(duì)象與場(chǎng)景的剩余 部分的分割方法來執(zhí)行。
24已經(jīng)證明，識(shí)別對(duì)象的特性和基于識(shí)別出的待跟蹤對(duì)象的特性和識(shí)別出 的候選對(duì)象的特性在兩個(gè)不同的視頻序列之間跟蹤對(duì)象的最有前途的特征 之一是顏色。使用人的顏色直方圖作為特征應(yīng)該對(duì)諸如形狀變化、較小的局
部掩蔽(partial occlusion)、方位變化和觀察位置移位之類的改變不每文感。 另一方面，顏色直方圖特征對(duì)照明的顏色和強(qiáng)度的變化很敏感。因此，最好 使用強(qiáng)度信息和顏色信息可以分離的顏色空間，例如，由于改變照明的強(qiáng)度 和改變照明的顏色的影響在YCbCr顏色空間中是分離的，因此最好使用 YCbCr顏色空間，而不使用RGB作為顏色空間。近似地，照明的強(qiáng)度沿Y 軸變化，而照明的顏色在CbCr平面中變化?？梢岳眠@一知識(shí)調(diào)整照明中 的變化。YCbCr顏色空間還更適合在硬件應(yīng)用中使用，如前面所提及的。
以三維顏色空間來工作不僅消耗大量的計(jì)算機(jī)能力，并且很難呈現(xiàn)以用 于分析。二維數(shù)據(jù)(在CbCr、 YCb和YCr平面中)會(huì)更為方便。在圖8中 可以看出，YCbCr顏色空間并不是立體的。因此，不同照明強(qiáng)度下的單色對(duì) 象不會(huì)平行于Y軸延伸，而是沿著圖8中看到的線延伸。正確的做法是沿 這些線投影到CbCr平面上，但是在本文獻(xiàn)中為了簡(jiǎn)化而做了近似。YCbCr 直方圖到所有三個(gè)平面的直線投影已經(jīng)用于創(chuàng)建二維直方圖。
為了根據(jù)本發(fā)明來生成待用于在視頻序列中識(shí)別對(duì)象的特性的直方圖， 需要該視頻序列的多個(gè)圖像。來自視頻序列的用于生成直方圖的圖像越多， 使用的信息就越多，并且該方法的魯棒性就變得越高。優(yōu)選地，由所使用的 所有圖像中組成該對(duì)象的像素的數(shù)目對(duì)直方圖進(jìn)行劃分，以使該方法對(duì)于對(duì) 象被觀察的不同時(shí)間和比例尺而言是不變的。當(dāng)以顏色直方圖作為特征來工 作時(shí)，由于不使用人的不同部位的位置，因此該方法對(duì)于圖像中的空間變化 而言是不變的。例如一個(gè)人是將夾克拿在他手里或者穿著，在顏色直方圖中 都無(wú)關(guān)緊要。 一個(gè)人在第一場(chǎng)景中的這些特征在圖9a中示為從左到右依次 呈現(xiàn)的人的CbCr、 YCb和YCr直方圖。每對(duì)中的第一變量在縱軸上呈現(xiàn)， 而每對(duì)中第二變量在橫軸上呈現(xiàn)。在Cb和Cr刻度上增加了 U8的偏移量。
同一個(gè)人在另一場(chǎng)景中的特征在圖9b中示為這個(gè)人的CbCr、 YCb和
25YCr直方圖。這兩個(gè)場(chǎng)景中的照明顏色具有很大的差異。在場(chǎng)景之一中，照
明主要由向藍(lán)色偏移的室外光組成，該對(duì)象被這種光來照明。但是這里也存 在向紅色偏移的室內(nèi)光。在該場(chǎng)景中這種光對(duì)白色的對(duì)象進(jìn)行照明，因此攝
像機(jī)對(duì)這種照明進(jìn)行白平衡，這導(dǎo)致該對(duì)象的顏色不正確。因此圖9a和圖 9b中的直方圖不是很相似。使用這種數(shù)據(jù)來辨認(rèn)人是難以解決的問題，因 此如果攝像機(jī)的白平衡盡力實(shí)現(xiàn)好的結(jié)果，則是有利的。這通過使用一種類 型的光源來保證。該文獻(xiàn)的最終方法是使用一種類型的光源驗(yàn)證的，盡管測(cè) 試已經(jīng)表明使用不同類型的光源也能實(shí)現(xiàn)好的結(jié)果。
在圖10a和10b中可以看到一個(gè)人在兩個(gè)不同場(chǎng)景中的CbCr、 YCb和 YCr顏色直方圖，其中使用了一種類型的光源。在圖10a和10b中， 一個(gè)人 的CbCr、 YCb和YCr直方圖從左到右依次呈現(xiàn)。每對(duì)中的第一變量在縱軸 上呈現(xiàn)，每對(duì)中的第二變量在橫軸上呈現(xiàn)。在Cb和Cr刻度上增加了 128 的偏移量。圖10a和10b中的顏色直方圖之間的相似性遠(yuǎn)大于圖9a和9b中 的場(chǎng)景之間的相似性。對(duì)多個(gè)人的直方圖(來自兩個(gè)不同的場(chǎng)景)的分析表 明，當(dāng)待辨認(rèn)的對(duì)象為人類時(shí)，只要人趨向于穿著溫和顏色的衣服，那么 CbCr平面在用于辨認(rèn)時(shí)不像YCb和YCr平面那么有用。因此，CbCr平面 中的數(shù)據(jù)經(jīng)常集中到接近原點(diǎn)的位置，并且表示不同顏色的對(duì)象(衣服的片) 的塊重疊。所以，優(yōu)選^^用YCb和YCr直方圖作為用于辨i^穿著溫和顏色 的衣服的人的特征。
匹配特征
為了能夠在不同的視頻序列中辨認(rèn)人，將來自不同視頻序列的特征彼此 進(jìn)行匹配。文獻(xiàn)中已經(jīng)提出多種對(duì)直方圖進(jìn)行匹配的方法。這類方法可以直 接使用。這類用于對(duì)直方圖進(jìn)行匹配的方法之一是直接比較直方圖中的柄 (bin )。實(shí)現(xiàn)該比較的 一種途徑是使用巴氏(Bhattacharyya )系數(shù)，該巴氏 系數(shù)是兩個(gè)直方圖中對(duì)應(yīng)柄的乘積的平方根之和。D.Comaniciu、 V.Ramesh 和P.Meer在IEEE計(jì)算機(jī)視覺和模式識(shí)另'J (Computer Vision and Pattern Recognition ) ( 2000 )的"Kernel-based object tracking (基于內(nèi)才亥的只十象3艮蹤)"中對(duì)該方法進(jìn)行了描述。
二次曲線匹配(conic matching )是用于對(duì)塊特征進(jìn)行匹配(例如在視 圖匹配)的替換匹配方法。二次曲線匹配算法將具有相似顏色的像素分割為 類似于橢圓形的塊。然后將一個(gè)圖像中發(fā)現(xiàn)的塊與其它圖像中的塊進(jìn)行比 較，來察看它們是否匹配。在該比較中使用的特征是塊的顏色、形狀和位置。 P.E. Forss6n和A.Moe在林克平大學(xué)(Link6ping University )電氣工程系的 開放課件中的"View matching with blob features (使用塊特征的^L圖匹酉己)，， 中對(duì)該匹配方法進(jìn)行了描述。
可以在本發(fā)明中使用的另一種匹配方法是，使用正態(tài)分布對(duì)直方圖進(jìn)行 建模，然后使用模型的參數(shù)作為匹配特征。這會(huì)大大降低數(shù)據(jù)量。
諸如期望最大化(Expectation Maximization, EM)算法的分布擬合算 法通過一組正態(tài)分布來對(duì)未知的分布進(jìn)行建模。EM算法使用給定數(shù)目的正 態(tài)分布(類)和這些類的初始參數(shù)估計(jì)來開始。然后對(duì)兩個(gè)步驟進(jìn)行迭代， 直到滿足停止判據(jù)為止。這些步驟是使用當(dāng)前參數(shù)的期望步驟(E步驟)， 然后是尋找新的參數(shù)的最大化步驟(M步驟)。EM算法不必收斂來獲取有 用的結(jié)果，但是該模型在每次迭代后變得更好。由于需要可以實(shí)時(shí)應(yīng)用的快 速方法，因此這在該論題上是有用的。以下以及在隆德大學(xué)(Lund University ) 2005年的"Image Modeling and Estimation, a Statistical Approach (圖4象建才莫 和估計(jì)， 一種統(tǒng)計(jì)方法)"第2.3.3章The EM-algorithm for unknown distributions (未知分布的EM算法)中對(duì)EM算法進(jìn)行了更詳細(xì)的描述。
由于已分割的對(duì)象圖像中的黑色背景，測(cè)試人的所有直方圖中的Y=0 且Cb,Cr=0處均存在尖峰。這些尖峰干擾了 EM算法，并且它們不包含關(guān)于 該對(duì)象的信息，因此被刪除。所有的直方圖除了具有塊之外，還具有總體分 布(underlying distribution)。因此將矩形分布添加到模型中。因此，完成 了對(duì)EM算法的調(diào)整。該算法也可以被調(diào)整以處理直方圖。
當(dāng)對(duì)分布進(jìn)行建才莫時(shí)，可以人工確定或通過任何種類的已知自動(dòng)方法來 計(jì)算矩形分布的相對(duì)頻率以及類的最優(yōu)數(shù)目。使用不同數(shù)目的類即不同數(shù)目的正態(tài)分布建模后的直方圖示于圖lla-c中。這些圖中的每一個(gè)由兩個(gè)圖像 組成直方圖示于左邊圖像中，使用正態(tài)分布建模的直方圖以ap坐標(biāo)示于 右邊的圖像中，這將在下面在本文獻(xiàn)中給出。變量ot在縱軸上呈現(xiàn)。在圖 lla中，K=2,其中K是在建模后的直方圖中所使用的正態(tài)分布的數(shù)目，在 圖llb中，K=3,在圖11c中，K=4。對(duì)于每個(gè)直方圖，該算法還根據(jù)初始 參數(shù)估計(jì)向幾個(gè)不同的模型迭代。大多數(shù)直方圖具有多于一個(gè)，通常是兩個(gè) 可能的正態(tài)分布模型?？梢匀斯せ蛲ㄟ^任意類型的自動(dòng)方法來選擇使用這些 模型中的哪一個(gè)。
為了獲取初始參數(shù)估計(jì)，使用K均值(K-means)算法的一次迭代。 J.B.Mac Queen在1967年第5屆數(shù)學(xué)統(tǒng)計(jì)和概率的伯克利學(xué)術(shù)會(huì)議(5th Berkeley Symposium on Mathematical Statistics and Probability )第281-297頁(yè)
(用于多變量觀測(cè)的分類和分析的若干方法)"中對(duì)K均值算法進(jìn)行了描 述。K均值算法將每個(gè)類的一個(gè)聚類中心隨機(jī)地布置在直方圖中，然后將柄 聚類到最接近的聚類中心。最后，針對(duì)不同的聚類來計(jì)算初始參數(shù)。
以下描述調(diào)整后的用于具有矩形分布的直方圖的EM算法。在該算法 中，hj是直方圖的柄的高度，二維^是與柄對(duì)應(yīng)的坐標(biāo)(Y以及Cb或Cr); j=l,...,H,其中H是非空柄的數(shù)目；k=0, ...,K, k是類數(shù)目，其中K是正 態(tài)分布的數(shù)目，并且]^=0表示矩形分布；0k^二U是分布參數(shù)，其中E(^) 是期望值，并且2^E((;-^)(;-)^)T)是分布的觀測(cè)；的協(xié)方差矩陣；7tk表示相 對(duì)頻率，并且A ={:rk, k}。
K均值算法的一個(gè)步驟是運(yùn)行并且將所有柄進(jìn)行分類。當(dāng)假設(shè)統(tǒng)一的初 始相對(duì)頻率并具有條件
<formula>formula see original document page 28</formula>
時(shí)，其中k=l, ...,K和te,C ， C是人工選擇的常數(shù)，初始相對(duì)頻率估計(jì)兀k。 由0 一 1 一兀o :—K
確定(
初始期望值^°由
確定，其中k4, ...,K， k表示不同的類。jek表示已經(jīng)被歸類為類k的柄
假設(shè)分布在不同的維度中不相關(guān)，換句話說，初始協(xié)方差矩陣&°不具 有協(xié)方差，并且所有的類的方差相同。使2^°=!:，其中對(duì)于k4,…，K，
0
Uj Uj hj
并且Ujek = Zjek — |Uk 。 Sj是二維變量
，其中u/是Y部分，u/是
Cb或Cr部分。
EM算法使用具有附屬(belonging )柄h = {、,...,hH}}的數(shù)據(jù)z = {a，…z" 來估計(jì)屮變量^^&co)是針對(duì)各個(gè)S,完成模型選擇的S的形式，讓 p^l^F)成為所觀測(cè)的數(shù)據(jù)S的似然，并讓P^1^)成為^的似然，
P(;l"=nH\p(;j|coA)。
給定初始參數(shù)估計(jì)^V對(duì)以下步驟進(jìn)行迭代。E步驟估計(jì) Q(il/,y(t)) = E(log(p^ I m;》I z，h,ii/(t))
產(chǎn)l《=1
^使用貝葉斯公式并對(duì)于k4, ...,K,得到
兀。p(;, i W/ = o)+n i w一, )
對(duì)于矩形分布(k=0)的特殊情況
(,) 兀oP(z' I w, = 0)
兀 , = o)+0;'))
其中，在前面兩個(gè)等式中j=l， ...，H，并且t是迭代次數(shù)。C0j二k意味著柄數(shù)
目j已經(jīng)被歸類為類號(hào)碼k。
回憶起我們有正態(tài)分布，對(duì)于k4,…，K，并且j^,…，H
* i w一， [()) = u 二 ， 4 (;乂 - ^ )r- ^》
V(2兀)ILt I 2
d二2是維數(shù)(Y以及Cb或Cr )。 p(^ | w, = O)被近似設(shè)置為1/2562。 p(^ | w」=0)
應(yīng)該是1/A,其中A是顏色平面的面積。該近似并不影響該結(jié)果，但是該表 述失去了其統(tǒng)計(jì)意義。
M步驟使用拉格朗日乘法尋找在兀。+ ZLKk = 1的條件下使QCF,T(t))最 大化的^ =甲(1+1),以使約束最優(yōu)化，對(duì)于k4,…，K，給定
二闊— 1 fy');/
》=乂(乜戶1
對(duì)于k=l, ...，K,給定
1{ (')7廠 一('+"、r廠 一('+"、
對(duì)于k=l, ...,K,給定
1 一 7T W
其中n是直方圖中的像素?cái)?shù)目。
在本發(fā)明中可以使用矩形分布來對(duì)直方圖中的噪聲進(jìn)行建模，從而可以 在直方圖中從感興趣的信息中減去噪聲。當(dāng)對(duì)直方圖進(jìn)行建模時(shí)，通常使用
30二到五個(gè)分布進(jìn)行建模比較合適。然而，也可以使用更少或更多個(gè)分布。在 對(duì)直方圖進(jìn)行建模時(shí)所使用的分布的數(shù)目還可以稱作類，其中類K = 2意味 著使用了兩個(gè)分布。當(dāng)將矩形分布增加到模型中時(shí)，需要更少的類，但是模
型與直方圖的相似性會(huì)降低。這在圖12中可以看出，圖12示出YCb中測(cè)
試人的直方圖和該直方圖的具有不同的矩形分布相對(duì)頻率(7T。)的對(duì)應(yīng)正態(tài) 分布。直方圖在左上角呈現(xiàn)?？梢钥闯?，該直方圖的具有不同相對(duì)頻率(71。) 的矩形分布的對(duì)應(yīng)正態(tài)分布模型在圖中從左到右從上到下增加7T。。這里
0<=兀。<=0.35。在Cb上增加了 128的偏移量。
由于必須對(duì)另一個(gè)參數(shù)(矩形分布的相對(duì)大小)進(jìn)行調(diào)整，或人工調(diào)整 或自動(dòng)調(diào)整，因此，這個(gè)問題還變得更加復(fù)雜。因此在本文獻(xiàn)中不再使用矩 形分布，并且在以上的算法中矩形分布的相對(duì)頻率被設(shè)置為0(兀。=0), 盡管矩形分布可以用作本發(fā)明的另 一 實(shí)施例。
度量
本節(jié)涉及測(cè)量不同視頻序列中對(duì)象之間的相似性的度量的開發(fā)。第 一部 分包含關(guān)于使用哪個(gè)變量的討論，在第二部分中開發(fā)度量函數(shù)。 度量變量
參數(shù)(針對(duì)類k-1, ...,K的;ik, Sk和兀k)可用于創(chuàng)建度量，但是出于 若干個(gè)原因，通過直接比較這些參數(shù)可能難以獲得好的結(jié)果。由于改變不同 場(chǎng)景中光的強(qiáng)度和顏色，因此塊在直方圖中的位置會(huì)變化。這使得很難將正 態(tài)分布期望值(5k)的值當(dāng)作度量函數(shù)的直接輸入來對(duì)待。正態(tài)分布的協(xié)方 差矩陣(sk)和相對(duì)頻率(％)均依賴于場(chǎng)景中的光以及分布擬合算法建 立直方圖的模型的方式。它們描述了正態(tài)分布的維數(shù)。此外，塊并不會(huì)沿坐
標(biāo)軸向延伸，而是沿圖8中示出的線延伸。由于方差和協(xié)方差是沿Y、 Cb 和Cr軸測(cè)量的，因此如果塊略微旋轉(zhuǎn)，則方差和協(xié)方差就會(huì)有很大的變化。 所以很難對(duì)協(xié)方差矩陣進(jìn)行相互比較。相應(yīng)地，、和％在辨認(rèn)中都是不穩(wěn) 定的特征。如果使用了具有沿塊延伸的軸的坐標(biāo)系，那么協(xié)方差矩陣就會(huì)容易分析
和用作辨認(rèn)特征。因此，將坐標(biāo)系從YCb或YCr變?yōu)閳D13中所示的具有坐 標(biāo)p和a的坐標(biāo)系，并且由下式來定義
180
a =-arctan
7t
、Y,
其中C表示Cb或Cr, p以度數(shù)為單位給出。在新的坐標(biāo)系中，照明的強(qiáng)度 變化粗略地導(dǎo)致塊在p方向上的位置變化，并且光的顏色變化粗略地導(dǎo)致塊 在a方向上的位置變化。在對(duì)模型進(jìn)行比較時(shí)，可以使用上述知識(shí)。有利地， 原點(diǎn)可以位于丫=256且0=0,而不是丫=0且。=0。否則a無(wú)法描繪圖8中 示出的線的方向。然而，這僅發(fā)生在黑暗場(chǎng)景中捕獲了極亮對(duì)象的情況下， 當(dāng)對(duì)象是人時(shí)，這種情況不太可能發(fā)生。因此，在大多數(shù)情況下，可以進(jìn)行 近似，并且可以將原點(diǎn)置于Y二0且O0的位置。
圖14在圖的左邊示出采用YCb的直方圖，并且在圖的右邊示出以a和 p作為坐標(biāo)軸的新坐標(biāo)系中的同一直方圖，其中a在縱軸上呈現(xiàn)，p在橫軸 上呈現(xiàn)。在Cb上增加了 128的偏移量。
兩個(gè)不同視頻序列之間可能至少出現(xiàn)三種類型的影響模型的變化
*塊的整個(gè)聚類在p和a方向上的平移(translation)。
*塊的整個(gè)聚類的旋轉(zhuǎn)。
*塊相對(duì)4皮此的內(nèi)部平移。
然后將與場(chǎng)景和環(huán)境有關(guān)的變化從與對(duì)象有關(guān)的變化中分離出來。接 著，相對(duì)于它們?cè)谠搶?duì)象的辨認(rèn)中的重要性，賦予它們?cè)诙攘亢瘮?shù)中的不同 權(quán)重。
為了測(cè)量整個(gè)聚類的平移，使用直方圖中的質(zhì)心(p^和C^)，其由以
下等式來定義
& — x、
32其中H是直方圖中非空的柄的數(shù)目，hj是柄數(shù)目的高j。
還可以在YCr或YCb平面中或YCbCr空間中直接計(jì)算質(zhì)心。
為了估計(jì)聚類的旋轉(zhuǎn)，要獲取控制方向，即聚類的中心軸。獲取該中心 軸的一種方法是主分量分析(PCA)算法。然而，還存在若干種針對(duì)此目的 的其它算法。在隆德、大學(xué)(Lund University ) 2005年的"Image Modeling and Estimation, a Statistical Approach(圖像建模和估計(jì)， 一種統(tǒng)計(jì)方法)，，第2.3.4 章Data reduction (數(shù)據(jù)減少)中對(duì)PC A進(jìn)行了描述。在本發(fā)明的實(shí)施例中， 該算法可以考慮直方圖中的每個(gè)樣本具有權(quán)重。加權(quán)PCA算法是這種算法 的 一 個(gè)例子。以下描述加權(quán)PC A 。
在該算法中，hj是直方圖的柄的高度，其被用作權(quán)重。兩維&是格子的 兩個(gè)坐標(biāo)，&=(Pj,aj)。 j=l， ...，H,其中H是非空柄的數(shù)目。
通過使協(xié)方差矩陣i:對(duì)角化來找出具有附屬權(quán)重hj,j=l, ...,H的數(shù)據(jù)^
的主分量。
<formula>formula see original document page 33</formula>
其中i:l=lH h」是直方圖中像素的數(shù)目。a是具有特征值、2人2的降序?qū)蔷仃嚒?p是正交矩陣，其中列f」是屬于、的特征向量。用作參考方向的第一主方向 是p中與最大特征值對(duì)應(yīng)的特征向量。為了保證明確的結(jié)果，在需要時(shí)改變
戸i和^2的符號(hào)，以z使5點(diǎn)在負(fù)p方向上，？2點(diǎn)在正a方向上。
為了測(cè)量塊相對(duì)于彼此的內(nèi)部運(yùn)動(dòng)，使用一種新的內(nèi)部聚類坐標(biāo)系。該
坐標(biāo)系示于圖15中。參考方向被轉(zhuǎn)換為參考角度^，該參考角度在正a方
向處開始逆時(shí)針增加。原點(diǎn)位于聚類的質(zhì)心(cw),并且所使用的軸是根據(jù)
上述算法得到的兩個(gè)主方向(^和P2),即內(nèi)部聚類坐標(biāo)軸。到新坐標(biāo)的變換由以下等式來定義 = [a-aew p」*P 其中pl和p2是新坐標(biāo)，a和p是舊坐標(biāo)，p^和o^是聚類的質(zhì)心的a和p坐 標(biāo)。P是以第一主方向和第二主方向分別作為列的2x2的矩陣。由于P的行 列式為1，因此不需要考慮因?yàn)樽儞Q而引起的比例變化。
在度量函數(shù)中最終使用的變量是整個(gè)聚類的質(zhì)心(p^和c^ )、整個(gè)聚
類的參考角度(()))、不同類的相對(duì)頻率(~ )和正態(tài)分布(pU和p2j在
內(nèi)部聚類坐標(biāo)系中的位置，其中再一次說明k= 1, K是類號(hào)碼，而K是 當(dāng)前模型中類的總數(shù)。
度量函數(shù)
由于在辨認(rèn)時(shí)度量函數(shù)中的變量的重要性不一定相等，因此可以根據(jù)它 們的重要性來將它們對(duì)最終兩個(gè)被比較的對(duì)象之間的相似程度的影響進(jìn)行 加權(quán)。所以總函數(shù)被構(gòu)建為加權(quán)的子函數(shù)之和。根據(jù)一實(shí)施例，子函數(shù)被構(gòu) 建為兩個(gè)被比較的模型中變量之間的偏差的二次函數(shù)。使用二次子函數(shù)代替 線性函數(shù)來適當(dāng)?shù)厥勾蟮钠钍艿奖刃〉钠罡嗟膽土P。子函數(shù)從0到1, 其中最大的偏差為0， l相當(dāng)于根本沒有偏差。最終將屬于變量的權(quán)重加到 子函數(shù)上。處理連接至個(gè)別塊而不是整個(gè)聚類的變量的子函數(shù)也被除以塊數(shù) 目最小的模型中的塊數(shù)目。這是以使總函數(shù)在0與1之間延伸的方法來實(shí)現(xiàn) 的，其中如果對(duì)兩個(gè)相同的模型進(jìn)行比較，則接收后者的結(jié)果。
在以下的等式1.1中，可以看出一般(general)變量x的子函數(shù)f(x,，X2) 的構(gòu)建。x,是模型1中的變量值，^是模型2中的變量值，其中模型l是正 態(tài)分布數(shù)目最大(K,是模型1中正態(tài)分布的數(shù)目)的模型，模型2是正態(tài)分 布數(shù)目最小(K，是模型2中正態(tài)分布的數(shù)目)的模型。
丄_ (Ax)2
(1.1)
其中0《Wx《1,并且i:^Wx:1, U"p^,acw,(l),7r,pl,p2)是矩陣中所使用的
34所有變量組成的集合。Ax = |Xl-X2l和Ax腿是當(dāng)前變量的最大可能偏差，
Apcwmax = 256 ， Aacwmax = 90 ， A())隨=180 , A兀隨=1, Apl隨=271 ， Ap2隨=271 。 當(dāng)對(duì)兩個(gè)模型中的塊進(jìn)行相互匹配時(shí)，最相稱的塊對(duì)首先匹配。然后， 剩余的塊中最相稱的塊對(duì)匹配，以此類推，直到塊數(shù)目最小的模型中所有的 塊與另一^f莫型中的塊匹配為止。用于匹配塊的函數(shù)/2化,&)由下式來定義
豐"^S/(、,A) ( 1,2)
其中f由公式1.1定義，并且T^(7i,pl,p2)是矩陣中連接至個(gè)別塊而不是塊的 聚類的所有變量的集合。注意到這些變量針對(duì)模型的每個(gè)正態(tài)分布都具有一 個(gè)值，即在模型l中是兀k,、 plkl、 p2kl，并且在模型2中是7ik2、 plk2、 p2k2， 其中l(wèi)^k^K,，并且1^1^2《:^2。該函數(shù)給出模型1和模型2中一對(duì)正態(tài)分 布之間的相似性值，但是在能夠確定最優(yōu)匹配之前，應(yīng)當(dāng)對(duì)兩個(gè)模型中類的 所有可能匹配組合都進(jìn)行測(cè)試。在總度量函數(shù)中，僅使用最優(yōu)匹配。
如果在兩個(gè)被比較的模型中有不同數(shù)目的塊，那么懲罰函數(shù) p(K,，K2,兀J在總度量函數(shù)中對(duì)此進(jìn)行懲罰，總度量函數(shù)由以下等式來定義
其中FS1。在沒有p的情況下，該函數(shù)在0與1之間延伸。f(Xi,xJ如等式 1.1那樣構(gòu)建。R-(p。v,o^,(rt是連接至整個(gè)聚類而不是個(gè)別塊的所有變量的 集合。p(KpI^,7^)由以下的等式1.2定義
MH04Z如H (1.4)
其中K是模型1中正態(tài)分布的數(shù)目，^是模型2中正態(tài)分布的數(shù)目，K^K2, 并且AK-K^-K2。 t^是模型1中類k,的相對(duì)頻率，1Sk^K" V是由模型 1中不與模型2中的任意一個(gè)塊相匹配的所有塊組成的集合。p的構(gòu)建是關(guān) 于在兩個(gè)不同的序列中獲取不同的塊數(shù)目的可能性的實(shí)際測(cè)試和分析的結(jié) 果，盡管在兩個(gè)不同的序列中觀察到相同的人。如果序列中的塊數(shù)目?jī)H有小量不同，例如僅有一塊不同，其它塊很好地互相匹配，則度量函數(shù)應(yīng)當(dāng)仍給 出高的相似性值，例如，如果這個(gè)人穿著一件在前面具有大的標(biāo)記的運(yùn)動(dòng)衫， 該標(biāo)記只在一個(gè)場(chǎng)景中能夠看到。然而，如果塊的數(shù)目差別大于l，則在兩 個(gè)序列中具有相同的人的可能性很小。因此p正比于2的AK次冪。即使是 相同的人觀察，小的塊相對(duì)于大的塊而言，在序列之間丟失塊的可能性更高。 對(duì)于與僅由少量塊組成的人而言相比由很多塊組成的人來說，這種情況是事 實(shí)。因此p正比于不匹配的塊的相對(duì)頻率7^并且反比于模型1中塊的數(shù)目
K,。最后，該公式被除以變量Z=10,以得到合適的值。H(、，kJ由以下等式 定義<formula>formula see original document page 36</formula>其中h(k,,k2)由等式1.2定義，并且S是在兩個(gè)模型中的塊之間發(fā)現(xiàn)的最優(yōu)匹
配的集合。
等式1.3是在本文獻(xiàn)的測(cè)試和驗(yàn)證部分中用于測(cè)量被比較的對(duì)象之間的 相似性的度量函數(shù)，該等式可以在matlab中實(shí)現(xiàn)。 驗(yàn)證
本章論述對(duì)所提出的用于在視頻序列中識(shí)別對(duì)象的特性的方法以及對(duì) 所提出的用于在視頻監(jiān)視系統(tǒng)中跟蹤該對(duì)象的方法進(jìn)行的訓(xùn)練和測(cè)試。第一 節(jié)描述訓(xùn)練部分，在這里確定度量的權(quán)重。然后在第二節(jié)中介紹測(cè)試和結(jié)果。
訓(xùn)練
為了確定度量函數(shù)中所使用的權(quán)重—={『，,『_，^，K，『pl，^2,"，使用
了訓(xùn)練數(shù)據(jù)的集合。該集合由來自具有相似照明條件的兩個(gè)不同場(chǎng)景(l和 2)的六個(gè)視頻序列(Lp L2、 M。 M2、 Ni和N2)組成，其中每個(gè)場(chǎng)景有 三個(gè)序列。這些視頻序列中的每一個(gè)已經(jīng)捕獲了在當(dāng)前場(chǎng)景中來回走動(dòng)的測(cè) 試人。使用了三個(gè)測(cè)試人(L， M和N),每個(gè)測(cè)試人產(chǎn)生兩個(gè)序列， 一個(gè) 序列來自于一個(gè)場(chǎng)景。在兩個(gè)場(chǎng)景中，攝像機(jī)位置和視角不相同，并且到對(duì)象的距離和所觀察的對(duì)象的部位在序列之間有所變化。來自視頻序列"的
圖像可以在圖16a中看到，來自視頻序列L2的圖像可以在圖16b中看到。
通過所提出的方法，針對(duì)各個(gè)訓(xùn)練序列創(chuàng)建直方圖和正態(tài)分布模型。針
對(duì)測(cè)試序列，在模型中使用以下分布數(shù)目，L,使用K=3, L2使用K=3， 使用K=3, M2使用K=3， Nd吏用K=5, Nz使用K=5,其中K是所使用的正 態(tài)分布的數(shù)目。在圖17a和17b中，在每個(gè)圖中以從左到右的次序示出針對(duì) Li和L2的三個(gè)直方圖YCb中的直方圖；？-a中的直方圖；？-a中的直方圖 模型。圖17a示出L!的直方圖和模型，圖17b示出L2的直方圖和模型。
使用所提出的度量以所有可能的組合對(duì)所有六個(gè)序列進(jìn)行相互比較。當(dāng) 對(duì)包含相同的人的兩個(gè)序列進(jìn)行比較時(shí)，度量函數(shù)的期望輸出是高相似性 值，而當(dāng)對(duì)包含不同的人的兩個(gè)序列進(jìn)行比較時(shí)，度量函數(shù)的期望輸出是低 相似性值。在權(quán)重W變化時(shí)這些結(jié)果也變化，并且選擇了這樣一種權(quán)重組 合作為權(quán)重的最優(yōu)組合，即包含相同的人的序列之間的最低相似性值與包含 不同的人的兩個(gè)序列之間的最高相似性值之間的差值最大化。為了找出最優(yōu) 權(quán)重，在例如Matlab中使用了簡(jiǎn)單的for循環(huán)，以在W的所有可能組合中 循環(huán)。在0SW&u21且I^uWx二l的約束條件下，使用0.04的增量，其中 U = {pe、v,ocew,(l),7r,pl,p2}。隨后在本論文的測(cè)試部分中使用最優(yōu)權(quán)重W。pt。由 于使用兩維數(shù)據(jù)來工作，因此，該優(yōu)化必須在YCb平面中進(jìn)行一次，并且 在YCr平面中進(jìn)行一次，得到W。ptCb和W。p^，這可以從以下等式中看出
^:=
W: =
其中『w =『。w，;c ,『"/7/，/71 ，『"p,j72 ，『op/,(tt ,『W，acw ，『op/，pcw ， 并且C疋Cb或Cl"。
以下列方式給出相似性矩陣SCb和SC、所述相似性矩陣示出在場(chǎng)景l(fā)和 2中所比較的訓(xùn)練人L、 M和N的所有可能組合的相似性值
37<formula>formula see original document page 38</formula>
相同的人之間在Cb中的最低相似性值為0.9990，并且不同的人之間在 Cb中的最高值為0.9792，有0.0198的差值。對(duì)于Cr而言，同樣的值為0.9996 和0.9805,有0.0191的差值。
測(cè)試
為了測(cè)試所提出的辨認(rèn)方法，執(zhí)行類似于訓(xùn)練程序的程序。從與訓(xùn)練集 合中相同的兩個(gè)場(chǎng)景(l和2)中捕獲八個(gè)碎見頻序列(E,、 E2、 F!、 F2、 Gj、 G2、 H!和H2)的測(cè)試集合。使用了四個(gè)測(cè)試人(E， F, G和H)，每個(gè)測(cè) 試人產(chǎn)生兩個(gè)序列， 一個(gè)序列來自一個(gè)場(chǎng)景。與攝像機(jī)位置、視角、到對(duì)象 的距離和所觀察的對(duì)象的部位有關(guān)的條件與訓(xùn)練序列中相同。來自視頻序列 Ei和E2的圖像示于圖18a-b中。正如在訓(xùn)練程序中，針對(duì)各個(gè)測(cè)試程序來創(chuàng)建直方圖和直方圖的正態(tài)分
布模型。該訓(xùn)練程序中，在模型中使用以下的分布數(shù)目，E！使用K=2, E2 使用K=2, F,使用K=3， F2使用K=3, G,使用K=3, G2使用K=3, &使用 K=3， H2使用K二3，其中K是所使用的正態(tài)分布的數(shù)目。^見頻序列E!和E2 的序列直方圖和對(duì)應(yīng)的模型在圖19a-b中給出，每個(gè)圖由三個(gè)圖像組成，這 些圖像從左到右示出YCb中的直方圖；？-a中的直方圖；？-a中的直方圖模 型。
使用來自訓(xùn)練的相似性函數(shù)和權(quán)重，以所有可能的組合對(duì)所有八個(gè)序列 進(jìn)行相互比較。在序列1和2中相比較的測(cè)試人E、 F 、 G和H之間的相似 性值以下列方式在兩個(gè)相似性矩陣中給出
EAEtF2EA叫
E2E,E2E2E2F2E2G2E2H!E2H2
F'E,F,E2FF2肌F'G2FA諷
隅F2E2F2F,F2F2叫F2G2F2H,F2H2
G!E2G,巧G,F2GtG2GAGft
G2E,G2E2G2F,G2F2G2G2G凡G2H2
叫叫叫叫叫H,G2HA
H2E,H2E2H2F,H2F2H2G,H2G2H2H,H2H2
其中C是Cb或Cr，得到
l扁O0.99970.9卯80.99240.99310.99420.98200.9858
0.9997l扁O0.98770.98990.99280.99410.98130.9850
0.99080.9877l細(xì)O0.99980.98590.97690.99280.9923
0.99240.98990.9998l，OOOO0.98740.97850.99390.9934
0.99310.99280.98590.9874l細(xì)O0.99710.95430.9607
0.99420.99410.97690.97850.9971l扁O0.99250.9941
0.98200.98130.99280.99390.95430.99251.00000.9996
0.98580.98500.99230.99340.96070.99410.9996l扁O<formula>formula see original document page 40</formula>
相同的人之間在Cb中的最低相似性值為0.9971,并且不同的人之間在 Cb中的最高值為0.9942,有0.0029的差值。對(duì)于Cr而言，同樣的值為0.9982 和0.9986,有-0.0004的差值。
同時(shí)使用Cb和Cr中的信息的簡(jiǎn)單方法是將Scb和S&加到相似性矩陣S 中，得到
<formula>formula see original document page 40</formula>
在該矩陣中，相同的人之間的最低相似性值為0.9976,不同的人之間的 最高值是0.9963，有0.0013的差值。
已經(jīng)在附圖和說明書中公開了本發(fā)明的優(yōu)選實(shí)施例和例子，盡管采用了 特定的術(shù)語(yǔ)，但是它們僅以通用的和描述性的意義被使用，并不作為限定的 目的，本發(fā)明的范圍記錄在以下的權(quán)利要求中。
權(quán)利要求
1、一種在視頻監(jiān)視系統(tǒng)中用于在由視頻監(jiān)視攝像機(jī)捕獲的視頻序列中識(shí)別對(duì)象的特性的方法，該方法包括以下步驟在所述視頻序列中識(shí)別(302)特定對(duì)象；基于在所述視頻序列中識(shí)別出的特定對(duì)象的顏色和強(qiáng)度信息，在至少兩維的顏色空間中生成(306)顏色直方圖，所述顏色和強(qiáng)度信息源自所述視頻序列的多個(gè)圖像；基于所生成的顏色直方圖來識(shí)別(308、310、312、314)所述對(duì)象的特性。
2、 根據(jù)權(quán)利要求1所述的方法，其中基于所生成的顏色直方圖來識(shí)別所述對(duì)象的特性的步驟包括以下步驟通過若干個(gè)諸如正態(tài)分布之類的分布對(duì)顏色直方圖進(jìn)行建模(308 );和基于所生成的且經(jīng)過建模后的顏色直方圖來識(shí)別(310、 312、 314)所述對(duì)象的特性。
3、 根據(jù)權(quán)利要求2所述的方法，其中所述基于所生成的且經(jīng)過建模后的顏色直方圖來識(shí)別所述對(duì)象的特性的步驟進(jìn)一步包括計(jì)算(312)所述若干個(gè)分布的用于識(shí)別所述對(duì)象的特性的參數(shù)；和基于計(jì)算出的參數(shù)來計(jì)算(314)所述對(duì)象的特性。
4、 根據(jù)權(quán)利要求2或3所述的方法，其中顏色直方圖通過若干個(gè)分布使用諸如期望最大化算法之類的分布擬合算法來建模。
5、 根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其中所述方法進(jìn)一步包括以下步驟將顏色直方圖從卡笛爾坐標(biāo)系變換(310)為極坐標(biāo)系。
6、 根據(jù)權(quán)利要求3-5中任一項(xiàng)所述的方法，其中基于計(jì)算出的參數(shù)來計(jì)算(314)所述對(duì)象的特性的步驟包括通過根據(jù)所述若干個(gè)分布的參數(shù)中的各參數(shù)與所述對(duì)象的特性的相關(guān)性對(duì)所述若干個(gè)分布的參數(shù)進(jìn)行加權(quán)，來計(jì)算所述對(duì)象的特性。
7、 根據(jù)權(quán)利要求5或6中任一項(xiàng)所述的方法，其中計(jì)算(312)所述分布的參數(shù)的步驟包括將顏色直方圖從所述極坐標(biāo)系變換為第二卡笛爾坐標(biāo)系，以及在顏色直方圖中，將所述第二卡笛爾坐標(biāo)系的原點(diǎn)布置所述對(duì)象的質(zhì)心處。
8、 根據(jù)權(quán)利要求7所述的方法，其中計(jì)算參數(shù)(312)的步驟進(jìn)一步包括計(jì)算所述若干個(gè)分布在所述第二卡笛爾坐標(biāo)系中的位置的步驟，并且其中所述若干個(gè)分布在所述第二卡笛爾坐標(biāo)系中的位置被用作識(shí)別所述對(duì)象的特性的參數(shù)。
9、 根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，其中在顏色直方圖中，對(duì)象的各顏色部分由顏色直方圖中的具有特定擴(kuò)張的塊來表示，并且其中所述對(duì)象被描述為這類塊的聚類。
10、 根據(jù)權(quán)利要求3-9中任一項(xiàng)所述的方法，其中在顏色直方圖中，對(duì)象的各顏色部分由顏色直方圖中的具有特定擴(kuò)張的塊來表示，并且其中所述對(duì)象被描述為這類塊的聚類，并且其中用于識(shí)別所述對(duì)象的特性的若干個(gè)分布的參數(shù)包括塊的聚類的質(zhì)心(pcw、 ocew )、塊的聚類的參考角度(* )、分布的相對(duì)頻率(％)、所述分布在坐標(biāo)系中的位置(plk、 p2k),其中k= 1,2, ...，K, k是分布號(hào)碼，K是模型中分布的總數(shù)。
11、 根據(jù)權(quán)利要求1-10中任一項(xiàng)所述的方法，進(jìn)一步包括以下步驟針對(duì)在各個(gè)圖像中對(duì)所述對(duì)象進(jìn)行描述的像素?cái)?shù)目來對(duì)源自所述多個(gè)圖像中各圖像的顏色和強(qiáng)度信息進(jìn)行歸一化(304)。
12、 根據(jù)權(quán)利要求1-11中任一項(xiàng)所述的方法，其中所述顏色空間是能夠?qū)?qiáng)度信息和顏色信息分離的顏色空間，例如YCbCr、 HSV或YUV顏色空間。
13、 根據(jù)權(quán)利要求1-12中任一項(xiàng)所述的方法，其中顏色直方圖在兩維顏色平面中生成。
14、 根據(jù)權(quán)利要求1-13中任一項(xiàng)所述的方法，其中顏色直方圖基于所 述視頻序列的所有圖像中的顏色和強(qiáng)度信息而生成。
15、 根據(jù)權(quán)利要求1-14中任一項(xiàng)所述的方法，其中基于顏色直方圖來 識(shí)別所述對(duì)象的特性的步驟包括基于顏色直方圖來識(shí)別(308、 310、 312)描述所述視頻序列中的對(duì)象 的參數(shù)；基于識(shí)別出的參數(shù)來計(jì)算(314)所述對(duì)象的特性。
16、 根據(jù)權(quán)利要求15所述的方法，其中識(shí)別(308、 310、 312)描述所 述視頻序列中的對(duì)象的參數(shù)的步驟包括識(shí)別顏色直方圖的質(zhì)心和顏色直方圖分布；和基于識(shí)別出的質(zhì)心和識(shí)別出的顏色直方圖分布來計(jì)算用于識(shí)別所述對(duì) 象的特性的參數(shù)。
17、 根據(jù)權(quán)利要求16所述的方法，其中所述質(zhì)心被識(shí)別為期望值，所 述擴(kuò)張被識(shí)別為協(xié)方差矩陣。
18、 一種用于在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的方法，所述方法包括以下步驟在由第一視頻監(jiān)視攝像機(jī)捕獲的第一視頻序列中識(shí)別(402)待跟蹤對(duì)象；根據(jù)權(quán)利要求1-17中任一項(xiàng)所述的方法來識(shí)別(404)所述待跟蹤對(duì)象 的特性；在由第二視頻監(jiān)視攝像機(jī)捕獲的第二視頻序列中識(shí)別(406 )候選對(duì)象； 根據(jù)權(quán)利要求1-17中任一項(xiàng)所述的方法來識(shí)別(408 )所述候選對(duì)象的 特性；將識(shí)別出的所述候選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn) ^f亍匹配(410);基于所述匹配步驟來計(jì)算(412)所述候選對(duì)象與所述待跟蹤對(duì)象相同 的可能性。
19、 根據(jù)權(quán)利要求18所述的方法，其中所述匹配(410)步驟進(jìn)一步包 括以下步驟檢測(cè)針對(duì)所述待跟蹤對(duì)象生成的塊的聚類與針對(duì)所述候選對(duì)象生成的 塊的聚類之間的平移；檢測(cè)針對(duì)所述待跟蹤對(duì)象生成的塊的聚類與針對(duì)所述候選對(duì)象生成的 塊的聚類之間的旋轉(zhuǎn)；;險(xiǎn)測(cè)針對(duì)所述待跟蹤對(duì)象生成的顏色直方圖中的塊與針對(duì)所述候選對(duì) 象生成的顏色直方圖中的塊之間的內(nèi)部平移；以及比較所檢測(cè)到的平移、旋轉(zhuǎn)和內(nèi)部平移。
20、 根據(jù)權(quán)利要求19所述的方法，其中比較所檢測(cè)到的平移、旋轉(zhuǎn)和 內(nèi)部平移的步驟進(jìn) 一 步包括通過比較表示指示平移、旋轉(zhuǎn)和內(nèi)部平移的參數(shù)來比較所檢測(cè)到的平 移、^走轉(zhuǎn)和內(nèi)部平移；以及根據(jù)用于所比較的參數(shù)對(duì)計(jì)算所述候選對(duì)象與所述待跟蹤對(duì)象相同的 可能性的重要性，來對(duì)所比較的參數(shù)進(jìn)行加權(quán)。
21、 根據(jù)權(quán)利要求18-10中任一項(xiàng)所述的方法，所述方法進(jìn)一步包括以 下步驟生成(414)指示所述候選對(duì)象與所述待跟蹤對(duì)象相同的可能性的信號(hào)。
22、 根據(jù)權(quán)利要求18-21中任一項(xiàng)所述的方法，其中將識(shí)別出的所述候 選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn)行匹配(410)的步驟包 括將所述待跟蹤對(duì)象的顏色直方圖中塊的數(shù)目與所述候選對(duì)象的顏色直 方圖中塊的數(shù)目進(jìn)行比較。
23、 根據(jù)權(quán)利要求22所述的方法，其中在計(jì)算(412)所述候選對(duì)象與 所述待跟蹤對(duì)象相同的可能性的步驟中，所述可能性根據(jù)所述待跟蹤對(duì)象的顏色直方圖中塊的數(shù)目與所述候選對(duì)象的顏色直方圖中塊的數(shù)目之間的差 的百分?jǐn)?shù)被降低一值。
24、 根據(jù)權(quán)利要求18-23中任一項(xiàng)所述的方法，其中將識(shí)別出的所述候 選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn)行匹配(410)的步驟包 括將描述所述候選對(duì)象的顏色直方圖參數(shù)與描述所述待跟蹤對(duì)象的顏色 直方圖參數(shù)進(jìn)行匹配。
25、 根據(jù)權(quán)利要求24所述的方法，其中匹配(410)步驟進(jìn)一步包括 根據(jù)所述參數(shù)在識(shí)別所述對(duì)象的特性中的重要性來對(duì)匹配的所述候選對(duì)象的參數(shù)和所述待跟蹤對(duì)象的參數(shù)之間的差進(jìn)行加權(quán)。
26、 一種視頻監(jiān)視系統(tǒng)中的識(shí)別裝置(100)，所述識(shí)別裝置包括 對(duì)象識(shí)別單元(102)，用于在視頻序列中識(shí)別特定對(duì)象； 顏色直方圖發(fā)生器(104)，用于基于在所述視頻序列中識(shí)別出的特定對(duì)象的顏色和強(qiáng)度信息，來在至少兩維的顏色空間中生成顏色直方圖，所述 顏色和強(qiáng)度信息源自所述視頻序列的多個(gè)圖像；對(duì)象特性識(shí)別器(106)，用于基于所生成的顏色直方圖來識(shí)別所述對(duì) 象的特性。
27、 根據(jù)權(quán)利要求26所述的識(shí)別裝置，其中所述對(duì)象特性識(shí)別器(106) 進(jìn)一步包括直方圖建模器(108)，用于通過若干個(gè)諸如正態(tài)分布之類的分布對(duì)顏 色直方圖進(jìn)行建模。
28、 根據(jù)權(quán)利要求27所述的識(shí)別裝置，其中所述對(duì)象特性識(shí)別器(106) 進(jìn)一步包括參數(shù)計(jì)算器(112)，用于計(jì)算用于所述若干個(gè)分布的用于識(shí)別所述對(duì) 象的特性的參數(shù)；和對(duì)象特性計(jì)算器(114)，用于基于計(jì)算出的參數(shù)來計(jì)算所述對(duì)象的特性。
29、 根據(jù)權(quán)利要求26-28中任一項(xiàng)所述的識(shí)別裝置，其中所述對(duì)象特性 識(shí)別器(106)進(jìn)一步包括直方圖變換器(110),用于將顏色直方圖從卡笛爾坐標(biāo)系變換為極坐標(biāo)系。
30、 根據(jù)權(quán)利要求28或29所述的識(shí)別裝置，其中所述對(duì)象特性計(jì)算器 (114)被布置為，通過根據(jù)所述若干個(gè)分布的參數(shù)中各參數(shù)對(duì)辨認(rèn)所述對(duì)象的重要性來對(duì)所述若干個(gè)分布的參數(shù)進(jìn)行加權(quán)，從而計(jì)算所述對(duì)象的特 性。
31、 根據(jù)權(quán)利要求29或30所述的識(shí)別裝置，其中所述直方圖變換器 (110)進(jìn)一步被布置為，將顏色直方圖從所述極坐標(biāo)系變換為第二卡笛爾坐標(biāo)系，并且在顏色直方圖中將坐標(biāo)的原點(diǎn)移到所述對(duì)象的質(zhì)心處。
32、 一種視頻監(jiān)視攝像機(jī)，包括根據(jù)權(quán)利要求26-31中任一項(xiàng)所述的識(shí)別裝置。
33、 一種一見頻監(jiān)碎見系統(tǒng)，包4舌連接至公用通信網(wǎng)絡(luò)(20)的若干個(gè)視頻監(jiān)視攝像機(jī)(10、 12、 14);至少一個(gè)根據(jù)權(quán)利要求26-31中任一項(xiàng)所述的識(shí)別裝置(100)，所述 至少 一 個(gè)識(shí)別裝置連接至所述公用通信網(wǎng)絡(luò)；用于在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的跟蹤設(shè)備(200),所述跟蹤設(shè)備連 接至所述公用通信網(wǎng)絡(luò)(20)，所述設(shè)備包括用于從所述至少一個(gè)識(shí)別裝置(100)接收信息的接收器(202)，所述 信息包括，與識(shí)別出的在由第一視頻監(jiān)視攝像機(jī)(10)捕獲的第一視頻序列 中識(shí)別出的待跟蹤對(duì)象的特性有關(guān)的信息和與識(shí)別出的在由第二視頻監(jiān)視 攝像機(jī)(12)捕獲的第二視頻序列中識(shí)別出的候選對(duì)象的特性有關(guān)的信息；用于將識(shí)別出的所述候選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特 性進(jìn)行匹配的匹配單元(204);和用于基于所述匹配步驟來計(jì)算所述候選對(duì)象與所述待跟蹤對(duì)象相同的 可能性的計(jì)算單元(206)。
34、 根據(jù)權(quán)利要求33所述的視頻監(jiān)視系統(tǒng)，其中所述第一視頻監(jiān)視攝 像機(jī)(10)與所述第二視頻監(jiān)視攝像機(jī)(20)是同一臺(tái)視頻監(jiān)視攝像機(jī)。
35、 根據(jù)權(quán)利要求33所述的視頻監(jiān)視系統(tǒng)，其中所述第一視頻監(jiān)視攝 像機(jī)(10)與所述第二視頻監(jiān)視攝像機(jī)(20)是所述視頻監(jiān)視系統(tǒng)中的不同 視頻監(jiān)視攝像機(jī)。
36、 根據(jù)權(quán)利要求33-35中任一項(xiàng)所述的視頻監(jiān)視系統(tǒng)，其中所述跟蹤 設(shè)備(200)進(jìn)一步包括用于生成表示所述候選對(duì)象與所述待跟蹤對(duì)象相同的可能性的信號(hào)的 信號(hào)發(fā)生器(208 )。
37、 根據(jù)權(quán)利要求33-36中任一項(xiàng)所述的視頻監(jiān)視系統(tǒng)，其中從所述至 少一個(gè)識(shí)別裝置(100)接收的與識(shí)別出的所述候選對(duì)象的特性有關(guān)的信息 包括所述候選對(duì)象的顏色直方圖的參數(shù)，并且從所述至少一個(gè)識(shí)別裝置(100)接收的與識(shí)別出的所述待跟蹤對(duì)象的特性有關(guān)的信息包括所述待跟 蹤對(duì)象的顏色直方圖的參數(shù)，并且其中所述匹配單元(204)被布置為將所 述候選對(duì)象的顏色直方圖的參數(shù)與所述待跟蹤對(duì)象的顏色直方圖的參數(shù)進(jìn) 4亍匹配。
38、 根據(jù)權(quán)利要求33-37中任一項(xiàng)所述的視頻監(jiān)視系統(tǒng)，其中所述跟蹤 設(shè)備(200)被安置在所述系統(tǒng)的中心節(jié)點(diǎn)(30)處，通過所述公用通信網(wǎng) 絡(luò)(20)連接至所述若干個(gè)視頻監(jiān)視攝像機(jī)(10)。
39、 一種視頻監(jiān)視系統(tǒng)中的識(shí)別裝置，具有用于執(zhí)行根據(jù)權(quán)利要求1-17 中任 一 項(xiàng)所述的方法的工具。
40、 一種浮見頻監(jiān)一見系統(tǒng)，包括連接至公用通信網(wǎng)絡(luò)(20)的若干個(gè)視頻監(jiān)視攝像機(jī)(10); 至少一個(gè)根據(jù)權(quán)利要求39所述的識(shí)別裝置，在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的視頻監(jiān)視系統(tǒng)中的跟蹤設(shè)備(200),所 述跟蹤設(shè)備包括用于從所述至少一個(gè)識(shí)別裝置接收信息的工具，所述信息包括，與識(shí)別出的在由第一視頻監(jiān)視攝像機(jī)(10 )捕獲的第一視頻序列中識(shí)別出 的待跟蹤對(duì)象的特性有關(guān)的信息和與識(shí)別出的在由第二視頻監(jiān)視攝像 機(jī)(12)捕獲的第二視頻序列中識(shí)別出的候選對(duì)象的特性有關(guān)的信息； 用于將識(shí)別出的所述候選對(duì)象的特性與識(shí)別出的所述待跟蹤對(duì)象的特性進(jìn)行匹配的工具；和用于基于所述匹配步驟來計(jì)算所述候選對(duì)象與所述待跟蹤對(duì)象相 同的可能性的工具。
41、 一種存儲(chǔ)在計(jì)算機(jī)可用介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，包括用于使計(jì)算 機(jī)執(zhí)行根據(jù)權(quán)利要求1-27中任一項(xiàng)所述的步驟的計(jì)算機(jī)可讀程序工具。
全文摘要
本發(fā)明涉及視頻監(jiān)視系統(tǒng)中用于對(duì)視頻監(jiān)視攝像機(jī)所捕獲的視頻序列中的對(duì)象的特性進(jìn)行識(shí)別的識(shí)別裝置(100)。該識(shí)別裝置包括對(duì)象識(shí)別單元(102)，在視頻序列中識(shí)別特定對(duì)象；顏色直方圖發(fā)生器(104)，基于在所述視頻序列中識(shí)別出的特定對(duì)象的顏色和強(qiáng)度信息，來在至少兩維的顏色空間中生成顏色直方圖，所述顏色和強(qiáng)度信息源自所述視頻序列的多個(gè)圖像；對(duì)象特性識(shí)別器(106)，基于所生成的顏色直方圖來識(shí)別所述對(duì)象的特性。然后識(shí)別出的特性能夠在該視頻監(jiān)視系統(tǒng)的跟蹤設(shè)備(200)中使用，所述跟蹤設(shè)備用于在可能由兩個(gè)不同的視頻監(jiān)視攝像機(jī)捕獲的不同視頻序列之間跟蹤對(duì)象。本發(fā)明還涉及對(duì)應(yīng)的對(duì)視頻序列中捕獲的對(duì)象的特性進(jìn)行識(shí)別的方法和在視頻監(jiān)視系統(tǒng)中跟蹤對(duì)象的方法。
文檔編號(hào)H04N7/18GK101563710SQ200780018758
公開日2009年10月21日 申請(qǐng)日期2007年5月21日 優(yōu)先權(quán)日2006年5月22日
發(fā)明者丹尼爾·埃爾文, 喬安·阿爾姆布拉德, 馬丁·布羅格倫, 馬庫(kù)斯·斯堪斯 申請(qǐng)人:安訊士有限公司