人員跟蹤設(shè)備、人員跟蹤方法以及存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)的制作方法
【專利摘要】人員區(qū)域信息提取單元(101)檢測(cè)在人員區(qū)域，該人員區(qū)域是人員在圖像中存在于其中的區(qū)域，并且生成描述人員區(qū)域的人員區(qū)域信息。基于人員區(qū)域信息和標(biāo)識(shí)跟蹤的對(duì)象的信息，伴隨人員確定單元(102)從在人員區(qū)域信息中包括的人員指定伴隨跟蹤的人員的至少一個(gè)伴隨人員并且生成伴隨人員信息，該伴隨人員信息是描述伴隨人員的信息。使用人員區(qū)域信息，特色人員選擇單元(103)從已經(jīng)借助伴隨人員確定信息指定的伴隨人員選擇特色人員，該特色人員是具有唯一特征量的人員，并且生成特色人員信息，該特色人員信息是描述特色人員的信息。人員跟蹤單元(104)基于人員區(qū)域信息和特色人員選擇信息為特色人員計(jì)算跟蹤結(jié)果。
【專利說明】人員跟蹤設(shè)備、人員跟蹤方法以及存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人員跟蹤設(shè)備、人員跟蹤方法以及存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，并且具體地涉及一種使用由監(jiān)控相機(jī)拍攝的視頻來跟蹤人員的人員跟蹤設(shè)備、人員跟蹤方法以及存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0002]近年來公開用于使用由監(jiān)控相機(jī)拍攝的視頻來跟蹤人員的技術(shù)。作為人員跟蹤方法的一個(gè)示例，專利文獻(xiàn)I公開一種基于人員的顏色特征來跟蹤人員的方法。
[0003]圖9示出在專利文獻(xiàn)I中公開的人員跟蹤系統(tǒng)的一個(gè)示例實(shí)施例。人員跟蹤系統(tǒng)包括人員區(qū)域提取裝置1、體元生成裝置2、人員顏色特征提取裝置3和人員跟蹤裝置4。
[0004]人員區(qū)域提取裝置I從監(jiān)控視頻提取人員區(qū)域并且向體元生成裝置2輸出人員區(qū)域提取結(jié)果。體元生成裝置2根據(jù)從人員區(qū)域提取裝置I輸出的人員區(qū)域提取結(jié)果。體元生成裝置2根據(jù)從人員區(qū)域提取裝置輸出的人員區(qū)域提取結(jié)果生成體元信息，并且向人員顏色特征提取裝置3輸出生成的體元信息。人員顏色特征提取裝置3根據(jù)從體元生成裝置2輸出的體元信息以及監(jiān)控視頻提取人員顏色特征，并且向人員跟蹤裝置4輸出提取的人員顏色特征。人員跟蹤裝置4使用從人員顏色特征提取裝置3輸出的人員顏色特征來跟蹤人員并且輸出人員跟蹤結(jié)果。
[0005]具體描述圖9中所示人員跟蹤系統(tǒng)的運(yùn)作。
[0006]人員區(qū)域提取裝置I使用背景減法方法來根據(jù)從相機(jī)輸入的監(jiān)控視頻提取人員區(qū)域。然后，人員區(qū)域提取裝置I向體元生成裝置2輸出提取的人員區(qū)域提取結(jié)果。
[0007]體元生成裝置2基于輸入的人員區(qū)域提取結(jié)果生成體元。多個(gè)相機(jī)獲取輸入的人員區(qū)域提取結(jié)果。體元生成裝置2使用體積相交方法來向三維空間上投射輸入的人員區(qū)域提取結(jié)果，并且由此生成代表人員在空間中的位置的體元。體元生成裝置2向人員顏色特征提取裝置3輸出生成的體元。
[0008]人員顏色特征提取裝置3基于生成的體元和監(jiān)控相機(jī)視頻獲取人員從腳趾到頭頂?shù)念伾谪Q直方向上的分布作為人員顏色特征。具體而言，人員顏色特征提取裝置3為體元的每個(gè)身高計(jì)算顏色的平均值、按照身高將結(jié)果歸一化并且由此計(jì)算人員顏色特征。雖然顏色特征基本上由人員穿著的衣服的顏色確定，但是使用通過計(jì)算顏色在相同身高的所有方向上的平均值而獲得的值。人員顏色特征提取裝置3由此實(shí)現(xiàn)不受衣服根據(jù)方向而表現(xiàn)的方式的變化所影響的顏色特征提取。
[0009]人員跟蹤裝置4比較獲得的人員顏色特征與以往獲得的人員顏色特征并且由此確定相似度。人員跟蹤裝置4根據(jù)確定結(jié)果計(jì)算在以往計(jì)算的體元與最近計(jì)算的體元之間的關(guān)系。因而人員跟蹤裝置4計(jì)算將以往人員提取結(jié)果和當(dāng)前提取結(jié)果關(guān)聯(lián)的人員跟蹤結(jié)果。
[0010]引用列表[0011]專利文獻(xiàn)
[0012]PTLl:第2005-250692號(hào)日本待審專利申請(qǐng)公開
【發(fā)明內(nèi)容】

[0013]技術(shù)問題
[0014]在專利文獻(xiàn)I中公開的人員跟蹤系統(tǒng)中，對(duì)跟蹤目標(biāo)人員的跟蹤當(dāng)在跟蹤目標(biāo)人員穿著的衣服中不存在特色特征時(shí)是困難的。衣服在總體上相似。在存在穿著與跟蹤目標(biāo)人員穿著的衣服相似顏色的衣服的許多人時(shí)，人員跟蹤系統(tǒng)混淆跟蹤目標(biāo)人員與另一相似人員的概率增加，這使準(zhǔn)確跟蹤有困難。具體而言，在使用視野無重疊的監(jiān)控相機(jī)來跟蹤人員的情況下，一旦跟蹤目標(biāo)人員進(jìn)入相機(jī)的盲區(qū)并且暫時(shí)中斷跟蹤，對(duì)于專利文獻(xiàn)I中公開的人員跟蹤系統(tǒng)，即使在跟蹤目標(biāo)人員回到相機(jī)的查看范圍中之后仍然難以正確跟蹤人員。
[0015]已經(jīng)實(shí)現(xiàn)本發(fā)明以解決上述問題，并且因此本發(fā)明的示例目的是提供一種即使在跟蹤目標(biāo)人員具有很少特色特征時(shí)仍然可以實(shí)現(xiàn)對(duì)跟蹤目標(biāo)人員的準(zhǔn)確跟蹤的人員跟蹤設(shè)備、人員跟蹤方法和存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。
[0016]問題的解決方案
[0017]根據(jù)本發(fā)明的一個(gè)方面的一種人員跟蹤設(shè)備包括:人員區(qū)域信息提取裝置，用于檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述人員區(qū)域的信息的人員區(qū)域信息；伴隨人員確定裝置，用于基于人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨人員跟蹤目標(biāo)的至少一個(gè)伴隨人員并且生成描述伴隨人員的伴隨人員信息；特色人員選擇裝置，用于在由伴隨人員確定信息指定的伴隨人員之中使用人員區(qū)域信息來選擇具有顯著特征的特色人員并且生成描述特色人員的特色人員信息；以及人員跟蹤裝置，用于基于人員區(qū)域信息和特色人員信息而計(jì)算特色人員跟蹤結(jié)果，特色人員跟蹤結(jié)果是針對(duì)特色人員的跟蹤結(jié)果。
[0018]根據(jù)本發(fā)明的一個(gè)方面的一種人員跟蹤方法包括:檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述人員區(qū)域的信息的人員區(qū)域信息；基于人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨人員跟蹤目標(biāo)的至少一個(gè)伴隨人員，并且生成描述伴隨人員的伴隨人員信息；在由伴隨人員確定信息指定的伴隨人員之中使用人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述特色人員的特色人員信息；以及基于人員區(qū)域信息和特色人員信息而計(jì)算特色人員跟蹤結(jié)果，特色人員跟蹤結(jié)果是用于特色人員的跟蹤結(jié)果。
[0019]根據(jù)本發(fā)明的一個(gè)方面的一種存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)是一種存儲(chǔ)如下程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，該程序使計(jì)算機(jī)執(zhí)行跟蹤在視頻中出現(xiàn)的人員的過程，該過程包括:檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述人員區(qū)域的信息的人員區(qū)域信息；基于人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨人員跟蹤目標(biāo)的至少一個(gè)伴隨人員，并且生成描述伴隨人員的伴隨人員信息；在由伴隨人員確定信息指定的伴隨人員之中使用人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述特色人員的特色人員信息；以及基于人員區(qū)域信息和特色人員信息計(jì)算特色人員跟蹤結(jié)果，特色人員跟蹤結(jié)果是針對(duì)特色人員的跟蹤結(jié)果。[0020]本發(fā)明的有利效果
[0021]根據(jù)本發(fā)明的方面，有可能提供一種即使在跟蹤目標(biāo)人員具有很少特色特征時(shí)仍然可以實(shí)現(xiàn)對(duì)跟蹤目標(biāo)人員的準(zhǔn)確跟蹤的人員跟蹤設(shè)備、人員跟蹤方法和存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。
【專利附圖】

【附圖說明】
[0022]圖1是示出根據(jù)第一示例性實(shí)施例的人員跟蹤設(shè)備的配置的框圖；
[0023]圖2是示出根據(jù)第一示例性實(shí)施例的伴隨人員確定單元102的處理流程的流程圖；
[0024]圖3是示出根據(jù)第一示例性實(shí)施例的伴隨人員確定單元102的處理流程的流程圖；
[0025]圖4是示出根據(jù)第一示例性實(shí)施例的人員跟蹤設(shè)備100的處理流程的流程圖；
[0026]圖5是示出根據(jù)第一示例性實(shí)施例的特色人員選擇單元103的配置的框圖；
[0027]圖6是示出根據(jù)第一示例性實(shí)施例的特色人員確定單元201的處理流程的流程圖；
[0028]圖7是示出根據(jù)第二示例性實(shí)施例的特色人員選擇單元103的配置的框圖；
[0029]圖8是示出根據(jù)第三示例性實(shí)施例的特色人員選擇單元103的配置的框圖；并且
[0030]圖9是示出在專利文獻(xiàn)I中公開的人員跟蹤系統(tǒng)的配置的框圖。
【具體實(shí)施方式】
[0031]<第一示例性實(shí)施例>
[0032]下文參照附圖描述本發(fā)明的示例實(shí)施例。圖1是示出根據(jù)這一示例性實(shí)施例的人員跟蹤設(shè)備的配置的框圖。人員跟蹤設(shè)備100包括人員區(qū)域信息提取單元101、伴隨人員確定單元102、特色人員選擇單元103、人員跟蹤單元104和跟蹤結(jié)果計(jì)算單元105。
[0033]人員區(qū)域信息提取單元101接收監(jiān)控視頻并且向伴隨人員確定單元102、特色人員選擇單元103和人員跟蹤單元104輸出提取的人員區(qū)域信息。伴隨人員確定單元102接收從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息以及跟蹤目標(biāo)人員信息并且向特色人員選擇單元103輸出計(jì)算的伴隨人員信息。特色人員選擇單元103接收從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息和從伴隨人員確定單元102輸出的伴隨人員信息并且向人員跟蹤單元104輸出計(jì)算的特色人員信息，并且向跟蹤結(jié)果計(jì)算單元105輸出計(jì)算的跟蹤目標(biāo)人員相對(duì)位置信息。人員跟蹤單元104接收從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息，并且從特色人員選擇單元103輸出的特色人員信息并且向跟蹤結(jié)果計(jì)算單元105輸出計(jì)算的特色人員跟蹤信息。跟蹤結(jié)果計(jì)算單元105接收從人員跟蹤單元104輸出的特色人員跟蹤信息和從特色人員選擇單元103輸出的跟蹤目標(biāo)人員相對(duì)位置信息，以及計(jì)算并向給定的處理單元輸出跟蹤目標(biāo)人員跟蹤結(jié)果。
[0034]下文描述圖1中所示人員跟蹤設(shè)備的具體操作。
[0035]首先向人員區(qū)域信息提取單元101輸出監(jiān)控視頻。人員區(qū)域信息提取單元101從輸入的監(jiān)控視頻生成幀圖像。人員區(qū)域信息提取單元101然后執(zhí)行從幀圖像提取人員區(qū)域的處理并且進(jìn)一步執(zhí)行提取描述人員區(qū)域的人員區(qū)域信息的處理。在輸入的監(jiān)控視頻是模擬視頻時(shí)，人員區(qū)域信息提取單元101捕獲監(jiān)控視頻并且由此生成幀圖像。在另一方面，在監(jiān)控視頻是H.264、運(yùn)動(dòng)JPEG、MPEG-2等編碼的數(shù)字視頻時(shí)，人員區(qū)域信息提取單元101通過對(duì)應(yīng)解碼方法對(duì)視頻進(jìn)行解碼并且由此生成幀圖像。
[0036]可以使用各種現(xiàn)有方法來執(zhí)行人員區(qū)域信息提取單元101提取人員區(qū)域的處理。例如在基于背景減法的人員區(qū)域提取中，人員區(qū)域信息提取單元101從在時(shí)序中輸入的幀圖像構(gòu)造代表背景的信息的模型、使用模型來提取移動(dòng)對(duì)象、并繼而從提取的信息提取人員區(qū)域。作為最簡單方式，人員區(qū)域信息提取單元101定義通過取多個(gè)圖像之中的靜止區(qū)域中的圖像的信息平均值而生成的背景圖像作為背景模型、計(jì)算在幀圖像與背景圖像之間的差值并且提取具有更大差值的區(qū)域作為移動(dòng)對(duì)象。在移動(dòng)對(duì)象限于人員時(shí)，人員區(qū)域信息提取單元101可以原樣使用移動(dòng)對(duì)象提取結(jié)果作為人員區(qū)域提取結(jié)果。在另一方面，在存在與人員不同的移動(dòng)對(duì)象時(shí)，人員區(qū)域信息提取單元101可以關(guān)于提取的移動(dòng)對(duì)象區(qū)域是否與人員對(duì)應(yīng)進(jìn)行確定、然后僅提取可能是人員的區(qū)域作為人員區(qū)域。
[0037]人員區(qū)域信息提取單元101可以使用人員模型來直接提取人員區(qū)域而不使用背景模型。這里使用的人員模型可以是代表人員的全部或者人員的部分的模型。例如人員區(qū)域信息提取單元101可以使用建模和提取臉部或者頭部作為人員的部分的臉部檢測(cè)器或者頭部檢測(cè)器來檢測(cè)臉部或者頭部并且從檢測(cè)結(jié)果定義人員區(qū)域。備選地，人員區(qū)域信息提取單元101可以使用檢測(cè)人員區(qū)域的一部分、比如上部身體或者下部身體的檢測(cè)器來提取人員區(qū)域。
[0038]人員區(qū)域信息提取單元101從通過以上方法提取的人員區(qū)域提取人員區(qū)域信息。人員區(qū)域信息是如下信息，該信息代表提取的人員區(qū)域的特色特征。人員區(qū)域信息包括代表人員區(qū)域在圖像上的位置或者形狀的信息和描述在信息指定的區(qū)域中包括的人員的特色特征的信息。
[0039]前者(代表人員區(qū)域在圖像上的位置或者形狀的信息)可以是代表人員的形狀的輪廓信息(關(guān)于標(biāo)記被分配到與人員區(qū)域相對(duì)應(yīng)的像素的信息)、代表人員區(qū)域的定界矩形的矩形信息或者以相同方式代表人員區(qū)域的位置或者形狀的任何信息。例如可以使用由MPEG-7定義的描述區(qū)域的描述符來代表區(qū)域信息。
[0040]在另一方面，后者(描述在指定的區(qū)域中包括的人員的特色特征的信息)可以是描述從在區(qū)域中包括的圖像特征到人員的高級(jí)特征的各種特征的信息。信息的示例包括代表人員的臉部特征的特征、代表頭發(fā)顏色、發(fā)型或者頭發(fā)特征的特征、代表衣服的顏色、圖案或者形狀的視覺特征、代表衣服類型、人員的配件(人員佩戴的配件、比如帽子、眼鏡、面具、手提包、領(lǐng)帶或者圍巾)的信息、代表衣服上的具體標(biāo)記或者標(biāo)志的信息和代表膚色的信息。
[0041 ] 可以使用更早使用的臉部檢測(cè)器和臉部特征提取來計(jì)算臉部特征。通過從人員區(qū)域指定衣服的區(qū)域并且提取描述區(qū)域的信息來計(jì)算衣服的特征。作為顏色、圖案和形狀的特征提取，可以使用各種現(xiàn)有方法(如例如在MPEG-7中指定的描述顏色、圖案和形狀的方法)。通過使用從頭部或者身體的特定部分檢測(cè)對(duì)象的檢測(cè)器檢測(cè)配件并且提取描述區(qū)域的信息來計(jì)算描述人員的配件的信息。可以使用已經(jīng)學(xué)習(xí)衣服上的特定標(biāo)記或者標(biāo)志的鑒別器來檢測(cè)那些圖案。也通過從檢測(cè)的區(qū)域提取描述特征或者鑒別結(jié)果的信息來計(jì)算具體標(biāo)記或者標(biāo)志。也可以通過從人員區(qū)域估計(jì)皮膚區(qū)域并且獲得該部分的顏色來提取膚色。[0042]此外，可以在后一種信息(描述在指定的區(qū)域中包括的人員的特色特征的信息)中包括更高級(jí)特征。例如可以使用關(guān)于人員的身高的信息作為特征?？梢愿鶕?jù)人員在現(xiàn)實(shí)世界中的三維位置計(jì)算人員身高信息，該三維位置是使用相機(jī)的校準(zhǔn)數(shù)據(jù)根據(jù)由相機(jī)獲取的圖像的二維位置計(jì)算的。另外，可以用相同方式提取關(guān)于人員的身體類型的信息并且使用該信息作為特征。另外，可以使用年齡/性別估計(jì)器來提取關(guān)于人員的年齡和性別的信息，并且可以使用提取的信息作為特征。另外，可以使用確定特定姿態(tài)(比如人員在輪椅上的坐姿)的鑒別器來提取描述人員的姿態(tài)(比如坐在輪椅上、抱小孩或用拐杖步行)的信息，并且使用該信息作為特征。另外，可以計(jì)算并且使用步法特征作為特征，該步法特征是步行方式的特征?？梢酝ㄟ^使用學(xué)習(xí)圖像使鑒別特定姿態(tài)或者對(duì)步法特征進(jìn)行分類的鑒別器學(xué)習(xí)、從而構(gòu)造鑒別器。
[0043]人員區(qū)域信息提取單元101向伴隨人員確定單元102、特色人員選擇單元103和人員跟蹤單元104輸出提取的人員區(qū)域信息。
[0044]下文描述伴隨人員確定單元102的操作。伴隨人員確定單元102根據(jù)輸入的跟蹤目標(biāo)人員信息和從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息確定跟蹤目標(biāo)人員的伴隨人員，并且輸出確定結(jié)果作為伴隨人員信息。廣義上存在確定伴隨人員的兩種方法:指定跟蹤目標(biāo)人員、并繼而指定伴隨人員的方法，和指定包括跟蹤目標(biāo)區(qū)域的組、并繼而指定跟蹤目標(biāo)人員的方法。
[0045]在指定跟蹤目標(biāo)人員、并繼而指定伴隨人員的方法中，伴隨人員確定單元102通過某種方法標(biāo)識(shí)跟蹤目標(biāo)人員、并繼而確定在跟蹤目標(biāo)人員周圍存在的人員作為伴隨人員。參照?qǐng)D2描述這一過程。
[0046]首先，伴隨人員確定單元102根據(jù)跟蹤目標(biāo)人員信息和人員區(qū)域信息指定跟蹤目標(biāo)人員(S501)。在跟蹤目標(biāo)人員信息包含跟蹤目標(biāo)人員的臉部特征并且人員區(qū)域信息包含人員的臉部特征時(shí)，伴隨人員確定單元102比對(duì)人員區(qū)域信息中的臉部特征來比較跟蹤目標(biāo)人員的臉部特征并且由此標(biāo)識(shí)跟蹤目標(biāo)人員。在跟蹤目標(biāo)人員信息包含另一傳感器信息、比如RFID獲得的位置信息時(shí)，伴隨人員確定單元102比對(duì)人員區(qū)域信息中包含的人員位置信息來檢查它并且標(biāo)識(shí)位置與跟蹤目標(biāo)人員基本上重合的人員。注意標(biāo)識(shí)跟蹤目標(biāo)人員的過程并不總是在所有幀中可執(zhí)行、因此是在可行幀中執(zhí)行的
[0047]接著，伴隨人員確定單元102確定標(biāo)識(shí)的跟蹤目標(biāo)人員的伴隨人員(S502)。在對(duì)伴隨人員的確定(S502)中，伴隨人員確定單元102當(dāng)在標(biāo)識(shí)的跟蹤目標(biāo)人員與圖像上的人員區(qū)域信息中包含的每個(gè)人員之間的距離在指定的時(shí)間量中在指定的閾值內(nèi)時(shí)確定人員是伴隨人員。具體而言，伴隨人員確定單元102對(duì)于從標(biāo)識(shí)跟蹤目標(biāo)人員的幀起的若干幀基于輸入的人員區(qū)域信息跟蹤每個(gè)人員的移動(dòng)并且在每個(gè)幀中計(jì)算在跟蹤目標(biāo)人員與其他人員之間的距離。在距離在指定的閾值內(nèi)時(shí)，伴隨人員確定單元102確定該人員作為伴隨人員。伴隨人員確定單元102未必僅確定距離在跟蹤時(shí)段期間總是在閾值內(nèi)的人員作為伴隨人員，并且它可以確定距離在閾值內(nèi)、以指定的速率或者更多速率的人員作為伴隨人員。
[0048]備選地，伴隨人員確定單元102使用計(jì)算機(jī)的用于在圖像中的二維坐標(biāo)與現(xiàn)實(shí)世界中的三維坐標(biāo)之間關(guān)聯(lián)的校準(zhǔn)信息和每個(gè)人員在圖像中的位置來計(jì)算人員在現(xiàn)實(shí)世界中的定位信息。伴隨人員確定單元102然后可以使用每個(gè)人員的位置信息來確定跟蹤目標(biāo)人員的伴隨人員。
[0049]備選地，伴隨人員確定單元102選擇距離在標(biāo)識(shí)跟蹤目標(biāo)人員的幀中在指定的閾值內(nèi)的人員作為用于伴隨人員的候選。伴隨人員確定單元102然后可以計(jì)算用于伴隨人員的候選的移動(dòng)并且確定候選是否在與跟蹤目標(biāo)人員相同的方向上以基本上相同速度移動(dòng)并且由此確定該人員是否為伴隨人員。
[0050]伴隨人員確定單元102生成伴隨人員信息作為確定伴隨人員的處理結(jié)果(S502)。伴隨人員信息是在人員區(qū)域信息中包含的人員的信息之中的如下信息，該信息指定與如下人員對(duì)應(yīng)的信息，該人員是跟蹤目標(biāo)人員的伴隨人員。例如伴隨人員信息設(shè)置如下標(biāo)志，該標(biāo)志指示在人員區(qū)域信息中包含的人員中的每個(gè)人員是否為伴隨人員，值為I的標(biāo)志指示伴隨人員或者否則指示不是伴隨人員。備選地，伴隨人員信息可以用三個(gè)值指示確定結(jié)果，這包括其中未知人員是否為伴隨人員的狀態(tài)。伴隨人員信息是如下信息，該信息也包含指定跟蹤目標(biāo)人員的信息。僅在可以指定跟蹤目標(biāo)人員時(shí)執(zhí)行伴隨人員信息的計(jì)算。
[0051]接著描述如下方法，該方法指定包括跟蹤目標(biāo)人員的組、并繼而指定跟蹤目標(biāo)人員。伴隨人員確定單元102計(jì)算被估計(jì)包括跟蹤目標(biāo)人員的人員組、然后從組確定伴隨人員。參照?qǐng)D3的流程圖描述這一過程。
[0052]伴隨人員確定單元102基于在人員區(qū)域信息中包括的人員的位置信息將相互接近的人員分組到一起(S511)。在這一步驟中，伴隨人員確定單元102可以使用圖像上的位置或者可以使用如以上描述的相機(jī)的校準(zhǔn)信息來計(jì)算人員在現(xiàn)實(shí)世界中的位置并且使用計(jì)算的位置信息。
[0053]接著，伴隨人員確定單元102確定伴隨人員(S512)。在跟蹤目標(biāo)人員信息包括由其它信息、比如傳感器信息獲得的跟蹤目標(biāo)人員的位置信息時(shí)，伴隨人員確定單元102選擇最可能包括跟蹤目標(biāo)人員的組。伴隨人員確定單元102從選擇的組生成伴隨人員信息。
[0054]然后，伴隨人員確定單元102確定跟蹤目標(biāo)人員(S513)。在跟蹤目標(biāo)人員信息包括可以指定人員目標(biāo)人員的信息(臉部特征、衣服的視覺特征等)時(shí)，伴隨人員確定單元102在伴隨人員之中選擇可能是跟蹤目標(biāo)人員的人員。伴隨人員確定單元102然后向伴隨人員信息添加指定跟蹤目標(biāo)人員的信息。未必對(duì)于每個(gè)幀進(jìn)行確定并且可以僅在可以指定可能包括跟蹤目標(biāo)人員的組時(shí)進(jìn)行確定。
[0055]向特色人員選擇單元103輸出主要通過以上兩種方法中的任何方法獲得的伴隨人員信息(可以包括跟蹤目標(biāo)人員的信息)。
[0056]下文描述特色人員選擇單元103。特色人員選擇單元103基于從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息和從伴隨人員確定單元102輸出的伴隨人員信息計(jì)算特色人員信息和跟蹤目標(biāo)人員相對(duì)位置信息。
[0057]特色人員信息是代表哪個(gè)人員是特色的，并且可以容易被跟蹤的信息。例如在其中穿紅色衣服的人員存在于穿白色衣服的人員組中的情況下，穿紅色衣服的人員與其他人完全不同地著裝。因此，在使用衣服的顏色來執(zhí)行跟蹤時(shí)，穿紅色衣服的人員與其他人員混淆的可能性被視為低。在另一方面，在跟蹤穿白色衣服的人員時(shí)，跟蹤產(chǎn)生失敗的可能性高，因?yàn)榇嬖诖┌咨路脑S多其他人員。以這一方式，特色人員選擇單元103確定跟蹤在人員區(qū)域信息中包括的人員中的每個(gè)人員的容易度并且選擇具有高跟蹤容易度的人員作為特色人員。稍后描述特色人員選擇單元103的配置和操作的細(xì)節(jié)。[0058]跟蹤目標(biāo)人員相對(duì)位置信息是代表在跟蹤目標(biāo)人員與從伴隨人員選擇的特色人員之間的相對(duì)位置的信息。例如跟蹤目標(biāo)人員相對(duì)位置信息是通過從跟蹤目標(biāo)人員的位置坐標(biāo)減去特色人員的位置坐標(biāo)而獲得的矢量信息。備選地，跟蹤目標(biāo)人員相對(duì)位置信息可以是大致地代表相對(duì)位置關(guān)系的、比如“跟蹤目標(biāo)人員在特色人員背后”的信息。另外備選地，當(dāng)在伴隨人員信息中包括的人員之中存在可能是跟蹤目標(biāo)人員的多個(gè)人員時(shí)，相對(duì)位置信息可以是從那些多個(gè)人員信息計(jì)算的坐標(biāo)的代表值(平均值、中心點(diǎn)等)。稍后也描述相對(duì)位置信息的細(xì)節(jié)。
[0059]特色人員選擇單元103向人員跟蹤單元104輸出計(jì)算的特色人員信息并且向跟蹤結(jié)果計(jì)算單元105輸出計(jì)算的跟蹤目標(biāo)人員相對(duì)位置信息。注意特色人員數(shù)目不限于一個(gè)，并且多個(gè)特色人員可以存在。
[0060]稍后描述人員跟蹤單元104。人員跟蹤單元104根據(jù)從人員區(qū)域信息提取單元101輸出的人員區(qū)域信息和從特色人員選擇單元103輸出的特色人員信息計(jì)算跟蹤特色人員的特色人員跟蹤信息。跟蹤方法可以是上文使用的任何跟蹤方法。在跟蹤相同相機(jī)視頻內(nèi)的人員的情況下，人員跟蹤單元104可以例如使用衣服的特征通過粒子濾波器來執(zhí)行跟蹤。備選地，人員跟蹤單元104可以使用卡爾曼濾波器來執(zhí)行跟蹤。
[0061]接著描述其中輸入多個(gè)相機(jī)拍攝的監(jiān)控視頻的情況。在使用多個(gè)相機(jī)來跟蹤的情況下，在跟蹤的人員脫離其中當(dāng)前執(zhí)行跟蹤的相機(jī)的視野時(shí)，人員跟蹤單元104預(yù)測(cè)人員接著去往哪個(gè)附近相機(jī)視野和人員在什么時(shí)間進(jìn)入相機(jī)的視野。然后，人員跟蹤單元104向其中接著執(zhí)行跟蹤的相機(jī)(或者控制相機(jī)的控制單元)通知關(guān)于人員的特征和到達(dá)相機(jī)的視野的估計(jì)時(shí)間的信息。接收該信息，用于執(zhí)行跟蹤的下一相機(jī)的控制單元在估計(jì)的達(dá)到時(shí)間之前一點(diǎn)開始搜尋特色人員。具體而言，用于執(zhí)行跟蹤的下一相機(jī)的控制單元比較進(jìn)入視野的人員的特征與跟蹤的特色人員的特征并且確定是否存在具有匹配的特征的人員。在跟蹤目標(biāo)人員已經(jīng)進(jìn)入相機(jī)的視野時(shí)，人員跟蹤單元104改變成在該相機(jī)中跟蹤人員的處理并且由此跟蹤人員。在相同相機(jī)內(nèi)跟蹤人員的方法在之前描述過。
[0062]人員跟蹤單元104向跟蹤結(jié)果計(jì)算單元105輸出針對(duì)特色人員計(jì)算的跟蹤信息作為特色人員跟蹤信息。
[0063]跟蹤結(jié)果計(jì)算單元105根據(jù)從人員跟蹤單元104輸出的特色人員跟蹤信息和從特色人員選擇單元103輸出的跟蹤目標(biāo)人員相對(duì)位置信息計(jì)算跟蹤目標(biāo)人員跟蹤結(jié)果。
[0064]具體而言，跟蹤結(jié)果計(jì)算單元105通過將跟蹤目標(biāo)人員相對(duì)位置信息與特色人員跟蹤信息相加來為跟蹤目標(biāo)人員計(jì)算人員跟蹤結(jié)果。然而注意不能總是計(jì)算跟蹤目標(biāo)人員相對(duì)位置信息。因此，在沒有計(jì)算跟蹤目標(biāo)人員相對(duì)位置信息時(shí)，跟蹤結(jié)果計(jì)算單元105可以通過原樣使用先前相對(duì)位置信息來計(jì)算人員跟蹤結(jié)果或者通過基于先前相對(duì)位置信息進(jìn)行預(yù)測(cè)來計(jì)算人員跟蹤結(jié)果。
[0065]另外，在其中對(duì)于人員跟蹤結(jié)果的輸出允許延遲的情況下，跟蹤結(jié)果計(jì)算單元105向緩沖器中暫時(shí)存儲(chǔ)特色人員跟蹤信息直至接著計(jì)算跟蹤目標(biāo)人員相對(duì)位置信息。然后在計(jì)算下一個(gè)跟蹤目標(biāo)人員相對(duì)位置信息時(shí)的時(shí)間點(diǎn)，跟蹤結(jié)果計(jì)算單元105使用計(jì)算的相對(duì)位置信息和先前相對(duì)位置信息通過插值來計(jì)算在每個(gè)時(shí)間的相對(duì)位置信息。跟蹤結(jié)果計(jì)算單元105可以使用特色人員跟蹤信息和通過插值而計(jì)算的相對(duì)位置信息來為跟蹤目標(biāo)人員計(jì)算人員跟蹤結(jié)果。[0066]下文參照?qǐng)D4描述圖1中所示人員跟蹤設(shè)備100的操作流程。圖4是示出根據(jù)這一示例性實(shí)施例的人員跟蹤設(shè)備100的操作的流程圖。
[0067]人員區(qū)域信息提取單元101從監(jiān)控視頻計(jì)算人員區(qū)域信息(SlOl)。人員區(qū)域信息的計(jì)算的細(xì)節(jié)如更早在人員區(qū)域信息提取單元101的描述中描述的那樣。接著，伴隨人員確定單元102基于人員區(qū)域信息和跟蹤目標(biāo)人員信息計(jì)算伴隨人員信息(S102)。伴隨人員信息的計(jì)算的細(xì)節(jié)如更早在伴隨人員確定單元102的描述中描述的那樣。特色人員選擇單元103基于人員區(qū)域信息和伴隨人員信息計(jì)算特色人員信息和跟蹤目標(biāo)人員相對(duì)位置信息(S103)。那些信息的計(jì)算如更早在特色人員選擇單元103的描述中描述的那樣。然后，人員跟蹤單元104從人員區(qū)域信息和特色人員信息計(jì)算特色人員跟蹤信息(S104)。特色人員跟蹤信息的計(jì)算如更早在人員跟蹤單元104的描述中描述的那樣。然后，跟蹤結(jié)果計(jì)算單元105從特色人員跟蹤信息和跟蹤目標(biāo)人員相對(duì)位置信息計(jì)算跟蹤目標(biāo)人員跟蹤結(jié)果(S105)。跟蹤目標(biāo)人員跟蹤結(jié)果的計(jì)算的細(xì)節(jié)如更早在跟蹤結(jié)果計(jì)算單元105的描述中描述的那樣。
[0068]下文參照?qǐng)D5描述特色人員選擇單元103的配置。圖5是示出根據(jù)這一示例性實(shí)施例的特色人員選擇單元103的配置的框圖。
[0069]特色人員選擇單元103包括特色人員確定單元201和特征顯著性信息聚集單元202。
[0070]特征顯著性信息聚集單元202聚集特征顯著性信息并且向特色人員確定單元201輸出它。特色人員確定單元201接收人員區(qū)域信息、伴隨人員信息和從特征顯著性信息聚集單元202輸出的特征顯著性信息并且計(jì)算特色人員信息和跟蹤目標(biāo)人員相對(duì)位置信息。
[0071]下文描述圖5中所示特色人員選擇單元103的每個(gè)處理單元的具體操作。特征顯著性信息聚集單元202聚集特征顯著性信息。
[0072]特征顯著性信息是代表作為代表人員的特色特征的每個(gè)特征而獲得的值的顯著性程度(特色程度)的信息。例如在衣服顏色這一特征的情況下，常見衣服顏色(例如白色)的顯著性低。在另一方面，非常見衣服顏色(例如亮紅色)的顯著性高。關(guān)于使用學(xué)習(xí)數(shù)據(jù)而計(jì)算的每個(gè)特征值(在衣服顏色的情況下為每個(gè)顏色的值)的出現(xiàn)頻率通過單調(diào)非遞增函數(shù)計(jì)算顯著性的具體值。例如可以根據(jù)頻率計(jì)算自信息的值(在頻率為P時(shí)為_log2p)，并且可以使用計(jì)算的值作為顯著性信息。備選地，可以計(jì)算與用于文檔檢索的倒數(shù)文檔頻率對(duì)應(yīng)的值(例如I / 9)，并且可以使用該值作為顯著性信息。
[0073]可以針對(duì)每個(gè)季節(jié)或者時(shí)間改變顯著性信息。具體而言，特征顯著性信息聚集單元202可以改變將針對(duì)每個(gè)季節(jié)或者時(shí)間而聚集的特征顯著性信息。例如人們經(jīng)常在冬季期間穿著黑色衣服，而他們經(jīng)常在夏季期間穿著白色衣服。備選地，由于人們?cè)谏衔绾鸵雇砥陂g經(jīng)常穿著套裝夾克，所以夾克顏色的頻率高，而而在白天期間由于他們經(jīng)常僅穿著襯衫，所以白色衣服的頻率高。以這一方式，在其中頻率根據(jù)季節(jié)或者時(shí)間變化的情況下，可以根據(jù)季節(jié)或者時(shí)間改變顯著性信息。另外，在其中衣服顏色的趨勢(shì)根據(jù)地點(diǎn)(例如沖繩和北海道)不同的情況下，可以根據(jù)地點(diǎn)改變顯著性信息。
[0074]類似地，在其中在監(jiān)控相機(jī)觀測(cè)的區(qū)域中存在的人員的屬性根據(jù)季節(jié)、時(shí)間或者地點(diǎn)變化的情況下可以相應(yīng)地改變顯著性信息。例如在其中特征是人員的年齡、性別、身高等的信息并且區(qū)域是其中經(jīng)常在白天期間看見兒童而經(jīng)常在夜間看見成人的情況下，對(duì)于低年齡或者身高的顯著性在白天期間為低，而對(duì)于低年齡或者身高的顯著性在夜晚期間為高。以這一方式，可以根據(jù)在監(jiān)控相機(jī)觀測(cè)的區(qū)域中存在的人員的特征的變化來改變顯著性信息。
[0075]向特色人員確定單元201輸入特征顯著性信息。基于特征顯著性信息，特色人員確定單元201在人員區(qū)域信息中包括的每個(gè)人員區(qū)域中為伴隨人員信息指明的人員計(jì)算特征數(shù)據(jù)的顯著性。然后，特色人員確定單元201確定具有高顯著性的人員作為特色人員并且向人員跟蹤單元104輸出指定人員的信息作為特色人員信息。
[0076]下文參照?qǐng)D6的流程圖描述特色人員確定單元201的過程。
[0077]特色人員確定單元201根據(jù)在人員區(qū)域信息中包含的每個(gè)人員的特征計(jì)算每個(gè)人員的特征的顯著性(S601)。當(dāng)在特征顯著性信息中包括與在人員區(qū)域信息中包含的人員特征的值對(duì)應(yīng)的顯著性的值時(shí)，特色人員確定單元201使用該值作為每個(gè)人員的顯著性。在另一方面，當(dāng)在特征顯著性信息中不包括與在人員區(qū)域信息中包含的人員特征的值對(duì)應(yīng)的顯著性值時(shí)，特色人員確定單元201在顯著性值可以被獲取的特征數(shù)量的值之中計(jì)算與在人員區(qū)域信息中包含的特征值相似的特征數(shù)量值。然后，特色人員確定單元201根據(jù)相似顯著性值估計(jì)顯著性值。例如特色人員確定單元201可以原樣使用顯著性值或者計(jì)算多個(gè)相似特征數(shù)量并且取用于那些特征數(shù)量的顯著性值的平均值。
[0078]通過使用在上述過程中計(jì)算的顯著性數(shù)據(jù)，特色人員確定單元201可以在稍后描述的過程中容易和穩(wěn)定選擇具有高顯著性的人員。另外，通過根據(jù)條件、比如時(shí)間、季節(jié)或者地點(diǎn)適當(dāng)改變顯著性信息，特色人員確定單元201可以選擇適合于條件的特色人員。
[0079]特色人員確定單元201選擇具有高顯著性的人員(S602)。特色人員確定單元201可以選擇具有最高顯著性的一個(gè)人員或者可以選擇具有某個(gè)閾值顯著性或者更高的顯著性的所有人員。
[0080]在伴隨人員信息也包括指定跟蹤目標(biāo)人員的信息時(shí)，特色人員確定單元201計(jì)算在跟蹤目標(biāo)人員與作為特色人員而選擇的人員的位置之間的差值并且向跟蹤結(jié)果計(jì)算單元105輸出差值作為跟蹤目標(biāo)人員相對(duì)位置信息(S603)。在確定多個(gè)人員為特色人員時(shí)，跟蹤目標(biāo)人員相對(duì)位置信息包含與那些人員中的每個(gè)人員的差值。
[0081]下文描述根據(jù)這一示例實(shí)施例的人員跟蹤設(shè)備100的有利效果。一般而言，人們分組動(dòng)作。因此，在待跟蹤的人員上無許多特色特征時(shí)，代之以跟蹤伴隨人員是有效的。人員跟蹤設(shè)備100指定跟蹤目標(biāo)人員的伴隨人員、選擇在伴隨人員之中外觀有特色的特色人員并且跟蹤特色人員。人員跟蹤設(shè)備100可以由此即使在跟蹤具有更少特色特征的跟蹤目標(biāo)人員的情況下仍然實(shí)現(xiàn)準(zhǔn)確跟蹤。
[0082]另外，由于人員跟蹤設(shè)備100計(jì)算特色人員的位置信息并且進(jìn)一步計(jì)算在特色人員與跟蹤目標(biāo)人員之間的相對(duì)位置信息，所以人員跟蹤設(shè)備100可以計(jì)算跟蹤目標(biāo)人員的精確位置信息。
[0083]<第二示例性實(shí)施例>
[0084]根據(jù)第二示例性實(shí)施例的人員跟蹤設(shè)備與根據(jù)第一示例性實(shí)施例的人員跟蹤設(shè)備不同在于特色人員選擇單元103的配置。下文描述根據(jù)這一示例性實(shí)施例的人員跟蹤設(shè)備與第一示例性實(shí)施例的人員跟蹤設(shè)備的不同。
[0085]圖7是示出根據(jù)這一示例性實(shí)施例的特色人員選擇單元103的配置的框圖。特色人員選擇單元103包括特征顯著性確定單元250和特色人員確定單元201。
[0086]特征顯著性確定單元250接收人員區(qū)域信息并且計(jì)算特征顯著性信息并且向特色人員確定單元201輸出計(jì)算的特征顯著性信息。特色人員確定單元201接收人員區(qū)域信息、伴隨人員信息和從特征顯著性確定單元250輸出的特征顯著性信息并且輸出特色人員信息和跟蹤目標(biāo)人員相對(duì)位置信息。
[0087]接著描述圖7中所示特色人員選擇單元103的具體操作。向特征顯著性確定單元250輸入人員區(qū)域信息。特征顯著性確定單元250從人員區(qū)域信息獲取每個(gè)人員區(qū)域的特征并且計(jì)算特征的值的顯著性。例如在其中特征是衣服顏色的情況下，特征顯著性確定單元250對(duì)在每個(gè)人員區(qū)域信息中包含的衣服顏色的數(shù)目進(jìn)行計(jì)數(shù)并且計(jì)算每個(gè)顏色的出現(xiàn)頻率、然后根據(jù)出現(xiàn)頻率計(jì)算顯著性。可以僅使用當(dāng)前幀的人員信息或者使用直至當(dāng)前已經(jīng)出現(xiàn)的人員的所有特征來計(jì)算出現(xiàn)頻率。
[0088]備選地，特征顯著性確定單元250可以僅使用在從當(dāng)前起的指定數(shù)量的時(shí)間內(nèi)已經(jīng)出現(xiàn)的人員的信息來計(jì)算出現(xiàn)頻率。特征顯著性確定單元250可以通過從當(dāng)前到以往數(shù)據(jù)分配隨著時(shí)間更遠(yuǎn)而更小的權(quán)值來計(jì)算出現(xiàn)頻率。備選地，特征顯著性確定單元250可以使用日期不同、但是時(shí)間接近的以往數(shù)據(jù)來計(jì)算出現(xiàn)頻率并且可以僅使用相同季節(jié)的數(shù)據(jù)來計(jì)算出現(xiàn)頻率。
[0089]特征顯著性確定單元250可以通過從當(dāng)前幀的時(shí)間分配隨著季節(jié)或者時(shí)間更遠(yuǎn)而更小的權(quán)值來計(jì)算出現(xiàn)頻率。另外，特征顯著性確定單元250可以通過聚合多個(gè)相機(jī)檢測(cè)到的人員區(qū)域的信息來計(jì)算出現(xiàn)頻率。在這一情況下，特征顯著性確定單元250可以通過分配隨著相機(jī)的物理位置更接近而更大的權(quán)值來計(jì)算出現(xiàn)頻率。
[0090]然后，特征顯著性確定單元250從計(jì)算的出現(xiàn)頻率計(jì)算每個(gè)人員的顯著性信息。用于顯著性信息的計(jì)算方法與在圖5中所示特征顯著性信息聚集單元202的描述中描述的基于學(xué)習(xí)數(shù)據(jù)的計(jì)算方法相同。
[0091]向特色人員確定單元201輸入以上述方法獲得的特征顯著性信息。特色人員確定單元201的操作與圖5中所示特色人員確定單元201的操作相同。
[0092]通過上述過程，特色人員選擇單元103使用實(shí)際輸入的監(jiān)控視頻來計(jì)算每個(gè)特征的出現(xiàn)頻率、然后計(jì)算每個(gè)人員的顯著性。特色人員選擇單元103可以由此計(jì)算最適合于相機(jī)所在地點(diǎn)或者時(shí)間的顯著性、并且改進(jìn)特色人員的選擇有效性。改進(jìn)特色人員的選擇有效性允許提高跟蹤目標(biāo)人員的跟蹤準(zhǔn)確性。另外，即使在顯著性的信息隨著時(shí)間變化時(shí)，根據(jù)這一示例性實(shí)施例的人員跟蹤設(shè)備可以適當(dāng)跟蹤跟蹤目標(biāo)人員。
[0093]<第三示例性實(shí)施例>
[0094]根據(jù)第三示例實(shí)施例的人員跟蹤設(shè)備的特征在于在特色人員選擇單元103中包括以上描述的特征顯著性信息聚集單元202和特征顯著性確定單元250。下文描述根據(jù)這一示例實(shí)施例的人員跟蹤設(shè)備與第一和第二示例性實(shí)施例的人員跟蹤設(shè)備的不同。
[0095]圖8是示出根據(jù)這一示例實(shí)施例的特色人員選擇單元103的配置的框圖。特色人員選擇單元103包括特征顯著性確定單元250、特征顯著性信息聚集單元202、特征顯著性信息集成單元253和特色人員確定單元201。
[0096]特征顯著性確定單元250接收人員區(qū)域信息并且向特征顯著性信息集成單元253輸出第一特征顯著性信息。特征顯著性信息聚集單元202向特征顯著性信息集成單元253輸出聚集的特征顯著性信息作為第二特征顯著性信息。
[0097]特征顯著性信息集成單元253接收從特征顯著性確定單元250輸出的第一特征顯著性信息和從特征顯著性信息聚集單元202輸出的第二特征顯著性信息，并且向特色人員確定單元201輸出計(jì)算的特征顯著性信息。
[0098]特色人員確定單元201接收人員區(qū)域信息、伴隨人員信息和從特征顯著性信息集成單元253輸出的特征顯著性信息并且輸出特色人員信息和跟蹤目標(biāo)人員相對(duì)位置信息。
[0099]下文描述圖8中所示特色人員選擇單元103的操作的細(xì)節(jié)。特征顯著性信息聚集單元202的操作與圖5中所示特征顯著性信息聚集單元202的操作相同。特征顯著性確定單元250的操作與圖7中所示特征顯著性確定單元250相同。向特征顯著性信息集成單元253輸入從特征顯著性確定單元250輸出的特征顯著性信息作為第一特征顯著性信息。向特征顯著性信息集成單元253輸入從特征顯著性信息聚集單元202輸出的特征顯著性信息作為第二特征顯著性信息。
[0100]特征顯著性信息集成單元253使用第一特征顯著性信息和第二特征顯著性信息來計(jì)算將向特色人員確定單元201供應(yīng)的特征顯著性信息。各種方法可以用于這一計(jì)算。例如特征顯著性信息集成單元253使用兩個(gè)信息的平均值作為將向特色人員確定單元201供應(yīng)的特征顯著性信息。另外，特征顯著性信息集成單元253這時(shí)可以在向它們之一分配權(quán)值之后計(jì)算平均值。例如在特征顯著性信息集成單元253通過向第一特征顯著性信息分配更大權(quán)值來計(jì)算特征顯著性信息時(shí)，特征顯著性信息集成單元253可以計(jì)算特征顯著性信息，從而向監(jiān)控視頻給予更大重要性。備選地，特征顯著性信息集成單元253可以根據(jù)時(shí)間或者當(dāng)周的日子使用第一特征顯著性信息或者第二特征顯著性信息中的任一特征顯著性信息作為將向特色人員確定單元201供應(yīng)的特征顯著性信息。特征顯著性信息集成單元253向特色人員確定單元201輸出計(jì)算的特征顯著性信息。
[0101]特征顯著性確定單元250的操作與圖7中所示特征顯著性確定單元250相同。
[0102]如以上描述的那樣，通過集成聚集的特征顯著性信息和動(dòng)態(tài)計(jì)算的特征顯著性信息，特色人員選擇單元103可以利用二者來進(jìn)行特色人員的選擇。
[0103]本發(fā)明不限于這些示例實(shí)施例，并且本領(lǐng)域技術(shù)人員將理解，可以對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種改變而未脫離本發(fā)明的精神實(shí)質(zhì)和范圍?？梢詫?shí)施在根據(jù)以上描述的第一至第三示例實(shí)施例的人員跟蹤設(shè)備中的每個(gè)過程為在任意計(jì)算機(jī)中操作的程序?？梢允褂萌魏晤愋偷姆撬矐B(tài)計(jì)算機(jī)可讀介質(zhì)來存儲(chǔ)并且向計(jì)算機(jī)提供程序。非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)包括任何類型的有形存儲(chǔ)介質(zhì)。非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)的示例包括磁存儲(chǔ)介質(zhì)(比如軟盤、磁帶、硬盤驅(qū)動(dòng)等)、光學(xué)磁存儲(chǔ)介質(zhì)(例如光磁盤)、⑶-ROM (只讀存儲(chǔ)器)、⑶-R、CD-則W和半導(dǎo)體存儲(chǔ)器(比如掩模ROM、PROM (可編程ROM)、ERPOM (可擦除PR0M)、閃存ROM、RAM(隨機(jī)存取存儲(chǔ)器)等)?？梢允褂萌魏晤愋偷乃矐B(tài)計(jì)算機(jī)可讀介質(zhì)來向計(jì)算機(jī)提供程序。瞬態(tài)計(jì)算機(jī)可讀介質(zhì)的示例包括電信號(hào)、光學(xué)信號(hào)和電磁波。瞬態(tài)計(jì)算機(jī)可讀介質(zhì)可以經(jīng)由有線通信線、比如電線或者光纖或者無線通信線向計(jì)算機(jī)提供程序。
[0104]可以描述以上公開的示例實(shí)施例的全部或者部分為、但是不限于以下補(bǔ)充備注。
[0105](補(bǔ)充備注I)
[0106]一種人員跟蹤設(shè)備，包括:
[0107]人員區(qū)域信息提取裝置，用于檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息；
[0108]伴隨人員確定裝置，用于基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員信息；
[0109]特色人員選擇裝置，用于在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員信息；以及
[0110]人員跟蹤裝置，用于基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
[0111](補(bǔ)充備注2)
[0112]根據(jù)補(bǔ)充備注I所述的人員跟蹤設(shè)備，其中:
[0113]所述伴隨人員信息包括指定所述跟蹤目標(biāo)人員的所述信息，
[0114]所述特色人員選擇裝置計(jì)算代表在所述跟蹤目標(biāo)人員與所述特色人員之間的相對(duì)位置的跟蹤目標(biāo)人員相對(duì)位置信息，并且
[0115]所述人員跟蹤設(shè)備還包括跟蹤結(jié)果計(jì)算裝置，用于根據(jù)所述特色人員跟蹤結(jié)果和所述跟蹤目標(biāo)人員相對(duì)位置信息而計(jì)算針對(duì)所述跟蹤目標(biāo)人員的跟蹤結(jié)果。
[0116](補(bǔ)充備注3)
[0117]根據(jù)補(bǔ)充備注I或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括:
[0118]特征顯著性信息聚集裝置，用于聚集特征顯著性信息，所述特征顯著性信息描述關(guān)于特征的值的顯著性的信息；以及
[0119]特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征、基于所述特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性、并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
[0120](補(bǔ)充備注4)
[0121]根據(jù)補(bǔ)充備注I或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括:
[0122]特征顯著性確定裝置，用于基于在所述人員區(qū)域信息中描述的人員的特征而計(jì)算特征顯著性信息，所述特征顯著性信息是關(guān)于特征的值的顯著性的信息；以及
[0123]特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征、基于所述特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性、并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
[0124](補(bǔ)充備注5)
[0125]根據(jù)補(bǔ)充備注I或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括:
[0126]特征顯著性確定裝置，用于基于在所述人員區(qū)域信息中描述的每個(gè)人員的特征而計(jì)算第一特征顯著性信息，所述第一特征顯著性信息是關(guān)于特征的值的顯著性的信息；
[0127]特征顯著性信息聚集裝置，用于聚集第二特征顯著性信息，所述第二特征顯著性信息描述關(guān)于特征的值的顯著性的信息；
[0128]特征顯著性信息集成裝置，用于通過集成所述第一特征顯著性信息和所述第二特征顯著性信息來計(jì)算集成的特征顯著性信息；以及
[0129]特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征、基于所述集成的特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性、并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
[0130](補(bǔ)充備注6)
[0131]根據(jù)補(bǔ)充備注4或者5所述的人員跟蹤設(shè)備，其中所述特征顯著性確定裝置隨著所述特征的所述值的出現(xiàn)頻率更低而設(shè)置更高顯著性。
[0132](補(bǔ)充備注7)
[0133]根據(jù)補(bǔ)充備注3所述的人員跟蹤設(shè)備，其中所述特征顯著性信息聚集裝置根據(jù)當(dāng)前位置、季節(jié)和時(shí)間中的至少一項(xiàng)來改變待聚集的所述特征顯著性信息。
[0134](補(bǔ)充備注8)
[0135]根據(jù)補(bǔ)充備注5所述的人員跟蹤設(shè)備，其中所述特征顯著性信息集成裝置根據(jù)所述第一特征顯著性信息和所述第二特征顯著性信息而計(jì)算平均值，并且根據(jù)所述平均值而生成所述集成的特征顯著性信息。
[0136](補(bǔ)充備注9)
[0137]根據(jù)補(bǔ)充備注5所述的人員跟蹤設(shè)備，其中所述特征顯著性信息集成裝置向所述第一特征顯著性信息和所述第二特征顯著性信息中的至少一個(gè)特征顯著性信息分配權(quán)值，并且計(jì)算所述兩個(gè)信息的平均值，以及基于所述平均值生成所述集成的特征顯著性信息。
[0138](補(bǔ)充備注10)
[0139]根據(jù)補(bǔ)充備注I至9中的任一補(bǔ)充備注所述的人員跟蹤設(shè)備，其中所述伴隨人員確定裝置基于指定跟蹤目標(biāo)人員的所述信息來標(biāo)識(shí)在所述人員區(qū)域信息中包括的所述跟蹤目標(biāo)人員的信息，并且基于所述標(biāo)識(shí)的信息來標(biāo)識(shí)所述伴隨人員。
[0140](補(bǔ)充備注11)
[0141]根據(jù)補(bǔ)充備注I至9中的任一補(bǔ)充備注所述的人員跟蹤設(shè)備，其中所述伴隨人員確定裝置基于在所述人員區(qū)域信息中包括的每個(gè)人員的位置信息而將位置相互接近的人員一起分組成一組、基于指定跟蹤目標(biāo)人員的所述信息來標(biāo)識(shí)所述跟蹤目標(biāo)人員屬于的組，并且基于所述標(biāo)識(shí)的組而計(jì)算所述伴隨人員信息。
[0142](補(bǔ)充備注12)
[0143]一種人員跟蹤方法，包括:
[0144]檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息；
[0145]基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員信息；
[0146]在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員信息；并且
[0147]基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
[0148](補(bǔ)充備注13)
[0149]一種存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述人員跟蹤程序使計(jì)算機(jī)執(zhí)行跟蹤在視頻中出現(xiàn)的人員的過程，所述過程包括:[0150]檢測(cè)在所述視頻中出現(xiàn)的所述人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息；
[0151]基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員信息；
[0152]在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員信息；以及
[0153]基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
[0154]本申請(qǐng)基于通過完全引用將公開內(nèi)容結(jié)合于此、于2011年3月28日提交的第2011-070114號(hào)日本專利申請(qǐng)、并且要求來自該日本專利申請(qǐng)的優(yōu)先權(quán)權(quán)益。
[0155]工業(yè)實(shí)用性
[0156]根據(jù)本發(fā)明，有可能使用監(jiān)控相機(jī)來跟蹤人員、并且計(jì)算人員在給定的時(shí)間的位置。這允許給定的系統(tǒng)根據(jù)位置向跟蹤目標(biāo)人員提供信息。備選地，在跟蹤目標(biāo)人員是兒童時(shí)，本發(fā)明可以應(yīng)用于向父母發(fā)送兒童的跟蹤結(jié)果的兒童跟蹤服務(wù)。當(dāng)然，本發(fā)明可以用于在一般安全系統(tǒng)中跟蹤具體人員這樣的目的。
0157]標(biāo)號(hào)列表0158]I人員區(qū)域檢測(cè)裝置0159]2體元生成裝置0160]3人員顏色提取裝置0161]4人員跟蹤裝置0162]100人員跟蹤設(shè)`備0163]101人員區(qū)域信息提取單元0164]102伴隨人員確定單元0165]103特色人員選擇單元0166]104人員跟蹤單元0167]105跟蹤結(jié)果計(jì)算單元0168]201特色人員確定單元0169]202特征顯著性信息聚集單元0170]250特征顯著性確定單元0171]253特征顯著性信息集成單元
【權(quán)利要求】
1.一種人員跟蹤設(shè)備，包括: 人員區(qū)域信息提取裝置，用于檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息； 伴隨人員確定裝置，用于基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員信息； 特色人員選擇裝置，用于在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員"[目息;以及 人員跟蹤裝置，用于基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
2.根據(jù)權(quán)利要求1所述的人員跟蹤設(shè)備，其中 所述伴隨人員信息包括指定所述跟蹤目標(biāo)人員的所述信息， 所述特色人員選擇裝置計(jì)算代表在所述跟蹤目標(biāo)人員與所述特色人員之間的相對(duì)位置的跟蹤目標(biāo)人員相對(duì)位置信息，以及 所述人員跟蹤設(shè)備還包括跟蹤結(jié)果計(jì)算裝置，用于根據(jù)所述特色人員跟蹤結(jié)果和所述跟蹤目標(biāo)人員相對(duì)位置信息而計(jì)算針對(duì)所述跟蹤目標(biāo)人員的跟蹤結(jié)果。
3.根據(jù)權(quán)利要求1或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括: 特征顯著性信息聚集裝置，用于聚集特征顯著性信息，所述特征顯著性信息描述關(guān)于特征的值的顯著性的信息；以及` 特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征，基于所述特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性，并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
4.根據(jù)權(quán)利要求1或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括: 特征顯著性確定裝置，用于基于在所述人員區(qū)域信息中描述的人員的特征而計(jì)算特征顯著性信息，所述特征顯著性信息是關(guān)于特征的值的顯著性的信息；以及 特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征，基于所述特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性，并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
5.根據(jù)權(quán)利要求1或者2所述的人員跟蹤設(shè)備，其中所述特色人員選擇裝置包括: 特征顯著性確定裝置，用于基于在所述人員區(qū)域信息中描述的每個(gè)人員的特征而計(jì)算第一特征顯著性信息，所述第一特征顯著性信息是關(guān)于特征的值的顯著性的信息； 特征顯著性信息聚集裝置，用于聚集第二特征顯著性信息，所述第二特征顯著性信息描述關(guān)于特征的值的顯著性的信息； 特征顯著性信息集成裝置，用于通過集成所述第一特征顯著性信息和所述第二特征顯著性信息來計(jì)算集成的特征顯著性信息；以及 特色人員確定裝置，用于計(jì)算由所述伴隨人員信息指定的所述伴隨人員中的每個(gè)伴隨人員的特征，基于所述集成的特征顯著性信息而計(jì)算所述伴隨人員中的每個(gè)伴隨人員的所述特征的顯著性，并且按照所述顯著性的相對(duì)降序來選擇所述特色人員。
6.根據(jù)權(quán)利要求4或者5所述的人員跟蹤設(shè)備，其中所述特征顯著性確定裝置隨著所述特征的所述值的出現(xiàn)頻率更低而設(shè)置更高顯著性。
7.根據(jù)權(quán)利要求3所述的人員跟蹤設(shè)備，其中所述特征顯著性信息聚集裝置根據(jù)當(dāng)前位置、季節(jié)和時(shí)間中的至少一項(xiàng)來改變待聚集的所述特征顯著性信息。
8.根據(jù)權(quán)利要求5所述的人員跟蹤設(shè)備，其中所述特征顯著性信息集成裝置根據(jù)所述第一特征顯著性信息和所述第二特征顯著性信息而計(jì)算平均值，并且根據(jù)所述平均值而生成所述集成的特征顯著性信息。
9.一種人員跟蹤方法，包括: 檢測(cè)在視頻中出現(xiàn)的人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息； 基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員息; 在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員信息；以及 基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
10.一種存儲(chǔ)人員跟蹤程序的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述人員跟蹤程序使計(jì)算機(jī)執(zhí)行跟蹤在視頻中出現(xiàn)的人員的過程，所述過程包括: 檢測(cè)在所述視頻中出現(xiàn)的 所述人員屬于的人員區(qū)域，并且生成描述所述人員區(qū)域的信息的人員區(qū)域信息； 基于所述人員區(qū)域信息和指定跟蹤目標(biāo)人員的信息而在所述人員區(qū)域信息中包括的人員之中標(biāo)識(shí)伴隨跟蹤目標(biāo)人員的至少一個(gè)伴隨人員，并且生成描述所述伴隨人員的伴隨人員息; 在由所述伴隨人員確定信息指定的所述伴隨人員之中使用所述人員區(qū)域信息來選擇具有顯著特征的特色人員，并且生成描述所述特色人員的特色人員信息；以及 基于所述人員區(qū)域信息和所述特色人員信息而計(jì)算特色人員跟蹤結(jié)果，所述特色人員跟蹤結(jié)果是針對(duì)所述特色人員的跟蹤結(jié)果。
【文檔編號(hào)】G06T7/20GK103430214SQ201180069391
【公開日】2013年12月4日 申請(qǐng)日期:2011年10月26日 優(yōu)先權(quán)日:2011年3月28日
【發(fā)明者】大綱亮磨, 高橋祐介 申請(qǐng)人:日本電氣株式會(huì)社