銀臺(tái)進(jìn)行付款的人員，這些人員從入口側(cè)、即遠(yuǎn)離相機(jī)I的里側(cè)進(jìn)入收銀臺(tái)，從出口側(cè)、即靠近相機(jī)I的近前側(cè)退出，從而在收銀臺(tái)的周圍形成從入口側(cè)朝向出口側(cè)的人流，若收銀臺(tái)處的付款操作延遲、顧客數(shù)超過(guò)了店員的作業(yè)能力，則形成等待付款的隊(duì)列，造成人員滯留的狀態(tài)。
[0073]在本實(shí)施方式中，為了掌握收銀臺(tái)的周邊的人員的滯留狀況，在收銀臺(tái)的周邊并在人員移動(dòng)的區(qū)域內(nèi)設(shè)定測(cè)定區(qū)域，取得與該測(cè)定區(qū)域(對(duì)象區(qū)域)內(nèi)的人員的滯留狀況相關(guān)的滯留信息、具體為滯留數(shù)(滯留人數(shù))即在對(duì)象區(qū)域內(nèi)滯留的人員人數(shù)、及滯留時(shí)間即在測(cè)定區(qū)域內(nèi)人員滯留的時(shí)間，生成使該滯留信息可視化而得到的熱圖圖像。
[0074]在圖4所示的例子中，表示測(cè)定區(qū)域的框圖像22及表示滯留信息(滯留數(shù)及滯留時(shí)間)的熱圖圖像23以透視狀態(tài)重疊地顯示在根據(jù)相機(jī)I的拍攝圖像生成的背景圖像21上。另外，熱圖圖像23在多個(gè)測(cè)定區(qū)域中的每一個(gè)測(cè)定區(qū)域內(nèi)并排地進(jìn)行顯示。
[0075]在熱圖圖像23中，滯留信息的數(shù)值的大小由圖像的屬性、即大小、色調(diào)(色相)及色彩的濃淡(濃度)中的至少一項(xiàng)來(lái)表現(xiàn)。特別是在圖4所示的例子中，以涂滿圓形狀的熱圖圖像23的色彩的濃淡來(lái)表現(xiàn)滯留時(shí)間，以熱圖圖像23的大小來(lái)表現(xiàn)滯留數(shù)(滯留人數(shù))，滯留時(shí)間越長(zhǎng)，則熱圖圖像23的顏色越濃，滯留數(shù)越大，則熱圖圖像23越大。
[0076]接著，說(shuō)明由圖1所示的PC3所進(jìn)行的滯留狀況分析處理。圖5表示PC3的概略結(jié)構(gòu)的功能框圖。
[0077]PC3具備位置信息存儲(chǔ)部31、活動(dòng)線路取得部32、活動(dòng)線路信息存儲(chǔ)部33、滯留信息取得部34、熱圖圖像生成部35、背景圖像生成部36及顯示圖像生成部37。
[0078]在位置信息存儲(chǔ)部31中存儲(chǔ)有從移動(dòng)體檢測(cè)裝置4取得的每位人員的位置信息。此外，在位置信息中包含與根據(jù)相機(jī)I的拍攝圖像(影像的各幀)檢測(cè)出的每位人員的檢測(cè)位置及根據(jù)檢測(cè)到人員的拍攝圖像的拍攝時(shí)刻取得的每位人員的檢測(cè)時(shí)刻等相關(guān)的信息。
[0079]在活動(dòng)線路取得部32中進(jìn)行如下處理:取得根據(jù)相機(jī)I的拍攝圖像檢測(cè)出的每位人員的活動(dòng)線路。該活動(dòng)線路取得處理是基于由移動(dòng)體檢測(cè)裝置4生成并存儲(chǔ)于位置信息存儲(chǔ)部31的每位人員的位置信息而進(jìn)行的。與利用該活動(dòng)線路取得部32取得的每位人員的活動(dòng)線路相關(guān)的信息存儲(chǔ)于活動(dòng)線路信息存儲(chǔ)部33。
[0080]滯留信息取得部34是基于存儲(chǔ)于活動(dòng)線路信息存儲(chǔ)部33的活動(dòng)線路信息，在每個(gè)預(yù)定計(jì)測(cè)期間內(nèi)取得與測(cè)定區(qū)域內(nèi)的人員的滯留狀況相關(guān)的滯留信息的機(jī)構(gòu)，具備滯留數(shù)取得部41及滯留時(shí)間取得部42。
[0081]在滯留數(shù)取得部41中進(jìn)行如下處理:基于利用活動(dòng)線路取得部32取得的每位人員的活動(dòng)線路信息，取得每個(gè)測(cè)定區(qū)域內(nèi)的滯留數(shù)(滯留人數(shù))。在該處理中，統(tǒng)計(jì)在計(jì)測(cè)期間內(nèi)通過(guò)測(cè)定區(qū)域的活動(dòng)線路的條數(shù)，求出計(jì)測(cè)期間內(nèi)的每個(gè)測(cè)定區(qū)域的滯留數(shù)。
[0082]在滯留時(shí)間取得部42中進(jìn)行如下處理:基于利用活動(dòng)線路取得部32取得的每位人員的活動(dòng)線路信息，取得每位人員的測(cè)定區(qū)域內(nèi)的滯留時(shí)間。在該處理中，首先，在計(jì)測(cè)期間內(nèi)，根據(jù)每位人員的滯留時(shí)刻(針對(duì)測(cè)定區(qū)域的進(jìn)入時(shí)刻及退出時(shí)刻)取得每位人員的滯留時(shí)間，接著，根據(jù)每位人員的該滯留時(shí)間并利用平均化等適當(dāng)?shù)慕y(tǒng)計(jì)處理取得每個(gè)測(cè)定區(qū)域內(nèi)的滯留時(shí)間。
[0083]在熱圖圖像生成部35中進(jìn)行如下處理:在每個(gè)計(jì)測(cè)期間內(nèi)生成使利用滯留信息取得部34取得的滯留信息(滯留數(shù)及滯留時(shí)間)可視化而得到的熱圖圖像。
[0084]在背景圖像生成部36中進(jìn)行如下處理:從在計(jì)測(cè)期間內(nèi)拍攝到的多個(gè)拍攝圖像中選擇一個(gè)拍攝圖像，以該一個(gè)拍攝圖像為對(duì)象進(jìn)行圖像處理，從而生成背景圖像。在本實(shí)施方式中進(jìn)行如下處理:對(duì)拍攝圖像整體進(jìn)行降低被拍攝到拍攝圖像的人員的識(shí)別性的圖像處理，從而生成背景圖像。
[0085]在顯示圖像生成部37中進(jìn)行如下處理:在由背景圖像生成部36生成的背景圖像上重疊由熱圖圖像生成部35生成的熱圖圖像而生成顯示圖像。
[0086]此外，圖5所示的PC3的各部分通過(guò)利用PC3的CPU執(zhí)行滯留狀況分析用的程序來(lái)實(shí)現(xiàn)功能。該程序除了被預(yù)先導(dǎo)入于作為信息處理裝置的PC3而構(gòu)成為專用裝置以外，還可以作為在通用OS上動(dòng)作的應(yīng)用程序被記錄于適當(dāng)?shù)某绦蛴涗浗橘|(zhì)、并且經(jīng)由網(wǎng)絡(luò)向用戶提供。
[0087]接著，說(shuō)明由圖5所示的背景圖像生成部36所進(jìn)行的處理。圖6是說(shuō)明由背景圖像生成部36所進(jìn)行的背景圖像生成處理的概要的說(shuō)明圖。
[0088]在本實(shí)施方式中，如上所述，在移動(dòng)體檢測(cè)裝置4中進(jìn)行如下處理:從各時(shí)刻的拍攝圖像(幀)中檢測(cè)出人員并取得位置信息，在活動(dòng)線路取得部32中進(jìn)行如下處理:根據(jù)各時(shí)刻的位置信息取得每位人員的活動(dòng)線路，在滯留信息取得部34中進(jìn)行如下處理:基于預(yù)定計(jì)測(cè)期間(例如30分鐘)內(nèi)的活動(dòng)線路信息取得滯留信息(滯留數(shù)及滯留時(shí)間)，在熱圖圖像生成部35中進(jìn)行如下處理:根據(jù)滯留信息生成熱圖圖像。
[0089]另一方面，在背景圖像生成部36中進(jìn)行如下處理:統(tǒng)一從在預(yù)定計(jì)測(cè)期間內(nèi)拍攝到的多個(gè)拍攝圖像中選擇出一個(gè)拍攝圖像，以該一個(gè)拍攝圖像為對(duì)象進(jìn)行圖像處理，從而生成背景圖像。在圖6所示的例子中，選擇計(jì)測(cè)期間的結(jié)束時(shí)刻下的拍攝圖像，根據(jù)該拍攝圖像生成背景圖像。然后，在顯示圖像生成部37進(jìn)行如下處理:在背景圖像上重疊熱圖圖像而生成顯示圖像。
[0090]在此，說(shuō)明背景圖像與熱圖圖像未匹配的例子。圖7是表示背景圖像與熱圖圖像未匹配的例子的說(shuō)明圖。
[0091]在統(tǒng)一從計(jì)測(cè)期間的結(jié)束時(shí)刻下的拍攝圖像等計(jì)測(cè)期間內(nèi)的多個(gè)拍攝圖像中選擇出設(shè)為背景圖像的拍攝圖像的情況下，相對(duì)于背景圖像為某個(gè)時(shí)刻的拍攝圖像，熱圖圖像根據(jù)計(jì)測(cè)期間內(nèi)的多個(gè)時(shí)刻下的拍攝圖像而生成，因此存在背景圖像與熱圖圖像未匹配、即被拍攝到背景圖像中的實(shí)際人員的滯留狀態(tài)與熱圖圖像所顯示的滯留狀態(tài)區(qū)別較大的情況，在這種情況下，給用戶帶來(lái)不協(xié)調(diào)感。
[0092]在此，作為背景圖像與熱圖圖像未匹配的事例，具有圖7(A)、圖7(B)所示的兩個(gè)事例。
[0093]圖7(A)所示的事例為一個(gè)測(cè)定區(qū)域內(nèi)的背景圖像與熱圖圖像之間的關(guān)系在時(shí)間上未匹配的情況，在圖7(A)所示的例子中，當(dāng)比較第一時(shí)刻(計(jì)測(cè)期間為9:00?10:00)的顯示圖像與接下來(lái)的第二時(shí)刻(計(jì)測(cè)期間為10:00?11:00)的顯示圖像時(shí)，在熱圖圖像中，與第一時(shí)刻相比，接下來(lái)的第二時(shí)刻下的滯留數(shù)較高、即較為混雜，但是在背景圖像中，第一時(shí)刻比接下來(lái)的第二時(shí)刻拍到的人員多，背景圖像與熱圖圖像未匹配。
[0094]在圖7(B)所示的事例中，是某個(gè)時(shí)刻下的顯示圖像中的背景圖像與熱圖圖像之間的關(guān)系在兩個(gè)測(cè)定區(qū)域內(nèi)未匹配的情況，在圖7(B)所示的事例中，在熱圖圖像中，與第一測(cè)定區(qū)域相比，第二測(cè)定區(qū)域內(nèi)的滯留數(shù)較高、即較為混雜，但是在背景圖像中，第一測(cè)定區(qū)域比第二測(cè)定區(qū)域拍到的人員多，背景圖像與熱圖圖像未匹配。
[0095]于是，在本實(shí)施方式中，為了減輕因背景圖像與熱圖圖像未匹配而給用戶帶來(lái)的不協(xié)調(diào)感，如以下所示那樣，對(duì)統(tǒng)一從在計(jì)測(cè)期間內(nèi)拍攝到的多個(gè)拍攝圖像中選擇出的拍攝圖像進(jìn)行圖像處理，從而生成背景圖像。
[0096]接著，說(shuō)明由圖5所示的背景圖像生成部36進(jìn)行的背景圖像生成處理。圖8及圖9是表示由背景圖像生成部36生成的背景圖像及由顯示圖像生成部37生成的顯示圖像的說(shuō)明圖。
[0097]在背景圖像生成部36中進(jìn)行如下處理:對(duì)拍攝圖像整體進(jìn)行降低被拍攝到拍攝圖像中的人員的識(shí)別性(可視性)的圖像處理而生成背景圖像，從而生成圖8 (A)及圖9(A)所示的背景圖像。在顯示圖像生成部37中進(jìn)行如下處理:在由該背景圖像生成部36生成的背景圖像上重疊熱圖圖像而生成顯示圖像，從而生成圖8(B)及圖9(B)所示的顯示圖像。
[0098]圖8所示的例子是進(jìn)行如下處理的情況:作為降低被拍攝到拍攝圖像中的人員的識(shí)別性的圖像處理，對(duì)拍攝圖像進(jìn)行模糊處理特別是馬賽克處理、即將拍攝圖像分割為多個(gè)塊而將該塊內(nèi)的全部像素的像素值置換為塊內(nèi)的一個(gè)像素的像素值或塊內(nèi)的各像素的像素值的平均值等單一像素值的處理。圖9所示的例子是進(jìn)行在拍攝圖像上重疊單一色的半透過(guò)圖像的處理的情況。
[0099]此外，作為模糊處理，除了馬賽克處理之外，也可以是各種濾光處理、例如通過(guò)模糊濾鏡、高斯濾鏡、中間值濾鏡及雙邊濾鏡等進(jìn)行的濾光處理。進(jìn)而，為了降低被拍攝到拍攝圖像中的人員的識(shí)別性，也能夠利用灰度變換、底片/正片反轉(zhuǎn)、色調(diào)校正(亮度變化、RGB色彩平衡變化、對(duì)比度變化、伽馬校正及彩度調(diào)整等)、二值化及邊緣濾光等各種圖像處理。
[0100]如此，在本實(shí)施方式中，在背景圖像生成部36中，對(duì)拍攝圖像整體進(jìn)行降低被拍攝到拍攝圖像的人員的識(shí)別性(可視性)的圖像處理而生成背景圖像，在進(jìn)行了這樣的圖像處理的背景圖像中，被拍攝到拍攝圖像中的人員變得難以識(shí)別，因此統(tǒng)一從計(jì)測(cè)期間內(nèi)的拍攝圖像中選擇出背景圖像、例如將計(jì)測(cè)期間的結(jié)束時(shí)刻下的拍攝圖像選擇為背景圖像，從而即使在背景圖像與熱圖圖像未匹配的情況下，也能夠降低給用戶帶來(lái)的不協(xié)調(diào)感。
[0101]特別是在本實(shí)施方式中，作為降低被拍攝到拍攝圖像中的人員的識(shí)別性的圖像處理，對(duì)拍攝圖像整體進(jìn)行模糊處理、重疊透過(guò)單一色的處理，因此能保持能夠大致掌握對(duì)象區(qū)域的概觀、即在何處有何物的狀態(tài)，并且使準(zhǔn)確的人員的人數(shù)、位置等變得難以分辨，因此能夠減少因背景圖像與熱圖圖像未匹配而產(chǎn)生的不協(xié)調(diào)感。
[0102]此外，在本實(shí)施方式中，對(duì)拍攝圖像整體進(jìn)行降低被拍攝到拍攝圖像中的人員的識(shí)別性的圖像處理，但是也可以僅以拍攝圖像的一部分、特別是人員通過(guò)的區(qū)域?yàn)閷?duì)象進(jìn)行圖像處理。
[0103](第二實(shí)施方式)
[0104]接著，說(shuō)明第二實(shí)施方式。此外，在此未特別言及的方面與第一實(shí)施方式相同。
[0105]圖10是說(shuō)明由第二實(shí)施方式的PC3的背景圖像生成部36所進(jìn)行的背景圖像生成處理的概要的說(shuō)明圖。圖11及圖12是表示由背景圖像生成部36生成的背景圖像及由顯示圖像生成部37生成的顯示圖像的說(shuō)明圖。
[0106]在該第二實(shí)施方式中，如圖10所示，在背景圖像生成部36中進(jìn)行如下處理:根據(jù)在與滯留信息相對(duì)應(yīng)的計(jì)測(cè)期間拍攝到的多個(gè)拍攝圖像來(lái)生成摘要圖像，并將該摘要圖像設(shè)為背景圖像。此外，在生成摘要圖像時(shí)，除了以計(jì)測(cè)期間內(nèi)的全部拍攝圖像為對(duì)象以外，也可以從計(jì)測(cè)期間內(nèi)的拍攝圖像中隔開一定間隔地選擇多個(gè)拍攝圖像。
[0107]特別是在該第二實(shí)施方式中，在背景圖像生成部36中進(jìn)行如下處理:按照各個(gè)像素求出多個(gè)拍攝圖像的像素值(例如亮度值)的平均值、生成將該平均值設(shè)為像素值的平均圖像作為摘要圖像，并將該平均圖像設(shè)為背景圖像。另外，在背景圖像生成部36中進(jìn)行如下處理:按照各個(gè)像素求出多個(gè)拍攝圖像的像素值(例如亮度值)的方差、生成將該方差設(shè)為像素值的方差圖像作為摘要圖像，并將該方差圖像設(shè)為背景圖像。由此，生成圖1l(A)所示的背景圖像。然后，在顯示圖像生成部37進(jìn)行如下處理:在由背景圖像生成部36生成