本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法、系統(tǒng)及存儲(chǔ)裝置。

背景技術(shù)：

深度相機(jī)捕獲場(chǎng)景的深度圖像中每一像素具有的深度信息為場(chǎng)景表面到深度相機(jī)的距離，從而根據(jù)深度圖像可以獲取場(chǎng)景目標(biāo)的位置信息。

在現(xiàn)有技術(shù)中，采用2d圖像序列對(duì)場(chǎng)景進(jìn)行監(jiān)控，例如，采用2d視頻進(jìn)行拍攝，再根據(jù)2d視頻里的圖像信息來(lái)獲取視頻內(nèi)的人物的關(guān)聯(lián)信息。對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過(guò)程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)從2d圖像序列中無(wú)法獲得圖像中目標(biāo)的距離、位置信息，因而也不能分辨前后遮擋的位置關(guān)系，容易導(dǎo)致產(chǎn)生錯(cuò)誤的關(guān)聯(lián)關(guān)系，從而對(duì)場(chǎng)景的監(jiān)控效果不佳。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法、系統(tǒng)及存儲(chǔ)裝置，能夠解決現(xiàn)有技術(shù)存在監(jiān)控效果差的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法，該方法包括以下步驟：獲取多人場(chǎng)景的深度圖像序列；通過(guò)所述深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對(duì)所述關(guān)聯(lián)關(guān)系及所述關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存；監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若所述關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)，該系統(tǒng)包括至少一個(gè)深度相機(jī)、處理器和存儲(chǔ)器，所述深度相機(jī)和所述存儲(chǔ)器均與所述處理器連接；所述深度相機(jī)用于獲取多人場(chǎng)景的深度圖像序列；所述處理器用于通過(guò)所述深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對(duì)所述關(guān)聯(lián)關(guān)系及所述關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記；監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若所述關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體；所述存儲(chǔ)器用于對(duì)所述處理器所做的標(biāo)記進(jìn)行保存。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的又一個(gè)技術(shù)方案是：提供一種存儲(chǔ)裝置，該存儲(chǔ)裝置存儲(chǔ)有程序數(shù)據(jù)，所述程序數(shù)據(jù)能夠被執(zhí)行以實(shí)現(xiàn)上述方法。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明通過(guò)深度圖像序列來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系，因而能做出準(zhǔn)確的判斷，規(guī)避誤判，本發(fā)明還對(duì)關(guān)聯(lián)關(guān)系和相關(guān)的人體進(jìn)行標(biāo)記和監(jiān)控，并在關(guān)聯(lián)關(guān)系發(fā)生解除時(shí)發(fā)出預(yù)警，從而能有效防止走失、走散的情況發(fā)生。此外，通過(guò)對(duì)關(guān)聯(lián)關(guān)系的相關(guān)的人體進(jìn)行標(biāo)記和監(jiān)控，還能夠在發(fā)生走失、走散的情況之后，快速地尋找到走失的人。因而，本發(fā)明能提高、改善監(jiān)控效果。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法實(shí)施例的流程示意圖；

圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法另一實(shí)施例的流程示意圖；

圖3是圖2中步驟s22實(shí)施例的流程示意圖；

圖4是本發(fā)明實(shí)施例的一個(gè)場(chǎng)景的俯視圖；

圖5是圖3中步驟s223實(shí)施例的流程示意圖；

圖6是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法又一實(shí)施例的流程示意圖；

圖7是圖6中步驟s32實(shí)施例的流程示意圖；

圖8是本發(fā)明另一實(shí)施例的一個(gè)場(chǎng)景的俯視圖；

圖9是圖7中步驟s323實(shí)施例的流程示意圖；

圖10是圖6中步驟s34實(shí)施例的流程示意圖；

圖11是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖；

圖12是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)另一實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明提供的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法可應(yīng)用于車站、游樂(lè)場(chǎng)等公共場(chǎng)合的安防監(jiān)控。請(qǐng)參閱圖1，圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法實(shí)施例的流程示意圖。圖1所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法包括步驟：

s11、獲取多人場(chǎng)景的深度圖像序列。

具體地，深度圖像序列可以通過(guò)深度相機(jī)來(lái)獲取，其中，多人場(chǎng)景可以是例如車站、游樂(lè)場(chǎng)等公共場(chǎng)合。深度圖像則不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機(jī)之間的距離信息。深度圖像序列則是指在一個(gè)時(shí)間段內(nèi)的連續(xù)的深度圖像。

步驟s11中，可以使用單一可移動(dòng)的深度相機(jī)來(lái)追蹤獲取所述深度圖，或者，也可以使用多個(gè)固定于不同位置的深度相機(jī)來(lái)追蹤獲取所述深度圖。

s12、通過(guò)深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系。

步驟s12中，預(yù)設(shè)的關(guān)聯(lián)關(guān)系可以是跟隨，其中，跟隨可以是近距離但沒(méi)有接觸的跟隨，當(dāng)然，在一些實(shí)施例中，跟隨也可以包括牽手和抱嬰等。

s13、若是，則對(duì)關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存。

在判斷人體之間的關(guān)聯(lián)關(guān)系為預(yù)設(shè)的關(guān)聯(lián)關(guān)系之后，則對(duì)該關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記并保存，以便于對(duì)該關(guān)聯(lián)關(guān)系進(jìn)行追蹤監(jiān)控，同時(shí)，對(duì)該關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存，以便于對(duì)該人體進(jìn)行追蹤監(jiān)控。

s14、監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

具體地，s14中的監(jiān)控為持續(xù)追蹤該標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體，以監(jiān)控該關(guān)聯(lián)關(guān)系是否會(huì)解除或者發(fā)生其它變化，或者該關(guān)聯(lián)關(guān)系相關(guān)的人體的走向等信息。

其中，監(jiān)控的方式有多種，例如，在一些實(shí)施例中，可以通過(guò)深度相機(jī)進(jìn)行移動(dòng)追蹤，該深度相機(jī)可以具有里程記錄功能。當(dāng)然，在另一些實(shí)施例中，可以通過(guò)在不同的位置固定多個(gè)深度相機(jī)，以使多個(gè)深度相機(jī)對(duì)多個(gè)場(chǎng)景進(jìn)行拍攝。并且，可以使多個(gè)深度相機(jī)所拍攝的場(chǎng)景連貫銜接起來(lái)，從而減少或者避免盲區(qū)的出現(xiàn)。

s15、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

在監(jiān)控的過(guò)程中，若標(biāo)記的關(guān)聯(lián)關(guān)系發(fā)生變化，例如該關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，例如，如果在游樂(lè)場(chǎng)或者車站等公共場(chǎng)所，若監(jiān)控到家長(zhǎng)和小孩之間的關(guān)聯(lián)關(guān)系解除，則可以通過(guò)廣播提示家長(zhǎng)要注意看管好小孩，也可以在監(jiān)控畫面中發(fā)出預(yù)警，以引起公共場(chǎng)所的監(jiān)控工作人員的注意，從而可以通過(guò)工作人員進(jìn)行提示。從而能夠預(yù)防發(fā)生走散、走失的情況。

在關(guān)聯(lián)關(guān)系解除之后，仍繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體，從而使得預(yù)警發(fā)出之后，即使相關(guān)的人仍然沒(méi)有意識(shí)到發(fā)生了走失的情況，也能在發(fā)現(xiàn)走失后能快速獲知該標(biāo)記的人體的去向，從而能快速尋找到走失的人。

區(qū)別于現(xiàn)有技術(shù)，本發(fā)明通過(guò)深度圖像序列來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系，因而能做出準(zhǔn)確的判斷，規(guī)避誤判，本發(fā)明還對(duì)關(guān)聯(lián)關(guān)系和相關(guān)的人體進(jìn)行標(biāo)記和監(jiān)控，并在關(guān)聯(lián)關(guān)系發(fā)生解除時(shí)發(fā)出預(yù)警，從而能有效防止走失、走散的情況發(fā)生。此外，通過(guò)對(duì)關(guān)聯(lián)關(guān)系的相關(guān)的人體進(jìn)行標(biāo)記和監(jiān)控，還能夠在發(fā)生走失、走散的情況之后，快速地尋找到走失的人。因而，本發(fā)明能提高、改善監(jiān)控效果。

請(qǐng)參閱圖2，圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法另一實(shí)施例的流程示意圖。

s21、獲取多人場(chǎng)景的深度圖像序列。

s22、通過(guò)深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為跟隨。

具體地，如圖3所示，圖3是圖2中步驟s22實(shí)施例的流程示意圖。步驟s22進(jìn)一步包括：

s221、從深度圖像序列中識(shí)別多個(gè)人體。

步驟s221中，可以基于深度圖像來(lái)獲取該深度圖像中出現(xiàn)的人體的深度圖輪廓，從而識(shí)別出人體。

具體地，首先可以除去深度圖像中的背景。例如，可以在深度圖中初步確定一個(gè)斑塊(blob，即，具有相似值的像素的連接組)作為對(duì)象的身體，然后從該斑塊中去除具有明顯不同深度值的其它斑塊。以這種方式初步確定的斑塊通常必須具有某個(gè)最小尺寸。然而，為此，斑塊邊緣處的像素坐標(biāo)之間的簡(jiǎn)單的歐幾里德距離不給出該尺寸的準(zhǔn)確測(cè)量。該不準(zhǔn)確的原因是，與具有給定實(shí)際尺寸的物體相對(duì)應(yīng)的斑塊的尺寸(以像素為單位)隨著該物體與設(shè)備的距離的變化而增加或減小。

因此，為了確定物體的實(shí)際尺寸，首先使用下面的公式將物體的(x，y，深度)坐標(biāo)變換為“現(xiàn)實(shí)世界”坐標(biāo)(xr，yr，深度)：

xr＝(x-fovx/2)*像素尺寸*深度/參考深度

yr＝(y-fovy/2)*像素尺寸*深度/參考深度

這里，fovx和fovy為x和y方向上的深度圖的視野(以像素為單位)。像素尺寸為，在離繪圖設(shè)備給定距離(參考深度)處像素所對(duì)著的長(zhǎng)度。然后，斑塊的尺寸可以通過(guò)求該斑塊邊緣的現(xiàn)實(shí)世界坐標(biāo)之間的歐幾里德距離來(lái)實(shí)際確定。

因此，可以通過(guò)識(shí)別具有所要求的最小尺寸的斑塊來(lái)除去深度圖像中的背景，其中，該斑塊在場(chǎng)景中的各斑塊中間具有最小平均深度值?？梢约僭O(shè)，距離深度相機(jī)最近的斑塊為人體，深度比該平均深度值大了至少某個(gè)閾值的所有像素都被假定屬于背景物體，并將這些像素的深度值設(shè)置為零值。其中，上述閾值可以根據(jù)實(shí)際需要來(lái)確定。此外，在一些實(shí)施例中，還可以將具有明顯小于所述斑塊的平均深度值的深度值的各像素置零。另外，還可以預(yù)先設(shè)定一個(gè)最大深度，從而忽略超過(guò)該最大深度的物體。

在一些實(shí)施例中，還可以動(dòng)態(tài)地確定深度值，超過(guò)該深度值的話，物體就從深度圖中去除。為此，假設(shè)場(chǎng)景中的物體正在移動(dòng)。因此，在某最小數(shù)目個(gè)幀中深度沒(méi)有變化的任何像素都被假設(shè)是背景物體。深度值大于該靜態(tài)深度值的像素被認(rèn)為是屬于背景物體的，因此都被置零。開始，場(chǎng)景中的所有像素可以都被定義為靜態(tài)，或者場(chǎng)景中的所有像素可以都被定義為非靜態(tài)的。在這兩種情形中，一旦對(duì)象開始運(yùn)動(dòng)，就可以動(dòng)態(tài)生成實(shí)際的深度過(guò)濾器。

當(dāng)然，還可以通過(guò)現(xiàn)有技術(shù)中已知的其它方法來(lái)除去深度圖像中的背景。

在除去背景之后，可以通過(guò)邊緣檢測(cè)方法在深度圖中找出身體的外部輪廓。本實(shí)施例中，采用兩步閾值化機(jī)制來(lái)找出人體的輪廓：

首先，遍歷深度圖像中與人形相對(duì)應(yīng)的斑塊中的所有像素，并且，如果任何給定像素具有有效深度值，并且如果該像素與其四個(gè)相連的鄰近像素(右、左、上和下)中的至少一個(gè)像素之間的深度值之差大于第一閾值，則將其標(biāo)記為輪廓位置。(其中，有效深度值和零值之間的差被認(rèn)為是無(wú)窮大)。

然后，在完成了上一步驟之后，再次遍歷該斑塊，并且如果在任何像素(該像素還沒(méi)有被標(biāo)記為輪廓位置)的八個(gè)相連的鄰近像素之中有輪廓像素，并且如果當(dāng)前像素和剩下的相連鄰近位置中的至少一個(gè)像素之間的深度值之差大于第二閾值(低于所述第一閾值)，則將其標(biāo)記為輪廓位置。

在找出人體的外輪廓之后，再識(shí)別身體的各個(gè)部位，例如，頭部、軀干和四肢。

先旋轉(zhuǎn)深度圖像，使得身體輪廓處于豎直位置。該轉(zhuǎn)動(dòng)的目的是為了通過(guò)將身體的縱軸與y坐標(biāo)(垂直)軸對(duì)齊來(lái)簡(jiǎn)化下述步驟中的計(jì)算?？蛇x擇地，下述計(jì)算可以相對(duì)于身體的縱軸來(lái)執(zhí)行，而不需要進(jìn)行該轉(zhuǎn)動(dòng)，如本領(lǐng)域技術(shù)人員所了解的。

在識(shí)別身體的各個(gè)部位之前，可以先找出身體的3d軸。具體地，找出身體的3d軸可以采用以下方法：

將原始深度圖像下采樣(down-sample)為節(jié)點(diǎn)柵格，其中，在x方向和y方向上隔n個(gè)像素取一個(gè)節(jié)點(diǎn)?；谝怨?jié)點(diǎn)為中心的n×n方塊中的深度值來(lái)計(jì)算每個(gè)節(jié)點(diǎn)的深度值。如果方塊中多于半數(shù)像素具有零值，則將相應(yīng)節(jié)點(diǎn)設(shè)置為零值。否則，將該節(jié)點(diǎn)設(shè)置為n×n方塊中的有效深度值的平均值。

然后，可以基于鄰近節(jié)點(diǎn)的值來(lái)進(jìn)一步“清理”該下采樣的深度圖像：如果給定節(jié)點(diǎn)的大部分相鄰節(jié)點(diǎn)具有零值，則將該節(jié)點(diǎn)也設(shè)置為零值(即使在前述步驟之后它具有有效的深度值)。

在上述步驟完成時(shí)，找出下采樣的圖中所剩節(jié)點(diǎn)的縱軸。為此，可以進(jìn)行線性最小二乘擬合來(lái)找出最擬合各節(jié)點(diǎn)的線?？蛇x擇地，可以擬合圍繞各節(jié)點(diǎn)的一個(gè)橢圓并找出其主軸。

在找出身體的3d軸之后，通過(guò)在平行和垂直于縱軸的方向上測(cè)量身體輪廓的厚度來(lái)識(shí)別身體的軀干。為此，可以在身體輪廓的周圍限定約束框，然后可以對(duì)該框中的像素值進(jìn)行二值化：將具有零深度值的像素設(shè)為0，而將具有非零深度值的像素設(shè)為1。

然后，通過(guò)沿著相應(yīng)的垂直線對(duì)二進(jìn)制像素值進(jìn)行相加，對(duì)框內(nèi)的每個(gè)x值計(jì)算縱向厚度值，并通過(guò)沿著相應(yīng)的水平線對(duì)二進(jìn)制像素值進(jìn)行加和，對(duì)每個(gè)y值計(jì)算橫向厚度值。對(duì)所得到的值應(yīng)用閾值，以便識(shí)別沿著哪些條垂直線和水平線輪廓相對(duì)厚。

當(dāng)輪廓某一水平區(qū)域的橫向厚度超過(guò)x閾值，某一垂直區(qū)域的縱向厚度超過(guò)y閾值時(shí)，該水平區(qū)域和垂直區(qū)域的交集可以確定為軀干。

在確定了軀干之后，可以基于幾何考慮來(lái)識(shí)別身體的頭部和四肢。手部手臂是連接到軀干區(qū)域的左側(cè)和右側(cè)的區(qū)域；頭部是軀干區(qū)域上方的連接區(qū)域；腿部是軀干區(qū)域下方的連接區(qū)域。還可以將軀干區(qū)域的左上角和右上角初步識(shí)別為肩膀。

當(dāng)輪廓以及人體的各個(gè)部位均識(shí)別出來(lái)之后，即可在深度圖像中識(shí)別出人體。

s222、獲取多個(gè)人體在深度圖像序列中的空間位置信息。

具體而言，空間位置信息包括在深度相機(jī)的相機(jī)坐標(biāo)系中的第一坐標(biāo)，以及在場(chǎng)景所在的世界坐標(biāo)系中的第二坐標(biāo)。例如，人體在以深度相機(jī)所在位置為原點(diǎn)的相機(jī)坐標(biāo)系中的位置為第一坐標(biāo)，人體在以場(chǎng)景空間中某個(gè)特定點(diǎn)為原點(diǎn)的世界坐標(biāo)系中的位置為第二坐標(biāo)。

在本實(shí)施例中，空間位置信息為人體位置信息，即人體在相機(jī)坐標(biāo)系和世界坐標(biāo)系中位置信息。

當(dāng)步驟s221識(shí)別出人體之后，可以根據(jù)步驟s221中識(shí)別出的人體輪廓、人體部位等信息獲取人體的特定點(diǎn)的位置，即該點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。

人體位置信息可以是人體的軀干的質(zhì)心的位置信息。例如，人體的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)。步驟s221中，當(dāng)從輪廓中識(shí)別出軀干、頭部、右壁、左臂、右腿和左腿之后，可以確定身體每個(gè)區(qū)域的質(zhì)心。其中，區(qū)域的質(zhì)心指該區(qū)域的代表深度或位置。為此，例如，可以生成區(qū)域內(nèi)深度值的直方圖，并將具有最高頻率的深度值(或具有最高頻率的兩個(gè)或多個(gè)深度值的平均值)設(shè)為該區(qū)域的質(zhì)心。確定了軀干的質(zhì)心之后，即可確定人體的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)。

值得一提的是，本發(fā)明中的質(zhì)心是指通過(guò)深度圖像處理所獲取的質(zhì)心，而并非物理質(zhì)心。本發(fā)明的質(zhì)心可以通過(guò)質(zhì)心法獲取，也可以通過(guò)其它方法獲取，本發(fā)明不做限定。

如圖4所示，圖4是本發(fā)明實(shí)施例的一個(gè)場(chǎng)景的俯視圖。深度相機(jī)10所拍攝的場(chǎng)景內(nèi)有人體a、人體b和人體c，根據(jù)深度相機(jī)10拍攝的深度圖像可以確定人體a的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x1,y1,z1)，人體a的軀干的質(zhì)心在世界坐標(biāo)系中的坐標(biāo)為(x1’,y1’,z1’)，人體b的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x2,y2,z2)，人體b的軀干的質(zhì)心在世界坐標(biāo)系中的坐標(biāo)為(x2’,y2’,z2’)，人體c的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x3,y3,z3)，人體c的軀干的質(zhì)心在世界坐標(biāo)系中的坐標(biāo)為(x3’,y3’,z3’)。

當(dāng)然，在其它一些實(shí)施例中，人體位置信息還可以是人體輪廓上特定點(diǎn)的位置信息，可以通過(guò)步驟s221識(shí)別的人體的輪廓來(lái)確定人體的輪廓上特定點(diǎn)，從而確定其在相機(jī)坐標(biāo)系上的坐標(biāo)。在另一些實(shí)施例中，人體位置信息還可以是人體的部位或者該部位的質(zhì)心(或中心)的位置信息，可以通過(guò)驟s221識(shí)別的人體頭部、肩膀、四肢等部位，從而確定該人體部位在相機(jī)坐標(biāo)系上的坐標(biāo)，或者通過(guò)上述方法確定該人體部位的質(zhì)心，從而確定該人體部位的質(zhì)心在相機(jī)坐標(biāo)系上的坐標(biāo)。

s223、根據(jù)多個(gè)人體的空間位置信息及多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

具體而言，根據(jù)多個(gè)人體的空間位置信息可以獲取多個(gè)人體之間的位置關(guān)系，從而可以根據(jù)該位置關(guān)系以及持續(xù)的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

請(qǐng)參閱圖5，圖5是圖3中步驟s223實(shí)施例的流程示意圖。本實(shí)施例的步驟s223包括：

s2231、根據(jù)人體位置信息計(jì)算多個(gè)人體之間的人體距離信息。

具體地，可以通過(guò)各人體在相機(jī)坐標(biāo)系中的坐標(biāo)值來(lái)計(jì)算多個(gè)人體之間的人體距離信息。其中，人體距離信息可以是多個(gè)人體的輪廓邊緣之間的距離，人體距離信息還可以是多個(gè)人體的人體質(zhì)心或者人體中心之間的距離，此外，人體距離信息還可以是多個(gè)人體的某個(gè)人體部位，例如，人體的頭部、肩膀等或者該部位的質(zhì)心或中心的距離。

舉例而言，圖4中的人體a和人體b之間的距離信息s1是人體a的質(zhì)心和人b的質(zhì)心之間的距離，其計(jì)算方法為：

同理，人體a的軀干的質(zhì)心和人體c的軀干的質(zhì)心之間的距離信息s2的計(jì)算方法為：

人體b的軀干的質(zhì)心和人體的軀干的質(zhì)心c之間的距離信息s3的計(jì)算方法為：

值得一提的是，當(dāng)識(shí)別出多個(gè)人體的時(shí)候，人體距離信息包括多個(gè)人體中兩兩人體之間的距離信息。

當(dāng)然，在其它一些實(shí)施例中，也可以通過(guò)世界坐標(biāo)系中的坐標(biāo)來(lái)計(jì)算人體之間的距離。

s2232、將人體距離信息與預(yù)設(shè)的人體距離閾值比較。

具體地，步驟s2232之前，可以預(yù)設(shè)一人體距離閾值以使實(shí)際人體距離信息與該人體距離閾值比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的一個(gè)標(biāo)準(zhǔn)。

人體距離閾值s0可以是0-1m，例如，0-0.6m，具體可以是0.2m，0.3m，0.4m或者0.5m，可以理解地，在其它一些實(shí)施例中，人體距離閾值還可以是其它值，可以根據(jù)實(shí)際需求設(shè)定，本發(fā)明不做限定。

例如，本實(shí)施例中，s0＝0.5m，s1＝0.2m，s2＝1.5m，s3＝1.2m，可以得出比較結(jié)果：s1＜s0，s2＞s0，s3＞s0，即，人體a和人體b之間的距離信息小于人體距離閾值，表示人體a和人體b的距離較近，并且可能是跟隨關(guān)系，但人體a和人體b的近距離關(guān)系有可能為偶然發(fā)生的，因而需要進(jìn)入步驟s2233-s2234排除此種偶然發(fā)生的近距離關(guān)系。而人體b和人體c之間的距離較遠(yuǎn)，人體a和人體c之間的距離也較遠(yuǎn)，因而認(rèn)為人體b和人體c之間、人體a和人體c之間均不是跟隨關(guān)系。

s2233、若人體距離信息小于或等于人體距離閾值，則檢測(cè)人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)。

檢測(cè)第一持續(xù)時(shí)長(zhǎng)可以從檢測(cè)到人體距離信息小于或等于人體距離閾值時(shí)開始進(jìn)行計(jì)時(shí)。

s2234、當(dāng)?shù)谝怀掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s2234即從開始計(jì)時(shí)到所計(jì)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)即做出判斷。

其中，第一時(shí)間閾值可以在步驟s2234前預(yù)先設(shè)定，以將人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)與預(yù)設(shè)的第一時(shí)間閾值進(jìn)行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個(gè)標(biāo)準(zhǔn)。

具體地，該第一時(shí)間閾值t0可以是30-90s，例如，30-70s，具體可以是45s，50s或者60s等。當(dāng)然，在其它一些實(shí)施例中，第一時(shí)間閾值還可以是其它數(shù)值，具體根據(jù)實(shí)際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第一持續(xù)時(shí)長(zhǎng)達(dá)到第一時(shí)間閾值時(shí)，表示人體之間在較長(zhǎng)的時(shí)間段內(nèi)維持了較近距離的位置關(guān)系，因而可以判斷該人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實(shí)施例中，t0＝60s，當(dāng)檢測(cè)到人體a和人體b的距離信息小于人體距離閾值的狀態(tài)所維持的第一持續(xù)時(shí)長(zhǎng)達(dá)到60s時(shí)，表示人體a和人體b在較長(zhǎng)的時(shí)間內(nèi)保持較近的距離，則判斷人體a和人體b之間的關(guān)聯(lián)關(guān)系為跟隨。從而進(jìn)入步驟s23。

可以理解地，若第一持續(xù)時(shí)長(zhǎng)未達(dá)到第一時(shí)間閾值，表示人體a和人體b之間近距離狀態(tài)持續(xù)的時(shí)間并不長(zhǎng)，表示人體a和人體b之間僅是偶然地發(fā)生近距離狀態(tài)，因而可以認(rèn)為人體a和人體b之間并不是跟隨關(guān)系，因而不會(huì)進(jìn)入步驟s23。

s23、若是，則對(duì)關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存。

例如，本實(shí)施例在判斷人體a和人體b之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，同時(shí)對(duì)該人體a和人體b分別進(jìn)行標(biāo)記，并保存，以便于后期對(duì)該關(guān)聯(lián)關(guān)系及相關(guān)的人體進(jìn)行跟蹤監(jiān)控。

s24、監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

本實(shí)施例中，通過(guò)在公共場(chǎng)所的不同位置設(shè)置多個(gè)深度相機(jī)，從而能監(jiān)控已標(biāo)記的跟隨的關(guān)聯(lián)關(guān)系，同時(shí)監(jiān)控已標(biāo)記的人體a和人體b。

監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系可以是監(jiān)控關(guān)聯(lián)關(guān)系是否發(fā)生變化，例如是否發(fā)生解除。

值得一提的是，由于在步驟s222中同時(shí)獲取了人體的第二坐標(biāo)，因此，在步驟s24中，可以通過(guò)多個(gè)相機(jī)所拍攝的深度圖像中的場(chǎng)景內(nèi)的特定的點(diǎn)作為標(biāo)記，將多個(gè)深度相機(jī)所拍攝的場(chǎng)景歸一化為一個(gè)世界坐標(biāo)系，從而得出人體a和人體b在各個(gè)深度相機(jī)所拍攝的深度圖像中的第二坐標(biāo)。

s25、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

舉例而言，人體a和人體b之間的跟隨關(guān)系是否發(fā)生解除，可以根據(jù)人體a和人體b之間的距離信息來(lái)判斷，例如，如果人體a和人體b之間的距離信息s1大于人體距離閾值s0，則判斷，人體a和人體b之間的跟隨關(guān)系發(fā)生解除。

當(dāng)該關(guān)聯(lián)關(guān)系發(fā)生解除時(shí)，即發(fā)出預(yù)警，以提示人們注意看管好跟隨關(guān)系的人，或者注意保持跟隨關(guān)系。例如，人體a為家長(zhǎng)，人體b為該家長(zhǎng)的小孩，當(dāng)家長(zhǎng)接收到預(yù)警信息之后，會(huì)即刻注意看管好小孩，保持小孩與其的跟隨關(guān)系。

若預(yù)警均未引起人體a和人體b的注意，各深度相機(jī)還會(huì)繼續(xù)監(jiān)控人體a和人體b，并從深度圖像序列中獲取人體a和人體b在世界坐標(biāo)中的位置，例如，(x1’,y1’,z1’)和(x2’,y2’,z2’)，從而便于尋找到人體a和人體b，防止走失。

請(qǐng)參閱圖6，圖6是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控方法又一實(shí)施例的流程示意圖。

s31、獲取多人場(chǎng)景的深度圖像序列。

s32、通過(guò)深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為跟隨。

具體而言，如圖7所示，圖7是圖6中步驟s32實(shí)施例的流程示意圖。步驟s32進(jìn)一步包括：

s321、從深度圖像序列中識(shí)別多個(gè)人體，并根據(jù)識(shí)別出的多個(gè)人體進(jìn)一步識(shí)別人體部位。

步驟s321中，可以基于深度圖像來(lái)獲取該深度圖像中出現(xiàn)的人體的深度圖輪廓，從而識(shí)別出人體。

具體地，人體部位可以是人體的軀干或者四肢等部位，其中，人體部位可以通過(guò)上一實(shí)施例中的方法來(lái)識(shí)別，在此不再贅述。例如，本實(shí)施例中的人體部位為手部，手部可以在識(shí)別出左、右臂之后，識(shí)別左、右臂的外端部為手部。在深度圖像序列中通過(guò)人體的輪廓識(shí)別出人體之后，可以進(jìn)一步通過(guò)該人體的部位的輪廓來(lái)識(shí)別出人體的部位。例如，通過(guò)手部的輪廓信息來(lái)識(shí)別人體的手部。

s322、獲取多個(gè)人體部位在深度圖像序列中的部位位置信息。

具體而言，部位位置信息包括人體部位在深度相機(jī)的相機(jī)坐標(biāo)系中的第一坐標(biāo)，以及在場(chǎng)景所在的世界坐標(biāo)系中的第二坐標(biāo)。例如，人體部位在以深度相機(jī)所在位置為原點(diǎn)的相機(jī)坐標(biāo)系中的位置為第一坐標(biāo)，人體部位在以場(chǎng)景空間中某個(gè)特定點(diǎn)為原點(diǎn)的世界坐標(biāo)系中的位置為第二坐標(biāo)。

其中，部位位置信息可以是人體部位的輪廓上特定點(diǎn)在在相機(jī)坐標(biāo)系中的坐標(biāo)，還可以是人體部位的質(zhì)心或中心在相機(jī)坐標(biāo)系中的坐標(biāo)。人體部位的輪廓以及人體部位的質(zhì)心的獲取可以通過(guò)上一實(shí)施例中所述的方法，在此不再贅述。

例如，如圖8所示，圖8是本發(fā)明另一實(shí)施例的一個(gè)場(chǎng)景的俯視圖。圖5中深度相機(jī)10所拍攝的場(chǎng)景內(nèi)有人體d和人體e，通過(guò)深度相機(jī)10拍攝的深度圖像可以確定，人體d的手的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x4,y4,z4)，人體d的手的質(zhì)心在世界坐標(biāo)系中的坐標(biāo)為(x4’,y4’,z4’)。人體e的手的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x5,y5,z5)，人體e的手的質(zhì)心在世界坐標(biāo)系中的坐標(biāo)為(x5’,y5’,z5’)。

s323、根據(jù)多個(gè)人體的部位位置信息及多個(gè)人體的部位位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

請(qǐng)參閱圖9，圖9是圖7中步驟s323實(shí)施例的流程示意圖。具體地，步驟s323包括：

s3231、根據(jù)部位位置信息計(jì)算多個(gè)人體的人體部位之間的部位距離信息。

具體地，可以通過(guò)各人人體部位在相機(jī)坐標(biāo)系中的坐標(biāo)值來(lái)計(jì)算多個(gè)人體部位之間的部位距離信息。部位距離信息可以是人體部位的輪廓的特定點(diǎn)之間的距離，也可以是人體部位的質(zhì)心或者中心之間的距離。

舉例而言，圖8中的人體d的手的質(zhì)心和人體e的手的質(zhì)心之間的距離信息s4的計(jì)算方法為：

當(dāng)然，在其它實(shí)施例中，也可以通過(guò)人體d的手和人體e的手的世界坐標(biāo)來(lái)計(jì)算。

s3232、將部位距離信息與預(yù)設(shè)的部位距離閾值比較。

其中，部位距離閾值可以在步驟s3232之前預(yù)先設(shè)置好，以作為判斷人體關(guān)聯(lián)關(guān)系的一個(gè)標(biāo)準(zhǔn)。

部位距離閾值s0’可以是0-0.03m，例如，0.01m，0.02m，或者0.03m，可以理解地，在其它一些實(shí)施例中，部位距離閾值還可以是其它值，可以根據(jù)實(shí)際需求設(shè)定，本發(fā)明不做限定。

本實(shí)施例中，s0’＝0.02m，s4＝0m，即人體d的手部和人體e的手部之間的距離信息小于部位距離閾值，s4＜s0’，表示人體d的手部和人體e的手部距離較近，本實(shí)施例中，s4＝0m，可表示人體d的手部和人體e的手部接觸，但是人體d的手部和人體e的手部的近距離的關(guān)系有可能為偶然發(fā)生的狀態(tài)，因而需要進(jìn)入步驟s3233-s3234排除此種偶然發(fā)生的近距離關(guān)系。

s3233、若部位距離信息小于或等于部位距離閾值，則檢測(cè)部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)。

步驟s3233中，在檢測(cè)到部位距離信息小于或等于部位距離閾值時(shí)即開始計(jì)時(shí)，以檢測(cè)第二持續(xù)時(shí)長(zhǎng)。

s3234、當(dāng)?shù)诙掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s3234即從開始計(jì)時(shí)到所計(jì)時(shí)長(zhǎng)達(dá)到第二時(shí)間閾值時(shí)即做出判斷。

其中，第二時(shí)間閾值可以在步驟s3233前預(yù)先設(shè)定，以將部位距離信息小于或等于部位距離閾值的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)與預(yù)設(shè)的第二時(shí)間閾值進(jìn)行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個(gè)標(biāo)準(zhǔn)。

具體地，該第二時(shí)間閾值t0’可以是1-10s，例如，1-4s，或者5s-9s，具體可以是2s，3s，4s，6s或者8s等?？梢岳斫獾?，在其它一些實(shí)施例中，第二時(shí)間閾值還可以是其它數(shù)值，具體根據(jù)實(shí)際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第二持續(xù)時(shí)長(zhǎng)達(dá)到第二時(shí)間閾值時(shí)，表示人體部位之間在較長(zhǎng)的時(shí)間段內(nèi)維持了相互接觸的關(guān)系，因而可以判斷該兩個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實(shí)施例中，t0’＝2s，人體d的手部和人體e的手部的距離信息小于部位距離閾值的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)達(dá)到2s時(shí)，表示人體d的手部和人體e的手部在較長(zhǎng)的時(shí)間內(nèi)保持接觸的關(guān)系，表示人體d和人體e之間的關(guān)聯(lián)關(guān)系為牽手，本實(shí)施例將牽手作為跟隨關(guān)系的一種情況，因此，判斷人體d和人體e之間的關(guān)聯(lián)關(guān)系為跟隨，然后進(jìn)入步驟s33。

可以理解地，若第二持續(xù)時(shí)長(zhǎng)未達(dá)到第二時(shí)間閾值，則表示人體d的手部和人體e的手部之間僅是偶然地發(fā)生接觸，該接觸狀態(tài)持續(xù)的時(shí)間并不長(zhǎng)，因而可以認(rèn)為人體d和人體e之間并不是跟隨關(guān)系，因而不會(huì)進(jìn)入步驟s33。

s33、若是，則對(duì)關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存。

判斷人體d和人體e之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，同時(shí)對(duì)該人體d和人體e分別進(jìn)行標(biāo)記并保存，以便于后期對(duì)該關(guān)聯(lián)關(guān)系及相關(guān)的人體進(jìn)行跟蹤監(jiān)控。

可以理解地，在其它一些實(shí)施例中，人體d和人體e之間還可能是其它狀態(tài)，例如抱嬰狀態(tài)。此時(shí)，人體d和人體e之間，不管是人體之間的人體距離信息還是人體部位之間的部位距離信息均為0，再結(jié)合持續(xù)時(shí)長(zhǎng)，則可以通過(guò)深度圖像序列準(zhǔn)確地進(jìn)行判斷。

在本發(fā)明的一些實(shí)施例中，可以直接通過(guò)人體之間的距離及該距離維持的時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。在另一些實(shí)施例中，也可以至二級(jí)通過(guò)人體部位之間的距離及該距離維持的時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。在又一些實(shí)施例中，還可以是結(jié)合人體之間的距離及其持續(xù)時(shí)間以及通過(guò)人體部位之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，例如，先通過(guò)人體之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，若判斷為非跟隨關(guān)系，則再通過(guò)人體部位之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，以使判斷結(jié)果更加準(zhǔn)確。

s34、監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體。

步驟s33已對(duì)人體d和人體e進(jìn)行標(biāo)記，并標(biāo)記了人體d和人體e之間的關(guān)聯(lián)關(guān)系為跟隨，則對(duì)人體d和人體e進(jìn)行監(jiān)控，同時(shí)監(jiān)控人體d和人體e之間的跟隨關(guān)系。

具體地，如圖10所示，圖10是圖6中步驟s34實(shí)施例的流程示意圖。本實(shí)施例的步驟s34還包括以下步驟：

s341、持續(xù)獲取不同場(chǎng)景的深度圖像序列。

例如，通過(guò)單個(gè)深度相機(jī)對(duì)人體進(jìn)行追蹤拍攝，或者，也可以通過(guò)將多個(gè)深度相機(jī)設(shè)置在場(chǎng)所的不同位置，以持續(xù)跟蹤拍攝已標(biāo)記人體及關(guān)聯(lián)關(guān)系，從而進(jìn)行監(jiān)控。

舉例而言，在車站中，不同的位置設(shè)置有多個(gè)深度相機(jī)，以形成連續(xù)的監(jiān)控區(qū)，因而，人體d和人體e無(wú)論走到監(jiān)控區(qū)內(nèi)的任何位置，均會(huì)出現(xiàn)在深度圖像序列中。

s342、檢測(cè)深度圖像序列中是否包含已標(biāo)記的人體。

檢測(cè)不同場(chǎng)景獲取的深度圖像序列，以確定該深度圖像序列中是否包括已標(biāo)記的人體。

例如，在某一場(chǎng)景中檢測(cè)該場(chǎng)景的深度圖像序列內(nèi)是否包含人體d和人體e。

s343、若包含所述已標(biāo)記的人體，則檢測(cè)深度圖像序列中是否包含該已標(biāo)記的人體的關(guān)聯(lián)關(guān)系。

如果在步驟s342中檢測(cè)到人體d和人體e，則進(jìn)一步檢測(cè)人體d和人體e之間的關(guān)聯(lián)關(guān)系是否包含已標(biāo)記的跟隨的關(guān)聯(lián)關(guān)系。

s344、若不包含所述關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除。

如果步驟s343中檢測(cè)到人體d和人體e之間沒(méi)有跟隨的關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除，從而進(jìn)入步驟s35。

s35、若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

當(dāng)步驟s344判斷出關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，以提示人們注意看管好跟隨關(guān)系的人，或者注意保持跟隨關(guān)系。例如，人體d為家長(zhǎng)，人體e為該家長(zhǎng)的小孩，當(dāng)家長(zhǎng)接收到預(yù)警信息之后，會(huì)即刻注意看管好小孩，保持小孩與其的跟隨關(guān)系。

如果預(yù)警并未引起人體d和人體e的注意，各個(gè)位置處的深度相機(jī)還會(huì)繼續(xù)監(jiān)控人體d和人體e，并通過(guò)歸一化后的世界坐標(biāo)獲取人體d和人體e在該世界坐標(biāo)中的位置，以便于快速尋找到人體d或人體e，防止走失。

請(qǐng)參閱圖11和圖12，圖11是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖，圖12是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)另一實(shí)施例的結(jié)構(gòu)示意圖。其中，人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括至少一個(gè)深度相機(jī)10、處理器11和存儲(chǔ)器12，深度相機(jī)10和存儲(chǔ)器12均與處理器11連接。圖11所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括一個(gè)深度相機(jī)10，圖12所示的人體關(guān)聯(lián)關(guān)系的監(jiān)控系統(tǒng)包括多個(gè)深度相機(jī)10。

具體地，深度相機(jī)10用于獲取多人場(chǎng)景的深度圖像序列。其中，深度圖像序列可以通過(guò)深度相機(jī)來(lái)獲取，其中，多人場(chǎng)景可以是例如車站、游樂(lè)場(chǎng)等公共場(chǎng)合。深度圖像則不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機(jī)之間的距離信息。深度圖像序列則是指在一個(gè)時(shí)間段內(nèi)的連續(xù)的深度圖像。

處理器11用于通過(guò)深度圖像序列判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系是否為預(yù)設(shè)的關(guān)聯(lián)關(guān)系；若是，則對(duì)關(guān)聯(lián)關(guān)系及關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記；監(jiān)控已標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體；若關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，并繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體。

存儲(chǔ)器用于對(duì)處理器所做的標(biāo)記進(jìn)行保存。

舉例而言，預(yù)設(shè)的關(guān)聯(lián)關(guān)系可以是跟隨，其中，跟隨可以是近距離但沒(méi)有接觸的跟隨，當(dāng)然，在一些實(shí)施例中，跟隨也可以包括牽手和抱嬰等。在判斷人體之間的關(guān)聯(lián)關(guān)系為預(yù)設(shè)的關(guān)聯(lián)關(guān)系之后，則對(duì)該關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記并保存，以便于對(duì)該關(guān)聯(lián)關(guān)系進(jìn)行追蹤監(jiān)控，同時(shí)，對(duì)該關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記并保存，以便于對(duì)該人體進(jìn)行追蹤監(jiān)控。監(jiān)控為持續(xù)追蹤該標(biāo)記的關(guān)聯(lián)關(guān)系及相關(guān)的人體，以監(jiān)控該關(guān)聯(lián)關(guān)系是否會(huì)解除或者發(fā)生其它變化，或者該關(guān)聯(lián)關(guān)系相關(guān)的人體的走向等信息。

其中，空間位置信息可以包括在深度相機(jī)的相機(jī)坐標(biāo)系中的第一坐標(biāo)，以及在場(chǎng)景所在的世界坐標(biāo)系中的第二坐標(biāo)。

監(jiān)控的方式有多種，例如，在一些實(shí)施例中，可以通過(guò)一個(gè)深度相機(jī)進(jìn)行移動(dòng)追蹤，該深度相機(jī)可以具有里程記錄功能。當(dāng)然，在另一些實(shí)施例中，可以通過(guò)在不同的位置固定多個(gè)深度相機(jī)，以使多個(gè)深度相機(jī)對(duì)多個(gè)場(chǎng)景進(jìn)行拍攝。并且，可以使多個(gè)深度相機(jī)所拍攝的場(chǎng)景連貫銜接起來(lái)，從而減少或者避免盲區(qū)的出現(xiàn)。

在監(jiān)控的過(guò)程中，若標(biāo)記的關(guān)聯(lián)關(guān)系發(fā)生變化，例如該關(guān)聯(lián)關(guān)系發(fā)生解除，則發(fā)出預(yù)警，例如，如果在游樂(lè)場(chǎng)或者車站等公共場(chǎng)所，若監(jiān)控到家長(zhǎng)和小孩之間的關(guān)聯(lián)關(guān)系解除，則可以通過(guò)廣播提示家長(zhǎng)要注意看管好小孩，也可以在監(jiān)控畫面中發(fā)出預(yù)警，以引起公共場(chǎng)所的監(jiān)控工作人員的注意，從而可以通過(guò)工作人員進(jìn)行提示。從而能夠預(yù)防發(fā)生走散、走失的情況。

在關(guān)聯(lián)關(guān)系解除之后，仍繼續(xù)監(jiān)控該關(guān)聯(lián)關(guān)系相關(guān)的人體，從而使得預(yù)警發(fā)出之后，即使相關(guān)的人仍然沒(méi)有意識(shí)到發(fā)生了走失的情況，也能在發(fā)現(xiàn)走失后能快速獲知該標(biāo)記的人體的去向，從而能快速尋找到走失的人。

在一實(shí)施例中，深度相機(jī)10還用于持續(xù)獲取不同場(chǎng)景的深度圖像序列。處理器11還用于檢測(cè)深度圖像序列中是否包含已標(biāo)記的人體；若包含所述已標(biāo)記的人體，則檢測(cè)深度圖像序列中是否包含該已標(biāo)記的人體的關(guān)聯(lián)關(guān)系；若不包含所述關(guān)聯(lián)關(guān)系，則表示關(guān)聯(lián)關(guān)系發(fā)生解除。

在另一實(shí)施例中，處理器11還用于從深度圖像序列中識(shí)別多個(gè)人體；獲取多個(gè)人體在深度圖像序列中的空間位置信息；根據(jù)多個(gè)人體的空間位置信息及多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

在又一實(shí)施例中，預(yù)設(shè)的關(guān)聯(lián)關(guān)系為跟隨，空間位置信息為人體位置信息。處理器11還用于根據(jù)人體位置信息計(jì)算多個(gè)人體之間的人體距離信息；將人體距離信息與預(yù)設(shè)的人體距離閾值比較；若人體距離信息小于或等于人體距離閾值，則檢測(cè)人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)；當(dāng)?shù)谝怀掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

在另一實(shí)施例中，述預(yù)設(shè)的關(guān)聯(lián)關(guān)系為跟隨，空間位置信息為人體部位位置信息。

處理器11還用于根據(jù)識(shí)別出的多個(gè)人體進(jìn)一步識(shí)別人體部位；獲取多個(gè)人體部位在深度圖像序列中的部位位置信息；根據(jù)部位位置信息計(jì)算多個(gè)人體的人體部位之間的部位距離信息；將部位距離信息與預(yù)設(shè)的部位距離閾值比較；若部位距離信息小于或等于部位距離閾值，則檢測(cè)部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)；當(dāng)?shù)诙掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

本發(fā)明還提供了一種存儲(chǔ)裝置，該存儲(chǔ)裝置存儲(chǔ)有程序數(shù)據(jù)，該程序數(shù)據(jù)能夠被執(zhí)行以實(shí)現(xiàn)上述任一實(shí)施例的人體關(guān)聯(lián)關(guān)系的監(jiān)控方法。

舉例而言，該存儲(chǔ)裝置可以是便攜式存儲(chǔ)介質(zhì)，例如u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁碟或者光盤等?？梢岳斫獾兀鎯?chǔ)裝置還可以是服務(wù)器等各種可以存儲(chǔ)程序代碼的介質(zhì)。

綜上所述，本發(fā)明能有效防止走失、走散的情況發(fā)生，還能夠在發(fā)生走失、走散之后，快速地尋找到走失的人，因而本發(fā)明能提高、改善監(jiān)控效果。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。