專利名稱：人的檢測(cè)和跟蹤方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及ー種人的檢測(cè)和跟蹤方法與系統(tǒng)。
背景技術(shù)：
人的檢測(cè)和跟蹤技術(shù)是視頻監(jiān)控、人機(jī)接ロ、數(shù)碼相機(jī)、計(jì)算機(jī)游戲和智能視頻會(huì)議系統(tǒng)的基礎(chǔ)和核心技術(shù)之一，已經(jīng)被研究和實(shí)踐多年。然而，如何在有限的計(jì)算資源條件下實(shí)現(xiàn)復(fù)雜環(huán)境中的高檢測(cè)率、低誤檢率的人檢測(cè)和跟蹤依然是學(xué)術(shù)界和エ業(yè)界所面臨的
ー個(gè)難題。人的檢測(cè)和跟蹤技術(shù)大體上屬于圖像和視頻處理領(lǐng)域，其通常利用深度圖像，在 深度圖像中，各個(gè)像素點(diǎn)的像素值體現(xiàn)當(dāng)該深度圖像拍攝時(shí)該像素點(diǎn)所對(duì)應(yīng)的真實(shí)物體與照相機(jī)或攝像機(jī)的距離。專利文件US 20090183125 Al提出了ー種三維用戶交互界面。其定義了ー個(gè)交互平面，該交互平面是空間中定義的ー塊交互區(qū)域。在該交互區(qū)域中捕獲時(shí)間上的深度圖序列，該序列的深度圖中至少要包括人的身體的一部分。處理該深度圖序列以檢測(cè)當(dāng)人的身體的一部分通過(guò)該交互區(qū)域時(shí)的方向和運(yùn)動(dòng)速度。以計(jì)算得到的方向和運(yùn)動(dòng)速度控制計(jì)算機(jī)應(yīng)用程序。在該專利文件中，需要預(yù)先定義ー個(gè)交互區(qū)域，然后基于深度連通域分析來(lái)確定交互區(qū)域中的人的身體的一部分，通過(guò)計(jì)算交互區(qū)域內(nèi)連通域的運(yùn)動(dòng)方向和速度來(lái)估算交互點(diǎn)的方向和速度。該專利申請(qǐng)的目的是檢測(cè)和跟蹤交互區(qū)域內(nèi)的手勢(shì)，不能檢測(cè)和跟蹤區(qū)域外的對(duì)象。專利文件US 20110019920 Al提出了一種檢測(cè)對(duì)象的方法、裝置和程序。根據(jù)該專利文件，首先構(gòu)建ー個(gè)背景模型，計(jì)算當(dāng)前幀圖像與背景的差異，找到差異大的像素，合并這些差異大的像素為對(duì)象。該專利申請(qǐng)基于RGB和灰度圖像來(lái)進(jìn)行處理，檢測(cè)結(jié)果對(duì)于影子、光照狀況和光照變化魯棒性(robust)較差。該專利文件的技術(shù)需要構(gòu)建背景模型，在環(huán)境復(fù)雜或者環(huán)境變化較多的情況下，背景模型難以準(zhǔn)確建立，背景模型的不準(zhǔn)確會(huì)導(dǎo)致后續(xù)檢測(cè)結(jié)果較差。專利文件US 20100215271 Al提出了一種基于形狀上下文(context)內(nèi)部距離的人體特征檢測(cè)和人姿勢(shì)估計(jì)的方法。從深度圖像中分割人的形狀輪廓，從輪廓邊緣線上采樣輪廓點(diǎn)?；谳喞c(diǎn)計(jì)算形狀上下文內(nèi)部距離(IDSC)，根據(jù)IDSC描述子(descriptor)來(lái)檢測(cè)人體特征點(diǎn)。該專利文件的技術(shù)使用了深度圖像和形狀輪廓模板，在人的姿勢(shì)方面魯棒性較差。而且，其使用的IDSC是ー種輪廓點(diǎn)的直方圖，是原始形狀上下文擴(kuò)展，需要采樣輪廓點(diǎn)，而輪廓點(diǎn)通常是不穩(wěn)定的。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的上述缺陷而提出本發(fā)明，本發(fā)明提供ー種人的檢測(cè)和跟蹤方法與人的檢測(cè)和跟蹤系統(tǒng)。根據(jù)本發(fā)明的ー個(gè)方面，提供ー種人的檢測(cè)和跟蹤方法，包括輸入步驟，輸入多幀深度圖像；對(duì)象檢測(cè)步驟，對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域；人檢測(cè)步驟，針對(duì)所述多幀深度圖像中的當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息；人跟蹤步驟，針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤；人校驗(yàn)步驟，基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；以及輸出步驟，輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。根據(jù)本發(fā)明的另ー個(gè)方面，提供ー種人的檢測(cè)和跟蹤系統(tǒng)，包括輸入裝置，用于輸入多幀深度圖像；對(duì)象檢測(cè)裝置，用于對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域；人檢測(cè)裝置，用于針對(duì)所述多幀深度圖像中的當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息；人跟蹤裝置，用于針對(duì)所述 多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤；人校驗(yàn)步驟，基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；以及輸出裝置，用于輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。本發(fā)明所提出的人的檢測(cè)和跟蹤方法和系統(tǒng)利用深度圖像，以連通域和差分為依據(jù)來(lái)檢測(cè)和跟蹤人，對(duì)人的姿勢(shì)、姿勢(shì)變化和運(yùn)動(dòng)快慢均有強(qiáng)魯棒性。


圖I包括圖IA和圖1B，示出根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法及系統(tǒng)所針對(duì)的示意圖像，其中圖IA是原始圖像的示例，圖IB是與圖IA所示原始圖像相對(duì)應(yīng)的深度圖像。圖2示出根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法的總體流程圖。圖3示出根據(jù)本發(fā)明實(shí)施例的人檢測(cè)步驟的流程圖。圖4示出對(duì)深度圖像執(zhí)行根據(jù)本發(fā)明實(shí)施例的差分過(guò)程后的效果圖。圖5示出根據(jù)本發(fā)明實(shí)施例的基于過(guò)濾和像素差分來(lái)檢測(cè)人對(duì)象的過(guò)程流程圖。圖6A示意性地示出執(zhí)行根據(jù)本發(fā)明實(shí)施例的過(guò)濾過(guò)程的效果示例。圖6B示意性地示出在圖6A所示圖像中去除距離變遠(yuǎn)點(diǎn)的效果示例。圖7示出根據(jù)本發(fā)明實(shí)施例的人跟蹤步驟的流程圖。圖8示出根據(jù)本發(fā)明實(shí)施例的判斷連通域是否與人條目匹配的過(guò)程流程圖。圖9示出根據(jù)本發(fā)明實(shí)施例的對(duì)未跟蹤到的人條目進(jìn)行處理的過(guò)程流程圖。圖10示出根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤系統(tǒng)的總體框圖。圖11示出實(shí)施根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法和系統(tǒng)所輸出的結(jié)果示例。
具體實(shí)施方式
為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖通過(guò)具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)ー步詳細(xì)說(shuō)明。圖I包括圖IA和圖1B，示出根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法及系統(tǒng)所針對(duì)的示意圖像，其中圖IA是原始圖像的示例，圖IB是與圖IA所示原始圖像相對(duì)應(yīng)的深度圖像。圖IB示例性地示出了本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法及人的檢測(cè)和跟蹤系統(tǒng)的輸入信息。本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法及人的檢測(cè)和跟蹤系統(tǒng)基于深度圖像的處理來(lái)實(shí)現(xiàn)人的檢測(cè)和跟蹤?？赏ㄟ^(guò)ー個(gè)支持深度圖像輸出的設(shè)備來(lái)獲取深度圖像。該設(shè)備可以基于紅外、激光的方式來(lái)獲取深度圖像，也可以通過(guò)類似于雙目機(jī)制來(lái)獲取深度圖像。本發(fā)明實(shí)施例可以采用既能夠獲取深度圖像同時(shí)又能獲取RGB圖像及灰度圖像的設(shè)備。例如，圖IA示出原始的RGB圖像的示意灰度圖，圖IB示出與之相應(yīng)的深度圖像的示意圖。深度圖像中各個(gè)像素的像素值(灰度值)代表該像素點(diǎn)所對(duì)應(yīng)的實(shí)際拍攝物體到攝像機(jī)中心的距離值，灰度值越大表示距離越遠(yuǎn)，值越小表示越近。考慮到深度圖像設(shè)備的 精度問(wèn)題，對(duì)于無(wú)法檢測(cè)到距離的點(diǎn)或者面，可以用最大距離值表示它們。圖IA所示圖像僅僅作為示例說(shuō)明，而并非實(shí)施本發(fā)明實(shí)施例的實(shí)際需要，本發(fā)明實(shí)施例的方法和系統(tǒng)僅需要如圖IB所示的深度圖像即可進(jìn)行人的檢測(cè)和跟蹤。圖2示出根據(jù)本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法的總體流程圖。如圖2所示，該人的檢測(cè)和跟蹤方法包括輸入步驟S11，可以輸入多幀深度圖像；對(duì)象檢測(cè)步驟S12，可以對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域；人檢測(cè)步驟S13，可以針對(duì)所述多幀深度圖像中的當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息；人跟蹤步驟S14，可以針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤；人校驗(yàn)步驟S15，可以基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；以及輸出步驟S16，可以輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。在輸入步驟Sll所輸入的深度圖像可以從任何一種能輸出深度圖像的設(shè)備獲取。例如，可以使用TOF(飛行時(shí)間)機(jī)制的攝像機(jī)、或者模式光機(jī)制的攝像機(jī)、或者雙目攝像機(jī)等等。任意ー種上述設(shè)備可以從視頻中獲取多個(gè)幀的深度圖像，并通過(guò)上述輸入步驟Sll來(lái)導(dǎo)入，該多幀深度圖像作為本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法所針對(duì)的處理對(duì)象。在對(duì)象檢測(cè)步驟S12，可以基于深度圖像的連通域分析來(lái)檢測(cè)對(duì)象。連通域分析是ー種成熟的技術(shù)，其通?？梢杂糜诤诎讏D像、灰度圖像或者RGB圖像。基于深度圖像的連通域分析實(shí)際上是將連通域分析應(yīng)用于深度圖像，其實(shí)現(xiàn)同將連通域分析用于灰度圖像類似。對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析，可以關(guān)于各個(gè)幀分別獲得其各自的連通域，對(duì)于每個(gè)幀的深度圖像，其可能包含ー個(gè)、多個(gè)、或不包含(O個(gè))連通域。為了進(jìn)行此后的說(shuō)明，在此可以首先定義，在所述多幀深度圖像中，所述人檢測(cè)步驟S13當(dāng)前所處理的幀為當(dāng)前檢測(cè)對(duì)象幀，所述人跟蹤步驟S14當(dāng)前所處理的幀為當(dāng)前對(duì)象幀。本領(lǐng)域技術(shù)人員可以理解，無(wú)論是當(dāng)前檢測(cè)對(duì)象幀，還是當(dāng)前對(duì)象幀，其中的“當(dāng)前”表明其為動(dòng)態(tài)的概念，在依次對(duì)多幀深度圖像的各幀進(jìn)行處理的過(guò)程中，當(dāng)前幀是在不斷變化的；然而，人檢測(cè)步驟S13及人跟蹤步驟S14可以相互獨(dú)立、或者說(shuō)無(wú)關(guān)地針對(duì)多幀深度圖像中的不同幀進(jìn)行處理，既可以逐個(gè)幀的深度圖像進(jìn)行處理，也可以每隔若干數(shù)目的幀進(jìn)行處理，而且人檢測(cè)步驟S13及人跟蹤步驟S14所處理幀的間隔數(shù)目也是彼此無(wú)關(guān)的。也就是，人檢測(cè)步驟S13所處理的幀與人跟蹤步驟S14所處理的幀可以相同也可以不同，在本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法的一次實(shí)施過(guò)程中，所述當(dāng)前檢測(cè)對(duì)象幀及所述當(dāng)前對(duì)象幀可以為同一幀，也可以是不同幀。本領(lǐng)域技術(shù)人員也可以理解，由于人跟蹤步驟S14在人檢測(cè)步驟S13之后，因此在本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤方法的一次實(shí)施過(guò)程中，所述當(dāng)前對(duì)象幀至少不早于當(dāng)前檢測(cè)對(duì)象幀。下面詳細(xì)描述人檢測(cè)步驟S13。圖3示出根據(jù)本發(fā)明實(shí)施例的人檢測(cè)步驟S13的流程圖。如圖3所示，在人檢測(cè)步驟S13中，首先，在步驟S131，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，該步驟S131可以包括可以通過(guò)用當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素的深度值減去當(dāng)前檢測(cè)對(duì)象幀之前相隔預(yù)定幀數(shù)目的先前檢測(cè)對(duì)象幀深度圖像的相應(yīng)像素的深度值，來(lái)計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分。
計(jì)算差分時(shí)需要確定當(dāng)前檢測(cè)對(duì)象幀深度圖像與先前檢測(cè)對(duì)象幀深度圖像之間相隔的幀數(shù)目，即檢測(cè)過(guò)程中跳過(guò)的圖像幀數(shù)。不同的跳過(guò)幀數(shù)目意味著對(duì)于當(dāng)前幀累積的差分的不同。例如，對(duì)于向著某個(gè)指定單方向運(yùn)動(dòng)的物體而言，跳過(guò)的幀數(shù)多，累加的差分就大。對(duì)于搖擺運(yùn)動(dòng)的物體，跳過(guò)的幀數(shù)多，累加的差分未必就大。通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)，可以根據(jù)要檢測(cè)的對(duì)象的尺寸來(lái)確定跳過(guò)的幀數(shù)。例如，對(duì)于像人這樣的大的運(yùn)動(dòng)對(duì)象，跳過(guò)的幀數(shù)例如可設(shè)為3 ;對(duì)于像手這樣的小的運(yùn)動(dòng)對(duì)象，跳過(guò)的幀數(shù)例如可設(shè)為O。在此，人檢測(cè)步驟所針對(duì)的檢測(cè)對(duì)象是人，因此可以考慮跳過(guò)的圖像幀數(shù)例如可以為3。顯然，當(dāng)前檢測(cè)對(duì)象幀與先前檢測(cè)對(duì)象幀之間相隔的幀數(shù)目不限于3，諸如2或5等等的其它數(shù)目也可以，或者選擇O即不跳過(guò)任何ー幀而逐幀進(jìn)行檢測(cè)處理也可以。隨后，在步驟S132，可以根據(jù)差分的正負(fù)，將當(dāng)前檢測(cè)對(duì)象幀的深度圖像中的像素分為三類距離不變的像素、距離變近的像素、和距離變遠(yuǎn)的像素?；诙鄮疃葓D像計(jì)算得到的當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，其可能為負(fù)(小于O)、正(大于O)、或者等于O。差分為負(fù)的像素，即當(dāng)前檢測(cè)對(duì)象幀的該像素相對(duì)于先前檢測(cè)過(guò)的檢測(cè)對(duì)象幀的位于圖像中同一位置的該像素距離變近，該像素即為距離變近的像素。差分為正的像素，即當(dāng)前檢測(cè)對(duì)象幀的該像素相對(duì)于先前檢測(cè)過(guò)的檢測(cè)對(duì)象幀的相同位置的像素距離變遠(yuǎn)，該像素即為距離變遠(yuǎn)的像素。差分為O的像素即為在該兩檢測(cè)對(duì)象幀之間距離不變的像素。圖4示出對(duì)深度圖像執(zhí)行根據(jù)本發(fā)明實(shí)施例的差分過(guò)程后的效果圖。其中，三種不同色彩表明當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素根據(jù)差分被分成了三類表示為黑色的部分為距離變近的像素，表示為灰色的部分為距離變遠(yuǎn)的像素，其余白色部分為其它距離不變的像素。在步驟S133，基于過(guò)濾和像素差分來(lái)檢測(cè)人對(duì)象，具體地，可以基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表134中的人條目的信息。人列表134可以是例如人條目信息的數(shù)據(jù)庫(kù)，用于存儲(chǔ)在本發(fā)明實(shí)施例的人的檢測(cè)和跟蹤處理中所涉及的人的信知、O
圖5示 出根據(jù)本發(fā)明實(shí)施例的基于過(guò)濾和像素差分來(lái)檢測(cè)人對(duì)象的步驟S133的過(guò)程流程圖。首先，在步驟S1331，提取當(dāng)前檢測(cè)對(duì)象幀深度圖像各個(gè)像素的差分。該圖像中各個(gè)像素的差分值已經(jīng)在之前的步驟S131中計(jì)算出，因此在步驟S1331中，將各個(gè)像素的差分?jǐn)?shù)據(jù)調(diào)出即可。在步驟S1332，依次枚舉當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域。由于多幀深度圖像的每個(gè)幀的深度圖像中的連通域已經(jīng)在之前的步驟S12檢測(cè)出，因此在此將當(dāng)前檢測(cè)對(duì)象幀的深度圖像的連通域調(diào)出即可。在步驟S12檢測(cè)出的連通域是檢測(cè)出的對(duì)象，可能是人，也可能是其它類型的對(duì)象。在步驟S1333，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，具體可以包括判斷當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素是否屬于連通域，提取屬于該連通域的像素的差分。也就是，如果像素屬于連通域，則該像素的差分保留；如果像素不屬于連通域，則該像素不進(jìn)入后續(xù)處理。此時(shí)，為了取得更好的技術(shù)效果，可以考慮采用基于閾值過(guò)濾像素的步驟S1334，以去除噪聲。具體地，在步驟S1334，判斷該連通域的像素的差分絕對(duì)值是否小于預(yù)定閾值，如果該連通域的像素的差分絕對(duì)值小于預(yù)定差異閾值，則該像素的差分設(shè)為O。此閾值可以通過(guò)實(shí)驗(yàn)確定，其可以為150mm，本領(lǐng)域技術(shù)人員可以理解，150mm僅僅為示例，此處可以采用的閾值不限于此，其它閾值例如50mm、100mm、120mm、175mm等等也可以用于步驟S1334的處理。圖4所示的深度圖像的差分后效果圖經(jīng)過(guò)上述過(guò)濾過(guò)程之后如圖6A所示。圖6A示意性地示出執(zhí)行根據(jù)本發(fā)明實(shí)施例的過(guò)濾過(guò)程的效果示例。圖4所示的圖像經(jīng)過(guò)步驟S1331、S1332、S1333和S1334處理，也就在基于連通域過(guò)濾和基于預(yù)定閾值對(duì)差分結(jié)果過(guò)
濾后，得到諸如圖6A所示的示意圖。在圖6A中，示出三個(gè)連通域?qū)ο?對(duì)象-I、對(duì)象_2、
對(duì)象_3，大部分的噪聲被去除，只在連通域?qū)ο蟮倪吘壊糠?，存在ー些灰色顯示(距離變遠(yuǎn)的像素)的噪聲點(diǎn)。在接下來(lái)的步驟S1335、S1336和S1337，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，具體可以包括統(tǒng)計(jì)屬于該連通域的像素總個(gè)數(shù)以及屬于該連通域的差分為負(fù)的像素個(gè)數(shù)，計(jì)算該連通域的差分為負(fù)的像素個(gè)數(shù)相對(duì)于像素總個(gè)數(shù)的比率，根據(jù)該比率判斷該連通域是否關(guān)于人對(duì)象。具體地，在步驟S1335，在當(dāng)前檢測(cè)對(duì)象幀深度圖像的當(dāng)前處理的連通域中，保留距離變近的像素，然后統(tǒng)計(jì)距離變近的像素的個(gè)數(shù)。在多數(shù)情況，如前景對(duì)象向左移動(dòng)、向右移動(dòng)、向上移動(dòng)、向下移動(dòng)、向前移動(dòng)、以及它們的組合下(不包括前景對(duì)象在深度方向上向遠(yuǎn)處運(yùn)動(dòng))，前景對(duì)象的移動(dòng)會(huì)導(dǎo)致當(dāng)前檢測(cè)對(duì)象幀的前景對(duì)象中像素的距離值相對(duì)于其歷史值變小，即差分值為負(fù)。圖6B示意性地示出在圖6A所示圖像中去除距離變遠(yuǎn)點(diǎn)的效果示例。從圖中可以看出，仍然示出三個(gè)連通域?qū)ο蟆獙?duì)象-I、對(duì)象_2、對(duì)象-3，經(jīng)過(guò)步驟S1335的處理，所有的灰色部分的像素點(diǎn)被去除。保留的距離變近的像素點(diǎn)能夠提供較高的穩(wěn)定性，能較好地反映對(duì)象的移動(dòng)情況。在步驟S1336，統(tǒng)計(jì)當(dāng)前連通域中經(jīng)過(guò)連通域過(guò)濾后的差分值為負(fù)的像素的個(gè)數(shù)，也就是得到連通域中距離變近的像素個(gè)數(shù)，然后，使用公式(I)來(lái)計(jì)算連通域中距離變近的像素個(gè)數(shù)和該連通域所包含的像素總個(gè)數(shù)的比率
number nearer difference pixelsmove ratio =-=-=-=--/i\
—number CCA _ pixelsいノ其中，number_nearer_idfference_pixels是所涉及的連通域中距離變近的像素個(gè)數(shù)，number_CCA_pixeIs是該連通域所包含的像素總個(gè)數(shù)，move_ration是計(jì)算得到的比率。在步驟S1337，根據(jù)比率的大小判斷判斷連通域是否關(guān)于人對(duì)象。如果該比率大 于某個(gè)預(yù)定閾值，則該連通域?yàn)椹`個(gè)檢測(cè)到的人對(duì)象。此預(yù)定閾值可通過(guò)實(shí)驗(yàn)確定，例如為O. 05，顯然，O. 05僅僅為ー個(gè)示例，本領(lǐng)域技術(shù)人員可以理解，該預(yù)定閾值也可以是諸如0.01,0. I等等的其它值。例如，可以使用公式(2)來(lái)判斷連通域是否關(guān)于人對(duì)象。
f human move ratio > move thresholdCCA _ type = \——( )
—[other _object move _ratio < move _thresholdv ノ其中，CCA_type表示判斷結(jié)果,human表示判斷結(jié)果為人對(duì)象,other_object表示判斷結(jié)果為其它類型的對(duì)象,move_ration是公式(I)計(jì)算得到的比率,move_threshold是用于此處判斷的預(yù)定閾值。如果判斷出某連通域關(guān)于人對(duì)象，則在步驟S1338，添加該連通域的信息(即該人對(duì)象的信息)到人列表134，作為其中的人條目的信息。在此可以考慮直接進(jìn)行添加的方式，盡管這可能會(huì)導(dǎo)致人列表中的冗余。然而，能夠通過(guò)跟蹤階段的丟失機(jī)制有效地去除冗余。在復(fù)雜的環(huán)境或者存在人的各種姿勢(shì)和運(yùn)動(dòng)的情況下，檢測(cè)精確可能降低，跟蹤可能會(huì)有丟失，CCA(連通域分析)可能會(huì)有漏檢，因此可以通過(guò)檢測(cè)的冗余和跟蹤的丟失機(jī)制的平衡，來(lái)保證很好的檢測(cè)和跟蹤效果。在將當(dāng)前檢測(cè)對(duì)象幀深度圖像中的所有連通域均處理完畢后，人檢測(cè)步驟S13的
處理結(jié)束。然后，在步驟S14，基于連通域匹配進(jìn)行人的跟蹤。圖7示出根據(jù)本發(fā)明實(shí)施例的人跟蹤步驟S14的流程圖。首先，在步驟S141提取當(dāng)前對(duì)象幀深度圖像的連通域的列表。由于各個(gè)深度圖像的連通域已經(jīng)在對(duì)象檢測(cè)步驟S12中檢測(cè)出來(lái)，因此在此提取出即可。然后，在步驟S142，從人列表134中提取人條目的列表。其中，人條目的列表至少已經(jīng)經(jīng)過(guò)最后一次人檢測(cè)步驟S13的更新。在步驟S143，通過(guò)計(jì)算連通域與人條目的匹配程度來(lái)查詢匹配的人，并更新匹配的人。具體地，可以針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于ニ維矩形、平均深度和像素個(gè)數(shù)來(lái)計(jì)算當(dāng)前對(duì)象幀中連通域與人列表中人條目的匹配程度，如果該匹配程度滿足預(yù)定標(biāo)準(zhǔn)，則判斷該連通域與該人條目匹配，該人條目被跟蹤到，并依據(jù)該連通域的信息更新人列表中該人條目的信息。圖8示出根據(jù)本發(fā)明實(shí)施例的判斷連通域是否與人條目匹配的過(guò)程流程圖。首先，在步驟S1431，依次枚舉每個(gè)連通域。連通域是檢出的對(duì)象，其可能是人對(duì)象，也可能是其他類型的對(duì)象。
然后，在步驟S1432，從依次枚舉每個(gè)人。 然后，在步驟S1433，基于2D ( ニ維)矩形、平均深度和/或像素個(gè)數(shù)等等來(lái)計(jì)算連通域和人條目的信息的匹配程度，其中2D矩形是連通域的外接矩形，平均深度是該連通域內(nèi)部像素的深度平均值，像素個(gè)數(shù)是該連通域內(nèi)部的像素的個(gè)數(shù)。例如可以是，如果兩者的2D矩形的重疊率、兩者的平均深度的距離和兩者的像素個(gè)數(shù)的變化率均滿足各自的預(yù)定閾值，則該人條目與該連通域匹配?？梢酝ㄟ^(guò)公式(3)計(jì)算連通域和人條目的2D矩形的重疊率
權(quán)利要求
1.一種人的檢測(cè)和跟蹤方法，包括 輸入步驟,輸入多幀深度圖像； 對(duì)象檢測(cè)步驟，對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域； 人檢測(cè)步驟，針對(duì)所述多幀深度圖像中的當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息； 人跟蹤步驟，針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤； 人校驗(yàn)步驟，基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；以及 輸出步驟，輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。
2.根據(jù)權(quán)利要求I所述的人的檢測(cè)和跟蹤方法，其中，在所述人檢測(cè)步驟中，所述基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分包括通過(guò)用當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素的深度值減去當(dāng)前檢測(cè)對(duì)象幀之前相隔預(yù)定幀數(shù)目的先前檢測(cè)對(duì)象幀深度圖像的相應(yīng)像素的深度值，來(lái)計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分。
3.根據(jù)權(quán)利要求I所述的人的檢測(cè)和跟蹤方法，其中，在所述多幀深度圖像中，所述人檢測(cè)步驟當(dāng)前所處理的幀為當(dāng)前檢測(cè)對(duì)象幀，所述人跟蹤步驟當(dāng)前所處理的幀為當(dāng)前對(duì)象幀。
4.根據(jù)權(quán)利要求1-3中任意一個(gè)所述的人的檢測(cè)和跟蹤方法，其中，在所述人檢測(cè)步驟中，所述基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素包括判斷當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素是否屬于連通域，提取屬于該連通域的像素的差分。
5.根據(jù)權(quán)利要求4所述的人的檢測(cè)和跟蹤方法，其中，在所述人檢測(cè)步驟中，所述基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象包括統(tǒng)計(jì)屬于該連通域的像素總個(gè)數(shù)以及屬于該連通域的差分為負(fù)的像素個(gè)數(shù)，計(jì)算該連通域的差分為負(fù)的像素個(gè)數(shù)相對(duì)于像素總個(gè)數(shù)的比率，根據(jù)該比率判斷該連通域是否關(guān)于人對(duì)象。
6.根據(jù)權(quán)利要求5所述的人的檢測(cè)和跟蹤方法，其中，在所述人檢測(cè)步驟中，在所述基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象之前，判斷該連通域的像素的差分絕對(duì)值是否小于預(yù)定閾值，如果該連通域的像素的差分絕對(duì)值小于預(yù)定差異閾值，則該像素的差分設(shè)為O。
7.根據(jù)權(quán)利要求I所述的人的檢測(cè)和跟蹤方法，其中，在所述人跟蹤步驟中，針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于二維矩形、平均深度和像素個(gè)數(shù)來(lái)計(jì)算當(dāng)前對(duì)象幀中連通域與人列表中人條目的匹配程度，如果該匹配程度滿足預(yù)定標(biāo)準(zhǔn)，則判斷該連通域與該人條目匹配，該人條目被跟蹤到，并依據(jù)該連通域的信息更新人列表中該人條目的信息。
8.根據(jù)權(quán)利要求7所述的人的檢測(cè)和跟蹤方法，其中，所述人跟蹤步驟還包括如果所述人列表中人條目未獲得匹配的連續(xù)次數(shù)小于預(yù)定第一閾值，則判斷該人條目處于短時(shí)丟失狀態(tài)；如果所述人列表中人條目未獲得匹配的連續(xù)次數(shù)大于等于預(yù)定第一閾值，則判斷該人條目處于丟失狀態(tài)；如果所述人列表中人條目未獲得匹配的連續(xù)次數(shù)大于預(yù)定第二閾值，則將該人條目從所述人列表移除。
9.根據(jù)權(quán)利要求8所述的人的檢測(cè)和跟蹤方法，其中，所述人跟蹤步驟還包括輸出處于短時(shí)丟失狀態(tài)的人條目的信息。
10.一種人的檢測(cè)和跟蹤系統(tǒng)，包括 輸入裝置，用于輸入多幀深度圖像； 對(duì)象檢測(cè)裝置，用于對(duì)所述多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域； 人檢測(cè)裝置，用于針對(duì)所述多幀深度圖像中的當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于所述多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息； 人跟蹤裝置，用于針對(duì)所述多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤； 人校驗(yàn)裝置，用于基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；以及 輸出裝置，用于輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。
全文摘要
一種人的檢測(cè)和跟蹤方法，包括輸入多幀深度圖像；對(duì)多幀深度圖像的每個(gè)幀的深度圖像進(jìn)行連通域分析以檢測(cè)連通域；針對(duì)當(dāng)前檢測(cè)對(duì)象幀的深度圖像，基于多幀深度圖像計(jì)算當(dāng)前檢測(cè)對(duì)象幀深度圖像的差分，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的連通域過(guò)濾當(dāng)前檢測(cè)對(duì)象幀深度圖像的像素，基于當(dāng)前檢測(cè)對(duì)象幀深度圖像的經(jīng)過(guò)過(guò)濾的連通域內(nèi)的像素的差分來(lái)檢測(cè)該連通域是否關(guān)于人對(duì)象，如果該連通域關(guān)于人對(duì)象，則將該連通域的信息作為人列表中的人條目的信息；針對(duì)多幀深度圖像中的當(dāng)前對(duì)象幀，基于連通域匹配來(lái)對(duì)人列表中的人條目進(jìn)行跟蹤；基于預(yù)定規(guī)則對(duì)跟蹤到的人條目進(jìn)行校驗(yàn)；輸出經(jīng)過(guò)校驗(yàn)的人條目的信息。還相應(yīng)地提供一種人的檢測(cè)和跟蹤系統(tǒng)。
文檔編號(hào)G06K9/00GK102831378SQ20111015951
公開(kāi)日2012年12月19日 申請(qǐng)日期2011年6月14日 優(yōu)先權(quán)日2011年6月14日
發(fā)明者范圣印, 王鑫, 王剛 申請(qǐng)人:株式會(huì)社理光