本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及一種基于三維重建下的姿態(tài)識(shí)別的方法及系統(tǒng)。

背景技術(shù)：

生物特征識(shí)別涉及到相關(guān)信息檢測(cè)手段，其可以利用人體所固有的姿態(tài)進(jìn)行識(shí)別，比如包括步態(tài)識(shí)別過程，步態(tài)識(shí)別過程通常涉及到人體檢測(cè)、步態(tài)特征提取以及身份識(shí)別等等。但復(fù)雜背景下的人體檢測(cè)和輪廓提取，必須涉及到相關(guān)的預(yù)處理過程，在檢測(cè)出人體目標(biāo)后，在進(jìn)行疊加處理，可以獲取步態(tài)特征圖。目標(biāo)跟蹤是計(jì)算機(jī)視覺研究領(lǐng)域中重要的基礎(chǔ)問題之一，在監(jiān)控、運(yùn)動(dòng)估計(jì)、人機(jī)交互等方面具有非常廣泛的應(yīng)用。近年來出現(xiàn)的許多跟蹤算法在一定的場(chǎng)景下能夠較好的跟蹤目標(biāo)物體，如粒子濾波、boosting算法、l1跟蹤算法等。但是，由于視頻是一個(gè)復(fù)雜場(chǎng)景下的時(shí)序圖像序列，復(fù)雜場(chǎng)景包括了光照變化、遮擋、動(dòng)作變形、背景雜亂、目標(biāo)尺度變化等，因此，構(gòu)建一個(gè)自適應(yīng)的目標(biāo)表達(dá)模型以便得到魯棒的跟蹤算法，是目前跟蹤領(lǐng)域的研究熱點(diǎn)，也是難點(diǎn)問題。如何實(shí)現(xiàn)三維模型下的目標(biāo)跟蹤以及步態(tài)識(shí)別提取過程，變得尤為重要，需要針對(duì)這兩個(gè)技術(shù)進(jìn)行改進(jìn)而實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于三維重建下的姿態(tài)識(shí)別的方法及系統(tǒng)，該方法可以有效的實(shí)現(xiàn)視頻幀中的跟蹤，再提取視頻幀中的人體姿態(tài)，實(shí)現(xiàn)步態(tài)識(shí)別過程。

本發(fā)明提供了一種基于三維重建下的姿態(tài)識(shí)別的方法，包括如下步驟：

基于單攝像機(jī)采集人體行走的視頻；

對(duì)人體行走的視頻進(jìn)行步態(tài)運(yùn)動(dòng)分割和預(yù)處理；

使用klt跟蹤器對(duì)視頻中的每一幀圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行跟蹤，設(shè)定視頻中兩幀數(shù)據(jù)之間的時(shí)間間隔是有限的小，特征點(diǎn)僅在位置上發(fā)生變化，亮度保持不變，以及計(jì)算出相鄰幀之間每個(gè)跟蹤特征點(diǎn)的向量方向，并用正弦值表示向量方向；

計(jì)算視頻中的各個(gè)時(shí)刻下人體模型的三維空間；

提取視頻中三維空間中人體的關(guān)節(jié)角度；

采用基于支持向量機(jī)的步態(tài)識(shí)別方法進(jìn)行步態(tài)識(shí)別。

所述使用klt跟蹤器對(duì)視頻中的每一幀圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行跟蹤包括：

選取跟蹤時(shí)間最長所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn)；

計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像，并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像；

建立觀測(cè)矩陣w，并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。

所述建立觀測(cè)矩陣w中的w為2m*2n矩陣，其中矩陣每一列為一個(gè)對(duì)應(yīng)特征點(diǎn)在m幅幀圖像上的對(duì)應(yīng)像素位置，矩陣每兩行為一幅幀圖像上n個(gè)特征點(diǎn)所對(duì)應(yīng)的像素坐標(biāo)。

相應(yīng)的，本發(fā)明還提供了一種一種基于三維重建下的姿態(tài)識(shí)別的系統(tǒng)，包括：

采集模塊，用于基于單攝像機(jī)采集人體行走的視頻；

預(yù)處理模塊，用于對(duì)人體行走的視頻進(jìn)行步態(tài)運(yùn)動(dòng)分割和預(yù)處理；

跟蹤模塊，用于使用klt跟蹤器對(duì)視頻中的每一幀圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行跟蹤，設(shè)定視頻中兩幀數(shù)據(jù)之間的時(shí)間間隔是有限的小，特征點(diǎn)僅在位置上發(fā)生變化，亮度保持不變，以及計(jì)算出相鄰幀之間每個(gè)跟蹤特征點(diǎn)的向量方向，并用正弦值表示向量方向；

計(jì)算模塊，用于計(jì)算視頻中的各個(gè)時(shí)刻下人體模型的三維空間；

提取模塊，用于提取視頻中三維空間中人體的關(guān)節(jié)角度；

識(shí)別模塊，用于采用基于支持向量機(jī)的步態(tài)識(shí)別方法進(jìn)行步態(tài)識(shí)別。

所述跟蹤模塊還用于選取跟蹤時(shí)間最長所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn)；計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像，并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像；建立觀測(cè)矩陣w，并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。

所述建立觀測(cè)矩陣w中的w為2m*2n矩陣，其中矩陣每一列為一個(gè)對(duì)應(yīng)特征點(diǎn)在m幅幀圖像上的對(duì)應(yīng)像素位置，矩陣每兩行為一幅幀圖像上n個(gè)特征點(diǎn)所對(duì)應(yīng)的像素坐標(biāo)。

在本發(fā)明中，單攝像機(jī)實(shí)現(xiàn)對(duì)人體行走視頻幀的采集，然后進(jìn)行預(yù)處理，實(shí)現(xiàn)視頻幀分割處理，再采用klt技術(shù)實(shí)現(xiàn)對(duì)相關(guān)特征點(diǎn)的跟蹤，計(jì)算出人體模型下的三維空間，實(shí)現(xiàn)三維模型空間，以及步態(tài)識(shí)別過程，提高了跟蹤效果精度和優(yōu)化了人體識(shí)別過程。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1是本發(fā)明實(shí)施例中的基于三維重建下的姿態(tài)識(shí)別的方法流程圖；

圖2是本發(fā)明實(shí)施例中的基于三維重建下的姿態(tài)識(shí)別的系統(tǒng)結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

相應(yīng)的，圖1示出了本發(fā)明實(shí)施例中的基于三維重建下的姿態(tài)識(shí)別的方法流程圖，具體包括如下步驟：

s101、基于單攝像機(jī)采集人體行走的視頻；

本發(fā)明實(shí)施例通過對(duì)人體進(jìn)行跟蹤，根據(jù)跟蹤結(jié)果運(yùn)用步態(tài)知識(shí)進(jìn)行三維步態(tài)重建，然后提取出步態(tài)特征進(jìn)行步態(tài)識(shí)別。

s102、對(duì)人體行走的視頻進(jìn)行步態(tài)運(yùn)動(dòng)分割和預(yù)處理；

具體實(shí)施過程中，預(yù)處理中，在跟蹤過程中需要得到前一幀模型的結(jié)果，但是在跟蹤開始時(shí)，前一幀的模型是不存在的，這就需要對(duì)模型進(jìn)行初始化，本發(fā)明利用捕捉區(qū)域的辦法對(duì)模型進(jìn)行初始化，另外捕捉區(qū)域的方法還可以估計(jì)人體的形狀和大小。捕捉區(qū)域的原理是在背景剪切之后，用邊界檢測(cè)算法提取邊緣。

s103、使用klt跟蹤器對(duì)視頻中的每一幀圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行跟蹤；

具體實(shí)施過程中，klt為kanade-lucas-tomasi字頭縮寫，設(shè)定視頻中兩幀數(shù)據(jù)之間的時(shí)間間隔是有限的小，特征點(diǎn)僅在位置上發(fā)生變化，亮度保持不變，以及計(jì)算出相鄰幀之間每個(gè)跟蹤特征點(diǎn)的向量方向，并用正弦值表示向量方向。

進(jìn)一步的，選取跟蹤時(shí)間最長所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn)；計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像，并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像；建立觀測(cè)矩陣w，并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。該建立觀測(cè)矩陣w中的w為2m*2n矩陣，其中矩陣每一列為一個(gè)對(duì)應(yīng)特征點(diǎn)在m幅幀圖像上的對(duì)應(yīng)像素位置，矩陣每兩行為一幅幀圖像上n個(gè)特征點(diǎn)所對(duì)應(yīng)的像素坐標(biāo)。

s104、計(jì)算視頻中的各個(gè)時(shí)刻下人體模型的三維空間；

s105、提取視頻中三維空間中人體的關(guān)節(jié)角度；

s106、采用基于支持向量機(jī)的步態(tài)識(shí)別方法進(jìn)行步態(tài)識(shí)別。

支持向量機(jī)(supportvectormachine，svm)是新近發(fā)展的及其學(xué)習(xí)方法，它通過結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則建模，將期望風(fēng)險(xiǎn)降至最低，使其模型識(shí)別力顯著提高，該識(shí)別方法能夠較好地解決小樣本學(xué)習(xí)問題。支持向量機(jī)的主要思想是：尋找一個(gè)滿足分類要求的最優(yōu)分類超平面，使得該超平面在保證分類精度的同時(shí)，能夠使超平面的間隔最大化。支持向量機(jī)能夠?qū)崿F(xiàn)對(duì)線性可分?jǐn)?shù)據(jù)的最優(yōu)分類。

由此可見，單攝像機(jī)實(shí)現(xiàn)對(duì)人體行走視頻幀的采集，然后進(jìn)行預(yù)處理，實(shí)現(xiàn)視頻幀分割處理，再采用klt技術(shù)實(shí)現(xiàn)對(duì)相關(guān)特征點(diǎn)的跟蹤，計(jì)算出人體模型下的三維空間，實(shí)現(xiàn)三維模型空間，以及步態(tài)識(shí)別過程，提高了跟蹤效果精度和優(yōu)化了人體識(shí)別過程。

相應(yīng)的，圖2示出了本發(fā)明實(shí)施例中的基于三維重建下的姿態(tài)識(shí)別的系統(tǒng)結(jié)構(gòu)示意圖，包括：

采集模塊，用于基于單攝像機(jī)采集人體行走的視頻；

預(yù)處理模塊，用于對(duì)人體行走的視頻進(jìn)行步態(tài)運(yùn)動(dòng)分割和預(yù)處理；

跟蹤模塊，用于使用klt跟蹤器對(duì)視頻中的每一幀圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行跟蹤，設(shè)定視頻中兩幀數(shù)據(jù)之間的時(shí)間間隔是有限的小，特征點(diǎn)僅在位置上發(fā)生變化，亮度保持不變，以及計(jì)算出相鄰幀之間每個(gè)跟蹤特征點(diǎn)的向量方向，并用正弦值表示向量方向；

計(jì)算模塊，用于計(jì)算視頻中的各個(gè)時(shí)刻下人體模型的三維空間；

提取模塊，用于提取視頻中三維空間中人體的關(guān)節(jié)角度；

識(shí)別模塊，用于采用基于支持向量機(jī)的步態(tài)識(shí)別方法進(jìn)行步態(tài)識(shí)別。

所述跟蹤模塊還用于選取跟蹤時(shí)間最長所對(duì)應(yīng)的幀圖像最多的n個(gè)對(duì)應(yīng)特征點(diǎn)；計(jì)算所述n個(gè)對(duì)應(yīng)特征點(diǎn)所在的幀圖像，并依照所含對(duì)應(yīng)特征點(diǎn)多、圖像之間間隔均勻的原則選取m幅幀圖像；建立觀測(cè)矩陣w，并基于小波變換將觀測(cè)矩陣w進(jìn)行分解處理。

所述建立觀測(cè)矩陣w中的w為2m*2n矩陣，其中矩陣每一列為一個(gè)對(duì)應(yīng)特征點(diǎn)在m幅幀圖像上的對(duì)應(yīng)像素位置，矩陣每兩行為一幅幀圖像上n個(gè)特征點(diǎn)所對(duì)應(yīng)的像素坐標(biāo)。

綜上，單攝像機(jī)實(shí)現(xiàn)對(duì)人體行走視頻幀的采集，然后進(jìn)行預(yù)處理，實(shí)現(xiàn)視頻幀分割處理，再采用klt技術(shù)實(shí)現(xiàn)對(duì)相關(guān)特征點(diǎn)的跟蹤，計(jì)算出人體模型下的三維空間，實(shí)現(xiàn)三維模型空間，以及步態(tài)識(shí)別過程，提高了跟蹤效果精度和優(yōu)化了人體識(shí)別過程。

本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括：只讀存儲(chǔ)器(rom，readonlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁盤或光盤等。

以上對(duì)本發(fā)明實(shí)施例所提供的基于三維重建下的姿態(tài)識(shí)別的方法及系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。