本發(fā)明涉及一種二維視頻中的人物運動類型分析方法，屬于計算機技術(shù)、數(shù)據(jù)挖掘、人物識別、運動分析交叉技術(shù)應(yīng)用領(lǐng)域。

背景技術(shù)：

隨著計算機性能的提高、存儲介質(zhì)價格的下降以及網(wǎng)絡(luò)帶寬的提升，圖片和視頻等大體積文件的分享變得越來越普遍，在傳輸和存儲之外，對于這類數(shù)據(jù)本身內(nèi)容的分析也逐漸體現(xiàn)出其重要作用。例如對視頻數(shù)據(jù)中的人物運動進行識別在游戲、監(jiān)控以及一些需要人機交互的領(lǐng)域都有廣泛的應(yīng)用，而由于人物運動本身的復(fù)雜性，很多場景下可能要考慮到添加新的運動類別，同時也意味著添加新的訓(xùn)練數(shù)據(jù)。在這種情況下，機器學(xué)習的方法在進行訓(xùn)練所需的時間和識別的精確度就將成為其重要的性能參數(shù)。

通過運動不同狀態(tài)之間的轉(zhuǎn)移概率計算下一個動作所對應(yīng)的最可能的狀態(tài)，是人物運動分析方法中最為普遍的方法之一。該類基于概率的方法可以應(yīng)用于計算機視覺的很多方面，包括人物的面部識別、手勢識別以至后來更為廣泛的人物運動識別。在人物運動分析所需的數(shù)據(jù)方面，通過相機進行特征提取可以方便的獲得基于視頻的人物運動，但容易受到嘈雜的環(huán)境和變化的光照所干擾，相比之下，三維運動捕獲的數(shù)據(jù)具有語義特征，能通過無監(jiān)督學(xué)習的方式更精確地將捕獲到的數(shù)據(jù)分類成不同的人物行為。所指無監(jiān)督學(xué)習，即不事先對樣本集進行分類標記，讓計算機自行學(xué)習如何去做。

所以，如何利用三維捕獲的運動數(shù)據(jù)與同類運動的二維視頻提取數(shù)據(jù)相混合，提高運動狀態(tài)的區(qū)分度，是有待解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種基于知識的使用混合數(shù)據(jù)建立人物運動分析模型的方法，通過將三維捕獲的運動數(shù)據(jù)與同類運動的二維視頻提取數(shù)據(jù)相混合，作為所需的基礎(chǔ)數(shù)據(jù)構(gòu)建隱藏狀態(tài)序列，提高人物運動分析的準確性與訓(xùn)練數(shù)據(jù)的效率。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

本發(fā)明提出一種視頻人物運動類型識別方法，包括以下步驟：

步驟1)通過人體上安裝的監(jiān)視器采集三維坐標系下的人物運動數(shù)據(jù)，包括人體各部位在三維空間的位置、運動速度、運動方向；再采集同類運動在二維視頻中的人物運動數(shù)據(jù)，包括人物的位置、運動速度、運動方向所對應(yīng)的二維向量；然后對三維運動數(shù)據(jù)進行下采樣產(chǎn)生新的數(shù)據(jù)序列，使該數(shù)據(jù)序列對應(yīng)的時刻與二維視頻運動數(shù)據(jù)相匹配；

步驟2)將一組三維運動數(shù)據(jù)與tr組同類運動的二維視頻數(shù)據(jù)進行1：tr映射，生成tr組高維混合數(shù)據(jù)，tr為選取的對應(yīng)同類三維運動的訓(xùn)練視頻數(shù)；對于所獲高維混合數(shù)據(jù)進行降維處理，獲得構(gòu)建概率模型所需的隱藏狀態(tài)序列，將原二維視頻數(shù)據(jù)進行降維處理得到與隱藏狀態(tài)序列1:1映射的觀察狀態(tài)序列；

步驟3)通過步驟2)獲得的觀察狀態(tài)序列和隱藏狀態(tài)序列計算兩者之間的關(guān)聯(lián)，以及在不同狀態(tài)之間的轉(zhuǎn)移概率，建立一個概率模型，確定模型參數(shù)λ＝(a,b,π)，其中π、a、b分別是初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率和觀察標記的概率；

步驟4)在獲得一個新的二維視頻數(shù)據(jù)的觀察狀態(tài)序列時，使用已確定的參數(shù)π、a、b，計算出在該觀察狀態(tài)序列下最可能的隱藏狀態(tài)序列，即通過二維視頻數(shù)據(jù)分析對應(yīng)的三維運動狀態(tài)。

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟1)具體如下：

步驟11)對于采集的三維坐標系下的人物運動數(shù)據(jù)，選取有代表性的特征，獲取人體z個部位的三維運動數(shù)據(jù)，以及在三維空間的平移和旋轉(zhuǎn)，構(gòu)成一個z×6的矩陣；通過svd方法提取5個特征值，降低該矩陣的維度，得到一個五維的數(shù)據(jù)矩陣來達成對三維運動的描述，將該數(shù)據(jù)序列表示為其含義為：數(shù)據(jù)序列的形式是一個5×h的矩陣，其中h表示序列長度即幀數(shù)，表示第i幀中的三維運動數(shù)據(jù)，是一個5維列向量；

步驟12)對于采集的二維視頻中的人物運動數(shù)據(jù)，采集其中人物的位置、運動速度和運動方向在二維平面xy兩個方向上的數(shù)值，構(gòu)成所需的6維數(shù)據(jù)矩陣；將數(shù)據(jù)定義為vfⁱ表示第i個視頻數(shù)據(jù)序列，tⁱ為該序列長度，表示第i個視頻數(shù)據(jù)序列第j幀的數(shù)據(jù)；

步驟13)對三維運動數(shù)據(jù)進行下采樣，使數(shù)據(jù)序列對應(yīng)的時刻與視頻數(shù)據(jù)相匹配，所述的下采樣，即對于一個樣值序列間隔幾個樣值取樣一次，產(chǎn)生新的樣值序列。

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟11)所指的svd為奇異值分解，對于待分解的矩陣a，通過svd方法提取5個特征值的具體步驟如下：

步驟a)計算矩陣b＝a^ta；

步驟b)初始化特征向量矩陣va為6×6的單位矩陣，其中單位矩陣是指主對角線上元素全為1，其余元素為0的矩陣；

步驟c)在矩陣b中找到除主對角線外絕對值最大的元素brc，其中brc是指矩陣b中第r行第c列的元素，根據(jù)公式求得計算矩陣t，矩陣t是一個旋轉(zhuǎn)矩陣，其中余下元素中主對角線元素為1，非對角線元素為0；

步驟d)迭代計算b←t^tbt，va←tva，若此時b中除主對角線上的元素外絕對值最大的元素大于閾值，則返回步驟c)繼續(xù)迭代，否則此時b中主對角元素就是矩陣a^ta的特征值，對應(yīng)列的矩陣va中的列向量就是對應(yīng)的特征向量，將特征值按絕對值大小依次排列，記為λ1,λ2,…,λ6，對應(yīng)的特征向量為s1,s2…s6；

步驟e)選取絕對值最大的五個特征值作為所需的三維運動數(shù)據(jù)，即λ1,λ2,…,λ5。

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟2)具體步驟如下：

步驟21)將一組三維運動數(shù)據(jù)與tr組同類運動的視頻數(shù)據(jù)進行1：tr映射，生成tr組高維的混合運動特征數(shù)據(jù)序列，取min(h,ti)作為序列長度，將其定義為hfⁱ，i∈[1,tr]，所述tr為選取的對應(yīng)同類三維運動的訓(xùn)練視頻數(shù)；

步驟22)將產(chǎn)生的高維混合運動特征數(shù)據(jù)序列hfⁱ轉(zhuǎn)化為一維狀態(tài)序列在第j幀用一個狀態(tài)q標記hfⁱ中對應(yīng)的11維特征向量，記作將高維的混合運動特征序列量化成k個不同狀態(tài){q1q2q3q4q5…qk}，對應(yīng)其中一種狀態(tài)，11維混合矩陣hfⁱ即表示為一維狀態(tài)序列作為隱藏狀態(tài)序列；

步驟23)根據(jù)步驟22)的方法，將原二維視頻數(shù)據(jù)序列中的6維特征數(shù)據(jù)序列轉(zhuǎn)化為一維狀態(tài)序列oⁱ，作為觀察狀態(tài)序列，與進行1:1映射。

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟22)中將高維的混合運動特征序列量化成k個不同狀態(tài){q1q2q3q4q5…qk}，具體量化方法為：

步驟a)在對應(yīng)的11維空間隨機選取k個點作為中心，初始的代表一個簇；

步驟b)對于每一個中心，選擇空間中剩余的與其最近的一個狀態(tài)點賦給這個簇，并將中心的位置更新為中心與該點的中點；

步驟c)一次迭代結(jié)束之后，計算k個中心點當前位置與迭代前位置的距離，若大于預(yù)設(shè)閾值，則返回步驟b)進行迭代，否則認為結(jié)果收斂，結(jié)束迭代；

步驟d)此時的k個中心即所求的k種不同狀態(tài)，將選取距離最近的中心點作為其所屬的簇，使用對應(yīng)的q標記其狀態(tài)，最終生成隱藏狀態(tài)序列

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟3)的具體計算方法為：

步驟31)對于tr個訓(xùn)練視頻，選取所有的第一幀數(shù)據(jù)計算第α個狀態(tài)出現(xiàn)的頻率，記為πα的值，用以作為隱藏狀態(tài)為qα的初始概率：

步驟32)將從狀態(tài)α到狀態(tài)β的轉(zhuǎn)移概率記為aαβ，其含義是統(tǒng)計以第α個狀態(tài)為當前狀態(tài)向下一狀態(tài)轉(zhuǎn)移時出現(xiàn)第β個狀態(tài)的頻率，計算方法為選取tr個視頻訓(xùn)練集中從狀態(tài)qα轉(zhuǎn)移到qβ的次數(shù)，對tr個視頻訓(xùn)練集中從狀態(tài)qα向其他所有標記轉(zhuǎn)移的次數(shù)求商，記為a的值：

步驟33)將觀察狀態(tài)oγ到隱藏狀態(tài)qβ的轉(zhuǎn)移概率記為bγβ，其含義是觀察狀態(tài)為oγ而隱藏狀態(tài)為qβ的概率，計算方法為，統(tǒng)計在tr個視頻訓(xùn)練集與一個三維運動捕獲數(shù)據(jù)的tr個對應(yīng)關(guān)系(tr:1)中，將隱藏狀態(tài)為qβ而觀察狀態(tài)為oγ的次數(shù)對隱藏狀態(tài)為qβ而觀察狀態(tài)為oⁱ中所有狀態(tài)的次數(shù)取商，記為b：

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟4)的具體計算過程如下：

步驟41)記獲得的觀察狀態(tài)序列為δ＝δ1δ2δ3…δi…δm；

步驟42)在第一幀時，觀察狀態(tài)為δ1的情況下對應(yīng)的隱藏狀態(tài)為qβ的概率為其中π(β)為初始隱藏狀態(tài)是qβ的概率，為觀察狀態(tài)δ1到隱藏狀態(tài)qβ的轉(zhuǎn)移概率；

步驟43)第t幀時，已知觀察狀態(tài)為δt，對應(yīng)的隱藏狀態(tài)為qβ的概率記為其中pt-1(α)為t-1幀時隱藏狀態(tài)為qα的概率，aαβ為隱藏狀態(tài)qα到qβ的轉(zhuǎn)移概率，為觀察狀態(tài)δt到隱藏狀態(tài)qβ的轉(zhuǎn)移概率，t>1，qα取{q1q2q3q4q5…qk}中任意狀態(tài)使最大時即為所求概率pt(β)；

步驟44)通過初始時刻的p1(β)和t>1時pt(β)的計算方式，遞推每一幀時已知觀察狀態(tài)對應(yīng)的各個隱藏狀態(tài)的概率，選擇概率最大的隱藏狀態(tài)作為該幀的運動狀態(tài)。

進一步的，本發(fā)明的視頻人物運動類型識別方法，步驟11)中的z個部位包括軀干、右手、左手、右腿、左腿這五個部位。

進一步的，本發(fā)明的視頻人物運動類型識別方法，k的取值在10-50之間，作為最優(yōu)選的，k＝30。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

本發(fā)明提出的方法將三維數(shù)據(jù)與二維數(shù)據(jù)混合成的數(shù)據(jù)建立隱藏狀態(tài)序列，提升了識別的效率和精確度；具體來說：1)通過采用混合數(shù)據(jù)構(gòu)建隱藏狀態(tài)序列，可以用來直接計算建立模型所需的未知參數(shù)，提高了訓(xùn)練學(xué)習的效率。2)使用了三維捕獲的運動數(shù)據(jù)，利用其語義豐富和受干擾較少的特點，提高了運動識別的準確性。3)能為每一類運動建立相應(yīng)的模型，提高運動狀態(tài)的區(qū)分度。

附圖說明

圖1是本發(fā)明的視頻中人物運動識別方法的流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進一步的詳細說明：

如圖1所示，本發(fā)明提出一種視頻人物運動類型識別方法，主要利用三維運動數(shù)據(jù)與二維視頻運動數(shù)據(jù)的混合來建立狀態(tài)序列，包括以下主要步驟：

步驟1)通過人體上安裝的監(jiān)視器采集三維坐標系下的人物運動數(shù)據(jù)，包括人體各部位在三維空間的位置、運動速度、運動方向；再采集同類運動在二維視頻中的人物運動數(shù)據(jù)，包括人物的位置、運動速度、運動方向所對應(yīng)的二維向量；然后對三維運動數(shù)據(jù)進行下采樣產(chǎn)生新的數(shù)據(jù)序列，使該數(shù)據(jù)序列對應(yīng)的時刻與二維視頻運動數(shù)據(jù)相匹配；

步驟2)將一組三維運動數(shù)據(jù)與tr組同類運動的二維視頻數(shù)據(jù)進行1：tr映射，生成tr組高維混合數(shù)據(jù)，tr為選取的對應(yīng)同類三維運動的訓(xùn)練視頻數(shù)；對于所獲高維混合數(shù)據(jù)進行降維處理，獲得構(gòu)建概率模型所需的隱藏狀態(tài)序列，將原二維視頻數(shù)據(jù)進行降維處理得到與隱藏狀態(tài)序列1:1映射的觀察狀態(tài)序列；

步驟3)通過步驟2)獲得的觀察狀態(tài)序列和隱藏狀態(tài)序列計算兩者之間的關(guān)聯(lián)，以及在不同狀態(tài)之間的轉(zhuǎn)移概率，建立一個概率模型，確定模型參數(shù)λ＝(a,b,π)，其中π、a、b分別是初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率和觀察標記的概率；

步驟4)在獲得一個新的二維視頻數(shù)據(jù)的觀察狀態(tài)序列時，使用已確定的參數(shù)π、a、b，計算出在該觀察狀態(tài)序列下最可能的隱藏狀態(tài)序列，即通過二維視頻數(shù)據(jù)分析對應(yīng)的三維運動狀態(tài)。

以下進一步詳細描述各步驟的實施方式：

步驟1)通過人體上安裝的監(jiān)視器采集人物在運動中的數(shù)據(jù)，即人體各部位在三維空間的位置、運動速度、運動方向，再采集同類運動在二維視頻中的數(shù)據(jù)，包括人物位置、速度、運動方向所對應(yīng)的二維向量，具體步驟如下：

步驟11)對于采集的三維數(shù)據(jù)，選取有代表性的特征，如軀干、右手、左手、右腿、左腿這五個部位的三維運動數(shù)據(jù)，包括在三維空間的平移和旋轉(zhuǎn)，構(gòu)成一個5×6的矩陣。通過svd方法提取5個特征值，降低該矩陣的維度，得到一個五維的數(shù)據(jù)矩陣來達成對三維運動的描述，將該數(shù)據(jù)序列表示為其含義為：數(shù)據(jù)序列的形式是一個5×h的矩陣，其中h表示序列長度即幀數(shù)，表示第i幀中的三維運動數(shù)據(jù)，是一個5維列向量。

其中所指的svd為奇異值分解，對于待分解的矩陣a，其具體步驟如下：

步驟111)計算矩陣b＝a^ta。

步驟112)初始化特征向量矩陣va為6×6的單位矩陣。其中單位矩陣是指主對角線上元素全為1，其余元素為0的矩陣。

步驟113)在矩陣b中找到除主對角線外絕對值最大的元素brc，其中brc是指矩陣b中第r行第c列的元素，根據(jù)公式求得計算矩陣t。矩陣t是一個旋轉(zhuǎn)矩陣，其中余下元素中主對角線元素為1，非對角線元素為0。

步驟114)迭代計算b←t^tbt，va←tva，若此時b中除主對角線上的元素外絕對值最大的元素大于某個閾值(此處設(shè)為0.1)，則返回步驟113)繼續(xù)迭代，否則此時b中主對角元素就是矩陣a^ta的特征值，對應(yīng)列的矩陣va中的列向量就是對應(yīng)的特征向量。將特征值按絕對值大小依次排列，記為λ1,λ2,…,λ6，對應(yīng)的特征向量為s1,s2…s6。

步驟115)選取絕對值最大的五個特征值作為所需的三維運動數(shù)據(jù)，即λ1,λ2,…,λ5。

步驟12)對于采集的二維視頻數(shù)據(jù)，采集其中人物的位置、運動速度和運動方向在二維平面xy兩個方向上的數(shù)值，構(gòu)成所需的6維數(shù)據(jù)矩陣。將數(shù)據(jù)定義為vfⁱ表示第i個視頻數(shù)據(jù)序列，tⁱ為該序列長度，表示第i個視頻數(shù)據(jù)序列第j幀的數(shù)據(jù)。

步驟13)對三維數(shù)據(jù)進行下采樣，使數(shù)據(jù)序列對應(yīng)的時刻與視頻數(shù)據(jù)相匹配。所述的下采樣，即對于一個樣值序列間隔幾個樣值取樣一次，產(chǎn)生新的樣值序列。

步驟2)對于所獲高維數(shù)據(jù)，將其降維，獲得構(gòu)建概率模型所需的低維狀態(tài)序列便于計算，具體步驟如下：

步驟21)將一組三維運動數(shù)據(jù)與tr組同類運動的視頻數(shù)據(jù)進行1：tr映射，生成tr組高維的混合運動特征數(shù)據(jù)序列，取min(h,ti)作為序列長度，將其定義為hfⁱ，i∈[1,tr]。所述tr為選取的對應(yīng)同類三維運動的訓(xùn)練視頻數(shù)。

步驟22)將產(chǎn)生的高維混合數(shù)據(jù)序列hfⁱ轉(zhuǎn)化為一維狀態(tài)序列在時間t(或第j幀)，用一個狀態(tài)q標記hfⁱ中對應(yīng)的11維特征向量，記作將高維的混合運動特征序列量化成k個不同狀態(tài){q1q2q3q4q5…qk}，對應(yīng)其中一種狀態(tài)，11維混合矩陣hfⁱ即表示為一維狀態(tài)序列具體量化方法為：

步驟221)在對應(yīng)的11維空間隨機選取k個點作為中心，初始的代表一個簇。

步驟222)對于每一個中心，選擇空間中剩余的與其最近的一個狀態(tài)點賦給這個簇，并將中心的位置更新為中心與該點的中點。

步驟223)一次迭代結(jié)束之后，計算k個中心點當前位置與迭代前位置的距離，大于某個閾值，則返回步驟222)進行迭代。否則認為結(jié)果收斂，結(jié)束迭代。將該閾值設(shè)定為中心點上一次迭代前后距離的0.1倍，第一次迭代過程中的初始閾值為0。

步驟224)此時的k個中心即所求的k中不同狀態(tài)。將選取距離最近的中心點作為其所屬的簇，使用對應(yīng)的q標記其狀態(tài)。最終生成隱藏狀態(tài)序列

步驟23)采取步驟22中相同的算法，將原二維視頻數(shù)據(jù)序列中的6維特征數(shù)據(jù)序列轉(zhuǎn)化為一維狀態(tài)序列oⁱ，作為觀察狀態(tài)序列，與進行1:1映射。

步驟3)通過給定的觀察序列和隱藏序列計算兩者之間的關(guān)聯(lián)以及在不同狀態(tài)之間的轉(zhuǎn)移概率，建立一個概率模型，確定模型參數(shù)λ＝(a,b,π),其中π,a,b分別是初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率和觀察標記的概率。其具體計算方法為：

步驟31)對于tr個訓(xùn)練視頻，選取所有的第一幀數(shù)據(jù)計算第α個狀態(tài)出現(xiàn)的頻率，記為πα的值，用以作為隱藏狀態(tài)為qα的初始概率：

步驟32)將從狀態(tài)α到狀態(tài)β的轉(zhuǎn)移概率記為aαβ，其含義是統(tǒng)計以第α個狀態(tài)為當前狀態(tài)向下一狀態(tài)轉(zhuǎn)移時出現(xiàn)第β個狀態(tài)的頻率。計算方法為選取tr個視頻訓(xùn)練集中從狀態(tài)qα轉(zhuǎn)移到qβ的次數(shù)，對tr個視頻訓(xùn)練集中從狀態(tài)qα向其他所有標記轉(zhuǎn)移的次數(shù)求商，記為a的值：

步驟33)將觀察狀態(tài)oγ到隱藏狀態(tài)qβ的轉(zhuǎn)移概率記為bγβ，其含義是觀察狀態(tài)為oγ而隱藏狀態(tài)為qβ的概率。計算方法為，統(tǒng)計在tr個視頻訓(xùn)練集與一個三維運動捕獲數(shù)據(jù)的tr個對應(yīng)關(guān)系(tr:1)中，將隱藏狀態(tài)為qβ而觀察狀態(tài)為oγ的次數(shù)對觀察狀態(tài)為qβ觀察狀態(tài)為oⁱ中所有狀態(tài)的次數(shù)取商，記為b：

步驟4)在獲得一個新的視頻數(shù)據(jù)的觀察狀態(tài)序列時，使用已確定的參數(shù)π、a、b，計算出在該觀察狀態(tài)序列下最可能的隱藏狀態(tài)序列，即通過視頻分析對應(yīng)的三維運動狀態(tài)。具體計算過程如下：

步驟41)記獲得的觀察狀態(tài)序列為δ＝δ1δ2δ3…δi…δm，含義與上述oⁱ相同。

步驟42)在第一幀時，觀察狀態(tài)為δ1的情況下對應(yīng)的隱藏狀態(tài)為qβ(其含義在步驟22)中已述)的概率為其中π(β)為初始隱藏狀態(tài)是qβ的概率，為觀察狀態(tài)δ1到隱藏狀態(tài)qβ的轉(zhuǎn)移概率(如步驟33)所述)。

步驟43)第t幀時(t>1)，已知觀察狀態(tài)為δt，對應(yīng)的隱藏狀態(tài)為qβ的概率記為其中pt-1(α)為t-1幀時隱藏狀態(tài)為qα的概率，aαβ為隱藏狀態(tài)qα到qβ的轉(zhuǎn)移概率(步驟32)中所述)，為觀察狀態(tài)δt到隱藏狀態(tài)qβ的轉(zhuǎn)移概率。qα取{q1q2q3q4q5…qk}中任意狀態(tài)使pt-1(α)×aαβ×bδtβ最大即為所求概率pt(β)。

步驟44)通過初始時刻的p1(β)和t>1時pt(β)的計算方式，遞推每一幀時已知觀察狀態(tài)對應(yīng)的各個隱藏狀態(tài)的概率，選擇概率最大的隱藏狀態(tài)作為該幀的運動狀態(tài)。

以下對本發(fā)明的步驟流程中的進一步重點說明：

本發(fā)明通過安裝在人體各個部位的監(jiān)視器捕獲人物在三維空間的運動數(shù)據(jù)，選取有代表性的部位之后通過svd分解提取出5個奇異值作為某一幀下人物的運動特征值，表示為一個5維列向量其中i代表第i幀。以每幀為一個五維列向量，將總共h幀的運動數(shù)據(jù)作為h列合并表示成一個5×h的矩陣形式即可得到三維的運動數(shù)據(jù)序列。

選取tr個與上述三維運動同類別的二維運動視頻，以第i個視頻為例，采集其中第j幀的人物位置、運動速度和運動方向在xy兩個方向上的分量，以一個六維列向量的方式表示，由于該視頻共tⁱ幀，將tⁱ個六維列向量依次排列成一個6×tⁱ的矩陣便是所需的二維視頻運動數(shù)據(jù)。

由于獲取的三維數(shù)據(jù)和視頻數(shù)據(jù)的幀率不同，對三維數(shù)據(jù)進行下采樣，使數(shù)據(jù)序列對應(yīng)的時刻與視頻數(shù)據(jù)相匹配。例如捕獲的三維運動數(shù)據(jù)的幀率是120fps，而二維視頻中提取特征的幀率是30fps,為對齊兩組數(shù)據(jù)，選擇m＝4(n-1)+1,如與(vf1,vf2,vf3,…,vfn)之間便能1∶1映射，即

將下采樣后所獲的5×h的三維運動數(shù)據(jù)與每組6×tⁱ的二維運動數(shù)據(jù)混合，即將對應(yīng)列相連接，生成tr組高維的混合運動特征數(shù)據(jù)序列，表示成11×min(h,ti)的矩陣形式，取min(h,ti)作為序列長度，將其定義為hfⁱ，i∈[1,tr]。

由于所獲數(shù)據(jù)維度過高在表達運動狀態(tài)時并不方便，選擇將其降維轉(zhuǎn)化成一維的狀態(tài)序列便于用于計算。在時間t(或第j幀)，hfⁱ中對應(yīng)的11維特征向量可以用一個狀態(tài)q標記，記作通過將高維的混合運動特征序列量化成k個不同狀態(tài){q1q2q3q4q5…qk}，原11維混合矩陣即可表示為一維的狀態(tài)序列對應(yīng)其中一種狀態(tài)。具體的量化方法是隨意選擇k個11維的點作為中心點，將高維混合數(shù)據(jù)中每一個11維的列向量以點的形式放入同一個11維坐標系，每個點選擇k個中心點中最近的一個合并，并取兩者中點的坐標更新該中心點的位置，直至空間中只剩這k個中心點。而后以當前的k個中心點再次帶入混合數(shù)據(jù)進行迭代直至兩次迭代之間k個中心點的坐標變化小于某一預(yù)設(shè)的閾值，即可認為結(jié)果收斂，而這k個中心點的坐標在轉(zhuǎn)化為k個11維列向量之后便是所需的k種不同的量化狀態(tài)?？紤]到迭代是一個變化的過程，由于數(shù)據(jù)的隨機性，所以取中心點上一次迭代前后距離的0.1倍，以這一動態(tài)值作為設(shè)定的閾值，因第一次迭代前中心點并沒有發(fā)生過位置變化，所以設(shè)初始閾值為0。對于高維混合運動數(shù)據(jù)中每一列11維向量，選擇最接近的量化狀態(tài)來表示，這樣原數(shù)據(jù)hfⁱ便可以表示為一組一維狀態(tài)序列作為隱藏狀態(tài)序列，序列中每種狀態(tài)只能取{q1q2q3q4q5…qk}中的一個值來表示。

k的取值在10-50之間，但當k>30時會導(dǎo)致狀態(tài)間區(qū)分度不夠，以致最終生成的模型進行運動識別的精確度降低，所以設(shè)為k＝30較為合適。

采取相同的算法，將原二維視頻數(shù)據(jù)序列中的6維特征數(shù)據(jù)序列轉(zhuǎn)化為一維狀態(tài)序列oⁱ，作為觀察狀態(tài)序列，與1:1映射。

通過已知的觀察序列和隱藏序列計算兩者之間的關(guān)聯(lián)以及在不同狀態(tài)之間的轉(zhuǎn)移概率，建立一個概率模型，確定模型參數(shù)λ＝(a,b,π),其中π、a、b分別是初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率和觀察標記的概率。其具體計算方法為：

對于tr個訓(xùn)練視頻，選取所有的第一幀數(shù)據(jù)計算第α個狀態(tài)出現(xiàn)的頻率，記為πα的值，用以作為隱藏狀態(tài)為qa的初始概率：

對于隱藏狀態(tài)間的轉(zhuǎn)移，將從狀態(tài)α到狀態(tài)β的轉(zhuǎn)移概率記為aαβ，其含義是統(tǒng)計以第α個狀態(tài)為當前狀態(tài)向下一狀態(tài)轉(zhuǎn)移時出現(xiàn)第β個狀態(tài)的頻率。計算方法為選取tr個視頻訓(xùn)練集中從狀態(tài)qα轉(zhuǎn)移到qβ的次數(shù)，對tr個視頻訓(xùn)練集中從狀態(tài)qα向其他所有標記轉(zhuǎn)移的次數(shù)求商，記為a的值：

計算隱藏狀態(tài)為qβ而觀察狀態(tài)為oγ的概率bγβ的方法為，統(tǒng)計在tr個視頻訓(xùn)練集與一個三維運動捕獲數(shù)據(jù)的tr個對應(yīng)關(guān)系(tr:1)中，將隱藏狀態(tài)為qβ而觀察狀態(tài)為oγ的次數(shù)對觀察狀態(tài)為qβ觀察狀態(tài)為oⁱ中所有狀態(tài)的次數(shù)取商，記為bγβ：

參數(shù)π、a、b的確定，可在獲得一個新的視頻數(shù)據(jù)的觀察狀態(tài)序列δ＝δ1δ2δ3…δi…δm時(含義參考之前的狀態(tài)序列)，計算出在該觀察狀態(tài)序列下最可能的隱藏狀態(tài)序列，即通過視頻分析對應(yīng)的三維運動狀態(tài)。

首先計算在第一幀時對應(yīng)的三維運動狀態(tài)是qβ的概率p1(β)，表示為其中π(β)為初始隱藏狀態(tài)是qβ的概率，為觀察狀態(tài)δ1到隱藏狀態(tài)qβ的轉(zhuǎn)移概率(如上計算參數(shù)時所述)。

之后計算第t幀時(t>1)三維運動狀態(tài)是qβ的概率pt(β)，已知t時刻觀察狀態(tài)為δt，則對應(yīng)的隱藏狀態(tài)為qβ的概率記為其中pt-1(α)為t-1幀時隱藏狀態(tài)為qα的概率，aαβ為隱藏狀態(tài)qα到qβ的轉(zhuǎn)移概率，bδtβ為觀察狀態(tài)δt到隱藏狀態(tài)qβ的轉(zhuǎn)移概率。qα取{q1q2q3q4q5…qk}中任意狀態(tài)使pt-1(α)×aαβ×bδtβ最大時即為所求概率pt(β)。

通過初始時刻的p1(β)和t>1時pt(β)的計算方式，可以遞推出每一幀時已知觀察狀態(tài)對應(yīng)的各個隱藏狀態(tài)的概率，根據(jù)概率大小比較得出每一時刻最有可能的隱藏狀態(tài)。針對于現(xiàn)實中多種不同的運動狀態(tài)，需要為每一種狀態(tài)都建立相應(yīng)的概率模型來進行區(qū)分。

以上所述僅是本發(fā)明的部分實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。