02中，對(duì)于修正后的空間子立方塊戌分七的,分別從正視、側(cè)視、俯視三 個(gè)視角進(jìn)行特征提取，得到所述空間子立方塊(/w〇對(duì)應(yīng)的特征向量。
[0064] 在本發(fā)明實(shí)施例中，分別提取所述空間子立方塊#A在正視角、側(cè)視角、俯 視角上的子特征向量，組合所述子特征向量，從而得到所述空間子立方塊心:對(duì)應(yīng)的 特征向量uk(r,c,d)。
[0065] 在這里，所述空間子立方塊以(γ,γ, J)對(duì)應(yīng)的特征向量1^&，c，d)表示為：
[0066]
[0067] 其中，巧表示所述空間子模塊# (r,t，心在正視角方向的權(quán)重比例；表示所述 空間子模塊次幻在側(cè)視角方向的權(quán)重比例；巧表示所述空間子模塊貧(^, A在俯視 角方向的權(quán)重比例；",(r，c，句表示空間子立方塊(ΛΑ〇在正視角方向上的子特征向量； % (r, c, ?/)表示空間子立方塊0 (r, c, 在側(cè)視角方向上的子特征向量；氣,表示空間 子立方塊f: r, c，&在俯視角方向上的子特征向量。
[0068] 可選地，所述特征提取的方法優(yōu)選為H0G(方向梯度直方圖）特征提取法。示例性 地，圖6給出了從空間子立方塊提取對(duì)應(yīng)特征向量的實(shí)現(xiàn)示意圖。在圖6中，對(duì)所述空間子立 方塊進(jìn)行正視角、側(cè)視角、俯視角上的特征提取后，得到正視角、側(cè)視角、俯視角 上的H0G特征向量（即子特征向量），組合所述H0G特征向量，即將所述H0G特征向量連接起 來(lái)，從而得到所述空間子立方塊對(duì)應(yīng)的特征向量u k(r，c，d)。在這里，本發(fā)明實(shí)施 例使用的H0G特征，采用8*8像素的單元格，2*2的塊大小，9個(gè)直方圖通道。以24*24像素的圖 像為例，圖像塊的數(shù)量為[(24/8-2)/(2-1 )+1 ] X [ (24/8-2)/(2-1 ) + 1 ] =4;這樣，24*24像素 的圖像的HOG特征維度為4 X (2X2) X 9 = 144;-個(gè)24*24*24像素的空間子立方塊 ?/)對(duì)應(yīng)的特征向量uk(r，c，d)的維度為144X3 = 432。
[0069] 在步驟S703中，將所述第k個(gè)時(shí)間區(qū)域?qū)?yīng)的運(yùn)動(dòng)歷史立方體中的每一個(gè)空間 子立方塊4 (/% t, ?/)_對(duì)應(yīng)的特征向量組合起來(lái)，得到所述運(yùn)動(dòng)歷史立方體的特征向量。
[0070] 在這里，假設(shè)第k個(gè)時(shí)間區(qū)域?qū)?yīng)的運(yùn)動(dòng)歷史立方體的特征向量表示為uk^ljuk = [uk(l，1，1)，......，uk(nr，nc，nd)] 〇
[0071 ] 以nr X nc X nd = 3 X 3 X 3個(gè)空間網(wǎng)格劃分為例，一個(gè)運(yùn)動(dòng)歷史立方體的HOG特征 向量一的維度為432X3X3X3 = 11664。
[0072] 在步驟S704中，將所述-1個(gè)時(shí)間區(qū)域?qū)?yīng)的運(yùn)動(dòng)歷史立方體的特征向量組 合起來(lái)，得到所述深度運(yùn)動(dòng)序列的特征向量。
[0073] 將P -1,個(gè)時(shí)間區(qū)域?qū)?yīng)的運(yùn)動(dòng)歷史立方體@的特征向量連接起來(lái)，組成整個(gè)深 度運(yùn)動(dòng)序列的特征向量u，其中，u = [V，h2,......，Z]，1。
[0074] 以m=3為例，一個(gè)深度運(yùn)動(dòng)序列的HOG特征向量的維度為11664 X(23-l) =81648。
[0075] 需要說(shuō)明的是，所述HOG(方向梯度直方圖）特征提取法僅為本發(fā)明的一個(gè)優(yōu)選示 例，在實(shí)際應(yīng)用中，也可以采用其他特征提取法對(duì)于修正后的空間子立方塊分別 從正視、側(cè)視、俯視三個(gè)視角進(jìn)行特征提取，此處不做限制。
[0076] 本發(fā)明實(shí)施例中步驟S102所提出的時(shí)間立方金字塔劃分方法，將人體隨時(shí)間位移 變化信息轉(zhuǎn)化為局部和全局的運(yùn)動(dòng)歷史立方體;步驟S103所提出的空間網(wǎng)格劃分方法和步 驟S104所提出的基于立方體融合方法對(duì)空間子立方塊進(jìn)行特征融合，能夠有效地描述人體 在空間的位移變化情況。與現(xiàn)有的基于超曲面法向量、人體骨架模型以及三維點(diǎn)云的方法 相比，本發(fā)明實(shí)施例大幅度地縮減了人體動(dòng)作時(shí)間的計(jì)算復(fù)雜度，降低了對(duì)計(jì)算資源的需 求，并提高了人體動(dòng)作識(shí)別的準(zhǔn)確度。
[0077]在步驟S105中，根據(jù)所述深度運(yùn)動(dòng)序列的特征向量，利用支持向量機(jī)SVM進(jìn)行模型 訓(xùn)練和測(cè)試，以得到人體動(dòng)作的識(shí)別結(jié)果。
[0078] 本發(fā)明實(shí)施例通過(guò)將獲取到的深度圖像序列變換為對(duì)應(yīng)的深度運(yùn)動(dòng)序列，解決了 現(xiàn)有人體動(dòng)作識(shí)別方法存在的自遮擋問(wèn)題。再通過(guò)對(duì)所述深度運(yùn)動(dòng)序列進(jìn)行時(shí)間維度上的 劃分以及空間維度上的劃分，得到多個(gè)空間子立方塊，然后根據(jù)所述空間子立方塊計(jì)算得 到所述運(yùn)動(dòng)歷史立方體對(duì)應(yīng)的特征向量，進(jìn)而得到所述深度運(yùn)動(dòng)序列的特征向量;最后利 用支持向量機(jī)SVM進(jìn)行模型訓(xùn)練和測(cè)試，以得到人體動(dòng)作的識(shí)別結(jié)果。通過(guò)本發(fā)明實(shí)施例所 得到的深度運(yùn)動(dòng)序列的特征向量增強(qiáng)了對(duì)人體運(yùn)動(dòng)的描述能力，有效地描述了人體在空間 的位移變化情況，從而提高了對(duì)人體動(dòng)作識(shí)別的準(zhǔn)確度，且解決了現(xiàn)有人體動(dòng)作識(shí)別方法 存在的自遮擋問(wèn)題。
[0079] 圖8示出了本發(fā)明實(shí)施例提供的人體動(dòng)作的識(shí)別裝置的組成結(jié)構(gòu)，為了便于說(shuō)明， 僅不出了與本發(fā)明實(shí)施例相關(guān)的部分。
[0080] 在本發(fā)明實(shí)施例中，所述人體動(dòng)作的識(shí)別裝置用于實(shí)現(xiàn)上述圖1至圖7實(shí)施例中任 一項(xiàng)所述的人體動(dòng)作的識(shí)別方法，可以是內(nèi)置與計(jì)算機(jī)內(nèi)部的軟件單元、硬件單元或者軟 硬件結(jié)合的單元。
[0081 ]參閱圖8,所述人體動(dòng)作的識(shí)別裝置包括：
[0082]獲取模塊81，用于獲取深度圖像序列，對(duì)所述深度圖像序列進(jìn)行變換得到對(duì)應(yīng)的 深度運(yùn)動(dòng)序列。
[0083]第一劃分模塊82,用于對(duì)所述深度運(yùn)動(dòng)序列進(jìn)行時(shí)間維度上的劃分，獲得每一個(gè) 時(shí)間區(qū)域內(nèi)的運(yùn)動(dòng)歷史立方體。
[0084]第二劃分模塊83,用于針對(duì)每一個(gè)時(shí)間區(qū)域內(nèi)的運(yùn)動(dòng)歷史立方體，按照預(yù)設(shè)的空 間網(wǎng)格對(duì)所述運(yùn)動(dòng)歷史立方體進(jìn)行空間維度上的劃分，獲得每一個(gè)運(yùn)動(dòng)歷史立方體對(duì)應(yīng)的 多個(gè)空間子立方塊。
[0085]特征提取模塊84,用于根據(jù)每一個(gè)運(yùn)動(dòng)歷史立方體對(duì)應(yīng)的空間子立方塊計(jì)算所述 運(yùn)動(dòng)歷史立方體對(duì)應(yīng)的特征向量，連接所述每一個(gè)時(shí)間區(qū)域內(nèi)的運(yùn)動(dòng)歷史立方體對(duì)應(yīng)的特 征向量，得到所述深度運(yùn)動(dòng)序列的特征向量。
[0086]訓(xùn)練模塊85,用于根據(jù)所述深度運(yùn)動(dòng)序列的特征向量，利用支持向量機(jī)SVM進(jìn)行模 型訓(xùn)練和測(cè)試，以得到人體動(dòng)作的識(shí)別結(jié)果。
[0087]進(jìn)一步對(duì)，所述獲取模塊81包括：
[0088]投影單元811，用于獲取所述深度圖像序列中的任意第i幀深度圖像，將所述第i幀 深度圖像投影到笛卡爾坐標(biāo)系的三個(gè)正交平面上，獲取每一個(gè)正交平面上的投影圖像，得 到所述第i幀深度圖像的正視角投影圖像、側(cè)視角投影圖像以及俯視角投影圖像。
[0089]差分圖獲取單元812,用于根據(jù)所述第i幀深度圖像的正視角投影圖像、側(cè)視角投 影圖像以及俯視角投影圖像，計(jì)算其對(duì)應(yīng)的正視角差分圖、側(cè)視角差分圖以及俯視角差分 圖，組合所述正視角差分圖、側(cè)視角差分圖以及俯視角差分圖，得到所述第i幀深度圖像對(duì) 應(yīng)的深度運(yùn)動(dòng)立方體。
[0090] 組合單元813,用于遍歷所述深度圖像序列中的每一幀深度圖像，組合每一幀深度 圖像對(duì)應(yīng)的深度運(yùn)動(dòng)立方體，得到所述深度圖像序列對(duì)應(yīng)的深度運(yùn)動(dòng)序列。
[0091] 其中，所述第i幀深度圖像的正視角差分圖為第i+Ι幀深度圖像的正視角投影圖像 與第i幀深度圖像的正視角投影圖像之間對(duì)應(yīng)像素的像素值之差;所述第i幀深度圖像的側(cè) 視角差分圖為第i+ι幀深度圖像的側(cè)視角投影圖像與第i幀深度圖像的側(cè)視角投影圖像之 間對(duì)應(yīng)像素的像素值之差;所述第i幀深度圖像的俯視角差分圖為第i+ι幀深度圖像的俯視 角投影圖像與第i幀深度圖像的俯視角投影圖像之間對(duì)應(yīng)像素的像素值之差。
[0092] 本發(fā)明實(shí)施例通過(guò)對(duì)深度圖像序列進(jìn)行投影變換，得到的深度運(yùn)動(dòng)序列能夠有效 地描述自遮擋情況下的人體動(dòng)作，并且保留了在時(shí)間方向的運(yùn)動(dòng)分布情況。
[0093] 作為本發(fā)明的另一個(gè)優(yōu)選示例，還可以設(shè)置最小差異值εν。針對(duì)任意的第i幀深度 圖像，保留對(duì)應(yīng)像素的像素值之差的絕對(duì)值大于或等于所述最小差異值的差值，以所述 差值組成每一幀深度圖像對(duì)應(yīng)的正視角差分圖、側(cè)視角差分圖以及俯視角差分圖，以所述 正視角差分圖、側(cè)視角差分圖以及俯視角差分圖組成深度運(yùn)動(dòng)立方體Α，即