一種人體動作的識別方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識別技術(shù)領(lǐng)域，尤其涉及一種人體動作的識別方法及裝置。
【背景技術(shù)】
[0002] 為了準確衡量動作標簽的相似度，現(xiàn)有技術(shù)提出了多種基于深度圖像序列的人體 動作識別方法，比如三維點云、人體骨架模型以及超曲面法向量等方法。然而，現(xiàn)有技術(shù)通 過深度圖像序列進行人體動作識別的方法依然存在以下幾個方面的缺點：
[0003] 1.在人體自遮擋情況下，比如"胸前揮手"，動作識別的準確度不高；
[0004] 2.對物體在時間尺度上的運動信息的描述能力不夠強，比如"放下東西"和"拿起 東西"；
[0005] 3.所選取的特征較為復(fù)雜且數(shù)據(jù)維度高，增加了特征抽取和動作分類的計算復(fù)雜 度，實用性較差。

【發(fā)明內(nèi)容】

[0006] 鑒于此，本發(fā)明實施例提供一種人體動作的識別方法及裝置，以解決現(xiàn)有人體動 作識別方法存在自遮擋的問題，增強對人體運動的描述能力，提高人體動作的識別準確度。
[0007] 第一方面，提供了一種人體動作的識別方法，所述識別方法包括：
[0008] 獲取深度圖像序列，對所述深度圖像序列進行變換得到對應(yīng)的深度運動序列；
[0009] 對所述深度運動序列進行時間維度上的劃分，獲得每一個時間區(qū)域內(nèi)的運動歷史 立方體；
[0010] 針對每一個時間區(qū)域內(nèi)的運動歷史立方體，按照預(yù)設(shè)的空間網(wǎng)格對所述運動歷史 立方體進行空間維度上的劃分，獲得每一個運動歷史立方體對應(yīng)的多個空間子立方塊；
[0011] 根據(jù)每一個運動歷史立方體對應(yīng)的空間子立方塊計算所述運動歷史立方體對應(yīng) 的特征向量，連接所述每一個時間區(qū)域內(nèi)的運動歷史立方體對應(yīng)的特征向量，得到所述深 度運動序列的特征向量；
[0012] 根據(jù)所述深度運動序列的特征向量，利用支持向量機SVM進行模型訓(xùn)練和測試，以 得到人體動作的識別結(jié)果。
[0013] 第二方面，提供了一種人體動作的識別裝置，所述識別裝置包括：
[0014] 獲取模塊，用于獲取深度圖像序列，對所述深度圖像序列進行變換得到對應(yīng)的深 度運動序列；
[0015] 第一劃分模塊，用于對所述深度運動序列進行時間維度上的劃分，獲得每一個時 間區(qū)域內(nèi)的運動歷史立方體；
[0016] 第二劃分模塊，用于針對每一個時間區(qū)域內(nèi)的運動歷史立方體，按照預(yù)設(shè)的空間 網(wǎng)格對所述運動歷史立方體進行空間維度上的劃分，獲得每一個運動歷史立方體對應(yīng)的多 個空間子立方塊；
[0017] 特征提取模塊，用于根據(jù)每一個運動歷史立方體對應(yīng)的空間子立方塊計算所述運 動歷史立方體對應(yīng)的特征向量，連接所述每一個時間區(qū)域內(nèi)的運動歷史立方體對應(yīng)的特征 向量，得到所述深度運動序列的特征向量；
[0018] 訓(xùn)練模塊，用于根據(jù)所述深度運動序列的特征向量，利用支持向量機SVM進行模型 訓(xùn)練和測試，以得到人體動作的識別結(jié)果。
[0019] 與現(xiàn)有技術(shù)相比，本發(fā)明實施例通過將獲取到的深度圖像序列變換為對應(yīng)的深度 運動序列，解決了現(xiàn)有人體動作識別方法存在的自遮擋問題。再通過對所述深度運動序列 進行時間維度上的劃分以及空間維度上的劃分，得到多個空間子立方塊，然后根據(jù)所述空 間子立方塊計算得到所述運動歷史立方體對應(yīng)的特征向量，進而得到所述深度運動序列的 特征向量;最后利用支持向量機SVM進行模型訓(xùn)練和測試，以得到人體動作的識別結(jié)果。通 過本發(fā)明實施例所得到的深度運動序列的特征向量增強了對人體運動的描述能力，有效地 描述了人體在空間的位移變化情況，從而提高了對人體動作識別的準確度，且解決了現(xiàn)有 人體動作識別方法存在的自遮擋問題。
【附圖說明】
[0020] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他附圖。
[0021] 圖1是本發(fā)明實施例提供的人體動作的識別方法的實現(xiàn)流程圖；
[0022] 圖2是本發(fā)明實施例提供的人體動作的識別方法中步驟S101的具體實現(xiàn)流程圖；
[0023] 圖3是本發(fā)明實施例提供的深度運動序列的獲取示意圖；
[0024] 圖4是本發(fā)明實施例提供的人體動作的識別方法中步驟S102的具體實現(xiàn)流程圖；
[0025] 圖5是本發(fā)明實施例提供的3層時間立方金字塔的劃分示意圖；
[0026] 圖6是本發(fā)明實施例提供的運動歷史立方體在空間維度上的劃分示意圖；
[0027] 圖7是本發(fā)明實施例提供的人體動作的識別方法中步驟S104的具體實現(xiàn)流程圖；
[0028] 圖8是本發(fā)明實施例提供的人體動作的識別裝置的組成結(jié)構(gòu)圖。
【具體實施方式】
[0029]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0030]本發(fā)明實施例通過將獲取到的深度圖像序列變換為對應(yīng)的深度運動序列，解決了 現(xiàn)有人體動作識別方法存在的自遮擋問題。再通過對所述深度運動序列進行時間維度上的 劃分以及空間維度上的劃分，得到多個空間子立方塊，然后根據(jù)所述空間子立方塊計算得 到所述運動歷史立方體對應(yīng)的特征向量，進而得到所述深度運動序列的特征向量;最后利 用支持向量機SVM進行模型訓(xùn)練和測試，以得到人體動作的識別結(jié)果。通過本發(fā)明實施例所 得到的深度運動序列的特征向量增強了對人體運動的描述能力，有效地描述了人體在空間 的位移變化情況，從而提高了對人體動作識別的準確度。本發(fā)明還提供了相應(yīng)的裝置，以下 分別進行詳細的說明。
[0031]圖1示出了本發(fā)明實施例提供的人體動作的識別方法的實現(xiàn)流程。
[0032] 參閱圖1，所述識別方法包括：
[0033]在步驟S101中，獲取深度圖像序列，對所述深度圖像序列進行變換得到對應(yīng)的深 度運動序列。
[0034]在本發(fā)明實施例中，所述深度圖像序列通過Kinect傳感器獲取。所述Kinect傳感 器中的深度攝像頭在獲取圖像信息時，實時獲取物體的距離信息，并且不受光照變化和紋 理信息的影響，即使是黑暗環(huán)境下也有很好的適應(yīng)性。
[0035] 在這里，對所述深度圖像序列進行變換包括對所述深度圖像序列進行投影變換和 差異處理。圖2示出了本發(fā)明實施例提供的人體動作的識別方法中步驟S101的具體實現(xiàn)流 程。參閱圖2,所述步驟S101包括：
[0036] 在步驟S201中，獲取所述深度圖像序列中的任意第i幀深度圖像，將所述第i幀深 度圖像投影到笛卡爾坐標系的三個正交平面上，獲取每一個正交平面上的投影圖像，得到 所述第i幀深度圖像的正視角投影圖像、側(cè)視角投影圖像以及俯視角投影圖像。
[0037]在步驟S202中，根據(jù)所述第i幀深度圖像的正視角投影圖像、側(cè)視角投影圖像以及 俯視角投影圖像，計算其對應(yīng)的正視角差分圖、側(cè)視角差分圖以及俯視角差分圖，組合所述 正視角差分圖、側(cè)視角差分圖以及俯視角差分圖，得到所述第i幀深度圖像對應(yīng)的深度運動 立方體。
[0038]在步驟S203中，遍歷所述深度圖像序列中的每一幀深度圖像，組合每一幀深度圖 像對應(yīng)的深度運動立方體，得到所述深度圖像序列對應(yīng)的深度運動序列。
[0039]其中，所述第i幀深度圖像的正視角差分圖為第i+Ι幀深度圖像的正視角投影圖像 與第i幀深度圖像的正視角投影圖像之間對應(yīng)像素的像素值之差;所述第i幀深度圖像的側(cè) 視角差分圖為第i+ι幀深度圖像的側(cè)視角投影圖像與第i幀深度圖像的側(cè)視角投影圖像之 間對應(yīng)像素的像素值之差;所述第i幀深度圖像的俯視角差分圖為第i+ι幀深度圖像的俯視 角投影圖像與第i幀深度圖像的俯視角投影圖像之間對應(yīng)像素的像素值之差。
[0040] 為了便于說明，圖3示出了本發(fā)明實施例提供的深度運動序列的獲取示意圖。假設(shè) 給定一個包含N幀的深度圖像序列{I1，〗 2，〗3，·