專利名稱：基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法及裝置。
背景技術(shù)：
隨著現(xiàn)代信息技術(shù)向智能化、人性化的方向發(fā)展，各種人機(jī)交互、虛擬現(xiàn)實(shí)、智能監(jiān)控系統(tǒng)相繼出現(xiàn)?；谟?jì)算機(jī)視覺(jué)的人體姿勢(shì)估計(jì)、動(dòng)作識(shí)別、行為理解等技術(shù)在其中扮演了重要的角色。近年來(lái)，微軟公司Kinect深度攝像機(jī)的發(fā)布，使得實(shí)時(shí)獲取場(chǎng)景三維信息的成本大幅度降低，也為動(dòng)作識(shí)別相關(guān)領(lǐng)域提供了更多可能性。然而，由于人體的非剛性、運(yùn)動(dòng)方式的多樣性、位移的隨意性，實(shí)時(shí)、魯棒地識(shí)別人體動(dòng)作仍面臨著很多挑戰(zhàn)?，F(xiàn)有技術(shù)中，對(duì)于深度圖像的動(dòng)作識(shí)別主要有兩大類方法:一類是借用已有工具，例如Microsoft Kinect SDK等直接獲取人體關(guān)節(jié)點(diǎn)或骨架信息,再使用傳統(tǒng)的模式識(shí)別算法進(jìn)行識(shí)別；另一·類是從原始深度圖像數(shù)據(jù)中提取圖像特征。前者雖然實(shí)施方便，但難以在自主研發(fā)的產(chǎn)品中使用，而且識(shí)別性能主要受制于骨架提取工具的準(zhǔn)確性。后者按照分類算法可分為運(yùn)動(dòng)模板匹配(Action template)和狀態(tài)空間方法(Temporal state-spacemodels)。運(yùn)動(dòng)模板匹配也稱為直接分類，是將一組圖像序列看成一個(gè)靜態(tài)的形狀模式，其存在難以準(zhǔn)確描述動(dòng)作的動(dòng)態(tài)過(guò)程的缺陷；狀態(tài)空間方法是將動(dòng)作視為一系列姿勢(shì)或狀態(tài)之間的動(dòng)態(tài)轉(zhuǎn)移過(guò)程，以此建立概率模型，如隱馬爾可夫模型(Hidden MarkovModels, HMM)、條件隨機(jī)場(chǎng)模型(Conditional Random Fields, CRF)、最大摘馬爾可夫模型(Maximum Entropy Markov Models, MEMM)等。目前，對(duì)于深度圖像動(dòng)作識(shí)別的研究還非常有限，現(xiàn)有技術(shù)存在一個(gè)共同的缺點(diǎn):由于提取的特征與人體區(qū)域的絕對(duì)坐標(biāo)相關(guān)，因此在識(shí)別前必須進(jìn)行歸一化，需準(zhǔn)確地檢測(cè)目標(biāo)人體在圖像中的位置和大小。然而在實(shí)際應(yīng)用場(chǎng)合中，用戶的運(yùn)動(dòng)具有很大的隨意性，尤其是復(fù)雜的動(dòng)作可能伴隨著身體的平移、傾斜或者高度的變化等等，經(jīng)常導(dǎo)致歸一化的偏差，進(jìn)而影響識(shí)別準(zhǔn)確率；而且，現(xiàn)有技術(shù)中深度圖像動(dòng)作識(shí)別方法的識(shí)別效率仍有待提聞。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問(wèn)題本發(fā)明的目的在于提供一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法，用于提升動(dòng)作識(shí)別的效率以及動(dòng)作識(shí)別的準(zhǔn)確性和魯棒性；進(jìn)一步的，本發(fā)明還提供了一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別裝置。(二)技術(shù)方案本發(fā)明技術(shù)方案如下:一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法，包括步驟:S1.從目標(biāo)深度圖像序列中提取目標(biāo)動(dòng)作剪影，從訓(xùn)練深度圖像集中提取訓(xùn)練動(dòng)作剪影；S2.對(duì)訓(xùn)練動(dòng)作剪影進(jìn)行姿勢(shì)聚類，并對(duì)聚類結(jié)果進(jìn)行動(dòng)作標(biāo)定；S3.計(jì)算目標(biāo)動(dòng)作剪影以及訓(xùn)練動(dòng)作剪影的姿勢(shì)特征；S4.結(jié)合訓(xùn)練動(dòng)作剪影的姿勢(shì)特征進(jìn)行基于高斯混合模型的姿勢(shì)訓(xùn)練并構(gòu)建姿勢(shì)模型；S5.計(jì)算聚類結(jié)果的每個(gè)動(dòng)作中各姿勢(shì)間的轉(zhuǎn)移概率并構(gòu)建動(dòng)作圖模型；S6.根據(jù)所述目標(biāo)動(dòng)作剪影的姿勢(shì)特征、姿勢(shì)模型以及動(dòng)作圖模型對(duì)目標(biāo)深度圖像序列進(jìn)行動(dòng)作識(shí)別。優(yōu)選的，所述步驟S3包括:S31.將動(dòng)作剪影在 直角坐標(biāo)系的三個(gè)坐標(biāo)平面分別投影；S32.在第c個(gè)坐標(biāo)平而的投影輪廓上選取ηε個(gè)采樣點(diǎn)；S33.對(duì)于每個(gè)采樣盧/ 計(jì)算其多維姿勢(shì)特征向量S34.每個(gè)坐標(biāo)平面上所有采樣點(diǎn)的多維姿勢(shì)特征向量^的集合Xc組成姿勢(shì)特征
{xc}。優(yōu)選的，所述步驟S33包括:以#為中心的a條輻線和以夕力圓心的b個(gè)同心圓形成k個(gè)網(wǎng)格；多維姿勢(shì)特征向量<表示第c個(gè)坐標(biāo)平面上的其他采樣點(diǎn)qe相對(duì)于P:的坐標(biāo)分布:
權(quán)利要求
1.一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，包括步驟: 51.從目標(biāo)深度圖像序列中提取目標(biāo)動(dòng)作剪影，從訓(xùn)練深度圖像集中提取訓(xùn)練動(dòng)作剪影; 52.對(duì)訓(xùn)練動(dòng)作剪影進(jìn)行姿勢(shì)聚類，并對(duì)聚類結(jié)果進(jìn)行動(dòng)作標(biāo)定； 53.計(jì)算目標(biāo)動(dòng)作剪影以及訓(xùn)練動(dòng)作剪影的姿勢(shì)特征； 54.結(jié)合訓(xùn)練動(dòng)作剪影的姿勢(shì)特征進(jìn)行基于高斯混合模型的姿勢(shì)訓(xùn)練并構(gòu)建姿勢(shì)模型； 55.計(jì)算聚類結(jié)果的每個(gè)動(dòng)作中各姿勢(shì)間的轉(zhuǎn)移概率并構(gòu)建動(dòng)作圖模型； 56.根據(jù)所述目標(biāo)動(dòng)作剪影的姿勢(shì)特征、姿勢(shì)模型以及動(dòng)作圖模型對(duì)目標(biāo)深度圖像序列進(jìn)行動(dòng)作識(shí)別。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S3包括: 531.將動(dòng)作剪影在直角坐標(biāo)系的三個(gè)坐標(biāo)平面分別投影； 532.在第c個(gè)坐標(biāo)平面的投影輪廓上選取ηε個(gè)采樣點(diǎn)； 533.對(duì)于每個(gè)采樣點(diǎn)，計(jì)算其多維姿勢(shì)特征向量冗； 534.每個(gè)坐標(biāo)平面上所有采樣點(diǎn)的多維姿勢(shì)特征向量A的集合f組成姿勢(shì)特征{xc}。`
3.根據(jù)權(quán)利要求2所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S33包括: 以P,為中心的a條福線和以為圓心的b個(gè)同心圓形成k個(gè)網(wǎng)格； 多維姿勢(shì)特征向量片表示第c個(gè)坐標(biāo)平面上的其他采樣點(diǎn)f相對(duì)于的坐標(biāo)分布:Kik) = HcIc t P : e Γ: (qc - P-)e bin(k)}，c e {1,2,3}; 其中，fc表示第C個(gè)坐標(biāo)平面上所有采樣點(diǎn)的集合。
4.根據(jù)權(quán)利要求3所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述同心圓的直徑根據(jù)fe中各采樣點(diǎn)距離的平均值I設(shè)置。
5.根據(jù)權(quán)利要求4所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，a=12,b=5, k=60 ;所述同心圓的直徑分別為0.1251,0.251,0.51、1、21。
6.根據(jù)權(quán)利要求3-5任意一項(xiàng)所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S4包括: 將訓(xùn)練動(dòng)作剪影在第c個(gè)坐標(biāo)平面上投影的姿勢(shì)模型分量P (xc I ω》用K個(gè)高斯分布的混合表示: P^c I 政)=nfx聲(d-’Σ w); 其中，Ν(.)為高斯函數(shù)，、Σ 、疋分別是第t個(gè)高斯核的均值、協(xié)方差矩陣及權(quán)重； 構(gòu)建姿勢(shì)模型:⑷歷)= p(xc IV)。 c~l
7.根據(jù)權(quán)利要求6所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述動(dòng)作圖模型包括若干帶權(quán)有向圖；每個(gè)帶權(quán)有向圖對(duì)應(yīng)一種動(dòng)作；帶權(quán)有向圖中的一個(gè)節(jié)點(diǎn)表示一種姿勢(shì)，帶權(quán)邊線表示兩種姿勢(shì)間的轉(zhuǎn)移概率。
8.根據(jù)權(quán)利要求7所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S6包括: 561.計(jì)算每一幀目標(biāo)深度圖像當(dāng)前最有可能的姿勢(shì)序列:
9.根據(jù)權(quán)利要求8所述的實(shí)時(shí)人體動(dòng)作識(shí)別方法，其特征在于，所述步驟S65包括: 計(jì)算動(dòng)作Ψi中產(chǎn)生S*的概率
10.一種實(shí)現(xiàn)權(quán)利要求1-9任意一項(xiàng)所述的基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法的裝置，其特征在于，包括: 動(dòng)作剪影提取模塊，用于從目標(biāo)深度圖像序列中提取目標(biāo)動(dòng)作剪影，從訓(xùn)練深度圖像集中提取訓(xùn)練動(dòng)作剪影； 特征提取模塊，用于計(jì)算目標(biāo)動(dòng)作剪影以及訓(xùn)練動(dòng)作剪影的多維姿勢(shì)特征； 姿勢(shì)模型構(gòu)建模塊，用于結(jié)合訓(xùn)練動(dòng)作剪影的多維姿勢(shì)特征進(jìn)行基于高斯混合模型的姿勢(shì)訓(xùn)練并構(gòu)建姿勢(shì)模型； 動(dòng)作圖模型構(gòu)建模塊，用于對(duì)訓(xùn)練動(dòng)作剪影進(jìn)行姿勢(shì)聚類，并對(duì)聚類結(jié)果進(jìn)行動(dòng)作標(biāo)定，計(jì)算聚類結(jié)果的每個(gè)動(dòng)作中各姿勢(shì)間的轉(zhuǎn)移概率并構(gòu)建動(dòng)作圖模型； 動(dòng)作識(shí)別模塊，根據(jù)所述目標(biāo)動(dòng)作剪影的多維姿勢(shì)特征、姿勢(shì)模型以及動(dòng)作圖模型對(duì)目標(biāo)深度圖像序列進(jìn)行動(dòng)作識(shí)別。
全文摘要
本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種基于深度圖像序列的實(shí)時(shí)人體動(dòng)作識(shí)別方法及裝置。該方法包括步驟S1.從目標(biāo)深度圖像序列中提取目標(biāo)動(dòng)作剪影，從訓(xùn)練深度圖像集中提取訓(xùn)練動(dòng)作剪影；S2.對(duì)訓(xùn)練動(dòng)作剪影進(jìn)行姿勢(shì)聚類，并對(duì)聚類結(jié)果進(jìn)行動(dòng)作標(biāo)定；S3.計(jì)算目標(biāo)動(dòng)作剪影以及訓(xùn)練動(dòng)作剪影的姿勢(shì)特征；S4.結(jié)合訓(xùn)練動(dòng)作剪影的姿勢(shì)特征進(jìn)行基于高斯混合模型的姿勢(shì)訓(xùn)練并構(gòu)建姿勢(shì)模型；S5.計(jì)算聚類結(jié)果的每個(gè)動(dòng)作中各姿勢(shì)間的轉(zhuǎn)移概率并構(gòu)建動(dòng)作圖模型；S6.根據(jù)所述目標(biāo)動(dòng)作剪影的姿勢(shì)特征、姿勢(shì)模型以及動(dòng)作圖模型對(duì)目標(biāo)深度圖像序列進(jìn)行動(dòng)作識(shí)別。本發(fā)明的方法提升了動(dòng)作識(shí)別的效率及動(dòng)作識(shí)別的準(zhǔn)確性和魯棒性。
文檔編號(hào)G06K9/00GK103246884SQ20131019296
公開(kāi)日2013年8月14日 申請(qǐng)日期2013年5月22日 優(yōu)先權(quán)日2013年5月22日
發(fā)明者王貴錦, 李艷麗, 何禮, 林行剛 申請(qǐng)人:清華大學(xué)