基于判別性超體素的人體動(dòng)作識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻處理中的特征提取以及機(jī)器學(xué)習(xí)方法，特別涉及一種基于判別性 超體素的人體動(dòng)作識(shí)別方法。
【背景技術(shù)】
[0002] 近年來，在互聯(lián)網(wǎng)、多媒體技術(shù)的快速發(fā)展下，視頻已經(jīng)成為人們獲取信息的重要 渠道，成為大量數(shù)字信息的載體。雖然計(jì)算機(jī)技術(shù)近年來也得到了長(zhǎng)足的發(fā)展，但利用計(jì)算 機(jī)自動(dòng)進(jìn)行視頻內(nèi)容的分析處理卻始終是多媒體領(lǐng)域的一大難題。人腦接受視覺信息的同 時(shí)能根據(jù)人類多年來在生活中潛移默化學(xué)習(xí)到的知識(shí)或生活常識(shí)對(duì)視覺信息進(jìn)行快速分 析，而計(jì)算機(jī)只能通過接受數(shù)字信息并進(jìn)行數(shù)字計(jì)算來進(jìn)行視頻分析，缺少一個(gè)智能化的 過程，速度慢且準(zhǔn)確度低。
[0003] 視頻處理中的視頻人體動(dòng)作識(shí)別由于其在人機(jī)交互、智能監(jiān)控、視頻內(nèi)容分析等 方面的廣泛的應(yīng)用范圍，成為近年來研究的熱門方向，取得了許多成果。但動(dòng)作識(shí)別任務(wù)還 存在很多挑戰(zhàn)。首先，由于人體動(dòng)作的自由度，無論是在同一種人體動(dòng)作中或各種不同的人 體動(dòng)作，動(dòng)作的表現(xiàn)形式總是有差別的。即使是顯示同一種動(dòng)作的視頻，由于不同人的身體 姿態(tài)，人體動(dòng)作速度，步速等的不同，也會(huì)有很大差異。一種理想的人體運(yùn)動(dòng)識(shí)別算法應(yīng)該 能夠適應(yīng)同一種動(dòng)作的變化，并能區(qū)分不同的動(dòng)作類別。其次，視頻的拍攝環(huán)境或設(shè)置是不 同的。例如，在復(fù)雜和移動(dòng)背景下的人的動(dòng)作鏡頭可能更難以識(shí)別。在錄制設(shè)置時(shí)，色調(diào)的 變化也是一個(gè)常見的變量。當(dāng)使用視頻攝像機(jī)捕捉到的視頻，不同的視覺角度，使動(dòng)作識(shí)別 更具挑戰(zhàn)性。為了克服模糊的動(dòng)作區(qū)分的問題，本方法尋求一種能在現(xiàn)實(shí)世界中應(yīng)用的方 法，使其在復(fù)雜的拍攝環(huán)境中識(shí)別準(zhǔn)確。
[0004] 在本文中，介紹一種通過能夠表征中層特征的方法。通過提取判別性超體素，有效 區(qū)分不同的動(dòng)作，并自動(dòng)判斷視頻背景的哪一部分能夠幫助進(jìn)行動(dòng)作的識(shí)別。先對(duì)視頻進(jìn) 行過分割，并通過一個(gè)訓(xùn)練的過程提取視頻幀的判別性塊，與過分割的結(jié)果取重疊部分，得 到判別性的超體素。然后對(duì)超體素進(jìn)行軌跡特征提取和描述。最后通過B0W框架構(gòu)造視頻特 征。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)存在的上述問題，本發(fā)明提出了一種基于判別性超體素的人體動(dòng)作 識(shí)別方法，利用非監(jiān)督的方法自動(dòng)提取同類動(dòng)作視頻中不同于其他類別的，能夠表征本類 特點(diǎn)的視頻超體素特征集合。然后再對(duì)這些超體素的進(jìn)行特征描述，最終完成進(jìn)行動(dòng)作的 識(shí)別，能夠更準(zhǔn)確地識(shí)別視頻中人體動(dòng)作的類別。
[0006] -種基于判別性超體素的人體動(dòng)作識(shí)別方法，包括以下步驟：
[0007] 對(duì)于進(jìn)行訓(xùn)練的視頻進(jìn)行以下步驟：
[0008] 步驟1，將輸入的視頻進(jìn)行過分割，得到視頻的超體素。
[0009] 步驟2,對(duì)輸入的視頻進(jìn)行關(guān)鍵幀提取。
[0010] 步驟3,對(duì)步驟2得到的圖像進(jìn)行判別性圖塊的提取。
[0011] 步驟4,將步驟3得到的判別性圖塊與步驟一得到的超體素在視頻中的位置進(jìn)行取 重疊的操作。
[0012] 步驟5,通過像素的運(yùn)動(dòng)軌跡特征及詞袋模型(bow)對(duì)視頻超體素進(jìn)行描述。
[0013] 步驟6,使用判別性的超體素作為字典，用bow的方法得到視頻特征。
[0014] 步驟7，用svm分類器得到分類模型。
[0015] 對(duì)于待識(shí)別的視頻，進(jìn)行以下步驟：
[0016] 步驟8,輸入進(jìn)行識(shí)別的視頻，分別進(jìn)行步驟1、2、5、6，得到待識(shí)別視頻的特征表 不。
[0017] 步驟9,將待識(shí)別視頻的特征送入svm分類器，得到識(shí)別結(jié)果。
[0018]本發(fā)明的方法具有以下優(yōu)點(diǎn)：
[0019] 1.本發(fā)明同時(shí)參考視頻的超體素特征(超體素特征是通過計(jì)算像素運(yùn)動(dòng)軌跡和顏 色的差異而得到的）與圖像的hog特征這兩種維度的特征，通過一個(gè)訓(xùn)練，學(xué)習(xí)的迭代過程， 提取視頻中具有判別性的超體素，能夠更準(zhǔn)確地對(duì)一個(gè)動(dòng)作進(jìn)行識(shí)別。
[0020] 2.本發(fā)明與傳統(tǒng)方法相比，能夠自動(dòng)地提取視頻中有效的部分，不僅包括人體中 的較有判別性的部分，還能提取到背景中的對(duì)本類動(dòng)作有表征作用的部分（比如打籃球動(dòng) 作中的籃球框等）。
【附圖說明】
[0021] 圖1為本發(fā)明所涉及方法的流程圖一；
[0022] 圖2為本發(fā)明所涉及方法的流程圖二。
【具體實(shí)施方式】
[0023]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明做進(jìn)一步的說明。
[0024]本發(fā)明所述方法的流程圖如圖1所示，包括以下步驟：
[0025]步驟1，將輸入的視頻進(jìn)行過分割。
[0026] 1.1輸入一段視頻，假設(shè)輸入的視頻幀是一幅3通道彩色圖像I，其寬和高分別為W、 H〇
[0027] 對(duì)該視頻進(jìn)行過分割，得到視頻的超體素。
[0028] 步驟2,對(duì)輸入的視頻進(jìn)行關(guān)鍵幀提取。
[0029] 對(duì)視頻通過每隔10幀取一幀的方法提取關(guān)鍵幀。
[0030] 步驟3,對(duì)步驟2得到的圖像進(jìn)行判別性圖塊的提取。
[0031] 3.1將訓(xùn)練圖像分為兩組:D，N。其中D是一類動(dòng)作的訓(xùn)練圖像，N是視頻集中其他動(dòng) 作的訓(xùn)練圖像。D，N又分別平均分為兩部分:D1，D1及N1，N2。
[0032] 3.2對(duì)D1和N1的所有圖像進(jìn)行如下操作：
[0033] 3.2.1先對(duì)圖像進(jìn)行圖塊采樣。把N*M的圖像進(jìn)行兩次降采樣，這樣一幅圖就出現(xiàn) 三個(gè)層級(jí)。在這三個(gè)層級(jí)上都根據(jù)有重疊地采樣的原則，取k*k的小方塊(本方法定為60* 60)，對(duì)這些小方塊提取傳統(tǒng)的H0G特征。
[0034] 3.2.2將D1提取的圖塊進(jìn)行以下操作：
[0035] 對(duì)圖塊進(jìn)行隨機(jī)采樣，并對(duì)采樣后的圖塊進(jìn)行去重（即兩塊的差如果低于某一閾 值，則去掉該塊）。根據(jù)剩余圖塊的個(gè)數(shù)，除以10后，得到后面要聚類的類別個(gè)數(shù)。利用k-means方法對(duì)圖塊進(jìn)行聚類，并去掉只包含3個(gè)以下元素的類別，每類的元素記做P(i)，給剩 余每一個(gè)類別分配一個(gè)svm分類器。
[0036] 3.2.3以該類的元素？(丨）作為正例，附的圖塊作為負(fù)例，在8￥111上進(jìn)行訓(xùn)練。再將02 提取的圖塊作為測(cè)試樣本放入每個(gè)分類器進(jìn)行測(cè)試，得分最高的t個(gè)樣本加入到原來的該 類元素 P(i)中。接下來，把D1與D2交換，N1與N2交換，在進(jìn)行3.2.3的操作，直到迭代多次得 到最終的svm模型。本方法的迭代次數(shù)是6次。
[0037] 3 · 2 · 4將3 · 2 · 1得到的方塊在本類的svm上進(jìn)行測(cè)試，如果在某一個(gè)svm上方塊的得 分高于某一閾值，則判定該塊為判別性的圖塊。
[0038]步驟4,將步驟3得到的判別性圖塊與步驟1得到的超體素在視頻中的位置進(jìn)行取 重疊的操作。公式如下：
[0040]其中，F(xiàn)i是視頻V的第i個(gè)關(guān)鍵幀，Pij是Fi里的第j個(gè)判別性圖塊。DSk是視頻中第k 個(gè)超體素。S(.)函數(shù)表示一片區(qū)域中的像素個(gè)數(shù)。T是本方法設(shè)置的重疊的閾值。
[0041 ]至此，得到了判別性的超體素。
[0042] 步驟5，通過像素的運(yùn)動(dòng)軌跡特征及bow對(duì)視頻超體素進(jìn)行描述。
[0043] 5.1使用追蹤工具對(duì)像素點(diǎn)進(jìn)行追蹤，追蹤長(zhǎng)度為15幀，得到一些長(zhǎng)為15幀的運(yùn)動(dòng) 軌跡。
[0044] 5.2對(duì)軌跡進(jìn)行描述
[0045] 對(duì)軌跡的描述分為四個(gè)部分，一共426維：
[0046] 第1-30維，共30維，前30維表示一個(gè)像素的運(yùn)動(dòng)方向。公式如下：
[0048] 其中 Λ Pt= (P(t+1)-Pt) = (x(t+1)-xt，y(t+1)-yt)，
[0049] t表示第t幀，L為15，xt，yt表示在第t幀時(shí)該像素的x，y軸坐標(biāo).
[0050] 下面的特征是通過先構(gòu)造一個(gè)立體塊來得到的，立體塊的構(gòu)造方法如下：
[0051] 首先對(duì)于該條軌跡的每幀的像素，取以該像素位置為中心，以N為邊長(zhǎng)的正方形(N = 32)，得到一個(gè)以N*N的正方形為截面，L為長(zhǎng)度的立體塊。將該立體快分成a*a*b的小的立 體塊，其中a = 2，b = 3。這樣就得到了 12個(gè)小的立體塊。分別對(duì)這12個(gè)小塊提取常規(guī)的H0G， HOF，MHBx，MBHy特征，將這些特征拼接，得到第31-425維的特征，如下：
[0052] 第31 -126維，共96維（8*2*2*3)，表示H0G特征。
[0053] 第 127-234維，共 108 維（9*2*2*3)，表示 H0F 特征。
[0054] 第235-330維，共96維（8*2*2*3)，表