模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法
【專利摘要】本發(fā)明公開(kāi)了一種模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，步驟為：對(duì)視頻圖像序列進(jìn)行預(yù)處理；特征提?。航1單元模型，通過(guò)S1進(jìn)行張量局部最大值濾波處理得到C1單元模型；從訓(xùn)練階段得到的C1單元模型中隨機(jī)提取片段與C1進(jìn)行模版匹配得到S2單元模型，對(duì)S2進(jìn)行全局最大值濾波，得到C2單元模型；選取訓(xùn)練階段得到的C2單元模型中隨機(jī)提取片段與C2單元模型進(jìn)行模版匹配得到S3單元模型，對(duì)S3單元模型進(jìn)行全局最大值濾波，得到特征張量C3單元；先后將經(jīng)過(guò)預(yù)處理過(guò)的訓(xùn)練樣本和測(cè)試樣本進(jìn)行上述特征提取處理，得到特征張量C3；特征張量C3輸入分類器中進(jìn)行分類。本發(fā)明能夠高效﹑快速且準(zhǔn)確地識(shí)別運(yùn)動(dòng)目標(biāo)的動(dòng)作。
【專利說(shuō)明】模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)【技術(shù)領(lǐng)域】，特別涉及一種模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法。
【背景技術(shù)】
[0002]在計(jì)算機(jī)視覺(jué)領(lǐng)域，動(dòng)作識(shí)別是近年來(lái)被廣泛關(guān)注的研究熱點(diǎn)。在視頻監(jiān)控領(lǐng)域，傳統(tǒng)的視頻監(jiān)控手段都無(wú)法擺脫人的監(jiān)控和管理，由于人對(duì)視頻監(jiān)控的注意力是隨著時(shí)間逐步衰減的，長(zhǎng)期的傳統(tǒng)視頻監(jiān)控往往效率低下，丟失報(bào)警率高，因此傳統(tǒng)的視頻監(jiān)控往往只起到犯罪發(fā)生后的取證作用。如果能夠?qū)σ曨l序列進(jìn)行自動(dòng)分析和處理，識(shí)別其中人的動(dòng)作，那么視頻監(jiān)控還可以用來(lái)預(yù)防犯罪的發(fā)生、對(duì)突發(fā)危險(xiǎn)進(jìn)行預(yù)警，從而發(fā)揮更大的作用。
[0003]在人機(jī)交互領(lǐng)域，人機(jī)交互的自然性愈來(lái)愈為系統(tǒng)設(shè)計(jì)所重視，理想的人機(jī)交互要求機(jī)器像人一樣地理解人的行為動(dòng)作，由此激發(fā)了基于視頻理解的人動(dòng)作識(shí)別的大量研究，由此可見(jiàn)，人的動(dòng)作行為識(shí)別是安全監(jiān)控、人機(jī)交互、視頻檢索等應(yīng)用領(lǐng)域的核心關(guān)鍵技術(shù)，是一項(xiàng)非常有意義的工作。在計(jì)算機(jī)圖像處理過(guò)程中，由于陰影和光照的變化、運(yùn)動(dòng)的非剛性和高自由度、動(dòng)作發(fā)生場(chǎng)景的變化和人運(yùn)動(dòng)的模糊性等因素的影響，使得人的動(dòng)作理解成為一個(gè)復(fù)雜且極具挑戰(zhàn)性的任務(wù)?，F(xiàn)有技術(shù)中所采用的動(dòng)作識(shí)別方法主要可以歸納為三類:非參數(shù)法、容器法、參數(shù)法。但是這些動(dòng)作識(shí)別方法的魯棒性都不夠強(qiáng)，而且對(duì)運(yùn)動(dòng)目標(biāo)的大小變化以及一定范圍內(nèi)運(yùn)動(dòng)速度的變化非常敏感。
[0004]人眼作為一個(gè)優(yōu)秀的天然視覺(jué)系統(tǒng)，其對(duì)視覺(jué)信息的處理機(jī)制非常完善，其工作性能遠(yuǎn)遠(yuǎn)比當(dāng)前的計(jì)算機(jī)視覺(jué)系統(tǒng)優(yōu)越。因此研究模擬視皮層神經(jīng)細(xì)胞反應(yīng)機(jī)制的視覺(jué)感知算法，將有助于提高計(jì)算機(jī)視覺(jué)系統(tǒng)的性能。隨著生物神經(jīng)學(xué)方面對(duì)生動(dòng)運(yùn)動(dòng)識(shí)別研究的不斷深入，部分視覺(jué)機(jī)制已被人們所了解，并在此基礎(chǔ)上提出了神經(jīng)學(xué)模型以及相應(yīng)的生物視覺(jué)信息處理框架。在生物視覺(jué)系統(tǒng)中，識(shí)別是基于模板匹配的分層前饋型結(jié)構(gòu)，其處理過(guò)程在大腦皮層中可以分為腹側(cè)通路和背側(cè)通路兩條通道。腹側(cè)通路主要經(jīng)由初級(jí)視皮層(VI，V4區(qū))到達(dá)能夠?qū)?fù)雜形狀產(chǎn)生反應(yīng)的下顳葉皮層IT區(qū)，主要處理目標(biāo)的形狀、大小和顏色等靜態(tài)信息，并具有位置尺度不變性。背側(cè)通路則主要通過(guò)初級(jí)視皮層Vl到中顳葉皮層MT區(qū)，主要處理動(dòng)作和其他空間信息，實(shí)現(xiàn)視覺(jué)中運(yùn)動(dòng)信息的提取。最后大腦皮層STS區(qū)中的神經(jīng)元將各部分信息整合，獲得對(duì)視覺(jué)信息的認(rèn)知。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種高效、快速且準(zhǔn)確的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法。
[0006]本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn):模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，包括以下步驟:
[0007](I)對(duì)視頻圖像序列中運(yùn)動(dòng)目標(biāo)進(jìn)行中心定位的預(yù)處理，將視頻圖像中的運(yùn)動(dòng)目標(biāo)限定在一個(gè)范圍內(nèi)；
[0008](2)特征提取:
[0009](2-1)使用梯度模型、光流模型或時(shí)空特征模型對(duì)經(jīng)過(guò)步驟(I)預(yù)處理的視頻圖像序列進(jìn)行處理，根據(jù)處理結(jié)果建立一個(gè)模擬Vl區(qū)簡(jiǎn)單細(xì)胞對(duì)運(yùn)動(dòng)方向選擇性的SI單元模型；
[0010](2-2)對(duì)SI單元模型進(jìn)行正方形的結(jié)構(gòu)元素膨脹圖像處理，對(duì)SI單元模型進(jìn)行張量局部最大值濾波處理，得到Cl單元模型；
[0011](2-3)從步驟(2-2)在訓(xùn)練視頻圖像序列樣本階段得到的Cl單元模型中隨機(jī)提取P個(gè)n*n的片段，并建立第一片段庫(kù)，然后將從Cl單元模型隨機(jī)提取的P個(gè)n*n的片段寫(xiě)入到第一片段庫(kù)中；
[0012](2-4)從第一片段庫(kù)中讀取所有n*n大小的片段，將步驟(2-2)中得到的Cl單元模型與讀取到的每一個(gè)n*n大小的片段進(jìn)行模版匹配得到S2單元模型，
[0013](2-5)對(duì)S2單元模型進(jìn)行全局最大值濾波，得到C2單元模型；
[0014](2-6)從步驟(2-5)在訓(xùn)練視頻圖像序列樣本階段得到的C2單元模型中隨機(jī)提取P個(gè)n*n的片段，并建立第二片段庫(kù)，然后將從Cl單元模型隨機(jī)提取的P個(gè)n*n的片段寫(xiě)入到第二片段庫(kù)中；
[0015](2-7)從第二片段庫(kù)中讀取所有n*n大小的片段，將步驟(2-5)中得到的C2單元模型與讀取到的每一個(gè)n*n大小的片段進(jìn)行模版匹配得到S3單元模型；
[0016](2-8)對(duì)S3單元模型進(jìn)行全局最大值濾波，得到特征張量C3單元；
[0017](3)先將經(jīng)過(guò)步驟(I)處理過(guò)的訓(xùn)練視頻圖像序列樣本進(jìn)行步驟(2)的處理，得到特征張量C3單元，然后將特征張量C3單元輸入到分類器中進(jìn)行處理；在訓(xùn)練視頻圖像序列樣本完成上述操作時(shí)，將經(jīng)過(guò)步驟(I)處理過(guò)的測(cè)試視頻圖像序列經(jīng)過(guò)步驟(2-1)至(2-2)、(2-4)至(2-5)以及(2-7)至(2-8)處理，得到特征張量C3單元，然后將特征張量C3單元輸入到分類器中進(jìn)行分類，從而完成動(dòng)作識(shí)別。
[0018]優(yōu)選的，所述步驟(I)視頻圖像序列的預(yù)處理具體過(guò)程為:
[0019](1-1)采用高斯混合模型判斷視頻圖像中每一個(gè)像素點(diǎn)是否為運(yùn)動(dòng)點(diǎn)；
[0020](1-2)計(jì)算出每一幀視頻圖像中運(yùn)動(dòng)點(diǎn)的中心點(diǎn)；
[0021](1-3)根據(jù)運(yùn)動(dòng)點(diǎn)的中心點(diǎn)選取視頻圖像中運(yùn)動(dòng)目標(biāo)的范圍，將視頻圖像中的運(yùn)動(dòng)目標(biāo)限定在一個(gè)范圍內(nèi)。
[0022]優(yōu)選的，所述步驟(2-1)中梯度模型結(jié)合了空間上兩個(gè)方向的梯度和視頻序列中時(shí)間軸上的梯度建立Si單元模型，具體過(guò)程如下:
[0023]首先計(jì)算出每一巾貞視頻圖像在X軸和y軸的梯度Ix和Iy，及相鄰巾貞之間的時(shí)間梯度It ;其中梯度Ix和Iy由Sobel算子分別求x方向和y方向的方向?qū)?shù)得到:
[0024]SobeKframel, Ix, CV_32FC1,1,0, 3)；
[0025]SobeKframel, Iy, CV_32FC1,0,1, 3)；
[0026]然后通過(guò)梯度Ix、Iy和It得到以下結(jié)果:
[0027]It/(Ix+l) I ；
[0028]It/(Iy+l) | ；
[0029]最后將上述得到的結(jié)果It/(Ix+l) I和It/(Iy+l) |分別作為SI單元模型的第一維和第二維向量，將X方向和y方向的梯度模型計(jì)算結(jié)果Ix和Iy作為SI單元模型的第三維，將時(shí)間方向的幀數(shù)作為SI單元模型的第四維。
[0030]優(yōu)選的，所述步驟(2-2)中對(duì)SI單元模型進(jìn)行8X8正方形的結(jié)構(gòu)元素膨脹圖像處理，在SI單元模型選用張量局部最大值濾波，得到Cl單元模型。
[0031]優(yōu)選的，所述步驟(2-3)中在訓(xùn)練視頻圖像序列樣本階段，對(duì)每個(gè)動(dòng)作行為選擇T個(gè)關(guān)鍵幀；對(duì)應(yīng)每個(gè)關(guān)鍵幀，在Cl單元模型中隨機(jī)選取q個(gè)片段；選取到的片段分別為Pjl, Pj2,..., PJq； j=l, 2...T，其中Pjq表示對(duì)應(yīng)第j個(gè)關(guān)鍵幀中，在Cl單元模型中隨機(jī)選取的第q個(gè)片段；所述從Cl單元模型中選取的片段總數(shù)P為T(mén)Xq個(gè)。
[0032]更進(jìn)一步的，所述步驟(2)中所述對(duì)每個(gè)動(dòng)作行為選擇的關(guān)鍵幀數(shù)目T為2，對(duì)應(yīng)每個(gè)關(guān)鍵幀，在Cl單元模型中隨機(jī)選取的片段個(gè)數(shù)q為32，所述從Cl單元模型中選取的片段總數(shù)P為64 ;各片段的大小n*n為4*4。
[0033]更進(jìn)一步的，所述步驟(2-4)中采用稀疏特征模式或稠密特征模式進(jìn)行模版匹配得到S2單元模型，其中采用稀疏特征模式進(jìn)行模版匹配的公式:
[0034]
【權(quán)利要求】
1.模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，包括以下步驟: (1)對(duì)視頻圖像序列中運(yùn)動(dòng)目標(biāo)進(jìn)行中心定位的預(yù)處理，將視頻圖像中的運(yùn)動(dòng)目標(biāo)限定在一個(gè)范圍內(nèi)； (2)特征提取: (2-1)使用梯度模型、光流模型或時(shí)空特征模型對(duì)經(jīng)過(guò)步驟(1)預(yù)處理的視頻圖像序列進(jìn)行處理，根據(jù)處理結(jié)果建立一個(gè)模擬Vl區(qū)簡(jiǎn)單細(xì)胞對(duì)運(yùn)動(dòng)方向選擇性的SI單元模型；(2-2)對(duì)SI單元模型進(jìn)行正方形的結(jié)構(gòu)元素膨脹圖像處理，對(duì)SI單元模型進(jìn)行張量局部最大值濾波處理，得到Cl單元模型； (2-3)從步驟(2-2)在訓(xùn)練視頻圖像序列樣本階段得到的Cl單元模型中隨機(jī)提取P個(gè)n*n的片段，并建立第一片段庫(kù)，然后將從Cl單元模型隨機(jī)提取的P個(gè)n*n的片段寫(xiě)入到第一片段庫(kù)中； (2-4)從第一片段庫(kù)中讀取所有n*n大小的片段，將步驟(2_2)中得到的Cl單元模型與讀取到的每一個(gè)n*n大小的片段進(jìn)行模版匹配得到S2單元模型， (2-5)對(duì)S2單元模型進(jìn)行全局最大值濾波，得到C2單元模型； (2-6)從步驟(2-5)在訓(xùn)練視頻圖像序列樣本階段得到的C2單元模型中隨機(jī)提取P個(gè)n*n的片段，并建立第二片段庫(kù)，然后將從Cl單元模型隨機(jī)提取的P個(gè)n*n的片段寫(xiě)入到第二片段庫(kù)中； (2-7)從第二片段庫(kù)中讀取所有n*n大小的片段，將步驟(2_5)中得到的C2單元模型與讀取到的每一個(gè)n*n大小的片段進(jìn)行模版匹配得到S3單元模型； (2-8)對(duì)S3單元模型進(jìn)行全局最大值濾波，得到特征張量C3單元； (3)先將經(jīng)過(guò)步驟(1)處理過(guò)的訓(xùn)練視頻圖像序列樣本進(jìn)行步驟(2)的處理，得到特征張量C3單元，然后將特征張量C3單元輸入到分類器中進(jìn)行處理；在訓(xùn)練視頻圖像序列樣本完成上述操作時(shí)，將經(jīng)過(guò)步驟(1)處理過(guò)的測(cè)試視頻圖像序列經(jīng)過(guò)步驟(2-1)至(2-2)、(2-4)至(2-5)以及(2-7)至(2-8)處理，得到特征張量C3單元，然后將特征張量C3單元輸入到分類器中進(jìn)行分類，從而完成動(dòng)作識(shí)別。
2.根據(jù)權(quán)利要求1所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(1)視頻圖像序列的預(yù)處理具體過(guò)程為: (1-1)采用高斯混合模型判斷視頻圖像中每一個(gè)像素點(diǎn)是否為運(yùn)動(dòng)點(diǎn)； (1-2)計(jì)算出每一幀視頻圖像中運(yùn)動(dòng)點(diǎn)的中心點(diǎn)； (1-3)根據(jù)運(yùn)動(dòng)點(diǎn)的中心點(diǎn)選取視頻圖像中運(yùn)動(dòng)目標(biāo)的范圍，將視頻圖像中的運(yùn)動(dòng)目標(biāo)限定在一個(gè)范圍內(nèi)。
3.根據(jù)權(quán)利要求1所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(2-1)中梯度模型結(jié)合了空間上兩個(gè)方向的梯度和視頻序列中時(shí)間軸上的梯度建立SI單元模型，具體過(guò)程如下: 首先計(jì)算出每一幀視頻圖像在X軸和y軸的梯度Ix和Iy，及相鄰幀之間的時(shí)間梯度It ;其中梯度Ix和Iy由Sobel算子分別求x方向和y方向的方向?qū)?shù)得到:
Sobel (frameI，Ix, CV_32FC1,1,0,3)；
SobeI (frameI, Iy, CV_32FC1，0，1，3)； 然后通過(guò)梯度Ix、Iy和It得到以下結(jié)果:It/ (Ix+1)I ；
It/ (Iy+1)I ； 最后將上述得到的結(jié)果I It/(Ix+1) I和I It/(Iy+1) I分別作為SI單元模型的第一維和第二維向量，將X方向和y方向的梯度模型計(jì)算結(jié)果Ix和Iy作為SI單元模型的第三維，將時(shí)間方向的幀數(shù)作為SI單元模型的第四維。
4.根據(jù)權(quán)利要求1所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(2-2)中對(duì)SI單元模型進(jìn)行8X8正方形的結(jié)構(gòu)元素膨脹圖像處理，在SI單元模型選用張量局部最大值濾波，得到Cl單元模型。
5.根據(jù)權(quán)利要求1所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(2-3)中在訓(xùn)練視頻圖像序列樣本階段，對(duì)每個(gè)動(dòng)作行為選擇T個(gè)關(guān)鍵幀；對(duì)應(yīng)每個(gè)關(guān)鍵幀，在Cl單元模型中隨機(jī)選取q個(gè)片段；選取到的片段分別為Pjl, Pj2,..., PJq； j=l, 2...T ;所述從Cl單元模型中選取的片段總數(shù)P為T(mén)X q個(gè)。
6.根據(jù)權(quán)利要求5所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其征在于，所述步驟(2)中所述對(duì)每個(gè)動(dòng)作行為選擇的關(guān)鍵幀數(shù)目T為2，對(duì)應(yīng)每個(gè)關(guān)鍵幀，在Cl單元模型中隨機(jī)選取的片段個(gè)數(shù)q為32，所述從Cl單元模型中選取的片段總數(shù)P為64 ;各片段的大小 n*n 為 4*4。
7.根據(jù)權(quán)利要求5所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(2-4)中采用稀疏特征模式或稠密特征模式進(jìn)行模版匹配得到S2單元模型，其中采用稀疏特征模式進(jìn)行模版匹配的公式:
8.根據(jù)權(quán)利要求5所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(2-4)中采用稠密特征模式進(jìn)行模版匹配得到S2單元模型， 所述采用稠密特征模式進(jìn)行模版匹配的公式為:
yk=-1m-WkI I，k=l, 2,3...P, Wk=Pjl, Pj2,...，Pjq, j=l, 2...T ； 其中m是步驟(2-2)中得到的Cl單元模型，Wk為從第一片段庫(kù)中讀取的第k個(gè)片段，yk為采用稠密特征模式對(duì)第k個(gè)片段Wk進(jìn)行模版匹配的結(jié)果。
9.根據(jù)權(quán)利要求7或8所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述S2單元模型為一個(gè)四維向量，根據(jù)模版匹配的結(jié)果得到S2單元模型為:
10.根據(jù)權(quán)利要求1所述的模擬人類視皮層感知機(jī)制的動(dòng)作識(shí)別方法，其特征在于，所述步驟(3)中的分類 器為SVM分類器。
【文檔編號(hào)】G06K9/00GK103761510SQ201410004378
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2014年1月2日 優(yōu)先權(quán)日:2014年1月2日
【發(fā)明者】徐向民, 陳泉谷, 楊予奔, 陸湛, 李猛, 詹禹震 申請(qǐng)人:華南理工大學(xué)