一種基于視覺的運(yùn)動特征提取方法
【專利摘要】本發(fā)明涉及一種基于視覺的運(yùn)動特征提取方法，具體包括以下步驟：步驟S1：基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量；步驟S2：提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)；步驟S3：以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向?幅值直方圖的立方本特征向量；步驟S4：通過聚類算法對局部描述子形成編碼向量。該方法所提取的基于運(yùn)動矢量的時空特征描述可以較好捕捉運(yùn)動目標(biāo)的運(yùn)動信息，聚類重編碼可以形成運(yùn)動特征的詞典頻率，提高時空中運(yùn)動目標(biāo)的檢測和識別結(jié)果。
【專利說明】
一種基于視覺的運(yùn)動特征提取方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及計算機(jī)視覺、圖像處理技術(shù)領(lǐng)域，特別是一種基于視覺的運(yùn)動特征提取方法。
【背景技術(shù)】
[0002]隨著國家電網(wǎng)數(shù)字檔案館深化應(yīng)用與推廣實施工作的開展，電子檔案得到了規(guī)范化管理和高效化使用。基于音視頻智能化處理新技術(shù)和新方法等被引入到電子檔案管理中，以解決視頻文件大規(guī)模存儲、處理和檢索等難題。智能視頻分析是計算機(jī)視覺中非?；钴S的一領(lǐng)域，其中基于視頻的運(yùn)動物體的運(yùn)動特征提取技術(shù)，更是智能視頻分析研究的熱點(diǎn)。智能視頻技術(shù)在不需要人為干預(yù)的情況下，對視頻數(shù)據(jù)進(jìn)行自動分析，提取目標(biāo)的細(xì)節(jié)信息，對目標(biāo)進(jìn)行辨識或活動狀態(tài)進(jìn)行理解和分析，實現(xiàn)目標(biāo)的檢測、識別和跟蹤。把基于視頻的智能信息處理引入數(shù)字電子檔案館中，可以減少大量人力，增強(qiáng)自動監(jiān)控能力，同時節(jié)約資源，具有深遠(yuǎn)的科研意義和廣泛的商業(yè)價值。
[0003]對運(yùn)動目標(biāo)進(jìn)行特征點(diǎn)提取是生成動運(yùn)特征描述的關(guān)鍵。傳統(tǒng)的運(yùn)動特征提取方法通常是先根據(jù)目標(biāo)輪廓、紋理等信息檢測到目標(biāo)，接著生成運(yùn)動信息。由于需要對目標(biāo)進(jìn)行差分、跟蹤，背景建模等處理，這類方法容易受到光照、噪聲、遮擋、攝像頭運(yùn)動等因素的影響。從圖像中提取運(yùn)動目標(biāo)的時空特征點(diǎn)是目標(biāo)檢測較好的算法，因為這些點(diǎn)是像素值在時空域內(nèi)劇烈變化的點(diǎn)，它們包含了豐富的運(yùn)動信息，同時也具有較強(qiáng)的穩(wěn)定性，克服了背景建模等步驟帶來的問題。
[0004]時空特征點(diǎn)反映了運(yùn)動目標(biāo)發(fā)生顯著變化的位置，但他們只是一些孤立的點(diǎn)，還難以通過這些點(diǎn)表示目標(biāo)的運(yùn)動信息。通常利用特征點(diǎn)周圍的時空信息對這些點(diǎn)進(jìn)行描述，即為時空特征點(diǎn)的描述構(gòu)建過程。以時空特征點(diǎn)為中心的小立方體提取一維向量，一般可包含局部梯度、速度信息。
[0005]基于特征點(diǎn)和特征點(diǎn)描述子的運(yùn)動特征提取算法可以參見P1tr D.,VincentR.，et al Behav1r Recognit1n via Sparse Spat1-Temporal Features，2005;該文比較了2D特征點(diǎn)與3D特征點(diǎn)的檢測效果，并提出基于時空的特征描述算子。Marcin M., IvanL.,et al Act1n in Context，2007;該文比較了3D-Harris與2D-Harris特征點(diǎn)提取算法，使用了HOF and H0G、Sift特征描述子算法，并引入Bag-of-features的視頻編碼技術(shù)。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的目的是提供一種基于視覺的運(yùn)動特征提取方法，該方法所提取的基于運(yùn)動矢量的時空特征描述可以較好捕捉運(yùn)動目標(biāo)的運(yùn)動信息，聚類重編碼可以形成運(yùn)動特征的詞典頻率，提高時空中運(yùn)動目標(biāo)的檢測和識別結(jié)果。
[0007]本發(fā)明采用以下方案實現(xiàn):一種基于視覺的運(yùn)動特征提取方法，具體包括以下步驟:
[0008]步驟S1:基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量；
[0009]步驟S2:提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)；
[0010]步驟S3:以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量；
[0011]步驟S4:通過聚類算法對局部描述子形成編碼向量。
[0012]進(jìn)一步地，所述步驟SI中，基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量的具體步驟如下:
[0013]步驟Sll:令i= l，獲得第i幀圖像I(x，i);
[0014]步驟S12:獲得第i+1幀圖像I(x，i+1);
[0015]步驟S13:對圖像灰度化與去噪的預(yù)處理，得到圖像I’(x，i)和I’(X，i+1);
[0016]步驟S14:根據(jù)相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程I’XVx+1’yVy = O，計算得到運(yùn)動矢量(Vx，Vy)。
[0017]進(jìn)一步地，所述步驟S2中，提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)的具體步驟如下:
[0018]步驟S21:構(gòu)建基于立方體的DOG高斯金字塔，DOG公式如下:
[0019]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0020]公式中，尺度空間L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中為I(x，y，z)輸入體積，G (X，y，z，ko)是尺度為ko的高斯三維濾波器；
[0021 ] 步驟S22:計算DOG局部極值點(diǎn)，即為特征點(diǎn)。
[0022]進(jìn)一步地，所述步驟S3中，以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下:
[0023]步驟S31:計算每個像素點(diǎn)的運(yùn)動矢量的方向和幅值，為圖像劃分區(qū)域，以Cell區(qū)域為單位建方向-幅值矢量直方圖；
[0024]步驟S32:以特征點(diǎn)為中心，串聯(lián)立方體內(nèi)的矢量直方圖形成運(yùn)動描述子。
[0025]進(jìn)一步地，所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下:
[0026]步驟S41:使用所述步驟S32得到的描述子進(jìn)行聚類，得到每類的質(zhì)心；
[0027]步驟S42:使用歐式距離統(tǒng)計指定區(qū)域內(nèi)每一類的頻數(shù)，形成編碼向量。
[0028]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下突出優(yōu)點(diǎn):該方法考慮時空域內(nèi)劇烈變化的點(diǎn)，不需要對運(yùn)動目標(biāo)進(jìn)行檢測與跟蹤，也不需要進(jìn)行背景建模。以特征點(diǎn)為中心構(gòu)建立方體的運(yùn)動描述子，其中包含了輪廓信息、速度信息等，提供了對著感興趣運(yùn)動目標(biāo)的運(yùn)動的理解與分析的方法;通過聚類過程形成頻率編碼向量，構(gòu)建了指定區(qū)域內(nèi)運(yùn)動描述子的統(tǒng)計?目息O
【附圖說明】
[0029]圖1是本發(fā)明基于視覺的感興趣目標(biāo)的運(yùn)動特征提取流程圖。
[0030]圖2是本發(fā)明關(guān)于高斯金字塔的構(gòu)建過程圖。
[0031]圖3是本發(fā)明關(guān)于高斯空間的關(guān)鍵點(diǎn)的示意圖。
[0032]圖4是本發(fā)明關(guān)于構(gòu)建速度矢量的特征描述子的流程圖。
【具體實施方式】
[0033]下面結(jié)合附圖及實施例對本發(fā)明做進(jìn)一步說明。
[0034]本實施例提供一種基于視覺的運(yùn)動特征提取方法，如圖1所示，具體包括以下步驟:
[0035]步驟S1:基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量；
[0036]步驟S2:提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)；
[0037]步驟S3:以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量；
[0038]步驟S4:通過聚類算法對局部描述子形成編碼向量。
[0039]在本實施例中，所述步驟SI中，基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量的具體步驟如下:
[0040]步驟Sll:令i= l，獲得第i幀圖像I(x，i);
[0041]步驟S12:獲得第i+1幀圖像I(x，i+1);
[0042]步驟S13:對圖像灰度化與去噪的預(yù)處理，得到圖像I’(x，i)和I’(X，i+1);
[0043]步驟S14:根據(jù)相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程I’xVx+1’yVy = O，計算得到運(yùn)動矢量(Vx，Vy)。
[0044]在本實施例中，所述步驟S2中，提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)的具體步驟如下:
[0045]步驟S21:構(gòu)建基于立方體的DOG高斯金字塔，DOG公式如下:
[0046]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0047]公式中，尺度空間L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中為I(x，y，z)輸入體積，G (X，y，z，ko)是尺度為ko的高斯三維濾波器；
[0048]高斯金字塔的構(gòu)建過程如圖2所示，左側(cè)一列是尺度金字塔，分別是由原視頻立方體產(chǎn)生的尺度為的高斯尺度空間。右則的高斯金字塔每一層是由左側(cè)的相鄰尺度的高斯空間相減得到的；
[0049]步驟S22:計算DOG局部極值點(diǎn)，即為特征點(diǎn)；
[0050]特征點(diǎn)是DOG空間內(nèi)的局部最大或最小的點(diǎn)。圖3是得到局部極值點(diǎn)一實例，其中候選關(guān)鍵點(diǎn)為于一5*5*5的立方體中心的黑實心點(diǎn)，通過與立方體內(nèi)的所有相領(lǐng)取點(diǎn)比較，可知中心是否為關(guān)鍵點(diǎn)。
[0051]在本實施例中，所述步驟S3中，以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下:
[0052]步驟S31:計算每個像素點(diǎn)的運(yùn)動矢量的方向和幅值，為圖像劃分區(qū)域，以Cell區(qū)域為單位建方向-幅值矢量直方圖；在指定的小區(qū)域(如Cell = 4*4)內(nèi)按加權(quán)投票構(gòu)建方向-幅值的直方圖，并在區(qū)域(如Block = 8*8)做歸一化處理。在一個更大的區(qū)域(如Win =16*16)內(nèi)收集所有的直方圖，得到矢量直方圖運(yùn)動描述子，其過程如圖4;
[0053]步驟S32:以特征點(diǎn)為中心，串聯(lián)立方體內(nèi)的矢量直方圖形成運(yùn)動描述子。
[0054]在本實施例中，所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下:
[0055]步驟S41:使用所述步驟S32得到的描述子進(jìn)行聚類，得到每類的質(zhì)心；
[0056]步驟S42:使用歐式距離統(tǒng)計指定區(qū)域內(nèi)每一類的頻數(shù)，形成編碼向量。
[0057]以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
【主權(quán)項】
1.一種基于視覺的運(yùn)動特征提取方法，其特征在于:具體包括以下步驟: 步驟SI:基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量； 步驟S2:提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)； 步驟S3:以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量； 步驟S4:通過聚類算法對局部描述子形成編碼向量。2.根據(jù)權(quán)利要求1所述的一種基于視覺的運(yùn)動特征提取方法，其特征在于:所述步驟SI中，基于連續(xù)幀提取每個像素點(diǎn)的運(yùn)動矢量的具體步驟如下: 步驟SI 1:令i = I，獲得第i幀圖像I (X，i)； 步驟312:獲得第1+1幀圖像1&4+1); 步驟S13:對圖像灰度化與去噪的預(yù)處理，得到圖像和I’(x，i+1); 步驟S14:根據(jù)相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程1、\^+1’7\^ = 0，計算得到運(yùn)動矢量(\^，'\^)。3.根據(jù)權(quán)利要求1所述的一種基于視覺的運(yùn)動特征提取方法，其特征在于:所述步驟S2中，提取在X、Y、T方向像素值強(qiáng)烈變化的特征點(diǎn)的具體步驟如下: 步驟S21:構(gòu)建基于立方體的DOG高斯金字塔，DOG公式如下: D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO) 公式中，尺度空間1^(1，7，2，1^0)=6(1，7，2，1^0)*1(1，7，2)，其中為1(1，7，2)輸入體積，6(X，y，z，ko)是尺度為ko的高斯三維濾波器； 步驟S22:計算DOG局部極值點(diǎn)，即為特征點(diǎn)。4.根據(jù)權(quán)利要求1所述的一種基于視覺的運(yùn)動特征提取方法，其特征在于:所述步驟S3中，以特征點(diǎn)為中心，構(gòu)建基于運(yùn)動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下: 步驟S31:計算每個像素點(diǎn)的運(yùn)動矢量的方向和幅值，為圖像劃分區(qū)域，以Cell區(qū)域為單位建方向-幅值矢量直方圖； 步驟S32:以特征點(diǎn)為中心，串聯(lián)立方體內(nèi)的矢量直方圖形成運(yùn)動描述子。5.根據(jù)權(quán)利要求1所述的一種基于視覺的運(yùn)動特征提取方法，其特征在于:所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下: 步驟S41:使用所述步驟S32得到的描述子進(jìn)行聚類，得到每類的質(zhì)心； 步驟S42:使用歐式距離統(tǒng)計指定區(qū)域內(nèi)每一類的頻數(shù)，形成編碼向量。
【文檔編號】G06T7/20GK105957103SQ201610248526
【公開日】2016年9月21日
【申請日】2016年4月20日
【發(fā)明人】李霆, 蔡宇翔, 蔡力軍, 蘇運(yùn)東, 付婷, 肖琦敏, 曾偉波, 倪時龍, 呂君玉, 許成功
【申請人】國網(wǎng)福建省電力有限公司, 國家電網(wǎng)公司, 國網(wǎng)福建省電力有限公司信息通信分公司, 福建億榕信息技術(shù)有限公司, 國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司, 國網(wǎng)信通億力科技有限責(zé)任公司