專(zhuān)利名稱(chēng)：基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及視頻運(yùn)動(dòng)特征提取，可用于目標(biāo)追蹤和視頻監(jiān)控中快速、準(zhǔn)確、有效的提取視頻運(yùn)動(dòng)特征，清晰展現(xiàn)運(yùn)動(dòng)軌跡。
背景技術(shù)：
視頻運(yùn)動(dòng)特征是視頻的重要特征之一，廣泛應(yīng)用于目標(biāo)追蹤和視頻監(jiān)控。目前，對(duì)于視頻運(yùn)動(dòng)特征提取已經(jīng)取得很大的進(jìn)展，但是如何精確檢測(cè)視頻流中的運(yùn)動(dòng)目標(biāo)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。有些算法需要手動(dòng)調(diào)整參數(shù)或設(shè)定一些假設(shè)條件，其中一種廣泛應(yīng)用的方法基于背景差的方法，該方法是一種基于像素的運(yùn)動(dòng)特征提取方法，首先需要精確估計(jì)視頻的背景模型，然后采用當(dāng)前幀和背景之間的差來(lái)提取視頻的運(yùn)動(dòng)特征。當(dāng)前幀的每一個(gè)像素都和背景模型作比較，若差值大于某已設(shè)定的閾值，則該值被認(rèn)為是當(dāng)前幀的運(yùn)動(dòng)像素。該方法受閾值和閃光的影響較大，若整個(gè)視頻都處在同一光照強(qiáng)度之下，則該方法可以精確提取出視頻的運(yùn)動(dòng)特征，但是，如果存在光照強(qiáng)度的改變，而閾值選擇的不合理，則會(huì)將閃光點(diǎn)認(rèn)為是運(yùn)動(dòng)特征提取出來(lái)。(1).Duan-Yu Chen， Kevin Cannons， Hsiao-Rong Tyan, Sheng-Wen Shih， Hong-YuanMark Liao.Spatiotemporal motion analysis for the detection and classification of movingtargets. IEEE Transactions on multimedia，2008，10(8) 1578-159。這種方法結(jié)合高斯混合模型和背景差提取視頻運(yùn)動(dòng)特征，該方法能夠?qū)⒈尘巴耆o止視頻中的運(yùn)動(dòng)特征較好地提取出來(lái)，但對(duì)于背景有閃光點(diǎn)和晃動(dòng)的視頻，在提取運(yùn)動(dòng)特征過(guò)程中將產(chǎn)生更多的噪聲點(diǎn)，不能將運(yùn)動(dòng)特征和噪聲完全區(qū)分，嚴(yán)重影響運(yùn)動(dòng)特征提取的準(zhǔn)確度。.(2). Y-P. Guan. Spatio-temporal motion-based foreground segmentation and shadowsuppression. IET Computer vision, 2008,4 (1) :50_60。這種方法基于多尺度小波變換進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)方法，能夠有效地抑制目標(biāo)的陰影問(wèn)題，最佳門(mén)限的選擇可以自動(dòng)確定，不需要復(fù)雜的監(jiān)督學(xué)習(xí)或手動(dòng)校準(zhǔn)，但該方法在提取運(yùn)動(dòng)特征時(shí)需要用到參考幀，若參考幀中含有運(yùn)動(dòng)特征，則會(huì)對(duì)目標(biāo)幀產(chǎn)生運(yùn)動(dòng)重影，不能很好地區(qū)分目標(biāo)幀運(yùn)動(dòng)特征。非負(fù)矩陣分解NMF (Non-Negative Matrix Factorization)是在矩陣中所有元素為非負(fù)條件下的一種矩陣分解方法，能夠大大降低數(shù)據(jù)特征的維數(shù)，分解特性合乎人類(lèi)視覺(jué)感知直觀體驗(yàn)，分解結(jié)果具有可解釋和明確的物理意義，自提出以來(lái)受到人們的廣泛關(guān)注，已成功應(yīng)用于模式識(shí)別、計(jì)算機(jī)視覺(jué)和圖像工程等多個(gè)領(lǐng)域。NMF能夠?qū)⑿盘?hào)分解成一組基信號(hào)的線(xiàn)性加權(quán)和，而視頻幀可以看作靜止分量與運(yùn)動(dòng)分量的線(xiàn)性加權(quán)和，一般來(lái)說(shuō)，靜止分量是非稀疏的，運(yùn)動(dòng)分量是稀疏的，因此可以利用NMF方法提取視頻運(yùn)動(dòng)分量。目前已提出的非負(fù)矩陣分解方法主要有(3). Lee D D, Seung H S. Learning the parts of objects with nonnegative matrixfactorization. Nature, 1999,401(6755) :788-791。提出了一種新的矩陣分解方法-非負(fù)矩陣分解。它能夠把一個(gè)非負(fù)矩陣(矩陣的所有元素均為非負(fù))分解為兩個(gè)非負(fù)矩陣的乘積，同時(shí)實(shí)現(xiàn)非線(xiàn)性的維數(shù)約減?；痉秦?fù)矩陣分解的結(jié)果具有一定的稀疏性，但其稀疏性并不令人滿(mǎn)意。(4). P. 0. Hoyer. Non-negative matrix factorization with sparseness constraints. J. ofMach. Learning Res.，5 :1457-1469，2004。提出了一種可精確控制稀疏性的非負(fù)矩陣分解方法，能夠以非線(xiàn)性投影同時(shí)實(shí)現(xiàn)基矩陣和系數(shù)矩陣稀疏性的精確控制，但稀疏性約束添加在所有基向量上，并且當(dāng)施加較高稀疏性約束時(shí)，對(duì)數(shù)據(jù)的描述力不夠，分解誤差過(guò)大，收斂速度緩慢。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)上述已有技術(shù)的不足，提出了一種基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法，以快速、準(zhǔn)確、有效的提取視頻運(yùn)動(dòng)特征，清晰展現(xiàn)運(yùn)動(dòng)軌跡。實(shí)現(xiàn)本發(fā)明的技術(shù)關(guān)鍵是在部分基矩陣列向量中加入了稀疏約束，具體實(shí)現(xiàn)步驟包括如下(1)以待提取運(yùn)動(dòng)特征的目標(biāo)幀f為中心，目標(biāo)幀f為mXn大小的矩陣，選取原始視頻ν中目標(biāo)幀f前后各10個(gè)視頻幀，將這21個(gè)視頻幀構(gòu)成一個(gè)3維視頻幀組V，目標(biāo)幀 f為3維視頻幀組V的第11幀；(2)將3維的視頻幀組V轉(zhuǎn)化為2維的非負(fù)矩陣B ；C3)利用部分稀疏約束非負(fù)矩陣分解方法，將2維非負(fù)矩陣B分解為兩個(gè)矩陣的乘積B WH，其中，H為2維非負(fù)矩陣B分解得到的系數(shù)矩陣，W為2維非負(fù)矩陣B分解得到的基矩陣，基矩陣W的總列數(shù)為r ；(4)對(duì)基矩陣W中前r-Ι列添加稀疏約束，得到稀疏約束后的列向量 < =2巧-\ ”丨丨'“2, i = 1，2，L，r-Ι，其中，Wi表示基矩陣W的第i列，R為Wi
IKIo
所含元素總個(gè)數(shù)，I I I I2表示2范數(shù)，I I I |。表示0范數(shù)，S為稀疏度，r為基矩陣W所含列向量總個(gè)數(shù)；(5)對(duì)Wi'和目標(biāo)幀f對(duì)應(yīng)的系數(shù)矩陣H進(jìn)行加權(quán)求和，得到目標(biāo)幀f中含有mn
個(gè)元素的運(yùn)動(dòng)列向量層V = gw,'i/(/，ll)，其中，H(i，ll)表示系數(shù)矩陣H中第i行第11
/=1
列的元素值，運(yùn)動(dòng)向量mov中的元素值越大，則表示相應(yīng)位置的運(yùn)動(dòng)越劇烈；(6)按順序依次選取運(yùn)動(dòng)列向量mov中m個(gè)元素組成列向量vh，并將vh，h= 1,2, L，n，按順序依次排列構(gòu)成矩陣M' = [Vl，v2，L，vn]，該矩陣M'即為目標(biāo)幀f的運(yùn)動(dòng)特征。本發(fā)明與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)1)本發(fā)明由于在部分基矩陣列向量中加入了稀疏性約束，克服了稀疏性非負(fù)矩陣分解方法當(dāng)施加較高的稀疏性約束時(shí)分解誤差過(guò)大，收斂速度緩慢，對(duì)數(shù)據(jù)描述力差的問(wèn)題。2)本發(fā)明由于采用部分稀疏約束非負(fù)矩陣分解方法，與其它方法相比，能夠快速準(zhǔn)確提取視頻運(yùn)動(dòng)特征，完全濾除靜止背景的干擾，不受視頻幀之間的閃光點(diǎn)影響，使提取
5的運(yùn)動(dòng)特征準(zhǔn)確有效，清晰準(zhǔn)確展現(xiàn)了運(yùn)動(dòng)軌跡。


圖1是本發(fā)明的視頻運(yùn)動(dòng)特征提取流程圖；圖2是用本發(fā)明和現(xiàn)有非負(fù)矩陣分解方法、稀疏約束非負(fù)矩陣分解方法的分解誤差收斂速度仿真曲線(xiàn)圖；圖3本用本發(fā)明和現(xiàn)有非負(fù)矩陣分解方法、稀疏約束非負(fù)矩陣分解方法、高斯混合模型和背景差方法、多尺度小波變換方法對(duì)測(cè)試視頻hall, yuv第25幀運(yùn)動(dòng)特征仿真提取結(jié)果對(duì)比圖。圖4本用本發(fā)明和現(xiàn)有非負(fù)矩陣分解方法、稀疏約束非負(fù)矩陣分解方法、高斯混合模型和背景差方法、多尺度小波變換方法對(duì)測(cè)試視頻hall, yuv第55幀運(yùn)動(dòng)特征仿真提取結(jié)果對(duì)比圖。
具體實(shí)施例方式一、基礎(chǔ)理論介紹在信號(hào)處理、模式識(shí)別、神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)和圖像工程等領(lǐng)域的研究中矩陣分解獲得了廣泛的應(yīng)用，矩陣分解能夠發(fā)現(xiàn)數(shù)據(jù)內(nèi)部潛在結(jié)構(gòu)特征，還能夠降低數(shù)據(jù)特征的維數(shù)，節(jié)省存儲(chǔ)和計(jì)算資源。常規(guī)矩陣分解的結(jié)果中可以存在負(fù)值，而負(fù)值在處理許多實(shí)際問(wèn)題的時(shí)候往往缺失物理意義，如灰度圖像、物質(zhì)成分含量、文章中單詞出現(xiàn)的次數(shù)和統(tǒng)計(jì)學(xué)中的概率轉(zhuǎn)移矩陣。部分稀疏約束非負(fù)矩陣分解能夠把一個(gè)矩陣的所有元素均為非負(fù)的非負(fù)矩陣分解為兩個(gè)非負(fù)矩陣的乘積，同時(shí)實(shí)現(xiàn)非線(xiàn)性的維數(shù)約減。部分稀疏約束非負(fù)矩陣分解的數(shù)學(xué)定義為，設(shè)B為MXN大小的非負(fù)矩陣，對(duì)B進(jìn)行非負(fù)矩陣分解，有B ^ WH其中，H為非負(fù)矩陣B分解得到的系數(shù)矩陣，W為非負(fù)矩陣B分解得到的基矩陣，基矩陣W的大小為MXr，數(shù)矩陣H的大小為r XN，一般情況下，基矩陣W的列數(shù)r應(yīng)滿(mǎn)足如下公式的條件，從而得到了數(shù)據(jù)矩陣的降維表示。r < MN/ (M+N)視頻幀可以看作靜止分量與運(yùn)動(dòng)分量的線(xiàn)性加權(quán)和，靜止分量和運(yùn)動(dòng)分量具有不同的稀疏度，并且相鄰視頻幀之間具有很高的相似度，變化很小，對(duì)于較短時(shí)間的一段視頻序列，一般認(rèn)為靜止分量是非稀疏的，而運(yùn)動(dòng)分量是稀疏的，因此可以利用部分稀疏約束非負(fù)矩陣分解方法對(duì)視頻幀進(jìn)行分解，并控制運(yùn)動(dòng)分量的稀疏度，使靜止分量和運(yùn)動(dòng)分量完全分離，以提取視頻運(yùn)動(dòng)特征。二、相關(guān)符號(hào)說(shuō)明B 2維非負(fù)矩陣W 基矩陣H 系數(shù)矩陣0 原始視頻V 3維視頻幀組
6
r 基矩陣W所含列向量總個(gè)數(shù)R 基矩陣W的列向量所含列元素總個(gè)數(shù)M 非負(fù)數(shù)據(jù)矩陣行數(shù)N:非負(fù)數(shù)據(jù)矩陣列數(shù)T 轉(zhuǎn)置運(yùn)算m:目標(biāo)幀行數(shù)η:目標(biāo)幀列數(shù)fv:目標(biāo)幀k 迭代次數(shù)V:列向量基矩陣W的第i列w' i:稀疏約束后的列向量mo ν 運(yùn)動(dòng)列向量M'運(yùn)動(dòng)分量。三、基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法參照?qǐng)D1，本發(fā)明的基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法，步驟如下步驟1，將原始視頻0以目標(biāo)幀f為中心轉(zhuǎn)化為視頻幀組V。以待提取運(yùn)動(dòng)特征的目標(biāo)幀f為中心，選取原始視頻0中目標(biāo)幀f前后各10個(gè)視頻幀，包括目標(biāo)幀f，目標(biāo)幀f前10幀分別表示為f-10，f-9，L，，目標(biāo)幀f后10幀分別表示為f2，L，f1(1，將這21個(gè)視頻幀按順序構(gòu)成一個(gè)3維視頻幀組V = f_10, f_9，L，L1，f，fi; 4丄，4，3維視頻幀組￥為大小為!11\11\21的矩陣，f_1(1為3維視頻幀組V的第1幀，目標(biāo)幀f為3維視頻幀組V的第11幀，f10為3維視頻幀組V的第21幀，3維視頻幀組V的每一幀均為mXn大小的矩陣。步驟2，將3維的視頻幀組V轉(zhuǎn)化為2維的非負(fù)矩陣B。按如下公式將3維的視頻幀組V轉(zhuǎn)化為2維的非負(fù)矩陣B，
B(JJ) = V^ j I m\mod(j,m\l)其中，B(J, 1)表示2維非負(fù)矩陣B的第j行第1列元素，j = 1,2, L mn, 1 = 1， 2，L，21，mod()表示求余，「1表示向上取整，該公式的具體轉(zhuǎn)化方式為，當(dāng)j = 1，1 = 1時(shí)， B(Ll) =V(1,1,1),V(l,1,1)表示3維的視頻幀組V第1行第1列第1幀的元素，當(dāng)j = 2,1 = 1時(shí)，BQ，1) = V(1，2，1)，V(1，2，1)表示3維的視頻幀組V第1行第2列第1幀的元素，同理，直到當(dāng) j = mn, 1 = 21 時(shí)，B(mn，21) = V(m, n，21)，V(m，η, 21)表示 3 維的視頻幀組V第m行第η列第21幀的元素。步驟3，利用部分稀疏約束非負(fù)矩陣分解方法，對(duì)2維非負(fù)矩陣B進(jìn)行分解。利用部分稀疏約束非負(fù)矩陣分解方法，將2維非負(fù)矩陣B分解為兩個(gè)矩陣的乘積 B WH，其中，H為2維非負(fù)矩陣B分解得到的系數(shù)矩陣，W為2維非負(fù)矩陣B分解得到的基矩陣，對(duì)2維非負(fù)矩陣B進(jìn)行分解的具體實(shí)現(xiàn)如下(3. 1)根據(jù)2維非負(fù)矩陣B和基矩陣W所含列向量總數(shù)r確定基矩陣W和系數(shù)矩陣H的大小，2維非負(fù)矩陣B的大小為MXN，其中，M = mn，N = 21，則基矩陣W的大小為MXr， 系數(shù)矩陣H的大小為rXN;(3. 2)對(duì)基矩陣W和系數(shù)矩陣H進(jìn)行初始化，使得基矩陣W中的任意元素W(a， b) e
, a = l，2，L，M，b = 1，2，L，r，其中，W(a，b)表示基矩陣W中第a行第b列的元素，系數(shù)矩陣 H 的任意元素 H(c，d) e
, c = l，2，L，r，d= 1，2，L，N，其中，H(c，d) 表示系數(shù)矩陣H中第c行第d列的元素。(3. 3)將初始化后的基矩陣W、系數(shù)矩陣H和2維非負(fù)矩陣B作為初始矩陣，并按如下方式進(jìn)行迭代更新基矩陣W和系數(shù)矩陣H
權(quán)利要求
1.一種基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法，包括如下步驟(1)以待提取運(yùn)動(dòng)特征的目標(biāo)幀f為中心，目標(biāo)幀f為HiXn大小的矩陣，選取原始視頻 ν中目標(biāo)幀f前后各10個(gè)視頻幀，將這21個(gè)視頻幀構(gòu)成一個(gè)3維視頻幀組V，目標(biāo)幀f為 3維視頻幀組V的第11幀；(2)將3維的視頻幀組V轉(zhuǎn)化為2維的非負(fù)矩陣B；(3)利用部分稀疏約束非負(fù)矩陣分解方法，將2維非負(fù)矩陣B分解為兩個(gè)矩陣的乘積 B WH，其中，H為2維非負(fù)矩陣B分解得到的系數(shù)矩陣，W為2維非負(fù)矩陣B分解得到的基矩陣，基矩陣W的總列數(shù)為r;(4)對(duì)基矩陣W中前r-Ι列添加稀疏約束，得到稀疏約束后的列向量< =2巧-\ ”丨丨'“2, i = 1，2，L，r-Ι，其中，Wi表示基矩陣W的第i列，R為WiIKIo所含元素總個(gè)數(shù)，11 112表示2范數(shù)，Il 11。表示ο范數(shù)，S為稀疏度；(5)對(duì)Wi'和目標(biāo)幀f對(duì)應(yīng)的系數(shù)矩陣H進(jìn)行加權(quán)求和，得到目標(biāo)幀f中含有mn個(gè)元素的運(yùn)動(dòng)列向量= ￡<//(/，11)，其中，H(i，11)表示系數(shù)矩陣H中第i行第11列的元/=1素值，運(yùn)動(dòng)向量mov中的元素值越大，則表示相應(yīng)位置的運(yùn)動(dòng)越劇烈；(6)按順序依次選取運(yùn)動(dòng)列向量mov中m個(gè)元素組成列向量vh，并將vh，h=l，2，L，n， 按順序依次排列構(gòu)成矩陣M' = [Vl，v2，L，vn]，該矩陣M'即為目標(biāo)幀f的運(yùn)動(dòng)特征。
2.根據(jù)權(quán)利要求1所述的基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法， 其中步驟( 所述的將3維的視頻幀組V轉(zhuǎn)化為2維的非負(fù)矩陣B，是通過(guò)如下公式進(jìn)行B(JJ) = V^ j I m\mod(j,m\l)B(j，l)表示2維非負(fù)矩陣B的第j行第1列元素，j = l，2，Lmn，l = 1，2，L，21，其中， mod()表示求余，「1表示向上取整。
3.根據(jù)權(quán)利要求1所述的基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法， 其中步驟C3)所述的利用部分稀疏約束非負(fù)矩陣分解方法，將2維非負(fù)矩陣B分解為兩個(gè)矩陣的乘積，按如下步驟進(jìn)行(3a)根據(jù)2維非負(fù)矩陣B和基矩陣W所含列向量總數(shù)r確定基矩陣W和系數(shù)矩陣H的大小，2維非負(fù)矩陣B的大小為MXN，其中，M = mn，N = 21，則基矩陣W的大小為MXr，系數(shù)矩陣H的大小為rXN，r為基矩陣W的總列數(shù)；(3b)對(duì)基矩陣W和系數(shù)矩陣H進(jìn)行初始化，使得基矩陣W中的任意元素W (a，b) e
，a= l，2，L，M，b = 1，2，1^，1~，其中，1(￡1，13)表示基矩陣W中第a行第b列的元素，系數(shù)矩陣 H 的任意元素 H(c，d) e
, c = l，2，L，r，d= 1，2，L，N，其中，H(c，d)表示系數(shù)矩陣H中第c行第d列的元素；(3c)更新基矩陣W和系數(shù)矩陣H，即按如下方式進(jìn)行迭代Wk+l ^IVk-0.5Σ (WkHk - B)HkTWk WkHk其中，B為2維非負(fù)矩陣，k為迭代次數(shù)，Wk為迭代k次后的基矩陣，Wk+1為迭代k+Ι次后的基矩陣，Hk為迭代k次后的系數(shù)矩陣，Hk+1為迭代k+Ι次后的系數(shù)矩陣，T表示對(duì)矩陣進(jìn)行轉(zhuǎn)置運(yùn)算；(3e)將第k+Ι次迭代后的系數(shù)矩陣Hk+1作為分解得到的系數(shù)矩陣H，將第k+Ι次迭代后的基矩陣Wk+1作為分解得到的基矩陣W。
全文摘要
本發(fā)明公開(kāi)了一種基于部分稀疏約束非負(fù)矩陣分解的視頻運(yùn)動(dòng)特征提取方法，主要解決現(xiàn)有技術(shù)不能濾除視頻靜止背景干擾和閃光點(diǎn)及收斂速度緩慢，分解誤差過(guò)大的問(wèn)題。其實(shí)現(xiàn)步驟是首先將視頻以目標(biāo)幀為中心轉(zhuǎn)化為視頻幀組，并將視頻幀組轉(zhuǎn)化為非負(fù)矩陣；接著對(duì)非負(fù)矩陣進(jìn)行部分稀疏約束非負(fù)矩陣分解方法分解，對(duì)部分基矩陣列向量添加稀疏約束，使用添加稀疏約束的部分基矩陣列向量和對(duì)應(yīng)的系數(shù)矩陣加權(quán)求和求取目標(biāo)幀運(yùn)動(dòng)向量；最后將目標(biāo)幀運(yùn)動(dòng)向量轉(zhuǎn)化為目標(biāo)幀運(yùn)動(dòng)特征。本發(fā)明可用于目標(biāo)追蹤和視頻監(jiān)控中，以快速、準(zhǔn)確、有效的提取視頻運(yùn)動(dòng)特征。
文檔編號(hào)G06T7/20GK102254328SQ201110127408
公開(kāi)日2011年11月23日 申請(qǐng)日期2011年5月17日 優(yōu)先權(quán)日2011年5月17日
發(fā)明者同鳴, 姬紅兵, 張建龍, 陳濤 申請(qǐng)人:西安電子科技大學(xué)