專利名稱：一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，特別是一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法。
背景技術(shù)：
利用視頻對(duì)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)進(jìn)行分析是模式識(shí)別、虛擬現(xiàn)實(shí)、智能人機(jī)接口領(lǐng)域的熱點(diǎn)問(wèn)題，具有極大的應(yīng)用價(jià)值。例如，在體育運(yùn)動(dòng)視頻中對(duì)運(yùn)動(dòng)員的運(yùn)動(dòng)進(jìn)行分析，對(duì)于指導(dǎo)教練員和運(yùn)動(dòng)員的訓(xùn)練，提高訓(xùn)練水平和競(jìng)技水平有著重要的指導(dǎo)意義。
其中，運(yùn)動(dòng)對(duì)象在執(zhí)行特定動(dòng)作時(shí)的二維重心軌跡是運(yùn)動(dòng)分析中的一個(gè)極其重要的參數(shù)，如果能從視頻中獲取運(yùn)動(dòng)過(guò)程中運(yùn)動(dòng)對(duì)象的二維重心軌跡，就可以為判斷運(yùn)動(dòng)對(duì)象所執(zhí)行動(dòng)作的質(zhì)量提供強(qiáng)有力的依據(jù)。例如，如果應(yīng)用到體育運(yùn)動(dòng)視頻中，就可以為指導(dǎo)運(yùn)動(dòng)員的訓(xùn)練提供一個(gè)有效的手段，對(duì)提高運(yùn)動(dòng)員的運(yùn)動(dòng)質(zhì)量，提高訓(xùn)練水平和競(jìng)技水平具有重要價(jià)值。
所謂動(dòng)態(tài)背景運(yùn)動(dòng)視頻，是指在視頻圖像序列中，包含了攝像機(jī)的運(yùn)動(dòng)的視頻，因此，動(dòng)態(tài)背景運(yùn)動(dòng)視頻的場(chǎng)景背景是變化的。例如，在跳水，體操等體育視頻中，攝像機(jī)位置會(huì)隨著運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)而運(yùn)動(dòng)，這就是所謂的動(dòng)態(tài)背景運(yùn)動(dòng)視頻。
與動(dòng)態(tài)背景運(yùn)動(dòng)視頻相對(duì)應(yīng)的是靜態(tài)背景運(yùn)動(dòng)視頻，它是指在視頻圖像序列中，場(chǎng)景背景不變的視頻。例如，蹦床運(yùn)動(dòng)視頻中，攝像機(jī)是靜止不動(dòng)的，場(chǎng)景背景也是靜止的，所以，蹦床運(yùn)動(dòng)視頻就屬于靜態(tài)背景運(yùn)動(dòng)視頻。
如果能夠?qū)⒁曨l中的運(yùn)動(dòng)對(duì)象在運(yùn)動(dòng)過(guò)程中的重心軌跡提取出來(lái)，有助于對(duì)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)進(jìn)行分析。而與基于靜態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法相比，基于動(dòng)態(tài)背景視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法無(wú)疑應(yīng)用范圍更廣，具有更重大的使用價(jià)值和實(shí)際意義。
但是，在國(guó)內(nèi)外的現(xiàn)有視頻處理軟件中，都沒(méi)有提供這種自動(dòng)提取動(dòng)態(tài)背景視頻中運(yùn)動(dòng)對(duì)象重心軌跡的功能。在進(jìn)行相關(guān)的專利檢索時(shí)，也沒(méi)有檢索到任何相關(guān)專利的信息。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，實(shí)現(xiàn)在背景運(yùn)動(dòng)的視頻中提取運(yùn)動(dòng)對(duì)象重心軌跡。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，該方法的主要操作步驟如下1)對(duì)視頻幀的幀間做全局運(yùn)動(dòng)估計(jì)，求全局運(yùn)動(dòng)參數(shù)；2)根據(jù)全局運(yùn)動(dòng)參數(shù)，分離運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域，重構(gòu)運(yùn)動(dòng)圖像的背景；3)實(shí)現(xiàn)背景消除，快速分割出運(yùn)動(dòng)對(duì)象區(qū)域；4)記錄運(yùn)動(dòng)歷史信息，得到完整的運(yùn)動(dòng)對(duì)象區(qū)域；5)提取運(yùn)動(dòng)對(duì)象輪廓；6)求運(yùn)動(dòng)對(duì)象重心軌跡。
上述技術(shù)方案中，在步驟4)中的記錄運(yùn)動(dòng)歷史信息是這樣實(shí)現(xiàn)的計(jì)算當(dāng)前幀與上一幀的二值化模板；求上一幀的前景二值化模板；求當(dāng)前幀與上一幀的二值化模板和上一幀的前景二值化模板的交集，得到暫時(shí)靜止的運(yùn)動(dòng)對(duì)象區(qū)域；將暫時(shí)靜止的運(yùn)動(dòng)對(duì)象區(qū)域與背景消除得到的前景區(qū)域合并得到完整的運(yùn)動(dòng)對(duì)象區(qū)域。
上述技術(shù)方案中，在步驟5)中運(yùn)動(dòng)對(duì)象輪廓的提取是采用Snake方法實(shí)現(xiàn)的。
上述技術(shù)方案中，在步驟6)中求運(yùn)動(dòng)對(duì)象重心軌跡之前要求單個(gè)幀中的運(yùn)動(dòng)對(duì)象的二維重心，然后利用全局運(yùn)動(dòng)參數(shù)將各個(gè)二維重心變換到指定幀形成重心軌跡。
所述的運(yùn)動(dòng)對(duì)象的二維重心是通過(guò)求二維運(yùn)動(dòng)對(duì)象輪廓的幾何中心求得的。
本發(fā)明的優(yōu)點(diǎn)在于1、本發(fā)明方法實(shí)現(xiàn)了對(duì)動(dòng)態(tài)背景運(yùn)動(dòng)視頻中運(yùn)動(dòng)對(duì)象重心軌跡的提取，具有廣泛的應(yīng)用范圍和重大的使用價(jià)值。
2、本發(fā)明方法可用于各種類型的運(yùn)動(dòng)對(duì)象，具有良好的通用性。
3、本發(fā)明通過(guò)簡(jiǎn)單高效的二維運(yùn)算就可以得到運(yùn)動(dòng)對(duì)象的二維重心，可以達(dá)到實(shí)時(shí)的效果。


圖1為動(dòng)態(tài)背景視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取流程圖。
具體實(shí)施例方式
下面結(jié)合附圖，對(duì)本發(fā)明所述方法進(jìn)行進(jìn)一步地說(shuō)明。
如圖1所示，為本實(shí)施例方法的流程圖，流程圖中虛線框內(nèi)表示操作，實(shí)線框內(nèi)表示相關(guān)操作得到的結(jié)果。
本發(fā)明的一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法主要分成以下步驟步驟10.對(duì)運(yùn)動(dòng)對(duì)象所在的視頻提取視頻幀序列，對(duì)視頻中的各幀做幀間全局運(yùn)動(dòng)估計(jì)，求出各個(gè)幀之間的全局運(yùn)動(dòng)參數(shù)。全局運(yùn)動(dòng)是指在視頻序列幀中占較大比例的像素的運(yùn)動(dòng)，在運(yùn)動(dòng)視頻中多由攝像機(jī)運(yùn)動(dòng)造成。全局運(yùn)動(dòng)估計(jì)是指根據(jù)兩幀圖像，估計(jì)圖像之間全局運(yùn)動(dòng)的規(guī)律，其規(guī)律可由全局運(yùn)動(dòng)參數(shù)表示。在運(yùn)動(dòng)視頻中，通常采用6參數(shù)仿射變換模型表示表示全局運(yùn)動(dòng)，例如設(shè)p＝(xi，yi)為當(dāng)前幀It的坐標(biāo)，p′＝(xi′，yi′)為前一幀It-1上的坐標(biāo)，它們間的對(duì)應(yīng)性關(guān)系可表示為p＝θt，t-1p′，其中，θt，t-1＝(a，b，c，d，e，f)為攝像機(jī)運(yùn)動(dòng)參數(shù)，它具體表示第i幀與其前一幀i-1幀之間的全局運(yùn)動(dòng)規(guī)律，其中的分量e，f與攝像機(jī)鏡頭的平移運(yùn)動(dòng)有關(guān)，分量a，b，c，d則與攝像機(jī)鏡頭的縮放、旋轉(zhuǎn)運(yùn)動(dòng)有關(guān)。全局運(yùn)動(dòng)參數(shù)的求取方法有多種，例如θt，t-1的初始解可通過(guò)在相鄰幀間選擇若干特征點(diǎn)對(duì)，并使用最小均方差規(guī)則求得，然后通過(guò)迭代逐步提高精度。上述方法是現(xiàn)有技術(shù)，本領(lǐng)域的技術(shù)人員應(yīng)該很容易實(shí)現(xiàn)對(duì)全局運(yùn)動(dòng)參數(shù)的求解。
步驟20.利用步驟10得到的全局運(yùn)動(dòng)參數(shù)，分離運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域，構(gòu)造運(yùn)動(dòng)圖像的背景。
a1、通過(guò)上一步求取的全局運(yùn)動(dòng)參數(shù)，對(duì)當(dāng)前幀前一幀圖像的像素點(diǎn)進(jìn)行逐點(diǎn)變換。例如，前一幀的像素點(diǎn)(x，y)經(jīng)過(guò)全局運(yùn)動(dòng)參數(shù)變換以后在當(dāng)前幀中就對(duì)應(yīng)于(X，Y)位置，這兩個(gè)點(diǎn)的像素亮度是相同的。
b1、經(jīng)過(guò)變換以后，就可以比較這相鄰兩幀之間的差異，記錄下兩幀之間有差異的區(qū)域，該區(qū)域包含了兩幀中運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域。得到了兩幀中運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域，就能夠?qū)⑦\(yùn)動(dòng)對(duì)象的前景區(qū)域分離出來(lái)，以消除前景區(qū)域?qū)Ρ尘昂铣傻挠绊?。上述比較兩幀間差異的過(guò)程實(shí)際上類似于邏輯上的異或概念，即兩者相同時(shí)為0，兩者不同時(shí)為1。
c1、由于存在全局運(yùn)動(dòng)，當(dāng)前幀的相鄰幀的背景區(qū)域和當(dāng)前幀的背景區(qū)域是不完全一樣的，所以對(duì)經(jīng)過(guò)全局變換以后兩幀的像素進(jìn)行異或操作得不到當(dāng)前幀的全部的背景區(qū)域。由于當(dāng)前幀的背景有缺失，它的部分背景必須要從相鄰幀中獲取。經(jīng)過(guò)全局運(yùn)動(dòng)變換的反變換，就可以知道當(dāng)前幀的缺失背景像素對(duì)應(yīng)的是其相鄰幀的哪一部分像素。用相鄰幀的那些像素填補(bǔ)對(duì)應(yīng)的當(dāng)前幀的缺失像素就可以實(shí)現(xiàn)當(dāng)前幀背景的補(bǔ)齊。
步驟30.實(shí)現(xiàn)背景的消除，快速分割出運(yùn)動(dòng)對(duì)象區(qū)域。在當(dāng)前幀的背景得以重構(gòu)以后，通過(guò)背景消除可以快速地分割出運(yùn)動(dòng)對(duì)象區(qū)域。背景消除的具體方法，本實(shí)施例可以用下面的式子來(lái)表示令Dk為背景消除后的幀差，則Dk(p)＝|W×Ik(p)-Bk(p)|，其中，W為平滑算子，是一個(gè)公知因子，Ik(p)表示當(dāng)前幀，Bk(p)表示當(dāng)前幀的背景。然后對(duì)Dk進(jìn)行黑白二值化，便可獲得前景模板MkB。由于背景對(duì)準(zhǔn)中的積累誤差、插值計(jì)算的誤差等噪聲的影響，在前景模板MkB中會(huì)存在因這些因素造成的小面積噪聲區(qū)域，因此還需要使用連通成分分析和形態(tài)學(xué)開(kāi)運(yùn)算消除MkB中的小面積噪聲區(qū)域并保留具有較大面積的運(yùn)動(dòng)對(duì)象區(qū)域。
步驟40.記錄運(yùn)動(dòng)歷史信息，實(shí)現(xiàn)視頻幀中運(yùn)動(dòng)對(duì)象的分割。若運(yùn)動(dòng)對(duì)象的某一部分身體在一段時(shí)間內(nèi)靜止不動(dòng)，則這一部分身體有可能保留在所構(gòu)造的背景中，背景消除后所得到的運(yùn)動(dòng)對(duì)象區(qū)域中就不會(huì)出現(xiàn)這一部分身體區(qū)域，這一部分身體區(qū)域可以稱之為靜態(tài)前景區(qū)域。為了解決上述問(wèn)題，對(duì)當(dāng)前幀與上一幀的二值化模板Dk，k-1和上一幀運(yùn)動(dòng)對(duì)象區(qū)域模板Mk-1進(jìn)行邏輯運(yùn)算，檢測(cè)出靜態(tài)前景區(qū)域MkH。Dk，k-1是指對(duì)當(dāng)前幀和上一幀圖像的幀差進(jìn)行二值化處理后所得到的圖像模板，Mk-1的求解與下面的Mk的求解方法類似，兩者是迭代的關(guān)系。得到靜態(tài)前景區(qū)域MkH以后，將其與背景消除得到的運(yùn)動(dòng)對(duì)象區(qū)域MkB合并得到完整的運(yùn)動(dòng)對(duì)象區(qū)域Mk，即MkH(p)=1Mk-1comp(p)=landDk,k-1(p)=00else]]>Mk=MkB∪MkH]]>其中Mk-1comp為經(jīng)過(guò)全局運(yùn)動(dòng)補(bǔ)償后與當(dāng)前幀在空間上對(duì)齊的上一幀運(yùn)動(dòng)對(duì)象區(qū)域模板。
得到完整的運(yùn)動(dòng)對(duì)象區(qū)域Mk也就意味著視頻幀中運(yùn)動(dòng)對(duì)象分割的完成。
步驟50.在得到運(yùn)動(dòng)對(duì)象區(qū)域后，提取運(yùn)動(dòng)對(duì)象輪廓。在本實(shí)施例中，運(yùn)動(dòng)對(duì)象輪廓的提取方法采用活動(dòng)輪廓模型Snake。活動(dòng)輪廓模型Snake是在現(xiàn)時(shí)圖像處理和計(jì)算機(jī)視覺(jué)中用于實(shí)現(xiàn)對(duì)象的邊緣檢測(cè)或輪廓提取的有效工具。具體地說(shuō)，snake是在圖像域內(nèi)所定義的可變形曲線，通過(guò)對(duì)其能量函數(shù)的最小化以及變形和調(diào)整snake的自然形狀來(lái)匹配特定的對(duì)象，從而產(chǎn)生連續(xù)平滑的輪廓。也就是說(shuō)，當(dāng)snake的能量為最小時(shí)，snake與對(duì)象相吻合.?；顒?dòng)輪廓模型(snake)的形狀由曲線本身的內(nèi)力和圖像數(shù)據(jù)的外力所控制，作用在snake上的力依據(jù)于輪廓所處的位置和其形狀將在空間局部地變化。內(nèi)力和外力作用是不同的內(nèi)力起平滑約束作用，而外力則引導(dǎo)snake向圖像特征移動(dòng)。Snake方法的詳細(xì)信息可以參見(jiàn)參考文獻(xiàn)1“基于活動(dòng)輪廓模型的DP修正算法”，上海大學(xué)學(xué)報(bào)，1999年第5卷第5期。運(yùn)用Snake方法的優(yōu)點(diǎn)是可以精確地提取運(yùn)動(dòng)對(duì)象的輪廓。
利用Snake方法的具體步驟為a2、將Snake的初始位置設(shè)定在運(yùn)動(dòng)對(duì)象區(qū)域的邊緣上，Snake的外部能量可由時(shí)空梯度給定；b2、Snake的總能量的最小化可通過(guò)基于貪婪算法的快速求解獲得；c2、當(dāng)Snake的總能量達(dá)到最小時(shí)，就可以提取出運(yùn)動(dòng)對(duì)象的輪廓。
視頻中的運(yùn)動(dòng)對(duì)象輪廓是二維的，因此在得到運(yùn)動(dòng)對(duì)象輪廓的同時(shí)也就得到了視頻中的二維輪廓信息。
步驟60、由運(yùn)動(dòng)對(duì)象輪廓，求運(yùn)動(dòng)對(duì)象的二維重心。運(yùn)動(dòng)對(duì)象的二維重心通過(guò)簡(jiǎn)單的二維運(yùn)算即可獲得。簡(jiǎn)單的二維運(yùn)算就是指計(jì)算二維運(yùn)動(dòng)對(duì)象輪廓的幾何中心，例如設(shè)GL為視頻序列中第L幀圖像的運(yùn)動(dòng)對(duì)象輪廓區(qū)域；而(X1，Y1)、(X2，Y2)、…、(Xn，Yn)為組成運(yùn)動(dòng)對(duì)象輪廓區(qū)域GL的所有像素點(diǎn)，則(X，Y)就為該幀圖像的二維重心軌跡點(diǎn)坐標(biāo)，其中X=(X1+X2+···+Xnn),Y=(Y1+Y2+···+Ynn).]]>步驟70、將求得的單個(gè)幀中運(yùn)動(dòng)對(duì)象的重心經(jīng)過(guò)全局運(yùn)動(dòng)補(bǔ)償以后，將重心坐標(biāo)轉(zhuǎn)換到一指定的幀，如初始幀，然后對(duì)各個(gè)幀中的運(yùn)動(dòng)對(duì)象的重心做同樣的操作，最后在指定幀中得到連續(xù)的運(yùn)動(dòng)對(duì)象重心的軌跡。
權(quán)利要求
1.一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，用于在背景運(yùn)動(dòng)的視頻中提取運(yùn)動(dòng)對(duì)象的重心軌跡；該方法包括以下步驟1)對(duì)視頻幀的幀間做全局運(yùn)動(dòng)估計(jì)，求全局運(yùn)動(dòng)參數(shù)；2)根據(jù)全局運(yùn)動(dòng)參數(shù)，分離運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域，重構(gòu)運(yùn)動(dòng)圖像的背景；3)實(shí)現(xiàn)背景消除，快速分割出運(yùn)動(dòng)對(duì)象區(qū)域；4)記錄運(yùn)動(dòng)歷史信息，得到完整的運(yùn)動(dòng)對(duì)象區(qū)域；5)提取運(yùn)動(dòng)對(duì)象輪廓；6)求運(yùn)動(dòng)對(duì)象重心軌跡。
2.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，其特征在于，步驟4)中的記錄運(yùn)動(dòng)歷史信息是這樣實(shí)現(xiàn)的計(jì)算當(dāng)前幀與上一幀的二值化模板；求上一幀的前景二值化模板；求當(dāng)前幀與上一幀的二值化模板和上一幀的前景二值化模板的交集，得到暫時(shí)靜止的運(yùn)動(dòng)對(duì)象區(qū)域；將暫時(shí)靜止的運(yùn)動(dòng)對(duì)象區(qū)域與背景消除得到的前景區(qū)域合并得到完整的運(yùn)動(dòng)對(duì)象區(qū)域。
3.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，其特征在于，步驟5)中運(yùn)動(dòng)對(duì)象輪廓的提取是采用Snake方法實(shí)現(xiàn)的。
4.根據(jù)權(quán)利要求1所述的基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，其特征在于，步驟6)中求運(yùn)動(dòng)對(duì)象重心軌跡之前要求單個(gè)幀中的運(yùn)動(dòng)對(duì)象的二維重心，然后利用全局運(yùn)動(dòng)參數(shù)將各個(gè)二維重心變換到指定幀形成重心軌跡。
5.根據(jù)權(quán)利要求4所述的基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，其特征在于，所述的運(yùn)動(dòng)對(duì)象的二維重心是通過(guò)求二維運(yùn)動(dòng)對(duì)象輪廓的幾何中心求得的。
全文摘要
本發(fā)明公開(kāi)了一種基于動(dòng)態(tài)背景運(yùn)動(dòng)視頻的運(yùn)動(dòng)對(duì)象重心軌跡提取方法，用于在背景運(yùn)動(dòng)的視頻中提取運(yùn)動(dòng)對(duì)象的重心軌跡；該方法包括以下步驟對(duì)視頻幀的幀間做全局運(yùn)動(dòng)估計(jì)，求全局運(yùn)動(dòng)參數(shù)；根據(jù)全局運(yùn)動(dòng)參數(shù)，分離運(yùn)動(dòng)對(duì)象的前景運(yùn)動(dòng)區(qū)域，重構(gòu)運(yùn)動(dòng)圖像的背景；實(shí)現(xiàn)背景消除，快速分割出運(yùn)動(dòng)對(duì)象區(qū)域；記錄運(yùn)動(dòng)歷史信息，得到完整的運(yùn)動(dòng)對(duì)象區(qū)域；提取運(yùn)動(dòng)對(duì)象輪廓；求運(yùn)動(dòng)對(duì)象重心軌跡。本發(fā)明的優(yōu)點(diǎn)在于可用于各種類型的運(yùn)動(dòng)對(duì)象，具有良好的通用性；通過(guò)簡(jiǎn)單高效的二維運(yùn)算就可以得到運(yùn)動(dòng)對(duì)象的二維重心，可以達(dá)到實(shí)時(shí)的效果。
文檔編號(hào)G06T7/60GK1766928SQ20051005521
公開(kāi)日2006年5月3日 申請(qǐng)日期2005年3月16日 優(yōu)先權(quán)日2004年10月29日
發(fā)明者邱顯杰, 夏時(shí)洪, 王兆其, 李錦濤 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所