一種攝像機(jī)運(yùn)動不變的時空興趣點(diǎn)特征檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及數(shù)字視頻內(nèi)容理解與分析領(lǐng)域，尤其是視頻中人體動作識別應(yīng)用 領(lǐng)域，特指一種攝像機(jī)運(yùn)動不變的時空興趣點(diǎn)特征檢測方法。
【背景技術(shù)】
[0002] 近年來，具有提取簡單、抗干擾能力強(qiáng)、魯棒性好等優(yōu)點(diǎn)的時空興趣點(diǎn)特征，在視 頻內(nèi)容理解與分析領(lǐng)域，尤其是視頻人體動作識別任務(wù)中，發(fā)揮著重要的作用?，F(xiàn)有的時空 興趣點(diǎn)特征提取算法，如圖1所示，通常檢測視頻時空域內(nèi)顯著性變化區(qū)域作為時空興趣 點(diǎn)特征。在圖1中，1為時空興趣點(diǎn)特征，2為視頻時空域，3為圖像，圖I (a)是3D Harris 算法檢測視頻時空域顯著性變化區(qū)域作為時空興趣點(diǎn)特征的示意圖，圖1(b)是在人行走 視頻中的檢測結(jié)果。在攝像機(jī)靜止、或攝像機(jī)運(yùn)動但背景平坦時，視頻中的顯著性變化區(qū)域 常由人體運(yùn)動產(chǎn)生。此時，通過檢測時空域顯著性變化區(qū)域能夠有效捕獲人體運(yùn)動相關(guān)信 息，用于人體動作識別等視頻內(nèi)容理解與分析任務(wù)中。但是，當(dāng)攝像機(jī)運(yùn)動、且背景非平坦 時，不僅人體運(yùn)動區(qū)域內(nèi)會形成顯著性變化區(qū)域，在非平坦的背景區(qū)域也會因攝像機(jī)運(yùn)動 而產(chǎn)生顯著性變化，這些顯著性變化區(qū)域也會被檢測為時空興趣點(diǎn)特征。顯然，位于非平坦 背景區(qū)域內(nèi)的時空興趣點(diǎn)特征是無用的，因?yàn)樗鼈儾⒉话谝曨l內(nèi)容理解與分析中我們 所感興趣的運(yùn)動信息。另一方面，這也是有害的。因?yàn)椋@些特征會嚴(yán)重影響視頻內(nèi)容理解 與分析的性能。因此，在檢測時空興趣點(diǎn)特征時，尤其在人體動作識別任務(wù)中，需要剔除這 些位于運(yùn)動背景區(qū)域內(nèi)的時空興趣點(diǎn)。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的技術(shù)問題在于：在視頻內(nèi)容理解與分析領(lǐng)域，尤其是人體動作識 別任務(wù)中，現(xiàn)有時空興趣點(diǎn)特征提取算法，在攝像機(jī)運(yùn)動且存在非平坦背景時，容易受非 平坦背景運(yùn)動干擾產(chǎn)生大量誤檢測時空興趣點(diǎn)特征，從而影響視頻內(nèi)容理解與分析的精 度。
[0004] 為了解決這個問題，本發(fā)明提出一種攝像機(jī)運(yùn)動不變的時空興趣點(diǎn)特征檢測方 法。以人體動作識別為例，通常情況下，在人體動作視頻中，位于前景（相對于背景而言，通 常指運(yùn)動目標(biāo)，這里指運(yùn)動人體）中的圖像局部特征（本發(fā)明中稱之為前景局部特征），和 位于背景中的圖像局部特征（本發(fā)明中稱之為背景局部特征），存在著明顯的差異。前景局 部特征的運(yùn)動軌跡不同于背景局部特征的運(yùn)動軌跡。利用它們之間的這種差異，可以將與 人體運(yùn)動相關(guān)的前景局部特征挑選出來作為時空興趣點(diǎn)特征。通過這種方式提取時空興趣 點(diǎn)特征，可以有效剔除位于運(yùn)動背景區(qū)域內(nèi)的錯誤的時空興趣點(diǎn)特征，提高時空興趣點(diǎn)特 征檢測精度。
[0005] 本發(fā)明提出的技術(shù)方案是：在視頻中檢測圖像局部特征，并跟蹤生成圖像局部特 征運(yùn)動軌跡，然后，利用圖像局部特征運(yùn)動軌跡提取背景運(yùn)動模式，接著，篩選出與背景運(yùn) 動模式不一致的圖像局部特征軌跡，用于定位時空興趣點(diǎn)特征，最后，利用背景運(yùn)動模式進(jìn) 行攝像機(jī)運(yùn)動補(bǔ)償，提取攝像機(jī)運(yùn)動不變時空興趣點(diǎn)特征。
[0006] 首先，參照圖3,介紹本發(fā)明的基本原理。當(dāng)攝像機(jī)運(yùn)動時，在所獲視頻中，背景局 部特征14和前景局部特征13呈現(xiàn)出不同的運(yùn)動規(guī)律。背景局部特征14的運(yùn)動軌跡（本 發(fā)明中稱之為背景局部特征軌跡11)由攝像機(jī)運(yùn)動所決定，前景局部特征13的運(yùn)動軌跡 (本發(fā)明中稱之為前景局部特征軌跡12)由人體和攝像機(jī)兩者的運(yùn)動共同決定。在同一視 頻中，所有背景局部特征的運(yùn)動軌跡必然表現(xiàn)出某種共同屬性，該屬性與攝像機(jī)運(yùn)動緊密 相關(guān)。相反，前景局部特征的運(yùn)動軌跡則表現(xiàn)出某種與背景局部特征運(yùn)動軌跡所不同的屬 性，該屬性則與人體自身運(yùn)動緊密相關(guān)。利用它們的不同屬性，可以將圖像局部特征劃分為 與人體動作相關(guān)的前景局部特征，和與人體動作無關(guān)的背景局部特征。這些與人體動作相 關(guān)的前景局部特征就是在人體動作識別任務(wù)中需要的時空興趣點(diǎn)特征。
[0007] 給定圖像中的N個局部特征，通過跟蹤得到其運(yùn)動軌跡W = [W1, ...，wN]。其中，第 i個局部特征的運(yùn)動軌跡可以表示為：
（該表達(dá)式表示W(wǎng)i這一個向量 屬于lx2F的實(shí)數(shù)空間，R表示實(shí)數(shù)，lx2F是該空間的維數(shù)），其中qfl= [ufl，vfl]T(這個表 達(dá)式中下標(biāo)f表示第f幀，下標(biāo)i表示第i個點(diǎn)，T表示轉(zhuǎn)置）是該局部特征在第f幀中的 圖像坐標(biāo)，其中F是總的幀數(shù)，u，v是圖像坐標(biāo)，圖像坐標(biāo)系統(tǒng)如圖2所示，其中4是圖像 中心，5是圖像坐標(biāo)系u軸，6是圖像坐標(biāo)系V軸。它們的軌跡可以組合成一個2FXN的矩 陣：
(1)
[0009] 根據(jù)計算機(jī)視覺理論和透視成像原理，當(dāng)N個圖像局部特征全部位于背景中時， 在透視投影下，W2fxn是一個秩為3的矩陣：rank (W2fxn) = 3 (rank表示秩）。也就是說，背景 局部特征軌跡張成一個維數(shù)為3的低維子空間，這里稱之為背景運(yùn)動子空間M e R2FX3。任 意一條背景局部特征軌跡W1可以通過背景運(yùn)動子空間M進(jìn)行線性表示：
(1!)
[0011] 其中，Hij是背景運(yùn)動子空間M中第j列向量，a j是與Hi j相對應(yīng)的線性表示系數(shù)。
[0012] 當(dāng)W2fxn中存在前景局部特征軌跡時，根據(jù)計算機(jī)視覺理論和透視成像原理，W 2fxn 的秩必大于3。那么，背景運(yùn)動子空間M不能準(zhǔn)確地對前景局部特征軌跡進(jìn)行線性表示，因 此式⑵不成立：
(3) CN 105160287 A VL 3/丫貝
[0014] 4
是化在M上的重構(gòu)，免通過投影變換=Pwi得到，其中P是投影 變換矩陣，它由M經(jīng)線性變換后得到：
[0015] P = M(MtM)1Mt (4)
[0016] 那么，界1在M上的重構(gòu)誤差為：
偏
[0018] 如果W1是背景局部特征軌跡，那么它可以由背景運(yùn)動子空間M良好重構(gòu)，得到較 小的重構(gòu)誤差e1;反之，如果w i是前景局部特征軌跡，則會產(chǎn)生較大重構(gòu)誤差e i。通過閾值 th，即可將背景、前景局部特征軌跡區(qū)分開：
CB)
[0020] 其中，L(W1)是軌跡&的標(biāo)號，0表示背景局部特征軌跡，1表示前景局部特征軌跡。
[0021] 因此，本發(fā)明利用攝像機(jī)運(yùn)動時背景局部特征軌跡所張成的低維子空間M，對背 景、前景局部特征軌跡進(jìn)行區(qū)分，可以檢測出與人體運(yùn)動相關(guān)的前景局部特征，并剔除無關(guān) 的、由攝像機(jī)運(yùn)動引起的背景局部特征。從而實(shí)現(xiàn)，攝像機(jī)運(yùn)動不變時空興趣點(diǎn)特征檢測。
[0022] 本發(fā)明一種攝像機(jī)運(yùn)動不變時空興趣點(diǎn)特征檢測方法，其具體的方法步驟是：
[0023] (1)將待檢測視頻劃分為若干視頻段；
[0024] (2)在視頻段的第一幀圖像中檢測出圖像局部特征；所檢測的圖像局部特征包括 兩部分信息：圖像局部特征的空間極值尺度c、圖像位置（u，v)。
[0025] (3)在視頻段中，對圖像局部特征進(jìn)行跟蹤，獲取圖像局部特征軌跡；
[0026] 獲取初始幀圖像中的圖像局部特征后，通過跟蹤可以提取局部特征軌 跡。在本發(fā)明中，利用步驟⑵中圖像局部特征的圖像位置（u，v)作為輸入，選用 KLT (Kanade-Lucas-Tomasi)特征跟蹤算法，獲取局部特動軌跡W = [W1, ...，wn]。
[0027] (4)利用視頻段中圖像局部特征軌跡估計出該視頻段的背景運(yùn)動模式；
[0028] 背景運(yùn)動模式體現(xiàn)為背景區(qū)域內(nèi)的局部特征軌跡所構(gòu)成的背景運(yùn)動低維子空間 M。該子空間通過隨機(jī)搜索算法得到，具體實(shí)施步驟是：從局部特征軌跡W= [W1,...，wN] 中，隨機(jī)地選擇3條運(yùn)動軌跡Iwll, wl2, wl3}構(gòu)建子空間
，然后，以此子空間 S1計算投影矩陣P i，并重構(gòu)所有運(yùn)動軌跡
計算重構(gòu)誤差
r通過T次 循環(huán)，T 一般大于n/2,從S= [Sl，...，sT]中，選擇具有最小重構(gòu)誤差et的子空間、作為 背景運(yùn)動低維子空間
3
[0029] (5)利用步驟4中的背景運(yùn)動模式，找出與之不一致的圖像局部特征軌跡，用于確 定前景局部特征；
[0030] 篩選與背景運(yùn)動模式不一致的圖像局部特征軌跡，其方法是：利用公式（6)，逐一 檢測圖像局部特征軌跡W中的每一條軌跡％，判斷重構(gòu)誤差4是否滿足e ,> th。滿足該 條件的軌跡W，即為前景局部特征軌跡。

(&}
[0032] 其中，L(Wj)是軌跡^的標(biāo)號，0表示背景局部特征軌跡，1表示前景局部特征軌 跡；
[0033] 其中，e]是