論的Harris角點檢測"方法提取圖像局部特征（1)。所檢測的圖像局部 特征包括兩部分信息：圖像局部特征的空間極值尺度c、圖像位置（u，V)。
[0061] 第三步，在視頻段中，對圖像局部特征進行跟蹤，獲取圖像局部特征軌跡
[0062] 獲取初始幀圖像中的圖像局部特征⑴后，通過跟蹤可以提取局部特征軌 跡（2)。在本發(fā)明中，利用步驟2中圖像局部特征的圖像位置（u，v)作為輸入，選用 KLT (Kanade-Lucas-Tomasi)特征跟蹤算法，獲取局部特動軌跡W = [W1, ...，wN]。
[0063] 第四步，利用視頻段中圖像局部特征軌跡估計出該視頻段中背景運動子空間 [0064] 背景運動模式體現(xiàn)為背景區(qū)域內的局部特征軌跡所構成的背景運動低維子空間 M。該子空間通過隨機搜索算法得到。具體實施步驟是：從局部特征軌跡W= [W1,...，wN] 中，隨機地選擇3條運動軌跡（W11, wl2, wl3}構建子空間Si w〖2，w〖3]，然后，以此子空間 S1計算投影矩陣P i，并重構所有運動軌跡> =PfW，計算重構誤差4 = I胃-木||2:通過T次 循環(huán)，T 一般大于n/2,從S= [Sl，...，sT]中，選擇具有最小重構誤差et的子空間、作為 背景運動低維子空間M=Si r其中f = Mg minW >。
[0065] 第五步，利用步驟4中的背景運動子空間M，找出不屬于該子空間中的局部特征軌 跡，即為與人體運動相關的前景局部特征軌跡。
[0066] 篩選與背景運動模式不一致的圖像局部特征軌跡，其方法是：利用公式（6)，逐一 檢測圖像局部特征軌跡W中的每一條軌跡％，判斷重構誤差&是否滿足e ,> th。滿足該 條件的軌跡W，即為前景局部特征軌跡。其中，e]是軌跡w ,在背景運動低維子空間M上的重 構誤差，t是判斷閾值。e]通過下式計算：
[0067] e_j= I I Pw J-Wj I |2 (7)
[0068] 閾值t的確定方法是：統(tǒng)計所有運動軌跡W = [W1, ...，wn]在背景運動低維子空間 M上的重構誤差E= [ei，...，en]，以E的均值nUmk倍標準方差〇 6作為閾值，即設th = me+k σ e，k的大小根據實際情況確定，一般取1-3。
[0069] 第六步，利用步驟4中的背景運動子空間M，對視頻段內圖像進行運動補償后，提 取時空興趣點特征描述子。
[0070] 根據第五步得到的背景運動軌跡，采用攝像機運動六參數(shù)模型估計相鄰幀圖像的 攝像機運動矩陣H，進行背景運動補償：
[0071] Q = Hq (8)
[0072] 其中，q是運動補償前像素坐標，Q是運動補償后像素坐標。
[0073] 攝像機運動補償后，如圖4所示，以前景局部特征（13)的位置信息（u，v)定位 時空興趣點特征（1)，以該軌跡中圖像局部特征的空間極值尺度c定義特征描述空域區(qū) 域大小，米用 H0G/H0F 特征描述子（Laptev, I.，M. Marszalek, et al. Learning realistic human actions from movies.IEEE Conference Computer Vision and Pattern Recognition, 2008. 1-8)得到攝像機運動不變時空興趣點特征。
[0074] 與現(xiàn)有方法直接在視頻時空域中檢測顯著性變化區(qū)域作為時空興趣點特征而容 易受攝像機運動干擾相比，本發(fā)明所提出時空興趣點特征檢測方法，通過局部特征軌跡來 區(qū)分攝像機運動和人體運動，能夠有效抑制攝像機運動對時空興趣點特征檢測的干擾，降 低攝像機運動情況下時空興趣點特征的誤檢測率，提高視頻內容理解與分析（尤其是視 頻人體動作識別）的性能。
【主權項】
1. 一種攝像機運動不變的時空興趣點特征檢測方法，其特征在于：包括以下步驟： (1) 將待檢測視頻劃分為若干視頻段； (2) 在視頻段的第一幀圖像中檢測出圖像局部特征；所檢測的圖像局部特征包括兩部 分信息：圖像局部特征的空間極值尺度c、圖像位置（u，v); (3) 在視頻段中，對圖像局部特征進行跟蹤，獲取圖像局部特征軌跡； 獲取初始幀圖像中的圖像局部特征后，通過跟蹤可以提取局部特征軌跡，這里利用步 驟2中圖像局部特征的圖像位置（u，v)作為輸入，選用KLT特征跟蹤算法，獲取局部特動軌 跡 W = [W1, · · ·，wj ; (4) 利用視頻段中圖像局部特征軌跡估計出該視頻段的背景運動模式； 背景運動模式體現(xiàn)為背景區(qū)域內的局部特征軌跡所構成的背景運動低維子空間M ;該 子空間通過隨機搜索算法得到；具體實施步驟是：從局部特征軌跡W = [Wl，...，wn]中，隨 機地選擇3條運動軌跡{wu, wi2, wi3}構建子空間_然后，以此子空間sj+算投影矩陣P1，并重構所有運動軌跡 計算重構誤差 通過T次循 ? 環(huán)，從S= [Sl，...，sT]中，選擇具有最小重構誤差et的子空間~作為背景運動低維子空間(5) 利用步驟4中的背景運動模式，找出與之不一致的圖像局部特征軌跡，用于確定前 景局部特征； 篩選與背景運動模式不一致的圖像局部特征軌跡，其方法是：利用公式（6)，逐一檢測 圖像局部特征軌跡W中的每一條軌跡％，判斷重構誤差&是否滿足e ,> th ;滿足該條件的 軌跡W，即為前景局部特征軌跡；其中，L(W])是軌跡％的標號，O表示背景局部特征軌跡，1表示前景局部特征軌跡； 其中，e]是軌跡w ,在背景運動低維子空間M上的重構誤差，th是判斷閾值；e ]通過下 式計算： eJ= Npw j-w.j 112 (7) 閾值t的確定方法是：統(tǒng)計所有運動軌跡W = [Wl，...，Wn]在背景運動低維子空間M 上的重構誤差E= [ei，...，en]，以E的均值nUmk倍標準方差〇 6作為閾值，即設th = me+k〇e，k的大小取1-3 ; (6) 利用步驟4中的背景運動模式，對視頻段內圖像進行運動補償后，對步驟5中提取 的前景局部特征進行特征描述，提取攝像機運動不變時空興趣點特征； 根據第五步得到的背景運動軌跡，采用攝像機運動六參數(shù)模型估計相鄰幀圖像的攝像 機運動矩陣H，進行背景運動補償： Q = Hq (8) 其中，q是運動補償前像素坐標，Q是運動補償后像素坐標； 攝像機運動補償后，以前景局部特征的圖像位置（u，v)定位時空興趣點特征，以該軌 跡中圖像局部特征的空間極值尺度C定義特征描述空域區(qū)域大小，采用HOG/HOF特征描述 子得到攝像機運動不變時空興趣點特征。2. 根據權利要求1所述的攝像機運動不變的時空興趣點特征檢測方法，其特征在于： 步驟（1)中，采用滑窗操作提取視頻段，方法是：設定滑窗窗口長度為L，一般取L = 25幀； 從第一幀圖像開始，提取滑窗窗口內所有圖像作為第一個視頻段，然后將滑窗向后滑動1 幀，提取下一個視頻段；按此步驟進行，直到滑窗窗口右側與最后一幀平齊時，提取最后一 個視頻段；通過上述方法，所提取的視頻段長度均為L幀。3. 根據權利要求1所述的攝像機運動不變的時空興趣點特征檢測方法，其特征在于： 在步驟（2)中，圖像局部特征提取方法應該滿足以下要求：第一，所檢測出的圖像局部特征 應能夠有效捕獲人體出現(xiàn)信息，即所提取的圖像局部特征應位于人體區(qū)域內；第二，所檢測 出的圖像局部特征應便于跟蹤，以獲取局部特征軌跡。
【專利摘要】本發(fā)明公開了一種攝像機運動不變的時空興趣點特征檢測方法。在視頻內容理解與分析，尤其是視頻人體動作識別任務中，時空興趣點特征發(fā)揮著重要作用。當攝像機運動時，現(xiàn)有時空興趣點特征檢測方法，容易將背景運動誤檢測為時空興趣點特征。為解決該問題，本發(fā)明提出：在視頻中檢測圖像局部特征，并跟蹤生成圖像局部特征運動軌跡，然后，利用局部特征運動軌跡提取背景運動模式，接著，篩選出與背景運動模式不一致的局部特征運動軌跡，用于定位時空興趣點特征，最后，利用背景運動模式進行攝像機運動補償，提取攝像機運動不變時空興趣點特征。與現(xiàn)有方法相比，本發(fā)明能夠有效抑制攝像機運動干擾，降低攝像機運動情況下時空興趣點特征的誤檢測率。
【IPC分類】G06K9/32, G06K9/00
【公開號】CN105160287
【申請?zhí)枴緾N201510379304
【發(fā)明人】張政, 王斌, 賴世銘, 熊志輝, 王煒
【申請人】中國人民解放軍國防科學技術大學
【公開日】2015年12月16日
【申請日】2015年7月2日