一種基于sift特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法
【專(zhuān)利摘要】本發(fā)明是一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。本方法首先使用SIFT特征提取方法獲得圖像的特征點(diǎn)；然后再對(duì)圖像的SIFT特征點(diǎn)進(jìn)行快速準(zhǔn)確的匹配：根據(jù)動(dòng)態(tài)場(chǎng)景的特點(diǎn)構(gòu)建全局運(yùn)動(dòng)模型，并采用改進(jìn)的RANSAC方法排除外點(diǎn)的影響，運(yùn)用最小二乘法求解全局運(yùn)動(dòng)參數(shù)，根據(jù)特征點(diǎn)變化及時(shí)更新運(yùn)動(dòng)參數(shù)，再利用基于殘差圖像塊的更新策略對(duì)特征點(diǎn)進(jìn)行更新，通過(guò)限制次近鄰查找區(qū)域的方法保證特征匹配的準(zhǔn)確性；最后，通過(guò)差分目標(biāo)分割法實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)。實(shí)驗(yàn)證明，本發(fā)明與傳統(tǒng)的基于圖像塊匹配檢測(cè)方法相比，運(yùn)算速度提高了31.26％，而且能夠有效排除背景干擾，所檢測(cè)到的目標(biāo)圖像清晰，本發(fā)明非常適用于動(dòng)態(tài)場(chǎng)景下對(duì)運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)檢測(cè)。
【專(zhuān)利說(shuō)明】
一種基于SI FT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于SIFT(Scale Invariant Feature Transform，尺度不變特征變換)特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。
【背景技術(shù)】
[0002] 運(yùn)動(dòng)目標(biāo)檢測(cè)是判斷圖像中是否存在目標(biāo)，確定運(yùn)動(dòng)目標(biāo)的位置，是計(jì)算機(jī)視覺(jué) 的基礎(chǔ)。快速準(zhǔn)確的目標(biāo)檢測(cè)可以為后續(xù)的目標(biāo)跟蹤和行為理解做很好的鋪墊。隨著攝像 技術(shù)的提高，固定攝像機(jī)被可旋轉(zhuǎn)的攝像機(jī)所取代。攝像機(jī)發(fā)生移動(dòng)和旋轉(zhuǎn)，導(dǎo)致圖像中的 背景和物體同時(shí)運(yùn)動(dòng)，同時(shí)光照變化、背景干擾等也增加了運(yùn)動(dòng)目標(biāo)檢測(cè)的難度。傳統(tǒng)的目 標(biāo)檢測(cè)算法如幀間差分法、光流法和背景差分法不適合如此復(fù)雜場(chǎng)景的目標(biāo)檢測(cè)。因此，在 復(fù)雜場(chǎng)景下對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行快速準(zhǔn)確的檢測(cè)具有重要意義。
[0003] SIFT是Lowe D G于1999年提出、并于2004年改進(jìn)的算法。（參考文件1:L(WE D G.Object recognition from local scale-invariant features[C]//ICCV'99: Proceedings of the International Conference on Computer Vision.Washington,DC: IEEE Computer Society, 1999,2:1150-1157·參考文件2:Lowe D G.Distinctive image features from scale-invariant keypoints,cascade filtering approach[J] ? International Journal of Computer Vision,2004,60(2).)該算法可以從圖像中提取 出物體的特征信息，對(duì)檢測(cè)目標(biāo)的旋轉(zhuǎn)、尺度縮放、視角變化及亮度變化具有良好的不變 性，并對(duì)遮擋和噪聲也有很好的魯棒性，是特征點(diǎn)選取和描述的一種有效方法，被廣泛應(yīng)用 于計(jì)算機(jī)視覺(jué)領(lǐng)域。但該算法仍存在不足，比如，高維數(shù)的特征描述符計(jì)算復(fù)雜；局部特征 發(fā)生變化時(shí)，正確匹配特征點(diǎn)數(shù)目減少，算法識(shí)別準(zhǔn)確率低等。（參考文件3: Ke Y， Sukthankar R.PCA-SIFT:a more distinctive representation for local image descriptors[C]Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Washington D C，2004)文獻(xiàn)3對(duì)31?1'的特征描述符用卩〇厶（卩1'；[11(^卩&1 components analysis，主成分分析)進(jìn)行降維的算法，取得了較好的效果。（參考文件4:紀(jì) 華，吳元昊，孫宏梅，等.結(jié)合全局信息SIFT特征匹配算法[J].光學(xué)精密工程，2009,17(2): 439-444)文獻(xiàn)4提出結(jié)合全局信息的特征描述符，降低了由于局部相似造成的誤匹配，但計(jì) 算量較大，而且不具有尺度不變性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是為了解決在動(dòng)態(tài)場(chǎng)景下，運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)間復(fù)雜度高，不具有實(shí) 時(shí)性、穩(wěn)定性不高的缺點(diǎn)。本發(fā)明提出一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，旨在減 少檢測(cè)算法時(shí)間復(fù)雜度，提高目標(biāo)檢測(cè)的實(shí)時(shí)性，增加目標(biāo)檢測(cè)的魯棒性。
[0005] 本發(fā)明提出的一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，具體包括如下步驟：
[0006] 步驟一:SIFT特征提取。提取圖像序列中的SIFT特征點(diǎn)，建立初始特征點(diǎn)集，為以 后圖像的特征點(diǎn)匹配做準(zhǔn)備。
[0007] SIFT算法的本質(zhì)就是從圖像中提取局部特征，在尺度空間尋找極值點(diǎn)，提取位置、 尺度、旋轉(zhuǎn)不變量。s IF T特征提取包括:初步定位特征點(diǎn)、準(zhǔn)確定位特征點(diǎn)，確定特征點(diǎn)方 向，生成關(guān)鍵點(diǎn)描述算子。
[0008] 步驟二:SIFT特征快速準(zhǔn)確匹配。首先，利用步驟一得到的初始特征點(diǎn)集，使用圖 像全局運(yùn)動(dòng)模型建立初始匹配點(diǎn)對(duì);然后采用改進(jìn)的RANRAC(Random Sample Consensus， 隨機(jī)抽樣一致)方法去除誤匹配點(diǎn)，求出變換矩陣參數(shù)，對(duì)圖像補(bǔ)償處理，根據(jù)得到的特征 點(diǎn)集中特征點(diǎn)數(shù)目與最佳匹配值比較，判斷特征點(diǎn)是否需要更新，保存數(shù)據(jù)實(shí)時(shí)更新背景； 最后對(duì)得到特征點(diǎn)進(jìn)行快速準(zhǔn)確匹配。
[0009] 步驟2.1，根據(jù)動(dòng)態(tài)場(chǎng)景的特點(diǎn)為圖像的全局運(yùn)動(dòng)構(gòu)建旋轉(zhuǎn)參數(shù)模型，對(duì)圖像中相 鄰兩幀分別搜索特征點(diǎn)，再對(duì)特征點(diǎn)匹配得到特征點(diǎn)對(duì)集Ft，用最小二乘法求最優(yōu)解。
[0010 ]步驟2.2，利用改進(jìn)的RANRAC方法去除步驟2.1產(chǎn)生的匹配點(diǎn)對(duì)集Ft中存在的誤匹 配點(diǎn)，再用最小二乘法求出第t幀的參數(shù)矩陣It。對(duì)第t-Ι幀圖像做同樣處理，然后對(duì)圖像中 攝像機(jī)旋轉(zhuǎn)運(yùn)動(dòng)進(jìn)行補(bǔ)償，得到殘差圖像Pb。
[0011] 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集中的特征點(diǎn)數(shù)目是否小于最佳匹配值0， 若小于匹配值0則進(jìn)行特征點(diǎn)更新，將得到的殘差圖像Pb、參數(shù)矩陣It和特征點(diǎn)對(duì)集Ft進(jìn)行 保存，同時(shí)更新背景。在動(dòng)態(tài)場(chǎng)景中，由于隨著拍攝視角的不斷變化，圖像的特征也隨之變 化，因此，需要及時(shí)對(duì)特征點(diǎn)進(jìn)行更新。
[0012] 步驟2.4,根據(jù)得到當(dāng)前幀的特征點(diǎn)合理推測(cè)出下一幀的特征點(diǎn)，如此使特征點(diǎn)匹 配在限制的范圍內(nèi)進(jìn)行，縮小搜索范圍，達(dá)到快速匹配的目的。最后，利用最近鄰和次近鄰 特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，完成圖像的配準(zhǔn)。
[0013] 步驟三:利用步驟二所配準(zhǔn)的圖像，通過(guò)差分目標(biāo)分割法實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)， 通過(guò)后期處理得到前景目標(biāo)輪廓，將前景目標(biāo)輪廓進(jìn)行填充得到完整的運(yùn)動(dòng)目標(biāo)。
[0014] 本發(fā)明方法的優(yōu)點(diǎn)和積極效果在于:本發(fā)明在動(dòng)態(tài)場(chǎng)景下，目標(biāo)在發(fā)生局部遮擋、 旋轉(zhuǎn)、尺度變化等情況下都具有較快的檢測(cè)速度，較少的時(shí)間復(fù)雜度;對(duì)于復(fù)雜的攝像機(jī)運(yùn) 動(dòng)情況，傳統(tǒng)的目標(biāo)檢測(cè)方法已經(jīng)失效，而本發(fā)明依然能夠保證目標(biāo)檢測(cè)的實(shí)時(shí)性和魯棒 性。
【附圖說(shuō)明】
[0015] 圖1是本發(fā)明基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法的整體步驟流程圖；
[0016] 圖2是本發(fā)明改進(jìn)的RANRAC方法與傳統(tǒng)的RANRAC方法計(jì)算時(shí)間對(duì)比圖；
[0017] 圖3是本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法計(jì)算速度提高效果圖；
[0018] 圖4是本發(fā)明基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法與傳統(tǒng)的基于圖像塊匹配檢 測(cè)方法的實(shí)驗(yàn)效果對(duì)比圖。
【具體實(shí)施方式】
[0019] 下面將結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的詳細(xì)說(shuō)明。
[0020] 本發(fā)明提出一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，旨在減少傳統(tǒng)的目標(biāo)檢 測(cè)算法時(shí)間復(fù)雜度，提高目標(biāo)檢測(cè)的實(shí)時(shí)性，增加目標(biāo)檢測(cè)的魯棒性。
[0021] 下面具體對(duì)實(shí)現(xiàn)步驟進(jìn)行說(shuō)明。
[0022]步驟一:SIFT特征提取。獲得圖像序列初始幀特征點(diǎn)集。
[0023]步驟1.1，構(gòu)建尺度空間。
[0024]二維高斯函數(shù)定義如下：
[0025]
[0026]其中，σ表示高斯正態(tài)分布的方差，是尺度坐標(biāo)。
[0027] 輸入圖像用I(x，y)表示，在不同尺度空間的尺度空間表示可由圖像與高斯核的卷 積得到：
[0028] L(x,y,〇)=G(x,y,〇)*I(x,y) (2)
[0029] 采用DoG(Difference of Gaussian)算子來(lái)創(chuàng)建尺度空間。DoG算子由兩個(gè)不同尺 度的高斯核的差分與圖像卷積生成。
[0030] D(x,y,〇) = (G(x,y,k〇)-G(x,y,〇))*I(x,y)=L(x,y,k〇)-L(x,y,〇) (3)
[0031] 其中，常系數(shù)k用來(lái)區(qū)分相鄰的尺度。
[0032] 步驟1.2,在尺度空間尋找極值點(diǎn)。圖像多次使用DoG算子，該算子的泰勒展開(kāi)式如 下：
[0033] (4)
[0034] 對(duì)其泰勒展開(kāi)式求導(dǎo)，當(dāng)導(dǎo)數(shù)為零時(shí)，取這些高斯差分圖像中的局部極值點(diǎn)龍，得 到尺度空間域上的圖像特征點(diǎn)。
[0035]
(5)
[0036] 步驟1.3,計(jì)算特征點(diǎn)方向和生成特征點(diǎn)描述子。
[0037] 特征點(diǎn)方向0(1,7)及模值111(1,7)可以通過(guò)式(4)、（5)運(yùn)算確定：
[0038]
[0039]
[0040] 最后形成包括位置、尺度、方向等信息的128維特征向量。根據(jù)經(jīng)驗(yàn)值，實(shí)際計(jì)算中 取高斯內(nèi)核函數(shù)的尺度因子〇 = 0.5,每組高斯尺度圖像的尺度級(jí)數(shù)中s = 3,去除低對(duì)比度 的特征點(diǎn)的閾值設(shè)定為〇. 01，主曲率間的比值的閾值設(shè)定為15。
[0041] 步驟二:SIFT特征快速準(zhǔn)確匹配。根據(jù)動(dòng)態(tài)場(chǎng)景的特點(diǎn)構(gòu)建全局運(yùn)動(dòng)模型，基于特 征點(diǎn)變化及時(shí)更新運(yùn)動(dòng)參數(shù)，保證特征點(diǎn)的快速匹配。
[0042] 步驟2.1，全局運(yùn)動(dòng)模型實(shí)際應(yīng)用較多的是仿射參數(shù)模型和旋轉(zhuǎn)參數(shù)模型，其中， 仿射參數(shù)模型相對(duì)簡(jiǎn)單，需要6個(gè)參數(shù)，只能描述線性的和平移的運(yùn)動(dòng)，適合攝像機(jī)旋轉(zhuǎn)運(yùn) 動(dòng)較少的時(shí)候;而旋轉(zhuǎn)參數(shù)模型不但可以描述平移還可以更好描述旋轉(zhuǎn)角度較大的運(yùn)動(dòng)， 需要8個(gè)參數(shù)，因此本發(fā)明采用旋轉(zhuǎn)參數(shù)模型。已知H t-1;1為圖像第t-Ι幀的特征點(diǎn)集，1^為 圖像第t_l幀的旋轉(zhuǎn)參數(shù)矩陣。
[0043] 假設(shè)第1：-1幀圖像中有點(diǎn)1^-1，對(duì)應(yīng)的坐標(biāo)為乂^1=^-1，7^1)，而第1:幀圖像中有點(diǎn) Kt，對(duì)應(yīng)坐標(biāo)為Xt=(xt，yt)，U=(u，v) T為Kt-1的運(yùn)動(dòng)矢量。U滿足下式：
[0044] Xt = Xt-i+U (8)
[0045] U = Q(Xt-i)I (9)
[0046] T = Γ. · · Pi7 Α??Τ(?η?
[0047]
(11)
[0048] 定義旋轉(zhuǎn)參數(shù)矩陣I = (ai，· · a7，a8)T，其中a3代表水平方向的位移，a6代表垂直 方向的位移，ai，a2，a4，as代表尺度和旋轉(zhuǎn)量，a7，as代表水平與垂直方向的變形量。這些參數(shù) 主要由攝像機(jī)的旋轉(zhuǎn)和平移參數(shù)決定，同坐標(biāo)參數(shù)無(wú)關(guān)。實(shí)際中無(wú)法得到旋轉(zhuǎn)和平移量，需 要通過(guò)其他方式求解矩陣I。
[0049] 運(yùn)用特征點(diǎn)求解全局運(yùn)動(dòng)參數(shù)方法:在相鄰兩幀中分別搜索特征點(diǎn)，再對(duì)特征點(diǎn) 對(duì)進(jìn)行匹配，得到H= {hl，h2 · · hn · · Ιιν}，表示匹配點(diǎn)對(duì)的集合，其中hn=(Xt-l,n，Xt,n)為 第η對(duì)匹配點(diǎn)，并用最小二乘法求最優(yōu)解。
[0050] 用此方法可以求出第t幀所有特征點(diǎn)集Ht,n，保存在特征點(diǎn)集合Ht中，用UPHt進(jìn) 行匹配并建立匹配點(diǎn)對(duì)集合Ft。
[0051 ]步驟2.2，利用本發(fā)明提出的改進(jìn)的RANRAC方法去除步驟2.1產(chǎn)生的匹配點(diǎn)對(duì)集Ft 中存在的誤匹配點(diǎn)，得到第t幀旋轉(zhuǎn)參數(shù)矩陣It。由于運(yùn)用特征點(diǎn)進(jìn)行運(yùn)動(dòng)補(bǔ)償，匹配的結(jié) 果存在失真的可能性，所以要剔除目標(biāo)上的異常點(diǎn)。
[0052]傳統(tǒng)的RANRAC方法的思想是:從集合S中隨機(jī)選取一個(gè)數(shù)據(jù)點(diǎn)樣本，并由它初始化 模型；按照閾值Td找出成為當(dāng)前模型的支撐點(diǎn)集Si，Si被稱(chēng)為內(nèi)點(diǎn)（有效點(diǎn)）；如果Si集合大 小超過(guò)某個(gè)閾值Th，用3 1重新估計(jì)模型并結(jié)束；如果Si集合大小不超過(guò)閾值Th，選取一個(gè)新 的樣本重復(fù)上面的步驟;經(jīng)過(guò)η次嘗試，最大的一致集3 1被選中，用它來(lái)重新估計(jì)模型，得到 最終的結(jié)果。
[0053]本發(fā)明提出改進(jìn)的RANRAC方法，首先改進(jìn)RANRAC模型參數(shù)選取方式。傳統(tǒng)的 RANRAC模型參數(shù)選取是通過(guò)迭代計(jì)算內(nèi)外點(diǎn)并反復(fù)測(cè)試來(lái)實(shí)現(xiàn)的，初始模型參數(shù)是隨機(jī)抽 取樣本數(shù)據(jù)計(jì)算來(lái)選取，有很大的不確定性，初始參數(shù)選取不好會(huì)使迭代次數(shù)驟增，提高計(jì) 算成本。本發(fā)明采取的方法是通過(guò)選擇少數(shù)最優(yōu)匹配點(diǎn)作為觀察數(shù)據(jù)集代表，在其中隨機(jī) 抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)更接近于真實(shí)值，并且實(shí)現(xiàn)了用較少的迭代次數(shù)得到 較真實(shí)的矩陣參數(shù)。用RANRAC剔除外點(diǎn)的過(guò)程就是通過(guò)樣本數(shù)據(jù)集擬合圖像變換矩陣，原 圖像與目標(biāo)圖像的變換關(guān)系：
[0054]
C12)
[0055] 這是8個(gè)參數(shù)的投影變換矩陣，其中h，12，14，15表示尺度和旋轉(zhuǎn)量，1 3表示水平方 向的位移，16表不垂直方向的位移，h，Is表不水平與垂直方向的變形量。求解該矩陣參數(shù)至 少需要4個(gè)匹配對(duì)，采用最小二乘法求解，令：
[0056] (13)
[0057] r 14)
[0058]
(15、
[0059] 公式變換如下：
[0060] L = -[CTC]^CTY (16)
[0061] 先令p初始值為1，得到L的一組值，再由此值計(jì)算P值，多次迭代后得到穩(wěn)定的L。
[0062] 確定隨機(jī)采用次數(shù)N，使得采樣的s對(duì)匹配點(diǎn)都是內(nèi)點(diǎn)概率足夠高，設(shè)計(jì)模型參數(shù) 所需匹配點(diǎn)對(duì)為s，任何一對(duì)匹配點(diǎn)是內(nèi)點(diǎn)的概率為Pi，任何一對(duì)匹配點(diǎn)外點(diǎn)的概率為α = 1-Pi。采樣到Ν次時(shí)有：
[0063] (l-Pis)N=l-P (17)
[0064] 需要采樣的次數(shù)為：
[0065] N=log(l-P)/log(l-(l-a)s) (18)
[0066] 本發(fā)明經(jīng)過(guò)多次實(shí)驗(yàn)，取s = 8，P = 0.99，a = 0.3。
[0067] -致集大小確定:在模型參數(shù)確定后，還要統(tǒng)計(jì)這個(gè)數(shù)據(jù)集中符合內(nèi)點(diǎn)的數(shù)目ν。 令數(shù)據(jù)點(diǎn)是錯(cuò)誤模型內(nèi)點(diǎn)的概率為u，希望錯(cuò)誤模型內(nèi)點(diǎn)數(shù)目ν越小越好，即ir s〈UQ，uo的值 越小越好，根據(jù)經(jīng)驗(yàn)值取〇. 05。
[0068] 然后改進(jìn)RANRAC模型選取方式。傳統(tǒng)的RANRAC方法，迭代次數(shù)過(guò)多造成效率低下， 初始值的不確定造成精度不高，穩(wěn)定性差，模型參數(shù)檢驗(yàn)中，抽樣數(shù)據(jù)受外點(diǎn)影響，全部參 與全數(shù)據(jù)檢驗(yàn)造成計(jì)算的浪費(fèi)。本發(fā)明增加臨時(shí)模型預(yù)檢測(cè)，對(duì)每個(gè)模型參數(shù)檢驗(yàn)之前，首 先隨機(jī)抽取少量的數(shù)據(jù)對(duì)模型參數(shù)預(yù)檢驗(yàn)，如果通過(guò)預(yù)檢驗(yàn)，則進(jìn)入后續(xù)的檢驗(yàn)，否則這個(gè) 模型不再參與后續(xù)的全數(shù)據(jù)檢驗(yàn)。該方法實(shí)現(xiàn)的過(guò)程采取迭代計(jì)算、數(shù)據(jù)比較的方式進(jìn)行。 首先，根據(jù)預(yù)檢驗(yàn)最小通過(guò)概率、數(shù)據(jù)錯(cuò)誤率和參與樣本數(shù)計(jì)算正確模型數(shù)和通過(guò)概率;然 后再根據(jù)通過(guò)概率、置信率和估計(jì)錯(cuò)誤率計(jì)算需要的抽樣數(shù)及抽樣對(duì)應(yīng)的模型參數(shù)，隨機(jī) 選取數(shù)據(jù)進(jìn)行預(yù)檢驗(yàn)，如此迭代下去;最后，用全部原始數(shù)據(jù)檢驗(yàn)通過(guò)的預(yù)檢驗(yàn)?zāi)Ｐ瞳@得符 合要求數(shù)據(jù)和誤差方差直至得出最優(yōu)模型。采用此臨時(shí)模型預(yù)檢測(cè)方式，雖然增加了抽樣 數(shù)量，但是由于大部分模型都受到錯(cuò)誤數(shù)據(jù)影響，經(jīng)過(guò)預(yù)檢驗(yàn)過(guò)濾掉的數(shù)量遠(yuǎn)大于增加的 數(shù)量，可大大節(jié)約計(jì)算時(shí)間，提高計(jì)算的效率。方法改進(jìn)后效率提高的效果如圖2、圖3所示。
[0069] 對(duì)第t-Ι幀圖像中做同樣處理，然后對(duì)圖像中攝像機(jī)旋轉(zhuǎn)運(yùn)動(dòng)進(jìn)行補(bǔ)償，再將補(bǔ)償 圖像和第t+Ι幀圖像做背景差處理得到殘差圖像P b。
[0070] 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集Ht中的特征點(diǎn)匹配數(shù)目是否小于最佳匹 配值0,如果小于匹配值0,將得到的殘差圖像p b、參數(shù)矩陣It和特征點(diǎn)對(duì)集Ft進(jìn)行保存，同時(shí) 更新背景。其中，匹配值〇的設(shè)定關(guān)系到最小二乘解的準(zhǔn)確性，如果匹配值〇設(shè)置偏大，會(huì)造 成程序計(jì)算量增大，影響算法的運(yùn)行效率;如果設(shè)置偏小，則會(huì)使圖像平均匹配點(diǎn)數(shù)降低， 造成無(wú)法得到最小二乘的最優(yōu)解。根據(jù)多次試驗(yàn)，選取最佳匹配值0 = 15。
[0071] 特征點(diǎn)的更新策略:采用基于殘差圖像的方法把圖像前景區(qū)域進(jìn)行快速標(biāo)記。將 殘差圖像分成若干個(gè)xXy大小的圖像塊，塊參數(shù)X和y分別代表前景區(qū)域長(zhǎng)度上和寬度上塊 的個(gè)數(shù)，其取值為整數(shù)。計(jì)算每個(gè)塊的SAD(Sum of Absolute Difference，絕對(duì)殘差和)并 且把它們按照大小排€
，其中是（i，j)的殘差。如果鄰域8個(gè)圖像塊的 SAD值有一半排在總SAD值的前30%，那么將當(dāng)前預(yù)選前景塊標(biāo)記為前景塊，將每個(gè)預(yù)選前 景塊依次排查。塊參數(shù)X和y的取值決定計(jì)算量的大小，影響著標(biāo)記前景塊的準(zhǔn)確性。根據(jù)多 次實(shí)驗(yàn)選取x=y = 16。
[0072] 步驟2.4,本發(fā)明提出基于預(yù)測(cè)的特征點(diǎn)匹配方法。根據(jù)上一幀的特征點(diǎn)位置，小 范圍搜索特征點(diǎn)，能夠快速得到當(dāng)前幀的特征點(diǎn)。因?yàn)閺臄z像機(jī)得到的圖像序列中，每?jī)蓭?之間的間隔時(shí)間很短，幀之間的變化很小，相差一般只有幾個(gè)像素，所以當(dāng)前幀中含有下一 幀的大量信息。具體操作如下：
[0073] 假設(shè)第t-Ι幀圖像的特征點(diǎn)集合為Pt-i= {pt-i,i，pt-i,2 · ·，pt-i,n};根據(jù)特征點(diǎn) pt-1>n和運(yùn)動(dòng)參數(shù)，推測(cè)出第t幀的特征點(diǎn)/V,;以特征點(diǎn)成，"為圓心，在半徑為R個(gè)像素的圓 內(nèi)搜索特征點(diǎn)pt, n;將pt,n和pt-?,η進(jìn)行匹配，如果匹配成功，則建立匹配點(diǎn)對(duì)ht,n=(ht, n， ht-Ι,η)，即可得到匹配點(diǎn)對(duì)的集合Ht={ht,i，ht,2, · ·1?ι；,η· ·1ιι；,ν}和第t幀的特征點(diǎn)集Pt = {pt，l,pt，2,…，Pt，nH.Pt，N} Ο
[0074] 但此步驟存在一定數(shù)量的正確匹配被排除在匹配集外的情況，因此，本發(fā)明提出 通過(guò)減小最近鄰和次近鄰特征點(diǎn)歐式距離的比值，來(lái)有效恢復(fù)正確匹配點(diǎn)數(shù)目。將最近鄰 和次近鄰特征點(diǎn)的距離限定在一個(gè)特定范圍內(nèi)進(jìn)行查詢(xún)，以增加次小距離的方法減小這一 比值。假設(shè)原圖像特征點(diǎn)IV和目標(biāo)圖像的特征點(diǎn)7^為最近鄰特征點(diǎn)，同時(shí)$是特征點(diǎn)IV次 近鄰特征點(diǎn)，那么查詢(xún)一次近鄰特征點(diǎn)7J只在與$同一尺度的圖像內(nèi)進(jìn)行。由于 心㈨,7；: > 4㈨，使得最近鄰和次近鄰特征點(diǎn)歐式距離的比值保持如下關(guān)系：
[0075]
C 19)
[0076]因此，本發(fā)明通過(guò)限制次近鄰查找區(qū)域的方法，可以有效增加正確匹配特征點(diǎn)的 數(shù)量，達(dá)到特征匹配準(zhǔn)確的目的。通過(guò)以上步驟完成圖像的配準(zhǔn)。
[0077] 步驟三:利用步驟二所配準(zhǔn)的圖像，通過(guò)差分目標(biāo)分割法實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)； 然后采用形態(tài)學(xué)濾波優(yōu)化，通過(guò)膨脹、腐蝕等手段處理得到前景目標(biāo)輪廓;將前景目標(biāo)輪廓 進(jìn)行填充得到完整的運(yùn)動(dòng)目標(biāo)。
[0078] 差分目標(biāo)分割法是將配準(zhǔn)后兩幅圖像進(jìn)行幀間差分，即對(duì)圖像初始幀和補(bǔ)償后的 圖像幀作差，檢測(cè)運(yùn)動(dòng)目標(biāo)。假設(shè)，配準(zhǔn)后兩幀圖像分別用DcaUj)和D Q2(X，y)表示，通過(guò)閾 值T處理得到運(yùn)動(dòng)目標(biāo)的二值圖像?。(1，7)。具體規(guī)則如下：
[0079]
C20)
[0080]經(jīng)過(guò)以上方法處理得到運(yùn)動(dòng)目標(biāo)輪廓仍然殘缺不全，并且含有分布不均的噪聲， 由于噪聲的影響，檢測(cè)到的前景目標(biāo)邊緣會(huì)存在間斷。利用形態(tài)學(xué)中的閉運(yùn)算對(duì)斷裂處進(jìn) 行連接處理，具體做法為先對(duì)圖像進(jìn)行膨脹運(yùn)算，然后進(jìn)行腐蝕運(yùn)算。閉運(yùn)算可以填補(bǔ)前景 物體中存在的細(xì)小空洞，連接鄰近物體，并能夠平滑邊界，填補(bǔ)輪廓中存在的細(xì)小斷裂。通 過(guò)對(duì)前景目標(biāo)的邊緣連接和孔洞填充，提取出完整的前景運(yùn)動(dòng)目標(biāo)。
[0081]表1展示了本發(fā)明提出的基于SIFT特征匹配的目標(biāo)檢測(cè)方法與傳統(tǒng)的基于圖像塊 匹配檢測(cè)方法的檢測(cè)運(yùn)行時(shí)間對(duì)比表。所使用的測(cè)試序列為標(biāo)準(zhǔn)序列1名稱(chēng)Foreman，大小 36MB、標(biāo)準(zhǔn)序列2名稱(chēng)Coastguard，大小40MB、標(biāo)準(zhǔn)序列3名稱(chēng)Stefan，大小37MB。傳統(tǒng)的基于 圖像塊匹配檢測(cè)方法，是通過(guò)圖像塊匹配進(jìn)行補(bǔ)償處理，采用幀差法進(jìn)行目標(biāo)提取。對(duì)整個(gè) 圖像平面進(jìn)行劃分，得到互不相交的小塊(blocks)并同時(shí)假設(shè)塊內(nèi)具有相同的運(yùn)動(dòng)矢量， 由于其復(fù)雜度小、計(jì)算簡(jiǎn)單而得到廣泛應(yīng)用，但它不適合旋轉(zhuǎn)、縮放等圖像的非平移運(yùn)動(dòng)。 通過(guò)對(duì)比可以看出，本發(fā)明提出的基于SIFT特征匹配的目標(biāo)檢測(cè)方法相對(duì)于傳統(tǒng)的基于圖 像塊匹配檢測(cè)方法平均提升檢測(cè)速度31.26%。
[0082]表1兩種檢測(cè)方法運(yùn)行時(shí)間比較
[0083]
[0084] 圖2展示了本發(fā)明改進(jìn)的RANRAC方法與傳統(tǒng)的RANRAC方法在相同實(shí)驗(yàn)條件下計(jì)算 所用時(shí)間的對(duì)比圖。其中，橫坐標(biāo)為數(shù)據(jù)的錯(cuò)誤率(單位為百分比），縱坐標(biāo)為兩種方法所用 的計(jì)算時(shí)間（單位為秒），相同的實(shí)驗(yàn)條件是置信概率為99%，預(yù)檢樣本數(shù)為15,預(yù)檢通過(guò)率 80%，數(shù)據(jù)錯(cuò)誤率為模擬數(shù)據(jù)的錯(cuò)誤率。從圖中可以看出，隨著數(shù)據(jù)錯(cuò)誤率百分比的增加， 本發(fā)明改進(jìn)的RANRAC方法所用計(jì)算時(shí)間比傳統(tǒng)的RANRAC方法顯著減少，從而節(jié)約了大量計(jì) 算時(shí)間。
[0085]圖3展示的是本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法計(jì)算速度提高的程 度。其中，橫坐標(biāo)為數(shù)據(jù)錯(cuò)誤率的百分比，縱坐標(biāo)為改進(jìn)的RANRAC方法計(jì)算速度提高的百分 比。在不同錯(cuò)誤率下，改進(jìn)的RANRAC方法計(jì)算速度提高相對(duì)程度在25 %~40 %之間，從結(jié)果 顯示可以看出，本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法在計(jì)算效率上有相當(dāng)程度的 提尚。
[0086]圖4展示了本發(fā)明基于SIFT特征匹配的目標(biāo)檢測(cè)方法與傳統(tǒng)的基于圖像塊匹配檢 測(cè)方法的實(shí)驗(yàn)檢測(cè)效果圖。采用三種不同環(huán)境、光照、背景的標(biāo)準(zhǔn)視頻測(cè)試序列，標(biāo)準(zhǔn)序列1 名稱(chēng)Foreman，圖像分辨率352 X 288，大小36MB、標(biāo)準(zhǔn)序列2名稱(chēng)Coastguard，圖像分辨率352 \288，大小401?、標(biāo)準(zhǔn)序列3名稱(chēng)5七6€&11，圖像分辨率352\288，大小37]\?，圖（3)、（13)、（ 8) 和(h)是原始圖像幀，它們分別是原圖像序列的第25幀、第30幀、第38幀和第56幀，其中（g) 和(h)為同種標(biāo)準(zhǔn)序列的對(duì)比圖像幀；圖（c)、（d)、（i)和（j)為傳統(tǒng)的基于圖像塊匹配檢測(cè) 方法檢測(cè)效果圖；圖（e)、（f)、（k)和(m)為本發(fā)明基于SIFT特征匹配的目標(biāo)檢測(cè)方法的檢測(cè) 效果圖。通過(guò)對(duì)比可以明顯看到，傳統(tǒng)的基于圖像塊匹配目標(biāo)檢測(cè)方法檢測(cè)的目標(biāo)圖像較 為模糊，輪廓有殘缺，背景中的干擾沒(méi)有完全去除。這是因?yàn)閿z像機(jī)的運(yùn)動(dòng)不只是平移，還 進(jìn)行了快速旋轉(zhuǎn)，在復(fù)雜的運(yùn)動(dòng)情況下，傳統(tǒng)的方法已經(jīng)失效。而本發(fā)明基于SIFT特征匹配 的目標(biāo)檢測(cè)的方法檢測(cè)到的目標(biāo)圖像不但排除了背景干擾，而且圖像更清晰，從而證明了 本發(fā)明基于SIFT特征匹配的目標(biāo)檢測(cè)方法非常適合攝像機(jī)在做復(fù)雜運(yùn)動(dòng)情況下的目標(biāo)檢 測(cè)。
[0087] 本發(fā)明所有測(cè)試是在PC機(jī)上完成，使用Visual Studio 2012，PC機(jī)配置：CHJ是 intel core i7@3.60G，顯卡型號(hào)是AMD Radeon(TM)R5 240〇
【主權(quán)項(xiàng)】
1. 一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，實(shí)現(xiàn)步驟如下： 步驟一：對(duì)目標(biāo)圖像進(jìn)行SIFT(Scale Invariant Feature Transform,尺度不變特征 變換)特征提取，提取圖像序列中的SIFT特征點(diǎn)； SIFT特征提取包括:從圖像中提取局部特征，在尺度空間尋找極值點(diǎn)，初步定位特征 點(diǎn)，準(zhǔn)確定位特征點(diǎn)，確定特征點(diǎn)方向，生成關(guān)鍵點(diǎn)描述算子； 步驟二:對(duì)步驟一得到的圖像SIFT特征點(diǎn)進(jìn)行快速準(zhǔn)確匹配； 步驟2.1，根據(jù)動(dòng)態(tài)場(chǎng)景的特點(diǎn)構(gòu)建全局運(yùn)動(dòng)模型及運(yùn)動(dòng)參數(shù)，參數(shù)模型采用8參數(shù)旋 轉(zhuǎn)模型，利用步驟一得出第t-1帖的特征點(diǎn)集合出-1，對(duì)圖像中相鄰兩帖分別捜索特征點(diǎn)，找 出第t帖所有特征點(diǎn)集Ht,n，保存在特征點(diǎn)集合Ht中，并用Ht-i和Ht進(jìn)行匹配并建立匹配點(diǎn)對(duì) 集合Ft; 模型變換矩陣的表達(dá)式為：步驟2.2,利用改進(jìn)的RANRAC(Random Sample Consensus,隨機(jī)抽樣一致）方法去除步 驟2.1產(chǎn)生的匹配點(diǎn)對(duì)集Ft中存在的誤匹配點(diǎn)，再用最小二乘法求出第t帖的參數(shù)矩陣It。對(duì) 第t-1帖圖像做同樣處理，然后對(duì)圖像中攝像機(jī)旋轉(zhuǎn)運(yùn)動(dòng)進(jìn)行補(bǔ)償，得到殘差圖像Pb;通過(guò) 改進(jìn)RANRAC模型參數(shù)選取，選擇透視投影變換作為圖像變換模型，線性求解模型8個(gè)參數(shù)， 采用最小二乘法求解該矩陣參數(shù);通過(guò)選擇少數(shù)最優(yōu)匹配點(diǎn)作為觀察數(shù)據(jù)集代表，在其中 隨機(jī)抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)更接近于真實(shí)值，并且實(shí)現(xiàn)了用較少的迭代次數(shù) 得到較真實(shí)的矩陣參數(shù)，估計(jì)模型參數(shù)的理想情況是捜索所有可能性，但計(jì)算量太大，實(shí)際 通過(guò)確定一個(gè)適當(dāng)采樣次數(shù)，使匹配點(diǎn)是內(nèi)點(diǎn)的概率足夠高即可； 模型變換矩陣的表達(dá)式為：模型選取方式改進(jìn)為增加臨時(shí)模型預(yù)檢測(cè)，對(duì)每個(gè)模型參數(shù)檢驗(yàn)之前，首先隨機(jī)抽取 少量的數(shù)據(jù)對(duì)模型參數(shù)預(yù)檢驗(yàn)，如果通過(guò)預(yù)檢驗(yàn)，則進(jìn)入后續(xù)的檢驗(yàn)，否則運(yùn)個(gè)模型不再參 與后續(xù)的全數(shù)據(jù)檢驗(yàn)。采用此臨時(shí)模型預(yù)檢測(cè)方式，節(jié)約運(yùn)行時(shí)間，提高計(jì)算的效率； 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集出中的特征點(diǎn)數(shù)目是否小于最佳匹配值0,若 小于則進(jìn)行特征點(diǎn)更新，將得到的殘差圖像Pb、參數(shù)矩陣It、特征點(diǎn)對(duì)集Ft進(jìn)行保存，同時(shí)更 新背景;在動(dòng)態(tài)場(chǎng)景中，由于隨著拍攝視角的不斷變化，圖像的特征也隨之變化，匹配值0的 設(shè)定關(guān)系到最小二乘解的準(zhǔn)確性，如果匹配值0設(shè)置偏大，會(huì)造成程序計(jì)算量增大，影響算 法的運(yùn)行效率;如果設(shè)置偏小，則會(huì)使圖像平均匹配點(diǎn)數(shù)降低，造成無(wú)法得到最小二乘的最 優(yōu)解。根據(jù)多次試驗(yàn)選取最佳匹配值0 = 15; 利用基于殘差圖像的方法把圖像前景區(qū)域進(jìn)行快速標(biāo)記，通過(guò)對(duì)圖像塊的SAD(Sum of Absolute Difference,絕對(duì)殘差和)值排序方式，綜合考慮計(jì)算量和前景標(biāo)記的準(zhǔn)確性，找 到合理的塊參數(shù)大小，并對(duì)圖像進(jìn)行及時(shí)更新； SAD的計(jì)算方法：步驟2.4,本發(fā)明提出基于預(yù)測(cè)的特征點(diǎn)匹配方法，根據(jù)得到當(dāng)前帖的特征點(diǎn)合理推測(cè) 出下一帖的特征點(diǎn)，如此使匹配在限制的范圍內(nèi)進(jìn)行，縮小捜索范圍，達(dá)到快速匹配的目 的，最后，利用最近鄰和次近鄰特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，完成圖像的配準(zhǔn)； 本發(fā)明將最近鄰和次近鄰特征點(diǎn)的距離限定在一個(gè)特定范圍內(nèi)進(jìn)行查詢(xún)，W增加次小 距離的方法減小運(yùn)一比值，有效增加正確匹配特征點(diǎn)的數(shù)量，達(dá)到特征匹配準(zhǔn)確的目的； 最近鄰和次近鄰特征點(diǎn)歐式距離的比值關(guān)系：步驟Ξ:利用步驟二所配準(zhǔn)的圖像，通過(guò)差分目標(biāo)分割法實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)，通過(guò) 后期處理得到前景目標(biāo)輪廓，將前景目標(biāo)輪廓進(jìn)行填充得到完整的運(yùn)動(dòng)目標(biāo)。2. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)，其特征在于，步驟二 中所述的構(gòu)建全局運(yùn)動(dòng)模型及運(yùn)動(dòng)參數(shù)，具體是:首先為攝像機(jī)的運(yùn)動(dòng)建立運(yùn)動(dòng)模型，通過(guò) 模型的求解得到全局運(yùn)動(dòng)參數(shù)，運(yùn)動(dòng)目標(biāo)的檢測(cè)需要消除攝像機(jī)的移動(dòng)的影響，旋轉(zhuǎn)模型 能夠很好描述旋轉(zhuǎn)角度較大的情況，故采用8參數(shù)旋轉(zhuǎn)模型。3. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)，其特征在于，步驟二 中所述的改進(jìn)RANRAC模型參數(shù)選取和模型選取方式，具體是:通過(guò)選擇少數(shù)最優(yōu)匹配點(diǎn)作 為觀察數(shù)據(jù)集代表，在隨機(jī)抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)，使匹配點(diǎn)是內(nèi)點(diǎn)的概率 足夠高;增加臨時(shí)模型預(yù)檢測(cè)，隨機(jī)抽取少量的數(shù)據(jù)對(duì)模型參數(shù)預(yù)檢驗(yàn)，如果通過(guò)預(yù)檢驗(yàn)， 則進(jìn)入后續(xù)的檢驗(yàn)，如此迭代進(jìn)行，節(jié)約計(jì)算時(shí)間，提高計(jì)算的效率。4. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動(dòng)目標(biāo)檢測(cè)，其特征在于，步驟二 中所述的利用最近鄰和次近鄰特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，具體是:通過(guò)減小最近 鄰和次近鄰特征點(diǎn)歐式距離的比值，可W有效恢復(fù)正確匹配點(diǎn)數(shù)目，將最近鄰和次近鄰特 征點(diǎn)的距離限定在一個(gè)特定范圍內(nèi)進(jìn)行查詢(xún)，W增加次小距離的方法減小運(yùn)一比值，通過(guò) 限制次近鄰查找區(qū)域的方法可W有效增加正確匹配特征點(diǎn)的數(shù)量。
【文檔編號(hào)】G06K9/46GK105976399SQ201610283529
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年4月29日
【發(fā)明人】艾明晶, 劉銳
【申請(qǐng)人】北京航空航天大學(xué)