一種基于光流的特征跟蹤方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于光流的特征跟蹤方法及裝置。
【背景技術(shù)】
[0002] 隨著運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)的快速發(fā)展，相應(yīng)的產(chǎn)生了多種用于對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè) 的方法，例如現(xiàn)有技術(shù)中基于運(yùn)動(dòng)目標(biāo)的顏色特征、運(yùn)動(dòng)信息以及運(yùn)動(dòng)模型等建立相應(yīng)的 檢測(cè)方法，而其中運(yùn)動(dòng)目標(biāo)的特征檢測(cè)與跟蹤是研究的重要基礎(chǔ)和關(guān)鍵技術(shù)，例如可以對(duì) 處于運(yùn)動(dòng)狀態(tài)的人的手部、臉部所拍攝的圖像序列的特征進(jìn)行檢測(cè)和跟蹤，進(jìn)而可以實(shí)現(xiàn) 對(duì)于人的手勢(shì)、人的臉部等的識(shí)別。
[0003] 基于運(yùn)動(dòng)目標(biāo)的顏色特征的檢測(cè)方法有均值漂移、連續(xù)的自適應(yīng)均值漂移等方 法，此類方法在一些簡(jiǎn)單場(chǎng)景下可以實(shí)現(xiàn)較好的人的手勢(shì)等的跟蹤?；谶\(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng) 信息的檢測(cè)方法有光流法、卡爾曼濾波（Kalman FiIter)、粒子濾波（Particle Filter)等 方法。其中，光流法可以利用含有運(yùn)動(dòng)目標(biāo)的圖像序列中像素的強(qiáng)度在時(shí)域、空域的變化， 進(jìn)而推算出所述運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)場(chǎng)（Motion Field)，最終實(shí)現(xiàn)對(duì)于運(yùn)動(dòng)目標(biāo)的跟蹤。所述 光流法根據(jù)計(jì)算所需的像素點(diǎn)的多少，光流可以分為稠密光流和稀疏光流。此外，也有基于 運(yùn)動(dòng)模型的檢測(cè)方法，此類方法中首先建立運(yùn)動(dòng)目標(biāo)的2D或3D模型，例如建立人手的2D 或3D模型，在對(duì)目標(biāo)跟蹤的過(guò)程中，根據(jù)實(shí)際情況對(duì)建立的模型的參數(shù)進(jìn)行迭代、優(yōu)化，從 而使其不斷的適應(yīng)運(yùn)動(dòng)目標(biāo)的變化，實(shí)現(xiàn)對(duì)于運(yùn)動(dòng)目標(biāo)的跟蹤。
[0004] 在上述基于運(yùn)動(dòng)信息的檢測(cè)方法中，在光流法中，通常可以通過(guò)對(duì)圖像序列中的 若干特征點(diǎn)進(jìn)行光流計(jì)算，通過(guò)對(duì)特征點(diǎn)的跟蹤而實(shí)現(xiàn)對(duì)于運(yùn)動(dòng)目標(biāo)的跟蹤和識(shí)別，但在 上述光流法的跟蹤過(guò)程中，對(duì)圖像序列的匹配要求比較高，但在一些復(fù)雜場(chǎng)景下得到的圖 像序列則可能匹配程度不高，由此導(dǎo)致對(duì)一些特征點(diǎn)的跟蹤出現(xiàn)誤差，進(jìn)而可能導(dǎo)致對(duì)運(yùn) 動(dòng)目標(biāo)的跟蹤和識(shí)別出現(xiàn)誤差或失敗的可能。
[0005] 相關(guān)技術(shù)可參考公開(kāi)號(hào)為US2013259317A1的美國(guó)專利申請(qǐng)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明解決的問(wèn)題是對(duì)特征點(diǎn)跟蹤不準(zhǔn)確的問(wèn)題。
[0007] 為解決上述問(wèn)題，本發(fā)明技術(shù)方案提供一種基于光流的特征跟蹤方法，所述方法 包括：
[0008] 獲取跟蹤窗口所含有的特征點(diǎn)；
[0009] 基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤；
[0010] 當(dāng)跟蹤后的特征點(diǎn)位于預(yù)設(shè)區(qū)域之外時(shí)，對(duì)所述跟蹤后的特征點(diǎn)重新定位，所述 預(yù)設(shè)區(qū)域?yàn)橐灾兄堤卣鼽c(diǎn)為中心的區(qū)域，所述中值特征點(diǎn)為所述跟蹤后的特征點(diǎn)中與其它 所有跟蹤后的特征點(diǎn)的距離的和為最小的特征點(diǎn)。
[0011] 可選的，所述圖像的獲取跟蹤窗口所含有的特征點(diǎn)的過(guò)程包括：
[0012] 通過(guò)下述公式獲取圖像的跟蹤窗口內(nèi)的所有像素點(diǎn)的自相關(guān)矩陣：
【主權(quán)項(xiàng)】
1. 一種基于光流的特征跟蹤方法，其特征在于，包括： 獲取跟蹤窗口所含有的特征點(diǎn)； 基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤； 當(dāng)跟蹤后的特征點(diǎn)位于預(yù)設(shè)區(qū)域之外時(shí)，對(duì)所述跟蹤后的特征點(diǎn)重新定位，所述預(yù)設(shè) 區(qū)域?yàn)閃中值特征點(diǎn)為中也的區(qū)域，所述中值特征點(diǎn)為所述跟蹤后的特征點(diǎn)中與其它所有 跟蹤后的特征點(diǎn)的距離的和為最小的特征點(diǎn)。
2. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，所述獲取跟蹤窗口所 含有的特征點(diǎn)的過(guò)程包括： 通過(guò)下述公式獲取圖像的跟蹤窗口內(nèi)的所有像素點(diǎn)的自相關(guān)矩陣：
其中，M(x，y)表示坐標(biāo)為 (x，y)的像素點(diǎn)的自相關(guān)矩陣，i，j為跟蹤窗口內(nèi)的像素點(diǎn)分別在X方向和Y方向上的索 引值，w(i，如為在X方向上的索引值為i、在Y方向上的索引值為j處的像素點(diǎn)的權(quán)重值， K為所述跟蹤窗口的二分之一寬度值，ly和ly分別是X方向索引值為i、在Y方向上的索引 值為j處的像素點(diǎn)在X方向上偏導(dǎo)數(shù)值和在Y方向上的偏導(dǎo)數(shù)值； 基于所述像素點(diǎn)的自相關(guān)矩陣，獲取所述像素點(diǎn)的自相關(guān)矩陣的最大特征值和最小特 征值； 當(dāng)A (min)〉A(chǔ)X A (max)時(shí)，確定所述像素點(diǎn)為跟蹤窗口所含有的特征點(diǎn)，其中 A (max)為所述像素點(diǎn)的自相關(guān)矩陣的最大特征值，A (min)為所述像素點(diǎn)的自相關(guān)矩陣 的最小特征值，A為特征闊值。
3. 如權(quán)利要求2所述的基于光流的特征跟蹤方法，其特征在于，所述特征闊值的取值 為 0. 001 ?0. 01。
4. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，還包括；在獲取跟蹤窗 口所含有的特征點(diǎn)之后，基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤之前，對(duì)所述特征點(diǎn)進(jìn) 行光照補(bǔ)償。
5. 如權(quán)利要求4所述的基于光流的特征跟蹤方法，其特征在于，所述對(duì)所述特征點(diǎn)進(jìn) 行光照補(bǔ)償包括： 基于公式山=A XJ+5對(duì)所述跟蹤窗口所含有的特征點(diǎn)進(jìn)行光照補(bǔ)償，其中，A是所述 特征點(diǎn)的亮度的增益系數(shù)，5是所述特征點(diǎn)的亮度的偏置系數(shù)，J為所述特征點(diǎn)補(bǔ)償前的 亮度值，J。為所述特征點(diǎn)補(bǔ)償后的亮度值。
6. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，所述對(duì)所述跟蹤后的 特征點(diǎn)重新定位的過(guò)程包括： 通過(guò)公式N=RXM+ (1 - R) XN對(duì)所述跟蹤后的特征點(diǎn)重新定位，其中，N為所述跟蹤 后的特征點(diǎn)的坐標(biāo)值，R為更新系數(shù)，R的取值范圍為0?1之間的數(shù)值，M為所述中值特征 點(diǎn)的坐標(biāo)值。
7. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，所述預(yù)設(shè)區(qū)域?yàn)閃中
值特征點(diǎn)為中也、w跟蹤窗口的邊長(zhǎng)值的二分之一長(zhǎng)度為半徑的圓形區(qū)域。
8. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，所述稀疏光流算法為 圖像金字培光流算法。
9. 如權(quán)利要求1所述的基于光流的特征跟蹤方法，其特征在于，還包括；在對(duì)所述跟 蹤后的特征點(diǎn)重新定位后，基于所述跟蹤窗口內(nèi)的特征點(diǎn)的跟蹤結(jié)果對(duì)用戶的手勢(shì)進(jìn)行識(shí) 別。
10. -種基于光流的特征跟蹤裝置，其特征在于，包括： 獲取單元，適于獲取跟蹤窗口所含有的特征點(diǎn)； 跟蹤單元，適于基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤； 重新定位單元，適于當(dāng)跟蹤后的特征點(diǎn)位于預(yù)設(shè)區(qū)域之外時(shí)，對(duì)所述跟蹤后的特征點(diǎn) 重新定位，所述預(yù)設(shè)區(qū)域?yàn)閃中值特征點(diǎn)為中也的區(qū)域，所述中值特征點(diǎn)為所述跟蹤后的 特征點(diǎn)中與其它所有跟蹤后的特征點(diǎn)的距離的和為最小的特征點(diǎn)。
11. 如權(quán)利要求10所述的基于光流的特征跟蹤裝置，其特征在于，還包括；補(bǔ)償單元， 適于在獲取圖像的特征點(diǎn)之后，基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤之前，對(duì)所述特 征點(diǎn)進(jìn)行光照補(bǔ)償。
12. 如權(quán)利要求10所述的基于光流的特征跟蹤裝置，其特征在于，所述重新定位單元 通過(guò)公式N=RXM+ (1 -R) XN對(duì)所述跟蹤后的特征點(diǎn)重新定位，其中，N為所述跟蹤后的 特征點(diǎn)的坐標(biāo)值，R為更新系數(shù)，R的取值范圍為0?1之間的數(shù)值，M為所述中值特征點(diǎn)的 坐標(biāo)值。
13. 如權(quán)利要求10所述的基于光流的特征跟蹤裝置，其特征在于，還包括；識(shí)別單元， 適于在對(duì)所述跟蹤后的特征點(diǎn)重新定位后，基于所述跟蹤窗口內(nèi)的特征點(diǎn)的跟蹤結(jié)果對(duì)用 戶的手勢(shì)進(jìn)行識(shí)別。
【專利摘要】一種基于光流的特征跟蹤方法及裝置，所述方法包括：獲取跟蹤窗口所含有的特征點(diǎn)；基于稀疏光流算法對(duì)所述特征點(diǎn)進(jìn)行跟蹤；當(dāng)跟蹤后的特征點(diǎn)位于預(yù)設(shè)區(qū)域之外時(shí)，對(duì)所述跟蹤后的特征點(diǎn)重新定位，所述預(yù)設(shè)區(qū)域?yàn)橐灾兄堤卣鼽c(diǎn)為中心的區(qū)域，所述中值特征點(diǎn)為所述特征點(diǎn)中與其它所有特征點(diǎn)的距離的和為最小的特征點(diǎn)。通過(guò)所述方法，在對(duì)特征點(diǎn)跟蹤的過(guò)程中，對(duì)可能是錯(cuò)誤的跟蹤點(diǎn)通過(guò)重新定位，可以提高特征點(diǎn)的準(zhǔn)確性，提高跟蹤結(jié)果的準(zhǔn)確性。
【IPC分類】G06T7-20
【公開(kāi)號(hào)】CN104599286
【申請(qǐng)?zhí)枴緾N201310529938
【發(fā)明人】劉陽(yáng), 張樂(lè), 陳敏杰, 林福輝
【申請(qǐng)人】展訊通信(天津)有限公司
【公開(kāi)日】2015年5月6日
【申請(qǐng)日】2013年10月31日