地理信息時空約束下的無人機運動目標(biāo)跟蹤與定位方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視覺跟蹤與空間定位技術(shù)領(lǐng)域，具體涉及一種地理信息時空約束下的 無人機運動目標(biāo)跟蹤與定位方法。
【背景技術(shù)】
[0002] 目標(biāo)跟蹤在科學(xué)和工程中具有重要價值。無人機因具有高機動性、低成本、操作靈 活等優(yōu)勢，得到了空前的開發(fā)和運用。由于搭載視頻傳感器的無人機具有獲取動態(tài)信息及 快速響應(yīng)的能力，基于視覺的無人機目標(biāo)跟蹤與定位在空中偵查、目標(biāo)監(jiān)視、實時定位等應(yīng) 用中具有重要意義。
[0003] 目標(biāo)跟蹤算法的難點在于如何設(shè)計出魯棒穩(wěn)定的跟蹤算法，以適應(yīng)跟蹤過程中光 照變化、目標(biāo)遮擋、目標(biāo)尺度變化以及目標(biāo)形變，對目標(biāo)進(jìn)行實時持續(xù)跟蹤。單攝像機目標(biāo) 跟蹤算法大體上可分為2大類：基于生成模型的目標(biāo)跟蹤方法和基于判別模型的目標(biāo)跟蹤 方法。
[0004] 基于生成模型的目標(biāo)跟蹤方法通過提取目標(biāo)特征，在特征空間中對目標(biāo)區(qū)域進(jìn)行 描述，構(gòu)建目標(biāo)的表觀模型；然后在目標(biāo)可能出現(xiàn)的區(qū)域進(jìn)行搜索，以具備最小重建誤差的 圖像塊作為跟蹤目標(biāo)。該方法的重點在于描述目標(biāo)，構(gòu)建一個能夠完善表達(dá)目標(biāo)（包括不 同視角，不同尺度，目標(biāo)形變等）的模型，以適應(yīng)跟蹤過程中各種干擾。該類方法充分利用 了目標(biāo)的表觀信息，在跟蹤過程中對光照和顏色變化不敏感。由于該類跟蹤方法未利用背 景信息，目標(biāo)跟蹤易受復(fù)雜背景干擾。此外，構(gòu)建魯棒高效的外觀模型十分困難。
[0005] 基于判別模型的目標(biāo)跟蹤方法則是估計觀測數(shù)據(jù)的條件概率分布，尋找能把目標(biāo) 和背景分離開的最優(yōu)分類面，將跟蹤問題轉(zhuǎn)化成為了一個二分類問題。由于分類邊界比較 靈活，所以該類目標(biāo)跟蹤方法的區(qū)分性較好。
[0006] 對于機載攝像機的無人機目標(biāo)跟蹤而言，攝像機與地面存在相對運動，使得視頻 背景也是動態(tài)的，這給運動目標(biāo)檢測跟蹤帶來很大干擾。針對動態(tài)背景中運動目標(biāo)檢測跟 蹤，常用的方法是進(jìn)行運動背景補償，如特征匹配法、灰度投影法、光流場法、圖像塊匹配法 和相位相關(guān)法，估計出當(dāng)前幀圖像相對于參考幀圖像的運動矢量，以補償背景運動，將動態(tài) 背景轉(zhuǎn)換為靜態(tài)背景，減少場景變化對目標(biāo)檢測和跟蹤的影響，然后再進(jìn)行目標(biāo)檢測與跟
[0007] 航拍圖像具有圖像場景大、復(fù)雜多變且圖像受噪聲影響顯著的特點，而待跟蹤目 標(biāo)弱小且與背景特征相似，這使得誤檢測誤跟蹤可能性大大提高，因此機載攝像機的無人 機目標(biāo)跟蹤算法需具備較高的抗干擾能力。
[0008] 由于無人機平臺姿態(tài)變化大和攝像機晃動大，通常無人機視頻圖像抖動旋轉(zhuǎn)變形 較為嚴(yán)重，目標(biāo)形態(tài)變化大，目標(biāo)被部分或完全遮擋，甚至因無人機平臺姿態(tài)變化，目標(biāo)突 然從視頻場景中消失讓后又重新出現(xiàn)，為了能對目標(biāo)進(jìn)行持續(xù)跟蹤，這就要求機載攝像機 的無人機目標(biāo)跟蹤算法具有目標(biāo)重檢測功能和抗遮擋能力。
[0009] 此外，現(xiàn)有目標(biāo)跟蹤方法一般只是獲取目標(biāo)在視頻圖像上的像素坐標(biāo)，無法獲得 目標(biāo)真實的高精度地理坐標(biāo)，難以滿足空中偵查、目標(biāo)監(jiān)視、實時定位等任務(wù)的需求。
[0010] 由上述可知，對無人機視頻圖像的目標(biāo)鎖定跟蹤是一項充滿挑戰(zhàn)的任務(wù)，現(xiàn)有無 人機運動目標(biāo)跟蹤技術(shù)面臨普適性的問題，難以對視頻場景中的運動目標(biāo)進(jìn)行穩(wěn)定持續(xù)的 跟蹤。

【發(fā)明內(nèi)容】

[0011] 針對現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種更為穩(wěn)健可靠的、地理信息時空約 束下的無人機運動目標(biāo)跟蹤與定位方法。
[0012] 為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：
[0013] 地理信息時空約束下的無人機運動目標(biāo)跟蹤與定位方法，包括步驟：
[0014] S1根據(jù)無人機P0S數(shù)據(jù)獲得航攝像片的外方位角元素和外方位線元素；
[0015] S2結(jié)合高程數(shù)據(jù)對航攝像片進(jìn)行幾何校正得正射影像；
[0016] S3采用基礎(chǔ)地理信息庫中基準(zhǔn)影像對正射影像進(jìn)行精糾正，獲得正射影像的幾何 校正坐標(biāo)和地理坐標(biāo)的映射關(guān)系；
[0017] S4第一幀正射影像上框選待跟蹤的目標(biāo)，即初始目標(biāo)；
[0018] S5對正射影像序列逐幀進(jìn)行目標(biāo)跟蹤，具體為：
[0019] 5. 1根據(jù)基礎(chǔ)地理信息庫中道路矢量數(shù)據(jù)構(gòu)建當(dāng)前幀正射影像的道路緩沖區(qū)，對 目標(biāo)和道路緩沖區(qū)做空間分析，確定目標(biāo)所在的道路緩沖區(qū)；
[0020] 5. 2以目標(biāo)所在的道路緩沖區(qū)為前景掩膜，輸入初始目標(biāo)，采用目標(biāo)跟蹤法在當(dāng)前 幀正射影像的道路緩沖區(qū)內(nèi)進(jìn)行目標(biāo)跟蹤；
[0021] 5. 3以目標(biāo)中心地理坐標(biāo)及目標(biāo)移動速度構(gòu)建當(dāng)前時刻的系統(tǒng)狀態(tài)向量，以子步 驟5. 2所跟蹤的目標(biāo)中心地理坐標(biāo)構(gòu)建當(dāng)前時刻的系統(tǒng)觀測向量，采用卡爾曼濾波器修正 當(dāng)前幀正射影像的目標(biāo)跟蹤結(jié)果；
[0022] 5. 4將當(dāng)前幀正射影像所跟蹤的目標(biāo)作為下一幀正射影像的初始目標(biāo)，重復(fù)執(zhí)行 子步驟5. 1~5. 3 ;
[0023] S6拼接正射影像序列并顯示目標(biāo)運動軌跡。
[0024] 步驟S2中采用反解法數(shù)字微分糾正或間接法數(shù)字微分糾正進(jìn)行幾何校正。
[0025] 步驟S3進(jìn)一步包括：
[0026] 由正射影像的幾何校正坐標(biāo)獲得影像覆蓋范圍；
[0027] 根據(jù)影像覆蓋范圍從基礎(chǔ)地理信息庫中查詢正射影像匹配的基準(zhǔn)影像；
[0028] 對正射影像和其匹配的基準(zhǔn)影像分別提取特征點；
[0029] 基于特征點對正射影像和其匹配的基準(zhǔn)影像進(jìn)行配準(zhǔn)，獲得正射影像的幾何校正 坐標(biāo)和地理坐標(biāo)的映射關(guān)系。
[0030] 子步驟5. 2中采用TLD法在正射影像的道路緩沖區(qū)內(nèi)進(jìn)行目標(biāo)跟蹤。
[0031] 和現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點和顯著效果：
[0032] (1)針對無人機平臺姿態(tài)變化大和攝像機晃動大的特點，將無人機視頻圖像進(jìn)行 幾何校正，校正待跟蹤目標(biāo)形變，并且將視頻序列圖像納入統(tǒng)一的坐標(biāo)系中，化運動背景為 靜態(tài)背景，進(jìn)行運動補償，確保對目標(biāo)穩(wěn)定的跟蹤。為攝像機運動補償提供了新的技術(shù)方 案。
[0033] (2)引入先驗地理信息約束目標(biāo)跟蹤處理范圍，有效排除干擾，減少誤檢測，提高 跟蹤可靠性與效率。結(jié)合先驗地理信息輔助下的目標(biāo)遮擋判斷與Kalman濾波，修正目標(biāo)跟 蹤結(jié)果，提尚跟蹤精度與可靠性。
[0034] (3)將視頻圖像與基準(zhǔn)圖影像圖進(jìn)行匹配，獲取運動目標(biāo)高精度的地理坐標(biāo)，實現(xiàn) 目標(biāo)高精度定位。
【附圖說明】
[0035] 圖1為本發(fā)明的具體流程圖。
【具體實施方式】
[0036] 以下將結(jié)合附圖和【具體實施方式】詳細(xì)說明本發(fā)明技術(shù)方案。
[0037] 步驟1 :無人機POS (Position and Orientation System，定位定向系統(tǒng)）數(shù)據(jù)的 解析與重組。
[0038] 本步驟是根據(jù)P0S數(shù)據(jù)中姿態(tài)角和頂U幾何中心位置獲得航攝像片的外方位角元 素和外方位線元素，本步驟的實現(xiàn)過程為已有技術(shù)。
[0039] 慣性測量單元（IMU)可獲得無人機姿態(tài)角，其通常采用HPR(即heading、pitch、 roll)系統(tǒng)，heading、pitch、roll分別是指偏航角、俯仰角、翻滾角。攝影測量領(lǐng)域則一 般采用0ΡΚ系統(tǒng)表示航攝像片的外方位角元素。所以要將頂U采樣瞬間測定的姿態(tài)角 (Φ，Θ，Ψ)轉(zhuǎn)換成攝影測量領(lǐng)域使用的外方位角元素
[0040] 可通過一系列坐標(biāo)變換將姿態(tài)角（Φ，Θ，Ψ)轉(zhuǎn)換成航攝像片的3個外方位角元 素（隊機即按下述順序依次進(jìn)行坐標(biāo)變換：地輔坐標(biāo)系m -地心直角坐標(biāo)系E -導(dǎo)航坐 標(biāo)系g - IMU坐標(biāo)系b -傳感器坐標(biāo)系c -像空間坐標(biāo)系i。
[0041] 變換矩陣具體形式如下：
[0043] 式⑴中，if表示坐標(biāo)系j變換到坐標(biāo)系k的正交變換矩陣。
[0044] 將INS系統(tǒng)測定的頂U幾何中心在地心直角坐標(biāo)系E中的坐標(biāo)（XIMU，Y_ Z: J轉(zhuǎn) 換為外方位線元素，即攝影中心在地輔坐標(biāo)系m中的坐標(biāo)（Xs，Ys，Zs)，轉(zhuǎn)換公式如下：
[0046] 式⑵中，（Xu yu ζ)表示偏心矢量，即攝影中心在頂U坐標(biāo)系b中坐標(biāo)； (X。，Υ。，Z。）為地輔坐標(biāo)系m原點在地心直角坐標(biāo)系E中坐標(biāo)。
[0047] 本步驟的具體實現(xiàn)過程可參考文獻(xiàn)：劉軍，王冬紅，張永生.GPS/INS系統(tǒng)HPR與 0ΡΚ角元素的剖析與轉(zhuǎn)換[J].測繪科學(xué)，2006, 31 (5):54-56。
[0048] 步驟2 :結(jié)合平均高程、DEM數(shù)據(jù)、或DSM數(shù)據(jù)，對航攝像片進(jìn)行幾何校正，將航攝像 片變換為與地理坐標(biāo)相一致的正射影像。
[0049] 本步驟實質(zhì)為兩個二維圖像間的幾何變換，常用方法有反解法數(shù)字微分糾正、間 接法數(shù)字微分糾正。
[0050] 反解法數(shù)字微分糾正進(jìn)行幾何校正的過程為：首先，依次計算正射影像上各正射 像元坐標(biāo)；然后，按共線方程將正射像元反算到航攝像片；接著，對航攝像片進(jìn)行灰度內(nèi) 插，將灰度內(nèi)插得到的灰度值賦給對應(yīng)的正射像元。逐正射像元計算，直至所有正射像元都 賦予灰度值。
[0051] 由于需要逐正射像元計算，計算量大，效率低?？紤]到航攝像片對應(yīng)地面范圍較 小，可以以"面元素"作為糾正單元。即在航攝像片上建立ηΧη大小的格網(wǎng)，對格網(wǎng)點像元 按共線方程嚴(yán)格進(jìn)行數(shù)字微分糾正，各格網(wǎng)內(nèi)部像元由格網(wǎng)四個角點按一次多項式內(nèi)插進(jìn) 行幾何校正。這種方法以犧牲少量幾何精度為代價換取計算效率的提高。
[0052] 本步驟的具體實現(xiàn)過程可參考文獻(xiàn)：張劍清，潘勵，王樹根編著，攝影測量學(xué)，武漢 大學(xué)出版社，2009. 05 :217-220。
[0053] 步驟3 :基于基準(zhǔn)