本發(fā)明涉及計算機(jī)圖像處理技術(shù)領(lǐng)域,特別涉及一種目標(biāo)位置矯正方法、裝置及系統(tǒng)。
背景技術(shù):
隨著無人機(jī)技術(shù)的發(fā)展和進(jìn)步,在軍用和民用領(lǐng)域的應(yīng)用都越來越廣泛。且計算機(jī)圖像處理技術(shù)和無人機(jī)技術(shù)的融合更使得無人機(jī)在測繪、巡檢和偵查等方面大展身手。與此同時,由于無人機(jī)的運(yùn)動過程不同于以往的任何載體,這就使得搭載于無人機(jī)上的圖像獲取和處理裝置的處理方法也將不同于常規(guī)的固定載體和高速運(yùn)動載體。
在基于無人機(jī)的圖像處理中,目標(biāo)跟蹤是一個尤為重要的課題。運(yùn)動目標(biāo)跟蹤在軍事制導(dǎo),視覺導(dǎo)航,機(jī)器人,智能交通,公共安全等領(lǐng)域有著廣泛的應(yīng)用。例如,在車輛違章抓拍系統(tǒng)中,車輛的跟蹤就是必不可少的。在入侵檢測中,人、動物、車輛等大型運(yùn)動目標(biāo)的檢測與跟蹤也是整個系統(tǒng)運(yùn)行的關(guān)鍵所在。
而在無人機(jī)進(jìn)行目標(biāo)跟蹤的過程中,如何去除無人機(jī)的移動帶來的目標(biāo)位置相對于無人機(jī)本身的移動,始終保持目標(biāo)位置和無人機(jī)位置的絕對關(guān)系,從而實(shí)現(xiàn)無人機(jī)的定點(diǎn)跟蹤功能,更加精確的控制無人機(jī),顯得尤為重要。
因此,如何能夠提高無人機(jī)目標(biāo)位置的準(zhǔn)確性,是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是提供一種目標(biāo)位置矯正方法、裝置及系統(tǒng),將慣性測量裝置得到的姿態(tài)信息和跟蹤算法得到的目標(biāo)檢測器相結(jié)合的方式,去掉了平臺姿態(tài)帶來的目標(biāo)移動,實(shí)現(xiàn)無人飛行器等在目標(biāo)跟蹤過程中的精確控制。
為解決上述技術(shù)問題,本發(fā)明提供一種目標(biāo)位置矯正方法,包括:
接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;
利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;
根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
可選的,利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息,包括:
將所述上一時刻跟蹤框的中心信息,從圖像坐標(biāo)系轉(zhuǎn)換到圖像獲取裝置坐標(biāo)系,獲得上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
根據(jù)上一時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到世界坐標(biāo)系,獲得上一時刻世界坐標(biāo)系下目標(biāo)方位信息;
根據(jù)當(dāng)前時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻世界坐標(biāo)系下目標(biāo)方位信息投射到圖像獲取裝置坐標(biāo)系,獲得當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
根據(jù)圖像獲取裝置內(nèi)參,將所述當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到圖像坐標(biāo)系,生成當(dāng)前時刻跟蹤框的中心信息。
可選的,根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制,包括:
使用所述目標(biāo)檢測器,在所述當(dāng)前時刻跟蹤框的中心信息的預(yù)定范圍內(nèi)搜索更新目標(biāo)位置;
使用更新后的目標(biāo)位置作為訓(xùn)練集,更新所述訓(xùn)練集得到更新后的目標(biāo)檢測器;
利用更新后的目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
可選的,所述接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息,包括:
接收當(dāng)前時刻慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值,以及上一時刻所述慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值;其中,N,M為大于1的整數(shù);
計算當(dāng)前時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為當(dāng)前時刻圖像獲取裝置的姿態(tài)信息;
計算上一時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為上一時刻圖像獲取裝置的姿態(tài)信息。
本發(fā)明還提供一種目標(biāo)位置矯正裝置,包括:
姿態(tài)信息獲取模塊,用于接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;
跟蹤框中心生成模塊,用于利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;
跟蹤控制模塊,用于根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
可選的,所述跟蹤框中心生成模塊,包括:
第一轉(zhuǎn)換單元,用于將所述上一時刻跟蹤框的中心信息,從圖像坐標(biāo)系轉(zhuǎn)換到圖像獲取裝置坐標(biāo)系,獲得上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
第二轉(zhuǎn)換單元,用于根據(jù)上一時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到世界坐標(biāo)系,獲得上一時刻世界坐標(biāo)系下目標(biāo)方位信息;
第三轉(zhuǎn)換單元,用于根據(jù)當(dāng)前時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻世界坐標(biāo)系下目標(biāo)方位信息投射到圖像獲取裝置坐標(biāo)系,獲得當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
第四轉(zhuǎn)換單元,用于根據(jù)圖像獲取裝置內(nèi)參,將所述當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到圖像坐標(biāo)系,生成當(dāng)前時刻跟蹤框的中心信息。
可選的,所述跟蹤控制模塊,包括:
目標(biāo)位置更新單元,用于使用所述目標(biāo)檢測器,在所述當(dāng)前時刻跟蹤框的中心信息的預(yù)定范圍內(nèi)搜索更新目標(biāo)位置;
目標(biāo)檢測器更新單元,用于使用更新后的目標(biāo)位置作為訓(xùn)練集,更新所述訓(xùn)練集得到更新后的目標(biāo)檢測器;
跟蹤控制單元,用于利用更新后的目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
可選的,所述姿態(tài)信息獲取模塊,包括:
數(shù)據(jù)獲取單元,用于接收當(dāng)前時刻慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值,以及上一時刻所述慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值;其中,N,M為大于1的整數(shù);
姿態(tài)信息獲取單元,用于計算當(dāng)前時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為當(dāng)前時刻圖像獲取裝置的姿態(tài)信息;計算上一時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為上一時刻圖像獲取裝置的姿態(tài)信息。
本發(fā)明還提供一種目標(biāo)位置矯正系統(tǒng),包括:
圖像獲取裝置,用于獲取目標(biāo)圖像信息;
慣性測量裝置,用于獲取圖像獲取裝置的姿態(tài)信息;
處理器,用于接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
可選的,所述慣性測量裝置,包括至少一個加速度計和至少一個陀螺儀。
本發(fā)明所提供的一種目標(biāo)位置矯正方法,包括:接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;根據(jù)當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制;
可見,該方法將慣性測量裝置得到的姿態(tài)信息和跟蹤算法得到的目標(biāo)檢測器相結(jié)合的方式,去掉了平臺姿態(tài)帶來的目標(biāo)移動,實(shí)現(xiàn)了無人飛行器等在目標(biāo)跟蹤過程中的精確控制;本發(fā)明還提供了一種目標(biāo)位置矯正裝置及系統(tǒng),具有上述有益效果,在此不再贅述。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)提供的附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正方法的流程圖;
圖2為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正裝置的結(jié)構(gòu)框圖;
圖3為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正系統(tǒng)的結(jié)構(gòu)框圖;
圖4為本發(fā)明實(shí)施例所提供的另一目標(biāo)位置矯正系統(tǒng)的結(jié)構(gòu)框圖。
具體實(shí)施方式
本發(fā)明的核心是提供一種目標(biāo)位置矯正方法、裝置及系統(tǒng),將慣性測量裝置得到的姿態(tài)信息和跟蹤算法得到的目標(biāo)檢測器相結(jié)合的方式,去掉了平臺姿態(tài)帶來的目標(biāo)移動,實(shí)現(xiàn)無人飛行器等在目標(biāo)跟蹤過程中的精確控制。
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
請參考圖1,圖1為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正方法的流程圖;該方法可以包括:
S100、接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;
具體的,本實(shí)施例并不限定具體的姿態(tài)信息包含的內(nèi)容,例如這里的姿態(tài)信息可以包括圖像獲取裝置的角速度信息和加速度信息。本實(shí)施例中姿態(tài)信息通常使用慣性測量裝置檢測得到的。例如角速度信息可以由陀螺儀測得,加速度信息可以由加速度計測得。本實(shí)施例并不對具體的檢測方式進(jìn)行限定,只要可以獲取圖像獲取裝置精確的姿態(tài)信息即可。
其中,本實(shí)施例中所說的圖像獲取裝置,可以獲取到圖像的裝置即可,例如相機(jī),攝像頭等。并不對圖像獲取裝置的具體形式進(jìn)行限定。
本實(shí)施例中獲取的姿態(tài)信息可以采用慣性測量裝置進(jìn)行測量,慣性測量裝置是測量物體三軸姿態(tài)角(或角速率)以及加速度的裝置。陀螺儀及加速度計是慣性測量裝置的主要元件,其精度直接影響到慣性測量裝置的精度。目前,在實(shí)際工作中,由于不可避免的各種干擾因素,而導(dǎo)致陀螺儀及加速度計產(chǎn)生誤差,從初始對準(zhǔn)開始,其導(dǎo)航誤差就隨時間而增長,尤其是位置誤差,這慣性測量裝置的主要缺點(diǎn)。而本實(shí)施例利用外部信息進(jìn)行輔助,實(shí)現(xiàn)組合導(dǎo)航,使其有效地減小誤差隨時間積累的問題。
進(jìn)一步,為了提高可靠性,還可以為每個軸配備更多的姿態(tài)信息傳感器(即多個陀螺儀及加速度計)。根據(jù)接收到的多個姿態(tài)信息確定一個更加精準(zhǔn)的最終姿態(tài)信息用于后續(xù)計算,以提高系統(tǒng)的可靠性。本實(shí)施例并不限定具體的確定最終姿態(tài)信息的方式。例如可以是求平均值,或者根據(jù)每個傳感器的權(quán)重計算得到最終值等。一般而言慣性測量裝置要安裝在被測物體的重心上。且這里的計算過程可以在慣性測量裝置中進(jìn)行,例如慣性測量裝置中有若干個加速度計,分別記為:N1、N2、N3,...,Nn;慣性測量裝置中有若干個陀螺儀,分別記為M1、M2、M3,...,Mn;慣性測量裝置中還設(shè)置有一個微處理器;所述微處理器用于將每個加速度計獲取到的加速度數(shù)據(jù)值進(jìn)行取算術(shù)平均值得到最終的加速度數(shù)據(jù)值;同時,所述微處理器對每個陀螺儀計獲取到的角速度數(shù)據(jù)值進(jìn)行取算術(shù)平均值得到最終的角速度數(shù)據(jù)值;進(jìn)一步提高系統(tǒng)的精度。
也可以在系統(tǒng)中的處理器中進(jìn)行。具體位置的選擇可以根據(jù)計算速度確定。優(yōu)選的,接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息可以包括:
接收當(dāng)前時刻慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值,以及上一時刻所述慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值;其中,N,M為大于1的整數(shù);
計算當(dāng)前時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為當(dāng)前時刻圖像獲取裝置的姿態(tài)信息;
計算上一時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為上一時刻圖像獲取裝置的姿態(tài)信息。
具體的,慣性測量裝置中有若干個加速度計,分別記為:N1、N2、N3,...,Nn;慣性測量裝置中有若干個陀螺儀,分別記為M1、M2、M3,...,Mn;處理器用于將每個加速度計獲取到的加速度數(shù)據(jù)值進(jìn)行取算術(shù)平均值得到最終的加速度數(shù)據(jù)值;同時,對每個陀螺儀計獲取到的角速度數(shù)據(jù)值進(jìn)行取算術(shù)平均值得到最終的角速度數(shù)據(jù)值;進(jìn)一步提高系統(tǒng)的精度。
進(jìn)一步系統(tǒng)在每一次計算得到的當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息都可以進(jìn)行保存。這樣在下次使用時可以減少一次計算過程。
進(jìn)一步為了節(jié)省存儲空間,也可以在上一時刻圖像獲取裝置的姿態(tài)信息在本次計算利用后進(jìn)行刪除。
S110、利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;
具體的,跟蹤框的中心信息的生成是對圖像獲取裝置獲取的圖像信息進(jìn)行處理后得到的。該步驟是利用上一時刻和當(dāng)前時刻的姿態(tài)信息,以及上一時刻跟蹤框的中心信息,生成準(zhǔn)確的當(dāng)前時刻跟蹤框的中心信息。
優(yōu)選的,利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息可以包括:
將所述上一時刻跟蹤框的中心信息,從圖像坐標(biāo)系轉(zhuǎn)換到圖像獲取裝置坐標(biāo)系,獲得上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
根據(jù)上一時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到世界坐標(biāo)系,獲得上一時刻世界坐標(biāo)系下目標(biāo)方位信息;
根據(jù)當(dāng)前時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻世界坐標(biāo)系下目標(biāo)方位信息投射到圖像獲取裝置坐標(biāo)系,獲得當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
根據(jù)圖像獲取裝置內(nèi)參,將所述當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到圖像坐標(biāo)系,生成當(dāng)前時刻跟蹤框的中心信息。
具體的,上述過程中圖像坐標(biāo)系和到相機(jī)坐標(biāo)系相互投射的方法包括以下步驟:
步驟1:設(shè)定物體在相機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)為:X(x,y,z);
步驟2:采用如下公式,實(shí)現(xiàn)圖像坐標(biāo)系和相機(jī)坐標(biāo)系的相互轉(zhuǎn)換,設(shè)定所述圖像坐標(biāo)系的點(diǎn)為Y(a,b):
其中,fx、fy和物理焦距F之間的關(guān)系為:fx=F*s,fy=F*s;s表示X軸方向上的1毫米長度所代表像素值;cx和cy表示光軸的偏移。
上述過程中相機(jī)坐標(biāo)系投射到世界坐標(biāo)系中的方法包括以下步驟:
步驟1:設(shè)相機(jī)坐標(biāo)系的的坐標(biāo)為:X(x,y,z);
步驟2:對相機(jī)坐標(biāo)系中的每一個坐標(biāo)值進(jìn)行旋轉(zhuǎn)得到世界坐標(biāo)系中的位置,x對應(yīng)的旋轉(zhuǎn)矩陣為:
步驟3:y對應(yīng)的旋轉(zhuǎn)矩陣為:
步驟4:z對應(yīng)的旋轉(zhuǎn)舉證為:
其中,為繞X軸旋轉(zhuǎn)的角度;α為繞Y軸旋轉(zhuǎn)的角度;β為繞Z軸旋轉(zhuǎn)的角度。
S120、根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
具體的,目標(biāo)檢測器獲取是利用跟蹤算法生成的。本實(shí)施例并不對具體的跟蹤算法進(jìn)行限定。在目標(biāo)跟蹤技術(shù)領(lǐng)域,常用的是KCF算法,其中,KCF算法是一種鑒別式追蹤方法,這類方法一般都是在追蹤過程中訓(xùn)練一個目標(biāo)檢測器,使用目標(biāo)檢測器去檢測下一幀預(yù)測位置是否是目標(biāo),然后再使用新檢測結(jié)果去更新訓(xùn)練集進(jìn)而更新目標(biāo)檢測器。而在訓(xùn)練目標(biāo)檢測器時一般選取目標(biāo)區(qū)域?yàn)檎龢颖荆繕?biāo)的周圍區(qū)域?yàn)樨?fù)樣本,當(dāng)然越靠近目標(biāo)的區(qū)域?yàn)檎龢颖镜目赡苄栽酱蟆?/p>
該步驟采用跟蹤算法和慣性測量裝置進(jìn)行結(jié)合的方式,能夠有效去除無人機(jī)姿態(tài)變化導(dǎo)致的目標(biāo)相對移動,實(shí)現(xiàn)更為精確的無人機(jī)跟蹤控制。即有選的,根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制可以包括:
使用所述目標(biāo)檢測器,在所述當(dāng)前時刻跟蹤框的中心信息的預(yù)定范圍內(nèi)搜索更新目標(biāo)位置;
使用更新后的目標(biāo)位置作為訓(xùn)練集,更新所述訓(xùn)練集得到更新后的目標(biāo)檢測器;
利用更新后的目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
具體的,上述過程中目標(biāo)檢測器獲取可以利用KFC算法生成。
基于上述技術(shù)方案,本發(fā)明實(shí)施例提的目標(biāo)位置矯正方法,該方法將慣性測量裝置得到的姿態(tài)信息和跟蹤算法得到的目標(biāo)檢測器相結(jié)合的方式,去掉了平臺姿態(tài)帶來的目標(biāo)移動,實(shí)現(xiàn)了無人飛行器等在目標(biāo)跟蹤過程中的精確控制;且由于采用現(xiàn)有慣性測量裝置進(jìn)行構(gòu)建,無須特定的裝置,就實(shí)現(xiàn)了目標(biāo)位置的矯正,降低了成本。該方法流程較為簡易,也非常易于實(shí)現(xiàn)和推廣。增強(qiáng)了無人機(jī)控制的精確性,較為巧妙地去除了平臺姿態(tài)帶來的目標(biāo)移動,具備很強(qiáng)的實(shí)用性。
下面對本發(fā)明實(shí)施例提供的目標(biāo)位置矯正裝置及系統(tǒng)進(jìn)行介紹,下文描述的目標(biāo)位置矯正裝置及系統(tǒng)與上文描述的目標(biāo)位置矯正方法可相互對應(yīng)參照。
請參考圖2,圖2為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正裝置的結(jié)構(gòu)框圖;該裝置可以是處理器。該裝置具體可以包括:
姿態(tài)信息獲取模塊100,用于接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;
跟蹤框中心生成模塊200,用于利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;
跟蹤控制模塊300,用于根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
基于上述實(shí)施例,所述跟蹤框中心生成模塊200可以包括:
第一轉(zhuǎn)換單元,用于將所述上一時刻跟蹤框的中心信息,從圖像坐標(biāo)系轉(zhuǎn)換到圖像獲取裝置坐標(biāo)系,獲得上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
第二轉(zhuǎn)換單元,用于根據(jù)上一時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到世界坐標(biāo)系,獲得上一時刻世界坐標(biāo)系下目標(biāo)方位信息;
第三轉(zhuǎn)換單元,用于根據(jù)當(dāng)前時刻圖像獲取裝置的姿態(tài)信息,將所述上一時刻世界坐標(biāo)系下目標(biāo)方位信息投射到圖像獲取裝置坐標(biāo)系,獲得當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息;
第四轉(zhuǎn)換單元,用于根據(jù)圖像獲取裝置內(nèi)參,將所述當(dāng)前時刻圖像獲取裝置坐標(biāo)系下目標(biāo)方位信息投射到圖像坐標(biāo)系,生成當(dāng)前時刻跟蹤框的中心信息。
基于上述實(shí)施例,所述跟蹤控制模塊300可以包括:
目標(biāo)位置更新單元,用于使用所述目標(biāo)檢測器,在所述當(dāng)前時刻跟蹤框的中心信息的預(yù)定范圍內(nèi)搜索更新目標(biāo)位置;
目標(biāo)檢測器更新單元,用于使用更新后的目標(biāo)位置作為訓(xùn)練集,更新所述訓(xùn)練集得到更新后的目標(biāo)檢測器;
跟蹤控制單元,用于利用更新后的目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
基于上述任意實(shí)施例,所述姿態(tài)信息獲取模塊100可以包括:
數(shù)據(jù)獲取單元,用于接收當(dāng)前時刻慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值,以及上一時刻所述慣性測量裝置發(fā)送的圖像獲取裝置的N個加速度數(shù)據(jù)值和M個角速度數(shù)據(jù)值;其中,N,M為大于1的整數(shù);
姿態(tài)信息獲取單元,用于計算當(dāng)前時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為當(dāng)前時刻圖像獲取裝置的姿態(tài)信息;計算上一時刻圖像獲取裝置的平均加速度數(shù)據(jù)值和平均角速度數(shù)據(jù)值作為上一時刻圖像獲取裝置的姿態(tài)信息。
請參考圖3,圖3為本發(fā)明實(shí)施例所提供的目標(biāo)位置矯正系統(tǒng)的結(jié)構(gòu)框圖;該系統(tǒng)可以包括:
圖像獲取裝置10,用于獲取目標(biāo)圖像信息;
具體的,該圖像獲取裝置10具體可以是相機(jī)。且圖像獲取裝置10可以通過云臺安裝在無人機(jī)上。
慣性測量裝置20,用于獲取圖像獲取裝置的姿態(tài)信息;
具體的,該慣性測量裝置20具體可以包括加速度計和陀螺儀。
處理器30,用于接收當(dāng)前時刻和上一時刻圖像獲取裝置的姿態(tài)信息;利用所述姿態(tài)信息以及上一時刻跟蹤框的中心信息,生成當(dāng)前時刻跟蹤框的中心信息;根據(jù)所述當(dāng)前時刻跟蹤框的中心信息,以及目標(biāo)檢測器進(jìn)行目標(biāo)跟蹤的控制。
具體的,該處理器30根據(jù)姿態(tài)信息進(jìn)行目標(biāo)位置矯正計算并得出矯正結(jié)果即目標(biāo)跟蹤的控制結(jié)果。
基于上述實(shí)施例,所述慣性測量裝置20可以包括至少一個加速度計和至少一個陀螺儀。即慣性測量單元中有若干個加速度計,分別記為:N1、N2、N3,...,Nn;所述慣性測量單元中有若干個陀螺儀,分別記為M1、M2、M3,...,Mn;可以利用平均角速度數(shù)據(jù)和平均加速度數(shù)據(jù)提高系統(tǒng)的精度。
請參考圖4,該系統(tǒng)還可以包括飛行控制器40,用于根據(jù)所述處理器30的矯正結(jié)果進(jìn)行跟蹤控制,即根據(jù)當(dāng)前時刻跟蹤框的中心,進(jìn)行目標(biāo)跟蹤的控制。存儲器50,用于獲取的姿態(tài)信息進(jìn)行暫存。處理器30分別信號連接于飛行控制器40、圖像獲取裝置10、慣性測量裝置20和存儲器50;慣性測量裝置20還信號連接于存儲器50。
具體的,慣性測量裝置包括:加速度計和陀螺儀時所述加速度計將獲取的加速度信息同時發(fā)送給所述處理器和所述存儲器;存儲器將接收到的加速度信息進(jìn)行暫存;所述陀螺儀將獲取到的角速度信息同時發(fā)送給所述處理器和所述存儲器;存儲器將接收到的角速度信息進(jìn)行暫存;處理器將獲取到的加速度信息和角速度信息作為當(dāng)前時刻的姿態(tài)信息;存儲器中存儲的加速度信息和角速度信息將作為下一時刻的上一時刻姿態(tài)信息。
進(jìn)一步,存儲器50可以是閃存。
上述系統(tǒng)的工作過程可以是:
無人機(jī)在飛行過程中,接收來自飛行控制器的控制命令,確定好目標(biāo);確定目標(biāo)后,無人機(jī)進(jìn)行目標(biāo)跟蹤;同時,慣性測量裝置實(shí)時獲取無人機(jī)的姿態(tài)信息,將獲取的姿態(tài)信息存入存儲器中;當(dāng)無人機(jī)移動位置過后,慣性測量裝置實(shí)時獲取無人機(jī)的姿態(tài)信息發(fā)送給處理器;處理器根據(jù)實(shí)時獲取的姿態(tài)信息和存儲器中存儲的上一時刻的姿態(tài)信息,以及根據(jù)以及上一時刻跟蹤框的中心,生成當(dāng)前時刻跟蹤框的中心。并根據(jù)當(dāng)前時刻跟蹤框的中心進(jìn)行目標(biāo)跟蹤的控制。
基于上述技術(shù)方案,本發(fā)明實(shí)施例提的一種目標(biāo)位置矯正系統(tǒng),構(gòu)造簡單,容易實(shí)現(xiàn),且系統(tǒng)構(gòu)造成本低更加易于普及;同時,由于該系統(tǒng)增強(qiáng)了無人機(jī)控制的精確性,較為巧妙地去除了平臺姿態(tài)帶來的目標(biāo)移動,具備很強(qiáng)的實(shí)用性。
說明書中各個實(shí)施例采用遞進(jìn)的方式描述,每個實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處,各個實(shí)施例之間相同相似部分互相參見即可。對于實(shí)施例公開的裝置而言,由于其與實(shí)施例公開的方法相對應(yīng),所以描述的比較簡單,相關(guān)之處參見方法部分說明即可。
專業(yè)人員還可以進(jìn)一步意識到,結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟,能夠以電子硬件、計算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn),為了清楚地說明硬件和軟件的可互換性,在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能,但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊,或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲器(RAM)、內(nèi)存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲介質(zhì)中。
以上對本發(fā)明所提供的一種目標(biāo)位置矯正方法、裝置及系統(tǒng)進(jìn)行了詳細(xì)介紹。本文中應(yīng)用了具體個例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以對本發(fā)明進(jìn)行若干改進(jìn)和修飾,這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。