飛行裝置、飛行控制系統(tǒng)及方法
【專利說明】飛行裝置、飛行控制系統(tǒng)及方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種方法，尤其設(shè)及一種用于控制飛行裝置的飛行控制方法、飛行控 制系統(tǒng)及飛行裝置。 【【背景技術(shù)】】
[0002] 目前，無人機(jī)等飛行裝置由于其便捷性和安全性，已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)生產(chǎn)、地質(zhì) 勘測、氣象監(jiān)測、電力線巡查、搶險(xiǎn)救災(zāi)輔助、視頻拍攝、地圖繪建等領(lǐng)域。在無人機(jī)的控制 中，對無人機(jī)進(jìn)行速度偵測及/或定位控制，是一個(gè)關(guān)鍵的技術(shù)。目前對無人機(jī)進(jìn)行速度偵 測及/或定位控制大都通過GPS(global positioning system，全球定位系統(tǒng))進(jìn)行定位，然 而，當(dāng)無人機(jī)處于GPS信號較弱或GPS信號未覆蓋的區(qū)域時(shí)，將無法對無人機(jī)進(jìn)行速度偵測 及/或定位控制。此外，目前對無人機(jī)進(jìn)行速度偵測及/或定位控制大都通過基于一通用場 景的算法進(jìn)行，然而，當(dāng)無人機(jī)實(shí)際處于場景與該通用場景差別較大時(shí)，基于通用場景的算 法往往導(dǎo)致無法準(zhǔn)確地定位。 【
【發(fā)明內(nèi)容】
】
[0003] 有鑒于此，本發(fā)明提供一種飛行裝置及飛行控制方法，不依賴GPS即可對飛行裝置 進(jìn)行速度偵測及定位控制。
[0004 ]為解決上述技術(shù)問題，本發(fā)明提供W下技術(shù)方案。
[000引一方面，本發(fā)明提供一種飛行控制系統(tǒng)，用于控制一飛行裝置，該飛行控制系統(tǒng)包 括獲取模塊，用于獲取飛行裝置的相機(jī)模組采集的圖像W及獲取飛行裝置的距離傳感器感 測到的飛行裝置的高度;場景確定模塊，用于確定飛行裝置當(dāng)前所處的場景；圖像偏移量確 定模塊，用于根據(jù)相機(jī)模組采集的兩帖相鄰圖像W及飛行裝置當(dāng)前所處的場景，計(jì)算該兩 帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像X偏移量及圖像Y偏移量;偏移量校準(zhǔn) 模塊，用于獲取飛行裝置的加速度傳感器偵測到的飛行裝置在Ξ維方向上的加速度及角速 度，并根據(jù)該飛行裝置的加速度及角速度對該圖像Χ、γ偏移量進(jìn)行補(bǔ)償而得到包括校正后 的圖像X偏移量和圖像Υ偏移量的圖像校正偏移量；W及速度計(jì)算模塊，用于通過相機(jī)模組 的鏡頭焦距、飛行裝置的高度W及該圖像校正偏移量計(jì)算該圖像校正偏移量對應(yīng)的世界坐 標(biāo)的Χ、γ偏移量，并根據(jù)該兩帖相鄰圖像采集的時(shí)間間隔W及該世界坐標(biāo)的Χ、γ偏移量求出 該飛行裝置的速度。
[0006] 在一些實(shí)施例中，所述飛行控制系統(tǒng)還包括一運(yùn)行控制模塊，用于至少基于該飛 行裝置的速度對飛行裝置進(jìn)行定位及/或懸停控制。
[0007] 在一些實(shí)施例中，所述場景確定模塊根據(jù)相機(jī)模組采集的圖像中的至少一個(gè)參數(shù) 確定飛行裝置所處的場景，所述圖像偏移量確定模塊根據(jù)飛行裝置所處場景對應(yīng)的算法分 析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像 的圖像Χ、γ偏移量。
[0008] 在一些實(shí)施例中，所述至少一個(gè)參數(shù)包括紋理，所述場景確定模塊采用sobel梯度 算法對圖像進(jìn)行處理，得到梯度矩陣，統(tǒng)計(jì)梯度矩陣中梯度大于第一預(yù)定闊值的像素的個(gè) 數(shù)，并判斷所統(tǒng)計(jì)像素的個(gè)數(shù)大于第二闊值時(shí)，當(dāng)前場景為紋理豐富的場景，W及在判斷所 統(tǒng)計(jì)的像素的個(gè)數(shù)小于或等于第二閥值認(rèn)為紋理比較少，當(dāng)前場景為紋理較少的場景;所 述圖像偏移量確定模塊并在當(dāng)前場景為紋理豐富的場景時(shí)采用灰度模板匹配算法分析該 兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖 像Χ、γ偏移量，W及在當(dāng)前場景為紋理較少的場景時(shí)采用sobel梯度模板匹配算法分析該兩 帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像 Χ、Υ偏移量。
[0009] 在一些實(shí)施例中，所述至少一個(gè)參數(shù)還包括倒影，所述場景確定模塊根據(jù)連續(xù)多 帖圖像進(jìn)行陰影統(tǒng)計(jì)，判斷是否有倒影，從而確定該場景為有倒影的場景或無倒影的場景， 所述圖像偏移量確定模塊在飛行裝置當(dāng)前所處的場景為有倒影場景時(shí)，去除圖像中的陰 影，并去除陰影后，判斷是否為紋理豐富的場景，并在當(dāng)前場景為紋理豐富的場景時(shí)采用灰 度模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像 相對于第一帖圖像的圖像Χ、Υ偏移量，W及在當(dāng)前場景為紋理較少的場景時(shí)采用sobel梯度 模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像相 對于第一帖圖像的圖像Χ、Υ偏移量。
[0010] 在一些實(shí)施例中，所述至少一個(gè)參數(shù)還包括灰度，所述場景確定模塊根據(jù)圖像的 灰度值將圖像轉(zhuǎn)換為灰度直方圖并進(jìn)行統(tǒng)計(jì)得到統(tǒng)計(jì)值，并將統(tǒng)計(jì)值與相應(yīng)的闊值進(jìn)行比 較，檢測出場景是否屬于偏暗、普通亮度、或者偏亮的場景，所述圖像偏移量確定模塊在飛 行裝置當(dāng)前所處的場景為光照偏亮或者偏暗的場景時(shí)，對圖像進(jìn)行直方圖均衡化，將圖像 亮度調(diào)為均勻，然后判斷是否為紋理豐富的場景，并在當(dāng)前場景為紋理豐富的場景時(shí)采用 灰度模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖 像相對于第一帖圖像的圖像Χ、Υ偏移量，W及在當(dāng)前場景為紋理較少的場景時(shí)采用sobel梯 度模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖像 相對于第一帖圖像的圖像Χ、Υ偏移量。
[0011] 在一些實(shí)施例中，所述至少一個(gè)參數(shù)還包括線條，所述場景確定模塊對圖像做梯 度檢測，進(jìn)行二值化處理，然后使用hou曲直線檢測，判斷是否有直線，如果判斷有至少一條 直線且直線長度占圖像寬度至少1/2的，則判斷所述場景為線條豐富場景;所述圖像偏移量 確定模塊在飛行裝置當(dāng)前所處的場景為線條豐富的場景時(shí)，劃分直線為水平方向的直線和 垂直方向的直線，在上一帖圖像中找一條和當(dāng)前圖像檢測到的水平方向的直線角度差最小 的直線，計(jì)算兩條角度差最小的直線的距離得到第一距離，當(dāng)?shù)谝痪嚯x不在[-R，R]時(shí)設(shè)置 為0,其中R是設(shè)定的移動范圍，在上一帖圖像中找一條和當(dāng)前圖像檢測到的垂直方向的直 線的角度差最小的直線，計(jì)算所述兩條角度差最小的直線的距離得到第二距離，當(dāng)?shù)诙?離不在[-R，R]時(shí)設(shè)置為0,直線定位得到的第一距離、第二距離就是相鄰兩帖圖像的圖像X、 Y偏移量。
[0012] 在一些實(shí)施例中，所述圖像偏移量確定模塊在當(dāng)前場景為紋理豐富的場景時(shí)采用 灰度模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二帖圖 像相對于第一帖圖像的圖像Χ、γ偏移量包括:所述圖像偏移量確定模塊設(shè)當(dāng)前圖像寬高分 另IJ為W和Η，設(shè)定一模板圖Τ大小為Μχ X My，Μχ = W-8，My = Η-8，模板圖Τ從當(dāng)前帖圖像[4，4 ]的 位置獲得;設(shè)定匹配圖s大小為NxXNy，其中Nx=W，Ny = H，匹配圖S從上一帖圖像獲得，所述 圖像偏移量確定模塊在匹配時(shí)將模板圖疊放在匹配圖上平移，模板圖覆蓋下的那炔基準(zhǔn)圖 中的捜索子圖為S(i，j)，i，j為運(yùn)塊子圖的左上角像點(diǎn)在匹配圖S中的位置，i和j在[-4,4] 范圍內(nèi)取值，S(0,0)對應(yīng)A的[4,4]位置，所述圖像偏移量確定模塊并在匹配時(shí)通過計(jì)算相 關(guān)函數(shù)SAD來找到與模板圖盡可能相似的捜索子圖W及它的坐標(biāo)位置i和j，T和S(i，j)的 SAD最小的值為相鄰兩帖圖像的圖像Χ、Υ偏移量，其中，SAD是指將兩幅圖像每個(gè)位置對應(yīng)像 素差值的絕對值進(jìn)行累加求和的過程。
[0013] 在一些實(shí)施例中，所述圖像偏移量確定模塊在當(dāng)前場景為紋理較少的場景時(shí)采用 sobel梯度模板匹配算法分析該兩帖圖像中的參數(shù)的變化而計(jì)算該兩帖相鄰圖像中的第二 帖圖像相對于第一帖圖像的圖像Χ、Υ偏移量包括:所述圖像偏移量確定模塊通過Sobel算子 進(jìn)行邊緣檢測，并使用二維模板進(jìn)行計(jì)算，二維模板包括用于水平方向差分運(yùn)算的水平模 板和用于垂直方向差分運(yùn)算的垂直模板;所述圖像偏移量確定模塊使用水平模板和垂直末 班進(jìn)行平面卷積運(yùn)算，分別計(jì)算水平方向卷積fx和垂直方向卷積fy，求其梯度值G為fx的平 方與fy的平方和的平方根，然后，分別對相鄰兩幅圖像做梯度運(yùn)算得到梯度值矩陣A和B，其 中A為上帖圖像的Sobel梯度矩陣，B為當(dāng)前帖圖像的Sobel梯度矩陣;所述圖像偏移量確定 模塊并設(shè)定模板圖T小為Mx X My，Mx=W-8，My = H-8，模板圖T從B的[4，4 ]位置獲得;所述圖 像偏移量確定模塊并設(shè)定匹配圖S大小為NxXNy，其中Nx=W，Ny = H，匹配圖S從A獲得;所述 圖像偏移量確定模塊在匹配時(shí)將模板圖疊放在匹配圖上平移，模板圖覆蓋下的那炔基準(zhǔn)圖 中的捜索子圖為S(i，j)，i，j為運(yùn)塊子圖的左上角像點(diǎn)在匹配圖S中的位置，i和j在[-4,4] 范圍內(nèi)取值，S(0,0)對應(yīng)A的[4,4]位置，對梯度值矩陣T和S(i，j)做差運(yùn)算法，得到矩陣差 值矩陣C，將C矩陣中符合下面條件1和條件2的每個(gè)元素絕對值進(jìn)行累加，得到和SS(i，j)， 其中，條件1為A[r，c]〉T、條件2為B[r，c]〉T;其中，A[r，c]是梯度值矩陣A中r，c位置的梯度 值，[r，c]是梯度值矩陣B中r、c位置的梯度值，'〉=0且六17，(3〉= 0且六版，1'是梯度闊值，其 中SS( i，j)最小的值對應(yīng)的（i，j)位置為相鄰兩帖圖像的圖像X、Y偏移量。
[0014] 在一些實(shí)施例中，所述速度計(jì)算模塊根據(jù)公式l:xl/Xl = f/的十算所述世界坐標(biāo)的 X偏移量，W及根據(jù)公式2:yl/Yl = f/H計(jì)算所述世界坐標(biāo)的Y偏移量，其中，XI為校正后的圖 像X偏移量，yl為校正后的圖像Y偏移量，f為鏡頭焦距，Η為飛行裝置的高度，XI為世界坐標(biāo) 的X偏移量，Υ1為世界坐標(biāo)的Υ偏移量;所述速度計(jì)算模塊并根據(jù)該相機(jī)模組采集該兩帖相 鄰圖像的時(shí)間間隔為W及該世界坐標(biāo)的Χ、Υ偏移量計(jì)算得出飛行裝置在X方向上的速率W 及在Υ方向上的速率。
[0015] 另一方面，本發(fā)明提供一種飛行控制方法，用于控制飛行裝置，所述飛行控制方法 包括:獲取飛行裝置的相機(jī)模組采集的圖像W及獲取飛行裝置的距離傳感器感測到的飛行 裝置的高度;確定飛行裝置當(dāng)前所處的場景;根據(jù)相機(jī)模組采集的兩帖相鄰圖像W及飛行 裝置當(dāng)前所處的場景，計(jì)算所述兩帖相鄰圖像中的第二帖圖像相對于第一帖圖像的圖像X 偏移量和圖像Υ偏移量;獲取飛行裝置的加速度傳感器偵測到的飛行裝置在Ξ維方向上的 加速度及角速度，并根據(jù)所述飛行裝置的加速度及角速度對所述圖像X偏移量和圖像Υ偏移 量進(jìn)行補(bǔ)償而得到包括校正后的圖像X偏移量和圖像Υ偏移量的圖像校正偏移量；W及通過 相機(jī)模組的鏡頭焦距、飛行裝置的高度W及所述圖像校正偏移量計(jì)算所述圖像校正偏移量 對應(yīng)的世界坐標(biāo)的Χ、Υ偏移量，并根據(jù)所述兩帖相鄰圖像采集的時(shí)間間隔W及所述世界坐 標(biāo)的Χ、γ偏移量求出所述飛行裝置的速度。
[0016] 在一些實(shí)施例中，所述方法還包括步驟:至少基于所述飛行裝置的速度對飛行裝 置進(jìn)行定位及/或懸?？刂?。
[0017] 在一些實(shí)施例中，所述步驟"確定飛行裝置當(dāng)前所處的場景所述場景"包括:根據(jù) 相機(jī)模組采