一種無人機自動檢測目標(biāo)和跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及無人機監(jiān)控技術(shù)領(lǐng)域，計算機視覺領(lǐng)域，具體設(shè)及使用無人機進行可 疑目標(biāo)進行自動識別并跟蹤的方法。
【背景技術(shù)】
[0002] 對于在區(qū)域內(nèi)進行目標(biāo)檢測，傳統(tǒng)的方法是使用固定監(jiān)控攝像頭進行區(qū)域內(nèi)目標(biāo) (逃犯，重要人員等)檢測，由于固定監(jiān)控需要固定在墻上并且需要連接通訊線路，布置成本 較高，而且由于人們越來越高的對個人隱私的要求，使得很多居民區(qū)內(nèi)無法全方位布置攝 像頭，從而為監(jiān)控留下死角。而由于無人機有著較好的靈活性，從而使得使用無人機進行自 動的目標(biāo)檢測和跟蹤有著非常高的靈活性。現(xiàn)有無人機監(jiān)控，通常將實時畫面?zhèn)鬟f給監(jiān)控 端，運種方法需要長時間的信號傳輸，占用了大量的帶寬并且耗電量大。
[0003] 本發(fā)明使用無人機進行目標(biāo)自動檢測和跟蹤，通過使用無人機自帶的防抖攝像頭 進行圖像去抖動，使用直方圖均衡化、中值濾波進行圖像處理，使用基于哈爾化aar)特征和 級聯(lián)強分類器(Adaboost)算法和主成分分析(PCA)算法進行人臉檢測和識別，使用基于ORB 特征的跟蹤方法進行跟蹤，從而提供了一種快速有效的使用無人機進行目標(biāo)檢測和跟蹤方 法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是為了克服傳統(tǒng)固定監(jiān)控攝像頭無法全方位布控，尤 其在被跟蹤物體進入監(jiān)控盲區(qū)或者被跟蹤物體從一個攝像頭區(qū)域進入另一個攝像頭區(qū)域 時容易跟蹤丟失運個問題，提出了 一種使用無人機進行自動檢測目標(biāo)和跟蹤方法。
[000引本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0006] -種無人機自動檢測目標(biāo)和跟蹤方法，包括無人機，裝配在無人機上的聲響距離 探測器，光照補償模塊，圖像去噪模塊，人臉檢測模塊，機身人臉識別模塊，遠(yuǎn)端人臉識別模 塊，目標(biāo)跟蹤模塊，飛行控制模塊，控制臺模塊;所述的聲響距離探測器為固定在無人機的 前、后、左、右、左前、右前、左后、右后、上、下無人機攝像頭所攝區(qū)域為前方)共十個方向 的距離探測器，用W對無人機周圍的障礙物進行距離探測，為無人機在跟蹤過程中的路線 規(guī)劃提供重要的信息;所述的光照補償模塊，將無人機所攝的圖像使用直方圖均衡化方法 對光照進行補償，并將光照補償后的所攝圖像傳遞給圖像去噪模塊;所述的圖像去噪模塊 將接收到的光照補償后的圖像，使用中值濾波器進行濾波，用W去掉噪聲，若當(dāng)前系統(tǒng)處于 人臉檢測狀態(tài)，則將去噪后的圖像傳遞給人臉檢測模塊，若當(dāng)前系統(tǒng)處于目標(biāo)跟蹤狀態(tài)，貝U 將去噪后的圖像傳遞給目標(biāo)跟蹤模塊;所述的人臉檢測模塊，將接收到的圖像使用基于哈 爾化aar)特征和級聯(lián)強分類器(Adaboost)算法進行人臉檢測，并將檢測到的人臉圖像傳遞 給人臉識別模塊;所述的機身人臉識別模塊為運行在無人機機身上的人臉識別模塊，該模 塊接收消息源為兩個并分別做不同的處理：1.接收來自人臉檢測模塊的人臉圖像，并對運 些人臉圖像進行識別，篩選掉那些已經(jīng)被檢測過的人臉，并將那些未被檢測過的人臉圖像 發(fā)送給遠(yuǎn)端人臉識別模塊;2 .接收來自于遠(yuǎn)端人臉識別模塊中，返回結(jié)果為"數(shù)據(jù)庫不存 在"的人臉圖片，并根據(jù)該返回結(jié)果，對人臉識別模塊的分類器進行修改，當(dāng)下一帖收到同 一個人的人臉圖像時，能夠識別出該人臉從而將該人臉篩選掉，目的是減少遠(yuǎn)端人臉識別 模塊的負(fù)擔(dān);所述的遠(yuǎn)端人臉識別模塊為運行在遠(yuǎn)端服務(wù)器上的人臉識別系統(tǒng)，該系統(tǒng)接 收無人機所發(fā)送過來的人臉圖像，并對該人臉圖像進行識別，返回結(jié)果有Ξ種：1.數(shù)據(jù)庫不 存在;2.無法識別人臉;3.數(shù)據(jù)庫已存在人臉。若返回結(jié)果為1，則將該識別結(jié)果發(fā)送給人臉 檢測模塊，若返回結(jié)果為2則不做處理，若返回結(jié)果為3,則向目標(biāo)跟蹤模塊和控制臺模塊發(fā) 送識別結(jié)果及圖片信息;所述的目標(biāo)跟蹤模塊，接收到來自遠(yuǎn)端人臉識別模塊識別出的目 標(biāo)人臉及其在圖像中的位置信息，對當(dāng)前圖像提取ORB特征，并停止人臉檢測模塊，機身人 臉識別模塊，遠(yuǎn)端人臉識別模塊的運行，系統(tǒng)轉(zhuǎn)入跟蹤狀態(tài)，該狀態(tài)接收來自于圖像去噪模 塊的人臉輸入圖像，并從該人臉輸入圖像的下一帖圖像中提取候選特征框，W及放大或縮 小的候選特征框。根據(jù)圖像的ORB特征，選擇與原始特征最相似的特征框作為下一帖的跟蹤 位置。并將位置信息發(fā)送給飛行控制模塊;所述的飛行控制模塊，接收到來自控制臺的跟蹤 控制命令和目標(biāo)跟蹤模塊的被跟蹤目標(biāo)的位置信息，若未收到控制臺發(fā)送的跟蹤命令，貝U 飛行控制模塊仍按照原有路線飛行，若收到控制臺發(fā)送的跟蹤命令，則根據(jù)跟蹤框的位置 (過大、過小、偏左、偏右，偏上、偏下）調(diào)整無人機的位置;若接收到控制臺模塊發(fā)送的取消 跟蹤信號，則取消當(dāng)前跟蹤，啟動人臉檢測模塊，機身人臉識別模塊，遠(yuǎn)端人臉識別模塊，無 人機系統(tǒng)進入人臉檢測狀態(tài);所述的控制臺模塊為在監(jiān)控中屯、的控制系統(tǒng)，該發(fā)明的監(jiān)控 系統(tǒng)可W與現(xiàn)有監(jiān)控中屯、的系統(tǒng)進行兼容，該監(jiān)控臺模塊接收來自無人機的實時監(jiān)控圖 像，并當(dāng)發(fā)現(xiàn)被識別目標(biāo)時，將當(dāng)前檢測圖片和數(shù)據(jù)庫里識別的圖片進行顯示并提示監(jiān)控 中屯、人員進行人工比對，若監(jiān)控中屯、人員認(rèn)為比對成功并且需要跟蹤，則監(jiān)控人員進行報 警，并通知無人機進行跟蹤，若監(jiān)控中屯、人員認(rèn)為比對成功但是不宜跟蹤，則采集前后一段 時間的視頻信息及地點信息，此時無人機仍然按照固定的巡航路線飛行，若監(jiān)控中屯、認(rèn)為 比對不成功，則向無人機發(fā)送取消跟蹤命令，無人機計入人臉檢測狀態(tài)。
[0007] 所述的一種無人機自動檢測目標(biāo)和跟蹤方法，所需的設(shè)備為帶有防抖攝像頭的無 人機，遠(yuǎn)程服務(wù)器端，無人機身上自帶的10個方向的聲響距離探測器。所述的帶有防抖攝像 頭的無人機，通常為四軸航拍無人機。所述的遠(yuǎn)程服務(wù)器端，通常為一個運行在遠(yuǎn)端服務(wù)器 上的人臉識別系統(tǒng)，該系統(tǒng)可W是現(xiàn)有的人臉識別系統(tǒng)，為無人機所傳的圖片提供人臉識 別功能。所述的無人機身上自帶的10個方向的聲響距離探測器，其安裝方向為前、后、左、 右、左前、右前、左后、右后、上、下無人機攝像頭所攝區(qū)域為前方），用W對無人機周圍的 障礙物進行距離探測。
[0008] 所述的一種無人機自動檢測目標(biāo)和跟蹤方法，共包含光照補償模塊，圖像去噪模 塊，人臉檢測模塊，機身人臉識別模塊，遠(yuǎn)端人臉識別模塊，目標(biāo)跟蹤模塊，飛行控制模塊， 控制臺模塊。
[0009] 所述的光照補償模塊，在初始化過程中，其輸入為包含人臉和非人臉的數(shù)據(jù)集，在 檢測過程中，其輸入為無人機所攝的每一帖圖像，考慮到無人機采集到的視頻圖像在其連 續(xù)幾帖差距非常小，并且考慮到無人機自帶的處理器處理速度有限，所W，沒必要對每帖都 進行處理，可W依據(jù)處理器的性能選擇合適的帖間隔進行采樣。其處理過程為：首先，對于 提取到的彩色圖像X，設(shè)其紅綠藍分量分別為R，G，B，首先將原始彩色圖像轉(zhuǎn)換轉(zhuǎn)成灰度圖 像，其轉(zhuǎn)換方法為:對于原始彩色圖片上的每一個像素點X所對應(yīng)的R，G，B分量，不失一般性 的用i和j表示，則該像素點對應(yīng)的灰度圖像公的灰度值為公（i，j) = 0.3 X β/ (i，j) +0.59 X G/ (i，j )+0.11 X r (i，j)，其中r (i，j)為整數(shù)，若所得結(jié)果為小數(shù)的話，僅取其整數(shù)部分， 從而得到原始X的灰度圖像公。然后，對該灰度圖像進行光照補償，并將光照補償后所得的 結(jié)果發(fā)送給圖像去噪模塊。
[0010] 所述的對該灰度圖像進行光照補償，其步驟為:第1步，考慮到灰度圖像的值只有 0-255,所W定義一個長度為256的數(shù)組為P，其初始值的所有元素都為0,對于當(dāng)前圖片的每 一個點r(a，b)，若其灰度為i，則P(i)=P(i)+l。當(dāng)r的所有點計算完成后，便得到當(dāng)前圖 像在所有灰度值上的分布P，然后對于數(shù)組P的每一個點P(i)，使得P(i ) = P(i)/(row X col)，其中，row為灰度圖像χ/的行元素的個數(shù)，col為灰度圖像χ/的列元素的個數(shù)。此時P保 存的是當(dāng)前每一個灰度的概率分布。第2步，計算累計歸一化直方圖C，C為與數(shù)組P相同維度 的數(shù)組，并且C的每一個元素的初始值為0,對于數(shù)組C的每一個元素 i，計算數(shù)組P中所有標(biāo) 號小于等于i的元素之和，即C(i) =Σ^=〇Ρ(/)..第3步，找出圖片的最大像素 max和最小像素 min，其計算方法為，max為數(shù)組P按照從標(biāo)號為255開始到0的順序中第一個i，使得P( i)辛0， 則當(dāng)前標(biāo)號記為max = i，min為數(shù)組P按照從標(biāo)號為0開始到255的順序中第一個j使得P(j) 辛0,則當(dāng)前標(biāo)號記為min = j。對于原始灰度圖像r的每一個元素，更新其值為r(i，j)=C (χ/ (i，j) X (max-min))+min。更新之后的圖像公即為光照補償后的圖像。
[0011] 所述的圖像去噪模塊，接收光照補償模塊傳送來的經(jīng)過光照補償后的圖像X，首先 設(shè)置一個3X3維的窗口，考慮該圖像X的每個像素點X(i，j)，W該點為中屯、點的3X3維矩陣 所對應(yīng)的像素值分別為[X(i-l，j-l)，X(i-l，j)，X(i-l，j+l)，X(i，j-l)，X(i，j)，X(i，j+l)， X(i+l，j+l)，X(i+l，j)，X(j+l，j+l)]進行從大到小排列，取其排在中間的值為新的像素公 (i，j)所對應(yīng)濾波后值，注意對于X的邊界點，會出現(xiàn)其3X3維的窗口所對應(yīng)的某些像素點 不存在的情況，那么只需計算落在窗口內(nèi)存在的像素點的中間值即可，若窗口內(nèi)為偶數(shù)個 點，將排在中間兩個像素值的平均值作為該像素點去噪后的值X/(i，j)，從而，新的圖像矩 陣公即為濾波后所得的圖片矩陣;在初始化階段，將去噪處理過的圖片傳遞給人臉檢測模 塊和機身人臉識別模塊;在檢測過程中，將去噪處理過的圖片傳遞給人臉檢測模塊，如果需 要實時傳遞圖像，則將去噪后的圖像按照預(yù)定比例壓縮并傳遞給控制臺模塊。
[0012] 所述的人臉檢測模塊，在初始化的過程中，接收到從圖像去噪模塊傳遞來的已經(jīng) 過光照補償和去噪處理的典型人臉和非人臉的灰度圖像，運些樣本圖片的維度統(tǒng)一為ηΧη 維，然后對每一張樣本圖片Ρ，構(gòu)建該圖片Ρ所對應(yīng)的積分圖ΡΡ，然后使用所有積分圖對級聯(lián) 分類器進行參數(shù)初始化，最后將訓(xùn)練所得的級聯(lián)分類器保存起來用于檢測過程;在檢測過 程中，首先將接收到從圖像去噪模塊傳遞來的已經(jīng)過光照補償和去噪處理的無人機采集圖 像r按照窗口大小為η X η進行多層分割，對于分割后所得的所有子圖片，構(gòu)建其積分圖，最 后用訓(xùn)練所得的級聯(lián)分類器進行分類篩選，得到所有異常物體的子圖片，將運些子圖片附 帶其在原始圖片的坐標(biāo)和帖信息傳遞給機身人臉識別模塊。
[0013] 所述的構(gòu)建圖片Ρ所對應(yīng)的積分圖ΡΡ，其過程為：
[0014] 對于圖像Ρ，我們從該矩陣的第1行第1列開始構(gòu)造積分圖，初始時設(shè)s(l，l)=P(l， 1)，RR( 1，1) =P( 1，1)，構(gòu)造過程為一個二層循環(huán)：
[0015]
[0016]
[0017 ]從而構(gòu)造出p分量所對應(yīng)的積分圖PP;
[0018] 所述的使用積分圖PP對級聯(lián)分類器進行訓(xùn)練，其過程為：
[0019] 第一步，定義弱分類器的函數(shù)}1^^，9，0)為：
[0020]
[0021] 其中f為特征函數(shù)，Θ為闊值，P取值為1或-1，χ代表根據(jù)積分圖PP所構(gòu)建的子窗口， 對于每一個子窗口 X，f(X)為該子窗口 X對應(yīng)于特征函數(shù)f的特征值。
[0022] 為了敘述方便，我們將子窗口 X的四個邊界分別定義為左上點A，右上點B，左下點 C，右下點D，A與B的中屯、點為ab，A與B的Ξ分之一靠近A點為aab，S分之一靠近B點為abb,其 余類推，區(qū)域內(nèi)的中屯、點用0來表示。則x(A)表示子窗口在左上點A的積分圖所對應(yīng)的值，其 余同理。
[0023] 則定義：
[0024] fi = [x(bd)+x(A)-x(B)-x(ac) ]-[x(ac)+x(D)-x(bd)-x(C)]，并且定義s = 1，t = 2;
[00巧]f2 = [x(A)+x(cd)-x(BC)-x(ab) ]-[x(ab)+x(D)-x(B)-x(cd)]，并且定義s = 2, t = 1;
[0026] f3 = [x(A)+x(t>bd)-x(aac)-x(B) ]-2 X [x(bdd)+x(aac)-x(acc)-x(t)bd) ] + [x(D) + x(acc)-x(bdd)-x(C)]，并且定義s = l，t = 3;
[0027] f4= [x(A)+x(ccd)-x(aab)-x(C) ]-2 X [x(；cdd)+x(aab)-x(at)b)-x(ccd) ] + [x(D) + x(abb)-x(B)-x(cdd)]，并且定義s = 3，t = l;
[002引 fs=[x(A)+x(0)-x(ab)-x(ac)] + [x(D)+x(0)-x(bd)-x(cd)]-[x(ab)+x(bd)-x (B)-x(0)]-[x(ac)+x(cd)-x(0)-x(C)]，并且定義s = 2，t = 2;
[0029] 第二步:構(gòu)建積分圖PP所對應(yīng)的子窗口 X。該子窗口 X的選擇過程如下：
[0030] 定義自然數(shù)S和t，運兩個數(shù)為子窗口的倍數(shù)，運兩個數(shù)值的選定由特征函數(shù)給定， 于是，X所對應(yīng)的子窗口區(qū)域為：[(i，j)，（ i，j+t X (b-1))，（ i+s X (a-1)，j)，（ i+s X (a-1)，j W X (b-1))]，其中：i，j，a，b分別為從1開始遞增的整數(shù)，并且能夠保證i+s X (a-1) < n，j>t X(b-lHn成立的所有取值。
[0031] 第Ξ步:對于定義的5個特征函數(shù)，計算所有訓(xùn)練樣本的所有RGB分量對應(yīng)于當(dāng)前 子窗口 X的特征值f(x)，我們此稱之為在當(dāng)前RGB分量下當(dāng)前子窗口 X的特征，如果當(dāng)前窗口 下有wf個子窗口，那么一共有T = 3XwfX5個特征，每一個特征表示為ht。設(shè)海面上正常物 體的圖片和異常物體的圖片各有K張，則對分類器的訓(xùn)練過程如下：
[0032] 1.對于每一張圖片Xi，yi為該圖片的分類，若yi = l表示該圖片為異常物體的圖片， 若yi = -l表示該圖片為正常物體的圖片；
[0033] 2.對于 t = 1，2，...，Τ，（ T為特征個數(shù)）
[0034] 1).所有樣本在特征ht下的特征值fr，其中（r = 1，2，…，2Κ)，2Κ為正常物體和異常 物體圖片的總數(shù)；
[0035] 2).將所得的所有特征值按照從大到小的順序進行排序；
[0036] 3).計算全部異常物體子圖的權(quán)重之和:T+ = sum(fr(x))，xE異常物體的子圖；