本發(fā)明涉及汽車圖像處理技術領域,具體涉及一種車輛實時檢測與跟蹤方法。
背景技術:
車輛在行駛過程中,由于駕駛員的疏忽、道路情況的突然變化等,很容易造成追尾等交通事故,產生財產或生命的損失。近年來,隨著科技的不斷發(fā)展,安全輔助駕駛技術也得到了不斷的進步,采用安全輔助駕駛系統(tǒng)一方面能夠減小駕駛員的壓力,另一方面能夠對道路緊急情況做出預警,從而避免交通事故的發(fā)生。
在安全輔助駕駛系統(tǒng)中,車輛的檢測與跟蹤技術是保障安全行駛的關鍵技術之一,車輛檢測與跟蹤是指通過分析視頻圖像序列自動獲取畫面中出現(xiàn)的車輛信息,并在連續(xù)視頻中對相同車輛目標進行穩(wěn)定跟蹤,在避免或者減少交通事故的發(fā)生中發(fā)揮了巨大作用。
目前,在車輛檢測方面有多種方法,比如:背景差分法、光流法、運動矢量法等。其中背景差分法檢測運動目標的速度快而且準確,計算的復雜度較低,它是采用圖像序列中的當前幀和背景參考模型比較來檢測運動物體的一種方法,其性能依賴于所使用的背景建模技術。但是該方法對光照變化的敏感度大,容易將圖像中的陰影部分誤認為是檢測目標。光流法和運動矢量法雖然準確度尚可,但是魯棒性較差并且處理速度很慢,無法滿足實時系統(tǒng)的應用需求。目前目標跟蹤的方法主流的主要有三種:meanshift方法,卡爾曼濾波方法以及camshif方法。這些方法只是針對單目標跟蹤,首先要指定跟蹤的目標,然后進行跟蹤,優(yōu)點是提高了檢測速率,但也存在不可忽視的缺點,這些方法一般只是在一開始進行車輛檢測,檢測完成之后便開始跟蹤,這樣誤檢結果會直接傳輸給跟蹤器,無法更正,嚴重的話會直接影響到跟蹤器的可靠性。
技術實現(xiàn)要素:
本發(fā)明解決的技術問題是現(xiàn)有的車輛檢測技術只在一開始進行車輛檢測,檢測后便開始跟蹤,出現(xiàn)誤檢無法更正,容易漏檢,使得跟蹤準確率低。
為解決上述問題,本發(fā)明提供一種車輛實時檢測與跟蹤方法,包括以下步驟:
s1、分類器訓練:
獲得正樣本和負樣本;對所有樣本進行預處理;提取所有樣本的特征值,利用所有樣本的特征值進行訓練,得到車輛檢測分類器;
s2、跟蹤目標檢測:
s201、獲取實時視頻中的圖像xi進行車輛檢測,其中圖像幀號i為大于0的正整數(shù),若圖像xi未檢測到車輛,則圖像幀號i增加1,繼續(xù)執(zhí)行s201,否則執(zhí)行s202;
s202、獲取實時視頻中的圖像xi+1進行車輛檢測,若圖像xi+1未檢測到車輛,則圖像幀號i增加2,繼續(xù)執(zhí)行s201,否則將圖像xi+1中檢測出的每個車輛與圖像xi中檢測出的所有車輛分別進行比較,若圖像xi+1的車輛中有與圖像xi的車輛滿足相似性指標,則將圖像xi+1中滿足相似性指標的車輛視為初級目標,執(zhí)行s203,否則圖像幀號i增加1,執(zhí)行s202;
s203、獲取實時視頻中的圖像xi+2進行車輛檢測,若圖像xi+2未檢測到車輛,則圖像幀號i增加3,繼續(xù)執(zhí)行s201,否則將圖像xi+2檢測出的每個車輛與圖像xi+1檢測出的視為初級目標的車輛相比較,若圖像xi+2的車輛中有與圖像xi+1中視為初級目標的車輛滿足相似性指標,則圖像xi+2中滿足相似性指標的車輛視為跟蹤目標,用標記框進行標記,將圖像xi+2視為跟蹤圖像輸出,執(zhí)行s3,否則圖像幀號i增加2,執(zhí)行s202;
s3、車輛跟蹤:
s301、提取跟蹤圖像中每一標記框區(qū)域的hog特征向量;
s302、獲取實時視頻中的圖像xi+3,提取圖像xi+3所有檢測區(qū)域的hog特征向量,其中每個檢測區(qū)域與跟蹤圖像的每個標記框區(qū)域一一對應;
s303、將跟蹤圖像的每一標記框區(qū)域的hog特征向量與圖像xi+3對應的檢測區(qū)域的hog特征向量相比較,滿足相似性指標的標記框區(qū)域和檢測區(qū)域視為目標相同,使用與跟蹤圖像標記框大小相同的標記框在檢測區(qū)域中進行標記,若跟蹤圖像的所有標記框區(qū)域與對應的檢測區(qū)域均目標相同,則跟蹤成功,將圖像xi+3視為跟蹤圖像輸出,圖像幀號i增加1,執(zhí)行s302,否則跟蹤失敗,圖像幀號i增加3,執(zhí)行s2。
作為本發(fā)明的進一步改進,s1中提取所有樣本的haar特征值,使用adaboost算法進行訓練,得到車輛檢測分類器。
作為本發(fā)明的進一步改進,s2中車輛檢測的具體步驟為:將當前幀圖像進行預處理;提取當前幀圖像的感興趣區(qū)域的haar特征值,其中感興趣區(qū)域為以圖像中心為中心,長寬分別為圖像長寬的四分之三的方框所勾勒出的區(qū)域;將特征值輸入車輛檢測分類器,檢測出當前幀圖像中的所有車輛。
本發(fā)明將haar特征與adaboost算法相結合用于檢測車輛,實現(xiàn)簡單,檢測速度快且準確率高。
本發(fā)明的有益效果:(1)本發(fā)明可用于多目標車輛的檢測與跟蹤;(2)本發(fā)明對連續(xù)三幀圖像進行車輛檢測,將連續(xù)三幀檢測到的相同車輛作為跟蹤目標進行跟蹤,即連續(xù)三幀檢測到相同車輛才進行跟蹤,減小車輛檢測出現(xiàn)誤檢時對車輛跟蹤的影響,提高跟蹤的準確率;(3)本發(fā)明車輛跟蹤時采用方向梯度直方圖作為圖像特征提取,方向梯度直方圖特征對圖像幾何和光學的形變能保持很好的不變性,提高了車輛跟蹤的準確率;(4)本發(fā)明只有當所有跟蹤目標均跟蹤成功才繼續(xù)跟蹤,否則重新進行跟蹤目標的檢測,而且跟蹤只在相鄰幀圖像之間進行,減少漏檢現(xiàn)象的發(fā)生,提高檢測和跟蹤的準確率。
附圖說明
圖1是本發(fā)明方法的流程圖。
具體實施方式
本發(fā)明提出了一種車輛實時檢測與跟蹤方法,如圖1所示,包括如下步驟:
s1、分類器訓練,本發(fā)明具體實施例中使用adaboost(adaptiveboosting自適應增強)算法訓練得到車輛檢測分類器:
s101、獲得正樣本和負樣本:設定僅僅含有車輛的圖片為正樣本,包含馬路但不含車輛的圖片為負樣本,正樣本與負樣本的數(shù)量比為1:5;
s102、對所有樣本進行預處理:對上述獲得的正樣本和負樣本先進行灰度化處理,再對所有正樣本進行尺寸歸一化處理,均縮放為20*20大??;
s103、提取所有樣本的haar特征值,根據(jù)所有樣本的特征值使用adaboost算法進行訓練,得到車輛檢測分類器。該步驟方法為現(xiàn)有技術,本發(fā)明具體實施例中采用計算機視覺庫(opencv)提供的haartraing程序訓練得到車輛檢測分類器。
s2、跟蹤目標檢測,具體包括以下步驟:
s201、獲取實時視頻中的圖像xi進行車輛檢測,其中實時視頻由連續(xù)的圖像序列x1,x2,…組成,若圖像xi未檢測到車輛,則圖像幀號i增加1,繼續(xù)執(zhí)行s201,否則執(zhí)行s202;
s202、獲取實時視頻中的圖像xi+1進行車輛檢測,若圖像xi+1未檢測到車輛,則圖像幀號i增加2,繼續(xù)執(zhí)行s201,否則將圖像xi+1檢測出的每個車輛所在區(qū)域的haar特征值與圖像xi檢測出的所有車輛所在區(qū)域的haar特征值分別進行比較,計算他們之間的方差,若圖像xi+1的車輛中有與圖像xi的車輛的特征值的方差滿足在預設方差范圍內,則將圖像xi+1的滿足相似性指標的車輛視為初級目標,執(zhí)行s203,否則圖像幀號i增加1,執(zhí)行s202;
s203、獲取實時視頻中的圖像xi+2進行車輛檢測,若圖像xi+2未檢測到車輛,則圖像幀號i增加3,繼續(xù)執(zhí)行s201,否則將圖像xi+2檢測出的每個車輛所在區(qū)域的haar特征值與圖像xi+1檢測出的視為初級目標的車輛所在區(qū)域的haar特征值相比較,計算他們之間的方差,若圖像xi+2的車輛中有與圖像xi+1的視為初級目標的車輛的特征值的方差滿足在預設方差范圍內,則將圖像xi+2的滿足相似性指標的車輛視為跟蹤目標,用標記框進行標記,將圖像xi+2視為跟蹤圖像輸出,執(zhí)行s3,否則圖像幀號i增加2,執(zhí)行s202;所述標記框為矩形框,矩形框的大小通過檢測出的每輛車的對角坐標來確定。
其中車輛檢測的具體步驟為:將當前幀圖像進行預處理,即進行灰度化處理;提取當前幀圖像的感興趣區(qū)域的haar特征值,其中感興趣區(qū)域為以圖像中心為中心,長寬分別為圖像長寬的四分之三的方框所勾勒出的區(qū)域;將特征值輸入車輛檢測分類器,檢測出當前幀圖像中的所有車輛。
本發(fā)明跟蹤目標檢測步驟對連續(xù)三幀圖像進行車輛檢測,將連續(xù)三幀檢測到的相同車輛作為跟蹤目標進行跟蹤,即連續(xù)三幀檢測到相同車輛才進行跟蹤,減小車輛檢測出現(xiàn)誤檢時的影響,提高跟蹤的準確率。
s3、車輛跟蹤,具體步驟為:
s301、提取跟蹤圖像中每一標記框區(qū)域的hog特征,具體為:
提取跟蹤圖像中標記框內的圖像,將圖像縮放成32*32,再將縮放后的圖像截成64個4*4大小的小圖像,計算每個小圖像的橫向和縱向的梯度,得到每個小圖像的每個像素的梯度信息,將每個像素的梯度信息按四邊形分解法則投影到八個方向上,得到每個像素在每個方向的梯度信息,計算每個小圖像的八個方向梯度上的統(tǒng)計直方圖,得到該標記框內圖像的特征向量,上述特征向量為512維,使用同樣的方法得到跟蹤圖像中每個標記框內區(qū)域的特征向量;
s302、獲取實時視頻中的圖像xi+3,提取圖像xi+3所有檢測區(qū)域的hog特征向量,其中每個檢測區(qū)域與跟蹤圖像的每個標記框區(qū)域一一對應,檢測區(qū)域也為矩形,每個檢測區(qū)域的中心分別對應每個標記框的中心,長寬為標記框的1.5倍,具體為:
提取圖像xi+3檢測區(qū)域內的圖像,采用32*32大小的掃描框依次掃描提取出的圖像,將掃描框中的圖像截成64個4*4大小的小圖像,計算每個小圖像的橫向和縱向的梯度,得到每個小圖像中每個像素的梯度信息,將每個像素的梯度信息按四邊形分解法則投影到八個方向上,得到每個像素在每個方向的梯度信息,計算每個小圖像的八個方向梯度上的統(tǒng)計直方圖,得到該掃描框內的特征向量,從而得到該檢測區(qū)域的特征向量,使用相同方法得到圖像xi+3每個檢測區(qū)域的特征向量;
s303、將跟蹤圖像的每一標記框區(qū)域的特征向量與圖像xi+3對應的檢測區(qū)域的特征向量作比較,計算他們之間的方差,若滿足在預設方差范圍內,則檢測區(qū)域與對應的標記框區(qū)域目標相同,并使用與跟蹤圖像對應的標記框大小相同的標記框在檢測區(qū)域中進行標記,并保存檢測區(qū)域中標記框內的特征向量,使用相同方法遍歷圖像xi+3所有檢測區(qū)域,若所有檢測區(qū)域與對應的跟蹤圖像的標記框區(qū)域目標均相同,則跟蹤成功,將圖像xi+3視為跟蹤圖像輸出,圖像幀號i增加1,執(zhí)行s302,否則跟蹤失敗,圖像幀號i增加3,執(zhí)行s2。
本發(fā)明車輛跟蹤步驟只有當所有跟蹤目標均跟蹤成功后才繼續(xù)跟蹤,否則重新進行跟蹤目標的檢測,而且跟蹤只在相鄰幀圖像之間進行,減少漏檢現(xiàn)象的發(fā)生,提高檢測和跟蹤的準確率。