一種基于顯著車輛部件模型的交通違章檢測方法
【專利摘要】本發(fā)明涉及交通監(jiān)控【技術(shù)領(lǐng)域】，尤其是一種基于顯著車輛部件模型的交通違章檢測方法。本發(fā)明首先通過判別性特征定位車輛的顯著部件，包括車輛號牌和車輛尾燈，并用它們表示車輛，然后根據(jù)多個顯著部件，用卡爾曼濾波器完成車輛跟蹤，最后通過軌跡分析和設(shè)置違章檢測區(qū)域，檢測車輛違章行為。本發(fā)明解決了光照變化、檢測噪聲等實(shí)際工程應(yīng)用的復(fù)雜環(huán)境下車輛違章檢測等問題，可以用于城市復(fù)雜環(huán)境下的交通監(jiān)控。
【專利說明】一種基于顯著車輛部件模型的交通違章檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及交通監(jiān)控【技術(shù)領(lǐng)域】，尤其是一種基于顯著車輛部件模型的交通違章檢測方法。
【背景技術(shù)】
[0002]在大中型城市，隨著城市化的發(fā)展，交通阻塞、交通違章和交通事故的情況也越來越多。為了對交通進(jìn)行更有效的控制和管理，智能交通已經(jīng)引起了廣泛的重視。交通信息服務(wù)是智能交通系統(tǒng)功能的一個重要部分，這一功能的實(shí)現(xiàn)必須首先對交通路況進(jìn)行監(jiān)控，快速、準(zhǔn)確地獲取各種交通參數(shù)。隨著視頻傳感器數(shù)量的急劇增加，傳統(tǒng)的人工被動監(jiān)控已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足監(jiān)控任務(wù)的需要。因此，實(shí)現(xiàn)可以代替人眼的智能自動監(jiān)控功能成為視頻監(jiān)控研究的目標(biāo)。尤其是，基于監(jiān)控視頻的交通違章檢測系統(tǒng)，可以監(jiān)控車輛的違章行為并完成車輛號牌識別。
[0003]基于視頻的交通違章檢測系統(tǒng)可以通過規(guī)范駕駛員的駕駛行為來減少交通事故，緩解交通違章帶來的交通問題。目前在視頻中檢測交通違章的技術(shù)主要包括:車輛定位、車輛跟蹤和號牌識別。在現(xiàn)有的智能交通系統(tǒng)中，車輛定位技術(shù)在交通監(jiān)控中廣泛應(yīng)用，其主要分為基于運(yùn)動目標(biāo)和靜態(tài)目標(biāo)的定位方法。基于運(yùn)動目標(biāo)的定位方法將道路上的車輛看作運(yùn)動目標(biāo)，可以處理光照變化、適用于多模態(tài)以及緩慢變化的背景。然而運(yùn)動的目標(biāo)未必是車輛，因此許多研究人員利用車輛表面的視覺信息來定位車輛。這些方法利用顏色、邊緣及角點(diǎn)特征來學(xué)習(xí)車輛或車輛部件模型，然后利用分類器以及生成式模型來定位車輛。車輛跟蹤方法主要使用基于均值漂移、卡爾曼濾波器和粒子濾波器等技術(shù)來實(shí)現(xiàn)。在最簡單的情況下，歐氏距離、尺寸和角度約束用來匹配相鄰幀之間的目標(biāo)。進(jìn)一步，卡爾曼濾波器和粒子濾波器可以用來估計(jì)下一幀的目標(biāo)位置，從而更好的完成跟蹤過程?；诰灯频哪繕?biāo)跟蹤是一種目標(biāo)外觀模型跟蹤方法，即使在擁堵交通環(huán)境下效果也比較好?？偨Y(jié)現(xiàn)有的交通視頻監(jiān)控系統(tǒng)，在工程應(yīng)用中依然存在以下挑戰(zhàn):
[0004]1、全天候監(jiān)控:一天中的不同時間段內(nèi)，光照條件變化大，尤其是白天和夜間的光照差異；在夜間條件下，通常采用頻閃補(bǔ)光燈，可以看清補(bǔ)光范圍內(nèi)的車輛信息，但補(bǔ)光范圍通常在幾十米內(nèi)，難以完成車輛跟蹤、進(jìn)而判斷車輛違章等行為。
[0005]2、車輛遮擋:圖像中的車輛被其他車輛遮擋，或者被非車輛目標(biāo)(行人、自行車、樹木、建筑等)遮擋。比如，監(jiān)控?cái)z像機(jī)布設(shè)在交通路口，排隊(duì)等候信號燈的車輛易產(chǎn)生互相遮擋；再如，小車容易被大車遮擋，造成短時間的丟失檢測。
[0006]3、姿態(tài)變換:車輛在轉(zhuǎn)彎、變道等姿態(tài)變換時，在圖像中呈現(xiàn)的表面特征變化很大。
[0007]4、類內(nèi)差異大，背景多樣性:車輛具有不同形狀、尺寸、顏色；在復(fù)雜場景中，有非機(jī)動車、行人、道路交通設(shè)施等背景目標(biāo)，與車輛目標(biāo)混雜在一起。
[0008]5、不同分辨率:當(dāng)車輛駛過攝像機(jī)視野的過程中，其在圖像中的像素?cái)?shù)變化很大。
[0009]經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，在第201310251206.7號中國專利申請中，使用基于背景建模的方法，提取運(yùn)動車輛目標(biāo)，通過運(yùn)動前景的位置判斷車輛的違章行為，但是，在車輛檢測過程中，運(yùn)動目標(biāo)未必是車輛，并且基于背景建模的方法難以處理車輛遮擋問題。在第200810240499.8號中國專利申請中，公開了一種車輛違章檢測系統(tǒng)，可以檢測闖紅燈、超速行駛等違章行為，但該系統(tǒng)除了使用攝像頭，還需要增加壓力傳感設(shè)備和測速裝置，輔助抓拍過程，成本較高。綜上所述，現(xiàn)有的交通違章檢測系統(tǒng)，通常利用運(yùn)動信息進(jìn)行檢測，監(jiān)控精度較低，無法滿足日益增長的交通監(jiān)控需求。很多系統(tǒng)需結(jié)合視頻攝像機(jī)和線圈等輔助設(shè)備進(jìn)行檢測，成本較高，同時，在維修和安裝時需要中斷交通，破壞路面，因此維護(hù)難度大，維護(hù)成本高。

【發(fā)明內(nèi)容】

[0010]本發(fā)明解決的技術(shù)問題在于提供克服現(xiàn)有技術(shù)中的不足，為城市交通監(jiān)控提供一種基于顯著車輛部件模型的交通違章檢測方法。能在光照變化、檢測噪聲等實(shí)際工程應(yīng)用的復(fù)雜環(huán)境下，實(shí)時準(zhǔn)確地定位、跟蹤車輛目標(biāo)，通過軌跡分析完成車輛違章檢測，為城市交通管理提供一種可靠而有效的途徑。
[0011]本發(fā)明解決上述技術(shù)問題的技術(shù)方案是:
[0012]包括以下步驟:
[0013]步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定；
[0014]步驟S2，定位視頻序列中的所有車牌位置:
[0015]步驟S3，定位視頻序列中的所有車輛尾燈位置:
[0016]步驟S4，基于車輛的多個顯著部件，對車輛進(jìn)行跟蹤從而獲取車輛的運(yùn)動軌跡:
[0017]根據(jù)前一幀圖像中的車輛定位結(jié)果，預(yù)測當(dāng)前幀的車輛位置；將當(dāng)前幀中的車輛定位結(jié)果作為測量值，對于每一個跟蹤車輛，通過判斷其預(yù)測位置與測量值之間的歐式距離，搜索其觀察值；通過加權(quán)計(jì)算預(yù)測值與觀察值，更新預(yù)測值，作為目標(biāo)的當(dāng)前位置；
[0018]步驟S5，分析車輛的運(yùn)動軌跡，設(shè)置各種違章類型的檢測區(qū)域，完成車輛違章檢測。
[0019]所述步驟S4中，基于車輛的多個顯著部件、采用擴(kuò)展卡爾曼濾波方法對車輛進(jìn)行跟蹤從而獲取車輛的運(yùn)動軌跡；在擴(kuò)展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統(tǒng)狀態(tài)變量；
[0020]該步驟中，定義如果一個車輛部件連續(xù)跟蹤3幀以上，即認(rèn)為該部件為穩(wěn)定狀態(tài)；
[0021]在預(yù)測位置搜索車輛目標(biāo)位置觀察值采用如下規(guī)則:
[0022]RULEl:如果預(yù)測位置附近檢測到穩(wěn)定狀態(tài)的車牌，但車燈狀態(tài)不穩(wěn)定，則用車牌表示車輛，并作為觀察值；同時，更新車不的穩(wěn)定狀態(tài)及其與車牌的相對位置；
[0023]RULE2:如果預(yù)測位置附近沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩(wěn)定狀態(tài)，則進(jìn)一步搜索車燈，如果有穩(wěn)定的車燈，用車燈表示車輛，并作為觀察值；
[0024]RULE3:如果預(yù)測位置檢測到穩(wěn)定車牌，同時搜索到穩(wěn)定車燈，則判斷它們與預(yù)測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。
[0025]RULE4:如果預(yù)測位置附近搜索到不穩(wěn)定的車牌，且沒有穩(wěn)定車燈，則取車牌位置作為觀察值；
[0026]RULE5:如果預(yù)測位置附近既沒有穩(wěn)定車牌，也沒有穩(wěn)定車燈，認(rèn)為當(dāng)前目標(biāo)丟失跟蹤；如果某個目標(biāo)連續(xù)三幀丟失跟蹤，即認(rèn)為該目標(biāo)退出場景。
[0027]所述步驟S5中，為不同的違章類型設(shè)置特定的檢測區(qū)域，同時，保存多張取證圖片和違章信息；
[0028]各種違章類型的檢測區(qū)域設(shè)置和軌跡分析方法如下:
[0029](I)闖紅燈:在每條車道的停車線前后各設(shè)置一個檢測區(qū)域，記錄并分析每輛車的運(yùn)動軌跡，如果當(dāng)前車道的信號燈狀態(tài)為紅燈，并且車輛軌跡依次穿過設(shè)置的兩個檢測區(qū)域，則認(rèn)為該車輛闖紅燈；提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做后續(xù)處理；
[0030](2)壓線行駛:在圖像中，標(biāo)記禁止壓線行駛的車道線區(qū)域，記錄并分析車輛的運(yùn)動軌跡，如果車輛軌跡經(jīng)過該檢測區(qū)域，則認(rèn)為該車輛壓線行駛；提取車輛壓線狀態(tài)下的全景圖片，以及一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將兩張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理；
[0031](3)不按規(guī)定車道行駛:在圖像中的兩條車道標(biāo)記兩個檢測區(qū)域，如果車輛的運(yùn)行軌跡，依次經(jīng)過兩個檢測區(qū)域，則認(rèn)為該車輛不按規(guī)定車道行駛；提取車輛變換車道前、變換車道中、變換車道后的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理；
[0032]由此完成基于顯著部 件模型的交通違章檢測過程。
[0033]步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定是選取一段監(jiān)控?cái)z像機(jī)拍攝的高清視頻片段，分辨率為2592核1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關(guān)的物理坐標(biāo)參數(shù)，使用OpenCV自帶的攝像機(jī)標(biāo)定功能函數(shù)對交通場景進(jìn)行標(biāo)定，根據(jù)圖像中已知尺寸的道路標(biāo)線，標(biāo)記圖像區(qū)域，進(jìn)而實(shí)現(xiàn)圖像坐標(biāo)系和物理坐標(biāo)系的相互轉(zhuǎn)換，由此可以獲取圖像中每個位置的物理坐標(biāo)；另外，采用OpenCV中的功能函數(shù)進(jìn)行視頻讀取，把視頻讀入計(jì)算機(jī)；
[0034]步驟S2，定位視頻序列中的所有車牌位置是對于黑底白字和白底黑字車牌，直接采用其灰度圖作為顏色灰度圖像；對于藍(lán)底、黃底車牌，首先，利用如下公式將圖像空間轉(zhuǎn)換至一個特定的顏色空間；
[0035]Cx；y= Il Bx，y-min{Rx，y, Gx，y} 11.[0036]然后，使用Sobel算子計(jì)算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內(nèi)的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標(biāo)定結(jié)果，即可以獲得車牌尺寸；
[0037]最后，在所述得分圖像中確定車輛的區(qū)域大小，利用非極大值抑制方法在車輛區(qū)域范圍內(nèi)求得局部極大值，如果該局部極大值大于設(shè)定的得分閾值，則以所述局部極大值為中心點(diǎn)，根據(jù)國標(biāo)車牌的尺寸信息得到車牌區(qū)域，將該車牌區(qū)域作為候選車牌區(qū)域；
[0038]步驟S3，定位視頻序列中的所有車輛尾燈位置是根據(jù)車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計(jì)算:
[0039]Cx’y=Rx’y-max{Gx’y, Bx’y}_ 11 Gx’y_Bx’y 11 *2.[0040]然后，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；
[0041]接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定范圍內(nèi)的連通域作為候選車輛尾燈區(qū)域；
[0042]最后，對于出現(xiàn)重疊的候選車輛尾燈區(qū)域，保留其中面積最大的那個區(qū)域，最終得到檢測出來的車輛尾燈區(qū)域；
[0043]上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍(lán)通道的像素值，Cx y為像素X變換后的灰度值。
[0044]有益效果:
[0045]本發(fā)明相比于現(xiàn)有技術(shù)可以自動檢測視頻序列中的車輛部件位置，并通過跟蹤車輛部件獲取車輛運(yùn)動軌跡，最后通過車輛軌跡分析，檢測車輛違章行為，不需要對原始視頻信號進(jìn)行任何的預(yù)處理，而且對實(shí)際監(jiān)控視頻中所出現(xiàn)的車輛遮擋、車輛在強(qiáng)光條件下的陰影、光照變化、攝像機(jī)抖動、檢測噪聲等干擾同時具有較高的魯棒性。由于克服了這些現(xiàn)有技術(shù)在實(shí)際工程應(yīng)用方面難以解決的困難，因此本發(fā)明真正實(shí)現(xiàn)了交通監(jiān)控視頻中的交通違章檢測。
[0046]本發(fā)明針對智能視頻監(jiān)控中交通違章檢測的需要，利用圖像處理、特征提取、目標(biāo)跟蹤技術(shù)，實(shí)時檢測車輛的違章行為，具有算法簡單、精確度高、魯棒性強(qiáng)等優(yōu)點(diǎn)。特別是不需要對原始視頻信號進(jìn)行任何的預(yù)處理，自動實(shí)現(xiàn)了車輛違章檢測，克服了現(xiàn)有技術(shù)難以克服的難點(diǎn)，也消除了實(shí)現(xiàn)真正工程應(yīng)用的主要障礙。本發(fā)明使用圖像處理、特征提取、目標(biāo)跟蹤技術(shù)，實(shí)時準(zhǔn)確地定位、跟蹤車輛目標(biāo)，通過軌跡分析完成車輛違章檢測，為城市交通管理提供一種可靠而有效的途徑。
【專利附圖】

【附圖說明】
[0047]下面結(jié)合附圖對本發(fā)明進(jìn)一步說明:
[0048]圖1是本發(fā)明基于顯著車輛部件模型的交通違章檢測方法流程圖；
[0049]圖2是本發(fā)明基于顯著部件的跟蹤算法流程圖；
[0050]圖3是本發(fā)明工控機(jī)上的配置軟件界面；
[0051]圖4是根據(jù)本發(fā)明實(shí)施例的車輛闖紅燈的檢測結(jié)果圖；
[0052]圖5是根據(jù)本發(fā)明實(shí)施例的車輛壓線行駛的檢測結(jié)果圖；
[0053]圖6是根據(jù)本發(fā)明實(shí)施例的車輛不按規(guī)定車道行駛的檢測結(jié)果圖。
【具體實(shí)施方式】
[0054]為使本發(fā)明解決技術(shù)問題的技術(shù)方案更清楚，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0055]圖1是本發(fā)明基于顯著車輛部件模型的交通違章檢測方法流程圖，如圖1所示，本發(fā)明基于顯著車輛部件模型的交通違章檢測方法包括以下步驟:
[0056]步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定:
[0057]本發(fā)明的實(shí)施例中，選取一段監(jiān)控?cái)z像機(jī)拍攝的高清視頻片段，分辨率為2592核1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關(guān)的物理坐標(biāo)參數(shù)，本發(fā)明使用OpenCVdntel開源計(jì)算機(jī)視覺庫)自帶的攝像機(jī)標(biāo)定功能函數(shù)對交通場景進(jìn)行標(biāo)定，根據(jù)圖像中已知尺寸的道路標(biāo)線，標(biāo)記圖像區(qū)域，進(jìn)而實(shí)現(xiàn)圖像坐標(biāo)系和物理坐標(biāo)系的相互轉(zhuǎn)換，由此可以獲取圖像中每個位置的物理坐標(biāo)。另外，采用OpenCV中的功能函數(shù)進(jìn)行視頻讀取，把視頻讀入計(jì)算機(jī)。
[0058]步驟S2，定位視頻序列中的所有車牌位置:
[0059]該部分內(nèi)容不作為本發(fā)明的重點(diǎn)，可以采用通用的技術(shù)實(shí)現(xiàn)，在此僅簡要描述計(jì)算過程。中國國標(biāo)車牌的底色包括藍(lán)色、黃色、白色、黑色，本發(fā)明實(shí)施例以藍(lán)底白字和黃底黑字車牌為例進(jìn)行說明，類似地，對于黑底白字和白底黑字車牌，直接采用其灰度圖作為顏色灰度圖像。根據(jù)統(tǒng)計(jì)結(jié)果，對于藍(lán)底車牌來說，車牌底色像素的藍(lán)色通道值Bx，y遠(yuǎn)遠(yuǎn)大于其他兩個通道，紅色Rx，y和綠色Gx，y通道的值均比較小，并且相差不大。黃色與藍(lán)色在顏色上互補(bǔ)，對于黃底車牌來說，車牌底色像素的藍(lán)色通道值Bx，y遠(yuǎn)遠(yuǎn)小于其他兩個通道,紅色Rx，y和綠色Gx，y通道的值均比較大，并且相差不大。首先，根據(jù)以上觀察結(jié)果，利用公式(I)將圖像空間轉(zhuǎn)換至一個特定的顏色空間。
[0060]Cx’y= Il Bx’y-min{Rx’y，Gx’y} Il.(I)
[0061]然后，使用Sobel算子計(jì)算車牌顏色圖像中的圖像梯度。接著，我們使用滑動窗口掃描梯度圖像，獲得窗口內(nèi)的平均梯度?；瑒哟翱诖笮∨c車牌大小一致，通過使用OpenCV的標(biāo)定結(jié)果，我們可以獲得車牌尺寸。
[0062]最后，在所述得分圖像中確定車輛的區(qū)域大小，利用非極大值抑制方法在車輛區(qū)域范圍內(nèi)求得局部極大值，如果該局部極大值大于設(shè)定的得分閾值，則以所述局部極大值為中心點(diǎn)，根據(jù)國標(biāo)車牌的尺寸信息得到車牌區(qū)域，將該車牌區(qū)域作為候選車牌區(qū)域。
[0063]步驟S3，定位視頻序列中的所有車輛尾燈位置:
[0064]該部分內(nèi)容不作為本發(fā)明的重點(diǎn)，可以采用通用的技術(shù)實(shí)現(xiàn)，在此僅簡要描述計(jì)算過程。根據(jù)車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計(jì)算:
[0065]Cx，y=Rx，y-max{Gx，y, Bx，y}_ 11 Gx，y_Bx，y 11 *2.(2)
[0066]其中，Rx y、Gx，y、Bx；y分別是像素X的紅、綠、藍(lán)通道的像素值，Cx，y為像素x變換后的灰度值。
[0067]然后，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；本發(fā)明中分別選取了三個閾值對所述顏色灰度圖像進(jìn)行閾值分割，所述三個閾值分別為20、60、80。
[0068]接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定范圍內(nèi)的連通域作為候選車輛尾燈區(qū)域；
[0069]最后，對于出現(xiàn)重疊的候選車輛尾燈區(qū)域，保留其中面積最大的那個區(qū)域，最終得到檢測出來的車輛尾燈區(qū)域。
[0070]步驟S4，基于車輛的多個顯著部件，對車輛進(jìn)行跟蹤從而獲取車輛的運(yùn)動軌跡:
[0071]在本發(fā)明的實(shí)施例中，使用擴(kuò)展卡爾曼濾波方法進(jìn)行車輛的跟蹤，進(jìn)而得到車輛的運(yùn)動軌跡，在擴(kuò)展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統(tǒng)狀態(tài)變量。
[0072]圖2是本發(fā)明基于顯著部件的跟蹤算法流程圖，如圖2所示，所述步驟S4進(jìn)一步包括以下步驟:
[0073]步驟S41，根據(jù)前一幀圖像中的車輛定位結(jié)果，預(yù)測當(dāng)前幀的車輛位置；
[0074]步驟S42，將當(dāng)前幀中的車輛部件定位結(jié)果作為測量值，對于每一個跟蹤車輛，通過判斷其預(yù)測位置與測量值之間的歐式距離，以及車輛部件的穩(wěn)定狀態(tài)，搜索其觀察值。
[0075]有關(guān)車輛部件的穩(wěn)定狀態(tài)定義如下:如果一個車輛部件連續(xù)跟蹤3幀以上，即認(rèn)為該部件為穩(wěn)定狀態(tài)。
[0076]在該步驟中，采用如下規(guī)則(RULE)在預(yù)測位置搜索車輛目標(biāo)位置的觀察值:
[0077]RULEl:如果預(yù)測位置附近檢測到穩(wěn)定狀態(tài)的車牌，但車燈狀態(tài)不穩(wěn)定，則用車牌表示車輛，并作為觀察值。同時，更新車燈的穩(wěn)定狀態(tài)及其與車牌的相對位置；
[0078]RULE2:如果預(yù)測位置附近沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩(wěn)定狀態(tài)，則進(jìn)一步搜索車燈，如果有穩(wěn)定的車燈，用車燈表示車輛，并作為觀察值；
[0079]RULE3:如果預(yù)測位置檢測到穩(wěn)定車牌，同時搜索到穩(wěn)定車燈，則判斷它們與預(yù)測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。
[0080]RULE4:如果預(yù)測位置附近搜索到不穩(wěn)定的車牌，且沒有穩(wěn)定車燈，則取車牌位置作為觀察值；
[0081]RULE5:如果預(yù)測位置附近既沒有穩(wěn)定車牌，也沒有穩(wěn)定車燈，認(rèn)為當(dāng)前目標(biāo)丟失跟蹤。如果某個目標(biāo)連續(xù)三幀丟失跟蹤，即認(rèn)為該目標(biāo)退出場景。
[0082]步驟S43，通過上一步驟獲得的車輛位置觀察值，加權(quán)計(jì)算預(yù)測值與觀察值，進(jìn)而更新預(yù)測值，作為目標(biāo)的當(dāng)前位置。
[0083]步驟S5，設(shè)置各種違章檢測區(qū)域，分析車輛的運(yùn)動軌跡，完成車輛違章檢測；
[0084]本實(shí)施例的交通違`章檢測系統(tǒng)硬件平臺包括一臺500萬像素的高清攝像機(jī)，一臺工控機(jī)，以及兩盞補(bǔ)光燈。其中高清相機(jī)的分辨率為2592*1936，幀速為每秒8.3幀，工控機(jī)的處理器為Core (?) ?5-3210Μ CPU?2.50GHZ和4G內(nèi)存，補(bǔ)光燈在夜間或光照不足條件下開啟，其補(bǔ)光范圍可以達(dá)到三車道。工控機(jī)與攝像機(jī)之間的數(shù)據(jù)傳輸采用網(wǎng)線方式。下面，進(jìn)一步描述交通違章檢測的詳細(xì)步驟:
[0085]本發(fā)明的實(shí)施例檢測三種交通違章，包括闖紅燈、壓線行駛和不按規(guī)定車道行駛，運(yùn)行在工控機(jī)上的配置軟件如圖3所示，各種違章類型的檢測區(qū)域設(shè)置和軌跡分析方法如下:
[0086](I)闖紅燈:在每條車道的停車線前后各設(shè)置一個檢測區(qū)域，如圖4(a)中的黃色四邊形所示。記錄并分析每輛車的運(yùn)動軌跡，如果當(dāng)前車道的信號燈狀態(tài)為紅燈，并且車輛軌跡依次穿過設(shè)置的兩個檢測區(qū)域，則認(rèn)為該車輛闖紅燈。提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做后續(xù)處理，如圖4(b)所示。車牌識別過程不作為本發(fā)明的核心內(nèi)容，在此不再贅述。
[0087](2)壓線行駛:在圖像中，標(biāo)記禁止壓線行駛的車道線區(qū)域，如圖5(a)中的黃色四邊形所示。記錄并分析車輛的運(yùn)動軌跡，如果車輛軌跡經(jīng)過該檢測區(qū)域，則認(rèn)為該車輛壓線行駛。提取車輛壓線狀態(tài)下的全景圖片，以及一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將兩張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理，如圖5(b)所示。
[0088](3)不按規(guī)定車道行駛:在交通圖像中進(jìn)行車輛非法左右轉(zhuǎn)、非法直行檢測，本質(zhì)上，是檢測車輛由一條車道區(qū)域駛?cè)肓硪粭l車道區(qū)域，如車輛在左轉(zhuǎn)車道駛?cè)胫毙熊嚨?，即認(rèn)定為非法直行。在圖像中的兩條車道標(biāo)記兩個檢測區(qū)域，如圖6(a)中的黃色四邊形所示。如果車輛的運(yùn)行軌跡，依次經(jīng)過兩個檢測區(qū)域，則認(rèn)為該車輛不按規(guī)定車道行駛。提取車輛變換車道前、變換車道中、變換車道后的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理，如圖6(b)所示。
[0089]由此完成基于顯著部件模型的交通違章檢測過程。
[0090]以上所述是對本發(fā)明具體實(shí)施例的描述，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于顯著部件模型的交通違章檢測方法，其特征在于:包括以下步驟: 步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定； 步驟S2，定位視頻序列中的所有車牌位置: 步驟S3，定位視頻序列中的所有車輛尾燈位置: 步驟S4，基于車輛的多個顯著部件，對車輛進(jìn)行跟蹤從而獲取車輛的運(yùn)動軌跡: 根據(jù)前一幀圖像中的車輛定位結(jié)果，預(yù)測當(dāng)前幀的車輛位置；將當(dāng)前幀中的車輛定位結(jié)果作為測量值，對于每一個跟蹤車輛，通過判斷其預(yù)測位置與測量值之間的歐式距離，搜索其觀察值；通過加權(quán)計(jì)算預(yù)測值與觀察值，更新預(yù)測值，作為目標(biāo)的當(dāng)前位置； 步驟S5，分析車輛的運(yùn)動軌跡，設(shè)置各種違章類型的檢測區(qū)域，完成車輛違章檢測。
2.根據(jù)權(quán)利要求1所述的交通違章檢測方法，其特征在于:所述步驟S4中，基于車輛的多個顯著部件、采用擴(kuò)展卡爾曼濾波方法對車輛進(jìn)行跟蹤從而獲取車輛的運(yùn)動軌跡；在擴(kuò)展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統(tǒng)狀態(tài)變量； 該步驟中，定義如果一個車輛部件連續(xù)跟蹤3幀以上，即認(rèn)為該部件為穩(wěn)定狀態(tài)； 在預(yù)測位置搜索車輛目標(biāo)位置觀察值采用如下規(guī)則: RULEl:如果預(yù)測位置附近檢測到穩(wěn)定狀態(tài)的車牌，但車燈狀態(tài)不穩(wěn)定，則用車牌表示車輛，并作為觀察值；同時，更新車燈的穩(wěn)定狀態(tài)及其與車牌的相對位置； RULE2:如果預(yù)測位置附近`沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩(wěn)定狀態(tài)，則進(jìn)一步搜索車燈，如果有穩(wěn)定的車燈，用車燈表示車輛，并作為觀察值； RULE3:如果預(yù)測位置檢測到穩(wěn)定車牌，同時搜索到穩(wěn)定車燈，則判斷它們與預(yù)測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。 RULE4:如果預(yù)測位置附近搜索到不穩(wěn)定的車牌，且沒有穩(wěn)定車燈，則取車牌位置作為觀察值； RULE5:如果預(yù)測位置附近既沒有穩(wěn)定車牌，也沒有穩(wěn)定車燈，認(rèn)為當(dāng)前目標(biāo)丟失跟蹤；如果某個目標(biāo)連續(xù)三幀丟失跟蹤，即認(rèn)為該目標(biāo)退出場景。
3.根據(jù)權(quán)利要求1或2所述的交通違章檢測方法，其特征在于:所述步驟S5中，為不同的違章類型設(shè)置特定的檢測區(qū)域，同時，保存多張取證圖片和違章信息； 各種違章類型的檢測區(qū)域設(shè)置和軌跡分析方法如下: (1)闖紅燈:在每條車道的停車線前后各設(shè)置一個檢測區(qū)域，記錄并分析每輛車的運(yùn)動軌跡，如果當(dāng)前車道的信號燈狀態(tài)為紅燈，并且車輛軌跡依次穿過設(shè)置的兩個檢測區(qū)域，則認(rèn)為該車輛闖紅燈；提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做后續(xù)處理； (2)壓線行駛:在圖像中，標(biāo)記禁止壓線行駛的車道線區(qū)域，記錄并分析車輛的運(yùn)動軌跡，如果車輛軌跡經(jīng)過該檢測區(qū)域，則認(rèn)為該車輛壓線行駛；提取車輛壓線狀態(tài)下的全景圖片，以及一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將兩張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理； (3)不按規(guī)定車道行駛:在圖像中的兩條車道標(biāo)記兩個檢測區(qū)域，如果車輛的運(yùn)行軌跡，依次經(jīng)過兩個檢測區(qū)域，則認(rèn)為該車輛不按規(guī)定車道行駛；提取車輛變換車道前、變換車道中、變換車道后的三張全景圖片，以及車輛的一張?zhí)貙憟D片，并調(diào)用車牌識別程序進(jìn)行車牌識別，最后將四張圖片進(jìn)行拼接并標(biāo)注違章信息，供交通管理部門做后續(xù)處理； 由此完成基于顯著部件模型的交通違章檢測過程。
4.根據(jù)權(quán)利要求1或2所述的的交通違章檢測方法，其特征在于: 步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定是選取一段監(jiān)控?cái)z像機(jī)拍攝的高清視頻片段，分辨率為2592X 1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關(guān)的物理坐標(biāo)參數(shù)，使用OpenCV自帶的攝像機(jī)標(biāo)定功能函數(shù)對交通場景進(jìn)行標(biāo)定，根據(jù)圖像中已知尺寸的道路標(biāo)線，標(biāo)記圖像區(qū)域，進(jìn)而實(shí)現(xiàn)圖像坐標(biāo)系和物理坐標(biāo)系的相互轉(zhuǎn)換，由此可以獲取圖像中每個位置的物理坐標(biāo)；另外，采用OpenCV中的功能函數(shù)進(jìn)行視頻讀取，把視頻讀入計(jì)算機(jī)； 步驟S2，定位視頻序列中的所有車牌位置是對于黑底白字和白底黑字車牌，直接采用其灰度圖作為顏色灰度圖像；對于藍(lán)底、黃底車牌，首先，利用如下公式將圖像空間轉(zhuǎn)換至一個特定的顏色空間；
Cx；y= Il Bx’y-min{Rx’y, Gx’y} I1.然后，使用Sobel算子計(jì)算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內(nèi)的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標(biāo)定結(jié)果，即可以獲得車牌尺寸； 最后，在所述得分圖像中確定車輛的區(qū)域大小，利用非極大值抑制方法在車輛區(qū)域范圍內(nèi)求得局部極大值，如果該局部極大值大于設(shè)定的得分閾值，則以所述局部極大值為中心點(diǎn)，根據(jù)國標(biāo)車牌的尺寸信息得到車牌區(qū)域，將該車牌區(qū)域作為候選車牌區(qū)域； 步驟S3，定位視頻序列中的所有車輛尾燈位置是根據(jù)車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計(jì)算:Cx,y=Rx,y-max{Gx；y, Bx’y}_ II Gx’y_Bx’y II *2.然后，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；` 接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定范圍內(nèi)的連通域作為候選車輛尾燈區(qū)域； 最后，對于出現(xiàn)重疊的候選車輛尾燈區(qū)域，保留其中面積最大的那個區(qū)域，最終得到檢測出來的車輛尾燈區(qū)域； 上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍(lán)通道的像素值，Cx y為像素X變換后的灰度值。
5.根據(jù)權(quán)利要求3所述的的交通違章檢測方法，其特征在于: 步驟SI，對道路交通場景進(jìn)行圖像標(biāo)定是選取一段監(jiān)控?cái)z像機(jī)拍攝的高清視頻片段，分辨率為2592X 1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關(guān)的物理坐標(biāo)參數(shù)，使用OpenCV自帶的攝像機(jī)標(biāo)定功能函數(shù)對交通場景進(jìn)行標(biāo)定，根據(jù)圖像中已知尺寸的道路標(biāo)線，標(biāo)記圖像區(qū)域，進(jìn)而實(shí)現(xiàn)圖像坐標(biāo)系和物理坐標(biāo)系的相互轉(zhuǎn)換，由此可以獲取圖像中每個位置的物理坐標(biāo)；另外，采用OpenCV中的功能函數(shù)進(jìn)行視頻讀取，把視頻讀入計(jì)算機(jī)； 步驟S2，定位視頻序列中的所有車牌位置是對于黑底白字和白底黑字車牌，直接采用其灰度圖作為顏色灰度圖像；對于藍(lán)底、黃底車牌，首先，利用如下公式將圖像空間轉(zhuǎn)換至一個特定的顏色空間；cx；y= Il Bx’y-min{Rx’y, Gx’y} Il.然后，使用Sobel算子計(jì)算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內(nèi)的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標(biāo)定結(jié)果，即可以獲得車牌尺寸； 最后，在所述得分圖像中確定車輛的區(qū)域大小，利用非極大值抑制方法在車輛區(qū)域范圍內(nèi)求得局部極大值，如果該局部極大值大于設(shè)定的得分閾值，則以所述局部極大值為中心點(diǎn)，根據(jù)國標(biāo)車牌的尺寸信息得到車牌區(qū)域，將該車牌區(qū)域作為候選車牌區(qū)域； 步驟S3，定位視頻序列中的所有車輛尾燈位置是根據(jù)車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計(jì)算:Cx,y=Rx,y-max{Gx；y, Bx’y}_ II Gx’y_Bx’y II *2.然后，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像； 接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定范圍內(nèi)的連通域作為候選車輛尾燈區(qū)域； 最后，對于出現(xiàn)重疊的候選車輛尾燈區(qū)域，保留其中面積最大的那個區(qū)域，最終得到檢測出來的車輛尾燈區(qū)域； 上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍(lán)通道的像素值，Cx y為像素X變換后的灰度值。`
【文檔編號】G06K9/00GK103778786SQ201310700175
【公開日】2014年5月7日 申請日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】王飛躍, 田濱, 李葉, 李泊, 王坤峰, 熊剛, 朱鳳華, 胡斌 申請人:東莞中國科學(xué)院云計(jì)算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心, 中國科學(xué)院自動化研究所