專利名稱：基于自適應(yīng)投影模板法的車牌定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種機(jī)動(dòng)車車牌圖像的自動(dòng)定位方法，屬于計(jì)算機(jī)圖像處理、模式識(shí) 別和智能交通系統(tǒng)(Intelligent Transport System, ITS)控制技術(shù)領(lǐng)域，是智能交通系統(tǒng) 中的車牌自動(dòng)識(shí)別技術(shù)中的重要環(huán)節(jié)。
背景技術(shù)：
智能交通管理系統(tǒng)是21世紀(jì)世界道路交通的發(fā)展趨勢(shì)。高速公路的不斷發(fā)展和 車輛管理體制的不斷完善，使圖像場(chǎng)景日益簡(jiǎn)單化和標(biāo)準(zhǔn)化，這為以圖像理解為基礎(chǔ)的智
能交通管理系統(tǒng)進(jìn)入實(shí)際應(yīng)用提供了契機(jī)。汽車車牌自動(dòng)識(shí)別系統(tǒng)也正是在這種應(yīng)用背景 下被提出來(lái)的。
車牌自動(dòng)識(shí)別系統(tǒng)主要包括兩部分(l)車牌圖像定位，即從拍攝的原始圖像中
確定長(zhǎng)方形車牌的相對(duì)位置；(2)車牌字符識(shí)別，從長(zhǎng)方形的車牌圖像中切分出單個(gè)字
符，然后進(jìn)行識(shí)別。其中，車牌的準(zhǔn)確定位是車牌識(shí)別系統(tǒng)中的難點(diǎn)和重點(diǎn)，定位的準(zhǔn)確性
和速度也將直接影響車牌識(shí)別系統(tǒng)的性能。
當(dāng)前車牌圖像定位的主要方法有三大類 (1)基于Hough變換的方法。該方法根據(jù)車牌具有明顯矩形邊框的特點(diǎn)，利用 Hough變換來(lái)檢測(cè)車牌圖像區(qū)域邊界，從而實(shí)現(xiàn)定位； (2)基于邊緣檢測(cè)的方法。該方法利用了車牌字符之間邊緣信息豐富的特征，結(jié)合 數(shù)學(xué)形態(tài)學(xué)或區(qū)域生長(zhǎng)的方法實(shí)現(xiàn)車牌圖像定位； (3)基于神經(jīng)網(wǎng)絡(luò)的方法。該方法利用圖像的顏色或紋理特征訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后 用訓(xùn)練好的分類器對(duì)圖像中各個(gè)像素進(jìn)行分類，再綜合分類的結(jié)果從而得到車牌的準(zhǔn)確位 置。然而由于光照不均、污染等因素影響，可能使得車牌圖像區(qū)域邊界不明顯或存在多個(gè)干 擾區(qū)域，從而增加了車牌定位的難度。 可見(jiàn)，各種車牌圖像的定位方法都有它們各自的特點(diǎn)，尚無(wú)一種方法能夠達(dá)到性 能最優(yōu)、功能最完善的車牌圖像定位方法。

發(fā)明內(nèi)容
針對(duì)車牌圖像定位中準(zhǔn)確率和高效性難以同時(shí)提高這一難點(diǎn)，本發(fā)明提出了一種
基于自適應(yīng)投影模板法的車牌定位方法，采用自適應(yīng)投影模板法，在復(fù)雜背景下實(shí)現(xiàn)車牌
快速、準(zhǔn)確的自動(dòng)定位。 本發(fā)明采用的技術(shù)方案如下 —種基于自適應(yīng)投影模板法的車牌定位方法，其實(shí)現(xiàn)步驟如下 (1)首先對(duì)拍攝的原始圖像進(jìn)行預(yù)處理，包括對(duì)原始圖像進(jìn)行彩色圖像灰度化處
理、二值化處理和圖像去噪處理，形成二值化的車輛圖像； (2)對(duì)車輛圖像進(jìn)行垂直投影，然后采用像素跳變排序法，計(jì)算出車牌圖像區(qū)域 的垂直坐標(biāo)，并對(duì)這些坐標(biāo)值進(jìn)行自適應(yīng)誤差修正，從而獲得車牌的垂直位置和車牌長(zhǎng)度Wide ; (3)根據(jù)車牌的物理形態(tài)特征，即車牌長(zhǎng)寬比約為10 : 3，計(jì)算出車牌的寬度 Height為0. 3 * Wide，并創(chuàng)建匹配模板-Height * Wide ; (4)對(duì)垂直定位后的車輛圖像進(jìn)行水平投影，再用匹配模板自下而上掃描該投影 圖像，當(dāng)匹配模板中各行像素的水平差分累加值為最大時(shí)，即找到車牌在車輛圖像中的水 平位置，最終實(shí)現(xiàn)車牌圖像的準(zhǔn)確定位。 本發(fā)明在對(duì)車輛圖像的垂直投影圖和水平投影圖進(jìn)行深入研究和分析的基礎(chǔ)上， 采用了不同的方法分別對(duì)其進(jìn)行垂直定位和水平定位。在垂直定位時(shí)，采用投影法對(duì)車輛 圖像進(jìn)行垂直投影，在對(duì)垂直投影圖像掃描時(shí)，不但要統(tǒng)計(jì)圖像中各相鄰兩列間黑色像素 點(diǎn)數(shù)的絕對(duì)差值，同時(shí)還記錄下每個(gè)差值所對(duì)應(yīng)的前一列的坐標(biāo)；再采用從大到小的冒泡 排序法排列該絕對(duì)差值，其對(duì)應(yīng)的坐標(biāo)值也相應(yīng)進(jìn)行了排序；由于車牌中只有7個(gè)字符，在 車牌區(qū)域內(nèi)的劇烈跳變點(diǎn)不會(huì)超過(guò)20個(gè)，故取前20個(gè)坐標(biāo)值，即為車牌在垂直方向的大概 區(qū)域；最后采用最小二乘法進(jìn)行誤差修正，去除突變的值，即誤差值，剩下的坐標(biāo)值所對(duì)應(yīng) 的區(qū)域即為車牌在垂直方向上的準(zhǔn)確位置。 經(jīng)垂直定位后，得到了車牌的長(zhǎng)度Wide。根據(jù)車牌具有的固定長(zhǎng)寬比特征(約 為10 : 3)，便可得到車牌的寬度Height為0. 3 * Wide，并創(chuàng)建矩形匹配模板Height * Wide。 由于在水平方向上的車牌區(qū)域與其他區(qū)域具有明顯不同的特征，其邊緣信息豐 富，灰度跳變率大，利用水平差分法就可求得車牌的水平位置。為克服采用單一的投影法在 水平定位時(shí)效果較差，誤定位率較高的缺點(diǎn)，本發(fā)明采用了水平投影和矩形匹配模板相結(jié) 合的水平定位方法。實(shí)現(xiàn)如下先對(duì)垂直定位后的圖像進(jìn)行水平投影；再用矩形匹配模板 對(duì)水平投影圖像自下而上進(jìn)行掃描，當(dāng)模板中像素點(diǎn)的水平差分累加值為最大時(shí)，便找到 了車牌準(zhǔn)確的水平位置。 本發(fā)明有效地利用了車輛圖像在垂直、水平兩個(gè)方向上的圖像投影特征分別進(jìn)行 定位，較好地排除了噪聲干擾，使得魯棒性明顯提高；能有效地去除車牌邊框，實(shí)現(xiàn)車牌的 準(zhǔn)確定位；適合于不同的光照條件，定位準(zhǔn)確性和處理速度同時(shí)得到提高，為后續(xù)的車牌字 符分割與識(shí)別打下基礎(chǔ)。 當(dāng)然，對(duì)于個(gè)別污染嚴(yán)重或者字體模糊不清的車牌，噪聲干擾很大，定位效果就會(huì) 較差，這種情況應(yīng)轉(zhuǎn)入人工處理。


圖1為車牌圖像定位方法流程圖； 圖2 (a)-2(c)為二值化的車輛圖像及其投影圖； 其中圖2 (a)為預(yù)處理后的車輛圖像； 圖2 (b)為車輛圖像的水平投影圖； 圖2(C)為車輛圖像的垂直投影圖； 圖3為垂直定位算法流程圖； 圖4為水平定位算法流程圖； 圖5為水平定位示意 其中圖5(a)垂直定位后的水平投影圖；
圖5(b)匹配模板自下而上掃描示意圖。
具體實(shí)施例方式
為了使本發(fā)明技術(shù)手段、特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖 示，進(jìn)一步闡述本發(fā)明。
本發(fā)明的處理流程如圖1所示拍攝的原始圖像經(jīng)過(guò)彩色圖像灰度化、圖像增強(qiáng)、 最大類間方差二值化、中值濾波等預(yù)處理后，利用本發(fā)明中的投影法、像素跳變排序法、自 適應(yīng)誤差修正和模板匹配法分別進(jìn)行垂直定位和水平定位，最終得到車牌的準(zhǔn)確位置。
由于直接對(duì)彩色圖像進(jìn)行處理的運(yùn)算量很大，不能滿足實(shí)時(shí)性的要求，故在預(yù)處 理的第一步即將彩色圖像轉(zhuǎn)換為灰度圖像。 轉(zhuǎn)換公式H = 0. 299*R+0. 587*G+0. 114*B (1)
式中H為灰度值，R、 G、 B分別為紅色、綠色和藍(lán)色分量值。 然后采用線性拉伸來(lái)增加灰度變化范圍，達(dá)到增強(qiáng)圖像對(duì)比度的目的，以便于后 面的處理。 圖像二值化的關(guān)鍵是閾值的選取，本發(fā)明采用了最大類間方差法對(duì)圖像進(jìn)行二值 化，能有效地克服光照不均勻的影響。其原理是把直方圖在某一閾值處分割成兩組，當(dāng)被分 成的兩組間方差為最大時(shí)，即為閾值。經(jīng)過(guò)二值化后的車輛圖像突出了車牌圖像區(qū)域的特 征，使得車牌圖像區(qū)域和背景對(duì)比更加明顯。
最大類間方差法的處理過(guò)程如下 用f (x， y)來(lái)表示一幅圖像，設(shè)該圖像的灰度值為0 m-l級(jí)，灰度值i的像素?cái)?shù) 為ni，此時(shí)得到的像素總數(shù)為
m—l A^Xi"' (2) 各值的概率為/7; 二 } (3) 然后用某一閾值T將其分成兩組C。 = {0 T-1}和Q = {T m_l}，各組產(chǎn)生的
概率和平均值

c。產(chǎn)生的概率w。 = 2>, = (4)
Q產(chǎn)生的概率w, =2]/ , =1 —w。 (5)
r一i
C0的平均值//0 = Z * = (6) m—l
Q的平均值^:2^^:^^ ("
，-! 其中，// = ^>>,是車輛圖像的灰度平均值；/z(r) = 2>/7,是閾值為T時(shí)的灰度平均
值；全部像素點(diǎn)的灰度平均值為P = w。 P 。+巧P i (8)
兩組間的方差
= 。 -//)2+一 -//)2=、 -//0)2 = [:(;(g—:g));2 。) 從l m-l之間改變T，求上式為最大值時(shí)的T，即求S 2(T)最大時(shí)的"值，此時(shí) 的T^便是閾值。最后，對(duì)圖像進(jìn)行二值化處理
,/ (")= {〗55化- (10) 式中f*(x， y)為二值化后的圖像。 此方法不論圖像的直方圖有無(wú)明顯的雙峰，都能得到較滿意的結(jié)果。
由于二值化后的車輛圖像難免會(huì)存在噪聲和邊緣干擾，故進(jìn)一步采用中值濾波法 來(lái)濾除孤立點(diǎn)噪聲，使其較好地保留了車輛圖像邊緣的細(xì)節(jié)。該方法使用一個(gè)窗口 W(本發(fā) 明選用3X3的窗口 )在圖像上進(jìn)行掃描，將窗口內(nèi)包含的圖像像素按灰度排列，取其中間 值作為窗口中心像素的灰度，如式(11)所示。 f*(x， y) = med{f (x-r， y—s) ， (r， s) G W} (11) 其中f*(x， y)是指經(jīng)中值濾波后的輸出圖像；坐標(biāo)(r， s)為窗口 W中的某一點(diǎn)。
經(jīng)過(guò)預(yù)處理后的車輛圖像，車牌圖像區(qū)域的特征比背景區(qū)域更加明顯，對(duì)其在垂 直方向上投影后，會(huì)出現(xiàn)約7個(gè)連續(xù)的波峰區(qū)(表示車牌區(qū)域內(nèi)各字符之間邊緣信息的變 化，如圖2(c)所示)。因此，垂直投影圖像能較好的反映出車牌區(qū)域在垂直方向的位置； 在水平方向上投影時(shí)，由于上下邊框的連續(xù)性，且與字符的上下端之間有一定的空隙，所以 邊框在投影圖中必然對(duì)應(yīng)的是兩個(gè)波谷位置，即兩個(gè)波谷之間的區(qū)域?yàn)樗椒较虻能嚺茀^(qū) 域。但是，車牌的水平投影圖像不能體現(xiàn)字符特征，其車牌圖像區(qū)域的特征沒(méi)有垂直投影圖 那么明顯，極易產(chǎn)生誤定位，如圖2(b)中區(qū)域A、B、C都可被認(rèn)為車牌區(qū)域。如采用單一的 投影法對(duì)其水平定位，效果將不理想。因此，本發(fā)明采用了不同的方法分別對(duì)車輛圖像進(jìn)行 垂直定位和水平定位。 在垂直定位時(shí)，考慮到車牌區(qū)域的像素點(diǎn)跳變情況會(huì)在整個(gè)垂直投影圖像中比較 劇烈，如何提取出這些跳變點(diǎn)的坐標(biāo)便是定位的關(guān)鍵所在。本發(fā)明采用的方法如下(如圖 3):首先，對(duì)車輛圖像進(jìn)行垂直投影，統(tǒng)計(jì)出各列黑色像素點(diǎn)的個(gè)數(shù)f(i)(其中i = 0，1，2， 3. . . . img_Width ;img_Width表示車輛圖像寬度)；再?gòu)淖笙蛴宜綊呙?，求出每相鄰兩?之間黑色像素點(diǎn)的絕對(duì)差值D(i)，即D(i) = f(i)-f(i+l) l，同時(shí)記錄下每個(gè)差值所對(duì)應(yīng) 的前一列的坐標(biāo)i ;然后采用冒泡排序法對(duì)D(i)從大到小排列。由于車牌只有7個(gè)字符， 在車牌區(qū)域內(nèi)所占的劇烈跳變值不會(huì)超過(guò)20個(gè)，故選取D(i)中前20位跳變值，并記錄下 坐標(biāo)值，記為i(20)，從而就得到車牌在垂直方向上的大概位置，這在很大程度上節(jié)約了處 理時(shí)間；最后，對(duì)i (20)這20個(gè)坐標(biāo)值進(jìn)行從小到大排序和去除突變的值(即誤差值)，便 得到了圖2 (c)中a、 b兩點(diǎn)的坐標(biāo)值，實(shí)現(xiàn)了車牌在垂直方向的準(zhǔn)確定位。
以圖2(a)為例，按上述算法處理后，可得D(i)的前20個(gè)的數(shù)值為(372， 371， 370，361，314，313，312，306，264， 187， 186， 168， 167， 166， 165， 164， 163， 162， 155， 154);其對(duì) 應(yīng)的坐標(biāo)值i (20)從小到大排列為:(103， 124， 165， 222， 229， 236， 245， 257， 268， 275， 284， 289， 301 ，429， 437， 464， 523， 562， 563， 566)。對(duì)i (20)中20個(gè)坐標(biāo)值采用最小二乘法進(jìn)行
誤差修正，去除突變的值(即i (20)中前3個(gè)坐標(biāo)值和后7個(gè)坐標(biāo)值)，得到垂直方向上的車牌區(qū)域是在222-301之間，如圖2(c)所示。即a點(diǎn)坐標(biāo)值為222， b點(diǎn)坐標(biāo)值為301，車 牌長(zhǎng)度為Wide = b-a = 79。 根據(jù)車牌具有的固定長(zhǎng)寬比(約為10 : 3)，便可得到車牌的寬度Height為0. 3 * Wide，從而創(chuàng)建矩形匹配模板Height * Wide。 經(jīng)過(guò)預(yù)處理后的車輛圖像在水平方向上的車牌區(qū)域與其他區(qū)域具有明顯不同的 特征。該區(qū)域邊緣豐富，在水平方向灰度跳變率大，即水平差分的累加值大。
匹配模板內(nèi)的水平差分累加值
//e/g/^歸eC= ￡ )-+ (12) 式中Height表示匹配模板的寬度；Wide表示匹配模板的長(zhǎng)度。
本發(fā)明所采用的水平定位方法，如圖4所示首先對(duì)垂直定位后圖像進(jìn)行水平投
影，如圖5(a)所示；再用匹配模板對(duì)水平投影圖像從下而上掃描，如圖5(b)所示。共掃描
n-l次，n表示該圖像的高(imgjfeight);在每一次掃描過(guò)程中，計(jì)算匹配模板內(nèi)的水平差
分累加值Ci(其中i = l，2，3....n);最后，求出最大的累加值Cmax，這便找到了車牌的水
平位置，最終實(shí)現(xiàn)車輛圖像的準(zhǔn)確定位。 本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說(shuō)明 書中描述的只是說(shuō)明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有 各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)，本發(fā)明要求保護(hù)范圍 由所附的權(quán)利要求書及其等同物界定。
權(quán)利要求
基于自適應(yīng)投影模板法的車牌圖像定位方法，所述方法包括以下步驟(1)首先對(duì)拍攝的原始圖像進(jìn)行預(yù)處理，包括對(duì)原始圖像進(jìn)行彩色圖像灰度化處理、二值化處理和圖像去噪處理，形成二值化的車輛圖像；(2)對(duì)車輛圖像進(jìn)行垂直投影，然后采用像素跳變排序法，計(jì)算出車牌圖像區(qū)域的垂直坐標(biāo)，并對(duì)這些坐標(biāo)值進(jìn)行自適應(yīng)誤差修正，從而獲得車牌的垂直位置和車牌長(zhǎng)度Wide；(3)根據(jù)車牌的物理形態(tài)特征，即車牌長(zhǎng)寬比約為10∶3，計(jì)算出車牌的寬度Height為0.3＊Wide，并創(chuàng)建匹配模板Height＊Wide；(4)對(duì)垂直定位后的車輛圖像進(jìn)行水平投影，再用匹配模板自下而上掃描該投影圖像，當(dāng)匹配模板中各行像素的水平差分累加值為最大時(shí)，即找到車牌在車輛圖像中的水平位置，最終實(shí)現(xiàn)車牌圖像的準(zhǔn)確定位。
2. 根據(jù)權(quán)利要求1所述的車牌圖像定位方法，其特征在于所述步驟(1)中對(duì)拍攝的 原始圖像進(jìn)行預(yù)處理，所述預(yù)處理步驟為(1) 首先對(duì)拍攝的原始圖像進(jìn)行彩色圖像灰度化處理，即將彩色圖像轉(zhuǎn)換為灰度圖像， 轉(zhuǎn)換關(guān)系式H = 0. 299*R+0. 587*G+0. 114*B (1)其中H為灰度值，R、 G、 B代表車輛圖像中的紅、綠、藍(lán)分量；(2) 然后利用最大類間方差法進(jìn)行二值化處理，形成二值化的車輛圖像；(3) 對(duì)二值化后的車輛圖像采用中值濾波法濾除孤立點(diǎn)噪聲，保留車牌圖像邊緣的細(xì) 節(jié)；所述中值濾波法是使用一個(gè)窗口 W在圖像上掃描，將窗口內(nèi)包含的圖像像素按灰度排 列，取其中間值作為窗口中心像素的灰度，如式(2)所示 <formula>formula see original document page 2</formula>其中f*(x， y)是指經(jīng)中值濾波后的輸出圖像，點(diǎn)(r， s)為窗口 W中的點(diǎn)；
3. 根據(jù)權(quán)利要求1所述的車牌圖像定位方法，其特征在于所述步驟(2)中的像 素跳變排序法計(jì)算車牌圖像區(qū)域的垂直坐標(biāo)是指在對(duì)垂直投影圖像掃描時(shí)，不但要統(tǒng)計(jì)圖像中各相鄰兩列間黑色像素點(diǎn)數(shù)的絕對(duì)差值，同時(shí)還要記錄下每個(gè)差值所對(duì)應(yīng)的前 一列的坐標(biāo)；再采用從大到小的冒泡排序法排列所述絕對(duì)差值，其對(duì)應(yīng)的坐標(biāo)值也相應(yīng)進(jìn) 行了排序，取差值最大的20個(gè)坐標(biāo)值，即為車牌在垂直方向的大概區(qū)域。
4. 根據(jù)權(quán)利要求l所述的車牌圖像定位方法，其特征在于所述步驟(2)中的對(duì)坐標(biāo) 值進(jìn)行自適應(yīng)誤差修正是指先對(duì)所述坐標(biāo)值進(jìn)行從小到大排序；再用最小二乘法進(jìn)行誤 差修正，去除突變的值，即誤差值；剩下的坐標(biāo)值所對(duì)應(yīng)的區(qū)域即為車牌在垂直方向上的準(zhǔn) 確位置。
5. 根據(jù)權(quán)利要求1所述的車牌圖像定位方法，其特征為所述步驟(4)中采用的模板 匹配法是指對(duì)經(jīng)垂直定位后的車輛圖像進(jìn)行水平投影，再用匹配模板Height * Wide從下 而上地掃描水平投影圖像；當(dāng)匹配模板中各行像素的水平差分累加值C為最大時(shí)，便準(zhǔn)確 地找到了車牌的水平位置；所述水平差分累加值C的計(jì)算公式他妙歸e <formula>formula see original document page 2</formula>式中Height示矩形模板的寬度，Wide表示矩形模板的長(zhǎng)度。
全文摘要
本發(fā)明涉及一種車牌(機(jī)動(dòng)車號(hào)牌)圖像的定位方法。該方法首先對(duì)拍攝的原始圖像進(jìn)行預(yù)處理(包括灰度化，圖像增強(qiáng)，二值化和圖像去噪)，形成二值化的車輛圖像；針對(duì)車輛圖像在垂直投影和水平投影上的差異，運(yùn)用定位分離的處理步驟，采用投影法、像素跳變排序法和自適應(yīng)誤差修正進(jìn)行垂直定位；采用投影法和模板匹配法實(shí)現(xiàn)水平定位；最后計(jì)算出車牌在車輛圖像中的準(zhǔn)確位置。本發(fā)明將投影法、像素跳變排序法、自適應(yīng)誤差修正和模板匹配法應(yīng)用于車牌圖像的定位，能在復(fù)雜背景下提取有效的車牌信息，運(yùn)算速度快，魯棒性好，可同時(shí)滿足車牌圖像定位的準(zhǔn)確性和實(shí)時(shí)性要求。
文檔編號(hào)G06K9/62GK101739566SQ20091019171
公開日2010年6月16日 申請(qǐng)日期2009年12月4日 優(yōu)先權(quán)日2009年12月4日
發(fā)明者常宇, 張慧, 李志敏, 梁軍, 王浩 申請(qǐng)人:重慶大學(xué)