專利名稱：用于定位車牌的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種用于定位車牌的方法和系統(tǒng)，尤其涉及一種用于從復(fù)雜圖 像中自動(dòng)定位多個(gè)車牌的方法和系統(tǒng)。
背景技術(shù)：
隨著交通系統(tǒng)的快速發(fā)展，在過去的二十年期間，車輛的自動(dòng)識(shí)別在很多應(yīng)用中 已變得越來越實(shí)用。與此相關(guān)地，自動(dòng)車牌識(shí)別(LPR)成為了重要的研究課題。自動(dòng)車牌 識(shí)別方法可以應(yīng)用于電子收費(fèi)站以幫助識(shí)別違規(guī)車輛。一個(gè)典型的車牌識(shí)別系統(tǒng)主要包括 三個(gè)處理模塊，即車牌檢測模塊或車牌定位模塊、文字分割模塊、以及文字識(shí)別模塊。在這 些模塊當(dāng)中，用于檢測和定位車牌的車牌定位模塊被認(rèn)為是整個(gè)車牌識(shí)別系統(tǒng)中最關(guān)鍵的 階段。到目前為止，已提出了一些用于通過視覺圖像處理來定位所需的車牌的技術(shù)。如 今具有一些關(guān)于車牌定位的算法，例如基于顏色特征的方法(例如參照“am ffeigang,Hou Guojiang， Jia Xing， A Study of Locating Vehicle License Plate Based on Color Feature and Mathematical Morphology, Signal Processing，2002，6th International Conference，748-751 vol. 1，August 2002”)，基于邊緣提取的方法(例如參照 “Rafael C.Gonzalez, Ricgard Ε.Woods, Digital Image Processing (Second Edition)， Prentice-Hall Inc，2002” ；以及 “K. Kanayama，Y. Fujikawa, K. Fujimoto, and M. Horino, Development of Vehicle-license Number Recognition System Using Real-time Image Processing and its Application to Travel-time Measurement， Processings of IEEE Vehicular Technology Conference， pages 789—804，1991 Processing， Addsion-Wesley Publishing Co.，Reading，a Mass.，1992”)，基于直方圖分析的方法(例如參照 "D.U. Cho, Y. H. Cho, Implementation of Preprocessing Independent of Environment and Recognition of Car Number Plate Using Histogram and Template Matching， The Journal of the Korean Institute of Communication Sciences，23 (1) :94-100, 1998”)，基于對(duì)稱的方法(例如參照“D. S.Kim，S.I· Chien，Automatic Car License Plate Extraction Using ModifiedGeneralized Symmetry Transform and Image Warping, Proc. IEEEInt. Symp. on Industrial Electronics, Vol. 3， pp. 2022—2027，2001，，)， ■ 于形態(tài)學(xué)算子的方法(例如參照 “Μ. Shridhar，J. W. Miller，G.Houle，L. Bijinagte， Recognition of License Plate Image :Issues and Perspectives, Proceed of Iht. Conf. on Document Analysis and Recognition，pagel7_20，1999”)等等?；陬伾姆?法一般是有用且快速的。然而，當(dāng)照明條件改變時(shí)，顏色特征不穩(wěn)定。因此，需要一種不論車牌的顏色或朝向的變化如何都能夠從復(fù)雜圖像中自動(dòng)定位 多個(gè)車牌的有效且容易實(shí)施的技術(shù)。

發(fā)明內(nèi)容
考慮到在前述現(xiàn)有技術(shù)中存在的技術(shù)問題，提供一種用于從復(fù)雜圖像中自動(dòng)定位 車牌的新方法?；旧?，根據(jù)本發(fā)明的用于定位車牌的方法包括兩個(gè)主要階段，即，首先，定 位圖像中的文字串，然后從該圖像中定位長線段。之后，根據(jù)定位出的文字串和線段之間的 諸如位置關(guān)系之類的幾何關(guān)系來定位車牌。根據(jù)本發(fā)明的一個(gè)方面，提供一種用于從圖像中定位一個(gè)或多個(gè)車牌的方法，包 括文字串定位步驟，在所述圖像上定位出一個(gè)或多個(gè)文字串；線段定位步驟，在所述圖像 上定位出多個(gè)線段，所定位出的線段中的每一條線段的長度都大于預(yù)定長度閾值；車牌區(qū) 域定位步驟，根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系，定位出一個(gè)或多 個(gè)車牌區(qū)域。根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于從圖像中定位一個(gè)或多個(gè)車牌的系統(tǒng)， 包括文字串定位裝置，用于在所述圖像上定位出一個(gè)或多個(gè)文字串；線段定位裝置，用于 在所述圖像上定位出多個(gè)線段，所定位出的線段中的每一條線段的長度都大于預(yù)定長度閾 值；車牌區(qū)域定位裝置，用于根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系，定 位出一個(gè)或多個(gè)車牌區(qū)域。根據(jù)本發(fā)明的又一個(gè)方面，提供一種用于自動(dòng)車牌識(shí)別的系統(tǒng)，包括圖像攝取裝 置，用于攝取圖像；如上所述的用于從圖像中定位一個(gè)或多個(gè)車牌的系統(tǒng)；提取裝置，用于 從已定位出的車牌中提取文字串；以及光學(xué)字符識(shí)別裝置，用于將文字串轉(zhuǎn)換成作為車牌 號(hào)碼的文本。受益于根據(jù)本發(fā)明的上述方法和系統(tǒng)，即使在一幅圖像中有具有不同朝向的多個(gè) 車牌，這些車牌均可以通過簡單而快速的方式準(zhǔn)確地被各自定位。由于所提取的特征是對(duì) 復(fù)雜背景具有魯棒性的，因此所提出的方法和系統(tǒng)即使在提取不同照明和朝向的車牌時(shí)也 良好工作。從參照附圖的以下描述中，本發(fā)明的其他特征和優(yōu)點(diǎn)將變得清晰。


并入說明書并且構(gòu)成說明書一部分的附示本發(fā)明的實(shí)施例，并且與描述一起 用于說明本發(fā)明的原理。圖1是示出用于實(shí)施根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)的計(jì)算裝置的布置的框圖。圖2是示出根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)的示例性配置的框圖，所述用于定 位車牌的系統(tǒng)的示例性配置由各個(gè)模塊裝置構(gòu)成。圖3是示出實(shí)施根據(jù)本發(fā)明的定位車牌的方法的總體處理的流程圖。圖4是示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的基于一個(gè)已定位出的文字串和多 個(gè)已定位出的長線段之間的幾何關(guān)系來定位車牌區(qū)域的詳細(xì)處理的流程圖。圖5a_5c是用于例示已定位出的文字串和已定位出的長線段之間的幾何關(guān)系的 示意圖。圖6是示出根據(jù)本發(fā)明的另一個(gè)示例性實(shí)施例的基于多個(gè)已定位出的文字串和 多個(gè)已定位出的長線段之間的幾何關(guān)系來定位一個(gè)或多個(gè)車牌區(qū)域的詳細(xì)處理的流程圖。圖7示出根據(jù)本發(fā)明的又一個(gè)示例性實(shí)施例的用于定位車牌的處理的流程圖。
圖8-14各示出根據(jù)本發(fā)明的定位車牌的一個(gè)示例中的中間處理結(jié)果之一，以有 助于理解本發(fā)明的原理和處理。圖15示出用于自動(dòng)車牌識(shí)別處理的流程圖。圖16示出應(yīng)用了根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)的自動(dòng)車牌識(shí)別系統(tǒng)。
具體實(shí)施例方式以下將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。

圖1是示出用于實(shí)施根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)的計(jì)算裝置100的布置的 框圖。為了簡單起見，該系統(tǒng)被示出為被構(gòu)建在單個(gè)計(jì)算裝置中。然而，不論該系統(tǒng)是構(gòu)建 在單個(gè)計(jì)算裝置中還是構(gòu)建在多個(gè)計(jì)算裝置中作為網(wǎng)絡(luò)系統(tǒng)，該系統(tǒng)都是有效的。如圖1所示，計(jì)算裝置100用于實(shí)施定位車牌的處理。計(jì)算裝置100可以包含CPU 101、芯片組102、RAM 103、存儲(chǔ)控制器104、顯示控制器105、硬盤驅(qū)動(dòng)器106、CD-ROM驅(qū)動(dòng) 器107、以及顯示器108。計(jì)算裝置100還可以包括連接在CPU 101和芯片組102之間的 信號(hào)線111、連接在芯片組102和RAM 103之間的信號(hào)線112、連接在芯片組102和各種外 圍裝置之間的外圍裝置總線113、連接在存儲(chǔ)控制器104和硬盤驅(qū)動(dòng)器106之間的信號(hào)線 114、連接在存儲(chǔ)控制器104和⑶-ROM驅(qū)動(dòng)器107之間的信號(hào)線115、以及連接在顯示控制 器105和顯示器108之間的信號(hào)線116?？蛻舳?20可以直接或經(jīng)由網(wǎng)絡(luò)130連接到計(jì)算裝置100?？蛻舳?20可以將任 務(wù)發(fā)送給計(jì)算裝置100，并且計(jì)算裝置100可以將結(jié)果返回給客戶端120。圖2是示出根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)2000的示例性配置的框圖，所述用 于定位車牌的系統(tǒng)2000的示例性配置由各個(gè)模塊裝置構(gòu)成。如圖2所示，用于定位車牌的系統(tǒng)2000可以包括文字串定位裝置210，用于在 圖像上定位出一個(gè)或多個(gè)文字串；線段定位裝置220，用于在所述圖像上定位出多個(gè)線段； 車牌區(qū)域定位裝置230，用于根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系，定 位出一個(gè)或多個(gè)車牌區(qū)域。所述用于定位車牌的系統(tǒng)2000還可以包括車牌精細(xì)定位裝置 240，用于在所定位出的車牌區(qū)域中找到車牌的精確邊界。根據(jù)一個(gè)示例性實(shí)施例，所述車牌區(qū)域定位裝置230可優(yōu)選包括文字串中心線 檢測裝置2310，用于檢測文字串的中心線，所述中心線在該文字串的長度方向上延伸；線 段選擇裝置2320，用于從所定位出的線段中選擇各平行于所述中心線并且各具有一個(gè)部分 的線段，所述部分具有正對(duì)中心線的部分長度，所述部分長度與所述中心線的長度之比在 預(yù)定范圍內(nèi)；上下邊界確定裝置2330，用于確定在所述中心線的一側(cè)與所述中心線具有最 近距離的線段作為上邊界，并且確定在所述中心線的另一側(cè)與所述中心線具有最近距離的 線段作為下邊界；以及車牌區(qū)域確定裝置2340，用于基于所述上邊界、所述下邊界、以及所 述文字串，定位出車牌區(qū)域。上述裝置是用于實(shí)施以下所要描述的過程的示例性的且/或優(yōu)選的模塊。用于實(shí) 施各種步驟的模塊并沒有在以上被詳盡地描述。然而，當(dāng)具有執(zhí)行某種過程的步驟時(shí)，即有 用于實(shí)施同種過程的相應(yīng)的功能模塊或裝置。以下所描述的步驟和與這些步驟對(duì)應(yīng)的裝置 的所有組合所定義的技術(shù)方案都包括在本發(fā)明的公開內(nèi)容中，只要它們構(gòu)成的技術(shù)方案是 完整的且可應(yīng)用的即可。
在本說明書中，術(shù)語“垂直(vertical)”指的是基本上垂直。具體地，如果一條直 線與絕對(duì)垂直的直線所成的角度小于預(yù)定角度，則這條直線可被認(rèn)為是“垂直的”。類似地， 術(shù)語“水平”指的是基本上水平。具體地，如果一條直線與絕對(duì)水平的直線所成的角度小于 預(yù)定角度，則這條直線可被認(rèn)為是“水平的”。在本說明書中，術(shù)語“平行”是指基本上平行。具體地，如果兩條直線所成的角度 小于預(yù)定角度，則這兩條直線可被認(rèn)為是相互“平行的”。類似地，術(shù)語“正交”是指基本上 正交。具體地，如果兩條直線所成的角度與90度之間的差小于預(yù)定角度，則這兩條直線可 被認(rèn)為是相互“正交的”。上述各個(gè)預(yù)定角度可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際應(yīng)用和具體要求來確定。圖3是示出實(shí)施根據(jù)本發(fā)明的定位車牌的方法的總體處理的流程圖。在步驟S310中，從圖像中定位文字串。定位文字串的主要原因是，文字串是車牌 的最重要的特征，因此文字串可用作用于搜索車牌的“向?qū)А?。?duì)于具體的應(yīng)用，已經(jīng)提出了用于從圖像和視頻中提取文字串或提取文本的各種 方法，例如在“C. M. Lee，A. Kankanhalli，AutomaticExtraction of Characters in Complex Images， International Journalof Pattern Recognition Artificial Intelligence， 9(1) (1995)67-82”中公開的方法。根據(jù)所使用的特征，可將文字串提取方法或文本提取方 法分類為以下的類型基于連通單元(CC)的方法，基于邊緣的方法，以及基于紋理的方法。 雖然在這里僅列出文字串提取方法或文本提取方法中的一些作為示例，但是應(yīng)注意，所有 這些方法都可以用于步驟S310，只要它們能夠用于從圖像或視頻中提取文字串即可。請(qǐng)注 意，在實(shí)踐中，包含在車牌中的文字串可能不僅僅包含諸如漢字、字母或數(shù)字之類的文字上 的字符，而且可能還包括一些諸如短線或圓點(diǎn)之類的符號(hào)。在本發(fā)明的一種示例性實(shí)施中， 采用基于連通單元的文字串提取方法。在步驟S330中，將線段檢測技術(shù)應(yīng)用于圖像以檢測出所有的長線段。在檢測出的 長線段當(dāng)中，一些長線段給出車牌的邊界的粗略位置。請(qǐng)注意，長線段是指比預(yù)定閾值長的 線段。該預(yù)定閾值可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際應(yīng)用和具體要求來確定，或者可以考慮 文字串的長度來確定。所使用的線段檢測技術(shù)可以是基于Hough變換的技術(shù)，或者可以是基于連通單元分析的技術(shù)。這些技術(shù)是已知的，并且已在很多文獻(xiàn)中被討論，因此在這里不詳細(xì)描述它 們。在步驟S350中，在定位出文字串和長線段之后，基于所定位出的文字串和長線段 之間的幾何關(guān)系來定位車牌區(qū)域。在此可使用的所述幾何關(guān)系可以包括例如關(guān)于平行和/或正交的關(guān)系、角度關(guān) 系、距離關(guān)系、在某個(gè)位置關(guān)系下的長度的關(guān)系、或者共線關(guān)系等等的特征。只要文字串和 長線段之間的幾何關(guān)系表征了典型的車牌的特征(例如表示文字串與車牌的邊界之間的 幾何關(guān)系的特征)，文字串與長線段之間的這樣的幾何關(guān)系就可在此被使用。此外，可采用各種處理序列以用于定位多個(gè)車牌。例如，所述多個(gè)車牌可以按照并 行方式或者按照串行方式被處理。僅僅是為了示例的目的，在圖4-7中示出各種實(shí)施例以用來說明根據(jù)本發(fā)明的定 位車牌的方法。
圖4是示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的基于一個(gè)已定位出的文字串和多 個(gè)已定位出的長線段之間的幾何關(guān)系來定位車牌區(qū)域的詳細(xì)處理的流程圖。圖5a_5c是用 于例示已定位出的文字串和已定位出的長線段之間的幾何關(guān)系的示意圖。請(qǐng)注意，圖4中 執(zhí)行的處理可在圖3的步驟S310和S330之后執(zhí)行。在此示例性實(shí)施例中，關(guān)注在上述的步驟S310和S330中定位出的一個(gè)文字串和 多個(gè)線段。在步驟S410中，檢測文字串的中心線(在圖fe中用CL指示)，所述中心線在文字 串的長度方向上延伸。本領(lǐng)域中已知各種用于檢測文字串的中心線的方法。例如，中心線 可被檢測為完全包圍文字串的最小的矩形的中間高度處的直線，也可被檢測為完全包圍被 處理后的文字串的最小的矩形的中間高度處的直線，所述被處理后的文字串是通過使原始 文字串經(jīng)過某種圖像處理后獲得的。在步驟S430中，從已定位出的線段中選擇一些線段作為車牌區(qū)域的上邊界和下 邊界的可能的候選。所選擇的線段應(yīng)滿足關(guān)于與文字串的幾何關(guān)系的一些預(yù)定要求。例如， 所選擇的線段應(yīng)優(yōu)選地滿足以下要求中的至少一個(gè)(1)每個(gè)所選擇的線段應(yīng)平行于文字串的中心線；(2)每個(gè)所選的線段應(yīng)具有一個(gè)部分，該部分具有正對(duì)中心線的部分長度(參照 圖恥和5c)，并且所述部分長度與中心線的長度的比應(yīng)在預(yù)定范圍內(nèi)(例如不小于0. 7)。圖恥示出其中所述部分長度足夠長從而該線段作為車牌區(qū)域的上邊界和下邊界 之一的可能性較高的情況，而圖5c示出其中所述部分長度不足夠長從而該線段作為車牌 區(qū)域的上邊界和下邊界之一的可能性非常低的情況。雖然給出了線段與文字串之間的一些具體的幾何關(guān)系作為示例，本領(lǐng)域技術(shù)人員 可以構(gòu)思出其他這樣的幾何關(guān)系。如果沒有找到滿足關(guān)于所述幾何關(guān)系的要求的線段或者僅在所述文字串的一側(cè) 找到滿足關(guān)于所述幾何關(guān)系的要求的線段，則確定不存在對(duì)應(yīng)于該文字串的車牌區(qū)域，并 且可以檢查該圖像中的其他文字串以繼續(xù)該處理。在步驟S450中，在找到滿足上述要求的線段作為所選擇的線段的情況下，在所選 擇的線段中在中心線的一側(cè)與該中心線距離最近的線段被確定為車牌區(qū)域的上邊界，并且 在所選擇的線段中在中心線的另一側(cè)與該中心線距離最近的線段被確定為車牌區(qū)域的下 邊界。在步驟S470中，可以由所述上邊界、下邊界和文字串來定位車牌區(qū)域。例如，可以 根據(jù)所確定的上邊界和下邊界的位置以及文字串的長度來確定車牌區(qū)域的左邊界和右邊 界。例如，車牌區(qū)域的左邊界和右邊界可被確定為完全包圍所述上邊界、下邊界和文字串的 最小的矩形的左邊和右邊。在基于所確定的上邊界和下邊界以及文字串來確定車牌區(qū)域時(shí) 也可利用其他特征，諸如典型車牌的一般長寬比等。在圖4所示的上述的示例性實(shí)施例中，描述了在一幅圖像中定位一個(gè)車牌區(qū)域的 處理的一個(gè)具體示例。以下示例性實(shí)施例將給出在一幅圖像中定位一個(gè)或多個(gè)車牌區(qū)域的 處理的示例。圖6是示出根據(jù)本發(fā)明的另一個(gè)示例性實(shí)施例的基于已定位出的文字串和已定 位出的長線段之間的幾何關(guān)系來定位一個(gè)或多個(gè)車牌區(qū)域的詳細(xì)處理的流程圖。
在此示例性實(shí)施例中，在上述的步驟S310和S330中定位出多個(gè)文字串的文字串集合和多個(gè)線段。也就是說，可以在圖3的步驟S310和S330之后執(zhí)行在圖6中執(zhí)行的處理。在步驟S610中，選擇該文字串集合中的一個(gè)文字串，并且將其從文字串集合中移 除。也就是說，文字串集合中僅包含未處理過的文字串。優(yōu)選地，首先選擇文字串集合中最 長的文字串。對(duì)于所選擇的文字串，執(zhí)行以下的步驟S630-S670。在步驟S630中，嘗試根據(jù)此文字串和線段之間的幾何關(guān)系來定位與所選擇的文 字串對(duì)應(yīng)的車牌區(qū)域。只要所述文字串和線段之間的幾何關(guān)系表征了典型的車牌的特征， 文字串與長線段之間的這樣的幾何關(guān)系就可在此被使用。作為一個(gè)具體例子，對(duì)于所選擇 的文字串，可以在步驟S630中使用用于單個(gè)文字串的步驟S410-S470的處理。在步驟S650中，從步驟S630的結(jié)果判斷是否存在與所選擇的文字串對(duì)應(yīng)的車牌 區(qū)域。此判斷例如可以基于是否具有滿足關(guān)于所述幾何關(guān)系的要求的線段，如步驟S430所 述。如果在步驟S650中確定不能定位與所選擇的文字串對(duì)應(yīng)的車牌區(qū)域(S卩，與所選 擇的文字串對(duì)應(yīng)的車牌區(qū)域不存在，步驟S650中為“否”)，則流程前進(jìn)到步驟S690以檢查 在文字串集合中是否還剩余有任何文字串。如果在步驟S650中確定定位出與所選擇的文字串對(duì)應(yīng)的車牌區(qū)域(S卩，存在與所 選擇的文字串對(duì)應(yīng)的車牌區(qū)域，步驟S650中為“是”)，則流程前進(jìn)到步驟S670，在步驟S670 中，從文字串集合中移除在該車牌區(qū)域中包含的所有文字串。在步驟S690中，判斷是否在文字串集合中剩余有任何文字串，也就是說，是否有 任何文字串未被處理并且不被包含在任何已定位的車牌區(qū)域中。如果在步驟S690中確定仍有至少一個(gè)文字串剩余在文字串集合中(步驟S690中 為“是”)，則流程進(jìn)入步驟S610，并且以與上述相似的方式處理剩余的文字串。如果在步驟S690中確定沒有文字串剩余在文字串集合中(步驟S690中為“否”)， 則流程結(jié)束，并將所有已定位出的車牌區(qū)域作為輸出。根據(jù)上述的實(shí)施例，即使在一幅圖像中有多于一個(gè)的車牌，這些車牌可以文字串 為基礎(chǔ)而被全部找到。根據(jù)本發(fā)明的又一個(gè)示例性實(shí)施例，可以基于已定位出的車牌區(qū)域找到車牌的精 確邊界。圖7示出根據(jù)本發(fā)明的又一個(gè)示例性實(shí)施例的用于定位車牌的處理的流程圖。在此示例性實(shí)施例中，已根據(jù)例如參照?qǐng)D3-6描述的方法定位出了至少一個(gè)車牌 區(qū)域。雖然在圖像中可能定位出多個(gè)車牌區(qū)域，為了簡單起見，圖7僅示出用于一個(gè)車牌區(qū) 域的處理的流程。關(guān)于圖像中包含的其他可能的車牌中的每一個(gè)，可以采用類似的處理。在步驟S710中，以該車牌區(qū)域中包含的文字串的傾斜角轉(zhuǎn)動(dòng)該圖像。在轉(zhuǎn)動(dòng)之 后，要被精確定位的車牌將呈現(xiàn)為正立，這可使得之后的處理更加容易，并且使得所檢測的 車牌邊界更加精確。如果該圖像已經(jīng)是幾乎正立的，則也可以省略步驟S710。在步驟S720中，在轉(zhuǎn)動(dòng)后的圖像上切割下包含整個(gè)車牌區(qū)域的矩形形狀的局部 子圖像。通過略微擴(kuò)大所述車牌區(qū)域來確保整個(gè)車牌被包含在該子圖像的矩形中而獲得該矩形。將分析限制在子圖像內(nèi)可降低計(jì)算成本并避免與其他對(duì)象的干擾。在步驟S730中，通過檢測切割下的子圖像上的邊緣來獲得邊緣圖像。例如Carmy 算子可被用于該實(shí)施中。然而，本領(lǐng)域內(nèi)已知的其他常用的邊緣檢測技術(shù)也可在此應(yīng)用，諸 如Sobel算子、Prewitt算子等。根據(jù)邊緣圖像的像素的梯度方向，邊緣圖像中的像素被分 類為具有水平梯度方向的水平邊緣(構(gòu)成近似垂直線)和具有垂直梯度方向的垂直邊緣 (構(gòu)成近似水平線)。在步驟S740中，通過對(duì)垂直邊緣執(zhí)行Hough變換來找到精確的上邊界和下邊界。 由于水平線上的邊緣均具有垂直梯度方向，因此在檢測水平線時(shí)只需要考慮垂直邊緣。首先，通過使用Hough變換將垂直邊緣的坐標(biāo)變換到參數(shù)空間。然后，通過找到參 數(shù)空間上的局部最大點(diǎn)來找到所有的水平線。最后，從所找到的水平線中選擇精確的上邊 界和精確的下邊界。在文字串的上側(cè)，與文字串的距離最近的直線被選擇作為候選的精確 的上邊界；并且在文字串的下側(cè)，與文字串的距離最近的直線被選擇作為候選的精確的下 邊界。在此，可優(yōu)選參考一個(gè)模板來驗(yàn)證所述候選的精確邊界是否適當(dāng)。該模板可包括 關(guān)于例如車牌的高度(從精確的上邊界到精確的下邊界的距離)與文字串的高度的比的信 息。如果不滿足準(zhǔn)則，例如車牌的高度與文字串的高度的比不在預(yù)定的范圍之內(nèi)，則將檢查 其他的水平線，直到找到滿足此準(zhǔn)則的邊界作為精確的邊界為止。因此，利用此模板，精確 的上邊界與精確的下邊界之間的距離滿足所述準(zhǔn)則。在步驟S750中，通過利用與找到精確的上邊界和精確的下邊界的方式類似的方 式來找到精確的左邊界和精確的右邊界。首先，將水平邊緣變換到參數(shù)空間，并且通過搜索 參數(shù)空間中的局部最大點(diǎn)來找到垂直線。由于已知精確的上邊界和精確的下邊界，因此不 需要變換高于上邊界的邊緣和低于下邊界的邊緣。最后，通過參考模板從檢測出的垂直線 中選擇精確的左邊界和精確的右邊界。在步驟S760中，優(yōu)選地，通過參考所述模板來驗(yàn)證所檢測出的由所述精確的上邊 界、精確的下邊界、精確的左邊界和精確的右邊界形成的車牌是否是真實(shí)的車牌。該模板可 進(jìn)一步包括以下信息中的至少一個(gè)(1)標(biāo)準(zhǔn)長寬比，其中，如果所定位出的車牌的長寬比與標(biāo)準(zhǔn)長寬比之間的差的絕 對(duì)值高于第一閾值，則確定該定位出的車牌不是真實(shí)的車牌；以及(2)上邊界長度與下邊界長度之間的標(biāo)準(zhǔn)差，其中如果實(shí)際的差與標(biāo)準(zhǔn)差之間的 差的絕對(duì)值高于第二閾值，則確定該定位出的車牌不是真實(shí)的車牌，所述實(shí)際的差是所定 位出的車牌的精確的上邊界的長度和精確的下邊界的長度之間的差。可以對(duì)于具體應(yīng)用和需要而決定上述的閾值。圖8-14示出根據(jù)本發(fā)明來定位車牌的一個(gè)示例中的中間處理結(jié)果，以有助于理 解本發(fā)明的原理和處理。圖8是包含車牌的原始圖像。為了保護(hù)隱私，車牌中的文字串中的一個(gè)文字被掩 蔽了。圖9示出根據(jù)步驟S310和S330中執(zhí)行的處理而獲得的已定位出的線段和文字 串?？梢钥闯觯ㄎ怀鋈齻€(gè)文字串(由粗線表示，并由“文字串”指示)以及大量的線段(由 細(xì)線表示)。
圖10示出根據(jù)步驟S720中執(zhí)行的處理切割的車牌的子圖像，其中，根據(jù)步驟S350 執(zhí)行的處理定位出的車牌區(qū)域由虛線指示。圖11示出 根據(jù)在步驟S730中執(zhí)行的處理從圖10所示的子圖像中檢測到的邊緣圖像。圖12示出通過使圖11中的垂直邊緣經(jīng)過Hough變換而獲得的檢測出的水平線。圖13示出通過使圖11中的水平邊緣經(jīng)過Hough變換而獲得的檢測出的垂直線。圖14示出根據(jù)本發(fā)明的方法最終定位出的精確的車牌?？梢钥闯?，非常精確地確 定出了車牌的位置。從根據(jù)本發(fā)明的定位車牌的處理獲得的結(jié)果可以被進(jìn)一步應(yīng)用于自動(dòng)車牌識(shí)別 系統(tǒng)中。也就是說，在根據(jù)本發(fā)明獲得車牌區(qū)域之后，車牌中的文字串可被識(shí)別為指示車牌 號(hào)碼的文本。圖15示出自動(dòng)車牌識(shí)別處理的流程圖。在步驟S1510中，由諸如數(shù)字靜態(tài)照相機(jī)或視頻攝像機(jī)之類的圖像攝取裝置拍攝 車輛，從而產(chǎn)生一幅或多幅圖像。在步驟S1530中，對(duì)所述一幅或多幅圖像執(zhí)行根據(jù)本發(fā)明的定位車牌的處理，使 得在圖像中定位出車牌的區(qū)域。在步驟S1550中，提取位于車牌內(nèi)的文字串。在步驟S1570中，使所提取的文字串經(jīng)過光學(xué)字符識(shí)別(OCR)處理。結(jié)果，獲得車 牌號(hào)，并且所述車牌號(hào)可被用于識(shí)別車輛。圖16示出應(yīng)用了根據(jù)本發(fā)明的用于定位車牌的系統(tǒng)2000的自動(dòng)車牌識(shí)別系統(tǒng) 1600。自動(dòng)車牌識(shí)別系統(tǒng)1600可以包括用于攝取圖像的圖像攝取裝置1610，用于根據(jù) 任何前述實(shí)施例或其組合從圖像中定位車牌的所述系統(tǒng)2000，用于從已定位出的車牌中提 取文字串的提取裝置1650，以及用于將文字串轉(zhuǎn)換成作為車牌號(hào)碼的文本的光學(xué)字符識(shí)別 裝置1670。已經(jīng)參照用于說明本發(fā)明的附圖描述了各個(gè)實(shí)施例。根據(jù)本發(fā)明的用于定位車牌 的方法和系統(tǒng)可以從復(fù)雜圖像中自動(dòng)定位多個(gè)車牌，無論這些車牌的顏色或朝向的變化如 何，并且所述方法和系統(tǒng)是有效的且容易實(shí)施的?？梢酝ㄟ^許多方式來實(shí)施本發(fā)明的方法和系統(tǒng)。例如，可以通過軟件、硬件、固件、 或其任何組合來實(shí)施本發(fā)明的方法和系統(tǒng)。上述的方法步驟的次序僅是說明性的，本發(fā)明 的方法步驟不限于以上具體描述的次序，除非以其他方式明確說明。此外，在一些實(shí)施例 中，本發(fā)明還可以被實(shí)施為記錄在記錄介質(zhì)中的程序，其包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法 的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲(chǔ)用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。雖然已通過示例詳細(xì)展示了本發(fā)明的一些具體實(shí)施例，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng) 理解，上述示例僅意圖是示例性的而非限制本發(fā)明的范圍。本領(lǐng)域技術(shù)人員應(yīng)該理解，上述 實(shí)施例可以被修改而不脫離本發(fā)明的范圍和實(shí)質(zhì)。本發(fā)明的范圍是通過所附的權(quán)利要求限 定的。
權(quán)利要求
1.一種用于從圖像中定位一個(gè)或多個(gè)車牌的方法，包括文字串定位步驟，在所述圖像上定位出一個(gè)或多個(gè)文字串；線段定位步驟，在所述圖像上定位出多個(gè)線段，所定位出的線段中的每一條線段的長 度都大于預(yù)定長度閾值；車牌區(qū)域定位步驟，根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系，定位 出一個(gè)或多個(gè)車牌區(qū)域。
2.如權(quán)利要求1所述的方法，其中，對(duì)于所定位出的文字串中的至少一些文字串中的 每一個(gè)文字串，在所述車牌區(qū)域定位步驟中執(zhí)行以下步驟文字串中心線檢測步驟，檢測文字串的中心線，所述中心線在該文字串的長度方向上 延伸；線段選擇步驟，從所定位出的線段中選擇各平行于所述中心線并且各具有一個(gè)部分的 線段，所述部分具有正對(duì)中心線的部分長度，所述部分長度與所述中心線的長度之比在預(yù) 定范圍內(nèi)；上下邊界確定步驟，確定在所述中心線的一側(cè)與所述中心線具有最近距離的線段作為 上邊界，并且確定在所述中心線的另一側(cè)與所述中心線具有最近距離的線段作為下邊界； 以及車牌區(qū)域確定步驟，基于所述上邊界、所述下邊界、以及所述文字串，定位出車牌區(qū)域。
3.如權(quán)利要求2所述的方法，其中，包含在已經(jīng)定位出的車牌區(qū)域中的文字串在后續(xù) 的對(duì)于其他車牌區(qū)域的處理中不被考慮。
4.如權(quán)利要求1或2所述的方法，進(jìn)一步包括車牌精細(xì)定位步驟，在所定位出的車牌區(qū)域中找到車牌的精確邊界。
5.如權(quán)利要求4所述的方法，其中，對(duì)于每個(gè)所定位出的車牌區(qū)域，所述車牌精細(xì)定位 步驟包括切割步驟，基于所定位出的車牌區(qū)域，從所述圖像中切割子圖像；邊緣檢測步驟，從所述子圖像中檢測邊緣；精確上下邊界尋找步驟，通過對(duì)具有垂直梯度方向的邊緣執(zhí)行Hough變換，找到精確 的上邊界和精確的下邊界；精確左右邊界尋找步驟，通過對(duì)具有水平梯度方向的邊緣執(zhí)行Hough變換，找到精確 的左邊界和精確的右邊界；確定步驟，定位出由所找到的精確的上邊界、精確的下邊界、精確的左邊界、和精確的 右邊界所定義的車牌。
6.如權(quán)利要求5所述的方法，其中，對(duì)于每個(gè)所定位出的車牌區(qū)域，所述車牌精細(xì)定位 步驟進(jìn)一步包括轉(zhuǎn)動(dòng)步驟，在所述切割步驟之前或之后以所述文字串的中心線的傾斜角轉(zhuǎn)動(dòng)所述圖像。
7.如權(quán)利要求5所述的方法，其中，對(duì)于每個(gè)所定位出的車牌區(qū)域，所述車牌精細(xì)定位 步驟進(jìn)一步包括驗(yàn)證步驟，通過參考模板信息來驗(yàn)證所定位出的車牌是否是真實(shí)的車牌。
8.如權(quán)利要求7所述的方法，其中，所述模板信息包括與以下中的一個(gè)或多個(gè)有關(guān)的信息標(biāo)準(zhǔn)長寬比，其中，如果所定位出的車牌的長寬比與標(biāo)準(zhǔn)長寬比之間的差的絕對(duì)值高 于第一閾值，則確定該定位出的車牌不是真實(shí)的車牌；以及上邊界長度與下邊界長度之間的標(biāo)準(zhǔn)差，其中如果實(shí)際的差與標(biāo)準(zhǔn)差之間的差的絕對(duì) 值高于第二閾值，則確定該定位出的車牌不是真實(shí)的車牌，所述實(shí)際的差是所定位出的車 牌的精確的上邊界的長度和精確的下邊界的長度之間的差。
9.一種用于從圖像中定位一個(gè)或多個(gè)車牌的系統(tǒng)，包括 文字串定位裝置，用于在所述圖像上定位出一個(gè)或多個(gè)文字串；線段定位裝置，用于在所述圖像上定位出多個(gè)線段，所定位出的線段中的每一條線段 的長度都大于預(yù)定長度閾值；車牌區(qū)域定位裝置，用于根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系， 定位出一個(gè)或多個(gè)車牌區(qū)域。
10.如權(quán)利要求9所述的系統(tǒng)，其中，所述車牌區(qū)域定位裝置包括文字串中心線檢測裝置，用于檢測文字串的中心線，所述中心線在該文字串的長度方 向上延伸；線段選擇裝置，用于從所定位出的線段中選擇各平行于所述中心線并且各具有一個(gè)部 分的線段，所述部分具有正對(duì)中心線的部分長度，所述部分長度與所述中心線的長度之比 在預(yù)定范圍內(nèi)；上下邊界確定裝置，用于確定在所述中心線的一側(cè)與所述中心線具有最近距離的線段 作為上邊界，并且確定在所述中心線的另一側(cè)與所述中心線具有最近距離的線段作為下邊 界；以及車牌區(qū)域確定裝置，用于基于所述上邊界、所述下邊界、以及所述文字串，定位出車牌 區(qū)域。
11.如權(quán)利要求10所述的系統(tǒng)，其中，包含在已經(jīng)定位出的車牌區(qū)域中的文字串在后 續(xù)的對(duì)于其他車牌區(qū)域的處理中不被考慮。
12.如權(quán)利要求9或10所述的系統(tǒng)，進(jìn)一步包括車牌精細(xì)定位裝置，用于在所定位出的車牌區(qū)域中找到車牌的精確邊界。
13.如權(quán)利要求12所述的系統(tǒng)，其中，所述車牌精細(xì)定位裝置包括 切割裝置，用于基于所定位出的車牌區(qū)域，從所述圖像中切割子圖像； 邊緣檢測裝置，用于從所述子圖像中檢測邊緣；精確上下邊界尋找裝置，用于通過對(duì)具有垂直梯度方向的邊緣執(zhí)行Hough變換，找到 精確的上邊界和精確的下邊界；精確左右邊界尋找裝置，用于通過對(duì)具有水平梯度方向的邊緣執(zhí)行Hough變換，找到 精確的左邊界和精確的右邊界；確定裝置，用于定位出由所找到的精確的上邊界、精確的下邊界、精確的左邊界、和精 確的右邊界所定義的車牌。
14.如權(quán)利要求13所述的系統(tǒng)，其中，所述車牌精細(xì)定位裝置進(jìn)一步包括轉(zhuǎn)動(dòng)裝置，用于在進(jìn)行所述切割之前或之后以所述文字串的中心線的傾斜角轉(zhuǎn)動(dòng)所述 圖像。
15.如權(quán)利要求13所述的系統(tǒng)，其中，所述車牌精細(xì)定位裝置進(jìn)一步包括 驗(yàn)證裝置，用于通過參考模板信息來驗(yàn)證所定位出的車牌是否是真實(shí)的車牌。
16.如權(quán)利要求15所述的系統(tǒng)，其中，所述模板信息包括與以下中的一個(gè)或多個(gè)有關(guān) 的信息標(biāo)準(zhǔn)長寬比，其中，如果所定位出的車牌的長寬比與標(biāo)準(zhǔn)長寬比之間的差的絕對(duì)值高 于第一閾值，則確定該定位出的車牌不是真實(shí)的車牌；以及上邊界長度與下邊界長度之間的標(biāo)準(zhǔn)差，其中如果實(shí)際的差與標(biāo)準(zhǔn)差之間的差的絕對(duì) 值高于第二閾值，則確定該定位出的車牌不是真實(shí)的車牌，所述實(shí)際的差是所定位出的車 牌的精確的上邊界的長度和精確的下邊界的長度之間的差。
17.一種用于自動(dòng)車牌識(shí)別的系統(tǒng)，包括 圖像攝取裝置，用于攝取圖像；根據(jù)權(quán)利要求9-16中的任何一個(gè)權(quán)利要求所述的用于從圖像中定位一個(gè)或多個(gè)車牌 的系統(tǒng)；提取裝置，用于從已定位出的車牌中提取文字串；以及 光學(xué)字符識(shí)別裝置，用于將文字串轉(zhuǎn)換成作為車牌號(hào)碼的文本。
全文摘要
本發(fā)明提供一種用于從圖像中定位一個(gè)或多個(gè)車牌的方法和系統(tǒng)，所述方法包括文字串定位步驟，在所述圖像上定位出一個(gè)或多個(gè)文字串；線段定位步驟，在所述圖像上定位出多個(gè)線段，所定位出的線段中的每一條線段的長度都大于預(yù)定長度閾值；車牌區(qū)域定位步驟，根據(jù)所定位出的文字串和所定位出的線段之間的幾何關(guān)系，定位出一個(gè)或多個(gè)車牌區(qū)域。根據(jù)本發(fā)明，可以以容易且有效的方式從復(fù)雜圖像中自動(dòng)定位出多個(gè)車牌，無論這些車牌的顏色或朝向的變化如何。
文檔編號(hào)G06K9/00GK102054174SQ200910209088
公開日2011年5月11日 申請(qǐng)日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者張宏志, 胥立豐 申請(qǐng)人:佳能株式會(huì)社