一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法【專(zhuān)利摘要】本發(fā)明涉及一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，包括：建立多類(lèi)交通標(biāo)志的顏色直方圖；生成基于多類(lèi)直方圖的概率圖；提取基于MSER的交通標(biāo)志候選區(qū)域；去除非交通標(biāo)志區(qū)域。本發(fā)明構(gòu)建不同光照下的多個(gè)顏色直方圖，并基于多直方圖反投影生成輸入圖像的概率圖，將不同光照條件下的交通標(biāo)志圖像變換到統(tǒng)一條件下，對(duì)MSER特征區(qū)域進(jìn)行一致性處理，提高了算法對(duì)于惡劣光照變化的魯棒性，同時(shí)具有較快的檢測(cè)速度。實(shí)驗(yàn)表明，在弱光照和強(qiáng)光照條件下，現(xiàn)有算法的檢測(cè)準(zhǔn)確率明顯下降，而本發(fā)明的檢測(cè)準(zhǔn)確率依然保持在90%以上。本發(fā)明不僅可以提取紅色、黃色、藍(lán)色的交通標(biāo)志，同時(shí)可以提取白色背景的交通標(biāo)志?！緦?zhuān)利說(shuō)明】一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明屬于機(jī)器視覺(jué)和圖像處理【
技術(shù)領(lǐng)域：
】，具體涉及一種針對(duì)室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法?！?br>背景技術(shù)：
】[0002]隨著社會(huì)的發(fā)展，機(jī)動(dòng)車(chē)數(shù)量和出行人數(shù)大量增加，交通安全和交通擁堵已經(jīng)成為日益嚴(yán)重的社會(huì)問(wèn)題。智能交通系統(tǒng)被認(rèn)為是解決這些問(wèn)題的有效方法。國(guó)內(nèi)外已經(jīng)在智能交通系統(tǒng)方面投入了大量的人力和財(cái)力。基于視頻圖像的交通標(biāo)志識(shí)別系統(tǒng)是智能交通系統(tǒng)的重要組成部分，它為駕駛員提供重要的警告和禁令信息，從而有效降低駕駛員復(fù)雜道路情況下繁重的工作負(fù)荷，最終為駕駛員安全駕駛提供保障，在主動(dòng)避免交通事故及提高駕駛舒適性方面發(fā)揮了重要作用。[0003]交通標(biāo)志識(shí)別系統(tǒng)一般被分為檢測(cè)和識(shí)別兩個(gè)部分。準(zhǔn)確快速的交通標(biāo)志檢測(cè)是交通標(biāo)志能夠被正確識(shí)別的前提。對(duì)于快速魯棒的交通標(biāo)志檢測(cè)而言，其難點(diǎn)主要在于道路場(chǎng)景中惡劣的光照變化，這種惡劣的光照變化主要包括:劇烈的光照變化及必然存在的場(chǎng)景光照不均勻(強(qiáng)弱光照變化)、不同的天氣條件(陰雨天氣、黃昏等)、陰影遮擋以及強(qiáng)光照導(dǎo)致交通標(biāo)志出現(xiàn)反光等一系列情況。為此，近年來(lái)國(guó)內(nèi)外的學(xué)者就交通標(biāo)志的快速魯棒檢測(cè)問(wèn)題進(jìn)行了大量的研究，主要方法分為三類(lèi):第一類(lèi)是基于顏色信息分割的交通標(biāo)志檢測(cè)，如Gomez-MorenoH采用對(duì)光照變化魯棒的歸一化RGB顏色空間進(jìn)行閾值分割以得到交通標(biāo)志候選區(qū)域(Goalevaluationofsegmentationalgorithmsfortrafficsignrecognition[J].1ntelligentTransportationSystems,IEEETransactionson,2010，11(4):917-930.)。這類(lèi)方法速度快，準(zhǔn)確率高，不足是需要根據(jù)經(jīng)驗(yàn)來(lái)選取最優(yōu)的閾值，難以自適應(yīng)劇烈的光照變化，易出現(xiàn)漏檢問(wèn)題，而且基于顏色進(jìn)行閾值分割的方法不能檢測(cè)白色背景的交通標(biāo)志。第二類(lèi)方法為基于交通標(biāo)志形狀特征的，如Garcia等人在感興趣區(qū)域內(nèi)用霍夫變換檢測(cè)圓形和三角形標(biāo)志(Fastroadsigndetectionusinghoughtransformforassisteddrivingofroadvehicles[C].ProceedingsoftheEUR0CASTComputerAidedSystemsTheory,2005，3643:543-548.)。然而這類(lèi)方法主要基于Hough變換，其算法耗時(shí)多，且當(dāng)交通標(biāo)志被部分遮擋或背景與交通標(biāo)志顏色相似時(shí)，其算法的檢測(cè)準(zhǔn)確率下降明顯。GreenhalghJ等人提出了另一種基于交通標(biāo)志形狀特征的方法(Real-TimeDetectionandRecognitionofRoadTrafficSigns[J].1ntelligentTransportationSystems,IEEETransactionson,2012,13(4):1498-1506.),該方法在紅藍(lán)圖上提取MSER特征，取得了很好的檢測(cè)效果，然而對(duì)惡劣光照條件的適應(yīng)性較差，而且不能檢測(cè)黃色的警告交通標(biāo)志。第三類(lèi)是基于機(jī)器學(xué)習(xí)方法，如支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等，F(xiàn)ang等人使用兩層神經(jīng)網(wǎng)絡(luò)進(jìn)行交通標(biāo)志顏色的提取，取得了很好的檢測(cè)效果(Roadsigndetectionandtracking[J].VehicularTechnology,IEEETransactionson,2003,52(5):1329-1341.)0然而這類(lèi)方法計(jì)算復(fù)雜度高，很難滿足實(shí)時(shí)檢測(cè)的要求。綜上所述，目前的算法一定程度上存在著對(duì)惡劣光照條件自適應(yīng)能力差，較難滿足實(shí)時(shí)檢測(cè)的需要，并且由于算法本身的限制，很多算法不能夠檢測(cè)出所有類(lèi)型的交通標(biāo)志?！?br/>發(fā)明內(nèi)容】[0004]為了解決交通標(biāo)志檢測(cè)算法在惡劣光照條件下檢測(cè)準(zhǔn)確率顯著降低和目前算法難以滿足實(shí)時(shí)性的問(wèn)題，本發(fā)明提出了一種采用多類(lèi)顏色直方圖反投影建立概率圖，并結(jié)合最大穩(wěn)定極值區(qū)域(MaximallyStableExtremalRegions,MSER)進(jìn)行特征提取的快速魯棒交通標(biāo)志檢測(cè)方法。[0005]一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，包括以下步驟:[0006]步驟I，建立多類(lèi)交通標(biāo)志的顏色直方圖。[0007]步驟1.1，在不同光照條件下采集大量真實(shí)場(chǎng)景中含有交通標(biāo)志的圖像，手動(dòng)摳取交通標(biāo)志區(qū)域作為待訓(xùn)練的交通標(biāo)志樣本。[0008]步驟1.2，按顏色和光照條件對(duì)交通標(biāo)志訓(xùn)練樣本進(jìn)行分類(lèi)。[0009]共分為9類(lèi)樣本子集，分類(lèi)方法如下:[0010](I)按顏色分類(lèi)。按顏色分為紅色、藍(lán)色和黃色三類(lèi)；[0011](2)按光照條件分類(lèi)。按光照條件分為三類(lèi):白天正常光照；白天強(qiáng)烈光照或場(chǎng)景有強(qiáng)烈光源導(dǎo)致交通標(biāo)志出現(xiàn)反光；弱光照，包括陰雨天氣、黃昏、被陰影遮擋。對(duì)于某一類(lèi)顏色，這三個(gè)子類(lèi)中的交通標(biāo)志數(shù)量基本相等，且三個(gè)子類(lèi)中的標(biāo)志數(shù)量不少于30張。[0012]步驟1.3，建立多類(lèi)顏色直方圖。[0013]首先，將每個(gè)圖片樣本歸一化到同一尺寸，并從RGB顏色空間轉(zhuǎn)換到HSI顏色空間，計(jì)算公式為:【權(quán)利要求】1.一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于包括以下步驟:步驟I，建立多類(lèi)交通標(biāo)志的顏色直方圖；步驟1.1，在不同光照條件下采集大量真實(shí)場(chǎng)景中含有交通標(biāo)志的圖像，手動(dòng)摳取交通標(biāo)志區(qū)域作為待訓(xùn)練的交通標(biāo)志樣本；步驟1.2，按顏色和光照條件對(duì)交通標(biāo)志訓(xùn)練樣本進(jìn)行分類(lèi)；步驟1.3，建立多類(lèi)顏色直方圖；步驟1.4，設(shè)定顏色直方圖的統(tǒng)計(jì)范圍；步驟2，生成基于多類(lèi)直方圖的概率圖；步驟2.1，將待檢測(cè)圖像從RGB顏色空間轉(zhuǎn)換到HSI顏色空間；步驟2.2，將HSI空間的待檢測(cè)圖像中的每一個(gè)像素點(diǎn)P(i，j)與步驟I中建立的顏色直方圖按如下公式進(jìn)行直方圖反投影:P(i,j)=max(fiJk(b))式中，fuk(b)表示坐標(biāo)為(i，j)的像素點(diǎn)在第k個(gè)直方圖中對(duì)應(yīng)bins歸一化之后的值，k=1，2，...，K，K=9為直方圖數(shù)目，即步驟I得到的樣本子集數(shù)目；遍歷整幅圖像的所有像素點(diǎn)，得到待檢測(cè)圖像對(duì)應(yīng)的概率圖；步驟3，提取基于MSER的交通標(biāo)志候選區(qū)域；步驟3.1，提取白色背景的交通標(biāo)志候選區(qū)域；(O圖像灰度化:采用加權(quán)平均灰度化算法將待檢測(cè)的原始數(shù)字圖像中每個(gè)像素點(diǎn)的紅、綠、藍(lán)三分量賦以不同的權(quán)值進(jìn)行加權(quán)平均，最終得到灰度圖像，計(jì)算公式如下:f(x,y)=0.212671R(x,y)+0.715160G(x,y)+0.072169B(x,y)其中，f(x，y)為灰度化后(x,y)點(diǎn)的灰度值，R(x,y)，G(x,y),B(x,y)分別為待檢測(cè)的原始數(shù)字圖像中(x，y)點(diǎn)的紅、綠、藍(lán)三分量的值；(2)在生成的灰度圖上提取圖像中的MSER特征區(qū)域；利用BinSort算法將所有的像素點(diǎn)按照灰度值進(jìn)行排序，其像素灰度值取值范圍為`O~255;將所有像素點(diǎn)排好序后，按照降序或者升序?qū)⑦@些像素點(diǎn)在圖像中標(biāo)記出來(lái)，在標(biāo)記的過(guò)程中，采用聯(lián)合-查找算法，保存一系列不斷增大或者出現(xiàn)的連通區(qū)域和它們的面積，這些連通區(qū)域就是極值區(qū)域ε;在給定的閾值范圍下，從ε中挑選出連通區(qū)域面積變化隨閾值變化取得局部最小值的連通區(qū)域，得到MSER區(qū)域；閾值選取的范圍為70~`190，在此范圍內(nèi)對(duì)灰度圖像進(jìn)行24次閾值分割以提取候選的標(biāo)志區(qū)域；步驟3.2，提取彩色交通標(biāo)志候選區(qū)域；步驟4，去除非交通標(biāo)志區(qū)域；步驟4.1，去除彩色交通標(biāo)志候選區(qū)域中的非交通標(biāo)志區(qū)域；(1)在步驟3.2中得到的彩色交通標(biāo)志的候選區(qū)域上建立MSER特征區(qū)域矩形邊界框；(2)根據(jù)MSER區(qū)域形狀特征去除非交通標(biāo)志區(qū)域；(3)當(dāng)出現(xiàn)同一個(gè)交通標(biāo)志被檢測(cè)為多個(gè)符合條件的MSER區(qū)域時(shí)，如果兩個(gè)MSER的矩形邊界框所包含的面積70%以上重疊，則認(rèn)為這兩個(gè)MSER區(qū)域出現(xiàn)重疊，取多個(gè)MSER中最大的矩形邊界框作為最終的交通標(biāo)志區(qū)域；(4)當(dāng)一個(gè)MSER區(qū)域的矩形邊界框中包含三個(gè)及以上不重疊的MSER區(qū)域時(shí)，則去除最外面的矩形邊界框，保留各個(gè)小的MSER區(qū)域，并取各自的矩形邊界框作為最終的交通標(biāo)志區(qū)域；步驟4.2，去除白色背景交通標(biāo)志候選區(qū)域中的非交通標(biāo)志區(qū)域；(1)在步驟3.1中得到的白色背景交通標(biāo)志候選區(qū)域上建立MSER特征區(qū)域矩形邊界框；(2)按照步驟4.1(2)、(3)、(4)去除非交通標(biāo)志，得到含交通標(biāo)志的矩形邊界框；(3)對(duì)矩形框中每一個(gè)像素點(diǎn)進(jìn)行彩色和非彩色分解，公式如下:2.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟1.2按顏色和光照條件將交通標(biāo)志訓(xùn)練樣本分為9類(lèi)樣本子集，分類(lèi)方法如下:(O按顏色分為紅色、藍(lán)色和黃色三類(lèi)；(2)按光照條件分為三類(lèi):白天正常光照；白天強(qiáng)烈光照或場(chǎng)景有強(qiáng)烈光源導(dǎo)致交通標(biāo)志出現(xiàn)反光；弱光照，包括陰雨天氣、黃昏、被陰影遮擋；對(duì)于某一類(lèi)顏色，這三個(gè)子類(lèi)中的交通標(biāo)志數(shù)量基本相等，且三個(gè)子類(lèi)中的標(biāo)志數(shù)量不少于30張。3.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟1.3建立多類(lèi)顏色直方圖的方法如下:(I)將每個(gè)圖片樣本歸一化到同一尺寸，并從RGB顏色空間轉(zhuǎn)換到HSI顏色空間，計(jì)算公式為:4.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟1.4設(shè)定顏色直方圖統(tǒng)計(jì)范圍的公式如下:5.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟3.2提取彩色交通標(biāo)志候選區(qū)域的方法如下:(O按照步驟2所述方法對(duì)待檢測(cè)的原始彩色圖像建立概率圖；(2)采用3X3的模板對(duì)概率圖像進(jìn)行中值濾波，公式如下6.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟4建立MSER特征區(qū)域矩形邊界框的方法如下:對(duì)于每一個(gè)MSER區(qū)域，找到它的最左邊像素點(diǎn)向左3個(gè)像素點(diǎn)的位置，最右邊像素點(diǎn)向右3個(gè)像素點(diǎn)的位置，最上邊像素點(diǎn)向上3個(gè)像素點(diǎn)的位置和最下邊像素點(diǎn)向下3個(gè)像素點(diǎn)的位置，根據(jù)得到的這4個(gè)位置即可得到包含該MSER區(qū)域的矩形邊界框。7.根據(jù)權(quán)利要求1所述的一種室外惡劣光照條件下的快速魯棒交通標(biāo)志檢測(cè)方法，其特征在于，所述步驟4根據(jù)MSER區(qū)域形狀特征去除的非交通標(biāo)志區(qū)域?yàn)椴粷M足以下條件的MSER區(qū)域:(1)矩形邊界框的寬度范圍為30~210，高度范圍為30~210，高度與寬度的比值范圍為0.5~1.5;(2)MSER特征區(qū)域的周長(zhǎng)與其矩形邊界框周長(zhǎng)的比值范圍為0.4~1.3;(3)MSER區(qū)域的面積與其矩形邊`界框面積的比值范圍為0.4~1.0?！疚臋n編號(hào)】G06K9/62GK103824081SQ201410062277【公開(kāi)日】2014年5月28日申請(qǐng)日期:2014年2月24日優(yōu)先權(quán)日:2014年2月24日【發(fā)明者】辛樂(lè),房圣超,高江杰,陳陽(yáng)舟申請(qǐng)人:北京工業(yè)大學(xué)