本申請(qǐng)涉及視頻圖像識(shí)別技術(shù)，尤其涉及一種雙動(dòng)態(tài)視頻車(chē)牌定位方法和裝置。

背景技術(shù)：

車(chē)牌識(shí)別技術(shù)(License Plate Recognition,LPR)是計(jì)算機(jī)視頻圖像識(shí)別技術(shù)在車(chē)輛牌照識(shí)別中的一種應(yīng)用，要求能夠?qū)⑦\(yùn)動(dòng)中的汽車(chē)牌照從復(fù)雜背景中提取并識(shí)別出來(lái)。車(chē)牌識(shí)別的處理步驟一般包括圖像輸入、車(chē)牌定位、字符分割、字符識(shí)別等，實(shí)現(xiàn)捕獲定位和識(shí)別汽車(chē)牌號(hào)。其中車(chē)牌定位技術(shù)是車(chē)牌識(shí)別系統(tǒng)的關(guān)鍵步驟，對(duì)后續(xù)的車(chē)牌識(shí)別和字符分割有著極其重要的影響，其主要工作就是從包含整個(gè)車(chē)輛的圖像中找到車(chē)牌區(qū)域的位置。

車(chē)牌識(shí)別中的視頻由于攝像頭的狀態(tài)不同，獲得的視頻分為單動(dòng)態(tài)視頻和雙動(dòng)態(tài)視頻兩種。所述單動(dòng)態(tài)視頻是指攝像頭固定不動(dòng)，被拍攝物運(yùn)動(dòng)的視頻圖像，如通過(guò)停車(chē)場(chǎng)入口攝像頭獲得的視頻，此類(lèi)視頻中的背景總體是靜態(tài)的，幾乎不出現(xiàn)大面積的運(yùn)動(dòng)背景。所述雙動(dòng)態(tài)視頻，是指攝像頭和被拍攝物都運(yùn)動(dòng)的視頻圖像，如通過(guò)車(chē)輛上的行車(chē)記錄儀獲取的視頻，此類(lèi)視頻中不僅有運(yùn)動(dòng)目標(biāo)還有背景的全局運(yùn)動(dòng)，圖像背景均處于運(yùn)動(dòng)中，傳統(tǒng)的幀間差分法由于大量背景運(yùn)動(dòng)的干擾，難以實(shí)現(xiàn)過(guò)濾感興趣的運(yùn)動(dòng)目標(biāo)，而背景差分法由于每一幀的背景都是動(dòng)態(tài)的，難以建立背景模型。

現(xiàn)有技術(shù)中，常用基于圖像邊緣及輪廓的圖像分析方法定位車(chē)牌，其算法簡(jiǎn)單，易于實(shí)現(xiàn)，但很容易受干擾邊緣的影響，因而難以保證魯棒性。為應(yīng)對(duì)車(chē)牌定位時(shí)的干擾問(wèn)題，通常對(duì)車(chē)牌定位采用多種特征進(jìn)行聯(lián)合判別，以提高算法的魯棒性，如基于邊緣輪廓和紋理特征結(jié)合的車(chē)牌定位方法，首先通過(guò)基于輪廓的算法提取車(chē)牌區(qū)域，再基于紋理分析補(bǔ)足基于邊緣輪廓方法的抗干擾問(wèn)題，實(shí)現(xiàn)對(duì)車(chē)牌的定位。但多種特征關(guān)聯(lián)起來(lái)建立的特征集增加了方法的復(fù)雜度，提高了算法實(shí)時(shí)實(shí)現(xiàn)的門(mén)檻，而在雙動(dòng)態(tài)視頻場(chǎng)景下，視頻中的背景信息更加復(fù)雜，往往導(dǎo)致紋理分析的復(fù)雜度上升較多，增加了計(jì)算的復(fù)雜度，影響算法的實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種雙動(dòng)態(tài)視頻車(chē)牌定位方法和裝置，以解決現(xiàn)有技術(shù)中的雙動(dòng)態(tài)視頻車(chē)牌定位的計(jì)算復(fù)雜以及魯棒性差的問(wèn)題。

第一方面，本發(fā)明提供了一種雙動(dòng)態(tài)視頻車(chē)牌定位方法，該方法包括：

步驟S100：獲取視頻圖像序列；

步驟S200：判斷當(dāng)前幀是否為幀內(nèi)編碼幀；

步驟S300：若當(dāng)前幀為幀內(nèi)編碼幀，提取當(dāng)前幀的灰度值；

步驟S400：對(duì)當(dāng)前幀進(jìn)行基于邊緣輪廓的圖像分析，獲取粗定位車(chē)牌區(qū)域；

步驟S500：基于視頻解碼中編碼模式對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選。

優(yōu)選地，所述步驟S200后還包括：

步驟S210：若當(dāng)前幀不是幀內(nèi)編碼幀，則緩存當(dāng)前幀，并提取下一幀作為當(dāng)前幀；

步驟S220：判斷第2次當(dāng)前幀是否為幀內(nèi)編碼幀；

步驟S230：若連續(xù)2次當(dāng)前幀都不是幀內(nèi)編碼幀，則分別提取緩存幀和當(dāng)前幀的灰度值；

步驟S240：基于邊緣輪廓圖像分析獲取緩存幀和當(dāng)前幀的粗定位車(chē)牌區(qū)域；

步驟S250：聯(lián)合緩存幀和當(dāng)前幀的視頻解碼中編碼模式，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選。

優(yōu)選地，所述步驟S220后還包括步驟S221：若第2次判斷當(dāng)前幀為幀內(nèi)編碼幀時(shí)，則返回步驟S300。

優(yōu)選地，所述步驟S400或步驟S240通過(guò)以下步驟實(shí)現(xiàn)：

步驟S420：利用Sobel算子獲取區(qū)域圖像邊緣；

步驟S430：對(duì)所述圖像邊緣做二值化處理；

步驟S440：對(duì)所述二值化邊緣圖像做閉運(yùn)算；

步驟S450：提取所述二值化邊緣圖像中每個(gè)區(qū)域的輪廓；

步驟S460：對(duì)所述每個(gè)區(qū)域的輪廓求矩形包圍盒。

優(yōu)選地，所步驟S500通過(guò)以下步驟實(shí)現(xiàn)：

步驟S510：分別提取每個(gè)粗定位車(chē)牌區(qū)域內(nèi)像素大小為16x16的宏塊；

步驟S520：分別統(tǒng)計(jì)各粗定位車(chē)牌區(qū)域提取的宏塊中，各編碼模式對(duì)應(yīng)的宏塊數(shù)量；

步驟S530：當(dāng)編碼模式為I4x4的宏塊數(shù)量M4，與所在粗定位車(chē)牌區(qū)域宏塊總數(shù)MB的比例大于閥值T1時(shí)，則將所述粗定位車(chē)牌區(qū)域確定為車(chē)牌區(qū)域。

優(yōu)選地，所述步驟S250步驟通過(guò)以下步驟實(shí)現(xiàn)：

步驟S251：提取當(dāng)前幀和緩存幀中形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域；

步驟S252：分別提取所述當(dāng)前幀和緩存幀中形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域內(nèi)像素大小為16x16的宏塊；

步驟S253：分別統(tǒng)計(jì)各粗定位車(chē)牌區(qū)域提取的宏塊中，各編碼模式對(duì)應(yīng)的宏塊數(shù)量；

步驟S254：當(dāng)形成對(duì)應(yīng)關(guān)系中的緩存幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，或者當(dāng)形成對(duì)應(yīng)關(guān)系中的當(dāng)前幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，大宏塊模式的宏塊數(shù)量M16與該區(qū)域覆蓋的宏塊總數(shù)MB的比例，大于T3，則將該當(dāng)前幀粗定位車(chē)牌區(qū)域確定為車(chē)牌區(qū)域。

優(yōu)選地，所述步驟S460后還包括步驟S470：篩除所述不符合條件包圍盒中的粗定位車(chē)牌區(qū)域。

優(yōu)選地，所述步驟S470通過(guò)設(shè)定包圍盒的長(zhǎng)度、寬度、長(zhǎng)寬比和面積閥值，實(shí)現(xiàn)篩除所述不符合條件包圍盒中的粗定位車(chē)牌區(qū)域，具體篩除條件指滿(mǎn)足下述任意一種：

包圍盒長(zhǎng)度小于長(zhǎng)度閥值，或包圍盒寬度小于寬度閥值，或包圍盒長(zhǎng)度比小于等于最小長(zhǎng)寬比閥值，或包圍盒長(zhǎng)寬比大于等于最大長(zhǎng)寬比閥值，或包圍盒面積小于等于最小面積閥值，或包圍盒面積大于等于最大面積閥值。

第二方面，本發(fā)明實(shí)施例提供了一種雙動(dòng)態(tài)視頻車(chē)牌定位裝置，包括：

視頻圖像獲取模塊，用于獲取視頻圖像序列；幀內(nèi)編碼幀判斷模塊，用于判斷當(dāng)前幀是否為幀內(nèi)編碼幀；灰度提取模塊，用于提取當(dāng)前幀的灰度值；粗定位車(chē)牌區(qū)域獲取模塊，用于對(duì)當(dāng)前幀進(jìn)行基于邊緣輪廓的圖像分析，獲取粗定位車(chē)牌區(qū)域；車(chē)牌定位確認(rèn)模塊，用于對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選，基于視頻解碼中編碼模式的分析，實(shí)現(xiàn)對(duì)車(chē)牌區(qū)域的確認(rèn)。

優(yōu)選地，所述裝置還包括：圖像幀處理模塊，用于在當(dāng)前幀不是幀內(nèi)編碼幀時(shí)，緩存當(dāng)前幀，并提取下一幀圖像作為當(dāng)前幀；幀內(nèi)編碼幀判斷模塊二，用于在第1次當(dāng)前幀判斷不是幀內(nèi)編碼幀時(shí)，對(duì)提取的下一幀圖像進(jìn)行第2次判斷。

由以上技術(shù)方案可見(jiàn)，在本發(fā)明實(shí)施例中基于圖像輪廓和視頻解碼中編碼模式信息相結(jié)合的方法，對(duì)雙動(dòng)態(tài)視頻圖像中的車(chē)牌進(jìn)行定位，其中基于輪廓圖像分析，獲取粗定位車(chē)牌區(qū)域的算法復(fù)雜度低，然后在基本不增加計(jì)算復(fù)雜度的情況下，利用視頻解碼中的編碼模式進(jìn)行分析，解決抗干擾問(wèn)題，篩除偽車(chē)牌區(qū)域，實(shí)現(xiàn)粗定位車(chē)牌區(qū)域的確認(rèn)，最終實(shí)現(xiàn)車(chē)牌定位。本發(fā)明實(shí)施例與現(xiàn)有技術(shù)相比，本發(fā)明所提供的車(chē)牌定位方法算法復(fù)雜度低，提高了算法的實(shí)時(shí)性，同時(shí)能解決移動(dòng)化場(chǎng)景下的雙動(dòng)態(tài)視頻車(chē)牌定位干擾的問(wèn)題，提高算法的魯棒性。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。

附圖說(shuō)明

此處的附圖被并入說(shuō)明書(shū)中并構(gòu)成本說(shuō)明書(shū)的一部分，示出了符合本發(fā)明的實(shí)施例，并與說(shuō)明書(shū)一起用于解釋本發(fā)明的原理。

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，對(duì)于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例1提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位方法的流程示意圖；

圖2為本發(fā)明實(shí)施例2提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位方法的流程示意圖；

圖3為本發(fā)明實(shí)施例3提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位裝置的結(jié)構(gòu)示意圖；

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

參見(jiàn)圖1，為本發(fā)明實(shí)施例1提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位方法的流程示意圖，該定位方法包括：獲取視頻圖像序列、判斷當(dāng)前幀是否為幀內(nèi)編碼幀、提取當(dāng)前幀內(nèi)編碼幀的灰度值、對(duì)當(dāng)前幀進(jìn)行基于輪廓分析獲取粗定位車(chē)牌區(qū)域、再進(jìn)一步通過(guò)視頻解碼中編碼模式信息對(duì)粗定位車(chē)牌區(qū)域進(jìn)行確認(rèn)。

具體的。步驟S100，獲取視頻圖像序列；通過(guò)調(diào)取攝像頭拍攝的雙動(dòng)態(tài)視頻，獲取視頻文件的視頻流，對(duì)視頻進(jìn)行解碼，輸出YUV圖像，獲取視頻圖像序列。

步驟S200，判斷當(dāng)前幀是否為幀內(nèi)編碼幀。從視頻圖像序列中讀取一幀圖像數(shù)據(jù)，所述圖像為當(dāng)前幀，判斷當(dāng)前幀是否為幀內(nèi)編碼幀。所述幀內(nèi)編碼幀指僅使用幀內(nèi)預(yù)測(cè)(Intra-prediction)進(jìn)行編碼的幀圖像，即I(Intra)幀。

步驟S300，若當(dāng)前幀為幀內(nèi)編碼幀，提取當(dāng)前幀的灰度值。視頻在經(jīng)過(guò)解碼后，得到每一幀圖像的YUV像素?cái)?shù)據(jù)，所述Y表示亮度分量，即灰度值，U和V表示色度，用于指定像素的顏色，由于Y包含了灰度圖的所有信息，因此只用Y分量就可以完整表示出一幅灰度圖。所以當(dāng)判定當(dāng)前幀為I幀時(shí)，從解碼得到的圖像YUV數(shù)據(jù)中提取灰度值Y作為處理對(duì)象。

步驟S400，對(duì)當(dāng)前幀進(jìn)行基于邊緣輪廓的圖像分析，獲取粗定位車(chē)牌區(qū)域；

對(duì)圖像用基于邊緣輪廓的算法進(jìn)行邊緣檢測(cè)，從當(dāng)前幀的灰度圖中提取車(chē)牌所在的區(qū)域，即粗定位車(chē)牌區(qū)域。由于車(chē)牌自身具有一些固有的特征，如我國(guó)的車(chē)牌字符之間間隔均勻，呈水平排列，因而在牌照的矩形區(qū)域內(nèi)，其邊緣輪廓相比背景更為豐富。所述算法可采用各種現(xiàn)有技術(shù)實(shí)現(xiàn)，本發(fā)明實(shí)施例1對(duì)此算法的實(shí)現(xiàn)不做限制。

步驟S500，基于視頻解碼中編碼模式對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選。

提取粗定位車(chē)牌區(qū)域的視頻解碼信息，基于視頻解碼中的編碼模式，篩除不符合車(chē)牌區(qū)域特征的偽目標(biāo)區(qū)域，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行確認(rèn)。

另外，在本發(fā)明實(shí)施例1的一種優(yōu)先方案中，所述步驟S400指基于邊緣輪廓對(duì)當(dāng)前幀圖像進(jìn)行分析，獲取粗定位車(chē)牌區(qū)域。該步驟主要用于對(duì)獲取的當(dāng)前幀進(jìn)行圖像處理，首先使用高斯函數(shù)和Sobel算子對(duì)當(dāng)前幀圖像進(jìn)行濾波和邊緣檢測(cè)，在此基礎(chǔ)上，使用閉運(yùn)算將邊緣圖像中的字符組聚為連通或者接近連通的區(qū)域，進(jìn)而得到一個(gè)近似矩形的區(qū)域，再對(duì)每個(gè)近似矩形區(qū)域求包圍盒，獲取粗定位車(chē)牌區(qū)域。一種優(yōu)選方案中，對(duì)偽車(chē)牌區(qū)域包圍盒進(jìn)行篩選，獲得當(dāng)前幀的粗定位車(chē)牌區(qū)域。具體包括：

步驟S410：對(duì)當(dāng)前幀進(jìn)行高斯模糊；

首先通過(guò)高斯函數(shù)對(duì)當(dāng)前幀進(jìn)行高斯模糊，以減少圖像噪聲對(duì)后續(xù)算法的不利影響，使圖像中的運(yùn)動(dòng)目標(biāo)檢測(cè)的結(jié)果準(zhǔn)確。

步驟S420：利用Sobel算子提取車(chē)牌區(qū)域圖像邊緣；

對(duì)模糊后的圖像進(jìn)行Sobel運(yùn)算，所述Sobel運(yùn)算指用于圖像邊緣檢測(cè)的索貝爾算子。我國(guó)的車(chē)牌通常由七個(gè)字符和一個(gè)小圓點(diǎn)組成，各字符水平排列，間隔相等，因此，所述近似矩形的區(qū)域有著豐富的邊緣信息，并且這些邊緣信息有一定的規(guī)則，如區(qū)域內(nèi)垂直邊緣的信息比水平邊緣的信息密集，車(chē)牌區(qū)域外的其他區(qū)域水平邊緣的信息比垂直邊緣的信息密集。在本發(fā)明實(shí)施例中，Sobel運(yùn)算的卷積核為卷積核形成Sobel邊緣算子，區(qū)域圖像中的每個(gè)點(diǎn)都用這個(gè)核做卷積，卷積的絕對(duì)值作為該點(diǎn)的輸出值，通過(guò)Sobel運(yùn)算獲取區(qū)域邊緣圖像，實(shí)現(xiàn)圖像增強(qiáng)，使得邊緣與背景對(duì)比明顯。

步驟S430：對(duì)所述圖像邊緣做二值化處理；

所述對(duì)圖像做二值化處理是指將圖像上的所有像素點(diǎn)的灰度值分為兩類(lèi)，即圖像只有黑白兩種顏色，二值化處理能夠適當(dāng)?shù)嘏懦尘暗母蓴_，增強(qiáng)目標(biāo)區(qū)域，突出目標(biāo)物體的輪廓，并且減少數(shù)據(jù)量，提高運(yùn)算速率。

經(jīng)過(guò)Sobel算子運(yùn)算提取的區(qū)域圖像邊緣，并沒(méi)有將圖像的主體與背景嚴(yán)格地區(qū)分開(kāi)來(lái)，因此對(duì)提取的圖像輪廓要做進(jìn)一步的二值化，即圖像灰度處理，獲得幀內(nèi)編碼幀(I幀)的邊緣增強(qiáng)的二值化邊緣圖像。所述二值化處理采用現(xiàn)有技術(shù)實(shí)現(xiàn)，一般來(lái)說(shuō)通過(guò)對(duì)卷積結(jié)果的逐點(diǎn)判斷來(lái)進(jìn)行二值化，如當(dāng)數(shù)值大于T的點(diǎn)輸出255，即8比特的圖像所能有的最大值，否則輸出0，所述T可以是經(jīng)驗(yàn)值也可以通過(guò)自適應(yīng)算法獲得。

步驟S440：對(duì)所述二值化邊緣圖像做閉運(yùn)算；

通過(guò)Sobel算子獲得的二值化邊緣圖像，其邊緣有一定程度的斷開(kāi)，需通過(guò)閉運(yùn)算，對(duì)其進(jìn)行平滑濾波處理。所述閉運(yùn)算指在保持原二值圖像的形狀和位置基本不發(fā)生變化的前提下，將圖像中的小空洞和小裂縫進(jìn)行填平，組聚為連通或者接近連通的區(qū)域，進(jìn)而得到近似矩形的區(qū)域。

步驟S450：提取所述二值化邊緣圖像中每個(gè)區(qū)域的輪廓；提取步驟S440中近似矩形區(qū)域的輪廓。

步驟S460：對(duì)所述每個(gè)區(qū)域的輪廓求矩形包圍盒。

所述矩形包圍盒，意在簡(jiǎn)單計(jì)算一個(gè)總體橫平豎直包圍當(dāng)前區(qū)域的最小矩形。對(duì)當(dāng)前區(qū)域S的輪廓C，若其所含點(diǎn)集(X₀,Y₀),...(Xn,Yn)，則該區(qū)域S的矩形包圍盒指，四個(gè)端點(diǎn)為(Xmin,Ymin)(Xmax,Ymin)(Xmin,Ymax)(Xmax,Ymax)的矩形。其中Xmin是X₀...Xn中間的最小值，Xmax是X₀...Xn中的最大值，Ymin是Y₀...Yn中間的最小值，Ymax是Y₀...Yn中的最大值。例如，當(dāng)車(chē)牌水平放置時(shí)，獲取的矩形包圍盒很接近車(chē)牌本身；而當(dāng)車(chē)牌本身有一定傾斜時(shí)，比起同樣水平位置擺放的車(chē)牌，該包圍盒就包含了一些斜邊以外的像素，使其變得“胖”一些。

在本發(fā)明實(shí)施例1的一種優(yōu)選方案中，所述步驟S500對(duì)基于輪廓圖像分析后獲取的粗定位車(chē)牌區(qū)域，再進(jìn)行基于解碼信息的篩除，以對(duì)粗定位車(chē)牌區(qū)域進(jìn)行確認(rèn)。本發(fā)明實(shí)施例中主要利用H.264視頻編解碼器標(biāo)準(zhǔn)中的解碼信息，所述解碼信息包括預(yù)測(cè)單元使用的參考幀、運(yùn)動(dòng)向量信息、編碼模式及解碼圖像。編碼器通常將視頻幀劃分成若干宏塊,并且以宏塊為最小處理單元。

在本發(fā)明實(shí)施例1中，利用解碼信息中的編碼模式獲取粗定位車(chē)牌區(qū)域內(nèi)幀內(nèi)預(yù)測(cè)編碼信息，當(dāng)被編碼為I4x4模式的宏塊數(shù)量在幀內(nèi)宏塊總量超過(guò)一定的閥值，則說(shuō)明該區(qū)域體現(xiàn)出車(chē)牌的明顯紋理指證，則為目標(biāo)區(qū)域。具體方法包括：

步驟S510：分別提取每個(gè)粗定位車(chē)牌區(qū)域內(nèi)像素大小為16x16的宏塊；

由于H.264中宏塊的幀內(nèi)編碼模式，能較好的反映圖像的紋理特征，因此對(duì)基于圖像分析獲取的每個(gè)粗定位車(chē)牌區(qū)域，分別提取各自區(qū)域內(nèi)像素大小為16x16的宏塊。

步驟S520：分別統(tǒng)計(jì)各粗定位車(chē)牌區(qū)域提取的宏塊中，各編碼模式對(duì)應(yīng)的宏塊數(shù)量；

由于統(tǒng)計(jì)的宏塊均來(lái)自于I幀，如H.264中基線(xiàn)(baseline)類(lèi)支持16x16和4x4兩種宏塊編碼模式，分別統(tǒng)計(jì)各編碼模式宏塊的數(shù)量，為篩除偽目標(biāo)區(qū)域提供基礎(chǔ)。

步驟S530：當(dāng)編碼模式為I4x4的宏塊數(shù)量M4，與所在粗定位車(chē)牌區(qū)域宏塊總數(shù)MB的比例大于閥值T1時(shí)，則將所述粗定位車(chē)牌區(qū)域確定為車(chē)牌區(qū)域。

所述I4x4模式具體指宏塊采用4x4幀內(nèi)編碼模式，例如，在H.264編碼體系中宏塊的幀內(nèi)編碼，如果宏塊內(nèi)像素值比較一致，圖像紋理平緩，圖像細(xì)節(jié)變化不明顯的平坦區(qū)域，則通常會(huì)編碼為I16x16模式，而宏塊內(nèi)像素值變化比較復(fù)雜，圖像中有包含大量紋理、邊緣等細(xì)節(jié)的區(qū)域，則一般會(huì)編碼為I4x4模式。因此本發(fā)明實(shí)施例1，統(tǒng)計(jì)I4x4模式編碼的宏塊數(shù)量，與所在粗定位車(chē)牌區(qū)域宏塊總數(shù)MB的比例，如果該比例大于閾值T1，即M4/MB>T1時(shí)，則將當(dāng)前粗定位區(qū)域進(jìn)行確認(rèn)，否則將當(dāng)前區(qū)域視為偽車(chē)牌區(qū)域，進(jìn)行篩除。在本發(fā)明實(shí)施例1中，將閥值T1設(shè)在45～60％之間，當(dāng)I4x4模式的宏塊數(shù)量M4與區(qū)域宏塊總數(shù)MB的比例大于閥值T1時(shí)，則將當(dāng)前幀粗定位車(chē)牌區(qū)域確定為車(chē)牌區(qū)域，T1優(yōu)選為50％。

在本發(fā)明實(shí)施例1的一種優(yōu)選方案中，所述步驟S460后還包括步驟S470,篩除所述不符合條件包圍盒中的粗定位車(chē)牌區(qū)域。由于車(chē)輛上正常安裝的車(chē)牌都具有固定的寬高比，因此在清晰的車(chē)輛圖像中，每個(gè)車(chē)牌的寬高比大都是相接近的，考慮到可能存在的噪聲、車(chē)牌傾斜等影響寬高比的因素。本發(fā)明實(shí)施例1優(yōu)選基于設(shè)定包圍盒的長(zhǎng)度、寬度、長(zhǎng)寬比和面積閥值，篩除所述不符合條件包圍盒中的粗定位車(chē)牌區(qū)域，檢測(cè)出目標(biāo)包圍盒，具體篩除條件指滿(mǎn)足下述任意一種：

包圍盒長(zhǎng)度小于長(zhǎng)度閥值，或包圍盒寬度小于寬度閥值。所述長(zhǎng)度閥值minW值可選取40～60像素，其中優(yōu)選為50像素,所述寬度閥值minH值可選取12～18像素，其中優(yōu)選為16像素。例如當(dāng)包圍盒的長(zhǎng)度和寬度分別為50像素和16像素時(shí)，該包圍盒則呈現(xiàn)一個(gè)正常車(chē)牌形狀的區(qū)域，在經(jīng)驗(yàn)值上屬于車(chē)牌區(qū)域。又如當(dāng)包圍盒的長(zhǎng)度和寬度分別為60像素和8像素時(shí)，雖然包圍盒的長(zhǎng)度符合車(chē)牌的條件，但包圍盒的寬度過(guò)小，不符合寬度的條件，因此視為偽車(chē)牌區(qū)域予以篩除。

包圍盒長(zhǎng)寬比小于等于最小長(zhǎng)寬比閥值，或包圍盒長(zhǎng)寬比大于等于最大長(zhǎng)寬比閥值。其中最小長(zhǎng)寬比閥值minR為1.8～2.2,最大長(zhǎng)寬比閥值maxR為3.3～3.6。例如，目前我國(guó)標(biāo)準(zhǔn)車(chē)牌的長(zhǎng)寬比約為3.2,但在實(shí)際使用中，由于車(chē)牌傾斜會(huì)導(dǎo)致的一定誤差，如包圍盒的最大長(zhǎng)寬比為2.8時(shí)，是由于車(chē)牌傾斜45度左右，而導(dǎo)致包圍盒不那么準(zhǔn)確貼合車(chē)牌的主軸方向所引起的。因此，為避免錯(cuò)誤篩除真實(shí)的車(chē)牌區(qū)域，容許存在一定的誤差，對(duì)車(chē)牌區(qū)域包圍盒的長(zhǎng)寬比設(shè)定在一定的范圍。

包圍盒面積小于等于最小面積閥值，或包圍盒面積大于等于最大面積閥值。其中最小面積閥值minS可選取1000～2000，優(yōu)選minS為1000；最大面積閥值maxS可選取13000～16000,優(yōu)選maxS為15000。在現(xiàn)實(shí)環(huán)境中，車(chē)牌的面積通常不會(huì)太大也不會(huì)太小，會(huì)在一定的標(biāo)準(zhǔn)范圍以?xún)?nèi)，如果超出了面積閥值的范圍，往往是圖像中的干擾區(qū)域，應(yīng)予以篩除。

本發(fā)明實(shí)施例1所提供的技術(shù)方案，結(jié)合邊緣輪廓圖像和視頻解碼中編碼模式進(jìn)行分析，在基本不增加計(jì)算復(fù)雜度的情況下，利用視頻解碼中幀內(nèi)編碼編碼模式信息，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩除，排除干擾，實(shí)現(xiàn)車(chē)牌定位，提高算法實(shí)時(shí)性和魯棒性。

參見(jiàn)圖2，為本發(fā)明實(shí)施例2提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位方法的流程示意圖，該方法在實(shí)施例1的基礎(chǔ)上，當(dāng)步驟S200判斷當(dāng)前幀不是幀內(nèi)編碼幀時(shí)，則緩存當(dāng)前幀，并提取下一幀作為當(dāng)前幀，然后進(jìn)行第2次幀內(nèi)編碼幀判斷。當(dāng)緩存幀和當(dāng)前幀均不是幀內(nèi)編碼幀時(shí)，即表示兩幀圖像是連續(xù)的前向預(yù)測(cè)編碼幀。此種情況下，則需聯(lián)合緩存幀和當(dāng)前幀作圖像分析獲取兩幀中的各自粗定位車(chē)牌區(qū)域，然后再聯(lián)合緩存幀和當(dāng)前幀視頻解碼中編碼模式對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選，對(duì)車(chē)牌區(qū)域進(jìn)行最終確認(rèn)。其具體方法如下：

步驟S210：若判斷當(dāng)前幀不是幀內(nèi)編碼幀時(shí)，即將當(dāng)前幀進(jìn)行緩存，并提取下一幀作為。當(dāng)前幀；如果當(dāng)前幀和下一幀都不是I幀，則兩幀圖像是連續(xù)的前向預(yù)測(cè)編碼幀，即P幀，相比較I幀，P幀表示當(dāng)前幀跟前一幀的差別，解碼時(shí)需要用之前緩存的圖像幀疊加上當(dāng)前幀定義的差別，生成最終畫(huà)面，因此當(dāng)是連續(xù)P幀時(shí)，需提取當(dāng)前幀和緩存幀兩幀圖像，為第2次幀內(nèi)編碼幀判斷提供基礎(chǔ)。

步驟S220：判斷第2次當(dāng)前幀是否為幀內(nèi)編碼幀；

當(dāng)上一幀圖像，即緩存幀不是幀內(nèi)編碼幀時(shí)，需對(duì)下一幀圖像，即當(dāng)前幀進(jìn)行第2次幀內(nèi)編碼幀判斷，如果當(dāng)前幀為幀內(nèi)編碼幀，則返回步驟S300，通過(guò)本發(fā)明實(shí)施例1的方法實(shí)現(xiàn)粗定位車(chē)牌區(qū)域篩選。如果當(dāng)前幀仍然不是幀內(nèi)編碼幀時(shí)，則表示存在兩個(gè)連續(xù)的P幀，則進(jìn)入步驟S230，將2幀圖像結(jié)合起來(lái)作為車(chē)牌定位的處理對(duì)象。

本發(fā)明實(shí)施例2中的步驟S230和S240，與本發(fā)明實(shí)施例1中的步驟S300和S400采用相同的方法實(shí)現(xiàn)，其區(qū)別在于實(shí)施例2中將緩存幀和當(dāng)前幀兩幀作為處理對(duì)象，分別提取緩幀和當(dāng)前幀的灰度值，再分別對(duì)緩存幀和當(dāng)前幀的圖像進(jìn)行圖像分析，獲取粗定位車(chē)牌區(qū)域，此處不再詳述。

由于連續(xù)P幀的編碼信息不同，本發(fā)明實(shí)施例2通過(guò)步驟S250，聯(lián)合緩存幀和當(dāng)前幀的視頻解碼中編碼模式，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選。具體指利用緩存幀和當(dāng)前幀的視頻解碼中編碼模式，獲取粗定位車(chē)牌區(qū)域的幀間編碼信息，基于對(duì)編碼信息的分析，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩選，篩除偽車(chē)牌區(qū)域，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行確認(rèn)。

本發(fā)明實(shí)施例2的一種優(yōu)選方案中，所述步驟S250具體指首先判斷兩幀內(nèi)是否有形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域，基于形成對(duì)應(yīng)關(guān)系的區(qū)域，通過(guò)幀間編碼模式的分析，來(lái)篩除偽車(chē)牌區(qū)域。詳細(xì)步驟如下：

步驟S251：提取當(dāng)前幀和緩存幀中形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域；

由于是連續(xù)的兩幀，因此兩幀圖像之間的內(nèi)容相關(guān)度非常高，一般而言，在緩存幀中基于圖像分析粗定位出的每一個(gè)車(chē)牌區(qū)域，都會(huì)對(duì)應(yīng)于當(dāng)前幀中基于圖像分析粗定位出的一個(gè)車(chē)牌區(qū)域，并且這兩個(gè)區(qū)域之間，大致位置都是相近的。

在本發(fā)明實(shí)施例2中，當(dāng)前幀中可能存在多個(gè)粗定位車(chē)牌區(qū)域n，因此緩存幀中也可能存在多個(gè)待匹配的粗定位車(chē)牌區(qū)域m，為確定對(duì)應(yīng)關(guān)系，對(duì)當(dāng)前幀n個(gè)區(qū)域中的每個(gè)區(qū)域，依次到緩存幀的m個(gè)區(qū)域里尋找對(duì)應(yīng)關(guān)系，依次判斷。所述形成對(duì)應(yīng)關(guān)系的判斷條件指：對(duì)當(dāng)前幀，即在第二個(gè)P幀中經(jīng)過(guò)粗定位得到的每一個(gè)車(chē)牌區(qū)域S1，查找緩存幀中的粗定位車(chē)牌區(qū)域，如果存在一個(gè)緩存幀中的車(chē)牌區(qū)域S2，則提取S1與S2之間面積較大的那個(gè)區(qū)域Smax，然后求兩個(gè)區(qū)域S1和S2的重疊區(qū)域S，再取重疊區(qū)域S與Smax的面積比值，當(dāng)S/Smax>T2時(shí)，則認(rèn)為當(dāng)前幀粗定位車(chē)牌區(qū)域與這一個(gè)緩存幀中粗定位車(chē)牌區(qū)域形成對(duì)應(yīng)關(guān)系。在當(dāng)前幀的第一個(gè)區(qū)域判斷完成后，再接著判斷n個(gè)區(qū)域里的下一個(gè)，提取當(dāng)前幀和緩存幀中形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域。

所述重疊閥值T2設(shè)在45％～65％之間，優(yōu)選的，T2為50％。例如實(shí)際使用中，將重疊閥值T2設(shè)定為50％，在當(dāng)前幀中經(jīng)過(guò)粗定位得到的一個(gè)車(chē)牌區(qū)域S1，找到一個(gè)緩存幀中的車(chē)牌區(qū)域S2，且兩個(gè)區(qū)域的重疊區(qū)域S，與兩個(gè)區(qū)域中面積較大的那個(gè)區(qū)域Smax的面積比值為55％，即S/Smax>50％,表明滿(mǎn)足對(duì)應(yīng)關(guān)系條件，因此判定當(dāng)前幀粗定位車(chē)牌區(qū)域與緩存幀粗定位車(chē)牌區(qū)域形成對(duì)應(yīng)關(guān)系，提取形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域，作為后續(xù)編碼模式分析的基礎(chǔ)。

另外，如果在判斷過(guò)程中，當(dāng)前幀中的粗定位車(chē)牌區(qū)域，與緩存幀中的m個(gè)區(qū)域都不符合重疊的條件，即表示在緩存幀中沒(méi)有與之形成對(duì)應(yīng)關(guān)系的車(chē)牌區(qū)域，則對(duì)當(dāng)前幀中該粗定位車(chē)牌區(qū)域予以篩除。

步驟S252：分別提取所述當(dāng)前幀和緩存幀中形成對(duì)應(yīng)關(guān)系的粗定位車(chē)牌區(qū)域內(nèi)像素大小為16x16的宏塊；

步驟S253：分別統(tǒng)計(jì)各粗定位車(chē)牌區(qū)域提取的宏塊中，各編碼模式對(duì)應(yīng)的宏塊數(shù)量；

分別統(tǒng)計(jì)當(dāng)前幀和緩存幀中粗定位車(chē)牌區(qū)域，各種編碼模式對(duì)應(yīng)的宏塊數(shù)量，為篩除偽目標(biāo)區(qū)域提供基礎(chǔ)。

步驟S254：當(dāng)形成對(duì)應(yīng)關(guān)系中的緩存幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，或者當(dāng)形成對(duì)應(yīng)關(guān)系中的當(dāng)前幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，大宏塊模式的宏塊數(shù)量M16與該區(qū)域覆蓋的宏塊總數(shù)MB的比例，大于T3，則將該當(dāng)前幀粗定位車(chē)牌區(qū)域確定為車(chē)牌區(qū)域。

所述大塊模式指P幀中的宏塊被編碼為Skip、P16x16、P16x8、P8x16等相對(duì)大塊模式，小塊模式指P幀中的宏塊被編碼為P8x8、P8x4、P4x8、P4x4等相對(duì)小塊模式。在H.264中，當(dāng)P8x8等小塊模式出現(xiàn)時(shí)，一般是由于當(dāng)前宏塊中各局部區(qū)域的運(yùn)動(dòng)不一致引起的。而在車(chē)牌識(shí)別場(chǎng)景下，車(chē)牌基本上是一個(gè)整體運(yùn)動(dòng)的狀態(tài)，因此車(chē)牌區(qū)域內(nèi)的宏塊較少被編碼為P8x8等小尺寸模式。

本發(fā)明實(shí)施例2中，將閥值T3設(shè)在40～60％之間，例如，當(dāng)形成對(duì)應(yīng)關(guān)系中的緩存幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，大宏塊模式的宏塊數(shù)量M16與該區(qū)域覆蓋的宏塊總數(shù)MB的比例為50％，則表示比例大于閥值T3，滿(mǎn)足確認(rèn)車(chē)牌的條件M16/MB>T3，則確認(rèn)對(duì)應(yīng)的當(dāng)前幀中的粗定位車(chē)牌區(qū)域?yàn)槟繕?biāo)車(chē)牌區(qū)域。又如，當(dāng)形成對(duì)應(yīng)關(guān)系中的當(dāng)前幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，大宏塊模式的宏塊數(shù)量M16與該區(qū)域覆蓋的宏塊總數(shù)MB的比例為55％時(shí)，則表示比例大于閥值T3，滿(mǎn)足確認(rèn)車(chē)牌的條件M16/MB>T3，則確認(rèn)當(dāng)前幀中的粗定位車(chē)牌區(qū)域?yàn)槟繕?biāo)車(chē)牌區(qū)域。T3優(yōu)選為50％。

如果形成對(duì)應(yīng)關(guān)系中的緩存幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，或者當(dāng)形成對(duì)應(yīng)關(guān)系中的當(dāng)前幀中粗定位車(chē)牌區(qū)域所覆蓋的宏塊中，大宏塊模式的宏塊數(shù)量M16與該區(qū)域覆蓋的宏塊總數(shù)MB的比例，都小于閥值T3，則將當(dāng)前幀粗定位車(chē)牌區(qū)域定位為干擾區(qū)域，予以篩除。

本發(fā)明實(shí)施例2所提供的技術(shù)方案，結(jié)合邊緣輪廓圖像和視頻解碼中編碼模式進(jìn)行分析，在基本不增加計(jì)算復(fù)雜度的情況下，利用視頻解碼中幀間編碼編碼模式信息，對(duì)粗定位車(chē)牌區(qū)域進(jìn)行篩除，排除干擾，實(shí)現(xiàn)對(duì)車(chē)牌區(qū)域的確認(rèn)，提高算法實(shí)時(shí)性和魯棒性，同時(shí)解決視頻圖像序列中連續(xù)兩幀前向預(yù)測(cè)編碼幀情形的，車(chē)牌區(qū)域確認(rèn)問(wèn)題，滿(mǎn)足現(xiàn)實(shí)中移動(dòng)化場(chǎng)景下的雙動(dòng)態(tài)視頻車(chē)牌定位的需要。

基于上述方法實(shí)施例，本發(fā)明還提供了一種雙動(dòng)態(tài)視頻車(chē)牌定位裝置，圖3為本發(fā)明實(shí)施例提供的一種雙動(dòng)態(tài)視頻車(chē)牌定位裝置的結(jié)構(gòu)示意圖，該裝置包括：

視頻圖像獲取模塊301，用于獲取視頻圖像序列；幀內(nèi)編碼幀判斷模塊302，用于判斷當(dāng)前幀是否為幀內(nèi)編碼幀；灰度提取模塊，用于提取當(dāng)前幀的灰度值303；粗定位車(chē)牌區(qū)域獲取模塊304，用于對(duì)當(dāng)前幀進(jìn)行基于邊緣輪廓的圖像分析，獲取粗定位車(chē)牌區(qū)域；車(chē)牌確認(rèn)模塊305，用于對(duì)粗定位車(chē)牌區(qū)域進(jìn)行基于視頻解碼信息的篩選，對(duì)車(chē)牌區(qū)域進(jìn)行確認(rèn)。

在本發(fā)明一種可選實(shí)施例中，所述雙動(dòng)態(tài)視頻車(chē)牌定位裝置還包括：圖像幀處理模塊，用于在當(dāng)前幀不是幀內(nèi)編碼幀時(shí)，緩存當(dāng)前幀，并提取下一幀圖像作為當(dāng)前幀；

幀內(nèi)編碼幀判斷模塊二，用于在第1次當(dāng)前幀判斷不是幀內(nèi)編碼幀時(shí)，對(duì)提取的下一幀圖像進(jìn)行第2次判斷。

以上所述僅是本申請(qǐng)的具體實(shí)施方式，使本領(lǐng)域技術(shù)人員能夠理解或?qū)崿F(xiàn)本申請(qǐng)。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本申請(qǐng)的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本申請(qǐng)將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。

以上所述僅是本申請(qǐng)的具體實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本申請(qǐng)?jiān)淼那疤嵯?，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本申請(qǐng)的保護(hù)范圍。