本發(fā)明屬于數(shù)據(jù)識(shí)別領(lǐng)域中的圖像捕獲和圖像拾取技術(shù)，具體涉及一種重型卡車攝像識(shí)別管理方法及其系統(tǒng)。

背景技術(shù)：

近年來(lái)，重型卡車如大貨車、土方車、槽罐車引發(fā)的交通事故日益引起社會(huì)各方的重視，很多路段、特殊設(shè)施場(chǎng)所等都對(duì)重型卡車加以限制，從而確保道路交通及相關(guān)設(shè)施場(chǎng)所的安全。但是由于不能及時(shí)有效地執(zhí)法，部分重型車輛處于經(jīng)濟(jì)效益的考慮還是會(huì)懷著僥幸心理鋌而走險(xiǎn)闖入禁區(qū)?，F(xiàn)有對(duì)于重型車輛違反禁止駛?cè)胄袨榈墓芾磉€是以靜態(tài)圖像抓拍結(jié)合事后錄像人工查詢定位的方式來(lái)取證。

目前，解決上述問(wèn)題的方案通常是在管制路段或者區(qū)域配置車道監(jiān)控?cái)z像機(jī)和車牌識(shí)別抓拍機(jī)、或者是配置攝像抓拍一體機(jī)的部署方式。車道監(jiān)控?cái)z像機(jī)加車牌識(shí)別抓拍機(jī)的部署方式的成本較高、工程實(shí)施復(fù)雜、技術(shù)調(diào)試難度高、通信帶寬消耗大，考慮到抓拍照片和錄像視頻需要同步促發(fā)問(wèn)題，系統(tǒng)的復(fù)雜性會(huì)進(jìn)一步增加。當(dāng)前車道監(jiān)控?cái)z像機(jī)加車牌識(shí)別抓拍機(jī)的部署的典型方案如圖1所示。因抓拍照片和錄像視頻需要同步，系統(tǒng)的復(fù)雜性進(jìn)一步增加?？紤]到抓拍圖片和錄像數(shù)據(jù)是來(lái)自不同的前端抓取設(shè)備，饋電和傳輸線路需要兩套，通信帶寬需要增加。另外，兩個(gè)圖像采集源不同，視野和畫質(zhì)很難一樣，為后續(xù)的信息管理和人工處理帶來(lái)其他的問(wèn)題。由于圖片和視頻需要同步，項(xiàng)目實(shí)際運(yùn)維過(guò)程中，為了降低系統(tǒng)安裝運(yùn)維的復(fù)雜性，往往會(huì)需要人工查找錄像來(lái)匹配與之抓拍的圖片，這樣實(shí)際使用效率會(huì)進(jìn)一步降低，而且勞動(dòng)強(qiáng)度很大。

另外，采用攝像抓拍一體機(jī)的方案，硬件部署雖然比較簡(jiǎn)潔高效，但該類產(chǎn)品不僅成本高，而且由于運(yùn)算集中在攝像機(jī)上、數(shù)據(jù)吞吐大、功耗高發(fā)熱大(功耗從十幾瓦到幾十瓦)，導(dǎo)致穩(wěn)定性下降。一體機(jī)的優(yōu)點(diǎn)是將多個(gè)功能集中在一臺(tái)機(jī)器上來(lái)展現(xiàn)，但是實(shí)際情況往往是當(dāng)其中一個(gè)功能出現(xiàn)問(wèn)題時(shí)反而會(huì)影響到另一個(gè)正常的功能模塊，甚至無(wú)法保障穩(wěn)定的基本視頻數(shù)據(jù)錄像，這也是一體機(jī)的弊端之一。另外，從項(xiàng)目實(shí)施成本來(lái)看，一體機(jī)功耗高的原因也很難采用POE網(wǎng)絡(luò)供電的方式，該方式提高了實(shí)施的成本和復(fù)雜度，并且功耗大，加速線纜的老化，而鋪設(shè)線纜成本是交通監(jiān)控實(shí)施中費(fèi)用最高部分。公告號(hào)為CN205788226U、名稱為“基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)”的實(shí)用新型公開(kāi)了一種基于圖像處理的集裝箱箱號(hào)及集卡車號(hào)識(shí)別系統(tǒng)，本系統(tǒng)在集裝箱裝卸船的過(guò)程中，通過(guò)PLC控制器控制攝像機(jī)進(jìn)行高速拍照，并將實(shí)時(shí)圖像通過(guò)以太網(wǎng)傳輸給工控機(jī)，由工控機(jī)上運(yùn)行的箱號(hào)識(shí)別軟件識(shí)別出集裝箱號(hào)后再通過(guò)以太網(wǎng)將結(jié)果傳輸給TOS作業(yè)系統(tǒng)統(tǒng)一管理，以解決了港口碼頭作業(yè)過(guò)程中，集裝箱號(hào)碼由人工登記導(dǎo)致集裝箱裝載效率低和人工失誤導(dǎo)致集卡車與需要裝載的集裝箱不匹配的技術(shù)問(wèn)題。但由于集裝箱的尺寸有固定的標(biāo)準(zhǔn)，因此集卡車識(shí)別跟重型卡車識(shí)別還是有明顯的區(qū)別，該專利披露的技術(shù)的應(yīng)用范圍比較受限制。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有的抓拍機(jī)和攝像機(jī)的雙機(jī)架構(gòu)解決方案存在的復(fù)雜性高、數(shù)據(jù)吞吐大、功耗大的缺點(diǎn)，提出一種既可以減少前端設(shè)備投入，還能復(fù)用后端平臺(tái)模塊，從而大大降低了系統(tǒng)實(shí)施成本的解決方案。

為達(dá)到上述目的，本發(fā)明提出的技術(shù)方案是一種重型卡車攝像識(shí)別管理系統(tǒng)，包括視頻攝像機(jī)和后端平臺(tái)，視頻攝像機(jī)的錄像數(shù)據(jù)通過(guò)傳輸線路送至后端平臺(tái)進(jìn)行實(shí)時(shí)報(bào)警和數(shù)據(jù)存儲(chǔ)，本系統(tǒng)的特點(diǎn)是無(wú)需設(shè)置抓拍設(shè)備，視頻攝像機(jī)中包含卡車檢測(cè)算法模塊，后端平臺(tái)上運(yùn)行牌照識(shí)別算法模塊，視頻攝像機(jī)在錄像的時(shí)候，當(dāng)檢測(cè)到重型卡車，立刻送無(wú)壓縮圖片到后端平臺(tái)，后端平臺(tái)負(fù)責(zé)拍照識(shí)別、視頻標(biāo)簽、視頻濃縮，當(dāng)視頻像機(jī)送過(guò)來(lái)的圖片不夠清晰，導(dǎo)致牌照識(shí)別失敗或者識(shí)別置信度不高的時(shí)候，后端平臺(tái)軟件立刻啟動(dòng)基于濃縮視頻流的超分辨率時(shí)空增強(qiáng)算法，生成超分辨率增強(qiáng)后的圖片。

進(jìn)一步，上述后端平臺(tái)上包含牌照識(shí)別算法模塊和基于濃縮視頻流的超分辨率時(shí)空增強(qiáng)算法的模塊。

上述視頻濃縮是指車輛通過(guò)卡口前后的短視頻。

本發(fā)明還進(jìn)一步涉及一種利用上述重型卡車攝像識(shí)別管理系統(tǒng)進(jìn)行重型卡車攝像識(shí)別管理的方法，包含以下步驟：

(1)視頻攝像機(jī)錄像時(shí)，當(dāng)檢測(cè)到重型卡車，立刻送無(wú)壓縮圖片到后端平臺(tái)，后端平臺(tái)負(fù)責(zé)拍照識(shí)別，視頻標(biāo)簽、視頻濃縮；

(2)后端平臺(tái)上運(yùn)行牌照識(shí)別算法，對(duì)從視頻攝像機(jī)送來(lái)的圖片進(jìn)行拍照識(shí)別；

(3)當(dāng)視頻像機(jī)送來(lái)的圖片不夠清晰，導(dǎo)致牌照識(shí)別失敗或者識(shí)別置信度不高的時(shí)候，后端平臺(tái)軟件立刻啟動(dòng)基于濃縮視頻流的超分辨率增強(qiáng)算法，減少圖像模糊，提高圖像分辨率，把超分辨率增強(qiáng)后的圖片，送到牌照識(shí)別模塊。

進(jìn)一步，經(jīng)過(guò)步驟2識(shí)別出的牌照信息可用于視頻標(biāo)簽、視頻濃縮、信息挖掘和其他數(shù)據(jù)管理。

上述超分辨率增強(qiáng)算法是采用時(shí)空濾波運(yùn)動(dòng)重建算法獲得超分辨率抓拍時(shí)刻現(xiàn)場(chǎng)圖像。

上述步驟1中對(duì)重型卡車的檢測(cè)采用基于視頻圖像處理的方法。

上述基于視頻圖像處理的方法是以道路或卡口視頻圖像為分析對(duì)象，通過(guò)對(duì)設(shè)定區(qū)域的圖像進(jìn)行分析，利用視頻攝像機(jī)采集到的數(shù)據(jù)獲取車輛不同方位的圖像，然后通過(guò)降噪處理、邊緣檢測(cè)從視頻圖像中提取車輛的特征量，最后進(jìn)行模式分類，判斷出汽車的車型。

上述車輛的特征量包括總長(zhǎng)、高度、長(zhǎng)高比、頂篷相對(duì)位置、頂長(zhǎng)比。

與現(xiàn)有技術(shù)中抓拍圖片和錄像數(shù)據(jù)是來(lái)自不同前端抓取設(shè)備的方式相比，本發(fā)明的有益效果在于：

1.系統(tǒng)部署容易，考慮一臺(tái)通用視頻攝像機(jī)可以兼顧攝錄和抓拍，在項(xiàng)目實(shí)施過(guò)程中，網(wǎng)絡(luò)部署簡(jiǎn)單及各個(gè)功能模塊搭建、配置容易，因此具有低成本、易維護(hù)，在豐富功能前提下大大降低了項(xiàng)目實(shí)施成本和設(shè)備成本的優(yōu)點(diǎn)。另外，本發(fā)明中的攝像機(jī)只是增加了一個(gè)車輛檢測(cè)算法模塊，對(duì)通用攝像機(jī)的運(yùn)算資源沒(méi)有壓力。

2.具有低帶寬的優(yōu)勢(shì)，考慮到相機(jī)只要出一路碼流就可以兼顧圖像抓拍和視頻錄像，大大降低了網(wǎng)絡(luò)負(fù)荷。在規(guī)?；膽?yīng)用場(chǎng)景下，也可以進(jìn)一步優(yōu)化網(wǎng)絡(luò)設(shè)備的采購(gòu)。

3.通用視頻攝像機(jī)的功耗很低一般只有幾瓦，現(xiàn)有系統(tǒng)中都要用到功耗十幾瓦的抓拍相機(jī)，而抓拍相機(jī)一般采用CCD傳感器和DSP，功耗都非常高，甚至為系統(tǒng)解決發(fā)熱問(wèn)題增加了風(fēng)扇，導(dǎo)致功耗進(jìn)一步增加，降低系統(tǒng)穩(wěn)定性，因此本發(fā)明具有低功耗系統(tǒng)穩(wěn)定的優(yōu)點(diǎn)。由于系統(tǒng)功耗低，容易采用POE供電，對(duì)線纜要求也很低，工程實(shí)施和運(yùn)維成本下降。

4.本發(fā)明中車輛檢測(cè)算法在攝像機(jī)前端實(shí)現(xiàn)，超分辨率增強(qiáng)、牌照識(shí)別、車型識(shí)別、視頻濃縮等算法在平臺(tái)端實(shí)現(xiàn)，平臺(tái)軟件一般是運(yùn)行在機(jī)房里的服務(wù)器上，工作條件很好，維護(hù)升級(jí)也容易。把智能處理、數(shù)據(jù)挖據(jù)放到平臺(tái)上，使得系統(tǒng)的功能擴(kuò)展非常靈活

5.本發(fā)明中視頻攝像機(jī)輸出一路碼流就可以兼顧測(cè)量檢測(cè)抓拍和視頻錄像功能，確保抓拍圖像和錄像視頻具備一致的視場(chǎng)、曝光和色彩均衡，抓拍行為和關(guān)聯(lián)錄像由同一個(gè)軟件平臺(tái)負(fù)責(zé)執(zhí)行，大大方便了后續(xù)的視頻檢索、信息聯(lián)動(dòng)和數(shù)據(jù)挖掘，因此具有效率高、場(chǎng)景一致的優(yōu)點(diǎn)。

6.容易個(gè)性化應(yīng)用開(kāi)發(fā)，通常情況下軟件平臺(tái)的應(yīng)用方式更為靈活，考慮到抓拍模塊從相機(jī)硬件端移植到了后臺(tái)軟件平臺(tái)，本發(fā)明方案的應(yīng)用性也隨之更為靈活，可以更進(jìn)一步滿足用戶的個(gè)性化定制需求。系統(tǒng)聯(lián)動(dòng)擴(kuò)展方便，軟件平臺(tái)的擴(kuò)展性要優(yōu)于硬件端，考慮到抓拍模塊從像機(jī)硬件端移植到了后臺(tái)平臺(tái)軟件，具體項(xiàng)目實(shí)施過(guò)程中可以滿足一個(gè)識(shí)別信號(hào)驅(qū)動(dòng)多路抓拍等系統(tǒng)聯(lián)動(dòng)擴(kuò)展功能。同時(shí)，也可以根據(jù)不同的需求場(chǎng)景實(shí)現(xiàn)一個(gè)識(shí)別信號(hào)驅(qū)動(dòng)多個(gè)抓拍、無(wú)信號(hào)定時(shí)輪詢抓拍等各種復(fù)合功能。

附圖說(shuō)明

圖1是基于抓拍機(jī)和攝像機(jī)的雙機(jī)架構(gòu)解決方案的示意圖。

圖2是本發(fā)明提出的重型卡車視頻識(shí)別管理系統(tǒng)架構(gòu)圖。

圖3是從原始低分辨率視頻圖像序列采用時(shí)空濾波運(yùn)動(dòng)模型增強(qiáng)重建出流超分辨率圖像的示意圖。

圖4是本發(fā)明軟抓拍方案的實(shí)施示意圖。

具體實(shí)施方式

現(xiàn)結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步的說(shuō)明。

如圖1所示，基于抓拍機(jī)和攝像機(jī)的雙機(jī)架構(gòu)解決方案中，考慮到抓拍圖片和錄像數(shù)據(jù)是來(lái)自不同的前端抓取設(shè)備，饋電和傳輸線路需要兩套，通信帶寬需要增加。另外，兩個(gè)圖像采集源不同，視野和畫質(zhì)很難一樣，為后續(xù)的信息管理和人工處理帶來(lái)其他的問(wèn)題。由于圖片和視頻需要同步，項(xiàng)目實(shí)際運(yùn)維過(guò)程中，往往會(huì)需要人工查找錄像來(lái)匹配與之抓拍的圖片，實(shí)際使用效率會(huì)進(jìn)一步降低。當(dāng)前車道監(jiān)控?cái)z像機(jī)加車牌識(shí)別抓拍機(jī)的部署方案的成本較高、部署復(fù)雜。因抓拍照片和錄像視頻需要同步，系統(tǒng)的復(fù)雜性進(jìn)一步增加。

圖2是本發(fā)明提出的重型卡車視頻識(shí)別管理系統(tǒng)架構(gòu)圖。其關(guān)鍵點(diǎn)是系統(tǒng)只采用一臺(tái)普通的視頻攝像機(jī)配合平臺(tái)軟件，實(shí)現(xiàn)車輛檢測(cè)、牌照抓拍、圖像超分辨率增強(qiáng)、牌照識(shí)別、視頻錄像、視頻濃縮等全部功能。本系統(tǒng)中，在普通的視頻攝像機(jī)中植入運(yùn)算量較小、對(duì)后續(xù)傳輸、數(shù)據(jù)檢索、解碼、信息挖掘幫助很大的卡車檢測(cè)算法，輸出卡車檢測(cè)信息。視頻攝像機(jī)在錄像的時(shí)候，當(dāng)檢測(cè)到重型卡車，立刻送無(wú)壓縮圖片到平臺(tái)，平臺(tái)負(fù)責(zé)拍照識(shí)別，視頻標(biāo)簽、視頻濃縮(車輛通過(guò)卡口前后的短視頻)。后端平臺(tái)上運(yùn)行牌照識(shí)別算法模塊，對(duì)前端攝像機(jī)送過(guò)來(lái)的圖片進(jìn)行拍照識(shí)別，牌照信息用于視頻標(biāo)簽、視頻濃縮和其他數(shù)據(jù)管理、信息挖掘。

當(dāng)視頻像機(jī)送過(guò)來(lái)的圖片不夠清晰導(dǎo)致牌照識(shí)別失敗或者識(shí)別置信度不高的時(shí)候，平臺(tái)軟件立刻啟動(dòng)基于濃縮視頻流的超分辨率時(shí)空增強(qiáng)算法，減少圖像模糊，提高圖像分辨率。把超分辨率增強(qiáng)后的圖片，送到牌照識(shí)別模塊。前端攝像機(jī)由于任務(wù)少、簡(jiǎn)單，容易做到穩(wěn)定，攝像機(jī)一般安裝在高處，一旦出了問(wèn)題維護(hù)成本非常高。平臺(tái)軟件一般是運(yùn)行在機(jī)房里的服務(wù)器上，工作條件很好，維護(hù)升級(jí)也容易。把智能處理、數(shù)據(jù)挖據(jù)放到平臺(tái)上，對(duì)系統(tǒng)的功能擴(kuò)展非常靈活。

通過(guò)攝像機(jī)實(shí)現(xiàn)一部分算法，平臺(tái)實(shí)現(xiàn)另一部分算法，符合分布式云計(jì)算的理念，技術(shù)算法識(shí)別，基本的錄像視頻數(shù)據(jù)還是與保障的。超分辨率圖像增強(qiáng)，輸出的超分辨率圖像比前端抓取的圖像分辨率高很多，并且是解決運(yùn)動(dòng)模糊問(wèn)題有效手段，但是算法非常復(fù)雜，運(yùn)算量很大，本系統(tǒng)中是按需執(zhí)行的，只有來(lái)自前端圖像質(zhì)量不滿足要求時(shí)候才會(huì)執(zhí)行，所以系統(tǒng)負(fù)荷不會(huì)帶來(lái)很大的提升。

通用視頻攝像機(jī)完成重卡目標(biāo)識(shí)別又能保證常規(guī)實(shí)況錄像。這樣攝像機(jī)上運(yùn)行的算法簡(jiǎn)單、數(shù)據(jù)吞吐少，功耗低(一般在3瓦以下)，系統(tǒng)穩(wěn)定。牌照識(shí)別與圖像增強(qiáng)等運(yùn)算復(fù)雜度高,數(shù)據(jù)檢索與信息挖掘等邏輯靈活的部分由后臺(tái)系統(tǒng)程序去執(zhí)行。

車型自動(dòng)檢測(cè)技術(shù)是一門集數(shù)字圖像處理、模式識(shí)別、工業(yè)測(cè)控的系統(tǒng)工程技術(shù)于一體的綜合技術(shù)。要實(shí)現(xiàn)車輛自動(dòng)檢測(cè)、分類，需要做的第一步是探測(cè)、提取車輛的多維特征信息。

車型識(shí)別主要有輪廓掃描法、車軸計(jì)數(shù)法、磁場(chǎng)變化法和基于視頻圖像處理的方法等。本發(fā)明中的系統(tǒng)方案采用基于視頻圖像處理的方法實(shí)現(xiàn)重卡識(shí)別。以道路/卡口視頻圖像為分析對(duì)象，通過(guò)對(duì)設(shè)定區(qū)域的圖像進(jìn)行分析，利用視頻攝像機(jī)采集到的數(shù)據(jù)獲取車前、車后和車身側(cè)面等不同方位的圖像，然后通過(guò)降噪處理、邊緣檢測(cè)從視頻圖像中提取車輛的總長(zhǎng)、高度、長(zhǎng)高比、頂篷相對(duì)位置、頂長(zhǎng)比等特征量，最后進(jìn)行模式分類，判斷出汽車的車型。

本重型卡車攝像識(shí)別系統(tǒng)整體流程如圖4所示，是基于典型的視頻監(jiān)控平臺(tái)，配合使用流媒體服務(wù)器、設(shè)備關(guān)聯(lián)服務(wù)器和存儲(chǔ)服務(wù)器，可以簡(jiǎn)單、高效地實(shí)現(xiàn)重型卡車視頻攝像識(shí)別管理功能。具體的過(guò)程是：前端攝像機(jī)在攝錄過(guò)程中檢測(cè)到重型卡車的時(shí)候會(huì)觸發(fā)一個(gè)關(guān)聯(lián)信號(hào)給后端平臺(tái)軟件；平臺(tái)軟件在接收到攝像機(jī)端的檢測(cè)信號(hào)后同時(shí)觸發(fā)3個(gè)動(dòng)作：一項(xiàng)是負(fù)責(zé)常規(guī)報(bào)警聯(lián)動(dòng)處理(包含聯(lián)動(dòng)云臺(tái)控制、實(shí)況上墻、SMS消息發(fā)送、微信發(fā)送、Email發(fā)送等動(dòng)作)；第二項(xiàng)是負(fù)責(zé)處理抓拍動(dòng)作的執(zhí)行操作；第三項(xiàng)是負(fù)責(zé)記錄關(guān)聯(lián)存儲(chǔ)錄像的標(biāo)識(shí)。

其中執(zhí)行圖像抓拍識(shí)別的動(dòng)作可以分解為以下幾個(gè)步驟：

1)收到來(lái)自攝像機(jī)的檢測(cè)到重卡信號(hào)；

2)接受來(lái)自攝像機(jī)的抓拍圖像，對(duì)檢測(cè)到車輛的前后視頻截取，作為濃縮視頻存儲(chǔ)；

3)圖像質(zhì)量分析QA、牌照識(shí)別、車型分類，獲圖像質(zhì)量信息與識(shí)別分類置信度RA；

4)如果QA和RA都滿足預(yù)先設(shè)定的閾值，直接進(jìn)入第7)數(shù)據(jù)管理步驟，否則觸發(fā)超分辨率圖像增強(qiáng)，并識(shí)別牌照

5)對(duì)濃縮視頻解碼到Y(jié)UV無(wú)壓縮圖片，結(jié)合前端抓拍圖像，啟動(dòng)超分辨率增強(qiáng)算法，采用時(shí)空濾波運(yùn)動(dòng)重建算法獲得超分辨率抓拍時(shí)刻現(xiàn)場(chǎng)圖像；

6)對(duì)超分辨率圖像進(jìn)行圖像質(zhì)量分析、牌照識(shí)別、車型分類，獲圖像質(zhì)量信息與識(shí)別分類置信度；

7)視頻中標(biāo)識(shí)關(guān)聯(lián)標(biāo)簽、牌照、置信度、車輛描述等信息；

基于上述前端加后臺(tái)的處理系統(tǒng)方案不僅能夠完成抓拍圖像識(shí)別牌照等功能，還能快速定位到關(guān)聯(lián)的視頻錄像。為事后分析相關(guān)事件帶來(lái)了極大的方便性。

基于原始的低分辨率視頻圖像序列，采用時(shí)空濾波運(yùn)動(dòng)模型，增強(qiáng)重建出流超分辨率圖像的原理如圖3所示。

需要說(shuō)明的是，本發(fā)明所提供的上述實(shí)施例僅具有示意性，不具有限定本發(fā)明的具體實(shí)施的范圍的作用。本發(fā)明的保護(hù)范圍應(yīng)包括那些對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的變換或替代方案。