專利名稱：多攝像頭無(wú)人車視覺感知系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于自主行駛和視覺感知技術(shù)領(lǐng)域，具體涉及ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，可用于無(wú)人駕駛汽車和自主移動(dòng)車輛的視覺感知和圖像處理。
背景技術(shù)：
近年來(lái)，各種可以自主移動(dòng)的中小型車輛和機(jī)器人開始進(jìn)人工業(yè)生產(chǎn)、安防和家庭服務(wù)等領(lǐng)域。而為了研究汽車的自主行駛技術(shù)，各種微型無(wú)人車仿真驗(yàn)證系統(tǒng)也被ー些科研院所開發(fā)出來(lái)。視覺感知技術(shù)是自主車輛和移動(dòng)機(jī)器人的關(guān)鍵技術(shù)，在環(huán)境感知和導(dǎo)航領(lǐng)域較其他傳統(tǒng)傳感器感知技術(shù)具有明顯的優(yōu)勢(shì)。視覺感知技術(shù)在エ業(yè)生產(chǎn)、交通運(yùn)輸、醫(yī)療服務(wù)等領(lǐng)域也得到了廣泛的應(yīng)用，具有很好的應(yīng)用前景。由于中小型自主移動(dòng)車輛和機(jī)器人尺寸和開發(fā)成本的限制，導(dǎo)致無(wú)法使用高檔的 運(yùn)算處理系統(tǒng)，一般采用采用單片機(jī)、dsp等微控制器，處理程序?yàn)閱尉€程程序，不能滿足多任務(wù)的圖像處理系統(tǒng)的需求，并且可擴(kuò)展性和實(shí)時(shí)性不強(qiáng)。傳統(tǒng)的無(wú)人車圖像處理技術(shù)中，對(duì)車道線的識(shí)別常用擬合法、邊沿搜索等方法，這些方法對(duì)于道路線部分被遮擋的情況處理效果不佳；對(duì)于障礙物、錐桶、交通燈等的識(shí)別檢測(cè)常常使用模板匹配和神經(jīng)網(wǎng)絡(luò)等方法，耗費(fèi)資源且影響系統(tǒng)實(shí)時(shí)性。當(dāng)前的視覺平臺(tái)調(diào)試時(shí)需要使用電纜連接車上的設(shè)備或者通過無(wú)線串ロ遠(yuǎn)程傳輸少量的圖像信息，給系統(tǒng)的調(diào)試帶來(lái)較大不便。此外，當(dāng)前的自主移動(dòng)車輛或者微型無(wú)人車系統(tǒng)多采用普通單攝像頭進(jìn)行視覺感知和導(dǎo)航，視野范圍較窄；而采用廣角鏡頭的系統(tǒng)需要耗費(fèi)較大精力處理鏡頭產(chǎn)生的畸變，并且視野范圍無(wú)法調(diào)整；此外也無(wú)法自由控制采集圖像的分辨率以實(shí)現(xiàn)效率最大化。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服現(xiàn)有微型無(wú)人車和自主移動(dòng)機(jī)器人的圖像處理系統(tǒng)感知算法単一且實(shí)時(shí)性不強(qiáng)、系統(tǒng)擴(kuò)展性差、調(diào)試不便以及視野范圍控制的局限性等問題，提出一種多攝像頭無(wú)人車視覺感知系統(tǒng)，該系統(tǒng)經(jīng)濟(jì)、可靠，擴(kuò)展性好，對(duì)于仿真交通環(huán)境的感知和識(shí)別具有很好的實(shí)時(shí)性，可應(yīng)用于智能仿真車輛和小型自主移動(dòng)機(jī)器人的環(huán)境感知和導(dǎo)航。本發(fā)明所采用的技術(shù)方案是一種多攝像頭無(wú)人車視覺感知系統(tǒng)，包括車載視覺感知系統(tǒng)、無(wú)線網(wǎng)絡(luò)設(shè)備和遠(yuǎn)程調(diào)試監(jiān)控系統(tǒng)；其中車載視覺感知系統(tǒng)包括多個(gè)車載圖像處理工控機(jī)，每個(gè)車載圖像處理工控機(jī)接有三個(gè)攝像頭；遠(yuǎn)程調(diào)試監(jiān)控系統(tǒng)包括ー個(gè)或多個(gè)調(diào)試監(jiān)控計(jì)算機(jī)通過無(wú)線路由器控制車載圖像處理工控機(jī)，經(jīng)遠(yuǎn)程登錄進(jìn)行車輛運(yùn)行的遠(yuǎn)程監(jiān)控和在線程序調(diào)試，所述控制方式可以是冗余控制也可以是分別控制。如上所述的ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，其中所述系統(tǒng)運(yùn)行前，將三個(gè)攝像頭根據(jù)需要感知的視野范圍安裝固定在ー個(gè)自主移動(dòng)車輛上，然后通過某幅圖像中幾個(gè)點(diǎn)的像素距離參數(shù)和對(duì)應(yīng)的實(shí)際距離參數(shù)確定像平面坐標(biāo)系和世界坐標(biāo)系的對(duì)應(yīng)關(guān)系矩陣。如上所述的ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，其中所述系統(tǒng)中采取ー種基于多線程的優(yōu)化的視覺感知方法，包括多個(gè)線程，分別是主線程，攝像頭A視頻采集線程，攝像頭B視頻采集線程，攝像頭C視頻采集線程，車道線感知線程，障礙物、錐桶和信號(hào)燈感知線程，交通標(biāo)志感知線程，綜合控制決策線程，圖像和運(yùn)算結(jié)果顯示線程。如上所述的ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，其中所述主線程進(jìn)行系統(tǒng)的初始化以及各個(gè)分線程的創(chuàng)建，初始化包括圖像存儲(chǔ)空間的聲明、串ロ的初始化設(shè)置、靜態(tài)變量參數(shù)聲明；各個(gè)分線程創(chuàng)建后，主線程進(jìn)入等待狀態(tài)，等待圖像和運(yùn)算結(jié)果顯示線程結(jié)束；圖像和運(yùn)算結(jié)果顯示線程不斷檢測(cè)調(diào)試監(jiān)控計(jì)算機(jī)發(fā)送的指令，若收到退出指令，則線程跳出循環(huán)結(jié)束，同時(shí)觸發(fā)主線程結(jié)束并釋放內(nèi)存。 如上所述的ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，其中所述車道線感知線程進(jìn)行車道線的感知和偏航角的計(jì)算，包括如下步驟(4. I)將RGB圖像灰度化得到灰度圖像，將灰度圖像ニ值化得到ニ值圖像；(4. 2)膨脹腐蝕減少噪點(diǎn)，通過canny邊沿檢測(cè)得到邊沿圖像，減小后面霍夫變換的計(jì)算量；(4. 3)對(duì)邊沿圖像進(jìn)行霍夫直線檢測(cè)，得到圖像中所有直線的極坐標(biāo)方程的參數(shù)；(4. 4)遍歷所有直線，進(jìn)行坐標(biāo)變換并投影映射到世界坐標(biāo)系下，找到斜率在設(shè)定范圍內(nèi)并且距離車頭最近的線作為車道線。如上所述的ー種多攝像頭無(wú)人車視覺感知系統(tǒng)，其中所述(4. I)步驟中二值化方法為將圖像按行從上到下分成4個(gè)部分，每個(gè)部分都找到最大三個(gè)灰度值和最小的三個(gè)灰度值，取其平均值作為最終閾值，如果最大最小閾值的差值小于某個(gè)經(jīng)驗(yàn)值則按上一部分得出的閾值計(jì)算；如果圖像第一部分對(duì)比度較差，則第一部分使用某個(gè)固定初始閾值TH開始計(jì)算，待求閾值計(jì)算如下
權(quán)利要求
1.一種多攝像頭無(wú)人車視覺感知系統(tǒng)，包括車載視覺感知系統(tǒng)、無(wú)線網(wǎng)絡(luò)設(shè)備和遠(yuǎn)程調(diào)試監(jiān)控系統(tǒng)；其中車載視覺感知系統(tǒng)包括多個(gè)車載圖像處理工控機(jī)(1)，每個(gè)車載圖像處理工控機(jī)接有三個(gè)攝像頭(2 );遠(yuǎn)程調(diào)試監(jiān)控系統(tǒng)包括一個(gè)或多個(gè)調(diào)試監(jiān)控計(jì)算機(jī)(4 )通過無(wú)線路由器(3)控制車載圖像處理工控機(jī)(2)，經(jīng)遠(yuǎn)程登錄進(jìn)行車輛運(yùn)行的遠(yuǎn)程監(jiān)控和在線程序調(diào)試，所述控制方式可以是冗余控制也可以是分別控制。
2.根據(jù)權(quán)利要求I所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述系統(tǒng)運(yùn)行前，將三個(gè)攝像頭根據(jù)需要感知的視野范圍安裝固定在一個(gè)自主移動(dòng)車輛上，然后通過某幅圖像中幾個(gè)點(diǎn)的像素距離參數(shù)和對(duì)應(yīng)的實(shí)際距離參數(shù)確定像平面坐標(biāo)系和世界坐標(biāo)系的對(duì)應(yīng)關(guān)系矩陣。
3.根據(jù)權(quán)利要求I所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述系統(tǒng)中采取一種基于多線程的優(yōu)化的視覺感知方法，包括多個(gè)線程，分別是主線程，攝像頭A視頻采集線程，攝像頭B視頻采集線程，攝像頭C視頻采集線程，車道線感知線程，障礙物、錐桶和信號(hào)燈感知線程，交通標(biāo)志感知線程，綜合控制決策線程，圖像和運(yùn)算結(jié)果顯示線程。
4.根據(jù)權(quán)利要求3所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述主線程進(jìn)行系統(tǒng)的初始化以及各個(gè)分線程的創(chuàng)建，初始化包括圖像存儲(chǔ)空間的聲明、串口的初始化設(shè)置、靜態(tài)變量參數(shù)聲明；各個(gè)分線程創(chuàng)建后，主線程進(jìn)入等待狀態(tài)，等待圖像和運(yùn)算結(jié)果顯示線程結(jié)束；圖像和運(yùn)算結(jié)果顯示線程不斷檢測(cè)調(diào)試監(jiān)控計(jì)算機(jī)(4)發(fā)送的指令，若收到退出指令，則線程跳出循環(huán)結(jié)束，同時(shí)觸發(fā)主線程結(jié)束并釋放內(nèi)存。
5.根據(jù)權(quán)利要求3所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述車道線感知線程進(jìn)行車道線的感知和偏航角的計(jì)算，包括如下步驟 (4. I)將RGB圖像灰度化得到灰度圖像，將灰度圖像二值化得到二值圖像； (4. 2)膨脹腐蝕減少噪點(diǎn)，通過canny邊沿檢測(cè)得到邊沿圖像，減小后面霍夫變換的計(jì)禪且算里； (4. 3)對(duì)邊沿圖像進(jìn)行霍夫直線檢測(cè)，得到圖像中所有直線的極坐標(biāo)方程的參數(shù)； (4. 4)遍歷所有直線，進(jìn)行坐標(biāo)變換并投影映射到世界坐標(biāo)系下，找到斜率在設(shè)定范圍內(nèi)并且距離車頭最近的線作為車道線。
6.根據(jù)權(quán)利要求5所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述(4.I)步驟中二值化方法為將圖像按行從上到下分成4個(gè)部分，每個(gè)部分都找到最大三個(gè)灰度值和最小的三個(gè)灰度值，取其平均值作為最終閾值，如果最大最小閾值的差值小于某個(gè)經(jīng)驗(yàn)值則按上一部分得出的閾值計(jì)算；如果圖像第一部分對(duì)比度較差，則第一部分使用某個(gè)固定初始閾值TH開始計(jì)算，待求閾值計(jì)算如下 y(high[i] + !ow[i]) th=上2- In 其中，th為待求閾值，high[i], low[i]分別是最大和最小的η個(gè)閾值。
7.根據(jù)權(quán)利要求3所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述障礙物、錐桶和信號(hào)燈感知線程，具體分為 (5. I)將RGB圖像轉(zhuǎn)化為HSV圖像； (5. 2)根據(jù)三種目標(biāo)各自的具體特征進(jìn)行識(shí)別；根據(jù)車道線將前方的障礙物分為車道內(nèi)和車道外，根據(jù)顏色、面積和位置判斷物體是否是車道上的障礙物，對(duì)于車道內(nèi)的障礙物進(jìn)行躲避；錐桶的位置在兩個(gè)車道線之內(nèi)，每個(gè)錐桶有紅、白、紅三塊區(qū)域，三塊區(qū)域從下到上依次減小，并且錐桶一次放置多于兩個(gè)，否則不是錐桶；交通燈在圖像中呈現(xiàn)為紅色圓形聯(lián)通區(qū)域，區(qū)域中間有亮度很高的白色區(qū)域，交通信號(hào)燈位于圖像的中上方。
8.根據(jù)權(quán)利要求3所述的一種多攝像頭無(wú)人車視覺感知系統(tǒng)，其特征在于所述交通標(biāo)志感知線程,分為如下步驟 (6. I)圖像預(yù)處理將原來(lái)的RGB圖像轉(zhuǎn)換成HSV空間的圖像，并分別分割出紅、藍(lán)、黃三種顏色區(qū)域；(6. 2)交通標(biāo)志分類根據(jù)顏色、形狀將交通標(biāo)志分為紅色禁令標(biāo)志、藍(lán)色指示標(biāo)志、黃色警告標(biāo)志； (6. 3)通過模板匹配進(jìn)行交通標(biāo)志識(shí)別；縮小分類后的圖像區(qū)域，將該區(qū)域轉(zhuǎn)換成二值圖像后與對(duì)應(yīng)類別內(nèi)的模板匹配，找出相似度最高的標(biāo)志模板。
全文摘要
本發(fā)明屬于自主行駛和視覺感知技術(shù)領(lǐng)域，具體涉及一種多攝像頭無(wú)人車視覺感知系統(tǒng)。目的是為了克服現(xiàn)有微型無(wú)人車和自主移動(dòng)機(jī)器人的圖像處理系統(tǒng)感知算法單一且實(shí)時(shí)性不強(qiáng)、系統(tǒng)擴(kuò)展性差、調(diào)試不便以及視野范圍控制的局限性等問題。該系統(tǒng)包括多個(gè)車載圖像處理工控機(jī)，每個(gè)車載圖像處理工控機(jī)接有三個(gè)攝像頭；一個(gè)或多個(gè)調(diào)試監(jiān)控計(jì)算機(jī)通過無(wú)線路由器控制車載圖像處理工控機(jī)，控制方式可以是冗余控制也可以是分別控制。該系統(tǒng)中采取一種基于多線程的優(yōu)化的視覺感知方法，包括多攝像頭視頻采集線程，車道線感知線程，障礙物、錐桶和信號(hào)燈感知線程等。較傳統(tǒng)的單線程視覺感知方法有更高的實(shí)時(shí)性、穩(wěn)定性和可擴(kuò)展性。
文檔編號(hào)G05D1/02GK102819263SQ20121026625
公開日2012年12月12日 申請(qǐng)日期2012年7月30日 優(yōu)先權(quán)日2012年7月30日
發(fā)明者張典國(guó), 劉同林, 湯曉磊, 許朋飛 申請(qǐng)人:中國(guó)航天科工集團(tuán)第三研究院第八三五七研究所