專(zhuān)利名稱(chēng)：環(huán)境識(shí)別裝置及環(huán)境識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于檢測(cè)區(qū)域的對(duì)象物的亮度而識(shí)別該對(duì)象物的環(huán)境識(shí)別裝置及環(huán)境識(shí)別方法。
背景技術(shù)：
以往，檢測(cè)位于本車(chē)輛前方的車(chē)輛或信號(hào)燈等所謂障礙物的對(duì)象物，并對(duì)本車(chē)輛進(jìn)行控制以避免與所檢測(cè)出的對(duì)象物發(fā)生碰撞或使本車(chē)輛與前行車(chē)輛的車(chē)距保持在安全距離的技術(shù)已被為人所知(例如，專(zhuān)利文獻(xiàn)1、2)。
而且，在這種技術(shù)中，不僅將對(duì)象物一律特定為物體，而且為了進(jìn)行更高精度的控制，還存在判斷對(duì)象物是以與本車(chē)輛相同的速度行駛的前行車(chē)輛，還是不移動(dòng)的被固定的物體等的技術(shù)。這里，當(dāng)通過(guò)對(duì)檢測(cè)區(qū)域的拍攝而檢測(cè)出對(duì)象物時(shí),在特定對(duì)象物為何物之前，應(yīng)從所拍攝的圖像中提取(剪切)對(duì)象物本身。
周知的技術(shù)例如有當(dāng)所拍攝的圖像為彩色圖像時(shí)，將具有相同的亮度(顏色)的像素群組化，并將信號(hào)燈等的光源識(shí)別為對(duì)象物的技術(shù)(例如，專(zhuān)利文獻(xiàn)3)。但是，這樣的對(duì)象物受到太陽(yáng)光或照明光等的環(huán)境光的影響，顏色有可能發(fā)生變化。因此，為了消除環(huán)境光的影響，可以考慮對(duì)所拍攝的圖像實(shí)施白平衡補(bǔ)償。周知的技術(shù)例如有從拍攝的圖像中提取相當(dāng)于道路面的區(qū)域進(jìn)行白平衡補(bǔ)償?shù)募夹g(shù)。
現(xiàn)有技術(shù)文獻(xiàn)
專(zhuān)利文獻(xiàn)
專(zhuān)利文獻(xiàn)I :日本專(zhuān)利第3349060號(hào)
專(zhuān)利文獻(xiàn)2 :日本特開(kāi)平10-283461號(hào)公報(bào)
專(zhuān)利文獻(xiàn)3 :日本特開(kāi)2010-224925號(hào)公報(bào)
專(zhuān)利文獻(xiàn)4 :日本特開(kāi)2006-33855號(hào)公報(bào)
當(dāng)本車(chē)輛在道路上行駛時(shí)，大多數(shù)情況下道路占有檢測(cè)區(qū)域內(nèi)，因此最好進(jìn)行如下的補(bǔ)償，即，提取相當(dāng)于道路面的區(qū)域，并以該道路面為灰色為前提，進(jìn)行使道路面變成灰色的白平衡補(bǔ)償。但是，在一般的道路面上，還有代表學(xué)校區(qū)域的被覆上灰色以外的顏色 (例如綠色)的道路面。當(dāng)進(jìn)行將這樣的被覆上灰色以外的顏色的道路面單純地變換為灰色的白平衡補(bǔ)償時(shí)，檢測(cè)區(qū)域內(nèi)的白平衡會(huì)變亂。
為了避免發(fā)生這樣的情況，可以基于被覆上灰色以外的顏色的道路相比灰色的道路少的情況，考慮借助低通濾波器等，排除這樣的道路。但是，被覆上灰色以外的色顏色的道路并不一定一律為短道路，因此難以將低通濾波器的參數(shù)唯一地定義。并且，在隧道的入口等的環(huán)境光急劇變化的情況下，濾波器的延遲有可能影響控制的響應(yīng)性。發(fā)明內(nèi)容
本發(fā)明是鑒于這種問(wèn)題而提出的，其目的在于提供一種能夠在不伴隨響應(yīng)延遲的情況下恰當(dāng)?shù)貙?shí)現(xiàn)白平衡補(bǔ)償?shù)沫h(huán)境識(shí)別裝置和環(huán)境識(shí)別方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明的環(huán)境識(shí)別裝置的特征在于包括數(shù)據(jù)存儲(chǔ)單元，對(duì)應(yīng)地存儲(chǔ)亮度的范圍和特定物；亮度獲取單元，獲取存在于檢測(cè)區(qū)域內(nèi)的對(duì)象部位的亮度； 亮度特定單元，從所獲取的亮度中特定道路面的亮度以及道路面以外的預(yù)定的參照部位的亮度；白平衡導(dǎo)出單元，導(dǎo)出白平衡補(bǔ)償值，以使道路面的亮度被識(shí)別為預(yù)定顏色；白平衡執(zhí)行單元，對(duì)所獲取的亮度實(shí)施基于白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度；特定物初步確定單兀，基于數(shù)據(jù)存儲(chǔ)單兀所存儲(chǔ)的売度的范圍和特定物之間的對(duì)應(yīng)關(guān)系，從對(duì)象部位的補(bǔ)償亮度初步確定對(duì)應(yīng)于對(duì)象部位的特定物，而且當(dāng)在參照部位的亮度變化沒(méi)有達(dá)到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達(dá)到第一預(yù)定值以上，且道路面的變化后的亮度不是預(yù)定顏色時(shí)，白平衡導(dǎo)出單元從變化時(shí)間點(diǎn)開(kāi)始至道路面的亮度返回到預(yù)定顏色為止維持變化之前的白平衡補(bǔ)償值。
而且，參照部位可以為檢測(cè)區(qū)域內(nèi)的道路面上的限制行駛路的線。
而且，道路面可以基于參照部位設(shè)為參照部位的鄰近區(qū)域。
而且，白平衡導(dǎo)出單元可通過(guò)求出檢測(cè)區(qū)域中的預(yù)定的第一部分區(qū)域的不同時(shí)刻的、道路面的亮度以及參照部位的亮度而導(dǎo)出道路面的亮度的變化。
而且，白平衡導(dǎo)出單元可通過(guò)分別求出檢測(cè)區(qū)域中的預(yù)定的第一部分區(qū)域和檢測(cè)區(qū)域中的與第一部分區(qū)域沿高度方向分隔的第二部分區(qū)域的道路面的亮度以及參照部位的亮度而導(dǎo)出道路面的亮度的變化。
而且，當(dāng)?shù)缆访娴牧炼葹樽畲蠡蜃钚〉纳嘀忻恳粋€(gè)的差值之間的差值為第三預(yù)定值以上時(shí)，白平衡導(dǎo)出單元判斷為亮度發(fā)生了變化。
而且，白平衡導(dǎo)出單元可以求出道路面的每個(gè)色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成最大值的比率設(shè)為白平衡補(bǔ)償值。
而且，白平衡導(dǎo)出單元可以求出道路面的每個(gè)色相的亮度為第二大的值，將使與亮度為第二大的色相不同的色相的亮度變成第二大的值的比率設(shè)為白平衡補(bǔ)償值。
而且，白平衡導(dǎo)出單元可以求出道路面的每個(gè)色相的亮度的最小值，將使與亮度為最大值的色相不同的色相的亮度變成最小值的比率設(shè)為白平衡補(bǔ)償值。
而且，亮度特定單元可以從檢測(cè)區(qū)域內(nèi)的、基于先行車(chē)輛或車(chē)輛前方的特定物的位置而被限制在鉛直方向的預(yù)定區(qū)域特定道路面的亮度和參照部位的亮度。
為了實(shí)現(xiàn)上述目的，本發(fā)明的環(huán)境識(shí)別方法的特征在于，獲取存在于檢測(cè)區(qū)域內(nèi)的對(duì)象部位的亮度；從所獲取的亮度中特定道路面的亮度以及道路面以外的預(yù)定的參照部位的亮度；當(dāng)在參照部位的亮度變化沒(méi)有達(dá)到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達(dá)到第一預(yù)定值以上，且道路面的變化后的亮度不是預(yù)定顏色時(shí)，從變化時(shí)間點(diǎn)開(kāi)始至道路面的亮度返回到預(yù)定顏色為止維持變化之前的白平衡補(bǔ)償值，而在除此之外的情況下，導(dǎo)出白平衡補(bǔ)償值，以使道路面的亮度被識(shí)別為預(yù)定顏色；對(duì)所獲取的亮度實(shí)施基于白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度；基于數(shù)據(jù)存儲(chǔ)單元所存儲(chǔ)的亮度的范圍與特定物之間的對(duì)應(yīng)關(guān)系，從對(duì)象部位的補(bǔ)償亮度初步確定對(duì)應(yīng)于對(duì)象部位的特定物。
根據(jù)本發(fā)明，能夠高精度地檢測(cè)出道路面的亮度的變化是因環(huán)境光而引起的還是因道路面本身的著色而引起的，而且能夠避免隨之而產(chǎn)生的響應(yīng)延遲的情況下恰當(dāng)?shù)貙?shí)現(xiàn)白平衡補(bǔ)償。


圖I為示出環(huán)境識(shí)別系統(tǒng)的連接關(guān)系的方框圖。
圖2為用于說(shuō)明亮度圖像和距離圖像的說(shuō)明圖。
圖3為示出環(huán)境識(shí)別裝置的概略功能的功能方框圖。
圖4為用于說(shuō)明特定物表格的說(shuō)明圖。
圖5為用于說(shuō)明白平衡導(dǎo)出單元的處理的說(shuō)明圖。
圖6為用于說(shuō)明通過(guò)位置信息獲取單元變換為三維位置信息的說(shuō)明圖。
圖7為用于說(shuō)明亮度特定單元的動(dòng)作的說(shuō)明圖。
圖8為用于說(shuō)明特定物映射圖的說(shuō)明圖。
圖9為表示環(huán)境識(shí)別方法的整個(gè)流程的流程圖。
圖10為表示白平衡補(bǔ)償值導(dǎo)出處理的流程的流程圖。
圖11為表示特定物映射圖生成處理的流程的流程圖。
圖12為表示群組化處理的流程的流程圖。
圖13為表示特定物確定處理的流程的流程圖。
圖14為表示白平衡準(zhǔn)備處理的流程的流程圖。
符號(hào)說(shuō)明
I :車(chē)輛
122 :檢測(cè)區(qū)域
124 :亮度圖像
126 :距離圖像
130 :環(huán)境識(shí)別裝置
152 :數(shù)據(jù)存儲(chǔ)單元
160 :亮度獲取單元
162 :白平衡導(dǎo)出單元
164 :白平衡執(zhí)行單元
166 :位置信息獲取單元
168 :亮度特定單元
170 :特定物初步確定單元
172 :群組化單元
174 :特定物確定單元
176 :圖案匹配單元
200 :特定物表格
202 :亮度范圍
220 :特定物映射圖具體實(shí)施方式
以下，參照附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。所涉及的實(shí)施方式中所示的尺寸、材料、其他具體數(shù)值等是僅僅是為了使發(fā)明容易理解而例示的，除了特別指定的情況之外，并不能用來(lái)限定本發(fā)明。在此，本說(shuō)明書(shū)及附圖中，對(duì)于具有實(shí)質(zhì)上相同的功能、結(jié)構(gòu)的CN 102975677 A書(shū)明說(shuō)4/16 頁(yè)
要素，通過(guò)賦予相同的符號(hào)的方式省略重復(fù)性說(shuō)明，而且對(duì)與本發(fā)明沒(méi)有直接關(guān)系的要素省略了圖示。
(環(huán)境識(shí)別系統(tǒng)100)
圖I為示出環(huán)境識(shí)別系統(tǒng)100的連接關(guān)系的方框圖。環(huán)境識(shí)別系統(tǒng)100包含設(shè)置在車(chē)輛I內(nèi)的多個(gè)(本實(shí)施方式中為兩個(gè))攝像裝置110、圖像處理裝置120、環(huán)境識(shí)別裝置130、車(chē)輛控制裝置140。
攝像裝置110包含電荷稱(chēng)合器件(CO), Charge-Coupled Device)或互補(bǔ)金素氧化半導(dǎo)體(CMOS, Complementary Metal-Oxide Semiconductor)等攝像器件，能夠獲取彩色圖像，即，像素單位中可獲取三個(gè)色相(紅、綠、藍(lán))的亮度。在本實(shí)施方式中，把顏色和亮度同等看待，在同一篇文章里包含兩個(gè)語(yǔ)句時(shí)，可相互交替讀取為構(gòu)成顏色的亮度或具有亮度的顏色。在此，由攝像裝置110所拍攝的彩色圖像稱(chēng)為亮度圖像，區(qū)別于后述的距離圖像。而且，攝像裝置110為兩個(gè)，兩個(gè)攝像裝置110在大致水平方向上分開(kāi)布置，以在車(chē)輛 I的行駛方向側(cè)兩個(gè)攝像裝置110各自的光軸大致平行。攝像裝置110每隔例如1/60秒 (60fps)連續(xù)生成拍攝車(chē)輛I前方的檢測(cè)區(qū)域中的對(duì)象物的圖像數(shù)據(jù)。這里，對(duì)象物不僅包括車(chē)輛、信號(hào)燈、道路、護(hù)欄等獨(dú)立存在的立體物，還包括尾燈或轉(zhuǎn)向指示燈、信號(hào)燈的各個(gè)照明部分等能夠特定為立體物的部分的物體。在以下實(shí)施方式中的各個(gè)功能單元以這種圖像數(shù)據(jù)的更新為契機(jī)執(zhí)行各種處理。
圖像處理裝置120從兩個(gè)攝像裝置110分別獲取圖像數(shù)據(jù)，并基于兩個(gè)圖像數(shù)據(jù)導(dǎo)出包含圖像中的任意區(qū)塊(集合預(yù)定數(shù)量的像素的區(qū)塊)的視差以及示出任意區(qū)塊在畫(huà)面中的位置的畫(huà)面位置的視差信息。圖像處理裝置120采用從另一個(gè)像素?cái)?shù)據(jù)搜索對(duì)應(yīng)于從一個(gè)圖像數(shù)據(jù)任意抽出的區(qū)塊(例如，水平4像素X垂直4像素的陣列)的區(qū)塊的所謂的圖案匹配而導(dǎo)出視差。在此，水平是指所拍攝的圖像的畫(huà)面橫向方向，相當(dāng)于實(shí)際空間中的水平方向。而且，垂直是指所拍攝的圖像的畫(huà)面縱向方向，相當(dāng)于實(shí)際空間中的豎直方向。
所述圖案匹配是指，在兩個(gè)圖像數(shù)據(jù)之間以示出任意圖像位置的區(qū)塊單位比較亮度值(Y色差信號(hào))的方法。例如，包括求出亮度值的差值的絕對(duì)差值和(SAD，Sum of Absolute Difference)、將差值平方后使用的差值的平方和(SSD, Sum of Squared intensity Difference)、求出從各個(gè)像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(guān)(NCC, Normalized Cross Correlation)等方法。圖像處理裝置120對(duì)于被顯示在檢索區(qū)域(例如,600像素X200像素)的全部區(qū)塊執(zhí)行這種區(qū)塊單位的視差導(dǎo)出處理。在此，將區(qū)塊設(shè)定為4像素X4像素，但區(qū)塊內(nèi)的像素?cái)?shù)量可以任意地設(shè)定。
但是，在圖像處理裝置120中，雖然對(duì)作為檢測(cè)分辨率的單位的每個(gè)區(qū)塊能夠?qū)С鲆暡睿珶o(wú)法識(shí)別該區(qū)塊是哪種對(duì)象物的一部分。因此，視差信息不是對(duì)象物單位，而是作為檢測(cè)區(qū)域的檢測(cè)分辨率單位(例如區(qū)塊單位)而被獨(dú)立地導(dǎo)出。在此，將如此導(dǎo)出的視差信息(相當(dāng)于后述的相對(duì)距離)映射到圖像數(shù)據(jù)的圖像稱(chēng)為距離圖像。
圖2為用于說(shuō)明亮度圖像124和距離圖像126的說(shuō)明圖。例如，假設(shè)通過(guò)兩個(gè)攝像裝置110針對(duì)檢測(cè)區(qū)域122生成圖2(a)所示的亮度圖像(圖像數(shù)據(jù))124。但是，這里， 為了便于理解，僅模式性地示出兩個(gè)亮度圖像124中的一個(gè)。在本實(shí)施方式中，圖像處理裝置120從這種亮度圖像124求出每個(gè)區(qū)塊的視差，從而形成圖2(b)所示的距離圖像126。7對(duì)于距離圖像126中的各個(gè)區(qū)塊來(lái)說(shuō)，其區(qū)塊的視差相互關(guān)聯(lián)。在此，為了便于說(shuō)明，將導(dǎo)出視差的區(qū)塊以黑點(diǎn)表示。
對(duì)于視差來(lái)說(shuō)，容易在圖像的邊緣部分(相鄰像素之間明暗的差值較大的部分) 被特定，因此在距離圖像126中，賦予黑點(diǎn)的、導(dǎo)出視差的區(qū)塊在亮度圖像124中也大多形成邊緣。因此，圖2(a)所示的亮度圖像124和圖2(b)所示的距離圖像126在各個(gè)對(duì)象物的輪廓上相互近似。
環(huán)境識(shí)別裝置130從圖像處理裝置120獲得亮度圖像124和距離圖像126，并利用基于亮度圖像124的亮度特定檢測(cè)區(qū)域122中的對(duì)象物對(duì)應(yīng)于哪個(gè)特定物。但是，在本實(shí)施方式中，通過(guò)對(duì)亮度圖像124實(shí)施白平衡補(bǔ)償謀求提高對(duì)象物的特定精度。并且，為了特定對(duì)象物，還使用基于距離圖像126的與車(chē)輛I的相對(duì)距離。這時(shí)，環(huán)境識(shí)別裝置130利用所謂的立體視覺(jué)法將距離圖像126中的檢測(cè)區(qū)域122內(nèi)的每個(gè)區(qū)塊的視差信息變換為包含相對(duì)距離的三維位置信息。這里，立體視覺(jué)法是通過(guò)使用三角測(cè)量法從對(duì)象物的視差導(dǎo)出該對(duì)象物相對(duì)于攝像裝置110的相對(duì)距離的方法。對(duì)于環(huán)境識(shí)別裝置130將在后面詳述。
車(chē)輛控制裝置140執(zhí)行避免本車(chē)輛與通過(guò)環(huán)境識(shí)別裝置130特定的對(duì)象物碰撞或使本車(chē)輛與前行車(chē)輛的車(chē)間距保持在安全距離的控制。具體來(lái)說(shuō)，車(chē)輛控制裝置140通過(guò)用于檢測(cè)方向盤(pán)角度的舵角傳感器142和用于檢測(cè)車(chē)輛I的速度的車(chē)速傳感器144等獲得當(dāng)前的車(chē)輛I的行駛狀態(tài)，并通過(guò)控制致動(dòng)器146將車(chē)輛I與前行車(chē)輛的車(chē)間距保持在安全距離。在此，致動(dòng)器146是用于控制剎車(chē)、節(jié)氣閥、舵角等的車(chē)輛控制用致動(dòng)器。而且，當(dāng)推斷出將與對(duì)象物產(chǎn)生碰撞時(shí)，車(chē)輛控制裝置140在設(shè)置在駕駛者前方的顯示器148進(jìn)行相應(yīng)警告顯示(報(bào)警)的同時(shí)，控制致動(dòng)器146使車(chē)輛I自動(dòng)地減速。車(chē)輛控制裝置140 也可以與環(huán)境識(shí)別裝置130形成為一體。
(環(huán)境識(shí)別裝置130)
圖3為示出環(huán)境識(shí)別裝置130的概略的功能的功能方框圖。如圖3所示，環(huán)境識(shí)別裝置130包括I/F單元150、數(shù)據(jù)存儲(chǔ)單元152、中央控制單元154。
I/F單元150是用于與圖像處理裝置120和車(chē)輛控制裝置140進(jìn)行雙向信息交換的接口。數(shù)據(jù)存儲(chǔ)單元152由RAM、閃存、HDD等構(gòu)成，以用于存儲(chǔ)特定物表格(對(duì)應(yīng)關(guān)系) 或以下所示各個(gè)功能單元的處理中所必要的各種信息，而且暫時(shí)存儲(chǔ)從圖像處理裝置120 接收的亮度圖像124、距離圖像126。在此，特定物表格的使用方式如下。
圖4為用于說(shuō)明特定物表格200的說(shuō)明圖。在特定物表格200中，針對(duì)多個(gè)特定物對(duì)應(yīng)有表示亮度的范圍的亮度范圍202和表示特定物的大小的范圍的幅度范圍204。這里，作為特定物，可假設(shè)“信號(hào)燈(紅)”、“信號(hào)燈(黃)”、“信號(hào)燈(藍(lán))”、“尾燈(紅)”、 “轉(zhuǎn)向指示燈(橙)”、“道路標(biāo)識(shí)(紅)”、“道路標(biāo)識(shí)(藍(lán))”、“道路標(biāo)識(shí)(綠)”等在道路上行駛時(shí)需要看見(jiàn)的各種物體。當(dāng)然，特定物并不局限于圖4所示的物體。而且，特定物表格 200中，特定物的特定具有優(yōu)先順序，該環(huán)境識(shí)別處理依照該優(yōu)先順序，對(duì)于從特定物表格 200中的多個(gè)特定物中依次選擇出的每一個(gè)特定物執(zhí)行。特定物中，例如，特定物“信號(hào)燈 (紅)”中對(duì)應(yīng)著亮度(紅)“200以上”，亮度(綠)“50以下”，亮度(藍(lán))“50以下”，幅度范圍“O. I O. 3m”。
在本實(shí)施方式中，基于特定物表格200，在亮度圖像124內(nèi)的任意對(duì)象部位中滿足有關(guān)任意特定物的亮度范圍202的條件的對(duì)象部位成為特定物的候補(bǔ)。例如，當(dāng)對(duì)象部位的亮度被包含于特定物“信號(hào)燈(紅)”的亮度范圍202之內(nèi)時(shí)，將該對(duì)象部位作為“信號(hào)燈(紅)”的候補(bǔ)。并且，將對(duì)象部位群組化的對(duì)象物以類(lèi)似特定物的形態(tài)被提取時(shí)，例如， 被群組化的對(duì)象物的大小被包含在“信號(hào)燈(紅)”的幅度范圍“O. I O. 3m”之內(nèi)時(shí)，被判斷為特定物。被判斷為特定物的對(duì)象部位通過(guò)特定物固有的識(shí)別號(hào)被標(biāo)記。這里，對(duì)象部位假設(shè)為像素或集合像素的區(qū)塊，但本實(shí)施方式中，為了便于說(shuō)明，假設(shè)為像素。
中央控制單元154由包括中央處理器(CPU)、存儲(chǔ)有程序等的ROM、作為工作區(qū)的 RAM等的半導(dǎo)體集成電路構(gòu)成，通過(guò)系統(tǒng)總線156控制I/F單元150和數(shù)據(jù)存儲(chǔ)單元152 等。而且，在本實(shí)施方式中，中央控制單元154具有作為亮度獲取單元160、白平衡導(dǎo)出單元 162、白平衡執(zhí)行單元164、位置信息獲取單元166、亮度特定單元168、特定物初步確定單元 170、群組化單元172、特定物確定單元174、圖案匹配單元176的功能。
亮度獲取單元160根據(jù)后述的白平衡執(zhí)行單元164和特定物初步確定單元170的控制指令，從接收的亮度圖像124以對(duì)象部位(像素)單位獲取亮度(在像素單位中獲取三個(gè)色相(紅(R)、綠(G)、藍(lán)(B))的亮度)。并且，在后述的白平衡執(zhí)行單元164執(zhí)行白平衡補(bǔ)償之后，獲得其被補(bǔ)償?shù)难a(bǔ)償亮度。
白平衡導(dǎo)出單元162讀取存儲(chǔ)于數(shù)據(jù)存儲(chǔ)單元152的上一次獲得的道路面的亮度，導(dǎo)出白平衡補(bǔ)償值。然后，將所導(dǎo)出的白平衡補(bǔ)償值存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元152。
例如，由所述攝像裝置110拍攝的亮度圖像124中的物體相應(yīng)于環(huán)境光而有可能變成不自然的顏色(亮度)。這時(shí)，進(jìn)行對(duì)亮度圖像124內(nèi)的白色物體進(jìn)行補(bǔ)償而使其準(zhǔn)確地反映出白色的所謂白平衡補(bǔ)償。這樣的白平衡補(bǔ)償通過(guò)如下方式進(jìn)行，即，當(dāng)特定的對(duì)象物沒(méi)有表現(xiàn)出本應(yīng)有的亮度時(shí)，例如以色相單位(R，G，B)對(duì)亮度乘以白平衡補(bǔ)償值(r，g， b) (rXR，gXG，bXB)，以使特定的對(duì)象物表現(xiàn)為本應(yīng)有的亮度。但是，對(duì)于為進(jìn)行白平衡補(bǔ)償而參照的對(duì)象物而言，最好是在圖像上占有面積比較大的、能夠多少估計(jì)其亮度值的的對(duì)象物。
例如，白平衡導(dǎo)出單元162導(dǎo)出白平衡補(bǔ)償值，從而能夠?qū)z測(cè)區(qū)域122內(nèi)的道路面的亮度識(shí)別為預(yù)定顏色(例如灰色)。該環(huán)境識(shí)別系統(tǒng)100適用于車(chē)輛1，因此自然而然大多由作為行駛路的灰色的道路面占據(jù)著檢測(cè)區(qū)域122。通過(guò)如此地參照道路面，可以穩(wěn)定地導(dǎo)出恰當(dāng)?shù)陌灼胶庋a(bǔ)償值。
具體而言，白平衡導(dǎo)出單元162求出道路面的每個(gè)色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成相同值(最大值)的比率設(shè)為白平衡補(bǔ)償值。 假設(shè)道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個(gè)色相中的亮度的最大值“200”一致的白平衡補(bǔ)償值(r，g，b)。在此，亮度為最大值“200” 的G的白平衡補(bǔ)償值為I. 00，亮度為“150”的R的白平衡補(bǔ)償值為200/150 = I. 33，亮度為“180”的B的白平衡補(bǔ)償值為200/180 = 1.11。如此，可以得到白平衡補(bǔ)償值(r，g，b) =(I. 33，I. 00，I. 11)。
并且，作為其他的示例，白平衡導(dǎo)出單元162也可以求出道路面的每個(gè)色相的亮度為第二大的值，以將使與亮度為第二大的色相不同的色相的亮度變成相同值(第二大的值)的比率設(shè)為白平衡補(bǔ)償值。此時(shí)，假設(shè)道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個(gè)色相中的亮度的第二大的值“180”一致的白平衡補(bǔ)償值(r，g，b)。如此，可以得到白平衡補(bǔ)償值(r，g，b) = (1.20,0. 90,1. 00) 0如此地通過(guò)使亮度一致為中間的色相的亮度，亮度接近設(shè)定范圍的中心值，即使亮度本身的偏差變大， 收斂至設(shè)定范圍的可能性也變高。
進(jìn)一步地，作為其他的示例，白平衡導(dǎo)出單元162也可以求出道路面的每個(gè)色相的亮度的最小值，以將使與亮度為最小值的色相不同的色相的亮度變成相同值(最小值) 的比率設(shè)為白平衡補(bǔ)償值。此時(shí)，若道路面的亮度為(R，G，B) = (150，200，180)，則白平衡導(dǎo)出單元162導(dǎo)出使亮度與三個(gè)色相中的亮度的最小值“150” 一致的白平衡補(bǔ)償值(r，g， b)。如此，可以得到白平衡補(bǔ)償值(r，g，b) = (1.00，0.75，0.83)。無(wú)論使用哪個(gè)圖案，道路面的亮度能夠校正為本來(lái)的亮度，因此能夠謀求特定物的特定精度的提高。
但是，道路面除了因柏油而呈現(xiàn)為灰色的通常的道路之外(以下，簡(jiǎn)單地稱(chēng)為“通常道路”)，還有學(xué)校區(qū)域等，例如綠色、紅色、黃色的被覆上灰色以外的顏色的道路(以下， 簡(jiǎn)單地稱(chēng)為“異色道路”)。因此，將通常道路的道路面微調(diào)整為灰色的白平衡補(bǔ)償不能適用于異色道路。
因此，本實(shí)施方式的目的在于，高精度地檢測(cè)出道路面的亮度的變化是因環(huán)境光引起的還是道路面本身的著色引起的，由此實(shí)現(xiàn)恰當(dāng)?shù)匕灼胶庋a(bǔ)償。在此，本申請(qǐng)的發(fā)明人著眼于以下問(wèn)題。即，如果是因環(huán)境光引起的道路面的亮度的變化，則整個(gè)檢測(cè)區(qū)域122都受到環(huán)境光的影響，因此不僅是通常道路的道路面，道路面以外的預(yù)定參照部位的亮度也會(huì)發(fā)生變化，然而對(duì)于異色道路來(lái)說(shuō)，僅該異色道路的亮度發(fā)生變化。以下，對(duì)于利用道路面的亮度和參照部位的亮度的變化檢測(cè)道路面的亮度的變化是因環(huán)境光引起的還是因道路面本身的著色引起的構(gòu)成進(jìn)行說(shuō)明。
白平衡導(dǎo)出單元162首先讀取存儲(chǔ)于數(shù)據(jù)存儲(chǔ)單元152的上一次獲取的道路面的亮度和參照部位的亮度，以及上上一次獲取的道路面的亮度和參照部位的亮度。然后，從上一次獲取的道路面的亮度和參照部位的亮度減去上上一次獲取的道路面的亮度和參照部位的亮度，導(dǎo)出道路面的亮度的差值和參照部位的亮度的差值。
然后，白平衡導(dǎo)出單元162判斷在參照部位的亮度的差值在維持小于第二預(yù)定值的狀態(tài)(沒(méi)有發(fā)生第二預(yù)定值以上變化的狀態(tài))下，道路面的亮度的差值是否為第一預(yù)定值以上。此時(shí)，如果道路面的亮度的差值為第一預(yù)定值以上，且上一次的道路面的亮度(變化后的亮度)不是預(yù)定顏色(例如灰色(例如R G B = 128 128 128)，則將該道路判斷為異色道路。因此，白平衡導(dǎo)出單元162從判斷道路為異色道路的、道路面的亮度的變化時(shí)間點(diǎn)(準(zhǔn)確地來(lái)說(shuō)是掌握了有變化的情況的時(shí)間點(diǎn))開(kāi)始，直至返回到通常道路的道路面的亮度變?yōu)轭A(yù)定顏色為止，維持上一次的(變化之前的)白平衡補(bǔ)償值。關(guān)于白平衡補(bǔ)償值的維持，通過(guò)不更新存儲(chǔ)于數(shù)據(jù)存儲(chǔ)單元152的白平衡補(bǔ)償值來(lái)實(shí)現(xiàn)。
在此，所述參照部位優(yōu)選為比較容易出現(xiàn)在檢測(cè)區(qū)域122的對(duì)象部位，例如可以是檢測(cè)區(qū)域122內(nèi)的道路面上的限制行駛路的線(斑馬線、中心線、停止線、路緣帶等)。對(duì)于白平衡補(bǔ)償而言，取得平衡的顏色越近似于白色，其精度越高。這里，通過(guò)參照道路面上比較容易提取的、限制行駛路的線，可以穩(wěn)定地導(dǎo)出恰當(dāng)?shù)陌灼胶庋a(bǔ)償值。并且，這樣的限制行駛路的線與道路面一起出現(xiàn)在檢測(cè)區(qū)域122的情況較多，如本實(shí)施方式一樣，適合于同時(shí)要求道路面的亮度和參照部位的亮度的構(gòu)成。
此時(shí)，道路面由于鄰近于作為參照部位的限制行駛路的線，因此提取為限制行駛路的線的近鄰區(qū)域。據(jù)此，可以特定其形狀是難以特定的道路面。
圖5為用于白平衡導(dǎo)出單元162的處理的說(shuō)明圖。例如，如圖5(a)所示，當(dāng)行駛在通常道路時(shí)，白平衡導(dǎo)出單元162從數(shù)據(jù)存儲(chǔ)單元152讀取在行駛中恰當(dāng)?shù)乇惶囟ǖ淖鳛閰⒄詹课坏闹行木€210a的亮度和該中心線210a鄰近區(qū)域的道路面212a的亮度的過(guò)去兩次的值。然后，導(dǎo)出其差值。在圖5(a)的示例中，道路面212和中心線210a的亮度大致維持恒定，因此哪個(gè)差值也不會(huì)變?yōu)榈谝活A(yù)定值或第二預(yù)定值以上，白平衡導(dǎo)出單元162 將該道路識(shí)別為通常道路，更新白平衡補(bǔ)償值。
并且，如圖5(b)所示，當(dāng)行駛在隧道內(nèi)時(shí)，在該隧道的入口附近處，環(huán)境光從太陽(yáng)光變?yōu)檎彰鞴?，太?yáng)光下的道路面212b的亮度變化為照明光下的道路面212c的亮度。伴隨著這種變化，道路面的亮度差值變?yōu)榈谝活A(yù)定值以上。但是，在此，太陽(yáng)光下的中心線210b 的亮度也變化為照明光下的中心線210c的亮度，其差值變?yōu)榈诙A(yù)定值以上。因此，如同圖5(a) —樣，白平衡導(dǎo)出單元162將該道路識(shí)別為通常道路，更新白平衡補(bǔ)償值。
如圖5(c)所示，當(dāng)行駛在異色道路時(shí)，在從通常道路的道路面212d移動(dòng)到異色道路的道路面212e時(shí)，中心線210d的亮度和中心線210e的亮度沒(méi)有變化，因此亮度的差值維持小于第二預(yù)定值。另外，道路面212d的亮度和道路面212e的亮度發(fā)生變化，從而亮度差值變?yōu)榈谝活A(yù)定值以上。并且，變化后的道路面212e的亮度不是灰色。那么，白平衡導(dǎo)出單元162將該道路判斷為異色道路，停止白平衡補(bǔ)償值的更新。即，停止白平衡補(bǔ)償值的導(dǎo)出，存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元152的白平衡補(bǔ)償值的上一次值作為當(dāng)次的白平衡補(bǔ)償值而直接利用。
并且，在圖5(c)中，當(dāng)從異色道路的道路面212e移動(dòng)到通常道路的道路面212f 時(shí)，中心線210e的亮度和中心線210f的亮度不發(fā)生變化，因此亮度的差值維持小于第二預(yù)定值。另外，道路面212e的亮度和道路面212f的亮度發(fā)生變化，亮度的差值變?yōu)榈谝活A(yù)定值以上。但是，不同于從道路面212d到道路面212e的移動(dòng)，變化后的道路面212f的亮度為灰色。若判斷道路面為灰色，則白平衡導(dǎo)出單元162判斷該道路為通常道路，再次開(kāi)始更新白平衡補(bǔ)償值。
并且，如圖5(d)所示，即使通常道路和異色道路交替布置，白平衡導(dǎo)出單元162如圖(c) 一樣進(jìn)行處理。即，如果中心線210的亮度的變化為小于第二預(yù)定值，道路面212的亮度的變化為第一預(yù)定值以上，且道路面212的變化后的亮度不是灰色，則從變化時(shí)間點(diǎn)開(kāi)始直至道路面212的亮度返回至灰色為止，維持變化之前的白平衡補(bǔ)償值。在此，由于異色道路的區(qū)間有多個(gè)，因此在任何情況下，都維持白平衡補(bǔ)償值。
如此，可以利用道路面212的亮度的變化和參照部位(在此為中心線210)的亮度的變化，恰當(dāng)?shù)貦z測(cè)道路面212的亮度的變化是因針對(duì)通常道路的環(huán)境光而引起的還是如異色道路一樣因道路面本身的著色而引起的。
并且，在本實(shí)施方式中，白平衡導(dǎo)出單元162作為亮度變化的具體的判斷單元，當(dāng)?shù)缆访?12的亮度為最大或最小的色相中每一個(gè)的差值之間的差值為第三預(yù)定值以上時(shí)判斷為亮度發(fā)生了變化。
例如，假設(shè)上上一次檢測(cè)時(shí)的道路面212的亮度(R，G，B)為(100，110，90)，中心線210的亮度(R，G，B)為(190，210，200)，上一次檢測(cè)時(shí)的道路面212的亮度(R，G，B)為 (90，110，100)，中心線210的亮度(R，G，B)為(180，200，190)。并且，對(duì)于第三預(yù)定值而言， 關(guān)于道路面212預(yù)設(shè)為“30”，關(guān)于中心線210預(yù)設(shè)為“20”。
此時(shí)，道路面212的亮度最大的色相為G，其差值為I 110-110 I =0。并且，道路面 212的亮度最小的色相為R(上一次檢測(cè)時(shí))，其差值為|90-100| =10。因此，最大或最小的色相中每一個(gè)的差值之間的差值為|0-10| = 10。并且，中心線210的亮度最大的色相為 G，其差值為200-210 = 10。并且，中心線210的亮度最小的色相為R，其差值為180-190 = 10。因此,最大或最小的色相中每一個(gè)的差值之間的差值為|10-10| =0。
在此，關(guān)于道路面212的最大或最小的色相中每一個(gè)的差值之間的差值“10”為小于第三預(yù)定值“30”，且關(guān)于中心線210的最大或最小的色相中每一個(gè)的差值之間的差值 “O”為小于第三預(yù)定值“20”。因此，白平衡導(dǎo)出單元162判斷為道路面212和中心線210 都沒(méi)有變化，由此導(dǎo)出白平衡補(bǔ)償值。并且，以上，基于容易產(chǎn)生差值的理由，使用亮度最大和最小的色相，但是也可以根據(jù)亮度最大與第二大或者亮度最小與第二小的差值之間的差值進(jìn)行判斷。
如此，即使例如太陽(yáng)光變暗而道路面212和中心線210的亮度多少發(fā)生變化，并且即使太陽(yáng)光逐漸變強(qiáng)或變?nèi)醯那闆r下，可以恰當(dāng)?shù)貙?dǎo)出白平衡補(bǔ)償值。
白平衡補(bǔ)償執(zhí)行單元164對(duì)由亮度獲取單元16獲取的亮度進(jìn)行基于白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度。
位置信息獲取單元166根據(jù)后述的特定物初步確定單元170的控制指令，使用立體視覺(jué)法將距離圖像126中的檢測(cè)區(qū)域122內(nèi)的每個(gè)區(qū)塊的視差信息變換為包含水平距離 X、高度I以及相對(duì)距離z的三維位置信息。在此，視差信息表示距離圖像126中的各個(gè)對(duì)象部位的視差，而三維位置信息表示實(shí)際空間中的各個(gè)對(duì)象部位的相對(duì)距離的信息。因此， 在使用的術(shù)語(yǔ)中，相對(duì)距離、高度是指實(shí)際空間上的距離，檢測(cè)距離是指距離圖像126上的距離。而且，當(dāng)視差信息并非以像素單位，而是以區(qū)塊單位(即，以多個(gè)像素為單位)被導(dǎo)出時(shí)，該視差信息被視為屬于區(qū)塊的所有像素的視差信息，從而能夠執(zhí)行像素單位的計(jì)算。
圖6為用于說(shuō)明通過(guò)位置信息獲取單元166變換為三維位置信息的說(shuō)明圖。位置信息獲取單元166首先將距離圖像126識(shí)別為如圖6所示的像素單位的坐標(biāo)系。這里，在圖6中，將左下角設(shè)定為原點(diǎn)(0，0)，橫向方向設(shè)定為i坐標(biāo)軸，縱向方向設(shè)定為j坐標(biāo)軸。 因此，具有視差dp的像素能夠由像素位置i、j和視差dp表示為(i, j, dp)。
將本實(shí)施方式中的實(shí)際空間上的三維坐標(biāo)系假設(shè)為以車(chē)輛I為中心的相對(duì)坐標(biāo)系。在此，將車(chē)輛I的行進(jìn)方向右側(cè)方設(shè)定為X軸的正方向，車(chē)輛I的上方設(shè)定為Y軸的正方向，車(chē)輛I的行進(jìn)方向(前方)設(shè)定為Z軸的正方向，經(jīng)過(guò)兩個(gè)攝像裝置110的中央的鉛直線和道路表面的交點(diǎn)作為原點(diǎn)(0，0，0)。此時(shí)，假設(shè)道路為平面時(shí)，道路表面與X-Z平面 (y=0) 一致。位置信息獲取單元166通過(guò)以下的數(shù)學(xué)式I 數(shù)學(xué)式3將距離圖像126上的區(qū)塊坐標(biāo)(i，j，dp)變換為實(shí)際空間上的三維的點(diǎn)坐標(biāo)(X，y, z)。
x=CD/2+z · Pff · (1-1V) . ·.數(shù)學(xué)式 I
y=CH+z · Pff · (j-JV) ...數(shù)學(xué)式 2
z=KS/dp...數(shù)學(xué)式 3
在此，⑶為攝像裝置110之間的間隔(基線長(zhǎng)度)，PW為每一個(gè)像素的視角，CH為攝像裝置110自道路表面的布置高度，IV、JV為車(chē)輛I的正面方向無(wú)限遠(yuǎn)端的圖像上的坐標(biāo)(像素)，KS為距離系數(shù)(KS =⑶/PW)。
因此，位置信息獲取單元166基于對(duì)象部位的相對(duì)距離、與對(duì)象部位位于相同的CN 102975677 A書(shū)明說(shuō)10/16 頁(yè)
相對(duì)距離的道路表面上的點(diǎn)與對(duì)象部位之間的在距離圖像126上的檢測(cè)距離，導(dǎo)出自道路表面的高度。
亮度特定單元168參照基于位置信息獲取單元166的對(duì)象部位的三維坐標(biāo)，從由亮度獲取單元160獲取的亮度中提取道路面212和中心線210，特定道路面212的亮度以及作為參照部位的中心線210的亮度。具體而言，亮度特定單元168首先提取中心線210， 并將該中心線210的鄰近區(qū)域作為道路面212。鄰近區(qū)域?yàn)殡x提取中心線210的亮度的位置小于預(yù)定距離的區(qū)域，至少為與高度I相關(guān)的鄰近的區(qū)域。然后，為了在下次作為上一次值和上上一次值而被白平衡導(dǎo)出單元162所利用，將特定的道路面212的亮度以及中心線 210的亮度存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元152。
并且，在本實(shí)施方式中，通過(guò)求出檢測(cè)區(qū)域122中的預(yù)定的第一部分區(qū)域的不同時(shí)刻的、道路面212的亮度以及中心線210的亮度，由此導(dǎo)出其變化。但是，并不局限于這種情況，例如可以通過(guò)分別求出檢測(cè)區(qū)域122中的預(yù)定的第一部分區(qū)域和檢測(cè)區(qū)域122中的與第一部分區(qū)域沿高度y方向(圖像垂直方向)分隔的第二部分區(qū)域中的道路面212的亮度以及參照部位的亮度，由此導(dǎo)出其變化。此時(shí)，可以同時(shí)檢測(cè)出道路的不同區(qū)域(第一部分區(qū)域和第二部分區(qū)域)，因此即使車(chē)輛I處于停車(chē)狀態(tài)，也可以提取道路的亮度的變化。并且，將這種部分區(qū)域進(jìn)一步地設(shè)置為多個(gè)，計(jì)算各自的變化，由此可謀求特定精度的提聞。
并且，這里，在道路面212和中心線210的區(qū)域中，分別特定一個(gè)對(duì)象部位的亮度， 但是并不局限于這種情況，也可以將作為目標(biāo)的對(duì)象部位周?chē)械亩鄠€(gè)對(duì)象部位組合之后進(jìn)行評(píng)價(jià)，將其平均值特定為亮度。如此，可以抑制亮度的離差，高精度地判斷亮度的變化。
并且，亮度特定單元168特定關(guān)于與道路面212相當(dāng)?shù)膮^(qū)域的任意對(duì)象部位的亮度，但是也可以基于前行車(chē)輛或車(chē)輛前方的特定物的位置，將設(shè)定其任意的對(duì)象部位的范圍指定為被限制在鉛直方向的預(yù)定區(qū)域。
圖7為用于說(shuō)明亮度特定單元168的動(dòng)作的說(shuō)明圖。在圖7中，將從本車(chē)輛I (檢測(cè)區(qū)域下端)至前行車(chē)輛214與本車(chē)輛I的檢測(cè)距離D的中心C的、畫(huà)出陰影線的區(qū)域作為預(yù)定區(qū)域216。據(jù)此，亮度特定單元168特定預(yù)定區(qū)域216內(nèi)的道路面212以及中心線 210的亮度。
在此，當(dāng)沒(méi)有檢測(cè)出前行車(chē)輛或車(chē)輛前方的特定物時(shí)，將從檢測(cè)區(qū)域122下端至將與無(wú)限遠(yuǎn)點(diǎn)相當(dāng)?shù)奈恢门c檢測(cè)區(qū)域122下端之間的距離除以2的位置作為預(yù)定區(qū)域216。 如此，通過(guò)將設(shè)定對(duì)象部位的區(qū)域限制在預(yù)定區(qū)域216，可防止亮度的錯(cuò)誤檢測(cè)。
特定物初步確定單元170基于存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元152的特定物表格200，從被白平衡執(zhí)行單元164執(zhí)行過(guò)白平衡補(bǔ)償?shù)膶?duì)象物的補(bǔ)償亮度初步確定對(duì)應(yīng)于對(duì)象物的特定物。
具體來(lái)說(shuō)，特定物初步確定單元170首先使亮度獲取單元160獲取亮度圖像124 上的任意對(duì)象部位的亮度。接著，特定物初步確定單元170從登記在特定物表格200的特定物順序地選擇出任意的特定物，判斷獲取的一個(gè)對(duì)象部位的補(bǔ)償亮度是否包含于順序地選擇出的特定物的亮度范圍202。然后，若包含于成為對(duì)象的亮度范圍202之內(nèi)，則對(duì)該對(duì)象部位賦予表示該特定物的識(shí)別號(hào)，并制作特定物映射圖。
特定物初步確定單位170對(duì)于多個(gè)對(duì)象部位的每一個(gè)順序進(jìn)行這種各個(gè)對(duì)象部13位的補(bǔ)償亮度與登記在特定物表格200上的多個(gè)特定物的亮度范圍202之間的一系列的比較。在此，特定物的選擇順序遵從如上所述地表示在特定物表格200上的優(yōu)先順序。SP， 圖4的特定物表格200的例中，以“信號(hào)燈(紅)”、“信號(hào)燈(黃)”、“信號(hào)燈(藍(lán))”、“尾燈 (紅)”、“轉(zhuǎn)向指示燈(橙)”、“道路標(biāo)識(shí)(紅)”、“道路標(biāo)識(shí)(藍(lán))”、“道路標(biāo)識(shí)(綠)”順序執(zhí)行比較處理。
而且，按照所述優(yōu)先順序比較的結(jié)果，判斷為對(duì)象部位的補(bǔ)償亮度包含于優(yōu)先順序高的特定物的亮度范圍202時(shí)，就不會(huì)執(zhí)行有關(guān)優(yōu)先順序低于它的特定物的比較處理。 因此，對(duì)于一個(gè)對(duì)象部位最多賦予一個(gè)表示特定物的識(shí)別號(hào)。這是因?yàn)?，由于多個(gè)特定物不會(huì)在空間上重疊，因此由特定物初步確定單元170 —旦判斷為任意的特定物的對(duì)象物就沒(méi)有必要判斷是否會(huì)是其他特定物。如此，通過(guò)排他性地處理對(duì)象部位，能夠避免對(duì)已經(jīng)被初步確定為特定物的對(duì)象部位的重復(fù)的特定處理，從而能夠減輕處理負(fù)荷。
圖8為用于說(shuō)明特定物映射圖220的說(shuō)明圖。特定物映射圖220是在亮度圖像124 中疊加特定物的識(shí)別號(hào)的圖，在相當(dāng)于被初步確定為特定物的對(duì)象部位的位置對(duì)應(yīng)賦予有該特定物的識(shí)別號(hào)。
例如，特定物映射圖220中的局部映射圖220a中，相當(dāng)于前行車(chē)輛的尾燈的多個(gè)對(duì)象部位222的補(bǔ)償亮度以特定物“信號(hào)燈(紅)”、“信號(hào)燈(黃)”、“信號(hào)燈(藍(lán))”的順序與亮度范圍202進(jìn)行比較，最終對(duì)應(yīng)賦予有“尾燈(紅)”的識(shí)別號(hào)“4”。而且，特定物映射圖220中的局部映射圖220b中，相當(dāng)于信號(hào)燈的右側(cè)點(diǎn)亮部分的多個(gè)對(duì)象部位224的補(bǔ)償亮度被包含于特定物“信號(hào)燈(紅)”的亮度范圍202，因此對(duì)應(yīng)賦予有特定物“信號(hào)燈 (紅)”的識(shí)別號(hào)“I”。進(jìn)一步，特定物映射圖220中的局部映射圖220c中，相當(dāng)于前行車(chē)輛的背面燈單元的多個(gè)對(duì)象部位226的補(bǔ)償亮度以特定物“信號(hào)燈(紅)”、“信號(hào)燈(黃)”、 “信號(hào)燈(藍(lán))”的順序與亮度范圍202進(jìn)行比較，最終對(duì)應(yīng)賦予特定物“尾燈(紅)”的識(shí)別號(hào)“4”以及“轉(zhuǎn)向指示燈(橙)”的識(shí)別號(hào)“5”。圖8中示出亮度圖像124的多個(gè)對(duì)象部位上被賦予識(shí)別號(hào)的圖，但這種表示僅僅是為便于理解的概念性表示，實(shí)際上，在對(duì)象位置上用數(shù)據(jù)登記識(shí)別號(hào)。
群組化單元172以初步確定的任意的對(duì)象部位為基準(zhǔn)點(diǎn)，將該對(duì)象部位和水平距離X的差值以及高度I的差值在預(yù)定范圍內(nèi)的、初步確定為對(duì)應(yīng)于相同特定物(被賦予相同的識(shí)別號(hào))的對(duì)象部位群組化，作為對(duì)象物。在此，預(yù)定范圍用實(shí)際空間上的距離表示， 且可以設(shè)定為任意的值(例如I. Om等)。而且，群組化單元172對(duì)于通過(guò)群組化而新增加的對(duì)象部位，也以該對(duì)象部位為基準(zhǔn)點(diǎn)，將水平距離X的差值以及高度I的差值在預(yù)定范圍內(nèi)的、特定物相同的對(duì)象部位群組化。其結(jié)果,若被初步確定為同一特定物的對(duì)象部位之間的距離在預(yù)定范圍之內(nèi)，則這些全部被群組化。
在此，群組化單元172使用實(shí)際空間上的水平距離或高度進(jìn)行判斷，但當(dāng)利用亮度圖像124或距離圖像126上的檢測(cè)距離判斷時(shí)，用于群組化的預(yù)定范圍的閾值會(huì)根據(jù)對(duì)象部位的相對(duì)距離而變化。如圖2等所示，亮度圖像124或距離圖像126中，由于遠(yuǎn)近的物體都被表示在平面上，因此位于主體的遠(yuǎn)處的物體被表示得小(短)，位于附近的物體被表示得大(長(zhǎng))。因此，亮度圖像124或距離圖像126中的預(yù)定范圍的閾值，例如對(duì)于位于遠(yuǎn)處的對(duì)象部位設(shè)定的較短，對(duì)于位于附近的對(duì)象部位設(shè)定得較長(zhǎng)。由此，在遠(yuǎn)處和附近的檢測(cè)距離不同時(shí)，也能夠?qū)崿F(xiàn)穩(wěn)定的群組化。
而且，在上述的水平距離X的差值和高度y的差值的基礎(chǔ)上，群組化單元172還可以將相對(duì)距離z的差值也處于預(yù)定范圍之內(nèi)的、初步確定為對(duì)應(yīng)于同一特定物的對(duì)象部位群組化。在實(shí)際空間中，即使水平距離X和高度I近似，但相對(duì)距離Z相隔較遠(yuǎn)時(shí)，可推斷為是不同的對(duì)象物。因此，當(dāng)水平距離X、高度I以及相對(duì)距離Z中的任意一個(gè)相隔較遠(yuǎn)時(shí)， 將其對(duì)象部位的群組視為獨(dú)立的對(duì)象物。由此，能夠?qū)崿F(xiàn)高精度的群組化。
而且，在此分別獨(dú)立判斷水平距離X的差值、高度y的差值以及相對(duì)距離z 的差值，且僅在所有差值被包含在預(yù)定范圍時(shí)才作為同一群組，但還可以依據(jù)其他的計(jì)算。例如，當(dāng)水平距離X的差值、高度y的差值以及相對(duì)距離Z的差值的歐氏距離^/((水平距離X的差值)2 +(高度y的差值)2 +(相對(duì)Jfti離z的差值)2)被包含于預(yù)定范圍之內(nèi)時(shí)，也可以作為同一群組。通過(guò)所述計(jì)算，能夠?qū)С鰧?duì)象部位在實(shí)際空間上的正確的彼此距離，能夠提高群組化精度。
當(dāng)群組化單元172群組化的對(duì)象物滿足預(yù)定的條件時(shí)，特定物確定單元174將該對(duì)象物確定為特定物。例如，如圖4所示，在特定物表格200中對(duì)應(yīng)賦予有幅度范圍204時(shí)， 特定物確定單元174基于特定物表格200，若對(duì)象物的大小(對(duì)象物的水平距離X的幅度以及高度I的幅度中的任意一個(gè))被包含于針對(duì)對(duì)象物初步確定的特定物的幅度范圍204之中，則將該對(duì)象物確定為成為對(duì)象的特定物。并且，可以分別對(duì)對(duì)象物的水平距離X的幅度以及高度I的幅度設(shè)定幅度范圍204。在此，將對(duì)象物視為特定物時(shí)，確認(rèn)是否具有適當(dāng)?shù)拇笮?。因此，?dāng)未被包含于幅度范圍204時(shí)，可以作為對(duì)于該環(huán)境識(shí)別處理無(wú)用的信息而剔除。
因此，在環(huán)境識(shí)別裝置130中，能夠從亮度圖像124提取一個(gè)或多個(gè)對(duì)象物作為特定物，并能夠?qū)⒃撔畔?yīng)用于各種控制。例如，通過(guò)提取特定物“信號(hào)燈(紅)”，能夠了解到該對(duì)象物是不移動(dòng)的固定的物體的同時(shí)，若該對(duì)象物是與本車(chē)輛車(chē)道有關(guān)的信號(hào)燈，則能夠了解本車(chē)輛I應(yīng)停止或減速。而且，通過(guò)提取特定物“尾燈(紅)”，能夠了解該處有與本車(chē)輛I共同行使的前行車(chē)輛，且該前行車(chē)輛的背面位于特定物“尾燈(紅)”的相對(duì)距離。
當(dāng)特定物確定單元174所確定的特定物例如為“標(biāo)識(shí)”，且假設(shè)其中標(biāo)記有限制速度時(shí)，圖案匹配單元176進(jìn)一步對(duì)所標(biāo)記的數(shù)值執(zhí)行圖案匹配，并特定該數(shù)值。由此，環(huán)境識(shí)別裝置130能夠識(shí)別本車(chē)輛車(chē)道的限制速度等。
在本實(shí)施方式中，首先通過(guò)特定物確定單元174提取被限定為多個(gè)的特定物，并只進(jìn)行與該提取的特定物的圖案匹配即可。因此，與以往的對(duì)亮度圖像124全面進(jìn)行圖案匹配相比，處理負(fù)荷顯著地減少。
(環(huán)境識(shí)別方法)
以下，參照?qǐng)D9至圖14的流程圖說(shuō)明環(huán)境識(shí)別裝置130的具體的處理。圖9示出關(guān)于從圖像處理裝置120接收到距離圖像(視差信息)126時(shí)的中斷處理的整個(gè)流程，圖10 至圖14示出其中的個(gè)別的子程序。而且，在此，例舉像素作為對(duì)象部位，并將亮度圖像124 和距離圖像126的左下角作為原點(diǎn)，且在圖像的水平方向的I 600像素、垂直方向的I 200像素的范圍執(zhí)行依照該環(huán)境識(shí)別方法的處理。而且，在此，假設(shè)成為對(duì)象的特定物的數(shù)量為八個(gè)。進(jìn)一步，作為參照部位假設(shè)可以舉出利用中心線210的例子。
如圖9所示，以距離圖像126的接收信號(hào)為契機(jī)，產(chǎn)生依照該環(huán)境識(shí)別方法的中斷時(shí)，導(dǎo)出白平衡補(bǔ)償值，以能夠?qū)⒌缆访娴牧炼茸R(shí)別為預(yù)定顏色(灰色)(S300)，從圖像處理裝置120獲取的亮度圖像124由該白平衡補(bǔ)償值補(bǔ)償而生成特定物映射圖(S302)。
然后，初步確定的對(duì)象物被群組化(S304)，被群組化的對(duì)象物被確定為特定物 (S306)。若有必要從被確定的特定物進(jìn)一步獲取信息，則通過(guò)圖案匹配單元176執(zhí)行特定物的圖案匹配(S308)，并特定用于白平衡補(bǔ)償值導(dǎo)出處理S300的道路面212和中心線210 的亮度(S310)。以下，具體說(shuō)明上述的處理。
(白平衡補(bǔ)償值導(dǎo)出處理S300)
參照?qǐng)D10，白平衡導(dǎo)出單元162首先讀取存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元152的上一次獲得的道路面212的亮度以及中心線210的亮度和上上一次獲得的道路面212的亮度以及中心線210的亮度(S350)。然后，從上一次獲得的道路面212的亮度以及中心線210的亮度減去上上一次獲得的道路面212的亮度以及中心線210的亮度，從而導(dǎo)出道路面212的亮度的差值以及中心線210的亮度的差值。
接著，白平衡導(dǎo)出單元162判斷道路面212的亮度的差值為第一預(yù)定值以上，中心線210的亮度的差值為小于第二預(yù)定值，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)的情況(S354)。此時(shí)，如果道路面212的亮度的差值為第一預(yù)定值以上，中心線 210的亮度的差值為小于第二預(yù)定值，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)，則白平衡導(dǎo)出單元162開(kāi)啟(ON)異色道路標(biāo)志(S356)，維持上一次的白平衡補(bǔ)償值 (S358)。在此，異色道路標(biāo)志為表示異色道路的標(biāo)志，移動(dòng)到異色道路之后，直至返回到通常道路為止一直維持。
并且，如果不滿足道路面212的亮度的差值為第一預(yù)定值以上、中心線210的亮度的差值為小于第二預(yù)定值、上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)中的任意一個(gè)條件(S354中的“否”)，則判斷異色道路標(biāo)志被開(kāi)啟(ON)，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)的情況(S360中的“是”)。此時(shí)，如果異色道路標(biāo)志被開(kāi)啟，且上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)(S360中的“是”)，則白平衡導(dǎo)出單元162識(shí)別為異色道路繼續(xù)存在，維持上一次的白平衡補(bǔ)償值(S358)。即，不進(jìn)行存儲(chǔ)于數(shù)據(jù)存儲(chǔ)單元152的白平衡補(bǔ)償值的更新。
并且，如果不滿足異色道路標(biāo)志被開(kāi)啟、上一次的道路面212的亮度不是預(yù)定顏色(例如灰色)中的任意一個(gè)條件(S360中的“否”)，則識(shí)別為移動(dòng)到了通常道路，關(guān)閉 (OFF)異色道路標(biāo)志(S362)。然后，白平衡導(dǎo)出單元162讀取存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元152的上一次獲得的道路面212的亮度，導(dǎo)出白平衡補(bǔ)償值(S364)。例如，白平衡導(dǎo)出單元162求出道路面的每個(gè)色相的亮度的最大值，將使與亮度為最大值的色相不同的色相的亮度變成最大值的比率設(shè)為白平衡補(bǔ)償值。然后，將被導(dǎo)出的白平衡補(bǔ)償值存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元152。
(特定物映射圖生成處理S302)
參照?qǐng)D11，白平衡執(zhí)行單元164從數(shù)據(jù)存儲(chǔ)單元152讀取由白平衡導(dǎo)出單元162 導(dǎo)出的白平衡補(bǔ)償值(S400)。特定物初步確定單元170初始化(代入“O”)用于特定對(duì)象部位(像素)的垂直變量j (S402)。接著，特定物初步確定單元170在垂直變量j上加 “I”(累加)的同時(shí)初始化水平變量i (代入“O”)(S404)。然后，特定物初步確定單元170 在水平變量上加“1”，并初始化特定物變量m (代入“O”)(S406)。在此，設(shè)定水平變量i和垂直變量j是為了對(duì)整個(gè)600 X 200的像素執(zhí)行該特定物映射圖生成處理，設(shè)定特定物變量m是為了對(duì)每個(gè)像素順序地比較八個(gè)特定物。
接著，白平衡執(zhí)行單元164向由亮度獲取單元160獲取的亮度實(shí)施基于白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度(S408)。
特定物初步確定單元170使亮度獲取單元160從亮度圖像124中獲得作為對(duì)象部位的像素(i，j)的補(bǔ)償亮度(3410)，并在特定物變量111中加“1”(3412)，獲得特定物(m)的亮度范圍202(S414)，并判斷像素(i，j)是否被包含在特定物(m)的亮度范圍202(S416)。
若像素(i，j)的補(bǔ)償亮度被包含于特定物(m)的亮度范圍202(S416的“是”)， 則特定物初步確定單元170對(duì)于該像素對(duì)應(yīng)地賦予表示特定物(m)的識(shí)別號(hào)P而變成像素 (i，j，p) (S418)。由此，生成對(duì)亮度圖像124中的各個(gè)像素賦予識(shí)別號(hào)的特定物映射圖210。 而且，若像素(i，j)的補(bǔ)償亮度未包含在特定物(m)的亮度范圍202(S416的“否”)，則判斷特定物變量m是否超過(guò)作為特定物的最大數(shù)量的8 (S420)。在此，若特定物變量m并未超過(guò)最大值(S420的“否”)，則從步驟S412的特定物變量m的累加處理開(kāi)始重復(fù)執(zhí)行。而且，若特定物變量m超過(guò)最大值(S420的“是”)，則認(rèn)為對(duì)應(yīng)于該像素(i，j)的特定物不存在，處理轉(zhuǎn)到下一步驟S422。
接著，特定物初步確定單元170判斷水平變量i是否超過(guò)作為水平像素的最大值的600 (S422)，若水平變量i并沒(méi)有超過(guò)最大值(S422的“否”)，則從步驟406的水平變量 i的累加處理開(kāi)始重復(fù)執(zhí)行。而且，若水平變量i超過(guò)最大值(S422中的“是”)，則特定物初步確定單元170判斷垂直變量j是否超過(guò)作為垂直像素的最大值的200 (S424)。接著，若垂直變量j并沒(méi)有超過(guò)最大值(S424的“否”)，則從步驟S404的垂直變量j的累加處理開(kāi)始重復(fù)執(zhí)行。而且，若垂直變量j超過(guò)最大值(S424的“是”)，則終止該特定物映射圖的生成處理。據(jù)此，初步確定對(duì)應(yīng)于各個(gè)像素的特定物。
(群組化處理S304)
參照?qǐng)D12，群組化單元172參照用于群組化對(duì)象部位的預(yù)定范圍(S450)，初始化 (代入“O”)用于特定對(duì)象部位(像素)的垂直變量j (S452)。接著，群組化單元172在垂直變量j上加“I”的同時(shí)初始化(代入“O”)水平變量i(S454)。接著，群組化單元172在水平變量i上加“I”(S456)。
群組化單元172從亮度圖像124獲取作為對(duì)象部位的像素(i，j，P，dp, x, y，z) (S458)。然后，判斷該像素(i，j, p，dp, x, y，z)上是否對(duì)應(yīng)賦予特定物的識(shí)別號(hào)p (S460)。 在此，若對(duì)應(yīng)賦予識(shí)別號(hào)P(S460的“是”)，則群組化單元172判斷在該像素(i，j，p，dp，x， y，z)的實(shí)際空間上的坐標(biāo)(X，y，z)的預(yù)定范圍之內(nèi)是否存在對(duì)應(yīng)賦予相同的識(shí)別號(hào)P的其他像素(i，j，P，dp, x, y, z) (S462)。
若存在識(shí)別號(hào)相同的其他像素(i，j，P，dp，X，y，z) (S462的“是”)，則群組化單元 172判斷包括自身的預(yù)定范圍內(nèi)的所有像素的任意像素是否被賦予了群組號(hào)g(S464)。若任意一個(gè)像素被賦予群組號(hào)g(S464中的“是”)，則群組化單元172對(duì)于包含于預(yù)定范圍內(nèi)的所有像素及被賦予相同的群組號(hào)g的所有像素，賦予所賦予的群組號(hào)中最小的群組號(hào)g 以及還沒(méi)有用作群組號(hào)的號(hào)中的最小值中的相對(duì)小的一個(gè)值，從而變成像素(i，j，p，dp，x， y, z, g) (S466)。而且，若任意一個(gè)像素均未被賦予群組號(hào)g(S464的“否”)，則對(duì)包含自身的預(yù)定范圍內(nèi)的所有像素新賦予還沒(méi)有用作群組號(hào)的號(hào)中的最小值(S468)。
由此，當(dāng)識(shí)別號(hào)相同的對(duì)象部位在預(yù)定范圍之內(nèi)存在多個(gè)時(shí)，通過(guò)賦予一個(gè)群組號(hào)g而執(zhí)行群組化。此時(shí)，當(dāng)多個(gè)對(duì)象部位的任意一個(gè)均未被賦予群組號(hào)g時(shí)，賦予新的群組號(hào)，當(dāng)多個(gè)對(duì)象部位的某些已經(jīng)被賦予群組號(hào)g時(shí)，賦予與此相同的群組號(hào)g。但是，當(dāng)多個(gè)對(duì)象部位中存在多個(gè)群組號(hào)g時(shí)，因?yàn)閼?yīng)視為一個(gè)群組，因此將該對(duì)象部位的所有的群組號(hào)g置換為一個(gè)群組號(hào)g。
此時(shí)，不僅對(duì)被包含于預(yù)定范圍之內(nèi)的所有的像素，還對(duì)被賦予相同的群組號(hào)g 的所有像素的群組號(hào)g進(jìn)行一次性變更的理由在于通過(guò)群組號(hào)g的變更，避免已經(jīng)被統(tǒng)一的群組分離。而且，在最小的群組號(hào)g以及還未用作群組號(hào)的號(hào)中的最小值中采用相對(duì)小的一個(gè)值的理由在于對(duì)組標(biāo)號(hào)時(shí)，盡可能避免出現(xiàn)空號(hào)。據(jù)此，防止群組號(hào)g的最大值無(wú)端地變大，從而能夠減輕處理負(fù)荷。
若沒(méi)有對(duì)應(yīng)賦予識(shí)別號(hào)p(S460的“否”)，或者不存在識(shí)別號(hào)P相同的其他像素 (S462的“否”)，則轉(zhuǎn)移到下一步驟S470。
接著，群組化單元166判斷水平變量i是否超過(guò)作為水平像素的最大值的 600 (S470)，若水平變量i并沒(méi)有超過(guò)最大值(S470的“否”)，則從步驟S456的水平變量i 的累加處理開(kāi)始重復(fù)執(zhí)行。而且，若水平變量i超過(guò)最大值(S470的“是”)，則群組化單元 166判斷垂直變量j是否超過(guò)作為垂直像素的最大值的200(S472)。然后，若垂直變量j沒(méi)有超過(guò)最大值(S472中的“否”)，則從步驟S454的垂直變量j的累加處理開(kāi)始重復(fù)。而且， 若垂直變量j超過(guò)最大值(S472的“是”)，則終止該群組化處理。
(特定物確定處理S306)
參照?qǐng)D13，特定物確定單元174初始化(代入“O”)用于特定群組的群組變量 k(S500)。接著，特定物確定單元174在群組變量k上加“I”(S502)。
特定物確定單元174判斷亮度圖像124中是否存在群組號(hào)g為群組變量k的對(duì)象物(S504)，若存在(S504的“是”)，則計(jì)算被賦予該群組號(hào)g的對(duì)象物的大小(S506)。接著，判斷所計(jì)算出的大小是否被包含在以對(duì)群組號(hào)g為群組變量k的對(duì)象物對(duì)應(yīng)賦予的識(shí)別號(hào)P表示的特定物的幅度范圍204(S508)。
若大小被包含于以識(shí)別號(hào)P表示的特定物的幅度范圍204(S508的“是”)，則特定物確定單元174將該對(duì)象物確定為特定物(S510)。若大小未包含于以識(shí)別號(hào)P表示的特定物的幅度范圍204(S508的“否”)，或不存在群組號(hào)g為群組變量k的對(duì)象物時(shí)(S504的 “否”)，處理轉(zhuǎn)移到下一步驟S512。
接著，特定物確定單元174判斷群組變量k是否超過(guò)群組化處理中設(shè)定的群組號(hào)的最大值(S512)。然后，若群組變量k沒(méi)有超過(guò)最大值(S512中的“否”)，則從步驟S502的群組變量k的累加處理開(kāi)始重復(fù)執(zhí)行。而且，若群組變量k超過(guò)最大值(S512中的“是”)， 則終止該特定物確定處理。據(jù)此，被群組化的對(duì)象物正式被確定為特定物。
(白平衡準(zhǔn)備處理S310)
參照?qǐng)D14，亮度特定單元168基于前行車(chē)輛或車(chē)輛I前方的特定物的位置導(dǎo)出被限制在鉛直方向的預(yù)定區(qū)域216，并將該預(yù)定區(qū)域216內(nèi)的道路面212的任意的對(duì)象部位設(shè)定為檢測(cè)對(duì)象(S550)。接著，亮度特定單元168參照基于位置信息獲取單元166的對(duì)象部位的相對(duì)距離，從由亮度獲取單元160獲取的亮度中提取道路面212以及中心線210，并特定道路面212的亮度以及作為參照部位的中心線210的亮度(S552)。然后，為了在下次由白平衡導(dǎo)出單元162所利用，將被特定的道路面212的亮度以及中心線210的亮度存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元152(S554)。
如上所述，根據(jù)環(huán)境識(shí)別裝置130，能夠高精度地檢測(cè)出道路面的亮度的變化是因環(huán)境光而引起的還是因道路面212本身的著色而引起的，而且能夠在避免隨之而產(chǎn)生的響應(yīng)延遲的情況下，恰當(dāng)?shù)貙?shí)現(xiàn)白平衡補(bǔ)償。
而且，還提供使計(jì)算機(jī)執(zhí)行環(huán)境識(shí)別裝置130的功能的程序或記錄該程序的計(jì)算機(jī)可讀軟盤(pán)、光磁盤(pán)、ROM、CD、DVD、BD等記錄介質(zhì)。在此，程序是利用任意的語(yǔ)言或記述方法記述的數(shù)據(jù)處理方法。
以上的說(shuō)明中，參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了說(shuō)明，但是本發(fā)明并不局限于已說(shuō)明的實(shí)施方式。本發(fā)明所屬領(lǐng)域的技術(shù)人員應(yīng)知道在權(quán)利要求書(shū)所記載的范疇之內(nèi)導(dǎo)出各種變更例或修改例是顯而易見(jiàn)的，但顯然這些都屬于本發(fā)明的技術(shù)范圍。
在上述的實(shí)施方式中，首先排他性地將對(duì)象部位的補(bǔ)償亮度與任意一個(gè)特定物賦予對(duì)應(yīng)，然后判斷將對(duì)象部位群組化的對(duì)象物的大小作為特定物是否恰當(dāng)。但是，不限于這種情況，也可以將特定物、補(bǔ)償亮度、大小中的任意一個(gè)作為基準(zhǔn)進(jìn)行判斷，且其判斷順序也可以任意地設(shè)定。
而且，在上述實(shí)施例中，基于利用多個(gè)攝像裝置110的圖像數(shù)據(jù)之間的視差導(dǎo)出對(duì)象物的三維位置，但并不局限于所說(shuō)明的情況，例如，可以利用激光雷達(dá)測(cè)距裝置等已知的各種距離測(cè)量裝置。在此，激光雷達(dá)測(cè)距裝置通過(guò)向檢測(cè)區(qū)域122發(fā)射激光光束，并接收該激光光束到達(dá)物體之后反射的光，從而根據(jù)所需時(shí)間測(cè)量至物體的距離。
而且，在上述的實(shí)施方式中，舉出位置信息獲取單元166從圖像處理裝置120接收距離圖像(視差信息)126而生成三維位置信息的例子。但是，并不局限于所說(shuō)明的情況， 也可以由圖像處理裝置120預(yù)先生成三維的位置信息，再由位置信息獲取單元166獲取所生成的三維位置信息。據(jù)此，實(shí)現(xiàn)功能的分散，能夠減輕環(huán)境識(shí)別裝置130的處理負(fù)荷。
并且，在上述的實(shí)施方式中，亮度獲取單元160、白平衡導(dǎo)出單元162、白平衡執(zhí)行單元164、位置信息獲取單元166、亮度特定單元168、特定物初步確定單元170、群組化單元 172、特定物確定單元174、圖案匹配單元176由中央控制單元154通過(guò)軟件運(yùn)行。但是，上述的功能單元也可以由硬件構(gòu)成。
并且，特定物確定單元174基于例如對(duì)象物的大小被包含于特定物的幅度范圍 202的情況來(lái)確定特定物，但并不局限于此，也可以在滿足其他各種條件時(shí)確定為特定物。 例如，對(duì)象物中的水平方向和鉛直方向的相對(duì)距離z的推移幾乎相等(連續(xù))時(shí)或相對(duì)于z 坐標(biāo)的相對(duì)移動(dòng)速度相同時(shí)確定為特定物。此時(shí)，對(duì)象物中的水平方向及鉛直方向的相對(duì)距離z的推移可根據(jù)借助霍夫變換或最小平方法的近似直線確定。
在此，本說(shuō)明書(shū)中的環(huán)境識(shí)別方法的各個(gè)步驟并不一定要按照流程圖中記載的順序按時(shí)間順序進(jìn)行處理，也可以包含并行處理或通過(guò)子程序的處理。
產(chǎn)業(yè)上的可利用性
本發(fā)明可利用于基于檢測(cè)區(qū)域中的對(duì)象物的亮度來(lái)識(shí)別該對(duì)象物的環(huán)境識(shí)別裝置及環(huán)境識(shí)別方法。
權(quán)利要求
1.ー種環(huán)境識(shí)別裝置，其特征在于，包括 數(shù)據(jù)存儲(chǔ)単元，對(duì)應(yīng)地存儲(chǔ)亮度的范圍和特定物； 売度獲取單兀，獲取存在于檢測(cè)區(qū)域內(nèi)的對(duì)象部位的売度； 亮度特定単元，從所獲取的所述亮度中特定道路面的亮度以及所述道路面以外的預(yù)定的參照部位的亮度； 白平衡導(dǎo)出單元，導(dǎo)出白平衡補(bǔ)償值，以使所述道路面的亮度能夠被識(shí)別為預(yù)定顏色； 白平衡執(zhí)行單元，對(duì)所獲取的所述亮度實(shí)施基于所述白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度； 特定物初歩確定單元，基于所述數(shù)據(jù)存儲(chǔ)単元所存儲(chǔ)的亮度的范圍與特定物之間的對(duì)應(yīng)關(guān)系，從所述對(duì)象部位的補(bǔ)償亮度初步確定對(duì)應(yīng)于所述對(duì)象部位的特定物， 當(dāng)在所述參照部位的亮度變化沒(méi)有達(dá)到第二預(yù)定值以上的狀態(tài)下，所述道路面的亮度變化達(dá)到第一預(yù)定值以上，且所述道路面的變化后的亮度不是所述預(yù)定顏色時(shí)，所述白平衡導(dǎo)出単元從變化時(shí)間點(diǎn)開(kāi)始至所述道路面的亮度返回到所述預(yù)定顏色為止維持變化之前的白平衡補(bǔ)償值。
2.如權(quán)利要求I所述的環(huán)境識(shí)別裝置，其特征在于，所述參照部位為所述檢測(cè)區(qū)域內(nèi)的道路面上的限制行駛路的線。
3.如權(quán)利要求2所述的環(huán)境識(shí)別裝置，其特征在干，所述道路面基于所述參照部位設(shè)為所述參照部位的鄰近區(qū)域。
4.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述白平衡導(dǎo)出單元通過(guò)求出所述檢測(cè)區(qū)域中的預(yù)定的第一部分區(qū)域的不同時(shí)刻的、所述道路面的亮度以及所述參照部位的亮度而導(dǎo)出道路面的亮度的變化。
5.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述白平衡導(dǎo)出單元通過(guò)分別求出所述檢測(cè)區(qū)域中的預(yù)定的第一部分區(qū)域和所述檢測(cè)區(qū)域中的與所述第一部分區(qū)域沿高度方向分隔的第二部分區(qū)域的所述道路面的亮度以及所述參照部位的亮度而導(dǎo)出道路面的亮度的變化。
6.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在干，當(dāng)所述道路面的亮度為最大或最小的色相中每ー個(gè)的差值之間的差值為第三預(yù)定值以上時(shí)，所述白平衡導(dǎo)出単元判斷為亮度發(fā)生了變化。
7.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個(gè)色相的亮度的最大值，將使與所述亮度為最大值的色相不同的色相的亮度變成所述最大值的比率設(shè)為所述白平衡補(bǔ)償值。
8.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個(gè)色相的亮度為第二大的值，將使與所述亮度為第二大的色相不同的色相的亮度變成所述第二大的值的比率設(shè)為所述白平衡補(bǔ)償值。
9.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述白平衡導(dǎo)出單元求出所述道路面的每個(gè)色相的亮度的最小值，將使與所述亮度為最大值的色相不同的色相的亮度變成所述最小值的比率設(shè)為所述白平衡補(bǔ)償值。
10.如權(quán)利要求I至3中任意ー項(xiàng)所述的環(huán)境識(shí)別裝置，其特征在于，所述亮度特定單元從所述檢測(cè)區(qū)域內(nèi)的、基于先行車(chē)輛或車(chē)輛前方的特定物的位置而被限制在鉛直方向的預(yù)定區(qū)域特定所述道路面的亮度和所述參照部位的亮度。
11.ー種環(huán)境識(shí)別方法，其特征在干， 獲取存在于檢測(cè)區(qū)域內(nèi)的對(duì)象部位的亮度； 從所獲取的所述亮度中特定道路面的亮度以及所述道路面以外的預(yù)定的參照部位的亮度； 當(dāng)在所述參照部位的亮度變化沒(méi)有第二預(yù)定值以上的狀態(tài)下，所述道路面的亮度變化達(dá)到第一預(yù)定值以上，且所述道路面的變化后的亮度不是所述預(yù)定顏色時(shí)，從變化時(shí)間點(diǎn)開(kāi)始至所述道路面的亮度返回到所述預(yù)定顏色為止維持變化之前的白平衡補(bǔ)償值，而在除此之外的情況下，導(dǎo)出白平衡補(bǔ)償值，以使所述道路面的亮度被識(shí)別為預(yù)定顏色； 對(duì)所獲取的所述亮度實(shí)施基于所述白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度； 基于所述數(shù)據(jù)存儲(chǔ)単元所存儲(chǔ)的亮度的范圍與特定物之間的對(duì)應(yīng)關(guān)系，從所述對(duì)象部位的補(bǔ)償亮度初步確定對(duì)應(yīng)于所述對(duì)象部位的特定物。
全文摘要
本發(fā)明涉及不伴隨響應(yīng)延遲的情況下恰當(dāng)?shù)貙?shí)現(xiàn)白平衡補(bǔ)償?shù)沫h(huán)境識(shí)別裝置和環(huán)境識(shí)別方法。環(huán)境識(shí)別裝置獲取存在于檢測(cè)區(qū)域的對(duì)象部位的亮度；從獲取的亮度中特定道路面的亮度和參照部位的亮度；當(dāng)在參照部位的亮度變化沒(méi)有達(dá)到第二預(yù)定值以上的狀態(tài)下，道路面的亮度變化達(dá)到第一預(yù)定值以上，且道路面變化后的亮度不是預(yù)定顏色時(shí)，從變化時(shí)間點(diǎn)開(kāi)始至道路面的亮度返回到預(yù)定顏色為止維持變化前的白平衡補(bǔ)償值，此外導(dǎo)出白平衡補(bǔ)償值以使道路面的亮度被識(shí)別為預(yù)定顏色；對(duì)獲取的亮度實(shí)施基于白平衡補(bǔ)償值的白平衡補(bǔ)償而導(dǎo)出補(bǔ)償亮度；基于數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)的亮度范圍與特定物之間的對(duì)應(yīng)關(guān)系，從對(duì)象部位的補(bǔ)償亮度初步確定對(duì)應(yīng)于對(duì)象部位的特定物。
文檔編號(hào)B60R21/00GK102975677SQ201210138539
公開(kāi)日2013年3月20日 申請(qǐng)日期2012年5月7日 優(yōu)先權(quán)日2011年5月12日
發(fā)明者木戶辰之輔 申請(qǐng)人:富士重工業(yè)株式會(huì)社