用于檢測車輛風(fēng)擋上的雨滴的方法和攝像頭組件的制作方法
【專利摘要】本發(fā)明涉及一種用于檢測車輛風(fēng)擋上的雨滴的方法，其中風(fēng)擋的至少一個區(qū)域的圖像被捕獲，其中，至少一個對象從被捕獲圖像提取，且其中環(huán)境光條件被確定(S12)。對象提取的至少兩種方式(S14、S18)中的至少一種根據(jù)環(huán)境光條件被執(zhí)行。此外，本發(fā)明還涉及用于檢測車輛風(fēng)擋上的雨滴的攝像頭組件。
【專利說明】用于檢測車輛風(fēng)擋上的雨滴的方法和攝像頭組件
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種用于檢測車輛風(fēng)擋上的雨滴的方法，其中風(fēng)擋的至少一個區(qū)域的圖像被攝像頭捕獲。至少一個對象從被捕獲圖像提取，且環(huán)境光條件被確定。此外，本發(fā)明還涉及用于檢測車輛風(fēng)擋上的雨滴的攝像頭。
【背景技術(shù)】
[0002]對于機動車輛，已知有多種駕駛輔助系統(tǒng)，使用由單個或由多個攝像機捕獲的圖像。獲得的圖像可以被處理，以允許在屏幕上顯示，例如在儀表板處或它們可被投影在風(fēng)擋玻璃上，特別是在危險的情況下警示駕駛員或簡單地改善他的可視性。還可以利用圖像檢測車輛風(fēng)擋上的雨滴或霧。這樣的雨滴或霧檢測可參與車輛的功能型單元的自動觸發(fā)。例如，如果檢測到雨，駕駛員可被警告，制動輔助系統(tǒng)可被激活，風(fēng)擋擦拭器可被開啟和/或頭燈可被打開。
[0003]US 6806485B2描述了一種光學(xué)濕氣檢測器,其能夠確定對應(yīng)于環(huán)境光條件的絕對值。該檢測器包括光學(xué)濕氣傳感器，其感測濕氣收集表面上的濕氣的存在。
[0004]EP 1025702B1描述了一種雨傳感器系統(tǒng)，包括照明檢測器，諸如CMOS圖像陣列或CCD圖像陣列。取決于環(huán)境光的水平，當(dāng)風(fēng)擋上的環(huán)境光太低而不能照明存在于風(fēng)擋上的雨滴時，控制單元打開照明源。
[0005]現(xiàn)有技術(shù)中已知的方法和攝像頭組件在可靠地檢測風(fēng)擋上的雨滴時已經(jīng)遇到困難。

【發(fā)明內(nèi)容】

[0006]因此，本發(fā)明的主題是建立用于檢測風(fēng)擋上的雨滴的特別可靠的方法和攝像頭組件。
[0007]該目標(biāo)通過具有權(quán)利要求1的特征的方法和具有權(quán)利要求9的特征的攝像頭組件滿足。具有本發(fā)明的方便的進一步發(fā)展的有利實施例在從屬權(quán)利要求中示出。
[0008]根據(jù)本發(fā)明，在用于檢測車輛風(fēng)擋上的雨滴的方法中，風(fēng)擋的至少一個區(qū)域的圖像被攝像頭捕獲。至少一個對象從被捕獲圖像提取，且環(huán)境光條件被確定，其中，對象提取的至少兩個方式中的至少一個根據(jù)環(huán)境光條件被執(zhí)行。這基于取決于光條件風(fēng)擋上的雨滴具有多種表現(xiàn)的結(jié)論。因此，考慮環(huán)境光條件的雨滴檢測算法被選擇，以利用(在對象提取的不同方式中)特別適于被確定光條件的至少一個方式。這使得該方法特別可靠，且還提供快速且高效的雨滴檢測。
[0009]在本發(fā)明的有利實施例中，在夜間或隧道環(huán)境光條件下，通過檢測灰度水平低于預(yù)定臨界值的對象從被捕獲圖像提取對象。在暗夜條件下或在暗隧道中，風(fēng)擋上的雨滴在風(fēng)擋的被捕獲區(qū)域圖像中比圖像的已經(jīng)暗的背景表現(xiàn)得更暗。為了確定這樣的暗夜光條件是否存在，光源的數(shù)量和/或亮度可被評估，例如通過確定光源的數(shù)量和/或亮度是否低于預(yù)定臨界值。如果在這樣的暗夜照片條件下僅具有較低灰度水平的對象被從圖像提取，則雨滴檢測可被快速、可靠和高效地執(zhí)行。
[0010]在本發(fā)明的另一有利實施例中，在光源的數(shù)量和/或亮度在預(yù)定臨界值以上的夜間或隧道環(huán)境光條件下，通過檢測灰度水平高于預(yù)定臨界值的對象從被捕獲圖像提取對象。這是基于以下結(jié)論，在夜間，如果存在較近且強度大的光源，被捕獲圖像上的雨滴比雨滴的相對較暗的周圍環(huán)境表現(xiàn)得更亮。因此，通過清晰夜間或亮隧道照明條件，對于可能是雨滴的對象的檢測，尋找具有相對較高灰度水平的對象足矣。對象提取的方式因此適用于這樣的清晰夜間照明條件，用于可靠且快速的雨滴檢測。
[0011]已進一步證明有利的是，當(dāng)在日光環(huán)境光條件下，通過檢測對象的暗部分和亮部分從被捕獲圖像提取對象，其中，對象的暗部分和亮部分被合并。暗部分可通過將其灰度水平與預(yù)定臨界值進行比較而被檢測，亮部分可通過將其灰度水平與另一更高預(yù)定臨界值進行比較而被檢測。在清晰日間，風(fēng)擋上的雨滴在被捕獲圖像中表現(xiàn)為具有發(fā)光部分和暗部分的對象。因此，在被捕獲圖像中可能表不雨滴的對象的提取可通過売和暗對象提取和后續(xù)的對比區(qū)段合并而執(zhí)行。在區(qū)段的該融合中，光度的和幾何的約束被考慮。通過合并對象的暗部分和亮部分，適當(dāng)?shù)乜紤]存在于日光條件下的被捕獲圖像中的風(fēng)擋上的雨滴的特定表現(xiàn)。
[0012]在本發(fā)明的又一優(yōu)選實施例中，環(huán)境光條件通過攝像頭確定。因此，不需要提供能夠估計環(huán)境光條件的其他傳感器。環(huán)境光條件的信息還通過處理被捕獲圖像而獲得。風(fēng)擋上的雨滴的檢測可因此通過非常緊湊的攝像頭組件被執(zhí)行。
[0013]如果環(huán)境光條件被定量地確定，則可獲得環(huán)境光條件的非常準(zhǔn)確的估計。這還允許不同光條件之間的非常精確的區(qū)別。另一方面，環(huán)境光條件可被定性地確定。這使得可以使用相對較簡單的攝像頭。替換地，諸如比較器的電子裝置可被利用，以指示是否存在日光、夜間或黃昏環(huán)境光條件。這簡化了要被考慮用于選擇對象提取的適當(dāng)方式的光條件的確定。
[0014]在本發(fā)明的另一有利實施例中，使用通過區(qū)段進行的被捕獲圖像的分割和/或通過邊緣進行的被捕獲圖像的分割提取對象。通過區(qū)段進行分隔可基于形態(tài)學(xué)操作，或水平集方法以及區(qū)段或分隔的增長可被使用。對于邊緣檢測，可利用活動輪廓模型，即所謂的蛇形。用于對象提取的這些方法在分析被捕獲圖像中非常高效。
[0015]最后，已證明有利的是，將被提取對象進行分類，以便檢測雨滴。分?jǐn)?shù)或置信度可被指派給每一個被提取對象，以便確定被提取對象是否是雨滴。因此，可采用適當(dāng)?shù)膭幼?，其考慮被檢測的雨滴。
[0016]根據(jù)本發(fā)明的攝像頭組件，其配置為檢測車輛風(fēng)擋上的雨滴，包括用于捕獲風(fēng)擋的至少一區(qū)域的圖像的攝像頭、配置為從被捕獲圖像提取至少一個對象的處理器件和用于確定環(huán)境光條件的器件，所述處理器件配置為根據(jù)環(huán)境光條件執(zhí)行對象提取的至少兩個方式中的至少一個。這允許處理器件可靠地檢測風(fēng)擋上的雨滴，因為對象提取的方式被關(guān)于環(huán)境光條件適當(dāng)?shù)剡x擇。
[0017]優(yōu)選地，攝像頭在對于人眼敏感的波長的光譜范圍內(nèi)也是敏感的。
[0018]關(guān)于用于檢測雨滴的方法示出的優(yōu)選實施例及其優(yōu)勢對應(yīng)地應(yīng)用于根據(jù)本發(fā)明的攝像頭組件，反之亦然。
[0019]上述所有特征和特征組合以及以下在附圖的描述中提及的和/或在附圖中簡單示出的特征和特征組合可以不僅用在分別指出的組合中，也可以用在其他組合中或單獨使用，而不背離本發(fā)明的范圍。
【專利附圖】

【附圖說明】
[0020]本發(fā)明的進一步優(yōu)勢、特征和細(xì)節(jié)將從權(quán)利要求、以下優(yōu)選實施例的描述以及附圖顯而易見。在圖中:
[0021]圖1是示出根據(jù)環(huán)境光條件選擇的對象提取方法的流程圖；
[0022]圖2是清晰夜視圖像，具有較多的且亮的光源，在由攝像頭捕獲的圖像中比它們周圍環(huán)境看起來更売;
[0023]圖3是在暗夜環(huán)境光條件下由攝像頭捕獲的圖像，其中，雨滴表現(xiàn)為比它們的背景更暗的區(qū)域；
[0024]圖4是在日光條件下捕獲的圖像中風(fēng)擋上的雨滴的表現(xiàn)；
[0025]圖5是通過攝像頭組件的處理器件基于分離描述符的示例對象分類；
[0026]圖6非常示意性地示出了攝像頭組件，其構(gòu)造為執(zhí)行車輛風(fēng)擋上的雨滴的檢測。
【具體實施方式】
[0027]用于檢測車輛風(fēng)擋上的雨滴的攝像頭組件10 (圖6)包括安裝在車輛上的攝像頭12?？砂–MOS或CXD圖像傳感器的攝像頭12構(gòu)造為觀察車輛風(fēng)擋且安裝在車輛車艙內(nèi)部。在攝像頭組件10檢測到風(fēng)擋上的雨滴時，風(fēng)擋可在擦拭器刮片的幫助下被擦拭。攝像頭12捕獲風(fēng)擋的圖像，且通過圖像處理確定風(fēng)擋上的對象是否是雨滴。
[0028]為了檢測風(fēng)擋上的雨滴，考慮環(huán)境光條件，以選擇對象提取的適當(dāng)方式。在圖1中，可見圖像處理步驟，其針對雨滴檢測而進行。
[0029]在圖像預(yù)處理步驟SlO中，由攝像頭12捕獲的圖像被準(zhǔn)備。例如，感興趣的區(qū)域被限定，且噪音過濾器被使用。在下一步驟S12中，環(huán)境光條件被確定。取決于環(huán)境光條件，當(dāng)處理被捕獲的圖像時，執(zhí)行對象提取的不同方式。
[0030]第一箭頭14指示，在確定了對應(yīng)于清晰夜間的環(huán)境光條件時，在步驟S14中，具有高灰度水平的對象被提取。圖2中示出了顯示這樣的清晰夜間條件的示例性圖像16。這樣的清晰夜間條件是指具有相對較大數(shù)量或較近光源18的夜間的環(huán)境光條件。這些光源18，諸如街燈、接近的往來車輛的頭燈、車輛前方的往來車輛的尾燈等，造成雨滴20在圖像16內(nèi)的表現(xiàn)，它們比它們的周圍環(huán)境更亮。因此，在步驟S14中足以提取具有相對較高灰度水平的對象，以便限定稍后(即在步驟S16中)將被分類為雨滴或非雨滴的對象。
[0031]如果在步驟S12中確定環(huán)境光條件對應(yīng)于暗夜，則對象提取的另一方式被應(yīng)用至攝像頭12捕獲的圖像。如在圖1中箭頭22所指示的，在步驟S18中，對象從攝像頭12捕獲的圖像24(參見圖3)提取，其中，對象具有相對較低灰度水平。這是因為，由于具有僅有限的光源18的暗夜(參見圖3)，攝像頭12捕獲的圖像24中的雨滴20比它們的背景表現(xiàn)得更暗。因此足以執(zhí)行具有非常低灰度水平的對象的提取，以便找到可對應(yīng)于風(fēng)擋上的雨滴20的對象。這些暗的對象稍后被分類(參見步驟S16)。
[0032]如果步驟S12中的環(huán)境光確定得到圖像26 (參見圖4)已經(jīng)在日光期間被攝像頭12捕獲，則執(zhí)行對象提取的又一方式。如圖1中箭頭28和30所指示的，在日光條件下，具有低灰度水平的對象和具有高灰度水平的對象從圖像26(參見圖4)被提取。這是由于，在日光期間，風(fēng)擋上的雨滴20在圖像26中表現(xiàn)為具有暗部分32和亮部分34的區(qū)域。特別地，暗部分21可被亮部分34圍繞(參見圖4)。在可能對應(yīng)于雨滴20的對象的暗部分32和亮部分34已經(jīng)被提取后，對比地帶被合并。在被提取對象的融合發(fā)生的該步驟S20僅當(dāng)存在日光條件時被執(zhí)行(參見圖1)。將亮和暗組成部分合成以構(gòu)建雨滴20 (參見圖4)考慮了幾何和光度測定約束。從融合(參見步驟S20)得到的對象隨后在步驟S16中被分類。
[0033]步驟16中進行的該對象分類可基于多個描述符，所述描述符可描述對象的形狀、強度(intensity)、紋理和/或背景。形狀描述符可考慮對象的高度和寬度的比、對象周長、對象面積、對象的圓度等。強度描述符可根據(jù)對象的最大強度、其最小強度或平均強度將對象分類。而且，對象內(nèi)的紅色組成部分的平均強度可被考慮，用于對象的分類。紋理描述符可用于根據(jù)時刻、均勻性、褶皺、累積梯度等將對象分類。而且，可建立定向梯度的柱狀圖，以將對象分類。
[0034]圖5示出具有兩個曲線38、40的曲線圖36。在該曲線圖36中，可見累積局部梯度。曲線38允許將對象分類為真雨滴20，而曲線40代表對象被分類為假雨滴或非雨滴。
[0035]在圖像處理期間執(zhí)行的對象分類(參加圖1中步驟S16)中，還可利用背景描述符。這樣的背景描述符可考慮車輛速度以及定量或定性的光條件。為了使光條件定量，可確定在感興趣的檢測區(qū)域中的全局強度平均值，或感興趣的檢測區(qū)域中的強度的標(biāo)準(zhǔn)差，和/或環(huán)境光可以以勒克斯指示。
[0036]定性光條件確定可在日光、黃昏、沒有光源的夜間和有光源的夜間之間進行區(qū)分。沒有光源的夜間將引起執(zhí)行根據(jù)圖1的箭頭22的對象提取，即暗夜環(huán)境光調(diào)節(jié)，而有光源的夜間確定引起執(zhí)行根據(jù)圖1中箭頭14的對象提取。
[0037]在對象分類中，分?jǐn)?shù)或置信度至被指派給每一個被提取對象。在詳細(xì)描述分?jǐn)?shù)或置信度中，考慮每一個對象的描述符和背景。對象分類可通過受監(jiān)督的學(xué)習(xí)機執(zhí)行，例如支持向量機。
[0038]圖6示意性地示出攝像頭組件10，包括攝像頭12以及處理器件42，它們配置為從被捕獲的圖像16、24、26(參見圖2-4)提取對象，同時考慮如由攝像頭組件10的器件44確定的環(huán)境光條件。器件44可以是軟件，用于處理被攝像頭12捕獲的圖像16、24、26。替換地或另外地，可以利用能夠確定環(huán)境光條件的測量裝置，其不是攝像頭12的一部分。處理器件42可還與攝像頭12分立。
[0039]當(dāng)雨滴檢測軟件獲得環(huán)境光條件的信息時，要與被捕獲圖像16、24、26中的雨滴的特定外觀一起利用的提取功能可適用于這些光條件，例如，日光、隧道、具有光源的夜晚、或沒有任何額外光源的夜晚。以該方式，由攝像頭12執(zhí)行的對可能對應(yīng)于風(fēng)擋上的雨滴20的對象的提取與環(huán)境光條件直接相關(guān)。
【權(quán)利要求】
1.一種用于檢測車輛風(fēng)擋上的雨滴(20)的方法，其中，風(fēng)擋上的至少一區(qū)域的圖像(16、24、26)被攝像頭(12)捕獲，其中，至少一個對象從被捕獲的圖像(16、24、26)提取，且其中環(huán)境光條件被確定(S12)， 其特征在于， 對象提取的至少兩種方式(S14、S18)中的至少一種根據(jù)環(huán)境光條件被執(zhí)行。
2.根據(jù)權(quán)利要求1所述的方法， 其特征在于， 在光源(18)數(shù)量和/或亮度在預(yù)定臨界值以下的夜間或隧道環(huán)境光條件下，通過檢測灰度水平低于預(yù)定臨界值的對象從被捕獲的圖像(16、24、26)提取對象(S14)。
3.根據(jù)權(quán)利要求1或2所述的方法， 其特征在于， 在光源(18)的數(shù)量和/或亮度在預(yù)定臨界值以上的夜間或隧道環(huán)境光條件下，通過檢測灰度水平高于預(yù)定臨界值的對象從被捕獲的圖像(16、24、26)提取對象。
4.根據(jù)權(quán)利要求1至3中的任一項所述的方法， 其特征在于， 在日光環(huán)境光條件下，通過檢測灰度水平低于預(yù)定臨界值的對象的暗部分(32)以及通過檢測灰度水平高于預(yù)定臨界值的對象的亮部分(34)從被捕獲的圖像(16、24、26)提取對象(S14，S18)， 其中，對象的暗部分(32)和亮部分(34)被合并(S20)。
5.根據(jù)權(quán)利要求1至4中的任一項所述的方法， 其特征在于， 環(huán)境光條件通過攝像頭(12)的器件(44)確定。
6.根據(jù)權(quán)利要求1至5中的任一項所述的方法， 其特征在于， 環(huán)境光條件被定量或定性地確定。
7.根據(jù)權(quán)利要求1至6中的任一項所述的方法， 其特征在于， 使用通過區(qū)段進行的被捕獲的圖像(16、24、26)的分割和/或通過邊緣進行的被捕獲的圖像(16、24、26)的分割提取對象。
8.根據(jù)權(quán)利要求1至7中的任一項所述的方法， 其特征在于， 被提取的對象被分類(S16)，以檢測雨滴。
9.一種攝像頭組件，用于檢測車輛風(fēng)擋上的雨滴(20)， 包括用于捕獲風(fēng)擋的至少一區(qū)域的圖像(16、24、26)的攝像頭(12)、配置為從被捕獲的圖像(16、24、26)提取至少一個對象的處理器件(42)和用于確定環(huán)境光條件的器件(44)， 其特征在于， 所述處理器件(42)配置為根據(jù)環(huán)境光條件執(zhí)行對象提取(S14、S18)的至少兩種方式中的至少一種。
【文檔編號】G06K9/00GK103917986SQ201180074710
【公開日】2014年7月9日 申請日期:2011年9月7日 優(yōu)先權(quán)日:2011年9月7日
【發(fā)明者】S.阿西亞德, C.羅伯特 申請人:法雷奧開關(guān)和傳感器有限責(zé)任公司