專利名稱：基于像素的無(wú)紋理暢通路徑檢測(cè)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)動(dòng)車輛的自動(dòng)或半自動(dòng)控制。
背景技術(shù)：
該部分的內(nèi)容僅提供與本發(fā)明有關(guān)的背景信息，且可能不構(gòu)成現(xiàn)有技術(shù)。自主駕駛系統(tǒng)和半自主駕駛系統(tǒng)使用關(guān)于道路和其它駕駛狀況的輸入來(lái)自動(dòng)地 控制節(jié)氣門和轉(zhuǎn)向機(jī)構(gòu)。對(duì)期望使機(jī)動(dòng)車輛在其上操作的暢通路徑(clear path)的準(zhǔn)確 估計(jì)和辨識(shí)對(duì)于用車輛操作的控制機(jī)構(gòu)成功替換人類頭腦是關(guān)鍵的。道路狀況可能是復(fù)雜的。在車輛的正常操作下，人操作者每分鐘進(jìn)行數(shù)百次的觀 察并基于所感知的道路狀況來(lái)調(diào)節(jié)車輛操作。感知道路狀況的一個(gè)方面是在路面中和路面 附近的物體的環(huán)境中感知道路并導(dǎo)航通過(guò)任何物體的暢通路徑。用技術(shù)來(lái)替換人類感知優(yōu) 先包括一些手段來(lái)準(zhǔn)確地感知物體并在這些物體周圍繼續(xù)有效地導(dǎo)航。用于感知物體的技術(shù)手段包括來(lái)自于視覺(jué)照相機(jī)和雷達(dá)成像的數(shù)據(jù)。照相機(jī)將輻 射形式的視覺(jué)圖像(例如，光圖案或紅外符號(hào))譯碼為可讀取的數(shù)據(jù)格式。一種這樣的數(shù) 據(jù)格式包括像素化圖像，其中，所感知的情景分成一系列像素。雷達(dá)成像使用發(fā)送器產(chǎn)生的 無(wú)線電波來(lái)估計(jì)發(fā)送器前面存在的形狀和物體。能夠分析反映這些形狀和物體的波的圖案 且能夠估計(jì)物體的位置?！┮呀?jīng)產(chǎn)生關(guān)于車輛前面地面的數(shù)據(jù)，所述數(shù)據(jù)就必須被分析以根據(jù)數(shù)據(jù)估計(jì) 物體的存在。通過(guò)使用照相機(jī)和雷達(dá)成像系統(tǒng)，能夠分析車輛前面的地面或路面是否存在 可能需要避免的物體。然而，僅僅辨識(shí)要避免的潛在物體并未完成分析。任何自主系統(tǒng)的 重要組成包括如何處理和管理所感知的地面數(shù)據(jù)中被辨識(shí)的潛在物體，以辨識(shí)在其中操作 車輛的暢通路徑。一種辨識(shí)在其中操作車輛的暢通路徑的已知方法是編目和臨時(shí)辨識(shí)所有感知的 物體且按照所辨識(shí)的物體的位置和特性來(lái)辨識(shí)暢通路徑。圖像可被處理以根據(jù)其形式和與 路面的關(guān)系來(lái)辨識(shí)和分類物體。雖然該方法能夠有效地辨識(shí)暢通路徑，但是它需要大量的 處理能力，從而需要將視覺(jué)圖像中的不同物體識(shí)別和分開(kāi)，例如，在沿道路側(cè)面的樹(shù)和朝路 邊行走的行人之間進(jìn)行區(qū)分。這種方法對(duì)于處理復(fù)雜情況可能是緩慢或無(wú)效率的，或者可 能需要笨重而昂貴的設(shè)備來(lái)提供所需處理容量。

發(fā)明內(nèi)容
一種使用對(duì)由位于車輛上的照相機(jī)裝置產(chǎn)生的多個(gè)圖像的分析來(lái)檢測(cè)車輛行駛 的暢通路徑的方法，包括監(jiān)測(cè)所述圖像，其中，每個(gè)圖像包括多個(gè)像素；使用無(wú)紋理處理方案來(lái)分析所述圖像，包括將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表面的暢通表面的 圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)。所述暢通路徑基于所述暢通表面來(lái) 確定，且所述暢通路徑被用于操作車輛。


現(xiàn)在將參考附圖通過(guò)示例的方式來(lái)描述一個(gè)或多個(gè)實(shí)施例，在附圖中圖1示出了配備有根據(jù)本發(fā)明的照相機(jī)和雷達(dá)成像系統(tǒng)的車輛的示例性設(shè)置；圖2示出了根據(jù)本發(fā)明的確定用于自主駕駛的暢通路徑的已知方法；圖3示出了使用根據(jù)本發(fā)明的圖像概率分析來(lái)確定暢通路徑的示例性方法；圖4示出了根據(jù)本發(fā)明的分析圖像的示例性方法；圖5示出了根據(jù)本發(fā)明的通過(guò)調(diào)整單個(gè)閾值來(lái)限定分類誤差的示例性方法；圖6A、6B和6C示出了根據(jù)本發(fā)明的通過(guò)計(jì)算絕對(duì)圖像強(qiáng)度差來(lái)示意性地確定圖
像差；圖7示出了根據(jù)本發(fā)明的將特征分類為暢通路徑的一部分和被檢測(cè)物體的示例 性方法，同時(shí)作為圖像分析的方法；圖8還示出了根據(jù)本發(fā)明的將特征分類為暢通路徑的一部分和被檢測(cè)物體的示 例性方法，同時(shí)作為圖像分析的方法；圖9示出了根據(jù)本發(fā)明的通過(guò)概率分析來(lái)分析圖像的示例性過(guò)程；圖10是根據(jù)本發(fā)明的用于檢測(cè)暢通路徑的第一處理方案；圖11示出了根據(jù)本發(fā)明的包括在當(dāng)前圖像上辨識(shí)的示例性興趣點(diǎn)集合的示例性 當(dāng)前圖像；圖12示出了根據(jù)本發(fā)明的在圖11所示的圖像之后捕獲的示例性當(dāng)前圖像；圖13A和13B示出了根據(jù)本發(fā)明的示例性匹配點(diǎn)對(duì)、以及圍繞所述點(diǎn)的示例性像 素區(qū)域，所述匹配點(diǎn)對(duì)包括來(lái)自于當(dāng)前圖像的興趣點(diǎn)和來(lái)自于先前圖像的相應(yīng)興趣點(diǎn)；圖13A示出了來(lái)自于當(dāng)前圖像的興趣點(diǎn)和圍繞所述興趣點(diǎn)的像素區(qū)域；圖13B示出了來(lái)自于先前圖像的興趣點(diǎn)和圍繞所述興趣點(diǎn)的像素區(qū)域；圖14以圖形示出了根據(jù)本發(fā)明的示例性當(dāng)前圖像、示例性先前圖像、以及主車輛 的操作的使用，以確定視圖特征的位置；圖15以圖形示出了根據(jù)本發(fā)明的描述在主車輛前面χ和y坐標(biāo)處的興趣點(diǎn)的豎 直位置的示例性投影圖；圖16示出了根據(jù)本發(fā)明的用于檢測(cè)暢通路徑的第二處理方案；圖17示出了根據(jù)本發(fā)明的基于像素顏色強(qiáng)度的示例性濾波圖像；圖18示出了根據(jù)本發(fā)明的使用邊緣識(shí)別方法的示例性濾波圖像；和圖19示出了根據(jù)本發(fā)明的用于第二處理方案的替代示例性過(guò)程。
具體實(shí)施例方式現(xiàn)在參考附圖，其中所述視圖僅僅是為了圖示某些示例性實(shí)施例而不是為了限制 所述實(shí)施例，圖1示出了根據(jù)本發(fā)明的位于車輛100前面并指向車輛100前面的地面的照 相機(jī)Iio的示例性設(shè)置。照相機(jī)110與處理模塊120通信，處理模塊120包含邏輯以處理來(lái)自于照相機(jī)110的輸入。車輛100也可配備有雷達(dá)成像系統(tǒng)130，在存在時(shí)，雷達(dá)成像系 統(tǒng)也處理模塊120通信。本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，除了使用照相機(jī)110和雷達(dá)成像 系統(tǒng)130之外或者替代使用照相機(jī)110和雷達(dá)成像系統(tǒng)130，車輛100可以使用多種方法來(lái) 辨識(shí)道路狀況，包括GPS信息、來(lái)自于與車輛100通信的其它車輛的信息、關(guān)于具體路面的 歷史數(shù)據(jù)、生物信息(例如，讀取駕駛員的視覺(jué)焦點(diǎn)的系統(tǒng))、雷達(dá)成像系統(tǒng)或其它類似系 統(tǒng)。本文公開(kāi)的內(nèi)容能夠應(yīng)用于各種裝置設(shè)置且因而不受限于此。照相機(jī)110是能夠?qū)⒐?、紅外線或其它電磁(EM)輻射形式的視覺(jué)輸入譯碼成能夠 便于分析的數(shù)據(jù)格式(例如，數(shù)字、像素化圖像)的本領(lǐng)域熟知的裝置。在一個(gè)實(shí)施例中， 照相機(jī)110使用電荷耦合裝置(CXD)傳感器來(lái)產(chǎn)生指示視場(chǎng)的圖像。優(yōu)選地，照相機(jī)110 配置成用于連續(xù)圖像生成，例如每秒產(chǎn)生30個(gè)圖像。由照相機(jī)110產(chǎn)生的圖像可存儲(chǔ)在照 相機(jī)110內(nèi)的存儲(chǔ)器中或者傳輸給處理模塊120，以用于存儲(chǔ)和/或分析。優(yōu)選地，照相機(jī) 110產(chǎn)生的每個(gè)圖像是具有已知像素大小的二維圖像，包括多個(gè)可辨識(shí)像素。所述多個(gè)可辨 識(shí)像素可使用陣列存儲(chǔ)和分析。每個(gè)像素可在陣列中表示為位集合或多個(gè)位集合，其中，位 與預(yù)定調(diào)色板或顏色圖上的顏色相對(duì)應(yīng)。每個(gè)像素可表示為多個(gè)顏色強(qiáng)度值的函數(shù)，例如 紅-綠-藍(lán)(RGB)顏色模型或青-紫-黃-黑(CMYK)顏色模型。優(yōu)選地，每個(gè)像素包括多 個(gè)位集合，其中，每個(gè)位集合與顏色強(qiáng)度和顏色強(qiáng)度值相對(duì)應(yīng)，例如，在RGB顏色模型上，第 一位集合與紅色強(qiáng)度值相對(duì)應(yīng)，第二位集合與綠色強(qiáng)度值相對(duì)應(yīng)，且第三位集合與藍(lán)色強(qiáng) 度值相對(duì)應(yīng)。雷達(dá)成像裝置130是本領(lǐng)域熟知的裝置，包括能夠發(fā)送無(wú)線電波或其它EM輻射 的發(fā)送器；能夠感測(cè)所發(fā)送的波的接收器裝置，所發(fā)送的波從發(fā)送器前面的物體被反射回 到接收器；和將所感測(cè)的波轉(zhuǎn)換成能夠分析的數(shù)據(jù)格式(例如，指示從反射該波的物體的 距離和角度)的裝置。替代性地，雷達(dá)成像裝置130可用配置成發(fā)送和接收光能的光檢測(cè)和 測(cè)距(LIDAR)系統(tǒng)替代或補(bǔ)充。所接收的光能可用于確定物體幾何尺寸和/或與車輛100 的幾何接近度。應(yīng)當(dāng)注意的是，雷達(dá)成像裝置130對(duì)于執(zhí)行本文公開(kāi)的許多方法來(lái)說(shuō)是可 選的而不是必需的，其中，視覺(jué)圖像的處理能夠完成暢通路徑檢測(cè)。處理模塊120在圖1中示出，并在本文描述為分立元件，這種圖示是為了便于說(shuō)明 且應(yīng)當(dāng)理解的是，該元件執(zhí)行的功能可組合在一個(gè)或更多裝置中，例如在軟件、硬件和/或 專用集成電路中實(shí)施。優(yōu)選地，處理模塊120是通用數(shù)字計(jì)算機(jī)，通用數(shù)字計(jì)算機(jī)包括微處 理器或中央處理單元；存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)包括非易失性存儲(chǔ)器(包括只讀存儲(chǔ)器和 電子可編程只讀存儲(chǔ)器)、隨機(jī)存取存儲(chǔ)器；高速時(shí)鐘；模數(shù)和數(shù)模電路；輸入/輸出電路 和裝置以及合適的信號(hào)調(diào)節(jié)和緩沖電路。處理模塊120具有一組處理算法，所述處理算法 包括存儲(chǔ)在非易失性存儲(chǔ)器中且被執(zhí)行提供每個(gè)計(jì)算機(jī)的相應(yīng)功能的常駐程序指令和標(biāo) 定值。所述算法優(yōu)選在預(yù)定循環(huán)期間被執(zhí)行。所述算法由中央處理單元執(zhí)行，并且可操作 以監(jiān)測(cè)來(lái)自前述感測(cè)裝置的輸入以及執(zhí)行控制和診斷程序從而用預(yù)定標(biāo)定值控制致動(dòng)器 的操作。在持續(xù)進(jìn)行的發(fā)動(dòng)機(jī)和車輛操作期間，循環(huán)以規(guī)則間隔例如每3. 125,6. 25,12. 5、 25和100毫秒被執(zhí)行。替代性地，算法可響應(yīng)于事件發(fā)生而被執(zhí)行。處理模塊120執(zhí)行存儲(chǔ)在其中的算法代碼以監(jiān)測(cè)相關(guān)的設(shè)備(例如照相機(jī)110和 雷達(dá)成像系統(tǒng)130)并執(zhí)行由處理模塊內(nèi)執(zhí)行的分析所表示的指令或數(shù)據(jù)傳輸。處理模塊 120可包括借助于本領(lǐng)域已知且在本文未描述的手段來(lái)致動(dòng)自主駕駛控制的算法和機(jī)構(gòu)，或者處理模塊120可簡(jiǎn)單地提供信息給獨(dú)立的自主駕駛系統(tǒng)。取決于與控制模塊結(jié)合使用 的具體實(shí)施例，處理模塊120適合于根據(jù)需要從其它系統(tǒng)和操作者接收輸入信號(hào)。圖2示出了根據(jù)本發(fā)明的確定用于自主駕駛的暢通路徑的已知方法。產(chǎn)生與車輛 100前面的路面相對(duì)應(yīng)的圖像10。通過(guò)各種方法之一，物體40A、40B和40C在圖像10內(nèi)被 辨識(shí)，且每個(gè)物體根據(jù)濾波和訓(xùn)練后的物體特性被歸類和分類。每個(gè)物體的單獨(dú)處理可能 是計(jì)算量大的，且需要昂貴和笨重的設(shè)備來(lái)處理計(jì)算負(fù)荷。算法處理關(guān)于路面和物體40的 所有可用信息以估計(jì)車輛100可用的暢通路徑。暢通路徑的確定取決于所辨識(shí)的物體40 的具體分類和特性。圖3示出了根據(jù)本發(fā)明的確定用于自主或半自主駕駛的暢通路徑的示例性方法。 圖像10示出為包括地面20、地平線30和物體40。圖像10由照相機(jī)110收集且表示車輛 100前面的道路環(huán)境。地面20表示基于可能存在的物體在沒(méi)有任何鑒別力的情況下自由行 駛的所有可用路徑的區(qū)域。圖3的方法通過(guò)假定所有地面20都是暢通的開(kāi)始，且然后使用 可用數(shù)據(jù)來(lái)取消不暢通的地面20部分，從而確定地面20上的暢通路徑。與將每個(gè)物體40 分類的圖2方法相比，圖3的方法而是分析地面20并試圖從可用數(shù)據(jù)限定可表示物體40 的一些可檢測(cè)異常限制地面20部分或者使地面20部分不暢通的概率。這種集中于地面20 而不是物體40避免了與管理物體檢測(cè)有關(guān)的復(fù)雜計(jì)算任務(wù)。獨(dú)立物體的單獨(dú)分類和跟蹤 是不必要的，因?yàn)楠?dú)立物體40被簡(jiǎn)單地一起分組作為對(duì)地面20的總體一致限制的一部分。 地面20 (如上所述描述為在沒(méi)有任何鑒別力的情況下自由行駛的所有路徑)減去由發(fā)現(xiàn)為 不暢通的區(qū)域?qū)Φ孛?0施加的限制，限定了暢通路徑50 (在圖3中示出為虛線內(nèi)的區(qū)域) 或者具有車輛100自由行駛的一定閾值概率的區(qū)域。對(duì)地面20產(chǎn)生不暢通限制的物體40可呈現(xiàn)許多形式。例如，物體40可表示分離 物體，例如停止的汽車、行人或者道路障礙，或者物體40也可以表示指示道路邊緣的表面 圖案的較不明顯的變化，例如路側(cè)路邊、副索(grass line)或者覆蓋路面的水。物體40也 可以包括與地面20有關(guān)的平坦道路的不存在，例如在道路中有大洞時(shí)可能檢測(cè)到的那樣。 物體40也可以包括與道路在高度上沒(méi)有任何限定變化但是對(duì)該道路區(qū)段具有明顯的暢通 路徑暗示的標(biāo)識(shí)符，例如表示車道標(biāo)記的路面上的粉刷圖案。本文公開(kāi)的方法，通過(guò)不試圖 辨識(shí)物體40而僅僅在圖像10中從地面20和靠近地面的任何物獲取視覺(jué)線索，評(píng)估暢通與 不暢通的概率并針對(duì)任何物體40的存在調(diào)節(jié)車輛100的控制。自動(dòng)分析二維(2D)圖像的許多方法是可行的。圖像10分析由處理模塊120內(nèi)的 算法執(zhí)行。圖4示出了根據(jù)本發(fā)明可應(yīng)用于分析圖像10的一種示例性方法。該方法將圖 像10細(xì)分并辨識(shí)地面20的子圖像或小塊60以用于分析，從小塊60提取特征或者分析可 用視覺(jué)信息以辨識(shí)小塊內(nèi)的任何感興趣或區(qū)別特征，且依照特征分析根據(jù)成為暢通路徑的 概率將小塊分類。具有大于一定閾值概率的小塊分類為暢通的，且小塊的匯集可用于組合 成圖像內(nèi)的暢通路徑。小塊60，作為圖像10的子圖像，可通過(guò)任何已知的手段被辨識(shí)，例如圖像10的隨 機(jī)搜索或密集搜索。替代性地，從一些其它信息源(例如雷達(dá)成像系統(tǒng)130)可獲得的關(guān)于 物體40存在性的信息可用于辨識(shí)小塊以分析要描述物體40的圖像10部分。圖像10可需 要許多小塊60來(lái)分析整個(gè)圖像。此外，多個(gè)疊置小塊或具有不同尺寸的小塊可用于充分分 析含有感興趣信息的圖像10區(qū)域。例如，小的小塊60可用于分析道路上的小點(diǎn)；然而，可能需要大的小塊60來(lái)分析一系列點(diǎn)，所述點(diǎn)孤立地可能似乎是不感興趣的但是在整個(gè)系 列的情況下可能指示感興趣物體40。此外，應(yīng)用于具體區(qū)域的小塊分辨率可基于可用信息 調(diào)節(jié)，例如，更多小塊應(yīng)用于認(rèn)為存在物體40的圖像10區(qū)域。許多方案或策略可用來(lái)限定 用于分析的小塊60，且本發(fā)明不打算限制為本文公開(kāi)的具體實(shí)施例。一旦已經(jīng)辨識(shí)用于分析的小塊60，處理模塊120通過(guò)應(yīng)用濾波器以從小塊提取特 征來(lái)處理小塊。此外，處理模塊120可執(zhí)行與車輛位置相關(guān)的小塊位置的分析。所使用的 濾波器可采用許多形式。用來(lái)提取特征的濾波算法通常搜索數(shù)據(jù)中用于特性模式的可用視 覺(jué)信息，通過(guò)線取向、線位置、顏色、角點(diǎn)特性、其它視覺(jué)屬性和學(xué)習(xí)屬性來(lái)限定特征。學(xué)習(xí) 屬性可通過(guò)車輛內(nèi)的機(jī)器學(xué)習(xí)算法來(lái)學(xué)習(xí)，但通常被離線編程且可根據(jù)試驗(yàn)、根據(jù)經(jīng)驗(yàn)、通 過(guò)預(yù)測(cè)、通過(guò)建?；蜃阋詼?zhǔn)確地訓(xùn)練區(qū)分屬性的其它技術(shù)來(lái)產(chǎn)生。一旦小塊60中的特征已經(jīng)被提取，小塊就基于特征分類以確定小塊是暢通路徑 的概率。概率分析是本領(lǐng)域已知的過(guò)程，通過(guò)概率分析產(chǎn)生存在特定狀況的概率值或置信 度。應(yīng)用于本發(fā)明，分類包括概率分析以確定小塊是否表示暢通路徑或者該小塊中的地面 20是否受物體40限制。在示例性實(shí)施例中，通過(guò)應(yīng)用用示例性道路狀況的數(shù)據(jù)庫(kù)訓(xùn)練并 與所檢測(cè)物體相互作用的分類器或者算法來(lái)進(jìn)行分類。這些分類器允許處理模塊120產(chǎn)生 小塊60的暢通路徑概率值比例，從而在0和1之間量化在小塊內(nèi)辨識(shí)的特征不表示將抑 制車輛100自由行駛的限制性物體40的置信度。可以設(shè)定閾值置信度，從而限定用于將小 塊定義為暢通路徑所需要的暢通路徑概率，例如通過(guò)以下邏輯置信度=暢通路徑概率(i) (1)如果置信度> 0. 5，則小塊=暢通路徑在該具體示例性實(shí)施例中，選擇50%或0. 5的置 信度作為閾值置信度。該數(shù)值可根據(jù)試驗(yàn)、根據(jù)經(jīng)驗(yàn)、通過(guò)預(yù)測(cè)、通過(guò)建?；蜃阋詼?zhǔn)確地評(píng) 估小塊的暢通路徑特性的其它技術(shù)來(lái)產(chǎn)生。如上所述，概率分析可在一個(gè)示例性實(shí)施例中通過(guò)將訓(xùn)練后的分類器應(yīng)用于從小 塊提取的特征來(lái)執(zhí)行。一種方法使用訓(xùn)練圖像集合來(lái)演繹地分析特征。在該訓(xùn)練階段，區(qū) 別特征從原始特征集合選擇，區(qū)別特征由本領(lǐng)域已知的方法限定，例如Haar小波、Gabor小 波和Leimg-and-Malik濾波器組。此外，基于每個(gè)特征的最小分類誤差(根據(jù)錯(cuò)誤接受率 (FAR)和錯(cuò)誤拒絕率(FRR)的求和計(jì)算)的2D圖像位置信息可通過(guò)如圖5所示調(diào)整單個(gè)閾 值來(lái)使用。該分類誤差可以通過(guò)以下表達(dá)式描述分類誤差⑴=FARJFRRi (2)來(lái)自于 訓(xùn)練后的分類器的信息用于分類或加權(quán)指示暢通路徑或不暢通路徑的特征，具體分類取決 于對(duì)訓(xùn)練數(shù)據(jù)的比較的強(qiáng)度。如果特征是小塊內(nèi)的唯一特征，特征分類可直接應(yīng)用于小塊。 對(duì)辨識(shí)到多個(gè)特征的小塊的分類可采用多種形式，包括小塊由所包括的最能表示小塊不暢 通的特征限定或者小塊由其中包括的所有特征的加權(quán)求和來(lái)限定。上述方法用于檢查獨(dú)立圖像10并基于圖像10中包含的視覺(jué)信息來(lái)估計(jì)暢通路徑 50。在車輛沿道路行駛時(shí)，該方法可以一定間隔重復(fù)，以考慮新信息并將所表示的暢通路徑 擴(kuò)展到車輛新位置前面一定范圍。間隔的選擇必須用足夠的頻率來(lái)更新圖像10，以給車輛 100準(zhǔn)確地提供要駕駛的暢通路徑。然而，間隔也可以被選擇成某些最小值，以充分控制車 輛而且不過(guò)度地加重對(duì)處理模塊120施加的計(jì)算負(fù)荷。暢通路徑檢測(cè)可以通過(guò)上述單個(gè)圖像10完成。然而，處理速度和精度可以通過(guò)增 加在接近原始圖像的時(shí)間獲得的第二圖像來(lái)改進(jìn)，例如來(lái)自于流動(dòng)視頻削波的順序圖像。 第二圖像允許與第一圖像直接比較，且提供關(guān)于車輛前進(jìn)和所檢測(cè)物體的移動(dòng)的更新信息。而且，照相機(jī)110的視角變化允許進(jìn)行與第一圖像不同的特征分析可能在第一圖像中 未清楚示出或者不明顯的特征可在不同的照相機(jī)角度顯示，更明顯地突出，或者已經(jīng)自第 一圖像移動(dòng)，從而允許分類算法有附加的機(jī)會(huì)來(lái)限定特征。處理與原始圖像10相關(guān)的第二圖像可通過(guò)計(jì)算圖像差進(jìn)行。如果興趣點(diǎn)(例如， 由雷達(dá)辨識(shí)的特征)的圖像差不是0，那么該點(diǎn)可辨識(shí)為體現(xiàn)新信息。圖像差等于0的點(diǎn)可 以從分析中排除且可以節(jié)省計(jì)算資源。確定圖像差的方法包括絕對(duì)圖像強(qiáng)度差和車輛運(yùn)動(dòng) 補(bǔ)償圖像差。通過(guò)計(jì)算絕對(duì)圖像強(qiáng)度差來(lái)確定圖像差可用于收集兩個(gè)圖像之間的信息。絕對(duì)圖 像強(qiáng)度差的一種方法包括確定原始圖像和第二圖像之間的等同圖像特性以補(bǔ)償圖像之間 的車輛運(yùn)動(dòng)，疊置圖像，并注意圖像之間強(qiáng)度的任何顯著變化。對(duì)圖像之間的表示某些區(qū)域 中圖像強(qiáng)度的變化的比較包含新信息。沒(méi)有顯示強(qiáng)度變化的區(qū)域或小塊可在分析中不作強(qiáng) 調(diào)，而可集中于顯示強(qiáng)度上有清楚變化的區(qū)域，使用前述方法來(lái)分析任一或兩個(gè)所捕獲圖 像上的小塊。圖6A、6B和6C示出了根據(jù)本發(fā)明的通過(guò)計(jì)算絕對(duì)圖像強(qiáng)度差來(lái)示例性地確定圖 像差。圖6A示出了原始圖像。圖6B示出了從原始圖像變化的第二圖像。具體地，所示圓 形已經(jīng)向左移動(dòng)。如圖6C所示的兩個(gè)圖像的比較(表示絕對(duì)圖像強(qiáng)度差比較的結(jié)果的輸 出)辨識(shí)出已經(jīng)從第一圖像到第二圖像變暗的一個(gè)區(qū)域和已經(jīng)從第一圖像到第二圖像變 亮的另一個(gè)區(qū)域。這種方法能夠描述為差分。比較分析產(chǎn)生了由于移動(dòng)或視角變化引起的 一些變化可能在圖像中該區(qū)域中獲得的信息。由此，絕對(duì)圖像強(qiáng)度差可用于分析一對(duì)順序 圖像以辨識(shí)可能不暢通路徑。類似地，通過(guò)計(jì)算車輛運(yùn)動(dòng)補(bǔ)償圖像差來(lái)確定圖像差可用于在兩個(gè)圖像之間收集 信息。已知計(jì)算車輛運(yùn)動(dòng)補(bǔ)償圖像差的多種方法。車輛運(yùn)動(dòng)補(bǔ)償圖像差的一種示例性方法 包括分析同時(shí)作為暢通路徑的固定部分和檢測(cè)物體的潛在物體。對(duì)從兩個(gè)類別同時(shí)辨識(shí)的 與潛在物體相對(duì)應(yīng)的特征進(jìn)行概率分析，且可以例如通過(guò)以下邏輯比較所述分類置信度 (i)=暢通路徑概率(i)_檢測(cè)物體概率(i) (3)如果置信度> 0，則小塊=暢通路徑在 該具體示例性比較中，如果置信度(i)大于0，那么包含該特征的小塊分類為暢通路徑。如 果置信度(i)小于或等于0，那么包含該特征的小塊分類為不暢通路徑或受限制。然而，可 選擇用于置信度水平的不同值以將小塊分類為暢通路徑。例如，試驗(yàn)可顯示，錯(cuò)誤肯定值很 可能大于錯(cuò)誤否定值，從而可引入一些因子或偏差。圖7示出了根據(jù)本發(fā)明的將特征同時(shí)分類為上述暢通路徑的一部分和檢測(cè)物體 的一種方法。圖10包括物體40、梯形投影70和矩形投影80。該方法采用將物體40作為地 面上的平坦物體投影到投影70內(nèi)的假定，以對(duì)將特征分類為暢通路徑的一部分進(jìn)行試驗(yàn)。 該方法也采用將物體40作為豎直物體投影到矩形投影80內(nèi)的假定，以對(duì)將特征分類為檢 測(cè)物體進(jìn)行試驗(yàn)。圖8示出了在兩個(gè)圖像之間收集的數(shù)據(jù)中作出的比較，以根據(jù)本發(fā)明評(píng) 估物體40的性質(zhì)。在時(shí)間、時(shí)照相機(jī)110從物體40觀察并獲得第一圖像形式的數(shù)據(jù)。如 果物體40是實(shí)際檢測(cè)物體，那么在時(shí)間、時(shí)由照相機(jī)110觀察的物體40的輪廓將對(duì)應(yīng)于 點(diǎn)90A。如果物體40是與地面20在相同平面的平坦物體，那么在時(shí)間、時(shí)由照相機(jī)110 觀察的物體40的輪廓將對(duì)應(yīng)于點(diǎn)90B。在時(shí)間、和、之間，照相機(jī)110移動(dòng)一定距離。在 時(shí)間t2捕獲第二圖像，且關(guān)于物體40的信息可以通過(guò)應(yīng)用尋找第二圖像中物體的可視屬性與第一圖像進(jìn)行比較的算法來(lái)進(jìn)行試驗(yàn)。如果物體40是從地面20向上延伸的實(shí)際檢測(cè) 物體，那么在時(shí)間t2時(shí)物體40的輪廓將在點(diǎn)90C被觀察。如果物體40是與地面20在相同 平面的平坦物體，那么在時(shí)間t2時(shí)物體40的輪廓將在點(diǎn)90B被觀察。通過(guò)車輛運(yùn)動(dòng)補(bǔ)償圖 像差獲得的比較可借助于基于點(diǎn)90的觀察值應(yīng)用分類器而直接指定置信度，或者比較可 簡(jiǎn)單地指向顯示興趣點(diǎn)變化的區(qū)域。對(duì)作為平坦物體和作為實(shí)際檢測(cè)物體兩種分類的物體 進(jìn)行試驗(yàn)，允許包括物體40的區(qū)域被辨識(shí)以用于通過(guò)如上所述分析小塊進(jìn)一步分析，或者 直接產(chǎn)生暢通路徑概率和檢測(cè)物體概率，以用于例如在如上述邏輯表達(dá)式(3)進(jìn)行比較。從第二圖像分析可獲得的信息可附加地通過(guò)整合關(guān)于車輛運(yùn)動(dòng)的信息(例如速 度和偏航速率)來(lái)改進(jìn)。關(guān)于車輛運(yùn)動(dòng)的信息可從多個(gè)源獲得，包括車輛速度計(jì)、車輛動(dòng)態(tài) 傳感器或車輪速度傳感器、防抱死制動(dòng)機(jī)構(gòu)、和GPS位置系統(tǒng)。算法可使用該車輛移動(dòng)信 息，例如與圖7和8所述的投影結(jié)合，以基于來(lái)自于第一圖像的數(shù)據(jù)和在圖像之間車輛的測(cè) 量移動(dòng)來(lái)投影在平躺在地面上的特征中應(yīng)當(dāng)存在的角度。用于比較的圖像數(shù)量不需要限制為兩個(gè)。可以多次迭接執(zhí)行多個(gè)圖像分析，物體 在多個(gè)循環(huán)內(nèi)被跟蹤和比較。如上所述，通過(guò)使用圖像差分析可獲得計(jì)算效率，以辨識(shí)興趣 點(diǎn)并將具有0差的區(qū)域從隨后分析中排除。這種效率可用于多次迭接中，例如，僅在第一圖 像和第二圖像之間辨識(shí)的興趣點(diǎn)將在獲得的第三和第四圖像中被分析。在一些點(diǎn)，新的圖 像集合將需要被比較以確保示出了 0差的區(qū)域沒(méi)有任何變化，例如，撞擊到先前暢通路徑 上的運(yùn)動(dòng)物體。使用圖像差分析和集中分析(排除被辨識(shí)為具有0變化的區(qū)域)將根據(jù)應(yīng) 用而不同，且可在不同操作狀況之間不同，例如車輛速度或感知的操作環(huán)境。圖像差分析 和集中分析的具體使用可采用多種不同實(shí)施例，且本發(fā)明不打算限于本文描述的具體實(shí)施 例。圖9示出了根據(jù)本發(fā)明的分析來(lái)自于照相機(jī)的輸入以確定暢通路徑概率的示例 性過(guò)程200、在步驟202，產(chǎn)生圖像形式的照相機(jī)輸入。在步驟204，從圖像選擇用于分析的 小塊。步驟206表示可用于處理小塊的濾波器或?yàn)V波器組。在步驟208，通過(guò)應(yīng)用可從步驟 206獲得的濾波器和應(yīng)用其它算法對(duì)選定的小塊進(jìn)行特征提取。步驟210包括分類器訓(xùn)練 過(guò)程。如上所述，用來(lái)產(chǎn)生概率值的分類器或邏輯最初被離線訓(xùn)練。訓(xùn)練可基于模糊邏輯、 神經(jīng)網(wǎng)絡(luò)或本領(lǐng)域已知的其它學(xué)習(xí)機(jī)制任選地在車輛中繼續(xù)。這些訓(xùn)練后的分類器在步驟 212中被使用，以對(duì)步驟208提取的特征進(jìn)行概率分析且產(chǎn)生小塊的概率值。該概率值表示 選定小塊暢通的置信度。在步驟214，在步驟212中產(chǎn)生的概率值與閾值概率值進(jìn)行比較。 如果概率值大于閾值，那么在步驟218，所述小塊被辨識(shí)為暢通路徑。如果概率值不大于閾 值，那么所述小塊被辨識(shí)為不暢通路徑。如上所述，過(guò)程200可以許多方式重復(fù)或迭接，借 助于選擇和分析不同小塊重復(fù)地分析同一圖像，且辨識(shí)的小塊可被跟蹤和針對(duì)多個(gè)順序圖 像上的變化進(jìn)行分析。如上所述，處理模塊120可包括借助于本領(lǐng)域已知且在本文未描述的手段來(lái)致動(dòng) 自主駕駛控制的算法和機(jī)制，或者處理模塊120可簡(jiǎn)單地提供信息給獨(dú)立的自主駕駛系 統(tǒng)。對(duì)感知物體的反應(yīng)可以不同，且包括但不限于轉(zhuǎn)向變化、節(jié)氣門變化、制動(dòng)響應(yīng)、以及車 輛對(duì)操作者的報(bào)警和停止控制。使用小塊分析的上述方法是為車輛建立行駛暢通路徑的一種方法。公開(kāi)了兩個(gè)附 加的相關(guān)處理方案，采用類似方法來(lái)分析像素而不是小塊。公開(kāi)了使用紋理豐富方法來(lái)分
11析圖像以辨識(shí)暢通路徑的第一處理方案。圖10示出了用于檢測(cè)暢通路徑的第一處理方案 101，本文描述為包括分立元件。這種圖示是為了便于說(shuō)明，且應(yīng)當(dāng)理解的是，這些元件執(zhí)行 的功能可組合在一個(gè)或更多裝置中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑?shí)施。處理方案101是將紋理豐富圖像分析應(yīng)用于主車輛前面的視場(chǎng)的示例性方法，且 以步驟103開(kāi)始，其中，產(chǎn)生在車輛前面的視場(chǎng)的圖像。在步驟106，所監(jiān)測(cè)的圖像針對(duì)興趣 點(diǎn)進(jìn)行檢查，例如，如上所述檢查像素顏色強(qiáng)度和將像素或像素組與周圍像素進(jìn)行比較。通 過(guò)本領(lǐng)域已知的方法，興趣點(diǎn)被辨識(shí)且用于完成本文所述的方法。在步驟109，當(dāng)車輛運(yùn)動(dòng) 時(shí)將車輛前面的視場(chǎng)的順序圖像進(jìn)行比較，且在可能時(shí)將每個(gè)圖像的興趣點(diǎn)與順序圖像中 的對(duì)應(yīng)點(diǎn)進(jìn)行匹配，所述對(duì)應(yīng)點(diǎn)與視場(chǎng)中的相同點(diǎn)相對(duì)應(yīng)。匹配包括通過(guò)模板匹配定位對(duì) 應(yīng)點(diǎn)或者比較順序圖像上的興趣點(diǎn)，考慮主車輛的移動(dòng)，且對(duì)兩個(gè)點(diǎn)是否表示可在視場(chǎng)中 看到的相同物體或特征作出最佳估計(jì)。雖然興趣點(diǎn)可以被匹配，但不是所有匹配的對(duì)應(yīng)點(diǎn) 對(duì)都表示高質(zhì)量對(duì)應(yīng)點(diǎn)對(duì)，高質(zhì)量對(duì)應(yīng)點(diǎn)對(duì)允許在視場(chǎng)中辨識(shí)其三維位置以分類為車輛行 駛的暢通路徑。在步驟112，濾波器應(yīng)用于匹配的對(duì)應(yīng)點(diǎn)對(duì)以辨識(shí)能夠用于以高置信度辨識(shí) 三維位置的高質(zhì)量對(duì)應(yīng)點(diǎn)對(duì)。在步驟115，高質(zhì)量對(duì)應(yīng)點(diǎn)對(duì)被分析以確定由對(duì)應(yīng)點(diǎn)對(duì)表示的 物體的三維位置。應(yīng)當(dāng)理解的是，與地平面相比處于不同高度的對(duì)應(yīng)點(diǎn)將在順序圖像之間 不同地移動(dòng)。分析興趣點(diǎn)的移動(dòng)可以產(chǎn)生興趣點(diǎn)的估計(jì)三維坐標(biāo)。在步驟118，所確定的物 體位置用于將物體位置映射到主車輛前面。在步驟121，映射圖用于確定主車輛前面的暢通 路徑。圖11示出了示例性當(dāng)前圖像(k) 500，當(dāng)前圖像(k) 500包括在當(dāng)前圖像(k)上辨 識(shí)的示例性興趣點(diǎn)501集合，每個(gè)興趣點(diǎn)501對(duì)應(yīng)于像素。處理模塊120優(yōu)選辨識(shí)所產(chǎn)生 的每個(gè)圖像(包括當(dāng)前圖像(k) 500和先前圖像(k-Ι))上的興趣點(diǎn)501。興趣點(diǎn)501是圖 像上的可辨識(shí)像素且與一組視覺(jué)信息(即，紋理豐富特征)相關(guān)聯(lián)，且與位于視場(chǎng)中的物體 相關(guān)聯(lián)。圖11所示的示例性視場(chǎng)或視圖包括道路表面510、道路表面中的區(qū)段515、路邊 520和521、車道標(biāo)記522、相交車道526以及建筑524和525。通過(guò)興趣點(diǎn)提取編程在視圖 中辨識(shí)候選興趣點(diǎn)501，由此可選定興趣點(diǎn)501集合。興趣點(diǎn)提取編程通過(guò)多種已知方法 之一在圖像上執(zhí)行，例如尺度不變特征變換(SIFT)、采用角點(diǎn)檢測(cè)或其它形狀檢測(cè)的方法、 或Sobel濾波器。興趣點(diǎn)提取編程優(yōu)選在處理模塊120中執(zhí)行，但是可組合在一個(gè)或更多 裝置中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑?shí)施。興趣點(diǎn)提取編程在每個(gè)圖像中定位 與預(yù)定可辨識(shí)紋理豐富特征相對(duì)應(yīng)的候選興趣點(diǎn)501，例如指示邊緣的像素、指示視覺(jué)數(shù)據(jù) 中過(guò)渡的像素，其中潛在顯著特征可在視圖中辨識(shí)。在圖11的示例性視圖中，所辨識(shí)的多 個(gè)辨識(shí)興趣點(diǎn)501中的一個(gè)點(diǎn)501A在路邊520的區(qū)段505處形成的角點(diǎn)處被辨識(shí)。在辨識(shí)候選興趣點(diǎn)501之后，興趣點(diǎn)提取編程可通過(guò)去除冗余候選興趣點(diǎn)(即，與 同一特征相對(duì)應(yīng)的候選興趣點(diǎn))而對(duì)候選興趣點(diǎn)進(jìn)行濾波。例如，興趣點(diǎn)提取編程可對(duì)與 邊緣相對(duì)應(yīng)的多個(gè)候選興趣點(diǎn)進(jìn)行濾波，從而得到與邊緣相對(duì)應(yīng)的較少的候選興趣點(diǎn)。候 選興趣點(diǎn)的其余集合是圖像的興趣點(diǎn)。在一個(gè)實(shí)施例中，為了計(jì)算效率，對(duì)冗余候選興趣點(diǎn) 進(jìn)行濾波。一旦當(dāng)前圖像(k)500中的興趣點(diǎn)501被辨識(shí)，處理模塊120就將來(lái)自于當(dāng)前圖像 (k)的興趣點(diǎn)集合與從先前圖像(k-Ι)辨識(shí)的點(diǎn)集合進(jìn)行匹配，以確定匹配點(diǎn)對(duì)集合，與過(guò) 程101中的步驟109相對(duì)應(yīng)。
確定匹配點(diǎn)對(duì)集合的第一方法包括使用對(duì)應(yīng)性匹配編程來(lái)將來(lái)自于當(dāng)前圖像(k) 和先前圖像(k-Ι)的興趣點(diǎn)進(jìn)行匹配。處理模塊120將來(lái)自于當(dāng)前圖像(k)的興趣點(diǎn)集合 與在先前圖像(k-Ι)中辨識(shí)的興趣點(diǎn)集合進(jìn)行匹配，以確定興趣點(diǎn)匹配對(duì)集合。圖12示出 了在圖11所示的圖像之后捕獲的示例性當(dāng)前圖像(k)。示例性當(dāng)前圖像(k) 530表示在圖 11所示的圖像之后捕獲的圖像，其中，觀測(cè)者的視角已經(jīng)沿圖像之間的所示道路稍微前進(jìn)。 在該示例性情況中，圖11的圖像500，雖然在捕獲時(shí)是當(dāng)前圖像(k)，但是此時(shí)用作當(dāng)前圖 像(k) 530的先前圖像(k-Ι)。圖12所示的示例性視圖包括道路表面510、道路表面中的區(qū) 段515、路邊520和521、車道標(biāo)記522、和建筑524和525，如圖11所示，在該視圖中每個(gè)特 征具有稍微不同的視角。在圖12的示例性視圖中，根據(jù)上述方法辨識(shí)多個(gè)辨識(shí)興趣點(diǎn)531， 且一個(gè)點(diǎn)531A在路邊520的區(qū)段505處形成的角點(diǎn)處被辨識(shí)。應(yīng)當(dāng)注意的是，在圖像530 中辨識(shí)的興趣點(diǎn)531不必與圖像500中辨識(shí)的興趣點(diǎn)501直接對(duì)應(yīng)。在圖像530中辨識(shí)的 點(diǎn)531被處理和濾波，如結(jié)合點(diǎn)501描述且結(jié)合圖11描述的那樣。優(yōu)選地，來(lái)自于當(dāng)前圖 像(k)530的興趣點(diǎn)集合中的多個(gè)興趣點(diǎn)531與從先前圖像(k-1) 500辨識(shí)的興趣點(diǎn)集合中 的興趣點(diǎn)501進(jìn)行匹配，以確定多個(gè)匹配點(diǎn)對(duì)。包括匹配點(diǎn)對(duì)的每個(gè)興趣點(diǎn)預(yù)期對(duì)應(yīng)于與 視圖中的物體相關(guān)聯(lián)的相同特征。為了確定匹配點(diǎn)對(duì)集合，來(lái)自于當(dāng)前圖像(k)的興趣點(diǎn) 531集合與從先前圖像(k-Ι)辨識(shí)的興趣點(diǎn)501集合通過(guò)多種已知對(duì)應(yīng)性匹配編程(例如， 尺度不變特征變換(SIFT)特征匹配編程和光流編程)之一進(jìn)行比較。對(duì)應(yīng)性匹配編程優(yōu) 選在處理模塊120中執(zhí)行，但是可組合在一個(gè)或更多裝置中，例如在軟件、硬件和/或?qū)Ｓ?集成電路中實(shí)施。得到的匹配點(diǎn)對(duì)與位于當(dāng)前圖像(k)和先前圖像(k-Ι)兩者上的同一特 征相對(duì)應(yīng)，其中，所述同一特征與視圖中的同一物體相關(guān)聯(lián)。確定匹配點(diǎn)對(duì)集合的第二方法包括使用模板匹配編程來(lái)將來(lái)自于當(dāng)前圖像(k) 和先前圖像(k-Ι)的興趣點(diǎn)進(jìn)行匹配。在一個(gè)實(shí)施例中，使用鄰近興趣點(diǎn)的預(yù)定像素區(qū)域 產(chǎn)生模板。結(jié)合圖12中的興趣點(diǎn)531A示出了示例性區(qū)域535。模板匹配可使用多種方法 之一來(lái)確定，包括多種已知模板匹配編程方法之一，以尋找先前圖像中的對(duì)應(yīng)興趣點(diǎn)，例如 Lucas-Kanade或Horn-Schunck。優(yōu)選地，鄰近當(dāng)前圖像中的興趣點(diǎn)的模板與鄰近先前圖像 中的興趣點(diǎn)的模板進(jìn)行比較。當(dāng)模板匹配編程確定模板匹配時(shí)興趣點(diǎn)被包括到匹配點(diǎn)對(duì)集 合中。得到的匹配點(diǎn)對(duì)與位于當(dāng)前圖像(k)和先前圖像(k-Ι)兩者上的同一特征相對(duì)應(yīng)， 其中，所述同一特征與視圖中的同一物體相關(guān)聯(lián)。圖13A和13B示出了示例性匹配點(diǎn)對(duì)和所述點(diǎn)周圍的示例性像素區(qū)域，匹配點(diǎn)對(duì) 包括來(lái)自于當(dāng)前圖像(k)530的興趣點(diǎn)531A和來(lái)自于先前圖像(k_l) 500的第二興趣點(diǎn) 501A。根據(jù)上述方法，興趣點(diǎn)531A周圍的像素區(qū)域535在圖13A中示出。如上文所述，興 趣點(diǎn)531A是在路邊520部分之間的區(qū)段505的角點(diǎn)處被辨識(shí)的點(diǎn)。點(diǎn)531A周圍的像素區(qū) 域535被選擇且優(yōu)選包括可用于主動(dòng)辨識(shí)所述區(qū)域的可辨別特征、紋理或圖案。圖13B類 似地示出了興趣點(diǎn)501A和圍繞所述興趣點(diǎn)的像素區(qū)域540。由于圖像500和圖像530之間 的視角變化，像素區(qū)域535和像素區(qū)域540可包括一些差異，但是應(yīng)用上述方法，像素區(qū)域 的比較和在其中辨識(shí)特征可用作以一定置信度確認(rèn)興趣點(diǎn)531A和501A表示在圖像500和 530中捕獲的視圖內(nèi)的同一特征且可以當(dāng)作匹配對(duì)的一種方法。在確定匹配點(diǎn)對(duì)之后，通過(guò)應(yīng)用濾波器去除表示匹配不好或者不匹配對(duì)的低質(zhì)量 匹配對(duì)應(yīng)點(diǎn)對(duì)，處理模塊120從匹配點(diǎn)對(duì)集合選擇高質(zhì)量?jī)?yōu)先匹配點(diǎn)對(duì)，如上文示例性步驟112所述。優(yōu)先匹配點(diǎn)對(duì)可基于質(zhì)量控制標(biāo)準(zhǔn)進(jìn)行選擇。在一個(gè)實(shí)施例中，匹配點(diǎn)對(duì)被 分析且在滿足每個(gè)標(biāo)準(zhǔn)之后辨識(shí)為優(yōu)先匹配點(diǎn)對(duì)。當(dāng)匹配點(diǎn)對(duì)中的點(diǎn)之間的距離小于閾值時(shí)，滿足第一標(biāo)準(zhǔn)。該距離基于點(diǎn)的位置 確定，好像它們位于相同二維圖像坐標(biāo)上一樣。閾值可預(yù)先確定且是依賴于位置的，或者取 決于車輛速度是動(dòng)態(tài)的。當(dāng)匹配點(diǎn)對(duì)中的兩個(gè)點(diǎn)距圖像邊界預(yù)定閾值距離時(shí)，滿足第二標(biāo) 準(zhǔn)。由于照相機(jī)對(duì)圖像邊界邊緣處的物體的視角和車輛運(yùn)動(dòng)，太靠近邊緣的點(diǎn)不能定位對(duì) 應(yīng)點(diǎn)，其可位于照相機(jī)的視角之外或者可產(chǎn)生物體位置的不真實(shí)估計(jì)。此外，在以向前方向 正常車輛操作下，車輛需要關(guān)于朝視角盡頭的暢通路徑的信息的可能性很小。當(dāng)鄰近匹配 點(diǎn)對(duì)中的每個(gè)點(diǎn)的預(yù)定區(qū)域之間的顏色差異小于顏色閾值差異時(shí)，滿足第三標(biāo)準(zhǔn)。使用圖 13限定的示例性像素區(qū)域，像素區(qū)域535和540之間的顏色差異可用于增加匹配對(duì)的置信 度。在每個(gè)區(qū)域內(nèi)每個(gè)像素可以基于其對(duì)應(yīng)顏色分配一數(shù)值。分配的數(shù)值可基于在捕獲圖 像時(shí)確定的位值或者可以基于參考預(yù)定模板的標(biāo)引顏色。處理模塊120逐像素地計(jì)算第一 區(qū)域501和第二區(qū)域502內(nèi)分配的數(shù)值之間的絕對(duì)差，且將所述差(為顏色差異)求和。所 述差與閾值差進(jìn)行比較。如果所述差小于閾值差，那么滿足第三標(biāo)準(zhǔn)。顏色閾值差異可以 通過(guò)足以標(biāo)定準(zhǔn)確道路存在或暢通路徑估計(jì)的任何方法來(lái)選定?？苫谲囕v外部的光線水 平、天氣、車輛速度或影響基于顏色差異準(zhǔn)確估計(jì)暢通路徑存在性的任何其它因素來(lái)使用 不同的顏色閾值差。通過(guò)判斷圍繞興趣點(diǎn)的區(qū)域是否類似，可以對(duì)包括由興趣點(diǎn)表示的特 征的相同區(qū)域是否在兩個(gè)圖像中被分析進(jìn)行判斷。應(yīng)當(dāng)理解的是，上述三個(gè)標(biāo)準(zhǔn)是用于判斷匹配對(duì)的示例性標(biāo)準(zhǔn)，但是這些標(biāo)準(zhǔn)中 的一些部分或者附加的未提及類似標(biāo)準(zhǔn)可用于判斷匹配對(duì)的有效性。還可以基于車輛外部 存在的狀況(例如光線水平)、天氣、車輛速度或影響判斷匹配對(duì)的能力的任何其它因素或 者快速和準(zhǔn)確限定暢通路徑的緊急性來(lái)選擇標(biāo)準(zhǔn)判斷匹配對(duì)。在選擇優(yōu)先匹配點(diǎn)對(duì)之后，處理模塊120確定與視圖中的物體特征相關(guān)聯(lián)的多個(gè) 點(diǎn)相對(duì)于車輛100的位置，如上述示例性步驟115所述。圖14以圖形示出了示例性當(dāng)前 圖像、示例性先前圖像、以及主車輛的操作的使用，以確定視圖特征的位置。在水平參考坐 標(biāo)中的物體位置和物體與地平面相比的高度可基于順序圖像317和327內(nèi)的優(yōu)先匹配點(diǎn)對(duì) 集合(匹配對(duì)在該圖中通過(guò)點(diǎn)1和2示出)、車輛100從第一位置310行駛到第二位置320 的距離(d)、和車輛偏航角(Θ)來(lái)確定。處理模塊120執(zhí)行多種已知三角測(cè)量方法之一， 以確定點(diǎn)相對(duì)于車輛100的位置和點(diǎn)的高度。在圖14中，示出了包括圖像k-1317的來(lái)自 于310的視場(chǎng)315，且示出了包括圖像k 327的來(lái)自于320的視場(chǎng)325。示出了距離d，其 描述觀察者已經(jīng)在點(diǎn)310和320之間行進(jìn)的距離。相對(duì)于視場(chǎng)315和325縱向定向的線分 別由線312和322表示。示出了取向或者偏航角(Θ)的角度變化，其描述線312和322之 間的角度。示例性車輛的距離d可以通過(guò)在310處的時(shí)間和320處的時(shí)間之間的樣本時(shí)間 內(nèi)跟蹤車輛速度來(lái)確定。類似地，θ可通過(guò)在樣本時(shí)間內(nèi)跟蹤車輛的偏航速率來(lái)確定。示 出了顯示為305的物體，且示出了線318和328，其分別描述從點(diǎn)310和320到物體305的 線。在圖像317和327上示出了點(diǎn)1和2，線318和328在點(diǎn)1和2處分別與圖像317和 327相交?？上薅枋鰣D像317上點(diǎn)1的位置的距離(a)，且可限定描述圖像327上點(diǎn)2的 位置的距離(b)。應(yīng)當(dāng)理解的是，圖14表示投影圖，其中，物體305的位置可以在水平面中 限定，且相同物體在側(cè)視圖中的類似計(jì)算可用于限定物體305相對(duì)于觀察者的已知地平面的豎直位置。通過(guò)應(yīng)用熟知的三角測(cè)量方法，來(lái)自于順序圖像的位置數(shù)據(jù)(例如距離a和 b)以及車輛數(shù)據(jù)(例如車輛速度、車輛偏航速率和樣本時(shí)間)可用于將所示物體相對(duì)于車 輛的位置進(jìn)行定位并確定物體相對(duì)于車輛的相對(duì)運(yùn)動(dòng)。這些三腳測(cè)量方法可得到物體在水 平面中的位置和物體相對(duì)于地平面的高度。一旦確定位置和高度，處理模塊120就可以在投影圖上繪制點(diǎn)，如上文示例性步 驟118所述。圖15以圖形示出了描述在主車輛前面χ和y坐標(biāo)處的興趣點(diǎn)的豎直位置的示 例性投影圖。χ軸和1軸上的位置<0，0>與上述車輛100的第二位置320或者車輛100的 當(dāng)前位置相對(duì)應(yīng)。優(yōu)選地，物體高度分類到預(yù)定類別中。例如，具有極小高度的物體(例如， 低于預(yù)定閾值)可分類為地面，超過(guò)地面高度但小于第二預(yù)定閾值的物體可分類為第二類 別，第二預(yù)定閾值接近但優(yōu)選小于車輛高度，大于第二預(yù)定閾值的物體可分類為第三類別。 如圖15所示，具有極小高度的物體分類為地面(地面)，超過(guò)地面高度但小于2米閾值的物 體可分類為第二類別(小于2米)，大于2米閾值的物體可分類為第三類別(大于2米)。在映射圖上繪制物體之后，處理模塊120基于在映射圖中所繪制的特征來(lái)檢測(cè)暢 通路徑，如上文示例性步驟121所述。本文使用的術(shù)語(yǔ)“暢通路徑”旨在給予本領(lǐng)域普通 技術(shù)人員其普通和通常的涵義(且不限于特定或定制涵義)，且無(wú)限制性地指代沒(méi)有超過(guò) 閾值的物體的路徑，例如沒(méi)有分類為上述第二和第三類別的物體的路徑。分類為預(yù)定類別 (例如，上述第二和第三類別)的物體的特征通過(guò)處理模塊120辨識(shí)為不暢通區(qū)域，S卩，對(duì)于 車輛行駛是不希望的。優(yōu)選地，鄰近分類為預(yù)定類別的每個(gè)物體的預(yù)定區(qū)域通過(guò)處理模塊 120辨識(shí)為不暢通區(qū)域。處理模塊120可使用多種方法之一來(lái)確定在映射圖上存在暢通路 徑。確定暢通路徑的第一方法包括將預(yù)期路徑與包括不暢通區(qū)域的映射圖進(jìn)行比較。如果 預(yù)期路徑不與任何不暢通區(qū)域相交，那么處理模塊120確定預(yù)期路徑為暢通路徑。然而，如 果預(yù)期路徑與不暢通區(qū)域相交，那么處理模塊120確定不存在暢通路徑。確定暢通路徑的 第二方法包括使用映射圖中的不暢通區(qū)域來(lái)確定暢通路徑。與不暢通區(qū)域不相交的任何路 徑可用作暢通路徑。上述方法使用順序圖像來(lái)建立車輛前面的物體位置和豎直高度的映射圖，使得可 以限定暢通路徑。應(yīng)當(dāng)理解的是，在任何兩個(gè)給定圖像中，具體物體可以不分類為包括在該 具體分析中足以被映射的兩個(gè)高質(zhì)量興趣點(diǎn)。然而，上述分析在車輛每行駛一秒發(fā)生多次。 當(dāng)車輛向前行駛經(jīng)過(guò)暢通路徑時(shí)，在物體上獲得不同的視角且將分析大量的圖像。在一定 路徑上行駛和通過(guò)該路徑的多個(gè)迭接圖像的分析會(huì)通過(guò)分析建立在辨識(shí)的暢通路徑中不 存在同暢通路徑相抵觸的物體的置信度。圖16示出了用于檢測(cè)暢通路徑的第二處理方案。本文所述的第一處理方案使用 紋理豐富方法，基于圖像內(nèi)的紋理視圖來(lái)分析描述明顯興趣點(diǎn)的像素化特征，而所公開(kāi)的 第二處理方案可以描述為圖像分析的示例性無(wú)紋理方法，從圖像中濾波不屬于平面一致道 路表面的不一致圖像區(qū)域。通過(guò)從圖像濾波不一致區(qū)域，從其余圖像可以辨識(shí)作為車輛行 駛的潛在暢通路徑的暢通表面。在圖16中示出了過(guò)程250，且在本文描述為包括分立元件。 這種圖示是為了便于說(shuō)明且應(yīng)當(dāng)理解的是，這些元件執(zhí)行的功能可組合在一個(gè)或更多裝置 中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑?shí)施。例如，過(guò)程250可在處理模塊120中執(zhí) 行為一個(gè)或多個(gè)算法。用于檢測(cè)暢通路徑的過(guò)程250包括形成多個(gè)濾波圖像且將濾波圖像 融合在一起以確定暢通路徑。
15
公開(kāi)了示例性過(guò)程250，包括采用暢通路徑檢測(cè)的示例性無(wú)紋理方法的步驟。過(guò) 程250以步驟253開(kāi)始，其中產(chǎn)生圖像。步驟256、259、262和265描述了替代性示例性方 法來(lái)將圖像濾波以辨識(shí)暢通路徑的位置，包括道路表面。應(yīng)當(dāng)理解的是，所述方法中的每個(gè) 以有助于辨識(shí)暢通路徑的一種方式處理圖像。過(guò)程可以用四種示例性方法中的一些部分來(lái) 實(shí)施，或者過(guò)程可以實(shí)施為包括未提及但類似的方法來(lái)處理圖像?？梢圆捎脼V波圖像內(nèi)的 暢通表面的任何方法，基于所述暢通表面可從圖像的不表示潛在道路表面的其它部分估計(jì) 道路表面。步驟256應(yīng)用示例性方法來(lái)從高于地平點(diǎn)或消失點(diǎn)的區(qū)域(包括天空和不能成 為道路表面的一部分的其它豎直特征)濾波低于地平點(diǎn)或消失點(diǎn)的區(qū)域(包括能夠駕駛的 道路表面)。步驟259基于像素強(qiáng)度中的變化、基于道路表面將包括具有在表面上非常普 通的視覺(jué)強(qiáng)度的大表面的前提來(lái)應(yīng)用濾波器。步驟262基于差分順序圖像來(lái)應(yīng)用濾波器， 從而允許分析圖像之間的變化。步驟265基于辨識(shí)表示視覺(jué)數(shù)據(jù)中的邊緣或過(guò)渡的像素來(lái) 應(yīng)用濾波器。并行應(yīng)用各種方法，結(jié)果可在步驟268融合到圖像的單個(gè)映射圖中并在步驟 271中針對(duì)表示行駛暢通路徑的視覺(jué)數(shù)據(jù)來(lái)分析。第一濾波圖像使用消失點(diǎn)來(lái)形成，如上述示例性步驟256所述。本文所使用的術(shù) 語(yǔ)“消失點(diǎn)”是廣義術(shù)語(yǔ)，且被給予對(duì)本領(lǐng)域普通技術(shù)人員普通和通常的涵義，且指代地平 面上的無(wú)限遠(yuǎn)點(diǎn)(在視圖中由地面上的多條平行線相交)。辨識(shí)形成要駕駛的暢通路徑的 道路表面有必要低于消失點(diǎn)或地平線。濾波圖像以僅分析低于地平線的區(qū)域有助于使得被 分析的像素清楚以從無(wú)關(guān)像素辨識(shí)道路表面。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，有許多已知方法 來(lái)確定消失點(diǎn)和相應(yīng)地平線。一種已知方法包括基于主車輛的左側(cè)和右側(cè)上的車道標(biāo)記彼 此相交的點(diǎn)來(lái)確定消失點(diǎn)。地平線基于消失點(diǎn)確定。第一濾波圖像包括當(dāng)前圖像上低于地 平線的像素。處理模塊120基于包括當(dāng)前圖像(k)的多個(gè)像素中的像素顏色強(qiáng)度來(lái)形成第二濾 波圖像，如上文示例性步驟259所述。圖17示出了基于像素顏色強(qiáng)度的示例性第二濾波圖 像。第二濾波圖像包括從所述多個(gè)像素選擇的像素?？稍O(shè)想濾波像素的多種方法。處理模 塊120將像素的每個(gè)顏色強(qiáng)度值與相關(guān)顏色分布均值(例如，紅色、綠色和藍(lán)色顏色分布均 值)進(jìn)行比較。顏色分布均值是與先前辨識(shí)為暢通路徑的像素有關(guān)的相關(guān)顏色強(qiáng)度的平均 顏色強(qiáng)度分布。顏色分布均值可附加地基于相關(guān)顏色的暢通路徑像素的歷史收集顏色分布 均值。當(dāng)像素的每個(gè)顏色強(qiáng)度值小于相關(guān)顏色分布均值的顏色強(qiáng)度閾值時(shí)，該像素被選擇 用于第二濾波圖像。當(dāng)像素的一個(gè)顏色強(qiáng)度值大于相關(guān)顏色分布均值的顏色強(qiáng)度閾值時(shí)， 該像素從第二濾波圖像排除。相關(guān)顏色強(qiáng)度的顏色分布均值是分布在圖像中的平均顏色強(qiáng) 度值。顏色分布均值被最初預(yù)先確定。在一個(gè)實(shí)施例中，處理模塊120基于在預(yù)定數(shù)量的 圖像中的顏色強(qiáng)度分布來(lái)調(diào)節(jié)每個(gè)相關(guān)顏色強(qiáng)度的顏色分布均值。如上文所述，每個(gè)像素包括多個(gè)顏色強(qiáng)度值。優(yōu)選地，顏色強(qiáng)度值與相關(guān)顏色分布 均值進(jìn)行比較。例如，對(duì)于使用RGB顏色模型形成的像素，與紅色強(qiáng)度相關(guān)的第一位集合和 與紅色強(qiáng)度相關(guān)的顏色分布均值進(jìn)行比較，與綠色強(qiáng)度相關(guān)的位集合和與綠色強(qiáng)度相關(guān)的 顏色分布均值進(jìn)行比較，與藍(lán)色強(qiáng)度相關(guān)的位集合和與藍(lán)色強(qiáng)度相關(guān)的顏色分布均值進(jìn)行 比較。如果包括像素的每個(gè)顏色強(qiáng)度與相關(guān)顏色分布均值之間的差小于顏色強(qiáng)度閾值，那 么像素被用于第二濾波圖像。使用RGB顏色模型，每個(gè)像素包括第一、第二和第三顏色強(qiáng)度值。第一顏色強(qiáng)度是紅色強(qiáng)度，第二顏色強(qiáng)度是綠色強(qiáng)度，第三顏色強(qiáng)度是藍(lán)色強(qiáng)度。當(dāng)像素的紅色強(qiáng)度和紅 色顏色分布均值之間的差小于紅色強(qiáng)度閾值、像素的綠色強(qiáng)度和綠色顏色分布均值之間的 差小于綠色強(qiáng)度閾值、且像素的藍(lán)色強(qiáng)度和藍(lán)色顏色分布均值之間的差小于藍(lán)色強(qiáng)度閾值 時(shí)，第二濾波圖像的像素從包括當(dāng)前圖像(k)的多個(gè)像素選擇。以下關(guān)系式使用RGB顏色 模型表達(dá)該過(guò)程I R-RmI <讓儀81101(11；且 |G-Gm| < threshold(；且 |B_Bm| < thresholdB(4) 其中R是紅色，G是綠色，B是藍(lán)色，Rm是紅色的顏色分布均值，Gm是綠色的顏色分布均值，Bm 是藍(lán)色的顏色分布均值，threholdE是紅色強(qiáng)度閾值，threholdG是綠色強(qiáng)度閾值，threholdB 是藍(lán)色強(qiáng)度閾值。本領(lǐng)域技術(shù)人員將理解，上述關(guān)系式4可配置成與多種其它顏色模型(包括CMYK、 YUV和LAB顏色模型)一起使用。處理模塊120通過(guò)差分所述圖像使用當(dāng)前圖像(k)和先前圖像(k-Ι)來(lái)形成第三 濾波圖像，如上文示例性步驟262所述。在形成差分圖像的示例性過(guò)程中，第三濾波圖像作 為當(dāng)前圖像(k)和先前圖像(k-Ι)之間的圖像差形成且包括表示當(dāng)前圖像(k)和先前圖像 (k-Ι)之間的差的逐像素比較。這種過(guò)程在上文結(jié)合圖6A-6C描述。用于確定第三濾波圖 像的第一方法包括確定當(dāng)前圖像(k)上的獨(dú)立像素和先前圖像(k-Ι)上的對(duì)應(yīng)獨(dú)立像素之 間的差。所述差可通過(guò)從對(duì)應(yīng)顏色強(qiáng)度值減去與像素有關(guān)的顏色強(qiáng)度值以確定顏色強(qiáng)度差 來(lái)確定，例如從先前圖像(k-Ι)上的第一像素的紅色強(qiáng)度值減去當(dāng)前圖像(k)上的第一像 素的紅色強(qiáng)度值。得到的顏色強(qiáng)度差包括像素值且與當(dāng)前圖像(k)和先前圖像(k-Ι)上的 像素之間的差相對(duì)應(yīng)。每個(gè)像素值可以與第三濾波圖像相對(duì)應(yīng)的陣列存儲(chǔ)。在一個(gè)實(shí)施例 中，差的絕對(duì)值被確定且以陣列存儲(chǔ)。得到的陣列包括表示兩個(gè)圖像之間的差的值且包括 圖像差。在確定陣列之后，處理模塊120去除表示變化小于預(yù)定閾值的像素的值。在一個(gè) 實(shí)施例中，得到的值可用預(yù)定值(例如1)替換，以表示在得到的圖像上兩個(gè)所用圖像之間 的辨識(shí)差的清楚映射圖。描述了用于基于差分圖像來(lái)確定第三濾波圖像的第二示例性方法。通過(guò)比較當(dāng)前 圖像(k)和運(yùn)動(dòng)調(diào)節(jié)的先前圖像(k-Ι)可進(jìn)行確定，且這些圖像之間的差可用于映射不適 合用于產(chǎn)生運(yùn)動(dòng)調(diào)節(jié)圖像的具體模型的物體。產(chǎn)生運(yùn)動(dòng)調(diào)節(jié)的圖像的一種示例性模型包括 使用三角測(cè)量方法(例如結(jié)合圖14描述的方法)、關(guān)于車輛運(yùn)動(dòng)的信息和所有檢測(cè)點(diǎn)都處 于地平面以預(yù)測(cè)先前圖像(k-Ι)的物體運(yùn)動(dòng)的假設(shè)。通過(guò)使用圖像中的所有物體都處于地 平面的假設(shè)，在得到的圖像中物體運(yùn)動(dòng)的預(yù)測(cè)與作為地平面處存在的整個(gè)平坦圖像存在的 先前圖像一致。將該得到的運(yùn)動(dòng)調(diào)節(jié)的先前圖像(k-Ι)與實(shí)際當(dāng)前圖像(k)進(jìn)行比較(包 括不在地平面處的物體的視角變化)，則允許辨識(shí)在所示圖像中不處于地平面的所有物體 或特征。通過(guò)減去所比較圖像中的像素，例如根據(jù)第一示例性過(guò)程來(lái)確定上述第三濾波圖 像，表示不在地平面上的物體的像素可通過(guò)非零值或者超過(guò)確定性閾值的值來(lái)辨識(shí)。由此， 處理模塊120可使用當(dāng)前圖像(k)和運(yùn)動(dòng)調(diào)節(jié)的先前圖像而不是先前圖像(k-Ι)來(lái)確定上 述的第三濾波圖像。處理模塊120基于包括當(dāng)前圖像(k)的多個(gè)像素的顏色強(qiáng)度值形成第四濾波圖 像，如上文示例性步驟265所述。圖18示出了使用邊緣識(shí)別方法的示例性濾波圖像。第四 濾波圖像包括當(dāng)前圖像(k)的邊緣。為了形成第四濾波圖像，處理模塊120基于與邊緣相 對(duì)應(yīng)的顏色強(qiáng)度值使用多種已知邊緣檢測(cè)濾波器(例如，Sobel濾波器)之一而從圖像提
17取像素。邊緣檢測(cè)濾波器優(yōu)選在處理模塊120中執(zhí)行，但是可組合在一個(gè)或更多裝置中，例 如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑?shí)施。在一個(gè)實(shí)施例中，每個(gè)像素使用Sobel運(yùn)算器 來(lái)分析。Sobel運(yùn)算器計(jì)算在每個(gè)像素處的顏色強(qiáng)度的梯度矢量，從而得到從亮到暗的最 大可能增加的方向和在該方法的變化速率。與超過(guò)閾值的變化速率相對(duì)應(yīng)且與附近像素的 梯度矢量相對(duì)應(yīng)的點(diǎn)指示邊緣且包括在第四濾波圖像中。這些像素可用預(yù)定像素顏色(例 如，黑色)替換。在形成多個(gè)濾波圖像之后，處理模塊120將濾波圖像融合在一起，以確定與暢通 路徑相對(duì)應(yīng)的像素位置，如示例性步驟268所述。所融合的濾波圖像包括包含在所述多個(gè) 濾波圖像中所有圖像中含有的像素的圖像，即，僅僅包含在所述多個(gè)濾波圖像中的每個(gè)中 的特定像素位置處的像素包括在所融合的濾波圖像中。將濾波圖像融合在一起包括確定所 述多個(gè)濾波圖像中的每個(gè)所包括的像素位置。每個(gè)像素位置與每個(gè)濾波圖像上的對(duì)應(yīng)像素 位置進(jìn)行比較。當(dāng)所述多個(gè)濾波圖像中的每個(gè)都包含在對(duì)應(yīng)像素位置處的像素時(shí)，該像素 包括在表示道路暢通表面的融合暢通路徑映射圖上。融合的暢通路徑用于檢測(cè)車輛100的 暢通路徑。融合的暢通路徑映射圖上的像素對(duì)應(yīng)于該視圖中的期望駕駛位置。融合暢通路 徑映射圖上沒(méi)有像素的位置對(duì)應(yīng)于該視圖中的不期望駕駛位置。如圖16所述，過(guò)程250針對(duì)圖像并行應(yīng)用各種方法來(lái)辨識(shí)視圖中與限定暢通路徑 有關(guān)的特征。然而，應(yīng)當(dāng)理解的是，這些方法不需要并行執(zhí)行，而所述方法可用于在步驟中 按順序處理圖像，以辨識(shí)視圖中與限定暢通路徑有關(guān)的特征。圖19示出了用于第二處理方 案的替代示例性過(guò)程600。過(guò)程600通過(guò)在步驟603產(chǎn)生圖像序列開(kāi)始。每個(gè)圖像并行輸 送到兩個(gè)步驟，且兩個(gè)步驟的結(jié)果被融合并可用于該過(guò)程中的隨后步驟。并行步驟包括步 驟606 (其中根據(jù)上述消失點(diǎn)方法來(lái)濾波像素以將不能表示道路表面的圖像部分濾波不進(jìn) 行處理的第一濾波圖像)和步驟609(其中，如上所述，通過(guò)根據(jù)強(qiáng)度濾波像素的第二濾波 圖像用于將描述與道路表面不一致的特征的圖像部分濾波不進(jìn)行處理)。第一濾波圖像和 第二濾波圖像的融合圖像在步驟612中形成，所述融合圖像僅僅包括低于消失點(diǎn)的圖像部 分且包括具有與道路表面一致的強(qiáng)度的像素。在步驟615中使用順序融合圖像，以使用上 述差分方法中的一種來(lái)形成第三濾波圖像。在步驟618，第三濾波圖像用于使用上述邊緣提 取方法來(lái)形成第四濾波圖像。過(guò)程600的結(jié)果然后可以針對(duì)表示行駛暢通路徑的視覺(jué)數(shù)據(jù) 進(jìn)行分析。過(guò)程250和600示出了兩種示例性設(shè)置，其中濾波方法被組合使用以處理圖像序 列來(lái)辨識(shí)暢通路徑。然而，應(yīng)當(dāng)理解的是，這種組合可采用任何形式，且步驟能以不同順序 應(yīng)用，且在不同的組合中可以使用更少或附加的濾波器。此外，濾波器可以選擇性地使用或 者過(guò)程的配置可以選擇性地使用，例如不同的組合在白天使用且其它組合在晚上使用。例 如，一些組合可繼續(xù)分析由前燈照亮的道路表面，而其它方法在沒(méi)有完全照亮的視圖中可 能是無(wú)用的。在另一示例中，當(dāng)?shù)缆飞洗嬖谟晁蜓r(shí)，可使用不同的組合。例如，在雪的 淺色層的情況下，一些方法和分析方法可繼續(xù)有用，例如辨識(shí)雪中的輪胎路徑作為潛在暢 通路徑，而其它方法在白覆蓋層隱藏最可辨識(shí)的特征時(shí)可能是無(wú)用的。在另一示例中，當(dāng)附 加信息(例如增強(qiáng)或利于基于附加信息來(lái)濾波圖像的紅外、雷達(dá)或GPS數(shù)據(jù))可用時(shí)，可使 用不同的組合?？稍O(shè)想濾波方法的多種組合，且本發(fā)明不打算限于本文所述的具體實(shí)施例。如上所述，描述了采用紋理豐富方法的第一處理方案和采用無(wú)紋理方法的第二處
18理方案，每種方案允許辨識(shí)可用于描述車輛視圖中的暢通路徑的道路特征。然而，應(yīng)當(dāng)理解 的是，基于任一方案的單種分析可能產(chǎn)生模糊結(jié)果，例如，在具體發(fā)光狀況下，來(lái)自于另一 車輛的陰影、道路表面的熱引起的扭曲或其它類似問(wèn)題可引起道路表面部分被誤辨識(shí)為與 道路表面的其余部分不一致。解決模糊結(jié)果的一種方法通過(guò)在車輛沿道路行駛時(shí)分析迭接 圖像來(lái)完成。應(yīng)當(dāng)理解的是，當(dāng)車輛沿道路行駛時(shí)，以快速持續(xù)時(shí)間獲得的具體道路區(qū)段的 數(shù)百個(gè)圖像能夠被分析。在車輛向前行駛時(shí)，將觀察到由于不同視角引起的道路表面的不 同發(fā)光和暴光性。在路徑上的行駛和對(duì)該路徑上的多個(gè)迭接圖像的分析能夠通過(guò)分析建立 道路表面的特定部分被正確估計(jì)為暢通路徑的置信度。解決任一方案的模糊結(jié)果的另一方法是使用兩種方案并融合結(jié)果，使用兩種方案 的組合增加了辨識(shí)暢通路徑的置信度。所述方案中的每種在不同暢通路徑檢測(cè)方面具有優(yōu) 于另一方案的優(yōu)勢(shì)。例如，在檢測(cè)從具有豐富紋理的地平面清楚地突出的物體時(shí)，示例性紋 理豐富方法勝出。該方法主動(dòng)地辨識(shí)可在不同高度檢測(cè)的物體且產(chǎn)生車輛不應(yīng)當(dāng)行駛以免 物體與車輛相撞的區(qū)域映射圖。在另一示例中，在對(duì)像素辨識(shí)通常顯現(xiàn)的表面的區(qū)域進(jìn)行 辨識(shí)時(shí)，示例性無(wú)紋理方法勝出。該方法主動(dòng)地辨識(shí)道路表面可能存在的區(qū)域并映射該表 面的邊界。第一方案和第二方案可以多種方式融合。具有辨識(shí)點(diǎn)和用紋理豐富方法辨識(shí)的確 定高度的圖像可以與由無(wú)紋理方法產(chǎn)生的濾波圖像疊置，且兩種方法相符可用于限定疊置 圖像上的暢通路徑。在融合兩種方案的替代性方法中，來(lái)自于兩種方案中的每種的數(shù)據(jù)可 以用于將信息投影到車輛前面區(qū)域的編程投影圖上，且包括從兩種方案分析獲得的數(shù)據(jù)的 該投影圖可以包括建立映射圖區(qū)域的置信度指示。在融合兩種方案的替代性方法中，一種 方案可用作主或主要方案，第二方案可被使用或致動(dòng)以分析在視圖中被辨識(shí)為模糊或不清 楚的區(qū)域。在融合兩種方案的任何方法中，一種處理方案的強(qiáng)項(xiàng)可以用于減少另一處理方 案的弱點(diǎn)。如果兩種方案都斷定該路徑是暢通的，那么使用所述方案的處理模塊可用增加 的置信度確定該路徑對(duì)于車輛行駛是期望的?？稍O(shè)想融合辨識(shí)方案的多種方法，且本發(fā)明 并不限于本文所述的具體實(shí)施例。此外，任一方案或兩種方案可與使用小塊分析的上文所 用方法組合。本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，發(fā)光標(biāo)準(zhǔn)化可應(yīng)用于所捕獲的圖像數(shù)據(jù)。標(biāo)準(zhǔn)化是改 變像素強(qiáng)度值范圍的過(guò)程。標(biāo)準(zhǔn)化的目的是使得圖像處于更適合于機(jī)器處理的范圍內(nèi)以改 進(jìn)可靠性。例如，具體地在低發(fā)光環(huán)境中或者在由于強(qiáng)光而對(duì)比度差時(shí)，每個(gè)像素值被標(biāo)準(zhǔn) 化為0均值和單位方差，以增強(qiáng)圖像對(duì)比度。上述所述的濾波器和算法可采用許多形式。用于提取特征的濾波算法通常搜索在 數(shù)據(jù)中的特征模式的可用視覺(jué)信息，從而由線取向、線位置、顏色、角點(diǎn)特性、其它視覺(jué)屬性 和學(xué)習(xí)屬性來(lái)限定特征。屬性可根據(jù)試驗(yàn)、根據(jù)經(jīng)驗(yàn)、通過(guò)預(yù)測(cè)、通過(guò)建?；蜃阋詼?zhǔn)確地訓(xùn) 練區(qū)分屬性的其它技術(shù)來(lái)產(chǎn)生。學(xué)習(xí)屬性可通過(guò)車輛內(nèi)的機(jī)器學(xué)習(xí)算法或模糊邏輯學(xué)習(xí)， 隨時(shí)間調(diào)節(jié)。此外，學(xué)習(xí)屬性或?qū)W習(xí)路標(biāo)可從車輛在路線上的重復(fù)行駛收集且可用在暢通 路徑辨識(shí)中。本發(fā)明已經(jīng)描述了某些優(yōu)選實(shí)施例及其變型。在閱讀和理解說(shuō)明書之后可以想到 進(jìn)一步的變型和變化。因而，本發(fā)明不打算限于作為設(shè)想用于實(shí)施本發(fā)明的最佳模式所公 開(kāi)的具體實(shí)施例，本發(fā)明將包括落入所附權(quán)利要求范圍內(nèi)的所有實(shí)施例。
權(quán)利要求
一種使用對(duì)由位于車輛上的照相機(jī)裝置產(chǎn)生的多個(gè)圖像的分析來(lái)檢測(cè)車輛行駛的暢通路徑的方法，所述方法包括監(jiān)測(cè)所述圖像，每個(gè)圖像包括多個(gè)像素；使用無(wú)紋理處理方案來(lái)分析所述圖像，包括在每個(gè)圖像中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)；和基于所述暢通表面來(lái)確定暢通路徑。
2.根據(jù)權(quán)利要求1所述的方法，其中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表 面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)包括將圖像上地平線下方的區(qū)域從地平線上方的區(qū)域進(jìn)行濾波。
3.根據(jù)權(quán)利要求1所述的方法，其中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表 面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)包括基于將像素的顏色強(qiáng)度與取決于顏色分布均值的顏色強(qiáng)度閾值進(jìn)行比較來(lái)濾波圖像 中的像素。
4.根據(jù)權(quán)利要求3所述的方法，其中，每個(gè)像素包括多個(gè)顏色強(qiáng)度；其中，取決于顏色分布均值的顏色強(qiáng)度閾值包括所述多個(gè)顏色強(qiáng)度中的每個(gè)的顏色強(qiáng) 度閾值；且其中，基于將像素的顏色強(qiáng)度與取決于顏色分布均值的顏色強(qiáng)度閾值進(jìn)行比較來(lái)濾波 圖像中的像素包括將每個(gè)像素的所述多個(gè)顏色強(qiáng)度中的每個(gè)與所述多個(gè)顏色強(qiáng)度中的每個(gè)的顏色強(qiáng)度 閾值進(jìn)行比較；和根據(jù)當(dāng)所述多個(gè)顏色強(qiáng)度中的一個(gè)大于與顏色強(qiáng)度相關(guān)的顏色強(qiáng)度閾值時(shí)排除所述 像素來(lái)濾波每個(gè)像素。
5.根據(jù)權(quán)利要求4所述的方法，其中，與顏色強(qiáng)度相關(guān)的所述多個(gè)顏色強(qiáng)度中的一個(gè) 相關(guān)的顏色強(qiáng)度閾值的顏色分布均值是分布在該圖像中的平均顏色強(qiáng)度。
6.根據(jù)權(quán)利要求5所述的方法，還包括基于所監(jiān)測(cè)的圖像調(diào)節(jié)與顏色強(qiáng)度相關(guān)的顏色分布均值。
7 根據(jù)權(quán)利要求4所述的方法，其中，第一顏色強(qiáng)度是紅色強(qiáng)度，第二顏色強(qiáng)度是綠色 強(qiáng)度，第三顏色強(qiáng)度是藍(lán)色強(qiáng)度，且其中每個(gè)像素包括第一、第二和第三顏色強(qiáng)度，且在像 素的紅色強(qiáng)度和紅色顏色分布均值之間的差大于紅色強(qiáng)度閾值，像素的綠色強(qiáng)度和綠色顏 色分布均值之間的差大于綠色強(qiáng)度閾值，并且像素的藍(lán)色強(qiáng)度和藍(lán)色顏色分布均值之間的 差大于藍(lán)色強(qiáng)度閾值時(shí)，濾波所述像素。
8.根據(jù)權(quán)利要求1所述的方法，其中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表 面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)包括基于差分順序圖像來(lái)分析。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述差分順序圖像包括確定當(dāng)前圖像上的獨(dú)立像素和先前圖像上的對(duì)應(yīng)獨(dú)立像素之間的差。
10.根據(jù)權(quán)利要求9所述的方法，其中，所述差通過(guò)從對(duì)應(yīng)顏色強(qiáng)度減去與像素相關(guān)的 顏色強(qiáng)度來(lái)確定，以確定顏色強(qiáng)度差。
11.根據(jù)權(quán)利要求9所述的方法，還包括濾波所述獨(dú)立像素，包括在當(dāng)前圖像上的獨(dú)立像素和先前圖像上的對(duì)應(yīng)獨(dú)立像素之 間的差超過(guò)預(yù)定閾值時(shí)，排除像素。
12.根據(jù)權(quán)利要求9所述的方法，其中，先前圖像基于車輛運(yùn)動(dòng)調(diào)節(jié)。
13.根據(jù)權(quán)利要求1所述的方法，其中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表 面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)包括基于辨識(shí)表示邊緣的像素來(lái)濾波。
14.根據(jù)權(quán)利要求13所述的方法，其中，基于辨識(shí)表示邊緣的像素來(lái)濾波包括應(yīng)用 Sobel濾波器。
15.根據(jù)權(quán)利要求1所述的方法，其中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表 面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)包括形成多個(gè)濾波圖像；和將所述濾波圖像融合在一起以確定暢通表面。
16.根據(jù)權(quán)利要求15所述的方法，其中，將所述濾波圖像融合在一起包括 確定在所述多個(gè)濾波圖像中的每個(gè)所包括的像素位置；將像素位置處的像素與多個(gè)濾波圖像上的對(duì)應(yīng)像素位置進(jìn)行比較；和 當(dāng)所述多個(gè)濾波圖像中的每個(gè)在對(duì)應(yīng)像素位置處包含像素時(shí)，包括所述像素。
17.一種使用對(duì)由位于車輛上的照相機(jī)裝置產(chǎn)生的多個(gè)圖像的分析來(lái)檢測(cè)車輛行駛的 暢通路徑的方法，所述方法包括監(jiān)測(cè)所述圖像；使用無(wú)紋理控制方案來(lái)分析圖像，包括 將圖像上地平線下方的區(qū)域從地平線上方的區(qū)域進(jìn)行濾波；基于將像素的顏色強(qiáng)度與取決于顏色分布均值的顏色強(qiáng)度閾值進(jìn)行比較來(lái)濾波圖像 中的像素；基于差分順序圖像來(lái)進(jìn)行濾波； 基于辨識(shí)表示邊緣的像素來(lái)進(jìn)行濾波；基于所述濾波來(lái)確定暢通表面并基于所述暢通表面來(lái)確定暢通路徑；和使用暢通路徑來(lái)操作車輛；使用紋理豐富控制方案來(lái)分析圖像，包括從兩個(gè)圖像中的每個(gè)中的多個(gè)像素辨識(shí)興趣點(diǎn)集合，所述兩個(gè)圖像包括當(dāng)前圖像和先 前圖像；將來(lái)自于當(dāng)前圖像的興趣點(diǎn)集合和來(lái)自于先前圖像的興趣點(diǎn)集合的興趣點(diǎn)對(duì)進(jìn)行匹 配，其中，匹配對(duì)中的每個(gè)被估計(jì)為對(duì)應(yīng)于單視圖特征； 將興趣點(diǎn)匹配對(duì)進(jìn)行濾波以選擇高質(zhì)量匹配對(duì)集合；和 基于高質(zhì)量匹配對(duì)集合來(lái)產(chǎn)生視圖中的特征的三維映射圖； 基于所述紋理豐富控制方案和所述無(wú)紋理控制方案來(lái)確定暢通路徑；和 使用暢通路徑來(lái)操作車輛。
18.一種使用對(duì)由位于車輛上的照相機(jī)裝置產(chǎn)生的多個(gè)圖像的分析來(lái)檢測(cè)車輛行駛的 暢通路徑的設(shè)備，所述設(shè)備包括照相機(jī)裝置；和 控制模塊，所述控制模塊 監(jiān)測(cè)來(lái)自于照相機(jī)裝置的圖像；以及 監(jiān)測(cè)所述圖像，每個(gè)圖像包括多個(gè)像素； 使用無(wú)紋理處理方案來(lái)分析所述圖像，包括在每個(gè)圖像中，將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表面的暢通表面的圖像部 分與不表示潛在道路表面的其它圖像部分分開(kāi)；和 基于所述暢通表面來(lái)確定暢通路徑。
全文摘要
本發(fā)明涉及基于像素的無(wú)紋理暢通路徑檢測(cè)。一種使用對(duì)由位于車輛上的照相機(jī)裝置產(chǎn)生的多個(gè)圖像的分析來(lái)檢測(cè)車輛行駛的暢通路徑的方法，包括監(jiān)測(cè)所述圖像，其中，每個(gè)圖像包括多個(gè)像素；使用無(wú)紋理處理方案來(lái)分析所述圖像，包括將圖像進(jìn)行濾波以將表示能夠估計(jì)潛在道路表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開(kāi)。所述暢通路徑基于所述暢通表面來(lái)確定，且所述暢通路徑被用于操作車輛。
文檔編號(hào)G06T5/00GK101900567SQ20091020728
公開(kāi)日2010年12月1日 申請(qǐng)日期2009年10月23日 優(yōu)先權(quán)日2009年5月29日
發(fā)明者S·M·奈克, W·張 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作公司