專利名稱：用附加車載視覺(jué)傳感器加強(qiáng)gps或gps/傳感器車輛定位的方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及GPS輔助定位。
背景技術(shù)：
全球定位系統(tǒng)(GPQ或其它全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSQ接收機(jī)是通過(guò)跟蹤視線信號(hào)而運(yùn)行。這些接收機(jī)通常要求至少四顆或更多衛(wèi)星在車輛衛(wèi)星接收機(jī)的無(wú)障礙視線中連續(xù)地可用。由于存在天然或人造障礙物(例如，建筑物)或天然障礙物(即，密集的樹(shù)覆蓋)，因此在某些情況下準(zhǔn)確確定衛(wèi)星接收機(jī)位置所要求的理論上最小數(shù)量的衛(wèi)星有可能不可用。當(dāng)車輛GPS接收機(jī)由于天然障礙物或人造障礙物而導(dǎo)致與各衛(wèi)星的通信變得不緊密時(shí)，可利用其它數(shù)據(jù)(例如用于航位推算定位的數(shù)據(jù))來(lái)補(bǔ)償由于GPS精度低所造成的位置誤差增加。一般來(lái)說(shuō)，結(jié)合GPS的系統(tǒng)輸出位置誤差估計(jì)值，并且誤差越大則所估計(jì)的 GPS位置就越不可靠。慣性傳感器或其它車輛傳感器(如橫擺率傳感器)可用于生成GPS輔助數(shù)據(jù)。用于輔助GPS的技術(shù)通常能夠進(jìn)行相對(duì)導(dǎo)航(捕獲相對(duì)于給定局部起點(diǎn)的位置和取向變化)， 而GPS能夠提供相對(duì)于全球框架的絕對(duì)位置信息。航位推算(DR)是這種相對(duì)導(dǎo)航技術(shù)的一個(gè)例子。采用橫擺率(yaw rate)測(cè)量值或來(lái)自其它這種傳感器的數(shù)據(jù)的一個(gè)弊端是在無(wú)校正或校準(zhǔn)的情況下在時(shí)間上的純積分(pure integration)會(huì)累積傳感器誤差(如傳感器中的噪聲和偏差)，其中噪聲和偏差的污染度很大程度上取決于傳感器的品質(zhì)。作為一個(gè)例子，雖然典型的橫擺率傳感器的偏差和噪聲水平對(duì)于短期使用來(lái)說(shuō)也許并不高，但結(jié)果是橫擺率傳感器測(cè)量值的積分的有效時(shí)間僅為幾十秒。隨著時(shí)間向前推移，由于噪聲和偏差所造成的積分誤差迅速增加。因此，需要對(duì)積分過(guò)程進(jìn)行重新設(shè)置和初始化或者連續(xù)更新。因此，在GPS系統(tǒng)位置估計(jì)和位置誤差估計(jì)中使用橫擺傳感器的輔助措施，只可以用于較短的持續(xù)時(shí)間(根據(jù)傳感器品質(zhì))。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的一個(gè)優(yōu)點(diǎn)是當(dāng)無(wú)法獲得用于更新車輛位置的GPS相關(guān)數(shù)據(jù)時(shí)， 對(duì)用于校正車輛位置數(shù)據(jù)誤差的跟蹤數(shù)據(jù)的加強(qiáng)。跟蹤數(shù)據(jù)是由車載視覺(jué)基模塊所確定的，車載視覺(jué)基模塊確定在車輛行駛距離中的橫擺、俯仰、和距離校正。一旦GPS或GPS-DR 數(shù)據(jù)的位置誤差估計(jì)值變得不容忽視，那么由車載視覺(jué)基模塊所捕獲的跟蹤數(shù)據(jù)可以補(bǔ)充 GPS相關(guān)數(shù)據(jù)，從而使車輛估計(jì)位置的誤差最小化。本發(fā)明的實(shí)施例設(shè)想了一種利用車載視覺(jué)基模塊來(lái)加強(qiáng)GPS數(shù)據(jù)的方法。利用由位置模塊所獲得的位置相關(guān)數(shù)據(jù)來(lái)確定車輛位置。定期地對(duì)位置誤差進(jìn)行估計(jì)。做出位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值的判定。在行駛過(guò)程中，利用來(lái)自車載視覺(jué)基模塊的捕獲圖像，生成用于車輛的跟蹤數(shù)據(jù)。響應(yīng)于位置誤差估計(jì)值超過(guò)第一預(yù)定誤差閾值，將跟蹤數(shù)據(jù)與位置相關(guān)數(shù)據(jù)加以整合而估計(jì)車輛位置。做出位置誤差估計(jì)值是否下降至低于第二預(yù)定誤差閾值的判定。當(dāng)位置誤差估計(jì)值下降至低于第二預(yù)定誤差閾值時(shí)，在無(wú)車載視覺(jué)基模塊的情況下僅利用位置相關(guān)數(shù)據(jù)對(duì)車輛位置進(jìn)行再確定。本發(fā)明的實(shí)施例設(shè)想了一種經(jīng)加強(qiáng)的車輛定位系統(tǒng)。車輛位置模塊利用位置相關(guān)數(shù)據(jù)來(lái)確定車輛的車輛位置。車輛位置模塊進(jìn)一步確定位置誤差估計(jì)值，該估計(jì)值提供車輛位置精度的置信水平。車載視覺(jué)基模塊捕獲在車輛行駛路徑上的圖像，用以生成跟蹤數(shù)據(jù)。做出位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值的判定。當(dāng)位置誤差超過(guò)第一預(yù)定誤差時(shí)，將跟蹤數(shù)據(jù)與位置相關(guān)數(shù)據(jù)加以整合而估計(jì)當(dāng)前的車輛位置。當(dāng)位置誤差估計(jì)值小于第二預(yù)定誤差閾值時(shí)，在無(wú)車載視覺(jué)基模塊的情況下僅利用位置相關(guān)數(shù)據(jù)對(duì)當(dāng)前的車輛位置進(jìn)行再確定。本發(fā)明還涉及以下技術(shù)方案。方案1. 一種利用車載視覺(jué)基模塊來(lái)加強(qiáng)GPS數(shù)據(jù)的方法，所述方法包括 利用從位置模塊中獲得的位置相關(guān)數(shù)據(jù)來(lái)確定車輛位置；
定期地估計(jì)位置誤差；
確定所述位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值；
在行駛的過(guò)程中，利用來(lái)自所述車載視覺(jué)基模塊的捕獲圖像，生成用于所述車輛的跟蹤數(shù)據(jù)；
響應(yīng)于所述位置誤差估計(jì)值超過(guò)所述第一預(yù)定誤差閾值，將所述跟蹤數(shù)據(jù)與所述位置相關(guān)數(shù)據(jù)加以整合以估計(jì)所述車輛的位置；
確定所述位置誤差估計(jì)值是否下降至低于第二預(yù)定誤差閾值；以及當(dāng)所述位置誤差估計(jì)值下降至低于所述第二預(yù)定誤差閾值時(shí)，僅使用所述位置相關(guān)數(shù)據(jù)對(duì)所述車輛位置進(jìn)行再確定。方案2.如方案1所述的方法，其中，所述車輛位置模塊使用從基于GPS的裝置所獲得的位置相關(guān)數(shù)據(jù)。方案3.如方案1所述的方法，其中，所述車輛位置模塊使用從基于GPS航位推算的裝置中獲得的位置相關(guān)數(shù)據(jù)。方案4.如方案1所述的方法，其中，所述第一預(yù)定位置誤差閾值大于所述第二預(yù)定位置誤差閾值。方案5.如方案1所述的方法，其中，所述車載視覺(jué)基模塊利用特征識(shí)別和分類功能來(lái)從所述跟蹤數(shù)據(jù)識(shí)別物體并將所述物體分類為靜止物體。方案6.如方案5所述的方法，其中，將所述靜止物體分類為遠(yuǎn)距離靜止物體和近距離靜止物體。方案7.如方案6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正橫擺估計(jì)值。方案8.如方案6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正俯仰估計(jì)值。方案9.如方案6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正側(cè)傾估計(jì)值。方案10.如方案6所述的方法，其中，隨時(shí)間推移對(duì)所述近距離靜止物體進(jìn)行跟蹤，以校正橫擺估計(jì)值。
方案11.如方案6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正距離估計(jì)值。方案12.如方案10所述的方法，其中，利用平地面假設(shè)技術(shù)對(duì)所述近距離靜止物體進(jìn)行跟蹤。方案13.如方案1所述的方法，其中，所述車載視覺(jué)基模塊連續(xù)地對(duì)所述車輛的行駛路徑進(jìn)行跟蹤。方案14. 一種經(jīng)加強(qiáng)的車輛定位系統(tǒng)，包括
車輛位置模塊，其用于利用位置相關(guān)數(shù)據(jù)來(lái)確定車輛的車輛位置，所述車輛位置模塊進(jìn)一步確定位置誤差估計(jì)值，所述位置誤差估計(jì)值提供所述車輛位置的精度的置信水平； 以及
車載視覺(jué)基模塊，其用于在所述車輛的行駛路徑上捕獲圖像以生成跟蹤數(shù)據(jù)； 其中，確定所述位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值，其中，當(dāng)所述位置誤差超過(guò)所述第一預(yù)定誤差時(shí)，將所述跟蹤數(shù)據(jù)與所述位置相關(guān)數(shù)據(jù)加以整合來(lái)估計(jì)當(dāng)前的車輛位置，并且其中，當(dāng)所述位置誤差估計(jì)值小于第二預(yù)定誤差閾值時(shí)，僅使用所述位置相關(guān)數(shù)據(jù)對(duì)所述當(dāng)前車輛位置進(jìn)行再確定。方案15.如方案14所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，所述車輛位置模塊使用從GPS衛(wèi)星中獲得的GPS數(shù)據(jù)來(lái)確定車輛的GPS相關(guān)位置。方案16.如方案15所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，還包括至少一個(gè)用于獲得車輛運(yùn)動(dòng)數(shù)據(jù)的車輛運(yùn)動(dòng)傳感器，其中，所述車輛位置模塊提供航位推算功能，所述航位推算功能用于利用所述車輛運(yùn)動(dòng)數(shù)據(jù)并結(jié)合所述GPS數(shù)據(jù)來(lái)估計(jì)所述GPS相關(guān)位置，在GPS衛(wèi)星接收受到限制期間，所述車輛位置模塊利用所述航位推算功能對(duì)所述GPS相關(guān)位置進(jìn)行更新。方案17.如方案16所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，所述車載視覺(jué)基模塊從所述捕獲圖像中識(shí)別物體，并且其中，所述車載視覺(jué)基模塊把所述物體分類為用于跟蹤的靜止物體。方案18.如方案17所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，所述車載視覺(jué)基模塊把所述靜止物體分類成遠(yuǎn)距離靜止物體和近距離靜止物體。方案19.如方案18所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正在所述GPS相關(guān)位置中的橫擺和俯仰估計(jì)值。方案20.如方案18所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，隨時(shí)間推移對(duì)所述近距離靜止物體進(jìn)行跟蹤，以校正在所述GPS相關(guān)位置中的橫擺和距離估計(jì)值。方案21.如方案14所述的經(jīng)加強(qiáng)的GPS相關(guān)車輛定位系統(tǒng)，其中，所述第一預(yù)定誤差閾值大于所述第二預(yù)定誤差閾值。方案22.如方案21所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，所述車載視覺(jué)模塊包括捕獲在所述車輛前方的圖像的視覺(jué)裝置。方案23.如方案21所述的經(jīng)加強(qiáng)的車輛定位系統(tǒng)，其中，所述車載視覺(jué)模塊包括捕獲在所述車輛后方的圖像的視覺(jué)裝置。


圖1是車輛定位系統(tǒng)的方框圖。圖2是由車載視覺(jué)基模塊所捕獲區(qū)域的示例圖。圖3是在分析起點(diǎn)的城市峽谷(urban canyon)的捕獲圖像的圖示說(shuō)明。圖4是行駛一段距離后城市峽谷的捕獲圖像的圖示說(shuō)明。圖fe是在遠(yuǎn)距離處的經(jīng)識(shí)別物體的圖示。圖5b是在近距離處的經(jīng)識(shí)別物體的圖示。圖6是說(shuō)明用于實(shí)現(xiàn)視覺(jué)輔助操作的位置誤差跟蹤的示例圖。
具體實(shí)施例方式圖1中示出了主車輛的車輛定位系統(tǒng)10的方框圖。車輛定位系統(tǒng)10包括車載全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)接收機(jī)12或者其它全球定位系統(tǒng)(GPS)接收機(jī)。應(yīng)該理解的是，本文中所用的術(shù)語(yǔ)“GNSS”與“GPS”是可互換的。GNSS系統(tǒng)包括全球定位衛(wèi)星群，該衛(wèi)星群包括至少M(fèi)顆或更多的圍繞地球在預(yù)定行進(jìn)路徑中運(yùn)行的衛(wèi)星，這些衛(wèi)星連續(xù)地發(fā)射時(shí)間標(biāo)記的數(shù)據(jù)信號(hào)。GNSS接收機(jī)12通過(guò)跟蹤視線信號(hào)而運(yùn)行。這些接收機(jī)通常要求至少四顆或更多的衛(wèi)星在車輛上衛(wèi)星接收機(jī)的無(wú)阻礙視線中連續(xù)地可用。GNSS接收機(jī)12接收所發(fā)射的數(shù)據(jù)，并利用此信息來(lái)確定其絕對(duì)位置。在二維平面中觀察地球時(shí)，利用兩個(gè)坐標(biāo)來(lái)確定地球上的各點(diǎn)。第一坐標(biāo)代表緯度，第二坐標(biāo)代表經(jīng)度。為了確定二維平面中的位置， 至少需要三顆衛(wèi)星，因?yàn)橛腥齻€(gè)未知數(shù)(兩個(gè)位置未知數(shù)以及也被當(dāng)做是未知數(shù)的接收機(jī)時(shí)鐘計(jì)時(shí)誤差)。一些接收機(jī)會(huì)假設(shè)在短時(shí)間內(nèi)海拔保持相同的高度，因而僅用三顆衛(wèi)星就可以確定位置；然而，如果把海拔考慮進(jìn)去(在大多數(shù)應(yīng)用中是這種情況)，那么需要至少四顆衛(wèi)星來(lái)以一定量的誤差估計(jì)絕對(duì)位置。通過(guò)使用四顆或更多的衛(wèi)星可以確定三維空間中的絕對(duì)位置，該絕對(duì)位置包括高于和低于地球表面(例如，海平面)的高度。衛(wèi)星接收機(jī)通過(guò)跟蹤視線信號(hào)而運(yùn)行，其要求各衛(wèi)星在接收機(jī)的視野內(nèi)。通過(guò)設(shè)計(jì)，GNSS或其它GPS系統(tǒng)確保平均有四顆或更多的衛(wèi)星連續(xù)地在地球上相應(yīng)接收機(jī)的視線中；然而，由于城市峽谷(即，障礙物，如建筑物)或者駕駛到卡車的旁邊，因而可能會(huì)有較少數(shù)量的衛(wèi)星在視線中，甚至更如此，障礙物可導(dǎo)致比準(zhǔn)確確定衛(wèi)星接收機(jī)位置所要求數(shù)量更少的衛(wèi)星。車輛定位系統(tǒng)10還包括車載運(yùn)動(dòng)傳感器14，其用于檢測(cè)車輛的運(yùn)動(dòng)。傳感器14 檢測(cè)運(yùn)動(dòng)，包括但不限于車輛橫擺數(shù)據(jù)、車輛行駛距離、和車輛俯仰(pitch)數(shù)據(jù)。車輛橫擺涉及當(dāng)車輛自右向左或者自左向右運(yùn)動(dòng)時(shí)車輛的航向。車輛俯仰涉及沿車輛縱向?qū)ΨQ平面延伸的假想軸線，并且可稱為揚(yáng)頭(nose up)位置或低頭(nose down)位置。上述信息可用于基于車輛行駛過(guò)程來(lái)確定相對(duì)于過(guò)去車輛位置的車輛位置。這通常稱為航位推算技術(shù)。 航位推算涉及基于以前確定的位置來(lái)估計(jì)一實(shí)體的目前位置?；谶\(yùn)動(dòng)數(shù)據(jù)(如在經(jīng)過(guò)的時(shí)間期間所感測(cè)到的速度、和橫擺的變化)來(lái)更新或推進(jìn)當(dāng)前位置。當(dāng)GPS接收機(jī)間斷地不能接收來(lái)自GPS衛(wèi)星的GPS信號(hào)時(shí)，GPS導(dǎo)航儀可將航位推算技術(shù)用作備用技術(shù)來(lái)補(bǔ)充速度和航向。在下文中這稱為GPS-DR。然而，GPS接收機(jī)不能接收GPS信號(hào)的持續(xù)時(shí)間越長(zhǎng)，相對(duì)于由航位推算技術(shù)所確定的計(jì)算位置的誤差就越增大。這是由于車載傳感器(特別是提供橫擺數(shù)據(jù)的車載傳感器)所致。如果不使用高精度傳感器來(lái)感測(cè)橫擺，那么感測(cè)到的數(shù)據(jù)的不準(zhǔn)確度將隨時(shí)間推移而更快地累積，因而影響利用航位推算技術(shù)進(jìn)行的車輛位置的確定。車輛定位系統(tǒng)10還包括用于接收GPS數(shù)據(jù)和車載傳感器數(shù)據(jù)以確定車輛位置的處理器16。處理器16將接收GPS數(shù)據(jù)和車載傳感器數(shù)據(jù)并當(dāng)無(wú)法獲得GPS信號(hào)對(duì)GPS單元進(jìn)行更新時(shí)利用車載傳感器數(shù)據(jù)來(lái)估計(jì)當(dāng)前的車輛位置。應(yīng)當(dāng)理解的是，處理器16可整合成可包含各種定位裝置(例如，GNSS/GPS裝置)的車輛定位模塊的一部分。車輛定位系統(tǒng)10還包括車載視覺(jué)基模塊18?；谲囕d視覺(jué)的模塊18利用指向車輛前方的捕獲圖像裝置來(lái)捕獲車輛行駛道路中的圖像。當(dāng)車輛沿道路行駛時(shí)，捕獲圖像內(nèi)的物體通常會(huì)變得越來(lái)越近。車載視覺(jué)基模塊18可進(jìn)一步利用指向車輛后方的捕獲圖像裝置來(lái)捕獲車輛后方的圖像。本文中所用的術(shù)語(yǔ)“后方”可包括車輛的各側(cè)(如盲點(diǎn))以及任何其它非向前的方向。當(dāng)車輛沿其行駛路徑行駛時(shí)，由面朝后方的圖像捕獲裝置所捕獲的物體變得越來(lái)越遠(yuǎn)。圖2示出了由車載視覺(jué)基模塊所捕獲區(qū)域的示例圖。圖中顯示主車輛20正沿著道路22行駛。道路22包括車道標(biāo)識(shí)線M和路緣沈。其它車輛觀可在道路22的一條或多條車道中行駛。人行道30位于道路的相鄰位置并且可包括物體(如標(biāo)志桿32)。此外， 建筑物34和其它固定物位于人行道30的相鄰位置。車載視覺(jué)基模塊包括第一捕獲圖像裝置，其捕獲在主車輛前方感興趣區(qū)域36中的圖像；以及第二捕獲圖像裝置，其捕獲在主車輛后方感興趣區(qū)域38中的圖像。通過(guò)捕獲并識(shí)別在主車輛20前方和后方的道路22中的物體，車輛定位系統(tǒng)10可以將主車輛的位置精度提高至車道水平精度，特別是當(dāng)在GPS數(shù)據(jù)或GPS-DR數(shù)據(jù)中存在不容忽視的誤差時(shí)。如圖2中所示，在車輛前方感興趣區(qū)域36中的捕獲圖像可幫助確定道路22或各車道的位置。在感興趣區(qū)域36中檢測(cè)到的物體和特征物，可使車道標(biāo)識(shí)線檢測(cè)和路緣檢測(cè)成為可能。在道路以外但仍然在感興趣區(qū)域36內(nèi)所捕獲的物體和特征物，使路邊物體檢測(cè)、建筑物檢測(cè)、和人行道檢測(cè)成為可能。當(dāng)確定主車輛20在道路中的位置時(shí)，如上所述這些物體和特征物的檢測(cè)使更高精度成為可能。類似地，在主車輛20后方感興趣區(qū)域38中的物體，也可用于基于類似物體和特征物的識(shí)別和分類來(lái)確定主車輛20在道路22中的位置。圖3和圖4示出了在不同時(shí)間段內(nèi)在車輛前方感興趣區(qū)域中所捕獲的圖像。圖3 示出了在分析起點(diǎn)的捕獲圖像。建筑物和其它結(jié)構(gòu)通常稱為城市峽谷，其阻擋GPS信號(hào)到達(dá)主車輛的GPS接收機(jī)。圖4示出了在行駛相應(yīng)距離后的捕獲圖像。利用建筑物的拐角 (corner)對(duì)遠(yuǎn)距離靜止點(diǎn)進(jìn)行跟蹤。箭頭符號(hào)40和42表示建筑物的拐角。利用路邊特征物來(lái)跟蹤近距離靜止點(diǎn)44。在行駛期間(即，在圖3和圖4的圖像之間)對(duì)遠(yuǎn)距離靜止點(diǎn)與近距離靜止點(diǎn)對(duì)進(jìn)行選擇和跟蹤。通過(guò)隨時(shí)間推移而識(shí)別并跟蹤捕獲圖像中的遠(yuǎn)距離靜止點(diǎn)，可以對(duì)橫擺和俯仰估計(jì)值進(jìn)行校正。而且，通過(guò)隨時(shí)間推移而利用立體視覺(jué)技術(shù)或從運(yùn)動(dòng)恢復(fù)形狀技術(shù)(shape-from-motion techniques)識(shí)別并跟蹤捕獲圖像中的近距離靜止點(diǎn)，可以對(duì)橫擺和距離估計(jì)值進(jìn)行校正。參照?qǐng)Dfe和圖恥，物體46代表遠(yuǎn)距離靜止點(diǎn)。通過(guò)點(diǎn)選擇和分類來(lái)確定特征點(diǎn)。 利用消失點(diǎn)識(shí)別(如平行線的交叉)來(lái)識(shí)別遠(yuǎn)距離靜止點(diǎn)?？商娲兀梢栽谝韵挛恢锰幾R(shí)別遠(yuǎn)距離靜止點(diǎn)物體在車輛正在直線行駛時(shí)不運(yùn)動(dòng)，具有豐富紋理(rich texture)或高拐角值，并且不位于遠(yuǎn)處車輛上。高拐角值是這樣的值豎直邊緣和水平邊緣都具有平滑的邊緣表面并且各邊緣終止于這兩個(gè)邊緣表面的相交處。物體48代表近距離靜止點(diǎn)。也利用選擇和分類來(lái)識(shí)別近距離靜止點(diǎn)的特征點(diǎn)。近距離靜止點(diǎn)也被識(shí)別為具有豐富紋理或高拐角值的特征點(diǎn)。此外，近距離靜止點(diǎn)利用相應(yīng)的匹配方法(如光流匹配或SIFT匹配)在下一個(gè)圖像框中發(fā)現(xiàn)它們的對(duì)應(yīng)物。光流是由觀察物(眼睛或攝像機(jī))與視景之間的相對(duì)運(yùn)動(dòng)所引起的視景中物體、表面和邊緣的視運(yùn)動(dòng)的圖案(pattern)。有序圖像的序列允許將運(yùn)動(dòng)估計(jì)為瞬時(shí)圖像速度或離散圖像位移。在 SIFT匹配中，首先從一組參考圖像中提取物體的關(guān)鍵點(diǎn)并將該關(guān)鍵點(diǎn)存儲(chǔ)于數(shù)據(jù)庫(kù)中。通過(guò)單獨(dú)地將來(lái)自新圖像的各特征與存儲(chǔ)于數(shù)據(jù)庫(kù)中的那些物體加以比較并基于相應(yīng)特征向量的歐氏距離(Euclidean distance)發(fā)現(xiàn)具有匹配特征的候選，而在新圖像中識(shí)別相應(yīng)物體。在進(jìn)一步確定哪些物體是近距離靜止點(diǎn)對(duì)時(shí)，將在圖像中或運(yùn)動(dòng)物體上不太運(yùn)動(dòng)的各點(diǎn)排除。這包括在靜止點(diǎn)假設(shè)下顯示異常運(yùn)動(dòng)的各點(diǎn)、或者在被檢測(cè)的車輛或行人上的 # ^o 而且，可通過(guò)ΜΜ— &Ι ΑΜ設(shè)技術(shù)(stationary ground assumption technique) 的攝像機(jī)校準(zhǔn)，來(lái)識(shí)別地面上的各點(diǎn)(如建筑物的底部拐角或車道標(biāo)識(shí)線拐角)。在采用平地面假設(shè)技術(shù)中，使用三維坐標(biāo)系(x、y、z)。通過(guò)將各平面中的一個(gè)平面(例如，ζ-方向) 設(shè)定為地平面，而在各捕獲的圖像框中確定平的地平面?？衫密嚨罉?biāo)識(shí)線或者道路的其它特征來(lái)識(shí)別地平面。通過(guò)跟蹤在各圖像之間關(guān)于共同地平面(例如，平的地平面)的近靜止點(diǎn)，可估計(jì)僅相對(duì)于χ-方向和y_方向的車輛跟蹤的偏差。χ-方向上的偏差與車輛的橫擺有關(guān)。y_方向上的偏差與距離有關(guān)。由于跟蹤附近的靜止點(diǎn)，可確定對(duì)橫擺估計(jì)值和距離估計(jì)值的校正。可替代地，可利用從運(yùn)動(dòng)恢復(fù)形狀技術(shù)確定橫擺估計(jì)值和距離估計(jì)值。此外，在行駛期間對(duì)捕獲圖像中遠(yuǎn)距離靜止點(diǎn)的跟蹤中，可確定橫擺估計(jì)值和俯仰估計(jì)值。俯仰涉及車輛沿ζ-方向的運(yùn)動(dòng)。在行駛期間將對(duì)圖fe和圖恥中所示的物體46 進(jìn)行跟蹤，以確定是否應(yīng)對(duì)橫擺估計(jì)值或俯仰估計(jì)值進(jìn)行校正。而且，可利用地平線49 (道路/大地與天空交匯的線)來(lái)確定對(duì)側(cè)傾估計(jì)值的校正。車載視覺(jué)基模塊可估計(jì)與其跟蹤數(shù)據(jù)有關(guān)的誤差，并且為車輛位置模塊提供誤差估計(jì)值，以確定跟蹤數(shù)據(jù)的可靠性。圖6示出了決定何時(shí)使用從車載視覺(jué)基模塊中獲得的跟蹤數(shù)來(lái)加強(qiáng)GPS數(shù)據(jù)和車載傳感器數(shù)據(jù)從而對(duì)當(dāng)前車輛位置進(jìn)行再校正的圖。如前所述，當(dāng)經(jīng)過(guò)一段時(shí)間后來(lái)自GPS 衛(wèi)星的GPS信號(hào)變得不能獲得時(shí)，利用車載傳感器數(shù)據(jù)來(lái)補(bǔ)充GPS數(shù)據(jù)。如果經(jīng)過(guò)一段時(shí)間后不對(duì)車載傳感器數(shù)據(jù)進(jìn)行再校準(zhǔn)或再初始化，那么GPS或GPS-DR數(shù)據(jù)也會(huì)變得不穩(wěn)定。 為了確定何時(shí)GPS數(shù)據(jù)或GPS-DR數(shù)據(jù)需要加強(qiáng)(augmentation)，而將估計(jì)的位置誤差與閾值加以比較以確定何時(shí)需要加強(qiáng)。在圖6中，示出了一幅圖，其中y-軸表示位置誤差估計(jì)值50，χ-軸表示時(shí)間52。線圖M代表在一段時(shí)間內(nèi)行駛時(shí)主車輛的位置誤差估計(jì)值。56表示第一預(yù)定誤差閾值。區(qū)段57代表從位置誤差跟蹤的開(kāi)始至達(dá)到第一預(yù)定誤差閾值的時(shí)間點(diǎn)的位置誤差估計(jì)值部分。在區(qū)段57期間，車輛定位系統(tǒng)僅利用GPS或 GPS-DR數(shù)據(jù)來(lái)估計(jì)當(dāng)前的車輛位置。在位置誤差跟蹤在點(diǎn)58處超過(guò)第一預(yù)定誤差閾值的時(shí)間點(diǎn)，開(kāi)始利用車載視覺(jué)基跟蹤來(lái)加強(qiáng)GPS或GPS-DR數(shù)據(jù)。此時(shí)判定GPS或GPS-DR數(shù)據(jù)的誤差太大、或者達(dá)到這樣的點(diǎn)主車輛的估計(jì)車輛位置變得太不精確。因此，將利用車載視覺(jué)基跟蹤模塊所確定的跟蹤數(shù)據(jù)與GPS或GPS-DR數(shù)據(jù)加以整合以校正橫擺、俯仰和距離信息。區(qū)段59是采用視覺(jué)輔助操作的位置誤差估計(jì)值區(qū)段。視覺(jué)輔助的操作將繼續(xù)下去， 直到位置跟蹤估計(jì)值下降至低于第二預(yù)定誤差閾值60。當(dāng)位置誤差估計(jì)值M下降至低于點(diǎn)62時(shí)，可中止補(bǔ)充GPS或GPS-DR數(shù)據(jù)的視覺(jué)輔助操作。車輛位置估計(jì)將僅使用GPS或 GPS-DR數(shù)據(jù)，直到位置誤差跟蹤估計(jì)值M超過(guò)第一預(yù)定誤差閾值56，此時(shí)將使用由車載視覺(jué)基模塊所提供的跟蹤及校正數(shù)據(jù)來(lái)加強(qiáng)GPS或GPS-DR數(shù)據(jù)。優(yōu)選地，當(dāng)?shù)谝活A(yù)定誤差閾值被超過(guò)時(shí)，車載視覺(jué)基模塊僅開(kāi)始圖像捕獲和視覺(jué)跟蹤。這樣便節(jié)省了存儲(chǔ)器分配和處理能力。可替代地，可利用車載視覺(jué)基模塊來(lái)連續(xù)跟蹤車輛行駛路徑；然而，只有當(dāng)?shù)谝活A(yù)定誤差閾值被超過(guò)時(shí)才使用該跟蹤數(shù)據(jù)。還注意到，第一預(yù)定誤差閾值大于第二預(yù)定誤差閾值。這樣就確保了視覺(jué)輔助操作的應(yīng)用一直維持到可以肯定GPS或GPS-DR數(shù)據(jù)在可接受誤差下對(duì)車輛定位的估計(jì)中是穩(wěn)定的?？商娲?，在不偏離本發(fā)明范圍的情況下，第一預(yù)定誤差閾值可小于第二預(yù)定誤差閾值、或者第一預(yù)定誤差閾值可等于第二預(yù)定誤差閾值。雖然已詳細(xì)描述了本發(fā)明的某些實(shí)施例，但本發(fā)明所涉及領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到如所附權(quán)利要求所限定的用以實(shí)施本發(fā)明的各種替代性設(shè)計(jì)和實(shí)施例。
權(quán)利要求
1.一種利用車載視覺(jué)基模塊來(lái)加強(qiáng)GPS數(shù)據(jù)的方法，所述方法包括利用從位置模塊中獲得的位置相關(guān)數(shù)據(jù)來(lái)確定車輛位置；定期地估計(jì)位置誤差；確定所述位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值；在行駛的過(guò)程中，利用來(lái)自所述車載視覺(jué)基模塊的捕獲圖像，生成用于所述車輛的跟蹤數(shù)據(jù)；響應(yīng)于所述位置誤差估計(jì)值超過(guò)所述第一預(yù)定誤差閾值，將所述跟蹤數(shù)據(jù)與所述位置相關(guān)數(shù)據(jù)加以整合以估計(jì)所述車輛的位置；確定所述位置誤差估計(jì)值是否下降至低于第二預(yù)定誤差閾值；以及當(dāng)所述位置誤差估計(jì)值下降至低于所述第二預(yù)定誤差閾值時(shí)，僅使用所述位置相關(guān)數(shù)據(jù)對(duì)所述車輛位置進(jìn)行再確定。
2.如權(quán)利要求1所述的方法，其中，所述車輛位置模塊使用從基于GPS的裝置所獲得的位置相關(guān)數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，其中，所述車輛位置模塊使用從基于GPS航位推算的裝置中獲得的位置相關(guān)數(shù)據(jù)。
4.如權(quán)利要求1所述的方法，其中，所述第一預(yù)定位置誤差閾值大于所述第二預(yù)定位置誤差閾值。
5.如權(quán)利要求1所述的方法，其中，所述車載視覺(jué)基模塊利用特征識(shí)別和分類功能來(lái)從所述跟蹤數(shù)據(jù)識(shí)別物體并將所述物體分類為靜止物體。
6.如權(quán)利要求5所述的方法，其中，將所述靜止物體分類為遠(yuǎn)距離靜止物體和近距離靜止物體。
7.如權(quán)利要求6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正橫擺估計(jì)值。
8.如權(quán)利要求6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正俯仰估計(jì)值。
9.如權(quán)利要求6所述的方法，其中，隨時(shí)間推移對(duì)所述遠(yuǎn)距離靜止物體進(jìn)行跟蹤，以校正側(cè)傾估計(jì)值。
10.一種經(jīng)加強(qiáng)的車輛定位系統(tǒng)，包括車輛位置模塊，其用于利用位置相關(guān)數(shù)據(jù)來(lái)確定車輛的車輛位置，所述車輛位置模塊進(jìn)一步確定位置誤差估計(jì)值，所述位置誤差估計(jì)值提供所述車輛位置的精度的置信水平； 以及車載視覺(jué)基模塊，其用于在所述車輛的行駛路徑上捕獲圖像以生成跟蹤數(shù)據(jù)；其中，確定所述位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值，其中，當(dāng)所述位置誤差超過(guò)所述第一預(yù)定誤差時(shí)，將所述跟蹤數(shù)據(jù)與所述位置相關(guān)數(shù)據(jù)加以整合來(lái)估計(jì)當(dāng)前的車輛位置，并且其中，當(dāng)所述位置誤差估計(jì)值小于第二預(yù)定誤差閾值時(shí)，僅使用所述位置相關(guān)數(shù)據(jù)對(duì)所述當(dāng)前車輛位置進(jìn)行再確定。
全文摘要
本發(fā)明涉及用附加車載視覺(jué)傳感器加強(qiáng)GPS或GPS/傳感器車輛定位的方法。具體提供一種利用車載視覺(jué)基模塊來(lái)加強(qiáng)GPS數(shù)據(jù)的方法。利用從位置模塊中獲得的位置相關(guān)數(shù)據(jù)來(lái)確定車輛位置。定期地對(duì)位置誤差進(jìn)行估計(jì)。確定位置誤差估計(jì)值是否超過(guò)第一預(yù)定誤差閾值。在行駛的過(guò)程中，利用來(lái)自車載視覺(jué)基模塊的捕獲圖像，生成用于車輛的跟蹤數(shù)據(jù)。響應(yīng)于位置誤差估計(jì)值超過(guò)第一預(yù)定誤差閾值，將跟蹤數(shù)據(jù)與位置相關(guān)數(shù)據(jù)加以整合以估計(jì)車輛位置。確定位置誤差估計(jì)值是否下降至低于第二預(yù)定誤差閾值。當(dāng)位置誤差估計(jì)值下降至低于第二預(yù)定誤差閾值時(shí)，僅利用位置相關(guān)數(shù)據(jù)對(duì)車輛位置進(jìn)行再確定。
文檔編號(hào)G01S19/48GK102565832SQ20111035450
公開(kāi)日2012年7月11日 申請(qǐng)日期2011年11月10日 優(yōu)先權(quán)日2010年11月10日
發(fā)明者C.巴斯納亞克, W.張 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司