專利名稱:一種基于ar增強現(xiàn)實技術(shù)的車載實景安全導航方法
技術(shù)領(lǐng)域:
本發(fā)明涉及無線導航領(lǐng)域,特別涉及一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,通過車載前置攝像頭為用戶提示車道線、障礙物以及與目標障礙物的距離并在實時圖像上進行導航信息的疊加,在為用戶導航的基礎(chǔ)上又為用戶提供一個安全的行駛路徑。
背景技術(shù):
目前,許多汽車前部都設(shè)有攝像頭,攝像頭對車前景進行圖像采集顯示在車內(nèi)屏幕上,但并不能對圖像進行識別,只是提供給駕駛員一個實時的圖像信息,而GPS導航儀又只能根據(jù)虛擬的地圖通過衛(wèi)星定位,在虛擬地圖上給出汽車在虛擬地圖上的位置,而且雖然目前許多高檔車都設(shè)有接近傳感器為司機在停車時提供一個安全提醒,但如何在動態(tài)的行進中對路中的標志線和前方汽車距離進行判定引導駕駛員安全駕駛,目前還沒有一個切實的方案,因此如何利用車載攝像頭以及GPS導航系統(tǒng),將實時的街景與導航信息結(jié)合實現(xiàn)一種實時的全方位導航,為車主提供更好的服務是我們追尋的目標。
發(fā)明內(nèi)容
本發(fā)明的目的是針對上述問題提出的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,通過車載前置攝像頭對目標進行檢測、識別與跟蹤,為用戶提示車道線、障礙物以及與目標障礙物的距離并在實時圖像上進行導航信息的疊加,為用戶提供豐富的視覺服務和交互環(huán)境,為用戶車行駛指明一個安全的行駛路線。為了實現(xiàn)上述目的,本發(fā)明一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,包括在車頭設(shè)置的攝像頭和與之連接的車載機,其中,所述車載機中包括衛(wèi)星導航系統(tǒng)和建有對物體特征進行識別特征數(shù)據(jù)庫,還包括物體與本車之間相互關(guān)系的報警閾值表,所述方法執(zhí)行的步驟包括:
a.采集車前實時圖像,對實時圖像中的物體進行提取特征物處理,通過與識別特征數(shù)據(jù)庫比較,確定物體的種類;
b.對確定物體賦予識別特征,把附有識別特征的物體圖像與實時圖像進行疊加形成第一顯示圖像;
c.從衛(wèi)星導航地圖中提取實時導航地圖信息;
d.將實時導航地圖信息與第一顯示圖像進行疊加形成一個帶有導航信息第二圖像,并將第二圖像顯示在車載機屏幕上;
e.當圖像中附有識別特征的某一物體觸動報警閥值,通過警示圖像或聲音,提示駕駛?cè)藛T行駛在一個最佳的安全路線上。進一步的優(yōu)化是:所述步驟a進一步包括,采集車前實時圖像,用CVBS信號輸出圖像到數(shù)字圖像處理模塊;數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號,并以720*576圖像的中心點為中心截取一個400*480的圖像傳送給CPU處理;CPU把圖像處理模塊傳送的圖像分為兩路,一路作為用于顯示的實時圖像,另一路用于提取特征物處理。進一步的優(yōu)化是:根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述步驟b進一步包括,所述確定物體為多個時,優(yōu)先保留汽車正前方的一個確定物體。進一步的優(yōu)化是:所述提取特征物處理的步驟是:對實時圖像進行提取灰階圖像處理,對提取的灰階圖像進行提取特征物,通過圖像識別算法對取特征物進行圖像的分類運算得出分類結(jié)果,把分類結(jié)果與識別特征數(shù)據(jù)庫比較,確定物體的種類。進一步的優(yōu)化是:所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊,數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號,通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。進一步的優(yōu)化是:步驟d中所述第二圖像的形成過程是:先在實時導航地圖中規(guī)劃出導航路徑,并把導航路徑提取出來放到CPU中的Iayerl圖層,此導航路徑帶有經(jīng)緯度信息;提取導航路徑兩側(cè)的標志性POI點放到CPU中的layer2圖層,POI點帶有經(jīng)緯度信息;將第一顯示圖像放到CPU中的layer3圖層,通過CPU中的GPU圖像處理算法,把Iayerl與Iayerf進行疊加計算后放到layer4圖層;疊加后攝像頭采集的信息在導航路徑上帶有了經(jīng)緯度位置信息,根據(jù)經(jīng)緯度信息,把layer2層中的POI點疊加到layer4層中;CPU把layer4圖層中的最終疊加的結(jié)果送車載機屏幕上顯示。進一步的優(yōu)化是:所述物體包括路交通道路中的線路標志、路牌信號標志、汽車、建筑物與人。本發(fā)明對現(xiàn)有技術(shù)的貢獻是:實現(xiàn)了地圖導航軟件與AR現(xiàn)實增強技術(shù)結(jié)合的全新的導航方法,真正實現(xiàn)“所見即所得”便捷找到目的地,而此發(fā)明的實景導航可以使目的地與實景相結(jié)合,在實景上標識出目的地,更方便用戶???br>
以實時的進行前車距離顯示、車道線偏離提示輔助安全駕駛。下面結(jié)合實施例和附圖對本發(fā)明做一詳細描述。
圖1為本發(fā)明方法處理關(guān)系框 圖2為本發(fā)明方法圖層處理關(guān)系框 圖3為現(xiàn)實的實時圖像示意圖。
具體實施例方式一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法實施例,增強現(xiàn)實(Augmented Reality,簡稱AR),也叫混合現(xiàn)實,是指透過影像處理技術(shù)將虛擬3D和現(xiàn)實影像融合,使真實的環(huán)境和虛擬世界實時地疊加到了同一個畫面或空間同時存在。參見圖1、圖2和圖3,所述方法的系統(tǒng)包括在車頭設(shè)置的攝像頭和與之連接的車載機,其中,所述車載機中包括衛(wèi)星導航系統(tǒng)和建有對物體特征進行識別特征數(shù)據(jù)庫,還包括物體與本車之間相互關(guān)系的報警閾值表,所述方法執(zhí)行的步驟包括:
a.采集車前實時圖像,對實時圖像中的物體進行提取特征物處理,通過與識別特征數(shù)據(jù)庫比較,確定物體的種類; b.對確定物體賦予識別特征,把附有識別特征的物體圖像與實時圖像進行疊加形成第一顯示圖像;
C.從衛(wèi)星導航地圖中提取實時導航地圖信息;
d.將實時導航地圖信息與第一顯示圖像進行疊加形成一個帶有導航信息第二圖像,并將第二圖像顯示在車載機屏幕上;
e.當圖像中附有識別特征的某一物體觸動報警閥值,通過警示圖像或聲音,提示駕駛?cè)藛T行駛在一個最佳的安全路線上。實施例中,進一步的優(yōu)化是:所述步驟a進一步包括,采集車前實時圖像,用CVBS信號輸出圖像到數(shù)字圖像處理模塊;數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號,并以720*576圖像的中心點為中心截取一個400*480的圖像傳送給CPU處理;CPU把圖像處理模塊傳送的圖像分為兩路,一路作為用于顯示的實時圖像,另一路用于提取特征物處理。實施例中,進一步的優(yōu)化是:根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述步驟b進一步包括,所述確定物體為多個時,優(yōu)先保留汽車正前方的一個確定物體。實施例中,進一步的優(yōu)化是:所述提取特征物處理的步驟是:對實時圖像進行提取灰階圖像處理,對提取的灰階圖像進行提取特征物,通過圖像識別算法對取特征物進行圖像的分類運算得出分類結(jié)果,把分類結(jié)果與識別特征數(shù)據(jù)庫比較,確定物體的種類。實施例中,進一步的優(yōu)化是:所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊,數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號,通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。實施例中,進一步的優(yōu)化是:步驟d中所述第二圖像的形成過程是:先在實時導航地圖中規(guī)劃出導航路徑,并把導航路徑提取出來放到CPU中的Iayerl圖層,此導航路徑帶有經(jīng)緯度信息;提取導航路徑兩側(cè)的標志性POI點(興趣點)放到CPU中的layer2圖層,POI點帶有經(jīng)緯度信息;將第一顯示圖像放到CPU中的layer3圖層,通過CPU中的GPU圖像處理算法,把Iayerl與layer3進行疊加計算后放到layer4圖層;疊加后攝像頭采集的信息在導航路徑上帶有了經(jīng)緯度位置信息,根據(jù)經(jīng)緯度置信信息,把layer2層中的POI點疊加到layer4層中;CPU把layer4圖層中的最終疊加的結(jié)果送車載機屏幕上顯示。實施例中,進一步的優(yōu)化是:所述物體包括路交通道路中的線路標志、路牌信號標志、汽車、建筑物與人。實施例中,從攝像頭輸入的為CVBS信號為PAL制式信號,標準的分辨率為720*576,顯示IXD分辨率為800*480,一半用于顯示導航地圖,一半用于顯示實景圖像,因此只能由400*480的分辨率來顯示攝像頭采集到的信號,如果直接把攝像頭輸入信號在400*480分辨率下顯示會出現(xiàn)圖像變形的現(xiàn)象,因此我們以720*576圖像的中心點為中心截取一個400*480的圖像輸出到顯示IXD能滿足圖像實景顯示要求。實施例中,圖像識別的過程可以分為幾個步驟:
1、在數(shù)據(jù)庫中建立原型匹配模型(識別特征),即抽取某些圖形的相似性,把一個圖像的幾個特征參數(shù)采集下來建立模型,比如前方車輛,我們采集車輛后車牌信息,包括長、寬、顏色、數(shù)字等,前方車輛是否左右對稱信息,車輪信息,車輪是否左右對稱、車輪的寬度、顏色,車輪之間的軸距等信息范圍,并建立一個汽車的數(shù)學模型,特征為左右對稱、有一個長、寬、高固定的車牌區(qū)域、車輪左右對稱、兩個輪子之間的距離范圍,其他需要識別的如車道線、紅綠燈、人等按相同的方法提取幾個特征參數(shù)建立數(shù)學模型。對各種需要識別的物體進行建模,如汽車、紅綠燈、車道線、交通特征、人和動物,建模必須覆蓋盡可能多的類別、個體。2、對圖像的分類處理,從CVBS采集到的圖像信息很多,需要從圖像中分離出我們需要識別的物體,如車、紅綠燈、車道線、人。這個過程運算量非常大,首先我們需要把分辨率為400*480的圖像進行分區(qū),分為3個面積相等的區(qū)域,每個區(qū)域我們先判斷這個區(qū)域內(nèi)是否需要進行圖像識別,主要方法是灰階圖像的判斷,如某區(qū)域內(nèi)像素沒有灰階變化,或變化非常小,那我們可以判定此區(qū)域不需要進行進一步圖像識別,可能攝像頭拍的是天空或者路面。經(jīng)過篩選后,可能有2個區(qū)域需要進行圖像識別,首先根據(jù)灰階變化提取該區(qū)域內(nèi)圖像的輪廓線,根據(jù)輪廓線與數(shù)學模型進行對比運算確認,這個過程中會用到圖像識別的很多方法,如二值法、紋理特征分析法、圖像濾波算法、圖像增強算法等。舉個列子,如前面有一輛車,通過攝像頭采集到了車輛的信息,圖像識別軟件如何判斷攝像頭拍的是車呢?首先我們對圖像灰階處理后,通過灰階的變化標識需要識別的物體的輪廓,然后通過二值法使圖像變得簡單,然后物體通過判斷數(shù)學模型中的特征參數(shù)是否符合模型中的標準來定位是那種物體。上述實施例,通過攝像頭的圖像采集,并通過圖像識別算法進行前車的識別、車道線的識別、交通標志的識別、人或動物的識別,從而在車載屏幕上顯示與前車的距離,當距離過近超過安全距離時發(fā)出聲光報警;當汽車偏離車道時進行報警;通過交通標志的識別判斷紅綠燈、限行及禁行標志的識別,從而提醒駕駛員安全駕駛;人或動物的識別,通過對移動的人或動物機型建模,并識別人或動物的運動方向和運動軌跡,為駕駛員提供避讓或并線的信息。圖像采集后,通過與地圖POI及導航路徑的結(jié)合,在實時圖像上進行導航路徑的疊加,可以更清晰、直觀的表現(xiàn)出轉(zhuǎn)彎等信息。把地圖信息中的POI點、道路信息等直接標注在實時采集的圖像上,并與實際的建筑或道路信息相對應以便駕駛員更為方便的找到需要的目的地。
權(quán)利要求
1.一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,包括在車頭設(shè)置的攝像頭和與之連接的車載機,其特征在于,所述車載機中包括衛(wèi)星導航系統(tǒng)和建有對物體特征進行比對的識別特征數(shù)據(jù)庫,還包括物體與本車之間相互關(guān)系的報警閾值表,所述方法執(zhí)行的步驟包括: a.采集車前實時圖像,對實時圖像中的物體進行提取特征物處理,通過與識別特征數(shù)據(jù)庫比較,確定物體的種類; b.對確定物體賦予識別特征,把附有識別特征的物體圖像與實時圖像進行疊加形成第一顯示圖像; c.從衛(wèi)星導航地圖中提取實時導航地圖信息; d.將實時導航地圖信息與第一顯示圖像進行疊加形成一個帶有導航信息第二圖像,并將第二圖像顯示在車載機屏幕上; e.當圖像中附有識別特征的某一物體觸動報警閥值,通過警示圖像或聲音,提示駕駛?cè)藛T行駛在一個最佳的安全路線上。
2.根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述步驟a進一步包括,采集車前實時圖像,用CVBS信號輸出圖像到數(shù)字圖像處理模塊;數(shù)字圖像處理模塊把CVBS信號處理成數(shù)字信號,并以720*576圖像的中心點為中心截取一個400*480的圖像傳送給CPU處理;CPU把圖像處理模塊傳送的圖像分為兩路,一路作為用于顯示的實時圖像,另一路用于提取特征物處理。
3.根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述步驟b進一步包括,所述確定物體為多個時,優(yōu)先保留汽車正前方的一個確定物體。`
4.根據(jù)權(quán)利要求1或2所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述提取特征物處理的步驟是:對實時圖像進行提取灰階圖像處理,對提取的灰階圖像進行提取特征物,通過圖像識別算法對取特征物進行圖像的分類運算得出分類結(jié)果,把分類結(jié)果與識別特征數(shù)據(jù)庫比較,確定物體的種類。
5.根據(jù)權(quán)利要求4所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述灰階圖像處理過程是:攝像頭采集的CVBS模擬信號傳送到數(shù)字圖像處理模塊,數(shù)字圖像處理模塊把CVBS信號轉(zhuǎn)換成R、G、B的數(shù)字信號,通過公式gray=0.30*R+0.59*G+0.11*B計算出每一個像素的灰階。
6.根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,步驟d中所述第二圖像的形成過程是:先在實時導航地圖中規(guī)劃出導航路徑,并把導航路徑提取出來放到CPU中的Iayerl圖層,此導航路徑帶有經(jīng)緯度信息;提取導航路徑兩側(cè)的標志性POI點放到CPU中的layer2圖層,POI點帶有經(jīng)緯度信息;將第一顯示圖像放到CPU中的layer3圖層,通過CPU中的GPU圖像處理算法,把Iayerl與layer3進行疊加計算后放到layer4圖層;疊加后攝像頭采集的信息在導航路徑上帶有了經(jīng)緯度位置信息,根據(jù)經(jīng)緯度信息,把layer2層中的POI點疊加到layer4層中;CPU把layer4圖層中的最終疊加的結(jié)果送車載機屏幕上顯示。
7.根據(jù)權(quán)利要求1所述的一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,其特征在于,所述物體包括路交通道路`中的線路標志、路牌信號標志、汽車、建筑物與人。
全文摘要
本發(fā)明涉及一種基于AR增強現(xiàn)實技術(shù)的車載實景安全導航方法,包括采集車前實時圖像,對實時圖像進行提取特征物處理,把附有識別特征的物體圖像與實時圖像進行疊加;從衛(wèi)星導航地圖中提取實時導航地圖信息進行疊加形成一個帶有導航信息第二圖像;當圖像中附有識別特征的某一物體觸動報警閥值,通過警示圖像或聲音,提示駕駛?cè)藛T行駛在一個最佳的安全路線上。本發(fā)明對現(xiàn)有技術(shù)的貢獻是實現(xiàn)了地圖導航軟件與AR現(xiàn)實增強技術(shù)結(jié)合的全新的導航方法,真正實現(xiàn)“所見即所得”便捷找到目的地,而此發(fā)明的實景導航可以使目的地與實景相結(jié)合,在實景上標識出目的地,更方便用戶??梢詫崟r的進行前車距離顯示、車道線偏離提示輔助安全駕駛。
文檔編號B60R1/00GK103105174SQ20131003403
公開日2013年5月15日 申請日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者呂童群 申請人:四川長虹佳華信息產(chǎn)品有限責任公司