本發(fā)明涉及車載終端設(shè)備技術(shù)領(lǐng)域,具體而言,本發(fā)明涉及一種車輛碰撞的預(yù)警方法以及車輛碰撞的預(yù)警裝置。
背景技術(shù):
目前,隨著汽車智能化的發(fā)展,汽車輔助駕駛技術(shù)成為了技術(shù)研發(fā)人員的主要研究方向之一。這種技術(shù)能夠在用戶駕駛汽車時(shí)向用戶提供必要的信息和/或警告,以避免車輛碰撞、車輛偏離道路等危險(xiǎn)情況的發(fā)生。隨著汽車智能化的進(jìn)一步發(fā)展,甚至希望可以通過輔助駕駛技術(shù)來實(shí)現(xiàn)車輛無人駕駛。對于輔助駕駛技術(shù)而言,尤為重要的技術(shù)問題是如何及時(shí)準(zhǔn)確地對即將發(fā)生的車輛碰撞情況進(jìn)行有效預(yù)警。
在現(xiàn)有技術(shù)中,可以通過激光雷達(dá)進(jìn)行前車距離檢測,并根據(jù)檢測結(jié)果對可能即將發(fā)生車輛碰撞的情況進(jìn)行預(yù)警,然而,這種方式所需要的硬件設(shè)備價(jià)格極其昂貴,普通用戶很難配備激光雷達(dá)裝備,另外,安裝激光雷達(dá)裝備的過程復(fù)雜,還存在改變車輛的外觀的可能性。此外,現(xiàn)有技術(shù)中還存在基于視覺的車輛碰撞預(yù)警方案,其中該類方案又分為雙目和單目方案,現(xiàn)有的基于單目的車輛碰撞預(yù)警方案的缺點(diǎn)主要包括對確定較精確的前車與本車的相對距離的算法精確度的要求較高;而基于雙目的車輛碰撞預(yù)警方案的缺點(diǎn)主要包括計(jì)算過程需要計(jì)算視差圖,而計(jì)算視差圖的算法較為復(fù)雜,目前的終端設(shè)備硬件無法支持實(shí)時(shí)的計(jì)算。
因此,需要提供一種能夠有效實(shí)時(shí)提供報(bào)警服務(wù)的車輛碰撞預(yù)警方案。
技術(shù)實(shí)現(xiàn)要素:
為克服上述技術(shù)問題或者至少部分地解決上述技術(shù)問題,特提出以下技術(shù)方案:
本發(fā)明的一個(gè)實(shí)施例提出了一種車輛碰撞的預(yù)警方法,包括:
判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物;
若存在,則基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離;
基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像;
根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作。
優(yōu)選地,判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物,包括:
檢測第一行車圖像信息中是否存在障礙物;
若存在,則確定障礙物的位置;
基于第一行車圖像信息來檢測車輛的行進(jìn)方向,并根據(jù)檢測結(jié)果判斷障礙物的位置是否處于車輛的行進(jìn)方向上。
優(yōu)選地,根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離,包括:
將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分,并分別確定劃分區(qū)域中的關(guān)鍵點(diǎn);
分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
優(yōu)選地,將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分,包括:
將檢測到的關(guān)鍵點(diǎn)按照障礙物所在的圖像區(qū)域進(jìn)行劃分。
優(yōu)選地,分別確定劃分區(qū)域中的關(guān)鍵點(diǎn),包括:
選取各劃分區(qū)域中的預(yù)定數(shù)量的關(guān)鍵點(diǎn);
其中,分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,包括:
分別對劃分區(qū)域中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
優(yōu)選地,基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,包括:
基于第一行車圖像信息中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn),通過預(yù)定的圖像跟蹤算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;
將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn);
其中,根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,包括:
根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離。
優(yōu)選地,根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,包括:
針對各劃分區(qū)域,對待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前預(yù)定數(shù)量的關(guān)鍵點(diǎn);
分別基于各劃分區(qū)域中的提取到的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)質(zhì)心計(jì)算結(jié)果確定障礙物的第二質(zhì)心相對距離。
優(yōu)選地,關(guān)鍵點(diǎn)包括FAST、ORB和Harris特征點(diǎn)中的至少一種。
優(yōu)選地,根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作,包括:
若判斷車輛預(yù)碰撞時(shí)間小于預(yù)定的預(yù)警時(shí)間閾值,則進(jìn)行碰撞預(yù)警操作。
本發(fā)明的另一實(shí)施例提出了一種車輛碰撞的預(yù)警裝置,包括:
判斷模塊,用于判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物;
檢測模塊,用于當(dāng)判斷第一行車圖像信息中的車輛行進(jìn)方向上存在障礙物時(shí),基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離;
跟蹤模塊,用于基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像;
預(yù)警模塊,用于根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作。
優(yōu)選地,判斷模塊包括:
障礙物檢測單元,用于檢測第一行車圖像信息中是否存在障礙物;
位置確定單元,用于當(dāng)檢測第一行車圖像信息中存在障礙物時(shí),確定障礙物的位置;
檢測及判斷單元,用于基于第一行車圖像信息來檢測車輛的行進(jìn)方向,并根據(jù)檢測結(jié)果判斷障礙物的位置是否處于車輛的行進(jìn)方向上。
優(yōu)選地,檢測模塊包括:
區(qū)域劃分單元,用于將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分,并分別確定劃分區(qū)域中的關(guān)鍵點(diǎn);
距離計(jì)算單元,用于分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
優(yōu)選地,區(qū)域劃分單元用于將檢測到的關(guān)鍵點(diǎn)按照障礙物所在的圖像區(qū)域進(jìn)行劃分。
優(yōu)選地,區(qū)域劃分單元用于選取各劃分區(qū)域中的預(yù)定數(shù)量的關(guān)鍵點(diǎn);
其中,距離計(jì)算單元用于分別對劃分區(qū)域中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
優(yōu)選地,跟蹤模塊包括:
跟蹤值計(jì)算單元,用于基于第一行車圖像信息中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn),通過預(yù)定的圖像跟蹤算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;
關(guān)鍵點(diǎn)確定單元,用于將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn);
距離確定單元,用于根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離。
優(yōu)選地,距離確定單元包括:
關(guān)鍵點(diǎn)提取子單元,用于針對各劃分區(qū)域,對待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前預(yù)定數(shù)量的關(guān)鍵點(diǎn);
距離確定子單元,用于分別基于各劃分區(qū)域中的提取到的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)質(zhì)心計(jì)算結(jié)果確定障礙物的第二質(zhì)心相對距離。
優(yōu)選地,關(guān)鍵點(diǎn)包括FAST、ORB和Harris特征點(diǎn)中的至少一種。
優(yōu)選地,預(yù)警模塊用于當(dāng)判斷車輛預(yù)碰撞時(shí)間小于預(yù)定的預(yù)警時(shí)間閾值時(shí),進(jìn)行碰撞預(yù)警操作。
本發(fā)明的技術(shù)方案解決了如何能夠可靠且實(shí)時(shí)地對可能即將發(fā)生車輛碰撞事故進(jìn)行預(yù)警操作的問題。其中,若判斷第一行車圖像信息中的車輛行進(jìn)方向上存在障礙物,則基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離,通過上述操作步驟可以確定障礙物的關(guān)鍵點(diǎn)連接后的線段長度;基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,通過上述步驟相應(yīng)地可以確定運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度;根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作,將運(yùn)動(dòng)前與運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度進(jìn)行比較以判斷本車與障礙物的相對距離。根據(jù)上述方法判斷確定的本車與障礙物的相對距離精準(zhǔn)度較高,故而根據(jù)相對距離確定的車輛預(yù)碰撞時(shí)間亦精準(zhǔn)度較高,因此可以提高對即將發(fā)生車輛碰撞情況的預(yù)警操作的準(zhǔn)確率。另外,本發(fā)明方案采用的算法復(fù)雜度較低,從而終端設(shè)備硬件設(shè)備可支持實(shí)時(shí)計(jì)算處理,進(jìn)而為駕駛員的人身安全提供了可靠的保障。
本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,這些將從下面的描述中變得明顯,或通過本發(fā)明的實(shí)踐了解到。
附圖說明
本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解,其中:
圖1為本發(fā)明一個(gè)實(shí)施例的車輛碰撞的預(yù)警方法的流程示意圖;
圖2為本發(fā)明另一實(shí)施例的車輛碰撞的預(yù)警裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的,僅用于解釋本發(fā)明,而不能解釋為對本發(fā)明的限制。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非特意聲明,這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是,本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件,但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解,當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí),它可以直接連接或耦接到其他元件,或者也可以存在中間元件。此外,這里使用的“連接”或“耦接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非另外定義,這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語),具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是,諸如通用字典中定義的那些術(shù)語,應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義,并且除非像這里一樣被特定定義,否則不會(huì)用理想化或過于正式的含義來解釋。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,這里所使用的“終端”、“終端設(shè)備”既包括無線信號接收器的設(shè)備,其僅具備無發(fā)射能力的無線信號接收器的設(shè)備,又包括接收和發(fā)射硬件的設(shè)備,其具有能夠在雙向通信鏈路上,進(jìn)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括:蜂窩或其他通信設(shè)備,其具有單線路顯示器或多線路顯示器或沒有多線路顯示器的蜂窩或其他通信設(shè)備;PCS(Personal Communications Service,個(gè)人通信系統(tǒng)),其可以組合語音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力;PDA(Personal Digital Assistant,個(gè)人數(shù)字助理),其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或GPS(Global Positioning System,全球定位系統(tǒng))接收器;常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備,其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的,或者適合于和/或配置為在本地運(yùn)行,和/或以分布形式,運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通信終端、上網(wǎng)終端、音樂/視頻播放終端,例如可以是PDA、MID(Mobile Internet Device,移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂/視頻播放功能的移動(dòng)電話,也可以是智能電視、機(jī)頂盒等設(shè)備。
圖1為本發(fā)明一個(gè)實(shí)施例的車輛碰撞的預(yù)警方法的流程示意圖。
步驟S110:判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物。
其中,第一行車圖像信息可以通過車載視頻捕獲裝置來進(jìn)行獲取,其中,車載視頻捕獲裝置可以是行車記錄儀、360度全景攝像頭等裝置。
優(yōu)選地,判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物的步驟包括步驟S111、步驟S112和步驟S113:步驟S111:檢測第一行車圖像信息中是否存在障礙物;步驟S112:若存在,則確定障礙物的位置;步驟S113:基于第一行車圖像信息來檢測車輛的行進(jìn)方向,并根據(jù)檢測結(jié)果判斷障礙物的位置是否處于車輛的行進(jìn)方向上。
其中,基于第一行車圖像信息來檢測車輛的行進(jìn)方向的步驟進(jìn)一步包括:判斷第一行車圖像信息中是否存在車道線;若存在,則確定上述車道線的延伸方向;根據(jù)車道線的延伸方向來確定車輛的行進(jìn)方向。需要說明的是,現(xiàn)有技術(shù)中包括多種檢測車輛的行進(jìn)方向的方法,本發(fā)明在此不再贅述。。
步驟S120:若存在,則基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離。
優(yōu)選地,關(guān)鍵點(diǎn)包括但不限于FAST、ORB和Harris特征點(diǎn)。
其中,F(xiàn)AST特征點(diǎn)是基于選取的任一像素點(diǎn)周圍的圖像灰度值來確定的,首先,可以檢測選取的任一像素點(diǎn)周圍區(qū)域的像素點(diǎn)的灰度值,若選取的任一像素點(diǎn)的周圍區(qū)域中存在與選取的任一像素點(diǎn)的灰度值差值大于預(yù)定差值閾值且存在與選取的任一像素點(diǎn)的灰度值差值大于預(yù)定灰度值差值的像素點(diǎn)的數(shù)量大于預(yù)定數(shù)量的像素點(diǎn),則確定選取的任一像素點(diǎn)為一個(gè)FAST特征點(diǎn)。
Harris特征點(diǎn)亦可以稱作角點(diǎn),對角點(diǎn)的識別通常是在一個(gè)局部的區(qū)域或窗口完成的。如果在圖像信息中的各個(gè)方向上移動(dòng)預(yù)定的窗口,預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較大,就可以確定在預(yù)定的窗口內(nèi)存在角點(diǎn);如果這個(gè)預(yù)定的窗口在圖像信息的各個(gè)方向上移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較小,就可以確定預(yù)定的窗口內(nèi)不存在角點(diǎn);如果預(yù)定的窗口在圖像信息中的某一方向移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較大,而在該圖像信息中的另一些方向上移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較小,則可以確定預(yù)定的窗口內(nèi)的圖像信息是一條線段。
ORB特征點(diǎn)是基于上述兩種特征點(diǎn)獲取的,它是從FAST特征點(diǎn)中選取出與FAST特征點(diǎn)相應(yīng)的Harris特征點(diǎn)的相關(guān)響應(yīng)值由大到小排序靠前的預(yù)定位數(shù)的特征點(diǎn)。
需要說明的是,通過檢測上述FAST、ORB和Harris等特征點(diǎn)來確定障礙物在第一行車圖像信息中的關(guān)鍵點(diǎn),以備后續(xù)通過相關(guān)圖像跟蹤算法對這些關(guān)鍵點(diǎn)進(jìn)行跟蹤。
優(yōu)選地,根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離的步驟包括步驟S121和步驟S122:步驟S121:將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分,并分別確定劃分區(qū)域中的關(guān)鍵點(diǎn);步驟S122:分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
更優(yōu)選地,將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分的步驟具體包括:將檢測到的關(guān)鍵點(diǎn)按照障礙物所在的圖像區(qū)域進(jìn)行劃分。
具體地,首先,檢測障礙物所在的圖像區(qū)域,并將障礙物所在的圖像區(qū)域通過加框方式進(jìn)行框選;接著,將框選的區(qū)域進(jìn)行劃分,其中,可以按照框選區(qū)域的面積進(jìn)行均勻劃分,也可以非均勻劃分,對此本發(fā)明實(shí)施例不做限定。除此之外,將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分的操作方式還可以按照檢測到的關(guān)鍵點(diǎn)聚集的區(qū)域進(jìn)行劃分或者按照檢測到的關(guān)鍵點(diǎn)的個(gè)數(shù)進(jìn)行平均劃分等方式進(jìn)行。
通過上述方式可以確定劃分區(qū)域,隨后,可以確定各劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)。
最后,分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
例如,首先,確定車輛的行進(jìn)方向上的障礙物為貨車A;接著,檢測貨車A所在的圖像區(qū)域,并將貨車A所在的圖像區(qū)域通過加框方式進(jìn)行框選;隨后,將框選的區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)為18個(gè)、18個(gè)、7個(gè)、15個(gè)、19個(gè)、18個(gè)、14個(gè)、20個(gè)、21個(gè);接著,分別對九塊劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,得到九個(gè)離散的質(zhì)心;最后,確定九個(gè)離散的質(zhì)心之間的相互距離,并基于九個(gè)離散的質(zhì)心之間的相互距離確定障礙物的第一質(zhì)心相對距離。其中,第一質(zhì)心相對距離是基于障礙物上的關(guān)鍵點(diǎn)計(jì)算確定的,在實(shí)際物理意義中,它可以表征由障礙物中的關(guān)鍵點(diǎn)連接后所圍成的障礙物的線段的長度。
需要說明的是,根據(jù)上述方法可以確定劃分區(qū)域中的關(guān)鍵點(diǎn),但是,確定的關(guān)鍵點(diǎn)個(gè)數(shù)偏多,不利于后續(xù)針對關(guān)鍵點(diǎn)的相關(guān)計(jì)算操作,因此,下面將會(huì)介紹可以優(yōu)選出劃分區(qū)域中的關(guān)鍵點(diǎn)的方法,從而減少針對關(guān)鍵點(diǎn)的運(yùn)算量的開銷。
優(yōu)選地,分別確定劃分區(qū)域中的關(guān)鍵點(diǎn)的步驟具體包括:選取各劃分區(qū)域中的預(yù)定數(shù)量的關(guān)鍵點(diǎn);其中,分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算的步驟進(jìn)一步包括:分別對劃分區(qū)域中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
例如,將框選的障礙物的圖像所在區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)為18個(gè)、18個(gè)、7個(gè)、15個(gè)、19個(gè)、18個(gè)、14個(gè)、20個(gè)、21個(gè);接著,選取各劃分區(qū)域中的九個(gè)的關(guān)鍵點(diǎn)作為后續(xù)需要進(jìn)行計(jì)算操作的關(guān)鍵點(diǎn),需要說明的是,九塊劃分區(qū)域中的一塊劃分區(qū)域只存在七個(gè)關(guān)鍵點(diǎn),因此,對于不足九個(gè)關(guān)鍵點(diǎn)的劃分區(qū)域,選取其中所有的關(guān)鍵作為后續(xù)進(jìn)行計(jì)算操作的關(guān)鍵點(diǎn);最后,分別對劃分區(qū)域中已選取的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
步驟S130:基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像。
需要說明的是,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像,獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差一般被設(shè)置為較小的數(shù)值,例如第二行車圖像信息是在獲取到第一行車圖像信息之后的一幀或者N幀獲取到的。由于獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差較小,所以第二行車圖像信息較第一行車圖像信息的變化不會(huì)很大,故而可以基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,以確定第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)相對于第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)的變化趨向。
其中,可以通過圖像跟蹤算法進(jìn)行關(guān)鍵點(diǎn)的跟蹤操作,其中,圖像跟蹤算法包括但不限于粒子濾波算法、MeanShift算法以及KLT(Kanade Lucas Tomasi)算法。在本發(fā)明方案中優(yōu)選KLT算法,該算法基于空間運(yùn)動(dòng)物體在圖像信息中的像素點(diǎn)運(yùn)動(dòng)的瞬時(shí)速度,利用圖像序列中的像素點(diǎn)在時(shí)間域上的變化以及相鄰圖像信息之間的相關(guān)性來確定第一行車圖像信息跟第二行車圖像信息之間存在的對應(yīng)關(guān)系,從而計(jì)算出相鄰圖像信息之間的運(yùn)動(dòng)物體的運(yùn)動(dòng)相關(guān)信息。該算法可以分為三類:
(1)基于區(qū)域或者基于特征的匹配方法;
(2)基于頻域的方法;
(3)基于梯度的方法。
簡單來說,KLT算法研究的是利用圖像序列中的像素點(diǎn)的強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來確定各像素點(diǎn)位置的移動(dòng)。
應(yīng)用KLT算法的前提假設(shè)包括:
(1)相鄰圖像信息之間的亮度恒定;
(2)相鄰圖像信息的獲取時(shí)間連續(xù),或者相鄰圖像信息之間運(yùn)動(dòng)物體的運(yùn)動(dòng)范圍微小;
(3)相鄰圖像信息中的空間保持一致性,即相鄰圖像信息的像素點(diǎn)具有相同的運(yùn)動(dòng)。
優(yōu)選地,基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤的步驟包括步驟S131和步驟S132:步驟S131:基于第一行車圖像信息中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn),通過預(yù)定的圖像跟蹤算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;步驟S132:將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn);其中,根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離的步驟進(jìn)一步包括:根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離。
例如,將框選的障礙物所在的第一行車圖像信息中的區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的預(yù)定數(shù)量的關(guān)鍵點(diǎn)的個(gè)數(shù)為9個(gè)、9個(gè)、7個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè);接著,通過KLT算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;隨后,將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn),需要說明的是,跟蹤值的大小表征了關(guān)鍵點(diǎn)在跟蹤過程中對圖像跟蹤算法響應(yīng)的程度,在本發(fā)明方案中,可以選取響應(yīng)的程度較大的關(guān)鍵點(diǎn)作為待跟蹤關(guān)鍵點(diǎn),以便獲得更優(yōu)的跟蹤效果。
優(yōu)選地,根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離的步驟包括:針對各劃分區(qū)域,對待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前預(yù)定數(shù)量的關(guān)鍵點(diǎn);分別基于各劃分區(qū)域中的提取到的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)質(zhì)心計(jì)算結(jié)果確定障礙物的第二質(zhì)心相對距離。
例如,將框選的障礙物所在的第一行車圖像信息中的區(qū)域平均劃分成九塊,依次分別根據(jù)關(guān)鍵點(diǎn)相應(yīng)的跟蹤值確定的九塊劃分區(qū)域內(nèi)的待跟蹤關(guān)鍵點(diǎn)的個(gè)數(shù)為7個(gè)、4個(gè)、3個(gè)、6個(gè)、8個(gè)、5個(gè)、5個(gè)、6個(gè)、9個(gè);接著,針對各劃分區(qū)域,對上述待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前三位的關(guān)鍵點(diǎn);最后,分別基于各劃分區(qū)域中的提取到的三個(gè)關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)計(jì)算確定的九個(gè)質(zhì)心確定障礙物的第二質(zhì)心相對距離。
步驟S140:根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作。
具體地,可以通過下述公式計(jì)算確定車輛預(yù)碰撞時(shí)間:
d(t+1)/d(t)=S; 公式(1)
Tm=Δ(t)/(s-1); 公式(2)
其中,d(t+1)表示第二質(zhì)心相對距離;d(t)表示第一質(zhì)心相對距離;Δ(t)表示獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差值;Tm表示車輛預(yù)碰撞時(shí)間。
當(dāng)然,還可以通過其他算法根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,對此本發(fā)明實(shí)施例不做限定。
優(yōu)選地,根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作的步驟具體包括:若判斷車輛預(yù)碰撞時(shí)間小于預(yù)定的預(yù)警時(shí)間閾值,則進(jìn)行碰撞預(yù)警操作。
例如,確定車輛預(yù)碰撞時(shí)間為10s,判斷車輛預(yù)碰撞時(shí)間是否小于預(yù)定的預(yù)警時(shí)間閾值15s;接著,判斷車輛預(yù)碰撞時(shí)間10s小于預(yù)定的預(yù)警時(shí)間閾值15s,車輛即將發(fā)生碰撞,因此,進(jìn)行碰撞預(yù)警操作,以提示駕駛員提前進(jìn)行車輛減速或剎車從而保障人身安全。
需要說明的是,第一行車圖像信息可以是實(shí)時(shí)獲取的視頻錄像的第一幀圖像,第二行車圖像信息則可以是該視頻錄像的第二幀圖像,當(dāng)然,在實(shí)際應(yīng)用中,第二行車圖像信息只需是在第一行車圖像信息之后獲取的圖像即可。進(jìn)一步地,還可以獲取第三行車圖像信息,該圖像信息是在第二行車圖像信息之后獲取的,因此,檢測用于在第三行車圖像信息中跟蹤相應(yīng)的關(guān)鍵點(diǎn)的處于第二行車圖像信息中的關(guān)鍵點(diǎn)時(shí),首先,可以確定第二行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)與第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo),判斷第二行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)與第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)的差值是否在預(yù)定的位置差值范圍內(nèi),若是,只保留其中任一關(guān)鍵點(diǎn),以去重相似位置的關(guān)鍵點(diǎn),從而節(jié)省對相似關(guān)鍵點(diǎn)進(jìn)行跟蹤運(yùn)算的開銷。
本發(fā)明的技術(shù)方案解決了如何能夠可靠且實(shí)時(shí)地對可能即將發(fā)生車輛碰撞事故進(jìn)行預(yù)警操作的問題。其中,若判斷第一行車圖像信息中的車輛行進(jìn)方向上存在障礙物,則基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離,通過上述操作步驟可以確定障礙物的關(guān)鍵點(diǎn)連接后的線段長度;基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,通過上述步驟相應(yīng)地可以確定運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度;根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作,將運(yùn)動(dòng)前與運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度進(jìn)行比較以判斷本車與障礙物的相對距離。根據(jù)上述方法判斷確定的本車與障礙物的相對距離精準(zhǔn)度較高,故而根據(jù)相對距離確定的車輛預(yù)碰撞時(shí)間亦精準(zhǔn)度較高,因此可以提高對即將發(fā)生車輛碰撞情況的預(yù)警操作的準(zhǔn)確率。另外,本發(fā)明方案采用的算法復(fù)雜度較低,從而終端設(shè)備硬件設(shè)備可支持實(shí)時(shí)計(jì)算處理,進(jìn)而為駕駛員的人身安全提供了可靠的保障。
圖2為本發(fā)明另一實(shí)施例的車輛碰撞的預(yù)警裝置的結(jié)構(gòu)示意圖。
判斷模塊110判斷第一行車圖像信息中的車輛行進(jìn)方向上是否存在障礙物。
其中,第一行車圖像信息可以通過車載視頻捕獲裝置來進(jìn)行獲取,其中,車載視頻捕獲裝置可以是行車記錄儀、360度全景攝像頭等裝置。
優(yōu)選地,判斷模塊110包括障礙物檢測單元、位置確定單元和檢測及判斷單元:障礙物檢測單元檢測第一行車圖像信息中是否存在障礙物;位置確定單元當(dāng)檢測第一行車圖像信息中存在障礙物時(shí),確定障礙物的位置;檢測及判斷單元基于第一行車圖像信息來檢測車輛的行進(jìn)方向,并根據(jù)檢測結(jié)果判斷障礙物的位置是否處于車輛的行進(jìn)方向上。
其中,檢測及判斷單元進(jìn)一步用于判斷第一行車圖像信息中是否存在車道線;若存在,則確定上述車道線的延伸方向;根據(jù)車道線的延伸方向來確定車輛的行進(jìn)方向。需要說明的是,現(xiàn)有技術(shù)中包括多種檢測車輛的行進(jìn)方向的方法及裝置,本發(fā)明在此不再贅述。。
檢測模塊220當(dāng)判斷第一行車圖像信息中的車輛行進(jìn)方向上存在障礙物時(shí),基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離。
優(yōu)選地,關(guān)鍵點(diǎn)包括但不限于FAST、ORB和Harris特征點(diǎn)。
其中,F(xiàn)AST特征點(diǎn)是基于選取的任一像素點(diǎn)周圍的圖像灰度值來確定的,首先,可以檢測選取的任一像素點(diǎn)周圍區(qū)域的像素點(diǎn)的灰度值,若選取的任一像素點(diǎn)的周圍區(qū)域中存在與選取的任一像素點(diǎn)的灰度值差值大于預(yù)定差值閾值且存在與選取的任一像素點(diǎn)的灰度值差值大于預(yù)定灰度值差值的像素點(diǎn)的數(shù)量大于預(yù)定數(shù)量的像素點(diǎn),則確定選取的任一像素點(diǎn)為一個(gè)FAST特征點(diǎn)。
Harris特征點(diǎn)亦可以稱作角點(diǎn),對角點(diǎn)的識別通常是在一個(gè)局部的區(qū)域或窗口完成的。如果在圖像信息中的各個(gè)方向上移動(dòng)預(yù)定的窗口,預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較大,就可以確定在預(yù)定的窗口內(nèi)存在角點(diǎn);如果這個(gè)預(yù)定的窗口在圖像信息的各個(gè)方向上移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較小,就可以確定預(yù)定的窗口內(nèi)不存在角點(diǎn);如果預(yù)定的窗口在圖像信息中的某一方向移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較大,而在該圖像信息中的另一些方向上移動(dòng)時(shí),預(yù)定的窗口內(nèi)的圖像信息的灰度值變化較小,則可以確定預(yù)定的窗口內(nèi)的圖像信息是一條線段。
ORB特征點(diǎn)是基于上述兩種特征點(diǎn)獲取的,它是從FAST特征點(diǎn)中選取出與FAST特征點(diǎn)相應(yīng)的Harris特征點(diǎn)的相關(guān)響應(yīng)值由大到小排序靠前的預(yù)定位數(shù)的特征點(diǎn)。
需要說明的是,通過檢測上述FAST、ORB和Harris等特征點(diǎn)來確定障礙物在第一行車圖像信息中的關(guān)鍵點(diǎn),以備后續(xù)通過相關(guān)圖像跟蹤算法對這些關(guān)鍵點(diǎn)進(jìn)行跟蹤。
優(yōu)選地,檢測模塊220包括區(qū)域劃分單元和距離計(jì)算單元:區(qū)域劃分單元將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分,并分別確定劃分區(qū)域中的關(guān)鍵點(diǎn);距離計(jì)算單元分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
更優(yōu)選地,區(qū)域劃分單元具體用于將檢測到的關(guān)鍵點(diǎn)按照障礙物所在的圖像區(qū)域進(jìn)行劃分。
具體地,首先,檢測障礙物所在的圖像區(qū)域,并將障礙物所在的圖像區(qū)域通過加框方式進(jìn)行框選;接著,將框選的區(qū)域進(jìn)行劃分,其中,可以按照框選區(qū)域的面積進(jìn)行均勻劃分,也可以非均勻劃分,對此本發(fā)明實(shí)施例不做限定。除上述方式之外,將檢測到的關(guān)鍵點(diǎn)按照預(yù)定的劃分規(guī)則進(jìn)行劃分的操作方式還可以通過按照檢測到的關(guān)鍵點(diǎn)聚集的區(qū)域進(jìn)行劃分或者按照檢測到的關(guān)鍵點(diǎn)的個(gè)數(shù)進(jìn)行平均劃分等方式執(zhí)行。
通過區(qū)域劃分單元可以確定劃分區(qū)域,隨后,可以確定各劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)。
最后,距離計(jì)算單元分別對劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)多個(gè)質(zhì)心計(jì)算結(jié)果確定障礙物的第一質(zhì)心相對距離。
例如,首先,確定車輛的行進(jìn)方向上的障礙物為貨車A;接著,檢測貨車A所在的圖像區(qū)域,并將貨車A所在的圖像區(qū)域通過加框方式進(jìn)行框選;隨后,將框選的區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)為18個(gè)、18個(gè)、7個(gè)、15個(gè)、19個(gè)、18個(gè)、14個(gè)、20個(gè)、21個(gè);接著,分別對九塊劃分區(qū)域中的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,得到九個(gè)離散的質(zhì)心;最后,確定九個(gè)離散的質(zhì)心之間的相互距離,并基于九個(gè)離散的質(zhì)心之間的相互距離確定障礙物的第一質(zhì)心相對距離。其中,第一質(zhì)心相對距離是基于障礙物上的關(guān)鍵點(diǎn)計(jì)算確定的,在實(shí)際物理意義中,它可以表征由障礙物中的關(guān)鍵點(diǎn)連接后所圍成的障礙物的線段的長度。
需要說明的是,根據(jù)上述裝置可以確定劃分區(qū)域中的關(guān)鍵點(diǎn),但是,確定的關(guān)鍵點(diǎn)個(gè)數(shù)偏多,不利于后續(xù)針對關(guān)鍵點(diǎn)的相關(guān)計(jì)算操作,因此,下面將會(huì)介紹可以用于優(yōu)選出劃分區(qū)域中的關(guān)鍵點(diǎn)的裝置,以減少針對關(guān)鍵點(diǎn)的運(yùn)算量的開銷。
優(yōu)選地,區(qū)域劃分單元具體用于選取各劃分區(qū)域中的預(yù)定數(shù)量的關(guān)鍵點(diǎn);其中,距離計(jì)算單元具體用于分別對劃分區(qū)域中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
例如,將框選的障礙物的圖像所在區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的關(guān)鍵點(diǎn)為18個(gè)、18個(gè)、7個(gè)、15個(gè)、19個(gè)、18個(gè)、14個(gè)、20個(gè)、21個(gè);接著,選取各劃分區(qū)域中的九個(gè)的關(guān)鍵點(diǎn)作為后續(xù)需要進(jìn)行計(jì)算操作的關(guān)鍵點(diǎn),需要說明的是,九塊劃分區(qū)域中的一塊劃分區(qū)域只存在七個(gè)關(guān)鍵點(diǎn),因此,對于不足九個(gè)關(guān)鍵點(diǎn)的劃分區(qū)域,選取其中所有的關(guān)鍵作為后續(xù)進(jìn)行計(jì)算操作的關(guān)鍵點(diǎn);最后,分別對劃分區(qū)域中已選取的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算。
跟蹤模塊230基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像。
需要說明的是,第二行車圖像信息為第一行車圖像信息之后獲取到的圖像,獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差一般被設(shè)置為較小的數(shù)值,例如第二行車圖像信息是在獲取到第一行車圖像信息之后的一幀或者N幀獲取到的。由于獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差較小,所以第二行車圖像信息較第一行車圖像信息的變化不會(huì)很大,故而可以基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,以確定第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)相對于第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)的變化趨向。
其中,可以通過圖像跟蹤算法進(jìn)行關(guān)鍵點(diǎn)的跟蹤操作,其中,圖像跟蹤算法包括但不限于粒子濾波算法、MeanShift算法以及KLT(Kanade Lucas Tomasi)算法。在本發(fā)明方案中優(yōu)選KLT算法,該算法基于空間運(yùn)動(dòng)物體在圖像信息中的像素點(diǎn)運(yùn)動(dòng)的瞬時(shí)速度,利用圖像序列中的像素點(diǎn)在時(shí)間域上的變化以及相鄰圖像信息之間的相關(guān)性來確定第一行車圖像信息跟第二行車圖像信息之間存在的對應(yīng)關(guān)系,從而計(jì)算出相鄰圖像信息之間的運(yùn)動(dòng)物體的運(yùn)動(dòng)相關(guān)信息。該算法可以分為三類:
(1)基于區(qū)域或者基于特征的匹配方法;
(2)基于頻域的方法;
(3)基于梯度的方法。
簡單來說,KLT算法研究的是利用圖像序列中的像素點(diǎn)的強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來確定各像素點(diǎn)位置的移動(dòng)。
應(yīng)用KLT算法的前提假設(shè)包括:
(1)相鄰圖像信息之間的亮度恒定;
(2)相鄰圖像信息的獲取時(shí)間連續(xù),或者相鄰圖像信息之間運(yùn)動(dòng)物體的運(yùn)動(dòng)范圍微??;
(3)相鄰圖像信息中的空間保持一致性,即相鄰圖像信息的像素點(diǎn)具有相同的運(yùn)動(dòng)。
優(yōu)選地,跟蹤模塊230包括跟蹤值計(jì)算單元、關(guān)鍵點(diǎn)確定單元和距離確定單元:跟蹤值計(jì)算單元基于第一行車圖像信息中已選取的預(yù)定數(shù)量的關(guān)鍵點(diǎn),通過預(yù)定的圖像跟蹤算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;關(guān)鍵點(diǎn)確定單元將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn);距離確定單元根據(jù)待跟蹤關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離。
例如,將框選的障礙物所在的第一行車圖像信息中的區(qū)域平均劃分成九塊,依次分別確定九塊劃分區(qū)域內(nèi)的預(yù)定數(shù)量的關(guān)鍵點(diǎn)的個(gè)數(shù)為9個(gè)、9個(gè)、7個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè)、9個(gè);接著,通過KLT算法對第二行車圖像信息中相應(yīng)的關(guān)鍵點(diǎn)進(jìn)行跟蹤值計(jì)算;隨后,將跟蹤值大于預(yù)定跟蹤閾值對應(yīng)的關(guān)鍵點(diǎn)確定為待跟蹤關(guān)鍵點(diǎn),需要說明的是,跟蹤值的大小表征了關(guān)鍵點(diǎn)在跟蹤過程中對圖像跟蹤算法響應(yīng)的程度,在本發(fā)明方案中,可以選取響應(yīng)的程度較大的關(guān)鍵點(diǎn)作為待跟蹤關(guān)鍵點(diǎn),以便獲得更優(yōu)的跟蹤效果。
優(yōu)選地,距離確定單元包括關(guān)鍵點(diǎn)提取子單元、距離確定子單元:關(guān)鍵點(diǎn)提取子單元針對各劃分區(qū)域,對待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前預(yù)定數(shù)量的關(guān)鍵點(diǎn);距離確定子單元分別基于各劃分區(qū)域中的提取到的關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)質(zhì)心計(jì)算結(jié)果確定障礙物的第二質(zhì)心相對距離。
例如,將框選的障礙物所在的第一行車圖像信息中的區(qū)域平均劃分成九塊,依次分別根據(jù)關(guān)鍵點(diǎn)相應(yīng)的跟蹤值確定的九塊劃分區(qū)域內(nèi)的待跟蹤關(guān)鍵點(diǎn)的個(gè)數(shù)為7個(gè)、4個(gè)、3個(gè)、6個(gè)、8個(gè)、5個(gè)、5個(gè)、6個(gè)、9個(gè);接著,針對各劃分區(qū)域,對上述待跟蹤關(guān)鍵點(diǎn)相應(yīng)的跟蹤值進(jìn)行排序,并提取各劃分區(qū)域中排序前三位的關(guān)鍵點(diǎn);最后,分別基于各劃分區(qū)域中的提取到的三個(gè)關(guān)鍵點(diǎn)進(jìn)行質(zhì)心計(jì)算,并根據(jù)計(jì)算確定的九個(gè)質(zhì)心確定障礙物的第二質(zhì)心相對距離。
預(yù)警模塊240根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作。
具體地,可以通過下述公式計(jì)算確定車輛預(yù)碰撞時(shí)間:
d(t+1)/d(t)=S; 公式(1)
Tm=Δ(t)/(s-1); 公式(2)
其中,d(t+1)表示第二質(zhì)心相對距離;d(t)表示第一質(zhì)心相對距離;Δ(t)表示獲取第二行車圖像信息與第一行車圖像信息之間間隔的時(shí)間差值;Tm表示車輛預(yù)碰撞時(shí)間。
當(dāng)然,還可以通過其他算法根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,對此本發(fā)明實(shí)施例不做限定。
優(yōu)選地,預(yù)警模塊240具體用于當(dāng)判斷車輛預(yù)碰撞時(shí)間小于預(yù)定的預(yù)警時(shí)間閾值時(shí),進(jìn)行碰撞預(yù)警操作。
例如,確定車輛預(yù)碰撞時(shí)間為10s,判斷車輛預(yù)碰撞時(shí)間是否小于預(yù)定的預(yù)警時(shí)間閾值15s;接著,判斷車輛預(yù)碰撞時(shí)間10s小于預(yù)定的預(yù)警時(shí)間閾值15s,車輛即將發(fā)生碰撞,因此,進(jìn)行碰撞預(yù)警操作,以提示駕駛員提前進(jìn)行車輛減速或剎車從而保障人身安全。
需要說明的是,第一行車圖像信息可以是實(shí)時(shí)獲取的視頻錄像的第一幀圖像,第二行車圖像信息則可以是該視頻錄像的第二幀圖像,當(dāng)然,在實(shí)際應(yīng)用中,第二行車圖像信息只需是在第一行車圖像信息之后獲取的圖像即可。進(jìn)一步地,本發(fā)明實(shí)施例還包括去重模塊,該模塊用于獲取第三行車圖像信息,該圖像信息是在第二行車圖像信息之后獲取的,因此,檢測用于在第三行車圖像信息中跟蹤相應(yīng)的關(guān)鍵點(diǎn)的處于第二行車圖像信息中的關(guān)鍵點(diǎn)時(shí),首先,可以確定第二行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)與第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo),判斷第二行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)與第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)的位置坐標(biāo)的差值是否在預(yù)定的位置差值范圍內(nèi),若是,只保留其中任一關(guān)鍵點(diǎn),以去重相似位置的關(guān)鍵點(diǎn),從而節(jié)省對相似關(guān)鍵點(diǎn)進(jìn)行跟蹤運(yùn)算的開銷。
本發(fā)明的技術(shù)方案解決了如何能夠可靠且實(shí)時(shí)地對可能即將發(fā)生車輛碰撞事故進(jìn)行預(yù)警操作的問題。其中,若判斷第一行車圖像信息中的車輛行進(jìn)方向上存在障礙物,則基于第一行車圖像信息對障礙物進(jìn)行關(guān)鍵點(diǎn)檢測,并根據(jù)檢測到的關(guān)鍵點(diǎn)確定障礙物的第一質(zhì)心相對距離,通過上述操作步驟可以確定障礙物的關(guān)鍵點(diǎn)連接后的線段長度;基于第一行車圖像信息中檢測到的關(guān)鍵點(diǎn)對第二行車圖像信息進(jìn)行跟蹤,并根據(jù)跟蹤確定的在第二行車圖像信息中相應(yīng)關(guān)鍵點(diǎn)來確定障礙物的第二質(zhì)心相對距離,通過上述步驟相應(yīng)地可以確定運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度;根據(jù)第一質(zhì)心相對距離和第二質(zhì)心相對距離計(jì)算確定車輛預(yù)碰撞時(shí)間,并根據(jù)車輛預(yù)碰撞時(shí)間進(jìn)行碰撞預(yù)警操作,將運(yùn)動(dòng)前與運(yùn)動(dòng)后障礙物的關(guān)鍵點(diǎn)連接后的線段長度進(jìn)行比較以判斷本車與障礙物的相對距離。根據(jù)上述方法判斷確定的本車與障礙物的相對距離精準(zhǔn)度較高,故而根據(jù)相對距離確定的車輛預(yù)碰撞時(shí)間亦精準(zhǔn)度較高,因此可以提高對即將發(fā)生車輛碰撞情況的預(yù)警操作的準(zhǔn)確率。另外,本發(fā)明方案采用的算法復(fù)雜度較低,從而終端設(shè)備硬件設(shè)備可支持實(shí)時(shí)計(jì)算處理,進(jìn)而為駕駛員的人身安全提供了可靠的保障。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,本發(fā)明包括涉及用于執(zhí)行本申請中所述操作中的一項(xiàng)或多項(xiàng)的設(shè)備。這些設(shè)備可以為所需的目的而專門設(shè)計(jì)和制造,或者也可以包括通用計(jì)算機(jī)中的已知設(shè)備。這些設(shè)備具有存儲(chǔ)在其內(nèi)的計(jì)算機(jī)程序,這些計(jì)算機(jī)程序選擇性地激活或重構(gòu)。這樣的計(jì)算機(jī)程序可以被存儲(chǔ)在設(shè)備(例如,計(jì)算機(jī))可讀介質(zhì)中或者存儲(chǔ)在適于存儲(chǔ)電子指令并分別耦聯(lián)到總線的任何類型的介質(zhì)中,所述計(jì)算機(jī)可讀介質(zhì)包括但不限于任何類型的盤(包括軟盤、硬盤、光盤、CD-ROM、和磁光盤)、ROM(Read-Only Memory,只讀存儲(chǔ)器)、RAM(Random Access Memory,隨即存儲(chǔ)器)、EPROM(Erasable Programmable Read-Only Memory,可擦寫可編程只讀存儲(chǔ)器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,電可擦可編程只讀存儲(chǔ)器)、閃存、磁性卡片或光線卡片。也就是,可讀介質(zhì)包括由設(shè)備(例如,計(jì)算機(jī))以能夠讀的形式存儲(chǔ)或傳輸信息的任何介質(zhì)。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,可以用計(jì)算機(jī)程序指令來實(shí)現(xiàn)這些結(jié)構(gòu)圖和/或框圖和/或流圖中的每個(gè)框以及這些結(jié)構(gòu)圖和/或框圖和/或流圖中的框的組合。本技術(shù)領(lǐng)域技術(shù)人員可以理解,可以將這些計(jì)算機(jī)程序指令提供給通用計(jì)算機(jī)、專業(yè)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來實(shí)現(xiàn),從而通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來執(zhí)行本發(fā)明公開的結(jié)構(gòu)圖和/或框圖和/或流圖的框或多個(gè)框中指定的方案。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,本發(fā)明中已經(jīng)討論過的各種操作、方法、流程中的步驟、措施、方案可以被交替、更改、組合或刪除。進(jìn)一步地,具有本發(fā)明中已經(jīng)討論過的各種操作、方法、流程中的其他步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。進(jìn)一步地,現(xiàn)有技術(shù)中的具有與本發(fā)明中公開的各種操作、方法、流程中的步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。
以上所述僅是本發(fā)明的部分實(shí)施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。