1.本公開(kāi)的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域,具體涉及數(shù)據(jù)在線標(biāo)定方法、裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。
背景技術(shù):2.隨著自動(dòng)駕駛技術(shù)的發(fā)展,車(chē)載相機(jī)和激光雷達(dá)對(duì)于自動(dòng)駕駛越來(lái)越重要,車(chē)載相機(jī)和激光雷達(dá)之間的數(shù)據(jù)精度要求也越來(lái)越高。目前,在進(jìn)行數(shù)據(jù)標(biāo)定時(shí),通常采用的方式為:對(duì)車(chē)載相機(jī)所拍攝的道路圖像的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)的時(shí)間之間的進(jìn)行離線標(biāo)定,使得道路圖像生成的時(shí)間和點(diǎn)云數(shù)據(jù)生成的時(shí)間相同,以完成數(shù)據(jù)標(biāo)定。
3.然而,當(dāng)采用上述方式進(jìn)行數(shù)據(jù)在線標(biāo)定時(shí),經(jīng)常會(huì)存在如下技術(shù)問(wèn)題:
4.隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn),從而,導(dǎo)致從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差,進(jìn)而,會(huì)降低自動(dòng)駕駛的識(shí)別能力(例如,會(huì)降低車(chē)道線識(shí)別的準(zhǔn)確度),使得降低駕駛安全。
技術(shù)實(shí)現(xiàn)要素:5.本公開(kāi)的內(nèi)容部分用于以簡(jiǎn)要的形式介紹構(gòu)思,這些構(gòu)思將在后面的具體實(shí)施方式部分被詳細(xì)描述。本公開(kāi)的內(nèi)容部分并不旨在標(biāo)識(shí)要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征,也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。
6.本公開(kāi)的一些實(shí)施例提出了數(shù)據(jù)在線標(biāo)定方法、裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì),來(lái)解決以上背景技術(shù)部分提到的技術(shù)問(wèn)題。
7.第一方面,本公開(kāi)的一些實(shí)施例提供了一種數(shù)據(jù)在線標(biāo)定方法,該方法包括:獲取道路圖像和點(diǎn)云數(shù)據(jù)組,以及確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件,其中,上述道路圖像是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的;響應(yīng)于確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組;對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組;基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,生成標(biāo)定時(shí)間差;利用上述標(biāo)定時(shí)間差,對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成數(shù)據(jù)在線標(biāo)定。
8.第二方面,本公開(kāi)的一些實(shí)施例提供了一種障礙物信息生成裝置,該裝置包括:獲取單元,被配置成獲取道路圖像和點(diǎn)云數(shù)據(jù)組,以及確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件,其中,上述道路圖像是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的;提取單元,被配置成響應(yīng)于確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組;反投影單元,被配置成對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組;生成單元,被配置成基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,生成標(biāo)定
時(shí)間差;標(biāo)定單元,被配置成利用上述標(biāo)定時(shí)間差,對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成數(shù)據(jù)在線標(biāo)定。
9.第三方面,本公開(kāi)的一些實(shí)施例提供了一種電子設(shè)備,包括:一個(gè)或多個(gè)處理器;存儲(chǔ)裝置,其上存儲(chǔ)有一個(gè)或多個(gè)程序,當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行,使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述第一方面任一實(shí)現(xiàn)方式所描述的方法。
10.第四方面,本公開(kāi)的一些實(shí)施例提供了一種計(jì)算機(jī)可讀介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其中,程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面任一實(shí)現(xiàn)方式所描述的方法。
11.本公開(kāi)的上述各個(gè)實(shí)施例具有如下有益效果:通過(guò)本公開(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法,可以在線標(biāo)定,降低從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。具體來(lái)說(shuō),造成從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差的原因在于:隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn)?;诖耍竟_(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法,通過(guò)生成標(biāo)定時(shí)間差,可以確定從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。由此,可以消除隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加所造成的誤差。也因?yàn)檫M(jìn)行了數(shù)據(jù)在線標(biāo)定,可以在車(chē)輛行進(jìn)的過(guò)程中,提高圖像特征點(diǎn)與點(diǎn)云數(shù)據(jù)之間對(duì)應(yīng)關(guān)系的準(zhǔn)確度,得到對(duì)應(yīng)關(guān)系更加精準(zhǔn)的標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組。從而,可以從提高數(shù)據(jù)對(duì)應(yīng)關(guān)系準(zhǔn)確度的方面提高自動(dòng)駕駛的識(shí)別能力。進(jìn)而,可以提高駕駛安全。
附圖說(shuō)明
12.結(jié)合附圖并參考以下具體實(shí)施方式,本公開(kāi)各實(shí)施例的上述和其他特征、優(yōu)點(diǎn)及方面將變得更加明顯。貫穿附圖中,相同或相似的附圖標(biāo)記表示相同或相似的元素。應(yīng)當(dāng)理解附圖是示意性的,元件和元素不一定按照比例繪制。
13.圖1是本公開(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法的一個(gè)應(yīng)用場(chǎng)景的示意圖;
14.圖2是根據(jù)本公開(kāi)的數(shù)據(jù)在線標(biāo)定方法的一些實(shí)施例的流程圖;
15.圖3是根據(jù)本公開(kāi)的數(shù)據(jù)在線標(biāo)定方法的另一些實(shí)施例的流程圖;
16.圖4是根據(jù)本公開(kāi)的數(shù)據(jù)在線標(biāo)定裝置的一些實(shí)施例的結(jié)構(gòu)示意圖;
17.圖5是適于用來(lái)實(shí)現(xiàn)本公開(kāi)的一些實(shí)施例的電子設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
18.下面將參照附圖更詳細(xì)地描述本公開(kāi)的實(shí)施例。雖然附圖中顯示了本公開(kāi)的某些實(shí)施例,然而應(yīng)當(dāng)理解的是,本公開(kāi)可以通過(guò)各種形式來(lái)實(shí)現(xiàn),而且不應(yīng)該被解釋為限于這里闡述的實(shí)施例。相反,提供這些實(shí)施例是為了更加透徹和完整地理解本公開(kāi)。應(yīng)當(dāng)理解的是,本公開(kāi)的附圖及實(shí)施例僅用于示例性作用,并非用于限制本公開(kāi)的保護(hù)范圍。
19.另外還需要說(shuō)明的是,為了便于描述,附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。在不沖突的情況下,本公開(kāi)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
20.需要注意,本公開(kāi)中提及的“第一”、“第二”等概念僅用于對(duì)不同的裝置、模塊或單元進(jìn)行區(qū)分,并非用于限定這些裝置、模塊或單元所執(zhí)行的功能的順序或者相互依存關(guān)系。
21.需要注意,本公開(kāi)中提及的“一個(gè)”、“多個(gè)”的修飾是示意性而非限制性的,本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,除非在上下文另有明確指出,否則應(yīng)該理解為“一個(gè)或多個(gè)”。
22.本公開(kāi)實(shí)施方式中的多個(gè)裝置之間所交互的消息或者信息的名稱(chēng)僅用于說(shuō)明性的目的,而并不是用于對(duì)這些消息或信息的范圍進(jìn)行限制。
23.下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本公開(kāi)。
24.圖1是本公開(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法的一個(gè)應(yīng)用場(chǎng)景的示意圖。
25.在圖1的應(yīng)用場(chǎng)景中,首先,計(jì)算設(shè)備101可以獲取道路圖像102和點(diǎn)云數(shù)據(jù)組103,以及確定上述道路圖像102或上述點(diǎn)云數(shù)據(jù)組103是否滿足預(yù)設(shè)道路條件,其中,上述道路圖像102是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組103是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的。接著,計(jì)算設(shè)備101可以響應(yīng)于確定上述道路圖像102或上述點(diǎn)云數(shù)據(jù)組103滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像102進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組104。然后,計(jì)算設(shè)備101可以對(duì)上述圖像特征點(diǎn)組104中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組105。之后,計(jì)算設(shè)備101可以基于上述反投影特征點(diǎn)組105和上述圖像特征點(diǎn)組104,生成標(biāo)定時(shí)間差106。最后,計(jì)算設(shè)備101可以利用上述標(biāo)定時(shí)間差106,對(duì)上述圖像特征點(diǎn)組104和上述點(diǎn)云數(shù)據(jù)組103進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組107和標(biāo)定后點(diǎn)云數(shù)據(jù)組108,以完成數(shù)據(jù)在線標(biāo)定。
26.需要說(shuō)明的是,上述計(jì)算設(shè)備101可以是硬件,也可以是軟件。當(dāng)計(jì)算設(shè)備為硬件時(shí),可以實(shí)現(xiàn)成多個(gè)服務(wù)器或終端設(shè)備組成的分布式集群,也可以實(shí)現(xiàn)成單個(gè)服務(wù)器或單個(gè)終端設(shè)備。當(dāng)計(jì)算設(shè)備體現(xiàn)為軟件時(shí),可以安裝在上述所列舉的硬件設(shè)備中。其可以實(shí)現(xiàn)成例如用來(lái)提供分布式服務(wù)的多個(gè)軟件或軟件模塊,也可以實(shí)現(xiàn)成單個(gè)軟件或軟件模塊。在此不做具體限定。
27.應(yīng)該理解,圖1中的計(jì)算設(shè)備的數(shù)目?jī)H僅是示意性的。根據(jù)實(shí)現(xiàn)需要,可以具有任意數(shù)目的計(jì)算設(shè)備。
28.繼續(xù)參考圖2,示出了根據(jù)本公開(kāi)的數(shù)據(jù)在線標(biāo)定方法的一些實(shí)施例的流程200。該數(shù)據(jù)在線標(biāo)定方法的流程200,包括以下步驟:
29.步驟201,獲取道路圖像和點(diǎn)云數(shù)據(jù)組,以及確定道路圖像或點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件。
30.在一些實(shí)施例中,數(shù)據(jù)在線標(biāo)定方法的執(zhí)行主體(如圖1所示的計(jì)算設(shè)備101)可以通過(guò)有線的方式或者無(wú)線的方式獲取道路圖像和點(diǎn)云數(shù)據(jù)組。以及確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件。其中,上述道路圖像可以是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組可以是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的。上述預(yù)設(shè)道路條件可以是道路圖像或點(diǎn)云數(shù)據(jù)組表征當(dāng)前車(chē)輛所在道路的車(chē)道線為虛線,且當(dāng)前車(chē)輛所在道路的曲率小于預(yù)設(shè)閾值。
31.實(shí)踐中,隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn)。使得從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。而車(chē)輛在運(yùn)動(dòng)中不能通過(guò)離線的方式進(jìn)行標(biāo)定。因此,通過(guò)本公開(kāi)的數(shù)據(jù)在線標(biāo)定的方式,可以在車(chē)輛運(yùn)動(dòng)過(guò)程中,一定程度上對(duì)從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在的誤差進(jìn)行矯正。
32.在一些實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述執(zhí)行主體確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件,可以包括以下步驟:
33.第一步,對(duì)上述點(diǎn)云數(shù)據(jù)組中的各個(gè)點(diǎn)云數(shù)據(jù)進(jìn)行篩選處理,得到篩選后點(diǎn)云數(shù)據(jù)組。其中,點(diǎn)云數(shù)據(jù)可以包括點(diǎn)云坐標(biāo)值和激光反射強(qiáng)度值??梢酝ㄟ^(guò)目標(biāo)提取算法,對(duì)上述點(diǎn)云數(shù)據(jù)組中的各個(gè)點(diǎn)云數(shù)據(jù)進(jìn)行篩選處理,得到篩選后點(diǎn)云數(shù)據(jù)組。上述目標(biāo)提取算法可以包括但不限于:隨機(jī)抽樣一致性算法。上述篩選處理可以用于初步篩選出點(diǎn)云數(shù)據(jù)組中表征地面的點(diǎn)云數(shù)據(jù)。
34.第二步,對(duì)上述篩選后點(diǎn)云數(shù)據(jù)組進(jìn)行目標(biāo)點(diǎn)云數(shù)據(jù)提取,得到目標(biāo)點(diǎn)云數(shù)據(jù)組。其中,可以從上述篩選后點(diǎn)云數(shù)據(jù)組中選出激光反射強(qiáng)度值處于預(yù)設(shè)激光反射強(qiáng)度區(qū)間的篩選后點(diǎn)云數(shù)據(jù),作為目標(biāo)點(diǎn)云數(shù)據(jù)。通過(guò)目標(biāo)點(diǎn)云數(shù)據(jù)提取,可以從篩選后點(diǎn)云數(shù)據(jù)組中,選出表征車(chē)道線的點(diǎn)云數(shù)據(jù)。即,上述目標(biāo)點(diǎn)云數(shù)據(jù)組中的目標(biāo)點(diǎn)云數(shù)據(jù)可以表征當(dāng)前車(chē)輛所在道路的車(chē)道線。
35.第三步,對(duì)上述目標(biāo)點(diǎn)云數(shù)據(jù)組中的各個(gè)目標(biāo)點(diǎn)云數(shù)據(jù)進(jìn)行車(chē)道線識(shí)別,得到車(chē)道線點(diǎn)云識(shí)別信息。其中,首先,可以對(duì)上述目標(biāo)點(diǎn)云數(shù)據(jù)組中的各個(gè)目標(biāo)點(diǎn)云數(shù)據(jù)進(jìn)行聚類(lèi)處理,得到聚類(lèi)點(diǎn)云數(shù)據(jù)組集合。然后,可以對(duì)上述聚類(lèi)點(diǎn)云數(shù)據(jù)組集合中每個(gè)聚類(lèi)點(diǎn)云數(shù)據(jù)組中的各個(gè)聚類(lèi)點(diǎn)云數(shù)據(jù)包括的點(diǎn)云坐標(biāo)值進(jìn)行曲線擬合以生成擬合車(chē)道線,得到擬合車(chē)道線組。之后,可以從上述擬合車(chē)道線組中選出與當(dāng)前車(chē)輛所在位置的橫向(即,與擬合車(chē)道線水平垂直的方向)距離值小于預(yù)設(shè)橫向距離值的擬合車(chē)道線,得到目標(biāo)擬合車(chē)道線組。由此,可以選出當(dāng)期車(chē)輛所在車(chē)道的車(chē)道線方程。最后,可以確定目標(biāo)擬合車(chē)道線組中是否存在目標(biāo)擬合車(chē)道線之間(例如在10米范圍內(nèi))的橫向距離值小于上述預(yù)設(shè)橫向距離值。若存在,則可以表示當(dāng)前車(chē)輛所在車(chē)道的車(chē)道線包括虛線。若不存在,則可以表示當(dāng)前車(chē)輛所在車(chē)道的車(chē)道線為實(shí)線。另外,在確定當(dāng)前車(chē)輛所在車(chē)道的車(chē)道線包括虛線后,可以確定目標(biāo)擬合車(chē)道線組中的目標(biāo)擬合車(chē)道線的曲率是否小于上述預(yù)設(shè)曲率閾值。由此,可以生成車(chē)道線點(diǎn)云識(shí)別信息。
36.作為示例,車(chē)道線點(diǎn)云識(shí)別信息可以包括車(chē)道線線型和車(chē)道線曲率信息。例如:“車(chē)道線線型為:虛線,車(chē)道線曲率信息為:車(chē)道線曲率小于預(yù)設(shè)曲率閾值”。從而,車(chē)道線點(diǎn)云識(shí)別信息可以表征當(dāng)前車(chē)輛所在道路的車(chē)道線為虛線,且當(dāng)前車(chē)輛所在道路的曲率小于預(yù)設(shè)閾值。
37.第四步,確定上述車(chē)道線點(diǎn)云識(shí)別信息是否滿足上述預(yù)設(shè)道路條件。其中,上述預(yù)設(shè)道路條件可以是道路圖像或點(diǎn)云數(shù)據(jù)組表征當(dāng)前車(chē)輛所在道路的車(chē)道線為虛線,且當(dāng)前車(chē)輛所在道路的曲率小于預(yù)設(shè)閾值。
38.作為示例,上述車(chē)道線點(diǎn)云識(shí)別信息若是:“車(chē)道線線型為:虛線,車(chē)道線曲率信息為:車(chē)道線曲率小于預(yù)設(shè)曲率閾值”。則可以確定上述車(chē)道線點(diǎn)云識(shí)別信息滿足上述預(yù)設(shè)道路條件。
39.步驟202,響應(yīng)于確定道路圖像或點(diǎn)云數(shù)據(jù)組滿足預(yù)設(shè)道路條件,對(duì)道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組。
40.在一些實(shí)施例中,上述執(zhí)行主體可以響應(yīng)于確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組??梢酝ㄟ^(guò)特征點(diǎn)提取算法,對(duì)上述道路圖像中車(chē)道線區(qū)域進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組。上述特
征點(diǎn)提取算法可以包括但不限于:sift(scale-invariant feature transform,尺度不變特征轉(zhuǎn)換)算法、基于模板的角點(diǎn)檢測(cè)算法等。
41.步驟203,對(duì)圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組。
42.在一些實(shí)施例中,上述執(zhí)行主體可以對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,通過(guò)各種方式得到反投影特征點(diǎn)組。
43.在一些實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述執(zhí)行主體對(duì)圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組,可以包括以下步驟:
44.第一步,基于預(yù)設(shè)的協(xié)方差數(shù)據(jù)組,生成第一平面系數(shù)和第二平面系數(shù)。其中,上述協(xié)方差數(shù)據(jù)組中的各個(gè)協(xié)方差數(shù)據(jù)可以用于表征上述篩選后點(diǎn)云數(shù)據(jù)組中各個(gè)篩選后點(diǎn)云數(shù)據(jù)的不確定度。協(xié)方差數(shù)據(jù)組中的各個(gè)協(xié)方差數(shù)據(jù)可以與上述篩選后點(diǎn)云數(shù)據(jù)組中的各個(gè)篩選后點(diǎn)云數(shù)據(jù)一一對(duì)應(yīng)。上述第一平面系數(shù)可以是平面方程的一次項(xiàng)系數(shù)。上述第二平面系數(shù)可以是上述平面方程的常數(shù)項(xiàng)。上述平面方程可以用于表征當(dāng)前車(chē)輛所在道路的平面??梢詫⑸鲜龊Y選后點(diǎn)云數(shù)據(jù)組中各個(gè)篩選后點(diǎn)云數(shù)據(jù)包括的點(diǎn)云坐標(biāo)值輸入至以下公式,生成第一平面系數(shù)和第二平面系數(shù):
[0045][0046]
其中,p表示第一平面系數(shù),第一平面系數(shù)可以為矩陣。d表示上述第二平面系數(shù)。x表示由上述篩選后點(diǎn)云數(shù)據(jù)組中的篩選后點(diǎn)云數(shù)據(jù)中點(diǎn)云坐標(biāo)值的橫坐標(biāo)值、縱坐標(biāo)值和豎坐標(biāo)值組成的3
×
1的矩陣。xi表示由上述篩選后點(diǎn)云數(shù)據(jù)組中的第i個(gè)篩選后點(diǎn)云數(shù)據(jù)的點(diǎn)云坐標(biāo)值中點(diǎn)云坐標(biāo)值的橫坐標(biāo)值、縱坐標(biāo)值和豎坐標(biāo)值組成的3
×
1的矩陣。t表示矩陣轉(zhuǎn)置。p
t
表示上述第一平面系數(shù)的矩陣轉(zhuǎn)置。q表示上述協(xié)方差數(shù)據(jù)組中與上述上述篩選后點(diǎn)云數(shù)據(jù)組中的篩選后點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的協(xié)方差數(shù)據(jù)。qi表示上述協(xié)方差數(shù)據(jù)組中與上述上述篩選后點(diǎn)云數(shù)據(jù)組中的第i個(gè)篩選后點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的協(xié)方差數(shù)據(jù)。l表示上述篩選后點(diǎn)云數(shù)據(jù)組。
[0047]
另外,上述公式可以通過(guò)線性優(yōu)化方法進(jìn)行求解,得到最小化的第一平面系數(shù)和第二平面系數(shù)。
[0048]
第二步,利用上述第一平面系數(shù)、上述第二平面系數(shù)和上述篩選后點(diǎn)云數(shù)據(jù)組,構(gòu)建平面方程。其中,可以將第一平面系數(shù)作為平面方程中一次項(xiàng)系數(shù),將第二平面系數(shù)作為平面方程的常數(shù)項(xiàng),構(gòu)建平面方程。
[0049]
第三步,利用上述平面方程和上述車(chē)載相機(jī)的內(nèi)參矩陣,對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組。其中,可以通過(guò)以下公式,對(duì)上述圖像特征點(diǎn)組中的每個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn):
[0050][0051]
其中,x
′
表示上述反投影特征點(diǎn)。λ表示等號(hào)右邊結(jié)果向量中的最后一個(gè)數(shù)值,用于消除該數(shù)值使得等號(hào)成立。k表示上述內(nèi)參矩陣。c表示上述圖像特征點(diǎn)的橫坐標(biāo)值、縱坐標(biāo)值和豎坐標(biāo)值組成的3
×
1的向量。因此,括號(hào)中加上1之后可以表示4
×
1的向量。
[0052]
步驟204,基于反投影特征點(diǎn)組和圖像特征點(diǎn)組,生成標(biāo)定時(shí)間差。
[0053]
在一些實(shí)施例中,上述執(zhí)行主體可以基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,通過(guò)各種方式生成標(biāo)定時(shí)間差。
[0054]
在一些實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述執(zhí)行主體基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,可以包括以下步驟:
[0055]
第一步,確定反投影特征點(diǎn)組中每個(gè)反投影特征點(diǎn)與上述圖像特征點(diǎn)組中對(duì)應(yīng)的圖像特征點(diǎn)之間的位移距離值,得到位移距離值組。其中,可以通過(guò)兩點(diǎn)間距離公式,確定反投影特征點(diǎn)組中每個(gè)反投影特征點(diǎn)與上述圖像特征點(diǎn)組中對(duì)應(yīng)的圖像特征點(diǎn)之間的位移距離值,得到位移距離值組。
[0056]
第二步,將上述位移距離值組中各個(gè)位移距離值的平均值確定為平均位移距離值。
[0057]
在一些實(shí)施例的一些可選的實(shí)現(xiàn)方式中,上述執(zhí)行主體基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,還可以包括以下步驟:
[0058]
第一步,確定上述當(dāng)前車(chē)輛的速度值。其中,可以在生成上述平均距離值時(shí),獲取上述當(dāng)前車(chē)輛當(dāng)前的速度值。
[0059]
第二步,基于上述平均位移距離值和上述速度值,生成標(biāo)定時(shí)間差。其中,可以將上述平均距離值的二范數(shù)與上述速度值的比值確定為標(biāo)定時(shí)間差。
[0060]
上述公式及其相關(guān)內(nèi)容作為本公開(kāi)的實(shí)施例的一個(gè)發(fā)明點(diǎn),解決了背景技術(shù)提及的技術(shù)問(wèn)題“隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn),從而,導(dǎo)致從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差,進(jìn)而,會(huì)降低自動(dòng)駕駛的識(shí)別能力(例如,會(huì)降低車(chē)道線識(shí)別的準(zhǔn)確度),使得降低駕駛安全”。導(dǎo)致從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差的因素往往如下:隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn)。如果解決了上述因素,就能在一定程度上降低從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差,提高自動(dòng)駕駛的識(shí)別能力。為了達(dá)到這一效果,首先,通過(guò)上述第一個(gè)公式,可以將生成第一平面系數(shù)和第二平面系數(shù),以用于構(gòu)建當(dāng)前所在道路的平面方程。然后,通過(guò)上述第二個(gè)公式,可以將從道路圖像中提取的、表征車(chē)道線的圖像特征點(diǎn)反投影至上述平面方程所在坐標(biāo)系。以此,可以便于對(duì)比圖像特征點(diǎn)和點(diǎn)云數(shù)據(jù)之間的誤差。之后,通過(guò)確定各個(gè)反投影特征點(diǎn)與對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)之間的距離值,確定平均位移距離值。由此,可以確定各個(gè)圖像特征點(diǎn)與對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)之間的距離誤差。最后,通過(guò)平均位移距離值,生成標(biāo)定時(shí)間差。從而,可以由距離誤差,轉(zhuǎn)換至?xí)r間誤差。因此,可以用于消除從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。進(jìn)而,可以從提高數(shù)據(jù)準(zhǔn)確度的方向,提高自動(dòng)駕駛的識(shí)別能力。
[0061]
步驟205,利用標(biāo)定時(shí)間差,對(duì)圖像特征點(diǎn)組和點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成對(duì)車(chē)載相機(jī)和激光雷達(dá)的數(shù)據(jù)在線標(biāo)定。
[0062]
在一些實(shí)施例中,上述執(zhí)行主體可以利用上述標(biāo)定時(shí)間差,對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成
數(shù)據(jù)在線標(biāo)定。其中,首先,可以將每個(gè)圖像特征點(diǎn)的生成時(shí)間點(diǎn)加上上述標(biāo)定時(shí)間差,得到圖像特征點(diǎn)的矯正時(shí)間點(diǎn)。然后,可以去除圖像特征點(diǎn)組中與上述點(diǎn)云數(shù)據(jù)組中點(diǎn)云數(shù)據(jù)的時(shí)間點(diǎn)不相同的圖像特征點(diǎn)。最后,可以將圖像特征點(diǎn)組中去除時(shí)間點(diǎn)不相同的圖像特征點(diǎn)后的圖像特征點(diǎn)確定為標(biāo)定后圖像特征點(diǎn)。將各個(gè)標(biāo)定后圖像特征點(diǎn)的矯正時(shí)間點(diǎn)相同的點(diǎn)云數(shù)據(jù)確定為標(biāo)定后點(diǎn)云數(shù)據(jù),得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組。從而,消除了從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差,完成對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定。
[0063]
可選的,上述執(zhí)行主體還可以對(duì)上述標(biāo)定時(shí)間差進(jìn)行存儲(chǔ)。其中,由于本公開(kāi)的數(shù)據(jù)在線標(biāo)定方法需要在滿足上述預(yù)設(shè)道路條件的情況進(jìn)行。因此,對(duì)于不滿足上述預(yù)設(shè)道路條件時(shí),可以通過(guò)所存儲(chǔ)的、最新的標(biāo)定時(shí)間差矯正從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。
[0064]
本公開(kāi)的上述各個(gè)實(shí)施例具有如下有益效果:通過(guò)本公開(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法,可以在線標(biāo)定,降低從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。具體來(lái)說(shuō),造成從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差的原因在于:隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加,離線標(biāo)定結(jié)果會(huì)失準(zhǔn)?;诖?,本公開(kāi)的一些實(shí)施例的數(shù)據(jù)在線標(biāo)定方法,通過(guò)生成標(biāo)定時(shí)間差,可以確定從車(chē)載相機(jī)所拍攝的道路圖像中提取出特征點(diǎn)的時(shí)間和激光雷達(dá)所測(cè)得的點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)特征點(diǎn)的時(shí)間之間存在誤差。由此,可以消除隨著對(duì)車(chē)載相機(jī)和激光雷達(dá)的使用時(shí)間的增加所造成的誤差。也因?yàn)檫M(jìn)行了數(shù)據(jù)在線標(biāo)定,可以在車(chē)輛行進(jìn)的過(guò)程中,提高圖像特征點(diǎn)與點(diǎn)云數(shù)據(jù)之間對(duì)應(yīng)關(guān)系的準(zhǔn)確度,得到對(duì)應(yīng)關(guān)系更加精準(zhǔn)的標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組。從而,可以從提高數(shù)據(jù)對(duì)應(yīng)關(guān)系準(zhǔn)確度的方面提高自動(dòng)駕駛的識(shí)別能力。進(jìn)而,可以提高駕駛安全。
[0065]
進(jìn)一步參考圖3,其示出了數(shù)據(jù)在線標(biāo)定方法的另一些實(shí)施例的流程300。該數(shù)據(jù)在線標(biāo)定方法的流程300,包括以下步驟:
[0066]
步驟301,獲取道路圖像和點(diǎn)云數(shù)據(jù)組。
[0067]
在一些實(shí)施例中,步驟301的具體實(shí)現(xiàn)方式及所帶來(lái)的技術(shù)效果可以參考圖2對(duì)應(yīng)的那些實(shí)施例中的步驟201,在此不再贅述。
[0068]
步驟302,對(duì)道路圖像進(jìn)行車(chē)道線識(shí)別,得到車(chē)道線圖像識(shí)別信息。
[0069]
在一些實(shí)施例中,數(shù)據(jù)在線標(biāo)定方法的執(zhí)行主體(如圖1所示的計(jì)算設(shè)備101)可以對(duì)上述道路圖像進(jìn)行車(chē)道線識(shí)別,得到車(chē)道線圖像識(shí)別信息。其中,可以通過(guò)車(chē)道線識(shí)別算法,對(duì)上述道路圖像進(jìn)行車(chē)道線識(shí)別,得到車(chē)道線圖像識(shí)別信息。上述車(chē)道線識(shí)別算法可以包括但不限于以下至少一項(xiàng):ufld(ultra fast structure-aware deep lane detection,車(chē)道線快速檢測(cè)算法),lanenet(多分支車(chē)道線檢測(cè)網(wǎng)絡(luò))等。上述車(chē)道線圖像識(shí)別信息中可以包括當(dāng)前車(chē)輛所在車(chē)道的車(chē)道線線型和車(chē)道線曲率。
[0070]
步驟303,確定車(chē)道線圖像識(shí)別信息是否滿足預(yù)設(shè)道路條件。
[0071]
在一些實(shí)施例中,上述執(zhí)行主體可以確定上述車(chē)道線圖像識(shí)別信息是否滿足上述預(yù)設(shè)道路條件。其中,可以通過(guò)確定上述車(chē)道線圖像識(shí)別信息包括的車(chē)道線線型是否為虛
線,且包括的車(chē)道線曲率是否小于上述預(yù)設(shè)曲率閾值,以確定確定上述車(chē)道線圖像識(shí)別信息是否滿足上述預(yù)設(shè)道路條件。
[0072]
步驟304,響應(yīng)于確定道路圖像或點(diǎn)云數(shù)據(jù)組滿足預(yù)設(shè)道路條件,對(duì)道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組。
[0073]
步驟305,對(duì)圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組。
[0074]
步驟306,基于反投影特征點(diǎn)組和圖像特征點(diǎn)組,生成標(biāo)定時(shí)間差。
[0075]
步驟307,利用標(biāo)定時(shí)間差,對(duì)圖像特征點(diǎn)組和點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成數(shù)據(jù)在線標(biāo)定。
[0076]
在一些實(shí)施例中,步驟304-307的具體實(shí)現(xiàn)方式及所帶來(lái)的技術(shù)效果可以參考圖2對(duì)應(yīng)的那些實(shí)施例中的步驟202-205,在此不再贅述。
[0077]
從圖3中可以看出,與圖2對(duì)應(yīng)的一些實(shí)施例的描述相比,圖3對(duì)應(yīng)的一些實(shí)施例中的數(shù)據(jù)在線標(biāo)定方法的流程300體現(xiàn)了確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件的步驟。從而,可以同多個(gè)角度確定當(dāng)前車(chē)輛所在路段是否適合進(jìn)行數(shù)據(jù)在線標(biāo)定。以避免造成標(biāo)定失敗或標(biāo)定失準(zhǔn)等情況。由此,可以進(jìn)一步提高數(shù)據(jù)在線標(biāo)定的準(zhǔn)確度。進(jìn)而,可以提高自動(dòng)駕駛的識(shí)別能力,使得提高駕駛安全。
[0078]
進(jìn)一步參考圖4,作為對(duì)上述各圖所示方法的實(shí)現(xiàn),本公開(kāi)提供了一種數(shù)據(jù)在線標(biāo)定裝置的一些實(shí)施例,這些裝置實(shí)施例與圖2所示的那些方法實(shí)施例相對(duì)應(yīng),該裝置具體可以應(yīng)用于各種電子設(shè)備中。
[0079]
如圖4所示,一些實(shí)施例的數(shù)據(jù)在線標(biāo)定裝置400包括:獲取單元401、提取單元402、反投影單元403、生成單元404和標(biāo)定單元405。其中,獲取單元401,被配置成獲取道路圖像和點(diǎn)云數(shù)據(jù)組,以及確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件,其中,上述道路圖像是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的;提取單元402,被配置成響應(yīng)于確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組;反投影單元403,被配置成對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組;生成單元404,被配置成基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,生成標(biāo)定時(shí)間差;標(biāo)定單元405,被配置成利用上述標(biāo)定時(shí)間差,對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成數(shù)據(jù)在線標(biāo)定。
[0080]
可以理解的是,該裝置400中記載的諸單元與參考圖2描述的方法中的各個(gè)步驟相對(duì)應(yīng)。由此,上文針對(duì)方法描述的操作、特征以及產(chǎn)生的有益效果同樣適用于裝置400及其中包含的單元,在此不再贅述。
[0081]
下面參考圖5,其示出了適于用來(lái)實(shí)現(xiàn)本公開(kāi)的一些實(shí)施例的電子設(shè)備(例如圖1中的計(jì)算設(shè)備101)500的結(jié)構(gòu)示意圖。圖5示出的電子設(shè)備僅僅是一個(gè)示例,不應(yīng)對(duì)本公開(kāi)的實(shí)施例的功能和使用范圍帶來(lái)任何限制。
[0082]
如圖5所示,電子設(shè)備500可以包括處理裝置(例如中央處理器、圖形處理器等)501,其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(rom)502中的程序或者從存儲(chǔ)裝置508加載到隨機(jī)訪問(wèn)存儲(chǔ)器(ram)503中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在ram 503中,還存儲(chǔ)有電子設(shè)備500操作所需的各種程序和數(shù)據(jù)。處理裝置501、rom 502以及ram 503通過(guò)總線504彼此相
連。輸入/輸出(i/o)接口505也連接至總線504。
[0083]
通常,以下裝置可以連接至i/o接口505:包括例如觸摸屏、觸摸板、鍵盤(pán)、鼠標(biāo)、攝像頭、麥克風(fēng)、加速度計(jì)、陀螺儀等的輸入裝置506;包括例如液晶顯示器(lcd)、揚(yáng)聲器、振動(dòng)器等的輸出裝置507;包括例如磁帶、硬盤(pán)等的存儲(chǔ)裝置508;以及通信裝置509。通信裝置509可以允許電子設(shè)備500與其他設(shè)備進(jìn)行無(wú)線或有線通信以交換數(shù)據(jù)。雖然圖5示出了具有各種裝置的電子設(shè)備500,但是應(yīng)理解的是,并不要求實(shí)施或具備所有示出的裝置??梢蕴娲貙?shí)施或具備更多或更少的裝置。圖5中示出的每個(gè)方框可以代表一個(gè)裝置,也可以根據(jù)需要代表多個(gè)裝置。
[0084]
特別地,根據(jù)本公開(kāi)的一些實(shí)施例,上文參考流程圖描述的過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如,本公開(kāi)的一些實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品,其包括承載在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序,該計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的一些實(shí)施例中,該計(jì)算機(jī)程序可以通過(guò)通信裝置509從網(wǎng)絡(luò)上被下載和安裝,或者從存儲(chǔ)裝置508被安裝,或者從rom 502被安裝。在該計(jì)算機(jī)程序被處理裝置501執(zhí)行時(shí),執(zhí)行本公開(kāi)的一些實(shí)施例的方法中限定的上述功能。
[0085]
需要說(shuō)明的是,本公開(kāi)的一些實(shí)施例上述的計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或者是上述兩者的任意組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是——但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子可以包括但不限于:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)磁盤(pán)、硬盤(pán)、隨機(jī)訪問(wèn)存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦式可編程只讀存儲(chǔ)器(eprom或閃存)、光纖、便攜式緊湊磁盤(pán)只讀存儲(chǔ)器(cd-rom)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本公開(kāi)的一些實(shí)施例中,計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì),該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。而在本公開(kāi)的一些實(shí)施例中,計(jì)算機(jī)可讀信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào),其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式,包括但不限于電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì),該計(jì)算機(jī)可讀信號(hào)介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸,包括但不限于:電線、光纜、rf(射頻)等等,或者上述的任意合適的組合。
[0086]
在一些實(shí)施方式中,客戶端、服務(wù)器可以利用諸如http(hypertext transfer protocol,超文本傳輸協(xié)議)之類(lèi)的任何當(dāng)前已知或未來(lái)研發(fā)的網(wǎng)絡(luò)協(xié)議進(jìn)行通信,并且可以與任意形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信(例如,通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“l(fā)an”),廣域網(wǎng)(“wan”),網(wǎng)際網(wǎng)(例如,互聯(lián)網(wǎng))以及端對(duì)端網(wǎng)絡(luò)(例如,ad hoc端對(duì)端網(wǎng)絡(luò)),以及任何當(dāng)前已知或未來(lái)研發(fā)的網(wǎng)絡(luò)。
[0087]
上述計(jì)算機(jī)可讀介質(zhì)可以是上述裝置中所包含的;也可以是單獨(dú)存在,而未裝配入該電子設(shè)備中。上述計(jì)算機(jī)可讀介質(zhì)承載有一個(gè)或者多個(gè)程序,當(dāng)上述一個(gè)或者多個(gè)程序被該電子設(shè)備執(zhí)行時(shí),使得該電子設(shè)備:獲取道路圖像和點(diǎn)云數(shù)據(jù)組,以及確定上述道路圖像或上述點(diǎn)云數(shù)據(jù)組是否滿足預(yù)設(shè)道路條件,其中,上述道路圖像是當(dāng)前車(chē)輛的車(chē)載相機(jī)拍攝的,上述點(diǎn)云數(shù)據(jù)組是上述當(dāng)前車(chē)輛的激光雷達(dá)測(cè)得的;響應(yīng)于確定上述道路圖像
或上述點(diǎn)云數(shù)據(jù)組滿足上述預(yù)設(shè)道路條件,對(duì)上述道路圖像進(jìn)行特征點(diǎn)提取,得到圖像特征點(diǎn)組;對(duì)上述圖像特征點(diǎn)組中的各個(gè)圖像特征點(diǎn)進(jìn)行反投影,得到反投影特征點(diǎn)組;基于上述反投影特征點(diǎn)組和上述圖像特征點(diǎn)組,生成標(biāo)定時(shí)間差;利用上述標(biāo)定時(shí)間差,對(duì)上述圖像特征點(diǎn)組和上述點(diǎn)云數(shù)據(jù)組進(jìn)行數(shù)據(jù)標(biāo)定,得到標(biāo)定后圖像特征點(diǎn)組和標(biāo)定后點(diǎn)云數(shù)據(jù)組,以完成數(shù)據(jù)在線標(biāo)定。
[0088]
可以以一種或多種程序設(shè)計(jì)語(yǔ)言或其組合來(lái)編寫(xiě)用于執(zhí)行本公開(kāi)的一些實(shí)施例的操作的計(jì)算機(jī)程序代碼,上述程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言—諸如java、smalltalk、c++,還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言—諸如“c”語(yǔ)言或類(lèi)似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中,遠(yuǎn)程計(jì)算機(jī)可以通過(guò)任意種類(lèi)的網(wǎng)絡(luò)——包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)——連接到用戶計(jì)算機(jī),或者,可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。
[0089]
附圖中的流程圖和框圖,圖示了按照本公開(kāi)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分,該模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意,在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專(zhuān)用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn),或者可以用專(zhuān)用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。
[0090]
描述于本公開(kāi)的一些實(shí)施例中的單元可以通過(guò)軟件的方式實(shí)現(xiàn),也可以通過(guò)硬件的方式來(lái)實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中,例如,可以描述為:一種處理器包括獲取單元、提取單元、反投影單元、生成單元和標(biāo)定單元。其中,這些單元的名稱(chēng)在某種情況下并不構(gòu)成對(duì)該單元本身的限定,例如,獲取單元還可以被描述為“獲取道路圖像和點(diǎn)云數(shù)據(jù)組的單元”。
[0091]
本文中以上描述的功能可以至少部分地由一個(gè)或多個(gè)硬件邏輯部件來(lái)執(zhí)行。例如,非限制性地,可以使用的示范類(lèi)型的硬件邏輯部件包括:現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、專(zhuān)用集成電路(asic)、專(zhuān)用標(biāo)準(zhǔn)產(chǎn)品(assp)、片上系統(tǒng)(soc)、復(fù)雜可編程邏輯設(shè)備(cpld)等等。
[0092]
以上描述僅為本公開(kāi)的一些較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說(shuō)明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本公開(kāi)的實(shí)施例中所涉及的發(fā)明范圍,并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案,同時(shí)也應(yīng)涵蓋在不脫離上述發(fā)明構(gòu)思的情況下,由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本公開(kāi)的實(shí)施例中公開(kāi)的(但不限于)具有類(lèi)似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。