用于使用激光點云進行物體檢測的方法和系統(tǒng)的制作方法
【專利說明】用于使用激光點云進行物體檢測的方法和系統(tǒng)
[0001]相關申請的交叉引用
[0002]本申請要求于2014年4月25日提交的美國專利申請第14/262,651號的優(yōu)先權，其全部內容通過引用結合于此。
【背景技術】
[0003]除非在本文中另有指示，否則本部分中描述的材料并不是本申請中的權利要求的現(xiàn)有技術，并且也不因包括在本部分中而被承認是現(xiàn)有技術。
[0004]車輛可使用由傳感器提供的信息來導航行駛路線。因此，車輛的計算裝置可處理從車輛傳感器接收到的信息以避免與障礙物碰撞并確保正確的導航。這種車輛通常裝備有各種類型的傳感器以便檢周遭中的物體。例如，自主車輛可包括激光、聲納、RADAR、相機以及其它掃描和記錄來自車輛的周遭的數(shù)據(jù)的裝置。來自這些裝置中的一個或多個的傳感器數(shù)據(jù)可用于檢測物體及其各自的特性(位置、形狀、前進方向、速度等)。該檢測和識別對自主車輛的安全操作是有用的。

【發(fā)明內容】

[0005]本申請公開了涉及用于使用激光點云進行物體檢測的方法和系統(tǒng)的實施例。
[0006]在一個示例中，本申請描述了一種方法。該方法可包括在計算裝置處接收指示車輛的環(huán)境的激光數(shù)據(jù)，并且激光數(shù)據(jù)包括與環(huán)境中的一個或多個物體相關聯(lián)的多個數(shù)據(jù)點。該方法還可包括，基于多個傳感器數(shù)據(jù)點，生成包括指示相對于車輛的環(huán)境中的一個或多個物體的相應位置的多個像素的二維距離圖像。另外，該方法可包括修正生成的二維距離圖像以向多個像素中的映射到缺少激光數(shù)據(jù)的環(huán)境中的一個或多個物體的一個或多個部分的一個或多個給定像素提供相應值。在一些情況下，修正生成的二維距離圖像以向一個或多個給定像素提供相應值是基于多個像素中的位于二維距離圖像中的多個像素的一個或多個給定像素附近的各個鄰近像素的。該方法可包括基于修正的二維距離圖像，確定多個像素中的與環(huán)境中的一個或多個物體的相應表面(surface)相對應的一組或多組像素的多個法向量，并且基于一組或多組像素的多個法向量，將指示車輛的環(huán)境中的一個或多個物體的物體識別信息提供給車輛的一個或多個系統(tǒng)。
[0007]在另一示例中，本申請描述了一種非暫態(tài)計算機可讀介質，其上存儲有在由計算裝置運行時引起該計算裝置執(zhí)行功能的指令。所述功能可包括接收指示車輛的環(huán)境的激光數(shù)據(jù)，并且激光數(shù)據(jù)包括與環(huán)境中的一個或多個物體相關聯(lián)的多個數(shù)據(jù)點。所述功能還可包括，基于多個傳感器數(shù)據(jù)點，生成包括指示相對于車輛的環(huán)境中的一個或多個物體的相應位置的多個像素的二維距離圖像。另外，所述功能可包括修正生成的二維距離圖像以向多個像素中的映射到缺少激光數(shù)據(jù)的環(huán)境中的一個或多個物體的一個或多個部分的一個或多個給定像素提供相應值。在一些情況下，修正生成的二維距離圖像以向一個或多個給定像素提供相應值是基于多個像素中的位于二維距離圖像中的多個像素的一個或多個給定像素附近的各個鄰近像素的。所述功能可包括基于修正的二維距離圖像，確定多個像素中的與車輛的環(huán)境中的一個或多個物體的相應表面相對應的一組或多組像素的多個法向量，并且基于一組或多組像素的多個法向量，將指示車輛的環(huán)境中的一個或多個物體的物體識別信息提供給車輛的一個或多個系統(tǒng)。
[0008]在又一示例中，本申請描述了一種系統(tǒng)。所述系統(tǒng)可包括至少一個處理器。所述系統(tǒng)還可包括其上存儲有可運行指令的存儲器，所述可運行指令在由至少一個處理器運行時引起該系統(tǒng)執(zhí)行功能，所述功能包括接收指示車輛的環(huán)境的激光數(shù)據(jù)，并且激光數(shù)據(jù)包括與環(huán)境中的一個或多個物體相關聯(lián)的多個數(shù)據(jù)點。所述功能還可包括，基于多個傳感器數(shù)據(jù)點，生成包括指示相對于車輛的環(huán)境中的一個或多個物體的相應位置的多個像素的二維距離圖像。另外，所述功能可包括，修正生成的二維距離圖像以向多個像素中的映射到缺少激光數(shù)據(jù)的環(huán)境中的一個或多個物體的一個或多個部分的一個或多個給定像素提供相應值。在一些情況下，修正生成的二維距離圖像以向一個或多個給定像素提供相應值是基于多個像素中的位于二維距離圖像中的多個像素的一個或多個給定像素附近的各個鄰近像素的。所述功能可包括基于修正的二維距離圖像，確定多個像素中的與環(huán)境中的一個或多個物體的相應表面相對應的一組或多組像素的多個法向量，并且基于一組或多組像素的多個法向量，將指示車輛的環(huán)境中的一個或多個物體的物體識別信息提供給車輛的一個或多個系統(tǒng)。
[0009]在另一示例中，提供一種系統(tǒng)，其包括用于實時生成非結構化和結構化激光點云的裝置。所述系統(tǒng)還可包括用于接收指示車輛的環(huán)境的激光數(shù)據(jù)的裝置，并且激光數(shù)據(jù)包括與環(huán)境中的一個或多個物體相關聯(lián)的多個數(shù)據(jù)點。所述系統(tǒng)還可包括用于基于多個傳感器數(shù)據(jù)點生成包括指示相對于車輛的環(huán)境中的一個或多個物體的相應位置的多個像素的二維距離圖像的裝置。此外，所述系統(tǒng)還可包括用于修正生成的二維距離圖像以向多個像素中的映射到缺少激光數(shù)據(jù)的環(huán)境中的一個或多個物體的一個或多個部分的一個或多個給定像素提供相應值的裝置。在一些情況下，所述系統(tǒng)可包括用于修正生成的二維距離圖像以向一個或多個給定像素提供相應值基于多個像素中的位于二維距離圖像中的多個像素的一個或多個給定像素附近的各個鄰近像素的裝置。所述系統(tǒng)可包括用于基于修正的二維距離圖像確定多個像素中的與環(huán)境中的一個或多個物體的相應表面相對應的一組或多組像素的多個法向量的裝置，以及用于基于一組或多組像素的多個法向量將指示車輛的環(huán)境中的一個或多個物體的物體識別信息提供給車輛的一個或多個系統(tǒng)的裝置。
[0010]前述概要僅是說明性的，并且并不意在以任何方式進行限制。除了上述的說明性方面、實施例及特征之外，進一步的方面、實施例及特征將通過參考圖和下面的詳細描述而變得明顯。
【附圖說明】
[0011 ] 圖1是依據(jù)示例實施例的示例車輛的簡要框圖。
[0012]圖2圖示了依據(jù)示例實施例的示例車輛。
[0013]圖3是用于使用激光點云進行物體檢測的示例方法的流程圖。
[0014]圖4是圖示出二維距離圖像的一部分中的像素的示例圖。
[0015]圖5A從前側視圖示出了示例車輛并圖示了由示例車輛的計算裝置使用傳感器數(shù)據(jù)生成的虛擬二維距離圖像的部分。
[0016]圖5B從側視圖示出了示例車輛并圖示了由示例車輛的計算裝置使用傳感器數(shù)據(jù)生成的二維距離圖像的額外的部分。
[0017]圖5C從后視圖示出了示例車輛并圖示了由示例車輛的計算裝置使用傳感器數(shù)據(jù)生成的二維距離圖像的部分。
[0018]圖f5D從另一后視圖示出了示例車輛并圖示了由示例車輛的計算裝置使用傳感器數(shù)據(jù)生成的二維距離圖像的部分。
[0019]圖6是圖示出一組像素的法向量計算的示例圖。
[0020]圖7是圖示出包括在計算裝置上運行計算機過程的計算機程序的示例計算機程序產品的概念性局部視圖的示意圖。
【具體實施方式】
[0021]以下詳細描述參考附圖對所公開的系統(tǒng)和方法的各種特征和功能進行了描述。在圖中，除非上下文另外指出，否則相似的符號標識相似的組件。本文中所描述的說明性系統(tǒng)和方法實施例并非意圖進行限制?？扇菀桌斫猓_的系統(tǒng)和方法的某些方面可以按多種不同的配置進行布置和組合，所有這些都在本文中被設想到。
[0022]車輛，諸如自主或無人駕駛車輛，可在不需要駕駛員提供導引和控制的情況下導航行駛路線。為了實現(xiàn)安全、自主導航，車輛可利用從與車輛相關聯(lián)的傳感器獲取的關于車輛周圍的局部環(huán)境的數(shù)據(jù)。自主車輛可包括被配置為接收和處理在車輛操作時從傳感器接收到的關于附近環(huán)境的信息的一個或多個計算裝置。處理信息可使得計算裝置能夠在車輛行駛經(jīng)過變化的環(huán)境時向車輛的系統(tǒng)提供信息和/或指令，以執(zhí)行安全導航策略。
[0023]在一個示例實施例中，車輛在于車輛的一個或多個計算裝置處接收到指示環(huán)境的激光數(shù)據(jù)的同時可進行導航。例如，車輛包括被配置為捕捉傳感器數(shù)據(jù)的LIDAR模塊，所述傳感器數(shù)據(jù)諸如是由與環(huán)境中的一個或多個物體相關聯(lián)的數(shù)據(jù)點組成的激光數(shù)據(jù)。類似地，車輛還可包括被配置為提供可用于物體檢測的傳感器數(shù)據(jù)的其它類型的傳感器，諸如深度相機。例如，計算裝置可接收在結構化三維(3D)點云和/或非結構化3D點云中的指示環(huán)境的數(shù)據(jù)點。在一些情況下，計算裝置可接收在像柵格那樣的點云內的數(shù)據(jù)點。激光數(shù)據(jù)可包括含有指示相對于車輛的環(huán)境中的物體的位置的信息的數(shù)據(jù)點。在其它示例中，激光數(shù)據(jù)可包括關于車輛的環(huán)境的其它信息。
[0024]在操作期間，計算裝置可使用激光數(shù)據(jù)點來生成包括指示環(huán)境中的物體的位置的像素的二維(2D)距離圖像。作為示例，計算裝置可將激光數(shù)據(jù)點投影到位于車輛周圍或在虛擬渲染中虛擬地位于車輛周圍的概念性2D圓柱表面，以使得像素對應于激光數(shù)據(jù)點內的數(shù)據(jù)。作為結果的生成的2D距離圖像可包括具有指示環(huán)境中的信息的值的像素，并且還可包括可不具有來自激光數(shù)據(jù)點的值的一些像素。缺失值的像素可對應于計算裝置未接收到指示性的激光數(shù)據(jù)的物體的部分。在一些示例實施例中，計算裝置可在完成接收整個點云之前開始生成2D距離圖像的部分。例如，當從LIDAR模塊接收到點時，計算裝置可形成2D距離圖像的部分。
[0025]此外，車輛的計算裝置可修正2D距離圖像來填充由沒有值的像素造成的空白(gap)。例如，計算裝置可使用2D距離圖像中位于一個或多個空白附近的各個鄰近元素來確定要分配給原本沒有值的空白中的像素的平均值。計算裝置可使用經(jīng)修正的2D距離圖像來確定可與車輛的環(huán)境中的一個或多個物體的相應表面相對應的像素組的一個或多個法向量。
[0026]在一些示例中，計算裝置可使用表面法線(normal)和平面分割(segmentat1n)過程來對所獲取的傳感器數(shù)據(jù)中的平面進行分類(例如，將像素組與環(huán)境中的表面關聯(lián))，這可幫助車輛進行物體識別和避障。當車輛導航時，計算裝置可形成對環(huán)境內的物體的虛擬地圖繪制(mapping)。另外，計算裝置可使用像素組的法向量以及平面分割來將關于環(huán)境的物體識別信息提供給車輛系統(tǒng)，車輛可在操作期間使用所述物體識別信息來確定合適的導航策略。
[0027]現(xiàn)在將更詳細地描述本公開范圍內的示例系統(tǒng)。通常，示例系統(tǒng)可實現(xiàn)在汽車上或可采取汽車的形式。然而，示例系統(tǒng)還可實現(xiàn)在其它車輛上或采取其它車輛的形式，諸如轎車、卡車、摩托車、公交車、船、飛機、直升機、割草機、休旅車、游樂園車輛、農業(yè)設備、施工設備、有軌電車、高爾夫球車、火車和電車。其它車輛也是可能的。<