本發(fā)明涉及一種生成環(huán)境表示的方法。本發(fā)明還涉及用于此目的的機(jī)器學(xué)習(xí)模型、計(jì)算機(jī)程序、裝置以及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、棒狀像素(stixel)和自由空間的檢測(cè)是機(jī)器人技術(shù)和自推進(jìn)或自主系統(tǒng)中的一項(xiàng)重要任務(wù)，因?yàn)樗鼈兪沟媚軌虮硎咀灾鞔砜梢砸苿?dòng)的區(qū)域。同樣，由此可以表示對(duì)碰撞對(duì)象有危險(xiǎn)并因此需要避開(kāi)以進(jìn)行安全導(dǎo)航的區(qū)域。

2、深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域的最新進(jìn)展使得顯著提高檢測(cè)棒狀像素和自由空間算法的性能和魯棒性成為可能。以下文章闡述了基于深度學(xué)習(xí)的解決方案示例：“l(fā)evi?et?al.,stixelnet:adeep?convolutional?network?for?obstacle?detection?and?roadsegmentation,in:bmvc?2015,pages?109.1-109.12”和“verner?et?al.,real-timecategory-based?and?general?obstacledetection?for?autonomous?driving,in:iccv2017”。

3、盡管棒狀像素和自由空間檢測(cè)可以在所闡述的系統(tǒng)中提供良好的結(jié)果，但它們通常不適用于具有不同分辨率的圖像。當(dāng)打算為具有不同分辨率的不同攝像頭提供棒狀像素/自由空間檢測(cè)算法時(shí)，這種限制可能很關(guān)鍵。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)說(shuō)明書(shū)和附圖，本發(fā)明的進(jìn)一步特征和細(xì)節(jié)將變得清楚。在這種情況下，結(jié)合根據(jù)本發(fā)明的方法描述的特征和細(xì)節(jié)當(dāng)然也可以結(jié)合根據(jù)本發(fā)明的機(jī)器學(xué)習(xí)模型、根據(jù)本發(fā)明的計(jì)算機(jī)程序、根據(jù)本發(fā)明的裝置以及根據(jù)本發(fā)明的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)來(lái)應(yīng)用，反之亦然，因此，關(guān)于公開(kāi)內(nèi)容，總是相互參照或可以相互參照本發(fā)明的各個(gè)方面。

2、本發(fā)明尤其涉及一種生成環(huán)境表示的方法，該方法包括以下步驟，這些步驟優(yōu)選地可以連續(xù)和/或重復(fù)和/或以自動(dòng)化方式執(zhí)行：

3、-提供至少一個(gè)圖像，所述至少一個(gè)圖像由至少一個(gè)圖像捕獲裝置的記錄而產(chǎn)生并且示出所述至少一個(gè)圖像捕獲裝置的環(huán)境中的至少一個(gè)對(duì)象和/或可導(dǎo)航區(qū)域，所述圖像被設(shè)計(jì)成被分割成多個(gè)圖像列，

4、-生成環(huán)境表示，至少一個(gè)所提供的圖像的相應(yīng)圖像列的(特別是恰好)一個(gè)棒狀像素和/或自由空間元素為此目的而被參數(shù)化以便表示所述對(duì)象和/或所述可導(dǎo)航區(qū)域。

5、可導(dǎo)航區(qū)域也可以稱為自由空間。此外，可以提供恰好一個(gè)或多個(gè)所述至少一個(gè)圖像，并且可以提供所述至少一個(gè)圖像捕獲裝置中的恰好一個(gè)或多個(gè)不同的圖像捕獲裝置，它們?cè)诒匾獣r(shí)提供不同分辨率的圖像。因此，圖像還可以示出不同的對(duì)象和/或可導(dǎo)航區(qū)域，優(yōu)選地以不同的分辨率。該方法還可以用在單個(gè)系統(tǒng)或者包括不同圖像捕獲裝置的不同系統(tǒng)(例如機(jī)器人和/或車輛)中。

6、在本發(fā)明的上下文中，環(huán)境表示可以至少部分地基于模型的輸出來(lái)生成，該模型可以被適配成(特別是在不修改模型和/或不重新訓(xùn)練模型的情況下)處理作為輸入的不同分辨率(特別是具有不同圖像列高度)的至少一個(gè)所提供的圖像。換句話說(shuō)，該模型可以被配置為使得(特別是在不修改模型和/或不重新訓(xùn)練模型的情況下)它可以處理不同分辨率的圖像，并且因此該模型也可以用于處理來(lái)自具有不同分辨率的不同圖像捕獲裝置的圖像。例如，當(dāng)模型不僅預(yù)測(cè)單個(gè)棒狀像素和/或自由空間元素，而且預(yù)測(cè)多個(gè)可能的棒狀像素和/或自由空間元素參數(shù)(例如每圖像列的多個(gè)供選擇的位置)時(shí)，這是可能的。優(yōu)選地，在這種情況下，模型被配置為機(jī)器學(xué)習(xí)模型。例如，可以規(guī)定使用棒狀像素自由空間cnn解碼器架構(gòu)，其允許多分辨率推理。此外，可以使用基于序數(shù)回歸的魯棒的棒狀像素自由空間參數(shù)化。因此，根據(jù)本發(fā)明的方法具有以下優(yōu)點(diǎn)：可以為多分辨率棒狀像素和/或自由空間檢測(cè)提供特別是基于機(jī)器學(xué)習(xí)并且優(yōu)選地基于cnn的解決方案。這使得將棒狀像素和自由空間應(yīng)用于具有不同分辨率的圖像成為可能。

7、表述“棒狀像素和/或自由空間元素”可以尤其涉及棒狀像素和/或用于自由空間表示的元素。模型的輸出可以例如包括用于表示對(duì)象和/或自由空間的相應(yīng)棒狀像素和/或自由空間的至少一個(gè)參數(shù)。例如，所述至少一個(gè)參數(shù)包括圖像列中的位置。棒狀像素元素皆可以被配置為棒狀像素，并且可以表示下一個(gè)障礙物的最低點(diǎn)到最高點(diǎn)的高度，并且可以為此目的而被相應(yīng)地參數(shù)化。還可以可選地為棒狀像素分配類標(biāo)簽以及距該障礙物的距離。

8、所述至少一個(gè)圖像可以例如這樣被提供、優(yōu)選地被確定：所述至少一個(gè)圖像是作為數(shù)字輸入處理的。因此，所述至少一個(gè)圖像可以被配置為至少一個(gè)數(shù)字圖像并且因此可以包括數(shù)字?jǐn)?shù)據(jù)。在這種情況下，圖像可以例如已經(jīng)經(jīng)由接口從圖像捕獲裝置的電子圖像傳感器獲得，特別是借助于模數(shù)轉(zhuǎn)換獲得。這意味著至少一個(gè)所提供的圖像可以由圖像捕獲裝置的記錄產(chǎn)生。在這種情況下，方法步驟以及優(yōu)選地所述至少一個(gè)圖像的提供可以由電子數(shù)據(jù)處理裝置和/或由計(jì)算機(jī)程序來(lái)執(zhí)行，可選地至少部分地也在圖像捕獲裝置(例如攝像頭本身)內(nèi)執(zhí)行。

9、例如，相應(yīng)的棒狀像素元素被配置為棒狀像素，優(yōu)選地配置為“單個(gè)棒狀像素”(與“多棒狀像素”相反)。每個(gè)棒狀像素可以代表環(huán)境中的對(duì)象和/或表面的至少一部分，特別是自我車輛和/或機(jī)器人。在本發(fā)明的上下文中，棒狀像素也可以被稱為深度表示。特別是在計(jì)算機(jī)視覺(jué)中，棒狀像素被理解為圖像中的深度信息的垂直棒(也稱為條帶)形式的超像素表示。這種表示使得可以逼近場(chǎng)景的某個(gè)垂直部分內(nèi)最接近的障礙物(參見(jiàn)badino,hernán；franke,uwe；pfeiffer,david(2009).the?stixel?world–a?compact?medium?levelrepresentation?of?the?3d-world.joint?pattern?recognition?symposium)。在這種情況下，還可以以窄垂直矩形的形式提供棒狀像素，它們表示屬于所觀察的場(chǎng)景中(即，環(huán)境中)最接近的對(duì)象的垂直表面的一段。在出現(xiàn)此類問(wèn)題時(shí)，它們使得可以大大減少表示場(chǎng)景所需的信息量。在這種情況下，棒狀像素可以由多個(gè)參數(shù)來(lái)表征，例如垂直坐標(biāo)(位置)，和/或條帶的高度，和/或深度。這里，不同的深度例如由從包括圖像捕獲裝置的車輛(即，自我車輛或機(jī)器人)開(kāi)始的環(huán)境中的對(duì)象或表面的距離產(chǎn)生。

10、另外，如果基于所生成的環(huán)境表示的至少部分自動(dòng)化的評(píng)估，優(yōu)選地以至少部分自動(dòng)化的方式并且優(yōu)選地自主地控制至少部分自主的機(jī)器人(特別是車輛)，則是有利的，圖像捕獲裝置優(yōu)選地被設(shè)計(jì)為機(jī)器人的攝像頭。機(jī)器人還可以包括多個(gè)圖像捕獲裝置，它們被配置成提供不同分辨率的圖像。具體地，可以規(guī)定，基于環(huán)境表示的自動(dòng)化評(píng)估，以自動(dòng)化方式并且優(yōu)選地自主地控制車輛，其中(相應(yīng)的)圖像捕獲裝置以攝像頭的形式安裝在車輛上。車輛可以被設(shè)計(jì)為機(jī)動(dòng)車輛和/或乘用車和/或自駕駛車輛。車輛可以包括車輛設(shè)備，例如用于提供自主駕駛功能和/或駕駛員輔助系統(tǒng)。車輛設(shè)備可以被配置成至少部分地自動(dòng)控制和/或加速和/或制動(dòng)和/或轉(zhuǎn)向車輛。

11、此外，可以設(shè)想，模型被配置為機(jī)器學(xué)習(xí)模型，并且優(yōu)選地包括至少一個(gè)或恰好一個(gè)人工神經(jīng)網(wǎng)絡(luò)(優(yōu)選地采用cnn的形式，特別優(yōu)選地是全卷積cnn)。在這種情況下，cnn也稱為卷積神經(jīng)網(wǎng)絡(luò)。這里，模型的輸出(優(yōu)選地采用輸出張量的形式)可以指示相應(yīng)圖像列中的棒狀像素和/或自由空間元素的多個(gè)可能的并且優(yōu)選地另選的位置。然后可以基于所指示的可能位置來(lái)參數(shù)化棒狀像素和/或自由空間元素，優(yōu)選地通過(guò)從每圖像列的多個(gè)可能(另選)位置中選擇棒狀像素和/或自由空間元素的一個(gè)(特別是恰好一個(gè))位置。例如，這可以借助于序數(shù)回歸來(lái)進(jìn)行。在這種情況下，可以優(yōu)選地僅利用所選擇的位置來(lái)參數(shù)化棒狀像素和/或自由空間元素。這使得模型可以被訓(xùn)練成利用單個(gè)棒狀像素和/或自由空間元素(特別是單個(gè)棒狀像素而不是多棒狀像素)，針對(duì)高度輸出多個(gè)可能的像素位置，然后能夠被選擇和使用。序數(shù)回歸可以在這里使用投票機(jī)制來(lái)選擇可能的位置。

12、在另一選項(xiàng)中，可以規(guī)定，相應(yīng)的棒狀像素和/或自由空間元素這樣被參數(shù)化：至少通過(guò)最低點(diǎn)來(lái)定義相應(yīng)的棒狀像素和/或自由空間元素，優(yōu)選地向所述最低點(diǎn)指派關(guān)于由該棒狀像素和/或自由空間元素表示的對(duì)象的距離的深度信息。在這種情況下，可以執(zhí)行序數(shù)回歸以用于相應(yīng)的棒狀像素和/或自由空間元素的參數(shù)化，優(yōu)選地以便確定該棒狀像素和/或自由空間元素的最低點(diǎn)。因此可以在圖像的每一列的像素坐標(biāo)中確定下部點(diǎn)以及可選地上部點(diǎn)的位置。此外，類名稱和深度信息(例如距對(duì)象的距離)也可以可選地由模型針對(duì)每個(gè)圖像列確定。

13、優(yōu)選地，可以規(guī)定，所述模型被適配成這樣處理作為輸入的不同分辨率的至少一個(gè)所提供的圖像：當(dāng)處理所提供的圖像時(shí)，所述圖像列的高度基本上由所述模型維持。然而，常規(guī)的解決方案總是通過(guò)所謂的“聚集(clumping)”將高度降低到1像素，并直接輸出單個(gè)棒狀像素。還可以規(guī)定，所述模型被適配成這樣處理作為輸入的不同分辨率的至少一個(gè)所提供的圖像：所述棒狀像素和/或自由空間元素的多個(gè)可能的以及可選地另選的位置在相應(yīng)圖像列中被確定并且可供在所述輸出中選擇。在這種情況下，由所述模型確定和/或輸出的可能位置的數(shù)量可以取決于所提供的圖像的分辨率。這與以下事實(shí)有關(guān)：分辨率越高，圖像列中可能位置的數(shù)量也就越多。優(yōu)選地，所述不同分辨率在所述圖像列的高度方面有所不同，所述模型特別優(yōu)選地被適配成處理至少10個(gè)、至少100個(gè)或至少1000個(gè)不同分辨率的圖像。

14、此外，所述模型可以被配置為機(jī)器學(xué)習(xí)模型，所述機(jī)器學(xué)習(xí)模型在已訓(xùn)練狀態(tài)或經(jīng)訓(xùn)練狀態(tài)下還被配置成輸出在應(yīng)用期間在所述輸入的不同分辨率下相應(yīng)圖像列的所述棒狀像素和/或自由空間元素的預(yù)測(cè)。在這種情況下，所述已訓(xùn)練狀態(tài)可以由所述機(jī)器學(xué)習(xí)模型的訓(xùn)練產(chǎn)生，其中，用于所述訓(xùn)練的訓(xùn)練數(shù)據(jù)包括處于與所述應(yīng)用期間的所述輸入的分辨率不同的分辨率的多個(gè)圖像。換句話說(shuō)，模型可以已經(jīng)以與后續(xù)應(yīng)用中使用的分辨率不同的分辨率進(jìn)行了訓(xùn)練，而無(wú)需重新訓(xùn)練模型。

15、本發(fā)明還涉及一種機(jī)器學(xué)習(xí)模型，所述機(jī)器學(xué)習(xí)模型被配置成處理作為輸入的不同分辨率的被分割成多個(gè)圖像列的圖像，以便預(yù)測(cè)所述圖像列的相應(yīng)的棒狀像素和/或自由空間元素的每圖像列的多個(gè)可能位置。在這種情況下，所述圖像可以由至少一個(gè)圖像捕獲裝置的記錄而產(chǎn)生并且示出所述至少一個(gè)圖像捕獲裝置的環(huán)境中的至少一個(gè)對(duì)象和/或可導(dǎo)航區(qū)域。同樣，相應(yīng)的棒狀像素和/或自由空間元素可以被配置成表示所述對(duì)象和/或所述可導(dǎo)航區(qū)域。因此，根據(jù)本發(fā)明的機(jī)器學(xué)習(xí)模型具有與參照根據(jù)本發(fā)明的方法詳細(xì)描述的相同的優(yōu)點(diǎn)。常規(guī)的解決方案通常無(wú)法處理與訓(xùn)練時(shí)不同的攝像頭分辨率。根據(jù)本發(fā)明的方法可以提供以下優(yōu)點(diǎn)：機(jī)器學(xué)習(xí)模型是以固定分辨率訓(xùn)練的，但訓(xùn)練后可以應(yīng)用于具有不同分辨率的圖像捕獲裝置，例如攝像頭，而無(wú)需重新訓(xùn)練。結(jié)果，例如可以減少標(biāo)記訓(xùn)練數(shù)據(jù)所需的工作量，因?yàn)榭梢允褂镁哂泄潭ǚ直媛实臄?shù)據(jù)集來(lái)對(duì)多個(gè)不同的圖像捕獲裝置或攝像頭分辨率進(jìn)行訓(xùn)練。另外，單個(gè)機(jī)器學(xué)習(xí)模型(特別是cnn)的通用性可以借助于具有不同分辨率的不同攝像頭實(shí)現(xiàn)。因此，沒(méi)有必要為每個(gè)新攝像頭訓(xùn)練單獨(dú)的機(jī)器學(xué)習(xí)模型。

16、本發(fā)明還涉及一種包括命令的計(jì)算機(jī)程序，特別是計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序由計(jì)算機(jī)執(zhí)行時(shí)，所述命令使所述計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明的方法。因此，根據(jù)本發(fā)明的計(jì)算機(jī)程序具有與參照根據(jù)本發(fā)明的方法詳細(xì)描述的優(yōu)點(diǎn)相同的優(yōu)點(diǎn)。

17、本發(fā)明還涉及一種被配置成執(zhí)行根據(jù)本發(fā)明的方法的數(shù)據(jù)處理裝置。作為示例，可以提供執(zhí)行根據(jù)本發(fā)明的計(jì)算機(jī)程序的計(jì)算機(jī)作為該裝置。該計(jì)算機(jī)可以包括至少一個(gè)用于執(zhí)行所述計(jì)算機(jī)程序的處理器。還可以提供非易失性數(shù)據(jù)存儲(chǔ)器，該非易失性數(shù)據(jù)存儲(chǔ)器中存儲(chǔ)所述計(jì)算機(jī)程序，并且處理器可以從該非易失性數(shù)據(jù)存儲(chǔ)器中讀出所述計(jì)算機(jī)程序以供執(zhí)行。

18、本發(fā)明還涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括根據(jù)本發(fā)明的計(jì)算機(jī)程序和/或命令，當(dāng)所述命令由計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明的方法。作為示例，存儲(chǔ)介質(zhì)被設(shè)計(jì)為數(shù)據(jù)存儲(chǔ)器，例如硬盤(pán)驅(qū)動(dòng)器和/或非易失性存儲(chǔ)器和/或存儲(chǔ)器卡。存儲(chǔ)介質(zhì)可以例如集成在計(jì)算機(jī)中。存儲(chǔ)介質(zhì)同樣可以包括根據(jù)本發(fā)明的機(jī)器學(xué)習(xí)模型。

19、此外，根據(jù)本發(fā)明的方法還可以被配置為計(jì)算機(jī)實(shí)現(xiàn)的方法。