本發(fā)明涉及一種檢測(cè)周圍環(huán)境的方法，其中通過(guò)自車（ego?vehicle）的第一相機(jī)生成第一圖像數(shù)據(jù)流，以及一種遠(yuǎn)程操作引導(dǎo)自車的方法。本發(fā)明還涉及相應(yīng)的周圍環(huán)境檢測(cè)系統(tǒng)、用于遠(yuǎn)程操作引導(dǎo)自車的車輛引導(dǎo)系統(tǒng)以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、在高度自動(dòng)化車輛（特別是全自動(dòng)車輛）的運(yùn)行中，如果出現(xiàn)車輛無(wú)法獨(dú)立處理或無(wú)法足夠安全地獨(dú)立處理的情況，則可以使用所謂的遠(yuǎn)程操作引導(dǎo)。在這種情況下，人類遠(yuǎn)程操作員經(jīng)由車輛外部的計(jì)算機(jī)系統(tǒng)訪問(wèn)通過(guò)車輛的各種傳感器系統(tǒng)（特別是相機(jī)）從車輛周圍環(huán)境獲取的數(shù)據(jù)，然后可以遠(yuǎn)程控制車輛以解決該情況。

2、然而，在某些情況下，車輛上的相機(jī)的視野會(huì)被部分遮擋，例如被前方行駛的另一輛車輛遮擋。在這種情況下，遠(yuǎn)程操作員可能無(wú)法考慮對(duì)與遙控相關(guān)但被遮擋的信息，這可能會(huì)帶來(lái)安全風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)思路

1、該目的通過(guò)獨(dú)立權(quán)利要求的相應(yīng)主題實(shí)現(xiàn)。有利的改進(jìn)和優(yōu)選實(shí)施例是從屬權(quán)利要求的主題。

2、本發(fā)明基于克服被引導(dǎo)車輛的相機(jī)視野中的限制的想法，這些限制是由前方行駛的其他車輛等物體遮擋造成的，方法是將另一輛車輛的相機(jī)的圖像數(shù)據(jù)流與被引導(dǎo)車輛的圖像數(shù)據(jù)流相結(jié)合。特別地，來(lái)自另一輛車輛的圖像數(shù)據(jù)流的替代圖像數(shù)據(jù)顯示在被引導(dǎo)車輛的圖像數(shù)據(jù)流的遮擋區(qū)域中。

3、根據(jù)本發(fā)明的一個(gè)方面，提供了一種檢測(cè)周圍環(huán)境的方法，其中，通過(guò)自車的第一相機(jī)生成第一圖像數(shù)據(jù)流。接收通過(guò)另一車輛的第二相機(jī)生成的第二圖像數(shù)據(jù)流，特別是通過(guò)至少一個(gè)計(jì)算單元接收。由第一圖像數(shù)據(jù)流表示的第一視場(chǎng)與由第二圖像數(shù)據(jù)流表示的第二視場(chǎng)重疊。基于第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流，在第一視場(chǎng)中識(shí)別出相對(duì)于第一相機(jī)被遮擋的區(qū)域，該區(qū)域相對(duì)于第二相機(jī)未被遮擋，特別是通過(guò)計(jì)算單元識(shí)別?；诘诙D像數(shù)據(jù)流，生成對(duì)應(yīng)于相對(duì)于第一相機(jī)被遮擋的區(qū)域的替代圖像數(shù)據(jù)，特別是通過(guò)至少一個(gè)計(jì)算單元生成?；诘谝粓D像數(shù)據(jù)流以及特別的第二圖像數(shù)據(jù)流，生成表示第一視場(chǎng)的組合圖像數(shù)據(jù)流。替代圖像數(shù)據(jù)顯示在與相對(duì)于第一相機(jī)被遮擋的區(qū)域相對(duì)應(yīng)的組合圖像數(shù)據(jù)流的區(qū)域中。

4、第二圖像數(shù)據(jù)流尤其通過(guò)至少一個(gè)計(jì)算單元接收，例如通過(guò)自車的至少一個(gè)車輛計(jì)算單元接收，特別是通過(guò)用于無(wú)線通信（例如用于?v2v?或?v2x?通信）的第一通信接口接收。v2v代表車輛對(duì)車輛，v2x代表車輛對(duì)任何事物。

5、至少一個(gè)計(jì)算單元包含例如至少一個(gè)車輛計(jì)算單元，并且可以包括例如車輛外部計(jì)算機(jī)系統(tǒng)，即布置在自車外部和另一車輛外部的計(jì)算機(jī)系統(tǒng)。車輛外部計(jì)算機(jī)系統(tǒng)可以稱為服務(wù)器計(jì)算機(jī)系統(tǒng)或后端計(jì)算機(jī)系統(tǒng)。特別是，它可以是用于遠(yuǎn)程控制車輛（特別是自車）的計(jì)算機(jī)系統(tǒng)。

6、第二圖像數(shù)據(jù)流尤其通過(guò)第二相機(jī)生成，并從另一車輛（例如，從另一車輛的另一車輛計(jì)算單元特別經(jīng)由用于無(wú)線通信（例如用于?v2v或?v2x?通信）的另一通信接口）傳輸?shù)阶攒嚕ɡ纾貏e經(jīng)由第一通信接口傳輸?shù)街辽僖粋€(gè)車輛計(jì)算單元）。

7、例如，圖像數(shù)據(jù)流可以表示兩個(gè)或更多個(gè)連續(xù)圖像的序列。第一圖像數(shù)據(jù)流（特別是第一圖像數(shù)據(jù)流的對(duì)應(yīng)第一圖像）特別地表示自車的外部周圍環(huán)境。也可以理解為第一相機(jī)的視野的第一視野相機(jī)因此至少部分位于自車的外部周圍環(huán)境中。第二圖像數(shù)據(jù)流（特別是第一圖像數(shù)據(jù)流的對(duì)應(yīng)第二圖像）特別地表示另一車輛的外部周圍環(huán)境。也可以理解為第二相機(jī)的視野的第二視野相機(jī)因此至少部分位于另一車輛的外部周圍環(huán)境中。

8、由于第一視野和第二視野重疊，因此第一和第二圖像數(shù)據(jù)流通常表示部分匹配的內(nèi)容。但是，由于對(duì)于第一相機(jī)被遮擋的區(qū)域?qū)τ诘诙鄼C(jī)沒有被遮擋，因此第二圖像數(shù)據(jù)流表示由于相對(duì)于第一相機(jī)被遮擋而第一圖像流未表示的內(nèi)容。例如，遮擋可能是由于第一視野中的遮擋物體造成的。遮擋物體例如可以是另一車輛本身，但不一定是該另一車輛。

9、因此，替代圖像數(shù)據(jù)可以例如基于第二圖像數(shù)據(jù)流的圖像數(shù)據(jù)生成，該圖像數(shù)據(jù)表示第二視野的區(qū)域，該區(qū)域也位于第一視野中，并且如果不存在遮擋物體，該區(qū)域?qū)⒂傻谝粓D像數(shù)據(jù)流的區(qū)域表示。第二圖像數(shù)據(jù)流的相應(yīng)圖像數(shù)據(jù)可以特別地被處理或修改以生成替代圖像數(shù)據(jù)，特別是使表示與第一圖像數(shù)據(jù)流相適應(yīng)。

10、組合圖像數(shù)據(jù)流特別地對(duì)應(yīng)于第一圖像數(shù)據(jù)流的組合或第一圖像數(shù)據(jù)流與替代圖像數(shù)據(jù)的編輯變體。

11、在對(duì)應(yīng)于相對(duì)于第一相機(jī)被遮擋的區(qū)域的區(qū)域之外，例如，組合圖像數(shù)據(jù)流可以與第一圖像數(shù)據(jù)流相同。在對(duì)應(yīng)于相對(duì)于第一相機(jī)被遮擋的區(qū)域的區(qū)域中，組合圖像數(shù)據(jù)流可以對(duì)應(yīng)于例如替代圖像數(shù)據(jù)或?qū)?yīng)于替代圖像數(shù)據(jù)與第一圖像數(shù)據(jù)流的疊加。這些區(qū)域之間也可能存在過(guò)渡區(qū)域。

12、因此，由于替代圖像數(shù)據(jù)，組合圖像數(shù)據(jù)流包含由于遮擋而原本無(wú)法由自車獲得的信息。因此，組合圖像數(shù)據(jù)流的觀察者（例如通過(guò)遠(yuǎn)程操作引導(dǎo)遠(yuǎn)程控制自車的遠(yuǎn)程操作員）可以從自車更廣泛地獲悉自車周圍環(huán)境的當(dāng)前狀況，這最終提高了自車通過(guò)遠(yuǎn)程操作引導(dǎo)操作時(shí)的安全性。

13、根據(jù)本發(fā)明用于檢測(cè)周圍環(huán)境的方法的至少一個(gè)實(shí)施例，通過(guò)根據(jù)例如預(yù)定義的變換參數(shù)集變換第二圖像數(shù)據(jù)流，第一相機(jī)和第二相機(jī)之間的一個(gè)或多個(gè)相機(jī)外部參數(shù)和/或一個(gè)或多個(gè)相機(jī)內(nèi)部參數(shù)相機(jī)的偏差至少部分地被補(bǔ)償，例如通過(guò)至少一個(gè)計(jì)算單元補(bǔ)償。相對(duì)于第一相機(jī)被遮擋的區(qū)域基于第一圖像數(shù)據(jù)流和變換后的第二圖像數(shù)據(jù)流而被識(shí)別，特別是通過(guò)至少一個(gè)計(jì)算單元識(shí)別，例如通過(guò)至少一個(gè)車輛計(jì)算單元識(shí)別相機(jī)。

14、相機(jī)外部參數(shù)包括，例如，相應(yīng)相機(jī)的相機(jī)坐標(biāo)系相對(duì)于參考坐標(biāo)系的姿態(tài)，即位置和方向。相機(jī)坐標(biāo)系與相應(yīng)的相機(jī)剛性連接。例如，參考坐標(biāo)系可以與相應(yīng)車輛或相應(yīng)車輛的周圍環(huán)境剛性連接。還可以為不同車輛的相機(jī)選擇共同的參考坐標(biāo)系。例如，姿態(tài)可以由六個(gè)參數(shù)定義，例如三個(gè)位置參數(shù)和三個(gè)方向參數(shù)。三個(gè)位置參數(shù)可以是，例如，相機(jī)坐標(biāo)系的坐標(biāo)原點(diǎn)在參考坐標(biāo)系中的三維坐標(biāo)。例如，三個(gè)方向參數(shù)可以是三個(gè)方向角，例如歐拉角，也可以稱為俯仰角、偏航角和滾轉(zhuǎn)角。

15、相機(jī)內(nèi)部參數(shù)可以包括定義相機(jī)如何對(duì)相機(jī)附近的點(diǎn)進(jìn)行成像的參數(shù)，特別是在相機(jī)的圖像傳感器上成像。因此，相機(jī)內(nèi)部參數(shù)可以描述或限定例如相機(jī)鏡頭的成像功能、焦距等。相機(jī)內(nèi)部參數(shù)還可以包括圖像傳感器的縱橫比、分辨率和/或像素密度。相機(jī)內(nèi)部參數(shù)還可以涉及對(duì)所獲取的圖像數(shù)據(jù)的相機(jī)內(nèi)部預(yù)處理有關(guān)的參數(shù)，例如與白平衡、圖像銳化、色彩校正等有關(guān)的參數(shù)。

16、根據(jù)至少一個(gè)實(shí)施例，基于第一圖像數(shù)據(jù)流和轉(zhuǎn)換后的第二圖像數(shù)據(jù)流生成組合圖像數(shù)據(jù)流，其中替代圖像數(shù)據(jù)基于轉(zhuǎn)換后的第二圖像數(shù)據(jù)流生成，特別是通過(guò)至少一個(gè)計(jì)算單元生成，例如通過(guò)至少一個(gè)車輛計(jì)算單元生成。

17、相機(jī)外部參數(shù)和/或相機(jī)內(nèi)部參數(shù)中的一個(gè)的偏差的至少部分的補(bǔ)償允許例如第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流之間在圖像對(duì)象的比例和/或縮放比例上的偏差至少部分地得到補(bǔ)償，第一視場(chǎng)相對(duì)于第二視場(chǎng)的偏移和/或位移至少部分地得到補(bǔ)償，和/或第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流之間的透視偏差至少部分得到補(bǔ)償。這確保了替代圖像數(shù)據(jù)與來(lái)自第一圖像數(shù)據(jù)流的圖像數(shù)據(jù)相結(jié)合允許一致地表示周圍環(huán)境，這最終在遠(yuǎn)程操作引導(dǎo)自車的應(yīng)用情況下提高了安全性。

18、根據(jù)至少一個(gè)實(shí)施例，特別是基于第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流，識(shí)別由第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流表示的至少一個(gè)特征，特別是通過(guò)至少一個(gè)計(jì)算單元識(shí)別，例如通過(guò)至少一個(gè)車輛計(jì)算單元識(shí)別。根據(jù)第一圖像數(shù)據(jù)流中的至少一個(gè)特征的表示與第二圖像數(shù)據(jù)流中的至少一個(gè)特征的表示的比較來(lái)確定變換參數(shù)集，特別是通過(guò)至少一個(gè)計(jì)算單元確定，例如通過(guò)至少一個(gè)車輛計(jì)算單元確定。

19、通過(guò)識(shí)別和比較給定的特征，可以直接從圖像數(shù)據(jù)流中提取第一相機(jī)和第二相機(jī)之間的一個(gè)或多個(gè)相機(jī)外部參數(shù)和/或一個(gè)或多個(gè)相機(jī)內(nèi)部參數(shù)的偏差的影響。因此，有利的是，可能沒有相關(guān)影響的相機(jī)參數(shù)偏差不會(huì)被明確考慮，因此不需要明確確定。這使得可以更有效地補(bǔ)償相機(jī)參數(shù)的偏差。

20、根據(jù)至少一個(gè)實(shí)施例，將第二圖像數(shù)據(jù)流的色調(diào)值分布和/或顏色值分布與第一圖像數(shù)據(jù)流的色調(diào)值分布和/或顏色值分布進(jìn)行比較，特別是通過(guò)至少一個(gè)計(jì)算單元進(jìn)行比較，例如通過(guò)至少一個(gè)車輛計(jì)算單元進(jìn)行比較?；诒容^的結(jié)果，轉(zhuǎn)換后的第二圖像數(shù)據(jù)流被校正或在轉(zhuǎn)換之前校正第二圖像數(shù)據(jù)流?；谵D(zhuǎn)換和校正后的第二圖像數(shù)據(jù)流生成替代圖像數(shù)據(jù)。

21、特別是，這確保了組合圖像數(shù)據(jù)流中的亮度和白平衡是一致的，這最終進(jìn)一步提高了在遠(yuǎn)程操作引導(dǎo)自車的應(yīng)用情況下的安全性。

22、色調(diào)值分布和/或顏色值分布可以例如通過(guò)一個(gè)或多個(gè)相應(yīng)的直方圖給出。

23、根據(jù)至少一個(gè)實(shí)施例，替代圖像數(shù)據(jù)被疊加在第一圖像數(shù)據(jù)流上，特別是疊加在第一圖像數(shù)據(jù)流中與相對(duì)于第一相機(jī)被遮擋的區(qū)域相對(duì)應(yīng)的區(qū)域上，以便生成組合圖像數(shù)據(jù)流。

24、例如，替代圖像數(shù)據(jù)以部分透明的方式疊加在第一圖像數(shù)據(jù)流的原始圖像數(shù)據(jù)上，該原始圖像數(shù)據(jù)對(duì)應(yīng)于第一圖像數(shù)據(jù)流中相對(duì)于第一相機(jī)被遮擋的區(qū)域。

25、在組合圖像數(shù)據(jù)流中，替代圖像數(shù)據(jù)和原始圖像數(shù)據(jù)均被表示。因此，組合圖像數(shù)據(jù)流既表示遮擋對(duì)象，也表示從第一相機(jī)觀看時(shí)位于遮擋對(duì)象后面的內(nèi)容。因此，觀看者（例如遠(yuǎn)程操作員）可以在做出決定時(shí)考慮更多信息，這最終進(jìn)一步提高了自主車輛遠(yuǎn)程操作引導(dǎo)應(yīng)用的安全性。

26、根據(jù)至少一個(gè)實(shí)施例，另一車輛位于第一視野中，特別地另一車輛由第一圖像數(shù)據(jù)流表示，并且相對(duì)于第一相機(jī)被遮擋的區(qū)域是由另一車輛對(duì)于第一相機(jī)遮擋的。換句話說(shuō)，另一車輛是遮擋物體。

27、例如，另一車輛可以在道路上從自車前方行駛，特別是在與自車相同的車道上或在另一個(gè)車道上，例如相鄰車道上。例如，第一相機(jī)可以是自車的面向前方的相機(jī)，也稱為前置相機(jī)。第二相機(jī)可以是例如另一車輛的前置相機(jī)。

28、根據(jù)至少一個(gè)實(shí)施例，相對(duì)于第一相機(jī)被遮擋的區(qū)域通過(guò)自車的至少一個(gè)車輛計(jì)算單元來(lái)識(shí)別。

29、替換地，至少一個(gè)車輛計(jì)算單元可以特別是通過(guò)第一通信接口或第二通信接口將第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)，并且外部計(jì)算機(jī)系統(tǒng)可以識(shí)別相對(duì)于第一相機(jī)被遮擋的區(qū)域。

30、根據(jù)至少一個(gè)實(shí)施例，替代圖像數(shù)據(jù)由自車的至少一個(gè)車輛計(jì)算單元確定。

31、替換地，至少一個(gè)車輛計(jì)算單元可以特別是通過(guò)第一通信接口或第二通信接口將第二圖像數(shù)據(jù)流和可選的第一圖像數(shù)據(jù)流傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)，并且外部計(jì)算機(jī)系統(tǒng)可以確定替代圖像數(shù)據(jù)。

32、根據(jù)至少一個(gè)實(shí)施例，組合圖像數(shù)據(jù)流由自車的至少一個(gè)車輛計(jì)算單元生成。

33、替換地，至少一個(gè)車輛計(jì)算單元可以特別是通過(guò)第一通信接口或第二通信接口將第一圖像數(shù)據(jù)流傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)。因此，至少一個(gè)車輛計(jì)算單元還可以將第二圖像數(shù)據(jù)流或替代圖像數(shù)據(jù)傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)。然后，外部計(jì)算機(jī)系統(tǒng)可以生成組合圖像數(shù)據(jù)流。

34、在優(yōu)選實(shí)施例中，識(shí)別遮擋區(qū)域、生成替代圖像數(shù)據(jù)和生成組合圖像數(shù)據(jù)流的步驟由至少一個(gè)車輛計(jì)算單元執(zhí)行。例如，組合圖像數(shù)據(jù)流通過(guò)至少一個(gè)車輛計(jì)算單元傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)，特別是通過(guò)第一通信接口或第二通信接口傳輸。

35、根據(jù)至少一個(gè)實(shí)施例，組合圖像數(shù)據(jù)流通過(guò)車輛外部計(jì)算機(jī)系統(tǒng)顯示在車輛外部顯示設(shè)備上，例如一個(gè)或多個(gè)屏幕或監(jiān)視器，或佩戴在頭上的視覺輸出設(shè)備，也稱為hmd（“頭戴式顯示器”）。事先，例如通過(guò)至少一個(gè)車輛計(jì)算單元生成組合圖像數(shù)據(jù)流，并傳輸?shù)酵獠坑?jì)算機(jī)系統(tǒng)，特別是通過(guò)第一通信接口或第二通信接口傳輸，或者通過(guò)外部計(jì)算機(jī)系統(tǒng)生成組合圖像數(shù)據(jù)流。

36、根據(jù)本發(fā)明的另一方面，提出了一種用于遠(yuǎn)程操作引導(dǎo)自車的方法。為此，實(shí)施了根據(jù)本發(fā)明的用于檢測(cè)周圍環(huán)境的方法，特別是通過(guò)車輛外部計(jì)算機(jī)系統(tǒng)將組合圖像數(shù)據(jù)流顯示在車輛外部顯示設(shè)備上。響應(yīng)于在車輛外部顯示設(shè)備上顯示組合圖像數(shù)據(jù)流，特別是在顯示之后或與顯示同時(shí)，通過(guò)車輛外部計(jì)算機(jī)系統(tǒng)捕獲用戶輸入，特別是遠(yuǎn)程操作員的輸入。根據(jù)用戶輸入，至少部分自動(dòng)地引導(dǎo)自車，特別是遠(yuǎn)程控制自車。

37、根據(jù)用于遠(yuǎn)程操作引導(dǎo)自車的方法的至少一個(gè)實(shí)施例，車輛外部計(jì)算機(jī)系統(tǒng)用于根據(jù)用戶輸入生成控制命令并將其傳輸?shù)阶攒?。根?jù)控制命令，至少部分自動(dòng)地引導(dǎo)自車，特別是通過(guò)自車的自車引導(dǎo)系統(tǒng)。

38、在此，自車引導(dǎo)系統(tǒng)可以特別理解為電子系統(tǒng)，其被配置成完全自動(dòng)或完全自主地引導(dǎo)自車，特別是無(wú)需駕駛員的控制干預(yù)地引導(dǎo)自車。自車自動(dòng)執(zhí)行所有必要的功能，例如轉(zhuǎn)向、制動(dòng)和/或加速操作、道路交通的觀察和檢測(cè)以及適當(dāng)?shù)姆磻?yīng)。特別地，自車引導(dǎo)系統(tǒng)可以實(shí)現(xiàn)根據(jù)?sae?j3016分類的等級(jí)5的機(jī)動(dòng)車的完全自動(dòng)或完全自主駕駛模式5。特別地，自車引導(dǎo)系統(tǒng)可以實(shí)現(xiàn)根據(jù)?sae?j3016?分類的等級(jí)4的機(jī)動(dòng)車的完全自動(dòng)或完全自主駕駛模式。此處及下文中的“sae?j3016”是指?2018年6月版本的相應(yīng)標(biāo)準(zhǔn)。

39、自車引導(dǎo)系統(tǒng)可以生成一個(gè)或多個(gè)控制信號(hào)，例如取決于控制命令，并將它們傳輸?shù)阶攒嚨囊粋€(gè)或多個(gè)執(zhí)行器，以便它們根據(jù)控制命令影響或執(zhí)行自車的橫向和/或縱向控制。

40、根據(jù)本發(fā)明的另一方面，規(guī)定了一種周圍環(huán)境檢測(cè)系統(tǒng)，其包括用于自車的第一相機(jī)，其被配置為生成第一圖像數(shù)據(jù)流。周圍環(huán)境檢測(cè)系統(tǒng)具有用于自車的至少一個(gè)用于無(wú)線數(shù)據(jù)傳輸?shù)耐ㄐ沤涌?，以及至少一個(gè)計(jì)算單元，特別是至少一個(gè)車輛計(jì)算單元。至少一個(gè)計(jì)算單元，特別是至少一個(gè)車輛計(jì)算單元，被配置為通過(guò)至少一個(gè)通信接口，例如第一通信接口，接收由另一車輛的第二相機(jī)生成的第二圖像數(shù)據(jù)流，其中，由第一圖像數(shù)據(jù)流表示的第一視野與由第二圖像數(shù)據(jù)流表示的第二視野重疊。至少一個(gè)計(jì)算單元，特別是至少一個(gè)車輛計(jì)算單元，被配置為基于第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流，識(shí)別第一視野中相對(duì)于第一相機(jī)被遮擋的區(qū)域，而該區(qū)域?qū)τ诘诙鄼C(jī)而言未被遮擋，并且基于第二圖像數(shù)據(jù)流生成對(duì)應(yīng)于相對(duì)第一相機(jī)被遮擋的區(qū)域的替代圖像數(shù)據(jù)。至少一個(gè)計(jì)算單元，特別是至少一個(gè)車輛計(jì)算單元，被配置為基于第一圖像數(shù)據(jù)流并且特別基于第二圖像數(shù)據(jù)流，生成表示第一視野的組合圖像數(shù)據(jù)流，并在組合圖像數(shù)據(jù)流中對(duì)應(yīng)于相對(duì)第一相機(jī)被遮擋的區(qū)域的區(qū)域中顯示替代圖像數(shù)據(jù)。

41、根據(jù)周圍環(huán)境檢測(cè)系統(tǒng)的至少一個(gè)實(shí)施例，周圍環(huán)境檢測(cè)系統(tǒng)被設(shè)計(jì)為用于自車的自車引導(dǎo)系統(tǒng)。

42、根據(jù)周圍環(huán)境檢測(cè)系統(tǒng)的至少一個(gè)實(shí)施例，其包括車輛外部顯示設(shè)備，并且至少一個(gè)計(jì)算單元包含車輛外部計(jì)算機(jī)系統(tǒng)。

43、在這樣的實(shí)施例中，周圍環(huán)境檢測(cè)系統(tǒng)也可以稱為用于自車的遠(yuǎn)程操作引導(dǎo)的車輛引導(dǎo)系統(tǒng)。

44、根據(jù)周圍環(huán)境檢測(cè)系統(tǒng)的至少一個(gè)實(shí)施例，車輛外部計(jì)算機(jī)系統(tǒng)被配置為生成組合圖像數(shù)據(jù)流并將其顯示在車輛外部顯示設(shè)備上。在這種情況下，車輛外部計(jì)算機(jī)系統(tǒng)可以例如從至少一個(gè)車輛計(jì)算單元接收第一圖像數(shù)據(jù)流和第二圖像數(shù)據(jù)流。

45、根據(jù)周圍環(huán)境檢測(cè)系統(tǒng)的至少一個(gè)實(shí)施例，至少一個(gè)車輛計(jì)算單元被配置為通過(guò)至少一個(gè)通信接口（特別是第一通信接口）接收第二圖像數(shù)據(jù)流，以識(shí)別相對(duì)于第一相機(jī)被遮擋的區(qū)域，生成替代圖像數(shù)據(jù)，生成組合圖像數(shù)據(jù)流，并通過(guò)至少一個(gè)通信接口（特別是第一通信接口或第二通信接口）將組合圖像數(shù)據(jù)流傳輸?shù)杰囕v外部計(jì)算機(jī)系統(tǒng)。車輛外部計(jì)算機(jī)系統(tǒng)被配置為在車輛外部顯示設(shè)備上顯示組合圖像數(shù)據(jù)流。

46、根據(jù)車輛引導(dǎo)系統(tǒng)的至少一個(gè)實(shí)施例，為了自車的遠(yuǎn)程控制引導(dǎo)，車輛外部計(jì)算機(jī)系統(tǒng)被配置為響應(yīng)于車輛外部顯示裝置上的組合圖像數(shù)據(jù)流的顯示來(lái)檢測(cè)用戶輸入。為了遠(yuǎn)程控制引導(dǎo)，車輛引導(dǎo)系統(tǒng)具有用于自車的自車引導(dǎo)系統(tǒng)，其被配置為根據(jù)用戶輸入至少部分地自動(dòng)地引導(dǎo)自車。

47、根據(jù)車輛引導(dǎo)系統(tǒng)的至少一個(gè)實(shí)施例，為了自車的遠(yuǎn)程控制引導(dǎo)，車輛外部計(jì)算機(jī)系統(tǒng)被配置為根據(jù)用戶輸入生成控制命令并將其傳輸?shù)阶攒?。自車引?dǎo)系統(tǒng)被配置為根據(jù)控制命令至少部分地自動(dòng)地引導(dǎo)自車。

48、本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)和本發(fā)明的車輛引導(dǎo)系統(tǒng)的另外實(shí)施例直接源自用于檢測(cè)周圍環(huán)境的本發(fā)明的方法和用于自車的遠(yuǎn)程控制引導(dǎo)的本發(fā)明的方法的各種配置，反之亦然。特別是，關(guān)于本發(fā)明方法的各種實(shí)施例的個(gè)別特征和相應(yīng)說(shuō)明可以類似地轉(zhuǎn)移到根據(jù)本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)和根據(jù)本發(fā)明的車輛引導(dǎo)系統(tǒng)的相應(yīng)實(shí)施例。特別地，根據(jù)本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)被設(shè)計(jì)或編程為執(zhí)行用于檢測(cè)周圍環(huán)境的本發(fā)明的方法。特別是，根據(jù)本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)執(zhí)行用于檢測(cè)周圍環(huán)境的本發(fā)明的方法。特別是，根據(jù)本發(fā)明的車輛引導(dǎo)系統(tǒng)被設(shè)計(jì)或編程為執(zhí)行用于自車的遠(yuǎn)程控制引導(dǎo)的本發(fā)明的方法。特別是，根據(jù)本發(fā)明的車輛引導(dǎo)系統(tǒng)執(zhí)行用于自車的遠(yuǎn)程控制引導(dǎo)的本發(fā)明的方法。

49、根據(jù)本發(fā)明的另一方面，規(guī)定了具有第一指令的第一計(jì)算機(jī)程序。當(dāng)?shù)谝恢噶钣筛鶕?jù)本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)執(zhí)行時(shí)，第一指令促使周圍環(huán)境檢測(cè)系統(tǒng)執(zhí)行根據(jù)本發(fā)明的用于檢測(cè)周圍環(huán)境的方法。

50、根據(jù)本發(fā)明的另一方面，規(guī)定了具有第二指令的第二計(jì)算機(jī)程序。當(dāng)?shù)诙噶钣筛鶕?jù)本發(fā)明的用于自我車輛的遠(yuǎn)程操作引導(dǎo)的車輛引導(dǎo)系統(tǒng)執(zhí)行時(shí)，第二指令促使車輛引導(dǎo)系統(tǒng)執(zhí)行根據(jù)本發(fā)明的用于自車的遠(yuǎn)程操作引導(dǎo)的方法。

51、根據(jù)本發(fā)明的另一方面，規(guī)定了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)根據(jù)本發(fā)明的第一計(jì)算機(jī)程序和/或根據(jù)本發(fā)明的第二計(jì)算機(jī)程序。

52、第一計(jì)算機(jī)程序、第二計(jì)算機(jī)程序和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以各自被視為具有第一指令和/或第二指令的相應(yīng)計(jì)算機(jī)程序產(chǎn)品。

53、術(shù)語(yǔ)計(jì)算單元可以特別被理解為包含處理電路的數(shù)據(jù)處理設(shè)備。因此，計(jì)算單元可以處理數(shù)據(jù)，特別是用于執(zhí)行計(jì)算操作?？蛇x地，這些操作還包括用于執(zhí)行對(duì)數(shù)據(jù)結(jié)構(gòu)（例如查找表?(lut)）的指示訪問(wèn)的操作。

54、特別是，計(jì)算單元可以包含一個(gè)或多個(gè)計(jì)算機(jī)、一個(gè)或多個(gè)微控制器和/或一個(gè)或多個(gè)集成電路，例如一個(gè)或多個(gè)專用集成電路?(asic)、一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門陣列(fpga)?和/或一個(gè)或多個(gè)片上系統(tǒng)?(soc)。計(jì)算單元還可以包含一個(gè)或多個(gè)處理器，例如一個(gè)或多個(gè)微處理器、一個(gè)或多個(gè)中央處理單元?(cpu)、一個(gè)或多個(gè)圖形處理單元?(gpu)和/或一個(gè)或多個(gè)信號(hào)處理器，特別是一個(gè)或多個(gè)數(shù)字信號(hào)處理器?(dsp)。計(jì)算單元還可以包含計(jì)算機(jī)或其他類型的上述單元的物理組或虛擬組。

55、在各種示例性實(shí)施例中，計(jì)算單元包含一個(gè)或多個(gè)硬件和/或軟件接口和/或一個(gè)或多個(gè)存儲(chǔ)單元。

56、存儲(chǔ)單元可以實(shí)現(xiàn)為易失性數(shù)據(jù)存儲(chǔ)器，例如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（dram）或靜態(tài)隨機(jī)存取存儲(chǔ)器（sram），或者實(shí)現(xiàn)為非易失性數(shù)據(jù)存儲(chǔ)器，例如只讀存儲(chǔ)器（rom）、可編程只讀存儲(chǔ)器（prom）、可擦除只讀存儲(chǔ)器（eprom）、電可擦除只讀存儲(chǔ)器（eeprom）、閃存或閃存eeprom、鐵電隨機(jī)存取存儲(chǔ)器（fram）、磁阻隨機(jī)存取存儲(chǔ)器（mram）或相變隨機(jī)存取存儲(chǔ)器（pcram）。

57、如果在本公開內(nèi)容的范圍內(nèi)提及根據(jù)本發(fā)明的周圍環(huán)境檢測(cè)系統(tǒng)或車輛引導(dǎo)系統(tǒng)的組件，特別是至少一個(gè)計(jì)算單元、至少一個(gè)車輛計(jì)算單元和/或車輛外部計(jì)算機(jī)系統(tǒng)，被配置、體現(xiàn)、設(shè)計(jì)或以其他方式執(zhí)行或?qū)嵤┨囟üδ?、?shí)現(xiàn)特定效果或服務(wù)于特定目的，則這可以理解為意味著該組件通過(guò)適當(dāng)?shù)恼{(diào)整、適當(dāng)?shù)木幊?、適當(dāng)?shù)奈锢碓O(shè)計(jì)等，能夠具體且實(shí)際地執(zhí)行或?qū)嵤┰摴δ?、?shí)現(xiàn)該效果或服務(wù)于該目的，超出該組件對(duì)于該功能、效果或目的的基本或理論可用性或適用性。

58、本發(fā)明的其他特征可以在權(quán)利要求、附圖和附圖說(shuō)明中找到。說(shuō)明書中的上述特征和特征組合以及附圖說(shuō)明中的下述特征和特征組合以及附圖中所示特征和特征組合不僅可以以每種情況下指定的組合包括在本發(fā)明中，還可以以其他組合包括在本發(fā)明中。特別地，本發(fā)明還可以包括不具備原始權(quán)利要求中所有特征的實(shí)施例和特征組合。此外，本發(fā)明中還可以包括超出或不同于權(quán)利要求后文中列出的特征組合的實(shí)施例和特征組合。