專利名稱：標定車輛視覺系統(tǒng)的方法和車輛視覺系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及標定車輛視覺系統(tǒng)的方法和車輛視覺系統(tǒng)。本發(fā)明尤其涉及可建立組合用不同攝像機捕獲的圖像所需的攝像機系統(tǒng)參數(shù)的這種方法和視覺系統(tǒng)。
背景技術(shù)：
在車輛系統(tǒng)中整合圖像傳感器已得到越來越廣泛的應用。這種圖像傳感器可用作駕駛員輔助系統(tǒng)(其中圖像傳感器捕獲車輛環(huán)境的圖像)的組件。所捕獲的圖像可經(jīng)處理來執(zhí)行物體識別和/或可能可在處理之后顯示給用戶。可執(zhí)行自動警告和輔助功能來警告駕駛員潛在的危險情況，或通過致動剎車或類似物來主動控制車輛操作。圖像傳感器也可以用作幫助駕駛員停泊車輛或其它關(guān)鍵操作的后視或側(cè)視攝像機。
隨著在車輛應用中使用圖像傳感器變得越來越普遍，可提供多個圖像傳感器，以便捕獲車輛環(huán)境的圖像，所述圖像組合起來提供關(guān)于環(huán)繞車輛的全360°角度范圍的環(huán)境的信息。為避免數(shù)量過多的圖像傳感器，希望使用具有較大橫向開口角的視場的圖像傳感器。
當由不同圖像傳感器捕獲的數(shù)據(jù)將彼此組合時，必須知道攝像機系統(tǒng)的參數(shù)。為此，可執(zhí)行標定以建立每個攝像機的外部和內(nèi)部參數(shù)。攝像機標定的途徑包括要求將一個記號定位在車輛參考系中事先已知的高精度位置的技術(shù)。由于由記號的不精確定位造成的誤差傳播，這種途徑可能不精確。高精確性結(jié)果可能耗時，且實現(xiàn)成本高。攝像機標定的其它途徑包括在物體相對于車輛移動時追蹤物體。在許多這些途徑中，單獨針對每個攝像機逐一執(zhí)行標定。
攝像機系統(tǒng)標定的另外其它途徑包括重疊視場(FOV)技術(shù)。這些途徑的實施也常常要求將一個記號以高精確性定位在相對于車輛的預定義位置上。
在本領域中一直需要一種標定車輛視覺系統(tǒng)的方法和標定無需事先知道記號在車輛參考系中的位置的車輛視覺系統(tǒng)。本領域中也需要容許使用具有較大橫向開口角視場的攝像機的這樣一種方法和這樣一種車輛視覺系統(tǒng)。發(fā)明內(nèi)容
這種需求通過獨立權(quán)利要求中敘述的方法和車輛視覺系統(tǒng)來解決。附屬權(quán)利要求描述實施方案。
根據(jù)一個方面，提供一種標定車輛視覺系統(tǒng)的方法。所述車輛視覺系統(tǒng)包括分別捕獲具有非線性畸變(尤其是魚眼畸變)的圖像的多個圖像傳感器。圖像傳感器提供在車輛的不同位置上。方法包括針對一對圖像傳感器執(zhí)行捕獲、確定和建立步驟，所述圖像傳感器對包括多個圖像傳感器中的一個圖像傳感器和一個額外圖像傳感器。在所述方法中，使用圖像傳感器捕獲多個物體的圖像，以及使用額外圖像傳感器捕獲多個物體的額外圖像。多個物體被定位在所述圖像傳感器的視場和所述額外圖像傳感器的視場的重疊區(qū)域中。圖像傳感器相對于多個物體的位置和定向基于所捕獲的圖像來確定，而額外圖像傳感器相對于多個物體的位置和定向基于所捕獲的額外圖像來確定。額外圖像傳感器與圖像傳感器之間的相對位置和定向基于所述確定步驟的結(jié)果來建立。
在所述方法中，圖像傳感器之間的相對位置和定向基于定位在視場(FOV)的重疊區(qū)域中的多個物體的圖像來確定。無需事先知道多個物體相對于車輛的位置來確定圖像傳感器的相對位置。圖像傳感器和額外圖像傳感器是不同的圖像傳感器。
圖像傳感器經(jīng)過構(gòu)造使得其捕獲具有非線性畸變的圖像。這容許圖像傳感器構(gòu)造有容許圖像傳感器具有寬FOV的光學組件。少量圖像傳感器(諸如四個圖像傳感器)足以捕獲覆蓋環(huán)繞車輛的全360°角度范圍的環(huán)繞視圖。圖像傳感器在橫向方向上的FOV開口角可為至少170°或至少175°。
多個物體相對于彼此的位置是已知的。這些預定相對位置可用于確定圖像傳感器和額外圖像傳感器相對于多個物體的位置和定向。多個物體可以是專用記號，諸如配置為三面形配置的棋盤圖案。
多個物體可配置為至少一個規(guī)則配置。多個物體可包括至少一個棋盤圖案。這容許從定義所有物體的相對位置的少量參數(shù)中確定多個物體之間的相對位置。多個物體可以使得其不全都位于相同平面內(nèi)?？赡艽嬖谂c由多個物體中的至少三個其它物體定義的平面間隔的至少一個(具體若干個)物體。
根據(jù)本領域中的常用術(shù)語，本文中使用的術(shù)語“圖像傳感器的位置”指的是圖像傳感器的特征點的位置。為說明的目的，“圖像傳感器的位置”可定義為光軸與電光傳感器、透鏡或任何其它給定光學組件相交的點的位置。本文中使用的術(shù)語“圖像傳感器的定向”指的是可通過三個角度量化的空間中圖像傳感器坐標系的定向。相應地，兩個圖像傳感器之間的“相對位置”是特征點之間的偏移?！跋鄬Χㄏ颉泵枋鲂枰男┬D(zhuǎn)操作來將所述一對中的一個圖像傳感器的坐標系與額外圖像傳感器的坐標系對準。存在描述相對位置和相對定向的不同方式。為說明的目的，為了描述圖像傳感器相對于由多個物體所定義的坐標系的定向，無需明確計算旋轉(zhuǎn)角度?？捎嬎阈D(zhuǎn)矩陣。類似地，可通過旋轉(zhuǎn)矩陣描述圖像傳感器與額外圖像傳感器之間的相對定向。可通過平移矩陣或平移矢量描述相對位置。
可針對具有重疊視場的多對圖像傳感器分別執(zhí)行所述捕獲、確定和建立步驟。從而可確定具有重疊FOV的所有圖像傳感器對的相對位置和/或相對定向。
一對圖像傳感器之間所確定的相對定向可包括或否則表示至少兩個角度，以便提供關(guān)于需要旋轉(zhuǎn)哪一個以將所述一對中的一個圖像傳感器的光軸與另一圖像傳感器的光軸對準的信息。
可針對多對圖像傳感器分別執(zhí)行所述捕獲、確定和建立步驟，并且可基于此確定關(guān)于非鄰近圖像傳感器之間的相對定向的信息。為說明的目的，關(guān)于定義無重疊FOV的前側(cè)攝像機與后側(cè)攝像機之間的相對定向的至少兩個角度的信息可基于針對至少兩對圖像傳感器執(zhí)行的所述捕獲、確定和建立步驟來確定。關(guān)于定義無重疊FOV的前側(cè)攝像機與后側(cè)攝像機之間的相對定向的至少兩個角度的信息可通過針對至少四對圖像傳感器執(zhí)行所述捕獲、確定和建立步驟而以更高的精確性實現(xiàn)?；蚩苫蛄砜赏ㄟ^針對至少兩對圖像傳感器執(zhí)行所述捕獲、確定和建立步驟獲得關(guān)于車輛的左側(cè)與右側(cè)攝像機之間的相對定向的信息?？赏ㄟ^針對至少四對圖像傳感器執(zhí)行所述捕獲、確定和建立步驟執(zhí)行一致性檢查，以便以更高的精確性確定非鄰近圖像傳感器的相對定向。
多對中的一對可包括第一圖像傳感器和中間圖像傳感器。多對中的另一對可包括中間圖像傳感器和第二圖像傳感器。第二圖像傳感器與第一圖像傳感器之間的相對位置和定向可基于針對所述一對而獲得的建立步驟的結(jié)果和針對另一對而獲得的建立步驟的結(jié)果而建立。從而第一圖像傳感器與中間圖像傳感器之間的相對位置和定向以及中間圖像傳感器與第二圖像傳感器之間的相對位置和定向可經(jīng)計算處理以計算第二圖像傳感器與第一圖像傳感器之間的相對位置和相對定向。如果第一圖像傳感器和第二圖像傳感器無重疊視場，和/或如果沒有多個物體定位在這些傳感器的FOV的重疊區(qū)域中，那么可以執(zhí)行這種處理。
可分別針對額外多對圖像傳感器中的每一對執(zhí)行所述捕獲、確定和建立步驟。第二圖像傳感器與第一圖像傳感器之間的相對位置和定向也可以基于針對額外多對獲得的建立步驟的結(jié)果來建立。從而第二圖像傳感器與第一圖像傳感器之間的相對位置和定向可通過兩種獨立方式確定。這容許執(zhí)行一致性檢查?？闪炕?或改進標定程序的可靠性。 在所述方法中，定義圖像傳感器之間的相對定向以及視需要定義相對位置的外部參數(shù)值可被反復調(diào)整，直到獲得定義非鄰近圖像傳感器之間的相對定向的一致參數(shù)組。
在所述方法中，第二圖像傳感器與第一圖像傳感器之間的相對位置和定向可通過兩種不同方式計算，也就是使用針對多對獲得的建立步驟的結(jié)果，以及針對不同于所述多對的額外多對獲得的建立步驟的結(jié)果。可將所述結(jié)果互相作對比。為說明的目的，車輛的后側(cè)圖像傳感器相對于車輛的前側(cè)圖像傳感器的位置和定向可使用左側(cè)圖像傳感器作為中間圖像傳感器或使用右側(cè)圖像傳感器作為中間傳感器來確定。可將分別計算出來的值互相作對比。對比可在優(yōu)化程序中進行，其中對比可用于加強所述優(yōu)化程序的約束。
第一圖像傳感器的視場和第二圖像傳感器的視場可以是不相交的。第一圖像傳感器和第二圖像傳感器可提供在車輛的相對側(cè)。
所述方法還可以包括基于針對多對獲得的建立步驟的結(jié)果來確定多個圖像傳感器在車輛參考系中的外部參數(shù)。為此，圖像傳感器之一可用作參考，而所有其它圖像傳感器的定向和位置可相對于所述參考圖像傳感器確定?；蜻€可或另還可使用參考圖像傳感器相對于這個車輛參考系的已知位置和定向來確定相對于另一車輛參考系的位置和定向。
確定車輛參考系中的外部參數(shù)可包括計算多個物體的重投影?？纱_定多個物體在圖像和額外圖像中的圖像坐標。當投影到投影表面上時，物體的圖像坐標可使用針對圖像確定的位置和針對額外圖像確定的位置、基于圖像傳感器和額外圖像傳感器的外部參數(shù)來確定?？蓪⑼队氨砻嫔系奈恢没ハ鄬Ρ取Ｈ绻鑫恢玫牟町惔笥谝粋€閾值，那么可校正外部參數(shù)。從而可識別一致的外部參數(shù)組。可提高標定程序的穩(wěn)健性。
車輛視覺系統(tǒng)可為環(huán)繞視圖系統(tǒng)。
所確定的外部參數(shù)可用于基于由多個圖像傳感器捕獲的圖像計算環(huán)繞視圖。使用時，可基于定義用戶想要顯示的環(huán)境區(qū)段的用戶選擇控制顯示器。可基于由圖像傳感器捕獲的圖像和基于標定中確定的車輛視覺系統(tǒng)的外部參數(shù)控制顯示器。
多個物體可包括位于第一平面上的至少三個物體和位于第二平面上的至少三個物體。多個物體可包括位于第一平面上的至少六個物體和位于第二平面上的至少六個物體。第一平面和第二平面可相對于彼此按一個角度配置。第一平面和第二平面可相對于彼此按90°角配置。在另一個實施方案中，第一平面和第二平面可相對于彼此按不同于0°且不同于90°的角度配置。多個物體的這種構(gòu)造不僅容許確定外部參數(shù)，而且容許確定內(nèi)部參數(shù)?？苫趦?nèi)部參數(shù)校正光學畸變，諸如魚眼畸變和/或其它畸變。
多個物體還可以包括位于第三平面上的至少三個物體。第一平面、第二平面和第三平面可相互正交。即，多個物體可被構(gòu)造為三面體，所述物體定位在三個相互正交的平面上。從而可以進一步提高標定的穩(wěn)健性。當物體位于第一平面、第二平面和第三平面上時， 所述三個平面無需相互正交。
在所述方法中，圖像傳感器的內(nèi)部參數(shù)可基于圖像建立，而額外圖像傳感器的內(nèi)部參數(shù)可基于額外圖像來建立。這容許在標定程序中建立車輛視覺系統(tǒng)的外部參數(shù)和內(nèi)部參數(shù)。內(nèi)部參數(shù)可存儲以隨后用于校正圖像畸變。
圖像傳感器可分別包括魚眼透鏡。從而可使用一個圖像傳感器覆蓋大角度范圍。
可在車輛的側(cè)門鏡上提供至少兩個圖像傳感器?？蓽p輕幾何障礙問題。
根據(jù)另一個方面，提供一種車輛視覺系統(tǒng)。所述車輛視覺系統(tǒng)包括多個圖像傳感器和一個圖像處理單元。所述圖像傳感器分別具有一個光學組件以捕獲具有非線性畸變的圖像。圖像傳感器提供在車輛的不同位置上。圖像處理單元被構(gòu)造來處理由多個圖像傳感器捕獲的圖像數(shù)據(jù)。為了標定車輛視覺系統(tǒng)，所述圖像處理單元被構(gòu)造來識別由圖像傳感器捕獲的圖像和由額外圖像傳感器捕獲的額外圖像中所包括的多個物體。所述圖像處理單元被構(gòu)造來基于所捕獲的圖像確定圖像傳感器相對于多個物體的位置和定向，以及基于所捕獲的額外圖像確定額外圖像傳感器相對于多個物體的位置和定向。所述圖像處理單元被構(gòu)造來基于所確定的圖像傳感器相對于多個物體的位置和定向以及基于所確定的額外圖像傳感器相對于多個物體的位置和定向建立所述額外圖像傳感器與所述圖像傳感器之間的相對位置和定向。
車輛視覺系統(tǒng)經(jīng)過構(gòu)造使得即使事先未知多個物體相對于車輛的位置，所述圖像處理單元還是可以標定視覺系統(tǒng)。
圖像處理單元可被構(gòu)造來針對多對圖像傳感器執(zhí)行確定和建立步驟。
圖像處理單元可被構(gòu)造來使用針對分別具有重疊視場的多對圖像傳感器確定的相對位置和定向通過計算確定具有不相交視場的第一圖像傳感器和第二圖像傳感器的相對位置。為說明的目的，所述圖像處理單元可被構(gòu)造來基于第一圖像傳感器與中間圖像傳感器之間的相對位置和定向，以及還基于中間圖像傳感器與第二圖像傳感器之間的相對位置和定向計算第二圖像傳感器與第一圖像傳感器之間的相對位置和相對定向。
車輛視覺系統(tǒng)可被構(gòu)造來執(zhí)行任何一個方面或?qū)嵤┓桨傅姆椒?，圖像處理單元被構(gòu)造來執(zhí)行由圖像傳感器捕獲的圖像之處理。
車輛視覺系統(tǒng)可包括光學輸出裝置。所述圖像處理單元可被構(gòu)造來當經(jīng)由光學輸出裝置輸出環(huán)繞視圖的區(qū)段時使用標定期間確定的車輛視覺系統(tǒng)的參數(shù)。
車輛視覺系統(tǒng)也可以包括輸入界面，所述輸入界面容許用戶選擇將要視覺輸出的環(huán)繞視圖的區(qū)段。
根據(jù)另一個方面，提供一種具有根據(jù)任何一個方面或?qū)嵤┓桨傅能囕v視覺系統(tǒng)的車輛。
實施方案可使用于環(huán)繞視圖系統(tǒng)中而不限于此。


將參考附圖更詳細描述實施方案
圖I是具有車輛視覺系統(tǒng)的車輛的示意圖。
圖2是用于標定車輛視覺系統(tǒng)的多個物體的示意圖。
圖3是圖示了標定程序的圖I的車輛的示意圖。
圖4圖示了使用圖像傳感器捕獲的圖像。
圖5圖示了使用額外圖像傳感器捕獲的圖像。
圖6是包括由車輛視覺系統(tǒng)執(zhí)行的標定方法的方法的流程圖。
圖7是用于確定圖像傳感器之間的相對位置和定向的程序的流程圖。
圖8圖示了投影表面。
具體實施方式
在描述中，相同或類似參考數(shù)字表示相同或類似組件。雖然一些實施方案將在特定上下文(諸如環(huán)繞視圖系統(tǒng))中描述，但是實施方案不限于這些特定上下文。使用在車輛視覺系統(tǒng)的上下文中的諸如“向前”、“前側(cè)”、“向后”、“后側(cè)”或“側(cè)面”的術(shù)語涉及車輛參考系。即，“向前”方向是駕駛員可透過擋風玻璃看見的方向，等。
圖I是示出車輛I的示意圖。車輛I包括車輛視覺系統(tǒng)。車輛視覺系統(tǒng)包括多個圖像傳感器11至14，和耦合到多個圖像傳感器11至14的圖像處理單元10。
圖像傳感器11至14可分別被構(gòu)造為廣角圖像傳感器。圖像傳感器11至14的視場(FOV)可分別具有至少170°的橫向開口角(即，在平行于車輛I的底平面的平面中的開口角)。圖像傳感器11至14的FOV可具有至少175°的橫向開口角。圖像傳感器11至14 可分別包括魚眼透鏡。圖像傳感器經(jīng)過構(gòu)造使得為了適應寬F0V，其捕獲具有非線性畸變的圖像。廣角特征和所得的非線性畸變通常由圖像傳感器的光學組件引起。由圖像傳感器11 至14捕獲的圖像分別示出非線性徑向畸變、非線性桶形畸變和/或非線性魚眼畸變。圖像傳感器11至14分別包括電光傳感器。圖像傳感器11至14可分別包括C⑶傳感器。圖像傳感器11至14的電光傳感器耦合到車輛視覺系統(tǒng)的圖像處理單元(11至14)。
車輛視覺系統(tǒng)可被構(gòu)造為環(huán)繞視圖系統(tǒng)。在這種情況下，圖像傳感器11至14的 FOV 15至18可在平行于車輛底平面的至少一個平面中覆蓋繞車輛I的全360°角度范圍。 如針對圖像傳感器11的F0V15的開口角度20所示，在這平面中的FOV 15至18的開口角度可為至少170°或至少175°。
車輛視覺系統(tǒng)可包括至少四個圖像傳感器11至14?？砂惭b在車輛前側(cè)的圖像傳感器11可具有面朝向前方向的FOV 15?？砂惭b在車輛后側(cè)的另一個圖像傳感器12可具有面朝向后方向的FOV 16。可安裝在車輛側(cè)面的其它圖像傳感器13和14可分別具有導向車輛的對應側(cè)面的FOV 16或18。安裝在側(cè)面的圖像傳感器13、14可安裝在門鏡中。如果門鏡具有可移動組件，那么圖像傳感器13、14可分別安裝在門鏡的靜止區(qū)段中。
處理單元10被構(gòu)造來接收由不同的圖像傳感器11至14產(chǎn)生的圖像數(shù)據(jù)，并且以產(chǎn)生環(huán)繞視圖的這樣一種方式融合圖像數(shù)據(jù)。處理單元10還被構(gòu)造來在標定程序中確定圖像傳感器11至14的外部參數(shù)和內(nèi)部參數(shù)。內(nèi)部參數(shù)可包括定義所捕獲圖像的非線性畸變的對應圖像傳感器的參數(shù)。已知并且使用不同的參數(shù)化來描述廣角圖像傳感器的非線性畸變。這些參數(shù)化的實施例包括徑向畸變的多項式模型、魚眼畸變的非多項式模型、FOV模型或透視模型。處理單元10可存儲標定程序中確定的內(nèi)部參數(shù)。當融合圖像時，處理單元 10可檢索內(nèi)部參數(shù)以校正所捕獲圖像中的非線性畸變。
車輛視覺系統(tǒng)的外部參數(shù)包括關(guān)于所有圖像傳感器在附至車輛的車輛參考系中的位置和定向的信息。車輛參考系可例如由圖像傳感器中的一個(諸如圖像傳感器11)來定義。即，為了確定外部參數(shù)，可相對于圖像傳感器11的位置和定向來確定圖像傳感器12 至14的位置和定向。外部參數(shù)也可以參考附至車輛的任何其它坐標系來確定。在這種情況下，圖像傳感器12至14的位置和定向可首先相對于圖像傳感器11的位置和定向確定。 基于圖像傳感器11在車輛參考系中的已知位置和定向，可確定所有圖像傳感器11至14在車輛參考系中的位置和定向。
處理單元10被構(gòu)造來通過評估由具有重疊FOV的圖像傳感器捕獲的圖像對確定車輛視覺系統(tǒng)的所有圖像傳感器11至14的外部參數(shù)。未單獨針對每個攝像機逐一確定外部參數(shù)。執(zhí)行標定程序以便建立不同圖像傳感器11至14的一致的外部參數(shù)組。這個一致的外部參數(shù)組通過組合使用不同圖像傳感器捕獲的圖像來確定。
在標定程序中，確定具有重疊FOV的圖像傳感器與額外圖像傳感器之間的相對位置和定向。多個物體被定位在圖像傳感器的FOV的重疊區(qū)域中。多個物體相對于彼此的位置是已知的。為說明的目的，多個物體可包括規(guī)則配置的記號，諸如棋盤圖案，棋盤邊角之間的間距是已知的。無需知道多個物體相對于車輛I的位置。
在標定方法中，捕獲多個物體的圖像的圖像傳感器的位置和定向可相對于多個物體來確定。為確定圖像傳感器相對于多個物體的位置和定向，可確定旋轉(zhuǎn)矩陣的矩陣元和平移矢量的矢量元，其定義多個物體的坐標系中的點坐標與由圖像傳感器捕獲的圖像的圖像坐標之間的映射。類似地，可相對于多個物體確定捕獲多個物體的額外圖像的額外圖像傳感器的位置和定向。
基于圖像傳感器相對于多個物體的位置和定向，以及基于額外圖像傳感器相對于相同的多個物體的位置和定向，可導出圖像傳感器與額外圖像傳感器之間的相對位置和定向。
通過針對具有重疊FOV的多對圖像傳感器重復這些動作，可確定具有重疊FOV的圖像傳感器之間的相對位置和定向。這數(shù)據(jù)可經(jīng)過處理來確定無重疊FOV的圖像傳感器之間的相對位置和定向。
圖I示意地圖示了多個22物體24至26。多個22物體被定位在圖像傳感器11的 FOV 15與圖像傳感器13的FOV 17的重疊區(qū)域21中。物體24至26配置在至少一個平面 23上。物體24至26可具有可易使用物體識別方案(諸如邊緣檢測)檢測到的構(gòu)造。為說明的目的，物體24至26可為棋盤圖案的矩形的邊角。雖然在圖I中僅圖示了位于平面23 中的三個物體，但是多個22物體可具有三面體構(gòu)造。多個22物體可包括位于第一平面上的至少三個物體、位于第二平面上的至少三個物體和位于第三平面上的至少三個物體。第一、第二和第三平面可為相互正交的。更多物體可定位在每一平面上以提高標定程序的穩(wěn)定性。為說明的目的，多個22物體可包括位于第一平面上的至少六個物體、位于第二平面上的至少六個物體和位于第三平面上的至少六個物體。
評估由圖像傳感器11捕獲的多個22物體的圖像和使用另一個圖像傳感器13捕獲的多個22物體的額外圖像。這些圖像在多個22物體位于相對于車輛I的相同位置時捕獲。無需事先知道相對于車輛I的位置。處理由圖像傳感器11捕獲的圖像和使用另一圖像傳感器13捕獲的另一圖像來確定圖像傳感器11與另一圖像傳感器13之間的相對位置和定向。此外，可基于由圖像傳感器11捕獲的圖像確定圖像傳感器11的內(nèi)部參數(shù)，并且可基于由額外圖像傳感器13捕獲的額外圖像確定額外圖像傳感器13的內(nèi)部參數(shù)。
類似地，通過捕獲定位在圖像傳感器13的FOV 17與圖像傳感器12的FOV 16的重疊區(qū)域中的多個27物體的圖像，可確定圖像傳感器13與圖像傳感器12之間的相對位置和定向?？扇缟衔尼槍D像傳感器對11和13的說明執(zhí)行處理。
類似地，通過捕獲定位在圖像傳感器11的FOV 15與圖像傳感器14的FOV 18的重疊區(qū)域中的多個29物體的圖像，可確定圖像傳感器11與圖像傳感器14之間的相對位置和定向。通過捕獲定位在圖像傳感器14的FOV 18與圖像傳感器12的FOV 16的重疊區(qū)域中的多個28物體的圖像，可確定圖像傳感器14與圖像傳感器12之間的相對位置和定向。 針對具有重疊FOV的任意對圖像傳感器，可通過與上文針對圖像傳感器對11和13所述相同的方式完成所捕獲的圖像的處理。
雖然圖I中圖示了包括圖像傳感器11和13的一對的FOV的重疊區(qū)域中的多個22 物體、包括圖像傳感器13和12的一對的FOV的重疊區(qū)域中的另外多個27物體、包括圖像傳感器11和14的一對的FOV的重疊區(qū)域中的另外多個29物體和包括圖像傳感器14和12 的一對的FOV的重疊區(qū)域中的另外多個28物體，但是用于確定具有重疊FOV的圖像傳感器之間的相對位置和定向的記號無需同時存在。為說明的目的，同一個三面體可首先被定位在圖像傳感器11和13的FOV 15和17的重疊區(qū)域21中以確定圖像傳感器11與圖像傳感器13之間的相對位置和定向。所述三面體接著可被重新定位到其它重疊區(qū)域以依序確定具有重疊FOV的圖像傳感器之間的相對位置和定向。此外，多個物體也可以按時序方式定位在重疊區(qū)域21中的不同位置上以增加可用于標定的數(shù)據(jù)量。
圖2是多個31物體的示意展示。用于標定的多個31物體包括提供在三個不同平面32至34上的記號。三個平面32至34可以如圖2所示相互正交，或可相對于彼此按不同于0°的另一角度配置。棋盤圖案提供在平面32至34中的每一個上。物體可為棋盤的矩形的邊角。這些物體的相對位置可由正方形棋盤的一個參數(shù)量化，所述參數(shù)表示棋盤的一個正方形的邊長。可使用常規(guī)邊緣檢測算法檢測所捕獲圖像中的邊角。
可使用其它記號和其它數(shù)量的物體。在實施方案中，物體可被定位在彼此不同的至少兩個平面上。兩個平面尤其可相對于彼此按90°的角度配置。在每一個平面上，可提供至少三個物體，尤其至少六個物體。
在另外其它實施中，可使用多個物體，其中所述物體并不是都位于相同平面內(nèi)。 即，一些物體可經(jīng)過定位使得它們與多個物體中的至少三個其它物體所處的平面間隔開。
圖3是具有車輛視覺系統(tǒng)的車輛I的示意圖。
多個22物體的圖像(其可為專用記號，諸如棋盤圖案)由一對41圖像傳感器中的圖像傳感器11和另一個圖像傳感器13捕獲。基于這些圖像，可確定圖像傳感器11與圖像傳感器13之間的相對位置和定向。此外，可確定圖像傳感器11和圖像傳感器13的內(nèi)部參數(shù)。
圖像傳感器11與圖像傳感器13之間的相對位置可由圖像傳感器11的特征點與圖像傳感器13的特征點之間的平移矢量定義。圖像傳感器11與圖像傳感器13之間的相對定向可由將圖像傳感器11的坐標系與圖像傳感器13的坐標系彼此對準所需的旋轉(zhuǎn)矩陣來定義。圖像傳感器11的坐標系的軸35可為圖像傳感器11的光學系統(tǒng)的特征軸，諸如光軸。類似地，圖像傳感器13的坐標系的軸37可為圖像傳感器13的光學系統(tǒng)的特征軸，諸如光軸。
通過處理定位在FOV的重疊區(qū)域中的多個27物體的圖像，可確定所述一對42中的圖像傳感器13與12的相對位置和定向。通過處理定位在FOV的重疊區(qū)域中的多個29 物體的圖像，可確定所述一對43中的圖像傳感器11與14的相對位置和定向。通過處理定位在FOV的重疊區(qū)域中的多個28物體的圖像，可確定所述一對44中的圖像傳感器14與12 的相對位置和定向。
因此所確定的相對位置和定向容許執(zhí)行一致性檢查。為說明的目的，圖像傳感器 12與圖像傳感器11之間的相對位置和定向可通過兩種不同方式確定。圖像傳感器12與圖像傳感器11之間的相對位置和定向可基于針對一對41和針對一對42所獲得的結(jié)果來計算。圖像傳感器12與圖像傳感器11之間的相對位置和定向也可以基于針對一對43和針對一對44所獲得的結(jié)果來計算。使用分別來自不同圖像傳感器對的數(shù)據(jù)而確定的圖像傳感器12與圖像傳感器11之間的相對位置和定向可彼此對比。這樣一種對比可在優(yōu)化程序中執(zhí)行，其中獨立于是否使用針對一對41和42而確定的相對位置和定向，或是否使用針對一對43和44而確定的相對位置和定向，所有圖像傳感器11至14的外部參數(shù)可在圖像傳感器11與圖像傳感器12之間的相對位置和定向應具有相同值的約束下確定。
圖4是使用圖像傳感器捕獲的圖像45的示意展示。圖5是使用額外圖像傳感器捕獲的圖像46的示意展示。使用具有重疊FOV的圖像傳感器捕獲圖像45和46。為說明的目的，圖像45可為使用圖像傳感器11捕獲的圖像。圖像46可為使用圖像傳感器13捕獲的圖像。
在圖像45的右手側(cè)上具有棋盤圖案的三面體表示與圖像46的左手側(cè)上具有棋盤圖案的三面體相同的多個物體。這容許確定捕獲圖像45和46的圖像傳感器之間的相對位置和定向。
下文描述可用于確定具有重疊和不重疊FOV的攝像機之間的相對位置和定向的程序?？墒褂锰娲绦蚝?或替代的數(shù)字描述。
程序一般包括(A)針對一對圖像傳感器的每個圖像傳感器確定圖像傳感器相對于由多個物體定義的坐標系的位置和定向；(B)使用(A)的結(jié)果建立所述一對中的一個圖像傳感器與所述一對中的另一個圖像傳感器之間的相對位置和定向；和(C)使用所建立的針對多個不同圖像傳感器對確定的相對位置和定向來確定具有不相交FOV的圖像傳感器的相對位置和定向。
(A)確定圖像傳感器相對于由多個物體所定義的坐標系的位置和定向
齊次坐標可用于定義在多個物體的坐標系中定義的多個物體的坐標與圖像傳感器的圖像平面之間的映射。
齊次坐標可用于將由多個物體定義的坐標空間中的坐標在圖像平面上的映射描述為矩陣乘法。在由多個物體定義的坐標系中，物體的坐標可寫為4個矢量
權(quán)利要求
1.一種標定車輛視覺系統(tǒng)的方法，所述車輛視覺系統(tǒng)包括分別捕獲具有非線性畸變，尤其是魚眼畸變的圖像(45、46)并且提供在所述車輛(I)的不同位置上的多個圖像傳感器(11 至 14)， 所述方法包括針對一對(41至44)圖像傳感器執(zhí)行下列步驟，所述圖像傳感器對包括所述多個圖像傳感器(11至14)中的一個圖像傳感器(11)和一個額外圖像傳感器(12) 使用所述圖像傳感器(11)捕獲多個(22)物體的圖像(45)，以及使用所述額外圖像傳感器(13)捕獲所述多個(22)物體的額外圖像(46)，所述多個(22)物體定位在所述圖像傳感器(11)的視場(15)與所述額外圖像傳感器(13)的視場(17)的重疊區(qū)域(21)中； 基于所述捕獲的圖像(45)確定所述圖像傳感器(11)相對于所述多個(20)物體的位置和定向，以及基于所述捕獲的額外圖像(46)確定所述額外圖像傳感器(13)相對于所述多個(22)物體的位置和定向；和 基于所述確定的結(jié)果建立所述額外圖像傳感器(13)與所述圖像傳感器(11)之間的相對位置和定向。
2.根據(jù)權(quán)利要求I所述的方法， 其中針對具有重疊視場(15至18)的多對(41至44)圖像傳感器(11至14)分別執(zhí)行所述捕獲、確定和建立步驟。
3.根據(jù)權(quán)利要求2所述的方法，其中所述多對中的一對(41)包括第一圖像傳感器(11)和中間圖像傳感器(13)，以及其中所述多對中的另一對(42)包括所述中間圖像傳感器(13)和第二圖像傳感器(12)，所述方法還包括 基于針對所述一對(41)獲得的所述建立步驟的結(jié)果以及針對所述另一對(42)獲得的所述建立步驟的結(jié)果建立所述第二圖像傳感器(12)與所述第一圖像傳感器(11)之間的相對位置和定向。
4.根據(jù)權(quán)利要求3所述的方法，其中針對額外多對(43、44)圖像傳感器中的每一對分別執(zhí)行所述捕獲、確定和建立步驟， 其中所述第二圖像傳感器(12)與所述第一圖像傳感器(11)之間的所述相對位置和定向是基于針對所述額外多對(43、44)而獲得的所述建立步驟的結(jié)果而建立。
5.根據(jù)權(quán)利要求4所述的方法，其還包括 對比 -基于針對所述多對(41、42)獲得的所述建立步驟的結(jié)果而計算的所述第二圖像傳感器(12)與所述第一圖像傳感器(11)之間的所述相對位置和定向，和 -基于針對所述額外多對(43、44)獲得的所述建立步驟的結(jié)果而計算的所述第二圖像傳感器(12)與所述第一圖像傳感器(11)之間的所述相對位置和定向。
6.根據(jù)權(quán)利要求3至5中任一項所述的方法， 其中所述第一圖像傳感器(11)的視場(15)和所述第二圖像傳感器(12)的視場(16)不相交。
7.根據(jù)權(quán)利要求3至5中任一項所述的方法， 其中所述第一圖像傳感器(11)和所述第二部圖像傳感器(12)提供在所述車輛(I)的相對側(cè)上。
8.根據(jù)權(quán)利要求I至5中任一項所述的方法，其中所述確定所述圖像傳感器的位置和定向包括確定矢量i ,其 IMI丨 在矢量夏具有固定模數(shù)的約束下變?yōu)樽钚≈?，其中L是具有等于所述矢量M的行數(shù)的列數(shù)的矩陣，且其中I I I I表示矢量模函數(shù)。
9.根據(jù)權(quán)利要求8所述的方法， 其中所述矢量I 具有作為所述圖像傳感器的攝像機矩陣元的矩陣元。
10.根據(jù)權(quán)利要求9所述的方法， 其中所述矢量M定義為
11.根據(jù)權(quán)利要求8所述的方法， 其中所述矢量瀟獨立于所述圖像傳感器的內(nèi)部參數(shù)。
12.根據(jù)權(quán)利要求11所述的方法， 其中所述矩陣L獨立于所述圖像傳感器的內(nèi)部參數(shù)。
13.根據(jù)權(quán)利要求I至5中任一項所述的方法，其還包括 基于針對所述多對(41至44)獲得的所述建立步驟的結(jié)果而確定所述多個圖像傳感器(11至14)在車輛參考系中的外部參數(shù)。
14.根據(jù)權(quán)利要求13所述的方法， 其中確定所述車輛參考系中的所述外部參數(shù)包括計算所述多個物體(22至29 ；31)的投影。
15.根據(jù)權(quán)利要求13所述的方法， 其中所述車輛視覺系統(tǒng)是環(huán)繞視圖系統(tǒng)，且所述確定的外部參數(shù)用于基于由所述多個圖像傳感器(11至14)捕獲的圖像(45、46)而計算環(huán)繞視圖。
16.根據(jù)權(quán)利要求I至5中任一項所述的方法， 其中所述多個物體(31)包括位于第一平面(32)上的至少三個物體和位于第二平面(33)上的至少三個物體，所述第一平面(32)和所述第二平面(33)相對于彼此按一個角度配置。
17.根據(jù)權(quán)利要求16所述的方法， 其中所述多個物體(31)包括位于第三平面(34)上的至少三個物體，其中所述第一平面(32)、所述第二平面(33)和所述第三平面(34)相互正交。
18.根據(jù)權(quán)利要求I至5中任一項所述的方法，其中所述圖像傳感器(11)的內(nèi)部參數(shù)基于所述圖像(45)建立，且其中所述額外圖像傳感器(12)的內(nèi)部參數(shù)基于所述額外圖像(46)建立。
19.根據(jù)權(quán)利要求I至5中任一項所述的方法， 其中所述圖像傳感器(11至14)分別包括魚眼透鏡，且 其中所述圖像傳感器中的至少兩個(13、14)提供在所述車輛(I)的側(cè)門鏡上。
20.一種車輛視覺系統(tǒng)，其包括 多個圖像傳感器(11至14)，其分別具有電光組件以捕獲具有非線性畸變的圖像(45、46)，所述圖像傳感器(11至14)提供在所述車輛(I)上的不同位置上；和 圖像處理單元(10)，其被構(gòu)造來處理由所述多個圖像傳感器(11至14)捕獲的圖像數(shù)據(jù)，所述圖像處理單元(10)被構(gòu)造來 識別包括在由圖像傳感器(11)捕獲的圖像(45)和由額外圖像傳感器(12)捕獲的額夕卜圖像(46)中的多個物體(22)； 基于所述捕獲的圖像(45)確定所述圖像傳感器(11)相對于所述多個物體(22)的位置和定向，以及基于所述捕獲的額外圖像(46)確定所述額外圖像傳感器(13)相對于所述多個物體(22)的位置和定向；和 基于所述圖像傳感器(11)相對于所述多個物體(22)的所述確定位置和定向以及所述額外圖像傳感器(13)相對于所述多個物體(22)的所述確定位置和定向建立所述額外圖像傳感器(13)與所述圖像傳感器(11)之間的相對位置和定向。
全文摘要
一種車輛視覺系統(tǒng)包括分別捕獲具有非線性畸變的圖像的多個圖像傳感器(11至14)。為了標定所述車輛視覺系統(tǒng)，使用圖像傳感器(11)捕獲多個(22)物體的圖像，以及使用額外圖像傳感器(13)捕獲所述多個(22)物體的額外圖像。所述圖像傳感器(11)和所述額外圖像傳感器(13)具有重疊的視場(15、17)。所述圖像傳感器(11)相對于所述多個(22)物體的位置和定向基于所述捕獲的圖像確定。所述額外圖像傳感器(13)相對于所述多個(22)物體的位置和定向基于所述捕獲的額外圖像確定。所述額外圖像傳感器(13)與所述圖像傳感器(11)之間的相對位置和定向基于所述確定的結(jié)果而建立。
文檔編號B60R1/00GK102982526SQ20121017983
公開日2013年3月20日 申請日期2012年6月1日 優(yōu)先權(quán)日2011年6月1日
發(fā)明者K.納特羅什威利, K-U.肖勒, J.夸斯特 申請人:哈曼貝克自動系統(tǒng)股份有限公司