特定平面的檢測方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種在立體視覺中檢測特定平面的方法和系統(tǒng)，該方法包括：根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖；根據(jù)所述視差圖來生成寬度-距離圖；以及基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。通過基于從視差圖和/或灰度圖生成的所述逆透變換圖（IPM圖）和所述寬度-距離圖（RWD圖）的匹配來檢測所述特定平面，可以更準確地檢測到該特定平面。
【專利說明】特定平面的檢測方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種特定平面的檢測方法和系統(tǒng)，且更具體地，涉及在立體視覺系統(tǒng)中檢測例如路面的特定平面的檢測技術(shù)。

【背景技術(shù)】
[0002]如今，隨著圖像處理技術(shù)的不斷深化發(fā)展，人們已經(jīng)不能滿足于僅反映物體的平面視覺的二維圖像了，人們已經(jīng)越來越注意到還能反映物體的遠近、凸凹和深淺的立體感的立體視覺、例如3D/三維技術(shù)，并研究和產(chǎn)生了諸多應用。
[0003]人的左右眼在觀察物體時存在視差，這一發(fā)現(xiàn)奠定了雙目立體視覺的理論基礎。雙目立體視覺是由不同位置的兩臺攝像機(所謂雙目攝像機)或者一臺攝像機經(jīng)過移動或旋轉(zhuǎn)拍攝同一場景，通過各種算法匹配出相應像點，從而計算出該像點的視差并生成視差圖，然后基于三角測量原理恢復該像點的深度(距離)信息。該雙目立體視覺計算像點的視差圖的計算和生成已經(jīng)是本領(lǐng)域技術(shù)中公知的，其詳細算法和過程在此不贅述。
[0004]這種立體視覺的應用范圍非常廣泛，諸如三維電影、基于三維技術(shù)的道路檢測、行人檢測、自動駕駛等等應用。而在立體視覺中檢測特定平面也成為研究的熱點。
[0005]例如，可靠的3D道路環(huán)境理解對于車輛的安全輔助/自主駕駛十分重要，尤其是對于環(huán)境遠復雜于高速公路、鄉(xiāng)間道路的城市道路。3D駕駛環(huán)境的識別主要包括:路面檢測，路邊護欄檢測，消失點檢測以及行人、車輛檢測等。在這些功能當中，路面檢測是非常重要的一個部分，它的性能對其他功能有很大的影響。如果能夠更準確地且高效地檢測出例如道路平面，或其他特定平面，則可以通過這些參數(shù)來獲得更為廣泛的應用，例如檢測位于道路或其他特定平面上的行人、車輛、建筑物或其他物體等等。
[0006]已知的技術(shù)也對道路平面的檢測提出了一些解決方案。例如，下面列出兩篇相關(guān)文獻:
[0007]專利文獻1:RAB0ISS0N等人在1998年I月6日公布的美國專利申請公開N0.US5706355A,題為“Method of analyzing sequences of road images, device forimplementing it and its applicat1n to detecting obstacles，，,該專利文獻 I 通過分析亮度信息以提取輪廓與區(qū)域，并建立路面模板，分析顏色信息以確定路面點，并結(jié)合亮度與顏色信息提取最終的路面。這樣通過亮度與顏色特征進行路面檢測，容易受到天氣，光照，陰影等變化的影響，而得到檢測不準確的道路平面。
[0008]專利文獻2 =IffASE KOJI等人在2009年10月8日公開的日本特開N0.JP2009230709A,題為“Detect1n Apparatus for Vehicle Traveling Road Surface，，。專利文獻2的路面檢測方法包括:從立體相機輸出圖像中獲取每一行的視差點，高度最低的點被提取出來進行后續(xù)處理，基于高度與距離信息進行路面檢測。其利用高度特征進行路面檢測，其選擇每一行中的最低點作為路面點。但在一些場景中，路面點并不總是最低點，如高架橋上的路面，兩側(cè)有溝渠的道路等，而得到檢測不準確的道路平面。


【發(fā)明內(nèi)容】

[0009]根據(jù)本發(fā)明的一個方面，提供一種在立體視覺中檢測特定平面的方法，包括:根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換(Inverse Perspective Mapping, IPM)圖；根據(jù)所述視差圖來生成寬度-距離(Real Width Distance, RffD)圖；以及基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。
[0010]根據(jù)本發(fā)明的另一方面，提供一種在立體視覺中檢測特定平面的系統(tǒng)，包括:逆透變換圖生成裝置，被配置為根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖；寬度-距離圖生成裝置，被配置為根據(jù)所述視差圖來生成寬度-距離圖的裝置；以及特定平面檢測裝置，被配置為基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。
[0011]根據(jù)本發(fā)明的各個實施例，可以采用例如道路平面的平面特征，進行IPM圖與RWD圖的匹配以檢測該道路平面。與那些微觀特征(例如，顏色，邊緣，紋理等)相比，道路的平面特征是一個宏觀特征，因此，本發(fā)明的各個實施例對環(huán)境變化有較強的魯棒性。與此同時，在本公開中，IPM圖與RWD圖可以不分先后的同時生成，因此可以進行并行處理，因此本發(fā)明的各個實施例還具有較強的實時性。

【專利附圖】

【附圖說明】
[0012]圖1示出了根據(jù)本發(fā)明的一個實施例的用于在立體視覺中檢測特定平面的方法的示意流程圖。
[0013]圖2示例性地示出了基于灰度圖或視差圖生成IPM圖的示意圖。
[0014]圖3示例性地示出了基于視差圖生成RWD圖的示意圖。
[0015]圖4A-4E示例性地示出了所述逆透變換圖和所述寬度-距離圖的匹配的過程。
[0016]圖5示例性地示出了根據(jù)本發(fā)明的實施例的檢測特定平面的方法的效果與傳統(tǒng)方法的效果的比較。
[0017]圖6示出了根據(jù)本發(fā)明的另一個實施例的用于在立體視覺中檢測特定平面的系統(tǒng)的示意方框圖。

【具體實施方式】
[0018]現(xiàn)在將詳細參照本發(fā)明的具體實施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié)合具體實施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實施例。相反，想要覆蓋由所附權(quán)利要求限定的在本發(fā)明的精神和范圍內(nèi)包括的變更、修改和等價物。應注意，這里描述的方法步驟都可以由任何功能塊或功能布置來實現(xiàn)，且任何功能塊或功能布置可被實現(xiàn)為物理實體或邏輯實體、或者兩者的組合。
[0019]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步詳細說明。
[0020]圖1示出了根據(jù)本發(fā)明的一個實施例的用于在立體視覺中檢測特定平面的方法100的示意流程圖。
[0021]該在立體視覺中檢測特定平面的方法100包括:步驟S101，根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖(IPM圖);步驟S102，根據(jù)所述視差圖來生成寬度-距離圖(RffD圖);以及步驟S103，基于所述逆透變換圖(IPM圖)和所述寬度-距離圖(RWD圖)的匹配，來檢測所述特定平面。
[0022]通過基于從視差圖和/或灰度圖生成的所述逆透變換圖(IPM圖)和所述寬度-距離圖(RWD圖)的匹配來檢測所述特定平面，可以更準確地檢測到該特定平面。
[0023]在一個實施例中，所述逆透變換IPM圖可以用于描述所述視差圖中的對象在世界坐標系中在與所述特定平面相關(guān)的具體平面上的圖形表示。而所述寬度-距離RWD圖可以用于描述所述視差圖中的對象在寬度和距離上的關(guān)系。注意，這里所說的“寬度”可以與實際寬度相關(guān)，其可以是實際寬度，也可以與實際寬度成比例。在本公開中，示例性地利用實際寬度來生成RWD圖。
[0024]在一個實施例中，所述逆透變換IPM圖可以是通過將視差圖中的對象從圖像坐標系重新映射到世界坐標系、將世界坐標系的V軸和u軸變換為等分辨率的、并取世界坐標系的Z坐標為與所述特定平面相關(guān)的一特定值(在此例中為O)而得到的平面圖。一般來說，世界坐標系的V軸表示距離(或深度)，u軸表示寬度，z軸表示高度。為了去除在攝像機成像過程中的透視變換效果，所謂逆透視變換IPM圖的幾何變換被用來對灰度圖或視差圖進行重新映射，以得到一種在水平與縱向上均勻分布的俯視圖。該IPM圖的生成是公知的，可以從例如袁啟平等人發(fā)表在微計算機信息2010年21期的論文“基于逆透視投影變換的圖像拼接方法”、以及題為“Implementat1n of inverse perspective mapping algorithmfor the development of an automatic lane tracking system，，，作者為 Muad, AnuarMikdad;Hussain, Aini;Samad, S.A.;Mustaffa, Mohd Marzuki;Maj I is, Burhanuddin Yeop.TENC0N2004,2004IEEE Reg1nlOConference, Page (s):207-210Vol.1.中得到。在此將這些論文合并于此，且不贅述IPM圖的具體生成方式。
[0025]這里，一般通過視差圖和攝像機的內(nèi)部參數(shù)和外部參數(shù)來進行該IPM圖的生成。通常，通過離線標定來獲得攝像機的內(nèi)部參數(shù)(例如，雙目攝像機的基線距離、光學特性等)，同時根據(jù)攝像機在車輛上的安裝位置，確定攝像機的外部參數(shù)(例如，攝像機相對于路面的角度、位置等)。
[0026]注意，在普通的IPM圖的生成(例如上述并入的論文所述的)中，可能需要在將視差圖中的對象從圖像坐標系重新映射到世界坐標系之后,將世界坐標系的V軸和u軸變換為等分辨率的，然后再取世界坐標系的Z坐標為與所述特定平面相關(guān)的一特定值(在此例中為O)來得到IPM圖，這是因為在直接將視差圖中的對象從圖像坐標系重新映射到世界坐標系時，在世界坐標系的V軸方向上，單位像素所表示的實際距離不同。在上述論文中，例如，由于V軸方向上，單位像素所表示的實際距離不同，因此通過u軸上的點來求得V軸上的單位像素與實際距離的比例值(例如，任意選取一對平行于u軸的點，依據(jù)式u-v軸的關(guān)系公式(見上述論文中的公式(7))得到它們在世界坐標系中沿距離方向的實際距離差Λ X，然后給它在目標圖像中分配相應的像素數(shù)N，則可得比例N/ Δ X)。如此，通過該單位像素與實際距離的比例值，可以將重新映射得到的世界坐標系變換為U、V軸相對于像素都是等比例的，從而更好地還原物體的實際尺寸。
[0027]在上述實施例中，生成的逆透變換IPM圖能夠使得在與所述特定平面(例如路面)相關(guān)的一平面(例如世界坐標系ζ坐標=0的平面)上的點不發(fā)生變形，而不在與所述特定平面(例如路面)相關(guān)的一平面上的點可能發(fā)生變形(在此，假設世界坐標系ζ坐標=0的平面(即，與特定平面相關(guān)的一平面)能夠模擬諸如路面的特定平面)。在此，該與所述特定平面(例如路面)相關(guān)的一平面不一定就是該特定平面本身，但是希望該相關(guān)的一平面能夠盡可能地接近該特定平面、例如路面，這樣能夠使得檢測該特定平面、例如路面的效果更準確。
[0028]圖2示例性示出了基于灰度圖和視差圖來生成逆透變換IPM圖的結(jié)果。參考圖2，從圖2的右側(cè)的基于視差圖得到的IPM圖可以看出，在例如世界坐標系ζ坐標=0的平面上的點(例如路面上的車道線的點)沒有發(fā)生變形，而不在ζ坐標=0的平面上的點可能發(fā)生變形(參考路面上方的車輛以及道路旁邊的護欄等等)。從圖2的左側(cè)的基于灰度圖得到的IPM圖更可以看出，位于例如路面上(非路面上方或下方)的車道線的形狀特征得到了保持，而不位于路面上(例如，位于路面上方或下方)的其他物體的形狀特征全部發(fā)生了變形。
[0029]注意，在實際應用中，可以通過灰度圖或視差圖來生成IPM圖(參照上述合并的論文中生成IPM圖的步驟)，但是為了使得與下述寬度-距離圖(RWD圖)的匹配更加精確，可以在生成IPM圖和RWD圖時都使用同一視差圖來進行。當然，本公開也不限于此，根據(jù)本領(lǐng)域技術(shù)人員對IPM圖和RWD圖的生成原理的理解，也可以使用其他圖像特征和參數(shù)來生成類似于IPM圖和RWD圖的其他圖，在此，將這種其他圖也被包括在本公開中提到的逆透變換圖(或IPM圖)和寬度-距離圖(或RWD圖)的范圍內(nèi)。
[0030]在一個實施例中，所述寬度-距離圖(RWD圖)可以是通過將所述視差圖重新映射到以寬度為一個坐標軸且以距離為另一坐標軸的二維域而得到的平面圖，其中，所述寬度-距離圖圖中的兩個坐標軸分別是等分辨率的。
[0031 ] 在視差圖中，每個點的視差值表示深度信息?；赬 — Y及深度信息，可以對視差圖進行變換以得到真實寬度-距離(RWD)圖。RWD圖也是一種俯視圖，該RWD圖中水平與垂直(X —寬度，Y—距尚)坐標都分別具有相等的分辨率。例如，在RWD圖中，一輛2米寬的車，在距離為10米處具有20個像素寬度,那么另一輛2米寬的車,在距離為50米處,依然具有20個像素寬。
[0032]在一個實施例中，所述逆透變換圖和/或?qū)挾?距離圖可以通過視差圖、拍攝得到所述視差圖的攝像機的內(nèi)部參數(shù)和外部參數(shù)來得到。
[0033]也就是說，通過視差圖和攝像機的內(nèi)外參數(shù)，可以得到例如物體的實際寬度和物體與攝像機的距離，從而將該實際寬度和距離作為二維域上相互垂直的兩個坐標軸，可以將這些物體重新映射到該寬度-距離圖(RWD圖)中。在此，由于物體的實際寬度和攝像機的距離對于每個像素來說是等分辨率的，因此重新映射得到的該寬度-距離圖(RWD圖)不需要像在生成IPM圖時一樣進行等分辨率的轉(zhuǎn)換。
[0034]圖3示例性地示出了基于視差圖生成RWD圖的示意圖。從圖3中可以看出，基于視差圖生成的RWD圖可以示出位于路面上的車道線、車輛、路面兩邊的護欄、等等各個物體的形狀特征(其中，這些形狀特征沒有發(fā)生過多的變形)。
[0035]從上述IPM圖和RWD圖的生成過程可以看出，對于原始視差圖中的任意點，它將根據(jù)逆透視變換映射到IPM圖中，同時它又將根據(jù)其深度與寬度信息映射到RWD圖中。在IPM圖中，X—水平維與Y—垂直維(寬度維與距離維)在方向上都分別是等分辨率的。與此同時，在RWD圖中，在這兩個方向也分別是等分辨率的。兩個圖的水平與垂直坐標的單位都可以是實際的物理單位:米(或其他單位)。因此，對于路面平面上的任意點，其在IPM圖與RWD圖中都有著近似相同的坐標(X —寬度，Y—距離，單位:米(或其他單位))。與此同時，對于任意非路面平面上的點，其在IPM圖與RWD圖中具有不同的坐標。因此，根據(jù)本實施例的方法可以通過在如下步驟中進行上述IPM圖和RWD圖的匹配來確定路面上的點與非路面上的點，來較為準確地檢測到該諸如道路面的特定平面。
[0036]例如，車輛的底部與路面相接觸的部分，這些點也處于路面平面中，他們在IPM圖與RWD圖中具有近似相同的坐標；與此同時，車輛上的其他點，即位于路面平面上方的那些點，在IPM圖與RWD圖中具有不同的坐標值。因為車輛后部的那些點，無論在上部還是下部，距相機的距離都是相同的，所以在RWD圖中，他們具有相同的垂直坐標(Y坐標，深度，距離方向)。而在IPM圖中，車輛上部的點，即位于路面平面上方的那些點，在生成IPM圖時將發(fā)生畸變。故可以通過匹配IPM圖與RWD圖來確定路面點與非路面點。
[0037]因此，在生成了逆透變換IPM圖和所述寬度-距離RWD圖之后，可以通過觀察該IPM圖和RWD圖的圖像特征來檢測特定平面。
[0038]以下例舉(而非限制)通過一種通過該IPM圖和RWD圖來檢測特定平面的示例方式:
[0039]具體地，在一個實施例中，圖1所示的所述基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面的步驟S103可以包括:S1031 (圖中未示出)，對于所述灰度圖和視差圖中的至少一個上的像素點，查找在該像素點被重新映射到的逆透變換圖和所述寬度-距離圖兩者的兩個坐標；S1032 (圖中未示出)比較所述兩個坐標的距離，如果該距離小于預定閾值，則確定該像素點在所述逆透變換圖和寬度-距離圖上是匹配的，作為所述特定平面上的點；以及S1033(圖中未示出)，根據(jù)所述特定平面上的各個點來獲得所述特定平面。
[0040]具體地，由于攝像機的外部參數(shù)(即攝像機相對于路面的參數(shù))是離線標定的，而在車輛行駛過程中，路面會有起伏，傾斜等變化，即先前標定的攝像機的外部參數(shù)可能發(fā)生了改變。但進行IPM變換時一般采用的是先前的攝像機的外部參數(shù)，在IPM圖與RWD圖的匹配時，生成的IPM圖上的路面點的坐標可能與RWD圖中的同一個路面點所映射的坐標不完全一致，因此，可能需要在一定的精確度上進行路面點的匹配，即不一定要求同一路面點或其他像素點在IPM和RWD圖中具有完全相同的坐標、或者完全相同的圖像特征(例如，灰度、色度等)，而可以允許一定程度的容許范圍來進行路面點的匹配。要匹配兩個圖上的各個像素點的匹配方式存在很多公知的方式，例如運動圖像中的圖像匹配算法、其他各種圖像匹配算法等等。下面例舉兩個匹配方式作為示例而非限制:
[0041]—種匹配方法是基于局部信息的方法，另一種匹配方法是基于全局信息的方法。
[0042]基于局部信息的匹配方法可以以所要匹配的像素點為中心，選取矩形或梯形區(qū)域(或其他形狀的區(qū)域)為掃描窗口，即，不僅考慮中心點，還考慮其矩形或梯形鄰域內(nèi)的其他點的分布。在匹配時，可以以RWD圖中的一個像素點為基準(也可以IPM圖為基準)，在IPM圖(相應的為RWD圖)中該像素點的對應位置附近進行掃描窗口的匹配。若在IPM圖中的這個掃描窗口中找到一個像素點，其例如灰度值與RWD圖中的要匹配的像素點的灰度值的差值小于一定閾值，則可以認為兩個像素點是匹配的，且可以判定其都為路面上的路面點。若未匹配上，則判定其為非路面點。
[0043]基于全局信息的匹配方法分別在IPM圖與RWD圖中檢測車道線或道路邊緣等路面標志物，然后在IPM圖與RWD圖中匹配所檢測到的車道線等標志物(例如通過圖像匹配等公知方式)。若匹配上，則判定這些標志物為路面上的目標。若未匹配上，則判定其為非路面目標。與基于局部信息的方法相比，基于全局信息的匹配方法的魯棒性更強。
[0044]因此，在另一個實施例中，圖1所示的所述基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面的步驟S103可以包括:以逆透變換圖和所述寬度-距離圖中的一個圖中的第一像素為基準，在所述逆透變換圖和所述寬度-距離圖中的另一個圖中、在與所述第一像素相距的一預定區(qū)域范圍內(nèi)查找與所述第一像素的特征的差異小于預定閾值的第二像素，作為與所述第一像素匹配的像素點且作為所述特定平面上的點；以及根據(jù)所述特定平面上的各個點來獲得所述特定平面。
[0045]參考圖4A-4E來舉例說明所述逆透變換圖和所述寬度-距離圖的匹配的具體過程。
[0046]在圖4A中，獲得通過圖4A上部的示例視差圖生成的示例的IPM圖和RWD圖(為了直觀和便于理解，用線條來代表性地示出這些圖)。從圖4A的IPM圖中可以看出，在諸如道路面的特定平面上的物體(例如路面上的車道線，和車輛與路面接觸的底部)的形狀特征(例如，邊緣、大小等)被保持、而不在諸如道路面的特定平面上的其他物體(例如，車輛的除了與路面接觸的底部以外的部分)的形狀特征變形。而在圖4A的RWD圖中，基本上示出了各個物體(包括路面上的車道線和車輛)的實際形狀特征(因為RWD圖是用實際寬度和距離來產(chǎn)生的，因此RWD圖與實際形狀特征相符)。
[0047]注意，由于IPM圖和RWD圖一般都是由雙目攝像機拍攝得到的左右視圖而生成的視差圖來生成的，因此一般無法還原物體的原本形狀(因為，只從攝像機的角度看到了物體的正面)。因此，圖4A中的IPM圖和RWD圖中的車輛均不是車輛的實際原本形狀，而在IPM圖中，由于將車輛的除了與地面接觸的部分以外的其他部分看做是比所述與地面接觸的部分更遠的部分，因此在生成IPM圖時，認為該其他部分中的單位像素所表示的距離越遠，因此車輛的該其他部分顯得更大。而在RWD圖中，由于只利用了視差圖中看到的物體的寬度和距離的信息，因此在RWD圖中也沒有顯示從攝像機的角度看去看不到車輛的后面的部分。
[0048]然后，在圖4B中，可以以逆透變換圖和所述寬度-距離圖中的一個圖中的第一像素為基準，在所述逆透變換圖和所述寬度-距離圖中的另一個圖中、在與所述第一像素相距的一預定區(qū)域范圍內(nèi)查找與所述第一像素的特征的差異小于預定閾值的第二像素，作為與所述第一像素匹配的像素點。例如，如圖4B所示，對于視差圖中的車輛底部的那個像素點，以在IPM圖中的車輛底部的相應像素點為基準，在例如RWD圖中查找與所述視差圖中的那個像素點對應的相應像素點。例如，如果圖4B中RWD圖中所示的相應點與IPM圖中的相應點的坐標的距離小于預定閾值(該距離位于例如15X15像素范圍(或其他形狀、其他大小的范圍)內(nèi))，則可以將該RWD圖中的相應點作為IPM圖中的相應點的匹配的像素點，從而確認該RWD圖中的該點以及IPM圖中的該點是位于特定平面上的點。
[0049]在圖4C中，類似地，對于視差圖中的車道線上的那個像素點，以在IPM圖中的車道線上的相應像素點為基準，在RWD圖中查找與所述視差圖中的那個像素點對應的相應像素點。例如，如果圖4B的RWD圖中所示的車道線上的相應點與IPM圖中的相應點的坐標的距離小于預定閾值(該距離位于例如15X15像素范圍(或其他形狀、其他大小的范圍)內(nèi))，則可以將該RWD圖中的該點作為IPM圖中的該點的匹配的像素點，從而確認該RWD圖中的該點以及IPM圖中的該點是位于特定平面上的點。
[0050]例如，如圖4C所示，對于視差圖中的車輛身體上的那個像素點，以IPM圖的車輛身體上的相應點為基準，在RWD圖中查找與所述視差圖中的那個像素點對應的相應像素點。但是，如果圖4C的RWD圖中所示的車輛身體上的相應點與IPM圖中的相應點的坐標的距離大于預定閾值(該距離位于例如15X15像素范圍(或其他形狀、其他大小的范圍)以外)，則可以認為該視差圖中的該像素點在RWD圖和IPM圖中不匹配，從而確認該RWD圖中的該點以及IPM圖中的該點不是位于特定平面上的點。見圖4C的上部，車輛的身體(不是與路面接觸的部分)上的那個點映射到IPM圖中和映射到RWD圖中，得到不同坐標位置處的兩個相應像素點。因此，這種在IPM圖和RWD圖中不匹配的像素點可以被認為不位于特定平面上。
[0051]因此，通過上述示例過程，可以反復地將IPM圖和RWD圖中的所有像素點都進行匹配的過程，最終找到在兩個圖中匹配的各個像素點作為特定平面上的各個點。然后，根據(jù)該找到的特定平面上的各個點來獲得該特定平面。根據(jù)該找到的特定平面上的各個點來獲得該特定平面的方式可以存在很多公知的方式，例如通過平面擬合或者對各個點平均化等等方式，在此不做限制也不贅述。
[0052]圖4E的下部示出了在實驗中經(jīng)過根據(jù)本實施例的上述匹配過程之后所得到的匹配的各個像素點所組成的路面上的車道線，圖4E的上部示出了基于根據(jù)本實施例的上述匹配過程后對匹配的像素點進行平面擬合得到的路面，而進行車輛檢測的結(jié)果?？梢詮膱D4E中看出，通過本實施例的檢測特定平面的方式，可以更準確地檢測到該諸如路面的特定平面，并能夠基于該更準確地路面來更準確地檢測路面上的車輛或行人等(下面還將結(jié)合圖5來進一步示出相比于傳統(tǒng)方法的檢測特定平面的準確性)。
[0053]在一個實施例中，該檢測特定平面的方法100還可以包括:S104 (圖中未示出)，根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，來校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
[0054]在一個實施例中，所述通過根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，來校正拍攝所述立體視覺圖的攝像機的外部參數(shù)的步驟S104可以包括:根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，得到匹配的像素點在所述逆透變換圖和所述寬度-距離圖上的坐標偏差；根據(jù)所述坐標偏差，校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
[0055]具體地，如上所述，由于攝像機的外部參數(shù)(即攝像機相對于路面的參數(shù))是離線標定的，而在車輛行駛過程中，路面會有起伏，傾斜等變化，即先前標定的攝像機的外部參數(shù)可能發(fā)生了改變。因此，在通過匹配算法找到IPM圖與RWD圖中對應的路面點后，可以以RWD圖為基準，用匹配上的路面點的坐標的偏差來校正攝像機的外部參數(shù)，例如，知道了坐標的偏差，則調(diào)整攝像機的相對于路面的角度、位置等外部參數(shù)以補償該坐標的偏差，從而，在下一幀進行IPM變換時，采用此校正過的外部參數(shù)來進行該IPM變換。如此，可以得到更準確的IPM圖，從而更準確地進行特定平面的檢測。且根據(jù)本實施例的檢測特定平面的方法可以實時地自我更新、提高特定平面檢測的準確度。
[0056]圖5示例性地示出了根據(jù)本發(fā)明的實施例的檢測特定平面的方法的效果與傳統(tǒng)方法的效果的比較。
[0057]圖5的最上部示出了進行該比較所采用的示例灰度圖和/或視差圖。然后，在除了圖5的最上部以外的6個小圖中，左側(cè)的3個圖是基于顏色及邊緣的傳統(tǒng)路面檢測方法的檢測結(jié)果，右側(cè)的3個圖是根據(jù)本發(fā)明的實施例提出的檢測特定平面的方法的檢測結(jié)果?？梢钥吹?，傳統(tǒng)方法將路肩石錯誤地檢測為路面，而根據(jù)本發(fā)明的實施例的方法精確地檢測到了路面上的路面點。還可以看到，由于傳統(tǒng)方法將路肩石錯誤地檢測為路面，因此其車道線檢測也受到了影響，左側(cè)車道線發(fā)生了錯誤檢測。而根據(jù)本發(fā)明的實施例的方法精確地檢測到了路面上的車道線。該實驗結(jié)果證明了根據(jù)本發(fā)明的實施例的方法的準確性和有效性。
[0058]圖6示出了根據(jù)本發(fā)明的另一個實施例的用于在立體視覺中檢測特定平面的系統(tǒng)600的示意方框圖。
[0059]該在立體視覺中檢測特定平面的系統(tǒng)600包括:逆透變換圖生成裝置601，被配置為逆透變換圖生成裝置，被配置為根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖；寬度-距離圖生成裝置602，被配置為根據(jù)所述視差圖來生成寬度-距離圖；以及特定平面檢測裝置603，被配置為基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。
[0060]通過基于從視差圖和/或灰度圖生成的所述逆透變換圖(IPM圖)和所述寬度-距離圖(RWD圖)的匹配來檢測所述特定平面，可以更準確地檢測到該特定平面。
[0061 ] 在一個實施例中，所述逆透變換圖可以用于描述所述視差圖中的對象在世界坐標系中在與所述特定平面相關(guān)的具體平面上的圖形表示，而所述寬度-距離圖用于描述所述視差圖中的對象在寬度和距離上的關(guān)系。
[0062]在一個實施例中，所述逆透變換圖可以是通過將視差圖中的對象從圖像坐標系重新映射到世界坐標系、將世界坐標系的V軸和U軸變換為等分辨率的、并取世界坐標系的Z坐標為與所述特定平面相關(guān)的一特定值而得到的平面圖。
[0063]在一個實施例中，所述寬度-距離圖可以是通過將所述視差圖重新映射到以寬度為一個坐標軸且以距離為另一坐標軸的二維域而得到的平面圖，其中，所述寬度-距離圖圖中的兩個坐標軸分別是等分辨率的。
[0064]在一個實施例中，所述逆透變換圖和/或?qū)挾?距離圖通過視差圖、拍攝得到所述視差圖的攝像機的內(nèi)部參數(shù)和外部參數(shù)來得到。
[0065]在一個實施例中，該特定平面檢測裝置603可以包括:裝置6031(圖中未示出)，被配置為對于所述灰度圖和視差圖中的至少一個上的像素點，查找在該像素點被重新映射到的逆透變換圖和所述寬度-距離圖兩者的兩個坐標；裝置6032 (圖中未示出)，被配置為比較所述兩個坐標的距離，如果該距離小于預定閾值，則確定該像素點在所述逆透變換圖和寬度-距離圖上是匹配的，作為所述特定平面上的點；以及裝置6033(圖中未示出)，被配置為根據(jù)所述特定平面上的各個點來獲得所述特定平面。
[0066]在一個實施例中，該特定平面檢測裝置603可以包括:裝置6034(圖中未示出)，被配置為以逆透變換圖和所述寬度-距離圖中的一個圖中的第一像素為基準，在所述逆透變換圖和所述寬度-距離圖中的另一個圖中、在與所述第一像素相距的一預定區(qū)域范圍內(nèi)查找與所述第一像素的特征的差異小于預定閾值的第二像素，作為與所述第一像素匹配的像素點且作為所述特定平面上的點；以及裝置6035 (圖中未示出)，被配置為根據(jù)所述特定平面上的各個點來獲得所述特定平面。
[0067]在一個實施例中，該系統(tǒng)600還可以包括:裝置604 (圖中未示出)，被配置為根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，來校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
[0068]在一個實施例中，該裝置604包括:裝置6041(圖中未示出)，被配置為根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，得到匹配的像素點在所述逆透變換圖和所述寬度-距離圖上的坐標偏差；以及裝置6042(圖中未示出)，被配置為根據(jù)所述坐標偏差，校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
[0069]從而，在下一幀進行IPM變換時，采用此校正過的外部參數(shù)來進行該IPM變換。如此，可以得到更準確的IPM圖，從而更準確地進行特定平面的檢測。且根據(jù)本實施例的檢測特定平面的方法可以實時地自我更新、提高特定平面檢測的準確度。
[0070]本公開中涉及的器件、裝置、設備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。
[0071]本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意順序進行以上實施例中的步驟的順序。諸如“其后”、“然后”、“接下來”等等的詞語不意圖限制步驟的順序；這些詞語僅用于引導讀者通讀這些方法的描述。此外，例如使用冠詞“一個”、“一”或者“該”對于單數(shù)的要素的任何引用不被解釋為將該要素限制為單數(shù)。
[0072]提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本發(fā)明。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應用于其他方面而不脫離本發(fā)明的范圍。因此，本發(fā)明不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
[0073]為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本發(fā)明的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。
[0074]以上所述的方法的各個操作可以通過能夠進行相應的功能的任何適當?shù)氖侄味M行。該手段可以包括各種硬件和/或軟件組件和/或模塊，包括但不限于電路、專用集成電路(ASIC)或處理器。
[0075]可以利用被設計用于進行在此所述的功能的通用處理器、數(shù)字信號處理器(DSP)、ASIC、場可編程門陣列信號(FPGA)或其他可編程邏輯器件(PLD)、離散門或晶體管邏輯、離散的硬件組件或者其任意組合而實現(xiàn)或進行所述的各個例示的邏輯塊、模塊和電路。通用處理器可以是微處理器，但是作為替換，該處理器可以是任何商業(yè)上可獲得的處理器、控制器、微控制器或狀態(tài)機。處理器還可以實現(xiàn)為計算設備的組合，例如DSP和微處理器的組合，多個微處理器、與DSP核協(xié)作的一個或多個微處理器或任何其他這樣的配置。
[0076]結(jié)合本公開描述的方法或算法的步驟可以直接嵌入在硬件中、處理器執(zhí)行的軟件模塊中或者這兩種的組合中。軟件模塊可以存在于任何形式的有形存儲介質(zhì)中。可以使用的存儲介質(zhì)的一些例子包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、快閃存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動碟、CD-ROM等。存儲介質(zhì)可以耦接到處理器以便該處理器可以從該存儲介質(zhì)讀取信息以及向該存儲介質(zhì)寫信息。在替換方式中，存儲介質(zhì)可以與處理器是整體的。軟件模塊可以是單個指令或者許多指令，并且可以分布在幾個不同的代碼段上、不同的程序之間以及跨過多個存儲介質(zhì)。
[0077]在此公開的方法包括用于實現(xiàn)所述的方法的一個或多個動作。方法和/或動作可以彼此互換而不脫離權(quán)利要求的范圍。換句話說，除非指定了動作的具體順序，否則可以修改具體動作的順序和/或使用而不脫離權(quán)利要求的范圍。
[0078]所述的功能可以按硬件、軟件、固件或其任意組合而實現(xiàn)。如果以軟件實現(xiàn)，功能可以作為一個或多個指令存儲在切實的計算機可讀介質(zhì)上。存儲介質(zhì)可以是可以由計算機訪問的任何可用的切實介質(zhì)。通過例子而不是限制，這樣的計算機可讀介質(zhì)可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲、磁碟存儲或其他磁存儲器件或者可以用于攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并且可以由計算機訪問的任何其他切實介質(zhì)。如在此使用的，碟(disk)和盤(disc)包括緊湊盤(⑶)、激光盤、光盤、數(shù)字通用盤(DVD)、軟碟和藍光盤，其中碟通常磁地再現(xiàn)數(shù)據(jù)，而盤利用激光光學地再現(xiàn)數(shù)據(jù)。
[0079]因此，計算機程序產(chǎn)品可以進行在此給出的操作。例如，這樣的計算機程序產(chǎn)品可以是具有有形存儲(和/或編碼)在其上的指令的計算機可讀的有形介質(zhì)，該指令可由一個或多個處理器執(zhí)行以進行在此所述的操作。計算機程序產(chǎn)品可以包括包裝的材料。
[0080]軟件或指令也可以通過傳輸介質(zhì)而傳輸。例如，可以使用諸如同軸電纜、光纖光纜、雙絞線、數(shù)字訂戶線(DSL)或諸如紅外、無線電或微波的無線技術(shù)的傳輸介質(zhì)從網(wǎng)站、月艮務器或者其他遠程源傳輸軟件。
[0081]此外，用于進行在此所述的方法和技術(shù)的模塊和/或其他適當?shù)氖侄慰梢栽谶m當時由用戶終端和/或基站下載和/或其他方式獲得。例如，這樣的設備可以耦接到服務器以促進用于進行在此所述的方法的手段的傳送?；蛘?，在此所述的各種方法可以經(jīng)由存儲部件(例如RAM、ROM、諸如CD或軟碟等的物理存儲介質(zhì))提供，以便用戶終端和/或基站可以在耦接到該設備或者向該設備提供存儲部件時獲得各種方法。此外，可以利用用于將在此所述的方法和技術(shù)提供給設備的任何其他適當?shù)募夹g(shù)。
[0082]其他例子和實現(xiàn)方式在本公開和所附權(quán)利要求的范圍和精神內(nèi)。例如，由于軟件的本質(zhì)，以上所述的功能可以使用由處理器、硬件、固件、硬連線或這些的任意的組合執(zhí)行的軟件實現(xiàn)。實現(xiàn)功能的特征也可以物理地位于各個位置，包括被分發(fā)以便功能的部分在不同的物理位置處實現(xiàn)。而且，如在此使用的，包括在權(quán)利要求中使用的，在以“至少一個”開始的項的列舉中使用的“或”指示分離的列舉，以便例如“A、B或C的至少一個”的列舉意味著A或B或C，或AB或AC或BC，或ABC (B卩A和B和C)。此外，措辭“示例的”不意味著描述的例子是優(yōu)選的或者比其他例子更好。
[0083]可以不脫離由所附權(quán)利要求定義的教導的技術(shù)而進行對在此所述的技術(shù)的各種改變、替換和更改。此外，本公開的和權(quán)利要求的范圍不限于以上所述的處理、機器、制造、事件的組成、手段、方法和動作的具體方面?？梢岳门c在此所述的相應方面進行基本相同的功能或者實現(xiàn)基本相同的結(jié)果的當前存在的或者稍后要開發(fā)的處理、機器、制造、事件的組成、手段、方法或動作。因而，所附權(quán)利要求包括在其范圍內(nèi)的這樣的處理、機器、制造、事件的組成、手段、方法或動作。
【權(quán)利要求】
1.一種在立體視覺中檢測特定平面的方法，包括: 根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖； 根據(jù)所述視差圖來生成寬度-距離圖；以及 基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述逆透變換圖用于描述所述視差圖中的對象在世界坐標系中在與所述特定平面相關(guān)的具體平面上的圖形表示，而所述寬度-距離圖用于描述所述視差圖中的對象在寬度和距離上的關(guān)系。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述逆透變換圖是通過將視差圖中的對象從圖像坐標系重新映射到世界坐標系、將世界坐標系的深度軸和寬度軸變換為等分辨率的、并取世界坐標系的高度軸坐標為與所述特定平面相關(guān)的一特定值而得到的平面圖。
4.根據(jù)權(quán)利要求1或2所述的方法，其中，所述寬度-距離圖是通過將所述視差圖重新映射到以寬度為一個坐標軸且以距離為另一坐標軸的二維域而得到的平面圖，其中，所述寬度-距離圖圖中的兩個坐標軸分別是等分辨率的。
5.根據(jù)權(quán)利要求1或2所述的方法，其中，所述逆透變換圖和/或?qū)挾?距離圖通過視差圖、拍攝得到所述視差圖的攝像機的內(nèi)部參數(shù)和外部參數(shù)來得到。
6.根據(jù)權(quán)利要求1或2所述的方法，其中，所述基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面的步驟包括: 對于所述灰度圖和視差圖中的至少一個上的像素點，查找在該像素點被重新映射到的逆透變換圖和所述寬度-距離圖兩者的兩個坐標； 比較所述兩個坐標的距離，如果該距離小于預定閾值，則確定該像素點在所述逆透變換圖和寬度-距離圖上是匹配的，作為所述特定平面上的點；以及 根據(jù)所述特定平面上的各個點來獲得所述特定平面。
7.根據(jù)權(quán)利要求1或2所述的方法，其中，所述基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面的步驟包括: 以逆透變換圖和所述寬度-距離圖中的一個圖中的第一像素為基準，在所述逆透變換圖和所述寬度-距離圖中的另一個圖中、在與所述第一像素相距的一預定區(qū)域范圍內(nèi)查找與所述第一像素的特征的差異小于預定閾值的第二像素，作為與所述第一像素匹配的像素點且作為所述特定平面上的點；以及 根據(jù)所述特定平面上的各個點來獲得所述特定平面。
8.根據(jù)權(quán)利要求1所述的方法，還包括: 根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，來校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述通過根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，來校正拍攝所述立體視覺圖的攝像機的外部參數(shù)的步驟包括: 根據(jù)所述逆透變換圖和所述寬度-距離圖的匹配結(jié)果，得到匹配的像素點在所述逆透變換圖和所述寬度-距離圖上的坐標偏差；以及 根據(jù)所述坐標偏差，校正拍攝得到所述視差圖的攝像機的外部參數(shù)。
10.一種在立體視覺中檢測特定平面的系統(tǒng)，包括: 逆透變換圖生成裝置，被配置為逆透變換圖生成裝置，被配置為根據(jù)視差圖和灰度圖中的至少一個來生成逆透變換圖； 寬度-距離圖生成裝置，被配置為根據(jù)所述視差圖來生成寬度-距離圖；以及特定平面檢測裝置，被配置為基于所述逆透變換圖和所述寬度-距離圖的匹配，來檢測所述特定平面。
【文檔編號】G06T7/00GK104252706SQ201310261784
【公開日】2014年12月31日 申請日期:2013年6月27日 優(yōu)先權(quán)日:2013年6月27日
【發(fā)明者】陳超, 魯耀杰, 師忠超, 王剛 申請人:株式會社理光