專利名稱：視差計算方法和視差計算裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對于本車輛前方的車輛、或者步行者、墻壁、柵欄、樹叢等存在于道路環(huán)境中的物體進行測距、檢測的車載立體照相機進行立體匹配(Stero matching)視差計算的方法和裝置的領(lǐng)域。
背景技術(shù)：
所謂立體匹配，是在通過安裝了兩個透鏡的立體照相機拍攝測距對象的立體圖像數(shù)據(jù)中，從參照圖像數(shù)據(jù)的搜索區(qū)域，搜索與基準圖像數(shù)據(jù)的各個點對應(yīng)的對應(yīng)點，其中，上述基準圖像數(shù)據(jù)是用一方的透鏡拍攝到的立體圖像數(shù)據(jù)，上述參照圖像數(shù)據(jù)是用另一方的透鏡拍攝到的立體圖像數(shù)據(jù)。作為對應(yīng)點的判定方法，一般使用以下的方法，即 以作為基準圖像數(shù)據(jù)的各個點的基準點為中心提取小區(qū)域，比較提取了的小區(qū)域與搜索區(qū)域內(nèi)的小區(qū)域，使用圖像亮度的差分絕對值和(SAD:Sum of absolute differences)、 差分平方和(SSD:Sum of squared differences)、以及歸一化互相關(guān)(NCC :Normalized Cross-correlation)等的評價值的基準判定各個小區(qū)域的圖像亮度圖案(pattern)是否相似。但是，在測距對象物包含人行橫道、柵欄等棒狀、矩形的模樣反復(fù)出現(xiàn)這樣的、連續(xù)的相似圖案的物體時，對于SAD、SSD、NCC而言，要計算多個對應(yīng)點候補，難以在原理上計算準確的對應(yīng)點。作為計算出多個對應(yīng)點候補時的現(xiàn)有技術(shù)的對策，存在以該基準點的對應(yīng)點不明為由不輸出的方法(例如，參照專利文獻1)。另外，存在根據(jù)預(yù)防碰撞(Precrash)控制、與前方車輛之間的車距控制、停車輔助控制等的應(yīng)用的控制形態(tài)，選擇對應(yīng)點的方法(例如， 參照專利文獻幻。圖12表示專利文獻2記載的現(xiàn)有技術(shù)的立體匹配方式。在圖12中，立體圖像數(shù)據(jù)獲取單元1202獲取用一方的透鏡拍攝的基準圖像數(shù)據(jù)、 和用另一方的透鏡拍攝的參照圖像數(shù)據(jù)作為用安裝了兩個透鏡的立體照相機同時拍攝的一對圖像數(shù)據(jù)。立體匹配單元1203通過SAD計算出基準圖像數(shù)據(jù)的各個點、與參照圖像數(shù)據(jù)的搜索區(qū)域內(nèi)的搜索點之間的圖像亮度的差異度，計算搜索區(qū)域內(nèi)的相似度的集合作為評價值分布。存在多個對應(yīng)點候補判定單元1204從評價值分布，判定是否存在多個對應(yīng)點候補。評價值極小對應(yīng)點計算單元1205對于判定為不存在多個對應(yīng)點候補的基準點， 計算作為圖像亮度的差異度的評價值為極小的搜索點，作為對應(yīng)點候補?？刂菩螒B(tài)數(shù)據(jù)獲取單元1206獲取表示控制形態(tài)的模式的控制形態(tài)數(shù)據(jù)?？刂菩螒B(tài)對應(yīng)點計算單元1207對于判定為存在多個對應(yīng)點候補的基準點，在控制形態(tài)為預(yù)防碰撞控制時選擇距離最遠的對應(yīng)點候補，在控制形態(tài)為車距控制時選擇距離最近的對應(yīng)點候補，在控制形態(tài)為停車輔助控制時選擇距離最近的對應(yīng)點候補。視差數(shù)據(jù)輸出單元1208對于判定為不存在多個對應(yīng)點候補的基準點，代入評價值最小的對應(yīng)點，對于判定為存在多個對應(yīng)點候補的基準點，代入通過控制形態(tài)選擇的對應(yīng)點，計算對基準圖像的視差數(shù)據(jù)?，F(xiàn)有技術(shù)文獻專利文獻專利文獻1 日本專利特開2001-351200號公報專利文獻2 日本專利特開2007-85773號公報

發(fā)明內(nèi)容
發(fā)明要解決的問題但是，在現(xiàn)有技術(shù)的結(jié)構(gòu)中，是通過控制形態(tài)確定對應(yīng)點的位置，因此，難以測量準確的距離。例如，實際上，存在于距離本車5. 7m的位置上的物體中包含的、連續(xù)的相似圖案的間隔為IOcm的情況下，在假設(shè)構(gòu)成立體照相機的兩個透鏡之間的距離(基線長度) 為0. 12m，照相機的焦距為lOOOpixel時，在搜索區(qū)域內(nèi)的相似圖案位置上為極小，因此，計算出視差為5、21、37的多個對應(yīng)點候補。在上述情況下，根據(jù)三角測量的原理，(視差)= (基線長度)X (焦距)/(距離)的關(guān)系成立，所以視差為0. 12X1000/5. 7 = 21的對應(yīng)點是準確的對應(yīng)點。但是，在選擇距離最近的對應(yīng)點候補時，是選擇視差為37的對應(yīng)點候補，因此，錯誤計算為距離是0. 12X 1000/37 = 3. 2m，另一方面，在選擇距離最遠的對應(yīng)點候補時，是選擇視差為5的對應(yīng)點候補，因此，錯誤計算為距離是0. 12X1000/5 = 24m0因此，在柵欄這樣、棒狀的物體以IOcm間隔配置，在由視差檢測裝置識別為相似圖像圖案連續(xù)的物體時，即使有控制形態(tài)的預(yù)防碰撞控制，也存在剎車控制不充分動作的可能性。另外，在控制形態(tài)為車距控制時，存在不充分減速的可能性，在控制形態(tài)為停車輔助控制時，有可能難以停車在適當(dāng)?shù)奈恢?。進而，還具有以下的課題，即當(dāng)存在柵欄這樣的、包含連續(xù)的相似圖案的物體時， 難以進行柵欄的檢測，因此，有時行駛路徑的判定不充分。本發(fā)明的目的在于，提供即使在存在包含連續(xù)的相似圖案的物體的情況下，也計算出準確的視差的視差計算方法和裝置。解決問題的方案本發(fā)明的一個形態(tài)的視差計算裝置，包括立體圖像數(shù)據(jù)獲取單元，具有第1攝像系統(tǒng)和第2攝像系統(tǒng)，獲取使用第1攝像系統(tǒng)拍攝對象物所得的基準圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝對象物所得的參照圖像的數(shù)據(jù)；立體匹配單元，計算評價值分布，該評價值分布表示基準圖像具有的基準點、與參照圖像具有的多個搜索點之間的、圖像亮度的差異度；對應(yīng)點候補數(shù)判定單元，從評價值分布包含的搜索點中，檢測評價值為極小的搜索點，在檢測到的搜索點的數(shù)量為多個時，輸出檢測到的多個搜索點作為對應(yīng)點候補；極小值分布計算單元，從包含對應(yīng)點候補的評價值分布，計算表示對應(yīng)點候補的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，該第1極小值分布對應(yīng)于第1基準點，該第2 極小值分布對應(yīng)于存在于包含第1基準點的基準圖像的周圍區(qū)域中的一個或者多個第2基準點；評價值圖計算單元，基于第1極小值分布和第2極小值分布，計算表示第1基準點和第2基準點與多個對應(yīng)點候補的坐標(biāo)變動值的關(guān)系的評價值圖；對應(yīng)點判定單元，在評價值圖中，將坐標(biāo)變動值為最小的對應(yīng)點候補判定為對應(yīng)點；以及視差數(shù)據(jù)輸出單元，輸出視差值，該視差值是對應(yīng)點在參照圖像中的坐標(biāo)點與第1基準點在參照圖像中的坐標(biāo)點的差分。由此，具有以下的效果，S卩通過在基準圖像中，將存在于基準點的周圍區(qū)域中的其他基準點的信息重疊，對于包含連續(xù)的相似圖案的物體的情況，也能夠計算出準確的視差。另外，在本發(fā)明的一個形態(tài)的視差計算裝置中，周圍區(qū)域的范圍是基于第1基準點的極小值分布中包含的評價值為極小的搜索點的數(shù)、以及間隔而確定的范圍。由此，具有以下的效果，S卩對于在基準圖像內(nèi)存在多個包含連續(xù)的相似圖案的物體，并且各個物體的距離不同的情況，能夠更高精度地計算出各個物體的大小。另外，在本發(fā)明的一個形態(tài)的視差計算裝置中，對應(yīng)點判定單元在第1基準點涉及的對應(yīng)點候補的數(shù)量與第2基準點涉及的對應(yīng)點候補的數(shù)量不同時，去除僅包含在第1 基準點和第2基準點涉及的極小值分布的任一個中的對應(yīng)點候補，判定對應(yīng)點。由此，具有以下的效果，即減輕帶給視差計算裝置的信息處理的負荷，能夠計算出準確的視差。另外，在本發(fā)明的一個形態(tài)的視差計算裝置中，對應(yīng)點判定單元通過對評價值圖進行霍夫變換，提取坐標(biāo)變動值為最小的對應(yīng)點候補作為對應(yīng)點。由此，具有以下的效果，S卩對于包含連續(xù)的相似圖案的物體以一條直線狀存在的情況，能夠更高精度地計算出距離。另外，在本發(fā)明的一個形態(tài)的視差計算裝置中，在第1攝像系統(tǒng)具有第1透鏡，第 2攝像系統(tǒng)具有第2透鏡，周圍區(qū)域是在第1透鏡與第2透鏡的排列方向上具有任意的寬度的區(qū)域時，評價值圖計算單元基于第1評價值分布、第2評價值分布、以及對應(yīng)于第3基準點的極小值分布，計算評價值圖，第3基準點對于存在于周圍區(qū)域中的基準點，存在于第 1透鏡與第2透鏡的排列方向的垂直方向上。由此，具有以下的效果，即通過在重疊存在于與第1透鏡和第2透鏡的排列方向垂直的方向上的其他基準點的極小值分布后，基于有關(guān)存在于周圍區(qū)域的各個基準點的極小值分布計算評價值圖，提高了對應(yīng)點提取的準確度。另外，在本發(fā)明的一個形態(tài)的視差計算裝置中，周圍區(qū)域的范圍是基于對應(yīng)于第1 基準點的評價值分布和對應(yīng)于第2基準點的評價值分布的、對應(yīng)于多個搜索點的圖像亮度的差異度的差分和而確定的范圍。由此，具有以下的效果，S卩通過包含相同視差(距離)的基準點作為周圍區(qū)域，提高了估計準確的視差值的準確度。另外，本發(fā)明的一個形態(tài)的視差計算方法包括以下步驟獲取使用第1攝像系統(tǒng)拍攝對象物所得的基準圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝對象物所得的參照圖像的數(shù)據(jù)；計算評價值分布，該評價值分布表示基準圖像具有的基準點與參照圖像具有的多個搜索點之間的圖像亮度的差異度；從評價值分布包含的搜索點中，檢測評價值為極小的搜索點，在檢測到的搜索點的數(shù)量為多個時，輸出檢測到的多個搜索點作為對應(yīng)點候補；從包含對應(yīng)點候補的評價值分布，計算表示對應(yīng)點候補的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，該第1極小值分布對應(yīng)于第1基準點，該第2極小值分布對應(yīng)于存在于包含第1基準點的基準圖像的周圍區(qū)域中的一個或者多個第2基準點；基于第1極小值分布和第2極小值分布，計算表示第1基準點和第2基準點與多個對應(yīng)點候補的坐標(biāo)變動值的關(guān)系的評價值圖；在評價值圖中，將坐標(biāo)變動值為最小的對應(yīng)點候補判定為對應(yīng)點； 以及輸出視差值，該視差值是對應(yīng)點在參照圖像中的坐標(biāo)點與第1基準點在參照圖像中的坐標(biāo)點的差分。由此，具有以下的效果，S卩通過在基準圖像中，將存在于基準點的周圍區(qū)域中的其他基準點的信息重疊，對于包含連續(xù)的相似圖案的物體的情況，也能夠計算出準確的視差。發(fā)明的效果根據(jù)本發(fā)明，在立體匹配中，通過不是以小區(qū)域的比較進行對應(yīng)點搜索，而是還附加周圍區(qū)域的比較信息來判定對應(yīng)點，從而對于通過立體匹配難以計算的、包含連續(xù)的相似圖像圖案的物體，能夠計算出準確的視差，能夠穩(wěn)定地測量在交通環(huán)境中大量存在的護欄、在停車場等大量存在的柵欄等的距離，因此，本車輛的控制、警報等也能夠準確地動作。


圖1是表示本發(fā)明的實施方式1的視差計算裝置的塊結(jié)構(gòu)的圖。圖2是表示視差計算方法的處理流程的圖。圖3A 圖;3B是表示立體圖像中的對象物的位置的圖。圖4A 圖4C是用于說明有關(guān)基準圖像的任意的范圍中的各個基準點的評價值分布的圖。圖5A 圖5C是用于說明有關(guān)基準圖像的任意的范圍中的各個基準點的評價值分布的圖。圖6A 圖6D是用于說明有關(guān)基準圖像的任意的范圍中的各個基準點的評價值分布的圖。圖7A 圖7E是表示存在多個對應(yīng)點候補的基準點的極小值分布Hm、與在基準圖像中與基準點相鄰的其他基準點的極小值分布Hm的關(guān)系的示意圖。圖8A 圖8D是表示計算評價值圖的步驟的示意圖。圖9A 圖9D是表示在Hm(xbn)中的極小值的數(shù)、與Hm(xbl)中的極小值的數(shù)不同時的極小值分布的關(guān)系的示意圖。圖IOA 圖IOC是表示反映在基準圖像中的柵欄的物體、與獲得的評價值圖的例子的示意圖。圖IlA 圖IlD是表示本發(fā)明的實施方式2的評價值分布的重疊的示意圖。圖12是表示現(xiàn)有技術(shù)的視差計算裝置的塊結(jié)構(gòu)的圖。標(biāo)號說明100視差計算裝置101視差計算單元102立體圖像數(shù)據(jù)獲取單元103視差數(shù)據(jù)輸出單元104立體匹配單元105對應(yīng)點候補數(shù)判定單元
106極小值分布計算單元107評價值圖計算單元108對應(yīng)點判定單元1201視差計算單元1202立體圖像數(shù)據(jù)獲取單元1203立體匹配單元1204存在多個對應(yīng)點候補判定單元1025評價值極小對應(yīng)點計算單元1206控制形態(tài)數(shù)據(jù)獲取單元1207控制形態(tài)對應(yīng)點計算單元1208視差數(shù)據(jù)輸出單元
具體實施例方式以下，參照

本發(fā)明的實施方式。(實施方式1)圖1是表示本發(fā)明的實施方式1的視差計算裝置100的方框圖。圖1所示的視差計算單元100包括視差計算單元101、立體圖像數(shù)據(jù)獲取單元102、以及視差數(shù)據(jù)輸出單元 103。并且，視差計算單元101包括立體匹配單元104、對應(yīng)點候補數(shù)判定單元105、極小值分布計算單元106、評價值圖計算單元107、以及對應(yīng)點判定單元108。在視差計算裝置100中，基于立體圖像數(shù)據(jù)獲取單元102獲取的立體圖像，視差計算單元101進行視差計算，視差數(shù)據(jù)輸出單元103輸出視差數(shù)據(jù)。圖2是表示圖1所示的視差計算裝置100的視差計算方法的處理流程圖。以下， 進行本實施方式1的視差計算方法、以及視差計算裝置的說明。在立體圖像數(shù)據(jù)獲取單元102中，獲取通過安裝了左右排列的兩個透鏡的立體照相機同時拍攝到的、一對立體圖像數(shù)據(jù)(S201)。立體圖像數(shù)據(jù)包括作為由一方的透鏡拍攝到的基準圖像的數(shù)據(jù)的基準圖像數(shù)據(jù)，以及作為由另一方的透鏡拍攝到的參照圖像的數(shù)據(jù)的參照圖像數(shù)據(jù)。再者，雖然說明了立體照相機是安裝了左右排列的兩個透鏡的照相機， 但本發(fā)明并不限于此，也可以用兩個照相機代替。圖3是測距對象物為前方的車體時的立體圖像，圖3A表示基準圖像，圖;3B表示參照圖像。在兩個透鏡中，將使用哪個透鏡拍攝到的圖像作為基準圖像是任意的，在以下的說明中，面向測距對象物，以用右透鏡拍攝到的圖像作為基準圖像，用左透鏡拍攝到的圖像作為參照圖像進行說明。在參照圖像中拍攝的測距對象物的位置與在基準圖像中拍攝的測距對象物的位置比較，為偏右的位置。該偏差就是視差，根據(jù)測距的對象物的距離而發(fā)生變化。具體而言， 在設(shè)基準圖像中的測距對象物的左端的坐標(biāo)為xb，參照圖像中的測距對象物的左端的坐標(biāo)為xr時，測距對象物的左端的視差d是作為坐標(biāo)位置的差的xr-xb。將獲取的立體圖像數(shù)據(jù)進行透鏡的失真校正和光軸的平行化校正，變換為校正后的立體圖像數(shù)據(jù)。進行透鏡的失真校正的方法，能通過使用了透鏡的設(shè)計值的校正變換表進行失真校正的方法、通過使用了半徑方向的畸變的模型的參數(shù)估計進行校正的方法等， 校正透鏡的失真的所有的方法來實現(xiàn)，本發(fā)明不受其限制。另外，光軸的平行化校正可以通過進行立體照相機的光軸平行化的、所有的方法來實現(xiàn)，本發(fā)明不受其限制。例如，通過在立體照相機的公共視野中設(shè)置柵格圖案，從進行了對應(yīng)關(guān)聯(lián)的柵格點位置計算立體照相機的相對關(guān)系，進行光軸的平行化校正的方法，也能夠進行平行化校正。在視差計算單元101中，由立體匹配單元104在通過立體圖像數(shù)據(jù)獲取單元102 獲取的基準圖像與參照圖像之間進行立體匹配(S202)。立體匹配單元104計算表示各個基準圖像的任意的范圍中包含的各個基準點、與在參照圖像中包含對應(yīng)于基準圖像的基準點的坐標(biāo)點的搜索區(qū)域中包含的搜索點之間的、 圖像亮度的差異度的評價值分布。這里，搜索區(qū)域是具有任意的范圍的區(qū)域。有關(guān)計算出的各個基準點的評價值分布被記錄在內(nèi)置于立體匹配單元104的存儲器中。對應(yīng)點候補數(shù)判定單元105在各個基準點的評價值分布中，判定是否存在多個評價值為極小的對應(yīng)點候補(S203)。關(guān)于在基準圖像中的各個基準點中、判定為僅存在一個對應(yīng)點候補的基準點，視差數(shù)據(jù)輸出單元103將對應(yīng)點候補位置、與在參照圖像中與該基準值位于同一坐標(biāo)點的坐標(biāo)點的差分記錄為該基準點的視差值。然后，視差數(shù)據(jù)輸出單元103輸出視差數(shù)據(jù)(S208)。另一方面，關(guān)于在基準圖像中的各個基準點中、判定為存在多個對應(yīng)點候補的基準點，極小值分布計算單元106計算在評價值分布中評價值為極小的對應(yīng)點候補，計算極小值分布(S204)。評價值圖計算單元107計算評價值圖(S20O。評價值圖是，基于判定為存在多個對應(yīng)點候補的基準點的極小值分布和在基準圖像中位于包含了該基準點的周圍區(qū)域的其他基準點的極小值分布，表示與對各個基準點的各個對應(yīng)點候補的視差值的每個對應(yīng)點候補的變動值的圖。對應(yīng)點判定單元108在評價值圖中，提取最為直線狀連續(xù)的線段(S206)，將提取到的對應(yīng)點候補的坐標(biāo)點判定為對應(yīng)點(S207)。以下，詳細地說明視差計算單元101的結(jié)構(gòu)要素的各個部分的功能、以及效果。立體匹配單元104在基準圖像與參照圖像之間進行立體匹配。也就是說，計算基準圖像的任意的范圍中包含的各個基準點、與在參照圖像中包含與各個基準點相同的坐標(biāo)點的、搜索區(qū)域內(nèi)的各個搜索點之間的、圖像亮度的差異度的評價值分布(S202)。這里，搜索區(qū)域的范圍是任意的，由包含測量的物體的距離的范圍、立體照相機的基線長度、照相機的焦距的幾何學(xué)參數(shù)決定。圖4是有關(guān)基準圖像的任意范圍中的各個基準點，圖4A表示計算評價值分布時的基準圖像，圖4B表示參照圖像，圖4C表示評價值分布。以下，說明有關(guān)基準點的評價值分布的計算步驟。再者，在說明中，基準圖像的任意的范圍如圖示那樣說明一部分范圍，但也可以是全部范圍。另外，將計算評價值分布的基準點的坐標(biāo)設(shè)為(xbl、ybl)，立體圖像數(shù)據(jù)進行了平行化校正而進行說明。在立體圖像數(shù)據(jù)進行了平行化校正的情況下，基準圖像中的對象物的Y坐標(biāo)、與參照圖像中的對象物的Y坐標(biāo)相同。再者，在圖4中，以四邊形符號表示的區(qū)域為1像素，1像素為基準點。在以下的說明中也同樣。立體匹配單元104將參照圖像中位于與基準點(xbl、ybl)相同坐標(biāo)(xrl = xbl、 yrl = ybl)的坐標(biāo)點，作為對應(yīng)于基準圖像中的基準點(xbl、ybl)的搜索點，將從該坐標(biāo)點到X坐標(biāo)方向的一定的范圍(搜索寬度)，設(shè)定為圖4B所示的搜索區(qū)域。搜索區(qū)域是在參照圖像中，在ft 軸上、也就是橫方向具有一定的寬度的區(qū)域。將搜索區(qū)域設(shè)為參照圖像的橫方向，是因為立體照相機在橫方向排列透鏡的緣故。具體而言，在對于作為基準圖像上的基準點的坐標(biāo)的(xbl，ybl)，將基于應(yīng)用所需要的測距對象的距離的最小值/最大值確定的搜索寬度設(shè)為R時，參照圖像上的搜索點的范圍為(xrl、yrl)、(xrl+l、yrl)、(xrl+2、yrl)、· · ·、(xrl+R、yrl)。再者，基準圖像上的坐標(biāo)(xbl、ybl)、與參照圖像上的坐標(biāo)(xrl、yrl)在圖像上的坐標(biāo)位置相同。然后，計算搜索區(qū)域內(nèi)的各個搜索點與基準點xbl之間的圖像亮度的差異度，計算基于差異度的評價值分布H(xbl)。這里，評價值分布H(xbl)的D軸(Depth軸)、與)(b軸和)(r軸的關(guān)系是，以&軸為原點偏移到xbl的位置的是D軸，D軸、脅軸、&軸的次元均為像素。再者，在以上的說明中，說明了立體圖像數(shù)據(jù)被進行了平行化校正，在立體圖像數(shù)據(jù)未進行平行化校正時，無法進行立體圖像的上下方向的定位，因此，在基準圖像的基準點 (xbl、ybl)拍攝的測距對象物的點，在參照圖像中不被拍攝在與該基準點的坐標(biāo)的Y坐標(biāo)相同的Y坐標(biāo)，因此，還包含基準點的Y軸方向的定位，設(shè)定為搜索區(qū)域。通過立體匹配獲得的評價值分布H(xbl)是表示橫軸為D軸，縱軸為基準點、與相對于此的搜索點之間的圖像亮度的差異度的一次元的分布。對于基準點與搜索點之間的圖像亮度的差異度，使用以基準點為中心的8X8的小區(qū)域和以各個搜索點位中心的8X8的小區(qū)域之間的、圖像亮度的差分絕對值和(SAD)。再者，用作評價值的圖像亮度的差異度可以用差分平方和(SSD)等、在完全一致時值為最小的、所有的差異度來代替。另外，在用作評價值的圖像亮度的差異度為歸一化互相關(guān)(NCC)等、完全一致時，也可以將值為最大的相似度的指標(biāo)反極性而使用。再者，以上的處理對于各個基準點進行，有關(guān)計算出的各個基準點的評價值分布存儲在內(nèi)置于立體匹配單元104的存儲器中。對應(yīng)點候補數(shù)判定單元105在評價值分布H(xbl)中，搜索極小值。在對應(yīng)點候補數(shù)判定單元105搜索極小值的結(jié)果為存在一個極小值時，將評價值為極小的搜索點判定為對應(yīng)點(S203 “否”)，將該對應(yīng)點候補位置記錄為該基準點的視差值，輸出視差數(shù)據(jù)(S208)。圖5表示測距對象物是位于前方的車體的情況，圖5A表示基準圖像，圖5B表示參照圖像，圖5C表示評價值分布。在車體這樣不是包含連續(xù)的相似圖案的物體的情況下，圖像亮度與包含基準點(xbl、ybl)的小區(qū)域為相同程度的對應(yīng)點候補如圖5C所示，在參照畫面上僅存在一個。另一方面，在對應(yīng)點候補數(shù)判定單元105搜索極小值的結(jié)果是在評價值分布中檢測到多個極小值時，將評價值為極小的多個搜索點判定為多個對應(yīng)點候補(S203 “是”)。
圖6表示測距對象物是位于前方的柵欄的情況，圖6A表示基準圖像，圖6B表示參照圖像，圖6C表示評價值分布，圖6D表示后述的極小值分布Hm(xbl)。在是柵欄這樣的包含連續(xù)的相似圖案的物體的情況下，圖像亮度與基準圖像中的、基準點(xbl、ybl)為相同程度的對應(yīng)點候補如圖6C所示，在參照畫面中存在多個。再者，判定是否存在多個對應(yīng)點候補的判定方法，通過計算評價值分布的極小值， 判斷存在幾個極小值等，從一次元的分布判定是否為周期性的分布的其他方法也能夠?qū)崿F(xiàn)。在對應(yīng)點候補數(shù)判定單元105搜索極小值所得的結(jié)果是在評價值分布中檢測到多個極小值時，極小值分布計算單元106提取評價值為極小的對應(yīng)點候補的坐標(biāo)，計算僅表示極小值的分布的極小值分布Hm(xbl) (S204)。以下，使用圖6說明極小值分布Hm(xbl)的計算步驟。如圖6A所示，由于測距對象為包含連續(xù)的相似圖案的柵欄，因此，評價值分布 H(xbl)如圖6C所示，為在多個位置具有極小值的分布。極小值分布計算單元106計算在評價值分布H(xbl)中僅提取了多個極小值的位置的分布，如圖6D所示，在計算出的評價值分布的極小值的位置代入一 1的值，除此之外的位置代入0的值，計算極小值分布Hm(xbl)。這里，圖6D所示的極小值分布Hm(xbl)的極小值的位置以對基準點(xbl、ybl)的搜索區(qū)域的左端為原點，表示參照圖像中的對應(yīng)點候補的位置。再者，關(guān)于計算極小值分布時使用的極小值的位置的常數(shù)、以及除此之外的位置的常數(shù)的值只是一個例子，本發(fā)明不受其限制。再者，有關(guān)對于基準點的評價值分布，進行是否存在多個對應(yīng)點候補的判定，在存在多個對應(yīng)點候補時，對于存儲器中存儲的所有的基準點的各個實施計算極小值分布這一系列的步驟。再者，也可以在將評價值為極小的多個搜索點判定為對應(yīng)點候補時，在評價值軸上設(shè)定規(guī)定的閾值，將規(guī)定的閾值以下的搜索點作為對應(yīng)點候補。由此，能夠?qū)⒉町惗雀摺?并且為極小點的搜索點從對應(yīng)點候補中去除，能夠提高對應(yīng)點候補的判定精度。圖7是表示存在多個對應(yīng)點候補的基準點(xbl、ybl)的極小值分布Hm(xbl)和在基準圖像中與基準點(xbl、ybl)相鄰的另一基準點(讓2、計2)的極小值分布Hm(xb2)之間的關(guān)系的示意圖。圖7A表示基準圖像，圖7B表示參照圖像，圖7C表示基準點(xbl、ybl) 的極小值分布Hm(xbl)，圖7D表示基準點(xb2、yb2)的極小值分布Hm(xb2)，圖7E表示對圖7B所示的參照圖像中的基準點(xbl、ybl)的對應(yīng)點候補，以及對于基準點(xb2、yb2)的對應(yīng)點候補。以下，說明基準點(xbl、ybl)和與其相鄰的基準點(xb2、yb2)的極小值分布之間的關(guān)系。再者，圖7A、以及圖7E所示的基準點(xbl、ybl)的對應(yīng)點候補為圖7B所示的對應(yīng)點候補1到對應(yīng)點候補4，圖7A、以及圖7E所示的基準點(xb2、yb2)的對應(yīng)點候補設(shè)為圖7B所示的對應(yīng)點候補5到對應(yīng)點候補8而進行說明。另外，對應(yīng)點候補1到對應(yīng)點候補 4用虛線表示。在圖7A所示的基準圖像中，基準點(xb2、yb2)被選擇為與基準點(xbl、ybl)相鄰的基準點。如圖7B所示，對基準點(xb2、yb2)的搜索區(qū)域是，使對基準點(xbl、ybl)的搜索區(qū)域在)(r軸位移了讓2與xbl之差的區(qū)域。這里，在比較圖7C所示的、基準點(xbl、ybl)的極小值分布Hm(xbl)的D軸上的各個極小值的位置，與圖7D所示的、基準點(xb2、yb2)的極小值分布HmOA2)的D軸上的各個極小值的位置時，既存在相當(dāng)于在D軸上位移了 xb2與xbl之差的極小值，另一方面， 也存在位移了大于、或者小于xb2與xbl之差的極小值。使用圖7E進行說明，在從對基準點(xbl、ybl)的對應(yīng)點候補3的坐標(biāo)，在&軸上位移了 xb2與xbl之差的位置上，存在對基準點(讓2、計2)的對應(yīng)點候補7，可以認為在相鄰的基準點所拍攝的點的距離大致相等，因此，意味著各個對應(yīng)點候補是準確的對應(yīng)點的可能性較高。另一方面，在從對圖7E的基準點(xbl、ybl)的對應(yīng)點候補1的坐標(biāo)，在&軸上位移了讓2與xbl之差的位置上，不存在對基準點(xb2、yl^)的對應(yīng)點候補5，因此，意味著對應(yīng)點候補不是準確的對應(yīng)點。在上述情況下，對應(yīng)點候補3與對應(yīng)點候補7的區(qū)域為準確的對應(yīng)點的位置，是準確的視差，對應(yīng)點候補1與對應(yīng)點候補5的區(qū)域不是準確的對應(yīng)點的位置。評價值圖計算單元107基于由極小值分布單元106計算出極小值分布的基準點 (xbl、ybl)和在基準圖像中存在于該基準點xbl的周圍區(qū)域的位置、或多個其他基準點 Xbn(n 自然數(shù))的極小值分布，計算評價值圖(S205)。這里，所謂周圍區(qū)域，是在基準圖像中包含基準點(讓1、7131)，在％軸方向具有任意的寬度的區(qū)域。原則上，周圍區(qū)域中包含的各個基準點是％坐標(biāo)相同的區(qū)域。將周圍區(qū)域在基準圖像中設(shè)為橫方向，是因為存在以下的可能性的緣故，即對于各個基準點，將搜索區(qū)域設(shè)定為參照圖像的橫方向，由此產(chǎn)生在橫方向上錯誤檢測相似圖案的可能性。再者，將搜索區(qū)域設(shè)為參照圖像的橫方向，是因為在橫方向排列立體照相機的緣故，在縱方向排列立體照相機的情況下，搜索區(qū)域為參照圖像的縱方向，基準圖像的周圍區(qū)域也是縱方向。圖8是基于基準點(xbl、ybl)的極小值分布Hm(xbl)和位于基準點(xbl、ybl)的周圍區(qū)域的各個基準點(xbruybn) (η:自然數(shù))的極小值分布Hm(Xbn)，計算評價值圖的步驟的示意圖。圖8Α表示基準圖像，圖8Β表示參照圖像，圖8C表示各個基準點(xbn、ybn) 的極小值分布Hm(xbn)的關(guān)系，圖8D表示通過重疊基準點(xbruybn)的極小值分布而計算出的評價值圖。以下，說明圖8所示的評價值圖的計算方法。在圖8A所示的基準圖像中，從存儲器中讀出存在于基準點(xbl、ybl)的周圍區(qū)域中的、對于其他基準點(xb2、yl^)、(xb3, yb3), (xb4、yb4)的每個計算出的評價值分布 Hm(xbn)。這里，設(shè)各個基準點的對應(yīng)點候補存在四個來進行說明，但本發(fā)明不受其限制。如圖8C所示，在分布于各個極小值分布Hm(Xbn) (η :1到4的整數(shù))的四個對應(yīng)點候補中，存在距原點的距離對每個極小值分布不同的對應(yīng)點候補。在圖8C中，以線a、b、d 所劃的線上的對應(yīng)點候補距原點的距離對每個極小值分布而不同。這意味著對于各個基準點的視差值發(fā)生變動。評價值圖M(D、Xb)是將圖8C所示的各個極小值分布Hm(Xbn) (η :1到4的整數(shù)) 的D軸合在一起，以對脅軸的線表示D軸上的各個對應(yīng)點候補相對于脅軸的變動值、也就是視差值的變動值。作為信息處理，增加稱為脅軸的次元，將對應(yīng)點候補的位置作為三次元分布進行了處理。也就是說，評價值圖M(D、Xb)是基于圖8C所示的各個極小值分布，表示各個基準點與多個對應(yīng)點候補的坐標(biāo)變動值之間的關(guān)系的圖。在評價值圖M(D、Xb)中，線c上的對應(yīng)點候補表示對各個基準點的各個對應(yīng)點候補的視差值沒有變動，也就是說各個基準點存在于相同的視差，也就是說存在于相同的距離，表示準確的視差值。這里，在xbl表示基準點的X坐標(biāo)，xId2.....xbn表示對于基準點在左右方向相鄰
的基準點的X坐標(biāo)時，計算評價值圖M(D、Xb)的數(shù)式為以下的數(shù)式(1)。M(D,Xb) = (Xm(Xb1)jHm(Xb2)jHm(Xb3),…，Hm(xbN)}... (1)再者，在以上的說明中，將Y坐標(biāo)(ybl)的圖像橫一列的任意的區(qū)域設(shè)定為基準點 (xbUybl)的周圍區(qū)域，但也可以包含基準圖像中的Y坐標(biāo)(ybl)在脅軸上的所有的基準點ο再者，周圍區(qū)域的設(shè)定方法，例如能夠?qū)⒌交鶞庶c的評價值分布的特征量、也就是極小值的數(shù)或極小值之間的間隔，與存在于周圍區(qū)域的其他基準點的評價值分布的特征量的差為一定范圍的周圍基準點為止作為選擇范圍。通過限制選擇范圍，在存在多個包含連續(xù)的相似圖案的物體，并且是位置相互不連續(xù)的物體時，能夠計算出各個物體的準確的視差。對應(yīng)點判定單元108計算出在評價值圖M(D、Xb)中所示的線a到d中、直線性最強的線，也就是在各個對應(yīng)點候補中，視差值的坐標(biāo)變動值最小的對應(yīng)點候補作為對應(yīng)點。 在圖8D所示的評價值M(DJb)中，在線a到線d中，線c是直線分量最強的直線。具體而言，為了提取柵欄等在直線上連續(xù)存在的物體，在評價值圖M(D、)(b)中，通過霍夫變換提取評價值較小的點在一條直線上連續(xù)的、直線分量最強的線(S206)。所謂霍夫變換，是提取圖像上的直線分量的基本的圖像處理之一。這里，作為對于評價值圖整體進行了霍夫變換的結(jié)果，提取直線分量最強的線。在物理層面的含義上，當(dāng)在現(xiàn)實空間呈直線狀排列著包含連讀的相似圖案的物體時，在評價值圖上，獲得對應(yīng)點分布在直線性最強的線上的結(jié)果。評價值圖中的評價值較小的點是表示物體的存在位置的點，對于柵欄等包含連續(xù)的相似圖案的物體而言，基準圖像與參照圖像并不能使所有相同位置的支柱部分對應(yīng)關(guān)聯(lián)，因此，產(chǎn)生多個物體存在位置的候補。在存在多個對應(yīng)點候補時，在評價值圖上獲得多個線，但在不是真實的視差的位置的直線中，在評價值圖上存在一部分直線性紊亂的部分，發(fā)生不呈直線性分布的部位。該部分是在現(xiàn)實空間中，柵欄的粗細有少許不同的支柱的部分，另外，在為人行橫道標(biāo)示時，是顏色較淺的部分。也就是說，柵欄等包含連續(xù)的相似圖案的物體，實際上存在周期性的紊亂，該部分的多個對應(yīng)點候補的位置，與不存在周期性紊亂的部分的多個對應(yīng)點候補的位置不同。因此，在柵欄等、包含連續(xù)的相似圖案的物體的存在周期性紊亂的部分與不存在周期性紊亂的部分之間，比較多個對應(yīng)點候補的位置時，存在僅在真實的視差一致的對應(yīng)點，其在真實的視差之外不一致。在表現(xiàn)為評價值圖時，僅在真實的視差的位置保持直線性，在除此之外的視差的位置，得到直線性紊亂了的結(jié)果。
這里，在對于圖8A中的基準點位置(xbl、ybl)、也就是評價值圖中的xb = xbl的位置，設(shè)應(yīng)求的真實的對應(yīng)點位置為DCorrect(Xbl)，評價值極小的位置為DM (xbl)，計算出的直線的位置為Dline(Xbl)時，真實的對應(yīng)點可以用以下的數(shù)式(2)表示。計算出的直線的位置Dline (xbl)表示圖8D中的線c為xb = xbl的D軸的值。
權(quán)利要求
1.視差計算裝置，包括立體圖像數(shù)據(jù)獲取單元，具有第ι攝像系統(tǒng)和第2攝像系統(tǒng)，獲取使用所述第1攝像系統(tǒng)拍攝對象物所得的基準圖像的數(shù)據(jù)、以及使用所述第2攝像系統(tǒng)拍攝所述對象物所得的參照圖像的數(shù)據(jù)；立體匹配單元，計算評價值分布，該評價值分布表示所述基準圖像具有的基準點與所述參照圖像具有的多個搜索點之間的圖像亮度的差異度；對應(yīng)點候補數(shù)判定單元，從所述評價值分布包含的搜索點中，檢測所述評價值為極小的搜索點，在所述檢測到的搜索點的數(shù)量為多個時，輸出所述檢測到的多個搜索點作為對應(yīng)點候補；極小值分布計算單元，在所述評價值分布中包含所述對應(yīng)點候補時，計算表示所述對應(yīng)點候補的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，所述第1極小值分布對應(yīng)于第1基準點，所述第2極小值分布對應(yīng)于存在于包含所述第1基準點的所述基準圖像的周圍區(qū)域中的一個或者多個第2基準點；評價值圖計算單元，基于所述第1極小值分布和所述第2極小值分布，計算表示所述第 1基準點和所述第2基準點與所述多個對應(yīng)點候補的坐標(biāo)變動值的關(guān)系的評價值圖；對應(yīng)點判定單元，在所述評價值圖中，將所述坐標(biāo)變動值為最小的所述對應(yīng)點候補判定為對應(yīng)點；以及視差數(shù)據(jù)輸出單元，輸出視差值，該視差值是所述對應(yīng)點在所述參照圖像中的坐標(biāo)點與所述第1基準點在所述參照圖像中的坐標(biāo)點的差分。
2.如權(quán)利要求1所述的視差計算裝置，所述周圍區(qū)域的范圍是基于所述第1基準點的所述極小值分布中包含的評價值為極小的搜索點的數(shù)、以及間隔而確定的范圍。
3.如權(quán)利要求1所述的視差計算裝置，所述對應(yīng)點判定單元在所述第1基準點涉及的所述對應(yīng)點候補的數(shù)量與所述第2基準點涉及的所述對應(yīng)點候補的數(shù)量不同時，去除僅包含在所述第1基準點和所述第2基準點涉及的所述極小值分布的任一個中的所述對應(yīng)點候補，判定所述對應(yīng)點。
4.如權(quán)利要求1所述的視差計算裝置，所述對應(yīng)點判定單元通過對所述評價值圖進行霍夫變換，提取所述坐標(biāo)變動值為最小的所述對應(yīng)點候補作為對應(yīng)點。
5.如權(quán)利要求1所述的視差計算裝置，在所述第1攝像系統(tǒng)具有第1透鏡，所述第2攝像系統(tǒng)具有第2透鏡，所述周圍區(qū)域是在所述第1透鏡與所述第2透鏡的排列方向上具有任意的寬度的區(qū)域時，所述評價值圖計算單元基于所述第1評價值分布、所述第2評價值分布、以及對應(yīng)于第 3基準點的極小值分布，計算所述評價值圖，所述第3基準點，對于存在于所述周圍區(qū)域中的基準點，存在于所述第1透鏡與所述第2透鏡的排列方向的垂直方向上。
6.如權(quán)利要求1所述的視差計算裝置，所述周圍區(qū)域的范圍是基于對應(yīng)于所述第1基準點的評價值分布和對應(yīng)于所述第2基準點的評價值分布的、對應(yīng)于所述多個搜索點的圖像亮度的差異度的差分和而確定的范圍。
7.視差計算方法，包括以下步驟獲取使用第1攝像系統(tǒng)拍攝對象物所得的基準圖像的數(shù)據(jù)、以及使用第2攝像系統(tǒng)拍攝所述對象物所得的參照圖像的數(shù)據(jù)；計算評價值分布，該評價值分布表示所述基準圖像具有的基準點與所述參照圖像具有的多個搜索點之間的圖像亮度的差異度；從所述評價值分布包含的搜索點中，檢測所述評價值為極小的搜索點，在所述檢測到的搜索點的數(shù)量為多個時，輸出所述檢測到的多個搜索點作為對應(yīng)點候補；在所述評價值分布中包含所述對應(yīng)點候補時，計算表示所述對應(yīng)點候補的坐標(biāo)分布的極小值分布的第1極小值分布和第2極小值分布，所述第1極小值分布對應(yīng)于第1基準點， 所述第2極小值分布對應(yīng)于存在于包含所述第1基準點的所述基準圖像的周圍區(qū)域中的一個或者多個第2基準點；基于所述第1極小值分布和所述第2極小值分布，計算表示所述第1基準點和第2基準點與所述多個對應(yīng)點候補的坐標(biāo)變動值的關(guān)系的評價值圖；在所述評價值圖中，將所述坐標(biāo)變動值為最小的所述對應(yīng)點候補判定為對應(yīng)點；以及輸出視差值，該視差值是所述對應(yīng)點在所述參照圖像中的坐標(biāo)點與所述第1基準點在所述參照圖像中的坐標(biāo)點的差分。
全文摘要
公開了實現(xiàn)包含連續(xù)的相似圖案的物體的距離測量的立體照相機。在使用了立體照相機的立體匹配中，在對基準點的SAD等的評價值分布中存在多個對應(yīng)點候補時，重疊被判定為存在多個對應(yīng)點的基準點的評價值分布和存在于該基準點的周圍區(qū)域中的其他各個基準點的評價值分布，生成評價值圖。由此，表現(xiàn)被判定為存在多個對應(yīng)點的基準點的周圍的現(xiàn)實空間中的物體的形狀，通過提取評價值圖上直線性最強的線段，能夠計算在一條直線上連續(xù)的柵欄等的準確距離。
文檔編號G08G1/16GK102203552SQ20108000312
公開日2011年9月28日 申請日期2010年9月2日 優(yōu)先權(quán)日2009年9月7日
發(fā)明者南里卓也, 西村洋文 申請人:松下電器產(chǎn)業(yè)株式會社