差值△表示了參考圖像la中每個像素的輝度值的圖像。
[0128] 然后，經(jīng)過圖9中的I/F 35輸出視差圖像Ip的圖像數(shù)據(jù)，并且通過物體識別設(shè)備 5來計算從成像設(shè)備l〇a、10b到物體的距離。
[0129] 車載裝備控制系統(tǒng)示例
[0130] 圖18是示出了載于車輛的根據(jù)本實施例的裝備控制系統(tǒng)示例的圖。下面將參考 圖18描述載于車輛100的裝備控制系統(tǒng)60的示例。
[0131] 在圖18中示出的配置中，被配置為汽車的車輛100包括裝備控制系統(tǒng)60。裝備控 制系統(tǒng)60包括安裝在作為艙室的車輛內(nèi)部的視差值導(dǎo)出設(shè)備3、控制設(shè)備6、方向盤7和制 動踏板8。
[0132]視差值導(dǎo)出設(shè)備3具有對車輛100的行駛方向上成像的成像功能，并安裝在例如 車輛100的前車窗上內(nèi)側(cè)的后視鏡附近。視差值導(dǎo)出設(shè)備3包括主體2和固定到主體2上 的成像設(shè)備l〇a與成像設(shè)備10b。成像設(shè)備10a、10b被固定到主體2上以便能夠?qū)υ谲囕v 1〇〇的行駛方向上的物體成像。
[0133] 控制設(shè)備6是代替上述物體識別系統(tǒng)1中的物體識別設(shè)備5被連接到視差值導(dǎo)出 設(shè)備3上、并且使用從視差值導(dǎo)出設(shè)備3到物體的距離信息來執(zhí)行多種車輛控制的設(shè)備，該 距離信息是基于從視差值導(dǎo)出設(shè)備3接收的視差圖像的圖像數(shù)據(jù)而獲得的。作為車輛控制 的示例，控制設(shè)備6基于從視差值導(dǎo)出設(shè)備3接收的視差圖像的圖像數(shù)據(jù)來執(zhí)行控制包括 方向盤7的轉(zhuǎn)向系統(tǒng)（控制目標(biāo)）以避免障礙物的轉(zhuǎn)向控制、或者控制制動踏板8 (控制目 標(biāo)）以減速或停止車輛100的制動控制。
[0134] 通過執(zhí)行例如在包括視差值導(dǎo)出設(shè)備3和控制設(shè)備6的裝備控制系統(tǒng)60中的轉(zhuǎn) 向控制或者制動控制的車輛控制，能夠改進駕駛車輛1〇〇的安全性。
[0135] 如上所述，視差值導(dǎo)出設(shè)備3捕獲在車輛100前方的物體的圖像。然而，實施例并 不限于此。具體地，可以安裝視差值導(dǎo)出設(shè)備3以便捕獲在車輛100后面或者側(cè)面的物體 的圖像。在這種情況下，視差值導(dǎo)出設(shè)備3可以檢測例如跟隨車輛100的后方車輛或者與 車輛100并行行駛的其它車輛的位置。當(dāng)車輛100變道或者并道時控制設(shè)備6可以檢測危 險并執(zhí)行以上車輛控制。在車輛100例如在停車場中被后退的情況下，當(dāng)確定存在碰撞危 險時，控制設(shè)備6還可以基于由視差值導(dǎo)出設(shè)備3檢測的車輛100后方的障礙物的視差圖 像來執(zhí)行以上車輛控制。
[0136] 本實施例的主要有益效果
[0137] 如上所述，在根據(jù)本實施例的視差值導(dǎo)出設(shè)備3中，成本計算器310和成本合成器 320并不是基于以像素為單位的偏移量d而是基于抽樣偏移特征中包括的離散偏移量d來 分別計算成本C和合成成本Ls。與基于以像素為單位偏移的偏移量d的計算相比較，可以 減少用于計算成本C和合成成本Ls的處理負(fù)荷，改進立體匹配處理的處理速度，并降低用 于導(dǎo)出視差值所需的時間。
[0138] 在視差值導(dǎo)出設(shè)備3中，亞像素估計器330可以導(dǎo)出以亞像素為單位的視差值A(chǔ)， 亞像素是比像素更小的單位，并且從而可以導(dǎo)出準(zhǔn)確的和高密度的視差值△，得出更準(zhǔn)確 的視差圖像。
[0139] 設(shè)置分別由成本計算器310和成本合成器320用來計算成本C和合成成本Ls的、 在抽樣偏移特征中包括的離散偏移量d，以便在偏移量d的值較小的區(qū)域中減少偏移量d之 間的間隔（較細(xì)），而在偏移量d的值較大的區(qū)域中增大偏移量d之間的間隔（較粗）。由 此能夠滿足行駛在道路上的車輛的輔助駕駛的最低需要的距離信息所需要的分辨率。
[0140] 當(dāng)用做匹配度的成本C是代表了相似度的評估值時，在其上的以亞像素為單位的 合成成本Ls為最大的偏移量d是視差值A(chǔ)。
[0141] 在上述實施例中，物體識別設(shè)備5基于視差圖像（視差值）來計算距離Z。然而， 實施例不限于此，并且視差值導(dǎo)出設(shè)備3的圖像處理器30的CPU 32可以計算距離Z。
[0142] 根據(jù)上述實施例，可以減少圖像處理的負(fù)荷并降低用于導(dǎo)出視差值所需要的時 間。
[0143] 雖然為了完整清晰的公開已經(jīng)針對具體實施例描述了發(fā)明，然而所附權(quán)利要求并 不因此受到限制而是應(yīng)理解為體現(xiàn)了本領(lǐng)域技術(shù)人員可能想到的所有的修改和替代結(jié)構(gòu)， 這些都應(yīng)屬于這里提出的基本教示的范圍內(nèi)。
【主權(quán)項】
1. 一種視差值導(dǎo)出設(shè)備，包括： 獲取單元，配置成獲取從第一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位 置捕獲的比較圖像中的指定范圍內(nèi)的多個區(qū)域中的每一個之間的匹配度，其中多個區(qū)域包 括與參考區(qū)域相對應(yīng)的對應(yīng)區(qū)域； 合成器，配置成合成參考圖像中的預(yù)定參考區(qū)域周邊的參考區(qū)域的匹配度和參考圖像 中的預(yù)定參考區(qū)域的匹配度；以及 導(dǎo)出單元，配置成基于合成器所獲得的合成的匹配度來導(dǎo)出物體的視差值，物體的圖 像在預(yù)定參考區(qū)域和與預(yù)定參考區(qū)域相對應(yīng)的對應(yīng)區(qū)域中被捕獲，其中 指定范圍內(nèi)的至少部分區(qū)域被在預(yù)定方向上在最接近的區(qū)域中移動兩個或兩個以上 像素。2. -種裝備控制系統(tǒng)，包括： 根據(jù)權(quán)利要求1所述的視差值導(dǎo)出設(shè)備；和 控制設(shè)備，配置成利用從視差值導(dǎo)出設(shè)備到物體的距離信息來控制控制目標(biāo)，距離信 息從由視差值導(dǎo)出設(shè)備導(dǎo)出的視差值獲得。3. -種可移動裝置，包括根據(jù)權(quán)利要求2所述的裝備控制系統(tǒng)。4. 一種機器人，包括根據(jù)權(quán)利要求2所述的裝備控制系統(tǒng)。5. -種視差值導(dǎo)出設(shè)備，用于從參考圖像和比較圖像中導(dǎo)出代表了對于物體的視差的 視差值，其中參考圖像由捕獲物體的圖像的第一成像單元獲得，比較圖像由捕獲物體的另 一圖像的第二成像單元獲得，視差值導(dǎo)出設(shè)備包括： 獲取單元，配置成基于第一參考區(qū)域的輝度值和候選區(qū)域的輝度值來計算多個候選區(qū) 域的各自的匹配度，其中多個候選區(qū)域的每一個都作為與參考圖像中的第一參考區(qū)域相對 應(yīng)的比較圖像中的對應(yīng)區(qū)域的候選，其中基于第一參考區(qū)域，在比較圖像中的核線上，從與 第一參考區(qū)域的位置相對應(yīng)的區(qū)域中，通過從預(yù)定的偏移范圍部分地除去預(yù)定的偏移量而 獲得的特征中包括的偏移量進行位置偏移來指定候選區(qū)域的輝度值； 合成器，配置成基于特征中包括的偏移量，使用候選區(qū)域的匹配度，通過合計對于在第 一參考區(qū)域周邊的第二參考區(qū)域在比較圖像中的匹配度，來計算每個候選區(qū)域的合成匹配 度；和 導(dǎo)出單元，配置成基于與比較圖像中的各個候選區(qū)域的合成的匹配度的第一極值相對 應(yīng)的偏移量來導(dǎo)出視差值。6. 根據(jù)權(quán)利要求5所述的視差值導(dǎo)出設(shè)備，其中當(dāng)特征中包括的偏移量以升序排列 時，配置特征使得相鄰偏移量之間的差值隨偏移量增大而增大。7. 根據(jù)權(quán)利要求6所述的視差值導(dǎo)出設(shè)備，其中由根據(jù)對于基于視差值確定的到物體 的距離的期望分辨率的偏移量形成特征。8. 根據(jù)權(quán)利要求5至7中任何一項所述的視差值導(dǎo)出設(shè)備，還包括配置成預(yù)先存儲特 征的存儲設(shè)備。9. 根據(jù)權(quán)利要求5至7中的任何一項所述的視差值導(dǎo)出設(shè)備，其中導(dǎo)出單元基于被包 括在特征中包括的偏移量中并且包括與第一極值相對應(yīng)的偏移量的互相鄰近的偏移量，通 過亞像素估計導(dǎo)出視差值。10. 根據(jù)權(quán)利要求9所述的視差值導(dǎo)出設(shè)備，其中導(dǎo)出單元導(dǎo)出與穿過坐標(biāo)上的三點 的二次曲線中的第二極值相對應(yīng)的、以亞像素為單位的偏移量作為視差值，所述三點由對 應(yīng)于第一極值并且被包括在包括于特征中的偏移量中的偏移量、由與該偏移量相鄰的兩個 偏移量、以及由與偏移量相對應(yīng)的合成的匹配度來定義。11. 根據(jù)權(quán)利要求9所述的視差值導(dǎo)出設(shè)備，其中導(dǎo)出單元導(dǎo)出與使用坐標(biāo)上四個或 者四個以上的點由最小二乘法定義的二次曲線中的第三極值相對應(yīng)的、以亞像素為單位的 偏移量作為視差值，所述四個或者四個以上點由包括與第一極值相對應(yīng)的偏移量并且被包 括在包括于特征中的偏移量中的四個或者四個以上相鄰的偏移量、以及由與偏移量相對應(yīng) 的合成的匹配度來定義。12. -種裝備控制系統(tǒng)，包括： 根據(jù)權(quán)利要求5至7中任何一個所述的視差值導(dǎo)出設(shè)備；以及 控制設(shè)備，配置成使用從視差值導(dǎo)出設(shè)備到物體的距離信息來控制控制目標(biāo)，距離信 息從由視差值導(dǎo)出設(shè)備導(dǎo)出的視差值中獲得。13. -種可移動裝置，包括根據(jù)權(quán)利要求12所述的裝備控制系統(tǒng)。14. 一種機器人，包括根據(jù)權(quán)利要求12所述的裝備控制系統(tǒng)。15. -種視差值導(dǎo)出方法，包括： 獲取從第一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位置捕獲的比較圖 像中的指定范圍內(nèi)的多個區(qū)域中的每一個之間的匹配度，其中多個區(qū)域包括與參考區(qū)域相 對應(yīng)的對應(yīng)區(qū)域； 合成參考圖像中的預(yù)定參考區(qū)域周邊的參考區(qū)域的匹配度和參考圖像中的預(yù)定參考 區(qū)域的匹配度；以及 基于合成步驟中所獲得的合成的匹配度來導(dǎo)出物體的視差值，物體的圖像在預(yù)定參考 區(qū)域和與預(yù)定參考區(qū)域相對應(yīng)的對應(yīng)區(qū)域中被捕獲，其中 指定范圍內(nèi)的至少部分區(qū)域被在預(yù)定方向上在最接近的區(qū)域中移動兩個或兩個以上 像素。16. -種視差值導(dǎo)出設(shè)備，包括： 獲取單元，配置成獲取從第一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位 置捕獲的比較圖像中的指定范圍內(nèi)的多個不連續(xù)區(qū)域中的每一個之間的匹配度，其中多個 不連續(xù)區(qū)域包括與參考區(qū)域相對應(yīng)的對應(yīng)區(qū)域； 合成器，配置成合成參考圖像中的預(yù)定參考區(qū)域周邊的參考區(qū)域的匹配度和參考圖像 中的預(yù)定參考區(qū)域的匹配度；以及 導(dǎo)出單元，配置成基于合成器所獲得的合成的匹配度來導(dǎo)出物體的視差值，物體的圖 像在預(yù)定參考區(qū)域和與預(yù)定參考區(qū)域相對應(yīng)的對應(yīng)區(qū)域中被捕獲。
【專利摘要】本發(fā)明提供了一種視差值導(dǎo)出設(shè)備及方法、裝備控制系統(tǒng)、可移動裝置。該視差值導(dǎo)出設(shè)備，包括：獲取單元，配置成獲取從第一成像位置捕獲的參考圖像中的參考區(qū)域與從第二成像位置捕獲的比較圖像中的指定范圍內(nèi)的多個區(qū)域中的每一個之間的匹配度，其中多個區(qū)域包括參考區(qū)域的對應(yīng)區(qū)域；合成器，配置成合成參考圖像中的預(yù)定參考區(qū)域周邊的參考區(qū)域的匹配度和參考圖像中的預(yù)定參考區(qū)域的匹配度；以及導(dǎo)出單元，配置成基于合成器所獲得的合成的匹配度來導(dǎo)出物體的視差值，物體的圖像在預(yù)定參考區(qū)域和預(yù)定參考區(qū)域的對應(yīng)區(qū)域中被捕獲。
【IPC分類】H04N13/00, G06T7/00
【公開號】CN104883553
【申請?zhí)枴緾N201510088844
【發(fā)明人】仲維, 渡邊義一, 橫田聰一郎, 齊藤樹一郎, 田村亮輔
【申請人】株式會社理光
【公開日】2015年9月2日
【申請日】2015年2月26日
【公告號】EP2924655A2, US20150248594