。邊緣視差圖像是由常用的塊匹配法導(dǎo)出并且僅在例如參考圖像中的邊緣的 具有相對(duì)強(qiáng)紋理的部分代表視差值的圖像。
[0046] SGM法是即使對(duì)于具有弱紋理的物體也導(dǎo)出適當(dāng)?shù)囊暡钪怠⒉⑶一趫D2(a)中示 出的參考圖像而導(dǎo)出圖2(b)中示出的高密度視差圖像的方法。當(dāng)使用塊匹配法時(shí)，圖2(c) 中示出的邊緣視差圖像是基于圖2(a)中示出的參考圖像導(dǎo)出的。通過比較在圖2(b)和圖 2(c)中由虛線包圍的橢圓形能夠理解的是，與邊緣視差圖像相比，高密度視差圖像可以表 示例如具有弱紋理的道路的詳細(xì)信息并且因此能夠更詳細(xì)地進(jìn)行距離測(cè)量。
[0047] 在SGM方法中，視差值是通過計(jì)算出成本并且然后進(jìn)一步計(jì)算被相異地合成的合 成成本而導(dǎo)出的，而不是通過計(jì)算出相異的成本后立即導(dǎo)出視差值而導(dǎo)出的。在該方法中， 最終導(dǎo)出表示了幾乎所有像素中的視差值的視差圖像（這里指高密度視差圖像）。在成本 計(jì)算方面塊匹配法與SGM方法相同。然而，與SGM方法不同的是，在未計(jì)算合成成本的前提 下，僅在例如邊緣的具有相對(duì)強(qiáng)的紋理的部分導(dǎo)出視差值。
[0048] 成本計(jì)算
[0049] 首先將參考圖3和圖4描述計(jì)算成本C(p，d)的方法。圖3(a)是示出了參考圖 像中的參考像素的概念圖并且圖3(b)是在相對(duì)于（a)中的參考像素對(duì)于比較圖像中的對(duì) 應(yīng)像素的候選連續(xù)偏移（位移）時(shí)計(jì)算成本的概念圖。圖4是示出了針對(duì)偏移量的成本的 圖。這里，對(duì)應(yīng)像素是在比較圖像中最接近于參考圖像中的參考像素的像素。在以下描述 中，假定 C(p，d)表示 C(x，y，d)。
[0050] 如圖3(a)中所示，基于參考圖像中的預(yù)定的參考像素p(x，y)的輝度值和與參考 像素P(x，y)對(duì)應(yīng)的比較圖像中核線EL上的多個(gè)候選對(duì)應(yīng)像素q(x+d，y)的輝度值，計(jì)算與 參考像素P (x，y)對(duì)應(yīng)的每個(gè)候選對(duì)應(yīng)像素q (x+d，y)的成本C (p，d)。變量d是從參考像 素P的對(duì)于對(duì)應(yīng)像素的每個(gè)候選q的偏移量（位移量），在本實(shí)施例中以像素為單位來表達(dá) 偏移量。也就是說，圖3中，候選對(duì)應(yīng)像素q(x+d，y)和參考像素p(x，y)之間的輝度值上 相異的成本C(p，d)是在預(yù)定范圍（例如，0<d<25)內(nèi)一個(gè)像素接一個(gè)像素地連續(xù)偏移 候選對(duì)應(yīng)像素q(x+d，y)時(shí)計(jì)算出來的。當(dāng)成本C表示相異時(shí)應(yīng)用例如SAD(絕對(duì)差之和） 的已知方法作為計(jì)算成本C的方法。
[0051] 如圖4中所示，由此計(jì)算的成本C(p，d)可以通過針對(duì)偏移量d的一套成本C的 成本曲線的圖來表達(dá)。圖4中，由于當(dāng)偏移量d = 5、12、19時(shí)成本為零，因此不能獲得最小 值。因此在物體具有弱紋理的情況下很難獲得成本C的最小值。
[0052] 合成成本計(jì)算
[0053] 現(xiàn)在將參考圖5和圖6描述計(jì)算合成成本Ls(p，d)的方法。圖5是用于導(dǎo)出合成 成本的概念圖。圖6是示出了針對(duì)視差值的合成成本的合成-成本曲線的圖。
[0054] 在本實(shí)施例中的計(jì)算合成成本的方法中，計(jì)算參考像素p(x，y)中的成本C(p，d)， 并且也計(jì)算存在于離參考像素p(x，y)由近到遠(yuǎn)的位置上的像素p(x n，yn)中的每一個(gè)的成 本作為對(duì)于另一個(gè)參考像素P(xn，y n)中的每一個(gè)的成本C。采用這種配置，通過合計(jì)對(duì)于 參考像素P(x，y)計(jì)算的成本C(p，d)和對(duì)于存在于離參考像素p(x，y)由近到遠(yuǎn)的位置上 的其它參考像素P(x n，yn)計(jì)算的成本C來計(jì)算對(duì)于參考像素p(x，y)的合成成本Ls(p，d)。 類似地，通過合計(jì)對(duì)于一個(gè)參考像素p (xn，yn)的計(jì)算成本C和對(duì)于存在于離參考像素p (xn， yn)由近到遠(yuǎn)的位置上的其它參考像素的計(jì)算成本C來計(jì)算對(duì)于每一個(gè)參考像素p (xn，yn) 的合成成本Ls。
[0055] 現(xiàn)在將更詳細(xì)地描述計(jì)算合成成本的方法。為了計(jì)算合成成本Ls (p，d)，首先需要 計(jì)算路徑成本Lr(p，d)。等式（3)是用于計(jì)算路徑成本Lr(p，d)的等式，并且等式（4)是 用于計(jì)算合成成本Ls的等式。
[0056] Lr (p, d) = C (p, d) +min {(Lr (p~r, d), Lr (p~r, d-1) +P1, Lr (p~r, d+1) +P1, Lrmin (p -r)+p2} (3)
[0057] 這里，在等式（3)中，r代表在合計(jì)方向上的方向矢量并且具有X方向和Y方向的 兩個(gè)分量。術(shù)語min {}是用于獲得最小值的函數(shù)。Lrmin (p-r)代表當(dāng)偏移量d在將p在r 方向上偏移一個(gè)像素的坐標(biāo)中變化時(shí)Lr(p-r，d)的最小值。如等式（3)中所表達(dá)的，路徑 成本Lr被反復(fù)地應(yīng)用。P1和P2是預(yù)先由實(shí)驗(yàn)設(shè)置的固定的參數(shù)以使得路徑上的相鄰參考 像素的視差值A(chǔ)有可能連續(xù)。例如，P1 = 48,P2 = 96。正如等式（3)中表達(dá)的，通過將圖 5中示出的r方向上的像素中每個(gè)像素的路徑成本Lr的最小值添加到參考像素p(x，y)中 的成本C上來獲得路徑成本Lr (p，d)。如上所述，為了獲得r方向上每個(gè)像素處的Lr，首先 從參考像素P(x，y)的r方向上的最末端像素獲得Lr，并且沿著r方向獲得Lr。如圖5中 所，獲1%八個(gè)方向上的Lr。、Lr 45、Lr9。、Lr135、Lr18。、Lr225、Lr 27。、Lr315，并且基于等式⑷取 終獲得合成成本Ls。
[0058]
(4)
[0059] 如圖6中所示，可以由表示了針對(duì)偏移量d的合成成本Ls(p，d)的合成-成本曲 線的圖來表示由此計(jì)算的合成成本Ls(p，d)。在圖6中，合成成本Ls在偏移量d = 3時(shí)具 有最小值并且因此以視差值△ =3來計(jì)算。雖然在前述中r的數(shù)量是八，但是該數(shù)量并不 限于此。例如，八個(gè)方向可以進(jìn)一步被二分為16個(gè)方向或三分為24個(gè)方向。雖然被表達(dá) 為"相異"，然而成本C可以被表示為作為相異的互反的"相似"。在這種情況下，應(yīng)用例如 NCC(正規(guī)化交叉相關(guān)）的已知的方法作為計(jì)算成本C的方法。在這種情況下，導(dǎo)出的并非 是具有最小值而是具有"最大值"的合成成本的視差值△。可以將相似和相異包含地表示 為"匹配度"。
[0060] 本實(shí)施例的具體描述
[0061] 下面參考附圖給出本實(shí)施例的具體說明。這里，將描述車載物體識(shí)別系統(tǒng)1。物體 識(shí)別系統(tǒng)1不僅可以安裝在作為車輛的示例的汽車上，而且還可以安裝在作為車輛的其它 示例的摩托車、自行車、輪椅和農(nóng)業(yè)耕種機(jī)上。物體識(shí)別系統(tǒng)1不僅可以安裝在作為可移動(dòng) 裝置的示例的車輛上，也可以安裝在作為可移動(dòng)裝置的另一示例的機(jī)器人上。機(jī)器人可以 不是可移動(dòng)裝置而是例如固定安裝在FA(工業(yè)自動(dòng)化）中的工業(yè)機(jī)器人的裝置。固定安裝 的裝置可能不是機(jī)器人而是安全監(jiān)控?cái)z像機(jī)。
[0062] 實(shí)施例配置
[0063] 首先，將參考圖7至圖9描述本實(shí)施例的每一個(gè)的整體配置。
[0064] 外部配置
[0065] 將參考圖7和圖8描述本實(shí)施例中的物體識(shí)別系統(tǒng)1的外部配置。圖7 (a)是描 述了裝備有根據(jù)本發(fā)明實(shí)施例的物體識(shí)別系統(tǒng)的汽車的側(cè)面示意圖，并且圖7(b)是描述 了汽車前部的示意圖。圖8是物體識(shí)別系統(tǒng)的示意圖。
[0066] 如圖7(a)和圖7(b)中所示，本實(shí)施例的物體識(shí)別系統(tǒng)1包括成像設(shè)備10a(第一 成像單元）和成像設(shè)備l〇b (第二成像單元）。安裝成像設(shè)備10a和成像設(shè)備10b (第一成 像位置，第二成像位置）以便能夠?qū)ζ囆旭偡较蚯胺降膱?chǎng)景成像。如圖8中所示，物體識(shí) 別系統(tǒng)1包括主體2和提供在主體2上的一對(duì)圓柱形成像設(shè)備10a和成像設(shè)備10b。
[0067] 整體硬件配置
[0068] 現(xiàn)在將參考圖9描述物體識(shí)別系統(tǒng)1的整體硬件配置。圖9是總體上物體識(shí)別系 統(tǒng)的硬件配置圖。
[0069] 如圖9中所示，物體識(shí)別系統(tǒng)1包括主體2中的物體識(shí)別設(shè)備5和視差值導(dǎo)出設(shè) 備3〇
[0070] 視差值導(dǎo)出設(shè)備3通過對(duì)物體E成像而獲得多個(gè)圖像來導(dǎo)出指示了對(duì)于物體E的 視差值A(chǔ)，并且輸出指示了每個(gè)像素中的視差值A(chǔ)的高密度視差圖像。物體識(shí)別設(shè)備5基 于從視差值導(dǎo)出設(shè)備3輸出的高密度視差圖像來執(zhí)行例如測(cè)量從成像設(shè)備10a、10b到物體 E的距離的處理。
[0071] 這里，將首先描述視差值導(dǎo)出設(shè)備3的硬件配置。如圖9中所示，視差值導(dǎo)出設(shè)備 3包括成像設(shè)備10a、成像設(shè)備10b、信號(hào)轉(zhuǎn)換設(shè)備20a、信號(hào)轉(zhuǎn)換設(shè)備20b以及圖像處理設(shè) 備30。
[0072] 成像設(shè)備10a通過對(duì)前方場(chǎng)景成像而生成代表圖像的模擬信號(hào)，并且包括成像透 鏡11a、快門12a和圖像傳感器13a。
[0073] 成像透鏡11a是用于衍射穿過成像透鏡11a的光以形成物體的圖像的光學(xué)元件。 快門12a切斷穿過成像透鏡11a的光的一部分來調(diào)整輸入到下文所述的圖像傳感器13a的 光量。圖像傳感器13a是半導(dǎo)體設(shè)備，將從成像透鏡11a和快門12a輸入的光轉(zhuǎn)換成電模擬 圖像信號(hào)并且通過例如電荷耦合設(shè)備（CCD)或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS)來實(shí)現(xiàn)。成 像設(shè)備l〇b具有與成像設(shè)備10a相同的配置，并且省略了成像設(shè)備10b的描述。安裝成像 透鏡11a和成像透鏡lib以使得他們各自的透鏡面在同一平面。
[0074] 信號(hào)轉(zhuǎn)換設(shè)備20a將代表所捕獲的圖像的模擬信號(hào)轉(zhuǎn)換為數(shù)字格式的圖像數(shù)據(jù)， 并且包括相關(guān)雙采樣（⑶S) 21a、自動(dòng)增益控制（AGC) 22a、模擬數(shù)字轉(zhuǎn)換器（ADC) 23a和幀存 儲(chǔ)器24a。
[0075] ⑶S 21a通過相關(guān)雙采樣從由圖像傳感器13a轉(zhuǎn)換的模擬圖像信號(hào)中除去噪音。 AGC 22a執(zhí)行控制具有由⑶S 21a除去的噪音的模擬圖像信號(hào)的強(qiáng)度的增益控制。ADC 23a 將由AGC 22a執(zhí)行增益-控制的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字格式的圖像數(shù)據(jù)。幀存儲(chǔ)器24a 存儲(chǔ)由ADC 23a轉(zhuǎn)換的圖像數(shù)據(jù)。
[0076] 類似地，信號(hào)轉(zhuǎn)換設(shè)備20b從由成像設(shè)備10b轉(zhuǎn)換的模擬圖像信號(hào)獲得圖像數(shù)據(jù)， 并且包括CDS 21b、AGC 22b、ADC 23b和幀存儲(chǔ)器24b。
[0077] CDS 21b、AGC 22b、ADC 23b 和幀存儲(chǔ)器 24b 分別與 CDS 21a、AGC 22a、ADC 23a 和 幀存儲(chǔ)器24a具有相同的配置并且省略其說明。
[0078] 圖像處理設(shè)備30是用于處理由信號(hào)轉(zhuǎn)換設(shè)備20