移動對象識別器的制造方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請基于并且要求于2012年11月19日提交的日本專利申請No. 2012-252932 和于2013年7月29日提交的日本專利申請No. 2013-156774的優(yōu)先權(quán)，上述申請的全部內(nèi) 容通過引用方式并入到本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明設(shè)及移動對象識別器、用于移動對象識別的程序和集成了移動對象識別器 的車輛。
【背景技術(shù)】
[0004] 已經(jīng)開發(fā)出了移動對象識別器來識別諸如前面的行人、車輛之類的對象的速度和 運動上的變化，并且發(fā)現(xiàn)危險情況（例如行人突然躍入、另一車輛并入），來警告其駕駛員 W避免發(fā)生危險。
[0005] 例如，存在用于移動對象識別的該樣的技術(shù)，即根據(jù)在二維圖像帖和相機的焦距 之間的移動對象的尺寸上的變化，來發(fā)現(xiàn)到前面的移動對象的距離上的變化。然而，該種技 術(shù)無法準(zhǔn)確地測量到移動對象的距離或準(zhǔn)確地檢測對象的移動上的變化。
[0006] 鑒于上述問題，例如日本專利申請公開No. 2000-266539公開了一種車輛間距離 測量單元，用于計算與利用立體相機獲取的立體圖像之間的差異，來生成差異圖像或范圍 圖像。該差異圖像是指其像素值是差異值的圖像。
[0007] 該測量單元被配置為根據(jù)差異圖像來檢測前面的車輛，找到車輛邊緣的移動矢 量，并且根據(jù)移動矢量的大小和方向來計算車輛間距離和距離上的變化。
[0008] 該測量單元單獨根據(jù)差異圖像來識別移動對象，并且通過W框或窗口為單位的圖 像匹配來獲得差異圖像。有鑒于此，其具有的一個缺陷在于差異圖像的空間分辨率低。例 如，其無法準(zhǔn)確地檢測到前面的具有非平面后部的車輛的距離。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明意在提供能夠改善識別移動對象和檢測對象的移動上的變化的準(zhǔn)確性的 移動對象識別器、用于移動對象識別的程序和集成了該樣的移動對象識別器的車輛。
[0010] 根據(jù)本發(fā)明的一個方面，一種移動對象識別器包括：圖像輸入器，從立體相機連續(xù) 地接收立體圖像信號，并且輸出立體圖像；亮度圖像生成器，被配置為連續(xù)地存儲從所述圖 像輸入器輸出的立體圖像的圖像中的至少一個的帖，并且生成亮度圖像帖；差異圖像生成 器，被配置為計算從所述圖像輸入器輸出到所述亮度圖像生成器的立體圖像的圖像之間的 差異，并且生成差異圖像帖；對象識別器，被配置為至少根據(jù)所述亮度圖像帖來識別對象； 跟蹤處理器，被配置為通過從在特定時間處識別出的圖像帖之后的圖像帖獲取的亮度圖像 帖，對由所述對象識別器在特定時間從圖像帖識別出的對象進行跟蹤；W及變化檢測器，被 配置為從與所述亮度圖像帖同步的差異圖像帖檢測被跟蹤的對象的狀態(tài)上的變化。
【附圖說明】
[0011] 參考附圖并根據(jù)W下的詳細描述，本發(fā)明的特征、實施例和優(yōu)點將變得顯而易見。
[0012] 圖1示意性地示出了根據(jù)本發(fā)明一個實施例的集成了移動對象識別器的車輛；
[0013] 圖2示出了圖1中所示的立體相機和移動對象識別器的硬件配置；
[0014] 圖3是圖2中的移動對象識別器的功能的框圖；
[0015] 圖4示出了立體相機的結(jié)構(gòu)和差異之間的關(guān)系；
[0016]圖5A到5C通過示例分別示出了由左側(cè)透鏡系統(tǒng)捕獲的立體圖像中的一個圖像、 由右側(cè)透鏡系統(tǒng)捕獲的立體圖像中的另一個圖像、W及根據(jù)立體圖像生成的差異圖像；
[0017] 圖6示出了根據(jù)差異圖像帖創(chuàng)建的差異的水平直方圖的示例；
[0018] 圖7示意性地示出了道路區(qū)域和移動對象之間的關(guān)系；
[0019] 圖8示意性地示出了亮度圖像上的矩形框；
[0020] 圖9A到9F通過示例示出了矩形框的分區(qū)樣式W及如何使用分區(qū)樣式來找到矩形 框的特征量；
[0021] 圖10示出了對象識別器的多層級的結(jié)構(gòu)；
[0022] 圖11示出了被識別出的候選區(qū)域；
[0023] 圖12示出了被識別出的候選區(qū)域和道路區(qū)域之間的關(guān)系；
[0024] 圖13示出了包括要被跟蹤的對象的圖像；
[00巧]圖14示出了圖13中的包含對象的圖像的下一帖；
[0026] 圖15示出了用于對象識別的與亮度圖像帖相對應(yīng)的差異圖像帖；
[0027] 圖16示出了用于對象識別的與亮度圖像帖相對應(yīng)的差異圖像帖擬及
[0028] 圖17是移動對象識別器的操作的流程圖。
【具體實施方式】
[0029] 在下文中，將參照附圖詳細描述移動對象識別器的一個實施例。在適用時，在各個 附圖中將使用相同的附圖標(biāo)記來指代相同或相似的部分。圖1示意性地示出了根據(jù)本實施 例的集成了移動對象識別器的車輛1的外部。
[0030] 在圖1中，車輛1包括位于車輛本體上的用于跟蹤目標(biāo)移動對象S的移動對象識 別器2和警告單元3。
[0031] 圖2是車載立體相機和移動對象識別器2的硬件配置的框圖。如圖2所示，移動 對象識別器2包括用于處理來自立體相機的信號的電路，并且該電路能夠被包括在立體相 機中。立體相機包括左右兩個透鏡系統(tǒng)la、化，作為圖像傳感器的左右兩個CMOS(互補金屬 氧化物半導(dǎo)體）2a、化，CDS電路3a、3b，W及A/D轉(zhuǎn)換器4a、4b。
[0032] 來自對象的光被經(jīng)由透鏡系統(tǒng)IaUb成像在CMOS2a、化上。CMOS2a、化將光學(xué) 圖像轉(zhuǎn)換為電子信號，并將該電子信號作為模擬圖像數(shù)據(jù)輸出到左右CDS(相關(guān)雙采樣）電 路 3a、3b。
[0033]CDS電路3a、3b從（從CMOS2a、化輸出的）模擬圖像數(shù)據(jù)移除噪聲分量，并將該 圖像數(shù)據(jù)輸出到A/D轉(zhuǎn)換器4a、4b。A/D轉(zhuǎn)換器4a、4b將模擬圖像數(shù)據(jù)轉(zhuǎn)換為數(shù)字圖像數(shù) 據(jù)，并且將其輸出到圖像處理電路5a、5b。
[0034] 通過從由CPU7控制的定時信號生成器6輸出的定時信號來控制CM0S2a、2b，CDS 電路3a、3b，A/D轉(zhuǎn)換器4a、4b。CPU7還控制圖像處理電路5a、5b、在下文中描述的壓縮/ 解壓縮電路和存儲卡。
[0035] 圖像處理電路5a、化執(zhí)行各種圖像處理，例如Y、化、Cb轉(zhuǎn)換，白平衡校正，對比度 校正，邊緣增強W及對在SDRAM(同步DRAM)中臨時存儲的圖像數(shù)據(jù)的顏色轉(zhuǎn)換。
[0036] 白平衡校正是要調(diào)整圖像信息的顏色密度，而對比度校正是要調(diào)整圖像信息的對 比度。邊緣增強正是要調(diào)整圖像信息的銳度，而顏色轉(zhuǎn)換是要調(diào)整圖像信息的色澤。
[0037] 圖像信息要被進行信號處理和圖像處理，并且被經(jīng)由壓縮/解壓縮電路9存儲在 存儲卡10中。壓縮/解壓縮電路9壓縮來自圖像處理電路5a、5b的數(shù)字圖像數(shù)據(jù)，并且將 其輸出到存儲卡10,W及解壓縮從存儲卡10讀取的圖像信息，并且將其輸出到圖像處理電 路 5a、5b。
[0038]CPU17通過用于移動對象識別的計算機可讀程序來計算各種數(shù)據(jù)。CPU7集成了 存儲程序的ROM(只讀存儲器）11、工作區(qū)域W及具有數(shù)據(jù)存儲區(qū)域并且被經(jīng)由總線與ROM 和工作區(qū)域連接的RAM(隨機存取存儲器）12。通過操作單元13的操縱，移動對象識別器2 執(zhí)行其功能。
[0039] 參照圖3,描述了移動對象識別器的CPU7的處理。立體相機的CMOS2a、2b，CDS 電路3a、3bW及A/D轉(zhuǎn)換器4a、4b用作圖像輸出，從該圖像輸出連續(xù)地輸出立體圖像信號。
[0040]圖像處理電路5a、化用作圖像輸入器20來接收從圖像輸出輸出的立體圖像信號 并輸出立體圖像，W及用作亮度圖像生成器21來連續(xù)存儲從圖像輸出輸出的立體圖像中 的至少一個圖像的帖并且基于立體圖像的圖像之一的每一個帖來生成亮度圖像帖。
[0041] 在ROM11中存儲的程序被加載到CPU7上。CPU7用作差異圖像生成器22來計 算從圖像輸入器20輸出到亮度圖像生成器21的立體圖像的圖像之間的差異，并且生成差 異圖像帖。
[0042] 此外，CPU7用作對象識別器23來根據(jù)來自亮度圖像生成器21的亮度圖像帖和 來自差異圖像生成器22的差異圖像帖識別對象，用作跟蹤處理器來通過各個圖像帖跟蹤 被識別出的對象，W及用作變化檢測器25來根據(jù)差異圖像帖計算對象的移動上的變化。
[0043] 將變化檢測器25的檢測結(jié)果連續(xù)輸出到警告單元3的屏幕。警告單元3被配置 為根據(jù)對象的狀態(tài)，并且例如通過在屏幕上顯示符號或文字作為對另一個車輛并入、行人 躍入的警告，來向駕駛員發(fā)出警告?？蒞用聲音發(fā)出警告。
[0044] 對象識別器23包括候選區(qū)域識別器23a來從差異圖像帖識別對象的候選區(qū)域，并 且包括對象確定器23b來根據(jù)差異圖像帖和亮度圖像帖來確定要被跟蹤的目標(biāo)對象。
[0045] 跟蹤處理器24在當(dāng)前的亮度圖像帖中跟蹤由對象識別器根據(jù)上一個圖像帖的亮 度圖像帖和差異圖像帖確定的目標(biāo)對象。或者，其能夠被配置為跟蹤通過在特定時間之后 獲取的亮度圖像帖根據(jù)在特定時間獲取的圖像帖的亮度圖像帖和差異圖像帖來確定的目 柄對象。
[0046] 變化檢測器25包括距離計算器25a來計算對象相對于車輛1的在前后方向上的 變化量，并且包括運動計算器2化來計算對象相對于車輛1的在橫向方向上的變化量。前 后方向上的變化量包括前后方向上的距離上的變化和速度或加速度上的變化。同時，橫向 方向上的變化量包括橫向方向上的距離上的變化和速度或加速度上的變化。前后方向上的 速度上的變化對應(yīng)于例如前面的車輛快速地加速同時車輛IW恒定速度駕駛的情況。橫向 方向上的速度上的變