專利名稱：車輛周圍環(huán)境監(jiān)控設(shè)備及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛周圍環(huán)境監(jiān)控設(shè)備，其被配置用于檢測車輛附近存在的行人。
背景技術(shù)：
日本專利申請公開No.2001-6069提出了一種車輛周圍環(huán)境監(jiān)控設(shè)備，其被配置用于使用由安裝在車輛上的攝象裝置拍攝的紅外圖象來檢測車輛附近存在的行人。在該文獻中描述的車輛周圍環(huán)境監(jiān)控設(shè)備使用兩臺紅外攝象機獲得的圖象計算車輛與位于車輛附近的目標(biāo)之間的距離，并根據(jù)利用時間序列得到的位置數(shù)據(jù)計算目標(biāo)的運動向量。然后，根據(jù)車輛行駛的方向和目標(biāo)運動向量，該設(shè)備檢測是否存在車輛與目標(biāo)相撞的很大可能性。
日本專利申請公開No.2001-108758提出了一種技術(shù)，其使用由安裝在車輛上的攝象裝置拍攝的紅外圖象檢測車輛附近存在的目標(biāo)，同時排除溫度與行人體溫明顯不同的區(qū)域。如果在排除溫度與行人體溫明顯不同的區(qū)域之后從剩余的區(qū)域中提取出一個目標(biāo)，則檢查目標(biāo)的垂直與水平尺寸之比，從而判斷目標(biāo)是否是行人。
日本專利申請公開No.2003-16429提出了一種技術(shù)，從攝象設(shè)備拍攝的紅外圖象中提取出發(fā)射紅外線的目標(biāo)。提取目標(biāo)的圖象與用作識別結(jié)構(gòu)體(structure)的參考圖象比較，并判斷每個目標(biāo)是否是一個結(jié)構(gòu)體。然后排除判定為結(jié)構(gòu)體的目標(biāo)，且剩余目標(biāo)檢測為行人、動物或運動的目標(biāo)。

發(fā)明內(nèi)容
雖然日本專利申請公開No.2001-6069和日本專利申請公開No.2001-108758能夠檢測發(fā)射紅外線的目標(biāo)，但是這些技術(shù)都遭遇檢測到除行人之外的目標(biāo)的問題。例如，他們檢測到諸如自動販賣機等目標(biāo)和其它自主發(fā)熱的目標(biāo)，例如已經(jīng)在白天由太陽加熱的電話線桿和燈柱，以及對于車輛操作無關(guān)緊要的其它目標(biāo)。更特別的是，這些技術(shù)不能區(qū)分行人與垂直尺寸和行人的相似、溫度和行人體溫相似的目標(biāo)。此外，當(dāng)試圖只通過使用象檢查垂直尺寸與水平尺寸比這樣的外形識別方法從檢測到的目標(biāo)中提取行人時，難于提高準(zhǔn)確度。
同時，日本專利申請公開No.2003-16429中提出的技術(shù)使用指定模板，以通過執(zhí)行模板匹配處理來判斷目標(biāo)是否是結(jié)構(gòu)體。立體紅外攝象機對于執(zhí)行用于設(shè)定模板的距離測量是必需的，因此設(shè)備變得非常昂貴。此外，模板匹配處理產(chǎn)生非常重的計算機處理負荷，使得必須使用高速CPU(中央處理單元)和專用DSP(數(shù)字信號處理器)，這也使設(shè)備變得昂貴。另外，因為不能準(zhǔn)備覆蓋所有實際存在的可能結(jié)構(gòu)體模型的模板，所以不能與任何用于與提取目標(biāo)比較的模板匹配的結(jié)構(gòu)體被識別為行人，從而使檢測行人的準(zhǔn)確度低。
本發(fā)明針對這些問題提出，其目的是提供一種高準(zhǔn)確度、低成本的車輛周圍環(huán)境監(jiān)控設(shè)備。
本發(fā)明的一個方面提供一種車輛周圍環(huán)境監(jiān)控設(shè)備，包括目標(biāo)提取單元，其被配置成從拍攝的紅外圖象中提取發(fā)射紅外線的目標(biāo)；行人候選者提取單元，其被配置成根據(jù)由目標(biāo)提取單元提取的目標(biāo)圖象形狀來提取行人候選者；以及結(jié)構(gòu)體排除處理單元，其被配置成根據(jù)行人候選者圖象灰度從行人候選者中排除結(jié)構(gòu)體。
本發(fā)明的另一方面提供一種車輛周圍環(huán)境監(jiān)控方法，包括從車輛發(fā)射紅外線、接收從車輛附近存在的目標(biāo)反射的紅外線并生成紅外圖象、從紅外圖象中提取那些反射的紅外線量等于或超過指定量的目標(biāo)、根據(jù)提取目標(biāo)的圖象形狀提取行人候選者的圖象、根據(jù)行人候選者的灰度判斷行人候選者是否是結(jié)構(gòu)體、判定沒有被判定為結(jié)構(gòu)體的行人候選者為行人。


圖1的框圖顯示根據(jù)本發(fā)明的車輛周圍環(huán)境監(jiān)控設(shè)備的一個實施方案。
圖2的簡圖用于說明車輛周圍環(huán)境監(jiān)控設(shè)備和檢測目標(biāo)之間的位置關(guān)系。
圖3的流程圖顯示車輛周圍環(huán)境監(jiān)控設(shè)備101執(zhí)行的處理步驟。
圖4A顯示由紅外攝象機102拍攝的原始圖象，圖4B用于說明，例如，如圖2顯示的行人P1、標(biāo)志B1、交通標(biāo)志B2和B3存在于車輛前方情況下的亮區(qū)提取圖象。
圖5的簡圖說明識別為行人候選者區(qū)域的亮區(qū)。
圖6的簡圖說明在已經(jīng)排除通過結(jié)構(gòu)體排除處理判定為結(jié)構(gòu)體的行人候選者區(qū)域之后剩余的行人候選者區(qū)域。
圖7顯示強調(diào)了行人區(qū)域的拍攝圖象。在步驟S111，圖象處理單元112將加框的原始圖象輸出到HUD單元104。
圖8的流程圖說明用來從提取的亮區(qū)中提取行人候選者區(qū)域的處理。
圖9A、9B和9C的簡圖用于說明根據(jù)亮區(qū)的垂直與水平尺寸比判斷亮區(qū)是否是行人候選人區(qū)域的方法。
圖10的流程圖用于說明從提取的亮區(qū)中提出行人候選者區(qū)域的另一種處理。
圖11A的灰度直方圖說明在交通標(biāo)志或其它道路標(biāo)志的情況下的典型像素灰度分布，圖11B的灰度直方圖說明在行人情況下的典型像素灰度分布。
圖12的流程圖用于說明從提取的亮區(qū)中提出行人候選者區(qū)域的另一種處理。
具體實施例方式
本發(fā)明的各種實施方案將參照附圖來描述。請注意，所有附圖中相同或相似的部分和單元使用相同或相似的引用數(shù)字，相同或相似的部分和單元的描述將忽略或簡化。
(實施方案1)圖1的框圖顯示根據(jù)本發(fā)明的車輛周圍環(huán)境監(jiān)控設(shè)備的一個實施方案。車輛周圍環(huán)境監(jiān)控設(shè)備裝配有CPU 111和圖象處理單元112，并電連接到下列部分一個用于泛光燈103的開關(guān)繼電器124，該泛光燈103被配置用于以具有近紅外波長的光照亮車輛前方指定區(qū)域；一個能夠檢測近紅外光的紅外攝象機102；被配置用于打開或關(guān)閉車輛周圍環(huán)境監(jiān)控設(shè)備101的開關(guān)(SW)106；以及一個被配置用于檢測安裝了車輛周圍環(huán)境監(jiān)控設(shè)備101的車輛的行駛速度(下文中稱作“車速”)的車速傳感器107。
車輛周圍環(huán)境監(jiān)控設(shè)備101還能夠電連接到一個揚聲器105，用于發(fā)出警報聲，和一個前導(dǎo)顯示單元(下文中稱作“HUD單元”)104，其被配置用于在例如擋風(fēng)玻璃上駕駛員能夠在不移動他或她的視線的情況下看到信息的預(yù)定位置，顯示由紅外攝象機102拍攝的圖象和顯示使駕駛員注意具有相撞危險的目標(biāo)的信息。
現(xiàn)在詳細描述該設(shè)備的各組成特征。車輛周圍環(huán)境監(jiān)控設(shè)備101的圖象處理單元112包括一個配置用于將來自紅外攝象機102的模擬輸入信號轉(zhuǎn)換成數(shù)字信號的A/D轉(zhuǎn)換器電路127、一個圖象處理器125、一個配置用于存儲數(shù)字化圖象信號的圖象存儲器(下文中稱作“VRAM”)121、和一個配置用于將數(shù)字圖象信號恢復(fù)為模擬圖象信號的D/A轉(zhuǎn)換器電路126。圖象處理單元112連接到CPU 111和HUD單元104。
CPU 111執(zhí)行各種計算機處理并總體上控制車輛周圍環(huán)境監(jiān)控設(shè)備。CPU 111連接到一個用于存儲設(shè)置值和可執(zhí)行程序的只讀存儲器(ROM)122以及一個用于存儲處理操作期間的數(shù)據(jù)的隨機存取存儲器(RAM)123。CPU 111還配置用于發(fā)送聲音信號給揚聲器105和發(fā)送ON/OFF信號給開關(guān)繼電器124，以及用于從開關(guān)106接收ON/OFF信號和從車速傳感器107接收車速信號。
圖2的簡圖用于說明車輛周圍環(huán)境監(jiān)控設(shè)備和檢測目標(biāo)之間的位置關(guān)系。紅外攝象機102安裝在沿著車輛縱向中心線的車輛110前部，這樣其光軸指向車輛前方。泛光燈103安裝在前保險杠部分的左邊和右邊。泛光燈103在開關(guān)繼電器124為ON時接通，并用于在前方提供近紅外照明。
紅外攝象機102的輸出特性如下在從目標(biāo)反射回的近紅外輻射較多的圖象部分輸出信號電平較高(亮度較高)，在從目標(biāo)反射回紅外輻射較少的圖象部分輸出信號電平較低。泛光燈103發(fā)射的近紅外光束照亮行人P1、垂直方向長的標(biāo)志B1、水平方向長的矩形交通標(biāo)志B2和一連串垂直排列的圓形交通標(biāo)志B3。這些對象都反射近紅外光，如虛線箭頭所示，紅外攝象機102捕捉反射光R，并生成灰度等于或高于閾值的圖象。
圖3的流程圖顯示車輛周圍環(huán)境監(jiān)控設(shè)備101執(zhí)行的處理步驟。該流程圖中顯示的處理通過CPU 111和圖象處理單元112的圖象處理器125執(zhí)行的程序來完成。當(dāng)接通車輛110的點火開關(guān)時，車輛周圍環(huán)境監(jiān)控設(shè)備啟動。在步驟S101，CPU 111進入等待狀態(tài)，在該狀態(tài)檢查車輛周圍環(huán)境監(jiān)控設(shè)備101的開關(guān)106是否為ON。如果開關(guān)106為ON，CPU 111進入步驟S102，如果開關(guān)106為OFF，進入步驟S113。在步驟S102，CPU 111檢查由車速傳感器107檢測的車速，并判斷車速是否等于或大于指定值。在該實施方案中，指定車速是例如30km/h。如果車速等于或大于30km/h，CPU 111進入步驟S103。如果車速小于30km/h，CPU 111進入步驟S113，在步驟S113中，關(guān)閉紅外攝象機102、泛光燈103和HUD單元104(如果它們處于打開狀態(tài))并返回步驟S101。
在車速小于指定車速時返回步驟S101的原因是，當(dāng)車輛低速行駛時不需要關(guān)注位于車輛前方遠距離處的障礙物，而位于中距離的障礙物能夠被駕駛員視覺地發(fā)現(xiàn)。因此，關(guān)閉泛光燈103，以防止近紅外照亮遠處目標(biāo)導(dǎo)致的不必要功耗。但是本發(fā)明不限于在30km/h和更高的車速上運行，而且配置該設(shè)備以使得能夠選擇任意希望的車速也是可以接受的。
在步驟S103，CPU 111打開紅外攝象機102、泛光燈103和HUD單元104(如果它們關(guān)閉的話)。紅外攝象機102獲取亮度圖象，即灰度圖象，其亮度按照從由泛光燈103照亮的目標(biāo)反射回來的光強度而變化。在下面的說明中，該圖象稱作“原始圖象”。
圖4A顯示由紅外攝象機102拍攝的原始圖象，圖4B用于說明在例如如圖2顯示的車輛前方存在行人P1、標(biāo)志B1以及交通標(biāo)志B2和B3的情況下的亮區(qū)提取圖象。在圖4A顯示的原始圖象中，行人P1、標(biāo)志B1、交通標(biāo)志B2和交通標(biāo)志B3按從左到右的順序成像。在步驟S104，圖象處理單元112從紅外攝象機102讀取圖象，用A/D轉(zhuǎn)換器將原始圖象轉(zhuǎn)換成數(shù)字圖象，并在VRAM 121中存儲數(shù)字化的原始圖象。本實施方案給出的情況是以8位的方式表示每個像素的灰度，即使用具有256種不同灰度的灰度級，其中0是最黑的值，255是最亮的值。但是，本發(fā)明不限于這種灰度級安排。
在步驟S105，圖象處理單元112將原始圖象中灰度小于閾值的像素灰度替換為0，并保持原始圖象中灰度等于或大于該閾值的像素灰度，由此得到一幅如圖4B顯示的亮區(qū)提取圖象。然后圖象處理單元112在VRAM 121中存儲亮區(qū)提取圖象。作為該處理的結(jié)果，提取泛光燈103的近紅外光強烈照射的車輛正前方的路面區(qū)域A5，以及與(原始圖象中從左到右)行人P1、標(biāo)志B1、交通標(biāo)志B2和交通標(biāo)志B3對應(yīng)的亮區(qū)A1、A2、A3和A4。設(shè)置用于從原始圖象中提取目標(biāo)的閾值的方法包括基于原始圖象灰度直方圖將閾值設(shè)置為對應(yīng)于該灰度分布中的谷值的灰度和將閾值設(shè)置為通過試驗得到的固定值。在本實施方案中，閾值是一個固定的灰度值150，該閾值使反射一定程度近紅外光的目標(biāo)能夠在夜晚根據(jù)夜間近紅外圖象特性提取出來。但是，應(yīng)該根據(jù)用于提供近紅外照明的泛光燈103的輸出特性和紅外攝象機103相對于近紅外光的靈敏度特性將閾值設(shè)置為一個適當(dāng)值，而且本發(fā)明不限于150的閾值。
在步驟S106，圖象處理單元112讀取在步驟S105存儲在VRAM121中的亮區(qū)提取圖象，并將描述各個獨立亮區(qū)的信息輸出到CPU111。然后CPU 111執(zhí)行標(biāo)記處理，為每個亮區(qū)分配一個標(biāo)記。已標(biāo)記的提取區(qū)域數(shù)量表示為N1。在這個例子中N1＝5。
在步驟S107，圖象處理單元112執(zhí)行提取處理，從亮區(qū)中提取行人候選者區(qū)域。圖8的流程圖顯示了該步驟的處理。該行人候選者區(qū)域提取處理提取的區(qū)域數(shù)量N2存儲在RAM 123中。
圖5的簡圖說明被識別為行人候選者的亮區(qū)。如果在圖4B顯示的亮區(qū)提取圖象的已經(jīng)判定不是行人候選者區(qū)域的亮區(qū)中的像素暫時設(shè)置為灰度0，則剩余的圖象將是圖5中顯示的行人候選者提取圖象。行人候選者提取圖象只包含那些垂直尺寸與水平尺寸之比在指定范圍內(nèi)的亮區(qū)。
在步驟S108，圖象處理單元112執(zhí)行相對于存儲在VRAM 121中的亮區(qū)提取圖象的結(jié)構(gòu)體排除處理，以判斷N2個行人候選者區(qū)域中的每一個是否為一個非行人的目標(biāo)(下文中這樣的目標(biāo)稱作“結(jié)構(gòu)體”)。結(jié)構(gòu)體排除處理的細節(jié)將在后面參照圖10的流程圖來討論。
圖6的簡圖說明在已經(jīng)排除由結(jié)構(gòu)體排除處理判定為結(jié)構(gòu)體的行人候選者區(qū)域之后剩余的行人候選者區(qū)域。在結(jié)構(gòu)體排除處理之后剩余作為行人候選者區(qū)域的亮區(qū)數(shù)量N3存儲在RAM 123中。因此，如果在圖5顯示的行人候選者提取圖象的已經(jīng)判定為結(jié)構(gòu)體區(qū)域的亮區(qū)中的像素暫時設(shè)置為灰度0，則剩余的圖象將只包含對應(yīng)于行人的亮區(qū)，如圖6所示。
在步驟S109，CPU 111讀取在步驟S108存儲在RAM 123中的數(shù)量N3，并判斷是否有行人區(qū)域。如果有行人區(qū)域，則CPU 111進入步驟S110。如果沒有，CPU 111返回步驟S101。在步驟S110，圖象處理單元112執(zhí)行處理來強調(diào)被判定為行人的亮區(qū)。該處理包括讀取在步驟S104存儲在VRAM 121中的原始圖象，并加上用于圍住已經(jīng)最終判定為行人區(qū)域的亮區(qū)的框?？蚴蔷匦蔚幕蛉魏纹渌侠淼男螤?，并可以用虛線、折線、點劃線、粗實線等來繪制。通過將行人區(qū)域的所有像素替換為最大灰度255來強調(diào)行人區(qū)域也是可以接受的。強調(diào)行人區(qū)域的方法不限于這里描述的方法。
圖7顯示強調(diào)了行人區(qū)域的拍攝圖象。在步驟S111，圖象處理單元112將其上加框的原始圖象輸出到HUD單元104。圖7說明了圖象從HUD單元104投射到前擋風(fēng)玻璃上的情況。顯示了強調(diào)行人P1的框M。在步驟S112，CPU 111發(fā)出一個警報聲信號給揚聲器105以發(fā)出警報聲。發(fā)出警報聲持續(xù)指定時間量，然后自動停止。在步驟S112后，控制返回步驟S101，并重復(fù)該處理程序。
圖8的流程圖說明用于從提取的亮區(qū)中提取行人候選者區(qū)域的處理。該處理在圖3所示主流程圖的步驟S107中由CPU 111和圖象處理單元112(其由CPU 111控制)來執(zhí)行。
在步驟S201，CPU 111從RAM 123讀取分配給提取亮區(qū)的提取區(qū)域標(biāo)號的數(shù)量N1。在步驟S202，CPU 111通過設(shè)置n＝1和m＝0來初始化標(biāo)號計數(shù)器，其中n是一個用于亮區(qū)數(shù)量的參數(shù)(在該例中最大值是N1＝5)，m是一個關(guān)于在該流程圖處理期間提取作為行人候選者的亮區(qū)數(shù)量的參數(shù)。
在步驟S203，圖象處理單元112設(shè)置一個相對于已經(jīng)被分配第n個(初始時n＝1)提取區(qū)域標(biāo)號的亮區(qū)的限定矩形。為了設(shè)置限定矩形，例如，圖象處理單元112檢測已經(jīng)被分配一個提取區(qū)域標(biāo)號(初始時n＝1)的亮區(qū)的上和下邊緣的像素位置以及左和右邊緣的像素位置。結(jié)果，在整個原始圖象的坐標(biāo)系中，亮區(qū)封閉在由兩條通過亮區(qū)的檢測到的最上和最下像素位置(坐標(biāo))的水平線段和兩條通過亮區(qū)的檢測到的最左和最右像素位置(坐標(biāo))的垂直線段構(gòu)成的矩形內(nèi)。
在步驟S204，CPU 111計算步驟S203中得到的矩形的垂直尺寸與水平尺寸之比。如果比值在指定范圍內(nèi)，例如如果垂直尺寸除以水平尺寸在4/1和4/3之間，則CPU 111進入步驟S205。
4/1到4/3的垂直與水平尺寸之比的范圍是使用標(biāo)準(zhǔn)人體形狀作為參考設(shè)置的，但預(yù)想到如許多人站在一起、一個人雙手拿著東西或一個人抱著孩子等情況，該范圍包含大的水平尺寸的可允許的誤差。如果垂直與水平尺寸比在范圍4/1到4/3之外，則CPU進入步驟S206。
如果垂直與水平尺寸比在指定范圍內(nèi)，則在步驟S205，CPU 111將該區(qū)域記錄為行人候選者區(qū)域并將標(biāo)號計數(shù)器m加1(m＝m+1)。CPU 111還存儲行人候選者區(qū)域標(biāo)號m對應(yīng)于RAM 123中提取區(qū)域標(biāo)號n(MX(m)＝n)的事實。CPU 111從步驟S205進入步驟S206。
在步驟S206，CPU 111判斷標(biāo)號計數(shù)器n是否已經(jīng)達到最大值N1。如果沒有，CPU 111進入步驟S207并將標(biāo)號計數(shù)器n加1(n＝n+1)。然后其返回步驟S203，并使用n＝2重復(fù)步驟S203到S206。反復(fù)重復(fù)這些步驟，每次將n加1。當(dāng)標(biāo)號計數(shù)器n達到值N1時，CPU111進入步驟S208，在步驟S208將標(biāo)號計數(shù)器m的值作為N2存儲在RAM 123中(N2＝m)。然后，CPU 111進入圖3所示主流程圖的步驟S108。N2表示行人候選者區(qū)域的總數(shù)。步驟S201到S208系列執(zhí)行的處理用于從亮區(qū)中提取行人候選者區(qū)域?，F(xiàn)在針對圖4B所示的亮區(qū)A1到A5中的每一個來更為具體地描述該處理。
圖9A的簡圖用于說明根據(jù)亮區(qū)的垂直與水平尺寸比來判斷一個亮區(qū)是否是行人候選者區(qū)域的方法。如圖9A所示，區(qū)域A1的垂直與水平尺寸比為3/1，因此是行人候選者區(qū)域。圖4B所示的區(qū)域A2是一個垂直方向長、垂直與水平尺寸比在范圍4/1到4/3內(nèi)的標(biāo)志，且也是行人候選者區(qū)域。圖4B所示的區(qū)域A3是一個水平方向長的交通標(biāo)志，因為如圖9B所示其垂直與水平尺寸比為1/1.5，所以其從行人候選者區(qū)域中排除。圖4B所示的區(qū)域A4是垂直的一系列圓形交通標(biāo)志，因為如圖9C所示其垂直與水平尺寸比為2/1，所以是行人候選者區(qū)域。圖4B所示的區(qū)域A5是一個對應(yīng)于車輛正前方、由泛光燈103發(fā)出的近紅外光照亮路面的半橢圓高亮部分的區(qū)域。因為其垂直與水平尺寸比小于1，所以從行人候選者區(qū)域中排除。因此，如果只顯示用這里說明的方法判定為行人候選者區(qū)域的亮區(qū)，將得到圖5中顯示的圖象。
接下來，檢查被判定為行人候選者區(qū)域的亮區(qū)，看它們是否為結(jié)構(gòu)體?，F(xiàn)在參照圖10所示的流程圖說明用于從作為行人候選者區(qū)域的區(qū)域中排除作為結(jié)構(gòu)體的區(qū)域的結(jié)構(gòu)體排除處理。該處理在圖3所示主流程圖的步驟S108中由CPU 111和圖象處理單元112(其由CPU111控制)來執(zhí)行。
在步驟S301，CPU 111從RAM 123讀取行人候選者區(qū)域標(biāo)號的數(shù)量N2。在步驟S302，CPU 111通過設(shè)置m＝1和k＝0來初始化標(biāo)號計數(shù)器，其中m是一個用于行人候選者區(qū)域數(shù)量的參數(shù)，k是一個關(guān)于在該流程圖處理期間保留作為行人候選者區(qū)域的亮區(qū)的數(shù)量的參數(shù)。在步驟S303，圖象處理單元112計算對應(yīng)于行人候選者區(qū)域標(biāo)號m(即，提取區(qū)域標(biāo)號MX(m))的亮區(qū)的平均灰度值E(m)。
使用下面的等式(1)可以得到平均灰度值E(m)，其中P(i)是對應(yīng)于行人候選者區(qū)域標(biāo)號m的亮區(qū)的第i個像素的灰度，Im是對應(yīng)于行人候選者區(qū)域標(biāo)號m的亮區(qū)的像素總數(shù)。
E(m)=Σi=1ImPm(i)ImK---(1)]]>在步驟S304，CPU 111判斷在步驟S303計算的平均灰度值E(m)是否超過指定灰度值。使該指定灰度值相應(yīng)于非常亮的值是適當(dāng)?shù)?。?位灰度級的情況下，指定灰度值設(shè)置為例如240，且灰度值大于該值的區(qū)域判定為結(jié)構(gòu)體，例如交通標(biāo)志或其它標(biāo)志。這種方法的原因在于交通標(biāo)志和其它標(biāo)志通常進行了表面處理，以使它們成為光的良好反射體，因此，當(dāng)由泛光燈103發(fā)出的近紅外光照亮?xí)r這種標(biāo)志產(chǎn)生強反射光。所以，這種標(biāo)志在紅外攝象機102捕捉的近紅外圖象中被再現(xiàn)為具有高灰度的圖象區(qū)域。
但是，因為行人的衣物反射產(chǎn)生高灰度圖象區(qū)域也是可能的，所以CPU 111不會只因為其平均灰度值E(m)超過240就判定目標(biāo)是行人。相反它進入步驟S305。同時，如果平均灰度值E(m)為240或更小，CPU 111進入步驟S308。在步驟S305，圖象處理單元112計算對應(yīng)于行人候選者區(qū)域標(biāo)號m的亮區(qū)的灰度分散值(dispersion value)V(m)。使用下面顯示的等式(2)計算灰度分散值V(m)。
V(m)=Σi=1Im{Pm(i)-E(m)}2ImK---(2)]]>在步驟S306，CPU 111判斷在步驟S305中計算的灰度分散值V(m)是否小于指定灰度分散值。小于指定分散的值表示對應(yīng)于行人候選者區(qū)域標(biāo)號m的亮區(qū)的灰度變化小。指定分散值通過試驗獲得，并設(shè)置為這樣一個值，例如50。
圖11A的灰度直方圖說明在交通標(biāo)志或其它道路標(biāo)志情況下的典型像素灰度分布。橫軸表示灰度，縱軸表示頻率。結(jié)構(gòu)體有一個平坦的平面部分，照射在其上的近紅外光以近乎均勻的方式反射，因此如圖11A所示，灰度值高且方差小。在這個例子中，平均灰度值是250，灰度分散值是30。
類似的，圖11B的灰度直方圖說明在行人情況下的典型像素灰度分布。在很多情況下，從行人衣服反射的光強度弱且灰度值小。另外，因為人具有三維形狀而且因為衣服和皮膚的反射特性不同，所以不會以均勻的方式反射光。因此，在人的情況下，反射整體上是不均勻的，分散值大。在這個例子中，平均灰度值是180，灰度分散值是580。如果分散值V(m)小于50，CPU 111進入步驟S307，如果分散值V(m)是50或更高，CPU 111進入步驟S308。
在步驟S307，CPU 111從行人候選者中排除對應(yīng)于行人候選者區(qū)域標(biāo)號m的區(qū)域。在本實施方案中，排除區(qū)域的處理是將MX(m)的值設(shè)置為0并將其存儲在RAM 123中。CPU 111在步驟S307之后進入步驟S309。在CPU 111在步驟S304和S305之后進入步驟S308的情況下，CPU 111將對應(yīng)于行人候選者區(qū)域標(biāo)號m的區(qū)域記錄為行人區(qū)域。在本實施方案中，記錄區(qū)域的過程是將MX(m)按原樣存儲在RAM 123中并將標(biāo)號計數(shù)器k的值加1(k＝k+1)。在步驟S308之后，CPU 111進入步驟S309。
在步驟S309，CPU 111判斷標(biāo)號計數(shù)器m是否已經(jīng)達到N2。如果標(biāo)號計數(shù)器m沒有達到N2，CPU 111進入步驟S310，在該步驟將m加1(m＝m+1)，然后返回步驟S303，從該步驟重復(fù)步驟S303到S309。如果標(biāo)號計數(shù)器m已經(jīng)達到N2，CPU 111進入步驟S311，在該步驟將N3的值設(shè)置為k，并將N3存儲在RAM 123中作為記錄的行人區(qū)域的總數(shù)。在步驟S311之后，因為所有行人候選者區(qū)域已經(jīng)經(jīng)歷了結(jié)構(gòu)體排除處理，所以CPU 111返回圖3的主流程圖并進入步驟S109。
現(xiàn)在將描述圖3所示主流程圖的步驟S110中使用的強調(diào)處理方法。在強調(diào)處理期間，CPU 111對于參數(shù)m＝1到N2，讀取存儲在RAM 123中的MX(m)值，并獲得值大于0的提取區(qū)域標(biāo)號L(＝MX(m))。然后圖象處理單元112訪問在步驟S104存儲在VRAM121中的原始圖象，并加框(如前所述)圍住對應(yīng)于提取區(qū)域標(biāo)號L的亮區(qū)，即最終確定為行人區(qū)域的區(qū)域。
在本實施方案中，紅外攝象機102構(gòu)成了本發(fā)明的攝象裝置，前導(dǎo)顯示單元4構(gòu)成顯示設(shè)備，車輛周圍環(huán)境監(jiān)控控制單元1構(gòu)成顯示控制單元，流程圖的步驟S105構(gòu)成本發(fā)明的目標(biāo)提取裝置，步驟S107(即步驟S201到S208)構(gòu)成行人候選者提取裝置，步驟S108(即步驟S301到S311)構(gòu)成結(jié)構(gòu)體判斷裝置。另外，步驟S203構(gòu)成矩形設(shè)置裝置，步驟S204構(gòu)成垂直與水平尺寸計算裝置，步驟S303構(gòu)成平均灰度計算裝置，步驟S305構(gòu)成灰度方差計算裝置。
如在此之前描述的，本實施方案根據(jù)對應(yīng)于提取目標(biāo)的亮區(qū)的垂直與水平尺寸比來提取行人候選者區(qū)域，計算行人候選者區(qū)域的平均灰度值和灰度分散值，如果平均灰度值大于一個指定值且灰度分散值小于一個指定值，則判定行人候選者區(qū)域是結(jié)構(gòu)體。這種方法增加了檢測行人的準(zhǔn)確度。因此，即使在多個交通標(biāo)志和行人混合在一起的情況下，也能夠減少系統(tǒng)將交通標(biāo)志錯誤地向駕駛員表示為行人的概率。
因為使用泛光燈用近紅外光照亮車輛前方的目標(biāo)，并用紅外攝象機拍攝從被照亮目標(biāo)反射的近紅外光以獲得從中提取目標(biāo)的圖象，所以位于較遠距離的目標(biāo)能夠拍攝的更為清楚。因此，易于確定由從目標(biāo)反射的光獲得的拍攝圖象的亮區(qū)的灰度分布。
因為沒有使用模板匹配處理，并且計算垂直與水平尺寸比和灰度分布(平均灰度值和灰度分散值)，所以車輛周圍環(huán)境監(jiān)控設(shè)備的圖象處理負荷輕，且可以用便宜的元件來實現(xiàn)監(jiān)控設(shè)備。
現(xiàn)在將描述本發(fā)明的變體。圖12是通過修改圖10所示流程圖的一部分而獲得的，圖10顯示了用于從提取的行人候選者區(qū)域排除結(jié)構(gòu)體的處理。更詳細來講，各個步驟S401到S411的處理細節(jié)與步驟S301到S311的相同。該兩個流程圖之間的差別在于步驟S404到S409中的部分?，F(xiàn)在將從步驟S404開始描述圖12的流程圖。
在步驟S404，CPU 111判斷在步驟S403中計算的平均灰度值E(m)是否超過指定灰度值。如果平均灰度值E(m)超過240，將區(qū)域判定為結(jié)構(gòu)體，CPU 111進入步驟S407。如果平均灰度值E(m)等于或小于240，CPU 111進入步驟S405。
在步驟S405，圖象處理單元112計算對應(yīng)于行人候選者區(qū)域標(biāo)號m的亮區(qū)的灰度分散值V(m)。在步驟S406，如果在步驟S405中計算的灰度分散值V(m)小于50，CPU 111進入步驟S407，如果是50或更高，則CPU 111進入步驟S408。
在步驟S407，CPU 111從行人候選者中排除對應(yīng)于行人候選者區(qū)域標(biāo)號m的區(qū)域。在本實施方案中，排除區(qū)域的過程是將MX(m)的值設(shè)置為0并將其存儲在RAM 123中。在步驟S407之后，CPU 111進入步驟S409。在CPU 111于步驟S406之后進入步驟S408的情況下，CPU 111將對應(yīng)于行人候選者區(qū)域標(biāo)號m的區(qū)域記錄為行人區(qū)域。在本實施方案中，記錄區(qū)域的過程是將MX(m)按原樣存儲在RAM 123中并將標(biāo)號計數(shù)器k的值加1(k＝k+1)。在步驟S408之后，CPU111進入步驟S409。
在步驟S409，CPU 111判斷標(biāo)號計數(shù)器m是否已經(jīng)達到N2。如果標(biāo)號計數(shù)器m沒有達到N2，CPU 111進入步驟S410，在該步驟將m加1(m＝m+1)，然后返回步驟S403，從該步驟重復(fù)步驟S403到S409。如果標(biāo)號計數(shù)器m已經(jīng)達到N2，CPU 111進入步驟S411，在該步驟將N3的值設(shè)置為k，并將N3存儲在RAM 123中作為記錄的行人區(qū)域的總數(shù)。在步驟S411之后，因為所有行人候選者區(qū)域已經(jīng)經(jīng)歷了結(jié)構(gòu)體排除處理，所以CPU 111返回圖3的主流程圖并進入步驟S109。
使用前面描述的實施方案，即使對應(yīng)于標(biāo)號m的行人候選者區(qū)域的平均灰度值超過240，除非區(qū)域的分散值小于50，否則也不會將該區(qū)域判定為結(jié)構(gòu)體。相反，使用在此之前描述的變體，如果對應(yīng)于標(biāo)號m的區(qū)域的平均灰度值超過240，就直接將其判定為結(jié)構(gòu)體，并且，即使該區(qū)域的平均灰度值小于240，除非分散值不是50或更大，否則不會將該區(qū)域判定為行人。
因此，與該實施方案相比，該變體傾向于將更少的目標(biāo)識別為行人。因為進行高精度的關(guān)于目標(biāo)是否為行人的判斷所需的平均灰度值和分散值取決于所使用的紅外攝象機和泛光燈的特性，所以配置車輛周圍環(huán)境監(jiān)控設(shè)備以使得用戶能夠在這兩種行人判斷控制方法之間選擇也是可以接受的。此外，配置車輛周圍環(huán)境監(jiān)控設(shè)備以使得用戶能夠改變行人判斷控制方法也是可以接受的。
在該實施方案和變體中，當(dāng)根據(jù)紅外攝象機圖象檢測到行人區(qū)域時都在步驟S112中發(fā)出警報聲。配置車輛周圍環(huán)境監(jiān)控設(shè)備，以便根據(jù)攝象機圖象中最終判定為行人區(qū)域的亮區(qū)的最下面的攝象機圖象坐標(biāo)(對應(yīng)于行人的腳)來計算前方從車輛到行人的距離，并且如果計算的距離小于指定距離則發(fā)出警告聲，這也是可以接受的。
另外，根據(jù)車速改變指定距離，以使得車速越快設(shè)置的指定距離值越大，這也是可以接受的。這種方法能夠減少以下情況的發(fā)生即使從車輛到行人的距離對于駕駛員來說足以獨立作出反應(yīng)，但仍會發(fā)出報警聲。
雖然該實施方案和變體都使用HUD單元作為車輛周圍環(huán)境監(jiān)控設(shè)備的顯示設(shè)備，但是本發(fā)明不限于HUD單元。例如，嵌入車輛儀表板的傳統(tǒng)液晶顯示器也是可以接受的。
這里描述的實施方案及其變體配置用于提取形狀接近行人形狀的目標(biāo)圖象作為行人候選者圖象，然后根據(jù)灰度用簡單的方法判斷每個行人候選者圖象是否為結(jié)構(gòu)體。然后將余下的(即沒有判定為結(jié)構(gòu)體的)行人候選者圖象識別為行人。因為加在CPU上的負荷輕且不需立體攝象設(shè)備，所以這種圖象處理方法能夠提供便宜的車輛周圍環(huán)境監(jiān)控設(shè)備。
2003年11月20日申請的日本專利申請P2003-390369的全部內(nèi)容在此引用作為參考。
本發(fā)明在不偏離其精神或關(guān)鍵特性的情況下可以用其它特定形式來實現(xiàn)。因此本實施方案在各個方面都應(yīng)看作是說明性而不是限制性的，本發(fā)明的范圍是由附后權(quán)利要求而不是通過前面的描述限定的，因此在權(quán)利要求及等同的含義和范圍內(nèi)的所有變化都計劃包含在其中。
權(quán)利要求
1.一種車輛周圍環(huán)境監(jiān)控設(shè)備，包括目標(biāo)提取單元，其被配置用于從拍攝的紅外圖象中提取發(fā)射紅外線的目標(biāo)；行人候選者提取單元，其被配置用于根據(jù)由目標(biāo)提取單元提取的目標(biāo)的圖象形狀來提取行人候選者；以及結(jié)構(gòu)體排除處理單元，其被配置用于根據(jù)行人候選者的圖象灰度來從行人候選者中排除結(jié)構(gòu)體。
2.如權(quán)利要求1中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，其中行人候選者提取單元包括矩形設(shè)置單元，其被配置用于設(shè)置用來限定由目標(biāo)提取單元提取的目標(biāo)的圖象的矩形框；垂直與水平尺寸比計算單元，其被配置用于計算由矩形設(shè)置單元設(shè)置的矩形框的垂直與水平尺寸之比；以及行人判斷單元，其被配置用于當(dāng)相應(yīng)框的垂直與水平尺寸比在一個指定數(shù)值范圍內(nèi)時判定目標(biāo)是行人候選者。
3.如權(quán)利要求1中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，其中行人判斷單元當(dāng)垂直與水平尺寸比在4∶1到4∶3的范圍內(nèi)時，判定目標(biāo)是行人候選者。
4.如權(quán)利要求1中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，其中結(jié)構(gòu)體排除處理單元包括平均灰度計算單元，其被配置用于計算行人候選者圖象的灰度分布的平均值；灰度分散計算單元，其被配置用于計算行人候選者圖象的灰度分布的分散值；以及結(jié)構(gòu)體判定單元，其被配置用于當(dāng)行人候選者圖象的平均灰度值等于或大于一個指定值時或當(dāng)行人候選者圖象的灰度分散值等于或小于一個指定值時，判定行人候選者的圖象是結(jié)構(gòu)體并從行人候選者中排除該圖象。
5.如權(quán)利要求1中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，其中結(jié)構(gòu)體排除處理單元包括平均灰度計算單元，其被配置用于計算行人候選者圖象的灰度分布的平均值；灰度分散計算單元，其被配置用于計算行人候選者圖象的灰度分布的分散值；以及結(jié)構(gòu)體判定單元，其被配置用于當(dāng)行人候選者圖象的平均灰度值等于或大于一個指定值并且行人候選者圖象的灰度分散值等于或小于一個指定值時，判定行人候選者的圖象是結(jié)構(gòu)體。
6.如權(quán)利要求1中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，還包括一個電連接到紅外攝象機的圖象處理單元，該圖象處理單元被配置用于從紅外攝象機獲取紅外圖象并存儲該紅外圖象；以及其中，目標(biāo)提取單元被配置用于使用由圖象處理單元獲取的紅外圖象來提取目標(biāo)。
7.如權(quán)利要求6中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，還包括一個顯示設(shè)備，其安裝在車輛駕駛員座位前方并被配置用于顯示由紅外攝象機拍攝的紅外圖象；以及其中，顯示控制設(shè)備被配置用于強調(diào)沒有由結(jié)構(gòu)體排除處理單元判定為結(jié)構(gòu)體的行人候選者圖象。
8.如權(quán)利要求3中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，其中顯示控制設(shè)備被配置用于通過將所述圖象封閉在用虛線、折線、點劃線或粗實線畫出的框內(nèi)，從而強調(diào)沒有被判定為結(jié)構(gòu)體的行人候選者圖象。
9.如權(quán)利要求6中所述的車輛周圍環(huán)境監(jiān)控設(shè)備，還包括車速傳感器，其被配置用于檢測其中安裝了該車輛周圍環(huán)境監(jiān)控設(shè)備的車輛的速度；以及其中，顯示控制單元被配置用于當(dāng)車速等于或大于指定值時在顯示設(shè)備上顯示紅外圖象。
10.一種車輛周圍環(huán)境監(jiān)控設(shè)備，包括目標(biāo)提取裝置，用于從拍攝的紅外圖象中提取發(fā)射紅外線的目標(biāo)；行人候選者提取裝置，用于根據(jù)由目標(biāo)提取裝置提取的目標(biāo)的圖象的形狀來提取行人候選者；以及結(jié)構(gòu)體排除處理裝置，用于根據(jù)行人候選者的圖象灰度來從行人候選者中排除結(jié)構(gòu)體。
11.一種車輛周圍環(huán)境監(jiān)控方法，包括從車輛發(fā)射紅外線；接收從車輛附近存在的目標(biāo)反射的紅外線并生成紅外圖象；從紅外圖象中提取那些反射的紅外線量等于或超過指定量的目標(biāo)；根據(jù)提取目標(biāo)的圖象形狀來提取行人候選者圖象；根據(jù)行人候選者圖象的灰度來判斷行人候選者是否為結(jié)構(gòu)體；以及確定沒有被判定為結(jié)構(gòu)體的行人候選者為行人。
12.如權(quán)利要求11中所述的車輛周圍環(huán)境監(jiān)控方法，其中根據(jù)提取目標(biāo)的圖象形狀來提取行人候選者圖象的過程包括設(shè)置用來限定由目標(biāo)提取單元提取的目標(biāo)圖象的矩形框；計算由矩形設(shè)置單元設(shè)置的矩形框的垂直與水平尺寸比；以及判定其圖象由垂直與水平尺寸比在指定數(shù)值范圍內(nèi)的矩形框所限定的目標(biāo)為行人候選者。
13.如權(quán)利要求12中所述的車輛周圍環(huán)境監(jiān)控方法，其中垂直與水平尺寸比在4∶1到4∶3的范圍內(nèi)。
14.如權(quán)利要求11中所述的車輛周圍環(huán)境監(jiān)控方法，其中根據(jù)行人候選者圖象的灰度判斷行人候選者是否為結(jié)構(gòu)體的過程包括計算行人候選者圖象的灰度分布的平均值；計算行人候選者圖象的灰度分布的分散值；以及當(dāng)行人候選者圖象的平均灰度值等于或大于一個指定值時或當(dāng)行人候選者圖象的灰度分散值等于或小于一個指定值時，判定行人候選者的圖象為結(jié)構(gòu)體并從行人候選者中排除該圖象。
15.如權(quán)利要求11中所述的車輛周圍環(huán)境監(jiān)控方法，其中根據(jù)行人候選者圖象的灰度判斷行人候選者是否為結(jié)構(gòu)體的過程包括計算行人候選者圖象的灰度分布的平均值；計算行人候選者圖象的灰度分布的分散值；以及當(dāng)行人候選者圖象的平均灰度值等于或大于一個指定值并且行人候選者圖象的灰度分散值等于或小于一個指定值時，判定行人候選者的圖象為結(jié)構(gòu)體。
16.如權(quán)利要求11中所述的車輛周圍環(huán)境監(jiān)控方法，還包括強調(diào)性地顯示沒有被判定為結(jié)構(gòu)體的行人候選者圖象。
17.如權(quán)利要求16中所述的車輛周圍環(huán)境監(jiān)控方法，其中通過將所述圖象封閉在用虛線、折線、點劃線或粗實線畫出的框內(nèi)來執(zhí)行強調(diào)性顯示。
18.如權(quán)利要求16中所述的車輛周圍環(huán)境監(jiān)控方法，其中在車速等于或大于指定值時執(zhí)行強調(diào)性顯示。
全文摘要
本發(fā)明的一個方面提供了一種車輛周圍環(huán)境監(jiān)控設(shè)備，包括被配置用于從拍攝的紅外圖象中提取發(fā)射紅外線的目標(biāo)的目標(biāo)提取單元，被配置用于根據(jù)目標(biāo)提取單元提取的目標(biāo)圖象形狀提取行人候選者的行人候選者提取單元，以及被配置用于根據(jù)行人候選者圖象灰度從行人候選者排除結(jié)構(gòu)體的結(jié)構(gòu)體排除處理單元。
文檔編號H04N7/18GK1619584SQ20041009495
公開日2005年5月25日 申請日期2004年11月19日 優(yōu)先權(quán)日2003年11月20日
發(fā)明者河合昭夫 申請人:日產(chǎn)自動車株式會社