專利名稱：車輛周圍環(huán)境觀察設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛周圍環(huán)境觀察設(shè)備，用于拍攝具有圖像拍攝裝置的車輛周圍環(huán)境中的圖像并且在車輛中的顯示裝置上顯示所獲得的圖像。
背景技術(shù)：
在車輛領(lǐng)域中，例如，為了方便駕駛者觀察車輛后面的區(qū)域，用安裝在車輛背后的后拍攝裝置拍攝所述區(qū)域，并且在安裝在車輛中的諸如液晶屏之類的顯示裝置上顯示所拍攝到的區(qū)域。
對這類后拍攝裝置的需求可能包括下列兩點(diǎn)。
(1) 利用拍攝裝置的圖像來觀察車輛周圍環(huán)境中的行人、障礙物等等。
(2) 當(dāng)車輛倒車時(shí)，例如以10厘米的分辨率來把握一個(gè)車輛與另一個(gè)車輛或諸如墻壁之類的障礙物之間的距離感。
對于這兩點(diǎn)，第(1)點(diǎn)可以利用后拍攝裝置的典型原始圖像來實(shí)現(xiàn)。圖8示出了由后拍攝裝置拍攝的原始圖像。正如能夠從原始圖像中看到的那樣，由于后拍攝裝置1是安裝在距離地平面高度H的地方的，如圖9所示，因而以向下傾斜地看物體的視點(diǎn)拍攝到落入后拍攝裝置1的視野范圍3內(nèi)的原始圖像。
對于第(2)點(diǎn)，例如，如圖10所示，可以通過利用諸如圖像的幾何校正之類的視點(diǎn)變換技術(shù)，將以傾斜地看物體的視點(diǎn)獲得的圖像轉(zhuǎn)換成平面圖坐標(biāo)系的圖像來把握距離感。

發(fā)明內(nèi)容
對于以向下傾斜地看物體的視點(diǎn)的原始圖像而言，如圖8所示，由于后拍攝裝置1的安裝高度通常與觀察者的觀察高度不同，因而對于觀察者來說并不總能容易地辨認(rèn)出周圍的圖像。
從這個(gè)視點(diǎn)來看，如圖10所示，通過視點(diǎn)變換而獲得的平面圖坐標(biāo)系的圖像具有容易把握周圍障礙物和車輛之間的距離的優(yōu)點(diǎn)。
然而，利用幾何校正的視點(diǎn)變換技術(shù)是根據(jù)平行于地面的平面來執(zhí)行的，因此無法正確地表示具有某一高度的物體。參照圖11，例如，在物體7具有從地面5延伸的實(shí)際高度并且它的實(shí)際存在范圍在平面圖中看上去較窄的情況下，當(dāng)以傾斜地俯視物體7的后拍攝裝置1的視點(diǎn)傾斜地拍攝物體7并且利用幾何校正對包含物體7的圖像執(zhí)行視點(diǎn)變換時(shí)，物體7的實(shí)際存在范圍被擴(kuò)大到平面圖坐標(biāo)系中的區(qū)域L1。然后，當(dāng)在顯示裝置上顯示平面圖坐標(biāo)系中變換的圖像時(shí)，示出物體7仿佛其高度超過了實(shí)際高度。
例如，當(dāng)圖8中所示的物體7a具有高度A1時(shí)，將它顯示成具有大于圖11中的高度A1的高度A2的圖像(參見圖12)。另外，當(dāng)通過利用幾何校正來將圖像視點(diǎn)變換成平面圖坐標(biāo)系時(shí)，一個(gè)較遠(yuǎn)的圖像具有更大的距離變換范圍，并且隨著它在距離方面變遠(yuǎn)，就很有可能不拍攝地面而拍攝具有該高度的物體7a。因此，當(dāng)利用幾何校正對拍攝范圍內(nèi)的所有圖像在平面圖坐標(biāo)系中執(zhí)行視點(diǎn)變換時(shí)，例如將在圖8中所示的物體7a后面的樹7b顯示成變形圖像，這樣就無法知道成像了什么，正如圖12和13參考標(biāo)記7b所示的那樣。
換言之，通過利用幾何校正對其執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換的圖像在距離后拍攝裝置1相對短的距離范圍之內(nèi)是有效的，但是超出某一距離的圖像如此明顯地發(fā)生變形以致于難以觀察它。另外，如圖12和13所示，因?yàn)樵谝朁c(diǎn)變換成平面圖坐標(biāo)系之后近距離區(qū)域在圖像中變小，所以可見度極大地降低。因此，擴(kuò)大了原始像素分辨率不夠的遠(yuǎn)距離區(qū)域。
以這種方式，當(dāng)通過幾何校正來執(zhí)行視點(diǎn)變換時(shí)，具有某一高度的障礙物的圖像發(fā)生變形，從而駕駛者無法確定車輛與物體之間的距離，致使不安全。
因此，可以考慮，不在顯示裝置上顯示出整個(gè)拍攝范圍的圖像，而是僅僅提取近距離區(qū)域并將它顯示在顯示裝置上。
然而，在這種情況下，由于僅僅顯示了用后拍攝裝置1拍攝到的一部分圖像，因而后拍攝裝置1被低效地使用。另外，即使是當(dāng)在顯示裝置上顯示相對短的距離區(qū)域時(shí)，如圖10所示，物體7a的圖像變形也是不可避免的，由此所帶來的可見度變差也是不可避免的。
因此，本發(fā)明的一個(gè)目的是提供一種車輛周圍環(huán)境觀察設(shè)備，當(dāng)通過幾何校正來執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換時(shí)，它在調(diào)節(jié)遠(yuǎn)距離區(qū)域的不一致性的同時(shí)能夠適宜地把握達(dá)到障礙物的正確位置關(guān)系。
根據(jù)本發(fā)明的第一方面，一種車輛周圍環(huán)境觀察設(shè)備包括設(shè)置在預(yù)定位置上的圖像拍攝裝置；設(shè)置在車輛內(nèi)的顯示裝置；和圖像處理裝置，用于執(zhí)行原始圖像到第一圖像和第二圖像的圖像劃分。所述圖像拍攝裝置從預(yù)定位置上拍攝原始圖像。所述顯示裝置顯示所拍攝到的車輛周圍環(huán)境的圖像。所述圖像處理裝置通過利用幾何校正來對第一圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換。所述圖像處理裝置對第一圖像和第二圖像執(zhí)行預(yù)定的圖像合成。所述圖像處理裝置在顯示裝置上顯示合成后的圖像。
按照這樣的配置，例如當(dāng)將廣角照相機(jī)用作為圖像拍攝裝置時(shí)，如果在遠(yuǎn)距離圖像中看到不在地平面上的具有某一高度的物體，則通過幾何校正來對所拍攝到的物體圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換。這樣，所顯示的圖像失真，因此由于失真的物體外貌而增加了不一致性。然而，利用根據(jù)本發(fā)明的第一方面的車輛周圍環(huán)境觀察設(shè)備，將原始圖像劃分成近距離圖像和遠(yuǎn)距離圖像，利用幾何校正對近距離圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換。執(zhí)行近距離圖像和遠(yuǎn)距離圖像的圖像合成，以便在向下傾斜地看物體的視點(diǎn)上垂直地安排近距離圖像和遠(yuǎn)距離圖像，并且在顯示裝置上顯示合成后的近距離和遠(yuǎn)距離圖像。因此，能夠防止像現(xiàn)有例子中那樣將失真圖像顯示到遠(yuǎn)距離圖像中，在所述現(xiàn)有例子中對整個(gè)屏幕圖像執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換。因此，能夠防止遠(yuǎn)距離圖像中所示的物體的這種失真外貌，并由此能夠消除這種不一致性。
根據(jù)本發(fā)明的第二方面，在根據(jù)第一方面的車輛周圍環(huán)境觀察設(shè)備中，所述圖像處理裝置執(zhí)行近距離圖像和/或遠(yuǎn)距離圖像的坐標(biāo)變換和/或比例尺變換以使得在垂直安排的近距離圖像和遠(yuǎn)距離圖像之間的邊界上不會(huì)存在不一致性。
按照這樣的配置，執(zhí)行近距離圖像和/或遠(yuǎn)距離圖像的坐標(biāo)變換和/或比例尺變換以使得在垂直安排的近距離圖像和遠(yuǎn)距離圖像之間的邊界上不會(huì)存在不一致性。因此，能夠自然地顯示在邊界兩側(cè)顯示的圖像之間的接縫。因此，能夠在顯示裝置上顯示可見圖像。
根據(jù)本發(fā)明的第三方面，所述圖像處理裝置執(zhí)行圖像處理以便放大近距離圖像的視點(diǎn)變換圖像，并且在近距離圖像中放大且未被包含在視點(diǎn)范圍內(nèi)的圖像范圍被包含在遠(yuǎn)距離圖像中。
按照這樣的配置，執(zhí)行圖像處理以便放大近距離圖像的視點(diǎn)變換圖像，并且在近距離圖像中放大且未被包含在視點(diǎn)范圍內(nèi)的圖像范圍被包含在遠(yuǎn)距離圖像中。因此，能夠?qū)⒁蚪嚯x圖像的放大顯示而縮小的視點(diǎn)范圍內(nèi)的圖像添加到遠(yuǎn)距離圖像上。因此，能夠在顯示裝置上顯示可見圖像。
根據(jù)本發(fā)明的第四方面，將近距離圖像設(shè)置到使車輛從接近停車的預(yù)定位置趨近目標(biāo)停止位置所需要的范圍。
通過這樣的配置，將近距離圖像設(shè)置到使車輛從接近停車的預(yù)定位置趨近目標(biāo)停止位置所需的范圍。因此，用戶能夠容易地確定他的安全性。
根據(jù)本發(fā)明的第五方面，所述圖像處理裝置在近距離圖像與遠(yuǎn)距離圖像之間安排了未在其中顯示圖像的區(qū)域之后執(zhí)行圖像合成。
由于圖像處理裝置在近距離圖像與遠(yuǎn)距離圖像之間安排了未在其中顯示圖像的區(qū)域之后執(zhí)行圖像合成。因此，用戶能夠直觀地區(qū)分在兩幅圖像中執(zhí)行的圖像處理，以及區(qū)分顯示兩幅圖像的方法。
根據(jù)本發(fā)明的第六方面，圖像處理裝置在第一模式與第二模式之間切換，所述第一模式用于在近距離圖像和等同的遠(yuǎn)距離圖像之間的邊界上產(chǎn)生比例尺范圍，而所述第二模式用于放大近距離圖像。
通過這樣的配置，圖像處理裝置在第一模式與第二模式之間切換，所示第一模式用于在近距離圖像和等同的遠(yuǎn)距離圖像之間的邊界上產(chǎn)生比例尺范圍，而所述第二模式用于放大近距離圖像。因此，可以給用戶帶來便利性，因?yàn)槟軌蛞缘谝荒Ｊ皆陲@示裝置上顯示無任何不一致性的圖像，同時(shí)能夠以第二模式適宜地把握達(dá)到在放大的近距離圖像中所示的其它車輛或諸如墻壁之類的障礙物的距離感。
根據(jù)本發(fā)明的第七方面，所述圖像處理裝置根據(jù)經(jīng)由車載通信網(wǎng)絡(luò)和/或可操作輸入裝置的操作而獲得的車輛狀況，在第一模式與第二模式之間切換。
根據(jù)本發(fā)明的第八方面，在根據(jù)第六或第七方面的車輛周圍環(huán)境觀察設(shè)備中，所述圖像處理裝置通過利用從多個(gè)預(yù)置的轉(zhuǎn)換表中選出的一個(gè)表執(zhí)行坐標(biāo)變換，在第一模式與第二模式之間切換。
通過這樣的配置，所述圖像處理裝置根據(jù)經(jīng)由車載通信網(wǎng)絡(luò)和/或可操作輸入裝置的操作而獲得的車輛狀況在第一模式與第二模式之間切換。因此，可以給用戶帶來便利性，因?yàn)榈谝荒Ｊ脚c第二模式之間的切換是自動(dòng)執(zhí)行的或是按照用戶的要求來執(zhí)行的。
根據(jù)本發(fā)明的第九方面，所述圖像處理裝置通過存儲在轉(zhuǎn)換表存儲器中的非易失存儲器當(dāng)中預(yù)存的多個(gè)轉(zhuǎn)換表中的所有轉(zhuǎn)換表并且利用從轉(zhuǎn)換表存儲器中選出的一個(gè)表執(zhí)行坐標(biāo)變換，以此在第一模式與第二模式之間切換。
通過這樣的配置，所述圖像處理裝置通過存儲在轉(zhuǎn)換表存儲器中的非易失存儲器當(dāng)中預(yù)存的多個(gè)轉(zhuǎn)換表中的所有轉(zhuǎn)換表并且利用從轉(zhuǎn)換表存儲器中選出的一個(gè)表執(zhí)行坐標(biāo)變換，以此在第一模式與第二模式之間切換。因此，能夠容易地遵從車輛狀況的改變而應(yīng)用最優(yōu)的轉(zhuǎn)換表。
根據(jù)本發(fā)明的第十方面，在不改變原始圖像中所包含的遠(yuǎn)距離圖像的情況下，所述圖像處理裝置在放大或縮小遠(yuǎn)距離圖像之后執(zhí)行遠(yuǎn)距離圖像的圖像合成。
通過這樣的配置，在不改變原始圖像中所包含的遠(yuǎn)距離圖像的情況下，所述圖像處理裝置在放大或縮小遠(yuǎn)距離圖像之后執(zhí)行遠(yuǎn)距離圖像的圖像合成。因此，能夠容易地處理遠(yuǎn)距離圖像，并且由此一來，能夠?qū)崿F(xiàn)圖像處理裝置內(nèi)的內(nèi)部配置和軟件程序的簡化以及遠(yuǎn)距離圖像的有效圖像處理。


圖1是示出用根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的拍攝裝置拍攝的原始圖像的視圖。
圖2是示出在根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的第一模式下的顯示示例的視圖。
圖3是示出在根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的第二模式下的顯示示例的視圖。
圖4是說明根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的框圖。
圖5是說明根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的圖像處理ECU的內(nèi)部配置的框圖。
圖6是說明根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的操作的流程圖。
圖7是示出根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的修改的顯示示例的視圖。
圖8是示出用拍攝裝置拍攝的原始圖像的視圖。
圖9是說明車輛中的拍攝裝置的安裝位置的示例的圖。
圖10是示出在現(xiàn)有的車輛周圍環(huán)境觀察設(shè)備中、通過幾何校正來對其執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換的圖像的示例的視圖。
圖11是說明當(dāng)通過幾何校正來執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換時(shí)發(fā)生的問題的原理圖。
圖12是示出在現(xiàn)有的車輛周圍環(huán)境觀察設(shè)備中通過幾何校正來對其執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換的圖像的示例的視圖。
圖13是示出在現(xiàn)有的車輛周圍環(huán)境觀察設(shè)備中、通過幾何校正來對其執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換圖像的示例的視圖。
具體實(shí)施例方式
圖1是示出用根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備的拍攝裝置拍攝的原始圖像的示例的視圖，圖2和3是示出根據(jù)本發(fā)明的實(shí)施例的車輛周圍環(huán)境觀察設(shè)備中的顯示示例的視圖。在這個(gè)實(shí)施例中，圖9中所示的與現(xiàn)有車輛周圍環(huán)境觀察設(shè)備具有相同的功能的元件都是用相同的參考標(biāo)記來表示的。
為了讓車輛中的駕駛者(用戶)確定周圍的安全性，車輛周圍環(huán)境觀察設(shè)備在如圖9所示的從向下傾斜地看物體的視點(diǎn)的上拍攝包括車輛后面的區(qū)域的周圍的原始圖像10，如圖1所示。所述車輛周圍環(huán)境觀察設(shè)備將圖像11設(shè)在與原始圖像10的較低部分相對應(yīng)的近距離范圍之內(nèi)(在下文中，稱為′近距離圖像′)，并且將圖像13設(shè)在與原始圖像10的較高部分相對應(yīng)的遠(yuǎn)距離范圍之內(nèi)(在下文中，稱為遠(yuǎn)距離圖像′)。所述車輛周圍環(huán)境觀察設(shè)備在為遠(yuǎn)距離圖像13執(zhí)行坐標(biāo)變換時(shí)，通過幾何校正對近距離圖像11執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換，以便該遠(yuǎn)距離圖像13在向下傾斜地看物體的視點(diǎn)上對應(yīng)到遠(yuǎn)距離圖像13與經(jīng)幾何校正的近距離圖像11之間的邊界部分，如圖2和3所示。所述車輛周圍環(huán)境觀察設(shè)備分別把這些近和遠(yuǎn)距離圖像11和13置于顯示裝置15的預(yù)置區(qū)域11A和13A(圖4)，并且在顯示裝置15上顯示它們。
更詳細(xì)地講，在車輛周圍環(huán)境觀察設(shè)備中，如圖4所示，后拍攝裝置21、前拍攝裝置23、側(cè)拍攝裝置25及其它車載拍攝裝置27都連接于作為圖像傳輸路徑的車載LAN 29，經(jīng)由車載LAN 29，在圖像處理ECU(圖像處理裝置)31中接收通過這些拍攝裝置(圖像拍攝裝置)21、23、25和27拍攝的圖像，并且在圖像處理ECU 31中對所接收到的圖像進(jìn)行處理以供顯示在顯示裝置15上。
另外，如圖4所示，車載LAN 29經(jīng)由網(wǎng)關(guān)33連接于另一個(gè)車載LAN(車內(nèi)通信網(wǎng)絡(luò))35。用于傳輸/接收回應(yīng)信號36a和燈光信號36b的各種車身ECU 37、其上安裝有拍攝裝置21、23、25和27的車輛信息輸出單元39、以及包含車速傳感器、轉(zhuǎn)向傳感器、聲納傳感器及車輛信息傳感器在內(nèi)的各種傳感器41都連接于車載LAN 35。
在此，拍攝裝置21、23、25和27都是包含諸如CCD之類的圖像感測裝置的典型拍攝裝置。例如，如上所述，后拍攝裝置21在如圖9所示的向下傾斜地看物體的視點(diǎn)上拍攝如圖1所示的原始圖像10。將用后拍攝裝置21拍攝的原始圖像10經(jīng)由車載LAN 29發(fā)送到圖像處理ECU 31。
如圖5所示，所述圖像處理ECU 31包括作為通信接口的通信I/F單元43，用于利用車載LAN 29來執(zhí)行通信；監(jiān)視器I/F單元45，其連接于顯示裝置15；圖像處理ASIC 47，用于處理圖像；轉(zhuǎn)換表存儲器49，用于存儲用來在圖像處理ASIC 47中執(zhí)行坐標(biāo)變換的轉(zhuǎn)換表；諸如SDRAM之類的幀存儲器51，用于當(dāng)在圖像處理ASIC 47中處理圖像時(shí)臨時(shí)存儲該圖像；CPU 53，用于控制圖像處理ASIC 47；和可寫非易失存儲器55，用于提供圖像處理ASIC 47中的圖像處理所使用的各種參數(shù)。
在此，幀存儲器51能夠存儲比原始圖像10的每一幀的數(shù)據(jù)更大容量的數(shù)據(jù)。
另外，所述圖像處理ASIC 47依據(jù)如圖2所示的第一模式和如圖3所示的第二模式來執(zhí)行各種圖像處理。
如圖2所示的第一模式，首先，將如圖1所示的近距離圖像11和遠(yuǎn)距離圖像13存儲在幀存儲器51中。
在此，近距離圖像11是指設(shè)置到使車輛從距離停車大約幾公尺的預(yù)定位置趨近目標(biāo)停止位置所需要的范圍內(nèi)的圖像。預(yù)先根據(jù)駕駛者(用戶)的辨別力來設(shè)置近距離圖像11。
此外，在用后拍攝裝置21拍攝的圖像中，遠(yuǎn)距離圖像是恒定的圖像范圍，所述范圍延長至比近距離圖像11更遠(yuǎn)的距離。另外，在圖1的示例中，盡管將邊界61和63設(shè)置成能使近距離圖像11部分地重疊遠(yuǎn)距離圖像13，但也可以將近距離圖像11和遠(yuǎn)距離圖像13彼此相連的范圍設(shè)置成能使圖像范圍的該部分彼此不重疊。
此外，通過幾何校正對近距離圖像11執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換。另外，為遠(yuǎn)距離圖像13執(zhí)行預(yù)定義的坐標(biāo)變換，以使得當(dāng)高于或低于近距離圖像11在顯示裝置15上顯示遠(yuǎn)距離圖像13時(shí)，近距離圖像11在它們的相對位置上對應(yīng)到遠(yuǎn)距離圖像13。
更具體而言，原始圖像10的近距離圖像11的頂端線61在靠近于頂端線61中間部分的位置上更加朝上端彎曲。當(dāng)為了視點(diǎn)變換成平面圖坐標(biāo)系、由圖像處 ASIC 47對頂端線61進(jìn)行坐標(biāo)變換時(shí)，該頂端線61被變?yōu)橹本€62(圖2)。沿屏幕高度方向，近距離圖像11的頂端線61從曲線變成直線，然后，與該坐標(biāo)變換相一致，對遠(yuǎn)距離圖像13的下端線63(圖1)執(zhí)行坐標(biāo)變換，以便將該下端線63從曲線變換成直線62。然而，不同于近距離圖像11到平面圖坐標(biāo)系的坐標(biāo)變換，在遠(yuǎn)距離圖像13的坐標(biāo)變換中，例如，在縱向上的平均圖像放大倍率(即，后向和高度方向)被設(shè)置成近似等于沿橫向(即，車輛寬度方向)上的平均圖像放大倍率，而無需在高度方向上執(zhí)行同等的圖像放大倍率(比例尺變換)。更具體而言，在相對遠(yuǎn)距離的位置上照射出的沿垂直方向上的部分的圖像放大倍率變得比在近距離圖像11中的相對近距離的位置上照射出的沿垂直方向的部分的圖像放大倍率還要大。然而，在遠(yuǎn)距離圖像13中，在相對遠(yuǎn)距離的位置上照射出的垂直方向上的部分的圖像放大倍率近似等于在相對近距離的位置上照射出的垂直方向上的部分的圖像放大倍率。另外，在遠(yuǎn)距離圖像13中，通過在橫向上對近距離圖像11執(zhí)行距離調(diào)整，自然地顯示出高于和低于邊界62顯示的圖像的接縫。另外，在遠(yuǎn)距離圖像13中，如上所述，由于將具有近距離圖像11的邊界從曲線63(圖1)變換成直線62(圖2)，同原始圖像10相比坐標(biāo)變換后的遠(yuǎn)距離圖像13中的每一個(gè)部分有細(xì)微的變形，從而保持它盡可能與原始圖像10相似。
圖像處理ASIC 47讀取存儲在轉(zhuǎn)換表存儲器49中的數(shù)據(jù)(轉(zhuǎn)換表等等)，并且根據(jù)所讀取的數(shù)據(jù)對這些臨時(shí)存儲在幀存儲器51中的近距離圖像11和遠(yuǎn)距離圖像13執(zhí)行坐標(biāo)變換。然后，在坐標(biāo)變換之后，圖像處理ASIC 47把近距離圖像11置于圖像的每一幀的相對較低的部分處的區(qū)域11A中，并且在坐標(biāo)變換之后，把遠(yuǎn)距離圖像13置于圖像的每一幀的相對較高的部分處的區(qū)域13A中，如圖2所示，執(zhí)行所述這些圖像的合成，并以幀為單位輸出合成后的圖像。
在另一方面，除了將經(jīng)坐標(biāo)變換的近距離圖像11放大(比例尺變換)、置于圖像的每一幀的較低區(qū)域11A中并輸出到顯示裝置15之外，如圖3所示的第二模式類似于第一模式。對在第二模式下的近距離圖像11的放大倍率進(jìn)行預(yù)置，以便當(dāng)駕駛者(用戶)在觀看顯示裝置的屏幕的同時(shí)倒車時(shí)，能夠例如以大約10厘米為單位適宜地把握達(dá)到近距離圖像11中所示的其他車輛或諸如墻壁之類的障礙物的距離感。另外，在第二模式下的遠(yuǎn)距離圖像13等同于第一模式下所顯示的圖像，而且不與放大的(比例尺變換)近距離圖像11相一致地執(zhí)行遠(yuǎn)距離圖像13的放大(比例尺變換)顯示。因此，盡管第二模式等同于在向下傾斜地看物體的視點(diǎn)上顯示遠(yuǎn)距離圖像13的第一模式，但是由于在遠(yuǎn)距離圖像11和近距離圖像62之間的邊界上的圖像11和13兩者的圖像放大倍率彼此不同，因此沒有顯示出這兩幅圖像之間具有連接。因此，很明顯，近距離圖像11被放大(比例尺變換)并顯示。
在第二模式下，優(yōu)選地，由于通過近距離圖像11的放大顯示(比例尺變換)，縮小了在顯示裝置的區(qū)域11A中顯示近距離圖像11的視點(diǎn)的范圍，因此按照縮小量將一幅圖像添加到遠(yuǎn)距離圖像13上。因此，示出了具有垂直方向上的縮減(比例尺變換)的遠(yuǎn)距離圖像13(圖3中的13A)。在這種情況下，遠(yuǎn)距離圖像13中的縱向(即，后向和高度方向)上的平均圖像放大倍率未顯著地等同于橫向(即，車輛寬度方向)上的平均圖像放大倍率這一點(diǎn)是無關(guān)緊要的。
另外，在每一種模式(第一和第二模式)下，利用諸如汽車導(dǎo)航器之類的電子部件的可操作輸入裝置，可以垂直地移動(dòng)較高部分和較低部分的圖像之間的邊界62。因此，當(dāng)用戶實(shí)際地觀察圖2或圖3中所示的圖像時(shí)，操作者能夠自由地調(diào)整邊界62的位置，這樣便于操作者合理把握圖像。調(diào)整后的邊界62的位置被記錄在可寫非易失存儲器55中，并且當(dāng)車輛周圍環(huán)境觀察設(shè)備下一次啟動(dòng)時(shí)被最初地再現(xiàn)。
在此，圖像處理ECU 31讀取非易失存儲器55中預(yù)存的多個(gè)轉(zhuǎn)換表中的所有轉(zhuǎn)換表。ECU 31將它們存儲在轉(zhuǎn)換表存儲器49中。ECU31接收從拍攝裝置21、23、25和27那里傳輸來的圖像信號以及經(jīng)由車載LAN 35傳輸來的各類信息，包括從各種傳感器41那里傳輸來的車速傳感器信息、轉(zhuǎn)向傳感器信息、聲納及車輛信息，ECU 31判斷所述車輛是否滿足預(yù)定的狀況。例如，在CPU 53中，ECU 31根據(jù)上面所提到的信息來判斷車速傳感器是否感測到車輛倒車速度低于規(guī)定速度，并判斷聲納傳感器是否感測到車輛后面的障礙物。根據(jù)判斷結(jié)果，ECU 31從轉(zhuǎn)換表存儲器(SDRAM等等)49中對每一個(gè)近距離圖像11和遠(yuǎn)距離圖像13讀取與這些狀況相對應(yīng)的坐標(biāo)變換的轉(zhuǎn)換表。ECU 31通過參考所讀取的轉(zhuǎn)換表查找從后拍攝裝置21讀取的圖像的移動(dòng)目的地的地址，并將從后拍攝裝置21讀取的近距離圖像11和遠(yuǎn)距離圖像13移動(dòng)到上述地址。ECU 31在為每個(gè)近距離圖像11和遠(yuǎn)距離圖像13執(zhí)行諸如坐標(biāo)變換之類的圖像處理的時(shí)候利用各種功能來執(zhí)行屏幕劃分。
另外，在圖像處理ECU 31中的第一模式和第二模式之間的切換例如可以通過諸如接觸式傳感器或按鈕開關(guān)之類的任何可操作輸入裝置(未示出)的操作來執(zhí)行。然而，優(yōu)選地是當(dāng)從連接于車載LAN 35的諸如聲納傳感器之類的各種傳感器41中傳輸任何感應(yīng)信號時(shí)自動(dòng)地執(zhí)行切換。例如，在最初選擇第一模式的時(shí)候，當(dāng)車速傳感器感測到車輛倒車速度低于規(guī)定速度并且聲納傳感器感測到車輛后面的障礙物時(shí)，自動(dòng)執(zhí)行從第一模式到第二模式的切換。
另外，為每一種模式準(zhǔn)備好用于坐標(biāo)變換的多個(gè)轉(zhuǎn)換表，并且，當(dāng)用戶對可操作輸入裝置進(jìn)行操作時(shí)，根據(jù)來自可操作輸入裝置(未示出)的信號，有選擇地使用轉(zhuǎn)換表。
另外，諸如汽車導(dǎo)航系統(tǒng)之類的監(jiān)視器裝置還充當(dāng)顯示裝置15使用。
按上述配置的車輛周圍環(huán)境觀察設(shè)備的操作的一個(gè)示例將參照圖6的流程圖來進(jìn)行描述。首先，在圖6的流程圖中的步驟S1中，車輛周圍環(huán)境觀察設(shè)備與引擎的啟動(dòng)同時(shí)地被加電和啟動(dòng)。
接下來，在步驟S2中，當(dāng)從各種傳感器41傳輸來信息時(shí)，根據(jù)所述信息判斷車輛狀況。例如，根據(jù)車速傳感器是否感測到車輛倒車速度低于規(guī)定速度以及聲納傳感器是否感測到車輛后面的障礙物的判斷結(jié)果，來判斷是否需要將放大(比例尺變換)圖像作為近距離圖像11(即，所需的模式是第一模式還是第二模式)。作為選擇，可以通過由用戶對可操作輸入裝置(未示出)進(jìn)行操作來選擇第一模式和第二模式中的任何一種。
同時(shí)，將多個(gè)轉(zhuǎn)換表全部從非易失存儲器55中讀取出來，然后在步驟S3中將它們臨時(shí)存儲在轉(zhuǎn)換表存儲器(SDRAM等等)49中。
接下來，在步驟S4中，根據(jù)步驟S2中所判定的車輛狀況來選擇來自后拍攝裝置21的圖像。在步驟S5中，所述圖像處理ECU 31通過參考存儲在轉(zhuǎn)換表存儲器49中的數(shù)據(jù)(轉(zhuǎn)換表等等)當(dāng)中的適于車輛狀況的一個(gè)數(shù)據(jù)來查找從后拍攝裝置21讀取的圖像的移動(dòng)目的地的地址，并將從后拍攝裝置21讀取的近距離圖像11和遠(yuǎn)距離圖像13移動(dòng)到上述地址。照此，當(dāng)對近距離圖像11和遠(yuǎn)距離圖像13中的每一個(gè)執(zhí)行諸如坐標(biāo)變換之類的圖像處理時(shí)執(zhí)行屏幕劃分。
此后，將來自于圖像處理ECU 31的每一幀的圖像信號輸出到監(jiān)視器I/F單元45，然后在步驟S6中，經(jīng)由監(jiān)視器I/F單元45在顯示裝置15上顯示所述圖像。
在此時(shí)，如圖2和3所示，由于在向下傾斜地看物體的視點(diǎn)上顯示遠(yuǎn)距離圖像的同時(shí)通過幾何校正來對近距離圖像11執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換，因此能夠防止因圖像變形而無法分辨遠(yuǎn)距離圖像13成像了什么，正如在現(xiàn)有示例(圖10到12)中那樣，在所述現(xiàn)有示例中對整個(gè)屏幕圖像執(zhí)行到平面圖坐標(biāo)系的視點(diǎn)變換。具體而言，當(dāng)例如將廣角照相機(jī)用作為圖像拍攝裝置(比如后拍攝裝置21)時(shí)，如果在遠(yuǎn)距離圖像中看到不在地平面上的具有某一高度的物體并且通過幾何校正來對所拍攝到的物體圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換，該圖像被變形地顯示，因此由于物體的失真外貌而增加了不一致性。然而，在這個(gè)實(shí)施例中，能夠防止遠(yuǎn)距離圖像中所示的這種失真的物體外貌，并由此能夠消除這種不一致性。
另外，在第一模式下，能夠通過在遠(yuǎn)距離圖像13的橫向上執(zhí)行距離調(diào)整來自然地顯示在邊界62的上端和下端顯示的圖像之間的接縫，以便遠(yuǎn)距離圖像13匹配與邊界62隔開的近距離圖像11。
另外，可以根據(jù)車輛狀況來執(zhí)行與近距離圖像11的放大(比例尺變換)顯示相結(jié)合的模式(第一模式與第二模式)之間的切換，所述車輛狀況是依據(jù)從各種傳感器41中獲得的信息而判定的。由此，駕駛者(用戶)能夠在顯示裝置15上顯示車輛周圍的可見圖像。
具體而言，在第二模式中，由于執(zhí)行了近距離圖像11的放大(比例尺變換)顯示，因此能夠以大約10厘米為單位適宜地把握達(dá)到近距離圖像11中所示的其他車輛或諸如墻壁之類的障礙物的距離感。
另外，在第二模式中，由于可以通過在垂直方向上對其縮小來顯示遠(yuǎn)距離圖像13，由此把因近距離圖像11的放大(比例尺變換)顯示而縮小的視點(diǎn)范圍內(nèi)的圖像添加到遠(yuǎn)距離圖像13上，能夠在顯示裝置15上顯示可見圖像。
此外，讀取在非易失存儲器55中預(yù)存的多個(gè)轉(zhuǎn)換表中的所有轉(zhuǎn)換表并將其存儲在轉(zhuǎn)換表存儲器49當(dāng)中，并且圖像處理ECU 31根據(jù)車輛狀況來引用存儲在轉(zhuǎn)換表49中的多個(gè)轉(zhuǎn)換表。由此，可以遵從車輛狀況方面的變化來應(yīng)用最優(yōu)的轉(zhuǎn)換表。
此外，例如，可以針對于每一種模式(第一和第二模式)，利用諸如汽車導(dǎo)航裝置之類的電子單元的可操作輸入裝置來垂直地移動(dòng)較高部分圖像和較低部分圖像之間的邊界62。由此，當(dāng)用戶實(shí)際地觀察圖2或3中所示的圖像時(shí)，他能夠自由地調(diào)整邊界62的位置以便他便于適宜地把握圖像。此外，能夠給用戶帶來便利性，因?yàn)檎{(diào)整后的邊界62的位置被記錄在可寫非易失存儲器55中，并且當(dāng)車輛周圍環(huán)境觀察設(shè)備下一次啟動(dòng)時(shí)被最初地再現(xiàn)。
此外，盡管在上面的實(shí)施例中，在顯示裝置15的較低部分中顯示的近距離圖像11和在顯示裝置15的較高部分中顯示的遠(yuǎn)距離圖像13是連續(xù)安排的，但是也可以將不顯示圖像的區(qū)域65安排在較低部分和較高部分之間。這使得用戶能夠直觀地區(qū)分在較低部分和較高部分中執(zhí)行的圖像處理，以及區(qū)分在較低和較高部分中顯示圖像的方法。
此外，盡管在上面的實(shí)施例中，對遠(yuǎn)距離圖像13執(zhí)行坐標(biāo)變換以便在遠(yuǎn)距離圖像13和近距離圖像11之間的邊界62的兩側(cè)上不發(fā)生不一致性，但是可以無變化地顯示圖1中所示的原始圖像的一部分13，而不執(zhí)行任何的坐標(biāo)變換。這樣，易于進(jìn)行遠(yuǎn)距離圖像13的圖像處理。由此，實(shí)現(xiàn)了圖像處理ECU 31的圖像處理ASIC 47的配置的簡化，或在CPU 53中執(zhí)行的圖像處理ECU 31的軟件程序的簡化，也實(shí)現(xiàn)了遠(yuǎn)距離圖像13的高效圖像處理。
此外，盡管已經(jīng)在上面的實(shí)施例中舉例說明了后拍攝裝置21，但是可以將相同的圖像處理應(yīng)用于前拍攝裝置23、側(cè)拍攝裝置25及其它車載拍攝裝置27。
權(quán)利要求
1.一種用于拍攝車輛周圍環(huán)境的圖像的車輛周圍環(huán)境觀察設(shè)備，包括設(shè)置在預(yù)定位置上的圖像拍攝裝置；設(shè)置在車輛內(nèi)的顯示裝置；和圖像處理裝置，用于執(zhí)行原始圖像到第一圖像和第二圖像的圖像劃分，其中所述圖像拍攝裝置從預(yù)定位置上拍攝原始圖像，其中所述顯示裝置顯示所拍攝到的車輛周圍環(huán)境的圖像，其中所述圖像處理裝置通過利用幾何校正來對第一圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換，其中所述圖像處理裝置對第一圖像和第二圖像執(zhí)行預(yù)定的圖像合成，并且其中所述圖像處理裝置在顯示裝置上顯示合成后的圖像。
2.根據(jù)權(quán)利要求1所述的車輛周圍環(huán)境觀察設(shè)備，其中所述第一圖像是近距離圖像，并且其中所述第二圖像是遠(yuǎn)距離圖像。
3.根據(jù)權(quán)利要求2所述的車輛周圍環(huán)境觀察設(shè)備，其中所述預(yù)定的圖像合成是以向下傾斜地看物體的視點(diǎn)安排近距離和遠(yuǎn)距離圖像，使一個(gè)位于另一個(gè)之上。
4.根據(jù)權(quán)利要求1所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像拍攝裝置從預(yù)定位置以向下傾斜地看物體的視點(diǎn)拍攝該原始圖像。
5.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置對近距離圖像和遠(yuǎn)距離圖像中的至少一個(gè)執(zhí)行坐標(biāo)變換和比例尺變換中的至少一種，以使在所安排的近距離圖像和遠(yuǎn)距離圖像之間的邊界上不存在不一致性。
6.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置對近距離圖像執(zhí)行第一圖像處理以放大近距離圖像的視點(diǎn)變換圖像，并且其中所述圖像處理裝置對遠(yuǎn)距離圖像執(zhí)行第二圖像處理，以便包含在通過放大近距離圖像得到的視點(diǎn)范圍中所沒有包含的圖像范圍。
7.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中，將所述近距離圖像設(shè)置到使車輛從接近停車的預(yù)定位置趨近目標(biāo)停止位置所需要的范圍。
8.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置當(dāng)在第一圖像與第二圖像之間安排了沒有在其中顯示圖像的區(qū)域之后執(zhí)行圖像合成。
9.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置可操作地在第一模式和第二模式之間切換，所述第一模式用于在近距離圖像和等同的遠(yuǎn)距離圖像之間的邊界上產(chǎn)生比例尺范圍，所述第二模式用于放大近距離圖像。
10.根據(jù)權(quán)利要求9所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置根據(jù)經(jīng)由車載通信網(wǎng)絡(luò)和可操作輸入裝置的操作中的至少一個(gè)而獲得的車輛狀況，在第一模式與第二模式之間切換。
11.根據(jù)權(quán)利要求9所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置通過利用從多個(gè)預(yù)置的轉(zhuǎn)換表中選出的表執(zhí)行坐標(biāo)變換，以此在第一模式與第二模式之間轉(zhuǎn)換。
12.根據(jù)權(quán)利要求11所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置通過存儲在轉(zhuǎn)換表存儲器中的非易失存儲器當(dāng)中所預(yù)存的所有轉(zhuǎn)換表，以此在第一模式與第二模式之間切換，以及其中所述圖像處理裝置利用所選的表來執(zhí)行坐標(biāo)變換。
13.根據(jù)權(quán)利要求3所述的車輛周圍環(huán)境觀察設(shè)備，其中所述圖像處理裝置在放大或縮小遠(yuǎn)距離圖像之后對遠(yuǎn)距離圖像執(zhí)行圖像合成，而不改變包含在原始圖像中的遠(yuǎn)距離圖像。
全文摘要
一種用于拍攝車輛周圍環(huán)境的圖像的車輛周圍環(huán)境觀察設(shè)備，包括設(shè)置在預(yù)定位置上的圖像拍攝裝置；設(shè)置在車輛內(nèi)的顯示裝置；以及圖像處理裝置，用于執(zhí)行原始圖像到第一圖像和第二圖像的圖像劃分。所述圖像拍攝裝置從預(yù)定位置上拍攝原始圖像。所述顯示裝置顯示所拍攝到的車輛周圍環(huán)境的圖像。所述圖像處理裝置通過利用幾何校正來對第一圖像執(zhí)行到平面圖坐標(biāo)系的坐標(biāo)變換。所述圖像處理裝置對第一圖像和第二圖像執(zhí)行預(yù)定的圖像合成。所述圖像處理裝置在顯示裝置上顯示合成后的圖像。
文檔編號B60R1/00GK1690659SQ200510066688
公開日2005年11月2日 申請日期2005年4月22日 優(yōu)先權(quán)日2004年4月23日
發(fā)明者吉村明展 申請人:株式會(huì)社自動(dòng)網(wǎng)絡(luò)技術(shù)研究所, 住友電裝株式會(huì)社, 住友電氣工業(yè)株式會(huì)社