專利名稱：Vehicle peripheral image display system的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛周邊圖像顯示系統(tǒng)，基于從車載外部攝像機取得的攝像機影 像，對相對于車內(nèi)的監(jiān)視器畫面包括死角區(qū)域的車輛周邊圖像進行顯示。
背景技術(shù)：
目前，對于實用化的側(cè)視監(jiān)視器系統(tǒng)來說，在車側(cè)反射鏡(寸4 F S 7-)的內(nèi)部 設(shè)定側(cè)面攝像機((XD攝像機等)，在與導航系統(tǒng)兼用的前部顯示器單元的監(jiān)視器畫面上， 顯示來自側(cè)面攝像機的實際攝像機影像。S卩，在監(jiān)視器畫面上顯示成為駕駛者的死角的車輛的前側(cè)方部分，由此，駕駛者能 夠辨別成為死角的部分的狀況。但是，由于側(cè)面攝像機配置在車側(cè)反射鏡的內(nèi)部，所以，在攝像機視點和駕駛者視 點之間具有較大的視差，對于障礙物或其他物體的形狀來說，攝像機影像中的形狀和從駕 駛者的座位觀察到的形狀完全不同。相對于此，在通常情況下，根據(jù)駕駛者自身的習慣，將攝像機影像在頭腦中進行再 構(gòu)成，對物體的位置關(guān)系進行再構(gòu)筑并加以判斷，由此取得與駕駛者自身觀察到的影像的
一致性。另一方面，在不習慣的駕駛者的情況或瞬間的情況下，畫面影像與從駕駛者的座 位觀察到的影像之間的一致性被破壞，產(chǎn)生不適感。為了消除這樣的不適感，將由設(shè)置在車體外側(cè)的死角攝像機所取得的攝像機影像 進行圖像變換，而成為宛如從駕駛者的視點位置觀察到的虛擬攝像機影像，從而生成變換 外部圖像。此外，根據(jù)在接近駕駛者的視點位置所設(shè)置的駕駛者視點攝像機取得的攝像機影 像，生成除死角區(qū)域之外的其它目視區(qū)域圖像。并且，提出了一種車輛周邊圖像顯示系統(tǒng)(例如，參考專利文獻1)，得到在從目視 區(qū)域圖像中除去的死角區(qū)域合成了變換外部圖像的合成圖像。具體地說，利用圖像變換對安裝在車輛外部的后備箱部分的后部攝像機的影像進 行視點變換，成為從駕駛者的視點部分觀察后方的影像。此處，當然是合成圖像，不過，該合成后的后方視野的影像中的能夠從車窗觀察的 部分作為來自內(nèi)部攝像機影像的現(xiàn)場影像(直接影像)，對于未在該攝像機中捕捉到的由 于座椅(〉一卜)或者后備箱而成為死角的部分來說，對利用圖像處理得到的外部攝像機 的影像進行重疊，得到影像。在該情況下，將兩個畫面變換成完全順利連續(xù)的畫面在技術(shù)上是非常難的，所以， 使將圖像切出的邊界線與車輛形狀的窗框、其他部分匹配，將窗框等的邊緣部分作為粗框 形狀的疊加(7—〃一 4 >#一<)進行重疊，由此，對不使分割線顯著上進行了深入研允。專利文獻1日本特開2004-350303號公報

發(fā)明內(nèi)容
但是，在以往的車輛周邊圖像顯示系統(tǒng)中，存在以下列舉的問題。(1)使用死角攝像機和駕駛者視點攝像機這兩臺攝像機，對于現(xiàn)存系統(tǒng)來說就需 要追加駕駛者視點攝像機，所以，系統(tǒng)成本提高。此外，駕駛者視點攝像機設(shè)置在靠近駕駛者的視點位置，卻不能夠設(shè)置在駕駛者 的視點位置，因而從駕駛者視點攝像機得到的攝像機影像與能夠?qū)嶋H從駕駛者的視點觀察 到的圖像之間產(chǎn)生視差。(2)主要將兩個攝像機影像切出并合成，并且，對該影像的窗框等的邊緣部分進行 強調(diào)檢測，用此進行疊加，由此，努力消除死角和不適感，但是，這些都存在極限，在影像中 產(chǎn)生不適感。(3)在作為例子所敘述的使用了相對于仰角、俯角方向的上下方向的寬角度的死 角攝像機的情況下，充分覆蓋室內(nèi)攝像機(駕駛者視點攝像機)的視野，有助于消除室內(nèi)攝 像機的影像的死角的僅僅是后備箱上部等的一部分的視野，系統(tǒng)上浪費的部分很多。(4)對于將攝像機影像合成時使用的邊緣強調(diào)引起的疊加框來說，盡管需要追加 圖像處理功能，但是，對于向駕駛者提供觀察車輛的死角部分的辨別來說，其效果并不充 分。本發(fā)明是鑒于上述問題而進行的，其目的在于提供一種車輛周邊圖像顯示系統(tǒng)， 作成僅使用車載外部攝像機的低價的系統(tǒng)，并且，能夠無視差且直觀地掌握駕駛者的死角 部分，還能夠利用與本車的位置關(guān)系明確地目視成為駕駛者的死角的外部狀況。本發(fā)明的車輛周邊圖像顯示系統(tǒng)具有車載外部攝像機，安裝在本車上，對車輛周 邊進行攝像；監(jiān)視器，設(shè)定在駕駛者能夠目視的車廂內(nèi)位置；監(jiān)視器影像生成單元，基于從 所述車載外部攝像機輸入的實際攝像機影像，生成送給所述監(jiān)視器的顯示影像，其特征在 于，所述監(jiān)視器影像生成單元具有圖像處理部，將從車載外部攝像機輸入的實際攝像機影 像進行視點轉(zhuǎn)換，成為從駕駛者的視點位置觀察到的虛擬攝像機影像；圖像存儲部，將從駕 駛者的視點預先攝影的車廂內(nèi)影像作為車廂內(nèi)圖像預先存儲；圖像合成電路，將來自所述 圖像存儲部的車廂內(nèi)圖像半透明化處理而成為半透明車廂內(nèi)圖像，并利用將所述半透明車 廂內(nèi)圖像重疊到來自所述圖像處理部的虛擬攝像機圖像上的圖像合成，生成使半透明車廂 內(nèi)圖像透過而表現(xiàn)虛擬攝像機圖像的合成圖像。因此，在本發(fā)明的車輛周邊圖像顯示系統(tǒng)中，在監(jiān)視器影像生成單元的圖像存儲 部中，預先存儲從駕駛者的視點預先攝影的車廂內(nèi)影像。在監(jiān)視器影像生成單元的圖像處理部中，從車載外部攝像機輸入的實際攝像機影 像被視點變換為從駕駛者的視點位置觀察到的虛擬攝像機圖像。并且，在圖像合成電路中，對來自圖像存儲部的車廂內(nèi)圖像進行半透明化處理，而 成為半透明車廂內(nèi)圖像，并利用將半透明車廂內(nèi)圖像重疊到來自圖像處理部的虛擬攝像機 圖像上的圖像合成，生成使半透明車廂內(nèi)圖像透過而表現(xiàn)虛擬攝像機圖像的合成圖像。這樣，在圖像處理部中，從車載外部攝像機輸入的實際攝像機影像被視點變換成 從駕駛者的視點位置觀察到的虛擬攝像機圖像，由此，觀察在監(jiān)視器上顯示的合成圖像的 駕駛者能夠無視差且直觀地掌握在虛擬攝像機圖像中包含的駕駛者的死角部分。
并且，在圖像合成電路中，將從駕駛者的視點預先攝影的車廂內(nèi)影像作為半透明 車廂內(nèi)圖像，由此，對于在監(jiān)視器上顯示的合成圖像來說，透過半透明車廂內(nèi)圖像而表現(xiàn)虛 擬攝像機圖像，能夠根據(jù)由半透明車廂內(nèi)圖像得到的與本車的位置關(guān)系明確地目視利用虛 擬攝像機圖像得到的成為駕駛者的死角的外部狀況。其結(jié)果是，作成僅使用車載外部攝像機的低價的系統(tǒng)，并且，能夠無視差且直觀地 掌握駕駛者的死角部分，并且，能夠根據(jù)與本車的位置關(guān)系明確地目視成為駕駛者的死角 的外部狀況。


圖1是示出實施例1的側(cè)視監(jiān)視器系統(tǒng)Al (車輛周邊圖像顯示系統(tǒng)的一例)的整 體系統(tǒng)框圖。圖2是示出實施例1的側(cè)視監(jiān)視器系統(tǒng)Al的控制電路45執(zhí)行的合成圖像亮度控 制處理的流程的流程圖。圖3是表示從駕駛者的視點位置朝向左前方側(cè)預先攝影的車廂內(nèi)影像的圖。圖4是將從搭載有實施例1的側(cè)視監(jiān)視器系統(tǒng)Al的車輛相對于路面對車體形狀 進行投影的狀態(tài)圖像化進行示出的立體圖。圖5是示出從駕駛者的視點位置透過地觀察從搭載了實施例1的側(cè)視監(jiān)視器系統(tǒng) Al的車輛相對于路面垂直地對車體形狀進行投影的圖像的情況的影像(不透明部分)的 圖。圖6是示出在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中對在圖3中示出的車廂內(nèi)影像RP 組合了圖5的“不透明部分DE，，的合成圖像的圖。圖7是示出將在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中對在圖3中所示的車廂內(nèi)影像 RP組合了“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖 像RG的圖。圖8是在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中設(shè)定為圖3所示的車廂內(nèi)影像RP中透 過率為0%的“不透明部分DE”的區(qū)域的外周顯示邊框EL的圖像的圖。圖9是示出實施例2的后視監(jiān)視器系統(tǒng)A2 (車輛周邊圖像顯示系統(tǒng)的一例)的整 體系統(tǒng)框圖。圖10是表示在實施例2的后視監(jiān)視器系統(tǒng)A2中對車輛后方的車廂內(nèi)影像RP組 合了“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖像RG 的圖。圖11是示出實施例3的前視監(jiān)視器系統(tǒng)A3 (車輛周邊圖像顯示系統(tǒng)的一例)的 整體系統(tǒng)框圖。圖12是示出實施例3的前視監(jiān)視器系統(tǒng)A3中的控制電路45執(zhí)行的混合比率傳 感器連動控制處理的流程的流程圖。圖13是表示從駕駛者的視點位置朝向前方預先攝影的車廂內(nèi)影像的圖。圖14是表示從駕駛者視點位置透過地觀察從搭載了實施例3的前視監(jiān)視器系統(tǒng) A3的車輛相對于路面垂直地投影了車體形狀的圖像的情況的影像(不透明部分)的圖。圖15是表示在實施例3的前視監(jiān)視器系統(tǒng)A3中組合了左、右、中央的前面攝像機
6影像的分割區(qū)域和圖14的“不透明部分DE”的合成圖像的圖。圖16是在實施例3的前視監(jiān)視器系統(tǒng)A3中對圖13所示的車廂內(nèi)影像RP組合了 “不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖像RG的圖。附圖標記說明Al側(cè)視監(jiān)視器系統(tǒng)(車輛周邊圖像顯示系統(tǒng)的一例)1側(cè)面攝像機(車載外部攝像機)A2后視監(jiān)視器系統(tǒng)(車輛周邊圖像顯示系統(tǒng)的一例)21后部攝像機(車載外部攝像機)A3前視監(jiān)視器系統(tǒng)(車輛周邊圖像顯示系統(tǒng)的一例)3IL左前部攝像機(車載外部攝像機)3IR右前部攝像機(車載外部攝像機)31C中央前部攝像機(車載外部攝像機)2圖像處理控制單元(監(jiān)視器影像生成單元)41譯碼器4IL左譯碼器41R右譯碼器4IC中央譯碼器42圖像存儲器42L左圖像存儲器42R右圖像存儲器42C中央圖像存儲器43圖像處理部44圖像存儲器(圖像存儲部)45 控制電路(CPU)46疊加電路(圖像合成電路)47編碼器48混合外部控制部49亮度判定傳感器(亮度檢測單元)3監(jiān)視器4混合比率手動控制界面5外部傳感器51舵角傳感器52速度傳感器53照明開關(guān)(點亮狀態(tài)檢測單元)54功能開關(guān)55轉(zhuǎn)向燈開關(guān)RP車廂內(nèi)影像SE將本車的大小、形狀垂直地投影到路面上的區(qū)域
RG半透明車廂內(nèi)圖像CE 100%透過部分GE任意的透過部分DE不透明部分
具體實施例方式以下，作為實現(xiàn)本發(fā)明的車輛周邊圖像顯示系統(tǒng)的代表例，利用實施例1 實施 例3分別對三個方向的死角消除攝像機進行說明。如圖1所代表的那樣，整體的系統(tǒng)結(jié)構(gòu)基本上包括用于消除死角的攝像機；對攝 像機的影像進行處理的數(shù)字圖像處理部以及半透明影像的混合處理部。在使用單一攝像機影像的情況下，基本結(jié)構(gòu)是相同的。但是，關(guān)于攝像機的配置、個數(shù)，除了成本以外還對結(jié)構(gòu)進行研究。此外，假定如下的系統(tǒng)監(jiān)視器上的半透明部分的透明度由最初設(shè)定的透過率 (透過率初始值)表示，但是，透過率未被固定，用戶(駕駛者)能夠在透過率=0 100% 的范圍內(nèi)任意地變更。此外，假定一種系統(tǒng)，其各處的透過率能夠根據(jù)用戶的希望定制。實施例1實施例1是有關(guān)如下的側(cè)視監(jiān)視器系統(tǒng)的例子，其中，作為車載外部攝像機，使用 內(nèi)置在車側(cè)反射鏡中、或者配置在車側(cè)反射鏡附近的用于消除死角的側(cè)面攝像機，且將成 為駕駛者的死角的車輛的前側(cè)方部分顯示在車廂內(nèi)的監(jiān)視器上。首先對結(jié)構(gòu)進行說明。圖1是表示實施例1的側(cè)視監(jiān)視器系統(tǒng)Al (車輛周邊圖像顯示系統(tǒng)的一例)的整 體系統(tǒng)框圖。如圖1所示，實施例1的側(cè)視監(jiān)視器系統(tǒng)Al具有側(cè)面攝像機1 (車載外部攝像機)、 圖像處理控制單元2 (監(jiān)視器影像生成單元)、監(jiān)視器3、混合比率手動控制界面4和外部傳 感器5。所述側(cè)面攝像機1通過內(nèi)置在左車側(cè)反射鏡中或者配置在左車側(cè)反射鏡附近而 被安裝，對成為駕駛者的死角的車輛的前側(cè)方部分進行攝像。該側(cè)面攝像機1利用攝像元件(CCD、CM0S等)取得車輛的前側(cè)方部分的實際攝像 機影像數(shù)據(jù)。所述監(jiān)視器3設(shè)定在駕駛者能夠目視的車廂內(nèi)位置(例如，儀表板位置等)，輸入 來自圖像處理控制單元2的顯示影像，并進行圖像顯示。在該監(jiān)視器3中，具有利用液晶顯示器或有機EL顯示器等進行顯示的顯示畫面 3 3. ο此處，作為監(jiān)視器3，可以在側(cè)視監(jiān)視器系統(tǒng)Al中設(shè)定專用的監(jiān)視器；此外，也可 以在用于消除死角的攝像機系統(tǒng)中設(shè)定專用的監(jiān)視器；此外，也可以占用導航系統(tǒng)等其他 系統(tǒng)的監(jiān)視器。所述圖像處理控制單元2基于從側(cè)面攝像機1輸入的實際攝像機影像，生成送給 所述監(jiān)視器3的顯示影像。
8
如圖1所示，該圖像處理控制單元2具有譯碼器41、圖像存儲器42、圖像處理部 43、圖像存儲器44 (圖像存儲部)、控制電路(CPU) 45、疊加電路46 (圖像合成電路)、編碼器 47、混合外部控制部48和亮度判定傳感器49 (亮度檢測單元)。所述圖像處理部43對從側(cè)面攝像機1輸入的實際攝像機影像進行視點變換，成為 從駕駛者的視點位置觀察的虛擬攝像機圖像。具體地說，利用譯碼器41對從側(cè)面攝像機1輸入的實際攝像機影像進行模擬/數(shù) 字變換，并存儲在圖像存儲器42中。然后，在圖像處理部43中，實施“包括各種處理(亮度調(diào)整、色調(diào)校正、邊緣校正 等)的圖像處理”、“是否在駕駛者的視點附近配置了虛擬攝像機這樣的視點變換處理”。所述圖像存儲器44將從駕駛者的視點預先攝影的車廂內(nèi)影像RP(圖3)作為車廂 內(nèi)圖像預先存儲。對于所述疊加電路46來說，對來自圖像存儲器44的車廂內(nèi)圖像RP進行半透明化 處理，而作成半透明車廂內(nèi)圖像RG (圖7)，并利用將所述半透明車廂內(nèi)圖像RG重疊到來自 所述圖像處理部43的虛擬攝像機圖像上的圖像合成，生成透過半透明車廂內(nèi)圖像RG而表 現(xiàn)虛擬攝像機圖像的合成圖像。該疊加電路46將從駕駛者的視點預先攝影的車廂內(nèi)影像RP中的將本車的大小、 形狀垂直地投影在路面上的區(qū)域SE(圖4)顯示為影子。具體地說，具有混合電路部46a (圖7)，將車廂內(nèi)影像RP中的將本車投影在路面上 的所述影子的區(qū)域SE設(shè)定為車廂內(nèi)圖像的透過率為0%的“不透明部分DE”，將相當于本車 的窗玻璃的區(qū)域設(shè)定為車廂內(nèi)圖像的透過率為100%的“100%透過部分CE”，將影區(qū)域和 窗玻璃區(qū)域以外的區(qū)域設(shè)定為具有任意的透過率的“任意的透過部分GE”。此外，混合電路部46a可以在車廂內(nèi)影像RP中的設(shè)定為透過率為0%的“不透明 部分DE”的區(qū)域的外周顯示設(shè)定邊框EL (圖8)。此外，在疊加電路46中，利用疊加方法所重疊的半透明車廂內(nèi)圖像RG和虛擬攝像 機圖像的合成圖像被發(fā)送到編碼器47中，之后，經(jīng)過編碼器47中的數(shù)字/模擬變換，向監(jiān) 視器3輸出，并顯示在顯示畫面3a上。對于所述混合比率手動控制界面4來說，例如，是由監(jiān)視器3的觸摸面板構(gòu)成的結(jié) 構(gòu)，通過手動操作任意地對在車廂內(nèi)圖像中設(shè)定的“任意的透過部分GE”的透過率進行調(diào)整 (混合比率手動調(diào)整單元)。即，若從混合比率手動控制界面4對混合外部控制部48輸入了透過率調(diào)整信號， 則經(jīng)過控制電路45，根據(jù)來自控制電路45的透過率設(shè)定指令，混合電路部46a在0 % 100%的范圍內(nèi)任意地調(diào)整在車廂內(nèi)圖像中設(shè)定的“任意的透過部分GE”的透過率。所述外部傳感器5是指將輸入信息帶到圖像處理控制單元2中的傳感器或開關(guān) 等，如圖1所示，具有舵角傳感器51、速度傳感器52、照明開關(guān)53 (點亮狀態(tài)檢測單元)、功 能開關(guān)54、其他的傳感器、開關(guān)等。并且，當預先將功能開關(guān)54接通(ON)時，基于利用外部傳感器5得到的外部環(huán)境 信息(白天、傍晚、夜間、天氣等)或車輛信息(舵角、車速等)，混合電路部46a自動地對在 車廂內(nèi)圖像中設(shè)定的“任意的透過部分GE”的透過率進行調(diào)整(混合比率傳感器連動調(diào)整 單元)，使得提高在監(jiān)視器3上顯示的合成圖像的目視性。
9
并且，設(shè)置作為對車廂內(nèi)的照明燈的點亮/熄滅進行檢測的點亮狀態(tài)檢測單元的 照明開關(guān)53、對從側(cè)面攝像機1輸入的實際攝像機影像的亮度進行檢測的亮度判定傳感器 49。并且，對于疊加電路46來說，當照明燈的點亮條件和亮度檢測值比設(shè)定值Y低這 樣的低亮度條件同時成立時，使合成圖像的亮度反轉(zhuǎn)(反転)，并且，用白線顯示黑線。圖2是表示實施例1的側(cè)視監(jiān)視器系統(tǒng)Al的控制電路45執(zhí)行的合成圖像亮度控 制處理的流程的流程圖，以下，對各步驟進行說明(合成圖像亮度控制部)。在步驟Sl中，判斷功能開關(guān)54是否接通(ON)，在“是(Yes) ”的情況下，轉(zhuǎn)移到步 驟S2，在“否(No) ”的情況下，返回到步驟Sl的判斷。在步驟S2中，接著在步驟Sl中的功能開關(guān)54為接通的判斷，判斷照明開關(guān)53是 否接通、即照明燈是否點亮，在“是”的情況下，轉(zhuǎn)移到步驟S3，在“否”的情況下，返回到步 馬聚Sl0在步驟S3中，接著在步驟S2中的照明開關(guān)53為接通的判斷，判斷由亮度判定傳 感器49檢測的亮度檢測值是否比設(shè)定值Y低，在“是”的情況下，轉(zhuǎn)移到步驟S4，在“否”的 情況下，轉(zhuǎn)移到步驟S5。在步驟S4中，接著在步驟S3中的亮度檢測值<設(shè)定值Y的判斷，使疊加的圖像的 亮度反轉(zhuǎn)，用白線顯示黑線，返回到步驟Si。在步驟S5中，接著在步驟S3中的亮度檢測值>設(shè)定值Y的判斷，使疊加的圖像的 亮度返回到通常狀態(tài)，返回到步驟Si。然后，對作用進行說明。包括實施例1 實施例3的本發(fā)明的目的在于提供一種車輛周邊圖像顯示系統(tǒng)， 具有能夠有助于消除死角的外部攝像機，低價地構(gòu)筑能夠使用圖像處理對攝像機影像進行 顯示的系統(tǒng)中的、駕駛者僅觀察該影像就能夠直觀地目視為透過車輛的影像的系統(tǒng)，并且， 能夠在該影像中掌握車輛的舉動。并且，本發(fā)明人提出的顯示系統(tǒng)的主要內(nèi)容如下。構(gòu)筑僅觀察在監(jiān)視器上顯示的影像就能夠直觀地判斷車的行進方向、大小、其他 車輛感覺的顯示法。作成能夠自由地與駕駛者的嗜好匹配地使影像的透過率等變化的系統(tǒng)。并且，構(gòu)筑能夠根據(jù)駕駛狀況使基本的透過率自動變更的系統(tǒng)。例如，根據(jù)傍晚時等的外部影像的亮度，變更透過率，容易觀察外部影像。此外，進行研究，使得在夜間等使與影像的重疊部分的圖像進行亮度反轉(zhuǎn)，使將黑 線變成白線這樣進行視點變換后的攝像機影像容易觀察。以下，將實施例1的側(cè)視監(jiān)視器系統(tǒng)Al的作用分為“透過影像的監(jiān)視器圖像顯示 作用”、“半透明部分的透過率變更作用”、“合成圖像的亮度控制作用”進行說明。[透過影像的監(jiān)視器圖像顯示作用]從側(cè)面攝像機1輸入的實際攝像機影像利用譯碼器41進行模擬/數(shù)字變換，并存 儲在圖像存儲器42中。然后，在圖像處理部43中，實施“包括各種處理(亮度調(diào)整、色調(diào)校正、邊緣校正 等)的圖像處理”和“是否在駕駛者的視點附近配置了虛擬攝像機這樣的視點變換處理”，
10取得虛擬攝像機圖像。另一方面，圖像存儲器44將從駕駛者的視點預先攝影的車廂內(nèi)影像RP (圖3)作 為車廂內(nèi)圖像預先存儲。并且，疊加電路46使來自圖像存儲器44的車廂內(nèi)圖像RP半透明化，而成為半透 明車廂內(nèi)圖像RG (圖7)，利用將半透明車廂內(nèi)圖像RG重疊到來自圖像處理部43的虛擬攝 像機圖像上的圖像合成，生成使半透明車廂內(nèi)圖像RG透過而表現(xiàn)虛擬攝像機圖像的合成 圖像。在該疊加電路46中所重疊的合成圖像被發(fā)送到編碼器47中，之后，經(jīng)過在編碼器 47中的數(shù)字/模擬變換，向監(jiān)視器3輸出，在顯示畫面3a上進行顯示。以下，對生成半透明車廂內(nèi)圖像RG時的研究進行說明。圖3是表示從駕駛者的視點位置朝向左前側(cè)方預先攝影的車廂內(nèi)影像的圖。圖4是將從搭載了實施例1的側(cè)視監(jiān)視器系統(tǒng)Al的車輛相對于路面對車體形狀 進行投影的狀態(tài)圖像化而示出的立體圖。圖5是示出從駕駛者的視點位置透過地對從搭載了實施例1的側(cè)視監(jiān)視器系統(tǒng)Al 的車輛相對于路面對車體形狀進行了投影的圖像進行觀察的情況下的影像(不透明部分) 的圖。圖6是示出在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中對在圖3中示出的車廂內(nèi)影像RP 組合了圖5的“不透明部分DE，，的合成圖像的圖。圖7是示出將在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中對在圖3中所示的車廂內(nèi)影像 RP組合了“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖 像RG的圖。對于圖3所示那樣的車廂內(nèi)影像RP的畫面，進行下述研究。首先，在圖4中，為了容易判別，在空中較高地圖示出了車輛，但是，實際上，該投 影面垂直投影在道路等的路面上，投影像位于與車胎的接地面相同的高度位置。圖5所示的影像示出實際駕駛時的車體形狀本身，所以，意思是在與來自駕駛者 視點的影像重疊的情況下，與該投影像接觸、即與車體接觸。換言之，對視點變換影像和該投影面進行重疊顯示，由此，僅觀察該影像(側(cè)視畫 面)，就能一眼判斷避免車輪落入側(cè)溝或躲避障礙物時所需的車輛感覺，能夠直觀掌握，所 以，非常有助于安全駕駛。S卩，如圖6所示，對車體形狀進行了投影的部分作為透過率為0%的“不透明部分 DE ”直接顯示車廂內(nèi)影像RP。關(guān)于不與車體投影像重疊的部分，使用與側(cè)面攝像機影像的α混合，利用任意的 透過率對車廂內(nèi)影像RP進行顯示。具體地說，如圖7所示，關(guān)于窗玻璃部分，作為透過率為100%的“100%透過部分 CE”，將其余的作為“任意的透過部分GE”，加上透過率為0的“不透明部分DE”時，對駕駛者 視點的車廂內(nèi)影像RP進行100%顯示。在確認了實際實施的半透明車廂內(nèi)圖像RG的情況下，車廂內(nèi)影像RP原封不動的 畫面即地板面和透過率為10 50%左右的門附近明確地產(chǎn)生差異，容易區(qū)別車輛形狀。并且，在將虛擬攝像機圖像重疊到實際實施的半透明車廂內(nèi)圖像RG上的情況下，
11目視出視點變換后的側(cè)面攝像機影像(虛擬攝像機圖像)是透過門觀察的影像，相對于此， 通過使用了車廂內(nèi)圖像的混合方法，非常容易判斷。如上所述，利用視點變換圖像處理，對設(shè)置在車側(cè)反射鏡中的側(cè)面攝像機1的實 際攝像機影像進行變換處理，變換為宛如從駕駛者視點位置以虛擬攝像機攝影的這樣的虛 擬攝像機圖像，將該虛擬攝像機圖像和半透明化的車廂內(nèi)圖像進行組合，進行圖像合成，由 此，進行重疊顯示，能夠表現(xiàn)更具有現(xiàn)實感的透過影像。此外，在半透明化的車廂內(nèi)圖像中，作為將實際的車輛的大小、形狀垂直地投影到 路面上的影子進行顯示，由此，以判斷為外部的透過影像和實際的車輛的位置關(guān)系為清楚 的方式進行顯示。此外，將與車體的大小、形狀匹配地向在上述的視點變換的情況下的虛擬空間屏 幕即道路上投影后的影子的區(qū)域，顯示為從駕駛者視點位置觀察到的車廂內(nèi)影像RP中的 透過率為0%的“不透明部分DE”，其以外顯示為具有任意的透過率的半透明區(qū)域(“100% 透過部分CE”、“任意的透過部分GE”)。因此，在畫面上，顯示為車體的大小、形狀清楚的疊加畫面，其以外的部分成為與 攝像機影像的混合畫面。其結(jié)果是，車輛的舉動一目了然，容易判斷脫輪的可能性等。在以往的系統(tǒng)中，不僅需要外部的后部攝像機，還需要配置室內(nèi)攝像機，由于成本 上升，幾乎看不到實質(zhì)上的效果，成為冗余的系統(tǒng)。相對于此，在本提案中，關(guān)于車廂內(nèi)影像，使用從虛擬攝像機視點即駕駛者視點預 先攝影的車廂內(nèi)影像RP的圖像，由此，得到所需的充分的效果，因為能夠一目了然地掌握 車體的形狀，所以，行進方向或躲避接近的障礙物時非常容易判斷，能夠有助于安全駕駛。圖8是在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中設(shè)定為圖3所示的車廂內(nèi)影像RP中的 透過率為0%的“不透明部分DE”的區(qū)域的外周顯示邊框EL的圖像的圖。在半透明車廂內(nèi)圖像RG的表現(xiàn)中，如圖7所示，不僅利用使透過率不同這樣的混 合比率進行區(qū)別，如圖8所示，將車體的投影像設(shè)定為透過率為0%的“不透明部分DE”，在 “不透明部分DE”區(qū)域的外周顯示邊框從而進行表現(xiàn)，將其與車廂內(nèi)影像RP重疊表現(xiàn)，也能 夠得到與利用混合比率進行區(qū)別相同的效果。[半透明部分的透過率變更作用]如上所述，在疊加電路46的混合電路部46a中，將車廂內(nèi)影像RP中的將本車的 形狀垂直地投影到路面上的區(qū)域SE，設(shè)定為車廂內(nèi)圖像的透過率為0%的“不透明部分 DE”，將相當于本車的窗玻璃的區(qū)域設(shè)定為車廂內(nèi)圖像的透過率為100%的“100%透過部 分CE”，將影區(qū)域和窗玻璃區(qū)域以外的區(qū)域設(shè)定為具有任意的透過率的“任意的透過率部分 GE，，(圖 7)。這樣，不使用一樣的半透明圖像，而使用100%與100 0%的能夠混合的半透明 區(qū)域和具有多等級透明度的圖像的混合合成，由此，能夠?qū)囊粯拥漠嬅娈a(chǎn)生的各種誤解 或目視的錯誤進行改善。但是，關(guān)于“任意的透明部分GE”，在使用了預先確定的單一的被固定的透過率的 情況下，用戶不能夠任意地改變透過率，使用方便程度變差，此外，即便環(huán)境變化，也是透過 率一樣的畫面，由此，存在產(chǎn)生目視性降低的情況。
12
相對于此，在實施例1中，能夠通過手動操作或者自動地對“任意的透過部分GE” 的透過率進行調(diào)整。S卩，若利用針對混合比率手動控制界面4的手動操作，對混合外部控制部48輸入 了透過率調(diào)整信號，則經(jīng)過控制電路45，根據(jù)來自控制電路45的透過率設(shè)定指令，混合電 路部46a在0 % 100 %的范圍內(nèi)任意地對在車廂內(nèi)圖像中設(shè)定的“任意的透過部分GE”的 透過率進行調(diào)整。此外，當預先使功能開關(guān)54接通時，基于由外部傳感器5得到的外部環(huán)境信息 (白天、傍晚、夜間、天氣等)或車輛信息(舵角、車速等)，混合電路部46a自動地對在車廂 內(nèi)圖像中設(shè)定的“任意的透過部分GE”的透過率進行調(diào)整，以提高在監(jiān)視器3上顯示的合成 圖像的目視性。因此，通過手動控制，使混合比率可變，由此，成為能夠自由地對“任意的透過部分 GE”的透過率進行設(shè)定、更新的系統(tǒng)，使用非常方便。此外，成為當預先將功能開關(guān)54接通時不需要進行用戶操作就能夠自動地對“任 意的透過部分GE”的透過率進行調(diào)整的系統(tǒng)，能夠維持在監(jiān)視器3上顯示的合成圖像的較 高的目視性。[合成圖像的亮度控制作用]對于來自照明開關(guān)53的接通信號來說，在如夜間、傍晚以及惡劣天氣時那樣外部 視野不清楚時進行檢測。因此，在照明燈點亮時，監(jiān)視器3的顯示畫面3a的整體亮度降低，在通常的疊加畫 面中，車廂內(nèi)圖像融入到黑暗中。此外，駕駛者的視力也產(chǎn)生暗反應(yīng)，需要降低畫面整體的亮度。在該系統(tǒng)中，將功能開關(guān)54接通，當照明燈的點亮條件和亮度檢測值比設(shè)定值Y 低這樣的低亮度條件同時成立時，在圖2的流程圖中，以步驟Sl —步驟S2 —步驟S3 —步 驟S4的順序前進，在步驟S4中，使合成圖像的亮度反轉(zhuǎn)，并且，用白線顯示黑線。并且，當亮度檢測值變?yōu)樵O(shè)定值Y以上時，在圖2的流程圖中，以步驟Sl —步驟 S2 —步驟S3 —步驟S5的順序前進，在步驟S5中，合成圖像的亮度返回到通常狀態(tài)。S卩，在控制電路45中，基于來自攝像機影像的亮度判定傳感器49的信息，自動向 最優(yōu)的畫面亮度進行校正，但是，此時，基于來自照明開關(guān)53的接通信號和預先確定的亮 度信號的設(shè)定值Y，利用疊加得到的車廂內(nèi)影像也進行亮度反轉(zhuǎn)，將此前用黑線表現(xiàn)的部分 用白線來表現(xiàn)，對反轉(zhuǎn)影像進行重疊。這樣，對反轉(zhuǎn)影像進行顯示，由此，利用疊加得到的監(jiān)視器3的顯示畫面成為接近 空白的線描畫的影像，即便在較暗的外部攝像機影像中，也能夠直觀地掌握車輛感覺。然后，對效果進行說明。在實施例1的側(cè)視監(jiān)視器系統(tǒng)Al中，能夠得到如下列舉的效果。(1)車輛周邊圖像顯示系統(tǒng)(側(cè)視監(jiān)視器系統(tǒng)Al)具有車載外部攝像機(側(cè)面 攝像機1)，安裝在本車上，對車輛周邊進行攝像；監(jiān)視器3，設(shè)置在駕駛者能夠目視的車廂 內(nèi)位置；監(jiān)視器影像生成單元(圖像處理控制單元2)，基于從所述車載外部攝像機輸入的 實際攝像機影像，生成送給所述監(jiān)視器3的顯示影像，其特征在于，所述監(jiān)視器影像生成單 元具有圖像處理部43，對從車載外部攝像機輸入的實際攝像機影像進行視點轉(zhuǎn)換，成為
13從駕駛者的視點位置觀察到的虛擬的攝像機圖像；圖像存儲部(圖像存儲器44)，將從駕駛 者的視點預先攝影的車廂內(nèi)影像作為車廂內(nèi)圖像預先存儲；圖像合成電路(疊加電路46)， 通過使來自所述圖像存儲部的車廂內(nèi)圖像半透明化，從而做成半透明車廂內(nèi)圖像，利用將 所述半透明車廂內(nèi)圖像重疊到來自所述圖像處理部的虛擬攝像機圖像上的圖像合成，生成 使半透明車廂內(nèi)圖像透過而表現(xiàn)虛擬攝像機圖像的合成圖像。因此，作成僅使用車載外部攝像機的低價的系統(tǒng)，并且，能夠無視差且直觀地掌握 駕駛者的死角部分，并且，能夠根據(jù)與本車的位置關(guān)系明確地目視從駕駛者來看成為死角 的外部狀況。(2)所述圖像合成電路(疊加電路46)將從駕駛者的視點預先攝影的車廂內(nèi)影像 的整個區(qū)域中的將本車的大小、形狀垂直地投影到路面上的區(qū)域顯示為影子。因此，能夠明確地掌握在成為駕駛者的死角的外部所存在的障礙物等與表示本車 的影子的位置關(guān)系、距離關(guān)系、位置或距離的變化，其結(jié)果是，能夠以更高的安全性進行慢 行駕駛或停車駕駛。(3)所述圖像合成電路(疊加電路46)具有混合電路部46a，將車廂內(nèi)影像中的將 本車投影到路面上的所述影子的區(qū)域SE設(shè)定為車廂內(nèi)圖像RP的透過率為0%的“不透明 部分DE”，將相當于本車的窗玻璃的區(qū)域設(shè)定為車廂內(nèi)圖像的透過率為100%的透明部分 (“100%透過部分CE”)，將影區(qū)域和窗玻璃區(qū)域以外的區(qū)域設(shè)定為具有任意的透過率的半 透明部分(“任意的透過部分GE”)。因此，在監(jiān)視器3上顯示為車體的大小、形狀清楚的疊加畫面，例如，能夠?qū)υ诔?為一樣的半透明畫面的情況下產(chǎn)生的各種誤解或目視的錯誤進行改善，其結(jié)果是，車輛的 舉動一目了然，容易判斷避免脫輪等。(4)所述混合電路部46a在車廂內(nèi)圖像的透過率為0%的“不透明部分DE”的外周 顯示設(shè)定邊框EL。因此，利用不使透過率的混合比率不同的簡單的方法，能夠明確地掌握在成為駕 駛者的死角的外部所存在的障礙物等與表示本車的影子的位置關(guān)系、距離關(guān)系、位置或距 離的變化。(5)所述混合電路部46a具有能夠通過手動操作任意地對在車廂內(nèi)圖像中設(shè)定的 半透明部分(“任意的透過部分CE”)的透過率進行調(diào)整的混合比率手動調(diào)整單元(混合 比率手動控制界面4、混合外部控制部48、控制電路45)。因此，能夠做成使用方便的系統(tǒng)，能夠根據(jù)用戶的喜好或監(jiān)視器3的顯示圖像的 目視性，利用手動操作對半透明部分的透過率進行調(diào)整。(6)所述混合電路部46a具有混合比率傳感器連動調(diào)整單元(控制電路45)，基于 由外部傳感器5得到的外部環(huán)境信息或車輛信息自動地對在車廂內(nèi)圖像中設(shè)定的半透明 部分(“任意的透過部分GE”)的透過率進行調(diào)整，以提高在所述監(jiān)視器3上顯示的合成圖 像的目視性。因此，能夠做成如下系統(tǒng)不需要用戶操作，而利用自動執(zhí)行的調(diào)整動作，就能夠 維持在監(jiān)視器3上顯示的合成圖像的較高的目視性。(7)還具有合成圖像亮度控制部(圖2)，設(shè)置對車廂內(nèi)的照明燈的點亮/熄滅進 行檢測的點亮狀態(tài)檢測單元(照明開關(guān)53)、對從所述車載外部攝像機輸入的實際攝像機影像的亮度進行檢測的亮度檢測單元(亮度判定傳感器49)，所述圖像合成電路(疊加電 路46)在照明燈的點亮條件和亮度檢測值比設(shè)定值Y低這樣的低亮度條件同時成立時，使 合成圖像的亮度反轉(zhuǎn)，并且，用白線顯示黑線。因此，在如夜間、傍晚以及惡劣天氣時那樣外部視野不清楚時，即便在較暗的外部 攝像機影像中，也能夠直觀地掌握車輛感覺。(8)所述車載外部攝像機是在將成為駕駛者的死角的車輛的前側(cè)方部分顯示在車 廂內(nèi)的監(jiān)視器3上的側(cè)視監(jiān)視器系統(tǒng)Al中所使用的側(cè)面攝像機1。因此，能夠一眼判別在避免車輪落入側(cè)溝或躲避障礙物時所需的車輛感覺，能夠 進行直觀掌握，能夠增大有助于安全駕駛的貢獻度。實施例2實施例2是如下的后視監(jiān)視器系統(tǒng)的例子作為車載外部攝像機，使用在車輛后 部位置配置的用于消除死角的后部攝像機，將成為駕駛者的死角的車輛的后方部分顯示在 車廂內(nèi)的監(jiān)視器上。首先，對結(jié)構(gòu)進行說明。圖9是示出實施例2的后視監(jiān)視器系統(tǒng)A2(車輛周邊圖像顯示系統(tǒng)的一例)的整 體系統(tǒng)框圖。如圖9所示，實施例2的后視監(jiān)視器系統(tǒng)A2具有后部攝像機21 (車載外部攝像 機)、圖像處理控制單元2 (監(jiān)視器影像生成單元)、監(jiān)視器3、混合比率手動控制界面4、外 部傳感器5。 如圖9所示，所述圖像處理控制單元2具有譯碼器41、圖像存儲器42、圖像處理部 43、圖像存儲器44 (圖像存儲部)、控制電路(CPU) 45、疊加電路46 (圖像合成電路)、編碼器 47、混合外部控制部48、亮度判定傳感器49 (亮度檢測單元)。如圖9所示，所述外部傳感器5具有舵角傳感器51、速度傳感器52、照明開關(guān) 53 (點亮狀態(tài)檢測單元)、功能開關(guān)54、其他傳感器、開關(guān)等。對于所述后部攝像機21來說，在乘用車的情況下配置在牌照的后備箱蓋的內(nèi)側(cè) 附近、或者在RV車這樣大型車的情況下配置在后部窗的上端附近，從而進行安裝，對成為 駕駛者的死角的車輛的后方部分進行攝像。該后部攝像機21利用攝像元件(CXD、CMOS等)取得車輛的后方部分的實際攝像 機影像數(shù)據(jù)。在現(xiàn)有的后視監(jiān)視器系統(tǒng)中，以映入緩沖器附近的方式設(shè)置攝像機，得知對該映 入的緩沖器或車輛軌跡線進行顯示的情況，得到車輛感覺。在實施例2的情況下，與在實施例1中敘述的側(cè)視監(jiān)視器系統(tǒng)相同地，對從駕駛者 的視點朝向車廂內(nèi)后方預先攝影的車廂內(nèi)圖像進行疊加，從而直觀地得到車輛感覺。并且，其他結(jié)構(gòu)與實施例1的圖1相同，所以，對相對應(yīng)的結(jié)構(gòu)標注相同的附圖標 記，并省略說明。然后，對作用進行說明。圖10是表示在實施例2的后視監(jiān)視器系統(tǒng)A2中對車輛后方的車廂內(nèi)影像RP組 合了“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖像RG 的圖。
實施例2的后視監(jiān)視器系統(tǒng)A2成為將使用了側(cè)面監(jiān)視器1的實施例1的側(cè)視監(jiān) 視器系統(tǒng)Al的側(cè)面攝像機1置換成后部攝像機21的結(jié)構(gòu)。與所述的側(cè)面攝像機1的情況相同地，對來自側(cè)面攝像機21的實際攝像機影像進 行數(shù)字變換，視點變換成來自駕駛者視點的虛擬攝像機圖像。對于該虛擬攝像機圖像，本次對于車輛后方進行圖4的車體投影圖像化，使車體 的投影圖的區(qū)域適應(yīng)于與后部攝像機21的虛擬攝像機影像進行疊加的車廂內(nèi)影像。在對來自駕駛者視點的車廂內(nèi)影像進行疊加時，如圖10所示，與車輛的垂直投影 得到的影SE相當?shù)男本€部分為透過率0%的“不透明部分DE”，同樣地，窗玻璃部分為透過 率100%的“100%透過部分CE”。并且，其他區(qū)域設(shè)定為以用戶能夠任意確定的透過率進行α混合的半透明的“任 意的透過部分GE ”。因此，在該后視監(jiān)視器系統(tǒng)Α2中表現(xiàn)的影像能夠明顯地表現(xiàn)為宛如透過后方的 車體進行觀察。并且，其他作用與實施例1相同，所以，省略說明。然后，對效果進行說明。在實施例2的后視監(jiān)視器系統(tǒng)Α2中，除了實施例1的(1) (7)的效果之外，能 夠得到如下的效果。(9)所述車載外部攝像機是將成為駕駛者的死角的車輛的后方部分顯示在車廂內(nèi) 的監(jiān)視器3上的后視監(jiān)視器系統(tǒng)Α2中所使用的后部攝像機21。因此，例如，能夠直觀地掌握停車中的后退行走時所需要的車輛停止線、車輛停止 邊緣石、墻等與本車的位置感覺或距離感覺、或者行駛時接近的后續(xù)車輛與本車的位置感 覺或距離感覺，提高有助于迅速停車或安全行駛的貢獻度。實施例3實施例3是如下的例子，作為車載外部攝像機，使用配置在車輛前部位置的用于 消除死角的前部攝像機，將成為駕駛者的死角的車輛的前方部分顯示在車廂內(nèi)的監(jiān)視器 上。首先，對結(jié)構(gòu)進行說明。圖11是示出實施例3的前視監(jiān)視器系統(tǒng)A3 (車輛周邊圖像顯示系統(tǒng)的一例)的 整體系統(tǒng)框圖。如圖11所示，實施例3的前視監(jiān)視器系統(tǒng)A3具有左前部攝像機31L(車載外部攝 像機)、右前部攝像機31R(車載外部攝像機)、中央前部攝像機31C (車載外部攝像機)、圖 像處理控制單元2(監(jiān)視器影像生成單元)、監(jiān)視器3、混合比率手動控制界面4、外部傳感器 5。如圖11所示，所述圖像處理控制單元2具有左譯碼器41L、右譯碼器41R、中央譯 碼器41C、左圖像存儲器42L、右圖像存儲器42R、中央圖像存儲器42C、圖像處理部43、圖像 存儲器44 (圖像存儲部)、控制電路(CPU) 45、疊加電路46 (圖像合成電路)、編碼器47、混 合外部控制部48、亮度判定傳感器49 (亮度檢測單元)。如圖11所示，所述外部傳感器5具有舵角傳感器51、速度傳感器52、照明開關(guān) 53 (點亮狀態(tài)檢測單元)、功能開關(guān)54、轉(zhuǎn)向燈開關(guān)55、其他的傳感器、開關(guān)等。
在前視監(jiān)視器系統(tǒng)的情況下，在現(xiàn)狀中，配置多個攝像機的情況下很多，也存在由 左右以及中央這三個攝像機構(gòu)成的情況。因此，在實施例3的前視監(jiān)視器系統(tǒng)A3的情況下，舉出使用左前部攝像機31L、右 前部攝像機31R、中央前部攝像機31C這三個攝像機的情況為例。所述各前部攝像機31L、31R、31C的影像與實施例1的側(cè)面攝像機1相同地，在數(shù) 字化并且實施了視點變換的圖像處理之后，對采取了車輛形狀的垂直投影像的車廂內(nèi)影像 即疊加畫面進行重疊，得到合成影像。在實施例3中，利用三個前部攝像機31L、31R、31C將影像區(qū)域分割為三部分，與此 相伴，與慢行或停止后向左右的任意一方切換方向盤從而變更行駛方向時輸出開關(guān)信號的 轉(zhuǎn)向燈開關(guān)55連動，自動地對被分割為三部分的影像區(qū)域的“任意的透過部分GE”的透過 率進行調(diào)整。圖12是示出實施例3的前視監(jiān)視器系統(tǒng)A3中的控制電路45執(zhí)行的混合比率傳 感器連動控制處理的流程的流程圖，以下，對各步驟進行說明(混合比率傳感器連動調(diào)整 單元的一例)。此處，假定如下情況用戶任意設(shè)定地對左右的混合比進行變更，將當前的透過率 Trl設(shè)定為例如30%這樣的值。在步驟S21中，判斷功能開關(guān)54是否接通，在“是”的情況下，轉(zhuǎn)移到步驟S22，在 “否”的情況下，重復步驟S21。在步驟S22中，接著在步驟S21中的功能開關(guān)54為接通的判斷，判斷是否是來自 轉(zhuǎn)向燈開關(guān)55的接通信號輸出時(轉(zhuǎn)向燈的閃爍動作中)，在“是”的情況下，轉(zhuǎn)移到步驟 S23，在“否”的情況下，返回步驟S21。在步驟S23中，接著在步驟S22中的從轉(zhuǎn)向燈開關(guān)55輸出接通信號的判斷，判斷 來自轉(zhuǎn)向燈開關(guān)55的信號是否是向右的行駛方向變更信號，在“是(轉(zhuǎn)向燈為右)”的情況 下轉(zhuǎn)移到步驟S24，在“否(轉(zhuǎn)向燈為左)，，的情況下轉(zhuǎn)移到步驟S26。在步驟S24中，接著在步驟S23中的轉(zhuǎn)向燈為右的判斷，判斷當前的透過率Trl是 否小于設(shè)定值TrO，在“是(Trl < TrO) ”的情況下，轉(zhuǎn)移到步驟S25，在“否(Trl ^ TrO) ”的 情況下，轉(zhuǎn)移到步驟S28。此處，設(shè)定值TrO是用于確保向線路變更方向即向右的視野的透過率閾值。在步驟S25中，接著在步驟S24中的是Trl < TrO的判斷，強制地將右側(cè)的前部攝 像機影像區(qū)域的透過率從當前的透過率Trl變更為透過率T (例如TrO)，返回步驟S21。在步驟S26中，接著在步驟S23中的轉(zhuǎn)向燈為左的判斷，判斷當前的透過率Trl是 否比設(shè)定值TrO小，在“是(Trl < TrO)，，的情況下，轉(zhuǎn)移到步驟S27，在“否(Trl彡TrO)，， 的情況下，轉(zhuǎn)移到步驟S28。此處，設(shè)定值是TrO是用于確保向線路變更方向即向左的視野的透過率閾值。在步驟S27中，接著在步驟S26中的Trl < TrO的判斷，將左側(cè)的前部攝像機影像 區(qū)域的透過率強制地從當前的透過率Trl變更為透過率T (例如TrO)，返回步驟S21。在步驟S28中，接著步驟S24或者步驟S26中的Trl > TrO判斷，不變更當前的透 過率Trl，將其原樣維持，返回步驟S21。并且，其他結(jié)構(gòu)與實施例1的圖1相同，所以，對相對應(yīng)的結(jié)構(gòu)標注相同的附圖標
17記，省略說明。然后，對作用進行說明。圖13是表示從駕駛者的視點位置朝向前方預先攝影的車廂內(nèi)影像的圖。圖14是表示從駕駛者視點位置透過地對從搭載了實施例3的前視監(jiān)視器系統(tǒng)A3 的車輛相對于路面垂直地投影了車體形狀的像進行觀察的情況下的影像(不透明部分)的 圖。圖15是表示在實施例3的前視監(jiān)視器系統(tǒng)A3中組合了左、右、中央的前部攝像機 影像的分割區(qū)域和圖14的“不透明部分DE”的合成圖像的圖。圖16是在實施例3的前視監(jiān)視器系統(tǒng)A3中對圖13所示的車廂內(nèi)影像RP組合了 “不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”的半透明車廂內(nèi)圖像RG的圖。相對于從駕駛者的視點位置朝向前方預先攝影的圖13所示的車廂內(nèi)影像RPjn 圖14所示，將與路面垂直地投影了車體形狀的區(qū)域設(shè)為透過率為0%的“不透明部分DE”。并且，在從車廂內(nèi)影像RP中除了“不透明部分DE”的區(qū)域，顯示180度以上的寬角
畫面影像。在使該180度以上的寬角畫面影像為來自駕駛者視點的視點變換圖像的情況下， 如圖15所示，構(gòu)成將在中央?yún)^(qū)域為來自中央前部攝像機31C的攝像機影像、在左區(qū)域為來 自左側(cè)前部攝像機31L的攝像機影像、在右區(qū)域為來自右側(cè)前部攝像機31R的攝像機影像 合成而成的畫面。S卩，對于使用了攝像機的影像來說，因為是以確保視野為目的的結(jié)構(gòu)，所以，在一 個畫面中顯示左、右、中央的前部攝像機31L、31R、31C的攝像機圖像的情況較多。在該情況下，通常將這些各個攝像機影像合成，顯示180度以上的寬角畫面影像。對圖15所示的影像疊加圖13以及圖14的圖像，并且，圖13的車廂內(nèi)影像RP的 混合比率被區(qū)別為“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE”，其結(jié)果 是，如圖16所示，能夠向駕駛者提供透過車廂內(nèi)觀察車輛前方側(cè)的外部這樣的影像。因此，在實施例3的前視監(jiān)視器系統(tǒng)A3的情況下，也與先前敘述的側(cè)視監(jiān)視器系 統(tǒng)Al或后視監(jiān)視器系統(tǒng)A2的影像相同地，能夠提供死角被消除并且被稱作車輛感覺的車 輛的形狀、大小一目了然且在避免突發(fā)的可能性時直觀地容易掌握的影像。[轉(zhuǎn)向燈連動的透過率自動調(diào)整作用]在轉(zhuǎn)向燈開關(guān)55進行反應(yīng)的情況下，進行切換方向盤的動作、即在慢行、停止后 向左右任意一方變更行駛方向。
0259]在該情況下，與中央部的視野相比，來自左右的接近車輛的信息是重要的。對此，在實施例3中，對右側(cè)的轉(zhuǎn)向燈進行檢測，并且，在當前的透過率Trl小于設(shè) 定值TrO的情況下，在圖12的流程圖中，以步驟S21 —步驟S22 —步驟S23 —步驟S24 — 步驟S25的順序前進。并且，在步驟S25中，與畫面的中央?yún)^(qū)域相比，右區(qū)域的視野是重要的，所以，為了 確保視野，系統(tǒng)自動地進行將透過率提高的α混合動作。此外，對左側(cè)的轉(zhuǎn)向燈進行檢測，并且，在當前的透過率Trl比設(shè)定值TrO小的情 況下，在圖12的流程圖中，以步驟S21 —步驟S22 —步驟S23 —步驟S26 —步驟S27的順序前進。并且，在步驟S27中，與畫面的中央?yún)^(qū)域相比，左區(qū)域的視野是重要的，所以，為了 確保視野，系統(tǒng)自動地進行將透過率提高的α混合動作。因此，在向右進行行駛方向變更的情況下，更鮮明地確保右側(cè)的視野，在向左進行 行駛方向變更的情況下，更鮮明地確保左側(cè)的視野。其結(jié)果是，能夠正確地掌握來自進行行駛方向變更的一側(cè)的接近車輛的信息。此處，在所述動作中，判別轉(zhuǎn)向燈的左右，僅對其一個進行加權(quán)，變更透過率也可 以。并且，其他作用與實施例1相同，所以，省略說明。然后，對效果進行說明。在實施例3的前視監(jiān)視器系統(tǒng)A3中，除了實施例1的(1) (7)的效果，能夠得 到如下的效果。(10)所述車載外部攝像機是將成為駕駛者的死角的車輛的前方部分顯示在車廂 內(nèi)的監(jiān)視器3上的前視監(jiān)視器系統(tǒng)A3中所使用的左、右、中央各前部攝像機31L、31R、31C。因此，例如，能夠直觀地掌握停止或從慢行開始直線前進或轉(zhuǎn)彎前進時所需要的 本車與車輛前方的障礙物等的位置感覺或距離感覺、或者本車與正在接近的車輛的位置感 覺或距離感覺，能夠提高有助于安全駕駛的貢獻度。以上，基于實施例1 實施例3對本發(fā)明的車輛周邊圖像顯示系統(tǒng)進行了說明，但 是，關(guān)于具體的結(jié)構(gòu)，并不限于這些實施例，只要不脫離技術(shù)方案中的本發(fā)明的宗旨，允許 設(shè)計的變更或追加等。在實施例1 3中，作為與虛擬攝像機影像重疊的半透明出室內(nèi)圖像，示出將預先 準備的車廂內(nèi)影像RP區(qū)別為“不透明部分DE”、“100%透過部分CE”、“任意的透過部分GE” 的例子，此外，也示出了在“不透明部分DE”中顯示邊緣的例子。但是，代替“不透明部分DE”，也可以是全面涂敷的“影部分”的例子。此外，也可以作為將預先準備的車廂內(nèi)影像RP區(qū)別為“不透明部分DE”或者“影 部分”、“任意的透過部分GE”的例子。并且，也可以作為將預先準備的車廂內(nèi)影像RP區(qū)別為“不透明部分DE”或者“影 部分”、“使透過率漸變狀地變化的透過部分”的例子。產(chǎn)業(yè)上的可利用性在實施例1中，作為車輛周邊圖像顯示系統(tǒng)，示出了使用側(cè)面攝像機的側(cè)視監(jiān)視 器系統(tǒng)Al的例子。在實施例2中，作為車輛周邊圖像顯示系統(tǒng)，示出了使用后部攝像機的后視監(jiān)視 器系統(tǒng)A2的例子。在實施例3中，作為車輛周邊圖像顯示系統(tǒng)，示出了使用前部攝像機的前視監(jiān)視 器系統(tǒng)A3的例子。但是，作為車輛周邊圖像顯示系統(tǒng)，也能夠應(yīng)用于共用監(jiān)視器并且能夠選擇側(cè)視、 后視、前視等中的任意一種的監(jiān)視器系統(tǒng)、或者以預定的條件自動地進行切換的監(jiān)視器系 統(tǒng)。
權(quán)利要求
一種車輛周邊圖像顯示系統(tǒng)，具有車載外部攝像機，安裝在本車上，對車輛周邊進行攝像；監(jiān)視器，設(shè)定在駕駛者能夠目視的車廂內(nèi)位置；監(jiān)視器影像生成單元，基于從所述車載外部攝像機輸入的實際攝像機影像，生成送給所述監(jiān)視器的顯示影像，其特征在于，所述監(jiān)視器影像生成單元具有圖像處理部，對從所述車載外部攝像機輸入的實際攝像機影像進行視點變換，成為從駕駛者的視點位置觀察的虛擬攝像機圖像；圖像存儲部，將從駕駛者的視點預先攝影的車廂內(nèi)影像作為車廂內(nèi)圖像預先進行存儲；圖像合成電路，對來自所述圖像存儲部的車廂內(nèi)圖像進行半透明化處理而成為半透明車廂內(nèi)圖像，并利用將所述半透明車廂內(nèi)圖像重疊到來自所述圖像處理部的虛擬攝像機圖像的圖像合成，生成透過半透明車廂內(nèi)圖像而表現(xiàn)虛擬攝像機圖像的合成圖像。
2.如權(quán)利要求1所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述圖像合成電路將從駕駛者的視點預先攝影的車廂內(nèi)影像的全部區(qū)域中的將本車 的大小、形狀垂直地投影在路面上的區(qū)域顯示為影子。
3.如權(quán)利要求2所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述圖像合成電路具有混合電路部，該混合電路部將車廂內(nèi)影像中的將本車投影到路 面上的所述影子的區(qū)域設(shè)定為車廂內(nèi)圖像的透過率為0%的不透明部分，將與本車的窗玻 璃相當?shù)膮^(qū)域設(shè)定為車廂內(nèi)圖像的透過率為100%的透明部分，將除影區(qū)域和窗玻璃區(qū)域 以外的區(qū)域設(shè)定為具有任意的透過率的半透明部分。
4.如權(quán)利要求3所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述混合電路部在車廂內(nèi)圖像的透過率為0%的不透明部分的外周顯示設(shè)定邊框。
5.如權(quán)利要求3或權(quán)利要求4所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述混合電路部具有混合比率手動調(diào)整單元，所述混合比率手動調(diào)整單元能夠通過手 動操作任意地對設(shè)定在車廂內(nèi)圖像中的半透明部分的透過率進行調(diào)整。
6.如權(quán)利要求3或者權(quán)利要求4所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述混合電路部具有混合比率傳感器連動調(diào)整單元，所述混合比率傳感器連動調(diào)整單 元基于由外部傳感器得到的外部環(huán)境信息或車輛信息，自動地對設(shè)定在車廂內(nèi)圖像中的半 透明部分的透過率進行調(diào)整，以提高在所述監(jiān)視器上顯示的合成圖像的目視性。
7.如權(quán)利要求1 6的任意一項所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，設(shè)置對車廂內(nèi)的照明燈的點亮/熄滅進行檢測的點亮狀態(tài)檢測單元和對從所述車載 外部攝像機輸入的實際攝像機影像的亮度進行檢測的亮度檢測單元，所述圖像合成電路具有合成圖像亮度控制部，所述合成圖像亮度控制部當照明燈的點 亮條件和亮度檢測值比設(shè)定值低的低亮度條件同時成立時，使合成圖像的亮度反轉(zhuǎn)，并且 用白線顯示黑線。
8.如權(quán)利要求1 7的任意一項所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述車載外部攝像機是在側(cè)視監(jiān)視器系統(tǒng)中所使用的側(cè)面攝像機，所述側(cè)視監(jiān)視器系 統(tǒng)將成為駕駛者的死角的車輛的前側(cè)方部分顯示在車廂內(nèi)的監(jiān)視器上。
9.如權(quán)利要求1 7的任意一項所述的車輛周邊圖像顯示系統(tǒng)，其特征在于，所述車載外部攝像機是在后視監(jiān)視器系統(tǒng)中所使用的后部攝像機，所述后視監(jiān)視器系統(tǒng)將成為駕駛者的死角的車輛的后方部分顯示在車廂內(nèi)的監(jiān)視器上。
10.如權(quán)利要求1 7的任意一項所述的車輛周邊圖像顯示系統(tǒng)，其特征在于， 所述車載外部攝像機是在前視監(jiān)視器系統(tǒng)中所使用的單獨或者多個前部攝像機，所述 前視監(jiān)視器系統(tǒng)將成為駕駛者的死角的車輛的前方部分顯示在車廂內(nèi)的監(jiān)視器上。
全文摘要
文檔編號H04N7/18GK101953163SQ200980102750
公開日2011年1月19日 申請日期2009年2月19日 優(yōu)先權(quán)日2008年2月20日
發(fā)明者Satoh Noriyuki 申請人:Clarion Co Ltd