圖像。
[0052]本實(shí)施方式的顯示單元30，能夠在將半透半反鏡31與顯示裝置10組合的各種模式下使用。例如，存在這樣的模式:在顯示裝置10上以較高亮度顯示圖像，使半透半反鏡31成為全透射狀態(tài)，不將半透半反鏡31作為后視鏡來使用(全透射模式)。此外，存在這樣的模式:在顯示裝置10上不顯示圖像，將半透半反鏡31作為后視鏡來使用(全反射模式、后視鏡模式)。此外，存在這樣的模式:使半透半反鏡31反射光，并且顯示出顯示裝置10的圖像(半透射模式)。此外，在半透射模式中，能夠局部地(例如，僅與窗框Ia內(nèi)對應(yīng)的區(qū)域)提高圖像的亮度(局部強(qiáng)調(diào)模式)。下面除非另外說明，否則都是對全透射模式下的計(jì)算處理的說明。
[0053]在全透射模式中，作為一個(gè)例子，如圖4所示，在顯示裝置10上顯示的圖像(輸出圖像Im)中包括:車內(nèi)圖像Imi (除了含有柱或車門、座位、內(nèi)飾、車頂?shù)戎猓€含有乘坐者、行李、物品等的車內(nèi)的圖像)，表示車內(nèi)的情況；車外圖像Imo，表示與車窗Ic(窗框Ia內(nèi))對應(yīng)的部分的車外的情況(情景)。通過如圖5至8所示的設(shè)置在車內(nèi)的拍攝部121(12)來獲取車內(nèi)圖像Imi。例如，拍攝部12是內(nèi)置有CCD (charge coupled device:電荷親合器件)或CIS (CMOS image sensor:互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器)等的成像元件的數(shù)碼攝像頭。拍攝部12能夠以規(guī)定的幀頻輸出圖像數(shù)據(jù)(動(dòng)畫數(shù)據(jù)、幀數(shù)據(jù))。此外，作為一個(gè)例子，在本實(shí)施方式中，為了能夠在顯示裝置10上針對車內(nèi)的比較廣的范圍內(nèi)的各位置來顯示車內(nèi)圖像Imi，通過車內(nèi)的拍攝部121 (12)拍攝車內(nèi)的比較廣的范圍。車內(nèi)的拍攝部121 (12)既可以是一個(gè)，也可以是多個(gè)。作為一個(gè)例子，車內(nèi)的拍攝部121(12)設(shè)置在車內(nèi)的前部，能夠設(shè)置在顯示裝置10的附近，或者與顯示裝置10—體地設(shè)置。并且，在車內(nèi)設(shè)置有多個(gè)拍攝部12的情況下，ECUlU控制部)對由這些多個(gè)拍攝部12獲取的圖像進(jìn)行合成。
[0054]通過車外的多個(gè)拍攝部12獲取車外圖像Imo。E⑶11通過公知的技術(shù)對由這些多個(gè)拍攝部12獲取的圖像進(jìn)行合成，取得一系列車外圖像Imo (全景圖像，參照圖12)。作為一個(gè)例子，在本實(shí)施方式中，為了能夠在顯示裝置10上針對比較廣的范圍內(nèi)的各位置顯示車外圖像Imo，通過車外的多個(gè)拍攝部12拍攝車輛I后方的比較廣的范圍。在圖5、6的例子中，車外的拍攝部12分別設(shè)置在車輛1(車體)的兩側(cè)部(作為一個(gè)例子，左右的車門后視鏡)，并且設(shè)置在車輛I的后端部lb。此外，在圖7、8的例子中，車外的拍攝部12分別設(shè)置在車輛I的后端部Ib的兩側(cè)部(作為一個(gè)例子，車輛I的后方側(cè)的角部的較上方)，并且設(shè)置在車輛I的后端部lb。此外，能夠使拍攝部12的各自的拍攝范圍在上下方向上不同。
[0055]此外，作為一個(gè)例子，在本實(shí)施方式中，E⑶11將車內(nèi)圖像Imi與車外圖像Imo重疊(合成)，能夠透過車內(nèi)的結(jié)構(gòu)(柱或車門、座位、內(nèi)飾、車頂、乘坐者、行李、物品等)而看見車外情況的合成圖像Ims (參照圖10、圖11)。此外，如圖9至11所示，E⑶11能夠生成透射度α (比率)不同的合成圖像Ims。圖9中示出了(α = 0)的合成圖像Ims (=車內(nèi)圖像Imi)，圖10中示出了(0〈α〈I)的合成圖像Ims，圖11中示出了( α = I)的合成圖像Ims (=車外圖像Imo)。在比較簡單的例子中，針對在將車內(nèi)圖像Imi與車外圖像Imo互相對位后的狀態(tài)下的各點(diǎn)，在車內(nèi)圖像Imi的亮度為xl，車外圖像Imo的亮度為χ2，透射度為α (OS α SI)的情況下，在所述各點(diǎn)重疊后獲得的合成圖像Ims的亮度X能夠以如下數(shù)式表示，即X = (1- a ) Xxl+ α Χχ2。并且，根據(jù)圖9至11明顯可知，對除了車窗Ic以外的區(qū)域(存在有車內(nèi)結(jié)構(gòu)或物體等的區(qū)域)執(zhí)行這樣的圖像合成，而對車窗Ic對應(yīng)的區(qū)域(不存在車內(nèi)結(jié)構(gòu)或物體等，通過車窗Ic能夠看見車外情況的區(qū)域)則不執(zhí)行這樣的圖像合成(僅車外圖像Imo成為輸出圖像Im)。在車外圖像Imo中，雖然在車窗Ic的內(nèi)側(cè)與外側(cè)都具有連續(xù)形狀，但是有時(shí)會(huì)出現(xiàn)在車窗Ic的內(nèi)側(cè)與外側(cè)車外圖像Imo的亮度不同的情況。并且，能夠?qū)⑼干涠圈猎O(shè)定為任意的值。
[0056]進(jìn)而，作為一個(gè)例子，在本實(shí)施方式中，ECUll能夠變更車內(nèi)圖像Imi及車外圖像Imo中的顯示范圍Ad。作為一個(gè)例子，如圖12所示，E⑶11能夠根據(jù)從拍攝部12獲取的比較廣的范圍的車外圖像Imo，決定(移動(dòng))其顯示范圍Ad。并且，針對車內(nèi)圖像Imi也同樣地能夠變更顯示范圍。
[0057]此外，作為一個(gè)例子，在本實(shí)施方式中，ECUll能夠根據(jù)車輛I的狀況，變更透射度α、顯示范圍AcLE⑶11能夠使用各種傳感器的檢測結(jié)果，來作為變更透射度α或顯示范圍Ad的觸發(fā)信息(信號、數(shù)據(jù))。例如，具體而言，ECUll能夠根據(jù)從如圖1所示的非接觸測量裝置13或轉(zhuǎn)向角傳感器14 (前輪用)、后輪轉(zhuǎn)向系統(tǒng)15的轉(zhuǎn)向角傳感器15a、GPS16 (globalposit1ning system:全球定位系統(tǒng))、車輪速傳感器17、制動(dòng)系統(tǒng)18的制動(dòng)傳感器18a、加速傳感器19、前輪轉(zhuǎn)向系統(tǒng)20的扭矩傳感器20a、擋位傳感器21以及方向指示器22等獲取的檢測結(jié)果或信號、數(shù)據(jù)、操作輸入部24b (監(jiān)視裝置24)等的指示信號(控制信號、切換信號、操作信號、輸入信號、數(shù)據(jù))、物體檢測部119(參照圖16)的檢測結(jié)果以及通過車輛位置獲取部120 (參照圖16)獲取的車輛I的位置等，來變更透射度α或顯示范圍Ad。如圖1所示，作為一個(gè)例子，圖像顯示系統(tǒng)100所包括的電子構(gòu)件(即，非接觸測量裝置13、轉(zhuǎn)向角傳感器14、轉(zhuǎn)向角傳感器15a、GPS16、車輪速傳感器17、制動(dòng)傳感器18a、加速傳感器19、扭矩傳感器20a、擋位傳感器21、方向指示器22、操作輸入部24b等)能夠通過車內(nèi)網(wǎng)絡(luò)23 (例如CAN (control Ier area network:控制器局域網(wǎng)絡(luò)))而電連接。并且，也可以通過CAN以外的方式將各電子構(gòu)件電連接。
[0058]例如，非接觸測量裝置13(測距部、物體檢測裝置)是發(fā)射超聲波或電磁波并捕捉其反射波的聲納(聲納傳感器、超聲波探知器)或雷達(dá)等。ECUll根據(jù)非接觸測量裝置13的檢測結(jié)果，能夠測量位于車輛I周圍的物體B(障礙物，參照圖20)的有無或距離。S卩，非接觸測量裝置13是物體檢測部的一個(gè)例子。
[0059]轉(zhuǎn)向角傳感器14是檢測轉(zhuǎn)向部(作為一個(gè)例子是方向盤，未圖示)的轉(zhuǎn)向量(旋轉(zhuǎn)角度)的傳感器；作為一個(gè)例子，使用霍爾元件等來構(gòu)成。此外，轉(zhuǎn)向角傳感器15a是檢測后輪2R(參照圖6)的轉(zhuǎn)向量(旋轉(zhuǎn)角度)的傳感器，作為一個(gè)例子，使用霍爾元件等來構(gòu)成。
[0060]車輪速傳感器17是檢測車輪2 (參照圖6，前輪2F或后輪2R)的旋轉(zhuǎn)量或單位時(shí)間內(nèi)的旋轉(zhuǎn)次數(shù)的傳感器，作為一個(gè)例子，使用霍爾元件等來構(gòu)成。ECUll能夠根據(jù)從車輪速傳感器17獲取的數(shù)據(jù)計(jì)算車輛I的移動(dòng)量等。有時(shí)也將車輪速傳感器17設(shè)置在制動(dòng)系統(tǒng)18中。
[0061]制動(dòng)系統(tǒng)18是抑制制動(dòng)器抱死的ABS (ant1-lock brake system:制動(dòng)防抱死系統(tǒng))或抑制轉(zhuǎn)彎時(shí)車輛I側(cè)滑的側(cè)滑防止裝置(ESC electronic stability control:電子穩(wěn)定控制系統(tǒng))、使制動(dòng)力增強(qiáng)(執(zhí)行制動(dòng)輔助)的電動(dòng)制動(dòng)系統(tǒng)、BBW(brake by wire:線控制動(dòng))等。制動(dòng)系統(tǒng)18通過促動(dòng)器(未圖示)向車輪2(車輛I)提供制動(dòng)力。制動(dòng)傳感器18a是檢測制動(dòng)踏板的操作量的傳感器。
[0062]加速傳感器19是檢測加速踏板的操作量的傳感器。扭矩傳感器20a檢測駕駛員向轉(zhuǎn)向部提供的扭矩。作為一個(gè)例子，擋位傳感器21是檢測變速操作部的可動(dòng)部(桿或臂、按鈕等，未圖示)的位置的傳感器(開關(guān))，使用擋位傳感器等來構(gòu)成。并且，上述的各種傳感器或促動(dòng)器的結(jié)構(gòu)或配置、電連接方式等終歸只是一個(gè)例子，能夠進(jìn)行各種設(shè)定(變更)。方向指示器22輸出用于指示點(diǎn)亮(閃爍)指示方向用的燈的信號。
[0063]此外，在車內(nèi)設(shè)置有與顯示裝置10分開設(shè)置的顯示裝置24a及聲音輸出裝置24c。顯示裝置24a例如是LCD或OELD等。聲音輸出裝置24c例如是揚(yáng)聲器。進(jìn)而，顯示裝置24a被透明的操作輸入部24b(例如，觸摸面板等)覆蓋。乘坐者等能夠通過操作輸入部24b而以視覺識別在顯示裝置24a的顯示畫面上顯示的影像(圖像)。此外，乘坐者等通過在與顯示于顯示裝置24a的顯示畫面上的影像(圖像)對應(yīng)的位置上，使用手指等觸摸、按壓或移動(dòng)來對操作輸入部24b進(jìn)行操作，從而能夠執(zhí)行操作輸入(指示輸入)。而且，這些顯示裝置24a、操作輸入部24b、聲音輸出裝置24c等設(shè)置在監(jiān)視裝置24上，所述監(jiān)視裝置24位于儀表盤的車寬方向(左右方向)的中央部。監(jiān)視裝置24能夠具有開關(guān)、刻度盤、操縱桿、按鈕等的操作輸入部(未圖示)。監(jiān)視裝置24能夠兼用作導(dǎo)航系統(tǒng)或音頻系統(tǒng)。并且，能夠使監(jiān)視裝置24的顯示裝置24a顯示與顯示裝置10同樣的圖像。
[0064]作為一個(gè)例子，ECUll具有:CPU1 la (central processing unit:中央處理單元)、ROMllb (read only memory:只讀型存儲(chǔ)器)、RAMllc (random access memory:隨機(jī)存取存儲(chǔ)器)、SSDlld(solid state drive:固態(tài)驅(qū)動(dòng)器、閃存器)、顯示控制部He、聲音控制部Ilf等。CPUlla能夠執(zhí)行各種計(jì)算。CPUlla能夠讀出在ROMllb或SSDlld等的非易失性的存儲(chǔ)裝置中存儲(chǔ)的(安裝的)程序，并按照該程序執(zhí)行計(jì)算處理。RAMllc暫時(shí)存儲(chǔ)用于CPUlla計(jì)算的各種數(shù)據(jù)。此外，SSDlld是能夠擦寫的非易失性的存儲(chǔ)部，即使在切斷了 E⑶11的電源的情況下也能夠存儲(chǔ)數(shù)據(jù)。此外，顯示控制部lie在E⑶11的計(jì)算處理中，主要使用通過拍攝部12取得的圖像數(shù)據(jù)來執(zhí)行圖像處理，或執(zhí)行用于在顯示裝置10、24a上顯示的圖像數(shù)據(jù)的圖像處理(作為一個(gè)例子，如合成等)等。此外，聲音控制部Ilf在E⑶11的計(jì)算處理中，主要執(zhí)行在聲音輸出裝置24c輸出的聲音數(shù)據(jù)的處理。并且，CPUl la、ROMllb、RAMllc等能夠集成在同一封裝體內(nèi)。此外，E⑶11也可以是替代CPUlla而使用DSP(digital signal processor:數(shù)字信號處理器)等的其他邏輯運(yùn)算處理器或邏輯電路等的結(jié)構(gòu)。此外，也可以替代SSDlld而設(shè)置HDD (hard disk drive:硬盤驅(qū)動(dòng)器)，也可以將SSDlld或HDD與ECUll分開設(shè)置。
[0065]此外，作為一個(gè)例子，如上所述，在本實(shí)施方式中，通過E⑶11的圖像處理，在顯示裝置10上顯示輸出圖像Im，所述輸出圖像Im是與半透半反鏡31的映像對應(yīng)的(相似的、適合的、匹配的、對位的)。通過實(shí)際獲取了實(shí)際配置在車外或車內(nèi)的多個(gè)標(biāo)記在半透半反鏡31的映像中的位置(通過拍攝來進(jìn)行成像校準(zhǔn))、進(jìn)行幾何計(jì)算，能夠取得用于從車外圖像Imo或車內(nèi)圖像Imi (也包括多個(gè)合成的圖像)向與半透半反鏡31的映像對應(yīng)的輸出圖像Im進(jìn)行坐標(biāo)變換的函數(shù)(變換式或者變換矩陣等)或系數(shù)、常數(shù)、數(shù)據(jù)等。
[0066]進(jìn)而，作為一個(gè)例子，在本實(shí)施方式中，根據(jù)駕駛員D的視點(diǎn)Pi (眼睛的位置)或顯示單元30的角度(姿勢)，使在顯示裝置10上顯示的輸出圖像Im發(fā)生變化。如上所述，在顯示裝置10上，顯示與半透半反鏡31的映像對應(yīng)的輸出圖像Im。因?yàn)榘胪赴敕寸R31的映像根據(jù)駕駛員D的視點(diǎn)Pi (眼睛的位置)或顯示單元30的角度(姿勢)而發(fā)生變化，所以顯示裝置10的輸出圖像Im也根據(jù)半透半反鏡31的映像的變化(與變化同樣地)而發(fā)生變化。即，如圖13所示，當(dāng)視點(diǎn)Pi向左右方向(車寬方向)中的一側(cè)(作為一個(gè)例子是右側(cè))移動(dòng)時(shí)，從視點(diǎn)Pi看到的映攝在半透半反鏡31的映像中的區(qū)域V相對于視點(diǎn)Pi移動(dòng)前而(相對于移動(dòng)前的視點(diǎn)Pi)向另一側(cè)(左側(cè))移動(dòng)。因此，E⑶11控制顯示裝置10，使在顯示