受理部6受理合成圖像中基于通過選擇受理部5的操作選出的一個(gè)照相機(jī)圖 像的圖像區(qū)域與基于其他照相機(jī)圖像的圖像區(qū)域的相對位置關(guān)系的變更。更具體來講,受 理在通過選擇受理部5的操作來選出的照相機(jī)3a、3b、3c、3d的拍攝圖像中變更用于合成圖 像中的區(qū)域(以下,記為"圖像合成區(qū)域")的操作,并輸出到后述的顯示變更部13。
[0047] 顯示放大部7在顯示于顯示部4的合成圖像中的任意位置被選擇的情況下,放大 包含該位置的合成圖像的一部分并將其顯示在顯示部4。另外,關(guān)于顯示放大部7的基于選 擇的動作,將在后面使用圖8A、圖8B來進(jìn)行敘述。
[0048] 另一方面,控制部15具備圖像獲取部9、生成部10、顯示控制部11、圖像選擇部 12、顯示變更部13和固定框重疊部14。
[0049] 圖像獲取部9從搭載于車輛2的多個(gè)照相機(jī)3a、3b、3c、3d中分別獲取照相機(jī)圖 像。由圖像獲取部9獲取到的照相機(jī)圖像被輸出到生成部10。
[0050] 生成部10通過進(jìn)行圖像處理,生成從假象視點(diǎn)看車輛2時(shí)的合成圖像,并將該合 成圖像輸出到顯示控制部11,其中,所述圖像處理是從圖像獲取部9獲取到的每個(gè)照相機(jī) 3a、3b、3c、3d的各個(gè)照相機(jī)圖像中對所采用的區(qū)域所包含的圖像進(jìn)行合并的處理。顯示控 制部11將生成部10合成的合成圖像顯示于顯示部4。圖像選擇部12選擇從多個(gè)照相機(jī) 3a、3b、3c、3d之中被選擇受理部5選出的一個(gè)照相機(jī)獲取的照相機(jī)圖像。
[0051] 此外,顯示變更部13將通過變更受理部6的操作而變更的圖像合成區(qū)域所包含的 圖像輸出到生成部10。然后,生成部10在每次變更受理部6受理合成圖像中相鄰的圖像區(qū) 域彼此的相對位置關(guān)系的變更時(shí),基于被變更的位置關(guān)系來生成顯示于顯示部4的合成圖 像。也就是說,每次變更受理部6被操作時(shí),顯示變更部13都變更生成部10經(jīng)由顯示控制 部11而顯示于顯示部4的合成圖像。
[0052] 在此,使用圖3來說明基于顯示變更部13的圖像合成區(qū)域的變更。圖3是用于說 明實(shí)施方式所涉及的顯示變更部13中的圖像合成區(qū)域的變更的圖。另外,在此,為了容易 理解,在圖3中,將由搭載于車輛2的照相機(jī)3a拍攝到的照相機(jī)圖像圖示成被圖像處理為 平面形狀的圖像。
[0053] 在此,圖3所示的圖像合成區(qū)域rl是在用于合成圖像中時(shí),在圖像的連接部位產(chǎn) 生偏離的區(qū)域,圖像合成區(qū)域r2是在用于合成圖像中時(shí),在圖像的連接部位未產(chǎn)生偏離的 區(qū)域。
[0054] 因此,在圖像處理裝置1中,在合成圖像中采用圖像合成區(qū)域rl的情況下,根據(jù)變 更受理部6的操作,將用于合成圖像的區(qū)域變更為圖像合成區(qū)域r2,從而消除圖像的連接 部位處的圖像的偏離。
[0055] 另外,在此,為了容易理解,說明了在照相機(jī)圖像上二維地移動圖像合成區(qū)域的情 況,但是根據(jù)照相機(jī)3的安裝位置或角度,有時(shí)也會產(chǎn)生使圖像合成區(qū)域三維地移動的必 要性。圖4是表示通過實(shí)施方式所涉及的圖像處理裝置1來規(guī)定的三維正交坐標(biāo)系的圖。
[0056] 另外,在圖4中,圖示了包含以垂直向上作為正方向、以垂直向下作為負(fù)方向的Z 軸、和與Z軸正交并以車輛2的前進(jìn)方向作為正方向的Y軸的三維正交坐標(biāo)系。
[0057] 通過變更照相機(jī)3的旋轉(zhuǎn)角、俯仰擺角、水平擺角等,來變更由該照相機(jī)3拍攝到 的照相機(jī)圖像。此外,照相機(jī)圖像中的圖像合成區(qū)域也同樣地能夠基于照相機(jī)3的側(cè)滾角、 俯仰旋轉(zhuǎn)角、水平旋轉(zhuǎn)角等來使其變更,但難以直觀地使其變更。
[0058] 因此,在本實(shí)施方式中,準(zhǔn)備后述的圖像參數(shù)17,基于該圖像參數(shù)17來變更圖像 合成區(qū)域,從而能夠通過變更受理部6的操作來直觀地變更圖像合成區(qū)域。
[0059] 圖像參數(shù)17例如能夠通過圖4中說明的三維正交坐標(biāo)的組合來獲取。表1表示 該組合的一個(gè)例子。
[00(50]【表1】
[0061](表1)
[0062]
[0063] 參照表1可知,為了在上下方向上變更前方照相機(jī)3a拍攝到的照相機(jī)圖像、即前 方照相機(jī)圖像中的圖像合成區(qū)域,以X軸為旋轉(zhuǎn)軸來使其旋轉(zhuǎn)即可。此外,為了使前方照相 機(jī)圖像中的圖像合成區(qū)域旋轉(zhuǎn),以Z軸為旋轉(zhuǎn)軸來使其旋轉(zhuǎn)即可。另一方面,可知,為了在 左右方向上變更前方照相機(jī)圖像中的圖像合成區(qū)域,需要以Y軸以及Z軸為旋轉(zhuǎn)軸來分別 使其旋轉(zhuǎn)。
[0064] 另外,表1所示的旋轉(zhuǎn)軸的組合是一個(gè)例子,其組合可根據(jù)搭載于車輛2的各照相 機(jī)3的安裝角度來進(jìn)行變更。
[0065] 返回到圖2,在相對于車輛2而設(shè)置在預(yù)先設(shè)定的位置上的標(biāo)識符與車輛2在合成 圖像中的相對位置成為了標(biāo)識符與車輛2的相對位置的情況下,固定框重疊部14使合成圖 像中與標(biāo)識符重復(fù)的顯示(以下稱為"固定框")重疊在合成圖像內(nèi)的預(yù)先設(shè)定的固定位置 上。換言之,所謂固定框是,在各照相機(jī)3如設(shè)計(jì)值那樣沒有偏離地被設(shè)置于車輛2、且標(biāo)識 符如設(shè)計(jì)值那樣沒有偏離地相對于車輛2被設(shè)置在預(yù)先設(shè)定的位置上的情況下,標(biāo)識符顯 示在合成圖像中的設(shè)計(jì)上的位置。另外,將在后面對固定框進(jìn)行敘述。
[0066] 存儲部20由非易失性存儲器或硬盤驅(qū)動器等存儲設(shè)備構(gòu)成。另外,存儲部20也 可以包含暫時(shí)存儲數(shù)據(jù)的易失性存儲器。該存儲部20中保存有固定框存儲部16、圖像參數(shù) 17和程序18。
[0067] 固定框存儲部16中存儲有與通過固定框重疊部14而在合成畫面上重疊的固定框 相關(guān)的信息。該信息例如可以是與相對于顯示在合成畫面上的車輛2的圖像的相對位置相 關(guān)的數(shù)據(jù),也可以是在合成畫面上重疊的固定框的形狀本身。
[0068] 圖像參數(shù)17是為了利用圖3前述的、根據(jù)變更受理部6的操作將圖像合成區(qū)域變 更為拍攝圖像中用于合成圖像中的圖像合成區(qū)域而設(shè)定的參數(shù)。
[0069] 程序18包含在控制部15生成合成圖像的情況下從存儲部20讀取并執(zhí)行的程序。 該程序18包含使計(jì)算機(jī)執(zhí)行例如如下順序的圖像處理程序:生成部10基于通過圖像獲取 部9獲取到的多個(gè)車載照相機(jī)圖像來生成從假想視點(diǎn)看車輛2時(shí)的合成圖像的順序;顯示 控制部11將通過生成部10生成的合成圖像顯示在顯示部4的順序;變更受理部6受理由 生成部10生成的合成圖像中基于圖像獲取部9獲取到的一個(gè)照相機(jī)圖像的圖像區(qū)域與基 于圖像獲取部9獲取到的其他照相機(jī)圖像的圖像區(qū)域的相對位置關(guān)系的變更的順序;和每 次變更受理部6受理位置關(guān)系的變更時(shí)生成部10基于變更后的位置關(guān)系來生成合成圖像 的順序。
[0070] 通過使圖像處理裝置1的控制部15執(zhí)行該圖像處理程序,從而能夠容易執(zhí)行合成 圖像的校準(zhǔn)作業(yè)。
[0071] 接下來,使用圖5A~圖5E來說明實(shí)施方式所涉及的顯示操作部8的迀移的一個(gè) 例子。圖5A~圖5E是實(shí)施方式所涉及的顯示操作部8的轉(zhuǎn)移圖。
[0072] 如圖5A所示,顯示操作部8顯示:顯示合成圖像的顯示部4、所述選擇受理部5及 變更受理部6、重置按鈕R、返回按鈕B和確定按鈕19。
[0073] 選擇受理部5包含:前方照相機(jī)選擇受理按鈕5a、后方照相機(jī)選擇受理按鈕5b、左 側(cè)方照相機(jī)選擇受理按鈕5c和右側(cè)方照相機(jī)選擇受理按鈕5d。在該選擇受理部5中,通過 對選擇受理按鈕5a~5d中的任一個(gè)按鈕進(jìn)行觸摸操作,從而能夠從分別設(shè)置在車輛2的 前后、左右的照相機(jī)3a、3b、3c、3d中選擇任一個(gè)照相機(jī)。另外,該選擇受理部5的結(jié)構(gòu)可根 據(jù)搭載于車輛的照相機(jī)的配置、個(gè)數(shù)來變更。
[0074] 此外,變更受理部6包含方向變更受理部6a和高度變更受理部6b。該方向受理 部6a包含:使圖像合成區(qū)域分別在下方向及上方向上變更的按鈕6al、6a2 ;使圖像合成區(qū) 域分別在左右方向上變更的按鈕6a3、6a4 ;和使圖像合成區(qū)域分別在逆時(shí)針及順時(shí)針方向 上旋轉(zhuǎn)的按鈕6a5、6a6。此外,高度變更受理部6b包含使圖像合成區(qū)域在高度方向上、即分 別在沿著圖4所示的Z軸的正方向及負(fù)方向上變更的按鈕6bl、6b2。
[0075] 重置按鈕R是將通過變更受理部6的操作而變更的拍攝圖像中的圖像合成區(qū)域的 位置返回到默認(rèn)位置(重置)的按鈕。返回按鈕B是將顯示于顯示部4的合成圖像返回到 選擇受理部5或變更受理部6被操作的前一個(gè)狀態(tài)的按鈕。確定按鈕19是確定通過操作 選擇受理部5或變更受理部6而變更圖像合成區(qū)域并將其顯示于顯示部4的合成圖像的按 鈕。
[0076] 在此,顯示在顯示部4的合成圖像中,寫入了作為第1標(biāo)識符的標(biāo)識符M