用于提供環(huán)視監(jiān)視圖像的裝置和方法
【專利摘要】本發(fā)明提供了一種用于提供AVM圖像的裝置和方法。所述裝置包括：攝像機(jī)，其拍攝自身車輛的周圍環(huán)境的圖像；通信單元，其與周圍車輛傳送和接收信號(hào)，并且從周圍車輛接收AVM圖像和周圍環(huán)境信息；圖像轉(zhuǎn)換器，其從攝像機(jī)拍攝的圖像生成自身車輛的AVM圖像，并且通過(guò)確定自身車輛和周圍車輛之間的相對(duì)位置，基于自身車輛的位置轉(zhuǎn)換周圍車輛的AVM圖像；檢測(cè)器，其檢測(cè)自身車輛的AVM圖像和周圍車輛的AVM圖像之間的重疊區(qū)域；以及圖像合成器，其通過(guò)匹配自身車輛的AVM圖像和周圍車輛的AVM圖像之間的重疊區(qū)域，來(lái)對(duì)自身車輛的AVM圖像和周圍車輛的AVM圖像進(jìn)行合成。
【專利說(shuō)明】用于提供環(huán)視監(jiān)視圖像的裝置和方法

【技術(shù)領(lǐng)域】
[0001] 本公開(kāi)涉及用于提供環(huán)視監(jiān)視（AVM)圖像的裝置和方法，并且更特別地涉及提供 能夠確保更寬視野的合成環(huán)視監(jiān)視(AVM)圖像的技術(shù)。

【背景技術(shù)】
[0002] 車輛的環(huán)視監(jiān)視(AVM)系統(tǒng)提供轉(zhuǎn)換并合成車輛周圍環(huán)境的拍攝圖像的AVM圖 像。例如，把上方、下方、左側(cè)和右側(cè)圖像轉(zhuǎn)換并合成為俯視圖像，使得駕駛者可以通過(guò)AVM 圖像觀察車輛的前方、后方、左側(cè)和右側(cè)視圖。
[0003] 然而，由于AVM圖像提供的是被轉(zhuǎn)換成俯視圖像的圖像，所以可能會(huì)產(chǎn)生圖像失 真或盲區(qū)，因此可能難以識(shí)別準(zhǔn)確的場(chǎng)景。另外，由于AVM圖像具有較窄的可視區(qū)域，所以 難以識(shí)別其它區(qū)域。


【發(fā)明內(nèi)容】

[0004] 本公開(kāi)提供了一種用于提供環(huán)視監(jiān)視(AVM)圖像的裝置和方法，其提供能夠確保 更寬視野的合成AVM圖像。
[0005] 在本公開(kāi)的一方面中，用于提供AVM圖像的裝置和方法通過(guò)基于從車輛周圍環(huán)境 獲得的AVM圖像和信息提供與自身車輛的AVM圖像合成的AVM圖像，來(lái)提供自身車輛難以 識(shí)別的區(qū)域的AVM圖像。
[0006] 根據(jù)本公開(kāi)的實(shí)施例，用于提供AVM圖像的裝置包括：拍攝自身車輛的周圍環(huán)境 的圖像的攝像機(jī)。通信單元與周圍車輛傳送和接收信號(hào)，并且從周圍車輛接收AVM圖像和 周圍環(huán)境信息。圖像轉(zhuǎn)換器根據(jù)攝像機(jī)拍攝的圖像生成自身車輛的AVM圖像，并且通過(guò)確 定自身車輛和周圍車輛之間的相對(duì)位置，基于自身車輛的位置轉(zhuǎn)換周圍車輛的AVM圖像。 檢測(cè)器檢測(cè)自身車輛的AVM圖像和周圍車輛的AVM圖像之間的重疊區(qū)域。圖像合成器通過(guò) 匹配自身車輛的AVM圖像和周圍車輛的AVM圖像之間的重疊區(qū)域，來(lái)合成自身車輛的AVM 圖像和周圍車輛的AVM圖像。
[0007] 根據(jù)本公開(kāi)的另一實(shí)施例，用于提供AVM圖像的方法包括：拍攝自身車輛的周圍 環(huán)境的圖像。通過(guò)與周圍車輛通信，接收周圍車輛的AVM圖像和周圍環(huán)境信息。通過(guò)確定 自身車輛和周圍車輛之間的相對(duì)位置，基于自身車輛的位置轉(zhuǎn)換周圍車輛的AVM圖像以便 進(jìn)行匹配。通過(guò)檢測(cè)從自身車輛的周圍環(huán)境的圖像生成的自身車輛的AVM圖像和周圍車輛 的AVM圖像之間的重疊區(qū)域，基于重疊區(qū)域合成自身車輛的AVM圖像和周圍車輛的AVM圖 像。隨后，校正合成的AVM圖像的邊界區(qū)域和空白區(qū)域。

【專利附圖】

【附圖說(shuō)明】
[0008] 基于結(jié)合附圖給出的以下詳細(xì)說(shuō)明，本公開(kāi)的目的、特征和優(yōu)點(diǎn)將變得更加明了。
[0009] 圖1是示出根據(jù)本公開(kāi)的環(huán)視監(jiān)視（AVM)圖像提供裝置的配置的框圖。
[0010] 圖2至6是解釋根據(jù)本公開(kāi)的AVM圖像提供裝置的圖像合成操作的示例圖。
[0011] 圖7是示出根據(jù)本公開(kāi)的AVM圖像提供方法的操作流程的流程圖。
[0012] 附圖中各元素的附圖標(biāo)記
[0013] 110:信號(hào)處理器
[0014] 120:攝像機(jī)
[0015] 130:通信單元
[0016] 140:存儲(chǔ)器
[0017] 150:圖像轉(zhuǎn)換器
[0018] 160:檢測(cè)器
[0019] 170:圖像合成器
[0020] 180:圖像校正器

【具體實(shí)施方式】
[0021] 在下文中，將參考附圖描述本公開(kāi)的示例性實(shí)施例。在下面的說(shuō)明中，這里所包含 的已知功能和配置的詳細(xì)說(shuō)明將予以省略。
[0022] 圖1是示出根據(jù)本公開(kāi)的環(huán)視監(jiān)視（AVM)圖像提供裝置的配置的框圖。參考圖1， 根據(jù)本公開(kāi)的AVM圖像提供裝置可以包括信號(hào)處理器110、攝像機(jī)120、通信單元130、存儲(chǔ) 器140、圖像轉(zhuǎn)換器150、檢測(cè)器160、圖像合成器170和圖像校正器180。信號(hào)處理器110 可以處理在AVM圖像提供裝置的各單元之間傳送的信號(hào)。
[0023] 攝像機(jī)120安裝在車輛中，并且可以拍攝車輛周圍環(huán)境的圖像?？梢园惭b多個(gè)攝 像機(jī)120，例如，攝像機(jī)120可以安裝在車輛的前側(cè)、后側(cè)、左側(cè)和右側(cè)。由攝像機(jī)120拍攝的 車輛的前側(cè)、后側(cè)、左側(cè)和右側(cè)的圖像可以傳送給圖像轉(zhuǎn)換器150,以生成環(huán)視監(jiān)視（AVM) 圖像。
[0024] 通信單元130可以支持用于車輛對(duì)車輛（V2V)通信的通信接口。通信單元130 可以通過(guò)與位于自身車輛周圍的至少一個(gè)周圍車輛通信，來(lái)接收周圍車輛的AVM圖像和信 息。另外，通信單元130可以支持用于差分全球定位系統(tǒng)（DGPS)通信的通信接口。因此， 通信單元130可以通過(guò)DGPS通信，在自身車輛和周圍車輛之間接收位置信息。
[0025] 存儲(chǔ)器140可以存儲(chǔ)用于操作AVM圖像提供裝置的設(shè)定值，并且可以存儲(chǔ)每個(gè)操 作的狀態(tài)信息和結(jié)果。例如，存儲(chǔ)器140可以存儲(chǔ)自身車輛的AVM圖像和周圍車輛的AVM 圖像，并且可以存儲(chǔ)自身車輛的AVM圖像和周圍車輛的AVM圖像的合成圖像。另外，用于合 成AVM圖像的圖像合成算法可以存儲(chǔ)在存儲(chǔ)器140中。
[0026]圖像轉(zhuǎn)換器150可以從攝像機(jī)120拍攝的自身車輛周圍環(huán)境的圖像生成自身車輛 的AVM圖像。此時(shí)，圖像轉(zhuǎn)換器150可以對(duì)從自身車輛的周圍環(huán)境拍攝的圖像執(zhí)行視圖轉(zhuǎn) 換從而轉(zhuǎn)換成俯視圖像，來(lái)生成AVM圖像。
[0027]另外，圖像轉(zhuǎn)換器150可以轉(zhuǎn)換通過(guò)通信單元130接收的周圍車輛的AVM圖像。此 時(shí)，圖像轉(zhuǎn)換器150可以基于自身車輛和周圍車輛的位置，識(shí)別自身車輛和周圍車輛之間 的相對(duì)位置。例如，圖像轉(zhuǎn)換器150可以通過(guò)將自身車輛的位置和方向與周圍車輛的位置 和方向進(jìn)行比較，基于自身車輛的位置移動(dòng)周圍車輛的AVM圖像，并且可以基于自身車輛 旋轉(zhuǎn)周圍車輛的AVM圖像。當(dāng)周圍車輛的方向與自身車輛的方向相同時(shí)，圖像轉(zhuǎn)換器可以 不旋轉(zhuǎn)周圍車輛的AVM圖像。
[0028] 檢測(cè)器160可以通過(guò)將自身車輛的AVM圖像與周圍車輛的AVM圖像進(jìn)行比較，來(lái) 檢測(cè)自身車輛的AVM圖像和周圍車輛的AVM圖像之間的重疊區(qū)域。
[0029] 圖像合成器170可以基于由檢測(cè)器160檢測(cè)的重疊區(qū)域，合成自身車輛的AVM圖 像和周圍車輛的AVM圖像。此時(shí)，圖像合成器170可以分別基于自身車輛的AVM圖像和周 圍車輛的AVM圖像的線性分量、距離值或像素值中的至少一者來(lái)分配權(quán)重，并且可以通過(guò) 針對(duì)每個(gè)AVM圖像重疊的區(qū)域計(jì)算分配權(quán)重的加權(quán)和，基于加權(quán)和來(lái)合成自身車輛的AVM 圖像和周圍車輛的AVM圖像。
[0030] 圖像合成器170可以參考下面的[等式1]來(lái)計(jì)算根據(jù)加權(quán)和合成的AVM圖像的 坐標(biāo)。

【權(quán)利要求】
1. 一種用于提供環(huán)視監(jiān)視（AVM)圖像的裝置，所述裝置包括： 攝像機(jī)，其拍攝自身車輛的周圍環(huán)境的圖像； 通信單元，其與周圍車輛傳送和接收信號(hào)，并且從所述周圍車輛接收AVM圖像和周圍 環(huán)境信息； 圖像轉(zhuǎn)換器，其從所述攝像機(jī)拍攝的圖像生成自身車輛的AVM圖像，并且通過(guò)確定自 身車輛和所述周圍車輛之間的相對(duì)位置，基于自身車輛的位置轉(zhuǎn)換所述周圍車輛的AVM圖 像； 檢測(cè)器，其檢測(cè)自身車輛的AVM圖像和所述周圍車輛的AVM圖像之間的重疊區(qū)域；W及 圖像合成器，其通過(guò)匹配自身車輛的AVM圖像和所述周圍車輛的AVM圖像之間的重疊 區(qū)域，來(lái)對(duì)自身車輛的AVM圖像和所述周圍車輛的AVM圖像進(jìn)行合成。
2. 如權(quán)利要求1所述的裝置，其中所述圖像轉(zhuǎn)換器將自身車輛的位置和方向與所述周 圍車輛的位置和方向進(jìn)行比較，基于自身車輛的位置移動(dòng)所述周圍車輛的AVM圖像的位置 W便進(jìn)行匹配，并且基于自身車輛的方向旋轉(zhuǎn)所述周圍車輛的AVM圖像W便進(jìn)行匹配。
3. 如權(quán)利要求1所述的裝置，其中所述圖像合成器通過(guò)對(duì)從自身車輛的AVM圖像和所 述周圍車輛的AVM圖像中檢測(cè)到的地面上存在線性分量的區(qū)域分配權(quán)重，來(lái)對(duì)自身車輛的 AVM圖像和所述周圍車輛的AVM圖像進(jìn)行合成。
4. 如權(quán)利要求1所述的裝置，其中所述圖像合成器通過(guò)基于自身車輛和周圍車輛的攝 像機(jī)安裝位置對(duì)距離所述攝像機(jī)一定距離內(nèi)的短距離區(qū)域分配權(quán)重，基于被分配所述權(quán)重 的區(qū)域?qū)ψ陨碥囕v的AVM圖像和所述周圍車輛的AVM圖像進(jìn)行合成。
5. 如權(quán)利要求1所述的裝置，其中所述圖像合成器通過(guò)將自身車輛的AVM圖像的像素 與所述周圍車輛的AVM圖像的像素進(jìn)行比較、并且對(duì)像素值等于或大于參考值的區(qū)域分配 權(quán)重，基于被分配所述權(quán)重的區(qū)域?qū)ψ陨碥囕v的AVM圖像和所述周圍車輛的AVM圖像進(jìn)行 合成。
6. 如權(quán)利要求1所述的裝置，其中通過(guò)把所述周圍車輛的AVM圖像合成在自身車輛的 AVM圖像范圍內(nèi)，來(lái)獲得由所述圖像合成器合成的AVM圖像。
7. 如權(quán)利要求1所述的裝置，其中由所述圖像合成器合成的AVM圖像包括自身車輛的 AVM圖像范圍和周圍車輛的AVM圖像范圍。
8. 如權(quán)利要求1所述的裝置，還包括： 圖像校正器，其校正來(lái)自合成的AVM圖像的每個(gè)AVM圖像的邊界區(qū)域和空白區(qū)域。
9. 一種用于提供AVM圖像的方法，所述方法包括： 拍攝自身車輛的周圍環(huán)境的圖像； 通過(guò)與周圍車輛通信，接收所述周圍車輛的AVM圖像和周圍環(huán)境信息； 通過(guò)確定自身車輛和所述周圍車輛之間的相對(duì)位置，基于自身車輛的位置轉(zhuǎn)換所述周 圍車輛的AVM圖像W便進(jìn)行匹配； 通過(guò)檢測(cè)從自身車輛的周圍環(huán)境的圖像生成的自身車輛的AVM圖像和所述周圍車輛 的AVM圖像之間的重疊區(qū)域，基于所述重疊區(qū)域?qū)ψ陨碥囕v的AVM圖像和所述周圍車輛的 AVM圖像進(jìn)行合成；W及 校正合成的AVM圖像的邊界區(qū)域和空白區(qū)域。
10. 如權(quán)利要求9所述的方法，其中AVM圖像的合成步驟包括；分別基于自身車輛的 AVM圖像和所述周圍車輛的AVM圖像的線性分量、距離或像素中的至少一者來(lái)分配權(quán)重。
11.如權(quán)利要求10所述的方法，其中AVM圖像的合成步驟還包括： 計(jì)算自身車輛的AVM圖像和所述周圍車輛的AVM圖像上的被分配所述權(quán)重的區(qū)域的加 權(quán)和；和 根據(jù)所述加權(quán)和，對(duì)自身車輛的AVM圖像和所述周圍車輛的AVM圖像進(jìn)行合成。
【文檔編號(hào)】H04N5/262GK104349026SQ201310606776
【公開(kāi)日】2015年2月11日 申請(qǐng)日期:2013年11月25日 優(yōu)先權(quán)日:2013年8月6日
【發(fā)明者】崔在燮, 蔣裕珍 申請(qǐng)人:現(xiàn)代自動(dòng)車株式會(huì)社