用于avm系統(tǒng)的影像合成裝置及其方法
【專利摘要】本發(fā)明的影像合成裝置包括：影像輸入部，截取從車輛的前-后-左-右攝像頭捕捉的原影像圖像；外部存儲器，保存截取的所述原影像圖像、查詢表及合成影像；原影像窗口生成部，設定M X N的基本像素組，基于所述查詢表分析坐標值，根據所述坐標值而計算窗口的開始坐標及窗口大小；內部存儲器控制部，根據所述開始坐標及所述窗口大小，通過所述外部存儲器讀取所述原影像圖像并保存到內部存儲器；影像合成處理部，對通過所述內部存儲器讀取的所述原影像圖像，基于所述坐標值而進行影像合成并生成為所述合成影像；及影像輸出部，通過所述外部存儲器讀取所述合成影像并輸出到顯示裝置。
【專利說明】用于AVM系統(tǒng)的影像合成裝置及其方法

【技術領域】
[0001]本發(fā)明涉及AVM系統(tǒng)，更具體地說，涉及到把車輛的前后左右4個影像合成為一個影像的影像合成裝置及其方法。

【背景技術】
[0002]AVM(環(huán)景監(jiān)視-Around View Monitoring)系統(tǒng)通過車輛的前/后/左/右4個攝像頭接收原始影像并合成為一個影像，向顯示裝置輸出合成的影像。
[0003]AVM系統(tǒng)把攝像頭輸入的原始影像保存到外部存儲器，讀取通過影像預處理過程生成而被保存在外部存儲器的查詢表，提取用于影像合成的原始影像坐標值。AVM系統(tǒng)對基于坐標值而從外部存儲器讀取的原始影像數據進行雙線性內插(B1-LinearInterpolat1n)，作為輸出坐標重新保存到外部存儲器。分別對前后左右4個影像進行所述過程，AVM系統(tǒng)根據所述輸出坐標而輸出影像合成結果數據。
[0004]這時，AVM系統(tǒng)的攝像頭為廣角攝像頭,存在類似球形的歪曲。AVM系統(tǒng)在影像合成時，利用反向(Backward)映射方法等，按照左-右-上-下順序，以像素單位平坦地補正歪曲影像。歪曲補正及影像合成處理過程所需的原始影像數據由外部存儲器讀取，這時使用單次讀取(Single Read)方式。
[0005]但是，單次讀取方式對外部存儲器的接近頻率高，為了滿足系統(tǒng)所需的處理速度，需要較高的存儲器頻率，因具有進行指令的附加時間，存在遲延時間變長的問題。


【發(fā)明內容】

[0006](要解決的技術問題)
[0007]本發(fā)明通過變更影像合成時的歪曲補正及合成運算過程中發(fā)生的外部存儲器的讀取方式，提供一種提高了外部存儲器訪問效率的用于AVM系統(tǒng)的影像合成裝置及其方法。
[0008](解決問題的手段)
[0009]為了解決所述技術問題，本發(fā)明的影像合成裝置包括:影像輸入部，截取從車輛的前-后-左-右攝像頭捕捉的原影像圖像；外部存儲器，保存截取的所述原影像圖像、查詢表及合成影像；原影像窗口生成部，設定M XN的基本像素組，基于所述查詢表分析坐標值，根據所述坐標值而計算窗口的開始坐標及窗口大??；內部存儲器控制部，根據所述開始坐標及所述窗口大小，通過所述外部存儲器讀取所述原影像圖像并保存到內部存儲器；影像合成處理部，對通過所述內部存儲器讀取的所述原影像圖像，基于所述坐標值而進行影像合成并生成為所述合成影像；及影像輸出部，通過所述外部存儲器讀取所述合成影像并輸出到顯示裝置。
[0010]所述原影像窗口生成部把所述MXN的基本像素匯總為一個組而進行像素處理。[0011 ] 所述原影像窗口生成部基于所述基本像素組而計算所述窗口大小。
[0012]所述內部存儲器控制部把等于M X N個數的所述坐標值傳送到所述影像合成處理部。
[0013]為了解決所述技術問題，本發(fā)明的影像合成方法，包括:初始化AVM(環(huán)景監(jiān)視-Around View Monitoring)系統(tǒng)的步驟；在車輛的前后左右捕捉并以4個原影像圖像保存到外部存儲器的步驟；基于通過所述外部存儲器讀取的M X N的基本像素組及查詢表，計算窗口的開始坐標及窗口大小的步驟；把對應所述開始坐標及所述窗口大小的所述原影像圖像保存到內部存儲器的步驟合成通過所述內部存儲器讀取的所述原影像圖像，以合成影像保存到所述外部存儲器的步驟；及把所述合成影像輸出到顯示裝置的步驟。
[0014]所述計算的步驟為具有所述基本像素組單位的窗口，基于通過所述外部存儲器讀取的查詢表而分析坐標值，根據所述坐標值而計算所述開始坐標及所述窗口大小。
[0015]所述保存為合成影像的步驟，把等于M X N個數的所述坐標值保存為所述合成影像的坐標值。
[0016](發(fā)明的效果)
[0017]根據本發(fā)明的影像合成裝置及其方法，以突發(fā)讀取方式接近外部存儲器，從而降低外部存儲器接近頻率并最小化影像處理遲延時間，具有提高性能的效果。

【專利附圖】

【附圖說明】
[0018]圖1是呈現本發(fā)明的影像合成裝置的框圖。
[0019]圖2是用于說明本發(fā)明的影像合成方法的流程圖。
[0020]圖3是用于說明根據本發(fā)明的實施例的基本像素組單位的概念圖。
[0021 ]圖4是用于說明根據本發(fā)明的實施例的利用窗口的反向映射的概念圖。
[0022]圖5是用于說明根據本發(fā)明的實施例的外部存儲器接近方式的時間圖。符號說明
[0023]1:影像合成裝置
[0024]10:影像輸入部
[0025]20:原影像窗口生成部
[0026]30:內部存儲器控制部
[0027]35:內部存儲器
[0028]40:影像合成處理部
[0029]50:影像輸出部
[0030]60:外部存儲器控制部
[0031]70:外部存儲器

【具體實施方式】
[0032]對于本說明書中公開的根據本發(fā)明的概念的實施例，特定的結構性或功能性說明只是以說明根據本發(fā)明的概念的實施例為目的而例示，根據本發(fā)明的概念的實施例能夠以多種形態(tài)實施，并不限定于本說明書中說明的實施例。
[0033]因根據本發(fā)明的概念的實施例可進行多種變更，具有多種形態(tài)，把實施例例示到附圖上，在本說明書中進行詳細說明。但根據本發(fā)明的概念的實施例并不限定于特定的公開形態(tài)，包括本發(fā)明的思想及技術范圍內的所有變更、均等物及替代物。
[0034]第I或第2等用語使用于說明多種構成要素，但所述構成要素并不受限于所述用于。所述用語的目的在于區(qū)別一個構成要素與其他構成要素，例如不脫離根據本發(fā)明的概念的權利范圍的情況下，第I構成要素可命名為第2構成要素，類似地，第2構成要素也可命名為第I構成要素。
[0035]涉及某一構成要素與其他構成要素“連接”或“聯接”時，理解為與其他構成要素直接連接或聯接，或者中間存在其他構成要素。相反，涉及某一構成要素“直接連接”或“直接聯接”到其他構成要素時，應理解為中間不存在其他構成要素。說明構成要素直接的關系的其他表現，即“?之間”和“正好在?之間”或“與?相鄰”和“與?直接相鄰”等也具有相同地解釋。
[0036]本說明書中使用的用于只是為了說明特定的實施例，并不是為了限定本發(fā)明。單數若在文脈上無其他明確的解釋，則包括復數。本說明書中，“包括”或“具有”等用語是為了指定設施的特征、數字、步驟、動作、構成要素、部件或其組合物的存在，并不是事先排除一個或其以上的其他特征或數字、步驟、動作、構成要素、部件或其組合物的存在或附加的可能性。
[0037]除了另行定義之外，包括技術或科學的用語，這里使用的所有用語都與本發(fā)明所屬【技術領域】具有一般知識的人一般理解的具有相同的意思。一般使用的，與字典定義相同的用語，與相關技術的文脈上的意思一致，除了本說明書中明確定義的以外，不解釋為異常或過度形式化的意思。
[0038]下面，通過參照【專利附圖】

【附圖說明】根據本發(fā)明的優(yōu)選實施例，從而詳細說明本發(fā)明。
[0039]圖1是呈現本發(fā)明的影像合成裝置的框圖，圖3是用于說明根據本發(fā)明的實施例的基本像素組單位的概念圖，圖4是用于說明根據本發(fā)明的實施例的利用窗口的反向映射的概念圖。
[0040]參照圖1，影像合成裝置I包括:影像輸入部10、原影像窗口生成部20、內部存儲器控制部30、內部存儲器35、影像合成處理部40、影像輸出部50、外部存儲器控制部60及外部存儲器70。圖5是用于說明根據本發(fā)明的實施例的外部存儲器接近方式的時間圖。
[0041]影像輸入部10截取通過車輛的前-后-左-右攝像頭捕捉的原影像圖像。
[0042]原影像窗口生成部20設定M X N的基本像素組，基于所述查詢表而分析坐標值，根據所述坐標值而計算窗口的開始坐標及窗口大小。
[0043]更具體地說明，原影像窗口生成部20設定用于影像合成處理的M X N的基本像素組。傳統(tǒng)上，像素處理順序為，對于圖像整個像素陣列，按照左_>右、上_>下處理，本發(fā)明如圖3所圖示，對于M X N基本像素組，以左-> 右、上-> 下處理。其結果，降低了計算復雜度，提高了影像合成的處理速度。這時，M、N是I以上的自然數。
[0044]原影像窗口生成部20從外部存儲器70讀取查詢表(Look Up Table ；LUT)而提取使用于反向映射的X-Y坐標值。原影像窗口生成部20分析提取的X-Y坐標而計算保存到外部存儲器70的窗口的開始坐標及窗口大小。這時，窗口的大小并不是根據實施例而規(guī)定，可適用為多種大小。傳統(tǒng)為，歪曲補正時，以像素對像素進行反向映射，因此計算復雜度高，但本發(fā)明如圖4所圖示，以窗口單位進行反向映射而進行歪曲補正，因此能夠降低計算復雜度。
[0045]原影像窗口生成部20把計算的窗口的開始坐標及窗口大小告知內部存儲器控制部。
[0046]內部存儲器控制部30控制向內部存儲器35的訪問。例如，根據窗口的開始坐標及窗口大小，從外部存儲器70讀取原影像圖像而保存到內部存儲器。并且，內部存儲器控制部30把等于M X N個數查詢表數據(即，X-Y坐標值)傳送到影像合成處理部40。
[0047]內部存儲器35為了影像合成，保存對應窗口的開始坐標及窗口的大小的原影像圖像。內部存儲器可以是易失性存儲器，例如SRAM(靜態(tài)隨機存儲器-Static RandomAccess Memory)。
[0048]影像合成處理部40利用等于M X N個數的查詢表數據，對通過內部存儲器35讀取的原影像圖像進行影像合成，從而生成合成影像。并且，把合成影像傳送到外部存儲器70。
[0049]影像輸出部50通過外部存儲器70而讀取合成影像并輸出到顯示裝置(未圖示)。
[0050]外部存儲器控制部60控制向外部存儲器70的訪問。外部存儲器控制部60以圖5所圖示的突發(fā)讀取方式訪問到外部存儲器70。參照圖5，T2接收讀取命令后，通過數據傳輸線，以一次讀取命令，經過T3至T8，接收多數有效數據。其結果，相比傳統(tǒng)的單次讀取方式，能夠減少對讀取命令的處理遲延時間，與內部存儲器分擔保存影像合成時所需的暫時圖像的存儲器訪問操作，從而降低外部存儲器接近頻率。
[0051]外部存儲器70保存截取的所述原影像圖像、查詢表及合成影像。外部存儲器70可以是非易失性存儲器或易失性存儲器，例如DRAM(動態(tài)隨機訪問存儲器-Dynamic RandomAccess Memory)。
[0052]圖2是用于說明本發(fā)明的影像合成方法的流程圖。
[0053]參照圖2,首先初始化AVM(環(huán)景監(jiān)視-Around View Monitoring)系統(tǒng)(SlO)。例如，初始化視圖(View)模式輸入處理次數。然后，在車輛的前后左右捕捉并以4個原影像圖像保存到外部存儲器。
[0054]影像合成裝置I通過外部存儲器，讀取M X N的基本像素組及查詢表(Sll)?；诓樵儽?，計算窗口的開始坐標及窗口大小(S12)。
[0055]影像合成裝置I通過外部存儲器讀取對應窗口的開始坐標及所述窗口大小的原影像圖像(S13)，保存到內部存儲器(S14)。并且，合成通過內部存儲器讀取的原影像圖像(S15)，以合成影像的數據，保存到外部存儲器(S16)。
[0056]這時，確認合成影像數據是否為基本像素組單位即MXN大小(S17)，若合成影像數據比基本像素組單位小，增加處理次數(S18)并反復Sll步驟至S16步驟的影像合成過程。
[0057]完成整個合成影像后，輸出到顯示裝置。
[0058]本發(fā)明參考附圖中圖示的一實施例而進行了說明，但這只是例示性的，本【技術領域】具有一般知識的人可以理解到可進行多種變形及其他實施例。因此，本發(fā)明的真正的技術保護范圍應根據注冊權利要求范圍的技術思想而決定。
【權利要求】
1.一種影像合成裝置，包括: 影像輸入部，截取從車輛的前-后-左-右攝像頭捕捉的原影像圖像； 外部存儲器，保存截取的所述原影像圖像、查詢表及合成影像； 原影像窗口生成部，設定M X N的基本像素組，基于所述查詢表分析坐標值，根據所述坐標值而計算窗口的開始坐標及窗口大?。? 內部存儲器控制部，根據所述開始坐標及所述窗口大小，通過所述外部存儲器讀取所述原影像圖像并保存到內部存儲器； 影像合成處理部，對通過所述內部存儲器讀取的所述原影像圖像，基于所述坐標值而進行影像合成并生成為所述合成影像；及 影像輸出部，通過所述外部存儲器讀取所述合成影像并輸出到顯示裝置。
2.根據權利要求1所述的影像合成裝置，所述原影像窗口生成部，把所述MX N的基本像素匯總為一個組而進行像素處理。
3.根據權利要求1所述的影像合成裝置，所述原影像窗口生成部，基于所述基本像素組而計算所述窗口大小。
4.根據權利要求1所述的影像合成裝置，所述內部存儲器控制部，把等于MX N個數的所述坐標值傳送到所述影像合成處理部。
5.一種影像合成方法，包括: 初始化AVM (環(huán)景監(jiān)視-Around View Monitoring)系統(tǒng)的步驟； 在車輛的前后左右捕捉并以4個原影像圖像保存到外部存儲器的步驟； 基于通過所述外部存儲器讀取的M X N的基本像素組及查詢表，計算窗口的開始坐標及窗口大小的步驟； 把對應所述開始坐標及所述窗口大小的所述原影像圖像保存到內部存儲器的步驟；合成通過所述內部存儲器讀取的所述原影像圖像，以合成影像保存到所述外部存儲器的步驟。
6.根據權利要求5所述的影像合成方法， 還包括把所述合成影像輸出到顯示裝置的步驟。
7.根據權利要求5所述的影像合成方法， 把所述M X N的基本像素匯總為一個組而進行像素處理。
8.根據權利要求5所述的影像合成方法， 所述計算的步驟為具有所述基本像素組單位的窗口，基于通過所述外部存儲器讀取的查詢表而分析坐標值，根據所述坐標值而計算所述開始坐標及所述窗口大小。
9.根據權利要求8所述的影像合成方法， 所述保存為合成影像的步驟，把等于M X N個數的所述坐標值保存為所述合成影像的坐標值。
10.根據權利要求5所述的影像合成方法， 所述內部存儲器為SRAM (靜態(tài)隨機存儲器-Static Random Access Memory)。
11.根據權利要求5所述的影像合成方法， 所述外部存儲器為非易失性存儲器或DRAM(動態(tài)隨機存儲器-Dynamic Random AccessMemory),以突發(fā)讀取操作(Burst Read Operat1n)方式訪問。
【文檔編號】H04N5/265GK104378583SQ201410161536
【公開日】2015年2月25日 申請日期:2014年4月22日 優(yōu)先權日:2013年8月13日
【發(fā)明者】姜錫泰 申請人:現代摩比斯株式會社