一種實時圖像處理電路的制作方法
【技術領域】
[0001] 本實用新型屬于圖像/視頻處理技術領域，具體涉及一種實時圖像處理電路。
【背景技術】
[0002] 普通相機或視頻在拍攝過程中，照顧了高光區(qū)域的曝光，暗部細節(jié)就會丟失， 而照顧了暗部細節(jié)，高光區(qū)域就會曝光過度。為了解決這一問題，人們采用高動態(tài)范圍 (High-Dynamic Range，簡稱HDR)成像技術對圖像進行處理，通過該技術處理的圖像相比普 通的圖像，可以提供更多的動態(tài)范圍和圖像細節(jié)，從而更好的反映出真實環(huán)境中的視覺效 果。
[0003] HDR成像技術通過對一組含有不同曝光的低動態(tài)范圍（Low-Dynamic Range，簡稱 LDR)圖像行進分析與合成，最后生成一張高光區(qū)域不過度曝光，并保留暗部細節(jié)的圖像，從 而保留真實場景中各部細節(jié)的圖像。
[0004] 目前HDR成像技術多是通過軟件算法來實現，其對多張圖像合成過程中算法復 雜，計算量大，能耗大；而且對視頻圖像不能實時處理。另外，使用軟件算法處理時間會受計 算機性能的制約。
[0005] 此外，FPGA (Field - Programmable Gate Array，現場可編程門陣列）是一種半定 制集成電路，可以通過硬件描述語言將FPGA內部的邏輯塊連接起來。與可以運行軟件的處 理器相比，FPGA以并行運算為主，具有速度更快，功耗較低的優(yōu)點。由于兩者架構上存在差 異，使得在FPGA上開發(fā)軟件算法比較困難。實時的HDR成像技術在FPGA上尚無法實現。 【實用新型內容】
[0006] 本實用新型的目的是提供一種實時圖像處理電路，能夠實時完成HDR技術在FPGA 上的實現，優(yōu)化HDR算法，實時合成高分辨率圖像，減小功耗，提高視頻幀數。
[0007] 本實用新型所采用的技術方案是：一種實時圖像處理電路，包括：依次連接的緩 存電路模塊和合成電路模塊，所述緩存電路模塊與視頻源相連；所述緩存電路模塊，用于接 收源視頻圖像，將源視頻中曝光量不同的各圖像的對應像素數據寫入不同緩存區(qū)，并同步 讀出各緩存區(qū)曝光量不同但位置相同的像素數據；所述合成電路模塊，用于將讀取的像素 數據還原為像素光強值，將所述像素光強值合成HDR像素。
[0008] 進一步的，所述電路還包括：與所述合成電路模塊相連的色調映射電路模塊；
[0009] 色調映射電路模塊，用于將所述HDR像素進行色調映射處理。
[0010] 優(yōu)選的，所述緩存電路模塊包括：N個視頻接口，每個視頻接口連接有對應的讀寫 控制器，所有讀寫控制器與輪詢控制模塊相連，所述輪詢控制模塊與N個內存相連；
[0011] 所述N個視頻接口，分別用于接收源視頻同一包圍組中不同圖像的對應像素數 據，N是源視頻曝光包圍組數量；
[0012] 所述讀寫控制器，用于控制從與其相連的視頻接口向內存模塊寫入和/或讀出像 素數據，當所述N個內存均寫入像素數據時，采用N個讀命令讀取所述N個內存的像素數 據，并采用1個寫命令寫入第i個像素數據，i是當前寫入內存的像素數據，第i個像素數 據所寫入的內存根據所述第i個像素數據的曝光量確定；
[0013] 所述輪詢控制模塊，用于控制各個讀寫控制器的讀寫命令，采用循環(huán)方式向內存 寫入和/或讀出像素數據。
[0014] 優(yōu)選的，所述合成電路模塊包括查找表格模塊和運算器；
[0015] 所述查找表格模塊，預存有N個第一查找表格和N個第二查找表格，所述第一查找 表格，用于將讀取的N個像素數據還原為N個像素光強值，所述第二查找表格，用于將讀取 的N個像素數據還原為N個權重值；N是源視頻包圍組數量；
[0016] 所述運算器，用于將所述像素光強值和所述權重值合成HDR像素。
[0017] 優(yōu)選的，所述運算器包括加法器和除法器。
[0018] 優(yōu)選的，所述第一查找表格為
；所述第二查找表 格為 W(fi (X)) =W(AU));
[0019] 其中：f 1況(X))為視頻拍攝裝置響應曲線的反函數;(X))為對應像素的權重 函數A1為各個像素的曝光補償。
[0020] 優(yōu)選的，所述色調映射電路模塊包括壓縮模塊，用于通過公式
對HDR像素進行壓縮處理；其中：Qi為壓縮后的像素值
為合成的HDR像素；r，k和為d 用于調節(jié)對比和亮度的參數。
[0021] 進一步的，所述映射電路模塊還包括：第一顏色轉換模塊，卷積模塊和第二顏色轉 換模塊；所述第一顏色轉換模塊，用于將HDR像素的顏色值從RGB轉換為YCrCb ;所述卷積 模塊，用于生成提取原圖像細節(jié)的各層模糊像素；所述第二顏色轉換模塊，用于將HDR像素 的顏色值從YCrCb轉換為RGB。
[0022] 優(yōu)選的，所述卷積模塊包括首尾連接的行緩存模塊，卷積運算模塊和輪廓增強模 塊，所述行緩存模塊和所述輪廓增強模塊與所述第一顏色轉換模塊相連，所述輪廓增強模 塊與所述第二顏色轉換模塊相連；
[0023] 所述卷積運算模塊，用于通過如下公式實現卷積處理：
[0025] 其中：
[0026] F(x，y)為經過卷積處理后圖像中對應行數為X，列數為y的像素值；
[0027] I (X，y)為待處理圖像中對應行數為X，列數為y的像素值；
[0028] S為奇數，以5X5為例，
為離散矩陣的半徑；
[0029] V(x，y)為二進制高斯矩陣模板；
[0030] 所述輪廓增強模塊，用于通過如下公式進行卷積處理：
[(
[0032] 其中：
[0033] I (X，y)為輪廓增強前后圖像中對應行數為x，列數為y的像素值；
[0034] Ir (X，y)為輪廓增強后圖像中對應行數為X，列數為y的像素值；
[0035] CnS η層細節(jié)圖像各自的預設權重值；
[0036] Fn (I (X，y))為上述卷積運算的η次迭代運算。
[0037] 進一步的，所述電路還包括與所述色調映射電路模塊相連的顯示控制模塊，所述 顯示控制模塊，用于分析源視頻各個曝光段，在色調映射處理后的HDR像素上進行白平衡 控制和直方圖均勻化處理，并輸出到顯示器上。
[0038] 本實用新型提供的實時圖像處理電路，通過在緩存電路模塊中設置與源視頻曝 光包圍組數相同的緩存模塊，并控制對應像素數據在各緩存模塊的讀寫，實現同步讀取曝 光量不同但位置相同的像素數據，同時保證讀出的像素數據與源視頻的像素數據幀數相 同。通過合成電路模塊對曝光量相同像素數據的合成以及映射電路模塊的色調映射處理， 完成了 HDR技術在FPGA上的實現。相較于現有技術，優(yōu)化HDR技術的算法并將其硬件化， 實時合成高分辨率圖像，在提高幀率的同時減小功耗。
【附圖說明】
[0039] 為了更清楚地說明本實用新型或現有技術中的方案，下面將對實施例或現有技術 描述中所需要使用的附圖作一個簡單介紹，顯而易見地，下面描述中的附圖是本實用新型 的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據 這些附圖獲得其他的附圖。
[0040] 圖1是本實用新型提供的一種實時圖像處理電路的流程圖；
[0041] 圖2是本實用新型對源視頻各幀進行緩存處理的示意圖；
[0042] 圖3是本實用新型提供的一種HDR圖像處理電路圖；
[0043] 圖4是本實用新型提供的緩存電路模塊的電路圖；
[0044] 圖5是本實用新型提供的合成電路模塊的電路圖；
[0045] 圖6是本實用新型提供的映射電路模塊的電路圖。
【具體實施方式】
[0046] 下面將結合本實用新型中的附圖，對本實用新型中的技術方案進行清楚、完整地 描述，顯然，所述的實施例是本實用新型的一部分實施例，而不是全部實施例?；诒緦嵱?新型中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他 實施例都屬于本實用新型保護的范圍。
[0047] 本實用新型提供的實時圖像處理電路，能夠實時完成HDR技術在FPGA上的實現。 如圖1所示，該實時圖像處理電路包括：
[0048] 101、獲取源視頻。
[0049] 其中，所述源視頻各幀由同一場景不同曝光量的圖像組成，曝光包圍數量可根據 實際需要調節(jié)。具體通過控制傳感器，實現源視頻各幀循環(huán)交替曝光。源視頻中每幀的每 個曝光設置隨視頻拍攝裝置（如相機）幀數交替改變。例如，相機幀數為60幀/秒，則源 視頻每幀的曝光設置1/60秒改變一次。相鄰幀的曝光差相同，以曝光包圍數量是3且曝光 間隔數量是2為例，根據時間順序，第一張圖像的曝光量是第二張圖像曝光量的2倍，第二 張圖像曝光量是第三張圖像曝光量的2倍。而第四張圖像的曝光設置和第一張相同，如是 循環(huán)。
[0050] 102、將源視頻中曝光量不同的各圖像的對應像素數據寫入不同緩存區(qū)，并同步讀 出各緩存區(qū)曝光量不同但位置相同的像素數據。
[0051] 具體的，將源視頻中曝光量不同的各圖像的對應像素數據寫入N個不同緩存區(qū)， 當所述N個緩存區(qū)均寫入像素數據時，采用N個讀命令讀取所述N個緩存區(qū)的像素數據，并 采用1個寫命令寫入第i個像素數據，所述讀取和寫入命令采用輪詢方