本發(fā)明涉及一種高分辨率圖像融合處理電路，屬于圖像處理技術領域。

背景技術：

可見光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細節(jié)；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景。單獨使用可見光圖像或紅外圖像均存在不足之處，對于這兩種具有互補性的圖像，圖像融合技術能夠有效地綜合和發(fā)掘它們的特征信息，增強場景理解，突出目標，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。隨著可見光圖像與紅外圖像的融合技術的發(fā)展，融合技術已經(jīng)達到了實用化水平，但目前市面上已知的圖像融合實時處理平臺主要基于pal制式模擬視頻的處理。

近年來，高分辨率ccd及紅外機芯的成功研制，市場對高分辨率的實時數(shù)字融合處理系統(tǒng)的需求增加?，F(xiàn)有圖像融合處理電路主要有dsp+fpga與fpga兩種架構。主要對pal制式模擬視頻信號進行處理。采用dsp+fpga架構的圖像融合處理電路，圖像處理延時較大，通常要超過40ms，使用fpga芯片的處理電路圖像處理延時較小。但目前的融合處理電路主要是處理模擬視頻信號，模擬視頻圖像幀頻低、圖像分辨率低、數(shù)據(jù)量小、電路處理速度慢。為此，本發(fā)明設計了一種實時高分辨率圖像融合處理電路。

技術實現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術中存在的不足，提供一種高分辨率圖像融合處理電路，實現(xiàn)對實時高分辨微光圖像與紅外圖像的融合處理，以實現(xiàn)高分辨率ccd與高分辨率紅外機芯在圖像融合上的應用。

按照本發(fā)明提供的技術方案，所述的高分辨率圖像融合處理電路包括：核心處理器以及與其連接的視頻輸入模塊、視頻輸出模塊、電源模塊、時鐘模塊、存儲器模塊；

所述視頻輸入模塊，包括兩路camralink接口芯片，用于對camralink數(shù)據(jù)進行解碼，并將解碼后數(shù)據(jù)傳送到核心處理器；

所述核心處理器，用于實現(xiàn)對實時視頻圖像數(shù)據(jù)的接收、圖像縮放、字符疊加、圖像平移、圖像存儲、圖像融合算法、實時視頻圖像數(shù)據(jù)輸出；

所述視頻輸出模塊，對核心處理器產(chǎn)生的實時視頻圖像數(shù)據(jù)進行vga輸出；

所述時鐘模塊，用于產(chǎn)生各個模塊所需的時鐘；

所述存儲器模塊包括ddr3、sram、flash存儲器，用于對視頻圖像數(shù)據(jù)及系統(tǒng)數(shù)據(jù)進行存儲；

電路上電啟動后，核心處理器輸出同步信號給電路外的探測器，探測器根據(jù)核心處理器同步信號通過camralink接口輸出數(shù)字視頻圖像數(shù)據(jù)，通過視頻輸入模塊的camlink接口芯片對數(shù)據(jù)進行解碼，并傳給核心處理器；核心處理器接收到數(shù)據(jù)后，通過ddr3對視頻圖像數(shù)據(jù)進行緩存，對兩個通道的數(shù)據(jù)進行圖像的縮放處理，使得兩個通道的圖像的像素及圖像的放大率一致，并對兩個通道的數(shù)據(jù)進行十字分劃疊加，通過圖像平移進行圖像的空間配準，配準后的圖像同時進入核心處理器中的圖像融合模塊進行處理，對兩個通道的圖像數(shù)據(jù)進行圖像融合處理，融合成一幅偽彩色圖像，再轉換為rgb彩色圖像；視頻輸出模塊可以選擇實時輸出通道一視頻圖像、通道二視頻圖像以及融合后視頻圖像，并在輸出圖像上疊加所需字符。

進一步的，所述圖像融合模塊的圖像融合處理方法為：

第一步：將兩路cameralink輸入圖像的每個像素亮度值(v1，v2)轉換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個像素的亮度值，v2為另一路輸入圖像每個像素的亮度值；ys為像素亮度值，cbs為藍色差分量，crs為紅色差分量，公式如下：

ys＝v1；

cbs＝v1-v2；

crs＝v2-v1；

其中，ys，cbs，crs均為有符號數(shù)據(jù)，取值范圍為-255～255；

第二步：將(ys，cbs，crs)轉換成(yc，cbc，crc)，公式如下：

其中，yc，cbc，crc均為無符號8bit數(shù)據(jù)，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0；

ay，by，ab，bb，ar，br這6個系數(shù)預存6組，通過設置寄存器在六組系數(shù)中進行切換；6個系數(shù)的數(shù)據(jù)類型與精度如下：

ay，ab，ar：有符號定點數(shù)，整數(shù)位與方差整數(shù)位相同16bit，小數(shù)位與方差小數(shù)位相同8bit；

by，bb，br：有符號定點數(shù)，整數(shù)位與均值整數(shù)位相同8bit，小數(shù)位與均值小數(shù)位相同8bit；

為上一幀ys的均值和均方差；為上一幀cbs的均值和均方差；為上一幀crs的均值和均方差；均值為無符號數(shù)據(jù)，整數(shù)位8bit，小數(shù)位8bit；均方差為無符號數(shù)據(jù)，整數(shù)位16bit，小數(shù)位8bit；

第三步：將(yc，cbc，crc)轉換為rgb彩色圖像輸出到xga顯示，(yc，cbc，crc)轉換為rgb數(shù)據(jù)的公式如下：

r＝1.164(yc-16)+1.596(crc-128)

g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)

b＝1.164(yc-16)+1.596(cbc-128)

r，g，b為無符號8bit數(shù)據(jù)，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。

進一步的，本發(fā)明所使用的核心處理器為fpga處理器。

本發(fā)明的優(yōu)點是：本發(fā)明實現(xiàn)了高分辨率實時數(shù)字圖像的融合，比模擬視頻圖像融合處理電路處理速度快、數(shù)據(jù)處理量大，融合后圖像分辨率高。

附圖說明

圖1是本發(fā)明的硬件組成框圖。

圖2是本發(fā)明的原理框圖。

具體實施方式

本發(fā)明是一種圖像處理電路，主要用于兩路實時高分辨率視頻(圖像)數(shù)據(jù)的融合處理?？捎糜诟叻直媛饰⒐馀c紅外、白光與紅外實時圖像的融合處理。

下面結合附圖和實施例對本發(fā)明作進一步說明。

如圖1所示，本發(fā)明主要包括核心處理器、視頻輸入模塊、視頻輸出模塊、電源模塊、時鐘模塊、存儲器模塊等。

1.核心處理器：用于實現(xiàn)對實時圖像數(shù)據(jù)的接收、圖像縮放、字符疊加、圖像平移、圖像存儲、圖像融合算法、實時圖像數(shù)據(jù)輸出。

2.視頻輸入模塊：對camralink數(shù)據(jù)進行解碼，并將解碼后數(shù)據(jù)傳送到fpga。

3.視頻輸出模塊：對核心處理器產(chǎn)生的實時視頻圖像數(shù)據(jù)進行vga輸出。

4.電源模塊：為各個模塊或芯片提供所需的電源。

5.時鐘模塊：用于產(chǎn)生各個模塊所需的時鐘。

6.存儲器模塊：包括ddr3、sram、flash，用于對圖像數(shù)據(jù)及系統(tǒng)數(shù)據(jù)進行存儲。

本實施例主要元器件型號見表1。

表1器件型號表

本發(fā)明的工作原理如圖2所示。本處理電路的核心處理器為fpga，所有圖像處理算法均在fpga中實現(xiàn)。fpga不僅要進行兩個通道視頻圖像數(shù)據(jù)的輸入處理、傳輸控制，還要負責camralink外同步信號輸出、ddr3控制、sram讀寫控制、flash控制、rs422控制，最重要的，還要執(zhí)行融合處理算法以及進行vga輸出控制。

電路上電啟動，fpga輸出同步信號給電路外的探測器，探測器根據(jù)fpga同步信號通過camralink接口輸出數(shù)字視頻數(shù)據(jù)，電路通過視頻接收模塊通過camlink接口芯片對數(shù)據(jù)進行解碼，并傳給fpga，fpga接收到數(shù)據(jù)后，通過ddr3對圖像數(shù)據(jù)進行緩存，對兩個通道的數(shù)據(jù)進行圖像的縮放處理，使得兩個通道的圖像的像素及圖像的放大率一致。并對兩個通道的數(shù)據(jù)進行十字分劃疊加，通過圖像平移進行圖像的空間配準，配準后的圖像同時進入圖像融合模塊進行處理。圖像輸出模塊可以選擇輸出通道一視頻圖像、通道二視頻圖像、融合后視頻圖像，并在輸出圖像上疊加所需字符。圖中rs422實現(xiàn)與外界的數(shù)據(jù)交互；flash用于存儲電路運行中的數(shù)據(jù)，以及某些系統(tǒng)設置。

電路工作流程：

1.開機上電，電路工作，通過rs422輸出電路的自檢數(shù)據(jù)，自檢通過后，電路正常工作。

2.同時接收兩個通道的圖像數(shù)據(jù)，先對幀圖像數(shù)據(jù)進行緩存，再進行圖像的縮放、十字分劃疊加、圖像平移等圖像處理，處理后的圖像分辨率為1024×768。

3.對兩個通道的圖像數(shù)據(jù)進行圖像融合處理，融合成一幅分辨率為1024×768的偽彩色圖像，再轉換為rgb彩色圖像。

4.通過圖像輸出模塊進行輸出，實時輸出兩路xga圖像。

以下結合實施例詳細說明本發(fā)明的圖像融合算法流程。

第一步：將兩路cameralink輸入圖像的每個像素亮度值(v1，v2)轉換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個像素的亮度值，v2為另一路輸入圖像每個像素的亮度值；ys為像素亮度值，cbs為藍色差分量，crs為紅色差分量，公式如下：

ys＝v1；

cbs＝v1-v2；

crs＝v2-v1；

ys，cbs，crs均為有符號數(shù)據(jù)，取值范圍為-255～255。

第二步：再將(ys，cbs，crs)轉換成(yc，cbc，crc)，(ys，cbs，crs)到(yc，cbc，crc)的算法公式如下：

yc，cbc，crc均為無符號8bit數(shù)據(jù)，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。

ay，by，ab，bb，ar，br6個系數(shù)預存6組，可通過設置寄存器在六組系數(shù)中進行切換。6個系數(shù)的數(shù)據(jù)類型與精度如下：

ay，ab，ar：有符號定點數(shù)(補碼)，整數(shù)位與方差整數(shù)位相同16bit，小數(shù)位與方差小數(shù)位相同8bit(十進制小數(shù)點后兩位有效數(shù)字)。

by，bb，br：有符號定點數(shù)(補碼)，整數(shù)位與均值整數(shù)位相同8bit，小數(shù)位與均值小數(shù)位相同8bit(十進制小數(shù)點后兩位有效數(shù)字)。

為上一幀ys的均值和均方差；為上一幀cbs的均值和均方差；為上一幀crs的均值和均方差。

均值和均方差的計算公式如下：

均值和均方差的數(shù)據(jù)類型與精度如下：

均方差：無符號數(shù)據(jù)，整數(shù)位16bit，小數(shù)位8bit(十進制小數(shù)點后兩位有效數(shù)字)。

均值：無符號數(shù)據(jù)，整數(shù)位8bit，小數(shù)位8bit(十進制小數(shù)點后兩位有效數(shù)字)。

第三步：將(yc，cbc，crc)轉換為rgb彩色圖像輸出到xga顯示。(yc，cbc，crc)轉換為rgb數(shù)據(jù)算法公式如下：

r＝1.164(yc-16)+1.596(crc-128)

g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)

b＝1.164(yc-16)+1.596(cbc-128)

r，g，b為無符號8bit數(shù)據(jù)，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。