一種弱目標(biāo)成像檢測(cè)裝置及方法
【專利摘要】本發(fā)明公開了一種弱目標(biāo)成像檢測(cè)裝置及方法。利用目標(biāo)和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的光強(qiáng)差異，采用雙通道正交差分的成像方式實(shí)現(xiàn)光譜?偏振同步成像。硬件模塊可分為儀器殼體、光學(xué)系統(tǒng)和FPGA主控板三部分。其中儀器殼體用于連接光學(xué)鏡頭、電路板和三腳架；光學(xué)系統(tǒng)采用雙通道結(jié)構(gòu)，用于獲取兩幅不同偏振角和波段的圖像；FPGA主控板用于對(duì)雙通道CMOS圖像傳感器進(jìn)行參數(shù)配置、同步采集、圖像緩存及預(yù)處理。軟件模塊依次執(zhí)行雙通道圖像采集、圖像畸變校正、雙通道圖像配準(zhǔn)、圖像差分融合和圖像目標(biāo)檢測(cè)任務(wù)。相比現(xiàn)有方法，具有較低的硬件成本和軟件復(fù)雜度，為地面復(fù)雜背景下運(yùn)動(dòng)隱身目標(biāo)的檢測(cè)提供了一種有效的手段。
【專利說明】
一種弱目標(biāo)成像檢測(cè)裝置及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種光學(xué)成像檢測(cè)裝置及方法，尤其涉及一種弱目標(biāo)成像檢測(cè)裝置及 方法，屬于光學(xué)成像領(lǐng)域。
【背景技術(shù)】
[0002] 目標(biāo)探測(cè)與識(shí)別技術(shù)是指對(duì)固定或移動(dòng)目標(biāo)進(jìn)行非接觸測(cè)量，并可準(zhǔn)確得到目標(biāo) 的屬性信息，辨識(shí)出目標(biāo)真?zhèn)蔚母呒夹g(shù)手段。其中光學(xué)檢測(cè)由于是被動(dòng)式工作，安全隱蔽， 所以近些年得到了快速的發(fā)展和極大的重視。然而傳統(tǒng)偽裝涂料的使用使得目標(biāo)與背景之 間能夠近似實(shí)現(xiàn)"同色同譜"，利用傳統(tǒng)的光強(qiáng)探測(cè)手段難以有效檢測(cè)復(fù)雜背景中的"隱身" 弱目標(biāo)。
[0003] 偏振是光的基本特性之一，任何目標(biāo)在反射和發(fā)射電磁輻射的過程中都會(huì)表現(xiàn)出 由其自身特性和光學(xué)基本定律所決定的偏振特性。一般自然環(huán)境中地物背景的偏振度較 低，而人工目標(biāo)的偏振度較高。如植物的偏振度一般小于0.5%;巖石、沙石、裸土等的偏振 度介于0.5%~1.5%之間；水面、水泥路面、屋頂?shù)鹊钠穸纫话愦笥?.5% (尤其水面的偏 振度達(dá)到了8%~10%);某些非金屬材料和部分金屬材料表面的偏振度達(dá)到了2%以上(有 的甚至達(dá)10%以上）。通過成像獲得場(chǎng)景在不同偏振狀態(tài)下的信息，可對(duì)具有偏振-光強(qiáng)差 異的目標(biāo)及背景進(jìn)行有效區(qū)分，進(jìn)而實(shí)現(xiàn)復(fù)雜背景下弱目標(biāo)的檢測(cè)與識(shí)別。因此，近些年偏 振成像探測(cè)在氣象環(huán)境科學(xué)研究、海洋的開發(fā)利用、空間探測(cè)、生物醫(yī)學(xué)以及軍事應(yīng)用等方 面受到了越來越多的重視。
[0004]在偏振探測(cè)中，目標(biāo)光輻射的偏振態(tài)可用四個(gè)斯托克斯(Stokes)參量完整描述， 包括光波的總強(qiáng)度I、水平方向上線的偏振光強(qiáng)度Q、45°/135°方向上線的偏振光強(qiáng)度U，以及 圓偏振光的強(qiáng)度V。實(shí)際應(yīng)用中，V可以忽略不計(jì)，進(jìn)而將偏振度描述為P / /， 偏振角描述為9 = 〇.5arctan(U/Q)。因此為了得到上述偏振態(tài)信息，至少要獲取三幅不同偏 振方向的光強(qiáng)圖像以計(jì)算參量I、Q、U。
[0005]據(jù)此原理，目前得到應(yīng)用的偏振成像探測(cè)裝置主要有四種：（1)分時(shí)成像的方式。 該方式采用一個(gè)成像器件，通過順序旋轉(zhuǎn)安裝在鏡頭前的偏振片來獲得0°、60°、90°三個(gè)不 同偏振方向的圖像;具有結(jié)構(gòu)簡(jiǎn)單、易實(shí)現(xiàn)的優(yōu)點(diǎn);但是僅適用于目標(biāo)與背景均為靜止的情 況。（2)光路分光的方式。該方式采用光束分離器和延遲器，將通過單鏡頭的光束均勻地分 成相同的三份，并經(jīng)過0°、60°、90°方向的偏振片投射到三個(gè)獨(dú)立的成像器件上；可以同時(shí) 獲得三方向的偏振圖像;但這種方式會(huì)使入射到單個(gè)成像器件上的能量大幅減少，導(dǎo)致成 像信噪比明顯降低。（3)分焦平面的方式。該方式采用特殊工藝制作的成像器件，其上的每 一個(gè)像素分別對(duì)應(yīng)0°、60°、90°中的一個(gè)偏振方向，并按照類似彩色圖像傳感器中RGB分布 的Bayer格式進(jìn)行排布;不僅可以實(shí)現(xiàn)同時(shí)偏振成像，而且無需額外的分光器件，易于實(shí)現(xiàn) 儀器的小型化;但分焦平面器件的制作工藝復(fù)雜且未實(shí)現(xiàn)產(chǎn)品化。（4)空間配準(zhǔn)的方式。該 方式采用三臺(tái)相機(jī)組成三通道同步成像系統(tǒng)，分別采集0°、60°、90°方向的偏振圖像，再通 過圖像空間配準(zhǔn)算法將三幅圖像重疊區(qū)域的像素對(duì)齊;具有較低的硬件復(fù)雜度;但由于三 通道的畸變參數(shù)及拍攝視角不一致，如不能合理地校正，將導(dǎo)致圖像配準(zhǔn)精度不高，影響弱 小目標(biāo)的檢測(cè)。實(shí)際上對(duì)于弱目標(biāo)檢測(cè)的應(yīng)用而言，偏振成像的目的不是獲取偏振度或偏 振角信息，而是如何實(shí)時(shí)、高效地增強(qiáng)目標(biāo)和背景的對(duì)比度。從這個(gè)角度來看，利用Stokes 方程對(duì)多通道圖像進(jìn)行融合并不是一種高效的方法。
[0006] 本發(fā)明利用目標(biāo)和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的 光強(qiáng)差異，采用雙通道正交差分的成像方式實(shí)現(xiàn)光譜-偏振同步成像，相比現(xiàn)有同步偏振成 像方式，具有較低的硬件成本和軟件復(fù)雜度，為地面復(fù)雜背景下運(yùn)動(dòng)隱身目標(biāo)的檢測(cè)提供 了一種有效的手段。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明針對(duì)現(xiàn)有地面復(fù)雜背景下運(yùn)動(dòng)隱身目標(biāo)檢測(cè)系統(tǒng)存在的不足，提供了一種 弱目標(biāo)成像檢測(cè)裝置及方法。
[0008] 本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：
[0009] 一種弱目標(biāo)成像檢測(cè)裝置，由儀器殼體、光學(xué)系統(tǒng)和FPGA主控板三部分組成，其特 征在于:儀器殼體用于連接光學(xué)鏡頭、電路板和三腳架，包括殼體前面板、殼體后框及三腳 架固定座;光學(xué)系統(tǒng)采用雙通道結(jié)構(gòu)，用于獲取兩幅不同偏振角和波段的圖像，通道1包括 0°線偏振濾鏡、光學(xué)鏡頭、C口鏡頭接圈、濾光片座、470nm窄帶濾光片和CMOS圖像傳感器;通 道2包括90°線偏振濾鏡、光學(xué)鏡頭、C口鏡頭接圈、濾光片座、630nm窄帶濾光片和CMOS圖像 傳感器;FPGA主控板用于對(duì)雙通道CMOS圖像傳感器進(jìn)行參數(shù)配置、同步采集、圖像緩存及預(yù) 處理，并通過USB接口傳輸至PC機(jī)。
[0010]所述的殼體前面板的尺寸為100mmX50mmX5mm，其上安裝有用于固定光學(xué)鏡頭的 兩個(gè)C 口鏡頭接圈，兩個(gè)接圈的中心間距為5 0 mm，螺紋外徑為2 5.1 mm;殼體后框的尺寸為 100mm X 50mm X 30mm，通過前面板四周的12顆規(guī)格為〇 3*6的螺絲與之相連，其左側(cè)有一個(gè)B 型USB接口，用來連接FPGA主控板和PC機(jī);三腳架固定座位于殼體后框的下側(cè)，通過中心規(guī) 格為1 /4-20的螺孔連接三腳架的云臺(tái)。
[0011]所述的通道1和通道2的光學(xué)鏡頭的焦距均為8mm定焦，光圈調(diào)節(jié)范圍為F1.4-F16， 對(duì)焦范圍為O.lm-m，和前面板上的兩個(gè)C 口鏡頭接圈相連;兩片旋轉(zhuǎn)式線偏振濾鏡通過尺 寸為M30.5 X 0.5mm的接圈分別安裝在兩個(gè)光學(xué)鏡頭前;采用線偏振標(biāo)定板將二者對(duì)應(yīng)的線 偏振濾鏡的偏振方向分別調(diào)節(jié)至0°和90°;兩片窄帶濾光片分別通過濾光片座安裝于CMOS 圖像傳感器的表面;濾光片均采用鏡面玻璃材質(zhì)，尺寸為12mmX 12mmX0.7mm，中心波長分 別為470nm和630nm，半帶寬為20nm，峰值透射率>90%，截止深度〈1% ;CM0S圖像傳感器采用 130萬像素的1/2〃單色面陣傳感器，光譜響應(yīng)范圍為400-1050nm。
[0012]所述的FPGA主控板以一片非易失性FPGA芯片為核心，并采用可編程片上系統(tǒng)技術(shù) 將32位的軟核Nios II處理器及其部分外設(shè)集成在單芯片內(nèi)，片外僅采用一片USB2.0接口 芯片和B型USB接口與PC機(jī)通信;Nios II處理器通過Avalon總線控制用戶RAM、用戶FLASH、 USB控制器、雙通道對(duì)應(yīng)的2組雙口 RAM控制器及圖像采集模塊等片內(nèi)外設(shè)；用戶RAM用作 Nios II處理器的運(yùn)行內(nèi)存；用戶FLASH用于存儲(chǔ)Nios II處理器執(zhí)行的程序代碼;USB控制 器用于USB2.0接口芯片的配置和總線協(xié)議轉(zhuǎn)換;雙口RAM是一個(gè)異步FIFO,用于圖像行有效 數(shù)據(jù)的篩選和處理，并使數(shù)據(jù)在傳輸過程中保持同步；圖像采集模塊包括配置控制器和時(shí) 序控制器兩部分，配置控制器通過I2c雙向數(shù)據(jù)串行總線SCLK、SDATA對(duì)CMOS圖像傳感器內(nèi) 部寄存器進(jìn)行配置，時(shí)序控制器通過時(shí)序信號(hào)3了如8￡、？以0^、1_￥4110、？_￥41^0和控制信 號(hào)STANDBY、TRIGGER、CLKIN控制CMOS圖像傳感器同步輸出數(shù)據(jù)D0UT[ 9:0 ]。
[0013] 所述的FPGA主控板的工作流程為：主控板上電后首先進(jìn)行系統(tǒng)初始化，然后令 Nios II處理器處于等待狀態(tài);PC通過USB接口向主控板發(fā)送起始信號(hào)后，Nios II處理器通 過配置控制器依次對(duì)雙通道的CMOS圖像傳感器進(jìn)行寫寄存器操作，將其設(shè)置為抓拍模式， 并配置圖像分辨率、曝光時(shí)間及電子增益等參數(shù)。設(shè)置完成后，配置控制器的I 2C總線進(jìn)入 空閑狀態(tài)，并令2組時(shí)序控制器同步發(fā)送TRIGGER脈沖；CMOS圖像傳感器收到TRIGGER脈沖 后，內(nèi)部進(jìn)行行復(fù)位，完成后輸出STROBE脈沖，脈沖寬度標(biāo)識(shí)像素積分時(shí)間的長度;STROBE 信號(hào)由1跳變?yōu)椹柡螅］敵鰯?shù)據(jù)D0UT[7:0]，同時(shí)輸出同步信號(hào);時(shí)序 控制器接收到返回的數(shù)據(jù)和同步信號(hào)后，首先進(jìn)行"與"操作；當(dāng)結(jié)果 為高時(shí)代表此時(shí)數(shù)據(jù)有效，進(jìn)而以像素時(shí)鐘為工作時(shí)鐘按照地址〇~1280將其存儲(chǔ)在雙口 RAM中；當(dāng)結(jié)果由高變低時(shí)，代表一行有效數(shù)據(jù)傳輸完畢，此時(shí)將2組雙口 RAM中的數(shù)據(jù)每512 個(gè)字節(jié)打包為一個(gè)數(shù)據(jù)包依次輸出到USB2.0接口芯片的FIFO中，再經(jīng)USB線傳輸至PC;當(dāng)一 幀數(shù)據(jù)傳輸完畢后，Nios II處理器通過配置控制器設(shè)置CMOS圖像傳感器為STANDBY模式， 停止數(shù)據(jù)輸出并等待下一個(gè)起始信號(hào)。
[0014] 如前所述一種弱目標(biāo)成像檢測(cè)裝置的檢測(cè)方法，包括以下五個(gè)主要步驟：
[0015] (1)雙通道圖像采集，任務(wù)開始后首先掃描USB端口并連接指定的成像裝置;確認(rèn) 連接后向成像裝置發(fā)送控制字以設(shè)置成像參數(shù)，包括圖像分辨率、曝光時(shí)間和電子增益等； 完成設(shè)置后發(fā)送一次采集指令并等待接收?qǐng)D像數(shù)據(jù)，當(dāng)雙通道的圖像數(shù)據(jù)均傳輸完成后以 無損壓縮的位圖格式保存圖像。
[0016] (2)圖像畸變校正，設(shè)計(jì)采用張正友法標(biāo)定成像系統(tǒng)的光學(xué)畸變參數(shù)，非線性畸變 模型僅考慮圖像的徑向畸變： - x{k{r2 + k2rA + 6 + )
[0017] ； ^ ( | d'j - v( A",/'2 -f k,rA +kjJ, + J
[0018] 其中，Sx和SY是畸變值，它與投影點(diǎn)在圖像中的像素位置有關(guān)。X、y是圖像點(diǎn)在成像 平面坐標(biāo)系下根據(jù)線性投影模型得到的歸一化投影值，/^^: 2+/上1上上等為徑向畸變 系數(shù)，這里只考慮二次畸變，畸變后的坐標(biāo)為： xd = x + Sx = x + xyk^'1 + k^r4 j
[0019] { ' -, ' -r + <>] = v + v ( k/ + ]
[0020]令(Ud，vd)、（u，v)分別為圖像坐標(biāo)系下空間點(diǎn)對(duì)應(yīng)的實(shí)際坐標(biāo)和理想坐標(biāo)，則兩者 關(guān)系為： {u - u(< (lit - Mn) k, u：, -u
[0021] ， 1 1 =" L(v~v〇)r' (v~v0)r [v(/-vj
[0022]將線性標(biāo)定結(jié)果作為參數(shù)初值，帶入以下目標(biāo)函數(shù)求最小值，實(shí)現(xiàn)非線性參數(shù)的 估計(jì)：
[0024] 其中，丨，A'/,)是標(biāo)定模板的第j點(diǎn)在第i幅圖像上，利用估計(jì)參數(shù)得到 的投影點(diǎn)，M」為標(biāo)定模板第j點(diǎn)在世界坐標(biāo)系下的坐標(biāo)值，m為每幅圖像特征點(diǎn)個(gè)數(shù)，n為圖 像數(shù)目；利用LM迭代法優(yōu)化所得的相機(jī)標(biāo)定參數(shù)，最終得到較為精確的徑向畸變系數(shù)，進(jìn)而 反求無畸變的圖像坐標(biāo)。
[0025] (3)雙通道圖像配準(zhǔn)，用于實(shí)現(xiàn)不同成像視場(chǎng)、波段、偏振角和光學(xué)畸變條件下雙 通道圖像的像素對(duì)齊，采用一種基于SURF特征點(diǎn)的圖像配準(zhǔn)算法，包括以下五個(gè)子步驟： [0026] 1)檢測(cè)SURF特征點(diǎn)，在構(gòu)建積分圖像的基礎(chǔ)上，利用方框型濾波近似替代二階高 斯濾波，并對(duì)待選特征點(diǎn)和它周圍的點(diǎn)分別計(jì)算H e s s i a n值，如果該特征點(diǎn)具有最大的 Hessian值，貝lj其為特征點(diǎn)；
[0027] 2)生成特征描述向量，使用特征點(diǎn)鄰域的灰度信息，通過計(jì)算積分圖像的一階 Haar小波響應(yīng)，得到灰度分布信息來產(chǎn)生128維的特征描述向量；
[0028] 3)兩步法匹配特征點(diǎn)，通過基于最鄰近次鄰近比值法的粗匹配算法和基于RANSAC 的精匹配算法兩個(gè)步驟，建立參考圖像和待配準(zhǔn)圖像特征點(diǎn)之間正確的一一對(duì)應(yīng)匹配關(guān) 系，其特征在于：當(dāng)兩幅圖像的特征向量生成后，首先采用SURF特征描述向量的歐式距離作 為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量，方法是通過K-d樹得到一個(gè)特征點(diǎn)到最近鄰特征 點(diǎn)的距離d ND，其到次近鄰特征點(diǎn)的距離dNND，如果它們的比值小于閾值e，則保留該特征點(diǎn)與 其最近鄰構(gòu)成的匹配點(diǎn)對(duì);然后隨機(jī)選取4對(duì)初始匹配特征點(diǎn)，計(jì)算由這4對(duì)點(diǎn)所確定的透 視變換矩陣H，再用該矩陣衡量其余特征點(diǎn)的匹配程度： (xr,Nj .卜-彳
[0029] V- -H V, <t u J u J
[0030] 其中，t為閾值，小于等于t的特征點(diǎn)對(duì)為H的內(nèi)點(diǎn)，大于t的特征點(diǎn)對(duì)則為外點(diǎn)，這 樣不斷更新內(nèi)點(diǎn)集，由RANSAC的k次隨機(jī)采樣可得到最大的內(nèi)點(diǎn)集合，此時(shí)也得到了優(yōu)化后 的內(nèi)點(diǎn)集合所對(duì)應(yīng)的透視變換矩陣H;
[0031] 4)坐標(biāo)變換及重采樣，根據(jù)求得的透視變換矩陣H對(duì)圖像像素的坐標(biāo)進(jìn)行線性變 換，并采用雙線性插值法對(duì)圖像像素的灰度值進(jìn)行重采樣，雙線性插值法假定內(nèi)插點(diǎn)周圍 四個(gè)點(diǎn)圍城的區(qū)域內(nèi)的灰度變化是線性的，從而可以用線性內(nèi)插方法，根據(jù)四個(gè)近鄰像素 的灰度值，計(jì)算出內(nèi)插點(diǎn)的灰度值；
[0032] 5)裁剪圖像重疊區(qū)域，根據(jù)下式對(duì)圖像坐標(biāo)變換后的四個(gè)邊界點(diǎn)進(jìn)行判別，確定 圖像配準(zhǔn)后重疊區(qū)域的四個(gè)邊界點(diǎn)坐標(biāo)(X min，Ymin)、（ Xmin，Ymax)、（ Xmax，Ymin)、（ Xmax，Ymax): 'Xmm = max(X0,X3), Xmra = 0 | Xmio < 0 =mm(XrX^W - 1)
[0033] 、轉(zhuǎn) 12 = maxCF^Fj), Fmill = 〇 | Fmm < 0
[0034] 其中，W、H為圖像的寬和高，按照以上邊界點(diǎn)構(gòu)成的矩形區(qū)域?qū)﹄p通道圖像進(jìn)行裁 剪，得到配準(zhǔn)的0°和90°偏振圖像1(0°)和1(90°);
[0035] (4)圖像差分融合，采用雙通道正交差分的方式融合得到的正交差分圖像表示為：
[0036] Q=I(0°)-I(90°)
[0037] (5)圖像目標(biāo)檢測(cè)，系統(tǒng)基于形態(tài)學(xué)的方法對(duì)正交差分偏振圖像進(jìn)行目標(biāo)檢測(cè)，包 括以下三個(gè)子步驟：
[0038] 1)二值化處理，采用最大類間方差法自適應(yīng)選取全局閾值，原理如下:設(shè)圖像有M個(gè) 灰度值，取值范圍在0M-1，在此范圍內(nèi)選取灰度值t，將圖像分成兩組Go和G^Go包含的像素的 灰度值在OtA的灰度值在t+lM-1，用N表示圖像像素總數(shù)，m表示灰度值為i的像素的個(gè)數(shù)，則 每個(gè)灰度值i出現(xiàn)的概率為Pi=m/N，G()和Gi類出現(xiàn)的概率為叫q = = 1-%, i M--\ 均值為a = Da，a = Z如,則類間方差為： i=0 i=t-v\
[0039] o(t)2= co 〇 o i(y〇-]ii)2
[0040]最佳閾值T就是使類間方差最大的t的取值，即：
[0041] T = argmax〇(t)2,tG [0,M-1]
[0042] 2)開運(yùn)算操作，開運(yùn)算操作用于濾除細(xì)小的干擾物并獲得較為精確的目標(biāo)輪廓， 它定義為先腐蝕后膨脹的過程:腐蝕的作用是消除物體中不相關(guān)的細(xì)節(jié)，特別是邊緣點(diǎn)，使 物體的邊界向內(nèi)部收縮，其表達(dá)式如下：
[0043] v|5vyc
[0044]其中，E表示腐蝕后的二值圖像;B表示結(jié)構(gòu)元素即模板，它是由0或1組成的任何一 種形狀的圖形，在B中有一個(gè)中心點(diǎn)，以此點(diǎn)為中心進(jìn)行腐蝕;X是原圖像經(jīng)過二值化處理后 的圖像的像素集合;運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素B，當(dāng)其中心點(diǎn)與X圖像上的某一 點(diǎn)（x，y)重合時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果每個(gè)像素點(diǎn)都與以（x，y)為中心的相同位 置中對(duì)應(yīng)像素點(diǎn)完全相同，那么像素點(diǎn)（x，y)將被保留在E中，對(duì)于不滿足條件的像素點(diǎn)則 被剔除掉，從而可達(dá)到收縮邊界的效果;膨脹與腐蝕的作用相反，它對(duì)二值化物體輪廓的邊 界點(diǎn)進(jìn)行擴(kuò)充，能夠填補(bǔ)分割后物體中殘留的空洞，使物體完整，其表達(dá)式如下：
[0045] 5 = X@B = {x, v|.SV v
[0046] 其中，S表示膨脹后的二值圖像像素點(diǎn)的集合;B表示結(jié)構(gòu)元素即模板;X表示經(jīng)過 二值化處理后的圖像像素集合。運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素B，當(dāng)B的中心點(diǎn)移到 X圖像上的某一點(diǎn)（x，y)時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果結(jié)構(gòu)元素B內(nèi)的像素點(diǎn)與X圖像 的像素點(diǎn)至少有一個(gè)相同，那么就保留(x，y)像素點(diǎn)在S中，否則就去掉此像素點(diǎn);對(duì)二值圖 像進(jìn)行開運(yùn)算操作后，圖像被劃分成多個(gè)連通區(qū)域；
[0047] 3)連通域識(shí)別，首先采用8鄰接判據(jù)對(duì)圖像中的連通域進(jìn)行分割，8鄰接連通域的 定義是:該區(qū)域中每個(gè)像素，其所有8個(gè)方向的8個(gè)相鄰像素中至少有一個(gè)像素仍然屬于該 區(qū)域，根據(jù)該定義將二值圖像中不同的連通域填入不同的數(shù)字標(biāo)記;然后分別提取各連通 域的像素周長，并和預(yù)先設(shè)定的目標(biāo)閾值進(jìn)行對(duì)比，如果在閾值區(qū)間內(nèi)則判定為候選目標(biāo)； 最后采用能夠包圍其連通域輪廓的最小矩形框在圖像中標(biāo)識(shí)出候選目標(biāo)，完成目標(biāo)檢測(cè)。 [0048]本發(fā)明具有以下有益效果：
[0049] 1、硬件系統(tǒng)易于實(shí)現(xiàn)。無需復(fù)雜的光路分光設(shè)計(jì)或成像器件制作工藝。
[0050] 2、軟件計(jì)算復(fù)雜度低。復(fù)雜的相機(jī)標(biāo)定工作僅需在實(shí)驗(yàn)室中進(jìn)行一次；圖像融合 無需計(jì)算偏振度、僅需進(jìn)行一次簡(jiǎn)單的像素灰度差分運(yùn)算。
[0051] 3、算法的配準(zhǔn)精度高。在配準(zhǔn)前對(duì)相機(jī)的非線性畸變進(jìn)行了校正。
[0052] 4、適用于運(yùn)動(dòng)目標(biāo)的檢測(cè)。
【附圖說明】
[0053]圖1是本發(fā)明涉及的弱目標(biāo)成像檢測(cè)系統(tǒng)軟硬件功能模塊框圖。
[0054] 圖2是本發(fā)明涉及的弱目標(biāo)成像檢測(cè)裝置硬件結(jié)構(gòu)立體示意圖，圖中標(biāo)號(hào)名稱：1 為殼體前面板;2為殼體后框;3為三腳架固定座;4為0°線偏振濾鏡;5為90°線偏振濾鏡;6、7 為光學(xué)鏡頭;8、9為C 口鏡頭接圈；10、11為濾光片座；12為470nm窄帶濾光片；13為630nm窄帶 濾光片；14、15為CMOS圖像傳感器;16為USB接口。
[0055] 圖3本發(fā)明涉及的FPGA主控板硬件電路框圖。
[0056] 圖4是本發(fā)明涉及的弱目標(biāo)成像檢測(cè)方法軟件流程框圖。
【具體實(shí)施方式】
[0057] 下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明：
[0058] 本發(fā)明的弱目標(biāo)成像檢測(cè)系統(tǒng)軟硬件功能模塊框圖如圖1所示。弱目標(biāo)成像檢測(cè) 裝置的硬件模塊可分為儀器殼體、光學(xué)系統(tǒng)和FPGA主控板三部分。其中儀器殼體用于連接 光學(xué)鏡頭、電路板和三腳架，包括殼體前面板、殼體后框及三腳架固定座;光學(xué)系統(tǒng)采用雙 通道結(jié)構(gòu)，用于獲取兩幅不同偏振角和波段的圖像，通道1包括0°線偏振濾鏡、光學(xué)鏡頭、C 口鏡頭接圈、濾光片座、470nm窄帶濾光片和CMOS圖像傳感器;通道2包括90°線偏振濾鏡、光 學(xué)鏡頭、C口鏡頭接圈、濾光片座、630nm窄帶濾光片和CMOS圖像傳感器;FPGA主控板用于對(duì) 雙通道CMOS圖像傳感器進(jìn)行參數(shù)配置、同步采集、圖像緩存及預(yù)處理，并通過USB接口傳輸 至PC機(jī)。軟件模塊運(yùn)行于PC機(jī)上，依次執(zhí)行雙通道圖像采集、圖像畸變校正、雙通道圖像配 準(zhǔn)、圖像差分融合和圖像目標(biāo)檢測(cè)任務(wù)。
[0059] 本發(fā)明的弱目標(biāo)成像檢測(cè)裝置硬件結(jié)構(gòu)立體示意圖如圖2所示。殼體前面板1的尺 寸為10〇111111\5〇111111\5111111，其上安裝有用于固定光學(xué)鏡頭的(：口鏡頭接圈8、9，兩個(gè)接圈的中 心間距為50mm，螺紋外徑為25.1mm。殼體后框2的尺寸為lOOmmX 50mmX 30mm，通過前面板四 周的12顆規(guī)格為〇 3*6的螺絲與之相連;其左側(cè)有一個(gè)B型USB接口 16，用來連接FPGA主控板 和PC機(jī)。三腳架固定座3位于殼體后框的下側(cè)，通過中心規(guī)格為1/4-20(外徑1/4英寸，螺距 20牙/英寸）的螺孔連接三腳架的云臺(tái)。光學(xué)鏡頭6、7的焦距均為8mm定焦，光圈調(diào)節(jié)范圍為 F1.4-F16,對(duì)焦范圍為0.1m-〇〇,分別和前面板上的C 口鏡頭接圈8、9相連。兩片旋轉(zhuǎn)式線偏 振濾鏡4、5通過尺寸為M30.5 X 0.5mm(外徑30.5mm、螺距0.5mm)的接圈分別安裝在光學(xué)鏡頭 6、7前;采用線偏振標(biāo)定板將二者對(duì)應(yīng)的線偏振濾鏡的偏振方向分別調(diào)節(jié)至0°和90°。兩片 窄帶濾光片12、13分別通過的濾光片座10、11安裝于CMOS圖像傳感器14、15的表面;濾光片 均米用鏡面玻璃材質(zhì)，尺寸為12mmX 12mmX0.7mm，中心波長分別為470nm和630nm，半帶寬 為20nm，峰值透射率>90 %，截止深度〈1 % XM0S圖像傳感器14、15均采用130萬像素的 MT9M00UMT9M001為1/2〃的單色面陣傳感器，光譜響應(yīng)范圍為400-1050nm;成像信噪比和動(dòng) 態(tài)范圍分別為45dB和68 ? 2dB，已能夠達(dá)到CCD的水平；5 ? 2圓X 5 ? 2圓的像素尺寸使其達(dá)到 2. lV/lux-sec的高弱光靈敏度;而1280 X 1024@30fps的連續(xù)圖像捕獲能力能夠滿足大多數(shù) 運(yùn)動(dòng)目標(biāo)的探測(cè)需求。
[0060]本發(fā)明的FPGA主控板硬件電路框圖如圖3所示。為實(shí)現(xiàn)雙通道CMOS圖像傳感器的 同步采集及控制，主控板的硬件設(shè)計(jì)以一片非易失性FPGA芯片為核心，并采用可編程片上 系統(tǒng)技術(shù)將32位的軟核Nios II處理器及其部分外設(shè)集成在單芯片內(nèi)，片外僅采用一片 USB2.0接口芯片和B型USB接口與PC機(jī)通信，大大提高了系統(tǒng)組件功能的集成度，并降低了 系統(tǒng)級(jí)成本。Nios II處理器以IP核的方式構(gòu)建，通過Avalon總線控制用戶RAM、用戶FLASH、 USB控制器、雙通道對(duì)應(yīng)的2組雙口 RAM控制器及圖像采集模塊等片內(nèi)外設(shè)。其中，用戶RAM用 作Nios II處理器的運(yùn)行內(nèi)存；用戶FLASH用于存儲(chǔ)Nios II處理器執(zhí)行的程序代碼;USB控 制器用于USB2.0接口芯片的配置和總線協(xié)議轉(zhuǎn)換;雙口 RAM是一個(gè)異步FIFO,用于圖像行有 效數(shù)據(jù)的篩選和處理，并使數(shù)據(jù)在傳輸過程中保持同步；圖像采集模塊包括配置控制器和 時(shí)序控制器兩部分，配置控制器通過I 2C雙向數(shù)據(jù)串行總線SCLK、SDATA對(duì)CMOS圖像傳感器 內(nèi)部寄存器進(jìn)行配置，時(shí)序控制器通過時(shí)序信號(hào)3了如8￡、？^0^、1_￥4110、？_￥41^0和控制 信號(hào)STANDBY、TRIGGER、CLKIN控制CMOS圖像傳感器同步輸出數(shù)據(jù)D0UT[ 9:0 ]。
[0061 ] 具體實(shí)施時(shí)，F(xiàn)PGA芯片采用ALTERA公司的MAX 10系列型號(hào)為10M08E144ES的芯片。 此芯片采用TSMC的55nm嵌入式N0R閃存技術(shù)制造，具有8K個(gè)邏輯單元、378Kb的嵌入式SRAM 資源，以及172KB的用戶FLASH資源。由于CMOS圖像傳感器的最大像素陣列為1280X1024,量 化位數(shù)為8bit，緩存1行數(shù)據(jù)需要10Kbit的存儲(chǔ)空間，因此從嵌入式SRAM資源中分配出2塊 10Kb的空間用于構(gòu)建2個(gè)雙口 RAM，而將剩余的358Kb分配給用戶RAMWSBS.O接口芯片采用 CYPRESS公司的CY7C68013A，其內(nèi)部FIFO資源大小為4KB，外圍設(shè)備和USB接口可以同時(shí)對(duì)此 FIFO資源進(jìn)行操作，在不需要USB固件程序的參與下FIFO與外部電路可以進(jìn)行數(shù)據(jù)傳輸，最 大傳輸速率為96MB/s。
[0062] FPGA主控板的工作流程為:主控板上電后首先進(jìn)行系統(tǒng)初始化，然后令Nios II處 理器處于等待狀態(tài)。PC通過USB接口向主控板發(fā)送起始信號(hào)后，Nios II處理器通過配置控 制器依次對(duì)雙通道的CMOS圖像傳感器進(jìn)行寫寄存器操作，將其設(shè)置為抓拍模式，并配置圖 像分辨率、曝光時(shí)間及電子增益等參數(shù)。設(shè)置完成后，配置控制器的I 2C總線進(jìn)入空閑狀態(tài)， 并令2組時(shí)序控制器同步發(fā)送TRIGGER脈沖。CMOS圖像傳感器收到TRIGGER脈沖后，內(nèi)部進(jìn)行 行復(fù)位，完成后輸出STROBE脈沖，脈沖寬度標(biāo)識(shí)像素積分時(shí)間的長度。STROBE信號(hào)由1跳變 為0后，正常輸出數(shù)據(jù)D0UT[7:0]，同時(shí)輸出同步信號(hào)時(shí)序控制器接收到 返回的數(shù)據(jù)和同步信號(hào)后，首先進(jìn)行"與"操作。當(dāng)結(jié)果為高時(shí)代表此 時(shí)數(shù)據(jù)有效，進(jìn)而以像素時(shí)鐘為工作時(shí)鐘按照地址〇~1280將其存儲(chǔ)在雙口RAM中；當(dāng)結(jié)果 由高變低時(shí)，代表一行有效數(shù)據(jù)傳輸完畢，此時(shí)將2組雙口 RAM中的數(shù)據(jù)每512個(gè)字節(jié)打包為 一個(gè)數(shù)據(jù)包依次輸出到USB2.0接口芯片的FIFO中，再經(jīng)USB線傳輸至PC。當(dāng)一幀數(shù)據(jù)傳輸完 畢后，Nios II處理器通過配置控制器設(shè)置CMOS圖像傳感器為STANDBY模式，停止數(shù)據(jù)輸出 并等待下一個(gè)起始信號(hào)。
[0063] 本發(fā)明的弱目標(biāo)成像檢測(cè)方法軟件流程框圖如圖4所示。弱目標(biāo)成像檢測(cè)方法包 括以下五個(gè)主要步驟：
[0064] (1)雙通道圖像采集。任務(wù)開始后，首先掃描USB端口并連接指定的成像裝置;確認(rèn) 連接后向成像裝置發(fā)送控制字以設(shè)置成像參數(shù)，包括圖像分辨率、曝光時(shí)間和電子增益等； 完成設(shè)置后發(fā)送一次采集指令并等待接收?qǐng)D像數(shù)據(jù)，當(dāng)雙通道的圖像數(shù)據(jù)均傳輸完成后以 無損壓縮的位圖格式保存圖像。
[0065] (2)圖像畸變校正。為實(shí)現(xiàn)雙通道圖像的精確配準(zhǔn)，需要分別對(duì)兩幅圖像進(jìn)行畸變 校正。考慮到成像系統(tǒng)的雙通道具有獨(dú)立性，設(shè)計(jì)采用經(jīng)典的張正友平面標(biāo)定法標(biāo)定成像 系統(tǒng)的光學(xué)畸變參數(shù)。光學(xué)畸變是非線性的，主要包括徑向畸變、切向畸變、離心畸變及薄 棱鏡畸變等，需要用非線性模型進(jìn)行畸變參數(shù)的估計(jì)。其中徑向畸變是圖像產(chǎn)生誤差的主 要因素，其模型可近似描述為： I = .v (k,r~ + /c.r4 + k,r° + )
[0066] ， - , (1) 卜、=v ("丨/H，4 + 人、廠6 + )
[0067] 其中，心和心是畸變值，它與投影點(diǎn)在圖像中的像素位置有關(guān)。x、y是圖像點(diǎn)在成像 平面坐標(biāo)系下根據(jù)線性投影模型得到的歸一化投影值，r = + /。h、k2、k3等為徑向畸變 系數(shù)，這里只考慮二次畸變，畸變后的坐標(biāo)為： xd = x + S^ = x + .V (/c, r" + )
[0068] { ； '(2) y, - v + r)； - v + .v(av-； )
[0069] 令(Ud，vd)、（u，v)分別為圖像坐標(biāo)系下空間點(diǎn)對(duì)應(yīng)的實(shí)際坐標(biāo)和理想坐標(biāo)。則兩者 關(guān)系為： (li-uAr1 (I?，一「灸1_|
[0070] ° , } 4 , = (3) Uv -v?)r (v-v0)r」p2」卜廠v」
[0071] 將線性標(biāo)定結(jié)果作為參數(shù)初值，帶入以下目標(biāo)函數(shù)求最小值，實(shí)現(xiàn)非線性參數(shù)的 估計(jì)： n m 2
[0072] XS mij -m(A,kvk2,Ri,tnMj) (4) i=l
[0073] 其中，；^?,卜，/?,乂.，從,)是標(biāo)定模板的第」點(diǎn)在第1幅圖像上，利用估計(jì)參數(shù)得到 的投影點(diǎn)，Mj為標(biāo)定模板第j點(diǎn)在世界坐標(biāo)系下的坐標(biāo)值，m為每幅圖像特征點(diǎn)個(gè)數(shù)，n為圖 像數(shù)目。利用LM迭代法優(yōu)化所得的相機(jī)標(biāo)定參數(shù)，最終得到較為精確的徑向畸變系數(shù)，進(jìn)而 反求無畸變的圖像坐標(biāo)。
[0074] (3)雙通道圖像配準(zhǔn)。由于雙通道在成像視場(chǎng)、波段、偏振角和光學(xué)畸變上的差異， 兩幅圖像需要進(jìn)行配準(zhǔn)才能使待融合的像素對(duì)齊?？紤]到SURF特征點(diǎn)對(duì)圖像旋轉(zhuǎn)、平移、縮 放和噪聲具有較好的魯棒性，采用了一種基于SURF特征點(diǎn)的圖像配準(zhǔn)算法，包括以下五個(gè) 子步驟：
[0075] 1)檢測(cè)SURF特征點(diǎn)，在構(gòu)建積分圖像的基礎(chǔ)上，利用方框型濾波近似替代二階高 斯濾波，并對(duì)待選特征點(diǎn)和它周圍的點(diǎn)分別計(jì)算H e s s i a n值，如果該特征點(diǎn)具有最大的 He s s i an值，貝lj其為特征點(diǎn)。
[0076] 2)生成特征描述向量，使用的是特征點(diǎn)鄰域的灰度信息，通過計(jì)算積分圖像的一 階Haar小波響應(yīng)，得到灰度分布信息來產(chǎn)生128維的特征描述向量。
[0077] 3)兩步法匹配特征點(diǎn)，通過基于最鄰近次鄰近比值法的粗匹配算法和基于RANSAC 的精匹配算法兩個(gè)步驟，建立參考圖像和待配準(zhǔn)圖像特征點(diǎn)之間正確的一一對(duì)應(yīng)匹配關(guān) 系。其特征在于：當(dāng)兩幅圖像的特征向量生成后，首先采用SURF特征描述向量的歐式距離作 為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量，方法是通過K-d樹得到一個(gè)特征點(diǎn)到最近鄰特征 點(diǎn)的距離d ND，其到次近鄰特征點(diǎn)的距離dNND，如果它們的比值小于閾值e，則保留該特征點(diǎn)與 其最近鄰構(gòu)成的匹配點(diǎn)對(duì);然后隨機(jī)選取4對(duì)初始匹配特征點(diǎn)，計(jì)算由這4對(duì)點(diǎn)所確定的透 視變換矩陣H，再用該矩陣衡量其余特征點(diǎn)的匹配程度： (\ v \ xi xi
[0078] y] ~H y,- <t (5) l .1 J l .1 J
[0079] 其中，t為閾值，小于等于t的特征點(diǎn)對(duì)為H的內(nèi)點(diǎn)，大于t的特征點(diǎn)對(duì)則為外點(diǎn)。這 樣不斷更新內(nèi)點(diǎn)集，由RANSAC的k次隨機(jī)采樣可得到最大的內(nèi)點(diǎn)集合，此時(shí)也得到了優(yōu)化后 的內(nèi)點(diǎn)集合所對(duì)應(yīng)的透視變換矩陣H。
[0080] 4)坐標(biāo)變換及重采樣。根據(jù)求得的透視變換矩陣H對(duì)圖像像素的坐標(biāo)進(jìn)行線性變 換，并采用雙線性插值法對(duì)圖像像素的灰度值進(jìn)行重采樣。雙線性插值法假定內(nèi)插點(diǎn)周圍 四個(gè)點(diǎn)圍城的區(qū)域內(nèi)的灰度變化是線性的，從而可以用線性內(nèi)插方法，根據(jù)四個(gè)近鄰像素 的灰度值，計(jì)算出內(nèi)插點(diǎn)的灰度值。
[0081] 5)裁剪圖像重疊區(qū)域。根據(jù)下式對(duì)圖像坐標(biāo)變換后的四個(gè)邊界點(diǎn)進(jìn)行判別，確定 圖像配準(zhǔn)后重疊區(qū)域的四個(gè)邊界點(diǎn)坐標(biāo)(X min，Ymin)、（ Xmin，Ymax)、（ Xmax，Ymin)、（ Xmax，Ymax): = max(jr0,jr3), Zmm = 0 ! < 0
[0082] /,、 = max%,。)，= 0 I rmm < 0 (6) 7，川,-\)
[0083]其中，W、H為圖像的寬和高。按照以上邊界點(diǎn)構(gòu)成的矩形區(qū)域?qū)﹄p通道圖像進(jìn)行裁 剪，得到配準(zhǔn)的0°和90°偏振圖像1(0°)和1(90°)。
[0084] (4)圖像差分融合。由于目標(biāo)和背景的反射及散射光在0°和90°偏振方向上具有顯 著的光強(qiáng)差異，采用雙通道正交差分的圖像融合方式不僅能夠獲得較好的圖像信噪比，而 且具有極低的軟件復(fù)雜度。融合得到的正交差分圖像表示為：
[0085] Q=I(0°)-I(90°) (7)
[0086] (5)圖像目標(biāo)檢測(cè)。數(shù)學(xué)形態(tài)學(xué)是分析幾何形狀和物體的輪廓結(jié)構(gòu)的數(shù)學(xué)方法，主 要包括膨脹、腐蝕、開運(yùn)算、閉運(yùn)算等。在圖像處理領(lǐng)域用于"保持物體的基本形狀，去除不 相關(guān)特征"，可以提取到對(duì)于表達(dá)和描述形狀有用的特征。通常形態(tài)學(xué)處理表現(xiàn)為一種基于 模板的鄰域運(yùn)算方式，即定義一種特殊的被稱之為"結(jié)構(gòu)元素"或模板的鄰域，在要處理的 二值圖像的每個(gè)像素點(diǎn)上將它與二值圖像對(duì)應(yīng)的區(qū)域進(jìn)行某種邏輯運(yùn)算，得到的結(jié)果就是 輸出圖像的像素值。結(jié)構(gòu)元素的大小、內(nèi)容以及運(yùn)算的性質(zhì)都將會(huì)影響到形態(tài)學(xué)處理的結(jié) 果。系統(tǒng)基于形態(tài)學(xué)的方法對(duì)正交差分偏振圖像進(jìn)行目標(biāo)檢測(cè)，具有物理意義明確、運(yùn)算效 率高的特點(diǎn)，包括圖像二值化、開運(yùn)算操作、連通域識(shí)別三個(gè)子步驟。
[0087] 1)二值化處理。圖像二值化處理是進(jìn)行形態(tài)學(xué)濾波的前提，而選取合適的分割閾 值是其重要步驟。這里采用最大類間方差法自適應(yīng)選取全局閾值，該算法由Otsu于1979年 提出，是基于整幅圖像的統(tǒng)計(jì)特性來實(shí)現(xiàn)閾值的自動(dòng)選取的，是全局二值化最杰出的代表。算 法的基本思想是用某一假定的灰度值將圖像的灰度分成兩組，當(dāng)兩組的類間方差最大時(shí)，此 灰度值就是圖像二值化的最佳閾值。設(shè)圖像有M個(gè)灰度值，取值范圍在0 M-1，在此范圍內(nèi)選取 灰度值t，將圖像分成兩組Go和G^Go包含的像素的灰度值在0 t，Gi的灰度值在t+1 M-1，用N 表示圖像像素總數(shù)，m表示灰度值為i的像素的個(gè)數(shù)，則每個(gè)灰度值i出現(xiàn)的概率為Pl = m/ t M-\ t M^\ N，G。和Gi類出現(xiàn)的概率為叫=Z/),，:句=Z巧=1 -爾>,均值為料=S，A = I]々,，則 i=U f=f+l :歸 類間方差為：
[0088] o(t)2=co〇?1(ii〇-iil) 2 (8)最佳閾值T就是使類間方差最大的t的取值，即：
[0089] T = argmax〇(t)2,tG [0,M-1] (9)
[0090] 2)開運(yùn)算操作。開運(yùn)算操作用于濾除細(xì)小的干擾物并獲得較為精確的目標(biāo)輪廓。 它定義為先腐蝕后膨脹的過程:腐蝕的主要作用是消除物體中不相關(guān)的細(xì)節(jié)，特別是邊緣 點(diǎn)，使物體的邊界向內(nèi)部收縮。其表達(dá)式如下：
[0091] E ^ ?B = {-v, v|fi, , (= ^ j 1〇
[0092] 其中，E表示腐蝕后的二值圖像;B表示結(jié)構(gòu)元素即模板，它是由0或1組成的任何一 種形狀的圖形，在B中有一個(gè)中心點(diǎn)，以此點(diǎn)為中心進(jìn)行腐蝕;X是原圖像經(jīng)過二值化處理后 的圖像的像素集合。運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素B，當(dāng)其中心點(diǎn)與X圖像上的某一 點(diǎn)（x，y)重合時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果每個(gè)像素點(diǎn)都與以（x，y)為中心的相同位 置中對(duì)應(yīng)像素點(diǎn)完全相同，那么像素點(diǎn)（x，y)將被保留在E中，對(duì)于不滿足條件的像素點(diǎn)則 被剔除掉，從而可達(dá)到收縮邊界的效果。膨脹與腐蝕的作用相反，它對(duì)二值化物體輪廓的邊 界點(diǎn)進(jìn)行擴(kuò)充，能夠填補(bǔ)分割后物體中殘留的空洞，使物體完整。其表達(dá)式如下：
[0093] S = X@B = ^x,y .SvrnX^^} (.11)
[0094] 其中，S表示膨脹后的二值圖像像素點(diǎn)的集合;B表示結(jié)構(gòu)元素即模板;X表示經(jīng)過 二值化處理后的圖像像素集合。運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素B，當(dāng)B的中心點(diǎn)移到 X圖像上的某一點(diǎn)（x，y)時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果結(jié)構(gòu)元素B內(nèi)的像素點(diǎn)與X圖像 的像素點(diǎn)至少有一個(gè)相同，那么就保留(x，y)像素點(diǎn)在S中，否則就去掉此像素點(diǎn)。
[0095] 3)連通域識(shí)別。對(duì)二值圖像進(jìn)行開運(yùn)算后，圖像被劃分成多個(gè)連通區(qū)域。為了從中 篩選出候選目標(biāo)，需要對(duì)連通域進(jìn)行分割、標(biāo)記，并提取特征用于目標(biāo)識(shí)別。連通域分割的 目的是將一幅點(diǎn)陣二值圖像中互相鄰接的目標(biāo)"1"值像素集合提取出來，并為圖像中不同 的連通域填入不同的數(shù)字標(biāo)記。算法通常分為兩類:一類是局部鄰域算法，基本思想是從局 部到整體，逐個(gè)檢查每個(gè)連通成分，確定一個(gè)"起始點(diǎn)"，再向周圍鄰域擴(kuò)展地填入標(biāo)記；另 一類是從整體到局部，先確定不同的連通成分，再對(duì)每一個(gè)連通成分用區(qū)域填充的方法填 入標(biāo)記。這里采用8鄰接判據(jù)對(duì)圖像中的連通域進(jìn)行搜索、標(biāo)記。8鄰接連通域的定義是該區(qū) 域中每個(gè)像素，其所有8個(gè)方向的8個(gè)相鄰像素中至少有一個(gè)像素仍然屬于該區(qū)域。完成連 通域的分割和標(biāo)記后，分別提取各連通域的像素周長和預(yù)先設(shè)定的目標(biāo)閾值進(jìn)行對(duì)比，如 果在閾值區(qū)間內(nèi)則判定為候選目標(biāo)，采用能夠包圍其連通域輪廓的最小矩形框在圖像中標(biāo) 識(shí)出目標(biāo)。
【主權(quán)項(xiàng)】
1. 一種弱目標(biāo)成像檢測(cè)裝置，由儀器殼體、光學(xué)系統(tǒng)和FPGA主控板三部分組成，其特征 在于:儀器殼體用于連接光學(xué)鏡頭、電路板和三腳架，包括殼體前面板、殼體后框及三腳架 固定座;光學(xué)系統(tǒng)采用雙通道結(jié)構(gòu)，用于獲取兩幅不同偏振角和波段的圖像，通道1包括0° 線偏振濾鏡、光學(xué)鏡頭、C口鏡頭接圈、濾光片座、470nm窄帶濾光片和CMOS圖像傳感器;通道 2包括90°線偏振濾鏡、光學(xué)鏡頭、C口鏡頭接圈、濾光片座、630nm窄帶濾光片和CMOS圖像傳 感器;FPGA主控板用于對(duì)雙通道CMOS圖像傳感器進(jìn)行參數(shù)配置、同步采集、圖像緩存及預(yù)處 理，并通過USB接口傳輸至PC機(jī)。2. 根據(jù)權(quán)利要求1所述的一種弱目標(biāo)成像檢測(cè)裝置，其特征在于:所述的殼體前面板的 尺寸為100mm X 50mm X 5mm，其上安裝有用于固定光學(xué)鏡頭的兩個(gè)C口鏡頭接圈，兩個(gè)接圈的 中心間距為50mm，螺紋外徑為25 · 1mm;殼體后框的尺寸為100mm X 50mm X 30mm，通過前面板 四周的12顆規(guī)格為Φ3*6的螺絲與之相連，其左側(cè)有一個(gè)B型USB接口，用來連接FPGA主控板 和PC機(jī);三腳架固定座位于殼體后框的下側(cè)，通過中心規(guī)格為1/4-20的螺孔連接三腳架的 云臺(tái)。3. 根據(jù)權(quán)利要求1所述的一種弱目標(biāo)成像檢測(cè)裝置，其特征在于:所述的通道1和通道2 的光學(xué)鏡頭的焦距均為8mm定焦，光圈調(diào)節(jié)范圍為F1.4-F16,對(duì)焦范圍為0.1m-m，和前面板 上的兩個(gè)C 口鏡頭接圈相連;兩片旋轉(zhuǎn)式線偏振濾鏡通過尺寸為M30.5 X 0.5mm的接圈分別 安裝在兩個(gè)光學(xué)鏡頭前;采用線偏振標(biāo)定板將二者對(duì)應(yīng)的線偏振濾鏡的偏振方向分別調(diào)節(jié) 至0°和90°;兩片窄帶濾光片分別通過濾光片座安裝于CMOS圖像傳感器的表面;濾光片均采 用鏡面玻璃材質(zhì)，尺寸為12mmX 12mmX0.7mm，中心波長分別為470nm和630nm，半帶寬為 20nm，峰值透射率>90%，截止深度〈1 % ;CM0S圖像傳感器采用130萬像素的1/2〃單色面陣傳 感器，光譜響應(yīng)范圍為400-1050nm〇4. 根據(jù)權(quán)利要求1所述的一種弱目標(biāo)成像檢測(cè)裝置，其特征在于:所述的FPGA主控板以 一片非易失性FPGA芯片為核心，并采用可編程片上系統(tǒng)技術(shù)將32位的軟核Nios II處理器 及其部分外設(shè)集成在單芯片內(nèi)，片外僅采用一片USB2.0接口芯片和B型USB接口與PC機(jī)通 信;Nios II處理器通過Avalon總線控制用戶RAM、用戶FLASH、USB控制器、雙通道對(duì)應(yīng)的2組 雙口RAM控制器及圖像采集模塊等片內(nèi)外設(shè);用戶RAM用作Nios II處理器的運(yùn)行內(nèi)存；用戶 FLASH用于存儲(chǔ)Nios II處理器執(zhí)行的程序代碼;USB控制器用于USB2.0接口芯片的配置和 總線協(xié)議轉(zhuǎn)換;雙口RAM是一個(gè)異步FIFO,用于圖像行有效數(shù)據(jù)的篩選和處理，并使數(shù)據(jù)在 傳輸過程中保持同步；圖像采集模塊包括配置控制器和時(shí)序控制器兩部分，配置控制器通 過I 2C雙向數(shù)據(jù)串行總線SCLK、SDATA對(duì)CMOS圖像傳感器內(nèi)部寄存器進(jìn)行配置，時(shí)序控制器 通過時(shí)序信號(hào) STROBE、PIXCLK、L_VALID、F_VALID和控制信號(hào)STANDBY、TRIGGER、CLKIN控制 CMOS圖像傳感器同步輸出數(shù)據(jù)D0UT [ 9:0 ]。5. 基于權(quán)利要求1所述的一種弱目標(biāo)成像檢測(cè)裝置的弱目標(biāo)成像檢測(cè)方法，其特征在 于:包括以下五個(gè)主要步驟： (1) 雙通道圖像采集，任務(wù)開始后首先掃描USB端口并連接指定的成像裝置;確認(rèn)連接 后向成像裝置發(fā)送控制字以設(shè)置成像參數(shù)，包括圖像分辨率、曝光時(shí)間和電子增益;完成設(shè) 置后發(fā)送一次采集指令并等待接收?qǐng)D像數(shù)據(jù)，當(dāng)雙通道的圖像數(shù)據(jù)均傳輸完成后以無損壓 縮的位圖格式保存圖像； (2) 圖像畸變校正，設(shè)計(jì)采用張正友法標(biāo)定成像系統(tǒng)的光學(xué)畸變參數(shù)，非線性畸變模型 僅考慮圖像的徑向畸變：其中，δχ和δγ是畸變值，它與投影點(diǎn)在圖像中的像素位置有夫，X、y是圖像點(diǎn)在成像平面 坐標(biāo)系下根據(jù)線性投影模型得到的歸一化投影值，r = khkhfe等為徑向畸變系 數(shù)，這里只考慮二次畸變，畸變后的坐標(biāo)為：令(Ud，Vd)、(u，v)分別為圖像坐標(biāo)系下空間點(diǎn)對(duì)應(yīng)的實(shí)際坐標(biāo)和理想坐標(biāo)，則兩者關(guān)系 為：將線性標(biāo)定結(jié)果作為參數(shù)初值，帶入以下目標(biāo)函數(shù)求最小值，實(shí)現(xiàn)非線性參數(shù)的估計(jì)： / = 1 j=l其中，是標(biāo)定模板的第j點(diǎn)在第i幅圖像上，利用估計(jì)參數(shù)得到的投 影點(diǎn)，M」為標(biāo)定模板第j點(diǎn)在世界坐標(biāo)系下的坐標(biāo)值，m為每幅圖像特征點(diǎn)個(gè)數(shù)，η為圖像數(shù) 目；利用LM迭代法優(yōu)化所得的相機(jī)標(biāo)定參數(shù)，最終得到較為精確的徑向畸變系數(shù)，進(jìn)而反求 無畸變的圖像坐標(biāo)； (3)雙通道圖像配準(zhǔn)，用于實(shí)現(xiàn)不同成像視場(chǎng)、波段、偏振角和光學(xué)畸變條件下雙通道 圖像的像素對(duì)齊，采用一種基于SURF特征點(diǎn)的圖像配準(zhǔn)算法，包括以下五個(gè)子步驟： 1) 檢測(cè)SURF特征點(diǎn)，在構(gòu)建積分圖像的基礎(chǔ)上，利用方框型濾波近似替代二階高斯濾 波，并對(duì)待選特征點(diǎn)和它周圍的點(diǎn)分別計(jì)算Hessian值，如果該特征點(diǎn)具有最大的Hessian 值，則其為特征點(diǎn)； 2) 生成特征描述向量，使用特征點(diǎn)鄰域的灰度信息，通過計(jì)算積分圖像的一階Haar小 波響應(yīng)，得到灰度分布信息來產(chǎn)生128維的特征描述向量； 3) 兩步法匹配特征點(diǎn)，通過基于最鄰近次鄰近比值法的粗匹配算法和基于RANSAC的精 匹配算法兩個(gè)步驟，建立參考圖像和待配準(zhǔn)圖像特征點(diǎn)之間正確的一一對(duì)應(yīng)匹配關(guān)系，其 特征在于：當(dāng)兩幅圖像的特征向量生成后，首先采用SURF特征描述向量的歐式距離作為兩 幅圖像中關(guān)鍵點(diǎn)的相似性判定度量，方法是通過K-d樹得到一個(gè)特征點(diǎn)到最近鄰特征點(diǎn)的 距離d ND，其到次近鄰特征點(diǎn)的距離(1_，如果它們的比值小于閾值ε，則保留該特征點(diǎn)與其最 近鄰構(gòu)成的匹配點(diǎn)對(duì);然后隨機(jī)選取4對(duì)初始匹配特征點(diǎn)，計(jì)算由這4對(duì)點(diǎn)所確定的透視變 換矩陣Η，再用該矩陣衡量其余特征點(diǎn)的匹配程度：其中，t為閾值，小于等于t的特征點(diǎn)對(duì)為Η的內(nèi)點(diǎn)，大于t的特征點(diǎn)對(duì)則為外點(diǎn)，這樣不 斷更新內(nèi)點(diǎn)集，由RANSAC的k次隨機(jī)采樣可得到最大的內(nèi)點(diǎn)集合，此時(shí)也得到了優(yōu)化后的內(nèi) 點(diǎn)集合所對(duì)應(yīng)的透視變換矩陣Η; 4) 坐標(biāo)變換及重采樣，根據(jù)求得的透視變換矩陣Η對(duì)圖像像素的坐標(biāo)進(jìn)行線性變換，并 采用雙線性插值法對(duì)圖像像素的灰度值進(jìn)行重采樣，雙線性插值法假定內(nèi)插點(diǎn)周圍四個(gè)點(diǎn) 圍城的區(qū)域內(nèi)的灰度變化是線性的，從而可以用線性內(nèi)插方法，根據(jù)四個(gè)近鄰像素的灰度 值，計(jì)算出內(nèi)插點(diǎn)的灰度值； 5) 裁剪圖像重疊區(qū)域，根據(jù)下式對(duì)圖像坐標(biāo)變換后的四個(gè)邊界點(diǎn)進(jìn)行判別，確定圖像 配準(zhǔn)后重疊區(qū)域的四個(gè)邊界點(diǎn)坐標(biāo)(Xmin，Ymin )、（ Xmin，Ymax )、（ Xmax，Ymin )、（ Xmax，Ymax ):其中，W、H為圖像的寬和高，按照以上邊界點(diǎn)構(gòu)成的矩形區(qū)域?qū)﹄p通道圖像進(jìn)行裁剪， 得到配準(zhǔn)的0°和90°偏振圖像1(0°)和1(90°); (4) 圖像差分融合，采用雙通道正交差分的方式融合得到的正交差分圖像表示為： Q=I(0°)-I(90°); (5) 圖像目標(biāo)檢測(cè)，系統(tǒng)基于形態(tài)學(xué)的方法對(duì)正交差分偏振圖像進(jìn)行目標(biāo)檢測(cè)，包括以 下三個(gè)子步驟： 1) 二值化處理，采用最大類間方差法自適應(yīng)選取全局閾值，原理如下:設(shè)圖像有Μ個(gè)灰度 值，取值范圍在0Μ-1，在此范圍內(nèi)選取灰度值t，將圖像分成兩組Go和G^Go包含的像素的灰 度值在OtA的灰度值在t+ΙΜ-Ι，用N表示圖像像素總數(shù)，m表示灰度值為i的像素的個(gè)數(shù)，則 每個(gè)灰度值i出現(xiàn)的概率為Pi=m/N，Go和&類出現(xiàn)的概率為均值戈，.，則類間方差為： σ(?)2= ω〇ωι(μ〇-μι)2 最佳閾值Τ就是使類間方差最大的t的取值，即： T = arg max〇(t)2,te [〇,Μ-1] 2) 開運(yùn)算操作，開運(yùn)算操作用于濾除細(xì)小的干擾物并獲得較為精確的目標(biāo)輪廓，它定 義為先腐蝕后膨脹的過程:腐蝕的作用是消除物體中不相關(guān)的細(xì)節(jié)，特別是邊緣點(diǎn)，使物體 的邊界向內(nèi)部收縮，其表達(dá)式如下：其中，Ε表示腐蝕后的二值圖像;Β表示結(jié)構(gòu)元素即模板，它是由0或1組成的任何一種形 狀的圖形，在Β中有一個(gè)中心點(diǎn)，以此點(diǎn)為中心進(jìn)行腐蝕;X是原圖像經(jīng)過二值化處理后的圖 像的像素集合;運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素 Β，當(dāng)其中心點(diǎn)與X圖像上的某一點(diǎn) (X，y)重合時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果每個(gè)像素點(diǎn)都與以（X，y)為中心的相同位置 中對(duì)應(yīng)像素點(diǎn)完全相同，那么像素點(diǎn)（x，y)將被保留在E中，對(duì)于不滿足條件的像素點(diǎn)則被 剔除掉，從而可達(dá)到收縮邊界的效果;膨脹與腐蝕的作用相反，它對(duì)二值化物體輪廓的邊界 點(diǎn)進(jìn)行擴(kuò)充，能夠填補(bǔ)分割后物體中殘留的空洞，使物體完整，其表達(dá)式如下：其中，S表示膨脹后的二值圖像像素點(diǎn)的集合;B表示結(jié)構(gòu)元素即模板;X表示經(jīng)過二值 化處理后的圖像像素集合。運(yùn)算過程是在X圖像域內(nèi)滑動(dòng)結(jié)構(gòu)元素 B，當(dāng)B的中心點(diǎn)移到X圖 像上的某一點(diǎn)(x，y)時(shí)，遍歷結(jié)構(gòu)元素內(nèi)的像素點(diǎn)，如果結(jié)構(gòu)元素 B內(nèi)的像素點(diǎn)與X圖像的像 素點(diǎn)至少有一個(gè)相同，那么就保留(x，y)像素點(diǎn)在S中，否則就去掉此像素點(diǎn);對(duì)二值圖像進(jìn) 行開運(yùn)算操作后，圖像被劃分成多個(gè)連通區(qū)域； 3)連通域識(shí)別，首先采用8鄰接判據(jù)對(duì)圖像中的連通域進(jìn)行分割，8鄰接連通域的定義 是:該區(qū)域中每個(gè)像素，其所有8個(gè)方向的8個(gè)相鄰像素中至少有一個(gè)像素仍然屬于該區(qū)域， 根據(jù)該定義將二值圖像中不同的連通域填入不同的數(shù)字標(biāo)記;然后分別提取各連通域的像 素周長，并和預(yù)先設(shè)定的目標(biāo)閾值進(jìn)行對(duì)比，如果在閾值區(qū)間內(nèi)則判定為候選目標(biāo);最后采 用能夠包圍其連通域輪廓的最小矩形框在圖像中標(biāo)識(shí)出候選目標(biāo)，完成目標(biāo)檢測(cè)。
【文檔編號(hào)】H04N5/225GK105959514SQ201610248720
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月20日
【發(fā)明人】張振, 顧朗朗, 梁蒼, 孫啟堯, 高紅民, 陳哲
【申請(qǐng)人】河海大學(xué)