一種知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法
【專利摘要】本發(fā)明公開了一種知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，該方法在地面建立橋梁目標(biāo)與背景區(qū)域的空間約束關(guān)系知識庫，在飛行前進行地面準(zhǔn)備，利用空間約束關(guān)系知識庫，建立多尺度模板，對于高速飛行過程中拍攝的圖像，先進行氣動光學(xué)效應(yīng)初校正，再提取感興趣橋梁區(qū)，然后對感興趣橋梁目標(biāo)區(qū)精校正，最后將校正后的感興趣橋梁目標(biāo)區(qū)和背景區(qū)合并，得到實時遙感飛行處理后的圖像。本發(fā)明建立空間約束關(guān)系知識庫，對高超聲速下拍攝的橋梁實時圖像，利用約束知識，提取感興趣橋梁區(qū)進行氣動光學(xué)效應(yīng)精校正，既保證了橋梁目標(biāo)的校正精度，又大大提高了校正的實時性。
【專利說明】一種知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于航天科學(xué)技術(shù)與數(shù)字圖像處理技術(shù)的交叉領(lǐng)域，具體涉及一種基于知識約束的機場圖像智能校正方法，應(yīng)用于高超聲速飛行器的導(dǎo)航、遙感與探測。
【背景技術(shù)】
[0002]高超音速飛行器遙感、探測、導(dǎo)航和制導(dǎo)是二十一世紀(jì)航空航天事業(yè)發(fā)展的一個重要領(lǐng)域，在未來的高科技和國民經(jīng)濟發(fā)展中具有重要的科學(xué)意義和應(yīng)用價值。以高超音速飛行器為平臺的遙感、探測、導(dǎo)航和制導(dǎo)面臨氣動光學(xué)效應(yīng)的挑戰(zhàn)。
[0003]氣動光學(xué)是研究高速繞流對高速飛行器成像探測的影響的一門學(xué)科。帶有光學(xué)成像探測系統(tǒng)的高速飛行器在大氣層內(nèi)飛行時，光學(xué)頭罩與來流之間形成復(fù)雜的流場，對光學(xué)成像探測系統(tǒng)造成除熱輻射外的光學(xué)波前傳輸畸變或傳輸干擾，引起被觀測對象圖像的偏移、抖動、模糊，這種效應(yīng)就稱為氣動光學(xué)傳輸效應(yīng)。這種效應(yīng)降低了成像探測系統(tǒng)的效能，導(dǎo)致遙感、探測、導(dǎo)航和制導(dǎo)功能的喪失。因此需要發(fā)明新的數(shù)字處理技術(shù)，改善和恢復(fù)成像的品質(zhì)，這就是圖像恢復(fù)和校正。
[0004]飛行器的高超聲速飛行以及成像系統(tǒng)的高幀頻特性，對于校正和識別算法的運算效率和性能提出了更高的要求。盲反卷積算法多是針對全圖進行處理，不僅對于非目標(biāo)區(qū)域的校正浪費了很多時間，影響算法的實時性，而且非目標(biāo)區(qū)間特性(如平滑性等)會最終影響到目標(biāo)區(qū)域校正。而知識約束的圖像校正方法用圖像中提取的知識約束來指導(dǎo)圖像校正，對于目標(biāo)區(qū)域(橋梁)精校正，而對于非目標(biāo)區(qū)域粗校正，由粗到細(xì)遞推的處理，達(dá)到可疑目標(biāo)區(qū)域(感興趣區(qū))實時、準(zhǔn)確校正，可大幅提高校正算法效率和精度。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種知識約束的橋梁目標(biāo)氣動光學(xué)效應(yīng)校正方法，能在高超聲速飛行條件下，既保證橋梁目標(biāo)校正的精度，又大大提高校正的實時性。
[0006]本發(fā)明提供的一種知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，其特征在于，該方法包括下述步驟:
[0007]A建立空間約束關(guān)系:
[0008]{圖像I橋梁；水域；陸地；橋梁橫跨水域，即橋身縱向為水域，橫向延伸到陸地上}，以此作為約束知識；
[0009]B多尺度模板的建立過程為:
[0010](BI)從google獲取相應(yīng)橋梁地域的由高空到低空的可見光圖像，并分別記錄各尺度下橋梁目標(biāo)區(qū)在圖中的位置；
[0011](B2)將由高空到低空分為三個區(qū)間，每個區(qū)間獲取一幅可見光圖像，小尺度、中尺度、大尺度模板的行數(shù)和列數(shù)與相應(yīng)區(qū)間的可見光圖像的行數(shù)和列數(shù)相同；
[0012]C實時遙感飛行處理:
[0013](Cl)氣動光學(xué)效應(yīng)初校正[0014]采用Hu矩約束下的最大似然估計算法，對由高到低拍攝的各尺度的實時圖像進行初校正；
[0015](C2)提取感興趣橋梁區(qū)
[0016]在實時遙感飛行中，對于初校正后的不同尺度的圖像，分別與相應(yīng)的尺度的模板匹配，提取感興趣橋梁目標(biāo)區(qū)；
[0017](C3)感興趣橋梁目標(biāo)區(qū)精校正
[0018]對感興趣橋梁目標(biāo)區(qū)采用Hu矩約束下的最大似然估計算法進行氣動光學(xué)效應(yīng)精校正；
[0019](C4)將校正后的感興趣橋梁目標(biāo)區(qū)和背景區(qū)合并，得到實時遙感飛行處理后的圖像。
[0020]本發(fā)明針對高速飛行過程中，對所獲取圖像的校正速率相對較低，缺乏實時性、高效性，提出了一種知識約束的橋梁目標(biāo)氣動光學(xué)效應(yīng)校正方法，本發(fā)明的技術(shù)效果體現(xiàn)在:
[0021]①本發(fā)明在地面建立橋梁目標(biāo)與背景區(qū)域的空間約束關(guān)系知識庫，如橋梁橫跨水域，即橋身縱向為水域，橫向延伸到陸地上，橋梁、陸地與水域灰度有明顯差異，并且水域灰度均勻。
[0022]②本發(fā)明在飛行前進行地面準(zhǔn)備，利用空間約束關(guān)系知識庫，建立多尺度模板，對于多尺度的實時圖像，采用相應(yīng)尺度的模板匹配，使得在高速飛行過程中，能夠?qū)崟r、高效地提取感興趣橋梁目標(biāo)區(qū)。
[0023]③本發(fā)明提出的基于知識約束的校正方法，對于高速飛行過程中拍攝的圖像只對感興趣的橋梁目標(biāo)區(qū)進行氣動光學(xué)效應(yīng)精校正，，大大縮減的校正時間，很好的提高了高超聲速飛行條件下橋梁目標(biāo)校正的實時性。
[0024]本發(fā)明建立空間約束關(guān)系知識庫，對聞超聲速下拍攝的橋梁實時圖像，利用約束知識，提取感興趣橋梁區(qū)進行氣動光學(xué)效應(yīng)精校正，既保證了橋梁目標(biāo)的校正精度，又大大提高了校正的實時性。
【專利附圖】

【附圖說明】
[0025]圖1是本發(fā)明方法的流程圖；
[0026]圖2是從google獲取的橋梁地域的可見光圖像；
[0027]圖3 (a)、圖3(b)、圖3(c)是獲取的相應(yīng)橋梁地域的由高空到低空的可見光圖像，；
[0028]圖4(a)、圖4(b)、圖4(c)是在由高空到低空的可見光圖像中記錄的感興趣橋梁區(qū)；
[0029]圖5 (a)、圖5(b)、圖5(c)是分別建立的小尺度、中尺度、大尺度模板；
[0030]圖6 (a)是中尺度實時圖像，圖6 (b)是大尺度實時圖像；
[0031]圖7是氣動光學(xué)效應(yīng)初校正后的大尺度圖像Pre_recover ；
[0032]圖8顯示了匹配后模板在圖像Pre_recover中的位置；
[0033]圖9顯示了感興趣橋梁目標(biāo)區(qū)在圖像Pre_recover中的位置；
[0034]圖10是感興趣橋梁目標(biāo)區(qū)；
[0035]圖11是氣動光學(xué)效應(yīng)精校正后的感興趣橋梁目標(biāo)區(qū)；[0036]圖12是校正后的感興趣橋梁目標(biāo)區(qū)和背景區(qū)合并后的圖像。
【具體實施方式】
[0037]下面結(jié)合附圖對本發(fā)明的【具體實施方式】作進一步說明。在此需要說明的是，對于這些實施方式的說明用于幫助理解本發(fā)明，但并不構(gòu)成對本發(fā)明的限定。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0038]如圖1所示，本發(fā)明方法主要包括建立空間約束關(guān)系、地面準(zhǔn)備和實時遙感飛行處理；
[0039]A建立空間約束關(guān)系
[0040]從google獲取相應(yīng)的橋梁地域的可見光圖像，如圖2。可以分析得出下視橋梁圖像典型的場景由橋梁、水域、陸地構(gòu)成。
[0041]橋梁表達(dá)為:
[0042]{橋梁I橋梁長寬比P，Pmin〈P〈Pmax (Pmin為可能的最小長寬比，Pmax為可能的最大長寬比)；平行鄰域為水域；垂直鄰域為陸域；橋梁通常較亮};
[0043]水域表達(dá)為:
[0044]{水域I平均灰度值G〈H，H是估計的G的上限值(水域通常較暗);水域被橋梁截斷；面積sw, swmin〈sw〈SWmax (SWmin為可能的最小面積，SWmax為可能的最大面積)}；
[0045]陸地表達(dá)為:
[0046]{陸地I陸地由水域隔斷，由橋梁連接；陸地灰度不均勻};
[0047]整體場景圖像表達(dá)為:
[0048]{圖像I橋梁；水域；陸地；橋梁橫跨水域，即橋身縱向為水域，橫向延伸到陸地上}，以此作為約束知識。
[0049]B地面準(zhǔn)備過程，具體包括下述步驟:
[0050](I)從google獲取相應(yīng)橋梁地域的由高空到低空的可見光圖像，依次如圖3(a)、圖3 (b)、圖3 (c)所示，并分別記錄各尺度下橋梁目標(biāo)區(qū)在圖中的位置，為表述方便，橋梁目標(biāo)區(qū)的起點統(tǒng)一記為S (xs, ys),終點統(tǒng)一記為E (xe, ye),依次如圖4 (a)、圖4 (b)、圖4 (C)所
/Jn ο
[0051](2)建立多尺度模板
[0052]將由高空到分低空為三個區(qū)間，如按5km以上，2_5km，2km以下，每個區(qū)間所獲得的一個可見光圖像，小尺度、中尺度、大尺度模板的行數(shù)和列數(shù)與相應(yīng)的由高空到低空的可見光圖像的行數(shù)和列數(shù)相同。
[0053]依據(jù)約束知識，建立的模板由橋梁、陸地、水域這三塊區(qū)域構(gòu)成，各區(qū)域的形狀與相應(yīng)可見光圖像中三塊區(qū)域的形狀相同，記錄各尺度模板中，橋梁目標(biāo)區(qū)的起點和終點。
[0054]在各尺度模板中，橋梁目標(biāo)區(qū)的起點和終點相應(yīng)的也統(tǒng)一記為s(xs，ys)和E (xe, ye)。
[0055]根據(jù)灰度的差異，設(shè)置模板中橋梁、陸地和水域的灰度值。通過分析橋梁、陸地、水域的灰度特性，如這三塊區(qū)域各自灰度的高低以及均勻性等，通常將各模板中橋梁目標(biāo)的灰度設(shè)為255，陸地背景的灰度設(shè)為128，水域背景的灰度設(shè)為O。
[0056]圖5 (a)、圖5(b)、圖5(c)分別是建立的小尺度、中尺度、大尺度模板。[0057]C實時遙感飛行處理，具體包括下述步驟:
[0058](I)氣動光學(xué)效應(yīng)初校正
[0059]對由高到低拍攝的低尺度、中尺度和大尺度的實時圖像進行初校正。
[0060]圖6(a)和圖6(b)是拍攝的中尺度和大尺度的實時圖像。
[0061]下面以實時圖像為例予以說明:
[0062]對實時圖像Blur，采用Hu矩約束下的最大似然估計算法進行初校正，得到圖像Pre—recover。
[0063]Sf(X)為目標(biāo)圖像在坐標(biāo)X處強度，h(x)為點擴展函數(shù)在坐標(biāo)X處強度，g(x)為退化圖像在坐標(biāo)X處強度，η為迭代次數(shù),?表示卷積。目標(biāo)圖像f的迭代估計式為
【權(quán)利要求】
1.一種知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，其特征在于，該方法包括下述步驟: A建立空間約束關(guān)系: {圖像I橋梁；水域；陸地；橋梁橫跨水域，即橋身縱向為水域，橫向延伸到陸地上}，以此作為約束知識； B多尺度模板的建立過程為: (BI)從google獲取相應(yīng)橋梁地域的由高空到低空的可見光圖像，并分別記錄各尺度下橋梁目標(biāo)區(qū)在圖中的位置； (B2)將由高空到低空分為三個區(qū)間，每個區(qū)間獲取一幅可見光圖像，小尺度、中尺度、大尺度模板的行數(shù)和列數(shù)與相應(yīng)區(qū)間的可見光圖像的行數(shù)和列數(shù)相同； C實時遙感飛行處理: (Cl)氣動光學(xué)效應(yīng)初校正 采用Hu矩約束下的最大似然估計算法，對由高到低拍攝的各尺度的實時圖像進行初校正； (C2)提取感興趣橋梁區(qū) 在實時遙感飛行中，對于初校正后的不同尺度的圖像，分別與相應(yīng)的尺度的模板匹配，提取感興趣橋梁目標(biāo)區(qū)； (C3)感興趣橋梁目標(biāo)區(qū)精校正` 對感興趣橋梁目標(biāo)區(qū)采用Hu矩約束下的最大似然估計算法進行氣動光學(xué)效應(yīng)精校正； (C4)將校正后的感興趣橋梁目標(biāo)區(qū)和背景區(qū)合并，得到實時遙感飛行處理后的圖像。
2.根據(jù)權(quán)利要求1所述的知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，其特征在于，步驟(Cl)的具體實現(xiàn)過程為: ①設(shè)定迭代的參數(shù) 退化圖像為實時圖像，記為Blur，目標(biāo)圖像的初值為Blur，設(shè)定初始點擴展函數(shù)，以及矩陣的每個元素的值，最大迭代次數(shù)η.; ②根據(jù)下述公式II對點擴展函數(shù)h進行迭代:
3.根據(jù)權(quán)利要求1所述的知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，其特征在于，步驟(C2)的具體實現(xiàn)過程為: 將圖像Pre_recover與對應(yīng)尺度模板匹配,設(shè)圖像Pre_recover的大小為mpXnp,對應(yīng)尺度模板的大小為HitlXntl ； 求Pre_recover中所有大小為HiciXntl的子數(shù)組A與對應(yīng)尺度模板數(shù)組B的相關(guān)系數(shù)
4.根據(jù)權(quán)利要求1所述的知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，其特征在于，步驟(C3)的具體實現(xiàn)過程為: 迭代過程中，退化圖像為Bridge，目標(biāo)圖像初值為Bridge，設(shè)定初始點擴展函數(shù)及矩陣的每個元素的值，以及最大迭代次數(shù)nmax。
5.根據(jù)權(quán)利要求4所述的知識約束的橋梁目標(biāo)圖像氣動光學(xué)效應(yīng)校正方法，初始點擴展函數(shù)為31*31矩陣,矩陣的每個元素的值為I / (31*31)。
【文檔編號】G06T5/00GK103793884SQ201310753890
【公開日】2014年5月14日 申請日期:2013年12月31日 優(yōu)先權(quán)日:2013年12月31日
【發(fā)明者】張?zhí)煨? 何力, 王正, 劉立, 鄭亞云, 陳一夢, 陳昌勝, 凡速飛 申請人:華中科技大學(xué)