專利名稱：一種基于聯合變換相關器的全局運動檢測方法
技術領域：
本發(fā)明涉及數字圖像處理的運動檢測技術。具體指一種基于聯合變換相關器的全 局運動檢測方法，它可以廣泛的應用于電子穩(wěn)像和圖像運動補償等領域。
背景技術：
電子穩(wěn)像技術是綜合電子、計算機、數字信號處理等技術為一體的新一代實現序 列圖像穩(wěn)定的技術。它不同于圖像恢復，圖像恢復是針對每一幀模糊的圖像，而電子穩(wěn)像穩(wěn) 定的是一個圖像序列，在序列中的每一幀圖像都是清晰的。穩(wěn)像的基本原理是首先根據圖 像序列的各種信息進行局部運動估計和全局運動估計，取得運動參數后進行綜合評價，繼 而進行運動補償，最終得到穩(wěn)定的輸出序列。電子穩(wěn)像前提條件是先獲得圖像的全局運動 矢量。傳統(tǒng)的圖像序列運動估計方法有很多，例如基于光流模型的圖像運動估計，是通 過計算光流確定成像目標運動物體的速度、方向等特性；塊匹配算法是對當前幀圖像進行 分塊，對每個小塊在參考幀的特定搜索范圍內進行搜索匹配，通過計算兩個塊的相對位置 來求得它們之間的運動矢量；位平面匹配法是利用圖像的灰度碼和圖像的位平面實現二值 匹配來確定局部運動矢量；以上所描述的算法都是以圖像的灰度變換為依據，其共同點缺 陷就是對圖像所包含的信息利用不充分，而且對噪聲比較敏感，造成計算結果不精確。另外 很多算法本身比較復雜，估算所需的時間開銷很大。圖像之間的運動估算也可以通過對相鄰兩幀圖像求相關運算來獲得。并且相關運 算所求結果精確，但是由于數字化的圖像相關運算要經過兩次傅立葉變換，運算量極大。目 前高速DSP求兩幀256X256大小的圖像的相關運算，速度在每秒20幀左右。光電混合聯合 變換相關器是以相干光波為光源，利用透鏡的傅氏變換特性和光學上的空間濾波原理，將 當前圖像與參考圖像進行相關運算，從而實現兩個函數或圖像之間的相似度測量。它具有 速度快、精度高和并行處理的優(yōu)點，可以有效地解決電子處理中速度和精度的矛盾。目前， 國外開發(fā)的標準型聯合變換相關器其相關運算速度達到每秒200幀，美國Litton公司2000 年發(fā)表了小型化強固的光學相關器MR0C，每秒可以處理32000對50)(50像素的圖像，光學相 關器在相關速度上具有絕對的優(yōu)勢。

發(fā)明內容
本方法的主要目的是解決運動成像平臺的全局運動估計問題，通過該方法實時檢 測出全局運動后，給穩(wěn)像算法提供精確的補償信息，為消除運動帶來視頻抖動和圖像模糊 提供依據。該方法利用了光電聯合變換相關器的相關識別理論，將光學模擬處理的高速特 性和電子學的高精度特點結合起來，以達到在線實時處理的要求。本方法實現的系統(tǒng)結構如圖1所示，整個系統(tǒng)主要由高速CCD、激光源、液晶光閥、 傅立葉透鏡與實時嵌入式控制模塊構成。其中激光源、液晶光閥、傅立葉透鏡構成一個光學 傅立葉變換過程，對高速CCDl采樣到的圖像進行光學傅立葉變換，在CCD2上獲得聯合功率譜，對聯合功率譜再進行一次光學傅立葉變換，在CCD3上獲得相關峰圖像，DSP檢測相關峰 的位移，位移結果就是兩幀圖像的像移矢量。電子學控制模塊的硬件框圖如圖2所示，其實 時處理的步驟包括1.首先由FPGA產生探測器驅動程序，驅動探測器CXDl工作，控制積分時間盡量 小，高速探測器實時對運動場景進行采樣，采樣探測器像素不宜太大，U8XU8即可，采樣幀 頻每秒100幀頻以上。2. FPGA對采樣得到的連續(xù)兩幀有像移的圖像進行實時合并，將兩幀12^(128的圖 像合并成一幀256X128的圖像。3.通過VGA接口芯片將合成后的圖像實時的送入空間光調制器SLM中，前面合成 的圖像不斷對SLM進行刷新。激光器產生的相干光經過準直擴束后通過一偏振鏡成線偏振 光，SLM對線偏振光進行幅度調制，產生和送入SLM圖像灰度值成正比的光場分布。4.通過SLM的光場再經過一傅立葉透鏡進行光學傅立葉變換，選擇合適的透鏡的 孔徑和焦距，在后焦面上可以獲得前面合成圖像的聯合功率譜圖像，并在后焦面上用CCD2 對聯合功率譜進行采樣。5.將采樣獲得的聯合功率譜圖像送入頻譜預處理模塊中，FPGA實時對聯合功率 譜圖像進行二值化處理。獲得的二值化聯合功率譜圖像再實時送入另一個SLM中，經過步 驟4 一樣的傅立葉變換過程，最后在透鏡后焦面上獲得相關峰圖像，再用(XD3對相關峰圖 像進行實時采樣。6. (XD3獲得的相關峰圖像通過控制模塊送入DSP中，DSP實現質心檢測算法，檢測 出兩個峰值的位置，兩峰值位置的差值就是圖像位移量的兩倍，最后將位移結果通過RS232 串口或USB接口傳出。為了實現高速實時相關處理，聯合變換相關器的控制模塊用FPGA+DSP實現，其硬 件框圖如圖2所示，處理流程圖3所示。FPGA產生探測器驅動程序，并對采樣到的連續(xù)兩幀 圖像進行合并，參考幀圖像可用二維矩陣foU，y)表示，則當前幀圖像可表示為為(χ，y)， 由于當前幀圖像是參考幀圖像的平移結果，則可得下關系式f^x, y) = f0(x+5x, y+δγ)(1)其中δχ，Sy為像移量。設合并后的圖像為f(x，y)，且滿足下關系式 f (x, y) = f0 (χ, y) (χ, y) = f0 (χ, y) +f0 (χ+ δ χ, y+δ y)(2)則空間光調制器的輸入圖像就是f(x，y)，如圖4所示。該輸入圖像經過一次傅立 葉變換后，得到頻譜函數F(u，ν)F (U，ν) = F0 (u，v) +F1 (u, ν) = F0 (u, ν) +F0 (u, ν) exp {2 π i (u δ χ+ν δ y)} (3)其中FtlOi, ν)為參考圖像fjx，y)的傅立葉變換，經過一平方均探測器采樣后獲 得功率譜為I F(u，v) I I2 = I F0(u，ν) I I2+1 IF1Oi, v) I 2+F0(u, Uu，v)+F*0(u, v)F1 (u，v) (4)其中*表示復數共軛。將功率譜圖像再輸入空間光調制器中，進行一次傅立葉變 換后在傅立葉透鏡后焦面上獲得到相關輸出圖像為Φ, y) = Λ (χ, y) /0 (χ, y)+A (χ, y) A (χ, y)+Λ (χ, y) A (χ, y)+A (χ, y) Z0 (χ, y) (5)其中0表示相關運算。前兩項為自相關圖像，后兩項為互相關圖像。由傅立葉變換 位移性質得互相關輸出的峰值位置分別在(-δ χ，- δ y)和(δ χ，δ y)處，如圖5所示。將 獲得的相關峰圖像輸入DSP進行快速峰值檢測，將獲得的坐標差值除于2就是位移量δ χ 和Sy。由于自相關峰在實際相關圖像中是干擾信息，互相關峰才是要檢測的信號，并且 自相關峰太大有可能淹沒互相關峰信息，導致檢測不到互相關峰信號，所以在第二次進行 傅立葉變換之前，要對功率譜進行預處理，采用二值化的方法可以有效的減小自相關峰信 號，并且增強互相關峰的強度。在這里可以預先將頻譜圖像送入FPGA，利用多次統(tǒng)計結果獲 得一個合適的閾值，對功率譜圖像進行二值化處理。二值化后的功率譜進行傅立葉變換得 到的相關峰圖像可以到達如圖5所示的效果。聯合變換相關器全局運動檢測的優(yōu)點在于1.高速實時圖像相關運算特性。本方法的傅立葉變換過程實際上是由透鏡來實現 的，不需要數字信號處理器做乘積處理的大量時間。聯合變換相關器實現相關處理的速度 只由兩個因素決定一個是空間光調制器的刷新速度，另一個是相關峰的檢測速度。近年來 出現的新的鐵電液晶空間光調制器的刷新速度可以達到每秒1000幀以上，DSP檢測相關峰 的時間一般可以達到Ims以下。這樣相關處理的時間可以控制在aiis以內，可以滿足實時 相關的要求。2.位移檢測結果精確。運動采樣探測器的像素大小和圖像的分辨率決定了位移檢 測的精度。采用小型的高分辨率CCD探測器，像素大小在IOumXlOum以內。用聯合變換相 關的方法處理可以使位移檢測結果達到一個像素的精度，方差小于0. 3像素。3.對輸入圖像的噪聲不敏感，抗干擾能力強。由于相關運算利用的是圖像全局信 息，局部噪聲對相關結果影響比較小。通過仿真實驗，輸入圖像的信噪比只有3dB時相關處 理結果仍精確。


圖1是全局運動檢測系統(tǒng)光路結構示意圖。圖2是全局運動檢測系統(tǒng)嵌入式控制模塊硬件框圖。圖3是運動檢測系統(tǒng)工作流程圖。圖4是聯合變換相關器的輸入圖像示意圖。圖5是聯合變換相關器的輸出相關峰結果示意圖。圖6單光路聯合變換相關器結構例圖。
具體實施例方式根據說明書所述的實時相關處理方法，該系統(tǒng)要搭載在運動成像平臺上，要求聯 合變換相關器的結構要緊湊，尺寸不宜過大，可以將聯合變換相關器的一支光路整合到一 個30mmX30mm)^90mm的長方體金屬盒內，如圖6所示。其中采樣CXD規(guī)格是512X512像素， 采樣幀頻可到達100幀頻的高速CCD ；選用波長范圍為636nm 641nm的半導體激光器，由 于半導體激光器的體積小，很適合于緊湊型結構要求。
SLM采用規(guī)格為512)(512像素，刷新率大于IOOHz的鐵電液晶實現。傅立葉透鏡的焦距要由探測器的像素大小和激光器的波長來決定，透鏡的孔徑要 大于SLM的邊長，這樣將各器件封裝在一個金屬盒子內，并用硅膠固定，外面只留數據接口 和控制電路接口。要實現實時的聯合變換相關，則需要兩個如圖6所示的裝置，一個對輸入 圖像進行光學傅立葉變換獲得聯合功率譜，另一個對聯合功率譜進行光學傅立葉變換獲得 相關峰圖像，通過外面的控制電路模塊控制兩路并行的處理。實時控制電路模塊如圖2所示，采樣FPGA+DSP的嵌入式控制方法，其中FPGA邏輯 單元數為12060LEs，內置2個PLL和234Kbits RAM，外部時鐘為40MHz ；選擇的定點DSP外 部時鐘為50MHz，運算頻率為600MHz，具有GPIO接口和32位的EMIF接口，程序存儲在Flash 中。FPGA主要實現探測器的驅動程序，圖像的預處理算法等，DSP實現質心檢測算法實時獲 得相關峰的位置。為了盡量縮短DSP的運算時間，將質心檢測的范圍設置在理想中心的30 像素半徑范圍內，根據圖像運動速度，只要兩幀圖像像移不超過30像素，這樣可以避免DSP 對整幅相關峰圖像進行遍歷耗費大量時間。
權利要求
1. 一種基于聯合變換相關器的全局運動檢測方法，其特征在于包括以下步驟1)首先由FPGA產生探測器驅動程序，驅動探測器CCDl工作，控制積分時間盡量小， 高速探測器實時對運動場景進行采樣，采樣探測器像素12^(128，采樣幀頻每秒100幀頻以 上；2)FPGA對采樣得到的連續(xù)兩幀有像移的圖像進行實時合并，將兩幀12^(128的圖像合 并成一幀256X128的圖像；3)通過VGA控制芯片將合成后的圖像實時的送入空間光調制器SLM中，前面合成的圖 像不斷對SLM進行刷新，激光器產生的相干光經過準直擴束后通過一偏振鏡成線偏振光， SLM對線偏振光進行幅度調制，產生和送入SLM圖像成正比的光場分布；4)通過SLM的光場再經過一傅立葉透鏡進行光學傅立葉變換，選擇合適的透鏡的孔徑 和焦距，在后焦面上可以獲得前面合成圖像的聯合功率譜圖像，并在后焦面上用CCD2對聯 合功率譜進行采樣；5).將采樣獲得的聯合功率譜圖像送入頻譜預處理模塊中，FPGA實時對聯合功率譜圖 像進行二值化處理；獲得的二值化聯合功率譜圖像再實時送入另一個SLM中，經過步驟4 一 樣的傅立葉變換過程，最后在透鏡后焦面上獲得相關峰圖像，再用CCD3對相關峰圖像進行 實時采樣；6)(XD3獲得的相關峰圖像通過控制模塊送入DSP中，DSP實現質心檢測算法，檢測出兩 個峰值的位置，兩峰值位置的差值就是圖像位移量的兩倍，最后將位移結果通過RS232串 口或USB接口傳出。
全文摘要
本發(fā)明公開了一種基于聯合變換相關器的全局運動檢測方法，該方法采用高幀頻小型面陣探測器為采樣單元，聯合變換光學相關器作為傅立葉變換模擬處理單元，DSP實現相關峰實時檢測算法，最終實現高精度實時的運動矢量檢測。本方法對輸入圖像的噪聲不敏感，抗干擾能力強；位移檢測結果準確，測量精度可以到達1個像素級。
文檔編號G01P3/80GK102109532SQ201010565108
公開日2011年6月29日 申請日期2010年11月26日 優(yōu)先權日2010年11月26日
發(fā)明者丁雷, 周偉, 李丹 申請人:中國科學院上海技術物理研究所