本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域，具體涉及一種基于艦載設(shè)備的電子穩(wěn)像方法。

背景技術(shù)：

電子穩(wěn)像技術(shù)的研究始于20世紀(jì)80年代中期。電子穩(wěn)像是集電子學(xué)、計算機、圖像識別等技術(shù)于一體、直接確定圖像序列幀間映射關(guān)系并進行補償?shù)男乱淮鷪D像穩(wěn)定技術(shù)，旨在消除視頻圖像序列中的隨機運動。與傳統(tǒng)的機械穩(wěn)像和光學(xué)穩(wěn)像相比，電子穩(wěn)像具有易于操作、穩(wěn)像精度高、靈活性強、體積小、重量輕、能耗低以及高智能化實時處理等優(yōu)點。利用電子穩(wěn)像技術(shù)實現(xiàn)視頻圖像序列穩(wěn)定是現(xiàn)代穩(wěn)像技術(shù)的發(fā)展方向之一。此外，隨著計算機技術(shù)和大規(guī)模集成電路技術(shù)的迅猛發(fā)展，圖像處理設(shè)備的價格持續(xù)下降，商用攝像機、監(jiān)視器的嵌入式電子穩(wěn)像系統(tǒng)也成為目前電子穩(wěn)像技術(shù)的研究熱點之一，并伴隨著巨大的市場需求。

現(xiàn)有的電子穩(wěn)像方法大致可分為以下幾類：基于圖像塊匹配的方法、灰度投影映射方法、基于圖像二值位平面信息的方法、相位相關(guān)方法、基于圖像特征的方法以及基于變換域的方法等。對這些算法的研究和實踐過程中發(fā)現(xiàn)：基于圖像塊匹配的方法適用于信息豐富的圖像，且計算量大、效率低；灰度投影映射方法算法簡單，易于實現(xiàn)，但對灰度信息較單一的場景處理效果較差；基于圖像二值位平面信息的方法適用于位平面信息明顯如建筑、室內(nèi)等場景，且誤匹配概率較高，抗噪聲能力差；相位相關(guān)方法對場景光照變化不敏感，對噪聲、遮擋等干擾有明顯抑制作用，且匹配精度高，可達到亞像素級，但算法計算量較大，若場景中存在多運動目標(biāo)時影響檢測效果；基于圖像特征的方法適用于特征明顯的場景，當(dāng)特征不明顯或過于集中于局部區(qū)域時，誤匹配概率高；基于變換域的方法復(fù)雜度較高，且精度也不高。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有電子穩(wěn)像方法均不適用與艦載設(shè)備的問題，本發(fā)明提供一種基于艦載設(shè)備的電子穩(wěn)像方法。

本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案如下：

本發(fā)明的一種基于艦載設(shè)備的電子穩(wěn)像方法，包括以下步驟：

(101)原始視頻圖像采集；

(102)選取參考幀圖像；

(103)讀取當(dāng)前幀圖像；

(104)采用基于物天曲線的運動估計方法計算運動矢量：水平偏移量、垂直偏移量和旋轉(zhuǎn)角度；

(105)對運動矢量進行濾波；

(106)對運動矢量進行補償；

(107)輸出穩(wěn)定圖像。

進一步的，步驟(102)選取參考幀圖像的具體過程如下：

當(dāng)當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)小于給定閾值時，則將參考幀圖像更新為當(dāng)前幀圖像。

進一步的，步驟(104)采用基于物天曲線的運動估計方法計算運動矢量的具體過程如下：

分別提取參考幀圖像和當(dāng)前幀圖像的特征點，然后分別判斷參考幀圖像和當(dāng)前幀圖像的特征點個數(shù)，若兩幅圖像的特征點個數(shù)都小于2，則對兩幅圖像分別進行最小二乘擬合計算得到對應(yīng)的直線方程，利用這兩個直線方程計算兩條曲線的平移量和旋轉(zhuǎn)角；若兩幅圖像中有一幅圖像的特征點個數(shù)大于等于2或者兩幅圖像的特征點個數(shù)都大于等于2，則將這兩幅圖像的特征點進行匹配，計算兩條曲線的平移量和旋轉(zhuǎn)角。

進一步的，分別提取參考幀圖像和當(dāng)前幀圖像的特征點的具體過程如下：

(201)圖像濾波

采用中值濾波算法分別對參考幀圖像和當(dāng)前幀圖像進行中值濾波處理；

(202)分塊灰度映射

將經(jīng)過濾波處理的圖像在水平方向上分別進行分塊處理，總共分成k塊，對第l塊圖像進行垂直方向平均灰度映射為其中i、j表示圖像的第i行第j列，f(i,j)表示圖像第i行第j列的灰度值，s[l]表示第l塊的起始列，e[l]表示第l塊的終止列，0≤l＜k；

(203)閾值分割

對平均灰度映射函數(shù)map[l][i]中的i從hei到1遍歷，hei為圖像高度，找到第一個波谷gl，定義開始下降到第一個波谷的點為gh，取g[l]＝(gl+gh)/2為第l塊的閾值，將圖像進行閾值分割，獲得二值圖像；

(204)邊緣提取

將二值圖像進行形態(tài)學(xué)邊緣提取，即將二值圖像進行膨脹得到圖像d，將二值圖像進行腐蝕得到圖像e，則邊緣圖像edge(i,j)＝e(i,j)-d(i,j)；

(205)提取物天曲線

將邊緣圖像上端且連續(xù)像素個數(shù)大于m的邊緣線保留，作為物天曲線，其余邊緣去除，m取大于1的整數(shù)；

(206)提取特征點

利用物天曲線的曲率計算公式，提取物天曲線上的曲率極大值點作為特征點，物天曲線的曲率計算公式如下所示：

其中：k(t)為物天曲線上第t個點的曲率，it為第t個點的橫坐標(biāo)，it+1為第t+1個點的橫坐標(biāo)，it+2為第t+2個點的橫坐標(biāo)，jt為第t個點的縱坐標(biāo)，jt+1為第t+1個點的縱坐標(biāo)，ht為第t個點與第t+1個點的縱坐標(biāo)之差，mt為第t個點與第t+1個點的橫坐標(biāo)之差，mt+1為第t+1個點與第t+2個點的橫坐標(biāo)之差，并且ht＝j(luò)t+1-jt，mt＝it+1-it，mt+1＝it+2-it+1。

進一步的，當(dāng)參考幀圖像和當(dāng)前幀圖像的特征點個數(shù)都小于2時，計算兩條曲線的平移量和旋轉(zhuǎn)角的具體過程如下：

(208)最小二乘擬合

在曲率一致的物天曲線上均勻的選取3個點，采用最小二乘擬合方法擬合出參考幀圖像的直線方程amj+bmi+cm＝0以及當(dāng)前幀圖像的直線方程anj+bni+cn＝0，其中am、bm、cm是參考幀圖像的直線方程參數(shù)，an、bn、cn是當(dāng)前幀圖像的直線方程參數(shù)，j為圖像像素的列坐標(biāo)，i為圖像像素的行坐標(biāo)；

(2101)通過參考幀圖像和當(dāng)前幀圖像的兩條直線方程計算當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)：

當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角

將旋轉(zhuǎn)之后的當(dāng)前幀圖像的直線方程垂直投影，計算平均坐標(biāo)其中yi為當(dāng)前幀圖像的直線方程的縱坐標(biāo)，in為當(dāng)前幀圖像的直線方程取點個數(shù)；將參考幀圖像的直線方程垂直投影，計算平均坐標(biāo)其中yi為當(dāng)前幀圖像的直線方程的縱坐標(biāo)，im為參考幀圖像的直線方程取點個數(shù)，則當(dāng)前幀圖像的垂直平移量

將旋轉(zhuǎn)且垂直平移之后的當(dāng)前幀圖像的直線方程水平投影，計算平均坐標(biāo)其中xnj是當(dāng)前幀圖像的直線方程的橫坐標(biāo)，jn為當(dāng)前幀圖像的直線方程取點個數(shù)；將參考幀圖像的直線方程水平投影，計算平均坐標(biāo)其中xmj是參考幀圖像的直線方程的橫坐標(biāo)，jm為參考幀圖像的直線方程取點個數(shù)，則當(dāng)前幀圖像的水平平移量

進一步的，當(dāng)參考幀圖像和當(dāng)前幀圖像中有一幅圖像的特征點個數(shù)大于等于2或者兩幅圖像的特征點個數(shù)都大于等于2時，計算兩條曲線的平移量和旋轉(zhuǎn)角視的具體過程如下：

(209)特征點匹配

采用hausdorff距離法進行特征點匹配，將參考幀圖像和當(dāng)前幀圖像中匹配成功的特征點分別存放在點集p和點集q內(nèi)；

(2102)將點集p和點集q中的特征點分別代入到以下變換矩陣中其中(xm,ym)為參考幀圖像點集p中特征點的坐標(biāo)參數(shù)，(xn,yn)為當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，從而計算出當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)。

進一步的，步驟(105)中，采用低通濾波的方法對運動矢量進行濾波處理。

進一步的，步驟(106)對運動矢量進行補償?shù)木唧w過程如下：

平移量補償公式：旋轉(zhuǎn)角補償公式：其中(xn,yn)為運動補償前的當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，(x0,y0)為運動補償后的當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，θ為順時針旋轉(zhuǎn)角度，(x,y)為運動補償后的旋轉(zhuǎn)角坐標(biāo)；

采用雙線性插值方法計算旋轉(zhuǎn)之后的圖像：對于運動補償后的旋轉(zhuǎn)角坐標(biāo)寫成浮點坐標(biāo)形式：其中α、β均為[0,1)區(qū)間的浮點數(shù)，則像素值f(i+α,j+β)由原始圖像中坐標(biāo)為(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所對應(yīng)的四個像素的值決定，即

f(i+α,j+β)＝(1-α)(1-β)f(i,j)+(1-α)βf(i+1,j)+α(1-β)f(i,j+1)+αβf(i+1,j+1)，其中f(i+1,j+1)表示原始圖像在(i+1,j+1)處的像素值，以此類推，則f(i+1,j)表示原始圖像在(i+1,j)處的像素值，f(i,j+1)表示原始圖像在(i,j+1)處的像素值，f(i+1,j+1)表示原始圖像在(i+1,j+1)處的像素值。

本發(fā)明的有益效果是：

艦載設(shè)備采集的圖像中一般包括海、天、山、船等信息，所采集的圖像的特點是信息量不夠豐富。天空灰度均勻，細節(jié)較少；海水有波動，對圖像塊匹配產(chǎn)生干擾；但是天空、大海、山脈、艦船之間總有一條較為明顯的物天曲線。本發(fā)明根據(jù)對現(xiàn)有各種電子穩(wěn)像方法的分析以及艦載設(shè)備采集圖像的特點，在運動矢量估計時，克服現(xiàn)有方法的不足，提出一種新的基于物天曲線的運動估計方法，實現(xiàn)艦載設(shè)備的穩(wěn)像功能。本發(fā)明可以快速、準(zhǔn)確的計算出當(dāng)前幀圖像相對于參考幀圖像的平移量和旋轉(zhuǎn)角，運算量小、精度高，既能提高算法的實時性，又能提高算法的準(zhǔn)確率，具有很好的魯棒性。

附圖說明

圖1為本發(fā)明的一種基于艦載設(shè)備的電子穩(wěn)像方法的流程圖。

圖2為本發(fā)明中采用基于物天曲線的運動估計方法計算運動矢量的流程圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明作進一步詳細說明。

本發(fā)明的一種基于艦載設(shè)備的電子穩(wěn)像方法，其流程如圖1所示。該方法的具體步驟如下：

(101)原始視頻圖像采集

采集艦載設(shè)備中攝像機所采集的視頻圖像并將其傳輸?shù)接嬎銠C中進行后期處理。

(102)選取參考幀圖像

第一次選取的參考幀圖像一般為艦載設(shè)備穩(wěn)定之后攝像機采集的第一幀圖像，之后為了消除累計誤差，需要對第一次選取的參考幀圖像進行更新。具體的是：當(dāng)當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)小于給定閾值(閾值可根據(jù)場景由用戶設(shè)定或給定)時，則將參考幀圖像更新為當(dāng)前幀圖像。

(103)讀取當(dāng)前幀圖像

計算完上一幀圖像后讀取當(dāng)前幀圖像進行下一步計算，當(dāng)計算完當(dāng)前幀圖像后再讀取下一幀圖像進行下一步計算，保證算法的實時性。

(104)采用基于物天曲線的運動估計方法計算運動矢量：水平偏移量、垂直偏移量和旋轉(zhuǎn)角度。具體的是分別針對參考幀圖像和當(dāng)前幀圖像進行計算，也就是分別執(zhí)行步驟(201)～(207)。如果兩幅圖像的特征點個數(shù)都小于2，則對兩幅圖像分別進行最小二乘擬合，擬合之后分別得到一個直線方程，通過這兩個直線方程就可以計算兩條曲線的平移量和旋轉(zhuǎn)角，即執(zhí)行步驟(210)；如果兩幅圖像中有一幅圖像的特征點個數(shù)大于等于2或者兩幅圖像的特征點個數(shù)都大于等于2，則將這兩幅圖像的特征點進行特征點匹配，計算兩條曲線的平移量和旋轉(zhuǎn)角，即執(zhí)行步驟(210)。

該步驟(104)是整個電子穩(wěn)像方法的核心，其具體操作過程如下：

(201)圖像濾波

圖像(參考幀圖像和當(dāng)前幀圖像)在采集和傳輸?shù)倪^程中，往往會摻雜各種噪聲，造成圖像的質(zhì)量下降，影響后期算法的準(zhǔn)確率，所以，首先需要對圖像進行濾波。本發(fā)明中采用中值濾波算法分別對參考幀圖像和當(dāng)前幀圖像進行中值濾波處理。所采用的中值濾波算法計算過程簡單，對消除椒鹽噪聲尤為有效。

(202)分塊灰度映射

將步驟(201)中經(jīng)過濾波處理的圖像(參考幀圖像和當(dāng)前幀圖像)在水平方向上分別進行分塊處理，總共分成k塊圖像，對第l(0≤l＜k)塊圖像進行垂直方向平均灰度映射為其中i、j表示圖像的第i行第j列，f(i,j)表示圖像第i行第j列的灰度值，s[l]表示第l塊的起始列，e[l]表示第l塊的終止列。

(203)閾值分割

對平均灰度映射函數(shù)map[l][i]中的i從hei到1遍歷，hei為圖像高度，找到第一個波谷gl，定義開始下降到第一個波谷的點為gh，取g[l]＝(gl+gh)/2為第l塊的閾值，將圖像(參考幀圖像和當(dāng)前幀圖像)進行閾值分割，獲得二值圖像。

(204)邊緣提取

將上述獲得的二值圖像進行形態(tài)學(xué)邊緣提取，即將二值圖像進行膨脹得到圖像d，將二值圖像進行腐蝕得到圖像e，則邊緣圖像edge(i,j)＝e(i,j)-d(i,j)，其中i、j表示圖像的第i行第j列。

(205)提取物天曲線

將邊緣圖像中最靠近圖像上端的且連續(xù)像素的個數(shù)大于m(m取大于1的整數(shù))的邊緣線保留，作為物天曲線，其余邊緣去除。

(206)提取特征點

利用物天曲線的曲率計算公式，提取物天曲線上的曲率極大值點作為特征點。物天曲線的曲率計算公式如下所示：

其中：k(t)為物天曲線上第t個點的曲率，it為第t個點的橫坐標(biāo)，it+1為第t+1個點的橫坐標(biāo)，it+2為第t+2個點的橫坐標(biāo)，jt為第t個點的縱坐標(biāo)，jt+1為第t+1個點的縱坐標(biāo)，ht為第t個點與第t+1個點的縱坐標(biāo)之差，mt為第t個點與第t+1個點的橫坐標(biāo)之差，mt+1為第t+1個點與第t+2個點的橫坐標(biāo)之差，并且ht＝j(luò)t+1-jt，mt＝it+1-it，mt+1＝it+2-it+1。

(207)判斷特征點個數(shù)，若特征點個數(shù)≥2，則執(zhí)行步驟(209)，若特征點個數(shù)＜2，則執(zhí)行步驟(208)。

(208)最小二乘擬合

若特征點個數(shù)小于2，則認(rèn)為物天曲線能夠擬合成直線或者分段直線：在曲率一致的物天曲線上均勻的選取3個點，采用最小二乘擬合方法擬合出參考幀圖像的直線方程amj+bmi+cm＝0以及當(dāng)前幀圖像的直線方程anj+bni+cn＝0，其中am、bm、cm是參考幀圖像的直線方程參數(shù)，an、bn、cn是當(dāng)前幀圖像的直線方程參數(shù)，j為圖像像素的列坐標(biāo)，i為圖像像素的行坐標(biāo)。

(209)特征點匹配

若特征點個數(shù)大于等于2，則認(rèn)為物天曲線不能夠用簡單的直線方程表示，因此，需要采用hausdorff距離法進行特征點匹配，將參考幀圖像和當(dāng)前幀圖像中匹配成功的特征點分別存放在點集p和點集q內(nèi)。

hausdorff距離是一種定義于兩個點集上的最大最小(max-min)距離。hausdorff距離定義為：h(m,n)＝max(h(m,n),h(n,m))，其中||||為定義在點集m、n上的某種距離范數(shù)，在本實施例中采用歐幾里德范數(shù)?；趆ausdorff距離的特征點匹配方法計算簡單，且抗干擾能力強。

(210)分兩種情況計算當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角和平移量，兩種情況分別的具體操作過程分別為步驟(2101)和步驟(2102)：

(2101)當(dāng)特征點個數(shù)小于2時，通過參考幀圖像和當(dāng)前幀圖像的兩條直線方程(amj+bmi+cm＝0和anj+bni+cn＝0)計算當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)，具體的計算過程如下：

計算旋轉(zhuǎn)角：當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角其中am、bm、cm是參考幀圖像的直線方程參數(shù)，an、bn、cn是當(dāng)前幀圖像的直線方程參數(shù)。

計算垂直平移量：將旋轉(zhuǎn)之后的當(dāng)前幀圖像的直線方程垂直投影，計算平均坐標(biāo)其中yi為當(dāng)前幀圖像的直線方程的縱坐標(biāo)，in為當(dāng)前幀圖像的直線方程取點個數(shù)。

將參考幀圖像的直線方程垂直投影，計算平均坐標(biāo)其中yi為當(dāng)前幀圖像的直線方程的縱坐標(biāo)，im為參考幀圖像的直線方程取點個數(shù)，則當(dāng)前幀圖像的垂直平移量

計算水平平移量：將旋轉(zhuǎn)且垂直平移之后的當(dāng)前幀圖像的直線方程水平投影，計算平均坐標(biāo)其中xnj是當(dāng)前幀圖像的直線方程的橫坐標(biāo)，jn為當(dāng)前幀圖像的直線方程取點個數(shù)。

將參考幀圖像的直線方程水平投影，計算平均坐標(biāo)其中xmj是參考幀圖像的直線方程的橫坐標(biāo)，jm為參考幀圖像的直線方程取點個數(shù)，則當(dāng)前幀圖像的水平平移量

(2102)當(dāng)特征點個數(shù)大于等于2時，將步驟(209)中匹配成功的點集p和點集q中的特征點分別代入到以下變換矩陣中，其中(xm,ym)為參考幀圖像點集p中特征點的坐標(biāo)參數(shù)，(xn,yn)為當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，從而計算出當(dāng)前幀圖像相對于參考幀圖像的旋轉(zhuǎn)角θ和平移量(δx,δy)。

(105)對運動矢量進行濾波

實際工程中往往會存在艦載設(shè)備中攝像機的抖動引起的視頻序列隨機運動，或者運動估計時出現(xiàn)誤匹配的現(xiàn)象，為了使視頻穩(wěn)像效果更好，需要對運動矢量(水平偏移量、垂直偏移量和旋轉(zhuǎn)角度)進行濾波。

目前用于電子穩(wěn)像的運動濾波算法主要有：基于低通濾波的方法、基于b樣條的運動濾波方法、基于kalman濾波的方法以及基于多軌跡映射的運動濾波方法等。

本發(fā)明采用的方法是基于低通濾波的方法。將視頻圖像序列的運動軌跡用信號來描述，將隨機運動看作是信號的高頻噪聲，利用中值濾波算法進行去噪，從而達到視頻圖像序列的運動軌跡平滑的目的?；诘屯V波的方法簡單有效，可以快速濾除高頻噪聲。

(106)對運動矢量進行補償

根據(jù)計算的運動矢量，對當(dāng)前幀圖像進行補償從而顯示出穩(wěn)定、清晰的圖像序列。運動矢量的補償包括平移量(δx,δy)的補償和旋轉(zhuǎn)角θ的補償。平移量補償公式：旋轉(zhuǎn)角補償公式：其中(xn,yn)為運動補償前的當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，(x0,y0)為運動補償后的當(dāng)前幀圖像點集q中特征點的坐標(biāo)參數(shù)，θ為順時針旋轉(zhuǎn)角度，(x,y)為運動補償后的旋轉(zhuǎn)角坐標(biāo)。

由于圖像的離散特性，圖像旋轉(zhuǎn)之后會出現(xiàn)“空洞”點和馬賽克現(xiàn)象，為了消除這種現(xiàn)象，本發(fā)明采用雙線性插值方法計算旋轉(zhuǎn)之后的圖像。對于運動補償后的旋轉(zhuǎn)角坐標(biāo)寫成浮點坐標(biāo)形式：其中α、β均為[0,1)區(qū)間的浮點數(shù)，則像素值f(i+α,j+β)可由原始圖像中坐標(biāo)為(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所對應(yīng)的四個像素的值決定，即

f(i+α,j+β)＝(1-α)(1-β)f(i,j)+(1-α)βf(i+1,j)+α(1-β)f(i,j+1)+αβf(i+1,j+1)，其中f(i+1,j+1)表示原始圖像在(i+1,j+1)處的像素值，以此類推，則f(i+1,j)表示原始圖像在(i+1,j)處的像素值，f(i,j+1)表示原始圖像在(i,j+1)處的像素值，f(i+1,j+1)表示原始圖像在(i+1,j+1)處的像素值。雙線性插值之后的圖像更加平滑、清晰、完整。

(107)輸出穩(wěn)定圖像

運動補償后輸出視頻序列圖像，達到連續(xù)、穩(wěn)定的視覺效果。補償后的圖像的邊緣會出現(xiàn)空白區(qū)域，若想得到全幀視頻圖像，需對空白區(qū)域進行填充。由于艦載設(shè)備圖像的邊緣空白區(qū)域一般信息量較少，本發(fā)明采用改進的圖像拼接方法進行填充，即基于相鄰幾幀圖像準(zhǔn)確對齊后圖像內(nèi)容的近似性，使用相鄰幾幀的像素值來填充空白區(qū)域。該方法簡單，補償效果較好，具有較好的視覺品質(zhì)。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。