基于紅外熱像儀的電子穩(wěn)像方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及電子穩(wěn)像領(lǐng)域，特別是涉及一種基于紅外熱像儀的電子穩(wěn)像方法。
【背景技術(shù)】
[0002] 手持式紅外熱像儀一般用于實(shí)現(xiàn)目標(biāo)的觀察、跟蹤等任務(wù)，所以在圖像的輸出要 求上，需要具有較好的穩(wěn)定性，即在穩(wěn)像上的性能要求很高。
[0003] 電子穩(wěn)像也叫電子防抖，一般的穩(wěn)像有光學(xué)，機(jī)械和電子幾種方法，但是光學(xué)和機(jī) 械方法需要大量的專(zhuān)業(yè)設(shè)備，具有較高的成本，電子穩(wěn)像雖然不需任何設(shè)備，但是目前的電 子穩(wěn)像的效果都比較差，不方便使用，所以人們需要更加滿足要求的電子穩(wěn)像方法。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種基于紅外熱像儀的電子穩(wěn)像方法，具有可 靠性能高、成本低、精度高、效果好等優(yōu)點(diǎn)，同時(shí)在電子穩(wěn)像的應(yīng)用及普及上有著廣泛的市 場(chǎng)前景。
[0005] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是： 提供一種基于紅外熱像儀的電子穩(wěn)像方法，其步驟包括： 預(yù)處理：獲取紅外熱像儀中的圖像，用中值濾波去除噪聲，并采用拉普拉斯算子對(duì)圖像 進(jìn)行銳化； 運(yùn)動(dòng)估計(jì)：1.讀取圖像的當(dāng)前幀和當(dāng)前幀的前一幀，并對(duì)當(dāng)前幀圖像和前一幀圖像進(jìn) 行去噪和銳化；2.在前一幀圖像中，采用harris角點(diǎn)檢測(cè)方法，利用圖像的灰度變化率確 定角點(diǎn)的坐標(biāo)；3.根據(jù)計(jì)算得到的前一幀圖像上的角點(diǎn)的坐標(biāo)，利用金字塔LK光流法計(jì)算 當(dāng)前幀圖像上的角點(diǎn)坐標(biāo)；4.獲取當(dāng)前幀圖像和前一幀圖像上的角點(diǎn)集合，根據(jù)前后幀對(duì) 應(yīng)的角點(diǎn)，建立兩幀的映射方程，每一對(duì)匹配的角點(diǎn)都可以得出一個(gè)包含圖像平移和旋轉(zhuǎn) 的運(yùn)動(dòng)方程，然后采取了N(N>=2)對(duì)角點(diǎn)，采用最小二乘法得到前后兩幀圖像的最優(yōu)的運(yùn) 動(dòng)估計(jì)矢量； 運(yùn)動(dòng)濾波：根據(jù)各個(gè)圖像幀中角點(diǎn)的坐標(biāo)以及最優(yōu)的運(yùn)動(dòng)矢量，采用卡爾曼濾波的方 法，預(yù)測(cè)當(dāng)前幀圖像的后一幀圖像中的角點(diǎn)位置坐標(biāo)、角點(diǎn)移動(dòng)的速度及方向，得到平滑后 的運(yùn)動(dòng)矢量，即圖像旋轉(zhuǎn)矩陣A和圖像平移矩陣B; 運(yùn)動(dòng)補(bǔ)償：1.仿射變換：獲取經(jīng)過(guò)運(yùn)動(dòng)濾波的圖像幀；讀取第一幀作為基準(zhǔn)圖像，將第 二幀圖像根據(jù)卡爾曼濾波得到的圖像旋轉(zhuǎn)矩陣A和圖像平移矩陣B向第一幀圖像做配準(zhǔn)， 并進(jìn)行顯示；再以配準(zhǔn)后第二幀圖像做基準(zhǔn)，第三幀圖像根據(jù)卡爾曼濾波得到矩陣A和矩 陣B向第二幀圖像做配準(zhǔn)，并進(jìn)行顯示；按照上述步驟將所有的圖像幀進(jìn)行配準(zhǔn)并顯示；2. 空間變換：將圖像的像素通過(guò)變換映射到了新的坐標(biāo)位置，然后用灰度級(jí)的雙線性插值算 法對(duì)像素的新坐標(biāo)位置進(jìn)行計(jì)算，消除鋸齒；將系統(tǒng)的運(yùn)動(dòng)速度及方向作為運(yùn)動(dòng)補(bǔ)償?shù)妮?入 圖像輸出：將運(yùn)動(dòng)補(bǔ)償后輸出的圖像進(jìn)行顯示。
[0006] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述利用圖像的灰度變化率確定角點(diǎn)的坐標(biāo)的具體 步驟包括： A. 設(shè)置角點(diǎn)值的閾值，利用水平和垂直差分算子對(duì)圖像的每個(gè)像素進(jìn)行濾波，求得像 素的X軸坐標(biāo)IjPY軸坐標(biāo)Iy，進(jìn)而求得坐標(biāo)矩陣M中每個(gè)元素的值：
【主權(quán)項(xiàng)】
1. 一種基于紅外熱像儀的電子穩(wěn)像方法，其特征在于，步驟包括： 預(yù)處理：獲取紅外熱像儀中的圖像，用中值濾波去除噪聲，并采用拉普拉斯算子對(duì)圖像 進(jìn)行銳化； 運(yùn)動(dòng)估計(jì)：1.讀取圖像的當(dāng)前幀和當(dāng)前幀的前一幀，并對(duì)當(dāng)前幀圖像和前一幀圖像進(jìn) 行去噪和銳化；2.在前一幀圖像中，采用harris角點(diǎn)檢測(cè)方法，利用圖像的灰度變化率確 定角點(diǎn)的坐標(biāo)；3.根據(jù)計(jì)算得到的前一幀圖像上的角點(diǎn)的坐標(biāo)，利用金字塔LK光流法計(jì)算 當(dāng)前幀圖像上的角點(diǎn)坐標(biāo)；4.獲取當(dāng)前幀圖像和前一幀圖像上的角點(diǎn)集合，根據(jù)前后幀對(duì) 應(yīng)的角點(diǎn)，建立兩幀的映射方程，每一對(duì)匹配的角點(diǎn)都可以得出一個(gè)包含圖像平移和旋轉(zhuǎn) 的運(yùn)動(dòng)方程，然后采取了 N(N>=2)對(duì)角點(diǎn)，采用最小二乘法得到前后兩幀圖像的最優(yōu)的運(yùn) 動(dòng)估計(jì)矢量； 運(yùn)動(dòng)濾波：根據(jù)各個(gè)圖像幀中角點(diǎn)的坐標(biāo)以及最優(yōu)的運(yùn)動(dòng)矢量，采用卡爾曼濾波的方 法，預(yù)測(cè)當(dāng)前幀圖像的后一幀圖像中的角點(diǎn)位置坐標(biāo)、角點(diǎn)移動(dòng)的速度及方向，得到平滑后 的運(yùn)動(dòng)矢量，即圖像旋轉(zhuǎn)矩陣A和圖像平移矩陣B ; 運(yùn)動(dòng)補(bǔ)償：1.仿射變換：獲取經(jīng)過(guò)運(yùn)動(dòng)濾波的圖像幀；讀取第一幀作為基準(zhǔn)圖像，將第 二幀圖像根據(jù)卡爾曼濾波得到的圖像旋轉(zhuǎn)矩陣A和圖像平移矩陣B向第一幀圖像做配準(zhǔn)， 并進(jìn)行顯示；再以配準(zhǔn)后第二幀圖像做基準(zhǔn)，第三幀圖像根據(jù)卡爾曼濾波得到矩陣A和矩 陣B向第二幀圖像做配準(zhǔn)，并進(jìn)行顯示；按照上述步驟將所有的圖像幀進(jìn)行配準(zhǔn)并顯示；2. 空間變換：將圖像的像素通過(guò)變換映射到了新的坐標(biāo)位置，然后用灰度級(jí)的雙線性插值算 法對(duì)像素的新坐標(biāo)位置進(jìn)行計(jì)算，消除鋸齒； 圖像輸出：將運(yùn)動(dòng)補(bǔ)償后輸出的圖像進(jìn)行顯示。
2. 根據(jù)權(quán)利要求1所述的基于紅外熱像儀的電子穩(wěn)像方法，其特征在于，所述利用圖 像的灰度變化率確定角點(diǎn)的坐標(biāo)的具體步驟包括： A. 設(shè)置角點(diǎn)值的閾值，利用水平和垂直差分算子對(duì)圖像的每個(gè)像素進(jìn)行濾波，求得像 素的X軸坐標(biāo)、和Y軸坐標(biāo)I y，進(jìn)而求得坐標(biāo)矩陣M中每個(gè)元素的值：
B. 利用離散二維零均值高斯函數(shù)對(duì)坐標(biāo)矩陣M的四個(gè)元素進(jìn)行高斯平滑濾波，得到新 的坐標(biāo)矩陣Ml，離散二維零均值高斯函數(shù)為：
C. 接下來(lái)利用Ml計(jì)算每個(gè)像素的角點(diǎn)值cim:
D. 當(dāng)一個(gè)像素的角點(diǎn)值大于某一閾值，且同時(shí)像素的角點(diǎn)值是某個(gè)鄰域內(nèi)的局部最大 值時(shí)，則這個(gè)像素確認(rèn)為角點(diǎn)，其中，領(lǐng)域是指以該像素為中心點(diǎn)的圖像區(qū)域。
3. 根據(jù)權(quán)利要求1所述的基于紅外熱像儀的電子穩(wěn)像方法，其特征在于，所述利用金 字塔LK光流法計(jì)算當(dāng)前幀圖像上的角點(diǎn)坐標(biāo)的具體步驟包括： 對(duì)于連續(xù)兩幅圖像中的像素坐標(biāo)集合I (X，y)和J (X，y)，特征跟蹤找到像素坐標(biāo)集合 I (X，y)上的一點(diǎn)u=(Ux, Uy)，并在圖像J(x, y)上找到具有相似圖像強(qiáng)度的另外一個(gè)點(diǎn)u+d =(Ux+dx, Uy+dy),其中d為u點(diǎn)的平移量； 光流即為不同圖像區(qū)域之間產(chǎn)生的最佳擬合的唯一，定義灰度時(shí)間微分 Ic = !(x, y) - l(xs y)，定義空間梯度矩陣G為：
其中，W指的是以u(píng)為中心，在圖像上建立（2wx+l，2wy+l)的對(duì)應(yīng)的區(qū)域窗口，并設(shè)誤匹 配矢量b為：
則由LK光流方程計(jì)算得到最優(yōu)的矢量解(1_為：
4. 根據(jù)權(quán)利要求1所述的基于紅外熱像儀的電子穩(wěn)像方法，其特征在于，所述得到角 點(diǎn)的最優(yōu)的運(yùn)動(dòng)矢量的具體步驟包括： 因?yàn)樗鲞\(yùn)動(dòng)矢量包括圖像在X軸、y軸方向上的大小以及圖像的旋轉(zhuǎn)角度α，所以得 到圖像的全局運(yùn)動(dòng)方程為：
(9) 且旋轉(zhuǎn)角度 a = tan-1 (b/a)，則 a=c〇s a，b=sin α， 該公式可以改寫(xiě)為：
上式中，（<，)，（ -'，y:)已知，為前后幀對(duì)應(yīng)的角點(diǎn)坐標(biāo)，a, b，dx，dy未知， 兩對(duì)對(duì)應(yīng)點(diǎn)就可以確定，一般可找到大于兩對(duì)，公式（10)是超定方程組，使用最小二 乘法就可以求解。
5. 根據(jù)權(quán)利要求1所述的基于紅外熱像儀的電子穩(wěn)像方法，其特征在于，所述運(yùn)動(dòng)濾 波的具體步驟包括： (1) 對(duì)轉(zhuǎn)移矩陣、測(cè)量矩陣、過(guò)程噪聲協(xié)方差矩陣、測(cè)量噪聲協(xié)方差矩陣、后驗(yàn)錯(cuò)誤協(xié)方 差矩陣、前一狀態(tài)校正后的值和當(dāng)前觀察值進(jìn)行初始化； (2) 預(yù)測(cè)狀態(tài)：公式如下：?χ?無(wú)):x'(k) =+A · x(k- 1) - B · u(k)，在預(yù)測(cè)階段，濾波器 使用上一狀態(tài)的估計(jì)，做出對(duì)當(dāng)前狀態(tài)的估計(jì)，其中x(k-l)為前一狀態(tài)的校正值，第一個(gè) 循環(huán)中在初始化過(guò)程中已經(jīng)給定了，A，B，u (k)，也都是給定了的值，這樣經(jīng)過(guò)過(guò)計(jì)算就得到 了系統(tǒng)狀態(tài)的預(yù)測(cè)值X'（k) 了； (3)調(diào)用卡爾曼算法中correct方法得到加入觀察值校正后的狀態(tài)變量值矩陣，其公 式為： (x(k)): x(k) = >1k) - K(k) M+z(k) - H · f(k))，其中 X'（k)為步驟二算出的結(jié)果， z (k)為當(dāng)前測(cè)量值，H為卡爾曼濾波初始化給定的測(cè)量矩陣，K (k)為卡爾曼增益，其計(jì)算公 式為： I: Kl:k) :h Klk) = PiCki · Ht . P-Yk) Ht - R)，則重新獲得了這一時(shí)刻的校正 值，然后不斷循環(huán)步驟二和步驟三即可完成卡爾曼濾波過(guò)程。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于紅外熱像儀的電子穩(wěn)像方法，步驟包括：預(yù)處理、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)濾波、運(yùn)動(dòng)補(bǔ)償和圖像輸出。通過(guò)上述方式，本發(fā)明基于紅外熱像儀的電子穩(wěn)像方法，不僅節(jié)約設(shè)備成本，而且利用角點(diǎn)檢測(cè)結(jié)合光流法進(jìn)行運(yùn)動(dòng)估計(jì)，并對(duì)圖像運(yùn)動(dòng)軌跡進(jìn)行平滑，有效改善圖像抖動(dòng)，提高了防抖效果。
【IPC分類(lèi)】H04N5-14, H04N5-21
【公開(kāi)號(hào)】CN104853064
【申請(qǐng)?zhí)枴緾N201510167135
【發(fā)明人】范少華
【申請(qǐng)人】海視英科光電（蘇州）有限公司
【公開(kāi)日】2015年8月19日
【申請(qǐng)日】2015年4月10日