一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法
【專利摘要】本發(fā)明公開了一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法，該方法在色彩模式轉換的基礎上，建立了基于顏色恒量模式下的多尺度空間，提取了基于顏色恒量和幾何多尺度局部不變的特征點，對視頻圖像序列進行特征點匹配和抖動運動估計，然后計算相鄰幀圖像的仿射變換矩陣，當前幀相對于參考幀圖像的變形通過累積仿射變換矩陣進行轉換，實現(xiàn)運動補償，最終實現(xiàn)視頻穩(wěn)像，可以自動地、實時地消除視頻圖像的由于攝像頭抖動產(chǎn)生的異常運動，包括圖像間的平移、旋轉、縮放等，去除由于攝像機震動而產(chǎn)生的視頻抖動，從而提供較穩(wěn)定的視頻圖像。
【專利說明】一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法
【技術領域】
[0001]本發(fā)明屬于圖像處理【技術領域】，具體涉及一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法。
【背景技術】
[0002]由于攝像載體的震動，攝像機拍攝的視頻會廣生抖動。如攝像機固定在建筑物、交通工具上，安裝在帶電機的設備上，或是手持攝像設備，這些載體都存在震動，帶動攝像機鏡頭，使得拍攝的視頻畫面產(chǎn)生抖動。在使用高倍鏡頭情況下，輕微的震動都會引起圖像的劇烈抖動，造成視頻不穩(wěn)定和模糊，嚴重影響視頻質量，使觀察者產(chǎn)生視覺疲勞乃至誤判，同時也給圖像后處理帶來困難。視頻穩(wěn)像就是通過技術處理，消除由攝像機抖動引起的視頻圖像異常，如平移、旋轉、縮放等，使原來抖動視頻變得平穩(wěn)，提高圖像序列的平滑度和穩(wěn)定性，從而提高視頻圖像質量，也為圖像后處理提供前提和基礎。
[0003]穩(wěn)像技術經(jīng)歷了機械穩(wěn)像、光學穩(wěn)像和電子穩(wěn)像三個發(fā)展階段，其中電子穩(wěn)像是一種新興技術，是現(xiàn)代穩(wěn)像技術的主要發(fā)展方向。電子穩(wěn)像技術采用數(shù)字圖像處理算法設計直接確定圖像序列之間的映射關系，通過計算機程序消除抖動，得到穩(wěn)定圖像序列。與前兩種方法相比，電子穩(wěn)像系統(tǒng)具有操作簡單、精度高、靈活性強、體積小、重量輕、能耗低以及智能化、實時處理等優(yōu)點，在工業(yè)、商業(yè)和軍事等領域具有廣闊的應用前景。
[0004]電子穩(wěn)像主要包括運動估計和運動補償兩個過程，根據(jù)一定的算法對視頻圖像進行抖動運動矢量估計，再通過抖動運動矢量對其補償獲得穩(wěn)定圖像，因此，運動估計的結果將直接影響穩(wěn)像的性能。已有很多文獻提出各種幀間運動估計算法，主要有基于塊匹配(如基于簡易快速全局運動參數(shù)估計的實時視頻穩(wěn)像方法，專利號為CN201010179280)、灰度投影算法(如一種機載視頻穩(wěn)像方法，專利號為CN20121011222)、基于位平面匹配(如一種基于fpga平臺的快速位平面電子穩(wěn)像方法，專利號為CN201310076351)、基于光流(如文獻:Chang J Y，Hu W F，Cheng M H，et al.Digital image translational and rotationalmotion stabilization using optical flow technique.Consumer Electronics,IEEETransactions on，2002)、相位相關法(如文獻:Erturk S.Digital image stabilizationwith sub-1mage phase correlation based global motion estimation.ConsumerElectronics, IEEE Transactions on，2003)以及基于特征匹配的算法等。
[0005]最近的運動估計研究主要釆用基于特征匹配的算法，因為這類算法具有平移、旋轉、尺度不變性，性能更加高效、穩(wěn)健，且能滿足實時處理的要求。如文獻(R.Huj R.Shij 1.Shenjet al, 〃Video stabilization using scale-1nvariant features' InformationVisualization, 2007.1V’07.1lth Inter，2007)對灰度圖像序列提取SIFT特征，進行攝像機運動估計，通過高斯核濾波和拋物線擬合進行攝像機抖動估計，實現(xiàn)了視頻穩(wěn)像；基于特征匹配的電子穩(wěn)像方法(專利號為CN201110178881)釆用Hairis角點提取算法和RANSAC算法進行匹配，得到全局運動矢量和局部運動矢量，進而通過運動補償實現(xiàn)穩(wěn)像；文獻(K.Huangj Y.Tsai, C.Tsai, et al, 〃Video stabilization for vehicular applicationsusing SURF-1ike descriptor and KD_tree〃，Image Processing (ICIP)，201017th IEEEInternation, 2010)對灰度圖像序列提取了 Harris角點,用SURF-1ike描述子表達特征,并用KD-tree進行特征匹配,進而通過運動估計和運動補償實現(xiàn)了穩(wěn)像；文獻(Wang, Yue, etal.^Real-Time Video Stabilization for Unmanned Aerial Vehicles.〃MVA, 2011)對灰度圖像序列提取了 FAST角點并進行特征匹配，獲取了運動矢量并進行運動補償，實現(xiàn)了視頻穩(wěn)像。
[0006]然而，上述這些算法通常僅對灰度圖像進行處理，通過提取灰度圖像的幾何不變特征點進行特征點匹配，但在視頻質量較差，尤其在昏暗、光照條件差或其他復雜等攝像場景下攝取的圖像比較模糊，不能提取足夠數(shù)量的有效特征點，因而造成特征點匹配失誤，進而造成運動估計失誤，最終穩(wěn)像往往會失敗。

【發(fā)明內容】

[0007]針對現(xiàn)有技術所存在的上述技術問題，本發(fā)明提供了一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法，可以在彩色視頻中提取更多有效的特征點，去除由于攝像機震動而產(chǎn)生的視頻抖動，從而提供較穩(wěn)定的視頻圖像，避免目前其他基于灰度圖像的穩(wěn)像算法因視頻質量差而穩(wěn)像失敗的問題。
[0008]一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法，包括如下步驟:
[0009]( I)使視頻圖像從RGB模式轉換為顏色恒量模式，得到對應的顏色恒量圖像；
[0010](2)根據(jù)所述的顏色恒量圖像，建立視頻圖像的三層高斯金字塔圖像；
[0011](3)提取三層高斯金字塔圖像每一層子圖中的角點，且將其他兩層子圖中的角點映射到底層子圖中，進而建立每一角點的FREAK描述子；
[0012](4)根據(jù)步驟(1)至(3)遍歷每幀視頻圖像，以得到每幀視頻圖像各角點的FREAK描述子；進而根據(jù)FREAK描述子對前后兩幀視頻圖像進行角點匹配；
[0013](5)根據(jù)前后兩幀視頻圖像的角點匹配關系，利用MSAC(M_estimator SampleConsensus, M估計子抽樣一致性)算法對前后兩幀視頻圖像進行幀間運動估計，以求得前后兩幀視頻圖像的仿射變換矩陣，并依此進行遍歷；
[0014](6)以第一幀視頻圖像作為參考幀Z1，根據(jù)以下算式對當前幀視頻圖像進行穩(wěn)像處理:
【權利要求】
1.一種基于顏色恒量和幾何不變特征的視頻穩(wěn)像方法，包括如下步驟: (1)將視頻圖像從RGB模式轉換為顏色恒量模式，得到對應的顏色恒量圖像； (2)根據(jù)所述的顏色恒量圖像，建立視頻圖像的三層高斯金字塔圖像； (3)提取三層高斯金字塔圖像每一層子圖中的角點，且將其他兩層子圖中的角點坐標映射到底層子圖中，進而建立每一角點的FREAK描述子； (4)根據(jù)步驟(1)至(3)遍歷每幀視頻圖像，以得到每幀視頻圖像各角點的FREAK描述子；進而根據(jù)FREAK描述子對前后兩幀視頻圖像進行角點匹配； (5)根據(jù)前后兩幀視頻圖像的角點匹配關系，利用MSAC算法對前后兩幀視頻圖像進行幀間運動估計，以求得前后兩幀視頻圖像的仿射變換矩陣，并依此進行遍歷； (6)以第一幀視頻圖像作為參考幀Z1，根據(jù)以下算式對當前幀視頻圖像進行穩(wěn)像處理:
2.根據(jù)權利要求1所述的視頻穩(wěn)像方法，其特征在于:所述的步驟(1)中使視頻圖像從RGB模式轉換為顏色恒量模式的具體方法如下: Al.對于視頻圖像中的任一像素點，根據(jù)以下算式計算該像素點的光譜分量Ea、^和Ec =
3.根據(jù)權利要求1所述的視頻穩(wěn)像方法，其特征在于:所述的步驟(2)中建立視頻圖像的三層高斯金字塔圖像的具體方法如下:B1.使顏色恒量圖像作為三層高斯金字塔圖像的底層子圖P。； B2.根據(jù)以下算式確定三層高斯金字塔圖像的第I層子圖P1和第2層子圖P2，其中上層子圖的行列數(shù)均為下層子圖行列數(shù)的一半；
4.根據(jù)權利要求1所述的視頻穩(wěn)像方法，其特征在于:所述的步驟(3)中采用FAST-9檢測算法提取三層高斯金字塔圖像每一層子圖中的角點。
5.根據(jù)權利要求1所述的視頻穩(wěn)像方法，其特征在于:所述的步驟(3)中，將其他兩層子圖中的角點映射到底層子圖后，對角點進行非最大值抑制以剔除重復角點，具體過程如下:對于底層子圖中任一 3*3的像素區(qū)域，若該像素區(qū)域存在不止一個角點，則根據(jù)以下算式計算區(qū)域中每個角點與周圍像素點顏色恒量值的差和P，保留其中差和P最大的角點并剔除其他角點；
6.根據(jù)權利要求1所述的視頻穩(wěn)像方法，其特征在于:所述的步驟(4)中對前后兩幀視頻圖像進行角點匹配的具體方法如下: Cl.對于當前幀視頻圖像的任一角點，根據(jù)FREAK描述子計算該角點與前一幀視頻圖像各角點的漢明距； C2.提取前一幀視頻圖像中與該角點漢明距最小的角點Jmin，若該最小漢明距小于預設的距離閾值，則使該角點與角點Jmin匹配且該被匹配的角點Jmin不再與接下去的任何角點做匹配；否則，則表明該角點匹配失??； C3.根據(jù)步驟Cl~C2，遍歷當前幀視頻圖像的所有角點。
【文檔編號】H04N5/21GK103841298SQ201410064930
【公開日】2014年6月4日 申請日期:2014年2月25日 優(yōu)先權日:2014年2月25日
【發(fā)明者】張華熊, 康鋒, 胡潔, 韓永華 申請人:浙江理工大學