專利名稱：多特征多級(jí)別的紅外與高光譜圖像的高精度配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及遙感圖像的配準(zhǔn)方法，特別是一種多特征多級(jí)別的紅外與高光譜圖像的高精度配準(zhǔn)方法。本發(fā)明可以廣泛適用于航天、航空傳感器平臺(tái)所獲取的遙感圖像的配準(zhǔn)。
背景技術(shù)：
與可見光圖像相比，紅外圖像和高光譜圖像具有獨(dú)特的優(yōu)勢(shì)紅外圖像反映了目標(biāo)的溫度信息，可以識(shí)別目標(biāo)的工作狀態(tài)；高光譜圖像反映了目標(biāo)的材質(zhì)信息，可以識(shí)別目標(biāo)的材質(zhì)以用于區(qū)分目標(biāo)的真?zhèn)?。因此，綜合利用不同傳感器的互補(bǔ)特性，對(duì)紅外圖像與高光譜圖像進(jìn)行融合，對(duì)情報(bào)獲取和分析具有重要的作用 。作為紅外圖像與高光譜圖像融合的前提是紅外圖像與高光譜圖像必須進(jìn)行自動(dòng)、高精度配準(zhǔn)。紅外與高光譜圖像高精度自動(dòng)配準(zhǔn)技術(shù)是制約紅外與高光譜圖像融合應(yīng)用的關(guān)鍵技術(shù)，具有重要的應(yīng)用價(jià)值。然而，由于成像機(jī)理和空間分辨率等方面的差異，同一物體在紅外與高光譜圖像上的表現(xiàn)差異很大，這種差異給傳統(tǒng)的特征匹配方法帶來了很大的挑戰(zhàn)。實(shí)際上，即使讓判圖專家在紅外與高光譜圖像中手工快速標(biāo)定一些控制點(diǎn)對(duì)也是一件很困難的事情。也正是因?yàn)榧t外與高光譜圖像的較大差異，目前紅外與高光譜圖像配準(zhǔn)技術(shù)基本上仍處于研究階段，尚未有專門的紅外-高光譜圖像配準(zhǔn)軟件。盡管商業(yè)軟件，如Erdas和Envi，都提供了配準(zhǔn)功能，但這些配準(zhǔn)功能都是為可見光圖像設(shè)計(jì)的。在這些軟件上對(duì)紅外和高光譜圖像進(jìn)行配準(zhǔn)，成功的概率很小。在這種情況下，必須另辟思路研究新的配準(zhǔn)方法，在保證配準(zhǔn)精度的同時(shí)，盡可能提供其自動(dòng)化程度和計(jì)算速度。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題本發(fā)明所要解決的技術(shù)問題是針對(duì)紅外圖像與高光譜圖像的互補(bǔ)性而提出一種特別適合于紅外與高光譜圖像的自動(dòng)、高效、高精度的配準(zhǔn)方法，以推動(dòng)遙感識(shí)別技術(shù)的發(fā)展。( 二 )技術(shù)方案本發(fā)明提出一種紅外圖像與高光譜圖像的配準(zhǔn)方法，包括如下步驟步驟SI、對(duì)紅外圖像進(jìn)行降采樣，生成低分辨率紅外圖像，并根據(jù)高光譜圖像生成顯著波段圖像；步驟S2、在所述低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個(gè)尺度上提取角點(diǎn)特征和面點(diǎn)特征；步驟S3、對(duì)低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進(jìn)行匹配，得到匹配的SIFT特征對(duì)，并利用匹配的SIFT特征對(duì)和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關(guān)系；步驟S4、在所述原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據(jù)提供的幾何約束，進(jìn)行基于圖像塊對(duì)的多尺度角點(diǎn)特征、面點(diǎn)特征的提取，并根據(jù)初始變換模型、多尺度角點(diǎn)特征和多尺度面點(diǎn)特征確定更精確的變換模型；步驟S5、根據(jù)所述變換模型對(duì)高光譜圖像進(jìn)行變換，得到變換后的高光譜圖像。(三)有益效果本發(fā)明的紅外與高光譜圖像高精度自動(dòng)配準(zhǔn)方法基于多特征多級(jí)別的配準(zhǔn)，綜合利用了模式識(shí)別、計(jì)算機(jī)視覺領(lǐng)域中最新的特征提取和特征匹配技術(shù)及并行計(jì)算技術(shù)，有效地解決了紅外與高光譜圖像的配準(zhǔn)問題，彌補(bǔ)了現(xiàn)有配準(zhǔn)軟件對(duì)紅外與高光譜圖像配準(zhǔn)方面的缺陷。
本發(fā)明的配準(zhǔn)方法對(duì)紅外與高光譜圖像配準(zhǔn)具有很好的通用性和實(shí)用性，能夠大大推動(dòng)紅外與高光譜圖像的廣泛應(yīng)用，具有很好的經(jīng)濟(jì)效益。


圖I是本發(fā)明的紅外與高光譜圖像高精度自動(dòng)配準(zhǔn)方法的流程圖；圖2是本發(fā)明的方法的一個(gè)具體實(shí)施例的原始紅外圖像和生成的低分辨率圖像的例圖；圖3是本發(fā)明的方法的一個(gè)具體實(shí)施例的原始高光譜圖像與生成的顯著波段圖像的例圖；圖4是本發(fā)明的方法的一個(gè)具體實(shí)施例的提取SIFT特征的例圖；圖5是本發(fā)明的方法的一個(gè)具體實(shí)施例的SIFT特征提取中DOG構(gòu)建圖例；圖6是本發(fā)明的方法的一個(gè)具體實(shí)施例的SIFT特征提取中極值點(diǎn)提取圖例；圖7是本發(fā)明的方法的一個(gè)具體實(shí)施例的SIFT特征提取中主方向檢測(cè)圖例；圖8是本發(fā)明的一個(gè)具體實(shí)施例的為特征點(diǎn)構(gòu)造描述向量的一個(gè)示意圖；圖9是粗配準(zhǔn)流程；圖10是⑶BICP核心流程。
具體實(shí)施例方式本發(fā)明的多特征多級(jí)別的紅外與高光譜圖像的高精度配準(zhǔn)方法既可以硬件方式實(shí)現(xiàn)，也可以軟件方式實(shí)現(xiàn)。例如在個(gè)人計(jì)算機(jī)、工控機(jī)及服務(wù)器上以軟件的形式安裝并執(zhí)行，也可本發(fā)明的方法做成嵌入式芯片以硬件的形式來體現(xiàn)。下面參照附圖對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行說明。在下面的描述中，所述的“圖像”特指通過遙感設(shè)備獲得的遙感圖像，并且是已進(jìn)行了數(shù)字化的數(shù)字圖像。然而，本發(fā)明并不限于遙感圖像，對(duì)于其它技術(shù)領(lǐng)域中獲得的需要配準(zhǔn)的紅外圖像和高光譜圖像，本發(fā)明也可適用。圖I是本發(fā)明的紅外與高光譜圖像高精度自動(dòng)配準(zhǔn)方法的流程圖。如圖I所示，總的來說，本發(fā)明的方法包括如下步驟步驟SI :對(duì)紅外圖像進(jìn)行降采樣，生成低分辨率紅外圖像，并根據(jù)高光譜圖像生成顯著波段圖像。根據(jù)本發(fā)明的一種具體實(shí)施方式
，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。
步驟S2 :在低分辨率紅外圖像和顯著波段圖像上提取SIFT(Scale InvariantFeature Transform)特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個(gè)尺度上提取角點(diǎn)特征和面點(diǎn)特征。根據(jù)本發(fā)明的一種具體實(shí)施方式
，角點(diǎn)特征分為主動(dòng)匹配角點(diǎn)特征和被動(dòng)匹配角點(diǎn)特征，面點(diǎn)特征分為主動(dòng)匹配面點(diǎn)特征和被動(dòng)匹配面點(diǎn)特征。主動(dòng)匹配角(面)點(diǎn)特征是參考圖像(如紅外圖像)上需要匹配的角(面)點(diǎn)特征，被動(dòng)匹配角(面)點(diǎn)特征是待配準(zhǔn)圖像(如高光譜圖像)上可能匹配的角(面)點(diǎn)特征。主動(dòng)匹配角(面)點(diǎn)特征是被動(dòng)匹配角(面)點(diǎn)特征的子集。步驟S3 :對(duì)低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進(jìn)行匹配，得到匹配的SIFT特征對(duì)，并利用匹配的SIFT特征對(duì)和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關(guān)系。(注變換函數(shù)不恰當(dāng)，文獻(xiàn)中術(shù)語為變換參數(shù)) 變換模型包含變換類型和變換參數(shù)-兩層含義。同樣，變換模型的確定也包括變換類型選擇和變換參數(shù)求解。上述變換模型是后續(xù)配準(zhǔn)變換模型的初始值即初始變換模型，在精配準(zhǔn)階段變換模型的類型及其參數(shù)都將不斷調(diào)整。根據(jù)本發(fā)明的一種具體實(shí)施方式
，采用最近鄰比值法來匹配SIFT特征，并去除外點(diǎn)，外點(diǎn)指不滿足上述變換模型的SIFT特征對(duì)；根據(jù)本發(fā)明的一種具體實(shí)施方式
，利用⑶BICP(Generalized Dual BootstrapIterative Closest Point)法得到初始變換模型。步驟S4 :在原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據(jù)提供的幾何約束，進(jìn)行基于圖像塊對(duì)的多尺度角點(diǎn)特征、面點(diǎn)特征的提取，并根據(jù)初始變換模型、多尺度角點(diǎn)特征和多尺度面點(diǎn)特征確定更精確的變換模型。一在更精確的變換模型下，紅外圖像和顯著波段圖像的多尺度角/面點(diǎn)特征之間的擬合誤差更小。根據(jù)本發(fā)明的一種具體實(shí)施方式
，利用迭代重加權(quán)最小二乘法選擇變換模型并求取變換參數(shù)。步驟S5 :根據(jù)所述變換模型對(duì)高光譜圖像進(jìn)行變換，得到變換后的高光譜圖像。根據(jù)本發(fā)明的一種具體實(shí)施方式
,根據(jù)變換模型對(duì)高光譜圖像進(jìn)行雙三次樣條插值，然后根據(jù)變換模型及原始紅外圖像和高光譜圖像的尺寸計(jì)算參考圖像和變換后的高光譜圖像的最大重疊區(qū)域的坐標(biāo)，取出、保存所述最大重疊區(qū)域的坐標(biāo)內(nèi)的紅外圖像和高光譜圖像。為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。在該實(shí)施例中，步驟SI利用雙線性插值方法對(duì)紅外圖像進(jìn)行降采樣，生成低分辨率紅外圖像。圖2為原始紅外圖像和生成的低分辨率圖像的例圖，其中上圖為原始紅外圖像，下圖為低分辨率圖像。顯著波段圖像可通過波段選擇、波段融合等方式生成，但計(jì)算量很大。為了減少計(jì)算量并克服噪聲的影響，在該實(shí)施例中，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。圖3為原始高光譜圖像與生成的顯著波段圖像的例圖，其中上圖為原始高光譜圖像，下圖為顯著波段圖像。
圖4是本發(fā)明的方法的具體實(shí)施例中步驟S2的提取SIFT特征的流程圖。在該實(shí)施例中，SIFT特征的提取是按照如下流程實(shí)現(xiàn)的步驟S21、構(gòu)建圖像的DOG(Difference of Gaussian,高斯差分)金字塔。設(shè)圖像為I (X, y),貝U DOG金字塔中第k層高斯差分圖像為D (X, y, σ ) = L(x, y,
權(quán)利要求
1.一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，包括如下步驟 步驟SI、對(duì)紅外圖像進(jìn)行降采樣，生成低分辨率紅外圖像，并根據(jù)高光譜圖像生成顯著波段圖像； 步驟S2、在所述低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在所述低分辨率紅外圖像和顯著波段圖像的多個(gè)尺度上提取角點(diǎn)特征和面點(diǎn)特征； 步驟S3、對(duì)低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進(jìn)行匹配，得到匹配的SIFT特征對(duì)，并利用匹配的SIFT特征對(duì)和GDBICP方法獲得變換模型，所謂變換模型是指紅外圖像和高光譜圖像之間的一種幾何變換關(guān)系； 步驟S4、在所述原始紅外圖像和顯著波段圖像上，利用所述初始變換模型據(jù)提供的幾何約束，進(jìn)行基于圖像塊對(duì)的多尺度角點(diǎn)特征、面點(diǎn)特征的提取，并根據(jù)初始變換模型、多尺度角點(diǎn)特征和多尺度面點(diǎn)特征確定更精確的變換模型； 步驟S5、根據(jù)所述變換模型對(duì)高光譜圖像進(jìn)行變換，得到變換后的高光譜圖像。
2.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，在步驟SI中，將高光譜圖像的各波段的均值圖像作為顯著波段圖像。
3.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，所述步驟S2中提取SIFT特征的步驟包括 步驟S21、構(gòu)建圖像的DOG金字塔； 步驟S22、在DOG金字塔的每層上提取極值點(diǎn)，所謂極值點(diǎn)是指在局部鄰域內(nèi)D(x，y,ko )取值最大的點(diǎn)； 步驟S23、對(duì)于所提取的極值點(diǎn)，去除局部曲率非常不對(duì)稱的極值點(diǎn)； 步驟S24、計(jì)算SIFT特征的亞像素級(jí)別的空間位置、尺度，其中SIFT特征是指保留下來的極值點(diǎn)； 步驟S25、確定所述SIFT特征主方向，所謂主方向是指與以SIFT特征為中心的鄰域內(nèi)的梯度方向直方圖的峰值對(duì)應(yīng)的梯度方向； 步驟S26、為SIFT特征構(gòu)造描述向量，所謂描述向量是指用于刻畫該SIFT特征周圍圖像塊統(tǒng)計(jì)特征的、由梯度方向直方圖構(gòu)成的向量；
4.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，所述步驟S2中提取角點(diǎn)特征和面點(diǎn)特征的步驟包括 步驟S21’、對(duì)于圖像的每個(gè)像素點(diǎn)計(jì)算互相關(guān)矩陣，互相關(guān)矩陣是用來描述該像素點(diǎn)與其鄰域像素的關(guān)系； 步驟S22’、根據(jù)互相關(guān)矩陣的特征值選取角點(diǎn)特征和面點(diǎn)特征，得到角點(diǎn)特征集合和面點(diǎn)特征集合； 步驟S23’、去除角點(diǎn)特征集合和面點(diǎn)特征集合中的噪聲點(diǎn)； 步驟S24’、對(duì)于角點(diǎn)特征和面點(diǎn)特征進(jìn)行非極值點(diǎn)抑制； 步驟S25’、根據(jù)特征強(qiáng)度的大小來選擇被動(dòng)角點(diǎn)特征和被動(dòng)面點(diǎn)特征； 步驟S26’、根據(jù)特征強(qiáng)度的大小來選擇主動(dòng)角點(diǎn)特征和主動(dòng)面點(diǎn)特征。
5.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，在所述步驟S3中，采用最近鄰比值法來匹配SIFT特征，并去除外點(diǎn)，外點(diǎn)指不滿足上述變換模型的SIFT特征對(duì)。
6.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，在所述步驟S3中，利用GDBICP法得到初始變換模型。
7.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，所述步驟S3包括 步驟S31、根據(jù)選擇的SIFT特征對(duì)確定初始變換模型，SIFT特征對(duì)所在的鄰域作為初始匹配區(qū)域 步驟S32、根據(jù)選擇的SIFT特征對(duì)確定初始變換模型，SIFT特征對(duì)所在的鄰域作為初始匹配區(qū)域和當(dāng)前匹配區(qū)域，分別從前向和后向利用ICP方法匹配當(dāng)前匹配區(qū)域內(nèi)的角點(diǎn)特征和面點(diǎn)特征； 步驟S33、根據(jù)當(dāng)前匹配的角點(diǎn)特征和面點(diǎn)特征利用迭代重加權(quán)最小二乘法重新估計(jì)前向和后向變換參數(shù)；通過ICP和參數(shù)估計(jì)的交替迭代，確定最優(yōu)變換參數(shù)和最優(yōu)的匹配； 步驟S34、利用當(dāng)前最優(yōu)匹配的角點(diǎn)特征和面點(diǎn)特征集合,根據(jù)Akaike Information準(zhǔn)則進(jìn)行模型選擇； 步驟S35、根據(jù)當(dāng)前變換模型的不確定性進(jìn)行匹配區(qū)域增長，區(qū)域增長的速度與當(dāng)前匹配區(qū)域的前向匹配和后向匹配的角點(diǎn)特征和面點(diǎn)特征的匹配誤差成反比；
8.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，在所述步驟S4中，利用迭代重加權(quán)最小二乘法選擇變換模型并求取變換參數(shù)。
9.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，所述步驟S4包括 步驟S41、在原始紅外圖像和高光譜圖像顯著波段圖像上利用步驟S3提供的初始變換模型，進(jìn)行基于圖像塊對(duì)的多尺度角點(diǎn)特征、面點(diǎn)特征特征提??； 步驟S42、根據(jù)初始模型和多尺度角點(diǎn)特征、面點(diǎn)特征集合利用迭代重加權(quán)最小二乘法選擇變換模型并求取變換參數(shù)。
10.如權(quán)利要求I所述的一種紅外圖像與高光譜圖像的配準(zhǔn)方法，其特征在于，所述步驟S5包括 根據(jù)步驟S4求得的變換模型，按照高光譜圖像的波段排列順序?qū)Ω吖庾V圖像的每一波段圖像分別進(jìn)行雙三次樣條插值得到變換后的高光譜圖像，變換后的高光譜圖像與紅外圖像已經(jīng)配準(zhǔn)。
全文摘要
本發(fā)明公開了一種紅外圖像與高光譜圖像的配準(zhǔn)方法，包括對(duì)紅外圖像進(jìn)行降采樣，生成低分辨率紅外圖像，并根據(jù)高光譜圖像生成顯著波段圖像；在低分辨率紅外圖像和顯著波段圖像上提取SIFT特征、并在低分辨率紅外圖像和顯著波段圖像的多個(gè)尺度上提取角點(diǎn)特征和面點(diǎn)特征；對(duì)低分辨率紅外圖像和顯著波段圖像提取的SIFT特征進(jìn)行匹配，得到匹配的SIFT特征對(duì)，并利用匹配的SIFT特征對(duì)和GDBICP方法獲得變換模型；在原始紅外圖像和顯著波段圖像上，利用初始變換模型據(jù)提供的幾何約束，進(jìn)行基于圖像塊對(duì)的多尺度角點(diǎn)特征、面點(diǎn)特征的提取，并根據(jù)初始變換模型、多尺度角點(diǎn)特征和多尺度面點(diǎn)特征確定更精確的變換模型；根據(jù)變換模型對(duì)高光譜圖像進(jìn)行變換，得到變換后的高光譜圖像。
文檔編號(hào)G06T7/00GK102819839SQ20121025153
公開日2012年12月12日 申請(qǐng)日期2012年7月19日 優(yōu)先權(quán)日2012年7月19日
發(fā)明者張秀玲, 霍春雷, 江碧濤, 潘春洪, 李京龍 申請(qǐng)人:北京市遙感信息研究所, 中國科學(xué)院自動(dòng)化研究所