專利名稱：一種基于特征點(diǎn)的圖像配準(zhǔn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬模式識(shí)別與圖像處理技術(shù)領(lǐng)域，具體涉及一種基于特征點(diǎn)的圖像配準(zhǔn)方法。本方法可用于基 于特征點(diǎn)的圖像配準(zhǔn)，圖像拼接與鑲嵌，運(yùn)動(dòng)追蹤，醫(yī)學(xué)單模態(tài)與多模態(tài)圖像的信息融合，以及基于內(nèi)容 的圖像檢索等。
背景技術(shù)：
點(diǎn)模式匹配，可以理解為基于特征的圖像匹配，從兩個(gè)待匹配的點(diǎn)集中搜索對(duì)應(yīng)關(guān)系并對(duì)點(diǎn)集之間的 映射進(jìn)行估計(jì)。點(diǎn)模式匹配廣泛應(yīng)用在遙感(圖像鑲嵌、圖像拼接)，醫(yī)學(xué)圖像(病情診斷與追蹤)和計(jì) 算機(jī)視覺(jué)(目標(biāo)或場(chǎng)景識(shí)別、運(yùn)動(dòng)追蹤)。
近年來(lái)雖然很多優(yōu)秀的點(diǎn)模式匹配算法被提出，但幾乎沒(méi)有一種算法可以同時(shí)在計(jì)算時(shí)間和精度上滿 足應(yīng)用要求。目前所公開(kāi)的算法大致可分為5類聚類算法(見(jiàn)參考文獻(xiàn)[1][2]),形狀上下文算法(見(jiàn) 參考文獻(xiàn)[3])，松馳標(biāo)簽算法(見(jiàn)參考文獻(xiàn)[4][5])，逐步優(yōu)化算法(見(jiàn)參考文獻(xiàn)[6]),圖匹配算法(見(jiàn) 參考文獻(xiàn)[7])。
其中，
聚類算法假設(shè)變換模型為相似變換，因?yàn)楣烙?jì)相似變換只需兩對(duì)匹配點(diǎn)，算法首先從兩個(gè)待匹配點(diǎn)集 中選擇兩對(duì)點(diǎn)進(jìn)行組合，然后估計(jì)變換系數(shù)，用估計(jì)的變換驗(yàn)證其他可能匹配的點(diǎn)對(duì)。因?yàn)橛谜_匹配的 點(diǎn)對(duì)估計(jì)的變換也是正確的，用該變換進(jìn)行聚類，則會(huì)把所有可能正確的匹配點(diǎn)聚到該類，而且如果正確 匹配的點(diǎn)多的話，相應(yīng)的類也會(huì)很大；相反，如果是用錯(cuò)誤匹配的點(diǎn)對(duì)估計(jì)的變換，則該變換肯定是錯(cuò)誤 的，錯(cuò)誤變換有一個(gè)特點(diǎn)就是隨機(jī)性。錯(cuò)誤匹配大都隨機(jī)的，也就是說(shuō)用錯(cuò)誤變換做分類器進(jìn)行聚類，則 只會(huì)聚到很少點(diǎn)。算法根據(jù)這種性質(zhì)對(duì)兩個(gè)特征點(diǎn)集進(jìn)行聚類，聚類結(jié)果中，最大類將作為對(duì)應(yīng)關(guān)系輸出 以用于后續(xù)處理。這類算法的缺陷在于計(jì)算復(fù)雜度高，耗時(shí)，而且如果兩個(gè)特征點(diǎn)集大小差異非常大，算 法性能也會(huì)非常差。霍夫變換后來(lái)被用于預(yù)處理以加速計(jì)算，然而匹配仍然是一種非常耗時(shí)的工作，而且 在噪聲點(diǎn)非常多，或者兩個(gè)點(diǎn)集大小差異非常大的情況下，算法不一定保證可以找出最佳對(duì)應(yīng)關(guān)系。
形狀上下文算法也是近些年來(lái)研究比較熱的點(diǎn)模式匹配技術(shù)。形狀上下文描述了一個(gè)點(diǎn)集中其他特征 點(diǎn)相對(duì)某個(gè)特征點(diǎn)的空間分布信息。兩幅圖像同一形狀中匹配的特征點(diǎn)具有相似的形狀上下文，每個(gè)特征 點(diǎn)對(duì)應(yīng)了一個(gè)方向直方圖，以表示其他特征點(diǎn)相對(duì)自己的空間約束。這種算法可以解決非剛性變換的點(diǎn)模 式匹配，大部分類似算法采用樣條曲線對(duì)變換進(jìn)行估計(jì)，然而這類算法的問(wèn)題是對(duì)特征點(diǎn)的采樣具有依賴 性，圖像背景不能太復(fù)雜，各種算法的測(cè)試也大都基于合成數(shù)據(jù)，對(duì)于簡(jiǎn)單的形狀匹配應(yīng)用來(lái)說(shuō)，算法性 能比較好，可這類算法的計(jì)算復(fù)雜度比較高，每個(gè)特征點(diǎn)都需要利用所有其他點(diǎn)計(jì)算形狀上下文，因此在 復(fù)雜場(chǎng)景中，識(shí)別的物體又比較難于分割的情況下，算法的性能很差。
松馳標(biāo)簽算法在變換關(guān)系上定義一種概率分布，然后用離散算法進(jìn)行優(yōu)化，算法實(shí)際上是一個(gè)迭代的 過(guò)程，從一個(gè)比較粗的匹配開(kāi)始，然后逐步更新匹配概率矩陣，這種算法很容易收斂于局部極值。
逐步優(yōu)化算法也是利用全局特征點(diǎn)構(gòu)建一個(gè)相容函數(shù)，通過(guò)更新相容函數(shù)以解決對(duì)應(yīng)，該算法和松馳 算法具有相同的缺陷。兩類算法在特征點(diǎn)集比較大，噪聲又比較多的情況下算法性能都比較差，而且不能保證算法在各種情況下可以收斂。
圖匹配算法是近些年研究的比較熱的點(diǎn)模式匹配算法。通過(guò)將待匹配的兩個(gè)點(diǎn)集構(gòu)建成帶權(quán)圖，屬性 關(guān)系圖等，然后在兩個(gè)圖中搜索相容的部分，即很可能匹配的部分，或者進(jìn)行子圖匹配，或者進(jìn)行完全映 射匹配，保證優(yōu)化函數(shù)最小。這類箅法可以歸結(jié)為圖搜索問(wèn)題，是一個(gè)NP難的問(wèn)題，不能保證對(duì)各種測(cè) 例都有解。很多算法也都是利用優(yōu)化函數(shù)進(jìn)行估計(jì)，得到較優(yōu)解而不是最優(yōu)解，圖匹配的另一個(gè)缺陷是不 能處理兩個(gè)都含有大量噪聲點(diǎn)的點(diǎn)集，除了計(jì)算時(shí)間長(zhǎng)外，故該算法也很難得到合理的對(duì)應(yīng)關(guān)系。
與本發(fā)明相關(guān)的參考文獻(xiàn)有 A. Goshtasby. Description and discrimination of planar shapes using shape matrices. IEEE Trans. Pattern Analysis and Machine Intelligence, 7:738-743, 1985. S. H. Chang, F. H. Cheng, W. H. Hsu， and G. Z. Wu. Fast algorithm for point pattern matching: Invariant to translations, rotations and scale changes. Pattern Recognition, 30:311 - 320, 1997, W.J. Christmas, J. Kittler, and M, Petrou, "Structural Matching in Computer Vision Using Probabilistic Relaxation, " IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 17, no. 8， pp. 749-764, Aug. 1994. R. C. Wilson and E. R. Hancock, "Structural Matching by Discrete Relaxation, " IEEE Trans* Pattern Analysis and Machine Intelligence, vol. 19, 肌 6, pp. 634-648， June 1997. S. Gold and A. R肌gaxajan, "A Graduated Assignment Algorithm for Graph Matching, ，， IEEE Trans-Pattern Analysis and Machine Intelligence, vol. 18, no. 4, pp. 377-388, Apr. 1996, Tibe'rio S. Caetano, Terry Caelli, Fellow, IEEE, Dale Schuurmans, and Dante A. C. Barone. Graphical Models and Point Pattern Matching. IEEE Trans. Pattern Analysis and Machine Intelligence, 28:1646 - 1663, 2006.

發(fā)明內(nèi)容
本發(fā)明旨在克服現(xiàn)有技術(shù)中存在的不足，提出一種基于特征點(diǎn)的圖像配準(zhǔn)方法。 本發(fā)明首先提出一種基于特征點(diǎn)K近鄰空間結(jié)構(gòu)的環(huán)式邊角碼模型，對(duì)環(huán)式邊角碼之間的相似性進(jìn)行 探索并將甚程于衡量?jī)蓚€(gè)特征點(diǎn)的局部空間的相似性。所述的相似環(huán)式邊角碼不僅描述了兩個(gè)特征點(diǎn)之間 的局部空間結(jié)構(gòu)的相似性，還可以用于估計(jì)局部映射。環(huán)式邊角碼模型建立在相似變換基礎(chǔ)上，本發(fā)明同 時(shí)對(duì)環(huán)式邊角碼相似條件進(jìn)行了松馳，使得匹配算法對(duì)一定程度的仿射和視角變換具有魯棒性。特征點(diǎn)之 間的相似度由它們所關(guān)聯(lián)的最大相似環(huán)式邊角碼的相似長(zhǎng)度確定。本發(fā)明首先根據(jù)特征點(diǎn)的局部空間結(jié)構(gòu) 的相似性進(jìn)行結(jié)構(gòu)匹配，然后利用匹配點(diǎn)所關(guān)聯(lián)的局部映射聚類進(jìn)行優(yōu)化匹配。優(yōu)化匹配的結(jié)果用于估計(jì) 最優(yōu)映射。在加速匹配過(guò)程方面，本發(fā)明通過(guò)在搜索空間建立索引避免了大量不必要計(jì)算，從而保證匹配 算法在保證精度的同時(shí)也達(dá)到了接近實(shí)時(shí)應(yīng)用的要求。
本發(fā)明公開(kāi)了一種快速有效的點(diǎn)模式匹配算法，其流程圖見(jiàn)附圖1。包括步如下驟 步驟l):特征提取，對(duì)兩幅待匹配的圖像進(jìn)行特征提取，匹配算法基于圖像特征點(diǎn)，匹配前期提取具 有縮放，旋轉(zhuǎn)和平移不變性的特征點(diǎn)集作為輸入，點(diǎn)集之間也可以具有一定程度的仿射與視角變換；
步驟2):相似度計(jì)算，提取特征點(diǎn)的K近鄰結(jié)構(gòu)并構(gòu)建特征點(diǎn)的環(huán)式邊角碼，對(duì)搜索空間建立索引，利用二分査找和增量匹配算法計(jì)算特征點(diǎn)之間的最大相似環(huán)式邊角碼，并將最大相似環(huán)式邊角的相似長(zhǎng)度 作為兩個(gè)特征點(diǎn)之間的相似度，計(jì)算相似度的同時(shí)確定可能匹配的特征點(diǎn)；
步驟3):結(jié)構(gòu)匹配，特征點(diǎn)之間的相似度在物理意義上描述了特征點(diǎn)的局部空間結(jié)構(gòu)的相似性，本發(fā) 明根據(jù)特征點(diǎn)之間的相似度大小，將可能匹配的特征點(diǎn)分成三類不可能匹配的特征點(diǎn)類6cu/C/fl^ ,可能 匹配但匹配不唯一的特征點(diǎn)類w"A owjC7 w ,可能匹配的特征點(diǎn)類gooafaaM ,同時(shí)對(duì)goot/C7aM中
的匹配點(diǎn)進(jìn)行局部映射估計(jì)；
步驟4):優(yōu)化匹配，利用gOOC C/flW中的匹配點(diǎn)所關(guān)聯(lián)的局部映射進(jìn)行聚類，在聚類結(jié)果中，定義
元素最多的類為最大類，元素第二多的類為次大類。如果最大類元素個(gè)數(shù)大于某個(gè)閾值同時(shí)大于次大類元
素個(gè)數(shù)，或者最大類與次大類的元素個(gè)數(shù)之比大于某個(gè)閾值，最大類將作為匹配結(jié)果，估計(jì)最優(yōu)變換；
步驟5):最優(yōu)變換估計(jì)，本發(fā)明假設(shè)圖像之間的變換為除了相似變換外，還有一定程度的仿射與視角 變換，變換估計(jì)模型為仿射變換。
具體而言，
本發(fā)明所述的步驟i中的兩個(gè)點(diǎn)集定義為s和r,大小分別為w,和"2，同時(shí)定義點(diǎn)《es, er。
所述的步驟2中的環(huán)式邊角碼定義為
如附圖2所示，特征點(diǎn)的K近鄰空間結(jié)構(gòu)可以通過(guò)一個(gè)環(huán)式邊角碼表示。為更好地定義環(huán)式邊角碼， 本發(fā)明將附圖2(a)中每條邊和它逆時(shí)針鄰接的角的組合定義為一個(gè)邊角碼(Edge-/( g/eCode ) ￡4C = (￡,6)。附圖2 (a)共有K個(gè)邊角碼(五,.，《),/ = 0,1，...，/:-l。對(duì)這K個(gè)邊角碼按逆時(shí)針順序編碼 并依次將它們連成一個(gè)環(huán)形結(jié)構(gòu)則得到特征點(diǎn)A的環(huán)式邊角碼，如附圖2 (b)所示，本發(fā)明定義K為環(huán) 式邊角碼的長(zhǎng)度。
本發(fā)明所定義的環(huán)式邊角碼具有以下特性
1) 連通性從任一邊角碼開(kāi)始向前遍歷，都可以將所有邊角碼按順序遍歷完畢。為便于表示，本發(fā) 明將遍歷下標(biāo)定義為w,，其中t表示非負(fù)整數(shù)，而w,則表示t對(duì)K取余的結(jié)果，這樣做可以保證在對(duì)邊 角碼遍歷時(shí)，下標(biāo)不會(huì)越界。
2) 空間約束性邊角碼的順序描述了特征點(diǎn)的鄰居點(diǎn)的約束關(guān)系。邊角碼順序
，& )描述了在空間結(jié)構(gòu)中，鄰居點(diǎn)尸w與鄰居點(diǎn)尸 在逆時(shí)針?lè)较?br> 上鄰接，而與鄰居點(diǎn)尸 ^在逆時(shí)針?lè)较蛏祥g隔一個(gè)鄰居點(diǎn)。因此對(duì)邊角碼順序進(jìn)行分析等價(jià)于對(duì)鄰居點(diǎn) 在空間結(jié)構(gòu)上的約束關(guān)系進(jìn)行分析。
3) 等價(jià)性同一特征點(diǎn)可以有K個(gè)不同的環(huán)式邊角碼，但它們都等價(jià)地描述了特征點(diǎn)的同一局部空 間結(jié)構(gòu)。由附圖2(a)可知，將不同的鄰居點(diǎn)作為第一個(gè)邊角碼時(shí)，本發(fā)明將得到不同的環(huán)式邊角碼，但 它們?cè)谖锢硪饬x上是等價(jià)的，即都描述了相同的空間結(jié)構(gòu)。本發(fā)明把環(huán)式邊角碼的這種特性定義為等價(jià)性。
所述的步驟2中的相似環(huán)式邊角碼定義具體為
如附圖3所示，如果兩個(gè)環(huán)式邊角碼從某一對(duì)邊開(kāi)始滿足對(duì)應(yīng)邊成比例，對(duì)應(yīng)角成比例且等于l,本
發(fā)明就說(shuō)這兩個(gè)環(huán)式邊角碼相似，其中一個(gè)環(huán)式邊角碼的長(zhǎng)度定義為相似環(huán)式邊角碼的相似長(zhǎng)度，相似環(huán)
式邊角碼對(duì)應(yīng)的空間結(jié)構(gòu)定義為相似空間結(jié)構(gòu)。附圖3所示的相似環(huán)式邊角碼從)開(kāi)始滿足下式:
7|五。| |五'| HI A A 畫(huà)i
為計(jì)算步驟二所述的相似環(huán)式邊角碼，本發(fā)明還定義了兩個(gè)相鄰邊角碼的加操作，具體為
(￡M,，^ ,) + (五 +,)，S附(叫)=(五m,，&, + ^ (,+")
兩個(gè)相鄰邊角碼加操作的結(jié)果仍為一個(gè)邊角碼，新邊角碼的邊為第一個(gè)邊角碼的邊，而新邊角碼的角 則是兩個(gè)相加邊角碼的角之和。相加操作的物理意義實(shí)際上表示了對(duì)兩個(gè)逆時(shí)針?lè)较蛳噜彽泥従狱c(diǎn)進(jìn)行合 并，即將第二個(gè)鄰居點(diǎn)刪除，然后對(duì)第一條邊逆時(shí)針鄰接的角進(jìn)行更新。
為計(jì)算步驟二所述的相似環(huán)式邊角碼，本發(fā)明還定義了兩個(gè)邊角碼的比較操作，如果兩個(gè)邊角碼 (五,，《)，(A，^)滿足
《
其中e為誤差控制因子，接近于0的正數(shù)，(￡2,《),(F2 W2 )分別是)下一個(gè)鄰接的邊 角碼，本發(fā)明就規(guī)定(A,《)，(5、，^、)的比較操作不需要加操作，不需要加操作的物理意義是表示由 五,,6\，￡2構(gòu)成的三角形與由，6>',,五'2構(gòu)成的三角形相似。
所述的步驟二相似度計(jì)算具體為
(l)建立搜索空間，提取特征點(diǎn)的K近鄰并構(gòu)建特征點(diǎn)的環(huán)式邊角碼，搜索空間為目標(biāo)點(diǎn)集中所有特 征點(diǎn)的環(huán)式邊角碼上的 《個(gè)邊角碼，對(duì)這些邊角碼按角度建立索引以加速搜索。示意圖見(jiàn)附圖4中間和 右邊兩列表格。
(2) 確定搜索對(duì)象，匹配目的在于找到匹配點(diǎn)。因此單次搜索對(duì)象為f的環(huán)式邊角碼所關(guān)聯(lián)的每個(gè) 邊角碼，就《而言，共有《個(gè)搜索對(duì)象(St,《)，如附圖4左邊表格所示。
(3) 確定搜索策略，本發(fā)明首先對(duì)(￡^^)利用二分搜索在搜索空間中査找誤差允許范圍內(nèi)角度相
同的邊角碼(-設(shè)對(duì)應(yīng)的特征點(diǎn)為0j。如果找到，本發(fā)明還會(huì)在所找到邊角碼前后線性搜索在誤
差允許范圍內(nèi)角度相同的其他(五 ,6 )。如果(￡4,^)與(￡ ，《)的比較結(jié)果不需要加操作，則分別以
(￡t，A)與(A，A)為起點(diǎn)生成兩個(gè)等價(jià)的環(huán)式邊角碼；-{Jq,^,.."^^)}和
Ze ={￡。，^,...,5^—其中^，5 表示邊角碼，記￡/^/,￡/，9/分別表示4，5 的邊和角。然
后按增量匹配算法計(jì)算它們的最大相似環(huán)式邊角碼。增量匹配算法如下首先對(duì)^)，5。進(jìn)行比較操作，如
果^/，^/不相等，則角度小的邊角碼與其相鄰的下一個(gè)邊角碼進(jìn)行加操作生成新的邊角碼;如果e/，^^ 相等，貝iJ驗(yàn)證^/,《8相鄰的對(duì)應(yīng)邊(f/,五/)和(五/，五,)是否成比例，如果成比例，貝U將^,A分別
保留在已求得的相似環(huán)式邊角碼中(剛開(kāi)始為空)，如果不成比例，則將這^j,萬(wàn)e與各自相鄰的下一個(gè)邊 角碼進(jìn)行加操作生成新的邊角碼，然后循環(huán)進(jìn)行下次比較操作，循環(huán)過(guò)程直到其中一個(gè)環(huán)式邊角碼遍歷完 為止。偽代碼表示如下-
假設(shè)t,和t2是兩個(gè)循環(huán)變量,t產(chǎn)0， t2 = 0。令&附^ = 4t，few凡=r加e =五 8 / ￡/ ,則增量匹配算法如下
while (t, < K and t2 < K ){
if (^Lp, <《訓(xùn)^ ){ "=^+1 ，tempA=tempA+Am(i+tl).}
else if > ) {t2=t2+l，tempB=tempB+Bm0+t2).}
else {
t產(chǎn)t!+l，t2,+ l.
if = ￡sm( +,2) /i^w",,))
{ Add tempA into丄*, add tempB into丄"，tempA=Am(k+tl)，tempB=Bm(n+l2>.} else { tempA= tempA + Am(k+tl)，tempB= tempB + Bm(n+l2)."}
搜索過(guò)程中只保留相似長(zhǎng)度最大的相似環(huán)式邊角碼，當(dāng)相似長(zhǎng)度最大的環(huán)式邊角碼有多個(gè)時(shí)，全部保
留。將最大相似環(huán)式邊角碼的相似長(zhǎng)度作為兩個(gè)特征點(diǎn)之間的相似度，注意搜索過(guò)程中所有沒(méi)有被計(jì)算過(guò)
的兩個(gè)特征點(diǎn)的相似度為0。
(4)確定可能匹配的特征點(diǎn)，本發(fā)明定義5(4，￡ ) = {^,￡ }表示以￡:/,￡ 3為起始對(duì)應(yīng)邊的相
似環(huán)式邊角碼，",A表示相似環(huán)式邊角碼。令S(4,5")的相似長(zhǎng)度為/e""(A:，w)，則特征點(diǎn)《，gy的
相似度為
S/7m7a〃'^(尸'，) = arg max /e"w' (A,") A:," e
如果g/滿足
Q乂 * — arg max" er w'/m7a/7'(y(^ ，")
本發(fā)明就認(rèn)為2/為《的可能匹配點(diǎn)，計(jì)算過(guò)程中尸i可能有多個(gè)可能匹配的g/,全部保留。
本發(fā)明所述的步驟3結(jié)構(gòu)匹配，具體為
設(shè)S可能匹配的^/有NO個(gè)，則對(duì)可能匹配點(diǎn)(g，g'v)分類如下
6flcOaw // 57'脂7a〃7y(/)，2、) < 3
wwA"ow"wC7ow w'/m7aW/5/(S，2 ')> 3 and NO>l goocOaw 由〃"鄉(xiāng)(C。'乂) 2 3 am/ NO = l
分類華件解釋如下6^/C/a^中的W,g'》的相似度都小于3，在K比較大的時(shí)候，如&=15,說(shuō)明 (《,2、)的局部空間結(jié)構(gòu)差異非常大'f或g'7可能是噪聲點(diǎn)'匹配的可能性很小i ""Anow"C/flM中的 W,g'力的相似度都大于等于3，在K比較大的時(shí)候，如K45，說(shuō)明(g,g )的局部空間結(jié)構(gòu)比較相似， 但《可能匹配的2:卻不止一個(gè)，這說(shuō)明僅僅通過(guò)局部空間結(jié)構(gòu)的相似性無(wú)法確定《與哪個(gè)2、匹配，需
9要后續(xù)驗(yàn)證才能確定；gOO(/C/cm中的(；g )的相似度都大于等于3，在K比較大的時(shí)候，如K-15,
說(shuō)明的局部空間結(jié)構(gòu)比較相似，而且《可能匹配的2'y只有一個(gè)，(S，0'y)正確匹配的可能性非
常大，而且相似度越大，說(shuō)明局部空間結(jié)構(gòu)越相似，匹配的可能性越大。
根據(jù)上述分析，本發(fā)明將goo^C/flOT中的(《，g'》作為結(jié)構(gòu)匹配的結(jié)果，同時(shí)本發(fā)明還對(duì)goot/C/ow
中的(《，2 )進(jìn)行局部相似變換估計(jì)，，注意在局部相似變換估計(jì)過(guò)程中，(《，2、)與它們關(guān)聯(lián)的一組對(duì) 應(yīng)鄰居點(diǎn)進(jìn)行組合進(jìn)而估計(jì)一組局部相似變換，如果(g,g'y)的相似度為^ ,則可以估計(jì)/s組局部相似變 換，匹配算法取&組局部相似變換的均值作為最終估計(jì)的局部相似變換。 所述的步驟4，優(yōu)化匹配具體為
(1) 對(duì)goodC/a^中的(《，2、)按相似度由大到小進(jìn)行排序；
(2) 對(duì)排過(guò)序的(《，"》進(jìn)行掃描，如果(《,g'》沒(méi)有被聚類過(guò)，則以為類中心C,., (《，^'7)所關(guān)聯(lián)的局部映射7;作為分類器，對(duì)gooc/C/fl^和"n^owwC/aw中未被聚類的可能匹配點(diǎn)及 關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)進(jìn)行驗(yàn)證。聚類過(guò)程如下首先將(f,0:)關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)歸入該類，因?yàn)榉诸惼?; 就是由這些對(duì)應(yīng)鄰居點(diǎn)估計(jì)出來(lái)的，然后利用分類器驗(yàn)證其他gow/aa^和imibJow"C7ass中未聚類的 可能匹配點(diǎn)及關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)，如果所驗(yàn)證的點(diǎn)對(duì)滿足分類器，則對(duì)其進(jìn)行標(biāo)記，不再進(jìn)行后續(xù)處理并
將其歸入該類，否則將其忽略。設(shè)其中需要驗(yàn)證的一對(duì)點(diǎn)為(尸，2),設(shè)尸經(jīng)過(guò)7;映射后的點(diǎn)為7:cp),
如果7:.(尸)與0的歐氏距離在誤差范圍內(nèi)可以接受，本發(fā)明則認(rèn)為(尸，。)符合f，將(尸，。)歸為C,.。 用公式表示為
^為誤差控制因子。注意在聚類過(guò)程中每對(duì)(《，2:)只被聚類—次，即(s，2。)屬于且只能屬于一 個(gè)類。 一次聚類過(guò)程必須對(duì)所有未聚類過(guò)的其他可能匹配點(diǎn)及關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)進(jìn)行驗(yàn)證。下一次聚類的
開(kāi)始條件是goorfC/aw中還存在沒(méi)有聚類過(guò)的(《,0、)。
(3) J^t聚類結(jié)果進(jìn)行分析，因?yàn)榻Y(jié)構(gòu)匹配結(jié)果中通常情況下是存在錯(cuò)誤匹配的，必須將其刪除。在 聚類結(jié)果中，定義元素最多的類為最大類，元素第二多的類為次大類，類中每個(gè)元素表示一對(duì)匹配點(diǎn)。通 常情況下，正確匹配的特征點(diǎn)所關(guān)聯(lián)的局部映射也是正確的，所有正確的匹配點(diǎn)在誤差允許范圍內(nèi)都會(huì)聚 入一類，相應(yīng)類的點(diǎn)對(duì)會(huì)非常多；反之，錯(cuò)誤匹配的點(diǎn)所關(guān)聯(lián)的局部映射隨機(jī)性很大，相應(yīng)的類中元素非
常少。因此本發(fā)明進(jìn)行優(yōu)化匹配如下如果最大類與次大類的元素個(gè)數(shù)之比大于某個(gè)閾值，或者最大類元
素個(gè)數(shù)大于次大類，同時(shí)最大類元素個(gè)數(shù)大于某個(gè)閾值，本發(fā)明將會(huì)輸出最大類作為對(duì)應(yīng)關(guān)系，進(jìn)行最優(yōu) 變換估計(jì)，反之本發(fā)明則認(rèn)為匹配的兩個(gè)點(diǎn)集相關(guān)性太差，無(wú)法進(jìn)行匹配。


圖l:本發(fā)明流程圖。
圖2:特征點(diǎn)&的KNN空間結(jié)構(gòu)圖及相應(yīng)的環(huán)式邊角碼。圖3:相似環(huán)式邊角碼及對(duì)應(yīng)的相似空間結(jié)構(gòu)。
圖4:相似度計(jì)算示意圖。
圖5:兩幅待匹配圖像。
圖6:圖5所示的兩幅圖像的匹配結(jié)果。
具體實(shí)施例方式
以下提供具體實(shí)例來(lái)進(jìn)一步說(shuō)明本發(fā)明的應(yīng)用。 實(shí)施例l
匹配對(duì)象見(jiàn)附圖5所示的兩幅圖像。兩幅圖像拍攝于不同時(shí)間，不同角度.只有部分內(nèi)容相同，圖像 大小均為440x330。
運(yùn)行本發(fā)明的設(shè)備為Gateway T6307c筆記本，Intel 2core 1.6G，1G內(nèi)存。本發(fā)明具有平臺(tái)移植性， 具體實(shí)現(xiàn)平臺(tái)為Centos下的GCC環(huán)境和Windows XP/Server 2003下的Visual C++ 2005環(huán)境。運(yùn)行效率 GCC好于Visual C++ 2005。
本發(fā)明規(guī)定兩個(gè)標(biāo)量相等的誤差f = 0.1，兩個(gè)像素點(diǎn)之間的歐式距離誤差^ =10，定義兩種誤差旨 在計(jì)算相似環(huán)式邊角碼和聚類。同時(shí)本發(fā)明將特征點(diǎn)的鄰居數(shù)設(shè)置為AT = 15 。 具體實(shí)施情況如下
步驟i:從兩幅待匹配的圖像中獲取兩個(gè)特征點(diǎn)集作為輸入，特征點(diǎn)只需包括二維坐標(biāo)信息即可。本 發(fā)明采用了單尺度Harris角點(diǎn)檢測(cè)算法，Harris響應(yīng)系數(shù)a-0.06，差分尺度O"D =3，平滑尺度^ = 7， 局部非極大值抑制窗口為3x3，抑制值為全局最大角點(diǎn)響應(yīng)值的0.01倍。兩幅圖像分別提取189和208 個(gè)特征點(diǎn)。相應(yīng)點(diǎn)集分別記為S和T ， A = 189和w2 = 208 。
步驟2:相似度計(jì)算，提取每個(gè)特征點(diǎn)的15近鄰，按照環(huán)式邊角碼的定義計(jì)算特征點(diǎn)的環(huán)式邊角碼。 在計(jì)算過(guò)程中，要避免除零操作。標(biāo)量做除法時(shí)，根據(jù)需要，加上或減去一個(gè)非常小的正數(shù)，以免程序崩 潰。
根據(jù)相似環(huán)式邊角碼的定義，計(jì)算待匹配的兩個(gè)特征點(diǎn)的相似度，根據(jù)分類規(guī)則，確定gooc/CtoM和 MwfewwwC/fl^中的元素，同時(shí)計(jì)算goodC/o;w中的元素所關(guān)聯(lián)的局部映射。具體步驟如下
(1) 建立搜索空間。對(duì)r中208個(gè)特征點(diǎn)的環(huán)式邊角碼的208xl5個(gè)邊角碼(E",《)按照角度 大小排序以建立索引。
(2) — 確定搜索對(duì)象。為得到《可能匹配的點(diǎn)g'y,需要對(duì)f的環(huán)式邊角碼上的15個(gè)邊角碼 (A，- 0,1，…,15)分別進(jìn)行搜索。
(3) 確定搜索策略。依次選擇每個(gè)(A,&)，在搜索空間按角度進(jìn)行搜索，如果搜索成功，則 在搜索到的邊角碼(￡ ，《)前后繼續(xù)線性搜索在誤差范圍內(nèi)角度相等的其他邊角碼(￡ ,《)，如果
(￡4,《)與(￡ ，《)的比較結(jié)果不需要加操作，則分別以(￡*,《)與(￡ ，《)為起點(diǎn)生成兩個(gè)等價(jià)的環(huán)式 邊角碼并利用增量匹配算法計(jì)算它們的最大相似環(huán)式邊角碼。
(4) 確定可能匹配的特征點(diǎn)，f的15個(gè)(￡4,^)全部搜索結(jié)束之后，保留計(jì)算過(guò)程中相似長(zhǎng)度
11最大的相似環(huán)式邊角碼，將保留的最大相似環(huán)式邊角碼關(guān)聯(lián)的另一個(gè)特征點(diǎn)Q,作為《可能匹配的點(diǎn)g、， 如有多個(gè)貝j,部保存。
步驟3:結(jié)構(gòu)匹配，對(duì)S中的189個(gè)特征點(diǎn)根據(jù)相似度和可能匹配的特征點(diǎn)個(gè)數(shù)進(jìn)行分類。保留 gooaOaw和""A"ow"C/om 。并按照相似變換模型計(jì)算goooOass中元素關(guān)聯(lián)的局部映射。相似變換
模型如下 ，
義=sjc cos e —砂sin S + G y = ■$■;<: sin ^ + cos汐+ ~
其中&e分別是縮放因子和旋轉(zhuǎn)角度，G，^分別是x和y方向的平移量。(x，:v)和(^,:n分別是變換前后 的特征點(diǎn)坐標(biāo)。注意局部相似變換計(jì)算過(guò)程中，可能匹配點(diǎn)與它們關(guān)聯(lián)的一組對(duì)應(yīng)鄰居點(diǎn)便可估計(jì)一組變 換系數(shù)，因此如果《，2、相似度為"，則可以估計(jì)/s組局部相似變換，本發(fā)明將/s組局部相似變換的均 值作為最終估計(jì)的局部相j以變換。
步驟4:優(yōu)化匹配，對(duì)步驟三中的gOOdC/OW中的元素按相似長(zhǎng)度從大到小進(jìn)行排序。因?yàn)橄嗨崎L(zhǎng)度
越大，表示兩個(gè)特征點(diǎn)的局部空間結(jié)構(gòu)越相似，匹配的可能性也越大，從相似長(zhǎng)度最大的f,0 開(kāi)始聚類， 也就能保證聚類效果越好，得到的匹配效果也越好。因此聚類首先選擇未聚過(guò)類的相似度最大的一對(duì)特征 點(diǎn)開(kāi)始。然后按聚類規(guī)則進(jìn)行聚類。針對(duì)大尺度場(chǎng)景圖像的拼接與識(shí)別應(yīng)用來(lái)說(shuō)，設(shè)a，&是最大類和次
大類的元素個(gè)數(shù)，如果^》2&或者a >23，算法將把最大類中的元素輸出作為優(yōu)化匹配結(jié)果，
用于最優(yōu)變換估計(jì)。否則，算法將認(rèn)為匹配不成功。針對(duì)附圖5的實(shí)例，聚類結(jié)果一共有88類，其中最 大類元素?cái)?shù)為33,次大類元素?cái)?shù)為6。通過(guò)觀察，最大類元素在誤差范圍內(nèi)都是正確匹配的，次大類元素 在誤差范圍內(nèi)都是錯(cuò)誤匹配的。在附圖5所示實(shí)例中，最大類與次大類元素個(gè)數(shù)比為5.5，滿足條件，匹 配成功。最大類的元素將作為對(duì)應(yīng)關(guān)系，進(jìn)行最優(yōu)變換估計(jì)。
步驟5:變換估計(jì)，因?yàn)橥ǔＧ闆r下，場(chǎng)景圖像之間的變換往往有一定程度的仿射或視角變換，因此
本發(fā)明采用仿射變換模型估計(jì)場(chǎng)景圖像之間的變換。仿射變換模型如下
y = c;c +辦+
其中",&，c，c/分別是旋轉(zhuǎn)，縮放與拉伸因子，r,，"分別是x和y方向的平移量。(;c，力和(Jr,30分別是變
換前后的特征點(diǎn)坐標(biāo)。對(duì)所有匹配點(diǎn)，按仿射變換模型組成線性方程組，進(jìn)行最小二乘擬合估計(jì)從而得到
—1.04237 0扁66 -333.03 _ 0.01088 1.02362 -10.1731
最優(yōu)變換。針對(duì)附圖5的實(shí)例，最優(yōu)變換為
,將最優(yōu)變換應(yīng)用到匹配圖像，
得到匹配結(jié)果，見(jiàn)附圖6。結(jié)果顯示，本發(fā)明在誤差范圍內(nèi)將兩幅只有部分內(nèi)容相同的圖像很好地拼接在
一起?！?br> 權(quán)利要求
1、一種基于特征點(diǎn)的圖像配準(zhǔn)方法，其特征在于，包括以下步驟步驟1)特征提取，對(duì)兩幅待配準(zhǔn)的圖像利用特征點(diǎn)提取算子進(jìn)行特征點(diǎn)提取，得到的兩個(gè)特征點(diǎn)集定義為方法的輸入數(shù)據(jù)；步驟2)相似度計(jì)算，提取特征點(diǎn)的K近鄰結(jié)構(gòu)并構(gòu)建特征點(diǎn)的環(huán)式邊角碼，對(duì)搜索空間建立索引，利用二分查找和增量匹配算法計(jì)算特征點(diǎn)之間的最大相似環(huán)式邊角碼，將最大相似環(huán)式邊角的相似長(zhǎng)度定義為兩個(gè)特征點(diǎn)之間的相似度，計(jì)算相似度的同時(shí)確定可能匹配的特征點(diǎn)對(duì)；步驟3)結(jié)構(gòu)匹配，根據(jù)相似度大小和可能匹配點(diǎn)數(shù)，將特征點(diǎn)對(duì)分類并進(jìn)行局部映射估計(jì)；步驟4)優(yōu)化匹配，利用結(jié)構(gòu)匹配結(jié)果進(jìn)行聚類，確定特征點(diǎn)對(duì)應(yīng)關(guān)系；步驟5)最優(yōu)變換估計(jì)，利用仿射變換模型對(duì)兩幅圖像之間的映射進(jìn)行最小二乘估計(jì)。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的步驟2)中的環(huán)式邊角碼其定義為 在構(gòu)成特征點(diǎn)的K近鄰空間結(jié)構(gòu)的K條邊和由相鄰邊構(gòu)成的K個(gè)夾角中，將每條邊和它逆時(shí) 針或順時(shí)針鄰接的角的組合定義為邊角碼，將K個(gè)邊角碼按逆時(shí)針或順時(shí)針順序編碼構(gòu)成特征點(diǎn)的環(huán)式邊角碼。
3、 根一據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述的環(huán)式邊角碼隸屬于某個(gè)特征點(diǎn)， 所包含的K個(gè)邊角碼中，任意兩個(gè)邊角碼都是連通的，每個(gè)邊角碼也隸屬于某個(gè)特征點(diǎn)，每 個(gè)特征點(diǎn)對(duì)應(yīng)K個(gè)起點(diǎn)不同的環(huán)式邊角碼，K定義為環(huán)式邊角碼的長(zhǎng)度。
4、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述的步驟2)中的相似環(huán)式邊角碼 定義為兩個(gè)滿足對(duì)應(yīng)邊成比例，對(duì)應(yīng)角成比例且等于1的環(huán)式邊角碼，單個(gè)環(huán)式邊角碼的長(zhǎng) 度定義為相似長(zhǎng)度，相似長(zhǎng)度定義為相似環(huán)式邊角碼所隸屬的兩個(gè)特征點(diǎn)之間的相似度。
5、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，兩個(gè)相鄰邊角碼的加操作定義為<formula>formula see original document page 2</formula>表示非負(fù)整數(shù)f對(duì)K取余的結(jié)果<formula>formula see original document page 2</formula>表示兩個(gè)相鄰的邊角碼。
6、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，兩個(gè)邊角碼的比較操作為真的條件定 義為-1.0)" 血([-1.0)"其中S為誤差控制因子，接近于0的正數(shù)，(￡2，《),(￡'2 ，0'2 )分別是邊角碼A )下 一個(gè)鄰接的邊角碼。
7、 根據(jù)權(quán)利要求1或2或4所述的方法，其特征在于，所述的步驟2)中的相似度計(jì)算 通過(guò)下述步驟(1) 建立搜索空間，定義兩個(gè)點(diǎn)集定義為s和r，大小分別定義為A和^，同時(shí)定義 f eS， A.er，提取特征點(diǎn)的K近鄰并按定義構(gòu)建特征點(diǎn)的環(huán)式邊角碼，搜索空間定義為 點(diǎn)集r所對(duì)應(yīng)的 個(gè)環(huán)式邊角碼上的&ic個(gè)邊角碼，對(duì)"2^個(gè)邊角碼按角度大小建立索引；(2) 確定搜索對(duì)象，單次搜索對(duì)象定義為f的環(huán)式邊角碼上的每個(gè)邊角碼，搜索對(duì)象為 尺個(gè)；(3) 確定搜索策略，定義(A，&)為《的一個(gè)邊角碼，利用二分搜索和線性搜索在搜索空間中査找誤差允許 范圍內(nèi)角度相同的所有邊角碼(五"，A),定義(￡ ，《)隸屬的特征點(diǎn)為2/;(4) 利用增量匹配算法計(jì)算相似環(huán)式邊角碼， 將(A,&)與每個(gè)(￡ ，《)進(jìn)行比較，當(dāng)(^A)與(五nA)的比較操作為真時(shí)，分別以(^A)與(五"A)為起點(diǎn)生成兩個(gè)環(huán)式邊角碼IP = M。,4,…,4k-J和丄e = (Bq，5!，…,5(k—"，其中表示邊角碼，記 五/，e/,五/,e/分別表示AA的邊和角，首先比較4,J5。，當(dāng)P/"/不相等時(shí)，角度小的邊角碼與其相鄰的下一個(gè)邊角碼進(jìn)行加操作， 當(dāng)^ 0/相等時(shí)，驗(yàn)證《W相鄰的對(duì)應(yīng)邊(5/，五/)和(^，五,"是否成比例，如果成比例，則將^，A分別保留在已求得的相似環(huán)式邊角碼中，然后將A，A與各自相鄰的下一個(gè)邊角碼進(jìn)行加操作，按相同規(guī)則循環(huán)進(jìn)行下次邊角碼比較操作，直至其中一個(gè)環(huán)式邊角碼遍歷完為止； (4)確定可能匹配點(diǎn)，定義5(4，5 ) = {4,4}表示以五/,五/為起始對(duì)應(yīng)邊的相似環(huán)式邊角碼，A，A表示相似環(huán)式邊角碼，定義S(^，5。)的相似長(zhǎng)度為/e"〃(t，")，則特征點(diǎn)《，"的相似度為57/m7aA7'^(/^ ， 0乂) = arg max /e y (6， A， 《 e
當(dāng)^/滿足《* = argmax。"r w.w,7a〃'^v(/^ ，")時(shí)，定義《.'為《的可能匹配點(diǎn)，2/的個(gè)數(shù)定義為NO。
8、根據(jù)權(quán)利要求l或2或4或7所述的方法，其特征在于，所述的步驟3)中的結(jié)構(gòu)匹 配，特征點(diǎn)對(duì)分類條件定義為w"too簡(jiǎn)C7aw '/ j7'附'7""X/J,。'y)23 "nd N0>1 goofiOaw w'/w7an'0/(CQ。) 2 3朋^ NO = lgoocfC/ass中的W,g:)定義為結(jié)構(gòu)匹配結(jié)果，對(duì)gooc C/。:w中的采用相似變換模 型進(jìn)行局部映射估計(jì)。定義(《，2',)的相似度為/"(《,2'"與每對(duì)鄰居點(diǎn)組合一共估計(jì)&組 局部相似變換，定義&組局部相似變換的均值作為最終估計(jì)的局部映射。
9、根據(jù)權(quán)利要求1或2或4或8所述的方法，其特征在于，所述的步驟4)的優(yōu)化匹配 通過(guò)下述步驟(1) 對(duì)gooc/C/a^中的W，2';)按相似度由大到小進(jìn)行排序；(2) 對(duì)排過(guò)序的(S，g',)按相似度大小進(jìn)行降序掃描，當(dāng)(f,2'y)未被聚類過(guò)，則以 W，!2'7)為類中心C,, W，2、)所關(guān)聯(lián)的局部映射7;.作為分類器，對(duì)go^aaM和w"too滿aa^ 中未被聚類的特征點(diǎn)對(duì)及關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)進(jìn)行驗(yàn)證；首先將("，g、)關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)直接歸入該類，然后利用分類器驗(yàn)證其他goodC/aw和 頭^kw"C7"m中未聚類的可能匹配點(diǎn)及關(guān)聯(lián)的對(duì)應(yīng)鄰居點(diǎn)，當(dāng)所驗(yàn)證的點(diǎn)對(duì)空間坐標(biāo)關(guān)系在 誤差范圍內(nèi)滿足分類器7;時(shí)，則對(duì)其進(jìn)行標(biāo)記，將其歸入該類，不進(jìn)行后續(xù)處理，否則將其忽略；(3)分析聚類結(jié)果，聚類結(jié)果中，元素最多的類定義為最大類，元素第二多的類為次大類；最大類元素個(gè)數(shù) 定義為S，次大類元素個(gè)數(shù)定義為52，當(dāng)下列條件之一滿足時(shí)，最大類作為特征點(diǎn)對(duì)應(yīng)關(guān)系， 估計(jì)最優(yōu)變換，①S, ②S, >S2同時(shí)S,其中/乂2是大于1的特定閾值，由待匹配圖像的種類決定。
全文摘要
本發(fā)明屬模式識(shí)別與圖像處理技術(shù)領(lǐng)域，涉及一種基于特征點(diǎn)的圖像配準(zhǔn)方法。本發(fā)明根據(jù)特征點(diǎn)的K近鄰結(jié)構(gòu)定義了環(huán)式邊角碼模型并將該模型用于點(diǎn)模式匹配。相似環(huán)式邊角碼不僅描述了兩個(gè)特征點(diǎn)的空間結(jié)構(gòu)相似性，還可用于局部映射估計(jì)。兩個(gè)特征點(diǎn)的相似度由它們所關(guān)聯(lián)的最大相似環(huán)式邊角碼的相似長(zhǎng)度確定。本發(fā)明根據(jù)特征點(diǎn)的局部空間結(jié)構(gòu)的相似性進(jìn)行結(jié)構(gòu)匹配，利用局部映射聚類進(jìn)行優(yōu)化匹配，優(yōu)化匹配結(jié)果用于最優(yōu)映射估計(jì)。本方法可用于基于特征點(diǎn)的圖像配準(zhǔn)，圖像拼接與鑲嵌，運(yùn)動(dòng)追蹤，醫(yī)學(xué)單模態(tài)與多模態(tài)圖像的信息融合，及基于內(nèi)容的圖像檢索等。
文檔編號(hào)G06K9/64GK101567051SQ20091005245
公開(kāi)日2009年10月28日 申請(qǐng)日期2009年6月3日 優(yōu)先權(quán)日2009年6月3日
發(fā)明者夙 楊, 魏二嶺 申請(qǐng)人:復(fù)旦大學(xué)