專利名稱：雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，特別是指一種雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法。

背景技術(shù)：
機(jī)器視覺(jué)中的一個(gè)基本問(wèn)題是不同點(diǎn)集之間的匹配，點(diǎn)集的匹配對(duì)于姿態(tài)計(jì)算、攝像機(jī)的外參求解、圖像的對(duì)準(zhǔn)等具有重要意義。點(diǎn)集的匹配分為不同圖像間的像點(diǎn)匹配和物點(diǎn)與像點(diǎn)的匹配兩類，目前對(duì)于點(diǎn)集的匹配有以下幾種常用的方法 一種是基于Hausdorff distances的點(diǎn)匹配方法，這是一類具有代表性的方法，這類方法隨機(jī)選點(diǎn)，根據(jù)點(diǎn)的鄰域的特征來(lái)進(jìn)行點(diǎn)集的匹配。該類方法的缺點(diǎn)是點(diǎn)集匹配算法的計(jì)算量大，算法每次的處理對(duì)象是物體的局部特征，因此匹配的結(jié)果有時(shí)會(huì)陷入局部最優(yōu)，而不能達(dá)到全局最優(yōu)；此外，該類算法在孤立點(diǎn)存在的情況下，魯棒性不強(qiáng)。
另一種是RANSAC點(diǎn)匹配方法，這是一種抗噪聲較好的點(diǎn)匹配算法，但是RSANC算法與基于點(diǎn)的領(lǐng)域的特征的算法類似，也是隨機(jī)選點(diǎn)，選點(diǎn)時(shí)要設(shè)置一定的閾值，根據(jù)滿足一定閾值關(guān)系的點(diǎn)集進(jìn)行點(diǎn)匹配。這類方法的缺點(diǎn)同樣是點(diǎn)匹配算法的計(jì)算量大，算法每次處理的對(duì)象也只是物體的局部特征，而且選點(diǎn)時(shí)閾值的設(shè)置不好把握。
此外，還有基于幾何不變量的方法，這類方法需要計(jì)算共面點(diǎn)的不變量或者共面點(diǎn)與共面直線的不變量。對(duì)每個(gè)物體建立一個(gè)表示位姿空間的累加器數(shù)組，累加器數(shù)組的每個(gè)元素對(duì)應(yīng)位姿空間的一個(gè)“桶”；將每一個(gè)物體幾何圖像所構(gòu)造的幾何不變量，與每一個(gè)物體的每一個(gè)結(jié)構(gòu)特征組產(chǎn)生對(duì)應(yīng)假設(shè)，并確定相應(yīng)的位姿參數(shù)，然后為上述幾何不變量與物體結(jié)構(gòu)特征組產(chǎn)生的對(duì)應(yīng)假設(shè)的值增加1。如此利用幾何不變量進(jìn)行投票，以此來(lái)得到點(diǎn)集的匹配。這類方法的缺點(diǎn)是匹配算法受限于物體的幾何特征，并且在利用幾何不變量進(jìn)行投票時(shí)，投票的“桶”的尺寸很難以確定。
由此可見(jiàn)，現(xiàn)有的點(diǎn)集匹配算法的限制條件比較嚴(yán)格，并且在計(jì)算過(guò)程中容易陷入局部匹配的最優(yōu)值，從而得不到全局的匹配最優(yōu)值。


發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，能減弱物點(diǎn)與像點(diǎn)匹配的條件限制，并且可以快速地使空間平面物體的物點(diǎn)和像點(diǎn)得以匹配。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 本發(fā)明提供了一種雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，建立基于弱透視模型的空間平面物體的物點(diǎn)與像點(diǎn)之間的變換關(guān)系，該方法包括 a、提取空間平面物體圖像的幾何特征的邊緣，得到邊緣像點(diǎn)集合，在空間平面物體的幾何特征上取點(diǎn)，得到物點(diǎn)集合； b、根據(jù)所述物點(diǎn)集合和邊緣像點(diǎn)集合得到表征物點(diǎn)和像點(diǎn)變換關(guān)系的匹配矩陣； c、給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)； d、根據(jù)所述物點(diǎn)集合、所述邊緣像點(diǎn)集合、所述初始變化估計(jì)和所述匹配矩陣，得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系，并由所得到的估計(jì)變換關(guān)系和所述物點(diǎn)集合，得到與所述物點(diǎn)集合匹配的像點(diǎn)集合。
其中，步驟a中所述提取幾何特征的邊緣為利用Canny算子提取空間平面物體圖像的幾何特征的邊緣。
步驟c所述給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)為利用隨機(jī)數(shù)發(fā)生器給出所述初始變化估計(jì)。
步驟d所述得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系為利用確定退火算法得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系。
步驟d進(jìn)一步包括 d1、根據(jù)所述匹配矩陣的初始值設(shè)置確定退火算法的初始參數(shù)； d2、利用sinkhorn算法更新所述匹配矩陣； d3、根據(jù)更新后的匹配矩陣?yán)肎auss-Seidel迭代方法計(jì)算物點(diǎn)和像點(diǎn)的估計(jì)變換關(guān)系； d4、根據(jù)所述估計(jì)變換關(guān)系和所述物點(diǎn)集合，利用物點(diǎn)和像點(diǎn)的變換關(guān)系表達(dá)式得到與物點(diǎn)集合匹配的像點(diǎn)集合。
其中，步驟d2所述利用sinkhorn算法更新所述匹配矩陣包括 初始化所述匹配矩陣； 對(duì)所述匹配矩陣的每一行和每一列元素進(jìn)行歸一化計(jì)算； 對(duì)所述匹配矩陣循環(huán)進(jìn)行歸一化計(jì)算。
本發(fā)明所提供的雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，將物點(diǎn)與像點(diǎn)的匹配用一種可顯示的矩陣形式表示出來(lái)，在處理上非常直觀；由于物點(diǎn)與像點(diǎn)的匹配是在確定退火的過(guò)程中完成的，該算法針對(duì)物體的全局特征進(jìn)行計(jì)算，因此可以使匹配結(jié)果不易陷入局部匹配最優(yōu)，最大可能地保證了匹配結(jié)果得到全局最優(yōu)值。
另外，本發(fā)明不需要空間平面物體具有明顯特征的點(diǎn)，處理的對(duì)象可以是邊緣點(diǎn)集，也可以是平面上的散亂點(diǎn)集，同時(shí)本發(fā)明的匹配算法與平面物體的幾何形狀無(wú)關(guān)，適用范圍較廣，可以用于閉塞、混亂、有虛假像點(diǎn)或者缺失像點(diǎn)的情況；并且，本發(fā)明使用了確定退火算法來(lái)計(jì)算物點(diǎn)與像點(diǎn)的匹配，實(shí)驗(yàn)表明該算法在不同級(jí)別的噪聲標(biāo)準(zhǔn)差的高斯噪聲環(huán)境中也顯示了較好的匹配結(jié)果，如此，本發(fā)明的方法在不同級(jí)別的高斯噪聲環(huán)境中也有很好的魯棒性，具有很高的應(yīng)用價(jià)值。



圖1為本發(fā)明雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法的流程示意圖； 圖2為平面弱透視模型示意圖； 圖3為Canny算子提取圓形物體圖像幾何特征示意圖。

具體實(shí)施例方式 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)一步詳細(xì)闡述。
本發(fā)明提供了一種基于弱透視模型的空間平面物體的物點(diǎn)與像點(diǎn)匹配方法，是一種雙向約束的物點(diǎn)與像點(diǎn)的匹配方法，該方法通過(guò)融合確定退火算法和雙向約束算法對(duì)空間平面物體進(jìn)行物點(diǎn)與像點(diǎn)的匹配計(jì)算。
如圖1所示，本發(fā)明的雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，主要包括以下步驟 步驟101，建立基于弱透視模型的空間平面物體的物點(diǎn)與像點(diǎn)之間的變換關(guān)系。
這里，建立基于弱透視的平面物點(diǎn)與像點(diǎn)的變換關(guān)系，變換{A，B}，其中A是2×2的仿射變換矩陣，B是2×1的向量，表示物體質(zhì)心的像點(diǎn)坐標(biāo)。
通過(guò)建立物點(diǎn)與像點(diǎn)之間的變換關(guān)系，可以得到物點(diǎn)與像點(diǎn)的變換關(guān)系表達(dá)式。這樣，在物點(diǎn)已知的情況下，即可通過(guò)物點(diǎn)與像點(diǎn)的變換關(guān)系表達(dá)式得到與物點(diǎn)一一匹配的像點(diǎn)。
弱透視模型具體是這樣建立的 本發(fā)明適用于滿足弱透視的任何空間平面物體，所以，一般要求物體到攝像機(jī)的距離至少大于十倍的物體表面深度的變化，如果攝像機(jī)的視場(chǎng)比較小，而物體表面深度變化相對(duì)其到攝像機(jī)的距離很小的話，如物體到攝像機(jī)的距離是其表面深度變化的至少十倍，那么物體上各點(diǎn)的深度變化可以用固定的深度值z(mì)0近似，z0是物體質(zhì)心在光軸上的深度坐標(biāo)。
假設(shè)攝像機(jī)的焦距為f，空間平面物體上任意一點(diǎn)P在攝像機(jī)坐標(biāo)系下的坐標(biāo)為(xc，yc，zc)T，(x，y)T代表點(diǎn)P在攝像機(jī)像平面上像點(diǎn)的坐標(biāo)，則弱透視模型可以表示為公式(1) 其中，為放縮常數(shù)。
弱透視模型建立之后，對(duì)弱透視模型表達(dá)式，即公式(1)進(jìn)行推導(dǎo)，可以得到物點(diǎn)與像點(diǎn)的變換關(guān)系表達(dá)式，具體方法如下 假如空間平面物體的幾何特征是圓，則設(shè)空間圓圓心在攝像機(jī)坐標(biāo)系下的坐標(biāo)為ow(xc0，yc0，zc0)，如圖2平面弱透視模型示意圖所示，以ow為原點(diǎn)，建立空間圓三維坐標(biāo)系owxwywzw；設(shè)

為空間圓質(zhì)心，與空間圓圓心ow重合，以與像平面xoy平行的過(guò)空間圓質(zhì)心

的平面為

坐標(biāo)面，

為坐標(biāo)原點(diǎn)，建立三維坐標(biāo)系

其中坐標(biāo)軸


且方向一致。對(duì)于平面

上的任意點(diǎn)

設(shè)其在攝像機(jī)坐標(biāo)系ocxcyczc下的坐標(biāo)為(xc，yc，zc0)，在坐標(biāo)系

下的坐標(biāo)為

將帶入公式(1)，簡(jiǎn)化公式(1)為公式(2) 其中，為放縮常數(shù)。
根據(jù)坐標(biāo)系

與坐標(biāo)系ocxcyczc之間的變換關(guān)系，可得到代入公式(2)，得到公式(3) 其中， 坐標(biāo)系owxwywzw與

之間的旋轉(zhuǎn)變換關(guān)系可由公式(4)描述 其中，是正交矩陣。
空間圓平面xwowyw上的點(diǎn)有zw＝0，由公式(4)可得公式(5) 將公式(5)帶入公式(3)可得到物點(diǎn)與像點(diǎn)之間的變換關(guān)系，變換{A，B} 其中，A是2×2的仿射變換矩陣，B是2×1的向量，表示物體質(zhì)心的像點(diǎn)坐標(biāo)，則從公式(6)可以得到空間圓質(zhì)心的像點(diǎn)坐標(biāo)B＝s(xc0，yc0)T。
步驟102，提取空間平面物體圖像的幾何特征的邊緣，得到邊緣像點(diǎn)集合，在空間平面物體的幾何特征上取點(diǎn)，得到物點(diǎn)集合。
這里，如何提取空間平面物體圖像幾何特征的邊緣可以采用各種已有算法，下面以采用Canny算子提取的方法具體說(shuō)明。利用Canny邊緣算子提取空間平面物體圖像幾何特征的邊緣，得到邊緣像點(diǎn)集合{pj}，1≤j≤g，g為邊緣像點(diǎn)的個(gè)數(shù)，且邊緣像點(diǎn)的個(gè)數(shù)由Canny算子決定；在物體平面幾何特征的邊緣上間隔取物點(diǎn)，得到物點(diǎn)集合{Pi}，1≤i≤h，h為物點(diǎn)的個(gè)數(shù)，h≥g，其中物點(diǎn)的取點(diǎn)采用現(xiàn)有技術(shù)且是隨機(jī)的，物點(diǎn)之間的間隔可以相等也可以不等，但要保證物點(diǎn)的個(gè)數(shù)大于等于邊緣像點(diǎn)的個(gè)數(shù)。
步驟103，根據(jù)物點(diǎn)集合和邊緣像點(diǎn)集合得到表征物點(diǎn)和像點(diǎn)變換關(guān)系的匹配矩陣。
假設(shè)得到的平面物點(diǎn)集合為{Pi}，Pi＝(xwi，ywi)T，1≤i≤h；邊緣像點(diǎn)集合為{pj}，pj＝(xj，yj)T，1≤j≤g，h≥g。公式(6)表示物點(diǎn)與像點(diǎn)間的變換關(guān)系，那么，物點(diǎn)集合{Pi}和邊緣像點(diǎn)集合{pj}的約束關(guān)系可以由公式(6)，即變換{A，B}表示。物點(diǎn)集合{Pi}中的每一個(gè)點(diǎn)最多只能匹配邊緣像點(diǎn)集合{pj}中的一個(gè)點(diǎn)，同時(shí)，邊緣像點(diǎn)集合{pj}中的每一個(gè)點(diǎn)也最多只能匹配物點(diǎn)集合{Pi}中的一個(gè)點(diǎn)，這是一個(gè)雙向約束優(yōu)化問(wèn)題，可以用公式(7)表示 其中， 可以將公式(7)用矩陣Q表示為 根據(jù)物點(diǎn)集合與邊緣像點(diǎn)集合的雙向約束優(yōu)化，得到矩陣Qg×h；再根據(jù)矩陣Qg×h，將物點(diǎn)與像點(diǎn)的匹配問(wèn)題轉(zhuǎn)化為尋求max qij，max qij表示矩陣Qg×h的第i行與第j列的最大值。如此，可以構(gòu)造表征物點(diǎn)與像點(diǎn)匹配關(guān)系的g×h的匹配矩陣M匹配矩陣M由元素mij組成，匹配矩陣M中每一行和每一列元素，即mij的個(gè)數(shù)與矩陣Qg×h的每一行和每一列元素，即qij的個(gè)數(shù)相同。尋求矩陣Qg×h中每一行或者每一列中qij的最大值，即max qij，令矩陣M中與max qij對(duì)應(yīng)位置的mij為1，即mij＝1，表示第i個(gè)像點(diǎn)與第j個(gè)物體點(diǎn)匹配，最終得到的匹配矩陣M，且滿足每一行與每一列只有一個(gè)值是1，其余值全是0。
這里，考慮到缺失點(diǎn)的現(xiàn)象，如一個(gè)立方體有8個(gè)角點(diǎn)，如果從立方體的正面進(jìn)行拍攝，那么立方體的背面的四個(gè)角點(diǎn)就會(huì)被前面的四個(gè)角點(diǎn)遮住，那么在攝像機(jī)的坐標(biāo)系中，立方體背面的四個(gè)角點(diǎn)就和前面的四個(gè)角點(diǎn)重合，則背面的四個(gè)角點(diǎn)就是缺失點(diǎn)。考慮到缺失點(diǎn)給物體位姿計(jì)算帶來(lái)的不精確的問(wèn)題，為匹配矩陣M增加一行和一列，則M變?yōu)?g+1)×(h+1)矩陣，如果mi，h+1＝1，1≤i≤g，則第i個(gè)圖像點(diǎn)無(wú)法和任何物體點(diǎn)進(jìn)行匹配，同樣，mg+1，j＝1，1≤j≤h表示第j個(gè)物體點(diǎn)無(wú)法和任何圖像點(diǎn)進(jìn)行匹配。這個(gè)離散問(wèn)題可以通過(guò)引入一個(gè)控制變量β(β>0)轉(zhuǎn)化為連續(xù)問(wèn)題，初始化匹配矩陣M，令 如此，可以保證m0ij>0。根據(jù)公式(9)來(lái)進(jìn)行以后的確定退火算法，其中，α、γ、β是確定退火算法的參數(shù)值，γ是放縮常數(shù)系數(shù)，β用來(lái)模擬確定退火(deterministic annealing)算法中的溫度，其初始值很小，α是一個(gè)很小的常數(shù)，表示qij與0的接近程度。
步驟104，給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)。
這里，可以利用隨機(jī)數(shù)發(fā)生器給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)，變換{A0，B0}，A0是2×2矩陣，B0是2×1向量。
根據(jù)物點(diǎn)與像點(diǎn)的初始變化估計(jì)，變換{A0，B0}和已知的物點(diǎn)集合可以得到估計(jì)像點(diǎn)集合，然后由邊緣像點(diǎn)集合{pj}和估計(jì)像點(diǎn)集合可以計(jì)算出矩陣Qg×h的值，矩陣Qg×h的值用來(lái)作為進(jìn)行確定退火算法時(shí)，設(shè)置參數(shù)β的依據(jù)。
較佳地，A0數(shù)值的量級(jí)設(shè)置為10左右，如此，物點(diǎn)與像點(diǎn)匹配時(shí)，所要優(yōu)化的全局函數(shù)很容易就可以收斂到全局最優(yōu)值，當(dāng)全局函數(shù)收斂到全局最優(yōu)值時(shí)，與其所對(duì)應(yīng)的變換{A，B}的值就是最終需要得到的估計(jì)變換關(guān)系{A′，B′}，此處在后面的步驟中加以說(shuō)明。
根據(jù)初始變換{A0，B0}，由變換{A，B}，即公式(6)可以計(jì)算出估計(jì)像點(diǎn)集合

其中1≤p′i≤h，h為物點(diǎn)的個(gè)數(shù)。采用現(xiàn)有技術(shù)中矩陣的構(gòu)造方法，由邊緣像點(diǎn)集合{pj}構(gòu)造矩陣U和V 由估計(jì)像點(diǎn)集合

構(gòu)造矩陣U′和V′ 將公式(10)和公式(11)代入公式(7)可以計(jì)算出矩陣Qg×h。Qg×h的值用來(lái)決定β的值，此處在下面的步驟中進(jìn)行說(shuō)明。
步驟105、根據(jù)物點(diǎn)集合、邊緣像點(diǎn)集合、物點(diǎn)和像點(diǎn)變換關(guān)系的初始變化估計(jì)、以及匹配矩陣，得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系，并由估計(jì)變換關(guān)系和物點(diǎn)集合，得到與物點(diǎn)集合匹配的像點(diǎn)集合。
該步驟的關(guān)鍵是計(jì)算出物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系，該估計(jì)變換關(guān)系即是物點(diǎn)與像點(diǎn)的實(shí)際變換關(guān)系，由此便可得到與物點(diǎn)一一匹配的實(shí)際像點(diǎn)，進(jìn)而得到實(shí)際像點(diǎn)集合。其中，物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系通過(guò)確定退火算法求得，具體方法如下 依據(jù)公式(9)進(jìn)行確定退火算法，確定退火算法所要求解的參數(shù)是物點(diǎn)和像點(diǎn)的變換關(guān)系，變換{A，B}，通過(guò)計(jì)算可以得到物點(diǎn)和像點(diǎn)的估計(jì)變換關(guān)系，變換{A′，B′}，根據(jù)變換{A′，B′}可以得到與物點(diǎn)集合{Pi}匹配的像點(diǎn)集合{pi}。在每一次確定退火算法過(guò)程中，通過(guò)計(jì)算可以得到一個(gè)匹配矩陣M的值，根據(jù)匹配矩陣M的值可以得到一個(gè)新的物點(diǎn)和像點(diǎn)的變換關(guān)系，變換{Ai+1，Bi+1}，當(dāng)變換{Ai+1，Bi+1}使全局優(yōu)化函數(shù)達(dá)到全局最優(yōu)值，即滿足確定退火的迭代終止條件時(shí)，結(jié)束確定退火循環(huán)，則該變換{Ai+1，Bi+1}即為物點(diǎn)和像點(diǎn)的估計(jì)變換關(guān)系，變換{A′，B′}。具體方法為 首先，需要設(shè)置確定退火算法的各參數(shù)值，即對(duì)公式(9)中的各個(gè)參數(shù)值進(jìn)行設(shè)置。
確定退火算法各個(gè)參數(shù)值的設(shè)置是這樣的α是個(gè)很小的值，一般可設(shè)置為α＝10-5；γ對(duì)退火過(guò)程中的迭代影響不大，可以設(shè)置為1；β對(duì)迭代影響較大，T表示確定退火算法的溫度參數(shù)，則β可用來(lái)模擬確定退火算法的溫度，β的初始值β0的設(shè)定應(yīng)參考矩陣Qg×h元素的數(shù)量級(jí)，Qg×h的值在步驟104中通過(guò)估計(jì)像點(diǎn)集合

和像點(diǎn)集合{pj}可以計(jì)算出來(lái)，如果Qg×h中大部分元素的數(shù)量級(jí)是105，那么β0應(yīng)該設(shè)置為β0＝10-5，β0設(shè)置的太高或者太低，容易使迭代陷入局部極小值，β的終止值βfinal一般設(shè)置為0.5，β的更新倍數(shù)βupdate一般設(shè)置為1.05，βi為每一次退火過(guò)程中的β值，βi+1＝βi×βupdate；delta表示估計(jì)的像點(diǎn)與提取的真實(shí)像點(diǎn)歐式距離的平均值，tol1是一個(gè)很小的數(shù)值，和噪聲水平有關(guān)，noiseStd表示噪聲的標(biāo)準(zhǔn)差，在實(shí)際圖像處理中，噪聲的標(biāo)準(zhǔn)差是未知的，tol1的值一般設(shè)置為0.5。
將確定退火算法的各個(gè)參數(shù)值設(shè)置好后，利用sinkhorn算法更新匹配矩陣M，具體的方法是 1、初始化匹配矩陣M，給mi，h+1，1≤i≤g+1分配一個(gè)很小的常數(shù)，如10-3，給mg+1，j，1≤j≤h+1分配一個(gè)很小的常數(shù)，如10-3； 2、對(duì)矩陣M的每一行元素和每一列元素進(jìn)行歸一化計(jì)算，對(duì)每一行元素使用公式(12)進(jìn)行歸一化計(jì)算 其中，l表示進(jìn)行歸一化計(jì)算的次數(shù)。
對(duì)每一列元素使用公式(13)進(jìn)行歸一化計(jì)算 其中l(wèi)表示進(jìn)行歸一化計(jì)算的次數(shù)。
3、對(duì)匹配矩陣M循環(huán)進(jìn)行歸一化計(jì)算； 這里，循環(huán)歸一化計(jì)算的終止條件是tol2小于一個(gè)給定的值，如0.005，對(duì)匹配矩陣M進(jìn)行完一次歸一化處理以后得到一個(gè)新的匹配矩陣M，將其代入中，得到一個(gè)tol2，如果tol2<0.005，則終止對(duì)匹配矩陣M的歸一化計(jì)算；或者循環(huán)歸一化計(jì)算的次數(shù)大于設(shè)定的最大循環(huán)次數(shù)，如80次，則終止對(duì)匹配矩陣M的歸一化計(jì)算。
通過(guò)sinkhorn算法對(duì)匹配矩陣M每進(jìn)行循環(huán)歸一化計(jì)算后，就會(huì)得到新的匹配矩陣M，根據(jù)計(jì)算得到的匹配矩陣M計(jì)算新的物點(diǎn)和像點(diǎn)的變換關(guān)系{Ai+1，Bi+1}，令 其中，a11、a12、a21、a22是矩陣A中的元素，b1、b2是矩陣B中的元素，將全局優(yōu)化函數(shù)帶入公式(14)，然后將公式(14)展開后可以得到線性方程組CX＝N，其中C是一個(gè)6×6的矩陣 X＝(a11，a12，a21，a22，b1，b2)T，N是一個(gè)6×1的矩陣 需要指出的是，在構(gòu)造線性方程組CX＝N時(shí)，可以針對(duì)具體的問(wèn)題做一個(gè)技術(shù)上的處理。當(dāng)通過(guò)計(jì)算可以求得物體幾何特征中心的像點(diǎn)坐標(biāo)時(shí)，則可以將該像點(diǎn)坐標(biāo)近似代替物體質(zhì)心的像點(diǎn)坐標(biāo)，由公式(6)可知，B表示物體質(zhì)心的像點(diǎn)坐標(biāo)。例如，當(dāng)空間平面物體的幾何特征是圓形時(shí)，該空間圓的成像為橢圓形，那么可以利用Canny算子提取得到橢圓的邊緣像點(diǎn)集合，然后利用橢圓擬合的方法得到橢圓中心的像點(diǎn)坐標(biāo)。由于橢圓中心像點(diǎn)和空間圓質(zhì)心像點(diǎn)之間距離的畸變誤差只有幾微米到幾十微米，所以橢圓中心的像點(diǎn)坐標(biāo)可以近似代替空間圓質(zhì)心的像點(diǎn)坐標(biāo)，則公式(6)中B就成為了已知量，如此，在確定退火算法過(guò)程中需要求解的未知量只是2×2的矩陣A。
當(dāng)B由物體幾何特征中心的像點(diǎn)坐標(biāo)近似代替后，公式(6)可以表示為 這時(shí)，確定退火算法過(guò)程中需要優(yōu)化的全局函數(shù)為其中則構(gòu)造線性方程組CX＝N，其中 X＝(a11a12a21a22)T，則N是一個(gè)4×1的矩陣 然后，根據(jù)Gauss-Seidel迭代方法對(duì)線性方程組CX＝N求解，就可以得到新的變換{Ai+1，Bi+1}。
在執(zhí)行完一次退火算法后，更新β、βi+1＝βi×βupdate，再次執(zhí)行確定退火算法，得到新的匹配矩陣M和變換{Ai+1，Bi+1}，如此循環(huán)執(zhí)行確定退火算法，直到滿足確定退火的迭代終止條件，即βfinal＝0.5，確定退火算法達(dá)到迭代終止條件后，退出確定退火算法。
需要指出的是，每次確定退火算法過(guò)程結(jié)束后都會(huì)得到一個(gè)新的變換{Ai+1，Bi+1}，當(dāng)變換{Ai+1，Bi+1}使全局優(yōu)化函數(shù)達(dá)到全局最優(yōu)值，即滿足確定退火的迭代終止條件時(shí)，結(jié)束確定退火循環(huán)，則該變換{Ai+1，Bi+1}即為物點(diǎn)和像點(diǎn)的估計(jì)變換關(guān)系，變換{A′，B′}。
將估計(jì)變換關(guān)系，變換{A′，B′}和物點(diǎn)集合{Pi}帶入公式(6)，通過(guò)計(jì)算可以得到與物點(diǎn)集合匹配的像點(diǎn)集合{pi}。
下面通過(guò)一個(gè)半實(shí)物仿真實(shí)驗(yàn)來(lái)說(shuō)明本發(fā)明的方案。
利用Canny算子提取空間平面物體圖像的幾何特征邊緣，提取到的物體圖像幾何特征邊緣的圖像是實(shí)驗(yàn)室開發(fā)的半實(shí)物平臺(tái)生成的虛擬圖像。如圖3所示為Canny算子提取圓形物體圖像幾何特征示意圖，該圖像是由虛擬的圓生成的，圓的半徑為2米，圓心距離虛擬攝像機(jī)約300公里，攝像機(jī)焦距為66.885米，生成的圖像像素大小為1024×768，圓的圖像大約占整個(gè)像平面的80×80像素。
首先利用canny算子提取圓的邊緣，得到100個(gè)邊緣像點(diǎn){pj}，在物體圓上均勻間隔取100個(gè)物點(diǎn){Pi}。計(jì)算物點(diǎn)和像點(diǎn)的變換關(guān)系{A，B}，然后依據(jù)變換關(guān)系{A，B}計(jì)算與物點(diǎn){Pi}一一匹配的像點(diǎn){pi}。
以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1、一種雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，建立基于弱透視模型的空間平面物體的物點(diǎn)與像點(diǎn)之間的變換關(guān)系；其特征在于，該方法包括
a、提取空間平面物體圖像的幾何特征的邊緣，得到邊緣像點(diǎn)集合，在空間平面物體的幾何特征上取點(diǎn)，得到物點(diǎn)集合；
b、根據(jù)所述物點(diǎn)集合和邊緣像點(diǎn)集合得到表征物點(diǎn)和像點(diǎn)變換關(guān)系的匹配矩陣；
c、給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)；
d、根據(jù)所述物點(diǎn)集合、所述邊緣像點(diǎn)集合、所述初始變化估計(jì)和所述匹配矩陣，得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系，并由所得到的估計(jì)變換關(guān)系和所述物點(diǎn)集合，得到與所述物點(diǎn)集合匹配的像點(diǎn)集合。
2、根據(jù)權(quán)利要求1所述雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，其特征在于，步驟a中所述提取幾何特征的邊緣為利用Canny算子提取空間平面物體圖像的幾何特征的邊緣。
3、根據(jù)權(quán)利要求1所述雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，其特征在于，步驟c所述給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)為利用隨機(jī)數(shù)發(fā)生器給出所述初始變化估計(jì)。
4、根據(jù)權(quán)利要求1所述雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，其特征在于，步驟d所述得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系為利用確定退火算法得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系。
5、根據(jù)權(quán)利要求1或4所述雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，其特征在于，步驟d進(jìn)一步包括
d1、根據(jù)所述匹配矩陣的初始值設(shè)置確定退火算法的初始參數(shù)；
d2、利用sinkhorn算法更新所述匹配矩陣；
d3、根據(jù)更新后的匹配矩陣?yán)肎auss-Seidel迭代方法計(jì)算物點(diǎn)和像點(diǎn)的估計(jì)變換關(guān)系；
d4、根據(jù)所述估計(jì)變換關(guān)系和所述物點(diǎn)集合，利用物點(diǎn)和像點(diǎn)的變換關(guān)系表達(dá)式得到與物點(diǎn)集合匹配的像點(diǎn)集合。
6、根據(jù)權(quán)利要求5所述雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，其特征在于，步驟d2所述利用sinkhorn算法更新所述匹配矩陣包括
初始化所述匹配矩陣；
對(duì)所述匹配矩陣的每一行和每一列元素進(jìn)行歸一化計(jì)算；
對(duì)所述匹配矩陣循環(huán)進(jìn)行歸一化計(jì)算。
全文摘要
本發(fā)明公開了一種雙向約束的二維物點(diǎn)與像點(diǎn)匹配方法，建立基于弱透視模型的空間平面物體的物點(diǎn)與像點(diǎn)之間的變換關(guān)系，該方法包括提取空間平面物體圖像的幾何特征的邊緣，得到邊緣像點(diǎn)集合，在空間平面物體的幾何特征上取點(diǎn)，得到物點(diǎn)集合；根據(jù)物點(diǎn)集合和邊緣像點(diǎn)集合得到表征物點(diǎn)和像點(diǎn)變換關(guān)系的匹配矩陣；給出物點(diǎn)與像點(diǎn)變換關(guān)系的初始變化估計(jì)；根據(jù)物點(diǎn)集合、邊緣像點(diǎn)集合、初始變化估計(jì)和匹配矩陣，得到物點(diǎn)與像點(diǎn)的估計(jì)變換關(guān)系，并由所得到的估計(jì)變換關(guān)系和物點(diǎn)集合，得到與物點(diǎn)集合匹配的像點(diǎn)集合。本發(fā)明的方法能減弱物點(diǎn)與像點(diǎn)匹配的條件限制，并且可以快速地使空間平面物體的物點(diǎn)和像點(diǎn)得以匹配。
文檔編號(hào)G06T7/00GK101393639SQ20081016778
公開日2009年3月25日 申請(qǐng)日期2008年10月7日 優(yōu)先權(quán)日2008年7月11日
發(fā)明者魏振忠, 巍 王, 張廣軍, 征 趙, 李慶波 申請(qǐng)人:北京航空航天大學(xué)