基于v型交點(diǎn)描述和局部單應(yīng)矩陣的線段匹配方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于V型交點(diǎn)描述和局部單應(yīng)矩陣的線段匹配方法及系統(tǒng)，進(jìn)行V型交點(diǎn)構(gòu)建，對(duì)V型交點(diǎn)進(jìn)行特征描述，通過計(jì)算特征描述向量之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，利用臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定的原則剔除錯(cuò)誤匹配，并增加正確匹配；單一線段匹配，包括對(duì)中沒有通過形成V型交點(diǎn)進(jìn)行匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理得到最終的線段匹配結(jié)果。本發(fā)明在多種圖像變換，如旋轉(zhuǎn)、尺度、視角變化下都有著良好的效果。相對(duì)于現(xiàn)有的方法，本技術(shù)方案能夠在找到更多匹配的同時(shí)，在絕大部分情況下，保持更高的匹配精度。
【專利說明】
基于V型交點(diǎn)描述和局部單應(yīng)矩陣的線段匹配方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，特別是設(shè)及一種基于線段V型交點(diǎn)描述和局 部單應(yīng)矩陣估計(jì)的線段匹配技術(shù)方案。
【背景技術(shù)】
[0002] 線段能夠很好展現(xiàn)場(chǎng)景的輪廓，尤其是人造場(chǎng)景，如建筑物、室內(nèi)等；少量的邊緣 線段就能夠包含整個(gè)場(chǎng)景的輪廓信息。因而，相對(duì)于基于圖像特征點(diǎn)的方法，基于圖像線段 特征來獲取圖像所拍攝場(chǎng)景的信息的方法具有一定的優(yōu)勢(shì)。要想利用圖像線段特征進(jìn)行來 獲取場(chǎng)景的信息，非常重要的一個(gè)步驟是要通過線段匹配獲取圖像對(duì)之間的同名線段。因 為只有獲取圖像對(duì)之間的同名線段，才能將拍攝自不同視角、不同環(huán)境下的同一場(chǎng)景的不 同圖像聯(lián)系起來，從而利用多張圖片來獲取場(chǎng)景更為完整而精確的信息。
[0003] 現(xiàn)有的線段匹配方法總體上可W分為W下兩種:線段成單匹配方法和線段的成組 匹配方法。在線段的成單匹配方法中，又可分為基于線段局部區(qū)域描述的方法和基于點(diǎn)匹 配輔助的方法。在線段成組匹配方法中，又可細(xì)分為線段結(jié)群匹配方法和線段的結(jié)對(duì)匹配 方法。
[0004] 基于對(duì)線段所在的局部區(qū)域進(jìn)行特征描述的運(yùn)類方法通過利用線段周圍區(qū)域像 素的灰度、梯度、顏色形成對(duì)線段的特征描述，通過衡量線段描述子之間的相似性實(shí)現(xiàn)線段 的匹配。運(yùn)類方法基于運(yùn)樣一個(gè)共同假設(shè)：同名線段間存在較大的重疊區(qū)域。因而當(dāng)兩條同 名線段之間的重疊區(qū)域較小，甚至沒有重疊區(qū)域時(shí)，運(yùn)種方法往往不能夠?qū)崿F(xiàn)運(yùn)兩條線段 的成功匹配。另外，在重復(fù)紋理區(qū)域，運(yùn)種方法容易產(chǎn)生錯(cuò)誤匹配。運(yùn)是因?yàn)樵诖藚^(qū)域內(nèi)的 線段的描述子的差別很小，很難通過衡量描述子之間的相似性找到最佳匹配線段。
[0005] 基于點(diǎn)匹配輔助的運(yùn)類線段匹配方法首先在圖像間尋找點(diǎn)匹配，然后利用=維共 面點(diǎn)線之間存在的仿射或射影不變量來評(píng)價(jià)線段之間的相似性。來自兩張圖像的兩條線段 如果滿足運(yùn)些不變量，就認(rèn)為運(yùn)兩條線段是同名線段。運(yùn)類方法的優(yōu)點(diǎn)在于它們利用的是 點(diǎn)線之間的幾何關(guān)系，而不是線段的局部區(qū)域特征，因而即使當(dāng)線段所在局部區(qū)域隨著圖 像變換發(fā)生較大的變形時(shí)，也能夠取得比較好的匹配效果。然而，運(yùn)類方法的共同不足之處 在于線段匹配結(jié)果嚴(yán)重依賴于點(diǎn)匹配結(jié)果，當(dāng)無法得到足夠多的點(diǎn)匹配時(shí)，如當(dāng)圖像場(chǎng)景 紋理稀少時(shí)，運(yùn)種方法很難取得較好的效果。
[0006] 線段的結(jié)對(duì)匹配方法首先將從兩張圖片中提取的線段中的相鄰線段相交，形成交 點(diǎn);然后通過匹配運(yùn)些形成的交點(diǎn)，得到線段匹配。運(yùn)類方法之所W可行是因?yàn)橐坏﹣碜詢?張圖片的一對(duì)交點(diǎn)成功匹配，形成運(yùn)對(duì)交點(diǎn)的兩對(duì)線段的也將自動(dòng)匹配上。此類方法將線 段匹配轉(zhuǎn)化為點(diǎn)匹配運(yùn)個(gè)十分成熟的問題，因而可W利用一些成熟的點(diǎn)匹配方法來得到線 段匹配。然而，兩條的線段的交點(diǎn)不僅僅是通過某些特征點(diǎn)提取算子得到的特征點(diǎn)，它包含 形成它的兩條線段的點(diǎn)-線關(guān)系信息。怎樣有效地利用運(yùn)些信息來輔助交點(diǎn)匹配，得到更為 魯棒的交點(diǎn)匹配方法，也將是一個(gè)值得研究問題。
[0007] 最后一種線段匹配方法是線段結(jié)群匹配方法。運(yùn)類方法首先根據(jù)空間臨近分布關(guān) 系和線段自身的顯著度(線段上所有點(diǎn)的灰度梯度平均值)將提取自兩張圖像的線段分成 不同的線段群，通過匹配運(yùn)些線段群得到線段群匹配，然后在逐一確定匹配群內(nèi)的線段的 匹配關(guān)系。在尋找線段群的匹配關(guān)系的過程中，此方法依據(jù)一組臨近的線段之間的空間分 布在圖像變換過程中保持相對(duì)穩(wěn)定運(yùn)樣一種思想，通過計(jì)算線段群內(nèi)線段之間的相對(duì)位置 關(guān)系，得到線段群的描述子。通過比較描述子相似性，方法得到線段群匹配。運(yùn)種方法在同 名線段端點(diǎn)對(duì)應(yīng)關(guān)系不是準(zhǔn)確時(shí)，往往會(huì)產(chǎn)生錯(cuò)誤匹配或者漏掉其中的正確匹配。

【發(fā)明內(nèi)容】

[0008] 為了解決W上方法中存在的問題，在多種復(fù)雜的圖像變換和場(chǎng)景中得到更多的線 段匹配，本發(fā)明提供了一種基于線段V型交點(diǎn)描述和局部單應(yīng)矩陣估計(jì)的線段匹配技術(shù)方 案。
[0009] 本發(fā)明提供一種基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法，設(shè)待匹配的 兩張圖像分別為I和，從I和中分別提取線段，設(shè)所提取的線段集合分別巧
芽
其中M和N分別表示在I和中提取的線段的總條數(shù)，通過W下步驟找到存在 于王和￡'中的同名線段，
[0010] 步驟i，v型交點(diǎn)構(gòu)建，包括在圖像I和中分別得到V型交點(diǎn)的集看
和
其中P和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)；
[0011] 步驟2，v型交點(diǎn)匹配，包括對(duì)在集合V和r中的V型交點(diǎn)進(jìn)行特征描述，得到V型交 點(diǎn)的特征描述向量，通過A曰心號(hào)之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，設(shè)匹配得到 Q個(gè)V型交點(diǎn)所組成的集^
[001^ 步驟3, V型交點(diǎn)匹配優(yōu)化，包括對(duì)步驟2所祠
利用臨近V型交點(diǎn)拓 撲分布保持相對(duì)穩(wěn)定的原則剔除錯(cuò)誤匹配，并增加正確匹配；
[0013] 步驟4,單一線段匹配，包括對(duì)
沒有通過形成V型交點(diǎn) 進(jìn)行匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，所得線段匹配結(jié)果和步驟3所得線 段匹配結(jié)果一起構(gòu)成最終的線段匹配結(jié)果。
[0014] 而且，步驟3中，所述臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定，判斷方式如下，
[001引設(shè)V型交點(diǎn)j。和形成它的兩條線段從及線段延長(zhǎng)線構(gòu)成一個(gè)坐標(biāo)系，與j。相鄰的已 經(jīng)匹配的V型交點(diǎn)分布在該坐標(biāo)系的四個(gè)象限中，當(dāng)滿足W下條件時(shí)，判斷臨近V型交點(diǎn)拓 撲分布保持相對(duì)穩(wěn)定，
[0016] 在圖像變換之后，當(dāng)jc變成j/。，與y C的臨近的已經(jīng)匹配的V型交點(diǎn)是jc的鄰居的 同名點(diǎn)超過預(yù)設(shè)比例，并且其中任何一對(duì)同名點(diǎn)，一點(diǎn)在jc所形成的坐標(biāo)系中的象限和另 一點(diǎn)在j/。所形成的坐標(biāo)系的象限保持相同的概率超過預(yù)設(shè)概率。
[0017] 而且，步驟3中，所述剔除錯(cuò)誤匹配，并增加正確匹配，實(shí)現(xiàn)如下，
[001引步驟3.1，初始化闊值di、cb的初值，當(dāng)前迭代次數(shù)n=l;
[0019] 步驟3.2,刪除Mo中存在的錯(cuò)誤匹配，任何I
f滿足如下兩個(gè)條件將被 刪除：jq和j%滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值山；
[0020] j%和j%具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0021] 步驟3.3,從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到Mo中，假設(shè)j和j/為一對(duì) 分別來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下=個(gè)條件時(shí)，才認(rèn)為(j J/) 是正確匹配：
[0022] j和j/滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值di;
[0023] j和j/所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)闊值Cb;
[0024] j和j/具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0025] 步驟3.4，判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，滿足結(jié)束迭代，進(jìn)入步驟4，否則令n =n+1，令山=di+c，返回步驟3.2繼續(xù)執(zhí)行，其中，C為預(yù)設(shè)的步長(zhǎng)。
[0026] 而且，所述迭代結(jié)束條件是，當(dāng)前集合中的匹配數(shù)目和上一次迭代執(zhí)行步驟3.3后 的匹配數(shù)目相比沒有增加，或者當(dāng)前迭代次數(shù)大于預(yù)設(shè)次數(shù)闊值。
[0027] 而且，步驟4中，所述基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，實(shí)現(xiàn)如下，
[0028] 步驟4.1，進(jìn)行局部單應(yīng)矩陣估計(jì)，包括利用一對(duì)匹配的V型交點(diǎn)所提供的約束，得 到對(duì)應(yīng)于該V型交點(diǎn)對(duì)所在的局部匹配區(qū)域的單應(yīng)矩陣；
[0029] 步驟4.2,匹配單一線段，實(shí)現(xiàn)如下，
對(duì)由通過上述步驟3得到的K個(gè)V型交點(diǎn)匹配所組成的集合， 別表示在兩幅圖中剩下的還未匹配上的線段集合;對(duì)于每一 條線段1,' GJf或E ：r，找到最鄰近的4個(gè)已經(jīng)匹配上的V型交點(diǎn)，并將該條線段分配到相應(yīng) 的組中；
[0031] 假設(shè)1和1/是一對(duì)待匹配的線段，分別被分配到匹配的V型交點(diǎn)j和y中，其中j由 線段對(duì)Qm, In)形成，y由線段對(duì)形成，首先判斷1和1/的角度差異是否與線段匹 配和中線段的角度差異相似；
[0032] 如果是則通過步驟4.1所得從匹配的V型交點(diǎn)（j J/)對(duì)應(yīng)單應(yīng)矩陣H，對(duì)（1,1/)進(jìn) 行評(píng)價(jià)，包括將1的兩個(gè)交點(diǎn)通過H映射到1/所在的圖像平面中，得到一條新的線段Ih,如果 Ih的兩個(gè)端點(diǎn)到1'的距離減和姆同時(shí)小于相應(yīng)闊值dt，認(rèn)為（1,1')是一對(duì)正確的線段匹 配。
[0033] 本發(fā)明提供一種基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)，通過設(shè)置W 下模塊找到存在于X;和中的同名線段，
[0034] V型交點(diǎn)構(gòu)建模塊，用于巧待陽配的兩化圖像分別為I和，從I和中分別提取線 段，設(shè)所提取的線段集合分別^
I其中M和N分別表示在I和中 提取的線段的總條數(shù)，在圖像I和中分別得到V型交點(diǎn)的集省
其中P和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)；
[0035] V型交點(diǎn)匹配模塊，用于包括對(duì)在集合K和護(hù)I中的V型交點(diǎn)進(jìn)行特征描述，得到V型 交點(diǎn)的特征描述向量，通過計(jì)算特征描述向量之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，設(shè)匹配得 至化個(gè)V型交點(diǎn)所組成的集省
[0036] V型交點(diǎn)匹配優(yōu)化模塊，用于對(duì)V型交點(diǎn)匹配模塊所得
利用臨近V 型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定的原則剔除錯(cuò)誤匹配，并增加正確匹配；
[0037] 單一線段匹配模塊，用于包括對(duì)
3沒有通過形成V型交 點(diǎn)進(jìn)行匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，所得線段匹配結(jié)果和V型交點(diǎn)匹 配優(yōu)化模塊所得線段匹配結(jié)果一起構(gòu)成最終的線段匹配結(jié)果。
[003引而且，V型交點(diǎn)匹配優(yōu)化模塊中，所述臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定，判斷方 式如下，
[0039] 設(shè)V型交點(diǎn)jc和形成它的兩條線段W及線段延長(zhǎng)線構(gòu)成一個(gè)坐標(biāo)系，與jc相鄰的已 經(jīng)匹配的V型交點(diǎn)分布在該坐標(biāo)系的四個(gè)象限中，當(dāng)滿足W下條件時(shí)，判斷臨近V型交點(diǎn)拓 撲分布保持相對(duì)穩(wěn)定，
[0040] 在圖像變換之后，當(dāng)jc變成j/。，與y C的臨近的已經(jīng)匹配的V型交點(diǎn)是jc的鄰居的 同名點(diǎn)超過預(yù)設(shè)比例，并且其中任何一對(duì)同名點(diǎn)，一點(diǎn)在jc所形成的坐標(biāo)系中的象限和另 一點(diǎn)在j/。所形成的坐標(biāo)系的象限保持相同的概率超過預(yù)設(shè)概率。
[0041] 而且，V型交點(diǎn)匹配優(yōu)化模塊中，所述剔除錯(cuò)誤匹配操作，并增加正確匹配，包括W 下單元，
[0042 ]第一單元，用于初始化闊值di、d2的初值，當(dāng)前迭代次數(shù)n = 1;
[0043] 第二單元，用于刪除Mo中存在的錯(cuò)誤匹配，任何
不滿足如下兩個(gè)條 件將被刪除：
[0044] jq和j%滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值山；
[0045] j%和j%具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0046] 第S單元，用于從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到Mg中，假設(shè)j和y為 一對(duì)分別來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下=個(gè)條件時(shí)，才認(rèn)為 (j，j')是正確匹配：
[0047] j和j/滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值di;
[0048] j和j/所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)闊值Cb;
[0049] j和j/具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0050] 第四單元，用于判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，滿足結(jié)束迭代，命令單一線段 匹配模塊工作，否則令n = n+l，令di = di+c，命令第二單元工作，其中，C為預(yù)設(shè)的步長(zhǎng)。
[0051 ]而且，所述迭代結(jié)束條件是，當(dāng)前集合中的匹配數(shù)目和上一次迭代執(zhí)行步驟3.3后 的匹配數(shù)目相比沒有增加，或者當(dāng)前迭代次數(shù)大于預(yù)設(shè)次數(shù)闊值。
[0052] 而且，單一線段匹配模塊中，所述基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，實(shí)現(xiàn)如 下，
[0053] 進(jìn)行局部單應(yīng)矩陣估計(jì)，包括利用一對(duì)匹配的V型交點(diǎn)所提供的約束，得到對(duì)應(yīng)于 該V型交點(diǎn)對(duì)所在的局部匹配區(qū)域的單應(yīng)矩陣；
[0化4] 匹配單一線段，實(shí)現(xiàn)如下，
[0化5]設(shè) IiV型交點(diǎn)匹配優(yōu)化模塊得到的K個(gè)V型交點(diǎn)匹配 所組成的集 I ^ ^ 別表示在兩幅圖中剩下的還未匹配上的線段集 合;對(duì)于每一條線段e張或Ij 找到最鄰近的4個(gè)已經(jīng)匹配上的V型交點(diǎn)，并將該條線 段分配到相應(yīng)的組中；
[0056]假設(shè)1和1/是一對(duì)待匹配的線段，分別被分配到匹配的V型交點(diǎn)j和y中，其中j由 線段對(duì)Qm, In)形成，y由線段對(duì)形成，首先判斷1和1/的角度差異是否與線段匹 配和中線段的角度差異相似；
[0057] 如果是則通過匹配的V型交點(diǎn)（j J/ )對(duì)應(yīng)單應(yīng)矩陣H，對(duì)（1,1/ )進(jìn)行評(píng)價(jià)，包括將1 的兩個(gè)交點(diǎn)通過H映射到1/所在的圖像平面中，得到一條新的線段Ih,如果Ih的兩個(gè)端點(diǎn)到 1'的距離礙和相同時(shí)小于相應(yīng)闊值dt，認(rèn)為（1,1')是一對(duì)正確的線段匹配。
[0058] 本發(fā)明在多種圖像變換，如旋轉(zhuǎn)、尺度、視角變化下都有著良好的效果。相對(duì)于現(xiàn) 有的方法，本技術(shù)方案能夠在找到更多匹配的同時(shí)，在絕大部分情況下，保持更高的匹配精 度。
【附圖說明】
[0059] 圖1為本發(fā)明實(shí)施例的流程圖。
[0060] 圖2為本發(fā)明實(shí)施例的V型交點(diǎn)描述示意圖。
[0061] 圖3為本發(fā)明實(shí)施例的臨近V型交點(diǎn)拓?fù)浞植缄P(guān)系在圖像變換前后保持穩(wěn)定示意 圖。
【具體實(shí)施方式】
[0062] 下面通過實(shí)施例，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說明。
[0063] 假設(shè)待匹配的兩張圖像分別表示為I和，利用現(xiàn)有的線段提取方法，從I和中 提取線段，設(shè)所提取的線段集合分別呆
其中M和N分別表示在I 和中提取的線段的總條數(shù)。本發(fā)明通過W下步驟找到存在于X;和怎'中的同名線段。
[0064] 步驟1，V型交點(diǎn)構(gòu)建。
[0065] 在每一張圖像中，將相鄰線段相交，形成V型交點(diǎn)。W在圖像I中為例（在圖像中 同此步驟），假設(shè)兩條線段ex，如果Im和In為相鄰線段，則將他們相交，形成V型交點(diǎn)， 假設(shè)為j。在此步驟之后，在I和中將分別得到V型交點(diǎn)集^
i 中P和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)。通過匹配V巧V'中的交點(diǎn)，可W得到 線段匹配。運(yùn)是因?yàn)槿绻稽c(diǎn)jp E V成功地匹配上交點(diǎn)E 0?'，形成jp的兩條線段將相應(yīng)地 與形成j%的兩條線段匹配上。因此，為得到盡可能多的線段匹配，需要盡可能地找到存在 于1；和取'中的交點(diǎn)匹配。
[0066] 參見圖1，圖像1的線段提取結(jié)果得到線段組1，通過臨近線段相交，得到V型交點(diǎn)組 1，圖像2的線段提取結(jié)果得到線段組2,通過臨近線段相交，得到V型交點(diǎn)組2。
[0067] 步驟2, V型交點(diǎn)匹配。
[0068] 首先對(duì)在集合17和￥'中的V型交點(diǎn)進(jìn)行特征描述，然后通過計(jì)算特征描述之間的相 似性和一些約束對(duì)交點(diǎn)進(jìn)行匹配。
[0069] 步驟2.1，V型交點(diǎn)描述。
[0070] 如附圖2所示，臨近線段AB、CD相交形成V型交點(diǎn)0,取Wo為中屯、的兩個(gè)同屯、圓區(qū)域 為特征區(qū)域，其中小圓的半徑是大圓半徑的一半。圓半徑的選擇可W根據(jù)不同的應(yīng)用合理 選取，較大的半徑往往使得描述子具有更強(qiáng)的分辨力，但對(duì)圖像變形也更為敏感。在實(shí)驗(yàn)中 發(fā)現(xiàn)，當(dāng)小圓的半徑選為8個(gè)像素時(shí)，具有較好的綜合效果。
[0071] 線段OB和OD和它們的反向延長(zhǎng)線將運(yùn)兩個(gè)同屯、圓分割成4個(gè)區(qū)域，其中每個(gè)區(qū)域 又分成一個(gè)扇形區(qū)和一個(gè)環(huán)形區(qū)，該環(huán)形區(qū)域接下來又被等分成3部分。在運(yùn)之后，運(yùn)兩個(gè) 同屯、圓所在的區(qū)域被分成了 16份，其中每8個(gè)相互對(duì)角的區(qū)域大小相等。在運(yùn)些區(qū)域內(nèi)統(tǒng)計(jì) 8個(gè)方向的像素梯度直方圖，因而得到一個(gè)128維向量作為該V型交點(diǎn)的描述子。為了使描述 子對(duì)光照變化具有魯棒性，需要對(duì)所得的向量進(jìn)行歸一化。然而由于運(yùn)個(gè)128維的向量由兩 組在不同面積的區(qū)域內(nèi)構(gòu)建的直方圖組成，因而在進(jìn)行歸一化時(shí)，需要分組進(jìn)行歸一化，亦 即在面積相同區(qū)域內(nèi)構(gòu)建的每8個(gè)直方圖進(jìn)行分別歸一化。同時(shí)，為了去除邊界效應(yīng)，將該 128維向量中大于一定闊值(如0.2)的進(jìn)行截?cái)?，W強(qiáng)化梯度方向的作用。
[0072] 由于W上V型交點(diǎn)的特征描述向量是通過計(jì)算在固定大小區(qū)域內(nèi)的灰度直方圖而 得到的，當(dāng)待匹配的圖像間存在尺度變化時(shí)，同名點(diǎn)所對(duì)應(yīng)的描述向量會(huì)有很大的不同，他 們的特征描述向量之間的距離從而不能正確體現(xiàn)它們之間的相似性。本發(fā)明提出通過構(gòu)建 圖像金字塔的方法來解決運(yùn)一問題。
[0073] 本發(fā)明對(duì)圖像I和進(jìn)行高斯卷積和縮放運(yùn)算得到高斯金字塔，在進(jìn)行圖像變換 的同時(shí)，將在原圖像中構(gòu)建的V型交點(diǎn)相應(yīng)的調(diào)整到變化后的圖像中，并在新的圖像中對(duì)變 化后的V型交點(diǎn)進(jìn)行如上所述的固定大小的特征區(qū)域的描述。W圖像I為例，在對(duì)其構(gòu)建高 斯金字塔的過程中，當(dāng)I變成Im時(shí)
中的V型交點(diǎn)也做相應(yīng)的調(diào)整W適應(yīng)相應(yīng)的 圖像變化。假設(shè)當(dāng)I變成Im,圖像縮小了一半，對(duì)于某V型交點(diǎn)fee V，假設(shè)它由線段對(duì)山山） 構(gòu)成，為適應(yīng)新的圖像尺寸，線段1、和^的長(zhǎng)度也變成原來的一半，他們構(gòu)成一個(gè)新的對(duì)應(yīng) 于jp的V型交點(diǎn)，假設(shè)為聯(lián)。在Im中，對(duì)段進(jìn)行如上所述的固定窗口大小的特征描述。在運(yùn)種 方式下，對(duì)于V型交點(diǎn)jp:ev，它的描述子將表示為
其中Dm代表jp在被調(diào)整到 圖像金字塔第m層時(shí)所對(duì)應(yīng)的描述向量，M代表金字塔的總層數(shù)。
[0074] 步驟2.2, V型交點(diǎn)匹配。
[00巧]通過上一步驟，可W得到V型交點(diǎn)集合R和巧'中所有V型交點(diǎn)的特征描述，為得到 其中的匹配，通常的做法是計(jì)算它們特征描述向量之間的距離。但由于V型交點(diǎn)由兩條相鄰 線段組成，運(yùn)兩條線段的交角在絕大部分圖像變換下保持不變或者較小的變化。因而可W 利用V型交點(diǎn)的該特征，在衡量?jī)蓚€(gè)來自兩張圖片的V型交點(diǎn)的特征描述相似性之前，通過 比較形成他們的兩條線段交角的差來初步判斷他們是否可能為正確匹配。若交點(diǎn)差大于預(yù) 設(shè)的相應(yīng)闊值(具體實(shí)施時(shí)本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)，如30°)，就認(rèn)為運(yùn)兩個(gè)V型交點(diǎn)不 是匹配。通過運(yùn)種方式，提高匹配精度和算法的效率。
[0076] 由于采用如步驟2.1中所述的通過構(gòu)建圖像金字塔的方式對(duì)在原始圖像中構(gòu)建的 V型交點(diǎn)進(jìn)行描述，每個(gè)在原始圖中構(gòu)建的V型交點(diǎn)的特征描述將由一組向量組成，因而，在 評(píng)價(jià)來自兩幅圖像中的兩個(gè)V型交點(diǎn)的特征描述的相似性時(shí)，應(yīng)當(dāng)采用特殊的方式。
[0077] 假湖€瓜和}' EV'是來自兩幅圖像的一對(duì)待陽配的V巧巧點(diǎn)，化們?cè)谕ㄟ^基于圖 像金字塔的描述之后對(duì)應(yīng)的特征描述分別為
其中Dm表示j在 其所對(duì)應(yīng)的金字塔的第m層的描述子，D\表示y在其所對(duì)應(yīng)的金字塔的第n層的描述子。通 過計(jì)算巧中每個(gè)向量到巧'中所有向量的距離，得到
j和j/的特征描 述距離被定義為S中最小的幾個(gè)值(具體實(shí)施時(shí)本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)個(gè)數(shù)，如2個(gè))的 平均值，該距離就用作衡量j和y之間的相似性。通過構(gòu)建圖像金字塔進(jìn)行V型交點(diǎn)描述并 采用如上所述特征描述相似性評(píng)價(jià)方式來進(jìn)行V型交點(diǎn)匹配，算法就能夠很好地解決存在 于兩張圖像之間的尺度變化問題。運(yùn)是因?yàn)橥ㄟ^構(gòu)建圖像金字塔，在一幅原始圖像中構(gòu)建 的V型交點(diǎn)在通過高斯卷積和縮放運(yùn)算之后，總能夠被調(diào)整到一幅同它的同名V型交點(diǎn)處于 相同的圖像尺度的圖像中，在運(yùn)情況下，他們之間的描述子距離能夠真正的反應(yīng)運(yùn)兩個(gè)V型 交點(diǎn)的相似性。
[007引步驟3, V型交點(diǎn)匹配優(yōu)化。
[00巧]經(jīng)過步驟2所得到的V型交點(diǎn)匹配
^不可避免地存在錯(cuò)誤匹配，且 其中漏掉了一部分在兩幅圖中存在正確匹配。本步驟旨在優(yōu)化Jtfo中的匹配:在剔除錯(cuò)誤匹 配的同時(shí)，增加其中的正確匹配。在運(yùn)個(gè)過程中，本發(fā)明提出利用臨近V型交點(diǎn)拓?fù)浞植急?持相對(duì)穩(wěn)定的方法來指導(dǎo)錯(cuò)誤匹配刪除W及增加新的匹配。
[0080] 如附圖3所示，V型交點(diǎn)j。和形成它的兩條線段W及它們的延長(zhǎng)線構(gòu)成一個(gè)類似于 坐標(biāo)系的結(jié)構(gòu)，與jc相鄰的已經(jīng)匹配的V型交點(diǎn)（在此圖中是ji~8)分布在該坐標(biāo)系的四個(gè)象 限（I、II、III、IV)中。jc的臨近V型交點(diǎn)相對(duì)于jc的位置在圖像變換前后應(yīng)該保持相對(duì)穩(wěn)定， 運(yùn)種穩(wěn)定體現(xiàn)在兩個(gè)方面:其一，j。在經(jīng)過圖像變換之后的鄰居也是它在圖像變換之前的 鄰居。在圖像變換之后，當(dāng)jc變成j/。，與y C的臨近的已經(jīng)匹配的V型交點(diǎn)將在一定比例（具 體實(shí)施時(shí)本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)比例闊值，如0.5)上是j。的鄰居的同名點(diǎn)。反應(yīng)在附 圖3中就是，在~游8個(gè)點(diǎn)中，其中有相當(dāng)大一部分是ji~游8個(gè)點(diǎn)的同名點(diǎn)。其二，對(duì)于 ji~8和~8中的任何一對(duì)同名點(diǎn)，其中一點(diǎn)在jc所形成的坐標(biāo)系中的象限在很大概率上應(yīng) 和另一點(diǎn)在j/。所形成的坐標(biāo)系的象限保持相同。例如，如果jm是jl~8中的一個(gè)點(diǎn)，它與~8 中某點(diǎn)y n是同名點(diǎn)，假設(shè)jm位于jc所形成的坐標(biāo)系的第一象限，那么j/n也應(yīng)該在很大概率 (具體實(shí)施時(shí)本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)概率闊值，如0.8)上位于y。所形成的坐標(biāo)系的第 一象限。W上兩點(diǎn)即所謂的臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定。
[0081] 利用所得到的匹配，可W用RANSAC估計(jì)出兩幅圖像之間的基礎(chǔ)矩陣，本發(fā)明提出 通過迭代的方式逐步剔除J斯中的錯(cuò)誤匹配并增加新的匹配。具體步驟如下：
[0082] 步驟3.1，初始化闊值di、cb的初值，當(dāng)前迭代次數(shù)n= 1;
[0083] 步驟3.2,刪除JVfo中存在的錯(cuò)誤匹配。任f
f滿足如下兩個(gè)條件將被 刪除：
[0084] 令jq和j%滿足核線約束，即它們相對(duì)于當(dāng)前-M；、相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù) 設(shè)闊值山；
[0085] 奪j%和j%具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性。
[0086] 步驟3.3,從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到Mo中。假設(shè)j和y為一對(duì) 分別來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下=個(gè)條件時(shí)，才認(rèn)為(j J/) 是正確匹配：
[0087] 々j和y滿足核線約束，即它們相對(duì)于當(dāng)前相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè) 闊值山；
[0088] 今j和j/所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)闊值Cb;
[0089] 々j和j/具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性。
[0090] 注意，在增加匹配步驟中驗(yàn)證一對(duì)V型交點(diǎn)匹配是否正確比刪除錯(cuò)誤匹配步驟中 要多一個(gè)條件一兩個(gè)交點(diǎn)對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)闊值cb。運(yùn)是因?yàn)?在刪除錯(cuò)誤匹配步驟中，中待評(píng)價(jià)的匹配在肯定是滿足運(yùn)個(gè)條件的，不然先前不會(huì)增加 到中。
[0091] 步驟3.4,判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，實(shí)施例中為當(dāng)前集合中的匹配數(shù)目 和上一次迭代執(zhí)行步驟3.3后的匹配數(shù)目相比沒有增加，或者當(dāng)前迭代次數(shù)大于預(yù)設(shè)次數(shù) 闊值，例如3，結(jié)束迭代，進(jìn)入步驟4，否則令11 = 11+1，令(11 = (11+(3，返回步驟3.2繼續(xù)執(zhí)行。其 中，C為預(yù)設(shè)的步長(zhǎng)。
[0092] W上步驟中設(shè)及的相關(guān)闊值di、cb、c均可由本領(lǐng)域從業(yè)人員根據(jù)經(jīng)驗(yàn)自行設(shè)定。
[0093] 步驟4,單一線段匹配。
[0094] 沒有通過形成V型交點(diǎn)進(jìn)行匹配的線段將在此步驟中進(jìn)行匹配。由于運(yùn)些線段往 往離其他線段較遠(yuǎn)，不能W結(jié)對(duì)的方式與其他線段一起進(jìn)行匹配，因而在本發(fā)明中稱其為 單一線段。
[00M] 步驟4.1，局部單應(yīng)矩陣估計(jì)。
[0096] -個(gè)單應(yīng)矩陣H有8個(gè)自由度，因而需要8個(gè)獨(dú)立的約束來得到唯一解。然而，當(dāng)兩 張圖像之間的基礎(chǔ)矩陣F已知時(shí)，存在W下關(guān)系：
[0097] 腫+FTh=O
[0098] 此方程提供5個(gè)獨(dú)立的約束，因而還需要其他3個(gè)獨(dú)立約束來得到H的唯一解。本發(fā) 明利用一對(duì)V型匹配交點(diǎn)所提供的約束，得到對(duì)應(yīng)于該V型交點(diǎn)對(duì)所在的局部匹配區(qū)域的單 應(yīng)矩陣，方法如下。
[0099] 假設(shè)對(duì)應(yīng)于兩張圖像的相機(jī)的空間位置分別表示為C和(/，當(dāng)C表示為[I I 0]，其中 I為秩為3的單位矩陣，0為對(duì)應(yīng)的0向量;可W表示為[Al e^]，其中e/為第二張圖片所對(duì)應(yīng) 的極點(diǎn)，A為對(duì)進(jìn)行分解之后除e/之外剩下的部分，I、0、A、e/對(duì)應(yīng)相機(jī)矩陣的分解。當(dāng)jp 和j%是來自兩幅圖像中的一對(duì)匹配交點(diǎn)，它們分別由線段對(duì)Qm, In)和形成。在此 情形下，由某一空間S維平面JT= (vT，l)所引導(dǎo)的對(duì)應(yīng)于jp和j%所在的局部區(qū)域的單應(yīng)矩 陣H可W表示為：
[0100] H=A-eV
[0101 ]因?yàn)閱螒?yīng)矩陣H能夠建立點(diǎn)對(duì)點(diǎn)的映射關(guān)系，當(dāng)假設(shè)X為Im的一個(gè)端點(diǎn)，通過H映射 之后，它的同名點(diǎn)=化必將在上，亦即
君此，存在W下關(guān)系：
[0102] lV(A-eV)x = 0
[0103] 對(duì)該方程進(jìn)行整理，將得到：
[0104]
[0105] 該萬巧是巧求重V的線性方程，能夠?yàn)榻馇骎提供一個(gè)約束，yT為V的矩陣轉(zhuǎn)置。由 于兩組線段對(duì)Qm, In)和能夠提供四個(gè)此類端點(diǎn)，從而能夠建立如上的4個(gè)方程，V 的最小二乘解便可從運(yùn)4個(gè)方程中求出。在求解出V之后，單應(yīng)矩陣H也就可W相應(yīng)的求出 來。
[0106] 步驟4.2,匹配單一線段
[0107] 假運(yùn)
％通過上述步驟3得到的K個(gè)V型交點(diǎn)匹配所組成的集合，
分別表示在兩幅圖中剩下的還未匹配上的線段集合，R、S為還未 匹配上的線段數(shù)目。對(duì)于每一條線段1,: e嚴(yán)，或1； eX'，本發(fā)明找到其最鄰近的4個(gè)已經(jīng)匹配 上的V型交點(diǎn)，并將該條線段分配到相應(yīng)的組中。在運(yùn)之后，於和《：'中的線段被分配到不同 的組中。張中被分配到一個(gè)組中的線段只和來自％'的其對(duì)應(yīng)的組中的線段進(jìn)行匹配，運(yùn)樣 能夠減少匹配干擾，在提高精度的同時(shí)，節(jié)省了時(shí)間。
[010引假設(shè)1和1/是一對(duì)待匹配的線段，他們分別被分配到V型匹配交點(diǎn)j和y中，其中j 由線段對(duì)(lm，ln)形成，j/由線段對(duì)形成。首先判斷1和1/的角度差異是否與線段 匹配Qm, 1\)和（In, 1\)中線段的角度差異相似。因?yàn)?和1/是通過空間臨近關(guān)系被分別分 配到j(luò)和y所在的組中，而相互臨近的線段在圖像變換之后，他們的角度變化類似。根據(jù)運(yùn) 樣一個(gè)事實(shí)，可W對(duì)(1,1/)是否為正確匹配做出初步判斷。假設(shè)1和1/的角度差為a，lm和 的角度差為Qm, In和的角度差為Qn,如果存在：
[0109]
[0110] 其中O為角度闊值可由本領(lǐng)域技術(shù)人員預(yù)先設(shè)置，如設(shè)置為20°。
[0111] 如果（1,1/)滿足W上條件，接下來通過步驟4.1所得從V型交點(diǎn)匹配(j J/)中估計(jì) 出的單應(yīng)矩陣，假設(shè)為H，對(duì)(1,1/)進(jìn)行評(píng)價(jià)。具體實(shí)施時(shí)也可W先不執(zhí)行步驟4.1，需要時(shí) 再采用步驟4.1的方法估計(jì)相應(yīng)單應(yīng)矩陣。將1的兩個(gè)交點(diǎn)通過H映射到1/所在的圖像平面 中，得到一條新的線段Ih,如果（1,1/)是一對(duì)正確的線段匹配，那么Ih必然位于1/非常臨近 的位置。具體而言，通過計(jì)算Ih的兩個(gè)端點(diǎn)到1'的距離端郝嬌，爭(zhēng),耐和攝同時(shí)小于闊值dt， 認(rèn)為(1,1/)滿足此項(xiàng)約束。dt可由本領(lǐng)域技術(shù)人員預(yù)先設(shè)置，如設(shè)置為3個(gè)像素。
[0112] W上判斷方法在大部分情況下能夠正確判斷一對(duì)線段匹配是否為正確匹配，但當(dāng) 存在幾條線段出現(xiàn)在同一臨近區(qū)域并且他們之間的角度相似時(shí)，W上方法往往不能做出正 確判斷，本發(fā)明增加了一個(gè)約束來處理此類問題。該約束要求兩條同名線段的較亮的區(qū)域 必須位于運(yùn)兩條的線段的相同方向。舉例來說，如果線段1的左邊區(qū)域比它的右邊區(qū)域要亮 些，亦即左邊區(qū)域像素灰度均值要大于右邊區(qū)域像素灰度均值，那么只有在線段1/的左邊 區(qū)域也比它的右邊區(qū)域要亮?xí)r，才接受（1,1/)為正確匹配。
[0113] 通過匹配單線得到的線段匹配和由匹配V型交點(diǎn)得到的線段匹配一起構(gòu)成了最終 的線段匹配。
[0114] 具體實(shí)施時(shí)，本發(fā)明所提供方法可基于軟件技術(shù)實(shí)現(xiàn)自動(dòng)運(yùn)行流程，也可采用模 塊化方式實(shí)現(xiàn)相應(yīng)系統(tǒng)。本發(fā)明提供一種基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系 統(tǒng)，通過設(shè)置W下模塊找到存在于必和￡'中的同名線段，
[0115] V型交點(diǎn)構(gòu)建模塊，用于設(shè)待匹配的兩張圖像分別為I和，從I和中分別提取線 段，設(shè)所提取的線段集合分別巧
其中M和N分別表示在I和中 提取的線段的總條數(shù)，在圖像I和中分別得到V型交點(diǎn)的集看
其中P和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)；
[0116] V型交點(diǎn)匹配模塊，用于包括對(duì)在集合V和r中的V型交點(diǎn)進(jìn)行特征描述，得到V型 交點(diǎn)的特征描述向量，通過計(jì)算特征描述向景之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，設(shè)匹配得 至化個(gè)V型交點(diǎn)所組成的集合
[0117] V型交點(diǎn)匹配優(yōu)化模塊，用于對(duì)V型交點(diǎn)匹配模塊所得
利用臨近V 型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定的原則剔除錯(cuò)巧陽麗.并墻力n TF疏陽町；
[0118] 單一線段匹配模塊，用于包括對(duì)
中沒有通過形成V型交 點(diǎn)進(jìn)行匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，所得線段匹配結(jié)果和V型交點(diǎn)匹 配優(yōu)化模塊所得線段匹配結(jié)果一起構(gòu)成最終的線段匹配結(jié)果。
[0119] 而且，V型交點(diǎn)匹配優(yōu)化模塊中，所述臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定，判斷方 式如下，
[0120] 設(shè)V型交點(diǎn)jc和形成它的兩條線段W及線段延長(zhǎng)線構(gòu)成一個(gè)坐標(biāo)系，與jc相鄰的已 經(jīng)匹配的V型交點(diǎn)分布在該坐標(biāo)系的四個(gè)象限中，當(dāng)滿足W下條件時(shí)，判斷臨近V型交點(diǎn)拓 撲分布保持相對(duì)穩(wěn)定，
[0121] 在圖像變換之后，當(dāng)jc變成j/。，與y C的臨近的已經(jīng)匹配的V型交點(diǎn)是jc的鄰居的 同名點(diǎn)超過預(yù)設(shè)比例，并且其中任何一對(duì)同名點(diǎn)，一點(diǎn)在jc所形成的坐標(biāo)系中的象限和另 一點(diǎn)在j/。所形成的坐標(biāo)系的象限保持相同的概率超過預(yù)設(shè)概率。
[0122] 進(jìn)一步地，V型交點(diǎn)匹配優(yōu)化模塊中，所述剔除錯(cuò)誤匹配操作，并增加正確匹配，包 括W下單元，
[0123] 第一單元，用于初始化闊值di、d2的初值，當(dāng)前迭代次數(shù)n = 1;
[0124] 第二單元，用于刪除Mo中存在的錯(cuò)誤匹配，任何G .Mo不滿足如下兩個(gè)條件 將被刪除：
[0125] jq和j%滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值山； [01%] j%和j%具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0127] 第S單元，用于從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到Mo中，假設(shè)j和y為 一對(duì)分別來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下=個(gè)條件時(shí)，才認(rèn)為 (j，j')是正確匹配：
[0128] j和j/滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)闊值di;
[0129] j和j/所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)闊值Cb;
[0130] j和j/具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定運(yùn)一特性；
[0131] 第四單元，用于判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，滿足結(jié)束迭代，命令單一線段 匹配模塊工作，否則令n = n+l，令di = di+c，命令第二單元工作，其中，C為預(yù)設(shè)的步長(zhǎng)。
[0132] 各模塊具體實(shí)現(xiàn)可參見相應(yīng)步驟，本發(fā)明不予寶述。
[0133] 需要強(qiáng)調(diào)的是，本發(fā)明所述的實(shí)施例是說明性的，而不是限定性的。因此本發(fā)明包 括并不限于【具體實(shí)施方式】中所述的實(shí)施例，凡是由本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的技術(shù)方案 得出的其他實(shí)施方式，同樣屬于本發(fā)明保護(hù)的范圍。
【主權(quán)項(xiàng)】
1. 一種基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法，其特征在于:設(shè)待匹配的兩 張圖像分別為I和V，從I和V中分別提取線段，設(shè)所提取的線段集合分別為i： = (V從=1和 f ，其中Μ和N分別表示在I和V中提取的線段的總條數(shù)，通過以下步驟找到存在于 ￡和￡|中的同名線段， 步驟1，V型交點(diǎn)構(gòu)建，包括在圖像I和疒中分別得到V型交點(diǎn)的集合= ，其中Ρ和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)； 步驟2，V型交點(diǎn)匹配，包括對(duì)在集合V和鏟中的V型交點(diǎn)進(jìn)行特征描述，得到V型交點(diǎn)的 特征描述向量，通過計(jì)算特征描述向量之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，設(shè)匹配得到Q個(gè)V 型交點(diǎn)所組成的集合>f() =· 步驟3，V型交點(diǎn)匹配優(yōu)化，包括對(duì)步驟2所得·Μ〇 = {jjata，利用臨近V型交點(diǎn)拓?fù)浞?布保持相對(duì)穩(wěn)定的原則剔除錯(cuò)誤匹配，并增加正確匹配； 步驟4,單一線段匹配，包括對(duì)X = = {義以^中沒有通過形成V型交點(diǎn)進(jìn)行 匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，所得線段匹配結(jié)果和步驟3所得線段匹 配結(jié)果一起構(gòu)成最終的線段匹配結(jié)果。2. 根據(jù)權(quán)利要求1所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法，其特征在 于:步驟3中，所述臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定，判斷方式如下， 設(shè)V型交點(diǎn)j。和形成它的兩條線段以及線段延長(zhǎng)線構(gòu)成一個(gè)坐標(biāo)系，與j。相鄰的已經(jīng)匹 配的V型交點(diǎn)分布在該坐標(biāo)系的四個(gè)象限中，當(dāng)滿足以下條件時(shí)，判斷臨近V型交點(diǎn)拓?fù)浞?布保持相對(duì)穩(wěn)定， 在圖像變換之后，當(dāng)jc變成y。，與的臨近的已經(jīng)匹配的V型交點(diǎn)是jc的鄰居的同名點(diǎn) 超過預(yù)設(shè)比例，并且其中任何一對(duì)同名點(diǎn)，一點(diǎn)在jc所形成的坐標(biāo)系中的象限和另一點(diǎn)在 J"。所形成的坐標(biāo)系的象限保持相同的概率超過預(yù)設(shè)概率。3. 根據(jù)權(quán)利要求2所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法，其特征在 于:步驟3中，所述剔除錯(cuò)誤匹配，并增加正確匹配，實(shí)現(xiàn)如下， 步驟3.1，初始化閾值cU、d2的初值，當(dāng)前迭代次數(shù)n= 1; 步驟3.2,刪除中存在的錯(cuò)誤匹配，任何不滿足如下兩個(gè)條件將被刪除： jq和Υ q滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)閾值cU; q和y q具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定這一特性； 步驟3.3,從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到·Μα中，假設(shè)j和j'為一對(duì)分別 來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下三個(gè)條件時(shí)，才認(rèn)為（j，y)是正 確匹配： j和太滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)閾值d1; j和太所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)閾值d2; j和太具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定這一特性； 步驟3.4，判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，滿足結(jié)束迭代，進(jìn)入步驟4，否則令n = n+ 1，令di = di+c，返回步驟3.2繼續(xù)執(zhí)行，其中，〇為預(yù)設(shè)的步長(zhǎng)。4. 根據(jù)權(quán)利要求3所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法，其特征在 于:所述迭代結(jié)束條件是，當(dāng)前集合中的匹配數(shù)目和上一次迭代執(zhí)行步驟3.3后的匹配數(shù)目 相比沒有增加，或者當(dāng)前迭代次數(shù)大于預(yù)設(shè)次數(shù)閾值。5. 根據(jù)權(quán)利要求1或2或3或4所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配方法， 其特征在于:步驟4中，所述基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，實(shí)現(xiàn)如下， 步驟4.1，進(jìn)行局部單應(yīng)矩陣估計(jì)，包括利用一對(duì)匹配的V型交點(diǎn)所提供的約束，得到對(duì) 應(yīng)于該V型交點(diǎn)對(duì)所在的局部匹配區(qū)域的單應(yīng)矩陣； 步驟4.2，匹配單一線段，實(shí)現(xiàn)如下， 設(shè)~M：t 為由通過上述步驟3得到的K個(gè)V型交點(diǎn)匹配所組成的集合， 咒二認(rèn)於=1和咒'=分別表示在兩幅圖中剩下的還未匹配上的線段集合；對(duì)于每一 條線段ire:5<:或lj ei'，找到最鄰近的4個(gè)已經(jīng)匹配上的V型交點(diǎn)，并將該條線段分配到相應(yīng) 的組中； 假設(shè)1和V是一對(duì)待匹配的線段，分別被分配到匹配的v型交點(diǎn)j和中，其中j由線段 對(duì)(lm，ln)形成，y由線段對(duì)(1\，1\)形成，首先判斷1和V的角度差異是否與線段匹配α， 1、)和(1"，1\)中線段的角度差異相似； 如果是則通過步驟4.1所得從匹配的V型交點(diǎn)（j，y)對(duì)應(yīng)單應(yīng)矩陣Η，對(duì)（1,10進(jìn)行評(píng) 價(jià)，包括將1的兩個(gè)交點(diǎn)通過Η映射到V所在的圖像平面中，得到一條新的線段lh，如果lh的 兩個(gè)端點(diǎn)到v的距離4和瑞同時(shí)小于相應(yīng)閾值d t，認(rèn)為α,ν)是一對(duì)正確的線段匹配。6. -種基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)，其特征在于:通過設(shè)置以下 模塊找到存在于i：和Γ中的同名線段， V型交點(diǎn)構(gòu)建模塊，用于設(shè)待匹配的兩張圖像分別為I和f，從I和V中分別提取線段， 設(shè)所提取的線段集合分別為X = 和C =，其中Μ和N分別表示在I和F中提取 的線段的總條數(shù)，在圖像I和疒中分別得到V型交點(diǎn)的集合V = ，其中 P和Q分別表示在兩張圖像中形成的V型交點(diǎn)的總數(shù)； V型交點(diǎn)匹配模塊，用于包括對(duì)在集合1?和妒中的V型交點(diǎn)進(jìn)行特征描述，得到V型交點(diǎn) 的特征描述向量，通過計(jì)算特征描述向量之間的相似性對(duì)V型交點(diǎn)進(jìn)行匹配，設(shè)匹配得到Q 個(gè)V型交點(diǎn)所組成的集合 V型交點(diǎn)匹配優(yōu)化模塊，用于對(duì)V型交點(diǎn)匹配模塊所得3? = ，利用臨近V型交 點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定的原則剔除錯(cuò)誤匹配，并增加正確匹配； 單一線段匹配模塊，用于包括對(duì)X = = 中沒有通過形成V型交點(diǎn)進(jìn) 行匹配的線段，基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，所得線段匹配結(jié)果和V型交點(diǎn)匹配優(yōu) 化模塊所得線段匹配結(jié)果一起構(gòu)成最終的線段匹配結(jié)果。7. 根據(jù)權(quán)利要求6所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)，其特征在 于:V型交點(diǎn)匹配優(yōu)化模塊中，所述臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定，判斷方式如下， 設(shè)V型交點(diǎn)j。和形成它的兩條線段以及線段延長(zhǎng)線構(gòu)成一個(gè)坐標(biāo)系，與j。相鄰的已經(jīng)匹 配的V型交點(diǎn)分布在該坐標(biāo)系的四個(gè)象限中，當(dāng)滿足以下條件時(shí)，判斷臨近V型交點(diǎn)拓?fù)浞? 布保持相對(duì)穩(wěn)定， 在圖像變換之后，當(dāng)jc變成y。，與的臨近的已經(jīng)匹配的V型交點(diǎn)是jc的鄰居的同名點(diǎn) 超過預(yù)設(shè)比例，并且其中任何一對(duì)同名點(diǎn)，一點(diǎn)在jc所形成的坐標(biāo)系中的象限和另一點(diǎn)在 J"。所形成的坐標(biāo)系的象限保持相同的概率超過預(yù)設(shè)概率。8. 根據(jù)權(quán)利要求7所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)，其特征在 于:V型交點(diǎn)匹配優(yōu)化模塊中，所述剔除錯(cuò)誤匹配操作，并增加正確匹配，包括以下單元， 第一單元，用于初始化閾值di、d2的初值，當(dāng)前迭代次數(shù)n= 1; 第二單元，用于刪除M〇中存在的錯(cuò)誤匹配，任何(j(P e 不滿足如下兩個(gè)條件將被 刪除： jq和y q滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)閾值cb ; q和y q具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定這一特性； 第三單元，用于從兩張圖像中未匹配的V型交點(diǎn)中增加匹配到^中，假設(shè)」和_]"為一對(duì) 分別來自兩張圖片的未匹配的V型交點(diǎn)，當(dāng)且僅當(dāng)它們滿足如下三個(gè)條件時(shí)，才認(rèn)為ay) 是正確匹配： j和y滿足核線約束，它們相對(duì)于相應(yīng)基礎(chǔ)矩陣的距離小于一定預(yù)設(shè)閾值d1; j和y所對(duì)應(yīng)的特征描述向量之間的距離小于一定預(yù)設(shè)閾值d2; j和y具有臨近V型交點(diǎn)拓?fù)浞植急３窒鄬?duì)穩(wěn)定這一特性； 第四單元，用于判斷是否滿足預(yù)設(shè)的迭代結(jié)束條件，滿足結(jié)束迭代，命令單一線段匹配 模塊工作，否則令n = n+l，令di = di+c，命令第二單元工作，其中，c為預(yù)設(shè)的步長(zhǎng)。9. 根據(jù)權(quán)利要求8所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)，其特征在 于:所述迭代結(jié)束條件是，當(dāng)前集合中的匹配數(shù)目和上一次迭代執(zhí)行步驟3.3后的匹配數(shù)目 相比沒有增加，或者當(dāng)前迭代次數(shù)大于預(yù)設(shè)次數(shù)閾值。10. 根據(jù)權(quán)利要求6或7或8或9所述基于V型交點(diǎn)和局部單應(yīng)矩陣估計(jì)的線段匹配系統(tǒng)， 其特征在于:單一線段匹配模塊中，所述基于局部單應(yīng)矩陣估計(jì)進(jìn)行匹配處理，實(shí)現(xiàn)如下， 進(jìn)行局部單應(yīng)矩陣估計(jì)，包括利用一對(duì)匹配的V型交點(diǎn)所提供的約束，得到對(duì)應(yīng)于該V 型交點(diǎn)對(duì)所在的局部匹配區(qū)域的單應(yīng)矩陣； 匹配單一線段，實(shí)現(xiàn)如下， 設(shè)'}【=1為由通過上述V型交點(diǎn)匹配優(yōu)化模塊得到的K個(gè)V型交點(diǎn)匹配所組成 的集合，艽=和X'' = 分別表示在兩幅圖中剩下的還未匹配上的線段集合;對(duì) 于每一條線段丨i el或丨j 找到最鄰近的4個(gè)已經(jīng)匹配上的v型交點(diǎn)，并將該條線段分配 到相應(yīng)的組中； 假設(shè)1和V是一對(duì)待匹配的線段，分別被分配到匹配的v型交點(diǎn)j和中，其中j由線段 對(duì)α，ιη)形成，y由線段對(duì)(1\，1\)形成，首先判斷1和v的角度差異是否與線段匹配a， 1、)和(1"，1\)中線段的角度差異相似； 如果是則通過匹配的V型交點(diǎn)（j，y)對(duì)應(yīng)單應(yīng)矩陣H，對(duì)(1,10進(jìn)行評(píng)價(jià)，包括將1的兩 個(gè)交點(diǎn)通過Η映射到V所在的圖像平面中，得到一條新的線段lh，如果lh的兩個(gè)端點(diǎn)到V的 距離4和難同時(shí)小于相應(yīng)閾值dt，認(rèn)為α,ν)是一對(duì)正確的線段匹配。
【文檔編號(hào)】G06T7/00GK105957074SQ201610268529
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月27日
【發(fā)明人】姚劍, 李凱, 劉康, 魯小虎, 李禮
【申請(qǐng)人】武漢大學(xué)