一種ptam攝像機跟蹤方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及攝像機跟蹤與制圖技術(shù)領(lǐng)域，尤其涉及一種PTAM(Parallel tracking and mapping，并行式跟蹤與制圖）攝像機跟蹤方法及裝置。
【背景技術(shù)】
[0002] SLAM(Simultaneous Localization and Mapping)，也稱同步定位與制圖技術(shù)，最 早由Smith、Self和Cheeseman于1988年提出。由于其重要的理論與應(yīng)用價值，被很多學(xué)者認(rèn) 為是實現(xiàn)真正全自主移動機器人的關(guān)鍵。SLAM問題可以描述為:機器人在未知環(huán)境中從一 個未知位置開始移動，在移動過程中根據(jù)位置估計和地圖進(jìn)行自身定位，同時在自身定位 的基礎(chǔ)上建造增量式地圖，實現(xiàn)機器人的自主定位和導(dǎo)航。
[0003] 在SLAM框架中，有兩個核心步驟，一個是根據(jù)場景的結(jié)構(gòu)信息求取攝像機姿態(tài)，另 一個是根據(jù)求取的攝像機姿態(tài)來重建場景的三維結(jié)構(gòu)。我們將第一個步驟稱為跟蹤，將第 二個步驟稱為制圖。在SLAM框架中，跟蹤和制圖的任務(wù)是交替進(jìn)行的，跟蹤依賴于制圖得到 的場景結(jié)構(gòu)信息，而制圖反過來又依賴于跟蹤求取的攝像機姿態(tài)。
[0004] 盡管在機器人領(lǐng)域SLAM方法已被研究多年，但直到2003年才由Andrew Davison引 入到計算機視覺領(lǐng)域，實現(xiàn)了第一個實時的基于視覺的SLAM系統(tǒng)。從此，SLAM方法在攝像機 姿態(tài)估計領(lǐng)域被廣泛的研究和采用。并行式跟蹤與制圖（Parallel tracking and mapping，PTAM)技術(shù)將攝像機跟蹤分為跟蹤和制圖兩個獨立的任務(wù)，在兩個獨立的線程上 分別運行，這樣可以在不影響攝像機跟蹤實時性的條件下，將低時間效率、高精確性的運動 求取結(jié)構(gòu)（Structure From Motion，SFM)技術(shù)引入到制圖的任務(wù)中，并且通過捆集調(diào)整方 法優(yōu)化恢復(fù)的場景結(jié)構(gòu)信息，這大幅度提高了攝像機跟蹤算法的魯棒性和精確性，同時減 輕了系統(tǒng)運行時每幀圖像的處理時間。在PTAM的攝像機跟蹤線程中，特征點匹配搜索是攝 像機姿態(tài)估計的重要環(huán)節(jié)，在PTAM技術(shù)的實現(xiàn)中，系統(tǒng)采用基于像素差平方和(SSD，Sum of Squared Differences)描述方法的匹配進(jìn)行特征點匹配，但是我們發(fā)現(xiàn)在攝像機快速運動 或者光照變化情況下，該方法變得不可靠。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例提供一種PTAM攝像機跟蹤方法及裝置，以提尚攝像機系統(tǒng)在攝像機 快速運動和光照變化下的跟蹤能力。
[0006] -方面，本發(fā)明實施例提供了一種并行式跟蹤與制圖PTAM攝像機跟蹤方法，所述 方法包括：
[0007] 根據(jù)攝像機輸入的圖像信息，獲取所述攝像機在當(dāng)前圖像幀的估計姿態(tài)；
[0008] 根據(jù)所述攝像機在當(dāng)前圖像幀的估計姿態(tài)，將真實場景中已知位置的三維特征點 投影到所述攝像機的圖像平面上，通過改進(jìn)的獨立二元魯棒初級特征I-BRIEF算法進(jìn)行特 征點匹配，計算所述攝像機在當(dāng)前圖像幀的實際姿態(tài)；
[0009] 利用所述攝像機在當(dāng)前圖像幀的估計姿態(tài)和實際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果；
[0010]利用所述匹配結(jié)果進(jìn)行所述攝像機的姿態(tài)調(diào)整，以進(jìn)行所述攝像機的圖像跟蹤。 [0011]另一方面，本發(fā)明實施例提供了一種并行式跟蹤與制圖PTAM攝像機跟蹤裝置，所 述裝置包括：
[0012] 估計姿態(tài)獲取單元，用于根據(jù)攝像機輸入的圖像信息，獲取所述攝像機在當(dāng)前圖 像幀的估計姿態(tài)；
[0013] I-BRIEF算法匹配單元，用于根據(jù)所述攝像機在當(dāng)前圖像幀的估計姿態(tài)，將真實場 景中已知位置的三維特征點投影到所述攝像機的圖像平面上，通過改進(jìn)的獨立二元魯棒初 級特征I-BRIEF算法進(jìn)行特征點匹配，計算所述攝像機在當(dāng)前圖像幀的實際姿態(tài);利用所述 攝像機在當(dāng)前圖像幀的估計姿態(tài)和實際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果；
[0014] 姿態(tài)調(diào)整單元，用于利用所述匹配結(jié)果進(jìn)行所述攝像機的姿態(tài)調(diào)整，以進(jìn)行所述 攝像機的圖像跟蹤。
[0015] 上述技術(shù)方案具有如下有益效果:本發(fā)明實施例提出用I-BRIEF算法進(jìn)行特征點 匹配，從而大大提高攝像機系統(tǒng)在攝像機快速運動和光照變化下這兩種復(fù)雜情況下的跟蹤 穩(wěn)定性，具有更高的魯棒性。
【附圖說明】
[0016] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0017] 圖1為本發(fā)明實施例一種并行式跟蹤與制圖PTAM攝像機跟蹤方法流程圖；
[0018] 圖2為本發(fā)明實施例一種并行式跟蹤與制圖PTAM攝像機跟蹤裝置結(jié)構(gòu)示意圖；
[0019] 圖3a為本發(fā)明實施例1-BRIEF算法匹配單元組成結(jié)構(gòu)示意圖；
[0020]圖3b為本發(fā)明實施例姿態(tài)調(diào)整單元組成結(jié)構(gòu)示意圖；
[0021 ]圖4為本發(fā)明應(yīng)用實例跟蹤部分的算法流程示意圖；
[0022]圖5為本發(fā)明應(yīng)用實例給出了 PTAM進(jìn)行特征點搜索匹配的示意圖；
[0023]圖6為本發(fā)明應(yīng)用實例I-BRIEF算法計算過程示意圖；
[0024]圖7為本發(fā)明應(yīng)用實例根據(jù)I-BRIEF算法在兩組用于測試特征描述方法在圖片模 糊(bikes圖片序列）和光照$父暗下（light圖片序列）效果的兩組圖片；
[0025]圖8為本發(fā)明應(yīng)用實例根據(jù)I-BRIEF算法在兩組用于測試特征描述方法在圖片模 糊(bikes圖片序列）和光照較暗下（light圖片序列）效果的標(biāo)準(zhǔn)測試序列上的實驗結(jié)果示 意圖。
【具體實施方式】
[0026]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護(hù)的范圍。
[0027]如圖1所示，為本發(fā)明實施例一種并行式跟蹤與制圖PTAM攝像機跟蹤方法流程圖， 所述方法包括：
[0028] 101、根據(jù)攝像機輸入的圖像信息，獲取所述攝像機在當(dāng)前圖像幀的估計姿態(tài)；
[0029] 102、根據(jù)所述攝像機在當(dāng)前圖像幀的估計姿態(tài)，將真實場景中已知位置的三維特 征點投影到所述攝像機的圖像平面上，通過改進(jìn)的獨立二元魯棒初級特征I-BRIEF算法進(jìn) 行特征點匹配，計算所述攝像機在當(dāng)前圖像幀的實際姿態(tài)；
[0030] 103、利用所述攝像機在當(dāng)前圖像幀的估計姿態(tài)和實際姿態(tài)進(jìn)行匹配，獲取匹配結(jié) 果；
[0031] 104、利用所述匹配結(jié)果進(jìn)行所述攝像機的姿態(tài)調(diào)整，以進(jìn)行所述攝像機的圖像跟 足示。
[0032]優(yōu)選的，所述通過改進(jìn)的獨立二元魯棒初級特征I-BRIEF算法進(jìn)行特征點匹配的 方法，包括:輸入一個以特征點為中心的圖像面片;在以所述特征點為中心的預(yù)設(shè)大小的圖 像面片上選取一系列的由兩個像素位置組成的像素測試點對，這些測試點對組成一個測試 點對集合;在所述測試點對集合中選取一個點對，在該點對的每個點先局部平滑濾波，然后 測試比較該點對的兩個像素的灰度值，獲取測次結(jié)果;對所述測試點對集合中每一個點對 重復(fù)上述操作過程，然后將測試結(jié)果串聯(lián)在一起，組成對所述特征點的描述符;輸出所述特 征點的描述符，以根據(jù)所述描述符中的測次結(jié)果進(jìn)行特征點匹配。
[0033]優(yōu)選的，所述測次結(jié)果包括:暗、亮、相似，分別用二進(jìn)制數(shù)01表示暗，二進(jìn)制數(shù)10 表示亮，二進(jìn)制數(shù)00表示相似。
[0034] 優(yōu)選的，所述攝像機的姿態(tài)包括:攝像機的視角信息。
[0035] 優(yōu)選的，所述利用所述匹配結(jié)果進(jìn)行所述攝像機的姿態(tài)調(diào)整，以進(jìn)行所述攝像機 的圖像跟蹤，具體包括:根據(jù)所述匹配結(jié)果中每幀圖像中三維特征點在圖像平面投影中特 征點匹配的正確率，估計所述攝像機的跟蹤質(zhì)量，根據(jù)跟蹤質(zhì)量進(jìn)行所述攝像機的姿態(tài)調(diào) 整:如果正確匹配的正確率大于或等于預(yù)置的第一閾值，則確認(rèn)跟蹤質(zhì)量好，不進(jìn)行姿態(tài)調(diào) 整，跟蹤照常進(jìn)行;如果正確匹配的正確率低于預(yù)置的第一閾值且不低于預(yù)置的第二閾值， 則確認(rèn)跟蹤質(zhì)量一般，不進(jìn)行姿態(tài)調(diào)整，跟蹤照常進(jìn)行，但是不允許再向跟蹤的圖像中添加 新的關(guān)鍵幀，其中，所述第一閾值高于所述第二閾值;如果正確匹配的正確率低于預(yù)置的第 二閾值，則確認(rèn)跟蹤質(zhì)