、或者這兩者的結(jié)合。軟件模塊可以存儲(chǔ)于RAM存儲(chǔ)器、閃存、ROM存儲(chǔ)器、EPROM存儲(chǔ) 器、EEPR0M存儲(chǔ)器、寄存器、硬盤(pán)、可移動(dòng)磁盤(pán)、CD-ROM或本領(lǐng)域中其它任意形式的存儲(chǔ)媒介 中。示例性地，存儲(chǔ)媒介可以與處理器連接，以使得處理器可以從存儲(chǔ)媒介中讀取信息，并 可以向存儲(chǔ)媒介存寫(xiě)信息?？蛇x地，存儲(chǔ)媒介還可以集成到處理器中。處理器和存儲(chǔ)媒介可 以設(shè)置于ASIC中，ASIC可以設(shè)置于用戶(hù)終端中?？蛇x地，處理器和存儲(chǔ)媒介也可以設(shè)置于用 戶(hù)終端中的不同的部件中。
[0103]在一個(gè)或多個(gè)示例性的設(shè)計(jì)中，本發(fā)明實(shí)施例所描述的上述功能可以在硬件、軟 件、固件或這三者的任意組合來(lái)實(shí)現(xiàn)。如果在軟件中實(shí)現(xiàn)，這些功能可以存儲(chǔ)與電腦可讀的 媒介上，或以一個(gè)或多個(gè)指令或代碼形式傳輸于電腦可讀的媒介上。電腦可讀媒介包括電 腦存儲(chǔ)媒介和便于使得讓電腦程序從一個(gè)地方轉(zhuǎn)移到其它地方的通信媒介。存儲(chǔ)媒介可以 是任何通用或特殊電腦可以接入訪(fǎng)問(wèn)的可用媒體。例如，這樣的電腦可讀媒體可以包括但 不限于RAM、ROM、EEPROM、⑶-ROM或其它光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其它磁性存儲(chǔ)裝置，或其它任 何可以用于承載或存儲(chǔ)以指令或數(shù)據(jù)結(jié)構(gòu)和其它可被通用或特殊電腦、或通用或特殊處理 器讀取形式的程序代碼的媒介。此外，任何連接都可以被適當(dāng)?shù)囟x為電腦可讀媒介，例 如，如果軟件是從一個(gè)網(wǎng)站站點(diǎn)、服務(wù)器或其它遠(yuǎn)程資源通過(guò)一個(gè)同軸電纜、光纖電纜、雙 絞線(xiàn)、數(shù)字用戶(hù)線(xiàn)(DSL)或以例如紅外、無(wú)線(xiàn)和微波等無(wú)線(xiàn)方式傳輸?shù)囊脖话谒x的 電腦可讀媒介中。所述的碟片(disk)和磁盤(pán)(disc)包括壓縮磁盤(pán)、錯(cuò)射盤(pán)、光盤(pán)、DVD、軟盤(pán) 和藍(lán)光光盤(pán)，磁盤(pán)通常以磁性復(fù)制數(shù)據(jù)，而碟片通常以激光進(jìn)行光學(xué)復(fù)制數(shù)據(jù)。上述的組合 也可以包含在電腦可讀媒介中。
[0104]以上所述的【具體實(shí)施方式】，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步 詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的【具體實(shí)施方式】而已，并不用于限定本發(fā)明 的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含 在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種并行式跟蹤與制圖PTAM攝像機(jī)跟蹤方法，其特征在于，所述方法包括： 根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)； 根據(jù)所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)，將真實(shí)場(chǎng)景中已知位置的三維特征點(diǎn)投影 到所述攝像機(jī)的圖像平面上，通過(guò)改進(jìn)的獨(dú)立二元魯棒初級(jí)特征I-BRIEF算法進(jìn)行特征點(diǎn) 匹配，計(jì)算所述攝像機(jī)在當(dāng)前圖像幀的實(shí)際姿態(tài)； 利用所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)和實(shí)際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果； 利用所述匹配結(jié)果進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像機(jī)的圖像跟蹤。2. 如權(quán)利要求1所述PTAM攝像機(jī)跟蹤方法，其特征在于，所述通過(guò)改進(jìn)的獨(dú)立二元魯棒 初級(jí)特征I-BRIEF算法進(jìn)行特征點(diǎn)匹配的方法，包括： 輸入一個(gè)以特征點(diǎn)為中心的圖像面片； 在以所述特征點(diǎn)為中心的預(yù)設(shè)大小的圖像面片上選取一系列的由兩個(gè)像素位置組成 的像素測(cè)試點(diǎn)對(duì)，這些測(cè)試點(diǎn)對(duì)組成一個(gè)測(cè)試點(diǎn)對(duì)集合； 在所述測(cè)試點(diǎn)對(duì)集合中選取一個(gè)點(diǎn)對(duì)，在該點(diǎn)對(duì)的每個(gè)點(diǎn)先局部平滑濾波，然后測(cè)試 比較該點(diǎn)對(duì)的兩個(gè)像素的灰度值，獲取測(cè)次結(jié)果;對(duì)所述測(cè)試點(diǎn)對(duì)集合中每一個(gè)點(diǎn)對(duì)重復(fù) 上述操作過(guò)程，然后將測(cè)試結(jié)果串聯(lián)在一起，組成對(duì)所述特征點(diǎn)的描述符； 輸出所述特征點(diǎn)的描述符，以根據(jù)所述描述符中的測(cè)次結(jié)果進(jìn)行特征點(diǎn)匹配。3. 如權(quán)利要求2所述PTAM攝像機(jī)跟蹤方法，其特征在于，所述測(cè)次結(jié)果包括:暗、亮、相 似，分別用^進(jìn)制數(shù)01表不暗，^進(jìn)制數(shù)10表不殼，^進(jìn)制數(shù)00表不相似。4. 如權(quán)利要求1所述PTAM攝像機(jī)跟蹤方法，其特征在于，所述攝像機(jī)的姿態(tài)包括:攝像 機(jī)的視角信息。5. 如權(quán)利要求1所述PTAM攝像機(jī)跟蹤方法，其特征在于，所述利用所述匹配結(jié)果進(jìn)行所 述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像機(jī)的圖像跟蹤，具體包括： 根據(jù)所述匹配結(jié)果中每幀圖像中三維特征點(diǎn)在圖像平面投影中特征點(diǎn)匹配的正確率， 估計(jì)所述攝像機(jī)的跟蹤質(zhì)量，根據(jù)跟蹤質(zhì)量進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整： 如果正確匹配的正確率大于或等于預(yù)置的第一閾值，則確認(rèn)跟蹤質(zhì)量好，不進(jìn)行姿態(tài) 調(diào)整，跟蹤照常進(jìn)行； 如果正確匹配的正確率低于預(yù)置的第一閾值且不低于預(yù)置的第二閾值，則確認(rèn)跟蹤質(zhì) 量一般，不進(jìn)行姿態(tài)調(diào)整，跟蹤照常進(jìn)行，但是不允許再向跟蹤的圖像中添加新的關(guān)鍵幀， 其中，所述第一閾值高于所述第二閾值； 如果正確匹配的正確率低于預(yù)置的第二閾值，則確認(rèn)跟蹤質(zhì)量差，根據(jù)匹配正確的特 征點(diǎn)進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整;如果連續(xù)預(yù)置數(shù)量的多個(gè)圖像幀的跟蹤質(zhì)量均為差，則 確認(rèn)圖像跟蹤丟失，所述攝像機(jī)的系統(tǒng)搜索和當(dāng)前圖像最相似的關(guān)鍵幀，然后再利用找到 的所述最相似的關(guān)鍵幀，重新計(jì)算所述攝像機(jī)的姿態(tài)從而進(jìn)行姿態(tài)調(diào)整。6. -種并行式跟蹤與制圖PTAM攝像機(jī)跟蹤裝置，其特征在于，所述裝置包括： 估計(jì)姿態(tài)獲取單元，用于根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀 的估計(jì)姿態(tài)； I-BRIEF算法匹配單元，用于根據(jù)所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)，將真實(shí)場(chǎng)景中 已知位置的三維特征點(diǎn)投影到所述攝像機(jī)的圖像平面上，通過(guò)改進(jìn)的獨(dú)立二元魯棒初級(jí)特 征I-BRIEF算法進(jìn)行特征點(diǎn)匹配，計(jì)算所述攝像機(jī)在當(dāng)前圖像幀的實(shí)際姿態(tài);利用所述攝像 機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)和實(shí)際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果； 姿態(tài)調(diào)整單元，用于利用所述匹配結(jié)果進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像 機(jī)的圖像跟蹤。7. 如權(quán)利要求6所述PTAM攝像機(jī)跟蹤裝置，其特征在于，所述I-BRIEF算法匹配單元包 括： 輸入模塊，用于輸入一個(gè)以特征點(diǎn)為中心的圖像面片； 測(cè)次模塊，用于在以所述特征點(diǎn)為中心的預(yù)設(shè)大小的圖像面片上選取一系列的由兩個(gè) 像素位置組成的像素測(cè)試點(diǎn)對(duì)，這些測(cè)試點(diǎn)對(duì)組成一個(gè)測(cè)試點(diǎn)對(duì)集合;在所述測(cè)試點(diǎn)對(duì)集 合中選取一個(gè)點(diǎn)對(duì)，在該點(diǎn)對(duì)的每個(gè)點(diǎn)先局部平滑濾波，然后測(cè)試比較該點(diǎn)對(duì)的兩個(gè)像素 的灰度值，獲取測(cè)次結(jié)果;對(duì)所述測(cè)試點(diǎn)對(duì)集合中每一個(gè)點(diǎn)對(duì)重復(fù)上述操作過(guò)程，然后將測(cè) 試結(jié)果串聯(lián)在一起，組成對(duì)所述特征點(diǎn)的描述符； 輸出模塊，用于輸出所述特征點(diǎn)的描述符，以根據(jù)所述描述符中的測(cè)次結(jié)果進(jìn)行特征 點(diǎn)匹配。8. 如權(quán)利要求7所述PTAM攝像機(jī)跟蹤裝置，其特征在于，所述測(cè)次結(jié)果包括:暗、亮、相 似，分別用^進(jìn)制數(shù)01表不暗，^進(jìn)制數(shù)10表不殼，^進(jìn)制數(shù)00表不相似。9. 如權(quán)利要求6所述PTAM攝像機(jī)跟蹤裝置，其特征在于，所述攝像機(jī)的姿態(tài)包括:攝像 機(jī)的視角信息。10. 如權(quán)利要求6所述PTAM攝像機(jī)跟蹤裝置，其特征在于，所述姿態(tài)調(diào)整單元，具體用于 根據(jù)所述匹配結(jié)果中每幀圖像中三維特征點(diǎn)在圖像平面投影中特征點(diǎn)匹配的正確率，估計(jì) 所述攝像機(jī)的跟蹤質(zhì)量，根據(jù)跟蹤質(zhì)量進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整： 所述姿態(tài)調(diào)整單元，進(jìn)一步具體包括： 第一姿態(tài)調(diào)整模塊，用于如果正確匹配的正確率大于或等于預(yù)置的第一閾值，則確認(rèn) 跟蹤質(zhì)量好，不進(jìn)行姿態(tài)調(diào)整，跟蹤照常進(jìn)行； 第二姿態(tài)調(diào)整模塊，用于如果正確匹配的正確率低于預(yù)置的第一閾值且不低于預(yù)置的 第二閾值，則確認(rèn)跟蹤質(zhì)量一般，不進(jìn)行姿態(tài)調(diào)整，跟蹤照常進(jìn)行，但是不允許再向跟蹤的 圖像中添加新的關(guān)鍵幀，其中，所述第一閾值高于所述第二閾值； 第三姿態(tài)調(diào)整模塊，用于如果正確匹配的正確率低于預(yù)置的第二閾值，則確認(rèn)跟蹤質(zhì) 量差，根據(jù)匹配正確的特征點(diǎn)進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整;如果連續(xù)預(yù)置數(shù)量的多個(gè)圖像 幀的跟蹤質(zhì)量均為差，則確認(rèn)圖像跟蹤丟失，所述攝像機(jī)的系統(tǒng)搜索和當(dāng)前圖像最相似的 關(guān)鍵幀，然后再利用找到的所述最相似的關(guān)鍵幀，重新計(jì)算所述攝像機(jī)的姿態(tài)從而進(jìn)行姿 態(tài)調(diào)整。
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供一種PTAM攝像機(jī)跟蹤方法及裝置，所述方法包括：根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)；根據(jù)所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)，將真實(shí)場(chǎng)景中已知位置的三維特征點(diǎn)投影到所述攝像機(jī)的圖像平面上，通過(guò)改進(jìn)的獨(dú)立二元魯棒初級(jí)特征I-BRIEF算法進(jìn)行特征點(diǎn)匹配，計(jì)算所述攝像機(jī)在當(dāng)前圖像幀的實(shí)際姿態(tài)；利用所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)和實(shí)際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果；利用所述匹配結(jié)果進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像機(jī)的圖像跟蹤。其可以提高攝像機(jī)系統(tǒng)在攝像機(jī)快速運(yùn)動(dòng)和光照變化下的跟蹤能力，具有更高的魯棒性。
【IPC分類(lèi)】G06T7/00
【公開(kāi)號(hào)】CN105513083
【申請(qǐng)?zhí)枴緾N201511023879
【發(fā)明人】劉潔
【申請(qǐng)人】新浪網(wǎng)技術(shù)(中國(guó))有限公司
【公開(kāi)日】2016年4月20日
【申請(qǐng)日】2015年12月31日