專利名稱：一種混合特征的跟蹤方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，尤其涉及一種混合特征的跟蹤方法和裝置。
背景技術(shù)：
計(jì)算機(jī)視覺技術(shù)中，攝像機(jī)跟蹤的穩(wěn)定性和實(shí)時(shí)性是最具挑戰(zhàn)性的問題。一般來說整個(gè)跟蹤系統(tǒng)可以分為匹配式和跟蹤式兩類。匹配式的跟蹤流程包括特征點(diǎn)提取、特征點(diǎn)匹配以及攝像機(jī)姿態(tài)計(jì)算三個(gè)部分；跟蹤式的的跟蹤流程則包括特征點(diǎn)提取、特征點(diǎn)跟蹤及攝像機(jī)姿態(tài)計(jì)算三部分。匹配式方案中David Lowe于2004年提出的尺度不變特征變換(SIFT)算法為典型代表。SIFT算法要求首先拍攝一幅圖像作為關(guān)鍵幀，利用DoG算法從關(guān)鍵幀上提取一定數(shù)量的特征點(diǎn)，然后以Lowe提出的一種制作描述符的方法(稱為SIFT描述符)為每個(gè)特 征點(diǎn)都制作描述符，同時(shí)保存這些特征點(diǎn)以及對應(yīng)的描述符在后續(xù)的匹配中使用。當(dāng)攝像機(jī)運(yùn)動后采集到當(dāng)前幀圖像，在當(dāng)前幀圖像上利用DoG算法提取特征點(diǎn)，同樣計(jì)算SIFT描述符。隨后將這些特征點(diǎn)的描述符與保存的關(guān)鍵幀的特征點(diǎn)描述符進(jìn)行比較，完成匹配工作。匹配完成后利用隨機(jī)抽樣一致性(RANSAC, RANdom SAmple Consensus)方法剔除誤匹配的特征點(diǎn)，利用剩下的正確匹配的特征點(diǎn)計(jì)算單應(yīng)矩陣，從而恢復(fù)攝像機(jī)姿態(tài)。跟蹤式方案以基于光流計(jì)算的KLT (Kanade-Lucas-Tomasi Feature Tracker)跟蹤算法為代表。首先，與匹配式方案相同，需要拍攝一幅圖像作為關(guān)鍵幀，并從關(guān)鍵幀上提取一定數(shù)量的特征點(diǎn)，但不需要建立特征點(diǎn)的描述符。當(dāng)攝像機(jī)運(yùn)動后采集到當(dāng)前幀圖像，KLT跟蹤算法計(jì)算關(guān)鍵幀上的特征點(diǎn)在當(dāng)前幀圖像上的位置。隨后利用RANSAC方法剔除計(jì)算失敗的點(diǎn)。利用特征點(diǎn)在關(guān)鍵幀和當(dāng)前幀的坐標(biāo)計(jì)算單應(yīng)矩陣，恢復(fù)攝像機(jī)三維姿態(tài)，同時(shí)保存當(dāng)前幀圖像上特征點(diǎn)的位置，作為下一幀圖像的輸入。上述SIFT算法能夠得到穩(wěn)定的匹配點(diǎn)，然而運(yùn)行效率較低，難以在實(shí)時(shí)系統(tǒng)中應(yīng)用，而KLT跟蹤算法雖然能夠快速運(yùn)算，但是穩(wěn)定性不能保證，特別是在跟蹤丟失時(shí)，無法自動找回特征點(diǎn)，在自然場景中無法保證跟蹤的穩(wěn)定性。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種混合特征的跟蹤方法和裝置，在保持跟蹤穩(wěn)定性的同時(shí)，顯著提高跟蹤的效率。為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的本發(fā)明提供的一種混合特征的跟蹤方法，該跟蹤方法包括根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存；KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程；SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程；KLT跟蹤算法線程將收到的SIFT算法線程返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤。上述方案中，所述通知SIFT算法線程為將單應(yīng)矩陣通過全局變量傳遞給SIFT算法線程，并通過修改預(yù)先設(shè)置的SIFT算法線程的啟動標(biāo)志位，通知SIFT算法線程進(jìn)行特征點(diǎn)提取和匹配。上述方案中，該方法進(jìn)一步包括在獲得當(dāng)前幀圖像的特征點(diǎn)之后，所述當(dāng)前幀圖像的特征點(diǎn)與保存的關(guān)鍵幀圖像的特征點(diǎn)為匹配點(diǎn)對，采用改進(jìn)的誤匹配點(diǎn)剔除方法去除所述當(dāng)前幀圖像的特征點(diǎn)中誤匹配的特征點(diǎn)；所述改進(jìn)的誤匹配點(diǎn)剔除方法為將隨機(jī)選擇匹配點(diǎn)替換為根據(jù)匹配點(diǎn)對的匹配分?jǐn)?shù)由高到低選擇匹配點(diǎn)對的傳統(tǒng)RANSAC方法。 上述方案中，所述檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤為檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否小于設(shè)置的閾值，所述閾值是根據(jù)下一次計(jì)算單應(yīng)矩陣時(shí)所需的最少特征點(diǎn)個(gè)數(shù)進(jìn)行設(shè)置的。上述方案中，該方法進(jìn)一步包括所述KLT跟蹤算法線程對當(dāng)前幀圖像的特征點(diǎn)進(jìn)行卡爾曼濾波。上述方案中，該方法進(jìn)一步包括在單應(yīng)矩陣計(jì)算失敗時(shí)，將單應(yīng)矩陣置為單位矩陣，并通知SIFT算法線程。上述方案中，SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程，為SIFT算法線程檢查啟動標(biāo)志位是否被KLT跟蹤算法線程修改，在被KLT跟蹤算法線程修改時(shí)，接收KLT跟蹤算法線程發(fā)送的單應(yīng)矩陣；SIFT算法線程讀取當(dāng)前幀圖像，對當(dāng)前幀圖像用SIFT算法進(jìn)行特征點(diǎn)提取，對所有提取到的特征點(diǎn)建立SIFT描述符，并與保存的關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，得到所有匹配點(diǎn)對，將匹配后的特征點(diǎn)保存并回傳給KLT跟蹤算法線程，將接收到的單應(yīng)矩陣也回傳給KLT跟蹤算法線程。上述方案中，該方法進(jìn)一步包括在得到所有匹配點(diǎn)對之后，對所有匹配點(diǎn)對采用改進(jìn)的誤匹配點(diǎn)剔除方法去除誤匹配的特征點(diǎn)。本發(fā)明提供的一種混合特征的跟蹤裝置，該裝置包括關(guān)鍵幀圖像特征點(diǎn)提取單元、KLT跟蹤算法線程單元、SIFT算法線程單元；其中，所述關(guān)鍵幀圖像特征點(diǎn)提取單元，用于根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存；所述KLT跟蹤算法線程單元，用于根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程單元；還用于將收到的SIFT算法線程單元返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤；所述SIFT算法線程單元，用于根據(jù)KLT跟蹤算法線程單元的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程單元。上述方案中，所述KLT跟蹤算法線程單元，進(jìn)一步用于在獲得當(dāng)前幀圖像的特征點(diǎn)之后，采用改進(jìn)的誤匹配點(diǎn)剔除方法去除所述當(dāng)前幀圖像的特征點(diǎn)中誤匹配的特征點(diǎn)。
上述方案中，所述KLT跟蹤算法線程單元，還用于對當(dāng)前幀圖像的特征點(diǎn)進(jìn)行卡爾曼濾波。上述方案中，所述KLT跟蹤算法線程單元，還用于在單應(yīng)矩陣計(jì)算失敗時(shí)，將單應(yīng)矩陣置為單位矩陣，并通知SIFT算法線程單元。上述方案中，所述SIFT算法線程單元，具體用于檢查啟動標(biāo)志位是否被修改，在被修改時(shí)，接收KLT跟蹤算法線程單元發(fā)送的單應(yīng)矩陣；讀取當(dāng)前幀圖像，對當(dāng)前幀圖像用SIFT算法進(jìn)行特征點(diǎn)提取，對所有提取到的特征點(diǎn)建立SIFT描述符，并與保存的關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，得到所有匹配點(diǎn)對，將匹配后的特征點(diǎn)保存并回傳給KLT跟蹤線程單元，將接收到的單應(yīng)矩陣也回傳給KLT跟蹤算法線程單元。上述方案中，所述SIFT算法線程單元，進(jìn)一步用于在得到所有匹配點(diǎn)對之后，對所有匹配點(diǎn)對采用改進(jìn)的誤匹配點(diǎn)剔除方法去除誤匹配的特征點(diǎn)。本發(fā)明提供了一種混合特征的跟蹤方法和裝置，根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn) 行特征點(diǎn)提取并保存；KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程；SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程；KLT跟蹤算法線程將收到的SIFT算法線程返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤；如此，結(jié)合了 SIFT算法匹配準(zhǔn)確方面的優(yōu)勢以及KLT跟蹤算法運(yùn)行速度快的優(yōu)點(diǎn)，進(jìn)一步提高了數(shù)據(jù)融合和跟蹤的效率，可以實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定的跟蹤，能夠用于虛擬演播室，虛擬體育等攝像機(jī)跟蹤領(lǐng)域。


圖I為本發(fā)明實(shí)現(xiàn)一種混合特征的跟蹤方法的流程示意圖；圖2為本發(fā)明實(shí)現(xiàn)一種混合特征的跟蹤裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明的基本思想是根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存；KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程；SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程；KLT跟蹤算法線程將收到的SIFT算法線程返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤。下面通過附圖及具體實(shí)施例對本發(fā)明做進(jìn)一步的詳細(xì)說明。本發(fā)明實(shí)現(xiàn)一種混合特征的跟蹤方法，如圖I所示，該方法包括以下幾個(gè)步驟步驟101 :根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存；具體的，拍攝自然場景的一幅圖像，作為關(guān)鍵幀圖像并保存，根據(jù)SIFT算法對所述關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取，將提取到的關(guān)鍵幀特征點(diǎn)進(jìn)行保存。步驟102 =KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程；具體的，至少啟動兩個(gè)線程分別執(zhí)行SIFT算法以及KLT跟蹤算法，在開始跟蹤時(shí)，SIFT算法線程按照SIFT算法提取第一幀圖像的特征點(diǎn)，對所有提取到的特征點(diǎn)建立SIFT描述符，并與保存的關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，得到所有匹配點(diǎn)對，將匹配后的所有特征點(diǎn)保存并傳送給KLT跟蹤線程，SIFT算法線程進(jìn)入空閑狀態(tài)；從第二幀圖像開始，KLT跟蹤算法線程根據(jù)KLT跟蹤算法計(jì)算收到的特征點(diǎn)在當(dāng)前幀圖像上的位置，獲得當(dāng)前幀圖像的特征點(diǎn)，所述KLT跟蹤算法線程利用當(dāng)前幀圖像的特征點(diǎn)計(jì)算當(dāng)前幀圖像相對于關(guān)鍵幀圖像之間的單應(yīng)矩陣Hn，計(jì)算攝像機(jī)姿態(tài)R1^P Tn，在單應(yīng)矩陣Hn計(jì)算成功時(shí)，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否小于預(yù)先設(shè)置的閾值，當(dāng)小于時(shí)，通知SIFT算法線程。本步驟還包括在得到所有匹配點(diǎn)對之后，對所有匹配點(diǎn)對采用改進(jìn)的誤匹配點(diǎn)剔除方法去除誤匹配的特征點(diǎn)，得到正確匹配的特征點(diǎn)，將正確匹配的特征點(diǎn)保存并傳送給KLT跟蹤線程。
本步驟進(jìn)一步包括在獲得當(dāng)前幀圖像的特征點(diǎn)之后，所述當(dāng)前幀圖像的特征點(diǎn)與保存的關(guān)鍵幀圖像的特征點(diǎn)為匹配點(diǎn)對，采用改進(jìn)的誤匹配點(diǎn)剔除方法去除所述當(dāng)前幀圖像的特征點(diǎn)中誤匹配的特征點(diǎn)，所述KLT跟蹤算法線程利用剩下的特征點(diǎn)計(jì)算當(dāng)前幀圖像相對于關(guān)鍵幀圖像之間的單應(yīng)矩陣Ηη。本步驟中所述預(yù)先設(shè)置的閾值是根據(jù)下一次計(jì)算單應(yīng)矩陣Hn時(shí)所需的最少特征點(diǎn)個(gè)數(shù)進(jìn)行設(shè)置的，本實(shí)施例中取40。所述通知SIFT算法線程一般是將單應(yīng)矩陣Hn通過全局變量傳遞給SIFT算法線程，并通過修改預(yù)先設(shè)置的SIFT算法線程的啟動標(biāo)志位，通知SIFT算法線程進(jìn)行特征點(diǎn)提取和匹配。本步驟進(jìn)一步包括所述KLT跟蹤算法線程對當(dāng)前幀圖像的特征點(diǎn)進(jìn)行卡爾曼濾波，即假設(shè)當(dāng)前幀圖像的特征點(diǎn)有η個(gè)，用(Ui，Vi)表示每個(gè)特征點(diǎn)在當(dāng)前幀圖像上的坐標(biāo)，下面以一個(gè)特征點(diǎn)為例，因此去掉上面的下標(biāo)i。定義狀態(tài)變量X如式(I)所示X = (u V vu Vv )τ(1)其中，u, V分別表示該特征點(diǎn)在當(dāng)前巾貞圖像上的坐標(biāo)；vu, Vv分別表示沿u和V方向該特征點(diǎn)的速度；所述U、V的初始化值由SIFT算法進(jìn)行特征點(diǎn)提取提供，vu、Vv的初始化值為0，令狀態(tài)轉(zhuǎn)移矩陣A如式(2)所示
'10 10'
0 10 1A= O O I O
0 0 0 1 ( 2 )初始化P為4*4的單位矩陣，過程噪聲協(xié)方差矩陣Q和觀測噪聲協(xié)方差矩陣R分別如式⑶、⑷所示
'0.5'
0.5Q=0 χ
-aiJ (3)
權(quán)利要求
1.一種混合特征的跟蹤方法，其特征在于，該跟蹤方法包括 根據(jù)尺度不變特征變換(SIFT)算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存； KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程； SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程； KLT跟蹤算法線程將收到的SIFT算法線程返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤。
2.根據(jù)權(quán)利要求I所述的跟蹤方法，其特征在于，所述通知SIFT算法線程為將單應(yīng)矩陣通過全局變量傳遞給SIFT算法線程，并通過修改預(yù)先設(shè)置的SIFT算法線程的啟動標(biāo)志位，通知SIFT算法線程進(jìn)行特征點(diǎn)提取和匹配。
3.根據(jù)權(quán)利要求I所述的跟蹤方法，其特征在于，該方法進(jìn)一步包括在獲得當(dāng)前幀圖像的特征點(diǎn)之后，所述當(dāng)前幀圖像的特征點(diǎn)與保存的關(guān)鍵幀圖像的特征點(diǎn)為匹配點(diǎn)對，采用改進(jìn)的誤匹配點(diǎn)剔除方法去除所述當(dāng)前幀圖像的特征點(diǎn)中誤匹配的特征點(diǎn)； 所述改進(jìn)的誤匹配點(diǎn)剔除方法為將隨機(jī)選擇匹配點(diǎn)替換為根據(jù)匹配點(diǎn)對的匹配分?jǐn)?shù)由高到低選擇匹配點(diǎn)對的傳統(tǒng)隨機(jī)抽樣一致性(RANSAC)方法。
4.根據(jù)權(quán)利要求I所述的跟蹤方法，其特征在于，所述檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤為檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否小于設(shè)置的閾值，所述閾值是根據(jù)下一次計(jì)算單應(yīng)矩陣時(shí)所需的最少特征點(diǎn)個(gè)數(shù)進(jìn)行設(shè)置的。
5.根據(jù)權(quán)利要求I所述的跟蹤方法，其特征在于，該方法進(jìn)一步包括所述KLT跟蹤算法線程對當(dāng)前幀圖像的特征點(diǎn)進(jìn)行卡爾曼濾波。
6.根據(jù)權(quán)利要求I所述的跟蹤方法，其特征在于，該方法進(jìn)一步包括在單應(yīng)矩陣計(jì)算失敗時(shí)，將單應(yīng)矩陣置為單位矩陣，并通知SIFT算法線程。
7.根據(jù)權(quán)利要求2至6任一項(xiàng)所述的跟蹤方法，其特征在于，SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程，為SIFT算法線程檢查啟動標(biāo)志位是否被KLT跟蹤算法線程修改，在被KLT跟蹤算法線程修改時(shí)，接收KLT跟蹤算法線程發(fā)送的單應(yīng)矩陣；SIFT算法線程讀取當(dāng)前幀圖像，對當(dāng)前幀圖像用SIFT算法進(jìn)行特征點(diǎn)提取，對所有提取到的特征點(diǎn)建立SIFT描述符，并與保存的關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，得到所有匹配點(diǎn)對，將匹配后的特征點(diǎn)保存并回傳給KLT跟蹤算法線程，將接收到的單應(yīng)矩陣也回傳給KLT跟蹤算法線程。
8.根據(jù)權(quán)利要求7所述的跟蹤方法，其特征在于，該方法進(jìn)一步包括在得到所有匹配點(diǎn)對之后，對所有匹配點(diǎn)對采用改進(jìn)的誤匹配點(diǎn)剔除方法去除誤匹配的特征點(diǎn)。
9.一種混合特征的跟蹤裝置，其特征在于，該裝置包括關(guān)鍵幀圖像特征點(diǎn)提取單元、KLT跟蹤算法線程單元、SIFT算法線程單元；其中， 所述關(guān)鍵幀圖像特征點(diǎn)提取單元，用于根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存； 所述KLT跟蹤算法線程單元，用于根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程單元；還用于將收到的SIFT算法線程單元返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤； 所述SIFT算法線程單元，用于根據(jù)KLT跟蹤算法線程單元的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程單元。
10.根據(jù)權(quán)利要求9所述的跟蹤裝置，其特征在于，所述KLT跟蹤算法線程單元，進(jìn)一步用于在獲得當(dāng)前幀圖像的特征點(diǎn)之后，采用改進(jìn)的誤匹配點(diǎn)剔除方法去除所述當(dāng)前幀圖像的特征點(diǎn)中誤匹配的特征點(diǎn)。
11.根據(jù)權(quán)利要求9所述的跟蹤裝置，其特征在于，所述KLT跟蹤算法線程單元，還用于對當(dāng)前幀圖像的特征點(diǎn)進(jìn)行卡爾曼濾波。
12.根據(jù)權(quán)利要求9所述的跟蹤裝置，其特征在于，所述KLT跟蹤算法線程單元，還用于在單應(yīng)矩陣計(jì)算失敗時(shí)，將單應(yīng)矩陣置為單位矩陣，并通知SIFT算法線程單元。
13.根據(jù)權(quán)利要求9至12任一項(xiàng)所述的跟蹤裝置，其特征在于，所述SIFT算法線程單元，具體用于檢查啟動標(biāo)志位是否被修改，在被修改時(shí)，接收KLT跟蹤算法線程單元發(fā)送的單應(yīng)矩陣；讀取當(dāng)前幀圖像，對當(dāng)前幀圖像用SIFT算法進(jìn)行特征點(diǎn)提取，對所有提取到的特征點(diǎn)建立SIFT描述符，并與保存的關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，得到所有匹配點(diǎn)對，將匹配后的特征點(diǎn)保存并回傳給KLT跟蹤線程單元，將接收到的單應(yīng)矩陣也回傳給KLT跟蹤算法線程單元。
14.根據(jù)權(quán)利要求13所述的跟蹤裝置，其特征在于，所述SIFT算法線程單元，進(jìn)一步用于在得到所有匹配點(diǎn)對之后，對所有匹配點(diǎn)對采用改進(jìn)的誤匹配點(diǎn)剔除方法去除誤匹配的特征點(diǎn)。
全文摘要
本發(fā)明公開了一種混合特征的跟蹤方法，根據(jù)SIFT算法對關(guān)鍵幀圖像進(jìn)行特征點(diǎn)提取并保存；KLT跟蹤算法線程根據(jù)KLT跟蹤算法對關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行跟蹤，獲得當(dāng)前幀圖像的特征點(diǎn)，在計(jì)算單應(yīng)矩陣成功后，檢測當(dāng)前幀圖像的特征點(diǎn)數(shù)量是否足夠用于下一次跟蹤，當(dāng)特征點(diǎn)數(shù)量不足時(shí)，通知SIFT算法線程；SIFT算法線程根據(jù)KLT跟蹤算法線程的通知進(jìn)行特征點(diǎn)提取和匹配，并將匹配后的特征點(diǎn)返回給KLT跟蹤算法線程；KLT跟蹤算法線程將收到的SIFT算法線程返回的特征點(diǎn)融入到自身保留的正在進(jìn)行跟蹤的特征點(diǎn)內(nèi)進(jìn)行跟蹤；本發(fā)明同時(shí)還公開了一種混合特征的跟蹤裝置，通過本發(fā)明的方案，可以實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定的跟蹤，能夠用于虛擬演播室，虛擬體育等攝像機(jī)跟蹤領(lǐng)域。
文檔編號G06T7/20GK102819845SQ20111015065
公開日2012年12月12日 申請日期2011年6月7日 優(yōu)先權(quán)日2011年6月7日
發(fā)明者王涌天, 劉偉, 劉越, 楊健, 王高浩 申請人:中興通訊股份有限公司, 北京理工大學(xué)