專利名稱：一種基于視覺不變量的新型標志點圖形及其識別、跟蹤定位算法的制作方法
技術領域：
本發(fā)明涉及一種基于視覺不變量的標志點圖案設計，尤其是涉及一種利用 該特殊標志點的增強現(xiàn)實跟蹤注冊算法，屬于虛擬現(xiàn)實領域。
背景技術：
基于人工標志點的跟蹤注冊技術是當前增強現(xiàn)實系統(tǒng)中最為成熟和實際應 用最為廣泛的注冊技術。所謂"標志點"，是指由人工設計印制的特殊圖形圖 案。由于其圖形圖案的特殊性，很難與各種場景中的環(huán)境背景類似，因此便于 從環(huán)境中區(qū)分出來。標志點經(jīng)過識別定位算法可以得到其空間三維坐標與其投 影圖像的對應點集，通過姿態(tài)估計算法計算得到攝像機相對于真實場景的六自 由度姿態(tài)信息。
國外許多實驗室都在基于人工標志點跟蹤注冊技術方面做出了重要成果。
如美國華盛頓大學的HTL實驗室設計開發(fā)了ARToolKit軟件包。該軟件包中使用 的方形標志點是當前AR系統(tǒng)中最經(jīng)常被采用的標志點樣式。由于ARToolKit處理 過程釆用二值圖像，精度比較低，同時由于在編碼匹配方面釆用了圖形相關性 匹配，匹配效率和編碼數(shù)量都受到制約。日本Sony計算機實驗室1998年發(fā)表了 一種與ARToolKit比較類似的標志點系統(tǒng)，對其編碼算法進行了一定的改進，使 其可以更方便的設計編碼。西門子研究院的X. Zhang和N. Navab對ARToolKit樣 式的標志點系統(tǒng)進行了重要改進，大幅提髙了其跟蹤精度。這個標志點系統(tǒng)的 算法具有很優(yōu)秀的性質，對于基于標識的AR注冊技術貢獻很大。而美國密西根 州立大學的Charles B.等人在分析了內部圖案編碼方法后，給出了理論上可以 獲得最大編碼數(shù)量的圖形設計方法。此后，M.Fiala在2005年發(fā)表了 ARTag標 志點跟蹤注冊系統(tǒng)。該標志點系統(tǒng)對于標志點注冊的識別、特征定位和二維條 形碼編碼解碼算法都有很重要的貢獻。除了以上的類似于ARToolKit樣式的方 形標志點，目前也有一些圓形的標志點系統(tǒng)公開發(fā)表。其中較有代表性的是 InterSense公司的Leonid Naimark等人在2002年發(fā)表的圓形標志點系統(tǒng)以及 Diego L6pez de Ipifia等在2002年發(fā)表的TRIP系統(tǒng)。
然而在這些標志點系統(tǒng)中，標志點圖案的設計往往分為兩個獨立的部分， 一部分專門用于標志圖形的編碼，另一部分用于特征點的提取與姿態(tài)計算。這 樣分離的結果是造成標志點圖案需要大面積的編碼區(qū)域，不利用減小標志點圖 形的尺寸，提高單位面積可提供的精度。同時在跟蹤注冊過程中需要對編碼進 行解碼，增加了計算機的計算負擔。

發(fā)明內容
為了克服現(xiàn)有基于標志點的增強現(xiàn)實跟蹤注冊技術方面的缺點，本發(fā)明所 述系統(tǒng)包含一種基于視覺不變量的新型標志點圖形及其識別、跟蹤定位算法， 可應用于增強現(xiàn)實跟蹤注冊系統(tǒng)中。本發(fā)明有益效果在于，基于視覺不變量的 新型標志點充分利用了標志點圖形自身所具有的視覺不變量信息，節(jié)省了編碼 圖案所需的面積，近而減小了標志點圖形的空間尺寸，提高了單位面積可提供 的精度?；谠撘曈X不變量標志點的增強跟蹤注冊系統(tǒng)，對大視角變化具有較 高的魯棒性。
本發(fā)明提出一種釆用黑色帶有白色圓形標記的五邊形作為標志點圖形的增
強現(xiàn)實跟蹤注冊系統(tǒng)。五邊形的頂點作為進行姿態(tài)估計的匹配特征；同時選擇 構成該五邊形的五條邊計算其交比射影不變量以及其凹凸性，用以編碼和識別 標志點。為解決特征點順序匹配的問題，在五邊形圖形中加入圓形標記，用于 識別五邊形的第一個頂點。識別了五邊形的第一個頂點，就確定了其頂點的順 序方向，從而可以確定特征點的匹配關系。參照圖l，基于視覺不變量的新型標 志點圖形為一個帶有黑色或白色圓形標志的五邊形，該五邊形各頂點的位置可 根據(jù)需要任意選擇只要保證任意三個頂點不共線即可。并且該新型標志點不限 制五邊形的凹凸特性，即五邊形可以是凸五邊形也可以是凹五邊形。圓形標志 用于確定五邊形的第一個頂點。若五邊形是凸五邊形則圓形標志為白色位于五 邊形內部，若五邊形是凹五邊形則圓形標志為黑色位于五邊形外部。確定了五 邊形的頂點順序，就可以確定特征點的匹配關系。利用五邊形的五條邊計算其 交比不變量(/,，/2 )并結合頂點的凹凸性對圖形進行編碼。
其中Mw =(/,，/7,/,)， (/ = (/'，/2,/3) /表示直線方程/'x + /V + /3=0 )， |圳為矩
陣的行列式。
圖2是標志點中圓形標記放置位置的設計。為了解決特征點順序匹配的問 題，在五邊形中加入了一個圓形標記，用于識別五邊形的第一個頂點。識別了 五邊形的第一個頂點，就確定了其上各頂點的順序(其它頂點沿順時針方向進 行選取)，從而可以確定特征點的匹配關系。圓形標記的圓心位置位于(X。，:K。)。
其中
(x,，力)為五邊形第一個頂點的坐標，(Xc,尺)為由與五邊形第一個頂點相鄰的兩個 頂點所構成的三角形的重心坐標。
本發(fā)明所設計的基于視覺不變量的新型標志點的識別、跟蹤定位算法流程 如下
(1) 提取所釆集圖像中的所有黑色區(qū)域；
(2) 檢測提取到的黑色區(qū)域的連通區(qū)域；
(3) 五邊形檢測；
(4) 提取五邊形邊緣；
(5) 邊緣細化得到單像素寬度邊緣；
(6) 直線擬合算法獲得直線參數(shù)；
(7) 檢測標志點圖形中的圓形標記獲得其頂點的順序排列；
(8) 對所有候選五邊形區(qū)域進行誤差檢測。若誤差檢測結果小于設定的閾值， 將被識別為正確的標志點圖形；若沒有則退出；
(9) 檢測五邊形的凹凸特性；
(10) 計算由五邊形的邊所構成的交比不變量；
(11) 利用凹凸特征矢量以及交比不變量與數(shù)據(jù)庫中的標志點特征信息進行比 較，確定標志點的編碼；
(12) 重復(9)-(ll)步驟，直到檢測出當前圖像中所有的標志點；
(13) 釆用基于平面特征點的增強現(xiàn)實注冊算法進行姿態(tài)計算；
(14) 實現(xiàn)真實與虛擬場景的融合。 根據(jù)對本發(fā)明的上述描述，本發(fā)明能夠有效的解決當然標志點圖形占用面 積大，編碼復雜的缺點，充分利用圖形自身的特征實現(xiàn)基于該新型標志點的增 強現(xiàn)實跟蹤注冊。


圖1為本發(fā)明中的基于視覺不變量的標志點圖形設計；圖la,凹五邊形標 志點，圖lb.-凸五邊形標志點；
圖2為標志點中圓形標記的設計。
具體實施例方式
下面結合具體實施實例對本發(fā)明做進一步詳細說明。在此，本發(fā)明的示意 性實施例及其說明用于解釋本發(fā)明，但并不作為對本發(fā)明的限定。
在真實場景中放置本發(fā)明所設計的五邊形標志點，利用攝像機拍攝該場景 獲取場景的圖像信息。識別、跟蹤定位算法的具體實施流程如下
(1) 提取所釆集圖像中的所有黑色區(qū)域，該處并不限定釆用何種圖像二值 化算法；
本實施例中釆用分水嶺自適應閾值算法進行黑色區(qū)域提取，以保證算法對 光照變化的自適應性。
(2) 檢測提取到的黑色區(qū)域的連通區(qū)域，該處并不限定釆用何種連通區(qū)域 檢測算法；
本實施例中釆用label連通區(qū)域檢測算法。
(3) 利用五邊形檢測算法檢測五邊形，并提取五邊形邊緣，將其細化到單 像素寬度；
(4) 接著釆用直線擬合算法獲得直線參數(shù)，該處并不限定釆用何種直線擬
合算法；
本實施例中釆用了最小二乘法進行直線擬合。
(5) 利用圖形中的白色或黑色圓形確定五邊形的第一個頂點，并按順時針 方向選取五邊形上的其他頂點；
(6) 對所有選取的候選區(qū)域進行單應性誤差檢測。若誤差檢測結果小于設 定的閾值，將被識別為正確的匹配標志點，沒有檢測到則退出；
(7) 依次檢測標志點各頂點的凹凸特性，并構成凹凸特征矢量
(^"2,"3，04,"5)，如果是凹頂點表示為'T'，凸頂點表示為"0"。如圖la樣式 的凹五邊形標志點，其凹凸特征矢量為(1, 0, 0， 0， 0)。
(8) 計算由五邊形的邊所構成的交比不變量(/,,/2);利用交比不變量和凹 凸矢量作為特征矢量，釆用馬氏距離與數(shù)據(jù)庫中的標志點信息進行比對，若小 于設定的閾值系統(tǒng)認為正確的識別出來標志點；若大于閾值則對其他的候選區(qū) 域進行檢測直至檢測出當前圖像中的所有標志點；
(9) 釆用基于平面特征點的增強現(xiàn)實注冊算法進行姿態(tài)計算，計算出攝像 機相對于標志點世界坐標系的旋轉矩陣/ 和平移矩陣r。
(10) 將旋轉和平移矩陣值賦值給虛擬攝像機，使其沿該軌跡運動，完 成虛擬與真實場景的融合。
以上所述的具體描述，對發(fā)明的目的、技術方案和有益效果進行了進一步 詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于 限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內，所做的任何修改、等 同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種基于視覺不變量的新型標志點圖形及其識別、跟蹤定位算法，其特征在于，基于視覺不變量的新型標志點圖形為一個帶有黑色或白色圓形標志的五邊形，該五邊形各頂點的位置可根據(jù)需要任意選擇只要保證任意三個頂點不共線即可；并且該新型標志點不限制五邊形的凹凸特性，即五邊形可以是凸五邊形也可以是凹五邊形；其中圓形標志用于確定五邊形的第一個頂點；若五邊形是凸五邊形則圓形標志為白色位于五邊形內部，若五邊形是凹五邊形則圓形標志為黑色位于五邊形外部；確定了五邊形的頂點順序，就可以確定特征點的匹配關系；利用五邊形的五條邊計算其交比不變量(I1，I2)并結合頂點的凹凸性對圖形進行編碼；基于視覺不變量的新型標志點的識別、跟蹤定位算法流程如下(1)提取所采集圖像中的所有黑色區(qū)域；(2)檢測提取到的黑色區(qū)域的連通區(qū)域；(3)五邊形檢測；(4)提取五邊形邊緣；(5)邊緣細化得到單像素寬度邊緣；(6)直線擬合算法獲得直線參數(shù)；(7)檢測標志點圖形中的圓形標記獲得其頂點的順序排列；(8)對所有候選五邊形區(qū)域進行誤差檢測，若誤差檢測結果小于設定的閾值，將被識別為正確的標志點圖形；若沒有則退出；(9)檢測五邊形的凹凸特性；(10)計算由五邊形的邊所構成的交比不變量；(11)利用凹凸特征矢量以及交比不變量與數(shù)據(jù)庫中的標志點特征信息進行比較，確定標志點的編碼；(12)重復(9)-(11)步驟，直到檢測出當前圖像中所有的標志點；(13)采用基于平面特征點的增強現(xiàn)實注冊算法進行姿態(tài)計算；(14)實現(xiàn)真實與虛擬場景的融合。
全文摘要
本發(fā)明為一種基于視覺不變量的新型標志點圖形及其識別、跟蹤定位算法。該發(fā)明包括一種基于視覺不變量的新型標志點的設計以及基于該新型標志點的識別跟蹤定位算法?；谝曈X不變量的新型標志點為一帶有圓形標志的黑色五邊形。標志點可以是凸五邊形也可以是凹五邊形。圓形標志用于確定五邊形的第一個頂點。利用五邊形的交比不變量并結合頂點的凹凸性對圖形進行編碼?；谝曈X不變量的標志點能夠利用自身特性直接進行姿態(tài)計算并實現(xiàn)標志點的編碼，節(jié)省編碼圖案所需面積；減小標志點圖形尺寸，提高單位面積注冊精度。跟蹤注冊算法用于識別該標志點并跟蹤使用者的頭部姿態(tài)，計算虛擬場景在真實環(huán)境空間中的準確位姿。
文檔編號G06T15/70GK101339604SQ20081011637
公開日2009年1月7日 申請日期2008年7月9日 優(yōu)先權日2008年7月9日
發(fā)明者玉 李, 王涌天, 靖 陳 申請人:北京理工大學