專利名稱：對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于增強現(xiàn)實技術(shù)領(lǐng)域，尤其涉及一種對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統(tǒng)。
背景技術(shù)：
增強現(xiàn)實技術(shù)簡稱AR技術(shù)，也被稱為擴增現(xiàn)實，把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息(視覺信息，聲音，味道，觸覺等)，通過科學技術(shù)模擬仿真后再疊加到現(xiàn)實世界被人類感官所感知，從而達到超越現(xiàn)實的感官體驗，這種技術(shù)叫做增強現(xiàn)實技術(shù)，簡稱AR技術(shù)。增強現(xiàn)實可根據(jù)所應(yīng)用的范圍分為戶內(nèi)型與戶外型。戶內(nèi)型增強現(xiàn)實從廣義上說包括各種將數(shù)據(jù)層覆蓋于建筑物內(nèi)部物理空間的實踐，為建筑師、壁畫師、展覽設(shè)計師和新媒體藝術(shù)家所關(guān)心；相對而言，狹義的戶內(nèi)型增強現(xiàn)實是在計算機技術(shù)支持下發(fā)展起來的，它允許用戶在現(xiàn)實環(huán)境中與虛擬物體交互。增強現(xiàn)實技術(shù)中的諸多關(guān)鍵技術(shù)中，跟蹤和定位技術(shù)、以及攝像機標定技術(shù)是重點，同時也是難點。為了實現(xiàn)虛擬與現(xiàn)實交互，增強現(xiàn)實技術(shù)需要對目標物體的三維坐標信息進行精確定位，因而準確地跟蹤目標物體在三維坐標系下的位置以及目標和攝像機之間的相對位置十分重要。傳統(tǒng)的增強現(xiàn)實技術(shù)實現(xiàn)方法通常需要預(yù)先在已知位置上放置基準標記(例如四周加黑色的方框)，通過識別和跟蹤這些標記來間接跟蹤目標物體，其優(yōu)點是在確定或可控環(huán)境下能夠?qū)崿F(xiàn)魯棒性較高的跟蹤效果。缺點是不能實現(xiàn)直接對目標進行三維坐標信息提取和跟蹤。

發(fā)明內(nèi)容
本發(fā)明提供了一種對現(xiàn)實中存在的目標物體直接進行識別、三維坐標信息提取、跟蹤的方法，旨在解決現(xiàn)有技術(shù)提供的增強現(xiàn)實技術(shù)需要預(yù)先在已知位置上放置基準標記，通過識別和跟蹤這些標記來間接跟蹤目標物體，不能自動對目標物體建立模板，并不能實現(xiàn)直接對現(xiàn)實中目標物體進行識別、三維坐標信息提取、跟蹤的問題。本發(fā)明的目的在于提供一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，該方法包括以下步驟從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板或預(yù)知已知目標物體的特征模版；利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的二維息；通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實的空間三維坐標系中，利用圖形弓丨擎中的交互功能，實現(xiàn)三維疊加的虛擬物體和現(xiàn)實物體之間的交互。進一步，所述利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息以及通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實空間三維坐標系的實現(xiàn)方法為對采集到的某一幀視頻圖像Q，利用SUrf算法求解出與模板匹配的所有特征點P= Ρι Ρ2，· · ·，pj，其中，Pi為圖像Q中的特征點；從全部匹配特征點P= {P1，P2，. . . , PnI中選擇4個最準確的匹配特征點
權(quán)利要求
1.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，其特征在于，該方法包括以下步驟 從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板或預(yù)知已知目標物體的特征模版； 利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的二維信息； 通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實的空間三維坐標系中，利用圖形引擎中的交互功能，實現(xiàn)三維疊加的虛擬物體和現(xiàn)實物體之間的交互。
2.如權(quán)利要求I所述的方法，其特征在于，所述利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息以及通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實空間三維坐標系的實現(xiàn)方法為 對采集到的某一幀視頻圖像Q，利用surf算法求解出與模板匹配的所有特征點P ={Pl，p2,, pn}，其中，Pi為圖像Q中的特征點； 從全部匹配特征點P = {Pl, P2, ...，P1J中選擇4個最準確的匹配特征點P0={Pj^PJl,Ph,Pji}, ^ e {1,2, ..·，η}，k = 1，2，3，4，記錄這些特征點的圖像坐標值(Ui, Vi), i = J1, j2, j3, j4,并以其中一點為世界坐標原點，記錄下其他特征點的世界坐標jk e {1,2, ... , n}, k = 1,2,3,4 ； 利用世界坐標系的坐標^幻)與其投影點的像素坐標(Ui, Vi)之間的關(guān)系式計算相機的外參數(shù)矩陣H,其中，i = j1； j2, j3, j4 ； 利用計算出的外參數(shù)矩陣H，在圖形引擎中將當前視頻幀圖像作為三維引擎中三維場景的背景，在場景中所需要的位置渲染出三維模型，實現(xiàn)實時三維疊加； 利用圖形引擎中的交互功能，實現(xiàn)三維疊加的虛擬物體和現(xiàn)實物體之間的交互。
3.如權(quán)利要求I所述的方法，其特征在于，該方法可對攝像機拍攝圖像中多個目標物體進行計算，得出每個物體的三維信息，對多個目標物體進行三維疊加。
4.如權(quán)利要求I所述的方法，其特征在于，目標物體相對于攝像機的三維信息為目標物體相對于攝像機的三維實時位移及旋轉(zhuǎn)角度。
5.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的系統(tǒng)，其特征在于，該系統(tǒng)包括 特征模板建立模塊，用于從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板，也可預(yù)置已知的特征模板； 三維信息計算模塊，與所述特征模板建立模塊相連接，用于利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息； 三維模型疊加模塊，與所述三維信息計算模塊相連接，用于通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實的空間三維坐標系中。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括 交互模塊，與所述三維模型疊加模塊相連接，用于通過圖形引擎中的交互功能，實現(xiàn)三維疊加的虛擬物體和現(xiàn)實物體之間的交互。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述三維信息計算模塊進一步包括三維實時位移計算單元，與所述特征模板建立模塊相連接，用于計算出目標物體相對于攝像機的三維實時位移； 三維實時旋轉(zhuǎn)角度計算單元，與所述特征模板建立模塊相連接，用于計算出目標物體相對于攝像機的三維實時旋轉(zhuǎn)角度。
8.一種對無特定標記目標物體實時跟蹤、三維疊加及交互的方法，其特征在于，所述方法包括如下步驟 步驟1，將目標物體物預(yù)先拍攝一張圖片或者由程序從攝像機的圖像中自動分割出目標物體作為模板M ； 步驟2，對輸入的每幀圖像Q與模板圖像M，利用加速surf算法進行特征點匹配；得到匹配特征點Pq = Ip1, P2, , pn}Q，Pm = Ip1, P2,, pn}M，點pK分別為圖像Q與模板M中的點，i = 1,2, ... ,η·, 步驟3，從圖像Q與模板M中選取四對最準確的匹配特征點其中，jke {I,.2，...，n}，k= 1，2，3，4;確定匹配特征點在對應(yīng)圖像上的像素坐標(uk, vk)Q, (uk,乂^^并以其中一對匹配特征點丨/^，/^}，!^^ {1,2,3,4}為世界坐標原點，記錄下其它匹配特征點的世界坐標值
9.如權(quán)利要求8所述的方法，其特征在于，所述方法還可對圖像中多個目標物體進行計算，得出每個物體的三維信息，從而實現(xiàn)多個目標物體的疊加效果以及運用上述的三維疊加、實時跟蹤方法，配合語音識別、動作捕捉、肢體識別技術(shù)，在三維引擎中實時檢測圖像中的虛擬物體和虛擬物體之間，現(xiàn)實物體和虛擬物體之間、現(xiàn)實人和虛擬物體之間等的碰撞，即可實現(xiàn)現(xiàn)實中人或物和虛擬的人或物的交互效果。
全文摘要
本發(fā)明屬于計算機應(yīng)用技術(shù)領(lǐng)域，提供了一種對無特定標記目標物體跟蹤、三維疊加及交互的方法及系統(tǒng)，首先從攝像機拍攝的圖像中分割出目標物體，并自動建立目標物體的特征模板；然后利用目標物體的自身特征，直接對目標物體進行識別，并計算出目標物體相對于攝像機的三維信息；最后通過圖形引擎將虛擬物體或動畫實時疊加在現(xiàn)實的空間三維坐標系中；本方法利用加速surf算法對視頻圖像與模板圖像進行特征匹配，完成攝像機標定，實現(xiàn)了無特定標記的目標物體實時跟蹤、實時三維疊加，對每幀視頻圖像均實時計算目標的三維坐標信息，實現(xiàn)了現(xiàn)實中人或物和虛擬的人或物的交互，自動化程度較高，具有較強的推廣與應(yīng)用價值。
文檔編號G06K9/00GK102831401SQ20121027390
公開日2012年12月19日 申請日期2012年8月3日 優(yōu)先權(quán)日2012年8月3日
發(fā)明者樊曉東, 唐文平, 劉家賓 申請人:樊曉東