用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)的方法和系統(tǒng)的制作方法
【專利說明】用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)的方 法和系統(tǒng)
[0001 ]本申請為分案申請，其原申請是于2011年10月12日（國際申請日為2010年2月12 日）向中國專利局提交的專利申請，申請?zhí)枮?01080016314.0,發(fā)明名稱為"用于確定攝像 機相對于真實環(huán)境的至少一個對象的姿態(tài)的方法和系統(tǒng)"。
技術領域
[0002] 本發(fā)明設及用于確定攝像機相對于真實環(huán)境的至少一個對象的姿態(tài)的方法和系 統(tǒng)，用于創(chuàng)作中，例如，用于地球空間數(shù)據(jù)庫或增強的現(xiàn)實應用，其中由拍攝真實環(huán)境真實 對象的攝像機產(chǎn)生至少一幅或兩幅圖像。根據(jù)所確定的攝像機姿態(tài)，可W根據(jù)創(chuàng)作或增強 的現(xiàn)實技術，利用虛擬對象增強一幅或多幅圖像。
【背景技術】
[0003] 已知有運樣的應用，其利用所謂的增強現(xiàn)實(AR)技術W虛擬對象增強至少在攝像 機上產(chǎn)生的圖像。在運樣的應用中，禪合到諸如微處理器的處理單元的攝像機拍攝真實環(huán) 境的畫面，其中在顯示屏上顯示真實環(huán)境，除真實環(huán)境之外還可W顯示虛擬對象，從而利用 顯示屏上任何種類的虛擬對象增強顯示屏上顯示的真實環(huán)境。在運樣的應用中，為了利用 虛擬對象增強圖像，需要微處理器確定攝像機相對于真實環(huán)境至少一個對象的位置和取向 (所謂的姿態(tài)），W便微處理器正確地利用任何虛擬對象增強拍攝的圖像。在運種語境中，利 用任何虛擬對象正確地增強拍攝圖像意味著，顯示虛擬對象，使得虛擬對象W透視上和尺 度上正確的方式擬合到圖像景色中。
[0004] 用于確定攝像機姿態(tài)的一種已知方法利用的是攝像機拍攝的真實環(huán)境對應部分 的虛擬參考模型，其中利用開始就知道的姿態(tài)近似值將虛擬參考模型投射到圖像中并與真 實環(huán)境的對應部分重疊。然后，圖像處理跟蹤算法使用虛擬參考模型判斷攝像機相對于真 實環(huán)境的姿態(tài)，例如，通過特征檢測和參考模型和真實環(huán)境對應部分之間的比較。
[0005] 用于確定攝像機姿態(tài)的另一種已知方法使用了放入真實環(huán)境中并在拍攝圖像時 被攝像機拍攝的標記。然后，圖像處理跟蹤算法使用該標記，尤其是利用已知的圖像處理方 法分析圖像中的標記，W確定攝像機相對于真實環(huán)境的姿態(tài)。
[0006] 上述方法的缺點是，必須首先構(gòu)思并存儲虛擬參考模型，運非常消耗時間和資源， 如果能夠在任何真實環(huán)境中自發(fā)地使用AR技術，運幾乎是不可能的。對于使用標記，用戶必 須在拍攝圖像之前在起始步驟中在真實環(huán)境中放置標記，運也非常耗時且麻煩。具體而言， 出于運些原因，幾乎不能將運些方法用于任何消費產(chǎn)品，例如具有集成攝像機和顯示器的 移動電話或其他移動裝置。
[0007] 此外，從現(xiàn)有技術知道有所謂的來自運動和同時定位和跟蹤(SLAM)方法的結(jié)構(gòu)。 所有運些方法都用于確定攝像機相對于真實世界或真實世界一部分的位置和取向（姿態(tài)）。 如果預先沒有可用的信息，在一些情況下，不可能確定攝像機相對于真實世界或真實世界 一部分的絕對姿態(tài)，而僅確定攝像機姿態(tài)從特定時間點開始的變化。在上述應用中，可W使 用SLAM方法得到距平點的取向，但缺點是不能確保識別出地平面或某個其他平面。此外，利 用運樣的方法，通過沿例如IOcm距離平移攝像機并向系統(tǒng)傳送所涵蓋的距離，僅可W得到 初始比例尺。此外，SLAM方法需要在不同攝像機姿態(tài)下拍攝的至少兩幅圖像(所謂的帖）W 及校準的攝像機。在如下文獻中披露了另一種已知的技術：Ge;rhard ReitmayrJom W.Drummond，（'Initialisation for Visual Tracking in Urban Environments''， Engineering Department Cambridge,University Cambridge，UK(Reitmayr，G.和 Drummond,T.W.(2007),Initialisation for Visual Tracking in Urban Environments in：6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007)，13-16Nov 2007,化rajapan)?；谀Ｐ偷母櫹到y(tǒng)與測量3D轉(zhuǎn)速、3D加速 度和3郵茲場強度的傳感器組件集成，W在快速移動時更加魯棒并具有通過重力和磁場傳感 器的絕對取向參照系。利用針對攝像機姿態(tài)動力學的恒速模型，與標準的擴展卡爾曼濾波 器進行傳感器融合。利用SCAAT型方法（Greg Welch和GaiT Bishop. Scaat: incremental tracking with incomplete information,Proc.SIGGRAPH'97,pages 333-344,New York， NY，USA，1997〇ACM Press/Addison-Wesley Publishing Co.)中的單一測量功能結(jié)合不同 的輸入，例如來自跟蹤系統(tǒng)的攝像機姿態(tài)或來自傳感器的測量結(jié)果。
[0008] 在Gerhard Reitmayr,Tom W.Drummond的"Robust Model-based Tracking for Outdoor Augmented Reality"中披露了另一項技術（Gerhard Reitmayr和Tom Drummond, Going Out:Robust Model-based Tracking for Outdoor Augmented Reality，Proc.IEEE ISMAR' 06，2006，Santa Barbara，Cal ifornia，USA)。跟蹤系統(tǒng)依賴于要跟蹤的景色的3D模 型。在此前的系統(tǒng)中，3D模型描述了凸角邊緣和封閉面。使用攝像機姿態(tài)的先驗估計，將運 個3D模型投射到針對每帖的攝像機視圖中，計算邊緣的可見部分。
[0009] 因特網(wǎng)上還有另一種應用稱為"mydeco"，其中可W利用虛擬對象增強顯示真實環(huán) 境的圖像。不過，運種系統(tǒng)需要設置地平面的旋轉(zhuǎn)，對于用戶而言運相當麻煩。
[0010] 在Petri Honkamaa，Jani Jaeppinen，Charles Woodward的('A Lightweight Approach for Augmented Reality on Camera Phones using 2D Images to Simulate 3護（ACM International Conference Proceeding Series；Vol.284,Proceedings of the 6th international conference on Mobile and ubiquitous multimedia，OuIu， Finland,化ges 155-159，Year of 化blication:2007，ISBN:978-1-59593-916-6)中，描述 了使用人工交互進行初始化，尤其是借助于參考模型和用戶對其操控，是一種適當?shù)姆绞剑?因為對于用戶而言跟蹤初始化是一項容易的任務，但使其自動化會需要事先了解環(huán)境、相 當強的處理能力和/或額外的傳感器。此外，運種交互方案與環(huán)境無關，可W在"任何時候， 任何地方"應用。
[0011] 在US 7,002,551中，公開了一種用于提供光學透視增強現(xiàn)實比例尺修改顯示的方 法和系統(tǒng)。它包括傳感器套裝，包括羅盤、慣性測量單元和視頻攝像機，用于精確測量用戶 當前的取向和角旋轉(zhuǎn)速率。可W包括傳感器融合模塊W產(chǎn)生對用戶角旋轉(zhuǎn)速率和當前取向 的統(tǒng)一估計，提供給取向和速率估計模塊。取向和速率估計模塊W靜態(tài)或動態(tài)(預測)模式 工作。繪圖模塊接收取向；繪圖模塊使用該取向、來自位置測量系統(tǒng)的位置W及來自數(shù)據(jù)庫 的數(shù)據(jù)在光學顯示器中繪示對象處于其正確取向和位置的圖形圖像。位置測量系統(tǒng)可有效 地進行位置估計，用于產(chǎn)生對象的計算機產(chǎn)生圖像，W與實景合并，該系統(tǒng)與繪制模塊連 接。位置測量系統(tǒng)的范例是差分GPS。因為用戶正在觀看距離相當遠的目標(例如通過雙筒 望遠鏡），所W由于位置測量系統(tǒng)中的位置誤差導致的配準誤差得到最小化。
[0012] 因此，有益的是，提供一種方法和系統(tǒng)，用于確定攝像機相對于真實環(huán)境的至少一 個對象的姿態(tài)，用于創(chuàng)作或增強現(xiàn)實應用中，可W利用更少的處理要求和/或W更高的處理 速度執(zhí)行其，更具體而言，提供事先無需對環(huán)境了解太多而創(chuàng)作3D對象的方法，在必要時， 能夠集成用戶的交互W服務于姿態(tài)估計。

【發(fā)明內(nèi)容】

[0013] 本發(fā)明的實施例包括W下方面。在第一方面中，提供了一種用于確定攝像機相對 于真實環(huán)境中至少一個對象的姿態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括W下步驟：由 拍攝真實環(huán)境真實對象的攝像機產(chǎn)生至少一個第一圖像;從與所述攝像機相關聯(lián)的至少一 個取向傳感器或從算法產(chǎn)生第一取向數(shù)據(jù)，所述算法分析所述第一圖像W找到并確定表示 所述攝像機取向的特征;提供用于分配攝像機到第一圖像中顯示的真實環(huán)境第一對象的距 離的模塊，所述模塊產(chǎn)生表示所分配的攝像機到第一對象的距離的距離數(shù)據(jù)，并利用距離 數(shù)據(jù)和第一取向數(shù)據(jù)確定攝像機相對于與真實環(huán)境的第一對象相關的坐標系的姿態(tài)。
[0014] 在第二方面中，提供了一種用于確定攝像機相對于真實環(huán)境中至少一個對象的姿 態(tài)的方法，用于創(chuàng)作或增強現(xiàn)實應用中，包括W下步驟：由拍攝真實環(huán)境對象的攝像機產(chǎn)生 至少一個圖像;在圖像顯示模塊上顯示圖像;從與所述攝像機相關聯(lián)的至少一個取向傳感 器或從算法產(chǎn)生取向數(shù)據(jù)，所述算法分析所述圖像W找到表示所述攝像機取向的特征;提 供被顯示為與所述圖像中的真實環(huán)境