專利名稱：一種基于全景圖的全景虛擬游方法
技術(shù)領(lǐng)域：
本發(fā)明屬于虛擬現(xiàn)實(shí)領(lǐng)域，具體涉及利用圖像處理技術(shù)進(jìn)行全景圖的拼接和瀏覽。
背景技術(shù)：
通過互聯(lián)網(wǎng)或其他載體，將旅游景觀動(dòng)態(tài)且逼真地呈現(xiàn)在旅游者面前，讓旅游者 根據(jù)自己的意愿選擇游覽路線、速度及視點(diǎn)，足不出戶就可以游覽遠(yuǎn)在萬里之遙的風(fēng)光美 景，這便是虛擬旅游。三維引擎作為實(shí)現(xiàn)虛擬旅游體驗(yàn)的一種重要方式，它的主要作用是在 計(jì)算機(jī)上創(chuàng)造出一個(gè)虛擬的旅游環(huán)境。通過與該虛擬環(huán)境的交互體驗(yàn)，人們可以在個(gè)人計(jì) 算機(jī)上進(jìn)入一個(gè)虛擬的旅游景點(diǎn)，并在虛擬景觀中進(jìn)行實(shí)時(shí)地瀏覽。目前，利用計(jì)算機(jī)視覺技術(shù)的虛擬游方法主要有以下兩種1.利用網(wǎng)頁超文本鏈接、圖片、視頻等描述能力制作而成的虛擬游。這種方法實(shí)現(xiàn) 簡(jiǎn)單，運(yùn)行維護(hù)成本低。但有特色不鮮明、吸引力不高、用戶印象難以加深等缺點(diǎn)。隨著互 聯(lián)網(wǎng)信息的大量充斥，這種方式的虛擬游已經(jīng)被漸漸淹沒在數(shù)以億計(jì)的網(wǎng)頁中，難以獲得 良好的體驗(yàn)效果。2.利用三維建模技術(shù)制作而成的虛擬游。隨著三維計(jì)算機(jī)視覺技術(shù)的不斷成熟， 出現(xiàn)了許多支持三維建模的軟件平臺(tái)，如OpenGL、DirectX等，越來越多的計(jì)算機(jī)視覺應(yīng)用 引入了三維建模的技術(shù)來進(jìn)行真實(shí)世界的模擬，同時(shí)基于三維建模技術(shù)制作的虛擬游應(yīng)用 也應(yīng)運(yùn)而生。與第1種方法相比，這種方法具有網(wǎng)頁圖片無可比擬的立體感。但是由于目 前三維建模的局限性，這種方法的真實(shí)感還是比較欠缺，同時(shí)由于數(shù)據(jù)量大，實(shí)時(shí)處理要求 高，對(duì)計(jì)算機(jī)的性能也提出了巨大的考驗(yàn)。本發(fā)明基于三維計(jì)算機(jī)視覺技術(shù)，提出了一種利用全景圖進(jìn)行虛擬游的方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種虛擬游技術(shù)，結(jié)合計(jì)算機(jī)視覺、數(shù)字圖像處理等相關(guān) 技術(shù)，該方法精度較高，且效率較好。本發(fā)明的技術(shù)方案具體是這樣實(shí)現(xiàn)的1.全景圖拼接生成；2.對(duì)生成的全景圖進(jìn)行去除黑邊處理；3.將生成的全景圖輸入全景瀏覽器進(jìn)行瀏覽。本發(fā)明有以下一些技術(shù)特征(1)步驟1具體包括特征提取、特征匹配、去除誤配、參數(shù)求解、圖像映射融合等幾 個(gè)步驟，在各個(gè)步驟中采用了 SIFT、k-d tree、RANSAC、Bundle Adjustment等算法，并根據(jù) 需求對(duì)相關(guān)算法進(jìn)行了改進(jìn)；(2)步驟2所述的黑邊是用矩形照片拼接生成全景圖后產(chǎn)生的；(3)步驟3所述的全景圖瀏覽器實(shí)現(xiàn)了從球面坐標(biāo)系到平面坐標(biāo)系的反映射；本發(fā)明提出了一種基于全景圖的虛擬游方法，方法切實(shí)可行，對(duì)相關(guān)問題的方案設(shè)計(jì)及算法選擇有一定的借鑒意義。


圖1為全景圖拼接流程；
圖2為基于SIFT特征匹配的全景圖拼接流程
圖3為尺度軌跡；
圖4為SIFT特征提取算法流程圖5為DoG尺度空間局部極值檢測(cè)；
圖6為由梯度方向直方圖確定主梯度方向；
圖7為由關(guān)鍵點(diǎn)鄰域梯度信息生成特征向量；
圖8為RANSAC算法基本思想；
圖9為L(zhǎng)MA參數(shù)優(yōu)化算法流程；
圖10為全景圖瀏覽工作流程。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉實(shí)例對(duì)本 發(fā)明做進(jìn)一步地詳細(xì)說明。1.全景圖的拼接全景圖像的拼接是指利用照相機(jī)的平移或旋轉(zhuǎn)得到的部分重疊的圖像樣本，生成 一個(gè)較大的甚至360度的全方位圖像的場(chǎng)景繪制方法。即給定某個(gè)真實(shí)場(chǎng)景的一組局部圖 像，然后對(duì)這一組圖像進(jìn)行拼接，生成包含這組局部圖像的新視圖。圖1是圖像拼接的基本 流程。目前全景圖基本可分為柱面、球面、立方體等形式，以球面全景圖效果最好，最適 合相機(jī)參數(shù)模型的視覺轉(zhuǎn)換而普遍采用。全景圖的拼接一般有以下幾個(gè)步驟 先將從真實(shí)世界中拍攝的一組照片以一定方式投影到統(tǒng)一的空間面中，空間面 有立方體、圓柱體和球體表面等，這樣這組照片就具有統(tǒng)一的參數(shù)空間坐標(biāo)； 在這個(gè)統(tǒng)一的空間面對(duì)相鄰圖像進(jìn)行比較，以確定可匹配的區(qū)域位置； 將圖像重疊區(qū)域進(jìn)行融合處理，拼接成全景圖。圖2為全景圖拼接生成總體流程。圖像匹配在全景圖的構(gòu)建中，相鄰圖像重疊范圍的確定即圖像匹配是最為關(guān)鍵 的一步，一般的方法都是根據(jù)圖像序列中相鄰兩幅圖像的重疊區(qū)域的相似性來實(shí)現(xiàn)，有直 接方法和基于特征的方法等。1. 1SIFT 特征提取1. 1. 1圖像多尺度表示二維高斯函數(shù)定義如下G{x,y,a)=-v ‘
L71Go代表了高斯正態(tài)分布的方差。一幅二維圖像，在不同尺度下的尺度空間表示可 由圖像與高斯核卷積得到 L(x, y, o ) = G(x, y, o )*I (x, y)上式中，(x,y)代表圖像的像素位置，o稱為尺度空間因子，其值越小則表征該圖 像被平滑的越少，相應(yīng)的尺度也就越小。大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像 的細(xì)節(jié)特征，L代表了圖像的尺度空間。1. 1. 2SIFT特征匹配算法DoG算子如下所示D(x，y，o ) = (G(x, y, ko )-G(x, y, o ))*I (x, y)= L(x, y, k o )-L(x, y, o )對(duì)于圖像上的點(diǎn)，計(jì)算其在每一尺度下DoG算子的響應(yīng)值，這些值連起來得到特 征尺度軌跡曲線。特征尺度曲線的局部極值點(diǎn)即為該特征的尺度。尺度軌跡曲線上完全可 能存在多個(gè)局部極值點(diǎn)，這時(shí)可認(rèn)為該點(diǎn)有多個(gè)特征尺度。圖3(b)為(a)中十字花點(diǎn)處的尺度軌跡曲線?？梢娫搱D中尺度軌跡曲線在大約 o =5處取得局部極小值。SIFT特征匹配算法包括兩個(gè)階段，第一階段是SIFT特征的生成，即從多幅待匹配 圖像中提取出對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量；第二階段是SIFT特征向量的 匹配。下面具體介紹一下SIFT算法。一幅圖像SIFT特征向量的生成算法總共包括4步(1)尺度空間極值檢測(cè)，以初步確定關(guān)鍵點(diǎn)位置和所在尺度。圖5為DoG尺度空間的三個(gè)相鄰尺度。在檢測(cè)尺度空間極值時(shí)，圖中標(biāo)記為叉號(hào) 的像素需要跟包括同一尺度的周圍鄰域8個(gè)像素和相鄰尺度對(duì)應(yīng)位置的周圍鄰域9X2個(gè) 像素總共26個(gè)像素進(jìn)行比較，以確保在尺度空間和二維圖像空間都檢測(cè)到局部極值。(2)通過擬和三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度 的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)(因?yàn)镈oG算子會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng))，以增強(qiáng)匹配穩(wěn)定 性、提高抗噪聲能力。(3)利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算 子具備旋轉(zhuǎn)不變性。 0 (x, y) = atan 2 ((L (x，y+1) _L (x，y-1)) / (L (x+1，y) _L (x_l，y)))式為(x，y)處梯度的模值和方向公式。其中L所用的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在 的尺度。在實(shí)際計(jì)算時(shí)，我們?cè)谝躁P(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域 像素的梯度方向。梯度直方圖的范圍是0-360度，其中每10度一個(gè)柱，總共36個(gè)柱。直方 圖的峰值則代表了該關(guān)鍵點(diǎn)處鄰域梯度的主方向，即作為該關(guān)鍵點(diǎn)的方向。圖6是采用7 個(gè)柱時(shí)使用梯度直方圖為關(guān)鍵點(diǎn)確定主方向的示例。在梯度方向直方圖中，當(dāng)存在另一個(gè)相當(dāng)于主峰值80%能量的峰值時(shí)，則將這個(gè) 方向認(rèn)為是該關(guān)鍵點(diǎn)的輔方向。一個(gè)關(guān)鍵點(diǎn)可能會(huì)被指定具有多個(gè)方向(一個(gè)主方向，一 個(gè)以上輔方向)，這可以增強(qiáng)匹配的魯棒性。至此，圖像的關(guān)鍵點(diǎn)已檢測(cè)完畢，每個(gè)關(guān)鍵點(diǎn)有 三個(gè)信息位置、所處尺度、方向。由此可以確定一個(gè)SIFT特征區(qū)域。(4)生成SIFT特征向量。首先將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點(diǎn)的方向，以確保旋轉(zhuǎn)不變性。接下來以關(guān)鍵點(diǎn)為中心取8X8的窗口。圖7左部分的中央黑點(diǎn)為當(dāng)前關(guān)鍵點(diǎn)的位置，每個(gè)小格代表關(guān)鍵點(diǎn)鄰域 所在尺度空間的一個(gè)像素，箭頭方向代表該像素的梯度方向，箭頭長(zhǎng)度代表梯度模值，圖中 藍(lán)色的圈代表高斯加權(quán)的范圍(越靠近關(guān)鍵點(diǎn)的像素梯度方向信息貢獻(xiàn)越大)。然后在每 4X4的小塊上計(jì)算8個(gè)方向的梯度方向直方圖，繪制每個(gè)梯度方向的累加值，即可形成一 個(gè)種子點(diǎn)，如圖7右部分所示。此圖中一個(gè)關(guān)鍵點(diǎn)由2X2共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn) 有8個(gè)方向向量信息。這種鄰域方向性信息聯(lián)合的思想增強(qiáng)了算法抗噪聲的能力，同時(shí)對(duì) 于含有定位誤差的特征匹配也提供了較好的容錯(cuò)性。實(shí)際計(jì)算過程中，為了增強(qiáng)匹配的穩(wěn)健性，Lowe建議對(duì)每個(gè)關(guān)鍵點(diǎn)使用4X4共16 個(gè)種子點(diǎn)來描述，這樣對(duì)于一個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT 特征向量。此時(shí)SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù) 將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響。當(dāng)兩幅圖像的SIFT特征向量生成后，下一步我們采用關(guān)鍵點(diǎn)特征向量的歐式距 離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像1中的某個(gè)關(guān)鍵點(diǎn)，并找出其與圖 像2中歐式距離最近的前兩個(gè)關(guān)鍵點(diǎn)，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近的距離除以次近的距 離少于某個(gè)比例閾值，則接受這一對(duì)匹配點(diǎn)。降低這個(gè)比例閾值，SIFT匹配點(diǎn)數(shù)目會(huì)減少， 但更加穩(wěn)定。1.2特征點(diǎn)匹配特征點(diǎn)匹配用于建立2幅圖像特征點(diǎn)之間的對(duì)應(yīng)關(guān)系。特征點(diǎn)匹配就是特征點(diǎn)描 述子誤差能量的比較，描述子誤差能量 如果通過一一比較描述子誤差能量來匹配特征點(diǎn)，則復(fù)雜度為0(n2)，可以采用 k-D樹將復(fù)雜度降低為0(n log n)。1.3剔除誤配經(jīng)過上述步驟的匹配，有些特征點(diǎn)對(duì)沒有映射到場(chǎng)景同一點(diǎn)，它們是非匹配點(diǎn)對(duì)， 也稱外點(diǎn)，相對(duì)而言，內(nèi)點(diǎn)是匹配點(diǎn)對(duì)，真正對(duì)應(yīng)場(chǎng)景中同一點(diǎn)。外點(diǎn)的存在對(duì)參數(shù)求取有 負(fù)面影響，需要剔除外點(diǎn)。RANSAC (random sample consensus)是應(yīng)用最廣泛的外點(diǎn)剔除算 法，其思想如圖8所示。算法計(jì)算出待拼接圖像之間的坐標(biāo)轉(zhuǎn)換關(guān)系。坐標(biāo)轉(zhuǎn)換關(guān)系即兩 幅圖像之間的變換矩陣。變換矩陣包括兩幅圖像間的平移、旋轉(zhuǎn)和縮放關(guān)系，通過變換矩陣 能夠找到一幅圖像中的點(diǎn)在另一幅圖像中的位置。式中A(x，y)，A' (x' , y')是一對(duì)候選匹配點(diǎn)對(duì);M是變換矩陣。
RANSAC算法的步驟是(1)從N個(gè)候選匹配特征點(diǎn)對(duì)中隨機(jī)選取4個(gè)點(diǎn)對(duì)建立方程組，解出變換矩陣M的 8個(gè)未知參數(shù)；(2)計(jì)算其余(N-4)個(gè)特征點(diǎn)經(jīng)過變換矩陣M的變換，與它的候選匹配點(diǎn)之間的距
罔；dv = d(A' , M A)2式中AA'為一對(duì)候選匹配特征點(diǎn)；(3)若dv小于某一閾值，則該候選特征點(diǎn)為內(nèi)點(diǎn)，否則為外點(diǎn)。這里內(nèi)點(diǎn)是指正確 匹配的特征點(diǎn)對(duì)；(4)統(tǒng)計(jì)在此變換矩陣下內(nèi)點(diǎn)的數(shù)量；(5)再選另外4對(duì)候選匹配點(diǎn)，執(zhí)行步驟(1)_(4)，重復(fù)若干次后，選擇具有內(nèi)點(diǎn)數(shù) 量最多的集合作為最佳內(nèi)點(diǎn)集合。在此最佳內(nèi)點(diǎn)集合下的變換矩陣M的8個(gè)參數(shù)值作為參 數(shù)估計(jì)的最優(yōu)值。據(jù)此，求出了兩幅圖像之間的坐標(biāo)轉(zhuǎn)換關(guān)系，即變換矩陣M。RANSAC估計(jì)的目的是①剔除誤匹配特征點(diǎn)對(duì)②求得圖像間的坐標(biāo)變換關(guān)系。圖像配準(zhǔn)拼接圖像的質(zhì)量主要依賴圖像的配準(zhǔn)精度，其核心問題是尋找一個(gè)變 換，找到待拼接圖像中的模板或特征點(diǎn)在參考圖像中對(duì)應(yīng)的位置，根據(jù)模板或者圖像特征 之間的對(duì)應(yīng)關(guān)系，可以計(jì)算出數(shù)學(xué)模型中的各參量值，從而建立兩幅圖像的數(shù)學(xué)模型，使圖 像間相互重疊部分對(duì)準(zhǔn)，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標(biāo)系，以此構(gòu)成完整的圖像。設(shè)相機(jī)圍繞光心進(jìn)行三維旋轉(zhuǎn)，首先要選取旋轉(zhuǎn)參數(shù)。在已有的一些研究提出的 方法中直接選取水平、垂直、繞軸三個(gè)方向的歐拉角(a，0，y)作為旋轉(zhuǎn)參數(shù)，使用這些參 數(shù)直接計(jì)算三個(gè)旋轉(zhuǎn)矩陣并將它們相乘以得到最終的旋轉(zhuǎn)矩陣。這種方法比較簡(jiǎn)單，三個(gè) 參數(shù)的物理意義較直觀，但是在計(jì)算中由于涉及兩次矩陣乘法，將會(huì)形成累積誤差，結(jié)果矩 陣容易失去正交性，而且矩陣乘法計(jì)算復(fù)雜，不利于參數(shù)增量的計(jì)算。所以我們使用轉(zhuǎn)軸/ 轉(zhuǎn)角表示法，把旋轉(zhuǎn)表示為繞一個(gè)三維單位向量n旋轉(zhuǎn)e角度，由于只有旋轉(zhuǎn)軸n的方向 具有矢量性質(zhì)，因此可把n和0相乘得到co = 0 n = (coj, co2, co 3)(1)作為三個(gè)自由度的旋轉(zhuǎn)參數(shù)。雖然這與(a，3，Y)的歐拉角表示法自由度相同， 都是三維向量，但兩者的意義不同，轉(zhuǎn)軸/轉(zhuǎn)角表示法具有更好的代數(shù)特性。將旋轉(zhuǎn)參數(shù)表示為向量《后，旋轉(zhuǎn)矩陣可以通過Rodriguez公式計(jì)算得到 其中e = I I (0 I I，[ ]x是(0的叉積運(yùn)算符的矩陣形式 有了旋轉(zhuǎn)參數(shù)co，再加上相機(jī)焦距f，就構(gòu)成所需要的4個(gè)參數(shù)。設(shè)一個(gè)3D空間點(diǎn)p在圖像、上的投影映射像素為u0 = (x0, y0)，u0的齊次坐標(biāo) fi0=(XQ，yQ，l)，圖像的旋轉(zhuǎn)和焦距參數(shù)為(^和f^，由齊次變換有 其中 符號(hào) 表示齊次坐標(biāo)經(jīng)過變換后需要再經(jīng)過齊次化處理。若相同的點(diǎn)p在圖像L上的投影像素為Ul (如兩幅圖像中相對(duì)應(yīng)的特征點(diǎn))，則 類似的有 由(4)和(6)得到 其中H1Q是一個(gè)3X3單應(yīng)變換矩陣。至此得到了兩幅圖像通過相對(duì)應(yīng)的特征點(diǎn)相互聯(lián)系的途徑。即通過圖像參數(shù)計(jì)算 圖像之間的空間變換關(guān)系矩陣。對(duì)若干幅需要進(jìn)行拼接的圖像，關(guān)鍵是求取每幅圖像的參數(shù)，可以通過以某幅圖 像為基準(zhǔn)，將其它圖像的參數(shù)以此為參考進(jìn)行優(yōu)化來做到。但這樣做的缺點(diǎn)是累積誤差會(huì) 隨著圖像的增多而增大。因此我們采用LMA算法對(duì)所有圖像的參數(shù)進(jìn)行全局優(yōu)化。在優(yōu)化 過程中每次加入一幅圖像，取已優(yōu)化的任一與其匹配的圖像的參數(shù)作為它的初始參數(shù)進(jìn)行 計(jì)算，求出當(dāng)前配準(zhǔn)圖像集的最優(yōu)參數(shù)集，然后加入下一幅圖像進(jìn)行同樣的處理。每一幅圖 像的特征點(diǎn)均需要映射到其所對(duì)應(yīng)的所有特征點(diǎn)所在的圖像上，保證了最終求得的參數(shù)是 全局最優(yōu)的。已知兩幅圖像Ip 1」中對(duì)應(yīng)的特征點(diǎn)心和U/(Uik表示第i幅圖像中的第k 個(gè)特征點(diǎn))，映射誤差r定義如下 其中Pijk是u/到圖像L上的映射點(diǎn) 其中&和氏由當(dāng)前圖像參數(shù)應(yīng)用公式(10)計(jì)算出。注意這里并沒有用 符號(hào)而 是用=號(hào)，表示這里的於=(x，y，z)不進(jìn)行齊次化處理，這是為了方便計(jì)算Jacobian矩陣。但仍
然有Pi/= (x/z,y/z)是的經(jīng)過齊次化后的圖像像素坐標(biāo)。二次誤差和函數(shù)的定義如下 其中n表示圖像個(gè)數(shù)，O⑴表示與第i幅圖像相匹配的圖像集合，r (i，j)表示 圖像i和j之間的匹配特征點(diǎn)。將以上公式代入LMA算法的過程進(jìn)行循環(huán)迭代，每幀圖像的參數(shù)在每一次迭代后 會(huì)向正確的結(jié)果收斂。在實(shí)際應(yīng)用中對(duì)于分辨率較大的圖像，這一過程可以得到很高的收 斂成功率。但是隨著分辨率的下降，由于特征點(diǎn)與特征點(diǎn)之間的相對(duì)位置關(guān)系模糊化和二義性，容易導(dǎo)致錯(cuò)誤的收斂結(jié)果。因此我們?cè)诨跉W式距離的誤差函數(shù)e的基礎(chǔ)上，增加 顏色的比對(duì)誤差，計(jì)算目標(biāo)點(diǎn)的顏色和映射點(diǎn)的顏色誤差總和，并以此來修正e，當(dāng)傳統(tǒng)的 LMA的某一步迭代給出一個(gè)錯(cuò)誤的參數(shù)調(diào)整方向時(shí)，雖然e減小了，但由于顏色誤差的顯著 增大而判定為錯(cuò)誤的收斂方向，予以放棄，并在下一步迭代向相反方向調(diào)整，從而大大提高 了收斂正確率。為了避免顏色誤差帶來的負(fù)面影響，我們規(guī)定只有在e和總顏色誤差降低到一定 的范圍內(nèi)時(shí)，這條規(guī)則才有效；對(duì)于不同分辨率的圖像，顏色誤差策略的影響隨分辨率增大 而減小，因?yàn)樵谧銐虼蠓直媛实膱D像上，僅僅依靠總距離誤差e已經(jīng)可以得到正確的結(jié)果。 LMA參數(shù)優(yōu)化算法流程如圖9所示。圖像合成在獲得待配準(zhǔn)圖像之間的空間變換關(guān)系之后，為了得到合成圖像，就需 要選擇合適的圖像合成策略，完成圖像的拼接?；趫D像配準(zhǔn)的結(jié)果，我們可以得到每一幀圖像的相機(jī)參數(shù)，由于我們要?jiǎng)?chuàng)建的 是球面全景圖，前面建立的轉(zhuǎn)軸/轉(zhuǎn)角相機(jī)模型參數(shù)非常適合于直接將待拼接圖像繪制到 球面上。再將其展開就得到我們的全景圖像。為了得到無縫的高清晰圖像，就要選擇合適的融合策略。融合策略的選擇應(yīng)當(dāng)滿 足兩方面的要求拼合邊界過渡應(yīng)平滑，消除拼合接縫實(shí)現(xiàn)無縫拼接；盡量保證不因拼合 處理而損失原始圖像的信息。2.全景圖去除黑邊由于對(duì)矩形圖像進(jìn)行了球面映射，因此拼接生成的全景圖就會(huì)出現(xiàn)黑邊現(xiàn)象。為 了去除黑邊，我們?cè)谏傻娜皥D上進(jìn)行逐行掃描，當(dāng)發(fā)現(xiàn)連續(xù)純黑色的像素超過n個(gè)時(shí)， 這一整行被作為黑邊予以剔除。對(duì)于n的取值，經(jīng)過實(shí)驗(yàn)，我們認(rèn)為取n = 515效果比較好。 為了使用戶得到滿意的效果，我們?cè)趯?shí)現(xiàn)中把n設(shè)計(jì)為可配置的，讓用戶決定最佳的取值。3.全景圖瀏覽和漫游全景圖瀏覽器讀入場(chǎng)景腳本，根據(jù)需要調(diào)入全景圖，按照用戶的輸入改變攝像機(jī) 的方向和焦距，實(shí)時(shí)地將球面全景圖變換成平面投影圖，并在屏幕上顯示。圖10是漫游工 具的工作流程和主要模塊。從觀察者的視場(chǎng)角度來講，看到的是一幅幅平面的圖像，反映在計(jì)算機(jī)的屏幕上 就是動(dòng)態(tài)的平面圖像。一般可以使用基于紋理映射的方法或者基于圖像繪制的方法來進(jìn)行 球面全景圖的繪制?；诩y理映射的方法把球面全景圖作為一幅紋理圖像映射到球體的表 面，然后使用OpenGL或者DirectX函數(shù)進(jìn)行繪制；使用基于圖像繪制的方法基于球面全景 圖的重投影原理。在對(duì)球面全景圖進(jìn)行交互式漫游的過程中，通過改變視點(diǎn)的方向和視域 的大小來決定視平面在三維空間中的位置，然后使用重投影算法就可以根據(jù)球面全景圖生 成場(chǎng)景在不同視域和視角下新的透視視圖。從視平面坐標(biāo)(x，y，z)動(dòng)到球面全景圖坐標(biāo)(u，v)的重投影公式為u = r arctan (x/z)
v-r-arctan(y / V義2 +z2)其中r為球面的半徑。對(duì)球面全景圖進(jìn)行繪制需要模擬相機(jī)在三維空間中的運(yùn)動(dòng)。相機(jī)在三維空間中具有3個(gè)旋轉(zhuǎn)自由度；繞x軸和y軸的旋轉(zhuǎn)可以通過重投影來完成，繞x軸的旋轉(zhuǎn)可以通過圖 像旋轉(zhuǎn)來完成。相機(jī)在三維空間中還存在變焦運(yùn)動(dòng)，改變相機(jī)的焦距等價(jià)于改變相機(jī)的視 域。詳細(xì)的重投影算法為(1)根據(jù)水平和垂直旋轉(zhuǎn)角度計(jì)算復(fù)合旋轉(zhuǎn)矩陣；(2)計(jì)算視點(diǎn)到視平面的距離d ；(3)計(jì)算視平面上每一個(gè)像素經(jīng)過旋轉(zhuǎn)和變焦后的三維坐標(biāo)；(4)計(jì)算球面全景圖上對(duì)應(yīng)像素的坐標(biāo)，并對(duì)球面全景圖進(jìn)行重新采樣；(5)重復(fù)步驟(2)_ (4)，直到視平面上的所有像素均被處理完畢；(6)顯示視平面，完成新視圖的繪制。
權(quán)利要求
一種基于全景圖的全景虛擬游方法，其特征在于，該方法包括全景圖的自動(dòng)拼接生成。自動(dòng)拼接不同于傳統(tǒng)的圖像處理軟件中的手工指定參數(shù)進(jìn)行拼接的方法，而是用戶只需輸入特別攝制的照片，經(jīng)過圖像特征提取、特征匹配、誤配去除、參數(shù)優(yōu)化、球面映射、圖像融合等軟件處理即可自動(dòng)輸出全景圖，這個(gè)過程是全自動(dòng)的，無需用戶進(jìn)行任何干預(yù)；全景圖的去除黑邊處理。由于對(duì)矩形的原始照片進(jìn)行了球面映射，全景圖的上下邊緣不可避免地呈現(xiàn)弧度的彎曲和黑色的縫隙，經(jīng)過智能化的檢測(cè)處理將黑色邊緣完全去除，使全景圖達(dá)到最佳效果。全景圖瀏覽器的設(shè)計(jì)與實(shí)現(xiàn)。全景圖瀏覽器的主要作用是將全景圖進(jìn)行球面反映射，使其還原為用戶視覺較為熟悉的普通平面，并通過旋轉(zhuǎn)、縮放、跳轉(zhuǎn)等交互式操作，產(chǎn)生虛擬游的效果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)待拼接圖像進(jìn)行了SIFT特征提取并進(jìn) 行了特征匹配。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)獲得的特征匹配進(jìn)行了去除誤配的處理。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用球面映射方法生成最終的全景圖。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過計(jì)算圖像連續(xù)黑色像素的方法去除 了球面映射造成的黑邊。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于Flash設(shè)計(jì)的全景圖瀏覽器通過球面 反映射技術(shù)將全景圖映射為平面圖像。
全文摘要
本發(fā)明提出了一種基于全景圖的全景虛擬游方法，包括基于圖像特征檢測(cè)技術(shù)和低噪圖像融合技術(shù)的全景圖拼接生成、全景圖的去除黑邊處理、高效全景圖瀏覽器等的算法實(shí)現(xiàn)。在全景圖拼接技術(shù)的特征檢測(cè)、特征匹配、誤配去除、參數(shù)優(yōu)化、圖像融合等步驟中，改進(jìn)并應(yīng)用了SIFT、RANSAC、k-d tree、Bundle Adjustment等算法。達(dá)到了較快的處理速度和逼真的虛擬游效果。具有很高的實(shí)用價(jià)值。
文檔編號(hào)G06T15/00GK101877140SQ20091024254
公開日2010年11月3日 申請(qǐng)日期2009年12月18日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者杜軍平, 鄭金鑫 申請(qǐng)人:北京郵電大學(xué)