一種用于全景視圖管理的3d圖像拼接合成方法
【技術(shù)領(lǐng)域】：
[0001] 本發(fā)明涉及一種用于全景視圖管理的3D圖像拼接合成方法，可以用來實(shí)現(xiàn)包括 變電站、工廠、學(xué)校在內(nèi)的各類展示項(xiàng)目及檢測輔助項(xiàng)目的設(shè)備管理和日常維護(hù)，具有直觀 便利、易于操作、實(shí)用性強(qiáng)等特點(diǎn)。
【背景技術(shù)】：
[0002] 國內(nèi)外有很多系統(tǒng)設(shè)備管理的方案，有基于web的信息管理系統(tǒng)；利用ASP.NET開 發(fā)的B/S結(jié)構(gòu)的web數(shù)據(jù)庫管理系統(tǒng)；利用全網(wǎng)絡(luò)視頻監(jiān)控的智能管理系統(tǒng)等等。這些方 案都能對各類實(shí)際系統(tǒng)進(jìn)行高效管理，但是局限性很大。簡單的報(bào)表功能只能提供數(shù)據(jù)記 錄功能；完善的監(jiān)控系統(tǒng)建設(shè)成本高，監(jiān)控點(diǎn)局限于攝像頭的范圍，沒有全局的空間感，設(shè) 備監(jiān)控只能觀看，不能顯示、查詢和記錄監(jiān)控設(shè)備的詳細(xì)信息。
[0003] 三維建模技術(shù)國內(nèi)外研究眾多，有校園三維仿真管理系統(tǒng)，基于空間可視化技術(shù) 的三維小區(qū)物業(yè)信息管理系統(tǒng)，以及國外設(shè)計(jì)的通過網(wǎng)頁就可以瀏覽的3D博物館等等。這 些應(yīng)用方便、快捷、智能，給人以身歷其境的參觀和管理體驗(yàn)。但是這些技術(shù)通過建模繪制 三維圖形，工程復(fù)雜，周期長，對圖形處理的硬件和軟件要求高，受制于地形的面積大小和 復(fù)雜程度，而且虛擬建模出的場景不能真實(shí)體現(xiàn)空間場景。
[0004]目前三維建模技術(shù)的研究熱點(diǎn)是球形全景視圖的IBR技術(shù)。通過魚眼圖像采集以 及圖像校正和拼接技術(shù)合成全景圖像。谷歌的地圖應(yīng)用中加入的街景視圖正是這項(xiàng)技術(shù)早 期成功應(yīng)用的典范，國內(nèi)騰訊公司也在自己的地圖產(chǎn)品中增加了類似的功能。目前全景視 圖技術(shù)主要應(yīng)用于地圖導(dǎo)航及景點(diǎn)展示等領(lǐng)域，很少應(yīng)用于設(shè)備管理等方面。
[0005] 因此利用全景視圖實(shí)現(xiàn)現(xiàn)實(shí)各類系統(tǒng)的數(shù)字化，智能化和空間可視化，既填補(bǔ)了 國內(nèi)外利用虛擬現(xiàn)實(shí)技術(shù)在信息管理方面應(yīng)用的技術(shù)空白，也給系統(tǒng)設(shè)備管理提供了一種 新型的迎合時代發(fā)展的管理模式。

【發(fā)明內(nèi)容】
：
[0006] 本發(fā)明提出一種供各類信息系統(tǒng)使用，模擬并還原實(shí)地景觀，并可查看及編輯設(shè) 備布局與型號信息的3D圖像拼接合成方法。如圖1所示，本方法主要包括圖像采集、圖像 處理、三維場景構(gòu)建、熱點(diǎn)編輯管理器、設(shè)備資料輸入等幾個模塊。其中，需要人工操作的部 分僅有照片采集和設(shè)備資料輸入兩個部分。
[0007]( -）照片采集
[0008] 照片采集對后期拼接合成有很大影響，需要一些拍攝知識和經(jīng)驗(yàn)。具體請參見"拍 照說明"。
[0009] 1)使用三腳架固定拍攝位置，確保旋轉(zhuǎn)拍攝時中心位置不變。
[0010] 2)旋轉(zhuǎn)拍攝時，兩張圖片要有相重合的地方，重合位置盡量不小于1/4畫面，這樣 可以有效地提高后期處理的精度，減少廣角邊緣的變形對畫面的影響。
[0011] 3)使用水平儀，確保水平拍攝，水平旋轉(zhuǎn)。
[0012] 4)拍攝時盡量使用同一組拍攝參數(shù)，使用手動對焦，以及光圈快門要根據(jù)拍攝地 點(diǎn)的光源和亮度選著，并固定參數(shù)。
[0013](二）圖像處理
[0014] 圖像處理模塊包括圖像預(yù)處理、圖片特征點(diǎn)檢測與配準(zhǔn)、建立變換模型、統(tǒng)一坐標(biāo) 變換，光照補(bǔ)償，圖像融合，全景圖首尾無縫矯正及切片等部分。
[0015] 1)圖像預(yù)處理
[0016] 調(diào)整圖像大小和統(tǒng)一命名圖像，如果原始圖像過大可以通過預(yù)處理對其進(jìn)行縮小 以降低時間復(fù)雜度和空間復(fù)雜度。對輸入的圖像統(tǒng)一命名，如第1列第一張圖片會命名為 01_01.jpg，以便于拼接程序自動讀取源圖片?？紤]到36-60張圖片一次性拼接時間復(fù)雜度 太高而且程序運(yùn)行結(jié)果不可調(diào)，所以將拼接按先列拼接再行拼接的順序進(jìn)行，如圖2所示。 這樣可以降低拼接所需時間，還可以調(diào)整拼接圖像順序，讓主要建筑調(diào)整到全景圖畫幅中 央。
[0017] 2)圖片特征點(diǎn)檢測與配準(zhǔn)
[0018] 配準(zhǔn)圖像，求出圖像的重合區(qū)域以及單應(yīng)性矩陣。采用對圖像尺寸，光強(qiáng)，旋轉(zhuǎn)具 有不變性，且魯棒性很好的surf特征點(diǎn)檢測，然后利用k-d樹算法和RANSAC算法分別進(jìn)行 特征點(diǎn)粗匹配和精確匹配，求出任意兩幅圖像匹配的置信度和單應(yīng)性矩陣變換。
[0019] 3)建立變換模型
[0020] 計(jì)算相機(jī)參數(shù)，求出圖像旋轉(zhuǎn)矩陣R，相機(jī)參數(shù)矩陣K。根據(jù)圖像的單應(yīng)性矩陣，粗 略計(jì)算相機(jī)的焦距以及旋轉(zhuǎn)角度，再使用BundleAdjustment消除單應(yīng)性矩陣造成的累積 誤差，對所有相機(jī)進(jìn)行多重約束，求出精確的相機(jī)參數(shù)，構(gòu)建出變換模型。
[0021] BundleAdjustment算法是將每個特征點(diǎn)投影到所有與它匹配的圖像中，調(diào)整相 機(jī)參數(shù)，使特征點(diǎn)匹配誤差的平方總和最小化。定義兩個對應(yīng)的特征點(diǎn)其中<表 示圖像i中第k個特征點(diǎn)的位置），殘差表示為
[0022] ^
[0023] 其中乂為對應(yīng)點(diǎn)<從圖像j到圖像i的投影，即
[0024]
[0025] 誤差函數(shù)是所有圖像誤差之和，表示如下：
[0026]
[0027] 其中n是總的圖像數(shù)，I⑴是和圖像i匹配的圖像集，f(i，j)是圖像i和圖像j 的特征點(diǎn)匹配集，我們使用Huber魯棒誤差函數(shù)，如下所示：
[0028]
[0029]Huber魯棒誤差函數(shù)結(jié)合L2范數(shù)的快速收斂性作為內(nèi)點(diǎn)的優(yōu)化方案（距離小于 〇 )，和Q范數(shù)的魯棒性作為外點(diǎn)的方案（距離大于〇 )，〇 = 2作為初始化過程中的點(diǎn)距 離。
[0030] 使用L-M算法就可以求出最優(yōu)的相機(jī)參數(shù)，然后歸一化旋轉(zhuǎn)矩陣。
[0031] R^R^R；'
[0032]民為選取的參考相機(jī)旋轉(zhuǎn)矩陣，將所有相機(jī)旋轉(zhuǎn)矩陣都乘以參考矩陣的逆矩陣， 參考相機(jī)旋轉(zhuǎn)矩陣則變換為單位陣，其他旋轉(zhuǎn)矩陣也進(jìn)行了歸一化變換。
[0033] 4)統(tǒng)一坐標(biāo)變換
[0034] 將圖片根據(jù)相機(jī)參數(shù)做透視變換，統(tǒng)一到同一坐標(biāo)系下。圖像坐標(biāo)（x，y，z)，其中 Z= 1，轉(zhuǎn)化為統(tǒng)一球形坐標(biāo)（U，V，W)，正投影變換公式如下：
[0035]
[0036] 正投影變換會使圖像變換后出現(xiàn)空洞，所以利用反投影和二次線性差值求出透視 變換后的圖像。根據(jù)球形正投影變換求出圖像變換后坐標(biāo)的頂點(diǎn)和坐標(biāo)范圍，然后進(jìn)行反 投影，反投影的公式如下：
[0037]
[0038] 5)光照補(bǔ)償
[0039] 對圖像進(jìn)行色彩歸一化變換，消除圖像亮度差。由于相機(jī)光圈和陽光變化，相鄰圖 片不同時拍攝，有可能出現(xiàn)亮度差，我們定義誤差函數(shù)為所有重疊像素塊的亮度誤差之和， 表示如下：
[0040] W",.
[0041] 其中g(shù)l，g]是增益權(quán)重，R(i，j)是圖像i和圖像j的重疊區(qū)域。在實(shí)際中我們使 用圖像塊的光強(qiáng)代替，將圖像分成32*32像素塊，計(jì)算圖像塊的光強(qiáng)值代替每一個像 素的光強(qiáng)。
[0042] 6)圖像融合
[0043] 使相鄰圖像平滑過渡，首先使用最大流法求出拼接縫，使拼接縫處相鄰圖像重合 像素差總和最小，即兩圖像最優(yōu)的重合處。對拼接縫兩邊像素使用加權(quán)融合算法，使拼接縫 處兩圖像能平滑過渡。
[0044] 7)全景圖首尾無縫矯正及填充拉伸處理
[0045] 由于全景圖首尾有重疊，所以對首尾1/6部分進(jìn)行surf特征點(diǎn)檢測與匹配，將對 應(yīng)點(diǎn)進(jìn)行仿射變換，使首尾水平對齊。然后將全景圖一分為二，分別水平翻轉(zhuǎn)后圖像首尾兩 邊進(jìn)行加權(quán)融合，平滑過渡。如果首尾出現(xiàn)錯位，可以通過對首尾做透視變換，上下拉伸微 調(diào)對齊。
[0046]由于拍攝時拍攝角度只達(dá)到仰角30°或者仰角45°，包含非天空的部分，如建筑 物、樹木等，更高仰角則是特征點(diǎn)很少的藍(lán)天或者運(yùn)動的白云。不同時間拍攝導(dǎo)致不同圖片 上白云位置不同，所以拼接時可能會找不到特征點(diǎn)或者特征點(diǎn)匹配錯誤而造成失敗。所以 我們采用只拍攝仰角30°或者45°的方案，信息比較少的天空部分通過填充來處理，先求 出全景圖頂部天空部分的平均值，然后全景圖高維度的100行像素值全賦值為該平均值， 然后每一列像素都向上過渡到平均值，最后對填充的天空部分進(jìn)行橫向高斯濾波，讓填充 部分過渡平滑。
[0047]低緯度部分拍攝俯角為30°，未拍攝地方的面積可視角度比較少，如果對其采集 會增加照片采集的復(fù)雜度和延長圖像拼接的時間，地面信息比較單一，或者特征點(diǎn)比較少 的情況下，也會造成拼接失敗。綜合考慮，我們規(guī)定俯角拍攝為30°，未拍攝的地面信息通 過仿射變換對全景圖向下拉伸，使視角達(dá)到60°。全景圖顯示時低于60°的空洞部分會有 logo圖片將其覆蓋，這樣就達(dá)到了水平360°，垂直180°的球形全景圖。
[0048] 最后對全景圖切片，由于三維全景視圖接口標(biāo)準(zhǔn)是4張2048*2048的圖片，所以將 全景圖縮放為8192*2048,然后水平平均切分為4份，傳入三維全景視圖中，新的場景即可 顯示出來。
[0049] (三）三維場景構(gòu)建
[0050] 本圖像拼接合成