基于圖像的復(fù)雜三維模型繪制方法
【專利摘要】本發(fā)明提供一種基于圖像的復(fù)雜三維模型繪制方法，在包圍模型的球面上均勻選擇頂點(diǎn)作為相機(jī)坐標(biāo)位置，以球心為相機(jī)的目標(biāo)點(diǎn)，獲得模型在此采樣視角下的彩色圖像與深度圖像。根據(jù)采樣點(diǎn)坐標(biāo)對(duì)球面進(jìn)行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點(diǎn)為采樣點(diǎn)所對(duì)應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型：首先，利用參考視角的參數(shù)分別計(jì)算虛擬視角與三個(gè)參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對(duì)繪制得到的彩色圖像進(jìn)行優(yōu)化。本發(fā)明能夠滿足實(shí)時(shí)性的要求，同時(shí)得到十分逼真的繪制效果。
【專利說明】基于圖像的復(fù)雜三維模型繪制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于圖像的真實(shí)感繪制方法，主要用于復(fù)雜模型在虛擬視角下的真實(shí)感繪制。
【背景技術(shù)】
[0002]傳統(tǒng)的圖形學(xué)當(dāng)中真實(shí)感繪制的一般過程是:用戶輸入物體的幾何特性并進(jìn)行幾何建模，然后根據(jù)模型所在環(huán)境的光照信息，模型的光滑度、透明度、反射率折射率等物理屬性，以及表面紋理等，通過空間變換、透視變換等，計(jì)算得到物體在特定視角下的每個(gè)像素的顔色值。然而，這種方法的建模過程復(fù)雜，計(jì)算和顯示的開銷大，時(shí)間復(fù)雜度與模型復(fù)雜度耦合性高，不適用于復(fù)雜模型的繪制，并且難以得到逼真的繪制結(jié)果。
[0003]基于圖像的繪制方法(Image-Based Rendering.1BR)以圖像作為基本的輸入，在不進(jìn)行幾何模型重建的基礎(chǔ)上合成虛擬視角下的圖像，在視頻游戲、虛擬旅行、電子商務(wù)、エ業(yè)檢測(cè)等領(lǐng)域有著非常廣闊的應(yīng)用前景，因此也是三維圖形逼真繪制領(lǐng)域的ー個(gè)研究熱點(diǎn)。本發(fā)明所提出的基于圖像的復(fù)雜三維模型繪制方法是ー種IBR方法。
[0004]基于圖像繪制的主要方法如下:
[0005]1.幾何和圖像混合建模和繪制方法(Hybrid Geometry and Image-basedApproachノ
[0006]PaulE.Debevec (參考文獻(xiàn) 1-PaulE.Debevec, camilloj.Taylor, Jitendramake.“Modeling and rendering architecture from photographs:a hybrid geometryand imaged-based approach，，.1n SIGGRAPH96Processing of the23rdannual conferenceon computer graphics and interactive techniques.Pagel 1-20)提出的幾何和圖像混合建模和繪制方法的主要步驟如下:
[0007]a.拍攝場(chǎng)景照片，交互指定模型的邊緣；
[0008]b.生成模型的粗糙模型；
[0009]c.利用基于模型的立體視覺算法細(xì)化模型；
[0010]d.利用基于視點(diǎn)的紋理映射合成新視圖。
[0011]此過程的實(shí)例如圖4所示。這種方法的優(yōu)點(diǎn)是簡(jiǎn)單快捷，可以通過拍攝少量的照片得到的新視圖；缺點(diǎn)此過程還需要人為的指定模型的輪廓，只能適用于普通建筑物等外形規(guī)整的景物，不適用于復(fù)雜模型。
[0012]2.視圖插值、變換的方法(View Interpolation、Transaction)
[0013]視圖插值、變換方法直接利用參考點(diǎn)的照片生成虛擬視角下的圖像。視圖插值、變換方法(參考文獻(xiàn) 2-Geetha Ramachandran, Markus Rupp.“MultiViewSynthesis From Stereo Views”.1n IWSSIP2012, ll-13April2012, PP.341-PP.345.參考文獻(xiàn) 3-Ankit K.Jain, Lam C.Tran, RamsinKhoshabeh, Truong Q.Nguyen, EfficientStereo-to-Multiview Synthesis,ICASSP2011.PP.889-PP.892.參考文獻(xiàn) 4_S.C.Chan, A.C.Bovik, H.R.Sheikh, and E.P.SimomCelli, “Image-Based Rendering andsynthesis” , IEEE Signal Process, Mag, vol.24, n0.6, PP.22-PP.33)的輸入是兩個(gè)視角下的規(guī)整化的彩色圖像與深度圖像，輸出的是位于兩個(gè)參考點(diǎn)所決定的直線上(基線，Baseline)的虛擬視角下的圖像，具體的過程如下:
[0014]a.立體匹配，生成最初的合成視角圖像；
[0015]b.優(yōu)化處理，根據(jù)邊緣檢測(cè)找到可能的空洞點(diǎn)；
[0016]c.填充生成合成視角所對(duì)應(yīng)的深度圖；
[0017]d.圖像重建，根據(jù)深度圖像填充彩色圖像空洞。
[0018]此方法的實(shí)例如圖5所示。這種方法的優(yōu)點(diǎn)是過程簡(jiǎn)単，生成圖像的信噪峰值比高(信噪峰值比(PSNR)，表征處理后的圖像與處理前圖像的相似度。信號(hào)峰值比越高，說明合成圖像的真實(shí)度越強(qiáng))，并且能夠出色的填補(bǔ)空洞。但是此方法只能產(chǎn)生位于基線上的虛擬視角的圖像，而且對(duì)圖片進(jìn)行規(guī)整化操作會(huì)引入投影誤差，只能生成近似的中間圖像。

【發(fā)明內(nèi)容】

[0019]現(xiàn)有的三維模型真實(shí)感繪制方法存在以下缺點(diǎn):基于幾何的方法存在模型獲取與重建過程復(fù)雜，繪制過程受模型復(fù)雜度、模型光照屬性影響大，繪制效果真實(shí)感不強(qiáng)，不適用于復(fù)雜模型的繪制；基于圖像的繪制方法，合成視角被局限在兩個(gè)參考視角之間的基線上，無法生成物體在任意視角下的圖像。
[0020]針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提出基于圖像的復(fù)雜三維模型繪制方法，其包含如下過程:
[0021](I)虛擬視角的標(biāo)定:根據(jù)采樣點(diǎn)相機(jī)位置坐標(biāo)對(duì)包圍模型的球面進(jìn)行三角劃分，確定虛擬視角所在的三角面片，取此三角面片的三個(gè)頂點(diǎn)所對(duì)應(yīng)的視角為參考視角，虛擬視角可以被表示成參考視角的線性組合；
[0022](2)計(jì)算與繪制:根據(jù)虛擬視角、參考視角的位置和相機(jī)參數(shù)，計(jì)算三個(gè)參考視角圖像中每個(gè)像素的坐標(biāo)與虛擬視角下的像素坐標(biāo)之間的映射關(guān)系；根據(jù)映射關(guān)系，將參考視角下彩色圖像中的每ー個(gè)像素映射到虛擬視角下的圖像中，計(jì)算該像素在虛擬視角下圖像中的坐標(biāo)和深度值，對(duì)于有多個(gè)參考視角的像素映射到同一位置的情況，取深度值小的像素值；同時(shí)標(biāo)記虛擬視角下圖像中所有已被參考視角像素填充的像素，構(gòu)造一幅反映從參考視角到虛擬視角映射情況的灰度圖；
[0023](3)圖像的優(yōu)化:對(duì)于虛擬視角下圖像中的空洞，即經(jīng)過(2)計(jì)算沒有參考圖像映射到該位置的像素，從反映參考視角到虛擬視角映射情況的灰度圖中提取邊緣輪廓信息，沿著邊緣輪廓對(duì)生成的彩色圖像進(jìn)行中值濾波，用鄰居像素的值填補(bǔ)空洞；同時(shí)，通過中值濾波過濾掉噪聲像素。
[0024]其中，通過步驟(I)實(shí)現(xiàn)對(duì)虛擬視角的標(biāo)定，確定用于虛擬視角繪制的參考視角，通過步驟(2)建立參考視角下的像素到虛擬視角下像素之間的映射關(guān)系，實(shí)現(xiàn)對(duì)虛擬視角下的復(fù)雜模型繪制。
[0025]其中，在步驟⑵與步驟⑶中使用CUDA (Compute Unified DeviceArchitecture,統(tǒng)ー計(jì)算設(shè)備架構(gòu))并行計(jì)算，加速虛擬視角下的繪制與優(yōu)化速度，達(dá)到實(shí)時(shí)交互的要求。
[0026]本發(fā)明的原理在于:[0027]本發(fā)明提供一種基于圖像的復(fù)雜三維模型繪制方法，在包圍模型的球面上均勻選擇頂點(diǎn)作為相機(jī)坐標(biāo)位置，以球心為相機(jī)的目標(biāo)點(diǎn)，獲得模型在此采樣視角下的彩色圖像與深度圖像。根據(jù)采樣點(diǎn)坐標(biāo)對(duì)球面進(jìn)行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點(diǎn)為采樣點(diǎn)所對(duì)應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型:首先，利用參考視角的參數(shù)分別計(jì)算虛擬視角與三個(gè)參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對(duì)繪制得到的彩色圖像進(jìn)行優(yōu)化。在整個(gè)繪制過程中使用了 CUDA加速，實(shí)現(xiàn)了對(duì)圖像的并行快速處理。本發(fā)明能夠滿足實(shí)時(shí)性的要求，同時(shí)得到十分逼真的繪制效果。
[0028]本發(fā)明與現(xiàn)有的技術(shù)相比，優(yōu)點(diǎn)如下:
[0029](I)本發(fā)明的虛擬視角可以在空間當(dāng)中任意的移動(dòng)。利用三個(gè)參考點(diǎn)對(duì)虛擬視角下的模型進(jìn)行繪制，這樣既可以保證虛擬視角能夠在水平與豎直兩個(gè)維度上自由的移動(dòng)，又最大限度的降低算法的輸入量與存儲(chǔ)開銷；
[0030](2)本發(fā)明提出的繪制方法非常穩(wěn)定，算法的時(shí)間復(fù)雜度與場(chǎng)景的復(fù)雜度耦合性低，尤其適用于復(fù)雜模型的繪制。
【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明所采用的流程圖；
[0032]圖2為本算法的原理示意圖；
[0033]圖3當(dāng)虛擬視角在某個(gè)三角面片的內(nèi)部時(shí)，虛擬視角與參考點(diǎn)視角的位置關(guān)系；
[0034]圖4正變換矩陣與逆變換矩陣；
[0035]圖5為幾何和圖像混合建模過程，其中:(a)是通過交互確定被重建物體的輪廓，(b)是得到物體的粗糙模型，(C)是用基于模型的立體視覺算法細(xì)化模型，(d)是通過基于視點(diǎn)的紋理映射得到最終的場(chǎng)景；
[0036]圖6為視差圖方法的實(shí)例，最初的輸入圖像是規(guī)整化的彩色圖像(圖中是該彩色圖像的灰度圖的示意圖)，初始生成圖是經(jīng)過像素映射與填充過程后得到了彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意方框內(nèi)的空洞，算法的最終輸出是空洞填補(bǔ)過后的彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意方框內(nèi)的空洞已經(jīng)被消除；
[0037]圖7經(jīng)過初步映射填充后的虛擬視角的彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意模型周邊的噪聲的內(nèi)部的空洞；
[0038]圖8經(jīng)過初步映射填充后的虛擬視角的灰度圖，注意模型周邊的噪聲與內(nèi)部的空洞；
[0039]圖9進(jìn)過膨脹、差值操作之后的邊緣圖；
[0040]圖10簡(jiǎn)單的對(duì)所有像素進(jìn)行中值濾波之后的結(jié)果；
[0041]圖11只對(duì)邊緣像素進(jìn)行中值濾波之后的結(jié)果，與圖10相比，圖11更好的保存了細(xì)節(jié)信息，真實(shí)更強(qiáng)；
[0042]圖12是發(fā)明實(shí)例的部分輸入圖像，上方三張圖片是輸入圖像示意圖，輸入圖像可以為彩色圖像，圖中未顯示，下方三張圖片是分別與之對(duì)應(yīng)的深度圖；
[0043]圖13是發(fā)明實(shí)例的部分輸出圖像，輸出的圖片是由本發(fā)明所提出的繪制方法合成的。
【具體實(shí)施方式】
[0044]下面結(jié)合附圖及具體實(shí)施例進(jìn)ー步說明本發(fā)明。
[0045]1.一種基于深度圖像的真實(shí)感繪制方法:
[0046]針對(duì)由均勻分布在包圍模型的球面上，包含相機(jī)視角參數(shù)、相機(jī)視角下的深度圖、彩色圖的采樣點(diǎn)來表示的三維模型，根據(jù)采樣點(diǎn)坐標(biāo)對(duì)球面進(jìn)行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點(diǎn)為采樣點(diǎn)所對(duì)應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型:首先，利用參考視角的參數(shù)分別計(jì)算虛擬視角與三個(gè)參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對(duì)繪制得到的彩色圖像進(jìn)行優(yōu)化。在整個(gè)繪制過程中使用了 CUDA加速，實(shí)現(xiàn)了對(duì)圖像的并行快速處理。具體實(shí)施過程如下:
[0047]1.虛擬視角的標(biāo)定模塊
[0048]在本發(fā)明中，以不同采樣點(diǎn)的深度圖像、彩色圖像與采樣點(diǎn)相機(jī)參數(shù)表示物體的三維模型。三維模型M用ー個(gè)二元組〈K，V〉表示，其中K是ー單純復(fù)形，表示了采樣點(diǎn)的連接關(guān)系；V表示采樣點(diǎn)的集合，V = (Vi I i = 1，2，3...1VI I), IVI表示采樣點(diǎn)的個(gè)數(shù)W =(Ci, (Ii, Pi)表示第i個(gè)采樣點(diǎn)，Ci和(Ii分別表示第i個(gè)采樣點(diǎn)彩色圖像和深度圖像，Pi表示了第i個(gè)采樣點(diǎn)的相機(jī)參數(shù)，Pi = (Pci, Poi, asp^ fov^ Zni, Zfi)，Pci表示相機(jī)位置，Poi表示相機(jī)目標(biāo)位置，asPi表示相機(jī)視野的縱橫比，fov,表示相機(jī)的視野的廣度，Zni, Zfi分別表示相機(jī)有效深度的最小值與最大值。
[0049]在繪制虛擬視角下的模型之前，需要求出與虛擬視角最近的三個(gè)采樣點(diǎn)，即進(jìn)行虛擬視角的標(biāo)定。因?yàn)樗械牟蓸狱c(diǎn)在包圍物體的球面上是均勻分布的，在球面按照采樣點(diǎn)坐標(biāo)進(jìn)行三角劃分后，只需要確定虛擬視角所在的三角面片，則以此三角面片三個(gè)頂點(diǎn)就是所需的最近采樣點(diǎn)，這三個(gè)最近采樣點(diǎn)被稱為虛擬視角的參考點(diǎn)。
[0050]< V1, V2, V3 > = f (v)(I)
[0051]其中，V是虛擬視角，< V1, V2, V3 >是虛擬視角所在的三角面片，V1, V2, V3是V的參考點(diǎn)。在本發(fā)明中，通過求解從虛擬視角相機(jī)位置指向球心的向量與逼近包圍物體球面的多面體的交點(diǎn)，根據(jù)交點(diǎn)所在的三角面片確定三個(gè)最近參考點(diǎn)。
[0052]虛擬視角與參考點(diǎn)有如圖3所示的位置關(guān)系。由解析幾何的知識(shí)可知，在圖3所示的位置關(guān)系下，虛擬視角可以由參考點(diǎn)線性合成，且滿足:
[0053]
【權(quán)利要求】
1.基于圖像的復(fù)雜三維模型繪制方法，其特征包含如下過程: (1)虛擬視角的標(biāo)定:根據(jù)采樣點(diǎn)相機(jī)位置坐標(biāo)對(duì)包圍模型的球面進(jìn)行三角劃分，確定虛擬視角所在的三角面片，取此三角面片的三個(gè)頂點(diǎn)所對(duì)應(yīng)的視角為參考視角，虛擬視角可以被表示成參考視角的線性組合； (2)計(jì)算與繪制:根據(jù)虛擬視角、參考視角的位置和相機(jī)參數(shù)，計(jì)算三個(gè)參考視角圖像中每個(gè)像素的坐標(biāo)與虛擬視角下的像素坐標(biāo)之間的映射關(guān)系；根據(jù)映射關(guān)系，將參考視角下彩色圖像中的每一個(gè)像素映射到虛擬視角下的圖像中，計(jì)算該像素在虛擬視角下圖像中的坐標(biāo)和深度值，對(duì)于有多個(gè)參考視角的像素映射到同一位置的情況，取深度值小的像素值；同時(shí)標(biāo)記虛擬視角下圖像中所有已被參考視角像素填充的像素，構(gòu)造一幅反映從參考視角到虛擬視角映射情況的灰度圖； (3)圖像的優(yōu)化:對(duì)于虛擬視角下圖像中的空洞，即經(jīng)過(2)計(jì)算沒有參考圖像映射到該位置的像素，從反映參考視角到虛擬視角映射情況的灰度圖中提取邊緣輪廓信息，沿著邊緣輪廓對(duì)生成的彩色圖像進(jìn)行中值濾波，用鄰居像素的值填補(bǔ)空洞；同時(shí)，通過中值濾波過濾掉噪聲像素。
2.根據(jù)權(quán)利要求1中所述的基于圖像的復(fù)雜三維模型繪制方法，其特征在于:通過步驟(I)實(shí)現(xiàn)對(duì)虛擬視角的標(biāo)定，確定用于虛擬視角繪制的參考視角，通過步驟(2 )建立參考視角下的像素到虛擬視角下像素之間的映射關(guān)系，實(shí)現(xiàn)對(duì)虛擬視角下的復(fù)雜模型繪制。
3.根據(jù)權(quán)利要求1或2中所述的基于圖像的復(fù)雜三維模型繪制方法，其特征在于:在步驟(2)與步驟(3)中使用CUDA并行計(jì)算，加速虛擬視角下的繪制與優(yōu)化速度，達(dá)到實(shí)時(shí)交互的要求。
【文檔編號(hào)】G06T19/00GK103530907SQ201310497271
【公開日】2014年1月22日 申請(qǐng)日期:2013年10月21日 優(yōu)先權(quán)日:2013年10月21日
【發(fā)明者】向開兵, 郝愛民, 吳偉和, 李帥, 王德志 申請(qǐng)人:深圳市易尚展示股份有限公司, 北京航空航天大學(xué)