專(zhuān)利名稱(chēng)：基于相對(duì)深度計(jì)算的畫(huà)中游方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于相對(duì)深度計(jì)算的畫(huà)中游方法。
背景技術(shù)：
基于圖像的繪制技術(shù)(Image-Based Rendering，IBR)是一種從一系列拍攝的圖像或者沒(méi)有連接關(guān)系的點(diǎn)出發(fā)來(lái)進(jìn)行繪制，從而得到較好三維漫游效果的虛擬現(xiàn)實(shí)技術(shù)。它在電影電視特技制作和娛樂(lè)廣告等方面有著廣泛和深入的應(yīng)用。但與此同時(shí)，普遍地，該技術(shù)表達(dá)一個(gè)場(chǎng)景所需的數(shù)據(jù)量過(guò)于巨大，采樣難度過(guò)大。Y.Horry于1997年提出了畫(huà)中游技術(shù)(Tour Into the Picture，TIP)。該技術(shù)可以簡(jiǎn)單地對(duì)一幅二維照片進(jìn)行漫游，較好地解決了IBR技術(shù)中的采樣問(wèn)題。畫(huà)中游技術(shù)給出了一種簡(jiǎn)單的三維模型，它由一些三維多邊形框架和公告板(billboard)組成，從而可以生成各式各樣令人悅目的高質(zhì)量3D動(dòng)畫(huà)。該技術(shù)目前已被廣泛應(yīng)用于娛樂(lè)、文物保護(hù)、廣告等各方面。
畫(huà)中游技術(shù)一般可以分為以下四個(gè)步驟 1、圖像預(yù)處理。將輸入圖像區(qū)分前后景，手動(dòng)制作前景mask圖和背景圖片。所謂前景mask圖是將圖像中前景部分摳出而形成的二維灰度圖，前景部分置為白色，其它部分為黑色。背景圖片則為去掉前景以后的背景，手動(dòng)將前景鏤空部分填充上與周?chē)尘跋鄥f(xié)調(diào)的圖案和色彩。這是開(kāi)始TIP制作過(guò)程的準(zhǔn)備。
2、構(gòu)建蜘蛛網(wǎng)格。在背景圖片上構(gòu)建蜘蛛網(wǎng)格，從而可以提供建模的基本幾何信息。蜘蛛網(wǎng)格由滅點(diǎn)(vanishing point)、內(nèi)窗口(inner window)、外窗口(outer window)和由滅點(diǎn)向四周發(fā)出的射線組成。由于透視現(xiàn)象為近大遠(yuǎn)小，因而使得三維場(chǎng)景中互相平行的直線在二維圖像中不一定平行，最終匯聚成為一點(diǎn)，即所謂滅點(diǎn)。內(nèi)窗口為視點(diǎn)無(wú)法穿過(guò)的背部矩形，外窗口則為圖像的邊框。由滅點(diǎn)出發(fā)經(jīng)過(guò)內(nèi)窗口四個(gè)頂點(diǎn)的射線和內(nèi)窗口一起，把原圖像分為五個(gè)部分——內(nèi)窗口和上下左右四個(gè)多邊形。相對(duì)應(yīng)地，分別命名為后墻(rearwall)、天花板(ceiling)、地面(floor)、左墻(left wall)、右墻(right wall)。
3、重建模。對(duì)于背景，蜘蛛網(wǎng)格所分割而成的五個(gè)部分相對(duì)應(yīng)于建模過(guò)程中的五個(gè)相鄰接的矩形?；谌齻€(gè)假設(shè)進(jìn)行重建模1)五個(gè)矩形中相鄰的矩形彼此垂直；2)三維環(huán)境中后墻矩形(rear wall)平行于視平面；3)三維環(huán)境中地面矩形(floor)垂直于視平面。重建過(guò)程中，先獲取圖像中蜘蛛網(wǎng)格的有關(guān)位置信息，進(jìn)行各個(gè)關(guān)鍵點(diǎn)(建模過(guò)程中矩形的頂點(diǎn))的三維位置計(jì)算。其中，天花板高度等信息為估計(jì)尺寸。根據(jù)計(jì)算而得的各個(gè)關(guān)鍵點(diǎn)的位置信息進(jìn)行建模，得到背景的三維盒子模型(box model)。對(duì)于前景，基于公告板(billboard)形式，使用層次多邊形進(jìn)行建模，三維位置計(jì)算與背景類(lèi)似。
4、紋理映射及渲染。假設(shè)三維矩形中的紋理都從相對(duì)應(yīng)的二維多邊形中繼承。渲染而得的輸出圖像中任意二維點(diǎn)可以找到三維模型中的對(duì)應(yīng)點(diǎn)，后者又可以找到原始圖像中的二維對(duì)應(yīng)點(diǎn)。對(duì)于前景的紋理映射，除了紋理對(duì)應(yīng)以外，還必須根據(jù)mask圖提供的信息，設(shè)置前景物體和周?chē)尘暗牟煌该髦?。因而渲染的每個(gè)點(diǎn)都可以在原圖中找到對(duì)應(yīng)的點(diǎn)，映射該點(diǎn)的色彩即可得到紋理映射的結(jié)果。
畫(huà)中游技術(shù)從一幅圖像出發(fā)，得到三維模型中的漫游效果，給人以全新的“人在畫(huà)中游”的視覺(jué)效果。但在應(yīng)用過(guò)程中，尤其是畫(huà)中游技術(shù)和全景圖技術(shù)相結(jié)合時(shí)，對(duì)畫(huà)中游技術(shù)中，在不改變視點(diǎn)位置情況下，重建的三維模型是否可以得到與原圖相同視覺(jué)效果，提出了更高的要求，這實(shí)質(zhì)上是對(duì)于重建三維模型的位置和尺寸的更精確的要求。畫(huà)中游技術(shù)的建模過(guò)程中，原有的高度等值的估計(jì)方法難以滿足需求，這直接影響到用戶(hù)在畫(huà)中游過(guò)程中的真實(shí)感。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于相對(duì)深度計(jì)算的畫(huà)中游方法。
以一幅圖像作為輸入進(jìn)行漫游，其步驟為 (1)確定圖像滅點(diǎn)數(shù)目；對(duì)圖像進(jìn)行前景背景劃分；對(duì)于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對(duì)圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格； (2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對(duì)深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度及模型相對(duì)尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算這三個(gè)子步驟； (3)根據(jù)相對(duì)深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對(duì)背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
本發(fā)明簡(jiǎn)單易用，其有益效果是，可以通過(guò)科學(xué)計(jì)算得到畫(huà)中游模型的較精確的相對(duì)位置和相對(duì)尺寸，從而在視點(diǎn)位置和角度不變的情況下，使用戶(hù)得到與原始圖像相同視覺(jué)效果的三維模型透視輸出圖像。尤其在畫(huà)中游和全景圖技術(shù)相結(jié)合的應(yīng)用中，可以得到全景圖和畫(huà)中游模型之間的無(wú)跳躍切換。
對(duì)本發(fā)明進(jìn)行實(shí)驗(yàn)檢驗(yàn)，構(gòu)造精確的三維模型，進(jìn)行相機(jī)采樣。對(duì)采樣圖像使用新的畫(huà)中游方法(為1個(gè)滅點(diǎn)圖像)，對(duì)三維模型進(jìn)行重建。在原相對(duì)深度為100.00的采樣中，表1為本發(fā)明計(jì)算得到的結(jié)果，平均誤差為2.86％ 表1結(jié)果及誤差分析實(shí)驗(yàn)1實(shí)驗(yàn)2實(shí)驗(yàn)3相對(duì)深度97.3396.7397.37誤差2.67％3.27％2.63％ 重建的三維模型在經(jīng)過(guò)透視重新渲染形成輸出圖像的過(guò)程中，其相對(duì)深度和相對(duì)尺寸的誤差影響將進(jìn)一步減小，從而得到與原始圖像相同的視覺(jué)效果。進(jìn)行實(shí)驗(yàn)檢驗(yàn)，構(gòu)造精確的三維模型，進(jìn)行相機(jī)采樣。對(duì)采樣圖像使用新的畫(huà)中游方法(為1個(gè)滅點(diǎn)圖像)，對(duì)三維模型進(jìn)行重建。在原相對(duì)深度為100.00的采樣中，表1為本實(shí)用新型計(jì)算得到的結(jié)果，平均誤差為2.86％ 表1結(jié)果及誤差分析實(shí)驗(yàn)1實(shí)驗(yàn)2實(shí)驗(yàn)3相對(duì)深度97.3396.7397.37誤差2.67％3.27％2.63％ 重建的三維模型在經(jīng)過(guò)透視重新渲染形成輸出圖像的過(guò)程中，其相對(duì)深度和相對(duì)尺寸的誤差影響將進(jìn)一步減小，從而得到與原始圖像相同的視覺(jué)效果。
圖1是基于相對(duì)深度計(jì)算的畫(huà)中游方法的流程示意圖； 圖2a～d是畫(huà)中游方法的蜘蛛網(wǎng)格示意圖； 圖3是本發(fā)明的“相對(duì)深度”定義示意圖； 圖4為本發(fā)明的一個(gè)滅點(diǎn)圖像的相對(duì)深度和模型相對(duì)尺寸的計(jì)算示意圖； 圖5是本發(fā)明的左墻實(shí)際建模細(xì)節(jié)示意圖； 圖6a～c是本發(fā)明的一個(gè)滅點(diǎn)圖像經(jīng)過(guò)計(jì)算建模渲染后的輸出圖像效果示意圖； 圖7為本發(fā)明的兩個(gè)滅點(diǎn)圖像的相對(duì)深度和模型相對(duì)尺寸的計(jì)算示意圖； 圖8a～c是本發(fā)明的兩個(gè)滅點(diǎn)圖像的漫游過(guò)程輸出圖像。
具體實(shí)施例方式 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是定義圖像平面為垂直于地面的平面。原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上。在本方案中，稱(chēng)如此放置的原始圖像為參考圖像。引入“相對(duì)深度(Relative Depth，RD)”的概念，即模型與圖像平面之間的距離深度。在畫(huà)中游技術(shù)中，“相對(duì)深度”即圖像平面與模型后墻之間的距離深度。根據(jù)透視幾何原理，在構(gòu)造蜘蛛網(wǎng)格的基礎(chǔ)上，由參考圖像的定義，可計(jì)算得到模型的相對(duì)深度。在此基礎(chǔ)上，可進(jìn)一步計(jì)算得到模型的各相對(duì)尺寸。所謂相對(duì)尺寸，即計(jì)算所得的尺寸是與參考圖像大小相對(duì)應(yīng)的模型尺寸，而非真實(shí)環(huán)境中物體的原始大小。相對(duì)深度的計(jì)算，決定了畫(huà)中游模型的位置和尺寸，也決定了用戶(hù)漫游的深度限制。
由于從單幅圖像中計(jì)算深度有一定困難，這要求一些輔助條件或者模型本身具有一定的幾何特征(如垂直或平行的直線和平面等)。我們基于以下假設(shè)提出本實(shí)用新型 (1)模型的左右墻和后墻均垂直于地面。
(2)圖像平面垂直于地面。
(3)原始圖像為相機(jī)水平采樣所得。
本發(fā)明針對(duì)不同的圖像特征，歸納了不同滅點(diǎn)數(shù)圖像的相對(duì)深度及模型尺寸計(jì)算方法。相對(duì)深度計(jì)算的基本步驟為 1、視點(diǎn)確定。確定一固定的視點(diǎn)，在該視點(diǎn)處進(jìn)行參考圖像和畫(huà)中游模型的切換。漫游過(guò)程中，所生成的新的圖像不同于原始圖像，包括視野大小、分辨率和視角等。新的生成圖像只有在該固定視點(diǎn)處才能得到與原始圖像相同的視覺(jué)效果。這意味著當(dāng)用戶(hù)要從畫(huà)中游模型切換回到原始圖像時(shí)必須回到該視點(diǎn)位置。
2、從蜘蛛網(wǎng)格獲取相對(duì)深度計(jì)算所需的數(shù)據(jù)。
3、根據(jù)不同的滅點(diǎn)數(shù)進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算。
新的畫(huà)中游方法步驟為 (1)確定圖像滅點(diǎn)數(shù)目；手工對(duì)圖像進(jìn)行前景背景劃分；對(duì)于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對(duì)圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格； (2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對(duì)深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度及模型相對(duì)尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算這三個(gè)子步驟； (3)根據(jù)相對(duì)深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對(duì)背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
如圖1所示，首先，對(duì)原始圖像確定滅點(diǎn)類(lèi)型以確定不同的相對(duì)深度及模型相對(duì)尺寸計(jì)算方法；區(qū)分其前后景，并分別對(duì)前景背景進(jìn)行預(yù)處理，形成前景mask和背景圖像。然后，在對(duì)背景圖像構(gòu)建蜘蛛網(wǎng)格的基礎(chǔ)上，根據(jù)不同的滅點(diǎn)類(lèi)型，確定模型結(jié)構(gòu)，進(jìn)行相對(duì)深度和模型相對(duì)尺寸的計(jì)算。之后，根據(jù)計(jì)算得到的數(shù)據(jù)進(jìn)行前景背景的分別建模和紋理映射。最后，定位相機(jī)，并進(jìn)行渲染輸出結(jié)果圖像。
圖2(a)為蜘蛛網(wǎng)格的各組成部分滅點(diǎn)，內(nèi)窗口，外窗口，由滅點(diǎn)出發(fā)的各條射線。圖2(b)給出了在一個(gè)滅點(diǎn)背景圖像上構(gòu)建蜘蛛網(wǎng)格的實(shí)例。圖2(c)表示蜘蛛網(wǎng)格的構(gòu)建將背景圖像分為五個(gè)部分后墻，左右墻，天花板和地面，這將直接對(duì)應(yīng)建模過(guò)程中盒子模型的各面。圖2(d)即說(shuō)明了建模后各頂點(diǎn)與蜘蛛網(wǎng)格中相關(guān)頂點(diǎn)的對(duì)應(yīng)關(guān)系，并給出了建模后的盒子模型外觀。
如圖3所示，“相對(duì)深度”定義為模型與圖像平面之間的距離深度。在畫(huà)中游技術(shù)中，“相對(duì)深度”即圖像平面與模型后墻之間的距離深度。圖像平面垂直于地平面，且參考圖像底邊在地平面上。“相對(duì)深度”確定了模型的位置(即后墻位置，也就是漫游的深度限制)，實(shí)際上也就是三維盒子模型中地面矩形的長(zhǎng)度。
在圖4所示實(shí)施例中，輸入圖像為一滅點(diǎn)圖像。圖4中，左上角為背景圖像，右上角為建模側(cè)視圖，左下角為建模頂視圖。視點(diǎn)位置在垂直于圖像平面且過(guò)滅點(diǎn)的直線上，視點(diǎn)到圖像平面的距離f可根據(jù)應(yīng)用需要設(shè)定，這樣，視點(diǎn)位置就確定了。由背景圖像的蜘蛛網(wǎng)格可以得到相對(duì)深度計(jì)算所需的有關(guān)數(shù)據(jù)信息內(nèi)窗口底邊到外窗口底邊的距離m1，滅點(diǎn)到外窗口底邊的距離vh(即視點(diǎn)高度)，滅點(diǎn)到內(nèi)窗口頂邊的距離m2，滅點(diǎn)到內(nèi)窗口左邊的距離p1，滅點(diǎn)到內(nèi)窗口右邊的距離p2。根據(jù)透視幾何原理，可以計(jì)算得到相對(duì)深度<math> <mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型寬度<math> <mrow> <mi>w</mi> <mo>=</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math> 這就得到了三維盒子模型的位置和主要的相對(duì)尺寸。除此之外，還有一些建模細(xì)節(jié)需要注意，如各個(gè)三維矩形的具體尺寸。如圖4中頂視圖和圖5所示，以左墻為例，其三維模型并不是一個(gè)d×h的矩形，而必須考慮其三維空間的可視角度，應(yīng)為一個(gè)(d-n1)×h的矩形。相類(lèi)似地，右墻模型應(yīng)為(d-n2)×h的矩形，天花板模型應(yīng)為(d-n3)×h的矩形。其中，由圖5可得，<math> <mrow> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>4</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>h</mi> <mo>-</mo> <mi>height</mi> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mo>(</mo> <mi>height</mi> <mo>-</mo> <mi>vh</mi> <mo>)</mo> </mrow> </mfrac> <mo>.</mo> </mrow> </math> 圖6為圖4所示實(shí)施例的輸出圖效果比較。圖6(a)為該示例的輸入圖像，圖6(b)為對(duì)輸入圖像進(jìn)行TIP建模后得到的模型外觀，圖6(c)是對(duì)(b)中紋理部分的放大。可見(jiàn)，在視點(diǎn)位置和角度不變的情況下，經(jīng)過(guò)本實(shí)用新型的計(jì)算和建模，可得到與原輸入圖像相同視覺(jué)效果的輸出模型。
圖7給出了另一個(gè)實(shí)施例，其輸入圖像為二滅點(diǎn)圖像。圖7中，左上角為背景圖像，右上角為建模側(cè)視圖，左下角為建模頂視圖。根據(jù)透視幾何，圖像中的兩個(gè)滅點(diǎn)必然在同一水平線上，稱(chēng)為滅線。視點(diǎn)位置在垂直于圖像平面且過(guò)兩滅點(diǎn)連線中點(diǎn)的直線上，視點(diǎn)到圖像平面的距離f可根據(jù)應(yīng)用需要設(shè)定，這就確定了視點(diǎn)位置。由背景圖像的蜘蛛網(wǎng)格可以得到相對(duì)深度計(jì)算所需的有關(guān)數(shù)據(jù)信息。經(jīng)過(guò)計(jì)算得到<math> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>4</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math> 圖8是圖7實(shí)施例經(jīng)過(guò)計(jì)算建模以后，在漫游過(guò)程中的輸出圖像效果。圖8(a)為對(duì)兩滅點(diǎn)圖像構(gòu)建網(wǎng)格，提取有關(guān)計(jì)算數(shù)據(jù)。圖8(b)為原始輸入圖像，圖8(c)為漫游過(guò)程中某一角度的輸出圖像，這是原始圖像中不能獲得的新視點(diǎn)視覺(jué)效果。
權(quán)利要求
1、一種基于相對(duì)深度計(jì)算的畫(huà)中游方法，其特征在于以一幅圖像作為輸入進(jìn)行漫游，其步驟為
(1)確定圖像滅點(diǎn)數(shù)目；對(duì)圖像進(jìn)行前景背景劃分；對(duì)于前景部分，將前景從背景中摳出，準(zhǔn)備前景mask圖；對(duì)圖像背景部分，填充前景被摳出部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格；
(2)定義圖像平面為垂直于地面的平面，原始圖像位于該圖像平面上，且置原始圖像底邊于圖像平面和地平面相交線上，相對(duì)深度，即為模型與圖像平面之間的距離深度；按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度及模型相對(duì)尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算這三個(gè)子步驟；
(3)根據(jù)相對(duì)深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對(duì)背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。
2、根據(jù)權(quán)利要求1所述的一種基于相對(duì)深度計(jì)算的畫(huà)中游方法，其特征在于所說(shuō)的視點(diǎn)確定是該視點(diǎn)為切換畫(huà)中游模型和參考圖像的固定點(diǎn)，對(duì)于一滅點(diǎn)圖像，其視點(diǎn)位于過(guò)滅點(diǎn)，且垂直于圖像平面的直線上，視點(diǎn)到圖像平面的距離f可任意確定；對(duì)于兩滅點(diǎn)圖像，兩滅點(diǎn)位于同一水平線，即滅線上，其視點(diǎn)位于過(guò)兩滅點(diǎn)連線中點(diǎn)，且垂直于圖像平面的直線上，視點(diǎn)到圖像平面的距離f可任意確定。
3、根據(jù)權(quán)利要求1所述的一種基于相對(duì)深度計(jì)算的畫(huà)中游方法，其特征在于所說(shuō)的按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算是對(duì)于一個(gè)滅點(diǎn)的圖像，由背景圖像的蜘蛛網(wǎng)格獲取以下數(shù)據(jù)信息內(nèi)窗口底邊到外窗口底邊的距離m1，滅點(diǎn)到外窗口底邊的距離vh，即視點(diǎn)高度，滅點(diǎn)到內(nèi)窗口頂邊的距離m2，滅點(diǎn)到內(nèi)窗口左邊的距離p1，滅點(diǎn)到內(nèi)窗口右邊的距離p2，滅點(diǎn)到外窗口左邊距離p3，滅點(diǎn)到外窗口右邊距離p4，外窗口高度height，又根據(jù)透視幾何原理，計(jì)算得到三維盒子模型相對(duì)深度和相對(duì)尺寸如下相對(duì)深度<math> <mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型寬度<math> <mrow> <mi>w</mi> <mo>=</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math>
4、根據(jù)權(quán)利要求1所述的一種基于相對(duì)深度計(jì)算的畫(huà)中游方法，其特征在于所說(shuō)的按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算是對(duì)于兩個(gè)滅點(diǎn)的圖像，由背景圖像的蜘蛛網(wǎng)格獲取以下數(shù)據(jù)信息滅線到內(nèi)窗口底邊距離m1，滅線到左墻底邊的距離m2，滅線到右墻底邊的距離m3，滅線到外窗口頂邊的距離m4，滅線到外窗口底邊距離vh，即視點(diǎn)高度，內(nèi)窗口寬度p1，視點(diǎn)到外窗口左邊的距離p2，視點(diǎn)到外窗口右邊的距離p3，經(jīng)過(guò)計(jì)算得到后墻相對(duì)深度<math> <mrow> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>1</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 左墻外沿相對(duì)深度<math> <mrow> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>2</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 右墻外沿相對(duì)深度<math> <mrow> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>vh</mi> <mo>-</mo> <msub> <mi>m</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>m</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> 后墻寬度<math> <mrow> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 左墻外沿寬度<math> <mrow> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>2</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 右墻外沿寬度<math> <mrow> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>d</mi> <mn>3</mn> </msub> <mo>+</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>·</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> </mrow> <mi>f</mi> </mfrac> <mo>,</mo> </mrow> </math> 模型高度<math> <mrow> <mi>h</mi> <mo>=</mo> <mi>vh</mi> <mo>+</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mn>4</mn> </msub> <mo>·</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>+</mo> <msub> <mi>d</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> <mi>f</mi> </mfrac> <mo>.</mo> </mrow> </math>
5、根據(jù)權(quán)利要求3所述的一種基于相對(duì)深度計(jì)算的畫(huà)中游方法，其特征在于所說(shuō)的一滅點(diǎn)圖像計(jì)算得到三維盒子模型是對(duì)于一滅點(diǎn)圖像，在得到盒子模型相對(duì)深度和相對(duì)尺寸數(shù)據(jù)之后，確認(rèn)盒子模型各三維矩形的具體尺寸，其左墻為一個(gè)(d-n1)×h的矩形，右墻模型為(d-n2)×h的矩形，天花板模型為(d-n3)×h的矩形，其中，<math> <mrow> <msub> <mi>n</mi> <mn>1</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>3</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>2</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <msub> <mi>p</mi> <mn>4</mn> </msub> </mfrac> <mo>,</mo> </mrow> </math> <math> <mrow> <msub> <mi>n</mi> <mn>3</mn> </msub> <mo>=</mo> <mfrac> <mrow> <mrow> <mo>(</mo> <mi>h</mi> <mo>-</mo> <mi>height</mi> <mo>)</mo> </mrow> <mo>·</mo> <mi>f</mi> </mrow> <mrow> <mo>(</mo> <mi>height</mi> <mo>-</mo> <mi>vh</mi> <mo>)</mo> </mrow> </mfrac> <mo>.</mo> </mrow> </math>
全文摘要
本發(fā)明公開(kāi)了一種基于相對(duì)深度計(jì)算的畫(huà)中游方法。其步驟為(1)確定圖像滅點(diǎn)數(shù)目；對(duì)圖像進(jìn)行前景背景劃分；對(duì)于前景部分，準(zhǔn)備前景mask圖；對(duì)圖像背景部分，制作背景圖像，并構(gòu)造蜘蛛網(wǎng)格；(2)按照滅點(diǎn)數(shù)目對(duì)背景圖像進(jìn)行相對(duì)深度及模型相對(duì)尺寸計(jì)算，其中包括視點(diǎn)確定、從蜘蛛網(wǎng)格獲取數(shù)據(jù)和進(jìn)行相對(duì)深度和相對(duì)尺寸計(jì)算這三個(gè)子步驟；(3)根據(jù)相對(duì)深度和模型尺寸的數(shù)值，進(jìn)行前景和背景的建模；并用背景圖像和前景mask圖分別對(duì)背景前景模型進(jìn)行紋理映射，并定位相機(jī)，渲染得到輸出圖像。本方法針對(duì)較規(guī)整建筑物，能夠從二維圖像中較精確地計(jì)算三維模型的相對(duì)尺寸和相對(duì)位置，能較好地解決全景圖和畫(huà)中游相結(jié)合的應(yīng)用中兩種技術(shù)切換時(shí)的融合問(wèn)題。
文檔編號(hào)G06T15/00GK1588453SQ20041005297
公開(kāi)日2005年3月2日 申請(qǐng)日期2004年7月15日 優(yōu)先權(quán)日2004年7月15日
發(fā)明者曹智清, 石教英 申請(qǐng)人:浙江大學(xué)