一種在虛擬視點合成中選取和填補(bǔ)合理映射點方法
【專利摘要】本發(fā)明公開了一種在虛擬視點合成中選取和填補(bǔ)合理映射點方法,包括重合判別與處理步驟、壞點差別與處理步驟和裂紋空洞填補(bǔ)步驟。與現(xiàn)有的視點合成原有技術(shù)相比,本發(fā)明在選取映射位置重復(fù)的像素點時,排除了噪聲的干擾,能夠有效的區(qū)分背景點與前景點,明顯提高了映射后的像素點的準(zhǔn)確性;對映射點是否是壞點做了有效的判斷,提高了映射的準(zhǔn)確性;在填補(bǔ)映射產(chǎn)生的裂紋空洞時,引入相關(guān)性很高的像素點信息,并結(jié)合前景背景的相關(guān)性,提高了用于填補(bǔ)裂紋空洞的信息的準(zhǔn)確性。本發(fā)明克服了現(xiàn)有3D合成技術(shù)中映射處理方法的缺陷,提供一種可靠地選取映射像素點和填補(bǔ)裂紋空洞方法,從而使映射后的圖像像素點準(zhǔn)確,使得到的虛擬視點質(zhì)量進(jìn)一步提高。
【專利說明】
-種在虛擬視點合成中選取和填補(bǔ)合理映射點方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明設(shè)計設(shè)計3D視頻合成領(lǐng)域,更具體地,設(shè)及虛擬視點3維映射時,關(guān)于如何 處理重合映射點、處理單獨映射點和填補(bǔ)映射點裂紋空桐的方法。
【背景技術(shù)】
[0002] 隨著科學(xué)技術(shù)和信息技術(shù)W及網(wǎng)絡(luò)多媒體技術(shù)的不斷發(fā)展,人們對視覺和聽覺質(zhì) 量的要求越來越高,迫切需要獲得越來越多的圖像和視頻多媒體信息,高清視頻和超高清 視頻開始逐漸被普遍關(guān)注。同時人們對于世界的認(rèn)知也在不斷改變,傳統(tǒng)的二維視覺早已 不能滿足人們對于Ξ維物體的要求。3D技術(shù)在很多方面都有廣闊的應(yīng)用前景,包括醫(yī)學(xué)、工 業(yè)、軍事等方面都有很大需求。虛擬視點合成技術(shù)作為3D顯示中的關(guān)鍵技術(shù),成為了視頻領(lǐng) 域的研究熱點之一。
[0003] 現(xiàn)有的虛擬視點合成技術(shù)中方法采用的是DIBR技術(shù),在DIBR技術(shù)中的映射部分, 采用的是3維坐標(biāo)轉(zhuǎn)換的方式。如圖1,通過像素坐標(biāo)系和圖像坐標(biāo)系運(yùn)兩個坐標(biāo)系,將世界 坐標(biāo)系與像素坐標(biāo)系建立矩陣轉(zhuǎn)換關(guān)系,如式(1)所示。
[0004]
[0005] 其中,[u,v,l]T表示像素坐標(biāo)系坐標(biāo),[Χ,Υ,Ζ,1]τ表示世界坐標(biāo)系坐標(biāo),[x,y]T為 圖像坐標(biāo)系中的坐標(biāo);U0、V0表示的是圖像坐標(biāo)系的原點在像素坐標(biāo)系中的位置,f表示相機(jī) 的焦距,R表示相機(jī)的旋轉(zhuǎn)矩陣,t表示相機(jī)的平移矩陣,Z。表示空間深度。
[0006] 式(1)完成的是從世界坐標(biāo)系向像素坐標(biāo)系的映射,也就是從世界坐標(biāo)系向虛擬 視點的映射,從原視點向世界坐標(biāo)系映射時,使用的是式(1)的逆變換。由式(1)可W得出相 應(yīng)的不同坐標(biāo)系之間轉(zhuǎn)換的矩陣關(guān)系,運(yùn)樣也就可W通過坐標(biāo)轉(zhuǎn)換,從原視點向虛擬視點 完成3維映射轉(zhuǎn)換。
[0007] 在現(xiàn)有的虛擬視點合成技術(shù)中,第一,對于映射點發(fā)生重合現(xiàn)象的處理僅考慮了 空間深度的大小,直接比較深度值,保留深度值大的點,而將深度值小的點拋棄,沒有考慮 到深度圖有可能會存在誤差。因為深度圖存在誤差,使原本深度值應(yīng)該相同的不同像素點 的深度值變得不一樣,運(yùn)樣如果運(yùn)兩個點在映射后是重合點,在處理時僅僅考慮深度值,就 會在選取點上產(chǎn)生誤差,造成最后結(jié)果的不準(zhǔn)確。
[000引第二,原視點的像素點映射后在虛擬視點中的映射位置如果沒有像素點,但運(yùn)個 映射后的像素點映射位置兩邊已經(jīng)有了映射后的像素點,現(xiàn)有方法是直接將運(yùn)一映射點投 影過來,并沒有判斷運(yùn)一點是否是壞點。如果映射點是壞點,那么此時將會產(chǎn)生映射錯誤。
[0009]第Ξ,在前后兩次映射點完成映射時,如果兩次映射的水平坐標(biāo)位置差小于當(dāng)前 虛擬視點合成時設(shè)置的裂紋寬度,那么兩點之間存在的裂紋空桐即可用前后兩點的值進(jìn)行 填補(bǔ)?,F(xiàn)有做法是,只采用上一次像素點的值填補(bǔ)當(dāng)前裂紋空桐點的值。運(yùn)樣會忽略掉運(yùn)一 次映射點的信息,造成信息的缺失,對最后結(jié)果產(chǎn)生較大的誤差。
【發(fā)明內(nèi)容】
[0010] 本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有3D合成技術(shù)中映射處理方法的缺陷,提供 一種可靠地選取映射像素點和填補(bǔ)裂紋空桐方法,從而使映射后的圖像像素點準(zhǔn)確,使得 到的虛擬視點質(zhì)量進(jìn)一步提高。
[0011] 本發(fā)明提出的一種在虛擬視點合成中選取和填補(bǔ)合理映射點方法,包括如下步 驟:
[0012] (1)將像素點從原視點坐標(biāo)系向虛擬視點坐標(biāo)系完成3維映射,求出原視點圖像中 像素點在虛擬視點坐標(biāo)系中的映射位置;
[0013] (2)判別該映射位置是否已經(jīng)存在像素點,是則按下述改進(jìn)z-buffer算法處理,否 則轉(zhuǎn)步驟(3);
[0014] (2-1)判別映射來的像素點與原已存在的像素點深度值之差的絕對值是否小于預(yù) 設(shè)的噪聲闊值N,是則認(rèn)為兩點共面,屬于重合,轉(zhuǎn)步驟(2-2);否則,認(rèn)為運(yùn)兩個點是不同平 面上的點,根據(jù)前景會遮擋背景的原理,保留深度值大的像素信息,即保留前景的像素信 息,轉(zhuǎn)步驟(5);
[0015] (2-2)分別求取兩個點與周圍相鄰像素點的彩色值之差的和,選取與四周相鄰像 素點平均彩色值差值較小的點為當(dāng)前映射位置的像素點,轉(zhuǎn)步驟(5);
[0016] (3)映射位置無像素點處理步驟如下:
[0017] (3-1)對左右兩邊像素點求取平均值,如式(2)所示。
[001 引 Davg=(Dl+Dr)/2 (2)
[0019]其中Davg表示左右兩邊象素點的深度值均值;Dl、Dr分別為左右兩邊象素點的深度 值;
[0020] (3-2)如果當(dāng)前映射點的深度值D與左右像素點深度的平均值DAvg之差的絕對值大 于闊值M,且左右像素點深度之差小于闊值M,那么判斷當(dāng)前點為壞點,此時用左右兩個像素 點的均值信息來填補(bǔ)當(dāng)前映射位置缺失的像素信息,轉(zhuǎn)步驟(4);否則轉(zhuǎn)(3-3)
[0021] (3-3)如果當(dāng)前映射的像素點的深度值D與左右像素點深度的平均值DAvg之差的絕 對值小于闊值M,或者左右像素點的深度之差大于闊值M,當(dāng)前映射的像素點判別為好點,此 時用從原視點圖像中映射過來的像素點的像素信息填補(bǔ)當(dāng)前映射位置缺失的像素信息;轉(zhuǎn) 步驟(4);
[0022] (4)裂紋空桐填補(bǔ),包括如下子步驟:
[002;3] (4-1 ;)在每次映射后,計算裂紋空桐點的數(shù)量Δ P = Pi-Pi-i,P康示當(dāng)前映射點的水 平方向的映射位置,Pi-i表示上一映射點的水平方向的映射位置;
[0024] 判別裂紋空桐點的數(shù)量ΔΡ是否小于或等于裂紋闊值W,是則轉(zhuǎn)(4-2)進(jìn)行裂紋空 桐填補(bǔ);否則不進(jìn)行裂紋空桐填補(bǔ),轉(zhuǎn)步驟(5);
[0025] (4-2)對前后兩次映射的像素點的深度求差,判別差的絕對值是否小于闊值M;是 則認(rèn)為運(yùn)兩個點是同一平面,用運(yùn)兩點的均值信息填補(bǔ)裂紋空桐信息;否則用運(yùn)兩個點中 位于背景的像素點的像素信息填補(bǔ)當(dāng)前裂紋空桐;
[0026] (5)本次選取和填補(bǔ)映射點結(jié)束。
[0027] 優(yōu)先地,步驟(2)所述噪聲闊值N= (Dmax-Dmin)*0.02,Dmax表示空間深度值組成的深 度圖中最大的深度值,DMin表示空間深度值組成的深度圖中最小的深度值;步驟(3)中所述 闊值Μ = (Davg-DMin) *0.05;所述步驟(4)裂紋闊值W取值為2。N取值過大,會擴(kuò)大噪聲的取值 范圍,將正確的深度差納入到噪聲中,引入較大誤差;N取值過小,會縮小噪聲的取值范圍, 將一部分噪聲當(dāng)成正確的深度差,降低運(yùn)一算法的效果。Μ取值過大,會增加噪聲的冗余,降 低壞點率的產(chǎn)生,將壞點W正確的像素點的方式處理;Μ取值過小,會降低噪聲的冗余,增加 壞點的產(chǎn)生率,將正確的像素點W壞點的方式處理。W取值過大,會將大區(qū)域的空桐當(dāng)作裂 紋空桐處理,降低填補(bǔ)空桐的準(zhǔn)確性;W取值過小,會將小區(qū)域的裂紋空桐當(dāng)作大區(qū)域空桐 處理,增加空桐填補(bǔ)的工作量。
[0028] 本發(fā)明中,所述像素信息包含深度和彩色信息。所述裂紋空桐指的是彩色值和深 度值都是0。
[0029] 本發(fā)明中圖像采用YUV格式,YUV格式的彩色圖片被分成Ξ個通道:Y、U、V,其中Υ通 道代表亮度值,U、V通道代表色度值。
[0030] 總體而言,通過本發(fā)明所構(gòu)思的W上技術(shù)方案與現(xiàn)有的視點合成原有技術(shù)相比, 具備W下的優(yōu)勢:
[0031] a.在選取映射位置重復(fù)的像素點時,能夠有效的區(qū)分背景點與前景點,對位于相 同平面的像素點能夠有合理的處理方式,對不同平面的像素點也能夠有效地選取合理的像 素點,運(yùn)樣明顯提高了映射后的像素點的準(zhǔn)確性;
[0032] b.在映射時,對映射點是否是壞點做了有效的判斷,運(yùn)樣,在選取點時能夠根據(jù)不 同映射位置選取合理的像素點,提高了映射的準(zhǔn)確性;
[0033] C.在填補(bǔ)映射產(chǎn)生的裂紋空桐時,引入相關(guān)性很高的像素點信息,并合理運(yùn)用運(yùn) 些信息,同時結(jié)合前景背景的相關(guān)性,提高了用于填補(bǔ)裂紋空桐的信息的準(zhǔn)確性。
[0034] 綜上所述,可W看出新方法能夠有效的改善原有方法的不足,是最終的合成結(jié)果 得到明顯的改善。
【附圖說明】
[0035] 圖1是虛擬視點合成時Ξ維坐標(biāo)轉(zhuǎn)換中四種坐標(biāo)系關(guān)系;
[0036] 圖2是本方法的算法流程;
[0037] 圖3是不同像素點映射后重合的現(xiàn)象分析;
[0038] 圖4是映射點的映射位置沒有像素點,但兩邊有像素點的現(xiàn)象分析;
[0039] 圖5是每次映射后填補(bǔ)裂紋空桐的現(xiàn)象分析。
【具體實施方式】
[0040] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白,W下結(jié)合附圖及實施案例, 對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明講解。應(yīng)當(dāng)理解,此處所描述的具體實施案例僅僅用W解釋 本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個實施方式中所設(shè)及到的技術(shù) 特征只要彼此之間未構(gòu)成沖突就可W相互結(jié)合。
[0041] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)闡述:
[0042] 如圖2所示提供了對于映射點發(fā)生重合現(xiàn)象的處理方法。左邊是原視點中的某個 像素點A(x,y)(深度值為D邱A,彩色信息為ColA),該點經(jīng)過Ξ維映射后,投影到虛擬視點中 (i,j)位置。因為(i,j)位置已經(jīng)存在之前像素點映射的像素點W i,j)(深度值為DepV,彩色 信息為ColV),所W發(fā)生映射重合現(xiàn)象。此時對重合點進(jìn)行選擇。
[0043] 選擇過程如下:
[0044] 第一步,求取4^,7)與八1,如的深度差70,其中70 = 0邱4-06口¥。
[0045] 第二步,利用式(3)判斷運(yùn)兩點是否處于同一平面。其中噪聲闊值N表示背景前景 的深度差。
[0046]
(3;
[0047] 第Ξ步,進(jìn)行重合點選擇。
[004引當(dāng)Mark等于-1時,表示像素點V(i,j)是前景點,像素點A(X,y)是背景點,此時選擇 像素點W i,j)作為當(dāng)前點,舍棄像素點A(X,y)。
[0049] 當(dāng)Mark等于1時,表示像素點A(X,y)是前景點,像素點V( i,j)是背景點,此時選擇 像素點A(X,y)作為當(dāng)前點,舍棄像素點W i,j)。
[0050] 當(dāng)Mark等于0時,表示像素點A(x,y)和像素點να,j)處于同一平面。此時利用式 (4)分別求出像素點A(x,y)V(i,j)與周圍像素點的彩色值的變化度VCa和70。如果▽〔&< ▽0,選擇像素點A(x,y)作為當(dāng)前點,舍棄像素點να,j);如果704)70,選擇像素點να, j)作為當(dāng)前點,舍棄像素點A(X,y)。
[0051 ]
(4)
[0052] 如圖3所示,提供了判斷映射點在虛擬視點中是否是壞點的方法。上方像素點A(x, y)是參考圖像中的像素點,經(jīng)過Ξ維坐標(biāo)變換后,映射到虛擬視點中(i,j)位置。此位置不 存在像素點,但是(i-lj)和(i+lj)兩個位置存在像素點V(i-l,j)和V(i+l,j)。此時利用V (i-1,j)和八i+1,j)判斷A( X,y)是否是壞點。判斷過程如下所示:
[0053] 第一步,求出左右相鄰位置的像素點深度平均值Davg,其中Davg = (Dv(i-1, j) + Dv(i+i,j))/2;
[0054] 第二步,利用式(5)求出前景背景深度差的闊值Μ;
[0化引 M=(DAvg-DMin)*0.05 (5)
[0056]第Ξ步,利用式(6)判斷當(dāng)前映射點是否是壞點;
[0化7]
[0058] 當(dāng)像素點V (i -1,j)和V (i+1,j)的深度差小于闊值Μ,并且像素點A (X,y)的深度值 與Davg的差大于闊值Μ時,判定像素點A(x,y)是壞點,此時將標(biāo)志位sign設(shè)置為1。
[0059] 當(dāng)像素點V(i-1,j)和V(i+1,j)的深度差大于闊值Μ,或者像素點A(X,y)的深度值 與Davg的差小于闊值Μ時,判定像素點A( X,y)是正確的像素點,此時將標(biāo)志位S ign設(shè)置為0。
[0060] 第四步,利用式(7)求出當(dāng)前映射位置的像素信息。
[0061]
[0062] 如圖4所示提供填補(bǔ)裂紋空桐的方法。原視點中兩個連續(xù)的像素點A(x-l,y)和A (x,y)經(jīng)過Ξ維坐標(biāo)變換后,分別映射到虛擬視點中的(i-lj)和(i+lj)兩個位置,中間位 置(i J)沒有像素點存在,此時對其進(jìn)行裂紋空桐填補(bǔ)。填補(bǔ)方法如下:
[0063] 第一步,通過式(8)求出前后兩次映射位置的差ΔΡ;
[0064] AP = Pi+i-Pi (8)
[0065] 第二步,判斷ΔΡ是否小于裂紋闊值寬度W;如果小于等于W,則進(jìn)行裂紋空桐填補(bǔ), 如果大于W則不進(jìn)行該算法;
[0066] 第Ξ步,運(yùn)里ΔΡ等于1,小于W,利用式(9)判斷像素點A(x-l,y)和A(x,y)是否處于 相同平面。如果兩點深度差小于闊值M,則將mark設(shè)置為1,如果兩點深度差大于闊值M,則將 Mark設(shè)置為0。
[0067]
[0068] 第四步,如果像素點A(x-l,y)和A(x,y)處于相同平面,那么利用運(yùn)兩個像素點的 均值信息填補(bǔ)裂紋空桐;如果像素點A(x-l,y)和A(x,y)沒有處于相同平面,那么利用處于 背景點的像素點填補(bǔ)裂紋空桐。如式(10)所示。
[0069]
[0070] 本實施例中噪聲闊值N=(Dmax-Dmin)*0.02,Dmax表示空間深度值組成的深度圖中最 大的深度值,DMin表示空間深度值組成的深度圖中最小的深度值;裂紋闊值W取值為2。
[0071] 通過W上方法,能夠合理有效的區(qū)分背景點與前景點,并選取合適的像素點填補(bǔ) 當(dāng)前點的信息,從而提高Ξ維坐標(biāo)轉(zhuǎn)換的效率和準(zhǔn)確率,使最終合成的虛擬視點圖的質(zhì)量 相比原方法更好。
[0072] 本領(lǐng)域的技術(shù)人員容易理解,W上所述僅為本發(fā)明的特殊情況,并不W限制本發(fā) 明,凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明 的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1. 一種在虛擬視點合成中選取和填補(bǔ)合理映射點方法,其特征在于,包括如下步驟: (1) 將像素點從原視點坐標(biāo)系向虛擬視點坐標(biāo)系完成三維映射,求出原視點圖像中像 素點在虛擬視點坐標(biāo)系中的映射位置; (2) 判別該映射位置是否已經(jīng)存在像素點,是則存在映射重合,按下述改進(jìn)Z-buffer算 法處理;否則轉(zhuǎn)步驟(3); (2-1)判別映射來的像素點與原已存在的像素點深度值之差的絕對值是否小于預(yù)設(shè)的 噪聲閾值N,是則認(rèn)為兩點共面,屬于重合,轉(zhuǎn)步驟(2-2);否則,認(rèn)為這兩個點是不同平面上 的點,根據(jù)前景會遮擋背景的原理,保留深度值大的像素信息,即用位于前景的像素信息作 為映射點像素信息,轉(zhuǎn)步驟(5); (2-2)分別求取映射來的像素點與原已存在的像素點與周圍相鄰像素點的彩色值之差 的和,選取與四周相鄰像素點平均彩色值差值較小的點為當(dāng)前映射位置的像素點,轉(zhuǎn)步驟 (5); (3) 無映射重合處理步驟如下: (3-1)對左右兩邊像素點求取平均值,Davg= (Di+Dr)/2,其中Davg表示左右兩邊象素點的 深度值均值;Di、Dr分別為左右兩邊象素點的深度值; (3-2)如果當(dāng)前映射點的深度值D與Davg之差的絕對值大于閾值Μ,且左右像素點深度之 差小于閾值Μ,那么判定當(dāng)前點為壞點,此時用本次映射的左右兩個像素點的均值信息來填 補(bǔ)當(dāng)前映射位置缺失的像素信息,轉(zhuǎn)步驟(4);否則轉(zhuǎn)(3-3); (3-3)如果當(dāng)前映射的像素點的深度值D與左右像素點深度的平均值Davg之差的絕對值 小于閾值M,或者左右像素點的深度之差大于閾值M,當(dāng)前映射的像素點判別為好點,此時用 從原視點圖像中映射過來的像素點的像素信息填補(bǔ)當(dāng)前映射位置缺失的像素信息;轉(zhuǎn)步驟 (4); (4) 裂紋空洞填補(bǔ),包括如下子步驟: (4-1)在每次映射后,計算裂紋空洞點的數(shù)量APzPi-Pi+Pi表示當(dāng)前映射點的水平方 向的映射位置,Pi-i表示上一次映射點的水平方向的映射位置; 判別裂紋空洞點的數(shù)量A P是否小于或等于裂紋閾值W,是則轉(zhuǎn)(4-2)進(jìn)行裂紋空洞填 補(bǔ);否則不進(jìn)行裂紋空洞填補(bǔ),轉(zhuǎn)步驟(5); (4-2)對前后兩次映射的像素點的空間深度求差,判別差的絕對值是否小于閾值M;是 則認(rèn)為這兩個點是同一平面,用這兩點像素信息的均值補(bǔ)裂紋空洞;否則用這兩個點中位 于背景的像素點的像素信息填補(bǔ)當(dāng)前裂紋空洞; (5) 本次選取和填補(bǔ)映射點結(jié)束。2. 如權(quán)利要求1所述映射點方法,其特征在于,所述像素信息包含深度和彩色信息。3. 如權(quán)利要求1所述映射點方法,其特征在于,步驟(2)所述噪聲閾值N= (Dmax-Dmin) * 0.02,Dmax表示空間深度值組成的深度圖中最大的深度值,DMin表示空間深度值組成的深度 圖中最小的深度值。4. 如權(quán)利要求1所述映射點方法,其特征在于,步驟(3)中所述閾值M = (Davg-DMin) * 0.05〇5. 如權(quán)利要求1所述映射點方法,其特征在于,所述步驟(4)裂紋閾值W取值為2。
【文檔編號】H04N13/00GK106060512SQ201610486806
【公開日】2016年10月26日
【申請日】2016年6月28日
【發(fā)明人】喻莉, 王偉健
【申請人】華中科技大學(xué)