會(huì)聚立體圖像視差控制方法
【專利摘要】本發(fā)明屬于圖像處理技術(shù)及立體成像領(lǐng)域，為依據(jù)立體顯示原理和坐標(biāo)系間的映射關(guān)系，實(shí)現(xiàn)會(huì)聚攝像機(jī)陣列法獲得的立體視圖的零視差控制區(qū)域，在自由立體顯示器上顯示時(shí)獲得逼真的三維立體顯示效果，為此，本發(fā)明采取的技術(shù)方案是，會(huì)聚立體圖像視差控制方法，包括如下步驟：1)使用會(huì)聚攝像機(jī)陣列法獲取立體圖像，并選定零視差點(diǎn)；2)基于相機(jī)坐標(biāo)系、世界坐標(biāo)系和計(jì)算機(jī)坐標(biāo)系間的映射關(guān)系，計(jì)算參考視點(diǎn)的零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)；3)基于映射匹配點(diǎn)計(jì)算會(huì)聚立體圖像視差調(diào)整值；4)實(shí)現(xiàn)會(huì)聚立體圖像零視差控制。本發(fā)明主要應(yīng)用于圖像處理。
【專利說明】會(huì)聚立體圖像視差控制方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理技術(shù)及立體成像領(lǐng)域，涉及一種針對(duì)會(huì)聚攝像機(jī)陣列法所獲得的立體圖像進(jìn)行視差控制的方法。
技術(shù)背景
[0002]近年來，3D顯示技術(shù)得到了較快的發(fā)展。自由立體顯示不需要佩戴3D眼鏡等設(shè)備就可以使觀察者得到較好的深度感知。在立體顯示設(shè)備再現(xiàn)真實(shí)場(chǎng)景時(shí)，立體圖像中視差的大小決定他們?cè)谝暰W(wǎng)膜上成像時(shí)位差的大小，從而決定了對(duì)物體深度的感知程度。因此，視差是立體視覺中的重要因素。根據(jù)物體的遠(yuǎn)近程不同，通常把視差分為3種類型正視差、零視差、負(fù)視差。場(chǎng)景中具有零視差的物體，在3D顯示時(shí)位于屏幕上；位于零視差后方的物體，具有凹進(jìn)屏幕的效果，其具有正視差；位于零視差前方的物體，具有凸出屏幕的效果，其具有負(fù)視差。
[0003]會(huì)聚法獲取的立體圖像同時(shí)具有正負(fù)水平視差，顯示時(shí)可獲得既有凹進(jìn)屏幕內(nèi)又有凸出屏幕外的三維效果。但是會(huì)聚法得到的立體圖像有一定的深度范圍限制，因此有必要在會(huì)聚攝像機(jī)陣列法的基礎(chǔ)上，研究會(huì)聚立體圖像零視差控制方法。
[0004]目前國內(nèi)、外提出的各種立體圖像控制方法，大都是針對(duì)雙目立體視覺對(duì)立體圖像對(duì)進(jìn)行控制，以消除其垂直視差，針對(duì)會(huì)聚攝像機(jī)陣列法獲得的多視點(diǎn)立體圖像進(jìn)行水平視差的控制研究較少。Kwon提出了一種利用視差信息的雙目自由立體攝像機(jī)的視差控制方法，他利用左右兩幅圖像中心物體的匹配提取視差信息，利用兩個(gè)相機(jī)間的發(fā)動(dòng)機(jī)調(diào)整相機(jī)距離和角度，從而實(shí)現(xiàn)視差控制。但是他們沒有考慮到多視點(diǎn)立體圖像的視差控制，并且對(duì)硬件的操作也較為復(fù)雜。鄧歡提出對(duì)立體圖像進(jìn)行平移操作，改變視差范圍的方法，使得立體圖像中兼顧正負(fù)水平視差。但是此方法只考慮了平行攝像機(jī)陣列法獲得的立體視圖，僅適用于調(diào)整平行相機(jī)拍攝的具有固定深度的場(chǎng)景。


【發(fā)明內(nèi)容】

[0005]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在依據(jù)立體顯示原理和坐標(biāo)系間的映射關(guān)系，實(shí)現(xiàn)會(huì)聚攝像機(jī)陣列法獲得的立體視圖的零視差控制區(qū)域，在自由立體顯示器上顯示時(shí)獲得逼真的三維立體顯示效果，為此，本發(fā)明采取的技術(shù)方案是，會(huì)聚立體圖像視差控制方法，包括如下步驟:
[0006]1)使用會(huì)聚攝像機(jī)陣列法獲取立體圖像，并選定零視差點(diǎn):設(shè)會(huì)聚攝像機(jī)陣列法獲取的各視點(diǎn)視圖依次為視點(diǎn)1，視點(diǎn)2...視點(diǎn)η ;選擇1個(gè)視點(diǎn)作為參考視點(diǎn)，并將其中心像素點(diǎn)設(shè)置為零視差點(diǎn)；
[0007]2)基于相機(jī)坐標(biāo)系、世界坐標(biāo)系和計(jì)算機(jī)坐標(biāo)系間的映射關(guān)系，計(jì)算參考視點(diǎn)的零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)；
[0008]3)基于映射匹配點(diǎn)計(jì)算會(huì)聚立體圖像視差調(diào)整值:定義參考視點(diǎn)零視差點(diǎn)的坐標(biāo)為(\，h)，其對(duì)應(yīng)點(diǎn)的坐標(biāo)為(Xi，yi)，其中，r表示參考視點(diǎn)，i表示第個(gè)i視點(diǎn)；視差值可由下式計(jì)算:
[0009]pir = xr-xj ；
[0010]4)以參考視點(diǎn)中心像素點(diǎn)為基準(zhǔn)，基于視差調(diào)整值平移立體圖像，實(shí)現(xiàn)會(huì)聚立體圖像零視差控制。
[0011]步驟2)具體為:首先，采用3D warping技術(shù)將位于相機(jī)坐標(biāo)系中的參考視點(diǎn)零視差點(diǎn)映射到世界坐標(biāo)系中；參考視點(diǎn)的零視差點(diǎn)坐標(biāo)定義為m = [X，y, 1]τ,其在世界坐標(biāo)系中的坐標(biāo)定義為Μ = [X，Υ, Ζ]τ，二者關(guān)系可由下式表示，其中s是常量，Ρ是相機(jī)參數(shù)，上標(biāo)Τ表示轉(zhuǎn)置:
[0012]sm = PM
[0013]然后，利用零視差點(diǎn)的深度和世界坐標(biāo)系與計(jì)算機(jī)坐標(biāo)系間的轉(zhuǎn)化關(guān)系，將參考視點(diǎn)零視差點(diǎn)的世界坐標(biāo)，映射到計(jì)算機(jī)坐標(biāo)，從而得到參考視點(diǎn)零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。
[0014]與已有技術(shù)相比，本發(fā)明的技術(shù)特點(diǎn)與效果:
[0015]發(fā)明能根據(jù)需求調(diào)整會(huì)聚立體圖像的零視差點(diǎn)及視差范圍，能使立體圖像的正負(fù)視差更明顯，使合成圖像在顯示時(shí)能夠觀察到較為明顯的凸出屏幕外和凹進(jìn)屏幕內(nèi)的效果。

【專利附圖】

【附圖說明】
[0016]圖1給出了使用本發(fā)明方法前ballet序列直接合成的立體合成圖像結(jié)果。
[0017]圖2給出了使用本發(fā)明方法后ballet序列立體合成圖像的結(jié)果。
[0018]圖3給出了本發(fā)明方法的流程圖。

【具體實(shí)施方式】
[0019]為克服現(xiàn)有技術(shù)的不足，本發(fā)明依據(jù)立體視覺視差原理，實(shí)現(xiàn)基于映射的立體圖像零視差控制控制，具體的技術(shù)方案分為下列步驟:
[0020]1:使用會(huì)聚攝像機(jī)陣列法獲取立體圖像，并選定零視差點(diǎn)。
[0021]設(shè)會(huì)聚攝像機(jī)陣列法獲取的各視點(diǎn)視圖依次為視點(diǎn)1，視點(diǎn)2...視點(diǎn)η ;選擇1個(gè)視點(diǎn)作為參考視點(diǎn)，并將其中心像素點(diǎn)設(shè)置為零視差點(diǎn)。
[0022]2:基于相機(jī)坐標(biāo)系、世界坐標(biāo)系和計(jì)算機(jī)坐標(biāo)系間的映射關(guān)系，計(jì)算參考視點(diǎn)的零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。
[0023]首先，采用3D warping技術(shù)將位于相機(jī)坐標(biāo)系中的參考視點(diǎn)零視差點(diǎn)映射到世界坐標(biāo)系中。參考視點(diǎn)的零視差點(diǎn)坐標(biāo)定義為m = [X，y, 1]τ,其在世界坐標(biāo)系中的坐標(biāo)定義為Μ= [Χ，Υ，Ζ]Τ，二者關(guān)系可由下式表示，其中s是常量:
[0024]sm = PM
[0025]然后，利用零視差點(diǎn)的深度和世界坐標(biāo)系與計(jì)算機(jī)坐標(biāo)系間的轉(zhuǎn)化關(guān)系，將參考視點(diǎn)零視差點(diǎn)的世界坐標(biāo)，映射到計(jì)算機(jī)坐標(biāo)，從而得到參考視點(diǎn)零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。
[0026]3:基于映射匹配點(diǎn)計(jì)算會(huì)聚立體圖像視差調(diào)整值。
[0027]由于每個(gè)會(huì)聚攝像機(jī)的內(nèi)外參數(shù)不同，所以參考視點(diǎn)中零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)不同。定義參考視點(diǎn)零視差點(diǎn)的坐標(biāo)為(Xuh)，其對(duì)應(yīng)點(diǎn)的坐標(biāo)為其中，r表示參考視點(diǎn)，i表示第個(gè)i視點(diǎn)。視差值可由下式計(jì)算:
[0028]pir = xr-xj
[0029]4:以參考視點(diǎn)中心像素點(diǎn)為基準(zhǔn)，基于視差調(diào)整值平移立體圖像，實(shí)現(xiàn)會(huì)聚立體圖像零視差控制。
[0030]通過平移實(shí)現(xiàn)視差控制后，立體圖像中將存在較為明顯的零視差、正視差及負(fù)視差區(qū)域，在3D顯示設(shè)備上顯示時(shí)，零視差區(qū)域較為清晰。
[0031]下面通過八視點(diǎn)立體圖像控制說明本專利提出的基于映射的多視點(diǎn)立體圖像零視差控制方法的實(shí)施過程。
[0032]1:使用會(huì)聚攝像機(jī)陣列法獲取立體圖像，并選定零視差點(diǎn)。
[0033]首先，使用會(huì)聚攝像機(jī)陣列法獲取多視點(diǎn)立體圖像，將得到的各視點(diǎn)視圖依次設(shè)為視點(diǎn)1，視點(diǎn)2…視點(diǎn)8，選擇1個(gè)視點(diǎn)作為參考視點(diǎn)。然后，根據(jù)設(shè)備及觀測(cè)需求設(shè)定參考視點(diǎn)的中心點(diǎn)為零視差點(diǎn)。在多視點(diǎn)立體顯示設(shè)備上顯示時(shí)，零視差點(diǎn)的位置位于屏幕上。選擇的零視差點(diǎn)將作為映射步驟確定對(duì)應(yīng)點(diǎn)的基礎(chǔ)。
[0034]2:基于相機(jī)坐標(biāo)系、世界坐標(biāo)系和計(jì)算機(jī)坐標(biāo)系間的映射關(guān)系，計(jì)算參考視點(diǎn)的零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。將原先用于視點(diǎn)合成的3D warping運(yùn)用到尋找零視差點(diǎn)在其他多視點(diǎn)中的匹配點(diǎn)上，提高匹配精度，找到各視點(diǎn)的零視差點(diǎn)位置。利用參考視點(diǎn)的紋理圖和深度圖，并結(jié)合3D warping方法，將參考視點(diǎn)的零視差點(diǎn)的相機(jī)坐標(biāo)映射到世界坐標(biāo)系中。通過世界坐標(biāo)系到計(jì)算機(jī)坐標(biāo)系的映射關(guān)系，得到零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。
[0035]3D warping利用世界坐標(biāo)和相機(jī)坐標(biāo)間的關(guān)系，將圖像中的點(diǎn)映射到空間，再由空間映射到另一視點(diǎn)平面，以此將零視差點(diǎn)投射到其他視點(diǎn)平面上。設(shè)物體在相機(jī)平面的坐標(biāo)為m,在世界坐標(biāo)系中的坐標(biāo)為M,則二者的關(guān)系為:sm = PM,平面坐標(biāo)和世界坐標(biāo)的關(guān)系可以用下式表示:
「Λ Υ ?ο]「ru rn …「1
[0036]7 = 0 fv v0.r21 r22t2.Y
1 0 0 1 r31 r32 i t3 Z
[0037]其中s是一個(gè)常數(shù)，fu和fv表示u和v坐標(biāo)軸的相機(jī)焦距，Y是斜向參數(shù)，(u0, vQ)是主點(diǎn)坐標(biāo)，是旋轉(zhuǎn)參數(shù),組合后表示方向矩陣,\表示位置,m= [x，y，l]T,M= [X, Υ, Ζ]τ.根據(jù)(5)，進(jìn)一步推導(dǎo)出零視差點(diǎn)到世界坐標(biāo)系坐標(biāo)以及世界坐標(biāo)系到其對(duì)應(yīng)點(diǎn)計(jì)算機(jī)坐標(biāo)系坐標(biāo)之間的轉(zhuǎn)換關(guān)系:
[0038]1)相機(jī)坐標(biāo)系到世界坐標(biāo)系的的映射:
--ι\ι 化]「/, r ?ο” ΓΧ1 「A
[0039]v =.r2l r22 r2,.0 fv v0 ■ y -d+ t2
w r3l r32 廠33 0 0 11?3
[0040]2)世界坐標(biāo)系到計(jì)算機(jī)坐標(biāo)系的映射:
/ \ f ?'o rn r'u r'n u
[0041]j' = 0 f\ v\ ■ r’21 r’22 r'21.v - t\_
z' 0 0 1 r '31 r \2 r '33 w t \
[0042]其中[x，y，l]表示參考視點(diǎn)中零視差點(diǎn)的坐標(biāo)，[u，v，w]表示零視差點(diǎn)在世界坐標(biāo)系中的坐標(biāo)，d表示零視差點(diǎn)的深度值，[X’，y’，ζ’ ]表示零視差點(diǎn)的對(duì)應(yīng)點(diǎn)坐標(biāo)。三維向量[A t2 t3]T和[t/t’2t3’]T分別表示零視差點(diǎn)在參考視點(diǎn)和世界坐標(biāo)系中的位置。
7?' r'叫「V r12 ’ γ13’_
0 /v’ vQ’和r21 ’ r22'匕’表示轉(zhuǎn)換后在世界坐標(biāo)系中的相機(jī)參數(shù)。利用3D warping_ 0 0 1」卜31’ ri2' r33
的對(duì)應(yīng)點(diǎn)匹配，可以確定零視差點(diǎn)在其它多視點(diǎn)的對(duì)應(yīng)位置。傳統(tǒng)的基于分割的匹配方法得到的結(jié)果不夠準(zhǔn)確，方法相對(duì)復(fù)雜。本文利用3D warping方法，較好的解決了上述問題。
[0043]3:基于映射匹配點(diǎn)計(jì)算會(huì)聚立體圖像視差調(diào)整值。
[0044]基于步驟2得到了零視差點(diǎn)在其它視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。每個(gè)會(huì)聚相機(jī)的相機(jī)參數(shù)都不同，所以得到的每個(gè)對(duì)應(yīng)點(diǎn)橫坐標(biāo)之間的差值不同。不同的相機(jī)參數(shù)確保了得到的對(duì)應(yīng)點(diǎn)坐標(biāo)(Xi，yi)的準(zhǔn)確性。利用零視差點(diǎn)的坐標(biāo)和對(duì)應(yīng)點(diǎn)的坐標(biāo)，可以得到不同視點(diǎn)的視差值:
[0045]pir = Xr-Xi
[0046]其中，&表示參考視點(diǎn)中零視差點(diǎn)的橫坐標(biāo)。因?yàn)閰⒖家朁c(diǎn)可以任意選擇，其他視點(diǎn)位于參考視點(diǎn)的左右兩邊，所以所得視差值后會(huì)出現(xiàn)正負(fù)號(hào)。
[0047]4:以參考視點(diǎn)中心像素點(diǎn)為基準(zhǔn)，基于視差調(diào)整值平移立體圖像，實(shí)現(xiàn)會(huì)聚立體圖像零視差控制。
[0048]根據(jù)步驟3得到的視差值py分別對(duì)其他視點(diǎn)進(jìn)行對(duì)應(yīng)像素平移。零視差點(diǎn)的對(duì)應(yīng)點(diǎn)都被移動(dòng)到零視差點(diǎn)(\，l)的位置。相鄰會(huì)聚多視點(diǎn)位置差相同，但是視點(diǎn)上的對(duì)應(yīng)點(diǎn)位置差不同，這就要求利用所得視差值Pw分別對(duì)視點(diǎn)進(jìn)行平移。
[0049]下面結(jié)合【專利附圖】

【附圖說明】實(shí)驗(yàn)效果:
[0050]為使本發(fā)明的效果具有可比性，采用微軟提供的多視點(diǎn)視頻測(cè)試序列ballet進(jìn)行實(shí)驗(yàn)。其分辨率為1024X768，每個(gè)視點(diǎn)都有對(duì)應(yīng)的深度圖，并且給出了相機(jī)的內(nèi)參矩陣和外參矩陣。實(shí)驗(yàn)采用虛擬視點(diǎn)繪制算法繪制八幅虛擬視點(diǎn)，將生成的八幅虛擬視點(diǎn)定義為11-18，用于合成適合多視點(diǎn)自由立體顯示器顯示的合成視圖。
[0051]圖1為未使用本發(fā)明方法，直接合成的立體圖像結(jié)果。圖2為使用本發(fā)明方法后，合成圖像的結(jié)果。紅點(diǎn)表示選定的零視差點(diǎn)的位置，矩形框表示零視差點(diǎn)周圍區(qū)域。從圖中可以看到，未使用本發(fā)明方法的合成圖像中紅色矩形框區(qū)域都比較模糊。使用本發(fā)明方法獲得的合成圖像中，紅色矩形框區(qū)域的零視差區(qū)域較為清晰。圖像較為模糊的部分，位于零視差點(diǎn)前方，因此存在負(fù)水平視差；將合成視圖在八視點(diǎn)光柵自由立體顯示器上顯示，視差為零的區(qū)域顯示在屏幕上，具有負(fù)視差的點(diǎn)突出屏外，具有正視差的點(diǎn)凹進(jìn)屏內(nèi)。本發(fā)明實(shí)現(xiàn)了零視差點(diǎn)的調(diào)整，調(diào)整后的立體圖像能夠逼真地再現(xiàn)真實(shí)場(chǎng)景。
【權(quán)利要求】
1.一種會(huì)聚立體圖像視差控制方法，其特征是，包括如下步驟: 1)使用會(huì)聚攝像機(jī)陣列法獲取立體圖像，并選定零視差點(diǎn):設(shè)會(huì)聚攝像機(jī)陣列法獲取的各視點(diǎn)視圖依次為視點(diǎn)1，視點(diǎn)2...視點(diǎn)η ;選擇I個(gè)視點(diǎn)作為參考視點(diǎn)，并將其中心像素點(diǎn)設(shè)置為零視差點(diǎn)； 2)基于相機(jī)坐標(biāo)系、世界坐標(biāo)系和計(jì)算機(jī)坐標(biāo)系間的映射關(guān)系，計(jì)算參考視點(diǎn)的零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)； 3)基于映射匹配點(diǎn)計(jì)算會(huì)聚立體圖像視差調(diào)整值:定義參考視點(diǎn)零視差點(diǎn)的坐標(biāo)為(\，K)，其對(duì)應(yīng)點(diǎn)的坐標(biāo)為(^^^，其中’^^表示參考視點(diǎn)，i表示第個(gè)i視點(diǎn)，視差值可由下式計(jì)算:
Pir = Xr_Xi ； 4)以參考視點(diǎn)中心像素點(diǎn)為基準(zhǔn)，基于視差調(diào)整值平移立體圖像，實(shí)現(xiàn)會(huì)聚立體圖像零視差控制。
2.如權(quán)利要求1所述的會(huì)聚立體圖像視差控制方法，其特征是，步驟2)具體為: 首先，采用3D warping技術(shù)將位于相機(jī)坐標(biāo)系中的參考視點(diǎn)零視差點(diǎn)映射到世界坐標(biāo)系中；參考視點(diǎn)的零視差點(diǎn)坐標(biāo)定義為m = [X，y, 1]τ,其在世界坐標(biāo)系中的坐標(biāo)定義為M =[X，Y, Ζ]τ, 二者關(guān)系可由下式表示，其中s是常量，P是相機(jī)參數(shù)，上標(biāo)T表示轉(zhuǎn)置:sm = PM 然后，利用零視差點(diǎn)的深度和世界坐標(biāo)系與計(jì)算機(jī)坐標(biāo)系間的轉(zhuǎn)化關(guān)系，將參考視點(diǎn)零視差點(diǎn)的世界坐標(biāo)，映射到計(jì)算機(jī)坐標(biāo)，從而得到參考視點(diǎn)零視差點(diǎn)在其他視點(diǎn)中的對(duì)應(yīng)點(diǎn)坐標(biāo)。
【文檔編號(hào)】H04N13/00GK104284177SQ201410588662
【公開日】2015年1月14日 申請(qǐng)日期:2014年10月28日 優(yōu)先權(quán)日:2014年10月28日
【發(fā)明者】雷建軍, 王夢(mèng)瑤, 侯春萍, 王炳人, 張翠翠, 劉建英 申請(qǐng)人:天津大學(xué)