專利名稱：稀疏鏡頭采集的組合立體圖像系統(tǒng)中立體元的合成方法
技術領域：
本發(fā)明屬立體圖像生成技術領域，具體涉及一種組合立體圖像系統(tǒng)中立體元圖像的虛擬合成方法。
背景技術：
長久以來，對顯示世界視覺信息的獲取主要來源于單攝像機捕獲，而這種采集形式不能給人眼帶來深度感、立體感以及對對象的全方位認識。隨著相關學科的發(fā)展及新技術新需求的驅動，立體顯示技術應運而生。立體顯示技術主要包括利用兩眼視差的立體顯示技術和真實立體顯示技術。目前，電影院中廣泛采用兩眼視差的立體顯示技術，該技術容易實現(xiàn)而且成本低，但由于這種方法分別將左、右眼看到的圖像傳輸給觀眾，強迫觀眾在大腦中產(chǎn)生立體感，很容易產(chǎn)生視覺疲勞，而且，該技術無法實現(xiàn)連續(xù)多視角的視差變化，因此，并不是理想的立體顯示方法；真實立體顯示技術主要包括全息術、體顯示技術和組合立體顯示技術。真實立體顯示技術能夠在空間中重現(xiàn)被拍攝物體的全部信息，觀眾通過生理調節(jié)眼睛的焦距來獲得立體感，不會產(chǎn)生疲勞，因此，成為立體顯示技術的發(fā)展趨向。相對于時空分辨率受限的全息術與體顯示技術，組合立體顯示技術使顯示器在一個廣泛的視野空間內(nèi)呈現(xiàn)出連續(xù)視差的全彩色圖像，實現(xiàn)了裸眼真實立體顯示，成為新一代立體顯示技術的重要組成部分。組合立體圖像系統(tǒng)中立體元圖像的采集和成像原理來源于仿生學中對昆蟲復眼的研究。我們知道，昆蟲的復眼由許多只“小眼睛”組成，每只“小眼睛”接收被觀察物體不同位置、不同角度的信息，在理想的組合立體圖像系統(tǒng)中，用一個透鏡陣列來模仿這種復眼結構，陣列中的每個小透鏡相當于復眼中的每只“小眼睛”。那么，如圖2所示，當實際物體所發(fā)出的光線通過透鏡陣列而被記錄在記錄媒體上時，我們便得到了該物體不同位置、不同角度的信息，我們稱其為立體元圖像，透鏡陣列中每個小透鏡所記錄的圖像稱為子圖像， 可見，一幅立體元圖像是由與透鏡陣列中小透鏡個數(shù)等量的子圖像組成的。在組合立體圖像的顯示過程中(如圖3所示)，將一幅立體元圖像放在具有相同參數(shù)的透鏡陣列前面，根據(jù)光路可逆原理，透鏡陣列將從立體元圖像上發(fā)出的光線，匯聚成空間中真實存在的立體景象。由于在實際拍攝立體元圖像時，需要使用高精度的透鏡陣列或攝像機陣列，而目前的制作工藝通常不能滿足高質量立體圖像的要求，所以立體元圖像的獲得主要來自于計算機生成方法，如圖4所示，為計算機合成的立體元圖像及子圖像，但是，計算機生成方法只能對已有的3D模型進行處理，這樣，大大限制了組合立體圖像系統(tǒng)的應用范圍。如何利用現(xiàn)有的設備，通過稀疏鏡頭采集來實現(xiàn)真實物體的立體元圖像制作，成為組合立體圖像系統(tǒng)能否推廣應用的關鍵，因此，需要設計一種適合于組合立體圖像系統(tǒng)的立體元合成方法。常用的虛擬合成技術包括基于三維幾何模型的繪制技術和基于圖像的繪制技術?；谌S幾何模型的繪制(Model-Based Rendering,MBR)技術需要利用計算機視覺和
4計算機圖形學技術建立一個精確的三維幾何模型，然后根據(jù)視點位置，經(jīng)明暗處理、隱藏面消除等過程生成目標虛擬視點位置的圖像。MBR可以比較精確地描述物體的形狀等信息，但其建模復雜度高，并且要求精確的外部參數(shù)，因此MBR技術不適合真實場景的虛擬視點繪制?；趫D像的虛擬視點繪制(Image-Based Rendering, IBR)技術，是一種直接根據(jù)參考圖像生成虛擬視點圖像的方法。目前廣泛使用的基于深度圖的繪制(DIBR)技術是由IBR技術發(fā)展而來，它的核心是3D圖像映射方程(3D Image Warping)。Image Warping利用包含深度信息的參考圖像來繪制新視點下的目標圖像，其本質是一種空間重投影技術，由于DIBR 技術繪制虛擬視點的速度快，圖像質量高，因此，非常適用于立體圖像的虛擬視點生成，但是DIBR技術無法實現(xiàn)大量虛擬視點的合成，而且，針對于組合立體圖像系統(tǒng)的相機矩陣局部成像特點，目前沒有現(xiàn)成可用的虛擬合成技術。鑒于上述兩種典型虛擬合成方法存在的問題，我們需要尋找一種更有效、更適用于組合立體圖像系統(tǒng)的虛擬合成方法，這種方法既可以實現(xiàn)大量視點的并行插值，同時，又不需要復雜的建模和精確的外部參數(shù)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種稀疏鏡頭采集的組合立體圖像系統(tǒng)中立體元的合成方法，實現(xiàn)真實景物的立體顯示。本發(fā)明包括下列步驟(1)設置稀疏相機矩陣，必須保證矩陣中的所有相機在同一個平面內(nèi)，每行相機的連線互相平行，每列相機的連線也互相平行，每行相機和每列相機的連線互相垂直；(2)分別計算每幅拍攝圖像與其水平相鄰圖像間的視差圖和垂直相鄰圖像間的視差圖，其中每幅拍攝圖像與水平相鄰圖像間的視差圖是通過一維窗匹配的方法計算獲得， 每幅拍攝圖像與垂直相鄰圖像間的視差圖是通過將上、下兩幅相鄰圖像進行轉置，然后按照每幅拍攝圖像與水平相鄰圖像間視差圖相同的獲得方法計算，將計算結果再進行轉置獲得；(3)將雙目立體視覺模型擴展為多目立體視覺模型，分別根據(jù)每幅圖像的水平視差圖和垂直視差圖計算出每幅圖像中像素點所對應實際物點的空間位置坐標，其中左上方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，包括下列步驟第一步根據(jù)水平視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標，其表達式為Z1 = f X B1Zd1X1 = X1XB1Zd1Y1 = Y1XB1M1Cl1 = I X1-Xr式中=Z1-為通過水平視差計算得到的實際物點到相機陣列平面的深度距離， X1-為通過水平視差計算得到的實際物點到左上方相機中心的水平距離，Y1-為通過水平視差計算得到的實際物點到左上方相機中心的垂直距離，Cl1-為水平視差值，f_為相機焦距， B1-為相鄰相機間的水平基線距離，X1、&-分別為實際物點在左上方圖像和右上方圖像中成像點距離圖像中心的水平距離，Y1-為實際物點在左上方圖像中成像點距離圖像中心的垂直距離；
第二步根據(jù)垂直視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標，其表達式為Z2 = fXB2/d2X2 = xt X B2/d2Y2 = yt X B2/d2d2 = I yt-yb式中Z2-為通過垂直視差計算得到的實際物點到相機陣列平面的深度距離， X2-為通過垂直視差計算得到的實際物點到左上方相機中心的水平距離，Y2-為通過垂直視差計算得到的實際物點到左上方相機中心的垂直距離，d2-為垂直視差值，f-為相機焦距， B2-為相鄰相機間的垂直基線距離，yt，yb_分別為實際物點在左上方圖像和左下方圖像中成像點距離圖像中心的垂直距離，xt-為實際物點在左上方圖像中成像點距離圖像中心的水平距離；第三步對每幅圖像對應由水平視差和垂直視差計算得到的兩組空間位置坐標中存在的重疊數(shù)據(jù)進行合并，將每幅圖的兩組空間位置坐標合并成一組，具體為a、將兩組數(shù)據(jù)中公共像素點所對應實際物點的信息進行合并，取兩組數(shù)據(jù)的均值作為該實際物點的新的空間位置坐標；b、對兩組數(shù)據(jù)中的非公共像素點所對應實際物點的空間位置坐標進行單獨存儲；右上方相機、左下方相機和右下方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，與上述三個步驟相同；(4)將所有圖像中計算得到的像素點所對應實際物點的空間位置坐標換算到同一坐標系中，得到在同一坐標系下每幅圖像中像素點所對應實際物點的空間位置坐標，具體為將所有實際物點的空間位置坐標換算到左上方圖像的坐標系中，其表達式為右上方圖像X=Xrt+B1；Y=Yrt-B
左下方圖像x=Xib-B1；Y=Yib+B
右下方圖像x=Xrb+Bi；Y=Yrb+B其中，X和Y-分別為每幅圖像中像素點所對應實際物點的空間位置坐標經(jīng)過換算后在左上方圖像坐標系中的新的水平和垂直位置坐標，B1-為相機陣列的水平基線距離， B2-為相機陣列的垂直基線距離，Xrt和Yrt-分別為右上方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xlb和Ylb-分別為左下方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xrb和Ya-分別為右下方圖像中像素點所對應實際物點的水平和垂直位置坐標；每幅圖像中像素點所對應實際物點到相機陣列平面的深度距離都以同一相機平面作為參考，無需進行換算；(5)虛擬一個相機陣列，根據(jù)小孔成像原理，將步驟(4)中計算得到的同一坐標系下每幅圖像中像素點所對應的實際物點投影到每個虛擬相機中，生成子圖像；在生成過程中，同時考慮遮擋的影響；設置虛擬相機陣列時，虛擬相機陣列的位置坐標以左上方相機中心作為坐標原點，為保證所有具有空間位置的實際物點至少能夠成像到一個虛擬相機中，虛擬相機陣列的邊界必須將所有實際物點的空間位置坐標都包含進來，將虛擬相機陣列的左邊界設置為所有物點中最左邊點的橫坐標位置，右邊界設置為所有物點中最右邊點的橫坐標位置，上邊界設置為所有物點中最上邊點的縱坐標位置，下邊界設置為所有物點中最下邊點的縱坐標位置，虛擬相機陣列中相機的數(shù)量可以自由設定，每個虛擬相機等間隔地排列在虛擬相機陣列中，虛擬相機陣列距離實際物點的深度也可以自由設定；成像時，在已知虛擬相機空間位置、焦距和實際物點的空間位置的情況下，根據(jù)小孔成像原理，得到實際物點在每個虛擬相機中所成的像——子圖像，實際物點在子圖像中成像點的位置坐標為χ = f' X (X-Cx) /Zy = f' X (Y-Cy) /Z其中，f ‘-為虛擬相機焦距，X、Y和Z-為實際物點的空間位置坐標，Cx和Cy-為虛擬相機中心的位置坐標，X和y_為實際物點在子圖像中成像點的位置坐標；在成像過程中，考慮到遮擋的影響，如果在投影線上存在多于一個的實際物點，則取深度值最小的點，也就是最接近于虛擬相機陣列的點進行投影；(6)對于投影得到的每個虛擬相機中的子圖像，存在未被填充的像素點，需將未填充像素點按照其周圍已填充像素點的個數(shù)進行分級，周圍已填充像素點的個數(shù)越多，級別越高，越優(yōu)先處理，在處理中對周圍所有已填充像素點的像素值取均值，作為該未填充像素點的像素值；(7)將得到的每個子圖像按虛擬相機的排列順序進行組合，生成立體元圖像。本發(fā)明針對組合立體圖像系統(tǒng)的成像機理，利用空間中稀疏排列的相機矩陣進行圖像采集。針對MBR技術建模復雜，而且對外部參數(shù)要求苛刻，以及DIBR技術無法實現(xiàn)大量虛擬視點生成的問題，本發(fā)明提供了一種適合于組合立體圖像系統(tǒng)中立體元圖像的虛擬合成方法，既實現(xiàn)了被拍攝物體空間位置的建模，同時降低了復雜度，而且不需要額外參數(shù)， 采用虛擬鏡頭投影成像的方法，很好地解決了大量子圖像的局部生成問題?，F(xiàn)有的技術從未涉足過組合立體圖像系統(tǒng)中立體元的虛擬合成，對于組成立體元圖像的基本單元——子圖像(element image, ΕΙ)沒有現(xiàn)成可用的虛擬生成方法。本發(fā)明能實現(xiàn)大量虛擬視點的并行生成，更適合于立體元圖像的虛擬合成。與傳統(tǒng)的虛擬視點生成技術相比，本發(fā)明使用簡單的模型，重構出拍攝物體的空間位置，并用重投影的方法實現(xiàn)了大量虛擬視點的合成，使組合立體圖像系統(tǒng)的圖像源從電腦制作走向實景拍攝。


圖1為稀疏鏡頭采集的組合立體圖像系統(tǒng)中立體元的合成方法的流程2為真實組合立體圖像系統(tǒng)的立體元圖像采集過程示意3為真實組合立體圖像系統(tǒng)的立體元圖像顯示過程示意圖其中1.記錄媒體2.鏡頭矩陣3.光線4.實際物體5.照明6.平板顯示器7.立體圖像圖4為計算機合成的立體元圖像及子圖像示意5為2 X 2稀疏相機矩陣示意6為2X2稀疏相機矩陣采集到的原始圖像
圖7為雙目立體視覺幾何模型
其中X為實際物點ρ到左攝像機中心的橫向距離，Z為實際物點ρ到相機陣列平面的深度距離，f為相機焦距，B為相鄰相機間的基線距離，C1和Cr為實際相機，X1^Xr分別為實際物點P在左右圖像中成像點距離圖像中心的橫向距離。圖8為反向映射生成子圖像示意圖其中W為虛擬相機的成像寬度，f'為虛擬相機焦距，ρ為實際物點，C1-C5為虛擬相機。
具體實施例方式以下結合附圖實例對本發(fā)明作進一步詳細描述。這里，將圖5中所示的2X2稀疏相機矩陣采集平臺采集到的圖像作為合成立體元圖像的原始圖像，如圖6所示為2X2稀疏相機矩陣采集到的原始圖像，具體過程(如圖1所示)包括下列步驟1.設置稀疏相機矩陣(如圖5所示)，必須保證矩陣中的所有相機在同一個平面內(nèi)，每行相機的連線互相平行，每列相機的連線也互相平行，每行相機和每列相機的連線互相垂直。2.分別計算每幅拍攝圖像與其水平相鄰圖像間的視差圖和垂直相鄰圖像間的視差圖，其中每幅拍攝圖像與水平相鄰圖像間的視差圖是通過一維窗匹配的方法計算獲得， 每幅拍攝圖像與垂直相鄰圖像間的視差圖是通過將上、下兩幅相鄰圖像進行轉置，然后按照每幅拍攝圖像與水平相鄰圖像間視差圖相同的獲得方法計算，將計算結果再進行轉置獲得。3.將雙目立體視覺模型(如圖7)擴展為多目立體視覺模型，分別根據(jù)每幅圖像的水平視差圖和垂直視差圖計算出每幅圖像中像素點所對應實際物點的空間位置坐標，其中左上方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，包括下列步驟第一步根據(jù)水平視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標，其表達式為Z1 = f X B1Zd1X1 = X1XB1Zd1Y1 = Y1XB1M1(I1 = I X1-Xr式中=Z1-為通過水平視差計算得到的實際物點到相機陣列平面的深度距離， X1-為通過水平視差計算得到的實際物點到左上方相機中心的水平距離，Y1-為通過水平視差計算得到的實際物點到左上方相機中心的垂直距離，Cl1-為水平視差值，f_為相機焦距， B1-為相鄰相機間的水平基線距離，X1、&-分別為實際物點在左上方圖像和右上方圖像中成像點距離圖像中心的水平距離，Y1-為實際物點在左上方圖像中成像點距離圖像中心的垂直距離。第二步根據(jù)垂直視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標，其表達式為Z2 = fXB2/d2X2 = xt X B2/d2
Y2 = yt X B2Zd2d2 = I yt-yb式中Z2-為通過垂直視差計算得到的實際物點到相機陣列平面的深度距離， X2-為通過垂直視差計算得到的實際物點到左上方相機中心的水平距離，Y2-為通過垂直視差計算得到的實際物點到左上方相機中心的垂直距離，d2-為垂直視差值，f-為相機焦距， B2-為相鄰相機間的垂直基線距離，yt，yb_分別為實際物點在左上方圖像和左下方圖像中成像點距離圖像中心的垂直距離，xt-為實際物點在左上方圖像中成像點距離圖像中心的水平距離。第三步每幅圖像對應由水平視差和垂直視差計算得到的兩組空間位置坐標中存在重疊數(shù)據(jù)，即，圖像中的某些像素點在根據(jù)水平視差計算空間位置坐標和根據(jù)垂直視差計算空間位置坐標時各生成了一組坐標值，因此，需對這些重疊的數(shù)據(jù)進行合并，將每幅圖的兩組空間位置坐標合并成一組，具體為a、將兩組數(shù)據(jù)中公共像素點所對應實際物點的信息進行合并，取兩組數(shù)據(jù)的均值作為該實際物點的新的空間位置坐標；b、對兩組數(shù)據(jù)中的非公共像素點所對應實際物點的空間位置坐標進行單獨存儲。右上方相機、左下方相機和右下方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，與上述三個步驟相同。4.將所有圖像中計算得到的像素點所對應實際物點的空間位置坐標換算到同一坐標系中，由于每幅圖像中像素點所對應實際物點的空間位置坐標都是以每個相機中心為坐標原點計算，而在虛擬成像時需將所有圖像中像素點所對應實際物點的空間位置坐標統(tǒng)一到同一個坐標系中，需進行歸一化處理得到在同一坐標系下每幅圖像中像素點所對應實際物點的空間位置坐標，具體為將所有實際物點的空間位置坐標換算到左上方圖像的坐標系中，其表達式為右上方圖像x=Xrt+B1；Y=Yrt-B
左下方圖像x=Xib-B1；Y=Yib+B
右下方圖像x=Xrb+Bi；Y=Yrb+B其中，X和Y-分別為每幅圖像中像素點所對應實際物點的空間位置坐標經(jīng)過換算后在左上方圖像坐標系中的新的水平和垂直位置坐標，B1-為相機陣列的水平基線距離， B2-為相機陣列的垂直基線距離，Xrt和Yrt-分別為右上方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xlb和Ylb-分別為左下方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xrb和Yrb-分別為右下方圖像中像素點所對應實際物點的水平和垂直位置坐標。每幅圖像中像素點所對應實際物點到相機陣列平面的深度距離都以同一相機平面作為參考，無需進行換算。5.虛擬一個相機陣列，根據(jù)小孔成像原理，將步驟中計算得到的同一坐標系下每幅圖像中像素點所對應的實際物點投影到每個虛擬相機中，生成子圖像；在生成過程中，同時考慮遮擋的影響。理想的組合立體圖像系統(tǒng)中，透鏡陣列中每個小透鏡只記錄被拍攝物體某一位置的局部信息，我們將每個小透鏡所成的圖像稱為子圖像。本發(fā)明中，使用虛擬相機陣列來模擬透鏡陣列的成像過程。
設置虛擬相機陣列時，虛擬相機陣列的位置坐標以左上方相機中心作為坐標原點，虛擬相機陣列平面平行于用于真實采集的稀疏相機陣列平面。為保證所有具有空間位置的實際物點至少能夠成像到一個虛擬相機中，虛擬相機陣列的邊界必須將所有實際物點的空間位置坐標都包含進來，將虛擬相機陣列的左邊界設置為所有物點中最左邊點的橫坐標位置，右邊界設置為所有物點中最右邊點的橫坐標位置，上邊界設置為所有物點中最上邊點的縱坐標位置，下邊界設置為所有物點中最下邊點的縱坐標位置，虛擬相機陣列中相機的數(shù)量可以自由設定，在實驗中設為33X50個，每個虛擬相機等間隔地排列在虛擬相機陣列中，虛擬相機陣列距離實際物點的深度也可以自由設定，實驗中默認為與用于真實采集的稀疏相機陣列距離實際物點的深度相同。成像時，在已知虛擬相機空間位置、焦距和實際物點的空間位置的情況下，根據(jù)小孔成像原理，得到實際物點在每個虛擬相機中所成的像——子圖像。如圖8所示，為生成子圖像的示意圖，圖中P點為前文中計算得到的實際物點，Ci (i = 1,2,……，5)為5個虛擬相機，每個虛擬相機的成像寬度為W(pixel)，焦距為f'。圖中，從實際物點P向每個虛擬相機投影，如果P點落在虛擬相機的成像范圍內(nèi)，則將P點的像素值記錄在該相機所成的圖像中(如C3, C4, C5)；如果P點落在虛擬相機的成像范圍外，則將P點舍掉(如C1, C2)。這樣，我們便將實際物點全部投影到虛擬相機陣列中。實際物點在子圖像中成像點的位置坐標為χ = f' X (X-Cx) /Zy = f' X (Y-Cy) /Z其中，f ‘-為虛擬相機焦距，X、Y和Z-為實際物點的空間位置坐標，Cx和Cy-為虛擬相機中心的位置坐標，X和y_為實際物點在子圖像中成像點的位置坐標。在成像過程中，考慮到遮擋的影響，如果在投影線上存在多于一個的實際物點，則取深度值最小的點，也就是最接近于虛擬相機陣列的點進行投影。6.對于投影得到的每個虛擬相機中的子圖像，由于遮擋等因素的影響，存在未被填充的像素點，需將未填充像素點按照其周圍已填充像素點的個數(shù)進行分級，周圍已填充像素點的個數(shù)越多，級別越高，越優(yōu)先處理，周圍已填充像素點個數(shù)最多為8個，最少為0。 在處理中對周圍所有已填充像素點的像素值取均值，作為該未填充像素點的像素值。7.將得到的每個子圖像按虛擬相機的排列順序進行組合，生成立體元圖像。
權利要求
1. 一種稀疏鏡頭采集的組合立體圖像系統(tǒng)中立體元的合成方法，其特征在于包括下列步驟(1)設置稀疏相機矩陣，必須保證矩陣中的所有相機在同一個平面內(nèi)，每行相機的連線互相平行，每列相機的連線也互相平行，每行相機和每列相機的連線互相垂直；(2)分別計算每幅拍攝圖像與其水平相鄰圖像間的視差圖和垂直相鄰圖像間的視差圖，其中每幅拍攝圖像與水平相鄰圖像間的視差圖是通過一維窗匹配的方法計算獲得，每幅拍攝圖像與垂直相鄰圖像間的視差圖是通過將上、下兩幅相鄰圖像進行轉置，然后按照每幅拍攝圖像與水平相鄰圖像間視差圖相同的獲得方法計算，將計算結果再進行轉置獲得；(3)將雙目立體視覺模型擴展為多目立體視覺模型，分別根據(jù)每幅圖像的水平視差圖和垂直視差圖計算出每幅圖像中像素點所對應實際物點的空間位置坐標，其中左上方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，包括下列步驟第一步根據(jù)水平視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標， 其表達式為Z1 = f X B1M1 X1 = X1XB1Zd1 Y1 = Y1XB1M1 di = I XfXr式中=Z1-為通過水平視差計算得到的實際物點到相機陣列平面的深度距離，X1-為通過水平視差計算得到的實際物點到左上方相機中心的水平距離，Y1-為通過水平視差計算得到的實際物點到左上方相機中心的垂直距離，Cl1-為水平視差值，f-為相機焦距，B1-為相鄰相機間的水平基線距離，X1 > xr-分別為實際物點在左上方圖像和右上方圖像中成像點距離圖像中心的水平距離，Y1-為實際物點在左上方圖像中成像點距離圖像中心的垂直距離； 第二步根據(jù)垂直視差，計算出左上方圖像中像素點所對應實際物點的空間位置坐標， 其表達式為Z2 = f χ B2M2 X2 = xtXB2/d2 Y2 = ytXB2/d2d2 = I yt-yb式中z2-為通過垂直視差計算得到的實際物點到相機陣列平面的深度距離，X2-為通過垂直視差計算得到的實際物點到左上方相機中心的水平距離，Y2-為通過垂直視差計算得到的實際物點到左上方相機中心的垂直距離，d2-為垂直視差值，f"為相機焦距，B2-為相鄰相機間的垂直基線距離，Yt, yb_分別為實際物點在左上方圖像和左下方圖像中成像點距離圖像中心的垂直距離，xt-為實際物點在左上方圖像中成像點距離圖像中心的水平距離； 第三步對每幅圖像對應由水平視差和垂直視差計算得到的兩組空間位置坐標中存在的重疊數(shù)據(jù)進行合并，將每幅圖的兩組空間位置坐標合并成一組，具體為a、將兩組數(shù)據(jù)中公共像素點所對應實際物點的信息進行合并，取兩組數(shù)據(jù)的均值作為該實際物點的新的空間位置坐標；b、對兩組數(shù)據(jù)中的非公共像素點所對應實際物點的空間位置坐標進行單獨存儲；右上方相機、左下方相機和右下方相機拍攝到的圖像中像素點所對應實際物點的空間位置坐標的計算，與上述三個步驟相同；(4)將所有圖像中計算得到的像素點所對應實際物點的空間位置坐標換算到同一坐標系中，得到在同一坐標系下每幅圖像中像素點所對應實際物點的空間位置坐標，具體為將所有實際物點的空間位置坐標換算到左上方圖像的坐標系中，其表達式為右上方圖像x ==Xrt+B1；Y ==Yrt-B左下方圖像x ==Xib-B1；Y ==Yib+B右下方圖像x ==Xr^B1；Y ==Yrb+B其中，X和Y-分別為每幅圖像中像素點所對應實際物點的空間位置坐標經(jīng)過換算后在左上方圖像坐標系中的新的水平和垂直位置坐標，B1-為相機陣列的水平基線距離，B2-為相機陣列的垂直基線距離，Xrt和Yrt-分別為右上方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xlb和Ylb-分別為左下方圖像中像素點所對應實際物點的水平和垂直位置坐標，Xrb和Ya-分別為右下方圖像中像素點所對應實際物點的水平和垂直位置坐標；每幅圖像中像素點所對應實際物點到相機陣列平面的深度距離都以同一相機平面作為參考，無需進行換算；(5)虛擬一個相機陣列，根據(jù)小孔成像原理，將步驟(4)中計算得到的同一坐標系下每幅圖像中像素點所對應的實際物點投影到每個虛擬相機中，生成子圖像；在生成過程中，同時考慮遮擋的影響；設置虛擬相機陣列時，虛擬相機陣列的位置坐標以左上方相機中心作為坐標原點，為保證所有具有空間位置的實際物點至少能夠成像到一個虛擬相機中，虛擬相機陣列的邊界必須將所有實際物點的空間位置坐標都包含進來，將虛擬相機陣列的左邊界設置為所有物點中最左邊點的橫坐標位置，右邊界設置為所有物點中最右邊點的橫坐標位置，上邊界設置為所有物點中最上邊點的縱坐標位置，下邊界設置為所有物點中最下邊點的縱坐標位置，虛擬相機陣列中相機的數(shù)量可以自由設定，每個虛擬相機等間隔地排列在虛擬相機陣列中，虛擬相機陣列距離實際物點的深度也可以自由設定；成像時，在已知虛擬相機空間位置、焦距和實際物點的空間位置的情況下，根據(jù)小孔成像原理，得到實際物點在每個虛擬相機中所成的像——子圖像，實際物點在子圖像中成像點的位置坐標為χ = f' X (X-Cx)/Z y = f' X (Y-Cy)/Z其中，f ‘-為虛擬相機焦距，X、Y和Z-為實際物點的空間位置坐標，Cx和Cy-為虛擬相機中心的位置坐標，χ和y_為實際物點在子圖像中成像點的位置坐標；在成像過程中，考慮到遮擋的影響，如果在投影線上存在多于一個的實際物點，則取深度值最小的點，也就是最接近于虛擬相機陣列的點進行投影；(6)對于投影得到的每個虛擬相機中的子圖像，存在未被填充的像素點，需將未填充像素點按照其周圍已填充像素點的個數(shù)進行分級，周圍已填充像素點的個數(shù)越多，級別越高， 越優(yōu)先處理，在處理中對周圍所有已填充像素點的像素值取均值，作為該未填充像素點的像素值；(7)將得到的每個子圖像按虛擬相機的排列順序進行組合，生成立體元圖像。
全文摘要
稀疏鏡頭采集的組合立體圖像系統(tǒng)中立體元的合成方法屬立體圖像生成技術領域，包括設置稀疏相機矩陣；計算每幅拍攝圖像與水平和垂直相鄰圖像間的視差圖；將雙目立體視覺模型擴展為多目立體視覺模型，分別根據(jù)每幅圖像的水平視差圖和垂直視差圖計算出每幅圖像中像素點所對應實際物點的空間位置坐標；將所有圖像中計算得到的像素點所對應實際物點的空間位置坐標換算到同一坐標系中；虛擬一個相機陣列，將同一坐標系下每幅圖像中像素點所對應的實際物點投影到每個虛擬相機中，生成子圖像；對未填充點插值；生成立體元圖像。本發(fā)明能實現(xiàn)大量虛擬視點的并行生成，更適合于立體元圖像的虛擬合成，使組合立體圖像系統(tǒng)的圖像源從電腦制作走向實景拍攝。
文檔編號H04N13/00GK102447934SQ201110341659
公開日2012年5月9日 申請日期2011年11月2日 優(yōu)先權日2011年11月2日
發(fā)明者呂源治, 桑愛軍, 王世剛, 王學軍, 祝宇鴻, 趙巖, 金福壽, 陳賀新 申請人:吉林大學