專利名稱：一種3d光場相機及其拍攝圖像的處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于攝像技術(shù)領(lǐng)域，尤其涉及3D光場相機以及其拍攝圖像的處理方法。
背景技術(shù)：
光場相機源于集成成像技術(shù)，集成成像技術(shù)最早由Lippmann提出，是一種利用透鏡陣列來記錄和再現(xiàn)3D場景的顯示技術(shù)。光場相機一般是在CXD圖像傳感器前放置一透鏡陣列，通過透鏡陣列將三維場景不同方向的信息在焦平面上進行記錄。光場相機的用途有兩個一、能滿足先拍攝后調(diào)焦，即拍攝時不需要對焦；二、能記錄三維場景的信息?；谕哥R陣列的光場相機用于拍攝三維場景時，圖像分辨率被大大地降低，因為它通過損失分辨率來記錄物體光線的方向信息，同時，這種方法獲取的圖像和再現(xiàn)的圖像存在深度反轉(zhuǎn)的問題。雖然采用兩步記錄法可以解決深度反轉(zhuǎn)問題，但是整個處理系統(tǒng)相對龐大，成本提高，圖像分辨率和質(zhì)量也被大幅度地降低。另外，采用旋轉(zhuǎn)處理圖像的方法也可解決深度反轉(zhuǎn)問題，但是重現(xiàn)的圖像只能處于顯示面的后方，無法產(chǎn)生出屏的三維效果O

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種3D光場相機以及其拍攝圖像的處理方法，旨在解決現(xiàn)有光場相機在記錄三維場景時存在的深度反轉(zhuǎn)問題，以及重現(xiàn)時無法正確出屏的不足。一種3D光場相機，包括用于記錄圖像信息的CXD圖像傳感器，用于將外部射進的光線分離并聚焦于所述CCD圖像傳感器上的柱狀透鏡陣列，所述CCD圖像傳感器和所述柱狀透鏡陣列相互平行設(shè)置，所述柱狀透鏡陣列由若干并排設(shè)置的柱狀透鏡構(gòu)成，所述CXD圖像傳感器與所述柱狀透鏡陣列之間的間距等于所述柱狀透鏡的焦距。優(yōu)選的所述柱狀透鏡陣列由豎直設(shè)置的柱狀透鏡組成。優(yōu)選的所述CCD圖像傳感器與所述柱狀透鏡陣列之間夾設(shè)有墊片，所述墊片的厚度等于所述柱狀透鏡的焦距。優(yōu)選的所述CCD圖像傳感器與所述柱狀透鏡陣列之間夾設(shè)有透光基板，所述透光基板的厚度等于所述柱狀透鏡的焦距。優(yōu)選的所述柱狀透鏡陣列的柱狀透鏡的個數(shù)等于CXD圖像傳感器橫向像素總數(shù)除以所需視差圖數(shù)目。一種3D光場相機拍攝圖像的處理方法，包括以下步驟Al分別依次提取每個單元相同位置CXD像素列的圖像信息組合成多幅視差圖，并按照提取順序?qū)⒍喾暡顖D編號；A2將所述的多幅視差圖根據(jù)所述的視差圖的編號逆序拼接為多路視差顯示的圖像；優(yōu)選的步驟A2后還包括步驟A3根據(jù)所需調(diào)節(jié)的景深分別計算各幅視差圖的移動方向和移動的像素。
A4根據(jù)所述A3計算得到的各幅視差圖的移動方向和移動的像素移動各幅視差圖。優(yōu)選的步驟Al與步驟A2之間還包括步驟提高各幅視差圖的分辨率。優(yōu)選的所述提高各幅視差圖的分辨率的步驟為采用插值方法提高所述視差圖的分辨率。相較于現(xiàn)有技術(shù)，本發(fā)明的光場相機通過在CXD圖像傳感器前放置一柱狀透鏡陣列，使相機能夠提取到多幅視差圖，進一步通過對視差圖的分辨率提高，后再經(jīng)將視差圖逆序排列和移動視差圖的方法，以獲取三維場景的出屏和入屏的效果。其具有設(shè)備結(jié)構(gòu)簡單，所獲取的圖像分辨率高，同時具備出屏和入屏的技術(shù)效果。


圖1是本發(fā)明提供的一種3D光場相機第一實施例的結(jié)構(gòu)不意圖；圖2是本發(fā)明提供的一種3D光場相機第二實施例的結(jié)構(gòu)示意圖；圖3是本發(fā)明提供的一種3D光場相機拍攝圖像的處理方法提供的流程圖；圖4是本發(fā)明提供的一種3D光場相機拍攝圖像的處理方法中視差圖提取的示意原理圖；圖5是深度反轉(zhuǎn)原理在拍攝時的示意圖；圖6是深度反轉(zhuǎn)原理在調(diào)整前的示意圖；圖7是深度反轉(zhuǎn)原理在調(diào)整后的示意圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。第一實施例下面以一種3D光場相機為例對本發(fā)明的實現(xiàn)進行詳細描述。請參照附圖1，一種3D光場相機，包括相互平行設(shè)置的CXD圖像傳感器I和柱狀透鏡陣列2，所述柱狀透鏡陣列2由若干并排設(shè)置的柱狀透鏡21構(gòu)成，所述CXD圖像傳感器I與所述柱狀透鏡陣列2之間的間距等于所述柱狀透鏡21的焦距。其中，所述CCD圖像傳感器I用于記錄圖像信息，其上布滿CCD像素點；所述柱狀透鏡陣列2用于將外部射進的光線分離并聚焦于所述CCD圖像傳感器上并形成互相穿插排列的多幅視差圖，由于所述CCD圖像傳感器I與所述柱狀透鏡陣列2之間的間距等于所述柱狀透鏡的焦距，因此所述柱狀透鏡陣列2可使多幅視差圖相互穿插成像于CXD圖像傳感器I上的CXD像素點上。應(yīng)當(dāng)說明的是所述柱狀透鏡陣列2的柱狀透鏡21的個數(shù)依據(jù)CCD圖像傳感器I橫向像素總數(shù)除以所需視差圖數(shù)目而定。一般來說，采用8幅視差圖。因此，為獲取8幅視差圖，所述柱狀透鏡陣列2需要包括的柱狀透鏡21的個數(shù)為(XD圖像傳感器I橫向像素總數(shù)除以8 ;每個柱狀透鏡21所對應(yīng)的CXD像素點為一個單元。若考慮到對準(zhǔn)或者邊緣誤差的問題，可選用9幅視差圖，或者更多。相較于現(xiàn)有技術(shù)，本發(fā)明的光場相機具備結(jié)構(gòu)簡單，成本可控的特點。按照常規(guī)的設(shè)計習(xí)慣，本發(fā)明的光場相機的柱狀透鏡陣列2呈豎直設(shè)置，當(dāng)然所述柱狀透鏡陣列2亦可以呈橫向設(shè)置。請參照附圖1，在實施例中，所述CXD圖像傳感器I與所述柱狀透鏡陣列2之間夾設(shè)有墊片3，所述墊片3的厚度等于所述柱狀透鏡21的焦距。如此，可保證CXD圖像傳感器I與所述柱狀透鏡陣列2之間的間距等于所述柱狀透鏡21的焦距，如此可使外部的光線通過所述柱狀透鏡陣列后在所述CCD圖像傳感器上成像以形成相互穿插排列的多幅視差圖。第二實施例如圖2所示，本實施例與第一實施例的區(qū)別在于，所述CCD圖像傳感器I與所述柱狀透鏡陣列2之間使用透光基板4替換實施例1中的墊片3。所述透光基板4的厚度等于所述柱狀透鏡21的焦距。如此可使外部的光線通過所述柱狀透鏡陣列后在所述CCD圖像傳感器上成像以形成相互穿插排列的多幅視差圖。本發(fā)明還提供一種如實施例1或?qū)嵤├?的3D光場相機拍攝圖像的處理方法，包 括以下步驟SI分別依次提取每個單元相同位置CXD像素列的圖像信息組合成多幅視差圖，并按照提取順序?qū)⒍喾暡顖D編號；請參照附圖4，以所述柱狀透鏡陣列2上每一柱狀透鏡21所對應(yīng)的CXD像素點為一個單元，在拍攝過程中，每一單元中相同位置的CCD像素列捕獲的圖像信息來自于外部空間的同一組平行光，所以提取各個單元相同位置CCD像素列的圖像信息組合可形成一幅視差圖。SI分別依次提取每個單元相同位置CXD像素列的圖像信息組合成多幅視差圖，具體為提取所有單元的第一列像素點，根據(jù)所提取單元的順序并排排列組合為第一視差圖。按照相同的方法，提取所有單元的第二列像素點，根據(jù)所提取單元的順序并排排列組合為第二視差圖。然后依次提取其余的像數(shù)列，組成視差圖。直至，提取所有單元的最后一列像素點，根據(jù)所提取單元的順序并排排列組合為最后一副視差圖。這里本實施例中還公開一個像素提取的對應(yīng)公式記CXD圖像傳感器I所獲取的圖像矩陣為I，則第i幅視差圖的第(m, η)個像素為I_i (m, n)=I ((m-1) · p+i，n),其中p為每一透鏡單體所覆蓋的CCD圖像傳感器像素點的個數(shù)，即每一單元像素點的個數(shù)，i為視差圖的序號、m為視差矩陣圖中每幅視差圖中每一列中的序號、η為視差矩陣圖中每幅視差圖所在列中列序號。S2提高各幅視差圖的分辨率；由步驟SI所得到的多幅視差圖在豎直方向上分辨率等于CCD圖像傳感器原來的分辨率，但是在水平方向上，分辨率變?yōu)樵瓉淼?/ρ，為了彌補這一損失，在本實施例中采用插值方法以提高其分辨率得到插值后的視差圖。由于插值方法是一種常見的數(shù)據(jù)處理方式，Photoshop等多款圖像處理軟件均可實現(xiàn)，在此不作詳細敘述。需要說明的是步驟S2為一可選步驟，步驟SI后也可直接執(zhí)行步驟S3。S3將插值后的多幅視差圖根據(jù)視差圖的編號逆序拼接為多路視差顯示的圖像。步驟S3將插值后的多幅視差圖根據(jù)視差圖的編號逆序拼接為多路視差顯示的圖像。具體為將最后一幅插值后的視差圖的第一列作為多路視差顯示圖像的第一列，將倒數(shù)第二幅插值后的視差圖的第一列作為多路視差顯示圖像的第二列，直至將第一幅插值后的視差圖的第一列排入多路視差顯示圖像中；再將最后一幅插值后的視差圖的第二列作為多路視差顯示圖像的下一列排入多路視差顯示圖像中，將倒數(shù)第二幅插值后的視差圖的第二列排入再下一列多路視差顯示圖像中，按照相同的方法，直至將第一幅插值后的視差圖的最后一列排入多路視差顯示圖像中。S3將插值后的多幅視差圖根據(jù)視差圖的編號逆序拼接為多路視差顯示的圖像。解決了多路視差顯示的圖像產(chǎn)生深度反轉(zhuǎn)的問題。具體原理請參照附圖5、圖6和圖7，圖5為實施例1的3D光場相機拍攝時的狀態(tài)，黑球與白球位于3D光場相機前方,且黑球相較于白球離3D光場相機更近。若將插值后的多幅視差圖根據(jù)視差圖的編號順序拼接為多路視差顯示的圖像。根據(jù)光路可逆的原理在多路視差顯示時會出現(xiàn)圖6中的情況，黑球與白球成像于顯示器前方，且黑球相較于白球離人眼更遠。與人在拍攝時直接在3D光場相機處觀察到的相對位置關(guān)系不符。若將插值后 的多幅視差圖根據(jù)視差圖的編號逆序拼接為多路視差顯示的圖像。根據(jù)光路可逆的原理在多路視差顯示時會出現(xiàn)圖7中的情況，黑球與白球成像于顯示器的后方，且黑球相較于白球離人眼更近。與人在拍攝時直接在3D光場相機處觀察到的相對位置關(guān)系相同。解決了多路視差顯示的圖像產(chǎn)生深度反轉(zhuǎn)的問題。S4根據(jù)所需調(diào)節(jié)的景深分別計算各幅視差圖的移動方向和移動的像素。S4根據(jù)所需調(diào)節(jié)的景深分別計算各幅視差圖的移動方向和移動的像素的具體方法為將欲使3D物體景深的調(diào)整距離Λ z，顯示端透鏡與屏幕之間的距離Pci,每一透鏡單體所覆蓋的CCD圖像傳感器像素點的個數(shù)，即每一單元像素點的個數(shù)P代入下式
,r . . . Ρ+Ι·χ Δζ—)■ —即得到第i幅視差圖水平移動的像素數(shù)目N_i。若N_i為負，則表示在同一單元中，該視差圖位于左側(cè)，該視差圖為右眼所見的視差圖，應(yīng)進行左移動處理；反之，若計算結(jié)果為正則應(yīng)進行向右移動處理。S5根據(jù)S4計算得到的各幅視差圖的移動方向和移動的像素移動各幅視差圖。步驟S3雖然解決了多路視差顯示的圖像產(chǎn)生深度反轉(zhuǎn)的問題。但會帶來加深景深的問題。即若將插值后的多幅視差圖根據(jù)視差圖的編號逆序拼接為多路視差顯示時，其中的物體看上去會比拍攝時的實際距離更遠。通過步驟S4、S5調(diào)整景深，以修正加深景深的問題。當(dāng)然也可利用步驟S4、S5自由的調(diào)節(jié)景深以達到某些特殊效果，如實現(xiàn)顯示物體的出屏和入屏。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種3D光場相機，其特征在于包括用于記錄圖像信息的CCD圖像傳感器，用于將外部射進的光線分離并聚焦于所述CCD圖像傳感器上的柱狀透鏡陣列，所述CCD圖像傳感器和所述柱狀透鏡陣列相互平行設(shè)置，所述柱狀透鏡陣列由若干并排設(shè)置的柱狀透鏡構(gòu)成，所述CCD圖像傳感器與所述柱狀透鏡陣列之間的間距等于所述柱狀透鏡的焦距。
2.如權(quán)利要求1所述的一種3D光場相機，其特征在于所述柱狀透鏡陣列由豎直設(shè)置的柱狀透鏡組成。
3.如權(quán)利要求1所述的一種3D光場相機，其特征在于所述CCD圖像傳感器與所述柱狀透鏡陣列之間夾設(shè)有墊片，所述墊片的厚度等于所述柱狀透鏡的焦距。
4.如權(quán)利要求1所述的一種3D光場相機，其特征在于所述CCD圖像傳感器與所述柱狀透鏡陣列之間夾設(shè)有透光基板，所述透光基板的厚度等于所述柱狀透鏡的焦距。
5.如權(quán)利要求1至4任一項所述的一種3D光場相機，其特征在于所述柱狀透鏡陣列的柱狀透鏡的個數(shù)等于CXD圖像傳感器橫向像素總數(shù)除以所需視差圖數(shù)目。
6.一種如權(quán)利要求1所述的3D光場相機拍攝圖像的處理方法，包括以下步驟Al分別依次提取每個單元相同位置CCD像素列的圖像信息組合成多幅視差圖，并按照提取順序?qū)⒍喾暡顖D編號；A2將所述的多幅視差圖根據(jù)所述的視差圖的編號逆序拼接為多路視差顯示的圖像。
7.根據(jù)權(quán)利要求6所述的處理方法，其特征在于所述步驟A2后還包括步驟A3根據(jù)所需調(diào)節(jié)的景深分別計算各幅視差圖的移動方向和移動的像素；A4根據(jù)所述A3計算得到的各幅視差圖的移動方向和移動的像素移動各幅視差圖。
8.根據(jù)權(quán)利要求6所述的處理方法，其特征在于步驟Al與步驟A2之間還包括步驟 提聞各幅視差圖的分辨率。
9.根據(jù)權(quán)利要求8所述的處理方法，其特征在于所述提高各幅視差圖的分辨率的步驟為采用插值方法提高所述視差圖的分辨率。
全文摘要
本發(fā)明屬于顯示技術(shù)領(lǐng)域，涉及3D光場相機以及其拍攝圖像的處理方法。本發(fā)明提供的一種3D光場相機，包括用于記錄圖像信息的CCD圖像傳感器，用于將外部射進的光線分離并聚焦于所述CCD圖像傳感器上，所述CCD圖像傳感器和所述柱狀透鏡陣列相互平行設(shè)置，所述柱狀透鏡陣列由若干并排設(shè)置的柱狀透鏡構(gòu)成，所述CCD圖像傳感器與所述柱狀透鏡陣列之間的間距等于所述柱狀透鏡陣列的焦距。本發(fā)明的光場相機通過在CCD圖像傳感器前放置一柱狀透鏡陣列，使相機能夠提取到多幅視差圖，通過對視差圖的分辨率提高，再經(jīng)將視差圖逆序排列和移動視差圖的方法，以獲取三維場景的出屏和入屏的效果，具有設(shè)備結(jié)構(gòu)簡單，所獲取的圖像分辨率高，同時具備出屏和入屏的技術(shù)效果。
文檔編號H04N5/232GK103019021SQ201210579508
公開日2013年4月3日 申請日期2012年12月27日 優(yōu)先權(quán)日2012年12月27日
發(fā)明者濮怡瑩, 謝相偉 申請人:Tcl集團股份有限公司