本公開涉及4D光場(chǎng)數(shù)據(jù)處理。更具體地，本公開涉及用于根據(jù)4D原始光場(chǎng)數(shù)據(jù)直接獲得2D重聚焦圖像的技術(shù)，而無需對(duì)4D原始光場(chǎng)數(shù)據(jù)執(zhí)行解復(fù)用(即，在無需使用根據(jù)4D原始光場(chǎng)數(shù)據(jù)得到/獲得的亞孔徑圖像的情況下獲得重聚焦圖像)。

背景技術(shù)：

本部分旨在向讀者介紹本領(lǐng)域中可能與以下描述和/或要求保護(hù)的本發(fā)明的各方面相關(guān)的各個(gè)方面。相信本討論有益于向讀者提供背景信息以便于更好地理解本發(fā)明的各個(gè)方面。因此，應(yīng)當(dāng)理解，這些陳述應(yīng)以這種方式被解讀，而不是作為對(duì)現(xiàn)有技術(shù)的承認(rèn)。

獲取4D光場(chǎng)數(shù)據(jù)(可以被視為對(duì)4D光場(chǎng)的采樣)(即，在ECCV2008會(huì)議記錄中公開的Anat Levin等的文章“Understanding cameratrade-offs through a Bayesian analysis of light field projections”的圖1中解釋的光線的記錄)是熱門的研究課題。

實(shí)際上，與通過相機(jī)獲得的典型的2D圖像相比，4D光場(chǎng)數(shù)據(jù)使用戶能夠有權(quán)訪問更多的后處理特征，這些特征增強(qiáng)了圖像的呈現(xiàn)和/或與用戶的交互性。例如，利用4D光場(chǎng)數(shù)據(jù)，可以容易地執(zhí)行對(duì)圖像的后驗(yàn)重聚焦(即，利用自由選擇的調(diào)焦距離的重聚焦意味著焦平面的位置可以后驗(yàn)指定/選擇)并且在圖像的場(chǎng)景中略微改變視角。為了獲取4D光場(chǎng)數(shù)據(jù)，可以使用幾種技術(shù)。特別地，文檔WO2013/180192中或文檔GB 2488905中描述的全光相機(jī)能夠獲取4D光場(chǎng)數(shù)據(jù)。在本文的圖1、圖2、圖3、圖4和圖5中提供了全光相機(jī)的架構(gòu)的細(xì)節(jié)。

在現(xiàn)有技術(shù)中，存在用于表示(或定義)4D光場(chǎng)數(shù)據(jù)的幾種方式。實(shí)際上，在2006年7月公布的Ren Ng的題為“Digital Light FieldPhotography”的博士學(xué)位論文的第3.3章中，描述了用于表示4D光場(chǎng)數(shù)據(jù)的三種不同的方式。第一，當(dāng)由例如圖1中所示的全光相機(jī)等的全光相機(jī)進(jìn)行記錄時(shí)，可以通過微透鏡圖像集合來表示4D光場(chǎng)數(shù)據(jù)(參見本文中的圖2的描述)。這種表示的4D光場(chǎng)數(shù)據(jù)被稱作原始圖像(或4D原始光場(chǎng)數(shù)據(jù))。第二，可以通過亞孔徑圖像集來表示4D光場(chǎng)數(shù)據(jù)。亞孔徑圖像對(duì)應(yīng)于從視角捕獲的場(chǎng)景的圖像，該視角在兩個(gè)亞孔徑圖像之間略微不同。這些亞孔徑圖像提供了與成像場(chǎng)景的視差和深度有關(guān)的信息。第三，可以用核線圖像集來表示4D光場(chǎng)數(shù)據(jù)(參見在2011年ISVC會(huì)議記錄中公開的S.Wanner等的題為“Generating EPI Representation of a 4D Light Fields with a Single LensFocused Plenoptic Camera”的文章)。

用于根據(jù)4D光場(chǎng)數(shù)據(jù)執(zhí)行重聚焦的常見技術(shù)基于微透鏡圖像的平移和相加(即，直接根據(jù)4D原始光場(chǎng)數(shù)據(jù)，注意I_RAW)，如文檔WO 2013/167758(部分“圖像重聚焦方法”)中所解釋的。本文的圖6大體上示出了如何投影所述4D原始光場(chǎng)數(shù)據(jù)中的坐標(biāo)(x，y)處的像素以獲得2D圖像。當(dāng)將4D原始光場(chǎng)像素(即，微圖像的像素)投影到重聚焦圖像時(shí)，權(quán)重圖記錄了累積的投影像素的數(shù)量。權(quán)重圖還記錄在投影坐標(biāo)是非整數(shù)坐標(biāo)的情況下的插值。一旦將所有4D原始光場(chǎng)像素投影到重聚焦圖像并且確定了權(quán)重圖，就通過權(quán)重圖對(duì)重聚焦圖像進(jìn)行劃分使得每一個(gè)重聚焦的像素接收到相同的平均貢獻(xiàn)。例如，由此得到的2D圖像可以在顯示器上輸出，或者存儲(chǔ)和/或發(fā)送到另一設(shè)備。

為了提高2D重聚焦圖像的質(zhì)量(特別是銳度)，可以使用Juliet Fiss等的題為“Refocusing Plenoptic Images using Depth-AdaptiveSplatting”的文章中所述的技術(shù)以用于插值的目的。實(shí)際上，基于該方法的插值在于將4D原始光場(chǎng)像素對(duì)2D重聚焦圖像的影響進(jìn)行擴(kuò)散(參見文章的圖5，其中，坐標(biāo)(x，y)處的4D原始光場(chǎng)像素被投影到具有被定義為濺射內(nèi)核的函數(shù)的值的位置s)。如該文章中所提到的：“濺射可以被視為使用徑向基函數(shù)的一種形式的分散數(shù)據(jù)插值”。然而，該方法的一個(gè)缺點(diǎn)是必須在將4D原始光場(chǎng)像素投影到2D重聚焦圖像 上之前對(duì)4D原始光場(chǎng)數(shù)據(jù)去馬賽克。該方法的另一缺點(diǎn)是濺射內(nèi)核在(x，y)中是各項(xiàng)同性的，并且僅取決于場(chǎng)景的深度。最后，該方法的另一缺點(diǎn)是濺射內(nèi)核未考慮多焦點(diǎn)全光相機(jī)(例如，如Todor Georgiev和Andrew Lumsdaine的題為“The Multi-Focus Plenoptic Camera”的文章中所述的多焦點(diǎn)全光相機(jī))或場(chǎng)景的幾何形狀。

因此，需要提供可以克服這些缺點(diǎn)的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

說明書中對(duì)“一個(gè)實(shí)施例”、“實(shí)施例”、“示例性實(shí)施例”的參考指示所描述的實(shí)施例可以包括特定特征、結(jié)構(gòu)或特性，但是每個(gè)實(shí)施例可以不必包括所述特定特征、結(jié)構(gòu)或特性。此外，這種短語不必參考相同實(shí)施例。此外，當(dāng)結(jié)合實(shí)施例描述特定特征、結(jié)構(gòu)或特性時(shí)，應(yīng)認(rèn)為，在本領(lǐng)域技術(shù)人員的知識(shí)內(nèi)，結(jié)合其他實(shí)施例影響這種特征、結(jié)構(gòu)或特性，而不論是否明確地描述。

本公開涉及用于針對(duì)給定的焦平面值g根據(jù)4D原始光場(chǎng)數(shù)據(jù)獲得重聚焦圖像的方法。該方法由電子設(shè)備執(zhí)行，并且其特征在于該方法包括針對(duì)至少一個(gè)顏色分量確定所述重聚焦圖像的處于坐標(biāo)(k，l)∈N²處的至少一個(gè)像素值，所述確定包括：

-針對(duì)所述至少一個(gè)顏色分量獲得具有包括在所述坐標(biāo)(k，l)的鄰域中的坐標(biāo)的至少一個(gè)投影像素值；

-基于函數(shù)對(duì)所述至少一個(gè)投影像素值進(jìn)行加權(quán)，所述加權(quán)輸出加權(quán)值；

-針對(duì)所述至少一個(gè)顏色分量使用所述加權(quán)值來更新所述重聚焦圖像的處于坐標(biāo)(k，l)處的所述至少一個(gè)像素值。

因此，本申請(qǐng)涉及用于逐個(gè)顏色分量地確定重聚焦圖像中的像素值的處理。因此，本技術(shù)無需對(duì)4D原始光場(chǎng)數(shù)據(jù)使用去馬賽克方法(可以在Zhan Yu等的題為“An Analysis of Color Demosaicing inPlenoptic Cameras”的文章中找到與去馬賽克方法有關(guān)的更多細(xì)節(jié))。因此，本技術(shù)實(shí)現(xiàn)了對(duì)重聚焦圖像中的彩色偽影的減小。實(shí)際上，一旦針對(duì)每一個(gè)顏色應(yīng)用了本技術(shù)，就對(duì)重聚焦圖像(針對(duì)每一個(gè)顏色 分量一個(gè)重聚焦圖像)進(jìn)行組合以獲得彩色圖像。在本技術(shù)中未使用去馬賽克方法。

在優(yōu)選的實(shí)施例中，所述用于獲得的方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)，并且所述函數(shù)被定義為其中h₁對(duì)應(yīng)于屬于的值，并且函數(shù)||.||是范數(shù)函數(shù)。

在優(yōu)選的實(shí)施例中，所述用于獲得的方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)，并且所述函數(shù)被定義為其中，h₂對(duì)應(yīng)于屬于的值，并且g_real(X，Y)的值對(duì)應(yīng)于與所述4D原始光場(chǎng)數(shù)據(jù)相關(guān)聯(lián)的場(chǎng)景中的g的實(shí)值。更具體地，g_real(X，Y)對(duì)應(yīng)于與所述4D原始光場(chǎng)數(shù)據(jù)相關(guān)聯(lián)的場(chǎng)景中與獲取所述4D原始光場(chǎng)數(shù)據(jù)的光場(chǎng)獲取設(shè)備相距的實(shí)值距離。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)，并且所述函數(shù)被定義為其中，h₃和h₃′對(duì)應(yīng)于屬于的值，并且值a，b，c和d對(duì)應(yīng)于根據(jù)所述重聚焦圖像的張量結(jié)構(gòu)確定的平滑值。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)，并且所述函數(shù)被定義為W₆(k，l，X，Y)＝χ((k，l)屬于([X]，[Y])的K個(gè)最近鄰居像素)，其中，χ(.)是特征函數(shù)，所述特征函數(shù)在語句成立的情況下等于1否則等于0，[.] 是取整函數(shù)，并且K是大于或等于2的整數(shù)。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])，其中，s定義了所述2D重聚焦圖像的圖像大小，坐標(biāo)(x，y)對(duì)應(yīng)于所述4D原始光場(chǎng)數(shù)據(jù)中的像素的坐標(biāo)，坐標(biāo)(C_x，C_y)對(duì)應(yīng)于坐標(biāo)(x，y)處的像素所屬的微圖像的中心的坐標(biāo)，并且所述函數(shù)被定義為W₇(k，l，X，Y)＝PSF(x，y)，其中，函數(shù)PSF是全光相機(jī)的點(diǎn)擴(kuò)散函數(shù)的估計(jì)。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])，其中，s定義了所述2D重聚焦圖像的圖像大小，坐標(biāo)(x，y)對(duì)應(yīng)于所述4D原始光場(chǎng)數(shù)據(jù)中的像素的坐標(biāo)，坐標(biāo)(C_x，C_y)對(duì)應(yīng)于坐標(biāo)(x，y)處的像素所屬的微圖像的中心的坐標(biāo)，并且所述函數(shù)被定義為W₈＝χ(||(x，y)-(C_x，C_y)||²＜ρ)，其中χ(.)是特征函數(shù)，所述特征函數(shù)在語句成立的情況下等于1否則等于0，ρ是閾值，并且函數(shù)||.||是范數(shù)函數(shù)。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])，其中，s定義了所述2D重聚焦圖像的圖像大小，坐標(biāo)(x，y)對(duì)應(yīng)于所述4D原始光場(chǎng)數(shù)據(jù)中的像素的坐標(biāo)，坐標(biāo)(C_x，C_y)對(duì)應(yīng)于坐標(biāo)(x，y)處的像素所屬的微圖像的中心的坐標(biāo)，并且所述函數(shù)被定義為其中，h₈對(duì)應(yīng)于屬于的值，并且函數(shù)||.||是范數(shù)函數(shù)。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])，其中，s定義了所述2D重聚焦圖像的圖像大小，坐標(biāo)(x，y)對(duì)應(yīng)于所述4D原始 光場(chǎng)數(shù)據(jù)中的像素的坐標(biāo)，坐標(biāo)(C_x，C_y)對(duì)應(yīng)于坐標(biāo)(x，y)處的像素所屬的微圖像的中心的坐標(biāo)，并且所述函數(shù)被定義為等于其中i≠4，其中，S(x，y)是(x，y)所屬的微透鏡的銳度的度量，并且S_max對(duì)應(yīng)于所述4D原始光場(chǎng)數(shù)據(jù)的所有微透鏡上的最大銳度值。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述函數(shù)被定義為是可分離的。

在優(yōu)選的實(shí)施例中，所述方法其特征在于所述函數(shù)被定義為與另一函數(shù)的乘積，其中，h₁對(duì)應(yīng)于屬于的值，函數(shù)||.||是范數(shù)函數(shù)。

在優(yōu)選的實(shí)施例中，所述用于獲得的方法其特征在于所述更新包括將所述加權(quán)值與所述至少一個(gè)像素值相加。

在一個(gè)實(shí)施例中，存在對(duì)所述至少一個(gè)像素值進(jìn)行初始化。例如，對(duì)所述至少一個(gè)像素值進(jìn)行初始化可以包括：在電子設(shè)備的寄存器中初始化為空值。

根據(jù)示例實(shí)現(xiàn)方案，通過計(jì)算機(jī)軟件程序來實(shí)現(xiàn)該方法的不同步驟，這種軟件程序包括被設(shè)計(jì)為由根據(jù)本公開的中繼模塊(relay module)的數(shù)據(jù)處理器來執(zhí)行的軟件指令，并被設(shè)計(jì)為控制執(zhí)行該方法的不同步驟。

因此，本公開的一個(gè)方面還涉及易于通過計(jì)算機(jī)或數(shù)據(jù)處理器執(zhí)行的程序，這種程序包括用于命令執(zhí)行上述方法的步驟的指令。

該程序可以使用任何編程語言，并可以是源代碼、目標(biāo)代碼或源代碼和目標(biāo)代碼之間的中間代碼的形式，例如，部分編譯形式或任何其他所需形式。

本公開還涉及一種可由數(shù)據(jù)處理器讀取并包括上述程序的指令 的信息介質(zhì)。

信息介質(zhì)可以是能夠存儲(chǔ)程序的任何實(shí)體或設(shè)備。例如，介質(zhì)可以包括存儲(chǔ)裝置，如ROM(代表“只讀存儲(chǔ)器”)，例如CD-ROM(代表“壓縮盤-只讀存儲(chǔ)器”)或微電子電路ROM，或磁性記錄裝置，例如軟盤或硬盤驅(qū)動(dòng)器。

此外，信息介質(zhì)可以是可傳輸載體，例如，由無線電或其他裝置通過電纜或光纜傳遞的電信號(hào)或光信號(hào)。程序可以專門下載到互聯(lián)網(wǎng)類型的網(wǎng)絡(luò)中。

備選地，信息介質(zhì)可以是其中并入了程序的集成電路，該電路適于執(zhí)行或者用于執(zhí)行考慮中的方法。

根據(jù)一個(gè)實(shí)施例，通過軟件和/或硬件組件來實(shí)現(xiàn)本公開的實(shí)施例。從這個(gè)角度，本文中的術(shù)語“模塊”可以對(duì)應(yīng)于軟件組件以及對(duì)應(yīng)于硬件組件，或?qū)?yīng)于硬件與軟件組件的集合。

軟件組件對(duì)應(yīng)于一個(gè)或多個(gè)計(jì)算機(jī)程序、程序的一個(gè)或多個(gè)子程序，或更一般地，對(duì)應(yīng)于能夠根據(jù)以下針對(duì)所涉及的模塊描述的內(nèi)容實(shí)現(xiàn)功能或功能集合的程序或軟件程序的任何元素。一個(gè)這種軟件組件由物理實(shí)體(終端、服務(wù)器等)的數(shù)據(jù)處理器來執(zhí)行，并能夠訪問該物理實(shí)體的硬件資源(存儲(chǔ)器、記錄介質(zhì)、通信總線、輸入/輸出電子板、用戶接口等)。

類似地，硬件組件對(duì)應(yīng)于能夠根據(jù)以下針對(duì)所涉及的模塊描述的內(nèi)容實(shí)現(xiàn)功能或功能集合的硬件單元的任何元素。它可以是可編程硬件組件或具有用于執(zhí)行軟件的集成電路(例如，集成電路、智能卡、存儲(chǔ)卡、用于執(zhí)行固件的電子版等)的組件。在一個(gè)變型中，硬件組件包括為集成電路的處理器(諸如中央處理器)和/或微處理器和/或?qū)Ｓ眉呻娐?ASIC)和/或?qū)Ｓ弥噶罴幚砥?ASIP)和/或圖形處理單元(GPU)和/或物理處理單元(PPU)和/或數(shù)字信號(hào)處理器(DSP)和/或圖像處理器和/或協(xié)處理器和/或浮點(diǎn)單元和/或網(wǎng)絡(luò)處理器和/或音頻處理器和/或多核處理器。此外，硬件組件還可以包括基帶處理器(包括例如存儲(chǔ)器單元和固件)和/或接收或發(fā)送無線電信號(hào)的無線電電子電路(可以包括天線)。在一個(gè)實(shí)施例中，硬件組件與一個(gè)或多個(gè) 標(biāo)準(zhǔn)兼容，諸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平臺(tái))、全球平臺(tái)(即，安全元件)。在一個(gè)變型中，硬件組件是射頻識(shí)別(RFID)標(biāo)簽。在一個(gè)實(shí)施例中，硬件組件包括啟用藍(lán)牙通信和/或Wi-Fi通信和/或ZigBee通信和/或USB通信和/或火線通信和/或NFC(用于近場(chǎng))通信的電路。

還應(yīng)當(dāng)注意的是，在本文中獲得元素/值的步驟可以被視為讀取電子設(shè)備的存儲(chǔ)器單元中的這種元素/值的步驟或者經(jīng)由通信裝置從另一電子設(shè)備接收這種元素/值的步驟。

在另一實(shí)施例中，提出了用于針對(duì)給定的焦平面值g根據(jù)4D原始光場(chǎng)數(shù)據(jù)獲得重聚焦圖像的電子設(shè)備。所述電子設(shè)備其特征在于，所述電子設(shè)備包括被配置為針對(duì)至少一個(gè)顏色分量確定所述重聚焦圖像的處于坐標(biāo)(k，l)∈N²處的至少一個(gè)像素值的電路，所述電路包括：

-獲得電路，被配置為針對(duì)所述至少一個(gè)顏色分量獲得具有包括在所述坐標(biāo)(k，l)的鄰域中的坐標(biāo)的至少一個(gè)投影像素值；

-加權(quán)電路，被配置為基于函數(shù)對(duì)所述至少一個(gè)投影像素值進(jìn)行加權(quán)，所述加權(quán)電路輸出加權(quán)值；

-更新電路，被配置為針對(duì)所述至少一個(gè)顏色分量使用所述加權(quán)值來更新所述重聚焦圖像的處于坐標(biāo)(k，l)處的所述至少一個(gè)像素值。

在優(yōu)選的實(shí)施例中，所述電子設(shè)備其特征在于，所述至少一個(gè)投影像素值具有坐標(biāo)(X，Y)，并且所述函數(shù)被定義為其中，h₁對(duì)應(yīng)于屬于的值，并且函數(shù)||.||是范數(shù)函數(shù)。

附圖說明

通過參考附圖給出的本發(fā)明的示例性實(shí)施例的以下詳細(xì)說明，本發(fā)明的上述和其他方面將變得更加顯而易見：

-圖1示意性地呈現(xiàn)了本技術(shù)可以應(yīng)用于的實(shí)現(xiàn)對(duì)光場(chǎng)數(shù)據(jù)的獲取的全光相機(jī)中包括的主要組件；

-圖2呈現(xiàn)了圖1的傳感器陣列捕獲的圖像；

-圖3和圖4示出了假定理想薄透鏡模型的情況下的示意性II型全光相機(jī)；

-圖5呈現(xiàn)了I型全光相機(jī)；

-圖6呈現(xiàn)了4D原始光場(chǎng)像素的投影；

-圖7a和圖7b示出了根據(jù)本公開的一個(gè)實(shí)施例的濺射過程；

-圖7c呈現(xiàn)了確定重聚焦圖像中的位置(k，l)∈N²處的像素的值的示例；

-圖8(a)和圖8(b)示出了基于對(duì)像素的張量分析的本公開的一個(gè)實(shí)施例；

-圖9(a)和圖9(b)呈現(xiàn)了圖像和通過包括微透鏡陣列的全光相機(jī)獲得的該圖像的一部分，其中微透鏡具有不同的焦距；

-圖10呈現(xiàn)了投影像素，該投影像素具有坐標(biāo)(k，l)，其中接收到針對(duì)每一個(gè)顏色通道的至少一個(gè)值；

-圖11示出了(坐標(biāo)(x，y)處的)4D原始光場(chǎng)數(shù)據(jù)的像素值如何在投影坐標(biāo)(X，Y)周圍濺射/擴(kuò)散到K個(gè)最近鄰居(在K＝6的情況下)；

-圖12示出了用于根據(jù)4D原始光場(chǎng)數(shù)據(jù)重聚焦圖像的方法的一些步驟；

-圖13呈現(xiàn)了可以用于執(zhí)行本文所公開的方法的一個(gè)或多個(gè)步驟的設(shè)備的示例。

具體實(shí)施方式

圖1示意性地呈現(xiàn)了本技術(shù)可以應(yīng)用于的實(shí)現(xiàn)對(duì)光場(chǎng)數(shù)據(jù)的獲取的全光相機(jī)中包括的主要組件。

更具體地，全光相機(jī)包括標(biāo)記為101的主透鏡和標(biāo)記為104的傳感器陣列(即，像素傳感器陣列(例如，基于CMOS技術(shù)的傳感器))。標(biāo)記為102的微透鏡陣列位于主透鏡101與傳感器陣列104之間，微透鏡陣列包括標(biāo)記為103的微透鏡的集合。應(yīng)當(dāng)注意的是，可選地，一些墊片可以位于每一個(gè)透鏡附近的微透鏡陣列與傳感器之間，以防止來自一個(gè)透鏡的光與其他透鏡的光在傳感器側(cè)交疊。應(yīng)當(dāng)注意的是， 主透鏡101可以是更復(fù)雜的光學(xué)系統(tǒng)，如圖1中所示的光學(xué)系統(tǒng)(如例如文檔GB2488905的圖12和圖13中所述的光學(xué)系統(tǒng))。因此，全光相機(jī)可以被視為傳統(tǒng)的相機(jī)加上設(shè)置在傳感器前方的微透鏡陣列，如圖1所示。通過微透鏡的光線覆蓋記錄這些光線的輻射的傳感器陣列的一部分。通過傳感器的這一部分進(jìn)行記錄定義了微透鏡圖像。

圖2呈現(xiàn)了由傳感器陣列104捕獲的圖像。實(shí)際上，在該視圖中，呈現(xiàn)了傳感器陣列104包括標(biāo)記為201的像素集。通過微透鏡的光線覆蓋多個(gè)像素201，并且這些像素記錄入射/接收的光線的能量值。

因此，全光相機(jī)的傳感器陣列104記錄了包括布置在2D圖像(也被稱作原始4D光場(chǎng)圖像)中的2D小圖像(即，標(biāo)記為202的微透鏡圖像)的集合的圖像。實(shí)際上，每一個(gè)小圖像(即，微透鏡圖像)是由微透鏡(微透鏡可以由透鏡陣列的坐標(biāo)(i，j)來標(biāo)識(shí))產(chǎn)生的。因此，光場(chǎng)的像素與4個(gè)坐標(biāo)(x，y，i，j)相關(guān)聯(lián)。作為由傳感器記錄的4D光場(chǎng)的L(x，y，i，j)示出了由傳感器記錄的圖像。每一個(gè)微透鏡產(chǎn)生由圓形表示的微圖像(小圖像的形狀取決于通常圓形的微透鏡的形狀)。對(duì)(傳感器陣列中的)像素坐標(biāo)加標(biāo)簽(x，y)。p是兩個(gè)連續(xù)微圖像之間的距離，p不一定是整數(shù)值。微透鏡被選擇為使得p大于像素大小δ。微透鏡圖像是通過其坐標(biāo)(i，j)來參考的。每一個(gè)微透鏡圖像使用(u，v)坐標(biāo)系對(duì)主透鏡的瞳孔進(jìn)行采樣。一些像素可能未從任何微透鏡接收到任何光子，特別是在微透鏡的形狀是圓形的情況下。在該情況下，微透鏡間的空間被遮蔽以防止光子從微透鏡外部通過，從而導(dǎo)致微圖像中的一些黑色區(qū)域。如果微透鏡具有正方形形狀，則不需要遮蔽。微透鏡圖像(i，j)的中心位于坐標(biāo)(x_i，j，y_i，j)處的傳感器上。θ是像素的正方形網(wǎng)格與微透鏡的正方形網(wǎng)格之間的角度，在圖2中，θ＝0。假定微透鏡是根據(jù)規(guī)則的正方形網(wǎng)格來布置的，則可以在考慮微透鏡圖像(0，0)的像素坐標(biāo)(x_0，0，y_0，0)的情況下通過以下等式來計(jì)算(x_i，j，y_i，j)：

圖2還示出了來自場(chǎng)景的物體在多個(gè)連續(xù)微透鏡圖像上可見(黑點(diǎn))。物體的兩個(gè)連續(xù)視圖之間的距離是w，該距離被稱作復(fù)制距離。因此，對(duì)象在r個(gè)連續(xù)微透鏡圖像上是可見的，其中：

r是一維的連續(xù)微透鏡圖像的數(shù)量。對(duì)象在r²個(gè)微透鏡圖像中是可見的。根據(jù)微透鏡圖像的形狀，物體的r²個(gè)視圖中的一些視圖可能是不可見的。

可以在2012年5月在IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.34，N°5公開的Tom E.Bishop和Paolo Favaro的題為“The Light Field Camera：Extended Depth of Field，Aliasing，andSuperresolution”的文章中的題為“Image formation of a Light field camera”的部分4中找到與全光相機(jī)有關(guān)的更多細(xì)節(jié)。

應(yīng)當(dāng)注意的是，在以與文檔US2013258098中所述的方式相同的方式(或相似的方式)設(shè)計(jì)傳統(tǒng)相機(jī)的像素的至少一部分的情況下，本技術(shù)也可以應(yīng)用于“這種傳統(tǒng)相機(jī)”(在沒有附加的微透鏡陣列位于主透鏡和像素陣列之間的意義上)。實(shí)際上，文檔US2013258098公開了可以由于使用多個(gè)光接收部(例如，文檔US2013258098中的附圖標(biāo)記116和117)而記錄光場(chǎng)數(shù)據(jù)的像素。因此，本領(lǐng)域技術(shù)人員可以具有集成了文檔US2013258098的技術(shù)的像素陣列的這種傳統(tǒng)相機(jī)視為圖1中所示的一種類型的全光相機(jī)，其中，每一個(gè)微透鏡將光線集中于傳感器104中包括的兩個(gè)像素上。應(yīng)當(dāng)注意的是，如果在像素的架構(gòu)中集成了更多接收部，則可以在像素可以記錄(由兩個(gè)低和高接收部獲得的)多于兩個(gè)數(shù)據(jù)信息的意義上概括文檔US2013258098的技術(shù)。本公開可以對(duì)集成可以記錄光場(chǎng)數(shù)據(jù)(如前所述)的像素的“傳統(tǒng)相機(jī)”的原始圖像使用。實(shí)際上，這些原始圖像可以被視為微透鏡圖像集。

還應(yīng)當(dāng)注意的是，本公開也可以應(yīng)用于獲取4D光場(chǎng)數(shù)據(jù)的其他設(shè)備，例如，包括文檔US 2010/0265386中所示的編碼孔徑元件的設(shè)備或者2007年在SIGGRAPH的記錄中公開的A.Levin a等的題為“Image and depth from a conventional camera with a coded aperture”的文章中的設(shè)備、或者使用1995年4月10日在應(yīng)用光學(xué)中公開的Edward R.Dowski、Jr和W.Thomas Cathe的題為“Extended depth of field through wave-front coding”的文章中提到的波陣面編碼技術(shù)的設(shè)備。

圖3和圖4示出了在假定理想薄透鏡模型的情況下的示意性的II型全光相機(jī)。以像素為單位給出了先前介紹的距離p和w。通過將它們與像素大小δ相乘：W＝δ.w和P＝δ.p來將它們分別轉(zhuǎn)換為物理單位距離(米)P和W。這些距離取決于光場(chǎng)相機(jī)特性。

主透鏡具有焦距F和孔徑Ф。微透鏡陣列由具有焦距f的微透鏡構(gòu)成。微透鏡陣列的間距是φ。微透鏡陣列位于與主透鏡相距D的位置處和與傳感器相距d的位置處。物體(圖上不可見)位于與主透鏡相距z的位置處(左側(cè))。通過主透鏡將該物體聚焦到與主透鏡相距z′的位置處(右側(cè))。

圖3和圖4分別示出了D＞z′和D＜z′的情況。在兩種情況下，微透鏡圖像可以根據(jù)d和f聚焦。該設(shè)計(jì)涉及所謂的II型全光相機(jī)(也稱作全光相機(jī)2.0)。

圖5呈現(xiàn)了I型全光相機(jī)(也稱作全光相機(jī)1.0)，其中f＝d。

在圖5中，進(jìn)行設(shè)計(jì)使得主透鏡將圖像聚焦到與微透鏡陣列接近的位置處。如果主透鏡精確地聚焦到微透鏡陣列上，則W＝∞。此外，微透鏡圖像完全離焦并且等于常數(shù)(不考慮噪聲)。

復(fù)制距離W隨著物體的距離z而改變。為了建立W與z之間的關(guān)系，依賴于薄透鏡方程：

和泰勒斯定律：

將前面兩個(gè)等式結(jié)合得到：

W與z之間的關(guān)系未假定微透鏡圖像是聚焦的。微透鏡圖像根據(jù)薄透鏡方程嚴(yán)格聚焦：

此外，根據(jù)泰勒斯定律，得到P：

P＝φe

比值e定義了微透鏡間距與微透鏡圖像間距之間的放大。該比值非常接近于1，這是因?yàn)镈＞＞d。

可以在文檔WO 2013/167758中找到類似的論述。

圖6呈現(xiàn)了4D原始光場(chǎng)像素(即，坐標(biāo)(x，y)處的像素，其屬于標(biāo)記為600的中心位于坐標(biāo)(C_x，C_y)的微透鏡圖像)向坐標(biāo)(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])處的(2D重聚焦圖像中的)像素的投影，其中，g確定重聚焦平面，s定義2D重聚焦圖像的圖像大小(因此，size(I_g)＝s·size(IRAW)，其中I_g.對(duì)應(yīng)于2D重聚焦圖像)。在圖6的示例中，s＝1。在文檔WO 2013/167758中詳細(xì)描述了關(guān)于重聚焦過程的更多細(xì)節(jié)。

因此，給定固定的圖像大小s和焦平面g，估計(jì)將4D原始光場(chǎng)數(shù)據(jù)I_RAW的所有像素(x，y)進(jìn)行投影的重聚焦圖像I_g。應(yīng)當(dāng)注意的是，投影的坐標(biāo)(X，Y)不一定位于均勻分布的網(wǎng)格或規(guī)則的網(wǎng)格上。實(shí)際上，圖像平面上的實(shí)值位置(X，Y)的分布高度依賴于值g。

應(yīng)當(dāng)注意的是，假定通過現(xiàn)有的任何技術(shù)(如在計(jì)算機(jī)視覺和模式識(shí)別(CVPR)的會(huì)議記錄中公開的Dansereau等的題為“Decoding，calibration and rectification for lenselet-based plenoptic cameras”的文章 中所述的技術(shù)(IEEE的2013IEEE會(huì)議))來估計(jì)圖像的微透鏡中心(C_x，C_y)。

所提出的技術(shù)涉及用于針對(duì)給定焦點(diǎn)(基于g的值)根據(jù)4D原始光場(chǎng)數(shù)據(jù)獲得重聚焦圖像的方法，包括：通過確定在(k，l)的鄰域中投影的像素值的加權(quán)和來確定重聚焦圖像中的位置(k，l)∈N²處的像素的值。因此，重聚焦圖像被定義如下：

其中，是歸一化因子，B_kl是以(k，l)為中心的鄰域，并且位置(X，Y)＝(s[g(x-C_x)+C_x]，s[g(y-C_y)+C_y])，且c＝{R，G，B}是顏色通道(其中，是R紅色、G是綠色并且B是藍(lán)色)。應(yīng)當(dāng)注意的是，I_RAW具有貝葉斯模式，因此I_RAW^c(x，y)僅針對(duì)一個(gè)顏色通道是非零的。

圖7(a)和圖7(b)示出了根據(jù)本公開的一個(gè)實(shí)施例的濺射過程。注意，利用該定義，濺射內(nèi)核調(diào)整模糊量。內(nèi)核越大，2D重聚焦圖像越模糊。

圖7(a)示出了強(qiáng)度值I_RAW^c(x，y)被投影到重聚焦平面處并且在位置(X，Y)周圍擴(kuò)散(濺射)。通過濺射內(nèi)核W對(duì)擴(kuò)散值進(jìn)行加權(quán)，這意味著并非(X，Y)周圍的所有像素都接收到相同的像素值。

圖7(b)示出了為了呈現(xiàn)重聚焦圖像，針對(duì)圖像網(wǎng)格的每一個(gè)像素位置(k，l)，確定該位置處所有接收的像素值的(加權(quán))和。在該示例中，像素(k，l)接收到兩個(gè)值。為了說明的目的，在該圖中，濺射內(nèi)核的形狀是圓形的，但是其他形狀是可能的。

圖7(c)呈現(xiàn)了確定重聚焦圖像中的位置(k，l)∈N²處的像素的值。在第一步驟中，選擇位于坐標(biāo)(k，l)∈N²處的像素的鄰域B_kl。在本公開的實(shí)施例中，這種鄰域可以以坐標(biāo)(k，l)∈N²為中心。在一個(gè)變型中，這種鄰域不以坐標(biāo)(k，l)∈N²為中心，但是鄰域區(qū)域包括坐標(biāo) (k，l)∈N²。鄰域的幾何形狀可以改變(從圓形改變?yōu)楦鼜?fù)雜的幾何結(jié)構(gòu)(如圖7(c)中所示的幾何結(jié)構(gòu)))。在圖7(c)的示例中，僅來自4D原始光場(chǎng)數(shù)據(jù)I_RAW的具有紅色分量的三個(gè)像素在鄰域B_kl中具有投影。因此，在一個(gè)實(shí)施例中，針對(duì)紅色分量，I_g^c(k，l)＝

[W⁽¹⁾(k，l，X₁，Y₁)I_RAW^c(x₁，y₁)+W⁽²⁾(k，l，X₂，Y₂)I_RAW^c(x₂，y₂)+

W⁽³⁾(k，l，X₃，Y₃)I_RAW^c(x₃，y₃)]*歸一化系數(shù)。

在該等式中，加權(quán)函數(shù)(也稱作濺射內(nèi)核)W⁽¹⁾、W⁽²⁾和W⁽³⁾可以是相同的函數(shù)或不同的函數(shù)。

針對(duì)相同的鄰域但是針對(duì)另一顏色分量，其他投影的像素包括在該鄰域中?，F(xiàn)在，描述濺射內(nèi)核W的可能定義中的每一個(gè)。W的最簡(jiǎn)單的定義是具有固定半徑r的圓形，在本文中，將其稱作W₀。但是，這種簡(jiǎn)單的濺射內(nèi)核不會(huì)精細(xì)地恢復(fù)重聚焦圖像。

在本公開的第一實(shí)施例中，濺射內(nèi)核W關(guān)于||(k，l)-(X，Y)||²是遞減函數(shù)，這意味著W(X，Y，X，Y)隨著||(k，l)-(X，Y)||²的增加達(dá)到其最大值然后成比例地減小。這種濺射內(nèi)核的示例被定義為：

值h₁是可以由用戶輸入的參數(shù)或者是被定義為執(zhí)行對(duì)4D原始光場(chǎng)數(shù)據(jù)的獲取的光場(chǎng)設(shè)備的參數(shù)的函數(shù)的參數(shù)。

在本公開的第二實(shí)施例中，假定針對(duì)每一個(gè)點(diǎn)(x，y)已知g_real(x，y)的值，即g的實(shí)值(即，場(chǎng)景中與光場(chǎng)獲取設(shè)備相距的實(shí)值距離)。也即是說，點(diǎn)(x，y)被假定為在其處聚焦的平面(可以在已知場(chǎng)景的深度的情況下對(duì)此進(jìn)行估計(jì))。然后，可以根據(jù)g_real在每一個(gè)點(diǎn)處對(duì)濺射內(nèi)核進(jìn)行調(diào)整。設(shè)g是旨在在其處對(duì)圖像進(jìn)行重聚焦的所需焦平面。將濺射內(nèi)核定義為當(dāng)|g-g_real|減小時(shí)的遞減函數(shù)。利用該定義，焦平面g處的點(diǎn)保持清晰，而其他點(diǎn)是模糊的，并且模糊的量 與到焦平面g的距離成正比。這種濺射內(nèi)核的示例由下式給出：

值h₂是可以由用戶輸入的參數(shù)或者是被定義為執(zhí)行對(duì)4D原始光場(chǎng)數(shù)據(jù)的獲取的光場(chǎng)設(shè)備的參數(shù)的函數(shù)的參數(shù)。

在本公開的第三實(shí)施例中，圖像(圖像邊界)的結(jié)構(gòu)和幾何形狀是可以由濺射內(nèi)核采用的重要信息。給定圖像的邊緣，濺射內(nèi)核使其形狀適應(yīng)圖像邊界。在該情況下，濺射內(nèi)核是各向異性的，并且使其自身適應(yīng)圖像的邊緣。例如，已知被定義為下式(其中I_x，I_y是圖像I的偏導(dǎo)數(shù))的圖像的張量結(jié)構(gòu)

提供了關(guān)于圖像的局部幾何形狀的重要信息：特征向量v₁，v₂提供了圖像梯度的主方向(切向量和法向量的方向)并且相應(yīng)的特征值λ₁，λ₂提供了每一個(gè)主向量的幅度。具體地，特征向量表征場(chǎng)景的局部幾何結(jié)構(gòu)(較小的λ₁，λ₂對(duì)應(yīng)于同質(zhì)區(qū)域，較大的λ₁，λ₂對(duì)應(yīng)于圖像角，并且較大的λ₁和較小的λ₂對(duì)應(yīng)于具有切線v₁的圖像邊緣)。圖8(a)示出了圖像邊界的情況，其中，使用在黑點(diǎn)處計(jì)算的張量矩陣的特征向量和特征值來估計(jì)切向量和法向量。由于張量分析，可以定義濺射內(nèi)核使得當(dāng)存在圖像邊緣時(shí)其形狀是自適應(yīng)的(參見圖8(b))。

考慮張量結(jié)構(gòu)提供的圖像的幾何結(jié)構(gòu)的濺射內(nèi)核的示例被定義為：

該高斯內(nèi)核在方向上使用值h₃進(jìn)行平滑并且在方向 上使用值h′₃進(jìn)行平滑。

值h₃和h′₃是可以由用戶輸入的參數(shù)或者是被定義為執(zhí)行對(duì)4D原始光場(chǎng)數(shù)據(jù)的獲取的光場(chǎng)設(shè)備的參數(shù)的函數(shù)的參數(shù)。

注意，實(shí)際上，由于對(duì)投影點(diǎn)(X，Y)的不規(guī)則采樣，因此估計(jì)重聚焦圖像的張量并不容易。然而，張量是局部算子，并且可以在原始圖像中對(duì)張量進(jìn)行估計(jì)然后以與圖像顏色值相同的方式對(duì)張量進(jìn)行投影。

在第四實(shí)施例中，濺射內(nèi)核考慮了多焦點(diǎn)全光相機(jī)中的微透鏡類型。例如，Raytrix相機(jī)是其中存在具有三個(gè)不同的焦距的三種類型的微透鏡的全光相機(jī)。圖9(a)示出了使用Raytrix R5相機(jī)捕獲的4D原始光場(chǎng)數(shù)據(jù)。

圖9(b)呈現(xiàn)了相同的圖像的不同部分的三種不同的剪裁。注意，微透鏡陣列是由在焦距方面三種不同類型的微透鏡形成的。因此，不同的微透鏡使場(chǎng)景的不同部分聚焦。與中間的結(jié)果相比，左邊的結(jié)果未使相同的微透鏡聚焦。最后一個(gè)結(jié)果顯示了在三個(gè)微透鏡離焦的情況下場(chǎng)景的一部分。

在該實(shí)施例中，考慮濺射內(nèi)核根據(jù)要濺射的值而改變的事實(shí)。如果這種值來自聚焦的微透鏡，則濺射內(nèi)核應(yīng)當(dāng)具有比對(duì)未聚焦的微透鏡的值進(jìn)行擴(kuò)散的濺射內(nèi)核更大的權(quán)重。該思想是相對(duì)于聚焦的微透鏡對(duì)未聚焦的微透鏡進(jìn)行懲罰。這種濺射內(nèi)核的示例被定義為：

其中，W_i≠4是本文中定義的濺射內(nèi)核中的任意一個(gè)，S(x，y)是(x，y)所屬的微透鏡的銳度的度量，并且S_max是原始圖像的所有微透鏡上的最大銳度值。可以使用多個(gè)銳度度量。例如，在模式識(shí)別46.5(2013)：1415-1432中公開的Pertuz，Said等的題為“Analysis of focusmeasure operators for shape-from-focus”的文章中定義了銳度度量。

在本公開的第五實(shí)施例中，給定圖像大小s和所需重聚焦平面g，確定重聚焦平面中的投影點(diǎn)(X，Y)的分布。雖然s僅考慮了規(guī)模，但是g的選擇改變其自身的分布。

在本技術(shù)中，濺射內(nèi)核考慮該分布使得2D重聚焦圖像的呈現(xiàn)過程不會(huì)產(chǎn)生顏色“空洞”。換言之，本技術(shù)確保2D重聚焦圖像I_g的每一個(gè)像素位置(k，l)在濺射過程期間已經(jīng)得到了每一個(gè)顏色的至少一個(gè)強(qiáng)度值。

實(shí)際上，這意味著對(duì)濺射內(nèi)核的支持具有由最大采樣步長(zhǎng)H給出的最小大小。

這種濺射內(nèi)核的示例是W₅＝W₀，其中，圓形具有半徑r＝H。

圖10呈現(xiàn)了針對(duì)每一個(gè)顏色通道接收到至少一個(gè)顏色的像素位置(k，l)。濺射內(nèi)核可以具有不同的形狀和大小(只要確保(對(duì)于不產(chǎn)生“空洞”必要的)最小大小)。

濺射內(nèi)核的所有前述定義建議將像素值I_RAW^c(x，y)擴(kuò)散到最近像素。然而，在本公開的第六實(shí)施例中，可以將相同的像素值關(guān)于給定標(biāo)準(zhǔn)擴(kuò)散到K個(gè)最近鄰居像素(在顏色方面、在梯度方面等最近的鄰居)。在形式上，

W₆(k，l，X，Y)＝χ((k，l)屬于([X]，[Y])的K-NN)

其中，χ(.)是特征函數(shù)(如果句法成立，則等于1，否則等于0)，并且[.]是取整函數(shù)。

圖11呈現(xiàn)了被濺射到K個(gè)最近鄰居的值I_RAW^c(x，y)。在該示例中，K＝6。K-NN不一定是根據(jù)歐氏距離的最近像素，但是根據(jù)顏色、深度或任何其他標(biāo)準(zhǔn)是最近的。

在本發(fā)明的第七實(shí)施例中，可以在濺射內(nèi)核的定義中估計(jì)并考慮全光相機(jī)的PSF(點(diǎn)擴(kuò)散函數(shù))(或微透鏡陣列的PSF)。這種內(nèi)核的一個(gè)可能的定義是：

W₇(k，l，X，Y)＝PSF(x，y)

注意，每一個(gè)顏色通道具有不同的PSF，因此也可以根據(jù)要濺射的顏色通道來調(diào)整濺射內(nèi)核的定義。

在本公開的第八實(shí)施例中，已知全光相機(jī)受到漸暈并且具體地受 到微透鏡的漸暈。提議在濺射過程期間相比于來自微透鏡的中心的像素來對(duì)受到漸暈的像素進(jìn)行懲罰。這里，假定漸暈校正并非始終是完美的，并且經(jīng)校正的像素具有更差的信噪比，因此即使利用漸暈校正算法，對(duì)這些像素進(jìn)行懲罰也是有用的。這種濺射內(nèi)核的一個(gè)可能的定義是定義下式：

W₈＝χ(||(x，y)-(C_x，C_y)||²＜ρ)

這意味著忽略置于微透鏡的邊界處的所有像素并且僅考慮具有半徑ρ的圓形中的像素。另一個(gè)可能的定義由下式給出：

值h₈是可以由用戶輸入的參數(shù)或者是被定義為執(zhí)行對(duì)4D原始光場(chǎng)數(shù)據(jù)的獲取的光場(chǎng)設(shè)備的參數(shù)的函數(shù)的參數(shù)。

注意，考慮了主透鏡的漸暈的特定內(nèi)核也是可能的。

在第九實(shí)施例中，濺射內(nèi)核可以被計(jì)算為至少兩個(gè)先前定義的濺射內(nèi)核的乘積(例如，W₉＝W₁W₇或者W₉＝W₂W₃W₆W₈)。

圖12呈現(xiàn)了根據(jù)本發(fā)明的一個(gè)實(shí)施例的流程圖。

更具體地，圖12示出了用于根據(jù)獲取的4D原始光場(chǎng)數(shù)據(jù)重聚焦圖像的方法的一些步驟。

在標(biāo)記為1201的步驟中，電子設(shè)備接收4D原始光場(chǎng)數(shù)據(jù)。此外，由所述電子設(shè)備獲得一些參數(shù)，所述電子設(shè)備定義了必須在其上完成聚焦的焦平面。在一個(gè)實(shí)施例中，可以經(jīng)由用戶與用戶界面的(用于選擇例如必須在其上進(jìn)行聚焦的物體的)交互來獲得這些參數(shù)。這些參數(shù)還可以包括重聚焦圖像的大小。

然后，在標(biāo)記為1202的步驟中，電子設(shè)備對(duì)4D原始光場(chǎng)數(shù)據(jù)的所有像素坐標(biāo)進(jìn)行處理以確定(例如圖6中所投影的)投影像素的所有坐標(biāo)。然后，通過使用規(guī)則網(wǎng)格(在上定義的有限網(wǎng)格)來定義2D重聚焦圖像中的坐標(biāo)，完成確定該規(guī)則網(wǎng)格中的像素值的過程。為了確定坐標(biāo)(k，l)∈N²處的像素值，可以執(zhí)行先前所述的過程。

在一個(gè)變型中，并未對(duì)4D原始光場(chǎng)數(shù)據(jù)的所有像素進(jìn)行“投影”。實(shí)際上，微透鏡圖像的邊緣處的像素被丟棄，并且因此在重聚焦過程 中未被投影和使用。

在一個(gè)變型中，同時(shí)完成對(duì)2D重聚焦圖像中的像素值的投影和更新。

在步驟1202的最后，獲得2D重聚焦圖像。然后可以由顯示設(shè)備來顯示該2D重聚焦圖像。

圖13呈現(xiàn)了可以用于執(zhí)行本文所公開的方法的一個(gè)或多個(gè)步驟的設(shè)備的示例。

標(biāo)記為1300的這種設(shè)備包括標(biāo)記為1301的計(jì)算單元(例如，CPU，針對(duì)“中央處理單元”)和標(biāo)記為1302的一個(gè)或多個(gè)存儲(chǔ)器單元(例如，RAM(針對(duì)“隨機(jī)存取存儲(chǔ)器”)塊，其中，可以在執(zhí)行計(jì)算機(jī)程序的指令期間臨時(shí)存儲(chǔ)中間結(jié)果，或者ROM塊，其中，尤其存儲(chǔ)計(jì)算機(jī)程序，或者EEPROM(“電可擦除可編程只讀存儲(chǔ)器”)塊或閃存塊)。計(jì)算機(jī)程序由可以由計(jì)算單元執(zhí)行的指令構(gòu)成。這種設(shè)備1300還可以包括構(gòu)成輸入/輸出接口的標(biāo)記為1303的專用單元，以允許設(shè)備1300與其他設(shè)備進(jìn)行通信。具體地，該專用單元1303可以連接到天線(以便執(zhí)行無接觸式通信)或串行端口(以便進(jìn)行“接觸式”通信)。應(yīng)注意，圖13中的箭頭意味著被鏈接的單元可以通過例如總線來交換數(shù)據(jù)。

在備選實(shí)施例中，可以在可編程FPGA(“現(xiàn)場(chǎng)可編程門陣列”)組件或ASIC(“專用集成電路”)組件中以硬件實(shí)現(xiàn)前述方法的一部分步驟或所有步驟。

在備選實(shí)施例中，可以在包括如圖13所公開的存儲(chǔ)單元和處理單元的電子設(shè)備上執(zhí)行前述方法的一部分步驟或所有步驟。

在本公開的一個(gè)實(shí)施例中，圖13中所示的電子設(shè)備可以包括在被配置為捕獲圖像(即，對(duì)光場(chǎng)進(jìn)行采樣)的相機(jī)設(shè)備中。這些圖像被存儲(chǔ)在一個(gè)或多個(gè)存儲(chǔ)器單元上。因此，這些圖像可以被視為比特流數(shù)據(jù)(即，比特序列)。顯而易見，比特流也可以轉(zhuǎn)換為字節(jié)流，反之亦然。