專利名稱：根據(jù)通過圖像捕捉設(shè)備的陣列獲得的數(shù)據(jù)產(chǎn)生虛擬輸出圖像的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)通過圖像捕捉設(shè)備(其用于從不同視點(diǎn)捕捉多個(gè)單獨(dú)圖像)的陣列提供的各個(gè)輸入圖像的輸入圖像數(shù)據(jù)產(chǎn)生虛擬輸出圖像的輸出圖像數(shù)據(jù)的方法，該方法包括基于場(chǎng)景中多個(gè)深度層、各個(gè)輸入圖像的相應(yīng)像素值的相加和反向過濾。本發(fā)明還涉及根據(jù)通過圖像捕捉設(shè)備的陣列獲得的輸入圖像來構(gòu)建虛擬輸出圖像的系統(tǒng)，該系統(tǒng)包括用于從不同視點(diǎn)捕捉圖像的圖像捕捉設(shè)備的陣列，其中該系統(tǒng)包括用于從陣列的圖像捕捉設(shè)備捕捉圖像數(shù)據(jù)的裝置，所述系統(tǒng)包括用于基于場(chǎng)景中多個(gè)深度 層、各個(gè)輸入圖像的相應(yīng)像素值的相加和反向過濾的裝置。
背景技術(shù)：
圖像捕捉設(shè)備能夠捕捉圖像。典型的圖像捕捉設(shè)備是攝像器，包括透鏡和透鏡后方的圖像傳感器。透鏡前方對(duì)象的圖像由透鏡投影在圖像傳感器上。如此產(chǎn)生的圖像具有有限的景深，以及僅提供來自一個(gè)視點(diǎn)的圖像中對(duì)象的信息。透鏡的光圈制約圖像中可以提供的空間分辨率。已知可以通過提供包括圖像捕捉設(shè)備陣列的系統(tǒng)減少這些問題中的至少一些。這種系統(tǒng)的實(shí)例是所謂的全光攝像器。全光攝像器(也稱為光場(chǎng)攝像器)是使用微透鏡陣列(也稱為透鏡狀透鏡陣列)捕捉關(guān)于場(chǎng)景的光場(chǎng)信息的攝像器。微透鏡陣列位于透鏡與圖像傳感器之間。微透鏡陣列向圖像傳感器上重新聚焦透鏡捕捉的光，從而創(chuàng)建從略微不同的視點(diǎn)取得的許多小圖像，這些圖像通過軟件操控以提取深度信息。小圖像中每一個(gè)具有相對(duì)較低的空間分辨率。通過微透鏡陣列的微透鏡中的一個(gè)捕捉小圖像的微透鏡陣列后方傳感器的每個(gè)部分本身形成圖像捕捉設(shè)備。因而，全光攝像器是或充當(dāng)包括圖像捕捉設(shè)備陣列的系統(tǒng)。基于通過全光攝像器捕捉的數(shù)據(jù)，可以在特定平面上數(shù)字地重新聚焦。例如在NG等人的 Stanford Tech Report CTSR 2005 — 02,第 I — 11 頁,“Light Field Photographywith a Hand-held Plenoptic Camera”中解釋了此內(nèi)容。然而，雖然在單個(gè)平面上重新聚焦是可能的，但如此所得圖像的景深很有限。難以產(chǎn)生擴(kuò)展景深圖像。在Stanford TechReport CTSR 2005 一 02的第6頁，右側(cè)欄，最后一段上，Ng等人已經(jīng)通過重新聚焦多個(gè)深度處的光場(chǎng)并隨后應(yīng)用數(shù)字合成照片技術(shù)產(chǎn)生虛擬輸出圖像進(jìn)行了實(shí)驗(yàn)。在數(shù)字合成照片技術(shù)中應(yīng)用兩個(gè)技術(shù)圖形切割優(yōu)化，用以選取構(gòu)成圖像內(nèi)的良好接縫以使得可以盡可能無縫地組合它們；以及梯度域融合，基于泊松方程的過程，用以進(jìn)一步減少?gòu)?fù)合體中的任何剩余可見偽影?；旧虾铣烧掌夹g(shù)是切割和經(jīng)過(cut-and-past)技術(shù)，各種深度處各種圖像的焦點(diǎn)中像素被組合以產(chǎn)生虛擬輸出圖像。通常所得虛擬輸出圖像的質(zhì)量取決于使用估計(jì)的深度圖以便獲知哪些像素在焦點(diǎn)中。Ng等人還通過提取單個(gè)子光圈圖像而產(chǎn)生了擴(kuò)展景深，但是此技術(shù)導(dǎo)致相當(dāng)嘈雜的圖像。然而，所得圖像相當(dāng)嘈雜和/或需要用戶的主動(dòng)作用。
Visual Communications and Image Processing, Proc. of SPIE-IS&TElectronic Imaging, SPIE 第 6508 卷中 Akira Kubota、Kazuya Kodama 和 YohisnoriHatori 的“View Interpolation by Inverse Filtering: Generating the Center Viewusing Multiview images of Circular Camera Array”中公開了一種開始段落的方法和系統(tǒng)。在此文章中描述了在圓上布置的攝像器陣列的中心處重構(gòu)虛擬輸出圖像的方法?？偟膩碚f，統(tǒng)計(jì)(aal)在針對(duì)多個(gè)深度層從陣列中的攝像器獲得的輸入圖像的相應(yīng)像素值，創(chuàng)建候選圖像并通過候選圖像的反向過濾重構(gòu)虛擬輸出圖像。此方法的優(yōu)點(diǎn)是并非必須預(yù)先獲知深度信息。然而已知系統(tǒng)僅具有有限的可能性并且特別是在交互式系統(tǒng)中不提供現(xiàn)實(shí)的仿真成像
發(fā)明內(nèi)容
·本發(fā)明的目的是提供具有增加的可能性的方法和系統(tǒng)。為此，根據(jù)本發(fā)明的方法的特征在于，通過表示虛擬攝像器位置的輸入虛擬攝像器位置信號(hào)提供虛擬攝像器位置，以及依據(jù)虛擬攝像器位置執(zhí)行相加和反向過濾以產(chǎn)生如從虛擬攝像器位置所見的虛擬輸出圖像的圖像數(shù)據(jù)。在已知系統(tǒng)和方法中虛擬攝像器位置固定在圓形攝像器陣列的中心處并且產(chǎn)生的圖像是來自圓形陣列的所述中心的圖像。發(fā)明人認(rèn)識(shí)到了使用虛擬攝像器位置的信號(hào)并依據(jù)虛擬攝像器位置的信號(hào)的相加和反向過濾允許更現(xiàn)實(shí)的模擬成像，特別是在交互式系統(tǒng)中。這允許例如真正的眼對(duì)眼接觸仿真，這對(duì)現(xiàn)有方法和系統(tǒng)而言是不可能的。在實(shí)施例中相加和反向過濾包括以下方法步驟
根據(jù)各個(gè)圖像的輸入圖像數(shù)據(jù)構(gòu)建在多個(gè)深度處多個(gè)合成聚焦的圖像的圖像數(shù)據(jù)，把各種深度處多個(gè)合成聚焦的圖像的圖像數(shù)據(jù)相加以形成積分的模糊圖像的圖像數(shù)據(jù)，以及此后
使用反向點(diǎn)擴(kuò)散函數(shù)對(duì)積分的模糊圖像反卷積以便根據(jù)各個(gè)圖像的輸入圖像數(shù)據(jù)產(chǎn)生虛擬輸出圖像的圖像數(shù)據(jù)。點(diǎn)擴(kuò)散函數(shù)是通過對(duì)重新聚焦圖像的棧積分來表示由于圖像中的像素所致的預(yù)期模糊的函數(shù)。乍看上去，產(chǎn)生模糊積分圖像似乎適得其反。通過把多個(gè)重新聚焦圖像相加(由于積分意味著相加)形成積分圖像，每個(gè)重新聚焦圖像是特定景深處的重新聚焦圖像。下面用于這種積分圖像的另一表示是焦點(diǎn)棧的積分。棧是多個(gè)圖像；焦點(diǎn)棧是每個(gè)圖像在特定景深處的圖像的棧。積分意味著把圖像的焦點(diǎn)棧相加在一起。特定景深處的任何重新聚焦圖像將會(huì)具有在焦點(diǎn)中的圖像的一些部分，即，位于特定景深處的那些部分。圖像中對(duì)象的其它部分將會(huì)不在焦點(diǎn)中因而模糊。如果把多個(gè)這種重新聚焦圖像相加在一起，則所得積分圖像將會(huì)嚴(yán)重模糊。因而，由于該步驟導(dǎo)致非常模糊的積分圖像，所以此步驟似乎會(huì)適得其反。然而，除了積分之外，該方法還提供點(diǎn)擴(kuò)散函數(shù)(B卩，提供點(diǎn)的模糊圖像的函數(shù))的使用和使用此點(diǎn)擴(kuò)散函數(shù)、或者更精確地反向點(diǎn)擴(kuò)散函數(shù)來對(duì)重新聚焦圖像的積分棧進(jìn)行反卷積。在獲知點(diǎn)擴(kuò)散函數(shù)的情況下，可以對(duì)積分圖像反卷積并得到景深范圍上焦點(diǎn)中的每個(gè)像素。結(jié)果是擴(kuò)展景深的圖像。虛擬攝像器位置的輸入允許圖像的查看點(diǎn)是靈活的，從而允許從各種有利點(diǎn)的查看。不需要具有圖像的深度模型；不需要用于切割和經(jīng)過方法的復(fù)雜算法。點(diǎn)擴(kuò)散函數(shù)對(duì)于取得的所有圖像而言基本上相同。這些優(yōu)點(diǎn)提供較高質(zhì)量的圖像。在實(shí)施例中，該方法包括
a對(duì)于多個(gè)深度，與在特定圖像捕捉設(shè)備的位置與虛擬攝像器位置之間的距離成比例地、并依據(jù)特定深度移位圖像捕捉設(shè)備提供的各個(gè)輸入圖像，以把各輸入圖像對(duì)齊到虛擬 攝像器位置，且然后
b.把每個(gè)深度處移位的圖像的圖像數(shù)據(jù)相加在一起以形成多個(gè)深度處合成聚焦的圖像的圖像數(shù)據(jù)，
c把多個(gè)合成聚焦的圖像相加以形成積分模糊圖像，
d.通過積分對(duì)像素的預(yù)期模糊內(nèi)核而生成點(diǎn)擴(kuò)散函數(shù)，
e.使用點(diǎn)擴(kuò)散函數(shù)的反向點(diǎn)擴(kuò)散函數(shù)，對(duì)積分模糊圖像反卷積，以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的虛擬攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。所得虛擬輸出圖像是自視點(diǎn)起的大景深(DoF)的圖像。注意，在本申請(qǐng)中提到“虛擬輸出圖像”的情況下參考虛擬輸出圖像的圖像數(shù)據(jù)。通常通過把虛擬輸出圖像的圖像數(shù)據(jù)發(fā)送給用于制造圖像的設(shè)備(例如，顯示設(shè)備或打印設(shè)備)制成虛擬輸出圖像本身，在此設(shè)備中使用圖像數(shù)據(jù)尋址圖像像素生成部分(如，LCD單元或打印頭)，以在例如顯示屏幕上或在打印屏幕上產(chǎn)生圖像。不排除在顯示它或打印它之前對(duì)虛擬輸出圖像的圖像數(shù)據(jù)進(jìn)行后期處理(例如，以校正差錯(cuò))，以便用背景替換圖像的一部分或使得數(shù)據(jù)更好地適合于將會(huì)向其呈現(xiàn)數(shù)據(jù)的設(shè)備。此第一實(shí)施例提供基本解決方案。然而，所需處理能力相對(duì)較大，這會(huì)特別是在實(shí)時(shí)應(yīng)用中造成問題。在第二實(shí)施例中方法包括以下方法步驟
a.生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置的圖像移位的投影路徑，投影路徑是平移脈沖響應(yīng)函數(shù)的總和，以便在多個(gè)深度處使圖像捕捉設(shè)備的圖像與虛擬攝像器位置對(duì)準(zhǔn)
b.把各個(gè)圖像與它們各自的投影路徑卷積以形成卷積圖像
c.把卷積圖像相加以形成積分模糊圖像
d.通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)
e.使用點(diǎn)擴(kuò)散函數(shù)的反向點(diǎn)擴(kuò)散函數(shù)，對(duì)積分圖像反卷積，以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。在此第二實(shí)施例的步驟c中提供的積分模糊圖像對(duì)應(yīng)于第一實(shí)施例中步驟c的積分圖像，即，它對(duì)應(yīng)于通過把各種深度處的多個(gè)合成聚焦的圖像相加而產(chǎn)生的圖像(即使尚未制造出全焦點(diǎn)棧本身)。取代如在第一實(shí)施例中所進(jìn)行的生成全焦點(diǎn)棧和隨后積分，在第二實(shí)施例中把來自陣列圖像捕捉設(shè)備的各圖像與它們各自的投影路徑卷積。步驟c的所得生成圖像是與通過制造全焦點(diǎn)棧和隨后對(duì)全焦點(diǎn)棧積分而生成的圖像對(duì)應(yīng)的圖像。然而，根據(jù)第二實(shí)施例的方法相比于第一實(shí)施例而言大大減少了所需運(yùn)算的量。第二實(shí)施例提供可替換、更少計(jì)算機(jī)能力需求的路線，通過對(duì)各種深度處重新聚焦圖像的棧積分而產(chǎn)生圖像所對(duì)應(yīng)的提供圖像。接下來的步驟(使用反向點(diǎn)擴(kuò)散函數(shù)的反卷積)是第一和第二實(shí)施例這二者的一部分。因?yàn)榈诙?shí)施例需 要較少計(jì)算能力，所以它與這一點(diǎn)重要的系統(tǒng)或裝備或狀況特別相關(guān)。實(shí)時(shí)應(yīng)用形成它們中的一個(gè)，因?yàn)閳D像之間的次數(shù)有限。真實(shí)眼對(duì)眼接觸仿真系統(tǒng)是另一個(gè)，因?yàn)檎鎸?shí)眼對(duì)眼接觸僅在實(shí)時(shí)和在可以足夠快速跟隨眼睛移動(dòng)的情況下(即，在可以快速改變虛擬攝像器位置的情況下)是可能的。另外，第二實(shí)施例在想要可選擇在方法中涉及多少攝像器的狀況中和/或在陣列內(nèi)的攝像器將會(huì)故障的狀況中非常有利。對(duì)各個(gè)圖像卷積的事實(shí)允許更快的方法。注意，第二實(shí)施例中相比于第一實(shí)施例而言計(jì)算的這種減少是可能的，因?yàn)橄袼匚恢玫囊莆皇巧疃纫约疤囟▓D像捕捉設(shè)備與虛擬攝像器位置的視點(diǎn)之間距離的線性函數(shù)。與可以互換各種數(shù)學(xué)函數(shù)次序的見解結(jié)合的此見解允許發(fā)明人達(dá)成此更快的方法。根據(jù)本發(fā)明方法的另一實(shí)施例特征在于
a.生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置的圖像移位的投影路徑，投影路徑是平移脈沖響應(yīng)函數(shù)的總和以便在多個(gè)深度處將圖像與虛擬攝像器位置對(duì)準(zhǔn)
b.通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)
c.對(duì)于每個(gè)圖像，把各自的投影路徑與反向點(diǎn)擴(kuò)散函數(shù)卷積
d.把每個(gè)圖像與路徑和反向點(diǎn)擴(kuò)散函數(shù)的卷積相卷積以便提供卷積圖像
e.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。這是第二實(shí)施例的變型，其中，使可以互換各種數(shù)學(xué)運(yùn)算的見解更進(jìn)一步。在進(jìn)一步的實(shí)施例中，相加和反向過濾包括以下方法步驟
a.生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑，該路徑針對(duì)虛擬攝像器位置來確定，投影路徑是平移脈沖響應(yīng)函數(shù)的總和以便使在多個(gè)深度處的圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置
b.把各攝像器圖像與它們各自的投影路徑卷積
c.把每個(gè)圖像捕捉設(shè)備的圖像與和投影路徑垂直的高通濾波器卷積，
d.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。高通濾波器補(bǔ)償模糊，S卩，它具有與第一方面的第一和第二實(shí)施例中反向點(diǎn)擴(kuò)散函數(shù)的應(yīng)用對(duì)應(yīng)的函數(shù)。在進(jìn)一步實(shí)施例的變型中，相加和反向過濾包括以下方法步驟
a.生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑，針對(duì)虛擬攝像器位置確定該路徑，投影路徑是平移脈沖響應(yīng)函數(shù)的總和以使在多個(gè)深度處的圖像捕捉設(shè)備的圖像與虛擬攝像器位置對(duì)準(zhǔn)
b.通過把它各自的投影路徑與和它垂直的高通濾波器卷積來生成每個(gè)圖像的卷積濾
波器
c.把各輸入圖像與如b中所生成的它們各自的濾波器卷積d.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。在根據(jù)后兩個(gè)實(shí)施例的方法中，在一些準(zhǔn)確性的代價(jià)下，更加進(jìn)一步減少所需計(jì)算能力。該方法可以被看作第一個(gè)提到的實(shí)施例的方法衍生物。雖然可以使用具有固定參數(shù)的濾波器，但優(yōu)選地高通濾波器具有的參數(shù)是投影路徑的、特別是投影路徑長(zhǎng)度的函數(shù)?？梢酝ㄟ^全光攝像器執(zhí)行本發(fā)明的方法。擴(kuò)展聚焦深度例如對(duì)于顯微鏡和數(shù)字病理學(xué)而言是很有用的。單個(gè)獲取可以涵蓋大或甚至整個(gè)樣本深度范圍，以減少對(duì)例如顯微鏡中確切聚焦的需要。減少數(shù)據(jù)速率和采樣時(shí)間。·也可以通過位于例如計(jì)算機(jī)屏幕周圍的各攝像器的陣列執(zhí)行本發(fā)明的方法。除了其他之外，這使得虛擬攝像器位置在屏幕表面內(nèi)。對(duì)于計(jì)算能力的縮減需求簡(jiǎn)化了屏幕表面內(nèi)虛擬視點(diǎn)的創(chuàng)建，使得實(shí)時(shí)執(zhí)行它變得可能。特別地，在利用各自包括在顯示屏幕周圍的圖像捕捉設(shè)備陣列的兩個(gè)交互系統(tǒng)時(shí)，本發(fā)明的方法揭露了已知方法未提供的可能性。通過使交互系統(tǒng)中的一個(gè)提供用于另一系統(tǒng)的虛擬攝像器位置的信號(hào)且反之亦然，真實(shí)性眼對(duì)眼接觸仿真是可能的。使得虛擬攝像器位置的信號(hào)中的至少一個(gè)信號(hào)與坐在系統(tǒng)前方的人的眼睛位置重合允許這種真實(shí)性眼對(duì)眼接觸仿真。本發(fā)明也體現(xiàn)在包括用于執(zhí)行本發(fā)明方法的程序代碼裝置的計(jì)算機(jī)程序中以及體現(xiàn)在包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的程序代碼裝置的計(jì)算機(jī)程序產(chǎn)品中，用于在計(jì)算機(jī)上運(yùn)行所述程序時(shí)執(zhí)行本發(fā)明方法。本發(fā)明還體現(xiàn)在根據(jù)由圖像捕捉設(shè)備的陣列獲得的輸入圖像構(gòu)建輸出圖像的系統(tǒng)中，該系統(tǒng)包括用于從不同視點(diǎn)捕捉圖像的圖像捕捉設(shè)備的陣列，其中，該系統(tǒng)包括用于從陣列的圖像捕捉設(shè)備捕捉圖像數(shù)據(jù)的裝置，該系統(tǒng)包括用于使各輸入圖像的相應(yīng)像素值基于場(chǎng)景中多個(gè)深度層相加和反向過濾的裝置，其特征在于，該系統(tǒng)包括用以通過表示虛擬攝像器位置的輸入虛擬攝像器位置信號(hào)提供虛擬攝像器位置的裝置，并且用于相加和反向過濾的裝置被布置成作為選定虛擬攝像器位置的函數(shù)操作以產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的虛擬攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)。在實(shí)施例中，用于相加和反向過濾的裝置包括
用于根據(jù)各圖像的輸入圖像數(shù)據(jù)構(gòu)建多個(gè)深度處多個(gè)合成聚焦的圖像的圖像數(shù)據(jù)的裝置，
用于把各種深度處多個(gè)合成聚焦圖像的圖像數(shù)據(jù)相加以形成積分模糊圖像的圖像數(shù)據(jù)的裝置，以及
用于使用反向點(diǎn)擴(kuò)散函數(shù)對(duì)積分模糊圖像反卷積以便根據(jù)各圖像的輸入圖像數(shù)據(jù)產(chǎn)生虛擬圖像的圖像數(shù)據(jù)的裝置。在實(shí)施例中，該系統(tǒng)包括
一用于對(duì)于多個(gè)深度而與特定圖像捕捉設(shè)備的位置和虛擬攝像器位置之間的距離成比例地、并依據(jù)具體深度移位由圖像捕捉設(shè)備提供的各輸入圖像以使各輸入圖像對(duì)準(zhǔn)虛擬攝像器位置的裝置，以及用于把每個(gè)深度處經(jīng)移位圖像的圖像數(shù)據(jù)相加在一起以形成多個(gè)深度處合成聚焦圖像的圖像數(shù)據(jù)的裝置，
用于把多個(gè)合成聚焦圖像相加以形成積分模糊圖像的裝置，
用于通過積分對(duì)像素的預(yù)期模糊內(nèi)核來生成點(diǎn)擴(kuò)散函數(shù)的裝置，
用于使用點(diǎn)擴(kuò)散函數(shù)的反向點(diǎn)擴(kuò)散函數(shù)而對(duì)積分模糊圖像反卷積以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的虛擬攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)的裝置。在實(shí)施例中，用于相加和反向過濾的裝置包括
用于生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置的圖像移位的投影路徑的裝置，投影路徑S是平移脈沖響應(yīng)函數(shù)的總和，以使在多個(gè)深度處圖像捕捉設(shè)備的圖像與虛擬攝像器位置對(duì)準(zhǔn)，
用于把各圖像與它們各自的投影路徑卷積以形成卷積圖像的裝置，
用于把卷積圖像相加以形成積分模糊圖像的裝置，
用于通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)的裝置，
用于使用點(diǎn)擴(kuò)散函數(shù)的反向點(diǎn)擴(kuò)散函數(shù)對(duì)積分圖像反卷積、以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)的裝置。在進(jìn)一步的實(shí)施例中，用于相加和反向過濾的裝置包括
用于生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置的圖像移位的投影路徑的裝置，該投影路徑是平移脈沖響應(yīng)函數(shù)的總和，以使在多個(gè)深度處圖像對(duì)準(zhǔn)虛擬攝像器位置，用于通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)的裝置，
用于對(duì)于每個(gè)圖像把各自的投影路徑與反向點(diǎn)擴(kuò)散函數(shù)卷積的裝置，
用于把每個(gè)圖像與路徑和反向點(diǎn)擴(kuò)散函數(shù)的卷積相卷積以便提供卷積圖像的裝置用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)的裝置。在實(shí)施例中，用于相加和反向過濾的裝置包括
用于生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑的裝置，該路徑相對(duì)于虛擬攝像器位置而被確定，投影路徑是平移脈沖響應(yīng)函數(shù)的總和以使在多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置，
用于把各攝像器圖像與它們各自的投影路徑卷積的裝置，
用于把每個(gè)圖像捕捉設(shè)備的圖像與和投影路徑垂直的高通濾波器卷積的裝置，
用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)的裝置。在實(shí)施例中，用于相加和反向過濾的裝置包括
用于生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑的裝置，該路徑相對(duì)于虛擬攝像器位置而被確定，投影路徑是平移脈沖響應(yīng)函數(shù)的總和以便使在多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置，
用于通過把它各自的投影路徑與和它垂直的高通濾波器卷積而生成每個(gè)圖像的卷積濾波器的裝置，
用于把各輸入圖像與它們各自的濾波器卷積的裝置，
用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)提供的豎直攝像器位置處虛擬輸出圖像的圖像數(shù)據(jù)的裝置。優(yōu)選地圖像捕捉設(shè)備的陣列是顯示屏幕周邊處攝像器的陣列并且虛擬攝像器位置是顯示屏幕處的點(diǎn)。甚至更優(yōu)選地，系統(tǒng)包括兩個(gè)交互子系統(tǒng)，每個(gè)子系統(tǒng)包括顯示屏幕周邊處攝像器的陣列，并且系統(tǒng)中的一個(gè)的顯示屏幕處的虛擬攝像器位置由系統(tǒng)中的另一個(gè)通過測(cè)量該另一系統(tǒng)的查看者的眼睛位置來確定。于是，真實(shí)性眼/對(duì)眼接觸仿真是可能的。在實(shí)施例中系統(tǒng)包括全光攝像器，全光攝像器包括圖像捕捉設(shè)備的陣列。陣列在實(shí)施例中被細(xì)分成兩個(gè)或更多個(gè)子陣列。



將通過實(shí)例和參照附圖更詳細(xì)地解釋本發(fā)明的這些和進(jìn)一步方面，其中 圖I圖釋了光場(chǎng)中符號(hào)的一些定義
圖2A和2B圖釋了通過主透鏡和微透鏡陣列的光路徑 圖3圖釋了把光場(chǎng)數(shù)據(jù)重新聚焦到合成圖像平面 圖4示意性地描繪了觀測(cè)點(diǎn)/^的攝像器陣列的頂視圖 圖5示出了具有觀測(cè)點(diǎn)/^的攝像器C1的三維印象 圖6圖釋了基于移位圖像累加的合成重新聚焦的概念 圖7提供了濾波器內(nèi)核的圖形描繪 圖8示出了周邊攝像器陣列的示意性前視圖 圖9給出了合成聚焦輸出圖像的計(jì)算的方框圖 圖10示出了合成聚焦輸出圖像的進(jìn)一步計(jì)算的方框圖
圖11示出了其中借助攝像器的陣列采集的光場(chǎng)數(shù)據(jù)重新聚焦在鼻子(左方)和耳朵(右方)的圖像
圖12示出了利用估計(jì)的深度圖創(chuàng)建全聚焦圖像的嘗試
圖13示出了由于散焦所致的圖像模糊
圖14圖釋了經(jīng)由改變傳感器與透鏡之間距離的掃射聚焦
圖15圖釋了經(jīng)由改變透鏡L焦點(diǎn)長(zhǎng)度的掃射聚焦
圖16圖釋了模糊圖
圖17示出了有效系統(tǒng)模糊內(nèi)核
圖18示出了對(duì)數(shù)刻度上的所述內(nèi)容
圖19圖釋了模糊圖
圖20示出了有效系統(tǒng)模糊內(nèi)核
圖21示出了對(duì)數(shù)刻度上的所述內(nèi)容
圖22圖釋了掃射聚焦攝像器的內(nèi)核的譜屬性
圖23示出了傳統(tǒng)攝像器的所述內(nèi)容
圖24圖釋了掃射聚焦內(nèi)核的反向?yàn)V波器的橫截面
圖25示出了與從標(biāo)稱對(duì)象平面向上(線A)至掃射幅度O. 8 (線B)的對(duì)象偏移對(duì)應(yīng)的反向?yàn)V波器
圖26示意性地描繪了具有四個(gè)攝像器的陣列的圖像圖27圖釋了在各攝像器的位置上合成重新聚焦對(duì)輸出圖像的貢獻(xiàn)的效果 圖28示出了來源于合成聚焦掃射的輸出圖像 圖29示出了 12攝像器陣列的所得累加點(diǎn)擴(kuò)散函數(shù) 圖30圖釋了用于計(jì)算全聚焦圖像的方框圖 圖31圖釋了濾波器內(nèi)核 圖32示出了方法的快速確切實(shí)施的方框圖
圖33示出了兩個(gè)虛擬視點(diǎn)周圍的12個(gè)攝像器位置的投影路徑PP和相應(yīng)的點(diǎn)擴(kuò)散函數(shù)PSF
圖34A至34B圖釋了根據(jù)本發(fā)明的多用戶系統(tǒng) 圖35圖釋了圖32方案的變型
圖36圖釋了在與各自路徑S的卷積之后執(zhí)行與高通濾波器(HP)的卷積的方框圖 圖37圖釋了本發(fā)明進(jìn)一步的實(shí)施例 圖38圖釋了按照本發(fā)明的方法的結(jié)果
圖39提供了具有在顯示屏幕周圍16個(gè)攝像器的陣列的系統(tǒng)的印象。這些圖并非按比例繪制。通常，相同組件通過圖中的同樣附圖標(biāo)記來標(biāo)注。
具體實(shí)施例方式光場(chǎng)概念的解釋:
透鏡平面與傳感器平面之間光線的完全采集常常稱作光場(chǎng)，斯坦福大學(xué)的Marc Levoy引入的術(shù)語。光場(chǎng)是從透鏡光圈離開并到達(dá)傳感器平面的所有光線的完全(強(qiáng)度方面)描述。
用以定義它的最簡(jiǎn)單方式是作為函數(shù)(s,t,U,V)，其中u和V是透鏡平面中的坐標(biāo)，s和t
是圖像平面中的坐標(biāo)。光場(chǎng)的完整知識(shí)允許各種深度處圖像的全部重構(gòu)。圖I圖釋了某些符號(hào)的定義。L代表透鏡平面，S代表傳感器平面。坐標(biāo)Ο, )處的像素值與該部位處的輻照度/(Al)成正比，它是來自所有可能角度的光的累加/積分，或者以公式形式，
/,<■、/) =Lf(sj.u,r)(hiir(!)
其中，在透鏡平面(U，V)上取積分。像素值本身不提供總光場(chǎng)的直接和完整信息。通過將微透鏡陣列M放置在起初為傳感器平面(見圖2A和2B)的平面S中以及將傳感器P放置在微透鏡陣列后方微透鏡陣列的焦點(diǎn)距離處，可以構(gòu)建可直接測(cè)量
Lf(S7I7UiV)的所謂全光攝像器。在此設(shè)計(jì)中，每個(gè)微透鏡可以被看作能夠捕捉到達(dá)光線
的強(qiáng)度和入射角度的‘元’像素。微透鏡陣列M按低空間分辨率在圖像傳感器P上重新聚焦光。如此，以空間分辨率為代價(jià)存儲(chǔ)定向信息。圖像傳感器P的一小部分由微透鏡陣列M的每個(gè)微透鏡引起，圖像傳感器P從而形成圖像捕捉設(shè)備的陣列，每個(gè)圖像捕捉設(shè)備捕捉由微透鏡之一制造的低空間分辨率的圖像。下標(biāo)代表主體。已知強(qiáng)度作為檢測(cè)器平面處角度和位置的函數(shù)，可以合成不同光圈/聚焦設(shè)置的圖像。通過限制貢獻(xiàn)光線的角度(僅在C^v)平面的一部分上積分)，可以合成屬于任何光圈的圖像，例如以使得僅來自透鏡頂部一半的光作貢獻(xiàn)。類似地，通過首先施加對(duì)光場(chǎng)h (s，i，w，v)的變換和隨后在@>￥)平面上的積分步驟，可以計(jì)算不同聚焦平面圖處的圖
像，換言之可以合成不同焦平面處的圖像并得到完整3-D信息。圖3更詳細(xì)地示出了此內(nèi)容。在給定傳感器平面SP fei)的和透鏡平面LP ^v)的坐標(biāo)中描述的捕捉光場(chǎng)
的情況下，我們可以計(jì)算自透鏡平面LP起距離oF處新合成焦平面SFP (s'J')
內(nèi)聚焦、且通過在自傳感器平面SP起距離逆'處具有坐標(biāo)(W)的合成光圈平面SA取得的任何圖像。在圖3中描繪了此情況。通過定義· IX+ P — I Pji-交(X 4· β — I
Y =^^ 柳 ^ =^^^(2)
CiCI#
合成圖像由通用表達(dá)式產(chǎn)生
r I rr , . n'—s' , r'— ', , .%H1 , I—V* ..,
, I s , I = 11 ￡ Λ- + ,I -￥ , ii 4- ■, I·' + ——j (in ι/γ(3 )
./- J』. b bI γ
其中，α古I的值表明除了傳感器平面SP以外的合成焦平面SFP，以及其中，β ^ I表明與原始透鏡平面不同的合成光圈平面。注意，積分中(W)范圍的限制允許合成除了圓形以外任何形狀的光圈。
_2] 全光攝像器和攝像器陣列的對(duì)應(yīng)性:
在具有單個(gè)攝像器(g卩，全光攝像器)的微透鏡的陣列與具有單個(gè)透鏡的攝像器的擴(kuò)展陣列之間存在對(duì)應(yīng)性。這二者均是具有圖像捕捉設(shè)備陣列的系統(tǒng)；在全光攝像器中，通過微透鏡中的每個(gè)微透鏡捕捉光的圖像傳感器一小部分的陣列在圖像傳感器中形成圖像捕捉設(shè)備的陣列；在具有單個(gè)透鏡的攝像器的擴(kuò)展陣列中，攝像器本身形成圖像捕捉設(shè)備的陣列。因此，如本申請(qǐng)中所述的，對(duì)于全光攝像器中的微透鏡陣列，合成光圈技術(shù)和生成各種深度處的重新聚焦圖像也可以應(yīng)用于擴(kuò)展攝像器陣列，反之亦然。然而，全光攝像器與攝像器陣列之間的主要差別是攝像器的陣列可以分布在較之由全光攝像器覆蓋的區(qū)域而言的較大區(qū)域上。包括攝像器擴(kuò)展陣列的系統(tǒng)隨后起著單個(gè)攝像器的作用，其光圈與通常比全光攝像器的光圈大得多的整個(gè)攝像器陣列一樣大。具有大光圈具有很大優(yōu)點(diǎn)，該優(yōu)點(diǎn)在于由于大有效光圈的緣故可以提供很清晰的圖像。然而，它的缺點(diǎn)是景深很小。因而，與對(duì)于全光攝像器相比，提供景深充分的清晰圖像更是困難任務(wù)。攝像器的陣列:
圖4示意性地描繪了觀測(cè)點(diǎn)/^的攝像器陣列的頂視圖。攝像器被當(dāng)作針孔攝像器；此簡(jiǎn)化未制約分析的實(shí)踐值。每個(gè)攝像器的位置由攝像器中心G指示，其中々為索引號(hào)α =1、2、3…)；攝像器中心是攝像器針孔的地點(diǎn)。此針孔、或者更一般而言的光學(xué)中心，起著攝像器圖像平面上世界透視投影的中心的作用。每個(gè)攝像器的圖像平面處于位于自攝像器中心起的焦點(diǎn)距離/處；圖像平面在針孔前方而非后方的放置在數(shù)學(xué)上等效。每個(gè)攝像器圖像具有坐標(biāo)系統(tǒng)為O,O。原則上，每個(gè)攝像器可以具有任意的位置、焦點(diǎn)距離和朝向。然而，為了簡(jiǎn)單起見，我們繼續(xù)假定攝像器位于具有坐標(biāo)系統(tǒng)為知V)的單個(gè)平面上。攝像器中心G的坐標(biāo)定義成G = ( , )。最初，我們假定攝像器位于水平線上。假定焦長(zhǎng)度(focal length)相同，并且攝像器面向前邊以使得它們的圖像平面重合。這些簡(jiǎn)化并非約束分析的普遍有效性。圖5示出了具有觀測(cè)點(diǎn)P和其在圖像平面/辦O中的投影巧的攝像器C1的三維印象，該投影具有水平坐標(biāo)& (以及某個(gè)任意的豎直坐標(biāo) 7，我們假定像我們最初考慮攝像器位置僅在水平方向上不同的情形那樣h = t2 = t3\合成重新聚焦:
圖6圖釋了基于移位圖像累加的合成重新聚焦的概念。在左方，描繪了三個(gè)不同攝像器圖像，攝像器I的I1 (s，t)、攝像器2的I2 (s，t)、攝像器3的I3 (s，t)，對(duì)象的同一個(gè)點(diǎn)P的投影分別在水平圖像坐標(biāo)&、&和&處。通過圖6中的As (Cl，C2)給出投影81與82之間的距離。通過As (C1，C3)給出投影81與83之間的距離。可以通過對(duì)攝像器C2的圖像在距離As (Cl，C2)上移位和對(duì)攝像器C3的圖像在距離As (Cl，C3)上移位，使得點(diǎn)81、82和83對(duì)齊。由于視差所致的三個(gè)投影點(diǎn)之間的距離與觀測(cè)點(diǎn)P的距離直接有關(guān)。圖像坐標(biāo)差異與所述距離之間的關(guān)系遵從
權(quán)利要求
1.一種根據(jù)圖像捕捉設(shè)備(C1,C2，CK，CN)的陣列提供的各輸入圖像(I1UthI2Ut),IK(s，t)，IN (S，t))的輸入圖像數(shù)據(jù)產(chǎn)生虛擬輸出圖像(Cl(St))的輸出圖像數(shù)據(jù)的方法，所述圖像捕捉設(shè)備用于從不同視點(diǎn)捕捉多個(gè)單獨(dú)圖像， 該方法包括各輸入圖像的相應(yīng)像素值基于場(chǎng)景中多個(gè)深度層相加和反向過濾， 其特征在于，由表示虛擬攝像器位置Utl, Vtl)的輸入虛擬攝像器位置信號(hào)(Ctl)提供虛擬攝像器位置(Utl, Vtl),所述相加和反向過濾根據(jù)虛擬攝像器位置Utl, V0)執(zhí)行以產(chǎn)生如從虛擬攝像器位置Utl, Vtl)所見的虛擬輸出圖像(^ (s，t))的圖像數(shù)據(jù)。
2.如權(quán)利要求I所述的方法，其中，相加和反向過濾包括方法步驟 根據(jù)各圖像(I1 (s，t)，I2 (s，t)，Ik(s，t)，In (s，t))的輸入圖像數(shù)據(jù)構(gòu)建多個(gè)深度(Itlzl(s，t)，I0z2 (s，t))處多個(gè)合成聚焦圖像的圖像數(shù)據(jù)， 把各種深度處多個(gè)合成聚焦圖像的圖像數(shù)據(jù)相加以形成積分模糊圖像(o(s，t))的圖像數(shù)據(jù)，以及此后 使用反向點(diǎn)擴(kuò)散函數(shù)(IPSF)對(duì)積分模糊圖像(ds’t))反卷積，以便根據(jù)各圖像(I^s, t), I2 (s, t), Ik (s, t), In (s, t))的輸入圖像數(shù)據(jù)產(chǎn)生虛擬圖像(。(s，t))的圖像數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中，所述方法包括 a對(duì)于多個(gè)深度(Zl，z2，..)與特定圖像捕捉設(shè)備的位置和虛擬攝像器位置(Utl, Vtl)之間的距離成比例地、且按照特定深度(Z1, Z2,..)移位由圖像捕捉設(shè)備提供的各輸入圖像，以把各輸入圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0),以及隨后 b.把每個(gè)深度處移位圖像的圖像數(shù)據(jù)相加在一起以形成多個(gè)深度(Itlzl (s，t))處合成聚焦圖像的圖像數(shù)據(jù)， C把多個(gè)合成聚焦圖像相加以形成積分模糊圖像(C1 (S，t))， d.通過對(duì)像素的預(yù)期模糊內(nèi)核積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)， e.使用點(diǎn)擴(kuò)散函數(shù)(PSF)的反向點(diǎn)擴(kuò)散函數(shù)(IPSF)，對(duì)積分模糊圖像(^(s，t))反卷積，以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的虛擬攝像器位置(U(l，Vtl)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)。
4.如權(quán)利要求I所述的方法，其中，相加和反向過濾包括方法步驟 a.生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置Uci,Vtl)的圖像移位的投影路徑(S)，投影路徑S是平移脈沖響應(yīng)函數(shù)的總和，以便使在多個(gè)深度處的圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0), b.把各圖像^^”-^與它們各自的投影路徑^卷積以形成卷積圖像仏—匕七)，Iconv2 (S，t)，...·)， c.把卷積圖像(I_vl(s, t), Iconv2 (s, t),….)相加以形成積分模糊圖像(Q(s, t))， d.通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)， e.使用點(diǎn)擴(kuò)散函數(shù)(PSF)的反向點(diǎn)擴(kuò)散函數(shù)(IPSF)，對(duì)積分圖像(Js’t))反卷積，以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置Utl, v0)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)。
5.如權(quán)利要求I所述的方法，其中，相加和反向過濾包括方法步驟 a.生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置Uci, Vtl)的圖像移位的投影路徑(S)，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和，以便使在多個(gè)深度處圖像對(duì)準(zhǔn)虛擬攝像器位置， b.通過投影路徑(S)的積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)， c.對(duì)于每個(gè)圖像，把各自的投影路徑(S)與反向點(diǎn)擴(kuò)散函數(shù)(IPSF)卷積， d.把每個(gè)圖像(I1(s，t)，I2(s，t))與路徑和反向點(diǎn)擴(kuò)散函數(shù)的卷積(S*IPSF)相卷積提供卷積圖像， e.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置(u0，vQ)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)。
6.如權(quán)利要求I所述的方法，其中，相加和反向過濾包括方法步驟 a.生成陣列的每個(gè)圖像捕捉設(shè)備(C1,C2, CK, Cn)的圖像移位的投影路徑(S)，該路徑針對(duì)虛擬攝像器位置( v0)來確定，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和，以便使在多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)， b.把各攝像器圖像(I1,I2,..)與它們各自的投影路徑(S)卷積， c.把每個(gè)圖像捕捉設(shè)備的圖像與和投影路徑垂直的高通濾波器(HP)卷積， d.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(C。)提供的豎直攝像器位置(u0，vQ)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)。
7.如權(quán)利要求I所述的方法，其中，相加和反向過濾包括方法步驟 a.生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑(S)，該路徑(S)針對(duì)虛擬攝像器位置Utl, V0)來確定，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和，以便使多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)， b.通過把每個(gè)圖像各自的投影路徑(S)與和它垂直的高通濾波器(S*HP)卷積生成每個(gè)圖像的卷積濾波器， c.把各輸入圖像(I1(s，t)，I2 (s，t))與如b中所生成的它們各自的濾波器卷積， d.把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(C。)提供的豎直攝像器位置(u0，vQ)處虛擬輸出圖像(。(S，t))的圖像數(shù)據(jù)。
8.如在前權(quán)利要求中任一項(xiàng)所述的方法，其中，根據(jù)由圖像捕捉設(shè)備的陣列捕捉的圖像集合同時(shí)生成多個(gè)虛擬視點(diǎn)((U。, V0) B, (U。, V0) C)。
9.如在前權(quán)利要求中任一項(xiàng)所述的方法，其中，圖像捕捉設(shè)備的陣列是顯示屏幕周邊處攝像器的陣列，并且虛擬攝像器位置是顯示屏幕處的點(diǎn)。
10.如權(quán)利要求9所述的方法，其中，通過測(cè)量顯示屏幕上眼睛的位置確定至少一個(gè)虛擬攝像器位置。
11.如權(quán)利要求10所述的方法，其中，通過眼睛檢測(cè)位置裝置自動(dòng)和動(dòng)態(tài)確定所述至少一個(gè)虛擬攝像器位置。
12.如在前權(quán)利要求中任一項(xiàng)所述的方法，其中，提供左-右眼虛擬攝像器位置的兩個(gè)虛擬攝像器位置以提供兩個(gè)虛擬攝像器位置處的兩個(gè)虛擬輸出圖像。
13.一種計(jì)算機(jī)程序，包括用于所述程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行如在前權(quán)利要求中任一項(xiàng)所述的方法的程序代碼裝置。
14.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)的、用于所述程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行如權(quán)利要求I至12中任一項(xiàng)所述的方法的程序代碼裝置。
15.一種根據(jù)圖像捕捉設(shè)備的陣列獲得的輸入圖像構(gòu)建輸出圖像的系統(tǒng)，該系統(tǒng)包括用于從不同視點(diǎn)捕捉圖像的圖像捕捉設(shè)備(C1, C2, CK, Cn)的陣列，其中，該系統(tǒng)包括用于從陣列的圖像捕捉設(shè)備捕捉圖像數(shù)據(jù)(I1(Sd), I2(s，t))的裝置，該系統(tǒng)包括用于將各輸入圖像的相應(yīng)像素值基于場(chǎng)景中多個(gè)深度層相加和反向過濾的裝置，其特征在于，該系統(tǒng)包括用以通過表示虛擬攝像器位置Utl, v0)的輸入虛擬攝像器位置信號(hào)(Ctl)提供選定的虛擬攝像器位置( V0)的裝置，并且用于相加和反向過濾的裝置被布置成作為選定虛擬攝像器位置Utl, v0)的函數(shù)操作以產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的虛擬攝像器位置(u0，vQ)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)。
16.如權(quán)利要求15所述的系統(tǒng)，其中，用于相加和反向過濾的裝置包括 用于根據(jù)各圖像(I1 (s，t)，I2 (s，t)，Ik(s，t)，In (s，t))的輸入圖像數(shù)據(jù)構(gòu)建多個(gè)深度(Itlzl (s, t), I0z2 (s，t))處多個(gè)合成聚焦圖像的圖像數(shù)據(jù)的裝置， 用于把各種深度處多個(gè)合成聚焦圖像的圖像數(shù)據(jù)相加以形成積分模糊圖像(Q(s，t))的圖像數(shù)據(jù)的裝置，以及 用于使用反向點(diǎn)擴(kuò)散函數(shù)(IPSF)對(duì)積分模糊圖像(Js，t))反卷積，以便根據(jù)各圖像(I^s, t), I2 (s, t), Ik (s, t), In (s, t))的輸入圖像數(shù)據(jù)產(chǎn)生虛擬圖像(。(s，t))的圖像數(shù)據(jù)的裝置。
17.如權(quán)利要求16所述的系統(tǒng)，其中，系統(tǒng)包括 a用于對(duì)于多個(gè)深度(Z1, Z2,..)與特定圖像捕捉設(shè)備的位置和虛擬攝像器位置(Utl, V0)之間的距離成比例地、且根據(jù)特定深度(Zl，Z2,..)移位圖像捕捉設(shè)備提供的各輸入圖像、以把各輸入圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)的裝置，以及 b.用于把每個(gè)深度處移位圖像的圖像數(shù)據(jù)相加在一起以形成多個(gè)深度(Itlzl (s，t))處合成聚焦圖像的圖像數(shù)據(jù)的裝置， C用于把多個(gè)合成聚焦圖像相加以形成積分模糊圖像(C1 (S，t))的裝置， d.用于通過對(duì)像素的預(yù)期模糊內(nèi)核積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)的裝置， e.用于使用點(diǎn)擴(kuò)散函數(shù)(PSF)的反向點(diǎn)擴(kuò)散函數(shù)(IPSF)對(duì)積分模糊圖像(C1(s，t))反卷積、以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的虛擬攝像器位置(U(l，Vtl)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)的裝置。
18.如權(quán)利要求15所述的系統(tǒng)，其中，用于相加和反向過濾的裝置包括 a.用于生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置Uci,Vtl)的圖像移位的投影路徑(S)的裝置，投影路徑S是平移脈沖響應(yīng)函數(shù)的總和，以便使多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)， b.用于把各圖像(I1,I2,..)與它們各自的投影路徑(S)卷積以形成卷積圖像Ieonv (S, t)的裝置， C.用于把卷積圖像I_V(S，t)相加以形成積分模糊圖像(Js，t))的裝置， d.用于通過投影路徑的積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)的裝置， e.用于使用點(diǎn)擴(kuò)散函數(shù)(PSF)的反向點(diǎn)擴(kuò)散函數(shù)(IPSF)對(duì)積分圖像(C1(s，t))反卷積、以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置(U(l，Vtl)處虛擬輸出圖像(Q (s，t))的圖像數(shù)據(jù)的裝置。
19.如權(quán)利要求15所述的系統(tǒng)，其中，用于相加和反向過濾的裝置包括a.用于生成陣列的每個(gè)圖像捕捉設(shè)備針對(duì)虛擬攝像器位置(Utl,Vtl)的圖像移位的投影路徑(S)的裝置，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和以使在多個(gè)深度處圖像對(duì)準(zhǔn)虛擬攝像器位置， b.用于通過投影路徑(S)的積分生成點(diǎn)擴(kuò)散函數(shù)(PSF)的裝置， c.用于對(duì)于每個(gè)圖像把各自的投影路徑(S)與反向點(diǎn)擴(kuò)散函數(shù)(IPSF)卷積的裝置， d.用于把每個(gè)圖像(I1(s，t)，I2(s，t))與路徑和反向點(diǎn)擴(kuò)散函數(shù)的卷積(S*IPSF)相卷積以提供卷積圖像的裝置， e.用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置Utl, Vtl)處虛擬輸出圖像(^ (S，t))的圖像數(shù)據(jù)的裝置。
20.如權(quán)利要求15所述的系統(tǒng)，其中，用于相加和反向過濾的裝置包括 a.用于生成陣列的每個(gè)圖像捕捉設(shè)備(C1,C2, CK, Cn)的圖像移位的投影路徑(S)的裝置，該路徑針對(duì)虛擬攝像器位置Uci, v0)來確定，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和以使在多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)， b.用于把各攝像器圖像(I1,I2,..)與它們各自的投影路徑(S)卷積的裝置， c.用于把每個(gè)圖像捕捉設(shè)備的圖像與和投影路徑垂直的高通濾波器(HP)卷積的裝置， d.用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置Utl, Vtl)處虛擬輸出圖像(^ (S，t))的圖像數(shù)據(jù)的裝置。
21.如權(quán)利要求15所述的系統(tǒng)，其中，用于相加和反向過濾的裝置包括 a.用于生成陣列的每個(gè)圖像捕捉設(shè)備的圖像移位的投影路徑(S)的裝置，該路徑(S)針對(duì)虛擬攝像器位置Utl, Vtl)來確定，投影路徑(S)是平移脈沖響應(yīng)函數(shù)的總和以使在多個(gè)深度處圖像捕捉設(shè)備的圖像對(duì)準(zhǔn)虛擬攝像器位置Utl, V0)， b.用于通過把每個(gè)圖像各自的投影路徑(S)與和它垂直的高通濾波器卷積(S*HP)而生成每個(gè)圖像的卷積濾波器的裝置， c.用于把各輸入圖像(I1(s，t)，I2(s，t))與如b中所生成的它們各自的濾波器卷積的裝置， d.用于把卷積圖像相加以便產(chǎn)生由輸入虛擬攝像器位置信號(hào)(Ctl)提供的豎直攝像器位置Utl, Vtl)處虛擬輸出圖像(^ (S，t))的圖像數(shù)據(jù)的裝置。
22.如權(quán)利要求15至21中任一項(xiàng)所述的系統(tǒng)，其中，圖像捕捉設(shè)備的陣列是顯示屏幕周邊處攝像器的陣列并且虛擬攝像器位置是顯示屏幕處的點(diǎn)。
23.如權(quán)利要求22所述的系統(tǒng)，其中，所述系統(tǒng)包括兩個(gè)交互子系統(tǒng)，每個(gè)子系統(tǒng)包括顯示屏幕周邊處攝像器的陣列，系統(tǒng)之一的顯示屏幕處的虛擬攝像器位置由系統(tǒng)中的另一個(gè)通過測(cè)量該另一系統(tǒng)的查看者的眼睛位置來確定。
24.如權(quán)利要求15至21中任一項(xiàng)所述的系統(tǒng)，其中，所述系統(tǒng)包括全光攝像器，其具有透鏡和圖像傳感器以及位于透鏡與圖像傳感器之間的微透鏡陣列，該全光攝像器包括圖像捕捉設(shè)備的陣列。
25.如權(quán)利要求15至24中任一項(xiàng)所述的系統(tǒng)，其中，所述陣列被細(xì)分成兩個(gè)或更多個(gè)子陣列。
26.如權(quán)利要求25所述的系統(tǒng)，其中，所述系統(tǒng)被布置成向子陣列分配不同虛擬攝像器位置。
全文摘要
在用于提供來自圖像捕捉設(shè)備陣列的虛擬輸出圖像的方法和系統(tǒng)中，從設(shè)備(C1，C2)取得圖像數(shù)據(jù)(I1(s,t)，I2(s,t))。該圖像數(shù)據(jù)通過下述操作來處理把圖像數(shù)據(jù)與諸如路徑(S)之類的函數(shù)卷積，以及此后把它們?cè)谇蠛?SUM)之后或者之前與和其等效的反向點(diǎn)擴(kuò)散函數(shù)(IPSF)或?yàn)V波器(HP)反卷積以產(chǎn)生全聚焦圖像數(shù)據(jù)(I0(s,t))。
文檔編號(hào)H04N5/232GK102959945SQ201180032543
公開日2013年3月6日 申請(qǐng)日期2011年6月20日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者H.A.W.施梅茨, F.J.德布瑞恩 申請(qǐng)人:皇家飛利浦電子股份有限公司