專利名稱：用于在全息系統(tǒng)中編碼包含透明物體的三維場景的方法和裝置的制作方法
用于在全息系統(tǒng)中編碼包含透明物體的三維場景的方法和裝置本發(fā)明涉及一種用于計算編碼包含透明物體的三維場景的物點值的方法。其進(jìn)一步涉及實施該方法的計算單元。該方法能被應(yīng)用于全息顯示系統(tǒng)的計算機生成的全息圖的計算或全息圖(硬拷貝)的生成。它能進(jìn)一步與其它三維顯示系統(tǒng)(例如體顯示器)一起使用，其中物點能在空間中以交錯方式單獨顯示?？傮w上，本發(fā)明也能用于可見光譜范圍外的其它波長范圍。與其中始終有至少兩個天線發(fā)射相干輻射以使發(fā)射的電磁波能夠相互干擾的天線陣相結(jié)合，它能例如在射電望遠(yuǎn)鏡接收的宇宙輻射的空間分析的情況下用于模擬和重建電磁光譜。用于這種模擬或重建的光譜范圍不一定必須與待分析的光譜范圍相對應(yīng)，但是能通過轉(zhuǎn)化映射到前者上。本發(fā)明能進(jìn)一步地應(yīng)用于電磁波譜外的其它媒介，例如，用于聲波。與其中始終有·至少兩個發(fā)聲裝置能經(jīng)控制以發(fā)射相干波以使發(fā)射的聲波能相互干擾的發(fā)聲裝置陣列相結(jié)合，它可用于模擬和重建三維聲場，其中本發(fā)明不應(yīng)限于聽得見的聲音頻率范圍。聲場包括含具有吸聲屬性的物體的三維場景的空間和時間變化的聲音值。該方法和計算裝置也可以生成用于為不僅在小空間而且在大的環(huán)境中減少噪音的反相聲音。該方法也可用于也可為非光學(xué)性質(zhì)的其他空間分布的顯示和分析。物理的三維分布和其他參數(shù)映射成透明度值、三維物體和光源(偽彩色成像)。其例如優(yōu)選可具體化和分析各種層析成像方法、3D超聲檢查或工件的機械應(yīng)力的分布。根據(jù)本申請的全息顯示系統(tǒng)(在下文中也簡單地表示為全息系統(tǒng))是一種用于三維物體數(shù)據(jù)的顯示裝置，其中要呈現(xiàn)的場景的三維物體數(shù)據(jù)以待重建的場景的衍射圖的形式來編碼。特別地，衍射圖的計算將在這里稱之為編碼，許多這樣的編碼方法是已知的。編碼可通過生成所有物點信息的集合全息圖來完成，然而，這會很容易引起大量的計算負(fù)荷，特別是用高分辨率顯示系統(tǒng)時。根據(jù)另一方法，為最小化計算負(fù)荷，全息圖被分為相同尺寸的單獨的相鄰區(qū)域(全息素(hogel))。每個區(qū)域由此與所用的空間光調(diào)制器(spatiallight modulator(SLM))的相同數(shù)目的單元對應(yīng)。每個全息素攜帶大量關(guān)于物點和大量關(guān)于衍射角(全息素向量)的信息。當(dāng)計算所述全息素時，由于預(yù)計算的衍射圖能從查閱表(LUT)中找到，從而實現(xiàn)簡化?；蛘撸撚嬎隳転楦鱾€物點以子全息圖的方式獨立地執(zhí)行。每個子全息圖僅被寫到用于重建的光學(xué)光調(diào)制器(或空間光調(diào)制器，SLM)的調(diào)制器表面的子區(qū)域。各個子全息圖能基于物點的位置部分地或完全地在調(diào)制器表面重疊。如果全息圖僅為小的可見區(qū)域編碼，該方法能特別優(yōu)選地應(yīng)用，其中提供至少一種裝置用于將分配給一個觀察者眼睛的一個或多個可見區(qū)域跟蹤到一個或多個觀察者的觀察者眼睛的運動。申請人已例如在文件DE 10353439B4和文件WO 2006/066919A1中描述了這樣的全息顯示裝置。該子全息圖與使期望物點用期望亮度或用期望亮度與顏色在期望距離處聚集到調(diào)制器表面的衍射透鏡(diffraction lenses)相對應(yīng)。凸透鏡的功能是用于在調(diào)制器表面的前面生成物點。凹透鏡的功能是用于在調(diào)制器表面的后面生成虛擬物點。位于調(diào)制器表面的物點直接生成。透鏡的功能也能預(yù)計算，且存儲在查閱表中。當(dāng)編碼衍射圖時，可以考慮附加參數(shù)，例如可以考慮所用的SLM的調(diào)制器區(qū)域的轉(zhuǎn)化函數(shù)、光源及其他光路中的光學(xué)部件。這也包含旨在減少斑點的技術(shù)。由于大多數(shù)顯示器中的各個像素呈現(xiàn)在二維SLM表面上，像素化的2D圖像或包含至少兩個不同的2D圖像(3D顯示)的立體3D呈現(xiàn)能直接地展現(xiàn)在這些顯示器上，而不需要太多的必要調(diào)整努力。必要的調(diào)整主要涉及將要呈現(xiàn)的區(qū)域縮放到顯示面板的分辨率和為顯示板的分級進(jìn)行的亮度和顏色的調(diào)整。在3D顯示器中，基于所使用的方法，立體呈現(xiàn)的多個視圖必須在調(diào)制器表面時間地和/或空間地編碼。2D向量像在其被顯示之前必須轉(zhuǎn)化為光柵圖形圖像。 在三維場景能呈現(xiàn)在2D顯示器或3D顯示器之前，或其能為重建而在全息顯示器中編碼之前，視圖必須從用其屬性描述場景的物體的三維數(shù)據(jù)記錄中生成。這一過程也被稱為圖像合成或渲染。大量用于此的方法是已知的，其中場景描述的種類、視圖的期望質(zhì)量和實際生成這些視圖的方式不同。例如，3D CAD模型包括物體的幾何描述，其包含在三維坐標(biāo)系統(tǒng)中。此外，許多進(jìn)一步的物理屬性能被界定以描述物體的材料，包括例如不透明物體的反射率和發(fā)射率以及另外地透明物體的折射率和吸收率等光學(xué)屬性。對于同質(zhì)的物體，這些參數(shù)僅為邊界面界定是足夠的。一般地，這些屬性不僅能展示空間梯度，并且它們可依賴于一個或多個其他參數(shù)，例如波長和偏振。數(shù)據(jù)也可以預(yù)先以體像素數(shù)據(jù)的形式存在。例如在醫(yī)藥應(yīng)用通常是這樣的。當(dāng)3D場景生成時，它已經(jīng)被分割成單獨空間點或小的空間區(qū)域(體素)。例如3D場景由結(jié)合深度圖的像素化的2D數(shù)據(jù)生成也是可能的。每個像素到參考面的距離在深度圖中存儲。這樣的數(shù)據(jù)格式例如用于應(yīng)當(dāng)在2D顯示器和另外的各種3D顯示裝置兩者上呈現(xiàn)的視頻數(shù)據(jù)。它促進(jìn)了一個場景的多個視圖的生成。然而必須提供額外數(shù)據(jù)以能夠考慮隱藏物體。在圖像合成開始時，必須為在將要用于描述物體在場景中的位置的三維坐標(biāo)系中生成的每一個視圖選擇位置，所述位置與記錄場景的視圖的照相機(虛擬照相機)的位置相對應(yīng)。進(jìn)一步地，必須界定用于圖像生成的SLM的有源調(diào)制器表面的場景中的虛擬位置和虛擬尺寸。有源調(diào)制器表面的虛擬尺寸可不同于它的實際尺寸，例如，如果使用掃描排列或投影排列。虛擬照相機的位置界定觀察者眼睛察覺場景的位置和方向。該位置也能位于物體之間或物體中。虛擬照相機的性能(例如焦距和視角)確定哪個截面以多大虛擬放大倍數(shù)顯示。通過SLM的虛擬區(qū)及其相對于虛擬照相機的位置確定視角。起源于虛擬照相機位置并貫穿SLM的虛擬區(qū)的邊界的光線界定代表可見區(qū)域的空間。位于該錐體外的場景部分不能顯示。在2D顯示器中，為每一個觀察者眼睛生成同樣視圖，因此只可能是透視圖。通過為每一個觀察者眼睛同步移動虛擬照相機，觀察者能在圖像序列中虛擬地穿過場景，而不必在顯示器前移動身體。如果傳感器檢測到觀察者眼睛在顯示器前的移動，則也可基于該信息控制虛擬照相機的移動。在虛擬調(diào)制器表面和觀察者眼睛之間可布置進(jìn)一步的成像裝置。這些成像裝置可以包括在虛擬調(diào)制器表面區(qū)域中，和/或可以考慮到虛擬照相機的屬性中。在全息顯示中，可以借助衍射圖生成真實的深度信息。這使得觀察者可能關(guān)注經(jīng)重建的場景的不同深度面，而不需要改變該重建。因此，在全息顯示的情況下，更合適的是虛擬觀察者位置，而不是虛擬照相機。在進(jìn)一步圖像合成的過程中，確定場景的哪些部分位于可見區(qū)內(nèi)和哪些部分為實際可見，例如，哪些不會隱藏在該場景的其他部分后面。這可以是多階段計算過程，其中場景越復(fù)雜或期望呈現(xiàn)越現(xiàn)實，要付出的努力越大。基于場景中的材料的屬性和光源的位置，可考慮反射、衍射、折射和散射，其可進(jìn)而帶來進(jìn)一步的可見虛擬物體、表面或點，它們通過可見、隱藏和/或位于可見區(qū)外的場景部分生成。可以考慮到物體(遮擋物)的材料屬性計算場景中表面的外觀。這包括例如將紋理成像到物體的表面(紋理映射)。因為圖像合成是非常復(fù)雜的過程，所以在像素合成期間物體的外觀、表面和各個像點可改變多次。如果場景包括結(jié)構(gòu)光源，那么可通過調(diào)整表面的外觀考慮它們的影響(照明、遮擋)，其中為了最小化計算負(fù)荷通常使用經(jīng)簡化的照明模型。表面的反射率通常用雙向反射 分布函數(shù)(BRDF)來計算。通常使用遞歸射線追蹤方法(Recursive ray tracing method)來生成場景的實際視圖。這意味著，由顯示器像素和虛擬照相機的位置界定的各個光線的路徑被反向追蹤。首先，該光線穿過射到的物體(hit object)的非隱藏表面中的所有點通過他們到虛擬照相機的距離來確定和分類。然后，考慮所有涉及的可視點的外觀，生成綜合數(shù)據(jù)以描述要在相應(yīng)顯示器像素的位置處呈現(xiàn)的視點。當(dāng)生成該綜合數(shù)據(jù)時，一個接著一個地考慮所有涉及的透明點的透明度屬性，和不透明點(如果有的話)透明度屬性。例如，通過考慮確定透明度以及材料中光線覆蓋的光路長度的材料屬性，來確定透明度屬性。也可考慮這些材料屬性的光譜和空間分布。US 7，030，887B2中描述了這樣一種方法。通過采用儲存深度信息的多個深度緩存，將相互疊加的透明像素按照深度進(jìn)行分類。這使得可能找到最接近于不透明像素的像素。接著，相對于該不透明像素計算所述像素的透明度影響。然后，找出是否存在與之前的透明像素相鄰的透明像素。相對于已經(jīng)計算的透明度影響計算該像素的透明度影響。重復(fù)該過程，直到考慮了所有疊加的透明像素。該方法具有缺點，即，僅能為對應(yīng)于顯示面板上的像素的每個有關(guān)射線確定一個亮度值或一個亮度值與一個顏色值。當(dāng)考慮房間中的聲學(xué)和幾何學(xué)屬性(聲場聽覺化模擬(auralisation))在房間中模擬聲場時存在類似的問題。這種模擬用于規(guī)避在幾何模型中的廣泛的測量。因而可測試不同位置的聲源、移動、極性模式和響度以及房間聲學(xué)的相互關(guān)系。除了具有某一位置和形式，空間中的各個物體或聽覺場景的物體也顯示了波長特定的吸收和擴(kuò)散。在多階段過程中發(fā)現(xiàn)房間的聲學(xué)屬性，其中也使用遞歸的射線追蹤方法。再者，可以考慮例如，由反射、擴(kuò)散和偏轉(zhuǎn)引起的虛擬聲源。在虛擬聽者的位置處通過立體耳機典型地渲染經(jīng)計算的聽覺，其中必須為真實聽覺考慮頭部相關(guān)傳遞函數(shù)(HRTF)。在這里僅存在一個通過立體耳機渲染的聚合信號是個缺點。當(dāng)針對聽者的改變的位置再計算聽覺時，在虛擬空間中的巡回(round tour)仍然是可能的,但是在頭部移動之后不再計算聲音信號的真實聽覺是不可能的。在全息顯示器或體顯示器中，當(dāng)呈現(xiàn)包括透明物體的三維場景時，根據(jù)本發(fā)明通過權(quán)利要求I中的方法特征克服了這些缺陷。對于聲學(xué)領(lǐng)域，根據(jù)本發(fā)明通過權(quán)利要求8中的方法特征克服了缺陷。根據(jù)本發(fā)明，在包括權(quán)利要求10的特征的計算單元中可實施該創(chuàng)造性的方法。本發(fā)明的進(jìn)一步優(yōu)選實施例和改進(jìn)界定在從屬權(quán)利要求中界定。根據(jù)本發(fā)明的方法可特別地用于為至少一個觀察者眼睛為全息系統(tǒng)的空間光調(diào)制器(SLM)計算全息編碼值，其中該全息系統(tǒng)用于三維場景的重建，該三維場景包括具有透明屬性的物體。該方法包括以下步驟a)將三維場景分成單個物點并檢測這些物點的坐標(biāo)。用這些坐標(biāo)，可執(zhí)行根據(jù)方法的d)步驟的分類，或者這些物點的坐標(biāo)可用于在全息編碼值的計算中的其它目的。b)確定虛擬觀察者位置，該位置對應(yīng)于所選擇的明顯感知三維場景中的觀察者的眼睛的位置。·
c)確定從虛擬觀察者的位置觀察沒有被其他物點所覆蓋的所有物點并且使其待編碼。d)將所有可見物點按照待編碼的所有可見物點到虛擬觀察者位置的距離進(jìn)行分類，所述所有可見物點從虛擬觀察者位置在同一角度可看見。e)確定每個可見物點的實際亮度，如果可能，考慮場景的所有真實和虛擬光源在那些物點的位置處從虛擬觀察者位置觀察它們的角度的位置和強度，其中可考慮包括真實和虛擬光源的物體的物理屬性。f)對待編碼的每個可見物點，考慮到它在實際位置的實際亮度、到虛擬物點的距離和位于可見物點與虛擬觀察者位置之間的所有物體或物點的透明度屬性，確定通過其在虛擬觀察者位置感知物點的表觀亮度值。g)用其各自的亮度值分別編碼每個物點，以使其以該亮度值在全息系統(tǒng)中在其位置盡可能遠(yuǎn)地重建，使得在它們各自位置處能獨立地感知不透明和透明物點。應(yīng)該注意到，全息編碼值也被稱為全息圖數(shù)據(jù)或者簡單地稱為全息圖。假如全息顯示器使用或配置為使用小的虛擬的觀察者窗口，例如在WO2006/066919A1中描述的全息系統(tǒng)，其中一個虛擬觀察者窗口對觀察者的每個眼睛可用，應(yīng)當(dāng)至少對虛擬觀察者窗口的每一個執(zhí)行全息編碼值的計算，在虛擬觀察者窗口中定位觀察者的眼睛。假如全息系統(tǒng)包括針對觀察者眼睛的實際位置的虛擬觀察者窗口的追蹤功能，如果已經(jīng)改變場景的內(nèi)容或虛擬觀察者窗口的位置，僅需要再計算物點的實際的和表觀亮度值。然而，如果全息編碼值的編碼適應(yīng)于虛擬觀察者窗口的新的位置，可考慮用于為觀察者眼睛的新位置對物點編碼的追蹤裝置的缺點和/或成像裝置以及光學(xué)光調(diào)制器的本地特征。關(guān)于如上述提及的虛擬觀察者窗口，其也可稱為虛擬觀察窗口，應(yīng)當(dāng)注意的是不存在物理孔或物理框或相關(guān)其他光學(xué)元件。根據(jù)本發(fā)明的虛擬觀察者窗口是一個區(qū)域，在其中可看見將要通過全息系統(tǒng)重建的三維場景。因此，觀察者的眼睛位于或靠近虛擬觀察者窗口。假如全息系統(tǒng)包括一大的虛擬觀察者窗口，分別為虛擬觀察者窗口內(nèi)的視圖的單一方向，對每個物點的實際和表觀亮度值執(zhí)行計算。通常地，如果視圖窗口具有圓形，則觀察者窗口具有直徑約10-20_的尺寸。如果視圖窗口具有矩形，則虛擬觀察者窗口通常是邊長為10-20mm的矩形。然而，如果虛擬觀察者窗口具有大于常規(guī)尺寸的尺寸，則能以單角度片段(single angular segments)掃描大的虛擬觀察者窗口。在這樣的情況中為每個單角度片段執(zhí)行全息編碼值的計算。如果必要，用已知的內(nèi)插法能計算中間值或插入值。一旦已經(jīng)為每個角度片段執(zhí)行計算，則能分別地執(zhí)行編碼值的編碼。通過包含最大可能衍射角的光學(xué)光調(diào)制器的特征確定虛擬觀察者窗口的最大尺寸?；谔摂M觀察者窗口的最大尺寸，必要的增量從那生成了。負(fù)責(zé)與光學(xué)光調(diào)制器相互作用的光的衍射的有效結(jié)構(gòu)特征依賴于編碼的類型(例如，布克哈特編碼(Burkhardt-encoding), 2-相位編碼(2-phase-encoding))以及依賴于光學(xué)光調(diào)制器的類型。復(fù)數(shù)個調(diào)制器單元或光學(xué)光調(diào)制器的像素被用于編碼復(fù)雜編碼值的振幅和相位值。這些復(fù)數(shù)個調(diào)制器單元界定光學(xué)光調(diào)制器的有效結(jié)構(gòu)尺寸和在那點的衍射。例如，執(zhí)行2-相位編碼(2-phase-encoding),如此在被具體化為相位調(diào)制器的光學(xué)光調(diào)制器的兩個相鄰像素中編碼相位值·。隨后，那兩個編碼相位值編碼復(fù)雜的編碼值。如果使用不具柵格或規(guī)則的衍射結(jié)構(gòu)(例如光學(xué)可尋址空間光調(diào)制器(OASLM))的光學(xué)光調(diào)制器，那么最小的有效結(jié)構(gòu)尺寸依賴于編程單元的編寫。根據(jù)本發(fā)明的方法也能應(yīng)用于體顯示裝置。如果當(dāng)追蹤裝置追蹤觀察者的實際位置時，改變觀察通過體顯示技術(shù)正顯示的三維場景的觀察者的位置，那么其是尤其真實的。用這樣的顯示裝置，不可能在不同的方向編碼不同亮度值，像這樣用全息系統(tǒng)或全息顯示裝置是可能的，其中用不同衍射圖為視圖的不同或單個方向能編碼一個物點。在全息系統(tǒng)中，由于為一區(qū)域內(nèi)或一光學(xué)光調(diào)制器的有限區(qū)域內(nèi)或光調(diào)制器的完整區(qū)域內(nèi)的一物點能生產(chǎn)單個物點的衍射圖，光學(xué)光調(diào)節(jié)器的有效柵格或衍射圖外的另一柵格或衍射圖能被使用。根據(jù)本發(fā)明的方法能應(yīng)用于如三維無線電圖(計算機斷層攝影，CRT)的生成、可視化和分析，其中材料(尤其是用于X射線的生物材料)的透明度和吸收特征中為了診斷的目的調(diào)查和顯示。在大量的申請中，不僅通過亮度值或強度值描繪三維場景，而且三維場景的外觀也依賴于三維場景內(nèi)的單個元素或物體的發(fā)射、吸收和/或反射屬性。在一優(yōu)選實施例中，考慮到每個待編碼的物點位置處的實際顏色值以及位于可見物點和虛擬觀察者之間所有物體和物點的透明度屬性，除表觀亮度值以外，針對每個待編碼的物點的表觀顏色值經(jīng)確定，具有該表觀顏色值的該物點可在虛擬觀察者位置處感知。用它的各自的顏色值分別編碼每個物點，以使其通過這顏色值在其實際或虛擬位置處盡可能遠(yuǎn)地在全息系統(tǒng)中重建，因此在它們各自位置處能分別地感知不透明和透明物點。根據(jù)該實施例的方法能被適用于應(yīng)用顏色模型和應(yīng)用顏色深度，其中能編碼待重建的場景。通常用的顏色模型例如為能非常好地適應(yīng)于這地方的附加紅色、綠色、藍(lán)色模型(RGB colour model)。用這些顏色模型,用發(fā)射或傳播光的三分之一的紅色、三分之一的綠色和三分之一的藍(lán)色子像素生成顏色。在分別呈現(xiàn)顏色紅、綠、藍(lán)的三個灰度值通道中存儲物點的亮度值和顏色值?；叶戎档淖畲罂赡艿臄?shù)值確定可能的顏色深度。通常，在進(jìn)一步的通道中存儲物點的透明特征，其也被稱為α通道。其他顏色模型例如使用為每個顏色(色相、飽和度和值(value)、HSV模型，或色相、飽和度和亮度、HSB模型)的顏色值、顏色飽和度和亮度值。進(jìn)一步地，還存在針對具體顯示裝置或格式經(jīng)適應(yīng)的顏色模型，例如用于電視格式的NTSC或PAL的YUV模型。特別地，在工作于反射模型中的印刷技術(shù)或光調(diào)制器，使用減色模型。因此例子是藍(lán)綠色、洋紅色、黃色模型或藍(lán)綠色、洋紅色、鍵(CMYK)，其中鍵代表黑色部分。這樣的模型適應(yīng)于使用印刷技術(shù)的硬拷貝全息圖(hard-copy-hologram)的生成。由于反射、緩解或散射可被虛擬地生成的附加的虛擬物點經(jīng)計算，其是在至少一個虛擬或真實的光源的光和將要重建的三維場景的物體的物點之間的相互作用的結(jié)果。能考慮物體的光學(xué)屬性和虛擬或真實光源。為那些像真實物點的虛擬物點，計算在虛擬觀察者的位置處的表觀亮度值或表觀亮度及顏色值。用他們的各自的值分別地編碼他們。真實的光源是在待重建的三維場景中顯然地生成方向性光的光源。虛擬光源可例如通過在物體的表面由真實的光源生成的光的反射而被應(yīng)用。這樣的虛擬光源能生成進(jìn)一步的虛擬光源，例如通過多次反射。當(dāng)也應(yīng)用計算全息編碼值的該方法時，多次反射能被考慮到。這樣的多次反射通常需要用于圖像合成的多個階段過程。在一優(yōu)選實施例中，該物點的位置相對于虛擬觀察者位置經(jīng)修正，如果必要，由于定位在虛擬觀察者位置和待修正的物點之間的物體或物點處的光學(xué)屬性(例如反射、折射 或衍射)。為那些修正的位置而計算表觀亮度值或表觀亮度和顏色值?？梢杂酶髯缘闹捣謩e編碼該物點。這能應(yīng)用于包括具有反射表面的物體(例如鏡子)(對復(fù)雜的物體，例如玻璃缸)的三維場景；其中為了可視化在這樣的玻璃缸中的物點(例如魚或石頭)的正確位置，必須要應(yīng)用折射定律。對本領(lǐng)域技術(shù)人員，能在不包括透明物體的三維場景中執(zhí)行與虛擬觀察者的位置相關(guān)聯(lián)的物點的位置的修正是顯然的。因此，根據(jù)本發(fā)明的方法能以這種方式被修改，以忽略關(guān)于(在特殊情況下)不存在于待重建的三維場景中的透明物體的方法步驟。通過考慮位于物點和虛擬觀察者位置之間的物體或物點的空間透明度分布，計算在虛擬觀察者位置處物點的表觀亮度值或表觀亮度和顏色值。他們的光譜相關(guān)性能被考慮。三維場景的物體能包括一元相對透明度值τ ο這個透明度值是來自材料的透明度T和厚度D的商。因此物體的透明度取決于在物體中沿著其傳播的光路的長度。通常，物體的透明度值τ能是來自位置(亮度函數(shù))或亮度和顏色的函數(shù)(顏色函數(shù))的函數(shù)。能通過(在物體內(nèi)光沿著光路傳播)相對透明度值分布τ上的空間依賴項的集成計算透明度Τ。如果物體包括折射指數(shù)的空間分布，則這光路能是非線性的。假如透明物體包括散射特征，例如漫射屏或磨砂玻璃，僅僅直接穿過該散射物體的光確定位于最向前物點的后面的物點的表觀亮度或表觀亮度和表觀顏色。散射光促成這樣的物體的表觀亮度。這樣的物體也被稱為半透明物體。優(yōu)選地，在隨機方法和位于物點和虛擬觀察者的位置之間的透明和/或反射和/或漫射和/或衍射和/或折射的物體或物點的吸收、散射、反射和衍射的概率的幫助下，計算在虛擬觀察者的位置處的物點的表觀亮度值或表觀亮度和顏色值。他們的光譜相關(guān)性被考慮。如果用隨機方法(例如蒙特卡羅法(Monte-Carlo-Method))的幫助執(zhí)行進(jìn)一步的部分圖像合成，這是特別有幫助的。沒有通過回歸系數(shù)描述例如吸收、反射、衍射或散射等物理效應(yīng)，而是通過來自應(yīng)用隨機方法時的這些物理效應(yīng)的概率來描述。例如，能追蹤或注意穿過三維場景的多個單光子的光路。能通過真實光源同時考慮這些光子的輻射的概率生成這些光子。如果需要考慮這些參數(shù)，隨機數(shù)能確定這些光源的輻射特征，例如發(fā)射光子中的位置、光輻射的方向、波長以及，如果必要的話，正在發(fā)射光的偏振和其他光子或光波的輻射的相位關(guān)系。借助于均勻分布的隨機數(shù)可以在每個光學(xué)界面確定是否反射、折射、衍射、散射或吸收光子。通常在O和I之間的間隔中測量均勻分布的隨機數(shù)。能基于關(guān)于吸收、傳播、散射、反射和/或衍射概率的概率做出這樣一個決定，其中能考慮來自像波長或偏振的物理參數(shù)相關(guān)性。可例如考慮與雙折射材料或材料的波長依賴性的透明度分布相關(guān)聯(lián)發(fā)生的偏振的效果。所有通過發(fā)射直接產(chǎn)自物點的光子或者在物體的表面處向虛擬觀察者窗口的方向通過漫反射發(fā)送的光子能夠被計算，以及這些確定在對于所有生成的光子的總數(shù)量適當(dāng)測量之后物點的實際亮度或?qū)嶋H亮度和顏色。到達(dá)虛擬觀察者窗口的這些光子的數(shù)值也被計算，并且在測量后這些數(shù)值確定這物點的表觀亮度。作為穿越媒介的強度比率或者在簡單化模型中物體的表面的強度與入射的強度的比例的透射的級別或透光率T可以例如被解釋為透射概率。當(dāng)入射的光子進(jìn)入媒介或物體時，生成規(guī)格化隨機數(shù)Z (normalized randomnumber Z)。如果Z小于或等于T,那么光子穿越媒介或通過物體的表面。假如Z大于T，光子被吸收并不會導(dǎo)致表觀亮度。應(yīng)用更復(fù)雜的模型是可能的，其中例如可考慮物體表面上的反射。如果光子入射到表面或光學(xué)界面上，生成新的隨機數(shù)值并且反射R的概率是否發(fā)生取決于這隨機數(shù)值。假如反射發(fā)生，光子根據(jù)反射定律改變它的傳播的方向。假如發(fā)生散射或者漫反射，借助于一組另外隨機數(shù)值能確定光子的新的傳播方向。例如從物體的反射分布能確定光子偏轉(zhuǎn)的概率。假如不發(fā)生反射，分配給光子的吸收概率的另一隨機數(shù)被確定，取決于這進(jìn)一步的隨機數(shù)、該光子從媒介或者物體被吸收、或者該光子繼續(xù)傳播到物體的出口界面。在物體的出口界面處，如果反射在出口界面/光學(xué)界面上發(fā)生或者如果光子穿越，它能被檢查。直接的反射光在這樣的情況下生成虛擬物點，其位置能通過追溯(back tracing)反射方向或考慮入射的原始方向來確定。僅僅需要考慮那些虛擬物點，光子能從該虛擬物點傳播到虛擬觀察者窗口，也就是其表觀亮度值不是O或者其位置不在重建范圍之外。假如這樣的位置位于重建范圍之外，那么在延伸穿過將要重建的重建范圍的邊界射線的交點的區(qū)域中生成虛擬物點是可能的，其然而可能導(dǎo)致透視變形。當(dāng)然對位于重建范圍之外的真實物點這也是可能的。這些物點從而被投射或被成像到重建范圍的背景上。假如在途中光子被折射，這 導(dǎo)致相應(yīng)的物點的顯然不同位置。通過追溯折射光束的或者光子傳播的路徑也能確定物點的新位置。通常地，為物點的實際亮度，僅僅考慮從物點朝虛擬觀察者位置的方向通過發(fā)射(透明光源)生成的光子，或者在媒介或物體表面處朝虛擬觀察者位置的方向以分散的方式反射的光子。如果無其他物體或者媒介位于在這樣的物點和虛擬觀察者位置之間，那么接近虛擬觀察者位置的光子的數(shù)值代表這樣的物點的表觀亮度?？赡艿氖牵该魑稂c能以如不透明物點的同樣的方式生成虛擬物點。通過物體中光的散射或者衍射也能影響透明物體的表觀亮度。當(dāng)考慮透明物體時，優(yōu)選以類似于根據(jù)本發(fā)明的方法考慮這些效果。可能還有一些情況，其中這樣的隨機方法的應(yīng)用需要大量計算時間和大量的計算內(nèi)存，尤其如果待重建的三維場景包括必須計算的高分辨率和大量光子。這樣的隨機方法因此不能被實時執(zhí)行。然而，即使具有錯綜復(fù)雜的的場景，簡單的算法還是能被應(yīng)用，并且光子的計算能通過并行處理被執(zhí)行。因此，如果必須執(zhí)行靜態(tài)場景或者全息視頻，這樣的方法能被特別地應(yīng)用。所以對硬拷貝的生成或原版的生成也是一樣的。在一優(yōu)選的實施例中，為了提高或者減少那個點的可見性，以放大或減弱的形式在單個物點的表觀亮度值或者表觀亮度和顏色值的計算中，考慮位于物點和虛擬觀察者位置之間的至少一個單物體的至少一個透明度值。場景的地區(qū)或者區(qū)域被重建是可能的，該場景的地區(qū)或區(qū)域包括與該場景的這地區(qū)或區(qū)域的自然表觀相比不同的表觀亮度和/或不同的表觀顏色。所以可能的是，能夠在其表觀方面放大或者減弱或者抑制和/或改變這區(qū)域的可見性。因此，根據(jù)本發(fā)明的方法能夠?qū)嵤┧惴ǎ涫沟么淖兓蚩刂频膱鼍暗貐^(qū)的表觀能夠被臨時存儲(如在計算機內(nèi)存中)，這樣僅僅改變了該場景的經(jīng)改變地區(qū)而不需要對場景的完全重新計算。假如，如例如在WO 2006/066919A1中公開那樣，根據(jù)本發(fā)明的方法應(yīng)用子全息圖以計算全息編碼值，那么在操作之前，當(dāng)生成子全息圖的總和時，僅場景的各自區(qū)域的物點的子全息圖能被減去，在操作之后，經(jīng)改變的物點的子全息圖能添加到子全息圖的總和上。操作的控制能例如由于與至少一個觀察者相互作用而被執(zhí)行。為了強調(diào)在醫(yī)學(xué)應(yīng)用中的器官的可視范圍內(nèi)的病 變區(qū)域，可通過改變例如場景區(qū)域或單物體的透明特征從而改變待重建的三維場景的單區(qū)域的表觀的操作。在本發(fā)明的另一方面，本發(fā)明的方法能被應(yīng)用于計算將要用于與聲音重放系統(tǒng)關(guān)聯(lián)的編碼值。該聲音重放系統(tǒng)包括至少兩個聲音生成裝置以及該聲音重放系統(tǒng)用于包含三維場景的空間和時間的不同的聲音值的三維聲場的重建。該三維場景包括具有聲音吸收屬性的物體。三維聲場經(jīng)重建以被至少一個聽者的耳朵感知。該方法包括以下步驟h)該三維場景被分成單個物點。單個物點能夠影響聲音。確定這些物點的坐標(biāo)。i)確定虛擬聽者的位置，其與經(jīng)選擇的聽者的耳朵的位置相對應(yīng)，其中聽覺上明顯感知三維場景。j)在虛擬聽者的位置的方向，確定沒有被其他充分吸收聲音的物點充分覆蓋的所有物點。k)位于來自虛擬聽者的位置方向的所有物點通過他們到虛擬聽者的位置的距離分類。I)確定在能影響聲音的每個物點的位置處的實際響度、音高和聲音傳送時間，如果可能的話，在那些物點的位置處，以從虛擬聽者的位置感知他們的所述角度，考慮場景所有實際和虛擬的聲源的位置和強度，其中包含實際和虛擬聲源的物體的物理屬性能被考慮。m)針對能影響聲音的每個物點，通過考慮能影響聲音的物點的位置處的實際響度、音高和聲音傳送時間、至虛擬聽者的位置的距離以及位于物點和虛擬聽者的位置之間的所有物體或物點的吸收屬性確定表觀響度、音高和聲音傳送時間(具有這些表觀響度、音高和聲音傳送時間的聲音在虛擬觀察者位置處被感知)。η)分別編碼包括響度、音高和聲音傳送時間的每個聲音值,如此,在虛擬聽者的位置處，能用這樣的表觀響度值、音高和聲音傳送時間感知具有所述聲音重放系統(tǒng)的重建。位于聲源和聽者的耳朵之間的場景的吸音物體減小聲音的響度，導(dǎo)致在觀察者的耳朵的位置處的感知比聲源或聲源的實際處更安靜。反射聲音的面或物體能生成附加的虛擬聲源。在聽者的耳朵處，與直接到達(dá)的這聲源的聲音(即沒有反射)相比，如此正在被反射的聲音能稍后到達(dá)(即在不同階段或者不同聲音傳送時間或方向下)，因此導(dǎo)致大廳或回聲效應(yīng)。通過聲音吸收媒介中的聲速影響這聲音的相位延遲或者聲音傳送時間。能振蕩或振動的場景物體能通過附帶的聲音引起振蕩或振動，因此導(dǎo)致虛擬聲源。在根據(jù)本發(fā)明的一優(yōu)選實施例中，為了聲音的真實感知，為觀察者的左耳和右耳，分別計算和編碼部分聲音。對三維場景，用單個聲音生成裝置的場的幫助，能執(zhí)行經(jīng)編碼的聲音分布的重建，其中該場構(gòu)成相當(dāng)高的分辨率，其中根據(jù)他們的相位關(guān)系，單個聲音生成裝置應(yīng)當(dāng)被同步地控制。此外，單個聲音生成裝置應(yīng)當(dāng)包括關(guān)于它能生成的聲音的高的頻譜。能分別地考慮每個或者至少一個聲音生成裝置的聲音生成特征和聲音重放系統(tǒng)以及范圍(volume)的聲音特征，其中當(dāng)為聲音生成裝置執(zhí)行編碼值的計算時，聲音被生成。因此，關(guān)于光學(xué)感知(即三維場景的表觀亮度或者表觀亮度和顏色值)，特別優(yōu)選地將三維場景的計算和編碼和重建相結(jié)合,例如在權(quán)利要求1-7中描述了這些。除此之外，在同一時間，計算、編碼和/或重建這樣的三維場景的聲音的重建。換言之，除根據(jù)權(quán)利要求1-7中任意一個權(quán)利要求中的計算和編碼表觀亮度或表觀亮度和顏色值之外，還根據(jù)權(quán)·利要求8計算和編碼虛擬響度、音高和聲音傳送時間。全息系統(tǒng)(例如全息投影裝置)和聲音生成裝置的場或排列被使用。例如可能的是，在觀察者能移動的范圍中生成虛擬場景。根據(jù)他在該范圍內(nèi)的移動追蹤該重建或者為觀察者的整個移動空間而計算和重建該場景，這樣觀察者能真實地看見和聽見來自范圍內(nèi)的每個位置的三維場景。當(dāng)確定實際的或表觀的亮度值，或者實際的或表觀的顏色值，和/或?qū)嶋H的或表觀的響度值、音高和聲音傳送時間時，根據(jù)本發(fā)明的方法，其不限于射線追蹤或射線計算。執(zhí)行這方法的分析也能包括考慮光的波動特征或者有限單元法(FEM)的方法。例如用三維場景物理過程的模擬，例如溫度分布或機械拉力或機械應(yīng)力的分布，有限元素法的方法能有利地被應(yīng)用，其中，在虛色可視化(false colour visualization)方面執(zhí)行三維分布的重建。為了執(zhí)行根據(jù)權(quán)利要求1-9中任一權(quán)利要求所述的方法，計算單元能改變以最佳的方式執(zhí)行單個方法步驟。因此，根據(jù)本發(fā)明，為三維場景的重建，分別地提供光學(xué)光調(diào)制器(SLM)和/或全息系統(tǒng)的聲音生成裝置和/或聲音重放系統(tǒng)的計算編碼值的計算單元。三維場景包括具有透明光學(xué)屬性和/或具有聲音吸收屬性的物體，并且為至少一個觀察者的眼睛和/或至少一個聽者的耳朵重建。該計算單元執(zhí)行權(quán)利要求1-9中任一所述的方法。這樣的計算單元能包括至少一個可編程處理器核心(programmableprocessorcore),和/或任何類型的至少一個可編程邏輯裝置(PLD)，和/或至少一個專用集成電路(ASIC)，和/或至少一個數(shù)字信號處理器(DSP)。至少兩個這樣的裝置能結(jié)合在一個集成電路中。該計算單元能進(jìn)一步地包括部件，像例如存儲程序代碼和/或數(shù)據(jù)的裝置、電源(power supply)、控制與使操作狀態(tài)和/或計算結(jié)果可視化的裝置。計算單元可以是顯示三維場景的重建的系統(tǒng)控制器的一部分，例如全息顯示器、全息 3D 電視裝置(holographic 3D-TV_device)、3D 游戲裝置(3D-gaming_device)、全息數(shù)據(jù)的可視化/重建的移動裝置和/或重建三維聲音分布/聲場的裝置。該計算單元能以單獨的單元被提供，該單獨的單元連接在電子計算裝置或另一接收和/或生成和/或3D場景儲存的裝置和全息顯示裝置和/或回放三維聲場的系統(tǒng)之間。計算單元可以是能用于三維場景的計算的通用計算系統(tǒng)(generalcomputingsystem)的一部分。計算單元能包括部分不同技術(shù)，例如用光學(xué)方法(例如基于電子執(zhí)行的計算的量子計算機和計算機單元)操作的計算單元。特別有利的是，如果這樣的計算單元包括大量能操作并行處理的裝置的計算單位。為了完全地理解本發(fā)明的目的、技術(shù)和結(jié)構(gòu)，應(yīng)當(dāng)參考下面的詳細(xì)說明和附圖，其中附圖顯示了包括不透明和透明物體的簡單三維場景的視圖的原理介紹。應(yīng)當(dāng)用全息系統(tǒng)或者全息顯示裝置(圖中未示)重建的三維場景包括不透明物體·200和透明物體300。兩個物體200和300能被分成多個單個物點(圖中未示)。漫射的白色光源(圖中未示)從各個方向照射三維場景。在圖中，示意性地顯示了光源的光線101到110。針對觀察者的眼睛400，重建三維場景。場景內(nèi)的位置(虛擬觀察者的眼睛400從該位置明顯感知三維場景)，經(jīng)確定為虛擬觀察者的位置，也用引用數(shù)字400表示。被定位在與虛擬觀察者的位置400相關(guān)的物體200的轉(zhuǎn)移側(cè)(即，從虛擬觀察者的位置400觀看，物體200的后方)的物點無助于物體200的可視化，因而無需被計算或者編碼。如圖中顯示的簡單場景不包括具有反射面的物體，并且該場景也不包括具有平行光(directional light)發(fā)射特征的光源。因此，在場景中沒有虛擬物體或虛擬光源。因為具有白色光的三維場景的漫射照明，所以物體200、300可由位于他們的實際位置的觀察者，根據(jù)與物體200、300的材料特征相關(guān)的他們的顏色值而感知。在圖的該例子中，物體200包括黃色。通過物體200吸收白色光的光強度的藍(lán)色部分。在全部方向上，完全地發(fā)射白色光的紅色和綠色。在虛擬觀察者的位置400處用它的實際強度510 (IAo=IAo_r+IAo_gr)用紅色將感知不透明物體200的可見物點，如果在三維場景內(nèi)沒有透明物體300。IAo_r和IAo_gr是來自從不透明物體200的物點至虛擬觀察者位置400的直射光的表觀強度或?qū)嶋H顏色值。藍(lán)色I(xiàn)Ao_b的強度部分或顏色值等于O。從漫射照明的亮度，實際強度的絕對值也被確定。在圖的三維場景中出現(xiàn)的透明物體300，對紅色和藍(lán)色光分別地包括Tr=O, 5和Tb=O, 5的透明度。透明物體300完全地吸收綠色光的強度部分，即，綠色光的透明度為藍(lán)色光的Tgr=O. 50%和透明物體300吸收紅色光的50%，并且藍(lán)色光和紅色光的50%被傳送。在虛擬觀察者的位置400處的不透明物體200的物點可在表觀強度ISo 520下被感知，ISo 520因此是ISo=Tr*IAo_r+Tgr*IAo_gr+Tb*IAo_b=0, 5*IAo_r。在圖的實例中，在虛擬位置400處用具有紅色強度部分的一半的強度的紅色感知不透明物體200的觀察物點。在三維場景的全息重建中用這種強度值計算和編碼該物點。透明物體300的物點包括如從虛擬觀察者的位置400的方向看見的紫色。用漫射的白色光源的紅、綠、藍(lán)光的三個強度部分Ir，Igr和Ib能計算實際強度IAt 530，IAt=O, 5*Ir+0, 0*Igr+0, 5*Ib。沒有進(jìn)一步的透明物體位于透明物體300和虛擬觀察者的位置400之間(IAt=ISt)。因此，透明物體300的實際亮度也是表觀亮度。當(dāng)重建三維場景時，用這些亮度值計算和編碼透明物體300的物點。在附圖的這簡單實例中，沒有考慮在物體的光學(xué)界面上的反射。此外，已經(jīng)忽略了依賴于媒介內(nèi)的光路的透明度的變化。
注意的是不透明物點也影響位于虛擬觀察者的位置方向上的透明物點的實際和表觀的亮度和/或?qū)嶋H和表觀的顏色，因為這樣的不透明物體能遮檔或覆蓋場景中的光源的光線。執(zhí)行圖像合成時，越能考慮精確的物理效應(yīng)，就越能生成三維場景的真實視圖。特別地，為了能夠獲得待重建的三維場景的三維感知，針對觀察者的所有眼睛的不同的視圖被生成。假如同時在一大的視角下觀看經(jīng)重建的全息圖，例如硬拷貝，那么針對不同虛擬觀察者的位置的大量這樣的視圖被計算，其中針對中間位置，從相鄰視圖的視圖處插入視圖是可能的。在這樣做時，用虛擬觀察者的位置(多重全息)能改變?nèi)S場景的內(nèi)容是可能的。單個視圖的計算能以連續(xù)方式和/或優(yōu)選以并行方式執(zhí)行。對于觀察者的單個眼睛，虛擬觀察者的位置能與觀察者的移動相適應(yīng)，假如觀察者的位置改變。因為分別地編碼不透明物體200和透明物體300的可見物點，因此可能的是，由于當(dāng)看到三維場景的物體時，在眼睛的會聚和調(diào)節(jié)之間沒有存在錯配，所以觀察者能夠用他 的眼睛分別地聚焦到每個單物體200、300上，并且因此幾乎沒有視疲勞地觀察重建的三維場景。因此可能的是，觀察者能用他的自然的眼睛移動而沒有扭曲地觀察經(jīng)重建的三維場
旦
-5^ O當(dāng)根據(jù)本發(fā)明執(zhí)行三維場景的計算時，公知的程序庫能被用于計算這樣的場景。這種程序庫是，例如開放圖形庫(0penGL)、3D圖形函數(shù)庫(Direct3D)或者XNA框架(XNA-Framework)。用已知的數(shù)學(xué)方法是可能的,例如訪問查看表(LUT)的預(yù)計算值或者插入中間值。盡管結(jié)合具體實施例已經(jīng)描述了本發(fā)明，但是理解的是，鑒于上述描述，許多替代、修改以及變化的方案對所屬領(lǐng)域的技術(shù)人員將是明顯的。因此，本發(fā)明旨在包括屬于從屬權(quán)利要求的范圍的所有這些替代、修改以及變化。附錄為了進(jìn)一步公開關(guān)于上述本發(fā)明的信息提供下面的內(nèi)容。要強調(diào)的是即使該信息可能僅提供在該附錄中而不在上面的說明書中，但是該附錄構(gòu)成本申請的一部分。實時全息顯示的內(nèi)容的生成、編碼以及呈現(xiàn)討論的是驅(qū)動全息顯示器的方案。該全息顯示器具有通過使用視瑞爾(SeeReal)公司的子全息圖技術(shù)(Sub-Hologram-technology)并結(jié)合現(xiàn)成硬件實時編碼的交互式或視頻內(nèi)容。介紹為了從內(nèi)容方面和全息術(shù)方面正確生成包含關(guān)于全息圖的透明度的方面的復(fù)雜內(nèi)容的指南。傳統(tǒng)的生成經(jīng)計算機生成的全息圖的方法與我們的使用子全息圖方案進(jìn)行比較討論，以快速降低計算功率。最終，我們20英寸的直觀的全息原型的該計算平臺和說明將介紹。I.引言由于計算功率的大量消耗，傳統(tǒng)的生成計算機生成的全息圖(CGHs)的方法不是很好地適用于交互應(yīng)用。所以，使用它們，僅靜態(tài)圖像或預(yù)計算的視頻已經(jīng)經(jīng)執(zhí)行。為了實現(xiàn)3D全息術(shù)的所述鍵的優(yōu)點，相較于3D立體攝影術(shù)，交互的內(nèi)容是必要的，其提供了將典型的作為專業(yè)的設(shè)計的3D應(yīng)用程序(3D游戲或3D電視)與3D全息術(shù)的觀看舒適度相結(jié)合的路標(biāo)。因此，不需要高性能計算軟件的實時全息計算方案是需要的。本文將介紹一些生成吸引人的交互全息應(yīng)用程序的背景技術(shù)。此外，我們新的有效利用圖像處理單元或現(xiàn)場可編程門陣列的子全息技術(shù)的改變也會討論，其使得全息圖計算實時進(jìn)行。2.實時全息術(shù)本章綜述了全息術(shù)以及比較了傳統(tǒng)的方法與視瑞爾公司的新的子全息圖技術(shù)。該子全息圖技術(shù)是實時計算大的全息圖的基礎(chǔ)。2. I為什么要全息術(shù)？ 相較于3D立體攝影術(shù),全息術(shù)克服了深度聚焦和會聚之間的景深(depth-cue)的錯配的問題。這個因而被稱為調(diào)節(jié)會聚錯配(accommodation-convergence mismatch)引起疲勞或頭疼，甚至短暫迷失方向，因此使用3D立體攝影術(shù)，僅小的深度范圍必須實現(xiàn)以及不停頓的使用3D立體攝影術(shù)也將非常受限2。相反，全息術(shù)像自然的3D觀看，其允許了非常大的深度范圍，不存在負(fù)面作用，因為眼睛可以同時聚焦和會聚于被看的物體。當(dāng)觀看全息圖時，該聚焦的物體看起來清楚，而在不同距離的其它物體將看起來模糊，就像其是在現(xiàn)實生活中一樣。用3D立體攝影術(shù)，眼睛會聚在物體上但聚焦于顯示器本身錯配發(fā)生，其引起了上面已經(jīng)描述的結(jié)果(請見圖IaX這是為什么全息術(shù)將是3D立體攝影術(shù)的目前快速發(fā)展市場的下一個重大步驟，因為其對于很多領(lǐng)域的應(yīng)用程序(即，專業(yè)3D設(shè)計、3D游戲和3D電視)的較佳選擇。下一個章節(jié)將傳統(tǒng)的生成全息圖的方法與視瑞爾公司的新的方案(稱為子全息圖)進(jìn)行了比較。子全息圖的使用使得能夠?qū)崟r計算大的和深的全息圖，其使得全息顯示器上的交互內(nèi)容通過使用現(xiàn)成硬件組分能夠?qū)崿F(xiàn)。參看

圖1，其在圖I (a)中顯示了 3D立體攝影術(shù)和自然觀看/全息術(shù)之間的差異針對3D立體攝影術(shù)，兩只眼會聚在一定深度的物體上，但是聚焦于顯示器平面上，對于自然觀看和全息術(shù)，聚焦和會聚是相同的。圖I (b)顯示了傳統(tǒng)的全息術(shù)的原理多個大的重疊衍射圖重建了多重景點(scene-points)，當(dāng)相干光源照射時在界定的觀看區(qū)可看見該重建。2. 2傳統(tǒng)方法vs子全息圖全息圖總體上是復(fù)雜的衍射圖。當(dāng)相干光源照射時，景點構(gòu)成的3D場景被重建，其可以在空間中的界定區(qū)域可見(見圖lb)。傳統(tǒng)的計算由計算機生成的全息圖(CGHs)的方法總體上基于如下方案每個在全息圖中的像素有助于每個經(jīng)重建的景點。這意味著，針對場景的每個景點，必須計算具有全部全息圖尺寸的衍射圖。這些單獨的全息圖全部添加在一起一通過復(fù)雜的疊加一以生成呈現(xiàn)完整場景的全息圖。參看圖2，其在圖2 (a)中顯示了 當(dāng)使用傳統(tǒng)方法時，大觀看區(qū)域生成了，但在觀察者眼睛的位置處僅小部分是實際需要，因此大部分計算的信息浪費了。圖2 (b)顯示了 當(dāng)使用子全息圖時，僅計算出必要的信息。此外，全息顯示器的分辨率較低并正好在今天制造能力范圍內(nèi)。這些傳統(tǒng)的全息圖一方面提供了非常大的觀看區(qū)域，但是另一方面需要非常小的待重建的像素間距(即約I μ m)(見圖2a)。由于全息術(shù)的基本原理，衍射光的干擾，該觀看區(qū)域的尺寸是直接由像素間距界定。當(dāng)該觀看區(qū)域足夠大，兩只眼自動感測到不同的遠(yuǎn)景，因此他們能聚焦和會聚在相同的點，甚至多個使用者能獨立地觀看該3D場景的重建。
在傳統(tǒng)的全息圖中，為每個景點計算的像素的數(shù)量非常巨大。除了提供有用的顯示器尺寸的小間距的顯示技術(shù)的缺失，其將需要驚人的計算功率。此外，如此大量的數(shù)據(jù)的處理引起甚至更多的關(guān)于數(shù)據(jù)轉(zhuǎn)移速率、記憶等問題。這是為什么使用傳統(tǒng)方法的實時全息術(shù)在可見未來看不出商業(yè)利益的關(guān)鍵原因。由于這些技術(shù)的限制，直到現(xiàn)在，僅像硬拷貝或化學(xué)膠片這樣的劇照能以適于臺式機或類似TV的應(yīng)用程序的尺寸實現(xiàn)以及用可擴(kuò)展的技術(shù)實現(xiàn)。當(dāng)觀看圖2b時，可以看出，傳統(tǒng)的全息圖中的大多數(shù)經(jīng)計算的信息是浪費的，因為僅眼睛能實際看到的信息是真正需要的。因此，代替計算全部的觀看區(qū)域，僅僅部分的該全息圖需要被計算，其負(fù)責(zé)于在觀察者的眼睛位置處重建特定3D景點子全息圖(SH).這減小的觀看區(qū)域是所稱的觀看窗口(VW)(見圖3)。該觀看區(qū)域的尺寸的減小通過增加像素間距完成一該像素間距與其它參數(shù)一起 界定該觀看區(qū)域的尺寸。通過重疊不同景點的SH (添加或超定位)，具有稠密的景點的全息3D場景經(jīng)重建以及在VW的位置處是可見的(見圖3)。該增加的像素間距另一方面導(dǎo)致了劇烈減小的像素數(shù)，使得有另一動機使用目前的顯示技術(shù)。但是小VW的使用暗示了快速、可依賴和非常精確的眼睛追蹤系統(tǒng)根據(jù)觀察者眼睛移動進(jìn)行轉(zhuǎn)移VW的需要。這樣的眼睛追蹤系統(tǒng)已經(jīng)開發(fā)出，但是目前視瑞爾公司使用的是自己擁有的集成在全息原型中的眼睛追蹤方案，其已經(jīng)由視瑞爾公司在諸如SID、FPD、橫濱(Yokohama)和Finetec等公共事務(wù)得到證明。參看圖3，其顯示了僅一小部分的全息圖一子全息圖一需要在減小了的觀看區(qū)域(觀看窗口)重建一單景點。通過超定位多個子全息圖，在空間的觀看窗口位置處生成和重建呈現(xiàn)整個場景的全息圖。為了舉例說明計算功率節(jié)省有多巨大，兩種方法總體上使用一種示例性情形進(jìn)行比較。假設(shè)具有40英寸的SLM(800mmX 600mm), 一觀察者正從2米遠(yuǎn)處觀看該顯示器,觀看區(qū)域在水平方向和垂直方向?qū)⑹恰?0°，該內(nèi)容放置在前面Im與全息圖后面無限制的距離的范圍內(nèi)，該全息圖用HDTV分辨率(1920X 1080景點)重建了場景以及波長為500nm，然后經(jīng)指定的情形必須管理。這兒針對傳統(tǒng)方法，基于傅里葉轉(zhuǎn)化進(jìn)行該計算以針對如此大的全息圖應(yīng)用最有效率的方法，為此假定有256個步驟的景點的深度量子化。針對SH方法，需要計算兩種獨立的全息圖，一種對應(yīng)于每個眼睛。在底線處，兩種方法為單獨的觀察者位置提供了相同的結(jié)果，但是可以清楚地看見關(guān)于光調(diào)節(jié)器的分辨率、框架尺寸和計算功率的顯著差異。為了進(jìn)一步降低計算功率，可以使用所稱的單一視差全息圖，其中SH和全息視差的尺寸降低至一維。垂直或水平方向是可能的一稱為僅水平視差(HPO)或僅垂直視差(VPO)全息圖3。通過將半視差SH和每個眼睛的不同視圖混合，例如垂直全息視差與水平立體視差，將生成具有低計算需求的實時視頻全息圖8。如果其被很好理解以及并入全息內(nèi)容，單一視差的重建的感知限制對于觀察者來講是不可見的。
權(quán)利要求
1.一種為用于三維場景重建的全息系統(tǒng)的空間光調(diào)制器(SLM)為至少一個觀察者眼睛計算全息編碼值的方法，三維場景包括具有透明性能的物體，其中 一一將三維場景分成單個物點并檢測這些物點的坐標(biāo)； 一一確定虛擬觀察者位置，該位置對應(yīng)于所選擇的明顯感知三維場景中的觀察者的眼睛的位置； ——確定沒有被從虛擬觀察者位置看見的其他物點所完全覆蓋的將要編碼的所有物占. ——通過待編碼的所有可見物點到虛擬觀察者位置的距離，將在同一角度從虛擬觀察者位置可看見的所有物點進(jìn)行分類； ——確定每個可見物點的實際亮度，如果可能，在它們從虛擬觀察者位置被看見的角度，考慮那些物點的位置處的場景的所有真實和虛擬光源位置和強度，其中可考慮包括真實和虛擬光源的物體的物理屬性； 其特征在于 —對于將被編碼的每個可見物點，考慮到它在實際位置的實際亮度、到虛擬觀察者位置的距離、和位于可見物點與虛擬觀察者位置之間的所有物體或物點的透明度屬性，確定通過其在虛擬觀察者位置感知的物點的表觀亮度值； ——以及用其各自的亮度值分別編碼每個物點，以使其以該亮度值在全息系統(tǒng)中在其位置處盡可能地重建，使得在它們各自位置處能獨立地感知不透明和透明物點。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，考慮到每個待編碼的物點位置處的實際顏色值以及位于可見物點和虛擬觀察者之間所有物體和物點的透明度屬性，除表觀亮度值以外，針對每個待編碼的物點的表觀顏色值經(jīng)確定；具有該表觀顏色值的該物點可在虛擬觀察者位置處感知；以及用它的各自的顏色值分別編碼每個物點，以使其通過這顏色值在其實際或虛擬位置處盡可能遠(yuǎn)地在全息系統(tǒng)中重建，因此在它們各自位置處能分別地感知不透明和透明物點。
3.根據(jù)權(quán)利要求I或2所述的方法，其特征在于，由于反射、緩解或散射可被虛擬地生成的附加的虛擬物點經(jīng)計算，其是在至少一個虛擬或真實的光源的光和將要重建的三維場景的物體的物點之間的相互作用的結(jié)果，其中能考慮物體的光學(xué)屬性和虛擬或真實光源，為那些像真實物點的虛擬物點，計算在虛擬觀察者的位置處的表觀亮度值或表觀亮度及顏色值，以及用他們的各自的值分別地編碼他們。
4.根據(jù)上述權(quán)利要求中任一所述的方法，其特征在于，物點的位置相對于虛擬觀察者位置經(jīng)修正，如果必要，由于定位在虛擬觀察者位置和待修正的物點之間的物體或物點處的光學(xué)屬性(例如反射、折射或衍射)，以及為那些修正的位置而計算表觀亮度值或表觀亮度和顏色值，以及可以用各自的值分別編碼物點。
5.根據(jù)上述權(quán)利要求中任一所述的方法，其特征在于，通過考慮位于物點和虛擬觀察者位置之間的物體或物點的空間透明度分布，計算在虛擬觀察者位置處物點的表觀亮度值或表觀亮度和顏色值，以及他們的光譜相關(guān)性能被考慮。
6.根據(jù)上述權(quán)利要求中任一所述的方法，其特征在于，在隨機方法和位于物點和虛擬觀察者的位置之間的透明和/或反射和/或漫射和/或衍射和/或折射的物體或物點的吸收、散射、反射和衍射的概率的幫助下，計算在虛擬觀察者的位置處的物點的表觀亮度值或表觀亮度和顏色值；其中他們的光譜相關(guān)性被考慮。
7.根據(jù)上述權(quán)利要求中任一所述的方法，其特征在于，為了提高或者減少那個點的可見性，以放大或減弱的形式在單個物點的表觀亮度值或者表觀亮度和顏色值的計算中，考慮位于物點和虛擬觀察者位置之間的至少一個單物體的至少一個透明度值。
8.用于聲音重放系統(tǒng)計算編碼值的方法，該聲音重放系統(tǒng)包括至少兩個聲音生成裝置，該聲音重放系統(tǒng)包含三維場景的空間和時間的不同的聲音值的三維聲場的重建，該三維場景包括為至少一個聽者的耳朵具有聲音吸收屬性的物體，其中 ——該三維場景被分成單個物點，單個物點能夠影響聲音，以及確定這些物點的坐標(biāo)； ——確定虛擬聽者的位置，其與經(jīng)選擇的聽者的耳朵的位置相對應(yīng)，其中聽覺上明顯感知三維場景； ——在虛擬聽者的位置的方向，確定沒有被其他充分吸收聲音的物點充分覆蓋的所有物點； ——位于來自虛擬聽者的位置方向的所有物點通過他們到虛擬聽者的位置的距離分類； ——確定在能影響聲音的每個物點的位置處的實際響度、音高和聲音傳送時間，如果可能的話，在那些物點的位置處，以從虛擬聽者的位置感知他們的所述角度，考慮場景所有實際和虛擬的聲源的位置和強度，其中包含實際和虛擬聲源的物體的物理屬性能被考慮； 其特征在于 ——針對能影響聲音的每個物點，通過考慮能影響聲音的物點的位置處的實際響度、音高和聲音傳送時間、至虛擬聽者的位置的距離以及位于物點和虛擬聽者的位置之間的所有物體或物點的吸收屬性確定表觀響度、音高和聲音傳送時間(具有這些表觀響度、音高和聲音傳送時間的聲音在虛擬觀察者位置處被感知)； ——以及分別編碼包括響度、音高和聲音傳送時間的每個聲音值，如此，在虛擬聽者的位置處，能用這樣的表觀響度值、音高和聲音傳送時間感知具有所述聲音重放系統(tǒng)的重建。
9.根據(jù)權(quán)利要求1-7中任一所述的方法，其特征在于，除計算和編碼表觀亮度或表觀亮度和顏色值之外，根據(jù)權(quán)利要求8計算和編碼虛擬響度、音高和聲音傳送時間。
10.用于為三維場景重建的光學(xué)光調(diào)制器(SLM)和/或全息系統(tǒng)的聲音產(chǎn)生裝置計算編碼值的計算單元，為至少一個觀察者的眼睛和/或至少一個聽者的耳朵，三維場景包括具有透明屬性的物體，其中計算單元執(zhí)行至少一個上述權(quán)利要求中的方法。
11.根據(jù)權(quán)利要求10所述的計算單元，其特征在于，至少一個可編程處理器核心，和/或任何類型的至少一個可編程邏輯裝置(PLD)，和/或至少一個專用集成電路(ASIC)，和/或至少一個數(shù)字信號處理器(DSP);其中至少兩個這樣的裝置能結(jié)合在一個集成電路中。
12.根據(jù)權(quán)利要求10或11所述的計算單元，其特征在于，計算單元是顯示三維場景的呈現(xiàn)的系統(tǒng)控制器的一部分。
13.根據(jù)權(quán)利要求10-12中任一所述的計算單元，其特征在于，這計算單元是能用于三維場景的計算的通用計算系統(tǒng)的一部分。
全文摘要
計算用于包括部分地吸收光或聲音的物體(300)的三維場景(200,300)的重建的編碼的方法。該方法能在計算單元中實施。為了盡可能真實地重建三維場景，通過考慮場景中吸收的情況，在衍射圖的原點處獨立計算衍射圖。該方法能被用于在全息顯示器或體顯示器中呈現(xiàn)三維場景。進(jìn)一步，其能被執(zhí)行以在聲源陣列中實現(xiàn)聲場的重建。
文檔編號G03H3/00GK102918466SQ201180027446
公開日2013年2月6日 申請日期2011年4月1日 優(yōu)先權(quán)日2010年4月1日
發(fā)明者恩里科·澤思丘, 尼爾斯·普法伊費爾 申請人:視瑞爾技術(shù)公司