專利名稱：計算計算機(jī)生成的視頻全息圖的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算計算機(jī)生成的全息圖(CGH)，特別是實時或近實時全息圖，例如由各個可控全息圖單元組成、每個單元都顯示復(fù)值數(shù)據(jù)的視頻全息圖的方法和裝置。除靜態(tài)全息圖外，實時視頻全息圖特別引人注目。電子全息技術(shù)的目的是實現(xiàn)實時CGH。電子全息顯示器實際上是在空間中調(diào)制照明光的帶有可控像素再現(xiàn)物點的空間光調(diào)制器(SLM)。在本說明書中，我們將實時全息圖稱為視頻全息圖。對于所屬技術(shù)領(lǐng)域的技術(shù)人員來說，視頻全息圖還涵蓋光尋址SLMs、聲光調(diào)制器(AOM)或其他不展示分開設(shè)置的單元的類似物。
與利用攝影術(shù)或以干涉圖的形式利用其他合適方法存儲的典型的全息圖相對比，視頻全息圖作為三維場景的序列中得到的離散全息圖數(shù)據(jù)計算結(jié)果存在。計算過程中，例如通過電子裝置，如計算機(jī)、圖像處理器、圖像適配器或其他硬件元件的電存儲介質(zhì)存儲中間數(shù)據(jù)。3D場景數(shù)據(jù)可以以任何方式產(chǎn)生，例如干涉圖或2D數(shù)據(jù)的3D轉(zhuǎn)換。
背景技術(shù)：
空間光調(diào)制器(SLMs)是用于空間上控制復(fù)值數(shù)據(jù)的裝置，也就是光的每個色彩分量的振幅的大小和相位。通過空間或時間的多路復(fù)用對色彩編碼。SLM可以包括可控全息單元，每一個都由全息數(shù)據(jù)的離散值集單獨尋址并控制。SLMs也可以是連續(xù)的，不包括離散單元。為了在以單元為基礎(chǔ)的SLM中通過空間復(fù)用得到色彩編碼，單元中的每個像素都可以包含色彩子像素，每個子像素顯示三個或更多原色中的一個。根據(jù)使用的視頻全息圖編碼的種類，子像素還可以用于編碼各原色。例如，迂回相位編碼，與公知的伯克哈特(Burckhardt)編碼類似，需要為每個色彩分量安排三個子像素?？紤]三個色彩分量，對于一個全息單元色彩(也就是三原色)來說，子像素的數(shù)目總計為九個；上述三原色的每一個都有三個子像素，總和為九個。相反，同樣公知的李(Lee)編碼需要四個子像素；對于全息單元中每種色彩來說，一個二相位編碼需要兩個子像素。
每個全息單元都由一個全息數(shù)據(jù)的離散集編碼，至少包括給定色彩分量的振幅和相位信息；上述數(shù)據(jù)可以是0，或者具有標(biāo)準(zhǔn)值，或者可以任意選擇。根據(jù)驅(qū)動SLM的配置，持續(xù)更新視頻全息圖的全息數(shù)據(jù)。由于整個全息圖由數(shù)千單元構(gòu)成，所以有數(shù)千全息數(shù)據(jù)的離散集。
全息數(shù)據(jù)集包括將單一視頻全息圖編碼為時間序列的一部分的所有必要信息，以便再現(xiàn)三維場景。
專用驅(qū)動器利用離散全息數(shù)據(jù)集提供用于控制SLM的對應(yīng)子像素的特定控制信號。驅(qū)動器和控制信號的提供對于所用的SLM的類型而言是特定的，不是本發(fā)明的目的。多種類似于透射式或反射式液晶顯示器的SLM、微型光學(xué)和微機(jī)電系統(tǒng)或持續(xù)光學(xué)尋址的SLM和聲光調(diào)制器可以結(jié)合本發(fā)明使用。
調(diào)制光從全息圖中發(fā)射出來，振幅和相位經(jīng)適當(dāng)控制，通過自由空間以光波陣面的形式傳播至觀察者，以便再現(xiàn)三維場景。通過在視覺空間中產(chǎn)生干涉，利用全息數(shù)據(jù)集編碼SLM將顯示器發(fā)出的波場再現(xiàn)為所需的三維場景。
本發(fā)明通過計算給定波長的振幅和/或相位，為每個全息單元在需要的波調(diào)制下提供實時或近實時控制數(shù)據(jù)。
再現(xiàn)三維場景的普遍問題是目前常規(guī)SLM中通用的低像素分辨率和低像素數(shù)。目前為了再現(xiàn)20英寸寬的可用SLM，需要大概為1μm的像素間距以便檢查。考慮對全息單元中每個三原色分量進(jìn)行編碼的三個子像素，需要的像素多于109個。這就需要昂貴的硬件和高計算速度來計算視頻全息圖。可達(dá)到上述要求的足夠快的計算速度的實時顯示器和裝置通常無法在商業(yè)上實現(xiàn)。
為了計算視頻全息圖，3D場景不一定要在現(xiàn)實中存在。這使得虛擬3D場景的再現(xiàn)可以用于多種應(yīng)用領(lǐng)域，例如技術(shù)、娛樂和廣告，其中移動的三維場景由電腦合成并編輯。
計算機(jī)生成的視頻全息圖可以例如用公開號為WO 2004/044659的申請文件中說明的全息顯示器再現(xiàn)，在此結(jié)合其內(nèi)容作為參考。觀察者通過至少一個大于眼睛瞳孔的虛擬觀測窗看向顯示器屏幕。觀測窗在觀察者眼睛附近，并可以利用公知位置探測和追蹤裝置進(jìn)行跟蹤，以跟隨觀察者的位置。光源的圖像平面是全息圖的傅立葉(Fourier)平面。由于觀測窗是全息圖的傅立葉平面的一部分，所以其位于光源的圖像平面上。
因此最好將觀測窗限制為尺寸稍大于眼睛瞳孔的尺寸。這就大大減少了對SLM的像素分辨率和像素數(shù)的需要，減少了計算負(fù)荷。因此，可以減小數(shù)據(jù)傳送速率和需要的計算能力，并可以使用低分辨率的光調(diào)制器矩陣。本申請說明的編碼方法的一個缺點是其基于在將要再現(xiàn)的物體的每個單點上執(zhí)行計算亮度的操作。
根據(jù)本發(fā)明計算的視頻全息圖可以利用例如大概300萬像素的像素陣列再現(xiàn)。
公開號為WO 03/025680的申請公開了一種利用以受限灰階范圍為代表的計算視頻全息圖的方法。將物體全息圖分為部分全息圖，利用每一個的再現(xiàn)反復(fù)計算最優(yōu)化的子全息圖，從而減小需要的計算量。重復(fù)上述迭代的過程，直到可以組成小灰階范圍的子全息圖，因而形成小灰階范圍的總的全息圖。為了將連續(xù)處理轉(zhuǎn)換為可以同時執(zhí)行的計算步驟，分別獨立地最優(yōu)化每個子全息圖的單獨再現(xiàn)，直到對于總的全息圖獲得需要的結(jié)果。對每個數(shù)據(jù)集產(chǎn)生目標(biāo)波陣面之后，組成子全息圖。雖然計算最優(yōu)化的子全息圖時平行處理增加了處理速度，但是所需的計算能力沒有減小。
WO 00/34834的申請公開了一種計算三維場景和利用LCD從數(shù)字圖像數(shù)據(jù)中實時再現(xiàn)的方法。圖像數(shù)據(jù)利用通過真實或虛擬的三維場景的空間分布對其進(jìn)行說明。主要步驟包括將3D場景分為帶有場景的各個截面邊界的幾個平行截面圖層(切分)，為每個截面圖層計算截面全息圖，利用光調(diào)制器矩陣連續(xù)再現(xiàn)計算出的截面全息圖。對于每個截面全息圖，將給定的由亮度分布定義的二維圖像轉(zhuǎn)變?yōu)閺?fù)函數(shù)定義的二維中間圖像。利用過采樣過采樣圖像增加三維再現(xiàn)的分辨率。然后，為每個位于距離截面圖層一定距離的參考圖層中的場景截面計算虛構(gòu)的衍射圖像，通過復(fù)基準(zhǔn)波疊加衍射圖像。這就導(dǎo)致了對參考圖層以干涉圖的形式表示二維全息圖，上述圖為驅(qū)動器提供離散控制值以編碼光調(diào)制器矩陣。上述現(xiàn)有技術(shù)的解決方法中光調(diào)制器矩陣位于參考圖層。
根據(jù)上述截面圖層和參考圖層之間的距離將復(fù)像素振幅值和球面波的數(shù)學(xué)表達(dá)式相乘，并將場景截面的所有像素(切分)積分，以計算截面圖層的衍射圖像。上述積分作為卷積積分解釋，通過計算因數(shù)的傅立葉變換與隨后的逆變換的結(jié)果求值。
缺點在于每個截面圖層的實時連續(xù)再現(xiàn)需要非?？斓挠嬎阊b置和能夠在每秒鐘再現(xiàn)數(shù)百個截面全息圖的光調(diào)制器矩陣。此外，三維場景在參考圖層后再現(xiàn)。這就意味著觀察者在光調(diào)制器矩陣后面或在全息顯示器內(nèi)看到3D場景。
由于場景深度的適當(dāng)再現(xiàn)牽涉的截面圖層多于100個，上述解決方法需要顯示器屏幕的極高刷新率。由于低速和再現(xiàn)限制在全息顯示器內(nèi)部的事實，所以利用公知的計算和顯示裝置的對移動三維場景進(jìn)行令人滿意和正常的實時再現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種加速計算機(jī)生成的視頻全息圖的計算的方法，上述視頻全息圖使得再現(xiàn)三維場景的同時保持空間分辨率和再現(xiàn)質(zhì)量。本發(fā)明可以使給定的視頻全息圖和轉(zhuǎn)換裝置實現(xiàn)交互式實時或近實時再現(xiàn)。本發(fā)明另一目的是提供一種能生成計算機(jī)生成的大型全息再現(xiàn)的方法；其可以與全息圖本身一樣大或比全息圖大。
通過計算計算機(jī)生成視頻全息圖的方法達(dá)到上述目的，其中在三維場景中定義物體的物數(shù)據(jù)被安排在多個虛擬截面圖層中，每一圖層定義一個二維物數(shù)據(jù)集，這樣可以根據(jù)一些或所有上述二維物數(shù)據(jù)集計算視頻全息數(shù)據(jù)集；包含以下步驟(a)第一變換中，將每個虛擬截面圖層的二維物數(shù)據(jù)集變換為二維波場分布，為距離視頻全息圖層一有限距離的參考圖層中的虛擬觀測窗計算波場分布，(b)將為虛擬觀測窗、為截面圖層的所有二維物數(shù)據(jù)集計算的二維波場分布相加，確定集合觀測窗數(shù)據(jù)集；(c)第二變換中，集合觀測窗數(shù)據(jù)集從參考圖層變換到視頻全息圖層，為計算機(jī)生成的視頻全息圖生成視頻全息數(shù)據(jù)集。
定義三維場景的物數(shù)據(jù)可以是定義二維場景的數(shù)據(jù)，但包括額外的、用于將二維圖像或視頻數(shù)據(jù)轉(zhuǎn)換為三維數(shù)據(jù)的深度信息。術(shù)語“三維”包括其范圍內(nèi)的“二維”。深度信息可以對所有物數(shù)據(jù)集都相同。因此，根據(jù)輸入和用戶希望顯示什么，生成全息圖的裝置可以從三維模式轉(zhuǎn)換為二維模式。
術(shù)語“圖層”應(yīng)當(dāng)廣義地解釋為覆蓋任何實質(zhì)上可定義的、可以說明構(gòu)成被再現(xiàn)的場景的點的結(jié)構(gòu)。因此其包括任意虛擬平行表面組和可以空間定義上述點的任意算法。但是，虛擬平面截面在計算上是處理起來最有效率的圖層的形式。
術(shù)語“平面”應(yīng)當(dāng)廣義地解釋為包括非平面的表面。參考圖層可以與全息圖的傅立葉平面(與照明光源的圖像平面相同)重合；但是其具有公差度，與傅立葉平面足夠近的觀察者可以用眼睛看到合適的再現(xiàn)場景。像素數(shù)增加時公差度增加。
一種實施方式中，第一變換為菲涅耳(Fresnel)變換，第二變換為傅立葉變換。術(shù)語“變換”應(yīng)當(dāng)廣義地解釋為包括與變換相同或近似的數(shù)學(xué)和計算機(jī)技術(shù)。通常的數(shù)學(xué)意義上的變換只是近似于由麥克斯韋(Maxwellian)波傳播方程精確說明的物理過程；例如菲涅耳變換(或公知的作為菲涅耳變換的特殊形式的傅立葉變換)為二階近似，但優(yōu)點很多因為上述變換是與微分相對的代數(shù)形式，可以用計算上有效率的方式處理。
為了彌補(bǔ)觀測窗中再現(xiàn)的集合場的誤差，可以在觀測窗的分布和全息圖層之間發(fā)生迭代過程。
為了減小斑點噪聲，提高場景中參考圖層的亮度或衍射效率以及亮度清晰度，物數(shù)據(jù)集可以顯示合適的相位分布，例如偽隨機(jī)相位分布。
與公知技術(shù)中的解決方法相反，通過執(zhí)行根據(jù)本發(fā)明上述步驟中的前兩步，利用衍射公式計算單一集合波場的全息圖。由于所有獨立波場重疊，上述集合波場包括可達(dá)到的精確度內(nèi)的三維場景的全部光學(xué)信息。
本發(fā)明的較佳實施例中，將截面圖層的所有物數(shù)據(jù)集都分配相同總數(shù)的離散矩陣點。如果矩陣點的數(shù)目與全息圖的掃描點的數(shù)目一致，則最好利用快速算法進(jìn)行整個計算過程，使分辨率適應(yīng)各個圖層的處理步驟例如插值或過采樣變得多余。用于所有圖層的矩陣點的數(shù)目從全息顯示器中SLM的編碼像素數(shù)得到。
本發(fā)明結(jié)合公開號為WO2004/044659的申請中公開的視頻全息顯示器的主要優(yōu)點，是變換全息圖層的集合波場的參考數(shù)據(jù)集之前，可以限制參考圖層中觀測窗的面積，使其與SLM光調(diào)制器矩陣的面積相比相當(dāng)小。再現(xiàn)參考圖層中的全息圖時，觀測窗的范圍最大化地對應(yīng)包括用于再現(xiàn)的光源圖像的圖層中的周期性間隔。這就產(chǎn)生以下效果，即根據(jù)本發(fā)明的計算機(jī)生成視頻全息圖與其他解決方法相比僅需要實現(xiàn)較低的衍射角度，如果用于參考圖層和全息圖層的數(shù)據(jù)集的矩陣點值數(shù)相同，更是如此。由于對光調(diào)制器矩陣的振幅數(shù)的計算，極大地減小了對處理速度的要求。具體地說，由于這個優(yōu)點，結(jié)合公知的追蹤當(dāng)前觀察者位置的位置探測和追蹤裝置，可以極大地縮小觀測窗的尺寸。此外，如之前提到的公開號為WO2004/044659的申請，需要在要再現(xiàn)的場景中的每一點上執(zhí)行計算密集型操作。利用本發(fā)明，不再需要對每一物點執(zhí)行計算密集型操作，而是對整個截面圖層執(zhí)行第一變換(從每個截面圖層到觀察者眼睛所在的參考面的虛擬觀測窗)，而不是圖層中的每一個獨立物點。由于這是單一操作，所以從虛擬觀測窗逆變換到全息圖層的第二變換變得更加有效，不過要對所有物點編碼信息。
本發(fā)明的另一實施例中，截面圖層的每個物數(shù)據(jù)集都以虛擬區(qū)域的大小為基礎(chǔ)，上述虛擬區(qū)域的大小取決于它到參考圖層的距離。從各個觀測窗邊緣到視頻全息圖的SLM邊緣之間出現(xiàn)的假想表面產(chǎn)生了截面圖層范圍。由于每個數(shù)據(jù)集中的矩陣點值數(shù)相同，分配給各個矩陣點的區(qū)域與參考圖層成比例地發(fā)生改變。將原物數(shù)據(jù)分配給截面圖層的物數(shù)據(jù)集也稱為切分，其導(dǎo)致場景的離散物點值被分配給各個截面圖層中說明矩陣點的二維坐標(biāo)系統(tǒng)的各個矩陣點。根據(jù)與截面圖層相關(guān)的物點的局部位置，原物信息因此被分配給與其空間位置最接近的坐標(biāo)系統(tǒng)的矩陣點。因而截面圖層中由距離決定的區(qū)域產(chǎn)生以下效果，即說明場景截面圖層的由區(qū)域決定的物點分辨率越大，截面圖層離參考圖層就越近。這意味著場景的前景被詳細(xì)地再現(xiàn)時，背景中同樣的場景元素以更低的分辨率再現(xiàn)。但是更遠(yuǎn)的虛擬截面圖層可以為場景中的背景再現(xiàn)更大的觀察區(qū)域。一方面場景的這種再現(xiàn)更自然地表現(xiàn)了場景的前景和背景元素，另一方面幫助最小化所需的計算量。
在本發(fā)明一較佳實施例中，轉(zhuǎn)換前可以選擇或改變虛擬截面圖層中各個物數(shù)據(jù)集的距離值，以使整個或部分再現(xiàn)在全息圖層前面或后面出現(xiàn)。這樣，可以僅通過軟件設(shè)置實現(xiàn)在觀察者眼前的空間深度中對原本位置的再現(xiàn)，和合成的全息視頻圖的深度效果有意識的增大或減小。
根據(jù)公開號為WO 2004/044659的申請中公開的現(xiàn)有技術(shù)編碼時，再現(xiàn)的三維場景以光調(diào)制器矩陣控制的波場的形式出現(xiàn)在觀察者眼前的自由空間中。用于計算的虛擬截面圖層還確定了觀測窗前的空間中的再現(xiàn)的位置，并距參考圖層有一有限距離。根據(jù)光學(xué)近場中的主要情況，這使得每個光點、集合波場的全息再現(xiàn)場景都產(chǎn)生光，像球面波一樣傳播，而將光提供給參考圖層中觀測窗的物波陣面。因此參考圖層中每個物數(shù)據(jù)集的變換可以通過足夠接近菲涅耳變換的近似值表示。鑒于此，將取決于各個截面圖層到參考圖層的距離的所有物數(shù)據(jù)集的所有物點的振幅值乘以菲涅耳相位因數(shù)。
菲涅耳相位因數(shù)的指數(shù)取決于每個原截面圖層和參考圖層之間的坐標(biāo)的差的平方以及其他因數(shù)。因而需要更多的處理時間和計算能力來執(zhí)行許多菲涅耳變換。根據(jù)本發(fā)明一較佳實施例，通過將難度較大的菲涅耳變換分為單獨的步驟彌補(bǔ)上述缺點，故可以用球面波因數(shù)相乘的形式，借助快速傅立葉變換(FFT)結(jié)合進(jìn)一步處理步驟執(zhí)行上述步驟。上述方法的優(yōu)點還有可以使用例如球形和/或全息適配器的電子硬件計算視頻全息圖。上述硬件包括至少一個專用的圖形處理器，其帶有公知的用于切分和其他視頻處理步驟、例如圖像繪制的模塊，以及至少一個借助快速傅立葉變換程序執(zhí)行菲涅耳變換的特定處理器模塊。上述帶有必要的FFT程序的數(shù)字信號處理器(DSP)形式的處理器可以使用公知方法低成本制造。常用的圖像處理器的優(yōu)點是利用所謂陰影算法，使得截面圖層中的數(shù)據(jù)通過例如傅立葉變換的操作，變換到截面圖層。
為了簡化波場的計算，修改說明原截面圖層和參考圖層之間的光傳播的變換，使其包含快速傅立葉變換(FFT)和說明球面波的兩個相位因數(shù)的乘法。第一相位因數(shù)取決于原截面圖層的坐標(biāo)和原截面圖層與參考圖層間的距離。第二相位因數(shù)取決于參考圖層的坐標(biāo)和原截面圖層與參考圖層間的距離。根據(jù)光系統(tǒng)中的光準(zhǔn)直，可以將上述相位因數(shù)的一個或兩個設(shè)置為恒定值。
因而，將截面圖層分布變換到參考圖層的程序可以分為三步1.將每個物點的振幅與第一相位因數(shù)相乘。
2.為了將每個物點的復(fù)光振幅從原截面圖層變換到參考圖層物，將這樣生成的乘積用于第一快速傅立葉變換。
3.將這樣生成的變換乘以第二相位因數(shù)。
為了生成用于場景中的集合視頻全息圖的全息數(shù)據(jù)集，還可以通過由菲涅耳變換說明的光波傳播的變換表示參考數(shù)據(jù)集到全息圖層的變換。為了能夠執(zhí)行以上步驟，根據(jù)上述說明的步驟執(zhí)行變換，但在變換之前，通過復(fù)數(shù)的相加疊加參考圖層中用于所有截面圖層的參考數(shù)據(jù)。對于上述菲涅耳變換，還可以根據(jù)光學(xué)系統(tǒng)中的光準(zhǔn)直將相位因數(shù)中的一個或兩個設(shè)置為恒定值。
本發(fā)明一個特別的優(yōu)點在于用于集合波場的參考數(shù)據(jù)集通過將所有截面圖層的計算參考數(shù)據(jù)集相加生成。在全息圖層變換后，上述集合波場用作視頻全息圖的基礎(chǔ)，這是由于它包括全部三維場景的信息。這使得所有截面圖層的二維圖像同時再現(xiàn)，因而3D場景也如此。
當(dāng)有人希望減小視頻全息圖中因編碼過程或技術(shù)限制產(chǎn)生的普遍誤差時，另一優(yōu)點便顯現(xiàn)出來?？梢岳梅磸?fù)的過程減小視頻全息圖的再現(xiàn)誤差。在公知技術(shù)中，再現(xiàn)三維場景的物數(shù)據(jù)必須與原三維物場景相比較。發(fā)生包含許多在再現(xiàn)的三維物場景與全息圖層之間的變換的復(fù)雜迭代過程物，直到達(dá)到需要的再現(xiàn)質(zhì)量。我們的方法的優(yōu)勢為可以得到更簡化的反復(fù)過程。因為參考數(shù)據(jù)集包括全部物信息，迭代過程包含全息圖層與僅為二維的參考圖層之間的變換。
利用目前的圖像繪制技術(shù)，不用上述校正過程則不可能進(jìn)行高質(zhì)量的再現(xiàn)。
最好利用帶切分裝置的數(shù)字信號處理裝置計算視頻全息圖，其將物信息分配給平行的虛擬截面圖層的矩陣點，上述物信息包括用于實際或虛擬三維場景中光振幅的空間分布的離散物值，這樣對于每個截面圖層都定義一個帶有斷圖層場景截面圖層的離散矩陣點中的物點的獨立物數(shù)據(jù)集。從上述物數(shù)據(jù)集計算視頻全息圖的全息數(shù)據(jù)集。根據(jù)本發(fā)明，信號處理裝置還包含第一變換裝置，其用于從每個物數(shù)據(jù)集中為位于有限距離處的參考圖層計算獨立的二維分布，以及逐層緩沖變換的物數(shù)據(jù)集的緩存裝置，加和裝置，其用于將變換物數(shù)據(jù)集相加，以生成參考數(shù)據(jù)集中的集合波場表達(dá)式，以及第二變換裝置，其用于變換距參考圖層有限距離并與參考圖層平行的全息圖層中的參考(集合)數(shù)據(jù)集，為場景的集合視頻全息圖生成全息數(shù)據(jù)集。
數(shù)字信號處理裝置包含至少一個用于執(zhí)行菲涅耳變換的獨立進(jìn)行變換的裝置，上述變換裝置包括
(a)第一乘法裝置，其用于將原數(shù)據(jù)集的矩陣點值的振幅值與說明球面波的第一相位因數(shù)相乘，上述因數(shù)的指數(shù)取決于各個原圖層(Lm或RL)中的坐標(biāo)的平方和到物圖層(RL或HL)的距離(Dm)，(b)快速傅立葉變換裝置，其用于將第一乘法裝置得到的乘積從原截面圖層變換到物圖層，以及(c)第二乘法裝置，其用于將該變換與說明球面波的另一相位因數(shù)相乘，上述因數(shù)的指數(shù)取決于物圖層中的坐標(biāo)的平方和物圖層與原圖層間的距離。
如上所述，根據(jù)光系統(tǒng)中的光準(zhǔn)直，可以將上述相位因數(shù)的一個或兩個設(shè)為恒定值。
數(shù)字信號處理裝置可以是多路處理器，其具有多個獨立工作的、同步執(zhí)行的變換程序(TR1，TR2)的子處理器。為了能夠同時執(zhí)行至少一定數(shù)目的變換，需要依靠三維場景的內(nèi)容將計算所需的變換動態(tài)分配給可用的變換程序的資源管理器。參考圖層中變換的數(shù)據(jù)集在緩存裝置中緩沖。
這樣，根據(jù)場景內(nèi)容，數(shù)據(jù)集可以在不同的時間點激活，如果在某些截面圖層中場景移動中沒有發(fā)生改變甚至可以多次使用。
為了執(zhí)行快速傅立葉變換，向虛擬截面圖層的物數(shù)據(jù)集分配N個離散物點值，上述數(shù)字N是2的n次冪。


以下將依據(jù)較佳實施例并結(jié)合附圖，詳細(xì)說明本發(fā)明的功能性原理。
圖1表示(不按比例)用于再現(xiàn)三維場景的安排和計算視頻全息圖所需的參考圖層。
圖2是表示根據(jù)本發(fā)明的用于計算視頻全息圖的信號處理裝置的示意圖。
圖3與圖1類似，說明根據(jù)本發(fā)明的計算的主要步驟。
圖4說明變換裝置的功能性原理。
圖5說明校正計算機(jī)生成的全息圖的矩陣點值的子步驟。
具體實施例方式
利用全息處理器計算視頻全息圖是以真實或虛擬三維場景中的原物信息為基礎(chǔ)，該信息包括RGB或RGB兼容格式中光振幅的空間分布值。上述值可以是公知文件格式并可由全息處理器從數(shù)據(jù)存儲器中調(diào)用。物物上述物信息例如在用于三維場景中各離散物點的物點文件格式為BMP的情況下，包括用于各個二維坐標(biāo)的一組復(fù)合彩色物點數(shù)據(jù)Ro、Go、Bo。數(shù)據(jù)存儲器MEM還提供三維場景的深度信息zo。每點的深度信息zo點與其是否在第一視頻圖像文件中給出或是否由處理器根據(jù)至少一個包含附加信息的第二文件計算不相關(guān)。
為了容易地理解復(fù)雜的過程，以下說明書忽略三個空間坐標(biāo)之一(在此為y坐標(biāo))。將場景中的物點分配到M個截面圖層L1...LM的矩陣點P11...PMN中，產(chǎn)生具有N個矩陣點值的物數(shù)據(jù)集OS1...OSM。所有的數(shù)據(jù)集都包括同樣數(shù)目N的矩陣點值。上述數(shù)值N由可以表示N1個復(fù)數(shù)值的光調(diào)制器矩陣的像素數(shù)N1決定。如果用快速傅立葉變換算法計算傅立葉變換，N簡化為2的冪，也就是N＝2n，其中n為整數(shù)且N≤N1。例如對于具有N1＝1280個像素的顯示器，每個數(shù)據(jù)集都包括N＝1024個矩陣點值。但是可以使用其他不需要2n輸入值的傅立葉變換算法，因此可以使用整個顯示器的分辨率N1。
結(jié)合圖2所示，圖1表示較佳實施例，說明如何通過圖2所示的切分工具將場景分為計算用的M個虛擬截面圖層L1...LM。切分工具以公知的方式分析存儲在數(shù)據(jù)存儲器MEM中的原物體信息的深度信息z，為場景中的每個物點分配一個矩陣點Pmn，并根據(jù)矩陣點值輸入對應(yīng)于截面圖層Lm的物數(shù)據(jù)集OSm中。對于復(fù)數(shù)，0≤m≤M且1≤n≤N，其中N是每圖層的矩陣點P的數(shù)目和數(shù)據(jù)集中的矩陣點值的數(shù)目。一方面，不考慮該場景是否實際存在，隨意定義截面圖層L1...LM以確定場景中的離散物數(shù)據(jù)集。另一方面，同樣的截面圖層L1...LM目的在于定義關(guān)于視頻全息圖的再現(xiàn)場景3D-S的空間位置。因而圖1和圖2表示了關(guān)于視頻全息圖的本地定義的場景3D-S所需的再現(xiàn)。為了能夠進(jìn)行計算，必須進(jìn)一步地定義每個截面圖層Lm與參考圖層RL的距離都為Dm，參考圖層具有位于觀察者眼睛EL/ER附近的觀測窗OW。視頻全息圖位于與參考圖層的距離為DH的全息圖層HL中。
如圖2所示，通過執(zhí)行以下步驟繼續(xù)全息圖矩陣的計算如果場景在那里存在，變換參考圖層RL中截面圖層L1...LM的物數(shù)據(jù)集OS1...OSM，將產(chǎn)生每個截面圖層Lm的物點復(fù)振幅A11...AMN的波場確定作為對參考圖層RL中集合波場的貢獻(xiàn)。
再現(xiàn)場景時，將有 向量的變換物數(shù)據(jù)集DS1...DSM相加，以形成定義將出現(xiàn)在觀測窗OW中的集合波場的參考數(shù)據(jù)集RS。
參考數(shù)據(jù)集RS由參考圖層RL逆變換，以形成位于距離DH的全息圖層HL中的全息數(shù)據(jù)集HS，以便為編碼視頻全息圖取得矩陣點值H1...HN。
用于視頻全息圖的N個像素值源于全息數(shù)據(jù)集的典型復(fù)數(shù)值獲得。視頻全息圖中，上述值代表場景再現(xiàn)期間用于調(diào)制光的振幅值和波相位。
以上說明了如何為觀測窗OW中的觀察者再現(xiàn)3D-S。為了能夠以真實的三維方式感受三維場景，使物看起來好像真的一樣，各個觀測窗中都需要有對每只眼睛都不同的全息圖。
以相同的方式，但改變矩陣點值，計算用于第二觀測窗的全息圖矩陣。改變由觀測者兩眼相對場景3D-S的不同位置產(chǎn)生。通過配置的同時進(jìn)行FFT程序的多通道數(shù)字信號處理器，可以同時而又互相完全獨立地計算兩個全息矩陣。為了減小所需的計算量，可以共同使用內(nèi)容上差別很小或沒有差別的物數(shù)據(jù)集的計算結(jié)果。這可以用于顯示圖畫背景的截面圖層。兩眼由偏移量很小的方向看到同一場景。
根據(jù)本發(fā)明的一個具體特性，數(shù)字信號處理裝置包括物數(shù)據(jù)集管理器，該物數(shù)據(jù)集管理器比較相應(yīng)物數(shù)據(jù)集的內(nèi)容，可選擇地僅將兩個同樣的物數(shù)據(jù)集中的一個分配到兩個信號處理器通道中的一個做變換，從而避免多余的處理。
與公知解決方案相反，再現(xiàn)通過從觀測窗OW延伸到光調(diào)制矩陣LM的虛構(gòu)連接面A1和A2確定的平截錐體形的空間中的虛擬觀察窗觀察。3D-S再現(xiàn)可以出現(xiàn)在視頻全息層HL的前面、之中或后面，或與該圖層交叉。
如果觀測窗覆蓋眼睛的橫向尺寸，則其尺寸足夠，在特殊情況下，其甚至可以減小為瞳孔尺寸。假設(shè)一個1×1cm2的觀測窗位于與全息圖層1m的距離上，與具有經(jīng)典編碼方法的光調(diào)制矩陣相比，計算機(jī)生成視頻全息圖所需的像素數(shù)減小2500到10000倍。
圖3表示執(zhí)行計算所需的變換所選的圖層的位置。僅顯示第一虛擬截面圖層L1和另一圖層Lm。但是，始終需要所有波場的貢獻(xiàn)以計算參考圖層RL中的截面圖層L1...LM的波場。為了節(jié)約計算量，處理移動的三維場景時，可以緩存并為后來的視頻全息圖重新使用每個變換數(shù)據(jù)集DS1...DSM，直到內(nèi)容發(fā)生變換。
圖4詳細(xì)表示如何變換與參考圖層RL的距離為Dm的截面圖層Lm的物數(shù)據(jù)集OSm的振幅值A(chǔ)m1...Amn...AmN。為了方便理解該復(fù)雜的過程，圖中僅表示了一維變換。方程(1)表示菲涅耳(Fresnel)變換的核心。
(1)ejk2Dm(xm-xo)2=ejk2Dmxm2*e-jkDmxmx0*ejk2Dmx02]]>其中，項e-jkDmxmx0]]>表示從坐標(biāo)x0的圖層中的坐標(biāo)xm的圖層、也就是與參考圖層距離為Dm的圖層進(jìn)行傅立葉變換的核心。
如上所述，依靠光系統(tǒng)中的光準(zhǔn)直，上述二次相因數(shù)中的一個或兩個可以為1。
方程(2)
(2)Amn→Amn*F1mn=Amnejk2Dmxmn2]]>定義振幅Amn為矩陣點值乘以圖層Lm中對應(yīng)的相位因數(shù)F1mn。
最后，方程(3)表示(2)中傅立葉變換的結(jié)果和僅取決于參考圖層中觀測窗OW坐標(biāo)x0和各個截面圖層到參考圖層的距離的相位因數(shù)相乘。
(3)A~mn=A~mn′ejk2Dmx02]]>上述解決方案可以加速計算過程，以使專用數(shù)字信號處理器電路以實時非閃爍再現(xiàn)的方式，計算用于兩眼觀看的移動場景的視頻全息圖序列。
為了彌補(bǔ)觀測窗OW中再現(xiàn)集合場的誤差，本發(fā)明的較佳實施例中，可以利用圖5所示的迭代過程在觀測窗OW的分布與全息圖層HL之間進(jìn)行計算。
權(quán)利要求
1.計算計算機(jī)生成視頻全息圖的方法，其特征在于將三維空間場景中定義物的物數(shù)據(jù)安排在多個虛擬截面圖層(L1...LM)，每圖層定義一個二維物數(shù)據(jù)集(OSm)，從而可以根據(jù)一些或所有上述二維物數(shù)據(jù)集(OS1...OSM)計算視頻全息數(shù)據(jù)集(HS)；包含以下步驟(a)第一變換(TR1)中，將每個虛擬截面圖層的二維物數(shù)據(jù)集(OS n)變換為二維波場分布，為距離視頻全息圖層(HL)一有限距離(DM)的參考圖層(RL)中的虛擬觀測窗(OW)計算波場分布，(b)將為虛擬觀測窗(OW)、為截面圖層(L1...LM)的所有二維物數(shù)據(jù)集計算的二維波場分布(DS1...DSM)相加，確定集合觀測窗數(shù)據(jù)集(RS)；(c)第二變換中(TR2)，集合觀測窗數(shù)據(jù)集(RS)從參考圖層變換到視頻全息圖層(HL)，為計算機(jī)生成的視頻全息圖生成視頻全息數(shù)據(jù)集(HS)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于將視頻全息數(shù)據(jù)集(HS)的數(shù)據(jù)分配給視頻全息圖中等間距的點，上述這些點組成矩陣。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于截面圖層(L1...LM)、全息圖層(HL)、參考圖層(RL)和虛擬觀測窗(OW)均為平面。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于全息圖層(HL)、截面圖層和虛擬觀測窗互相平行。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于觀察者的至少一只眼睛位于虛擬觀測窗附近，通過虛擬觀測窗(OW)看到再現(xiàn)的場景。
6.根據(jù)權(quán)利要求1或5所述的方法，其特征在于有兩個或更多個虛擬觀測窗(OW)。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于將物數(shù)據(jù)(R1，G1，B1，z1...RP，BP，BP，zP)分配給物數(shù)據(jù)集(OS1...OSM)，其全部包含的值的數(shù)目(N)和矩陣結(jié)構(gòu)與集合觀測窗數(shù)據(jù)集(RS)和全息數(shù)據(jù)集(HS)相同，其中所有用于數(shù)據(jù)集(OS1...OSM，RS，HS)的值的數(shù)目和結(jié)構(gòu)源于用作編碼視頻全息圖的像素數(shù)目。
8.根據(jù)權(quán)利要求1或7所述的方法，其特征在于上述二維物數(shù)據(jù)集(OS1...OSM)和集合觀測窗數(shù)據(jù)集(RS)的矩陣結(jié)構(gòu)與視頻全息數(shù)據(jù)集(HS)相同。
9.根據(jù)前述任一權(quán)利要求所述的方法，其特征在于參考圖層中的虛擬觀測窗(OW)設(shè)置成小于或等于參考圖層中周期性間隔的大小，并完全位于一個周期性間隔中。
10.根據(jù)前述任一權(quán)利要求所述的方法，其特征在于參考圖層與全息圖的傅立葉平面重合。
11.根據(jù)權(quán)利要求1所述的方法，其特征在于每個數(shù)據(jù)集(OSm)都以對應(yīng)的截面圖層(Lm)的面積為基礎(chǔ)，其取決于其到參考圖層(RL)的距離(Dm)。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于通過與連接虛擬觀測窗(OW)邊緣和視頻全息圖邊緣的假想表面(A1，A2)交叉確定上述每個截面圖層的面積。
13.根據(jù)權(quán)利要求1所述的方法，其特征在于設(shè)置與虛擬參考圖層(RL)有距離(D1...Dm)的截面圖層(Lm)，使全部再現(xiàn)場景(3D-S)或其一部分出現(xiàn)在全息圖層(HL)的前面和/或后面。
14.根據(jù)權(quán)利要求1所述的方法，其特征在于第一變換為菲涅耳變換，其包含以下子步驟(aa)將原截面圖層(Lm)的每個物點的振幅值A(chǔ)mn與說明球面波的第一相位因數(shù)(F1mn)相乘，上述因數(shù)的指數(shù)取決于原截面圖層(Lm)的坐標(biāo)(xm，ym)的平方，和原截面圖層(Lm)與參考圖層(RL)之間的距離(Dm)，(ab)借助第一快速傅立葉變換(FFT)，將原截面圖層(Lm)中每個物點(Am1...AmN)計算的乘積從原截面圖層(Lm)變換到參考圖層(RL)，(ac)將計算得到的變換 與說明球面波的第二相位因數(shù)(F2mn)相乘，上述因數(shù)的指數(shù)取決于參考圖層(RL)的坐標(biāo)(x，y)的平方，以及參考圖層到原截面圖層(Lm)的距離(Dm)。
15.根據(jù)權(quán)利要求1所述的方法，其特征在于第二變換也是菲涅耳變換，其包含以下子步驟(ca)將參考數(shù)據(jù)集(RS)的每個復(fù)振幅值 與說明球面波的第三相位因數(shù)(F3n)相乘，上述因數(shù)的指數(shù)取決于參考圖層(RL)的坐標(biāo)(x0，y0)的平方，和參考圖層(RL)與全息圖層(HL)之間的距離(Dm)，(cb)借助第二快速傅立葉變換(FFT)，將復(fù)振幅值 計算的乘積從參考圖層(RL)變換到全息圖層(HL)，(cc)將計算得到的變換(H’1...H’N)與說明球面波的第四相位因數(shù)(F4n)相乘，上述因數(shù)的指數(shù)取決于全息圖層(HL)的坐標(biāo)(x，y)的平方，以及全息圖層(HL)和參考圖層(RL)間的距離(DH)，為用于編碼的全息數(shù)據(jù)集(HS)取得需要的全息值(H1...HN)。
16.根據(jù)權(quán)利要求14或權(quán)利要求15所述的方法，其特征在于可以將說明球面波的相位因數(shù)(F1mn，F(xiàn)2mn)中的一個或兩個設(shè)置為恒定值。
17.根據(jù)權(quán)利要求1所述的方法，其特征在于第一和/或第二變換為傅立葉變換。
18.根據(jù)權(quán)利要求1所述的方法，其特征在于包含以下通過迭代的方式校正計算機(jī)生成的視頻全息圖的點值的子步驟(A)將來自原三維場景的觀測窗數(shù)據(jù)集(RS)定義為用于第一變換的目標(biāo)函數(shù)，(B)將目標(biāo)函數(shù)的原復(fù)振幅值 逆變換到全息圖層(HL)，以得到全息數(shù)據(jù)集(HS)的矩陣點值(H1...HN)，(C)為光調(diào)制器矩陣(LM)推導(dǎo)出全息數(shù)據(jù)集(HS)參數(shù)(Paramn)，(D)將推導(dǎo)出的參數(shù)(Paramn)變換到參考圖層(RL)，以在虛擬觀測窗(OW)中得到更新的復(fù)振幅值 的分布，(E)對更新的復(fù)振幅值 的分布和目標(biāo)函數(shù)原始值 形成差分(Δ)，(F)將上述差分(Δ)逆變換為全息圖層(HL)中的不同點值分布(ΔH1...ΔHN)，(G)從視頻全息數(shù)據(jù)集(HS)中減去上述分布(ΔH)并校正全息數(shù)據(jù)集，(H)重復(fù)步驟(c)到(g)，(I)到達(dá)逼近精度時，結(jié)束上述迭代過程。
19.根據(jù)前述任一權(quán)利要求所述的方法，其特征在于對所有物數(shù)據(jù)集而言，深度信息相同。
20.根據(jù)權(quán)利要求1或19所述的方法，其特征在于生成全息圖的裝置可以根據(jù)輸入和/或用戶選擇的模式，從三維模式轉(zhuǎn)換為二維模式。
21.具有數(shù)字切分裝置的用于計算計算機(jī)生成視頻全息圖的數(shù)字信號處理裝置，其將三維場景中定義物體的物數(shù)據(jù)分配給多個虛擬截面圖層(L1...LM)，每個截面圖層定義一個獨立的物數(shù)據(jù)集(OSm)，從而可以從一些或所有上述物數(shù)據(jù)集計算視頻全息圖的視頻全息數(shù)據(jù)集(HS)，包含(a)第一變換裝置(TR1)，其用于從每個物數(shù)據(jù)集(OSm)中為位于一有限距離(DM)的參考圖層(RL)中的虛擬觀測窗計算二維波場分布，以及緩沖變換的物數(shù)據(jù)集的緩存裝置，(b)加法裝置，其用于將所有截面圖層的變換物數(shù)據(jù)相加，以生成集合觀測窗數(shù)據(jù)集(RS)的波場表達(dá)式，以及(c)第二變換裝置(TR2)，其用于將觀測窗數(shù)據(jù)集(RS)變換到位于參考圖層有限距離并與參考圖層(RL)平行的全息圖層(HL)，為集合視頻全息圖生成全息數(shù)據(jù)集(HS)。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于包含至少一個執(zhí)行變換的獨立工作的變換裝置(TR1，TR2)，上述裝置包括將原物數(shù)據(jù)集(OSm)的值的振幅值 與說明球面波(F1mn/F3n)的第一相位因數(shù)相乘的第一乘法裝置(M1)，上述因數(shù)的指數(shù)取決于各個原始圖層(Lm或RL)的坐標(biāo)(xm，ym)的平方，和到物圖層(RL或HL)之間的距離(Dm)，快速傅立葉變換裝置(FFT)，其用于將第一乘法裝置(M1)得到的乘積從原始圖層(Lm/RL)變換到物圖層(RL/HL)，以及將上述變換與說明球面波的另一相位因數(shù)(F2mn/F4n)相乘的第二乘法裝置(M2)，上述因數(shù)的指數(shù)取決于物圖層中的坐標(biāo)的平方，以及物圖層與原始圖層間的距離。
23.根據(jù)權(quán)利要求22所述的裝置，其特征在于，對于快速傅立葉變換的執(zhí)行，所有數(shù)據(jù)集的離散矩陣點數(shù)都是數(shù)目(N)，上述數(shù)目(N)是2的n次冪。
24.根據(jù)權(quán)利要求21所述的裝置，其特征在于包括多通道數(shù)字信號處理器(DSP)，其用于獨立并同步地執(zhí)行頻繁重新出現(xiàn)的計算程序。
25.根據(jù)權(quán)利要求21所述的裝置，其特征在于包括多個獨立工作的、包含同步執(zhí)行的變換程序(TR1，TR2)的子處理器，以及根據(jù)三維物體的內(nèi)容將計算所需的變換動態(tài)分配給可用的變換程序的資源管理器，以便能夠同時執(zhí)行至少一定數(shù)目的變換。
26.根據(jù)權(quán)利要求21所述的裝置，其特征在于該裝置是同時為兩眼計算全息數(shù)據(jù)集(HSL，HSR)的多通道處理器。
27.根據(jù)權(quán)利要求21所述的裝置，其特征在于包括物數(shù)據(jù)集控制裝置，其用于將全息計算中對應(yīng)物數(shù)據(jù)集(OSm)的內(nèi)容和不同的原始物數(shù)據(jù)進(jìn)行比較，以便在兩個信號處理器通道中的一個中僅執(zhí)行一次類似的變換，并共用其他通道中的變換。
28.根據(jù)權(quán)利要求21所述的裝置，其特征在于可以將說明球狀波的一個或所有相位因數(shù)(F1mn/F3n，F(xiàn)2mn/F4n)設(shè)為恒定值。
29.根據(jù)權(quán)利要求21所述的裝置，其特征在于其適于根據(jù)輸入和/或用戶選擇的模式，從三維模式轉(zhuǎn)變?yōu)槎S模式。
全文摘要
首先將定義待全息再現(xiàn)的物體的數(shù)據(jù)安排在多個虛擬截面圖層，每圖層定義一個二維物數(shù)據(jù)集，從而可以根據(jù)一些或所有上述二維物數(shù)據(jù)集計算視頻全息數(shù)據(jù)集。第一步是將每個二維物數(shù)據(jù)集變換為二維波場分布。為距離視頻全息圖層有限距離的參考圖層中的虛擬觀測窗計算波場分布。接著，將為截面圖層的所有二維物數(shù)據(jù)集、為虛擬觀測窗計算的二維波場分布相加，以定義集合觀測窗數(shù)據(jù)集。而后，將集合觀測窗數(shù)據(jù)集從參考圖層變換到視頻全息圖層，以生成用于計算機(jī)生成的視頻全息圖的視頻全息數(shù)據(jù)集。
文檔編號G03H1/22GK101088052SQ200580044712
公開日2007年12月12日 申請日期2005年12月22日 優(yōu)先權(quán)日2004年12月23日
發(fā)明者阿明·史威特納 申請人:視瑞爾技術(shù)公司