用于在可見光中高光譜成像的系統(tǒng),用于記錄高光譜圖像并且在可見光中顯示高光譜圖 ...的制作方法
【專利摘要】成像系統(tǒng)包括用于記錄高光譜光場（CLF）的光場相機（3）。系統(tǒng)還包括用于投影可見光中的光場（PLF）的光投影儀（4）。相機和投影儀共享公共光軸。投影儀基于光場相機所捕獲的高光譜光場（CLF）來投影光場（PLF）。
【專利說明】用于在可見光中高光譜成像的系統(tǒng)，用于記錄高光譜圖像并且在可見光中顯示高光譜圖像的方法

【技術(shù)領域】
[0001]本發(fā)明涉及一種用于高光譜成像的系統(tǒng)和一種用于記錄高光譜圖像和在可見光中顯示高光譜圖像的方法，該系統(tǒng)包括用于記錄對象的高光譜圖像的相機和用于在可見光中顯示記錄器高光譜圖像的顯示設備。

【背景技術(shù)】
[0002]眾所周知，高光譜成像用來揭示人眼不可能或難以看到的細節(jié)，諸如人體內(nèi)組織差異。在高光譜成像中，在其中至少一個波段對于人眼至少部分地不可見或至少很難看到的一個或多個波段中拍攝對象的圖像。然后，該圖像被轉(zhuǎn)換成可見圖像，在可見光中向觀察者提供該圖像。高光譜成像可以基于圖像捕獲之前的光譜選擇性照明(即使用某個波段中的光照明對象)和光譜選擇性過濾(即使用僅傳輸某個波段中的光的過濾器)二者。在這兩種情況下，要求圖像處理以生成揭示感興趣的結(jié)構(gòu)對比度的結(jié)果圖像。
[0003]在這種系統(tǒng)中，按照慣例，拍攝高光譜圖像(例如延伸超出可見光譜的圖像)并且在顯示屏幕上示出結(jié)果。對觀察對象的不可見或很難看見的細節(jié)感興趣的坐在顯示屏幕后面的觀察者可以如圖像將出現(xiàn)在例如UV光或IR光中那樣在可見光中研究屏幕上的圖像。
[0004]盡管使用屏幕是非常有用的技術(shù)，但可能性受到限制。已經(jīng)提出將高光譜圖像投影在所研究的對象上，例如 R.K.Miyake, H.D.Zeman, F.H.Duarte, R.Kikuchi,E.Ramacc1tti, G.Lovhoiden, C.Vrancken 的“Vein imaging: A new method of nearinfrared imaging where a processed image is projected onto the skin for theenhancement of vein treatment”，Dermatologicy Surgery, % 32 卷，第 1031-1038 頁，2006年。使用激光投影儀執(zhí)行投影。
[0005]使用已知技術(shù)難以(如果不是幾乎不可能的話)提供良好的清晰投影，其中投影符合相對高的對準度，除非對象(在已知的現(xiàn)有技術(shù)中為皮膚)是靜止的，并且符合高平坦度。
[0006]本發(fā)明的目的是提供一種系統(tǒng)和方法，其允許直接并且以正確的對準看到所觀察的對象的高光譜細節(jié)。


【發(fā)明內(nèi)容】

[0007]為此，本發(fā)明的系統(tǒng)的特征在于，系統(tǒng)的相機為光場捕獲相機并且顯示設備為光場投影儀，其中相機和投影儀共享同軸光路，并且其中相機被布置成捕獲高光譜光場并且包括用于向光場投影儀的輸入發(fā)送所捕獲的高光譜光場上的數(shù)據(jù)的輸出，并且光場投影儀被布置成基于從相機接收的數(shù)據(jù)而在對象之上投影可見光中的光場。
[0008]為此，本發(fā)明的方法的特征在于，對象的高光譜輻射范圍中的光場由光場相機捕獲，對相機所捕獲的光場上的數(shù)據(jù)進行處理以向光場投影儀提供投影圖像數(shù)據(jù)，光場投影儀基于投影圖像數(shù)據(jù)而在對象之上投影光場，其中相機和投影儀共享同軸光路，并且可見光中的光場通過光場投影儀投影在對象上。
[0009]光場捕獲相機捕獲高光譜范圍中(即對于人眼至少部分不可見的光譜輻射范圍中)的光場，并且光場投影儀投影可見光中的光場。光場投影儀形成用于在可見光中顯示記錄器高光譜圖像的顯示設備。所投影的光場導致覆蓋對象的所投影的3D圖像的顯示，所述3D圖像在整個大深度范圍內(nèi)是清晰的。共享的同軸光路提供所捕獲和投影的光場的相對容易對準。這允許通過投影儀在相機已經(jīng)捕獲其高光譜光場的觀察對象上實現(xiàn)高光譜圖像在可見光中的準確且實時投影，這同樣適用于觀察對象不平坦但具有3D外形的情況。
[0010]與常規(guī)2D或者甚至3D相機相比，光場捕獲相機具有的優(yōu)點是獲得完整的光場，其中可能獲得整個深度范圍中的清晰圖像。普通2D相機不提供大景深，并且盡管3D相機可以提供一些深度信息，但是其不能在整個深度范圍中提供清晰圖像。光場相機也被稱為全光相機。光場相機是使用全光成像捕獲有關(guān)場景的光場信息的相機。全光成像捕獲入射光場，從而保留入射光的強度和方向二者?？梢曰诟鞣N技術(shù)實現(xiàn)全光成像系統(tǒng):如 M.Levoy 等人在 “Light field microscopy” (ACM Trans, on Graphics,第 25 卷,第3期，第924-934頁,2006年7月)中所述的微透鏡陣列；如A.Veeraraghavan等人在“Dappled photography: Mask enhanced cameras for heterodyned light fields andcoded aperture refocusing” {ACM Trans, on Graphics (Proc.SIGGRAPH 2007)，第 26卷，第3期,2007年7月)中所述的具有連續(xù)分級衰減掩模的斑紋攝影術(shù)；如A.Levin等人在“Image and depth form a convent1nal camera with a coded aperture^ (ACM Trans,on Graphics (Proc.SIGGRAPH 2007),第26卷，第3期，2007年7月)中所述的孔徑編碼掩模；如 E.R.Dowski 等人在 “Extended depth of field through wave-front coding”,Applied Optics,第？A卷，第11期，第1859-1866頁，1995年4月)中所述的波前編碼器；如 H.Nagahara 等人在“Flexible Depth of Field Photography,yiProc.ECCV 2008, 2008年10月)中所述的掃描聚焦成像。全光成像存儲入射光場的空間信息。由于每個光線通過傳感器上的2D位置以及水平和豎直入射角進行表征，從而添加2個更多的維度，所以所捕獲的光場實際上是4維的。所投影的光場在對象上創(chuàng)建在整個大光學深度范圍中清晰的圖像。
[0011]在以上所描述的技術(shù)中，優(yōu)選使用微透鏡陣列。在連續(xù)分級衰減掩模和孔徑編碼掩模中，經(jīng)過掩模的一些光被衰減，從而導致強度損失。在微透鏡陣列中，使用更高百分比的可用光。
[0012]微透鏡陣列位于全光相機的透鏡和圖像傳感器之間。微透鏡陣列將透鏡所捕獲的光重新聚焦到圖像傳感器上，從而創(chuàng)建從略微不同的視點拍攝的許多小圖像。3D信息被存儲在小圖像中，每一個小圖像由單個微透鏡產(chǎn)生。每一個小圖像都具有相對低的空間分辨率。
[0013]不使用微透鏡陣列的另一種類型光場捕獲相機是使用所謂的掃描聚焦或掃描透鏡技術(shù)的系統(tǒng)。在這種相機中，在捕獲圖像期間改變聚焦透鏡和/或傳感器位置。該技術(shù)相當于在掃描聚焦時積分(intergrate)圖像(即在特定場深度范圍中)。所得圖像包括用于聚焦掃描的所有圖像信息并且還捕獲所有可用光。所拍攝的圖像可以被去卷積以提供各種深度處的清晰圖像并且重建全光投影光場。優(yōu)選使用微透鏡陣列，因為光場能夠被瞬間地獲得。通過使用微透鏡，相對容易地使相機所捕獲的捕獲光場與投影儀所投影的投影光場對準。
[0014]優(yōu)選地，相機和投影儀沿著共享的同軸光軸共享光學成像元件的公共鏈。這使得所捕獲的光場與所投影的光場能夠更好地對準。
[0015]優(yōu)選地，系統(tǒng)包括被定位于共享的同軸光路中的提供全光函數(shù)的元件。
[0016]通過提供共享的同軸路徑中的提供全光函數(shù)的元件增加了對準所捕獲和投影的光場的方便性。
[0017]這種元件可以是微透鏡陣列、編碼孔徑、波前編碼器。
[0018]在這些元件中，優(yōu)選微透鏡陣列。
[0019]在實施例中，系統(tǒng)包括用于拆分從公共光軸到光場相機和相應地從光場投影儀到公共光軸的光路的分束器，分束器具有二向色的光譜選擇性屬性。二向色分束器將高光譜范圍中的光傳遞或反射到相機，同時反射或傳遞來自投影儀的可見范圍中的光。
[0020]在另一個實施例中，使用光譜選擇性照明。
[0021]在優(yōu)選實施例中，系統(tǒng)是移動式系統(tǒng)，優(yōu)選是便攜式系統(tǒng)，例如手持式系統(tǒng)。例如，這允許醫(yī)生立即并且在現(xiàn)場查看靜脈。當必須在靜脈中插入針時，這種現(xiàn)場檢查是很大的優(yōu)勢。
[0022]在另一優(yōu)選實施例中，該系統(tǒng)是外科手術(shù)照明體的一部分。
[0023]在另一實施例中，系統(tǒng)是較大系統(tǒng)的一部分。較大系統(tǒng)還包括用于提供觀察對象的內(nèi)部圖像上的二次(secondary)圖像數(shù)據(jù)的二次成像系統(tǒng)，其中系統(tǒng)包括基于所捕獲的高光譜光場的數(shù)據(jù)來提供深度信息的處理器以及基于深度信息來將二次數(shù)據(jù)格式化為投影在對象上的圖像的裝置。二次成像系統(tǒng)可以例如是X射線系統(tǒng)、MR1、CT、PET-CT或超聲系統(tǒng)。

【專利附圖】

【附圖說明】
[0024]通過將使用下面附圖進行描述的示例性實施例，這些和其它目的和優(yōu)勢方面將變得顯而易見。
[0025]圖1示出了根據(jù)本發(fā)明的系統(tǒng)的實施例；
圖2示出了根據(jù)本發(fā)明的系統(tǒng)的另一實施例；
圖3示出了根據(jù)本發(fā)明的系統(tǒng)的另一實施例；
圖4示出了包括根據(jù)本發(fā)明的系統(tǒng)的手持式設備；
圖5示出了使用如圖4中所示的手持式系統(tǒng)的靜脈圖像增強；
圖6示出了包括根據(jù)本發(fā)明的系統(tǒng)的外科手術(shù)或牙科醫(yī)生燈；
圖7和8示出了包括根據(jù)本發(fā)明的系統(tǒng)的X射線系統(tǒng)；
圖9示出了使用微透鏡來捕獲光場和投影光場的原理；
圖10示出了用于微調(diào)所捕獲和投影的光場之間的對應關(guān)系的方法。
[0026]附圖不按比例繪制。通常，同樣的部件在附圖中使用相同的標號表示。

【具體實施方式】
[0027]本發(fā)明的目的是提供一種作為所觀察的組織上的投影的結(jié)果圖像，然而以這種方式使得投影總是正確聚焦在組織上，而不管組織的表面曲率或其相對于捕獲/投影設備的取向如何。
[0028]高光譜成像提供對比度，例如肉眼不可見的組織對比度。例如，改進的對比度可以用來在外科手術(shù)或者將針引入靜脈中期間揭示血管和神經(jīng)。它也可以用來標識惡性組織。
[0029]高光譜圖像捕獲可以基于單色的非光譜選擇性圖像傳感器和使用圖像傳感器之前的光譜選擇性過濾，其類似于常規(guī)RGB相機但是具有更多顏色通道并且具有不同過濾特點。否則，高光譜圖像捕獲也可以基于光譜選擇性(控制的)照明與未過濾的圖像傳感器的組合?！斑^濾的照明”和“過濾的獲取”的組合也是可能的。
[0030]通過用于相同空間位置的不同光譜輸入值的線性加權(quán)組合的方式，通常將不同材料之間的光譜響應差異轉(zhuǎn)換為可見對比度(b/w或偽彩色)。各種不同的預定權(quán)重組合導致不同的組織對比度。因此，來自高光譜圖像捕獲的結(jié)果通常為具有感興趣的材料(液體或組織)的增強的對比度的圖像。這樣，例如，可能基于它們相比于例如皮膚的細微但是不同的光譜響應來揭示靜脈和動脈的位置。對應的結(jié)果圖像描繪直接處于所觀察的皮膚區(qū)域之下的血管結(jié)構(gòu)。本發(fā)明的一個目的是實時地并且與所觀察的組織恒定正確對準地將結(jié)果圖像實時投影在所觀察的組織上。
[0031]目前的高光譜成像系統(tǒng)的缺點一般在于，結(jié)果數(shù)據(jù)在顯示屏幕上單獨地出現(xiàn)，使得與真實組織的幾何關(guān)系容易丟失。如今，使用擴增的真實眼鏡是保持在形成顯示屏幕的眼鏡中生成的結(jié)果數(shù)據(jù)與外科醫(yī)生所觀察的組織恒定對準的流行方法。主要缺點在于，這要求針對工作區(qū)域的位置對其位置和取向進行跟蹤的頭戴式設備，從而增加這種解決方案的復雜性。此外，它迫使專家佩戴特殊的眼鏡。另外，手術(shù)室中存在許多人；如果只有專家攜帶特殊的眼鏡，則助理不能看到專家正在觀看的是什么，除非他們也佩戴眼鏡并且所述眼鏡的位置和取向也被跟蹤，從而極大地增加系統(tǒng)的復雜性。
[0032]本發(fā)明的一個目的是提供一種系統(tǒng)和方法，其允許直接并且以正確的對準看到所觀察的對象的高光譜細節(jié)而不需要3D對象跟蹤或佩戴特殊的眼鏡。
[0033]圖1示出了根據(jù)本發(fā)明的系統(tǒng)和方法的實施例。
[0034]在對象I (在該示例中為人體組織)上，從高光譜源2照射高光譜光。該光源可以是系統(tǒng)的一部分，并且在優(yōu)選實施例中，它是，或者可以單獨地提供。高光譜源例如在IR中或在UV中使該組織形成高光譜圖像?？商鎿Q地，對象本身可以獨立于高光譜光源的存在而提供高光譜圖像，也就是人眼看不到或難以看到的波長中的圖像。例如，該對象可以提供有物質(zhì)，該物質(zhì)在過去已經(jīng)被照射之后在特定波長中發(fā)出磷光。
[0035]可替換地或另外地，組織I可以甚至在沒有照射于其上的光源的情況下提供IR圖像，該IR圖像在IR波長中示出可見波長中不可見的細節(jié)?？商鎿Q地或另外地，可以利用供應可見光以及例如UV和/或IR光的源來照射對象，在到相機的光路中或在相機中提供波長選擇性元件使得相機記錄高光譜圖像。
[0036]可替換地或另外地，相機可以提供有以電子方式在可見光中記錄圖像的傳感器像素以及在高光譜輻射范圍中記錄圖像的傳感器像素，并且來自高光譜敏感像素的數(shù)據(jù)被用于高光譜光場。
[0037]還可能的是，使用包括對可見光和高光譜(例如光譜的IR和/或UV部分)輻射都敏感的像素的光場相機，并且將波長選擇性過濾器按時間順序放置在提供可見光以及高光譜輻射的源的前面，其中過濾器傳遞可見光或光譜的高光譜部分并且使從光場相機的數(shù)據(jù)獲取與時序照明同步以便提供高光譜范圍中和也可能是光譜的可見部分中的光場數(shù)據(jù)。
[0038]在實施例中，在電磁波譜的UV或IR范圍中拍攝高光譜圖像。這些實施例是優(yōu)選的。
[0039]然而，可以在其它電磁波譜范圍中例如借助于X射線成像或太赫茲成像來拍攝高光譜圖像。
[0040]對于這種實施例，光場相機為在電磁波譜的X射線或太赫茲部分中提供光場數(shù)據(jù)的X射線或太赫茲成像設備。
[0041]由光場相機3通過透鏡系統(tǒng)5捕獲組織所提供的4D光場。透鏡系統(tǒng)5包括分束器6和微透鏡陣列7。在圖1中由CLF表不所捕獲的光場。光場相機包括在其上捕獲光場的傳感器。經(jīng)由圖像處理器8向光場投影儀4提供所捕獲的光場上的數(shù)據(jù)。因此，相機的輸出提供用于投影儀的輸入的數(shù)據(jù)。然而，“提供數(shù)據(jù)”不應該被解釋為意味著相機數(shù)據(jù)被直接供應到投影儀，而是相機數(shù)據(jù)形成用于投影儀的數(shù)據(jù)的基礎。在光場相機3的輸出和光場投影儀4的輸入之間可以提供數(shù)據(jù)的處理。光場投影儀經(jīng)由分束器6和微透鏡陣列7將光場PLF投影在組織I上。優(yōu)選地，光源形成系統(tǒng)的一部分。這使得能夠控制照射在對象I上的光的強度。圖1的實施例示出了一種系統(tǒng)，其中在UV或IR中拍攝高光譜圖像。如上所述，可以以各種方式拍攝這樣的圖像。為簡化起見，在圖中未示出波長選擇性元件。這種波長選擇性元件可以例如放置在源的前面或相機的前面，或者如果相機包含用于可見光而非UV或IR的不同像素，則數(shù)據(jù)可以以電子方式過濾，即借助于數(shù)據(jù)過濾器對光場相機所獲取的數(shù)據(jù)進行過濾。
[0042]由于一般地微透鏡陣列中的微透鏡的短焦距的緣故，所以微透鏡陣列趨于創(chuàng)建也非常緊密地聚焦在透鏡陣列后面的微圖像陣列。在微透鏡陣列7和分束器6之間并且還在分束器后面的光學透鏡系統(tǒng)轉(zhuǎn)播(relay)該(微)圖像平面，使得微圖像平面與相機的傳感器平面并且與投影儀中的圖像生成元件的平面重合。圖像生成元件可以例如為發(fā)光元件陣列、和切換反射鏡(通常為DLP元件)陣列，或IXD光快門陣列。
[0043]投影儀4和相機3共享公共同軸光軸。通過光線是平行的事實在圖1中示出公共光軸。使用用于圖像捕獲和投影的公共光路的優(yōu)點在于，所投影的覆蓋與相關(guān)聯(lián)的組織良好對準。除用于感測和投影元件尺寸中的差異的縮放之外，不要求復雜的3D處理。
[0044]每個微透鏡可以認為是超像素，該超像素不僅存儲角度信息，此外還存儲該“超像素”的位置處的入射光的強度。同樣地，生成與微透鏡陣列相關(guān)聯(lián)的相同微圖像的投影儀將導致其焦平面與原始表面平面重合的投影，而不管其彎曲的形狀如何。使用公共光路和傳感器與投影儀像素的對準將導致總是聚焦在使用相機來捕獲的表面上的投影。因為微透鏡陣列不會衰減光場，所以優(yōu)選使用微透鏡陣列。
[0045]該系統(tǒng)可以被稱為提供范圍不變的捕獲和投影的全光高光譜擴增的現(xiàn)實系統(tǒng)。
[0046]取決于應用，分束器6也可以提供光譜選擇性。特別地當圖像捕獲主要是在不可見光域(諸如IR)中時，分束器可以具有二向色屬性。在這種情況下，入射IR光遵循朝向相機的直線路徑，并且來自投影儀的可見光被分束器折射。
[0047]圖2也示出了根據(jù)本發(fā)明的系統(tǒng)的實施例。反射鏡被用來折疊所投影的光場。在某些情況下這允許系統(tǒng)的更緊湊設計。
[0048]圖3示出了另一實施例。在該實施例中，相機和投影儀包括不同的微透鏡陣列。圖1和2的系統(tǒng)是優(yōu)選的，但是例如如果高光譜成像的光譜波長要求不太適合于可見光波長的微透鏡的特定材料，則可以使用單獨的微透鏡陣列。在圖1-3中，相機和投影儀沿著公共光軸共享公共成像元件。
[0049]圖4和5示出了系統(tǒng)的優(yōu)選實施例。在該實施例中，系統(tǒng)是移動式系統(tǒng)，優(yōu)選是便攜式系統(tǒng)。在該實施例中，系統(tǒng)是手持式系統(tǒng)。系統(tǒng)包括手持式設備內(nèi)的高光譜源、相機和投影儀，其中便攜式設備用來捕獲組織區(qū)并且例如在靜脈位置上提供以其它方式不可見的數(shù)據(jù)的投影，如圖5所示。在其中快速找到靜脈重要或甚至必不可少的情形中，使用便攜式設備實現(xiàn)例如靜脈的適當圖像捕獲和適當投影的清晰圖像提供極大的優(yōu)點。當例如在緊急情形(諸如事故)中將針插入靜脈中時，快速且準確地工作并且僅需要能夠容易地操作并被帶到緊急情形的相對簡單的設備可能是至關(guān)重要或甚至關(guān)乎生死的?，F(xiàn)有系統(tǒng)不提供準確且實時地并且在事故現(xiàn)場提供靜脈的位置的圖像或其它高光譜細節(jié)的可能性。圖4和5的便攜式系統(tǒng)不提供這種可能性。在這種情況示例下，系統(tǒng)為手持式的。該系統(tǒng)可以佩戴在頭盔上或袖子上使得雙手自由地插針或執(zhí)行其它醫(yī)療過程。
[0050]圖6示出了根據(jù)本發(fā)明的系統(tǒng)在外科手術(shù)燈或牙科醫(yī)生燈中的使用?？蛇x地，燈可以提供光譜選擇性照明以作為高光譜圖像捕獲的部分。
[0051]在又一實施例中，本發(fā)明可以合并在包括二次成像系統(tǒng)(例如X射線成像系統(tǒng))的系統(tǒng)中，或更一般地合并在產(chǎn)生觀察對象的內(nèi)部圖像的系統(tǒng)(例如在專利申請W02010067281中所述的系統(tǒng))中。
[0052]圖7中示出了用于這種實施例的系統(tǒng)的示意圖。
[0053]系統(tǒng)包括附設有對UV、可見或紅外波長敏感的兩個相機的X射線C形臂。所示C形臂X射線系統(tǒng)包括底座框架72，該底座框架72在輪子71上可移動并且C形臂73位于底座框架72處使得C形臂73可繞著軸線74旋轉(zhuǎn)(回轉(zhuǎn))，從而它也可以在雙箭頭76的方向上繞著軸線75轉(zhuǎn)向(軌道旋轉(zhuǎn))。盡管這里描述了移動式系統(tǒng)，但是X射線系統(tǒng)也可以如在導管室中那樣固定在墻上。以180度彼此相對的X射線源77和檢測器81 (優(yōu)選地矩形平坦探測器)在C形臂73的端部區(qū)中緊固到C形臂73。
[0054]X射線C形臂能夠獲取患者的三維內(nèi)部圖像。相機系統(tǒng)82附設在檢測器81旁邊并且能夠捕獲患者操作場的圖像。在特定實施例中，相機系統(tǒng)能夠?qū)颊哌M行三維成像。此外，根據(jù)本發(fā)明的高光譜成像系統(tǒng)83也附設到檢測器81并且能夠以圖像聚焦在患者的彎曲表面上的這種方式在可見光中將信息投影回到患者上。例如，結(jié)構(gòu)(諸如腫瘤邊界)在高光譜圖像中更好地描繪并且可以根據(jù)本發(fā)明在可見光中投影回到患者上。這使得腫瘤邊界對于外科醫(yī)生更可見。除該高光譜成像返回投影之外，通過系統(tǒng)83對X射線系統(tǒng)所拍攝的并被轉(zhuǎn)換成可見圖像的圖像的返回投影是可能的。例如，在X射線成像的情況下可見的深入到人體內(nèi)部的腫瘤位置被投影回到患者身體上。這樣，外科醫(yī)生具有腫瘤所在位置的更好指示。同樣，可以指示重要結(jié)構(gòu)，諸如恰好位于表面下方并且人眼不可見的大血管。這樣，當在該位置處切口時，外科醫(yī)生提前仔細了解。取代X射線系統(tǒng)，類似途徑也可以應用于MR1、CT、PET-CT或超聲系統(tǒng)。也可以使用太赫茲成像系統(tǒng)。所有這些系統(tǒng)提供觀察對象的內(nèi)部圖像，并且在所有情況下，數(shù)據(jù)源產(chǎn)生2D圖像流，該2D圖像流形成除基于相機獲取的數(shù)據(jù)之外的二次數(shù)據(jù)集合。
[0055]在圖7的系統(tǒng)中，聞光譜成像系統(tǒng)和_■次成像系統(tǒng)(圖7中的X射線系統(tǒng))的相對位置是已知和固定的。這使得高光譜和內(nèi)部成像能夠相對簡單地匹配。
[0056]在其中高光譜成像系統(tǒng)和二次內(nèi)部成像系統(tǒng)的相對位置在或多或少更大程度上可變的系統(tǒng)中，優(yōu)選地提供裝置以確定高光譜成像和二次成像系統(tǒng)的相對位置。這可以自動完成，例如通過提供電子裝置以測量兩個成像系統(tǒng)的X、Y和Z坐標，并且優(yōu)選地還測量成像系統(tǒng)的取向或軸線(如果該信息相關(guān)的話)。當然，這也可以通過手動輸入這種數(shù)據(jù)來完成?？商鎿Q地或另外地，自然出現(xiàn)的或特別放置在相應圖像范圍內(nèi)的存在于高光譜圖像和二次圖像中的圖像特征可以用來對準高光譜圖像和二次圖像。例如，將在高光譜以及可見以及X射線圖像中示出的患者身上各種點處的小金屬對象可以用于該目的。
[0057]圖8進一步示出了圖7的系統(tǒng)。來自例如X射線數(shù)據(jù)的這種二次圖像數(shù)據(jù)的使用要求深度圖d(x，y)的顯式計算，該深度圖d(x，y)描述針對投影儀的每個像素(x，y)的全光相機/投影儀與組織表面之間的距離d。這與僅要求空間插值以將全光相機的輸入像素網(wǎng)格匹配到投影儀的輸出像素網(wǎng)格的全光相機數(shù)據(jù)本身形成對比。
[0058]所捕獲的光場包括深度信息。為了從所捕獲的光場數(shù)據(jù)恢復距離輪廓，例如通過 Bishop 等人的 T.Bishop, P.Favaro “Plenoptic depth estimat1n from multiplealiased views，， (2009 年 IEEE 12th Internat1nal Conference on Computer Vis1nWorkshops (ICCV fforkhshops), IEEE, % 1622-1629 頁，Los Alamitos, 2009)和 Wanner 等人的 S.Wanner, J.Fehr, B.Jaehne “Generat1n EPI representat1ns of 4D lightfields with a single lens focused plenoptics camera，，(Proc.1SVC 2011, G.Bebis等人，第90-101頁，2011)已經(jīng)提出各種解決方案。然后，這變成由圖8中的處理框8執(zhí)行的額外任務。然后，所恢復的深度圖d(x，y)在部分9中被用來將來自二次數(shù)據(jù)源的圖像重新格式化為微圖像陣列。然后，在與微透鏡陣列適當對準的情況下，二次數(shù)據(jù)還將以適當聚焦在組織表面上進行投影，而不管其形狀和取向如何。雖然未示出，但是部分9也可以具有用于輸入高光譜和X射線成像系統(tǒng)的相對位置和/或取向上的數(shù)據(jù)的輸入。
[0059]圖9示出了使用微透鏡來捕獲光場和投影光場的原理。圖9的頂部部分示出了光場的捕獲。全光成像存儲入射光場的空間信息。在使用微透鏡陣列的情況下，3D信息被存儲在小微圖像中，每一個小微圖像由微透鏡陣列中的單個微透鏡產(chǎn)生。由于每個光線通過傳感器上的2D位置以及水平和豎直入射角進行表征，從而添加2個更多的維度，所以所捕獲的光場實際上是4維的。
[0060]每個微透鏡可以認為是超像素，該超像素不僅存儲角度信息而且存儲該“超像素”的位置處的入射光的強度。
[0061]圖9的底部部分示出了從投影儀4的像素投影光場。光線是反向的。生成與微透鏡陣列相關(guān)聯(lián)的相同微圖像的投影儀將導致其焦平面與原始表面平面重合的投影，而不管其彎曲的形狀如何。使用公共光路和傳感器與投影儀像素的對準將導致總是聚焦在利用相機捕獲的表面上的投影。如果所有元件都準確地相同，尺寸相同，位置相同等，那么在相機的像素和投影儀的像素之間具有簡單的一對一關(guān)系。在現(xiàn)實中，這兩個在尺寸或確切位置方面可以不同。然而，關(guān)系保持平移(T)和縮放(S)的簡單任務。這在處理器8中執(zhí)行。
[0062]也可以通過為投影儀或相機提供用于在X和y方向上平移傳感器或投影表面的裝置來機械地完成平移任務。
[0063]在圖9中，通過具有公共光學元件，并且特別是提供全光函數(shù)的公共元件，微透鏡陣列7增加了圖像記錄和投影的光路之間的對應關(guān)系，從而簡化了處理。
[0064]圖10示出了用于找到所要求的平移和縮放因子的方法。
[0065]在圖10中，提供了測試圖像T，該測試圖像T由向處理器8發(fā)送所記錄的圖像上的數(shù)據(jù)的相機3來記錄；處理器8將例如通過先前計算機生成的光線跟蹤相機和投影儀的假定已知特征而找到的初始T和S變換應用到數(shù)據(jù)并且將數(shù)據(jù)發(fā)送到投影儀4。所投影的圖像與測試圖像進行比較，這可以例如使用能夠記錄高光譜圖像和所投影的圖像二者的單獨相機來完成。如果測試圖像和所投影的圖像重合，則使用用于T和S的預設值，否則，T和S的值變化直到測試圖像和所投影的圖像重合為止。這是一種找到T和S值的方式。在圖10中，示出了用于通過調(diào)整平移和縮放因子T和S以使測試圖像T與所投影的光場圖像對準來使根據(jù)本發(fā)明的系統(tǒng)的光場相機與光場投影儀對準的方法。在根據(jù)本發(fā)明的優(yōu)選方法中，在獲取光場圖像和投影光場圖像之前，進行該測試和對準過程。
[0066]總之，本發(fā)明可以簡短地描述如下:
成像系統(tǒng)包括用于記錄高光譜光場(CLF)的光場相機(3)。該系統(tǒng)還包括用于在可見光中投影光場(PLF)的光投影儀(4)。相機和投影儀共享公共光軸。投影儀基于光場相機所捕獲的高光譜光場(CLF)來投影光場(PLF)。
[0067]本發(fā)明并不局限于圖中示出的或上文描述的示例性實施例。對于本領域技術(shù)人員將清楚的是，許多變型都是可能的。
[0068]詞語“包括”不排除除權(quán)利要求中所列出的那些之外的其它元件或步驟的存在。元件前的冠詞“一”或“一個”的使用并不排除多個這種元件的存在。
[0069]詞語“裝置”包括任何裝置，而不管其形式為用于執(zhí)行指定功能的軟件、硬件或其任何組合。
[0070]例如當從光場相機向部分8發(fā)送要處理的光場數(shù)據(jù)以向投影儀4提供投影光場數(shù)據(jù)時，系統(tǒng)的不同元件可以并且優(yōu)選地處于單個設備中，但各種元件可以位于各種物理位置處。該部分8可以與相機和投影儀處于相同的設備中，并且優(yōu)選地也可以處于CPU中或互聯(lián)網(wǎng)上的站點上或由各種系統(tǒng)共享。數(shù)據(jù)可以由用于傳輸數(shù)據(jù)的任何裝置通過有線和無線從相機3傳輸?shù)讲糠?。這同樣適用于從部分8到投影儀4的數(shù)據(jù)。
[0071]對于其中借助于軟件來完成本發(fā)明的那些實施例而言，本發(fā)明還總體地或部分地涉及一種包括存儲在計算機可讀介質(zhì)上的用于執(zhí)行根據(jù)本發(fā)明的方法的程序代碼裝置的計算機程序產(chǎn)品，并且涉及一種由計算機布置加載的計算機程序產(chǎn)品，其包括用于根據(jù)本發(fā)明的方法的指令。
【權(quán)利要求】
1.一種用于高光譜成像的系統(tǒng)，包括用于記錄對象的高光譜圖像的相機和用于在可見光中顯示所述高光譜圖像的顯示設備，其中所述相機是光場捕獲相機并且所述顯示設備是光場投影儀，其中所述相機和投影儀共享同軸光路，并且其中所述相機被布置成捕獲高光譜光場，并且包括用于向所述光場投影儀的輸入發(fā)送所捕獲的高光譜光場上的數(shù)據(jù)的輸出，并且所述光場投影儀被布置成基于從所述光場捕獲相機接收的數(shù)據(jù)來在所述對象之上投影可見光中的光場。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述光場相機和光場投影儀沿著共享的同軸光軸共享光學成像元件的公共鏈。
3.如權(quán)利要求1或2所述的系統(tǒng)，其中所述系統(tǒng)包括被定位在共享的同軸光路中的提供全光函數(shù)的元件。
4.如前述權(quán)利要求中任一項所述的系統(tǒng)，其中所述系統(tǒng)包括提供全光函數(shù)的微透鏡陣列。
5.如權(quán)利要求4所述的系統(tǒng)，其中所述微透鏡陣列為所述光場相機和光場投影儀所共用的元件。
6.如前述權(quán)利要求中任一項所述的系統(tǒng)，其中所述系統(tǒng)包括用于拆分從公共光軸到所述光場相機和相應地從所述光場投影儀到公共光軸的光路的分束器，所述分束器具有二向色的光譜選擇性屬性。
7.如前述權(quán)利要求中任一項所述的系統(tǒng)，其中所述系統(tǒng)是移動式系統(tǒng)，優(yōu)選是便攜式系統(tǒng)，例如手持式系統(tǒng)。
8.如前述權(quán)利要求中任一項所述的系統(tǒng)，其中相機是用于在電磁波譜的IR或UV部分中記錄高光譜光場的相機。
9.如前述權(quán)利要求中任一項所述的系統(tǒng)，其中所述系統(tǒng)合并在還包括用于提供觀察對象的內(nèi)部圖像上的二次圖像數(shù)據(jù)的二次成像系統(tǒng)的系統(tǒng)中，其中所述系統(tǒng)包括基于所捕獲的高光譜光場的數(shù)據(jù)來提供深度信息并且基于所述深度信息來將二次數(shù)據(jù)格式化為投影在對象上的圖像的處理器。
10.如權(quán)利要求9所述的系統(tǒng)，其中所述二次成像系統(tǒng)是X射線成像系統(tǒng)、MR1、CT、PET-CT或超聲成像系統(tǒng)。
11.一種用于記錄高光譜圖像和在可見光中顯示所述高光譜圖像的方法，其中對象的高光譜輻射范圍中的光場被光場相機捕獲，對所述相機所捕獲的光場上的數(shù)據(jù)進行處理以向光場投影儀提供投影圖像數(shù)據(jù)，所述光場投影儀基于所述投影圖像數(shù)據(jù)來在對象之上投影光場，其中所述相機和投影儀共享同軸光路，并且可見光中的光場被所述光場投影儀投影在所述對象上。
12.如權(quán)利要求11所述的方法，其中在電磁波譜的IR或UV部分中捕獲所述中的光場。
13.如權(quán)利要求11或12所述的方法，其中對所述光場相機所捕獲的光場上的數(shù)據(jù)進行處理以提供深度信息，并且其中在所述對象的內(nèi)部圖像上提供二次圖像數(shù)據(jù)，并且其中使用所述深度信息重新格式化所述二次圖像數(shù)據(jù)并且向光場投影儀提供所述重新格式化的數(shù)據(jù)。
14.如權(quán)利要求13所述的方法，其中所述二次圖像數(shù)據(jù)由X射線成像系統(tǒng)、MR1、CT、PET-CT或超聲系統(tǒng)來提供。
15.一種包括存儲在計算機可讀介質(zhì)上的程序代碼裝置的計算機程序產(chǎn)品，所述程序代碼裝置用于在計算機中使用時執(zhí)行權(quán)利要求11至14中任一項所述的方法。
【文檔編號】G01J5/08GK104380066SQ201480001605
【公開日】2015年2月25日 申請日期:2014年3月12日 優(yōu)先權(quán)日:2013年3月19日
【發(fā)明者】F.J.德布魯伊恩, R.T.J.姆伊斯, J.E.德維里伊斯, B.H.W.亨德里克斯, D.巴比 申請人:皇家飛利浦有限公司