一種三維像素超分辨顯微成像方法
【專利摘要】一種三維像素超分辨顯微成像方法，其特征在于，沿與圖像采集裝置傳感器平面水平方向x、豎直方向y和顯微鏡的z軸方向各均成非直角空間偏轉(zhuǎn)角的空間矢量掃描樣品，以能夠使每兩張相鄰的圖像切片之間沿著x,y,z方向均有亞像素位移的步長進(jìn)行掃描，通過圖像采集裝置采集得到原始三維圖像序列A，將原始圖像序列A根據(jù)無損采樣原則分割成多組三維圖像序列Bi，對Bi進(jìn)行超分辨處理，生成三維高分辨圖像E，再對E進(jìn)行去模糊處理，得到清晰的高分辨圖像F。掃描矢量與水平方向、豎直方向和顯微鏡的z軸所成的空間偏轉(zhuǎn)角可以相同，也可以不同。
【專利說明】一種三維像素超分辨顯微成像方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種顯微成像方法，特別涉及一種三維像素超分辨顯微成像方法。

【背景技術(shù)】
[0002] 熒光顯微成像作為對微觀世界里發(fā)生的特異性事件的一種觀察手段，長久以來對 于現(xiàn)代生命科學(xué)研究具有重大意義。特別是在發(fā)育生物學(xué)，再生醫(yī)學(xué)，組織工程等需要對多 細(xì)胞樣品進(jìn)行觀察、分析的領(lǐng)域里，進(jìn)行三維度、全方位的成像對于分析樣品的結(jié)構(gòu)，生物 學(xué)特性非常重要。然而，無論是倒置顯微鏡還是共聚焦顯微鏡，均無法在低倍率，大視場下 提供軸向分辨率足夠好的三維圖像。近年來新發(fā)展出來的切片光顯微成像系統(tǒng)提供了一種 新型的三維顯微圖像的獲取手段，有別于傳統(tǒng)的光路顯微手段，切片光顯微成像系統(tǒng)增加 了額外的照明光路來提供厚度極薄的線聚焦切片光照明，當(dāng)染色樣品放置于激光光片焦點(diǎn) 處附近時，將被該激光光片穿透照明，有如被一把虛擬激光刀片切過，同時每次僅有被照明 的薄切面會發(fā)射熒光，形成圖像。通過在z方向的掃描樣品或切片光產(chǎn)生一系列的切面熒 光圖像，最終堆疊重構(gòu)出樣品的三維結(jié)構(gòu)。由于使用單獨(dú)的切片光照明，三維成像的的軸向 分辨率獲得提升，不再受物鏡景深的影響，而由光片的厚度決定。但是與此同時，高斯型切 片光的可用范圍（瑞利范圍）與光片厚度的平方成正比。在切片光成像系統(tǒng)中，通常會產(chǎn)生 一個2-8微米厚的光片，用來提供幾十到數(shù)百微米范圍的照明，與此照明范圍匹配的成像 物鏡通常是10倍鏡或者20倍鏡，即高軸向分辨率與大照明范圍不可兼得。當(dāng)需要提供大 視場、高分辨的圖像時，通常使用中高倍物鏡分塊采集多張高分辨率圖像，再將多幅圖像對 齊，拼接出一張大視野、高分辨率的圖像。進(jìn)行三維成像時，圖像拼接需要對樣品在X，y，Z 軸分別進(jìn)行掃描，然后使用計算機(jī)運(yùn)算進(jìn)行拼接處理。這種方法需要進(jìn)行耗時的X，y，Z軸 掃描，不但增加了前端系統(tǒng)的硬件復(fù)雜度，而且需要后期圖像處理的支持。此外，圖像拼接 相對于原成像系統(tǒng)并沒有光學(xué)原理上的實(shí)質(zhì)改變，對于一些高倍率成像設(shè)置下所固有的缺 陷，如低照度，短工作距離帶來的操作不便和低兼容性等并無改善。
[0003] 此外，為實(shí)現(xiàn)更高的空間分辨率和動態(tài)分辨率，國際上對于切片光成像系統(tǒng)進(jìn)行 了多種改良，比如掃描式切片光成像技術(shù)，貝塞爾切片光成像技術(shù)，X型雙路照明雙路采集 切片光成像技術(shù)正在蓬勃發(fā)展。這些改良技術(shù)均采用更多的高精度光學(xué)元件和自控設(shè)備來 搭建更為復(fù)雜的成像系統(tǒng)。硬件的堆疊、復(fù)雜的系統(tǒng)增加了操作難度和成本，對技術(shù)的普及 并無裨益。更重要的是，即使是使用切片光顯微成像技術(shù)，目前的主流手段依舊不能完全滿 足大視場與高分辨兼?zhèn)涞娜S成像需求。


【發(fā)明內(nèi)容】

[0004] 針對上述倒置顯微鏡，共聚焦熒光顯微鏡，切片光等三維顯微成像技術(shù)共同面臨 的大視場和高分辨率難以兼容的問題，本發(fā)明提供了一種新型的三維像素超分辨顯微成像 方法。發(fā)明的核心內(nèi)容為：在做三維成像時使用一種偏轉(zhuǎn)型線性掃描方式取代常規(guī)的純Z 軸線性掃描，進(jìn)而通過深度過掃描使獲得的多張圖像間在X，y，z三個方向均有亞像素的位 移。再使用計算機(jī)算法對多幀圖像進(jìn)行亞像素高分辨率信息的拼接、融合，最終實(shí)現(xiàn)三個維 度上的圖像分辨率倍增。本發(fā)明的方法只需將倒置顯微鏡，共聚焦熒光顯微鏡，切片光顯微 成像技術(shù)中的Z軸掃描裝置進(jìn)行小的改裝，把掃描方向偏轉(zhuǎn)，即可實(shí)現(xiàn)通過線性過掃描將 得到的亞像素高分辨率信息分配到X，y，Z三個方向，進(jìn)而僅僅通過一個方向的線性掃描就 實(shí)現(xiàn)了三個維度的分辨率提升。更重要的是，在獲得同等分辨率的情況下，三維像素超分辨 成像技術(shù)能夠較傳統(tǒng)的三維顯微成像技術(shù)使用倍率更低，價格更便宜的物鏡。這樣不僅獲 得了更大視場范圍的成像，還進(jìn)一步改善了高倍率成像設(shè)置下導(dǎo)致的動態(tài)范圍不足，操作 不便和兼容性低等固有問題。而在使用同樣倍率的物鏡時，本發(fā)明的方法能夠?qū)⒎直媛蔬M(jìn) 一步提升。圖像的三維像素超分辨處理目前是可以在Matlab的環(huán)境下實(shí)現(xiàn)，也可在更高效 的編程環(huán)境下執(zhí)行，如使用C，C++，CUDA及任何可用的通用計算資源，以期達(dá)到準(zhǔn)實(shí)時的三 維超分辨處理。
[0005] 本發(fā)明提供了一種三維像素超分辨顯微成像方法，該方法沿與圖像采集裝置傳感 器平面水平方向X、堅(jiān)直方向y和顯微鏡的z軸方向均成非直角空間偏轉(zhuǎn)角的空間矢量掃描 樣品，以能夠使每兩張相鄰的圖像之間沿著X，y，z方向均有亞像素位移的步長進(jìn)行掃描， 通過圖像采集裝置采集得到原始三維圖像序列A，將原始圖像序列A根據(jù)無損采樣原則分 割成多組三維圖像序列Bi，對Bi進(jìn)行超分辨處理，生成三維高分辨圖像E，再對E進(jìn)行去模 糊處理，得到清晰的高分辨圖像F。
[0006] 本發(fā)明的三維像素超分辨顯微成像方法可以與任何掃描式三維顯微成像方式集 成，優(yōu)選倒置顯微鏡成像，共聚焦熒光顯微鏡成像或切片光顯微成像。
[0007] 掃描矢量與水平方向X、堅(jiān)直方向y和顯微鏡的Z軸所成的空間偏轉(zhuǎn)角可以相同， 也可以不同。該偏轉(zhuǎn)角的大小優(yōu)選由成像系統(tǒng)的單個空間體像素的形狀決定，而單個空間 體像素的形狀進(jìn)一步由采集物鏡的放大倍率、相機(jī)像素大小或放大倍率，以及光學(xué)系統(tǒng)的 軸向分辨率決定。在幾種常見的掃描式三維顯微成像方式中，對于倒置顯微鏡成像，軸向分 辨率的大小由瑞利范圍決定，側(cè)向向分辨率由放大倍率與相機(jī)像素大小決定，對于共聚焦 熒光顯微鏡成像，軸向分辨率的大小由瑞利范圍和艾利單位決定，側(cè)向分辨率由放大倍率 和選擇的圖像分辨率決定，對于切片光顯微成像，軸向分辨率的大小由光片厚度決定，側(cè)向 分辨率由放大倍率與相機(jī)像素大小決定。側(cè)向分辨率決定了低分辨體像素在X和y方向的 大小，而軸向分辨率決定了體像素在Z方向的大小。掃描矢量的基本要求為：每一步掃描在 X，y，z方向均產(chǎn)生比例近似的亞像素位移（比例的定義為在該維度的亞像素位移量除以該 維度的像素大?。?。掃描矢量的方向優(yōu)選為體像素的體對角線方向，如圖4所示。三維掃 描過程上，本發(fā)明的方法使用深度過掃描，過掃描的掃描方式和前述的非Z軸偏轉(zhuǎn)型掃描 方向相結(jié)合，能夠確保在掃描過程中每兩幀圖像之間在X，y，Z三個維度都有亞像素級的微 位移，從而使圖像序列中具有足夠多的用于后期重構(gòu)超分辨圖像的亞像素信息。過掃描的 步長可根據(jù)樣品的尺寸、成像的設(shè)置以及需要實(shí)現(xiàn)的三維超分辨倍數(shù)選擇。進(jìn)一步的，空間 偏轉(zhuǎn)角優(yōu)選為75-85度，過掃描步長優(yōu)選為50納米到500納米之間。
[0008] 當(dāng)本發(fā)明的三維像素超分辨顯微成像方法與切片光顯微成像技術(shù)集成時，可實(shí)現(xiàn) 切片光照明光路的進(jìn)一步簡化。切片光照明光路使用激光發(fā)生裝置、空間濾波裝置、切片 光產(chǎn)生裝置產(chǎn)生光片。優(yōu)選的激發(fā)光產(chǎn)生裝置為激光二極管或激光器(產(chǎn)生窄帶激發(fā)光)， 空間濾波裝置為圓形光闌或方形擋光狹縫，切片光產(chǎn)生裝置為柱面鏡或柱面鏡加物鏡的組 合。首先我們將三路不同波長（405nm，473nm，532nm)的激光對齊并匯合，以滿足生物實(shí)驗(yàn) 多類熒光激發(fā)的需求，例如〇八?1^11'(：，1^乂4488,6--，（181?0等。一個圓形或方形光闌被 放置在對齊的激光光路后，用于將光斑整形成理想的形狀。接下來，使用一個柱面鏡對整形 的光斑進(jìn)行一維的線聚焦，進(jìn)而在激光傳播方向上形成一個高斯型的極薄激光切片。在常 規(guī)的切片光成像系統(tǒng)中，為實(shí)現(xiàn)高分辨成像，通常會產(chǎn)生一個2-8微米厚的光片，用來提供 幾十到數(shù)百微米范圍的照明，與此照明范圍匹配的成像物鏡通常是10倍鏡或者20倍鏡。為 產(chǎn)生該厚度的光片，需使用柱面鏡加物鏡的組合以消除光片的色差，畸變等不利因素(如圖 1所示)。與此設(shè)置不同的是，本發(fā)明使用厚度在5微米以上、優(yōu)選10微米以上的厚但較均 勻的切片光，用來提供顯著更大范圍的樣品照明（1到3_)，同時使用與此照明范圍匹配的 低倍率物鏡，如2X或4X物鏡進(jìn)行圖像采集。產(chǎn)生厚激光光片一方面能夠提供大范圍的照 明，另一方面隨著折射角的減小，以及光片瑞利范圍的增加，色差和畸變的影響大幅減小， 也降低了對高精度光學(xué)元件的要求，例如不再需要在柱面鏡后增加一個額外的照明物鏡， 進(jìn)而有利于實(shí)現(xiàn)系統(tǒng)的精簡。圖2為結(jié)合了三維像素超分辨技術(shù)的切片光顯微成像裝置示 意圖。
[0009] 根據(jù)不同的樣品及染色質(zhì)量，我們使用圖像采集裝置以20_400fps、優(yōu)選 100-400fps的速率連續(xù)采集超分辨掃描的圖像序列。圖像采集裝置可以為sCM0S、(XD、PMT 等。整個掃描過程通常在一分鐘內(nèi)完成，產(chǎn)生一組包含1000-10000張圖像的序列（圖像張 數(shù)由樣品尺寸決定)，我們定義它為原始的大視場圖像序列A。圖像序列A被實(shí)時地寫入計 算機(jī)的高速固態(tài)硬盤陣列中，用以進(jìn)行后期的三維像素超分辨處理。
[0010] 多類像素超分辨算法主要被用于無鏡顯微成像和全息顯微成像技術(shù)，通過多幀互 相關(guān)聯(lián)的低分辨率圖像重構(gòu)出一張高分辨二維圖像。理論上多類像素超分辨處理的方法均 可用于本發(fā)明，優(yōu)選移位-疊加法。
[0011] 本發(fā)明的三維像素超分辨顯微成像方法中，超分辨處理的方法還可以為 Papoulis-Gerchberg 方法、Iterated Back Projection 方法、Robust Super Resolution 方法或 Structure-Adaptive Normalized Convolution 方法。
[0012] 本發(fā)明的三維像素超分辨顯微成像方法中，進(jìn)一步優(yōu)選的超分辨處理的具體過程 為，將Bi按照三個維度的超分辨增強(qiáng)因子Ex，Ey，Ez插值到高分辨率的圖像柵格中，生成 Ci，將多組Ci按照各自的亞像素位移矢量shifti移回參考原位，生成Di，并將Di疊加和平 均生成三維高分辨圖像E，對E進(jìn)行去模糊處理，最終獲得清晰的高分辨率輸出圖像F。
[0013] 本發(fā)明的后期三維像素超分辨處理包含3個關(guān)鍵步驟： 1)將原始圖像序列A根據(jù)恩奎斯特采樣原則分割成低分辨、軸向信息無損的三維圖像 序列Bi，i = 1，2, 3, 4,…，η，Β1-Βη為η組三維圖像，而每組圖像Bi均為三維的，包含多張 二維圖像。其中n = 1/s，1為z軸分辨率，s為過掃描步長，即產(chǎn)生多少組低分辨序列B由 z軸分辨率和過掃描步長決定。例如，當(dāng)采用切片光顯微成像時，對于光片厚度為10微米 條件下，用4倍鏡以及濱松flash 4.0 sCMOS相機(jī)采集的1000張圖像的序列，為實(shí)現(xiàn)20倍 的超分辨因子（Ex*Ey*Ez = 2*2*5 = 20)，我們通常選擇掃描步長為約500納米。接下來通 常把獲取的原始過掃描圖像A分成20組Bi，Bl為第1張，第11張，第21張，…，第981 張，B2為第2張，第12張，…，第982張，B20為第20張，第30張，…，第1000張。根據(jù) 恩奎斯特?zé)o損采樣原則，每組Bi中的的張數(shù)間隔至多為20/2=10張，對應(yīng)距離間隔最多為 光片厚度的一半5微米。至此把一組1000張圖像的序列分成20組、每組100張切片的三 維圖像序列Bi。每組Bi中的X，y方向像素分辨率為resx = resy = Pitch / Mag,其中 pitch代表相機(jī)每個像素的大小，Mag為使用物鏡的放大倍率，z方向像素分辨率為resz = 1/2,其中1為光片厚度（當(dāng)采用切片光顯微成像時，以光片Z軸方向半高寬FWHM定義)。而 根據(jù)恩奎斯特采樣原理，X，y, Z方向的光學(xué)分辨率對應(yīng)分別為2*resx，2*resy，2*resz。 在我們所舉的這個例子里，Bi的像素分辨率分別為為1. 6微米、1. 6、5微米，光學(xué)分辨率則 分別為3. 2微米、3. 2微米、10微米。
[0014] 2)對Bi進(jìn)行移位-疊加的超分辨處理，生成三維高分辨圖像E，超分辨處理的具體 過程為：（a)將Bi按照三個維度的超分辨增強(qiáng)因子Ex，Ey，Ez插值到高分辨率的圖像柵格 中，生成Ci，插值方法優(yōu)選雙三次方插值，Ci中的Ex*Ey*Ez個體像素對應(yīng)于Bi中的單個體 像素，但Ci僅具有高的像素密度，圖像的實(shí)際光學(xué)分辨率并沒有獲得提高。Ex，Ey，Ez的 選擇遵循以下原則：第一，根據(jù)樣品在各個維度上的原始分辨率（resx，resy，resz)，以及 所要達(dá)到的最終分辨率選擇所需的Ex，Ey，Ez;第二，因?yàn)閤、y方向原始分辨率相同，因此 通常最終X、y方向的超分辨率也會相同，所以Ex通常會設(shè)置為等于Ey ;第三，Ex*Ey*Ez應(yīng) 設(shè)置為不大于前述的n，否則計算得到的圖像偽信號過多。通常，實(shí)現(xiàn)本方法時先確定要實(shí) 現(xiàn)的Ex, Ey，Ez，然后確定η值，再根據(jù)η值確定掃描步長s，（b)將Ci按照各自已知的亞像 素位移矢量shifti移回參考位，生成Di，并將Di疊加和平均生成單個高分辨率圖像E。E 既融合了高光學(xué)分辨率的信息，也包含由系統(tǒng)點(diǎn)擴(kuò)散函數(shù)導(dǎo)致的像素模糊。將Ci移回參考 位的具體過程為，使用C1作為參考圖像，將C2到Cn按各自的亞像素位移矢量與C1對齊。 每組圖像的亞像素位移矢量由空間偏轉(zhuǎn)角和掃描步長決定。所有的位移矢量均為沿著與圖 像掃描相同的方向。移動后留下的空位像素在程序里被自動填為零。例如，對于圖像Ci，每 個軸上被移動的像素可以被定義為：

【權(quán)利要求】
1. 一種三維像素超分辨顯微成像方法，其特征在于，沿與圖像采集裝置傳感器平面水 平方向X、堅(jiān)直方向y和顯微鏡的Z軸方向各均成非直角空間偏轉(zhuǎn)角的空間矢量掃描樣品， 以能夠使每兩張相鄰的圖像切片之間沿著X，y，z方向均有亞像素位移的步長進(jìn)行掃描， 通過圖像采集裝置采集得到原始三維圖像序列A，將原始圖像序列A根據(jù)無損采樣原則分 割成多組三維圖像序列Bi，對Bi進(jìn)行超分辨處理，生成三維高分辨圖像E，再對E進(jìn)行去模 糊處理，得到清晰的高分辨圖像F，掃描矢量與水平方向、堅(jiān)直方向和顯微鏡的z軸所成的 空間偏轉(zhuǎn)角可以相同，也可以不同。
2. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，該方法可與倒置顯微 鏡成像，共聚焦熒光顯微鏡成像或切片光顯微成像集成。
3. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，所述的超分辨處理的 方法優(yōu)選移位-疊加法。
4. 根據(jù)權(quán)利要求3所述的三維像素超分辨切片光顯微成像方法，所述超分辨處理的具 體過程為，將Bi按照三個維度的超分辨增強(qiáng)因子Ex，Ey，Ez插值到高分辨率的圖像柵格 中，生成Ci，將多組Ci按照各自的亞像素位移矢量shifti移回參考原位，生成Di，并將Di 疊加和平均生成三維高分辨圖像E，再對E進(jìn)行去模糊處理，得到清晰的高分辨圖像F。
5. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，所述的空間偏轉(zhuǎn)角的 大小優(yōu)選由成像系統(tǒng)的單個空間體像素的形狀決定，單個空間體像素的形狀由成像系統(tǒng)的 原始側(cè)向分辨率和原始軸向分辨率決定。
6. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，所述的掃描矢量的方 向優(yōu)選為體像素的體對角線方向。
7. 根據(jù)權(quán)利要求4所述的三維像素超分辨切片光顯微成像方法，所述的步長由Ex， Ey，Ez的乘積和光學(xué)系統(tǒng)的z軸分辨率決定。
8. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，該方法與切片光顯微 成像集成，切片光顯微成像系統(tǒng)的照明光路包括激光發(fā)生裝置、空間濾波裝置、切片光產(chǎn)生 裝置，其中切片光產(chǎn)生裝置為柱面鏡，無需使用物鏡。
9. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，所述的超分辨處理 的方法為 Papoulis-Gerchberg 方法、Iterated Back Projection 方法、Robust Super Resolution 方法或 Structure-Adaptive Normalized Convolution 方法。
10. 根據(jù)權(quán)利要求4所述的三維像素超分辨切片光顯微成像方法，所述插值為雙三次 方插值。
11. 根據(jù)權(quán)利要求1所述的三維像素超分辨切片光顯微成像方法，通過去卷積的方法 進(jìn)行去模糊處理。
【文檔編號】G01N21/64GK104111242SQ201410269145
【公開日】2014年10月22日 申請日期:2014年6月17日 優(yōu)先權(quán)日:2014年6月17日
【發(fā)明者】費(fèi)鵬, 虞之龍, 董思炎, 關(guān)澤一, 嚴(yán)剛 申請人:費(fèi)鵬