本發(fā)明涉及光學(xué)成像，具體涉及一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置及方法。

背景技術(shù)：

1、為了進(jìn)一步深入了解病毒、細(xì)胞等在環(huán)境中的運(yùn)動(dòng)狀態(tài)和功能，各類(lèi)生命科學(xué)研究工具先后提出并獲得應(yīng)用。其中，光學(xué)顯微鏡具有直觀(guān)觀(guān)察和高精度成像的優(yōu)勢(shì)，因此其是生命科學(xué)研究中最為廣泛使用的工具。受限于光學(xué)系統(tǒng)，多數(shù)光學(xué)顯微更加關(guān)注二維成像；然而由于樣品不同的三維位置和結(jié)構(gòu)導(dǎo)致的離焦等因素，傳統(tǒng)的二維顯微成像無(wú)法對(duì)樣品實(shí)現(xiàn)實(shí)時(shí)三維示蹤成像，導(dǎo)致其在許多應(yīng)用中功能受限。比如難以對(duì)單個(gè)病毒入侵細(xì)胞的三維動(dòng)態(tài)過(guò)程進(jìn)行捕捉，比如無(wú)法對(duì)精子的三維運(yùn)動(dòng)特性進(jìn)行測(cè)量，又比如難以對(duì)細(xì)胞中特定組織的位置和狀態(tài)進(jìn)行實(shí)時(shí)探測(cè)。為了實(shí)現(xiàn)實(shí)時(shí)三維示蹤成像，現(xiàn)有技術(shù)先后提出了一些裝置和方法。最為經(jīng)典的例子是共聚焦顯微成像技術(shù)，其最大的優(yōu)勢(shì)是可以實(shí)現(xiàn)三維分層成像，從而對(duì)其運(yùn)動(dòng)軌跡進(jìn)行示蹤。但是受限于掃描方式，共聚焦顯微成像技術(shù)成像速度受限，無(wú)法實(shí)現(xiàn)快速運(yùn)動(dòng)的樣品的三維成像與示蹤。為了提高掃描效率，提出了光片顯微成像技術(shù)，其使用光片掃描取代共聚焦顯微成像中的點(diǎn)掃描，有效提升了成像速度。但是該技術(shù)系統(tǒng)極其復(fù)雜，與現(xiàn)有顯微成像系統(tǒng)不匹配。光場(chǎng)成像技術(shù)可以從單次曝光圖像中精確獲取三維位置，從而實(shí)現(xiàn)快速的三維示蹤與成像。但是光場(chǎng)成像技術(shù)重建得到的圖像分辨率低，丟失了許多樣品細(xì)節(jié)。因此，目前仍舊缺乏一種理想的裝置和方法對(duì)實(shí)現(xiàn)目標(biāo)物的實(shí)時(shí)三維示蹤成像。

2、因此，開(kāi)發(fā)一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置及方法具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置與方法，能夠?qū)Ρ粶y(cè)目標(biāo)物開(kāi)展準(zhǔn)確的三維示蹤和高質(zhì)量的成像觀(guān)察，對(duì)單分子成像、單顆粒示蹤和單病毒入侵等研究具有重要意義。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置，具體包括顯微系統(tǒng)、光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)，其中，所述顯微系統(tǒng)用于提供光源和進(jìn)行成像；所述光場(chǎng)成像系統(tǒng)用于確定目標(biāo)物的軸向定位；所述可變焦成像系統(tǒng)用于高質(zhì)量成像及目標(biāo)物橫向和軸向位置的精確定位。

3、其中，所述顯微系統(tǒng)包括透射式光源1、透射式光源聚光器2、樣品臺(tái)3、顯微物鏡4、落射式熒光光源5、落射式熒光光源聚光器6、熒光激發(fā)塊7、熒光激發(fā)濾光片8、長(zhǎng)通濾光片9、熒光發(fā)射濾光片10和鏡筒透鏡11；

4、其中，所述透射式光源1、透射式光源聚光器2、樣品臺(tái)3、顯微物鏡4、落射式熒光光源5、落射式熒光光源聚光器6、熒光激發(fā)塊7、熒光激發(fā)濾光片8、長(zhǎng)通濾光片9、熒光發(fā)射濾光片10和鏡筒透鏡11的光軸一致。

5、優(yōu)選的，所述透射式光源1用于明場(chǎng)成像；所述落射式熒光光源5用于熒光成像。

6、優(yōu)選的，所述熒光激發(fā)塊7包括熒光激發(fā)濾光片8、長(zhǎng)通濾光片9、熒光發(fā)射濾光片10；

7、更為優(yōu)選的，所述熒光激發(fā)塊7中的熒光激發(fā)濾光片8、長(zhǎng)通濾光片9、熒光發(fā)射濾光片10需要與熒光染料的激發(fā)和發(fā)射需求匹配。

8、其中，所述光場(chǎng)成像系統(tǒng)包括分光棱鏡12、微透鏡陣列13、耦合鏡14和第一圖像傳感器16；

9、其中，所述分光棱鏡12與所述顯微系統(tǒng)中鏡筒透鏡11連接，所述微透鏡陣列13、耦合鏡14和第一圖像傳感器16依次設(shè)置在分光棱鏡12的一側(cè)。

10、優(yōu)選的，所述微透鏡陣列13放置于成像面，且所述微透鏡陣列13經(jīng)耦合鏡14成像后的像面與第一圖像傳感器16靶面的距離是微透鏡陣列13的焦距。

11、其中，所述可變焦成像系統(tǒng)包括可變焦透鏡15和第二圖像傳感器17；

12、其中，所述可變焦透鏡15位于所述光場(chǎng)成像系統(tǒng)中分光棱鏡12與第二圖像傳感器17之間。

13、優(yōu)選的，分光棱鏡12用于將探測(cè)光分為兩部分：一部分經(jīng)過(guò)可變焦透鏡15后被第二圖像傳感器17接收；另一部分經(jīng)過(guò)微透鏡陣列13被第一圖像傳感器16接收。

14、本裝置的工作原理為：被測(cè)樣品發(fā)射熒光或散射光經(jīng)分光棱鏡后被由微透鏡陣列和圖像傳感器組成的光場(chǎng)成像系統(tǒng)和由可變焦透鏡和圖像傳感器組成可變焦成像系統(tǒng)分別成像。首先結(jié)合重聚焦算法和自動(dòng)聚焦算法對(duì)目標(biāo)物進(jìn)行位置定位。之后根據(jù)標(biāo)定結(jié)果，通過(guò)可變焦透鏡的調(diào)整使得可變焦成像系統(tǒng)可以獲取該目標(biāo)物焦面的高質(zhì)量圖像。通過(guò)計(jì)算機(jī)連接光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)，在不同時(shí)刻可根據(jù)光場(chǎng)成像系統(tǒng)定位的目標(biāo)物位置調(diào)整可變焦成像系統(tǒng)從而實(shí)現(xiàn)實(shí)時(shí)三維示蹤成像。

15、本發(fā)明還提供一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像方法，具體包括以下步驟：

16、s1、搭建裝置；

17、s2、裝置標(biāo)定；

18、s3、確定需要示蹤的樣品；

19、s4、針對(duì)某時(shí)刻進(jìn)行樣品定位及成像；

20、s5、重復(fù)s4步驟，得到實(shí)時(shí)三維示蹤成像。

21、其中，所述s2中，裝置標(biāo)定分為顯微系統(tǒng)標(biāo)定、成像系統(tǒng)的視場(chǎng)標(biāo)定和三維空間坐標(biāo)關(guān)系的標(biāo)定。

22、所述s5中，實(shí)時(shí)三維示蹤成像為明場(chǎng)成像或熒光成像。

23、優(yōu)選的，所述顯微系統(tǒng)標(biāo)定具體為該步驟使用與精密平移臺(tái)固定且水平放置的分辨率板作為標(biāo)定樣品，這里要保證分辨率板完全水平放置(可以通過(guò)激光反射或是水平儀檢測(cè))，且將樣品盡可能放置于顯微物鏡的工作面上。依據(jù)明場(chǎng)成像或熒光成像需求設(shè)置熒光激發(fā)塊，首先調(diào)整顯微系統(tǒng)，確保高質(zhì)量成像(可變焦成像系統(tǒng)可以清晰成像分辨率板，光場(chǎng)成像系統(tǒng)經(jīng)重聚焦的重建圖像亦能清晰成像分辨率板)。在此基礎(chǔ)上，主要調(diào)整鏡筒透鏡11的位置，確保光場(chǎng)成像系統(tǒng)重建的分辨率板在焦圖像盡可能位于重建的一系列多焦面圖像的中心位置。其中光場(chǎng)重聚焦由圖2和公式(1)-(12)所示，具體為：

24、光場(chǎng)可以表示為l(u，v，s，t)，其中(u，v)和(s，t)表示了坐標(biāo)位置。l(u，v，s，t)描述通過(guò)單個(gè)微透鏡pmla(si，tj)的光場(chǎng)，如公式(1)所示。其中，(i，j)表示像素索引，且(i，j)屬于(u，v)，u0(si，tj)表示單個(gè)微透鏡pmla(si，tj)對(duì)應(yīng)像素。

25、u0(si，ti)＝∫∫l(u，v，si，ti)·pmla(si，ti)dudv????(1)

26、對(duì)于常用的六邊形微透鏡，對(duì)應(yīng)的記錄像素值也采用六邊形陣列。為了便于后續(xù)處理，需要使用插值將u0(si，tj)重新映射到矩形陣列中，如公式(2)所示。

27、

28、來(lái)自(u，v)平面中所有微透鏡的重映射像素被重構(gòu)以獲得用于重聚焦的強(qiáng)度分布u(s，t)，如公式(3)所示。

29、

30、在重聚焦過(guò)程中，圖像傳感器收集來(lái)自局域光場(chǎng)l(u，v，s，t)的信號(hào)，圖像強(qiáng)度e(s，t)由公式(4)表示。

31、e(s，t)＝∫∫l(u，v，s，t)dudv＝u(s，t)?????(4)

32、任一重聚焦圖像的強(qiáng)度e(s’，t’)可以根據(jù)公式(5)重建。其中u表示微透鏡陣列平面，s表示圖像傳感器平面，s’表示重新聚焦的圖像平面。f和f′分別是從u到s和從u到s'的間隔。

33、e(s′，t′)＝∫∫l(u，v，s′，t′)dudv?????(5)

34、公式(6)和(7)可以根據(jù)相似三角形導(dǎo)出，其中α根據(jù)公式(8)定義，表示不同的重新聚焦位置。

35、

36、對(duì)于相同的射線(xiàn)，公式(9)始終成立。

37、

38、通過(guò)將公式(9)代入公式(4)，可以通過(guò)投影積分獲得公式(10)中列出的重聚焦圖像，其可以后續(xù)化簡(jiǎn)為公式(11)。

39、

40、根據(jù)公式(11)，可以通過(guò)在(s，t)處的空間平移和在(u，v)處的角度積分，從捕獲的光場(chǎng)l(u，v，s，t)重建重新聚焦在不同平面上的圖像。其中在焦圖像可以根據(jù)重建圖像的梯度判斷：如公式(12)所示的梯度值極大值代表了在焦圖像。

41、

42、之后，在確定光場(chǎng)成像系統(tǒng)的基礎(chǔ)上調(diào)整可變焦成像系統(tǒng)，確保光場(chǎng)成像系統(tǒng)重建的分辨率板在焦圖像盡可能位于可變焦透鏡重建的一系列多焦面圖像的中心位置?？勺兘雇哥R重建的一系列多焦面圖像的在焦圖像i(z)同樣可以根據(jù)圖像的梯度判斷，如公式(13)所示。

43、

44、這一顯微系統(tǒng)的標(biāo)定步驟可以保證光場(chǎng)圖像采集系統(tǒng)的中心成像面與可變焦成像系統(tǒng)的中心成像面重合，該環(huán)節(jié)的目的主要是能夠保證光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)的景深能夠很好的覆蓋以顯微物鏡工作面為中心且有一定深度的觀(guān)察區(qū)域。最后，使用樣品平移臺(tái)在光軸方向上下精確移動(dòng)分辨率板，拍攝對(duì)應(yīng)的光場(chǎng)圖像并重建一系列多焦面圖像。當(dāng)上下移動(dòng)分辨率板至臨界位置時(shí)，恰能重建清晰的在焦圖像，從而確定基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置的景深。

45、優(yōu)選的，所述成像系統(tǒng)的視場(chǎng)標(biāo)定具體為該步驟同樣使用分辨率板作為標(biāo)定樣品。依據(jù)明場(chǎng)成像或熒光成像需求設(shè)置熒光激發(fā)塊，然后分別使用光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)拍攝其圖像。之后，從光場(chǎng)圖像中重建出和可變焦成像系統(tǒng)位于同一焦面的圖像。其中光場(chǎng)圖像重聚焦過(guò)程基于上述圖2和公式(1)-(12)。最后，根據(jù)兩幅圖像校準(zhǔn)光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)：如若兩幅圖像視場(chǎng)具有明顯偏差，則需要調(diào)節(jié)可變焦成像系統(tǒng)(僅調(diào)節(jié)可變焦成像系統(tǒng)而非光場(chǎng)成像系統(tǒng)的原因是可變焦成像系統(tǒng)相對(duì)簡(jiǎn)單)，使得兩幅圖像盡可能“對(duì)準(zhǔn)”；在“硬件”校準(zhǔn)的基礎(chǔ)上，精確確定光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)視場(chǎng)的縮放、旋轉(zhuǎn)和平移，實(shí)現(xiàn)“軟件”視場(chǎng)校準(zhǔn)。

46、優(yōu)選的，所述三維空間坐標(biāo)關(guān)系的標(biāo)定具體為該步驟同樣使用分辨率板作為標(biāo)定樣品。依據(jù)明場(chǎng)成像或熒光成像需求設(shè)置熒光激發(fā)塊，然后標(biāo)定光場(chǎng)成像系統(tǒng)中物方和像方三維空間坐標(biāo)關(guān)系。在系統(tǒng)景深范圍內(nèi)，在光軸方向(z方向)上精確移動(dòng)該分辨率板(即完全已知物方位置)，采集一系列光場(chǎng)圖像并根據(jù)圖2和公式(1)-(12)重建對(duì)應(yīng)的多焦面圖像并確定分辨率板在像方的位置，即獲得了一系列物方采樣位置及其對(duì)應(yīng)的像方位置，根據(jù)兩者確定光場(chǎng)成像系統(tǒng)物方和像方三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系。之后標(biāo)定可變焦成像系統(tǒng)中物方和像方三維空間坐標(biāo)關(guān)系。在系統(tǒng)景深范圍內(nèi)，在光軸方向(z方向)上精確移動(dòng)該分辨率板(即完全已知物方位置)，調(diào)節(jié)可變焦透鏡并根據(jù)公式(13)，獲得一系列在焦圖像，根據(jù)兩者確定可變焦成像系統(tǒng)物方和像方三維坐標(biāo)之間的對(duì)應(yīng)關(guān)系，并確定可變焦透鏡焦距和物方位置的關(guān)系。最后，對(duì)標(biāo)定結(jié)果進(jìn)行驗(yàn)證，橫向(x-y方向)和軸向(z方向)平移樣品臺(tái)，生成一組新的(與標(biāo)定位置完全不同)且物方三維位置已知的圖像，如對(duì)于一特征點(diǎn)，其實(shí)際位置為(x0，y0，z0)。根據(jù)光場(chǎng)成像系統(tǒng)和可變焦成像系統(tǒng)物方和像方三維空間坐標(biāo)的標(biāo)定結(jié)果得到該特征點(diǎn)測(cè)量位置(x，y，z)。兩者之間的相對(duì)誤差若小于5％，則認(rèn)為標(biāo)定成立，否則需要重新標(biāo)定。

47、更優(yōu)選的，完成以上標(biāo)定后，該裝置各個(gè)元件之間的位置關(guān)系便不能改變，只能移動(dòng)其整體結(jié)構(gòu)。一旦改變，需要重復(fù)該標(biāo)定過(guò)程。

48、有益效果：本發(fā)明針對(duì)現(xiàn)有顯微成像裝置難以對(duì)被測(cè)目標(biāo)實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)三維示蹤成像的缺點(diǎn)，提出了一種基于局域光場(chǎng)重聚焦定位和成像面動(dòng)態(tài)反饋調(diào)整的實(shí)時(shí)三維示蹤成像裝置與方法。本發(fā)明首先使用裝置中光場(chǎng)成像系統(tǒng)對(duì)被測(cè)目標(biāo)進(jìn)行圖像采集，通過(guò)被測(cè)樣品周?chē)钟蚬鈭?chǎng)重聚焦，快速準(zhǔn)確確定目標(biāo)物的軸向定位。進(jìn)而根據(jù)確定的目標(biāo)物軸向位置，使用可變焦透鏡對(duì)成像焦面進(jìn)行調(diào)整，從而實(shí)現(xiàn)目標(biāo)物及其周?chē)h(huán)境的高質(zhì)量成像并實(shí)現(xiàn)被測(cè)目標(biāo)橫向和軸向位置的精確定位。整體算法可由軟件直接控制、計(jì)算和顯示。并且根據(jù)不同的需求，可以通過(guò)不同光源模式，用于不同的成像模式。本發(fā)明相較于其它方法可成像模式數(shù)量更多，且系統(tǒng)更為簡(jiǎn)單，從而為單分子成像、單顆粒示蹤、病毒入侵研究等應(yīng)用提供了新的技術(shù)手段。