基于標(biāo)記的工具跟蹤的制作方法
【專利摘要】一種眼科手術(shù)工具具有位于所述眼科手術(shù)工具的遠(yuǎn)端部分的標(biāo)記。將所述眼科手術(shù)工具的所述遠(yuǎn)端部分連同所述標(biāo)記插入到眼睛中，以在所述眼睛中執(zhí)行手術(shù)。一種成像裝置捕獲所述眼睛的基底的圖像，包含所述眼科手術(shù)工具的所述遠(yuǎn)端部分的圖像。一種圖像處理器處理所捕獲圖像，來從所捕獲圖像識(shí)別和提取所述標(biāo)記。所述標(biāo)記在可見光或紅外光范圍或其它光譜范圍內(nèi)具有高對(duì)比度特征。因此，所述圖像處理器可從所捕獲圖像識(shí)別和提取所述標(biāo)記?？苫谒鰳?biāo)記產(chǎn)生指示符，并用所述基底的所捕獲或經(jīng)處理的圖像來覆蓋所述指示符，并向用戶顯示，從而向所述用戶指示手術(shù)信息。
【專利說明】基于標(biāo)記的工具跟蹤
[0001 ] 背景
[0002]本文所公開的裝置、系統(tǒng)和方法通常涉及基于標(biāo)記的工具跟蹤，且更明確地說，涉及被配置來在眼科手術(shù)中執(zhí)行基于標(biāo)記的工具跟蹤的裝置、系統(tǒng)和方法。
[0003]在眼科手術(shù)期間，可將例如手術(shù)成像探針、手術(shù)鉗、手術(shù)剪、手術(shù)玻璃體切除探針等手術(shù)工具插入到眼睛中，來在眼睛中執(zhí)行各種手術(shù)。通常，在眼科手術(shù)期間，將手術(shù)工具的遠(yuǎn)端部分插入到眼睛中。因此，眼睛的圍繞手術(shù)工具的遠(yuǎn)尖端的區(qū)域是外科醫(yī)生的所關(guān)注區(qū)。為了實(shí)現(xiàn)有引導(dǎo)的手術(shù)治療，例如針對(duì)內(nèi)界膜(ILM)剝離的手術(shù)中光學(xué)相干斷層成像術(shù)(OCT)，使用自動(dòng)工具尖端跟蹤來高效地封閉反饋環(huán)路，以允許OCT引擎定位掃描目標(biāo)區(qū)域。另外，為了在手術(shù)期間提供實(shí)時(shí)反饋，可將有用的手術(shù)數(shù)據(jù)覆蓋到外科醫(yī)生的當(dāng)前所關(guān)注區(qū)域。當(dāng)外科醫(yī)生移動(dòng)插入到眼睛中的手術(shù)工具的遠(yuǎn)端部分時(shí)，所關(guān)注區(qū)域可相應(yīng)地移位。因此，可使用自動(dòng)工具跟蹤來定位所關(guān)注區(qū)域，以調(diào)整手術(shù)數(shù)據(jù)覆蓋，因此外科醫(yī)生可看到它，而無需將視線從當(dāng)前所關(guān)注區(qū)域移開。
[0004]有三種常規(guī)技術(shù)用于一般目標(biāo)跟蹤。第一種技術(shù)是基于運(yùn)動(dòng)的目標(biāo)跟蹤。基于運(yùn)動(dòng)的目標(biāo)跟蹤可用于自動(dòng)化監(jiān)視?；谶\(yùn)動(dòng)的目標(biāo)跟蹤可使用圖像處理算法，例如背景減法、幀差法以及光學(xué)流來跟蹤目標(biāo)。然而，基于運(yùn)動(dòng)的目標(biāo)跟蹤算法需要準(zhǔn)靜止背景，且可能不適合背景可能不斷變化的眼科手術(shù)中的工具跟蹤。
[0005]用于一般目標(biāo)跟蹤的第二種技術(shù)是基于區(qū)的目標(biāo)跟蹤。基于區(qū)的目標(biāo)跟蹤可用于跟蹤簡(jiǎn)單的目標(biāo)。在基于區(qū)的目標(biāo)跟蹤中，離線或在第一幀期間預(yù)選目標(biāo)模板。對(duì)于后續(xù)幀，在整個(gè)視野中搜索所述模板，且將與所述模板具有最大相似性的位置識(shí)別為所述目標(biāo)。然而，基于區(qū)的目標(biāo)跟蹤對(duì)目標(biāo)姿態(tài)變化和局部照明改變敏感，且可能不適合工具的照明和定向變化較大的眼科手術(shù)中的工具跟蹤。
[0006]用于一般目標(biāo)跟蹤的第三種技術(shù)是基于特征的目標(biāo)跟蹤。基于特征的目標(biāo)跟蹤可在整個(gè)視野中提取并搜索目標(biāo)的獨(dú)特特征，例如輪廓、邊緣、形狀、色彩、隅角/關(guān)注點(diǎn)等，來用于目標(biāo)檢測(cè)。然而，在基于特征的跟蹤算法中，需要對(duì)環(huán)境和目標(biāo)姿態(tài)變化不敏感且對(duì)目標(biāo)來說獨(dú)特的高對(duì)比度特征。由于大多數(shù)手術(shù)工具并不擁有高對(duì)比度內(nèi)在特征，因此基于特征得目標(biāo)跟蹤無法提供合適的結(jié)果。
[0007]在玻璃體視網(wǎng)膜手術(shù)中，照明條件對(duì)于工具跟蹤來說可能成為挑戰(zhàn)?？蓪?nèi)腔照明器插入到眼睛中來進(jìn)行照明。因?yàn)閮?nèi)腔照明器可在手術(shù)期間移動(dòng)，因此照明條件在圖像幀之間可能變化很大，且正被照明的基底區(qū)域的圖像可能隨時(shí)間變化很大。基于運(yùn)動(dòng)的和基于區(qū)的目標(biāo)跟蹤技術(shù)在不一致照明條件下可能難以實(shí)施。另外，對(duì)于從一側(cè)照明的單個(gè)照明器，來自手術(shù)工具的陰影假影以及鏡面反射可能增加工具跟蹤的復(fù)雜性。此外，為了通過攝像機(jī)捕獲基底圖像，成像光從眼睛的光束路徑可經(jīng)過多個(gè)光學(xué)元件和介質(zhì)，例如眼睛玻璃體、老化的晶狀體、眼角膜，以及雙目間接眼底顯微鏡(B1M)晶狀體。成像光的光束路徑中的這些光學(xué)元件可使圖像品質(zhì)進(jìn)一步降級(jí)，并減小對(duì)比度。因此，可能難以提取各種手術(shù)工具的內(nèi)在特征來實(shí)現(xiàn)實(shí)時(shí)工具跟蹤。
[0008]本公開是有關(guān)解決現(xiàn)有技術(shù)的缺點(diǎn)中的一個(gè)或多個(gè)的裝置、系統(tǒng)和方法。

【發(fā)明內(nèi)容】

[0009]在一個(gè)示例性方面中，本公開是有關(guān)眼科手術(shù)工具跟蹤系統(tǒng)。所述眼科手術(shù)工具跟蹤系統(tǒng)可包含:眼科手術(shù)工具，其具有被配置來插入到眼睛中的遠(yuǎn)端部分，標(biāo)記位于所述眼科手術(shù)工具的所述遠(yuǎn)端部分處；以及工具位置檢測(cè)系統(tǒng)，其被配置來通過檢測(cè)所述標(biāo)記而確定眼科手術(shù)工具的遠(yuǎn)端部分在眼睛中的位置。
[0010]所述工具位置檢測(cè)系統(tǒng)可包含:光源，其被配置來將光引入到眼睛中；成像裝置，其被配置來捕獲眼睛連同插入到眼睛中的眼科手術(shù)工具的遠(yuǎn)端部分的圖像;處理器；以及顯示器。所述處理器被配置來處理所捕獲圖像以識(shí)別所述標(biāo)記，產(chǎn)生指示手術(shù)數(shù)據(jù)的指示符，所述手術(shù)數(shù)據(jù)例如為手術(shù)工具的位置、手術(shù)工具的定向、圖像、手術(shù)設(shè)置參數(shù)，將所述指示符覆蓋在所捕獲圖像或經(jīng)處理的圖像上。所述顯示器被配置來顯示覆蓋有指示符的所捕獲圖像或經(jīng)處理的圖像。在另一示例性方面中，本公開是有關(guān)一種用于跟蹤插入到眼睛中的眼科手術(shù)工具的方法。所述方法可包含:將成像光引入到眼睛中；捕獲所述眼睛連同插入到眼睛中的眼科手術(shù)工具的遠(yuǎn)端部分的圖像；以及通過檢測(cè)眼科手術(shù)工具的遠(yuǎn)端部分處的標(biāo)記，來確定眼科手術(shù)工具的遠(yuǎn)端部分在眼睛中的位置。
[0011]在一些方面中，確定遠(yuǎn)端部分的位置可包含:處理所捕獲圖像以識(shí)別所述標(biāo)記;產(chǎn)生指示手術(shù)數(shù)據(jù)的指示符，所述手術(shù)數(shù)據(jù)例如為手術(shù)工具的位置、手術(shù)工具的定向、圖像、手術(shù)設(shè)置參數(shù);將所述指示符覆蓋在所捕獲圖像或經(jīng)處理的圖像上；以及在顯示器上顯示覆蓋有指示符的所捕獲圖像或經(jīng)處理的圖像。
[0012]將理解，前面的一般描述和下面的詳細(xì)描述兩者本質(zhì)上均為示例性和闡釋性的，且意在提供對(duì)本公開的理解，而不限制本公開的范圍。在這點(diǎn)上，本領(lǐng)域的技術(shù)人員從以下詳細(xì)描述將明白本公開的額外方面、特征和優(yōu)點(diǎn)。
【附圖說明】
[0013]【附圖說明】本文所公開的裝置和方法的實(shí)施方案，并連同描述一起，用來闡釋本公開的原理。
[0014]圖1示出根據(jù)與本公開的原理一致的方面的示例性眼科手術(shù)工具跟蹤系統(tǒng)的示意圖。
[0015]圖2示出根據(jù)與本公開的原理一致的方面的示例性手術(shù)工具的遠(yuǎn)端部分。
[0016]圖3示出根據(jù)與本公開的原理一致的方面的一標(biāo)記和各種類型的標(biāo)記的透視圖。
[0017]圖4是示出根據(jù)與本公開的原理一致的方面的用于工具跟蹤的方法的流程圖。
[0018]圖5示出根據(jù)與本公開的原理一致的方面的眼科手術(shù)期間的基底的圖像。
【具體實(shí)施方式】
[0019]為了促進(jìn)對(duì)本公開原理的理解的目的，現(xiàn)在將參考圖中所示出的實(shí)施方案，且將使用特定語(yǔ)言來描述所述實(shí)施方案。然而，將理解，無意限制本公開的范圍。完全預(yù)期對(duì)所描述的系統(tǒng)、裝置和方法的任何更改和進(jìn)一步修改，以及本公開的原理的任何進(jìn)一步應(yīng)用，因?yàn)楸竟_本領(lǐng)域的技術(shù)人員正常會(huì)想到。明確地說，完全預(yù)期相對(duì)于一個(gè)實(shí)施方案而描述的系統(tǒng)、裝置和/或方法可與相對(duì)于本公開的其它實(shí)施方案而描述的特征、組件和/或步驟組合。然而，為了簡(jiǎn)明起見，將不分別描述這些組合的許多重復(fù)。為了簡(jiǎn)單，在一些例子中，在圖式中始終使用相同參考數(shù)字來指代相同或相似部分。
[0020]本文所描述的裝置、系統(tǒng)和方法提供一種眼科手術(shù)工具跟蹤系統(tǒng)，其包含眼科手術(shù)工具，其中標(biāo)記位于所述眼科手術(shù)工具的遠(yuǎn)端部分。當(dāng)將眼科手術(shù)工具的遠(yuǎn)端部分連同所述標(biāo)記插入到眼睛中時(shí)，所述系統(tǒng)跟蹤所述標(biāo)記的位置，來在眼睛中執(zhí)行手術(shù)。光源，例如內(nèi)腔照明器，可將光引入到眼睛的基底中。所述光可反射離開眼睛的基底以及眼科手術(shù)工具的遠(yuǎn)端部分。所述系統(tǒng)的成像裝置可接收反射的光，來捕獲眼睛的基底和眼科手術(shù)工具的遠(yuǎn)端部分的圖像。
[0021]所述系統(tǒng)還可包含圖像處理器，其可處理所捕獲的圖像來從所捕獲的圖像識(shí)別和提取標(biāo)記。所述標(biāo)記可在可見光或紅外光范圍或其它光譜范圍內(nèi)具有高對(duì)比度特征。因此，所述圖像處理器可從所捕獲圖像識(shí)別和提取所述標(biāo)記?？墒褂盟鰳?biāo)記的位置來產(chǎn)生指示手術(shù)數(shù)據(jù)的指示符，所述手術(shù)數(shù)據(jù)例如為手術(shù)工具的位置、手術(shù)工具的定向、圖像、手術(shù)設(shè)置參數(shù)。接著用基底的所捕獲圖像或經(jīng)處理的圖像來覆蓋所述指示符，并向用戶顯示。通過使用以上標(biāo)記的眼科手術(shù)工具跟蹤系統(tǒng)，可在眼科手術(shù)期間實(shí)施穩(wěn)健的工具跟蹤，因?yàn)楦邔?duì)比度標(biāo)記對(duì)在眼科手術(shù)中頻繁發(fā)生的照明變化或陰影假影較不敏感。另外，所述系統(tǒng)可實(shí)時(shí)地指示手術(shù)數(shù)據(jù)，例如手術(shù)工具的存在、位置和定向；圖像;手術(shù)設(shè)置參數(shù)，來在眼睛中的眼科外科手術(shù)期間幫助外科醫(yī)生。
[0022]圖1示出相對(duì)于待治療的眼睛101安置的示例性眼科手術(shù)工具跟蹤系統(tǒng)，通常表示為100。眼睛101包含鞏膜102、角膜104、前腔106和后腔108。說明囊袋110在后腔108中。眼睛101進(jìn)一步包含視網(wǎng)膜112。眼科手術(shù)工具130可用來在眼睛101中執(zhí)行手術(shù)?？蓪⒀劭剖中g(shù)工具130的大小和形狀設(shè)計(jì)成由外科醫(yī)生抓握，并伸出到患者的眼睛101中。
[0023]眼科手術(shù)工具130可包含近端部分148和遠(yuǎn)端部分144?？蓪⒔瞬糠?48的大小和形狀設(shè)計(jì)成由用戶手握。舉例來說，近端部分148可界定把手，其大小和形狀設(shè)計(jì)成由用戶的單手抓握。在使用中，用戶可通過操縱近端部分148來控制遠(yuǎn)端部分144的位置。眼科手術(shù)工具130的遠(yuǎn)端部分144可包含標(biāo)記114。所述標(biāo)記可在可見光或紅外線光譜或可由眼科手術(shù)工具跟蹤系統(tǒng)100的成像裝置124檢測(cè)的其它光譜范圍內(nèi)具有高對(duì)比度特征。
[0024]眼科手術(shù)工具跟蹤系統(tǒng)100還可包含光源122，例如內(nèi)腔照明器。光源122可具有遠(yuǎn)端部分，其被配置來插入到眼睛101中。光源122的遠(yuǎn)尖端可發(fā)射成像光，其可照明眼睛101的基底?；资茄劬?01的內(nèi)部表面，且可包含視網(wǎng)膜112。來自光源122的成像光可從基底和眼科手術(shù)工具130的遠(yuǎn)端部分144反射。反射的成像光可經(jīng)過囊袋110、前腔106、角膜104，且由被配置來捕獲眼睛101的基底圖像的成像裝置124接收。晶狀體132和134可提供于眼睛101與成像裝置124之間，來接收來自基底的經(jīng)反射成像光，并將成像光引導(dǎo)到成像裝置124。
[0025]在一些實(shí)施方案中，成像裝置124可包含一個(gè)或多個(gè)攝像機(jī)，其被配置來捕獲基底的圖像。所述攝像機(jī)可捕獲可見光譜、紅外線光譜或其它光譜范圍內(nèi)的圖像。舉例來說，成像裝置124可包含在可見光譜中捕獲基底的圖像的攝像機(jī)和在紅外線光譜中捕獲基底附近的紅外線標(biāo)記114的紅外線圖像的攝像機(jī)中的任一者或兩者。
[0026]眼科手術(shù)工具跟蹤系統(tǒng)100還可包含圖像處理器126。圖像處理器126可接收成像裝置124所捕獲的圖像幀，并對(duì)所述圖像幀執(zhí)行各種圖像處理。明確地說，圖像處理器126可對(duì)圖像幀執(zhí)行圖像分析，以從圖像幀識(shí)別和提取標(biāo)記114的圖像。另外，圖像處理器126可產(chǎn)生指示符，并將所述指示符覆蓋在基底的圖像或經(jīng)處理的圖像上。所述指示符可包含手術(shù)數(shù)據(jù)，例如標(biāo)記114在基底的圖像中的位置和定向、眼科手術(shù)工具130的遠(yuǎn)尖端146的位置和定向、圖像、手術(shù)設(shè)置參數(shù)。所覆蓋的圖像接著可由顯示器128向用戶顯示。
[0027]成像裝置124、圖像處理器126和顯示器128可在分開的外殼中實(shí)施，所述外殼通信地彼此耦合，或耦合在共用控制臺(tái)或外殼內(nèi)。用戶接口 136可與顯示器128和/或圖像處理器126相關(guān)聯(lián)。用戶接口可包含例如鍵盤、鼠標(biāo)、控制桿、觸摸屏、眼睛跟蹤裝置、語(yǔ)音辨識(shí)裝置、示意動(dòng)作控制模塊、刻度盤和/或按鈕，以及其它輸入裝置。用戶可在用戶接口 136處輸入所要的指令或參數(shù)，來控制成像裝置124拍攝眼睛101的圖像。在眼科手術(shù)期間，外科醫(yī)生可在顯示器128上審查基底的圖像和/或所覆蓋的指示符，來使手術(shù)以及眼科手術(shù)工具130的遠(yuǎn)尖端146在基底的各個(gè)部分內(nèi)的相對(duì)位置可視化。
[0028]圖2是眼科手術(shù)工具130的遠(yuǎn)端部分144的放大視圖。一個(gè)或多個(gè)標(biāo)記114可位于遠(yuǎn)端部分144處。明確地說，可將標(biāo)記114繞貼在眼科手術(shù)工具130的遠(yuǎn)端部分，使得甚至在旋轉(zhuǎn)眼科手術(shù)工具130時(shí)，也能在所有方向上看到標(biāo)記114。標(biāo)記114可為接合到眼科手術(shù)工具130的標(biāo)簽或打印貼花紙。標(biāo)記114可用合成材料(例如塑料)形成。因此，標(biāo)記114可不在生物學(xué)組織中惡化。另外，標(biāo)記114可為生物相容的，且并不干涉生物學(xué)組織或與之反應(yīng)。在一些實(shí)施方案中，可將標(biāo)記114刻在眼科手術(shù)工具130的外表面上。因此，標(biāo)記114可為刻在眼科手術(shù)工具130的外表面上的一層漆。在一些實(shí)施方案中，可將標(biāo)記114嵌入眼科手術(shù)工具130的壁中。另外，標(biāo)記114在可見、紅外線或其它光譜中可具有高對(duì)比度特征。高對(duì)比度特征可為可與基底中的色彩或圖案區(qū)分開的色彩或圖案。舉例來說，高對(duì)比度色彩可為綠色，其通常并不在眼睛的基底中出現(xiàn)。值得注意的是，標(biāo)記114不應(yīng)增加手術(shù)工具的大小。
[0029]圖3示出標(biāo)記114的各種實(shí)例。標(biāo)記114可具有環(huán)形帶狀形狀，其被配置來繞貼在眼科手術(shù)工具130的遠(yuǎn)端部分144周圍。標(biāo)記114可具有內(nèi)表面116和外表面118。內(nèi)表面116可具有粘合劑，且被配置來粘合或接合到眼科手術(shù)工具130的外表面。眼科手術(shù)工具130的遠(yuǎn)端部分144的外表面可具有周向凹槽，其被配置來容納所述環(huán)形帶狀標(biāo)記114。因此，標(biāo)記114可緊緊地配合在周向凹槽中。標(biāo)記114的外表面118可具有被配置來將標(biāo)記114從基底圖像中的其它元素區(qū)分開的色彩或圖案。
[0030]一個(gè)或多個(gè)標(biāo)記114可用于眼科手術(shù)工具130。標(biāo)記114可由生物相容和/或合成材料(例如無菌塑料)形成。在一些實(shí)施方案中，標(biāo)記114可為刻在眼科手術(shù)工具130的遠(yuǎn)端部分144的外表面上的一層漆。標(biāo)記114可彼此重疊，或彼此分開。標(biāo)記114可具有一個(gè)或多個(gè)高對(duì)比度色彩。舉例來說，標(biāo)記114可具有綠色，其并不出現(xiàn)在典型的基底圖像中。因此，綠色標(biāo)記114可從基底圖像中的其它元素區(qū)分開。
[0031]標(biāo)記114可具有各種色彩、紋理或光譜對(duì)比度。明確地說，標(biāo)記114可包含可識(shí)別眼科手術(shù)工具130的定向和角度的圖案。舉例來說，如圖3中所示，標(biāo)記114a可具有純高對(duì)比度色彩。當(dāng)將環(huán)形帶狀標(biāo)記114a切開時(shí)，標(biāo)記114a可為純色的帶狀物。在另一實(shí)例中，標(biāo)記114b可具有可將標(biāo)記114b從背景基底圖像區(qū)分開的紋理圖案。示例性標(biāo)記114c可包含被配置來反射或發(fā)射紅外光的紅外色彩。還可使用具有各種光譜吸收率/發(fā)射率的標(biāo)記114。
[0032]標(biāo)記114可包含字母、數(shù)字、條形碼、圖案、符號(hào)或圖片。示例性標(biāo)記114d可包含字母。如圖3中所示，假定標(biāo)記114d在眼科手術(shù)工具130的遠(yuǎn)端部分144周圍繞貼360度，字母“A”可位于零度位置附近，且字母“E”可位于360度位置附近。字母“B”、“C”和“D”可位于“A”與“E”之間的相應(yīng)位置處。因此，基于字母的定向，可確定標(biāo)記114d的旋轉(zhuǎn)位置，間接地確定眼科手術(shù)工具130的旋轉(zhuǎn)位置。示例性標(biāo)記114e可包含數(shù)字“I”到“5”。類似地，數(shù)字可指示眼科手術(shù)工具130的旋轉(zhuǎn)位置。另外，字母或數(shù)字的定向還可指示眼科手術(shù)工具130的傾斜角度。舉例來說，數(shù)字或字母可相對(duì)于眼科手術(shù)工具130的遠(yuǎn)尖端146定向，使得數(shù)字或字母的地步面向遠(yuǎn)尖端146。因此，基于數(shù)字或字母的定向，可確定遠(yuǎn)尖端146的傾斜角度。
[0033]示例性標(biāo)記114f可包含條形碼或條紋。條紋的方向可指示眼科手術(shù)工具130的傾斜角度。另外，條紋的數(shù)目可變化來指示標(biāo)記114f的旋轉(zhuǎn)位置，且間接地指示眼科手術(shù)工具130的旋轉(zhuǎn)位置。標(biāo)記114g具有各種點(diǎn)圖案。點(diǎn)的數(shù)目可指示標(biāo)記114f的旋轉(zhuǎn)位置，且點(diǎn)的對(duì)準(zhǔn)可指示標(biāo)記114f的傾斜角度。還可在標(biāo)記114上使用其它符號(hào)。舉例來說，可在標(biāo)記114h和114i的不同旋轉(zhuǎn)位置處使用各種符號(hào)，例如形狀或非字符符號(hào)，來指示旋轉(zhuǎn)位置。另夕卜，可使用圖片來指示標(biāo)記114j的旋轉(zhuǎn)和傾斜位置。還可在標(biāo)記114上使用可指示眼科手術(shù)工具130的定向位置的其它圖案或符號(hào)。
[0034]圖4是示出用于跟蹤插入眼睛101中的眼科手術(shù)工具130的方法400的流程圖。如上文所述，光源122可將成像光引入到眼睛101的基底中。從基底反射的成像光可由晶狀體132和134引導(dǎo)，并由成像裝置124接收。在402處，成像裝置124可捕獲基底的圖像。明確地說，成像裝置124可捕獲圖像的幀來形成視頻?？蓪⒚恳粓D像幀轉(zhuǎn)發(fā)到圖像處理器126，以供處理或分析。
[0035]在404處，圖像處理器126可對(duì)圖像幀執(zhí)行對(duì)比度和特征增強(qiáng)處理。舉例來說，圖像處理器126可以紅-綠-藍(lán)(RGB)格式接收所述圖像幀。在404處，圖像處理器126可將RGB格式圖像幀轉(zhuǎn)換到色調(diào)-飽和度-值(HSV)空間中。在406處，在已增強(qiáng)圖像幀來顯出對(duì)比度和特征之后，圖像處理器126可確定標(biāo)記114的第一階估計(jì)掩模。舉例來說，基于標(biāo)記114的預(yù)定色彩，圖像處理器126可將準(zhǔn)則應(yīng)用于HSV圖像幀的色調(diào)和飽和度通道，其可將標(biāo)記114從背景分開，以便顯出并估計(jì)標(biāo)記114的圖像。
[0036]在408處，圖像處理器126可從圖像幀提取標(biāo)記114的圖像。舉例來說，圖像處理器126可實(shí)施斑點(diǎn)檢測(cè)來檢測(cè)圖像幀中的標(biāo)記114的邊界。斑點(diǎn)可為圖像幀的區(qū)，其中一些性質(zhì)，例如色彩和亮度，大致恒定。圖像處理器126可搜索圖像幀中具有大致恒定性質(zhì)的區(qū)來檢測(cè)斑點(diǎn)。因此，圖像處理器126可尋找標(biāo)記114的邊界，并從圖像幀提取標(biāo)記114。
[0037]在410處，圖像處理器126可分析從圖像幀所提取的標(biāo)記114的形狀和定向?；陬A(yù)定圖案和色彩，圖像處理器126可確定標(biāo)記114在圖像幀中的定向。舉例來說，如果標(biāo)記114具有條紋，那么圖像處理器126可基于條紋的定向和方向來確定標(biāo)記114的定向。
[0038]在412處，圖像處理器126可確定眼科手術(shù)工具130的遠(yuǎn)尖端146的位置和定向。明確地說，基于標(biāo)記114的位置和定向，圖像處理器126可確定眼科手術(shù)工具130的遠(yuǎn)尖端146的位置和定向。舉例來說，標(biāo)記114可定位成距眼科手術(shù)工具130的遠(yuǎn)尖端146預(yù)定距離，且可具有指示眼科手術(shù)工具130的指向的圖案，例如條紋或箭頭。因此，基于標(biāo)記114的位置和圖案，圖像處理器126可確定眼科手術(shù)工具的遠(yuǎn)尖端146的位置，以及眼科手術(shù)工具的指向或定向。
[0039]在414處，圖像處理器126可顯示并覆蓋指示符，以指示眼科手術(shù)工具130的遠(yuǎn)尖端146或用于手術(shù)引導(dǎo)的其它手術(shù)數(shù)據(jù)。舉例來說，圖像處理器126可產(chǎn)生指示符，例如對(duì)話框、圓形、星形或箭頭，并在眼科手術(shù)工具130的遠(yuǎn)尖端146的位置處將指示符覆蓋到圖像幀中。另外，所述指示符可指示眼科手術(shù)工具130的定向，例如，指向角度。舉例來說，箭頭可用作指示符來指示眼科手術(shù)工具130的指向。另外，指示符還可包含圖像，例如視網(wǎng)膜112的區(qū)的OCT圖像，或手術(shù)設(shè)置參數(shù)，例如玻璃體切除探針的切割速度。顯示器128可顯示覆蓋有所述指示符的圖像幀。
[0040]圖5示出眼科手術(shù)期間的基底圖像500。基底圖像500可經(jīng)顯示或經(jīng)處理，且在顯示器128上顯示。如基底圖像500中所示，將眼科手術(shù)工具130的遠(yuǎn)端部分144插入到眼睛101中。遠(yuǎn)端部分144可具有標(biāo)記114。在圖像處理器126提取標(biāo)記圖像并確定標(biāo)記114的位置和定向之后，圖像處理器126可產(chǎn)生指示符502、504和506，并將其覆蓋到基底圖像中。
[0041 ]指示符502可為位于標(biāo)記114上方或基底圖像500中的手術(shù)工具130的位置處的點(diǎn)。因此，指示符502可實(shí)時(shí)地指示標(biāo)記114的位置或手術(shù)工具130的位置。指示符504可為位于標(biāo)記114上或鄰近標(biāo)記114的箭頭。指示符504的箭頭可指示眼科手術(shù)工具130的定向或指向位置。指示符506可為位于標(biāo)記114處或鄰近標(biāo)記114的文本或圖像。所述指示符可包含眼科手術(shù)工具的名稱或描述。所述指示符還可包含診斷信息、手術(shù)狀態(tài)、警告或其它信息。舉例來說，指示符可包含商標(biāo)名稱、識(shí)別和/或功能描述。在圖5中所示的實(shí)例，指示符506具有文本:“愛爾康(Alcon)”，以指示眼科手術(shù)工具的名稱商標(biāo)。在一些實(shí)施方案中，例如溫度、流率、每分鐘轉(zhuǎn)速(RPM)速度、壓力等手術(shù)參數(shù)可包括在指示符506中，來向用戶提供額外信息。在其它實(shí)施方案中，來自其它成像形態(tài)(例如光學(xué)相干斷層成像術(shù)(0CT)、熒光素血管造影術(shù)(FA)等)的待檢查的組織的圖像可包括在指示符506中，來向用戶提供額外引導(dǎo)。
[0042]黨顯示圖像幀時(shí)，圖像處理器126可對(duì)每一圖像幀執(zhí)行方法400，以連續(xù)地實(shí)時(shí)跟蹤眼科手術(shù)工具130的遠(yuǎn)尖端146的位置和定向。因此，顯示器128可在基底的實(shí)時(shí)視頻中顯示指示符502、504和506，以跟蹤眼科手術(shù)工具130的遠(yuǎn)尖端146的位置和移動(dòng)。因此，外科醫(yī)生可檢視顯示器128，來使眼科手術(shù)工具130在手術(shù)期間在眼睛101中的移動(dòng)可視化。
[0043]可應(yīng)用上述系統(tǒng)和方法來使用被配置來在紅外光譜中捕獲圖像的成像裝置124來跟蹤紅外標(biāo)記114。另外，具有OCT功能的手術(shù)工具130可使用上述系統(tǒng)和方法來跟蹤眼睛1I的正由OCT手術(shù)探針130成像的在OCT手術(shù)探針130的遠(yuǎn)尖端146的區(qū)域周圍的區(qū)域。
[0044]在一些實(shí)施方案中，指示符可包含眼科手術(shù)工具130的識(shí)別或參數(shù)。舉例來說，指示符可識(shí)別眼科手術(shù)工具130是具有某一液體流率、壓力和溫度的灌水工具。通過顯示這些參數(shù)，外科醫(yī)生可保持跟蹤眼科手術(shù)工具130的操作，而不將視線從顯示器128移開。
[0045]本領(lǐng)域的技術(shù)人員將了解，本公開所包含的實(shí)施方案不限于上文所述的特定示例性實(shí)施方案。在這方面，盡管已示出并描述例示性實(shí)施方案，前面的公開內(nèi)容中預(yù)期較廣范圍的修改、變化和取代。應(yīng)理解，可在不脫離本公開的范圍的情況下，對(duì)前面的內(nèi)容作出此類變化。因此，廣泛并以與本公開一致的方式來解釋所附權(quán)利要求書是適當(dāng)?shù)摹?br>【主權(quán)項(xiàng)】
1.一種眼科手術(shù)工具跟蹤系統(tǒng)，其包括: 眼科手術(shù)工具，其包括被配置來插入到眼睛中的遠(yuǎn)端部分； 標(biāo)記，其位于所述眼科手術(shù)工具的所述遠(yuǎn)端部分處；以及 工具位置檢測(cè)系統(tǒng)，其包括: 光源，其被配置來將成像光引入到所述眼睛的基底中； 成像裝置，其被配置來接收從所述基底反射的所述成像光，并捕獲所述基底連同插入到所述眼睛中的所述眼科手術(shù)工具的所述遠(yuǎn)端部分的圖像;以及 處理器，其被配置來確定所述標(biāo)記在所述基底的所述圖像中的位置。2.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述處理器被配置來: 處理所捕獲圖像來識(shí)別所述標(biāo)記； 產(chǎn)生指示手術(shù)數(shù)據(jù)的指示符；以及 將所述指示符覆蓋到顯示器。3.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述標(biāo)記在可見光范圍內(nèi)具有一個(gè)或多個(gè)高對(duì)比度特征。4.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述標(biāo)記是粘附到所述眼科手術(shù)工具的貼花紙。5.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述標(biāo)記刻在表面上或嵌入到所述眼科手術(shù)工具的壁中。6.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述標(biāo)記包含被配置來指示所述標(biāo)記在所捕獲圖像中的定向的圖案。7.如權(quán)利要求1所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述標(biāo)記在紅外范圍或其它光譜范圍內(nèi)具有高對(duì)比度特征。8.如權(quán)利要求2所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述處理器進(jìn)一步被配置來通過以下步驟而識(shí)別所捕獲圖像中的所述標(biāo)記: 對(duì)所捕獲圖像執(zhí)行對(duì)比度和特征增強(qiáng)處理； 估計(jì)所述標(biāo)記在經(jīng)增強(qiáng)圖像中的圖像； 從經(jīng)增強(qiáng)圖像提取所述標(biāo)記的所述圖像；以及 從所述標(biāo)記的所述圖像確定所述標(biāo)記的形狀、位置和定向。9.如權(quán)利要求2所述的眼科手術(shù)工具跟蹤系統(tǒng)，其中所述手術(shù)數(shù)據(jù)包含所述眼科手術(shù)工具的位置、所述眼科手術(shù)工具的定向、圖像、手術(shù)設(shè)置參數(shù)中的一個(gè)或多個(gè)。10.如權(quán)利要求2所述的眼科手術(shù)工具跟蹤系統(tǒng)， 其中所述成像裝置被配置來捕獲所述眼睛的視頻，且 其中所述處理器被配置來實(shí)時(shí)連續(xù)地產(chǎn)生和覆蓋所述指示符。11.一種眼科手術(shù)工具，其包括: 遠(yuǎn)端部分，其被配置來插入到眼睛中；以及 標(biāo)記，其安置在所述遠(yuǎn)端部分處，且被配置成由成像裝置捕獲，其中所述標(biāo)記包含被配置來指示所述眼科手術(shù)工具的遠(yuǎn)尖端的定向和位置的圖案。12.如權(quán)利要求11所述的眼科手術(shù)工具，其中所述標(biāo)記在可見光范圍內(nèi)具有一個(gè)或多個(gè)高對(duì)比度特征。13.如權(quán)利要求11所述的眼科手術(shù)工具，其中所述標(biāo)記是附接到所述眼科手術(shù)工具的貼花紙。14.如權(quán)利要求11所述的眼科手術(shù)工具，其中所述標(biāo)記刻在表面上或嵌入到所述眼科手術(shù)工具的壁中。15.如權(quán)利要求11所述的眼科手術(shù)工具，其中所述標(biāo)記在紅外范圍或其它光譜范圍內(nèi)具有高對(duì)比度特征。16.—種跟蹤插入在眼睛中的眼科手術(shù)工具的方法，所述方法包括: 將成像光引入到眼睛的基底中； 通過成像裝置接收從所述基底反射的所述成像光； 通過所述成像裝置，捕獲所述基底連同插入到所述眼睛中的眼科手術(shù)工具的遠(yuǎn)端部分的圖像；以及 確定附接到所述眼科手術(shù)工具的所述遠(yuǎn)端部分的標(biāo)記的位置。17.如權(quán)利要求16所述的方法，其中所述確定所述標(biāo)記的位置包括: 處理所捕獲圖像以識(shí)別所述標(biāo)記； 產(chǎn)生指示手術(shù)數(shù)據(jù)的指示符； 將所述指示符覆蓋在所捕獲圖像或經(jīng)處理的圖像上；以及 在顯示器上顯示具有所覆蓋的指示符的所捕獲圖像或經(jīng)處理的圖像。18.如權(quán)利要求17所述的方法，其中所述處理所捕獲圖像包括: 對(duì)所捕獲圖像執(zhí)行對(duì)比度和特征增強(qiáng)處理； 估計(jì)所述標(biāo)記在經(jīng)增強(qiáng)圖像中的圖像； 從經(jīng)增強(qiáng)圖像提取所述標(biāo)記的所述圖像；以及 從所述標(biāo)記的所述圖像確定所述標(biāo)記的形狀、位置和定向。19.如權(quán)利要求17所述的方法，其中所述手術(shù)數(shù)據(jù)包含所述眼科手術(shù)工具的位置、所述眼科手術(shù)工具的定向、圖像、手術(shù)設(shè)置參數(shù)中的一個(gè)或多個(gè)。20.如權(quán)利要求17所述的方法，其還包括捕獲所述眼睛的視頻，并實(shí)時(shí)連續(xù)地產(chǎn)生和覆蓋所述指示符。
【文檔編號(hào)】A61F9/007GK105828703SQ201480069020
【公開日】2016年8月3日
【申請(qǐng)日】2014年12月5日
【發(fā)明人】任胡剛, 俞凌峰
【申請(qǐng)人】諾華股份有限公司