專利名稱：標(biāo)本區(qū)域檢測(cè)方法、裝置以及程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及意圖從觀察對(duì)象的圖像中檢測(cè)出存在用于進(jìn)行顯微鏡觀察的標(biāo)本 (specimen)的標(biāo)本區(qū)域的標(biāo)本區(qū)域檢測(cè)方法、標(biāo)本區(qū)域檢測(cè)裝置和標(biāo)本區(qū)域檢測(cè)程序。
背景技術(shù)：
在病理診斷領(lǐng)域中在染色(staining)后在顯微鏡下觀察標(biāo)本(例如，組織結(jié)構(gòu)) 是常見的。染色通常是通過將標(biāo)本沉浸在專用于特定組織結(jié)構(gòu)的染料溶液中來實(shí)現(xiàn)的。某種類型的染料與免疫組織結(jié)構(gòu)(如果其存在于標(biāo)本中的話)相組合來形成顏色，從而使得觀察者能夠確定標(biāo)本中是否存在該免疫組織結(jié)構(gòu)。該領(lǐng)域中的最近發(fā)展包括顯微鏡圖像的自動(dòng)拍攝。該技術(shù)采用按兩個(gè)階段來工作的系統(tǒng)。在第一階段中，該系統(tǒng)拍攝以低放大倍率進(jìn)行觀察的對(duì)象(例如顯微鏡用標(biāo)本 (Pr印aration))，從而獲得低倍率圖像。然后，使該低倍率圖像經(jīng)過用于輪廓檢測(cè)的圖像處理。以這種方式，該系統(tǒng)提取存在標(biāo)本的顯微鏡觀察區(qū)域。在第二階段中，該系統(tǒng)通過高放大倍率顯微鏡來拍攝顯微鏡觀察區(qū)域，從而自動(dòng)地給出標(biāo)本的高倍率圖像。前面的技術(shù)避免了不經(jīng)濟(jì)地對(duì)不存在觀察標(biāo)本的大多數(shù)區(qū)域進(jìn)行高倍率拍攝。前述系統(tǒng)的一個(gè)示例在日本專利早期公開No. 2009-175040(第
段和圖2) (下面稱為專利文獻(xiàn)I)中被公開。所公開系統(tǒng)如此被設(shè)計(jì)來從所拍攝病理圖像中檢測(cè)“關(guān)注區(qū)域”并且以高放大倍率來拍攝該區(qū)域，從而在該區(qū)域中自動(dòng)獲取高倍率病理圖像。該系統(tǒng)通過利用病理圖像的像素值(RGB值)差異來檢測(cè)關(guān)注區(qū)域。

發(fā)明內(nèi)容
不幸的是，專利文獻(xiàn)I中公開的標(biāo)本觀察方法具有如下缺點(diǎn)(利用像素差來檢測(cè)關(guān)注區(qū)域所固有的缺點(diǎn))在低對(duì)比度圖像(其中病理圖像具有小的像素值差異)的情況中檢測(cè)關(guān)注區(qū)域時(shí)存在困難。例如，上面提到的染色方法可能能夠?qū)﹃?yáng)性組織染色但是不能對(duì)陰性組織染色。在此實(shí)例中，前面的系統(tǒng)不會(huì)檢測(cè)到陰性組織。本公開是鑒于前面的狀況而完成的。希望提供意圖檢測(cè)標(biāo)本存在的區(qū)域而不管該區(qū)域是否具有低對(duì)比度的標(biāo)本區(qū)域檢測(cè)方法、標(biāo)本區(qū)域檢測(cè)裝置和標(biāo)本區(qū)域檢測(cè)程序。將通過下面的三個(gè)實(shí)施例來實(shí)現(xiàn)本公開。第一實(shí)施例關(guān)于用于檢測(cè)標(biāo)本區(qū)域的方法。該方法采用兩個(gè)區(qū)域檢測(cè)單元。第一區(qū)域檢測(cè)單元檢查在可見光照射下拍攝的觀察對(duì)象的第一圖像。其檢測(cè)第一圖像中的高對(duì)比度區(qū)域，并且該區(qū)域被指定為第一區(qū)域。第二區(qū)域檢測(cè)單元檢查在紫外光照射下拍攝的觀察對(duì)象的第二圖像。其檢測(cè)第二圖像中的高對(duì)比度區(qū)域，并且該區(qū)域被指定為第二區(qū)域。該方法還采用標(biāo)本區(qū)域定義單元，其基于上述第一和第二區(qū)域來定義觀察對(duì)象中存在標(biāo)本的區(qū)域。當(dāng)?shù)谝粎^(qū)域檢測(cè)單元檢查在可見光照射下拍攝的觀察對(duì)象的第一圖像時(shí)，其能夠檢測(cè)具有高對(duì)比度(其表示視覺特性性質(zhì)，例如照明度和顏色)的區(qū)域，但是不能檢測(cè)難以與背景區(qū)別開的低對(duì)比度區(qū)域。這里假設(shè)標(biāo)本包含在紫外光照射下發(fā)出熒光的區(qū)域，第二區(qū)域檢測(cè)單元檢測(cè)在紫外光照射下拍攝的觀察對(duì)象的第二圖像中的具有高對(duì)比度的區(qū)域。 以這種方式，前面的方法允許檢測(cè)在可見光照射下產(chǎn)生低對(duì)比度但是在紫外光照射下發(fā)出熒光的標(biāo)本。因此，基于分別由第一和第二區(qū)域檢測(cè)單元檢測(cè)到的第一和第二區(qū)域，標(biāo)本區(qū)域定義單元檢測(cè)在可見光照射下產(chǎn)生低對(duì)比度但是在紫外光照射下發(fā)出熒光的標(biāo)本的區(qū)域。定義標(biāo)本區(qū)域的步驟可以以這樣的方式來完成由標(biāo)本區(qū)域定義單元通過將第一區(qū)域和第二區(qū)域組合在一起來定義該標(biāo)本區(qū)域。通過將第一區(qū)域和第二區(qū)域組合起來以具有完整的標(biāo)本區(qū)域，標(biāo)本區(qū)域定義單元完整地定義存在在可見光照射下產(chǎn)生對(duì)比度的標(biāo)本的區(qū)域以及存在在紫外光照射下產(chǎn)生對(duì)比度的標(biāo)本的區(qū)域。用于檢測(cè)標(biāo)本區(qū)域的上述方法可以采用顯微鏡拍攝范圍設(shè)置單元。通過該單元， 該方法可以具有用于建立顯微鏡拍攝范圍的附加步驟，在該顯微鏡拍攝范圍中，觀察對(duì)象在顯微鏡下被拍攝。將標(biāo)本區(qū)域限制到顯微鏡成像區(qū)域避免了對(duì)不存在標(biāo)本的區(qū)域進(jìn)行拍攝，并且排除不必被拍攝的區(qū)域，從而允許快速顯微鏡拍攝并且節(jié)約圖像存儲(chǔ)器。上述標(biāo)本可以是包含氨基酸的活體組織。包含氨基酸的活體組織在紫外光照射下發(fā)出熒光。因此，即使其在可見光照射下僅產(chǎn)生低對(duì)比度，其也可被根據(jù)本公開的標(biāo)本檢測(cè)方法檢測(cè)到。上述標(biāo)本可以是經(jīng)免疫組織化學(xué)染色的標(biāo)本。免疫組織化學(xué)染色意圖用于在利用酶被標(biāo)記的抗體的輔助下檢測(cè)抗原。經(jīng)免疫組織化學(xué)染色的標(biāo)本給出了陽(yáng)性區(qū)域和陰性區(qū)域，它們?cè)诳梢姽庹丈湎路謩e展示出和不展示出對(duì)比度?！瓣?yáng)性”和“陰性”分別是指該標(biāo)本具有或不具有與標(biāo)記酶結(jié)合的結(jié)構(gòu)。因此， 利用對(duì)比度的檢測(cè)方法在被應(yīng)用于在可見光照射下拍攝的圖像時(shí)，不能檢測(cè)陰性區(qū)域。與前面的方法不同，根據(jù)本公開實(shí)施例的方法能夠檢測(cè)陰性區(qū)域，因?yàn)槠洳粌H處理第一圖像 (在可見光照射下拍攝的圖像)而且處理第二圖像(在紫外光照射下拍攝的圖像)。根據(jù)本公開的一個(gè)實(shí)施例，用于檢測(cè)標(biāo)本區(qū)域的裝置具有第一區(qū)域檢測(cè)單元、第二區(qū)域檢測(cè)單元和標(biāo)本區(qū)域定義單元。該第一區(qū)域檢測(cè)單元檢測(cè)示出了在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域。如此檢測(cè)到的區(qū)域被指定為第一區(qū)域。該第二區(qū)域檢測(cè)單元檢測(cè)示出了在紫外光照射下拍攝的觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域。如此檢測(cè)到的區(qū)域被指定為第二區(qū)域。該標(biāo)本區(qū)域定義單元基于觀察對(duì)象的第一區(qū)域和第二區(qū)域來定義存在標(biāo)本的標(biāo)本區(qū)域。根據(jù)本公開的一個(gè)實(shí)施例，用于檢測(cè)標(biāo)本區(qū)域的程序控制第一區(qū)域檢測(cè)單元、第二區(qū)域檢測(cè)單元和標(biāo)本區(qū)域定義單元，以使得它們適當(dāng)?shù)仄鹱饔?。該第一區(qū)域檢測(cè)單元檢測(cè)示出了在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域。如此檢測(cè)到的區(qū)域被指定為第一區(qū)域。該第二區(qū)域檢測(cè)單元檢測(cè)示出了在紫外光照射下拍攝的觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域。如此檢測(cè)到的區(qū)域被指定為第二區(qū)域。該標(biāo)本區(qū)域定義單元基于觀察對(duì)象的第一區(qū)域和第二區(qū)域來定義存在標(biāo)本的標(biāo)本區(qū)域。如上，本公開提供了即使在存在標(biāo)本的區(qū)域具有低對(duì)比度時(shí)也能夠檢測(cè)該區(qū)域的標(biāo)本區(qū)域檢測(cè)方法、標(biāo)本區(qū)域檢測(cè)裝置和標(biāo)本區(qū)域檢測(cè)程序。
圖I是示出關(guān)于本公開一個(gè)實(shí)施例的顯微鏡系統(tǒng)的配置的示意圖2是示出上述顯微鏡系統(tǒng)中的標(biāo)本區(qū)域檢測(cè)裝置的配置的框圖3是示出上述顯微鏡系統(tǒng)的動(dòng)作的流程圖4是示出上述顯微鏡系統(tǒng)中的標(biāo)本區(qū)域檢測(cè)裝置的動(dòng)作的流程圖5是由上述顯微鏡系統(tǒng)拍攝的第一圖像的示例；
圖6是由上述顯微鏡系統(tǒng)拍攝的第二圖像的示例；
圖7A和圖7B是示出由上述顯微鏡系統(tǒng)中的第一區(qū)域檢測(cè)單元檢測(cè)到的第一區(qū)域
:區(qū)域檢測(cè)單元檢測(cè)到的第二區(qū)域



的不意圖；圖8A和圖8B是示出由上述顯微鏡系統(tǒng)中的第的不意圖；圖9是示出由上述顯微鏡系統(tǒng)中的標(biāo)本區(qū)域定義單元定義的標(biāo)本區(qū)域的示意圖；圖10是示出由上述顯微鏡系統(tǒng)建立的顯微鏡視野的示意圖；圖IlA和圖IlB是關(guān)于本公開一個(gè)示例的標(biāo)本 =波形蛋白(Vimentin)))的圖像；圖12A和圖12B是關(guān)于本公開一個(gè)示例的標(biāo)本 =肌間線蛋白(Desmin)))的圖像；圖13A和圖13B是關(guān)于本公開一個(gè)示例的標(biāo)本 =AE1/AE3))的圖像；圖14A和圖14B是關(guān)于本公開一個(gè)示例的標(biāo)本 =LCA))的圖像；圖15A和圖15B是關(guān)于本公開一個(gè)不例的標(biāo)本形蛋白))的圖像；圖16A和圖16B是關(guān)于本公開一個(gè)不例的標(biāo)本間線蛋白))的圖像；圖17A和圖17B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬肚經(jīng)IHC染色(標(biāo)記酶=AEl AE3))的圖像；圖18A和圖18B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬肚經(jīng)IHC染色(標(biāo)記酶= LCA))的圖像；圖19A和圖19B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬腎臟經(jīng)IHC染色(標(biāo)記酶= 波形蛋白))的圖像；圖20A和圖20B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬腎臟經(jīng)IHC染色(標(biāo)記酶= 肌間線蛋白))的圖像；
(豬里脊肉:經(jīng)IHC染色(標(biāo)記酶(豬里脊肉:經(jīng)IHC染色(標(biāo)記酶(豬里脊肉:經(jīng)IHC染色(標(biāo)記酶(豬里脊肉:經(jīng)IHC染色(標(biāo)記酶(豬肚經(jīng)IHC染色(標(biāo)記酶=波(豬肚經(jīng)IHC染色(標(biāo)記酶=肌
圖21A和圖21B是關(guān)于本公開一個(gè)示例的標(biāo)本 AEI/AE3))的圖像；圖22A和圖22B是關(guān)于本公開一個(gè)示例的標(biāo)本 LCA))的圖像；圖23A和圖23B是關(guān)于本公開一個(gè)示例的標(biāo)本波形蛋白))的圖像；圖24A和圖24B是關(guān)于本公開一個(gè)示例的標(biāo)本肌間線蛋白))的圖像；圖25A和圖25B是關(guān)于本公開一個(gè)不例的標(biāo)本 AEI/AE3))的圖像；圖26A和圖26B是關(guān)于本公開一個(gè)不例的標(biāo)本 LCA))的圖像；圖27A和圖27B是關(guān)于本公開一個(gè)示例的標(biāo)本波形蛋白))的圖像；圖28A和圖28B是關(guān)于本公開一個(gè)示例的標(biāo)本肌間線蛋白))的圖像；圖29A和圖29B是關(guān)于本公開一個(gè)示例的標(biāo)本 AEI/AE3))的圖像；圖30A和圖30B是關(guān)于本公開一個(gè)示例的標(biāo)本 LCA))的圖像；圖31A和圖31B是關(guān)于本公開一個(gè)示例的標(biāo)本波形蛋白))的圖像；圖32A和圖32B是關(guān)于本公開一個(gè)示例的標(biāo)本肌間線蛋白))的圖像；圖33A和圖33B是關(guān)于本公開一個(gè)示例的標(biāo)本 AEI/AE3))的圖像；圖34A和圖34B是關(guān)于本公開一個(gè)示例的標(biāo)本 LCA))的圖像；
(豬腎臟:經(jīng)IHC染色標(biāo)記酶(豬腎臟:經(jīng)IHC染色標(biāo)記酶(牛皺胃:經(jīng)IHC染色標(biāo)記酶(牛皺胃:經(jīng)IHC染色標(biāo)記酶(牛皺胃:經(jīng)IHC染色標(biāo)記酶(牛皺胃:經(jīng)IHC染色標(biāo)記酶(牛心臟:經(jīng)IHC染色標(biāo)記酶(牛心臟:經(jīng)IHC染色標(biāo)記酶(牛心臟:經(jīng)IHC染色標(biāo)記酶(牛心臟:經(jīng)IHC染色標(biāo)記酶(牛肝臟:經(jīng)IHC染色標(biāo)記酶(牛肝臟:經(jīng)IHC染色標(biāo)記酶(牛肝臟:經(jīng)IHC染色標(biāo)記酶(牛肝臟:經(jīng)IHC染色標(biāo)記酶
度的表
圖35是示出在本公開的各個(gè)示例中記錄的、在紫外光照射下感應(yīng)出的熒光的強(qiáng)
圖36A和圖36B是關(guān)于本公開一個(gè)示例的標(biāo)本(牛皺胃經(jīng)HE染色)的圖像；
圖37A和圖37B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬肚經(jīng)HE染色)的圖像；以及圖38A和圖38B是關(guān)于本公開一個(gè)示例的標(biāo)本(豬腎臟經(jīng)HE染色)的圖像。
具體實(shí)施例方式下面將參考附圖描述本公開的實(shí)施例。[顯微鏡系統(tǒng)的配置]圖I是示出關(guān)于本公開一個(gè)實(shí)施例的顯微鏡系統(tǒng)I的配置的示意圖。如圖I所示，該顯微鏡系統(tǒng)I包括顯微鏡2、顯微鏡控制單元3和標(biāo)本區(qū)域檢測(cè)裝置4。顯微鏡控制單元3是附接到顯微鏡2的電子組件。標(biāo)本區(qū)域檢測(cè)裝置4是連接到顯微鏡控制單元3的信息處理裝置。顯微鏡系統(tǒng)I還可以以這里所示的方式(僅用于圖示說明)以外的任何其它方式來配置。顯微鏡2是光學(xué)顯微鏡，其被設(shè)計(jì)為使得其各個(gè)部分響應(yīng)于來自顯微鏡控制單元 3的控制信號(hào)而工作。除了其UV(紫外線)光源以外，其可以是普通顯微鏡。更具體地，顯微鏡2包括高倍率成像設(shè)備21、高倍率透鏡鏡筒22、低倍率成像設(shè)備27、低倍率透鏡鏡筒
28、鏡臺(tái)23、鏡臺(tái)驅(qū)動(dòng)單元24、可見光源25以及UV光源26。圖I還示出了放置在鏡臺(tái)23 上的顯微鏡用標(biāo)本P。高倍率成像設(shè)備21是被設(shè)計(jì)用于微攝影術(shù)的、裝配有諸如CCD(電荷耦合器件圖像傳感器)和CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)之類的成像元件的數(shù)字成像設(shè)備。高倍率成像設(shè)備21還裝配有高倍率透鏡鏡筒22，其光學(xué)系統(tǒng)將顯微鏡用標(biāo)本P的圖像引至成像元件。高倍率成像設(shè)備21產(chǎn)生彩色或單色的圖像。高倍率成像設(shè)備21被連接到顯微鏡控制單元3以使得其成像定時(shí)和曝光被合適地控制。高倍率成像設(shè)備21通過顯微鏡控制單元 3將圖像數(shù)據(jù)發(fā)送給標(biāo)本區(qū)域檢測(cè)裝置4。低倍率成像設(shè)備27是裝配有諸如CCD和CMOS之類的成像元件的數(shù)字成像設(shè)備。 低倍率成像設(shè)備27還裝配有低倍率透鏡鏡筒28，其光學(xué)系統(tǒng)將顯微鏡用標(biāo)本P的圖像引至成像元件。高倍率成像設(shè)備21被設(shè)置有使成像元件免受UV光照射的UV吸收濾光片(針對(duì)長(zhǎng)于390nm的波長(zhǎng))。低倍率成像設(shè)備27被連接到顯微鏡控制單元3以使得其成像定時(shí)和曝光被合適地控制。低倍率成像設(shè)備27通過顯微鏡控制單元3將圖像數(shù)據(jù)發(fā)送給標(biāo)本區(qū)域檢測(cè)裝置4。高倍率透鏡鏡筒22被設(shè)置有高倍率物鏡和位置調(diào)節(jié)機(jī)構(gòu)，以使得其以規(guī)定放大率(比如說X20或X40)來放大顯微鏡用標(biāo)本P的圖像。其也被連接到顯微鏡控制單元 3以使得其焦距(或自動(dòng)對(duì)焦)受到控制。低倍率透鏡鏡筒28被設(shè)置有低倍率物鏡(或縮小光學(xué)系統(tǒng))和位置調(diào)節(jié)機(jī)構(gòu)，以使得其以規(guī)定放大率(比如說X0. 5、Xl或X2)來放大或縮小顯微鏡用標(biāo)本P的圖像。 其也被連接到顯微鏡控制單元3以使得其焦距(或自動(dòng)對(duì)焦)受到控制。順便提及，圖I將高倍率透鏡鏡筒22和高倍率成像設(shè)備21與低倍率透鏡鏡筒28 和低倍率成像設(shè)備27示為分離的單元。然而，這些組件可被組合為由透鏡鏡筒和成像設(shè)備組成的一個(gè)單元。在此情況中，可以通過更換透鏡鏡筒中的物鏡來改變放大率。鏡臺(tái)23被構(gòu)建為支持顯微鏡用標(biāo)本P并且在與顯微鏡的光軸并行以及垂直的方向上移動(dòng)它。鏡臺(tái)23還被設(shè)置有窗口 23a，其準(zhǔn)許從可見光源25和UV光源26發(fā)出的光 (包括UV光)透過。顯微鏡用標(biāo)本P在該窗口 23a上。顯微鏡用標(biāo)本P可由鏡臺(tái)23移動(dòng)， 以使其進(jìn)入高倍率透鏡鏡筒22和低倍率透鏡鏡筒28的視野。替代地，高倍率透鏡鏡筒22 和低倍率透鏡鏡筒28可被移動(dòng)以使得它們的視野覆蓋靜止的顯微鏡用標(biāo)本P的圖像。鏡臺(tái)驅(qū)動(dòng)單元24被裝配有步進(jìn)馬達(dá)或類似驅(qū)動(dòng)機(jī)構(gòu)以如上所述地移動(dòng)鏡臺(tái)23。 其被連接到顯微鏡控制單元3以使得其移動(dòng)(方向和距離)被控制?？梢姽庠?5是突光燈或LED (發(fā)光二極管)；其通過鏡臺(tái)23的窗口 23a用可見光照射顯微鏡用標(biāo)本P?？梢姽饪梢允前梢姽庾V的所有波長(zhǎng)的白光?？梢姽庠?5被連接到顯微鏡控制單元3以使得其發(fā)射定時(shí)和強(qiáng)度被控制。
UV光源26是UV燈或UV LED ;其通過鏡臺(tái)23的窗口 23a用UV光照射顯微鏡用標(biāo)本P。UV光可以是波長(zhǎng)為365nm的光。UV光源26被連接到顯微鏡控制單元3以使得其發(fā)射定時(shí)和強(qiáng)度被控制。顯微鏡2在如下假設(shè)下如上所述這樣被構(gòu)成該顯微鏡2以在顯微鏡控制單元3 的控制下的其焦深和拍攝定時(shí)自動(dòng)地工作。然而，其也可被構(gòu)成為由用戶響應(yīng)于來自標(biāo)本區(qū)域檢測(cè)裝置4的輸出而手動(dòng)地控制和操作。 顯微鏡控制單元3由包括微處理器在內(nèi)的電子部件構(gòu)成以使得其對(duì)顯微鏡2進(jìn)行控制。顯微鏡控制單元3被連接到標(biāo)本區(qū)域檢測(cè)裝置4，標(biāo)本區(qū)域檢測(cè)裝置4的輸出控制顯微鏡2。標(biāo)本區(qū)域檢測(cè)裝置4檢測(cè)從低倍率成像設(shè)備27提供來的存在觀察用對(duì)象(顯微鏡用標(biāo)本P)的圖像的“標(biāo)本區(qū)域”。圖2是示出標(biāo)本區(qū)域檢測(cè)裝置4的功能結(jié)構(gòu)的框圖。如圖2所示，標(biāo)本區(qū)域檢測(cè)裝置4包括第一區(qū)域檢測(cè)單元41、第二區(qū)域檢測(cè)單元 42和標(biāo)本區(qū)域定義單元43。前兩個(gè)連接到顯微鏡控制單元3，后一個(gè)連接到前兩個(gè)以及顯微鏡控制單元3。如后面將說明的，標(biāo)本區(qū)域檢測(cè)裝置4的各構(gòu)成部分在處理器、存儲(chǔ)器、程序等的幫助下起作用。顯微鏡系統(tǒng)I如上所述這樣被構(gòu)成。然而，其不一定由特別設(shè)計(jì)的構(gòu)成部分(例如，顯微鏡2、顯微鏡控制單元3和標(biāo)本區(qū)域檢測(cè)裝置4)來構(gòu)成。可以按照需要將任何現(xiàn)有的顯微鏡系統(tǒng)另外地與它們相結(jié)合。[顯微鏡系統(tǒng)的工作]下面描述顯微鏡系統(tǒng)I的工作方式。圖3是顯微鏡系統(tǒng)I的工作的流程圖。下面的描述基于顯微鏡系統(tǒng)I 一接收到用戶的開始指令就自動(dòng)工作的假設(shè)。當(dāng)接收到用戶的開始指令時(shí)，顯微鏡系統(tǒng)I在步驟Stl中拍攝“第一圖像”。具體地，低倍率成像設(shè)備27響應(yīng)于來自顯微鏡控制單元3的控制信號(hào)通過低倍率透鏡鏡筒28 來拍攝顯微鏡用標(biāo)本P。在此步驟中，顯微鏡控制單元3使可見光源25發(fā)射可見光并且產(chǎn)生的可見光照射顯微鏡用標(biāo)本P。如此拍攝的第一圖像完全覆蓋被可見光照射的顯微鏡用標(biāo)本P。第一圖像的示例在圖5中示出，該示例是從彩色圖像轉(zhuǎn)換來的單色圖像。顯微鏡用標(biāo)本P是支持覆蓋有蓋玻片的標(biāo)本的載玻片。在圖5中，標(biāo)本是乳腺癌的培養(yǎng)細(xì)胞和正常的培養(yǎng)細(xì)胞，二者通過IHC (免疫組織化學(xué))被染色。IHC染色是一種借助于酶標(biāo)記抗體來檢測(cè)抗原的方法。從圖5中可注意到IHC染色使得乳腺癌細(xì)胞的陽(yáng)性區(qū)域(由Her2+指示)可見，但是讓正常細(xì)胞的陰性區(qū)域(由Her2-指示)不可見。因此，圖 5所示的圖像對(duì)于忽視被當(dāng)作背景的低對(duì)比度陰性區(qū)域的普通區(qū)域檢測(cè)處理來說是沒有用的。如上所述這樣被拍攝的第一圖像通過顯微鏡控制單元3被發(fā)送給標(biāo)本區(qū)域檢測(cè)裝置4的第一區(qū)域檢測(cè)單元41。本公開可適用于任何種類的標(biāo)本，而不限于上述乳腺癌細(xì)胞。這將在后面給出的示例中得到證實(shí)。在下一步驟St2中，顯微鏡系統(tǒng)I將用于顯微鏡用標(biāo)本P的光源從可見光源25切換為UV光源26。順便提及，在該步驟中，顯微鏡用標(biāo)本P保持位于第一圖像被拍攝的位置。然而，如后面將說明的，可以根據(jù)需要移動(dòng)顯微鏡用標(biāo)本P。在下一步驟St3中，顯微鏡系統(tǒng)I拍攝“第二圖像”。具體地，當(dāng)接收到來自顯微鏡控制單元3的控制信號(hào)時(shí)，低倍率成像設(shè)備27通過低倍率透鏡鏡筒28來拍攝顯微鏡用標(biāo)本P。在此步驟中，顯微鏡控制單元3使UV光源26發(fā)射UV光并且產(chǎn)生的UV光照射顯微鏡用標(biāo)本P。如此拍攝到的第二圖像完全覆蓋被UV光照射的顯微鏡用標(biāo)本P。第二圖像的示例在圖6中示出，該示例是從彩色圖像轉(zhuǎn)換來的單色圖像。順便提及，顯微鏡用標(biāo)本P被 UV光照射，但是被拍攝的圖像是由UV光感應(yīng)出的可見熒光照射的，這是因?yàn)榈捅堵食上裨O(shè)備27被設(shè)置有UV吸收濾光片，如上所述。從圖6可注意到在UV光的照射下，第一圖像中具有低對(duì)比度的陰性區(qū)域(Her2-) 看起來較亮，而第一圖像中具有高對(duì)比度的陽(yáng)性區(qū)域(Her2+)看起來較暗。因此，該圖像準(zhǔn)許陰性區(qū)域通過區(qū)域檢測(cè)處理被檢測(cè)到。順便提及，從UV光照射下的陰性區(qū)域發(fā)射熒光或許是由于標(biāo)本中存在氨基酸。作為對(duì)比，不從陽(yáng)性區(qū)域發(fā)射熒光或許是由于標(biāo)本中沒有氨基酸(其是由于與染色劑的反應(yīng)引起的分解導(dǎo)致的)。這表明本公開可適用于包含氨基酸的標(biāo)本(大多數(shù)活體組織)。以這種方式拍攝到的第二圖像隨后通過顯微鏡控制單元3被發(fā)送給標(biāo)本區(qū)域檢測(cè)裝置4的第二區(qū)域檢測(cè)單元42。在下一步驟St4中，顯微鏡系統(tǒng)I從第一和第二圖像中檢測(cè)“標(biāo)本區(qū)域”。標(biāo)本區(qū)域檢測(cè)步驟根據(jù)圖4所示的流程圖進(jìn)行。該步驟由標(biāo)本區(qū)域檢測(cè)裝置4執(zhí)行。在步驟St41，第一區(qū)域檢測(cè)單元41從自顯微鏡控制單元3提供來的第一圖像檢測(cè) “第一區(qū)域”。如何檢測(cè)第一區(qū)域在圖7A和圖7B中示意性地示出。第一區(qū)域具有由圖7A和圖7B中的“區(qū)域Al”指示的邊界。第一區(qū)域檢測(cè)單元41對(duì)第一圖像執(zhí)行區(qū)域檢測(cè)處理以標(biāo)識(shí)出如圖7A所示的邊界。該區(qū)域檢測(cè)處理是在圖像對(duì)比度(或者諸如照明度和顏色之類的視覺特征)的輔助下完成的。該技術(shù)依賴于通過閾值處理和標(biāo)記處理的區(qū)域提取或者借助于數(shù)字濾波器的邊緣檢測(cè)。由第一區(qū)域檢測(cè)單元41在對(duì)比度的幫助下在第一圖像中檢測(cè)到的區(qū)域被指定為第一區(qū)域。第一區(qū)域檢測(cè)單元41能夠通過該區(qū)域檢測(cè)處理從第一圖像中檢測(cè)出陽(yáng)性區(qū)域， 但是不能檢測(cè)出陰性區(qū)域，如上所述。第一區(qū)域檢測(cè)單元41向標(biāo)本區(qū)域定義單元43提供圖7A所示的第一區(qū)域以及與圖7B所示的第一圖像的邊緣有關(guān)的信息。順便提及，第一區(qū)域檢測(cè)單元41可以以這樣的方式工作將第一區(qū)域與“位置基準(zhǔn)信息”一起獲得。位置基準(zhǔn)信息與第一圖像中的特性圖形的位置有關(guān)，這樣的圖形包括附加于顯微鏡用標(biāo)本P的標(biāo)簽和字母以及顯微鏡用標(biāo)本P的邊界。該規(guī)定旨在有助于標(biāo)本區(qū)域定義步驟(后面描述的St43)即使在顯微鏡用標(biāo)本P在從獲取第一圖像的步驟到獲取第二圖像的步驟的轉(zhuǎn)換期間移動(dòng)時(shí)也有效地工作。如果預(yù)期到顯微鏡用標(biāo)本P在第一和第二拍攝步驟中不可能移動(dòng)，則位置基準(zhǔn)信息是不必要的。第一區(qū)域檢測(cè)單元41還將如此獲得的位置基準(zhǔn)信息發(fā)送給標(biāo)本區(qū)域定義單元43。 在下一步驟St42，第二區(qū)域檢測(cè)單元42從自顯微鏡控制單元3提供來的第二圖像中檢測(cè)“第二區(qū)域”。第二區(qū)域的檢測(cè)在圖8A和圖SB中示意性地被示出。第二區(qū)域的邊界由圖8A和圖SB中的區(qū)域A2指示。第二區(qū)域檢測(cè)單元42對(duì)如圖8A所示的第一圖像執(zhí)行區(qū)域檢測(cè)處理。該區(qū)域檢測(cè)處理在圖像對(duì)比度(或者諸如照明度和顏色之類的視覺特征)的輔助下完成。該技術(shù)依賴于通過閾值處理和標(biāo)記處理的區(qū)域提取或者借助于數(shù)字濾波器的邊緣檢測(cè)。由第二區(qū)域檢測(cè)單元42在對(duì)比度的幫助下在第二圖像中檢測(cè)到的區(qū)域被指定為第二區(qū)域。如上所述，第二區(qū)域檢測(cè)單元42能夠檢測(cè)發(fā)出熒光的陰性區(qū)域，但是不能檢測(cè)不發(fā)出熒光的陽(yáng)性區(qū)域。第二區(qū)域檢測(cè)單元42向標(biāo)本區(qū)域定義單元43提供圖8A所示的第二區(qū)域以及與圖8B所示的第二圖像的邊緣有關(guān)的信息。順便提及，類似于第一區(qū)域檢測(cè)單元41，第二區(qū)域檢測(cè)單元42可以以獲取“位置基準(zhǔn)信息”的方式來工作。位置基準(zhǔn)信息與第二圖像中的特性圖形的位置有關(guān)。第二區(qū)域檢測(cè)單元42還將如此獲得的位置基準(zhǔn)信息發(fā)送給標(biāo)本區(qū)域定義單元43。在下一步驟St43中，標(biāo)本區(qū)域定義單元43以如下方式將第一區(qū)域加到第二區(qū)域 使得第一圖像的周緣與第二圖像的周緣一致。該組合區(qū)域被定義為存在標(biāo)本的區(qū)域。圖9 示出了由區(qū)域Al和區(qū)域A2表示的如此定義的標(biāo)本區(qū)域。如此定義的標(biāo)本區(qū)域由標(biāo)本區(qū)域定義單元43發(fā)送給顯微鏡控制單元3。如果從第一圖像和第二圖像獲得了第一位置基準(zhǔn)信息和第二位置基準(zhǔn)信息，則標(biāo)本區(qū)域定義單元43將它們相比較。如果兩個(gè)圖像在位置基準(zhǔn)信息方面存在差異，則標(biāo)本區(qū)域定義單元43判斷出顯微鏡用標(biāo)本P在第一圖像被攝取之后第二圖像被攝取之前的時(shí)段中移動(dòng)了，并且其校正第一和第二圖像中的第一和第二區(qū)域的位置以使得一致的位置基準(zhǔn) Ih息被獲得。再次參考圖3，在步驟St5中，顯微鏡系統(tǒng)I建立“顯微鏡拍攝區(qū)域”。顯微鏡拍攝區(qū)域在圖10中示意性地被示出，其中區(qū)域Al和A2表示由標(biāo)本區(qū)域檢測(cè)裝置4計(jì)算出的標(biāo)本區(qū)域并且區(qū)域R表示與這些區(qū)域重疊的顯微鏡拍攝區(qū)域。顯微鏡覆蓋高倍率成像設(shè)備21通過被設(shè)置為規(guī)定放大倍率的高倍率透鏡鏡筒22 看到的某個(gè)拍攝范圍。顯微鏡控制單元3響應(yīng)于由用戶指定的放大倍率來確定其拍攝范圍。在單個(gè)拍攝范圍未覆蓋所有標(biāo)本區(qū)域的情況中，顯微鏡控制單元3布置多于一個(gè)拍攝范圍，如圖10所示。順便提及，顯微鏡控制單元3能夠布置彼此重疊的拍攝范圍，如圖10 所示。這有助于后面將描述的將顯微鏡圖像連結(jié)起來的步驟。在下一步驟St6中，顯微鏡系統(tǒng)I使鏡臺(tái)驅(qū)動(dòng)單元24移動(dòng)鏡臺(tái)23。顯微鏡控制單元3向鏡臺(tái)驅(qū)動(dòng)單元24發(fā)送控制信號(hào)以使得顯微鏡拍攝范圍與高倍率成像設(shè)備21的視野一致。鏡臺(tái)23的移動(dòng)量可以等于第二圖像的中心坐標(biāo)與顯微鏡拍攝范圍的中心坐標(biāo)之差。 在多于一個(gè)顯微鏡拍攝范圍被設(shè)置的情況中，顯微鏡控制單元3確定拍攝順序并且針對(duì)第一顯微鏡拍攝范圍來移動(dòng)鏡臺(tái)。在下一步驟St7中，顯微鏡系統(tǒng)I使高倍率成像設(shè)備21攝取顯微鏡用標(biāo)本P的顯微鏡圖像。顯微鏡控制單元3向高倍率透鏡鏡筒22發(fā)送控制信號(hào)以使得放大倍率被調(diào)節(jié)為用戶指定的放大倍率并且以該放大倍率來獲得精確的聚焦。顯微鏡控制單元3還向高倍率成像設(shè)備21發(fā)送控制信號(hào)，從而使得其拍攝顯微鏡用標(biāo)本P。該步驟以高倍率成像設(shè)備 21的視野與顯微鏡拍攝范圍一致的方式被執(zhí)行，這是因?yàn)殓R臺(tái)23已被移動(dòng)，如上所述。在多于一個(gè)顯微鏡拍攝范圍被設(shè)置的情況中，顯微鏡控制單元3再次使鏡臺(tái)驅(qū)動(dòng)單元24移動(dòng)鏡臺(tái)23，以使得高倍率成像設(shè)備21拍攝顯微鏡用標(biāo)本P的下一顯微鏡拍攝范圍。顯微鏡控制單元3重復(fù)鏡臺(tái)23的移動(dòng)(在步驟St6中)和高倍率成像設(shè)備21的拍攝(在步驟St7中)過程直到所有顯微鏡拍攝范圍被拍攝為止。在相鄰顯微鏡圖像被拍攝的情況中，顯微鏡系統(tǒng)I在步驟StS中將這樣的各個(gè)微縮照片連結(jié)起來。具體地，顯微鏡控制單元3在相鄰兩個(gè)微縮照片的重疊區(qū)域中提取多于一個(gè)特性圖形并且然后將它們連結(jié)起來(用于縫合)以使得這些圖形彼此一致。以這種方式，超出單個(gè)顯微鏡拍攝范圍的鄰近染色區(qū)域可被拍攝。根據(jù)上述實(shí)施例的顯微鏡系統(tǒng)I獲取在可見光和UV光照射下的用于檢測(cè)標(biāo)本區(qū)域的圖像并且將檢測(cè)結(jié)果相重疊，從而確定顯微鏡的拍攝范圍。以這種方式，其可檢測(cè)到在可見光的照射下因低對(duì)比度而未被檢測(cè)出的區(qū)域。本公開不限于前面的實(shí)施例并且可在本公開的范圍內(nèi)對(duì)其進(jìn)行各種修改和改變。[示例]下面描述本公開的示例。如上所述，本公開可適用于多種標(biāo)本。下面的示例說明了在可見光和UV光照射下以相等放大率拍攝的各個(gè)標(biāo)本的圖像，這些圖像與上述實(shí)施例中的第一和第二圖像相對(duì)應(yīng)。下面的示例旨在觀察每個(gè)標(biāo)本在UV光的照射下是否發(fā)出熒光。本示例中使用的標(biāo)本是豬和牛的經(jīng)染色活體組織。這些活體組織包括豬里脊肉、 豬肚、豬肝、牛皺胃、牛心臟和牛肝臟。每個(gè)活體組織通過四種標(biāo)記酶中的任一種而被IHC 染色，這四種標(biāo)記酶包括波形蛋白、肌間線蛋白、AE1/AE3和LCA。圖IlA至圖34B是在可見光和UV光的照射下被拍攝的標(biāo)本的圖像。在每幅圖中，在可見光照射下攝取的圖像由圖 IlA至圖34A指示出，在UV光照射下攝取的圖像由圖IlB至圖34B指示出。這些圖像是從彩色圖像轉(zhuǎn)換來的單色圖像。圖35是示出每個(gè)標(biāo)本在UV光照射下如何發(fā)出熒光的表。在此表中，標(biāo)本根據(jù)熒光的強(qiáng)度被分類，熒光的強(qiáng)度被分級(jí)為強(qiáng)(〇)、弱(A )和無(X)。圖IlA至圖14B是在可見光和UV光照射下拍攝的豬里脊肉的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖IlA和圖11B)、肌間線蛋白(圖12A和圖12B)、AE1/AE3(圖 13A和圖13B)和LCA(圖14A和圖14B)。這些圖示出了每種標(biāo)記酶發(fā)出熒光。圖15A至圖18B是在可見光和UV光照射下拍攝的豬肚的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖15A和圖15B)、肌間線蛋白(圖16A和圖16B)、AE1/AE3(圖 17A和圖17B)和LCA(圖18A和圖18B)。這些圖示出了每種標(biāo)記酶發(fā)出熒光，盡管AE1/AE3 發(fā)出弱突光。圖19A至圖22B是在可見光和UV光照射下拍攝的豬腎臟的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖19A和圖19B)、肌間線蛋白(圖20A和圖20B)、AE1/AE3(圖 2IA和圖21B)和LCA (圖22A和圖22B)。這些圖示出了每種標(biāo)記酶發(fā)出熒光。圖23A至圖26B是在可見光和UV光照射下拍攝的牛皺胃的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖23A和圖23B)、肌間線蛋白(圖24A和圖24B)、AE1/AE3 (圖 25A和圖25B)和LCA(圖26A和圖26B)。這些圖示出了波形蛋白不發(fā)出熒光，肌間線蛋白和AEI/AE3發(fā)出弱熒光，標(biāo)簽LCA發(fā)出熒光。圖27A至圖30B是在可見光和UV光照射下拍攝的牛心臟的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖27A和圖27B)、肌間線蛋白(圖28A和圖28B)、AE1/AE3 (圖 29A和圖29B)和LCA(圖30A和圖30B)。這些圖示出了每種標(biāo)記酶發(fā)出熒光，盡管波形蛋白和肌間線蛋白發(fā)出弱熒光。
圖31A至圖34B是在可見光和UV光照射下拍攝的牛肝臟的標(biāo)本的圖像。用于這些標(biāo)本的標(biāo)記酶為波形蛋白(圖31A和圖31B)、肌間線蛋白(圖32A和圖32B)、AE1/AE3 (圖 33A和圖33B)和LCA(圖34A和圖34B)。這些圖示出每種標(biāo)記酶發(fā)出熒光，盡管AE1/AE3 發(fā)出弱突光。從圖35可清楚，熒光的發(fā)射取決于標(biāo)記酶(用于IHC染色)和活體組織的種類。 已發(fā)現(xiàn)不是所有標(biāo)本都發(fā)出熒光，但大多數(shù)標(biāo)本發(fā)出熒光。作為對(duì)上述IHC染色的研究的補(bǔ)充，對(duì)從經(jīng)過HE (蘇木素-伊紅)染色的標(biāo)本發(fā)出熒光進(jìn)行了研究。圖36A至圖38B示出了在可見光和UV光照射下的經(jīng)HE染色的活體組織的圖像。這些活體組織是牛皺胃(圖36A和圖36B)、豬肚(圖37A和圖37B)和豬腎臟 (圖38A和圖38B)。這些單色圖像是通過從彩色圖像轉(zhuǎn)換獲得的。從這些圖像中可注意到，經(jīng)HE染色的標(biāo)本在UV光照射下也發(fā)出熒光。經(jīng)HE染色的標(biāo)本在可見光照射下通過反射光和透射光被觀察，而它們?cè)赨V光照射下通過自然發(fā)射的熒光被觀察。這樣的熒光允許容易地檢測(cè)到微小區(qū)域。本公開包含與2010年12月I日向日本專利局提交的日本優(yōu)先專利申請(qǐng)JP 2010-268442中公開的主題有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過引用被結(jié)合于此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種修改、組合、 子組合和變更，只要它們?cè)谒綑?quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種用于檢測(cè)標(biāo)本區(qū)域的方法，該方法包括用于由第一區(qū)域檢測(cè)單元檢測(cè)第一區(qū)域的第一步驟，所述第一區(qū)域是在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域，用于由第二區(qū)域檢測(cè)單元檢測(cè)第二區(qū)域的第二步驟，所述第二區(qū)域是在紫外光照射下拍攝的所述觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域，以及用于由標(biāo)本區(qū)域定義單元基于所述第一區(qū)域和所述第二區(qū)域來定義所述觀察對(duì)象中存在標(biāo)本的標(biāo)本區(qū)域的第三步驟。
2.根據(jù)權(quán)利要求I所述的用于檢測(cè)標(biāo)本區(qū)域的方法，其中，定義標(biāo)本區(qū)域的步驟是通過將所述第一區(qū)域和所述第二區(qū)域組合在一起來完成的。
3.根據(jù)權(quán)利要求2所述的用于檢測(cè)標(biāo)本區(qū)域的方法，還包括用于由顯微鏡拍攝范圍設(shè)置單元基于所述標(biāo)本區(qū)域來建立使所述觀察對(duì)象在顯微鏡下被拍攝的顯微鏡拍攝范圍的步驟。
4.根據(jù)權(quán)利要求3所述的用于檢測(cè)標(biāo)本區(qū)域的方法，其中，所述標(biāo)本是包含氨基酸的活體組織。
5.根據(jù)權(quán)利要求4所述的用于檢測(cè)標(biāo)本區(qū)域的方法，其中，所述標(biāo)本是經(jīng)免疫組織化學(xué)染色的標(biāo)本。
6.一種標(biāo)本區(qū)域檢測(cè)裝置，包括第一區(qū)域檢測(cè)單元，該第一區(qū)域檢測(cè)單元檢測(cè)第一區(qū)域，所述第一區(qū)域是在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域，第二區(qū)域檢測(cè)單元，該第二區(qū)域檢測(cè)單元檢測(cè)第二區(qū)域，所述第二區(qū)域是在紫外光照射下拍攝的所述觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域，以及標(biāo)本區(qū)域定義單元，該標(biāo)本區(qū)域定義單元基于所述第一區(qū)域和所述第二區(qū)域來定義所述觀察對(duì)象中存在標(biāo)本的標(biāo)本區(qū)域。
7.一種用于標(biāo)本區(qū)域檢測(cè)的程序，該程序控制第一區(qū)域檢測(cè)單元，該第一區(qū)域檢測(cè)單元檢測(cè)第一區(qū)域，所述第一區(qū)域是在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域，第二區(qū)域檢測(cè)單元，該第二區(qū)域檢測(cè)單元檢測(cè)第二區(qū)域，所述第二區(qū)域是在紫外光照射下拍攝的所述觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域，以及標(biāo)本區(qū)域定義單元，該標(biāo)本區(qū)域定義單元基于所述第一區(qū)域和所述第二區(qū)域來定義所述觀察對(duì)象中存在標(biāo)本的標(biāo)本區(qū)域。
全文摘要
本發(fā)明公開了標(biāo)本區(qū)域檢測(cè)方法、裝置以及程序。一種用于檢測(cè)標(biāo)本區(qū)域的方法包括用于由第一區(qū)域檢測(cè)單元檢測(cè)第一區(qū)域的第一步驟，第一區(qū)域是在可見光照射下拍攝的觀察對(duì)象的第一圖像中的具有對(duì)比度的區(qū)域，用于由第二區(qū)域檢測(cè)單元檢測(cè)第二區(qū)域的第二步驟，第二區(qū)域是在紫外光照射下拍攝的觀察對(duì)象的第二圖像中的具有對(duì)比度的區(qū)域，以及用于由標(biāo)本區(qū)域定義單元基于第一區(qū)域和第二區(qū)域來定義觀察對(duì)象中存在標(biāo)本的標(biāo)本區(qū)域的第三步驟。
文檔編號(hào)G01N21/25GK102539341SQ20111039923
公開日2012年7月4日 申請(qǐng)日期2011年11月24日 優(yōu)先權(quán)日2010年12月1日
發(fā)明者成澤龍, 木島公一朗, 松延剛 申請(qǐng)人:索尼公司