專利名稱：對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于hternet的遠(yuǎn)程醫(yī)療技術(shù)領(lǐng)域，尤其是一種對顯微鏡進(jìn)行網(wǎng)絡(luò) 遙操作的遠(yuǎn)程閱片系統(tǒng)。
背景技術(shù)：
基于hternet的遠(yuǎn)程醫(yī)療，主要思想是利用hternet將世界各地的醫(yī)療資源進(jìn) 行整合，使得醫(yī)生、專家可以依據(jù)一定的權(quán)限對網(wǎng)絡(luò)上的醫(yī)療設(shè)備進(jìn)行遠(yuǎn)程操作，對病人的 病理標(biāo)本進(jìn)行遠(yuǎn)程觀測，這種設(shè)計打破了傳統(tǒng)醫(yī)院資源無法有效共享的缺點，最大限度的 利用世界各地的醫(yī)療資源，組成一個真正意義上的“網(wǎng)絡(luò)醫(yī)院”。
在部分中小城市或鄉(xiāng)鎮(zhèn)醫(yī)院，他們的醫(yī)療機(jī)械不是很先進(jìn)，在沒有相關(guān)經(jīng)驗的醫(yī) 生進(jìn)行診斷的情況下，容易出現(xiàn)病人的誤診，所以就需要請其他地區(qū)或大城市的現(xiàn)金設(shè)備 和有經(jīng)驗的醫(yī)生來進(jìn)行診斷。但是現(xiàn)實中，還存在兩方面的問題一是對遠(yuǎn)程的圖像質(zhì)量及 圖像分辨率要求很高，尤其是在病變區(qū)域；二是在圖像傳輸上，掃描一張高質(zhì)量完整尺寸的 普通圖像，其文件大小都在幾百兆字節(jié)到幾千兆字節(jié)之間，以目前的帶寬網(wǎng)絡(luò)，其在網(wǎng)絡(luò)上 傳輸是個問題。目前，在市場上沒有能在圖像質(zhì)量和網(wǎng)絡(luò)傳輸這兩方面同時滿足要求的設(shè) 備。發(fā)明內(nèi)容
為了克服現(xiàn)有的遠(yuǎn)程醫(yī)療設(shè)備在圖像質(zhì)量和網(wǎng)絡(luò)傳輸上存在的不足，本發(fā)明提供 了 一種對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn) 程閱片系統(tǒng)，采用B/S架構(gòu)，包括用于掃描視野圖像的顯微鏡； 用于采集并輸出視頻及圖像的CCD相機(jī)；用于對CCD相機(jī)輸出的視頻及圖像進(jìn)行本地顯示及處理，將視頻實時顯示在本地監(jiān)視 器上，當(dāng)圖像采集完畢后可以對圖像進(jìn)行拼接處理從而生成虛擬玻片的服務(wù)器；用于對用戶發(fā)送的遙操作指令進(jìn)行解析并驅(qū)動顯微鏡進(jìn)行相應(yīng)動作的運動控制服務(wù)器；用于將CCD相機(jī)輸出的視頻數(shù)據(jù)進(jìn)行壓縮后封裝成RTMP包通過Internet發(fā)送給用 戶，使客戶端用戶可以在瀏覽器相應(yīng)窗口中觀看到實時視頻的流媒體服務(wù)器；用于提供用戶操作界面，通過操作虛擬按鈕以及相應(yīng)的控制信息通過網(wǎng)絡(luò)發(fā)送給服務(wù) 器，同時接收實時視頻流的客戶端瀏覽器；所述顯微鏡、CCD相機(jī)、服務(wù)器、運動控制服務(wù)器和流媒體服務(wù)器組成顯微鏡服務(wù)器； 所述運動控制服務(wù)器和流媒體服務(wù)器分別和客戶端瀏覽器連接。
根據(jù)本發(fā)明的另一個實施例，進(jìn)一步包括所述顯微鏡有三個自由度，可以完成XYZ 三軸運動控制，進(jìn)行全自掃描。
根據(jù)本發(fā)明的另一個實施例，進(jìn)一步包括所述顯微鏡通過調(diào)節(jié)XY軸移動顯微鏡 XY載物臺，通過調(diào)節(jié)Z軸進(jìn)行調(diào)焦動作，來對玻片進(jìn)行全自動掃描。
根據(jù)本發(fā)明的另一個實施例，進(jìn)一步包括所述運動控制服務(wù)器采用TCP協(xié)議傳輸 控制命令和反饋信息與客戶端瀏覽器相連。
根據(jù)本發(fā)明的另一個實施例，進(jìn)一步包括所述流媒體服務(wù)器采用RTMP協(xié)議傳輸 視頻圖像數(shù)據(jù)與客戶端瀏覽器相連。
本發(fā)明的有益效果是，本系統(tǒng)主要是利用hternet對遠(yuǎn)程的全自動顯微鏡進(jìn)行 操作與控制，并觀察遠(yuǎn)端病人的病理切片圖像，從而實現(xiàn)遠(yuǎn)程病理診斷。該系統(tǒng)為醫(yī)生和病 人間提供了一種全新的非接觸式的診斷模式，由于可以實現(xiàn)對顯微鏡的完全控制并能傳輸 實時視頻和圖片，因此使得醫(yī)生可以獲取病人最真實的病理信息，及時、準(zhǔn)確的給出診斷結(jié) 果。本系統(tǒng)主要具有如下功能1、通過hternet對顯微鏡進(jìn)行遠(yuǎn)程操作與控制，包括XY載物臺的移動，Z軸調(diào)焦機(jī)構(gòu) 的升降，自動聚焦，全自動玻片掃描等；2、遠(yuǎn)程閱片通過傳輸實時視頻及圖像，專家或用戶可以對顯微鏡下圖像進(jìn)行實時觀 察，可以隨意轉(zhuǎn)換觀察視野；3、虛擬玻片漫游全自動顯微鏡首先對玻片進(jìn)行掃描，然后利用圖像拼接技術(shù)將幾百 副圖像拼接為一個大圖像并進(jìn)行壓縮，通過網(wǎng)絡(luò)傳送給客戶端，客戶利用web頁面即可瀏 覽玻片內(nèi)容，并可以任意放大縮小圖像。


下面結(jié)合附圖和實施例對本發(fā)明進(jìn)一步說明。
圖1是本發(fā)明的系統(tǒng)架構(gòu)圖； 圖2顯微鏡掃描路徑示意圖；圖3是全自動模式下顯微鏡掃描流程。
具體實施方式
一種對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，采用B/S架構(gòu)，包括 用于掃描視野圖像的顯微鏡；用于采集并輸出視頻及圖像的CCD相機(jī)；用于對CCD相機(jī)輸出的視頻及圖像進(jìn)行本地顯示及處理，將視頻實時顯示在本地監(jiān)視 器上，當(dāng)圖像采集完畢后可以對圖像進(jìn)行拼接處理從而生成虛擬玻片的服務(wù)器；用于對用戶發(fā)送的遙操作指令進(jìn)行解析并驅(qū)動顯微鏡進(jìn)行相應(yīng)動作的運動控制服務(wù)器；用于將CCD相機(jī)輸出的視頻數(shù)據(jù)進(jìn)行壓縮后封裝成RTMP包通過hternet發(fā)送給用 戶，使客戶端用戶可以在瀏覽器相應(yīng)窗口中觀看到實時視頻的流媒體服務(wù)器；用于提供用戶操作界面，通過操作虛擬按鈕以及相應(yīng)的控制信息通過網(wǎng)絡(luò)發(fā)送給服務(wù) 器，同時接收實時視頻流的客戶端瀏覽器；所述顯微鏡、CCD相機(jī)、服務(wù)器、運動控制服務(wù)器和流媒體服務(wù)器組成顯微鏡服務(wù)器； 所述運動控制服務(wù)器和流媒體服務(wù)器分別和客戶端瀏覽器連接。
所述顯微鏡有三個自由度，可以完成CTZ三軸運動控制，進(jìn)行全自掃描。
所述顯微鏡通過調(diào)節(jié)XY軸移動顯微鏡XY載物臺，通過調(diào)節(jié)Z軸進(jìn)行調(diào)焦動作，來 對玻片進(jìn)行全自動掃描。
所述運動控制服務(wù)器采用TCP協(xié)議傳輸控制命令和反饋信息與客戶端瀏覽器相 連。
所述流媒體服務(wù)器采用RTMP協(xié)議傳輸視頻圖像數(shù)據(jù)與客戶端瀏覽器相連。
系統(tǒng)采用B/S (即瀏覽器/服務(wù)器)架構(gòu)(如圖1)，顯微鏡服務(wù)器端由搭載有高清 CXD相機(jī)的全自動顯微鏡和服務(wù)器計算機(jī)組成，并架設(shè)了兩套服務(wù)器通道一個是運動控 制服務(wù)器，主要用于響應(yīng)用戶的操作命令，比如顯微鏡載物臺的移動、調(diào)焦等；另一個是流 媒體服務(wù)器，主要用于實時視頻流的傳輸。用戶通過web瀏覽器頁面上提供的虛擬按鈕向 服務(wù)器發(fā)送操控指令，從而實現(xiàn)對顯微鏡的遠(yuǎn)程操控，同時接收實時視頻流和圖像，讓用戶 能實時觀看到顯微鏡的鏡下圖像。
在通信方面，本系統(tǒng)將視頻圖像數(shù)據(jù)跟操控命令分開傳輸。其中控制命令與反饋 信息的傳輸采用TCP協(xié)議，而視頻圖像數(shù)據(jù)的傳輸采用實時消息協(xié)議RTMP。這主要是考慮 到控制命令與反饋信息的傳輸?shù)目煽啃砸蠓浅８?，如果傳輸發(fā)生錯誤將導(dǎo)致遠(yuǎn)程顯微鏡 執(zhí)行動作的混亂，而視頻圖像的傳輸要求盡可能保持實時性，以使用戶有較好的臨場感，稍 許的丟幀與圖像跳動并不影響用戶的整體判斷。
其中全自動顯微鏡有三個自由度，可以完成XYZ三軸運動控制，其中最為關(guān)鍵的 是Z軸調(diào)焦機(jī)構(gòu)，該機(jī)構(gòu)采用高精度步進(jìn)電機(jī)和滾珠絲杠，絲杠導(dǎo)程為1mm，電機(jī)步進(jìn)角1. 8 度，可以256細(xì)分，因此調(diào)焦機(jī)構(gòu)理論最小步長可達(dá)0. 02 μ m ；顯微鏡的光路系統(tǒng)采用奧林 巴斯光學(xué)顯微鏡，采用柯拉照明，物鏡放大倍率為100倍(油鏡)，數(shù)值孔徑1.25，理論景深 為 0. 5 μ m。
CXD相機(jī)傳感器尺寸2/3inch，分辨率141萬像素，可采集圖像大小為1392*1040， 幀率為15fps。
顯微鏡服務(wù)器軟件具有兩個主要功能一個是對CCD相機(jī)輸出的視頻及圖像進(jìn) 行本地顯示及處理，可以完成將視頻實時顯示在本地監(jiān)視器上，當(dāng)圖像采集完畢后可以對 圖像進(jìn)行拼接處理從而生成虛擬玻片；另一個是為遠(yuǎn)程客戶提供服務(wù)，該軟件將遠(yuǎn)程用戶 對顯微鏡的操控請求和視頻請求分開處理，分別架設(shè)運動控制服務(wù)器和流媒體服務(wù)器，當(dāng) 用戶發(fā)送對顯微鏡進(jìn)行遙操作的指令時，運動控制服務(wù)器對命令進(jìn)行解析并驅(qū)動顯微鏡進(jìn) 行相應(yīng)動作，為了使得客戶端用戶具有很好的現(xiàn)場感并能實時觀測到顯微鏡鏡下圖像，將 流媒體服務(wù)器一直處于開啟狀態(tài)，該服務(wù)器將CCD相機(jī)輸出的視頻數(shù)據(jù)進(jìn)行壓縮后封裝成 RTMP包通過hternet發(fā)送給用戶，用戶可以在瀏覽器相應(yīng)窗口中觀看到實時視頻。
客戶端瀏覽器主要為用戶提供操作界面，用戶通過登錄web頁面，打開相應(yīng)的操 作界面，然后通過鼠標(biāo)、鍵盤等操作界面上的虛擬按鈕，相應(yīng)的控制信息通過^ternet發(fā) 送給顯微鏡服務(wù)器，服務(wù)器驅(qū)動顯微鏡執(zhí)行相應(yīng)的動作，同時客戶端軟件還負(fù)責(zé)接收實時 視頻流，供用戶進(jìn)行觀察和分析。
在客戶端瀏覽器端，有兩種工作模式顯微鏡遙操作模式和玻片漫游模式。在顯微 鏡遙操作模式下，用戶通過web頁面上的虛擬按鈕對遠(yuǎn)程顯微鏡進(jìn)行遙操作，可以遠(yuǎn)程移 動顯微鏡XY載物臺，還可以驅(qū)動Z軸進(jìn)行調(diào)焦等動作。這種工作模式跟用戶親自手工操作5顯微鏡是類似的，用戶按下按鈕即可讓顯微鏡按照用戶所指的方向移動。在玻片漫游模式 下，用戶仍然通過web頁面上的虛擬按鈕對遠(yuǎn)程顯微鏡進(jìn)行控制與操作，跟遙操作模式不 同的是，在玻片漫游前，首先要確保顯微鏡服務(wù)器端已經(jīng)生成了虛擬玻片，如果沒有生成， 則客戶端必須首先發(fā)送“自動聚焦”或“開始掃描”指令給顯微鏡服務(wù)器，當(dāng)服務(wù)器端接收 到該指令后，顯微鏡即可開始自動聚焦或按照用戶指定的路徑進(jìn)行連續(xù)掃描，掃描結(jié)束后 服務(wù)器端會生成一張?zhí)摂M玻片，該虛擬玻片由所有已掃描視野的圖像拼接而成，這樣用戶 可以在客戶端任意瀏覽整個玻片的內(nèi)容。
對應(yīng)于客戶端瀏覽器的兩種工作模式，顯微鏡服務(wù)器也提供兩種工作模式等待 模式和全自動掃描模式。在等待模式下，服務(wù)器端對客戶端請求進(jìn)行“一問一答”形式的動 作，也即當(dāng)客戶發(fā)出某種請求，顯微鏡即按照用戶的請求進(jìn)行動作，動作結(jié)束后進(jìn)入等待狀 態(tài)。在全自動掃描模式下，當(dāng)服務(wù)器接收到客戶端指令后對指令進(jìn)行解析，獲取顯微鏡運動 路徑、掃描區(qū)域、掃描的行列數(shù)等參數(shù)，然后對玻片進(jìn)行全自動掃描，典型的掃描路徑采用 “Z”字型(如圖2)，掃描的視野數(shù)(也即行列的乘積)不少于300。顯微鏡掃描流程如圖3，在 獲取清晰圖像前必須進(jìn)行自動聚焦以確保玻片內(nèi)容在顯微鏡焦平面上，自動聚焦結(jié)束后系 統(tǒng)按照預(yù)設(shè)的路徑進(jìn)行掃描，每個視野保存一副圖像，需要注意的是由于顯微鏡景深非常 小(本系統(tǒng)小于0. 5 μ m),當(dāng)載物臺從一個視野移動至下一個視野時必須對玻片跟鏡頭間的 垂直位置關(guān)系進(jìn)行微調(diào)，也即進(jìn)行動態(tài)自動聚焦，當(dāng)圖像清晰后方可獲取當(dāng)前圖像，每幅圖 像保存至本地服務(wù)器。為了有效完成圖像拼接，要求所采集的圖像都存在部分重疊，因此在 圖像采集過程中必須對XY軸電機(jī)的運動步長進(jìn)行嚴(yán)格限制，本系統(tǒng)中顯微鏡的每個視野 尺寸為長88 μ m，寬66 μ m,因此要求X軸電機(jī)運行步長小于88 μ m，Y軸電機(jī)運行步長小于 66 μ m，這樣可以確保圖像間存在重疊。
本系統(tǒng)為醫(yī)生和病人間提供了一種全新的非接觸式的診斷模式，由于可以實現(xiàn)對 顯微鏡的完全控制并能傳輸實時視頻和圖片，因此使得醫(yī)生可以獲取病人最真實的病理信 息，及時、準(zhǔn)確的給出診斷結(jié)果。本系統(tǒng)通過hternet對顯微鏡進(jìn)行遠(yuǎn)程操作與控制，包 括XY載物臺的移動，Z軸調(diào)焦機(jī)構(gòu)的升降，自動聚焦，全自動玻片掃描等；遠(yuǎn)程閱片通過 傳輸實時視頻及圖像，專家或用戶可以對顯微鏡下圖像進(jìn)行實時觀察，可以隨意轉(zhuǎn)換觀察 視野；虛擬玻片漫游全自動顯微鏡首先對玻片進(jìn)行掃描，然后利用圖像拼接技術(shù)將幾百 副圖像拼接為一個大圖像并進(jìn)行壓縮，通過網(wǎng)絡(luò)傳送給客戶端，客戶利用web頁面即可瀏 覽玻片內(nèi)容，并可以任意放大縮小圖像。
權(quán)利要求
1. 一種對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，其特征是，采用B/S架構(gòu)，包括 用于掃描視野圖像的顯微鏡； 用于采集并輸出視頻及圖像的CCD相機(jī)；用于對CCD相機(jī)輸出的視頻及圖像進(jìn)行本地顯示及處理，將視頻實時顯示在本地監(jiān)視 器上，當(dāng)圖像采集完畢后可以對圖像進(jìn)行拼接處理從而生成虛擬玻片的服務(wù)器；用于對用戶發(fā)送的遙操作指令進(jìn)行解析并驅(qū)動顯微鏡進(jìn)行相應(yīng)動作的運動控制服務(wù)器；用于將CCD相機(jī)輸出的視頻數(shù)據(jù)進(jìn)行壓縮后封裝成RTMP包通過hternet發(fā)送給用 戶，使客戶端用戶可以在瀏覽器相應(yīng)窗口中觀看到實時視頻的流媒體服務(wù)器；用于提供用戶操作界面，通過操作虛擬按鈕以及相應(yīng)的控制信息通過網(wǎng)絡(luò)發(fā)送給服務(wù) 器，同時接收實時視頻流的客戶端瀏覽器；所述顯微鏡、CCD相機(jī)、服務(wù)器、運動控制服務(wù)器和流媒體服務(wù)器組成顯微鏡服務(wù)器； 所述運動控制服務(wù)器和流媒體服務(wù)器分別和客戶端瀏覽器連接。
2..根據(jù)權(quán)利要求1所述的對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，其特征是，所述 顯微鏡有三個自由度，可以完成XYZ三軸運動控制，進(jìn)行全自掃描。
3.根據(jù)權(quán)利要求1或2所述的對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，其特征是， 所述顯微鏡通過調(diào)節(jié)XY軸移動顯微鏡XY載物臺，通過調(diào)節(jié)Z軸進(jìn)行調(diào)焦動作，來對玻片進(jìn) 行全自動掃描。
4.根據(jù)權(quán)利要求1所述的對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，其特征是，所述 運動控制服務(wù)器采用TCP協(xié)議傳輸控制命令和反饋信息與客戶端瀏覽器相連。
5.根據(jù)權(quán)利要求1所述的對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)，其特征是，所述 流媒體服務(wù)器采用RTMP協(xié)議傳輸視頻圖像數(shù)據(jù)與客戶端瀏覽器相連。
全文摘要
本發(fā)明涉及基于Internet的遠(yuǎn)程醫(yī)療技術(shù)領(lǐng)域，尤其是一種對顯微鏡進(jìn)行網(wǎng)絡(luò)遙操作的遠(yuǎn)程閱片系統(tǒng)。采用B/S架構(gòu)，包括所述顯微鏡、CCD相機(jī)、服務(wù)器、運動控制服務(wù)器和流媒體服務(wù)器組成顯微鏡服務(wù)器；所述運動控制服務(wù)器和流媒體服務(wù)器分別和客戶端瀏覽器連接。本系統(tǒng)主要是利用Internet對遠(yuǎn)程的全自動顯微鏡進(jìn)行操作與控制，并觀察遠(yuǎn)端病人的病理切片圖像，從而實現(xiàn)遠(yuǎn)程病理診斷。該系統(tǒng)為醫(yī)生和病人間提供了一種全新的非接觸式的診斷模式，由于可以實現(xiàn)對顯微鏡的完全控制并能傳輸實時視頻和圖片，因此使得醫(yī)生可以獲取病人最真實的病理信息，及時、準(zhǔn)確的給出診斷結(jié)果。
文檔編號H04L29/06GK102035834SQ20101058308
公開日2011年4月27日 申請日期2010年12月11日 優(yōu)先權(quán)日2010年12月11日
發(fā)明者劉云輝, 宋寶泉, 朱曉強(qiáng), 翟永平 申請人:常州達(dá)奇醫(yī)療科技有限公司