專利名稱：醫(yī)療圖像處理裝置和醫(yī)療圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及針對內(nèi)窺鏡圖像等醫(yī)療圖像進行生成展開圖的圖像等圖像處理的醫(yī)療圖像處理裝置和醫(yī)療圖像處理方法。
背景技術(shù)：
近年，內(nèi)窺鏡在醫(yī)療等領(lǐng)域中被廣泛采用。例如，食道疾病之一有巴瑞特食道(Barrett esophagus)。
食道被扁平表皮的粘膜覆蓋，胃和腸被圓柱表皮的粘膜覆蓋。巴瑞特食道被認(rèn)為是由于胃酸反流到食道而使胃和食道的接合部附近的食道粘膜(扁平表皮)從胃開始連續(xù)地變性成圓柱表皮。
作為巴瑞特食道的診斷方法，利用內(nèi)窺鏡診斷，該診斷方法使用內(nèi)窺鏡來觀察從胃和食道的接合部開始連續(xù)存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界的特征形狀。
在作為現(xiàn)有例的日本國特開平8-256295號公報中公開了一種對在所獲得的內(nèi)窺鏡圖像中的周圍部產(chǎn)生的光學(xué)失真進行校正的裝置。
上述日本國特開平8-256295號公報中，盡管可對在內(nèi)窺鏡圖像中的周圍部產(chǎn)生的光學(xué)失真進行校正，然而在使用直視型內(nèi)窺鏡來觀察大致圓管形狀的食道的情況下，由于食道和內(nèi)窺鏡前端的位置/方向、光學(xué)失真等的影響，而不能在容易識別的狀態(tài)下顯示圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界特征。
即，在現(xiàn)有例中不能用容易診斷的展開圖(的圖像)進行顯示。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種可根據(jù)對巴瑞特食道等的管狀部位進行了攝像而得到的醫(yī)療圖像來生成容易診斷的展開圖的圖像的醫(yī)療圖像處理裝置。
本發(fā)明的另一目的是提供一種可獲得正確的展開圖的圖像的醫(yī)療圖像處理裝置和醫(yī)療圖像處理方法。
本發(fā)明的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有圖像變換部，其對拍攝生物體內(nèi)的管狀部位而得到的醫(yī)療圖像進行幾何變換；以及展開圖輸出部，其把由上述圖像變換部所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
根據(jù)上述結(jié)構(gòu)，通過對拍攝食道那樣的管狀部位而得到的醫(yī)療圖像進行幾何變換，并作為展開圖的圖像輸出到顯示裝置，從而可在容易診斷的狀態(tài)下觀察管狀部位的內(nèi)表面的狀態(tài)。
本發(fā)明的醫(yī)療圖像處理方法，其特征在于，該醫(yī)療圖像處理方法具有圖像變換步驟，該步驟對拍攝體腔內(nèi)的管狀部位而得到的醫(yī)療圖像進行幾何變換；以及展開圖輸出步驟，該步驟從由上述圖像變換步驟所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
根據(jù)上述結(jié)構(gòu)，通過對拍攝食道那樣的管狀部位而得到的醫(yī)療圖像進行幾何變換，并作為展開圖的圖像輸出到顯示裝置，從而可在容易診斷的狀態(tài)下觀察管狀部位的內(nèi)表面的狀態(tài)。


圖1是示出具有本發(fā)明的實施例1的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。
圖2是示出由插入食道那樣的管狀器官內(nèi)的內(nèi)窺鏡進行攝像的情況的圖。
圖3是示出由設(shè)置在圖2的內(nèi)窺鏡內(nèi)的攝像裝置所拍攝的內(nèi)窺鏡圖像的圖。
圖4是示出CPU的圖像處理功能的框圖。
圖5是示出用于生成展開圖的處理過程的流程圖。
圖6是示出內(nèi)窺鏡圖像和展開圖的關(guān)系的圖。
圖7是從展開圖獲得的坐標(biāo)位置和內(nèi)窺鏡圖像的各像素的位置關(guān)系的說明圖。
圖8是示出把所生成的展開圖和內(nèi)窺鏡圖像顯示在監(jiān)視器上的狀態(tài)的圖。
圖9是示出把本發(fā)明的實施例2中的內(nèi)窺鏡圖像投影在圓柱體表面上的情況的說明圖。
圖10是示出用于生成實施例2中的展開圖的處理過程的流程圖。
圖11是用于示出內(nèi)窺鏡圖像中的各像素位置的說明圖。
圖12是用于把內(nèi)窺鏡圖像的各像素的位置投影在圓柱體表面上，標(biāo)上各像素的亮度值來生成展開圖的說明圖。
圖13是在標(biāo)有內(nèi)窺鏡圖像的各像素的位置和作為展開圖顯示在顯示裝置上的圖像的位置不一致的情況下進行插值處理的說明圖。
圖14是示出把本發(fā)明的實施例3中的內(nèi)窺鏡圖像投影在圓柱體表面上的情況的說明圖。
圖15是示出來自光源的光在物體表面反射的情況的說明圖。
圖16A是示出內(nèi)窺鏡的攝像裝置存在于圓柱體的中心軸上的位置關(guān)系和對應(yīng)的模型圖像的圖。
圖16B是示出攝像裝置從圖16A的狀態(tài)向上方向平行移動后的位置關(guān)系和對應(yīng)的模型圖像的圖。
圖16C是示出從圖16A的狀態(tài)使插入部的軸向傾斜后的位置關(guān)系和對應(yīng)的模型圖像的圖。
圖17是示出用于生成實施例3中的展開圖的處理過程的流程圖。
圖18是具有變形例的膠囊型內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)圖。
圖19是示出具有本發(fā)明的實施例4的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。
圖20是示出CPU的圖像處理功能的框圖。
圖21是示出用于生成展開圖的處理過程的流程圖。
圖22是示出物體上的與所拍攝的圖像的各像素對應(yīng)的對應(yīng)點和光源等的位置關(guān)系的圖。
圖23A是示出來自光源的光在物體表面反射的情況的圖。
圖23B是具體示出圖23A的情況的圖。
圖24是示出設(shè)定在對應(yīng)點的周圍的多個法線矢量的圖。
圖25是示出矢量m通過圖像上的位置的圖。
圖26是用于求出通過三維形狀的中心的直線的說明圖。
圖27是從三維形狀的坐標(biāo)系變換成以直線為基準(zhǔn)的坐標(biāo)系的說明圖。
圖28A是示出由直視型內(nèi)窺鏡獲得的內(nèi)窺鏡圖像的圖。
圖28B是示出圖28A的內(nèi)窺鏡圖像和對食道進行了模型化后的圓柱體表面的關(guān)系的說明圖。
圖28C是示出根據(jù)投影在圖28B的圓柱體表面上的內(nèi)窺鏡圖像所生成的展開圖的圖。
圖29是通過插值處理來生成展開圖的說明圖。
圖30是示出顯示在顯示裝置上的內(nèi)窺鏡圖像和展開圖的圖。
圖31是示出用于生成本發(fā)明的實施例5中的展開圖的處理過程的一部分的流程圖。
圖32是圖31中的處理內(nèi)容的說明圖。
圖33是求出模板圖像和參照圖像的移動量的情況的說明圖。
圖34是示出具有本發(fā)明的實施例6的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。
圖35是示出由圖34的內(nèi)窺鏡的攝像裝置所拍攝的內(nèi)窺鏡圖像的圖。
圖36是示出CPU的圖像處理功能的圖。
圖37是示出經(jīng)過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖38是示出內(nèi)窺鏡圖像和所生成的展開圖的關(guān)系的圖。
圖39是根據(jù)內(nèi)窺鏡圖像生成展開圖的處理過程的流程圖。
圖40是檢測圖37中的表皮邊界的處理過程的流程圖。
圖41是示出顯示了計算出的表皮邊界的Z方向的平均值的展開圖的圖。
圖42是示出通過預(yù)先確定了診斷的表皮邊界的情況和巴瑞特食道的情況下的樣本的離散值的直方圖來計算成為判定基準(zhǔn)的基準(zhǔn)值的直方圖例的圖。
圖43是示出顯示了內(nèi)窺鏡圖像、展開圖以及判定結(jié)果的監(jiān)視器上的顯示例的圖。
圖44A是示出由直視型內(nèi)窺鏡取得的內(nèi)窺鏡圖像的圖。
圖44B是示出圖44A的內(nèi)窺鏡圖像和對食道進行了模型化后的圓柱體表面的關(guān)系的說明圖。
圖44C是示出根據(jù)投影在圖44B的圓柱體表面上的內(nèi)窺鏡圖像所生成的展開圖的圖。
圖45是示出本發(fā)明的實施例7中的內(nèi)窺鏡圖像和展開圖的圖。
圖46是示出經(jīng)過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖47是示出本發(fā)明的實施例8中的內(nèi)窺鏡圖像和展開圖的圖。
圖48是示出經(jīng)過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖49是計算實施例9中的展開圖中的表皮邊界上的相鄰2點間的距離的情況的說明圖。
圖50是示出計算表皮邊界的相鄰2點間的距離的總和來判定是否是巴瑞特食道的處理過程的流程圖。
圖51A是示出在根據(jù)實施例10中的內(nèi)窺鏡圖像所生成的展開圖的表皮邊界上設(shè)定了矢量的情況的說明圖。
圖51B是示出從展開圖的表皮邊界上的相鄰3點求出相鄰的兩個矢量所成的角的情況的說明圖。
圖52是求出相鄰的兩個矢量所成的角的總和來判定是否是巴瑞特食道的處理過程的流程圖。
圖53是示出計算連接實施例11中的展開圖的表皮邊界上的相鄰2點的矢量的斜率的情況的說明圖。
圖54是示出計算矢量的斜率從正變化到負(fù)、從負(fù)變化到正的拐點的總數(shù)，根據(jù)該總數(shù)判定是否是巴瑞特食道的處理過程的流程圖。
具體實施例方式
以下，參照附圖對本發(fā)明的實施例進行說明。
(實施例1)參照圖1至圖8對本發(fā)明的實施例1進行說明。
圖1所示的內(nèi)窺鏡系統(tǒng)1包括內(nèi)窺鏡觀察裝置2；成為本發(fā)明的醫(yī)療圖像處理裝置的實施例1的內(nèi)窺鏡圖像處理裝置(以下簡稱為圖像處理裝置)3，其由對該內(nèi)窺鏡觀察裝置2所獲得的內(nèi)窺鏡圖像進行圖像處理的個人計算機等構(gòu)成；以及顯示監(jiān)視器4，其顯示由該圖像處理裝置3進行了圖像處理后的圖像。
內(nèi)窺鏡觀察裝置2具有插入體腔內(nèi)的內(nèi)窺鏡6；把照明光提供給該內(nèi)窺鏡6的光源裝置7；進行對內(nèi)窺鏡6的攝像單元的信號處理的照相機控制單元(簡稱為CCU)8；以及被輸入從該CCU 8所輸出的影像信號，從而顯示由攝像元件所拍攝的內(nèi)窺鏡圖像的監(jiān)視器9。
內(nèi)窺鏡6具有插入體腔內(nèi)的細長的插入部11，以及設(shè)置在該插入部11的后端的操作部12。并且，在插入部11內(nèi)插通有傳送照明光的光導(dǎo)13。
該光導(dǎo)13的后端與光源裝置7連接。而且，從該光源裝置7所提供的照明光由光導(dǎo)13傳送，從安裝在設(shè)置于插入部11的前端部14上的照明窗上的前端面射出(所傳送的照明光)，對患部等被攝體進行照明。
設(shè)置有攝像裝置17，該攝像裝置17具有安裝在與照明窗相鄰的觀察窗上的物鏡15，以及配置在該物鏡15的成像位置上的作為固體攝像元件的例如電荷耦合元件(簡稱為CCD)16。而且，成像在該CCD 16的攝像面上的光學(xué)像由該CCD 16進行光電變換。
該CCD 16經(jīng)由信號線與CCU 8連接，從該CCU 8施加CCD驅(qū)動信號，由此，CCD 16輸出光電變換后的圖像信號。該圖像信號由CCU 8內(nèi)的影像處理電路來進行信號處理，并變換成影像信號。該影像信號被輸出到監(jiān)視器9，在監(jiān)視器9的顯示面上顯示內(nèi)窺鏡圖像。該影像信號也被輸入到圖像處理裝置3。
該圖像處理裝置3具有圖像輸入部21，其被輸入與從內(nèi)窺鏡觀察裝置2所輸入的內(nèi)窺鏡圖像對應(yīng)的影像信號；作為中央運算處理裝置的CPU 22，其對從該圖像輸入部21所輸入的圖像數(shù)據(jù)進行圖像處理；以及處理程序存儲部23，其存儲使該CPU 22執(zhí)行圖像處理的處理程序(控制程序)23a。
并且，該圖像處理裝置3具有圖像存儲部24，其存儲從圖像輸入部21所輸入的圖像數(shù)據(jù)等；信息存儲部25，其存儲由CPU 22所處理過的信息等；作為存儲裝置的硬盤27，其經(jīng)由存儲裝置接口(I/F)26存儲由CPU 22所處理過的圖像數(shù)據(jù)和信息等；顯示處理部28，其進行用于顯示由CPU 22所處理過的圖像數(shù)據(jù)等的顯示處理；以及輸入操作部29，其由用戶進行圖像處理參數(shù)等的數(shù)據(jù)輸入和指示操作的鍵盤等構(gòu)成。
而且，由該顯示處理部28所生成的影像信號顯示在顯示監(jiān)視器4上，在該顯示監(jiān)視器4的顯示面上顯示圖像處理后的處理圖像。另外，圖像輸入部21、CPU 22、處理程序存儲部23、圖像存儲部24、信息存儲部25、存儲裝置接口26、顯示處理部28以及輸入操作部29經(jīng)由數(shù)據(jù)總線30相互連接。
在本實施例中，如圖2所示，在例如食道31那樣的管狀器官或管狀部位內(nèi)插入直視型內(nèi)窺鏡6的插入部11，由設(shè)置在前端部14的攝像裝置17對食道31的內(nèi)壁等進行攝像。設(shè)置在直視型內(nèi)窺鏡6內(nèi)的攝像裝置17把插入部11的長度方向作為進行攝像的視野方向。而且，使用該攝像裝置17，在把該管腔方向作為大致視野方向的直視型的狀態(tài)下對管狀部位的內(nèi)面進行攝像。
圖3示出由該直視型內(nèi)窺鏡6所拍攝的巴瑞特食道的內(nèi)窺鏡圖像Ia的一例。巴瑞特食道是食道粘膜(扁平表皮)從胃和食道的接合部開始向口腔連續(xù)地變性成胃粘膜(圓柱表皮)的狀態(tài)。手術(shù)人員通過使用內(nèi)窺鏡6來觀察該變性后的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界的特征形狀，從而進行是否是巴瑞特食道的診斷。
在圖3的內(nèi)窺鏡圖像Ia的情況下，是從食道31到胃內(nèi)部的管狀部位的圖像。具體地說，顯示了到胃內(nèi)部的最暗部(的圖像部分)33，該最暗部的周圍的胃和食道的接合部(的圖像部分)34，接合部34的周圍的圓柱表皮(的圖像部分)35，以及該圓柱表皮35的周圍的扁平表皮(的圖像部分)36。
在本實施例中，使用直視型內(nèi)窺鏡6來對食道31那樣的管狀器官的對象物進行攝像，并對所拍攝的內(nèi)窺鏡圖像Ia進行幾何變換，進行生成展開圖的處理，把所生成的對象物的展開像顯示在顯示監(jiān)視器4上。
構(gòu)成圖像處理裝置3的CPU 22如圖4所示，具有進行幾何變換的幾何圖像變換單元(功能)22a，以及通過幾何變換生成展開像而輸出到顯示監(jiān)視器4的展開圖輸出單元(功能)22b，在該顯示監(jiān)視器4的顯示面上顯示展開像(或簡稱為展開圖)。
在本實施例中，圖4所示的幾何圖像變換單元22a和展開圖輸出單元22b是由CPU 22使用處理程序23a以軟件方式實現(xiàn)的。為此，CPU 22讀出存儲在圖1所示的處理程序存儲部23內(nèi)的處理程序23a，CPU 22根據(jù)該處理程序23a執(zhí)行圖5所示的流程圖的處理。
下面參照圖5對本實施例的動作進行說明。
開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序23a，開始根據(jù)該處理程序23a的處理。CPU 22在最初的步驟S1中，取得從內(nèi)窺鏡觀察裝置2的CCU 8經(jīng)由圖像輸入部21所輸入的內(nèi)窺鏡圖像Ia的圖像數(shù)據(jù)。
然后，在下一步驟S2中，CPU 22對所取得的圖像數(shù)據(jù)進行失真像差校正(例如參照日本國特開平8-256295號公報)、噪音去除等預(yù)處理，在步驟S3中，CPU 22檢測內(nèi)窺鏡圖像Ia內(nèi)的最暗部的位置，并把檢測出的最暗部的重心位置作為內(nèi)窺鏡圖像Ia的坐標(biāo)的中心位置。
在本實施例中，以內(nèi)窺鏡圖像Ia內(nèi)的最暗部的位置為中心來生成展開圖。作為最暗部的檢測方法，把內(nèi)窺鏡圖像Ia分割成多個區(qū)域，計算所分割的區(qū)域的平均亮度，求出具有最小平均亮度的區(qū)域作為最暗部的位置。
如圖6的左側(cè)所示把內(nèi)窺鏡圖像Ia的二維正交坐標(biāo)系設(shè)定為X-Y，從該內(nèi)窺鏡圖像Ia變換成如圖6的右側(cè)所示采用展開圖Ib的坐標(biāo)系θ-Z的極坐標(biāo)系。另外，坐標(biāo)系X-Y中的坐標(biāo)位置用x、y來表示。并且，極坐標(biāo)系θ-Z中的坐標(biāo)位置用表示周向的位置的θ和表示距中心的距離的位置的z來表示。
另外，為了容易明白在圖6中根據(jù)內(nèi)窺鏡圖像Ia生成展開圖Ib的情況的關(guān)系，在把內(nèi)窺鏡圖像Ia中的扁平表皮和圓柱表皮的表皮邊界37、胃食道的接合部34(的邊界)等作為展開圖的情況下，利用箭頭對應(yīng)地示出以哪種形狀來顯示。并且，Q0、Q45、Q90表示θ是0度、45度、90度的情況，在后述的其他實施例中也是一樣。
然后在步驟S4和步驟S5中，CPU 22設(shè)定展開圖Ib的坐標(biāo)位置S(θ，z)的初始值。即，在步驟S4中，CPU 22設(shè)θ＝0，在步驟S5中設(shè)z＝0。
在步驟S6中，CPU 22根據(jù)以下的式(1)求出與所設(shè)定的展開圖Ib的坐標(biāo)S(θ，z)對應(yīng)的內(nèi)窺鏡圖像Ia的坐標(biāo)位置。
x＝zsinθ(1)y＝zcosθ在步驟S7中，CPU 22判斷計算出的坐標(biāo)P(x，y)是否存在于內(nèi)窺鏡圖像Ia內(nèi)。
然后，在CPU 22判斷為存在于內(nèi)窺鏡圖像Ia內(nèi)的情況下，移到步驟S8的處理。如圖7所示，根據(jù)式(1)獲得的內(nèi)窺鏡圖像的坐標(biāo)P(x，y)的位置具有存在于像素之間的中間的可能性，因而在步驟S8中，CPU22使用線性插值等處理來計算坐標(biāo)P(x，y)的亮度值。例如，CPU 22根據(jù)所獲得的坐標(biāo)位置(由符號×表示)的周圍的四個像素○(由斜線表示)的亮度值和位置關(guān)系來求出坐標(biāo)位置×的亮度值。
另外，作為亮度值，在進行彩色攝像的情況下，相當(dāng)于各色信號的亮度值。
在步驟S9中，CPU 22把在步驟S8求出的亮度值作為展開圖的坐標(biāo)S(θ，z)的亮度值。然后進到步驟S10，CPU 22變更展開圖的z值(例如z的增量Δz＝1)，回到步驟S6的處理。
另一方面，在步驟S7中計算出的坐標(biāo)P(x，y)不存在于內(nèi)窺鏡圖像Ia內(nèi)的情況下，CPU 22進到步驟S11的處理，變更展開圖Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。
在下一步驟S12中，CPU 22在θ小于2π(360°)時回到步驟S5，繼續(xù)展開圖生成處理。另一方面，在θ大于等于2π的情況下，CPU 22判斷為生成了展開圖并進到步驟S13，把內(nèi)窺鏡圖像Ia和展開圖Ib輸出到顯示監(jiān)視器4，結(jié)束處理。
然后，如圖8所示在顯示監(jiān)視器4上顯示內(nèi)窺鏡圖像Ia和展開圖Ib。另外，在圖8中，顯示內(nèi)窺鏡圖像Ia和展開圖Ib雙方，然而也可以僅顯示展開圖Ib。
這樣在本實施例中，生成展開圖Ib，將該展開圖Ib與內(nèi)窺鏡圖像Ia一起顯示在顯示監(jiān)視器4上，因而與內(nèi)窺鏡圖像Ia的情況相比，可在更容易比較等的狀態(tài)下顯示周向(θ方向)和成為管腔方向的深度方向(z方向)的值，因而更容易客觀地進行巴瑞特食道等管狀器官的診斷。
在現(xiàn)有例中，僅顯示圖8中的內(nèi)窺鏡圖像Ia，如果僅是該內(nèi)窺鏡圖像Ia，則成為對管狀器官等的內(nèi)面進行了二維投影而得到的圖像，例如根據(jù)深度方向的距離，在縮小的狀態(tài)下顯示各部。
因此，手術(shù)人員即使要對例如深度方向的值不同的部分進行比較，各部的刻度根據(jù)深度方向的距離而不同，因而也不能簡單地進行比較。
相比之下，根據(jù)本實施例，在把二維拍攝的內(nèi)窺鏡圖像Ia中的各像素的位置變換成圍繞通過中心位置的基準(zhǔn)線的周向的位置和與該周向垂直的(距中心位置的)距離位置的狀態(tài)下，標(biāo)注各像素的亮度值的信息，用周向的位置、即角θ值來展開顯示。
換句話說，根據(jù)內(nèi)窺鏡圖像Ia，生成與以長度方向(深度方向)的線將管狀器官的內(nèi)面切開后的圖像對應(yīng)的展開像并顯示該圖像。
因此，根據(jù)本實施例，即使在深度方向的距離不同的位置，也能使周向的刻度一致來進行顯示，因此可簡單地進行場所不同的部位的比較，可容易診斷地進行顯示。
因此，本實施例具有以下效果。
通過對由直視型內(nèi)窺鏡6所拍攝的食道31那樣的管狀器官的內(nèi)窺鏡圖像Ia進行幾何變換，可容易觀察從胃和食道的接合部開始連續(xù)存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的特征形狀，因而具有容易進行巴瑞特食道等的診斷的效果。
(實施例2)下面參照圖9至圖13對本發(fā)明的實施例2進行說明。
本實施例具有與圖1的圖像處理裝置3相同的硬件結(jié)構(gòu)。而且，本實施例采用內(nèi)容與存儲在圖1的處理程序存儲部23內(nèi)的處理程序23a不同的處理程序。
在本實施例中，如圖9所示，把食道內(nèi)面假定為具有該食道內(nèi)面的平均直徑值的圓柱體41，對由內(nèi)窺鏡6的(CCD 16的)攝像面42所拍攝的內(nèi)窺鏡圖像進行幾何變換，以將其投影在圓柱體41的表面上。
即，如圖9所示將由(構(gòu)成攝像裝置17的CCD 16的)攝像面42所拍攝的內(nèi)窺鏡圖像通過圓柱體41的內(nèi)側(cè)投影在圓柱體41的表面上。在該情況下，圓柱體41的尺寸被設(shè)定為大致食道的管壁(內(nèi)壁)的值，更具體地說是其平均值。
即，使用由物鏡15和CCD 16構(gòu)成的攝像裝置17將接近圓管的食道內(nèi)面成像在CCD 16的攝像面42上，使用對所成像的光學(xué)像進行光電變換的CCD 16來進行攝像。然后，進行幾何變換，以便生成通過物鏡16將所拍攝的主要與食道和胃連接的接合部附近的內(nèi)窺鏡圖像投影在對該食道內(nèi)側(cè)的管壁進行了近似而得到的圓柱體41的內(nèi)表面上的圖像。
然后，通過該幾何變換，展開被投影了內(nèi)窺鏡圖像的圓柱體41，從而生成投影在該圓柱體41上的內(nèi)窺鏡圖像的展開圖(的圖像)，把展開圖輸出到顯示監(jiān)視器4等顯示裝置，在該顯示裝置的顯示面上顯示展開圖。
生成展開圖的處理過程如圖10的流程圖所示。
與實施例1一樣，開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序，開始根據(jù)該處理程序的處理。CPU 22在最初的步驟S21中，取得從內(nèi)窺鏡觀察裝置2的CCU 8經(jīng)由圖像輸入部21所輸入的內(nèi)窺鏡圖像Ia的圖像數(shù)據(jù)。
然后，在下一步驟S22中，CPU 22對所取得的圖像數(shù)據(jù)進行失真像差校正、噪音去除等預(yù)處理，然后在步驟S23中，CPU 22檢測內(nèi)窺鏡圖像內(nèi)的最暗部的位置，把檢測出的位置作為內(nèi)窺鏡圖像的坐標(biāo)的中心位置。
CPU 22如圖9所示把內(nèi)窺鏡圖像(CCD 16的攝像面42)上的坐標(biāo)系設(shè)定為X-Y，把圓柱體表面的坐標(biāo)系設(shè)定為θ-Z。
如圖11所示把內(nèi)窺鏡圖像Ia的各像素設(shè)定為I(i，j)(1≤i≤i_max，1≤j≤j_max)，把最暗部的位置設(shè)定為I(io，jo)，則圖9的內(nèi)窺鏡圖像的坐標(biāo)系X-Y中的坐標(biāo)P(x，y)和內(nèi)窺鏡圖像Ia的像素位置I(i，j)的關(guān)系用以下的式(2)表示。
x＝(i-io)xCCD(2)y＝(jo-j)yCCD其中，xCCD和yCCD是X軸、Y軸方向的像素間的距離。
然后在步驟S24和步驟S25中，CPU 22設(shè)定內(nèi)窺鏡圖像Ia的像素的初始位置I(1，1)。即，設(shè)定為像素位置參數(shù)i＝1，j＝1。然后，在下一步驟S26中，CPU 22根據(jù)以下的式(3)求出與內(nèi)窺鏡圖像Ia的坐標(biāo)P(x，y)對應(yīng)的圓柱體41的表面的坐標(biāo)C(θ，z)。
θ=sin-1(x/x2+y2)]]>z=rf/x2+y2---(3)]]>zs＝r/tan(α/2)其中，f是攝像系統(tǒng)(具體地說是物鏡15)的焦距，r是圓柱體41的半徑(例如根據(jù)食道的平均直徑計算半徑)，α是視場角。
在步驟S27中，CPU 22進行把與內(nèi)窺鏡圖像Ia的像素I(i，j)(在目前情況下，i＝1，j＝1)對應(yīng)的圓柱體41的表面的坐標(biāo)位置C(θ，z)存儲在圖像存儲部24等內(nèi)的處理。
在下一步驟S28中，CPU 22使參數(shù)i增加1(沿水平方向使像素移動到相鄰的像素)，在步驟S29中判斷參數(shù)i是否小于等于i_max。然后，CPU 22在參數(shù)i小于等于i_max時，回到步驟S26，繼續(xù)處理。
另一方面，在參數(shù)i大于i_max的情況下，CPU 22進到下一步驟S30的處理，在該步驟S30中，CPU 22使參數(shù)j增加1(沿垂直方向使像素移動到相鄰的像素)。
在下一步驟S31中，CPU 22判斷參數(shù)j是否小于等于j_max，在參數(shù)j小于等于j_max時，回到步驟S25，繼續(xù)處理。另一方面，在參數(shù)j大于j_max的情況下，CPU 22移到下一步驟S32的處理。
在該步驟S32中，CPU 22求出與內(nèi)窺鏡圖像Ia的所有像素I(i，j)對應(yīng)的圓柱體41的表面的坐標(biāo)位置C(θ，z)，(如下所述，通過插值處理)生成展開圖。
CPU 22把圖12的左側(cè)的內(nèi)窺鏡圖像Ia的各像素的亮度值標(biāo)注在圖12的右側(cè)所示的圓柱體表面的坐標(biāo)系θ-z上。
在圖13所示的展開圖Ib上顯示的圓柱體表面上標(biāo)注的像素不均勻地存在，Z值越大，就越粗。另外，在圖13中，將其左側(cè)的展開圖Ib中的一部分在右側(cè)放大示出。
并且，如圖13所示所標(biāo)注的各像素與顯示在顯示監(jiān)視器4等顯示裝置上的圖像的各像素位置不一致，因而通過插值處理來生成顯示在顯示裝置上的圖像、即展開圖Ib。
即，CPU 22在步驟S32中，進行上述插值處理，生成可顯示在顯示監(jiān)視器4等顯示裝置上的圖像、即展開圖Ib。然后，CPU 22在步驟S33中，把該展開圖Ib與內(nèi)窺鏡圖像Ia一起輸出到顯示監(jiān)視器4。然后，如步驟S34所示在顯示監(jiān)視器4上，如圖8所示顯示展開圖Ib和內(nèi)窺鏡圖像Ia，結(jié)束該處理。然而，該展開圖Ib作為與z方向相關(guān)的傾向與實施例1不同的展開圖來顯示。
本實施例具有以下效果。
把食道31那樣的管狀器官的內(nèi)面假定為圓柱體41，通過把由內(nèi)窺鏡6的攝像面所拍攝的內(nèi)窺鏡圖像Ia投影在圓柱體41上，來生成展開圖Ib，因而可生成比實施例1更準(zhǔn)確的展開圖Ib。
即，在實施例1中，把內(nèi)窺鏡圖像Ia的各位置變換成具有距該內(nèi)窺鏡圖像Ia中的中心的距離z和距通過中心的基準(zhǔn)位置的周向的位置信息、即角θ的極坐標(biāo)系，根據(jù)角θ展開，與距離z一起作為展開圖Ib來顯示，相比之下，在本實施例中，把食道31的管狀部位(管狀器官)視為圓柱體41，把內(nèi)窺鏡圖像Ia的位置投影在該圓柱體41的表面上來生成展開圖Ib，因而可生成反映出更實際的狀態(tài)的展開圖Ib。
因此，根據(jù)本實施例，即使在深度方向(管腔的軸向)的值不同的部分中，也能獲得更容易比較的展開圖Ib。
另外，在實施例1和實施例2中，檢測內(nèi)窺鏡圖像內(nèi)的最暗部的位置來作為內(nèi)窺鏡圖像Ia的中心位置，然而也能根據(jù)亮度的變化方向來推定中心位置(這在日本國特開2003-93328號公報中作了記載)。
(實施例3)下面參照圖14至圖17對本發(fā)明的實施例3進行說明。
本圖像處理裝置的結(jié)構(gòu)與實施例1相同，而存儲在處理程序存儲部23內(nèi)的處理程序與圖1的處理程序23a不同。而且，根據(jù)該處理程序進行以下處理。
在本實施例中，把食道那樣的管狀器官假定為圓柱體41，使用模型圖像和內(nèi)窺鏡圖像來推定內(nèi)窺鏡前端(的攝像單元)和管狀器官的位置關(guān)系。
然后，根據(jù)所推定的位置關(guān)系，把由內(nèi)窺鏡6所拍攝的內(nèi)窺鏡圖像投影在圓柱體41的表面上，作為將所投影的圖像展開后的展開圖來顯示在顯示監(jiān)視器4等顯示裝置上。
為了估計上述位置關(guān)系，在本實施例中，生成變更了設(shè)置在內(nèi)窺鏡6的前端的攝像裝置17(的攝像面)和圓柱體41的位置關(guān)系后的多個模型圖像，進行所生成的多個模型圖像和實際所拍攝的內(nèi)窺鏡圖像Ia的匹配處理，檢測與所拍攝的內(nèi)窺鏡圖像Ia接近的模型圖像。
然后，根據(jù)檢測出的模型圖像來推定攝像裝置17和圓柱體41的位置關(guān)系。根據(jù)圖14對模型圖像的生成方法進行說明。
圖14是把食道那樣的管狀器官的內(nèi)面假定為圓柱體41，并示出攝像裝置17的攝像面42和圓柱體41的位置關(guān)系的圖。在實施例2中，進行了攝像面42的光軸通過圓柱體41的中心的條件設(shè)定，然而在本實施例中，除了該條件以外，還考慮兩者傾斜的情況。
若把以圓柱體41為基準(zhǔn)的坐標(biāo)系設(shè)定為XL-YL-ZL，則圓柱體41表面的坐標(biāo)(xL，yL，zL)利用以下的式(4)表示。
xLyLzL=rsinθLrcosθLzL---(4)]]>另外，若把以攝像面42為基準(zhǔn)的坐標(biāo)系設(shè)定為X-Y-Z，則與圓柱體41的坐標(biāo)系XL-YL-ZL的關(guān)系利用以下的式(5)表示。
xyz=RxLyLzL+M---(5)]]>其中，R是旋轉(zhuǎn)矩陣，M是平移矩陣。即，矩陣R和M是表示圓柱體41相對攝像裝置17的攝像面42的位置關(guān)系的參數(shù)。
若把以由攝像面42所拍攝的內(nèi)窺鏡圖像為基準(zhǔn)的坐標(biāo)系設(shè)定為XI-YI，則與攝像面42的坐標(biāo)系X-Y-Z的關(guān)系利用以下的式(6)表示。
xIyI=xf/zyf/z---(6)]]>
如圖15所示，假定光源Q位于距物體有限的距離d處，把該光源Q假定為點光源，假定作為該物體的具體例的圓柱體表面對光源Q的光進行漫反射的情況下，圓柱體表面的反射光I利用以下的式(7)表示。
I(xI，yI)＝kIqcosβ/d2(7)其中，k是面的漫反射率，Iq是光源Q的光度，β是點W處的面法線和光源方向QW所成的角度，d是點W和光源Q的距離。
因此，通過設(shè)定圓柱體41相對攝像裝置17的位置/方向，根據(jù)式(4)～(6)，從圓柱體表面的位置B求出由攝像裝置17所拍攝的內(nèi)窺鏡圖像上的位置A，可根據(jù)式(7)計算此時的亮度值。
圖16A是在攝像裝置17存在于圓柱體41的中心線51上、并朝向中心線51方向的情況下獲得的模型圖像63a，圖16B是在使攝像裝置17從圖16A的狀態(tài)向上方向平行移動后的情況下獲得的模型圖像63b，圖16C是在使攝像裝置17從圖16A的狀態(tài)平行移動且變更了視野方向或插入部11的軸向的情況下獲得的模型圖像63c。
因此，在本實施例中，設(shè)定攝像裝置17和圓柱體的多個位置/方向，生成多個模型圖像。
然后，CPU 22按照圖17所示的流程圖來處理，如以下說明那樣生成展開圖Ib。
與實施例1一樣，開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序，開始根據(jù)該處理程序的處理。CPU 22在最初的步驟S41中，取得從內(nèi)窺鏡觀察裝置2的CCU 8經(jīng)由圖像輸入部21所輸入的內(nèi)窺鏡圖像的圖像數(shù)據(jù)。
然后，在下一步驟S42中，CPU 22對所取得的圖像數(shù)據(jù)進行失真像差校正、噪音去除等預(yù)處理，在步驟S43中進行與模型圖像的匹配處理。CPU 22通過匹配處理，通過規(guī)范化相互相關(guān)等計算所取得的內(nèi)窺鏡圖像和模型圖像的相關(guān)值，檢測相關(guān)性最高的模型圖像。
CPU 22檢測與通過步驟S43的匹配處理所取得的圖像數(shù)據(jù)相關(guān)性最高的模型圖像，根據(jù)檢測出的模型圖像求出攝像裝置17和圓柱體41的位置/方向關(guān)系。如實施例1的圖6所示把內(nèi)窺鏡圖像Ia的坐標(biāo)系設(shè)定為X-Y，展開圖的坐標(biāo)系設(shè)定為θL-ZL。
然后在步驟S44和步驟S45中，CPU 22設(shè)定圓柱體表面的坐標(biāo)S(θL，zL)的初始值。在步驟S46中，CPU 22根據(jù)式(4)～(6)求出與所設(shè)定的坐標(biāo)S(θL，zL)對應(yīng)的內(nèi)窺鏡圖像的坐標(biāo)P(xI，yI)。
在步驟S47中，CPU 22判斷計算出的坐標(biāo)P(xI，yI)是否存在于內(nèi)窺鏡圖像內(nèi)。在存在于內(nèi)窺鏡圖像內(nèi)的情況下，進到步驟S48。
如實施例1的圖7所示，內(nèi)窺鏡圖像的坐標(biāo)P(xI，yI)的位置具有存在于像素之間的中間的可能性，因而在步驟S48中，CPU 22使用線性插值等處理來計算坐標(biāo)P(xI，yI)的亮度值。
例如，根據(jù)所獲得的坐標(biāo)位置×的周圍四個像素○(斜線)的亮度值和位置關(guān)系求出坐標(biāo)位置×的亮度值。
在步驟S49中，CPU 22把在步驟S48中求出的亮度值作為展開圖的坐標(biāo)S(θL，zL)的亮度值。
然后進到步驟S50，CPU 22變更展開圖的ZL值(例如ΔzL＝1)，并進到步驟S46。
在步驟S47中CPU 22判斷為計算出的坐標(biāo)P(xI，yI)不存在于內(nèi)窺鏡圖像內(nèi)的情況下，進到步驟S51，變更展開圖的θL的值(例如ΔθL＝π/1801°)。
在步驟S52中，CPU 22在θL小于2π(360°)時進到步驟S45，繼續(xù)展開圖生成的處理。在θL大于等于2π的情況下，CPU 22判斷為已生成了展開圖，并進到步驟S53，如實施例1那樣把內(nèi)窺鏡圖像和展開圖顯示在顯示監(jiān)視器4上，結(jié)束處理(也可以僅顯示展開圖)。
本實施例具有以下效果。
在本實施例中，把食道那樣的管狀器官假定為圓柱體41，根據(jù)圖像推定圓柱體41和攝像裝置17的位置/方向的關(guān)系，根據(jù)所推定的位置/方向來生成內(nèi)窺鏡圖像的展開圖，因而可生成比實施例2更準(zhǔn)確的展開圖。
在實施例1～實施例3中，使用具有細長的插入部11的內(nèi)窺鏡6作了說明，然而也能應(yīng)用于圖18所示的膠囊型內(nèi)窺鏡82的情況。
如圖18所示具有變形例的膠囊型內(nèi)窺鏡系統(tǒng)81包括膠囊型內(nèi)窺鏡裝置(以下簡稱為膠囊型內(nèi)窺鏡)82，其被患者吞入，從而對體腔內(nèi)進行攝像；體外裝置83，其配置在患者體外，接收來自膠囊型內(nèi)窺鏡82的圖像數(shù)據(jù)并進行記錄；以及圖像處理裝置84，其被從該體外裝置83輸入圖像。
膠囊型內(nèi)窺鏡82具有設(shè)置在膠囊狀的容器內(nèi)作為照明單元的例如LED 85；成像被照明的被攝體的像的物鏡86和配置在物鏡86的成像位置上、構(gòu)成進行攝像的攝像單元的CCD 87；對由該CCD 87所拍攝的攝像信號進行信號處理等的控制電路88；進行將所拍攝的圖像無線發(fā)送的處理的無線電路89；以及向各電路等供電的電池90。
并且，體外裝置83經(jīng)由多個天線91a、91b、91c通過無線電路92從膠囊型內(nèi)窺鏡82的無線電路89的天線89a接收電波，并把該信號發(fā)送到控制電路93。通過該控制電路93變換成影像信號來輸出到圖像處理裝置84。
然后，圖像處理裝置84進行上述的各實施例等的處理。
另外，控制電路93具有使用多個天線91a～91c來推定膠囊型內(nèi)窺鏡82的位置的位置檢測功能93a。而且，也可以利用該位置檢測功能93a來選擇設(shè)定檢測對象的圖像。即，利用該位置檢測功能93a來檢測是否在對接近從食道到胃的邊界的部位進行攝像，當(dāng)在對某種程度上接近邊界的部位進行攝像的情況下，也可以與上述的情況一樣作為內(nèi)窺鏡圖像來用于生成展開圖。
這樣，可高效率地判定作為檢測對象的接近從食道到胃的邊界的部位的生物體粘膜。
(實施例4)下面參照圖19至圖30對本發(fā)明的實施例4進行說明。本實施例4和實施例5除了實施例1等的上述目的以外，還有以下目的，即提供一種通過推定管狀部位的內(nèi)面的立體形狀，可生成高精度的展開像的醫(yī)療圖像處理裝置和醫(yī)療圖像處理方法。
圖19示出具有本發(fā)明的實施例4的圖像處理裝置3D的內(nèi)窺鏡系統(tǒng)1D的結(jié)構(gòu)。該內(nèi)窺鏡系統(tǒng)1D與圖1的內(nèi)窺鏡系統(tǒng)1的硬件上的結(jié)構(gòu)相同。而且，只是存儲在圖像處理裝置3D的處理程序存儲部23內(nèi)的處理程序23d與圖1的處理程序23a不同。因此，對與實施例1中的構(gòu)成要素相同的構(gòu)成要素標(biāo)注相同標(biāo)號，省略其說明。
并且，在本實施例中，如圖2所示，在例如食道31那樣的管狀部位(管狀器官)中插入直視型內(nèi)窺鏡6的插入部11，由攝像裝置17來進行攝像。并且，圖3示出由該直視型內(nèi)窺鏡6所拍攝的巴瑞特食道的內(nèi)窺鏡圖像Ia的一例。
在本實施例中，由直視型內(nèi)窺鏡6對食道31那樣的管狀器官進行攝像，并根據(jù)所拍攝的圖像來推定對象物的立體形狀。
推定通過所推定出的立體形狀的中心的直線，以直線為基準(zhǔn)進行幾何變換來生成容易成為展開圖的圖像，把該圖像作為展開圖來輸出到顯示單元。然后，在顯示單元的顯示面上顯示展開圖。
即，構(gòu)成圖像處理裝置3D的CPU 22如圖20所示具有以下功能作為其功能，即立體形狀推定單元(功能)22c，通過所推定出的立體形狀的中心的直線的推定單元(功能)22d，以所推定的直線為基準(zhǔn)來幾何變換成容易顯示為展開圖的形狀的幾何變換單元(功能)22e，以及通過幾何變換把展開像輸出到顯示監(jiān)視器4的展開圖輸出單元(功能)22f，在該顯示監(jiān)視器4的顯示面上顯示展開圖。
在本實施例中，圖20所示的立體形狀推定單元22c、直線推定單元22d、幾何變換單元22e以及展開圖輸出單元22f以軟件方式來實現(xiàn)。即，CPU 22讀出存儲在處理程序存儲部23內(nèi)的處理程序23d，CPU 22根據(jù)該處理程序23d來執(zhí)行圖21所示的流程圖的處理。
以下，根據(jù)圖21的流程圖對生成和顯示展開圖的處理進行說明。
開始圖像處理裝置3D的動作，CPU 22讀出處理程序存儲部23的處理程序23d，開始根據(jù)該處理程序23d的處理。CPU 22在最初的步驟S61中，取得從內(nèi)窺鏡觀察裝置2的CCU 8經(jīng)由圖像輸入部21所輸入的作為原圖像的圖像數(shù)據(jù)。
然后，在下一步驟S62中，CPU 22對所取得的圖像數(shù)據(jù)進行失真像差校正、噪音去除等預(yù)處理。在步驟S63中，CPU 22通過以下過程求出與圖像內(nèi)的像素對應(yīng)的對象物體的三維位置。
如圖22所示，提取對象物體上的與由位于視點位置O的攝像單元所拍攝的圖像的3個像素對應(yīng)的像素對應(yīng)點E1、E2、E3，根據(jù)像素對應(yīng)點E1、E2、E3的三維位置和光源Q與視點O的位置關(guān)系求出以下的式(8)。
r→1=d→-k1m→1]]>r→2=d→-k2m→2---(8)]]>r→3=d→-k3m→3]]>其中，把像素對應(yīng)點E1、E2、E3的三維位置的矢量設(shè)定為k1m1、k2m2、k3m3(m1，m2，m3大小為1的單位矢量)，把從視點O到光源Q的矢量設(shè)定為d，把從光源Q到3個像素對應(yīng)點E1、E2、E3的三維位置的矢量設(shè)定為r1、r2、r3。
若把由像素對應(yīng)點E1、E2、E3的三維位置構(gòu)成的平面的法線矢量設(shè)定為n，則根據(jù)式(8)，矢量n如以下的式(9)所示，利用矢量分量k1、k2、k3的比率表示。
n→1=l→12×l→23=k1k2k3(1k3m→1×m→2+1k1m→2×m→3+1k2m→3×m→1)---(9)]]>其中，把從點E1到點E2的矢量設(shè)定為l12，把從點E2到點E3的矢量設(shè)定為l23，×表示矢量積。并且，如圖23A所示，成為攝像對象的(食道內(nèi)面等的)對象物體的表面假定為在全部方向上均勻地反射光的漫反射率，則像素對應(yīng)點E1、E2、E3的亮度值I1、I2、I3利用以下的式(10)表示。
I1=hIqcosβ1/|r→1|2]]>I2=hIqcosβ2/|r→2|2---(10)]]>I3=hIqcosβ3/|r→3|2]]>其中，h是對象物體的表面的漫反射率，Iq是光源Q的光度，β是點P處的對象物體的表面的法線矢量n與從光源Q到點P的矢量r所成的角。另外，圖23A的點P代表圖22的像素對應(yīng)點E1、E2、E3(因此，矢量r代表圖22的矢量r1、r2、r3)。
然后設(shè)定以下的條件(a)和(b)，根據(jù)滿足這些條件(a)和(b)的假定，CPU 22計算與所拍攝的像素對應(yīng)的對象物體的三維位置。
現(xiàn)在，在條件(a)視點位置O和光源Q的距離＜＜視點位置O和像素對應(yīng)點E1、E2、E3的三維位置的距離，即，|d|＜＜|rm|(或|d|＜＜|r|，這里，m＝1～3)，以及條件(b)像素對應(yīng)點E1、E2、E3的三維位置接近這兩個條件(a)、(b)成立的情況下，得到以下的近似式(11)。
k1∶k2∶k3≈1/I1∶1/I2∶1/I3(11)上述條件(a)如圖23B所示，在與d的絕對值相比r的絕對值大時成立。并且，條件(b)在對食道等的管狀內(nèi)面進行攝像的情況下，認(rèn)為在大部分情況下成立。另外，圖23B將插入部的前端部14中的前端面部分放大示出。
該前端面面對光導(dǎo)13的前端面(或照明透鏡)13a，由此射出照明光。即，該光導(dǎo)13的前端面13a相當(dāng)于圖22和圖23A的光源Q。并且，與該前端面13a相鄰地配置有與視點O相當(dāng)?shù)臄z像單元(攝像裝置17)的物鏡15。
根據(jù)上述式(11)求出k1、k2、k3的比率，求出法線矢量n。
由于與圖像內(nèi)的各像素對應(yīng)的對象物體的表面上的像素對應(yīng)點存在多個相鄰的像素對應(yīng)點，因而如圖24所示，針對由一個像素對應(yīng)點Pa的周圍的點Pb～Pe中的各3點形成的各面分別求出法線矢量n1～n4。因此，也可以計算這些多個法線矢量n1～n4的平均矢量，把該平均矢量作為像素對應(yīng)點的法線矢量。
如圖22A所示，假定對象物體的表面為漫反射，并改寫角β，由此，各像素對應(yīng)點P(x，y)的亮度值I(x，y)可利用以下的式(12)表示。
I(x,y)=hIqcosβ/r2=hIqn→(x,y)·r→(x,y)/|r→(x,y)|3---(12)]]>其中，h是對象表面的漫反射率，Iq是光源Q的光度，β是點P處的對象物體的表面的法線矢量n(x，y)和光源方向r(x，y)所成的角。
并且，點P處的光源方向r(x，y)可利用以下的式(13)表示。
r→(x,y)=k(x,y)m→(x,y)-d→---(13)]]>其中，如圖23B所示，把從物鏡15的視點Q到光源Q的矢量設(shè)定為d，把從視點O到對象物體的位置P的單位矢量設(shè)定為m(x，y)，把距離OP設(shè)定為k(x，y)。
矢量m(x，y)如圖25所示通過(CCD 16的)攝像面42的圖像上的位置(x，y)，因而如以下的式(14)所示[數(shù)式14]m→(x,y)=x/x2+y2+f2y/x2+y2+f2f/x2+y2+f2---(14)]]>其中，f是攝像裝置17的焦距。因此，圖像上的各像素的亮度值I(x，y)可利用以下的式(15)表示。
I(x,y)=hIqn→(x,y)·(k(x,y)m→(x,y)-d→)/|k(x,y)m→(x,y)-d→|3---(15)]]>在上述式(15)中，除了k(x，y)以外全部是已知的，因而CPU 22根據(jù)式(15)計算k(x，y)，如以下的式(16)所示計算與圖像上的各像素(x，y)對應(yīng)的三維位置(X，Y，Z)。
XYZ=k(x,y)m→(x,y)=k(x,y)x/x2+y2+f2y/x2+y2+f2f/x2+y2+f2---(16)]]>然后在步驟S64中，CPU 22推定通過在步驟S63獲得的三維形狀(根據(jù)各像素對應(yīng)點的三維位置獲得的形狀)的中心的直線。
如圖26所示，若把從視點O到三維形狀的點P的矢量設(shè)定為p，把到直線上的任意點A的矢量設(shè)定為a，把直線的方向矢量設(shè)定為l，則從三維形狀的點P垂直下降到直線的矢量u(x，y)利用以下的式(17)表示。
u→(x,y)=a→-p→+(p→-a→)·l→|l→|2l→---(17)]]>在所推定的三維形狀具有接近圓柱體的形狀的情況下，通過三維形狀的中心的直線認(rèn)為存在于距與各像素對應(yīng)的三維形狀的各三維位置等距離處。因此，CPU 22如以下的式(18)所示，使用最小平方法來推定任意的大小r、直線的方向矢量l以及到點A的矢量a，以使由式(17)獲得的矢量u(x，y)的大小與任意的大小r(圓柱體的半徑)之差的總和最小。
Σ(|u→(x,y)|-r)2→min---(18)]]>在下一步驟S65中，CPU 22根據(jù)圖27所示的關(guān)系求出用于把與各像素對應(yīng)的三維形狀的三維位置從坐標(biāo)系X-Y-Z變換成以直線為基準(zhǔn)的坐標(biāo)系XL-YL-ZL的參數(shù)旋轉(zhuǎn)矩陣R和平移矩陣M。
根據(jù)坐標(biāo)系X-Y-Z的Z方向的矢量Z和直線的矢量l，單位矢量v＝(vx，vy，vz)和角度γ如以下的式(19)所示為[數(shù)式19]v→=Z→×l→---(19)]]>γ=cos-1(Z→·l→)]]>因此，旋轉(zhuǎn)矩陣R和平移矩陣M如以下的式(20)和式(21)所示。
R=cosγ+v2x(1-cosγ)vxvy(1-cosγ)-vzsinγvxvz(1-cosγ)-vysinγ1vyvx(1-cosγ)+vzsinγcosγ+v2y(1-cosγ)vyvz(1-cosγ)-vxsinγvzvx(1-cosγ)+vysinγvzvy(1-cosγ)+vxsinγcosγv2z(1-cosγ)---(20)]]>M=axayaz---(21)]]>這里，作為平移矩陣M，設(shè)定為矢量a＝(ax，ay，az)。
在以下的步驟S66中，CPU 22把利用坐標(biāo)系X-Y-Z表示的三維位置變換成坐標(biāo)系XL-YL-ZL。該變換式如以下的式(22)所示。
PL＝R-1(P-M) (22)
在以下的步驟S67中，CPU 22把根據(jù)式(22)變換成與圖28A的內(nèi)窺鏡圖像Ia對應(yīng)的圖28B所示進行了變換后的各像素對應(yīng)點的三維位置PL＝(XL，YL，ZL)進一步投影在以ZL為中心的圓柱體表面上。
作為該圓柱體，設(shè)定成與例如食道等管狀部位的尺寸接近的值。例如，把對管狀部位的內(nèi)徑進行了平均化后的值作為圓柱體的直徑。
例如圖28A中的內(nèi)窺鏡圖像Ia中的表皮邊界37、(胃食道)接合部34以及暗部邊界38與圖28B中的利用相同標(biāo)號37、34、38表示的三維形狀部分對應(yīng)，該三維形狀部分的各位置被投影在以用粗線表示的ZL為中心的圓柱體表面上。
若把圓柱體表面的坐標(biāo)系設(shè)定為θL-ZL，則根據(jù)以下的式(23)來求出變換后的三維位置PL＝(XL，YL，ZL)。
θL=tan(XLYL)---(23)]]>ZL＝ZL求出與圖像的所有像素對應(yīng)的圓柱體表面的位置C(θL，ZL)，把各像素的亮度值標(biāo)注在坐標(biāo)系θL-ZL上。然后，生成圖28C所示的展開圖Ib。另外，作為亮度值，在彩色圖像的情況下，表示各色信號的亮度值。
如圖28C或圖29所示標(biāo)注在圓柱體表面的像素不均勻地存在，ZL越大，就越粗(越是距視點遠的遠方側(cè)的位置的圖像部分，就越粗)。
并且，如圖29的局部放大圖所示，所標(biāo)注的各像素大多與顯示在顯示裝置上的圖像的各像素位置不一致。因此，通過插值處理生成顯示在顯示裝置上的圖像、即展開圖Ib。
在步驟S68中，CPU 22進行上述插值處理，生成可顯示在顯示監(jiān)視器4等顯示裝置上的圖像，即展開圖Ib。在下一步驟S69中，CPU 22把內(nèi)窺鏡圖像Ia和展開圖Ib輸出到顯示監(jiān)視器4。然后，如圖30所示在顯示監(jiān)視器4上顯示步驟S10的內(nèi)窺鏡圖像Ia和展開圖Ib。然后，顯示該展開圖Ib的處理結(jié)束。
本實施例具有以下效果。
利用展開的展開圖(的圖像)來顯示從胃和食道的接合部開始連續(xù)存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的特征形狀，手術(shù)人員由于可在更容易進行比較等的狀態(tài)下進行觀察，因而可更容易地進行巴瑞特食道等管狀部位的診斷。
即，在現(xiàn)有例中，僅顯示圖30中的內(nèi)窺鏡圖像Ia，該內(nèi)窺鏡圖像Ia是對管狀部位的內(nèi)面進行二維投影后的圖像，例如根據(jù)深度方向(管狀部位的軸向)的距離值，在縮小的狀態(tài)下顯示各部。
因此，即使要把例如深度方向的值不同的部分進行比較，各部的刻度根據(jù)深度方向的距離而不同，因而也不能簡單地進行比較。
相比之下，根據(jù)本實施例，計算管狀部位的內(nèi)面的與二維拍攝到的內(nèi)窺鏡圖像Ia中的各像素對應(yīng)的位置的三維位置，通過計算出三維位置，把各像素的位置信息變換成周向的位置信息和與該周向垂直的管腔的大致中心軸方向的距離分量信息，進而在投影到設(shè)定成管狀部位的平均尺寸等的圓柱體的表面上的狀態(tài)下，用周方向的位置信息，即角度值來展開顯示各部的亮度信息。
因此，根據(jù)本實施例，即使在深度方向不同的位置，也能使周向的刻度一致來進行顯示，因此可簡單地進行場所不同的部位的比較，并且也能客觀且簡單地進行與過去病例等的比較等。
因此，根據(jù)本實施例，可生成能容易地進行管狀部位的診斷的展開像，可提供在診斷上非常有效的圖像處理裝置和圖像處理方法。
(實施例5)下面參照圖31至圖33對本發(fā)明的實施例5進行說明。本實施例的圖像處理裝置具有與實施例4相同的結(jié)構(gòu)，采用與存儲在圖19的處理程序存儲部23內(nèi)的處理程序23d不同的處理程序。
在實施例4中，根據(jù)1幅圖像來推定與各像素對應(yīng)的像素對應(yīng)點的三維位置，然而在本實施例中，如以下說明那樣，拍攝多個內(nèi)窺鏡圖像，計算與該拍攝的多個內(nèi)窺鏡圖像對應(yīng)的對象物體的三維位置。
三維位置計算后的處理與實施例4相同。圖31示出本實施例中的計算三維位置的流程圖，圖32示出該處理內(nèi)容的概略動作，圖33示出求出模板圖像和參照圖像的移動量的情況。
以下，參照圖31和圖32對計算三維圖像數(shù)據(jù)之前的過程進行說明。
如步驟S71所示，圖像處理裝置3的CPU 22使內(nèi)窺鏡6的插入部11的前端部14的攝像裝置17移動的同時對對象物進行攝像，取得多個圖像數(shù)據(jù)。
所拍攝的多個圖像數(shù)據(jù)經(jīng)過圖像輸入部21被臨時存儲在圖像處理裝置3內(nèi)的圖像存儲部24內(nèi)。
即，對于同一對象物，使(內(nèi)窺鏡6的前端部14的)攝像裝置17移動的同時，取得位置逐漸不同的二維圖像數(shù)據(jù)。
圖32示出使插入部11的前端側(cè)移動來進行攝像的情況。這里，從P0移動到PN，并用方形示出通過此時的攝像所獲得的圖像數(shù)據(jù)。在下一步驟S72中，CPU 22把失真像差校正等預(yù)處理應(yīng)用于在步驟S71取得的多個圖像，校正圖像的失真。
在從內(nèi)窺鏡觀察裝置2發(fā)送來的內(nèi)窺鏡的圖像數(shù)據(jù)中，由于使用廣角鏡頭作為物鏡而產(chǎn)生失真，因而把失真像差校正處理應(yīng)用于各圖像，校正圖像的失真。
并且，在該步驟S72中，CPU 22使用校正后的多個圖像(圖像對)來選擇對應(yīng)點的跟蹤，即表示對象物的1幅圖像(模板圖像)，并選擇該圖像上的多個點來進行各個點在另一參照圖像上如何移動的跟蹤。對該對應(yīng)點跟蹤進行補充說明。
對應(yīng)點跟蹤如圖33的左側(cè)所示，在要檢測的對象物的模板圖像上，把以某一點為中心的矩形區(qū)域(窗口)設(shè)為t(x)，如圖17的右側(cè)所示在參照圖像中設(shè)定某一大小的搜索區(qū)域S，利用通過相互相關(guān)運算來求出相關(guān)值最大的區(qū)域的運算，來進行搜索區(qū)域S內(nèi)的對應(yīng)區(qū)域f(x)和上述模板圖像的矩形區(qū)域t(x)的塊匹配處理，求出在該情況下的參照圖像相對模板圖像的移動方向和移動量。
例如，使用以下的規(guī)范化后的式(24)的相互相關(guān)D(u，v) D(u,v)=∫∫s[{f(x+u,y+v)-<f>}{t(x,y)-<t>}]dxdy∫∫s{f(x+u,y+v)-<f>}2dxdy∫∫{t(x,y)-<t>}2dxdy---(24)]]>來求出相關(guān)值，求出該相關(guān)值最大的區(qū)域，并求出在該情況下的移動方向和移動量。這里，雙積分記號表示搜索區(qū)域S內(nèi)的積分，<f>、<t>分別表示f(x+u，y+v)、t(x，y)在S內(nèi)的平均。
另外，塊匹配處理不限于相互相關(guān)運算，也可以應(yīng)用在美國專利4,962,540號說明書中公開的顏色匹配方法。
如上所述，求出描述了在模板圖像上所選擇的點的移動方向和移動量的值的移動映射圖(map)。
在圖32中示出使用相鄰的攝像位置P0和P1、P1和P2、…等，根據(jù)所獲得的圖像數(shù)據(jù)來進行移動映射圖M1、M2、…的計算，并進行位置推定的情況。
使用在步驟S72求出的移動映射圖，在下一步驟S73中，CPU 22通過最急速下降法等的反復(fù)處理來求出攝像裝置17的運動矢量，求出對象物體的位置和攝像裝置17的位置的相對位置關(guān)系。
在下一步驟S74中，CPU 22進行變換以使得利用各移動映射圖求出的對象物體和攝像裝置17的位置關(guān)系在同一坐標(biāo)空間內(nèi)，對各自在同一點上的對象物體和攝像裝置17的位置進行平均來推定一個對象物體的三維形狀(計算對象物體的各三維位置)。
這樣，在計算出對象物體的三維位置之后，進行圖21的步驟S64所示的通過三維形狀的中心的直線的推定等處理。
本實施例通過使用由攝像裝置17所拍攝的多個圖像，與實施例4一樣，可獲得適合于進行診斷的情況的展開像。
此外，如以下的文獻所公開的那樣，也可以采用陰影恢復(fù)形狀(shape-from-shading)法，根據(jù)1幅圖像來推定立體形狀，并如實施例1那樣根據(jù)該推定的立體形狀來生成展開圖。文獻コンピユ一タビジヨン，投影中心に點光源がある場合のShape-from-Shading-內(nèi)視鏡形狀からの3次元形狀復(fù)元-岡谷、出口pp.19-26，1996。
該文獻著眼于距光源(前端部14的光導(dǎo)前端面13a)的距離相等的管狀器官的表面上的曲線，使用偏微分方程式來描述該曲線的發(fā)展方程式(発展方程式)，通過解該方程式來復(fù)原(計算)三維形狀。三維形狀的計算后的處理是與實施例4的情況相同的處理。
(實施例6)下面參照圖34至圖44C對本發(fā)明的實施例6進行說明。實施例6以及實施例6以后的實施例的目的是提供即使在由直視型內(nèi)窺鏡所拍攝的食道的內(nèi)窺鏡圖像那樣的情況下也適合于高效率地進行巴瑞特食道的診斷等的醫(yī)療圖像處理裝置(更具體地說是食道粘膜用圖像處理裝置)和醫(yī)療圖像處理方法。對其背景進行補充說明。
在利用直視型內(nèi)窺鏡對食道內(nèi)部那樣的管狀部位進行攝像而得到的圖像的情況下，由于該圖像是從管腔的軸向傾斜的方向或者從接近于直角的方向?qū)軤畹恼衬そM織(具體地說是表皮組織)進行攝影而得到的圖像，因而特別是在距攝像裝置的距離不同的部分上的形狀等變化大。
因此，僅利用由直視型內(nèi)窺鏡所拍攝的內(nèi)窺鏡圖像，把握形狀和大小等要花費時間，在判斷為能提供更容易把握的圖像的情況下，是非常便利的。即，上述目的是非常有效的。
圖34所示的內(nèi)窺鏡系統(tǒng)1E在硬件上的結(jié)構(gòu)與圖1的內(nèi)窺鏡系統(tǒng)1相同。本實施例的食道粘膜用圖像處理裝置(以下，簡稱為圖像處理裝置)3E附加了如下功能使用在圖1的圖像處理裝置3中所生成的展開像進一步進行對巴瑞特食道具有的特征量進行分析的圖像處理的功能。
因此，圖34中的圖像處理裝置3E具有對圖1的圖像處理裝置3的情況下的處理程序23a進一步附加了檢測表皮邊界的功能和對檢測出的表皮邊界進行調(diào)查巴瑞特食道的特征量的分析的功能的處理程序23e。此外，由于是與實施例1相同的結(jié)構(gòu)，因而對同一構(gòu)成要素附上相同標(biāo)號，省略其說明。
在本實施例中，如圖2所示，在例如食道31那樣的管狀器官或管狀部位內(nèi)插入直視型內(nèi)窺鏡6的插入部11，由設(shè)置在前端部14上的攝像裝置17對食道31的內(nèi)壁粘膜等進行攝像。
圖35示出由該直視型內(nèi)窺鏡6所拍攝的巴瑞特食道的內(nèi)窺鏡圖像Ia的一例。巴瑞特食道是作為食道粘膜的扁平表皮36從胃和食道的接合部、即胃食道接合部34向口腔側(cè)連續(xù)地變性成作為胃粘膜或巴瑞特粘膜的圓柱表皮35的食道，在該巴瑞特粘膜在距正常的粘膜邊界3cm以上、針對食道管腔剖面全周地產(chǎn)生了該巴瑞特粘膜的情況下，診斷為巴瑞特食道疾病。
包含這樣定義的情況，手術(shù)人員通過使用內(nèi)窺鏡6來觀察進行了變性的圓柱表皮35的擴展方法以及圓柱表皮35和扁平表皮36的邊界即表皮邊界37的特征形狀，來進行巴瑞特食道的診斷。
在圖35的內(nèi)窺鏡圖像Ia中，從食道31到胃內(nèi)部的管狀部位部分顯示了未作圖示的最暗部的周圍的胃食道接合部34、胃食道接合部34的周圍的外側(cè)的圓柱表皮35、其外側(cè)的表皮邊界37、以及該表皮邊界37的外側(cè)的扁平表皮36。
在本實施例中，使用直視型內(nèi)窺鏡6對食道31那樣的管狀器官的對象物進行攝像，并對所拍攝的內(nèi)窺鏡圖像Ia進行幾何變換，進行生成展開圖的處理，把所生成的對象物的展開圖顯示在監(jiān)視器4上，并從所生成的展開圖中檢測表皮邊界37。
然后，根據(jù)檢測出的表皮邊界37的特征形狀進行形狀分析，并進行輸出分析結(jié)果的處理。
具體地說，計算表皮邊界37的Z方向的平均值，并計算表皮邊界37的Z方向的離散值，從而進行判定是表皮邊界還是巴瑞特食道的處理，輸出是表皮邊界還是巴瑞特食道的判定結(jié)果(分析結(jié)果)。
構(gòu)成圖像處理裝置3的CPU 22如圖36所示，具有進行幾何變換的幾何圖像變換單元(功能)22a；通過幾何變換而輸出展開像的展開圖輸出單元(功能)22b；從展開圖檢測表皮邊界的表皮邊界檢測單元(功能)22g；以及對表皮邊界的形狀進行分析而輸出該分析結(jié)果的表皮邊界分析單元(功能)22h。
上述表皮邊界分析單元22g具體地說，包括計算表皮邊界的Z軸方向的平均值的表皮邊界的平均值計算單元(功能)；計算表皮邊界的Z方向的離散值的表皮邊界的離散值計算單元(功能)；以及判定該離散值是表皮邊界還是巴瑞特食道的判定單元(功能)。
在本實施例中，圖36所示的幾何圖像變換單元22a、展開圖輸出單元22b、表皮邊界檢測單元22g以及表皮分析單元22h是以軟件方式實現(xiàn)的，因此CPU 22讀出存儲在處理程序存儲部23內(nèi)的處理程序23e，CPU22根據(jù)該處理程序23e執(zhí)行圖37所示的處理過程。
如以下說明的那樣，本實施例根據(jù)使用直視型內(nèi)窺鏡6對食道的胃食道接合部周圍部進行攝像而得到的內(nèi)窺鏡圖像Ia來生成展開圖Ib，從該展開圖Ib檢測表皮邊界，并計算在表皮邊界各點上的離散值，從而針對該表皮邊界37的形狀判定是否具有典型的巴瑞特食道的形狀，即表皮邊界37的各點在管腔方向呈鋸齒狀等的復(fù)雜形狀的情況下的特征量。
于是，客觀地判定所拍攝的內(nèi)窺鏡圖像Ia中的表皮邊界37的各點在管腔方向呈鋸齒狀等復(fù)雜形狀的情況下的典型的巴瑞特食道。
下面參照圖37對本實施例的動作進行說明。
開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序23e，開始根據(jù)該處理程序23e的處理。CPU 22在最初的步驟S81中，取得從內(nèi)窺鏡觀察裝置2的CCU 8經(jīng)由圖像輸入部21所輸入的內(nèi)窺鏡圖像Ia的圖像數(shù)據(jù)。
然后，在下一步驟S82中，CPU 22對所取得的圖像數(shù)據(jù)進行失真像差校正、噪音去除等預(yù)處理，在步驟S83中，進行根據(jù)圖38的左側(cè)所示的內(nèi)窺鏡圖像Ia生成右側(cè)所示的展開圖Ib的處理。
圖39示出生成該展開圖Ib的步驟S83的處理。由于圖39所示的處理與在圖5中說明的步驟S3至步驟S13的內(nèi)容相同，因而對相同處理內(nèi)容的步驟附上相同標(biāo)號。然而，圖39中的步驟S13’是僅輸出展開圖的處理。
如圖39所示，在最初的步驟S3中，檢測內(nèi)窺鏡圖像Ia內(nèi)的最暗部的位置，把檢測出的最暗部的重心位置作為內(nèi)窺鏡圖像Ia的坐標(biāo)的中心位置。
在本實施例中，以內(nèi)窺鏡圖像Ia內(nèi)的最暗部的位置為中心來生成展開圖。作為最暗部的檢測方法，把內(nèi)窺鏡圖像Ia分割成多個區(qū)域，計算所分割的區(qū)域的平均亮度，并求出具有最小平均亮度的區(qū)域作為最暗部的位置。
如圖38所示把內(nèi)窺鏡圖像Ia的二維正交坐標(biāo)系設(shè)定為X-Y，從該內(nèi)窺鏡圖像Ia幾何變換成極坐標(biāo)系，生成設(shè)為θ-Z的展開圖Ib。另外，坐標(biāo)系X-Y中的坐標(biāo)位置利用x、y表示。并且，極坐標(biāo)系θ-Z中的坐標(biāo)位置利用表示周向的位置的θ和表示距中心的距離位置的z來表示。
另外，為了容易明白在圖6中根據(jù)內(nèi)窺鏡圖像Ia生成展開圖Ib的情況的關(guān)系，利用箭頭對應(yīng)地示出在把內(nèi)窺鏡圖像Ia中的扁平表皮36和圓柱表皮35的表皮邊界37、以及胃食道接合部34作為展開圖Ib的情況下，以哪種形狀來顯示。這里，對于θ付上0度、45度、90度的情況下的刻度來表示。并且，圖像的顯示框的位置利用Q0、Q45、Q90來表示。
在后面的步驟S4和步驟S5中，設(shè)定展開圖Ib的坐標(biāo)S(θ，z)的初始值。即，在步驟S4中，CPU 22設(shè)θ＝0，在步驟S5中設(shè)z＝0。
在下一步驟S6中，根據(jù)以下的式(1)求出與所設(shè)定的展開圖Ib的坐標(biāo)S(θ，z)對應(yīng)的內(nèi)窺鏡圖像Ia的坐標(biāo)位置。
x＝z sin θ、y＝z cos θ (1)在步驟S7中，判斷計算出的坐標(biāo)P(x，y)是否存在于內(nèi)窺鏡圖像Ia內(nèi)。
然后，在存在于內(nèi)窺鏡圖像Ia內(nèi)的情況下，進到步驟S8。由式(1)獲得的內(nèi)窺鏡圖像的坐標(biāo)P(x，y)的位置具有存在于像素之間的中間的可能性，因而在步驟S8使用線性插值等處理來計算坐標(biāo)P(x，y)的亮度值。
另外，作為亮度值，在進行彩色攝像的情況下，計算各色信號的亮度值。
在步驟S9中，把在步驟S8中求出的亮度值作為展開圖的坐標(biāo)S(θ，z)的亮度值。然后進到步驟S10，變更展開圖Ib的z值(例如z的增量Δz＝1)，回到步驟S6。
另一方面，在步驟S7中計算出的坐標(biāo)P(x，y)不存在于內(nèi)窺鏡圖像Ia內(nèi)的情況下，進到步驟S11，變更展開圖Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。在下一步驟S12中，在θ小于2π(360°)時回到步驟S5，繼續(xù)展開圖生成的處理。另一方面，在θ大于等于2π的情況下，判斷為生成了展開圖Ib并進到步驟S13，把展開圖Ib輸出到監(jiān)視器4，結(jié)束展開圖生成的處理，移到圖37的步驟S84的使用所生成的展開圖Ib來檢測表皮邊界37的處理。
為了檢測圖37的步驟S84所示的扁平表皮36和圓柱表皮35的邊界、即表皮邊界37(取得坐標(biāo)點序列)，例如如圖40所示利用邊緣檢測來進行。由于扁平表皮36是白色調(diào)，而圓柱表皮35是紅色調(diào)，因而也能根據(jù)R、G、B顏色信號中的特定色調(diào)等來檢測該表皮邊界37。
如圖40所示，CPU 22在步驟S131中取得存儲在圖像存儲部24等內(nèi)的展開圖Ib的圖像數(shù)據(jù)。
然后，在下一步驟S132中，CPU 22對該圖像數(shù)據(jù)進行上述公知的邊緣檢測處理作為輪廓提取過濾處理，生成邊緣檢測圖像。
在下一步驟S133中，CPU 22對該邊緣檢測圖像進行二值化處理，并進行細線化處理來取得邊界。
在下一步驟S134中，CPU 22對所取得的邊界進行追跡處理，取得沿著邊界的坐標(biāo)點序列、即表皮邊界的點序列。
在這樣取得了表皮邊界37的點序列后，CPU 22如圖37的步驟S85所示計算表皮邊界37的(成為食道的管腔方向的)Z方向的平均值<ZA>。
即，CPU 22根據(jù)以下的式(25)求出檢測出的表皮邊界37的Z方向的平均值<ZA>。
<ZA>=1NΣi=0N-1ZAθi---(25)]]>其中，ZAθi是通過式(1)獲得的展開圖中的表皮邊界的θi中的Z值。在式(25)中根據(jù)周向的旋轉(zhuǎn)1圈的樣本值N來計算平均。在該情況下，圖38的展開圖Ib的分辨率由θi和Z(距中心O的距離)的取樣的細度來決定。
圖41示出在展開圖Ib上顯示出表皮邊界37的Z方向的平均值<ZA>的圖。在計算出式(25)的平均值<ZA>之后，在下一步驟S86中，CPU 22根據(jù)以下的式(26)求出表示表皮邊界37的Z方向的坐標(biāo)位置的偏差(邊界的凹凸)程度的離散值σA。
σA=1NΣi=0N-1(ZAθi-<ZA>)2---(26)]]>在下一步驟S87中，CPU 22把根據(jù)式(26)計算出的離散值σA與基準(zhǔn)值σth進行比較，判定該離散值σA是否小于基準(zhǔn)值σth。
然后，在離散值σA小于基準(zhǔn)值σth的情況下，在步驟S88中，CPU 22判定為表皮邊界37，反之在離散值σA大于基準(zhǔn)值σth的情況下，如步驟S89所示，判斷為表皮邊界37形成為復(fù)雜的形狀，將所拍攝的圖像判斷為巴瑞特食道。
在該情況下，針對根據(jù)展開圖Ib所獲得的離散值σA進行判定所使用的基準(zhǔn)值σth，是根據(jù)如圖42所示使用了預(yù)先確定了診斷的表皮邊界37的樣本和巴瑞特食道的情況下的樣本的離散值σ的直方圖來決定的。
圖42示出在表皮邊界37的情況下獲得的離散值σnor的分布直方圖Dnor和在巴瑞特食道的情況下獲得的離散值σbar的分布的直方圖Dbar。另外，巴瑞特食道的情況下的樣本使用如表皮邊界37呈鋸齒狀那樣邊界形狀是復(fù)雜的形狀的樣本。如圖42所示，根據(jù)兩個直方圖Dnor和Dbar，例如將兩個直方圖交叉的位置σth設(shè)定成評價為巴瑞特食道的基準(zhǔn)值σth。
然后，CPU 22通過如上所述把根據(jù)式(26)求出的離散值σA與該基準(zhǔn)值σth進行比較，來判定是表皮邊界37還是巴瑞特食道。
在步驟S90中，CPU 22把步驟S88或步驟S89的判定結(jié)果(分析結(jié)果)的信息輸出到監(jiān)視器4等顯示裝置，結(jié)束該處理。
圖43示出把內(nèi)窺鏡圖像Ia、展開圖Ib以及判定結(jié)果的信息顯示在監(jiān)視器4上的顯示例。在圖43的顯示例中，作為離散值σA大于等于基準(zhǔn)值σth的情況的例子，在判定顯示部41上顯示判定為“巴瑞特食道”的判定結(jié)果。
另外，這里，雖然顯示為巴瑞特食道，然而也可以顯示為“巴瑞特食道的可能性高”等。并且，也可以計算標(biāo)準(zhǔn)偏差值來取代求出離散值σA，將標(biāo)準(zhǔn)偏差值與基準(zhǔn)值進行比較，把比較結(jié)果作為分析結(jié)果來顯示等。
并且，在本實施例和以下的實施例中，將對計算出的離散值σA等針對成為判定對象的巴瑞特食道的特征量的評價值與單一的基準(zhǔn)值(σth等)進行比較的比較結(jié)果作為分析結(jié)果，然而也可以把計算出的評價值與多個基準(zhǔn)值進行比較，輸出巴瑞特食道的可能性高的狀態(tài)和接近正常的狀態(tài)的中間狀態(tài)(一個或多個中間狀態(tài))的分析結(jié)果等。
例如，也可以在判定為與表皮邊界37的情況相比，作為食道粘膜的扁平表皮36有少量變性的狀態(tài)的情況下，顯示存在生成了少量圓柱表皮(巴瑞特粘膜)35的初始狀態(tài)的可能性的判定結(jié)果來進行告知，或者在判定為扁平表皮36進一步發(fā)生了變性的狀態(tài)的情況下，顯示已生成相當(dāng)多的圓柱表皮(巴瑞特粘膜)35的癥狀處于進行狀態(tài)等判定結(jié)果來進行告知。
手術(shù)人員通過參考判定結(jié)果信息，可進行高效的診斷。并且，手術(shù)人員通過參照顯示在監(jiān)視器4上的內(nèi)窺鏡圖像Ia以及一起顯示的展開圖Ib，(與僅顯示內(nèi)窺鏡圖像Ia的情況相比)更容易把握表皮邊界37的周向的形狀等，因此可高效率地進行診斷等。
在上述說明中，以通過圖39所示的處理從二維內(nèi)窺鏡圖像Ia進行幾何變換來生成展開圖Ib的情況進行了說明，然而也可以在根據(jù)圖44A所示的內(nèi)窺鏡圖像Ia，如圖44B所示推定成為診斷對象的食道的胃食道接合部周圍部的內(nèi)壁面的立體形狀等之后，生成圖44C所示的展開圖Ib。
另外，在如圖44B所示推定出立體形狀的情況下，進一步推定該立體形狀的中心線，把內(nèi)窺鏡圖像Ia的各點變換成把該中心線方向作為坐標(biāo)軸ZL的三維坐標(biāo)系(XL，YL，ZL)。
并且把該三維坐標(biāo)系(XL，YL，ZL)中的立體形狀的各點投影在接近于該立體形狀的以相同的ZL為中心的圓柱體的表面上。把該圓柱體的表面的坐標(biāo)系設(shè)定為θL-ZL。然后，把三維坐標(biāo)系(XL，YL，ZL)的各點或者投影在圓柱體表面上的各點變換成θL-ZL的坐標(biāo)系。
在圖44B中，示出表皮邊界37上的點P’，該表皮邊界37上的點P’與YL軸所成的角用θL表示。
如圖44B所示把投影在圓柱體表面上的各點變換成θL-ZL的坐標(biāo)系之后，用把θL設(shè)定為0的值來切開，利用圖44C所示的展開圖Ib來顯示內(nèi)窺鏡圖像Ia的各位置。該處理的詳情在實施例4中已進行了說明。
并且，也可以采用實施例5的展開圖生成單元來生成展開圖(并且，在通過二維變換來生成展開圖的情況下，也可以采用實施例2或?qū)嵤├?所記載的展開圖生成單元來生成展開圖，利用該展開圖來進行上述處理。)。
如圖44C所示，在該情況下，由于ZL大的值側(cè)成為遠離攝像單元的位置，因而在與遠方位置對應(yīng)的胃食道接合部34的下側(cè)(內(nèi)側(cè))顯示表皮邊界37的形狀。
這樣在圖44C所示的展開圖Ib的情況下，CPU 22也可以通過進行圖37的步驟S84及S84以后的處理，來計算表皮邊界37的Z方向(在圖44C中是ZL方向)的平均值<ZA>和離散值σA，把該離散值σA與基準(zhǔn)值σth進行比較，從而判定是表皮邊界還是性狀發(fā)生了變化的巴瑞特食道。另外，圖44C的展開圖Ib的分辨率由在推定診斷對象的立體形狀的情況下的圖像的分辨率來決定。
這樣在本實施例中，通過生成由直視型內(nèi)窺鏡6所拍攝的食道的內(nèi)窺鏡圖像的展開圖Ib，并定量地判定展開圖Ib的表皮邊界37的形狀的偏差等，從而可容易且客觀地判定是否是巴瑞特食道。
因此，手術(shù)人員通過利用該判定結(jié)果，可高效率地進行是否是巴瑞特食道的診斷。
并且，在本實施例中，由于生成展開圖Ib，因而與僅僅內(nèi)窺鏡圖像Ia的情況相比，更容易把握管腔方向或者與管腔垂直的周向上的表皮邊界37的形狀分布等，因此，手術(shù)人員更容易進行診斷。
(實施例7)下面參照圖45和圖46對本發(fā)明的實施例7進行說明。巴瑞特食道如實施例6所說明的那樣適用于表皮邊界37形成為復(fù)雜形狀的情況，然而有時圓柱表皮(巴瑞特粘膜)35擴展成舌狀，因此表皮邊界37的形狀也形成為舌狀。
在該情況下，在實施例6中，存在難以輸出適合于該形狀的分析結(jié)果的可能性。因此，在本實施例中，目的在于即使在圓柱表皮35擴展成舌狀的情況下，也能輸出適合于該舌狀的形成的分析結(jié)果(判定結(jié)果)。
因此，在本實施例中，如以下說明那樣，取代計算實施例6中的表皮邊界37的Z方向的平均值<ZA>，計算與表皮邊界37的Z方向的偏差(復(fù)雜度)對應(yīng)的離散值σA，而是通過求出表皮邊界37的Z方向的最大值和最小值，并把它們的差量值的絕對值與基準(zhǔn)值進行比較，來判定表皮邊界37是否是巴瑞特食道。
圖45示出對胃食道接合部附近進行攝像而得到的內(nèi)窺鏡圖像Ia和根據(jù)該內(nèi)窺鏡圖像Ia而二維或三維地生成的展開圖Ib。
在本實施例中，進行圖46所示的處理。圖46的處理從步驟S81到步驟S84都與圖37的處理相同。在通過步驟S84檢測出表皮邊界37之后，在本實施例中，如步驟S141所示，CPU 22計算表皮邊界37的Z方向的最大值Zmax和最小值Zmin。
然后，在下一步驟S142中，CPU 22求出該最大值Zmax和最小值Zmin的差量值的絕對值DA。
在下一步驟S143中，CPU 22把該差量值的絕對值DA與基準(zhǔn)值Dth進行比較，判定差量值的絕對值DA是否小于基準(zhǔn)值Dth。
該基準(zhǔn)值Dth是在求出預(yù)先確定了診斷的正常的樣本和表皮邊界37擴展成舌狀的巴瑞特食道的樣本的各差量值的絕對值的直方圖之后，作為適合于進行兩者的判定的閾值而被計算出的。
在差量值的絕對值DA小于基準(zhǔn)值Dth的情況下，在步驟S88中，CPU22判定為表皮邊界37，反之在差量值的絕對值DA大于等于基準(zhǔn)值Dth的情況下，如步驟S89所示判定為巴瑞特食道。然后，在步驟S90中，CPU 22把步驟S88或步驟S89的判定結(jié)果輸出到監(jiān)視器4等顯示裝置等，結(jié)束該處理。
根據(jù)本實施例，即使在表皮邊界37擴展成舌狀的情況的巴瑞特食道的情況下，也能適當(dāng)?shù)胤治銎涮卣?，進行準(zhǔn)確的判定。
(實施例8)下面參照圖47和圖48對本發(fā)明的實施例8進行說明。本實施例的目的在于，即使在食道的管狀形狀例如從圓管形狀發(fā)生了變形的情況下，也能根據(jù)表皮邊界的特征形狀來適當(dāng)?shù)嘏卸ㄊ欠袷前腿鹛厥车馈?br> 在實施例6的判定方法中，假定食道接近于圓管形狀，計算表皮邊界37的Z方向的平均值<ZA>，計算表皮邊界37的Z方向的各位置與該平均值<ZA>的偏差(離散值)，判定是否是巴瑞特食道。在該方法中，在食道的管狀形狀因例如心臟的搏動等的影響及其他影響而從圓管形狀發(fā)生了變形的情況下，判定結(jié)果容易受到該影響。
在本實施例中，為了減輕該影響，根據(jù)圖47的左側(cè)所示的內(nèi)窺鏡圖像Ia生成右側(cè)的展開圖Ib，并在該展開圖Ib上檢測例如胃食道接合部34，根據(jù)從該胃食道接合部34到表皮邊界37的距離的離散值來判定是否是巴瑞特食道。
即，在食道的管狀形狀發(fā)生了變形的情況下，認(rèn)為胃食道接合部34也發(fā)生大致同樣的變形，因而通過利用從胃食道接合部34到表皮邊界37的距離信息，幾乎不受食道的管狀形狀的影響地進行判定。在該情況下，也可以取代胃食道接合部34，而檢測通到胃的暗部或賁門部，對其加以利用。
作為胃食道接合部34的檢測方法，可檢測沿例如食道粘膜的管腔方向(即Z方向)走行的柵狀血管的端點，通過連接該端點來檢測胃食道接合部34。
本實施例的處理方法如圖48所示。在圖48中，從步驟S81到S84與圖37或圖46相同。在步驟S84以后，在步驟S151中，CPU 22進行檢測胃食道接合部34的處理，檢測胃食道接合部B34。
在下一步驟S152中，CPU 22計算表皮邊界37和胃食道接合部34中的Z方向的距離ZAθi-ZBθi的平均值<ZAB>和離散值σAB。
這里，平均值<ZAB>和離散值σAB可根據(jù)以下的式(27)來求出。
<ZAB>=1NΣi=0N-1(ZAθi-ZBθi)]]>σAB=1NΣi=0N-1(ZAθi-ZBθi-<ZAB>)2---(27)]]>然后，在下一步驟S153中，CPU 22通過把該離散值σAB與預(yù)先求出的用于判定的基準(zhǔn)的離散值σABth進行比較，來判定是表皮邊界還是性狀發(fā)生了變化的巴瑞特食道。
即，在通過步驟S153，判定為離散值σAB的值小于基準(zhǔn)的離散值σABth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在離散值σAB的值大于等于基準(zhǔn)的離散值σABth的情況下，如步驟S89所示判定是巴瑞特食道。
然后，如步驟S90所示，CPU 22輸出判定結(jié)果，以便把步驟S88或步驟S89的判定結(jié)果顯示在監(jiān)視器4上，結(jié)束該處理。
根據(jù)本實施例，以胃食道接合部34為基準(zhǔn)計算到表皮邊界37的距離(＝ZAθi-ZBθi)的平均值<ZAB>，評價該距離ZAθi-ZBθi的偏差，從而判定表皮邊界37是表皮邊界還是巴瑞特食道，因而即使在食道的管狀發(fā)生了變形的情況下也能適當(dāng)?shù)剡M行判定。
另外，也可以取代如上所述以胃食道接合部34為基準(zhǔn)，而把通到胃的暗部或賁門部用作基準(zhǔn)來判定。例如為了檢測暗部(最暗部)，用為了檢測暗部而設(shè)定的閾值進行二值化，通過邊緣提取來檢測其邊界，并進行細線化等，從而可檢測暗部的邊界。
在該情況下，與檢測胃食道接合部34的情況相比，可通過簡單的處理來計算。
(實施例9)下面參照圖49和圖50對本發(fā)明的實施例9進行說明。本實施例在巴瑞特食道的情況下，關(guān)注表皮邊界37伴隨復(fù)雜形狀的特征，根據(jù)該特征計算表皮邊界37的線長度，判定是表皮邊界還是巴瑞特食道。
圖49示出如上述的各實施例那樣根據(jù)內(nèi)窺鏡圖像所生成的展開圖Ib。由于該展開圖Ib是離散圖像，因而實際上，表皮邊界37的曲線用折線來表示。因此，計算相鄰2點Ai-1(θi-1，Zi-1)、Ai(θi，Zi)之間的距離Li-1，i，求出該距離Li-1，i的總和值，從而如式(28)所示求出表皮邊界37的長度LA。即，[數(shù)式27]Li-1,i=(θi-θi-1)2+(Zi-Zi-1)2]]>LA=Σi=1NLi-1,i---(28)]]>這里，i是在將360度(2π)作了N等分的情況下的從1到N的值。
使用這樣計算出的表皮邊界37的長度LA，通過圖50所示的過程來判定是表皮邊界還是巴瑞特食道。圖50中的步驟S81至S83與圖37相同，因而省略。
如圖50所示，在通過步驟S84進行了表皮邊界37的檢測之后，如步驟S161所示，CPU 22計算表皮邊界37的長度LA。
在下一步驟S162中，CPU 22把計算出的表皮邊界37的長度LA與使用預(yù)先確定了診斷的多個樣本來進行判定所使用的作為基準(zhǔn)的表皮邊界的長度Lth進行比較。然后，在表皮邊界37的長度LA小于基準(zhǔn)的表皮邊界的長度Lth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在表皮邊界37的長度LA大于等于基準(zhǔn)的表皮邊界的長度Lth的情況下，如步驟S89所示判定為是巴瑞特食道。
然后，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結(jié)果，以便顯示在監(jiān)視器4上，結(jié)束該處理。
根據(jù)本實施例，在巴瑞特食道的情況下，表皮邊界37成為復(fù)雜的形狀的病例是多見的，可對這種病例的情況進行準(zhǔn)確的判定。
另外，在計算表皮邊界37的長度LA的情況下，也可以用近似式來表示表皮邊界37的曲線，并根據(jù)該近似式求出線長度。這樣，可計算更高精度的線長度，可更高精度地進行基于線長度的判定。
另外，根據(jù)相鄰2點Ai-1(θi-1，Zi-1)、Ai(θi，Zi)之間的距離Li-1，i在周向整周(360度)上的總和值，來計算表皮邊界37的長度LA，然而不一定限于整周。這在其他實施例中也是一樣。
(實施例10)下面參照圖51A至圖52對本發(fā)明的實施例10進行說明。在本實施例中，求出表皮邊界的曲線中的相鄰矢量所成的角的絕對值在周向上的總和值，并根據(jù)該總和值判定是表皮邊界還是巴瑞特食道。
在本實施例中，CPU 22如圖51A的左側(cè)所示根據(jù)內(nèi)窺鏡圖像Ia生成右側(cè)的展開圖Ib。并且，CPU 22從展開圖Ib檢測表皮邊界37。由于展開圖Ib是離散圖像，因而表皮邊界37用折線表示。
提取出該表皮邊界37上的相鄰的3點，求出分別連接相鄰的2點的兩個線段所成的角、或者兩個矢量所成的角。
例如如圖51A中的圓C的部分放大圖所示，圖19B示出該圖中的3點Ai-1、Ai、Ai+1的矢量Vi、Vi+1。
然后，CPU 22計算兩個矢量Vi、Vi+1所成的角φθi。
然后，CPU 22使i從0開始逐次地遞增1，在使3點Ai-1、Ai、Ai+1向左側(cè)移動的同時，如式(29)所示計算該情況下的角φθi的絕對值的總和φA。
在該情況下，為[數(shù)式28]φθi=cos-1Vi·Vi+1|Vi||Vi+1|]]>φA=Σi=0N-1|φθi|---(29)]]>本實施例中的是表皮邊界還是巴瑞特食道的判定方法如圖52所示。在圖52中，從最初的步驟S81到步驟S83與圖37的情況相同，因而省略該步驟。
如步驟S84所示檢測出表皮邊界37之后，在下一步驟S171中，CPU22如圖51A和圖51B所說明的那樣，根據(jù)展開圖Ib上的相鄰的3點依次設(shè)定兩個矢量Vi、Vi+1，計算該兩個矢量所成的角φθi。然后，在下一步驟S172中，計算這些角φθi的絕對值的總和φA。
在下一步驟S73中，把計算出的總和φA與使用預(yù)先確定了診斷的多個樣本而求出的作為基準(zhǔn)的表皮邊界的情況下的總和值φth進行比較。然后，在計算出的總和φA小于基準(zhǔn)的總和值φth的情況下，CPU 22如步驟S88所示判定為表皮邊界，反之在總和φA大于等于基準(zhǔn)的總和值φth的情況下，如步驟S89所示判定為是巴瑞特食道。
然后，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結(jié)果，以便顯示在監(jiān)視器4上，結(jié)束該處理。
根據(jù)本實施例，在巴瑞特食道的情況下，表皮邊界37形成為復(fù)雜的形狀的病例是多見的，可對這種病例的情況進行準(zhǔn)確的判定。
(實施例11)下面參照圖53和圖54對本發(fā)明的實施例11進行說明。在本實施例中，計算表皮邊界的彎曲點數(shù)，根據(jù)該數(shù)的大小判定是表皮邊界還是巴瑞特食道。如上所述，在巴瑞特食道的病例的情況下，大多伴隨鋸齒形狀等復(fù)雜形狀。例如如圖51A所示，表皮邊界37在巴瑞特食道的病例中，大多形成為凹凸形狀。
在本實施例中，作為計算(評價)彎曲點數(shù)的具體例，例如計算與展開圖中的表皮邊界37的極大值和極小值相當(dāng)?shù)墓拯c的數(shù)?；蛘哂嫓y連接展開圖中的表皮邊界37上的相鄰2點的線段或矢量與水平方向所成的角從大于0度的狀態(tài)變?yōu)樾∮诘扔?度(從正變?yōu)樨?fù))的狀態(tài)或者從小于0度變?yōu)榇笥诘扔?度(從負(fù)變?yōu)檎?的點的數(shù)。圖53示出該情況。
如圖53所示，計算表皮邊界37上的2點Ai-1、Ai的矢量Vi的斜率ΔZi/Δθi＝ψi從正變?yōu)樨?fù)的點、和從負(fù)變?yōu)檎墓拯c的數(shù)。在圖53中，由于矢量Vi+2的斜率變?yōu)樨?fù)，因而判定為點Ai+2是拐點。
然后，這樣從θi的i＝1至N進行拐點的檢測，計算拐點的總和。然后，根據(jù)拐點的總和值的大小判定是表皮邊界還是巴瑞特食道。
本實施例中的是表皮邊界還是巴瑞特食道的判定方法如圖54所示。在圖54中，從最初的步驟S81到步驟S83與圖37的情況相同，因而省略該步驟。
如步驟S84所示，CPU 22在檢測出表皮邊界37之后，在下一步驟S181中，把θ的變量參數(shù)i和彎曲點數(shù)FA初始化。即，CPU 22設(shè)i＝1和FA＝0。在下一步驟S182中，CPU 22如圖53所示計算矢量Vi的斜率ψi。然后，在下一步驟S183中，CPU 22判定該斜率ψi是否與拐點對應(yīng)。在通過該判定判定為與拐點對應(yīng)的情況下，在步驟S184中，CPU 22使數(shù)FA的值增大1之后，進到下一步驟S185。
并且，在步驟S183的判定處理中，CPU 22在判定為斜率ψi不與拐點對應(yīng)的情況下，移到步驟S185。在步驟S185中，CPU 22判定變量參數(shù)i是否等于θ的分割數(shù)N，在不等于N的情況下，如步驟S186所示使變量參數(shù)i的數(shù)增大1，回到步驟S182。
這樣，CPU 22重復(fù)進行從步驟S182到步驟S186的處理，直到i＝N。
然后，在i＝N的情況下，如步驟S187所示，CPU 22判定數(shù)FA是否小于作為基準(zhǔn)的數(shù)Fth。該作為基準(zhǔn)的數(shù)Fth是根據(jù)確定了診斷的多個樣本所計算的。
然后，在數(shù)FA小于作為基準(zhǔn)的數(shù)Fth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在數(shù)FA大于等于基準(zhǔn)的數(shù)Fth的情況下，如步驟S89所示判定為是巴瑞特食道。
然后，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結(jié)果，以便顯示在監(jiān)視器4上，結(jié)束該處理。
根據(jù)本實施例，在巴瑞特食道的情況下，表皮邊界37形成為復(fù)雜的形狀的病例是多見的，可對這種病例的情況進行準(zhǔn)確的判定。
另外，在本實施例中，以通過計算拐點數(shù)FA，并比較計算出的數(shù)來判定是表皮邊界還是巴瑞特食道的例子來進行了說明，然而也可以例如如日本國特願2004-360319號所記載的那樣，通過計算彎曲點數(shù)，將該數(shù)進行比較，來判定是表皮邊界還是巴瑞特食道。
該判定方法只要進行根據(jù)該秘本國特願2004-360319號的圖4中的步驟S4至S14的處理的處理即可。另外，在該情況下，該處理針對根據(jù)內(nèi)窺鏡圖像所獲得的圖像數(shù)據(jù)來執(zhí)行。
并且，在上述說明中，對計算拐點數(shù)FA或者彎曲點數(shù)，把該數(shù)與基準(zhǔn)值進行比較來判定是表皮邊界還是巴瑞特食道的例子進行了說明，然而也可以把相鄰兩點的斜率ψi、ψi+1的值進行比較，對該值發(fā)生變化的點(例如相減值發(fā)生變化的點)的數(shù)進行計數(shù)，把其總和值與基準(zhǔn)值進行比較來進行判定。
另外，在例如圖37的處理過程中，在步驟S83中生成展開圖之后，在下一步驟S84中檢測表皮邊界37，然而也可以先檢測出表皮邊界37之后，生成展開圖Ib。
并且，在上述的各實施例中，對定量地判定是否是作為上消化道的食道內(nèi)的胃食道接合部周圍部的疾病的巴瑞特食道的情況進行了說明，然而也能應(yīng)用于下消化道的情況。
例如也可以根據(jù)將內(nèi)窺鏡6插入大腸內(nèi)所拍攝的圖像來生成展開圖，從該展開圖檢測色調(diào)等與正常部位不同的病變部粘膜的邊界，并針對該檢測出的邊界，進行對例如邊界的形狀等的分析，獲得分析結(jié)果?？傊?，可廣泛用作根據(jù)對體內(nèi)的管狀部位進行攝像而得到的內(nèi)窺鏡圖像來生成展開圖，根據(jù)該展開圖進行對病變部等的分析的情況下的裝置和方法。在該情況下，通過將分析結(jié)果與展開圖一起使用，可容易把握病變部等，可高效率地進行診斷等。另外，使上述各實施例部分地組合等而構(gòu)成的實施例等也屬于本發(fā)明。
由于根據(jù)將直視型內(nèi)窺鏡插入體腔內(nèi)來對食道等管狀部位內(nèi)面進行攝像而得到的圖像來生成接近于將該管狀部位內(nèi)面展開的形狀的展開像并顯示在顯示裝置上，因而即使是深度方向的值不同的部分也能用相同的刻度來顯示，因而可獲得容易進行比較等且也可進行客觀的診斷的圖像。
權(quán)利要求
1.一種醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有圖像變換部，其對拍攝生物體內(nèi)的管狀部位而得到的醫(yī)療圖像進行幾何變換；以及展開圖輸出部，其把由上述圖像變換部所獲得的變換圖像作為展開像而輸出到顯示裝置。
2.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，上述醫(yī)療圖像是由把上述管狀部位的長度方向作為視野方向的直視型攝像裝置所拍攝的攝像圖像。
3.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，上述圖像變換部具有從上述攝像圖像變換成極坐標(biāo)系的圖像的坐標(biāo)系變換部。
4.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，上述圖像變換部把上述攝像圖像投影在圓柱體表面上來生成上述變換圖像。
5.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有推定部，該推定部推定上述攝像裝置和上述管狀部位的相對位置關(guān)系。
6.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有中心位置設(shè)定部，該中心位置設(shè)定部設(shè)定上述攝像圖像的中心位置。
7.根據(jù)權(quán)利要求6所述的醫(yī)療圖像處理裝置，其特征在于，上述中心位置設(shè)定部檢測上述攝像圖像內(nèi)的最暗部，把檢測出的最暗部的重心位置作為中心位置。
8.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有失真像差校正部，該失真像差校正部校正上述醫(yī)療圖像的失真像差。
9.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有顯示裝置，該顯示裝置顯示上述展開像。
10.根據(jù)權(quán)利要求5所述的醫(yī)療圖像處理裝置，其特征在于，上述推定部從在上述管狀部位和上述攝像裝置被設(shè)定成分別不同的多個位置關(guān)系的狀態(tài)下所獲得的多個模型圖像中，檢測與上述攝像裝置實際拍攝的上述攝像圖像接近的模型圖像，從而推定與檢測出的模型圖像對應(yīng)的位置關(guān)系。
11.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有立體形狀推定部，該立體形狀推定部根據(jù)上述醫(yī)療圖像推定上述管狀部位的立體形狀。
12.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有立體形狀推定部，該立體形狀推定部根據(jù)上述攝像圖像推定上述管狀部位的立體形狀。
13.根據(jù)權(quán)利要求12所述的醫(yī)療圖像處理裝置，其特征在于，上述圖像變換部對上述攝像圖像進行幾何變換以把上述攝像圖像投影在由上述立體形狀推定部所推定出的立體形狀的表面上，生成上述變換圖像。
14.根據(jù)權(quán)利要求13所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有顯示裝置，該顯示裝置顯示由上述圖像變換部根據(jù)上述變換圖像所生成的上述展開像。
15.根據(jù)權(quán)利要求11所述的醫(yī)療圖像處理裝置，其特征在于，上述立體形狀推定部根據(jù)在分別不同的攝像位置所拍攝到的多張攝像圖像之間的同一對象部分的移動量，來推定上述攝像位置和上述管狀部位的立體形狀。
16.根據(jù)權(quán)利要求11所述的醫(yī)療圖像處理裝置，其特征在于，上述立體形狀推定部采用陰影恢復(fù)形狀法，該陰影恢復(fù)形狀法根據(jù)針對距照明單元的距離被視為相等的表面上的曲線的發(fā)展方程式來推定上述管狀部位的立體形狀。
17.根據(jù)權(quán)利要求11所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有直線推定部，該直線推定部針對由上述立體形狀推定部所推定出的立體形狀，推定通過該立體形狀的大致中心的直線。
18.根據(jù)權(quán)利要求11所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置具有變換參數(shù)計算部，該變換參數(shù)計算部計算從表示由上述立體形狀推定部所推定出的立體形狀的坐標(biāo)系變換到以上述直線為基準(zhǔn)的坐標(biāo)系的變換參數(shù)。
19.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，上述展開圖輸出部具有插值處理部，該插值處理部對上述變換圖像進行插值處理而輸出上述展開像。
20.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有表皮邊界檢測部，其針對上述展開像檢測作為食道側(cè)粘膜的扁平表皮與上述扁平表皮變性成胃側(cè)粘膜的圓柱表皮的邊界、即表皮邊界；以及分析部，其針對檢測出的上述表皮邊界，計算與規(guī)定的特征量對應(yīng)的分析結(jié)果。
21.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有表皮邊界檢測部，其針對上述展開像檢測作為食道側(cè)粘膜的扁平表皮與上述扁平表皮變性成胃側(cè)粘膜的圓柱表皮的邊界、即表皮邊界；以及分析部，其針對檢測出的上述表皮邊界，計算與規(guī)定的特征量對應(yīng)的分析結(jié)果。
22.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算與作為上述規(guī)定的特征量的、巴瑞特食道的情況下的表皮邊界的形狀特征量對應(yīng)的分析結(jié)果。
23.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部具有平均值計算部，其計算上述表皮邊界的平均值；以及偏差量計算部，其計算與上述表皮邊界的平均值的偏差量，上述分析部通過計算上述偏差量來計算與上述規(guī)定的特征量對應(yīng)的分析結(jié)果。
24.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算上述表皮邊界上的食道的管腔方向上的最大值和最小值的差量值，把該差量值與規(guī)定值的比較結(jié)果作為分析結(jié)果。
25.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算從胃和食道的接合部等基準(zhǔn)部位到上述表皮邊界的距離的偏差量，把計算出的偏差量與基準(zhǔn)值進行比較來作為分析結(jié)果。
26.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算上述表皮邊界上的相鄰2點間的距離的總和值，把計算出的總和值與基準(zhǔn)值的比較結(jié)果作為分析結(jié)果。
27.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算連接上述表皮邊界上的相鄰3點中的相鄰2點的兩個矢量所成的角的絕對值的總和值，把計算出的總和值與基準(zhǔn)值的比較結(jié)果作為分析結(jié)果。
28.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算上述表皮邊界上的各點的形狀在上述食道的管腔方向上變得凹凸的情況下的彎曲點的數(shù)量，把計算出的彎曲點的數(shù)量與基準(zhǔn)值的比較結(jié)果作為分析結(jié)果。
29.根據(jù)權(quán)利要求21所述的醫(yī)療圖像處理裝置，其特征在于，上述分析部計算上述表皮邊界的形狀在上述食道的管腔方向上變?yōu)闃O大和極小的極值的數(shù)量，并把計算出的極值的數(shù)量與基準(zhǔn)值的比較結(jié)果作為分析結(jié)果。
30.根據(jù)權(quán)利要求1所述的醫(yī)療圖像處理裝置，其特征在于，該醫(yī)療圖像處理裝置還具有直視型內(nèi)窺鏡，該直視型內(nèi)窺鏡具有把插入部的長度方向作為視野方向的攝像裝置。
31.根據(jù)權(quán)利要求2所述的醫(yī)療圖像處理裝置，其特征在于，上述展開圖輸出部根據(jù)上述攝像圖像而生成與將上述管狀部位的內(nèi)周面切開而得到的圖像對應(yīng)的展開像。
32.一種內(nèi)窺鏡裝置，其特征在于，該內(nèi)窺鏡裝置具有內(nèi)窺鏡，其具有拍攝體腔內(nèi)的管狀部位的圖像的攝像裝置；展開圖像生成裝置，其使用由上述攝像裝置所拍攝到的至少一張圖像，來生成與將管狀部位切開而得到的圖像對應(yīng)的展開像；表皮邊界檢測部，其從上述展開像檢測表皮邊界；以及分析部，其對由上述表皮邊界檢測部檢測出的表皮邊界的形狀進行分析，輸出分析結(jié)果。
33.一種醫(yī)療圖像處理方法，其特征在于，該醫(yī)療圖像處理方法具有圖像變換步驟，該步驟對拍攝體腔內(nèi)的管狀部位而得到的醫(yī)療圖像進行幾何變換；以及展開圖輸出步驟，該步驟從由上述圖像變換步驟所獲得的變換圖像作為展開像而輸出到顯示裝置。
34.根據(jù)權(quán)利要求33所述的醫(yī)療圖像處理方法，其特征在于，上述圖像變換步驟是從上述醫(yī)療圖像變換到極坐標(biāo)系的圖像的極坐標(biāo)系變換步驟。
35.根據(jù)權(quán)利要求33所述的醫(yī)療圖像處理方法，其特征在于，上述圖像變換步驟進行生成把上述醫(yī)療圖像投影在圓柱體表面上的二維圖像的幾何圖像變換。
36.根據(jù)權(quán)利要求33所述的醫(yī)療圖像處理方法，其特征在于，該醫(yī)療圖像處理方法具有立體形狀推定步驟，該步驟根據(jù)上述醫(yī)療圖像推定上述管狀部位的立體形狀。
37.根據(jù)權(quán)利要求36所述的醫(yī)療圖像處理方法，其特征在于，上述圖像變換步驟把上述醫(yī)療圖像對通過上述立體形狀推定步驟所推定出的立體形狀的表面進行幾何變換。
38.根據(jù)權(quán)利要求33所述的醫(yī)療圖像處理方法，其特征在于，該醫(yī)療圖像處理方法具有表皮邊界檢測步驟，該步驟從上述展開像檢測作為食道側(cè)粘膜的扁平表皮和上述扁平表皮變性成胃側(cè)粘膜的圓柱表皮的邊界、即表皮邊界；以及分析步驟，該步驟針對檢測出的上述表皮邊界，計算與規(guī)定的特征量對應(yīng)的分析結(jié)果。
39.根據(jù)權(quán)利要求33所述的醫(yī)療圖像處理方法，其特征在于，上述分析步驟計算作為上述規(guī)定的特征量的、巴瑞特食道的情況下的表皮邊界的特征量的評價值，把上述評價值與作為基準(zhǔn)的基準(zhǔn)值進行比較來計算分析結(jié)果。
全文摘要
本發(fā)明提供醫(yī)療圖像處理裝置和醫(yī)療圖像處理方法。圖像變換部對拍攝體腔內(nèi)的管狀部位而得到的醫(yī)療圖像進行幾何變換，展開圖輸出部把由圖像變換部所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
文檔編號G06T3/00GK101065052SQ20058004060
公開日2007年10月31日 申請日期2005年12月21日 優(yōu)先權(quán)日2004年12月27日
發(fā)明者長谷川潤, 西村博一, 田中秀樹, 井上涼子 申請人:奧林巴斯株式會社