內(nèi)窺鏡系統(tǒng)的制作方法
【技術領域】
[0001 ] 本發(fā)明涉及通過攝像單元對被檢體內(nèi)進行攝像的內(nèi)窺鏡系統(tǒng)。
【背景技術】
[0002]近年來，具有能夠插入到體腔內(nèi)等的插入部的內(nèi)窺鏡廣泛應用于醫(yī)療領域等中。
[0003]另一方面，在插入到體腔內(nèi)的支氣管這樣的復雜分支的管腔臟器內(nèi)對管腔臟器的末梢側(cè)的目標部位(的患部組織)進行檢查或基于處置器械的活檢和處置的情況下，僅利用插入時得到的內(nèi)窺鏡圖像有時很難將插入部前端導入到目標部位附近。
[0004]因此，提出了用于支援將內(nèi)窺鏡的插入部前端導入到目標部位附近的操作的系統(tǒng)或裝置。
[0005]例如，作為第I現(xiàn)有例的W02007-129493號公報的醫(yī)療圖像觀察支援裝置公開了具有CT圖像數(shù)據(jù)取入部、CT圖像數(shù)據(jù)存儲部、信息提取部、解剖學的信息數(shù)據(jù)庫、視點位置/視線方向設定部、管腔臟器圖像生成部、解剖學的名稱信息產(chǎn)生部、分支指定部、圖像合成顯示部和用戶I/F控制部的結(jié)構(gòu)。視點位置/視線方向設定部根據(jù)信息提取部提取出的管腔臟器的構(gòu)造信息，設定將視點鎖定在管腔臟器的大致中心軸上來觀察管腔臟器的外觀的視點位置和視線方向。
[0006]并且，作為第2現(xiàn)有例的日本特開2009-279250號公報的醫(yī)療裝置具有:假想內(nèi)窺鏡圖像生成單元，其根據(jù)預先取得的支氣管的三維圖像數(shù)據(jù)，生成從多個不同視線位置的假想內(nèi)窺鏡圖像；圖像檢索單元，其檢索與真實圖像的相似度較高的假想內(nèi)窺鏡圖像；基準點設定單元，其根據(jù)相似度較高的假想內(nèi)窺鏡圖像的視線的位置設定基準點；相對位置計算單元，其計算處置器械相對于基準點的相對位置；移動檢測單元，其檢測基準點或支氣管的移動；以及位置校正單元，其根據(jù)基準點或支氣管的移動，對相對位置進行校正。
[0007]在估計內(nèi)窺鏡的插入部前端的位置的情況下，通過比較由內(nèi)窺鏡的攝像單元進行攝像而得到的內(nèi)窺鏡圖像(實際圖像)和根據(jù)基于CT的管腔臟器的三維數(shù)據(jù)而生成的假想內(nèi)窺鏡圖像(假想圖像)來進行估計。因此，最初進行基于兩個圖像的比較的位置對齊。
[0008]然后，在位置的估計精度降低的情況下，需要進行用于設定為能夠確保規(guī)定的精度的狀態(tài)的再次位置對齊，但是，由于沒有以適于進行再次位置對齊的條件記錄信息，所以，上述現(xiàn)有例存在花費時間的缺點。
[0009]更具體進行說明時，例如第I現(xiàn)有例公開了在三維圖像上對內(nèi)窺鏡前端位置進行坐標轉(zhuǎn)換并對與芯線之間的距離進行比較的觀點、以及對分支部的實際圖像(內(nèi)窺鏡圖像)和假想圖像(假想內(nèi)窺鏡圖像)進行比較的觀點，還公開了記錄分支部的特征信息等。
[0010]但是，根據(jù)所記錄的信息進行再次位置對齊時進行圖像比較來進行位置對齊以使得兩個圖像盡可能一致，但是，相對于內(nèi)窺鏡前端位置的變化的內(nèi)窺鏡圖像或假想內(nèi)窺鏡圖像的變化量不確定，很難得知以何種程度使兩個圖像對齊比較好，所以，進行再次位置對齊花費時間。
[0011]為了容易進行位置對齊，具有所記錄的信息相對于支氣管內(nèi)的內(nèi)窺鏡前端位置的變化而容易變化的特征，優(yōu)選設定為容易在視覺上進行位置對齊。
[0012]但是，在上述現(xiàn)有例中，如上所述，由于沒有設定為容易在視覺上進行位置對齊，所以，很難得知以何種程度使兩個圖像對齊比較好，因此，進行再次位置對齊花費時間。
[0013]并且，支氣管以如下方式變化:隨著從支氣管的入口附近到作為其深部側(cè)的末端(末梢)側(cè)，在分支部進行分支，管腔直徑逐漸變細。因此，當在記錄再次位置對齊用的信息的條件中利用支氣管徑的變化的檢測結(jié)果時，認為容易更加有效地進行再次位置對齊。
[0014]本發(fā)明是鑒于上述情況而完成的，其目的在于，提供記錄容易在短時間內(nèi)進行再次位置對齊的信息的內(nèi)窺鏡系統(tǒng)。

【發(fā)明內(nèi)容】

[0015]用于解決課題的手段
[0016]本發(fā)明的一個方式的內(nèi)窺鏡系統(tǒng)具有:圖像記錄部，其記錄預先取得的被檢體中的三維圖像信息；管腔臟器提取部，其從所述三維圖像信息中提取規(guī)定的管腔臟器；假想內(nèi)窺鏡圖像生成部，其針對由所述管腔臟器提取部提取出的所述規(guī)定的管腔臟器的信息，生成從規(guī)定的視點位置以內(nèi)窺鏡的角度描繪的假想內(nèi)窺鏡圖像；攝像部，其設置在內(nèi)窺鏡內(nèi)，對所述規(guī)定的管腔臟器內(nèi)進行攝像；位置信息取得部，其取得所述內(nèi)窺鏡的插入部的前端的位置信息；管腔直徑變化量檢測比較部，其根據(jù)所述內(nèi)窺鏡的插入部的前端的位置信息檢測所述規(guī)定的管腔臟器的管腔直徑的變化量；圖像變化量檢測部，其在由所述攝像部攝像而得到的內(nèi)窺鏡圖像內(nèi)檢測與所述規(guī)定的管腔臟器有關的特征部的變化量；以及信息記錄部，其根據(jù)所述管腔直徑變化量檢測部的檢測結(jié)果和所述圖像變化量檢測部的檢測結(jié)果，記錄包含所述內(nèi)窺鏡的插入部的前端的位置和與該前端的位置對應的所述假想內(nèi)窺鏡圖像的規(guī)定信息。
【附圖說明】
[0017]圖1是示出本發(fā)明的第I實施方式的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)的圖。
[0018]圖2A是示出支氣管的一部分和支氣管形狀圖像的圖。
[0019]圖2B是示出插入到支氣管內(nèi)并對支氣管徑進行經(jīng)時計算的狀況的圖。
[0020]圖2C是示出計算支氣管徑的位置和計算出的支氣管徑的大小的圖。
[0021]圖2D是示出在指示了進行再次位置對齊的情況下在監(jiān)視器中顯示的候選信息的圖。
[0022]圖3A是示出具有進行立體計測的立體內(nèi)窺鏡的內(nèi)窺鏡裝置的結(jié)構(gòu)的圖。
[0023]圖3B是示出進行立體計測的計測對象的位置在左右攝像元件的攝像面上成像的關系的說明圖。
[0024]圖3C是示出在監(jiān)視器畫面中顯示使用立體內(nèi)窺鏡對支氣管內(nèi)進行攝像而得到的圖像的一例的圖。
[0025]圖3D是用于根據(jù)圖3C的圖像計算支氣管徑的說明圖。
[0026]圖3E是用于通過使用了單一攝像裝置的立體計測來計算支氣管徑的說明圖。
[0027]圖4是示出第I實施方式中的處理內(nèi)容的一例的流程圖。
[0028]圖5是取得支氣管徑的情況的說明圖。
[0029]圖6是利用與圖5不同的方法取得支氣管徑的情況的說明圖。
[0030]圖7是取得支氣管徑的位置的說明圖。
[0031]圖8是利用與圖7不同的設定來取得支氣管徑的位置的說明圖。
[0032]圖9是取得支氣管徑的情況的說明圖。
[0033]圖10是利用與圖9不同的方法取得支氣管徑的情況的說明圖。
[0034]圖11是檢測到內(nèi)窺鏡圖像中的暗部的面積的變化的情況的說明圖。
[0035]圖12是檢測到內(nèi)窺鏡圖像中的分支的形狀的變化的情況的說明圖。
[0036]圖13是檢測到內(nèi)窺鏡圖像中的支線的長度的變化的情況的說明圖。
[0037]圖14是檢測到內(nèi)窺鏡圖像中的支線的角度的變化的情況的說明圖。
[0038]圖15是檢測到內(nèi)窺鏡圖像的針對視野不良的變化的情況的說明圖。
[0039]圖16是檢測到內(nèi)窺鏡圖像中的支氣管的分支以外的變化的情況的說明圖。
[0040]圖17是檢測到內(nèi)窺鏡圖像中的特征部的抖動的變化的情況的說明圖。
【具體實施方式】
[0041]下面，參照附圖對本發(fā)明的實施方式進行說明。
[0042](第I實施方式)
[0043]如圖1所示，本發(fā)明的第I實施方式的內(nèi)窺鏡系統(tǒng)I主要由以下部分構(gòu)成:內(nèi)窺鏡裝置4A，其具有插入到作為檢查對象的被檢體即患者中的作為規(guī)定的管腔臟器的支氣管
2(圖2A)內(nèi)的內(nèi)窺鏡3A ;以及插入支援裝置5，其與該內(nèi)窺鏡裝置4A —起使用，用于進行內(nèi)窺鏡3A的插入支援。
[0044]內(nèi)窺鏡裝置4A具有內(nèi)窺鏡3A、對該內(nèi)窺鏡3A供給照明光的光源裝置6、對搭載于內(nèi)窺鏡3A中的構(gòu)成攝像單元的攝像元件7進行信號處理的作為信號處理裝置的照相機控制單元(簡記為(XU) 8A、以及顯示由CXU 8A生成的內(nèi)窺鏡圖像的監(jiān)視器9A。
[0045]內(nèi)窺鏡3A具備具有撓性的細長的插入部(或內(nèi)窺鏡插入部)11以及設置在該插入部11的后端的操作部12，在插入部11的前端部13設有照明窗和觀察窗。在插入部11、操作部12內(nèi)貫穿插入有傳遞照明光的光導14，該光導14的入射端與光源裝置6連接，由光源裝置6內(nèi)的未圖示的光源燈或LED產(chǎn)生的照明光入射到入射端。由該光導14傳遞的照明光從安裝在照明窗上的出射端(前端面)向前方出射。
[0046]并且，在觀察窗上安裝有形成用于對被攝體進行成像的物鏡光學系統(tǒng)的物鏡15，在其成像位置配置有CCD等攝像元件7，通過物鏡15和攝像元件7形成作為攝像單元的攝像裝置16，該攝像裝置16對作為供插入部11插入的規(guī)定的管腔臟器的支氣管2內(nèi)進行攝像。
[0047]攝像元件7經(jīng)由貫穿插入到插入部11、操作部12內(nèi)的信號線而與CXU 8A連接。CCU 8A通過其內(nèi)部的未圖示的圖像信號生成電路生成與攝像元件7的攝像面上形成的光學像對應的攝像圖像的圖像信號，將該圖像信號輸出到監(jiān)視器9A。監(jiān)視器9A顯示圖像信號的圖像(動態(tài)圖像)作為內(nèi)窺鏡圖像(也稱為攝像圖像)。
[0048]在內(nèi)窺鏡3A的插入部11中，在前端部13的后端設有彎曲自如的彎曲部19，手術醫(yī)生通過進行使設置在操作部12上的彎曲操作旋鈕20例如旋轉(zhuǎn)的操作，能夠使彎曲部19向上下左右的任意方向彎曲。另外，彎曲操作旋鈕20具有用于向上下方向彎曲的上下方向用彎曲操作旋鈕、以及用于向左右方向彎曲的左右方向用彎曲操作旋鈕。
[0049]也可以代替圖1所示的內(nèi)窺鏡裝置4A而采用圖3A所示的內(nèi)窺鏡裝置4B。
[0050]內(nèi)窺鏡裝置4B具有能夠進行立體計測的立體內(nèi)窺鏡3B、光源裝置6、對設置在立體內(nèi)窺鏡3B中的兩個攝像元件7a、7b進行信號處理的CXU 8B、以及顯示由CXU 8B生成的立體圖像信號的立體顯示用監(jiān)視器9B。
[0051]在立體內(nèi)窺鏡3B的插入部11的前端部13，在左右方向上分開規(guī)定的間隔配置有左右物鏡15a、15b，在各自的成像位置配置有左右攝像元件7a、7b，構(gòu)成具有左右攝像裝置16a、16b的立體攝像裝置16'。另外，左右物鏡15a、15b和左右攝像裝置16a、16b分別使用特性一致的部件。
[0052]并且，在插入部11內(nèi)貫穿插入有傳送來自光源裝置6的照明光的光導14。光導14的前端安裝在前端部13的照明窗上，從照明窗出射所傳達的照明光，對體腔內(nèi)的患部等被攝體進行照明。
[0053]對被照明的被攝體進行攝像的左右攝像元件7a、7b將光電轉(zhuǎn)換后的攝像信號輸入到CXU 8B內(nèi)的攝像控制部18a、18b，攝像控制部18a、18b生成左右圖像信號并將其輸出到立體圖像信號生成部18c。
[0054]立體圖像信號生成部18c根據(jù)左右圖像信號生成立體顯示用的圖像信號，并將其輸出到立體顯示用監(jiān)視器9B。然后，立體顯示用監(jiān)視器9B顯示立體顯示用的圖像信號，手術醫(yī)生等用戶能夠通過立體顯示用的圖像信號的顯示對被攝體進行立體觀察。
[0055]并且，由攝像控制部18a、18b生成的左右圖像信號被輸入到計測運算部18d，使用左右圖像信號，通過利用了三角測量原理的立體計測，能夠計測進行攝像而得到的圖像上的2點間的距離等。如后所述，例如能夠計測支氣管徑Den。另外，由計測運算部18d計算出的支氣管徑Den等信息被輸出到圖像處理部25。并且，由攝像控制部18a(或18b)生成的影像信號也輸出到圖像處理部25。
[0056]接著，使用圖3B對基于立體計測的計測對象的點(位置)的三維坐標的求解方法進行說明。使用左右物鏡15a、15b，針對攝像元件7a、7b的攝像面的圖像，通過三角測量的方法，利用以下的⑴式?(3)式計算計測點60的三維坐標(X、Y、Z)。其中，設實施了失真校正的左右圖像上的計測點61、62的二維坐標分別為(XpYJ、(XK、YK)，設左右物鏡15a、15b的光學中心63、64之間的距離為D，設焦距為F，設t = D/(\-XK)。于是，以下的關系式成立。
[0057]X = tXXK+D/2…(I)
[0058]Y = tXYf.(2)
[0059]Z = tXF...(3)
[0060]如上所述，當決定針對計測點60的圖像上的二維坐標的計測點61、62后，使用作為參數(shù)的距離D和焦距F求出計測點60的三維坐標。
[0061]通過求出幾個點的三維坐標，能夠進行這幾個點中的2點間的距離、連接2點的線與I點的距離、面積、深度、表面形狀等各種計測。并且，還能夠求出從左物鏡15a的光學中心63或右物鏡15b的光學中心64到被攝體的距離(物體距離)。為了進行上述立體計測，使用表示內(nèi)窺鏡3B的前端部13和物鏡15a、15b的特性的光學數(shù)據(jù)。另外，在圖3B中，利用PL表示包含2個攝像面的面，并且，利用(\、Ok表示(圖3B中未顯示的物鏡15a、15b的光軸上的)右攝像面的中心。
[0062]作為根據(jù)立體圖像運算三維坐標的方法，存在日本特開2011-027911號公報所示的方法等。
[0063]在本實施方式中，在根據(jù)后述內(nèi)窺鏡圖像計測支氣管徑Den的情況下，通過指定圖3B的攝像面上的與支氣管徑的一個計測點60對應的圖像上的計測點61和62以及與另一個計測點對應的點來計算支氣管徑Den。
[0064]使用圖3C和圖3D對該方法進行說明。示出在監(jiān)視器9B的顯示畫面71中顯示內(nèi)窺鏡圖像中的支氣管72以及作為該支氣管72的末梢側(cè)的下一個支氣管分支部73的狀況。相對于該畫面71的范圍，利用網(wǎng)格74所示的塊進行劃分，提取各塊內(nèi)的平均亮度為規(guī)定值以下的區(qū)。圖3D中標注斜線示出這樣提取出的檢測塊75。
[0065]然后，通過將檢測塊75的直徑最大的部分設為計測對象的支氣管徑，來設定計測點60a和計測點60b。一般情況下，在利用內(nèi)窺鏡觀察管腔臟器時，越靠里側(cè)成為越暗的圖像，所以，能夠利用上述那樣進行說明的方法來設定計測點。在指定計測點60a、60b的情況下，也可以在該計測點60a、60b之間最大的方向上進行指定。
[0066]在構(gòu)成立體圖像的左畫面和右畫面雙方中實施上述運算，在左畫面和右畫面中分別求出與計測點60a