專利名稱：虛擬內(nèi)空腔檢視系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及固體內(nèi)部通道的可視化，尤其是涉及從圖象數(shù)據(jù)非注入式地模擬通道內(nèi)部的景象。
本申請書與Jonathan A，Zarge及William J.Schroeder提出的1992年1月2日提交的序號為No.07/815,772的美國專利申請“減輕多邊形網(wǎng)復雜性的方法”及William E.Lorensen提出的1993年10月8日提交的序號為No.08/144,270的美國專利申請“利用布爾組織的幾何裁剪”(“組織繪圖”)有關，并均轉讓給本受讓人。
有時需要獲得從穿過固體受驗者的通道內(nèi)部的視點出發(fā)觀看到的通道景象。當這個受驗者是病人時，就需要觀察結腸、腸子、支氣管、動脈等的障礙物和結構。內(nèi)窺鏡是這樣一種裝置，它提供存在于人體內(nèi)部的中空器官或空腔內(nèi)部的高分辨率的實時景象。雖然內(nèi)窺鏡檢驗大部分是非注入式的，但為了減輕病人不適，還是要求服用某些鎮(zhèn)靜劑或麻醉劑。
類似于內(nèi)窺鏡的內(nèi)部檢視裝置可以用于非醫(yī)療裝置來檢視固體結構內(nèi)部的通道。其中某些是不允許進行內(nèi)部檢視的，因為通道或空腔可能沒有通向外界的開口，或者雖有連續(xù)的開口通向外界，但卻并不大得足以接納內(nèi)部檢視裝置。
內(nèi)部檢視裝置的另一個問題是視野僅限于通道內(nèi)部細小的區(qū)域。確定受驗者中的精確位置，以便把內(nèi)部成象裝置得到的圖像與受驗者總體結構聯(lián)系起來是極其困難的。
為了確定在受驗者內(nèi)部的位置，采用層面X射線照相術(CT)和磁諧振成象術(MRI)來顯示受驗者的內(nèi)部解剖。這些方法都是非破壞性的或非注入式的成象技術。使用這些方法來補充內(nèi)部成象裝置的圖像，以便把檢視的圖像與受驗者內(nèi)部的位置聯(lián)系起來。
在醫(yī)療裝置中，典型的做法是輻射檢驗師檢視二維斷面，并在內(nèi)心里構造一個三維結構圖像，試圖把通道內(nèi)部的圖像與受驗者內(nèi)的三維位置聯(lián)系起來。但當受驗者具有復雜的內(nèi)部結構時，例如在體內(nèi)呈管狀結構并反復地向前向后地穿過截面。
現(xiàn)在需要一種非注入式地顯示固體內(nèi)部通道的圖像，而同時呈現(xiàn)所得圖像在受驗者中的位置。
本發(fā)明的一個目的是提供一種顯示系統(tǒng)，它非注入式地顯示受驗者內(nèi)部空腔的圖像，而同時又提供一個標明內(nèi)部圖像的視點在整個受驗者中的位置的圖像。
本發(fā)明的另一個目的是提供一種系統(tǒng)，它使操作者能夠檢視受驗者中的不具有通向外界的開口的空腔的結構和表面。
本發(fā)明兩種類型的檢視圖都提供內(nèi)部“虛擬內(nèi)窺鏡”檢視圖和說明內(nèi)窺鏡當時位置的總體檢視圖。
本發(fā)明相信是新的特點將在后附的權利要求書中提出。但本發(fā)明本身，不論是組織還是操作方法，以及目標和優(yōu)點，最好參照結合附圖所作的說明加以理解。
附圖是

圖1是本發(fā)明系統(tǒng)的簡化框圖。
圖2是顯示與本發(fā)明的路徑規(guī)劃同時采用的設置二維距離標記方法。
圖3是顯示按本發(fā)明的一個實施例的路徑規(guī)方法。
圖4是計算機產(chǎn)生的一個受驗者結腸內(nèi)部的景象。
圖5是用圓柱體符號建立的總的地象，它用圓柱體符號指明了圖4圖像的視點。
本發(fā)明可以使受驗者內(nèi)部通道可視化，并探索通道內(nèi)部的表面和結構。在圖1中顯示了一個按照本發(fā)明的虛擬空腔檢視系統(tǒng)，它由幾個子系統(tǒng)組成1.一個圖像獲取單元21，它能以非注入的方式產(chǎn)生受驗者的內(nèi)部結構的圖像信息。它可以是層面X射線照相術(X射線CT)、磁諧振成象術(MRI)或超聲波系統(tǒng)；2.分段單元23，它識別這些圖像信息所描述的體積內(nèi)感興趣的組織；3.為每一個選定的組織構造多邊形模型的表面提取器25；4.一個能夠轉換和處理多邊形模型數(shù)據(jù)組的模型真實感顯示器29；5.用來存儲圖像數(shù)據(jù)的按功能分隔的存儲器；以及6.任選的路徑尋找子系統(tǒng)35，計算穿過用戶選擇的器官的一條“安全的”軌跡。
圖像獲取層面X射線照相術(X射線CT)、磁諧振成象術(MRI)或超聲波系統(tǒng)均可用作圖像獲取單元21，以獲取有關受驗者3內(nèi)部結構的多維圖像信息。這些信息可能是以前某個時刻獲取并存入存儲器10的，或者在需要時也可以是以交互方式獲取的。存儲器10是按功能分段的，使得不同類型的信息可以獨立地存放，而取出時不破壞存于存儲器10的其他信息。
分段存于存儲器10的圖像信息提供給分段單元23，后者分析圖像信息并確定具有同樣類型的組織的連續(xù)地址，并把所有這些地址識別為一個器官。它將信息分割為可識別的固體結構。這里可以采用傳統(tǒng)的分段方法。與本發(fā)明兼容的分段技術描述于W.Lorensen，H.Cline1988年6月14日發(fā)表的美國專利No.4,751,643“確定體內(nèi)相連的子組織用的方法和裝置”?？梢圆捎玫牡诙€方法描述于H.Cline，W.Lorensen 1993年2月16日發(fā)表的美國專利No.5,187,658“固體對象內(nèi)部區(qū)域中所含的內(nèi)部結構的分段系統(tǒng)及方法”，這兩個專利均轉讓給本受讓人并附此作參考。
表面提取器一旦圖像信息的體象元(voxels)被分段、標以組織/器官標記，就可以用傳統(tǒng)的技術，例如描述于Harvey E.Cline及William E.Lorensen 1987年12月1日發(fā)表的美國專利No.4,710,876“固體內(nèi)部區(qū)域中所含的表面結構的顯示系統(tǒng)及方法”的立方體推進算法，由表面提取器25從圖像單元21得到的體積數(shù)據(jù)產(chǎn)生表面模型。該個專利已轉讓給本受讓人并附此作參考。
立方體推進算法利用線性內(nèi)插法找出已識別的組織的表面點，以便在由8個相鄰體象元定義的“立方體”中找出組織邊界。另外，由體象元數(shù)據(jù)的梯度為每個三角形頂點求出該表面法向單元矢量。對于內(nèi)窺鏡的用途而言，由三角形定義表面比用點或直接體積真實感顯示為好，因為體積數(shù)據(jù)的再內(nèi)插對于要求的交互真實感顯示速度來說計算開銷過大。
由于往往要用大量的三角形來構造表面模型，固需使用簡化器27來減少表面較平的部分的三角形數(shù)量。簡化器27可以使用許多已知的簡化方法，諸如上述“相關應用的交叉索引”中引用的Zarge，Schroeder所著“簡化法應用”一文。簡化后的表面僅以較少的細節(jié)損失為代價改善真實感顯示速度。
顯示模型的另一個方法描述于Harvey E.Cline，Siegwalt Ludke及William E.Lorensen 1988年1月12日發(fā)表的美國專利No.4,719,585“固體內(nèi)部區(qū)域中所含的表面結構顯示用的分割立方體系統(tǒng)及方法”，該個專利已轉讓給本受讓人并附此作參考。該法從體積數(shù)據(jù)開始，建立一個用若干個點及與每個點有關的法向矢量而不是用多邊形描述的表面?！胺指盍⒎襟w”法已經(jīng)應用于體積數(shù)據(jù)內(nèi)所含的表面的顯示。
簡化法可能不能用于要求常規(guī)的空間信息，諸如點和法向顯示的顯示。
簡化器27簡化后的圖像信息描述了一個三維(3D)表面模型，并存于存儲器10中。模型真實感顯示器29建立一個從選定的視點看見的三維表面模型。真實感顯示器29可以按照傳統(tǒng)的計算機圖形真實感顯示設計來構造。
虛擬攝像機視點本發(fā)明可以使用三個方法之中的任何一種，來選擇三維表面模型的圖像視點，或一系列的圖像視點，合起來稱為視點路徑。
采用第一種方法時，操作者可以通過圖形界面31，例如鼠標，控制圖像的視點。圖形界面31可以移動圖像的視點。操作者5還可以通過圖形界面31控制視野及真實感顯示器29的其他圖像參數(shù)。這種手工技術最適用于外科手術規(guī)劃及外科手術模擬。
第二種技術采用稱為關鍵幀的計算機動畫技術。真實感顯示器29提供受驗者3內(nèi)部結構的圖像，還指出內(nèi)部通道。操作者5通過圖形界面31選擇不同的視點來觀察成為關鍵幀的圖像。一旦建立了關鍵幀，一個路徑平滑單元37便產(chǎn)生一個連接各關鍵幀的平滑路徑。已知的平滑技術，諸如立方樣條均可采用。真實感顯示器29沿著已平滑化的路徑上的視點依次產(chǎn)生圖像來播放虛擬影片。這給其他操作者一個印象，好象虛擬的攝像機沿著路徑移動。關鍵幀技術適用于總的攝像機通過開放的內(nèi)部或外部環(huán)境進行運動。
路徑規(guī)劃穿過操作者5想探索的中空的器官乃是一個對上述第一和第二種方法的挑戰(zhàn)。在狹窄的空間中進行手工的視點移動是困難的。采用了一種類似于機器人路徑規(guī)劃的技術來為擠迫的空間中圖像選擇視點。
這一技術自動地尋找穿過通道的路徑。操作者5通過圖形界面31規(guī)定三維空間位置作為圖像視點的最終目標。
航行體積計算單元33用體象元到目標的距離來標記所有的體象元。圖2顯示單個樣條的二維距離標記。目標是G點。圖2的實現(xiàn)是采用一種穿過體象元的波前傳播技術。為了提高效率，距離采用曼哈頓(城市街區(qū))一類的網(wǎng)格確定。航行體積中不是“障礙物”一部分的每個體象元，均加上到目標的整數(shù)距離的標記。包含障礙物的體象元不加標記。這一步驟對所有未經(jīng)處理的相鄰的體象元進行重復，結果產(chǎn)生“波前”的處理。當沒有新的相鄰的波前可以加標記時，加距離標記的工作即告結束。
一旦建立了航行體積，分段模型的樣條就像是解剖切片似的，可以顯示了。
操作者5還選擇一個起點。路徑計算單元35便采用傳統(tǒng)的方法，最好用以存于存儲器10的航行體積的值為依據(jù)的最陡下降法，計算出從該體積中選定的起點到目標的一條推薦的視點路徑。路徑計算單元還能計算出從每一個起點到目標的距離并將其顯示給操作者5。圖3顯示從兩個起點算出的路徑。
一個路徑平滑單元37利用傳統(tǒng)的平滑技術計算連接起點和目標之間各選定點的平滑的飛行路徑。路徑平滑單元35在向目標移動時產(chǎn)生一些小步，所以視點路徑上的點數(shù)一般都要減為平滑前的1/2或1/3。
一旦產(chǎn)生了視點路徑，操作者5就可以通過向真實感顯示器29發(fā)出相應的信號，開始、停止或沿著算出的視點路徑步進。
顯示—真實感顯示真實感顯示器29還可以采用幾種不同的顯示方案。
1.單個的三維圖像—受驗者3內(nèi)部結構表面的真實感顯示可以利用商業(yè)上可以購到的硬件進行真實感顯示。巨大的包裹組織(諸如皮膚)的透明感顯示可以無障礙地觀察較深的結構，而同時由為用戶提供三維的前后關系，如前述“相關應用交叉索引”所引用的“組織映射”應用一文中敘述的。
2.立體—立體鏡觀察可以增強三維關系的感覺。這要求向操作者5提供兩個分開的圖像一個相當于左眼看到的，另一個相當于右眼看到的。
3.分開的屏幕—兩個景象同時由真實感顯示器29顯示在顯示器39上。一個圖像來自操作者5所選的視點用作受驗者3的總體參照圖，起地圖的作用。第二個圖像來自空腔內(nèi)部的視點。
4.我在哪里？—在顯示沿著產(chǎn)生的視點路徑移動的視點的圖像的同時，操作者5可以按圖形界面31上的“我在哪里”按鈕，使當前的內(nèi)部圖像變成一個總體視圖，帶有一個符號顯示前一個內(nèi)部視點的位置。
5.在橫截面切片上的攝像機軌跡—真實感顯示器29在顯示器39的一個窗口上顯示當前的視點，用一個符號標在由采集單元21采集到的原有的CT或MRI切片。這樣就可以參照熟識的截面圖進行定位。
試驗結果虛擬空腔檢視系統(tǒng)在活體一些區(qū)域進行檢驗。
在圖4中，層面X射線照相(CT)裝置用作獲取單元21來獲取受驗者3內(nèi)部結構的圖像信息。表面提取器25提取出一個由60,000個三角形描述的表面。圖4的視圖是從沿著穿過結腸的視點路徑上的視點看到的。用這個方法選擇視點，就可以模擬一般的內(nèi)窺鏡。
圖5顯示放大了的結腸的總體視圖，一個“地圖”圖像，用圓柱形作符號標出建立圖4的圖象所用的視點位置。這個地像可以同時由真實感顯示器29建立并顯示在顯示器39上，可以對圖4模擬內(nèi)窺鏡景象進行定位。
本發(fā)明還使用活體的頭蓋骨、腦血管和主動脈，全都得出了出色的圖像。本發(fā)明對諸如血管中的血小板、胃腸中的息肉等在醫(yī)學上有重要意義的結構提供了增強的可視化，而且不采用注入方式，這導致了潛在的嚴重疾病的早期發(fā)現(xiàn)和治療。
本發(fā)明還可以用于非活體和無生命體。所需要的僅僅是它們的內(nèi)部結構的圖像信息。這些可以用上述方法獲取，或者用CAD或CAM方法合成。
圖像信息可以各種形式提供，而且不一定需要上述的全部處理過程。例如，若提供的圖像信息已經(jīng)是分了段的信息，則無需分段單元。類似地，如果圖像信息是作為表面提供的，表面提取器25就不需要了。另外，如果表面已經(jīng)簡化，則可去掉簡化器27。
本發(fā)明產(chǎn)生的內(nèi)部景象模擬用諸如內(nèi)窺鏡一類空腔檢視裝置所獲得的景象類型。與真實的內(nèi)窺鏡景象相比，本發(fā)明有下列優(yōu)點1.對所有的虛擬攝像機參數(shù)，包括視場進行交互控制；2.能夠穿過器官壁來檢視相鄰的解剖物；3.可以對空腔內(nèi)部圖像的視點進行三維定位；4.由用戶控制沿著計算機產(chǎn)生的路徑運動；5.場深無限。
這里對發(fā)明的目前比較推薦的實施例進行了詳細的描述，但本領域的一般技術人員都會看出可以作很多的修改和變更。因此應該明白，后附的權利要求書意在覆蓋所有的修改和變更，因為它們都落在本發(fā)明的真實精神的范圍以內(nèi)。
權利要求
1.一個由下列步驟組成的模擬內(nèi)窺鏡的方法a.獲取受驗者內(nèi)部結構的圖像信息；b.建立這些圖像信息的三維表面模型；c.選擇起始視點；d.選擇目標視點；e.計算連接起始視點和目標點的繞過障礙物的視點路徑；f.建立眾多的具有在視點路徑上的視點的內(nèi)部圖像；g.沿著視點路徑位置依次顯示這些圖像，從而模擬內(nèi)窺鏡。
2.權利要求1的方法，其中計算視點路徑的步驟包括a.計算從表面模型的每一個體象元繞過障礙物到目標點的距離；b.以每一個體象元算出的距離來標記該體象元；c.把含有起點的體象元設置成當前體象元；d.把當前體象元加入視點路徑；e.確定具有最低標記距離值的并與當前體象元相鄰的體象元；f.把具有最低標記距離值的體象元設置為當前體象元；g.重復步驟“d”到“f”，直至達到一個含有目標的體象元。
3.權利要求1的方法，其中計算視點路徑的步驟包括a.向操作者顯示三維模型的圖像；b.與操作者交互，確定視點路徑通過的關鍵幀的位置；c.把起始視點、目標視點及中間的關鍵幀擬合成一條平滑的視點路徑。
4.權利要求1的方法還包括下列步驟a.在視點路徑之外選擇一個視點；b.產(chǎn)生另一個圖像，其視場遠遠大于視點路徑上的視點產(chǎn)生的內(nèi)部圖像，作為“地像”；c.在地像上產(chǎn)生一個任意的符號，指出建立當前顯示的內(nèi)部圖像用的視點。
5.權利要求1的方法還包括下列步驟a.從受驗者的內(nèi)部結構的圖像信息產(chǎn)生一個橫截面圖像，其視場遠遠大于視點路徑上的視點產(chǎn)生的內(nèi)部圖像，作為“地像”；b.在橫截面圖像上產(chǎn)生一個任意的符號，指出建立當前顯示的內(nèi)部圖像用的視點。
6.權利要求1的方法，其中a.以視點路徑上的視點建立多個立體內(nèi)部圖像對；b.按照視點路徑的位置順序地把立體圖像對呈現(xiàn)給操作者，以此模擬立體內(nèi)窺鏡。
7.用來檢視一個受驗者的內(nèi)部空腔的虛擬檢視系統(tǒng)包括a.一個用來存儲圖像信息的存儲器；b.與該存儲器耦合的三維模型顯示裝置，用來顯示從視點路徑上選定的視點觀察的該存儲器中所存的圖像信息；c.與操作者交互的圖形界面，用以確定起始視點和目標視點；d.耦合到該存儲器的航行體積計算單元，用來計算從每個體象元穿過該空腔到目標視點的距離，并建立一個具有各標以其相應的距離的體象元的航行空間。e.耦合到該存儲器的路徑計算單元，用來計算試點路徑上從起始視點到目標視點的最短距離，并將此路徑存入該存儲器，使三維模型顯示裝置可以建立一系列圖像，就象沿著這條算出的視點路徑的點看到的一樣。
8.權利要求7要求的虛擬檢視系統(tǒng)還包括一個耦合到該存儲器的路徑平滑單元，用來在三維模型顯示裝置建立一系列圖像之前對視點路徑進行平滑化。
9.一個用來檢視受驗者內(nèi)部空腔的虛擬檢視系統(tǒng)包括a.一個用來存儲圖像信息的存儲器；b.與該存儲器耦合的三維模型顯示裝置，用來象從視點路徑上選定的視點觀察到的一樣地顯示該存儲器中所存的圖像信息；c.與操作者交互用的圖形界面，用以確定起始視點、目標視點以及內(nèi)部空腔內(nèi)的稱為關鍵幀的中間視點；d.一個耦合到該存儲器的路徑平滑單元，用來建立連接起點、目標及中間視點的平滑了的視點路徑，并將該路徑存入該存儲器，使三維模型顯示裝置能夠建立一系列圖像，就象從沿著這條算出的視點路徑上的點看到的一樣。
全文摘要
本發(fā)明非注入式地提供從空腔內(nèi)部的視點看到的受驗者空腔的圖像。一個信息獲取單元獲取關于受驗者內(nèi)部結構的圖像信息。這些信息被分段成單獨的結構，并構造一個三維表面模型。操作者觀察三維模型圖像，以選定起始視點和目標視點。建立一個視點路徑，連接起始視點及目標視點。以該視點路徑上的視點建立圖像。一系列附加的可視化技術幫助觀察者確定當前圖像視點的位置及其與受驗者的關系。
文檔編號G09B23/28GK1135047SQ9511818
公開日1996年11月6日 申請日期1995年11月22日 優(yōu)先權日1994年11月23日
發(fā)明者W·E·洛倫森, F·A·佐列茨, R·基基尼斯 申請人:通用電氣公司