專利名稱：三維數(shù)字放大鏡手術支持系統(tǒng)的制作方法
三維數(shù)字放大鏡手術支持系統(tǒng)技術領域
本發(fā)明系涉及，當外科在手術中的最小侵入手術中接近看不見的區(qū)域時，為了提 升安全和可靠性，而顯示手術中的病患位置和操作手術器具之間的位置關系的醫(yī)療用導航 手術支持系統(tǒng)。更具體地，本發(fā)明涉及三維數(shù)字放大鏡手術支持系統(tǒng)，其在利用三維數(shù)字放 大鏡立體識別的實體(病患身體和手術器具)的影像上，重疊顯示該實體的不可見區(qū)域或 外形的三維計算機影像，以將實體影像及虛擬三維計算機影像整個一體化并立體識別。
背景技術：
在以前，在外科手術中接近看不見的區(qū)域時，通過觀察X光、超音波、磁力等非破 壞檢查數(shù)據(jù)為基礎而構成的二維或三維影像數(shù)據(jù)，以記憶儲存物體的內部構造或生物各個 的解剖學形狀及其位置關系的影像，在手術時依據(jù)這些儲存的影像導向，將其重疊于實體 的視野影像來進行手術。尤其是在例如單純骨折或完全關節(jié)脫白的復位處理的一般的非觀 血手術中，是根據(jù)施術者經驗的三維影像及手指的感覺來進行的。此種細致的人的三維感 覺會隨著累積經驗熟練而提升，但是，只能通過手術后的三維影像數(shù)據(jù)來評估非觀血處理 的正確與否。另外，如果用觀血的手術來進行視線不良的體內的手術場合時，若失去方向就 會朝錯誤的方向進行，從而難免造成不必要的組織損傷。為了避免像這樣的危險性，實時測 量進行手術的患者和手術器具的三維位置，并將其和術前拍攝的CT和MRI的影像進行重疊 顯示，這樣，即使是初學者也能容易地到達目標，從而對手術提供安全性、可靠性。使用像這 樣的計算機測量裝置，不只是應用在腦神經外科，還能應用在頭頸部外科、整形外科領域， 并已提出在術中拍攝MRI、更新影像訊息，同時進行導航的方法。發(fā)明內容
發(fā)明欲解決的課題
不過，如前所述，在術前拍攝的CT和MRI的影像上重疊顯示的影像基礎導航系統(tǒng) 的情況下，為了在CT和MRI的攝影影像上顯示感測標示的位置，必須事先在CT和MRI的攝 影時安裝感測標記再進行拍攝，在手術時于攝影時同一位置上再裝上感測標記，然后實時 測量三維位置。要進行正確的追跡，除了感測標記固定方法、固定位置再現(xiàn)性問題之外，再 加上患者和影像位置的初始登錄作業(yè)(注冊)需要煩瑣的調整工作，并且實際的追跡精度 隨著傳感器本身的精度而變動，所以再放大影像上進行處理的時候，追跡精度和術野影像 的放大率成比例并在顯示器上和擴大率成反比地增加。
因此，有些方法為了提升位置精度和修正處理中的感測標記的偏移，在術中拍攝 MRI、更新影像訊息的同時，進行注冊即追跡，不過，由于斷層攝影需要一定的時間，就實時 的觀點言之，這并不適合對于有手術時間限制的外科。
不過，所有的這些導航系統(tǒng)，基本上是把CT和MRI的影像重疊在手術中患者位置 上、并針對手術器具的計算機圖形追跡顯示，前述手術器具操作而造成的器具的生物內的 到達狀況，均由顯示在固定二維顯示器上的虛擬影像上進行。從而，用顯示器是無法確認因為處理而在患者(實體)身上發(fā)生的變化，為了確認患者的狀況，必須改變視線，把視線從 顯示器改為患者術野。有鑒于此，不把紅外線和磁力等等的感測標記固定在患者(實體)， 而是自動進行實際患者位置和三維CG影影像位置的關系一致的登錄作業(yè)(注冊)，針對患 者(實體)以及拍攝裝置的相對位置變化進行追跡并追隨重疊的三維CG影像，對應于術中 的患者的身體動作，使追蹤不可見領域的解剖學三維CG影像和手術器具操作的手術器具 重疊的器具的三維CG影像追蹤實體三維的位置變化，不需要讓視線隨著操作狀況和患者 的實體移動，就可以用實時影像導航，也可以不需要改變視線，就可以用同一顯示器來確認 如其它的生理跡象等的患者生物信息。
用于解決課題的手段
本發(fā)明為，在人類實施在直視下進行的醫(yī)科手術或精密手技的時候，利用三維數(shù) 字放大鏡，針對不可見領域提供視覺支持的系統(tǒng)，通過將不可見領域影像合成表示于目前 的實體上，而獲得如下述的擴張現(xiàn)實感的再現(xiàn)。
一般而言，在施行術前述醫(yī)科手術和其它的精密技術的時候，為了獲得放大術野， 使用雙眼放大的放大鏡來進行操作。相同于像這樣的頭部裝載的雙眼放大放大鏡等的光學 放大鏡的擴大術野，在施術者兩眼前裝設一對顯示器，利用從相當于該顯示器前面的安裝 工作者左右瞳孔中部的位置朝向肉眼視野方向安裝的一對立體配置攝像裝置的三維數(shù)字 放大鏡，也能夠確保在同一空間內的立體的視野。因為再現(xiàn)了相同于施術者用肉眼或光學 放大鏡視覺認識對象的時候的狀況，所以施術者的視野方向的變化，對象的三維的位置變 化可以用相同于用肉眼實施日常工作的時候的方式立體地識別，所以能夠用非常自然的感 覺來改變頭部的位置(亦即變更視野方向)以針對視野范圍的對象的實施操作。
第一發(fā)明為利用這三維數(shù)字放大鏡立體配置攝像裝置，根據(jù)立體法拍攝存在于視 野方向的實體，利用進行構成拍攝影像的像素的三維位置測量、以三角測量固定的2臺照 相機之間的距離來進行立體測量的立體影像法(兩眼立體視覺)的非接觸立體測量所獲得 的拍攝范圍內的許多的實體的三維形狀的表面多邊形模型2。立體測量的方法不僅只有兩 眼立體視覺法、還有其它的方法，如立體影像立體測量的用發(fā)光二極管等的點發(fā)光以進行 飛行時間測量的點發(fā)光法的立體法，或者，用穿過做出對應點的縫隙的直線狀光進行掃描， 以取得對象的斷面，并取得實體的形狀的縫隙光投影法，也可以是把能夠判斷拍攝裝置影 像內的坐標的圖案投影在實體上，以求出進深的圖案光投影法，不過，基本上進行構成左右 拍攝影像的特定部位的像素的三維位置測量、通過根據(jù)三角測量固定的2臺照相機之間的 距離來進行測量立體的立體影像法的個人計算機演算處理，以取得實體的三維形狀的表面 多邊形模型2。
使用這些方法時的光源優(yōu)選為例如紅外線等不可見光線，其不會對拍攝的施術對 象物體或生物(實體)影像的屏幕的視覺產生影響。
另外，這些發(fā)光光源，因為和拍攝裝置一起裝設在三維數(shù)字放大鏡，所以，在追蹤 測量實體的三維空間上的相對位置的實體影像時，總是以立體拍攝裝置接收從相對于拍攝 裝置拍攝同一方向投射的光源光，通過統(tǒng)合投光部和受光部分的位置補正要素，而能夠提 升測量精度和測量速度。
另外事先做出表示從施行術對象物體或生物的斷層攝影二維切片數(shù)據(jù)構筑的表 層到內部構造的各構造的表面多邊形模型1。通過形狀圖案識別，以從表面多邊形模型2檢測出該表面多邊形模型1和三維相似形狀的前述表面多邊形模型，將內部構造構成要素組 織映像到檢出的施術對象物體或生物的表面多邊形模型1的虛擬三維體積模型計算機圖 形重疊并予以追蹤。因為該表面多邊形模型2是形成于拍攝方向的拍攝范圍中，所以，用于 判別查出的施術對象的物體或生物的表面多邊形模型1，依照在施術時的視野方向(亦即 接近的方向)，從對象物的三維坐標軸中心構成里面部的表面削除，起始時拍攝裝置視野范 圍的同一范圍，或者包含標記特征形狀部位的最小范圍加工，同時盡可能減少構成多邊形 數(shù)，藉此提高查出、判別、跟蹤處理的各自精度和速度。在施術者三維數(shù)字放大鏡視野內，映 像到和不表示的表面多邊形模型1連動進行追蹤的內部構造構成要素組織的虛擬三維體 積模型計算機圖形合成表示在視野內存在的前方術野影像上。構成這時候的表面多邊形模 型1以及表面多邊形模型2的多邊形形狀有連貫性，無須贅言。
像這樣地，將三維體積模型計算機圖形重疊覆蓋真實情況影像的一部分或全體， 而能夠顯示于三維數(shù)字放大鏡的實體的內部構造不可見領域于實體拍攝空間上和視覺上 同樣的三維位置上識別為虛擬三維體積模型計算機圖形的內部構造。相同于用手拿取眼前 存在的實體的動作，能夠直接或間接地像用手拿取(觸覺地)一樣對于被識別為在視覺上 和眼前實體同一三維空間上的三維體積模型計算機圖形施術。
此外，在施術中，該虛擬三維音量模范計算機圖形，追蹤在拍攝空間的拍攝裝置和 實體的相對的三維位置變化，并隨之改變實時顯示的布局，因此構成產生高度實時間相互 作用的三維數(shù)字放大鏡擴張現(xiàn)實手術支持系統(tǒng)。像這樣地，重疊于實體的虛擬三維體積模 型計算機圖形顯示由斷層攝影二維切片構筑的解剖學構成要素，亦即，因為是體積模型，所 以表示全要素的時候，可以僅識別外層構成要素。
第二發(fā)明為三維數(shù)字放大鏡擴張現(xiàn)實手術支持系統(tǒng)，其并不利用如前述的三面次 元數(shù)字放大鏡的拍攝裝置的立體測量構成的實體的三維形狀的表面多邊形模型2，而把三 維數(shù)字放大鏡左右拍攝裝置和影像表示裝置并列作為單獨構成使用。預先根據(jù)斷層攝影法 取得的施術對象物體或生物的二維切片數(shù)據(jù)構筑的各構造構成要素的構成表面多邊形模 型1的輪廓或特征的點或線分別映像追蹤到左右拍攝裝置拍攝的影像數(shù)據(jù)，藉此，將內部 構造構成要素組織映像到前述多邊形模型1的各內部構成要素中的任意的三維影像分別 表示的對象實體影像，并使其連動，藉此，重疊表示于三維數(shù)字放大鏡的左右影像表示裝置 表示的實體影像上的內部構造三維計算機影像通過兩眼視差角而可以在拍攝空間實體影 像上立體識別為具有如同融入般的臨場感的透視影像。
第三發(fā)明為，為了隨時視覺地認識這些內部要素，按照應用目的，將重疊配置于拍 攝空間中的實體的虛擬三維計算機圖表影像依照構造上或者解剖學構成要素分類，并且儲 存為單獨的層次，將前述各層次按照術中的手術器具到達深度和其它的情況狀況單獨或者 是選擇的組合合成表示。以利用該系統(tǒng)執(zhí)行下顎骨牙科移植手術為例，在實空間的三維數(shù) 字放大鏡視野內的下顎口腔內拍攝影，追蹤顯示下顎解剖學構成要素的下顎骨皮質骨的虛 擬三維計算機圖形影像，所以，在由牙肉上切開之前能夠三維地視覺認識齒槽骨的形狀。從 而，能夠不切開牙肉，而是選擇骨量充分的部位從正確的位置選定接近方向，因此不會因為 切開而引起內出血，而能夠有效防止手術后的浮腫。然后，由前述處理在皮質骨上被形成接 近切口之后，使得下顎骨骨體皮質骨的三維計算機圖形層次不被表示，并將下齒槽神經的 三維計算機圖形層次配置于實體的相對固定位置并予以顯示，藉此，以形成于實體的接近切口作為引導口，在對實體進行鉆孔操作的時候，基于三維視覺認識排除神經損傷的危險 性之后，在可及的深度形成植牙植入窩以支持咬合力，而能夠安全確實地實施過去根據(jù)感 覺和經驗的高度的手術技術。這些層次的選擇表示，不僅是解剖學要素，用以在由DICOM資 料作成的下顎解剖學構成要素的三維計算機圖形上形成正確的植入窩的鉆孔執(zhí)行引導的 仿真制作的外科的計算機圖表層次相對固定放置。此時，在不表示實體影像時，能夠視覺的 識別在三維數(shù)字放大鏡顯示器上和肉眼視野或光學放大鏡視野相同地立體顯示于施術者 前方實體空間的和患者實體三維同一位置上表示的虛擬三維計算機圖形，通過該外層構造 的透明化和著色等等的計算機圖形影像處理，而使得將無法以實體影像識別的內部構造明 視化的虛擬計算機圖形影像的視覺和施術者伸手觸摸實體的觸覺，以相同于人類根據(jù)眼前 的實體視覺一邊認識一邊觸摸直接手的觸覺進行工作的情況的感覺來進行識別以及進行 操作。
再者，相較于觀察實體影像施術的狀況，因為能夠掌握更高密度的內部構造訊息， 所以能夠安全且正確地對不可見區(qū)域進行手術。
過去，在使用固定式位置傳感器和桌上型監(jiān)視器進行手術的情況下，施術者的視 線并不朝向患者(實體)，而是朝向顯示器方向勉強進行不自然的工作，當其打算變更視野 方向的時候，必須使患者(實體)移動，或者把傳感器位置移動，依據(jù)本發(fā)明，施術者可以使 用直接的感覺對于在肉眼視野方向視覺識別的患者(實體)施行手術，即使對于施術者的 視線變更和患者的本身的變化，也能夠和沒有安裝裝置的狀態(tài)一樣，因為維持了在實體空 間上的視覺的三維相對位置關系，所以能夠用非常自然的感覺進行手術。
另外，做為依據(jù)解剖學構成要素而分類的三維計算機圖形的視覺認知性的方法， 第四發(fā)明為，將第一、第二以及第三發(fā)明的三維數(shù)字放大鏡的顯示器表示的拍攝影像和三 維計算機圖形影像的任一者或兩者的影像的色相、彩度、明度、遮光、照明方向至少一個要 素通過映射、虛線消去框表示，以通過這些的亮滅表示等等的影像處理的變更來提升對拍 攝影像之合成影像的視覺識別認知性。藉此，用三維數(shù)字眼鏡視覺地認識三維的真實情況 空間里，三維計算機圖表影像顯示被寫體的內部構造的狀況，也能夠以更鮮明地浮出來實 現(xiàn)。此外，如同第三發(fā)明一般，可以通過影像處理來提高由解剖學構成要素構成的各層次的 視覺識別認知性。不僅是對拍攝影像的視覺識別認知性的提升，更因為能夠三維地一舉視 覺認識解剖學術上的構成要素，所以，若以病灶摘出手術的情況為例，能夠同時三維視覺識 別大血管和神經，同時安全地接近病灶，而且，因為可以通過三維認識而用最短距離直線接 近，能夠把外科侵入限制在最小限度。
擴張現(xiàn)實感的三要素為，實時間相互作用、自己投射性，以及三維的空間性，不過， 如前述一樣地在頭部安裝固定三維數(shù)字放大鏡實施手技的時候，虛擬三維體積模型計算機 圖形追隨施術者和實體的相對的三維位置變化而實時執(zhí)行追蹤，所以在實體和虛擬影像間 產生沒有時間延遲的高實時間相互作用。此外，設置于和左右的視差角同一角的立體配置 拍攝裝置及將影像數(shù)據(jù)以平行法或交叉法扁式于左右眼前方設置的影像顯示裝置上表示 的三維數(shù)字放大鏡，通過可以三維認識操作空間而確保三維空間性，在三維識別的操作空 間上的施術對象物體或生物影影像上表面即追蹤的虛擬三維計算機圖形也由三維體積模 型構成，所以，施術者能夠把全部的三維數(shù)字放大鏡視野都立體地認識。施術者不會意識到 穿戴了三維數(shù)字放大鏡，而能夠以如同用肉眼進行手技的時候一樣，伸手觸摸眼前的施術對象物體或生物，能夠把伸入虛擬三維體積模型計算機圖形所在的術野空間的自己的手自 我投射為三維數(shù)字放大鏡視野內的實體影像。
在三維數(shù)字放大鏡用左右影像顯示裝置實現(xiàn)立體視覺，可以用右眼看右邊的影 像，用左眼看左邊的影像的平行法，以及用左眼看右邊的影像，用右眼看左邊的影像，亦即 視線看起來是在影像前交叉的交叉法。相較于平行法，交叉法有可以使影像的尺寸較大的 優(yōu)點，大家都知道，對于生物學上被認為是不擅長立體視覺的女性而言，相較于平行法，交 叉法是比較容易學習的。在本發(fā)明中，當然可以按照使用狀況改變左右影像的表示方法以 及各虛擬計算機圖形的左右顯示器表示方法，像第五發(fā)明的三維數(shù)字放大鏡擴張現(xiàn)實手術 支持系統(tǒng)一樣地利用三維數(shù)字放大鏡立體配置拍攝裝置，對左右拍攝數(shù)據(jù)施行兩點測量法 以獲得拍攝范圍內的多個實體的三維形狀的表面多邊形模型2中，通過形狀圖案識別，以 從表面多邊形模型2檢測出該表面多邊形模型1和三維相似形狀的前述表面多邊形模型， 在以平行法表示的三維數(shù)字放大鏡的使用眼側的顯示器上重疊顯示映射并追蹤內部構造 構成要素組織。
在該系統(tǒng)中，僅有在根據(jù)左右視差角的實體影像的立體視覺的三維數(shù)字放大鏡單 側顯示器上重疊顯示虛擬三維體積模型計算機圖形，藉此，可以將在三維數(shù)字放大鏡立體 視覺的術野實體上的不可見領域的內部構造，用虛擬三維體積模型計算機圖形的內部構造 構成要素影像立體識別。此時在視野全體所占的施術對象物體或生物的虛擬三維體積模型 計算機圖形的比例較大的情況下，作為背景影像的術野影像單側慣用眼側的拍攝裝置影像 顯示于兩眼的監(jiān)視器上，或者三維數(shù)字放大鏡的左右顯示器上僅顯示生物體的虛擬三維體 積模型計算機圖形亦可。尤其在高放大率的場合，以拍攝裝置的真實情況倍率將生物體的 表面多邊形模型1三維相似形狀的表面多邊形模型進行形狀圖案判別，將整個三維數(shù)字放 大鏡影像三維地映像到生物體的表面多邊形模型1上，而可以用虛擬三維體積模型計算機 圖形來表現(xiàn)。顯示影像的品質隨著虛擬三維體積模型計算機圖形而變，所以，無須考慮在高 放大的情況下因為硬件性能而造成影像品量的下降，只要在虛擬三維體積模型計算機圖形 上再現(xiàn)被實施的處理內容要求的解剖學上的要素，所以能夠提供簡單但是高品質的視覺訊 息給施術者。此時如果利用三維視覺顯示的高品質的虛擬三維體積模型計算機圖形，則可 通過再三維數(shù)字放大鏡左右影像顯示部顯示單一影像，而使得能夠用三維虛擬影像來識別 施術者前方的真實情況。同樣地，將單眼拍攝裝置的三維數(shù)字放大鏡的慣用眼側的拍攝裝 置的術野影像數(shù)據(jù)顯示于同側的影像顯示裝置，在另一眼側的顯示器顯示有進深的三維計 算機圖形，藉此，能夠將實體影像放大識別如三維影像。在這種情況下，除去拍攝裝置的位 置在像口腔內一樣因為頰口唇的障礙而使得視野比較受到限制的部位之外的情況中，人會 習慣地以慣用眼為主放在直線位置來捕捉對象，所以拍攝裝置優(yōu)選設置在慣用眼側顯示器、廣.> .目丨J萬。
除了通過第一發(fā)明的表面多邊形模型的形狀圖案認識的判別檢出之外，第六發(fā)明 依據(jù)三維數(shù)字放大鏡光學式或數(shù)字式的放大率，用立體照相機以兩點測量設定在三維數(shù)字 放大鏡的立體配置照相機的影像數(shù)據(jù)中的對象實體的任何位置的4個標記，從照相機和實 體的距離來測定實體三維形狀的表面多邊形模型的三維位置，再依據(jù)該實測值修正變更立 體測量表面數(shù)據(jù)識別圖案的縮尺及三維的位置。如此，通過修癥患者解剖學CG以及對象物 (手術器具CG)的顯示位置，方向，大小，以使其適合檢出原數(shù)據(jù)的施術對象物體或生物的11表面多邊形模型的縮尺，藉此能夠提升對象物體或生物影像的判別查出以及映像精度，并 且可以減少實時追蹤的時間延遲。
另外，在實施第二發(fā)明的時候，也可以通過利用第六發(fā)明的標記來得到穩(wěn)定的映 像原點。
使用該第一以及第二發(fā)明的時候，像第七發(fā)明一樣地，在監(jiān)視器顯示三維數(shù)字放 大鏡監(jiān)視器顯示范圍外的對象物或患者解剖學特定部位的三維計算機圖形體積模型所在 的視野方向，藉此可以輕易地識別不可見區(qū)域的目標對象物。該視覺的標記采用箭頭或畫 面邊緣的閃爍表示等等的手法。另外，尤其是在用數(shù)字處理的高放大使用的時候，在三維數(shù) 字放大鏡顯示裝置畫面上，按照放大率把對象物或生物體的一部分表示在顯示器上。在此 種情況下，三維數(shù)字放大鏡顯示器表示范圍外面的對象物或患者解剖學特定部位的三維計 算機圖形體積模型存在的方向以該影像表示裝置的邊緣閃爍，或用箭頭表示方向指示，或 者在分畫表示影像中，在表示縮小全體的全體影像中以框圍出表示部分的影像部分，藉此， 能夠支持在施術中識別視野部位和目標部位的位置關系的追蹤動作中的對象物或生物體 的三維計算機圖形體積模型三維計算機圖形體積模型影像的施術目標部位檢出。
第八發(fā)明為三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，將放大鏡視野內各自動作的 任意的CG體積模型固定在特定施術對象CG體積模型的三維相對位置，為了在發(fā)揮功能時 施術位置，方向，角度的視覺的位置評估，利用權利要求1以及權利要求2記載的系統(tǒng)，使得 通過登錄布局并隨之移動的關節(jié)或組織而連結到三維數(shù)位放大鏡監(jiān)視器上的病患實體的 各患者解剖學CG體積模型運動的情況下，將個別對患者實體登錄布局連動的任意CG體積 模型固定在運動軌道上的任意位置對于特定的CG體積模型的相對位置上，和該病患實體 連動的特定CG體積模型一體化并連動。一般而言，在空間有限的口腔手術中，尤其是植入 牙科植牙的時候，若不是在開口狀態(tài)，很難在工具的反對角插入鉆子形成埋入窩。這時候， 通過將咬合狀態(tài)的下顎的CG體積模型于施術對象的上顎CG體積模型固定連動，即使是在 手術時為了確保插入器具的空間而處于開口的狀態(tài)，也能夠通過虛擬下顎CG體積模型來 視覺地確認對合齒的咬合狀態(tài)，所以，能夠三維識別對合關系并提供恰當?shù)氖中g導引。在利 用該系統(tǒng)施行手術的情況下，以手術器具將患者實體切開、切削、切除等以產生形態(tài)變化的 情況下，沒有被反映在三維計算機圖形體積模型上。這個虛擬三維計算機圖形體積模型可 以作為和術前狀態(tài)比較研討的數(shù)據(jù)之用，不過，通過在虛擬三維計算機圖形體積模型上顯 示術中或術后不久的狀況，能夠把整個施術對象置換為虛擬三維計算機圖形體積模型。為 了實現(xiàn)像這樣的視覺表現(xiàn)，在第九發(fā)明中，和預先將映射追蹤連動施術對象物體或生物體 的內部構造構成要素組織的虛擬三維計算機圖形體積模型一樣，將該手術器具登錄布局并 使手術器具計算機圖形體積模型連動。在計算機上使用布爾演算處理這二個三維體積模 型，從對該患者實體登錄布局的患者解剖學計算機圖形體積模型對手術器具計算機圖形體 積模型執(zhí)行切取演算，藉此，用手術器具操作對實體進行切削等的物理切入的情況下實體 的變化一樣的視覺變化顯示在三維數(shù)字放大鏡顯示裝置上所表示的患者解剖學計算機圖 形體積模型上。而且，和在骨頭上鉆孔以形成植牙埋入窩的時候一樣，在該患者解剖學計算 機圖形體積模型影像數(shù)據(jù)表現(xiàn)出實體不可見領域，因此，可以用患者解剖學計算機圖形體 積模型影像患者解剖學計算機圖形體積模型影像來識別肉眼無法識別的施術對象內部的 手術器具到達深度或到達角度等，并可以在患者解剖學計算機圖形體積模型影像上表現(xiàn)和實體被施加的變化相同的視覺形狀變化。
各解剖學構成要素的三維計算機圖形體積模型，為了使外側的解剖學構成要素透 明化同時表現(xiàn)復數(shù)的構成，而采取著色等等的手段而使內使部構造明視化，不過，識別多層 的復雜的計算機圖形構成有引起混亂的危險性。為了回避像這樣的問題，第十發(fā)明，在利用 第一以及第二發(fā)明記載的系統(tǒng)施行手術的場合，三維數(shù)字放大鏡和患者的距離對于三維數(shù) 字放大鏡三維數(shù)字放大鏡監(jiān)視器上的對患者實體登錄布局并連動的患者解剖學CG體積模 型固定于三維數(shù)字放大鏡或區(qū)域指示具上的任意的表面模型區(qū)域(線框，半透明著色顯示 或者透明)重疊，以布爾算法將該重疊部分消除，以預設的斷面顯示范圍為一個單位來顯 示患者解剖學CG畫素體積模型斷面，或者，依據(jù)任意設定的三維數(shù)字放大鏡和患者實體的 距離將切取范圍變化的該患者解剖學CG畫素體積模型斷面實時顯示，藉此，三維計算機圖 形體積模型的各解剖學構成要素不會變成透明，可以把復雜的構成內部構造明視化，但是， 及于多層的復雜的計算機圖形的構成可以對應于穿戴者或指示具和對象實體的距離的位 置上視別為解剖學的計算機圖形畫素體積模型斷面。
第十一發(fā)明為一種三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，使用安裝第九發(fā)明的 三維數(shù)字放大鏡的施術者的手術器具對實體施行手術的同一狀況顯示于手術器具CG體積 模型并將由手術器具而使實體產生的形態(tài)變化的相同狀態(tài)，包括不可見區(qū)域表示的虛擬三 維計算機圖形體積模型，或者第十發(fā)明記載的三維數(shù)字放大鏡或固定于區(qū)域指示具的任意 的表面模型區(qū)域的形狀上被削去的斷面的患者解剖學計算機圖形畫素體積模型，在維持顯 示于該施術者三維數(shù)字放大鏡的三維體積模型計算機圖形的相對位置的狀態(tài)下，將數(shù)據(jù)轉 送到個人計算機，將維持顯示于該個人計算機監(jiān)視器或三維數(shù)字放大鏡個相對位置關系的 虛擬三維體積模型計算機圖形表示為傾斜、全景、縮放，在回轉的6個軸方向自由回轉移 動，藉此，由相異于施術者視線的方向觀察實體空間的情況。因為藉此能夠由相異于施術者 視線的方向觀察實體空間的情況，所以本來不全面改變患者體位就不可能進行不可觀察的 地板方向的視野也可以進行觀察。亦即，施術者無須要移動視線和體位，而可以將對象識別 為從內側就具有和實體同樣形狀的虛擬三維計算機圖形體積模型，若施術助手也裝了同樣 的頭戴式顯示器，那么就可以和施術者共享視野，同時將虛擬三維計算機圖形體積模型三 維地旋轉自在而能夠取得全方向的視野。虛擬三維計算機圖形體積模型和表面模型區(qū)域的 形狀中被削去的斷面以及手術器具CG體積模型所追蹤的相對位置關系是施術者安裝的三 維數(shù)字放大鏡系統(tǒng)的追蹤即顯示影像數(shù)據(jù)在助手的頭戴式顯示器所裝設的個人計算機影 像處理使其三維回轉同步顯示，因此，能夠實時顯視在第三人的監(jiān)視器上或頭戴式顯示器。 該多方向虛擬三維計算機圖形體積模型的顯示，在前述的轉寄地點個人計算機顯示器上， 頭戴式顯示器或者施術者三維數(shù)字放大鏡一邊的影像顯示裝置，或者也可在同影像顯示裝 置設立分畫來進行表示。
此外，在第十二發(fā)明中，通過前述的施術助手的頭戴式顯示器所安裝的個人計算 機影像處理而同步顯示的施術者的視野，或者將虛擬三維計算機圖形體積模型進行三維回 轉而獲得的虛擬三維計算機圖形體積模型的追蹤或顯示影像數(shù)據(jù)一邊在顯示器上確認，一 邊使其在同一個人計算機接口上的6軸方向上將可控制的任意表面模型區(qū)域(線框表示， 半透明著色表示或者透明)重疊，用布爾算法消除該重疊部分，顯示該虛擬三維體積模型 計算機圖形的斷面。將由該助手控制的任意的虛擬三維計算機圖形體積模型的斷面表示同時反映在施術者三維數(shù)字放大鏡影像顯示裝置上的虛擬三維體積模型，藉此，第三人能夠 表示視覺指導影像表示施術者視野立體影像中應該注意的解剖學要素的內部構造斷面，因 此能夠實現(xiàn)具有臨場感的視覺指示。
在如前述的維持各解剖學術上的構成要素的虛擬三維計算機影像中，尤其是在像 牙齒一樣的齒冠部和牙根部連續(xù)的一個剛體且其中一部分(牙根)在顎骨中有埋設的組織 的情況下，若利用第一第二的發(fā)明，則可以在不見血的狀況下三維地識別顎骨內的牙根狀 態(tài)，因此，可以用于為了避免因為牙根的干擾造成的牙根吸收，牙齒移動速度的延遲等的有 效的鋼絲彎折。此外，像第十三發(fā)明一樣，將事先由斷層攝影法獲得的施術對象物體或生物 的二維切片數(shù)據(jù)構筑的表面多邊形模式1儲存為將顎骨顎面部、以及各個牙齒(齒冠、牙 根)作為各自單獨組件數(shù)據(jù)，每個該組件數(shù)據(jù)都通過形狀圖案識別以立體法立體測量從三 維數(shù)字放大鏡拍攝的牙齒(齒冠)及口腔、顎面部的表面多邊形模型2中個別判斷檢出和 個別組件的表面多邊形模型1形狀相似的表面多邊形模型并將之重疊在個別組件的表面 多邊形模型2上，然后，對該多邊形模型1組織映像，并追蹤各自牙齒(齒冠、牙根)顎骨的 虛擬三維計算機影像。將各個的牙齒的經時的變化儲存為三維數(shù)字放大鏡影像表示裝置的 虛擬三維體積模型計算機影像，通過顯示從前診療時的牙齒的虛擬三維體積模型計算機影 像的記錄儲存數(shù)據(jù)，就能夠實時三維地識別牙齒的經時的移動狀態(tài)，而能夠提供用于評價 治療效率和治療計劃的再構筑的有效方法。這些虛擬三維體積模型計算機影像的記錄，可 以作為對及于所有的形態(tài)變化的治療行為進行手術后評估的有用的手段。除了參照此手術 前記錄來進行治療評估之外，像第十四發(fā)明一樣地，將從施術對象物體或生物的二維切片 數(shù)據(jù)構筑的虛擬三維體積模型計算機影像計算機重建(再構筑)為治療目標(V.T.O.)的 形態(tài)，通過映像顯示在實體影像上，就可以視覺確認治療目標。此應用事例為進行下顎前突 的整形外科治療的時候，事先用計算機手術制作骨整形之后的下顎骨格的虛擬三維體積模 型計算機影像像素模型，若在作為手術對象的下顎骨上映射表示的話，用V. T. 0視覺地確 認因為左右顎關節(jié)離斷之后定位容易變不穩(wěn)定的咬合，而可以容易地再現(xiàn)，在矯正治療中， 將再構成第十發(fā)明所記載的各個牙齒的三維體積模型計算機圖形的治療目標理想拱形齒 列影像，若將追隨顎面部和拍攝裝置的三維相對位置變化并顯示在三維數(shù)字放大鏡顯示器 所顯示的口腔內，則能夠確實且有效地建構治療目標(V. T. 0.)。
第十五發(fā)明為，將尺寸量規(guī)的組織映像到從施術對象物體或生物的二維切片數(shù)據(jù) 構筑的虛擬三維體積模型計算機影像畫素模形。在解剖學構成要素表面上將尺寸量規(guī)直接 表示為等高線狀，因此，有助于三維形狀的視覺認識，如果顯示用第十發(fā)明以及第十二發(fā)明 所形成的斷面表示部尺寸量規(guī)，則可以支持正確地施行手術。另外，用方眼立方組織表示透 明化的虛擬三維體積模型計算機影像的畫素，藉此，能夠實現(xiàn)三維更高尺寸精度的施行手 術。像這樣的尺寸量規(guī)不僅是施于生物體或施術對象，在如牙科植牙手術的時候，通過將同 心圓或球形、角形的尺寸量規(guī)映像在施術器具的切削鉆上，使得能夠掌握在施術中與鄰接 牙齒及解剖學標記的距離。另外，在施術對象的物體或生物和器具上，重疊顯示預先設計的 器具對于內部構造不可見領域的三維接近方向的無限遠直線或圖形的三維計算機圖形外 科導引，藉以使得能夠容易地確認器具對物體或生物的的接近方向以進行切削骨等手術。
第十六發(fā)明為三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，在將多個可以個別動作的 患者解剖學CG體積模型對第一以及第二的發(fā)明所記載三維數(shù)字放大鏡顯示器上的患者實體登錄布局連動的不可見區(qū)域的狀況在顯示器上確認患者解剖學CG體積模型的變化，同 時進行模擬的情況下，在顯示器上表示對任意的固定基準點的運動軌跡，并且具有記錄儲 存再生功能。利用該系統(tǒng)，使得對下顎骨登錄布局連動的下顎骨CG體積模型的左右間接頭 以虛擬蝶幡軸的直線連結開閉運動，藉此可以在顯示器上視覺地正確地確認過去視依賴電 氣肌肉收縮運動或經驗值來求出的下顎頭旋轉中心。通過在監(jiān)視器上確認從該中心位開始 的下顎運動并在監(jiān)視器上以圖形表示正確的運動軌跡，使得能夠將下顎運動儲存再現(xiàn)為三 維數(shù)據(jù)。這再現(xiàn)記錄在個人計算機上構成虛擬咬合器，若利用這虛擬咬合器進行補綴物的 設計，則可以實現(xiàn)較以前的咬合器更精巧的咬合功能恢復。
在第一以及第二發(fā)明中，在實體的影像上重疊顯示虛擬三維體積模型計算機影 像，藉此來視覺地認識實體的內部構造，不過第十七發(fā)明為，在第一以及第二發(fā)明的三面次 元數(shù)字放大鏡的影像表示裝置上使得前方視野拍攝影像不表示，僅顯示跟蹤拍攝的施術對 象物體或者生物(實體)影像的虛擬三維體積模型計算機影像。因為保證第一以及第二發(fā) 明施術者安裝的實體和三維數(shù)字放大鏡的三維相對位置再現(xiàn)于虛擬三維體積模型計算機 影像，所以施術者能夠利用和實體一樣在三維數(shù)字放大鏡的影像顯示裝置上對虛擬三維體 積模型計算機影像的視覺認識，以及對施術對象物體或生物實體)直接或通過手術器具的 間接觸覺，一邊觀察直接實體的拍攝影像一邊施行手術，而能夠對等同于實體的被拍攝物 進行手術。這是因為人類系以自己的手所能及于的范圍的操作為主體，此系為人類以肉眼 (使用眼鏡和光學放大鏡的場合也同樣)的視覺工作的時候相同的頭部姿勢和視野方向， 能提供和過去的面對桌上型顯示器對于和視線方向不同的部位的不自然的操作方式完全 不同的自然的感覺，使用者能夠在短時間內實現(xiàn)臨床應用。尤其是在高放大的手術中，將虛 擬三維體積模型計算機影像的解剖學構成解體并表現(xiàn)，藉此使得容易視覺認識。像這樣僅 用追蹤施術者視野生物(實體)的虛擬三維體積模型計算機影像的情況，拍攝施術對象物 體或者生物(實體)影像不會對施術者的視覺造成影響，所以，可以使用被動立體法，用發(fā) 光二極管點燃發(fā)光的點發(fā)光法；或者主動立體法，用通過做出對應點的縫隙的直線光，使光 掃描以得到對象的斷面，并取得實體的形狀的縫隙光投影法，或者，將能夠判斷拍攝裝置影 像內的坐標的圖案模式投影在實體上，以求出進深的圖案光投影法，藉此能夠縮短測量時 間和提升處理速度。
第十八發(fā)明為，除了左右拍攝裝置的實體空間拍攝影像的記錄之外，不管追蹤前 述實體空間拍攝影像的三維計算機影像顯示或不顯示在各顯示器上都按照各層次分別儲 存動畫記錄。關于實體空間拍攝影像的記錄若是利用三維顯示器的話，不僅是HMD，還能夠 提供三維記錄影像。再者，三維計算機影像，若是錄像再生，就被顯示為和前述實體影像連 動的三維動畫，維持加在該三維計算機影像的經時的形狀數(shù)據(jù)，維持前述經時形狀變化的 三維計算機圖形記錄數(shù)據(jù)在監(jiān)視器上自由地操作為傾斜，全景，縮放，在回轉的6個軸方向 自由回轉移動，藉此，能夠將該各層次影像以各自或選擇性地組合輸出病在顯示器上自由 操作，所以能夠從施術者無法觀察的視點來評估手術的進展狀況。藉此，能夠將表現(xiàn)由第 十一發(fā)明的手術器具CG體積模型以及手術器具造成的實體的形態(tài)變化相同的變化的虛擬 三維體積模型計算機影像記錄數(shù)據(jù)自由變更視點并加以檢討。即使數(shù)據(jù)的記錄儲存為片斷 的計時記錄數(shù)據(jù)的累積也能夠表現(xiàn)同樣的效果，所以可用于對于長期治療的矯正治療等等 的評估，將骨成長的要素反映在記錄數(shù)據(jù)加以評估的情況下，因為可用于骨格的成長中心的確認診斷，所以可用于基于成長預測的治療計劃的起草。
本發(fā)明為，通過根據(jù)前述的實體三維影像目地而實時加工的計算機圖形影像來實 現(xiàn)手術支持，不過，為了提升計算機圖形影像的表現(xiàn)能力，遮光是重要的要件。然而，第十九 發(fā)明為，用二維數(shù)字放大鏡拍攝裝置的實體影像覆蓋前述全部的三維計算機圖形影像場 景，以該平面影像作為光源照射重疊于施術對象物體或生物(實體)的虛擬三維計算機影 像，藉此使得作為背景使用的實體空間上的視野影像和包含虛擬現(xiàn)實的合成三維計算機圖 形的內部構造的虛擬三維體積模型計算機影像顯示為(非常近似)的解剖學內部構造的照 片被產生，因而能夠表現(xiàn)更高度的擴張現(xiàn)實感。
第二十發(fā)明為，在左右拍攝裝置的實體空間拍攝影像和三維計算機圖形影像圖框 交替顯示的情況下，可以分別調整其每一秒的表示圖框數(shù)，通過實體影像和三維計算機影 像的識別率有差異，而提高作為識別目標的影像的明視性，另外，在覆蓋表示的時候，左右 拍攝裝置的實體空間拍攝影像或三維計算機影像各個表示比例，以及左右拍攝影像或三維 計算機影像一方面或雙方的三維數(shù)字放大鏡左右顯示器的顯示比例可以自由變更，藉此， 能有效提升兩眼視的距離感、被拍攝界深度、立體感等等的認識效果。顯示于相反側的眼睛 的影像和慣用眼側顯示的影像相比，則其認識程度較低，所以，利用這個作用，在左右顯示 器個別顯示影像的明視狀況產生差異，對應于有個人差的慣用眼及相反側眼時可以方便地 改變識別比例的表現(xiàn)影像的識別率，因此，從肉眼視安裝本裝置時，能夠立刻對三面次元數(shù) 字放大鏡畫面順應舒適地觀察由于三維影像實現(xiàn)的擴張現(xiàn)實空間。
依據(jù)上述手段，可獲得如下述的作用。
發(fā)明的效果
依據(jù)本發(fā)明的權利要求1-19中記載的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)， 以立體法立體測量存在于同一空間內的被拍攝物的表面多邊形模型2中，以形狀圖案識別 個別檢出該三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型2中的和各表面多邊 形模型1三維相似形狀的表面多邊形模型之后，追蹤對前述表面多邊形模型1組織映像的 虛擬三維體積模型計算機圖形，藉此，追隨在實際的三維空間引起的前述被拍攝物和拍攝 裝置的相對位置變化，像和實際的相對位置變化相同變化一樣地，作為拍攝裝置視野內的 被拍攝物的實體和虛擬的三維計算機影像一體化顯示，所以將構成解剖學術上的各構成要 素的三維計算機圖形影像的各層次選擇地或者透視影像加工顯示在拍攝影像上，藉此，以 相同于人類根據(jù)眼前的實體視覺一邊認識一邊觸摸直接手的觸覺進行工作的情況的感覺 來進行識別以及進行操作，利用將無法以實體影像識別的內部構造明視化的虛擬計算機圖 形影像的視覺同時一邊確認內部構造而無須依賴經驗或感覺的不確定預測，就可以正確接 近眼前的實體內部不可見區(qū)域。
另外，根據(jù)第二發(fā)明，通過并列分別構成三維數(shù)字放大鏡左右拍攝裝置和影像表 示裝置，分別追蹤連動將映射內部構造構成要素組織的各內部構成要素中的任意的三維計 算機圖形分別顯示在兩眼視影像表示裝置的對象實體影像，藉此，可以將三維數(shù)字放大鏡 的左右影像表示裝置所表示的實體影像上兩個不同的被拍攝物內部構造三維計算機圖形 重疊顯示，所以，通過兩眼視差角而具有如同化入拍攝空間實體影像上的具有臨場感的透 視影像，能夠提供施術者由高品質的立體識別的擴張現(xiàn)實感。
再者，用手術器具將前述被拍攝物(患者實體)切開，切削，削除等而造成有體積16變化的形態(tài)變化的時候，對該手術器具登錄布局并連動的手術器具CG體積模型，對于患者 解剖的CG畫素體積模型進行布爾運算處理，使得對該患者實體登錄布局并連動的患者解 剖學CG體積模型將和被切開的實體同樣的視覺變化顯示在患者解剖學CG體積模型中的實 體不可見區(qū)域，藉此，關于實空間中被拍攝物的狀態(tài)變化的模擬包含與被拍攝物重疊顯示 的三維計算機圖形狀態(tài)，以及由拍攝空間狀態(tài)的變化引起的對于三維計算機圖形的間接引 想的模擬。
此外，通過加工前述虛擬計算機圖形影像，加入三維的視覺導引標示和動畫，能夠 提高工作效率并實現(xiàn)高精度的工作，這些加工三維計算機圖形影像和前述全部的計算機圖 形影像層次可以單獨錄像、記錄儲存，所以能夠做為經時變化的評價以及預知性予測的有 用根據(jù)。


圖1是三維放大鏡表示的立體影像V-l-R、V-I-L和利用此左右影像數(shù)據(jù)D_1_R、 D-I-L構成表面多邊形模型W-I的狀況的示意圖2是二維切片數(shù)據(jù)合成的顱骨計算機圖形，顏面計算機圖形、顏面表面多邊形 模型的構成狀況的示意圖3是三維數(shù)字放大鏡顯示器上從二維斷層數(shù)據(jù)構筑的計算機圖形合成表示系 統(tǒng)的構成的流程圖4是按照各種設定切下外層計算機圖形所顯示的內層計算機圖形的示意圖5是三維數(shù)字放大鏡顯示器表示的實體影像上形成移植窩的狀況，以及在實體 影像上解剖學的內部構造，器具的計算機圖形，以及隨著器具的到達深度在前述解剖學構 造體的計算機圖形產生的虛擬計算機影像合成表示的狀態(tài)的示意圖6是圖5的解剖學的內部構造，器具的計算機圖形，以及虛擬計算機圖形影像， 還有預先在計算機圖形上設計的外科導引合成顯示于實體影像上的狀態(tài)，切下前述狀況的 外層計算機圖形所表示內層計算機圖形的狀況的示意圖7是三維數(shù)字放大鏡顯示器上表示的正面以及側面的口腔內齒列實體影像所 表示的狀態(tài)，以及在前述口腔內齒列實體影像上作為不可見區(qū)域的牙根，齒槽骨的二維斷 層數(shù)據(jù)構筑的計算機圖形合成表示的狀態(tài)，以及預先在計算機圖形上設計的托架位置和成 顯示于實體影像上的狀態(tài)的示意圖8是在矯正治療目標上將理想拱形合成顯示于齒列實體影像，或者在齒列實體 影像三維視覺同一位置合成表示的齒列計算機圖形上的狀態(tài)的示意圖9是合成表示和實體影像三維視覺同一位置的顱骨，以及下顎骨的計算機圖形 上可以任意將對于下顎骨間接頭相對位置移動的虛擬下顎運動下顎頭旋轉中心蝶幡軸合 成表示的狀態(tài)的示意圖10是以圖9表示的方法獲得的鉸軸作為起始點的下顎運動三軸二維虛擬縮放 圖表示，和表示下顎切牙的極限運路徑的虛擬咬合器的示意圖。
符號說明
1、實體(面部、頭蓋)
2、三維數(shù)位放大鏡
3_a、透視線
3_b、透視線
3-c、透視線
3-d、透視線
3_e、透視線
4、牙齒
4-C、牙齒 CG
5-C、牙根 CG
6、面部軟組織CG
7、下顎骨 CG
8、顱骨 CG
9、牙肉軟組織
9-C、牙肉軟組織CG
10、皮質骨
10-C、皮質骨 CG
11、海綿骨
11-C、海綿骨 CG
12、下顎牙床神經管
12-C、下顎牙床神經管CG
13、馬達
14、切削鉆
14-B、移植窩 CG
14-C、切削鉆 CG
15-C、外科導引 CG
16、理想拱形
16-C、計算機圖形理想拱形
17-C、計算機圖形鉸軸
18-C、計算機圖形鉸鏈弧
19-R、虛擬右邊縮放圖標記X軸方面
19-L、虛擬左邊縮放圖標記X軸方面
20-R、虛擬右邊縮放圖標記Y軸方面
20-L、虛擬左邊縮放圖標記Y軸方面
21-R、虛擬右邊縮放圖標記Z軸方面
21-L、虛擬左邊縮放圖標記Z軸方面
22、切牙部下顎極限運路徑
23、下顎頭中心運動軌跡
24、虛擬托架位置CG
25、虛擬咬合平面CG
26、嘴唇
27、明視標記
C、頭部解剖學要元素的面孔數(shù)據(jù)計算機圖形
C-I、顱骨計算機圖形
C-2、面部表面多邊形模型
C-3、面部計算機圖形
D-I、三維數(shù)字放大鏡拍攝影像數(shù)據(jù)
D-1-R、三維數(shù)字放大鏡右邊拍攝影像數(shù)據(jù)
D-1-L、三維數(shù)字放大鏡左邊拍攝影像數(shù)據(jù)
D-2、立體測量(CT)多邊形表面模型
V-I、三維拍攝影像
V-1-R、三維數(shù)字放大鏡右邊影像
V-1-L、三維數(shù)字放大鏡左邊影像
V-2、實體、骨格CG重疊影像
V-3 V-6、軟組織CG、骨格CG重疊影像
V-7 V-9、下顎牙床實體影像
V-IO V-12牙肉軟組織CG皮質骨CG、海綿骨CG、下顎牙床神經管CG以及切削 鉆、移植窩CG、切削鉆CG重疊顯示影像
V-13 V-15牙肉軟組織CG皮質骨CG海綿骨CG下顎牙床神經管CG以及切削鉆、 移植窩CG、切削鉆CG、外科導引CG重疊顯示影像
V-16 V-18牙肉軟組織CG皮質骨CG海綿骨CG下顎牙床神經管CG切削鉆、移植 窩CG、切削鉆CG、外科導引CG重疊顯示影像以及透視斷面
V-19、計算機圖形理想拱門、下顎骨格CG重疊影像
W-I、面部表面多邊形模型(從三維數(shù)字放大鏡拍攝影像數(shù)據(jù)合成)具體實施方式
以下參照

本發(fā)明的實施形態(tài)。
圖1 圖10是表示實施發(fā)明的要素以及一個實施方式，圖中的框是表示數(shù)字放大 鏡的顯示器、顯示器的認識影像或PC顯示器，數(shù)字放大鏡的顯示器上有由左右顯示器的構 成來表現(xiàn)立體認識物。另外，標示以同一符號的部分表示同一東西。
本發(fā)明的基本構成要素的三維數(shù)字放大鏡的原理為，人類用腦認識使用肉眼在視 網膜上投射的像的時候，利用左右兩眼的視差角來把握距離的生物系統(tǒng)，將識別為立體的 狀況通過視覺再現(xiàn)在設置于左右眼前方的影像表示裝置。也就是，設置于三維數(shù)字放大鏡 左右瞳孔前方的立體拍攝裝置為安裝者的兩眼，換言之，是發(fā)揮位于視覺認識的最前部的 水晶體的功能的裝置，通過將該左右各自影像數(shù)據(jù)顯示在左右各自的影像顯示裝置，能夠 實現(xiàn)和安裝者用肉眼認識物體的時候相同的立體視覺。利用這樣原理的三維數(shù)字放大鏡， 如圖1所示的拍攝方向相異的影像投射在左右表示裝置V-1R，V-1-L，這樣，施術者能夠將 拍攝對象識別為立體影像。使用將發(fā)揮兩眼功能的兩眼立體視覺所使用的左右二維影像訊 息D-l-L，D-I-R以立體配置的左右拍攝裝置的變化位角度，以及用固定的2臺照相機之間 的距離的三角測量數(shù)據(jù)來進行演算處理以執(zhí)行立體測量的立體影像法，構成表面多邊形模型W-1。該表面多邊形模型W-I為和實體影像拍攝的相同視點(同一的拍攝裝置)，所以完 全不需加以修正，為表示拍攝對象(實體)和三維數(shù)字放大鏡拍攝裝置(施術者)的三維相 對位置關系的裝置，不需要為了獲得和實體影像的整合性而進行修正處理。通過這些拍攝 裝置拍攝的影像的拍攝范圍是依據(jù)拍攝對象和拍攝裝置的距離、以及拍攝裝置的放大率來 制定的，不過，在設定合適操作的擴大率時，基于人體工程學，操作距離為施術者前方10到 40公分的范圍，所以，預設為初始設定時的測量點設定的操作距離的最接近位置進行。假設 在像口腔內一樣無法設定口唇、臉頰等作為起始時的測定點影像的時候，對于在可視范圍 中的測定點和前述測定點內側亦即口唇、臉頰內側存在的齒列或牙齒的不動點首先進行初 始設定，藉此提高放大表示時的立體測定精度。
另外，若將根據(jù)斷層攝影法取得的施術對象物體或生物的二維切片數(shù)據(jù)構筑的各 構造構成要素的構成表面多邊形模型1，通過直接計算機影像識別處理對三維數(shù)字放大鏡 的左右各個拍攝裝置所拍攝的兩眼立體視覺所使用的左右各自二維影像訊息D-1-L、D-1_R 影像數(shù)據(jù)進行映像追蹤，則能夠將內部構造構成要素組織映像到前述多邊形模型1的各內 部構成要素中的任意的三維影像分別表示的對象實體影像，并使其連動。圖2是事先對施 術對象進行斷層攝影以補充構成二維切片數(shù)據(jù)而構成的施術對象的解剖學構成要素、骨表 面數(shù)據(jù)計算機圖形C-1、皮膚表面計算機圖形C-2、皮膚上皮表面多邊形模型C-3。該皮膚 上皮表面多邊形模型C-3為，具有從三維數(shù)字放大鏡影像訊息構成的表面多邊形模型W-I 的多邊形形狀構成整合性，而且，對于對象實體的構成多邊形數(shù)為在能夠表現(xiàn)該實體的形 態(tài)的特征的范圍內最小的構成數(shù)。因此，該多邊形構成能夠使得，骨表面數(shù)據(jù)計算機圖形 C-1、皮膚表面計算機圖形C-2的組織映像的構成所使用的多邊形模型的多邊形構成盡可 能減少。該減少處理，即使將由三維數(shù)字放大鏡的立體測定數(shù)據(jù)構成的表面多邊形模型W-I 也進行同樣處理，也能夠維持前述各個多邊形模型的整合性。這些數(shù)據(jù)能夠維持各相對的 位置關系，并能自由顯示在顯示器上，同時，在用總括數(shù)據(jù)C或者各組合表示的時候，能夠 對各自的透明度和色調進行單獨的自由變更，所以能夠容易地視覺地認識各解剖學構成要ο
圖3是表示三維數(shù)字放大鏡拍攝裝置數(shù)據(jù)和斷層攝影數(shù)據(jù)的影像訊息的統(tǒng)一過 程的流程。三維數(shù)字放大鏡是將左邊拍攝裝置的影像訊息顯示在一方，并將右邊拍攝裝置 的影像訊息顯示在另一方的影像顯示裝置，因為能夠和肉眼一樣立體地認識實體，所以，在 單獨使用的時候，如其名稱所示，該三維數(shù)字放大鏡的左右拍攝裝置拍攝二維影像訊息，用 個人計算機進行左右單獨或者相同透明化及色調變更等的影像處理，回傳到在三維數(shù)字放 大鏡顯示裝置作為單獨的影像訊息就可以用作放大鏡。如圖1所示，這些三維數(shù)字放大鏡 拍攝裝置的立體配置的固定變位角度和固定照相機之間距離的左右拍攝裝置二次元影像 訊息，通過用個人計算機進行立體測量而構成表面多邊形模型C-2。該面多邊形模型C-2 為，用從圖3所表示的CT 二維斷層數(shù)據(jù)構筑的該表面多邊形模型W-I來進行判別認識，同 時，對骨表面數(shù)據(jù)計算機圖形C-1、皮膚表面計算機圖形C-2影像選擇地或者綜合地進行影 像追蹤。從而，備顯示在施術者安裝三維數(shù)字放大鏡的時候三維空間上立體視覺的實體影 像V-I的三維同一位置上，同時，能夠識別追蹤實體影像V-I的骨表面數(shù)據(jù)計算機圖形C-1、 皮膚表面計算機圖形C-2等的斷層攝影數(shù)據(jù)所構筑的各解剖學形狀的計算機圖形。表現(xiàn)這 些三維數(shù)字放大鏡所顯示的實體影像V-I和實體1的各解剖學構成要素的骨表面數(shù)據(jù)計算20機圖形C-1、皮膚表面計算機圖形C-2，通過變更各層次的透明度，能夠在實體影像V-I上表 現(xiàn)實體1的不可見區(qū)域，排除實體影像V-I而將表示影像均以計算機圖形的組合表現(xiàn)，視覺 上和肉眼視覺識別的時候相同位置上以手碰觸一樣能夠利用對計算機圖形的三維識別和 對于實體1的觸覺來對不可見區(qū)域實施手術。
另外，像圖4V-4—樣用透視線3-a切割不透明的前述該皮膚表面計算機圖形C-2， 這樣能在口唇緊閉的情況下看清楚配置于下層的內部構造牙齒CG4-C。像這樣的CG的表 現(xiàn)，并不預先在拍攝實空間上的被拍攝物影像上顯示三維計算機圖形影像斷面形狀固定配 置加工的CG，而是使得拍攝裝置視線方向為軸心的任意設定的透明立體形狀(在本圖中是 圓筒形狀)和視線方向連動，并以透視線3-a切去皮膚表面計算機圖形C-2，所以當視線變 更時，透視范圍也移動到3-b并通過布爾演算被除算的內部層次的骨表面數(shù)據(jù)計算機圖形 C-I就可被透視。另外，若將前述透明立體形狀(在本例中設定為球形)用和三維數(shù)字放大 鏡拍攝裝置的三維空間上的相對位置關系來設定在固定范圍，則從能透視V-4、3-a的齒列 CG4的狀態(tài)，在安裝三維數(shù)字放大鏡的狀態(tài)下當施術者的臉接近實體時，就擴大透視范圍使 得如V-5、3-c —樣地直到齒列CG4以及下顎骨CG7的范圍都能被透視。若為更進一步無限 擴大該透明立體形狀的透視線3-d，則如V-6 —樣，能夠透視皮膚表面計算機圖形C-2的三 維放大鏡拍攝裝置側全體。因為這些全部的透視處理可以針對各層次設定，所以層次斷層 的透視如同本圖示的例子一樣地，不只是透視皮膚表面計算機圖形，還能夠自由地針對各 層次進行。
如果采用前述的自由透視層次的技術，如圖4所示，能夠用無開刀的方式安全地 實施牙科移植手術。齒科移植窩形成時應該考慮的問題為，為了手術后在植牙頸周遭保 持順利的骨形態(tài)而確認施術部位的骨量和形狀、以及回避下齒槽神經并獲得齒冠牙根比 1 1以上深度的移植埋入窩。因此，以前切開剝離施術部位的粘膜骨膜瓣使得齒槽骨露出 以確認骨頭的狀態(tài)，在形成移植窩實事前先進行全景X射線、或者用CT斷層攝影的縮尺測 量來測定下齒槽神經的距離，借助X射線影像的記憶進行盲鉆孔。假設在用無開刀的方式 形成移植窩的情況下，如圖5的V-7到V-8那樣，在鉆子14切入牙肉軟組織9的瞬間，鉆子 的方向以及鉆子的尖端位置就被不可見區(qū)域蓋住了。此外，在V-9切削之后也無法確認形 成的移植窩實體。可是，為了如V-IO那樣表示虛擬計算機圖形，用牙肉軟組織CG9-C內確 認的皮質骨CGlO-C在掌握皮質骨的狀態(tài)的同時決定鉆子14的鉆孔位置如V-Il所示般切 削海綿骨CGll-C以形成移植窩。因為這時候下顎齒槽神經管CG12-C也可以視覺地確認， 所以導致神經損傷的危險，而且，能夠在盡可能深的位置形成移植埋入窩。此外用切削鉆 CG14-C切開牙肉軟組織CG9-C、皮質骨CG10-C、海綿骨CGl 1-C，并用布爾演算進行除算，能 夠確認如V-12般的維持形成之后的移植窩CG14-B并能夠三維視覺地確認。
該手術，如圖6V-13所示一般，用外科導引CG15-C表示鉆孔深度和方向，將鉆的尖 端置于牙肉軟組織CG9-C上的外科導引CG15-C，像V-14 —樣地在目標方向進行鉆孔直到 外科導引尖端為止，考慮顎骨的解剖學形狀、骨密度，及最終補綴處置在術前設計的移植植 立位置正確地形成移植窩。按照必要形成移植窩之后，通過顯示移植窩CG14-B和外科導引 CG15-C以進行手術后的評價。這時候，用V-16、V-17表示的透視線3_a切割三維CG表示 的下顎透視影像將切削鉆CG14-C相對于外科導引CG15-C從斷面方向確認如V-18 —樣地 確認進深以進行鉆孔。藉此，施術者無需變更視線，就可以從外科導引CG15-C和透視線3-a的兩方向確認鉆方向以及深度，同時進行手術。
同樣地，用三維數(shù)字放大鏡拍攝口腔內牙齒，觀察實體影像時，就可以如圖7的 V-0-1、ν-0-2所示般地認識。相對于該解剖學的不動點的各個的牙齒，重疊顯示牙齒 CG4-C、牙根CG5-C、牙肉軟組織CG9-C、計算機圖形層次、和透明化的口唇沈層次，則如 V-0-3、V-0-4所示，就能夠在眼前的患者的顏面上，三維地視覺識別不可見區(qū)域的牙根的狀 態(tài)。在口腔外科領域中，拔除埋伏牙的時候，三維地確認牙齒牙根的位置和方向有益于安全 地實施手術。另外，在矯正治療中，如V-0-5、V-0-6所示，通過將考慮牙根方向和齒牙植立 方向的虛擬托架位置CGM顯示在牙齒CG4上，就可以將托架定位在符合牙根方向。在矯正 治療中，通過將當下拍攝影像上儲存記錄的治療經過的牙齒CG4-C重疊表示，就可以實時 地比較檢討牙齒的移動狀況。這比較檢討不僅是各個的牙齒，也可以應用于齒列全體咬合 平面的評價。如圖8所表示，相對于在矯正治療的治療目標設計階段決定的計算機圖形理 想拱形16-C的各牙齒的狀態(tài)如V-19 —樣地被顯示在三維數(shù)字放大鏡所表示的牙列實體影 像上，或者選擇性地顯示在齒列牙齒CG4-C和下顎骨CG7上，藉此進行目前齒列的評價，通 過將儲存記錄的治療情況的牙齒CG4-C重疊顯示，能夠實施治療步驟的再評價并可以實現(xiàn) 有效率的治療。
使得能夠看清楚不可見區(qū)域的本發(fā)明，不僅適用于外科治療或是牙科矯正治療， 也適用于補綴咬合治療。以前，為了求得下顎運動的起始點的鉸軸，使用縮放圖處理下顎， 把左右共轉軸的動作用描記針描畫在左右圖上，并以變化位相抵的位置設定作為旋轉中心 的復雜調整被強制要求進行。不過，在本發(fā)明中，如圖9所示，合成顯示連結實體影像和三 維視覺地同一位置重疊成表示的顱骨CG8、以及下顎骨CG7的解剖學共轉中心的暫定計算 機圖形鉸軸17-C，對實體仿真開閉運動時計算機圖形鉸鏈弧18-C旋轉，所以，前述計算機 圖形鉸鏈弧18-C的旋轉變化位量被自動計算，計算機圖形鉸軸17-C被修正表示。
圖10是記錄這樣求出的實際計算機圖形鉸軸17-C作為起始點的下顎運動的虛擬 伸縮繪圖。
在以前的伸縮繪圖中標記的位置為，因為位于面部外側被描記的下顎運動不是共 轉的中心部的運動軌跡，在本發(fā)明中，以三軸二維表示面表示以實際鉸軸作為起始點的下 顎運動，所以能夠正確地從三軸方向評估左右共轉的下顎頭中心運動軌跡23。這運動軌跡 除供轉之外也進行對牙齒CG4-C等的標記以誘導下顎極限運動的話，則表示切牙部下顎極 限運道路22。這各運動軌跡記錄，除極限運動之外，還記錄咀嚼運動、吞咽、演講等時候的生 理的下顎運動，所以，特別利用摩擦齒列側方運動以及前方運動及下顎頭中心運動軌跡23 數(shù)據(jù)在計算機上構筑虛擬咬合器。該虛擬咬合器，因為完全地表現(xiàn)生物體的運動，所以在該 咬合器上表示上下齒列CG，用計算機上的虛擬咬合器并使用三維CAD進行符合各種生理的 運動的補綴物的設計，再現(xiàn)咀嚼循環(huán)、吞咽運動等并再評估補綴物的功能解剖學形狀，藉此 可以進行完美的補綴治療。
另外，像這樣的不見血的施術場面，在取出顎運動的紀錄、診斷、或矯正治療中利 用本系統(tǒng)的時候，直接拍攝不動點的牙齒或骨面的范圍是被限定的，但是，在此種情況下， 將圖9的明視標記27用具有再現(xiàn)性的安裝手段固定在上下牙齒的狀態(tài)下進行斷層攝影作 為多邊形模型數(shù)據(jù)，如果利用作為實體影像的表現(xiàn)標記，就能夠得到高精度的計算機圖形 的連動功能。該明視標記27，即使在口唇緊閉的狀態(tài)下也能夠安裝在上下牙齒上，所以不會妨礙口腔周圍肌肉的運動而能夠記錄生理的運動時的顎運動。
此外，本發(fā)明的三維數(shù)字放大鏡手術支持系統(tǒng)的影像合成層次要素，并不限定為 上述的實施的形態(tài)，只要在不脫離本發(fā)明的要點的范圍內，可以進行種種要素分解或合體等變更。
產業(yè)上的利用可能性
本發(fā)明的三維數(shù)碼擴大鏡手術支持系統(tǒng)為，使用安裝在被拍攝物的感測標記和安 裝在拍攝裝置的三維位置傳感器，實時位置測量二者的相對位置變異，依據(jù)被拍攝物和拍 攝裝置的三維相對位置變化，變更三維數(shù)字放大鏡的慣用眼側的顯示器所顯示的拍攝空間 中的特定的被拍攝物影像上相對的地固定配置的三維計算機圖形影像的表示方向和表示 擴大率或表示位，通過追隨在實際三維空間引起的前述被拍攝物和拍攝裝置的相對位置變 化，拍攝裝置視野內的被拍攝物的實體和虛擬的三維計算機圖形影像成為一體，在拍攝裝 置視野內的被拍攝物和拍攝裝置的空間位置變化相關的被拍攝物和三維計算機圖形顯示 為一體化，該拍攝裝置和被拍攝物、三維計算機圖形影像的三維狀態(tài)變化的形式表現(xiàn)，將三 維計算機圖形影像和實際的相對位置變化相同變化一樣地在拍攝影像上表示，以表現(xiàn)統(tǒng)一 現(xiàn)實感的系統(tǒng)。
根據(jù)該系統(tǒng)，在被三維數(shù)字放大鏡顯示器上所表示的拍攝影像空間上三維計算機 圖形影像為對被拍攝物相對固定配置，所以，對在實際空間的被拍攝物的三維位置移動三 維地連動，拍攝裝置側的三維數(shù)字放大鏡移動的時候，和被拍攝物一樣留在那個位置，依據(jù) 拍攝裝置的視野方向的變化而提供和被拍攝物投影方向同樣的視野方向的三維計算機圖 形影像，所以，像透視眼鏡一樣視覺地認識目前的實體的內部，識別該三維認識的拍攝影像 中的被拍攝物和三維計算機圖形影像，同時識別全部視野訊息，藉此，不需要依靠經驗及感 覺，就可以正確地接近眼前的實體內部不可見部位。
同樣地，在有多個被拍攝物存在于同一空間內時，分別將三維計算機圖形影像相 對的地固定配置多個被拍攝物影像上，即使對象被拍攝物是一塊的個體且是變形的被拍攝 物的時候，對應于應力或自律變形的各部位單位相對的地固定配置三維計算機圖形影像， 將在各個被拍攝物或者應力或自律變形的各部位單位所安裝的感測標記使用安裝在拍攝 裝置的三維位置傳感器實時位置測量各被拍攝物和拍攝裝置的相對位置變異，按照被拍攝 物和拍攝裝置的三維相對位置變化，改變安裝者的慣用眼側的顯示器上所表示的拍攝空間 中的各被拍攝物影像上相對的固定配置的各個三維計算機圖形影像的表示方向和表示擴 大率或表示位置，隨著在實際三維空間引起的前述被拍攝物和拍攝裝置的相對位置變化， 藉此使拍攝裝置視野內的被拍攝物的實體和虛擬的三維計算機圖形影像成為一體，隨著在 拍攝裝置視野內被拍攝物和拍攝裝置的空間位置變化顯示使得被拍攝物和三維計算機圖 形影像一體化，前述的拍攝裝置和被拍攝物以三維計算機圖形影像的三維狀態(tài)變化的形式 表現(xiàn)，拍攝裝置視野內的被拍攝物的多個實體或變形的實體和多個或形狀變化的虛擬的三 維計算機圖形影像成為一體，隨著在拍攝裝置視野內被拍攝物和拍攝裝置的空間位置變化 而顯示使得被拍攝物和三維計算機圖形影像一體化，關于各被拍攝物的關聯(lián)性各個變形或 變異互相影響的情況下，關于在實空間的被拍攝物的狀態(tài)變化的仿真將三維計算機圖形的 狀態(tài)忠實地再現(xiàn)為各材料的變化，也包含因為拍攝空間的狀態(tài)的變化而引起的三維計算機 圖形的間接影響的仿真表現(xiàn)的多合成影像位置修正追蹤系統(tǒng)。
根據(jù)該系統(tǒng)，對三維數(shù)字放大鏡顯示器上所表示的拍攝影像空間上被拍攝物相對 固定配置的三維計算機圖形影像，對于實際空間的各被拍攝物的三維位置移動三維地連 動，像透視眼鏡一樣視覺地認識目前的實體的內部，所以能夠識別該三維認識的拍攝影像 中的被拍攝物和三維計算機圖形影像，同時識別全部視野訊息，以完全骨折等病例為例，在 拍攝空間上透視骨折部位的接合狀況，藉此一邊視覺地確認，即使是不可見區(qū)域，也可以不 需要依靠經驗及感覺，就可以正確地進行整復。另外，特別是在齒科補綴的領域中，若以使 用虛擬咬合器而設計的補綴物CAD數(shù)據(jù)為基礎來制作補綴物，則可以省去像以前的間接法 一樣地造成尺寸精度下降的主要原因的印象采得、副模型制作、蠟模、鑄造等的制造程序， 而能夠制作高精度且生態(tài)合適的高級補綴物。
本發(fā)明的各種功能不僅適用于醫(yī)療領域，還是用于一般工業(yè)界，特別作為組裝操 作等的處理，尤其是可以取得從不同于視野方向的不可見方向的視野和內部狀況，所以，能 夠對于不可見區(qū)域進行有效率的工作。
權利要求
1.一種三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，用于再現(xiàn)施術者通過肉眼或者光學的 放大鏡視覺識別對象時的視野狀況相同的視野狀況，所述系統(tǒng)包括三維數(shù)字放大鏡，包括一對雙眼視影像顯示裝置，配置在所述施術者的雙眼視線上，以作為最小構成；立體配置照相機，從在影像顯示裝置背面的相當于雙眼瞳孔中央部分的位置，朝向視 野方向安裝；使用三維數(shù)字放大鏡的左右拍攝影像并使用立體法立體測量獲得的表面多邊形模型⑵；由事先以斷層攝影法取得的施術對象或生物體的二維切片數(shù)據(jù)建構的各構成要素的 表面多邊形模型(1)；利用上述組件，通過形狀圖案識別，檢測出所述三維數(shù)字放大鏡前方視野拍攝影像上 的表面多邊形模型( 和表面多邊形模型(1)中的三維形狀相似的表面多邊形模型，再將 所述表面多邊形模型(1)重疊，通過針對映像到所述表面多邊形模型(1)內部構造構成要素組織的虛擬三維體積模 型計算機圖形繪圖進行追蹤，用三維體積模型計算機圖形繪圖覆蓋存在于施術者三維數(shù)字放大鏡視野內的作為施 術對象的物體或者生物體部分或全部影像，用虛擬三維體積模型計算機圖形繪圖的內部構造構成要素影像來表現(xiàn)顯示于三維數(shù) 字放大鏡的物體的內部構造的不可見區(qū)域，并且，隨著在拍攝空間中照相機和物體的三維 位置變化，虛擬三維體積模型計算機圖形繪圖及時變更布局，關于真實空間中被拍攝物的 狀態(tài)變化的模擬，則顯示重疊于被拍攝物上的三維計算機圖形的狀態(tài)，以及由拍攝空間的 狀態(tài)變化而產生的對于三維計算機圖形的間接影響。
2.如權利要求1所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中通過使得構成事先由斷層攝影法取得的施術對象或生物體的二維切片數(shù)據(jù)建構的構 造構成要素的表面多邊形模型(1)的輪廓或者特征點或線的映像和追蹤三維數(shù)位放大鏡 的各個左右照相機攝取的影像數(shù)據(jù)，使得在所述表面多邊形模型(1)內部構造構成要素組織映像的各內部構成要素中的 任意三維計算機圖形隨著分別顯示在雙眼視影像顯示裝置的左右的對象實體影像動作，關 于真實空間中被拍攝體的狀態(tài)變化的模擬顯示在用三維數(shù)字放大鏡立體觀察的對象實體 上重疊顯示的通過兩眼視差角而具有如同浮在拍攝空間上的臨場感的被拍攝物體內部構 造三維計算機圖形的狀態(tài)，以及，拍攝空間狀態(tài)變化對三維計算機圖形造成的間接影響。
3.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中將與拍攝空間中的被拍攝體影像重疊配置的三維計算機圖形影像層次化為構造上的 或者解剖的構成要素分割的各自的三維計算機圖形，將包含物體影像的所述各層次單獨或 選擇地組合和成顯示的復合成影像相對于物體影像進行位置補正追蹤，在不顯示物體影像 層次的情況下，如同裸眼視野或光學的放大鏡的肉眼視野一樣，通過對于在三維數(shù)字放大 鏡的視線方向上識別的虛擬三維計算機圖形的視覺，以及對于實體的觸覺，來對實體直接 施行手術。
4.如權利要求1、2或3所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中為了改進拍攝影像和合成影像的視覺認知性，對拍攝影像或三維計算機圖形影像，或 對上述兩者施以色相、彩度、明度、遮光、照明方向中至少一個要素的影像處理，或者通過映 像、虛線消去框表示、亮滅表示等的表現(xiàn)手法來重疊覆蓋，針對顯示給所述施術者三維數(shù)字 放大鏡的作為施術對象的物體或生物體的影像數(shù)據(jù)設定差異，以進行提高視覺認知性的合 成影像位置補正追蹤。
5.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中將立體配置照相機影像分別顯示在一對雙眼視影像顯示裝置上，將虛擬三維體機模型 計算機圖形重疊層次顯示在通過左右視差角而立體觀看實體影像的三維數(shù)字放大鏡監(jiān)視 器的單側影像顯示裝置上，藉此用虛擬三維體積模型計算機圖形的內部構造構成要素影響 來表現(xiàn)顯示于立體視覺的三維數(shù)字放大鏡視野影像上的實體影像的不可見區(qū)域。
6.如權利要求1所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中根據(jù)三維數(shù)字放大鏡的光學式或者數(shù)字式的放大率，用立體照相機以兩點測量設定在 三維數(shù)字放大鏡的立體配置照相機的影像數(shù)據(jù)中的對象實體的任何位置的4個標記，從照 相機和實體的距離來測定實體三維形狀的表面多邊形模型的三維位置，并且，改變生物體 影像之后，映像三維體積模型計算機圖形，同時進行實時追蹤，改變病患解剖學的CG及對 象物(手術器具CG)的顯示位置、方向、大小，并將其合成顯示于三維數(shù)字放大鏡的監(jiān)視器 的左右影像顯示裝置上。
7.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中在使用所述系統(tǒng)時，在監(jiān)視器顯示三維數(shù)字放大鏡監(jiān)視器顯示范圍外的對象物或患者 解剖學特定部位的三維計算機圖形體積模型所在的視野方向，尤其在使用高數(shù)字放大率的 情況下，使得三維計算機圖形體積模型的三維數(shù)字放大鏡監(jiān)視器顯示范圍外的對象物或患 者解剖學目標部位存在的方向，在影像顯示裝置的邊緣閃爍，或者以箭頭表示方向指示，或 者在分畫表示影像中，在表示縮小全體的全體影像中以框圍出表示部分的影像部分。
8.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中在使用所述系統(tǒng)時，使得通過登錄布局并隨之移動的關節(jié)或組織而連結到三維數(shù)位放 大鏡監(jiān)視器上的病患實體的各患者解剖學CG體積模型運動的情況下，將單獨對患者實體 登錄布局連動的任意CG體積模型固定在運動軌道上的任意位置對于特定的CG體積模型的 相對位置上，和該病患實體連動的特定CG體積模型一體化并連動。
9.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中在利用所述系統(tǒng)施行手術的情況下，用手術器具將患者實體切開、切削、切除以產生形 態(tài)變化的情況下，對該手術器具登錄布局并連動的手術器具CG體積模型，對于患者解剖的 CG畫素體積模型進行布爾運算處理，使得對該患者實體登錄布局并連動的患者解剖學CG 體積模型將和被切開的實體同樣的視覺變化顯示在患者解剖學CG體積模型中的實體不可 見區(qū)域。
10.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中在利用所述系統(tǒng)施行手術的情況下，三維數(shù)字放大鏡和患者的距離對于三維數(shù)字放大 鏡三維數(shù)字放大鏡監(jiān)視器上的對患者實體登錄布局并連動的患者解剖學CG體積模型固定 于三維數(shù)字放大鏡或區(qū)域指示具上的任意的表面模型區(qū)域(線框，半透明著色顯示或者透 明)重疊，以布爾算法將該重疊部分消除，以預設的斷面顯示范圍為一個單位來顯示患者解剖學CG畫素體積模型斷面，或者，依據(jù)任意設定的三維數(shù)字放大鏡和患者實體的距離將 切取范圍變化的所述患者解剖學CG畫素體積模型斷面實時顯示。
11.一種三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中如權利要求7所述的手術器具的CG體積模型，和通過所述手術器具的CG體積模型使得與實體相同的變化也包含實體不可見部分而顯 示的虛擬三維體積模型計算機圖形，以及顯示如權利要求8所述的事先設定的斷面顯示的病患解剖的計算機圖形畫素體積模 型斷面，或者顯示依據(jù)任意設定的三維數(shù)字放大鏡和患者實體的距離所取得的橫斷面的虛 擬三維體積模型計算機圖形，以及在維持顯示于所述施術者三維數(shù)字放大鏡的三維體積模型計算機圖形的相對位置的 狀態(tài)下，將數(shù)據(jù)轉送到個人計算機，將維持顯示于所述個人計算機監(jiān)視器或三維數(shù)字放大 鏡分別相對位置關系的虛擬三維體積模型計算機圖形表示為傾斜，全景，縮放，在回轉的6 個軸方向自由回轉移動，藉此，由相異于施術者視線的方向觀察實體空間的情況。
12.如權利要求9所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中維持顯示于連接到個人計算機的三維數(shù)字放大鏡監(jiān)視器或普通監(jiān)視器的術野實體或 指示器具的各相對位置關系的虛擬三維體積模型計算機圖形上，在同一個人計算機接口上 的6軸方向上將可控制的任意表面模型區(qū)域(線框表示，半透明著色表示或者透明)重疊， 用布爾算法消除該重疊部分，顯示該虛擬三維體積模型計算機圖形的斷面，同時反映在施 術者三維數(shù)字放大鏡影像顯示裝置上的虛擬三維體積模型，藉此，第三者顯示視覺的指導 影像以執(zhí)行在施術者視野立體影像中具有臨場感的視覺指示。
13.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中分別記錄保存從事先由斷層攝影法取得的施術對象物體或生物體的二維切片數(shù)據(jù)建構的牙齒(齒冠，齒根)顎骨及顎顏面，個別的部分的表面多邊形模型(1)，在以立體法立體測量三維數(shù)字放大鏡拍攝的牙齒(齒冠)及口腔的表面多邊形模型 (2)上，將所述三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型O)中的和各自部分 的表面多邊形模型(1)三維相似形狀的表面多邊形模型分別以形狀圖案識別個別檢測出 之后，將所述個別部分的表面多邊形模型( 重疊，追蹤與所述表面多邊形模型1組織映像的各牙齒(齒冠，齒根)，顎骨的虛擬三維體積 模型計算機圖形，藉此，三維視覺是在三維數(shù)字放大鏡影像顯示裝置中的口腔內黏膜下不可見區(qū)域的顎 骨和顎骨內殘存牙齒牙根的狀態(tài)，并且將齒列狀態(tài)記錄儲存為三維計算機圖形。
14.如權利要求10所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中將再構成三維表面模型和組織映像的各牙齒三維體積模型計算機圖形的治療目標理 想拱形齒列影像，追蹤顎顏面和照相機的三維相對位置變化并顯示于三維數(shù)字放大鏡監(jiān)視 器所顯示的口腔內，并具有治療目標(V.T.O.)的表示記錄儲存功能。
15.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中使用所述系統(tǒng)，在存在于施術者三維數(shù)字放大鏡視野內的尺寸框的組織映像的作為施 術對象的物體或生物體或者器具上，覆蓋事先設計的三維體積模型計算機圖形手術導引，將器具對于顯示于三維數(shù)字放大鏡的實體內部構造不可見區(qū)域的三維前進方向，以虛 擬三維體積模型計算機圖形手術導引表示，并且，追蹤在拍攝空間中照相機和實體的相對 三維位置變化，實時顯示虛擬三維體積模型計算機圖形三維體積模型計算機圖形手術導引 影像并變更追蹤布局。
16.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中使得對下顎骨登錄布局連動的下顎骨CG體積模型的左右間接頭以虛擬蝶幡軸的直線 連結開閉運動，一邊在監(jiān)視器上確認未發(fā)生所述虛擬蝶幡軸運動時的殘影變位的左右下橫 斷線，一邊通過設定該橫斷線以求出下顎頭的中心，在監(jiān)視器上確認從所述中心位開始的 下顎運動并在監(jiān)視器上以圖形表示正確的運動軌跡，將下顎運動記錄為三維的數(shù)據(jù)，藉此 在監(jiān)視器上構成虛擬咬合器。
17.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中 所述實體影像立體法立體測量包括被動立體法，用發(fā)光二極管點燃發(fā)光的點發(fā)光法；或者主動立體法，用通過做出對應點的縫隙的直線光，使光掃描以得到對象的斷面，并取得 實體的形狀的縫隙光投影法，或者，將能夠判斷拍攝裝置影像內的坐標的圖案模式投影在 實體上，以求出進深的圖案光投影法，藉此對實體影像實施立體法立體測量以得到表面多 邊形模型O)的情況下，使得因為二極管發(fā)光或圖案投影而受到影響的前方視野拍攝影像 不顯示，使得追蹤拍攝的施術對象物體或生物體(實體)影像的虛擬三維體積模型計算機 圖形僅表示三維計算機圖形影像，利用虛擬三維體積模型計算機圖形的視覺識別，以及對 于拍攝中的施術對象物體或生物體(實體)的直接或間接的觸覺，對等同于實體的被拍攝 物進行手術。
18.如權利要求1 6中任意一項所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中不管左右照相機的實體空間拍攝影像，及三維計算機圖形影像數(shù)據(jù)在實體拍攝中顯示 與否，影像數(shù)據(jù)為各層次分別儲存，所述各層次的影像以單獨或選擇性地組合輸出，顯示在 三維數(shù)字放大鏡或普通監(jiān)視器上，將維持經時的形狀變化的三維計算機圖形記錄數(shù)據(jù)，在 監(jiān)視器上自由地操作為傾斜，全景，縮放，在回轉的6個軸方向自由回轉移動。
19.如權利要求1 17中任意一項所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中將整個三維計算機圖形影像場景以二維的數(shù)字放大鏡照相機的實體影像中覆蓋的實 體影像空間上的影像作為背景，將虛擬現(xiàn)實的三維計算機圖形影像及其內部構造，以所述 二維影像為光源照亮，藉此，做出光擬真的合成影像。
20.如權利要求1或2所述的三維數(shù)字放大鏡放大真實手術支持系統(tǒng)，其中 當左右照相機的實體空間拍攝影像和三維計算機圖形影像框架交互顯示時，各自的一秒內的表示圖框數(shù)量是可調整的，在覆蓋顯示的情況下，左拍影像，右拍影像，或者三維計 算機圖形影像的三維數(shù)字放大鏡左和右顯視器顯示比例是可調整的，藉此可以調整雙眼視 覺影像識別。
21.一種方法，該方法使用 三維數(shù)字放大鏡，包括施術者和助手分別穿戴的三維實體數(shù)字放大鏡，一對雙眼視影像顯示裝置，配置兩眼的視線上，和從在影像顯示裝置后面的相當于兩眼瞳孔中央部的位置，向視野方向安裝的立體配置 照相機；以及利用三維數(shù)字放大鏡的左右拍攝影像，使用立體法立體測量法得到的表面多邊形模型(2),事先由斷層攝影法獲得的施術對象物體或者生物體的二維切片數(shù)據(jù)構成的各構造構 成要素的表面多邊形模型(1)，其中所述三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型O)中的和各表面多邊 形模型(1)三維相似形狀的表面多邊形模型，以形狀圖案識別分別檢出之后，將表面多邊 形模型⑴重疊，通過追蹤將內部構造構成要素組織映像到所述多邊形模型(1)的虛擬三維體積模型 計算機圖形；或者將構成多邊形模型(1)的輪廓或特征點或線映像追蹤到三維數(shù)字放大鏡左右各照相 機拍攝的影像數(shù)據(jù)，或者通過使得將內部構造構成要素組織映像到所述多邊形模型(1)的各內不構成要素中 的任意三維體積模型計算機圖形在兩眼視影像顯示裝置中左右分別表示的對象實體影像 連動，將存在于施術者三維數(shù)字放大鏡視野內的作為施術對象的物體或生物體影像的一部 分或全體，用三維體積模型計算機圖形覆蓋，所述方法用于用虛擬三維體積模型計算機圖形的內部構造要素影像來表現(xiàn)顯示于三 維數(shù)字放大鏡的實體的內部構造不可見區(qū)域的用于醫(yī)科手術或其它精密技術支持，追蹤同一拍攝空間中施術者及助手分別穿戴的三維實體數(shù)字放大鏡照相機和實體的 相對三維位置變化，實時顯示虛擬三維體積模型計算機圖形三維體積模型計算機圖形手術 導引影像并變更追蹤布局，藉此，關于實空間中被拍攝物的狀態(tài)變化的模擬包含與被拍攝 物重疊顯示的三維計算機圖形狀態(tài)，以及由拍攝空間狀態(tài)的變化引起的對于三維計算機圖 形的間接引想的模擬，利用施術者及助手穿戴的一對同一規(guī)格且同步化的三維數(shù)字放大鏡，指導者將追蹤助 手穿戴的三維實體數(shù)字放大鏡的視野方向照相機捕捉到的施術者視野三維被拍攝物影像 及覆蓋于該被拍攝物影像的三維體積模型計算機圖形的影像，反過來，助手將追蹤指導者穿戴的三維實體數(shù)字放大鏡的視野方向照相機捕捉到的施 術者視野三維被拍攝物影像及覆蓋于所述被拍攝物影像的三維體積模型計算機圖形的影 像，于彼此的三維實體數(shù)字放大鏡監(jiān)視器畫面上分畫顯示。
全文摘要
為了提供通過合成固定顯示于被拍攝物上的三維計算機圖形的狀態(tài)，以及由拍攝空間的狀態(tài)變化而產生的對于三維計算機圖形的間接影響，來表示關于實空間中被拍攝物狀態(tài)變化的仿真的系統(tǒng)，將存在于同一空間內被拍攝物體，通過形狀圖案識別，從立體測量的表面多邊形模型(2)中檢出和表面多邊形模型(1)的三維形狀相似的表面多邊形模型，追蹤計算機圖形，隨著在實際的三維空間中引起的該被拍攝物體和照相機的相對位置變化，將相同于實際的相對位置變化的計算機圖形影像表示再拍攝影像上，藉此，將照相機視野內的被拍攝物體和虛擬的三維計算機圖形影像一體化顯示。
文檔編號A61B19/00GK102036616SQ20098011861
公開日2011年4月27日 申請日期2009年3月23日 優(yōu)先權日2008年3月21日
發(fā)明者高橋淳 申請人:高橋淳