用于腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)的制作方法
【專利摘要】本發(fā)明涉及用于腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)。一種執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的計算機(jī)實(shí)現(xiàn)的方法包括：計算機(jī)系統(tǒng)生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型，并從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像。計算機(jī)系統(tǒng)使用立體內(nèi)窺鏡圖像來執(zhí)行第一立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第一表面圖像，并使用剛性配準(zhǔn)過程來將第一表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。然后，計算機(jī)系統(tǒng)使用第一表面圖像和來自手術(shù)前三維模型的先驗知識來執(zhí)行第二立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第二表面圖像，并使用非剛性配準(zhǔn)過程來將第二表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。
【專利說明】用于腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)
[0001]本申請要求2013年2月25日遞交的、序列號為61/768，682的美國臨時申請的優(yōu)先權(quán)，通過引用將該臨時申請以其整體并入本文。
【技術(shù)領(lǐng)域】
[0002]以下公開根據(jù)若干實(shí)施例描述了本發(fā)明，這些實(shí)施例涉及用于組合在腹腔鏡外科手術(shù)應(yīng)用中使用的表面重構(gòu)和配準(zhǔn)過程的方法、系統(tǒng)和裝置。該技術(shù)尤其好地適于但不限于外科手術(shù)應(yīng)用，該外科手術(shù)應(yīng)用利用例如使用旋轉(zhuǎn)的血管造影系統(tǒng)在手術(shù)中生成的三維模型。
【背景技術(shù)】
[0003]在諸如肝切除術(shù)之類的腹部微創(chuàng)外科手術(shù)中，腹腔鏡攝像機(jī)用于為外科醫(yī)生提供關(guān)注的解剖區(qū)域的可視化。例如，當(dāng)移除腫瘤時，外科醫(yī)生的目標(biāo)是安全地移除腫瘤而不損傷諸如血管之類的關(guān)鍵結(jié)構(gòu)。
[0004]為了計劃外科手術(shù)，手術(shù)前圖像掃描(例如，CT/MRI)典型地用于識別血管和腹部組織并創(chuàng)建三維分割的模型。通常使該三維分割的模型在外科手術(shù)期間在監(jiān)視器上可獲得，而在分離的監(jiān)視器上顯示經(jīng)由腹腔鏡生成的圖像。盡管這為外科醫(yī)生提供了在執(zhí)行外科手術(shù)時可能有用的附加信息，但是將三維手術(shù)前模型和腹腔鏡圖像融合到單個空間中通常是有挑戰(zhàn)性且容易出錯的。例如，由于在手術(shù)前與手術(shù)中設(shè)定之間病人的呼吸和移動，關(guān)注的解剖區(qū)域中的組織與手術(shù)前模型相比可能變形。另外，腹腔鏡攝像機(jī)通常提供小的視野，其限制了可用于手術(shù)前模型的配準(zhǔn)的信息量。此外，對于某些組織，配準(zhǔn)由于組織表面紋理的缺失和跨模態(tài)的共同界標(biāo)(landmark)的缺失而進(jìn)一步復(fù)雜。
[0005]因此，期望提供下述表面重構(gòu)和配準(zhǔn)技術(shù):其即使在組織表面缺失紋理或者具有有限紋理的情況下也允許準(zhǔn)確的立體重構(gòu)，在存在共享界標(biāo)的缺失的情況下提供跨模態(tài)的配準(zhǔn)，并針對組織變形進(jìn)行正確調(diào)整。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的實(shí)施例通過提供用于利用來自三維數(shù)據(jù)的組織表面的先驗知識執(zhí)行聯(lián)合立體重構(gòu)和配準(zhǔn)的方法、系統(tǒng)、制品和裝置，來解決和克服以上缺點(diǎn)和缺陷中的一個或多個。使用本文所公開的各種實(shí)施例，通過在手術(shù)中腹腔鏡圖像中可視化手術(shù)前三維模型來增強(qiáng)外科手術(shù)過程的 指導(dǎo)。以這種方式，關(guān)鍵的結(jié)構(gòu)和目標(biāo)解剖可以被覆蓋在組織上，并且可以可視化表面下的特征。本文所討論的技術(shù)可以例如用于改進(jìn)腫瘤移除過程中的準(zhǔn)確性并減小腫瘤周圍要求的安全界限，因此使更多病人有進(jìn)行外科手術(shù)的資格。
[0007]根據(jù)本發(fā)明的一些實(shí)施例，一種執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的計算機(jī)實(shí)現(xiàn)的方法包括:計算機(jī)系統(tǒng)(例如，使用旋轉(zhuǎn)的血管造影系統(tǒng))生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型，并從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像。計算機(jī)系統(tǒng)使用多個立體內(nèi)窺鏡圖像來執(zhí)行第一立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第一表面圖像。然后使用剛性配準(zhǔn)過程來將第一表面圖像與手術(shù)前三維模型的表面進(jìn)行對齊。接著，計算機(jī)系統(tǒng)使用第一表面圖像和(例如，來自手術(shù)前三維模型的)先驗知識來執(zhí)行第二立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第二表面圖像。然后使用非剛性配準(zhǔn)過程來將第二表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。
[0008]在本發(fā)明的其他實(shí)施例中，可以迭代地執(zhí)行重構(gòu)和配準(zhǔn)。例如，在一個實(shí)施例中，一種執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的計算機(jī)實(shí)現(xiàn)的方法包括:生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型；以及從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像。然后，執(zhí)行包括重構(gòu)和配準(zhǔn)的迭代過程多次，直到配準(zhǔn)誤差值低于閾值為止。在一個實(shí)施例中，該迭代過程包括:使用多個立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的表面圖像；執(zhí)行配準(zhǔn)過程以將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊；以及基于從配準(zhǔn)過程產(chǎn)生的表面圖像的一個或多個點(diǎn)的位移來更新配準(zhǔn)誤差值。
[0009]各種技術(shù)可以用于使用前述方法來生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型。例如，在一個實(shí)施例中，通過首先經(jīng)由旋轉(zhuǎn)的血管造影系統(tǒng)獲取旋轉(zhuǎn)投影圖像的組來生成該模型。接著，基于旋轉(zhuǎn)投影圖像的組來重構(gòu)多個二維圖像。然后，基于所重構(gòu)的二維圖像來生成手術(shù)中三維模型。
[0010]在一些實(shí)施例中，可以基于鏡面高光來增強(qiáng)前述方法中使用的任何重構(gòu)過程，所述鏡面高光可以存在于立體內(nèi)窺鏡圖像中。例如，在一個實(shí)施例中，重構(gòu)過程包括:識別多個立體內(nèi)窺鏡圖像中的一個或多個鏡面高光，并基于所述一個或多個鏡面高光來增加多個立體內(nèi)窺鏡圖像的圖像密度。鏡面高光也可以(或可替代地)用于增強(qiáng)前述方法中使用的任何配準(zhǔn)過程。例如，在一個實(shí)施例中，配準(zhǔn)過程利用一個或多個鏡面高光來將對應(yīng)于關(guān)注的解剖區(qū)域的表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。
[0011]在一些實(shí)施例中，重構(gòu)過程可以利用加權(quán)圖。例如，在一個實(shí)施例中，重構(gòu)過程包括基于多個立體內(nèi)窺鏡圖像來構(gòu)建圖，其中，所述圖中的每個頂點(diǎn)對應(yīng)于多個立體內(nèi)窺鏡圖像中的體素，并且每個頂點(diǎn)通過邊連接到預(yù)定數(shù)量的其最近的鄰居。在一個實(shí)施例中，該預(yù)定數(shù)量為6。然后，為所述圖的每條邊確定代價。接著，使用來自先驗知識的數(shù)據(jù)(例如，手術(shù)中三維模型、手術(shù)前三維模型、稀疏立體重構(gòu)數(shù)據(jù)和/或手動標(biāo)注數(shù)據(jù))對與每條邊相關(guān)聯(lián)的代價應(yīng)用加權(quán)。然后，基于加權(quán)后的與每條邊相關(guān)聯(lián)的代價來識別最小體素集作為各個表面圖像。在一些實(shí)施例中，所述圖中的每條邊與第一方向、第二方向或第三方向相關(guān)聯(lián)，并且根據(jù)方向來確定對所述圖的每條邊應(yīng)用的代價。例如，在一個實(shí)施例中，針對與第一方向相關(guān)聯(lián)的每條邊，可以基于多個立體內(nèi)窺鏡圖像中補(bǔ)片(patch)之間的匹配強(qiáng)度值來向每條相應(yīng)邊應(yīng)用第一代價。然后，針對第二或第三方向中的每條邊，可以基于與重構(gòu)過程相關(guān)聯(lián)的平滑度施加值來向每條相應(yīng)邊應(yīng)用第二代價。
[0012]根據(jù)一些實(shí)施例，一種用于在外科手術(shù)操作期間執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的系統(tǒng)包括手術(shù)中成像系統(tǒng)、接收機(jī)模塊和成像計算機(jī)。手術(shù)中成像系統(tǒng)被配置為生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型。在一個實(shí)施例中，手術(shù)中成像系統(tǒng)是旋轉(zhuǎn)的血管造影系統(tǒng)。接收機(jī)模塊被配置為從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像。成像計算機(jī)被配置為執(zhí)行迭代過程多次，直到配準(zhǔn)誤差值低于閾值為止。在一個實(shí)施例中，該迭代過程包括:使用多個立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的表面圖像；執(zhí)行配準(zhǔn)過程以將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊；以及基于從配準(zhǔn)過程產(chǎn)生的表面圖像的一個或多個點(diǎn)的位移來更新配準(zhǔn)誤差值。
[0013]在一些實(shí)施例中，前述系統(tǒng)包括附加部件。例如，在一個實(shí)施例中，該系統(tǒng)還包括顯示器，其被配置為在外科手術(shù)操作期間呈現(xiàn)對齊后的表面圖像。該系統(tǒng)還可以包括跟蹤系統(tǒng)，其被配置為向成像計算機(jī)提供跟蹤數(shù)據(jù)以用在手術(shù)中成像系統(tǒng)到腹腔鏡的初始配準(zhǔn)中。在一個實(shí)施例中，跟蹤系統(tǒng)是光學(xué)跟蹤系統(tǒng)。然而，在本發(fā)明的范圍內(nèi)也可以使用替代的跟蹤系統(tǒng)。
[0014]根據(jù)參照附圖進(jìn)行的對說明性實(shí)施例的以下詳細(xì)描述，將使本發(fā)明的附加特征和優(yōu)點(diǎn)變得顯而易見。
【專利附圖】

【附圖說明】
[0015]當(dāng)結(jié)合附圖來閱讀時，本發(fā)明的前述及其他方面從以下詳細(xì)描述得到最佳理解。出于說明本發(fā)明的目的，在這些圖中示出了目前優(yōu)選的實(shí)施例，但是應(yīng)理解，本發(fā)明不限于所公開的特定手段。在這些圖中包括的是以下各圖:
圖1示出了在本發(fā)明的一些實(shí)施例中使用的計算機(jī)輔助外科手術(shù)系統(tǒng)；
圖2提供了根據(jù)本發(fā)明的一些實(shí)施例的執(zhí)行針對立體腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)的過程的高級概要；
圖3提供了根據(jù)本發(fā)明的一些實(shí)施例的執(zhí)行針對立體腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)的過程； 明的一些實(shí)施例的用于立體成像應(yīng)用的重構(gòu)過程的概要；以及 圖5圖示了本發(fā)明的實(shí)施例可在其內(nèi)實(shí)現(xiàn)的示例性計算環(huán)境。
【具體實(shí)施方式】
[0016]以下公開根據(jù)若干實(shí)施例描述了本發(fā)明，這些實(shí)施例涉及用于組合在腹腔鏡外科手術(shù)應(yīng)用中使用的表面重構(gòu)和配準(zhǔn)過程的方法、系統(tǒng)和裝置。由于例如組織變形、腹腔鏡攝像機(jī)的小視野以及跨模態(tài)的共同特征的缺失，三維手術(shù)前模型和腹腔鏡圖像到單個空間中的融合是有挑戰(zhàn)性的。在一些實(shí)施例中，這些挑戰(zhàn)是通過首先生成組織的手術(shù)中三維模型并將該模型配準(zhǔn)到腹腔鏡圖像來應(yīng)對的。這減輕了例如由吹入法(insufflation)引起的組織變形的一些問題。本文描述的各種方法、系統(tǒng)和裝置相對于常規(guī)系統(tǒng)提供了若干附加益處，包括但不限于:改進(jìn)了配準(zhǔn)準(zhǔn)確度、實(shí)現(xiàn)了腹腔鏡視頻中三維解剖模型的可視化、改進(jìn)了配準(zhǔn)的魯棒性、實(shí)現(xiàn)了缺失跨模態(tài)界標(biāo)的挑戰(zhàn)性環(huán)境中的配準(zhǔn)、以及降低了腫瘤周圍的安全界限從而使更多病人能夠有進(jìn)行外科手術(shù)的資格。本文描述的各種方法、系統(tǒng)和裝置特別適用于但不限于使用旋轉(zhuǎn)的血管造影成像系統(tǒng)生成的手術(shù)前模型。
[0017]圖1示出了在本發(fā)明的一些實(shí)施例中使用的計算機(jī)輔助外科手術(shù)系統(tǒng)100。系統(tǒng)100包括一般可被分類為與手術(shù)前站點(diǎn)105或手術(shù)中站點(diǎn)110相關(guān)聯(lián)的部件。在圖1的示例中，位于每個站點(diǎn)105、110處的各種部件可以與網(wǎng)絡(luò)115可操作地連接。因此，這些部件可以位于設(shè)施的不同區(qū)域處，或者甚至位于不同設(shè)施處。然而，應(yīng)當(dāng)注意，在一些實(shí)施例中，手術(shù)前站點(diǎn)105和手術(shù)中站點(diǎn)110是位于一處的。在這些實(shí)施例中，可以沒有網(wǎng)絡(luò)115，并且部件可以直接連接?？商娲?，可以使用小規(guī)模網(wǎng)絡(luò)(例如，局域網(wǎng))。
[0018]在手術(shù)前站點(diǎn)105處，成像系統(tǒng)105A用于收集計劃數(shù)據(jù)。在一個實(shí)施例中，成像系統(tǒng)105A使用多種成像模態(tài)中的任一種來收集圖像，所述成像模態(tài)包括例如斷層成像模態(tài)，諸如計算機(jī)斷層成像(CO、磁共振成像(MRI)、單光子發(fā)射計算機(jī)斷層成像(SPECT)以及正電子發(fā)射斷層成像(PET)。所收集的圖像在本文中總稱為手術(shù)前計劃數(shù)據(jù)。一旦該計劃數(shù)據(jù)被成像系統(tǒng)105A收集，其就(例如，經(jīng)由網(wǎng)絡(luò)115)被傳送到手術(shù)中站點(diǎn)110處的數(shù)據(jù)庫IlOA0
[0019]手術(shù)中站點(diǎn)110包括可操作地耦合到成像計算機(jī)IlOF的各種部件110A、110B、110C、110D和110E。盡管圖1僅圖示了單個成像計算機(jī)110F，但是在其他實(shí)施例中，可以使用多個成像計算機(jī)。一個或多個成像計算機(jī)共同地提供用于觀看、操縱、傳送以及存儲計算機(jī)可讀介質(zhì)上的醫(yī)療圖像的功能。
[0020]在圖1的示例中，成像設(shè)備IlOB是旋轉(zhuǎn)的血管造影系統(tǒng)，其包括繞病人旋轉(zhuǎn)以獲取關(guān)注的解剖區(qū)域的一系列旋轉(zhuǎn)投影圖像的固定C臂，該一系列旋轉(zhuǎn)投影圖像隨后被重構(gòu)為二維圖像。手術(shù)中計劃圖像可以隨后用于生成關(guān)注的區(qū)域的三維模型。重構(gòu)的二維圖像和三維模型在本文中共同地稱為手術(shù)中計劃數(shù)據(jù)。在一些實(shí)施例中，圖像重構(gòu)和/或三維模型生成使用專用計算機(jī)硬件(在圖1中未示出)在成像設(shè)備IlOB本身內(nèi)發(fā)生。然后，將手術(shù)中計劃數(shù)據(jù)傳送到成像計算機(jī)IlOF以在外科手術(shù)期間使用。在其他實(shí)施例中，將捕獲的旋轉(zhuǎn)投影圖像傳送到成像計算機(jī)IlOF以用于重構(gòu)為二維圖像和生成三維模型。應(yīng)當(dāng)注意，盡管成像設(shè)備IlOB在圖1中圖示的實(shí)施例中是旋轉(zhuǎn)的血管造影系統(tǒng)，但是在其他實(shí)施例中，其是包括CT、MRI和結(jié)構(gòu)光設(shè)備的不同類型的成像設(shè)備。
[0021]一旦手術(shù)中計劃數(shù)據(jù)被成像計算機(jī)IlOB接收到，其就可以被存儲在數(shù)據(jù)庫IlOA中以供之后使用。然后，當(dāng)需要時，成像計算機(jī)IlOF從數(shù)據(jù)庫IlOA獲取手術(shù)中計劃數(shù)據(jù)以在監(jiān)視器IlOE上呈現(xiàn)來幫助引導(dǎo)外科手術(shù)團(tuán)隊執(zhí)行手術(shù)。可替代地，成像計算機(jī)IlOF可以在從成像設(shè)備IlOB接收到時立即呈現(xiàn)接收到的手術(shù)中計劃數(shù)據(jù)。盡管在圖1中圖示的實(shí)施例中示出了單個監(jiān)視 器110E，但是在其他實(shí)施例中，多個監(jiān)視器可以例如用于(例如，基于手術(shù)前計劃數(shù)據(jù)或手術(shù)中計劃數(shù)據(jù))顯示關(guān)注的解剖區(qū)域的不同透視圖。
[0022]在外科手術(shù)期間，外科手術(shù)團(tuán)隊利用在監(jiān)視器IlOE上顯示的手術(shù)中計劃數(shù)據(jù)連同腹腔鏡IlOD和跟蹤系統(tǒng)110C。腹腔鏡IlOD是這樣的醫(yī)療儀器，通過其可以在外科手術(shù)期間看到腹部和骨盆內(nèi)的結(jié)構(gòu)。典型地，在病人的腹壁形成小切口，從而允許插入腹腔鏡。存在各種類型的腹腔鏡，例如包括(通常連接到視頻攝像機(jī)的)伸縮式棒狀透鏡系統(tǒng)和在其中微型數(shù)字視頻攝像機(jī)處于腹腔鏡的末端處的數(shù)字系統(tǒng)。為了模仿人體中的三維視覺，腹腔鏡可以被配置為使用雙透鏡光學(xué)系統(tǒng)或單個光學(xué)通道來捕獲立體圖像。此類腹腔鏡在本文中稱為“立體腹腔鏡”。跟蹤系統(tǒng)IlOC向成像計算機(jī)IIOF提供跟蹤數(shù)據(jù)以在(從設(shè)備IlOB接收的)手術(shù)中計劃數(shù)據(jù)與由腹腔鏡IlOD收集的數(shù)據(jù)的配準(zhǔn)中使用。在圖1的示例中，描繪了光學(xué)跟蹤系統(tǒng)110C。然而，其他技術(shù)可以用于跟蹤，包括但不限于電磁(EM)跟蹤和/或機(jī)器人編碼器。
[0023]圖2提供了根據(jù)本發(fā)明的一些實(shí)施例的執(zhí)行針對立體腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)的過程200的高級概要。圖1中圖示的過程200所解決的問題在于:最初，沒有足夠的關(guān)于關(guān)注的解剖區(qū)域的紋理的信息來實(shí)現(xiàn)立體重構(gòu)。然而，一旦執(zhí)行了初始配準(zhǔn)，該問題就可以被限制為得到致密表面。因此，在205處，在不使用先驗知識的情況下執(zhí)行第一稀疏立體重構(gòu)。在210處將該重構(gòu)用于執(zhí)行對手術(shù)前模型的剛性配準(zhǔn)。一旦執(zhí)行了該配準(zhǔn)，就使用先驗知識執(zhí)行第二立體重構(gòu)以創(chuàng)建表面的致密立體重構(gòu)。該先驗知識可以包括例如來自手術(shù)前三維模型的信息、來自手術(shù)中三維模型的信息、稀疏立體重構(gòu)數(shù)據(jù)或者手動標(biāo)注數(shù)據(jù)。最后，在220處，一旦已經(jīng)確定了致密表面，就可以在整個器官上執(zhí)行對手術(shù)中模型的非剛性配準(zhǔn)。與在僅使用稀疏信息的情況下相比，該過程產(chǎn)生更準(zhǔn)確的結(jié)果。下面關(guān)于圖3和4來描述圖2中圖示的組合的表面重構(gòu)和配準(zhǔn)過程200的附加細(xì)節(jié)、完善以及替代實(shí)現(xiàn)。
[0024]圖3提供了根據(jù)本發(fā)明的一些實(shí)施例的執(zhí)行針對立體腹腔鏡外科手術(shù)的組合的表面重構(gòu)和配準(zhǔn)的過程300。該過程在305處開始，其中使用旋轉(zhuǎn)的血管造影系統(tǒng)(例如，圖1的設(shè)備110B)來生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型。例如，在一個實(shí)施例中，在三個步驟中生成該模型。首先，旋轉(zhuǎn)的血管造影系統(tǒng)獲取旋轉(zhuǎn)投影圖像的組。接著，將這些圖像自動傳送到計算機(jī)(例如，圖1的成像計算機(jī)110F)并將這些圖像重構(gòu)為二維(例如，像CT那樣的)圖像。然后，使用這些二維圖像來生成關(guān)注的區(qū)域的三維模型?？商娲?，在其他實(shí)施例中，本領(lǐng)域中已知的其他技術(shù)可以用于生成該模型。
[0025]在310處，執(zhí)行三維模型到腹腔鏡(例如，圖1的110D)的初始配準(zhǔn)。各種技術(shù)可以被應(yīng)用于將三維模型配準(zhǔn)到來自腹腔鏡(參見例如圖1中的110D)的圖像，包括例如手動對齊、使用外部跟蹤設(shè)備的基于校準(zhǔn)的方法、基于界標(biāo)的方法以及基于形狀的方法?；谑謩訉R的實(shí)施例使用專家操作者來對齊圖像。其準(zhǔn)確度是操作者和過程相關(guān)的。在其他實(shí)施例中，校準(zhǔn)方法對齊諸如光學(xué)跟蹤、電磁(EM)跟蹤或機(jī)器人技術(shù)之類的跟蹤模態(tài)。在使用基于界標(biāo)的方法的實(shí)施例中，可以使用基準(zhǔn)點(diǎn)來補(bǔ)償跨模態(tài)的界標(biāo)的缺失。采用基于形狀的方法的實(shí)施例使用 通過腹腔鏡提取的組織的表面的形狀和來自三維模型的形狀來執(zhí)行配準(zhǔn)。基于形狀的方法可以例如基于迭代最近點(diǎn)(ICP)算法或其變體。應(yīng)當(dāng)注意，初始配準(zhǔn)可能包含由于例如攝像機(jī)校準(zhǔn)、手眼校準(zhǔn)中的誤差和/或光學(xué)/EM跟蹤器中的固有跟蹤誤差而導(dǎo)致的不準(zhǔn)確性。例如當(dāng)所跟蹤的對象被放置在腹腔鏡的近端處并且成像光學(xué)裝置處于遠(yuǎn)端處時，這些誤差可能被放大。根據(jù)采用哪種技術(shù)進(jìn)行初始配準(zhǔn)，可以在外科手術(shù)工作流程的不同階段處執(zhí)行初始配準(zhǔn)。例如，在使用EM或光學(xué)跟蹤的實(shí)施例中，配準(zhǔn)可以在由腹腔鏡捕獲立體內(nèi)窺鏡圖像的同時執(zhí)行。在使用手動對齊技術(shù)的其他實(shí)施例中，圖像捕獲可以在配準(zhǔn)之后發(fā)生。
[0026]繼續(xù)參照圖3，在315處，使用立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生表面圖像。下面參照圖4描述了重構(gòu)過程的一個示例。多種技術(shù)可以用于改進(jìn)在315處執(zhí)行的立體重構(gòu)。例如，在一些實(shí)施例中，通過使用鏡面高光來增強(qiáng)重構(gòu)。鏡面高光是由從組織的表面沿著法線反射的光造成的。關(guān)于組織的朝向的該信息可以被并入到立體重構(gòu)中以增加密度并隨后幫助配準(zhǔn)。例如，(下面關(guān)于320描述的)配準(zhǔn)過程可以在將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊時利用鏡面高光。
[0027]一旦創(chuàng)建了初始表面重構(gòu)，就在320處將重構(gòu)的表面圖像傳遞到(例如，在圖1中示出的成像計算機(jī)IlOF中操作的)配準(zhǔn)部件以執(zhí)行配準(zhǔn)，該配準(zhǔn)將重構(gòu)的表面圖像與在305處生成的三維模型的表面進(jìn)行對齊。在320處執(zhí)行的配準(zhǔn)可以是剛性/仿射或非剛性的，其使用在具有或沒有先驗知識的情況下生成的稀疏或致密立體表面重構(gòu)。該配準(zhǔn)提供了對初始配準(zhǔn)的完善，該完善能夠糾正初始配準(zhǔn)中的誤差和例如由呼吸引起的組織的變形。至配準(zhǔn)部件的輸入是要配準(zhǔn)的兩個視圖一即，重構(gòu)的表面圖像和三維模型的表面。該部件的輸出是幾何變換，其在數(shù)學(xué)上將來自一個表面的點(diǎn)映射到另一個表面中的點(diǎn)。變換后的表面上的點(diǎn)與其在原始表面上的對應(yīng)點(diǎn)之間的任何非零位移稱為“配準(zhǔn)誤差”。
[0028]在其中在320處執(zhí)行的配準(zhǔn)是非剛性的一些實(shí)施例中，使用相干點(diǎn)漂移(CPD)方法的修改版本。在該表述方式中，可以將初始配準(zhǔn)提出為最大后驗估計(亦稱為規(guī)則化最大似然)問題，其中局部運(yùn)動被預(yù)期為在點(diǎn)集之間相干地移動。注意，(PD算法屬于像迭代最近點(diǎn)(ICP)這樣的技術(shù)的類別，其求解點(diǎn)對應(yīng)關(guān)系以及非剛性空間變換二者。在原始(PD算法中，高斯似然僅包括針對每個模型點(diǎn)的點(diǎn)匹配項?？梢詳U(kuò)展該方法以并入表面法線。法線是從立體重構(gòu)和手術(shù)中計劃數(shù)據(jù)的表面來估計的。法線匹配項可以被并入到高斯似然中，假設(shè)獨(dú)立于點(diǎn)匹配項。該假設(shè)結(jié)合假設(shè)已知對應(yīng)關(guān)系的先前點(diǎn)+法線匹配方法得到易處理的算法。除似然項之外，原始CPD代價函數(shù)包括運(yùn)動相干規(guī)則化項，使得點(diǎn)以空間上相干的方式變形。在一些實(shí)施例中，為了配準(zhǔn)多個緩慢移動的點(diǎn)集，可以向(PD代價函數(shù)添加另一時間一致性/相干性規(guī)則化項?？梢砸灾鹋姆绞交蛘咭赃f增的方式來進(jìn)行所產(chǎn)生的修改，在所述逐批的方式中，在時間窗口上獲取的多個點(diǎn)被同時配準(zhǔn)。在一些實(shí)施例中，用于使三維模型的表面形變(morph)為立體重構(gòu)表面的非剛性配準(zhǔn)可以用于更新器官的生物力學(xué)模型，使得內(nèi)部結(jié)構(gòu)(例如，血管、腫瘤等)可以變形以反映新的組織形狀。
[0029]在305處生成的三維模型基于所設(shè)置的時間點(diǎn)處捕獲的圖像，并因此可能未表示關(guān)注的組織的當(dāng)前精確幾何結(jié)構(gòu)。例如，在捕獲用于生成三維模型的圖像之后，組織可能已經(jīng)經(jīng)歷了由于呼吸而導(dǎo)致的變形。另外，在315處執(zhí)行的立體重構(gòu)可能包含由于重構(gòu)算法中的不準(zhǔn)確性 而導(dǎo)致的噪聲。這兩個噪聲源可能連同其他噪聲源一起可能將不準(zhǔn)確性引入到最終配準(zhǔn)中。因此，在325處，通過在循環(huán)中迭代地執(zhí)行重構(gòu)315和配準(zhǔn)320來遞增地改進(jìn)立體重構(gòu)和配準(zhǔn)。在一些實(shí)施例中，該循環(huán)執(zhí)行所設(shè)置的次數(shù)。在其他實(shí)施例中，執(zhí)行該循環(huán)直到配準(zhǔn)誤差低于預(yù)定配準(zhǔn)閾值被滿足為止。該閾值的精確值可以例如基于組織的幾何結(jié)構(gòu)和目標(biāo)應(yīng)用而憑經(jīng)驗定義。
[0030]圖4提供了根據(jù)本發(fā)明的一些實(shí)施例的用于立體成像應(yīng)用的重構(gòu)過程400的概要。在405處，從腹腔鏡的攝像機(jī)接收立體內(nèi)窺鏡圖像。然后，在410處，基于接收到的圖像來構(gòu)建圖。各種技術(shù)可以用于構(gòu)建該圖。例如，圖可以這樣構(gòu)建，其中每個頂點(diǎn)對應(yīng)于腹腔鏡的攝像機(jī)觀看到的體積中的體素，并且每個頂點(diǎn)通過邊連接到預(yù)定數(shù)量的其最近的鄰居。在一個實(shí)施例中，該預(yù)定數(shù)量為6。
[0031]接著，在415處，向圖的每條邊應(yīng)用代價。例如，在一個實(shí)施例中，根據(jù)該體素所投影到的左和右圖像中的補(bǔ)片之間的匹配強(qiáng)度來向ζ方向中的每條邊給出代價，同時向X和y方向中的邊給出代價以在重構(gòu)過程中施加平滑度(即，平滑度施加值)。一旦已經(jīng)針對邊確定了代價，就在420處執(zhí)行圖切割技術(shù)，其中將三維表面重構(gòu)問題提出為能量最小化問題，使得:
ε = ff (c(w, y.pCu, v)) + KS) dudv)。
[0032]在該等式中，《和r指代2D腹腔鏡圖像中像素的位置。例如，如果W =10并且I.=15，則像素處于作為圖像的陣列的第10列和第15行中。函數(shù)c(u, I/))是一元代價函數(shù)，其可以使用本領(lǐng)域中已知的各種技術(shù)而確定，這些技術(shù)中的一些在下面進(jìn)行了詳述。值K是憑經(jīng)驗定義的加權(quán)常量，用于影響平滑度規(guī)則化的強(qiáng)度。.V是逐對代價函數(shù)。然后，使用針對/V的該等式，例如通過使用最大流最小切割算法來最小化圖中的能量。應(yīng)當(dāng)注意，上面詳述的能量最小化過程僅僅是可在420處使用的圖切割技術(shù)的一個示例。在其他實(shí)施例中，可以使用對能量最小化等式的變型，或者可以采用其他常規(guī)的圖切割技術(shù)。一旦圖切割過程完成，最小體素集就被識別為重構(gòu)的圖像。
[0033]在一些實(shí)施例中，先驗知識可以用于改進(jìn)圖4中圖示的重構(gòu)過程400。例如，通過使用組織表面的強(qiáng)先驗知識，諸如切除術(shù)之類的組織改變或由腹腔鏡攝像機(jī)的視野中的工具引起的組織閉塞可以被檢測并用于識別可用于配準(zhǔn)的可靠組織區(qū)。先驗知識可以例如具有以下形式:三維模型(例如，參見圖3的305)、稀疏立體重構(gòu)數(shù)據(jù)或者手動標(biāo)注。在一個實(shí)施例中，先驗知識包括來自腹腔鏡上的立體攝像機(jī)的表面的幾何深度和關(guān)注的解剖對象的表面的平滑度?？梢酝ㄟ^向一元代價函數(shù)應(yīng)用加權(quán)來將先驗知識并入到圖中，使得:
【權(quán)利要求】
1.一種執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的計算機(jī)實(shí)現(xiàn)的方法，所述方法包括: 通過計算機(jī)系統(tǒng)來生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型； 通過計算機(jī)系統(tǒng)從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像； 通過計算機(jī)系統(tǒng)使用多個立體內(nèi)窺鏡圖像來執(zhí)行第一立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第一表面圖像； 通過計算機(jī)系統(tǒng)使用剛性配準(zhǔn)過程來將第一表面圖像與手術(shù)前三維模型的表面進(jìn)行對齊； 通過計算機(jī)系統(tǒng)使用第一表面圖像和來自手術(shù)前三維模型的先驗知識來執(zhí)行第二立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的第二表面圖像；以及 通過計算機(jī)系統(tǒng)使用非剛性配準(zhǔn)過程來將第二表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。
2.如權(quán)利要求1所述的方法，其中，手術(shù)中三維模型是使用旋轉(zhuǎn)的血管造影系統(tǒng)來生成的。
3.如權(quán)利要求2所述的方法，其中，生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型包括: 經(jīng)由旋轉(zhuǎn)的血管造影系統(tǒng)來獲取旋轉(zhuǎn)投影圖像的組； 基于旋轉(zhuǎn)投影圖像的組來重構(gòu)多個二維圖像；以及 基于所重構(gòu)的二維圖像來生成手術(shù)中三維模型。
4.如權(quán)利要求2所述的方法，其中，第一立體重構(gòu)過程和第二立體重構(gòu)過程中的至少一個包括: 識別多個立體內(nèi)窺鏡圖像中的一個或多個鏡面高光；以及 基于所述一個或多個鏡面高光來增加多個立體內(nèi)窺鏡圖像的圖像密度。
5.如權(quán)利要求4所述的方法，其中，剛性配準(zhǔn)過程和非剛性配準(zhǔn)過程中的至少一個在將相應(yīng)表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊時利用所述一個或多個鏡面高光。
6.如權(quán)利要求1所述的方法,其中，第一立體重構(gòu)過程和第二立體重構(gòu)過程中的至少一個包括: 基于多個立體內(nèi)窺鏡圖像來構(gòu)建圖，其中，所述圖中的每個頂點(diǎn)對應(yīng)于多個立體內(nèi)窺鏡圖像中的體素，并且每個頂點(diǎn)通過邊連接到預(yù)定數(shù)量的其最近的鄰居； 為所述圖的每條邊確定代價； 使用來自先驗知識的數(shù)據(jù)對與每條邊相關(guān)聯(lián)的代價應(yīng)用加權(quán)；以及 基于加權(quán)后的與每條邊相關(guān)聯(lián)的代價來識別最小體素集作為相應(yīng)表面圖像。
7.如權(quán)利要求6所述的方法，其中，預(yù)定數(shù)量為6。
8.如權(quán)利要求6所述的方法，其中，每條邊與第一方向、第二方向或第三方向相關(guān)聯(lián)，并且其中，為所述圖的每條邊確定代價包括: 針對與第一方向相關(guān)聯(lián)的每條邊，基于多個立體內(nèi)窺鏡圖像中補(bǔ)片之間的匹配強(qiáng)度值來向每條相應(yīng)邊應(yīng)用第一代價；以及 針對第二或第三方向中的每條邊，基于與第一立體重構(gòu)過程和第二立體重構(gòu)過程中的至少一個相關(guān)聯(lián)的平滑度施加值來向每條相應(yīng)邊應(yīng)用第二代價。
9.一種執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的計算機(jī)實(shí)現(xiàn)的方法，所述方法包括: 生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型； 從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像；以及 通過計算機(jī)來執(zhí)行迭代過程多次，直到配準(zhǔn)誤差值低于閾值為止，所述迭代過程包括: 使用多個立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的表面圖像；
執(zhí)行配準(zhǔn)過程以將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊；以及
基于從配準(zhǔn)過程產(chǎn)生的表面圖像的一個或多個點(diǎn)的位移來更新配準(zhǔn)誤差值。
10.如權(quán)利要求9所述的方法，其中，生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型包括: 經(jīng)由旋轉(zhuǎn)的血管造影系統(tǒng)來獲取旋轉(zhuǎn)投影圖像的組； 基于旋轉(zhuǎn)投影圖像的組來重構(gòu)多個二維圖像；以及 基于所重構(gòu)的二維圖像來生成手術(shù)中三維模型。
11.如權(quán)利要求9所述的方法，其中，立體重構(gòu)過程包括: 識別多個立體內(nèi)窺鏡圖像中的一個或多個鏡面高光； 基于所述一個或多個鏡面高光來增加多個立體內(nèi)窺鏡圖像的圖像密度。
12.如權(quán)利要求11所述的方法，其中，配準(zhǔn)過程利用所述一個或多個鏡面高光來將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊。
13.如權(quán)利要求11所述的方法，其中，使用多個立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生表面圖像包括: 基于多個立體內(nèi)窺鏡圖像來構(gòu)建圖，其中，所述圖中的每個頂點(diǎn)對應(yīng)于多個立體內(nèi)窺鏡圖像中的體素，并且每個頂點(diǎn)通過邊連接到預(yù)定數(shù)量的其最近的鄰居； 為所述圖的每條邊確定代價； 基于先驗知識數(shù)據(jù)對與每條邊相關(guān)聯(lián)的代價應(yīng)用加權(quán)；以及 基于加權(quán)后的與每條邊相關(guān)聯(lián)的代價來識別最小體素集作為表面圖像。
14.如權(quán)利要求13所述的方法，其中，每條邊與第一方向、第二方向或第三方向相關(guān)聯(lián)，并且其中，為所述圖的每條邊確定代價包括: 針對與第一方向相關(guān)聯(lián)的每條邊，基于多個立體內(nèi)窺鏡圖像中補(bǔ)片之間的匹配強(qiáng)度值來向每條相應(yīng)邊應(yīng)用第一代價；以及 針對第二或第三方向中的每條邊，基于與立體重構(gòu)過程相關(guān)聯(lián)的平滑度施加值來向每條相應(yīng)邊應(yīng)用第二代價。
15.如權(quán)利要求13所述的方法，其中，先驗知識數(shù)據(jù)包括手術(shù)中三維模型、手術(shù)前三維模型、稀疏立體重構(gòu)數(shù)據(jù)或手動標(biāo)注數(shù)據(jù)中的一個或多個。
16.一種用于在外科手術(shù)操作期間執(zhí)行立體腹腔鏡圖像的組合的表面重構(gòu)和配準(zhǔn)的系統(tǒng)，所述系統(tǒng)包括: 手術(shù)中成像系統(tǒng)，其被配置為生成關(guān)注的解剖區(qū)域的手術(shù)中三維模型； 接收機(jī)模塊，其被配置為從腹腔鏡接收關(guān)注的解剖區(qū)域的多個立體內(nèi)窺鏡圖像；以及成像計算機(jī)，其被配置為執(zhí)行迭代過程多次，直到配準(zhǔn)誤差值低于閾值為止，所述迭代過程包括:使用多個立體內(nèi)窺鏡圖像來執(zhí)行立體重構(gòu)過程以產(chǎn)生與關(guān)注的解剖區(qū)域相對應(yīng)的表面圖像； 執(zhí)行配準(zhǔn)過程以將表面圖像與手術(shù)中三維模型的表面進(jìn)行對齊；以及 基于從配準(zhǔn)過程產(chǎn)生的表面圖像的一個或多個點(diǎn)的位移來更新配準(zhǔn)誤差值。
17.如權(quán)利要求16所述的系統(tǒng)，其中，手術(shù)中成像系統(tǒng)包括旋轉(zhuǎn)的血管造影系統(tǒng)。
18.如權(quán)利要求17所述的系統(tǒng)，還包括顯示器，其被配置為在外科手術(shù)操作期間呈現(xiàn)對齊后的表面圖像。
19.如權(quán)利要求17所述的系統(tǒng)，還包括跟蹤系統(tǒng)，其被配置為向成像計算機(jī)提供跟蹤數(shù)據(jù)以用在手術(shù)中成像系統(tǒng)到腹腔鏡的初始配準(zhǔn)中。
20.如權(quán)利要求19所述的系統(tǒng)，其中，跟蹤系統(tǒng)是光學(xué)跟蹤系統(tǒng)。
【文檔編號】G06T11/00GK104000655SQ201410063719
【公開日】2014年8月27日 申請日期:2014年2月25日 優(yōu)先權(quán)日:2013年2月25日
【發(fā)明者】P.芒特尼, M.阿倫, A.卡普爾, P.努爾德, P.梅韋斯 申請人:西門子公司