本發(fā)明屬于增強現(xiàn)實(ar)應用技術領域，涉及一種實時匹配的手術場景增強現(xiàn)實投射方法。

背景技術：

隨著計算機技術和影像學技術的發(fā)展，利用術前患者影像的重建圖像可以更加準確且直觀地顯示出患者的解剖結構和疾病的病理生理變化。進一步地，將這些患者特異性的影像投射于手術區(qū)域，來引導手術進程，保證手術安全成為新興的技術應用。為解決上述問題,中國專利201010585237.2號便公開了一種“醫(yī)學手術導航方法”。該發(fā)明提供了一種醫(yī)學手術導航方法，包括：第一步驟，用于對醫(yī)學圖像進行三維重建以得到虛擬模型；第二步驟，用于通過增強現(xiàn)實技術將所述虛擬模型與病人身體部位融合，以便在融合狀態(tài)下實現(xiàn)對醫(yī)學手術的導航作用。根據(jù)本發(fā)明的醫(yī)學手術導航方法使得外科醫(yī)生能夠獲取更加準確且直觀的病人身體信息。在該技術方案中，醫(yī)學手術導航包括：對醫(yī)學圖像進行三維重建得到虛擬模型和虛擬模型與病人身體融合兩部分。其存在以下難點：1、醫(yī)學圖像的三維重建難題。現(xiàn)有的醫(yī)學圖像軟件進行自動三維重建多用于骨骼系統(tǒng)或血管增強的組織，而用于腹部等軟組織結構則沒有好的算法解決，多需要依賴人工的判別和描繪。2、虛擬模型與病人實體的定位難題。由于手術中病人或病人的器官處于運動的狀態(tài)，給圖像與實體的自動融合匹配造成困難。較大的誤差不僅不能使用戶從感官上相信虛擬物體在真實環(huán)境中的存在性及其一體性。3、圖像的投射問題。手術中醫(yī)生的頭部運動經(jīng)常會遮擋圖像，如何利用投射圖像進行引導又不造成手術者的負擔是有待解決。

技術實現(xiàn)要素：

本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種實時匹配的手術場景增強現(xiàn)實投射方法。

本發(fā)明的目的是通過以下技術方案實現(xiàn)的：一種實時匹配的手術場景增強現(xiàn)實投射方法，該方法包括：根據(jù)ct圖像進行三維重建，得到虛擬3d模型；通過紅外攝像機獲得手術病人的紅外圖像，并將其與虛擬3d模型的冠狀面圖像(從人體的前面往后面看)進行融合；同時對手術病人的體位信息進行實時跟蹤，最后根據(jù)體位信息，通過投影儀將融合圖像投射在病人體表。

進一步地,所述圖像融合方法如下：

(1)根據(jù)虛擬3d模型獲得冠狀面圖像的灰度圖；采用全局閾值分割法對灰度圖進行分割，提取前景圖像；

(2)對紅外攝像機實時采集的紅外圖像，采用基于仿射傳播聚類的視頻關鍵幀提取方法，獲取關鍵幀圖像。采用全局閾值分割法對關鍵幀圖像的灰度圖進行分割，提取前景圖像；

(3)將步驟1和2獲得的前景圖像進行融合。

進一步地,根據(jù)體位信息，通過投影儀將融合圖像投射在病人體表，具體為：

(1)通過訓練,獲得紅外攝像機和投影儀位置相對于病人位置的變化矩陣t；

(2)對紅外攝像機實時采集的紅外圖像，采用基于仿射傳播聚類的視頻關鍵幀提取方法，獲取關鍵幀圖像。采用全局閾值分割法對關鍵幀圖像的灰度圖進行分割，獲得前景圖像中各個像素點的坐標(xu,yu)；

(3)根據(jù)像素點坐標以及變換矩陣t，調整投影儀的位置，將融合圖像投射在病人體表。

本發(fā)明的有益效果在于：本發(fā)明的快速ct圖像三維重建算法可實現(xiàn)ct圖像的快速自動重建，為實時引導提供圖像基礎。由于本發(fā)明的紅外線反射攝像頭可以捕捉到病人器官的運動，使得投射圖像具有實時的跟蹤功能，為手術提供實時的指引。計算機的定位融合模塊，可解決因手術中變化位置等因素的干擾和影像，保證了疊合圖像的穩(wěn)定性和可靠性。

附圖說明

圖1是本發(fā)明的技術路線圖。

圖2是本發(fā)明的實時手術區(qū)域跟蹤識別過程圖。

圖3是本發(fā)明的投射構造圖。

圖4為投射效果圖。

具體實施方式

下面結合附圖和實施方式對本發(fā)明進一步說明。

本發(fā)明提供一種實時匹配的手術場景增強現(xiàn)實投射方法，該方法包括：根據(jù)ct圖像進行三維重建，得到虛擬3d模型；通過紅外攝像機獲得手術病人的紅外圖像，并將其與虛擬3d模型的冠狀面圖像進行融合；同時對手術病人的體位信息進行實時跟蹤，最后根據(jù)體位信息，通過投影儀將融合圖像投射在病人體表。

其中，ct圖像的快速三維自動重建是基于血管樹和概率模型的腹腔臟器分割算法，主要任務為從腹部ct圖像中提取出實質性臟器和血管結構，并重建其3d模型，以便更直觀地反映出器官的生理構造。本算法的基本思路為通過提取器官的血管樹來對器官進行定位，并將與器官內血管在特定距離范圍內的細胞(體素)定義為器官結構。這一過程類似于樹葉的生長過程，只有與樹枝在特定距離范圍內的樹葉才能接收到樹枝傳輸?shù)臓I養(yǎng)物質，并存活下來。同樣地，只有與器官血管在特定距離范圍內的細胞才能與之進行物質交換并成為器官的一部分。本算法采用了概率模型，利用ct圖像中密度值、位置以及與血管的距離等特征定義了四個概率公式，通過綜合考量這四個概率來得到最終的判定結果。在腹部器官分割的過程中，用戶只需要通過交互界面輸入一個種子點，系統(tǒng)即可通過區(qū)域生長、形態(tài)擴張和閾值等算法得到器官的大致定位，并分割出較為準確的器官血管樹。此后，系統(tǒng)會根據(jù)血管樹的點云構建kd樹，實現(xiàn)組織器官的自動重建。

所述圖像融合方法如下：

(1)根據(jù)虛擬3d模型獲得冠狀面圖像的灰度圖；采用全局閾值分割法對灰度圖進行分割，提取前景圖像；一般情況下，閾值取100。

(2)對紅外攝像機實時采集的紅外視頻序列，采用基于仿射傳播聚類的視頻關鍵幀提取方法，獲取關鍵幀圖像。具體如下：

計算任意兩個幀i(0≤i<m)andk(0≤k<m)的直方圖交的距離。采用仿射傳播聚類方法生成聚類集合:

r(i,k)←d(i,k)-max{a(i,j)+s(i,j)}

(j∈{1,2,...,n},butj≠k)

然后采用全局閾值分割法對關鍵幀圖像的灰度圖進行分割，提取前景圖像；一般情況下，閾值取100。

(3)將步驟1和2獲得的前景圖像進行融合。

根據(jù)體位信息，通過投影儀將融合圖像投射在病人體表，具體為：

(1)通過訓練，獲得紅外攝像機和投影儀位置相對于病人位置的變化矩陣t；變化矩陣t可通過在病人體表設置4個或更多的標志點，通過病人沿設定方向移動一定距離來獲得。假定病人坐標系為xwywzw，在手術病人體表設置4個定位點，病人分別沿x，y和z軸作緩慢運動。optictrack紅外攝像機獲取紅外圖像，檢測與識別現(xiàn)實手術病人場景的信息，生成v3×3和w3×1矩陣，v3×3是一個3×3的矩陣，表示了攝像頭相對于病人坐標系下繞x，y，z三個坐標軸的旋轉角度。w3×1是一個3×l的矩陣，表示了攝像頭相對病人坐標系下沿x，y，z三個坐標軸平移距離。從而得到攝像頭和投影儀相對于病人坐標系的變換矩陣t，如式(1)所示。

(2)對紅外攝像機實時采集的紅外視頻序列，采用基于仿射傳播聚類的視頻關鍵幀提取方法，獲取關鍵幀圖像。采用全局閾值分割法對關鍵幀圖像的灰度圖進行分割，獲得前景圖像中各個像素點的坐標(xu,yu)；

(3)根據(jù)像素點坐標以及變換矩陣t，調整投影儀的位置，將融合圖像投射在病人體表，如圖4所示。

其中，(u,v,h)為投射的虛擬模型上某一點的坐標，(xw,yw,zw)為人體坐標系下的坐標；p矩陣為已知的攝像頭固有內部物理參數(shù)矩陣，a矩陣為單位矩陣。

本發(fā)明通過圖像融合以及實時跟蹤，解決人體器官三維圖像與手術實景界面的錨定問題，從而將虛擬三維結構與實體解剖畫面準確對合，解決手術區(qū)域被牽拉扭曲甚至切除后，快速更新三維結構圖，以配合手術進程與實體解剖畫面相疊合，保證了疊合圖像的穩(wěn)定性和可靠性。