專利名稱：基于顯著區(qū)域特征的醫(yī)學(xué)圖像三維多模配準(zhǔn)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維數(shù)字醫(yī)學(xué)圖像的配準(zhǔn)技術(shù)。
背景技術(shù)：
本申請要求了Xu等人于2005年8月24日提交的發(fā)明名稱為“Method and System for Robust Salient Region BasedRegistration of 3D Medical Images(基于穩(wěn)定的顯著區(qū)域的三維醫(yī)學(xué)圖像配準(zhǔn)的方法和系統(tǒng))”的美國臨時申請No.60/710,834的優(yōu)先權(quán)，該美國臨時申請的內(nèi)容在此被引入作為參考。
在醫(yī)學(xué)圖像處理中，配準(zhǔn)已經(jīng)成為在兩幅或者多幅圖像的空間定位之間產(chǎn)生映射的基本任務(wù)，并且能夠被用在各種應(yīng)用中。對準(zhǔn)變換的主要要求是最優(yōu)覆蓋相應(yīng)的圖像內(nèi)容?，F(xiàn)有的配準(zhǔn)方法能夠被分類為基于特征(例如，標(biāo)志點(landmark)、邊緣、標(biāo)記)的配準(zhǔn)方法、基于強(qiáng)度的配準(zhǔn)方法、或結(jié)合上述兩種方法的多個方面的混合方法。基于標(biāo)志點的方法能夠?qū)е略谶h(yuǎn)離特征的區(qū)域中的粗劣的對準(zhǔn)。僅僅基于圖像強(qiáng)度的方法由于優(yōu)化過程的特性易陷入到?jīng)Q非理想解決方案的局部最優(yōu)中?；旌霞夹g(shù)使用多種這樣的屬性的組合并且尤其優(yōu)選于來自不同模態(tài)的圖像配準(zhǔn)，其中圖像強(qiáng)度或幾何信息單獨并沒有提供準(zhǔn)確的測量基礎(chǔ)。例如，和附加信息通道配對的互信息可以改善MR和PET圖像的配準(zhǔn)結(jié)果，所述附加信息通道由區(qū)域標(biāo)記信息組成?；旌吓錅?zhǔn)技術(shù)例如在低對比度的腹部區(qū)域、血漿凝膠電泳或蛋白質(zhì)成像等中是公知的。其它應(yīng)用領(lǐng)域例如是創(chuàng)建圖譜或標(biāo)準(zhǔn)數(shù)據(jù)庫，這些圖譜或標(biāo)準(zhǔn)數(shù)據(jù)庫適于圖像或?qū)ο蠓治觥⒃试S醫(yī)生獲取對疾病進(jìn)展的了解的同一患者或患者間研究、或在癌癥治療期間基于時間的追蹤研究。
對同一個受檢者使用不同的成像系統(tǒng)能夠獲取更多的信息，但是另一方面這要求用于合適解釋的多模配準(zhǔn)技術(shù)。補(bǔ)充信息的增加被各種醫(yī)學(xué)成像系統(tǒng)所利用，這些醫(yī)學(xué)成像系統(tǒng)大致可被分成兩大類提取形態(tài)學(xué)信息的解剖學(xué)成像(例如，X射線、計算機(jī)斷層掃描(CT)、磁共振成像(MRI)、超聲波(US))，和可視化下層解剖結(jié)構(gòu)的新陳代謝信息的功能成像(例如，單光子發(fā)射計算機(jī)斷層掃描(SPECT)、正電子發(fā)射斷層掃描(PET)、功能MRI(fMRI))。在多模圖像配準(zhǔn)中，不同類型圖像的組合對醫(yī)生是有利的。例如，CT圖像的特征在于良好的空間分辨率，而PET圖像描述了下層組織的功能。因此，通過與部分缺乏空間分辨率的相應(yīng)的PET圖像融合，CT圖像中功能信息的不足能夠被彌補(bǔ)。

發(fā)明內(nèi)容
如在此所描述的本發(fā)明的示例性實施方式通常包括用于配準(zhǔn)方法的方法和系統(tǒng)，上述配準(zhǔn)方法從兩幅圖像中自動提取三維區(qū)域，在這兩幅圖像之間找到相應(yīng)對，并建立剛性配準(zhǔn)變換，以便使醫(yī)學(xué)應(yīng)用中的融合結(jié)果可視化。那些固有特征的尺度、平移和旋轉(zhuǎn)不變性適于三維，以估計下層的單?；蚨嗄ＨS醫(yī)學(xué)圖像之間的變換。根據(jù)本發(fā)明實施方式的方法結(jié)合了基于特征和基于強(qiáng)度方法的有利方面，并且包括每一幅圖像上的三維顯著區(qū)域特征集合的自動提取、相對應(yīng)集合的估計及其子像素的準(zhǔn)確細(xì)化，上述細(xì)化包括排除逸出值(outlier)?；趨^(qū)域生長的方法被用于提取三維顯著區(qū)域特征，這就減少了特征聚類和相對應(yīng)的搜索空間的復(fù)雜度。
根據(jù)本發(fā)明實施方式的算法以通過使用kD樹結(jié)構(gòu)進(jìn)行顯著區(qū)域的快速聚類為特征，并且該算法使用局部強(qiáng)度驅(qū)動的三維顯著特征區(qū)域的配準(zhǔn)來提高優(yōu)化。根據(jù)本發(fā)明實施方式的算法的附加特征包括在兩對顯著性區(qū)域的質(zhì)心上使用迭代最近點(iterative closest point)算法來執(zhí)行初始姿態(tài)估計和使用基于局部強(qiáng)度的配準(zhǔn)進(jìn)行質(zhì)心的局部細(xì)化以獲得子像素精度。
根據(jù)本發(fā)明實施方式的算法是全自動的、穩(wěn)定的、多模剛性圖像配準(zhǔn)算法，該算法能夠在任意姿態(tài)下成功配準(zhǔn)三維圖像。在幾何構(gòu)型約束條件的約束下通過各種尺度不變的三維特征對圖像建模。完全利用同一圖像上的特征之間的相對構(gòu)型約束條件來繼續(xù)進(jìn)行多個三維顯著特征對之間的聯(lián)合對應(yīng)。與單獨的特征對之間的一致性相比，通過聯(lián)合對應(yīng)施加的嚴(yán)格的幾何約束使得極不可能發(fā)生誤匹配。當(dāng)聯(lián)合對應(yīng)逐漸增加直到全局圖像對準(zhǔn)質(zhì)量不能通過增加新的對進(jìn)一步提高時，從聯(lián)合對應(yīng)集合中估計得到的變換收斂于全局最優(yōu)。這通過合適的收斂標(biāo)準(zhǔn)來獲得。
根據(jù)本發(fā)明的方面，提供了一種用于對準(zhǔn)一對圖像的方法，該方法包括如下步驟提供具有第一圖像和第二圖像的一對圖像，其中所述圖像包括多個對應(yīng)于三維空間中的像素域的強(qiáng)度；在第一圖像和第二圖像中均標(biāo)識顯著特征區(qū)域，其中每個區(qū)域都與空間尺度相關(guān)；通過每個區(qū)域的中心點代表特征區(qū)域；根據(jù)局部強(qiáng)度將一幅圖像的特征點與另一幅圖像的特征點進(jìn)行配準(zhǔn)；通過相似性度量來對所述特征對進(jìn)行排序；通過將中心點細(xì)化到子像素精度來優(yōu)化特征對的聯(lián)合對應(yīng)集合。
根據(jù)本發(fā)明的另一方面，該方法包括在kD樹中表示一幅圖像的顯著特征區(qū)域中心點；查詢所述kD樹的每個特征來找到一組最鄰近的特征；以及從所述樹中移除具有較低顯著性值的那些最鄰近特征和在所述每個特征的尺度內(nèi)具有中心點的那些最鄰近特征，其中獲得顯著特征區(qū)域在所述圖像中的基本上均勻的分布。
根據(jù)本發(fā)明的另一方面，所述空間尺度是包括所述特征區(qū)域的球形的半徑。
根據(jù)本發(fā)明的另一方面，所述kD樹使用所述顯著特征區(qū)域中心點的圖像像素索引作為樹葉，并且其中從特征區(qū)域到最鄰近特征區(qū)域的距離以圖像索引為單位。
根據(jù)本發(fā)明的另一方面，根據(jù)局部強(qiáng)度對特征點進(jìn)行配準(zhǔn)還包括使用所述第一圖像和所述第二圖像之間的迭代最近點變換來估計初始配準(zhǔn)；將所述第二圖像的所有特征變換到所述第一圖像的坐標(biāo)空間；將所述所變換的特征存儲在kD樹中，并且根據(jù)預(yù)定的選擇標(biāo)準(zhǔn)查詢所述樹的所述第一圖像中的每個特征以選擇所述第二圖像中的那些最鄰近特征；并且在所述第一圖像和所述第二圖像中測試所述特征的所選擇的特征對的平移不變性、旋轉(zhuǎn)不變性和全局圖像相似性度量，其中通過所述所選擇的特征對的全局圖像相似性度量值來對所選擇的特征對進(jìn)行排序。
根據(jù)本發(fā)明的另一方面，所述迭代最近點變換最小化每組特征點之間的均方誤差；根據(jù)本發(fā)明的另一方面，測試所述平移不變性包括估計Θ^i,jT=pi-pj,]]>其中pi和pj是第i個第一圖像特征和第j個第二圖像特征在物理空間的中心位置坐標(biāo)。
根據(jù)本發(fā)明的另一方面，測試所述旋轉(zhuǎn)不變性包括估計Θ^i,jR=argmaxΘRECC(fi,fjTΘR),]]>其中(fi，fj)分別表示所述第一圖像和所述第二圖像中的所述特征對，ECC(fi,fj)=2-2H(fi,fj)H(fi)+H(fj),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的球形鄰近特征區(qū)域fs內(nèi)的圖像強(qiáng)度值的熵，H被定義為HD(s,x)=-∫Rsp(i,s,x)log2p(i,s,x)di,]]>其中p(i，s，x)是被包含在f中的圖像強(qiáng)度值i的概率密度函數(shù)，其中H(fi，fj)是聯(lián)合微分熵，H(fi，fj)被定義為H(fi,fj)=-∫fi,fjp(fi,fj)log2p(fi,fj)dIdJ,]]>其中p(fi，fj)是特征區(qū)域fi和fj中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值。
根據(jù)本發(fā)明的另一方面，測試所述全局圖像相似性度量包括估計Lglobal(ci,j)=ECC(Ir,ItTΘ^i,j),]]>其中Ir表示所述第一圖像， 表示所述第二圖像到所述第一圖像的坐標(biāo)空間上的所述變換。
ECC(Ir,ItTΘ^i,j)=2-2H(Ir,ItTΘ^i,j)H(Ir)+H(ItTΘ^i,j),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的所述圖像中的一幅圖像內(nèi)的圖像強(qiáng)度值的熵，H被定義為H(s，x)＝-∫Ip(i，s，x)log2p(i，s，x)di，其中p(i，s，x)是被包含在I中的圖像強(qiáng)度值i的概率密度函數(shù)，其中 是聯(lián)合微分熵， 被定義為H(Ir,ItTΘ^i,j)=-∫Ir,ItTΘ^i,jp(Ir,ItTΘ^i,j)log2p(Ir,ItTΘ^i,j)dIdJ,]]>其中 是圖像Ir和 中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值，并且其中Lglobal在所述第一和第二圖像的整個重疊域上被評估。
根據(jù)本發(fā)明的另一方面，優(yōu)化特征對的聯(lián)合對應(yīng)集合還包括利用根據(jù)所述相似性度量為最相似的特征對來對所述聯(lián)合對應(yīng)集合進(jìn)行初始化；針對所述聯(lián)合對應(yīng)集合與沒有已被包括在所述聯(lián)合對應(yīng)集合中的每個特征對的并集(union)來估計所述相似性度量；選擇最大化所述并集的相似性度量的特征對，其中如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量大于該聯(lián)合對應(yīng)集合的相似性度量，則所述最大化特征對利用局部剛性變換以子像素精度進(jìn)行配準(zhǔn)并且被增加到所述聯(lián)合對應(yīng)集合中。
根據(jù)本發(fā)明的另一方面，通過使用迭代最近點過程計算特征對之間的配準(zhǔn)變換來使相似性度量最大化。
根據(jù)本發(fā)明的另一方面，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量小于或等于該聯(lián)合對應(yīng)集合的相似性度量，則提供配準(zhǔn)變換，所述配準(zhǔn)變換由最大化所述相似性度量的特征對之間的配準(zhǔn)變換計算得到。
根據(jù)本發(fā)明的另一方面，提供一種計算機(jī)可讀的程序存儲裝置，該計算機(jī)可讀的程序存儲裝置確實地包含了可由計算機(jī)執(zhí)行的程序指令，以執(zhí)行用于對準(zhǔn)一對圖像的方法步驟。


圖1(a)-(e)根據(jù)本發(fā)明的實施方式示出顯著特征區(qū)域的示例性集合。
圖2(a)-(d)根據(jù)本發(fā)明的實施方式示出CT體積的切片(左部)，上述切片已經(jīng)被平移、旋轉(zhuǎn)并且被覆蓋到原始切片上。
圖3根據(jù)本發(fā)明的實施方式示出用于優(yōu)化聯(lián)合對應(yīng)集合和配準(zhǔn)變換的EM型算法的流程圖。
圖4(a)-(c)根據(jù)本發(fā)明的實施方式是顯示所有測量距離和標(biāo)準(zhǔn)偏差的表格，所述測量距離分別針對PET-CT、CT-CT和SPECT-CT體積對在x、y和z方向上以cm為單位給出。
圖5(a)-(c)示出使用根據(jù)本發(fā)明實施方式的算法獲得的來自融合配準(zhǔn)結(jié)果圖像的三個切片，上述融合配準(zhǔn)結(jié)果圖像分別來自PET-CT圖像對、具有強(qiáng)度偽像的CT-CT圖像對和SPECT-CT圖像對。
圖6是根據(jù)本發(fā)明實施方式的三維配準(zhǔn)過程的流程圖。
圖7是用于實現(xiàn)根據(jù)本發(fā)明實施方式的三維配準(zhǔn)過程的示例性計算機(jī)系統(tǒng)的框圖。
具體實施例方式
如在此所描述的本發(fā)明的示例性實施方式通常包括用于自動提取的尺度不變、旋轉(zhuǎn)不變和平移不變的三維顯著區(qū)域特征的構(gòu)型匹配的系統(tǒng)和方法。因此，雖然本發(fā)明容許各種修改和替換形式，但是仍通過附圖中的實例示出其具體實施方式
并將在此詳細(xì)描述該具體實施方式
。但是，應(yīng)當(dāng)理解，沒有意圖將本發(fā)明限于所公開的特定形式，而是相反，本發(fā)明要涵蓋落入本發(fā)明的精神和范圍內(nèi)的所有修改、等價物和替換方式。
如在此所使用的那樣，術(shù)語“圖像”是指由離散圖像元素(例如，二維圖像的像素和三維圖像的體素)組成的多維數(shù)據(jù)。例如，圖像可以是由計算機(jī)斷層掃描、磁共振成像、超聲波或本領(lǐng)域技術(shù)人員所熟知的任何其它醫(yī)學(xué)成像系統(tǒng)所采集的受檢者的醫(yī)學(xué)圖像。圖像也可以從非醫(yī)學(xué)環(huán)境中提供，諸如由遙感系統(tǒng)、電子顯微技術(shù)來提供等。盡管圖像能夠被看作是從R3到R的函數(shù)，但是本發(fā)明方法沒有被限制到這樣的圖像上，而是能夠被應(yīng)用到任意維數(shù)的圖像(例如，二維圖片或三維體積)。對于二維或三維圖像，圖像域通常是二維或三維的矩形陣列，其中每個像素或體素能夠關(guān)于2個或3個相互正交軸的集合來編址。如在此所使用的術(shù)語“數(shù)字”和“數(shù)字化”指(如適當(dāng))通過數(shù)字采集系統(tǒng)或通過模擬圖像轉(zhuǎn)換所獲取的數(shù)字或數(shù)字化格式的圖像或體積。
根據(jù)本發(fā)明的實施方式，顯著性描述(saliency description)被用于從三維圖像中自動提取特征。在圖6中呈現(xiàn)概述了根據(jù)本發(fā)明實施方式的三維配準(zhǔn)算法的流程圖。下文會對其中的步驟的細(xì)節(jié)進(jìn)行詳細(xì)描述?，F(xiàn)在參考該圖，在步驟60，通過形成球形區(qū)域，三維顯著區(qū)域特征被檢測到。所得到的每個顯著區(qū)域特征均具有下述屬性(1)區(qū)域中心，(2)區(qū)域尺度(半徑)和(3)區(qū)域的顯著性值。
在步驟61，通過將一個集合的特征區(qū)域中心點存儲到允許快速查詢空間位置的kD樹結(jié)構(gòu)中，獲得顯著區(qū)域特征在圖像空間上的均勻分布。在步驟62，針對每個特征來對樹進(jìn)行查詢，以找到最鄰近特征。因為是通過其尺度(半徑)對區(qū)域進(jìn)行描述，所以在步驟63中移除具有較低顯著性的那些特征和位于當(dāng)前特征的尺度內(nèi)的中心點。所得到的聚類顯著特征的子集被從整個集合中移除。沒有顯著區(qū)域特征位于具有較高顯著性值的顯著區(qū)域特征的尺度內(nèi)。這種方法避免了能夠在圖像區(qū)域中出現(xiàn)的顯著區(qū)域特征的聚類，上述圖像區(qū)域具有大且是局部最大的顯著性值。因此，根據(jù)那些特征的隨后的圖像配準(zhǔn)可能出現(xiàn)偏差并導(dǎo)致錯誤解。
旋轉(zhuǎn)不變性的參數(shù)通過三維顯著特征區(qū)域的局部的、強(qiáng)度驅(qū)動的配準(zhǔn)進(jìn)行估計。局部變換的參數(shù)搜索空間被限制到旋轉(zhuǎn)參數(shù)上。在這些通過測試每個組合來發(fā)現(xiàn)顯著區(qū)域特征之間的一致性具有高計算復(fù)雜度，這些顯著區(qū)域特征被包含在兩個不相關(guān)的集合中。在兩個三維顯著區(qū)域特征集合的情況下，在步驟64，這些特征被縮減到其中心點。在步驟65，利用迭代最近點(ICP)算法對所得到的兩個點云進(jìn)行配準(zhǔn)，該迭代最近點(ICP)算法最小化集合之間的均方誤差。在步驟66，所得到的變換被用于將對準(zhǔn)的圖像特征集合映射到參考圖像空間中。在步驟67，所變換的對準(zhǔn)特征能夠被存儲到kD樹結(jié)構(gòu)中，以便允許快速查詢相對于參考圖像顯著區(qū)域特征的最近N個被變換的對準(zhǔn)特征。根據(jù)初始ICP變換產(chǎn)生點集之間的穩(wěn)定映射的假設(shè)，對所假定的一致性的測試能夠替代對準(zhǔn)圖像顯著特征區(qū)域的整個集合而被縮減到每個參考特征的N個相鄰特征。
為了在顯著特征區(qū)域一致性之間實現(xiàn)更大的精度，在步驟68，通過顯著特征區(qū)域之間的局部強(qiáng)度驅(qū)動的配準(zhǔn)來以子像素精度對準(zhǔn)這些特征中心。在這種情況下，針對預(yù)期最大化優(yōu)化過程的參數(shù)搜索空間包括平移、旋轉(zhuǎn)和尺度參數(shù)。
顯著區(qū)域特征的原理是大量局部不可預(yù)測性或信號復(fù)雜度相對于某個尺度的表達(dá)，其中尺度是指體素周圍的球形區(qū)域的半徑。這種方法根據(jù)不同尺度的圓形區(qū)域的香農(nóng)(Shannon)熵來區(qū)分感興趣點，并且假設(shè)來自不同的相應(yīng)解剖學(xué)結(jié)構(gòu)或功能結(jié)構(gòu)的體素具有相似的顯著性值。顯著性描述的局部屬性為圖像配準(zhǔn)提供了下述主要優(yōu)點即使圖像并沒有重疊，在不同圖像之間相對應(yīng)的顯著區(qū)域特征相對于總空間變換是不變的。
與相符的CT圖像相比，SPECT和PET圖像的觀察表示，局部顯著性最大值的位置經(jīng)?？梢栽谙鄳?yīng)的感興趣結(jié)構(gòu)內(nèi)被局部平移。這能夠通過局部剛性配準(zhǔn)步驟來解決，該局部剛性配準(zhǔn)步驟包括在圖像內(nèi)容沒有發(fā)生變形的情況下根據(jù)局部強(qiáng)度的相關(guān)性將區(qū)域中心子像素準(zhǔn)確地平移到相對應(yīng)的位置。這個步驟保持了針對上面所提及的相對應(yīng)特征的類似顯著值的基本假設(shè)。
針對圖像強(qiáng)度范圍D，如下定義顯著性AD(sp，x)＝HD(sp，x)·WD(sp，x)，其中HD表示相對于在體素位置x和尺度(半徑)s周圍的球形鄰近區(qū)域Rs內(nèi)的圖像強(qiáng)度值i∈D的熵HD(s,x)=-∫Rsp(i,s,x)log2p(i,s,x)di.---(1)]]>這里，p(i，s，x)是針對被包含在Rs中的圖像強(qiáng)度值的描述符i的概率密度函數(shù)(PDF)。WD(s，x)是PDF之間的相似性相對于尺度的度量。WD(s，x)隨著PDF的不相似性的增大而增大WD(s,x)=s∫Rs|∂∂sp(i,s,x)|di.]]>在x處形成HD的局部峰值的尺度sp由下式給出sp={s:∂HD(s,x)∂s=0,∂2HD(s,x)∂2s<0}.---(2)]]>在針對每個體素求解方程式(1)之后，結(jié)果是與輸入圖像大小相等的兩個臨時圖像，這兩個臨時圖像必須被分析一個圖像包含實際的顯著性值，而另一個圖像包括來自方程式(2)的尺度值。利用區(qū)域生長搜索方法，可以從顯著性圖像中提取局部最優(yōu)和最具描述性的顯著區(qū)域點。對于搜索空間的減小，全局顯著性閾值δ被用作下限。根據(jù)本發(fā)明的實施方式，將全局顯著性閾值δ設(shè)成平均顯著性的一半(δ=12A‾)]]>的經(jīng)驗設(shè)置對于排除無意義區(qū)域取得了良好結(jié)果。
基于區(qū)域特征的kD樹結(jié)構(gòu)化的最近點算法能夠確定局部顯著性最大值的位置，這形成了體素位置的列表，這些體素位置根據(jù)其顯著性值進(jìn)行排序。這種方法避免了局部最大值的聚類，如果全局閾值被應(yīng)用并且僅根據(jù)降序的顯著性值提取特征，則例如出現(xiàn)局部最大值的聚類。使用所提取的局部顯著性最大值的區(qū)域中心的索引作為樹葉，創(chuàng)建kD樹。通過查詢特征的區(qū)域中心索引，特定特征的K個最近鄰能夠被有效地找到。因此，到所返回的特征的距離不是以物理單位為量綱，而是以圖像索引為量綱。尺度參數(shù)能夠被用作最小距離要求距離等于或小于所查詢的特征的尺度和具有較低顯著性的所有所返回的特征被從特征集中移除。這種限制能夠被應(yīng)用到整個集合中，以便移除聚類區(qū)域。如果結(jié)果集合要求特定的大小，那么可以在列表中添加滿足距離標(biāo)準(zhǔn)的、有較低顯著性的特征。如果特征中心沒有位于具有較高顯著性值的特征的區(qū)域內(nèi)，那么該特征被保留在該集合中。所得到的三維顯著區(qū)域特征的集合均勻分布，并且為隨后的特征對應(yīng)搜索提供了情況良好的初始集合。
圖1(a)-(e)示出顯著特征區(qū)域的示例性集合。顯著特征區(qū)域在圖1(a)-(b)中用白色圓圈表示。圖1(a)示出對顯著區(qū)域特征的集合進(jìn)行聚類的效果，同時圖1(b)示出通過根據(jù)本發(fā)明的實施方式的方法所選擇的顯著區(qū)域特征。圖1(c)、1(d)和1(e)示出如在分別從CT圖像、PET圖像和MR圖像中提取之后被可視化的最重要的三維顯著區(qū)域特征。顯著區(qū)域特征在圖1(c)-(e)中表現(xiàn)為球形泡。利用特定傳遞函數(shù)來限幅該體積，以便在三維中對特征的位置進(jìn)行可視化，而提取自身已經(jīng)在整個強(qiáng)度范圍上被執(zhí)行。
三維配準(zhǔn)的下一步(被稱作區(qū)域分量匹配步驟)估計所假設(shè)的兩幅圖像的特征之間的對應(yīng)的集合。假設(shè)Ir是指參考圖像且It是指模板圖像，假設(shè)Nr是從Ir中所提取的特征的數(shù)目且Nt是從It中所提取的特征的數(shù)目。所有假設(shè)特征對應(yīng)的集合是C＝{ci，j}，其中i∈[1，Nr]，j∈[1，Nt]，|C|＝Nr×Nt并且其中ci，j＝(fi，fj)是一對Ir中的特征fi和It中的特征fj。
參數(shù)集合Θ限定了對準(zhǔn)兩幅圖像的變換T，并且能夠根據(jù)fi和fj之間的平移、尺度和旋轉(zhuǎn)不變性進(jìn)行估計。fi和fj之間的平移部分能夠根據(jù)下式直接估計Θ^i,jT=pi-pj,]]>其中pi和pj是物理空間中的第i個參考特征和第j個模板特征的中心位置。這種情況下的尺度不變性不是必需的，因為對于根據(jù)本發(fā)明實施方式的三維醫(yī)學(xué)圖像，體素大小被提供在DICOM(醫(yī)學(xué)數(shù)字成像和通信)的報頭中。為了實現(xiàn)旋轉(zhuǎn)不變性，根據(jù)三維顯著特征區(qū)域的強(qiáng)度值，通過這些三維顯著特征區(qū)域的局部剛體配準(zhǔn)來估計旋轉(zhuǎn)參數(shù)。優(yōu)化被限制在旋轉(zhuǎn)參數(shù)子空間ΘR中，并且由強(qiáng)度相似性度量來驅(qū)動，熵校正系數(shù)作為標(biāo)準(zhǔn)化互信息的特定形式由下式確定ECC(A,B)=2-2H(A,B)H(A)+H(B),]]>其中聯(lián)合微分熵H(A，B)能夠被定義成
H(A，B)＝-∫A，Bp(A，B)log2p(A，B)dIdJ，其中積分域是在區(qū)域Ri和RjΘ上，p(A，B)是圖像強(qiáng)度在區(qū)域A和B中的聯(lián)合概率密度，而I和J分別采用If和Im中的可能強(qiáng)度值集合中的值。這個系數(shù)為重疊域提供了提高的穩(wěn)定性，以及一些另外的有利屬性增大的值表示圖像之間增大的相關(guān)性，反之亦然即減小的值表示圖像之間減小的相關(guān)性。因此，旋轉(zhuǎn)不變性能夠用公式表示為ΘR的優(yōu)化問題Θ^i,jR=argmaxΘRECC(fi,fjTΘR).]]>全局圖像相似性度量Lglobal被用來估計M對中的每對的質(zhì)量Lglobal(ci,j)=ECC(Ir,ItTΘ^i,j),]]>其中Lglobal在兩個圖像的整個重疊域上被估計，而不是正好在局部特征區(qū)域上被估計。
隔開大空間距離的特征對不可能是相對應(yīng)的并且能夠從所假設(shè)的相對應(yīng)的集合中被移除，這就減少了聯(lián)合對應(yīng)的搜索空間。因此，對應(yīng)搜索空間能夠從所有對的組合中被減少到僅在局部最鄰近特征之間的組合。通過將集合看作是區(qū)域中心位置周圍的點云來計算參考區(qū)域特征集合與模板區(qū)域特征集合之間的ICP變換，相鄰集合能夠被估計。這種ICP算法利用局部最小均方誤差(MSE)來對準(zhǔn)特征集合。該結(jié)果被用來將所有模板特征變換成參考圖像的坐標(biāo)空間，并將所有模板特征存儲到新的kD樹中。然后，針對參考圖像中的每個顯著特征，大致最鄰近的特征能夠在樹的快速搜索中被確定。所變換的模板特征的最鄰近特征的數(shù)目Nn是比集合的整個基數(shù)小得多的值Nn＜＜Nt，所述最鄰近特征和每個參考特征組合在一起。根據(jù)初始ICP變換是實際對準(zhǔn)變換的良好近似的假設(shè)，并且根據(jù)如果特征相隔更大距離那么這些特征更不可能相對應(yīng)的假設(shè)，這將復(fù)雜度減小到Nr×Nn。Nr×Nn個特征對在其平移不變性 旋轉(zhuǎn)不變性 和全局圖像相似性度量Lglobal(ci，j)的基礎(chǔ)上針對其對應(yīng)質(zhì)量進(jìn)行測試，所述平移不變性 旋轉(zhuǎn)不變性 和全局圖像相似性度量Lglobal(ci，j)能夠通過在整個對準(zhǔn)的圖像上施加局部特征變換來實現(xiàn)。
在根據(jù)本發(fā)明的實施方式執(zhí)行的實驗中，Nn＝(1/10)％Nt的鄰域大小已經(jīng)被成功地用來建立聯(lián)合對應(yīng)的初始搜索空間。此外，假定對應(yīng)通過全局相似性度量Lglobal來排序，這在所估計的對應(yīng)集合中導(dǎo)致更少的逸出值。
圖2(a)-(d)示出CT體積的切片(左部)，該切片已經(jīng)被平移、旋轉(zhuǎn)和覆蓋到原始切片上。圓圈表示具有特定尺度的顯著特征區(qū)域。根據(jù)Lglobal已經(jīng)執(zhí)行了排序，并且整個集合包含很少的逸出值。為了清楚起見，針對每種方法只示出前四個對應(yīng)。
大小為M的假定對應(yīng)C={ci1,j1,...,ciM,jM}]]>的集合被用來估計兩幅圖像之間的變換T，所述集合以算法的特征對應(yīng)搜索計算出來。這種變換不是十分準(zhǔn)確，因為其參數(shù)根據(jù)被約束到離散圖像網(wǎng)格位置上的特征來計算。如較早提及的那樣，一些特征對沒有被放置在精確對應(yīng)的空間位置上。因此，所得到的集合可以包含逸出值和在反方向上使變換發(fā)生偏差的誤差。在下述步驟中，Θ和C在子像素準(zhǔn)確的迭代過程中被細(xì)化，以便實現(xiàn)更準(zhǔn)確的對準(zhǔn)。
利用JC和n[M來優(yōu)化聯(lián)合對應(yīng)集合J={ci1,j1,ci2,j2,...,cin,jn}]]>是值得期待的，該聯(lián)合對應(yīng)集合包含子像素準(zhǔn)確對準(zhǔn)的特征對并且在理想情況下不包含逸出值。優(yōu)化后的聯(lián)合對應(yīng)集合的元素被用作ICP算法的輸入，以便計算使全局圖像相似性最大的變換J^=argmaxJLglobal(J)=argmaxJECC(Ir,IjTi).]]>為了將特征對的數(shù)目保持在低值并保持配準(zhǔn)效率，使用具有有限迭代步驟數(shù)的期望最大化(EM)類算法。在每次迭代中，從被逐步細(xì)化的聯(lián)合對應(yīng)集合Jk_J中計算出變換TJk。Lglobal被用作細(xì)化過程的收斂標(biāo)準(zhǔn)。一旦區(qū)域特征對已經(jīng)以子像素精度被局部配準(zhǔn)，這個特定對的下述配準(zhǔn)并沒有增強(qiáng)這個對應(yīng)的質(zhì)量，并且能夠被忽略。因此，在每一個迭代步驟期間，通過只細(xì)化被迭代添加的特征對位置，計算時間能夠被節(jié)省下來。
在圖3中示出優(yōu)化聯(lián)合對應(yīng)集合和配準(zhǔn)變換的EM類算法的流程圖。所述算法利用包含C中最前面兩個對的聯(lián)合對應(yīng)集合J0={ci1,j1,ci2,j2}]]>來初始化。對于這些初始對應(yīng)，通常使用已排序集合的特征對中最好的兩對，所述特征對在前一步中被獲取。局部剛性配準(zhǔn)被用來以子像素精度細(xì)化對應(yīng)的顯著區(qū)域特征?，F(xiàn)在參考該圖，在步驟31，子像素細(xì)化特征對應(yīng)的當(dāng)前集合被提供。在步驟32(估計步驟)，針對所有ci，j∈C∧ci，jJ*，計算全局相似性度量Lglobal(J*∪ci，j)。在步驟33(最大化步驟)中，選擇使Lglobal(J*∪ci，j)最大化的 然后，在步驟34，如果獲得最大的Lglobal(J*∪ci，j)[Lglobal(J*)，那么變換TJ*在步驟35被返回并且結(jié)束該算法。否則，在步驟36，利用局部剛性變換以子像素精度來對最大化特征對 進(jìn)行配準(zhǔn)，以細(xì)化特征中心。在步驟37，細(xì)化后的特征對 被增加到集合J*J*←J*∪ci^,j^*]]>中，并且變換TJ*在步驟38中被重算。然后，步驟32-38被重復(fù)直到收斂。
根據(jù)本發(fā)明實施方式的算法已經(jīng)對各種同一患者的三維醫(yī)學(xué)圖像進(jìn)行了測試。已經(jīng)對在不同時間獲取的11個PET-CT體積對、3個不同治療階段的CT體積以及10個來自混合掃描儀的SPECT-CT體積對執(zhí)行了測量。根據(jù)本發(fā)明實施方式的方法必須與不同模態(tài)、噪聲、變化視野和一些PET-CT對中的圖像強(qiáng)度偽像相競爭，其中一些切片具有在輸入期間沒有被校正的不同強(qiáng)度尺度。圖4(a)-(c)是顯示全部測量距離和標(biāo)準(zhǔn)偏差的表格，這些測量距離分別是針對以cm為單位給出的x、y和z方向上的PET-CT、CT-CT和SPECT-CT體積對。通過測量若干感興趣點之間的距離由醫(yī)學(xué)專家來評定PET-CT和CT-CT的配準(zhǔn)質(zhì)量，這些感興趣點是肺右尖和左尖，心尖，肝圓形邊緣(liverr oundend)，左上和右上以及左下和右下腎緣。當(dāng)10個SPECT-CT圖像已經(jīng)由現(xiàn)有技術(shù)的混合掃描儀獲取時，醫(yī)生嚴(yán)格隨著x、y和z方向上從10到50mm的變化以及圍繞每個軸從5到60度范圍內(nèi)變化的旋轉(zhuǎn)手動撤銷配準(zhǔn)(deregister)SPECT圖像。在配準(zhǔn)之后，若干可識別的標(biāo)志點已經(jīng)在CT和SPECT圖像上由醫(yī)學(xué)專家選出。
已經(jīng)在包含噪聲或偽像的實時醫(yī)學(xué)圖像上進(jìn)行了實驗，該噪聲或偽像是由于切片之間強(qiáng)度定標(biāo)的變化。這些問題在配準(zhǔn)之前沒有被解決，以便用這樣的數(shù)據(jù)來測試根據(jù)本發(fā)明實施方式的算法。圖5(a)-(c)示出來自融合配準(zhǔn)結(jié)果圖像的三個切片，這些融合配準(zhǔn)結(jié)果圖像使用根據(jù)本發(fā)明的實施方式的算法獲取到，并且分別來自PET-CT圖像對、具有強(qiáng)度偽像的CT-CT圖像對和SPECT-CT圖像對。盡管在上述圖像對中作為后者的CT圖像使用有限視野來獲取并且包含大量噪聲，但是所提出的配準(zhǔn)得到了可接受的準(zhǔn)確度。剩余的誤配準(zhǔn)可以用本發(fā)明的非剛性變換的實施方式來解決。
醫(yī)學(xué)專家使用用于可視化和測量的專用可視化軟件來評定這些結(jié)果。針對該評估，醫(yī)學(xué)專家可以在使用三維感興趣區(qū)域的質(zhì)心和標(biāo)志點位置的直接標(biāo)志點之間做出選擇。通過將融合可視化和一些附加測量工具集成到再現(xiàn)軟件中，這項任務(wù)得到了支持。在PET-CT情況下，z方向上的較高的標(biāo)準(zhǔn)偏差是顯而易見的。出現(xiàn)這種情況的原因可能來源于采集模型之間的差別。CT圖像顯示出一次呼吸快照，而PET圖像則在多個呼吸周期上被采集，并且或多或少地描述了平均呼吸運動。由于隔膜的這種運動，腹部區(qū)域中的一些器官被抬升和降低，這就導(dǎo)致了在數(shù)據(jù)采樣中看到的較大的偏差。針對這個實驗所使用的根據(jù)本發(fā)明實施方式的算法僅進(jìn)行對剛性變換進(jìn)行建模，而并沒有對這樣的局部變形進(jìn)行建模。對于CT-CT數(shù)據(jù)，這種效應(yīng)不再占優(yōu)勢，因為在兩種采集中理想情況下患者吸氣是相同的。SPECT-CT數(shù)據(jù)固有地匹配很好，并且SPECT上的用戶定義的剛性變換并沒有引入局部變形。因此，可以預(yù)期到對于這些情況會有良好的配準(zhǔn)結(jié)果。
在所有結(jié)果中，因為醫(yī)學(xué)專家必須通過點擊各種切片視圖中的位置來手動地指定位置，所以特定的測量誤差被引入。但是，在已進(jìn)行的這種類型的評估實驗中，(觀察者之間和同一觀察者)在若干測量步驟中指定感興趣點的距離的平均差不超過3mm。
應(yīng)當(dāng)理解，本發(fā)明能夠用硬件、軟件、固件、專用過程或者其組合的各種形式來實現(xiàn)。在一個實施方式中，本發(fā)明能夠用軟件實現(xiàn)為應(yīng)用程序，該應(yīng)用程序確實被包含在計算機(jī)可讀的程序存儲裝置上。應(yīng)用程序能夠被上傳到包括任何恰當(dāng)結(jié)構(gòu)的機(jī)器，并被該機(jī)器執(zhí)行。
圖7是用于實現(xiàn)根據(jù)本發(fā)明的實施方式的三維配準(zhǔn)過程的示例性計算機(jī)系統(tǒng)的框圖?，F(xiàn)在參考圖7，用于實現(xiàn)本發(fā)明的計算機(jī)系統(tǒng)71尤其可包括中央處理單元(CPU)72，存儲器73和輸入/輸出(I/O)接口74。計算機(jī)系統(tǒng)71通常通過I/O接口74與顯示器75和諸如鼠標(biāo)和鍵盤的各種輸入裝置76連接。所述支持電路可包括諸如高速緩沖存儲器、電源、時鐘電路和通信總線的電路。存儲器73可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、磁盤驅(qū)動器、磁帶驅(qū)動器等或其組合。本發(fā)明能夠被實施為例行程序77，該例行程序77被存儲在存儲器73中并通過CPU 72執(zhí)行，以處理來自信號源78的信號。因而，該計算機(jī)系統(tǒng)71是通用計算機(jī)系統(tǒng)，該通用計算機(jī)系統(tǒng)在執(zhí)行本發(fā)明的例行程序77時成為專用計算機(jī)系統(tǒng)。
所述計算機(jī)系統(tǒng)71也包括操作系統(tǒng)和微指令代碼。在此所描述的各種過程和功能也可以是所述微指令代碼的部分或通過操作系統(tǒng)執(zhí)行的應(yīng)用程序的部分(或其組合)。另外，可以將各種其他外圍裝置連接到該計算機(jī)平臺上，諸如附加的數(shù)據(jù)存儲裝置和打印裝置被連接到該計算機(jī)平臺。
還應(yīng)當(dāng)理解，因為附圖中所描述的一些組成系統(tǒng)部件和方法步驟可以用軟件實施，所以系統(tǒng)部件(或過程步驟)之間的實際連接可以不同，這取決于本發(fā)明被編程的方式。給出在此所提供的本發(fā)明的教導(dǎo)，相關(guān)領(lǐng)域的技術(shù)人員能夠設(shè)想到本發(fā)明的這些和類似的實施方式或配置。
雖然已參考優(yōu)選實施方式對本發(fā)明進(jìn)行了詳細(xì)說明，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不背離如所附權(quán)利要求中所闡述的本發(fā)明的精神和范圍的情況下可對其進(jìn)行各種修改和替換。
權(quán)利要求
1.一種對準(zhǔn)一對圖像的方法，該方法包括如下步驟提供具有第一圖像和第二圖像的一對圖像，其中所述圖像包括多個對應(yīng)于三維空間中的像素域的強(qiáng)度；在第一圖像和第二圖像中均標(biāo)識顯著特征區(qū)域，其中每個區(qū)域都與空間尺度相關(guān)；通過每個區(qū)域的中心點來表示特征區(qū)域；根據(jù)局部強(qiáng)度將一幅圖像的特征點與另一幅圖像的特征點進(jìn)行配準(zhǔn)；通過類似性度量來對所述特征對進(jìn)行排序；以及通過將中心點細(xì)化到子像素精度來優(yōu)化特征對的聯(lián)合對應(yīng)集合。
2.根據(jù)權(quán)利要求1所述的方法，還包括在kD樹中表示一幅圖像的顯著特征區(qū)域中心點；查詢所述kD樹的每個特征來找到一組最鄰近的特征；以及從所述樹中移除具有較低顯著性值的那些最鄰近特征和在所述每個特征的尺度內(nèi)具有中心點的那些最鄰近特征，其中獲得顯著特征區(qū)域在所述圖像中的基本上均勻的分布。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述空間尺度是包括所述特征區(qū)域的球形的半徑。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述kD樹使用所述顯著特征區(qū)域中心點的圖像像素索引作為樹葉，并且其中，從特征區(qū)域到最鄰近特征區(qū)域的距離以圖像索引為單位。
5.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)局部強(qiáng)度對特征點進(jìn)行配準(zhǔn)還包括使用所述第一圖像和所述第二圖像之間的迭代最近點變換來估計初始配準(zhǔn)將所述第二圖像的所有特征變換到所述第一圖像的坐標(biāo)空間中；將所述所變換的特征存儲在kD樹中，并且根據(jù)預(yù)定的選擇標(biāo)準(zhǔn)查詢所述樹的所述第一圖像中的每個特征，以選擇所述第二圖像中的那些最鄰近特征；和在所述第一圖像和所述第二圖像中測試所述特征的所選擇的特征對的平移不變性、旋轉(zhuǎn)不變性和全局圖像相似性度量，其中，通過所述所選擇的特征對的全局圖像相似性度量值來對所述所選擇的特征對進(jìn)行排序。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述迭代最近點變換最小化了每組特征點之間的均方誤差。
7.根據(jù)權(quán)利要求5所述的方法，其中，測試所述平移不變性包括估計Θ^i,jT=pi-pj,]]>其中pi和pj是第i個第一圖像特征和第j個第二圖像特征在物理空間中的中心位置坐標(biāo)。
8.根據(jù)權(quán)利要求5所述的方法，其中，測試所述旋轉(zhuǎn)不變性包括估計Θ^i,jR=argmaxΘRECC(fi,fiTΘR),]]>其中(fi，fj)分別表示所述第一圖像和所述第二圖像中的所述特征對，ECC(fi,fj)=2-2H(fi,fj)H(fi)+H(fj),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的球形鄰近特征區(qū)域fs內(nèi)的圖像強(qiáng)度值的熵，H被定義為HD(s,x)=-∫Rsp(i,s,x)log2p(i,s,x)di,]]>其中p(i，s，x)是被包含在f中的圖像強(qiáng)度值i的概率密度函數(shù)，其中H(fi，fj)是聯(lián)合微分熵，H(fi，fj)被定義為H(fi,fj)=-∫fi,fjp(fi,fj)log2p(fi,fj)dIdJ,]]>其中p(fi，fj)是特征區(qū)域fi和fj中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值。
9.根據(jù)權(quán)利要求5所述的方法，其中，測試所述全局圖像相似性度量包括估計Lglobal(ci,j)=ECC(Ir,ItTΘ^i,j),]]>其中Ir表示所述第一圖像， 表示所述第二圖像到所述第一圖像的坐標(biāo)空間上的所述變換，ECC(Ir,ItTΘ^i,j)=2-2H(Ir,ItTΘ^i,j)H(Ir)+H(HtTΘ^i,j),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的所述圖像中的一幅圖像內(nèi)的圖像強(qiáng)度值的熵，H被定義為H(s，x)＝-∫Ip(i，s，x)log2p(i，s，x)di，其中p(i，s，x)是被包含在I中的圖像強(qiáng)度值i的概率密度函數(shù)，其中 是聯(lián)合微分熵， 被定義為H(Ir,ItTΘ^i,j)=-∫Ir,ItTΘ^i,jp(Ir,ItTΘ^i,j)log2p(Ir,ItTΘ^i,j)dIdJ,]]>其中 是圖像Ir和 中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值，并且其中Lglobal在所述第一和第二圖像的整個重疊域上被評估。
10.根據(jù)權(quán)利要求1所述的方法，其中，優(yōu)化特征對的聯(lián)合對應(yīng)集合還包括利用根據(jù)所述相似性度量為最相似的特征對來對所述聯(lián)合對應(yīng)集合進(jìn)行初始化；針對所述聯(lián)合對應(yīng)集合與沒有已被包括在所述聯(lián)合對應(yīng)集合中的每個特征對的并集估計所述相似性度量；選擇最大化所述并集的相似性度量的特征對，其中，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量大于該聯(lián)合對應(yīng)集合的相似性度量，則所述最大化特征對利用局部剛性變換以子像素精度進(jìn)行配準(zhǔn)并且被增加到所述聯(lián)合對應(yīng)集合中。
11.根據(jù)權(quán)利要求10所述的方法，其中，通過使用迭代最近點過程計算特征對之間的配準(zhǔn)變換來使所述相似性度量最大化。
12.根據(jù)權(quán)利要求10所述的方法，其中，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量小于或等于該聯(lián)合對應(yīng)集合的相似性度量，則提供配準(zhǔn)變換，所述配準(zhǔn)變換由最大化所述相似性度量的特征對之間的配準(zhǔn)變換計算得到。
13.一種對準(zhǔn)一對圖像的方法，該方法包括如下步驟提供具有第一圖像和第二圖像的一對圖像，其中，所述圖像包括多個對應(yīng)于三維空間中的像素域的強(qiáng)度；在第一圖像和第二圖像中均標(biāo)識顯著特征區(qū)域，其中每個區(qū)域都與空間尺度相關(guān)；使用所述第一圖像和所述第二圖像之間的迭代最近點變換來估計初始配準(zhǔn)；將所述第二圖像的所有特征變換到所述第一圖像的坐標(biāo)空間；將所述所變換的特征存儲在kD樹中，并且根據(jù)預(yù)定的選擇標(biāo)準(zhǔn)來查詢所述樹的所述第一圖像中的每個特征，以選擇所述第二圖像中的那些最鄰近特征；在所述第一圖像和所述第二圖像中測試所述特征的所選擇的特征對的平移不變性、旋轉(zhuǎn)不變性和全局圖像相似性度量；以及通過所述所選擇的特征對的全局圖像相似性度量值來對所述所選擇的特征對進(jìn)行排序。
14.根據(jù)權(quán)利要求13所述的方法，還包括通過每個區(qū)域的中心點表示特征區(qū)域；將一幅圖像的所述特征區(qū)域中心點存儲在kD樹中；查詢所述kD樹的每個特征來找到一組最鄰近特征；以及從所述樹中移除具有較低顯著性值的那些最鄰近特征和在所述每個特征的尺度內(nèi)具有中心點的那些最鄰近特征，其中，獲得顯著特征區(qū)域在所述圖像中的基本上均勻的分布。
15.根據(jù)權(quán)利要求13所述的方法，還包括利用根據(jù)所述相似性度量為最相似的特征對來對聯(lián)合對應(yīng)集合進(jìn)行初始化；針對所述聯(lián)合對應(yīng)集合與沒有已被包括在所述聯(lián)合對應(yīng)集合中的每個特征對的并集估計所述相似性度量；選擇最大化所述并集的相似性度量的特征對，其中，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量大于該聯(lián)合對應(yīng)集合的相似性度量，則所述最大化特征對利用局部剛性變換以子像素精度進(jìn)行配準(zhǔn)并且被增加到所述聯(lián)合對應(yīng)集合中；其中，所述全局圖像相似性度量被定義為Lglobal(ci,j)=ECC(Ir,ItTΘ^i,j),]]>其中Ir表示所述第一圖像， 表示所述第二圖像到所述第一圖像的坐標(biāo)空間上的所述變換，ECC(Ir,ItTΘ^i,j)=2-2H(Ir,ItTΘ^i,j)H(Ir)+H(HtTΘ^i,j),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的所述圖像中的一幅圖像內(nèi)的圖像強(qiáng)度值的熵，H被定義為H(s，x)＝-∫Ip(i，s，x)log2p(i，s，x)di，其中p(i，s，x)是被包含在I中的圖像強(qiáng)度值i的概率密度函數(shù)，其中 是聯(lián)合微分熵， 被定義為H(Ir,ItTΘ^i,j)=-∫Ir,ItTΘ^i,jp(Ir,ItTΘ^i,j)log2p(Ir,ItTΘ^i,j)dIdJ,]]>其中 是圖像Ir和 中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值，并且其中Lglobal在所述第一和第二圖像的整個重疊域上被評估。
16.一種計算機(jī)可讀程序存儲裝置，其確實地包含了可由計算機(jī)執(zhí)行的程序指令，以執(zhí)行用于對準(zhǔn)一對圖像的方法步驟，所述方法包括如下步驟提供具有第一圖像和第二圖像的一對圖像，其中所述圖像包括多個對應(yīng)于三維空間中的像素域的強(qiáng)度；在第一圖像和第二圖像中均標(biāo)識顯著特征區(qū)域，其中每個區(qū)域都與空間尺度相關(guān)；通過每個區(qū)域的中心點來代表特征區(qū)域；根據(jù)局部強(qiáng)度將一幅圖像的特征點與另一幅圖像的特征點進(jìn)行配準(zhǔn)；通過類似性度量來對所述特征對進(jìn)行排序；以及通過將中心點細(xì)化到子像素精度來優(yōu)化特征對的聯(lián)合對應(yīng)集合。
17.根據(jù)權(quán)利要求16所述的計算機(jī)可讀程序存儲裝置，所述方法還包括在kD樹中表示一幅圖像的顯著特征區(qū)域中心點；查詢所述kD樹的每個特征來找到一組最鄰近特征；以及從所述樹中移除具有較低顯著性值的那些最鄰近特征和在所述每個特征的尺度內(nèi)具有中心點的那些最鄰近特征，其中，獲得顯著特征區(qū)域在所述圖像中的基本上均勻的分布。
18.根據(jù)權(quán)利要求16所述的計算機(jī)可讀程序存儲裝置，其中，所述空間尺度是包括所述特征區(qū)域的球形的半徑。
19.根據(jù)權(quán)利要求17所述的計算機(jī)可讀程序存儲裝置，其中，所述kD樹使用所述顯著特征區(qū)域中心點的圖像像素索引作為樹葉，并且其中，從特征區(qū)域到最鄰近特征區(qū)域的距離以圖像索引為單位。
20.根據(jù)權(quán)利要求16所述的計算機(jī)可讀程序存儲裝置，其中，根據(jù)局部強(qiáng)度對特征點進(jìn)行配準(zhǔn)還包括使用所述第一圖像和所述第二圖像之間的迭代最近點變換來估計初始配準(zhǔn)將所述第二圖像的所有特征變換到所述第一圖像的坐標(biāo)空間中；將所述所變換的特征存儲在kD樹中，并且根據(jù)預(yù)定的選擇標(biāo)準(zhǔn)查詢所述樹的所述第一圖像中的每個特征，以選擇所述第二圖像中的那些最鄰近特征；和在所述第一圖像和所述第二圖像中測試所述特征的所選擇的特征對的平移不變性、旋轉(zhuǎn)不變性和全局圖像相似性度量，其中，通過所述所選擇的特征對的全局圖像相似性度量值來對所述所選擇的特征對進(jìn)行排序。
21.根據(jù)權(quán)利要求20所述的計算機(jī)可讀程序存儲裝置，其中，所述迭代最近點變換最小化每組特征點之間的均方誤差。
22.根據(jù)權(quán)利要求20所述的計算機(jī)可讀程序存儲裝置，其中，測試所述平移不變性包括估計Θ^i,jT=pi-pj,]]>其中pi和pj是第i個第一圖像特征和第j個第二圖像特征在物理空間中的中心位置坐標(biāo)。
23.根據(jù)權(quán)利要求20所述的計算機(jī)可讀程序存儲裝置，其中，測試所述旋轉(zhuǎn)不變性包括估計Θ^i,jR=argmaxΘRECC(fi,fiTΘR),]]>其中(fi，fj)分別表示所述第一圖像和所述第二圖像中的所述特征對，ECC(fi,fj)=2-2H(fi,fj)H(fi)+H(fj),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的球形鄰近特征區(qū)域fs內(nèi)的圖像強(qiáng)度值的熵，H被定義為HD(s,x)=-∫Rsp(i,s,x)log2p(i,s,x)di,]]>其中p(i，s，x)是被包含在f中的圖像強(qiáng)度值i的概率密度函數(shù)，其中H(fi，fj)是聯(lián)合微分熵，H(fi，fj)被定義為H(fi,fj)=-∫fi,fjp(fi,fj)log2p(fi,fj)dIdJ,]]>其中p(fi，fj)是特征區(qū)域fi和fj中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值。
24.根據(jù)權(quán)利要求20所述的計算機(jī)可讀程序存儲裝置，其中，測試所述全局圖像相似性度量包括估計Lglobal(ci,j)=ECC(Ir,ItTΘ^i,j),]]>其中Ir表示所述第一圖像， 表示所述第二圖像到所述第一圖像的坐標(biāo)空間上的所述變換，ECC(Ir,ItTΘ^i,j)=2-2H(Ir,ItTΘ^i,j)H(Ir)+H(HtTΘ^i,j),]]>其中H表示相對于在體素位置x和所述空間尺度s周圍的所述圖像中的一幅圖像內(nèi)的圖像強(qiáng)度值的熵，其被定義為H(s，x)＝-∫Ip(i，s，x)log2p(i，s，x)di，其中p(i，s，x)是被包含在I中的圖像強(qiáng)度值i的概率密度函數(shù)，其中 是聯(lián)合微分熵， 被定義為H(Ir,ItTΘ^i,j)=-∫Ir,ItTΘ^i,jp(Ir,ItTΘ^i,j)log2p(Ir,ItTΘ^i,j)dIdJ,]]>其中 是圖像Ir和 中的圖像強(qiáng)度的聯(lián)合概率密度，并且I和J分別在所述第一和第二圖像中的可能的強(qiáng)度值的集合中取值，并且其中Lglobal在所述第一和第二圖像的整個重疊域上被評估。
25.根據(jù)權(quán)利要求16所述的計算機(jī)可讀程序存儲裝置，其中，優(yōu)化特征對的聯(lián)合對應(yīng)集合還包括利用根據(jù)所述相似性度量為最相似的特征對來對所述聯(lián)合對應(yīng)集合進(jìn)行初始化；針對所述聯(lián)合對應(yīng)集合與沒有已被包括在所述聯(lián)合對應(yīng)集合中的每個特征對的并集估計所述相似性度量；選擇最大化所述并集的相似性度量的特征對，其中，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量大于該聯(lián)合對應(yīng)集合的相似性度量，則所述最大化特征對利用局部剛性變換以子像素精度進(jìn)行配準(zhǔn)并且被增加到所述聯(lián)合對應(yīng)集合中。
26.根據(jù)權(quán)利要求25所述的計算機(jī)可讀程序存儲裝置，其中，通過使用迭代最近點過程計算特征對之間的配準(zhǔn)變換來使所述相似性度量最大化。
27.根據(jù)權(quán)利要求25所述的計算機(jī)可讀程序存儲裝置，其中，如果所述最大化特征對與所述聯(lián)合對應(yīng)集合的并集的相似性度量小于或等于該聯(lián)合對應(yīng)集合的相似性度量，則提供配準(zhǔn)變換，所述配準(zhǔn)變換由最大化所述相似性度量的特征對之間的配準(zhǔn)變換計算得到。
全文摘要
一種用于對準(zhǔn)一對圖像的方法包括提供一對圖像；在第一圖像和第二圖像中標(biāo)識(60)顯著特征區(qū)域，其中每個區(qū)域與空間尺度相關(guān)；通過每個區(qū)域的中心點來表示(64)特征區(qū)域；根據(jù)局部強(qiáng)度將一幅圖像的特征點與另一幅圖像的特征點進(jìn)行配準(zhǔn)(65)；通過相似性度量對所述特征對進(jìn)行排序；并且通過將中心點細(xì)化(68)到子像素精度來優(yōu)化特征對的聯(lián)合對應(yīng)集合。
文檔編號G06T7/00GK1920882SQ20061012620
公開日2007年2月28日 申請日期2006年8月24日 優(yōu)先權(quán)日2005年8月24日
發(fā)明者C·徐, D·哈恩, Y·孫, F·紹爾 申請人:西門子共同研究公司