專利名稱：一種圖像拼接方法
技術(shù)領(lǐng)域：
本發(fā)明提供一種圖像拼接方法，尤其涉及一種將多幅二維圖像按時間順序進(jìn)行配 準(zhǔn)、融合、拼接以及生成全景圖像處理的方法。
背景技術(shù)：
圖像拼接(image mosaic)是計算機(jī)視覺熱門的研究領(lǐng)域，已經(jīng)成為多媒體、醫(yī)學(xué) 圖像處理和計算機(jī)圖形學(xué)領(lǐng)域中的熱點問題。圖像拼接問題可以定義成對一系列空間重疊 的圖像進(jìn)行特征提取、運動參數(shù)估計及圖像融合和增強的處理過程，最終生成一個無縫的、 高分辨率的寬視角圖像。圖像拼接技術(shù)主要分為三個主要步驟圖像預(yù)處理、圖像配準(zhǔn)、圖像融合與邊界平 滑，圖像預(yù)處理主要指圖像配準(zhǔn)前，將圖像進(jìn)行噪聲抑制、紋理和對比度的增強以及直方圖 的歸一化等預(yù)處理，使配準(zhǔn)圖和活動圖不存在明顯的差異。圖像預(yù)處理主要是為圖像配準(zhǔn) 做準(zhǔn)備，讓圖像質(zhì)量能夠滿足圖像配準(zhǔn)的要求如果圖像質(zhì)量不理想時不經(jīng)過圖像預(yù)處理 就進(jìn)行圖像配準(zhǔn)，很容易造成兩幅圖像中的一些子區(qū)域之間或特征點之間的誤匹配。圖像 配準(zhǔn)主要指基于配準(zhǔn)圖和活動圖中的圖像關(guān)鍵特征或灰度信息，尋找最佳的匹配特征點或 子區(qū)域，搜索每個子區(qū)域?qū)蛱卣鼽c對之間運動向量，最終估計出兩幅圖像之間的全局的、 線性或非線性的運動變換參數(shù)。圖像拼接的成功與否關(guān)鍵是圖像的配準(zhǔn)的效果。然而，通常的待配準(zhǔn)的醫(yī)學(xué)圖像 之間，不同目標(biāo)區(qū)域可能存在多種非線性變換，或者存在大面積的無明顯特區(qū)域(如均勻 紋理區(qū)域或同色區(qū)域等)，這些情況大大增加了圖像匹配的難度和挑戰(zhàn)。因此，一個好的圖 像配準(zhǔn)算法應(yīng)該能夠在多種情況下準(zhǔn)確找到圖像間的對應(yīng)息和特征點，將圖像對齊。圖像融合指在完成圖像匹配以后，對圖像進(jìn)行拼接、縫合，并對縫合的邊界進(jìn)進(jìn)行 平滑處理，讓縫合邊界區(qū)域自然過渡。圖像配準(zhǔn)主要基于活動圖和配準(zhǔn)圖中的匹配特征或灰度信息，尋找最佳匹配的特 征點對或圖像子區(qū)域?qū)Γ嬎忝總€特征點對或子區(qū)域?qū)﹂g的運動向量，并估計兩幅圖像之 間的全局的線性或非線性的運動變換參數(shù)。大多數(shù)超聲圖像拼接技術(shù)采用最小二乘法原則 估計全局的運動變換參數(shù)，如US5782766，CN1839760A, CN101455576A等都采用最小二乘法 則來估計全局運動參數(shù)，而且由于處理時間上的限制，參數(shù)估計和特征點匹配都是通過一 次迭代完成。應(yīng)用SAD相關(guān)的方法對提取的特征點或子區(qū)域進(jìn)行匹配的準(zhǔn)確率較低，，而且即 使在較為理想的匹配結(jié)果中，有一部分特征點或子區(qū)域會落在在局部的運動組織上時，這 樣特征點或子區(qū)域便成為所謂的孤立點(outlier)，會造成運動估計的誤差，這主要是由于 局部的組織運動區(qū)域和背景有不同的運動參數(shù)，而基于灰度值的SAD匹配結(jié)果再直接應(yīng)用 最小二乘法估計運動變換參數(shù)的方法無法克服孤立點所造成的影響。大部分醫(yī)學(xué)圖像拼接、配準(zhǔn)方法都基于特征點或子區(qū)域的匹配來完成運動估計， 找到匹配的特征點對或子區(qū)域?qū)χ?，再?yīng)用貝葉斯估計來完成對運動參數(shù)的計算，這樣的配準(zhǔn)過程通常無法收斂到最優(yōu)解而且耗時較長，一個較為直觀的辦法用迭代近鄰點算 法(Iterative Closest Point Method)來提高配準(zhǔn)精度，簡稱ICP算法，這樣使得運動參 數(shù)估計得以收斂到一個狀態(tài)空間的最佳點。然而，ICP算法的有效性非常依賴于運動參數(shù) 的初始值，為了有效解決這一問題，該技術(shù)方案考慮應(yīng)用圖像拼接中的傳統(tǒng)Ransac算法來 搜索一個較為聯(lián)想的運動參數(shù)的初始值?，F(xiàn)有圖像拼接技術(shù)都是在配準(zhǔn)圖的相應(yīng)的特征點或子區(qū)域的一個更大的圖像 領(lǐng)域內(nèi)，搜索與活動圖相匹配的特征點和子區(qū)域來實現(xiàn)特征點匹配算法的，該匹配方 法的缺點是搜索過程非常耗時，而應(yīng)用啟發(fā)性搜索只有可能找到一個局部最優(yōu)解，如 CN101455576A應(yīng)用爬山法來解決特征點匹配算法的耗時問題。CN1839760A指出，由于噪音 和組織運動等因素，會造成特征點的運動偏移量的誤差，但其并沒有給出有效的解決辦法。 運動的目標(biāo)區(qū)域內(nèi)的特征點通常不參與運動參數(shù)的估計，這是由于運動區(qū)域的特征點本身 通常不是剛性運動，當(dāng)目標(biāo)區(qū)域運動速度較快時，可以考慮對運動區(qū)域進(jìn)行有效的檢測并 單獨進(jìn)行配準(zhǔn)。綜上所述，現(xiàn)有圖像拼接技術(shù)無法解決特征點或子區(qū)域的匹配精度差問題，也無 法有效地處理運動目標(biāo)對剛性配準(zhǔn)參數(shù)估計造成的影響，以及特征點和子區(qū)域匹配搜索算 法的耗時問題。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像拼接方法，本發(fā)明考慮到應(yīng)用視頻處理中的運動檢測技術(shù)， 在每個特征點上，計算偽運動向量(pseudo motion vector)用來補償已經(jīng)估計到的運動 向量，這樣的處理不僅可以縮小在特征點匹程中的搜索范圍，而且可以更快速到找到最優(yōu) 匹配，從而為直接地解決圖像中由于感興趣目標(biāo)區(qū)域運動而產(chǎn)生的圖像配準(zhǔn)誤差。本發(fā)明 提出應(yīng)用運動補償方案以及運動目標(biāo)區(qū)域的濾除方法，更快速到找到最優(yōu)的匹配的運動向 量，并且可以有效地減輕運動目標(biāo)區(qū)域所帶來的圖像配準(zhǔn)誤差。本發(fā)明為解決上述技術(shù)問題所采用的技術(shù)方案為一種圖像拼接方法，圖像序列為，I1,...，Ii;...，In，其時間間隔為Δ，包括以下步 驟A.建立二維坐標(biāo)，將第一幀圖像設(shè)成配準(zhǔn)圖f和拼接圖Xtl,并設(shè)置活動圖g = I2 和處理步長為Δ = 1及i = 2 ；B.在活動圖g上尋找一系列特征點F= {(xj; yj) I j = 1，...，m}，其中(Xj，Yj) 為第j個特征點在活動圖中的位置即坐標(biāo)值；C.基于特征點集F，迭代搜索初始的最優(yōu)的子集f c F，使得初始運動參數(shù)估計 T0 = ( 。, Cf , C07 )最佳，其中α ^為運動變換中的旋轉(zhuǎn)角度，Cf和C〖分別是在Xx軸方向和Y 軸方向的位移參數(shù)；D.對每個特征點，估計在配準(zhǔn)圖上所對應(yīng)的特征點的位置{(Χ*」，y*」)e f I j = 1，. . .，m}，并迭代求解一組最佳的運動參數(shù)；E.基于估計到的運動參數(shù)T = (a,Cx，CY)，將當(dāng)前活動圖Ii拼接到當(dāng)前拼接圖， 再將活動圖其設(shè)置成配準(zhǔn)圖，若拼接的圖像寬度大于顯示圖像窗口，則將圖像中所有像素 點向后平移至圖像新拼接的部分或區(qū)域可以完全顯示出來；
F. i = i+Δ，如果i幀圖像存在，則返回步驟B;否則將拼接圖像左移若干個像素 點，直至圖像新拼接的部分顯示出來，并輸出拼接圖像。 所述B步驟包括以下步驟
Bi.對當(dāng)前活動圖像g計算其水平方向梯度值和垂直方向梯度值&和&，核函數(shù)
分別為: 并求解梯度幅值圖像ge=|gx+gy ；B2.為了將得到的幅值圖像&做二值化，在W，256]范圍內(nèi)線性搜索一個閾值 ftg，滿足以下度量fb值最??； s = I {(x，y) I ge(x，y) > ftg}t = I {(x，y) I ge(x，y)≤ ftg}B3.根據(jù)得到的閾值ftg計算二值圖像gb，然后對二值圖像gb進(jìn)行平滑濾波，濾波 窗口大小為W1XW1^1默認(rèn)值為5，濾波窗口內(nèi)每個系數(shù)值均為1，得到的濾波圖像為一個非 二值圖像為&；B4.將活動圖像均分成m個不重疊的子區(qū)域，每個區(qū)域是個W2XW2，例如針對 512X512大小的圖像，W2默認(rèn)值可以取16 ；B5.在每個子區(qū)域搜索出一個特征點集合Fi = {(Xj,yj) |j = 1，. . .，m}使其滿足 該點的在圖像&(x，y)上的灰度值最大，并且&(x，y) > Th，閾值Th默認(rèn)值為5。 所述C 步驟包括以下步驟Cl.估計初始迭代參數(shù)，L= ( , Qx5C07 )如果 I β - γ I < ε = 0. 0001, T0 = IVpE = F,, β和γ分別為前兩幀運動旋轉(zhuǎn)的角度，否則，執(zhí)行以下步驟；C2.在前特征值排在前59位的特征點作為子集，在這一子集中隨機(jī)選擇4個特征 點為特征集合F1;C3.對&其中的每一像素點(X，y)，將其旋轉(zhuǎn)為β角度以后，在配準(zhǔn)圖以相應(yīng)的 點為中心的一個區(qū)域中搜索和其匹配的、并使匹配值SAD值最小的像素點，匹配的模板窗 口 大小為 W3 X W3, W3 默認(rèn)值為 5，搜索區(qū)域為[x-1 Prev_Cx |，x+2 | Prev_Cx | ] X [y-1 Prev_CY |， y+|PreV_CY|]，這里假設(shè)探頭的運動方向為從左向右，PrevJ5^P Prev_CY是前一幀的最終 運動參數(shù)估計值；
C4.對&中的每個像素點，在配準(zhǔn)圖f中都找到相應(yīng)的匹配點，然后應(yīng)用最小二乘 法估計參數(shù)A= ( aR, CCtr ): C5.在配準(zhǔn)圖f中找到相應(yīng)的特征點集F* = TK(F)，以F中的每個像素點(X， y)為中心的模板和以F*中對應(yīng)的映射像素點(χ*，y*)為中心的模板之間的Normalized Correlation的值NC，模板大小為w3Xw3
「π α/Γ見=,一 ,_a和b為像素點在活動圖g上和配準(zhǔn)圖f上的灰度值；C6.根據(jù) NC 的值，再將 F 分成兩組 A= {(x,y) |NC((x,y), (x*，y*)) > ftg2}和 B ={(χ, y) NC((x, y), (x*，y*))彡 ft&} ft& 為一閾值，默認(rèn)為 0. 7 ；如果 |A|/|F >0.5, T0 = TE, E = A，進(jìn)入步驟C7 ；否則重復(fù)C2-C5 ；C7.輸出 E 和 T0。所述D步驟包括以下步驟Dl.將特征點集E映射到配準(zhǔn)圖f上，得到新的特征點集合E* = T(E)；D2.對E中的每一像素點(X，y)在配準(zhǔn)圖中相應(yīng)的匹配點(x*，y*) = T(χ, y) e E*，執(zhí)行基于光流的運動補償，Xm = X氺-gΔ (χ, y)/gx (χ, y)；yM = y*-g Δ t (χ，y) /gy (χ，y)；gAt(x，y) = f(x*，y*)_g(x，y)；D3.在以(xM，yM)中心的子區(qū)域，[xM_w4，xM+2Xw4, ] X [yM-w5, yM+w5]，搜索和(χ, y) 更為匹配的像素點(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口 大小為w3Xw3，W4和W5的默認(rèn)值為3 ；D4.找出 E 中子集 E1= {(x，y) |NC((x，y)，(x*，y*))彡 l_ftg3}，ftg3 默認(rèn)值可以 為0. 3 ；在配準(zhǔn)圖上有相應(yīng)的匹配點集E2 ；D5.如果集合IE11 > 10，基于集合E1和E2應(yīng)用M-estimator估計運動參數(shù)T = (a, Cx, Cy)，否則直接跳到步驟D6，這里Errk是第k個特征點的匹配誤差；D6.重復(fù)子步驟Dl至D5共5次，如果最終檢測的運動向量非常大，跳到步驟Dl， 否則輸出T。所述E步驟包括以下步驟El.根據(jù)運動變換T到活動圖g映射成f* = TiMg)圖像的灰度值可以通過雙線 性插值的到；E2.令fM = f*，將當(dāng)前拼接圖Xp1與fM進(jìn)行融合，如果當(dāng)前像素點的既在前M-I幀 出現(xiàn)過，又在fM出現(xiàn)過，進(jìn)行基于最近鄰的圖像融合，即 R (N)是像素點(x，y)的3 X 3領(lǐng)域；E3.對新生成的拼接圖分別做一次Laplacian邊緣增強和各項同性濾波。所述F步驟包括以下步驟Fl.如果最終檢測的運動向量非常小，Δ = Δ+1 ；F2.如果最終檢測的運動向量非常大如果Δ > 1，則Δ = Δ-1并且i = i_l， 返回步驟B，否則終止圖像拼接，提示調(diào)整探頭運度；F3.令i = i+Δ，如果第i幀圖像存在并且拼接后圖像寬度小于感興趣區(qū)域的窗 口寬度，則返回步驟B;否則，左移圖像若干個像素點，直至圖像新拼接的部分全部落在感興 趣區(qū)域的窗口，并輸出圖像。本發(fā)明提供了一種更快速有效的圖像配準(zhǔn)方法，提高配準(zhǔn)的精確度。


圖1是本發(fā)明實施例二維寬景超聲圖像成像系統(tǒng)硬件結(jié)構(gòu)圖；圖2是本發(fā)明實施例二維寬景超聲圖像拼接方法流程示意圖；圖3是本發(fā)明實施例關(guān)鍵特征點檢測算法流程示意圖；圖4是本發(fā)明實施例初始運動變換參數(shù)和初始特征點子集估計方法流程示意圖；圖5是本發(fā)明實施例迭代近鄰點算法(ICP)估計圖像配準(zhǔn)運動變換參數(shù)流程示意 圖；圖6是本發(fā)明實施例寬景圖像融合方法流程示意圖；圖7是本發(fā)明實施例寬景圖像顯示及圖像拼接步長調(diào)整示意圖。
具體實施例方式下面根據(jù)附圖和實施例對本發(fā)明作進(jìn)一步詳細(xì)說圖1是該發(fā)明所應(yīng)用的超聲成像系統(tǒng)的結(jié)構(gòu)組件圖用戶通過輸入設(shè)備配置超聲 掃描所需的參數(shù)及寬景成像的配置參數(shù)，用戶輸入設(shè)備主要和計算機(jī)中央處理器連接，可 以對圖像存儲區(qū)域12中的數(shù)據(jù)進(jìn)行圖像顯示、處理，存儲及打印等操作。超聲圖像和寬景 圖像都可以通過顯示器13顯示給用戶；計算機(jī)中央處理器和超聲系統(tǒng)的主處理器14相連 接，并可通過其對超聲成像程中的參數(shù)配置、及模式選擇進(jìn)行操作。探頭16在受檢器官的 皮膚表面進(jìn)行運動掃描，用以獲取感興趣區(qū)域15的超聲圖像，而目標(biāo)區(qū)域15可能需要一幅 大視野的圖像來顯示整個器官或組織，比如對一個較大器官的尺寸的測量。超像系統(tǒng)可將 圖像序列22拼接成一個寬景圖像24，然后將目標(biāo)區(qū)域15的完整組織結(jié)構(gòu)信息顯示給用戶。發(fā)射控制單元14產(chǎn)生的發(fā)射波形經(jīng)過探頭16向目標(biāo)區(qū)域15發(fā)射超聲波，接收到 的超聲回波，經(jīng)過波束合成17的延時控制、通道合成等處理后，接收控制器18則將射頻信號轉(zhuǎn)換成視頻信號進(jìn)一步處理，處理后的信號經(jīng)過掃描轉(zhuǎn)換單元20處理后轉(zhuǎn)換成超聲視 頻序列22 ；主處理器14可以通過傳輸控制電路19設(shè)置、調(diào)整和監(jiān)測超聲系統(tǒng)的工作參數(shù)， 并用以產(chǎn)生電流驅(qū)動探頭工作。以上描述簡單介紹了寬景超聲成像的設(shè)備，這和大多數(shù)醫(yī)用超聲系統(tǒng)體系結(jié)構(gòu)沒 有差別，而基于超聲視頻的寬景圖像的拼接方法基本不依賴于超聲設(shè)備。圖2介紹了本發(fā) 明的寬景圖像拼接方法的流程圖，它描述了從超聲圖像序列22生成寬景圖像24的過程1.從圖像存儲區(qū)域中提取圖像幀序列，I1, ...，Ii, ...，In，將配準(zhǔn)圖和活動圖設(shè) 成f= Ii;g= I2 ；再取寬景圖像X1 = f，且有i = 2，步長為Δ ；2.在第i幅圖像上，也就是當(dāng)前活動圖，尋找一系列特征點F = {(xj; yj) I j = 1，…，m}；3.基于特征點集F，迭代找出初始的最優(yōu)的子集ECjF，使得初始運動參數(shù)估計 To = ( a0, Cfj , C07 )最佳；4.基于特征點子集E和初始運動變換Ttl，迭代搜索E中每個特征點的運動到配 準(zhǔn)圖上的相應(yīng)像素點，即集合E* = {(x*j; e Ij j = 1, ... , mE}，基于E和Ε*應(yīng)用 M-estimator迭代估計最佳的運動參數(shù)Ti= ( α , Cx, CY)；5.基于Ti= (a，Cx，CY)，把活動圖g融合到寬景圖Xh;6. i = i+Δ如果第i幀圖像存在，則返回步驟2 ；否則結(jié)束退出。上述處理程序包含三大部分，圖像子區(qū)域的劃分和關(guān)鍵特征點的檢測，活動圖像 和配準(zhǔn)圖像之間的配準(zhǔn)，活動圖與寬景圖像的融合。圖像配準(zhǔn)的關(guān)鍵特征點通常決定了圖 像配準(zhǔn)的效果，好的特征點會克服圖像中的噪音等圖像質(zhì)量差的問題，本發(fā)明基于圖像邊 緣提取和分割技術(shù)，采用了一個魯棒性較強的特征提取的方法檢測關(guān)鍵特征點集合。圖3 說明了特征點檢測算法的流程圖，一種實現(xiàn)魯棒性較特征點檢測包含以下幾個子步驟(1)對當(dāng)前活動圖像20計算其水平方向梯度值和垂直方向梯度值gx和gy，核函 數(shù)分別為
ο -Γ 2 0-2 1 0 -1 "12 1 0 0 0 -1 -2 -1并求解梯度幅值圖像ge = I gx I +1 gy I(2)為了將得到的幅值圖像&做二值化，子步驟203在W，256]范圍內(nèi)線性搜索 一個閾值ftg，滿足以下度量fb值最小； (3)子步驟205根據(jù)得到的閾值ftg計算二值圖像gb，然后對二值圖像gb進(jìn)行平 滑濾波，濾波窗口大小為W1 χ W1 (W1默認(rèn)值為5)，濾波窗口內(nèi)每個系數(shù)值均為1，得到的濾波 圖像為一個非二值圖像為&(4)將活動圖像均分成m個不重疊的子區(qū)域，每個區(qū)域是個W2XW2，例如針對 512X512大小的圖像，W2默認(rèn)值可以取16 ；(5)在每個子區(qū)域搜索出一個特征點集合Fi = {(Xj,yj) |j =，. . .，m}使其滿足該 點在圖像& (x，y)上的灰度值最大，并且& (x，y) > Th，閾值Th默認(rèn)值為5。圖像序列U放置在一段存儲區(qū)域(內(nèi)存或硬盤)，按圖像的生成的時間先后順序排 放，并按同樣順序讀取。本發(fā)明的點提取中二值化算法采用了一種動態(tài)閾值的方法，即將活 動圖中的所像素的灰度值作為樣本進(jìn)行分類，當(dāng)尋找一個最優(yōu)的閾值使得類內(nèi)距離之和與 類間距之比達(dá)到最小?；诙祷瘓D像即Edge圖像計算每個像素點周圍像素點灰度值之 和，作為效果特征來檢測每個圖像子區(qū)域的特征點，這樣的特征點提取辦法具有更強的魯 棒性。通常來說，圖像特征點的數(shù)目對圖像配準(zhǔn)精度影響很大，特征點越多，最后配準(zhǔn)的 誤差越小，但會使配準(zhǔn)過程更耗時。即使有足夠的特征點，往往在配準(zhǔn)圖中搜索對應(yīng)的特征 點精度也不是很理想，并且需要在一個很大區(qū)域搜索與之相匹配的像素點，換句話說，大部 分的特征點匹配過程非常依賴于初始的運動變換參數(shù)，為了解決這一技術(shù)難題我們應(yīng)用計 算機(jī)視覺中的Ransac算法來同時估計有效的特征點集合和初始運動變換參數(shù)，找到一個 最優(yōu)的初始運動變換參數(shù)和一個有效的特征子集。圖4說明了應(yīng)用Ransac算法來估計初 始的最優(yōu)特征點子集和初始的運動參數(shù)，其包含以下處理過程(1)_(7)(1)估計初始迭代參數(shù)，Γ0=( C0X,C07 ):如果 I I < ε = 0.0001，T0 = IV1, E = F，(β和γ分別為前兩幀運動旋轉(zhuǎn)的角度)否則，執(zhí)行以下步驟(2)在前特征值排在前59位的特征點作為子集，在這一子集中隨機(jī)選擇4個特征 點為集合Fl ；(3)對&其中的每一像素點(X，y)，將其旋轉(zhuǎn)為β角度以后，在配準(zhǔn)圖以相應(yīng)的 點為中心的一個區(qū)域中搜索和其匹配的、并使匹配值SAD值最小的像素點，匹配的模板窗 口 大小為 W3 X W3 (w3 默認(rèn)值為 5)，搜索區(qū)域為[x-1 Prev_Cx |，x+2 | Prev_Cx | ] X [y-1 Prev_CY, y+|PreV_CY| ]，這里假設(shè)探頭的運動方向為從左向右，PrevCx和Prev_CY是前一幀的最終運 動參數(shù)估計值；(4)Fl中的每個像素點中找到在配準(zhǔn)圖中找到相應(yīng)的匹配點，應(yīng)用最小二乘法估 計參數(shù)A= ( C^,Ctr ) (5)在配準(zhǔn)圖R中找到相應(yīng)的特征點集F* = Te(F)以F中的每個像素點(x，y) 為中心的模板和以F*中對應(yīng)的映射像素點(χ*，y*)為中心的模板之間的NormalizedCorrelation的值NC，模板大小為w3Xw3 Y^kHbk-F)NC= I^kI^k_6a和b為像素點在活動圖g上和配準(zhǔn)圖f上的灰度值；(6)接著按 NC 的值將 F 分成兩組 A = {(x,y) |NC((x,y), (x*，y*)) > ftg2}和 B ={(x,y) NC((x，y)，(x*，y*))彡 ftg2}，ft& 為一閾值，默認(rèn)為 0.7 ；如果 |A|/|F >0.5, 1； = ^ = 4，進(jìn)入步驟6;否則重復(fù)(2)-(5)；⑵輸出e和t0;RANSAC (Random Sample Consensus)是隨機(jī)抽樣一致性算法的縮寫。它可以應(yīng)用 于任何一個基于數(shù)據(jù)集的模型估計問題。給定一個數(shù)據(jù)集，如果數(shù)據(jù)集中有一定數(shù)目的奇 異點(Outliers)，在圖像配準(zhǔn)過程中，由配準(zhǔn)算法檢測到的圖像特征點往往包含大量的奇 異點，這是由于圖像獲取過程中所導(dǎo)致的圖像質(zhì)量下降和圖像噪音所引起的；而傳統(tǒng)的模 型參數(shù)的估計方法無法去除這些奇異的特征點對參數(shù)估計的影響，解決這一問題可以用隨 機(jī)抽樣一致性算法。Ransac算法是一種隨機(jī)的優(yōu)化算法，因此，即使每次運算求出的結(jié)果可 能盡不相同，但每一次隨機(jī)迭代都有可能給出一個更合理的結(jié)果，因此提高迭代次數(shù)會改 善模型估計的效果。Ransac實際上是一種隨機(jī)采樣的方法，其目標(biāo)是找到一個最小采樣數(shù)目的最優(yōu)數(shù) 據(jù)子集來估計模型參數(shù)，以上步驟A-G是Ransac方法在特征點匹配算法中的一種實現(xiàn)E 中點的數(shù)目越多，參數(shù)估計的越準(zhǔn)確。在得到比較理想的初始特征點子集E和初始運動參數(shù)估計Ttl之后，我們應(yīng)用迭代 近鄰點算法來進(jìn)一步求解更為精確的圖像配準(zhǔn)所需的運動變換參數(shù)τ: ST = Ttl，然后執(zhí)行 ICP即迭代近鄰點算法下處理(1)-(7)(1)將E映射到配準(zhǔn)圖f上得到新的映射點集E* = T (E)；對F中的每一像素點(x，y)在配準(zhǔn)圖中相應(yīng)的匹配點(x*，y*) = T(x,y) e Ε*執(zhí) 行基于光流的運動補償，xM =y)/gx(x, y)；yM = y*_gAt(x，y)/gy(x，y)；δΔ (χ, y) = f (χ*，y*) _g (χ, y)；(2)在以(χμ，ym)中心的子區(qū)域，[xM-w4, xm+2Xw4, ] X [yM-w5, yM+w5]，搜索和(χ, y) 更為匹配的像素點(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口 大小為W3X W3 (W4和W5的默認(rèn)值為3)；(3)找出 E 中子集 E1= {(x，y) |NC((x，y)，(x*，y*))彡 l_ftg3}，ftg3 默認(rèn)值可以 為0. 3 ；在配準(zhǔn)圖上有相應(yīng)的匹配點集E2 ；(4)如果集合IE1I > 10，基于集合El和E2應(yīng)用M-estimator估計運動參數(shù)T = (a，Cx，CY)，否則直接跳到步驟這里Errk是第k個特征點的匹配誤差；(5)重復(fù)子步驟(1)至(5)共5次，如果最終檢測的運動向量非常大，跳到步驟VI， 否則輸出T。超聲圖像拼接技術(shù)的特征點匹配算法是通過在配準(zhǔn)圖上的相應(yīng)的像素點的一個更大的鄰域里，搜索與活動圖上的特征點相匹配的特征點，這樣的搜索過程非常耗時，而應(yīng) 用啟發(fā)性搜索一般情況下只能找到一個局部最優(yōu)解，應(yīng)用迭代近鄰點算法雖然可以解決局 部最優(yōu)解的問題，但是搜索本身的耗時問題沒有完全解且有可能搜索時間變得更長；但基 于每個像素點上的灰度信息計算一個偽運動向量可以用來補償已經(jīng)估計到的運動向量，這 樣的處理可以縮小在特征點匹配過程中的搜索鄰域的范圍，從而解決特征點匹配的耗時問 題；如果感興趣區(qū)域存在運動組織，需要濾除運動目標(biāo)區(qū)域內(nèi)的特征點，可以考慮應(yīng)用相鄰 兩幀或多幀圖像相減來檢測的運動物體區(qū)域，，圖像相減的結(jié)果也可以應(yīng)用形態(tài)學(xué)方法進(jìn) 處理，例如Top-hat算法和Bottom-hat算法，把“運動物體區(qū)域”中的關(guān)鍵特征點濾除。這 樣的處理可以消除超聲圖像噪音和組織運動等因素對圖像配準(zhǔn)所造成的誤差。圖像配準(zhǔn)后，可以根據(jù)得到的活動圖和配準(zhǔn)圖之間的運動變換參數(shù)，將活動圖g = 1拼接到當(dāng)前的寬景圖像Xh，完成像融合部分。實際上，該步驟是將活動圖根據(jù)運動參數(shù) T將活動圖融合到當(dāng)前配準(zhǔn)圖f上的一個過程可按時間順序?qū)⒒顒訄Dg拼接到現(xiàn)有的寬 景圖Xh上，生成新的寬景圖像Xi 假設(shè)當(dāng)前活動圖為g = Ii和配準(zhǔn)圖f = IH那么TH是 配準(zhǔn)過程得到的配準(zhǔn)圖f和活動圖g之間的剛性運動變換；特別地，活動圖經(jīng)過配準(zhǔn)后的生 成圖像是經(jīng)過若干次迭代完成的，即圖像Tj(Ii)，且Ti* = Ti · IV1. · · T0,再將有的寬景圖 像Xh和配準(zhǔn)后的圖像Tj(Ii)進(jìn)行融合成新的寬景圖X”全景圖中的任何一個像素點可 能會在序列中的若干個幀圖像中都出現(xiàn)，因此在計算全景圖中該點的值時，可以充分利用 此點在視頻幀序列中所有出現(xiàn)的值?？紤]到運動組織和噪音的存在以及成像參數(shù)的差異性 等原因的影響，可以對這些值進(jìn)行簡單的處理，如一下步驟中的子步驟(2)。(1)按運動變換T到活動圖g映射成f* = Ti* (g)，圖像g*的灰度值可以通過雙線 性插值的到；(2)令fM = f*，將當(dāng)前拼接圖Xh與fm進(jìn)行融合，如果當(dāng)前像素點的既在前M-I幀 出現(xiàn)過，又在fM出現(xiàn)過，進(jìn)行基于最近鄰的圖像融合，即
R (N)是像素點(x，y)的3 X 3領(lǐng)域；(3)對新生成的拼接圖分別做一次Laplacian邊緣增強和各項同性濾波。當(dāng)探頭運動過快或過慢時，都會影響視頻圖像相鄰幀的重疊的信息量，直接影響 圖像配準(zhǔn)的速度和效果，適當(dāng)?shù)卣{(diào)節(jié)配準(zhǔn)步長Δ會提高圖像配準(zhǔn)和拼接的效率如果新生 成的寬景圖Xi的寬度大于圖像顯示窗口，則將該圖像中所像素點向后平移若干個像素點， 直至圖像新拼接的部分可以完全顯示出來；i = i+Δ如果第i幀圖像存在，則返回步驟2， 圖7描述寬景圖像拼接步長調(diào)整的流程圖(1)如果最終檢測的運動向量非常小，Δ = Δ+1 ；(2)如果最終檢測的運動向量非常大如果Δ > 1，則Δ = Δ-1并且i = i-1， 返回步驟II，否則終止圖像拼接，提示調(diào)整探頭運動速度；(3)令i = i+Δ，如果第i幀圖像存在并且拼接后圖像寬度小于感興趣區(qū)域的窗
13口寬度，則返回步驟II ；否則，左移圖像若干個像素點，直至圖像新拼接的部分全部落在感 興趣區(qū)域的窗口，并輸出圖像。 本領(lǐng)域技術(shù)人員不脫離本發(fā)明的實質(zhì)和精神，可以有多種變形方案實現(xiàn)本發(fā)明， 以上所述僅為本發(fā)明較佳可行的實施例而已，并非因此局限本發(fā)明的權(quán)利范圍，凡運用本 發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)變化，均包含于本發(fā)明的權(quán)利范圍之內(nèi)。
權(quán)利要求
一種圖像拼接方法，其圖像序列為I1，...，Ii，...，In，其時間間隔為Δ，包括以下步驟 A.建立二維坐標(biāo)，第一幀圖像設(shè)成配準(zhǔn)圖f和拼接圖Xo，并設(shè)活動圖g＝I2和處理步長為Δ＝1及i＝2；B.在活動圖g上尋找一系列特征點F＝{(xj，yj)|j＝1，...，m}，其中(xj，yj)為第j個特征點在活動圖中的位置坐標(biāo)值；D.對每個特征點，估計在配準(zhǔn)圖上所對應(yīng)的特征點的位{(x*j，y*j)∈f|j＝1，...，m}，其中(x*j，y*j)為第j個特征點在配準(zhǔn)圖中的位 坐標(biāo)值，并求解一組最佳的運動參數(shù)；E.基于求解的運動參數(shù)，當(dāng)前活動圖Ii拼接到當(dāng)前拼接圖，再該活動圖設(shè)成配準(zhǔn)圖，若拼接的圖像寬度大于顯示圖像窗口，則圖像中所有像素點向后平移至圖像新拼接的部分或區(qū)域可以完全顯示出來；F.i＝i+Δ如果第i圖像存在，則返回步驟B；否則拼接圖像左移若干個像素點，至圖像新拼接的部分顯示出來，并輸出拼接圖像，其特征在于所述D步驟中的求解方式為迭代求解。FDA0000024335640000011.tif,FDA0000024335640000012.tif,FDA0000024335640000013.tif,FDA0000024335640000014.tif,FDA0000024335640000015.tif,FDA0000024335640000016.tif,FDA0000024335640000017.tif,FDA0000024335640000018.tif,FDA0000024335640000019.tif,FDA00000243356400000110.tif
2.根據(jù)權(quán)要求1所述的一種圖像拼接方法，其特征在于所述B步驟包括以下步驟 Bi.對當(dāng)前活動圖像計算其水平方向梯度值和垂直方向梯度值gx*gy，核函數(shù)分別為K =K =_1 0-1" 2 0-2(1 0-1 "12 1 0 0 0-1 -2-1并求解梯度幅值圖像ge= |gx|+ |gy I ；B2.將得到的幅值圖像ge做二值化，在
范圍內(nèi)線性搜索一個閾值ftg，滿足以下度量fb值最??；s + t^= Σ y)' I y) I y) > Μ) Ige (x^y)>ftg^2= Σ ge(^y)i\{(^y)\ge(^y)<ftg}\ge (x^ftgS = I {(X，y) ge (x, y) > ftg} t = I {(x,y) ge(x,y) ^ ftg}B3.根據(jù)得到的閾值ftg計算二值圖像gb，然后對二值圖像gb進(jìn)行平滑濾波，濾波窗口 大小為WlXWl，Wl默認(rèn)值為5，濾波窗口內(nèi)每個系數(shù)值均為1，得到的濾波圖像為一個非二值 圖像gF ；B4.將活動圖像均分成m個不重疊的子區(qū)域，每個區(qū)域是個W2XW2，針對512x512大小的圖像，W2默認(rèn)值取16;B5.在每個子區(qū)域搜索出一個特征點集合Fi = ((Xjj7j) I j=l,...,m}使其滿足該點的 在圖像&(x，y)上的灰度值最大，并且&(x，y) > Th，閾值Th默認(rèn)值為5。
3.根據(jù)權(quán)利要求1所述的一種圖像拼接方法，其特征在于所述B步驟和D步驟之間包 括以下C步驟C.基于特征點集F，迭代找出初始的最優(yōu)的子集f C f，基于E估計的運動參數(shù) T0 = (a。,Cf,CD為在一個有效的特征點子集上的最佳匹配效果，其中α。為運動變 換中的旋轉(zhuǎn)角度，Cf和Q7分別是在軸χ方向和γ軸方向的位移參數(shù)。
4.根據(jù)權(quán)利要求3所述的一種圖像拼接方法，其特征在于所述C步驟包括以下步驟 Cl.估計初始迭代參數(shù)，T0= ( 。，C0X,C07 ):如果< ε =0. OOOLT0 = T^1,E = F，，β和γ分別為前兩幀運動旋轉(zhuǎn)的，否則，執(zhí)行以下步驟；C2.將前特征值排在前59位的特征點作為子集，在這一子集中隨機(jī)選擇特征點為特征 集合F1;C3.對Fl其中的每一像素點(X，y)，將其旋轉(zhuǎn)為β角度以后，在配準(zhǔn)圖以相應(yīng)的點 為中心的一個區(qū)域中搜索和其匹配的、并使匹配值SAD值最小的像素點，匹配的模板窗口 大小為 w3Xw3，W3 默認(rèn)值為 5，搜索區(qū)域為[x-|Prev_Cx|, x+2 | Prev_Cx | ] X [y-1 Prev_CY| , y+|Prev_CY ]運里探頭的運動方向為從左向右，prev_Cx和Prev_CY是前一幀的最終運動 參數(shù)估計值；C4.對&中的每個像素點，在配準(zhǔn)圖f中都找到相應(yīng)的匹配點，然后應(yīng)用最小二乘法估 計參數(shù)A= ( C^,Ctr )「X*、'COS(QTji) -Sin(QTji)^「X、_L(Γχ\v sin^) Cos(CCr)jTCY V^R JC5.在配準(zhǔn)圖f中找到相應(yīng)的特征點集F* = TK(F)，以F中的每個像素點(X，y)為 中心的模板和以F*中對應(yīng)的映射像素點(χ*，y*)為中心的模板之間的Normalized Correlation的值NC，模板大小為w3Xw3 NC Σ Μ-^-b)a和b為像素點在活動圖g上和配準(zhǔn)圖f上的灰度值；C6.根據(jù)得到NC的值，，將特征點集合F分成兩組A= {(A，y) |NC((x, y)，(x*，y*)) > ftg2}和B= {(χ, y) INC ((χ, y), (χ*，y*)) ^ ftgj , ftg2 為一閾值，默認(rèn)為 0. 7 ；如果 Al/|F > 0. 5，T0 = TE, E = A，進(jìn)入步驟 C7 ；否則重復(fù) C2-C5 ； C7.輸出E和T。。
5.根據(jù)權(quán)利要求1所述的一種圖像拼接方法，其特征在于所述D步驟包括以下步驟 Dl.令T = Ttj，將E映射到配準(zhǔn)圖f上得到新的映射點集E* = T(E)；D2.對E中的每一像素點(x，y)在配準(zhǔn)圖中相應(yīng)的匹配點(x*，y*) = T(x,y) e Ε*執(zhí) 行基于光流的運動補償χΜ = χ氺-g“(x，y)/gx(x，y)； D3.在以(xM，yM)中心的子區(qū)域，[xM_w4，xM，+2Xw4，]X[yM-w5，yM+w5]，搜索和(x, y)更 為匹配的像素點(x2，y2)使匹配的Normalized Correlation的值最小，模板匹配的窗口大 小為w3Xw3，W4和W5的默認(rèn)值為3 ；D4.找出E中子集E1 = {(x, y) NC((χ, y), (x*，y*)) ( l_ftg3}，代而默認(rèn)值可以為 0. 3 ；在配準(zhǔn)圖上有相應(yīng)的匹配點集E2 ；D5.如果集合IE11 > 10，基于集合E1和E2應(yīng)用Mstimator估計運動參數(shù)T = (a ,Cx, Cy)，否則直接跳到步驟D6，這里Errk是第k個特征點的匹配誤差；D6.重復(fù)子步驟Dl至D5共5次，如果最終檢測的運動向量非常大，跳到步驟D1，否則 輸出T。
6.根據(jù)權(quán)利要求1所述的一種圖像拼接方法，其特征在于所述E步驟包括以下步驟 El.按運動變換IV1，把活動圖g映射成f* = Ti* (g)，圖像f*的灰度值通過雙線性插值得到；E2.令fm = f*，將當(dāng)前拼接圖Xp1與fM進(jìn)行融合，如當(dāng)前像素點在前M-I幀出現(xiàn)過，又 在fM出現(xiàn)過，進(jìn)行基于最近鄰的圖像融合，即M R(N)是像素點(χ, y)的3X3領(lǐng)域；E3.對新生成的拼接圖分別做一次Laplacian邊緣增強和各項同性濾波。
7.根據(jù)權(quán)利要求1所述的一種圖像拼接方法，其特征在于所述F步驟包括以下步驟 Fl.如果最終檢測的運動向量非常小， ；F2.如果最終檢測的運動向量非常大如果Δ >1，則Δ = Δ-1并且i = i-l，返回 步驟B，否則終止圖像拼接，提示調(diào)整探頭運動速度；F3.令 如果第i幀圖像存且拼接后圖像寬度小于感興趣區(qū)域的窗口寬度，則 返回步驟B;否則，左移圖像若干個像素點，直至圖像新拼接的部分全部落在感興趣區(qū)域的 窗口，并輸出圖像。
全文摘要
本發(fā)明提供一種圖像拼接方法，具體是一種二維寬景超聲圖像拼接方法，應(yīng)用于實時獲取或已存儲的超聲視頻圖像序列，利用相鄰兩幀圖像的高度相關(guān)性，即配準(zhǔn)圖和活動圖，檢測活動圖像中關(guān)鍵特征點，估計活動圖和配準(zhǔn)圖之間的運動向量，用于完成相鄰圖像的特征點之間的運動匹配和全局運動參數(shù)估計，即得到一個旋轉(zhuǎn)角度和位移量，進(jìn)而完成兩幅圖像的配準(zhǔn)過程；根據(jù)得到的運動參數(shù)將當(dāng)前圖像映射到配準(zhǔn)圖上或者寬景圖像的坐標(biāo)系，進(jìn)而實現(xiàn)已有的寬景圖和配準(zhǔn)后的圖像之間的融合。如果寬景圖像超過當(dāng)前顯示設(shè)備窗口大小，將圖像整體向后移動若干個像素點，直至寬景圖像中新拼接的部分完全顯示出來；否則，處理下一幅圖像。
文檔編號G06T7/00GK101901481SQ201010250868
公開日2010年12月1日 申請日期2010年8月11日 優(yōu)先權(quán)日2010年8月11日
發(fā)明者張羽, 徐漫濤, 潘梁亮, 陸匯海 申請人:深圳市藍(lán)韻實業(yè)有限公司