專利名稱：多分辨率的四元小波相位匹配方法
技術領域：
本發(fā)明涉及的是一種用于人工智能領域的方法，特別是一種可應用于雙目和多目立體匹配、單目序列圖像中運動目標跟蹤、運動目標分割等應用場合的多分辨率的四元小波相位匹配方法。
背景技術：
目前，未校正圖像的立體匹配是計算機視覺的一個熱點問題，根據(jù)所選匹配基元的不同，現(xiàn)有的解決手段分為三類二維區(qū)域匹配、二維特征匹配和二維相位匹配。二維區(qū)域匹配在未校正圖像的立體匹配算法中占主流形勢，但這些算法執(zhí)行的并非是完全二維空間意義上的視差搜索任務，它們通常需要兩個步驟完成整個匹配過程首先，根據(jù)經(jīng)典的匹配算法獲取稀疏的二維匹配結果，并利用魯棒算子在初始的二維匹配結果中剔除局外點，繼而根據(jù)高置信度對應點之間的位置關系計算基礎矩陣而恢復外極線幾何信息；其次，在恢復的外極線上執(zhí)行一維匹配過程。其中，局外點的剔除和基礎矩陣的計算過程十分復雜且難以控制，甚至會導致外極線幾何信息不能正確恢復。二維特征匹配通過將圖像對之間的匹配問題轉化為兩幅圖形之間的映射問題或子圖同構問題，其中圖像被描繪成一幅圖形，特征基元作為圖形的節(jié)點，特征基元之間的幾何關系則被定義為各節(jié)點之間的鏈節(jié)。算法需要首先提取顯著的特征基元，比如邊緣線段或輪廓，然后在雙目圖像或多目圖像中對其進行匹配。由于圖像像素集合中只有某個子集被用于匹配，因此得到的視差場是稀疏的，而且如果提取的特征基元不夠可靠，將導致算法的失敗。相位匹配算法是一類結合了區(qū)域匹配和特征匹配各自優(yōu)點的立體匹配算法，它對于光照畸變和幾何畸變比區(qū)域匹配穩(wěn)定，同時又無須特征提取就能獲得亞像素精度的致密視差場?，F(xiàn)有的相位匹配算法絕大多數(shù)是一維的表達形式，它將圖像分解為實部和虛部兩個部分，利用單個相位獲取一維視差，圖像的匹配結果通常由相位差-頻率模型計算獲得。高維濾波器的構造涉及復雜的高維信號處理知識和技術，同時搜索空間向二維的拓展導致計算量龐大且復雜以及匹配的歧義性顯著增加。因此，現(xiàn)有的相位匹配往往限于一維搜索空間，即立體像對必須經(jīng)過外極線重整。
經(jīng)對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，目前僅有Thomas Bülow等的研究工作中涉及到二維相位匹配算法，他們在四元數(shù)代數(shù)的理論基礎上，利用四元Gabor濾波器獲得四元解析信號，然后通過提取可分離的四元相位和采用拓展的相位差-頻率模型而獲得二維視差圖。但正如他本人所述，其算法模型旨在證明理論的可行性，并不完整和實用，如僅實現(xiàn)了四元Gabor濾波器提取2D相位的過程，而濾波器的豐富選擇有助于尋找到最佳描述圖像的多分辨率方式；只對單尺度的四元解析信號計算視差，算法的準確度低，視差場的密度也很低；相位奇點問題未得到較好的處理，奇點附近的視差無法確定以及奇點附近誤匹配的擴散現(xiàn)象無法得到自適應地控制。因此，現(xiàn)有的二維相位匹配算法的實用性較低，無法實現(xiàn)對自然像對的可靠匹配。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術中的不足，提供一種多分辨率的四元小波相位匹配方法。使其整個匹配方法的實現(xiàn)結構簡單，并具有良好的拓展性，與全局最優(yōu)技術和遮擋檢測技術相結合則能實現(xiàn)更為精確的全局匹配以及遮擋檢測。
本發(fā)明是通過以下技術方案實現(xiàn)的，本發(fā)明將四元小波理論首次應用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實現(xiàn)對未校正自然圖像對的可靠匹配，不需估計基礎矩陣，也無須建立檢測和剔除相位奇點的約束條件，可以直接對未校正自然圖像進行二維視差估計。相對于經(jīng)典的未校正圖像的立體匹配方法，該方法在計算視差圖時，不需估計基礎矩陣以及進行外極線重整，相比于現(xiàn)有的相位匹配算法，給出了除四元Gabor小波之外的四元小波濾波器的構造方法，能自適應地處理四元相位奇點引起的誤匹配問題，首次在相位匹配中實現(xiàn)了對未校正自然圖像對的二維視差估計。
在不計算基礎矩陣和進行外極線校正的情形下，在頻率域中直接執(zhí)行二維匹配任務，多分辨率的二維匹配過程滿足視差搜索的半波長限制，顯著降低了視差解空間的大小或匹配的歧義性，而且該二維域的相位匹配過程能自適應地抑制相位奇點的不利影響，實現(xiàn)對未校正自然像對的視差估計。
所述的直接利用頻率域的四元小波相位信息實現(xiàn)對未校正自然圖像對的可靠匹配，包括以下實現(xiàn)步驟1)構造二維解析信號以提取二維局部相位結構。首先構造出單維的線性相位的實小波濾波器，然后采用希爾伯特變換在二維空間進行線性相位的四元小波濾波器的構造。
2)將構造所得的四元小波濾波器對未校正圖像對作多分辨率的帶通濾波并提取局部四元相位信息，通過建立代價函數(shù)尋找最大相似的四元相位結構，從而解決二維匹配問題。
3)相位奇點是相位匹配的固有問題，是導致相位誤匹配的主要原因?，F(xiàn)有的四元相位匹配，僅僅通過檢測和剔除相位奇點而降低誤匹配，但得到的視差場是稀疏的，而且在多分辨率的匹配過程中會造成誤匹配的擴散。該方法建立的代價函數(shù)利用帶通濾波的輸出能量自適應地抑制由相位奇點引起的誤匹配。
本發(fā)明多分辨率四元小波相位匹配方案包括四元線性小波相位提取步驟以及相位之間的匹配步驟。四元線性小波相位提取步驟包含兩個實現(xiàn)單元構造線性相位的離散四元小波濾波器；對立體像對進行帶通濾波而提取可分離的局部四元線性小波相位信息。相位之間的匹配步驟包括根據(jù)四元線性相位信息建立有效的代價函數(shù)以及采用最優(yōu)搜索技術尋找最小代價路徑。其中，在代價值的計算中利用濾波輸出的能量信息自適應地抑制相位奇點對匹配的不利影響。
本發(fā)明多分辨率四元小波相位匹配方法在進行未校正立體像對的匹配過程中，以一種更符合人眼生理機理的方式解決對應點的匹配問題，它直接在二維頻率域空間中搜索視差，而不計算基礎矩陣和求解外極線方程，該方法可以結合并行處理技術提高運算速度；建立的代價方程在確定代價值時自動引入相位穩(wěn)定的約束條件，能自適應地抑制相位奇點的不利影響；采用的金字塔式的多分辨率匹配結構，大大降低了視差搜索空間的范圍。本發(fā)明的匹配運算易于實現(xiàn)，并具有良好的拓展性，與目前的全局優(yōu)化技術相結合，可實現(xiàn)二維全局匹配和二維遮擋檢測，進一步提高該方法的實用性。此外，除立體匹配之外，二維域的圖像匹配技術可應用于單目序列圖像中運動目標跟蹤、運動目標分割，甚至于序列圖像壓縮中的運動矢量估計，使得視頻中的運動矢量估計問題與立體視覺中的二維視差估計問題的解決方式可以統(tǒng)一起來，因此該方法的應用范圍較廣。


圖1本發(fā)明提取四元線性相位的小波濾波器的構造示意2是四元線性小波相位的多分辨率提取過程示意3是多分辨率四元小波相位匹配框架示意圖具體實施方式
以下結合附圖對本發(fā)明的匹配方案作進一步描述。
如圖1所示，本發(fā)明中涉及的濾波器構造過程。給出由線性相位的雙正交小波基構造出線性相位的四元小波濾波器的過程。對于具有線性相位特征的雙正交小波基ψ1(x)，ψ2(y)以及它們所對應的尺度函數(shù)φ1(x)，φ2(y)，就可以通過下述方法構造出一組線性相位的四元小波濾波器Ψpq(x，y)，p∈{1，2，3}，包括一個二維尺度函數(shù)Φ(x，y)，從而可以得到對圖像頻率域的一種完整分割。其中，除自變量的變化方向分別為x和y之外，ψ1與ψ2所確定的自變量與因變量之間的映射關系可以是同一的。
Φ(x，y)＝φ1(x)φ2(y)Ψ1q(x,y)=φ1(x)ψ2(y)+iφ1Hix(x)ψ2(y)+jφ1(x)ψ2Hiy(y)+kφ1Hix(x)ψ2Hiy(y)]]>Ψ2q(x,y)=ψ1(x)φ2(y)+iψ1Hix(x)φ2(y)+jψ1(x)φ2Hiy(y)+kψ1Hix(x)φ2Hiy(y)]]>Ψ3q(x,y)=ψ1(x)ψ2(y)+iψ1Hix(x)ψ2(y)+jψ1(x)ψ2Hiy(y)+kψ1Hix(x)ψ2Hiy(y)]]>上標Hix和Hiy分別表示對當前函數(shù)作x和y方向上的一維希爾伯特變換。i，j，k為四元數(shù)代數(shù)中的復數(shù)單位，滿足i2＝j2＝k2＝-1以及ij＝k
如圖2所示，本發(fā)明四元線性小波相位的多分辨率提取過程。左右圖像fl和fr經(jīng)由尺度函數(shù)Φ(x，y)濾波并亞采樣后得到一組金字塔式的圖像結構Am，c，用數(shù)學表達式可以這么描述，Φm,s,t(x,y)=12mΦ(x-s2m,y-t2m)]]>Amfc=Σs=1Mx2mΣt=1My2mam,s,tΦm,s,t(x,y),m={1,2,K,n},c∈{l,r}]]>am，s，t＝<fc(x，y)，Φm，s，t(x，y)>其中，對于給定的二維圖像信號f(x，y)，圖像大小為Mx×My，符號 則表示內(nèi)積運算。系數(shù)(am，s，t)組成離散矩陣Am，c，形成多尺度的金字塔式圖像匹配結構。在各個尺度m上，我們依靠一組四元小波濾波器Ψpq(x，y)，p∈{1，2，3)，得到具有線性相位的二維解析信號Dm，c，pΨm,s,t,pq(x,y)=12mΨpq(x-s2m,y-t2m)]]>Dm,pf=Σs=1Mx2mΣt=1My2mdm,s,t,pΨm,s,t,pq(x,y),p∈{1,2,3}]]>dm,s,t,p=<f(x,y),Ψm,s,t,pq(x,y)>]]>系數(shù)d(m，s，t，p)組成離散矩陣Dm，s，p，形成各尺度m下處于不同窄帶的圖像信息分量。至此為止，二維圖像信號f(x，y)在頻率域被尺度函數(shù)Φ(x，y)以及四元小波函數(shù)Ψpq(x，y)，p∈{1，2，3)完整分割，即圖像的多分辨率分解過程為fc(x，y)＝A1fc+D1，1fc+D1，2fc+D1，3fc＝A2fc+D2，1fc+D2，2fc+D2，3fc+D1，1fc+D1，2fc+D1，3fc=...=Anfc+Σm=1n[Dm,1fc+Dm,2fc+Dm,3fc]]]>假定m尺度下圖像c，c＝{l，r}中像素(s，t)處的一組小波系數(shù)為dm，s，t，p，p∈{1，2，3}，并且用四元數(shù)的形式可表達為
dm,s,t,p=a+ib+jc+kd=|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq)]]>其中，a，b，c，d∈R，p∈{1，2，3}，s={1,2,K,mx2m},]]>t={1,2,K,my2m},]]>符號|·|表示取四元數(shù)的模。那么，四元線性小波相位angφc，pq，angψc,pq和angθc，pq以及幅度ρc，pq的提取過程用數(shù)學表達式描述為angψc,pq=-arcsin(2(bc-ad))2]]>ρc,pq=(a2-b2+c2-d2)2+4(cd+ab)2]]>1)當cos(2.angψc,pq)≠0]]>時，angθc,pq=12atan2(2(bd+ac),a2+b2-c2-d2),]]>angφc,pq=12atan2(2(cd+ab),a2-b2+c2-d2)]]>2)當cos(2.angψc,pq)=0,]]>即angψc,pq=±π4]]>時，angφc，pq±angθc，pq有確定主值，但angφc,pq，angθc，pq，沒有唯一解a、如果angψc,pq=±π4,]]>angθc,pq=0]]>時，angφc,pq=12atan2(-2(cd-ab),a2-b2-c2+d2)]]>b、如果angψc,pq=±π4,]]>angφc,pq=0]]>時，angθc,pq=12atan2(-2(bd-ac),a2-b2-c2+d2)]]>注意，如果dm,s,t,p=-|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq),]]>必須修正上述計算獲得的小波相位angφc，pq，即 其中，符號←為賦值符號，使其滿足
dm,s,t,p=|dm,s,t,p|exp(angφc,pq)exp(angψc,pq)exp(angθc,pq),]]>而且三個四元小波相位angφc，pq，angψc，pq和angθc，pq主值范圍分別是[-π，π)、 和 如圖3所示，本發(fā)明四元線性小波相位提取后，二維域相位匹配的實現(xiàn)過程。除相位奇點之外，對應點處應滿足四元相位相等，因此我們以相位差異建立代價函數(shù)，通過尋找最小代價路徑或圖像對之間最大相似的局部四元相位結構而確定視差。同時，為保證相位的穩(wěn)定性，在建立代價方程時，引入相位穩(wěn)定性約束條件，對輸出幅度高的候選對應點處的相位差異值予以高的置信度。
對于尺度m下參考圖中的離散像素(k，l)，假定其與候選對應點之間的二維視差D=dsdt,]]>建立代價方程如下cost(s,t,ds,dt)=ΣΔs,Δt=-MMΣp=13[ρ~l,pq(s+Δs,t+Δt)ρ~r,pq(s+Δs+ds,t+Δt+dt)×fp(s+Δs,t+Δt,ds,dt)]]]>其中幅度須進行歸一化，即ρ~l,pq(s+Δs,t+Δt)ρ~r,pq(s+Δs+ds,t+Δt+dt)]]>=ρl,pq(s+Δs,t+Δt)ρr,pq(s+Δs+ds,t+Δt+dt)ΣΔs,Δt=-MMΣp=13ρl,pq(s+Δs,t+Δt)ρr,pq(s+Δs+ds,t+Δt+dt)]]>fp(s+Δs,t+Δt,ds,dt)=|[angφl,pq(s+Δs,t+Δt)-angφr,pq(s+Δs+ds,t+Δt+dt)]2π|]]>+|[angθl,pq(s+Δs,t+Δt)-angθl,pq(s+Δs+ds,t+Δt+dt)]π|]]>+|[angψl,pq(s+Δs,t+Δt)-angψl,pq(s+Δs+ds,t+Δt+dt)]π/2|]]>上式中，[·]2π∈[-π，π)，[·]π∈[-π2,π2)]]>以及[·]π2∈[-π4,π4].]]>一旦建立了代價方程，即可在當前的有效視差范圍內(nèi)結合最優(yōu)搜索技術確定出最小代價路徑，由而獲得二維視差圖。圖3給出的匹配框架中采用了粗-精的匹配策略，通過多分辨率采樣擴大算法的收斂范圍并加快收斂速度，其中粗通道的匹配結果經(jīng)內(nèi)插后作為下一細通道的視差初值圖，如尺度m下獲得的視差圖經(jīng)內(nèi)插后將作為m-1尺度下的視差初始圖，視差的有效搜索范圍是[d0-Δd，d0+Δd]。其中，d0是視差初值，而Δd則滿足帶通濾波器ψpq(x，y)，p∈{1，2，3}的通帶中心頻率的半波長限制。
權利要求
1.一種多分辨率四元小波相位匹配方法，其特征在于，將四元小波理論首次應用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實現(xiàn)對未校正自然圖像對的可靠匹配，直接對未校正自然圖像進行二維視差估計，相對于未校正圖像的立體匹配方法，在計算視差圖時，不需估計基礎矩陣以及進行外極線重整，給出了除四元Gabor小波之外的四元小波濾波器的構造方法，能自適應地處理四元相位奇點引起的誤匹配問題。
2.如權利要求1所述的多分辨率四元小波相位匹配方法，其特征是，所述的直接利用頻率域的四元小波相位信息實現(xiàn)對未校正自然圖像對的可靠匹配，具體步驟以下1)構造二維解析信號以提取二維局部相位結構，首先構造出單維的線性相位的實小波濾波器，然后采用希爾伯特變換在二維空間進行線性相位的四元小波濾波器的構造；2)將構造所得的四元小波濾波器對未校正圖像對作多分辨率的帶通濾波并提取局部四元相位信息，通過建立代價函數(shù)尋找最大相似的四元相位結構，從而解決二維匹配問題；3)建立代價函數(shù)利用帶通濾波的輸出能量自適應地抑制由相位奇點引起的誤匹配。
全文摘要
一種多分辨率四元小波相位匹配方法，將四元小波理論首次應用在未校正自然圖像的相位匹配中，直接利用頻率域的四元小波相位信息實現(xiàn)對未校正自然圖像對的可靠匹配，直接對未校正自然圖像進行二維視差估計，相對于未校正圖像的立體匹配方法，在計算視差圖時，不需估計基礎矩陣以及進行外極線重整，給出了除四元Gabor小波之外的四元小波濾波器的構造方法，能自適應地處理四元相位奇點引起的誤匹配問題。整個匹配方法的實現(xiàn)結構簡單，并具有良好的拓展性，與全局最優(yōu)技術和遮擋檢測技術相結合則能實現(xiàn)更為精確的全局匹配以及遮擋檢測。
文檔編號G06T5/00GK1687968SQ20051002478
公開日2005年10月26日 申請日期2005年3月31日 優(yōu)先權日2005年3月31日
發(fā)明者徐奕, 周軍 申請人:上海交通大學