一種基于指導(dǎo)圖像引導(dǎo)的高精度立體匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及立體視覺、=維圖像處理技術(shù)領(lǐng)域，特別是設(shè)及一種基于指導(dǎo)圖像引 導(dǎo)的高精度立體匹配方法。
【背景技術(shù)】
[0002] 基于=維圖像處理的立體匹配技術(shù)是一種新興的圖像處理技術(shù)，隸屬于立體視覺 范疇，主要是通過對(duì)多幅二維平面圖像處理，從而恢復(fù)出被拍攝物體的=維坐標(biāo)，得到深度 信息，其中基于兩幅圖像的雙目立體匹配技術(shù)則是其中的一個(gè)研究熱點(diǎn)，也是計(jì)算機(jī)視覺 中的一個(gè)重要分支。通過雙攝像頭拍攝實(shí)際場(chǎng)景中的物體，然后還原得到該物體的=維空 間的坐標(biāo)信息，該些=維空間信息可W應(yīng)用在無人駕駛、無人導(dǎo)航、3D掃描、3D跟蹤、3D重 建等技術(shù)場(chǎng)景中，為計(jì)算機(jī)視覺帶來全新的業(yè)務(wù)，也可W進(jìn)一步開發(fā)在軍事偵察、公共安 全、智能工業(yè)、智能家居、智能交通、精準(zhǔn)農(nóng)業(yè)、智慧城市、醫(yī)療衛(wèi)生等領(lǐng)域的應(yīng)用，該些應(yīng)用 具有巨大的應(yīng)用價(jià)值，將為社會(huì)建設(shè)和經(jīng)濟(jì)發(fā)展提供強(qiáng)大助力。
[0003] 在具體的應(yīng)用環(huán)境中布設(shè)雙目攝像頭采集得到同步的雙攝像頭圖片，然后進(jìn)行計(jì) 算得到物體的=維空間坐標(biāo)，其中恢復(fù)還原得到=維坐標(biāo)最重要的部分是立體匹配過程。 但是在傳統(tǒng)算法中，當(dāng)場(chǎng)景中存在大片弱紋理區(qū)、重復(fù)紋理區(qū)、光照不均勻等現(xiàn)象時(shí)，會(huì)造 成誤匹配區(qū)域比較多、視差圖不平滑、邊緣不清晰等，匹配結(jié)果比較差，影響后續(xù)的應(yīng)用，同 時(shí)部分算法的運(yùn)算時(shí)間比較長(zhǎng)，實(shí)用性較低，所W有必要開展更加深入的研究，提出性能更 好的算法。
[0004] 依據(jù)綜述論文值.ScharsteinandR.Szeliski于 2002 年提出"Ataxonomyand evaluationofdensetwo-framestereocorrespondencealgorithms")對(duì)立體匹配算法 進(jìn)行的分類，立體匹配的算法主要分全局算法和局部算法。全局算法主要依靠全局的能量、 平滑性等全局約束來計(jì)算視差圖，而局部算法主要應(yīng)用局部信息計(jì)算視差圖。本發(fā)明屬于 局部立體匹配算法，同時(shí)依據(jù)算法的先后步驟劃分成了預(yù)處理、匹配代價(jià)計(jì)算、匹配代價(jià)聚 合、視差圖計(jì)算和視差圖求精等幾個(gè)主要步驟。在預(yù)處理階段，傳統(tǒng)的算法主要是采用普通 的中值濾波器進(jìn)行濾波處理，沒有做過多的其他處理。早期的論文（如M.A.Gennert于1988 年曾在預(yù)處理階段對(duì)圖片進(jìn)行直方圖均衡化處理，I.J.Cox,S.Roy和S.L.曾于1995年在預(yù) 處理階段主要做了圖片的偏置調(diào)節(jié)，調(diào)節(jié)光照亮度等，A.Ansar,A.Castano,和L.Matthies 于2004年曾在預(yù)處理階段對(duì)圖片做了一定的增強(qiáng)，主要是補(bǔ)償光照福射差異）曾做過一定 的研究，但是不多，而且該些研究沒有形成整套的應(yīng)用體系，而本發(fā)明則彌補(bǔ)了W上算法在 該部分的不足，在預(yù)處理階段提出了指導(dǎo)圖像模型，該指導(dǎo)圖像可W從輸入的圖像中提取 特定的強(qiáng)化信息，該些強(qiáng)化的信息具有一定的魯椿性，可W用于引導(dǎo)后續(xù)的整個(gè)匹配過程， 提高匹配過程的導(dǎo)向性，提高匹配有效性，而該個(gè)研究是其他算法沒有做過的。
[0005] 在匹配代價(jià)計(jì)算方面，過去的研究已經(jīng)提出了非常多的匹配代價(jià)度量算子，在早 期的算法中，度量算子有計(jì)算絕對(duì)差、互相關(guān)、平方差等，設(shè)及的局部信息有圖像顏色、圖像 的梯度、拉普拉斯變換等等，后續(xù)新出現(xiàn)的一些非參數(shù)的算法，如R.Z油ih和J.Woo壯ill 于1994年提出的census變換和rank變換，H.Hirschmuller于2008年提出的互信息，V.D.Nguyen和D.D.Nguyen等于2014年提出的局部二元模型等等，該些非參數(shù)算法相比于 傳統(tǒng)算法有一定的性能提升，但是也存在一些的缺陷，比如難W處理大塊弱紋理區(qū)、計(jì)算復(fù) 雜度大等缺點(diǎn)，所W后續(xù)提出了很多的改進(jìn)算法。然而單個(gè)的度量算子還是存在一些不可 避免的缺陷，所W后續(xù)陸續(xù)提出了復(fù)合式的匹配代價(jià)度量算子，比如A.Klaus和M.Sormann 等于2006年采用了顏色信息的絕對(duì)和（SAD)與圖像梯度信息來度量匹配代價(jià)，X.Mei和 X.Sun等也于2011年提出了使用顏色信息和census變換算子來度量匹配代價(jià)，該些算法 驗(yàn)證了使用復(fù)合式的匹配代價(jià)度量算子的計(jì)算效果比單個(gè)的匹配代價(jià)度量算子效果要好， 所W本發(fā)明也采用該種復(fù)合式的匹配代價(jià)計(jì)算方法，但是本發(fā)明與該些存在的發(fā)明不同的 是，新提出的復(fù)合式匹配代價(jià)算子既提高了匹配代價(jià)的魯椿性，又在一定程度上降低了計(jì) 算量。該個(gè)新提出來的復(fù)合式匹配代價(jià)算子主要包括了圖像顏色信息、新的復(fù)合式梯度信 息W及輕量級(jí)的census變換，其中新的復(fù)合式梯度模型融合了原始圖片的梯度和指導(dǎo)圖 像的梯度，從而使得新的梯度比傳統(tǒng)梯度具有更全面的梯度信息，另外本算法還采用了魯 椿性能較好的census變換，但是census變換的尺寸卻很小，屬于輕量級(jí)的計(jì)算，該census 變換算子配合圖像顏色信息和新的復(fù)合式梯度信息，可W使得新的復(fù)合式匹配代價(jià)度量算 子的整體魯椿性很好且計(jì)算量較小，該是其他發(fā)明沒有設(shè)及的。
[0006] 匹配代價(jià)聚合主要是對(duì)計(jì)算出來的匹配代價(jià)進(jìn)行聚合，從而減低誤差等的影響， 提高匹配代價(jià)的有效性。傳統(tǒng)的算法主要是基于二維窗函數(shù)的聚合法，如K. -J.化on和 I.S.Kweon于2006年提出的自適應(yīng)支持權(quán)重計(jì)算法，還有基于濾波器濾波式的聚合，如 C.化emann和A.化sni等于2011年提出的匹配代價(jià)空間快速濾波聚合的方法，W及基于分 害d、分段結(jié)構(gòu)的聚合，如Q.Yang于2012年提出的非局部聚合法等。該些算法中的大部分算 法的計(jì)算過程是基于二維空間計(jì)算的，因而計(jì)算的復(fù)雜度都比較大，所W后續(xù)提出了一些 一維空間的聚合方法，如W.化和T.化en等于2009年提出的指數(shù)步驟聚合法等，該些方法 大大降低了計(jì)算的復(fù)雜度，有利于應(yīng)用在實(shí)際場(chǎng)景中。本發(fā)明的聚合算法也采用了指數(shù)步 驟的聚合方法，但我們?cè)诖私Y(jié)構(gòu)的基礎(chǔ)上做了一定的改進(jìn)，改進(jìn)了其中自適應(yīng)權(quán)重的計(jì)算 方法，提高了算法的有效性，改善了聚合的效果。同時(shí)，本聚合過程還被用在視差圖求精的 過程中，改善視差圖的性能，該也是與其他算法不同的。
[0007] 匹配代價(jià)計(jì)算采用的是簡(jiǎn)單的"勝者為王"的計(jì)算方法，該計(jì)算方法比較簡(jiǎn)單有 效。在視差圖求精方面，采用的是左右一致性檢測(cè)檢測(cè)視差圖中的異常點(diǎn)，而在異常點(diǎn)糾正 方面，X.Sun和X.Mei等于2011年提出了使用水平方向傳播的填充法，X.Mei和X.Sun等于 2011年提出的區(qū)域投票填充法，C.化emann和A.化sni于2011年提出了使用濾波器進(jìn)行濾 波糾正的方法等。我們提出了一套多步驟異常點(diǎn)糾正的方法，包含了異常點(diǎn)分類、四方向信 息收集傳播填充內(nèi)部異常點(diǎn)、左側(cè)異常點(diǎn)填充、指數(shù)步驟濾波器濾波等，該一整套的求精算 法是首次提出并采用，算法效果良好。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明所要解決的技術(shù)問題是提供一種基于指導(dǎo)圖像引導(dǎo)的高精度立體匹配方 法，可W搭建一種可W應(yīng)對(duì)常見匹配場(chǎng)景的高效的匹配方法，為雙目立體測(cè)量技術(shù)的設(shè)計(jì) 應(yīng)用提供重要的依據(jù)，同時(shí)該方法也可為其他的立體匹配方法的設(shè)計(jì)提供一定的參考。
[0009] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是；提供一種基于指導(dǎo)圖像引導(dǎo)的高精 度立體匹配方法，包括W下步驟：
[0010] (1)計(jì)算指導(dǎo)圖像：在獲得矯正好的立體匹配圖像對(duì)之后，進(jìn)行指導(dǎo)圖像計(jì)算；
[0011] (2)計(jì)算復(fù)合梯度：采用逐通道計(jì)算的方法，對(duì)輸入的立體匹配圖片分別計(jì)算每 個(gè)通道的X方向和y方向的梯度，并對(duì)指導(dǎo)圖像也計(jì)算相應(yīng)的X方向和y方向的梯度信息， 然后將兩個(gè)圖片計(jì)算得到的梯度信息逐通道加權(quán)融合形成一個(gè)新的多通道復(fù)合梯度；
[0012] (3)計(jì)算復(fù)合匹配代價(jià)；匹配代價(jià)是對(duì)兩幅圖像上的匹配點(diǎn)對(duì)之間的相似性程 度的度量，其中，度量算子采用了輸入圖片的顏色信息，多通道復(fù)合梯度信息W及輕量級(jí) census變換法；
[0013] (4)匹配代價(jià)的聚合；采用的是水平和垂直方向分步迭代聚合，聚合權(quán)重采用自 適應(yīng)的權(quán)重計(jì)算方法，考慮顏色和空間信息，自適應(yīng)變化；聚合步長(zhǎng)按照指數(shù)化跳躍；迭代 過程中，兩端聚合點(diǎn)的匹配代價(jià)采用加權(quán)求平均的方式聚合，然后與中屯、點(diǎn)的匹配代價(jià)融 合；
[0014] (5)視差計(jì)算；視差計(jì)算采用"勝者為王"的視差計(jì)算方法計(jì)算視差；
[001引 做視差求精；先采用左右一致性檢測(cè)方法檢測(cè)出異常點(diǎn)，然后根據(jù)其所處的空 間位置對(duì)異常點(diǎn)進(jìn)行分類，分成左側(cè)異常點(diǎn)和內(nèi)部異常點(diǎn)；采用動(dòng)態(tài)自適應(yīng)顏色和空間闊 值對(duì)異常點(diǎn)進(jìn)行支持區(qū)域計(jì)算，支持區(qū)域包括水平和垂直方向的四個(gè)支持臂；最后在支持 區(qū)域基礎(chǔ)上進(jìn)行多步糾正異常點(diǎn)的方法，包括四方向信息收集填充法、左側(cè)異常點(diǎn)填充法 W及基于代價(jià)聚合函數(shù)的視差圖濾波法。
[0016] 所述步驟（1)具體包括W下子步驟：
[0017] (11)假定輸入的圖像I，指導(dǎo)圖設(shè)定的計(jì)算窗為M，半徑為Rcm，顏色權(quán)重闊值為 5。，空間距離權(quán)重為5d，對(duì)于圖像I中的每一點(diǎn)進(jìn)行濾波，并計(jì)算在窗口M內(nèi)的各個(gè)點(diǎn)的 加權(quán)平均，計(jì)算結(jié)果作為當(dāng)前窗口中屯、點(diǎn)濾波結(jié)果；
[001引假定窗M中屯、像素為P(i，j)，如果為彩色圖像，則顏色值為<pr，pg，pb〉， 如果為灰度圖像，則只有一個(gè)通道值p_gray，窗M內(nèi)的一個(gè)鄰居點(diǎn)為q也1)，如 果為彩色圖像，則顏色值為<qr，qg，qb〉，如果為灰度圖像，則只有一個(gè)通道值q_ gray,則兩個(gè)像素之間的顏色歐幾里得距離為Acp。和距離歐幾里得距離Agp。為； 彩色固：Ac", =V(pr-qr)2+(p各一qg)2+(pb-qb)2 . . ,斯^ 巧~化期r、山但r、方占 .II' ^gpq =-/(l-k) +0-1);然后木用t日數(shù)計(jì)算該點(diǎn) 巧度固：ACpg =1 p_gray- q_gray I 與中屯、點(diǎn)之間的權(quán)重：吻，q) =e邵(-A攻/ 口《)-A技/ 口《W;
[0019] (13)計(jì)算每一個(gè)像素點(diǎn)濾波后的值，從而得到濾波后的圖像，即指導(dǎo)圖G。
[0020] 所述步驟（2)包括W下子步驟：
[0021] (21)圖像梯度計(jì)算定義為：
【主權(quán)項(xiàng)】
1. 一種基于指導(dǎo)圖像引導(dǎo)的高精度立體匹配方法，其特征在于，包括以下步驟： (1) 計(jì)算指導(dǎo)圖像：