專利名稱：一種基于圖割的快速立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于圖割的快速立體匹配方法，屬于計算機(jī)視覺技術(shù)領(lǐng)域。
背景技術(shù)：
立體匹配是立體視覺系統(tǒng)中最重要也是最復(fù)雜的部分，主要通過一系列算法在立體圖像對中找出匹配點并得到視差圖，然后利用三角幾何關(guān)系計算空間中點的深度，生成圖像的深度圖。當(dāng)空間中物體被投影成平面圖像時，物體的全部光學(xué)信息都由圖像中的灰度值來表示，也就是說立體匹配要利用空間中物體的小部分光學(xué)信息來完成像素點的匹配，這是非常困難的。按參與計算的圖像像素范圍，立體匹配方法可分為局部匹配法和全局匹配法。其 中局部匹配法計算快速，但對低紋理區(qū)域往往有較高誤匹配率，從而導(dǎo)致邊界模糊，同時對遮擋的區(qū)域也很難進(jìn)行處理，其最典型的方法是區(qū)域匹配法；全局匹配法由于是全局尋優(yōu)，所以匹配準(zhǔn)確性較高，但計算量過大，運(yùn)算時間長，其最典型的方法是圖割法(graphcuts)。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足，提出一種基于圖割的快速立體匹配方法，用于實現(xiàn)立體圖像對的高效率高準(zhǔn)確性匹配。該方法在用圖割法準(zhǔn)確匹配立體圖像對的基礎(chǔ)上，用多分辨率金字塔方法加速，使運(yùn)行效率大大加快。該方法可用于三維測量。本發(fā)明的實現(xiàn)步驟如下一種基于圖割的快速立體匹配方法，步驟如下(I)對第一圖像和第二圖像進(jìn)行外極線校準(zhǔn)處理，之后分別對兩個圖像進(jìn)行灰度化處理，再之后通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，接下來通過直方圖均衡化對兩個圖像的亮度差異進(jìn)行均衡，最后應(yīng)用拉普拉斯算法銳化圖像；(2)分別對第一圖像和第二圖像構(gòu)建多分辨率金字塔，形成第一金字塔和第二金字塔；(3)對處于第一金字塔最高層的圖像和第二金字塔最高層的圖像進(jìn)行立體匹配，所述最高層即為第k層；(4)對步驟(3)中的匹配結(jié)果進(jìn)行線性插值，得到第k-ι層的匹配點搜索范圍，根據(jù)第k-ι層的匹配點搜索范圍對該層圖像進(jìn)行立體匹配，之后進(jìn)入步驟(5)；(5)對第k-ι層的匹配結(jié)果進(jìn)行線性插值得到第k-2層的匹配點搜索范圍，根據(jù)第k-2層的匹配點搜索范圍對第k-2層圖像進(jìn)行立體匹配，之后循環(huán)進(jìn)行，直到對第2層的匹配結(jié)果進(jìn)行線性插值得到第I層的匹配點搜索范圍，根據(jù)第I層的匹配點搜索范圍對第I層圖像進(jìn)行立體匹配，最終得到的匹配結(jié)果即為視差圖，到此匹配完成。步驟(I)中所述通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，其具體方法如下
將圖像分為若干子塊，通過對各子塊中的像素進(jìn)行噪聲檢測，根據(jù)預(yù)設(shè)的閾值將各子塊中的像素分為受噪聲污染像素和未受噪聲污染像素兩類；統(tǒng)計受噪聲污染像素的個數(shù)以確定子圖像中噪聲干擾大小，根據(jù)噪聲干擾大小調(diào)整濾波窗口的尺寸；最后根據(jù)調(diào)整尺寸之后得到的濾波窗口，通過中值濾波方法對子圖像中的噪聲點進(jìn)行濾波處理。步驟(I)中所述通過直方圖均衡化對兩個圖像的亮度差異進(jìn)行均衡，其具體方法如下在圖像中挑選任意一個像素點，關(guān)于該像素點確定一個矩形區(qū)域，該矩形區(qū)域的大小為預(yù)設(shè)值，計算該矩形區(qū)域內(nèi)部和外部的加權(quán)歸一化直方圖；對該矩形區(qū)域內(nèi)的直方圖進(jìn)行均衡化，實現(xiàn)對該矩形區(qū)域中心像素的處理；移動該矩形區(qū)域到下一個相鄰的像素點，重復(fù)上面的過程，直至處理完整幅圖像。所述步驟(2)分別對第一圖像和第二圖像構(gòu)建多分辨率金字塔具體為對步驟(I)中的銳化過的第一圖像和第二圖像均進(jìn)行k次縮放，縮放比例為r，各 自得到k個不同分辨率的圖像，即k層的第一金字塔和第二金字塔；第一圖像為第一金字塔的最低層，即第一層，第二圖像為第二金字塔的最低層，SP第一層，高層的金字塔圖像像素值可以通過低層的圖像rXr區(qū)域的像素值進(jìn)行平均而獲得；縮放次數(shù)k和縮放比例r均為預(yù)設(shè)值。所述步驟(3)中進(jìn)行立體匹配采用圖割法進(jìn)行。本發(fā)明與現(xiàn)有技術(shù)相比帶來的有益效果為在實現(xiàn)圖像對間的立體匹配時，除具備極好的魯棒性外，還有以下優(yōu)點(I)匹配精度高由于采用基于圖割的立體匹配算法，在整個像素范圍內(nèi)全局尋優(yōu)，使得視差圖的質(zhì)量得到了明顯的提高，并能解決低紋理區(qū)域和遮擋區(qū)域像素的準(zhǔn)確匹配問題，能得到高精度的稠密視差圖。大量實驗表明，本發(fā)明的平均匹配精度達(dá)到98%以上，大大優(yōu)于區(qū)域匹配法。(2)運(yùn)行效率快本發(fā)明構(gòu)建了多分辨率金字塔,通過金字塔方法加速,大大縮小了視差搜索范圍，減小了匹配計算時間。大量實驗表明，本發(fā)明的平均運(yùn)行時間為圖割法的25 %，運(yùn)行效率大大加快。


圖I為本發(fā)明方法流程圖；圖2為本發(fā)明方法的步驟一中圖像處理流程圖；圖3為本發(fā)明方法的步驟二中構(gòu)建多分辨率金字塔示意圖；圖4為本發(fā)明方法立體匹配中網(wǎng)格圖構(gòu)造示意圖；圖5為本發(fā)明方法的高層金字塔圖像對的立體匹配結(jié)果向低層金字塔逐層傳遞示意圖。
具體實施例方式本發(fā)明方法能取得圖割法匹配準(zhǔn)確性高的特點的同時，通過多分辨率金字塔方法加速，運(yùn)行效率大大加快。立體匹配的計算復(fù)雜度與視差搜索范圍成正比，而視差搜索范圍與圖像分辨率大小直接相關(guān)，因此縮小視差搜索范圍可以大大減少計算時間?；诙喾直媛式鹱炙牧Ⅲw匹配方法是建立在多分辨率基礎(chǔ)上的由粗到精的立體匹配方法，它產(chǎn)生的低分辨率匹配結(jié)果可以逐級傳播，用以指導(dǎo)高分辨率的匹配過程。其加速的質(zhì)是減少了視差的搜索范圍，同時由于視差搜索范圍的減少，也降低了誤匹配的發(fā)生概率。如圖I所示，本發(fā)明提供了一種基于圖割的快速立體匹配方法，其特征在于步驟如下(I)對第一圖像和第二圖像進(jìn)行外極線校準(zhǔn)處理，之后分別對兩個圖像進(jìn)行灰度化處理，再之后通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，接下來通過直方圖均衡化對兩個圖像的亮度差異進(jìn)行均衡，最后應(yīng)用拉普拉斯算法銳化圖像；按下式進(jìn)行灰度化處理Y = O. 299R+0. 596G+0. 21IB
將獲取的彩色圖像轉(zhuǎn)化為灰度圖像Y，式中R、G、B分別表示紅、綠、藍(lán)三種顏色分量。對灰度化處理之后的圖像處理稱為預(yù)處理，如圖2所示，可將圖像中的噪聲近似為高斯白噪聲，通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，其具體方法如下將圖像分為若干子塊，通過對各子塊中的像素進(jìn)行噪聲檢測，根據(jù)預(yù)設(shè)的閾值將各子塊中的像素分為受噪聲污染像素和未受噪聲污染像素兩類；統(tǒng)計受噪聲污染像素的個數(shù)以確定子圖像中噪聲干擾大小，根據(jù)噪聲干擾大小調(diào)整濾波窗口的尺寸；最后根據(jù)調(diào)整尺寸之后得到的濾波窗口，通過中值濾波方法對子圖像中的噪聲點進(jìn)行濾波處理。應(yīng)用直方圖均衡化來平衡圖像對間的亮度差異，其首先對圖像局部塊進(jìn)行直方圖均衡化，而不是全局，然后利用雙線性插值方法把各個小塊拼接起來，以消除局部塊造成的邊界。這種方法既考慮窗口內(nèi)也考慮矩形區(qū)域外的直方圖，既由矩形區(qū)域內(nèi)的直方圖和矩形區(qū)域外的直方圖兩部分構(gòu)成，其具體方法如下a)在圖像中挑選任意一個像素點，關(guān)于該像素點確定一個矩形區(qū)域，該矩形區(qū)域的大小為預(yù)設(shè)值；b)計算該矩形區(qū)域內(nèi)部和外部的加權(quán)歸一化直方圖；h (r) = a hff(r) + (l-a )hB(r) ,0 ^ a ^ I其中，hw(r)是矩形區(qū)域內(nèi)的歸一化直方圖，hB(r)是矩形區(qū)域外的歸一化直方圖，a為加權(quán)因子。c)對該矩形區(qū)域內(nèi)的直方圖進(jìn)行均衡化，實現(xiàn)對該矩形區(qū)域中心像素的處理；d)移動該矩形區(qū)域到下一個相鄰的像素點，重復(fù)上面的過程，直至處理完整幅圖像；應(yīng)用Laplace (拉普拉斯)算法銳化圖像，以提高圖像的邊緣和細(xì)節(jié)的清晰度。其中Laplace算子定義為V2/ = -^- + -^
dx2 dy2上式中，f為連續(xù)的圖像模型，對于數(shù)字圖像而言，上式離散化為
權(quán)利要求
1.一種基于圖割的快速立體匹配方法，其特征在于步驟如下 (1)對第一圖像和第二圖像進(jìn)行外極線校準(zhǔn)處理，之后分別對兩個圖像進(jìn)行灰度化處理，再之后通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，接下來通過直方圖均衡化對兩個圖像的亮度差異進(jìn)行均衡，最后應(yīng)用拉普拉斯算法銳化圖像； (2)分別對第一圖像和第二圖像構(gòu)建多分辨率金字塔，形成第一金字塔和第二金字塔； (3)對處于第一金字塔最高層的圖像和第二金字塔最高層的圖像進(jìn)行立體匹配，所述最高層即為第k層； (4)對步驟(3)中的匹配結(jié)果進(jìn)行線性插值，得到第k-Ι層的匹配點搜索范圍，根據(jù)第k-Ι層的匹配點搜索范圍對該層圖像進(jìn)行立體匹配，之后進(jìn)入步驟(5)； (5)對第k-Ι層的匹配結(jié)果進(jìn)行線性插值得到第k-2層的匹配點搜索范圍，根據(jù)第k-2層的匹配點搜索范圍對第k-2層圖像進(jìn)行立體匹配，之后循環(huán)進(jìn)行，直到對第2層的匹配結(jié)果進(jìn)行線性插值得到第I層的匹配點搜索范圍，根據(jù)第I層的匹配點搜索范圍對第I層圖像進(jìn)行立體匹配，最終得到的匹配結(jié)果即為視差圖，到此匹配完成。
2.根據(jù)權(quán)利要求I所述的一種基于圖割的快速立體匹配方法，其特征在于，步驟(I)中所述通過自適應(yīng)中值濾波對圖像噪聲進(jìn)行抑制，其具體方法如下 將圖像分為若干子塊，通過對各子塊中的像素進(jìn)行噪聲檢測，根據(jù)預(yù)設(shè)的閾值將各子塊中的像素分為受噪聲污染像素和未受噪聲污染像素兩類；統(tǒng)計受噪聲污染像素的個數(shù)以確定子圖像中噪聲干擾大小，根據(jù)噪聲干擾大小調(diào)整濾波窗口的尺寸；最后根據(jù)調(diào)整尺寸之后得到的濾波窗口，通過中值濾波方法對子圖像中的噪聲點進(jìn)行濾波處理。
3.根據(jù)權(quán)利要求I所述的一種基于圖割的快速立體匹配方法，其特征在于，步驟(I)中所述通過直方圖均衡化對兩個圖像的亮度差異進(jìn)行均衡，其具體方法如下 在圖像中挑選任意一個像素點，關(guān)于該像素點確定一個矩形區(qū)域，該矩形區(qū)域的大小為預(yù)設(shè)值，計算該矩形區(qū)域內(nèi)部和外部的加權(quán)歸一化直方圖；對該矩形區(qū)域內(nèi)的直方圖進(jìn)行均衡化，實現(xiàn)對該矩形區(qū)域中心像素的處理；移動該矩形區(qū)域到下一個相鄰的像素點，重復(fù)上面的過程，直至處理完整幅圖像。
4.根據(jù)權(quán)利要求I所述的一種基于圖割的快速立體匹配方法，其特征在于所述步驟(2)分別對第一圖像和第二圖像構(gòu)建多分辨率金字塔具體為 對步驟⑴中的銳化過的第一圖像和第二圖像均進(jìn)行k次縮放，縮放比例為r，各自得到k個不同分辨率的圖像，即k層的第一金字塔和第二金字塔； 第一圖像為第一金字塔的最低層，即第一層，第二圖像為第二金字塔的最低層，即第一層，高層的金字塔圖像像素值可以通過低層的圖像rXr區(qū)域的像素值進(jìn)行平均而獲得；縮放次數(shù)k和縮放比例r均為預(yù)設(shè)值。
5.根據(jù)權(quán)利要求I所述的一種基于圖割的快速立體匹配方法，其特征在于所述步驟(3)中進(jìn)行立體匹配采用圖割法進(jìn)行。
全文摘要
一種基于圖割的快速立體匹配方法，用于對至少兩幅圖像進(jìn)行立體匹配的方法。本發(fā)明所述的方法主要包括以下四個步驟獲取已進(jìn)行外極線校準(zhǔn)的圖像對并進(jìn)行預(yù)處理、分別對第一圖像和第二圖像構(gòu)建多分辨率金字塔、對高層金字塔(低分辨率)圖像對進(jìn)行立體匹配、將高層金字塔圖像對的匹配結(jié)果逐層傳遞到低層圖像。本發(fā)明用圖割全局立體匹配算法估計第一圖像中的至少一個點與第二圖像中的至少一個對應(yīng)點的視差，并用多分辨率金字塔加速。本發(fā)明具有精度高，運(yùn)行效率快的優(yōu)點，適用于在三維測量上應(yīng)用。
文檔編號G06T7/00GK102881014SQ20121032982
公開日2013年1月16日 申請日期2012年9月7日 優(yōu)先權(quán)日2012年9月7日
發(fā)明者吳振國, 李勐, 孫協(xié)昌 申請人:航天恒星科技有限公司