基于快速局部匹配的立體圖像對(duì)象分割方法
【專(zhuān)利摘要】基于快速局部立體匹配的立體圖像對(duì)象分割方法，求取圖像上的可靠匹配點(diǎn)，運(yùn)用Delaunay三角化進(jìn)行插值求視差；然后構(gòu)建圖，將像素作為頂點(diǎn)，像素與其八近鄰的連線(xiàn)作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定；采用Kruskal最小生成樹(shù)策略根據(jù)邊的權(quán)值確定相連兩個(gè)像素所在區(qū)域是否屬于同一分割區(qū)域，如果是則合并，否則保持不變；對(duì)得到的分割區(qū)域，判斷是否屬于需要分割出來(lái)的對(duì)象，取出分割區(qū)域，得到最終的對(duì)象。本發(fā)明方法快速有效，能夠有效處理物體邊緣等視差不連續(xù)區(qū)域；能夠快速地分割出多個(gè)對(duì)象，本發(fā)明時(shí)間效率高，分割效果好，能夠滿(mǎn)足快速自動(dòng)對(duì)象分割的需求。
【專(zhuān)利說(shuō)明】基于快速局部匹配的立體圖像對(duì)象分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及雙目立體視覺(jué)領(lǐng)域的立體匹配方法、對(duì)象分割方法，屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，主要應(yīng)用是快速獲取雙目圖像的視差信息，從而利用視差信息和圖片本身的顏色信息進(jìn)行對(duì)象分割，為一種基于快速局部匹配的立體圖像對(duì)象分割方法。
【背景技術(shù)】
[0002]立體視覺(jué)使得人們能夠獲取物體和場(chǎng)景中的深度信息，是后期應(yīng)用包括3D重建和內(nèi)容分析的基礎(chǔ)。立體匹配是立體視覺(jué)的關(guān)鍵技術(shù)之一，它通過(guò)對(duì)兩幅或者多幅圖像進(jìn)行像素配準(zhǔn)來(lái)獲取像素的深度信息。
[0003]匹配精確度和運(yùn)行時(shí)效性是立體匹配的兩個(gè)核心因素，然而，前期的研究表明，這兩個(gè)因素是相矛盾的。一般的，根據(jù)匹配策略，立體匹配方法可以分為兩類(lèi):全局和局部立體匹配。全局立體匹配方法能夠產(chǎn)生高精度的深度圖，然而花費(fèi)的時(shí)間較長(zhǎng)。與此相反，局部立體匹配方法產(chǎn)生的深度圖沒(méi)有全局方法精度高，但是時(shí)效性高，能夠滿(mǎn)足實(shí)時(shí)或者接近實(shí)時(shí)的運(yùn)用需求。所以，按照實(shí)際運(yùn)用的需求，局部立體匹配方法值得我們進(jìn)行深入的研究。
[0004]視差插值廣泛地運(yùn)用于局部立體匹配中，這主要基于在局部平滑區(qū)域視差保持連續(xù)變化。對(duì)三角區(qū)域進(jìn)行視差插值也在先前的研究中被采用。這些三角區(qū)域是通過(guò)對(duì)一些初始匹配點(diǎn)運(yùn)用三角化形成的，假設(shè)三角區(qū)域內(nèi)的視差保持連續(xù)變化，利用該三角區(qū)域形成的視差面進(jìn)行插值是可行的。然而，如果該三角形出現(xiàn)在物體的邊界或者形成它的頂點(diǎn)包含異常初始匹配點(diǎn)，利用該三角形進(jìn)行插值得到的視差則是無(wú)效的。針對(duì)這些問(wèn)題，本發(fā)明中的局部立體匹配方法給出了自己的解決方案，并且實(shí)驗(yàn)結(jié)果也印證了該方案的可行性。
[0005]對(duì)象分割，即圖像分割，一直是計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)，它是大多數(shù)視覺(jué)問(wèn)題(如對(duì)象識(shí)別)的基礎(chǔ)。如何快速有效地對(duì)圖像進(jìn)行分割一直是該研究領(lǐng)域的重點(diǎn)與難點(diǎn)。目前分割效果較好的算法大多時(shí)間復(fù)雜度高，并且需要人工交互，分割的對(duì)象需要手動(dòng)指定，這類(lèi)算法的代表是基于圖割的分割算法。與此相反，以均值漂移為代表的分割算法，時(shí)間效率高，并且不需要人工投入，但是它的分割效果大大不如圖割算法，容易過(guò)分割，同一對(duì)象極易分割成多個(gè)區(qū)域。

【發(fā)明內(nèi)容】

[0006]本發(fā)明一個(gè)方面提供了一種有效地基于擴(kuò)展三角插值的局部立體匹配方法，該方法能夠有效解決基于三角化的局部立體匹配算法在某些區(qū)域，如跨越物體邊界的三角形或者由異常匹配點(diǎn)組成的三角形，插值不準(zhǔn)確的問(wèn)題。
[0007]本發(fā)明的技術(shù)方案為:基于快速局部匹配的立體圖像對(duì)象分割方法，包括以下步驟:
[0008]I)求取可靠匹配點(diǎn):輸入校驗(yàn)后的左圖像，右圖像對(duì)左圖像進(jìn)行均勻采樣，對(duì)采樣點(diǎn)運(yùn)用自適應(yīng)權(quán)重局部立體匹配方法在右圖像中搜尋最佳匹配點(diǎn)，在計(jì)算像素點(diǎn)的匹配代價(jià)時(shí)采用sobel紋理特征與像素點(diǎn)的RGB顏色信息，然后對(duì)匹配結(jié)果進(jìn)行后期校驗(yàn)，最后剩下的點(diǎn)作為可靠匹配點(diǎn)；
[0009]2)對(duì)可靠匹配點(diǎn)運(yùn)用Delaunay三角化:將左圖像求得的可靠匹配點(diǎn)組織成三角網(wǎng)格，對(duì)每個(gè)三角形進(jìn)行可靠性判斷，判斷的依據(jù)是檢查三角形與其臨近的三角形是否共面，對(duì)三角形內(nèi)的點(diǎn)，根據(jù)三角形的可靠性，利用三角形及與其共邊的三個(gè)三角形進(jìn)行插值求視差；對(duì)得到的視差圖進(jìn)行后期校驗(yàn)得到最終的視差圖；
[0010]3)對(duì)左圖像構(gòu)建圖:左圖像每個(gè)像素作為圖的頂點(diǎn)，將像素與其八近鄰的連線(xiàn)作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定，視差信息由最終的視差圖得到；
[0011]4)利用構(gòu)建的圖進(jìn)行圖像分割:采用Kruskal最小生成樹(shù)策略，將邊按照權(quán)值的大小由低到高排序，根據(jù)邊的權(quán)值確定相連的兩像素所在區(qū)域是否屬于同一分割區(qū)域，判斷的閾值根據(jù)區(qū)域自適應(yīng)變化，依次處理完圖中的所有邊，則圖片中所有像素都劃歸到相應(yīng)的區(qū)域，得到分割區(qū)域；
[0012]5)提取出分割區(qū)域中感興趣的對(duì)象:對(duì)得到的分割區(qū)域，按照視差大小、分割區(qū)域的緊湊度及分割區(qū)域所占整幅圖片的比例，判斷是否屬于需要分割出來(lái)的對(duì)象，按照對(duì)象劃分取出各對(duì)象的分割區(qū)域，完成對(duì)象分割。
[0013]后期校驗(yàn)采用左右一致性檢測(cè)。
[0014]所述步驟2)中，對(duì)每個(gè)三角形利用其臨近的三角形進(jìn)行可靠性判斷具體為:
[0015]根據(jù)三角形的平面法向量的夾角Θ判斷三角形是否共面:
[0016]
【權(quán)利要求】
1.基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是包括以下步驟: 1)求取可靠匹配點(diǎn):輸入校驗(yàn)后的左圖像，右圖像對(duì)左圖像進(jìn)行均勻采樣，對(duì)采樣點(diǎn)運(yùn)用自適應(yīng)權(quán)重局部立體匹配方法在右圖像中搜尋最佳匹配點(diǎn)，在計(jì)算像素點(diǎn)的匹配代價(jià)時(shí)采用SObel紋理特征與像素點(diǎn)的RGB顏色信息，然后對(duì)匹配結(jié)果進(jìn)行后期校驗(yàn)，最后剩下的點(diǎn)作為可靠匹配點(diǎn)； 2)對(duì)可靠匹配點(diǎn)運(yùn)用Delaunay三角化:將左圖像求得的可靠匹配點(diǎn)組織成三角網(wǎng)格，對(duì)每個(gè)三角形進(jìn)行可靠性判斷，判斷的依據(jù)是檢查三角形與其臨近的三角形是否共面，對(duì)三角形內(nèi)的點(diǎn)，根據(jù)三角形的可靠性，利用三角形及與其共邊的三個(gè)三角形進(jìn)行插值求視差；對(duì)得到的視差圖進(jìn)行后期校驗(yàn)得到最終的視差圖； 3)對(duì)左圖像構(gòu)建圖:左圖像每個(gè)像素作為圖的頂點(diǎn)，將像素與其八近鄰的連線(xiàn)作為圖的邊，邊的權(quán)值由相連像素的顏色和視差信息決定，視差信息由最終的視差圖得到； 4)利用構(gòu)建的圖進(jìn)行圖像分割:采用Kruskal最小生成樹(shù)策略，將邊按照權(quán)值的大小由低到高排序，根據(jù)邊的權(quán)值確定相連的兩像素所在區(qū)域是否屬于同一分割區(qū)域，判斷的閾值根據(jù)區(qū)域自適應(yīng)變化，依次處理完圖中的所有邊，則圖片中所有像素都劃歸到相應(yīng)的區(qū)域，得到分割區(qū)域； 5)提取出分割區(qū)域中感興趣的對(duì)象:對(duì)得到的分割區(qū)域，按照視差大小、分割區(qū)域的緊湊度及分割區(qū)域所占整幅圖片的比例，判斷是否屬于需要分割出來(lái)的對(duì)象，按照對(duì)象劃分取出各對(duì)象的分割區(qū)域，完成對(duì)象分割。
2.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是所述后期校驗(yàn)采用左右一致性檢測(cè)。
3.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是所述步驟2)中，對(duì)每個(gè)三角形利用其臨近的三角形進(jìn)行可靠性判斷具體為: 根據(jù)三角形的平面法向量的夾角Θ判斷三角形是否共面:
4.根據(jù)權(quán)利要求3所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是步驟2)中，根據(jù)三角形的可靠性求視差具體為: 如果三角形fp可靠，即其臨近的三角形都與其共面，可靠度為1，則利用三角形決定的視差面對(duì)其內(nèi)的點(diǎn)P求視差:
5.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是在步驟3)構(gòu)建圖時(shí)，基于假設(shè):臨近的顏色相似的像素應(yīng)該位于同一對(duì)象內(nèi)，臨近的深度信息一致的兩像素應(yīng)該位于同一對(duì)象內(nèi)，設(shè)定邊的權(quán)值由相連兩像素的顏色和視差共同決定，如果圖中邊相連的兩像素都包含視差信息，則將視差和顏色按照7:3的比例確定邊的權(quán)值，否則，只按照顏色信息確定權(quán)值。
6.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是步驟4)中，第一次進(jìn)行圖像分割后，進(jìn)行后期處理:結(jié)合視差信息，將臨近的分割較細(xì)的屬于同一視差面的分割區(qū)域進(jìn)行合并，這里用于判斷是否合并的分割細(xì)度根據(jù)圖像分割需求確定。
7.根據(jù)權(quán)利要求1所述的基于快速局部匹配的立體圖像對(duì)象分割方法，其特征是步驟5)中需要分割出來(lái)的對(duì)象的判斷原則為: A)視差最大的區(qū)域:深度靠前，對(duì)象離鏡頭近，處于視覺(jué)顯著位置； B)分割區(qū)域緊湊:即分割區(qū)域內(nèi)像素?cái)?shù)目與分割區(qū)域所在最小矩形區(qū)域面積的比值最?。? C)分割區(qū)域所占整個(gè)圖像區(qū)域的比例適中:長(zhǎng)寬比例符合預(yù)先設(shè)定的參數(shù):
【文檔編號(hào)】G06T7/00GK103714549SQ201310745606
【公開(kāi)日】2014年4月9日 申請(qǐng)日期:2013年12月30日 優(yōu)先權(quán)日:2013年12月30日
【發(fā)明者】武港山, 夏春容, 居然 申請(qǐng)人:南京大學(xué)