一種基于fpga的自適應(yīng)支撐權(quán)重的立體匹配方法
【技術(shù)領(lǐng)域】
[OOOU 本發(fā)明屬于雙目立體視覺領(lǐng)域，具體設(shè)及一種基于FPGA的自適應(yīng)支撐權(quán)重的立 體匹配方法。
【背景技術(shù)】
[0002] 雙目立體視覺是直接模擬人類雙眼視覺的生理結(jié)構(gòu)，它是=維場景下深度信息提 取的重要技術(shù)手段，在機(jī)器人導(dǎo)航、無人機(jī)定位W及=維測量中具有廣泛的運(yùn)用，立體視覺 中最關(guān)鍵和難點(diǎn)在于雙目圖像的立體匹配，匹配過程中由于需要進(jìn)行大量數(shù)據(jù)的重復(fù)運(yùn) 算，因此在CPU上對雙目圖像進(jìn)行立體匹配需要花費(fèi)大量的運(yùn)算時(shí)間，難W滿足實(shí)時(shí)性的 要求。例如，對于主頻為1G監(jiān)的CPU,利用區(qū)域立體匹配算法對兩幅中型大小的圖片進(jìn)行稠 密視差圖計(jì)算，需要花費(fèi)幾秒的時(shí)間，該樣低速率的處理結(jié)果極大的限制了立體視覺的發(fā) 展，特別是一些需要得到實(shí)時(shí)匹配視差結(jié)果的實(shí)際運(yùn)用場合。因此，近年來如何在保證匹配 精度的條件下提高立體匹配算法的實(shí)時(shí)性，成為了人們研究的熱點(diǎn)。
[0003] 區(qū)域立體匹配算法包含全局區(qū)域立體匹配算法和局部區(qū)域立體匹配算法，全局區(qū) 域立體匹配算法匹配準(zhǔn)確度高，但計(jì)算復(fù)雜、運(yùn)算量大，在提高實(shí)時(shí)性方面可W采用GPU來 實(shí)現(xiàn)，但是GPU處理過程中功耗很大，因此限制器實(shí)際的運(yùn)用場合。對應(yīng)局部區(qū)域立體匹配 算法，該方法是通過左右圖像上的局部窗口的相似性關(guān)系來獲得每個(gè)待匹配點(diǎn)的視差值， 計(jì)算量小，且匹配過程中如果能夠找到一個(gè)合適的匹配代價(jià)關(guān)系，也能獲得一個(gè)較好的匹 配結(jié)果，而FPGA作為一種可編程的邏輯口陣列，靈活性強(qiáng)，利用其內(nèi)部的并行流水線技術(shù) 可W實(shí)時(shí)的實(shí)現(xiàn)局部區(qū)域立體匹配算法。
[0004] 目前，利用FPGA實(shí)現(xiàn)實(shí)時(shí)的局部區(qū)域立體匹配方法有Ambrosch K等人提出的基 于FPGA實(shí)現(xiàn)的SAD立體匹配方法（詳見文獻(xiàn)Hardware implementation of an SAD based stereo vision algorithm)、化en L等人提出的基于FPGA實(shí)現(xiàn)的實(shí)時(shí)立體匹配方法（詳 見文獻(xiàn) A Parallel reconf igurable architecture for real-time stereo vision) 〇 該 類方法能夠?qū)崟r(shí)的獲得到實(shí)時(shí)的稠密視差結(jié)果，但匹配過程中的局部窗口為固定值，且對 窗口內(nèi)的匹配點(diǎn)在匹配過程中沒有分配合適的權(quán)重信息，因此在深度不連續(xù)點(diǎn)處、低紋理 處W及場景重復(fù)區(qū)域處容易匹配出錯(cuò)，匹配準(zhǔn)確率不高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的針對現(xiàn)有立體匹配方法在匹配準(zhǔn)確率和實(shí)時(shí)性方面存在的不足，提 出了一種基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，該方法可W解決深度不連續(xù)點(diǎn)處、 低紋理處W及場景重復(fù)區(qū)域處容易匹配出錯(cuò)的問題，從而可W提高整體的匹配效果，同時(shí)， 該方法利用FPGA內(nèi)部的并行流水線技術(shù)，可W在FPGA內(nèi)進(jìn)行并行的局部區(qū)域立體匹配，獲 得實(shí)時(shí)的稠密視差結(jié)果，具有較強(qiáng)的魯椿性。
[0006] 為了解決上述技術(shù)問題，本發(fā)明提供一種基于FPGA的自適應(yīng)支撐權(quán)重的立體匹 配方法，在FPGA中對左右圖像建立一個(gè)mXn大小的局部立體匹配窗口，視頻輸入口的輸入 數(shù)據(jù)為預(yù)處理后的左右圖像，像素點(diǎn)的時(shí)鐘為左右圖像每個(gè)像素點(diǎn)進(jìn)入FPGA內(nèi)部的系統(tǒng) 同步時(shí)鐘，用先進(jìn)先出緩存器對匹配點(diǎn)進(jìn)行行緩存，用FPGA內(nèi)部的D觸發(fā)器對匹配點(diǎn)進(jìn)行 列緩存；然后根據(jù)局部窗口內(nèi)匹配點(diǎn)與局部窗口中屯、點(diǎn)間的灰度相似性和曼哈頓距離相似 性，求取待匹配點(diǎn)的灰度相似性函數(shù)值和曼哈頓距離相似性函數(shù)值，從而得到局部窗口匹 配點(diǎn)的權(quán)重代價(jià)關(guān)系值w(p，q)，權(quán)重代價(jià)關(guān)系值w(p，q)如式（1)所示，
[0007] W (P, q) = wdk ? wRi (1)
[000引式（1)中，wdk表示在FPGA內(nèi)部通過查找表獲得的像素點(diǎn)p和q的曼哈頓距離 相似性函數(shù)值的對應(yīng)值，Ri表示像素點(diǎn)P和q的灰度值在經(jīng)過rank變換后的灰度相似性 關(guān)系，wRi表示在FPGA內(nèi)部通過查找表獲得的像素點(diǎn)P和q的灰度相似性函數(shù)值的對應(yīng) 值；最后根據(jù)所述局部匹配窗口的匹配代價(jià)權(quán)重關(guān)系值，計(jì)算出每個(gè)匹配點(diǎn)的代價(jià)聚合關(guān) 系，然后利用勝者為王準(zhǔn)則，求取每個(gè)像素點(diǎn)的視差結(jié)果；所述每個(gè)匹配點(diǎn)的代價(jià)聚合關(guān)系 ￡(/，，萬)如式似所示，
[0009]
【主權(quán)項(xiàng)】
1. 一種基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，其特征在于，在FPGA中對左右圖 像建立一個(gè)mXn大小的局部立體匹配窗口，視頻輸入口的輸入數(shù)據(jù)為預(yù)處理后的左右圖 像，像素點(diǎn)的時(shí)鐘為左右圖像每個(gè)像素點(diǎn)進(jìn)入FPGA內(nèi)部的系統(tǒng)同步時(shí)鐘，用先進(jìn)先出緩存 器對匹配點(diǎn)進(jìn)行行緩存，用FPGA內(nèi)部的D觸發(fā)器對匹配點(diǎn)進(jìn)行列緩存。
2. 如權(quán)利要求1所述基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，其特征在于，根據(jù) 局部窗口內(nèi)匹配點(diǎn)與局部窗口中心點(diǎn)間的灰度相似性和曼哈頓距離相似性，求取待匹配點(diǎn) 的灰度相似性函數(shù)值和曼哈頓距離相似性函數(shù)值，從而得到局部窗口匹配點(diǎn)的權(quán)重代價(jià)關(guān) 系值w(p，q)，權(quán)重代價(jià)關(guān)系值w(p，q)如式（1)所示， w (p, q) = wdk ? wRx (1) 式（1)中，wdk表示在FPGA內(nèi)部通過查找表獲得的像素點(diǎn)p和q的曼哈頓距離相似性 函數(shù)值的對應(yīng)值，&表示像素點(diǎn)P和q的灰度值在經(jīng)過rank變換后的灰度相似性關(guān)系，wRi 表示在FPGA內(nèi)部通過查找表獲得的像素點(diǎn)p和q的灰度相似性函數(shù)值的對應(yīng)值。
3. 如權(quán)利要求2所述基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，其特征在于，根據(jù) 所述局部匹配窗口的匹配代價(jià)權(quán)重關(guān)系值，計(jì)算出每個(gè)匹配點(diǎn)的代價(jià)聚合關(guān)系，然后利用 勝者為王準(zhǔn)則，求取每個(gè)像素點(diǎn)的視差結(jié)果。
4. 如權(quán)利要求3所述基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，其特征在于， 所述每個(gè)匹配點(diǎn)的代價(jià)聚合關(guān)系如式（2)所示，
式⑵中，Np表示左圖像的局部匹配窗口，心表示右圖像的局部匹配窗口，w(p，q)為 左圖像中匹配點(diǎn)q的權(quán)重關(guān)系值，Mi,為右圖像中的匹配點(diǎn)^的權(quán)重關(guān)系值，對于左 右圖像的局部窗口，P點(diǎn)和5點(diǎn)對應(yīng)，q點(diǎn)和f點(diǎn)相對應(yīng)，〃",(士石）為匹配點(diǎn)經(jīng)rank變換后 的比較值，表達(dá)式如式（3)所示：
式⑶中，RM表示q點(diǎn)的rank變換值，表示點(diǎn)的rank變換值。
5. 如權(quán)利要求1所述基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法，其特征在于，選用 高斯函數(shù)對視頻圖像進(jìn)行預(yù)處理，濾除噪聲。
【專利摘要】本發(fā)明提出了一種基于FPGA的自適應(yīng)支撐權(quán)重的立體匹配方法。在FPGA中對左右圖像建立局部立體匹配窗口；然后根據(jù)局部窗口內(nèi)匹配點(diǎn)與局部窗口中心點(diǎn)間的灰度相似性和曼哈頓距離相似性，求取待匹配點(diǎn)的灰度相似性函數(shù)值和曼哈頓距離相似性函數(shù)值，從而得到局部窗口匹配點(diǎn)的權(quán)重代價(jià)關(guān)系值；最后根據(jù)所述局部匹配窗口的匹配代價(jià)權(quán)重關(guān)系值，計(jì)算出每個(gè)匹配點(diǎn)的代價(jià)聚合關(guān)系，然后利用勝者為王準(zhǔn)則，求取每個(gè)像素點(diǎn)的視差結(jié)果。本發(fā)明提高了整體匹配效果，可以獲得實(shí)時(shí)的稠密視差結(jié)果，具有較強(qiáng)的魯棒性。
【IPC分類】G06T7-00
【公開號】CN104616304
【申請?zhí)枴緾N201510072013
【發(fā)明人】顧國華, 龔文彪, 呂芳, 任建樂, 錢惟賢, 路東明, 任侃, 于雪蓮
【申請人】南京理工大學(xué)
【公開日】2015年5月13日
【申請日】2015年2月11日