視差圖改善方法和裝置制造方法
【專利摘要】提供了一種視差圖改善方法和裝置，該方法可以包括：獲得初始視差圖；確定視差圖的像素之間的相似度；構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重；對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)；以及以傳播終止后的圖中結(jié)點(diǎn)的視差值作為對(duì)應(yīng)像素的視差值。利用該視差圖改善方法和裝置，對(duì)圖像中的所有像素構(gòu)建圖模型，通過圖模型中的多次迭代傳播來達(dá)到全局最優(yōu)、可以降低噪聲和強(qiáng)化邊緣；而且無需對(duì)圖像進(jìn)行分割，可節(jié)省計(jì)算資源。
【專利說明】視差圖改善方法和裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明總體地涉及圖像處理，更具體地涉及視差圖改善方法和裝置。
【背景技術(shù)】
[0002]圖像匹配是計(jì)算機(jī)視覺和圖像理解領(lǐng)域的基礎(chǔ)研究問題之一，已廣泛應(yīng)用于多源圖像融合、目標(biāo)識(shí)別、三維重建等諸多領(lǐng)域。
[0003]隨著三維重建技術(shù)、虛擬現(xiàn)實(shí)等領(lǐng)域的興起，人們對(duì)視差圖的精度和密度的要求越來越高，希望獲得圖像中的每一個(gè)像素點(diǎn)的可靠的深度信息。立體匹配的目的就是在相同三維場(chǎng)景的兩幅成像平面中找到匹配的像素點(diǎn)對(duì)，計(jì)算出每個(gè)像素點(diǎn)坐標(biāo)對(duì)應(yīng)的視差值，進(jìn)而可以準(zhǔn)確的描述場(chǎng)景的三維空間信息。
[0004]專利文獻(xiàn)N0.US20050286756A1公開了一種基于圖像分割的視差計(jì)算方法/系統(tǒng)。該方法首先對(duì)圖像進(jìn)行分割，后續(xù)的改善是采用各種擬合代價(jià)方程，并通過不斷迭代來估算視差平面，從而得到更加精確的視差值。在該方法中，為了取得較精確的視差值，多次的曲面擬合是必須的，因而會(huì)消耗較多的計(jì)算時(shí)間。另一方面，這種視差改善方法不是一個(gè)全局的方法，所以常常只能在圖像的某一個(gè)區(qū)域取得較好的效果。
[0005]Heiko Hirschmuller在題為“Stereo processing by Sem1-Global Matching andMutual Information, ” in TPAMI, 2008的非專利文獻(xiàn)中提出一個(gè)半全局的視差匹配方法。該文章中利用峰值濾波(Peaks removal)和平面擬合(Plane fitting)方法對(duì)得到的初始視差值進(jìn)行改善優(yōu)化。這種方法不是全局方法，很難在全幅圖像中取得較好的效果，另外該方法需要對(duì)圖像事先進(jìn)行分割，這將消耗大量的時(shí)間。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明的實(shí)施例，提供了一種視差圖改善方法，可以包括:獲得初始視差圖；確定視差圖的像素之間的相似度；構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重；對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)；以及以傳播終止后的圖中結(jié)點(diǎn)的視差值作為對(duì)應(yīng)像素的視差值。
[0007]根據(jù)本發(fā)明的另一實(shí)施例，提供了一種視差圖改善裝置，可以包括:初始視差圖獲得部件，獲得初始視差圖；像素間相似度確定部件，確定視差圖的像素之間的相似度；圖模型構(gòu)造部件，構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重；擴(kuò)散迭代部件，對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)；以及最終視差圖獲得部件，以傳播終止后的圖中結(jié)點(diǎn)的視差值作為對(duì)應(yīng)像素的視差值。
[0008]利用根據(jù)本發(fā)明實(shí)施例的視差圖改善方法和裝置，對(duì)圖像中的所有像素構(gòu)建圖模型，通過圖模型中的多次迭代傳播來達(dá)到全局最優(yōu)、可以降低噪聲和強(qiáng)化邊緣；而且無需對(duì)圖像進(jìn)行分割，可節(jié)省計(jì)算資源。
【專利附圖】

【附圖說明】
[0009]圖1示意性示出根據(jù)本發(fā)明一個(gè)實(shí)施例的視差改善系統(tǒng)的示例性配置和操作。
[0010]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的視差改善方法的總體流程圖。
[0011]圖3示意性地示出了基于公式(I)計(jì)算的一個(gè)像素和周圍像素之間的灰度差值和相似度之間的關(guān)系。
[0012]圖4示出了根據(jù)本發(fā)明實(shí)施例的視差圖改善裝置的功能配置框圖。
[0013]圖5是示出按照本發(fā)明實(shí)施例的視差圖改善系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0014]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0015]將按下列順序進(jìn)行描述:
[0016]1、視差改善系統(tǒng)的配置和操作概述
[0017]2、視差圖改善方法
[0018]3、視差圖改善裝置
[0019]4、系統(tǒng)硬件配置
[0020]5、總結(jié)
[0021]1、視差改善系統(tǒng)的配置和操作概述
[0022]下面參考圖1概括描述根據(jù)本發(fā)明一個(gè)實(shí)施例的面向立體視覺匹配的視差改善系統(tǒng)的示例性配置和操作。
[0023]圖1示意性示出根據(jù)本發(fā)明一個(gè)實(shí)施例的視差改善系統(tǒng)的示例性配置和操作。
[0024]在圖1所示的示例中，視差改善系統(tǒng)100包括:雙目相機(jī)101，通過雙目相機(jī)101拍攝得到左圖102(1)和右圖102(2)，或者102可以表示雙目照相機(jī)輸出的并已經(jīng)經(jīng)過校正處理的參考圖像102(1)和匹配圖像102(2);初始視差圖獲得部件(未示出)，基于參考圖像和匹配圖像計(jì)算得到初始視差圖103 ;圖模型構(gòu)建部件104，用于對(duì)像素構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重；視差值迭代傳播部件105，對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)(當(dāng)然，每個(gè)結(jié)點(diǎn)的視差值也通過其它結(jié)點(diǎn)的視差值的傳播而被調(diào)整)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)，傳播過程終止時(shí)將得到最終的視差圖106。圖模型構(gòu)建部件104和視差值迭代傳播部件105在圖3中示出為由芯片107上安裝的軟件程序或固件來實(shí)現(xiàn)，不過這僅為示例，本領(lǐng)域技術(shù)人員知道其也可以由專門硬件來實(shí)現(xiàn)。
[0025]2、視差圖改善方法
[0026]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的視差改善方法200的總體流程圖。
[0027]如圖2所示，在步驟S210中，獲得初始視差圖。初始視差圖可以基于參考圖像和匹配圖像之間的匹配而得到的，且可以利用各種傳統(tǒng)的計(jì)算視差值的方法得出，例如塊匹配、動(dòng)態(tài)規(guī)劃法、圖割法、半全局匹配法(SGM)等等。
[0028]在步驟S220中，確定視差圖的像素之間的相似度。
[0029]示例性地，可以基于參考圖像中的像素的灰度值、顏色值、紋理值等特征中的一個(gè)或多個(gè)來確定像素之間的相似度。這里順便說一下，參考圖像和匹配圖像兩者角色是可互換的，即匹配圖像可以作為參考圖像，而參考圖像用作匹配圖像。
[0030]另外，在確定視差圖的像素之間的相似度時(shí)，可以考慮像素之間的距離。例如，相距在預(yù)定范圍之內(nèi)的像素才考慮相似度的計(jì)算，而彼此相距超過預(yù)定范圍的像素之間簡(jiǎn)單地認(rèn)為不具有相似度。
[0031 ] 在后續(xù)的圖模型中結(jié)點(diǎn)的視差值的擴(kuò)散迭代中，不具有相似度的像素之間不會(huì)相
互影響。
[0032]例如，可以將視差圖的像素之間的相似度構(gòu)造為相似度矩陣W (n X n)，其中n是參考圖像的像素?cái)?shù)目，相似度矩陣的第i行第j列的值表示視差圖中像素i和像素j之間的相似度。例如，可以根據(jù)下式(I)來計(jì)算像素i和像素j之間的相似度wu，
[0033]
【權(quán)利要求】
1.一種視差圖改善方法，包括: 獲得初始視差圖； 確定視差圖的像素之間的相似度； 構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重； 對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)；以及 以傳播終止后的圖中結(jié)點(diǎn)的視差值作為對(duì)應(yīng)像素的視差值。
2.根據(jù)權(quán)利要求1的視差圖改善方法，其中初始視差圖是基于參考圖像和匹配圖像之間的匹配而得到的，以及視差圖的像素之間的相似度基于參考圖像中的像素的灰度值、顏色值、紋理值中的一個(gè)或多個(gè)來確定。
3.根據(jù)權(quán)利要求2的視差圖改善方法，其中視差圖的像素之間的相似度構(gòu)造為相似度矩陣W(nXn)，其中n是參考圖像的像素?cái)?shù)目，相似度矩陣的第i行第j列的值Wij表示視差圖中像素i和像素j之間的相似度，如下計(jì)算像素i和像素j之間的相似度wu，

4.根據(jù)權(quán)利要求3的視差圖改善方法，還包括對(duì)相似度矩陣W進(jìn)行歸一化處理。
5.根據(jù)權(quán)利要求1到4任一項(xiàng)所述的視差圖改善方法，其中通過如下傳播公式對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，
D(t+l) = affD(t) + (l-a )D(0) 其中D(t)是第t次迭代時(shí)的nX I的視差值矩陣，矩陣中各個(gè)元素的值對(duì)應(yīng)于n個(gè)像素中各個(gè)像素的視差值，D(O)為初始視差值矩陣,實(shí)數(shù)a是權(quán)值參數(shù),用于控制初始視差的貢獻(xiàn)量，0〈 a〈I。
6.一種視差圖改善裝置，包括: 初始視差圖獲得部件，獲得初始視差圖； 像素間相似度確定部件，確定視差圖的像素之間的相似度； 圖模型構(gòu)造部件，構(gòu)建圖模型，其中圖的各個(gè)結(jié)點(diǎn)對(duì)應(yīng)于各個(gè)圖像像素，每個(gè)結(jié)點(diǎn)的初始值為對(duì)應(yīng)像素的初始視差值，圖中結(jié)點(diǎn)之間的邊具有與對(duì)應(yīng)像素之間的相似度相應(yīng)的權(quán)重； 擴(kuò)散迭代部件，對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，以便在每一輪擴(kuò)散迭代中把每個(gè)結(jié)點(diǎn)的視差值傳播給其它結(jié)點(diǎn)，傳播過程終止于收斂或者達(dá)到某一最大迭代次數(shù)；以及 最終視差圖獲得部件，以傳播終止后的圖中結(jié)點(diǎn)的視差值作為對(duì)應(yīng)像素的視差值。
7.根據(jù)權(quán)利要求6的視差圖改善裝置，其中初始視差圖是基于參考圖像和匹配圖像之間的匹配而得到的，以及視差圖的像素之間的相似度基于參考圖像中的像素的灰度值、顏色值、紋理值中的一個(gè)或多個(gè)來確定。
8.根據(jù)權(quán)利要求7的視差圖改善裝置，其中視差圖的像素之間的相似度構(gòu)造為相似度矩陣W(nXn)，其中n是參考圖像的像素?cái)?shù)目，相似度矩陣的第i行第j列的值表示視差圖中像素i和像素j之間的相似度，如下計(jì)算像素i和像素j之間的相似度wu，
9.根據(jù)權(quán)利要求8的視差圖改善裝置，還包括對(duì)相似度矩陣W進(jìn)行歸一化處理。
10.根據(jù)權(quán)利要求6到9任一項(xiàng)所述的視差圖改善裝置，其中通過如下傳播公式對(duì)圖中結(jié)點(diǎn)的視差值進(jìn)行擴(kuò)散迭代，
D(t+l) = affD(t) + (l-a )D(0) 其中D(t)是第t次迭代時(shí)的nX I的視差值矩陣，矩陣中各個(gè)元素的值對(duì)應(yīng)于n個(gè)像素中各個(gè)像素的視差值，D(O)為初始視差值矩陣,實(shí)數(shù)a是權(quán)值參數(shù),用于控制初始視差的貢獻(xiàn)量。
【文檔編號(hào)】G06T5/00GK103778598SQ201210394733
【公開日】2014年5月7日 申請(qǐng)日期:2012年10月17日 優(yōu)先權(quán)日:2012年10月17日
【發(fā)明者】劉媛, 師忠超, 魯耀杰, 王剛 申請(qǐng)人:株式會(huì)社理光