專利名稱：一種雙目立體視頻的深度圖像估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種深度圖像估計方法，特別是一種雙目立體視頻的深度圖像估計方法。
背景技術(shù)：
隨著數(shù)字視頻的迅速發(fā)展和廣泛應(yīng)用，人們對視頻圖像的質(zhì)量和內(nèi)容的多樣性要求越來越高，傳統(tǒng)的丟失了作為第三維深度信息的二維圖像已不能滿足人們的視覺要求， 基于雙目視差的可恢復(fù)深度信息的立體視頻技術(shù)正在迅速發(fā)展?，F(xiàn)有的深度圖像估計方法主要有兩種一種是直接通過深度攝像機獲取，另一種是從輸入視頻通過立體匹配算法提取深度。深度攝像機原理是利用光源前端發(fā)射紅外光線，通過接受反射的紅外光線，計算其來回時間來確定物體深度，最后通過物體深度感光片來得到深度的黑白圖像。其存在的缺陷明顯，如光源前端精度有限，對于深度太大-過遠， 反射時間過長、深度太小-過近，反射時間過短和漫反射物體-反射光線沒有返回，接收器都無法得到深度信息。不僅如此，從實用性上來看，要在每個攝像機中架上這樣的一個深度攝像機似乎不太現(xiàn)實，故該系統(tǒng)一直只用于實驗室中，并未得到廣泛推廣。立體匹配算法只使用輸入視頻圖像，即可生成深度，適合在現(xiàn)有的攝像模式上進行推廣，故一直是深度圖像獲取方法的研究重點?，F(xiàn)階段應(yīng)用于雙目立體視頻系統(tǒng)的大多立體匹配算法是基于能量最小化框架的全局方法。常用的能量最小算法是置信傳播和圖割立體匹配。盡管這些方可以得到稠密的深度圖像，但在低紋理區(qū)域、遮擋區(qū)域和對象的邊緣處發(fā)生誤匹配，導(dǎo)致由視差圖像經(jīng)換算獲取得的深度圖像也有相應(yīng)誤差造成低準(zhǔn)確性，這會影響真實場景重建圖像質(zhì)量，如何提高所獲取深度圖像的精確性已成為當(dāng)前急需解決的技術(shù)難點。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種的雙目立體視頻的深度圖像估計方法，能消弱深度圖像獲取過程中在遮擋區(qū)域、低紋理區(qū)域以及對象邊緣處發(fā)生誤匹配的錯誤，提高獲取深度圖像精度，可用于雙目立體視頻系統(tǒng)接收端獲得高精度的真實場景重建圖像。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
一種雙目立體視頻的深度圖像估計方法，其特征在于包括以下操作步驟 (1)采集雙目立體視頻圖像從雙目立體攝像機上獲取雙目立體視頻圖像一左視點和右視點圖像。(2)視差估計用立體區(qū)域匹配方法分別逐幀估計出雙目立體視頻的從左到右視差圖序列和從右到左視差圖序列；其中能量函數(shù)的數(shù)據(jù)項中兼顧幀內(nèi)誤差和幀間誤差；幀內(nèi)誤差綜合使用了亮度絕對差均值MAD準(zhǔn)則和梯度絕對差總和SGRAD準(zhǔn)則，并且各個像素依據(jù)在窗口中的重要程度自適應(yīng)調(diào)整權(quán)重；
(3)視差圖像一致性檢查將所述從左到右視差圖序列和從右到左視差圖序列分別進行一致性檢查，修正不可靠的視場匹配信息；
(4)視差深度轉(zhuǎn)化將所述從左到右視差圖序列和從右到左視差圖序列分別轉(zhuǎn)化為左視點深度圖像序列和右視點深度圖像序列
d +hd
d-d ν = 255. mh
其中，Γ是深度值，ν是深度的量化值，J是焦距，I是基線距離，d為步驟三計算出的視差，M表示視差偏移，此值決定于相機參數(shù)，d^和Jm取決于設(shè)定的視差搜索區(qū)間；
(5)深度圖像矯正優(yōu)化采用多邊濾波方法逐幀優(yōu)化雙目立體視頻的深度圖像序列；
(6)深度圖像輸出輸出深度圖像，完成雙目立體視頻深度圖像估計。 上述步驟(2)視差估計中從左到右和從右到左的視差圖序列中各幀的估計方法相同，具體操作步驟如下
(2-1)利用mean-shift算法對雙目立體視頻圖像進行過分割； (2-2)構(gòu)造能量函數(shù)為
權(quán)利要求
1.一種雙目立體視頻的深度圖像估計方法，其特征在于包括以下操作步驟(1)采集雙目立體視頻圖像從雙目立體攝像機上獲取雙目立體視頻圖像——左視點和右視點圖像；(2)視差估計用立體區(qū)域匹配方法分別逐幀估計出雙目立體視頻的從左到右視差圖序列和從右到左視差圖序列；其中能量函數(shù)的數(shù)據(jù)項中兼顧幀內(nèi)誤差和幀間誤差；幀內(nèi)誤差綜合使用了亮度絕對差均值MAD準(zhǔn)則和梯度絕對差總和SGRAD準(zhǔn)則，并且各個像素依據(jù)在窗口中的重要程度自適應(yīng)調(diào)整權(quán)重；(3)視差圖像一致性檢查將所述從左到右視差圖序列和從右到左視差圖序列分別進行一致性檢查，修正不可靠的視場匹配信息；
2.根據(jù)權(quán)利要求1所述的一種雙目立體視頻的深度圖像估計方法，其特征在于所述步驟(2)視差估計中從左到右和從右到左的視差圖序列中各幀的估計方法相同，具體操作步驟如下(2-1)利用mean-shift算法對雙目立體視頻圖像進行過分割；(2-2)構(gòu)造能量函數(shù)I—為
3.根據(jù)權(quán)利要求1所述的一種雙目立體視頻的深度圖像估計方法，其特征在于所述步驟(3)視差圖像一致性檢查中從左到右視差圖序列和從右到左視差圖序列中各幀的一致性檢查方法相同，包括以下步驟(3-1)依據(jù)下式選取需要修正視差信息的誤匹配點進行修正
4.根據(jù)權(quán)利要求1所述的一種雙目立體視頻的深度圖像估計方法，其特征在于所述步驟(5)深度圖像矯正優(yōu)化中的用多邊濾波方法優(yōu)化深度圖像序列包括以下步驟(5-1)紋理分析對于低紋理區(qū)域采用圖像紋理分析方法對紋理進行判定，根據(jù)紋理類型選擇多邊濾波器的濾波器窗口大小參數(shù)，圖像低紋理區(qū)域采用小的幾何擴散強度
全文摘要
本發(fā)明公開了一種雙目立體視頻的深度圖像估計方法。它包括如下操作步驟(1)從雙目立體攝像機上采集雙目立體視頻圖像；(2)對雙目立體視頻圖像進行基于圖割立體匹配的視差估計；(3)對圖割立體匹配得到的視差圖像進行一致性檢查，采用自適應(yīng)匹配刪除不可靠的匹配，減小深度圖像的誤匹配；(4)根據(jù)視差與深度之間的關(guān)系，把視差圖像轉(zhuǎn)為深度圖像；(5)采用多邊濾波器對得到深度圖像進行矯正優(yōu)化；(6)輸出深度圖像，完成雙目立體視頻深度圖像估計。本發(fā)明有效地消除了深度圖像估計中的錯誤，最終能獲得一個準(zhǔn)確且稠密的深度圖像，從而滿足基于真實場景重建圖像質(zhì)量的要求。
文檔編號G06T7/00GK102523464SQ20111041050
公開日2012年6月27日 申請日期2011年12月12日 優(yōu)先權(quán)日2011年12月12日
發(fā)明者安平, 張兆揚, 張秋聞, 張艷 申請人:上海大學(xué)