專利名稱：一種基于各向異性擴散的深度圖像增強方法
技術(shù)領(lǐng)域：
本發(fā)明涉及深度圖像增強方法，具體涉及一種基于各向異性擴散的對深度圖像缺失區(qū)域進行填充的增強方法。
背景技術(shù)：
深度圖像用來表達場景中各點相對于攝像機之間的距離。深度圖像在計算機視覺的各種應(yīng)用中有著廣泛的應(yīng)用，其為計算機視覺中諸如跟蹤、分類、識別等方法提供了更多的可能性。深度圖像的獲取包括了主動式獲取和被動式獲取。其中被動式獲取中常用的是雙目立體視覺方法，其使用兩個相隔一定距離的攝像機同時獲取場景圖像，利用兩個相機之間的幾何關(guān)系最終生成深度圖像；而主動式獲取包括了激光雷達、結(jié)構(gòu)光等方法，其特點在于設(shè)備本身需要發(fā)射能量來完成深度信息的獲取。但是通過各種現(xiàn)有設(shè)備獲得的深度圖像大都存在深度信息缺失的問題:基于雙目立體匹配獲得的深度圖像由于基線長度的限制無法獲得在遠距離處的準確深度信息，與此同時，在兩個相機的視野非重疊區(qū)域無法獲得準確深度信息；微軟公司的Kinect獲取的深度圖像受到特殊材質(zhì)表面、測距范圍、物體遮擋等因素的影響往往會存在部分深度缺失區(qū)域；而通過激光雷達獲取三維數(shù)據(jù)，經(jīng)過坐標轉(zhuǎn)換得到的深度圖像擁有準確的深度值，但激光雷達掃描點體現(xiàn)在深度圖像上表現(xiàn)為離散稀疏的深度值，深度圖像上存在大量深度缺失區(qū)域。因此在獲得彩色圖像與深度圖像對時，彩色圖像是通常是完好的，而深度圖像中往往存在部分深度缺失區(qū)域，深度圖像的缺失區(qū)域給后續(xù)的機器視覺算法引來了諸多不變，如何對缺失深度區(qū)域的深度進行合理的估計成為了一個亟待解決的問題。在已提出的對深度圖像深度缺失區(qū)域進行填充的方法包括了內(nèi)插，濾波等。各種算法往往都是通過已知的深度對缺失深度區(qū)域的深度進行合理估計。傳統(tǒng)的內(nèi)插方法利用缺失深度像素點周圍的已知深度信息對該點的深度進行適當?shù)墓烙?。該方法填充完成的深度圖像在物體邊緣十分模糊，得到的深度圖像往往無法達到后續(xù)應(yīng)用的使用要求。而某些濾波算法利用與深度圖像對應(yīng)的彩色圖像來輔助深度圖像的缺失區(qū)域填充。經(jīng)常被采用的方法是聯(lián)合雙邊濾波器。然而，這種基于濾波的深度圖像增強往往對深度缺失區(qū)域大小非常敏感，如果深度缺失區(qū)域較大，而濾波采用的窗口尺寸較小，就會出現(xiàn)深度缺失區(qū)域無法被填充的情況。而如果窗口尺寸較大，就會導致深度圖像中的細節(jié)信息難以保留。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于各向異性擴散的深度圖像增強方法，該方法利用深度圖像的已知深度信息與彩色圖像信息，克服了先前方法中物體邊緣模糊、對深度缺失區(qū)域大小敏感等問題，實現(xiàn)了對深度圖像中深度缺失區(qū)域的合理填充。本發(fā)明采用的技術(shù)方案是:
本發(fā)明以與深度圖像對應(yīng)的彩色圖像作引導，基于深度圖像的已知深度區(qū)域，完成對深度圖像的深度缺失區(qū)域的填充；該方法具體步驟如下:步驟I)利用攝像機拍攝得到彩色圖像，并利用深度傳感器得到相同場景的深度信息，進而將深度信息映射到彩色圖像坐標系得到深度圖像，將兩幅圖像中具有相同行列位置的像素點進行一一對應(yīng)；步驟2)將深度圖像中深度缺失的像素點的值設(shè)為O ;步驟3)對經(jīng)步驟2)處理的深度圖像進行逐列掃描，得到含有N個元素的列向量b，其中N表示深度圖像的像素點個數(shù)；
步驟4)構(gòu)建一個大小為NXN的矩陣M，矩陣M的第i行、第j列元素Mij的表達
式如式⑴所示:
權(quán)利要求
1.一種基于各向異性擴散的深度圖像增強方法，其特征在于:以與深度圖像對應(yīng)的彩色圖像作引導，基于深度圖像的已知深度區(qū)域，完成對深度圖像的深度缺失區(qū)域的填充；該方法具體步驟如下: 步驟I)利用攝像機拍攝得到彩色圖像，并利用深度傳感器得到相同場景的深度信息，進而將深度信息映射到彩色圖像坐標系得到深度圖像，將兩幅圖像中具有相同行列位置的像素點進行對應(yīng)； 步驟2)將深度圖像中深度缺失的像素點的值設(shè)為O ; 步驟3)對經(jīng)步驟2)處理的深度圖像進行逐列掃描，得到含有N個元素的列向量b，其中N表示深度圖像的像素點個數(shù)； 步驟4)構(gòu)建一個大小為NXN的矩陣M，矩陣M的第i行、第j列元素Mij的表達式如式⑴所示:
2.根據(jù)權(quán)利要求1所述的一種基于各向異性擴散的深度圖像增強方法，其特征在于:所述式⑴中I Ii1-1jI I2用式⑷進行計算 II1-1j I 12 = (R1-Rj)2+ (G1-Gj)2+ (B1-Bj)2 (4) 其中，Ri為h所對應(yīng)的彩色圖像像素點的R通道的值，Rj為h所對應(yīng)的彩色圖像像素點的R通道的值A(chǔ)為匕所對應(yīng)的彩色圖像像素點的G通道的值，Gj為bj所對應(yīng)的彩色圖像像素點的G通道的值辦為匕所對應(yīng)的彩色圖像像素點的B通道的值，Bj為bj所對應(yīng)的彩色圖像像素點的B通道的值。
3.根據(jù)權(quán)利要求1所述的一種基于各向異性擴散的深度圖像增強方法，其特征在于:所述式(3)通過對線性方程組的求解軟件得到列向量Y的解。
全文摘要
本發(fā)明公開了一種基于各向異性擴散的深度圖像增強方法。利用與深度圖像對應(yīng)的彩色圖像的像素點間的相似性作為深度擴散的依據(jù)，基于深度圖像的已知深度，完成對深度圖像的深度缺失區(qū)域的填充。本發(fā)明克服了傳統(tǒng)的基于內(nèi)插的深度增強方法中存在的物體邊緣模糊的問題，同時突破了基于濾波的深度增強方法中濾波窗口大小的限制，具備通用性強，魯棒性強等優(yōu)點。其可廣泛應(yīng)用于各類存在深度區(qū)域缺失的深度圖像，在實際的應(yīng)用中基于相互對應(yīng)的彩色圖像和深度圖像能夠獲得良好的深度圖像缺失區(qū)域填充效果。
文檔編號G06T7/00GK103198486SQ201310124200
公開日2013年7月10日 申請日期2013年4月10日 優(yōu)先權(quán)日2013年4月10日
發(fā)明者劉俊毅, 龔小謹, 劉濟林 申請人:浙江大學