基于局部二值模式算子指導(dǎo)的深度圖濾波方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于局部二值模式算子指導(dǎo)的深度圖濾波方法及系統(tǒng)，本發(fā)明方法為：首先，獲取當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)在彩色圖像中的局部二值模式算子；然后，基于鄰近像素點(diǎn)的局部二值模式算子分辨得到與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)；最后，以與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)為深度圖濾波的參考像素，得到當(dāng)前像素點(diǎn)的深度圖濾波結(jié)果。將本發(fā)明濾波方法加入到H.264/MVC編碼框架中作為回路濾波，可有效提高深度圖編碼的效率和合成虛擬視點(diǎn)的質(zhì)量。
【專利說明】基于局部二值模式算子指導(dǎo)的深度圖濾波方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于圖像濾波領(lǐng)域，特別屬于立體視頻中針對多視點(diǎn)加深度視頻格式的深度圖濾波領(lǐng)域，具體涉及一種基于局部二值模式算子指導(dǎo)的深度圖濾波方法及系統(tǒng)。
【背景技術(shù)】
[0002]近幾年，3D電影和電視為觀眾帶來較好深度沉浸感與立體視覺感受的同時還引入了與用戶間的互動。立體視覺感受可以通過對同一時刻場景不同視點(diǎn)捕捉得到的多視點(diǎn)立體視頻(Mult1-view video,MVV)獲得,但是基于MVV的立體視頻的不足之處在于無法提供與用戶的自由交互性。因此，如何利用基于深度圖像的虛擬視點(diǎn)繪制技術(shù)合成虛擬視點(diǎn)，為目前的研究熱題。
[0003]P.Merkle認(rèn)為深度圖有獨(dú)特的數(shù)據(jù)結(jié)構(gòu)，認(rèn)為其是由大量的不同同質(zhì)區(qū)域構(gòu)成，這些同質(zhì)區(qū)域由物體邊緣進(jìn)行劃分[I]。因此通常的混合編碼框架中，比如H.264/AVC，量化和塊單元編碼操作都會造成深度圖中物體邊緣的嚴(yán)重人工效應(yīng)。而深度圖提供的是3D場景中的幾何信息，所以深度圖的誤差將會在之后的虛擬視點(diǎn)合成中造成幾何失真。深度圖中同質(zhì)區(qū)域內(nèi)的像素點(diǎn)的誤差，跟深度圖中物體邊緣像素點(diǎn)的誤差，二者相比，后者更能嚴(yán)重影響合成虛擬視點(diǎn)的質(zhì)量[2]。所以在編碼深度圖時保持物體的邊緣的尖銳性非常重要。
[0004]為了符合深度圖編解碼器的背景，K.0h[3]將一個回路濾波添加到H.264框架中，對編碼的深度圖進(jìn)行去噪。此種環(huán)路濾波器通過限定幾何距離、圖像相似性、和發(fā)生頻率，對周圍鄰近像素點(diǎn)進(jìn)行操作，恢復(fù)深度圖中噪點(diǎn)，有效地提高了深度圖編碼的效率和合成虛擬視點(diǎn)的質(zhì)量。但是，深度圖中已損壞的像素點(diǎn)也可能會降低重構(gòu)像素點(diǎn)的精確性，因此，該方法比特率越低，濾波效果越差。
[0005]基于雙邊濾波的思想，Iiutt]提出一種三邊濾波的方法，該方法在確定加權(quán)系數(shù)的取值時，增加考慮了彩色圖和對應(yīng)深度圖的結(jié)構(gòu)相似性。該濾波方法可以有效清除編解碼過程中深度圖編碼的人工效應(yīng)，并且在相同比特率下得到質(zhì)量更好的合成視點(diǎn)。但是，當(dāng)周圍鄰近像素點(diǎn)只有少數(shù)點(diǎn)是相似點(diǎn)時，該濾波方法的濾波結(jié)果就顯得不穩(wěn)定。為了解決該濾波方法存在的問題，得到穩(wěn)定的濾波輸出結(jié)果，濾波器需要消除周圍不相似鄰近像素點(diǎn)的影響。

【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術(shù)存在的問題，本發(fā)明基于雙邊濾波的思想，提出了一種基于局部二值模式算子指導(dǎo)的深度圖濾波方法及系統(tǒng)，該方法在局部二值模式算子指導(dǎo)下，能有效分辨鄰近像素點(diǎn)是否屬于當(dāng)前像素點(diǎn)所在的物體，并僅選取與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)作為參考像素進(jìn)行濾波，從而獲得穩(wěn)定的濾波結(jié)果。
[0007]為了解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案:
[0008]一、一種基于局部二值模式算子指導(dǎo)的深度圖濾波方法，包括步驟:[0009]步驟1，針對深度圖像對應(yīng)的彩色圖像，獲取當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)的局部二值模式算子；
[0010]步驟2，基于鄰近像素點(diǎn)的局部二值模式算子分辨得到與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)，并更新鄰近像素點(diǎn)的局部二值模式算子；
[0011]步驟3，根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)到當(dāng)前像素點(diǎn)的幾何距離獲得空間域影響因子；[0012]步驟4，根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)和當(dāng)前像素點(diǎn)在深度圖像中深度強(qiáng)度的相似性獲得圖像域影響因子；
[0013]步驟5，以更新后的鄰近像素點(diǎn)局部二值模式算子、空間域影響因子和圖像域影響因子為濾波加權(quán)系數(shù)的約束因子獲取當(dāng)前像素點(diǎn)的濾波結(jié)果。
[0014]上述步驟I進(jìn)一步包括子步驟為:
[0015]在深度圖像對應(yīng)的彩色圖像中，獲取當(dāng)前像素點(diǎn)的各鄰近像素點(diǎn)的亮度值，并將各鄰近像素點(diǎn)與當(dāng)前像素點(diǎn)的亮度值分別作差取二值符號，得到鄰近像素點(diǎn)的局部二值模式算子。
[0016]上述步驟2進(jìn)一步包括子步驟:
[0017]2-1根據(jù)鄰近像素點(diǎn)的局部二值模式算子將鄰近像素點(diǎn)劃分為兩部分；
[0018]2-2根據(jù)上述兩部分鄰近像素點(diǎn)與當(dāng)前像素點(diǎn)的邏輯距離判斷鄰近像素點(diǎn)是否與當(dāng)前像素點(diǎn)屬于同一物體；
[0019]2-3將與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為1，將與當(dāng)前像素點(diǎn)不屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為O。
[0020]步驟3所得的空間域影響因子為gq(| Ip-c |)，其中，Gq為高斯函數(shù)，I |P-c I為當(dāng)前像素點(diǎn)C的鄰近像素點(diǎn)P到當(dāng)前像素點(diǎn)C的幾何距離。
[0021]步驟4所得的圖像域影響因子為Gs (dp_d。)，其中，Gs為高斯函數(shù)，dp_d。為當(dāng)前像素點(diǎn)C的鄰近像素點(diǎn)P在深度圖像中的深度強(qiáng)度dp與當(dāng)前像素點(diǎn)C在深度圖像中的深度強(qiáng)度d。的相似性。
[0022]步驟5所得的當(dāng)前像素點(diǎn)的深度圖濾波結(jié)果Gc為:
[0023]
【權(quán)利要求】
1.一種基于局部二值模式算子指導(dǎo)的深度圖濾波方法，其特征在于，包括步驟: 步驟1，針對深度圖像對應(yīng)的彩色圖像，獲取當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)的局部二值模式算子； 步驟2，基于鄰近像素點(diǎn)的局部二值模式算子分辨得到與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)，并更新鄰近像素點(diǎn)的局部二值模式算子； 步驟3，根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)到當(dāng)前像素點(diǎn)的幾何距離獲得空間域影響因子; 步驟4，根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)和當(dāng)前像素點(diǎn)在深度圖像中深度強(qiáng)度的相似性獲得圖像域影響因子； 步驟5，以更新后的鄰近像素點(diǎn)局部二值模式算子、空間域影響因子和圖像域影響因子為濾波加權(quán)系數(shù)的約束因子獲取當(dāng)前像素點(diǎn)的濾波結(jié)果。
2.如權(quán)利要求1所述的基于局部二值模式算子指導(dǎo)的深度圖濾波方法，其特征在于: 上述步驟2進(jìn)一步包括子步驟: 2-1根據(jù)鄰近像素點(diǎn)的局部二值模式算子將鄰近像素點(diǎn)劃分為兩部分； 2-2根據(jù)上述兩部分鄰近像素點(diǎn)與當(dāng)前像素點(diǎn)的邏輯距離判斷鄰近像素點(diǎn)是否與當(dāng)前像素點(diǎn)屬于同一物體； 2-3將與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為1，將與當(dāng)前像素點(diǎn)不屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為O。
3.如權(quán)利要求1所述的基于局部二值模式算子指導(dǎo)的深度圖濾波方法，其特征在于: 步驟3中所述的空間域影響因子為gq(|| p-c ||)，其中，Gq為高斯函數(shù)，|| p-c ||為當(dāng)前像素點(diǎn)C的鄰近像素點(diǎn)P到當(dāng)前像素點(diǎn)C的幾何距離。
4.如權(quán)利要求1所述的基于局部二值模式算子指導(dǎo)的深度圖濾波方法，其特征在于: 步驟4中所述的圖像域影響因子為Gs (dp-dc)，其中，Gs為高斯函數(shù)，dp-dc為當(dāng)前像素點(diǎn)c的鄰近像素點(diǎn)P在深度圖像中的深度強(qiáng)度dp與當(dāng)前像素點(diǎn)c在深度圖像中的深度強(qiáng)度d。的相似性。
5.如權(quán)利要求1所述的基于局部二值模式算子指導(dǎo)的深度圖濾波方法，其特征在于: 步驟5所獲得的當(dāng)前像素點(diǎn)的深度圖濾波結(jié)果Gc為:
6.一種基于局部二值模式算子指導(dǎo)的深度圖濾波系統(tǒng)，其特征在于，包括: 局部二值模式算子獲取模塊，用來針對深度圖像對應(yīng)的彩色圖像，獲取當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)的局部二值模式算子； 鄰近像素點(diǎn)判斷模塊，用來基于鄰近像素點(diǎn)的局部二值模式算子分辨得到與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)，并更新鄰近像素點(diǎn)的局部二值模式算子； 空間域影響因子獲取模塊，用來根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)到當(dāng)前像素點(diǎn)的幾何距離獲得空間域影響因子； 圖像域影響因子獲取模塊，用來根據(jù)當(dāng)前像素點(diǎn)的鄰近像素點(diǎn)和當(dāng)前像素點(diǎn)在深度圖像中深度強(qiáng)度的相似性獲得圖像域影響因子； 濾波模塊，用來以更新后的鄰近像素點(diǎn)局部二值模式算子、空間域影響因子和圖像域影響因子為濾波加權(quán)系數(shù)的約束因子獲取當(dāng)前像素點(diǎn)的濾波結(jié)果。
7.如權(quán)利要求6所述的基于局部二值模式算子指導(dǎo)的深度圖濾波系統(tǒng)，其特征在于: 所述的鄰近像素點(diǎn)判斷模塊進(jìn)一步包括子模塊: 鄰近像素點(diǎn)劃分模塊，用來根據(jù)鄰近像素點(diǎn)的局部二值模式算子將鄰近像素點(diǎn)劃分為兩部分； 判斷模塊，用來根據(jù)上述兩部分鄰近像素點(diǎn)與當(dāng)前像素點(diǎn)的邏輯距離判斷鄰近像素點(diǎn)是否與當(dāng)前像素點(diǎn)屬于同一物體； 局部二值模式算子更新模塊，用來將與當(dāng)前像素點(diǎn)屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為1，將與當(dāng)前像素點(diǎn)不屬于同一物體的鄰近像素點(diǎn)的局部二值模式算子更新為O。
8.如權(quán)利要求6所述的基于局部二值模式算子指導(dǎo)的深度圖濾波系統(tǒng)，其特征在于: 所述的空間域影響因子獲取模塊獲取的空間域影響因子為&(| |p-c |)，其中，Gq為高斯函數(shù)，I Ip-c 11為當(dāng)前像素點(diǎn)c的鄰近像素點(diǎn)P到當(dāng)前像素點(diǎn)c的幾何距離。
9.如權(quán)利要求6所述的基于局部二值模式算子指導(dǎo)的深度圖濾波系統(tǒng)，其特征在于: 所述的圖像域影響因子為Gs (dp-dc)，其中，GS為高斯函數(shù)，dp-d。為當(dāng)前像素點(diǎn)c的鄰近像素點(diǎn)P在深度圖像中的深度強(qiáng)度dp與當(dāng)前像素點(diǎn)c在深度圖像中的深度強(qiáng)度d。的相似性。
10.如權(quán)利要求6所述的基于局部二值模式算子指導(dǎo)的深度圖濾波系統(tǒng)，其特征在于: 所述的濾波模塊獲得的當(dāng)前像素點(diǎn)的濾波結(jié)果Gc為:
【文檔編號】G06T5/20GK103578089SQ201310192294
【公開日】2014年2月12日 申請日期:2013年5月22日 優(yōu)先權(quán)日:2013年5月22日
【發(fā)明者】胡瑞敏, 鐘睿, 劉璐, 王中元 申請人:武漢大學(xué)