一種基于結(jié)構(gòu)信息的邊界保護深度視頻估計方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)及立體成像領(lǐng)域，尤其涉及一種基于結(jié)構(gòu)信息的邊界保 護深度視頻估計方法。
【背景技術(shù)】
[0002] 3D視頻提供給觀察者一種身臨其境的立體體驗。3D技術(shù)的迅速發(fā)展與進步，使得 3D技術(shù)受到越來越多的關(guān)注，例如：3D電視的出現(xiàn)，3D影院和自由立體電視的興起，以及3D 技術(shù)在醫(yī)學(xué)和軍事中的應(yīng)用。3D系統(tǒng)與傳統(tǒng)的2D系統(tǒng)的區(qū)別在于其提供給觀察者對場景 的深度感知?目息。因此，深度?目息的獲取是3D系統(tǒng)中的重要因素，也是獲取立體感知的根 本原因。目前已提出一些深度視頻估計方法，主要包括局部深度估計方法和全局深度估計 方法。局部深度估計方法依據(jù)鄰域像素具有相同深度值的假設(shè)進行深度估計，全局深度估 計方法是基于能量函數(shù)最小化的估計方法，相對局部深度估計方法可以得到更加準確的深 度結(jié)果，但全局深度估計方法的全局優(yōu)化策略使得其邊界準確性需要進一步提高。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供了一種基于結(jié)構(gòu)信息的邊界保護深度視頻估計方法，本發(fā)明將彩色圖 像的區(qū)域分割信息與初始深度圖的邊界信息相結(jié)合，利用結(jié)構(gòu)信息更新能量函數(shù)平滑項， 提高深度視頻的邊界準確性，詳見下文描述：
[0004] -種基于結(jié)構(gòu)信息的邊界保護深度視頻估計方法，所述方法包括以下步驟：
[0005] 基于亮度信息對輸入視頻的每一幀構(gòu)造能量函數(shù)；
[0006] 通過求解所述能量函數(shù)獲取最優(yōu)解，以此得到初始深度圖，通過邊界提取算子提 取初始深度圖邊界；
[0007] 對彩色視頻的每一幀進行區(qū)域分割，根據(jù)彩色視頻的分割結(jié)果以及初始深度圖邊 界對能量函數(shù)進行處理，更新能量函數(shù)的平滑項；
[0008] 對更新后的能量函數(shù)進行最小化處理，獲取視差值，并將視差值轉(zhuǎn)化為深度值。
[0009] 通過求解所述能量函數(shù)獲取最優(yōu)解具體為：通過能量函數(shù)最小化方法求取能量函 數(shù)的最優(yōu)解。
[0010] 所述更新能量函數(shù)的平滑項具體為：
[0012] 其中，a，b e {-1，1} ;ρ為平滑系數(shù)；P(x+a，y+b)為當前像素的相鄰像素；Ε_ depth為初始深度圖；LabelP〇i+a,y+b)為P(x+a，y+b)在彩色分割圖中所屬的區(qū)域；Label Pfcy) 為P(x，y)在彩色分割圖中所屬區(qū)域；α為原有平滑系數(shù)；LsJP Ls 2為平滑項更新參數(shù)。
[0013] 本發(fā)明提供的技術(shù)方案的有益效果是：本發(fā)明通過對彩色圖像進行區(qū)域分割，對 初始深度圖提取邊界，將以上邊界和區(qū)域的結(jié)構(gòu)信息相結(jié)合，能夠使正確的邊界更加清晰， 并平滑錯誤的邊界，從而提高深度視頻邊界的準確性。
【附圖說明】
[0014] 圖1為本發(fā)明提出方法的流程圖；
[0015] 圖2為初始深度圖邊界信息的示意圖；
[0016] 圖3為圖2中所標定的方框內(nèi)彩色圖與深度邊界的示意圖；
[0017] 圖4為未經(jīng)能量函數(shù)平滑項更新的圖2中所標定的方框內(nèi)深度圖邊界的示意圖；
[0018] 圖5為經(jīng)過本方法得到的圖2中所標定的方框內(nèi)深度圖邊界的示意圖。
【具體實施方式】
[0019] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面對本發(fā)明實施方式作進一步 地詳細描述。
[0020] 能量函數(shù)最小化是全局深度估計算法的基礎(chǔ)。能量函數(shù)包括三項，數(shù)據(jù)項，平滑項 以及時域項。數(shù)據(jù)項保證當前像素與參考視點中對應(yīng)像素的亮度相似性，平滑項使得當前 像素與其相鄰像素具有相似的深度值，時域項包括幀間相關(guān)信息，可提高深度視頻時域一 致性。
[0021] 圖像區(qū)域分割算法按照一定的規(guī)則將圖像劃分成多個具有像素相似性的區(qū)域。 根據(jù)分割規(guī)則的不同，彩色圖像區(qū)域分割方法主要有以下幾種：1)基于邊緣的圖像分割方 法：通過圖像灰度的不連續(xù)性確定圖像中的邊緣點，以邊緣點為基礎(chǔ)對圖像進行分割，例 如：分水嶺分割算法就屬于這一類。2)基于閉值的分割方法：在這一類分割算法中最常用 的是直方圖分割算法，直方圖中每一個峰值對應(yīng)于一個區(qū)域，峰谷對應(yīng)于區(qū)域的邊界。3)基 于區(qū)域的分割方法：這種方法將像素按照某種特性分為幾類，把具有相同特性的像素看作 一個整體，即為一個區(qū)域。例如常用的區(qū)域生長就屬于這種方法。區(qū)域生長分割算法按照某 種生長規(guī)則不斷將種子像素與周邊臨近像素進行合并，將其劃分為同一區(qū)域，直到不滿足 生長條件，區(qū)域生長結(jié)束。4)基于聚類的分割方法：聚類是最早應(yīng)用于圖像分割的方法之 一，該方法根據(jù)圖像中不同物體顏色和距離等信息的差別進行聚類，分割結(jié)果較為理想。例 如常用的聚類分割算法有K-means分割算法，分層聚類，mean-shift分割算法等。K-means 是基于聚類分割算法中最為常用的一種，通常將距離作為相似性的評價指標。該算法認為 簇是由距離靠近的對象組成的，因此將獲取緊湊且獨立的簇作為最終目標。
[0022] 邊界提取也是目前圖像處理領(lǐng)域中常用的一項技術(shù)，它是對于圖像輪廓的一個處 理方法。圖像灰度變化率最大的地方被認為是圖像的邊緣。通常，利用圖像灰度的不連續(xù) 性來確定邊緣像素的位置。大多邊緣檢測的方法是將差分方程作為檢測基礎(chǔ)，構(gòu)建邊緣檢 測算子。常用的有Roberts算子，Canny算子，以及Sobel算子等。為更好地實現(xiàn)邊緣檢測， Canny算子首先對圖像進行去噪處理，然后使用四個掩模分別檢測水平，垂直以及對角四個 方向邊緣，以此來尋找圖像中的亮度梯度。亮度梯度較高的位置更有可能是圖像的邊緣，采 用邊緣跟蹤的方法找到圖像邊緣位置。
[0023] 現(xiàn)有技術(shù)中的基于能量函數(shù)最小化框架的全局深度估計方法得到的深度視頻，在 邊界準確性方面有待進一步提高，進而使其保證深度及繪制視點視頻的質(zhì)量。本發(fā)明實施 例將彩色圖像的區(qū)域分割信息與初始深度圖邊界信息相結(jié)合，判斷初始邊界可靠性，更新 能量函數(shù)平滑項，提高深度視頻的邊界準確性。
[0024] 實施例1
[0025] 101 :基于亮度信息對輸入視頻的每一幀構(gòu)造能量函數(shù)；
[0026] 能量函數(shù)由數(shù)據(jù)項、平滑項以及時域項三項構(gòu)成。首先通過塊匹配構(gòu)建能量函數(shù) 數(shù)據(jù)項。分別計算當前視點與左右參考視點對應(yīng)像素的亮度差值，并取其中較小值作為數(shù) 據(jù)項。然后，對每一個像素，分別計算其與相鄰的四個像素的亮度差，將亮度差以一定權(quán)值 進行加權(quán)作為能量函數(shù)平滑項。接下來通過獲取幀間運動信息構(gòu)造能量函數(shù)時域項。經(jīng)運 動估計得到的運動矢量為（m，η)，以運動矢量（m，η)為參數(shù)計算時域項自適應(yīng)權(quán)值；利用運 動矢量找到前一幀中與當前位置對應(yīng)位置的深度值，將對應(yīng)點深度值的差值作為能量函數(shù) 的時域項。
[0027] 102 :對彩色視頻的每一幀進行區(qū)域分割，通過求解能量函數(shù)獲取最優(yōu)解，以此得 到初始深度圖，通過邊界提取算子提取初始深度圖邊界；
[0028] 首先采用區(qū)域分割算法k-means對彩色視頻的每一幀進行區(qū)域分割，得到一塊一 塊的區(qū)域，標記為Label，將像素 P (X，y)所在區(qū)域記為LabelP(x,y)。
[0029] 通過能量函數(shù)最小化方法求取步驟101獲取到的能量函數(shù)的最優(yōu)解，能量函數(shù)的 自變量即為深度值，得到初始深度圖。然后利用canny算子提取初始深度圖邊界，記為E_ depth〇
[0030] 具體實現(xiàn)時，本發(fā)明實施例對區(qū)域分割算法、提取初始深度圖邊界算子不做限制， 可以根據(jù)實際應(yīng)用中的需要進行選擇。
[0031] 103:根據(jù)彩色視頻的分割結(jié)果以及初始深度圖邊界對能量函數(shù)進行處理，更新能 量函數(shù)的平滑項；
[0032] 將步驟102獲取到的初始深度圖邊界與彩色圖的分割結(jié)果相結(jié)合，更新能量函數(shù) 的平滑項，更新方式如下：
[0034] 其中，a，b e {-1，1} ;p為平滑系數(shù)；P(x+a，y+b)為當前像素的相鄰像素；E_ depth為初始深度圖；LabelP(x+a,y+b)為P(x+a，y+b)在彩色分割圖中所屬的區(qū)域；
[0035] LabelPfcy0 P(x, y)在彩色分割圖中所屬區(qū)域；α是原有平滑系數(shù)；Ls JP Ls 2是 平滑項更新參數(shù)；