一種時域一致性保持的雙目立體視頻場景融合方法
【專利摘要】一種時域一致性保持的雙目立體視頻場景融合方法，步驟如下：1、立體視頻A的運動對象輪廓傳播與提??；2、時域一致的運動對象與動態(tài)場景時差融合變形；3、時域一致的運動對象與動態(tài)場景顏色融合，利用中值坐標融合方法，對運動對象與動態(tài)場景進行顏色融合。本發(fā)明提出的方法，簡單有效，利用少量的用戶交互，就可以提取出時域一致的、左右目對應一致的立體視頻運動對象；發(fā)掘了多種約束條件，以指導運動對象與動態(tài)場景的視差融合變形，使得運動對象符合動態(tài)場景的透視規(guī)則。并且，運動對象的變形結果平滑一致，可以有效避免“抖動”現象的發(fā)生。
【專利說明】一種時域一致性保持的雙目立體視頻場景融合方法
【技術領域】
[0001]本發(fā)明是一種新型的時域一致性保持的雙目立體視頻場景融合方法，屬于視頻圖像處理、雙目立體視覺【技術領域】。
【背景技術】
[0002]隨著3D影視技術的發(fā)展，雙目視頻圖像的編輯方法近年來受到了越來越多的關注。然而，將現有的2D視頻圖像編輯方法擴展到雙目視頻圖像上，由于要處理視差等額外信息，使之成為一個較難的問題。
[0003]雙目立體視頻場景融合是指，給定兩段雙目立體視頻，將立體視頻A的運動對象，融入立體視頻B的動態(tài)場景，并保持顏色、視差和時域一致性，得到雙目立體視頻場景融合結果。
[0004]計算機視覺和計算機圖形學領域對于2D視頻圖像編輯方法與雙目視頻圖像編輯方法已有較多文獻，我們不試圖盡列所有方法。重點介紹視頻時域一致性編輯的相關工作，也會涉及視頻圖像場景融合方法和雙目圖像編輯方法。
[0005]普通單目視頻編輯方法近年來已經有較多的研究。2002年，Chuang等人將雙向光流應用到三分圖在視頻幀間的傳播算法中。2009年，Bai等人利用一組局部分類器配合光流算法得到了時域一致性方面更優(yōu)的結果。2010年，Bai等人又將顏色流應用到視頻對象精準提取的三分圖傳播步驟中。這些方法對于普通單目視頻編輯有較好的效果。但是，這些蒙版(mask)傳播方法并不能直接應用到雙目立體視頻編輯方法中。2008年Sand等人提出了一種實用的長期跟蹤方法。2009年Lee等人利用尺度不變特征轉換(即SIFT)流場，提出了一種視頻去抖算法。Bhat等人2010年將光流算法應用到了多種梯度域視頻編輯算法中。2012年，Chen等人將局部線性結構保持的思想應用到了視頻編輯傳播中。這些時域一致的視頻編輯算法主要關注對象跟蹤和內容編輯，本發(fā)明的目標是同時編輯雙目立體視頻對象的形狀和顏色。
[0006]視頻圖像場景融合方法是一種經典的視頻圖像編輯方法。2003年P6rez等人提出泊松融合方法通過求解泊松方程將融合區(qū)域無縫的融入新場景中。2009年Jia等人利用精準對象提取進一步提高了泊松融合的效果。2009年Farbman等人利用中值坐標大大提高了融合速率。2010年Xie等人將中值坐標融合擴展到了單目視頻融合上。Chen等人2013年利用光流將中值坐標融合擴展到了視頻合成上。這些方法并沒有保持提取運動對象的時域一致性。
[0007]雙目視頻圖像編輯方法同樣與本發(fā)明的工作相關。Lo等人2010年提出了一種名為“廣告牌”的雙目圖像對象場景合成方法。Luo等人2012年提出了一種迭代的雙目圖像場景融合方法，能夠同時調整形變與顏色。2012年Niu等人提出了一種根據用戶交互和視差圖的雙目圖像變形方法。這些方法都是針對雙目圖像的編輯操作。2008年Wang等人，2006年Weng等人分別提出了一種圖像變形方法。2010年Lang等人提出了一種視頻重定位(video retargeting)方法,該方法利用光流保證了巾貞間的變形傳播。
【發(fā)明內容】

[0008]本發(fā)明的目的是提出一種新型的時域一致性保持的雙目立體視頻場景融合方法。為完成本發(fā)明的目的，本發(fā)明采用的技術方案是:首先提取立體視頻A的運動對象。利用SIFT特征匹配算法，將立體視頻A左目第一幀的指定運動對象的輪廓，自動傳播到立體視頻A右目第一幀的相應運動對象，然后建立立體視頻A的左目運動對象與右目運動對象之間的特征匹配關系，在SIFT流、左右目對象輪廓形變的聯(lián)合約束下，將立體視頻A左目/右目第一幀的運動對象輪廓，分別傳播到左目/右目其他每一幀的相應運動對象，提取出立體視頻A的運動對象；然后，將立體視頻A的運動對象放置到立體視頻B的動態(tài)場景中，進行時域一致的運動對象與動態(tài)場景的視差融合變形。利用泊松融合等融合方法，得到運動對象與動態(tài)場景的融合后視差圖序列，根據融合后視差圖，指導運動對象變形；最后，利用中值坐標融合等融合方法，對運動對象與動態(tài)場景進行時域一致的顏色融合。其具體步驟如下所述。
[0009]本發(fā)明一種時域一致性保持的雙目立體視頻場景融合方法，包括如下步驟:
[0010]步驟S100，立體視頻A的運動對象輪廓傳播與提取:用戶采用畫筆式等交互方式，選定立體視頻A左目第一幀的運動對象的輪廓，將立體視頻A左目第一幀的運動對象的輪廓，自動傳播到右目第一幀的相應運動對象；以此為基準，將立體視頻A左目/右目第一幀的運動對象輪廓，分別傳播到左目/右目其他每一幀的相應運動對象，提取出立體視頻A的運動對象；(注:本發(fā)明中，如不經特別說明，左目、右目的處理順序可以交替，為表意清楚，本發(fā)明中， 均以左目為例)
[0011]步驟S200，時域一致的運動對象與動態(tài)場景時差融合變形:用戶指定立體視頻A的運動對象置入立體視頻B的動態(tài)場景的位置，將立體視頻A的運動對象區(qū)域的視差圖，與立體視頻B的視差圖進行融合，并根據融合后的視差圖，對運動對象進行時域一致的變形，以符合動態(tài)場景的透視規(guī)則；
[0012]步驟S300，時域一致的運動對象與動態(tài)場景顏色融合:利用中值坐標融合方法，對運動對象與動態(tài)場景進行顏色融合。
[0013]其中，在步驟SlOO中所述的“立體視頻A的運動對象輪廓傳播與提取”，其作法包含以下步驟:
[0014]步驟S110，對立體視頻A，分別計算其各幀左右目之間的SIFT流場，計算其左目/右目視頻前后幀之間的SIFT流場；對于立體視頻A左目第一幀和右目第一幀，計算其SIFT特征匹配點對，并使用隨機抽樣一致(即RANSAC)方法去除誤匹配；
[0015]步驟S120，用戶通過畫筆等交互方式，在立體視頻A左目第一幀上，選定運動對象的大致輪廓；WSl 10步驟中的落在運動對象輪廓內的SIFT匹配點，以及運動對象輪廓的采樣點為網格頂點，對運動對象進行三角剖分，得到立體視頻A左目第一幀的運動對象網格，利用Luo等人提出的方法，通過SIFT特征點匹配與三角網格畸變約束，將網格從立體視頻A左目第一幀，傳播到右目第一幀；
[0016]步驟S130，將立體視頻A左目/右目第一幀的運動對象網格，傳播到立體視頻A的其余各幀的運動對象上，完成運動對象的提??；令丨7:^ = 4扔分別代表當前幀已知的左目/右目運動對象的三角網格的所有三角形的集合，W1(I)U^ R L分別代表當前對應網格的所有頂點的集合，那么，運動對象輪廓的傳播就是求取左目/右目下一幀運動對象的三角網格{(;? = ￡，/?}的頂點集合{彳(/);? = /?，￡}的所有頂點的坐標；本發(fā)明通過最小化如下能
量方程，完成運動對象的輪廓傳播；
[0017]E= λ ^1+ λ 2Ε2+ λ 3Ε3+ λ 4Ε4
[0018]式中，E代表總體能量，E1代表幀間特征點對應約束能量，E2代表三角網格畸變約束能量，E3代表左右目網格的關聯(lián)關系約束能量，E4代表縱向對齊約束能量，λ P λ 2、λ 3、λ 4代表各個能量項的權重；
[0019]能量方程包含四個能量項，分別代表四種約束條件，其中，E1為幀間特征點對應約束能量，通過SIFT流，我們可以將當前幀的網格頂點傳播到相應的幀上，本發(fā)明選取可信度較高的頂點進行傳播，滿足能量項:
[0020]
【權利要求】
1.一種時域一致性保持的雙目立體視頻場景融合方法，其特征在于:它包括如下步驟: 步驟S100，立體視頻A的運動對象輪廓傳播與提取:用戶采用畫筆式等交互方式，選定立體視頻A左目第一幀的運動對象的輪廓，將立體視頻A左目第一幀的運動對象的輪廓，自動傳播到右目第一幀的相應運動對象；以此為基準，將立體視頻A左目/右目第一幀的運動對象輪廓，分別傳播到左目/右目其他每一幀的相應運動對象，提取出立體視頻A的運動對象； 步驟S200，時域一致的運動對象與動態(tài)場景時差融合變形:用戶指定立體視頻A的運動對象置入立體視頻B的動態(tài)場景的位置，將立體視頻A的運動對象區(qū)域的視差圖，與立體視頻B的視差圖進行融合，并根據融合后的視差圖，對運動對象進行時域一致的變形，以符合動態(tài)場景的透視規(guī)則； 步驟S300，時域一致的運動對象與動態(tài)場景顏色融合:利用中值坐標融合方法，對運動對象與動態(tài)場景進行顏色融合。
2.根據權利要求1所述的一種時域一致性保持的雙目立體視頻場景融合方法，其特征在于:在步驟SlOO中所述的“立體視頻A的運動對象輪廓傳播與提取”，其作法包含以下步驟: 步驟S110，對立體視頻A，分別計算其各幀左右目之間的SIFT流場，計算其左目/右目視頻前后幀之間的SIFT流場；對于立體視頻A左目第一幀和右目第一幀，計算其SIFT特征匹配點對，并使用隨機抽樣一致即RANSAC方法去除誤匹配； 步驟S120，用戶通過畫筆等交互方式，在立體視頻A左目第一幀上，選定運動對象的大致輪廓；WSl 10步驟中的落在運動對象輪廓內的SIFT匹配點，以及運動對象輪廓的采樣點為網格頂點，對運動對象進行三角剖分，得到立體視頻A左目第一幀的運動對象網格，利用Luo人提出的方法，通過SIFT特征點匹配與三角網格畸變約束，將網格從立體視頻A左目第一中貞，傳播到右目第一幀; 步驟S130，將立體視頻A左目/右目第一幀的運動對象網格，傳播到立體視頻A的其余各幀的運動對象上，完成運動對象的提取；令丨7；';i = L?/?丨分別代表當前幀已知的左目/右目運動對象的三角網格的所有三角形的集合，=足分別代表當前對應網格的所有頂點的集合，那么，運動對象輪廓的傳播就是求取左目/右目下一幀運動對象的三角網格 = 的頂點集合{v,U0;i =足M的所有頂點的坐標；本發(fā)明通過最小化如下能量方程，完成運動對象的輪廓傳播；
E= λ ^1+ λ 2Ε2+ λ 3Ε3+ λ 4Ε4 式中，E代表總體能量，E1代表幀間特征點對應約束能量，E2代表三角網格畸變約束能量，E3代表左右目網格的關聯(lián)關系約束能量，E4代表縱向對齊約束能量，ApAyApA4R表各個能量項的權重； 能量方程包含四個能量項，分別代表四種約束條件，其中，E1為幀間特征點對應約束能量，通過SIFT流，我們將當前幀的網格頂點傳播到相應的幀上，選取可信度較高的頂點進行傳播，滿足能量項:
3.根據權利要求1所述的一種時域一致性保持的雙目立體視頻場景融合方法，其特征在于:在步驟S200中所述的“時域一致的運動對象與動態(tài)場景視差融合變形”，其作法包含以下步驟: 步驟S210，計算立體視頻A和立體視頻B的每一幀的視差圖；利用泊松融合及其他融合方法，將立體視頻A的運動對象對應區(qū)域的視差圖，與立體視頻B的視差圖進行融合，得到融合后視差圖序列，表示為D=W1, d2, d3...}; 步驟S220，利用Luo人提出的基于視角感知變形的方法，對第一幀的運動對象與動態(tài)場景進行視差融合變形，將其結果作為初始解； 步驟S230，對于剩余幀的運動對象與動態(tài)場景，自動進行時域一致的視差調整與變形；假定第i幀的運動對象變形結果已知，令別為第i幀左目/右目運動對象的對應三角網格的頂點集合，第i+Ι幀和第i+2幀的運動對象變形結果通過最小化如下能量方程實現:
N= Y Λ+ y N22+ y 3Ν3 式中，N代表總體能量，N1代表視差對應一致約束能量，N2代表放置位置約束能量，N3代表運動對象網格畸變約束能量，h、Y2、Y3代表各個能量項的權重； 能量方程包含三個能量項，分別代表三種約束條件，其中，N1是視差對應一致約束能量，用來約束運動對象網格各頂點的視差盡量與融合后視差圖的對應位置的視差保持一致；
4.根據權利要求1所述的一種時域一致性保持的雙目立體視頻場景融合方法，其特征在于:在步驟S300中所述的“時域一致的運動對象與動態(tài)場景顏色融合”，其作法為:利用中值坐標融合方法，計算運動對象網格內部頂點，相對于網格邊界頂點的中值坐標；通過中值坐標以及運動對象邊界點所對應像素，與動態(tài)場景對應位置的像素的顏色差值，計算運動對象內部頂點的顏色差值；對于非頂點的像素點的顏色差值，通過其所在的三角形網格面片的三個頂點的顏 色差值，進行線性插值得到；將顏色差值與運動對象原像素顏色值相加，得到顏色融合結果。
【文檔編號】G06T7/20GK103761734SQ201410008677
【公開日】2014年4月30日 申請日期:2014年1月8日 優(yōu)先權日:2014年1月8日
【發(fā)明者】陳小武, 鄒冬青, 趙沁平, 丁峰 申請人:北京航空航天大學