一種基于采樣數(shù)據的動態(tài)水面重建方法
【專利摘要】本發(fā)明涉及一種基于采樣數(shù)據的動態(tài)水面重建方法，屬于虛擬現(xiàn)實【技術領域】。重建方法包括如下步驟：（1）搭建多相機動態(tài)水面數(shù)據采集裝置，對相機進行標定，采集需要重建的動態(tài)水面運動場景圖像；（2）從圖像提取角點，確定圖像角點和水底點的映射關系，并插值得到逐像素的映射關系；（3）多個相機兩兩分組，每組相機基于水面折射性質，采用體素細分剔除的方法重建水面高度場；（4）同一時刻的多組水面高度場之間進行加權融合，以減少不同相機圖像噪聲帶來的重建誤差；（5）多組水面高度場融合得到的結果進一步用于驅動基于物理的淺水方程模擬過程，生成既有真實數(shù)據支撐又有豐富細節(jié)效果的重建結果高度場。
【專利說明】一種基于采樣數(shù)據的動態(tài)水面重建方法
【技術領域】
[0001]本發(fā)明屬于計算機虛擬現(xiàn)實【技術領域】，具體涉及一種基于采樣數(shù)據的動態(tài)水面重建方法。
【背景技術】
[0002]在計算機圖形學和視覺領域，人們一直試圖利用計算機再現(xiàn)周圍的真實世界。液體，特別是水，作為一種基本的自然元素，是現(xiàn)實生活中常見的物質。在計算機中建模生成逼真的液體模型在電影特效、游戲娛樂、模擬培訓、災情預演等方面都有很高的應用價值。
[0003]基于物理的流體模擬研究一直是計算機圖形學中的一個熱點。這類方法以計算流體力學(CFD)為基礎，通過計算機數(shù)值求解的方式求解描述流體運動的物理方程，得到每一時刻流體的運動狀態(tài)。經過二三十年的發(fā)展，基于物理的流體模擬方法已經可以模擬比較復雜的流體運動，模擬結果細節(jié)豐富，效果也越來越逼真。但是，這類方法也存在不少缺點，比如計算復雜度高、數(shù)值誤差累積等，而且該方法求解的物理方程也不能完全描述真實世界中液體的所有運動形態(tài)。
[0004]重建真實世界中的三維物體或現(xiàn)象是計算機視覺中一個非常重要的研究方向。近年來有人開始研究用基于圖像的重建方法對液體進行建模。這類方法通常用多個相機在不同位置捕獲液體運動的圖像，然后用基于圖像的建模方法從圖像重建得到每一幀對應的液體三維模型。但液體屬于非朗伯體，光線在表面會發(fā)生高光反射、折射等現(xiàn)象，而且液體本身時變劇烈，因此液體的重建是一個非常具有挑戰(zhàn)性的工作。目前這類方法有了一些成果，已經可以重建運動平緩的液體場景。這類方法的數(shù)據來源于真實世界，因此重建結果比較真實。通?；谝后w的折射屬性，從圖像角度出發(fā)進行重建，每個時刻多個相機共同參與重建得到一個模型直接輸出。
[0005]基于上述背景，本發(fā)明提出一種基于采樣數(shù)據的動態(tài)水面重建方法。多個相機兩兩分成多組后進行重建，重建得到的水面高度場之間進行加權融合，以減少不同相機圖像噪聲帶來的重建誤差。融合得到的水面高度場進一步用于驅動基于物理的淺水方程模擬過程，以結合兩者的優(yōu)勢，生成有真實數(shù)據支撐而且細節(jié)豐富的最終重建結果高度場。另外，每組相機重建的方法從體素角度出發(fā)而非圖像，計算效率更高。

【發(fā)明內容】

[0006]本發(fā)明的目的是:克服基于圖像重建方法和基于物理模擬方法的一些局限性，提出一種基于采樣數(shù)據的動態(tài)水面重建方法，可以生成有真實數(shù)據支撐且細節(jié)豐富的水面模型。
[0007]為完成本發(fā)明的目的，本發(fā)明采用的技術方案是:一種基于采樣數(shù)據的動態(tài)水面重建方法，使用多個相機采集動態(tài)水面數(shù)據，相機兩兩分組，每組相機用體素細分剔除的方法重建水面高度場，得到的多個水面高度場之間進行加權融合，得到水面融合高度場，水面融合高度場進一步驅動基于物理的淺水方程模擬過程，生成既有真實數(shù)據支撐又有豐富細節(jié)效果的重建結果高度場；其特征在于包括如下步驟:
[0008](I)搭建多相機的動態(tài)水面數(shù)據采集裝置，已知大小的黑白棋盤格板緊貼于水底，多個相機置于水面上方周圍不同視角，固定相機位置保證每個相機可拍攝到完整水底棋盤格圖像，多個相機之間保證可同步采集圖像。對多個相機進行內外參標定。制造需要采集的水面運動場景，多相機高速同步采集水面運動情況下水底棋盤格的圖像；
[0009](2)初始時刻圖像用Harris角點檢測算法檢測棋盤格角點，后續(xù)時刻圖像角點用Lucas-Kanade光流法追蹤確定；利用相機內外參，確定每個相機圖像角點和水底棋盤格角點的映射關系；并對圖像角點間的映射關系插值，得到逐像素的映射關系；
[0010](3)把相機兩兩分為多個組，基于步驟(2)求得的圖像像素和水底棋盤格角點的映射關系，每個組利用體素細分剔除的方法重建得到多個水面高度場；
[0011](4)對于步驟(I)相機的每個采樣時刻，利用步驟(3)不同組相機重建得到的水面高度場進行重投影計算重投影誤差，對多個水面高度場進行加權融合，重投影誤差小的水面高度場權重更大，得到水面融合高度場；
[0012](5)利用步驟(4)融合得到的水面融合高度場驅動基于物理的淺水方程模擬過程，模擬生成的淺水方程模擬高度場和水面融合高度場進一步融合，得到最終的重建結果高度場輸出。
[0013]所述步驟(3)中每組相機采用體素細分剔除的重建方法，其具體步驟為:把水體所在空間規(guī)則剖分為一個個三維體素，把每個體素中心點投影到本組所有相機，利用像素和水底棋盤格點的映射關系確定與投影像素對應的水底點，由相機光心、體素中心、水底點這三個點和折射定律求得體素中心點處的折射法向量；對于中心點水平坐標相同的多個體素，只保留所求法向量方向最一致的一個體素，其余體素剔除；進而對留下的體素繼續(xù)進行如上所述的細分剔除過程，直到體素大小小于給定的閾值。
[0014]所述步驟(4)中不同組多個水面高度場加權融合的方法，其目的是減少不同相機圖像噪聲帶來的重建誤差，其具體步驟為:首先利用每組水面高度場，將水底棋盤格角點重投影成像到該組中的任意一個相機，計算重投影成像點和原始圖像對應角點的偏差，即為重投影誤差；將水面區(qū)域劃分為多個子區(qū)域，每個區(qū)域的水面融合高度場由每組水面高度場對應相同區(qū)域部分加權融合而成，重投影誤差小的水面高度場權重設置更大。
[0015]所述步驟(5)中利用水面融合高度場驅動基于物理的淺水方程模擬過程的方法，其目的是往水面融合高度場中添加淺水方程模擬高度場的細節(jié)效果，得到有真實數(shù)據支撐同時細節(jié)豐富的重建結果高度場，其具體步驟為:步驟(4)所述方法融合得到的初始時刻的水面融合高度場作為基于物理的淺水方程模擬求解的初始迭代高度場。對于相機后續(xù)的每個采樣時刻點，把步驟(4)所述方法融合得到的水面融合高度場和淺水方程模擬高度場進一步加權融合，得到該時刻的重建結果高度場輸出，重建結果高度場同時作為基于物理的淺水方程模擬下一迭代步的初始迭代高度場，驅動基于物理的淺水方程模擬后續(xù)過程。
[0016]與現(xiàn)有技術相比，本發(fā)明的有益效果是:
[0017](I)由圖像重建水面模型的過程從體素空間出發(fā)，計算效率比從圖像空間的高；
[0018](2)同一時刻相機重建的多組水面高度場加權融合，減少圖像噪聲帶來的重建誤差;
[0019](3)多組水面高度場間融合的結果進一步和淺水方程模擬高度場融合，增加水面的細節(jié)效果；
[0020](4)能夠生成既有真實數(shù)據支撐又有豐富細節(jié)效果的動態(tài)水面模型。
【專利附圖】

【附圖說明】
[0021]圖1為本發(fā)明的步驟流程圖；
[0022]圖2為本發(fā)明的動態(tài)水面數(shù)據采集裝置圖；
[0023]圖3為本發(fā)明的水面融合高度場驅動基于物理的淺水方程模擬過程原理圖?！揪唧w實施方式】
[0024]下面結合附圖和實施例對本發(fā)明作進一步的描述。
[0025]本發(fā)明提出一種基于采樣數(shù)據的動態(tài)水面重建方法，從真實世界采集重建得到虛擬現(xiàn)實【技術領域】可重用的動態(tài)水面模型。具體實施過程如圖1所示，包括搭建數(shù)據采集裝置及動態(tài)水面數(shù)據采集、圖像特征點匹配、多個相機的分組及每組內水面高度場的重建、多組水面高度場間的加權融合、利用水面融合高度場驅動基于物理的淺水方程模擬過程等步驟。
[0026]1、搭建動態(tài)水面數(shù)據采集裝置，裝置如圖2所示。用一個玻璃水箱盛放透明的純凈水，水底固定放置一張黑白棋盤格板，四個工業(yè)相機固定于水箱上方四周，離水面約Im左右，對著水面采集水底棋盤格圖像。盡量讓黑白棋盤格板區(qū)域填充滿每個相機的圖像區(qū)域，以增加像素利用率。黑白棋盤格紙鍍上塑膠保護膜，然后粘貼固定于一塊平面板上。這塊黑白棋盤格板既用于四個相機的標定，也用于動態(tài)水面數(shù)據的采集。數(shù)據采集過程中，黑白棋盤格板直接投放固定于水箱底部與水直接接觸，避免光線二次折射。四個相機通過一臺控制PC以并口外觸發(fā)的方式嚴格同步采集數(shù)據，圖像數(shù)據通過1394線存儲于PC內存，采集完成后轉存硬盤。對四個相機進行內外參標定。相機的采樣幀率最好大于30fps，采樣分辨率盡量高，推薦高于800*600。黑白棋盤格方格大小不可太大，推薦IOmmX 10mm。相機內外參標定完成后，在玻璃水箱中倒入純凈水，水的深度不宜過大，推薦IOcm以內。制造需要采集的動態(tài)水面運動場景。比如可以用滴管從玻璃水箱正上方滴水，水滴落到水箱中形成規(guī)則波紋擴散的場景，或者用吹風機在水箱上方制造隨機風向，形成水面紊亂運動的水面場景。四個相機從水面靜止時刻開始同步采集整個水面運動過程，采集得到的圖像序列用于后續(xù)步驟處理。
[0027]2、圖像特征點匹配。透明水體沒有明顯的特征點，因此重建算法利用水底棋盤格圖像的角點作為特征進行重建。水面靜止的初始時刻圖像用Harris角點檢測算法檢測棋盤格角點，后續(xù)時刻圖像角點用Lucas-Kanade光流法追蹤確定。利用相機標定得到的內外參，可以確定每個相機每個圖像角點和水底棋盤格角點的一一對應關系。進而對圖像角點間的映射關系進行雙線性插值，得到逐像素的映射關系。
[0028]3、多個相機的分組及每組內水面高度場的重建。四個相機交叉間隔兩兩分組，每組內兩個相機單獨進行重建。重建算法采用voxel carving并逐漸細分搜索的思路,具體步驟為:(1)體素剖分。假設水底棋盤格所在平面為χ-y平面，把水體所在空間規(guī)則剖分為一個個大小相等的三維立方體體素，立方體的一個面和χ-y平面平行。(2)體素重投影，計算法向量。對于每個三維體素，假設其中心處于水面上。把該體素中心點投影到本組所有相機，利用投影像素和水底點的映射關系確定水底點，由相機光心、體素中心、水底點這三個點和折射定律求得該體素中心的水面法向量。(3)體素剔除。對于中心坐標χ-y值相同的體素，只保留投影到兩個相機后所求兩個法向量方向最一致的體素，其余體素剔除。(4)細分搜索優(yōu)化。對剔除步驟后留下的體素重復利用上述(I) (2) (3)步，直到體素大小小于給定的閾值，此時留下的體素是最接近水面的體素。連接所有留下的體素中心，得到連續(xù)的水面高度場。
[0029]4、多組水面高度場間的加權融合，得到水面融合高度場。首先利用每組水面高度場，將水底棋盤格角點重投影成像到該組中的任意一個相機，計算重投影成像點和原始圖像對應角點的偏差，此即為重投影誤差。利用重投影誤差評判水面高度場的精確度。如果重投影誤差越小，則對應水面高度場重建越精確。將水面區(qū)域在χ-y坐標上劃分為多個子區(qū)域，每個子區(qū)域的水面融合高度場由每組水面高度場對應相同區(qū)域部分加權融合而成，重投影誤差小的水面高度場權重更大。具體地說，對于每個子區(qū)域，先計算該區(qū)域內所有重投影點的平均重投影誤差。SM1Uy)和仏(1，7)分別表示第一組和第二組水面高度場在水平坐標為U，y)的點對應的水面高度值。加權融合過程按照下述公式進行:
[0030]M(x, y) = a M1 (X，y) + (l_ a )M2(x, y)(公式 I)
[0031]其中α (0〈α〈1)是融合權重，M(x，y)是融合結果。對于每個時刻劃分的每個子區(qū)域，若第一組相機的重投影誤差大于第二組相機的重投影誤差，則0〈 α〈0.5 ;若相等，則α =0.5 ;否則0.5〈 α〈I。對于該子區(qū)域內的所有角點坐標值(x，y)，按照上述公式I進行融合。所有子區(qū)域均進行上述融合過程，最終得到每個時刻的水面融合高度場。
[0032]5、利用水面融合高度場驅動基于物理的淺水方程模擬過程。上述重建融合得到的水面融合高度場再進一步 與基于物理的淺水方程模擬高度場融合，以增加細節(jié)效果。融合過程如圖3所示。
[0033]淺水方程(Shallow Water Equation, SWE)是描述淺水運動的一個物理方程:
[0034]zt = - (zxu+zyv+z (ux+vy)) (公式 2)
[0035]式中，t是時間，x、y是兩個水平坐標軸，z是水面高度，U、V是速度在x、y兩個坐標軸上的分量，下標表示偏導數(shù)。公式(2)表明，水面高度的變化受兩項驅動:一項是水平速度的對流-(zxu+zyv),另一項是二維散度場-Z (ux+vy)。
[0036]基于物理的淺水方程模擬方法利用計算機數(shù)值求解公式2，得到每一個時刻水面高度場的位置。把上述第4步初始時刻相機重建融合得到的水面融合高度場作為淺水方程模擬的初始迭代高度場，用于后續(xù)模擬步驟的迭代。對于相機后續(xù)的每個采樣時刻點，把相機重建融合得到的水面融合高度場和淺水方程模擬高度場進行加權融合，融合過程按照如下公式進行:
[0037]M(x, y) = a Mc (x, y) + (l- a )Ms(x, y)(公式 3)
[0038]其中Μ。(χ，y)和Ms(x, y)分別表示水面融合高度場和淺水方程模擬高度場在水平坐標為(x，y)點處對應的水面高度，α為融合權重。此時不好對比水面融合高度場和淺水方程模擬高度場的誤差，因此可以設置權重因子為α =0.5，相當于是取兩個高度場的平均值。對整個水面區(qū)域的所有采樣點利用公式3進行加權求和，即得到該時刻的重建結果高度場。同時把該時刻的重建結果高度場作為基于物理的淺水方程下一個迭代步的初始迭代高度場，用于驅動基于物理的淺水方程模擬后續(xù)過程。[0039]通常基于物理的淺水方程模擬的迭代時間步長比相機采樣的時間間隔短，因此對于基于物理的淺水方程模擬過程在兩個相機采樣時刻中間的迭代步驟，可以按如圖3所示，把相機重建融合的兩個水面融合高度場M1和M2插值，插值得到的中間模型和淺水方程模擬高度場按照公式3加權求和，作為淺水方程模擬下一個迭代步的初始迭代高度場，這樣相當于用真實數(shù)據驅動約束了淺水方程的每一個迭代步驟，使得模擬結果更可靠。
[0040]對于相機的每個采樣時刻的圖像，均按照上述步驟2、3、4、5進行重建，重建得到的時間序列上連續(xù)的多個重建結果高度場形成最終的動態(tài)水面模型。
[0041]本發(fā)明未詳細闡述的部分屬于本領域的技術人員公知技術。
[0042]以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本【技術領域】的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。
【權利要求】
1.一種基于采樣數(shù)據的動態(tài)水面重建方法，使用多個相機采集動態(tài)水面數(shù)據，相機兩兩分組，每組相機用體素細分剔除的方法重建水面高度場，得到的多個水面高度場之間進行加權融合，得到水面融合高度場，水面融合高度場進一步驅動基于物理的淺水方程模擬過程，生成既有真實數(shù)據支撐又有豐富細節(jié)效果的重建結果高度場；其特征在于包括如下步驟: (1)搭建多相機的動態(tài)水面數(shù)據采集裝置，已知大小的黑白棋盤格板緊貼于水底，多個相機置于水面上方周圍不同視角，固定相機位置保證每個相機可拍攝到完整水底棋盤格圖像，多個相機之間保證可同步采集圖像；對多個相機進行內外參標定；制造需要采集的水面運動場景，多相機 高速同步采集水面運動情況下水底棋盤格的圖像； (2)初始時刻圖像用Harris角點檢測算法檢測棋盤格角點，后續(xù)時刻圖像角點用Lucas-Kanade光流法追蹤確定；利用相機內外參，確定每個相機圖像角點和水底棋盤格角點的映射關系；并對圖像角點間的映射關系插值，得到逐像素的映射關系； (3)把相機兩兩分為多個組，基于步驟(2)求得的圖像像素和水底棋盤格角點的映射關系，每個組利用體素細分剔除的方法重建得到多個水面高度場； (4)對于步驟(1)相機的每個采樣時刻，利用步驟(3)不同組相機重建得到的水面高度場進行重投影計算重投影誤差，對不同組多個水面高度場進行加權融合，重投影誤差小的水面高度場權重更大，得到水面融合高度場； (5)利用步驟(4)重建融合得到的水面融合高度場驅動基于物理的淺水方程模擬過程，模擬生成的淺水方程模擬高度場和水面融合高度場進一步融合，得到最終的重建結果高度場輸出。
2.根據權利要求1所述的一種基于采樣數(shù)據的動態(tài)水面重建方法，其特征在于:所述步驟(3)中每組相機采用體素細分剔除的重建，其具體步驟為:把水體所在空間規(guī)則剖分為一個個三維體素，把每個體素中心點投影到本組所有相機，利用像素和水底棋盤格點的映射關系確定與投影像素對應的水底點，由相機光心、體素中心、水底點這三個點和折射定律求得體素中心點處的折射法向量；對于中心點水平坐標相同的多個體素，只保留所求法向量方向最一致的一個體素，其余體素剔除；進而對留下的體素繼續(xù)進行如上所述的細分剔除過程，直到體素大小小于給定的閾值。
3.根據權利要求1所述的一種基于采樣數(shù)據的動態(tài)水面重建方法，其特征在于:所述步驟(4)中不同組多個水面高度場加權融合，其目的是減少不同相機圖像噪聲帶來的重建誤差，其具體步驟為:首先利用每組水面高度場，將水底棋盤格角點重投影成像到該組中的任意一個相機，計算重投影成像點和原始圖像對應角點的偏差，即為重投影誤差；將水面區(qū)域劃分為多個子區(qū)域，每個區(qū)域的水面融合高度場由每組水面高度場對應相同區(qū)域部分加權融合而成，重投影誤差小的水面高度場權重設置更大。
4.根據權利要求1所述的一種基于采樣數(shù)據的動態(tài)水面重建方法，其特征在于:所述步驟(5)中，利用水面融合高度場驅動基于物理的淺水方程模擬過程，其目的是往水面融合高度場中添加淺水方程模擬高度場的細節(jié)效果，得到有真實數(shù)據支撐同時細節(jié)豐富的重建結果高度場，其具體步驟為:權利要求3所述方法融合得到的初始時刻的水面融合高度場作為基于物理的淺水方程模擬求解的初始迭代高度場；對于相機后續(xù)的每個采樣時刻點，把權利要求3所述方法融合得到的水面融合高度場和淺水方程模擬高度場進一步加權融合，得到該時刻的重建結果高度場輸出，重建結果高度場同時作為基于物理的淺水方程模擬下一迭代步的初始 迭代高度場，驅動基于物理的淺水方程模擬后續(xù)過程。
【文檔編號】G06T17/00GK103700138SQ201310616867
【公開日】2014年4月2日 申請日期:2013年11月27日 優(yōu)先權日:2013年11月27日
【發(fā)明者】周忠, 吳威, 賴志堅, 邵緒強 申請人:北京航空航天大學