專利名稱：一種基于多深度圖的非剛體三維重建方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及計算機視覺技術領域，特別涉及一種基于多深度圖的非剛體三維重建方法及系統(tǒng)。
背景技術：
三維重建是計算機視覺領域的重點問題。高質量的三維模型在影視娛樂、文物保護、機械加工等各個領域都有著重要的應用價值。但是高質量三維模型的獲取通常依靠價格昂貴的激光掃描儀實現(xiàn)，雖然精度得以保證，但是也存在著兩個缺點:第一、激光掃描儀在掃描過程中要求被掃物體絕對靜止，微小的移動就會導致掃描結果存在明顯的誤差；第二，激光掃描儀價格不菲，很難普及從而擴大民用價值。

發(fā)明內容
本發(fā)明旨在至少解決上述技術問題之一。為此，本發(fā)明的一個目的在于提出一種基于多深度圖的非剛體三維重建方法。該方法求解準確魯棒，消除了累加誤差所會帶來的影響，且運行速度快，擁有廣闊的應用前本發(fā)明的另一目的在于提出一種基于多深度圖的非剛體三維重建系統(tǒng)。為了實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種基于多深度圖的非剛體三維重建方法，包括以下步驟:對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖；將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù)；對所有變換參數(shù)進行拼接，并根據(jù)拼接結果建立能量函數(shù)；以及對所述能量函數(shù)進行求解，以根據(jù)求解結果重建所述非剛體的三維模型。根據(jù)本發(fā)明實施例的基于多深度圖的非剛體三維重建方法，利用深度相機對同一非剛性物體不同角度、不同姿態(tài)拍攝采集到的深度圖，并基于上述深度圖完成對非剛體的三維幾何建模的功能。該方法需求的輸入信息簡單易采集，并可得到高精度的完整三維模型。該方法求解準確魯棒，消除了累加誤差所會帶來的影響。另外，該方法簡單易行，且運行速度快，擁有廣闊的應用前景，可以在普通PC機或工作站等硬件系統(tǒng)上實現(xiàn)。另外，根據(jù)本發(fā)明上述實施例的基于多深度圖的非剛體三維重建方法還可以具有如下附加的技術特征:在一些示例中，通過深度相機對所述非剛體進行拍攝以得到所述多個深度圖。在一些示例中，所述將每個深度圖變換為一組三維點云，進一步包括:獲取所述深度相機的內參矩陣；根據(jù)所述內參矩陣將所述每個深度圖變換為一組三維點云。在一些示例中，所述變換的變換公式為:pj =其中，U，V為像
素坐標，dc(u, V)為第c張深度圖上像素(U，V)位置上的深度值,所述K為內參矩陣。在一些示例中，所述對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù)，進一步包括:計算所述每個匹配點的旋轉矩陣和偏移向量；根據(jù)所述旋轉矩陣和偏移向量得到所述每個匹配點的位置變換方程；根據(jù)所述的位置變換方程得到所述每個匹配點對應的變換參數(shù)。在一些示例中，所述位置變換方程為:P' =Rp+t,其中,P為匹配點,R為旋轉矩陣，t為偏移向量。在一些示例中，所述能量函數(shù)為:X=argminxa eEe+a fEf+a nEn,其中，EeS拓撲約束，Ef為特征約束，En為最近點約束，a e、a f、a ^分別為Ee、Ef和En的權重系數(shù)。本發(fā)明第二方面的實施例提供了一種基于多深度圖的非剛體三維重建系統(tǒng)，包括:深度相機，所述深度相機用于對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖；匹配模塊，用于將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；變換模塊，用于對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù)；拼接模塊，用于對所有變換參數(shù)進行拼接，并根據(jù)拼接結果建立能量函數(shù)；以及三維重建模塊，用于對所述能量函數(shù)進行求解，以根據(jù)求解結果重建所述非剛體的三維模型。根據(jù)本發(fā)明實施例的基于多深度圖的非剛體三維重建系統(tǒng)，利用深度相機對同一非剛性物體不同角度、不同姿態(tài)拍攝采集到的深度圖，并基于上述深度圖完成對非剛體的三維幾何建模的功能。該系統(tǒng)需求的輸入信息簡單易采集，并可得到高精度的完整三維模型。該系統(tǒng)求解準確魯棒，消除了累加誤差所會帶來的影響。另外，該系統(tǒng)成本低，且運行速度快，擁有廣闊的應用前景，可以在普通PC機或工作站等硬件系統(tǒng)上實現(xiàn)。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中:圖1是根據(jù)本發(fā)明一個實施例的基于多深度圖的非剛體三維重建方法的流程圖；以及圖2是根據(jù)本發(fā)明一個實施例的基于多深度圖的非剛體三維重建系統(tǒng)的結構圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置 關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。
在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本領域的普通技術人員而言，可以具體情況理解上述術語在本發(fā)明中的具體含義。以下結合附圖描述根據(jù)本發(fā)明實施例的基于多深度圖的非剛體三維重建方法及系統(tǒng)。圖1是根據(jù)本發(fā)明一個實施例的基于多深度圖的非剛體三維重建方法的流程圖。如圖1所示，該方法包括如下步驟:步驟SlOl:對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖。具體地，可通過深度相機對非剛體進行拍攝以得到多個深度圖。即利用深度相機對同一非剛性物體(非剛體)以不同角度、不同姿態(tài)進行拍攝多個深度圖，并采集上述多個深度圖?！げ襟ES102:將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對。在本發(fā)明的一個示例中，將每個深度圖變換為一組三維點云包括:I)獲取深度相機的內參矩陣。2)根據(jù)內參矩陣將每個深度圖變換為一組三維點云。其中，變換的變換公式為:Pc! = /i_1(u,v,c^(u,v))T，其中，U，V為像素坐標，dc(u, V)為第c張深度圖上像素(u, V)位置上的深度值，所述K為內參矩陣。具體地說，例如:存在Nf張深度圖，則輸入Nf張深度圖d。(U，V)，c=l, 2，-,Nf,給定深度相機內參矩陣K，每張深度圖即可變換為一組三維點云，通過上述變換公式進行變換。開始需要用戶手工指定點云間特征點的對應關系(匹配點對)。這是由于點云特征較少，相同幾何分布的區(qū)域很多，如果利用全自動的匹配算法幾乎很難實現(xiàn)。因此，本發(fā)明實施例的方法只需要用戶手工指定少量特征對應點，即可實現(xiàn)后續(xù)準確高質量的三維重建
效果。對應點對集合表示為:F = Ifi Ifi = (ρΓ,ρ^:' )].，其表示第C巾貞的第m個點與第c'中貞
的第m'個點相對應。步驟S103:對每個匹配點進行位置變換，并求取位置變換后的每個匹配點對應的變換參數(shù)。作為一個具體的例子,對每個匹配點進行位置變換,并求取位置變換后的每個匹配點對應的變換參數(shù)，進一步包括:I)計算每個匹配點的旋轉矩陣和偏移向量。2)根據(jù)旋轉矩陣和偏移向量得到每個匹配點的位置變換方程。其中，位置變換方程為:p' =Rp+t,其中，P為匹配點，R為旋轉矩陣，t為偏移向量。3)根據(jù)的位置變換方程得到每個匹配點對應的變換參數(shù)。即在上述對應點(匹配點對)指定完成后，即開始全自動的將各幀點云開始對齊拼接。本發(fā)明實施例的方法通過一種全局聯(lián)合變形拼接方法，可以實現(xiàn)所有幀點云變換參數(shù)聯(lián)合求解，從而避免了逐幀順序對齊會帶來的積累誤差問題。
具體而言，對點云中的每個點P，首先求解其旋轉矩陣R和偏移向量t，從而點P變換后的位置為=Rp+t。進一步地，為了實現(xiàn)快速線性求解的要求，本發(fā)明實施例的方法對利用指數(shù)映射方法對變形方程做如下近似:
權利要求
1.一種基于多深度圖的非剛體三維重建方法，其特征在于，包括以下步驟: 對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖； 將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對； 對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù)； 對所有變換參數(shù)進行拼接，并根據(jù)拼接結果建立能量函數(shù)；以及 對所述能量函數(shù)進行求解，以根據(jù)求解結果重建所述非剛體的三維模型。
2.根據(jù)權利要求1所述的方法，其特征在于，通過深度相機對所述非剛體進行拍攝以得到所述多個深度圖。
3.根據(jù)權利要求2所述的方法，其特征在于，所述將每個深度圖變換為一組三維點云，進一步包括: 獲取所述深度相機的內參矩陣； 根據(jù)所述內參矩陣將所述每個深度圖變換為一組三維點云。
4.根據(jù)權利要求3所述的方法，其特征在于，所述變換的變換公式為: Pr = K-1 (u, V, d c (u, V) )T， 其中，U，V為像素坐標，dc (u, V)為第c張深度圖上像素(U，V)位置上的深度值,所述K為內參矩陣。
5.根據(jù)權利要求1所述的方法，其特征在于，所述對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù),進一步包括: 計算所述每個匹配點的旋轉矩陣和偏移向量； 根據(jù)所述旋轉矩陣和偏移向量得到所述每個匹配點的位置變換方程； 根據(jù)所述的位置變換方程得到所述每個匹配點對應的變換參數(shù)。
6.根據(jù)權利要求5所述的方法，其特征在于，所述位置變換方程為:P' =Rp+t, 其中，P為匹配點，R為旋轉矩陣，t為偏移向量。
7.根據(jù)權利要求1所述的方法，其特征在于，所述能量函數(shù)為: X=argminx a eEe+ a fEf+ α ηΕη, 其中，氏為拓撲約束，Ef為特征約束，EnS最近點約束，ae、af、a n分別為氏、Ef和En的權重系數(shù)。
8.一種基于多深度圖的非剛體三維重建系統(tǒng)，其特征在于，包括: 深度相機，用于對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖；匹配模塊，用于將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對； 變換模塊，用于對每個匹配點進行位置變換，并求取所述位置變換后的每個匹配點對應的變換參數(shù)； 拼接模塊，用于對所有變換參數(shù)進行拼接，并根據(jù)拼接結果建立能量函數(shù)；以及三維重建模塊，用于對所述 能量函數(shù)進行 求解，以根據(jù)求解結果重建所述非剛體的三維模型。
全文摘要
本發(fā)明提出一種基于多深度圖的非剛體三維重建方法，包括以下步驟對非剛體以不同角度和不同姿態(tài)進行深度圖拍攝以得到多個深度圖；將每個深度圖變換為一組三維點云，并獲取多組三維點云之間的多個匹配點對；對每個匹配點進行位置變換，并求取位置變換后的每個匹配點對應的變換參數(shù)；對所有變換參數(shù)進行拼接，并根據(jù)拼接結果建立能量函數(shù)；對能量函數(shù)進行求解，以根據(jù)求解結果重建非剛體的三維模型。根據(jù)本發(fā)明的方法，所需輸入信息簡單易采集，并可得到高精度的完整三維模型。該方法求解準確魯棒，消除了累加誤差所會帶來的影響，且運行速度快，擁有廣闊的應用前景。本發(fā)明還提出了一種基于多深度圖的非剛體三維重建系統(tǒng)。
文檔編號G06T17/00GK103198523SQ20131015079
公開日2013年7月10日 申請日期2013年4月26日 優(yōu)先權日2013年4月26日
發(fā)明者戴瓊海, 葉亙之, 劉燁斌 申請人:清華大學