專利名稱：一種旋轉(zhuǎn)立體視覺的三維重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于計(jì)算機(jī)視覺的三維重建方法，尤其是一種用于旋轉(zhuǎn)立體視覺的三維重建方法。該方法主要用于三維物體表面重構(gòu)，具有廣寬的應(yīng)用范圍，典型的包括制造工業(yè)中的工件檢測(cè)、場(chǎng)景深度感知、反向工程、物體三維掃描等。

背景技術(shù)：
三維重建是計(jì)算機(jī)視覺的一個(gè)重要任務(wù)。三維重建的任務(wù)是從物體的二維圖像信息獲取其三維空間信息。三維重建的應(yīng)用非常廣泛，如醫(yī)學(xué)領(lǐng)域，公安領(lǐng)域，氣象，工程技術(shù)等等。三維重建的一般方法是通過(guò)從不同方位所獲取的物體圖像信息及在兩個(gè)方位上的攝像機(jī)投影矩陣來(lái)計(jì)算物體在給定空間的三維信息。但在對(duì)物體三維重建之前，先要獲取攝像機(jī)的投影矩陣，即對(duì)攝像機(jī)進(jìn)行標(biāo)定。
如果想對(duì)物體完成整個(gè)外圍輪廓的重建，必須通過(guò)攝像機(jī)獲取物體在任一方位的圖片信息。按照傳統(tǒng)的三維重建算法，就必須對(duì)每個(gè)方位的攝像機(jī)進(jìn)行標(biāo)定，而每一次標(biāo)定都是比較麻煩的。其存在的缺點(diǎn)標(biāo)定成本高，靈活性差。


發(fā)明內(nèi)容
為了克服傳統(tǒng)立體視覺的三維重建方法的標(biāo)定成本高，靈活性差的不足，本發(fā)明提供一種能夠大大降低標(biāo)定次數(shù)、提高計(jì)算效率、降低成本且具有一定靈活性的旋轉(zhuǎn)立體視覺的三維重建方法。以下方法中，假定攝像機(jī)內(nèi)參數(shù)在整個(gè)過(guò)程中沒有變化。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是 一種旋轉(zhuǎn)立體視覺的三維重建方法，所述三維重建方法包括以下步驟 1)、攝像機(jī)手工標(biāo)定設(shè)定世界坐標(biāo)系的一根軸與旋轉(zhuǎn)軸重合，一坐標(biāo)平面平行于標(biāo)定板平面，標(biāo)定板平面平行于旋轉(zhuǎn)軸；設(shè)定與旋轉(zhuǎn)軸重合的軸為Y軸，與標(biāo)定板平面平行的坐標(biāo)平面為XOY平面，獲取標(biāo)定板上圓心點(diǎn)的世界坐標(biāo)，在Z方向上移動(dòng)標(biāo)定板，獲取空間中不在同一平面的多個(gè)點(diǎn)的世界坐標(biāo)，設(shè)定空間點(diǎn)的世界坐標(biāo)(Xw，Yw，ZW)，提取得到標(biāo)定板上圓心的圖像象素坐標(biāo)值(μ，v)，點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)存在如下關(guān)系 式(1)中，M是攝像機(jī)投影矩陣，為3×4矩陣；Zc為點(diǎn)在攝像機(jī)坐標(biāo)系下Z方向上的坐標(biāo)分量；由上式得以下兩個(gè)方程 投影矩陣M有11個(gè)自由度，通過(guò)六個(gè)不在同一平面的空間點(diǎn)計(jì)算投影矩陣M； 2)、旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣記為M1，通過(guò)M1所反映的點(diǎn)的世界坐標(biāo)與圖像坐標(biāo)的關(guān)系用以下公式表示 通過(guò)對(duì)M1采取下述公式進(jìn)行分解 令 則， M1為攝像機(jī)內(nèi)參數(shù)矩陣，M21為未旋轉(zhuǎn)時(shí)的攝像機(jī)外參數(shù)矩陣； 3)、旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣為 旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)θ角后，攝像機(jī)投影矩陣為 4)、空間中的點(diǎn)在世界坐標(biāo)系下的坐標(biāo)與圖像的象素坐標(biāo)的關(guān)系通過(guò)下式表示 上式(7)中，θ是包括0度的任一角度，當(dāng)為0度時(shí)即為旋轉(zhuǎn)之前；通過(guò)賦值不一樣的兩個(gè)θ得到關(guān)于Xw，Yw，Zw的四個(gè)方程，從而求出點(diǎn)在世界坐標(biāo)系下的三維空間坐標(biāo)，進(jìn)一步求出物體輪廓線上的點(diǎn)的三維坐標(biāo)，實(shí)現(xiàn)整個(gè)物體的三維重建。
本發(fā)明的技術(shù)構(gòu)思為在旋轉(zhuǎn)立體視覺下，通過(guò)一個(gè)攝像機(jī)就可完成對(duì)物體進(jìn)行360°的全方位拍攝，且各攝像機(jī)坐標(biāo)系是繞空間中同一個(gè)旋轉(zhuǎn)軸進(jìn)行旋轉(zhuǎn)的?？赏ㄟ^(guò)投影矩陣加以描述。以下兩種實(shí)驗(yàn)方法都是用來(lái)計(jì)算投影矩陣，進(jìn)而完成重建的。
旋轉(zhuǎn)立體視覺是傳統(tǒng)立體視覺的一個(gè)特例。它是在物體繞空間中某根軸旋轉(zhuǎn)的情況下，用一個(gè)固定攝像機(jī)對(duì)物體進(jìn)行繞一周的拍攝?；蛘咴跀z像機(jī)繞空間中的某根軸進(jìn)行旋轉(zhuǎn)情況下，對(duì)在它視野范圍內(nèi)的物體實(shí)行一周拍攝的立體視覺。
相對(duì)于傳統(tǒng)的手工標(biāo)定的算法，本發(fā)明要簡(jiǎn)單方便的多，大大縮短了計(jì)算的時(shí)間，為以后的計(jì)算效率的提高也打下了基礎(chǔ)。
基于旋轉(zhuǎn)立體視覺的重建，只要對(duì)攝像機(jī)從兩個(gè)方向上對(duì)物體進(jìn)行標(biāo)定就可獲得攝像機(jī)處于任一方位的攝像機(jī)投影矩陣，這樣可減少標(biāo)定次數(shù)，降低成本。
本發(fā)明的有益效果主要表現(xiàn)在1、標(biāo)定次數(shù)為一次，大大縮短了計(jì)算的時(shí)間； 2、降低了成本。



圖1是攝像機(jī)標(biāo)定用的標(biāo)定板示意圖。
圖2是重建得到的紙盒八個(gè)頂點(diǎn)的坐標(biāo)值。
圖3是重建后的特征點(diǎn)的點(diǎn)圖。
圖4是重建后的示意圖。
圖5用于標(biāo)定攝像機(jī)的標(biāo)定板的圖片
具體實(shí)施例方式 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
參照?qǐng)D1～圖5，一種旋轉(zhuǎn)立體視覺的三維重建方法，所述三維重建方法包括以下步驟 1)、攝像機(jī)手工標(biāo)定設(shè)定世界坐標(biāo)系的一根軸與旋轉(zhuǎn)軸重合，一坐標(biāo)平面平行于標(biāo)定板平面(標(biāo)定板平面平行于旋轉(zhuǎn)軸)。此處設(shè)定，與旋轉(zhuǎn)軸重合的軸為Y軸，與標(biāo)定板平面平行的坐標(biāo)平面為XOY平面。標(biāo)定板如附錄圖5所示，這樣就可獲取標(biāo)定板上圓心點(diǎn)的世界坐標(biāo)。在Z方向上移動(dòng)標(biāo)定板，就可獲取空間中不在同一平面的多個(gè)點(diǎn)的世界坐標(biāo)。設(shè)定空間點(diǎn)的世界坐標(biāo)(Xw，Yw，ZW)，提取得到標(biāo)定板上圓心的圖像象素坐標(biāo)值(μ，v)，點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)存在如下關(guān)系 式中M是攝像機(jī)投影矩陣，為3×4矩陣。Zc為點(diǎn)在攝像機(jī)坐標(biāo)系下Z方向上的坐標(biāo)分量。由上式可得以下兩個(gè)方程 N個(gè)點(diǎn)可得到2N個(gè)方程。投影矩陣M有11個(gè)自由度，可通過(guò)六個(gè)不在同一平面的空間點(diǎn)把投影矩陣M計(jì)算出來(lái)。實(shí)際中由于存在誤差，可通過(guò)N＞6個(gè)點(diǎn)用最小二乘法計(jì)算M(此處參照文獻(xiàn)1中P57)。
2)、獲取攝像機(jī)內(nèi)參數(shù)矩陣及未旋轉(zhuǎn)時(shí)的外參數(shù)矩陣。上面所獲取的M矩陣為旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣。把此矩陣記為M1。則通過(guò)M1所反映的點(diǎn)的世界坐標(biāo)與圖像坐標(biāo)的關(guān)系用以下公式表示 通過(guò)對(duì)M1采取下述公式進(jìn)行分解。
令 則， M1為攝像機(jī)內(nèi)參數(shù)矩陣，M21為未旋轉(zhuǎn)時(shí)的攝像機(jī)外參數(shù)矩陣 3)、獲取旋轉(zhuǎn)了任意角度的攝像機(jī)投影矩陣。
旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣為 旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)θ角后，攝像機(jī)投影矩陣為 4)、通過(guò)兩個(gè)角度或多個(gè)角度所拍攝物體的圖片信息獲取物體的空間三維信息?？臻g中的點(diǎn)在世界坐標(biāo)系下的坐標(biāo)與圖像的象素坐標(biāo)的關(guān)系可通過(guò)下式表示 θ是包括0度的任一角度，當(dāng)為0度時(shí)即為旋轉(zhuǎn)之前。通過(guò)值不一樣的兩個(gè)θ就可得到關(guān)于Xw，Yw，Zw的四個(gè)方程。從而求出點(diǎn)在世界坐標(biāo)系下的三維空間坐標(biāo)，進(jìn)一步求出物體輪廓線上的點(diǎn)的三維坐標(biāo)，整個(gè)物體的三維信息就可獲得。
本實(shí)施例的三維重建方法包括以下步驟 1)、對(duì)攝像機(jī)進(jìn)行手工標(biāo)定； 2)、獲取攝像機(jī)內(nèi)參數(shù)矩陣及未旋轉(zhuǎn)時(shí)的外參數(shù)矩陣； 3)、獲取旋轉(zhuǎn)了任意角度的攝像機(jī)投影矩陣； 4)、通過(guò)兩個(gè)角度或多個(gè)角度所拍攝物體的圖片信息獲取物體的空間三維信息。
本實(shí)施例的實(shí)驗(yàn)過(guò)程為 攝像機(jī)標(biāo)定所使用的標(biāo)準(zhǔn)件是標(biāo)定板，參照?qǐng)D1。用于計(jì)算攝像機(jī)投影矩陣的空間元素是標(biāo)定板上的圓心。通過(guò)移動(dòng)平臺(tái)，可以獲得不在同一平面多個(gè)空間點(diǎn)。本實(shí)驗(yàn)設(shè)定，垂直于移動(dòng)平臺(tái)的方向?yàn)槭澜缱鴺?biāo)系Y軸方向，方向向下；移動(dòng)平臺(tái)的橫向?yàn)槭澜缱鴺?biāo)系X軸方向，正向向右；移動(dòng)平臺(tái)的縱向?yàn)槭澜缱鴺?biāo)系Z軸方向，正向?yàn)檫h(yuǎn)離攝像機(jī)方向。整個(gè)標(biāo)定過(guò)程分為數(shù)據(jù)獲取和數(shù)據(jù)處理。
(1)數(shù)據(jù)獲取 ①轉(zhuǎn)動(dòng)旋轉(zhuǎn)平臺(tái)，確保旋轉(zhuǎn)平臺(tái)的零刻度對(duì)齊標(biāo)記，這樣可保證標(biāo)定板平面垂直于Z軸。
②把標(biāo)定板固定在載物臺(tái)上，確保標(biāo)定板底部與載物臺(tái)底面平齊，確保標(biāo)定板左邊緣與載物臺(tái)左邊緣平齊。這樣就可確定標(biāo)定板上標(biāo)定圓圓心的世界坐標(biāo)。
③通過(guò)調(diào)整移動(dòng)平臺(tái)，使標(biāo)定板在攝像機(jī)的視野范圍內(nèi)。移動(dòng)平臺(tái)的縱向初始位置設(shè)定為前后移動(dòng)40mm后，標(biāo)定板都在攝像機(jī)視野范圍內(nèi)。且標(biāo)定板離攝像機(jī)最近時(shí)，剛好能拍攝整個(gè)標(biāo)定板。
④調(diào)整攝像機(jī)焦距，使移動(dòng)平臺(tái)在初始位置時(shí)標(biāo)定板圖像最清晰。
⑤獲取標(biāo)定板在初始位置及移動(dòng)平臺(tái)在縱方向上前后各移動(dòng)10mm，20mm共5幅圖像。
⑥把移動(dòng)平臺(tái)恢復(fù)到初始位置，控制旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)5°，重復(fù)步驟⑤的內(nèi)容。
(2)數(shù)據(jù)處理 在上面步驟中，共獲取了10幅標(biāo)定板圖像。旋轉(zhuǎn)之前的5幅標(biāo)定板圖像歸為第一組，用于計(jì)算旋轉(zhuǎn)前的投影矩陣。旋轉(zhuǎn)之后的5幅標(biāo)定板圖像歸為另一組，用于計(jì)算旋轉(zhuǎn)了5°時(shí)的攝像機(jī)投影矩陣。
對(duì)前一組圖像，每幅提取7×11個(gè)標(biāo)定圓圓心的坐標(biāo)；五幅圖像可獲得385個(gè)空間點(diǎn)的圖像坐標(biāo)，且這385個(gè)空間點(diǎn)不在同一平面上。通過(guò)最小二乘法獲取旋轉(zhuǎn)之前的攝像機(jī)投影矩陣M1。對(duì)旋轉(zhuǎn)之后的五幅圖像也進(jìn)行相應(yīng)處理，可得出旋轉(zhuǎn)后的攝像機(jī)投影矩陣M2。
獲得的攝像機(jī)投影矩陣如下所示
表1攝像機(jī)投影矩陣M1
表2攝像機(jī)投影矩陣M2 得到投影矩陣后，做一個(gè)紙盒的重建證明算法的可行性，證明其誤差也是在允許范圍之內(nèi)。
以下是算法驗(yàn)證和檢驗(yàn)誤差 從兩個(gè)方面對(duì)算法進(jìn)行驗(yàn)證。一是通過(guò)已知三維坐標(biāo)值的空間點(diǎn)進(jìn)行驗(yàn)證，即通過(guò)圖像信息恢復(fù)點(diǎn)的三維坐標(biāo)，看其是否與真實(shí)值相等。二是通過(guò)已知長(zhǎng)度的簡(jiǎn)單方塊來(lái)驗(yàn)證，即先恢復(fù)簡(jiǎn)單方塊的角點(diǎn)，然后計(jì)算角點(diǎn)的距離，與實(shí)際值進(jìn)行比較。
對(duì)于第一種世界坐標(biāo)系的一根坐標(biāo)軸與旋轉(zhuǎn)軸重合的情況，我們選用的是標(biāo)定板上的兩個(gè)圓心點(diǎn)。表3是實(shí)驗(yàn)結(jié)果
表3 對(duì)于通過(guò)簡(jiǎn)單方塊來(lái)驗(yàn)證算法。我們選用了長(zhǎng)方體紙盒；所用的投影矩陣是前面標(biāo)定中所得到的。
下面支撐紙盒的圓柱形物體是為了讓紙盒完全在攝像機(jī)視野之內(nèi)。先對(duì)實(shí)物進(jìn)行圖片采集，實(shí)行每隔5度一周的拍攝，共可獲得關(guān)于實(shí)物的72幅圖片信息。我們的任務(wù)只重建長(zhǎng)方體紙盒的八個(gè)頂點(diǎn)，所用的初始標(biāo)定矩陣為表1和表2的攝像機(jī)投影矩陣。根據(jù)式(7)中M2與M1的關(guān)系計(jì)算得到旋轉(zhuǎn)任意角度后的攝像機(jī)投影矩陣M2。對(duì)在兩幅圖中都出現(xiàn)的紙盒頂點(diǎn)，計(jì)算它的三維坐標(biāo)。頂點(diǎn)的坐標(biāo)等于每次重建得到的三維點(diǎn)坐標(biāo)的平均值。
表4是重建得到的紙盒八個(gè)頂點(diǎn)的坐標(biāo)值。
表4 表5是通過(guò)上面重建的八個(gè)點(diǎn)計(jì)算得到的12條邊的長(zhǎng)度和實(shí)際長(zhǎng)度的比較及其相對(duì)誤差。從表中看出，其相對(duì)誤差在允許范圍之內(nèi)，證明算法的可行性。
表5 圖2是把重建得到的八個(gè)頂點(diǎn)用直線連接起來(lái)的輪廓圖。
對(duì)一復(fù)雜物體進(jìn)行重建由前面驗(yàn)證了投影矩陣的誤差范圍和算法可行性后，可以將一個(gè)復(fù)雜物體將被重建。例如對(duì)鐘表圖像進(jìn)行三維重建。
在實(shí)驗(yàn)之前，先用涂改液在鐘表的上面標(biāo)記一些特征點(diǎn)，這些點(diǎn)保證能把鐘的輪廓描述出來(lái)。
具體流程為 (1)在鐘上用涂改液標(biāo)注一些特征點(diǎn)(能顯現(xiàn)鐘的輪廓) (2)對(duì)這些點(diǎn)進(jìn)行標(biāo)記(方便用直線把點(diǎn)連接起來(lái)) (3)數(shù)據(jù)獲取(進(jìn)行360度獲取鐘的圖片) (4)重建特殊點(diǎn)，如圖3 (5)用直線連接這些點(diǎn)，顯示鐘的輪廓 重建后的圖如附圖4。
權(quán)利要求
1、一種旋轉(zhuǎn)立體視覺的三維重建方法，其特征在于所述三維重建方法包括以下步驟
1)、攝像機(jī)手工標(biāo)定設(shè)定世界坐標(biāo)系的一根軸與旋轉(zhuǎn)軸重合，一坐標(biāo)平面平行于標(biāo)定板平面，標(biāo)定板平面平行于旋轉(zhuǎn)軸；設(shè)定與旋轉(zhuǎn)軸重合的軸為Y軸，與標(biāo)定板平面平行的坐標(biāo)平面為XOY平面，獲取標(biāo)定板上圓心點(diǎn)的世界坐標(biāo)，在Z方向上移動(dòng)標(biāo)定板，獲取空間中不在同一平面的多個(gè)點(diǎn)的世界坐標(biāo)，設(shè)定空間點(diǎn)的世界坐標(biāo)(Xw，Yw，ZW)，提取得到標(biāo)定板上圓心的圖像象素坐標(biāo)值(μ，v)，點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)存在如下關(guān)系
式(1)中，M是攝像機(jī)投影矩陣，為3×4矩陣；Zc為點(diǎn)在攝像機(jī)坐標(biāo)系下Z方向上的坐標(biāo)分量；由上式得以下兩個(gè)方程
投影矩陣M有11個(gè)自由度，通過(guò)六個(gè)不在同一平面的空間點(diǎn)計(jì)算投影矩陣M；
2)、旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣記為M1，通過(guò)M1所反映的點(diǎn)的世界坐標(biāo)與圖像坐標(biāo)的關(guān)系用以下公式表示
通過(guò)對(duì)M1采取下述公式進(jìn)行分解
令
則，
M1為攝像機(jī)內(nèi)參數(shù)矩陣，M21為未旋轉(zhuǎn)時(shí)的攝像機(jī)外參數(shù)矩陣；
3)、旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)之前的攝像機(jī)投影矩陣為
旋轉(zhuǎn)平臺(tái)旋轉(zhuǎn)θ角后，攝像機(jī)投影矩陣為
4)、空間中的點(diǎn)在世界坐標(biāo)系下的坐標(biāo)與圖像的象素坐標(biāo)的關(guān)系通過(guò)下式表示
上式(7)中，θ是包括0度的任一角度，當(dāng)為0度時(shí)即為旋轉(zhuǎn)之前；通過(guò)賦值不一樣的兩個(gè)θ得到關(guān)于Xw，Yw，Zw的四個(gè)方程，從而求出點(diǎn)在世界坐標(biāo)系下的三維空間坐標(biāo)，進(jìn)一步求出物體輪廓線上的點(diǎn)的三維坐標(biāo)，實(shí)現(xiàn)整個(gè)物體的三維重建。
全文摘要
一種旋轉(zhuǎn)立體視覺的三維重建方法，包括以下步驟1)對(duì)攝像機(jī)進(jìn)行手工標(biāo)定，獲取旋轉(zhuǎn)平臺(tái)未旋轉(zhuǎn)時(shí)的攝像機(jī)投影矩陣；2)對(duì)旋轉(zhuǎn)平臺(tái)未旋轉(zhuǎn)之前的攝像機(jī)投影矩陣進(jìn)行分解，獲取攝像機(jī)內(nèi)參數(shù)矩陣及未旋轉(zhuǎn)時(shí)的外參數(shù)矩陣；3)通過(guò)旋轉(zhuǎn)角度及旋轉(zhuǎn)前的攝像機(jī)內(nèi)參數(shù)矩陣，獲取旋轉(zhuǎn)了任意角度的攝像機(jī)投影矩陣；4)通過(guò)兩個(gè)角度或多個(gè)角度所拍攝物體的圖片信息及此時(shí)的攝像機(jī)投影矩陣獲取物體的空間三維信息。本發(fā)明提供一種能夠大大降低標(biāo)定次數(shù)、提高計(jì)算效率、降低成本的旋轉(zhuǎn)立體視覺的三維重建方法。
文檔編號(hào)G06T17/00GK101320483SQ20081006369
公開日2008年12月10日 申請(qǐng)日期2008年6月25日 優(yōu)先權(quán)日2008年6月25日
發(fā)明者陳勝勇, 秋 管, 漆喜慶, 盛 劉, 毛國(guó)紅, 李蘭蘭, 駱廣娟 申請(qǐng)人:浙江工業(yè)大學(xué)